想通过本地代理，抓取远程网页内容，代码如下：
3
1042array(
'proxy'=>'tcp://192.168.1.108:8087',
'request_fulluri '=>true,
"method" => "GET",
"timeout" => 2,
),
);
$context = stream_context_create($options);
$fp = stream_socket_client("tcp://www.bigxu.com:80", $errno, $errstr, 30,STREAM_CLIENT_CONNECT,$context);
// print_r(stream_context_get_options($fp)); exit;
if (!$fp) {
echo "$errstr ($errno)
\n";
} else {
fwrite($fp, "GET / HTTP/1.0\r\nHost: www.bigxu.com\r\nAccept: */*\r\n\r\n");
while (!feof($fp)) {
echo fgets($fp, 1024);
}
fclose($fp);
}
?>
php file.php
nginx访问日志是:
15.196.206.102 [26/Apr/2014:12:04:45 +0800] http://www.bigxu.com/ 200 20630 0.241 "-" "-"
15.196.206.102 是我的本机IP.
$context没有起到作用。
代理是绝对可以用的。
因为通过下面代码，$context会起作用
$options = array(
'http'=>array(
'proxy'=>'tcp://192.168.1.108:8087',
'request_fulluri '=>true,
"method" => "GET",
"timeout" => 2,
),
);
$context = stream_context_create($options);
if ( $fp = fopen("http://www.bigxu.com", 'r', false, $context) ) {
print "well done";
while (!feof($fp)) {
echo fgets($fp, 1024);
}
}
php file.php
bigxu.com nginx访问日志是：
8.35.201.32 [26/Apr/2014:12:03:03 +0800] http://www.bigxu.com/ 200 7070 0.122 "-" "AppEngine-Google; (+http://code.google.com/appengine; appid: s~goagent0527)"
8.35.201.32 是我的代理IP
比较大型的爬虫项目，我肯定会用stream_socket_client来连接，大家帮我看一下，这个函数，我怎么用错了呢？
Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
收藏
说到采集，首先应该想到的是php的curl函数
最好的办法就是模拟爬虫（比如：百度蜘蛛爬虫或者google蜘蛛爬虫），同样也支持代理配置
通过爬虫模拟浏览器的head请求，没有什么抓去不到（理论上只要能通过浏览器请求到的数据，不管是要登录还是不要登录都是可以抓去到内容的）
不确定是不是这个代理有问题，配置个自己的代理看一下？
或者跟进一下? stream_socket_client 空了继续弄吧