set_cookie($cookie);$curl->set_gzip(true);$curl->callback = function($response, $info, $request, $error) { preg_match("#xxxxx#", $request['url'], $out); $qq = $out[1]; if (empty($response)) { file_put_contents("./data/error_timeout.log", date("y-m-d h:i:s") . ' ' . $username.' --- '.json_encode($error)."\n", file_append); // 注意这里不要用 exit,否则整个程序就断开了 return; } // 如果是个人信息 if (strpos($request['url'], 'a') ==true ) { //将信息添加至mongodb,先判断是否是错误信息 } //如果是来访qq if (strpos($request['url'], 'b') == true) { //将信息添加至mongodb,先判断是否是错误信息 //从中取出qq号码存入redis cache->get_instance()->lpush("qq");//一定要从左端插入,否则是出现死循环,例如a访问来b空间,b同样也访问来a空间,如果在设置网址的时候取先存入的qq,程序就会不断在a和b之间访问,如果设置网址的时候取最新的则会将他们存入栈底部 } //如果是说说 if (strpos($request['url'], 'c') == true) { ///将信息添加至mongodb,先判断是否是错误信息 } };while(true){ $qq=cache->get_instance()->lpop("qq");//用从左端删除 if ($qq=="")$qq="12345678";//这里是登录的qq号码 $url = "http://a".$qq;//个人信息 $curl->get($url); $url = "http://b".$qq;//来访qq $curl->get($url); $url = "http://c".$qq;//最近说说 $curl->get($url); $data = $curl->execute(); // 睡眠100毫秒,太快了会被认为是ddos usleep(100000);}
X-Cart号称是全球最强大的PHP购物车软件,几乎囊括所有电子商务功能,采用网页方式管理后台,多语言支持,智能库存管理,模板定制灵活,功能插件化、模块化。X-Cart分为gold版和Pro版这两个版本。Gold版为普通商店版,Pro为商城版。这款软件的优势是功能比较强大,由于是付费方式采用终生制的开源软件,软件的稳定性、安全性以及可扩展性较强。目前已知的能与x-cart跨平台整合的软件包括了国外
因为,生产者和消费者没有分开,所以其中有一个问题,就是生产者产生的QQ号码多,消费者使用速度低,所以建议将采集QQ来访者和采集数据分开,采集数据可以多开写进程
用到的类库地址https://github.com/hhqcontinue/zhihuSpider
立即学习“PHP免费学习笔记(深入)”;










