在做数据采集时经常要使用到curl+正则的方式采集需要的数据 根据自己的工作经验 把自己写的一些常用自定义函数 拿到博客园来分享 如果有写得不恰当的地方 请多多指教
这是一个系列 没办法在一两天写完 所以一篇一篇的发布
大致大纲：
1.curl数据采集系列之单页面采集函数get_html
2.curl数据采集系列之多页面并行采集函数get_htmls
3.curl数据采集系列之正则处理函数get _matches
4.curl数据采集系列之代码分离
5.curl数据采集系列之并行逻辑控制函数web_spider
、、、
单页面采集在数据采集过程中是最常用的一个功能 有时在服务器访问限制的情况下 只能使用这种采集方式 慢 但是可以简单的控制 所以写好一个常用的curl函数调用是很重要的
百度和网易比较熟悉 所以拿这两个网站首页采集来做例子讲解
最简单的写法：
1 $url = 'http://www.baidu.com'; 2 $ch = curl_init($url); 3 curl_setopt($ch,CURLOPT_RETURNTRANSFER,true); 4 curl_setopt($ch,CURLOPT_TIMEOUT,5); 5 $html = curl_exec($ch); 6 if($html !== false){ 7 echo $html; 8 }
由于使用频繁 可以利用curl_setopt_array写成函数的形式：
1 function get_html($url,$options = array()){ 2 $options[CURLOPT_RETURNTRANSFER] = true; 3 $options[CURLOPT_TIMEOUT] = 5; 4 $ch = curl_init($url); 5 curl_setopt_array($ch,$options); 6 $html = curl_exec($ch); 7 curl_close($ch); 8 if($html === false){ 9 return false; 10 } 11 return $html; 12 }
1 $url = 'http://www.baidu.com'; 2 echo get_html($url);
有时候需要传递一些特定的参数才能得到正确的页面 如现在要得到网易的页面：
1 $url = 'http://www.163.com'; 2 echo get_html($url);
会看到一片空白 什么也没有 那么再利用curl_getinfo写一个函数 看看发生了什么：
1 function get_info($url,$options = array()){ 2 $options[CURLOPT_RETURNTRANSFER] = true; 3 $options[CURLOPT_TIMEOUT] = 5; 4 $ch = curl_init($url); 5 curl_setopt_array($ch,$options); 6 $html = curl_exec($ch); 7 $info = curl_getinfo($ch); 8 curl_close($ch); 9 return $info; 10 } 11 $url = 'http://www.163.com'; 12 var_dump(get_info($url));
可以看到http_code 302 重定向了 这时候就需要传递一些参数了：
1 $url = 'http://www.163.com'; 2 $options[CURLOPT_FOLLOWLOCATION] = true; 3 echo get_html($url,$options);
会发现 怎么是这样的一个页面 和我们电脑访问的不同？？？
看来参数还是不够 不够服务器判断我们的客户端是什么设备上的 就返回了个普通版
看来还要传送USERAGENT
1 $url = 'http://www.163.com'; 2 $options[CURLOPT_FOLLOWLOCATION] = true; 3 $options[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1; rv:19.0) Gecko/20100101 Firefox/19.0'; 4 echo get_html($url,$options);
OK现在页面已经出来了 这样基本这个get_html函数基本能实现这样扩展的功能
当然也有另外的办法可以实现，当你明确的知道网易的网页的时候就可以简单采集了：
1 $url = 'http://www.163.com/index.html'; 2 echo get_html($url);
这样也可以正常的采集
CRMEB Min是CRMEB品牌全新推出的一款轻量级、高性能、前后端分离的开源电商系统，完善的后台权限管理、会员管理、订单管理、产品管理、客服系统、CMS管理、多端管理、页面DIY、数据统计、系统配置、组合数据管理、日志管理、数据库管理，一键开通短信、产品采集、物流查询等接口，系统采用TP6+Mysql+Uniapp+iView+Redis+workerman+form-builder等最流行热
今天先告一段落 byebye!!
立即学习“前端免费学习笔记（深入）”；
