0
0
小云云
发布时间：2018-03-20 10:38:29
|7366人浏览过
|来源于php中文网
原创
本文主要和大家分享使用phpspider爬虫的使用方法，使用python爬虫固然很方便，但是发现php在这方便也不弱；使用框架爬虫真的要高效许多。
1,先看下phpspider的结构
2，举例子：比如我爬取南昌新闻网的一个分类
这个注释要加上，不然报错，可以看看源码，源码里面有很多方法；
立即学习“PHP免费学习笔记（深入）”；
3,然后是配置下爬虫:
4,然后将配置文件放入框架类文件，实例化：
这里的 on_scan_page 是爬取的入口url，这些URL跟我配置的 content_url_regxes 正则规则匹配，所以在后面的爬取过程中，会爬取到这几个页面的数据
5,对匹配后的字段field进行回调处理：
6,进行爬取数据入库处理 ， 跑起来
以上只是一个简单的例子，还可以进行多进程爬取，代理爬虫，很多好玩的。
相关推荐：
相关文章
phpSpider实战技巧：如何处理网页内容的异构结构？
如何使用PHP和phpSpider对网站进行定向数据抓取？
如何利用PHP和phpSpider从网页中提取所需信息？
如何运用PHP和phpSpider进行特定网站内容的精准抓取？
PHP和phpSpider：如何应对网站变动导致的数据爬取失败？
相关标签:
本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热门AI工具
Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
