0

0

怎么用PHP写爬虫_PHP爬虫入门简单实现方法【教程】

看不見的法師

看不見的法師

发布时间:2026-02-10 11:11:59

|

242人浏览过

|

来源于php中文网

原创

PHP适合快速抓取无反爬的静态页面,file_get_contents()最轻量但功能有限,curl_init()更灵活且能应对基础反爬,DOMDocument解析HTML需注意兼容性问题,简单需求优先用curl+json_decode()。

怎么用php写爬虫_php爬虫入门简单实现方法【教程】

PHP 不适合写通用爬虫,但能快速抓取结构简单、无反爬的页面——前提是别碰 JavaScript 渲染内容、别高频请求、别绕过 robots.txt。

file_get_contents() 抓纯 HTML 页面

这是最轻量的方式,适合静态页面、内网接口或测试环境。它不支持设置 User-Agent、不自动处理重定向、无法控制超时精度,但胜在代码少、无依赖。

  • 必须手动加 stream_context_create() 才能设超时和 headers,否则默认 60 秒且无 UA,容易被拒绝
  • 遇到 302 跳转会直接失败,返回空或警告,得自己解析 Location 头再发一次请求
  • 如果目标页用了 gzip 压缩,file_get_contents() 默认不解压,需开启 zlib 扩展并配置 stream_contexthttp[encoding]

示例:

$opts = ['http' => ['method' => 'GET', 'header' => "User-Agent: PHP-curl/1.0\r\n", 'timeout' => 5]];
$content = file_get_contents('https://example.com', false, stream_context_create($opts));

curl_init() 处理常见反爬基础项

file_get_contents() 灵活得多,是 PHP 爬虫的实际起点。重点不是“能不能发请求”,而是“能不能像浏览器一样被接受”。

  • 必须显式设置 CURLOPT_USERAGENT,否则多数站点返回 403
  • CURLOPT_FOLLOWLOCATION 要配合 CURLOPT_MAXREDIRS 使用,不然重定向环会卡死
  • 开启 CURLOPT_RETURNTRANSFER,否则结果直接输出到页面,没法解析
  • HTTPS 页面若报 SSL certificate problem,不是去关证书验证(CURLOPT_SSL_VERIFYPEER=false),而是检查系统 CA 证书路径是否正确(用 CURLOPT_CAINFO 指向 curl-ca-bundle.crt

DOMDocument 解析 HTML 容易崩在哪

它不是为现代网页设计的:对自闭合标签(如 怎么用PHP写爬虫_PHP爬虫入门简单实现方法【教程】)、未闭合标签(如

xxx

yyy

HiDream AI
HiDream AI

全中文AIGC创作平台和AI社区

下载
)、HTML5 标签(
)容忍度低,一解析就报 warning 或结构错乱。

立即学习PHP免费学习笔记(深入)”;

  • 务必先用 libxml_use_internal_errors(true) 屏蔽警告,否则解析失败还看不到错误原因
  • 加载前建议用 mb_convert_encoding() 统一转成 UTF-8,否则中文乱码导致 getElementsByTagName() 匹配不到
  • 不要依赖 saveHTML() 输出“干净 HTML”——它会重写整个文档结构,class 顺序可能变、空格被删、甚至把
    改成

为什么不用 simple_html_domphpQuery

它们封装了 DOM 操作,写起来像 jQuery,但底层还是调 DOMDocument,性能更差、内存占用高、PHP 8+ 兼容性问题多。一个 2MB 的 HTML 页面,simple_html_dom 可能吃掉 200MB 内存,而原生 DOMDocument + XPath 控制好加载选项只要 30MB。

  • simple_html_dom 不支持命名空间,遇到 XML-like HTML(比如含 xmlns)直接解析失败
  • 所有基于字符串正则解析 HTML 的做法(比如 preg_match_all('/(.*?)/i'))在遇到换行、属性值含 、CDATA 段时必然翻车
  • 真正要选第三方库,symfony/dom-crawler 更稳,但它需要 Composer 和完整 HTTP 客户端配合,已超出“简单实现”范畴

真实项目里,90% 的 PHP 爬虫需求其实只是定时拉几个固定格式的 JSON 接口或 RSS,这时候直接用 curl + json_decode() 就够了——HTML 解析才是那个容易把自己绕进去的坑。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
PHP Symfony框架
PHP Symfony框架

本专题专注于PHP主流框架Symfony的学习与应用,系统讲解路由与控制器、依赖注入、ORM数据操作、模板引擎、表单与验证、安全认证及API开发等核心内容。通过企业管理系统、内容管理平台与电商后台等实战案例,帮助学员全面掌握Symfony在企业级应用开发中的实践技能。

82

2025.09.11

composer是什么插件
composer是什么插件

Composer是一个PHP的依赖管理工具,它可以帮助开发者在PHP项目中管理和安装依赖的库文件。Composer通过一个中央化的存储库来管理所有的依赖库文件,这个存储库包含了各种可用的依赖库的信息和版本信息。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

158

2023.12.25

json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

435

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

543

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

317

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

79

2025.09.10

html5动画制作有哪些制作方法
html5动画制作有哪些制作方法

html5动画制作方法有使用CSS3动画、使用JavaScript动画库、使用HTML5 Canvas等。想了解更多html5动画制作方法相关内容,可以阅读本专题下面的文章。

520

2023.10.23

HTML与HTML5的区别
HTML与HTML5的区别

HTML与HTML5的区别:1、html5支持矢量图形,html本身不支持;2、html5中可临时存储数据,html不行;3、html5新增了许多控件;4、html本身不支持音频和视频,html5支持;5、html无法处理不准确的语法,html5能够处理等等。想了解更多HTML与HTML5的相关内容,可以阅读本专题下面的文章。

446

2024.03.06

包子漫画网页版入口与全集阅读指南_正版免费漫画快速访问方法
包子漫画网页版入口与全集阅读指南_正版免费漫画快速访问方法

本专题汇总了包子漫画官网和网页版入口,提供最新章节抢先看方法、正版免费阅读指南,以及稳定访问方式,帮助用户快速直达包子漫画页面,无广告畅享全集漫画内容。

43

2026.02.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 11.5万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.2万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号