答案：使用PHP开发Web爬虫需通过cURL或file_get_contents发送HTTP请求获取网页内容，再利用DOMDocument和DOMXPath解析HTML提取数据，可结合Goutte等库简化操作；需设置User-Agent、控制请求频率以应对反爬机制，登录状态可通过Cookie处理；抓取的数据可存储为JSON、CSV或存入数据库，适用于中小型项目。
用PHP制作Web爬虫抓取数据，核心是利用PHP的网络请求和HTML解析能力。虽然PHP不是最主流的爬虫语言（如Python更常见），但借助其内置函数和扩展库，完全可以开发出实用的数据抓取程序。下面从基础到进阶，介绍如何用PHP开发一个简单的Web爬虫。
1. 使用cURL或file\_get\_contents发起HTTP请求
要抓取网页内容，第一步是获取目标页面的HTML源码。PHP提供了多种方式发送HTTP请求：
- file_get_contents()：适合简单GET请求，使用方便
- cURL扩展：功能强大，支持POST、Cookie、代理、自定义Header等高级功能
function fetchPage($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; PHP Crawler)');
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
$html = curl_exec($ch);
if (curl_error($ch)) {
echo 'Curl error: ' . curl_error($ch);
}
curl_close($ch);
return $html;
}
$html = fetchPage('https://example.com');
2. 解析HTML提取所需数据
获取HTML后，需要从中提取结构化数据。推荐使用DOMDocument配合DOMXPath，它们是PHP内置的XML/HTML解析工具，适合按标签、class、id等定位元素。
示例：提取所有链接
$dom = new DOMDocument();
libxml_use_internal_errors(true); // 忽略HTML格式错误
$dom->loadHTML($html);
$xpath = new DOMXPath($dom);
$links = $xpath->query('//a[@href]');
foreach ($links as $link) {
echo $link->getAttribute('href') . "\n";
}
也可以用第三方库如Goutte（基于Symfony组件），语法更简洁，支持CSS选择器。
立即学习“PHP免费学习笔记（深入）”；
3. 处理常见问题与反爬机制
真实网站常有反爬策略，需适当应对：
- 设置合理的User-Agent，伪装成浏览器访问
- 控制请求频率，避免高频访问被封IP
- 处理Cookie和Session，模拟登录状态
- 对JavaScript渲染的内容，PHP原生无法执行，需结合Puppeteer或Selenium等工具
例如登录后抓取私有数据，可保存Cookie并复用：
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt'); curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookie.txt');
4. 存储与结构化输出数据
提取的数据可保存为数组、JSON文件、CSV或写入数据库。例如存入MySQL：
$stmt = $pdo->prepare("INSERT INTO articles (title, url) VALUES (?, ?)");
$stmt->execute([$title, $url]);
或导出为JSON：
$data = ['title' => $title, 'url' => $link];
file_put_contents('data.json', json_encode($data, JSON_UNESCAPED_UNICODE));
基本上就这些。PHP做爬虫适合中小型项目，特别是已有PHP环境时。关键是掌握请求发送、HTML解析和数据清洗流程。不复杂但容易忽略细节，比如编码问题、超时设置、异常处理。建议从小站点练手，逐步提升。
