利用PHP和cURL高效采集新闻网站数据
本文介绍如何使用PHP和cURL技术抓取新闻网站的列表页和详情页数据，并重点解决获取完整新闻链接和提取新闻内容这两个常见难题。 目标是从列表页获取新闻标题和完整链接（原始链接通常为相对路径），然后访问每个详情页提取新闻内容，最终整合显示标题、链接和内容。
挑战一：构建完整新闻链接
列表页的新闻链接通常是相对路径，例如/arthtml/40958.html。要获取完整链接，需要将相对路径与网站域名拼接。 PHP字符串操作函数可以轻松实现：
立即学习“PHP免费学习笔记（深入）”；
首先，使用正则表达式（例如href="(.+?)"）提取所有新闻链接的相对路径。 然后，检查提取的路径是否包含http或https前缀。 如果没有，则将网站域名（例如http://www.example.com）与相对路径拼接，形成完整的URL。 记住在代码中预先定义目标网站的域名。
挑战二：精准提取新闻内容
获取完整链接后，需要访问每个详情页并提取新闻内容。 文中提供的DOMDocument示例代码片段是一个不错的起点，但需要根据目标网站的HTML结构进行调整：
// ... (cURL 获取页面内容代码) ...
$dom = new DOMDocument();
@$dom->loadHTML($result); // 使用@抑制错误
$xpath = new DOMXPath($dom);
$contentNodes = $xpath->query("//div[@class='content text-xs']"); // 根据实际情况修改XPath表达式
if ($contentNodes->length > 0) {
$newsContent = $contentNodes->item(0)->textContent;
// ... (清理 $newsContent，例如去除多余空格和换行符) ...
}
重要提示： 以上代码片段仅供参考。 实际应用中，XPath表达式或正则表达式需要根据目标网站的HTML结构进行调整。 如果网站HTML结构经常变化，建议采用更灵活的DOM解析方法，避免硬编码XPath或正则表达式带来的维护成本。 此外，为了提高程序的稳定性和效率，务必添加cURL请求的错误处理和超时设置，并对获取的数据进行必要的清理和过滤。
