在使用 PHP Simple HTML DOM 库进行网页抓取时，有时会遇到这样的问题：首次抓取目标网站内容正常，但后续的抓取却返回乱码。这种情况通常发生在目标网站启用了缓存机制，并且使用了 gzip 等压缩方式。 由于 Simple HTML DOM 库本身可能没有正确处理压缩数据，导致解析失败，最终返回乱码。
以下提供一种解决方案，使用 cURL 代替 file_get_contents，并设置 CURLOPT_ACCEPT_ENCODING 选项，告知服务器可以接受的编码方式。
使用 cURL 抓取并处理 gzip 压缩数据
<?php
include('simple_html_dom.php');
$url = "https://www.2311666.com.tw/";
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_USERAGENT, 'Chrome/94.0.4606.81');
curl_setopt($curl, CURLOPT_ACCEPT_ENCODING, ""); // 关键：允许接受任何编码
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false); // 建议：关闭 SSL 验证，除非你有有效的证书
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false); // 建议：关闭 SSL 验证，除非你有有效的证书
$html_content = curl_exec($curl);
if (curl_errno($curl)) {
echo 'cURL error: ' . curl_error($curl);
exit;
}
curl_close($curl);
$html = new simple_html_dom();
$html->load($html_content);
echo $html;
?>代码解释：
立即学习“PHP免费学习笔记（深入）”；
- 初始化 cURL: curl_init() 创建一个新的 cURL 资源。
- 设置 URL: curl_setopt($curl, CURLOPT_URL, $url) 设置要抓取的 URL。
- 设置返回结果: curl_setopt($curl, CURLOPT_RETURNTRANSFER, true) 设置 cURL 将抓取结果作为字符串返回，而不是直接输出。
- 设置 User-Agent: curl_setopt($curl, CURLOPT_USERAGENT, 'Chrome/94.0.4606.81') 设置 User-Agent，模拟浏览器行为。
- 设置 Accept-Encoding: curl_setopt($curl, CURLOPT_ACCEPT_ENCODING, "") 这是解决乱码问题的关键。 它告诉服务器，客户端可以接受任何编码方式，包括 gzip。 服务器通常会根据这个选项选择合适的压缩方式。
- 关闭 SSL 验证 (可选): curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false) 和 curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false) 用于关闭 SSL 证书验证。 在开发环境中，可以关闭，但在生产环境中，强烈建议开启，并配置正确的证书。
- 执行 cURL 请求: curl_exec($curl) 执行 cURL 请求，并将结果存储在 $html_content 变量中。
- 错误处理: curl_errno($curl) 和 curl_error($curl) 用于检查 cURL 请求是否发生错误。
- 关闭 cURL 资源: curl_close($curl) 释放 cURL 资源。
- 加载 HTML: $html->load($html_content) 使用 Simple HTML DOM 库加载 HTML 内容。
- 输出 HTML: echo $html 输出解析后的 HTML 内容。
另一种解决方案：使用 gzdecode() 函数
如果服务器强制使用 gzip 压缩，即使设置了 CURLOPT_ACCEPT_ENCODING，返回的仍然是压缩后的数据，那么可以使用 gzdecode() 函数进行解压缩。
<?php
include('simple_html_dom.php');
$url = "https://www.2311666.com.tw/";
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_USERAGENT, 'Chrome/94.0.4606.81');
curl_setopt($curl, CURLOPT_ENCODING, "gzip"); // 告诉服务器接受 gzip 编码
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
$html_content = curl_exec($curl);
if (curl_errno($curl)) {
echo 'cURL error: ' . curl_error($curl);
exit;
}
curl_close($curl);
// 解码 gzip 压缩数据
$html_content = gzdecode($html_content);
$html = new simple_html_dom();
$html->load($html_content);
echo $html;
?>注意事项：
- gzdecode() 函数需要 PHP 的 zlib 扩展支持。
- 在某些情况下，服务器可能返回 deflate 压缩的数据，此时可以使用 gzinflate() 函数进行解压缩。
总结：
当使用 PHP Simple HTML DOM 库抓取开启缓存的网站出现乱码时，可以尝试以下方法：
- 使用 cURL 代替 file_get_contents。
- 设置 curl_setopt($curl, CURLOPT_ACCEPT_ENCODING, "") 或 curl_setopt($curl, CURLOPT_ENCODING, "gzip")。
- 如果返回的是压缩数据，使用 gzdecode() 或 gzinflate() 函数进行解压缩。
通过以上方法，可以有效地解决 Simple HTML DOM 库抓取开启缓存网站返回乱码的问题，确保能够正确获取和解析网页内容。 另外，请务必尊重网站的 robots.txt 协议，避免过度抓取，以免对服务器造成不必要的负担。
