滚动加载页面抓取本质是用php模拟前端xhr请求,需通过浏览器开发者工具分析分页参数、请求头及签名逻辑并复现,而非让php执行js或滚动。

滚动加载页面本质是 AJAX 请求,PHP 本身不执行 JS,不能直接触发下拉加载
PHP 是服务端语言,无法运行浏览器环境中的 JavaScript,也就没法自动滚动、监听 scroll 事件或触发 fetch/XMLHttpRequest。所谓“抓取滚动加载页面”,实际是逆向分析前端发起的分页/增量加载请求,用 PHP 模拟这些请求去拿数据。
关键不是“让 PHP 滚动”,而是找出浏览器开发者工具 Network 面板里那些带 offset、page、limit 或 cursor 的 XHR/Fetch 请求,然后复现它们。
用 cURL 抓取带分页参数的接口(最常用且可靠)
多数滚动加载背后是 RESTful 分页接口,比如 /api/items?page=2&size=20 或 /api/feed?cursor=abcd1234。PHP 只需构造正确 URL + 请求头(尤其是 User-Agent 和可能需要的 Referer、Cookie),用 curl_exec 获取 JSON 响应。
- 必须带上
User-Agent,否则很多接口返回 403 或空数据 - 如果登录态敏感(如个人动态流),需从浏览器复制完整
Cookie字符串,设为Cookie请求头 - 注意接口是否校验
Referer或X-Requested-With,缺失会导致 400/403 - 响应通常是 JSON,用
json_decode($response, true)解析,检查data、list、items等字段名,别硬写固定键名
遇到签名参数(如 sign、_ts、token)时不能硬编码
部分站点对请求参数做前端签名(例如拼接时间戳+密钥+参数后 MD5),这类接口无法靠抓包一次搞定。PHP 必须复现签名逻辑——这意味着你要把 JS 中的加密函数(如 hmacSHA256、base64Encode、getSign())用 PHP 重写。
立即学习“PHP免费学习笔记(深入)”;
常见坑:
- JS 里
new Date().getTime()返回毫秒,PHP 要用round(microtime(true) * 1000) - JS 的
encodeURIComponent和 PHP 的rawurlencode行为基本一致,但空格、斜杠等细节要对齐 - 密钥(
secret)可能藏在 JS 文件里被混淆,需搜索sign、token、crypto相关字符串定位 - 签名结果大小写敏感(如 hex 编码全小写),PHP 用
md5()默认小写,但sha1()或hash_hmac()输出需确认格式
不要尝试用 PHP 内置 DOMDocument 解析滚动后的内容
DOMDocument::loadHTMLFile 或 file_get_contents 只能拿到初始 HTML,里面没有滚动加载出来的内容——那些是 JS 运行后动态插入的。想绕过逆向直接“渲染”,唯一可行路径是调用无头浏览器(如 Chrome + Puppeteer),但那是 Node.js 场景;PHP 中强行集成 Chromium(如 chrome-php/chrome)成本高、不稳定、内存占用大,生产环境慎用。
真正轻量又可控的方式,永远是:打开 F12 → 切到 Network → 刷出几屏数据 → 找出重复出现的 XHR 请求 → 看 Query String 和 Request Payload → 复现它。
签名难、参数多、反爬严?那说明你还没找到真正的数据出口,继续翻 JS 文件比改 PHP 更有效。











