先确认真实http状态码，再伪造user-agent等请求头；若仍404，需检查是否js渲染、waf拦截或api接口，而非强行用php渲染页面。
PHP用file_get_contents抓取返回404怎么办
不是目标页面真不存在，而是file_get_contents默认不发送User-Agent，多数搜索引擎或反爬站点会直接返回404或302跳转。它本质是HTTP客户端行为，不是“搜索引擎抓取”，别被标题误导。
- 检查响应状态：先用
get_headers($url)确认真实HTTP状态码，别只看file_get_contents是否返回空字符串 - 必须伪造请求头：
$opts = [ 'http' => [ 'method' => 'GET', 'header' => "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36\r\n" ] ]; $context = stream_context_create($opts); $content = file_get_contents($url, false, $context); - 若仍404，说明目标站做了Referer校验、Cookie校验或JS渲染——
file_get_contents无法处理这些，得换方案
cURL抓取时收到404但浏览器能打开
常见于目标页依赖JavaScript动态加载内容，或服务端根据Accept、Accept-Language等头判断客户端类型。cURL默认头极简，容易被识别为非浏览器流量。
- 补全关键请求头：
$ch = curl_init($url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); curl_setopt($ch, CURLOPT_HTTPHEADER, [ 'User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36', 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language: en-US,en;q=0.5', 'Accept-Encoding: gzip, deflate', 'Connection: keep-alive', ]); $content = curl_exec($ch); - 开启
CURLOPT_FOLLOWLOCATION，避免因301/302跳转未跟随导致误判404 - 用
curl_getinfo($ch, CURLINFO_HTTP_CODE)确认真实状态码，别依赖$content === false
PHP抓取需绕过前端渲染（如React/Vue SPA）
如果目标页HTML里只有<div id="app"></div>，而内容靠JS异步拉取，PHP原生HTTP函数完全无效——它们不执行JS，只拿原始HTML。
- 不要硬扛：PHP不适合做无头浏览器，强行用
exec('node scraper.js')调用Puppeteer既慢又难维护 - 优先查API：打开浏览器开发者工具→Network→XHR/Fetch，找真实数据接口，直接用PHP请求那个JSON地址
- 若必须渲染，用专用服务：比如部署一个Headless Chrome实例，通过HTTP API（如Chrome DevTools Protocol封装服务）提交URL获取渲染后HTML，PHP只负责发请求收结果
404不是错误，而是信号
当PHP抓取持续返回404，第一反应不该是“怎么让代码不报错”，而是验证：这个URL是否本就该404？有没有权限限制？是不是临时下线？有没有robots.txt禁止抓取？
立即学习“PHP免费学习笔记（深入）”；
-
file_get_contents和cURL只是工具，不能替代对目标站点规则的理解 - 加日志记录完整请求URL、时间、
curl_getinfo返回的http_code、redirect_url、size_download - 很多所谓“404问题”，其实是目标站启用了Cloudflare等WAF，返回的是HTML格式的拦截页，HTTP状态码却是200——这时要检查响应体是否含
"Checking if the site connection is secure"这类特征字符串
