0

0

怎么抓取移动端网页_PHP抓取手机网站数据教程【详解】

雪夜

雪夜

发布时间:2026-02-20 19:57:11

|

178人浏览过

|

来源于php中文网

原创

php抓取移动端网页需模拟移动浏览器:设正确user-agent、处理重定向与cookie、识别js渲染接口或换用无头浏览器,优先从响应头获取真实编码。

怎么抓取移动端网页_php抓取手机网站数据教程【详解】

PHP 抓取移动端网页,本质不是“抓手机网站”,而是模拟移动端浏览器发起 HTTP 请求——关键在请求头(User-Agent)、响应内容解析、以及应对重定向和动态渲染的策略。

设置正确的 User-Agent 才能拿到移动端 HTML

很多网站(如淘宝、知乎、京东)会根据 User-Agent 动态返回 PC 或 Mobile 版本。不设或设错,可能直接跳转到 PC 页,甚至返回 403/404。

  • 用常见移动 UA 字符串,例如:Mozilla/5.0 (iPhone; CPU iPhone OS 16_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.6 Mobile/15E148 Safari/604.1
  • PHP 中用 curl_setopt($ch, CURLOPT_USERAGENT, $ua) 设置,别漏掉;file_get_contents() 需配合 stream_context_create() 手动传 header
  • 部分站点还校验 AcceptAccept-Language,建议一并带上:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

curl 抓取后返回空或跳转到首页?检查重定向和 Cookie 处理

移动端页面常依赖服务端会话或首次访问的 Cookie(比如检测是否为移动端用户),若忽略重定向或不保留 Cookie,很可能拿不到真实内容。

  • 开启自动重定向:curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true)
  • 启用 Cookie 存储(哪怕只用内存):curl_setopt($ch, CURLOPT_COOKIEJAR, '')curl_setopt($ch, CURLOPT_COOKIEFILE, '')
  • 某些站点(如微信内嵌页)还会验证 Referer,可临时设为来源域名(注意合规边界)

抓到的是骨架 HTML,没数据?可能是前端 JS 渲染(SSR 不足)

现在很多“手机网站”实际是 Vue/React 单页应用(SPA),服务端只返回空容器,数据靠 AJAX 加载。PHP cURL 拿不到 JS 执行后的 DOM。

Heeyo
Heeyo

Heeyo:AI儿童启蒙陪伴师,风靡于硅谷的儿童AI导师和玩伴

下载

立即学习PHP免费学习笔记(深入)”;

  • 先用浏览器开发者工具 → Network → XHR/Fetch 查看真实接口地址,直接抓接口(如 /api/v1/feed?platform=mobile)更高效
  • 接口常带鉴权字段(tokensign、时间戳),需逆向分析生成逻辑,不能硬编码
  • 纯渲染页(无可用 API)时,PHP 本身不执行 JS,得换方案:用 Puppeteer + Node.js 或 Playwright,PHP 仅作调度

编码乱码、中文变问号?别只盯 mb_convert_encoding

乱码往往不是 PHP 转码问题,而是没正确识别响应的真实字符集。

  • 优先从 HTTP 响应头读 Content-Type(如 text/html; charset=utf-8),而非依赖 meta 标签
  • curl_getinfo($ch, CURLINFO_CONTENT_TYPE) 获取 header,再用 mb_detect_encoding() 辅助判断
  • DOM 解析前确保字符串编码统一:如果源是 GBK,iconv('GBK', 'UTF-8//IGNORE', $html) 比盲目 mb_convert_encoding 更稳

真正难的不是发请求,而是识别目标站的反爬机制层级:UA 检查、Cookie 维持、接口签名、字体混淆、行为验证……PHP 适合做轻量静态页采集,一旦涉及复杂交互或风控,就得考虑架构分层,而不是硬扛。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
ajax教程
ajax教程

php中文网为大家带来ajax教程合集,Ajax是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。php中文网还为大家带来ajax的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

165

2023.06.14

ajax中文乱码解决方法
ajax中文乱码解决方法

ajax中文乱码解决方法有设置请求头部的字符编码、在服务器端设置响应头部的字符编码和使用encodeURIComponent对中文进行编码。本专题为大家提供ajax中文乱码相关的文章、下载、课程内容,供大家免费下载体验。

167

2023.08.31

ajax传递中文乱码怎么办
ajax传递中文乱码怎么办

ajax传递中文乱码的解决办法:1、设置统一的编码方式;2、服务器端编码;3、客户端解码;4、设置HTTP响应头;5、使用JSON格式。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

122

2023.11.15

ajax网站有哪些
ajax网站有哪些

使用ajax的网站有谷歌、维基百科、脸书、纽约时报、亚马逊、stackoverflow、twitter、hacker news、shopify和basecamp等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

245

2024.09.24

cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6472

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

362

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

434

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

796

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 12.2万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.3万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号