绕过搜狗微信搜索反爬需模拟真实浏览器行为:携带有效User-Agent、Cookie(SUID/SUV),URL编码关键词,用Playwright/Selenium执行JS渲染,并正确处理分页参数。

搜狗微信搜索结果页的反爬机制怎么绕过
搜狗微信搜索(weixin.sogou.com)本身不提供公开API,页面渲染依赖JavaScript,且对高频请求会返回验证码或封IP。直接用requests GET首页或搜索URL,大概率拿到的是带anti_spider提示的HTML,或者空的#result容器。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 必须带上真实浏览器
User-Agent和Cookie(尤其是SUID、SUV,需从正常访问后的响应头里提取) - 搜索关键词要URL编码,例如
requests.get("https://weixin.sogou.com/weixin?type=2&query=" + urllib.parse.quote("Python")) - 不能跳过JS渲染——得用
selenium或playwright加载完整DOM;requests-html虽支持JS执行但稳定性差,容易卡在wait_for - 翻页时注意
page参数是1开始,但实际URL中常为page=2对应第二页,别错当成0索引
微信PC客户端抓包拿到的链接为什么打不开
通过Wireshark或Fiddler抓微信PC版(2.x版本)HTTP流量,能捕获到类似https://mp.weixin.qq.com/s?__biz=xxx&mid=xxx&idx=1&sn=xxx的URL,但直接浏览器访问常跳转到“该文章不可查看”或403。这不是链接失效,而是微信服务端校验了Referer、User-Agent、以及关键的pass_ticket和appmsg_token等临时凭证。
实操建议:
立即学习“Python免费学习笔记(深入)”;
-
pass_ticket有效期约2小时,从登录后的https://mp.weixin.qq.com/cgi-bin/mmwebwx-bin/webwxinit响应中提取 -
appmsg_token藏在PC客户端某个JS文件里(如https://res.wx.qq.com/zh_CN/htmledition/face/xxx.js),需正则匹配appmsg_token:"[a-zA-Z0-9\_\-]+"} - 构造请求头时,
Referer必须是https://mp.weixin.qq.com/,User-Agent得模仿微信Windows客户端(如MicroMessenger Client/3.0) - 即使参数齐全,部分公众号启用了“仅粉丝可见”,非关注状态下仍返回空白内容
用requests解析公众号文章正文总丢段落怎么办
微信文章HTML结构混乱:大量<section>、<span style="..."></span>嵌套,图片用data-src懒加载,正文还混着广告、打赏按钮、阅读原文链接。直接BeautifulSoup(html, "lxml").find("div", class_="rich_media_content")经常取不到完整文本,或把CSS样式当内容一起抓下来。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 优先用
html.parser而非lxml,后者对未闭合标签更激进,容易截断节点 - 清空所有
style、class属性再提取文本:soup.find("div", id="js_content").decompose()之前先for tag in soup(["style", "script", "nav", "footer"]): tag.decompose() - 图片地址必须从
data-src提取,不是src;音频/视频同理,找data-link或data-audio-id - 避免用
.get_text()直接调用,改用"\n".join([p.get_text(strip=True) for p in soup.select("p, h1, h2, li") if p.get_text(strip=True)])
为什么用playwright加载文章页后拿不到js_content节点
微信文章页的js_content容器是异步注入的,Playwright默认page.goto(url)只等DOMContentLoaded,但微信JS通常在setTimeout或IntersectionObserver触发后才往#js_content里塞内容。这时候page.query_selector("#js_content")返回None,不是Selector写错,是时机不对。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 别依赖
wait_for_selector等固定ID,改用page.wait_for_function('document.querySelector("#js_content") && document.querySelector("#js_content").children.length > 0') - 加个兜底:如果5秒内没内容,手动触发一次
page.evaluate("window.scrollTo(0, document.body.scrollHeight)")模拟滚动,唤醒懒加载 - 某些文章会检测
window.outerWidth,Playwright默认viewport太小(1280×720),设成1440×900更稳 - 禁用图片加载可提速:
page.set_extra_http_headers({"Accept-Encoding": "gzip"})+page.route("**/*.{png,jpg,gif}", lambda route: route.abort())
微信公众号内容没有标准接口,所有路径都依赖逆向和适配。最麻烦的不是技术实现,而是每次微信客户端或搜狗策略一更新,pass_ticket生成逻辑、appmsg_token位置、甚至js_content的注入方式都可能变——得随时盯着抓包工具里的XHR列表和JS源码。










