Python请求被封IP主因是未设User-Agent或使用默认requests头,触发Nginx/CDN的UA过滤;需随机设置真实浏览器UA、配全HTTP头、过滤蜜罐DOM、绕过TLS指纹校验并记录响应头变化。

Python请求被封IP?先确认是不是没带User-Agent或用了默认requests头
绝大多数“被限流”根本不是反爬系统在拦截,而是目标站用Nginx或CDN做了基础UA过滤——空User-Agent、python-requests/2.**这种标识直接进黑名单。动态Token和蜜罐是进阶手段,但连UA都不换,根本到不了那一步。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 永远显式传
headers,至少包含'User-Agent',值从主流浏览器真实UA池里随机取(别硬写Chrome固定版本) - 避免连续用同一个
session发请求,每次新建requests.Session()前清掉cookies和headers缓存 - 如果发现返回
403且响应体含"blocked"或"access denied",优先检查curl -I对比自己请求头和浏览器抓包头差异
用requests模拟登录后拿token,为什么过两分钟就失效?
不是Token过期逻辑有问题,而是服务端把token和设备指纹、请求时序、Referer甚至TLS指纹绑定了。你用requests拿到的token,在Postman里手动复现都可能失败——因为requests不发Sec-Fetch-*头、没有WebGL渲染痕迹、TLS握手参数也不同。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 别只盯着
token本身,用浏览器开发者工具Network面板完整录下登录全过程,重点关注Set-Cookie、X-CSRF-Token、X-Request-ID等字段是否被后续请求携带 - 如果接口要求
Referer,必须和登录页URL一致;部分站点还校验Origin,错一个字母就401 - 动态Token类接口往往带时间戳参数(如
t=1712345678900),这个值通常由前端JS计算,不能直接抄,得逆向或用Playwright执行JS获取
加了随机延时+换UA还是被识别?可能是Accept-Language和Accept-Encoding暴露了Python环境
很多反爬系统不看IP频次,专盯HTTP头组合异常:比如User-Agent是Chrome 120,但Accept-Language只有en-US,en;q=0.9(真实Chrome默认带地区子标签如zh-CN,zh;q=0.9),或者Accept-Encoding漏了br(Brotli压缩)——这在现代浏览器里几乎必带。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 构造
headers时,把Accept、Accept-Language、Accept-Encoding、Connection、Cache-Control全配齐,值从真实浏览器请求中复制 - 禁用
requests自动压缩:session.headers.update({'Accept-Encoding': 'gzip, deflate'}),别让它偷偷加br - 如果目标站用Cloudflare或Akamai,它们会校验TLS指纹(JA3),此时
requests完全无解,必须切playwright或selenium走真实浏览器
蜜罐链接怎么绕过?别去点,先看display:none和visibility:hidden的DOM节点
蜜罐不是靠“你点了假链接”才触发,而是页面加载时就埋了不可见元素(比如div style="display:none"里塞了个a href="/anti-crawler")。只要你用BeautifulSoup或lxml解析HTML并调用.find_all('a'),就会扫到它——而真人浏览器根本不会遍历隐藏节点。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 解析前先过滤掉
style含display:none、visibility:hidden、opacity:0的父节点,用bs4可结合CSS选择器:soup.select('a:not([style*="display:none"]):not([style*="visibility:hidden"])') - 别用
response.text直接喂给解析器,先用正则剔除明显蜜罐脚本块(如含document.getElementById("bot-check")的script标签) - 最稳妥的是跳过HTML解析,直接分析XHR/Fetch请求:蜜罐链接极少出现在API返回里,真数据都在
json接口中
动态Token和蜜罐真正难的不是技术实现,而是每个站点校验维度都不一样——今天有效的headers组合,明天加个Sec-Ch-Ua-Mobile就全废。别指望一套配置通吃,留好日志,重点记录每次403响应里的Set-Cookie变化和新增响应头。










