0

0

Python怎么防爬虫_高频IP限流校验UA与动态Token蜜罐反爬策略

P粉602998670

P粉602998670

发布时间:2026-03-18 11:11:03

|

640人浏览过

|

来源于php中文网

原创

Python请求被封IP主因是未设User-Agent或使用默认requests头,触发Nginx/CDN的UA过滤;需随机设置真实浏览器UA、配全HTTP头、过滤蜜罐DOM、绕过TLS指纹校验并记录响应头变化。

python怎么防爬虫_高频ip限流校验ua与动态token蜜罐反爬策略

Python请求被封IP?先确认是不是没带User-Agent或用了默认requests

绝大多数“被限流”根本不是反爬系统在拦截,而是目标站用Nginx或CDN做了基础UA过滤——空User-Agentpython-requests/2.**这种标识直接进黑名单。动态Token和蜜罐是进阶手段,但连UA都不换,根本到不了那一步。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 永远显式传headers,至少包含'User-Agent',值从主流浏览器真实UA池里随机取(别硬写Chrome固定版本)
  • 避免连续用同一个session发请求,每次新建requests.Session()前清掉cookiesheaders缓存
  • 如果发现返回403且响应体含"blocked""access denied",优先检查curl -I对比自己请求头和浏览器抓包头差异

requests模拟登录后拿token,为什么过两分钟就失效?

不是Token过期逻辑有问题,而是服务端把token和设备指纹、请求时序、Referer甚至TLS指纹绑定了。你用requests拿到的token,在Postman里手动复现都可能失败——因为requests不发Sec-Fetch-*头、没有WebGL渲染痕迹、TLS握手参数也不同。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 别只盯着token本身,用浏览器开发者工具Network面板完整录下登录全过程,重点关注Set-CookieX-CSRF-TokenX-Request-ID等字段是否被后续请求携带
  • 如果接口要求Referer,必须和登录页URL一致;部分站点还校验Origin,错一个字母就401
  • 动态Token类接口往往带时间戳参数(如t=1712345678900),这个值通常由前端JS计算,不能直接抄,得逆向或用Playwright执行JS获取

加了随机延时+换UA还是被识别?可能是Accept-LanguageAccept-Encoding暴露了Python环境

很多反爬系统不看IP频次,专盯HTTP头组合异常:比如User-Agent是Chrome 120,但Accept-Language只有en-US,en;q=0.9(真实Chrome默认带地区子标签如zh-CN,zh;q=0.9),或者Accept-Encoding漏了br(Brotli压缩)——这在现代浏览器里几乎必带。

AIPURE
AIPURE

AIPURE帮您轻松找到2024年最佳AI工具

下载

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 构造headers时,把AcceptAccept-LanguageAccept-EncodingConnectionCache-Control全配齐,值从真实浏览器请求中复制
  • 禁用requests自动压缩:session.headers.update({'Accept-Encoding': 'gzip, deflate'}),别让它偷偷加br
  • 如果目标站用Cloudflare或Akamai,它们会校验TLS指纹(JA3),此时requests完全无解,必须切playwrightselenium走真实浏览器

蜜罐链接怎么绕过?别去点,先看display:nonevisibility:hidden的DOM节点

蜜罐不是靠“你点了假链接”才触发,而是页面加载时就埋了不可见元素(比如div style="display:none"里塞了个a href="/anti-crawler")。只要你用BeautifulSouplxml解析HTML并调用.find_all('a'),就会扫到它——而真人浏览器根本不会遍历隐藏节点。

实操建议:

立即学习Python免费学习笔记(深入)”;

  • 解析前先过滤掉styledisplay:nonevisibility:hiddenopacity:0的父节点,用bs4可结合CSS选择器soup.select('a:not([style*="display:none"]):not([style*="visibility:hidden"])')
  • 别用response.text直接喂给解析器,先用正则剔除明显蜜罐脚本块(如含document.getElementById("bot-check")script标签)
  • 最稳妥的是跳过HTML解析,直接分析XHR/Fetch请求:蜜罐链接极少出现在API返回里,真数据都在json接口中

动态Token和蜜罐真正难的不是技术实现,而是每个站点校验维度都不一样——今天有效的headers组合,明天加个Sec-Ch-Ua-Mobile就全废。别指望一套配置通吃,留好日志,重点记录每次403响应里的Set-Cookie变化和新增响应头。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

248

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

522

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

611

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

245

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

760

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3621

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

60

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

74

2026.01.13

Python WebSocket实时通信与异步服务开发实践
Python WebSocket实时通信与异步服务开发实践

本专题聚焦 Python 在实时通信场景中的开发实践,系统讲解 WebSocket 协议原理、长连接管理、消息推送机制以及异步服务架构设计。内容包括客户端与服务端通信实现、连接稳定性优化、消息队列集成及高并发处理策略。通过完整案例,帮助开发者构建高效稳定的实时通信系统,适用于聊天应用、实时数据推送等场景。

3

2026.03.18

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5.1万人学习

SciPy 教程
SciPy 教程

共10课时 | 2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号