Python爬虫突破反爬的核心是模拟真实用户行为，包括完整请求头、Session复用、随机请求间隔、代理IP策略、动态内容接口直取及JS加密还原，辅以验证码识别与字体反爬解析。
Python爬虫突破反爬，核心不是“绕过”，而是“模拟得像人”。服务器识别的是异常行为模式，不是某行代码本身。重点在请求头、行为节奏、会话管理和动态内容处理。
伪装真实浏览器行为
多数基础反爬靠User-Agent和Referer拦截。光换UA不够，要同步设置Accept、Accept-Language、Connection等字段，让请求头完整匹配主流浏览器。
- 用fake_useragent库随机生成真实UA，避免固定字符串被标记
- 每次请求都带上Referer（尤其访问详情页前先GET列表页）
- Session对象复用Cookie，保持登录态和请求上下文连贯性
控制请求节奏与IP策略
高频、匀速、单IP访问是典型爬虫特征。真实用户有停顿、滚动、点击、返回等行为间隙。
- requests间隔加random.uniform(1, 3)秒，避免sleep固定值
- 单IP并发数≤1，必要时搭配proxies参数使用高质量代理池（注意代理延时和稳定性）
- 对封IP敏感站点，可结合requests.adapters.HTTPAdapter设置重试+退避机制
应对JavaScript渲染页面
当页面内容由Ajax或Vue/React动态加载，requests拿不到正文，必须处理JS执行逻辑。
立即学习“Python免费学习笔记（深入）”；
- 优先分析Network面板，找到真实数据接口（XHR/Fetch），直接调用API，比渲染HTML更高效
- 接口带加密参数（如sign、token）？抓包定位生成逻辑，用PyExecJS或execjs模块还原JS计算
- 实在无法绕过渲染，再用Playwright或Selenium（推荐前者：轻量、快、支持无头集群）
识别并绕过常见前端校验
验证码、滑块、字体混淆、Canvas指纹等属于主动防御，需针对性拆解。
- 简单图片验证码：用ddddocr本地识别，90%通用场景够用
- 滑块缺口识别：OpenCV做边缘检测+模板匹配，或调用第三方打码平台（需权衡成本与稳定性）
- 字体反爬（如数字替换为自定义woff）：下载字体文件，用fontTools解析映射关系，构建字符对照表
基本上就这些。不复杂但容易忽略——真正的反爬突破，80%靠耐心观察，20%靠工具选型。先搞清它怎么防，再决定怎么破，别一上来就堆技术。
