python数据采集稳定运行需控制请求节奏、处理异常、规避反爬，并做好日志与状态追踪；建议单域名间隔≥1.5秒、并发3–5线程、用session复用连接、分级重试、模拟真实用户头信息、支持断点续采。
Python数据采集要稳定运行，核心在于控制请求节奏、处理异常情况、规避反爬机制，并做好日志与状态追踪。不是写完脚本能跑通就行，而是让它在几天甚至几周内持续可靠地拿到数据。
合理设置请求间隔与并发数
高频请求容易触发封IP或返回空数据。不要用默认的瞬间连发，必须加延迟；并发不是越高越好，多数中小型网站扛不住10+并发。
- 单域名请求间隔建议 ≥1.5 秒，可用
time.sleep(1.5)或更稳妥的随机区间如random.uniform(1.2, 2.5) - 使用
requests.Session()复用连接，减少握手开销 - 并发采集时优先选
concurrent.futures.ThreadPoolExecutor，线程数控制在 3–5，避免被识别为扫描行为
统一处理异常与重试逻辑
网络抖动、目标页变更、DNS失败、SSL错误等随时可能发生。硬崩不如软等——该重试就重试，该跳过就跳过，别让一个错中断整批任务。
- 对
requests.exceptions.RequestException及常见 HTTP 状态码（403/429/502/503）做捕获和分级处理 - 单次请求最多重试 2–3 次，每次间隔递增（如 1s → 3s → 6s），避免雪球效应
- 记录失败URL、错误类型、时间戳到独立日志文件，方便后续人工核查
模拟真实用户行为，降低识别风险
基础 headers 不够用，得让请求看起来像浏览器发出的：有来源、有语言偏好、有可接受编码，甚至偶尔带 Cookie 或 Referer 链路。
立即学习“Python免费学习笔记（深入）”；
- 固定使用一组高质量 User-Agent（从主流浏览器最新版本中提取），轮换使用而非固定一个
- 添加
Accept、Accept-Language、Referer等关键 header，尤其访问二级页面时补全 Referer - 必要时配合
httpx或selenium处理 JS 渲染页，但仅限必需场景，避免过度依赖
本地持久化与断点续采支持
程序中途退出不可怕，可怕的是重头再来。设计之初就要考虑“可中断、可恢复”。
- 每成功采集一页，把 URL 或标识（如ID、时间戳）写入本地 SQLite 或简单文本文件，作为已处理标记
- 启动时先读取历史记录，自动跳过已采集项；支持传参指定起始位置（如 --since=2024-05-01）
- 结果存为结构化格式（CSV/JSONL），字段名统一、空值明确（不用 None / NaN 混用），便于后续清洗
不复杂但容易忽略。稳不是靠运气，是靠每一处细节的克制与预判。
