域名级并发控制需为每个域名独立维护计数器，通过 domain_locks 字典存储域名对应 count 和 lock，请求前调用 acquire_domain_slot 加锁检查并增减计数，确保各域名并发数不超限。
Python多线程爬虫中，域名级并发控制不是简单限制总线程数，而是要确保同一域名下的请求在任意时刻不超过设定的并发上限（比如每个域名最多 2 个请求同时进行），避免被封、降低服务器压力，也更符合 robots.txt 规范。
用字典 + threading.Lock 管理各域名的活跃请求数
核心思路：为每个域名维护一个计数器，每次发请求前加锁检查并+1，请求完成后再-1。不能只靠全局线程池限流，因为不同域名会互相抢占额度。
- 创建 domain_locks 字典，键为规范化的域名（如
example.com），值为{'count': 0, 'lock': threading.Lock()} - 请求前调用
acquire_domain_slot(domain)：获取对应 lock → 加锁 → 检查 count - 请求后必须调用
release_domain_slot(domain)：加锁 → count -= 1 → 解锁（建议用 try/finally 保证释放）
统一入口封装：把域名控制逻辑“埋”进 requests 调用前
别让每个爬虫任务手动调 acquire/release —— 容易遗漏或出错。推荐封装一个安全的 safe_get(url, **kw) 函数：
- 自动从 url 提取主域名（用
urllib.parse.urlparse+ 去除 www、端口等） - 阻塞等待直到该域名有可用 slot（可加 timeout 避免死等）
- 内部完成 acquire → requests.get → release 全流程
- 返回响应对象，异常时也确保释放 slot
配合线程池使用，但池大小 ≠ 域名并发上限
threading.Thread 或 concurrent.futures.ThreadPoolExecutor 可照常使用，但注意：
立即学习“Python免费学习笔记（深入）”；
- 线程池 size 可设稍大些（如 20），真正瓶颈由域名锁控制，这样能提升混合多域名任务的吞吐
- 避免为每个域名起独立线程池 —— 管理复杂、资源浪费、跨池难协调
- 若需动态调整某域名限速（如发现 429），可在 domain_locks 中扩展状态字段，如
'rate_limit': 1，并在 acquire 里做判断
补充健壮性：超时、重试与 slot 泄露防护
网络请求可能卡住或异常退出，导致 slot 占用不释放（即“泄露”）。必须预防：
- acquire 时设置合理超时（如 10 秒），超时抛异常而非死等
- 所有 requests 调用包在 try/except/finally 中，finally 里强制 release
- 可加简单心跳机制：对长期无响应的 slot，记录时间戳，定期扫描清理（适合长周期爬虫）
- 日志打点：记录哪个域名在哪个线程卡住了 slot，方便排查
基本上就这些。域名级并发控制本质是“带锁的 per-host 计数器”，不复杂但容易忽略细节。写好 safe_get 封装后，业务逻辑就能专注解析，不用操心限流。
