多线程能加速爬虫因其可并发处理I/O延迟，通过threading和ThreadPoolExecutor实现，合理控制线程数、添加延时与重试，并推荐异步协程以提升性能。
在Python爬虫开发中，使用多线程可以显著提升网页抓取效率，尤其是在处理大量独立请求时。单线程爬虫一次只能发送一个请求，等待响应完成后再进行下一个，而多线程允许同时发起多个网络请求，减少整体等待时间，从而加快数据采集速度。
为什么多线程能加速爬虫
网络爬虫的瓶颈通常不是CPU或内存，而是网络I/O延迟。当一个请求发出后，程序需要等待服务器响应，这段时间内单线程程序处于空闲状态。多线程通过让多个请求“并发”执行，利用等待时间去发起其他请求，提高资源利用率。
例如：抓取100个网页，每个请求平均耗时1秒，单线程需约100秒；若使用10个线程并发，理想情况下可缩短至10秒左右。
使用threading模块实现多线程爬虫
Python内置的threading模块可用于创建和管理线程。以下是一个基本的多线程爬虫示例：
立即学习“Python免费学习笔记（深入）”；
步骤说明：
- 定义一个任务函数，用于获取单个URL的内容
- 创建多个线程，每个线程执行该函数
- 使用ThreadPoolExecutor更方便地管理线程池
import threading
import requests
from concurrent.futures import ThreadPoolExecutor
<p>def fetch_url(url):
try:
response = requests.get(url, timeout=5)
print(f"成功抓取: {url}，状态码: {response.status_code}")
except Exception as e:
print(f"抓取失败 {url}: {e}")</p><h1>要抓取的URL列表</h1><p>urls = [
"<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>",
"<a href="https://www.php.cn/link/ef246753a70fce661e16668898810624">https://www.php.cn/link/ef246753a70fce661e16668898810624</a>",
"<a href="https://www.php.cn/link/98a733901e53052474f2320d0a3a9473">https://www.php.cn/link/98a733901e53052474f2320d0a3a9473</a>",</p><h1>可添加更多测试链接</h1><p>]</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/ai/1446" title="Imagine By Magic Studio"><img
src="https://img.php.cn/upload/ai_manual/001/431/639/68b6cd725c13a417.png" alt="Imagine By Magic Studio" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/ai/1446" title="Imagine By Magic Studio">Imagine By Magic Studio</a>
<p>AI图片生成器，用文字制作图片</p>
</div>
<a href="/ai/1446" title="Imagine By Magic Studio" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div><h1>使用线程池并发抓取</h1><p>with ThreadPoolExecutor(max_workers=5) as executor:
executor.map(fetch_url, urls)</p>性能优化建议与注意事项
虽然多线程能提升速度，但不合理的配置反而会降低性能或被目标网站封禁。
关键优化点：
- 合理设置线程数量：一般建议5~20个线程，过多会导致系统负载过高或IP被封
- 添加随机延时：在请求间加入time.sleep(random.uniform(0.5, 1.5))避免高频请求
- 复用Session对象：多个请求使用同一个session可复用TCP连接，提升效率
- 设置超时和重试机制：防止某个请求卡住整个线程
- 使用User-Agent轮换：模拟不同浏览器访问，降低被识别为爬虫的风险
import requests
import random
import time
from concurrent.futures import ThreadPoolExecutor
<p>session = requests.Session()
session.headers.update({
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
})</p><p>def fetch_with_retry(url):
ua_list = [
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36',
'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36'
]
session.headers['User-Agent'] = random.choice(ua_list)</p><pre class='brush:python;toolbar:false;'>for i in range(3): # 最多重试3次
try:
response = session.get(url, timeout=5)
print(f"{url} -> {response.status_code}")
break
except:
time.sleep(random.uniform(1, 2))
continue替代方案：异步协程（aiohttp + asyncio）
对于更高性能需求，推荐使用异步IO而非多线程。Python的asyncio和aiohttp库能实现单线程下的高并发，避免线程切换开销，更适合I/O密集型任务。
相比多线程，异步方式资源消耗更低，可支持数千级别并发连接，是现代高性能爬虫的主流选择。
基本上就这些。多线程是加速爬虫的有效手段，但要结合实际场景合理使用。控制频率、避免对目标服务器造成压力，才能长期稳定运行。真正高效的爬虫不只是快，更是稳和智能。
