Selenium 在频繁打开/关闭大量浏览器标签页时会出现内存持续增长、无法释放的问题，即使调用 driver.close() 也无法有效回收资源；本文提供基于会话轮换、进程管控与最佳实践的系统性解决策略。
selenium 在频繁打开/关闭大量浏览器标签页时会出现内存持续增长、无法释放的问题，即使调用 `driver.close()` 也无法有效回收资源；本文提供基于会话轮换、进程管控与最佳实践的系统性解决策略。
在使用 Selenium 自动化采集多源网页数据时，开发者常采用“单 WebDriver 实例 + 多标签页切换”模式（如循环执行 window.open() → switch_to.window() → get() → close()）以提升效率。然而，当标签页数量达数百级（例如 600+）时，Chrome 浏览器进程内存占用会持续攀升——任务管理器中可见 Chrome 渲染进程（Renderer）数量不减、内存不降，即使所有标签页均已显式关闭。根本原因在于：
- driver.close() 仅关闭当前窗口句柄（window handle），但底层 Chromium 的渲染进程、GPU 上下文、V8 引擎实例等资源未必被及时释放；
- WebDriver 与浏览器之间的 DevTools 协议连接维持着会话状态，长期运行易积累未清理的 JS 对象、事件监听器及缓存；
- Chrome 自身对空闲 Renderer 进程存在延迟回收机制，尤其在自动化场景下缺乏用户交互信号，加剧内存驻留。
✅ 推荐解决方案：按批次轮换 WebDriver 实例
最稳定、可控且生产就绪的方式是主动控制 WebDriver 生命周期：不再强求单实例复用全部 600 次操作，而是将任务分组（如每 20–50 个标签页为一批），每批结束后调用 driver.quit() 彻底终止浏览器进程，再新建实例处理下一批。
以下是优化后的实战代码示例（含异常防护与资源清理）：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
def create_driver(headless=True):
options = Options()
if headless:
options.add_argument("--headless=new")
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
options.add_argument("--disable-gpu")
# 关键：禁用预渲染和后台网络，减少内存开销
options.add_argument("--disable-background-networking")
options.add_argument("--disable-renderer-backgrounding")
return webdriver.Chrome(options=options)
def scrape_in_batches(urls, batch_size=30):
results = []
for i in range(0, len(urls), batch_size):
batch = urls[i:i + batch_size]
driver = create_driver()
try:
# 主标签页作为锚点
driver.get("about:blank")
for url in batch:
driver.execute_script("window.open('');")
driver.switch_to.window(driver.window_handles[-1])
driver.get(url)
# ✅ 此处插入你的数据提取逻辑
# e.g., title = driver.title; results.append(title)
time.sleep(0.3) # 避免请求过载，非必须但推荐
driver.close()
driver.switch_to.window(driver.window_handles[0])
finally:
driver.quit() # ? 强制释放全部进程与内存
print(f"✅ Batch {i//batch_size + 1} completed and cleaned up.")
return results
# 示例调用
urls = ["https://edition.cnn.com/"] * 600
data = scrape_in_batches(urls, batch_size=40)⚠️ 注意事项与进阶建议
- 避免 driver.close() 后残留句柄：每次 close() 后务必 switch_to.window(...) 回到有效句柄，否则后续 execute_script 或 get() 可能抛出 NoSuchWindowException；
- 禁用不必要的 Chrome 功能：如上例中的 --disable-background-networking 和 --disable-renderer-backgrounding 可显著降低空闲标签页的内存保有量；
- 慎用无头模式陷阱：旧版 --headless（v112 前）存在内存回收缺陷，务必使用 --headless=new；
- 监控与告警（生产环境）：可通过 psutil 监控 Chrome 进程 RSS 内存，超阈值（如 >800MB）时主动触发 quit()；
- 替代方案评估：若业务允许，可考虑 Playwright（原生支持多页面并发且内存管理更优）或 requests + BeautifulSoup（纯静态页面优先）降低浏览器依赖。
? 总结：Selenium 的 close() 不等于“资源释放”，而 quit() 才是真正的会话终结符。面对大规模标签页操作，接受“适度重建”比追求“绝对复用”更符合工程现实——稳定、可预测、易调试，才是高可靠爬虫的核心特征。
