Python多线程Selenium爬虫偶发错误分析及解决
本文探讨使用Python和Selenium构建多线程网页爬虫时，偶尔出现错误的原因及解决方案。目标是将动态HTML页面保存为PDF，利用Selenium的page.printToPdf功能实现，并通过多线程提高效率。然而，多线程运行时，程序偶尔会报错，而单线程运行则正常。
问题描述
测试环境：
- Python 3.9.0
- Selenium 4.16.0
测试代码片段：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
# ... 其他导入 ...
import threading
def test():
service = Service(r"d:\work\chromedriver-win64\chromedriver.exe")
options = Options()
options.binary_location = r"d:\work\chrome-win64\chrome.exe"
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')
# options.add_argument("--remote-debugging-port=9225") # 问题代码行
options.add_argument("--incognito")
# ... 其他配置 ...
driver = webdriver.Chrome(options=options, service=service)
print(driver.session_id)
driver.get("https://www.baidu.com")
driver.quit()
if __name__ == '__main__':
threads = [threading.Thread(target=test) for _ in range(3)]
[t.start() for t in threads]
[t.join() for t in threads]
多线程运行时，偶尔出现以下错误：
立即学习“Python免费学习笔记（深入）”；
selenium.common.exceptions.WebDriverException: Message: disconnected: unable to receive message from renderer ...
问题分析与解决方案
错误原因在于代码中注释掉的options.add_argument("--remote-debugging-port=9225")这行。在多线程环境下，多个线程同时尝试连接同一个调试端口(9225)，导致端口冲突和连接失败。
解决方案：
-
移除调试端口参数: 如果不需要远程调试，直接删除
options.add_argument("--remote-debugging-port=9225")即可。这是最简单的解决方法。 -
使用不同的调试端口: 如果需要远程调试，则为每个线程分配不同的调试端口。修改后的代码如下：
import threading
import random
def test(port):
service = Service(r"d:\work\chromedriver-win64\chromedriver.exe")
options = Options()
# ... other options ...
options.add_argument(f"--remote-debugging-port={port}")
driver = webdriver.Chrome(options=options, service=service)
# ... rest of the code ...
if __name__ == '__main__':
num_threads = 3
ports = [9225 + i for i in range(num_threads)] # 使用不同的端口
threads = [threading.Thread(target=test, args=(port,)) for port in ports]
[t.start() for t in threads]
[t.join() for t in threads]
通过以上方法，可以有效避免多线程Selenium爬虫中的端口冲突问题，提高程序的稳定性和效率。 建议优先选择移除调试端口参数的方法，除非确实需要远程调试功能。
