使用Selenium和WebDriverWait解决动态网页产品数量抓取问题

碧海醫心

发布时间：2025-10-15 10:22:39

813人浏览过

来源于php中文网

原创

使用Selenium和WebDriverWait解决动态网页产品数量抓取问题

本教程旨在解决使用`beautifulsoup`抓取动态网页产品数量时遇到的空值问题。文章将详细介绍如何利用`selenium`模拟浏览器行为，并通过`webdriverwait`机制确保目标元素完全加载并可见，从而成功提取动态加载的产品数量数据。内容涵盖`selenium`的基本设置、等待条件的运用以及两种健壮的元素定位策略。

动态网页数据抓取：从BeautifulSoup到Selenium

在进行网页数据抓取时，开发者常会遇到一个普遍问题：使用BeautifulSoup等静态解析库无法获取到某些看似存在于页面上的数据，最终返回空值。这通常是因为目标网页采用了JavaScript动态加载内容。BeautifulSoup只能解析requests库获取到的原始HTML响应，而无法执行页面上的JavaScript代码，因此那些由JavaScript在页面加载后动态生成或修改的内容，BeautifulSoup自然无法“看到”。

例如，当尝试从一个电商网站抓取产品总数时，如果该数量是通过异步请求（AJAX）获取并在页面上渲染的，那么在requests.get()返回的初始HTML中，该产品数量的占位符可能为空或根本不存在，导致BeautifulSoup.find()方法返回None。

为了解决这一问题，我们需要一个能够模拟真实浏览器行为、执行JavaScript并等待页面完全渲染的工具。Selenium正是为此而生。

Selenium简介与环境准备

Selenium是一个强大的浏览器自动化测试框架，但它同样适用于处理动态网页抓取任务。通过Selenium，我们可以启动一个真实的浏览器（如Chrome、Firefox），让它访问目标URL，等待页面上的JavaScript执行完毕，然后像用户一样与页面进行交互（点击按钮、填写表单），最后再从完全渲染的页面中提取数据。

环境准备：

安装Selenium库：
```
pip install selenium
```
下载WebDriver：Selenium需要一个与你使用的浏览器版本匹配的WebDriver。例如，如果你使用Chrome浏览器，需要下载ChromeDriver。
- ChromeDriver: https://www.php.cn/link/687b8dedbbf281200b402ba6fe58232d
- GeckoDriver (for Firefox): https://www.php.cn/link/9a1ecce2d381e29ac81279bdae9886bd 下载后，请将WebDriver的可执行文件放置在系统PATH环境变量中，或在代码中指定其路径。

核心机制：WebDriverWait与Expected Conditions

即使使用Selenium，页面上的动态内容也需要时间来加载。直接在页面加载后立即尝试查找元素可能会因为元素尚未渲染完成而失败。WebDriverWait是Selenium中用于处理这种异步加载情况的关键工具。它允许我们设置一个最长等待时间，并在此期间内反复检查某个“期望条件”（expected_conditions）是否满足。一旦条件满足，它会立即返回；如果超出最长等待时间仍未满足，则会抛出TimeoutException。

常用的expected_conditions包括：

visibility_of_element_located(): 元素在DOM中存在且可见。
element_to_be_clickable(): 元素可见并可点击。
presence_of_element_located(): 元素在DOM中存在（不一定可见）。

实施动态网页产品数量抓取

以下将展示如何使用Selenium和WebDriverWait从一个动态加载产品数量的页面中提取数据。

1. 导入必要的模块

首先，我们需要导入Selenium相关的模块：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

2. 初始化WebDriver

选择你想要使用的浏览器，并初始化其WebDriver。这里以Chrome为例。

# 如果WebDriver在PATH中，可以直接这样初始化
driver = webdriver.Chrome()
# 如果WebDriver不在PATH中，需要指定路径
# driver = webdriver.Chrome(executable_path='/path/to/chromedriver')

3. 访问目标URL

使用driver.get()方法访问目标网页。

陌言AI

陌言AI是一个一站式AI创作平台，支持在线AI写作，AI对话，AI绘画等功能

下载

url = 'https://www.digikey.com/en/products/filter/dc-dc-converters/922?s=N4IgjCBcpgnAHLKoDGUBmBDANgZwKYA0IA9lANogAMIAusQA4AuUIAykwE4CWAdgOYgAvkOIBWZCAZQwjaZDBUqIoA'
driver.get(url)

4. 处理Cookie同意弹窗（重要）

许多网站在首次访问时会显示Cookie同意弹窗。如果不处理，它可能会遮挡住我们想要抓取的元素，导致抓取失败。我们需要找到并点击同意按钮。

# 假设同意按钮的XPath是 "//span[@class='button-desktop' and @track-data='ref_page_event=Consent or View Privacy']"
try:
    WebDriverWait(driver, 20).until(
        EC.element_to_be_clickable((By.XPATH, "//span[@class='button-desktop' and @track-data='ref_page_event=Consent or View Privacy']"))
    ).click()
except Exception as e:
    print(f"Cookie consent button not found or not clickable: {e}")
    # 可以在这里选择忽略或进行其他处理

注意事项： Cookie弹窗的定位器可能会随网站更新而变化。请务必检查目标网站的HTML结构以获取正确的定位器。

5. 等待并提取产品数量

在处理完Cookie弹窗后，我们就可以等待产品数量元素加载并可见。这里提供两种健壮的定位策略：

策略一：使用data-testid属性

data-testid属性通常由前端开发者用于自动化测试，相对稳定且唯一，是定位元素的良好选择。

# 等待data-testid="static-product-count"的span元素可见
product_count_element = WebDriverWait(driver, 20).until(
    EC.visibility_of_element_located((By.XPATH, "//span[@data-testid='static-product-count']"))
)
product_count_text = product_count_element.text
print(f"产品数量 (通过data-testid): {product_count_text}")

策略二：使用包含特定文本的父元素

如果目标文本是“Results”或类似字样的一部分，我们可以定位到包含该文本的父元素，然后在其内部寻找产品数量的span。

# 等待包含“Results”文本的span元素下的span子元素可见
product_count_element_by_text = WebDriverWait(driver, 20).until(
    EC.visibility_of_element_located((By.XPATH, "//span[contains(., 'Results')]//span"))
)
product_count_text_by_text = product_count_element_by_text.text
print(f"产品数量 (通过包含'Results'文本): {product_count_text_by_text}")

6. 关闭WebDriver

完成数据抓取后，务必关闭浏览器实例，释放资源。

driver.quit()

完整示例代码

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import time

# 1. 初始化WebDriver
# 确保你的ChromeDriver与Chrome浏览器版本匹配，并已放置在PATH中或指定了路径
driver = webdriver.Chrome()

url = 'https://www.digikey.com/en/products/filter/dc-dc-converters/922?s=N4IgjCBcpgnAHLKoDGUBmBDANgZwKYA0IA9lANogAMIAusQA4AuUIAykwE4CWAdgOYgAvkOIBWZCAZQwjaZDBUqIoA'

try:
    # 2. 访问目标URL
    driver.get(url)

    # 3. 处理Cookie同意弹窗
    # 这里的XPath需要根据实际网站结构进行调整
    cookie_consent_xpath = "//span[@class='button-desktop' and @track-data='ref_page_event=Consent or View Privacy']"
    try:
        WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.XPATH, cookie_consent_xpath))
        ).click()
        print("已点击Cookie同意按钮。")
        time.sleep(2) # 等待弹窗关闭和页面稳定
    except Exception:
        print("未找到或无需点击Cookie同意按钮。")

    # 4. 等待并提取产品数量 (策略一: 使用data-testid)
    print("\n--- 尝试使用data-testid提取产品数量 ---")
    data_testid_xpath = "//span[@data-testid='static-product-count']"
    try:
        product_count_element = WebDriverWait(driver, 20).until(
            EC.visibility_of_element_located((By.XPATH, data_testid_xpath))
        )
        product_count_text = product_count_element.text.strip()
        print(f"产品数量 (通过data-testid): {product_count_text}")
    except Exception as e:
        print(f"通过data-testid提取产品数量失败: {e}")

    # 5. 等待并提取产品数量 (策略二: 使用包含'Results'文本的父元素)
    print("\n--- 尝试使用包含'Results'文本的父元素提取产品数量 ---")
    results_xpath = "//span[contains(., 'Results')]//span"
    try:
        product_count_element_by_text = WebDriverWait(driver, 20).until(
            EC.visibility_of_element_located((By.XPATH, results_xpath))
        )
        product_count_text_by_text = product_count_element_by_text.text.strip()
        print(f"产品数量 (通过包含'Results'文本): {product_count_text_by_text}")
    except Exception as e:
        print(f"通过包含'Results'文本提取产品数量失败: {e}")

except Exception as e:
    print(f"发生错误: {e}")
finally:
    # 6. 关闭WebDriver
    driver.quit()
    print("\nWebDriver已关闭。")

预期输出示例：

已点击Cookie同意按钮。

--- 尝试使用data-testid提取产品数量 ---
产品数量 (通过data-testid): 248,154

--- 尝试使用包含'Results'文本的父元素提取产品数量 ---
产品数量 (通过包含'Results'文本): 248,154

WebDriver已关闭。

总结与注意事项

选择合适的工具： 对于静态网页，requests和BeautifulSoup是高效且轻量级的选择。对于动态加载内容的网页，Selenium是更可靠的解决方案。
WebDriverWait的重要性： 在使用Selenium时，切勿直接在页面加载后立即尝试查找元素。务必结合WebDriverWait和expected_conditions，以确保目标元素已完全加载并可见，从而避免NoSuchElementException。
健壮的定位器： 选择稳定且唯一的元素定位器至关重要。data-testid、id、name通常比class或文本内容更稳定。当这些不可用时，考虑使用相对XPath或CSS选择器。
处理弹窗与交互： 许多网站包含Cookie同意弹窗、登录弹窗等，它们可能会阻碍数据抓取。需要编写代码来定位并与这些弹窗进行交互（如点击关闭或同意）。
资源管理： 每次使用Selenium后，务必调用driver.quit()来关闭浏览器实例，释放系统资源。
无头模式： 在生产环境中，为了提高效率和节省资源，可以考虑使用Selenium的无头模式（Headless Mode），即在没有图形界面的情况下运行浏览器。
```
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(options=chrome_options)
```