本文旨在提供一个全面的教程，指导读者如何使用 selenium 和 python 自动化测试访问和操作 shadow dom 中的元素。由于标准 selenium 方法无法直接穿透 shadow dom，我们将重点介绍如何利用 javascript 执行器获取 shadow root，并在此基础上定位其内部的元素。文章将包含详细的步骤、代码示例以及获取必要信息（如 javascript 路径和 css 选择器）的实用技巧，帮助开发者有效解决 shadow dom 元素的定位难题。
理解 Shadow DOM 及其对自动化测试的挑战
Shadow DOM（影子 DOM）是 Web Components 标准的一部分，它允许开发人员创建封装的、独立的 DOM 子树，这些子树与主文档 DOM 隔离。这种封装性带来了许多好处，例如样式和行为的隔离，防止外部 CSS 规则意外影响组件内部，反之亦然。然而，这种隔离性也给传统的自动化测试工具（如 Selenium）带来了挑战。
当使用 Selenium 的 find_element 方法时，它通常只能在主文档 DOM 中查找元素。对于位于 Shadow DOM 内部的元素，这些方法会失败并抛出 NoSuchElementException，因为它们无法“看到”这些被封装的元素。为了克服这一限制，我们需要借助 JavaScript 执行器来间接访问 Shadow DOM。
访问 Shadow DOM 元素的策略
核心策略是分两步走：首先，通过执行 JavaScript 获取 Shadow DOM 的根节点（Shadow Root）；然后，利用这个 Shadow Root 对象作为上下文，在其内部查找目标元素。
步骤一：获取 Shadow Root
要获取 Shadow Root，我们需要知道其宿主元素（Host Element）。宿主元素是主 DOM 中的一个普通元素，Shadow DOM 就依附于它。一旦找到宿主元素，就可以通过其 shadowRoot 属性来访问 Shadow Root。
立即学习“Python免费学习笔记（深入）”；
在 Selenium 中，我们可以使用 driver.execute_script() 方法来执行 JavaScript 代码。获取 Shadow Root 的典型 JavaScript 模式如下：
return document.querySelector('your_host_element_css_selector').shadowRoot;这里的 'your_host_element_css_selector' 是用于定位 Shadow DOM 宿主元素的 CSS 选择器。
实用技巧：如何获取 Shadow Root 的 JavaScript 路径（Chrome 浏览器）
- 打开 Chrome 开发者工具（F12）。
- 在“Elements”面板中，找到 Shadow DOM 的宿主元素。通常，它会有一个 #shadow-root 的标记。
- 右键点击该宿主元素，选择“Copy” -> “Copy JS path”。
- 复制的 JS path 可能会很长，例如 document.querySelector("#app > my-component").shadowRoot。我们需要对其进行一些修改：
- 确保它以 return 开头。
- 将双引号替换为单引号（如果需要，以避免 Python 字符串冲突）。
- 确保路径指向的是 shadowRoot 属性。
示例代码：获取 Shadow Root
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 初始化 WebDriver
driver = webdriver.Chrome()
driver.get('https://your-target-url.com') # 替换为实际的 URL
try:
# 等待 Shadow DOM 的宿主元素出现
# 假设宿主元素的 CSS 选择器是 '#host-element'
host_element_selector = '#host-element'
WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CSS_SELECTOR, host_element_selector))
)
# 通过 JavaScript 获取 Shadow Root
# 这里的 'return document.querySelector("#host-element").shadowRoot' 是一个示例
# 请根据实际页面结构调整 '#host-element'
shadow_root_script = f"return document.querySelector('{host_element_selector}').shadowRoot"
shadow_root = driver.execute_script(shadow_root_script)
if shadow_root:
print("成功获取 Shadow Root。")
# shadow_root 现在是一个 Selenium WebElement 对象，可以像常规元素一样使用
else:
print("未能获取 Shadow Root，宿主元素可能不存在或没有 Shadow DOM。")
except Exception as e:
print(f"发生错误: {e}")
finally:
# driver.quit() # 暂时不关闭，以便在下一步使用
pass步骤二：在 Shadow Root 中定位目标元素
一旦获得了 shadow_root 对象，就可以像操作普通的 Selenium WebElement 一样，在其内部使用 find_element 或 find_elements 方法来定位 Shadow DOM 内部的元素。需要注意的是，在 Shadow Root 中，通常推荐使用 CSS 选择器进行定位。
实用技巧：如何获取元素的 CSS 选择器（Chrome 浏览器）
- 打开 Chrome 开发者工具（F12）。
- 在“Elements”面板中，展开 Shadow DOM 结构，找到你想要定位的目标元素。
- 右键点击该元素，选择“Copy” -> “Copy selector”。
- 复制的 CSS 选择器可以直接用于 By.CSS_SELECTOR。
示例代码：在 Shadow Root 中定位元素
接着上面的代码片段：
# ... (前面的代码，直到获取 shadow_root) ...
if shadow_root:
print("成功获取 Shadow Root。")
try:
# 在 Shadow Root 中定位目标元素
# 假设我们要找的是一个 ID 为 "instance" 的 input 元素
# 使用 By.ID 或 By.CSS_SELECTOR 都可以
target_element_in_shadow = shadow_root.find_element(By.ID, "instance")
# 或者 target_element_in_shadow = shadow_root.find_element(By.CSS_SELECTOR, '#instance')
if target_element_in_shadow:
print(f"成功定位到 Shadow DOM 中的元素: {target_element_in_shadow.tag_name}, ID: {target_element_in_shadow.get_attribute('id')}")
# 对定位到的元素进行操作，例如输入文本
target_element_in_shadow.send_keys("Hello Shadow DOM!")
print("已向元素输入文本。")
else:
print("未能在 Shadow Root 中定位到目标元素。")
except Exception as e:
print(f"在 Shadow Root 中定位元素时发生错误: {e}")
else:
print("未能获取 Shadow Root，无法在其内部定位元素。")
# ... (finally 块，关闭 driver) ...完整示例代码
将上述步骤整合，形成一个完整的自动化脚本：
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 定义目标 URL 和 Shadow DOM 宿主元素的 CSS 选择器
# 请根据实际情况修改这些值
LOGIN_URL = 'https://sso-login.revelup.com' # 示例 URL，请替换
SHADOW_HOST_SELECTOR = '#login-container' # 假设 Shadow DOM 挂载在一个 ID 为 'login-container' 的元素上
TARGET_INPUT_ID = 'instance' # Shadow DOM 内部目标 input 元素的 ID
def access_shadow_dom_element(url, shadow_host_selector, target_element_id):
driver = webdriver.Chrome()
driver.get(url)
driver.implicitly_wait(7) # 设置隐式等待，等待元素加载
try:
print(f"尝试访问 URL: {url}")
# 步骤 1: 获取 Shadow Root
# 首先等待 Shadow DOM 的宿主元素出现
print(f"等待 Shadow DOM 宿主元素 ({shadow_host_selector}) 出现...")
WebDriverWait(driver, 15).until(
EC.presence_of_element_located((By.CSS_SELECTOR, shadow_host_selector))
)
print("宿主元素已出现。")
# 构建 JavaScript 脚本来获取 Shadow Root
shadow_root_script = f"return document.querySelector('{shadow_host_selector}').shadowRoot"
shadow_root = driver.execute_script(shadow_root_script)
if shadow_root:
print("成功获取 Shadow Root。")
# 步骤 2: 在 Shadow Root 中定位目标元素
print(f"在 Shadow Root 中定位目标元素 (ID: {target_element_id})...")
# 使用 WebDriverWait 显式等待 Shadow DOM 内部元素出现
target_element = WebDriverWait(shadow_root, 10).until(
EC.presence_of_element_located((By.ID, target_element_id))
)
if target_element:
print(f"成功定位到 Shadow DOM 中的元素: {target_element.tag_name}, ID: {target_element.get_attribute('id')}")
# 对定位到的元素进行操作
target_element.send_keys("MySecretPassword")
print("已向目标元素输入文本。")
# 示例：获取输入框的值
print(f"输入框当前的值: {target_element.get_attribute('value')}")
else:
print("未能在 Shadow Root 中定位到目标元素。")
else:
print("未能获取 Shadow Root，请检查宿主选择器或页面结构。")
except Exception as e:
print(f"自动化过程中发生错误: {e}")
finally:
print("关闭 WebDriver。")
driver.quit()
# 调用函数执行自动化流程
if __name__ == "__main__":
access_shadow_dom_element(LOGIN_URL, SHADOW_HOST_SELECTOR, TARGET_INPUT_ID)
注意事项与总结
- CSS 选择器是关键： 在 Shadow DOM 中定位元素时，CSS 选择器是最可靠和推荐的方法。确保你获取的 CSS 选择器是准确且唯一的。
- 等待机制： 即使使用了 implicitly_wait，也强烈建议对 Shadow DOM 的宿主元素和 Shadow DOM 内部的元素使用 WebDriverWait 进行显式等待。这可以避免在元素尚未完全加载时尝试定位而导致的错误。
- JavaScript 路径的准确性： 获取 Shadow Root 的 JavaScript 路径必须非常精确。任何微小的错误都可能导致 execute_script 返回 None 或抛出 JavaScript 错误。
- 嵌套 Shadow DOM： 如果存在多层嵌套的 Shadow DOM，你需要逐层获取 Shadow Root。例如，先获取第一层 Shadow Root，然后在这个 Shadow Root 对象上执行 JavaScript 来获取第二层 Shadow Root，以此类推。
- 跨浏览器兼容性： 虽然本文主要以 Chrome 为例，但这种通过 execute_script 访问 shadowRoot 的方法在支持 Shadow DOM 的现代浏览器中通常是通用的。
通过掌握上述方法，你可以有效地使用 Selenium 和 Python 应对 Shadow DOM 带来的自动化挑战，确保测试脚本能够稳定地与现代 Web 应用进行交互。
