在Web自动化测试和数据抓取中，我们经常需要从HTML元素中提取文本内容。然而，当一个标签内包含子标签和直接文本混合的情况时，简单的element.text属性或firstChild方法往往无法满足需求。例如，考虑以下HTML结构：
Name
立即学习“Java免费学习笔记（深入）”；
agdsfJohn Smith dfsdf Address:
NewYork
如果我们的目标是提取“John Smith Address: NewYork”，而忽略
、
、等子标签中的文本，传统的Selenium方法可能会遇到挑战。
传统方法的局限性
-
element.text属性： 这个属性通常会返回元素及其所有子元素中可见的文本内容，这会包含
Name
立即学习“Java免费学习笔记（深入）”；
中的“Name”以及agdsf中的“agdsf”，不符合我们只获取直属文本的需求。 -
driver.execute_script('return arguments[0].firstChild;', td_tag)['textContent']： 这种方法只能获取到元素的第一个子节点（如果它是文本节点）的文本。在上述例子中，td_tag的第一个子节点是
Name
立即学习“Java免费学习笔记（深入）”；
，所以它不会返回“John Smith”。即使第一个子节点是文本节点，它也无法获取后续的直属文本。
解决方案：利用JavaScript节点遍历
为了精准地提取所有直属文本节点，我们需要借助Selenium的execute_script方法，执行一段自定义的JavaScript代码。这段代码将遍历目标元素的所有直接子节点，并仅提取类型为TEXT_NODE的节点内容。
示例代码
以下是使用Python和Selenium实现此功能的代码：
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
# 假设您已经设置好了WebDriver
# driver = webdriver.Chrome() # 或其他浏览器驱动
# 为了演示，我们创建一个虚拟的HTML页面
driver = webdriver.Chrome()
driver.get("data:text/html,Name
立即学习“Java免费学习笔记（深入）”；
agdsfJohn SmithdfsdfAddress:
NewYork代码解析
-
var node = arguments[0];：
- arguments[0]是JavaScript执行环境中接收到的第一个参数，这里即是从Python端传入的td_tag元素。
-
var text = '';：
- 初始化一个空字符串text，用于累积所有提取到的直属文本内容。
-
for (var child = node.firstChild; child; child = child.nextSibling)：
- 这是一个标准的JavaScript DOM遍历循环。
- node.firstChild：获取当前元素的第一个子节点。
- child：循环条件，当child为null（即没有更多子节点）时循环结束。
- child = child.nextSibling：在每次迭代后，将child更新为当前子节点的下一个兄弟节点。
-
if (child.nodeType === Node.TEXT_NODE)：
- 这是核心判断逻辑。nodeType属性返回节点的类型。Node.TEXT_NODE是一个常量，其值为3，表示该节点是一个纯文本节点。
- 通过此判断，我们确保只处理直接的文本内容，而忽略元素节点（如
、
、）。- text += child.textContent.trim() + ' ';：
- 如果当前子节点是文本节点，我们通过child.textContent获取其文本内容。
- .trim()方法用于移除文本内容两端的空白字符（如换行符、空格）。
- 在每个文本块后添加一个空格，以确保不同文本块之间有适当的分隔。
- return text.trim();：
- 在循环结束后，返回累积的text字符串。
- 最后的.trim()用于移除整个字符串末尾可能多余的一个空格。
注意事项
- Node.TEXT_NODE的重要性： 理解nodeType及其对应的常量（如Node.ELEMENT_NODE为1，Node.COMMENT_NODE为8等）是进行精确DOM操作的关键。
- 空白字符处理： HTML中的换行符和多余空格会被视为文本节点的一部分。使用.trim()可以有效地清理这些不必要的空白，确保输出的整洁性。
- 适用场景： 这种方法特别适用于需要从复杂HTML结构中精确提取特定文本内容的场景，尤其当这些文本与其他HTML元素混杂在一起时。
总结
通过结合Selenium的execute_script功能和JavaScript的DOM遍历能力，我们可以实现对HTML元素内部直属文本的精确提取。这种方法绕过了Selenium内置文本提取方法的局限性，提供了更细粒度的控制，使得在处理复杂Web页面时能够获取到更符合需求的文本数据。掌握这种技术对于进行高级Web抓取和自动化任务至关重要。
- text += child.textContent.trim() + ' ';：
