本文详细介绍了如何在go语言中使用`go.net/html`库高效地提取html节点的文本内容。针对文本可能嵌套在子元素中的复杂情况，文章提供了一种递归遍历节点树并收集所有文本节点的解决方案，并通过示例代码演示了如何准确获取链接等元素的可见文本，从而克服直接获取`elementnode`数据时的局限性。
引言
在Go语言中进行HTML解析和数据提取时，go.net/html库是一个强大且常用的工具。它能将HTML文档解析成一个树形结构，方便我们遍历和操作各个节点。然而，在实际应用中，开发者常会遇到一个问题：如何准确地获取一个HTML元素的“可见”文本内容，尤其当这些文本分散在多个子节点甚至嵌套的子元素中时。例如，对于<a href="link"><strong>Foo</strong>Bar</a>这样的HTML结构，我们期望获取的是“FooBar”，而不是仅仅某个特定子节点的文本。
html.Node结构解析
理解go.net/html库中的html.Node结构是解决问题的关键。每个html.Node都代表HTML树中的一个部分，它有多种类型（NodeType），例如：
- html.ElementNode：代表一个HTML元素，如<a>、<div>、<span>等。其Data字段通常存储标签名。
- html.TextNode：代表元素内部的纯文本内容。其Data字段存储具体的文本字符串。
- html.DocumentNode：代表整个HTML文档的根节点。
- html.CommentNode：代表HTML注释。
一个HTML元素（ElementNode）的文本内容通常不是直接存储在其Data字段中，而是作为其子节点（FirstChild、NextSibling）的TextNode类型存在。更复杂的是，这些TextNode可能被其他ElementNode（如<strong>、<em>）包裹，形成嵌套结构。
考虑以下HTML片段的节点树结构：
立即学习“go语言免费学习笔记（深入）”；
<a href="link"><strong>Foo</strong>Bar</a>
其对应的html.Node树大致如下：
- ElementNode "a" (包含属性 href="link")
- ElementNode "strong"
- TextNode "Foo"
- TextNode "Bar"
- ElementNode "strong"
从这个结构可以看出，要获取<a>标签的完整文本内容“FooBar”，我们需要遍历其所有子节点，并收集所有TextNode的Data。
传统遍历方法的局限性
go.net/html库提供了一种递归遍历HTML节点树的常见模式，例如以下代码用于提取<a>标签的href属性：
package main
import (
"fmt"
"log"
"strings"
"golang.org/x/net/html" // 现代Go版本应使用此路径
)
func main() {
s := `<p>Links:</p><ul><li><a href="foo">Foo</a><li><a href="/bar/baz">BarBaz</a></ul>`
doc, err := html.Parse(strings.NewReader(s))
if err != nil {
log.Fatal(err)
}
var f func(*html.Node)
f = func(n *html.Node) {
if n.Type == html.ElementNode && n.Data == "a" {
for _, a := range n.Attr {
if a.Key == "href" {
fmt.Println(a.Val) // 输出 href 属性值
break
}
}
// 此时如果直接尝试获取 n.Data 或 n.FirstChild.Data，将无法得到完整的可见文本
}
for c := n.FirstChild; c != nil; c = c.NextSibling {
f(c)
}
}
f(doc)
}上述代码能够成功输出foo和/bar/baz。然而，如果目标是获取链接的可见文本，即Foo和BarBaz，那么直接在找到<a>标签时操作n.Data或n.FirstChild.Data是无法满足要求的，因为它只关注当前节点的直接数据或第一个子节点的数据，无法处理嵌套和多文本子节点的情况。
解决方案：递归收集文本节点
要准确获取一个HTML元素的完整可见文本，我们需要编写一个辅助函数，该函数能够递归地遍历目标节点的所有子孙节点，并将遇到的所有TextNode的Data字段内容收集起来。
以下是实现这一功能的辅助函数collectText：
package main
import (
"bytes"
"fmt"
"log"
"strings"
"golang.org/x/net/html"
)
// collectText 递归遍历节点及其子孙节点，收集所有TextNode的文本内容到bytes.Buffer中。
func collectText(n *html.Node, buf *bytes.Buffer) {
// 如果当前节点是TextNode类型，则将其Data内容写入缓冲区
if n.Type == html.TextNode {
buf.WriteString(n.Data)
}
// 递归遍历所有子节点
for c := n.FirstChild; c != nil; c = c.NextSibling {
collectText(c, buf)
}
}
func main() {
s := `<p>Links:</p><ul><li><a href="foo"><strong>Foo</strong></a><li><a href="/bar/baz">Bar<em>Baz</em></a></ul>`
doc, err := html.Parse(strings.NewReader(s))
if err != nil {
log.Fatal(err)
}
var f func(*html.Node)
f = func(n *html.Node) {
// 当找到一个ElementNode类型且标签名为"a"的节点时
if n.Type == html.ElementNode && n.Data == "a" {
// 创建一个bytes.Buffer来收集该<a>标签内的所有文本
textBuffer := &bytes.Buffer{}
collectText(n, textBuffer) // 从当前<a>节点开始收集文本
fmt.Println(textBuffer.String()) // 打印收集到的文本
}
// 继续遍历所有子节点
for c := n.FirstChild; c != nil; c = c.NextSibling {
f(c)
}
}
f(doc)
}
在这个改进后的代码中：
-
collectText函数：
- 接收一个*html.Node和一个*bytes.Buffer作为参数。
- 如果当前节点n是html.TextNode类型，它会将n.Data（即纯文本内容）写入到bytes.Buffer中。
- 然后，它会递归地对其所有子节点调用自身，确保所有嵌套的文本内容都被捕获。
-
主遍历函数f的修改：
- 当f函数找到一个<a>标签时，它不再尝试直接获取文本。
- 而是创建一个新的bytes.Buffer实例。
- 然后，它调用collectText(n, textBuffer)，将当前<a>节点n及其所有子孙节点中的文本内容收集到textBuffer中。
- 最后，通过textBuffer.String()获取并打印完整的文本内容。
运行上述代码，将得到期望的输出：
Foo BarBaz
这正是我们希望从<a href="foo"><strong>Foo</strong></a>和<a href="/bar/baz">Bar<em>Baz</em></a>中提取的文本内容。
注意事项与总结
- bytes.Buffer的优势：在Go语言中进行大量字符串拼接时，使用bytes.Buffer比使用+或fmt.Sprintf更高效，因为它减少了内存分配和垃圾回收的开销。
- 通用性：collectText函数是通用的。你可以将它应用于任何html.Node，以获取该节点及其所有子孙节点的纯文本内容。例如，如果你想获取整个<body>标签的文本内容，只需调用collectText(bodyNode, buffer)。
- 空白字符处理：collectText会原样收集所有TextNode的Data。这意味着如果HTML中包含换行符、多个空格等空白字符，它们也会被收集。如果需要更“干净”的文本，你可能需要在收集后对textBuffer.String()的结果进行额外的字符串处理（例如，使用strings.TrimSpace或正则表达式移除多余空白）。
- 错误处理：在实际应用中，html.Parse可能会返回错误，务必进行适当的错误处理。
通过理解html.Node的结构并采用递归收集文本节点的方法，我们可以有效地解决在Go语言中使用go.net/html库提取HTML元素可见文本内容的挑战，即使面对复杂的嵌套HTML结构也能准确获取所需数据。
