本文详细介绍了如何在go语言中使用`go.net/html`库高效地提取html节点的文本内容。针对文本可能嵌套在子元素中的复杂情况，文章提供了一种递归遍历节点树并收集所有文本节点的解决方案，并通过示例代码演示了如何准确获取链接等元素的可见文本，从而克服直接获取`elementnode`数据时的局限性。
引言
在Go语言中进行HTML解析和数据提取时，go.net/html库是一个强大且常用的工具。它能将HTML文档解析成一个树形结构，方便我们遍历和操作各个节点。然而，在实际应用中，开发者常会遇到一个问题：如何准确地获取一个HTML元素的“可见”文本内容，尤其当这些文本分散在多个子节点甚至嵌套的子元素中时。例如，对于FooBar这样的HTML结构，我们期望获取的是“FooBar”，而不是仅仅某个特定子节点的文本。
html.Node结构解析
理解go.net/html库中的html.Node结构是解决问题的关键。每个html.Node都代表HTML树中的一个部分，它有多种类型（NodeType），例如：
- html.ElementNode：代表一个HTML元素，如、、等。其Data字段通常存储标签名。
- html.TextNode：代表元素内部的纯文本内容。其Data字段存储具体的文本字符串。
- html.DocumentNode：代表整个HTML文档的根节点。
- html.CommentNode：代表HTML注释。
一个HTML元素（ElementNode）的文本内容通常不是直接存储在其Data字段中，而是作为其子节点（FirstChild、NextSibling）的TextNode类型存在。更复杂的是，这些TextNode可能被其他ElementNode（如、）包裹，形成嵌套结构。
考虑以下HTML片段的节点树结构：
立即学习“go语言免费学习笔记（深入）”；
FooBar
其对应的html.Node树大致如下：
- ElementNode "a" (包含属性 href="link")
- ElementNode "strong"
- TextNode "Foo"
- TextNode "Bar"
- ElementNode "strong"
从这个结构可以看出，要获取标签的完整文本内容“FooBar”，我们需要遍历其所有子节点，并收集所有TextNode的Data。
传统遍历方法的局限性
go.net/html库提供了一种递归遍历HTML节点树的常见模式，例如以下代码用于提取标签的href属性：
package main import ( "fmt" "log" "strings" "golang.org/x/net/html" // 现代Go版本应使用此路径 ) func main() { s := `` doc, err := html.Parse(strings.NewReader(s)) if err != nil { log.Fatal(err) } var f func(*html.Node) f = func(n *html.Node) { if n.Type == html.ElementNode && n.Data == "a" { for _, a := range n.Attr { if a.Key == "href" { fmt.Println(a.Val) // 输出 href 属性值 break } } // 此时如果直接尝试获取 n.Data 或 n.FirstChild.Data，将无法得到完整的可见文本 } for c := n.FirstChild; c != nil; c = c.NextSibling { f(c) } } f(doc) }Links:
极品模板多语言企业网站管理系统1.2.2下载【极品模板】出品的一款功能强大、安全性高、调用简单、扩展灵活的响应式多语言企业网站管理系统。 产品主要功能如下： 01、支持多语言扩展（独立内容表，可一键复制中文版数据） 02、支持一键修改后台路径； 03、杜绝常见弱口令，内置多种参数过滤、有效防范常见XSS； 04、支持文件分片上传功能，实现大文件轻松上传； 05、支持一键获取微信公众号文章（保存文章的图片到本地服务器）； 06、支持一键
上述代码能够成功输出foo和/bar/baz。然而，如果目标是获取链接的可见文本，即Foo和BarBaz，那么直接在找到标签时操作n.Data或n.FirstChild.Data是无法满足要求的，因为它只关注当前节点的直接数据或第一个子节点的数据，无法处理嵌套和多文本子节点的情况。
解决方案：递归收集文本节点
要准确获取一个HTML元素的完整可见文本，我们需要编写一个辅助函数，该函数能够递归地遍历目标节点的所有子孙节点，并将遇到的所有TextNode的Data字段内容收集起来。
以下是实现这一功能的辅助函数collectText：
package main import ( "bytes" "fmt" "log" "strings" "golang.org/x/net/html" ) // collectText 递归遍历节点及其子孙节点，收集所有TextNode的文本内容到bytes.Buffer中。 func collectText(n *html.Node, buf *bytes.Buffer) { // 如果当前节点是TextNode类型，则将其Data内容写入缓冲区 if n.Type == html.TextNode { buf.WriteString(n.Data) } // 递归遍历所有子节点 for c := n.FirstChild; c != nil; c = c.NextSibling { collectText(c, buf) } } func main() { s := `` doc, err := html.Parse(strings.NewReader(s)) if err != nil { log.Fatal(err) } var f func(*html.Node) f = func(n *html.Node) { // 当找到一个ElementNode类型且标签名为"a"的节点时 if n.Type == html.ElementNode && n.Data == "a" { // 创建一个bytes.Buffer来收集该标签内的所有文本 textBuffer := &bytes.Buffer{} collectText(n, textBuffer) // 从当前节点开始收集文本 fmt.Println(textBuffer.String()) // 打印收集到的文本 } // 继续遍历所有子节点 for c := n.FirstChild; c != nil; c = c.NextSibling { f(c) } } f(doc) }Links:
在这个改进后的代码中：
-
collectText函数：
- 接收一个*html.Node和一个*bytes.Buffer作为参数。
- 如果当前节点n是html.TextNode类型，它会将n.Data（即纯文本内容）写入到bytes.Buffer中。
- 然后，它会递归地对其所有子节点调用自身，确保所有嵌套的文本内容都被捕获。
-
主遍历函数f的修改：
- 当f函数找到一个标签时，它不再尝试直接获取文本。
- 而是创建一个新的bytes.Buffer实例。
- 然后，它调用collectText(n, textBuffer)，将当前节点n及其所有子孙节点中的文本内容收集到textBuffer中。
- 最后，通过textBuffer.String()获取并打印完整的文本内容。
运行上述代码，将得到期望的输出：
Foo BarBaz
注意事项与总结
- bytes.Buffer的优势：在Go语言中进行大量字符串拼接时，使用bytes.Buffer比使用+或fmt.Sprintf更高效，因为它减少了内存分配和垃圾回收的开销。
- 通用性：collectText函数是通用的。你可以将它应用于任何html.Node，以获取该节点及其所有子孙节点的纯文本内容。例如，如果你想获取整个标签的文本内容，只需调用collectText(bodyNode, buffer)。
- 空白字符处理：collectText会原样收集所有TextNode的Data。这意味着如果HTML中包含换行符、多个空格等空白字符，它们也会被收集。如果需要更“干净”的文本，你可能需要在收集后对textBuffer.String()的结果进行额外的字符串处理（例如，使用strings.TrimSpace或正则表达式移除多余空白）。
- 错误处理：在实际应用中，html.Parse可能会返回错误，务必进行适当的错误处理。
通过理解html.Node的结构并采用递归收集文本节点的方法，我们可以有效地解决在Go语言中使用go.net/html库提取HTML元素可见文本内容的挑战，即使面对复杂的嵌套HTML结构也能准确获取所需数据。
