nextsibling 总是 nil 是因为 html 解析器不跳过文本/注释节点,应改用 nextsiblingelement() 或检查 node.type == html.elementnode;解析 href 时需用 base.resolvereference(rel) 规范化 url;乱码问题需通过 charset.determineencoding + newreader 自动检测编码;过滤链接应基于 url.parse 后的 scheme 和 fragment 判断,而非字符串前缀。

用 golang.org/x/net/html 解析 HTML 时,为什么 NextSibling 总是 nil?
因为 HTML 解析器不自动跳过文本节点和注释节点,NextSibling 返回的是紧邻的下一个节点(可能是 Text 或 Comment 类型),不是你想要的下一个标签元素。
实操建议:
立即学习“go语言免费学习笔记(深入)”;
- 用
NextSiblingElement()替代NextSibling—— 它会自动跳过非元素节点 - 手动遍历时,检查
node.Type == html.ElementNode再处理 - 别依赖
FirstChild直接取a标签,先用FindNextElement类辅助函数定位
提取 <a href="..."></a> 时,相对 URL 怎么转成绝对 URL?
直接拼接会出错:原始页面 URL 可能带 hash、query,也可能本身是相对路径(如 //example.com 或 /path),url.Parse 默认按 base URL 解析,但必须传对 base。
实操建议:
立即学习“go语言免费学习笔记(深入)”;
- 用
url.Parse(base)得到 base URL,再用base.ResolveReference(rel)处理每个href - base 必须是完整 URL(含 scheme),如果只拿到
https://a.com/b/c.html,就用它;如果只有/b/c.html,得补全 scheme 和 host - 注意
rel是从 HTML 属性读出的原始字符串,可能为空、#top、javascript:void(0),要先过滤再解析
net/http.Get 抓回来的 HTML 里有乱码,golang.org/x/net/html 解析失败怎么办?
常见现象是 Parse 返回 io.ErrUnexpectedEOF 或解析出空文档——本质是 HTTP 响应没声明正确 charset,或响应体实际编码与声明不符(比如声明 UTF-8,实际是 GBK)。
实操建议:
立即学习“go语言免费学习笔记(深入)”;
- 先读响应头
Content-Type,提取charset=xxx;没声明就默认 UTF-8,但得准备 fallback - 用
golang.org/x/net/html/charset的DetermineEncoding+NewReader自动检测编码(对 HTML body 更准) - 别直接把
resp.Body丢给html.Parse,中间套一层解码后的io.Reader
怎么过滤掉非目标链接(比如 JS、CSS、锚点、mailto)?
单纯看 href 字符串前缀容易漏判或误杀:javascript: 和 data: 要剔除,mailto: 和 tel: 通常不爬,但 // 开头的协议相对 URL 是合法的,/path 也是。
实操建议:
立即学习“go语言免费学习笔记(深入)”;
- 用
url.Parse解析后判断u.Scheme:只保留""(相对)、"http"、"https" -
u.Fragment != ""表示是锚点(如#section1),可跳过 - 对
u.Opaque非空的情况(如mailto:a@b.c)直接排除 - 避免正则匹配
^https?://—— 会漏掉协议相对链接和纯路径
真正麻烦的是混合场景:一个页面同时有 meta charset 声明、BOM 头、script 动态写入 a 标签、还有 CSP 限制 referer。这时候解析逻辑得拆成「预检 → 解码 → 构建 DOM 树 → 提取 → 规范化 → 过滤」五步,少一步都可能漏链接或崩掉。











