Go写爬虫需自建框架：用http.Client控并发超时，html包解析HTML，伪造请求头防反爬，map去重URL，强调稳定性设计。
Go 语言适合写爬虫，但标准库不提供开箱即用的“爬虫框架”——net/http 能发请求、golang.org/x/net/html 能解析 HTML，其余都得自己组织逻辑。盲目套用 Python 思路（比如照搬 Scrapy 的 pipeline 模式）容易写出阻塞、难维护、反爬失效的代码。
用 http.Client 控制并发与超时，别直接用 http.Get
直接调用 http.Get 会使用默认全局客户端，无法设置超时、重试、连接池，且在高并发下极易耗尽文件描述符或卡死。
- 必须显式构造
*http.Client，并设置Timeout、Transport（尤其是MaxIdleConns和MaxIdleConnsPerHost） - 为不同目标站点可配置不同 Client（例如对反爬强的站点启用更保守的并发和 User-Agent 轮换）
- 不要在 goroutine 里反复 new Client，复用同一个实例
client := &http.Client{
Timeout: 10 * time.Second,
Transport: &http.Transport{
MaxIdleConns: 100,
MaxIdleConnsPerHost: 100,
IdleConnTimeout: 30 * time.Second,
},
}解析 HTML 优先用 golang.org/x/net/html，别正则匹配
用 regexp 提取 HTML 标签内容是典型反模式：标签嵌套、属性顺序、转义字符、注释都会导致匹配失败或误匹配。Go 官方维护的 html 包基于真实解析器，健壮且内存可控。
- 用
html.Parse获取根节点后，用递归或html.NodeType判断类型（ElementNode/TextNode） - 提取文本内容时注意过滤空白节点和注释节点（
node.Type == html.CommentNode） - 避免一次性加载整个 HTML 字节流进内存；可传入
io.Reader（如strings.NewReader或响应体）直接解析
处理反爬：User-Agent、Referer、Cookie 和简单 JS 渲染绕过
多数静态页面只需伪造基础请求头；但遇到 document.location 跳转、时间戳签名或 Cookie 校验时，纯 Go 请求会失败。
立即学习“go语言免费学习笔记（深入）”；
- 至少设置
User-Agent和Referer，用轮换列表避免被封 IP - 需要维持会话时，用
client.Jar（配合cookiejar.New）自动管理 Cookie - 若页面依赖 JS 执行（如动态插入 DOM 或加密参数），Go 原生无法执行 JS——此时应改用
Puppeteer或Playwright驱动浏览器，或分析 JS 逻辑后用 Go 模拟（例如还原 sign 算法）
URL 去重与调度：用 map[string]struct{} + 有序队列，慎用第三方队列
爬虫最常卡在重复抓取或 URL 泄露。Go 生态没有像 Scrapy 那样成熟的去重中间件，需手动设计。
- 内存级去重用
map[string]struct{}最快，key 是标准化后的 URL（去掉 fragment、统一 scheme/host 大小写、规范路径） - 避免用
map[string]bool，struct{}零内存占用 - 任务队列推荐
container/list或带缓冲的 channel，而非引入 Redis 或 Kafka——除非你真需要分布式协同 - 注意 map 并发读写 panic：多 goroutine 写入时必须加
sync.RWMutex或改用sync.Map（仅适用于读多写少）
真正难的不是发起请求或提取字段，而是让爬虫在目标站点策略变化、网络抖动、HTML 结构微调时仍稳定产出数据——这要求你把 URL 规范化、异常分类捕获、日志上下文、结果校验做成骨架级逻辑，而不是补丁式堆砌。
