go 语言无内置爬虫框架，但可用 net/http + goquery + colly 快速构建稳定、并发可控、可维护的爬虫系统；关键在于根据反爬强度和数据结构选择是否引入中间件、去重、调度或分布式扩展。
Go 语言本身没有内置的“爬虫框架”，但用 net/http + goquery + colly 这类组合，能快速搭出稳定、并发可控、可维护的爬虫系统。关键不是选最重的框架，而是根据目标网站反爬强度和数据结构，决定是否需要中间件、去重、调度或分布式扩展。
用 colly 快速启动一个带基础反爬的爬虫
colly 是 Go 生态中最接近“开箱即用”的爬虫库，它封装了请求调度、DOM 解析、回调管理，同时保留对底层 http.Client 的控制权。适合中等复杂度目标（如新闻列表页+详情页抓取）。
- 安装：
go get github.com/gocolly/colly/v2 - 基础用法中必须设置
User-Agent，否则多数网站直接返回 403：c := colly.NewCollector() c.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
- 启用自动 Cookie 管理（应对登录态跳转）：
c.WithTransport(&http.Transport{...})配合c.SetCookie(...)或直接用c.Clone()复用会话 - 避免被封：默认并发是 1，调高前务必加
Delay和RandomDelay，例如c.Limit(&colly.LimitRule{DomainGlob: "*", Parallelism: 2, Delay: 1 * time.Second})
解析 HTML 时别硬刚正则，优先用 goquery + CSS 选择器
用正则匹配 HTML 标签是反模式，尤其遇到换行、属性顺序变化、注释或动态渲染内容时极易断裂。Go 社区事实标准是 goquery（jQuery 风格 API），它基于 net/html 构建，健壮性远高于字符串操作。
- 安装：
go get github.com/PuerkitoBio/goquery - 配合
colly使用时，直接在回调里用e.DOM（*goquery.Document类型）：c.OnHTML("div.post-title", func(e *colly.HTMLElement) { title := e.DOM.Find("h1").Text() fmt.Println(strings.TrimSpace(title)) }) - 注意空格和换行：
.Text()返回原始文本，需strings.TrimSpace；若要提取子节点纯文本（忽略标签），用.Contents().FilterNode(func(n *html.Node) bool { return n.Type == html.TextNode }) - 不推荐在
OnXML或手动解析xml.Decoder上投入精力——除非目标明确只提供 RSS/Atom，否则 HTML 解析覆盖更广
处理 JavaScript 渲染页面：别急着上 Headless，先确认是否真需要
90% 的所谓“JS 渲染”页面，实际数据是通过 XHR/Fetch 加载的 JSON 接口返回的。直接抓接口比启动 Chrome 实例快 10 倍、内存低 90%，也更容易绕过前端混淆。
立即学习“go语言免费学习笔记（深入）”；
- 打开浏览器开发者工具 → Network → 切到 XHR 或 Fetch/XHR 标签 → 刷新页面 → 找带
json或无后缀的请求，看 Response 是否含目标字段 - 如果接口有签名或时间戳，逆向成本高，再考虑
chromedp；它的启动开销大，且每个实例需独立管理生命周期：ctx, cancel := chromedp.NewExecAllocator(context.Background(), append(chromedp.DefaultExecAllocatorOptions[:], chromedp.Flag("headless", true))...) - 用
chromedp时，别写time.Sleep(2 * time.Second)等页面加载，改用chromedp.WaitVisible或chromedp.Evaluate检查 JS 变量是否存在 - 生产环境慎用 Headless：Docker 容器里需额外装
libxshmfence、libgbm等依赖，且 CPU 占用不可控
数据落地与错误恢复：用结构体 + encoding/json 直存，别手拼 CSV
爬虫输出环节最容易因格式问题导致下游解析失败。Go 的结构体 + JSON 序列化天然支持字段缺失、类型安全、嵌套结构，比 CSV/TXT 更可靠，也方便后续接 Kafka、ES 或数据库。
- 定义结构体时，用
jsontag 显式声明字段映射，空值自动忽略：type Article struct { Title string `json:"title"` URL string `json:"url"` PubAt time.Time `json:"pub_at,omitempty"` } - 写入文件用
json.Encoder流式编码，避免内存堆积：f, _ := os.Create("data.jsonl") enc := json.NewEncoder(f) for _, a := range articles { enc.Encode(a) // 每行一个 JSON 对象（JSONL 格式） } - 断点续爬的关键不是“存进度”，而是“记录已处理 URL 的指纹”——用
sha256(url)存到本地 SQLite 或 Redis，每次请求前查重，比维护 offset 文件更可靠
真正难的从来不是怎么发起请求或解析标签，而是判断某个网站的反爬策略属于哪一层：是封 IP、校验 UA、拦截非浏览器请求头、验证 Referer，还是执行前端 JS 挑战（如 Cloudflare 的 __cf_bm）。每层应对方式完全不同，混用方案只会让代码越来越难调试。
