本文指导你在 Go 编写的网页爬虫中科学部署日志：推荐在协调层（如 ScrapeUrl）统一处理缺失值日志，结合命名 Logger 实现可配置、可追溯、低侵入的调试与监控能力。
本文指导你在 go 编写的网页爬虫中科学部署日志：推荐在协调层（如 `scrapeurl`）统一处理缺失值日志，结合命名 logger 实现可配置、可追溯、低侵入的调试与监控能力。
在构建模块化网页爬虫时，日志不应是“哪里出错就打在哪”的临时补丁，而应是反映数据流健康度的信号系统。针对你的场景——多个独立 scraper 函数（如 ScrapeTitle()、ScrapePrice()）各自解析 HTML 并返回单值，再由 ScrapeUrl() 组装为结构体——最佳实践是在 ScrapeUrl 层进行缺失值日志记录，而非分散到每个 scraper 内部。
原因如下：
- 职责分离：各 scraper 函数应专注「解析逻辑」与「错误传播」（例如返回 (value, error)），不承担可观测性决策；
- 语义清晰：ScrapeUrl 知晓业务上下文（如“价格字段缺失”比“XPath 未匹配”更有业务意义）；
- 可控输出：你可在协调层统一判断 value == nil 或 error != nil 后，按需记录 WARN 级别日志，并附带 URL、字段名、时间戳等上下文，避免冗余或重复日志。
✅ 推荐实现方式（使用标准库 log/slog，Go 1.21+ 原生支持命名 logger）：
import "log/slog"
// 初始化命名 logger（例如按模块）
var scraperLog = slog.With("component", "scraper")
type ScrapedData struct {
Title string
Price float64
Images []string
}
func ScrapeUrl(url string) (ScrapedData, error) {
var data ScrapedData
title, err := ScrapeTitle(url)
if err != nil {
scraperLog.Warn("title extraction failed", "url", url, "error", err)
} else if title == "" {
scraperLog.Warn("title is empty", "url", url) // 非错误，但需追踪
}
data.Title = title
price, err := ScrapePrice(url)
if err != nil {
scraperLog.Warn("price extraction failed", "url", url, "error", err)
} else if price == 0 {
scraperLog.Warn("price is zero", "url", url, "hint", "may indicate parsing failure or free item")
}
data.Price = price
// ... 其他字段同理
return data, nil
}⚠️ 注意事项：
- 避免在 scraper 函数内部直接调用 slog.Warn —— 这会耦合日志策略与解析逻辑，且难以统一控制日志级别或格式；
- 若需调试级日志（如原始 HTML 片段），可在 ScrapeUrl 中按 slog.Debug 级别有条件输出（配合 -v=2 等 flag 控制）；
- 生产环境建议将 slog 输出重定向至结构化格式（如 JSON）并接入集中式日志系统（Loki / ELK）；
- 不推荐使用已归档的 glog：它缺乏上下文支持、不兼容现代 Go 模块，且已被社区广泛弃用；log/slog 是官方维护、轻量、可扩展的标准方案。
总结：以 ScrapeUrl 为日志中枢，用命名 logger（slog.With(...)）注入组件标识，围绕「业务语义缺失」而非「技术异常」记录日志，既能精准定位数据质量问题，又保持各 scraper 的纯净性与可测试性。
