Golang日志清洗工具核心是用预编译正则精准提取非结构化日志字段并转为JSON等结构化数据，支持多模式匹配、fallback机制及管道/文件双输入。
做一个Golang日志清洗小工具，核心是把非结构化的文本日志（比如标准输出的 panic、HTTP 请求、SQL 打印等）用正则匹配关键字段，再转成结构化数据（如 JSON），方便后续筛选、统计或入库。重点不在写多复杂的工具，而在于正则写得准、字段提取稳、扩展性留得开。
一、明确日志格式，设计正则捕获组
Go 默认日志没固定格式，但常见模式有几种：
-
标准 log 包：类似
2024/05/12 10:23:45 main.go:12: user not found -
zap/zapcore 输出：JSON 或 key=value 形式，如
{"level":"info","ts":1715509425.123,"msg":"req done","status":200,"took_ms":12.4} -
自定义文本日志：比如
[INFO] 2024-05-12T10:23:45Z /api/user?id=123 200 12ms
选一种主格式，写正则时用命名捕获组，例如：
(?P\w+)\s+(?P
这样后面解析时可直接用 match["level"] 取值，不易错位。
立即学习“go语言免费学习笔记（深入）”；
二、用 regexp.MustCompile 预编译正则，避免运行时重复编译
日志量大时，每次 newRegexp 会拖慢性能。推荐在包初始化或工具启动时一次性编译：
var logPattern = regexp.MustCompile(
`(?P\w+)\s+(?P
再配合 FindStringSubmatchMap（Go 1.22+）或手动遍历 FindStringSubmatchIndex 提取命名组。
三、结构化解析后转 map 或 struct，支持输出 JSON/CSV
提取出字段后，建议先统一转为 map[string]string，便于动态增删字段；需要强类型时再映射到 struct：
- 时间字段用
time.Parse转time.Time，便于排序或范围查询 - 数值字段（如 status、took）尝试
strconv.Atoi或strconv.ParseFloat，失败则保留原字符串 - 输出时用
json.MarshalIndent生成可读 JSON，或用encoding/csv写表格
四、支持多模式匹配与 fallback 机制
真实日志常混杂多种格式（比如 debug 日志带 stack，error 日志带 traceID）。可维护一个正则规则列表，按优先级顺序匹配：
- 先试最严格的 pattern（如含 trace_id 的 error 行）
- 不匹配则降级试通用 pattern（如只提 level + time + msg）
- 全都不匹配，打上
"raw": true标记，保留原始行供人工排查
这样工具不会因某条异常日志崩溃，也利于后期回溯问题源头。
基本上就这些。不复杂但容易忽略的是：正则别贪多、字段命名保持一致、错误处理留痕、输入支持管道（cat app.log | ./logclean）和文件双模式。写完跑几个真实日志样本验证下提取准确率，基本就能用了。
