Kibana 搜不到 user_id 是因日志未被正确解析为结构化 JSON,导致字段未被 Elasticsearch 索引为独立字段;根本原因是 Go 日志输出含换行/颜色/非单行格式,或 Logstash 未配置 json filter 解析 message。

Go 输出的 JSON 日志为什么在 Kibana 里搜不到 user_id 字段?
不是日志没打,而是字段根本没被 Elasticsearch 当成独立字段索引——它被当成纯文本塞进了 message 字段里。根本原因:Logstash 没正确解析嵌套 JSON,或 Go 日志输出格式不满足单行、无换行、顶层键值的要求。
- zerolog 默认用
zerolog.ConsoleWriter会加颜色和换行,必须显式禁用:w := zerolog.ConsoleWriter{Out: os.Stdout, NoColor: true, LineSeparator: ""} - logrus 要关掉
DisableTimestamp并确保JSONFormatter是唯一 formatter;否则时间戳可能丢失或格式错乱 - zap 用
zapcore.NewCore(zapcore.NewJSONEncoder(...), ...),别混用ConsoleEncoder,后者输出非标准 JSON - 所有库都必须确保每条日志是「一行完整 JSON」,不能有换行、缩进、空格包裹——否则 Logstash 的
json { source => "message" }会直接失败
Logstash filter 怎么写才不会让 time 字段变成字符串?
Go 日志里写了 "time": "2026-03-18T17:55:22.123Z",但 Kibana 图表里时间轴还是按 Logstash 收到时间算,说明 @timestamp 没被覆盖。这不是 Go 打错了,是 Logstash 没认出那个字段。
- Go 侧必须统一时间格式:推荐
time.RFC3339Nano(如zerolog.TimeFieldFormat = time.RFC3339Nano),避免用 Unix 时间戳数字——Logstashdate插件不识别纯数字 - Logstash filter 必须显式指定源字段名,比如 Go 用了
"ts",那就要写:date { match => ["ts", "ISO8601"] target => "@timestamp" } - 别漏掉
target => "@timestamp":默认 Logstash 不会覆盖,只新建字段;没有这句,@timestamp还是它自己收包的时间 - 如果日志里
time是嵌套在req对象里(如"req": {"time": "..."}),json过滤器默认不展开深层结构,得加remove_field => ["message"]+ 配合ruby或dissect提前展平,或者让 Go 直接打平字段
要不要让 Go 程序直连 Elasticsearch 写日志?
能,但绝大多数场景下不该——除非你已压测验证过吞吐瓶颈真卡在 Logstash,且团队能兜住客户端异常、连接泄漏、批量失败重试等细节。
- 直连 ES 需复用
*elasticsearch.Client实例,每次请求 new 一个会导致too many open files;官方 client 不是线程安全的,得自己加 sync.Pool 或全局单例 - ES bulk 写入失败时,client 默认只返回 HTTP 状态码,不带具体哪条 document 失败,排查困难;Logstash 的 pipeline 有 retry、dead letter queue 等机制更稳
- Go 服务重启时,未 flush 的日志会丢;而 Filebeat/Logstash 有磁盘缓冲和 at-least-once 语义保障
- 真正适合直连的场景:极低延迟要求(如金融交易审计)、日志量小且结构极度固定、已有成熟 ES SDK 封装层;否则优先走 Filebeat → Logstash → ES 链路
为什么 Kibana 搜 status_code: 500 没结果,但搜 "500" 却有?
字段类型不对。Elasticsearch 把 status_code 当成了 text 类型(默认开启分词),而不是 keyword 或 integer。搜 500 能命中,是因为分词后匹配了子串;但精确查询 status_code: 500 会失败。
立即学习“go语言免费学习笔记(深入)”;
- 解决办法只有两个:一是在索引模板(index template)里提前声明字段类型,比如
"status_code": {"type": "integer"};二是用 Kibana 的 Stack Management → Index Patterns 里手动把字段转为number - Go 日志里别传字符串形式的数字,如
"status_code": "500",要写"status_code": 500(JSON number);否则即使映射对了,ES 也会因类型不匹配拒绝写入 - Logstash 的
mutate过滤器可以强制转换:mutate { convert => { "status_code" => "integer" } },但不如源头规范来得干净
最常被跳过的一步是:没配索引模板就直接跑日志,等字段被动态映射成 text 后再改,就得 reindex,线上不敢动。宁可多花十分钟写个 template.json,也别信“ES 会自动猜对”。










