Go服务应通过stdout+Filebeat采集日志，避免直连Logstash；使用zap输出结构化JSON，配置Filebeat multiline、编码及rotate策略确保日志不被切碎、不丢数据、字段可被Kibana正确解析。
Go 服务怎么把日志发给 Logstash 或 Filebeat
Go 程序默认不对接 ELK，得自己把日志“推”出去或让采集器“拉”进来。最稳妥的是走标准输出（stdout）+ 容器日志驱动（如 json-file），再由 Filebeat 监听容器日志路径；如果必须直连，优先选 Filebeat 的 tcp 或 udp 输入，别用 Logstash 直收 Go 应用日志——它没内置反压，高并发下容易丢日志。
常见错误现象：logrus 或 zap 写文件后，Filebeat 没采到——大概率是日志文件权限不对、路径没配置进 filebeat.inputs.paths，或者用了 rotatelogs 类库但没配 close_removed: true，导致旧文件句柄残留，Filebeat 不敢删。
- 用
zap时，避免直接写文件，改用zapcore.AddSync(os.Stdout)输出 JSON 到控制台 - 若必须落盘，确保日志路径在
filebeat.yml的paths下，且filebeat进程有读权限 - 容器部署时，禁用
stdout缓存：启动命令加stdbuf -oL -eL --，防止日志延迟数秒才刷出
如何让 Go 日志字段被 Kibana 正确解析
ELK 要能按 level、trace_id、service.name 过滤，日志内容必须是结构化 JSON，且字段名得和 filebeat 或 logstash 的解析规则对上。别依赖 logrus.TextFormatter，它输出的是纯文本，Kibana 只能当 message 字符串搜。
使用场景：微服务链路追踪中需要关联 trace_id，就得在每条日志里显式塞进去，而不是靠中间件自动注入但没序列化进 JSON。
立即学习“go语言免费学习笔记（深入）”；
-
zap推荐用zap.String("trace_id", tid)显式传参，别靠 hook 动态加——hook 加的字段可能不出现在最终 JSON 里 - 字段命名尽量贴 OpenTelemetry 日志语义约定，比如用
service.name而非app_name，方便后续接入 APM - 在
filebeat.yml中启用processors做轻量清洗：add_fields补host.name，rename把level映射为log.level（适配 ECS 规范）
Filebeat 配置哪些关键项才能稳定采集 Go 服务日志
默认配置跑 Go 服务日志大概率会丢数据或卡住，核心问题在文件监控策略和编码兼容性。Go 日志常含 Unicode 和换行符，multiline.pattern 若没设对，一条 panic 日志会被切成多条，@timestamp 还会错乱。
性能影响：harvester_buffer_size 设太小（如默认 16KB）会导致大日志频繁 flush，CPU 升高；设太大又拖慢实时性。
- 必配
multiline.pattern: '^[[:space:]]+(.|\n)*|^[[:digit:]]{4}-[[:digit:]]{2}-[[:digit:]]{2}'合并 stacktrace 和时间戳开头的续行 - 设
encoding: utf-8，否则中文日志变 -
close_inactive: 5m+close_renamed: true+close_removed: true组合，防止 rotate 后句柄泄漏 - 容器环境建议关掉
scan_frequency（设为10s以上），减少 inotify 压力
为什么不用 logstash-input-http 或 zap 的 http sink
看似简单：Go 用 http.Post 打 Logstash 的 /log 接口。实际线上基本不可用——Logstash 的 http 插件默认无认证、无限队列、无背压，单点故障就全量积压，重启后日志全丢。Zap 的 http sink 更危险：同步阻塞调用，一旦 Logstash 响应慢，Go HTTP handler 就卡住，引发雪崩。
兼容性影响：Logstash http input 默认只接受 application/json，但 Go 发送时若没设 Content-Type 头，它会当 text/plain 解析，字段全进 message。
- 绝对不要在业务 goroutine 里直连 Logstash HTTP 端口
- 真要走 HTTP，用
Filebeat的httpjsonoutput 推给 Logstash，它自带重试、批量、压缩 - 更推荐跳过 Logstash：Filebeat → Kafka → Logstash（仅做 enrichment）→ ES，把复杂逻辑从采集链路里摘出去
真正难的不是怎么发日志，而是让每条日志在 Filebeat 里不被切碎、不被编码污染、不因 rotate 卡死，以及字段命名能跨团队对齐。这些细节没调好，Kibana 里看到的永远是一堆无法筛选的 message 字符串。
