答案:通过异步写入与信号同步保障日志不丢失。使用带缓冲的channel暂存日志,由专用协程通过bufio.Writer写入文件,定期flush;程序退出前捕获SIGTERM/SIGINT信号,关闭channel并等待剩余日志写完;关键协程添加recover防止panic导致数据丢失;高可靠场景可结合本地持久化队列实现ACK机制,确保重启后重发未完成日志。

在高并发场景下,使用 Golang 做日志采集时,最怕的就是数据丢失。尤其是当日志量突增或程序被强制终止时,异步写入的日志可能还没来得及落盘就被中断。要解决这个问题,核心在于:如何平衡性能与可靠性。通过合理的异步写入机制和信号同步处理,可以有效防止日志丢失。
异步写入:用 Channel 缓冲 + 单独协程写文件
直接在业务协程中写文件会严重拖慢性能,通常做法是将日志消息发送到 channel,由专门的写入协程统一处理。
定义一个缓冲 channel 存放日志条目:
const logBufferSize = 10000启动一个后台协程从 channel 读取数据并写入文件:
立即学习“go语言免费学习笔记(深入)”;
- 使用 bufio.Writer 提高写入效率,减少系统调用次数
- 定期调用 Flush() 将缓冲区内容刷入磁盘
- 设置合理的 channel 容量,避免阻塞生产者或内存溢出
优雅关闭:监听系统信号,确保缓冲数据落地
程序收到 SIGTERM 或 SIGINT 信号时,不能立即退出。必须通知写入协程把剩余日志处理完。
通过 signal.Notify 捕获中断信号:
- 收到信号后关闭输入 channel,表示不再接收新日志
- 写入协程循环读取 channel 直到其关闭,确保所有日志被消费
- 最后执行一次 Flush() 和文件关闭操作
避免 panic 导致的数据丢失
即使有 defer 和 recover,某些严重错误仍可能导致程序崩溃。建议在关键协程中添加 recover 机制:
- 写入协程外围加 defer + recover() 防止意外退出
- 当发现 channel 被关闭或写入失败时,尝试记录错误日志(如果还能写)
- 不要让单条日志写入失败影响整体流程
可选增强:持久化队列与 ACK 机制
对于更高可靠性要求的场景,可在本地使用文件队列(如 boltdb、leveldb)暂存日志,确认写入目标后再删除。这种方式能应对进程完全崩溃的情况。
基本思路:
- 先写本地持久化队列,再异步上传或转发
- 成功落盘远程或目标存储后标记为已处理
- 重启时重放未完成的日志条目
基本上就这些。关键是别让异步变成“不管”,只要有合适的关闭流程和缓冲保护,Golang 的并发日志采集完全可以做到高效又不丢数据。










