Gin框架日志重复记录分析及解决方案
在使用Gin框架开发Web应用时，有时会遇到日志重复记录的问题，这通常并非由日志记录中间件本身的代码缺陷引起，而是由其他因素导致的。本文将分析Gin中间件日志重复的常见原因，并提供相应的解决方案。
以下是一个自定义Gin中间件的示例，用于将日志写入文件：
// 日志记录到文件
func loggerMiddleware() gin.HandlerFunc {
dir := file.GetPwd() // 使用GetPwd()
logFilePath := fmt.Sprintf("%s/%s%s", dir, setting.AppSetting.RunTimeRootPath, setting.AppSetting.LogSavePath) // 使用AppSetting
logFileName := "gin"
// 日志文件路径
filePath := path.Join(logFilePath, logFileName)
fmt.Println("loggerMiddleware: " + filePath)
// 创建文件，追加写入
file, err := os.OpenFile(filePath, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0777)
if err != nil {
fmt.Println("err", err)
return func(c *gin.Context) {
c.Next() // 确保请求继续处理
}
}
defer file.Close() // 添加defer关闭文件
logger := logrus.New()
logger.SetLevel(logrus.DebugLevel)
logger.Out = file
// 使用rotatelogs进行日志分割
logWriter, err := rotatelogs.New(
filePath+".%Y-%m-%d.log",
rotatelogs.WithLinkName(filePath),
rotatelogs.WithMaxAge(7*24*time.Hour),
rotatelogs.WithRotationTime(24*time.Hour),
)
if err != nil {
fmt.Println("rotatelogs err:", err)
return func(c *gin.Context) {
c.Next()
}
}
writeMap := lfshook.WriterMap{
logrus.InfoLevel: logWriter,
logrus.FatalLevel: logWriter,
logrus.DebugLevel: logWriter,
logrus.WarnLevel: logWriter,
logrus.ErrorLevel: logWriter,
logrus.PanicLevel: logWriter,
}
logger.AddHook(lfshook.NewHook(writeMap, &logrus.TextFormatter{
TimestampFormat: "15:04:05",
}))
return func(c *gin.Context) {
startTime := time.Now()
c.Next()
endTime := time.Now()
logger.Infof("%3d | %8v | %13s | %s | %s | %s | %s | %s |",
c.Writer.Status(),
endTime.Sub(startTime),
c.ClientIP(),
c.Request.Method,
c.Request.RequestURI,
c.Request.Proto,
c.Request.UserAgent(),
c.Request.Referer(),
)
}
}
日志重复原因分析:
观察到的日志重复现象，例如：
<code>time="16:48:31" level=info msg="..." time="2020-04-03T16:48:31+08:00" level=info msg="..."</code>
虽然时间戳略有不同，但日志内容完全一致，这并非代码本身导致的重复写入。 更可能的原因是：
- 并发请求: 多个请求同时到达服务器，每个请求都触发了中间件，导致日志被多次写入。 时间戳的微小差异正是由于并发请求导致的。
- 日志库的缓冲: logrus 或 rotatelogs 本身可能存在缓冲机制，导致日志写入存在延迟，在短时间内出现看似重复的记录。
解决方案:
-
确认并发请求: 使用性能测试工具（如wrk, k6）模拟高并发请求，观察日志是否仍然重复。如果重复现象在高并发下加剧，则确认是并发请求导致的问题。
-
优化日志库配置: 如果确认是并发请求导致的问题，则需要考虑以下优化：
-
异步日志写入: 使用异步日志库或在中间件中使用 goroutine 异步写入日志，避免阻塞主线程。
-
日志聚合: 使用集中式日志管理系统（如ELK, Fluentd）来收集和处理日志，可以更有效地处理高并发下的日志写入。
-
-
检查日志库的缓冲设置: 检查 logrus 和 rotatelogs 的配置，确保缓冲区大小合理，避免过大的缓冲区导致日志写入延迟。
代码改进建议:
- 使用
defer file.Close()来确保文件被正确关闭，避免资源泄漏。 - 使用更规范的命名，例如
AppSetting而不是appsetting。 - 添加错误处理，在
os.OpenFile和rotatelogs.New失败时，优雅地处理错误，例如记录错误日志并继续处理请求。
通过以上分析和改进，可以有效解决Gin框架中间件日志重复记录的问题，确保日志记录的准确性和可靠性。 关键在于理解日志重复并非一定是代码错误，而是高并发环境下可能出现的正常现象，需要针对性地进行优化。
