0

0

C++如何实现可扩展的日志系统?(异步写入与格式化优化)

冰火之心

冰火之心

发布时间:2026-03-05 00:15:33

|

216人浏览过

|

来源于php中文网

原创

因为磁盘 i/o 是阻塞操作,std::ofstream 直接写日志会阻塞主线程,即使只是写入 log_file。

c++如何实现可扩展的日志系统?(异步写入与格式化优化)

为什么 std::ofstream 直接写日志会卡主线程

因为磁盘 I/O 是阻塞操作,哪怕只是 log_file ,一旦磁盘忙、文件系统延迟高或日志量突增,<code>operator 就会停住当前线程。这不是你代码写得慢,是操作系统在等硬件响应。

实操建议:

立即学习C++免费学习笔记(深入)”;

  • 绝不让业务线程直接调用 std::ofstream::write() 或流插入操作
  • 用无锁队列(如 moodycamel::ConcurrentQueue)把日志消息暂存到内存,由单独的 writer 线程消费
  • 避免在 logger 接口里做字符串拼接(比如 std::to_string(x) + " " + s),这会触发多次堆分配 —— 改用 fmt::format_to 写入预分配的 std::string_view 缓冲区

spdlog 默认异步模式为什么仍可能丢日志

它用的是线程安全的 async_logger,但默认丢弃策略是 overflow_policy::blockoverflow_policy::discard,而很多人没改配置,又没监听 spdlog::drop_count(),结果高负载时日志静默消失。

实操建议:

立即学习C++免费学习笔记(深入)”;

  • 初始化时显式指定 spdlog::drop_policy::overrun_oldest,确保队列满时不丢新日志也不卡住
  • 给 async logger 设置合理大小:太小(如 8192)容易溢出,太大(>1M)导致内存占用不可控;推荐 64K~256K 条消息缓冲
  • 务必调用 spdlog::flush_on(spdlog::level::err),否则 ERROR 级别以下的日志可能滞留在缓冲区不落盘

格式化开销到底来自哪?fmt::v8std::format 怎么选

不是模板展开慢,是每次格式化都涉及参数类型擦除、动态分发和临时字符串构造。实测显示,对相同日志模板,fmt::v8::format_tostd::format 快 2–3 倍,且支持编译期检查格式串。

AskAI
AskAI

无代码AI模型构建器,可以快速微调GPT-3模型,创建聊天机器人

下载

实操建议:

立即学习C++免费学习笔记(深入)”;

  • 禁用 fmt 的 locale 支持(定义 FMT_LOCALE 为 0),避免隐式 std::locale 构造开销
  • fmt::memory_buffer 替代 std::string 作目标缓冲 —— 它内部预分配 256 字节,避免短日志反复 malloc
  • 不要在日志宏里写 fmt::format("{}", expensive_func());应先判断日志级别是否启用,再计算参数

如何让日志系统真正“可扩展”而不是只撑住单机

所谓可扩展,不是加个线程就完事,而是要能横向切分、按需路由、故障隔离。比如一个微服务集群里,不同模块日志应能独立滚动、限速、投递到不同后端(本地文件 / Kafka / Loki)。

实操建议:

立即学习C++免费学习笔记(深入)”;

  • 每个模块用独立 spdlog::logger 实例,命名带前缀(如 "net.http""db.query"),便于运行时开关和配置粒度控制
  • spdlog::sinks::dist_sink_mt 组合多个 sink,比如同时写文件 + 推送 Kafka,但注意 Kafka sink 必须自己实现非阻塞发送(不能用 librdkafka 同步 API)
  • 滚动策略别只看时间,加 size-based 触发(rotating_file_sink_mtmax_size),否则半夜流量低时日志文件空转一整晚不切

真正难的不是并发写,是当 writer 线程崩溃、磁盘满、网络断开时,日志要不要降级到 stderr、要不要触发告警、旧缓冲区怎么回收 —— 这些逻辑必须提前想清楚,不能靠“理论上不会出问题”。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

743

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

743

2023.08.10

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

4

2026.03.04

AI安装教程大全
AI安装教程大全

2026最全AI工具安装教程专题:包含各版本AI绘图、AI视频、智能办公软件的本地化部署手册。全篇零基础友好,附带最新模型下载地址、一键安装脚本及常见报错修复方案。每日更新,收藏这一篇就够了,让AI安装不再报错!

7

2026.03.04

Swift iOS架构设计与MVVM模式实战
Swift iOS架构设计与MVVM模式实战

本专题聚焦 Swift 在 iOS 应用架构设计中的实践,系统讲解 MVVM 模式的核心思想、数据绑定机制、模块拆分策略以及组件化开发方法。内容涵盖网络层封装、状态管理、依赖注入与性能优化技巧。通过完整项目案例,帮助开发者构建结构清晰、可维护性强的 iOS 应用架构体系。

32

2026.03.03

C++高性能网络编程与Reactor模型实践
C++高性能网络编程与Reactor模型实践

本专题围绕 C++ 在高性能网络服务开发中的应用展开,深入讲解 Socket 编程、多路复用机制、Reactor 模型设计原理以及线程池协作策略。内容涵盖 epoll 实现机制、内存管理优化、连接管理策略与高并发场景下的性能调优方法。通过构建高并发网络服务器实战案例,帮助开发者掌握 C++ 在底层系统与网络通信领域的核心技术。

25

2026.03.03

Golang 测试体系与代码质量保障:工程级可靠性建设
Golang 测试体系与代码质量保障:工程级可靠性建设

Go语言测试体系与代码质量保障聚焦于构建工程级可靠性系统。本专题深入解析Go的测试工具链(如go test)、单元测试、集成测试及端到端测试实践,结合代码覆盖率分析、静态代码扫描(如go vet)和动态分析工具,建立全链路质量监控机制。通过自动化测试框架、持续集成(CI)流水线配置及代码审查规范,实现测试用例管理、缺陷追踪与质量门禁控制,确保代码健壮性与可维护性,为高可靠性工程系统提供质量保障。

77

2026.02.28

Golang 工程化架构设计:可维护与可演进系统构建
Golang 工程化架构设计:可维护与可演进系统构建

Go语言工程化架构设计专注于构建高可维护性、可演进的企业级系统。本专题深入探讨Go项目的目录结构设计、模块划分、依赖管理等核心架构原则,涵盖微服务架构、领域驱动设计(DDD)在Go中的实践应用。通过实战案例解析接口抽象、错误处理、配置管理、日志监控等关键工程化技术,帮助开发者掌握构建稳定、可扩展Go应用的最佳实践方法。

60

2026.02.28

Golang 性能分析与运行时机制:构建高性能程序
Golang 性能分析与运行时机制:构建高性能程序

Go语言以其高效的并发模型和优异的性能表现广泛应用于高并发、高性能场景。其运行时机制包括 Goroutine 调度、内存管理、垃圾回收等方面,深入理解这些机制有助于编写更高效稳定的程序。本专题将系统讲解 Golang 的性能分析工具使用、常见性能瓶颈定位及优化策略,并结合实际案例剖析 Go 程序的运行时行为,帮助开发者掌握构建高性能应用的关键技能。

48

2026.02.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 10.6万人学习

C 教程
C 教程

共75课时 | 5.2万人学习

C++教程
C++教程

共115课时 | 20.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号