0

0

c++中如何实现高性能的日志库? (异步写入技巧)

冰火之心

冰火之心

发布时间:2026-01-11 13:26:02

|

595人浏览过

|

来源于php中文网

原创

同步 std::ofstream 写日志拖慢主业务,因每次调用均触发磁盘 I/O 等待;应通过无锁环形缓冲区+独立写线程解耦日志生成与落盘,关闭流同步、避免 << 操作、批量 write + 定期 flush,并用 TLS string 缓冲区避免竞争。

c++中如何实现高性能的日志库? (异步写入技巧)

为什么同步 std::ofstream 写日志会拖慢主业务?

因为每次 log.info("user login") 都触发一次磁盘 I/O,哪怕只是追加几十字节,也要等内核完成缓冲、刷盘、返回确认。在高并发场景下,线程可能卡在 write() 系统调用上几十毫秒,直接拉高 P99 延迟。

真正耗时的不是格式化字符串,而是 I/O 等待。所以核心思路是:把「日志内容生成」和「日志落盘」彻底解耦。

无锁环形缓冲区 + 独立写线程实现异步写入

不依赖第三方库(如 Boost.Lockfree),用 std::atomic 和内存序控制生产者/消费者边界,避免互斥锁成为瓶颈。

  • 生产者(业务线程)只做两件事:格式化日志到上 buffer,然后原子地 push 到环形队列 —— 这个操作通常在 100ns 级别
  • 消费者(单个专用线程)循环 pop 日志条目,批量 write 到 std::ofstream,并按需 rotate 文件
  • 环形缓冲区大小建议设为 216 ~ 218,太小容易丢日志,太大增加 cache miss
  • 必须处理缓冲区满的情况:if (queue.full()) { drop_count.fetch_add(1, std::memory_order_relaxed); return; },不能阻塞或重试

std::ofstream 的性能陷阱与绕过方式

默认构造的 std::ofstream 启用了 std::ios_base::sync_with_stdio(true),会和 C stdio 同步,带来额外开销;且每次 << 都检查流状态,频繁调用 write() 也触发多次系统调用。

立即学习C++免费学习笔记(深入)”;

DeepSider
DeepSider

浏览器AI侧边栏对话插件,集成多个AI大模型

下载
  • 关闭同步:file.rdbuf()->pubsetbuf(nullptr, 0); file.imbue(std::locale::classic());
  • 避免用 << 拼接,改用 file.write(buf.data(), buf.size()) 直接写入已格式化好的 std::string_view
  • 启用 O_DIRECT(Linux)或 FILE_FLAG_NO_BUFFERING(Windows)需谨慎:它要求地址对齐、长度对齐,反而容易因小写入变慢;日常建议保持 page cache,靠内核延迟刷盘
  • 每写入 4KB~64KB 再 file.flush() 一次,比每条 flush 快 10x+

如何安全地在多线程中复用 std::string 缓冲区?

不能让多个线程共用同一个 std::string 实例去 format,否则需要锁;也不能每次都 new/delete —— 分配器竞争又成瓶颈。

推荐方案是每个线程绑定一个 TLS(thread_local)buffer:

thread_local static std::string tls_buffer;
tls_buffer.clear();
tls_buffer.reserve(512);
// ... 格式化进 tls_buffer
queue.push(tls_buffer.c_str(), tls_buffer.size());

注意:tls_buffer.c_str() 返回的是临时指针,必须在 push 时立即拷贝内容(比如 ring buffer 存的是 char* + size_t,内部 memcpy)。否则 TLS buffer 下次被覆盖,消费者读到的就是垃圾数据。

真正的难点不在“怎么异步”,而在“缓冲区满时丢哪条”“崩溃时未刷盘日志怎么 recovery”“rotate 期间写线程是否感知到新文件句柄”。这些细节不处理好,高性能就变成高风险。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1051

2023.08.02

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

847

2023.08.22

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

888

2023.07.31

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

464

2024.06.27

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

761

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1570

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

651

2023.11.24

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

69

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.7万人学习

Git 教程
Git 教程

共21课时 | 4.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号