异步日志通过分离记录与写入,利用无锁队列减少锁竞争,结合批量写入和内存优化,显著提升高并发下性能,主流库如spdlog、glog均采用此模式。

实现一个高性能的 C++ 日志库,关键在于减少日志操作对主业务线程的影响,避免锁竞争导致的性能瓶颈。异步日志结合无锁队列是一种被广泛采用的高效方案,能够显著提升高并发场景下的日志写入性能。
异步日志的基本架构
异步日志的核心思想是将日志的“记录”和“写入文件”分离。应用程序线程只负责把日志消息快速推送到队列中,由独立的后台线程从队列取出消息并执行实际的 I/O 操作。
这样做的好处是:
- 主线程几乎不参与磁盘 I/O,响应更快
- 日志写入可以批量处理,减少系统调用次数
- 通过队列缓冲应对突发日志流量
使用无锁队列避免线程阻塞
传统多生产者多消费者场景下常用互斥锁保护共享队列,但在高并发时容易成为性能瓶颈。无锁队列(Lock-Free Queue)利用原子操作实现线程安全,能有效降低争抢开销。
立即学习“C++免费学习笔记(深入)”;
一个高效的实现方式是使用基于环形缓冲(circular buffer)的单生产者单消费者或多生产者单消费者无锁队列。例如:
- boost::lockfree::spsc_queue:单生产者单消费者无锁队列,性能极高
- 自研 CAS(Compare-And-Swap)循环实现的多生产者队列
- 采用缓存行对齐(cache line padding)防止伪共享(false sharing)
示例简化结构:
class LogQueue {
std::unique_ptr buffer;
std::atomic head; // 生产者推进
std::atomic tail; // 消费者推进
public:
bool push(const char* msg, size_t len) {
size_t h = head.load();
size_t next_h = (h + len + sizeof(size_t)) % BUFFER_SIZE;
if (next_h >= tail.load()) return false; // 队列满
if (head.compare_exchange_weak(h, next_h)) {
*reinterpret_cast(buffer.get() + h) = len;
memcpy(buffer.get() + h + sizeof(size_t), msg, len);
return true;
}
return false; // 重试
} };
日志格式化与内存管理优化
为了进一步提升性能,应在生产者端尽可能减少动态内存分配和耗时操作:
- 使用对象池(object pool)或内存池管理日志消息缓冲区
- 在栈上完成日志格式化,再拷贝进队列
- 支持可变参数模板 + constexpr 解析格式字符串,避免运行时解析开销
- 采用 RAII 包装日志宏,自动记录时间、线程 ID、文件行号等信息
典型宏定义示例:
#define LOG_INFO(fmt, ...) \
do { \
Logger::instance().log(LogLevel::INFO, __FILE__, __LINE__, fmt, ##__VA_ARGS__); \
} while(0)
后台写入线程的设计要点
消费线程应具备以下特性以保证高效稳定:
- 空闲时适当休眠或使用事件通知机制(如条件变量或 eventfd)唤醒
- 支持定时刷新(如每 10ms 或队列达到阈值)以平衡延迟与吞吐
- 当日志量过大导致队列满时,提供丢弃策略(如丢弃调试日志)或告警机制
- 支持滚动文件输出(按大小或时间切分)和压缩归档
基本上就这些。高性能日志库的关键不是功能多全,而是路径够短、干扰够少。异步 + 无锁 + 批量写入构成了现代 C++ 高性能日志的主流模式,像 spdlog、glog 内部都采用了类似设计思路。自己实现时注意边界情况和内存可见性即可。











