python异步日志实为线程池/队列封装的“伪异步”，非i/o层面真异步；queuehandler+queuelistener是官方推荐最稳方案，需注意启动/停止时机与异常处理。
异步写日志在 Python 里根本做不到“真异步”
Python 的标准 logging 模块本身是同步的，所有 handler（比如 FileHandler、RotatingFileHandler）写磁盘时都会阻塞主线程。所谓“异步日志”，实际只是把日志记录动作丢进线程池或队列里延迟执行，并非 I/O 层面的异步（如 asyncio + aiofiles）。这意味着：
-
logging.info()调用返回快了，但日志真正落盘时间不可控 - 如果进程突然退出（比如被
kill -9），队列里没消费完的日志会丢失 - 多进程下共享队列需额外加锁或用
Queue+spawn方式启动子进程，否则可能卡死
常见错误现象：logging.info() 看似不卡，但服务重启后发现最后 2 秒日志全没了；或者压测时 ThreadPoolExecutor 队列积压导致 OOM。
什么时候该上“伪异步”日志
不是所有场景都适合加一层转发。只有当以下条件同时满足时，才值得引入线程/队列封装：
- 日志量大（比如每秒 > 100 条 INFO 级别以上）
- 写文件是性能瓶颈（可通过
strace -e trace=write python your_app.py观察 write 系统调用耗时） - 日志格式简单、无跨线程状态依赖（比如不依赖
threading.local()里的上下文） - 接受少量日志丢失风险（例如非审计类业务日志）
反例：金融交易系统的审计日志，必须确保每条都落盘，此时应优先优化 I/O（如用 SSD、关闭 delay=False 的 FileHandler、批量刷盘），而不是加异步层。
立即学习“Python免费学习笔记（深入）”；
QueueHandler + QueueListener 是最稳的方案
CPython 官方推荐的轻量级解法，不依赖第三方库，兼容 Python 3.2+，且天然支持多线程安全：
-
QueueHandler把日志 record 放进queue.Queue，几乎无开销 -
QueueListener在后台线程消费队列，再分发给真实 handler（如FileHandler） - 可通过
respect_handler_level=True控制是否继承原始 handler 的 level 过滤逻辑
实操建议：
- 不要自己手写线程 +while True: queue.get()，容易漏掉异常退出清理
- 启动时调用 listener.start()，退出前务必调用 listener.stop()（否则可能丢最后几条）
- 若用 atexit.register(listener.stop)，注意它不捕获 SIGKILL
import logging
from logging.handlers import QueueHandler, QueueListener
import queue
<p>log_queue = queue.Queue(-1) # 无界队列，避免阻塞 logger
handler = logging.FileHandler("app.log")
listener = QueueListener(log_queue, handler)
listener.start()</p><p>logger = logging.getLogger()
logger.addHandler(QueueHandler(log_queue))
logger.setLevel(logging.INFO)</p>用 concurrent.futures.ThreadPoolExecutor 就是给自己挖坑
有人图省事直接用 executor.submit(handler.emit, record)，这会导致：
-
record对象在主线程和工作线程间传递，可能引发AttributeError: 'LogRecord' object has no attribute 'threadName'（因部分属性是 lazy 初始化的） -
Formatter.format()调用可能访问线程局部变量（如%(threadName)s），结果错乱或崩溃 - 每次 emit 都新建 formatter 实例，比
QueueListener多一次对象构造开销
除非你明确重写了 LogRecord 的 __getstate__ 并确保所有字段可序列化，否则别碰这条路。
事情说清了就结束。真正难的不是“怎么异步”，而是判断“要不要异步”——多数时候，调低日志级别、关掉冗余字段、换更快的存储，比加一层队列更有效。
