Python多进程日志需子进程独立配置,推荐用QueueHandler+QueueListener实现主进程集中写入,避免文件竞争;调试时可用带pid的文件名或StreamHandler。

在 Python 的 multiprocessing 中,子进程默认不继承主进程的 logging 配置,直接使用 logging.info() 等可能无输出、报错,甚至导致进程卡死。关键在于:每个进程需独立配置 logger,且避免多个进程同时写入同一文件引发竞争或损坏。
为每个子进程单独初始化 logging
子进程中不能依赖主进程的 logger 配置。应在子进程函数开头主动调用 logging.basicConfig() 或获取 root logger 后添加 handler:
- 推荐方式:在子进程入口函数(如
worker())第一行配置 logging,确保每次启动都干净初始化 - 避免在模块顶层或
if __name__ == '__main__':外配置 —— 子进程会重新执行模块,但此时basicConfig()可能因已存在 handler 而静默失败 - 若用
logging.getLogger(),记得清除已有 handler:logger.handlers.clear(),再添加新 handler
避免多进程写同一个日志文件
多个子进程直接往同一个文件 FileHandler 写日志,会导致内容错乱、丢失甚至文件损坏。可行方案有:
- 给每个进程的日志文件加唯一后缀,例如用
os.getpid()或current_process().pid:FileHandler(f'app_{os.getpid()}.log') - 统一由主进程接收日志消息(通过
QueueHandler+QueueListener),实现集中写入 —— 这是最健壮的生产级方案 - 临时调试可用
StreamHandler(sys.stderr),输出到控制台(注意 Windows 下可能仍需设置sys.stderr.reconfigure()或避免编码问题)
使用 QueueHandler 实现安全集中日志
这是官方推荐的多进程日志最佳实践:子进程只发日志消息,主进程专用线程监听并写入文件。
立即学习“Python免费学习笔记(深入)”;
- 主进程创建
multiprocessing.Queue()和QueueListener,传入 file handler 并启动监听 - 子进程获取 logger,移除默认 handler,添加
QueueHandler(queue) - 注意:
QueueListener必须在if __name__ == '__main__':块中启动,且不能在子进程中重复创建 - 示例关键代码:
listener = QueueListener(queue, FileHandler('all.log'));listener.start();子进程里logger.addHandler(QueueHandler(queue))
其他实用细节
有些小问题容易踩坑,提前注意可省去大量调试时间:
- Windows 下 spawn 方式启动子进程时,模块会重新导入 —— 所有 logging 配置逻辑必须放在函数内,不要放模块全局作用域
- 使用
concurrent.futures.ProcessPoolExecutor时同样适用上述规则,子任务函数内需自行初始化 logging - 若用
RotatingFileHandler,多个进程无法安全共用,必须配合 Queue 或按进程分文件 - 日志格式建议包含进程 ID:
%(process)d或%(processName)s,便于区分来源










