0

0

Python 高频日志对系统性能的影响

舞夢輝影

舞夢輝影

发布时间:2026-02-18 16:31:32

|

708人浏览过

|

来源于php中文网

原创

logging.info 高频变慢因 filehandler 同步阻塞 i/o;优化需兜底判断、合并日志、简化格式、队列限流、异常防护、小文件轮转、禁用冗余备份,并优先用线程池而非协程卸载 i/o。

python 高频日志对系统性能的影响

日志写入频率高时,logging.info 为什么突然变慢?

因为默认的 FileHandler 是同步阻塞的,每次调用 logging.info 都会触发一次磁盘 I/O。高频写入(比如每秒上千条)时,线程会被卡在 write() 系统调用上,CPU 利用率可能不高,但整体响应延迟飙升。

  • 别在循环里直接打 logging.info —— 即使日志级别是 INFO,格式化字符串和判断逻辑仍会执行
  • logger.isEnabledFor(logging.INFO) 提前兜底,避免无谓开销
  • 把多条日志合并成一条(如用 join() 拼接),比逐条写快 3–5 倍(实测 10k 条/秒场景)
  • 注意 Formatter 中的 %(asctime)s:每次都要调用 time.time() + 格式化,换成 %(relativeCreated)d 可省掉 15%–20% 时间

QueueHandler + QueueListener 能彻底解耦吗?

能,但不是“加了就快”,关键在队列大小和后台线程行为。它只是把 I/O 搬到另一个线程,如果消费不过来,队列会堆积、内存上涨,甚至引发 Full 异常导致日志丢失。

  • 初始化 QueueHandler 时务必设 queue=queue.Queue(maxsize=1000),不设等于无限长队列,OOM 风险很高
  • QueueListenerrespect_handler_level=True 默认是 False,意味着即使你设了 logger.setLevel(logging.WARNING)INFO 日志仍会进队列——白白占资源
  • 后台线程默认不捕获异常,一旦 FileHandler.emit() 报错(如磁盘满),整个监听线程静默退出,后续日志全丢,得自己包一层 try/except
  • 不要给 QueueListener 加太多 handler,每个 handler 都串行执行;多个文件输出?改用单个 RotatingFileHandler + 自定义 emit

RotatingFileHandler 切割大日志时卡顿明显,怎么缓解?

切割动作本身是原子的,但 doRollover() 会先重命名旧文件、再新建文件,期间所有日志写入被阻塞。100MB+ 文件 rename 在机械盘上可能耗时 200ms+,高频场景下这就是雪崩起点。

闪睿企业网站管理系统 2009 SP1 Build 090828
闪睿企业网站管理系统 2009 SP1 Build 090828

闪睿企业网站管理系统是一套针对企业的网站管理系统。他高效、智能、友好易用。采用ASP.NET 2.0(C#),AJAX.NET 设计,系统架构优秀,高可用性设计,操作简单,功能强大,同时支持任意多语言,初次访问自动生成HTML,模板机制简单而灵活闪睿企业网站管理系统 2009 SP1 Build 090828 更新日志1.招贤纳士前台权限问题2.招贤纳士加入默认内容模版3.增加更多免费模版 后台登

下载
  • maxBytes 设小一点(比如 20_000_000 ≈ 20MB),避免单文件过大;切割越频繁,每次耗时越短
  • 禁用 backupCount 或设为 1,多备份数 = 多次 os.rename,纯累加延迟
  • 别用 delay=True,它会让首次写入才建文件,看似省开销,但首次写时要同步创建+chmod,反而更不可控
  • 如果业务允许,直接切到 TimedRotatingFileHandler(按天切),避开流量高峰时段的切割压力

异步方案选 aiologger 还是自己套 asyncio.to_thread

都绕不开 GIL 和系统调用阻塞,纯 Python 异步日志库在 CPU 密集型服务里收益有限;真正有效的是把 I/O 推给线程池,而不是协程。

立即学习Python免费学习笔记(深入)”;

  • aiologger 内部仍是用 loop.run_in_executor 调线程池,API 更重,且不兼容标准 Filter/Formatter,迁移成本高
  • asyncio.to_thread(logging.getLogger().info, ...) 更轻量,但要注意:不能传可变对象(如 dict)进线程,容易引发竞态;建议先 json.dumps 序列化再传
  • 最稳的路是:高频路径只打关键指标(如 log_metric("req_time", 123)),结构化数据走 UDP 发给 statsdOpenTelemetry agent,日志留作低频排障用

高频日志真正的瓶颈从来不在 Python 层,而在磁盘吞吐和文件系统锁;想压榨性能,得盯着 iostat -x 1 里的 %utilawait,而不是反复调参 logging 模块。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

442

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

322

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

553

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

216

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1553

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

640

2023.11.24

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

561

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号