0

0

Python 日志打印对性能的影响

冰川箭仙

冰川箭仙

发布时间:2026-02-05 22:50:45

|

499人浏览过

|

来源于php中文网

原创

日志性能优化关键在于级别控制、格式化精简、异步写入和结构化克制:WARNING以上级别可使低级日志零成本;禁用%(funcName)s等动态字段;用QueueHandler实现异步;避免extra中传未序列化对象。

python 日志打印对性能的影响

日志级别设为 WARNING 以上时,几乎不拖慢程序

Python 的 logging 模块默认采用懒求值设计:当当前 logger 的有效级别高于某条日志的级别(比如 logger 设为 WARNING,却调用 logger.debug(...)),整个日志语句的参数格式化、堆捕获、处理器分发等操作都会被跳过。这意味着 logger.debug("user_id={}".format(user_id)) 这类调用在 DEBUG 级别未启用时,连字符串拼接都不会执行。

常见错误是误以为“只要写了 logger.debug 就有开销”,其实只要日志级别关得够高,这部分代码就是零成本的条件判断。

  • 确认生效级别:用 logger.getEffectiveLevel() 查看实际值,注意父 logger 和 root logger 的继承关系
  • 避免手动拼接再传入:写成 logger.debug("user_id=%s", user_id) 而非 logger.debug("user_id=" + str(user_id)),前者只在真正输出时才转换
  • 对高频路径(如每毫秒调用一次的函数),即使 INFO 级别开启,也建议用 if logger.isEnabledFor(logging.INFO) 提前拦截

%(asctime)s%(funcName)s 是性能黑洞

格式化字符串中含 %(asctime)s%(funcName)s%(lineno)d%(pathname)s 等动态字段时,每次日志输出都需实时获取调用栈、格式化时间、解析文件路径——这些操作无法缓存,且随日志量线性增长。

尤其 %(funcName)s%(lineno)d 在 CPython 中依赖 inspect.currentframe(),实测在循环中打 10 万条带这两个字段的日志,比不带慢 3–5 倍。

立即学习Python免费学习笔记(深入)”;

  • 生产环境禁用 %(funcName)s%(lineno)d;调试阶段可临时启用,但不要长期开着
  • %(asctime)s 若必须,改用 %(created)f(Unix 时间戳浮点数),避免 time.strftime 的锁和格式化开销
  • 自定义 Formatter 时,重写 format() 方法并缓存 time.time() 结果,可进一步压降 10%–20% 时间

Handler 写文件时的阻塞与缓冲策略

默认的 FileHandler 是同步阻塞的:每次 logger.info() 都会触发一次 write() 系统调用,频繁小写入极易卡住主线程。而 RotatingFileHandler 在检查 rollover 条件时还会加锁并读取文件大小,进一步放大延迟。

千问APP
千问APP

阿里最强大模型官方AI助手

下载

这不是 logging 模块的问题,而是 I/O 本身特性。解决方案不是换库,而是控制写入节奏和方式。

  • BufferingHandler 或自行包装一个内存 buffer(例如累积 100 条或满 64KB 再刷盘)
  • 改用 TimedRotatingFileHandler 替代 RotatingFileHandler,避免每次写都检查文件大小
  • 关键服务中,把日志 handler 改为异步:用 QueueHandler + 单独线程消费 QueueListener,主线程几乎无感知
  • 切忌在 Handler.emit() 中做耗时操作(如发 HTTP、查 DB),这会让所有日志调用变慢

JSON 日志和结构化字段带来的隐性成本

json.dumps()extra 字典序列化进日志消息,看似干净,但每次调用都触发一次完整 JSON 编码——尤其当 extra 含 datetime、bytes、嵌套对象时,编码可能失败或极慢。更隐蔽的是,很多 JSON formatter 会无差别递归遍历所有字段,包括你不关心的 __dict__ 或循环引用。

结构化日志的价值在检索和分析,不在“看起来整齐”。过度结构化反而让单条日志延迟从微秒级升到毫秒级。

  • 避免在 extra 中传入未序列化的对象(如 request 对象、model 实例);先抽关键字段,转成 dict 或 str
  • 不用第三方 JSON formatter 库(如 python-json-logger)默认配置;禁用 ensure_ascii=Falsesort_keys=True,它们显著拖慢编码
  • 若需字段索引能力,优先考虑日志采集端(如 Filebeat、Fluentd)做解析,而非在应用层硬塞 JSON

日志性能问题往往不出在“要不要打”,而出在“怎么打”和“打完怎么运”。最常被忽略的是:handler 的实现细节比 logger 配置影响更大,而格式化模板里的一个 s 字符(%(funcName)s)可能比整个业务逻辑还吃 CPU。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

428

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

541

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

313

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

78

2025.09.10

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

794

2023.08.22

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

864

2023.07.31

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

439

2024.06.27

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

381

2023.08.03

java连接字符串方法汇总
java连接字符串方法汇总

本专题整合了java连接字符串教程合集,阅读专题下面的文章了解更多详细操作。

7

2026.02.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号