0

0

Python 程序运行指标的采集思路

舞姬之光

舞姬之光

发布时间:2026-02-05 18:47:10

|

680人浏览过

|

来源于php中文网

原创

用 psutil 实时获取 Python 进程 CPU 和内存使用率最稳妥,需基于当前 pid 创建 Process 实例;cpu_percent 需两次调用(间隔 0.1–0.5 秒),memory_info().rss 除以 1024² 得 MB;多进程须单独采集;应通过守护线程+队列缓存指标,避免阻塞主逻辑;Prometheus 导出推荐用 prometheus_client,定义带 pid/name 维度的 Gauge;禁用 time.time() 测耗时,优先选 process_time 或 perf_counter;异步场景下仍有效,但需注意上下文损耗;聚焦 CPU、RSS、线程数、GC 四项核心指标。

python 程序运行指标的采集思路

Python 进程 CPU 和内存使用率怎么实时获取

直接用 psutil 是最稳的选择,它跨平台、开销低、API 清晰。别自己去读 /proc/pid/stat 或调用 os.popen('top'),既难维护又容易出兼容问题。

关键点:必须基于当前进程的 pid 构造 psutil.Process() 实例,否则拿到的是系统全局值。

  • process.cpu_percent(interval=0.1):首次调用会返回 0,需至少调用两次(间隔 >0)才有效;interval 太小(如 0.01)会导致精度失真,推荐 0.1–0.5 秒
  • process.memory_info().rss 返回字节数,除以 1024**2 转 MB;注意 vms虚拟内存)在容器中常失真,优先看 rss
  • 如果程序是多进程,每个子进程需单独采集,父进程调用 psutil.Process(child_pid),不能复用主进程对象

如何避免指标采集拖慢主业务逻辑

指标采集本身有 I/O 和计算开销,尤其 cpu_percent() 依赖两次采样间隔,阻塞式调用会卡住主线程。

  • 用独立线程周期性采集,通过 threading.Thread(daemon=True) 启动,避免阻碍主程序退出
  • queue.Queue 缓存最新一次采集结果,业务代码只做非阻塞读取,不参与采集过程
  • 不要在 HTTP 请求处理函数或数据库事务里实时调用 psutil —— 这类路径延迟敏感,应读缓存值
  • 容器环境(如 Docker)中,psutil.sensors_temperatures() 等硬件接口不可用,提前判断 hasattr(psutil, 'sensors_temperatures') 再调用

指标数据怎么结构化导出供监控系统消费

Prometheus 是最常见目标,但 Python 原生不支持暴露指标端点,得靠 prometheus_client 库补足。

云网OA
云网OA

采用JSP开发的办公自动化产品、基于B/S结构,运行环境:JDK v1.5、Tomcat v5.5、MySQL v4.1,三者均为以上版本其他相关内容:可视化流程设计: 流程支持串签、会签和分支流程,可以设置流程节点的修改、删除权限,并可指定流程中各个用户在表单中可以填写的域。智能表单所见即所得设计: 智能设计,自动在数据库中生成表格,方便优化程序 公共交流: 集论坛、博客、聊天室于一体文件柜:C

下载

立即学习Python免费学习笔记(深入)”;

  • 定义指标前先想清楚维度:比如 python_process_cpu_percent{pid="1234", name="worker"} 比单纯 python_cpu_percent 更有用
  • Gauge 类型存瞬时值(CPU、RSS),用 Counter 记累计量(如请求总数、异常次数)
  • 避免高频 .set():每秒更新一次即可,Prometheus 抓取频率通常为 15s,更密反而浪费
  • 若不用 Prometheus,输出 JSON 到标准输出也行,但字段名统一用小写+下划线(如 mem_rss_bytes),方便 Logstash 或 Fluentd 解析

为什么 time.time() 不适合做耗时指标的基准

它只反映 wall-clock 时间,无法区分 CPU 占用、I/O 等待、GIL 阻塞等真实瓶颈,导致指标误导性很强。

  • time.process_time() 测纯 CPU 执行时间(不含 sleep、I/O 等等待)
  • time.perf_counter() 测端到端耗时(含等待),但要注意:它在系统休眠后可能跳变,不适合长期运行服务的“总运行时”统计
  • 真正要定位性能热点,得结合 cProfilepy-spy,而不是靠外围采集的平均值
  • 异步场景(asyncio)下,process_time 仍有效,但要注意事件循环切换带来的上下文损耗,单次 await 的耗时意义有限
采集不是越全越好,重点盯住 CPU、RSS、线程数、GC 次数这四个硬指标;其余像磁盘 I/O、网络连接数,只在对应模块启用时才打开采集开关——否则只是给监控系统喂噪音。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

428

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

541

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

313

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

78

2025.09.10

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1258

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

275

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2195

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

33

2026.01.19

java连接字符串方法汇总
java连接字符串方法汇总

本专题整合了java连接字符串教程合集,阅读专题下面的文章了解更多详细操作。

7

2026.02.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号