0

0

Python如何监控日志新增_模拟tail命令实时读取动态日志输出

P粉602998670

P粉602998670

发布时间:2026-03-16 12:39:11

|

186人浏览过

|

来源于php中文网

原创

实时监控日志需用open('app.log','r')后seek(0,2)定位到文件末尾,避免重复读旧日志;须检测inode变化应对轮转,显式指定encoding防编码错误,并用time.sleep(0.1)轮询readline()防CPU空转。

python如何监控日志新增_模拟tail命令实时读取动态日志输出

open() 配合 seek(0, 2) 定位到文件末尾

日志文件是追加写入的,实时监控必须从当前末尾开始读,而不是每次从头读——否则会重复刷旧日志、拖慢性能甚至 OOM。直接 open('app.log', 'r') 然后 readline() 会卡在开头,必须手动跳转。

  • seek(0, 2) 表示“从文件末尾偏移 0 字节”,即定位到 EOF;seek(0, 0) 是开头,seek(0, 1) 在部分系统不可靠,别用
  • 打开时务必用 'r' 模式(不是 'rb'),否则文本换行符解析可能错乱;若日志含非 UTF-8 编码(如 GBK),需显式传 encoding='gbk'
  • 注意:如果文件被轮转(logrotate)或清空(> app.log),seek(0, 2) 后的文件描述符仍指向原 inode,会漏掉新内容——这是最常踩的坑

while True + readline() 轮询新行

没有操作系统级事件通知时,轮询是最简单可靠的方案。关键不是“要不要轮询”,而是“怎么轮询不伤 CPU、不丢行”。

  • 每次调用 file.readline(),有新行就立刻返回;没新行就立即返回空字符串,不会阻塞——所以必须配合 time.sleep(0.1) 防止空转吃满 CPU
  • 不要用 readlines()read(),它们会一次性加载整块内容,遇到大日志或高频写入极易卡住或内存暴涨
  • 如果日志行特别长(比如带 base64 的 trace),readline() 仍安全;但要留意单行超 128KB 时某些 Python 版本可能截断(罕见,但生产环境见过)

处理日志轮转:检查 os.stat().st_ino 和文件大小变化

轮转后旧文件被重命名(app.log.1),新日志写入空的 app.log,但你的 file 对象还锁着旧 inode,新内容永远读不到。

课游记AI
课游记AI

AI原生学习产品

下载
  • 每轮循环用 os.stat(filepath).st_ino 对比当前文件 inode 是否变化;变了说明文件被重建,需关闭旧句柄、重新 open()
  • 仅靠文件大小回退(比如从 10MB 变成 0)不可靠:有些轮转策略是先拷贝再清空,大小可能短暂为 0 但 inode 没变;有些是 rename,inode 不变但名字变
  • 补充检查 os.path.exists() 防删库跑路:万一运维手抖 rm app.log,程序不能崩,应 log 警告并 sleep 后重试

select.poll() 替代轮询(Linux/macOS)

想彻底避开 sleep 和 CPU 空转?select.poll() 可让内核通知你“文件可读了”,但只适用于真实文件描述符,且 Windows 不支持。

立即学习Python免费学习笔记(深入)”;

  • fd = file.fileno() 拿到底层 fd,再 p = select.poll(); p.register(fd, select.POLLIN)
  • 调用 p.poll(timeout_ms) 会阻塞直到有新数据或超时,返回非空列表才 readline();超时设 500 即可,比 0.1s sleep 更省资源
  • 注意:POLLIN 对普通文件**在 Linux 上始终就绪**(因为文件永远“可读”),所以它只对 FIFO、socket、tty 有效;监控磁盘日志文件时,poll() 实际退化为定时唤醒,和 sleep 差不多——别被文档误导
文件 inode 变化和编码异常是线上最常导致“看着在跑、实际不输出”的两个点,盯住这两处,基本就稳了。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

107

2023.09.25

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

761

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1570

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

651

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

1249

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

1206

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

194

2025.07.29

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

2

2026.03.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号