0

0

Linux 内核日志分析与故障排查

冷炫風刃

冷炫風刃

发布时间:2026-02-20 16:38:42

|

133人浏览过

|

来源于php中文网

原创

dmesg关键日志需精准过滤而非全览:用dmesg -t | grep -i "error\|warn\|fail\|unable"筛选,结合硬件总线关键词、模块名对照lsmod、addr2line定位源码,oom需联动ps/cgroup验证,警惕“无报错=无问题”盲区。

linux 内核日志分析与故障排查

怎么看 dmesg 里真正有用的那几行

内核日志不是日志,是线索拼图——dmesg 默认刷屏全是初始化信息,真出问题时关键报错往往被淹没在千行启动日志里。重点不是“看全”,而是“过滤准”。

实操建议:

  • dmesg -T | grep -i "error\|warn\|fail\|unable" 加时间戳筛选(-T 需 root 或 sudo 权限)
  • 硬件类问题优先搜 pcinvmeatausb 等总线关键词,比如 dmesg | grep -A2 -B2 nvme
  • 驱动加载失败常表现为 modprobe: FATAL: Module xxx not found,但内核实际可能已静默 fallback 到通用驱动,得结合 lsmod/proc/modules 对照
  • 别信 dmesg -c 清空后“没报错=没问题”——有些错误只在设备热插拔或负载突增时触发,需配合 dmesg -w 实时盯梢

journalctl -kdmesg 输出不一致?

因为它们来源不同:dmesg 直读内核环形缓冲区(log_buf),而 journalctl -k 读的是 systemd-journald 持久化后的内核日志副本——缓冲区满会丢老日志,journald 可能因配置丢字段或截断。

实操建议:

  • 查最近一次重启前的错误,必须用 journalctl -k -b -1-b -1 表示上一次 boot)
  • 发现 journalctl -k 有内容但 dmesg 没有,大概率是内核缓冲区溢出,调大 kernel.printk_ratelimit 或改 kernel.log_buf_len(需 boot 参数)
  • journalctl -k 完全空白,检查 journald 是否禁用了内核日志捕获:grep -i "kmsg" /etc/systemd/journald.conf,确认 ForwardToKMsg=yes

dmesg 报错定位具体驱动或模块

内核错误行末尾常带 [xxxxx],那是模块名缩写,但不是源码模块名,而是内核符号表里注册的名称,和 lsmod 输出一致。

阿里云AI平台
阿里云AI平台

阿里云AI平台

下载

实操建议:

  • 看到类似 nvme 0000:01:00.0: PCIe Bus Error: severity=Correctable,其中 nvme 就是模块名,直接 lsmod | grep nvme 看是否加载、版本号
  • 报错含地址如 BUG: unable to handle kernel NULL pointer dereference at 0000000000000000,用 addr2line -e /lib/modules/$(uname -r)/build/vmlinux 0000000000000000 反查(需安装 debuginfo 包)
  • 某些驱动(如 igbr8169)有多个变体,报错里模块名可能和 lspci -k 显示的 Kernel driver in use 不一致,此时以 lspci -vv -s xx:xx.x | grep -A10 "Kernel modules" 为准

为什么 dmesg 里有 OOM killer 记录却找不到进程被杀

OOM killer 日志(Killed process xxx (xxx) total-vm:xxxxkB, anon-rss:xxxxkB, file-rss:0kB)只记录它动手那一刻的状态,但进程可能已退出、被信号终止,或被容器 runtime 拦截并静默回收。

实操建议:

  • OOM 日志本身不含 PID 命令行,需立刻执行 ps aux --sort=-%mem | head -20 对照内存占用峰值
  • 容器环境(Docker/Podman)中,OOM 由 cgroup v1/v2 触发,dmesg 记录的是内核视角,实际 kill 由 runc 或 crun 执行,查 docker ps -apodman ps -a 看状态为 Exited (137)
  • 检查 /sys/fs/cgroup/memory/ 下对应 cgroup 的 memory.oom_controlmemory.events,确认是否启用 OOM killer

内核日志最危险的盲区不是看不懂报错,而是把“没报错”当结论——很多硬件降级、驱动静默 fallback、cgroup 节流都不会打 ERROR,只在 /procsysfs 留痕迹。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

246

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

806

2024.03.01

sort排序函数用法
sort排序函数用法

sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

402

2023.09.04

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

371

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

340

2023.10.25

k8s和docker区别
k8s和docker区别

k8s和docker区别有抽象层次不同、管理范围不同、功能不同、应用程序生命周期管理不同、缩放能力不同、高可用性等等区别。本专题为大家提供k8s和docker区别相关的各种文章、以及下载和课程。

265

2023.07.24

docker进入容器的方法有哪些
docker进入容器的方法有哪些

docker进入容器的方法:1. Docker exec;2. Docker attach;3. Docker run --interactive --tty;4. Docker ps -a;5. 使用 Docker Compose。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

512

2024.04.08

docker容器无法访问外部网络怎么办
docker容器无法访问外部网络怎么办

docker 容器无法访问外部网络的原因和解决方法:配置 nat 端口映射以将容器端口映射到主机端口。根据主机兼容性选择正确的网络驱动(如 host 或 overlay)。允许容器端口通过主机的防火墙。配置容器的正确 dns 服务器。选择正确的容器网络模式。排除主机网络问题,如防火墙或连接问题。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

411

2024.04.08

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

776

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 9.4万人学习

Git 教程
Git 教程

共21课时 | 3.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号