0

0

服务器偶发丢包但 ping 正常 的 bpftrace tracepoint:net:netif_receive_skb 分析

冰川箭仙

冰川箭仙

发布时间:2026-02-05 20:31:03

|

627人浏览过

|

来源于php中文网

原创

ping正常但业务丢包是因为ICMP与业务流量路径不同,前者走完整协议栈,后者可能在网卡驱动、XDP、TC ingress或softirq前被丢弃;tracepoint:net:netif_receive_skb仅记录skb进入点,不反映后续过滤或静默丢弃,需结合bpftrace验证是否到达该点,并排查上游环节。

服务器偶发丢包但 ping 正常 的 bpftrace tracepoint:net:netif_receive_skb 分析

为什么 ping 正常但业务流量丢包?

因为 ping 走的是 ICMP 协议,而业务流量(如 HTTP、TCP 连接)在进入协议栈前可能被更早的路径丢弃——比如网卡驱动、XDP、TC ingress、甚至 netif_receive_skb 之前的 softirq 上下文。该 tracepoint 触发点虽在「接收软中断入口」,但已跳过 DMA 拷贝完成、NAPI poll、GRO 合并等前置环节,所以看到它被触发,说明 skb 至少已成功从驱动队列取出;但若这里没被 trace 到,问题大概率出在更上游。

tracepoint:net:netif_receive_skb 能捕获到哪些丢包?

它只记录最终调用 netif_receive_skb 的那一刻,不反映后续是否被过滤、重定向或静默丢弃。真正丢包发生在其内部:比如 tc_classify() 返回 TC_ACT_SHOTip_rcv() 因 checksum 错误返回 NET_RX_DROP、或被 iptables-j DROP 截断。因此,仅靠这个 tracepoint 统计「进入次数」和「业务包数量对比」只能辅助判断是否在入口前就丢失,不能定位具体丢弃点。

怎么用 bpftrace 实时验证是否真没走到这个 tracepoint?

运行以下脚本观察是否有匹配输出:

bpftrace -e '
tracepoint:net:netif_receive_skb {
    $skb = (struct sk_buff*)arg0;
    $len = ((struct sk_buff*)arg0)->len;
    $proto = ((struct sk_buff*)arg0)->protocol;
    printf("skb=%p len=%d proto=0x%x\\n", $skb, $len, $proto);
}
'

如果业务请求发出后长期无输出,说明包根本没到达该 hook 点,应排查:

ControlNet
ControlNet

AI图像生成的规则改变者,通过添加额外条件来控制SD模型

下载
  • NIC 驱动是否启用 RPS/RFS/XPS 不当,导致部分 CPU 核心未处理对应队列
  • 是否启用了 XDP 程序且在 xdp_dropxdp_abort
  • /proc/sys/net/core/netdev_max_backlog 是否过小,引发 softirq 处理延迟甚至丢包
  • 网卡 ring buffer 溢出(ethtool -S eth0 | grep -i "drop\|over"rx_missed_errorsrx_over_errors

偶发丢包时 tracepoint 数据怎么看?

加时间戳与 CPU ID 可辅助关联上下文:

bpftrace -e '
tracepoint:net:netif_receive_skb /pid == 0/ {
    @count[comm, cpu] = count();
    @len[comm] = hist((int) ((struct sk_buff*)arg0)->len);
}
interval:s:1 { print(@count); clear(@count); print(@len); clear(@len); }
'

重点关注:

  • 是否某 CPU 上 @count 明显偏低(指向 RPS 分布不均或 softirq 压力大)
  • 是否大量小包(len 在 60–70 字节)集中出现,却无对应应用日志(暗示 ARP、ICMP 或探测包干扰)
  • comm 中是否出现 ksoftirqd 占比异常高(说明 net rx softirq 处理不过来)

真正棘手的偶发丢包,往往不在 netif_receive_skb 这一层暴露,而是藏在驱动收包中断响应延迟、ring buffer 溢出、或 XDP/TC 规则中无日志的静默 drop 里。别只盯着这个 tracepoint 数数,先确认它到底有没有机会被调用。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

198

2023.11.20

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

400

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

579

2023.08.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

400

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

579

2023.08.10

http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

441

2023.11.09

http请求415错误怎么解决
http请求415错误怎么解决

解决方法:1、检查请求头中的Content-Type;2、检查请求体中的数据格式;3、使用适当的编码格式;4、使用适当的请求方法;5、检查服务器端的支持情况。更多http请求415错误怎么解决的相关内容,可以阅读下面的文章。

424

2023.11.14

HTTP 503错误解决方法
HTTP 503错误解决方法

HTTP 503错误表示服务器暂时无法处理请求。想了解更多http错误代码的相关内容,可以阅读本专题下面的文章。

2614

2024.03.12

java连接字符串方法汇总
java连接字符串方法汇总

本专题整合了java连接字符串教程合集,阅读专题下面的文章了解更多详细操作。

7

2026.02.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
CSS3 教程
CSS3 教程

共18课时 | 5.2万人学习

Sass 教程
Sass 教程

共14课时 | 0.8万人学习

Pandas 教程
Pandas 教程

共15课时 | 1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号