应优先启用网卡硬件RSS,再依次配置RPS、RFS、XPS及中断亲和性:1.用ethtool启用多队列;2.为各rx队列设RPS CPU掩码;3.配置RFS流表容量与全局阈值;4.为tx队列设XPS掩码;5.禁用irqbalance并静态绑定中断到对应CPU。

一、确认网卡多队列支持并启用硬件RSS
若网卡本身支持硬件多队列(RSS),应优先启用该功能以实现底层流量散列分发,为RPS提供良好基础。硬件RSS可将入站数据包按流哈希分发至不同接收队列,避免单队列瓶颈。
1、执行命令查看当前网卡队列能力:ethtool -l eth0(将eth0替换为实际网卡名,如ens33、enp0s3等)。
2、若输出中“Combined”字段最大值大于1,且当前值为1,则说明硬件支持但未启用多队列。
3、将接收与发送队列数设为CPU物理核心数(例如4核):sudo ethtool -L eth0 combined 4。
4、验证设置生效:ls /sys/class/net/eth0/queues/ 应显示 rx-0、rx-1、rx-2、rx-3 等多个接收队列目录。
二、启用RPS实现软件层接收负载分发
RPS在内核网络栈软中断(NET_RX_SOFTIRQ)阶段,依据数据包特征选择目标CPU进行后续处理,弥补无RSS硬件或队列数不足时的多核利用率缺陷。
1、计算CPU掩码:假设使用前4个CPU核心(编号0–3),十六进制掩码为 f(即二进制1111);若需启用CPU0、CPU2、CPU3,则掩码为 e(1110)。
2、为每个接收队列启用RPS并指定CPU掩码:echo f > /sys/class/net/eth0/queues/rx-0/rps_cpus。
3、重复步骤2,依次配置其余队列:echo f > /sys/class/net/eth0/queues/rx-1/rps_cpus、echo f > /sys/class/net/eth0/queues/rx-2/rps_cpus、echo f > /sys/class/net/eth0/queues/rx-3/rps_cpus。
4、设置全局RPS流表总条目数(推荐值为CPU数×4096):echo 16384 > /proc/sys/net/core/rps_sock_flow_entries(以4核为例)。
三、配置RFS提升缓存局部性与流一致性
RFS根据应用进程所在CPU及上次处理该流的CPU位置,动态调整RPS目标,减少跨CPU缓存失效,增强L3缓存命中率,特别适用于长连接或高吞吐TCP服务。
1、启用RFS需先确保RPS已开启,然后设置每接收队列的流表容量:echo 4096 > /sys/class/net/eth0/queues/rx-0/rps_flow_cnt。
2、对所有rx-*队列重复执行:echo 4096 > /sys/class/net/eth0/queues/rx-1/rps_flow_cnt、echo 4096 > /sys/class/net/eth0/queues/rx-2/rps_flow_cnt、echo 4096 > /sys/class/net/eth0/queues/rx-3/rps_flow_cnt。
3、启用全局RFS开关(需内核CONFIG_RFS_ENABLED=y):echo 1 > /proc/sys/net/core/netdev_rfs_threshold。
四、绑定XPS优化发送路径CPU亲和性
XPS控制数据包从协议栈发出时使用的发送队列所绑定的CPU,避免tx队列跨核访问导致锁竞争与cache line bouncing,与RPS形成收发双向协同。
1、检查发送队列是否存在:ls /sys/class/net/eth0/queues/ | grep tx-。
2、为每个tx-*队列设置XPS CPU掩码(与对应rx队列保持一致):echo f > /sys/class/net/eth0/queues/tx-0/xps_cpus。
3、若存在tx-1、tx-2等,同样执行:echo f > /sys/class/net/eth0/queues/tx-1/xps_cpus、echo f > /sys/class/net/eth0/queues/tx-2/xps_cpus。
五、禁用irqbalance并手动绑定中断亲和性
irqbalance服务会动态迁移网卡中断,可能破坏RPS/XPS所需的稳定CPU映射关系。在高并发场景下,应停用该服务并静态绑定各队列中断到专用CPU。
1、停止并禁用irqbalance:sudo systemctl stop irqbalance && sudo systemctl disable irqbalance。
2、查找网卡中断号:cat /proc/interrupts | grep eth0,识别形如“eth0-rx-0”、“eth0-rx-1”的行及其左侧数字(如45、46)。
3、将中断45绑定至CPU0:echo 1 | sudo tee /proc/irq/45/smp_affinity。
4、将中断46绑定至CPU1:echo 2 | sudo tee /proc/irq/46/smp_affinity。
5、依此类推,使rx-0→CPU0、rx-1→CPU1、rx-2→CPU2、rx-3→CPU3,确保中断与RPS目标CPU严格对齐。









