Linux分布式系统性能调优需聚焦通信开销、资源协同与状态一致性，核心瓶颈在网络延迟、跨节点内存访问、分布式锁争用和元数据同步；应优化TCP参数、NUMA绑定、协调服务热点及分布式链路追踪。
Linux 分布式系统性能调优不是单机优化的简单叠加，而是围绕通信开销、资源协同与状态一致性展开的系统性工作。多节点环境下，瓶颈常出现在网络延迟、跨节点内存访问、分布式锁争用和元数据同步上，而非 CPU 或磁盘本身。
网络栈与 RPC 层调优
分布式系统中 70% 以上的延迟感知来自网络层。默认 TCP 参数（如初始拥塞窗口、重传超时）针对广域网设计，在高速局域网（如 25G/100G RoCE 或 InfiniBand）中反而成为瓶颈。
- 增大
net.ipv4.tcp_slow_start_after_idle=0避免连接空闲后重置拥塞窗口 - 启用
net.ipv4.tcp_congestion_control=bbr（内核 ≥ 4.9），尤其适合高带宽低延迟 RDMA 网络 - 对短生命周期 RPC（如 etcd、Raft 心跳），关闭 Nagle 算法：
setsockopt(fd, IPPROTO_TCP, TCP_NODELAY, &on, sizeof(on)) - 若使用 gRPC，限制 HTTP/2 流并发数（
max_concurrent_streams），避免单连接吞吐压垮接收端队列
跨节点内存与 NUMA 感知调度
在多路 NUMA 架构服务器组成的集群中，远程内存访问（Remote NUMA Access）延迟可达本地内存的 2–3 倍。若进程被调度到远离其主要数据所在节点的 CPU 上，性能会显著下降。
- 用
numactl --hardware查看拓扑，确认网卡、NVMe 和内存是否绑定在同一 NUMA 节点 - 启动关键服务时显式绑定：
numactl --cpunodebind=0 --membind=0 ./server - 对 Kubernetes 集群，通过
topologySpreadConstraints+nodeSelector强制 Pod 尽量与数据亲和（如 TiKV 与本地 TiKV 数据盘同节点） - 禁用透明大页（
echo never > /sys/kernel/mm/transparent_hugepage/enabled），防止跨 NUMA 迁移时引发内存抖动
分布式协调与元数据热点缓解
ZooKeeper、etcd 或自研协调服务一旦成为中心化元数据瓶颈，整个集群吞吐会骤降。常见问题包括 Watch 事件风暴、租约续期集中、键空间设计不合理。
- etcd：将读请求分流至 follower（
--read-only-port+ 客户端配置WithRequireLeader(false)） - 避免在 etcd 中存储大 value（> 1MB），改用对象存储 URI 引用；key 路径层级控制在 3 层以内（如
/cluster/nodes/abc/status而非/c/a/b/c/.../status） - ZooKeeper 场景下，用批量操作（
multi()）合并多个 znode 更新，减少事务日志写入频次 - 对高频变更元数据（如服务发现实例心跳），采用客户端本地缓存 + TTL + 主动失效机制，降低协调服务压力
日志与监控的分布式归因
单节点日志无法定位跨节点延迟归属。例如一次 API 请求耗时 800ms，可能 200ms 在节点 A 处理、400ms 卡在节点 B 的锁等待、200ms 是网络往返——但传统日志看不出链路断点。
- 统一使用 OpenTelemetry SDK 注入 trace_id，并在 RPC 调用、DB 查询、锁获取等关键路径打 span 标签（如
db.statement,lock.name） - Prometheus 抓取指标时，为每个 exporter 添加
node、rack、zone标签，便于按物理拓扑聚合分析 - 对慢请求，用 eBPF 工具（如
bpftrace）在内核态捕获 socket 发送/接收时间戳，排除用户态日志丢失或延迟上报干扰 - 避免所有节点向同一日志中心（如 ELK）直写；先本地 buffer + 压缩，再由专用 agent 批量转发，防止日志流量反压业务线程
