0

0

strace -f -e trace=network 发现大量 connect/reset 的业务排查

舞夢輝影

舞夢輝影

发布时间:2026-01-25 19:14:42

|

299人浏览过

|

来源于php中文网

原创

大量 connect 后立即返回 econnrefused 或 rst,主因是业务代码反复连接未监听的地址/端口、目标服务崩溃或绑定错误(如仅监听 127.0.0.1 却连 localhost 触发 ipv6 解析失败)。

strace -f -e trace=network 发现大量 connect/reset 的业务排查

为什么 strace -f -e trace=network 看到大量 connect 后立刻 connect(…) = -1 ECONNREFUSEDreset

这通常不是网络本身卡顿,而是业务代码在反复尝试连接一个**根本没在监听的地址/端口**,或者目标服务已崩溃、未启动、监听绑定错误(如只绑 127.0.0.1 却连 localhost 触发 IPv6 解析失败)。strace 抓到的是系统调用层面行为,它不区分“重试逻辑”和“配置错误”,只忠实地记录每次 connect 调用及其返回值。

  • 检查目标服务是否真实运行:ss -tlnp | grep :端口号,确认 StateLISTENPID 匹配预期进程
  • 注意地址解析问题:如果配置里写的是 localhost,而服务只监听 127.0.0.1,glibc 可能先尝试 IPv6 的 ::1,失败后才回退 IPv4——strace 会把两次都记下来
  • 确认防火墙没静默丢包:iptables -L -n -v | grep DROP(或 nft list ruleset),ECONNREFUSED 是内核明确拒绝,而超时(ETIMEDOUT)才更可能是防火墙拦截或路由不通

如何快速定位是哪个线程/进程在疯狂重连

strace -f 输出默认不带时间戳和线程 ID,海量日志里找源头很吃力。必须加参数增强可读性:

  • -tt 打印微秒级时间戳,便于对齐业务日志
  • -T 显示每次系统调用耗时,connect 耗时极短(几微秒)基本就是立即拒绝,而非等待
  • -p PID 替代 -f(如果已知主进程 PID),避免跟踪无关子进程;必要时用 ps -T -p PID 查线程 ID,再针对性 strace -p TID
  • grep -E "(connect|ECONNREFUSED|EHOSTUNREACH|reset)" 过滤,配合 awk '{print $1,$2,$NF}' 提取时间、PID、错误码,快速聚类

connect 返回 reset(即 RST 包)的真实含义

这里 reset 不是 strace 自己说的,而是指 connect 返回 -1errno == ECONNRESET,或抓包看到 TCP 层收到 RST。这说明对方 TCP 主动发了复位,常见于:

智川X-Agent
智川X-Agent

中科闻歌推出的一站式AI智能体开发平台

下载
  • 目标端口有进程在监听,但该进程在 accept() 前就崩溃了(比如 fork 子进程失败、资源耗尽),内核会代为 RST 后续连接
  • 服务启用了连接限制(如 nginxlimit_conn),超出阈值的连接被直接 RST
  • 某些代理或中间件(如 HAProxy、Envoy)配置了健康检查失败后的“快速拒绝”策略,不等超时直接 RST
  • 注意:RST 和 FIN 不同,它表示异常终止,不能靠客户端重试解决,必须查对端状态

strace 更高效的替代排查路径

持续 strace 开销大、日志爆炸,适合快速定性;真要根因分析,优先组合轻量工具

  • ss -tni 查看连接状态分布:SYN-SENT 多说明客户端发了请求但没响应;TIME-WAIT 爆满可能意味着短连接风暴
  • tcpdump -i any port 端口号 -w conn.pcap 抓几秒包,然后 tshark -r conn.pcap -Y "tcp.flags.reset==1" 精准定位 RST 发送方
  • 检查应用层配置:比如 Java 应用的 spring.redis.host 是否误配,Python 的 requests.get("http://wrong-host") 是否写死错误域名
  • 若使用连接池(如 HikariCP、urllib3),确认 maxIdle/minIdle 设置是否合理,空闲连接被服务端断开后,池子没及时剔除失效连接,导致下次取出就 RST

真正麻烦的从来不是看到多少次 connect,而是那些没打日志的重试——它们藏在框架底层,只在 strace 里裸奔。所以第一反应不该是调优,而是确认“这个连接本该成功”。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
spring框架介绍
spring框架介绍

本专题整合了spring框架相关内容,想了解更多详细内容,请阅读专题下面的文章。

156

2025.08.06

Java Spring Security 与认证授权
Java Spring Security 与认证授权

本专题系统讲解 Java Spring Security 框架在认证与授权中的应用,涵盖用户身份验证、权限控制、JWT与OAuth2实现、跨站请求伪造(CSRF)防护、会话管理与安全漏洞防范。通过实际项目案例,帮助学习者掌握如何 使用 Spring Security 实现高安全性认证与授权机制,提升 Web 应用的安全性与用户数据保护。

88

2026.01.26

nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

246

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

522

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

610

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

244

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

693

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3618

2024.08.07

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号