进程卡在read/writev/fsync时,需分层定位阻塞点:先用带-s -yy -v选项的strace分析调用上下文与fd路径,再逐层检查文件系统、块设备、NFS或pipe/socket状态,结合/proc/PID/stack、perf和dmesg等内核视角工具确认等待原因,并排除ext4日志、XFS log满、NFS hard mount超时及硬件故障等常见陷阱。

进程卡在 read/writev/fsync,说明它正阻塞在 I/O 操作上,但具体卡在哪一层(内核、设备、文件系统、存储介质),需要分层定位。不能只看 strace 输出,得结合上下文和系统状态交叉验证。
确认阻塞调用的完整上下文
strace -p 默认只显示系统调用入口,看不到参数细节和返回值。重新运行时加关键选项:
-
strace -p $PID -s 1024 -yy -v -e trace=read,writev,fsync,openat,close:-s 看长路径,-yy 显示文件描述符对应的真实路径,-v 显示结构体细节(比如iovec数组内容、fsync的 fd 信息) - 观察调用前是否刚打开某个文件?fd 对应什么路径?是否是普通文件、设备、socket、pipe 或 /proc 下的特殊文件?
- 注意
writev的 iovec 长度和总字节数,判断是否在写大 buffer;fsync是否针对一个刚写入大量数据的文件?
检查该 I/O 目标的状态和瓶颈点
拿到 fd 对应的路径后,逐层排查目标资源:
- 如果是普通文件:
ls -l /path/to/file看属主、权限、挂载点;df -h /mount/point和findmnt -D /mount/point查文件系统类型(ext4/xfs/btrfs)、挂载选项(如是否带sync、barrier、noatime) - 如果是块设备(如 /dev/sdb1)或裸设备:
cat /proc/diskstats看该设备的 I/O 等待(第10列)和平均队列长度;iostat -x 1观察 %util、await、r_await/w_await、avgqu-sz - 如果是网络文件系统(NFS/CIFS):
mount | grep nfs查挂载参数(如hard/nfsvers=3);rpcinfo -p $server和showmount -e $server辅助判断服务端是否响应 - 如果是 pipe/fifo/socket:
lsof -p $PID看对端进程是否存在、是否已关闭读端/写端;ss -tulpn | grep :port查 socket 状态
用内核视角看 I/O 堆栈和等待原因
strace 只看到用户态阻塞,真正卡在哪要进内核栈看:
- 用
sudo cat /proc/$PID/stack(需开启 CONFIG_STACKTRACE)看当前内核函数调用链。若停在__wait_event_common、wait_on_page_bit_common、blk_mq_wait_dispatch_queued、nfs_wait_on_request等,可直接定位到等待类型(页锁、块层队列、NFS 请求) - 用
perf record -p $PID -e 'syscalls:sys_enter_*' -- sleep 5抓 syscall 进入事件,再perf script分析高频阻塞点 - 对 fsync 卡死特别有用:
echo 1 > /proc/sys/vm/block_dump(临时)+dmesg -w,可看到内核级 flush 日志,暴露 journal 等待、journal 提交卡住等问题(ext4 常见)
排除常见陷阱和配置问题
很多“卡住”其实是配置或环境导致的假性阻塞:
-
red">ext4 + data=ordered + 大量小文件写入:fsync 会触发 journal 提交 + 元数据刷盘,极易被 dirty page 回写拖慢。查
/proc/sys/vm/dirty_*和grep -i "dirty" /proc/mounts -
XFS 日志满或 log device 卡住:
xfs_info /mount/point查 log size;xfs_logprint -c /dev/logdev(慎用)看日志状态;iostat看 log device 是否高 await -
NFS hard mount + 服务端宕机:客户端会无限重试,默认超时长达数分钟。用
timeout 10 ls /nfs/path测试是否真卡死 -
磁盘硬件故障或 RAID 降级:
smartctl -a /dev/sdX、cat /proc/mdstat、dmesg | grep -i "error\|ata\|nvme"








