Go 的 sendfile 零拷贝仅 Linux 原生支持,需源为 *os.File、目标为 net.Conn 且未被中间件/TLS/HTTP/2 包装;手动调用 syscall.Sendfile 需注意 fd 类型、偏移维护及错误处理。

Go 里 Sendfile 系统调用不是跨平台的,Linux 才有原生支持
Go 标准库的 io.Copy 在 Linux 下会自动尝试用 sendfile 系统调用,但前提是源 io.Reader 是 *os.File、目标 io.Writer 是 net.Conn(且底层是 socket),且文件描述符都有效。不是所有组合都触发零拷贝——比如把 *os.File 写到 bytes.Buffer,就一定走用户态内存拷贝。
- 只在 Linux 上能真正用到内核态
sendfile(2);FreeBSD/macOS 用sendfile(2)但语义不同,Go 不启用;Windows 完全不支持 -
http.ServeFile和http.FileServer默认已启用该优化,只要底层ResponseWriter是net.Conn(如 HTTP/1.1 明文连接) - 手动调用需用
syscall.Sendfile(Linux only),但要自己处理 fd 类型、偏移、返回值和 errno,容易出错
syscall.Sendfile 的参数顺序和错误处理很容易翻车
Linux 的 sendfile 系统调用原型是 sendfile(int out_fd, int in_fd, off_t *offset, size_t count),而 Go 的 syscall.Sendfile 函数签名是 Sendfile(outfd, infd, offset, count int64) (int64, errno)。注意:Go 版本的 offset 是传值而非指针,每次调用后不会自动更新;如果想分段传输大文件,必须手动维护偏移量。
- 传入的
infd必须是普通文件(S_ISREG),不能是管道、socket 或 /proc 下的伪文件 -
outfd必须是 socket(且不能是监听 socket),否则返回EINVAL - 常见错误:
ESPIPE(源 fd 不支持 seek)、EAGAIN(socket 发送缓冲区满,需轮询或设置非阻塞)、ENOSYS(内核禁用了sendfile,极少见) - 示例片段:
nr, err := syscall.Sendfile(int(outConn.SyscallConn().Fd()), int(inFile.Fd()), &offset, count)
——别漏掉SyscallConn()提取原始 fd,也别忘了检查err == nil后再用nr
HTTP/2 和 TLS 连接下 sendfile 自动失效
哪怕你在 Linux 上跑 HTTP/1.1 明文服务,http.ServeFile 也可能退化为普通拷贝:只要 ResponseWriter 被中间件包装(如 gzip、cors)、启用了 HTTP/2、或者底层连接是 TLS 加密的,Go 就无法直接将文件 fd 交给 socket,因为数据必须经过用户态加密或编码处理。
- TLS 连接强制走
crypto/tls.Conn.Write,它内部是 buffer + syscall.Write,不可能绕过用户态 - HTTP/2 的帧封装、流控制、头部压缩全部在用户态完成,
sendfile天然不兼容 - 即使你手写
syscall.Sendfile,也无法把加密后的数据“零拷贝”发出去——加密这一步本身就要读内存、运算、写新 buffer - 验证是否生效:用
strace -e trace=sendfile,write,read观察系统调用频次;若大量出现write(…)而无sendfile(…),说明降级了
替代方案比硬上 sendfile 更实际
真要压榨 I/O 性能,与其纠结单次 sendfile 是否触发,不如关注整体路径:减少内存分配、复用 buffer、避免 goroutine 阻塞、合理设置 socket 选项。很多所谓“零拷贝瓶颈”,其实是应用层设计导致的。
立即学习“go语言免费学习笔记(深入)”;
- 对小文件(io.Copy +
bufio.Writer配合SetWriteBuffer效果接近sendfile,且可移植 - 对大文件流式传输,用
http.ServeContent并实现io.Seeker和io.Stat,让标准库决定是否启用优化 - 极端场景(如 CDN 边缘节点)可考虑
splice(2)+tee(2)组合,但 Go 没封装,需 cgo,维护成本陡增 - 记住:真正的性能卡点往往不在拷贝次数,而在磁盘随机读、网络延迟、TLS 握手开销或 GC 压力——先
pprof,再改sendfile
syscall.Sendfile 可能让你在 macOS 上编译不过,也可能在 TLS 场景下完全白忙。











