本文解析 go 在标准输入逐行读取场景下性能落后于 python 的根本原因，指出字符串编码差异（utf-8 安全性开销 vs. python 2 的字节直通）、内存分配及 i/o 缓冲策略，并提供基于 `[]byte` 的零拷贝写入优化方案，实测性能反超 python。
在基准测试中，一个看似等价的 Go 程序（使用 bufio.Scanner + fmt.Println）处理 1600 万行文本时，耗时竟是 Python 2.x 对应脚本的 4 倍。即使启用 bufio.Writer 缓冲输出，Go 仍慢约 75%。这并非 Go 语言本身低效，而是由关键设计差异导致的「隐性开销」。
核心瓶颈：字符串语义与编码成本
Python 2.x 的 str 类型本质是原始字节序列（raw bytes），sys.stdin 迭代器直接返回已读取的字节切片，print ln, 仅做字节转发，无编码验证、无内存重分配。而 Go 的 string 是不可变的 UTF-8 编码字节序列，其设计保障了 Unicode 安全性，但代价是：
- scanner.Text() 必须将底层 []byte 安全转换为 string：校验 UTF-8 合法性（每个字符需多字节解析），失败则返回空字符串；
- 每次调用 Text() 都触发一次内存分配（复制字节到新字符串头），对海量短行造成显著 GC 压力；
- writer.WriteString(s + "\n") 进一步加剧问题：s + "\n" 触发字符串拼接 → 新分配内存 → UTF-8 再校验。
✅ 关键结论：性能差距主因不是 I/O，而是「为 Unicode 安全付出的运行时成本」——而纯文本管道场景往往并不需要此保证。
正确解法：绕过字符串，操作原始字节
最优实践是全程使用 []byte，避免任何 UTF-8 解码/编码环节。scanner.Bytes() 直接返回当前行的底层字节切片（不复制！），配合预分配的换行符 []byte，实现零分配写入：
package main
import (
"os"
"bufio"
)
func main() {
reader := bufio.NewReader(os.Stdin)
scanner := bufio.NewScanner(reader)
writer := bufio.NewWriter(os.Stdout)
newline := []byte("\n") // 复用字节切片，避免重复分配
for scanner.Scan() {
writer.Write(scanner.Bytes()) // 直接写入原始字节
writer.Write(newline) // 追加换行符
}
writer.Flush() // 必须刷新缓冲区，确保所有数据写出
}性能对比（6500 万行词表，输出至 /dev/null）
| 实现 | real 时间 | user 时间 | 关键优势 |
|---|---|---|---|
| Python 2.x (for ln in sys.stdin: print ln,) | 12.724s | 12.581s | 字节直通，无编码开销 |
| 优化前 Go（fmt.Println） | ~50s+ | — | 多重字符串分配 + UTF-8 校验 |
| 优化后 Go（writer.Write(scanner.Bytes())） | 4.408s | 4.276s | 零字符串分配，无编码开销，缓冲 I/O |
✅ 优化后 Go 不仅追平，更大幅超越 Python 2.x —— 这印证了 Go 底层 I/O 和内存管理的高效性，前提是规避不必要的抽象层。
立即学习“Python免费学习笔记（深入）”；
注意事项与工程建议
- writer.Flush() 不可省略：否则最后一部分数据可能滞留在缓冲区未写出；
- 错误处理需显式检查：生产代码应添加 if err := scanner.Err(); err != nil { ... } 和 if err := writer.Flush(); err != nil { ... }；
- Python 3 的对比需谨慎：若改用 for line in sys.stdin:（Python 3 默认 Unicode 模式），其性能会显著下降，因其内部同样进行 UTF-8 解码和字符串对象创建；
- 真实场景权衡：本文是极端 I/O 密集型微基准。实际应用中，若需文本解析、正则匹配或业务逻辑处理，Go 的并发模型、静态编译和内存控制能力将带来综合优势，不应仅凭此测试否定语言选型。
归根结底，Go 的「慢」源于它默认为你做了更多——安全的 Unicode 处理、内存边界保护、清晰的错误语义。当你明确知道输入是纯 ASCII/UTF-8 且无需校验时，主动选择 []byte 接口，就能释放 Go 的原始性能潜力。
