Go流水线模式用channel串联goroutine实现并发、解耦、可组合的数据处理流，核心是各阶段函数接收输入channel并返回输出channel，支持扇入扇出、错误传播、背压控制与context取消。
Go 语言的流水线（Pipeline）模式，本质是通过 channel 连接多个 goroutine，让数据像水流一样依次经过“加工阶段”，天然契合并发、解耦、可组合的设计思想。它不依赖第三方库，靠原生 channel + goroutine 就能实现清晰、可控、易测试的并发处理流。
核心结构：用 channel 串起阶段
每个阶段是一个独立函数，接收一个输入 channel，返回一个输出 channel，内部启动 goroutine 处理数据。阶段之间只依赖 channel 类型，彼此无直接调用关系。
- 输入 channel 关闭时，下游阶段应自然退出（常用
for range ch自动处理） - 每个阶段建议单独启动 goroutine，避免阻塞上游；例如：
go func() { ... }() - 若某阶段需扇入（fan-in）多个输入源，可用
select+ 多个 channel；扇出（fan-out）则用多个 goroutine 写同一输出 channel
典型三段式流水线示例
以“读文件 → 解析行 → 统计词频”为例：
-
Stage 1（生成）：从文件逐行读取，发到
chan string -
Stage 2（转换）：接收字符串，拆成单词，发到
chan string - Stage 3（聚合）：接收单词，用 map 累计频次，最后返回结果 map
关键点：第二阶段可开多个 goroutine 并行处理（如 4 个 worker），提升吞吐；第三阶段通常单协程汇总，避免并发写 map。
立即学习“go语言免费学习笔记（深入）”；
错误处理与终止传播
真实场景中，任一阶段出错（如文件读取失败、解析异常）需让整条流水线安全退出。推荐方式：
- 额外传入
context.Context，各阶段监听ctx.Done() - 用带缓冲的 error channel 汇总错误，主流程 select 等待完成或首个错误
- 避免 panic 跨 goroutine 传播；阶段内 recover 后应主动关闭输出 channel 或发送零值
内存与背压控制技巧
无节制生产会导致 channel 缓冲区暴涨或 goroutine 积压。实用做法：
- 输入 channel 使用有缓冲（如
make(chan int, 64)），平衡生产和消费速度 - 关键阶段加限速：用 time.Ticker 控制每秒最多处理 N 条
- 对慢消费者，上游可通过 select 配合 default 分支做非阻塞发送，配合重试或丢弃策略
基本上就这些。Golang 流水线不是黑魔法，重在理解 channel 的生命周期和 goroutine 的协作边界。写清楚每个阶段的输入/输出契约，再辅以 context 和错误通道，就能构建健壮的并发数据流。
