System.IO.Pipelines 是 .NET Core 2.1+ 内置的高性能 IO 库,核心为 Pipe、PipeReader 和 PipeWriter,支持零拷贝、背压与异步流式处理,适用于 Kestrel 等高性能场景。

System.IO.Pipelines 是 .NET Core 2.1+ 内置的高性能 IO 抽象库,专为减少内存分配、避免缓冲区拷贝、支持异步流式处理而设计,常用于实现高性能网络服务器(如 Kestrel)、协议解析器或自定义流处理器。
核心组件:Pipe、PipeReader、PipeWriter
Pipe 是管道的核心容器,内部维护读写缓冲区(可配置大小和内存池)。PipeReader 负责从管道读取数据,PipeWriter 负责向管道写入数据。二者解耦,支持背压(backpressure)——当读取端慢时,写入端会自然等待,无需手动同步。
- 创建 Pipe:var pipe = new Pipe();(可传
PipeOptions自定义缓冲区大小、内存池等) - 获取读写器:PipeReader reader = pipe.Reader;,PipeWriter writer = pipe.Writer;
- 读写操作全程异步,返回
ValueTask,无装箱开销
基本读取流程:ReadAsync + AdvanceTo
读取不是“拿一段字节数组”,而是获取一个 ReadOnlySequence(可跨多个内存块的零拷贝视图),处理完后必须调用 AdvanceTo 告知已消费位置,否则下次 ReadAsync 不会推进。
- ReadResult result = await reader.ReadAsync();
- 检查
result.IsCompleted(对端关闭)或result.IsCanceled - 用
result.Buffer获取ReadOnlySequence,遍历或用Span解析 - 处理完成后调用 reader.AdvanceTo(consumed, examined);
(consumed:已逻辑处理的位置;examined:已扫描但未处理的最远位置)
基本写入流程:WriteAsync + FlushAsync
写入先调用 GetMemory() 或 GetSpan() 获取可写内存,填入数据后调用 Advance() 标记写入长度,最后 FlushAsync() 推送数据到读取端。
-
Memory
memory = writer.GetMemory(1024); (建议预估大小,避免多次分配) - 填充数据:Encoding.UTF8.GetBytes("hello", memory.Span);
- writer.Advance(5);
- await writer.FlushAsync();(阻塞直到数据可被读取,或触发背压)
- 写入结束调用 await writer.Complete();
实用技巧与注意事项
实际使用中需注意生命周期管理、异常处理和性能边界:
- 读写器不共享,不要在多个线程并发调用同一个 PipeReader/PipeWriter,它们本身不是线程安全的
- 务必配对调用
Complete()和CompleteAsync(),否则管道不会真正终止 - 避免在循环中频繁调用
GetMemory()小块内存,尽量批量写入以减少内存池压力 - 解析协议时,若一次 ReadAsync 拿到的数据不够构成完整消息,应保留
Buffer并在下次继续解析(用SequencePosition记录偏移) - 调试时可用
result.Buffer.ToArray()快速转 byte[] 查看内容(仅用于调试,生产禁用)
基本上就这些。Pipelines 不是替代 Stream 的通用方案,而是面向高吞吐、低延迟、可控内存行为的场景。上手稍有门槛,但理解了 ReadOnlySequence、背压机制和 AdvanceTo 语义后,就能写出真正高效的 IO 处理逻辑。











