0

0

C# System.IO.Pipelines用法 C#如何用Pipelines实现高性能文件IO

煙雲

煙雲

发布时间:2026-03-16 15:30:12

|

661人浏览过

|

来源于php中文网

原创

System.IO.Pipelines 不适用于文件IO,专为网络流设计;文件高性能读写应优先用FileStream.ReadAsync+MemoryPool或MemoryMappedFile等原生方案。

c# system.io.pipelines用法 c#如何用pipelines实现高性能文件io

System.IO.Pipelines 本身不直接用于文件 IO

System.IO.Pipelines 是为网络流(如 SocketHttpRequestStream)设计的高性能缓冲抽象,它不封装 FileStream,也不提供 ReadAsync/WriteAsync 的管道化替代。试图用 Pipe 直接读写磁盘文件,不仅没收益,反而引入额外内存拷贝和调度开销。

常见错误现象:PipeReaderFileStream 构造失败,或手动调用 pipe.Writer.WriteAsync(buffer) 后数据“消失”——因为没人消费;或者误以为 Pipe 能替代 MemoryMappedFileSpan<byte></byte> 批量读取。

  • 真正适用场景:HTTP 服务器解析请求体、TCP 协议解析、自定义二进制协议流处理
  • 文件 IO 高性能路径:优先用 FileStream.ReadAsync(Memory<byte>, CancellationToken)</byte> + MemoryPool<byte>.Shared.Rent()</byte> 手动管理缓冲区
  • 若需“类 Pipeline”语义(如边读边解析),可组合 FileStreamPipe:把文件分块读入 Memory<byte></byte>,再 pipe.Writer.WriteAsync() 推入管道供下游解析 —— 但这是应用层桥接,非框架原生支持

如何桥接 FileStream 到 PipeReader(谨慎使用)

仅当已有基于 PipeReader 的协议解析器(如自定义消息帧解码器),又想复用它处理本地文件时才需要。核心是避免 double-copy,用 ReadOnlySequence<byte></byte> 包装原始内存。

实操要点:

  • FileStream.ReadAsync(Memory<byte>, ...)</byte> 读到租借的 MemoryPool<byte>.Shared.Rent()</byte> 缓冲区
  • 将该 Memory<byte></byte> 转为 ReadOnlySequence<byte></byte>,调用 pipe.Writer.WriteAsync(sequence)
  • 务必在 WriteAsync 完成后,显式调用 memoryPool.Return(buffer),否则内存泄漏
  • 不要对同一 Memory<byte></byte> 多次 WriteAsync,也不要跨线程复用未同步的缓冲区

示例关键片段:

var pool = MemoryPool<byte>.Shared;
var buffer = pool.Rent(8192);
try
{
    int bytesRead = await fileStream.ReadAsync(buffer.Memory, token);
    if (bytesRead > 0)
    {
        var sequence = new ReadOnlySequence<byte>(buffer.Memory.Slice(0, bytesRead));
        await pipe.Writer.WriteAsync(sequence); // 注意:这步不转移所有权
        // buffer 仍归你管,后续需 Return
    }
}
finally
{
    pool.Return(buffer); // 必须放回,否则池耗尽
}

比 Pipelines 更适合文件 IO 的替代方案

对大文件、高吞吐读写,.NET 6+ 提供了更直接高效的原语:

Seed-Music
Seed-Music

字节跳动推出的AI音乐生成与编辑工具

下载
  • FileStream 构造时传 FileOptions.Asynchronous | FileOptions.SequentialScan,启用内核异步 I/O 和预读优化
  • FileStream.ReadAtOffsetAsync(Span<byte>, long, CancellationToken)</byte>(.NET 7+)跳过 seek,直接定位读
  • 小文件且需零拷贝:用 MemoryMappedFile + MemoryMappedViewAccessor 映射到 Span<byte></byte>
  • 批处理场景:用 BufferedStream 包装 FileStream 并设置合适缓冲区大小(如 64KB),比手动 Pipe 更轻量

性能影响提示:PipeGetMemory() / AdvanceTo() 操作虽快,但其背后是 IBufferWriter 的链表管理开销;而 FileStream.ReadAsync(Span<byte>)</byte> 是直接 syscall,无中间抽象层。

什么时候真该用 Pipelines?看错误信息是否匹配

如果你看到这些典型问题,才是 Pipelines 的主场:

  • System.IO.IOException: Unable to read data from the transport connection —— 网络粘包/半包,需协议解析
  • 自定义 TCP 服务中反复 stream.ReadAsync 导致 GC 压力大、ArrayPool 频繁分配
  • HTTP 中间件需流式解析 multipart body,不能等全部上传完再处理
  • 错误堆栈里频繁出现 SocketAsyncEventArgsConnectionContext

文件路径相关错误(如 UnauthorizedAccessExceptionDirectoryNotFoundExceptionIOException: The process cannot access the file)和 Pipelines 无关,别往它身上套。

复杂点在于:Pipelines 的生命周期管理(Complete()CancelPendingFlush())、背压控制(PauseWriter)、以及与取消令牌的协作,稍有不慎就会卡死或内存泄漏。文件 IO 场景下,这些复杂性几乎全是负收益。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

184

2024.05.11

Golang 中间件开发与微服务架构
Golang 中间件开发与微服务架构

本专题系统讲解 Golang 在微服务架构中的中间件开发,包括日志处理、限流与熔断、认证与授权、服务监控、API 网关设计等常见中间件功能的实现。通过实战项目,帮助开发者理解如何使用 Go 编写高效、可扩展的中间件组件,并在微服务环境中进行灵活部署与管理。

226

2025.12.18

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

335

2025.08.29

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

108

2025.10.23

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

448

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

606

2023.08.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

448

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

606

2023.08.10

chatgpt使用指南
chatgpt使用指南

本专题整合了chatgpt使用教程、新手使用说明等等相关内容,阅读专题下面的文章了解更多详细内容。

0

2026.03.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 11.4万人学习

C 教程
C 教程

共75课时 | 5.5万人学习

C++教程
C++教程

共115课时 | 22.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号