0

0

C# 文件系统的IO放大 C#哪些文件操作模式会导致实际磁盘IO远大于请求IO

幻夢星雲

幻夢星雲

发布时间:2026-03-07 01:55:21

|

504人浏览过

|

来源于php中文网

原创

file.copy()默认8kb缓冲区导致小文件批量复制io放大,应改用filestream自定义64kb/128kb缓冲区;ssd/nvme上禁用writethrough避免写放大;directory.getfiles+readalltext触发三次io,建议enumeratefiles+readallbytes;memorymappedfile需delayallocatepages防预读压力。

c# 文件系统的io放大 c#哪些文件操作模式会导致实际磁盘io远大于请求io

File.Copy() 默认缓冲区太小,小文件批量复制时IO放大明显

默认用 File.Copy() 复制大量小文件(比如单个几十KB的日志碎片),实际磁盘读写量可能翻倍甚至更高。它内部用 8KB 缓冲区,频繁触发系统调用和磁盘寻道,尤其在机械盘或高延迟存储上更明显。

实操建议:

  • 改用 FileStream 手动控制缓冲区,设为 64KB 或 128KB(new FileStream(path, FileMode.Open, FileAccess.Read, FileShare.Read, 65536)
  • 对同一目标目录的连续写入,考虑先用 FileOptions.WriteThrough | FileOptions.SequentialScan 标志绕过系统缓存干扰测试
  • 避免在循环里反复 File.Copy(src, dst) —— 每次都打开/关闭句柄,叠加元数据操作开销

FileStream 构造时没关 WriteThrough,SSD/NVMe 上反而写放大

在 SSD 或 NVMe 上,开启 FileOptions.WriteThrough 会跳过内核页缓存,强制落盘,看似“安全”,实则让原本可合并的随机小写变成多次独立闪存页编程,触发额外磨损和 GC 开销。

常见错误现象:监控看到 WriteFile 调用次数远高于预期,diskio\write bytes/sec 数值波动剧烈但吞吐不高。

实操建议:

  • 除非明确需要强持久性(如 WAL 日志),否则不要加 WriteThrough
  • 写密集场景优先用 FileOptions.None + fs.Flush(false) 控制刷盘时机
  • 注意 FileStream 构造时第三个参数是 FileAccess,第四个才是 FileShare,错位会导致 UnauthorizedAccessException

Directory.GetFiles() + 循环 File.ReadAllText() 触发三次IO放大

典型反模式:var files = Directory.GetFiles("logs", "*.txt"); foreach (var f in files) { var s = File.ReadAllText(f); ... } —— 这段代码每文件至少触发 3 次磁盘访问:一次查目录项、一次读文件长度(为了分配字符串缓冲区)、一次真正读内容。

酷表ChatExcel
酷表ChatExcel

北大团队开发的通过聊天来操作Excel表格的AI工具

下载

使用场景:日志聚合、配置扫描等需遍历并读取全部内容的批量任务。

实操建议:

  • 改用 Directory.EnumerateFiles() 避免一次性加载全路径数组(内存友好,也减少初始目录扫描延迟)
  • 对已知小文本文件,用 File.ReadAllBytes() + Encoding.UTF8.GetString() 省掉一次长度探测
  • 如果只是检查文件存在或大小,用 new FileInfo(path).LengthFile.ReadAllBytes() 便宜得多

MemoryMappedFile 在非共享场景下徒增IO压力

有人以为用 MemoryMappedFile 读大文件就能“零拷贝”,但若只是单进程顺序读,且没设置 MemoryMappedFileOptions.DelayAllocatePages,Windows 会预提交所有页,导致一打开就触发大量磁盘读+页面文件分配。

性能影响:首次访问延迟飙升,任务管理器里看到 System 进程 CPU 占用异常高(页面归零线程在忙)。

实操建议:

  • 纯读场景优先用 FileStream + BufferedStream(4MB 缓冲足够覆盖多数顺序读)
  • 真要用内存映射,必须加 MemoryMappedFileOptions.DelayAllocatePages,且只在需要随机跳读或跨进程共享时才值得引入
  • CreateFromFile() 默认不延迟分配;必须显式传参:MemoryMappedFile.CreateFromFile(file, FileMode.Open, null, 0, MemoryMappedFileOptions.DelayAllocatePages)

真正容易被忽略的是:IO放大往往不是某一行代码的问题,而是缓冲区策略、句柄生命周期、系统缓存行为三者叠加的结果。调 perfmonPhysicalDisk\Avg. Disk sec/ReadProcess\IO Data Bytes/sec 的比值,比看代码更容易定位放大源头。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

252

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1029

2024.03.01

php中foreach用法
php中foreach用法

本专题整合了php中foreach用法的相关介绍,阅读专题下面的文章了解更多详细教程。

205

2025.12.04

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

718

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

219

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1561

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

648

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

1168

2024.03.22

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

1

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 10.8万人学习

C 教程
C 教程

共75课时 | 5.2万人学习

C++教程
C++教程

共115课时 | 20.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号