0

0

MongoDB GridFS上传文件过大导致Node进程OOM

P粉602998670

P粉602998670

发布时间:2026-03-16 05:33:25

|

353人浏览过

|

来源于php中文网

原创

根本原因是文件未流式处理导致V8堆内存溢出:上游同步读取或中间Buffer拼接使整个文件驻留内存,未进入GridFS前已OOM;须用fs.createReadStream直连uploadStream、设highWaterMark、禁用bodyParser、避免误监听data事件。

mongodb gridfs上传文件过大导致node进程oom

GridFS 上传大文件时 Node 进程内存爆掉,根本原因是流没控住

Node.js 默认把整个文件读进内存再传给 GridFSBucket,哪怕你用 createUploadStream(),如果上游没做流式读取或中间加了缓冲层(比如 fs.readFileSyncBuffer.from()),照样 OOM。这不是 GridFS 的锅,是数据还没进 GridFS 就卡在 V8 堆里了。

实操建议:

  • 必须用 fs.createReadStream() 直接对接 uploadStream,绕过任何同步读取或中间 Buffer 拼接
  • 避免在流管道中插入 .on('data', ...).pipe(transformStream) 时未设 highWaterMark,默认 16KB 太小,大文件会堆积大量待写 chunk
  • 上传前检查 req.headers['content-length'],超限直接 res.status(413).end(),别让请求体进 Node

uploadStream.write() 报错 RangeError: Invalid array buffer length

这是典型的 Buffer 超限错误,常见于:前端用 FileReader.readAsArrayBuffer() 读完整文件后,再用 Buffer.from(arrayBuffer) 构造——此时整个文件已驻留内存,GridFS 还没开始写,V8 堆就撑不住了。

实操建议:

  • 浏览器端不要读全文件,改用 fetch + ReadableStream 直传(现代浏览器支持),或后端接收 multipart/form-data 时用 busboy / formidable 流式解析,立刻 pipe 到 uploadStream
  • Node 端若必须处理本地大文件,确认 fs.createReadStream(path, { highWaterMark: 64 * 1024 }),别依赖默认值
  • 禁用 Express 的 bodyParser 中间件对 multipart 的自动解析,它默认会缓存整个 body

GridFS 分块大小(chunkSizeBytes)设太小反而更耗内存

默认 chunkSizeBytes: 255 * 1024(255KB),看着小,其实平衡了 MongoDB 网络包大小和客户端内存压力。如果你改成 8KB,单个文件会生成更多 chunk 文档,驱动要维护更多 pending write 操作,内部 buffer 队列变长,GC 压力不降反升。

‎ Gemini Storybook
‎ Gemini Storybook

Google Gemini推出的AI绘本生成工具

下载

实操建议:

  • 除非有特殊合规要求(如加密分块),否则别动 chunkSizeBytes;改大到 1MB 也没啥收益,MongoDB wire protocol 单包上限约 16MB,但 driver 内部仍有开销
  • 真正影响内存的是「并发上传数」,用 Promise.allSettled([...uploads]) 替代 Promise.all(),避免一个失败拖垮全部,也防止同时触发太多 stream 管道
  • 上传完记得调 uploadStream.end(),漏掉会导致 socket 不释放、buffer 不清空,后续请求持续累积内存

stream.pipeline() 替代手动 .pipe() 链能早发现断流

手动 .pipe() 不会自动传播 error,上游流出错(如磁盘满、网络中断),下游 uploadStream 可能卡住,Node 以为还在写,buffer 持续增长直到 OOM。

实操建议:

  • 统一用 stream.pipeline(readStream, uploadStream, (err) => { if (err) console.error(err); }),它会在任一环节出错时立刻销毁所有流并回调
  • 监听 uploadStream'close''error',但别只靠这个——pipeline 的回调才是唯一可信的完成信号
  • 上传过程中别在 uploadStream 上做 .on('data'),它不是可读流,没有 data 事件;误监听会掩盖真实错误

真正卡住内存的,往往不是 GridFS 本身,而是你自以为“已经流式”却悄悄把整块数据 load 进来的那几行代码。检查每个 Buffer 构造、每个 readFileSync、每个没设 highWaterMarkcreateReadStream——这些地方比 MongoDB 配置更容易被忽略。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

184

2024.05.11

Golang 中间件开发与微服务架构
Golang 中间件开发与微服务架构

本专题系统讲解 Golang 在微服务架构中的中间件开发,包括日志处理、限流与熔断、认证与授权、服务监控、API 网关设计等常见中间件功能的实现。通过实战项目,帮助开发者理解如何使用 Go 编写高效、可扩展的中间件组件,并在微服务环境中进行灵活部署与管理。

226

2025.12.18

Node.js后端开发与Express框架实践
Node.js后端开发与Express框架实践

本专题针对初中级 Node.js 开发者,系统讲解如何使用 Express 框架搭建高性能后端服务。内容包括路由设计、中间件开发、数据库集成、API 安全与异常处理,以及 RESTful API 的设计与优化。通过实际项目演示,帮助开发者快速掌握 Node.js 后端开发流程。

436

2026.02.10

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

847

2023.08.22

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

493

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

384

2023.10.25

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

448

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

606

2023.08.10

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

69

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号