使用Node.js流可高效处理大文件，避免内存溢出。通过fs.createReadStream和fs.createWriteStream创建读写流，利用pipe方法自动传输数据并处理背压，简化代码且提升稳定性。可在管道中插入Transform流实现数据转换，如文本转大写。需注意监听错误和完成事件，确保健壮性。
处理大文件时，直接读取整个文件到内存中会导致内存溢出或性能严重下降。Node.js 提供了流（Stream）机制，可以实现高效、低内存占用的文件处理方式。通过流式读写，你可以一边读取数据一边处理并写入目标文件，适合处理 GB 级别的大文件。
使用 fs.createReadStream 和 fs.createWriteStream
Node.js 的 fs 模块支持创建可读流和可写流，是处理大文件的基础工具。
下面是一个将大文件从源路径复制到目标路径的示例：
const fs = require('fs');
const path = require('path');
const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt'));
const writeStream = fs.createWrite7Stream(path.join(__dirname, 'copied-file.txt'));
readStream.on('data', (chunk) => {
console.log(`读取了 ${chunk.length} 字节的数据`);
writeStream.write(chunk);
});
readStream.on('end', () => {
writeStream.end();
console.log('文件复制完成');
});
readStream.on('error', (err) => {
console.error('读取错误:', err);
});
writeStream.on('error', (err) => {
console.error('写入错误:', err);
});
使用 pipe 方法简化流操作
pipe() 是流最常用的优化方式，它能自动处理背压（backpressure），无需手动监听 data 和 end 事件。
用 pipe 改写上面的例子会更简洁且健壮：
魔法映像企业网站管理系统
下载
技术上面应用了三层结构，AJAX框架，URL重写等基础的开发。并用了动软的代码生成器及数据访问类，加进了一些自己用到的小功能，算是整理了一些自己的操作类。系统设计上面说不出用什么模式，大体设计是后台分两级分类，设置好一级之后，再设置二级并选择栏目类型，如内容，列表，上传文件，新窗口等。这样就可以生成无限多个二级分类，也就是网站栏目。对于扩展性来说，如果有新的需求可以直接加一个栏目类型并新加功能操作
const fs = require('fs');
const path = require('path');
const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt'));
const writeStream = fs.createWriteStream(path.join(__dirname, 'copied-file.txt'));
// 自动处理数据流动和错误
readStream.pipe(writeStream);
writeStream.on('finish', () => {
console.log('文件写入完成');
});
readStream.on('error', (err) => {
console.error('读取失败:', err);
});
writeStream.on('error', (err) => {
console.error('写入失败:', err);
});
在流中加入中间处理逻辑
你还可以在读写之间插入转换流（Transform Stream），比如压缩、解压、替换内容等。
例如：边读取边将文本转为大写：
const fs = require('fs');
const path = require('path');
const { Transform } = require('stream');
const uppercaseTransform = new Transform({
transform(chunk, encoding, callback) {
callback(null, chunk.toString().toUpperCase());
}
});
const readStream = fs.createReadStream(path.join(__dirname, 'large-file.txt'));
const writeStream = fs.createWriteStream(path.join(__dirname, 'uppercase-file.txt'));
readStream.pipe(uppercaseTransform).pipe(writeStream);
writeStream.on('finish', () => {
console.log('转换并保存完成');
});
基本上就这些。利用 Node.js 流机制，你可以轻松应对大文件读写，避免内存问题，同时保持良好的性能表现。关键是使用 createReadStream 和 createWriteStream，配合 pipe 进行高效传输，必要时插入自定义转换逻辑。不复杂但容易忽略细节，比如错误监听和结束事件处理。
