使用Node.js Streams可高效处理大文件，避免内存溢出。通过fs.createReadStream和createWriteStream创建读写流，利用pipe()方法实现数据自动传输，支持背压调节。需处理数据时可插入Transform流进行转换，如转大写。必须监听error事件处理读写异常，并在close后清理资源，确保稳定性和可靠性。
处理大文件时，直接读取整个文件到内存中会导致内存溢出或性能严重下降。Node.js 的 Streams 提供了一种高效、低内存占用的方式来处理大文件数据。通过流式读取和写入，你可以逐块处理数据，而不是一次性加载全部内容。
理解 Node.js Streams
Stream 是 Node.js 中用于处理流数据的抽象接口，常见于文件操作、网络请求等场景。它分为四种类型：
- Readable：可读流（如读取文件）
- Writable：可写流（如写入文件）
- Duplex：既可读又可写（如网络 socket）
- Transform：在读写过程中转换数据（如压缩、加密）
处理大文件主要使用 Readable 和 Writable 流配合完成。
使用管道（pipe）高效传输数据
最简单且推荐的方式是使用 pipe() 方法，将可读流的数据自动推送到可写流，无需手动管理数据块。
const fs = require('fs');
const readStream = fs.createReadStream('large-file.txt');
const writeStream = fs.createWriteStream('output.txt');
// 使用 pipe 实现流式传输
readStream.pipe(writeStream);
writeStream.on('finish', () => {
console.log('文件写入完成');
});
这种方式自动处理背压（backpressure），确保不会因为写入速度慢而导致内存堆积。
在流中处理数据（如转换或过滤）
如果需要在传输过程中处理数据，可以使用 Transform 流。例如，将大文件内容转为大写并保存：
const fs = require('fs');
const { Transform } = require('stream');
const transformStream = new Transform({
transform(chunk, encoding, callback) {
// 处理每个数据块
const transformed = chunk.toString().toUpperCase();
callback(null, transformed);
}
});
const readStream = fs.createReadStream('large-file.txt');
const writeStream = fs.createWriteStream('output-uppercase.txt');
readStream
.pipe(transformStream)
.pipe(writeStream);
每个 chunk 是一个 Buffer，需根据需求转换为字符串或其他格式进行处理。
错误处理与资源清理
流操作可能因文件权限、磁盘空间等问题失败，必须监听 error 事件防止程序崩溃。
readStream.on('error', (err) => {
console.error('读取失败:', err);
});
writeStream.on('error', (err) => {
console.error('写入失败:', err);
});
writeStream.on('close', () => {
console.log('写入流已关闭');
});
确保在出错时释放资源，必要时删除不完整的输出文件。
基本上就这些。利用 Stream 可以轻松应对 GB 级别的文件处理，只要避免 fs.readFileSync 这类同步或全量加载方法，就能保持服务稳定和响应迅速。
