双工流可实现边读边写的数据转换，通过继承stream.Duplex并实现_write和_read方法，结合this.push推送处理后数据，适用于大文件处理等内存敏感场景。
在 Node.js 中处理大规模数据转换时，使用双工流（Duplex Stream）可以有效控制内存占用，实现边读边写的数据处理。双工流同时具备可读流和可写流的特性，非常适合中间转换场景，比如数据压缩、编码转换或实时处理。
理解双工流的核心机制
双工流允许你一边接收输入（通过 _write 方法），一边产生输出（通过 _read 方法）。对于数据转换任务，通常你在写入端接收原始数据，在读取端推送处理后的数据。
关键点：
- 继承 stream.Duplex 类
- 实现 _write() 方法处理输入
- 实现 _read() 方法提供输出
- 使用 this.push() 将处理后数据送入可读端
创建自定义双工流进行数据转换
以下是一个将字符串转为大写并逐行处理的双工流示例：
// upperCaseTransform.js
const { Duplex } = require('stream');
class UpperCaseDuplex extends Duplex {
constructor(options) {
super(options);
this.buffer = '';
}
_write(chunk, encoding, callback) {
// 将接收到的数据拼接到缓冲区
this.buffer += chunk.toString();
// 按行分割处理
const lines = this.buffer.split('\n');
this.buffer = lines.pop(); // 保留未完整行
lines.forEach(line => {
this.push(line.toUpperCase() + '\n');
});
callback();
}
_read() {
// 不需要主动读取，由写入触发
// 可在此模拟生成数据，但通常依赖 _write 推送
}
}
在实际场景中使用双工流处理大文件
结合文件流使用，可高效处理大文件而不加载全部内容到内存：
const fs = require('fs');
const upperStream = new UpperCaseDuplex();
// 读取大文本文件，转换后写入新文件
const readStream = fs.createReadStream('large-input.txt');
const writeStream = fs.createWriteStream('output-uppercase.txt');
readStream.pipe(upperStream).pipe(writeStream);
writeStream.on('finish', () => {
console.log('数据转换完成');
});
这种方式适用于日志处理、ETL 流水线、编码转换等场景。每一块数据被逐步处理，内存始终保持在可控范围。
优化与注意事项
为了提升性能和稳定性，注意以下几点：
- 合理设置 highWaterMark 控制缓存大小
- 在 _write 中及时调用 callback 避免阻塞
- 复杂转换可结合 Transform 流（更简洁的选择）
- 错误处理：在 _write 或 _read 中抛错会触发 error 事件
基本上就这些。双工流提供了灵活的数据通道，适合构建可复用的数据处理中间件。只要把握好读写节奏和缓冲逻辑，就能稳定处理任意规模的数据流。
