本文介绍一种内存友好的流式处理方法，用于从超大（7gb+）文本文件中精准提取符合“category a 且 subcat a”条件的完整 id 数据块，自动保留其可变数量的后续行（如 positional entries），无需加载全量数据到内存。
在处理超大规模结构化文本（如 7 GB、超亿行）时，常见的挑战是：数据按 ID 分块，每块以分隔线（如 |-------------------------|）界定；每个块内前几行为固定字段（ID、Category、Class、Type、Subcat），之后为数量不固定的“位置条目”（positional entries）；目标是仅提取同时满足 Category A 和 Subcat A 的完整数据块，并严格保持原始格式与行序——包括分隔线、缩进、竖线符号等，而非转为 CSV 行或扁平化输出。
核心思路是 流式分块 + 状态缓冲：逐行读取文件，将每两个分隔线之间的所有内容（含换行符）暂存为一个逻辑块（block）；当遇到下一个分隔线时，对当前 block 进行条件判断；若匹配成功，则原样写入输出文件（含首尾分隔线）。该方法仅需常数级内存（单块最大长度），完全规避了“存储全部起止位置”的内存爆炸风险。
以下为生产就绪的 Python 实现（兼容 Python 3.8+）：
import re
def extract_category_subcat_blocks(
input_path: str,
output_path: str,
category_target: str = "Category A",
subcat_target: str = "Subcat A",
separator_pattern: str = r"^\|[-]+\|$"
):
"""
从大型文本文件中流式提取满足 Category & Subcat 条件的完整数据块
Args:
input_path: 输入文件路径（如 'data.txt'）
output_path: 输出文件路径（如 'filtered.txt'）
category_target: Category 字段目标值（默认 'Category A'）
subcat_target: Subcat 字段目标值（默认 'Subcat A'）
separator_pattern: 分隔线正则表达式（默认匹配 '|-----|' 类型）
"""
with open(input_path, 'r', encoding='utf-8') as f_in, \
open(output_path, 'w', encoding='utf-8') as f_out:
block_lines = [] # 缓存当前数据块的所有行（含换行符）
in_block = False # 标记是否处于数据块内部（非分隔线区域）
for line in f_in:
# 检测分隔线
if re.match(separator_pattern, line.strip()):
if not in_block:
# 首次遇到分隔线：标记进入新块，缓存分隔线
in_block = True
block_lines.append(line)
else:
# 再次遇到分隔线：当前块结束，进行判断与输出
in_block = False
# 判断块是否匹配条件：遍历 block_lines 找 Category 和 Subcat 行
has_category = False
has_subcat = False
for blk_line in block_lines:
stripped = blk_line.strip().replace('|', '').strip()
if stripped.startswith(category_target):
has_category = True
elif stripped.startswith(subcat_target):
has_subcat = True
# 同时满足则写入完整块（含首尾分隔线）
if has_category and has_subcat:
f_out.writelines(block_lines)
# 重置缓冲区（注意：保留当前分隔线作为下一块开头）
block_lines = [line]
else:
# 普通行：追加到当前块
if in_block:
block_lines.append(line)
# 使用示例
if __name__ == "__main__":
extract_category_subcat_blocks(
input_path=r"C:\myfile\testfile.txt",
output_path=r"C:\myfile\output.txt",
category_target="Category A",
subcat_target="Subcat A"
)
print("✅ 提取完成！结果已保存至 output.txt")关键优势与注意事项：
- ✅ 零内存压力：全程单行读取 + 单块缓存，峰值内存仅取决于最长数据块（通常远小于 1MB），轻松应对 7GB 文件；
- ✅ 格式零失真：严格保留原始换行、空格、竖线、分隔线，输出与输入格式完全一致；
- ✅ 条件灵活：通过 category_target/subcat_target 参数可快速适配其他筛选组合（如 "Category B" + "Subcat X"）；
- ⚠️ 分隔线鲁棒性：正则 r"^\|[-]+\|$" 可匹配任意长度的 |----|、|------|，避免硬编码长度导致漏块；
- ⚠️ 字段定位安全：不依赖行号索引（如 block[1]），而是全文扫描关键词，避免因块内空行或格式微调导致误判；
- ⚠️ 编码兼容：显式指定 utf-8 编码，防止中文或特殊字符乱码。
执行后，output.txt 将精确生成您期望的格式——仅包含 ID 1 和 ID 3 的完整区块，每块均以 |-------------------------| 包裹，中间行保持原始缩进与内容，可直接用于后续分析或人工校验。
