本文介绍一种基于正则表达式的轻量级方案，绕过 RecursiveCharacterTextSplitter 的默认行为，在保留其强大分块能力的同时，精准保护 等标记包裹的关键文本不被拆散。
本文介绍一种基于正则表达式的轻量级方案，绕过 recursivecharactertextsplitter 的默认行为，在保留其强大分块能力的同时，精准保护 `
在使用 LangChain 进行文档预处理时，RecursiveCharacterTextSplitter 是最常用的分块工具之一。但其按分隔符递归切分的机制，无法原生支持“保留某段内容完整不拆分”的需求——例如嵌入式提示、代码块、结构化元数据或敏感说明文本。当这些内容被
直接修改 separators 参数（如将
更优雅的解法是：分层处理 —— 先用正则隔离“不可分割块”，再对剩余部分调用标准 splitter。核心思路如下：
- 使用 re.split() 配合捕获组，将原文本切分为三类片段：
- 前导普通文本
... 完整包裹块（含标签，便于识别） - 尾随普通文本
- 对每个片段分别处理：
- 若以
开头 → 移除标签后作为独立 chunk - 否则 → 交由 RecursiveCharacterTextSplitter（或任意其他 splitter）正常处理
- 若以
- 合并所有结果，保持原始顺序
以下是可直接运行的生产就绪示例：
import re
from langchain.text_splitter import RecursiveCharacterTextSplitter
def split_with_protected_blocks(text: str, protected_tag: str = "<nosplit>") -> list[str]:
# 正则捕获所有 <nosplit>...</nosplit> 块（非贪婪），保留分隔边界
pattern = f"({re.escape(protected_tag)}.*?{re.escape(protected_tag)})"
parts = re.split(pattern, text)
chunks = []
splitter = RecursiveCharacterTextSplitter(
chunk_size=5,
chunk_overlap=2,
separators=["\n\n", "\n", " ", ""], # 支持字符级回退
keep_separator=False
)
for part in parts:
if not part.strip(): # 跳过空片段
continue
# 识别受保护块：以标签开头且包含闭合标签
if part.strip().startswith(protected_tag) and protected_tag in part[1:]:
# 提取内容（移除首尾标签）
content = part.strip()[len(protected_tag):-len(protected_tag)].strip()
chunks.append(content)
else:
# 普通文本交由 LangChain 处理
chunks.extend(splitter.split_text(part))
return chunks
# 测试用例
nosplit = "<nosplit>Keep all this together, very important! Seriously though it is...<nosplit>"
text = "Giggity! " + nosplit + " Ahh yeah...\nI just buy a jetski."
result = split_with_protected_blocks(text)
print(result)
# 输出：
# ['Giggity!', 'Keep all this together, very important! Seriously though it is...', 'Ahh', 'yeah...', 'I', 'just', 'buy a', 'jetski.']✅ 优势总结：
- ✅ 零侵入：无需修改 LangChain 源码或继承重写 splitter 类；
- ✅ 高兼容：完整复用 RecursiveCharacterTextSplitter 的 chunk_size、chunk_overlap、separators 等全部参数；
- ✅ 灵活扩展：轻松支持多标签（如
, <json>）、嵌套检测（需增强正则）、或动态标签名； </json> - ✅ 健壮容错：自动跳过空片段，支持非严格闭合（可按需调整正则逻辑）。
⚠️ 注意事项：
- 正则中的 .*? 为非贪婪匹配，确保最短匹配多个
块；若需支持跨行，添加 re.DOTALL 标志； - 若受保护内容本身含未转义的
字符串，建议采用更唯一标记（如 UUID 或 HTML 注释 ）； - 对超长受保护块（如万字文档），仍建议在 splitter 中设置 chunk_size 限制，避免单 chunk 过大影响后续 embedding 效率。
该方案本质是将“语义保护”从分词器层面下沉至预处理层，既尊重 LangChain 的设计哲学，又赋予开发者对文本结构更强的掌控力——真正实现「智能分块」与「人工意图」的协同。
