工程化文本清洗需将原子操作抽象为可配置、可审计、可灰度的规则流，用TextCleaner类封装带优先级的清洗链，分离配置与逻辑，注入环境变量，保留元数据并捕获异常。
为什么直接用 re.sub 写一堆正则会崩盘
文本清洗一旦从单条样本扩展到日均百万级日志或跨业务线复用，硬编码正则就会暴露问题：规则散落在各处、无法回溯清洗逻辑、新增字段要改三四个脚本、连空格替换都因前后顺序不同导致结果不一致。
工程化第一关不是“怎么写得更短”，而是“怎么让每次清洗可配置、可审计、可灰度”。核心是把清洗动作抽象成带优先级的原子操作流，而不是一串 text = re.sub(..., text) 的线性调用。
- 同一段文本里，
strip()必须在去除 HTML 标签之后做，否则可能把标签内空白也删了 - 手机号脱敏（如
138****1234）和邮箱脱敏（a***@b.com）不能共用一个正则，匹配边界和掩码逻辑完全不同 - 中文标点转英文（如“，”→“,”）若放在 URL 解析之后，可能把
https://a,b.com错误拆开
用 TextCleaner 类封装清洗链，而不是函数列表
别用 [clean_url, clean_phone, clean_punct] 这种 list 存清洗函数——它没法表达依赖、跳过条件或失败重试。应该用类实例承载状态，并支持动态启停某环节：
class TextCleaner:
def __init__(self, config_path):
self.rules = load_yaml(config_path) # 加载 YAML 配置
self.enabled = {r["id"]: r.get("enabled", True) for r in self.rules}
def run(self, text):
for rule in self.rules:
if not self.enabled[rule["id"]]:
continue
text = getattr(self, f"_step_{rule['type']}")(text, rule)
return text
def _step_regex_replace(self, text, rule):
return re.sub(rule["pattern"], rule["repl"], text)
立即学习“Python免费学习笔记（深入）”；
方科网络ERP图文店
方科网络ERP图文店II版为仿代码站独立研发的网络版ERP销售程序。本本版本为方科网络ERP图文店版的简化版，去除了部分不同用的功能，使得系统更加精炼实用。考虑到图文店的特殊情况，本系统并未制作出入库功能，而是将销售作为重头，使用本系统，可以有效解决大型图文店员工多，换班数量多，订单混杂不清的情况。下单、取件、结算分别记录操作人员，真正做到订单全程跟踪！无限用户级别，不同的用户级别可以设置不同的价
下载
关键点在于：rule["type"] 决定调用哪个内部方法，rule["id"] 支持按业务开关某条规则，rule.get("enabled", True) 让灰度发布成为可能。
清洗配置必须分离，且支持环境变量注入
配置文件里不能写死敏感规则，比如脱敏正则中的手机号位数、邮箱域名白名单。这些值应从环境变量读取，避免配置随代码提交泄露：
- YAML 中写
pattern: "{{ PHONE_PATTERN }}"，加载时用os.getenv("PHONE_PATTERN", r"1[3-9]\d{9}")替换 - URL 提取规则里的协议白名单（
http|https|ftp）应允许运行时追加，而不是改 YAML 后重启服务 - 对含中文的正则（如
r"[^\u4e00-\u9fa5a-zA-Z0-9\s\.\,\!\?]"），务必在re.compile(..., flags=re.UNICODE)下使用，否则在某些 Python 版本下会漏匹配
清洗后必须带元数据标记，否则无法 debug
纯返回字符串等于放弃所有上下文。真实场景中，你得知道这段文本被删了几个 URL、是否触发了敏感词拦截、原始长度和清洗后长度差多少——这些信息必须附着在结果上：
result = {
"cleaned_text": "hello world",
"meta": {
"original_len": 127,
"final_len": 11,
"removed_urls": 3,
"applied_rules": ["url_strip", "emoji_remove", "phone_mask"],
"timestamp": "2024-06-12T09:23:41Z"
}
}
最容易被忽略的是：当清洗链中某步抛异常（比如正则超时、内存溢出），不能静默吞掉错误。要记录 rule_id、原始文本片段、错误类型，否则线上问题只能靠猜。
