文本数据清洗是将杂乱原始文本转化为结构清晰、含义明确、程序可稳定读取的数据，核心包括清理噪声字符、统一标点与大小写、过滤无效行、提取关键信息并结构化。
文本数据清洗不是把脏东西擦掉，而是让杂乱的原始文本变得结构清晰、含义明确、能被程序稳定读取。核心在于识别常见噪声、统一格式、保留关键信息。
去掉无意义字符和多余空格
爬虫抓取或用户输入的文本里常混入制表符、换行符、全角空格、不可见控制字符。直接用 strip() 只能去首尾，得用 replace() 或正则批量清理。
- 用 .replace('\n', ' ').replace('\t', ' ').replace('\r', '') 替换换行和制表符
- 用 .strip() 清理首尾空白后，再用 re.sub(r'\s+', ' ', text) 把多个连续空格压缩成一个
- 处理全角符号：比如全角空格（\u3000）、全角逗号（\u3001），可用 str.translate() 配合映射表统一转为半角
标准化中文标点与大小写
中英文混排时，标点不统一会影响分词和匹配；大小写混乱会让关键词查找失效（比如“Python”和“python”被当成两个词）。
- 用 re.sub(r'[，。！？；：“”‘’（）【】《》]', lambda m: {'，': ',', '。': '.', '！': '!', '？': '?', '；': ';', '：': ':', '“': '"', '”': '"', '‘': "'", '’': "'", '（': '(', '）': ')', '【': '[', '】': ']', '《': ''}[m.group(0)], text) 批量替换中文标点
- 英文单词统一小写：text.lower()；若需保留专有名词首字母，可先用 nltk 或 jieba 分词再判断
过滤无效行与异常字段
CSV 或日志类文本常出现空行、字段缺失、长度严重偏离的脏数据。不能全删，要按业务逻辑判断。
立即学习“Python免费学习笔记（深入）”；
- 按行处理时，跳过 len(line.strip()) == 0 的空行
- CSV解析后检查字段数是否匹配预期，如 len(row) != expected_cols，记录日志并跳过该行
- 对含手机号、邮箱、日期等字段做基础校验：用正则快速筛出明显错误项（如邮箱不含@、手机号不是11位数字）
提取关键信息并结构化
清洗不只是“减法”，更是“提炼”。把非结构文本变成字典、列表或DataFrame中的标准字段。
- 用 re.search() 提取固定模式内容，例如从“订单号：ORD20240501001”中取 re.search(r'订单号：(\w+)', text).group(1)
- 用 jieba.lcut() 切词后去停用词，再统计高频词——适合中文摘要或标签生成
- 结合 pandas.Series.str.extract() 对整列做正则抽取，一行代码生成新列
基本上就这些。不复杂但容易忽略细节，动手试几次，你会明显感觉后续分析快多了。
