本文介绍使用 pandas 链式操作（stack + str.extractall 或 split + explode + fullmatch）从多个含分号分隔符的 DataFrame 列中，精准提取形如 Data_123 的结构化数据，并自动去重、排序后生成唯一有序列表。
本文介绍使用 pandas 链式操作（stack + str.extractall 或 split + explode + fullmatch）从多个含分号分隔符的 dataframe 列中，精准提取形如 `data_123` 的结构化数据，并自动去重、排序后生成唯一有序列表。
在实际数据清洗任务中，常遇到多列包含分号（;）分隔的字符串，且每列中混杂有效数据、空值（NaN）、空字符串及格式错误的“垃圾”内容。目标是从所有列中统一提取符合特定正则模式（如 Data_ 后接 1–3 位数字）的元素，并整合为去重、有序的最终列表。手动逐行遍历 + 分割 + 正则匹配虽可行，但低效且易出错；推荐采用 pandas 原生向量化方法，兼顾简洁性与鲁棒性。
✅ 推荐方案一：stack() + str.extractall()（最简高效）
该方法将三列堆叠为单 Series，对每个字符串执行全局正则捕获，天然跳过 NaN 和不匹配项：
import pandas as pd
import numpy as np
# 构造示例数据
df = pd.DataFrame({
'ID': ['01', '02', '03', '04'],
'Column_A': ['Data_1;Data_2;Data_3', 'Data_7', np.nan, 'Garbage'],
'Column_B': ['Data_4;Data_5', 'Data_8;Data_9', np.nan, 'Data_10;Data_11'],
'Column_C': ['Data_6', np.nan, np.nan, 'Data_12']
})
# 提取所有匹配项（返回 list）
pattern = r'(Data_\d+)' # 若需严格三位数，改用 r'(Data_\d{3})'
result_list = df[['Column_A', 'Column_B', 'Column_C']].stack().str.extractall(pattern)[0].tolist()
print(result_list)
# 输出: ['Data_1', 'Data_2', 'Data_3', 'Data_4', 'Data_5', 'Data_6', 'Data_7', 'Data_8', 'Data_9', 'Data_10', 'Data_11', 'Data_12']✅ 优势：一行代码完成堆叠、正则全量提取、展平；自动忽略 NaN、空字符串及不匹配内容；无需显式 dropna() 或循环。
✅ 推荐方案二：stack() + split() + explode() + str.fullmatch()（更可控）
当需对分割后的每个子串做精确全匹配（避免 Data_1234 匹配到 Data_123）时，此方案更严谨：
s = df[['Column_A', 'Column_B', 'Column_C']].stack().str.split(';').explode().dropna()
result_list = s[s.str.fullmatch(r'Data_\d{3}')].tolist() # 严格三位数⚠️ 注意：str.fullmatch() 要求整个字符串完全匹配正则，比 str.contains() 更安全；若允许 1–3 位数字，可改用 r'Data_\d{1,3}'。
? 后处理：去重、排序、转为有序列表
两种方案输出均为原始顺序列表。如需最终结果满足「唯一 + 升序」要求，追加以下步骤：
# 去重并按字典序排序（因 Data_10 > Data_2，建议按数字逻辑排序） import re def extract_num(s): return int(re.search(r'_(\d+)', s).group(1)) unique_sorted = sorted(set(result_list), key=extract_num) print(unique_sorted) # 输出: ['Data_1', 'Data_2', 'Data_3', 'Data_4', 'Data_5', 'Data_6', 'Data_7', 'Data_8', 'Data_9', 'Data_10', 'Data_11', 'Data_12']
? 关键注意事项
- 列选择：务必显式指定要处理的列（如 df[['Column_A','Column_B','Column_C']]），避免误含 ID 等无关列；
- 正则边界：若存在 Data_123_extra 类干扰项，强烈建议添加单词边界 \b：r'\b(Data_\d{3})\b'；
- 空值鲁棒性：stack() 自动排除 NaN，但 str.split() 对 None 会报错，故必须先 stack() 再 str.split()；
- 性能对比：extractall 在大数据集上通常快于 explode + fullmatch，因前者为 C 层优化；后者逻辑更直观，便于调试。
综上，优先采用 stack().str.extractall() 方案——它以最小代码量实现最大健壮性，是处理此类多列分隔字符串提取任务的专业首选。
