本文介绍如何使用 pandas 高效识别并复制以问号、句号或感叹号结尾的行，同时生成去除末尾标点的新行，实现数据增强与规范化预处理。
本文介绍如何使用 pandas 高效识别并复制以问号、句号或感叹号结尾的行，同时生成去除末尾标点的新行，实现数据增强与规范化预处理。
在自然语言处理（NLP）或文本清洗任务中，常需对带有标点结尾的样本进行数据扩展——例如，将 "Hi!" 同时保留原样和去标点形式 "Hi"，以提升模型对不同表达变体的鲁棒性。Pandas 提供了简洁高效的向量化操作来完成这一任务，无需循环，也无需正则匹配整个字符串。
核心思路是三步走：
- 筛选：定位所有 msg 列以 ?、. 或 ! 结尾的行；
- 清洗：对这些行的 msg 字符串统一截去最后一个字符（因目标标点均位于末尾，且仅占 1 位）；
- 合并：将清洗后的子集追加到原始 DataFrame 底部，保持原有索引并自动重排。
以下是完整可运行代码示例：
import pandas as pd
# 构造示例数据
df = pd.DataFrame({
'msg': ["hello", "hi!", "What?", "OK.", "test"],
'label': [1, 0, 2, 3, 4]
})
# 步骤1：筛选以 ?, ., ! 结尾的行（注意：str.endswith 接受元组）
mask = df['msg'].str.endswith(('?', '.', '!'))
punc_rows = df[mask].copy()
# 步骤2：批量移除末尾标点（安全截取：str[:-1]）
punc_rows['msg'] = punc_rows['msg'].str[:-1]
# 步骤3：纵向拼接（axis=0），忽略索引重复问题（可选 reset_index(drop=True)）
result = pd.concat([df, punc_rows], axis=0, ignore_index=True)
print(result)输出结果：
msg label 0 hello 1 1 hi! 0 2 What? 2 3 OK. 3 4 test 4 5 hi 0 6 What 2 7 OK 3
✅ 关键注意事项：
- str.endswith() 支持元组参数 ('?', '.', '!')，比链式 | 条件更简洁、可读性更强；
- 使用 .copy() 避免 SettingWithCopyWarning；
- str[:-1] 在字符串为空或单字符时仍安全（空串返回空串，单标点返回空串），但若业务要求严格校验长度，可前置添加 str.len() > 0 过滤；
- pd.concat(..., ignore_index=True) 推荐启用，避免索引重复影响后续操作（如 .iloc 定位）；
- 若需保留原始顺序（如让新增行紧邻原行下方），可借助 pd.concat + 自定义排序逻辑，但多数场景下 ignore_index=True 已满足需求。
该方法时间复杂度为 O(n)，完全向量化，适用于百万级文本行的批量处理，是文本预处理流水线中轻量而可靠的实用技巧。
