在数据分析和处理过程中，我们经常需要处理包含重复记录的数据集。有时，我们的目标是识别并保留所有重复项，但要排除每组重复数据中的第一个出现。例如，在一个客户交易记录表中，我们可能只关心客户的第二次及后续交易，而忽略他们的首次交易。pandas库提供了duplicated()方法，可以非常优雅地解决这类问题。
理解 duplicated() 方法
Pandas DataFrame或Series的duplicated()方法用于标记重复的行或元素。它返回一个布尔型Series，其中True表示该行或元素是重复的，而False表示它是唯一的或者首次出现的。
duplicated()方法有一个关键参数keep，它决定了如何处理重复项：
- keep='first' (默认值): 将除了第一次出现之外的所有重复项标记为True。这是本教程所需的核心行为。
- keep='last': 将除了最后一次出现之外的所有重复项标记为True。
- keep=False: 将所有重复项（包括第一次和最后一次出现）都标记为True。
当我们需要保留指定列的非首次重复行时，duplicated()方法的默认行为（keep='first'）恰好符合我们的需求。
实际操作步骤与示例
假设我们有一个包含客户ID、支付日期和支付金额的DataFrame，我们希望筛选出每个client_id的非首次交易记录。
1. 准备示例数据
首先，我们创建一个示例DataFrame来模拟实际场景：
import pandas as pd
# 原始数据
data = {
'client_id': ['067858', '168226', '141424', '141424', '151525', '168226', '067858', '151525'],
'payment_date': ['2021-05-30', '2021-05-30', '2021-05-31', '2021-06-01', '2021-06-01', '2021-06-02', '2021-06-05', '2021-06-07'],
'value': [140.00, 150.00, 100.00, 150.00, 150.00, 115.00, 143.00, 82.00]
}
df = pd.DataFrame(data)
df['payment_date'] = pd.to_datetime(df['payment_date'])
print("原始DataFrame:")
print(df)输出的原始DataFrame如下：
原始DataFrame: client_id payment_date value 0 067858 2021-05-30 140.0 1 168226 2021-05-30 150.0 2 141424 2021-05-31 100.0 3 141424 2021-06-01 150.0 4 151525 2021-06-01 150.0 5 168226 2021-06-02 115.0 6 067858 2021-06-05 143.0 7 151525 2021-06-07 82.0
2. 使用 duplicated() 筛选数据
要保留client_id列中除首次出现外的所有重复行，我们只需对client_id列应用duplicated()方法，然后使用布尔索引来筛选DataFrame。
# 应用 duplicated() 方法，默认 keep='first'
# 这将返回一个布尔Series，True表示该client_id是重复的（非首次出现）
is_duplicate_except_first = df['client_id'].duplicated()
# 使用布尔索引筛选DataFrame
df_filtered = df[is_duplicate_except_first]
print("\n筛选后的DataFrame (保留非首次重复行):")
print(df_filtered)执行上述代码后，我们将得到期望的输出：
筛选后的DataFrame (保留非首次重复行): client_id payment_date value 3 141424 2021-06-01 150.0 5 168226 2021-06-02 115.0 6 067858 2021-06-05 143.0 7 151525 2021-06-07 82.0
可以看到，对于client_id为'141424'、'168226'、'067858'和'151525'的记录，其首次出现已经被排除，只保留了后续的重复记录。
注意事项与总结
- 默认参数的妙用： duplicated()方法的默认参数keep='first'完美契合了“保留所有重复项，但排除首次出现”的需求，使得代码极其简洁。
- 多列重复判断： 如果需要基于多列的组合来判断重复，可以将一个列名列表传递给duplicated()方法，例如df.duplicated(subset=['client_id', 'payment_date'])。
- 性能： Pandas的duplicated()方法在底层经过高度优化，对于大型数据集也能提供高效的性能。相比于手动迭代或使用复杂的循环逻辑，它是一个更优的选择。
- 反向操作： 如果你想要获取所有唯一行和每组重复行的首次出现（即删除所有重复项，只保留首次），可以使用df.drop_duplicates(subset=['client_id'], keep='first')。
-
其他keep参数：
- 如果你想保留所有重复项，但排除最后一次出现，可以使用df[df['client_id'].duplicated(keep='last')]。
- 如果你想保留所有重复项（包括首次和末次），可以使用df[df['client_id'].duplicated(keep=False)]。
通过本文的介绍，您应该已经掌握了如何使用Pandas的duplicated()方法高效地筛选并保留DataFrame中指定列的非首次重复行。这一技巧在数据清洗、特征工程等多个数据处理环节中都非常实用。
