在数据处理过程中，我们经常会遇到需要检查dataframe中行内是否存在重复值的情况，并且可能需要根据这些重复值进行筛选或提取。例如，在一个包含多个数值列的数据集中，我们可能希望找出那些在num1到num7这些列中出现过至少两次相同数值的行，并分别获取这些行中非重复的数值或仅是重复的数值。
1. 准备示例数据
首先，我们创建一个示例DataFrame，其中包含Row_Num作为行标识符，以及Num1到Num7等数值列。
import numpy as np
import pandas as pd
df = pd.DataFrame([[1,1,2,4,5,6,7,7],
[2,5,6,7,22,23,34,48],
[3,3,5,6,7,45,46,48],
[4,6,7,14,29,32,6,29], # 重复值 6 和 29
[5,6,7,13,23,33,35,7], # 重复值 7
[6,1,6,7,8,9,10,8],
[7,0,2,5,7,19,7,5]], # 重复值 7 和 5
columns = ['Row_Num', 'Num1','Num2','Num3','Num4','Num5','Num6','Num7'])
print("原始DataFrame:")
print(df)2. 识别行内重复值
为了识别行内的重复值，我们可以使用DataFrame.duplicated()方法。关键在于将其应用于每一行，并指定axis=1。在此之前，为了方便后续操作并保留原始行号，我们将Row_Num列设置为DataFrame的索引。
# 将 'Row_Num' 设置为索引，便于后续操作和结果展示
df_indexed = df.set_index('Row_Num')
# 仅考虑 'Num1' 到 'Num7' 列进行重复值检测
data_cols = [f'Num{i}' for i in range(1, 8)]
df_target = df_indexed[data_cols]
# 使用 transform 和 lambda 函数检测每行中的重复值
# duplicated() 标记第二次及以后出现的重复值为 True
df_duplicated_mask = df_target.transform(lambda x: x.duplicated(), axis=1)
print("\n每行中重复值检测结果 (布尔掩码):")
print(df_duplicated_mask)df_duplicated_mask是一个布尔型DataFrame，其中True表示该位置的数值在当前行中是重复的（即非首次出现）。
3. 筛选包含至少两个重复值的行
根据示例需求，我们需要筛选出那些至少有两个重复值（即df_duplicated_mask中至少有两个True）的行。这可以通过计算每行True的数量并设置阈值来实现。
# 筛选出至少包含两个重复值的行（即 duplicated 掩码中至少有两个 True）
# 例如，如果一个值重复两次，duplicated 会标记一次 True。如果两个不同的值各重复一次，duplicated 会标记两次 True。
rows_with_multiple_duplicates = df_duplicated_mask.sum(axis=1) >= 2
filtered_df_for_processing = df_indexed[rows_with_multiple_duplicates]
filtered_duplicated_mask = df_duplicated_mask[rows_with_multiple_duplicates]
print("\n筛选出的包含至少两个重复值的行 (原始数据):")
print(filtered_df_for_processing)
print("\n对应行的重复值掩码:")
print(filtered_duplicated_mask)从上述输出可以看出，只有 Row_Num 为 4 和 7 的行被选中，这与问题描述中的预期一致。
4. 提取非重复值 (第一种结果)
现在，我们将从筛选出的行中提取非重复值。这意味着我们将保留那些在filtered_duplicated_mask中对应为False的数值。
# 提取非重复值
# 使用 ~ (取反) 运算符选择非重复值
result_non_duplicates = filtered_df_for_processing[~filtered_duplicated_mask].dropna(axis=1, how='all')
print("\n第一种结果：提取非重复值 (对应问题中的 df2 格式):")
print(result_non_duplicates)dropna(axis=1, how='all')在这里很重要，它会移除那些在筛选后只剩下NaN值的列。
5. 提取重复值 (第二种结果)
接下来，我们提取那些在filtered_duplicated_mask中对应为True的重复值。
# 提取重复值
result_duplicates = filtered_df_for_processing[filtered_duplicated_mask].dropna(axis=1, how='all')
print("\n第二种结果：提取重复值 (对应问题中的 df3 格式):")
print(result_duplicates)同样，dropna(axis=1, how='all')用于清理只剩下NaN的列。
6. 结果与原始示例匹配
为了使结果完全匹配原始问题中df2和df3的格式，我们可能需要对列名进行重命名，并重置索引。
# 匹配 df2 格式
final_df2 = result_non_duplicates.reset_index()
# 根据原始问题示例，Num1-Num5是动态的，这里我们保留当前列名或按需重命名
print("\n最终结果 df2 (重置索引):")
print(final_df2)
# 匹配 df3 格式
final_df3 = result_duplicates.reset_index()
# 根据原始问题示例，Num1-Num2是动态的，这里我们保留当前列名或按需重命名
# 如果需要严格匹配，可以手动指定列名，例如：final_df3.columns = ['Row_Num', 'Num1', 'Num2']
print("\n最终结果 df3 (重置索引):")
print(final_df3)注意事项与总结
- 索引管理: 将Row_Num设置为索引是处理此类问题时的常见做法，它能有效保留行标识符，避免在筛选和操作过程中丢失上下文。在最终输出时，可以通过reset_index()将其转换回普通列。
- duplicated()的行为: DataFrame.duplicated(axis=1)会标记行内第二次及以后出现的重复值为True。这意味着如果一个值在行内出现了3次，它会标记两次True。
- 筛选条件: df_duplicated_mask.sum(axis=1) >= N是筛选具有N个或更多重复值的行的关键。根据具体需求，N的值可以调整。例如，如果只需要筛选出任何存在重复值的行（即使只有一个值重复），可以将条件改为>= 1。
- dropna(axis=1, how='all'): 在提取重复值或非重复值后，某些列可能因为没有符合条件的数值而全为NaN。使用dropna可以清理这些空列，使结果更简洁。
- 动态列名: 示例中的Num1, Num2等列名是根据提取结果动态生成的。如果需要固定的列名，可以在reset_index()后手动进行重命名。
通过本教程，您应该能够熟练地在Pandas DataFrame中识别行内重复值，并根据需要提取非重复部分或仅重复部分，从而高效地完成数据清洗和分析任务。这种方法在处理问卷数据、日志分析或任何需要识别行内模式的场景中都非常有用。
