本文旨在解决如何使用 Pandas 处理两个 DataFrame，并根据特定条件生成新的 DataFrame。具体来说，我们将根据第一个 DataFrame (df1) 的 "code" 列，在第二个 DataFrame (df2) 中查找对应的 "smth" 列的 rank 值，并找出每个 "code" 对应的最小 rank 值的 "smth"，最终生成包含这些最小 rank 值对应行的 DataFrame。
问题描述
假设我们有两个 DataFrame，df1 和 df2。df1 包含 "smth", "code", "product_name", "digit", "changes" 等列，df2 包含 "smth" 和 "rank" 两列。目标是对于 df1 中每个不同的 "code"，找到 df2 中 "smth" 对应的最小 "rank" 值，并从 df1 中提取出具有这些最小 "rank" 值的行，组成新的 DataFrame。
解决方案
以下是使用 Pandas 实现该目标的步骤：
- 创建示例 DataFrame
首先，我们创建两个示例 DataFrame df1 和 df2，模拟实际数据。
import pandas as pd
data1 = {'smth': ['RB', 'Supp', 'DX RT', 'Fk', 'CZFO', 'Supp_t', 'RK', 'rec', 'commerc', 'Supp_t'],
'code': ['HC-1343958', 'HC-1343958', 'HC-1340305', 'HC-1340305', 'HC-1107001', 'HC-1107001', 'HC-1107001', 'HC-1135154', 'HC-1135154', 'HC-1135154'],
'product_name': ['ERXY3-400', 'ERXY3-400', 'BWH/S 100 Level PRO', 'BWH/S 100 Level PRO', 'GWH 12 Fonte', 'GWH 12 Fonte', 'GWH 12 Fonte', 'BEC/ETER-1500', 'BEC/ETER-1503', 'BEC/ETER-1505'],
'digit': [3, 2, 20, 1, 1, 17, 78, 246, 10, 23],
'changes': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}
data2 = {'smth': ['rec', 'Supp', 'Supp_t', 'RK', 'CZFO', 'RB'], 'rank': [2, 4, 6, 8, 9, 10]}
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
print("df1:\n", df1)
print("\ndf2:\n", df2)- 创建 "smth" 到 "rank" 的映射
将 df2 转换为一个字典，用于将 df1 的 "smth" 列映射到对应的 "rank" 值。
m = dict(df2.values)
print("Mapping dictionary:\n", m)- 根据 "code" 分组并找到最小 rank 的索引
使用 groupby() 方法按照 df1 的 "code" 列进行分组，并将 "smth" 列映射到对应的 "rank" 值。然后，使用 idxmin() 找到每个 "code" 组中最小 "rank" 值的索引。
idxmin = df1['smth'].map(m).groupby(df1['code']).idxmin()
print("Index of minimum rank for each code:\n", idxmin)- 提取结果 DataFrame
使用布尔索引，从 df1 中提取出索引在 idxmin 中的行，生成最终的结果 DataFrame。
out = df1[df1.index.isin(idxmin)]
print("Result DataFrame:\n", out)完整代码
import pandas as pd
data1 = {'smth': ['RB', 'Supp', 'DX RT', 'Fk', 'CZFO', 'Supp_t', 'RK', 'rec', 'commerc', 'Supp_t'],
'code': ['HC-1343958', 'HC-1343958', 'HC-1340305', 'HC-1340305', 'HC-1107001', 'HC-1107001', 'HC-1107001', 'HC-1135154', 'HC-1135154', 'HC-1135154'],
'product_name': ['ERXY3-400', 'ERXY3-400', 'BWH/S 100 Level PRO', 'BWH/S 100 Level PRO', 'GWH 12 Fonte', 'GWH 12 Fonte', 'GWH 12 Fonte', 'BEC/ETER-1500', 'BEC/ETER-1503', 'BEC/ETER-1505'],
'digit': [3, 2, 20, 1, 1, 17, 78, 246, 10, 23],
'changes': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}
data2 = {'smth': ['rec', 'Supp', 'Supp_t', 'RK', 'CZFO', 'RB'], 'rank': [2, 4, 6, 8, 9, 10]}
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
m = dict(df2.values)
idxmin = df1['smth'].map(m).groupby(df1['code']).idxmin()
out = df1[df1.index.isin(idxmin)]
print(out)结果
最终输出的 out DataFrame 包含了每个 "code" 对应的最小 "rank" 值的行。
smth code product_name digit changes 1 Supp HC-1343958 ERXY3-400 2 1 5 Supp_t HC-1107001 GWH 12 Fonte 17 1 7 rec HC-1135154 BEC/ETER-1500 246 1
注意事项
- 确保 df2 中 "smth" 列的值在 df1 的 "smth" 列中存在，否则 map() 函数会产生 NaN 值，可能导致错误的结果。
- 如果多个 "smth" 值对应相同的最小 "rank" 值，则 idxmin() 只会返回第一个出现的索引。
- 本方法假设 "rank" 值越小，优先级越高。如果 "rank" 值越大，优先级越高，则需要使用 idxmax() 函数。
总结
本文提供了一种使用 Pandas 处理 DataFrame，并根据特定条件筛选数据的方法。通过将 DataFrame 转换为字典，使用 groupby() 和 idxmin() 函数，可以高效地找到每个组中的最小值，并提取出对应的行。这种方法可以应用于各种数据分析场景，例如查找每个类别中的最佳产品、每个用户的最高评分等。
