在数据处理中，我们经常会遇到需要根据一个dataframe中键的重复出现次数，来按比例分配另一个dataframe中与这些键关联的数值的情况。例如，当一个总价值需要被分摊到多个相同项目的实例上时，这种需求尤为常见。本教程将详细阐述如何使用pandas库高效地解决这类问题。
场景描述
假设我们有两个Pandas DataFrame：
- DataFrame 1 (df1)：包含一个或多个键列（例如id），其中键值可能重复。这个DataFrame代表了我们需要将数据分配到的目标结构。
- DataFrame 2 (df2)：包含唯一的键列（与df1中的键列匹配）以及一系列需要被分配的数值列。这些数值代表了每个唯一键的总量。
我们的目标是创建一个新的DataFrame，其结构与df1相似，但其中的数值列是从df2中获取并根据df1中对应键的出现次数进行均等分配后的结果。
解决方案核心思路
解决此问题的关键在于以下几个步骤：
- 统计键的出现频率：首先，我们需要知道df1中每个id键值出现了多少次。
- 标准化/分配df2中的数值：利用上一步得到的频率，将df2中每个id对应的数值除以其在df1中的出现次数。这样，每个df2中的总值就被“分割”成了其在df1中每个实例应得的份额。
- 合并数据：将经过标准化处理的df2与原始的df1进行合并，以生成最终的结果DataFrame。
逐步实现
我们将使用Pandas的merge()、value_counts()和div()等函数来完成上述步骤。
示例数据准备
为了更好地说明，我们首先创建与问题描述中一致的示例DataFrame：
import pandas as pd
import numpy as np
# DataFrame 1: 包含重复的键
data1 = {'id': ['A', 'B', 'A', 'C', 'A', 'A', 'C']}
df1 = pd.DataFrame(data1)
# DataFrame 2: 包含唯一的键和待分配的数值
data2 = {'id': ['A', 'B', 'C'],
'Col1': [400, 200, 600],
'Col2': [100, np.nan, 800], # 使用np.nan表示空值
'Col3': [20, 800, np.nan]}
df2 = pd.DataFrame(data2)
print("df1:")
print(df1)
print("\ndf2:")
print(df2)输出的DataFrame如下：
df1: id 0 A 1 B 2 A 3 C 4 A 5 A 6 C df2: id Col1 Col2 Col3 0 A 400 100.0 20.0 1 B 200 NaN 800.0 2 C 600 800.0 NaN
核心代码实现
以下是实现数值分配和合并的Pandas代码：
# 步骤1: 统计df1中'id'列的每个键值出现的次数
# 结果是一个Series，索引是id，值是计数
id_counts = df1['id'].value_counts()
print("\nid_counts (df1中每个id的出现次数):")
print(id_counts)
# 步骤2: 标准化df2中的数值
# 1. 将df2的'id'列设置为索引，以便与id_counts对齐
# 2. 使用div()函数将df2中除'id'列外的所有数值列除以对应的id_counts
# axis=0表示按行（索引）对齐进行除法
df2_standardized = df2.set_index('id').div(id_counts, axis=0)
print("\ndf2_standardized (df2中数值按df1中id出现次数分配后):")
print(df2_standardized)
# 步骤3: 合并数据
# 1. 为了保留df1的原始索引顺序，先reset_index()将其转换为普通列
# 2. 使用merge()函数进行左连接，on='id'表示根据'id'列匹配
# 3. 合并后，重新设置索引为原始索引，并reindex()以确保顺序与df1一致
out = (df1.reset_index()
.merge(df2_standardized, on='id', how='left')
.set_index('index').reindex(df1.index)
)
print("\n最终输出DataFrame (out):")
print(out)代码详解
-
id_counts = df1['id'].value_counts():
- df1['id'] 选取了df1中的id列。
- .value_counts() 方法计算了id列中每个唯一值的出现频率，返回一个Pandas Series。例如，对于示例数据，它会返回A: 4, B: 1, C: 2。这个Series的索引就是id值。
-
df2_standardized = df2.set_index('id').div(id_counts, axis=0):
- df2.set_index('id'): 这一步非常关键。它将df2的id列设置为其索引。这样做是为了让div()函数能够根据id值（现在是索引）与id_counts Series的索引进行对齐。
- .div(id_counts, axis=0): 对df2中除了索引之外的所有数值列执行除法操作。
- id_counts：作为除数。Pandas在执行操作时，会根据索引（即id值）自动将df2的行与id_counts中的对应计数对齐。
- axis=0: 指定按行进行操作，即df2的每一行（对应一个id）都会被id_counts中对应id的计数所除。例如，df2中id='A'的行，其Col1、Col2、Col3值将全部除以4。
-
out = (df1.reset_index().merge(df2_standardized, on='id', how='left').set_index('index').reindex(df1.index))
- df1.reset_index(): 在合并之前，将df1的当前索引（通常是默认的0到N-1整数索引）转换为一个名为'index'的普通列。这样做是为了在合并后能够方便地恢复df1的原始行顺序。
- .merge(df2_standardized, on='id', how='left'):
- merge() 函数用于将两个DataFrame基于一个或多个键列进行合并。
- df2_standardized：这是经过处理后的df2。注意，它的id列现在是索引，merge函数会自动将其作为合并键。
- on='id': 指定合并的键列。
- how='left': 执行左连接。这意味着df1中的所有行都将被保留，如果df1中的某个id在df2_standardized中没有匹配项，则相应的数值列将填充NaN。
- .set_index('index').reindex(df1.index):
- set_index('index'): 将之前保存的原始索引列'index'重新设置回DataFrame的索引。
- .reindex(df1.index): 这一步是可选但推荐的，它确保最终DataFrame的行顺序与原始df1的行顺序完全一致。
最终输出
id Col1 Col2 Col3 0 A 100.0 25.0 5.0 1 B 200.0 NaN 800.0 2 A 100.0 25.0 5.0 3 C 300.0 400.0 NaN 4 A 100.0 25.0 5.0 5 A 100.0 25.0 5.0 6 C 300.0 400.0 NaN
注意事项
- 数据类型：由于进行了除法操作，数值列的数据类型可能会从整数变为浮点数。如果需要整数结果，可能需要进行额外的类型转换（例如astype(int)），但要注意处理NaN值（通常需要先填充NaN才能转为整数）。
- NaN 值处理：如果df2中存在NaN值，div()操作会保留这些NaN。在合并后，如果df1中的某个id在df2中没有对应项，或者df2中对应列本身就是NaN，结果中也会出现NaN。根据具体业务需求，可能需要进一步使用fillna()等方法处理这些缺失值。
- 性能考量：对于非常大的DataFrame，merge操作可能会比较耗时。然而，Pandas的底层实现通常是高度优化的。对于此类基于键的合并和计算，上述方法通常是高效且Pythonic的。
- 键的唯一性：df2中的id列必须是唯一的，否则set_index('id')会导致错误或行为不确定。在实际应用中，应确保df2的键是唯一的，或者在设置索引前进行聚合处理。
总结
通过结合使用value_counts()、set_index()、div()和merge()等Pandas函数，我们可以优雅且高效地解决将DataFrame中的总值按比例分配到另一个DataFrame中重复键实例上的问题。这种方法不仅代码简洁，而且能够很好地处理数据对齐和缺失值等常见挑战，是Pandas数据处理能力的一个典型应用。掌握这种模式对于处理复杂的数据整合和转换任务至关重要。
