本教程详细介绍了如何利用Pandas库高效地将DataFrame中的多列数据聚合为每行的列表，并在此基础上进行数据透视（pivot）操作，以实现复杂的DataFrame重塑需求。文章通过具体示例，深入讲解了`assign()`、`apply()`和`pivot()`等核心方法的联合应用，旨在帮助读者掌握一种避免冗余循环、提升数据处理效率的专业技巧。
在数据分析和处理过程中，我们经常需要对Pandas DataFrame进行复杂的重塑操作。一个常见的场景是，需要将DataFrame中的若干列数据合并成一个列表，作为新的一列，然后根据其他列的值进行透视，将特定的列转换为新的索引或列名。本文将以一个具体的示例，详细阐述如何通过链式操作，高效地实现这一数据转换过程，避免使用低效的循环语句。
原始数据结构
假设我们有一个包含产品ID、名称、多个数值列以及类型信息的DataFrame，其结构如下：
import pandas as pd
import io
data = """id name value1 value2 value3 Type
1 AAA 1.0 1.5 1.8 NEW
2 BBB 2.0 2.3 2.5 NEW
3 CCC 3.0 3.6 3.7 NEW"""
df = pd.read_csv(io.StringIO(data), sep=r'\s+')
print("原始DataFrame:")
print(df)输出:
原始DataFrame: id name value1 value2 value3 Type 0 1 AAA 1.0 1.5 1.8 NEW 1 2 BBB 2.0 2.3 2.5 NEW 2 3 CCC 3.0 3.6 3.7 NEW
目标数据结构
我们的目标是将value1、value2、value3这三列的数据合并成一个列表，作为每个name对应的新值，并以Type作为索引，name作为新的列名，最终形成如下结构：
Type AAA BBB CCC ================================================================ NEW [1.0, 1.5, 1.8] [2.0, 2.3, 2.5] [3.0, 3.6, 3.7]
解决方案：链式操作实现数据重塑
要实现上述转换，我们可以利用Pandas的assign()、apply()和pivot()方法进行链式操作。
1. 将多列数据合并为列表
首先，我们需要将value1到value3这几列的数据，在每一行中合并成一个列表。这可以通过df.loc选择特定列，然后使用apply(list, axis=1)方法实现。axis=1参数至关重要，它指示apply函数按行操作，将每一行选定列的值作为列表传递。
# 提取需要合并的列，并按行生成列表 df.loc[:, 'value1':'value3'].apply(list, axis=1)
这将返回一个Series，其中每个元素都是一个列表：
0 [1.0, 1.5, 1.8] 1 [2.0, 2.3, 2.5] 2 [3.0, 3.6, 3.7] dtype: object
2. 使用 assign() 添加新列
接下来，我们将这个包含列表的新Series添加回原始DataFrame，作为名为value的新列。assign()方法是一个非常方便的函数，它可以在不修改原始DataFrame的情况下，返回一个添加了新列的新DataFrame。
df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
执行此步骤后，DataFrame将包含一个名为value的新列，其中存储了合并后的列表。
3. 使用 pivot() 进行数据透视
最后一步是使用pivot()方法进行数据透视。pivot()函数需要三个关键参数：
- index: 指定新DataFrame的索引列。
- columns: 指定新DataFrame的列名来源列。
- values: 指定填充新DataFrame单元格的值来源列。
根据我们的目标结构，Type应作为索引，name作为列名，而我们刚刚创建的value列则作为透视后的数据值。
(df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1)) .pivot(index='Type', columns='name', values='value'))
4. 清理和格式化（可选但推荐）
透视操作完成后，Pandas可能会为新的列名（name）和索引（Type）添加一个层级名称（name和Type）。为了使输出更简洁，我们可以使用rename_axis(None, axis=1)移除列名的层级名称，并通过reset_index()将Type从索引转换为普通列。
(df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1)) .pivot(index='Type', columns='name', values='value') .rename_axis(None, axis=1) # 移除列名轴的名称 .reset_index()) # 将Type从索引转换为列
完整代码示例
将上述步骤整合，形成完整的解决方案代码：
import pandas as pd
import io
# 模拟原始DataFrame
data = """id name value1 value2 value3 Type
1 AAA 1.0 1.5 1.8 NEW
2 BBB 2.0 2.3 2.5 NEW
3 CCC 3.0 3.6 3.7 NEW"""
df = pd.read_csv(io.StringIO(data), sep=r'\s+')
# 执行转换操作
transformed_df = (
df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
.pivot(index='Type', columns='name', values='value')
.rename_axis(None, axis=1)
.reset_index()
)
print("\n转换后的DataFrame:")
print(transformed_df)输出结果
转换后的DataFrame: Type AAA BBB CCC 0 NEW [1.0, 1.5, 1.8] [2.0, 2.3, 2.5] [3.0, 3.6, 3.7]
注意事项与总结
- 效率: 这种方法避免了Python的显式循环，充分利用了Pandas底层的C/NumPy优化，因此对于大型数据集来说效率非常高。
- pivot() vs pivot_table(): pivot()要求index和columns的组合必须是唯一的，否则会报错。如果存在重复组合，且需要进行聚合操作（如求和、平均等），则应使用功能更强大的pivot_table()。在本例中，Type和name的组合是唯一的，因此pivot()适用。
- loc选择器: 使用df.loc[:, 'value1':'value3']可以精确选择连续的列，确保只对目标列进行操作。
- 链式操作: 将多个操作链接在一起（使用括号包裹，并换行），可以提高代码的可读性和简洁性。
通过掌握assign()、apply()和pivot()的联合使用，您将能够灵活高效地处理DataFrame的复杂重塑任务，极大地提升数据处理能力。
