本文详细介绍了如何将具有大量水平列的Pandas DataFrame重塑为更紧凑、垂直的格式。我们探讨了两种主要方法：一种是利用NumPy的`reshape`功能，适用于列数能被目标组数整除的情况；另一种是结合Pandas的`MultiIndex`和`stack`操作，以应对列数不能完美整除的场景，并提供了详细的代码示例和注意事项，旨在帮助用户高效地进行数据重塑。
在数据分析和处理中，我们经常会遇到宽度过大的DataFrame，即拥有非常多列的数据集。这种“宽格式”数据在某些分析场景下可能难以理解和操作。例如，一个包含600多列的CSV文件，如果每6列代表一组相关数据，我们可能希望将其重塑为只有6列的“长格式”数据，其中原始的列被堆叠成行。本文将详细介绍两种有效的方法来解决这一问题。
方法一：使用NumPy的reshape功能（适用于列数完美整除的情况）
当原始DataFrame的总列数能够被目标列数（例如，每6列一组）完美整除时，NumPy的reshape方法提供了一种高效且简洁的解决方案。
核心原理
- 转换为NumPy数组：首先将Pandas DataFrame转换为NumPy数组。这样可以去除DataFrame的列名，并直接操作底层数值。
-
重塑数组：使用numpy.reshape(rows, columns)函数来重塑数组。
- rows参数：设置为-1，表示NumPy会根据数组的总元素数量和指定的列数自动计算行数。
- columns参数：设置为目标列数（例如，6）。
- 创建新的DataFrame：将重塑后的NumPy数组转换回Pandas DataFrame，并赋予新的列名。
示例代码
假设我们有一个名为groups.csv的文件，其中包含606列，我们希望将其重塑为6列，每6列一组。
import pandas as pd
import numpy as np
# 模拟一个宽格式DataFrame
# 实际应用中，您会从CSV文件加载
# df = pd.read_csv("groups.csv")
# 模拟数据，3行12列，用于演示
np.random.seed(123)
df = pd.DataFrame(np.random.randint(10, size=(3, 12)))
print("原始DataFrame:")
print(df)
print(f"\n原始DataFrame的列数: {len(df.columns)}")
print(f"列数 % 6 的余数: {len(df.columns) % 6}")
# 目标列名
target_columns = ['GroupA', 'GroupB', 'GroupC', 'GroupD', 'GroupE', 'GroupF']
# 使用to_numpy()转换为NumPy数组，然后进行reshape
# -1 让NumPy自动计算行数
df_target = pd.DataFrame(df.to_numpy().reshape(-1, 6),
columns=target_columns)
print("\n重塑后的DataFrame (使用NumPy reshape):")
print(df_target)输出示例：
原始DataFrame: 0 1 2 3 4 5 6 7 8 9 10 11 0 2 2 6 1 3 9 6 1 0 1 9 0 1 0 9 3 4 0 0 4 1 7 3 2 4 2 7 2 4 8 0 7 9 3 4 6 1 5 原始DataFrame的列数: 12 列数 % 6 的余数: 0 重塑后的DataFrame (使用NumPy reshape): GroupA GroupB GroupC GroupD GroupE GroupF 0 2 2 6 1 3 9 1 6 1 0 1 9 0 2 0 9 3 4 0 0 3 4 1 7 3 2 4 4 7 2 4 8 0 7 5 9 3 4 6 1 5
注意事项
- 此方法要求原始DataFrame的总列数必须是目标列数的整数倍。如果不是，reshape操作将抛出错误。
- to_numpy()会丢弃原始的列名信息，因此需要手动为新DataFrame指定列名。
方法二：使用Pandas MultiIndex和stack（适用于列数不完美整除的情况）
当原始DataFrame的列数不能被目标列数完美整除时，或者需要更灵活地处理列分组时，Pandas的MultiIndex结合stack操作提供了一个更强大的解决方案。此方法能够处理不规则的列数，并在必要时填充NaN。
核心原理
-
创建MultiIndex：通过对原始列索引进行取模运算（%）和整数除法（//），创建一个两级的MultiIndex。
- 取模运算（a % 6）将为每组内的列提供一个0到5的索引。
- 整数除法（a // 6）将为每组提供一个组编号。
- 设置新的轴标签：使用set_axis将这个MultiIndex应用到DataFrame的列轴上。
- 堆叠DataFrame：使用stack()方法将DataFrame从宽格式转换为长格式。stack()会根据MultiIndex的内层级别进行堆叠。
- 重命名列：堆叠后，DataFrame的列名将是MultiIndex的内层级别。我们需要使用set_axis将其重命名为我们目标列名。
- 重置索引：最后，使用reset_index(drop=True)清理索引。
示例代码
假设我们有一个3行10列的DataFrame，我们仍希望将其重塑为6列。
import pandas as pd
import numpy as np
# 模拟一个宽格式DataFrame，列数不被6整除
np.random.seed(123)
df = pd.DataFrame(np.random.randint(10, size=(3, 10)))
print("原始DataFrame:")
print(df)
print(f"\n原始DataFrame的列数: {len(df.columns)}")
print(f"列数 % 6 的余数: {len(df.columns) % 6}")
# 目标列名
target_columns = ['GroupA', 'GroupB', 'GroupC', 'GroupD', 'GroupE', 'GroupF']
# 创建一个表示列分组的MultiIndex
# a % 6: 0,1,2,3,4,5,0,1,2,3 (每组内的列索引)
# a // 6: 0,0,0,0,0,0,1,1,1,1 (组编号)
a = np.arange(len(df.columns))
df_target = (df.set_axis([a % 6, a // 6], axis=1) # 设置MultiIndex作为列名
.stack() # 堆叠数据
.set_axis(target_columns, axis=1) # 设置新的列名
.reset_index(drop=True)) # 重置索引
print("\n重塑后的DataFrame (使用MultiIndex和stack):")
print(df_target)输出示例：
原始DataFrame: 0 1 2 3 4 5 6 7 8 9 0 2 2 6 1 3 9 6 1 0 1 1 9 0 0 9 3 4 0 0 4 1 2 7 3 2 4 7 2 4 8 0 7 原始DataFrame的列数: 10 列数 % 6 的余数: 4 重塑后的DataFrame (使用MultiIndex和stack): GroupA GroupB GroupC GroupD GroupE GroupF 0 2 2 6 1 3.0 9.0 1 6 1 0 1 NaN NaN 2 9 0 0 9 3.0 4.0 3 0 0 4 1 NaN NaN 4 7 3 2 4 7.0 2.0 5 4 8 0 7 NaN NaN
注意事项
- 当原始列数不能被目标列数完美整除时，stack()操作会在某些位置生成NaN值，因为不是所有的组都能填满6列。这通常是可接受的行为，表示数据缺失。
- 此方法比NumPy的reshape稍微复杂，但提供了更高的灵活性，尤其是在处理不规则数据时。
- 由于数据类型转换（例如，整数列中引入NaN会导致列变为浮点型），可能需要后续的数据类型处理。
总结
将宽格式的DataFrame重塑为长格式是数据预处理中的常见任务。选择哪种方法取决于您的具体数据特征和需求：
- NumPy的reshape：当原始列数能够被目标列数完美整除时，这是最简洁、最高效的方法。
- Pandas MultiIndex和stack：当列数不能完美整除，或者您需要更精细地控制重塑过程，且不介意可能引入NaN值时，此方法更为适用。
理解并熟练运用这两种技术，将极大地提高您在数据清洗和准备阶段的效率。务必根据您的数据特点和分析目标，选择最合适的重塑策略。
