如何将宽格式数据框重塑为更易读的垂直格式-Python教程-PHP中文网

如何将宽格式数据框重塑为更易读的垂直格式

心靈之曲

发布： 2025-10-25 09:24:23

原创

780人浏览过

如何将宽格式数据框重塑为更易读的垂直格式

本文详细介绍了如何将具有大量水平列的Pandas DataFrame重塑为更紧凑、垂直的格式。我们探讨了两种主要方法：一种是利用NumPy的`reshape`功能，适用于列数能被目标组数整除的情况；另一种是结合Pandas的`MultiIndex`和`stack`操作，以应对列数不能完美整除的场景，并提供了详细的代码示例和注意事项，旨在帮助用户高效地进行数据重塑。

在数据分析和处理中，我们经常会遇到宽度过大的DataFrame，即拥有非常多列的数据集。这种“宽格式”数据在某些分析场景下可能难以理解和操作。例如，一个包含600多列的CSV文件，如果每6列代表一组相关数据，我们可能希望将其重塑为只有6列的“长格式”数据，其中原始的列被堆叠成行。本文将详细介绍两种有效的方法来解决这一问题。

方法一：使用NumPy的reshape功能（适用于列数完美整除的情况）

当原始DataFrame的总列数能够被目标列数（例如，每6列一组）完美整除时，NumPy的reshape方法提供了一种高效且简洁的解决方案。

核心原理

转换为NumPy数组：首先将Pandas DataFrame转换为NumPy数组。这样可以去除DataFrame的列名，并直接操作底层数值。
重塑数组：使用numpy.reshape(rows, columns)函数来重塑数组。
- rows参数：设置为-1，表示NumPy会根据数组的总元素数量和指定的列数自动计算行数。
- columns参数：设置为目标列数（例如，6）。
创建新的DataFrame：将重塑后的NumPy数组转换回Pandas DataFrame，并赋予新的列名。

示例代码

假设我们有一个名为groups.csv的文件，其中包含606列，我们希望将其重塑为6列，每6列一组。

import pandas as pd
import numpy as np

# 模拟一个宽格式DataFrame
# 实际应用中，您会从CSV文件加载
# df = pd.read_csv("groups.csv")

# 模拟数据，3行12列，用于演示
np.random.seed(123)
df = pd.DataFrame(np.random.randint(10, size=(3, 12)))
print("原始DataFrame:")
print(df)
print(f"\n原始DataFrame的列数: {len(df.columns)}")
print(f"列数 % 6 的余数: {len(df.columns) % 6}")

# 目标列名
target_columns = ['GroupA', 'GroupB', 'GroupC', 'GroupD', 'GroupE', 'GroupF']

# 使用to_numpy()转换为NumPy数组，然后进行reshape
# -1 让NumPy自动计算行数
df_target = pd.DataFrame(df.to_numpy().reshape(-1, 6),
                       columns=target_columns)

print("\n重塑后的DataFrame (使用NumPy reshape):")
print(df_target)

登录后复制

输出示例：

原始DataFrame:
   0  1  2  3  4  5  6  7  8  9  10  11
0  2  2  6  1  3  9  6  1  0  1   9   0
1  0  9  3  4  0  0  4  1  7  3   2   4
2  7  2  4  8  0  7  9  3  4  6   1   5

原始DataFrame的列数: 12
列数 % 6 的余数: 0

重塑后的DataFrame (使用NumPy reshape):
   GroupA  GroupB  GroupC  GroupD  GroupE  GroupF
0       2       2       6       1       3       9
1       6       1       0       1       9       0
2       0       9       3       4       0       0
3       4       1       7       3       2       4
4       7       2       4       8       0       7
5       9       3       4       6       1       5

登录后复制

注意事项

此方法要求原始DataFrame的总列数必须是目标列数的整数倍。如果不是，reshape操作将抛出错误。
to_numpy()会丢弃原始的列名信息，因此需要手动为新DataFrame指定列名。

方法二：使用Pandas MultiIndex和stack（适用于列数不完美整除的情况）

当原始DataFrame的列数不能被目标列数完美整除时，或者需要更灵活地处理列分组时，Pandas的MultiIndex结合stack操作提供了一个更强大的解决方案。此方法能够处理不规则的列数，并在必要时填充NaN。

Tanka

具备AI长期记忆的下一代团队协作沟通工具

110

查看详情

核心原理

创建MultiIndex：通过对原始列索引进行取模运算（%）和整数除法（//），创建一个两级的MultiIndex。
- 取模运算（a % 6）将为每组内的列提供一个0到5的索引。
- 整数除法（a // 6）将为每组提供一个组编号。
设置新的轴标签：使用set_axis将这个MultiIndex应用到DataFrame的列轴上。
堆叠DataFrame：使用stack()方法将DataFrame从宽格式转换为长格式。stack()会根据MultiIndex的内层级别进行堆叠。
重命名列：堆叠后，DataFrame的列名将是MultiIndex的内层级别。我们需要使用set_axis将其重命名为我们目标列名。
重置索引：最后，使用reset_index(drop=True)清理索引。

示例代码

假设我们有一个3行10列的DataFrame，我们仍希望将其重塑为6列。

import pandas as pd
import numpy as np

# 模拟一个宽格式DataFrame，列数不被6整除
np.random.seed(123)
df = pd.DataFrame(np.random.randint(10, size=(3, 10)))
print("原始DataFrame:")
print(df)
print(f"\n原始DataFrame的列数: {len(df.columns)}")
print(f"列数 % 6 的余数: {len(df.columns) % 6}")

# 目标列名
target_columns = ['GroupA', 'GroupB', 'GroupC', 'GroupD', 'GroupE', 'GroupF']

# 创建一个表示列分组的MultiIndex
# a % 6: 0,1,2,3,4,5,0,1,2,3 (每组内的列索引)
# a // 6: 0,0,0,0,0,0,1,1,1,1 (组编号)
a = np.arange(len(df.columns))

df_target = (df.set_axis([a % 6, a // 6], axis=1) # 设置MultiIndex作为列名
                .stack()                          # 堆叠数据
                .set_axis(target_columns, axis=1) # 设置新的列名
                .reset_index(drop=True))          # 重置索引

print("\n重塑后的DataFrame (使用MultiIndex和stack):")
print(df_target)

登录后复制

输出示例：

原始DataFrame:
   0  1  2  3  4  5  6  7  8  9
0  2  2  6  1  3  9  6  1  0  1
1  9  0  0  9  3  4  0  0  4  1
2  7  3  2  4  7  2  4  8  0  7

原始DataFrame的列数: 10
列数 % 6 的余数: 4

重塑后的DataFrame (使用MultiIndex和stack):
   GroupA  GroupB  GroupC  GroupD  GroupE  GroupF
0       2       2       6       1     3.0     9.0
1       6       1       0       1     NaN     NaN
2       9       0       0       9     3.0     4.0
3       0       0       4       1     NaN     NaN
4       7       3       2       4     7.0     2.0
5       4       8       0       7     NaN     NaN

登录后复制