利用Pandas实现特定多级列标题的数据透视

引言

在数据分析和处理中，经常需要对数据进行重塑（Reshaping），其中数据透视（Pivot）是一种常见的操作。然而，有时我们需要将数据透视成一种特殊的格式，例如，将源DataFrame中的某一列的值作为新的列标题，同时又希望保留原始DataFrame的列名作为这些新标题下的次级标题。这种需求在将数据导出到特定系统或进行复杂报表生成时尤为常见。本文将详细阐述如何利用Pandas库实现这种高级的数据透视。

准备工作

首先，我们需要导入Pandas库，并创建一个示例DataFrame来模拟原始数据。

import pandas as pd

# 创建示例DataFrame
data = {
    'Column 1': [1, 2, 3],
    'Column 2': ['A', 'B', 'C'],
    'Column 3': ['a', 'b', 'c']
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)
# 预期输出:
#   Column 1 Column 2 Column 3
# 0         1        A        a
# 1         2        B        b
# 2         3        C        c

我们的目标是让Column 2的值（'A', 'B', 'C'）成为新的顶级列标题，而Column 1和Column 3成为这些顶级标题下的次级标题。

核心步骤：实现多级列标题透视

实现这种特定格式的透视需要一系列Pandas操作的组合。

步骤 1: 设置索引并进行初步透视 (set_index 和 unstack)

首先，我们将希望成为新顶级列标题的列（Column 2）设置为DataFrame的索引。然后，使用unstack()方法对数据进行初步透视。unstack()会将指定索引层级的数据展开为列。

# 将'Column 2'设置为索引，然后unstack
# unstack默认会作用于最内层的索引
new_df_series = df.set_index(["Column 2"]).unstack()

print("\n初步透视后的Series:")
print(new_df_series)
# 预期输出:
# Column 1  Column 2
# A             1
# B             2
# C             3
# Column 3  Column 2
# A             a
# B             b
# C             c
# dtype: object

说明: df.set_index(["Column 2"])会将Column 2移动到索引位置。接着unstack()会将其余的列（Column 1和Column 3）与新的索引（Column 2的值）进行组合，生成一个MultiIndex的Series。在这个Series中，原始列名（Column 1, Column 3）构成了MultiIndex的第一层，而Column 2的值（A, B, C）构成了第二层。

步骤 2: 将Series转换为DataFrame (to_frame)

unstack()操作的结果是一个Pandas Series。为了后续的列操作，我们需要将其转换为DataFrame。

科汛网上商城管理系统

一个经过完善设计有着及其强大的会员互动和独特创新的内容管理系统。主要功能模块包括：文章频道、图片频道、下载频道、动漫频道、音乐频道、影视频道、商城频道、供求频道、采集管理 、专题频道等等。系统通用模块：用户管理、博客日志管理、相册管理、音乐盒管理、朋友圈管理、广告管理、公告管理、模板管理、网站信息配置、高级自定义SQL扩展标签，RSS在线订阅功能、网站统计、邮件列表、邮件群发、数据库管理、站内短消

0

查看详情

new_df_frame = new_df_series.to_frame()

print("\n转换为DataFrame后的结构:")
print(new_df_frame)
# 预期输出:
#            0
# Column 1 A  1
#          B  2
#          C  3
# Column 3 A  a
#          B  b
#          C  c

说明: to_frame()将Series转换为一个单列的DataFrame。此时，原始列名和Column 2的值仍然在索引中，形成一个MultiIndex。

步骤 3: 转置并交换列级别 (.T 和 swaplevel)

这是实现最终所需格式的关键步骤。

1. 转置 (.T): 将DataFrame进行转置，使当前的MultiIndex索引变为MultiIndex列。
2. 交换列级别 (swaplevel(axis=1)): 转置后，列的MultiIndex结构是(原始列名, Column 2的值)。我们需要将其交换为(Column 2的值, 原始列名)，以达到我们的目标。axis=1指定对列进行操作。

final_df = new_df_frame.T.swaplevel(axis=1)

print("\n最终透视结果:")
print(final_df)
# 预期输出:
#   A    B    C
#   Column 1 Column 3 Column 1 Column 3 Column 1 Column 3
# 0        1        a        2        b        3        c

说明:

• new_df_frame.T：将DataFrame转置后，原先的MultiIndex索引（Column 1, A等）变成了MultiIndex列。此时的列结构是 (原始列名, Column 2的值)。
• .swaplevel(axis=1)：交换列MultiIndex的两个级别。例如，(Column 1, A)会变成(A, Column 1)。这样，Column 2的值就成为了顶级列标题，而原始列名成为了次级列标题。

完整代码示例

将上述步骤整合在一起，形成一个完整的解决方案：

import pandas as pd

# 1. 创建示例DataFrame
data = {
    'Column 1': [1, 2, 3],
    'Column 2': ['A', 'B', 'C'],
    'Column 3': ['a', 'b', 'c']
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

# 2. 设置索引并进行初步透视
# 结果是一个MultiIndex Series
new_df_series = df.set_index(["Column 2"]).unstack()

# 3. 将Series转换为DataFrame
new_df_frame = new_df_series.to_frame()

# 4. 转置并交换列级别以获得最终格式
final_df = new_df_frame.T.swaplevel(axis=1)

print("\n最终透视结果:")
print(final_df)

总结与注意事项

• 理解unstack(): unstack()是实现这种透视的核心，它将索引的某个级别转换为列。理解MultiIndex的结构对于正确使用unstack()至关重要。
• Series到DataFrame的转换: unstack()通常返回Series。如果需要进一步的DataFrame操作（如转置），必须先使用to_frame()进行转换。
• swaplevel()的作用: swaplevel()在处理MultiIndex时非常有用，它允许我们灵活地调整索引或列的级别顺序，以满足特定的数据呈现需求。
• 数据类型: 在示例中，所有值都是字符串或整数。如果原始数据中包含多种数据类型，Pandas会尝试找到一个兼容的公共类型，或者在无法兼容时转换为object类型。
• 性能考量: 对于非常大的数据集，频繁的set_index、unstack和转置操作可能会有性能开销。在处理海量数据时，应考虑其效率。

通过上述步骤，我们可以灵活地将Pandas DataFrame重塑为具有特定多级列标题的格式，这对于满足各种数据输出和分析需求非常有用。

以上就是利用Pandas实现特定多级列标题的数据透视的详细内容，更多请关注php中文网其它相关文章！