从Pandas DataFrame构建嵌套字典的实用指南

本文详细介绍了如何利用pandas dataframe将扁平化的表格数据高效转换为嵌套字典结构。通过`pivot`函数重塑数据，并结合`to_dict`方法，可以轻松实现以特定列作为外层和内层键、另一列作为值的多级字典，从而方便快捷地进行数据查询和管理，避免了手动迭代和复杂逻辑。

在数据处理和分析中，我们经常需要将表格形式的数据（如Pandas DataFrame）转换为更具层次感的结构，例如嵌套字典，以便于快速查找或满足特定应用场景的需求。本文将探讨如何高效地将一个包含多列信息的DataFrame转换为一个两层嵌套的字典，其中外层键对应一列，内层键对应另一列，而值则来自第三列。

场景描述与挑战

假设我们有一个Pandas DataFrame，它记录了不同团队在不同指标上的百分比数据，结构如下：

我们的目标是将其转换为以下形式的嵌套字典：

{'A': {'X': '80%', 'Y': '20%'},
 'B': {'X': '70%', 'Y': '30%'},
 'C': {'X': '60%', 'Y': '40%'}}

这种结构允许我们通过dict['Team']['X or Y']的方式直接获取对应的百分比。

初学者可能会尝试使用zip和dict的组合来构建字典。例如，先将'X or Y'和'Percentage'列组合成一个字典，再将'Team'列和这个字典组合。然而，这种方法会遇到一个关键问题：如果'X or Y'列中存在重复值（例如，多个团队都有'X'指标），直接将其作为键会导致后续的值覆盖掉之前的值，因为字典的键必须是唯一的。因此，我们需要一个更强大的工具来处理这种重塑需求。

解决方案：使用 DataFrame.pivot

Pandas库提供了DataFrame.pivot函数，它是解决这类数据重塑问题的理想工具。pivot函数能够根据指定的索引（index）、列（columns）和值（values）重新组织DataFrame，将其从“长”格式转换为“宽”格式。

1. 创建示例DataFrame

首先，我们创建上述示例DataFrame：

import pandas as pd

data = {
    'Team': ['A', 'A', 'B', 'B', 'C', 'C'],
    'X or Y': ['X', 'Y', 'X', 'Y', 'X', 'Y'],
    'Percentage': ['80%', '20%', '70%', '30%', '60%', '40%']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

输出：

原始DataFrame:
  Team X or Y Percentage
0    A      X        80%
1    A      Y        20%
2    B      X        70%
3    B      Y        30%
4    C      X        60%
5    C      Y        40%

2. 应用 pivot 函数

为了得到所需的嵌套字典结构，我们将'Team'作为新的DataFrame的列名，'X or Y'作为新的DataFrame的索引，而'Percentage'作为新的DataFrame的值。

即构数智人

即构数智人是由即构科技推出的AI虚拟数字人视频创作平台，支持数字人形象定制、短视频创作、数字人直播等。

36

查看详情

pivoted_df = df.pivot(index='X or Y', columns='Team', values='Percentage')
print("\nPivot后的DataFrame:")
print(pivoted_df)

pivot操作会将'Team'列的唯一值转换为新的列名，'X or Y'列的唯一值转换为新的行索引，'Percentage'列的值则填充到相应的位置。

输出：

Pivot后的DataFrame:
Team     A    B    C
X or Y
X      80%  70%  60%
Y      20%  30%  40%

3. 转换为嵌套字典

pivot操作后的DataFrame已经非常接近我们想要的结构。下一步是将其转换为字典。Pandas DataFrame提供了一个to_dict()方法，可以方便地将DataFrame转换为字典。当不带参数调用to_dict()时，它默认会将DataFrame转换为一个以列名为键，列值为列表的字典。然而，我们可以指定orient='index'或orient='columns'来获取不同的字典结构。

为了得到外层键是'Team'，内层键是'X or Y'的嵌套字典，我们需要对pivoted_df调用to_dict()方法。注意：pivoted_df的列现在是Team，索引是X or Y。直接调用pivoted_df.to_dict()会得到以列名（Team）为外层键，索引（X or Y）为内层键的字典。

nested_dict = pivoted_df.to_dict()
print("\n转换后的嵌套字典:")
print(nested_dict)

输出：

转换后的嵌套字典:
{'A': {'X': '80%', 'Y': '20%'}, 'B': {'X': '70%', 'Y': '30%'}, 'C': {'X': '60%', 'Y': '40%'}}

这正是我们期望的输出格式。现在，我们可以轻松地通过nested_dict['A']['X']来获取'80%'。

完整示例代码

import pandas as pd

# 1. 创建原始DataFrame
data = {
    'Team': ['A', 'A', 'B', 'B', 'C', 'C'],
    'X or Y': ['X', 'Y', 'X', 'Y', 'X', 'Y'],
    'Percentage': ['80%', '20%', '70%', '30%', '60%', '40%']
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

# 2. 使用pivot重塑DataFrame
# index: 作为新DataFrame的行索引
# columns: 作为新DataFrame的列名
# values: 填充新DataFrame的值
pivoted_df = df.pivot(index='X or Y', columns='Team', values='Percentage')

print("\nPivot后的DataFrame:")
print(pivoted_df)

# 3. 将重塑后的DataFrame转换为嵌套字典
# 默认的to_dict()会将列名作为外层键，索引作为内层键
nested_dict = pivoted_df.to_dict()

print("\n最终的嵌套字典:")
print(nested_dict)

# 验证查询
print(f"\nTeam A 的 X 指标百分比: {nested_dict['A']['X']}")
print(f"Team C 的 Y 指标百分比: {nested_dict['C']['Y']}")

注意事项

1. 数据完整性：pivot函数要求index和columns的组合必须是唯一的。如果存在重复的index和columns组合，pivot会抛出ValueError。在这种情况下，可能需要先使用groupby()和聚合函数来处理重复项，或者考虑使用pivot_table，它允许指定聚合函数来处理重复项。
2. 缺失值处理：如果原始数据中，某些Team和X or Y的组合不存在，pivot操作后会在对应的位置填充NaN。to_dict()会将这些NaN值保留在字典中。如果需要，可以在pivot之后或to_dict之前使用fillna()方法处理这些缺失值。
3. 数据类型：本例中的百分比是字符串类型（'80%'）。如果需要进行数值计算，应在转换为字典之前或之后将这些字符串转换为数值类型（例如，去除'%'符号并转换为浮点数）。
4. pivot vs pivot_table：当需要对重复的index/columns组合进行聚合操作时，pivot_table是更通用的选择，它允许指定aggfunc参数。如果index和columns的组合是唯一的，pivot通常更简洁高效。

总结

通过巧妙地运用Pandas的pivot函数，我们可以将扁平化的DataFrame数据转换为高度结构化的嵌套字典。这种方法不仅代码简洁、效率高，而且能够清晰地表达数据间的层次关系，极大地方便了后续的数据查询和业务逻辑实现。理解并掌握pivot和to_dict的组合使用，是Pandas数据处理中一项非常实用的技能。

以上就是从Pandas DataFrame构建嵌套字典的实用指南的详细内容，更多请关注php中文网其它相关文章！