Pandas数据分析：多列分组后统计特定列唯一值计数并转为宽表

1. 问题背景与挑战

在数据分析中，我们经常需要对数据集进行多维度聚合，以了解不同类别组合下特定属性的分布情况。一个常见的需求是：给定一个dataframe，我们希望根据两列或多列的唯一组合，统计另一列中每个唯一值的出现次数，并将这些计数作为新的列呈现在结果中。

例如，考虑一个包含player（球员）、team（队伍）和result（结果，如'hit'或'miss'）的DataFrame。我们可能希望看到每个球员在每个队伍中，分别有多少次'hit'和多少次'miss'。

原始数据示例：

import pandas as pd

df = pd.DataFrame({
    'player': ['A', 'A', 'B', 'B', 'C', 'D'],
    'team': ['tmX', 'tmX', 'tmX', 'tmX', 'tmY', 'tmY'],
    'result': ['hit', 'hit', 'hit', 'miss', 'miss', 'hit']
})
print("原始DataFrame:")
print(df)

输出：

原始DataFrame:
  player team result
0      A  tmX    hit
1      A  tmX    hit
2      B  tmX    hit
3      B  tmX   miss
4      C  tmY   miss
5      D  tmY    hit

期望的输出格式：

我们希望得到一个宽表，其中player和team作为识别列，而result列中的唯一值（'hit'和'miss'）则作为新的列，显示对应的计数：

  player team hit miss
0      A  tmX  2    0
1      B  tmX  1    1
2      C  tmY  0    1
3      D  tmY  1    0

传统的Pandas方法如pd.crosstab通常局限于两列的交叉分析，而简单的groupby(['player', 'team'])['result'].count()只会给出每个player-team组合的总结果数，无法按result的唯一值进行细分计数。

2. 解决方案：groupby、size与unstack的组合应用

为了实现上述需求，我们可以巧妙地结合使用Pandas的groupby、size和unstack方法。

核心代码：

# 解决方案代码
new_df = (
    df.groupby(['player', 'team', 'result'])
    .size()
    .unstack(level='result', fill_value=0)
    .reset_index()
)

print("\n期望的输出结果:")
print(new_df)

输出：

期望的输出结果:
result player team  hit  miss
0           A  tmX    2     0
1           B  tmX    1     1
2           C  tmY    0     1
3           D  tmY    1     0

这个结果与我们期望的输出高度一致，只是列的顺序可能略有不同（player和team在hit和miss之前）。如果需要调整列顺序，可以使用reindex或手动指定。

3. 代码解析

让我们逐步解析上述解决方案的每个部分：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

1. df.groupby(['player', 'team', 'result'])

   • 这是操作的第一步，用于对DataFrame进行分组。我们指定了三列作为分组键：'player'、'team'和'result'。
   • 这将创建一个多层索引的分组对象，每个组代表一个唯一的player-team-result组合。

2. .size()

   • 在分组之后，size()方法会计算每个分组中的行数。
   • 这将返回一个Series，其索引是多层索引（player、team、result），值是每个唯一组合的计数。
   • 例如，对于('A', 'tmX', 'hit')这个组合，其size()值为2。

   此时Series的结构大致如下：

   player  team  result
   A       tmX   hit       2
   B       tmX   hit       1
                 miss      1
   C       tmY   miss      1
   D       tmY   hit       1
   dtype: int64

   登录后复制

3. .unstack(level='result', fill_value=0)

   • unstack()方法是这里的关键。它将Series的某个层级索引转换为DataFrame的列。
   • level='result'：我们指定将多层索引中的'result'层级转换为新的列。这意味着'hit'和'miss'将成为新的列名。
   • fill_value=0：在unstack操作中，如果某个player-team组合没有某个result值（例如，玩家C在队伍Y中没有'hit'记录），则会在相应的单元格中产生NaN。fill_value=0会将这些NaN填充为0，确保数据完整性并符合计数逻辑。

   此时DataFrame的结构大致如下：

   result        hit  miss
   player team
   A      tmX    2.0   0.0
   B      tmX    1.0   1.0
   C      tmY    0.0   1.0
   D      tmY    1.0   0.0

   登录后复制

   （注意，hit和miss列的数据类型可能为浮点数，因为fill_value=0的存在，如果原始数据没有NaN，也可以保持整数。）

4. .reset_index()

   • 经过unstack操作后，player和team仍然是DataFrame的索引。reset_index()方法会将这些索引转换为普通的列，使DataFrame恢复扁平结构，更易于后续分析和可视化。

   最终得到我们期望的宽表结构。

4. 注意事项与最佳实践

• 选择正确的level： unstack()方法中的level参数至关重要。它可以是整数（从0开始）或索引名称。选择正确的level才能将你希望的唯一值转换为列。
• 处理缺失值： fill_value参数对于确保结果的完整性和正确性非常重要。如果某个分组组合中没有某个特定的唯一值，unstack会默认填充NaN。将其设置为0可以明确表示该项计数为零。
• 性能考量： 对于非常大的数据集，groupby和unstack的组合通常是高效的。然而，如果需要转换的唯一值数量非常庞大，生成的宽表可能会非常宽，这可能会影响内存和后续操作的性能。
• 与pivot_table的比较： pivot_table也能实现类似的功能，它在内部通常也会执行groupby和unstack。对于更复杂的聚合函数（如求和、平均值等），pivot_table可能更直观。但对于简单的计数，groupby().size().unstack()是一个非常直接且高效的模式。

5. 总结

通过结合groupby、size和unstack这三个强大的Pandas方法，我们可以灵活高效地解决多列分组后统计特定列唯一值计数并转换为宽表的需求。这种模式在数据探索、特征工程和报告生成中非常实用，能够帮助我们从多维度理解数据分布，从而做出更深入的分析。掌握这一技巧，将显著提升您在Pandas数据处理中的能力。

以上就是Pandas数据分析：多列分组后统计特定列唯一值计数并转为宽表的详细内容，更多请关注php中文网其它相关文章！