Pandas groupby多列聚合与自定义函数应用教程

本教程详细介绍了如何使用pandas对dataframe进行groupby操作，并同时对多个列应用聚合函数。文章以字符串拼接为例，展示了如何定义自定义聚合函数，并通过动态选择列的方式，高效地对大量列进行批量聚合，从而解决在数据分析中常见的复杂数据转换需求。

1. 引言：Pandas groupby与多列聚合的挑战

在数据分析中，我们经常需要根据一个或多个键对数据进行分组，并对每个组内的其他列执行聚合操作，例如求和、平均值、计数等。Pandas的groupby功能为此提供了强大而灵活的工具。然而，当需要对分组后的多个列应用相同的自定义聚合逻辑（例如将所有值拼接成一个字符串）时，如何高效地实现这一目标，尤其是在面对大量列时，是一个常见的挑战。本教程将通过一个具体的字符串拼接示例，详细讲解如何利用groupby结合agg方法，实现对多列的批量聚合。

2. 数据准备

首先，我们创建一个示例DataFrame，它包含一个分组列Group和需要聚合的数值列Value和Qty。

import pandas as pd

# 示例DataFrame
data = {
    'Group': ['A', 'A', 'B', 'B', 'A', 'B'],
    'Value': [1, 2, 3, 4, 5, 6],
    'Qty': [100, 202, 403, 754, 855, 1256]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

输出的原始DataFrame如下：

原始DataFrame:
  Group  Value   Qty
0     A      1   100
1     A      2   202
2     B      3   403
3     B      4   754
4     A      5   855
5     B      6  1256

3. 单列聚合的初步尝试与局限

在仅需聚合单列时，我们通常可以使用groupby后直接选择列，并应用apply方法结合lambda函数。例如，将Value列的数值拼接成字符串：

# 单列聚合示例
result_single_column = df.groupby('Group')['Value'].apply(lambda x: pd.Series([', '.join(map(str, x))])).reset_index()
print("\n单列聚合 (Value) 结果:")
print(result_single_column)

输出结果：

单列聚合 (Value) 结果:
  Group      Value
0     A    1, 2, 5
1     B    3, 4, 6

这种方法虽然有效，但其局限性在于，如果需要对Qty或其他更多列执行相同的操作，就需要重复编写类似的代码，这不仅繁琐，而且难以维护和扩展，尤其当数据集中有十几个甚至几十个需要聚合的列时。

4. 高效的多列聚合方案

为了解决上述问题，Pandas提供了agg方法，它允许我们通过一个字典来指定对多个列应用不同的聚合函数。结合自定义函数和动态列选择，可以实现高度灵活和可扩展的多列聚合。

4.1 定义自定义聚合函数

首先，我们定义一个通用的函数，用于将Series中的所有元素转换为字符串并用逗号拼接起来。

AppMall应用商店

AI应用商店，提供即时交付、按需付费的人工智能应用服务

56

查看详情

def concatenate_with_comma(series):
    """
    将Pandas Series中的所有元素转换为字符串，并用逗号和空格连接。
    """
    return ', '.join(map(str, series))

这个函数接收一个Pandas Series作为输入，对其每个元素调用str()进行类型转换，然后使用', '.join()方法将它们连接成一个单一的字符串。

4.2 使用agg方法进行多列聚合

groupby对象上的agg方法可以接受一个字典，其中键是需要聚合的列名，值是应用于该列的聚合函数。为了实现对除了分组列之外的所有列进行批量聚合，我们可以动态地构建这个字典。

# 动态构建聚合字典并执行多列聚合
# 遍历DataFrame的所有列，排除分组列 'Group'
aggregation_columns = {col: concatenate_with_comma for col in df.columns if col != 'Group'}

aggregated_data = df.groupby('Group').agg(aggregation_columns)
print("\n多列聚合结果:")
print(aggregated_data)

在这个代码片段中：

1. aggregation_columns = {col: concatenate_with_comma for col in df.columns if col != 'Group'}：我们使用字典推导式动态创建了一个字典。它遍历df的所有列名，如果列名不是'Group'（即分组列），则将其作为字典的键，并将我们定义的concatenate_with_comma函数作为其值。
2. df.groupby('Group').agg(aggregation_columns)：将这个动态生成的字典传递给agg方法。Pandas会根据Group列进行分组，然后对aggregation_columns字典中指定的每个列应用对应的函数。

5. 结果分析

执行上述代码后，aggregated_data将包含所有非分组列的聚合结果：

多列聚合结果:
         Value             Qty
Group                         
A      1, 2, 5   100, 202, 855
B      3, 4, 6  403, 754, 1256

可以看到，Value和Qty两列都已根据Group进行了分组，并且每个组内的数值都被成功地拼接成了逗号分隔的字符串，完美实现了多列的批量聚合。

6. 注意事项与进阶应用

• 函数灵活性：agg方法不仅可以接受自定义函数，也可以接受Pandas内置的字符串函数名（如'sum', 'mean', 'count', 'first', 'max', 'min'等）或NumPy函数。例如，如果你的目标是求和，可以直接写{col: 'sum' for col in ...}。
• 不同列应用不同函数：如果需要对不同列应用不同的聚合函数，可以在agg字典中为每个列指定不同的函数。例如：

  df.groupby('Group').agg(
      Value_sum=('Value', 'sum'),
      Qty_concat=('Qty', concatenate_with_comma)
  )

  登录后复制

  这里使用了命名聚合（Named Aggregation），它允许你为聚合后的新列指定名称。

• 性能考量：对于非常大的数据集，尽量使用Pandas或NumPy内置的聚合函数，因为它们通常经过C语言优化，性能远高于Python编写的自定义函数。如果自定义函数是性能瓶颈，可以考虑使用numba等工具进行JIT编译优化。
• 数据类型：在自定义函数中，要注意输入Series的数据类型。本例中map(str, series)确保了所有元素在拼接前都转换为字符串，避免了类型错误。

7. 总结

通过本教程，我们学习了如何利用Pandas的groupby和agg方法，结合自定义函数和动态列选择，高效地实现对DataFrame中多列的批量聚合操作。这种方法不仅解决了重复代码的问题，还大大提高了代码的可读性和可维护性，使得在处理复杂数据聚合需求时能够更加灵活和强大。掌握这一技巧，将使你在Pandas数据处理中游刃有余。

以上就是Pandas groupby多列聚合与自定义函数应用教程的详细内容，更多请关注php中文网其它相关文章！