优化Pandas Groupby操作：提升大数据处理效率的策略-Python教程-PHP中文网

优化Pandas Groupby操作：提升大数据处理效率的策略

DDD

发布： 2025-11-23 12:16:32

原创

159人浏览过

优化Pandas Groupby操作：提升大数据处理效率的策略

本文深入探讨了pandas `groupby().agg()`操作在处理大数据集时可能出现的性能瓶颈，并提供了一种高效的优化策略。通过采用“懒惰分组”的方式，即先执行一次`groupby`操作，然后对每个聚合列独立调用聚合函数，可以显著提升计算速度。文章通过具体的代码示例和性能对比，展示了这种方法如何将执行时间从数十毫秒降低到数毫秒，从而实现更高效的数据处理。

理解Pandas Groupby与聚合操作

Pandas groupby是数据分析中一个极其强大的工具，它允许我们根据一个或多个键对数据进行分组，并对每个组应用聚合函数（如求和、均值、最大值等）。agg()方法是groupby对象的一个常用函数，它能同时对多个列应用不同的聚合操作，甚至可以包含自定义函数。

然而，当数据集规模增大时，groupby().agg()的性能可能会成为瓶颈，尤其是在agg()内部传入多个聚合函数或自定义函数时。这是因为agg()在内部可能会对每个组和每个聚合函数重复进行迭代或计算，导致效率下降。

初始问题与性能瓶颈

考虑以下使用groupby().agg()的典型场景。我们有一个包含delta_t、specimen、measuremnt和lag列的DataFrame，目标是按specimen和delta_t分组，然后计算measuremnt的均值、75分位数（自定义函数）和最大值，以及lag的均值。

首先，我们生成一个示例DataFrame：

import pandas as pd
import numpy as np

# 示例数据生成
data = {
    'delta_t': np.random.randint(0, 301, 100),
    'specimen': np.random.choice(['X', 'Y', 'Z'], 100),
    'measuremnt': np.random.rand(100),
    'lag': np.random.rand(100)
}
df = pd.DataFrame(data)

# 定义75分位数函数
def q75(x):
    return x.quantile(0.75)

登录后复制

接下来是原始的groupby().agg()代码：

# 应用原始的groupby().agg()代码
df_result_original = df.groupby(['specimen', 'delta_t']).agg({
    'measuremnt': ['mean', q75, 'max'],
    'lag': 'mean'
}).reset_index()

登录后复制

对这段代码进行性能测试，可以发现其执行时间随着数据量的增加而显著增长。例如，在包含100行数据的示例中，其执行时间可能在数十毫秒级别：

%%timeit -n 10
df_result_original = df.groupby(['specimen', 'delta_t']).agg({
    'measuremnt': ['mean', q75, 'max'],
    'lag': 'mean'
}).reset_index()
# 示例输出：43.2 ms ± 1.85 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

登录后复制

优化策略：懒惰分组与独立聚合

为了解决groupby().agg()的性能问题，我们可以采用一种“懒惰分组”的策略。其核心思想是：

执行一次groupby操作：将DataFrame按指定键分组，得到一个DataFrameGroupBy对象。这个操作本身通常是高效的。
对每个需要聚合的列独立调用聚合函数：直接从DataFrameGroupBy对象中选择列，并对该列应用相应的聚合函数。Pandas的内部优化机制通常能更好地处理这种单列聚合。
将结果合并到新的DataFrame中：使用这些独立聚合的结果构建一个新的DataFrame。

这种方法避免了agg()可能存在的内部迭代开销，尤其是在涉及多个聚合函数和自定义函数时，能够大幅提升性能。

绘蛙-多图成片

绘蛙新推出的AI图生视频工具

133

查看详情

优化后的实现

下面是采用懒惰分组策略的优化代码：

# 执行一次groupby操作
groups = df.groupby(['specimen', 'delta_t'])

# 对每个列独立调用聚合函数，并构建新的DataFrame
df_result_optimized = pd.DataFrame({
    'measurement_mean': groups['measuremnt'].mean(),
    'measurement_q75': groups['measuremnt'].quantile(.75),
    'measurement_max': groups['measuremnt'].max(),
    'lag_mean': groups['lag'].mean()
}).reset_index()

登录后复制

请注意，这里我们将自定义的q75函数替换为直接调用groups['measuremnt'].quantile(.75)。Pandas内置的quantile方法通常比通过agg()传递自定义函数更高效。

对优化后的代码进行性能测试，可以看到显著的提升：

%%timeit -n 10
groups = df.groupby(['specimen', 'delta_t'])
df_result_optimized = pd.DataFrame({
    'measurement_mean': groups['measuremnt'].mean(),
    'measurement_q75': groups['measuremnt'].quantile(.75),
    'measurement_max': groups['measuremnt'].max(),
    'lag_mean': groups['lag'].mean()
}).reset_index()
# 示例输出：1.95 ms ± 337 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

登录后复制

从性能测试结果可以看出，优化后的方法将执行时间从数十毫秒降低到不足2毫秒，性能提升了20倍以上。

处理多级列索引（MultiIndex）

原始的groupby().agg()方法在聚合多个列时，默认会生成一个多级列索引（MultiIndex）。如果希望优化后的方法也能生成类似的多级列索引，可以在构建新DataFrame时，使用元组作为字典的键：

df_result_multiindex = pd.DataFrame({
    ('measurement','mean'): groups['measuremnt'].mean(),
    ('measurement','q75'): groups['measuremnt'].quantile(.75),
    ('measurement','max'): groups['measuremnt'].max(),
    ('lag','mean'): groups['lag'].mean()
}).reset_index()

# 示例输出的列名会是 ('measurement', 'mean'), ('measurement', 'q75') 等
# 如果需要扁平化列名，可以在之后使用 df_result_multiindex.columns = ['specimen', 'delta_t', 'measurement_mean', ...] 或其他方法

登录后复制

通过这种方式，可以灵活控制输出DataFrame的列结构。

注意事项与总结

何时使用此优化？ 当groupby().agg()操作在处理大数据集时成为性能瓶颈，尤其是在agg()中使用了多个聚合函数、自定义函数或混合使用时，这种懒惰分组的策略会非常有效。
内置函数优先：尽可能使用Pandas内置的聚合函数（如mean(), max(), quantile()等），它们通常比自定义函数通过agg()传递更高效。
可读性与维护性：虽然优化后的代码可能比一行agg()稍微长一些，但其结构清晰，每个聚合操作都明确对应一个列，有时反而能提高代码的可读性和维护性。
数据规模：对于小型数据集，groupby().agg()的性能差异可能不明显，此时优先考虑代码的简洁性。但对于大型数据集，性能优化是关键。

通过采用懒惰分组和独立聚合的策略，我们可以显著提升Pandas groupby操作的效率，从而更有效地处理大规模数据，加速数据分析流程。

以上就是优化Pandas Groupby操作：提升大数据处理效率的策略的详细内容，更多请关注php中文网其它相关文章！