使用Pandas和NumPy高效计算首个唯一值分组汇总-Python教程-PHP中文网

使用Pandas和NumPy高效计算首个唯一值分组汇总

花韻仙語

发布： 2025-11-03 12:43:01

原创

464人浏览过

使用pandas和numpy高效计算首个唯一值分组汇总

本教程详细讲解如何利用Pandas和NumPy在数据集中创建一个新的“累计销售额”列。该列仅在每个唯一客户ID的首次出现时显示其总销售额，而在该客户ID的后续出现时则显示为零。文章将通过实际代码示例，深入解析`numpy.where`、`Series.duplicated`和`GroupBy.transform`的组合应用，提供一种高效且地道的解决方案。

在数据分析中，我们经常需要根据特定条件对数据进行汇总或标记。一个常见的场景是，我们希望在一个分组数据集中，仅在每个分组的第一个实例处显示该分组的总计值，而其余实例则显示为零。例如，在一个客户销售记录中，我们可能需要一个“累计销售额”列，它只在客户首次出现时显示该客户的总销售额，而在该客户的后续交易记录中则显示为零。

场景描述与数据示例

假设我们有一个包含客户ID、日期和单次销售额的数据集，我们希望创建一个名为Cumulative Sales的新列，其逻辑如下：

对于每个唯一的ClientID，仅在其首次出现的那一行计算并显示该客户所有Total sales的总和。
对于同一个ClientID的后续出现，Cumulative Sales列的值应为0。

以下是我们的初始数据集示例：

import pandas as pd
import numpy as np

data = {
    'ClientID': ['A', 'A', 'A', 'B', 'B', 'C', 'C', 'C', 'D', 'D'],
    'Date': ['01-01-2000', '01-02-2000', '01-03-2000', '01-01-2000', '01-02-2000',
             '01-01-2000', '01-02-2000', '01-03-2000', '01-01-2000', '01-02-2000'],
    'Total sales': [100, 100, 100, 50, 50, 70, 70, 70, 20, 20]
}
df = pd.DataFrame(data)
print("原始数据框:")
print(df)

登录后复制

原始数据框输出如下：

原始数据框:
  ClientID        Date  Total sales
0        A  01-01-2000          100
1        A  01-02-2000          100
2        A  01-03-2000          100
3        B  01-01-2000           50
4        B  01-02-2000           50
5        C  01-01-2000           70
6        C  01-02-2000           70
7        C  01-03-2000           70
8        D  01-01-2000           20
9        D  01-02-2000           20

登录后复制

我们的目标是生成一个Cumulative Sales列，使其看起来像这样：

  ClientID        Date  Total sales  Cumulative Sales
0        A  01-01-2000          100               300
1        A  01-02-2000          100                 0
2        A  01-03-2000          100                 0
3        B  01-01-2000           50               100
4        B  01-02-2000           50                 0
5        C  01-01-2000           70               210
6        C  01-02-2000           70                 0
7        C  01-03-2000           70                 0
8        D  01-01-2000           20                40
9        D  01-02-2000           20                 0

登录后复制

解决方案：结合Pandas duplicated 和 groupby().transform 与 NumPy where

为了实现上述逻辑，我们可以利用Pandas的Series.duplicated()方法来识别重复值，结合DataFrameGroupBy.transform()来计算分组总和，并最终使用NumPy的numpy.where()函数进行条件赋值。

1. 识别重复的客户ID

df['ClientID'].duplicated()方法会返回一个布尔型Series，其中True表示该元素是其在Series中首次出现后的重复项，False则表示该元素是首次出现。

print(df['ClientID'].duplicated())
# 输出:
# 0    False
# 1     True
# 2     True
# 3    False
# 4     True
# 5    False
# 6     True
# 7     True
# 8    False
# 9     True
# Name: ClientID, dtype: bool

登录后复制

这个布尔Series正是我们需要的掩码：False对应的是每个ClientID的首次出现，True对应的是后续出现。

2. 计算每个客户的总销售额并广播

df.groupby('ClientID')['Total sales'].transform('sum')会执行以下操作：

算家云

高效、便捷的人工智能算力服务平台

查看详情

df.groupby('ClientID'): 按ClientID列进行分组。
['Total sales']: 选取Total sales列进行操作。
.transform('sum'): 对每个分组内的Total sales求和，并将结果“广播”回原始DataFrame的形状。这意味着，对于属于同一个ClientID的所有行，它们在transform操作后的结果列中将拥有相同的总和值。

print(df.groupby('ClientID')['Total sales'].transform('sum'))
# 输出:
# 0    300
# 1    300
# 2    300
# 3    100
# 4    100
# 5    210
# 6    210
# 7    210
# 8     40
# 9     40
# Name: Total sales, dtype: int64

登录后复制

这个Series包含了每个客户的总销售额，并将其正确地对齐到原始DataFrame的索引。

3. 条件赋值：使用 numpy.where

numpy.where(condition, x, y)函数根据条件选择值：

如果condition为True，则选择x。
如果condition为False，则选择y。

结合我们之前得到的两个结果：

condition: df['ClientID'].duplicated() (当客户ID是重复时为True，首次出现时为False)
x (当条件为True时选择的值): 0 (因为我们希望重复的客户ID显示0)
y (当条件为False时选择的值): df.groupby('ClientID')['Total sales'].transform('sum') (因为我们希望首次出现的客户ID显示其总销售额)

因此，完整的解决方案代码如下：

df['Cumulative Sales'] = np.where(df['ClientID'].duplicated(),
                                  0,
                                  df.groupby('ClientID')['Total sales'].transform('sum'))

print("\n处理后的数据框:")
print(df)

登录后复制

输出结果：

处理后的数据框:
  ClientID        Date  Total sales  Cumulative Sales
0        A  01-01-2000          100               300
1        A  01-02-2000          100                 0
2        A  01-03-2000          100                 0
3        B  01-01-2000           50               100
4        B  01-02-2000           50                 0
5        C  01-01-2000           70               210
6        C  01-02-2000           70                 0
7        C  01-03-2000           70                 0
8        D  01-01-2000           20                40
9        D  01-02-2000           20                 0

登录后复制

这完美地实现了我们的目标。

总结与注意事项

这种方法利用了Pandas和NumPy的矢量化操作，效率非常高，尤其适用于大型数据集。

Series.duplicated(): 默认情况下，它会将第一次出现的值标记为False，其余重复值标记为True。如果需要将最后一次出现的值标记为False，可以使用keep='last'参数。
GroupBy.transform(): 这是一个非常强大的方法，它允许你在分组后执行聚合操作，并将结果返回到与原始DataFrame相同索引和形状的Series或DataFrame中，这使得它非常适合与assign或直接赋值结合使用。
numpy.where(): 提供了一种简洁高效的条件赋值方式，避免了使用循环，显著提升了性能。

通过掌握这种组合技巧，你可以在处理复杂的数据转换任务时，以更简洁、更高效的方式实现目标。

以上就是使用Pandas和NumPy高效计算首个唯一值分组汇总的详细内容，更多请关注php中文网其它相关文章！