Pandas教程：高效生成分组序列ID

本教程详细介绍了如何在pandas dataframe中为每个分组生成一个独立的、递增的序列id。通过结合使用`groupby()`和`cumcount()`方法，您可以轻松实现基于特定列值重置计数的功能，从而创建出结构化的、易于管理的分组标识符。

引言：理解分组序列ID的需求

在数据处理和分析中，我们经常需要为数据记录生成唯一的标识符。有时，这些标识符需要在一个特定的类别或组内重新开始计数。例如，在一个包含多个城市的数据集中，我们可能希望为每个城市的记录分配一个从1开始的序列号，而不是整个数据集的全局序列号。这种需求被称为生成“分组序列ID”。

考虑以下场景：我们有一个包含城市（City）和姓名（Name）的DataFrame，目标是生成一个格式为“城市缩写-姓名缩写-序列号”的ID。关键在于，当城市名称变化时，序列号应该从1重新开始计数。

原始数据示例：

期望的输出ID示例：

常见误区：直接使用全局索引

一种直观但错误的方法是直接使用DataFrame的全局索引作为序列号的一部分。例如，尝试通过以下方式构建ID：

import pandas as pd

data = {
    'City': ['Paris', 'Paris', 'Paris', 'Paris', 'Rome', 'Rome', 'Rome'],
    'Name': ['John', 'Paul', 'Pierre', 'Paula', 'Riccardo', 'Jean-Paul', 'Franc']
}
df = pd.DataFrame(data)

# 错误尝试：使用全局索引
df['Id_Incorrect'] = df.City.str[:3] + '-' + df.Name.str[:3] +'-' + df.index.astype(str)

print("错误尝试的输出：")
print(df)

错误尝试的输出：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

  City       Name Id_Incorrect
0  Paris       John    Par-Joh-0
1  Paris       Paul    Par-Pau-1
2  Paris     Pierre    Par-Pie-2
3  Paris      Paula    Par-Pau-3
4   Rome   Riccardo    Rom-Ric-4
5   Rome  Jean-Paul    Rom-Jea-5
6   Rome      Franc    Rom-Fra-6

如上所示，Id_Incorrect列中的序列号（0到6）是基于DataFrame的全局索引生成的，它不会在City列的值发生变化时重置。这不符合我们为每个城市独立计数的预期。

解决方案：利用 groupby().cumcount()

Pandas提供了groupby()方法来对数据进行分组操作，结合cumcount()方法可以在每个分组内部生成一个累积计数。这正是解决分组序列ID问题的关键。

核心原理

• df.groupby('ColumnName'): 此操作将DataFrame根据指定列（例如'City'）的值进行分组。它创建了一个DataFrameGroupBy对象，后续的操作将独立应用于每个分组。
• .cumcount(): 这是DataFrameGroupBy对象的一个方法，它为每个分组内的行生成一个从0开始的累积计数。例如，对于第一个分组，它将生成0, 1, 2, ...；对于第二个分组，它也将从0, 1, 2, ...开始计数，从而实现了分组内的序列重置。
• .add(1): cumcount()默认从0开始计数。如果希望序列号从1开始，则需要对其结果加1。
• .astype(str): 最终生成的序列号是整数类型。为了将其与字符串（城市缩写、姓名缩写）拼接，需要将其转换为字符串类型。

代码实现

下面是实现分组序列ID的正确代码：

import pandas as pd

# 示例数据
data = {
    'City': ['Paris', 'Paris', 'Paris', 'Paris', 'Rome', 'Rome', 'Rome'],
    'Name': ['John', 'Paul', 'Pierre', 'Paula', 'Riccardo', 'Jean-Paul', 'Franc']
}
df = pd.DataFrame(data)

# 正确的方法：使用 groupby().cumcount()
df['Id'] = (df.City.str[:3] + '-' + df.Name.str[:3] +'-' +
            df.groupby('City').cumcount().add(1).astype(str))

print("正确方法的输出：")
print(df)

输出结果演示：

    City       Name         Id
0  Paris       John  Par-Joh-1
1  Paris       Paul  Par-Pau-2
2  Paris     Pierre  Par-Pie-3
3  Paris      Paula  Par-Pau-4
4   Rome   Riccardo  Rom-Ric-1
5   Rome  Jean-Paul  Rom-Jea-2
6   Rome      Franc  Rom-Fra-3

从输出可以看出，当City从'Paris'变为'Rome'时，Id中的序列号成功地从1重新开始计数，完全符合我们的预期。

注意事项与最佳实践

1. 数据类型转换的重要性： 在将数字与字符串拼接时，务必使用.astype(str)将数字转换为字符串。否则，Pandas会因为类型不匹配而报错。
2. 分组列的选择： groupby()方法的参数决定了数据如何分组。您可以根据实际需求选择一个或多个列进行分组（例如，df.groupby(['City', 'Country'])）。
3. 序列起始值： cumcount()默认从0开始。如果需要从其他值开始，可以根据需要使用.add()方法进行调整。
4. 性能考量： groupby()操作在Pandas中经过高度优化，对于大多数数据集都能提供良好的性能。然而，对于极大的数据集，仍需注意内存使用和计算效率。
5. ID的唯一性： groupby().cumcount()确保了每个组内的序列号是唯一的。如果需要全局唯一的ID，可能需要结合其他方法，例如使用UUID或将分组信息与累积计数组合成一个更复杂的全局唯一标识符。
6. 字符串切片： df.City.str[:3]和df.Name.str[:3]用于获取城市和姓名的前三个字符作为ID前缀。您可以根据实际需求调整这些切片逻辑。

总结

利用Pandas的groupby().cumcount()方法是生成分组序列ID的强大而简洁的解决方案。它避免了手动循环或复杂逻辑的需要，提供了一种高效、可读性强的方式来处理这类常见的数据处理任务。掌握这一技巧将极大地提升您在数据分析和报告中的效率。

以上就是Pandas教程：高效生成分组序列ID的详细内容，更多请关注php中文网其它相关文章！