Pandas数据框：高效生成分组序列ID的教程

本教程详细介绍了如何在pandas数据框中，为每个分组（如城市）生成一个包含递增序列号的复合id。通过结合字符串切片和`groupby().cumcount().add(1)`方法，可以有效地实现分组内计数重置的需求，从而创建出结构化且易于识别的唯一标识符，避免了传统索引的局限性。

在数据处理和分析中，为数据集中的记录生成唯一标识符（ID）是一项常见任务。这些ID通常需要结合多个字段的信息，并且可能包含一个递增的序列号。然而，当需要在不同类别（分组）中重新开始序列计数时，传统的索引或全局计数方法就显得力不从心。本教程将深入探讨如何在Pandas数据框中优雅地解决这一问题，实现分组内序列ID的生成。

挑战：分组内序列号的重置

假设我们有一个包含城市（City）和姓名（Name）的数据框，目标是生成一个复合ID，格式为城市前三位-姓名前三位-序列号。关键在于，当城市发生变化时，序列号需要从1重新开始计数。

考虑以下初始数据框示例：

     City       Name
0   Paris       John
1   Paris       Paul
2   Paris     Pierre
3   Paris      Paula
4    Rome   Riccardo
5    Rome  Jean-Paul
6    Rome      Franc

如果采用简单的全局索引拼接方式，例如 df.City.str[:3] + '-' + df.Name.str[:3] +'-' + df.index.astype(str)，结果会是：

     City       Name         Id
0   Paris       John  Par-Joh-0
1   Paris       Paul  Par-Pau-1
2   Paris     Pierre  Par-Pie-2
3   Paris      Paula  Par-Pau-3
4    Rome   Riccardo  Rom-Ric-4
5    Rome  Jean-Paul  Rom-Jea-5
6    Rome      Franc  Rom-Fra-6

可以看到，当城市从 "Paris" 变为 "Rome" 时，序列号并没有从1重新开始，而是继续递增。这不符合我们的需求。

我们期望的输出结果应为：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

     City       Name         Id
0   Paris       John  Par-Joh-1
1   Paris       Paul  Par-Pau-2
2   Paris     Pierre  Par-Pie-3
3   Paris      Paula  Par-Pau-4
4    Rome   Riccardo  Rom-Ric-1
5    Rome  Jean-Paul  Rom-Jea-2
6    Rome      Franc  Rom-Fra-3

解决方案：利用 GroupBy.cumcount()

Pandas提供了一个强大的工具 GroupBy.cumcount()，它能够在每个分组内部生成一个从0开始的累积计数。结合 add(1) 和 astype(str)，我们就能完美地实现分组内序列号的生成。

核心思路如下：

1. 按指定列分组： 使用 df.groupby('City') 将数据框按 City 列进行分组。
2. 生成累积计数： 对每个分组应用 cumcount() 方法，这将为每个分组内的行生成一个从0开始的序列号。
3. 调整计数起点： 由于 cumcount() 从0开始，为了得到从1开始的序列号，我们需要使用 add(1)。
4. 转换为字符串： 将得到的整数序列号转换为字符串类型，以便与其他的字符串部分进行拼接。
5. 拼接字符串： 将城市和姓名的前三位字符串与处理后的序列号拼接起来，形成最终的复合ID。

下面是实现此功能的完整代码：

import pandas as pd

# 示例数据框
data = {
    'City': ['Paris', 'Paris', 'Paris', 'Paris', 'Rome', 'Rome', 'Rome'],
    'Name': ['John', 'Paul', 'Pierre', 'Paula', 'Riccardo', 'Jean-Paul', 'Franc']
}
df = pd.DataFrame(data)

# 生成分组内重置的序列ID
df['Id'] = (df.City.str[:3] + '-' + df.Name.str[:3] + '-' +
            df.groupby('City').cumcount().add(1).astype(str))

print(df)

运行上述代码，将得到期望的输出：

     City       Name         Id
0   Paris       John  Par-Joh-1
1   Paris       Paul  Par-Pau-2
2   Paris     Pierre  Par-Pie-3
3   Paris      Paula  Par-Pau-4
4    Rome   Riccardo  Rom-Ric-1
5    Rome  Jean-Paul  Rom-Jea-2
6    Rome      Franc  Rom-Fra-3

代码解析

• df.City.str[:3]：这部分代码提取 City 列中每个城市名称的前三个字符。
• df.Name.str[:3]：类似地，这部分提取 Name 列中每个姓名的前三个字符。
• df.groupby('City')：这是一个关键步骤，它将数据框按照 City 列中的唯一值进行逻辑上的分组。后续的操作将针对这些独立的分组进行。
• .cumcount()：在每个分组内部，cumcount() 方法会为该分组内的每一行生成一个从0开始递增的整数序列。例如，对于 "Paris" 组，它会生成 0, 1, 2, 3；对于 "Rome" 组，它会生成 0, 1, 2。
• .add(1)：因为我们通常希望序列号从1开始而不是0，所以我们对 cumcount() 的结果加上1。
• .astype(str)：将数值型的序列号转换为字符串类型，这是为了能够使用 + 运算符将其与其他字符串部分进行连接。
• 整个表达式通过 + 运算符将三个字符串部分（城市前三位、姓名前三位、序列号）连接起来，中间用连字符 - 分隔，最终赋值给新的 Id 列。

注意事项与最佳实践

1. 分组依据： groupby() 方法的参数可以是单个列名，也可以是列名列表。如果需要根据多个列的组合来定义分组并重置计数，例如 df.groupby(['City', 'Country'])。
2. 序列号起始值： cumcount() 默认从0开始。如果需要从其他值开始，可以根据需要调整 add() 的参数。
3. 性能考虑： 对于非常大的数据集，groupby() 操作可能会消耗一定的内存和计算资源。但在大多数常见场景下，Pandas的优化足以高效处理。
4. 唯一性保证： 这种方法生成的ID在每个分组内是唯一的，但跨分组不保证完全唯一（例如，"Par-Joh-1" 可能在不同城市出现，但通常结合城市前缀已经足够区分）。如果需要全局唯一ID，可能需要结合其他策略，如UUID或更复杂的哈希。
5. 数据类型： 确保用于字符串切片和分组的列是正确的字符串类型。如果它们是其他类型，可能需要先进行类型转换。

总结

通过巧妙地结合Pandas的 groupby() 和 cumcount() 方法，我们可以高效且灵活地为数据框中的每个分组生成带有重置序列号的复合ID。这种方法不仅解决了传统计数方式的局限性，还使得生成的ID更具结构化和可读性，极大地提升了数据处理的效率和准确性。掌握这一技巧，将使你在处理复杂数据标识任务时游刃有余。

以上就是Pandas数据框：高效生成分组序列ID的教程的详细内容，更多请关注php中文网其它相关文章！