Pandas数据处理：高效生成分组内唯一ID的策略

在数据处理和分析中，我们经常面临需要为数据集中的记录生成唯一标识符的场景。特别是在处理具有分组结构的数据时，可能需要在每个分组内部为特定的列值创建递增的序列号，并将其与原始分组标识符组合，形成一个新的复合id。例如，在一个包含“id”和“name”列的dataframe中，我们希望为每个“id”分组内的不同“name”生成一个唯一的后缀，从而构建形如“原始id_序号”的新id。

传统的DataFrame.groupby().ngroup()方法可以为每个分组生成一个唯一的组号，但这并非我们所需的“原始ID_序号”格式。而GroupBy.cumcount()虽然能生成组内累积计数，但它会为每个实例递增，无法实现对相同“Name”在同一组内保持相同序号的需求，且对于大型数据集，直接迭代或低效操作可能导致性能瓶颈。本教程将介绍一种结合pd.factorize()和GroupBy.transform()的专业且高效的解决方案。

核心概念：factorize与transform

要高效地实现这一目标，我们需要理解并利用Pandas的两个强大功能：pd.factorize()和GroupBy.transform()。

1. pd.factorize()函数pd.factorize(values)是一个非常实用的函数，它能够将一个Series或数组中的类别值编码为数值型因子。它返回一个元组：

   • 第一个元素是一个整数数组，表示每个原始值对应的因子编码。
   • 第二个元素是一个Index对象，包含所有唯一的原始值。 例如，pd.factorize(['A', 'B', 'A', 'C'])会返回(array([0, 1, 0, 2]), Index(['A', 'B', 'C'], dtype='object'))。利用这个特性，我们可以为每个组内的唯一“Name”分配一个唯一的整数。

2. GroupBy.transform()方法GroupBy.transform(func)方法用于对分组数据应用一个函数，并将结果广播回原始DataFrame的索引。与agg()或apply()不同，transform()要求func返回一个与输入分组具有相同长度的Series或DataFrame，从而确保结果能够直接与原始DataFrame对齐，而不会改变其形状。这使得它非常适合在分组内进行计算并将结果作为新列添加回原始DataFrame。

解决方案步骤详解

我们将通过以下步骤，结合上述概念来生成所需的复合ID：

步骤1：准备示例数据

首先，我们创建一个示例DataFrame来演示操作。

import pandas as pd

data = {
    'Name': ['A', 'B', 'A', 'C', 'B', 'D', 'E', 'F'],
    'ID': [1, 2, 1, 3, 3, 3, 1, 2]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

输出：

原始DataFrame:
  Name  ID
0    A   1
1    B   2
2    A   1
3    C   3
4    B   3
5    D   3
6    E   1
7    F   2

步骤2：定义因子化函数

我们需要一个函数，它能接收一个Series（即每个分组的'Name'列），并返回其因子化后的整数编码。为了让编码从1开始而不是0，我们会在factorize的结果上加1。

WeShop唯象

WeShop唯象是国内首款AI商拍工具，专注电商产品图片的智能生成。

113

查看详情

# 定义一个lambda函数，用于对Series进行因子化并使编码从1开始
f = lambda x: pd.factorize(x)[0] + 1

步骤3：分组应用并转换

接下来，我们将DataFrame按'ID'列进行分组，然后对每个组的'Name'列应用我们定义的因子化函数f。transform()方法会确保结果正确地对齐回原始DataFrame。最后，将结果转换为字符串类型，以便后续拼接。

# 按'ID'分组，对每个组的'Name'列应用因子化函数，并将结果转换回Series
# transform确保结果的索引与原始DataFrame对齐
s = df.groupby('ID')['Name'].transform(f).astype(str)
print("\n生成的组内唯一后缀Series:")
print(s)

输出：

生成的组内唯一后缀Series:
0    1
1    1
2    1
3    1
4    2
5    3
6    2
7    2
Name: Name, dtype: object

解释：

• 对于ID=1的分组，'Name'列是 ['A', 'A', 'E']。factorize会将其编码为 [0, 0, 1]，加1后变为 [1, 1, 2]。
• 对于ID=2的分组，'Name'列是 ['B', 'F']。factorize会将其编码为 [0, 1]，加1后变为 [1, 2]。
• 对于ID=3的分组，'Name'列是 ['C', 'B', 'D']。factorize会将其编码为 [0, 1, 2]，加1后变为 [1, 2, 3]。

步骤4：拼接生成新ID

最后一步是将原始的'ID'列（转换为字符串）与步骤3中生成的后缀Series进行字符串拼接，以创建新的'ID_new'列。

# 将原始ID列转换为字符串，并与后缀Series拼接
df['ID_new'] = df['ID'].astype(str).str.cat(s, sep='_')
print("\n最终DataFrame，包含新的ID_new列:")
print(df)

输出：

最终DataFrame，包含新的ID_new列:
  Name  ID ID_new
0    A   1    1_1
1    B   2    2_1
2    A   1    1_1
3    C   3    3_1
4    B   3    3_2
5    D   3    3_3
6    E   1    1_2
7    F   2    2_2

可以看到，ID_new列已成功生成，每个原始ID组内的不同Name都获得了唯一的顺序后缀。例如，ID为1的组中，'A'对应'1_1'，而'E'对应'1_2'。

完整代码示例

import pandas as pd

# 1. 准备示例数据
data = {
    'Name': ['A', 'B', 'A', 'C', 'B', 'D', 'E', 'F'],
    'ID': [1, 2, 1, 3, 3, 3, 1, 2]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

# 2. 定义因子化函数，将类别值编码为从1开始的整数
f = lambda x: pd.factorize(x)[0] + 1

# 3. 按'ID'分组，对'Name'列应用因子化函数，并将结果转换回Series
# transform确保结果的索引与原始DataFrame对齐
s = df.groupby('ID')['Name'].transform(f).astype(str)

# 4. 将原始ID列转换为字符串，并与后缀Series拼接，生成新的'ID_new'列
df['ID_new'] = df['ID'].astype(str).str.cat(s, sep='_')

print("\

以上就是Pandas数据处理：高效生成分组内唯一ID的策略的详细内容，更多请关注php中文网其它相关文章！