使用Pandas筛选DataFrame中除首个实例外的所有重复行

在数据处理和分析中，我们经常需要处理数据集中的重复项。有时，我们的目标是完全删除所有重复项，有时是保留唯一的记录，而另一些情况下，我们可能需要识别并隔离那些重复出现的记录，同时排除掉它们首次出现的实例。例如，在一个客户交易记录表中，我们可能只对客户的后续购买行为感兴趣，而不是他们的首次购买。pandas库提供了强大的工具来高效地完成这类任务。

理解问题：保留后续重复项

假设我们有一个包含客户ID、支付日期和支付金额的DataFrame。我们的目标是筛选出所有client_id列中重复出现的行，但要排除每个client_id首次出现的那一行。

考虑以下示例DataFrame：

我们期望得到的输出是：

解决方案：使用 DataFrame.duplicated() 方法

Pandas提供了一个非常便捷的方法duplicated()，它能够返回一个布尔型Series，指示DataFrame中的每一行是否为重复行。duplicated()方法有一个关键参数keep，它决定了如何处理重复项：

• keep='first' (默认值): 将所有重复项的第一个出现标记为False，其余标记为True。
• keep='last': 将所有重复项的最后一个出现标记为False，其余标记为True。
• keep=False: 将所有重复项（包括第一个和最后一个）都标记为True，只有唯一的行才标记为False。

对于我们当前的需求，即保留除第一个以外的所有重复项，keep='first'（默认行为）正是我们所需要的。

示例代码与步骤

首先，我们创建上述示例DataFrame：

import pandas as pd

# 创建示例DataFrame
data = {
    'client_id': ['067858', '168226', '141424', '141424', '151525', '168226', '067858', '151525'],
    'payment_date': ['2021-05-30', '2021-05-30', '2021-05-31', '2021-06-01', '2021-06-01', '2021-06-02', '2021-06-05', '2021-06-07'],
    'value': [140.00, 150.00, 100.00, 150.00, 150.00, 115.00, 143.00, 82.00]
}
df = pd.DataFrame(data)
df['payment_date'] = pd.to_datetime(df['payment_date']) # 将日期列转换为datetime类型
print("原始DataFrame:")
print(df)
print("-" * 30)

输出：

DeepBrain

AI视频生成工具，ChatGPT +生成式视频AI =你可以制作伟大的视频!

108

查看详情

原始DataFrame:
  client_id payment_date  value
0    067858   2021-05-30  140.0
1    168226   2021-05-30  150.0
2    141424   2021-05-31  100.0
3    141424   2021-06-01  150.0
4    151525   2021-06-01  150.0
5    168226   2021-06-02  115.0
6    067858   2021-06-05  143.0
7    151525   2021-06-07   82.0
------------------------------

接下来，我们对client_id列应用duplicated()方法：

# 应用duplicated()方法，默认keep='first'
# 它会为每个client_id的第一个出现标记为False，后续重复出现标记为True
is_duplicated = df['client_id'].duplicated()
print("duplicated()方法返回的布尔Series:")
print(is_duplicated)
print("-" * 30)

输出：

duplicated()方法返回的布尔Series:
0    False
1    False
2    False
3     True
4    False
5     True
6     True
7     True
Name: client_id, dtype: bool
------------------------------

从上述输出可以看出：

• client_id为'067858'：第一次出现在索引0，标记为False；第二次出现在索引6，标记为True。
• client_id为'168226'：第一次出现在索引1，标记为False；第二次出现在索引5，标记为True。
• client_id为'141424'：第一次出现在索引2，标记为False；第二次出现在索引3，标记为True。
• client_id为'151525'：第一次出现在索引4，标记为False；第二次出现在索引7，标记为True。

最后，我们使用这个布尔Series进行布尔索引，从而筛选出我们需要的行：

# 使用布尔索引筛选DataFrame
result_df = df[is_duplicated]
print("筛选后的DataFrame (保留除首次出现外的所有重复项):")
print(result_df)

输出：

筛选后的DataFrame (保留除首次出现外的所有重复项):
  client_id payment_date  value
3    141424   2021-06-01  150.0
5    168226   2021-06-02  115.0
6    067858   2021-06-05  143.0
7    151525   2021-06-07   82.0

这正是我们期望的输出结果。

扩展应用与注意事项

1. 基于多列的重复判断： 如果需要基于多列的组合来判断重复，可以将一个列名列表传递给duplicated()方法的subset参数。例如，如果想找出client_id和payment_date都重复的行（排除首次出现）：

   df.duplicated(subset=['client_id', 'payment_date'])

   登录后复制

2. 保留首次出现或唯一行：

   • 要保留所有不重复的行（即每个client_id的首次出现以及所有唯一的client_id），可以使用 df.drop_duplicates(subset=['client_id'], keep='first') 或 df[~df['client_id'].duplicated(keep='first')]。
   • 如果需要保留所有重复项的最后一个实例，则使用 df[df['client_id'].duplicated(keep='last')]。
   • 如果只希望保留那些在指定列中完全唯一的行（即不包含任何重复的行），可以使用 df[~df['client_id'].duplicated(keep=False)]。

3. 性能考虑： 对于大型数据集，Pandas的duplicated()方法通常非常高效，因为它在C语言级别实现。

总结

pandas.DataFrame.duplicated()方法是处理DataFrame中重复数据的一个强大且灵活的工具。通过巧妙地利用其默认行为（keep='first'）并结合布尔索引，我们可以轻松地筛选出特定列中除首次出现之外的所有重复记录。理解并掌握keep参数的不同选项，将使您在数据清洗和预处理工作中更加得心应手，能够精确地提取或排除所需的数据子集。

以上就是使用Pandas筛选DataFrame中除首个实例外的所有重复行的详细内容，更多请关注php中文网其它相关文章！