在数据分析和处理中，经常需要识别并处理数据集中行内存在的重复值。例如，在一个包含多个测量值的行中，我们可能需要找出哪些行包含了至少两个相同的测量结果，并进一步提取这些重复值或非重复值。
首先，我们创建一个示例DataFrame来模拟这种场景：
import numpy as np
import pandas as pd
df = pd.DataFrame([[1,1,2,4,5,6,7,7],
[2,5,6,7,22,23,34,48],
[3,3,5,6,7,45,46,48],
[4,6,7,14,29,32,6,29], # 行内有重复值 6 和 29
[5,6,7,13,23,33,35,7], # 行内有重复值 7
[6,1,6,7,8,9,10,8],
[7,0,2,5,7,19,7,5]], # 行内有重复值 7 和 5
columns = ['Row_Num', 'Num1','Num2','Num3','Num4','Num5','Num6','Num7'])
print("原始DataFrame:")
print(df)我们的目标是从Num1到Num7这些列中，找出那些包含多个相同值的行，并根据需求提取不同的结果。
要识别行内的重复值，Pandas提供了duplicated()方法。关键在于正确使用axis参数。
为了更方便地进行行级操作和结果的追踪，我们通常会将表示行号的列（例如Row_Num）设置为DataFrame的索引。
df_indexed = df.set_index('Row_Num')
print("\n设置Row_Num为索引后的DataFrame:")
print(df_indexed)df.duplicated(axis=1)方法用于检测行内（axis=1）的重复值。然而，直接应用于DataFrame会返回整个DataFrame的布尔值。更灵活的方法是使用df.transform()结合lambda函数，对每一行应用pd.Series.duplicated()。
# 对每一行应用duplicated()方法，生成一个布尔DataFrame，指示每个元素是否为行内重复值
df_duplicated_mask = df_indexed.transform(lambda x: x.duplicated(), axis=1)
print("\n行内重复值布尔掩码 (df_duplicated_mask):")
print(df_duplicated_mask)在这个布尔掩码中，True表示该位置的值在其所在行中是重复出现的（即不是第一次出现）。
现在我们有了指示哪些值是重复的布尔掩码，下一步是识别哪些行整体上包含“多个相同值”。根据问题描述，这意味着一行中至少有一个值出现了两次或更多次。我们可以通过计算每行df_duplicated_mask中True的数量来判断。如果某行True的数量大于等于1（即sum(axis=1) >= 1），就说明该行包含重复值。原始问题中提到“more than 1 of the same values”，即至少有两个相同的值，这意味着至少有一个值被标记为重复。因此，我们筛选df_duplicated_mask.sum(axis=1) >= 1的行。
# 筛选出至少包含一个重复值的行
# 注意：df.duplicated()默认标记除第一次出现外的所有重复项。
# 因此，如果一行中有一个值重复，那么至少会有一个True。
rows_with_duplicates_condition = df_duplicated_mask.sum(axis=1) >= 1
print("\n筛选出包含重复值的行（布尔序列）:")
print(rows_with_duplicates_condition)
# 应用条件筛选原始DataFrame和布尔掩码
target_df = df_indexed[rows_with_duplicates_condition]
target_duplicated_mask = df_duplicated_mask[rows_with_duplicates_condition]
print("\n筛选后的目标DataFrame (target_df):")
print(target_df)
print("\n筛选后的重复值布尔掩码 (target_duplicated_mask):")
print(target_duplicated_mask)第一种提取需求是获取这些目标行中，那些非重复出现的值，或者说是首次出现的值。这可以通过将目标DataFrame与布尔掩码的反向进行逻辑与操作来实现。
# 使用 ~target_duplicated_mask 筛选出非重复值或首次出现的值
# .dropna(axis=1) 用于移除筛选后可能产生的全NaN列
result1 = target_df[~target_duplicated_mask].dropna(axis=1)
print("\n结果一：非重复值或首次出现值 (result1):")
print(result1)结果分析: 对于Row_Num为4的行，原始数据是 [6,7,14,29,32,6,29]。重复值是6和29。~target_duplicated_mask会保留6、7、14、29、32（即第一次出现的6和29，以及其他非重复值）。 对于Row_Num为7的行，原始数据是 [0,2,5,7,19,7,5]。重复值是7和5。~target_duplicated_mask会保留0、2、5、7、19。
这个结果与问题中df2的示例输出基本一致，它返回了每行中所有非重复值以及重复值第一次出现的位置。
第二种需求是仅提取这些目标行中重复出现的值。这可以通过将目标DataFrame与布尔掩码本身进行逻辑与操作来实现。
# 使用 target_duplicated_mask 筛选出重复值
# .dropna(axis=1) 用于移除筛选后可能产生的全NaN列
result2 = target_df[target_duplicated_mask].dropna(axis=1)
print("\n结果二：仅重复值 (result2):")
print(result2)结果分析: 对于Row_Num为4的行，原始数据是 [6,7,14,29,32,6,29]。重复值是6和29。target_duplicated_mask会标记第二次出现的6和29。 对于Row_Num为7的行，原始数据是 [0,2,5,7,19,7,5]。重复值是7和5。target_duplicated_mask会标记第二次出现的7和5。
这个结果与问题中df3的示例输出完全一致，它成功提取了每行中被标记为重复的值。
如果需要将Row_Num从索引恢复为普通列，并调整列名以匹配特定的输出格式，可以使用reset_index()和列重命名操作。
# 示例：对result2进行重置索引和列重命名
final_result2 = result2.reset_index()
# 根据实际提取的重复值数量，手动调整列名
# 例如，如果知道最多只有两列重复值，可以这样命名
final_result2.columns = ['Row_Num', 'Num_Dup1', 'Num_Dup2']
print("\n调整格式后的结果二:")
print(final_result2)# 示例：标记所有重复项
df_duplicated_all_mask = df_indexed.transform(lambda x: x.duplicated(keep=False), axis=1)
print("\n标记所有重复项的布尔掩码:")
print(df_duplicated_all_mask)根据具体需求选择keep参数的值。在本教程的场景中，默认的keep='first'足以识别“有重复值”的行并提取后续重复项。
如果原始数据中包含NaN值，duplicated()方法默认会将它们视为不相等的值（即NaN == NaN为False），因此NaN不会被标记为重复。如果需要将NaN视为重复值，可能需要在执行duplicated()之前对NaN进行填充（例如，使用一个特殊值），或者进行其他预处理。
对于非常大的DataFrame，transform结合lambda可能会有性能开销。在极端情况下，可以考虑使用更底层的NumPy操作或针对特定场景优化的库来提高效率。然而，对于大多数常见的数据集，Pandas的内置方法通常足够高效。
本教程详细介绍了如何在Pandas DataFrame中高效地识别并提取行内重复值。通过以下核心步骤，我们可以灵活地处理这类数据清洗和特征工程任务：
掌握这些技术，将大大提升您在处理复杂数据结构时的数据操作能力，为后续的数据分析和建模奠定坚实基础。
以上就是Pandas DataFrame行内重复值的高效识别与提取教程的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
372
收藏
