Pandas DataFrame中识别并提取行内重复值及非重复值

import numpy as np
import pandas as pd

df = pd.DataFrame([[1,1,2,4,5,6,7,7],
            [2,5,6,7,22,23,34,48],
            [3,3,5,6,7,45,46,48],
            [4,6,7,14,29,32,6,29], # 重复值 6 和 29
            [5,6,7,13,23,33,35,7], # 重复值 7
            [6,1,6,7,8,9,10,8],
            [7,0,2,5,7,19,7,5]], # 重复值 7 和 5
            columns = ['Row_Num', 'Num1','Num2','Num3','Num4','Num5','Num6','Num7'])

print("原始DataFrame:")
print(df)

# 将 'Row_Num' 设置为索引，便于后续操作和结果展示
df_indexed = df.set_index('Row_Num')

# 仅考虑 'Num1' 到 'Num7' 列进行重复值检测
data_cols = [f'Num{i}' for i in range(1, 8)]
df_target = df_indexed[data_cols]

# 使用 transform 和 lambda 函数检测每行中的重复值
# duplicated() 标记第二次及以后出现的重复值为 True
df_duplicated_mask = df_target.transform(lambda x: x.duplicated(), axis=1)

print("\n每行中重复值检测结果 (布尔掩码):")
print(df_duplicated_mask)

# 筛选出至少包含两个重复值的行（即 duplicated 掩码中至少有两个 True）
# 例如，如果一个值重复两次，duplicated 会标记一次 True。如果两个不同的值各重复一次，duplicated 会标记两次 True。
rows_with_multiple_duplicates = df_duplicated_mask.sum(axis=1) >= 2
filtered_df_for_processing = df_indexed[rows_with_multiple_duplicates]
filtered_duplicated_mask = df_duplicated_mask[rows_with_multiple_duplicates]

print("\n筛选出的包含至少两个重复值的行 (原始数据):")
print(filtered_df_for_processing)
print("\n对应行的重复值掩码:")
print(filtered_duplicated_mask)

# 提取非重复值
# 使用 ~ (取反) 运算符选择非重复值
result_non_duplicates = filtered_df_for_processing[~filtered_duplicated_mask].dropna(axis=1, how='all')

print("\n第一种结果：提取非重复值 (对应问题中的 df2 格式):")
print(result_non_duplicates)

# 提取重复值
result_duplicates = filtered_df_for_processing[filtered_duplicated_mask].dropna(axis=1, how='all')

print("\n第二种结果：提取重复值 (对应问题中的 df3 格式):")
print(result_duplicates)

# 匹配 df2 格式
final_df2 = result_non_duplicates.reset_index()
# 根据原始问题示例，Num1-Num5是动态的，这里我们保留当前列名或按需重命名
print("\n最终结果 df2 (重置索引):")
print(final_df2)

# 匹配 df3 格式
final_df3 = result_duplicates.reset_index()
# 根据原始问题示例，Num1-Num2是动态的，这里我们保留当前列名或按需重命名
# 如果需要严格匹配，可以手动指定列名，例如：final_df3.columns = ['Row_Num', 'Num1', 'Num2']
print("\n最终结果 df3 (重置索引):")
print(final_df3)