Pandas DataFrame对比与条件列赋值教程-Python教程-PHP中文网

Pandas DataFrame对比与条件列赋值教程

花韻仙語

发布： 2025-09-29 12:54:24

原创

595人浏览过

Pandas DataFrame对比与条件列赋值教程

本教程详细介绍了如何使用Pandas和NumPy高效地比较两个DataFrame，并根据第一个DataFrame中的行数据是否存在于第二个DataFrame中，为其新增一列并进行条件赋值。我们将深入探讨isin()、all(axis=1)和numpy.where()的组合应用，并探讨不同“数据存在”定义下的替代方案，以帮助读者根据实际需求选择最合适的比较策略。

引言：DataFrame 数据对比与条件赋值的场景

在数据分析和处理中，我们经常面临需要比较两个数据集的情况。一个常见的需求是：根据一个主dataframe（例如data1）中的行数据，判断其是否在另一个参考dataframe（例如data2）中存在。如果存在，则为主dataframe的对应行新增一个列并赋予特定值（如"open"）；如果不存在，则赋予另一个值（如"new"）。这种操作在数据清洗、状态标记或合并数据时非常有用。

本教程将以一个具体的示例，展示如何利用Pandas库的强大功能，结合NumPy进行高效且简洁的实现。

示例数据准备

假设我们有两个Pandas DataFrame，data1作为我们的主数据集，data2作为参考数据集。

import pandas as pd
import numpy as np

# 主数据集
data1 = pd.DataFrame(
    {'A': [1, 2, 3, 4, 5],
     'B': ['apple', 'banana', 'orange', 'apple', 'grape'],
     'C': [10, 20, 30, 40, 50]})

# 参考数据集
data2 = pd.DataFrame(
    {'A': [1, 2, 6],
     'B': ['apple', 'banana', 'kiwi'],
     'C': [10, 20, 60]})

print("DataFrame data1:")
print(data1)
print("\nDataFrame data2:")
print(data2)

登录后复制

期望结果：

我们的目标是在data1中添加一个名为new_col的新列。如果data1中的某一行，其所有元素都能在data2的任何位置找到，则new_col的值为"Open"；否则为"New"。根据上述数据，期望的data1结果如下：

   A       B   C new_col
0  1   apple  10    Open
1  2  banana  20    Open
2  3  orange  30     New
3  4   apple  40     New
4  5   grape  50     New

登录后复制

核心解决方案：使用 isin()、all() 和 numpy.where()

Pandas提供了isin()方法，NumPy提供了where()函数，两者结合可以优雅地解决这个问题。

1. 元素级存在性检查 (df.isin(other))

首先，我们使用data1.isin(data2)来检查data1中的每个元素是否在data2的任何位置出现。isin()方法会返回一个布尔型的DataFrame，其形状与data1相同。如果data1中的某个元素存在于data2中的任何列的任何行，则对应位置为True。

# 步骤一：元素级存在性检查
element_presence = data1.isin(data2)
print("\n中间结果：data1.isin(data2)")
print(element_presence)

登录后复制

输出：

标书对比王

标书对比王是一款标书查重工具，支持多份投标文件两两相互比对，重复内容高亮标记，可快速定位重复内容原文所在位置，并可导出比对报告。

查看详情

中间结果：data1.isin(data2)
       A      B      C
0   True   True   True
1   True   True   True
2  False  False  False
3  False   True  False
4  False  False  False

登录后复制

从结果可以看出，例如data1的第0行：A列的1在data2的A列中存在，B列的'apple'在data2的B列中存在，C列的10在data2的C列中存在，所以该行的所有元素都被标记为True。

2. 行内所有元素匹配检查 (.all(axis=1))

接下来，我们需要判断data1的每一行是否“完全”匹配，即该行的所有元素都存在于data2中。这可以通过对上一步生成的布尔型DataFrame使用.all(axis=1)来实现。axis=1表示在行方向上进行操作，.all()会检查一行中的所有值是否都为True。

# 步骤二：行内所有元素匹配检查
row_match_condition = element_presence.all(axis=1)
print("\n中间结果：data1.isin(data2).all(axis=1)")
print(row_match_condition)

登录后复制

输出：

中间结果：data1.isin(data2).all(axis=1)
0     True
1     True
2    False
3    False
4    False
dtype: bool

登录后复制

这个布尔Series就是我们进行条件赋值的依据。True表示data1的对应行满足条件（所有元素都在data2中存在），False则不满足。

3. 条件赋值 (numpy.where())

最后，我们使用numpy.where()函数根据上一步生成的布尔Series来为data1的新列赋值。np.where(condition, value_if_true, value_if_false)的语法非常直观。

# 步骤三：条件赋值
data1['new_col'] = np.where(row_match_condition, 'Open', 'New')

print("\n最终结果：更新后的data1")
print(data1)

登录后复制

输出：

最终结果：更新后的data1
   A       B   C new_col
0  1   apple  10    Open
1  2  banana  20    Open
2  3  orange  30     New
3  4   apple  40     New
4  5   grape  50     New

登录后复制

这与我们期望的结果完全一致。

完整代码示例

import pandas as pd
import numpy as np

data1 = pd.DataFrame(
    {'A': [1, 2, 3, 4, 5],
     'B': ['apple', 'banana', 'orange', 'apple', 'grape'],
     'C': [10, 20, 30, 40, 50]})

data2 = pd.DataFrame(
    {'A': [1, 2, 6],
     'B': ['apple', 'banana', 'kiwi'],
     'C': [10, 20, 60]})

# 核心解决方案
data1['new_col'] = np.where(data1.isin(data2).all(axis=1), 'Open', 'New')

print("最终更新的DataFrame data1:")
print(data1)

登录后复制

注意事项与进阶考量

虽然上述方法对于本例给出的“数据存在”定义非常有效，但在实际应用中，我们需要对isin()的行为有更深入的理解，并考虑其他可能的“数据存在”定义。

1. 理解 isin() 的行为

df1.isin(df2) 的核心在于，它检查 df1 中的每个元素是否存在于 df2 的 任何位置。这意味着，如果 data1 的一行是 [3, 'orange', 30]，而 data2 包含 {'A': [3], 'B': ['kiwi'], 'C': [60]}，那么 3 会被找到，但 'orange' 和 30 不会。只有当 data1 的一行中所有元素都能在 data2 中找到时，all(axis=1) 才会返回 True。

这种行为可能与某些用户直观理解的“行匹配”不同。例如，如果希望判断data1中的 一整行 是否在data2中 作为一整行 出现，那么上述方法可能不适用。

2. 严格的行匹配场景

如果你的需求是判断data1中的某一行（或由特定列组成的“键”）是否作为一个完整的行存在于data2中，可以考虑以下方法：

方法一：基于 merge 操作（推荐用于多列精确匹配）

merge操作是实现严格行匹配的强大工具。我们可以执行一个左连接（left merge），然后检查连接结果中是否存在来自右侧DataFrame的非空值。

# 示例：假设我们想检查 (A, B, C) 三列是否完全匹配
# 创建一个标识列，用于后续判断
data1_merged = data1.merge(data2.assign(exists_in_data2=True), 
                           on=['A', 'B', 'C'], 
                           how='left')

# 如果 'exists_in_data2' 为 True，则表示匹配成功
data1['new_col_strict'] = np.where(data1_merged['exists_in_data2'].notna(), 'Open', 'New')

print("\n严格行匹配（基于merge）后的data1:")
print(data1[['A', 'B', 'C', 'new_col_strict']])

登录后复制

注意： 对于本例数据，data1的第0行和第1行在data2中是完全匹配的。输出：

严格行匹配（基于merge）后的data1:
   A       B   C new_col_strict
0  1   apple  10           Open
1  2  banana  20           Open
2  3  orange  30            New
3  4   apple  40            New
4  5   grape  50            New

登录后复制

这种方法在匹配多列时非常高效且语义清晰。

方法二：将行转换为元组进行集合操作（适用于所有列的精确匹配）

如果需要比较所有列，可以将DataFrame的每一行转换为元组，然后利用Python的集合（set）操作进行比较。

# 将data1和data2的行转换为元组集合
data1_rows = set(tuple(row) for row in data1.values)
data2_rows = set(tuple(row) for row in data2.values)

# 判断data1的每一行是否在data2的行集合中
data1['new_col_tuple_match'] = ['Open' if tuple(row) in data2_rows else 'New' 
                                for index, row in data1.iterrows()]

print("\n严格行匹配（基于元组集合）后的data1:")
print(data1[['A', 'B', 'C', 'new_col_tuple_match']])

登录后复制

注意： 这种方法在数据量非常大时可能会有性能问题，因为它涉及到Python对象的创建和集合操作。

3. 性能考量

isin() 方法通常在Pandas中经过高度优化，对于大型数据集进行元素级检查时效率较高。
merge 操作对于严格的行匹配（尤其是基于索引或少量键列）通常是最高效的。
将行转换为元组进行集合操作，虽然直观，但对于非常大的DataFrame可能会因为创建大量Python对象而导致性能下降。

4. 缺失值（NaN）处理

isin() 在处理 NaN 值时需要特别注意。在Python和Pandas中，NaN == NaN 通常返回 False。这意味着，如果你的数据中包含 NaN，isin() 可能不会像你预期那样处理它们。例如，如果 data1 中有 NaN，而 data2 中也有 NaN，data1.isin(data2) 对应的 NaN 位置将是 False。在进行比较前，可能需要对 NaN 进行填充或特殊处理。

总结

本教程详细展示了如何利用pandas.DataFrame.isin()、pandas.Series.all(axis=1)和numpy.where()的组合，根据“主DataFrame中行的所有元素是否在参考DataFrame中任意位置存在”这一条件，为DataFrame新增列并进行条件赋值。这种方法简洁高效，适用于特定的数据比较场景。

同时，我们也强调了理解isin()行为的重要性，并提供了两种针对“严格行匹配”的替代方案：基于merge操作和基于行元组的集合操作。在实际工作中，根据你的具体需求（元素级匹配、特定列匹配还是整行匹配），选择最合适的比较策略至关重要。

以上就是Pandas DataFrame对比与条件列赋值教程的详细内容，更多请关注php中文网其它相关文章！