Pandas DataFrame行级比较：基于行存在性条件赋值新列

在数据分析和处理中，经常会遇到需要比较两个数据集（通常是pandas dataframe）并根据比较结果更新其中一个数据集的场景。一个典型的需求是，判断dataframe a中的每一行是否存在于dataframe b中，然后根据判断结果在dataframe a中新增一个列，并赋予相应的值。例如，如果某行在dataframe b中存在，则标记为“open”，否则标记为“new”。

场景描述与需求

假设我们有两个DataFrame，data1和data2，它们包含相似的结构和数据：

import pandas as pd
import numpy as np

data1 = pd.DataFrame(
    {'A': [1, 2, 3, 4, 5],
     'B': ['apple', 'banana', 'orange', 'apple', 'grape'],
     'C': [10, 20, 30, 40, 50]})

data2 = pd.DataFrame(
    {'A': [1, 2, 6],
     'B': ['apple', 'banana', 'kiwi'],
     'C': [10, 20, 60]})

print("DataFrame 1:")
print(data1)
print("\nDataFrame 2:")
print(data2)

我们的目标是检查data1中的每一行是否与data2中的某一行完全匹配。如果匹配，则在data1中新增的new_col列中标记为“Open”；否则，标记为“New”。

期望的输出结果如下：

   A       B   C new_col
0  1   apple  10    Open
1  2  banana  20    Open
2  3  orange  30     New
3  4   apple  40     New
4  5   grape  50     New

核心解决方案：isin()与numpy.where()

要实现上述需求，我们可以利用Pandas DataFrame的isin()方法结合all(axis=1)以及NumPy的where()函数。

AutoGLM沉思

智谱AI推出的具备深度研究和自主执行能力的AI智能体

129

查看详情

1. DataFrame.isin(other): 这个方法用于检查DataFrame中的每个元素是否包含在other（可以是Series、DataFrame、字典或列表）中。当other是一个DataFrame时，isin()会进行列对列的比较。它会返回一个布尔类型的DataFrame，其中每个元素指示对应位置的值是否在other DataFrame的相应列中存在。

2. all(axis=1): isin()返回的布尔DataFrame，其行数和列数与原始DataFrame相同。为了判断一行是否完全匹配data2中的某一行，我们需要确保该行中的所有元素都在data2的对应列中存在。all(axis=1)方法可以对布尔DataFrame的每一行进行逻辑“与”操作，如果一行中的所有布尔值为True，则结果为True，否则为False。这正是我们进行行级匹配所需要的。

3. numpy.where(condition, x, y): numpy.where()是一个非常强大的条件选择函数。它接受三个参数：

   • condition: 一个布尔数组或可转换为布尔数组的表达式。
   • x: 当condition为True时选择的值。
   • y: 当condition为False时选择的值。 通过将isin(...).all(axis=1)的结果作为condition，我们可以根据行匹配的结果有条件地赋值。

完整代码示例

将上述概念结合起来，我们可以得到以下解决方案：

import pandas as pd
import numpy as np

# 示例数据
data1 = pd.DataFrame(
    {'A': [1, 2, 3, 4, 5],
     'B': ['apple', 'banana', 'orange', 'apple', 'grape'],
     'C': [10, 20, 30, 40, 50]})

data2 = pd.DataFrame(
    {'A': [1, 2, 6],
     'B': ['apple', 'banana', 'kiwi'],
     'C': [10, 20, 60]})

# 使用 isin() 检查 data1 的每个元素是否在 data2 的对应列中
# 然后使用 all(axis=1) 判断 data1 的每一行是否所有元素都在 data2 中
# 最后使用 np.where() 根据条件设置新列的值
data1['new_col'] = np.where(data1.isin(data2).all(axis=1), 'Open', 'New')

print("更新后的 DataFrame 1:")
print(data1)

代码解析：

1. data1.isin(data2): 这一步会生成一个与data1形状相同的布尔DataFrame。例如，data1.loc[0, 'A']的值1在data2['A']中存在，所以对应的布尔值为True。data1.loc[2, 'B']的值'orange'在data2['B']中不存在，所以对应的布尔值为False。
2. .all(axis=1): 对上一步生成的布尔DataFrame进行行级操作。只有当一行中所有列的布尔值都为True时，该行的结果才为True。这意味着data1中的该行在data2中找到了完全匹配的对应行。
3. np.where(...): 接收.all(axis=1)的结果作为条件。如果条件为True（即行匹配），则将new_col设置为'Open'；如果条件为False（即行不匹配），则设置为'New'。

注意事项

• 列名与顺序: isin(other_df)在比较时会匹配列名。只有当data1和data2拥有相同的列名时，这种方法才能正确工作。如果列名不同，或者列的顺序很重要，但data2的列顺序与data1不同，可能需要先对data2进行列重排或选择子集。
• 性能: 对于非常大的DataFrame，isin()操作可能会消耗较多内存和计算资源。在极端情况下，可以考虑使用merge()或join()操作来达到类似的效果，尤其是在需要更复杂匹配逻辑时。例如，pd.merge(data1, data2, how='left', indicator=True)可以生成一个指示列，表明data1的行是否在data2中。
• 精确匹配: isin()方法进行的是精确匹配。这意味着data1中的一行必须与data2中的某一行在所有指定列上都完全相同才会被认为是匹配。

总结

通过巧妙地结合使用Pandas的isin()方法和NumPy的where()函数，我们可以高效且灵活地实现DataFrame之间的行级比较，并根据比较结果有条件地更新或新增列。这种方法在数据清洗、特征工程和报告生成等多种场景下都非常实用，能够帮助用户快速识别并标记数据中的特定模式或关系。理解其背后的原理和注意事项，将有助于更有效地利用Pandas进行数据处理。

以上就是Pandas DataFrame行级比较：基于行存在性条件赋值新列的详细内容，更多请关注php中文网其它相关文章！