Pandas DataFrame智能合并：兼顾共同键更新与非共同键新增

引言：Pandas DataFrame智能合并的需求

在数据处理中，我们经常需要合并两个或多个dataframe。传统的合并操作（如内连接、左连接、右连接、全外连接）能够满足大多数场景。然而，有时需求更为复杂：我们不仅希望根据共同键合并数据，将第二个dataframe中的新列添加到第一个dataframe的匹配行中，同时，对于那些在任一dataframe中存在但没有共同键匹配的行，也需要作为新行被完整地保留下来。这种操作类似于全外连接，但更强调对现有行进行“更新”或“扩展”，而非简单地连接。

本文将通过一个具体示例，介绍两种Pandas中实现这种智能合并的有效方法：DataFrame.join 和 DataFrame.combine_first。

数据准备与预期结果

假设我们有两个DataFrame，df_A 和 df_B：

DataFrame A (df_A)

import pandas as pd
import numpy as np

data_a = {'host': ['aa', 'bb', 'cc'],
          'val1': [11, 22, 33],
          'val2': [44, 55, 66]}
df_A = pd.DataFrame(data_a)
print("DataFrame A:")
print(df_A)

输出:

DataFrame A:
  host  val1  val2
0   aa    11    44
1   bb    22    55
2   cc    33    66

DataFrame B (df_B)

data_b = {'host': ['aa', 'bb', 'dd'],
          'val1': [11, 22, 0],
          'val3': [77, 88, 99]}
df_B = pd.DataFrame(data_b)
print("\nDataFrame B:")
print(df_B)

输出:

DataFrame B:
  host  val1  val3
0   aa    11    77
1   bb    22    88
2   dd     0    99

我们的目标是合并 df_A 和 df_B，得到以下预期结果：

预期合并结果 (df_Expected)

• host 为 'aa' 和 'bb' 的行是共同键，它们在 df_A 中有 val2，在 df_B 中有 val3。合并后，它们应同时拥有 val2 和 val3。
• host 为 'cc' 的行只存在于 df_A，合并后应保留，val3 列填充 NaN。
• host 为 'dd' 的行只存在于 df_B，合并后应作为新行添加，val2 列填充 NaN。

  host  val1  val2  val3
0   aa    11  44.0  77.0
1   bb    22  55.0  88.0
2   cc    33  66.0   NaN
3   dd     0   NaN  99.0

方法一：利用 DataFrame.join 实现智能合并

DataFrame.join 方法是 Pandas 中一个强大的合并工具，它主要用于基于索引的合并。通过将共同键设置为索引，并结合 how='outer' 参数，我们可以实现上述复杂的合并需求。

核心思路：

1. 将两个DataFrame的共同键（host 和 val1）设置为它们的索引。
2. 使用 df_A.join(df_B, how='outer') 进行全外连接，确保所有索引（即所有共同键组合）都被保留。
3. 将索引重置为普通列，以便后续处理。

示例代码：

一键抠图

在线一键抠图换背景

30

查看详情

# 定义共同键列
common_keys = ['host', 'val1']

# 将共同键设置为索引，然后进行外连接
# how='outer' 确保所有在df_A或df_B中存在的索引都被保留
merged_df_join = df_A.set_index(common_keys).join(df_B.set_index(common_keys), how='outer')

# 将索引重置为普通列
merged_df_join = merged_df_join.reset_index()

print("\n合并结果 (使用 DataFrame.join):")
print(merged_df_join)

代码解析：

• df_A.set_index(common_keys) 和 df_B.set_index(common_keys)：这一步至关重要。它将 host 和 val1 这两列提升为DataFrame的索引。join 方法默认基于索引进行合并，因此这为我们提供了基于多个列进行合并的基础。
• .join(df_B.set_index(common_keys), how='outer')：执行连接操作。how='outer' 指定了全外连接，这意味着如果某个索引组合只存在于 df_A 或 df_B 中，它仍会被包含在结果DataFrame中，并且在另一侧缺失的列将用 NaN 填充。如果一个索引组合在两个DataFrame中都存在，它们的非索引列会被合并。
• .reset_index()：将之前提升为索引的 host 和 val1 列重新变回普通的数据列，恢复到我们期望的表格结构。

方法二：利用 DataFrame.combine_first 实现智能合并

DataFrame.combine_first 方法用于将两个DataFrame的数据进行组合，它的核心逻辑是：尝试用参数DataFrame中的值填充调用者DataFrame中的 NaN 值。如果调用者DataFrame中对应位置已有非 NaN 值，则保持不变。这使得它在处理数据补充和整合方面非常灵活。

核心思路：

1. 同样，将两个DataFrame的共同键设置为它们的索引。
2. 使用 df_A.combine_first(df_B)。由于 combine_first 会在 df_A 存在 NaN 的地方填充 df_B 的值，而对于 df_A 中没有的列（如 val3），df_B 会有效地将其添加进来。
3. 将索引重置为普通列。

示例代码：

# 定义共同键列
common_keys = ['host', 'val1']

# 将共同键设置为索引，然后使用 combine_first
# combine_first 会用 df_B 中的值填充 df_A 中对应的 NaN 值
# 并且会添加 df_B 中独有的列
merged_df_combine = df_A.set_index(common_keys).combine_first(df_B.set_index(common_keys))

# 将索引重置为普通列
merged_df_combine = merged_df_combine.reset_index()

print("\n合并结果 (使用 DataFrame.combine_first):")
print(merged_df_combine)

代码解析：

• df_A.set_index(common_keys) 和 df_B.set_index(common_keys)：与 join 方法类似，首先将共同键设置为索引，以便 combine_first 能够基于这些键进行对齐。
• .combine_first(df_B.set_index(common_keys))：这是关键步骤。
  • 对于在 df_A 和 df_B 中都存在的索引行，combine_first 会优先保留 df_A 中的非 NaN 值。对于 df_A 中是 NaN 的位置，它会尝试用 df_B 中对应的值填充。
  • 对于只存在于 df_A 的索引行，它们会完全保留。
  • 对于只存在于 df_B 的索引行，df_B 中的数据会被添加到结果中，而 df_A 中没有的列（如 val2）将用 NaN 填充。
  • 由于 df_A 中没有 val3 列，combine_first 会自动将 df_B 中的 val3 列添加到结果中，并用 NaN 填充 df_A 中没有对应 val3 值的行。
• .reset_index()：同样用于将索引恢复为普通列。

两种方法的比较与选择

从上述示例可以看到，DataFrame.join(..., how='outer') 和 DataFrame.combine_first 在本特定场景下都能够达到相同的预期结果。它们各有侧重：

• DataFrame.join(..., how='outer'):

  • 更侧重于结构性的合并。how='outer' 明确指示要保留所有在任一DataFrame中存在的索引，并用 NaN 填充缺失值。
  • 它在概念上更接近 SQL 的全外连接，适用于需要基于索引进行广义连接的场景。
  • 当合并后存在同名非索引列时，join 默认会通过后缀（如 _x, _y）来区分它们，这在某些情况下可能需要额外处理。但在本例中，val2 和 val3 是不同名列，所以没有冲突。

• DataFrame.combine_first:

  • 更侧重于数据内容的填充与整合。它的核心是“优先保留调用者DataFrame中的非 NaN 值，然后用参数DataFrame的值来填充 NaN”。
  • 它非常适合于一个DataFrame作为另一个DataFrame的“补充”或“更新源”的场景，尤其是当数据存在重叠且需要智能填充缺失值时。
  • 在处理列名冲突时，combine_first 会尝试合并同名列，保留第一个DataFrame的非NaN值。如果列名在其中一个DataFrame中独有，则直接添加。

在本教程的示例中，由于 val2 和 val3 是不同列，且我们期望的效果是“添加新列”和“新增行”，两种方法都非常适用。选择哪种取决于个人偏好以及更深层次的语义需求。通常，如果你的意图是进行“连接”操作，join 或 merge 更直观；如果你的意图是“用另一个DataFrame的数据填充或扩展当前DataFrame”，combine_first 可能更贴切。

总结

Pandas 提供了灵活多样的DataFrame合并功能。对于需要兼顾共同键更新（通过新增列）和非共同键新增行的复杂合并需求，DataFrame.join 结合 how='outer' 参数，以及 DataFrame.combine_first 都是非常有效的解决方案。关键在于正确地使用 set_index() 将共同键提升为索引，以便 Pandas 能够基于这些键进行精确的对齐和合并操作。理解这两种方法的内在机制和适用场景，将有助于你在数据处理中做出更明智的选择。

以上就是Pandas DataFrame智能合并：兼顾共同键更新与非共同键新增的详细内容，更多请关注php中文网其它相关文章！