Pandas DataFrames 高级合并技巧：处理共同键更新与新增行

在数据分析与处理中，我们经常需要将多个数据源合并。pandas库提供了强大的合并（merge）和连接（join）功能，但面对一些复杂场景，例如既要根据共同键更新现有数据行（添加新列），又要将不共享键的独立数据行添加为新行时，常规的 merge 或 concat 可能无法直接满足需求。本教程将介绍两种高级方法，精确实现这种“全外连接加数据填充”的合并逻辑。

场景描述与示例数据

假设我们有两个DataFrame，dfa 和 dfb。它们都包含 host 和 val1 作为共同的标识符。dfa 额外包含 val2，而 dfb 额外包含 val3。我们的目标是：

1. 对于 host 和 val1 都相同的行，将 dfb 中的 val3 添加到 dfa 的对应行中。
2. 对于 dfa 中独有的行（例如 host='cc'），保留其数据，并在 val3 列填充 NaN。
3. 对于 dfb 中独有的行（例如 host='dd'），将其作为新行添加，并在 val2 列填充 NaN。

最终期望的DataFrame应包含所有唯一的 host 和 val1 组合，并整合 val2 和 val3 列。

首先，我们创建示例DataFrame：

import pandas as pd
import numpy as np

# DataFrame A
data_a = {'host': ['aa', 'bb', 'cc'],
          'val1': [11, 22, 33],
          'val2': [44, 55, 66]}
dfa = pd.DataFrame(data_a)

# DataFrame B
data_b = {'host': ['aa', 'bb', 'dd'],
          'val1': [11, 22, 0],
          'val3': [77, 88, 99]}
dfb = pd.DataFrame(data_b)

print("DataFrame A:")
print(dfa)
print("\nDataFrame B:")
print(dfb)

输出：

行者AI

行者AI绘图创作，唤醒新的灵感，创造更多可能

100

查看详情

DataFrame A:
  host  val1  val2
0   aa    11    44
1   bb    22    55
2   cc    33    66

DataFrame B:
  host  val1  val3
0   aa    11    77
1   bb    22    88
2   dd     0    99

我们期望的合并结果是：

  host  val1  val2  val3
0   aa    11  44.0  77.0
1   bb    22  55.0  88.0
2   cc    33  66.0   NaN
3   dd     0   NaN  99.0

方法一：使用 DataFrame.join 实现外连接合并

DataFrame.join() 方法主要用于基于索引连接两个DataFrame。当需要基于列进行连接时，我们可以先使用 set_index() 将这些列设置为索引，然后执行 join 操作。通过指定 how='outer'，我们可以确保结果DataFrame包含所有来自两个原始DataFrame的索引（即共同键）。

核心步骤：

1. 将 dfa 和 dfb 的共同键 (host, val1) 设置为它们的索引。
2. 对其中一个DataFrame调用 join() 方法，并传入另一个DataFrame以及 how='outer' 参数。
3. 使用 reset_index() 将之前设置为索引的列重新变回普通列。

# 方法一：使用 DataFrame.join 实现外连接合并
# 定义共同键
cols_to_join = ['host', 'val1']

# 将共同键设置为索引，执行外连接，然后重置索引
df_joined = dfa.set_index(cols_to_join).join(dfb.set_index(cols_to_join), how='outer').reset_index()

print("\n方法一合并结果 (使用 .join):")
print(df_joined)

输出：

方法一合并结果 (使用 .join):
  host  val1  val2  val3
0   aa    11  44.0  77.0
1   bb    22  55.0  88.0
2   cc    33  66.0   NaN
3   dd     0   NaN  99.0

这种方法清晰地实现了基于多列的全外连接，并自动处理了新列的添加和缺失值的填充。

方法二：利用 DataFrame.combine_first 填充合并

DataFrame.combine_first() 方法是一个非常强大的工具，它用于将一个DataFrame中的 NaN 值替换为另一个DataFrame中对应位置的非 NaN 值。它本质上执行了一个基于索引的外连接，然后根据优先级填充数据。调用 dfa.combine_first(dfb) 意味着 dfa 中的非 NaN 值将被保留，而 dfa 中的 NaN 值将尝试用 dfb 中对应位置的值来填充。

核心步骤：

1. 同样，将 dfa 和 dfb 的共同键 (host, val1) 设置为它们的索引。
2. 对其中一个DataFrame调用 combine_first() 方法，并传入另一个DataFrame。
3. 使用 reset_index() 将索引重置为普通列。

# 方法二：利用 DataFrame.combine_first 填充合并
# 定义共同键
cols_to_combine = ['host', 'val1']

# 将共同键设置为索引，执行 combine_first，然后重置索引
# combine_first 会优先保留调用者 (dfa) 的非NaN值，然后用参数 (dfb) 的值填充NaN
df_combined_first = dfa.set_index(cols_to_combine).combine_first(dfb.set_index(cols_to_combine)).reset_index()

print("\n方法二合并结果 (使用 .combine_first):")
print(df_combined_first)

输出：

方法二合并结果 (使用 .combine_first):
  host  val1  val2  val3
0   aa    11  44.0  77.0
1   bb    22  55.0  88.0
2   cc    33  66.0   NaN
3   dd     0   NaN  99.0

combine_first 方法也成功实现了预期的合并效果。它在处理具有重叠索引且需要优先保留某些数据源的非空值时尤其有用。

注意事项与选择建议

• 多索引的重要性：两种方法都依赖于将共同键设置为DataFrame的索引。这是因为 join 和 combine_first 默认都是基于索引进行操作的。如果您的合并键不止一列，set_index() 会创建一个多级索引。
• 数据类型转换：当引入 NaN 值时，Pandas会自动将整型（int）列转换为浮点型（float），因为 NaN 在Pandas中是浮点类型。例如，val2 列从 int64 变为 float64。
• join(how='outer') vs. combine_first() 的选择：
  • join(how='outer')：更接近传统数据库中的全外连接概念。它明确地将两个DataFrame的所有索引合并，并填充缺失的列。如果您的主要目标是获取所有键的并集，并在此基础上扩展列，join 通常更直观。
  • combine_first()：在索引匹配的基础上，提供了一种“优先填充”的策略。dfa.combine_first(dfb) 会优先保留 dfa 的值，然后用 dfb 的值填充 dfa 中的 NaN。它在处理数据“打补丁”或合并两个可能存在重叠但优先级不同的数据集时非常有效。在本例中，由于 val2 和 val3 是不重叠的列，两者的效果是相同的。如果 dfa 和 dfb 有同名但值不同的列，combine_first 会保留 dfa 的值，而 join 可能会通过后缀处理列名冲突。

总结

本教程详细介绍了在Pandas中处理复杂DataFrame合并场景的两种高效方法：DataFrame.join(how='outer') 和 DataFrame.combine_first()。通过将共同键设置为索引，这两种方法都能优雅地实现共同键数据行的更新与扩展，同时保留并添加不共享键的独立行。理解它们的原理和适用场景，将有助于您在数据处理工作中更加灵活和高效地整合数据。在实际应用中，根据具体的数据结构和合并需求，选择最适合的方法，可以大大简化代码并提高数据处理的准确性。

以上就是Pandas DataFrames 高级合并技巧：处理共同键更新与新增行的详细内容，更多请关注php中文网其它相关文章！