Pandas DataFrame 高级合并技巧：处理共有与独有键的策略

1. 问题背景与目标

在数据分析和处理过程中，我们经常需要将来自不同来源的数据进行整合。一个常见的需求是，当两个dataframe拥有共同的标识键时，我们希望合并它们的数据，使得：

• 对于具有相同键的数据行，能够将第二个DataFrame中的新列添加到第一个DataFrame中，实现数据的扩展。
• 对于只存在于其中一个DataFrame中的键，能够将其作为新行添加到最终的合并结果中，确保所有信息不丢失。

这种合并方式旨在创建一个全面的数据集，其中包含两个原始DataFrame的所有信息，通过共享键进行对齐，并用 NaN 值填充缺失的数据。

考虑以下两个示例DataFrame dfa 和 dfb：

import pandas as pd
import numpy as np

# DataFrame A
data_a = {
    'host': ['aa', 'bb', 'cc'],
    'val1': [11, 22, 33],
    'val2': [44, 55, 66]
}
dfa = pd.DataFrame(data_a)

# DataFrame B
data_b = {
    'host': ['aa', 'bb', 'dd'],
    'val1': [11, 22, 0],
    'val3': [77, 88, 99]
}
dfb = pd.DataFrame(data_b)

print("DataFrame A:")
print(dfa)
print("\nDataFrame B:")
print(dfb)

输出：

DataFrame A:
  host  val1  val2
0   aa    11    44
1   bb    22    55
2   cc    33    66

DataFrame B:
  host  val1  val3
0   aa    11    77
1   bb    22    88
2   dd     0    99

我们期望的合并结果如下，其中 ('host', 'val1') 组合是共享键：

  host  val1  val2  val3
0   aa    11  44.0  77.0
1   bb    22  55.0  88.0
2   cc    33  66.0   NaN
3   dd     0   NaN  99.0

可以看到，('aa', 11) 和 ('bb', 22) 的数据被合并，dfa 独有的 ('cc', 33) 和 dfb 独有的 ('dd', 0) 也被保留为新行。

2. 方法一：使用 DataFrame.join(how='outer')

pandas.DataFrame.join() 方法提供了一种灵活的方式来合并两个DataFrame。当使用 how='outer' 参数时，它会执行外连接操作，确保所有在两个DataFrame中出现的键都会被包含在最终结果中。对于只存在于一个DataFrame中的键，相应缺失的数据将用 NaN 填充。

关键步骤：

1. 设置索引： 由于我们的合并基于 host 和 val1 两列的组合，需要将它们设置为DataFrame的索引。join 方法默认基于索引进行操作。
2. 执行外连接： 使用 dfa.join(dfb, how='outer') 进行连接。
3. 重置索引： 合并完成后，将索引重新转换回普通列，以便于后续的数据处理。

示例代码：

# 定义用于合并的键
cols_to_merge = ['host', 'val1']

# 使用 set_index 将键列设置为索引，然后执行外连接，最后重置索引
merged_df_join = dfa.set_index(cols_to_merge).join(dfb.set_index(cols_to_merge), how='outer').reset_index()

print("\n使用 DataFrame.join(how='outer') 的合并结果:")
print(merged_df_join)

输出结果：

使用 DataFrame.join(how='outer') 的合并结果:
  host  val1  val2  val3
0   aa    11  44.0  77.0
1   bb    22  55.0  88.0
2   cc    33  66.0   NaN
3   dd     0   NaN  99.0

这种方法清晰地实现了我们期望的合并逻辑，尤其适用于需要全面保留所有键值对的场景。

有道小P

有道小P，新一代AI全科学习助手，在学习中遇到任何问题都可以问我。

64

查看详情

3. 方法二：使用 DataFrame.combine_first()

pandas.DataFrame.combine_first() 方法提供了一种不同的合并策略。它会优先保留调用者DataFrame（即 dfa）中的非 NaN 值。对于 dfa 中为 NaN 的位置，它会尝试使用参数DataFrame（即 dfb）中对应位置的值进行填充。如果 dfb 中对应位置也是 NaN，则最终结果仍为 NaN。此方法在处理数据填充和合并时非常有用，尤其当一个DataFrame是主数据源，另一个是补充数据源时。

关键步骤：

1. 设置索引： 同样，需要将 host 和 val1 列设置为DataFrame的索引，以便 combine_first 能正确地基于这些键进行对齐和合并。
2. 执行合并填充： 使用 dfa.combine_first(dfb)。由于 combine_first 是按元素级别的操作，它会尝试填充 dfa 中的缺失值。对于 dfb 中独有的行，dfa 对应位置视为完全缺失，因此会被 dfb 的值填充。
3. 重置索引： 合并完成后，将索引转换回普通列。

示例代码：

# 定义用于合并的键
cols_to_merge = ['host', 'val1']

# 使用 set_index 将键列设置为索引，然后执行 combine_first，最后重置索引
merged_df_combine_first = dfa.set_index(cols_to_merge).combine_first(dfb.set_index(cols_to_merge)).reset_index()

print("\n使用 DataFrame.combine_first() 的合并结果:")
print(merged_df_combine_first)

输出结果：

使用 DataFrame.combine_first() 的合并结果:
  host  val1  val2  val3
0   aa    11  44.0  77.0
1   bb    22  55.0  88.0
2   cc    33  66.0   NaN
3   dd     0   NaN  99.0

combine_first 在此场景下也能达到相同的效果，因为它本质上是在构建一个“完整”的DataFrame，其中 dfa 的数据优先，然后用 dfb 的数据来补充 dfa 中缺失的部分，包括 dfa 中不存在的行和列。

4. 两种方法比较与选择

• DataFrame.join(how='outer')：
  • 优点： 语义清晰，直接表达了外连接的意图，即保留所有键并合并相关列。适用于需要明确指定连接类型（内连接、左连接、右连接、外连接）的场景。
  • 缺点： 如果两个DataFrame有同名但非键的列，join 会默认重命名这些列（例如 _x, _y 后缀），可能需要额外处理。
• DataFrame.combine_first()：
  • 优点： 适用于一个DataFrame作为“主”数据源，另一个作为“补充”数据源的场景。它会智能地填充 NaN 值，且不会因为非键列同名而自动重命名。
  • 缺点： 语义上更侧重于填充缺失值而非通用的连接操作，可能不如 join 或 merge 在表达连接意图上直接。

在处理本教程中描述的特定需求（合并共有键数据并添加独有键行）时，两种方法都能有效达成目标。选择哪种方法取决于个人偏好以及对代码语义的理解。通常，join(how='outer') 在表达“全面合并”的意图上更为直观。

5. 注意事项与最佳实践

• 多列键的处理： 当合并需要基于多列的组合时，务必使用 set_index(['col1', 'col2', ...]) 将所有键列设置为索引，这是 join 和 combine_first 能够正确执行对齐操作的基础。
• NaN 值的理解： 合并结果中出现的 NaN 值表示在某个原始DataFrame中该位置没有对应的数据。在后续分析中，可能需要对这些 NaN 值进行填充、删除或特殊处理。
• 性能考量： 对于非常大的数据集，索引操作 (set_index) 和合并操作都可能消耗较多内存和计算资源。在实际应用中，应根据数据规模和性能要求进行测试和优化。
• pd.merge() 的替代： 值得一提的是，pandas.merge() 函数是Pandas中最通用的合并函数，它也可以通过 how='outer' 参数实现类似的功能。例如：

  # 使用 pd.merge 实现相同效果
  merged_df_merge = pd.merge(dfa, dfb, on=cols_to_merge, how='outer')
  print("\n使用 pd.merge(how='outer') 的合并结果:")
  print(merged_df_merge)

  登录后复制

  merge 的优势在于可以直接指定 on 参数进行列合并，而无需先 set_index 再 reset_index，代码通常更简洁。本教程重点介绍了 join 和 combine_first 作为替代方案，但 merge 也是一个非常强大的工具。

6. 总结

本教程详细介绍了在Pandas中合并两个DataFrame的两种高级方法：DataFrame.join(how='outer') 和 DataFrame.combine_first()，以满足对共有键数据进行扩展并添加独有键行的需求。通过将关键列设置为索引，这两种方法都能有效地实现数据的全面整合，生成一个包含所有原始信息且结构清晰的DataFrame。理解它们的原理和适用场景，能够帮助您在数据处理任务中做出更合适的选择，从而高效地管理和分析数据。

以上就是Pandas DataFrame 高级合并技巧：处理共有与独有键的策略的详细内容，更多请关注php中文网其它相关文章！