高效地向Pandas DataFrame添加新列并处理重复索引

理解问题：使用 join 引入重复索引的挑战

在数据处理中，我们经常需要将一个DataFrame中的新列添加到另一个DataFrame中。Pandas提供了多种方法来实现这一目标，但如果不理解其底层逻辑，尤其是在涉及重复索引时，可能会遇到意想不到的结果。

考虑以下场景：我们有一个初始DataFrame df，其索引（例如，BS列）包含重复值。我们希望从另一个DataFrame df1 中添加一列 M2，并将其与 df 的现有行对齐。

初始DataFrame df：

import pandas as pd

value = {'M1': [3.65, 3.58, 3.5], 'BS': [999, 999, 999], 'RAW':['A', 'B', 'C']}
df = pd.DataFrame(value).set_index('BS')
print("初始 DataFrame df:")
print(df)

输出：

        M1 RAW
BS           
999   3.65   A
999   3.58   B
999   3.50   C

待添加的DataFrame df1：

value = {'M2': [3.35, 3.38, 3.3], 'BS': [999, 999, 999]}
df1 = pd.DataFrame(value).set_index('BS')
print("\n待添加的 DataFrame df1:")
print(df1)

输出：

        M2
BS        
999   3.35
999   3.38
999   3.30

当尝试使用 df.join(df1, on='BS', how='outer') 来合并这两个DataFrame时，预期是得到一个包含 M1, M2, RAW 列，且行数不变的DataFrame。然而，实际结果却出人意料：

df_joined = df.join(df1, on='BS', how='outer')
print("\n使用 df.join() 后的结果:")
print(df_joined)

输出：

        M1 RAW    M2
BS                 
999   3.65   A  3.35
999   3.65   A  3.38
999   3.65   A  3.30
999   3.58   B  3.35
999   3.58   B  3.38
999   3.58   B  3.30
999   3.50   C  3.35
999   3.50   C  3.38
999   3.50   C  3.30

可以看到，结果DataFrame的行数从3行变成了9行。这是因为 DataFrame.join()（以及 pd.merge()）在处理重复索引时，会执行一个“笛卡尔积”式的连接：对于 df 中每个索引为 999 的行，它会与 df1 中所有索引为 999 的行进行匹配。由于 df 有3个 999 索引的行，df1 也有3个 999 索引的行，最终结果就是 3 * 3 = 9 行。这显然不是我们希望的简单列添加。

解决方案：使用 pd.concat 进行列级连接

当目标是简单地将两个DataFrame的列并排连接起来，并且它们在行数上是等长的，或者希望基于索引进行对齐但不引发笛卡尔积时，pd.concat() 函数是更合适的选择。

豆绘AI

豆绘AI是国内领先的AI绘图与设计平台，支持照片、设计、绘画的一键生成。

485

查看详情

pd.concat() 允许我们沿着指定的轴（axis=0 为行，axis=1 为列）连接DataFrame。当 axis=1 时，它会尝试根据索引对齐DataFrame。如果索引完全相同（包括重复值和它们的顺序），pd.concat 会直接将列按位置连接起来。

df_concatenated = pd.concat([df, df1], axis=1)
print("\n使用 pd.concat(axis=1) 后的结果:")
print(df_concatenated)

输出：

        M1 RAW    M2
BS                 
999   3.65   A  3.35
999   3.58   B  3.38
999   3.50   C  3.30

这个结果正是我们所期望的：M2 列被正确添加，且DataFrame的行数保持不变，每行数据都与其原始位置对应。

pd.concat 与 join/merge 的选择考量

理解 pd.concat 和 join/merge 之间的核心差异对于选择正确的Pandas操作至关重要：

• pd.concat(objs, axis=1):

  • 目的: 主要用于将多个DataFrame（或Series）沿着指定轴“堆叠”或“并排连接”。
  • 对齐方式: 默认情况下，它会根据索引进行对齐。如果所有参与连接的DataFrame都具有相同的索引（包括重复值和它们的相对顺序），它将实现列的直接并排添加。如果索引不完全匹配，它会执行一个外连接式的索引合并，并在缺失值处填充 NaN。
  • 重复索引处理: 在 axis=1 的情况下，如果两个DataFrame具有相同的、重复的索引，并且行的顺序也对应，concat 会将它们视为已对齐，并按位置添加列，而不会产生笛卡尔积。
  • 适用场景: 当你确定两个DataFrame的行是逻辑上对齐的（例如，它们来自相同的数据源，只是字段不同，或者已经预先排序），并且希望直接将它们并排组合时。

• DataFrame.join(other, on=None, how='left') 或 pd.merge(left, right, on=None, how='inner'):

  • 目的: 主要用于执行数据库风格的连接操作，基于一个或多个键（可以是列或索引）来合并数据。
  • 对齐方式: 严格基于指定的键（on 参数或索引）进行匹配。
  • 重复索引处理: 当连接键（或索引）存在重复值时，join 或 merge 会将左侧DataFrame中每个重复键的行与右侧DataFrame中所有匹配的重复键的行进行组合，从而导致行数的乘法膨胀（即笛卡尔积）。这是其设计使然，因为它旨在找出所有可能的键匹配组合。
  • 适用场景: 当你需要根据特定的关联键来合并数据，并且需要处理不同类型的连接（内连接、左连接、右连接、外连接）以及键可能重复导致的多对多关系时。

总结与最佳实践

在Pandas中添加新列时，选择正确的函数是避免数据处理错误的关健。

• 如果你只是想简单地将两个DataFrame的列并排组合，并且它们的行是逻辑上对齐的（例如，有相同的行数和相同的索引顺序，或者索引完全一致），请使用 pd.concat([df1, df2], axis=1)。
• 如果你需要基于一个或多个共同的键（列或索引）来合并数据，并且希望精确控制如何处理不匹配的键或重复的键，那么 DataFrame.join() 或 pd.merge() 才是你的工具。但请务必理解它们在处理重复键时会产生笛卡尔积的行为，并确保这符合你的数据合并逻辑。

理解这些函数的细微差别，将帮助你更高效、更准确地进行Pandas数据操作。

以上就是高效地向Pandas DataFrame添加新列并处理重复索引的详细内容，更多请关注php中文网其它相关文章！