Pandas DataFrame：处理重复索引时如何正确添加新列

引言

在数据处理和分析中，pandas dataframe是python用户常用的工具。我们经常需要向现有dataframe中添加新列，这些新列可能来源于另一个dataframe。然而，当两个dataframe都包含重复的索引值时，直接使用df.join()或pd.merge()等方法可能会产生意想不到的结果，例如生成笛卡尔积，导致数据行数急剧膨胀，这通常不是我们期望的行为。本文将深入探讨这一问题，并提供一种稳健的解决方案。

问题的提出：join与merge的局限性

考虑以下场景：我们有一个初始DataFrame df，其索引（例如BS列）存在重复值。我们希望从另一个DataFrame df1中添加一列数据到 df中，并要求新列的数据能够与原始DataFrame的行按索引一对一（或按位置）对齐，而不是基于索引进行关系型连接。

初始数据示例：

假设我们有以下两个DataFrame：

DataFrame df: | BS | M1 | RAW | |----|----|-----| | 999| 3.65 | A | | 999| 3.58 | B | | 999| 3.50 | C |

DataFrame df1 (包含要添加的新列 M2): | BS | M2 | |----|----| | 999| 3.35 | | 999| 3.38 | | 999| 3.30 |

如果尝试使用df.join(df1, on='BS', how='outer')，其结果将如下所示：

import pandas as pd

# 构造初始DataFrame df
value_df = {'M1': [3.65, 3.58, 3.5], 'BS': [999, 999, 999], 'RAW':['A', 'B', 'C']}
df = pd.DataFrame(value_df).set_index('BS')

# 构造包含新列M2的DataFrame df1
value_df1 = {'M2': [3.35, 3.38, 3.3], 'BS': [999, 999, 999]}
df1 = pd.DataFrame(value_df1).set_index('BS')

print("原始 df:")
print(df)
print("\n原始 df1:")
print(df1)

# 尝试使用 join 操作
df_joined = df.join(df1, on='BS', how='outer')
print("\n使用 df.join() 后的结果 (错误):")
print(df_joined)

输出结果（部分）：

原始 df:
      M1 RAW
BS          
999  3.65   A
999  3.58   B
999  3.50   C

原始 df1:
      M2
BS      
999  3.35
999  3.38
999  3.30

使用 df.join() 后的结果 (错误):
      M1 RAW    M2
BS                 
999  3.65   A  3.35
999  3.65   A  3.38
999  3.65   A  3.30
999  3.58   B  3.35
999  3.58   B  3.38
999  3.58   B  3.30
999  3.50   C  3.35
999  3.50   C  3.38
999  3.50   C  3.30

可以看到，join操作将df中每个索引为999的行与df1中每个索引为999的行进行了匹配，从而产生了3 * 3 = 9行，这显然不是我们想要的一对一的列添加。这是因为join（和merge）默认执行的是关系型连接，当键（这里是索引BS）存在重复时，会尝试将所有匹配的行组合起来。

纳米搜索

纳米搜索：360推出的新一代AI搜索引擎

30

查看详情

解决方案：使用 pd.concat 进行列合并

为了避免这种笛卡尔积效应，并实现按位置或纯粹的列堆叠，我们可以使用pd.concat函数。pd.concat主要用于沿某个轴（行或列）堆叠Pandas对象。当我们将axis参数设置为1时，它会执行列方向的连接。pd.concat在连接时会尝试根据索引进行对齐，但如果索引完全相同且顺序一致，它会像简单的列绑定一样工作，而不会像join或merge那样进行笛卡尔积扩展。

# 使用 pd.concat 进行列合并
df_concatenated = pd.concat([df, df1], axis=1)

print("\n使用 pd.concat([df, df1], axis=1) 后的结果 (正确):")
print(df_concatenated)

正确输出结果：

使用 pd.concat([df, df1], axis=1) 后的结果 (正确):
      M1 RAW    M2
BS                 
999  3.65   A  3.35
999  3.58   B  3.38
999  3.50   C  3.30

通过使用pd.concat([df, df1], axis=1)，我们成功地将df1中的M2列添加到了df中，并且保持了原始的行数和正确的索引对齐。pd.concat在这里的行为更像是将两个DataFrame“并排”放置，并基于它们的索引进行匹配。如果索引不完全匹配，concat会引入NaN值来填充缺失的数据，但不会产生额外的行。

注意事项与总结

1. 索引对齐： pd.concat在axis=1模式下会根据索引进行对齐。这意味着如果df和df1的索引不完全相同（例如，某个索引只存在于其中一个DataFrame中），结果DataFrame中会为不匹配的索引引入NaN值。在上述例子中，由于两个DataFrame的索引结构和顺序完全一致，因此实现了完美的列添加。
2. 适用场景： pd.concat适用于以下情况：
   • 当需要将多个DataFrame按行（axis=0）或按列（axis=1）堆叠时。
   • 当两个DataFrame的行数相同，且它们的索引（或行顺序）能够直接对应时，用于添加新列。
   • 当不希望进行关系型连接（如内连接、左连接等）时。
3. 效率： 对于简单的列添加，pd.concat通常比merge或join更高效，因为它避免了复杂的匹配算法。
4. 与assign的区别： 如果要添加的列是基于现有DataFrame的计算结果，或者只有一个Series，可以直接使用df['new_col'] = series或df.assign(new_col=...)。但当新列来自一个独立的DataFrame，且需要考虑索引对齐时，pd.concat是一个强大的工具。

总之，当您需要在Pandas DataFrame中添加新列，并且原始DataFrame和新列数据源都包含重复索引，同时又希望避免笛卡尔积的产生时，pd.concat([df1, df2], axis=1)是实现此目的最直接和有效的方法。它确保了数据的正确对齐，同时保持了DataFrame的结构完整性。

以上就是Pandas DataFrame：处理重复索引时如何正确添加新列的详细内容，更多请关注php中文网其它相关文章！