Pandas DataFrame子集赋值：深入理解列对齐与NaN值避免策略

Pandas DataFrame赋值机制解析

pandas在进行dataframe之间的赋值操作时，其核心特性之一是智能的数据对齐（data alignment）。这意味着，当您尝试将一个dataframe（或其子集）的值赋给另一个dataframe（或其子集）时，pandas会默认根据行索引和列标签来匹配数据。如果源数据和目标位置的标签不完全一致，pandas会尝试找到匹配的标签进行赋值，对于无法匹配的标签，则会用nan（not a number）填充。

考虑以下示例代码，它展示了在列标签不匹配时可能出现的问题：

import pandas as pd

df1 = pd.DataFrame({'1':[1,2,3,4,5,6], '2':[10,20,30,40,50,60],'3': [100,200,300,400,500,600]})
df2 = pd.DataFrame({'1':[22,22], '2':[22,22], '3':[22,22]})

print("原始 df1:\n", df1)
print("\n原始 df2:\n", df2)

# 尝试将 df2 的特定子集赋值给 df1 的特定子集
# df1 的目标是行 0,1 和列 '2','3'
# df2 的源是行 0,1 和列 '1','2'
df1.loc[[0,1],['2','3']] = df2.loc[[0,1],['1','2']]

print("\n赋值后的 df1:\n", df1)

执行上述代码，df1的输出如下所示：

     1     2      3
0  1.0  22.0    NaN
1  2.0  22.0    NaN
2  3.0  30.0  300.0
3  4.0  40.0  400.0
4  5.0  50.0  500.0
5  6.0  60.0  600.0

可以看到，df1的第0、1行、第'3'列的值变成了NaN，而第'2'列的值被正确更新。这是因为在 df1.loc[[0,1],['2','3']] = df2.loc[[0,1],['1','2']] 这行代码中，Pandas尝试将 df2 中列标签为 '1' 和 '2' 的数据，对齐到 df1 中列标签为 '2' 和 '3' 的位置。

• df2 的列 '2' 成功匹配到 df1 的列 '2'，因此相应值被正确赋值。
• df2 的列 '1' 在 df1 的目标列 ('2', '3') 中找不到匹配项，其值不会被赋值到df1的任何目标列。
• df1 的目标列 '3' 在 df2 的源列 ('1', '2') 中找不到匹配项。由于 df1 的目标切片中包含了列 '3'，但 df2 的源数据中没有名为 '3' 的列来填充它，Pandas便将其填充为 NaN。这种行为是Pandas为了保持数据完整性和避免潜在的数据错位而设计的。

解决方案：使用NumPy数组绕过对齐

当您明确知道源数据和目标位置的维度和顺序是匹配的，并且希望执行基于位置的直接赋值，而不是基于标签的对齐时，可以将源DataFrame（或其子集）转换为NumPy数组。NumPy数组是纯粹的数值结构，不包含标签信息，因此赋值操作将完全按照位置进行，忽略任何列名或索引的差异。

修正上述问题的代码如下：

钉钉 AI 助理

钉钉AI助理汇集了钉钉AI产品能力，帮助企业迈入智能新时代。

21

查看详情

import pandas as pd
import numpy as np # 导入 numpy 库，尽管在这里不是必需的，但通常与 numpy 数组操作相关

df1 = pd.DataFrame({'1':[1,2,3,4,5,6], '2':[10,20,30,40,50,60],'3': [100,200,300,400,500,600]})
df2 = pd.DataFrame({'1':[22,22], '2':[22,22], '3':[22,22]})

print("原始 df1:\n", df1)
print("\n原始 df2:\n", df2)

# 使用 .to_numpy() 将右侧转换为 NumPy 数组
df1.loc[[0,1], ['2','3']] = df2.loc[[0,1], ['1','2']].to_numpy()

print("\n修正赋值后的 df1:\n", df1)

执行此代码，df1的输出将是期望的结果：

   1   2    3
0  1  22   22
1  2  22   22
2  3  30  300
3  4  40  400
4  5  50  500
5  6  60  600

通过 .to_numpy() 方法，df2.loc[[0,1], ['1','2']] 被转换为一个2x2的NumPy数组 [[22, 22], [22, 22]]。这个数组不携带任何列名信息，因此Pandas在赋值时不再尝试进行列标签对齐，而是直接将数组中的值按顺序填充到 df1.loc[[0,1], ['2','3']] 所指定的2x2区域内。即，NumPy数组的第一列（原df2的'1'列数据）赋值给 df1 的列 '2'，第二列（原df2的'2'列数据）赋值给 df1 的列 '3'。

注意事项与最佳实践

在使用 .to_numpy() 进行DataFrame子集赋值时，需要注意以下几点：

• 形状匹配至关重要： 使用 .to_numpy() 进行赋值时，源数据的形状（行数和列数）必须与目标区域的形状完全一致。如果形状不匹配，Pandas将抛出 ValueError: Must have equal reindex for all elements in the array 错误。例如，如果 df2.loc[[0,1], ['1','2']].to_numpy() 得到一个2x2的数组，而目标 df1.loc[[0,1], ['2','3']] 也是2x2的区域，则赋值成功。如果目标区域是2x1，则会报错。
• 数据类型转换： 尽管 .to_numpy() 避免了 NaN，但如果源NumPy数组的数据类型与目标DataFrame列的现有数据类型不兼容，Pandas可能会进行隐式的数据类型转换（例如，从整数转换为浮点数），以容纳新值。请始终注意赋值操作可能带来的数据类型变化。
• 何时使用 .to_numpy()：
  • 当您需要进行基于位置的精确赋值，且明确知道源和目标的维度匹配时。
  • 当源DataFrame的列标签与目标DataFrame的列标签不一致，但您希望按顺序而非按标签赋值时。
  • 当您希望提高赋值操作的性能，尤其是在处理大型数据集时，因为NumPy操作通常比Pandas的标签对齐操作更快。
• 何时避免 .to_numpy()：
  • 当您希望利用Pandas强大的标签对齐功能，确保数据在不同DataFrame之间按标签正确匹配时。
  • 当源和目标DataFrame的结构可能不完全一致，且您希望Pandas自动处理缺失值或重新索引时。

总结

Pandas在DataFrame赋值时的自动对齐机制是一项强大功能，但在特定场景下（如源列标签与目标列标签不匹配但希望按位置赋值时），它可能导致意外的NaN值。理解这一机制是高效使用Pandas的关键。通过将源数据显式转换为NumPy数组（使用 .to_numpy()），我们可以绕过Pandas的标签对齐行为，强制进行基于位置的赋值，从而精确控制数据的填充方式，避免不必要的NaN。在实践中，选择哪种赋值方式取决于您的具体需求：是希望利用Pandas的智能对齐，还是需要进行严格的按位置赋值。

以上就是Pandas DataFrame子集赋值：深入理解列对齐与NaN值避免策略的详细内容，更多请关注php中文网其它相关文章！