本教程探讨在pandas dataframe中，如何基于一个“键”列的值，高效地对多个目标列进行条件性映射和数据填充。针对传统方法（如重复使用`numpy.select`）的低效性，文章详细介绍了两种基于向量化操作的优化策略：一是利用`pandas.get_dummies`和`dataframe.mask`构建动态布尔掩码进行条件替换；二是结合`melt`、`merge`和`unstack`进行数据重塑和过滤。通过示例代码和详细解释，帮助读者掌握处理此类数据转换问题的专业技巧。
在数据分析和处理中，我们经常会遇到需要根据DataFrame中某一“键”列的值，有条件地更新或填充其他多个列的场景。例如，如果“键”列的值为'key1'，我们可能希望'colA'和'colD'保留其原始值，而其他列则填充为'NA'。当这种映射关系涉及的列数较多时，使用诸如numpy.select或循环迭代的传统方法会变得冗长且效率低下。本教程将深入探讨两种基于Pandas和NumPy的向量化解决方案，以实现高效、简洁的多列条件映射。
首先，我们创建一个示例DataFrame来演示这个问题：
import pandas as pd
import numpy as np
# 创建一个示例DataFrame
data = {
'key': ['key1', 'key2', 'key3', 'key1', 'key2'],
'colA': ['value1A', 'value2A', 'value3A', 'value4A', 'value5A'],
'colB': ['value1B', 'value2B', 'value3B', 'value4B', 'value5B'],
'colC': ['value1C', 'value2C', 'value3C', 'value4C', 'value5C'],
'colD': ['value1D', 'value2D', 'value3D', 'value4D', 'value5D']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)原始DataFrame如下：
原始DataFrame:
key colA colB colC colD
0 key1 value1A value1B value1C value1D
1 key2 value2A value2B value2C value2D
2 key3 value3A value3B value3C value3D
3 key1 value4A value4B value4C value4D
4 key2 value5A value5B value5C value5D我们的目标是：
如果采用逐列使用np.select的方式，代码会非常重复：
# 传统方法（低效且冗余）
# df_copy = df.copy() # 避免修改原始df
# df_copy['colA'] = np.select([df_copy['key'] == 'key1'], [df_copy['colA']], default='NA')
# df_copy['colD'] = np.select([df_copy['key'] == 'key1'], [df_copy['colD']], default='NA')
# df_copy['colB'] = np.select([df_copy['key'] == 'key2'], [df_copy['colB']], default='NA')
# df_copy['colC'] = np.select([df_copy['key'] == 'key3'], [df_copy['colC']], default='NA')
# print("\n使用np.select的结果:")
# print(df_copy)显然，这种方法在列数和键值组合增多时难以维护。下面我们将介绍两种更专业的向量化解决方案。
此方法的核心思想是首先构建一个布尔掩码，该掩码能够指示DataFrame中每个单元格是否应该保留其原始值（即是否是有效数据）。然后，使用DataFrame.where()方法根据此掩码进行条件性替换。
定义键与列的映射关系： 创建一个字典，将每个key值映射到它对应的有效列名列表。
生成布尔掩码：
对齐掩码并应用：
# 重新加载原始DataFrame以确保示例的独立性
df = pd.DataFrame(data)
# 1. 定义键与列的映射关系
key_column_map = {
'key1': ['colA', 'colD'],
'key2': ['colB'],
'key3': ['colC'],
}
# 2. 生成布尔掩码
# 将映射字典转换为Series并展平
s = pd.Series(key_column_map).explode()
# 使用get_dummies创建布尔矩阵，并按原始key聚合
# groupby(level=0).max() 在布尔Series上相当于any()，确保每个key对应的所有True都被保留
mask_template = pd.get_dummies(s, dtype=bool).groupby(level=0).max()
print("\n生成的布尔掩码模板 (mask_template):")
print(mask_template)
# 3. 对齐掩码并应用到DataFrame
# 获取需要处理的列名（排除'key'列）
target_cols = df.columns.difference(['key'])
# 根据df['key']对mask_template进行reindex，使其与df的行对齐
# to_numpy() 转换为NumPy数组以进行高效的元素级操作
aligned_mask = mask_template.reindex(df['key']).to_numpy()
# 使用DataFrame.where()进行条件替换
# df.where(condition, other) - 如果condition为True，保留df的值；否则，使用other的值。
df[target_cols] = df[target_cols].where(aligned_mask, 'NA')
print("\n方法一：使用get_dummies和where的结果:")
print(df)输出结果：
生成的布尔掩码模板 (mask_template):
colA colB colC colD
key1 True False False True
key2 False True False False
key3 False False True False
方法一：使用get_dummies和where的结果:
key colA colB colC colD
0 key1 value1A NA NA value1D
1 key2 NA value2B NA NA
2 key3 NA NA value3C NA
3 key1 value4A NA NA value4D
4 key2 NA value5B NA NA优点：
此方法利用Pandas的数据重塑能力，将DataFrame转换为“长格式”，然后通过合并操作筛选出有效的数据点，最后再重塑回“宽格式”。
定义键与列的映射关系： 与方法一相同，使用字典key_column_map。
重塑原始DataFrame为长格式：
准备映射关系为DataFrame：
合并与过滤：
重塑回宽格式并填充：
# 重新加载原始DataFrame以确保示例的独立性
df = pd.DataFrame(data)
# 1. 定义键与列的映射关系
key_column_map = {
'key1': ['colA', 'colD'],
'key2': ['colB'],
'key3': ['colC'],
}
# 2. 重塑原始DataFrame为长格式
melted_df = df.reset_index().melt(['index', 'key'])
print("\n中间步骤：melt后的DataFrame:")
print(melted_df.head())
# 3. 准备映射关系为DataFrame
# 将key_column_map转换为DataFrame，用于merge
valid_key_cols = pd.Series(key_column_map).explode().rename_axis('key').reset_index(name='variable')
print("\n中间步骤：有效键-列映射DataFrame:")
print(valid_key_cols)
# 4. 合并与过滤
# 通过merge操作，只保留有效的 (key, variable) 组合
filtered_data = melted_df.merge(valid_key_cols)
print("\n中间步骤：merge过滤后的DataFrame:")
print(filtered_data.head())
# 5. 重塑回宽格式并填充
result_df = (
filtered_data.set_index(['index', 'key', 'variable'])['value']
.unstack('variable', fill_value='NA')
.reset_index('key') # 将'key'从索引移回列
.rename_axis(index=None, columns=None) # 清理索引和列名
)
# 将结果合并回原始df（如果需要保留原始df的'key'列）
# 或者直接使用result_df，但需要确保所有列都正确对齐
# 这里为了与原始输出格式一致，我们直接构造最终DataFrame
final_df_cols = df.columns.difference(['key'])
df[final_df_cols] = result_df[final_df_cols] # 确保列顺序和名称一致
df['key'] = result_df['key'] # 确保key列也正确
print("\n方法二：使用melt, merge, unstack的结果:")
print(df)输出结果：
中间步骤：melt后的DataFrame:
index key variable value
0 0 key1 colA value1A
1 1 key2 colA value2A
2 2 key3 colA value3A
3 3 key1 colA value4A
4 4 key2 colA value5A
中间步骤：有效键-列映射DataFrame:
key variable
0 key1 colA
1 key1 colD
2 key2 colB
3 key3 colC
中间步骤：merge过滤后的DataFrame:
index key variable value
0 0 key1 colA value1A
1 0 key1 colD value1D
2 1 key2 colB value2B
3 3 key1 colA value4A
4 3 key1 colD value4D
方法二：使用melt, merge, unstack的结果:
key colA colB colC colD
0 key1 value1A NA NA value1D
1 key2 NA value2B NA NA
2 key3 NA NA value3C NA
3 key1 value4A NA NA value4D
4 key2 NA value5B NA NA优点：
以上就是Pandas DataFrame：基于键列高效映射多列的策略与实践的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
644
收藏
