本文介绍如何在pandas dataframe中高效地比较大量具有特定命名模式（如`_x`和`_y`后缀）的成对列，并自动生成新的差异指示列。通过识别列名前缀并结合循环，该方法显著简化了代码，提升了处理大规模数据集的效率和可维护性。
在数据分析和预处理过程中，我们经常会遇到需要比较数据集中多个相关列对的情况。例如，一个DataFrame可能包含大量以_x和_y后缀命名的列，它们分别代表同一特征在不同时间点或不同来源的值，我们需要识别这些值之间的异同，并生成一个新的标志列来表示比较结果。当这类列对的数量庞大时，手动为每一对编写比较逻辑将变得非常繁琐且难以维护。
考虑以下场景：一个DataFrame包含数百列，其中有数十对需要比较的列，如cost_x与cost_y、amount_x与amount_y等。如果采用为每对列单独定义函数并使用apply方法的方式，代码将呈现出高度的重复性，并且随着列对数量的增加，代码量会线性增长。
例如，对于三对列的比较，可能需要编写如下代码：
import pandas as pd
# 示例数据
data = {
'cost_x': [1, 1], 'cost_y': [1, 0],
'amount_x': [1, 1], 'amount_y': [0, 1],
'type_x': ['a', 'b'], 'type_y': ['a', 'c']
}
df_example = pd.DataFrame(data)
def label_check1(row):
if row['cost_x'] == row ['cost_y']: return 1
return 0
def label_check2(row):
if row['amount_x'] == row ['amount_y']: return 1
return 0
def label_check3(row):
if row['type_x'] == row ['type_y']: return 1
return 0
df_example['cost_change'] = df_example.apply(label_check1, axis=1)
df_example['amount_change'] = df_example.apply(label_check2, axis=1)
df_example['type_change'] = df_example.apply(label_check3, axis=1)
print("传统方法处理后的DataFrame:")
print(df_example)这种方法不仅代码冗长，而且apply方法在处理大型DataFrame时通常效率较低，因为它是在Python级别进行迭代，而不是利用Pandas底层的优化C/NumPy操作。
立即学习“Python免费学习笔记（深入）”；
为了解决上述问题，我们可以利用Pandas的强大功能和列名模式识别，实现一个更简洁、高效且可扩展的解决方案。核心思想是：
首先，我们需要一个示例DataFrame来演示：
import pandas as pd
# 示例数据
data = {
'cost_x': [1, 1],
'cost_y': [1, 0],
'amount_x': [1, 1],
'amount_y': [0, 1],
'type_x': ['a', 'b'],
'type_y': ['a', 'c']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)1. 提取所有特征前缀
我们可以通过分割列名并获取其前缀部分来识别所有需要比较的特征。split("_")[0]可以提取下划线前的部分，unique()则确保我们只获取不重复的特征名。
features = pd.Series(df.columns).apply(lambda s: s.split("_")[0]).unique()
print("\n提取到的特征前缀:")
print(features)
# 输出: ['cost' 'amount' 'type']2. 循环创建新的比较列
有了特征前缀列表，我们就可以遍历这个列表，为每个特征动态地构建_x、_y和_change列名，然后执行比较操作。Pandas的布尔比较结果（True/False）可以直接通过.astype(int)转换为整数（1/0），这正是我们需要的差异指示。
for feature in features:
col_x = f"{feature}_x"
col_y = f"{feature}_y"
new_col = f"{feature}_change"
# 确保对应的_x和_y列都存在，以避免KeyError
if col_x in df.columns and col_y in df.columns:
df[new_col] = (df[col_x] == df[col_y]).astype(int)
else:
print(f"警告: 缺少 {col_x} 或 {col_y}，跳过 {feature} 的比较。")
print("\n处理后的DataFrame:")
print(df)完整代码示例：
import pandas as pd
# 示例数据
data = {
'cost_x': [1, 1],
'cost_y': [1, 0],
'amount_x': [1, 1],
'amount_y': [0, 1],
'type_x': ['a', 'b'],
'type_y': ['a', 'c']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
# 1. 提取所有特征前缀
features = pd.Series(df.columns).apply(lambda s: s.split("_")[0]).unique()
print("\n提取到的特征前缀:", features)
# 2. 循环创建新的比较列
for feature in features:
col_x = f"{feature}_x"
col_y = f"{feature}_y"
new_col = f"{feature}_change"
# 确保对应的_x和_y列都存在
if col_x in df.columns and col_y in df.columns:
df[new_col] = (df[col_x] == df[col_y]).astype(int)
else:
print(f"警告: 缺少 {col_x} 或 {col_y}，跳过 {feature} 的比较。")
print("\n处理后的DataFrame:")
print(df)输出结果:
原始DataFrame: cost_x cost_y amount_x amount_y type_x type_y 0 1 1 1 0 a a 1 1 0 1 1 b c 提取到的特征前缀: ['cost' 'amount' 'type'] 处理后的DataFrame: cost_x cost_y amount_x amount_y type_x type_y cost_change amount_change type_change 0 1 1 1 0 a a 1 0 1 1 1 0 1 1 b c 0 1 0
通过识别和利用DataFrame中列名的模式，我们可以使用简洁高效的Pandas代码批量处理成对列的比较任务。这种方法不仅提升了代码的可读性和可维护性，更重要的是，它利用了Pandas的向量化特性，极大地提高了处理大规模数据集的效率。在进行数据清洗、特征工程或数据质量检查时，掌握这种模式化处理技巧将是非常有价值的。
以上就是Python Pandas：利用列名模式批量比较数据并创建新特征列的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
342
收藏
