使用Pandas DataFrame高效执行多列算术运算

本文旨在探讨在Pandas DataFrame中对多列进行加减法运算的两种高效方法。我们将介绍如何利用`DataFrame.eval()`进行多行表达式计算，以及如何通过链式调用`add()`和`sub()`方法实现向量化操作。通过具体示例，读者将掌握在Python环境中简洁、高效地处理DataFrame列间复杂算术逻辑的技巧，从而提升数据处理效率和代码可读性。

在数据分析和处理中，我们经常需要对Pandas DataFrame中的多个列执行一系列算术运算。当这些运算模式相似且涉及多个目标列时，寻找一种简洁高效的方法至关重要。本教程将详细介绍两种实现这一目标的策略：使用DataFrame.eval()进行多行表达式求值，以及利用Pandas的向量化方法add()和sub()。

1. 数据准备

首先，我们创建一个示例DataFrame，作为后续操作的基础。

import pandas as pd

data = {
  "A": [42, 38, 39, 23],
  "B": [45, 30, 15, 65],
  "C": [60, 50, 25, 43],
  "D": [12, 70, 35, 76],
  "E": [87, 90, 45, 43],
  "F": [40, 48, 55, 76],
  "G": [58, 42, 85, 10],
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

我们的目标是针对列 C, D, E，执行相同的运算逻辑：目标列 = 目标列 - B + A。

2. 方法一：使用 DataFrame.eval() 进行多行表达式求值

DataFrame.eval() 方法允许用户以字符串形式传递表达式，Pandas 会在 DataFrame 的上下文中对这些表达式进行求值。对于需要对多个列执行相同或相似操作的场景，eval() 特别有用，因为它支持多行表达式，从而提高了代码的清晰度。

df_eval = df.copy() # 创建副本，避免修改原始df
df_eval = df_eval.eval('''
C = C - B + A
D = D - B + A
E = E - B + A
''')

print("\n使用 eval() 后的DataFrame:")
print(df_eval)

优点：

• 可读性强： 表达式直接反映了数学逻辑，易于理解。
• 简洁： 可以在一个方法调用中处理多个列的更新。
• 性能： 对于大型DataFrame，eval() 通常比纯Python循环更快，因为它在C层级进行优化。

注意事项：

• 表达式字符串需要严格遵循Python语法，且只能引用DataFrame中的列名。
• eval() 默认会修改DataFrame的副本并返回，如果需要原地修改，可以考虑inplace=True参数（但通常不推荐，因为会使链式操作复杂化）。

3. 方法二：使用向量化操作 add() 和 sub()

Pandas 提供了高度优化的向量化方法，如 add()、sub()、mul()、div() 等，它们能够对整个 Series 或 DataFrame 执行元素级的运算，而无需显式循环。对于本例中的模式 目标列 = 目标列 - B + A，我们可以将其分解为 目标列 = 目标列 + (A - B)。

绘蛙-多图成片

绘蛙新推出的AI图生视频工具

133

查看详情

df_vec = df.copy() # 创建副本
# 首先计算 (A - B) 的结果，这是一个 Series
intermediate_result = df_vec['A'].sub(df_vec['B'])

# 然后将这个 Series 加到目标列 C, D, E 上
# 注意：当将一个 Series 加到一个 DataFrame 的子集时，
# Pandas 会根据索引对齐，并广播 Series 的值到每一行。
# 明确指定 axis=0 确保按行进行操作（即 Series 的每个值对应 DataFrame 的一行）
df_vec[['C', 'D', 'E']] = df_vec[['C', 'D', 'E']].add(intermediate_result, axis=0)

print("\n使用向量化操作后的DataFrame:")
print(df_vec)

优点：

• 极致性能： Pandas 的核心优势之一，这些方法在底层C/Cython实现，速度非常快，尤其适用于大型数据集。
• Pandas 惯用法： 这种链式调用和向量化思维是Pandas数据处理的推荐方式。
• 灵活性： 可以通过 axis 参数控制操作的方向（行或列）。

注意事项：

• 理解 axis 参数对于正确执行操作至关重要。axis=0 表示按行操作（或沿索引方向），axis=1 表示按列操作（或沿列方向）。
• 当操作涉及不同维度的数据（如 DataFrame 和 Series）时，Pandas 会尝试进行对齐和广播。确保这种行为符合预期。

4. 结果验证

无论是使用 eval() 还是向量化方法，最终的输出结果都应该是一致的：

    A   B   C   D   E   F   G
0  42  45  57   9  84  40  58
1  38  30  58  78  98  48  42
2  39  15  49  59  69  55  85
3  23  65   1  34   1  76  10

可以看到，列 C, D, E 都按照 目标列 = 目标列 - B + A 的逻辑进行了更新。

5. 总结与最佳实践

在Pandas DataFrame中对多列执行批量算术运算时，DataFrame.eval() 和链式向量化方法都是强大的工具。

• 选择 eval() 的场景：
  • 当表达式逻辑复杂，且涉及多个列的更新时，eval() 的多行字符串形式能提供更好的可读性。
  • 当表达式可以直接引用DataFrame中的列名，并且表达式本身比较长或包含多个中间步骤时。
• 选择向量化操作的场景：
  • 当操作模式相对简单，可以分解为一系列 add(), sub(), mul() 等方法链式调用时。
  • 追求极致性能，并且熟悉Pandas的向量化操作原理时。
  • 当需要更细粒度地控制对齐和广播行为时。

在实际开发中，通常会根据具体情况和团队的代码风格偏好来选择。对于大多数日常任务，两种方法都能提供高效且可读的解决方案。建议优先考虑向量化操作，因为它更符合Pandas的设计哲学，并且在性能上通常表现更优。然而，对于涉及大量临时变量或复杂条件逻辑的表达式，eval() 的简洁性可能更具吸引力。

以上就是使用Pandas DataFrame高效执行多列算术运算的详细内容，更多请关注php中文网其它相关文章！