Pandas管道操作：合并DataFrame后高效创建新列的技巧

在pandas数据处理管道中，合并（merge）操作后尝试直接使用assign或transform创建新列时，常因列引用方式不当引发typeerror。本文将深入探讨此问题，并提供两种高效且简洁的解决方案：利用dataframe.eval()进行基于字符串的表达式计算，以及结合dataframe.assign()与lambda函数实现更灵活的列创建，从而优化您的数据处理流程。

1. 问题背景与常见误区

当在Pandas数据处理管道中，特别是在merge操作之后，尝试利用assign或transform创建基于现有列的新列时，开发者常遇到TypeError。这通常是由于错误地将列名作为字符串列表而非DataFrame的Series来引用所致。

考虑以下两个示例DataFrame：

import pandas as pd

solar_part = pd.DataFrame(
     {'pool': 1,
     'orig': 635.1}, index = [0]
     )

solar_aod = pd.DataFrame(
     {'pool': [1,1,1,1],
      'MoP': [1,2,3,4],
     'prin': [113.1, 115.3, 456.6, 234.1]}
     )

如果尝试通过以下方式合并并创建新列：

# 错误示例：直接引用列名作为列表
solar_p_error = (
    solar_aod
    .merge(solar_part, on = ['pool'], how = 'left')
    .assign(remn = ['prin'] / ['orig']) # 这里是错误的引用方式
)

上述代码会抛出 TypeError: unsupported operand type(s) for /: 'list' and 'list'。即使将 ['prin'] 改为 'prin'，也会因为将其视为字符串而非DataFrame的实际数据列而导致 TypeError。这是因为 assign 期望接收一个Series或一个可调用对象（如lambda函数），而不是字符串或包含字符串的列表。

2. 解决方案一：使用 DataFrame.eval()

DataFrame.eval() 方法提供了一种通过字符串表达式计算新列的强大机制。它能够直接解析列名，并将其视为DataFrame中的实际数据列进行运算，从而避免了 TypeError。

2.1 eval() 的工作原理

eval() 允许用户传入一个字符串表达式，其中可以直接引用DataFrame的列名。Pandas会在内部将这些列名映射到对应的Series，并执行指定的运算。这使得代码更加简洁和直观。

2.2 示例代码

将上述错误示例修改为使用 eval()：

solar_p_eval = (
    solar_aod
    .merge(solar_part, on='pool', how='left')
    .eval('remn = prin / orig')
)
print(solar_p_eval)

输出结果：

   pool  MoP   prin   orig      remn
0     1    1  113.1  635.1  0.178082
1     1    2  115.3  635.1  0.181546
2     1    3  456.6  635.1  0.718942
3     1    4  234.1  635.1  0.368603

可以看到，eval() 成功地在合并后的DataFrame中创建了 remn 列，且计算正确。

vizcom.ai

AI草图渲染工具，快速将手绘草图渲染成精美的图像

70

查看详情

3. 解决方案二：使用 DataFrame.assign() 配合 lambda 函数

虽然 eval() 对于简单的数学表达式非常有效，但 assign() 结合 lambda 函数则提供了更大的灵活性，尤其适用于需要执行更复杂Python逻辑或调用自定义函数的情况。

3.1 assign() 与 lambda 的结合

assign() 方法可以接受可调用对象作为参数。当传入一个 lambda 函数时，这个函数会在 assign 内部被调用，并接收当前DataFrame作为其参数。这样，我们就可以在 lambda 函数内部安全地引用DataFrame的列。

3.2 示例代码

使用 assign() 和 lambda 函数实现相同的功能：

solar_p_assign_lambda = (
    solar_aod
    .merge(solar_part, on='pool', how='left')
    .assign(remn = lambda df: df['prin'] / df['orig'])
)
print(solar_p_assign_lambda)

输出结果：

   pool  MoP   prin   orig      remn
0     1    1  113.1  635.1  0.178082
1     1    2  115.3  635.1  0.181546
2     1    3  456.6  635.1  0.718942
3     1    4  234.1  635.1  0.368603

4. eval() 与 assign() + lambda 的选择

两种方法都能有效解决在管道中合并后创建新列的问题，但它们各有侧重：

• DataFrame.eval()：

  • 优点： 语法简洁，直接使用字符串表达式，对于简单的数学或布尔运算非常高效。Pandas对eval()有C语言级别的优化，在大数据集上可能表现出更好的性能。
  • 缺点： 仅限于字符串表达式，无法直接调用复杂的Python函数或执行控制流。
  • 适用场景： 简单的列间算术运算、比较、逻辑运算等。

• DataFrame.assign() 配合 lambda：

  • 优点： 极高的灵活性，可以在lambda函数中编写任何Python代码，包括条件逻辑、函数调用等。
  • 缺点： 语法相对eval()略显冗长，对于非常简单的表达式可能不如eval()直观。在某些情况下，性能可能略低于eval()。
  • 适用场景： 需要复杂计算逻辑、自定义函数调用、或eval()无法表达的场景。

5. 注意事项与最佳实践

• 可读性： 无论选择哪种方法，都应确保代码的可读性。对于复杂的管道操作，适当的换行和注释可以显著提高代码清晰度。
• 性能考量： 对于处理大规模数据集，eval()通常在性能上具有优势，因为它利用了NumExpr库进行优化。然而，对于大多数中小型数据集，两种方法的性能差异可能不明显。
• 链式操作： 这两种方法都非常适合在Pandas的链式方法调用（即管道操作）中使用，保持了代码的流畅性和简洁性。
• 避免副作用： assign() 和 eval() 都会返回一个新的DataFrame，而不是修改原始DataFrame。这符合Pandas的链式操作哲学，有助于保持数据处理的纯洁性。

6. 总结

在Pandas数据处理管道中，特别是在merge操作之后，创建新列时遇到TypeError是常见的挑战。通过本文介绍的两种方法——DataFrame.eval()和DataFrame.assign()配合lambda函数，开发者可以高效、简洁地解决这一问题。eval()适用于简洁的字符串表达式，而assign()与lambda的组合则提供了更强大的灵活性，以应对复杂的计算需求。理解并恰当运用这些技巧，将显著提升您的Pandas数据处理效率和代码质量。

以上就是Pandas管道操作：合并DataFrame后高效创建新列的技巧的详细内容，更多请关注php中文网其它相关文章！