Pandas 合并后在管道中高效创建新列：eval 与 assign 的应用

本文旨在解决Pandas数据处理中，DataFrame合并（`merge`）操作后，如何在管道（`pipe`）中高效、简洁地利用现有列创建新列的问题。我们将探讨直接使用 `assign` 时可能遇到的 `TypeError`，并提供两种专业的解决方案：利用 `DataFrame.eval()` 进行表达式计算，以及结合 `lambda` 函数使用 `DataFrame.assign()`，以优化代码可读性和执行效率。

在数据分析和处理过程中，Pandas DataFrame 的合并（merge）操作是常见的步骤。完成合并后，我们通常需要基于合并后的数据创建新的计算列。为了保持代码的流畅性和可读性，将这些操作串联成一个管道（pipeline）是推荐的做法。然而，在管道中直接使用 assign 或 transform 来创建新列时，如果对列名的引用方式不当，可能会遇到 TypeError。

问题描述

考虑以下两个Pandas DataFrame：

import pandas as pd

solar_part = pd.DataFrame(
    {'pool': 1,
    'orig': 635.1}, index = [0]
)

solar_aod = pd.DataFrame(
    {'pool': [1,1,1,1],
     'MoP': [1,2,3,4],
    'prin': [113.1, 115.3, 456.6, 234.1]}
)

print("solar_part DataFrame:")
print(solar_part)
print("\nsolar_aod DataFrame:")
print(solar_aod)

输出:

AI帮个忙

多功能AI小工具，帮你快速生成周报、日报、邮、简历等

116

查看详情

solar_part DataFrame:
   pool   orig
0     1  635.1

solar_aod DataFrame:
   pool  MoP   prin
0     1    1  113.1
1     1    2  115.3
2     1    3  456.6
3     1    4  234.1

我们的目标是将 solar_aod 与 solar_part 基于 pool 列进行左连接，然后在合并后的 DataFrame 中创建一个名为 remn 的新列，其值为 prin / orig。

尝试在管道中直接使用 assign 并引用列名字符串时，可能会遇到如下错误：

# 错误示例
try:
    solar_p = (
        solar_aod
        .merge(solar_part, on = ['pool'], how = 'left')
        .assign(remn = ['prin'] / ['orig'])
    )
except TypeError as e:
    print(f"\n捕获到错误: {e}")

输出:

捕获到错误: unsupported operand type(s) for /: 'list' and 'list'

这个错误的原因在于 ['prin'] 和 ['orig'] 被解释为包含字符串的列表，而不是 DataFrame 的 Series 列。Pandas 不支持对两个列表进行除法运算。即使尝试只使用引号（例如 assign(remn = 'prin' / 'orig')），也会因为尝试对两个字符串进行除法运算而引发 TypeError。

解决方案一：使用 DataFrame.eval()

DataFrame.eval() 方法提供了一种高效且简洁的方式来评估字符串表达式，从而创建或修改 DataFrame 中的列。它特别适用于涉及现有列的数值计算，并且在性能上通常优于纯Python循环。在管道中使用 eval() 时，可以直接引用列名作为表达式的一部分。

solar_p_eval = (
    solar_aod
    .merge(solar_part, on='pool', how='left')
    .eval('remn = prin / orig')
)

print("\n使用 eval() 创建新列后的 DataFrame:")
print(solar_p_eval)

输出:

使用 eval() 创建新列后的 DataFrame:
   pool  MoP   prin   orig      remn
0     1    1  113.1  635.1  0.178082
1     1    2  115.3  635.1  0.181546
2     1    3  456.6  635.1  0.718942
3     1    4  234.1  635.1  0.368603

优点：

• 简洁性: 表达式直接以字符串形式给出，非常直观。
• 性能: eval() 在底层利用 NumExpr 库进行优化，对于大型 DataFrame 的数值计算通常比纯 Python 更快。
• 可读性: 对于简单的列间运算，eval() 的语法非常清晰。

注意事项：

• eval() 主要用于数值和布尔表达式。如果需要执行更复杂的Python函数调用或逻辑，可能需要结合其他方法。
• 表达式中的列名必须是合并后 DataFrame 中存在的列。

解决方案二：使用 DataFrame.assign() 结合 lambda 函数

DataFrame.assign() 方法是创建新列的强大工具，它允许我们通过传入关键字参数来定义新列。当在管道中使用 assign() 并且新列的计算依赖于前一步操作（例如 merge 之后）生成的 DataFrame 时，可以使用 lambda 函数。lambda 函数的参数会自动接收当前管道中的 DataFrame，从而允许我们以 df['column_name'] 的形式访问列。

solar_p_assign_lambda = (
    solar_aod
    .merge(solar_part, on='pool', how='left')
    .assign(remn=lambda df: df['prin'] / df['orig'])
)

print("\n使用 assign() 结合 lambda 函数创建新列后的 DataFrame:")
print(solar_p_assign_lambda)

输出:

使用 assign() 结合 lambda 函数创建新列后的 DataFrame:
   pool  MoP   prin   orig      remn
0     1    1  113.1  635.1  0.178082
1     1    2  115.3  635.1  0.181546
2     1    3  456.6  635.1  0.718942
3     1    4  234.1  635.1  0.368603

优点：

• 灵活性: lambda 函数内部可以执行任何有效的 Python 代码，包括调用外部函数、条件逻辑等，这使得 assign() 在处理复杂逻辑时更为强大。
• 可组合性: assign() 可以一次性创建多个新列，每个新列的计算都可以是独立的 lambda 表达式。

注意事项：

• 对于非常简单的数值表达式，eval() 可能在性能上略优。
• lambda 表达式的语法对于初学者来说可能需要一些适应。

总结与最佳实践

在 Pandas 数据管道中，合并 DataFrame 后创建新列是一个常见需求。为了保持代码的简洁、高效和可读性，我们应避免直接使用字符串列表作为 assign 的值。

• 对于简单的数值或布尔表达式（例如 col1 / col2, col1 > 10），强烈推荐使用 DataFrame.eval()。它的语法简洁，并且在性能上通常表现出色。
• 对于需要更复杂 Python 逻辑、函数调用或多步计算的情况，DataFrame.assign() 结合 lambda 函数是更灵活的选择。它允许你充分利用 Python 的表达能力。

选择哪种方法取决于具体的计算需求和代码风格偏好。在大多数情况下，eval() 提供了极佳的平衡，而 assign 与 lambda 则提供了无与伦比的灵活性。通过掌握这两种方法，你可以在 Pandas 数据处理管道中更加高效和优雅地创建新列。

以上就是Pandas 合并后在管道中高效创建新列：eval 与 assign 的应用的详细内容，更多请关注php中文网其它相关文章！