在Pandas DataFrame中为每行动态应用不同函数

本文旨在探讨如何在pandas dataframe中高效地为每一行应用不同的可调用函数，尤其当所需函数作为数据本身存储在dataframe列中时。我们将通过结合`pd.concat`整合数据源，并利用`dataframe.apply`方法配合一个辅助函数，实现灵活且可读性强的行级动态函数调用，从而避免低效的列表推导式，提升数据处理的专业性和效率。

引言：Pandas中动态函数应用的挑战

在数据分析和处理中，我们经常需要对DataFrame的每一行执行某种操作。然而，有时这种操作并非单一固定，而是根据行中特定条件或参数动态选择不同的函数。例如，一个DataFrame可能包含输入数据，另一个DataFrame存储了计算所需的参数，而第三个DataFrame甚至指定了应该对每行数据执行的具体函数。如何在Pandas中优雅且高效地实现这种“按行动态调度函数”的需求，是许多数据科学家面临的挑战。

传统方法的局限性

在没有深入了解Pandas高级功能时，一个常见的做法是使用Python的列表推导式来遍历DataFrame的每一行，并手动调用相应的函数。例如，给定以下场景：

import pandas as pd
import numpy as np

# 定义两个不同的函数
def func_1(in_val, a, b):
    return in_val + a + b

def func_2(in_val, a, b):
    return in_val + (2 * (a + b))

# 模拟输入数据DataFrame
input_df = pd.DataFrame(data=[1 for row in range(10)], columns=["GR"])

# 模拟参数DataFrame，其中包含要应用的函数
param_df = pd.DataFrame(data=[[5, 10] for row in range(10)], columns=["x", "y"])
param_df["method"] = func_1 # 默认使用func_1
param_df.loc[5:, "method"] = func_2 # 后五行使用func_2

# 存储结果的DataFrame
output_df = pd.DataFrame(data=[np.nan for row in range(10)], columns=["VCLGR"])

# 使用列表推导式实现（不推荐）
output_df["VCLGR_list_comp"] = [
    param_df["method"][i](input_df["GR"][i], param_df["x"][i], param_df["y"][i])
    for i in range(len(input_df))
]
print("List Comprehension Result:")
print(output_df)

尽管列表推导式能够实现功能，但它通常不如Pandas内置的矢量化操作或apply方法高效，尤其对于大型DataFrame而言。此外，这种方法破坏了Pandas的链式操作和可读性，使得代码维护变得复杂。

Pandas apply 方法：行级操作的核心

Pandas提供了DataFrame.apply()方法，它允许我们沿着DataFrame的轴（行或列）应用一个函数。当axis=1时，apply会将DataFrame的每一行作为Series对象传递给指定的函数。这为我们动态调用函数提供了基础。

数据整合：为 apply 准备数据

为了让apply方法能够在一个函数调用中获取到所有必需的信息（输入值、参数以及要调用的函数本身），我们需要将所有相关的数据整合到一个DataFrame中。在本例中，input_df、param_df中的列都需要在同一行中可用。最直接的方法是使用pd.concat将这些DataFrame沿着列轴（axis=1）合并。

# 合并输入数据和参数数据，确保所有信息在同一行
combined_df = pd.concat([param_df, input_df], axis=1)
print("\nCombined DataFrame:")
print(combined_df)

合并后的combined_df的每一行都将包含GR（来自input_df）、x、y和method（来自param_df），使得一个辅助函数可以轻松地访问这些值。

AppMall应用商店

AI应用商店，提供即时交付、按需付费的人工智能应用服务

56

查看详情

构建辅助函数：动态调用逻辑

现在，我们需要创建一个辅助函数，它将接收combined_df的每一行作为输入。在这个函数内部，我们将从行中提取出存储的函数引用，以及该函数所需的参数，然后执行这个动态获取的函数。

def indirect_callable_executor(row):
    """
    一个辅助函数，接收DataFrame的一行（Series对象），
    从行中提取出可调用函数及其参数，并执行该函数。
    """
    # 从行中获取函数引用
    method_func = row['method']
    # 从行中获取函数的参数
    in_val = row['GR']
    a = row['x']
    b = row['y']
    # 调用获取到的函数并返回结果
    return method_func(in_val, a, b)

这个indirect_callable_executor函数是整个解决方案的核心。它将DataFrame.apply(axis=1)传递给它的Series对象（即combined_df的每一行）作为row参数。通过row['column_name']语法，我们可以轻松访问该行中存储的任何数据，包括函数对象本身。

完整示例与解析

现在，将所有部分组合起来，使用apply方法实现动态函数调用：

# 完整的解决方案
# 1. 合并相关DataFrame
combined_df = pd.concat([param_df, input_df], axis=1)

# 2. 定义辅助执行函数
def indirect_callable_executor(row):
    return row['method'](row['GR'], row['x'], row['y'])

# 3. 使用 apply 方法应用辅助函数
output_df["VCLGR_apply"] = combined_df.apply(indirect_callable_executor, axis=1)

print("\nApply Method Result:")
print(output_df)

# 验证两种方法的结果是否一致
print("\nResults are identical:", (output_df["VCLGR_list_comp"] == output_df["VCLGR_apply"]).all())

解析：

1. combined_df = pd.concat([param_df, input_df], axis=1): 这一步创建了一个新的DataFrame，其中包含了执行计算所需的所有数据。param_df和input_df的行索引必须对齐，以确保正确的数据匹配。
2. indirect_callable_executor(row): 这个函数是实际执行计算的地方。apply(axis=1)会逐行调用它，并将每一行作为一个Series对象传递给row参数。函数内部通过row['column_name']获取到该行中存储的函数（row['method']）和所有参数（row['GR'], row['x'], row['y']），然后执行函数并返回结果。
3. output_df["VCLGR_apply"] = combined_df.apply(indirect_callable_executor, axis=1): 最终，apply方法将indirect_callable_executor函数应用到combined_df的每一行，并将返回的结果收集起来，形成新的VCLGR_apply列。

优势与最佳实践

• 可读性与维护性： 这种方法比列表推导式更具Pandas风格，代码结构更清晰，易于理解和维护。
• 灵活性： 能够根据数据本身动态决定执行哪个函数，极大地增强了数据处理的灵活性。
• 性能： 对于中等规模的DataFrame，apply通常比纯Python循环或列表推导式有更好的性能，因为它在内部可以利用Cython优化。然而，对于非常大的DataFrame，如果可能，应优先考虑完全矢量化的Pandas操作。
• 错误处理： 可以在indirect_callable_executor函数内部添加错误处理逻辑，以优雅地处理函数执行过程中可能出现的异常。
• 列名匹配： 确保indirect_callable_executor中引用的列名与combined_df中的列名完全匹配。

总结

当需要在Pandas DataFrame的每一行上根据行内数据动态应用不同的函数时，将pd.concat用于数据整合，并结合DataFrame.apply(axis=1)与一个辅助执行函数，是实现这一目标的有效且专业的途径。这种方法不仅提高了代码的可读性和维护性，也为复杂的、条件依赖的行级数据处理提供了强大的解决方案。

以上就是在Pandas DataFrame中为每行动态应用不同函数的详细内容，更多请关注php中文网其它相关文章！