Python 多进程：AsyncResult 与回调函数，哪种方式更优？-Python教程-PHP中文网

Python 多进程：AsyncResult 与回调函数，哪种方式更优？

霞舞

发布： 2025-08-22 17:46:13

原创

537人浏览过

python 多进程：asyncresult 与回调函数，哪种方式更优？

本文深入探讨了 Python 多进程 multiprocessing.Pool 中 apply_async() 方法的两种结果获取方式：AsyncResult.get() 和回调函数。分析了它们在处理大量任务时的优缺点，包括结果顺序、异常处理、内存占用等方面，并提供了相应的代码示例和注意事项，帮助开发者选择更适合自身场景的方法。

在使用 Python 的 multiprocessing.Pool 进行并行计算时，apply_async() 方法允许异步地提交任务。获取任务结果有两种主要方式：通过 AsyncResult 对象的 get() 方法，或者使用回调函数。这两种方法各有优劣，选择哪一种取决于具体的应用场景。

AsyncResult.get() 方法

这种方式将每个异步任务的 AsyncResult 对象存储在一个列表中，然后在所有任务提交后，通过循环调用 get() 方法来获取结果。

import multiprocessing

def func(x):
    # 模拟耗时操作
    return x * x

def process_data(pool, n):
    results = []
    for i in range(n):
        result = pool.apply_async(func, (i,))
        results.append(result)

    pool.close()
    pool.join()
    data = [r.get() for r in results]
    return data

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=4)
    n = 10
    data = process_data(pool, n)
    print(data)

登录后复制

优点：

清程爱画

AI图像与视频生成平台，拥有超丰富的工作流社区和多种图像生成模式。

170

查看详情

立即学习“Python免费学习笔记（深入）”；

代码结构清晰，易于理解和维护。
不需要使用全局变量来存储结果。

缺点：

必须等待所有任务完成后才能获取结果，无法实时处理。
如果任务数量巨大，AsyncResult 对象列表可能会占用大量内存。
如果某个任务抛出异常，只有在调用 get() 方法时才能捕获，可能会延迟异常处理。

异常处理：

如果 func 函数可能抛出异常，需要使用 try...except 块来处理。

    data = []
    for r in results:
        try:
            data.append(r.get())
        except Exception as e:
            # 处理异常
            print(f"Error: {e}")
            data.append(None) # 或者其他合适的默认值

登录后复制

回调函数

这种方式在提交任务时指定一个回调函数，当任务完成后，该函数会被自动调用，并将结果作为参数传递给它。

import multiprocessing

data = []  # 使用全局变量存储结果

def func(x):
    # 模拟耗时操作
    return x * x

def save_result(result):
    global data
    data.append(result)

def process_data(pool, n):
    for i in range(n):
        pool.apply_async(func, (i,), callback=save_result)

    pool.close()
    pool.join()

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=4)
    n = 10
    process_data(pool, n)
    print(data)

登录后复制

优点：

立即学习“Python免费学习笔记（深入）”；

可以实时处理任务结果，无需等待所有任务完成。
可以更早地发现和处理异常。
在某些情况下，可以减少内存占用。

缺点：

需要使用全局变量来存储结果，可能导致代码可读性和可维护性下降。
结果的顺序可能与任务提交的顺序不一致，需要额外的处理来保证顺序。
代码结构相对复杂。

结果顺序：

回调函数的执行顺序不一定与任务提交的顺序相同。如果需要保证结果顺序，可以使用以下方法：

预分配结果列表： 在提交任务之前，创建一个长度为 n 的列表，并用 None 填充。
传递索引参数： 将任务的索引作为参数传递给 func 函数，并在回调函数中使用该索引来更新结果列表。

import multiprocessing

data = [None] * 10 # 预分配结果列表

def func(x, index):
    # 模拟耗时操作
    return x * x, index

def save_result(result):
    global data
    value, index = result
    data[index] = value

def process_data(pool, n):
    for i in range(n):
        pool.apply_async(func, (i, i), callback=save_result)

    pool.close()
    pool.join()

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=4)
    n = 10
    process_data(pool, n)
    print(data)

登录后复制

异常处理：

使用回调函数时，可以通过 error_callback 参数来处理异常。

def handle_exception(e):
    print(f"Error: {e}")

def process_data(pool, n):
    for i in range(n):
        pool.apply_async(func, (i,), callback=save_result, error_callback=handle_exception)

    pool.close()
    pool.join()

登录后复制

总结

特性	AsyncResult.get()	回调函数
结果处理	批量处理	实时处理
代码结构	简单清晰	相对复杂
内存占用	可能较高	可能较低
结果顺序	保持提交顺序	默认不保证顺序
异常处理	延迟处理	实时处理
全局变量	不需要	需要