Python生成器：高效实现分批次（Batch）数据输出的策略与实践

import itertools

def compute_add_full_list():
    data = range(5)
    cases = list(itertools.permutations(data, 2))
    print(f"所有排列组合: {cases}") # 打印所有排列组合
    result = []
    for x, y in cases:
        ans = x + y
        result.append(ans)
    return result

# 调用并打印结果
report_full = compute_add_full_list()
print(f"完整结果列表: {report_full}")

import itertools

def compute_add_single_generator():
    data = range(5)
    cases = list(itertools.permutations(data, 2))
    print(f"所有排列组合: {cases}") # 打印所有排列组合
    for x, y in cases:
        ans = x + y
        yield ans

# 迭代生成器并收集结果
report_single = []
for res in compute_add_single_generator():
    report_single.append(res)
print(f"单值生成器结果: {report_single}")

import itertools

def compute_add_generator_batch_problem(batch_size):
    data = range(5)
    cases = list(itertools.permutations(data, 2))
    print(f"所有排列组合: {cases}") # 打印所有排列组合

    res = []
    for x, y in cases:
        ans = x + y

        if len(res) != batch_size:
            res.append(ans)
            continue # 如果未满批次，继续添加

        # 批次已满，yield并重置
        yield res
        res = [] # 重置批次列表

# 调用并观察输出
batch_size_problem = 3
print(f"\n尝试分批次生成器 (问题版本), 批次大小: {batch_size_problem}")
for res_batch in compute_add_generator_batch_problem(batch_size_problem):
    print(f"批次结果: {res_batch}")

import itertools

def compute_add_generator_batch(batch_size):
    """
    一个生成器函数，用于按指定批次大小返回计算结果列表。

    Args:
        batch_size (int): 每个批次包含的元素数量。必须大于0。

    Yields:
        list: 一个包含 `batch_size` 个（或更少，对于最后一个批次）计算结果的列表。
    """
    assert batch_size > 0, "批次大小必须大于0"

    data = range(5)

    # 注意：为了简化示例，这里仍然一次性生成了所有排列组合。
    # 在实际大数据场景中，itertools.permutations本身就是惰性迭代器，
    # 可以直接在其上进行循环，避免一次性生成所有cases。
    cases = itertools.permutations(data, 2) 

    batch = [] # 用于存储当前批次的元素
    for x, y in cases:
        ans = x + y
        batch.append(ans)
        if len(batch) == batch_size:
            yield batch # 批次已满，yield当前批次
            batch = []  # 重置批次列表，准备下一个批次

    # 循环结束后，处理可能存在的不足一个批次的剩余元素
    if batch: # 如果batch不为空，说明还有剩余元素
        yield batch

# 调用并验证输出
batch_size_correct = 3
print(f"\n正确的分批次生成器, 批次大小: {batch_size_correct}")
all_batches = []
for res_batch in compute_add_generator_batch(batch_size_correct):
    all_batches.append(res_batch)
    print(f"批次结果: {res_batch}")

print(f"所有批次汇总: {all_batches}")

所有排列组合: [(0, 1), (0, 2), (0, 3), (0, 4), (1, 0), (1, 2), (1, 3), (1, 4), (2, 0), (2, 1), (2, 3), (2, 4), (3, 0), (3, 1), (3, 2), (3, 4), (4, 0), (4, 1), (4, 2), (4, 3)]

正确的分批次生成器, 批次大小: 3
批次结果: [1, 2, 3]
批次结果: [4, 1, 3]
批次结果: [4, 5, 2]
批次结果: [3, 5, 6]
批次结果: [3, 4, 5]
批次结果: [7, 4, 5]
批次结果: [6, 7]
所有批次汇总: [[1, 2, 3], [4, 1, 3], [4, 5, 2], [3, 5, 6], [3, 4, 5], [7, 4, 5], [6, 7]]