Python 数据分块处理大数据集-Python教程-PHP中文网

Python 数据分块处理大数据集

舞夢輝影

发布： 2025-09-22 09:46:01

原创

490人浏览过

分块处理大数据可避免内存溢出。使用pandas的chunksize参数可逐块读取大型CSV文件，适合聚合清洗；通过生成器可自定义分块逻辑，实现懒加载；结合joblib能并行处理独立数据块，提升计算效率。关键在于根据数据规模和任务选择合适策略，并及时释放内存、保存中间结果。

python 数据分块处理大数据集

处理大数据集时，直接将整个数据加载到内存中往往不可行。Python 提供了多种方式对数据进行分块处理，既能节省内存，又能高效完成计算任务。核心思路是：按批次读取和处理数据，而不是一次性加载全部内容。

使用 pandas 分块读取大型 CSV 文件

当面对 GB 级别的 CSV 文件时，pandas 的 read_csv 支持 chunksize 参数，可以逐块读取数据。

示例代码：

import pandas as pd
<p>chunk_size = 10000
file_path = 'large_data.csv'</p><p>for chunk in pd.read_csv(file_path, chunksize=chunk_size):</p><h1>对每一块数据进行处理</h1><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">processed = chunk.dropna().groupby('category').sum()
print(processed)

登录后复制

立即学习“Python免费学习笔记（深入）”；

这种方式避免内存溢出，适合做聚合、清洗等操作。你可以将结果累加或保存到新文件。

利用生成器自定义分块逻辑

对于非结构化数据或需要特定分块规则的情况，可以用生成器实现懒加载。

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

查看详情

例如，从一个大列表中每次返回 n 条记录：

def chunk_data(data, size):
    for i in range(0, len(data), size):
        yield data[i:i + size]
<h1>使用示例</h1><p>large_list = list(range(100000))
for block in chunk_data(large_list, 5000):
print(f"Processing {len(block)} items")

登录后复制

这种方法灵活，适用于任意类型的数据流控制。

结合 joblib 实现并行分块处理

如果每块数据可独立处理，可用 joblib 并行化提升速度。

from joblib import Parallel, delayed
<p>def process_chunk(chunk):
return sum(chunk)  # 示例操作</p><p>data = list(range(100000))
chunked = [data[i:i+10000] for i in range(0, len(data), 10000)]</p><p>results = Parallel(n_jobs=-1)(delayed(process_chunk)(c) for c in chunked)
total = sum(results)
print(f"Total sum: {total}")

登录后复制

充分利用多核 CPU，特别适合数值计算或模型预测类任务。

基本上就这些。关键是根据数据大小和处理目标选择合适的分块策略。不复杂但容易忽略的是：记得及时释放不用的变量，并考虑把中间结果写入磁盘，防止内存堆积。

以上就是Python 数据分块处理大数据集的详细内容，更多请关注php中文网其它相关文章！