Python MemoryError 内存溢出的原因与解决方法-Python教程-PHP中文网

Python MemoryError 内存溢出的原因与解决方法

冷炫風刃

发布： 2025-11-23 23:49:12

原创

972人浏览过

MemoryError 是因程序内存超限所致，常见于大数据加载、无限增长结构、深递归、内存泄漏及多进程数据复制；解决方法包括：逐行读取文件、使用生成器、分块处理Pandas数据、及时释放对象并调用gc.collect()、采用内存映射、优化数据类型与结构，并通过tracemalloc等工具监控内存 usage。

python memoryerror 内存溢出的原因与解决方法

Python 中出现 MemoryError 表示程序试图分配的内存超出了系统或进程可用的内存限制。这在处理大数据、循环加载文件或算法效率低下时尤为常见。下面分析其常见原因并提供实用的解决方法。

1. 常见导致 MemoryError 的原因

了解问题来源是解决问题的第一步：

加载过大的数据集到内存：例如一次性读取一个几 GB 的 CSV 或 JSON 文件到 list 或 DataFrame。
无限或过度增长的数据结构：比如列表、字典在循环中不断追加而没有释放机制。
递归过深或未优化的递归函数：大量函数调用栈占用内存，可能引发溢出。
内存泄漏：对象被意外长期引用，无法被垃圾回收，如全局缓存未清理。
并发或多进程复制数据：multiprocessing 模块中传递大对象会复制到子进程，成倍消耗内存。

2. 逐行读取与数据流式处理

避免一次性加载全部数据，使用生成器或迭代方式处理：

# 错误做法：一次性读取所有行
with open('huge_file.txt') as f:
    lines = f.readlines()  # 可能导致 MemoryError
<h1>正确做法：逐行处理</h1><p>with open('huge_file.txt') as f:
for line in f:  # 每次只加载一行
process(line)</p>

登录后复制

对于 Pandas 处理大文件，可使用分块读取：

立即学习“Python免费学习笔记（深入）”；

import pandas as pd
chunk_size = 10000
for chunk in pd.read_csv('big_data.csv', chunksize=chunk_size):
    result = process(chunk)
    # 及时释放或保存结果

登录后复制

3. 使用生成器减少内存占用

生成器（generator）按需产生数据，不将整个序列存入内存：

# 普通函数返回列表：占用高
def large_list(n):
    return [x**2 for x in range(n)]
<h1>改为生成器：内存友好</h1><p>def large_gen(n):
for x in range(n):
yield x**2</p><p>for item in large_gen(10**7):
process(item)</p>

登录后复制

4. 及时释放不再使用的对象

手动删除大对象并触发垃圾回收：

AppMall应用商店

AI应用商店，提供即时交付、按需付费的人工智能应用服务

407

查看详情

import gc
<p>data = load_huge_dataset()
result = process(data)
del data  # 删除引用
gc.collect()  # 强制垃圾回收（必要时）</p>

登录后复制

注意：一般不需要频繁调用 gc.collect()，但在大对象处理后调用一次有助于释放内存。

5. 使用内存映射（memory mapping）处理大文件

适用于大型数组或二进制文件，无需完全加载到内存：

import numpy as np
<h1>使用 memmap 处理超大数组</h1><p>arr = np.memmap('large_array.dat', dtype='float32', mode='r', shape=(100000, 100000))
subset = arr[:1000, :1000]  # 只读取需要的部分</p>

登录后复制

6. 优化数据结构与类型

选择更节省内存的数据类型：

Pandas 中使用 category 类型替代字符串。
用 int32 替代 int64，float32 替代 float64。
考虑使用 array.array 或 numpy 数组代替 list 存储数值。

7. 监控内存使用情况

使用工具定位内存瓶颈：

tracemalloc：Python 内置模块，追踪内存分配。
memory_profiler：装饰函数查看逐行内存消耗。

import tracemalloc
<p>tracemalloc.start()</p><h1>运行目标代码</h1><p>current, peak = tracemalloc.get_traced_memory()
print(f"当前内存: {current / 1024<strong>2:.2f} MB")
print(f"峰值内存: {peak / 1024</strong>2:.2f} MB")
tracemalloc.stop()</p>

登录后复制

基本上就这些。关键是避免“全量加载”，改用“按需处理”，并合理管理对象生命周期。多数 MemoryError 都可以通过结构调整避免，不一定需要升级硬件。

以上就是Python MemoryError 内存溢出的原因与解决方法的详细内容，更多请关注php中文网其它相关文章！