Python中如何优化DataFrame内存占用—astype类型转换技巧详解-Python教程-PHP中文网

Python中如何优化DataFrame内存占用—astype类型转换技巧详解

星夢妙者

发布： 2025-07-09 08:42:02

原创

620人浏览过

在python中处理大规模数据时，通过合理使用astype()进行类型转换可以减少dataframe的内存消耗。首先查看当前内存使用情况，用df.info(memory_usage=true)或df.memory_usage(deep=true)获取各列数据类型和内存占用；接着选择合适的数据类型，如int8替代int64、float32替代float64、类别型数据使用category类型；然后可通过循环批量转换多个列的类型；最后注意缺失值处理、避免盲目降级以及合理使用category类型。这些方法能有效优化内存占用，提升处理效率。

Python中如何优化DataFrame内存占用—astype类型转换技巧详解

在Python中处理大规模数据时，DataFrame的内存占用常常成为瓶颈。Pandas默认为每一列分配相对宽松的数据类型（比如float64、int64），虽然通用性强，但不一定最节省内存。通过合理使用astype()进行类型转换，可以有效减少内存消耗，提升处理效率。

查看当前内存使用情况

优化的第一步是了解当前DataFrame各列的内存使用情况。你可以用如下方法：

df.info(memory_usage=True)

登录后复制

或者查看具体数值：

立即学习“Python免费学习笔记（深入）”；

df.memory_usage(deep=True)

登录后复制

这些信息会告诉你每列的数据类型和实际占用内存大小。有了这些基础数据，就可以开始有针对性地优化了。

选择合适的数据类型

不同类型的数据所占内存不同，例如：

int64 占8字节，而 int8 只占1字节；
float64 同样占8字节，如果精度要求不高，可以用 float32；
类别型数据（如性别、状态）适合用 category 类型存储，尤其当唯一值较少时，能大幅压缩内存。

举个例子：如果你有一列“用户等级”，取值范围是1~5，用int64就明显浪费空间，改用int8即可。

Tellers AI

Tellers是一款自动视频编辑工具，可以将文本、文章或故事转换为视频。

查看详情

df['level'] = df['level'].astype('int8')

登录后复制

批量转换多个列的类型

如果你有多列需要调整类型，可以写个小循环批量操作：

cols_to_downcast = ['age', 'score', 'count']
for col in cols_to_downcast:
    df[col] = df[col].astype('int16')  # 或其他合适的类型

登录后复制

这种方式适用于结构化数据，尤其是从数据库读入后未做类型优化的情况。

注意事项与常见问题

缺失值处理：某些类型不支持NaN（如int系列），如果列中有缺失值，直接转换会报错。可以先填充或删除缺失值，再转换。
```
df['col'] = df['col'].fillna(0).astype('int8')
```
登录后复制
不要盲目降级：比如把本来可能有大整数的列转成int8，会导致溢出错误。务必确认数据范围后再做转换。
category类型的适用场景：类别种类越少，用category的效果越好。如果某一列几乎都是唯一值，就不适合用这个类型。