深入解析NumPy与Pickle的数据存储差异及优化策略

理解NumPy与Pickle的数据存储机制

在处理大量数值数据时，numpy数组因其高效的内存布局和计算性能而广受欢迎。然而，在将numpy数组持久化到磁盘时，其文件大小有时会超出预期，甚至可能比等效的python列表通过pickle序列化后更大。这背后的原因在于它们各自的存储机制。

NumPy的原始数据存储

当使用np.save函数保存NumPy数组时，NumPy会以一种原始、未压缩的二进制格式存储数组的数据。这意味着文件大小直接由数组的维度、数据类型（dtype）和元素数量决定。

以一个10000 x 10000 x 7的np.float16数组为例：

• 数组维度：10000 10000 7 = 700,000,000 个元素
• 数据类型：np.float16，每个元素占用2字节（16位）
• 总存储空间：700,000,000 * 2 字节 = 1,400,000,000 字节 ≈ 1.4 GB

因此，一个1.4 GB的NumPy数组正是其原始数据大小的精确体现，np.save不会对其进行任何压缩。

Pickle的对象引用优化

Python的pickle模块用于序列化和反序列化Python对象结构。虽然pickle本身不提供数据压缩功能，但在某些特定场景下，它能够通过对象引用来优化存储。

考虑以下生成列表的示例代码：

import random
import pickle

def sample_games_list(all_games_original, file_name):
    DRAW = 10000
    SAMPLE = 10000
    # 注意：这里 random.choice(all_games_original) 返回的是对原始列表中子列表的引用
    sampled_data = [[random.choice(all_games_original) for _ in range(DRAW)] for _ in range(SAMPLE)]

    with open(file_name, 'wb') as file:
        pickle.dump(sampled_data, file)

# 假设 all_games_original 是一个包含7个浮点数的子列表的列表
# 例如：all_games_original = [[float(i) for i in range(7)] for _ in range(N)]

在这个示例中，sampled_data列表的每个内部子列表 (random.choice(all_games_original)) 实际上是原始all_games_original列表中某个子列表的引用，而不是一个新的独立副本。pickle在序列化时，能够识别并利用这种对象引用关系。它只会存储原始子列表一次，然后多次引用它，从而显著减少了序列化后的文件大小。

如果强制pickle存储每个子列表的独立副本，文件大小会急剧增加。例如，通过添加.copy()方法：

import random
import pickle

def sample_games_list_with_copy(all_games_original, file_name):
    DRAW = 10000
    SAMPLE = 10000
    # 强制复制子列表，不再是引用
    sampled_data = [[random.choice(all_games_original).copy() for _ in range(DRAW)] for _ in range(SAMPLE)]

    with open(file_name, 'wb') as file:
        pickle.dump(sampled_data, file)

在这种情况下，pickle将被迫为每个内部子列表存储其完整的独立内容，这会导致文件大小变得非常庞大（根据经验估计，可能达到4.4 GB左右，远超NumPy的1.4 GB）。这清晰地揭示了pickle在处理对象引用时的优化机制，它并非真正的“压缩”，而是利用了Python对象模型的特性。

优化NumPy数组的存储空间

既然np.save不压缩数据，那么对于需要减小NumPy数组文件大小的场景，我们可以使用numpy.savez_compressed函数。

存了个图

视频图片解析/字幕/剪辑，视频高清保存/图片源图提取

17

查看详情

numpy.savez_compressed会将一个或多个NumPy数组以.npz格式保存，并使用zipfile模块进行压缩。这通常能显著减小文件大小，特别是在数据存在重复模式或可以被高效压缩的情况下。

以下是如何使用numpy.savez_compressed的示例：

import numpy as np

def sample_games_compressed_numpy(all_games_original, file_name):
    # 将原始列表转换为NumPy数组
    all_games_array = np.array(all_games_original, dtype=np.float16)
    DRAW = 10000
    SAMPLE = 10000

    # 初始化随机数生成器
    rng = np.random.default_rng() 

    # 生成随机索引
    sampled_indices = rng.choice(all_games_array.shape[0], size=(SAMPLE, DRAW), replace=True)

    # 根据索引获取采样数据
    sampled_data = all_games_array[sampled_indices]

    # 使用 savez_compressed 保存压缩后的NumPy数组
    # 文件名通常以 .npz 结尾
    np.savez_compressed(file_name + '.npz', sampled_data=sampled_data)

# 示例使用（假设 all_games_original 已定义）
# N = 100 # 假设原始列表有N个子列表
# all_games_original = [[float(j) for j in range(7)] for i in range(N)]
# sample_games_compressed_numpy(all_games_original, 'compressed_numpy_data')

通过使用np.savez_compressed，您将能够获得一个比原始np.save文件小得多的.npz文件，同时仍然保持NumPy数组的优点，如快速加载和高效的后续计算。

注意事项与最佳实践

1. 选择正确的存储方式：

   • np.save： 适用于不需要压缩、对加载速度有极高要求、或数据本身难以被有效压缩的场景。它提供了最快的加载速度，因为数据可以直接从磁盘映射到内存。
   • np.savez_compressed： 当存储空间是一个关键考虑因素时，这是保存NumPy数组的首选方法。它在文件大小和加载速度之间取得了良好的平衡。
   • pickle.dump： 主要用于序列化复杂的Python对象结构，而不仅仅是原始数值数据。对于纯数值数据，NumPy的存储方式通常更优。

2. 压缩的代价： 压缩和解压缩数据需要额外的CPU时间。虽然numpy.savez_compressed通常效率很高，但对于极端性能敏感的应用，这种额外的开销可能需要权衡。

3. 数据类型选择： 仔细选择NumPy数组的数据类型（dtype）对内存和磁盘占用至关重要。例如，np.float16比np.float32或np.float64节省一半或四分之三的空间，但会牺牲精度。根据数据范围和精度要求做出明智选择。

4. 理解pickle的优化： pickle在处理重复对象引用时的行为是一个重要的细节，它解释了为什么在某些情况下，一个看似低效的Python列表序列化后文件反而更小。但这并不意味着pickle是存储大量数值数据的通用高效方案。对于数值数据，NumPy的工具链依然是首选。

总结

NumPy数组的np.save函数以原始、未压缩的格式存储数据，其文件大小直接反映了数据在内存中的占用。相比之下，pickle.dump在序列化包含重复引用的Python列表时，能够通过对象引用优化存储，从而产生更小的文件。然而，这并非真正的压缩，且在强制复制对象时，pickle文件会变得非常庞大。为了有效减小NumPy数组的存储空间，应优先使用numpy.savez_compressed函数，它能提供良好的压缩效果，同时保持NumPy数组的优势。在实际应用中，理解这些存储机制并根据具体需求选择合适的工具和策略至关重要。

以上就是深入解析NumPy与Pickle的数据存储差异及优化策略的详细内容，更多请关注php中文网其它相关文章！