理解Numpy数组的存储机制
Numpy数组以其高效的内存使用和快速的数值计算能力而闻名。然而，这种效率主要体现在内存中的数据结构和计算操作上，而非默认的文件存储方式。当使用np.save函数保存Numpy数组时，它通常会以原始的二进制格式存储数据，不进行任何压缩。这意味着文件大小直接取决于数组的维度、数据类型（dtype）以及元素数量。
以一个10000 x 10000 x 7的np.float16类型数组为例：
- 数组维度：10000 * 10000 * 7
- 数据类型：np.float16，每个元素占用2字节（16位）
- 总大小计算：10000 * 10000 * 7 * 2 字节 = 1,400,000,000 字节 ≈ 1.4 GB
这个计算结果与实际观察到的1.4GB文件大小完全吻合。np.save保存的就是这种未经压缩的原始数据。
Python列表与Pickle的“引用”优化
与Numpy的原始数据存储不同，Python的pickle模块在序列化对象时，会尝试优化存储空间。当序列化一个包含多个对同一对象的引用的数据结构时，pickle不会重复存储这些对象的完整副本，而是只存储一份对象数据，并在其他地方存储对该对象的引用。
立即学习“Python免费学习笔记（深入）”；
在示例场景中，all_games是一个包含多个7元素浮点数列表的列表。当通过random.choice(all_games)来构建sampled_data时，如果all_games中的元素（即那些7元素列表）被重复选中，pickle会检测到这一点。它会为每个独特的7元素列表存储一次其内容，而对于后续出现的相同列表，则只存储一个指向已存储内容的引用。
考虑以下Python列表生成方式：
import random
import pickle
import numpy as np
# 假设 all_games 包含一些独特的7元素列表
# 例如：all_games = [[float(i) for i in range(7)] for _ in range(100)]
# 如果 all_games 元素数量远小于 SAMPLE * DRAW，则重复引用的可能性很高
def sample_games_list_pickle(all_games, file_name='sampled_list.pkl'):
DRAW = 10000
SAMPLE = 10000
# 这里的 random.choice(all_games) 可能会重复选择 all_games 中的同一个子列表对象
sampled_data = [[random.choice(all_games) for _ in range(DRAW)] for _ in range(SAMPLE)]
with open(file_name, 'wb') as file:
pickle.dump(sampled_data, file)
print(f"Pickled list saved to {file_name}")
# 示例调用 (需要先定义 all_games)
# all_games_example = [[float(j) for j in range(7)] for _ in range(100)] # 假设只有100个独特的子列表
# sample_games_list_pickle(all_games_example, 'sampled_list_optimized.pkl')在这种情况下，如果all_games中只有少数几个独特的7元素列表被反复选中，pickle文件将远小于预期，因为它只存储了这些独特列表的内容以及大量的内部引用。这就是为什么500MB的pickle文件会比1.4GB的Numpy数组小得多的原因。
强制Python列表存储副本
为了验证pickle的这种引用优化行为，我们可以修改Python列表的生成方式，强制每次都存储一个独立的副本。通过在random.choice(all_games)的结果上调用.copy()，我们可以确保sampled_data中的每个7元素列表都是一个全新的对象，即使它们的内容可能相同。
import random
import pickle
def sample_games_list_pickle_with_copy(all_games, file_name='sampled_list_copied.pkl'):
DRAW = 10000
SAMPLE = 10000
# 显式复制子列表，强制 pickle 存储所有副本
sampled_data = [[random.choice(all_games).copy() for _ in range(DRAW)] for _ in range(SAMPLE)]
with open(file_name, 'wb') as file:
pickle.dump(sampled_data, file)
print(f"Pickled list with copies saved to {file_name}")
# 示例调用 (需要先定义 all_games)
# all_games_example = [[float(j) for j in range(7)] for _ in range(100)]
# sample_games_list_pickle_with_copy(all_games_example, 'sampled_list_copied.pkl')如果运行上述代码，你会发现生成的sampled_list_copied.pkl文件大小会急剧增加，可能达到4.4 GB左右。这证实了pickle在没有显式复制时，确实利用了对象引用来节省存储空间。
优化Numpy数组的存储大小
为了减小Numpy数组的文件大小，尤其是当数据量较大且需要存储到磁盘时，可以使用numpy.savez_compressed函数。这个函数会将Numpy数组保存为.npz格式，并使用ZIP压缩算法对数据进行压缩。
import numpy as np
def sample_games_numpy_compressed(all_games_list, file_name='sampled_data_compressed.npz'):
# 将原始Python列表转换为Numpy数组
all_games_np = np.array(all_games_list, dtype=np.float16)
DRAW = 10000
SAMPLE = 10000
rng = np.random.default_rng() # 推荐使用新的随机数生成器
# 生成随机索引
sampled_indices = rng.choice(all_games_np.shape[0], size=(SAMPLE, DRAW), replace=True)
# 根据索引获取采样数据
sampled_data = all_games_np[sampled_indices]
# 使用 savez_compressed 保存压缩后的Numpy数组
np.savez_compressed(file_name, data=sampled_data)
print(f"Compressed Numpy array saved to {file_name}")
# 示例调用 (需要先定义 all_games_list)
# all_games_list_example = [[float(j) for j in range(7)] for _ in range(100000)] # 假设有10万个独特的子列表
# sample_games_numpy_compressed(all_games_list_example, 'sampled_data_compressed.npz')通过使用np.savez_compressed，生成的.npz文件大小通常会显著小于原始的1.4GB，甚至可能小于500MB的pickle文件，具体取决于数据的可压缩性。
总结与注意事项
- Numpy np.save: 默认存储原始二进制数据，不进行压缩。文件大小直接反映数据量和数据类型。
- Python pickle.dump: 会尝试优化存储，对重复的对象存储引用而非副本。这可能导致文件意外地小，但如果所有对象都是独立的，文件大小会非常大。
- 优化Numpy存储: 使用numpy.savez_compressed是减小Numpy数组文件大小的有效方法。
- Python列表陷阱: 如果你希望pickle存储所有对象的独立副本（例如，为了避免后续修改一个对象影响到其他“引用”它的地方），请确保在构建列表时显式地进行.copy()操作。
-
选择存储格式:
- 对于需要高性能计算且数据在内存中处理时，Numpy数组是首选。
- 对于磁盘存储，如果数据量大，Numpy的savez_compressed或HDF5等格式更为合适。
- pickle适用于序列化任意Python对象，但其文件大小和性能可能不如专门的数据格式。
- 在任何情况下，都应根据实际需求（内存、磁盘、读写速度、互操作性等）权衡选择最合适的存储方案。
理解不同数据结构和序列化方法的底层机制，对于高效地处理和存储数据至关重要。
