1. NumPy数组的存储机制
numpy数组以连续的内存块存储数据，其大小直接由数组的形状（shape）和数据类型（dtype）决定，且默认情况下不进行压缩。这种设计旨在提供高效的数值计算性能，因为数据可以被快速访问和处理。
例如，一个形状为 (10000, 10000, 7) 且数据类型为 np.float16 的NumPy数组，其理论存储大小可以通过以下方式计算：
- 数组元素总数：10000 * 10000 * 7 = 700,000,000
- np.float16 占用内存：2 字节（16位）
- 总存储大小：700,000,000 * 2 字节 = 1,400,000,000 字节 = 1.4 GB
这与观察到的1.4 GB大小完全吻合。NumPy在保存这类数组时，会直接将这些原始的二进制数据写入文件，因此文件大小与内存中的数据大小基本一致。
2. Python列表与Pickle的优化策略
与NumPy数组的原始存储不同，Python列表存储的是对对象的引用。当使用 pickle 模块序列化Python列表时，pickle 会智能地处理共享对象引用。如果列表中包含多个对同一个对象的引用，pickle 只会序列化该对象一次，然后在其他位置存储对该已序列化对象的引用。这可以显著减少文件大小，尤其是在数据存在大量重复引用时。
考虑以下场景： 假设我们有一个 all_games 列表，其中包含多个7元素的浮点数子列表。当我们通过 random.choice(all_games) 构造一个大型的 sampled_data 列表时，sampled_data 中的每个元素实际上是对 all_games 中某个现有子列表的引用，而不是创建新的子列表对象。
示例代码：Python列表的采样与Pickle序列化
立即学习“Python免费学习笔记（深入）”；
import random
import pickle
import sys
# 假设 all_games 包含一些7元素的列表
# 为了演示，我们创建一个简单的 all_games
all_games = [[float(i), float(i+1), float(i+2), float(i+3), float(i+4), float(i+5), float(i+6)] for i in range(100)]
def sample_and_pickle_list(all_games, file_name, DRAW=10000, SAMPLE=10000):
print(f"开始生成Python列表 (SAMPLE={SAMPLE}, DRAW={DRAW})...")
# sampled_data 存储的是对 all_games 中现有子列表的引用
sampled_data = [[random.choice(all_games) for _ in range(DRAW)] for _ in range(SAMPLE)]
print(f"生成的列表内存大小估算 (sys.getsizeof): {sys.getsizeof(sampled_data) / (1024**2):.2f} MB (仅顶层列表)")
with open(file_name, 'wb') as file:
pickle.dump(sampled_data, file)
print(f"Python列表已保存到 {file_name}，文件大小可能远小于NumPy数组。")
# 调用函数进行演示
# sample_and_pickle_list(all_games, 'sampled_list.pkl')在这种情况下，由于 sampled_data 中大量元素引用了 all_games 中相同的少量子列表对象，pickle 在序列化时只存储这些独特的子列表一次，然后记录它们的引用关系，从而导致最终的 .pkl 文件远小于NumPy数组的原始数据大小（例如，500 MB 对比 1.4 GB）。
关键验证：强制复制对象
如果我们在创建 sampled_data 时强制复制每个子列表，即 random.choice(all_games).copy()，那么 sampled_data 将包含大量独立的子列表对象。在这种情况下，pickle 将不得不序列化每一个独立的子列表，文件大小将急剧增加，甚至可能超过NumPy数组的大小（例如，达到4.4 GB）。这有力地证明了 pickle 对共享引用的优化作用。
3. 优化NumPy数组存储大小
当NumPy数组占用过多存储空间时，最直接有效的优化方法是使用NumPy自带的压缩功能。numpy.savez_compressed 函数可以将NumPy数组保存为 .npz 格式，并使用 zip 压缩算法对数据进行压缩。
示例代码：NumPy数组的采样与压缩保存
import numpy as np
import random
import os
# 假设 all_games 包含一些7元素的列表
# 为了演示，我们创建一个简单的 all_games
all_games_list = [[float(i), float(i+1), float(i+2), float(i+3), float(i+4), float(i+5), float(i+6)] for i in range(100)]
# 将 all_games 转换为 NumPy 数组以便后续采样
all_games_np = np.array(all_games_list, dtype=np.float16)
def sample_and_save_numpy(all_games_source, file_name, DRAW=10000, SAMPLE=10000):
print(f"开始生成NumPy数组 (SAMPLE={SAMPLE}, DRAW={DRAW})...")
# 生成随机索引
rng = np.random.default_rng()
sampled_indices = rng.choice(all_games_source.shape[0], size=(SAMPLE, DRAW), replace=True)
# 根据索引获取采样数据
sampled_data_np = all_games_source[sampled_indices]
print(f"生成的NumPy数组形状: {sampled_data_np.shape}, dtype: {sampled_data_np.dtype}")
print(f"NumPy数组原始内存大小估算: {sampled_data_np.nbytes / (1024**3):.2f} GB")
# 1. 不压缩保存 (对应原始问题中的1.4GB情况)
uncompressed_file_name = file_name.replace('.npz', '_uncompressed.npy')
np.save(uncompressed_file_name, sampled_data_np)
print(f"NumPy数组未压缩保存到 {uncompressed_file_name}，文件大小: {os.path.getsize(uncompressed_file_name) / (1024**3):.2f} GB")
# 2. 压缩保存
compressed_file_name = file_name
np.savez_compressed(compressed_file_name, data=sampled_data_np)
print(f"NumPy数组压缩保存到 {compressed_file_name}，文件大小: {os.path.getsize(compressed_file_name) / (1024**2):.2f} MB")
# 调用函数进行演示
# sample_and_save_numpy(all_games_np, 'sampled_numpy_compressed.npz')通过使用 np.savez_compressed，我们可以预期将1.4 GB的NumPy数组显著压缩，使其文件大小可能远小于原始的500 MB pickled列表，具体压缩率取决于数据的重复性和可压缩性。
4. 注意事项与最佳实践
- 理解数据结构与序列化机制： 在处理大量数据时，深入理解底层数据结构（NumPy数组的原始存储 vs. Python列表的对象引用）及其序列化方式（np.save 的直接写入 vs. pickle 的智能引用处理）至关重要。
-
选择合适的工具：
- 对于需要高性能数值计算和连续内存访问的场景，NumPy是首选。
- 对于包含复杂Python对象结构、且可能存在大量共享引用的数据，pickle 配合Python列表可能在文件大小上有优势（如果共享引用优化生效）。
- 压缩与性能的权衡： numpy.savez_compressed 能够有效减小文件大小，但代价是保存和加载时需要额外的CPU时间进行压缩和解压缩。在对I/O性能要求极高的场景下，可能需要权衡是否使用压缩。
- 数据类型优化： 即使不压缩，选择最小合适的数据类型（如 np.float16 而非 np.float64）也能显著减少NumPy数组的存储空间。
总结
NumPy数组与Python列表在存储方式上存在根本差异。NumPy数组默认以原始、未压缩的连续内存块存储数据，其文件大小直接反映数据量。而Python列表通过存储对象引用，结合 pickle 在序列化时对共享引用的优化，可以在数据存在大量重复引用时实现更小的文件大小。为了优化NumPy数组的存储空间，推荐使用 numpy.savez_compressed 进行数据压缩，这通常能有效减小文件体积，甚至使其小于等效的Python pickled列表。在实际应用中，理解这些机制并根据具体需求选择最合适的数据结构和存储方法是高效数据处理的关键。
