合并多个NumPy NPZ文件：高效数据整合教程

1. NPZ文件简介与合并需求

numpy的.npz文件是一种方便的归档格式，用于存储多个numpy数组。它本质上是一个zip文件，其中包含以.npy格式保存的多个数组。在数据处理流程中，我们经常会遇到将分散存储在多个.npz文件中的数据整合到一起的需求，例如将不同批次的数据合并成一个完整的数据集。

常见的合并需求是将每个.npz文件中具有相同键（key）的数组进行拼接（concatenate），从而形成一个更大的数组，最终将所有合并后的数组存储在一个新的.npz文件中。

2. 常见合并误区与原因分析

初学者在尝试合并多个.npz文件时，常会遇到一个问题：使用字典的update()方法进行合并，结果却只保留了最后一个文件的内容。

考虑以下尝试合并的代码片段：

import numpy as np
import os

# 假设 file_list 是包含所有 npz 文件路径的列表
# data_all = [np.load(fname) for fname in file_list]
# merged_data = {}
# for data in data_all:
#     # 这里的更新操作会覆盖同名键的值
#     [merged_data.update({k: v}) for k, v in data.items()]
# np.savez('new_file.npz', **merged_data)

这段代码的问题在于，merged_data.update({k: v})操作会将data字典中的键值对添加到merged_data中。如果merged_data中已经存在相同的键k，那么update()方法会用data中k对应的新值v覆盖掉旧值。因此，当遍历所有文件时，对于每个相同的键，最终保留的将是最后一个被处理文件中的数组。这显然不是我们期望的“合并”，而是“覆盖”。

正确的合并逻辑应该是针对每个相同的键，将其对应的所有数组收集起来，然后使用np.concatenate函数将它们沿着某个轴（通常是第一个轴）拼接起来。

3. 正确的NPZ文件合并策略

为了实现正确的合并，我们需要遵循以下步骤：

Magic CMS 网站管理系统2.2.1.alpha 政企版

Magic CMS网站管理系统（政企版）采用PHP+Mysql架构，再原CMS系统的基础上精简出适合企业政府客户使用版本，继承了原系统的快捷，高效，灵活，实用的特点，保留了核心功能，系统支持自定义模版（极易整合dede模板）、支持扩展插件，自定义模型等功能，保留了文章模型，视频模型，图集模型，产品模型，能够胜任企业多种建站需求。BUG修复：1.修改了程序安装时部分数据无法正常导入的错误2.修改了程

下载

3.1 原始NPZ文件的结构约定

在创建原始的.npz文件时，建议将数据组织成字典形式，并使用有意义的键来标识每个数组。这确保了在合并时能够识别并匹配对应的数组。

例如，如果每个.npz文件包含两个数组，可以这样保存：

import numpy as np

# 假设 arr_0 和 arr_1 是要保存的 NumPy 数组
arr_0_part1 = np.random.rand(10, 5)
arr_1_part1 = np.random.randint(0, 100, (10, 3))

# 将数据存储在字典中
data_part1 = {'arr_0': arr_0_part1, 'arr_1': arr_1_part1}
np.savez_compressed('path/to/file/filename_part1.npz', **data_part1)

arr_0_part2 = np.random.rand(15, 5)
arr_1_part2 = np.random.randint(0, 100, (15, 3))
data_part2 = {'arr_0': arr_0_part2, 'arr_1': arr_1_part2}
np.savez_compressed('path/to/file/filename_part2.npz', **data_part2)

这里使用了np.savez_compressed，它会以压缩格式保存文件，通常能节省磁盘空间。

3.2 加载与合并逻辑

一旦原始的.npz文件按照上述约定保存，合并过程就变得直接了。核心思想是遍历所有文件的共同键，然后将每个键对应的所有数组收集起来并进行拼接。

import numpy as np
import os

def merge_npz_files(file_list, output_filename='merged_data.npz'):
    """
    将多个NPZ文件合并为一个NPZ文件。
    假设所有NPZ文件包含相同的键，且对应数组的维度在拼接轴上保持一致。

    Args:
        file_list (list): 包含所有待合并NPZ文件路径的列表。
        output_filename (str): 合并后输出的NPZ文件名。
    """
    if not file_list:
        print("文件列表为空，无法合并。")
        return

    # 1. 加载所有NPZ文件
    # np.load返回的是NpzFile对象，它表现得像一个字典
    data_all = [np.load(fname) for fname in file_list]

    # 2. 初始化用于存储合并数据的字典
    merged_data = {}

    # 3. 获取所有文件的共同键
    # 假设所有文件都具有相同的键结构，取第一个文件的键即可
    # 如果键可能不一致，需要先找出所有文件的键的交集
    common_keys = data_all[0].keys()

    # 4. 遍历每个共同键，进行数组拼接
    for k in common_keys:
        # 收集所有文件中对应键的数组
        # list(d[k] for d in data_all) 创建一个包含所有NpzFile对象中k键对应数组的列表
        arrays_to_concatenate = list(d[k] for d in data_all)

        # 拼接这些数组
        # 默认情况下，np.concatenate沿着第一个轴（axis=0）进行拼接
        # 这要求除了拼接轴之外的其他轴的维度必须一致
        merged_data[k] = np.concatenate(arrays_to_concatenate, axis=0)
        print(f"键 '{k}' 合并完成，新数组形状：{merged_data[k].shape}")

    # 5. 保存合并后的数据到新的NPZ文件
    np.savez_compressed(output_filename, **merged_data)
    print(f"所有文件已成功合并到 '{output_filename}'")

# 示例使用
if __name__ == "__main__":
    # 创建一些示例NPZ文件
    if not os.path.exists('temp_npz_files'):
        os.makedirs('temp_npz_files')

    for i in range(3):
        arr_0_part = np.random.rand(10 + i, 5) # 模拟不同长度的数据
        arr_1_part = np.random.randint(0, 100, (10 + i, 3))
        data_part = {'arr_0': arr_0_part, 'arr_1': arr_1_part}
        np.savez_compressed(f'temp_npz_files/part_{i}.npz', **data_part)
        print(f"创建文件: temp_npz_files/part_{i}.npz, arr_0_shape: {arr_0_part.shape}")

    # 获取所有待合并的文件名
    filenames = [os.path.join('temp_npz_files', f) for f in os.listdir('temp_npz_files') if f.endswith('.npz')]
    print(f"\n待合并文件: {filenames}")

    # 执行合并操作
    merge_npz_files(filenames, 'merged_output.npz')

    # 验证合并结果
    with np.load('merged_output.npz') as merged_file:
        print("\n验证合并结果:")
        for k, v in merged_file.items():
            print(f"键: {k}, 形状: {v.shape}")

    # 清理示例文件
    import shutil
    shutil.rmtree('temp_npz_files')
    os.remove('merged_output.npz')
    print("\n示例文件已清理。")

4. 注意事项

• 键的一致性: 确保所有待合并的.npz文件中，需要拼接的数组都使用相同的键名。如果键名不一致，common_keys的获取逻辑需要调整，可能需要合并所有文件的键的并集，并处理某些文件可能缺少特定键的情况（例如，填充空数组或跳过）。
• 数组维度: np.concatenate要求除了拼接轴（默认为axis=0）之外的其他轴的维度必须完全一致。例如，如果要拼接的数组形状是 (N, M, P)，那么所有数组的 M 和 P 必须相同，只有 N 可以不同。
• 内存消耗: 当处理大量或非常大的.npz文件时，一次性加载所有文件到内存中可能会导致内存不足（OOM）。在这种情况下，可以考虑分批加载和合并，或者使用h5py等更适合处理大数据集的库。
• 压缩: np.savez_compressed通常是更好的选择，因为它会压缩数据，减少磁盘占用。对于某些类型的数据，压缩效果可能非常显著。
• 错误处理: 在实际应用中，应增加对文件不存在、文件损坏或文件内容不符合预期格式的错误处理机制。

5. 总结

通过理解.npz文件的内部结构以及np.concatenate的工作原理，我们可以高效且正确地合并多个NumPy .npz文件。关键在于避免简单的字典更新覆盖，而是针对每个共同的键，收集所有对应的数组并进行拼接。这种方法保证了数据的完整性和正确性，是处理分散NumPy数据时的重要技巧。