在处理数万甚至数十万个文件复制任务时，简单的python循环调用shutil.copy()函数可能会导致显著的性能问题。相较于unix/linux系统中的cp -r等原生命令，python的单线程文件操作往往显得效率低下。本文将深入探讨几种在python中提升文件复制速度的策略，并分析其适用场景及性能表现。
1. 使用shutil.copytree进行目录复制
当需要复制整个目录及其内容时，shutil模块提供的copytree()函数是比手动遍历文件并逐一复制更高效的选择。copytree()能够递归地复制源目录下的所有文件和子目录到目标位置，其内部实现通常会进行一些优化，减少了Python层面的循环开销。
示例代码：
import shutil
import os
# 定义源目录和目标目录路径
source_directory = "/path/to/source_directory"
destination_directory = "/path/to/destination_directory"
# 确保目标目录不存在，否则copytree会报错
# 如果目标目录已存在且不为空，需要先删除或处理
if os.path.exists(destination_directory):
# 谨慎操作：如果目标目录已存在，可以考虑删除或选择不同的目标路径
# shutil.rmtree(destination_directory)
print(f"目标目录 '{destination_directory}' 已存在。请确保它为空或选择其他路径。")
else:
try:
shutil.copytree(source_directory, destination_directory)
print(f"目录 '{source_directory}' 已成功复制到 '{destination_directory}'。")
except Exception as e:
print(f"复制目录时发生错误: {e}")
注意事项：
- shutil.copytree()要求目标目录destination_directory不能已存在。如果目标目录已存在，函数会抛出FileExistsError。在实际应用中，你需要根据需求处理这种情况，例如先删除目标目录（需谨慎）或创建新的目标目录。
- 此方法适用于复制整个目录结构，而不是零散的文件。
2. 利用多进程并行处理文件复制
对于大量独立文件的复制任务，尤其是在多核处理器环境下，利用multiprocessing模块实现并行处理可以显著提升性能。其核心思想是将文件复制任务分解为多个子任务，由不同的进程同时执行。
立即学习“Python免费学习笔记（深入）”；
示例代码：
import multiprocessing
import shutil
from pathlib import Path
import time
def copy_single_file(source_file_path, destination_dir_path):
"""
一个辅助函数，用于将单个文件复制到指定目录。
"""
try:
shutil.copy(source_file_path, destination_dir_path)
# print(f"已复制: {source_file_path.name}") # 可选：打印进度
except Exception as e:
print(f"复制文件 '{source_file_path.name}' 时发生错误: {e}")
# 定义源目录和目标目录
source_directory = Path("/path/to/source") # 请替换为实际的源目录
destination_directory = Path("/path/to/destination") # 请替换为实际的目标目录
# 确保目标目录存在
destination_directory.mkdir(parents=True, exist_ok=True)
# 获取所有待复制的文件列表
# 仅复制文件，排除子目录
files_to_copy = [file for file in source_directory.iterdir() if file.is_file()]
if not files_to_copy:
print(f"源目录 '{source_directory}' 中没有找到文件可供复制。")
else:
print(f"开始并行复制 {len(files_to_copy)} 个文件...")
start_time = time.time()
# 使用进程池执行并行复制
with multiprocessing.Pool() as pool:
# starmap允许我们将多个参数传递给目标函数
# 每个元组 (file_path, destination_directory) 对应 copy_single_file 的一次调用
pool.starmap(copy_single_file, [(file, destination_directory) for file in files_to_copy])
end_time = time.time()
print(f"并行复制完成。总耗时: {end_time - start_time:.3f} 秒。")
注意事项：
- multiprocessing.Pool会创建一组工作进程。starmap()方法负责将任务（即文件路径和目标目录的元组）分发给这些进程。
- 并行处理的性能提升受限于CPU核心数、磁盘I/O速度以及文件大小。对于大量小文件，I/O瓶颈可能依然存在；对于少量大文件，并行处理的优势可能更明显。
- 确保目标目录在开始复制前已经创建。
3. 性能考量与系统级命令对比
尽管Python提供了shutil.copytree和多进程等优化方案，但值得注意的是，系统级的复制命令（如Unix/Linux的cp或Windows的robocopy/xcopy）通常在性能上具有原生优势。这些命令由操作系统底层实现，能够更高效地利用系统资源，例如直接进行内核级别的I/O操作，减少用户态与内核态之间的切换开销。
以下是对10,000个空文本文件进行复制的实际测试结果对比：
-
Unix cp 命令：
$ time cp /path/to/source/* /path/to/destination/ real 0m0.191s # 实际耗时 user 0m0.031s # 用户态CPU时间 sys 0m0.158s # 内核态CPU时间
-
Python 多进程复制示例：
$ time python test.py real 0m0.351s # 实际耗时 user 0m0.966s # 用户态CPU时间 sys 0m0m.615s # 内核态CPU时间
从测试结果可以看出，对于大量小文件，Unix的cp命令在实际耗时上明显优于Python的多进程方案。这表明，在追求极致性能且允许依赖特定操作系统命令的场景下，直接调用系统命令可能是更优的选择。
总结
在Python中处理大量文件复制任务时：
- 对于整个目录结构的复制，首选shutil.copytree()，它比手动循环更高效。
- 对于大量独立文件的复制，可以考虑使用multiprocessing模块实现并行处理，以利用多核CPU的优势。这在一定程度上可以缓解Python GIL（全局解释器锁）对CPU密集型任务的限制，但在I/O密集型任务中，其提升效果受限于磁盘I/O速度。
- 当性能是首要考虑因素且环境允许时，直接调用操作系统提供的原生复制命令（如os.system('cp -r source dest')或subprocess.run(['cp', '-r', 'source', 'dest'])）往往能获得最佳性能。
选择哪种方法取决于具体的应用场景、性能要求以及对跨平台兼容性的需求。如果需要跨平台且完全由Python代码控制，shutil.copytree和multiprocessing是可行的优化方案；如果对性能有极高要求且运行环境固定，则直接调用系统命令更为高效。
