性能瓶颈：传统方法的挑战
在Python中，我们经常需要遍历文件系统来查找符合特定条件的子文件夹。一个常见的做法是结合使用os.listdir和os.path.isdir，并通过正则表达式筛选目标文件夹。然而，对于包含大量（例如数十万）子文件夹的目录，这种方法会遇到显著的性能问题。
考虑以下传统实现方式：
import os
import re
def find_subfolders_of_interest_traditional(dir_of_interest, starting_string_of_interest):
# 1. 获取目录下所有文件和文件夹的名称
all_items = os.listdir(dir_of_interest)
# 2. 筛选出所有子文件夹
all_subfolders = [item for item in all_items if os.path.isdir(os.path.join(dir_of_interest, item))]
# 3. 使用正则表达式匹配感兴趣的子文件夹
startWithPattern = starting_string_of_interest
regexp_pattern = re.compile(startsWithPattern)
all_subfolders_of_interest = list(filter(regexp_pattern.match, all_subfolders))
return all_subfolders_of_interest
# 示例调用
# subfolders = find_subfolders_of_interest_traditional('path/to/your/large/directory', 'prefix_')这种方法的性能瓶颈主要在于以下两点：
- 多次系统调用： os.listdir首先执行一次系统调用获取所有条目名称。然后，对于列表中的每个条目，os.path.isdir都会执行另一次系统调用来检查它是否是一个目录。在大型目录中，这意味着成千上万甚至数十万次的独立系统调用，导致I/O开销巨大。
- 内存占用： os.listdir会一次性将目录下的所有条目名称加载到内存中，对于包含大量条目的目录，这可能导致较高的内存消耗。
os.scandir：高效目录遍历的利器
为了解决上述性能问题，Python 3.5 引入了 os.scandir 函数。os.scandir返回一个迭代器，该迭代器生成 DirEntry 对象，而不是简单的字符串名称。每个 DirEntry 对象都包含了文件系统条目的名称以及预先缓存的属性（如是否为目录、是否为文件等），从而避免了对每个条目进行额外的系统调用。
立即学习“Python免费学习笔记（深入）”；
使用 os.scandir 的主要优势包括：
- 减少系统调用： DirEntry 对象在创建时就缓存了文件系统信息，如 is_dir() 和 is_file()，因此无需为每个条目单独进行 os.path.isdir 或 os.path.isfile 调用。
- 惰性加载： os.scandir 返回的是一个迭代器，它按需生成 DirEntry 对象，而不是一次性加载所有条目到内存中，这对于处理超大型目录尤其有利。
以下是 os.scandir 的一个基本用法示例，用于列出指定路径下的所有子目录：
import os
def subdirs_basic(path):
"""生成给定路径下不以'.'开头的目录名称。"""
for entry in os.scandir(path):
if not entry.name.startswith('.') and entry.is_dir():
yield entry.name
# 示例调用
# for subdir in subdirs_basic('/path/to/directory'):
# print(subdir)使用 os.scandir 查找目标子文件夹
结合 os.scandir 的优势，我们可以重构之前的函数，以更高效地查找以特定字符串开头的子文件夹。
import os
def find_subfolders_of_interest_optimized(dir_of_interest, starting_string_of_interest):
"""
高效查找指定目录下以特定字符串开头的子文件夹。
Args:
dir_of_interest (str): 要扫描的目录路径。
starting_string_of_interest (str): 子文件夹名称的起始字符串。
Returns:
list: 符合条件的子文件夹名称列表。
"""
all_subfolders_of_interest = []
# 遍历目录中的每个条目
for entry in os.scandir(dir_of_interest):
# 检查条目是否为目录且名称以指定字符串开头
# entry.is_dir() 利用了DirEntry对象缓存的信息，避免了额外的系统调用
if entry.is_dir() and entry.name.startswith(starting_string_of_interest):
all_subfolders_of_interest.append(entry.name)
return all_subfolders_of_interest
# 示例调用
if __name__ == '__main__':
# 创建一个测试目录结构
test_dir = 'test_folder_scandir'
os.makedirs(test_dir, exist_ok=True)
os.makedirs(os.path.join(test_dir, 'string_of_interest_01'), exist_ok=True)
os.makedirs(os.path.join(test_dir, 'string_of_interest_02'), exist_ok=True)
os.makedirs(os.path.join(test_dir, 'other_folder'), exist_ok=True)
with open(os.path.join(test_dir, 'some_file.txt'), 'w') as f:
f.write('hello')
print(f"在 '{test_dir}' 中查找以 'string_of_interest' 开头的子文件夹:")
found_subfolders = find_subfolders_of_interest_optimized(test_dir, 'string_of_interest')
print(found_subfolders) # 预期输出: ['string_of_interest_01', 'string_of_interest_02']
# 清理测试目录
import shutil
shutil.rmtree(test_dir)性能优势分析
find_subfolders_of_interest_optimized 函数通过以下方式实现了显著的性能提升：
- 单次系统调用获取信息： 当 os.scandir 迭代时，它会从操作系统获取目录条目及其基本属性（如类型），并将这些信息缓存到 DirEntry 对象中。这意味着 entry.is_dir() 方法可以直接访问这些缓存信息，而无需进行额外的系统调用。
- 按需迭代： os.scandir 返回一个迭代器，它只在需要时才从文件系统读取数据。这与 os.listdir 一次性读取所有条目不同，尤其在处理包含大量条目的目录时，可以显著降低内存使用并提高响应速度。
- 内建字符串方法： 使用 entry.name.startswith() 进行前缀匹配通常比编译和执行正则表达式更快，特别是当模式相对简单时。
在面对数十万个文件和文件夹的场景中，这种优化能够将处理时间从数分钟缩短到数秒，极大地提升了文件系统操作的效率。
总结与最佳实践
当需要在Python中进行目录遍历并筛选文件或文件夹时，尤其是在性能敏感或处理大型目录的场景下，强烈建议使用 os.scandir 而非传统的 os.listdir 结合 os.path.isdir。
关键点回顾：
- os.scandir 返回 DirEntry 对象的迭代器。
- DirEntry 对象缓存了文件系统信息，如 is_dir() 和 is_file()，避免了重复的系统调用。
- os.scandir 采用惰性加载，减少内存占用。
- 对于简单匹配，直接使用 entry.name.startswith() 或 entry.name.endswith() 通常比正则表达式更高效。
通过采纳 os.scandir，开发者可以编写出更健壮、更高效的文件系统操作代码，以应对各种复杂的目录遍历需求。
