itertools.product 会吃光内存当笛卡尔积项数过大且被强制转为容器或嵌套展开时;例如 range(1000) 四重积达 1e12 项,即使每项 100 字节也需 100TB 内存。

什么时候 itertools.product 会吃光内存?
itertools.product 本身是惰性生成器,不预分配结果列表,但很多人误以为“用了它就安全”——其实只要一调用 list()、tuple() 或参与 for 循环前强行转成容器,或者嵌套在另一个大循环里反复展开,内存就可能飙升。典型场景是:输入迭代器本身不耗内存(如 range(1000)),但笛卡尔积总项数达 1000**4 == 1e12 级别,哪怕每项只占 100 字节,也需 100TB 内存。
关键不是函数本身,而是你如何消费它。
用 itertools.product 但不落地的 3 种实操方式
-
直接用于单次流式处理:
for combo in itertools.product(range(100), range(100), range(100)):
process(combo) # 不存、不索引、不统计长度
这样每轮只保留一个元组,GC 可及时回收。
加条件提前中断:用 break 或 return 在满足业务逻辑时立刻退出,避免遍历全部组合。例如搜索第一个满足约束的解:
for a, b, c in itertools.product(*lists):
if constraint(a, b, c):
print(a, b, c)
break
分块处理 + 手动控制步长:不用全量生成,改用 itertools.islice 切片取一批处理:
from itertools import product, islice
gen = product(range(1000), range(1000))
batch = list(islice(gen, 10000)) # 每次只拿 1 万条
while batch:
handle_batch(batch)
batch = list(islice(gen, 10000))
注意:这里 islice 不重置原生成器,所以能连续分页。
替代方案:当笛卡尔积维度高但稀疏时,考虑 yield 自定义生成
直接用于单次流式处理:
for combo in itertools.product(range(100), range(100), range(100)): process(combo) # 不存、不索引、不统计长度这样每轮只保留一个元组,GC 可及时回收。
加条件提前中断:用 break 或 return 在满足业务逻辑时立刻退出,避免遍历全部组合。例如搜索第一个满足约束的解:
for a, b, c in itertools.product(*lists):
if constraint(a, b, c):
print(a, b, c)
break
分块处理 + 手动控制步长:不用全量生成,改用 itertools.islice 切片取一批处理:
from itertools import product, islice
gen = product(range(1000), range(1000))
batch = list(islice(gen, 10000)) # 每次只拿 1 万条
while batch:
handle_batch(batch)
batch = list(islice(gen, 10000))
注意:这里
islice 不重置原生成器,所以能连续分页。yield 自定义生成如果实际只需要满足某类约束的子集(比如 a + b + c ),硬跑 product 再过滤是低效的——99% 的组合被丢弃,CPU 白算,缓存还污染。此时手写生成器更可控:def sparse_triplets(max_val):
for a in range(max_val):
for b in range(max_val - a):
for c in range(max_val - a - b):
yield (a, b, c)
这种“剪枝前置”的写法跳过大量无效分支,比先生成再 filter() 快几个数量级,且内存恒定。
容易被忽略的坑:参数里混入已展开的列表
itertools.product 的每个参数应尽量是轻量迭代器。常见错误是传入 list 或 numpy.array:
# 危险!data_list 已加载进内存,且 product 内部仍要迭代它
data_list = [x for x in huge_file_reader()] # 此刻内存已爆
for pair in product(data_list, data_list): ...
正确做法是让每个参数保持惰性:
# 改用生成器函数或 map
def lazy_reader():
with open("big.txt") as f:
for line in f:
yield line.strip()for pair in product(lazy_reader(), lazy_reader()): ... # 注意:两个独立生成器
⚠️ 特别注意:不能写成
product(lazy_reader(), repeat=2),因为这会复用同一个生成器对象,第二次迭代时已耗尽。
真正卡住性能的往往不是算法复杂度,而是你以为“只是个生成器”就放松了对数据源头和消费方式的控制。










