本文介绍了如何使用 DuckDB Python 客户端高效地迭代查询结果。通过 fetchmany 方法，可以批量获取数据，避免一次性加载全部数据到内存，从而优化内存使用，尤其是在处理大型数据集时。本文将提供详细的代码示例和注意事项，帮助你掌握迭代查询结果的技巧。
在使用 DuckDB Python 客户端进行数据查询时，我们通常会得到一个 DuckDBPyRelation 对象。虽然可以使用 len() 函数获取结果的行数，但直接使用 for 循环迭代该对象并不像预期那样工作。为了有效地处理查询结果，特别是对于大型数据集，推荐使用 fetchmany() 方法进行批量获取。
fetchmany(size) 方法允许你从查询结果中一次性获取指定数量的行，并将它们作为列表返回。通过循环调用 fetchmany()，直到返回空列表，就可以遍历整个结果集，而无需将所有数据一次性加载到内存中。
以下是一个示例，展示了如何使用 fetchmany() 方法迭代查询结果：
立即学习“Python免费学习笔记（深入）”；
import duckdb
# 设置批量大小
batch_size = 10
# 执行 SQL 查询
handle = duckdb.sql("select * from 'employees.csv'")
# 循环获取数据批次
while batch := handle.fetchmany(batch_size):
# 处理当前批次的数据
for row in batch:
print(row) #或者对row进行其他操作
代码解释：
- 导入 DuckDB 模块： import duckdb 导入必要的 DuckDB 模块。
- 设置批量大小： batch_size = 10 定义了每次获取的行数。可以根据实际情况调整此值，以平衡内存使用和处理速度。
- 执行 SQL 查询： handle = duckdb.sql("select * from 'employees.csv'") 执行 SQL 查询，并将结果存储在 handle 变量中。请确保将 'employees.csv' 替换为实际的文件路径。
- 循环获取数据批次： while batch := handle.fetchmany(batch_size): 使用 while 循环和 walrus 运算符 (:=) 从结果集中批量获取数据。当 fetchmany() 返回空列表时，循环结束。
- 处理当前批次的数据： for row in batch: 遍历当前批次的数据，并对每一行进行处理。在这个例子中，我们简单地打印每一行。
注意事项：
- 内存优化： 使用 fetchmany() 方法可以显著降低内存占用，尤其是在处理大型 CSV 文件或其他大型数据集时。
- 调整批量大小： batch_size 的选择取决于你的硬件配置和数据量。较小的 batch_size 会降低内存占用，但可能会增加 I/O 操作的次数。
- 错误处理： 在实际应用中，应添加适当的错误处理机制，例如处理文件不存在或查询失败的情况。
- 数据类型： fetchmany() 返回的每一行都是一个元组，包含查询结果的各个字段。请根据实际情况处理这些字段的数据类型。
总结：
通过使用 DuckDB Python 客户端的 fetchmany() 方法，你可以高效地迭代查询结果，尤其是在处理大型数据集时，可以显著优化内存使用。 记得根据你的具体需求调整 batch_size，并添加适当的错误处理机制。这种批量处理方法是处理大型数据集的有效策略，可以提升程序的性能和稳定性。
