本文介绍如何在 CodeIgniter 中通过分块查询（Chunked Query）安全导出多表联查的海量数据，避免 Allowed memory size exhausted 错误，无需提升 PHP 内存限制，兼顾性能与可扩展性。
本文介绍如何在 codeigniter 中通过分块查询（chunked query）安全导出多表联查的海量数据，避免 `allowed memory size exhausted` 错误，无需提升 php 内存限制，兼顾性能与可扩展性。
在 Web 应用中，将多表关联结果（如 tblProgram、tblPlots、tblTrees）一次性加载到内存并导出为 CSV 是常见需求，但极易触发 PHP 内存耗尽错误——尤其当联查后记录数达数万甚至更多时。直接调用 $this->db->query() 加载全部结果，会将整张临时结果集缓存于 PHP 进程内存中，而本例中 734MB 的报错阈值已远超合理范围。根本解法不是扩容，而是改变数据获取范式：从「全量加载」转向「流式分块处理」。
核心思路：临时表 + 分页式 LIMIT 查询
CodeIgniter 原生不支持游标式流查询（如 MySQL 的 CURSOR 或 mysqli_use_result），但可通过「创建临时表 + 按主键分段读取」实现等效效果。该方案优势明显：
- ✅ 完全复用现有 SQL 逻辑，无需重写 JOIN；
- ✅ 内存占用恒定（仅单次 chunk 的数据）；
- ✅ 兼容任意复杂查询（含 GROUP BY、子查询等）；
- ✅ 易于集成到 CSV 导出流程（逐 chunk 写入文件流）。
以下为完整可运行的模型实现（适配 CodeIgniter 3）：
<?php
class Csv_model extends CI_Model
{
public function __construct()
{
parent::__construct();
$this->load->database();
}
/**
* 执行分块导出：将联查结果按 2000 行/批写入 CSV 文件
*/
public function exportToCsv($filePath = FCPATH . 'downloads/export.csv')
{
$sql = "SELECT
p.*,
pl.*,
t.*
FROM `tblProgram` p
JOIN `tblPlots` pl ON pl.`programID` = p.`pkProgramID`
JOIN `tblTrees` t ON t.`treePlotID` = pl.`id`
ORDER BY p.`pkProgramID`, pl.`id`, t.`id`";
// 确保目标目录可写
$dir = dirname($filePath);
if (!is_dir($dir)) mkdir($dir, 0755, true);
$fp = fopen($filePath, 'w');
if (!$fp) throw new Exception("无法打开 CSV 文件: $filePath");
// 写入表头（首次 chunk 获取字段名）
$firstChunk = true;
$this->getChunk(function ($chunk) use ($fp, &$firstChunk) {
if (empty($chunk)) return;
foreach ($chunk as $row) {
if ($firstChunk) {
// 自动提取所有字段名（去重并保持顺序）
$headers = array_keys($row);
fputcsv($fp, $headers);
$firstChunk = false;
}
fputcsv($fp, $row);
}
}, $this->db, $sql, 0, 2000, 'p.pkProgramID'); // 关键：指定稳定排序字段
fclose($fp);
return $filePath;
}
/**
* 分块执行查询：将结果按指定大小分批传递给回调函数
* @param callable $callback 接收 array[] 类型 chunk 数据
* @param object $DBContext CodeIgniter DB 实例
* @param string $rawSQL 原始 SELECT 查询（建议显式 ORDER BY）
* @param int $initialRowOffset 起始偏移量
* @param int $maxRows 每批行数
* @param string $orderBy 排序字段（必须唯一且索引化，推荐主键）
*/
public function getChunk(
callable $callback,
$DBContext,
string $rawSQL = "SELECT 1",
int $initialRowOffset = 0,
int $maxRows = 2000,
string $orderBy = "id"
) {
// 创建带排序的临时表（InnoDB 引擎，自动索引 orderBy 字段）
$DBContext->query('DROP TEMPORARY TABLE IF EXISTS chunkable');
$DBContext->query("CREATE TEMPORARY TABLE chunkable ENGINE=InnoDB AS ($rawSQL)");
do {
$constrainedSQL = sprintf(
"SELECT * FROM chunkable ORDER BY `%s` LIMIT %d, %d",
$orderBy,
$initialRowOffset,
$maxRows
);
$query = $DBContext->query($constrainedSQL);
$chunk = $query->result_array();
if (!empty($chunk)) {
$callback($chunk);
$initialRowOffset += $maxRows;
} else {
break; // 无更多数据
}
} while (count($chunk) === $maxRows);
}
}关键注意事项与最佳实践
- ✅ 必须指定 ORDER BY 字段：临时表无固有顺序，LIMIT offset, size 依赖确定性排序。优先选择左表主键（如 p.pkProgramID），确保分块不重复、不遗漏。若存在多个主键，可用组合排序（如 'p.pkProgramID, pl.id'）。
- ✅ 临时表使用 ENGINE=InnoDB：默认 MyISAM 不支持事务和行锁，高并发下可能引发竞争；InnoDB 更健壮且自动为 ORDER BY 字段建立索引。
- *⚠️ 避免 `SELECT 在生产环境**：明确列出所需字段（如示例中的p., pl., t.*`），减少网络传输和内存开销；敏感字段应主动过滤。
-
⚡ 性能优化建议：
- 在 tblPlots.programID 和 tblTrees.treePlotID 上建立索引；
- 若导出频率高，可考虑物化视图或定期预计算宽表；
- 对超大数据集（>100 万行），将 $maxRows 调至 5000–10000 以降低查询次数。
- ? CSV 导出增强：实际项目中建议添加 BOM 头（解决 Excel 中文乱码）、设置 HTTP 响应头触发下载、增加进度日志。
通过此方案，即使三表联查生成百万级结果，PHP 进程内存占用也稳定在几 MB 内，彻底规避 memory_limit 报错，同时为未来数据规模增长预留了平滑扩展路径。
