正确做法是关闭curlopt_returntransfer（设为false），用curlopt_writefunction回调流式处理数据，维护缓冲区按行切分并安全解析json；fopen('http://...')缺乏超时、重试、header控制等能力，不适合生产环境大文件下载。
PHP 用 cURL 分块读取远程大文件时，curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) 会吃光内存
这是最常踩的坑：想边下载边处理，却误设 CURLOPT_RETURNTRANSFER 为 true，导致整个响应体被缓存进内存。1GB 文件直接 OOM。正确做法是关掉它，改用回调函数流式接收。
-
CURLOPT_RETURNTRANSFER必须设为false（默认值，可不设） - 用
CURLOPT_WRITEFUNCTION指定自定义写入回调，每次只处理curl推送的一小段数据（通常几 KB） - 回调函数必须返回实际写入字节数，否则 cURL 会中断连接
- 记得用
stream_set_timeout()或CURLOPT_TIMEOUT防止卡死
分块回调函数里怎么安全写入本地文件或解析 JSON 行？
回调不是“每行调用一次”，而是按底层 TCP 包大小推送数据（可能半行、跨行）。不能直接 json_decode($data)，要自己做缓冲和行切分。
- 维护一个全局或闭包内的
$buffer字符串，拼接每次传入的$data - 用
strpos($buffer, "\n")找完整行，substr截取后更新$buffer - 对每一整行做业务处理（如
json_decode($line, true)） - 写入文件推荐用
fwrite($fp, $line . "\n")，避免file_put_contents(..., FILE_APPEND)频繁打开文件
function writeCallback($ch, $data) {
static $fp = null;
static $buffer = '';
$buffer .= $data;
while (($pos = strpos($buffer, "\n")) !== false) {
$line = substr($buffer, 0, $pos);
$buffer = substr($buffer, $pos + 1);
// 示例：写入文件
if ($fp === null) $fp = fopen('/tmp/output.jsonl', 'wb');
fwrite($fp, $line . "\n");
}
return strlen($data); // 必须返回，否则 cURL 报错 CURLE_WRITE_ERROR
}
为什么 fopen('http://...', 'r') 不适合大文件？
PHP 的 file_get_contents 和 fopen 封装了 stream wrapper，但默认不支持 chunked 编码下的流式控制，且无法设置超时、重试、Header 等关键参数。遇到 302 重定向或服务端分块传输（Transfer-Encoding: chunked）时行为不可控。
-
fopen('http://...')无法获取响应状态码或 Header，出错只能靠feof()判断，不准确 - 没有内置重试机制，网络抖动直接失败
- 无法设置
User-Agent、Authorization等必要 Header - 遇到 gzip 压缩响应，需手动解压（
stream_filter_append配置复杂）
生产环境必须加的防护项
远程文件不可信，不加限制的分块读取可能被恶意响应拖垮服务。
立即学习“PHP免费学习笔记（深入）”；
- 用
CURLOPT_CONNECTTIMEOUT和CURLOPT_TIMEOUT控制连接与总耗时（例如各 30 秒） - 用
CURLOPT_HEADERFUNCTION检查Content-Length或Content-Type，非预期类型提前中止 - 在回调里做累计字节计数，超过阈值（如 500MB）主动
curl_close($ch)并报错 - 禁用重定向（
CURLOPT_FOLLOWLOCATION设为false），防止跳转到不可控地址
真正难的不是“怎么分块”，而是“怎么在不信任的网络链路里稳住内存、不丢数据、不卡死”。这些细节漏一条，上线就变定时炸弹。
