0

0

PHP用curl_exec获取网址内容要注意啥_PHP获取内容注意点【细节】

雪夜

雪夜

发布时间:2026-02-06 00:23:36

|

540人浏览过

|

来源于php中文网

原创

最常见原因是未设置CURLOPT_RETURNTRANSFER为true,需显式开启;同时应配置超时、重定向、UA、SSL证书验证及编码处理等兜底选项以确保稳定性和安全性。

php用curl_exec获取网址内容要注意啥_php获取内容注意点【细节】

curl_exec 返回空字符串或 false 怎么办

最常见原因是没开启 CURLOPT_RETURNTRANSFER。默认情况下 curl_exec 直接输出内容到标准输出,同时返回 truefalse,根本不会把网页内容当返回值给你。

必须显式设置:

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

其他关键兜底配置建议一并加上:

  • CURLOPT_FOLLOWLOCATION 设为 true,否则 301/302 重定向会失败
  • CURLOPT_TIMEOUT 控制超时(比如 30 秒),避免卡死
  • CURLOPT_CONNECTTIMEOUT 单独设连接超时(如 10),和总超时区分开
  • CURLOPT_USERAGENT 设一个合理 UA,很多网站会拦截空 UA 或 curl 默认 UA
  • 调用后务必用 curl_error($ch)curl_errno($ch) 检查底层错误,不能只看返回值是否为空

HTTPS 请求报 “SSL certificate problem” 错误

不是让你直接关证书验证(CURLOPT_SSL_VERIFYPEER => false),那是开发环境临时绕过手段,上线必须禁用。

立即学习PHP免费学习笔记(深入)”;

MusicAI
MusicAI

AI音乐生成工具

下载

正确做法是让 cURL 使用系统可信 CA 证书包:

  • Linux 下通常已内置,但 PHP 可能找不到路径;可手动指定:CURLOPT_CAINFO => '/etc/ssl/certs/ca-certificates.crt'
  • Windows 下需下载 cacert.pem,然后在 php.ini 中设 curl.cainfo = "D:/php/ext/cacert.pem",或运行时用 CURLOPT_CAINFO 指向它
  • 如果服务器用的是自签名证书或内网私有 CA,才考虑 CURLOPT_SSL_VERIFYPEER => false + CURLOPT_SSL_VERIFYHOST => false,且必须加注释说明原因

中文乱码、特殊字符截断或 JSON 解析失败

本质是编码没对齐:目标页可能是 UTF-8,但响应头没声明,或你没处理 BOM、gzip 压缩、字符集转换。

  • 先检查响应头:curl_getinfo($ch, CURLINFO_CONTENT_TYPE) 看有没有 charset=,比如 text/html; charset=gbk
  • 启用自动解压CURLOPT_ENCODING => ''(空字符串表示接受 gzip/deflate)
  • 若内容是 GBK 编码但你要转成 UTF-8,别用 iconv('GBK', 'UTF-8//IGNORE', $content),优先用 mb_convert_encoding($content, 'UTF-8', 'GBK'),它对不完整字节更鲁棒
  • 获取 JSON 内容后,立刻用 json_last_error() 检查解析状态;常见坑是响应里混入了不可见字符(如 BOM、控制字符),可用 trim($content, "\xEF\xBB\xBF") 清 BOM

并发请求时 CPU 占用高、连接慢、被封 IP

单个 curl_exec 是阻塞的,串行发 10 个请求就是 10 倍耗时。真要并发,别自己写循环,用 curl_multi_init

  • 必须配合 curl_multi_select 等待 I/O,不能裸跑 curl_multi_exec 循环,否则 CPU 100%
  • 限制并发数(比如最多 5 个 handle 同时执行),避免打爆对方服务器或触发风控
  • 加随机延时(usleep(rand(100000, 500000))),尤其爬公开站点时,这是基本礼仪
  • 注意 DNS 缓存:默认每次请求都重新解析域名,可复用同一个 $ch 句柄(设不同 CURLOPT_URL),cURL 会自动复用 DNS 结果和 TCP 连接(需开启 CURLOPT_TCP_KEEPALIVE

真正难的不是调通 curl_exec,而是让每次请求都稳定、可诊断、不伤人也不伤己——错误码不忽略、编码不硬猜、并发不莽撞、证书不硬关。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

428

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

541

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

313

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

78

2025.09.10

curl_exec
curl_exec

curl_exec函数是PHP cURL函数列表中的一种,它的功能是执行一个cURL会话。给大家总结了一下php curl_exec函数的一些用法实例,这个函数应该在初始化一个cURL会话并且全部的选项都被设置后被调用。他的返回值成功时返回TRUE, 或者在失败时返回FALSE。

445

2023.06.14

linux常见下载安装工具
linux常见下载安装工具

linux常见下载安装工具有APT、YUM、DNF、Snapcraft、Flatpak、AppImage、Wget、Curl等。想了解更多linux常见下载安装工具相关内容,可以阅读本专题下面的文章。

178

2023.10.30

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

381

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

213

2023.09.04

java连接字符串方法汇总
java连接字符串方法汇总

本专题整合了java连接字符串教程合集,阅读专题下面的文章了解更多详细操作。

7

2026.02.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 11.1万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.2万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号