0

0

PHP怎样使用cURL获取网页内容?GET/POST请求

星夢妙者

星夢妙者

发布时间:2025-08-13 20:53:01

|

331人浏览过

|

来源于php中文网

原创

php curl请求中常见的错误处理与性能优化技巧包括:1. 使用curl_errno()和curl_error()检查并获取详细错误信息;2. 设置curlopt_timeout和curlopt_connecttimeout避免请求卡死;3. 处理dns解析失败、ssl证书问题及网络连接异常;4. 合理设置超时时间以平衡响应速度与稳定性;5. 使用curlopt_maxredirs限制重定向次数防止无限循环;6. 生产环境中保持curlopt_ssl_verifypeer和curlopt_ssl_verifyhost开启以确保安全;7. 在需要时通过curlopt_cainfo指定可信ca证书文件;8. 利用curl_multi系列函数实现多请求并行处理以提升性能。这些措施共同保障了curl请求的可靠性与效率。

PHP怎样使用cURL获取网页内容?GET/POST请求

PHP中使用cURL获取网页内容,无论是GET还是POST请求,都是处理外部数据交互的核心手段。它提供了极大的灵活性,能模拟各种浏览器行为,从而抓取、提交或与远程API进行通信。可以说,在PHP的Web开发中,cURL几乎是与外部世界打交道的“瑞士军刀”。

解决方案

使用cURL获取网页内容,核心步骤通常包括初始化、设置选项、执行请求和关闭会话。无论是GET还是POST,大部分操作是相似的,主要区别在于POST请求需要额外设置请求方法和携带的数据。

GET请求示例:

立即学习PHP免费学习笔记(深入)”;

<?php
// 目标URL
$url = 'https://www.example.com/api/data?param1=value1&param2=value2';

// 1. 初始化cURL会话
$ch = curl_init();

// 2. 设置cURL选项
curl_setopt($ch, CURLOPT_URL, $url); // 设置请求的URL
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 将curl_exec()获取的信息以字符串返回,而不是直接输出
curl_setopt($ch, CURLOPT_HEADER, false); // 不包含响应头到输出中
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 允许重定向
curl_setopt($ch, CURLOPT_TIMEOUT, 10); // 设置超时时间,单位秒

// 3. 执行cURL请求
$response = curl_exec($ch);

// 4. 检查是否有错误发生
if (curl_errno($ch)) {
    echo 'cURL错误: ' . curl_error($ch);
} else {
    // 成功获取内容
    echo "GET请求成功,内容如下:\n";
    echo $response;
}

// 5. 关闭cURL会话
curl_close($ch);
?>

POST请求示例:

<?php
// 目标URL
$url = 'https://www.example.com/api/submit';

// POST数据
$postData = [
    'username' => 'testuser',
    'password' => 'testpass',
    'email' => 'user@example.com'
];

// 1. 初始化cURL会话
$ch = curl_init();

// 2. 设置cURL选项
curl_setopt($ch, CURLOPT_URL, $url); // 设置请求的URL
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 将curl_exec()获取的信息以字符串返回
curl_setopt($ch, CURLOPT_POST, true); // 设置为POST请求
curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($postData)); // 设置POST数据,通常需要url-encode

// 如果你的POST数据是JSON格式,可以这样设置:
// $jsonData = json_encode($postData);
// curl_setopt($ch, CURLOPT_POSTFIELDS, $jsonData);
// curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/json', 'Content-Length: ' . strlen($jsonData)));

curl_setopt($ch, CURLOPT_HEADER, false); // 不包含响应头
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 允许重定向
curl_setopt($ch, CURLOPT_TIMEOUT, 10); // 设置超时时间

// 3. 执行cURL请求
$response = curl_exec($ch);

// 4. 检查是否有错误发生
if (curl_errno($ch)) {
    echo 'cURL错误: ' . curl_error($ch);
} else {
    // 成功获取内容
    echo "POST请求成功,内容如下:\n";
    echo $response;
}

// 5. 关闭cURL会话
curl_close($ch);
?>

PHP cURL请求中常见的错误处理与性能优化技巧有哪些?

在使用PHP cURL进行网络请求时,遇到错误是常态,比如网络不稳定、目标服务器无响应、DNS解析失败等。同时,为了确保程序的健壮性和效率,性能优化也同样重要。

常见的错误处理:

最直接的错误检查方式是

curl_exec()
返回
false
后,利用
curl_errno()
获取错误代码,以及
curl_error()
获取详细的错误信息。这就像你给快递员打电话问包裹状态,他告诉你“没送到”,你还得追问“为什么没送到?是地址不对还是没人签收?”

  • 超时错误: 这是最常见的错误之一。
    CURLOPT_TIMEOUT
    控制整个请求的最大允许时间,而
    CURLOPT_CONNECTTIMEOUT
    专门控制连接建立阶段的超时。如果一个请求总是卡住,很可能是因为连接或响应时间过长。
  • DNS解析失败: 目标域名无法解析成IP地址。这通常是网络配置问题或目标域名不存在。
  • SSL证书问题: 当请求HTTPS网站时,如果目标网站的SSL证书无效、过期或自签名,cURL默认会拒绝连接。你会看到类似“SSL certificate problem: unable to get local issuer certificate”的错误。
  • 网络连接问题: 比如目标服务器拒绝连接、防火墙阻断等。

一个好的实践是,在

curl_exec()
之后,立即检查
curl_errno($ch)
。如果它不是0,那就说明出错了,这时就可以记录
curl_error($ch)
的内容,便于调试。

性能优化技巧:

虽然cURL本身已经很高效,但有些设置可以进一步提升其在特定场景下的表现:

  • 合理设置超时时间: 不要把
    CURLOPT_TIMEOUT
    设置得过长,尤其是在需要快速响应的场景。根据你的业务需求和目标服务器的响应速度来调整。太长会阻塞你的程序,太短又可能导致正常请求失败。
  • 开启
    CURLOPT_FOLLOWLOCATION
    但限制重定向次数:
    CURLOPT_MAXREDIRS
    可以防止无限重定向,这在某些配置不当的服务器上可能会发生,导致请求永远无法完成。
  • 禁用
    CURLOPT_SSL_VERIFYPEER
    CURLOPT_SSL_VERIFYHOST
    的权衡:
    虽然为了安全强烈建议开启SSL验证,但在开发环境或者你完全信任的内部HTTPS服务,且证书确实有问题的情况下,有时会暂时禁用它们。但请注意,这会降低安全性,不应在生产环境随意使用。
  • *复用cURL句柄(curlmulti):** 如果你需要同时发起多个独立的cURL请求,而不是串行执行,使用
    curl_multi_init()
    系列函数可以显著提高效率,因为它们允许并行处理请求。这就像你一次性把多个快递单交给快递员,而不是一个送完再给下一个。不过,对于单个请求,这就不适用了。

在PHP cURL中如何自定义请求头和处理Cookie?

模拟浏览器行为或者与需要特定HTTP头信息的API交互时,自定义请求头和处理Cookie是必不可少的。cURL提供了非常灵活的方式来控制这些细节。

银河易创
银河易创

一站式AIGC创作平台,集成GPT-3.5、GPT-4、文心一言等对话模型、Midjourney、DallE等绘画工具、AI音乐、AI视频和AI PPT等功能!

下载

自定义请求头:

HTTP请求头包含了客户端(这里是你的PHP脚本)向服务器发送的额外信息,比如浏览器类型、接受的语言、内容类型等等。通过

CURLOPT_HTTPHEADER
选项,你可以传递一个数组,其中每个元素都是一个“Header-Name: Header-Value”格式的字符串。

<?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://www.example.com/some_api');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

// 设置自定义请求头
curl_setopt($ch, CURLOPT_HTTPHEADER, [
    'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36', // 模拟浏览器User-Agent
    'Accept-Language: zh-CN,zh;q=0.9,en;q=0.8', // 告诉服务器我倾向的语言
    'X-Custom-Header: My-App-Identifier', // 自定义头,用于API认证或标识
    'Referer: https://www.example.com/previous-page' // 模拟来源页面
]);

$response = curl_exec($ch);
if (curl_errno($ch)) {
    echo 'cURL错误: ' . curl_error($ch);
} else {
    echo $response;
}
curl_close($ch);
?>

这里我通常会设置一个

User-Agent
,因为很多网站或API会根据这个字段来判断请求来源,有些甚至会拒绝非浏览器(默认cURL的User-Agent)的请求。

处理Cookie:

Cookie是服务器发送给客户端并由客户端存储的一小段数据,用于在后续请求中识别用户或维护会话状态。cURL提供了多种方式来发送和接收Cookie。

  • 发送Cookie: 如果你知道要发送的Cookie值,可以直接通过

    CURLOPT_COOKIE
    选项设置。多个Cookie用分号和空格分隔。

    curl_setopt($ch, CURLOPT_COOKIE, 'PHPSESSID=abcdef123; my_custom_cookie=value_xyz');
  • 自动处理Cookie(推荐): 更强大的方式是让cURL像浏览器一样自动管理Cookie。

    CURLOPT_COOKIEJAR
    CURLOPT_COOKIEFILE
    选项允许你指定一个文件,cURL会将接收到的Cookie写入这个文件,并在后续请求中从这个文件读取Cookie并发送。这对于需要登录并保持会话的场景非常有用。

    $cookieFilePath = '/tmp/my_cookies.txt'; // 确保目录可写
    
    // 第一次请求(可能用于登录,接收Session Cookie)
    $ch1 = curl_init();
    curl_setopt($ch1, CURLOPT_URL, 'https://www.example.com/login');
    curl_setopt($ch1, CURLOPT_POST, true);
    curl_setopt($ch1, CURLOPT_POSTFIELDS, 'username=user&password=pass');
    curl_setopt($ch1, CURLOPT_COOKIEJAR, $cookieFilePath); // 将收到的Cookie存入文件
    curl_setopt($ch1, CURLOPT_RETURNTRANSFER, true);
    curl_exec($ch1);
    curl_close($ch1);
    
    // 第二次请求(使用之前保存的Cookie,保持登录状态)
    $ch2 = curl_init();
    curl_setopt($ch2, CURLOPT_URL, 'https://www.example.com/dashboard');
    curl_setopt($ch2, CURLOPT_COOKIEFILE, $cookieFilePath); // 从文件读取Cookie并发送
    curl_setopt($ch2, CURLOPT_RETURNTRANSFER, true);
    $dashboardContent = curl_exec($ch2);
    curl_close($ch2);
    
    echo $dashboardContent;

    这种方式非常方便,尤其是在处理需要多步交互(如登录后访问受保护页面)的场景。你不需要手动解析

    Set-Cookie
    头,cURL会帮你搞定。

PHP cURL处理重定向和HTTPS证书验证的最佳实践是什么?

处理重定向和HTTPS证书验证是cURL使用中两个非常重要的方面,它们直接关系到请求的成功率、安全性和程序的健壮性。

处理重定向:

当一个网页或API的URL发生变化,服务器通常会返回一个HTTP 3xx状态码(如301 Moved Permanently, 302 Found),并附带新的URL(在Location头中),指示客户端去访问新的地址。cURL可以自动处理这种重定向。

  • 开启自动跟随:
    CURLOPT_FOLLOWLOCATION
    选项是关键。将其设置为
    true
    ,cURL就会自动跟随服务器返回的3xx重定向。这就像你在浏览器里点击一个旧链接,它会自动跳转到新页面一样。
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
  • 限制重定向次数: 为了防止无限重定向循环(比如A重定向到B,B又重定向回A),或者仅仅是避免请求链过长导致性能问题,你可以使用
    CURLOPT_MAXREDIRS
    来限制跟随重定向的最大次数。
    curl_setopt($ch, CURLOPT_MAXREDIRS, 5); // 最多跟随5次重定向

    我个人建议这个值不要设置得太高,一般3-5次就足够了。如果超过这个次数还在重定向,那很可能目标URL配置有问题。

HTTPS证书验证:

HTTPS通过SSL/TLS协议提供加密通信和身份验证,确保数据传输的安全性。cURL在请求HTTPS站点时,默认会尝试验证服务器的SSL证书。这是为了防止“中间人攻击”,确保你连接到的确实是目标服务器,而不是伪装者。

  • 默认行为和最佳实践: cURL默认会开启证书验证。
    CURLOPT_SSL_VERIFYPEER
    CURLOPT_SSL_VERIFYHOST
    通常都是
    true
    。这是最佳实践,也是我强烈建议在生产环境中始终保持开启的。
    • CURLOPT_SSL_VERIFYPEER: true
      验证对等证书(即服务器证书)是否有效且可信。
    • CURLOPT_SSL_VERIFYHOST: 2
      验证证书中的主机名是否与你请求的URL主机名匹配。
  • 遇到证书验证失败怎么办? 有时你会遇到“SSL certificate problem: unable to get local issuer certificate”或类似错误。这通常有几个原因:
    1. 服务器证书无效/过期/自签名: 目标服务器的证书本身有问题。
    2. CA证书包缺失或过旧: 你的PHP环境没有一个最新的、包含所有受信任CA证书的包(
      cacert.pem
      )。 解决办法通常是更新你的PHP或操作系统的CA证书包,或者手动指定一个最新的
      cacert.pem
      文件给cURL。你可以从 curl.haxx.se 下载最新的
      cacert.pem
      ,然后通过
      CURLOPT_CAINFO
      指向它:
      curl_setopt($ch, CURLOPT_CAINFO, '/path/to/your/cacert.pem');
  • 何时可以禁用验证(极不推荐): 在极少数情况下,例如在开发环境中连接一个自签名的内部服务,或者你完全知道并信任目标服务器且无法解决证书问题时,你可能会暂时禁用SSL验证。
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); // 或 0

    警告: 禁用这些选项会使你的连接容易受到中间人攻击,因为cURL不再验证服务器的身份。这意味着恶意第三方可以伪装成目标服务器,窃取你的数据。所以,除非你真的明白自己在做什么,并且有充分的理由,否则请务必保持这些验证开启。在生产环境中,这几乎是不可接受的风险。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6500

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

368

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

445

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

curl_exec
curl_exec

curl_exec函数是PHP cURL函数列表中的一种,它的功能是执行一个cURL会话。给大家总结了一下php curl_exec函数的一些用法实例,这个函数应该在初始化一个cURL会话并且全部的选项都被设置后被调用。他的返回值成功时返回TRUE, 或者在失败时返回FALSE。

454

2023.06.14

linux常见下载安装工具
linux常见下载安装工具

linux常见下载安装工具有APT、YUM、DNF、Snapcraft、Flatpak、AppImage、Wget、Curl等。想了解更多linux常见下载安装工具相关内容,可以阅读本专题下面的文章。

183

2023.10.30

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

3

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.5万人学习

Excel 教程
Excel 教程

共162课时 | 21万人学习

PHP基础入门课程
PHP基础入门课程

共33课时 | 2.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号