0

0

Golang并发发送HTTP请求的实现方案

P粉602998670

P粉602998670

发布时间:2026-01-09 17:36:13

|

129人浏览过

|

来源于php中文网

原创

最稳妥的并发控制方式是用 goroutine + sync.WaitGroup 配合信号量(chan struct{})限流,并配置 http.Client 超时与 Transport 连接复用参数,且每次请求后必须调用 resp.Body.Close()。

golang并发发送http请求的实现方案

goroutine + sync.WaitGroup 控制并发数量最稳妥

盲目起成百上千个 goroutine 发请求,容易打垮目标服务或触发本地文件描述符耗尽(too many open files)。必须显式限流。常见错误是只用 go http.Get(...) 不加控制,结果程序卡死或报错。

推荐做法:用 sync.WaitGroup 等待所有请求完成,配合带缓冲的 chan struct{}semaphore 控制并发数。不依赖第三方库,标准库足够。

  • 并发数建议设为 10–50,具体看目标服务承受力和本地资源
  • 每个 goroutine 必须有自己的 *http.Client 实例或复用同一个(但注意 Client.Timeout 是全局的)
  • 务必调用 resp.Body.Close(),否则连接不释放,很快触发 too many open files
func doRequests(urls []string, maxConcurrent int) {
    sem := make(chan struct{}, maxConcurrent)
    var wg sync.WaitGroup
for _, url := range urls {
    wg.Add(1)
    go func(u string) {
        defer wg.Done()
        sem <- struct{}{} // 获取信号量
        defer func() { zuojiankuohaophpcn-sem }() // 释放

        resp, err := http.Get(u)
        if err != nil {
            log.Printf("GET %s failed: %v", u, err)
            return
        }
        defer resp.Body.Close() // 关键!

        body, _ := io.ReadAll(resp.Body)
        log.Printf("GET %s ok, len=%d", u, len(body))
    }(url)
}

wg.Wait()

}

http.ClientTimeoutTransport 需要手动配置

默认的 http.DefaultClient 没有设置超时,遇到网络卡顿或服务无响应,goroutine 会无限阻塞,拖垮整个并发池。同时,默认的 Transport 连接复用参数偏保守,高并发下容易堆积 idle 连接。

立即学习go语言免费学习笔记(深入)”;

商易多用户商城
商易多用户商城

功能介绍:1. 商品出售包含拍卖模式,一口价模式。2. 全套系统采用淘宝网风格,成熟,简洁大方3. 每个商品支持多张图片上传,可自由设定,满足广大网民的迫切要求4. 商品信息支持 ubb,图文并茂5. 注册用户可参与竞拍,或者拍卖自己的商品6. 拥有会员注册,交易提醒,成交商品确认等邮件发送功能7. 拥有交易双方信用评价的功能,使得交易安全可*,可信度高8. 拥有安全稳定的用户虚拟币平台,可实现商

下载
  • Client.Timeout 控制整个请求生命周期(DNS + 连接 + 写请求 + 读响应),建议设为 10–30 秒
  • Transport.MaxIdleConnsMaxIdleConnsPerHost 建议调大(如 100),避免频繁建连
  • Transport.IdleConnTimeout 设为 30 秒,防止长连接被服务端断开后还留在池里
client := &http.Client{
    Timeout: 15 * time.Second,
    Transport: &http.Transport{
        MaxIdleConns:        100,
        MaxIdleConnsPerHost: 100,
        IdleConnTimeout:     30 * time.Second,
    },
}

context.WithTimeout 替代全局 Client.Timeout 更灵活

当一批请求中部分需要更短超时(比如健康检查 2 秒超时,数据拉取 15 秒),用全局 Client.Timeout 就不够用了。此时应把 context.Context 传入 client.Do(req),实现 per-request 超时控制。

  • 不能直接对 http.Get 用 context,得构造 *http.Request 后调用 client.Do
  • 注意:context 超时会取消请求,但底层 TCP 连接可能还在,Transport 会自动处理复用或关闭
  • 如果用了自定义 RoundTripper,需确保它尊重 req.Context().Done()
req, _ := http.NewRequestWithContext(ctx, "GET", url, nil)
resp, err := client.Do(req)
if err != nil {
    if errors.Is(err, context.DeadlineExceeded) {
        log.Printf("request %s timed out", url)
    }
    return
}

别忽略 DNS 解析和 TLS 握手的耗时与失败场景

并发发请求时,DNS 解析失败(lookup xxx: no such host)或 TLS 握手失败(remote error: tls: bad certificate)会直接返回错误,但这类错误常被当成业务错误忽略,实际是基础设施问题。

  • DNS 缓存:Go 默认不缓存 DNS 结果,高频请求可考虑用 net.Resolver + 本地 cache,或改用 dnsserver 代理
  • TLS 验证失败:测试环境用自签名证书时,需定制 Transport.TLSClientConfig.InsecureSkipVerify = true(仅限调试)
  • 连接拒绝(connection refused)或超时(i/o timeout)要区分是网络层还是服务层问题,日志里保留原始错误类型

真正难调的不是并发逻辑本身,而是超时组合、连接复用策略、错误分类这三者的交织。一个没关的 Body,可能让后续几百个请求全卡住;一个没设的 IdleConnTimeout,可能让服务在低 QPS 下缓慢泄漏连接。这些细节比 goroutine 怎么写重要得多。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

180

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

228

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

342

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

209

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

394

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

220

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

192

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

355

2025.06.17

拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

31

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go 教程
Go 教程

共32课时 | 4.2万人学习

Go语言实战之 GraphQL
Go语言实战之 GraphQL

共10课时 | 0.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号