0

0

Go语言并发调用数据库怎么优化_Golang并发数据库实战

P粉602998670

P粉602998670

发布时间:2026-01-23 12:25:02

|

740人浏览过

|

来源于php中文网

原创

Go并发查数据库需对齐连接池、查询粒度与上下文控制:设MaxOpenConns≤数据库上限,用QueryRowContext+timeout防连接泄漏,批量操作优先IN而非并发goroutine。

go语言并发调用数据库怎么优化_golang并发数据库实战

Go 语言并发调用数据库时,**不是并发越多越快,而是连接池 + 查询粒度 + 上下文控制三者必须对齐**。盲目开 go 协程发查询,大概率触发 too many connectionscontext deadline exceeded 或数据库 CPU 突增,反而比串行还慢。

为什么直接起 goroutine 调用 db.QueryRow 很危险

默认 *sql.DB 的连接池大小是 0(即无限制),但实际受数据库最大连接数(如 MySQL 默认 151)、操作系统文件描述符、Go runtime 调度开销共同制约。常见表现:

  • MySQL 报错:ERROR 1040 (HY000): Too many connections
  • PostgreSQL 报错:pq: sorry, too many clients already
  • 大量 goroutine 卡在 runtime.gopark,表现为高延迟低吞吐

根本原因:每个 db.QueryRow 都可能独占一个连接,而连接复用没被显式约束。正确做法是先设好池参数:

db.SetMaxOpenConns(20)
db.SetMaxIdleConns(10)
db.SetConnMaxLifetime(30 * time.Minute)

其中 MaxOpenConns 必须 ≤ 数据库侧允许的最大连接数;MaxIdleConns 建议 ≤ MaxOpenConns,避免空闲连接长期占位;ConnMaxLifetime 防止连接老化(尤其云数据库常做连接漂移)。

立即学习go语言免费学习笔记(深入)”;

context.WithTimeout 必须套在每个查询外层

并发场景下,单个慢查询会拖垮整批请求。不加 context 控制,超时后 goroutine 仍持有连接、不释放资源,连接池迅速枯竭。

错误写法:

go func(id int) {
    row := db.QueryRow("SELECT name FROM users WHERE id = ?", id)
    // 没有 timeout,卡死就一直等
}(...)

正确写法(带 cancel):

启科网络PHP商城系统
启科网络PHP商城系统

启科网络商城系统由启科网络技术开发团队完全自主开发,使用国内最流行高效的PHP程序语言,并用小巧的MySql作为数据库服务器,并且使用Smarty引擎来分离网站程序与前端设计代码,让建立的网站可以自由制作个性化的页面。 系统使用标签作为数据调用格式,网站前台开发人员只要简单学习系统标签功能和使用方法,将标签设置在制作的HTML模板中进行对网站数据、内容、信息等的调用,即可建设出美观、个性的网站。

下载
go func(id int) {
    ctx, cancel := context.WithTimeout(context.Background(), 500*time.Millisecond)
    defer cancel()
    row := db.QueryRowContext(ctx, "SELECT name FROM users WHERE id = ?", id)
    // ... 处理 err == context.DeadlineExceeded
}(...)

注意:QueryRowContext 是必须的;cancel() 一定要 defer,否则上下文泄漏;超时值要结合 P95 响应时间设定,不能拍脑袋填 5s。

批量操作优先用 ININSERT ... VALUES (...), (...),别 for-range 起 goroutine

比如查 100 个用户 ID 对应的名字,起 100 个 goroutine 并发查,不如一次 SELECT name FROM users WHERE id IN (?, ?, ..., ?) —— 减少网络往返、降低锁竞争、规避连接池争抢。

适用条件:

  • ID 数量可控(MySQL max_allowed_packet 通常支持几千参数)
  • 业务逻辑允许结果乱序(IN 不保证返回顺序)
  • 能接受单次查询失败则全失败(需配合重试或降级)

示例(分批 50 个一组):

const batchSize = 50
for i := 0; i < len(ids); i += batchSize {
    batch := ids[i:min(i+batchSize, len(ids))]
    placeholders := strings.Repeat("?,", len(batch)-1) + "?"
    rows, _ := db.QueryContext(ctx, "SELECT id, name FROM users WHERE id IN ("+placeholders+")", batch...)
    // 扫描结果并映射回原顺序(需额外哈希表)
}

连接池 + 并发数 + 查询复杂度必须动态匹配

没有“通用最优并发数”。同一服务在不同负载下,最佳并发值可能从 4 变到 16 —— 因为它取决于:

  • SQL 是否走索引(EXPLAINtyperows
  • 数据库 CPU/IO 是否已饱和(toppg_stat_activity 观察)
  • Go 应用自身 GC 压力(高并发触发频繁 STW)

上线前必须压测:固定 QPS 下,逐步提高 goroutine 并发数,监控 db.Stats().WaitCount(等待连接的总次数)。一旦该值非零增长,说明连接池已成为瓶颈,此时再加并发只会恶化延迟。

最易被忽略的一点:**事务内不要并发查库**。事务绑定的是单个连接,tx.QueryRowContext 在并发中若混用,会导致 sql: Transaction has already been committed or rolled back——因为底层连接被其他 goroutine 提前归还池中了。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

685

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

323

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

348

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1117

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

359

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

717

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

577

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

419

2024.04.29

c++空格相关教程合集
c++空格相关教程合集

本专题整合了c++空格相关教程,阅读专题下面的文章了解更多详细内容。

0

2026.01.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.9万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 805人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号