0

0

Golang Web接口分页性能如何优化_分页查询优化思路

P粉602998670

P粉602998670

发布时间:2026-01-21 14:34:01

|

182人浏览过

|

来源于php中文网

原创

OFFSET LIMIT 在大数据量下变慢是因为数据库需扫描并丢弃前N行,I/O和CPU开销随偏移量线性增长;应改用基于排序字段的游标分页,通过索引范围扫描提升性能。

golang web接口分页性能如何优化_分页查询优化思路

为什么 OFFSET LIMIT 在大数据量下越来越慢

MySQL 或 PostgreSQL 中用 OFFSET 10000 LIMIT 20 查询第 501 页时,数据库仍需扫描前 10000 行再丢弃——行数越多,I/O 和 CPU 开销越明显。这不是 Go 代码的问题,而是 SQL 执行逻辑本身导致的性能坍塌。

  • 每翻一页,扫描行数线性增长,5000 页 ≈ 扫描 10 万行(假设每页 20 条)
  • 即使有索引,OFFSET 仍要“跳过”索引 B+ 树中的对应节点,无法直接定位
  • Go 的 database/sql 层不会优化这个行为,它只是忠实地执行你写的 SQL

用游标分页(Cursor-based Pagination)替代 OFFSET

游标分页不依赖物理偏移,而是基于上一页最后一条记录的排序字段值做条件查询,例如用 created_at + id 组合做不等式过滤。它能跳过全表扫描,走索引范围扫描,QPS 可提升 10 倍以上。

适用前提:排序字段必须有高基数、非空、有索引(推荐复合索引 (created_at, id))。

SELECT * FROM posts 
WHERE created_at < ? AND (created_at != ? OR id < ?) 
ORDER BY created_at DESC, id DESC 
LIMIT 21
  • 传入上一页最后一条的 created_atid 作为游标参数
  • LIMIT 21 是为了判断是否有下一页(取 21 条,返回前 20 条)
  • 注意处理边界:当 created_at 相同时,必须用 id 做二级排序和过滤,否则会漏数据

Go 后端如何安全封装游标分页逻辑

不要把游标参数拼进 SQL 字符串,也不要在 handler 里重复写 WHERE 条件。建议封装成可复用的构建器,统一处理空游标、方向、排序字段校验。

LobeHub
LobeHub

LobeChat brings you the best user experience of ChatGPT, OLLaMA, Gemini, Claude

下载

立即学习go语言免费学习笔记(深入)”;

  • 游标解码应使用 base64.RawURLEncoding.DecodeString,避免 URL 中的 +/ 被误解析
  • 游标值需严格校验类型和长度,防止注入或 panic;比如 id 必须是 int64,不能是负数或超长字符串
  • 返回响应时,下一页游标应基于当前页**最后一条**记录生成,不是第一条
  • 禁止在游标中暴露敏感字段(如用户 email),只允许业务主键或时间戳类字段

什么时候还不得不保留 OFFSET 分页

搜索结果页、后台管理列表、需要跳转任意页码(如输入“第 87 页”)的场景,游标分页无法满足。此时只能靠工程手段缓解,而非根治。

  • 加缓存:对稳定且访问频次高的页码(如前 100 页),用 redis 缓存 page:xxxjson 结果
  • 限制最大页码:if page > 2000 { return ErrPageTooFar }前端禁用跳转框或截断输入
  • 改用 WHERE id > ? LIMIT 20 模拟游标(仅适用于主键自增且无删除场景)
  • 预计算总数时用 SELECT COUNT(*) FROM table WHERE ... 单独走索引覆盖,别和分页查混在一起

真正难的不是写对一页,而是让第 10000 页和第 1 页响应时间基本一致——这要求你在设计阶段就放弃“页码”思维,转向“连续流”思维。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

180

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

228

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

340

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

209

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

393

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

197

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

191

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

212

2025.06.17

Java编译相关教程合集
Java编译相关教程合集

本专题整合了Java编译相关教程,阅读专题下面的文章了解更多详细内容。

0

2026.01.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.8万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 805人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号