0

0

MyBatis中的流式查询怎么使用_ResultHandler处理百万级数据导出防OOM

P粉602998670

P粉602998670

发布时间:2026-03-19 09:38:49

|

907人浏览过

|

来源于php中文网

原创

MyBatis流式查询需关闭自动提交并配置JDBC游标。必须使用ExecutorType.SIMPLE、禁用事务(@Transactional(propagation = Propagation.NOT_SUPPORTED))、设置useCursorFetch=true和defaultFetchSize=1000,禁用LIMIT与RowBounds,调整连接池超时参数。

mybatis中的流式查询怎么使用_resulthandler处理百万级数据导出防oom

MyBatis流式查询必须关掉自动提交

MyBatis默认用ExecutorType.SIMPLE,查完就缓存整个结果集到内存,哪怕你写了ResultHandler也没用——流式根本没生效。关键动作是显式指定ExecutorType.SIMPLE并关闭事务自动提交。

  • SqlSessionTemplateSqlSessionFactoryBean配置里加executorType="SIMPLE"(Spring Boot 2.3+ 可用mybatis.configuration.default-executor-type=simple
  • 手动获取SqlSession时,必须用sqlSessionFactory.openSession(ExecutorType.SIMPLE, false),第二个参数false才是重点:不自动commit,才能保持游标打开
  • 如果用了@Transactional,它会强制开启事务并自动commit,直接废掉流式——导出接口务必加@Transactional(propagation = Propagation.NOT_SUPPORTED)

ResultHandler里别存数据,直接写文件或响应流

常见错误是把每条记录add进ArrayList,等处理完再统一写,这等于又回到内存全量加载。流式的意义就是“来一条、写一条、丢一条”。

  • 导出Excel用Apache POI SXSSFWorkbook,每100行row.flush(),避免Sheet缓存撑爆堆
  • 写CSV直接用OutputStreamWriter + BufferedWriter,字符编码设为UTF-8,别用String.concat拼接大字段
  • Spring MVC中返回ResponseEntity<streamingresponsebody></streamingresponsebody>,在lambda里写outputStream,记得flush()但别close()(由框架关)

MySQL驱动要配streaming参数,否则还是全量拉

MyBatis只是调度层,底层JDBC驱动不配合,照样OOM。MySQL Connector/J 默认把结果集全读进内存,必须显式启用流式游标。

MedPeer自然科学基金
MedPeer自然科学基金

科研申报与成果分析的智能数据引擎

下载
  • 连接URL加参数:?useCursorFetch=true&defaultFetchSize=1000(注意&要转义)
  • useCursorFetch=true让驱动用服务器端游标,defaultFetchSize=1000控制每次从服务端取多少行,值太小IO多,太大内存压力大,1000是较稳的起点
  • 确认驱动版本≥5.1.38 或 ≥8.0.16,老版本useCursorFetch无效,会静默降级成普通查询
  • 执行前检查ResultSet.getFetchSize()是否返回1000,不是说明配置没生效

分页查询和流式查询不能共存

有人想“先count再limit流式”,这是典型误区。LIMIT会让MySQL无法使用游标,ORDER BY + LIMIT也会触发临时表,彻底破坏流式能力。

  • 流式只适用于无offset的全量扫描,比如按主键WHERE id > ? ORDER BY id做游标分段
  • 真要支持“跳过前10万行再导出”,得用id > last_id方式分批查,每次查1万行,用上一批最后id当起点
  • 别在SQL里写LIMIT #{offset}, #{size},MyBatis的RowBounds也一样,它们和流式互斥

最易被忽略的是连接池配置:HikariCP默认connection-timeout=30000,而百万行导出可能耗时几分钟,必须调大connection-timeoutidle-timeout,不然中途连接被池回收,ResultSet is closed就来了。

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
mybatis一级缓存和二级缓存
mybatis一级缓存和二级缓存

在MyBatis中,一级缓存和二级缓存是两种不同级别的缓存机制,它们都可以用来提高性能。本专题提供mybatis一级缓存和二级缓存相关文章,大家可以免费阅读。

306

2023.08.21

ibatis和mybatis有什么区别
ibatis和mybatis有什么区别

ibatis和mybatis的区别:1、基本信息不同;2、开发时间不同;3、功能与易用性;4、配置文件;5、入参类型与出参类型;6、返回结果集接受方式;7、语法差异;8、数据库方言支持;9、插件支持;10、社区活跃度;11、全球化支持。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

94

2024.02.23

mybatis如何配置数据库连接
mybatis如何配置数据库连接

mybatis配置数据库连接的方法:1、指定数据源;2、配置事务管理器;3、配置类型处理器和映射器;4、使用环境元素;5、配置别名。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

107

2024.02.23

mybatis工作原理及流程是什么
mybatis工作原理及流程是什么

mybatis工作原理及流程:1、配置文件;2、接口与映射;3、sql解析与生成;4、执行计划;5、结果处理;6、动态sql;7、缓存机制;8、插件;9、事务管理;10、日志与监控;11、扩展性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

162

2024.02.23

hibernate和mybatis有哪些区别
hibernate和mybatis有哪些区别

hibernate和mybatis的区别:1、实现方式;2、性能;3、对象管理的对比;4、缓存机制。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

159

2024.02.23

Java MyBatis框架
Java MyBatis框架

本专题专注于Java主流ORM框架MyBatis的应用,系统讲解SQL映射、动态SQL、结果映射、分页查询、缓存机制与多表关联等核心内容,并结合企业管理系统、电商平台和后台管理项目实战,帮助学员全面掌握高效的数据库持久层开发技能。

136

2025.08.26

bootstrap安装教程
bootstrap安装教程

本专题整合了bootstrap安装相关教程,阅读专题下面的文章了解更多详细操作教程。

22

2026.03.18

bootstrap框架介绍
bootstrap框架介绍

本专题整合了bootstrap框架相关介绍,阅读专题下面的文章了解更多详细内容。

137

2026.03.18

vscode 格式化
vscode 格式化

本专题整合了vscode格式化相关内容,阅读专题下面的文章了解更多详细内容。

13

2026.03.18

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号