0

0

如何在Java中高效读取大数据量Excel_EasyExcel阿里开源库的监听器实战

P粉602998670

P粉602998670

发布时间:2026-03-19 11:19:24

|

949人浏览过

|

来源于php中文网

原创

EasyExcel读大数据Excel必须用监听器,因其采用SAX式流式解析,内存稳定在几MB;不用则全量加载致OOM。监听器需继承AnalysisEventListener,重写invoke()和doAfterAllAnalysed(),分批刷盘防OOM,并注意字段映射、事务及性能瓶颈。

如何在java中高效读取大数据量excel_easyexcel阿里开源库的监听器实战

EasyExcel读大数据Excel为什么必须用监听器

因为不走监听器模式,EasyExcel会把整张表全加载进内存——10万行、每行50列的Excel,轻松吃掉500MB堆内存,接着就是OutOfMemoryError: Java heap space。监听器本质是SAX式流式解析,边读边处理,内存占用稳定在几MB级别。

常见错误现象:read()直接传List.class或用readSync();结果小文件能跑通,一上生产就OOM。

  • 监听器必须继承AnalysisEventListener,不能只实现接口(缺泛型推导和生命周期钩子)
  • 重写invoke()处理单行数据,doAfterAllAnalysed()收尾(比如批量插入数据库)
  • invoke()里别缓存所有data到成员变量——这是新手最常踩的坑,等于又回到全量加载

监听器里怎么安全做数据库批量插入

单行insert太慢,但全攒到doAfterAllAnalysed()又可能OOM。折中方案是“分批刷盘”:每积满1000行执行一次JdbcTemplate.batchUpdate()或MyBatis的SqlSessionExecutor

使用场景:导入用户主数据、订单明细等需落库的业务。

立即学习Java免费学习笔记(深入)”;

  • 在监听器里声明private List<User> cachedData = new ArrayList<>(1000),容量预设避免频繁扩容
  • invoke()里add后判断cachedData.size() == 1000,触发batchInsert(cachedData)cachedData.clear()
  • doAfterAllAnalysed()里补上剩余不足1000条的数据——漏这步会导致最后几百行丢数据
  • 注意事务:Spring默认传播行为下,doAfterAllAnalysed()不在事务内,得用@Transactional包一层方法或手动管理

读取时字段映射失败的三个高频原因

EasyExcel靠注解或头匹配找字段,一旦错位、空格、类型不兼容,invoke()里拿到的就是null或转换异常,但日志未必报错——数据静默丢失。

WisPaper
WisPaper

复旦大学研发的AI学术搜索工具,5分钟内筛选1000篇论文

下载

常见错误现象:String字段读成nullDate字段抛DateTimeParseException;数字列被当科学计数法字符串(如"1.23456789E8"

  • 检查Excel头行是否含不可见字符(用head.get(0).trim().length()验证),建议用@ExcelProperty(index = 0)硬绑定列序而非名称
  • Date字段加@DateTimeFormat("yyyy-MM-dd"),且Excel单元格格式必须是日期类型(不是文本)
  • 数字列若可能超int范围,实体类字段用LongBigDecimal,避免自动转Double再截断
  • 监听器构造时传new AnalysisEventListener<User>(){...}要显式指定泛型,否则反射取不到User字段元信息

性能卡在IO还是解析?用JFR快速定位

读100MB Excel耗时2分钟,不一定是EasyExcel慢——可能是磁盘IO瓶颈(尤其网络盘)、或Excel本身有隐藏公式/样式拖慢解析。

性能影响点:EasyExcel.read()底层用Apache POI的SXSSF,但POI对xlsx的共享字符串表(SharedStringsTable)解析较重;复杂样式越多,CPU消耗越明显。

  • 用JDK自带jfr start --duration=60s --filename=recording.jfr录下读取过程,打开Java Mission Control看热点方法:如果org.apache.poi.xssf.model.SharedStringsTable占比高,说明文件结构问题
  • 临时提速:读取前用WorkbookFactory.create(new File(path), null, true)跳过样式(EasyExcel不直接暴露该开关,需自定义ExcelReaderBuilder注入WorkbookFactory
  • 真正大数据场景(千万行+),别死磕Excel——推动上游改用CSV或数据库直连,Excel只是临时交互格式

监听器看着简单,但invoke()里的每一行处理逻辑,都得按高并发、低延迟的代码标准来写。没人会告诉你,一个System.out.println()在百万行循环里能让耗时翻倍。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

887

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

767

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

756

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

401

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

462

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

453

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

433

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

17171

2023.08.03

bootstrap安装教程
bootstrap安装教程

本专题整合了bootstrap安装相关教程,阅读专题下面的文章了解更多详细操作教程。

22

2026.03.18

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 4.5万人学习

C# 教程
C# 教程

共94课时 | 11.6万人学习

Java 教程
Java 教程

共578课时 | 84.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号