基于 EasyExcel 实现高效导出

发布时间：2025-11-04 12:53:49 来源：技术快报 作者：数据库

近期梳理文章，基于也看到自己早期写的现高效导关于基于easy excel导出的文章，遂打算重新整理梳理一下，基于当初对于这个工具类的现高效导使用技巧，希望对你有帮助。基于

本文的现高效导需求是将一个百万数据量MySQL8的数据导出到excel的功能，经查阅资料并结合实际场景需求整理出这样一套比较精简且使用的基于导出方案。

一、现高效导简述案例背景

为了更好演示笔者的基于方案，这里给出一个演示的现高效导需求，该需求是基于要求导出一个用户表的数据，该数据表是现高效导一张用户表，包含id和name，基于该用户表数据量在300w左右，现高效导以自增id作为主键，基于而功能要求我们在一分钟之内完成百万数据导出到excel。需要注意的是，我们导出的excel格式为xlsx，云服务器提供商它的每一个sheet只能容纳100w的数据，这也就意味着我们的数据必须以100w作为批次写到不同的sheet中。

二、三个核心问题说明

我们先来说说需要解决的问题：

三、如何解决查询问题

对于问题1我们两套解决方案： 方案1是采用分页查询的方式进行查询，参考自己堆内存的配置推算每次分页查询的数据量。因为问题1采用了分页查询，我们完全可以通过分页查询的次数推算出一个sheet写入了多少数据，例如我们每次分页查询50w的数据，那么每两次就可以视为一个sheet写满了，我们就可以创建一个新的免费信息发布网sheet写入数据。

这里需要注意一点，因为我们分页查询面对的是百万级别的数据，所以随着分页的推进势必出现深分页导致查询效率势降低，所以为了提高分页查询的效率，我们可以利用查询数据有序的特性，通过id作为偏移进行分页查询。

例如我们第一次分页查询的sql语句为:

假如我们不以id作为索引，那么第二次的分页查询sql则是:

查看该查询执行计划，可以看到该查询一次性查询到几乎全表的数据，并且还走了全秒扫描性能可想而知:

因为我们的数据表是id自增的，所以我们查询的时候完全可以基于该特性通过上一次查询到的id作为筛选条件进行分页查询。

所以我们的分页查询可直接改为:

再次查看执行计划可以发现该查询为范围查询，查询到的数据量也少了很多，性能显著提升:

另外一种解决方案就是流式查询，免费源码下载通过流式查询将SQL语句直接提交给MySQL服务端，让服务端按照客户端程序接受程度不断推送数据，然后我们的java程序每次收集50w的数据，再写入到对应的excel文件中：

四、选用合适的导出工具

因为市面上比较多的excel导出工具，常见的就是Apache poi，但是它们的操作对于内存的消耗非常严重，对于我们这种大数据量的写入不是很友好，所以笔者更推荐使用阿里的EasyExcel，它对poi进行一定的封装和优化，同等数据量写入使用的内存更小，引用Easy Excel的说法：

Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。 easyexcel重写了poi对07版Excel的解析，一个3M的excel用POI sax解析依然需要100M左右内存，改用easyexcel可以降低到几M，并且再大的excel也不会出现内存溢出；03版依赖POI的sax模式，在上层做了模型转换的封装，让使用者更加简单方便

所以我们准备引入这个工具的依赖进行excel文件处理：

解决上述问题之后，我们就可以说说代码实现思路了，以本文示例来说，有一张用户表有300w左右的数据，每次查询时只需查询id(4字节)和name(10字节)，按照64位的操作系统来说，一个user对象所占用的内存大小为:

因为java对象内存大小需要16位对齐，需要补齐2个字节，所以实际大小为32字节，按照笔者对于堆内存的配置。

对于实用分页查方案来说，每次查询50w条数据是允许的，所以每次从数据库读取数据并转为java对象，也只需要32*500000/1024即15M内存即可。

确定每次分页查询50w条数据之后，我们就需要确定一共需要查询几个分页，然后就可以根据pageSize确定查询的页数。 因为每次查询50w条数据，所以每两次完成分页查询和写入基本上一个sheet就会满了，这时候我们就需要创建一个新的sheet进行数据写入了。

五、基于分页查询导出的落地示例

对于分页查询导出，我们的大体实现步骤为:

对应的我们也给出分页查询和导出的代码示例，逻辑和上述说明基本一致：

可能会有读者好奇笔者这个50w的数值设计思路是什么，除了考虑避免OOM以外，还考虑到每个sheet只能写入100w条的数据，为了方便通过分页查询的轮次确定当前写入的数据量大小，笔者尝试过20w、50w。 最终在压测结果上看出，50w读写耗时虽然是20w的2倍，但是IO次数却不到20w查询的二分之一，通过更少的IO操作获得更好的执行性能。

最终300w数据导出耗时大约35s，整体性能表现还是可以的：

六、使用流式编程导出(推荐)

对应我们也给出流式编程的导出方案，笔者针对查询语句做了流式编程的配置，通过这些配置保证MySQL服务端基于自己的迭代游标按照客户端处理效率按照顺序的数据流不断传输给客户端：

关于流式查询的更多内容，建议读者参考笔者写的这篇文章：《MySQL 流式查询的奥秘与应用解析》。

基于上述查询语句，我们不断拿到user对象，因为流式查询避免的频繁的IO分页请求，所以真正的写入瓶颈点在于写入到excel文件中，所以笔者在流式聚合数据时是通过每1w条进行一次写入，保持每100w切换一次sheet。

需要注意的是因为笔者的ResultHandler用的是lambda表达式，为了让编译器通过编译所有的计数、sheet等修改操作都是通过原子类CAS完成的，具体读者可以参考笔者的注释：

最终这种方案的执行耗时在最好的情况下差不多30s左右，总的来说流式查询天然内存友好且游标式顺序前进的特定，对于这种并发场景下的数据导出是非常友好的，所以这种方案也是笔者比较推荐的方案：

七、小结

以上便是笔者的百万级别数据导出的落地方案，可以看出笔者针对分页查询导出的方案着重在分页查询大小和分页查询sql上进行重点优化，通过平衡分页查询的数据量和IO次数找到合适的pageSize，再通过上一次分页查询结果定位下一次查询的id作为where条件，避免分页查询时的全秒扫描以得到符合业务需求的高性能sql。

对于流式查询，因为流式查询的特定，笔者在优化时更着重于找到写入到文件这块的耗时上，通过找到IO写入的平衡点找到最佳写入阈值，从而完成百万级别数据的高效导出。

相关文章