如何批量插入10万条数据

如何批量插入10万条数据的思路

在进行批量插入时，通常有两种主要的思路：

1. 使用for循环逐条插入（需要开启批处理）：

   • 这种方法的优点是，JDBC中的PreparedStatement具有预编译功能，可以缓存并提高后续SQL执行的速度。此外，JDBC可以开启批处理，批处理的执行效率非常高。
   • 缺点在于，如果SQL服务器和应用服务器不在同一台机器上，网络IO可能会拖慢SQL执行速度。

2. 生成一条SQL语句进行插入：

   • 这种方法的优点是只需一次网络IO，即使需要分片处理，也只是少数几次网络IO，因此在网络IO上不会花费太多时间。
   • 缺点包括SQL语句可能过长，可能需要分片后批量处理；无法充分利用PreparedStatement的预编译优势，SQL需要重新解析且无法复用；数据库管理器解析长SQL语句也需要时间。

关键是要评估网络IO所需的时间是否超过SQL插入的时间，这是选择批量插入方法的核心问题。

根据实际情况选择合适的批量插入方法。

MyBatis Plus的批量插入方法

MyBatis Plus提供了一个批量插入方法saveBatch，我们来看一下它的实现源码：

@Transactional(rollbackFor = Exception.class)
@Override
public boolean saveBatch(Collection entityList, int batchSize) {
    String sqlStatement = getSqlStatement(SqlMethod.INSERT_ONE);
    return executeBatch(entityList, batchSize, (sqlSession, entity) -> sqlSession.insert(sqlStatement, entity));
}

这里的sqlStatement是INSERT_ONE，即逐条插入。

网趣网上购物系统HTML静态版

网趣购物系统静态版支持网站一键静态生成，采用动态进度条模式生成静态，生成过程更加清晰明确，商品管理上增加淘宝数据包导入功能，与淘宝数据同步更新!采用领先的AJAX+XML相融技术，速度更快更高效！系统进行了大量的实用性更新，如优化核心算法、增加商品图片批量上传、谷歌地图浏览插入等，静态版独特的生成算法技术使静态生成过程可随意掌控，从而可以大大减轻服务器的负担，结合多种强大的SEO优化方式于一体，使

下载

executeBatch方法如下：

public static  boolean executeBatch(Class entityClass, Log log, Collection list, int batchSize, BiConsumer consumer) {
    Assert.isFalse(batchSize < 1, "batchSize must not be less than 1");
    return SqlSessionUtils.doBatch(entityClass, log, list, batchSize, (sqlSession, entityList) -> {
        int size = list.size();
        int i = 1;
        for (E element : list) {
            consumer.accept(sqlSession, element);
            if ((i % batchSize == 0) || i == size) {
                sqlSession.flushStatements();
            }
            i++;
        }
    });
}

注意return中的第三个参数是一个lambda表达式，这是MP批量插入的核心逻辑。MP首先对数据进行分片（默认分片大小为1000），然后逐条插入。进一步查看executeBatch方法，会发现这里的sqlSession实际上是一个批处理的sqlSession，而不是普通的sqlSession。

参考资料

10万条数据批量插入，到底怎么做才快？分享计划

博客内容将同步至PHP中文网+社区，邀请大家一同入驻：https://www.php.cn/link/f7e88f8ae3ce74bc6225e0b5c78a46b8

许可协议

本文采用 署名-非商业性使用-相同方式共享 4.0 国际 许可协议，转载请注明出处。