SQL批量写入慢的核心在于频繁事务提交与单行操作开销,优化需聚焦减少事务次数、合并多值INSERT、禁用非必要约束索引、优先使用LOAD DATA INFILE或COPY。

SQL批量写入慢,核心问题往往不是单条语句性能差,而是频繁提交事务、逐条插入、网络往返过多或锁竞争激烈。优化关键在于“减少事务开销”和“提升单位时间吞吐量”,而非单纯调优单条INSERT。
用一个大事务替代N个小事务
默认情况下,每执行一条INSERT就自动提交(autocommit=on),相当于每次写入都经历一次日志刷盘(fsync)、锁释放、事务清理。1000条记录 = 1000次事务开销。关闭自动提交,显式BEGIN/COMMIT,能把1000次开销压缩为1次。
- MySQL:执行SET autocommit = 0;后,用START TRANSACTION;开始,最后COMMIT;
- PostgreSQL:直接用BEGIN;和COMMIT;包裹批量INSERT
- 注意:事务不宜过大(如百万级),否则可能触发锁升级、回滚段膨胀或超时;建议每1万~5万条提交一次
合并多条INSERT为一条多值INSERT
把INSERT INTO t(a,b) VALUES (1,2); INSERT INTO t(a,b) VALUES (3,4);改成INSERT INTO t(a,b) VALUES (1,2), (3,4), ...;。这能显著降低SQL解析、权限校验、网络包数量和客户端-服务端交互次数。
- MySQL单条INSERT支持最多65535个value组(受max_allowed_packet限制)
- 实际推荐每批次500~2000行,兼顾性能与内存/超时风险
- 应用层拼接时注意SQL注入防护——务必用参数化方式构造VALUES列表,而非字符串拼接用户数据
关掉非必要约束与索引,写完再重建
唯一索引、外键、触发器、全文索引都会在每行插入时实时校验或更新,是批量写入的隐形杀手。临时禁用它们可提速2~10倍(视数据量和约束复杂度而定)。
- MySQL:用ALTER TABLE t DISABLE KEYS;停用非唯一索引(仅MyISAM有效);InnoDB建议DROP INDEX后再ADD INDEX
- PostgreSQL:用SET session_replication_role = 'replica';跳过触发器和外键检查;索引可先DROP,导入完再CREATE INDEX CONCURRENTLY;
- 操作前务必备份表结构,并确保业务低峰期执行
用LOAD DATA INFILE或COPY替代INSERT(终极加速)
当数据源是本地文件(CSV/TSV),数据库原生命令比任何ORM或JDBC批量插入都快5~50倍,因绕过了SQL解析、协议封装、逐行绑定等环节。










