0

0

INSERT INTO SELECT 从大表复制时的锁表与 binlog 优化

冰川箭仙

冰川箭仙

发布时间:2026-01-28 21:35:26

|

585人浏览过

|

来源于php中文网

原创

INSERT INTO SELECT 是否锁全表取决于存储引擎和隔离级别:InnoDB 默认一致性读不锁源表,但无索引扫描可能触发间隙锁;MyISAM 直接表级读锁;STATEMENT 格式要求确定性,否则报错,推荐改用 ROW 格式。

insert into select 从大表复制时的锁表与 binlog 优化

INSERT INTO SELECT 会锁全表吗?取决于存储引擎和隔离级别

InnoDB 下,INSERT INTO ... SELECT 默认不会锁源表(SELECT 部分)的全表,但行为受事务隔离级别和查询是否走索引影响:
- READ COMMITTEDREPEATABLE READ 下,源表上加的是**一致性读(consistent read)**,不加锁,除非显式加 FOR UPDATELOCK IN SHARE MODE
- 如果 SELECT 扫描无索引字段或使用 WHERE 条件命中率低,可能触发大量间隙锁或临键锁(尤其在 REPEATABLE READ);
- MyISAM 会直接对源表加**表级读锁**,阻塞所有写操作,复制大表时务必避免。

binlog_format = STATEMENT 会导致 INSERT INTO SELECT 失败

binlog_format = STATEMENT 时,MySQL 要求 SELECT 子句必须是**确定性(deterministic)** 的,否则主从不一致风险高,会直接报错:
- 常见触发场景:含 UUID()NOW()RAND()、用户变量(@var)、子查询中含非确定函数;
- 错误信息形如:ERROR 1665 (HY000): Cannot execute statement: binlogging impossible since the statement is non-deterministic
- 解决方式不是改 SQL,而是切换为 binlog_format = ROW(推荐)或 MIXED —— ROW 模式下只记录行变更,完全绕过确定性校验。

大表复制卡顿、OOM 或主从延迟的常见诱因

即使语法合法、锁也可控,实际执行仍可能崩:
- INSERT INTO ... SELECT 是单事务操作,若复制 1 亿行,事务日志(innodb_log_file_size)、回滚段(innodb_undo_log_truncate)和内存(sort_buffer_sizejoin_buffer_size)都可能被撑爆;
- ROW 格式 binlog 体积激增,尤其更新宽表或含大字段(TEXT/BLOB),主库磁盘 IO 和网络带宽易成瓶颈;
- 从库重放时,单事务无法并行(即使开了 slave_parallel_type = LOGICAL_CLOCK),导致严重延迟;
- 更稳妥的做法是拆成小批次:INSERT INTO ... SELECT ... WHERE id BETWEEN ? AND ?,配合 ORDER BY id 和自增主键分片。

替代方案比硬扛 INSERT INTO SELECT 更可靠

真正处理 TB 级数据迁移时,原生命令往往不是最优解:
- 使用 mysqldump --single-transaction --skip-triggers --no-create-info 导出 + mysqlimportLOAD DATA INFILE,支持分块、压缩、跳过约束检查;
- 对在线业务,优先考虑 pt-archiver:自动分批、限速、支持 --where 过滤、可干掉源表旧数据;
- 若目标是构建新表结构,用 CREATE TABLE ... AS SELECT 更轻量(不走 binlog 写入逻辑,但注意它不复制索引/约束/注释);
- 所有方案上线前,务必在从库或测试实例跑 EXPLAIN FORMAT=JSON 看执行计划,确认 SELECT 部分走了索引且没有 Using temporary / Using filesort

真正难的不是写出能跑的语句,而是预判它在 200GB 表、从库延迟已到 3 小时、DBA 正在查慢日志时的表现。锁和 binlog 只是表象,背后是事务粒度、IO 路径和复制拓扑的耦合。

BibiGPT-哔哔终结者
BibiGPT-哔哔终结者

B站视频总结器-一键总结 音视频内容

下载

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

727

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

327

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

350

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1242

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

360

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

820

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

581

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

423

2024.04.29

俄罗斯Yandex引擎入口
俄罗斯Yandex引擎入口

2026年俄罗斯Yandex搜索引擎最新入口汇总,涵盖免登录、多语言支持、无广告视频播放及本地化服务等核心功能。阅读专题下面的文章了解更多详细内容。

158

2026.01.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 2万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 812人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号