0

0

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因

爱谁谁

爱谁谁

发布时间:2025-07-10 11:26:41

|

974人浏览过

|

来源于php中文网

原创

作者:郭斌斌

爱可生 DBA 团队成员,负责项目日常问题处理及公司平台问题排查。

本文来源:原创投稿

*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

一、背景

客户反馈在生产环境中,MySQL 5.7 使用 xtrabackup 和 Binlog 进行基于时间点的恢复操作时,卡在 Binlog 的回放阶段,时间漫长,令人怀疑这种操作的合理性。因此,本文进行了 Binlog 回灌验证操作。

Pokecut
Pokecut

AI图片编辑处理工具,拥有超过50多种AI功能

下载

二、复现前提 MySQL 版本:5.7.22

Binlog 格式:Row

准备删除 800 多万记录的 Binlog

三、复现准备 3.1 创建表、构造数据

mysql> create table t1(id int primary key,name varchar(10));
Query OK, 0 rows affected (0.02 sec)

mysql> insert into t1 values(1,repeat('a',10));
Query OK, 1 row affected (0.01 sec)

mysql> insert into t1 select (select count(1) from t1)+id,name from t1;
Query OK, 1 row affected (0.01 sec)
Records: 1  Duplicates: 0  Warnings: 0

………………

mysql> insert into t1 select (select count(1) from t1)+id,name from t1;
Query OK, 4194304 rows affected (57.75 sec)
Records: 4194304  Duplicates: 0  Warnings: 0

3.2 准备删除 800 多万记录的 Binlog 文件

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 MySQL Binlog mysql-bin.000003 用于回灌测试

3.3 由于 Binlog 的回灌和造数是在同一个实例上,之前为了构建删除 800 多万记录的 Binlog,已经将数据删除,因此在进行 binlog 回灌前,需要使用之前造数的方法,重新造数

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 3.4 在同一个实例上先进行了删除操作,又重新构建新的数据。导致删除操作的 GTID 比重新造数操作的 GTID 小,为保证可以正常回灌,可以执行 reset master

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 四、复现测试 4.1 解析 MySQL Binlog mysql-bin.000003

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.2 导入解析文件

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.3 查看 processlist,发现导入线程一直处于 Sleep 状态,现象与客户描述一致。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.4 随即中断导入操作,重新发起导入同时使用 strace 记录操作的行为。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.5 通过观测产生的 strace.log,发现两个 read 的时间间隔不固定,少的也需要140ms左右,而读取的大小却只有4k(4096),读取效率偏低。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 五、分析 通过 Google 搜索“MySQL Mem Load Slow”,发现这是一个已知的 BUG,MySQL 5.7 Client 在读取较大事务(涉及多行操作)时,由于内存分配效率低,导致消耗大量时间,已在 MySQL 8.0.13 中修复。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 六、复测 6.1 使用 MySQL 8.0.18 客户端进行 Binlog 解析文件的回灌,提示 MySQL Server has gone away

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.2 导数报错时数据库未触发重启,查看 error 日志,有如下报错:

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.3 调大 max_allowed_packet 配置后重新测试

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.4 观测 strace 日志,每次读取 Binlog 大小为16M,远高于原来的4k

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.5 观测线程状态

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.6 观察执行耗时,MySQL 8.0.18 客户端导数时间变短,效率提升明显。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 七、结论 目前官方在 MySQL 8.0.13 版本中,已解决“使用 MySQL Client 进行批量导数时,内存分配效率低”的问题。因此,MySQL 8.0.18 客户端在进行回灌 Binlog 解析后的文件时,读取文件效率明显高于 5.7.22 的客户端,提升了 Binlog 回放的效率。

参考链接 https://www.php.cn/link/251b4805008712ec04e69c6569bfb189

https://www.php.cn/link/b16a9e8de58c95b427b29472b1eca130

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

686

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

493

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

287

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

519

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

266

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

392

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

542

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

666

2023.08.14

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

44

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.3万人学习

Django 教程
Django 教程

共28课时 | 4.8万人学习

Excel 教程
Excel 教程

共162课时 | 20.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号