0

0

mysql如何处理大规模的并发写入_mysql写入性能设计

P粉602998670

P粉602998670

发布时间:2026-02-28 08:33:43

|

534人浏览过

|

来源于php中文网

原创

insert高并发卡顿主因是间隙锁阻塞、autocommit频繁刷盘及二级索引过多;优化需调隔离级别、批量插入、异步写入并监控锁等待。

mysql如何处理大规模的并发写入_mysql写入性能设计

为什么 INSERT 在高并发下会卡住?

根本原因不是 MySQL 本身慢,而是锁、事务隔离级别和磁盘 I/O 共同拖慢了写入路径。默认的 REPEATABLE READ 隔离级别下,普通 INSERT 会加间隙锁(gap lock),多个线程往同一索引范围插入时容易相互阻塞;同时,如果没关掉 autocommit,每个 INSERT 都是独立事务,频繁刷 redo log 和 binlog 会造成 I/O 瓶颈。

  • 确认当前隔离级别:SELECT @@transaction_isolation;,生产环境高并发写建议设为 READ-COMMITTED(需配合 binlog_format=ROW
  • 批量插入必须用 INSERT INTO ... VALUES (...), (...), (...),单条 INSERT 每次都走完整事务流程,吞吐量差一个数量级
  • 避免在写密集表上建过多二级索引——每多一个索引,一次写就要更新多个 B+ 树,延迟直接翻倍

如何让 INSERT 不锁表又不丢数据?

核心思路是把“强一致性”和“高吞吐”拆开:写入先落缓存或队列,再异步刷库;数据库层则通过配置降低同步开销,但必须守住持久化底线。

  • 关闭 innodb_flush_log_at_trx_commit=2(每秒刷一次 redo log),可提升 3–5 倍写入速度,断电最多丢 1 秒数据;若要求更高可靠性,至少保留为 1(每次事务都刷盘)
  • 启用 innodb_doublewrite=ON 必须保持开启——它防止页写入一半崩溃导致数据页损坏,关掉可能引发不可恢复的 corruption
  • LOAD DATA INFILE 替代大批量 INSERT,前提是数据已预处理成文本文件;注意检查 secure_file_priv 路径限制

INSERT ... ON DUPLICATE KEY UPDATE 在并发下为什么报死锁?

这不是语法问题,而是 MySQL 对唯一键冲突的处理机制触发了额外的锁等待。当两个事务几乎同时插入相同唯一键值,其中一个成功插入后,另一个会尝试升级为 UPDATE 锁,但此时前一个事务还没提交,就卡在等待 S 锁或 X 锁上。

Q.AI视频生成工具
Q.AI视频生成工具

支持一分钟生成专业级短视频,多种生成方式,AI视频脚本,在线云编辑,画面自由替换,热门配音媲美真人音色,更多强大功能尽在QAI

下载
  • 优先用 INSERT IGNORE + 应用层重试,避开锁升级逻辑;适合“有就跳过、无则插入”的场景
  • 如果必须更新,把 ON DUPLICATE KEY UPDATE 的更新字段控制在最少——只更新计数器类字段,避免更新大文本或频繁变更字段,减少锁持有时间
  • 确保唯一索引是紧凑的,比如用 (user_id, event_type) 而非 (user_id, event_type, created_at),后者会让 gap lock 范围变大,加剧冲突

分表和写分离真能解决写瓶颈吗?

能,但前提是瓶颈确实在单表容量或主库写入能力上。盲目分表反而增加应用复杂度和跨分片事务成本。真正该先做的,是确认瓶颈点:SHOW ENGINE INNODB STATUS\GSEMAPHORESTRANSACTIONS 部分,看是不是锁等待或 log buffer 等待过高。

  • 水平分表推荐按写入热点字段哈希(如 user_id % 16),别用时间范围分——会导致新表瞬间写爆,老表长期闲置
  • 读写分离对写性能零提升,只缓解主库查询压力;从库延迟高时,INSERT 后立刻 SELECT 可能读不到,得靠应用层加缓存或强制走主库
  • 考虑替代方案:写入先打到 Kafka 或 Pulsar,用 Flink/Spark Streaming 落库,MySQL 只做最终状态存储,彻底解耦实时写和落地节奏

最常被忽略的一点:没有监控就调优等于蒙眼开车。至少要盯住 Innodb_row_lock_waitsThreads_runningSlow_queries 这三个状态变量,它们比任何理论都更快暴露真实瓶颈。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

682

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

432

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

286

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

519

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

264

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

392

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

539

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

640

2023.08.14

Golang 并发编程模型与工程实践:从语言特性到系统性能
Golang 并发编程模型与工程实践:从语言特性到系统性能

本专题系统讲解 Golang 并发编程模型,从语言级特性出发,深入理解 goroutine、channel 与调度机制。结合工程实践,分析并发设计模式、性能瓶颈与资源控制策略,帮助将并发能力有效转化为稳定、可扩展的系统性能优势。

2

2026.02.27

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 2.4万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 838人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号