0

0

MySQL Cluster:如何通过扩展为MySQL带来2亿QPS_MySQL

php中文网

php中文网

发布时间:2016-05-30 17:09:46

|

947人浏览过

|

来源于php中文网

原创

 

MySQL Cluster:如何通过扩展为MySQL带来2亿QPS

本篇文章的目的在于介绍MySQL Cluster——也就是MySQL的一套内存内、实时、可扩展且具备高可用性的版本。在解决标题中所提到的每秒2亿查询处理能力问题之前,我们先对MySQL集群的背景信息及其架构进行一番回顾,这将有助于大家理解上述目标的实现过程。

MySQL Cluster介绍

MySQL Cluster是一套具备可扩展能力、实时、内存内且符合ACID要求的事务型数据库,其将99.999%高可用性与低廉的开源总体拥有成本相结合。在设计思路方面,MySQL Cluster采用一套分布式多主架构并借此彻底消灭了单点故障问题。MySQL Cluster能够横向扩展至商用硬件之上,能够通过自动分区以承载读取与写入敏感型工作负载,并可通过SQL与NoSQL接口实现访问。

作为一套最初被设计为嵌入式电信数据库、用于实现内网应用运营商级可用性及实时性能的解决方案,MySQL Cluster已经通过众多新型功能集的强化而得到快速发展,从而将用例范围扩展到Web、移动以及企业级应用程序等部署在内部或者云环境下的实例当中,具体包括:大规模OLTP(实时分析)电子商务、库存管理、购物车、支付处理、订单追踪、在线游戏、金融交易与欺诈检测、移动与微支付、会话管理与缓存、数据流供应、分析与建议、内容管理与交付、通信与呈现服务、订阅/用户配置管理与补贴等等。

MySQL Cluster架构概述

在面向应用程序的事务流程背后,存在着三种负责将服务交付至应用程序的节点类型。下图所示为一套简单的示例型MySQL Cluster架构,其由十二套被划分为六个节点组的Data Node构成。

MySQL Cluster:如何通过扩展为MySQL带来2亿QPS

Data Node属于MySQL Cluster当中的主节点。它们负责提供以下功能:内存内与基于磁盘数据的存储与管理、表的自动化与用户定义型划分(即分区)、在不同数据节点间进行数据副本同步、事务与数据检查、自动故障转移以及用于实现自我修复的故障后自动重新同步。

各种表会在多个数据节点当中进行自动分区,而且每个数据节点作为一个写入操作的接收主体,这就使其能够轻松将写入敏感型工作负载分布至多个商用节点之上,同时保证应用程序的完全透明化。

通过将数据保存并分发至一套无共享架构——也就是不使用任何共享磁盘——当中,并至少为数据同步至一套副本内,MySQL Cluster能够保证在单一Data Node出现故障时、用户至少还拥有另一个存储有相同信息的Data Node。如此一来,请求与事务处理流程将以无中断方式继续提供令人满意的运作效果。任何由于Data Node故障所引发的短暂故障转移窗口(时间在秒以下)而无法正常完成的事务流程都将被回滚并重新执行。

PHP高级开发技巧与范例
PHP高级开发技巧与范例

PHP是一种功能强大的网络程序设计语言,而且易学易用,移植性和可扩展性也都非常优秀,本书将为读者详细介绍PHP编程。 全书分为预备篇、开始篇和加速篇三大部分,共9章。预备篇主要介绍一些学习PHP语言的预备知识以及PHP运行平台的架设;开始篇则较为详细地向读者介绍PKP语言的基本语法和常用函数,以及用PHP如何对MySQL数据库进行操作;加速篇则通过对典型实例的介绍来使读者全面掌握PHP。 本书

下载

我们可以为数据选择存储方式,包括全部保存在内存内或者将一部分数据只在在磁盘之上(仅限于非索引数据)。内存内存储对于那些需要经常进行变更的数据(也就是活跃工作组)而言意义重大。保存在内存内的数据会定期进行指向本地磁盘的检查,并与全部Data Node进行协调,这样MySQL Cluster就能够在整体系统发生故障时——例如供电中断——得以全面恢复。基于磁盘的数据能够被用于存储对性能要求较低的数据,而这类数据集往往大于可用内存空间。正如其它大部分数据库服务器一样,MySQL Cluster会利用页面缓存机制将基于磁盘且访问频率较高的数据缓存在Data Node的内存当中,从而增加其实际性能表现。

Application Node负责提供由应用程序逻辑到数据节点的连接。应用程序可以利用SQL访问该数据库,具体而言通过一台或者多台MySQL服务器向处于同一套MySQL Cluster内的存储数据执行SQL接口功能。在MySQL Server当中,我们可以使用任何一种标准化MySQL连接机制,这意味着大家拥有非常丰富的访问技术可供选择。另外,一套名为NDB API的高性能(基于C++)接口可被用于实现附加控制、改善实时行为并带来更理想的吞吐能力。NDB API的层能够帮助额外NoSQL接口绕过SQL层而直接访问该集群,如此一来不仅延迟有所降低、开发人员也有获得更理想的灵活性水平。现有接口包括Java、JPA、Memcached、JavaScript with Node.js以及HTTP/REST(通过一套Apache Module实现)。所有Application Node都能够访问到来自任意Data Node的数据,所以即使出现故障、它们也不会导致任何服务丢失——因为各应用程序能够继续使用其它尚能正常运转的节点。

Management Node的职责在于该集群的配置方案发布到集群内的所有节点当中以实现节点管理。Management Node的起效时间点分别为集群启动时、某个节点希望加入集群时以及系统进行重新配置时。Management Node能够在不影响到当前正在进行的Data及Application Node执行操作的前提下进行中止以及重启。在默认情况下,Management Node同时提供裁定服务,例如某种网络故障引发“裂脑(即split-brain)”或者某信集群开始进行网络划分的情况。

通过透明化划分实现可扩展性

MySQL Cluster:如何通过扩展为MySQL带来2亿QPS

来自任何给定表的行都会以透明化方式被拆分成多个分区/片段。在每个片段中会包含一个单独数据节点,负责保留全部数据内容并处理指向该数据的所有读取及写入操作。每个数据节点还拥有一套搭档体系,二者共同构成一个节点组; 搭档节点中保存有该数据片段的辅助副本,但同时也拥有着自己的主片段。MySQL Cluster利用两步式提交协议实现数据同步,从而确保当某项事务被提交之后、所引发的变更将被同时存储在两个数据节点当中。

在默认情况下,表的主键会被作为分片键使用,而MySQL Cluster将对该分片键执行MD5散列处理、从而选择需要保存哪个片段/分区。如果某一事务或者查询需要访问来自多个数据节点的数据,那么其中一个数据节点会充当事务协调方的角色,并将具体工作分配给其它相关数据节点; 接下来访问结果会得到整合,并最终提供给应用程序。请注意,我们同样可以让多个事务或者查询访问来自多个分区及表的数据——相较于利用分片机制保存数据的典型NoSQL,这无疑成为MySQL Cluster的一大显著比较优势。

MySQL Cluster:如何通过扩展为MySQL带来2亿QPS

要实现最理想的(线性)规模缩放效果,我们需要确保将高强度查询/事务只需运行在单独一套数据节点之上(因为这能够大大降低由数据节点间通信所带来的网络延迟)。为了实现这个目标,我们可以让应用程序获得分布识别能力——具体而言,这意味着由管理员定义的规划能够涵盖分片键所需要使用的任意列。举例来讲,上图所示为一套配备有由用户ID与服务名称组成的复合主键的表; 通过将用户ID选定为分片键,表内与给定用户相关的所有行将始终被容纳在同一片段当中。更为强大的是,如果我们在其它表中使用同样的用户ID列并将其设定为分片键,那么该给定用户在所有表内的全部数据都会被容纳在同一片段之内——换言之,指向该用户的查询/事务都将在单一数据节点内进行处理。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
2026赚钱平台入口大全
2026赚钱平台入口大全

2026年最新赚钱平台入口汇总,涵盖任务众包、内容创作、电商运营、技能变现等多类正规渠道,助你轻松开启副业增收之路。阅读专题下面的文章了解更多详细内容。

54

2026.01.31

高干文在线阅读网站大全
高干文在线阅读网站大全

汇集热门1v1高干文免费阅读资源,涵盖都市言情、京味大院、军旅高干等经典题材,情节紧凑、人物鲜明。阅读专题下面的文章了解更多详细内容。

40

2026.01.31

无需付费的漫画app大全
无需付费的漫画app大全

想找真正免费又无套路的漫画App?本合集精选多款永久免费、资源丰富、无广告干扰的优质漫画应用,涵盖国漫、日漫、韩漫及经典老番,满足各类阅读需求。阅读专题下面的文章了解更多详细内容。

50

2026.01.31

漫画免费在线观看地址大全
漫画免费在线观看地址大全

想找免费又资源丰富的漫画网站?本合集精选2025-2026年热门平台,涵盖国漫、日漫、韩漫等多类型作品,支持高清流畅阅读与离线缓存。阅读专题下面的文章了解更多详细内容。

12

2026.01.31

漫画防走失登陆入口大全
漫画防走失登陆入口大全

2026最新漫画防走失登录入口合集,汇总多个稳定可用网址,助你畅享高清无广告漫画阅读体验。阅读专题下面的文章了解更多详细内容。

13

2026.01.31

php多线程怎么实现
php多线程怎么实现

PHP本身不支持原生多线程,但可通过扩展如pthreads、Swoole或结合多进程、协程等方式实现并发处理。阅读专题下面的文章了解更多详细内容。

1

2026.01.31

php如何运行环境
php如何运行环境

本合集详细介绍PHP运行环境的搭建与配置方法,涵盖Windows、Linux及Mac系统下的安装步骤、常见问题及解决方案。阅读专题下面的文章了解更多详细内容。

0

2026.01.31

php环境变量如何设置
php环境变量如何设置

本合集详细讲解PHP环境变量的设置方法,涵盖Windows、Linux及常见服务器环境配置技巧,助你快速掌握环境变量的正确配置。阅读专题下面的文章了解更多详细内容。

0

2026.01.31

php图片如何上传
php图片如何上传

本合集涵盖PHP图片上传的核心方法、安全处理及常见问题解决方案,适合初学者与进阶开发者。阅读专题下面的文章了解更多详细内容。

2

2026.01.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 2万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 816人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号