0

0

Keepalived在高可用架构中脑裂问题的判定与解决方法

冰川箭仙

冰川箭仙

发布时间:2026-03-18 09:35:31

|

781人浏览过

|

来源于php中文网

原创

脑裂是指双机热备中主备节点因心跳中断同时抢占VIP导致服务混乱;可通过检查VIP绑定、抓包验心跳、查日志升主记录及客户端分流现象交叉验证。

keepalived在高可用架构中脑裂问题的判定与解决方法

Keepalived脑裂(Split-Brain)是指在双机热备场景中,主备节点因心跳通信中断,各自认为对方故障而同时抢占VIP,导致服务响应混乱、数据不一致甚至业务中断。判定是否发生脑裂,关键看同一时刻是否有两个节点都持有VIP并对外提供服务;解决核心在于确保心跳可靠、决策唯一、资源抢占可收敛。

如何快速判定是否发生了脑裂

可通过以下方式交叉验证:

  • 检查VIP绑定状态:在两台节点上分别执行 ip addr show | grep "inet.*virtual",若均显示同一VIP(如192.168.1.100/32),且状态为UP,即存在IP冲突,是脑裂最直接证据;
  • 抓包确认心跳是否真实中断:在备机上用 tcpdump -i eth0 host [主节点IP] and port 112(Keepalived默认VRRP组播端口为112),若长时间无VRRP报文,说明链路或防火墙阻断;
  • 查看Keepalived日志差异:主节点日志出现 Entering MASTER STATE,备节点也出现相同记录,且时间接近,说明两者几乎同时升主,极可能已脑裂;
  • 从客户端侧验证:用多台客户端持续ping VIP,再curl服务接口,若部分请求落到A节点、部分落到B节点,且后端响应不一致(如数据库写入不同),说明流量已被双节点分流。

常见脑裂成因与对应加固措施

脑裂不是Keepalived自身缺陷,而是底层环境异常触发的非预期行为。需逐层排查:

  • 网络层面单点故障:如交换机宕机、网线松动、VLAN配置错误,导致VRRP组播报文无法互通。建议启用单播心跳(vrrp_instance VI_1 { unicast_src_ip ...; unicast_peer { ... } }),绕过依赖组播的交换机;
  • 防火墙拦截VRRP协议:Linux iptables/nftables 或云平台安全组常默认丢弃非TCP/UDP流量。需放行协议号112(VRRP)或对应单播端口,命令示例:iptables -A INPUT -p 112 -j ACCEPT
  • Keepalived进程假死或CPU过载:进程未退出但停止发送心跳。应配合监控(如Prometheus+node_exporter)采集 keepalived_process_status 指标,并设置进程存活告警;
  • 权重配置不合理或优先级反转:例如备机优先级高于主机,或脚本检测逻辑错误导致降权失效。务必保证主机priority严格高于备机,且notify脚本中避免阻塞操作。

主动防御:防止脑裂的实用配置策略

仅靠“发现再处理”风险太高,应在配置阶段嵌入防裂机制:

Ai好记
Ai好记

强大的AI音视频转录与总结工具

下载
  • 启用nopreempt(非抢占模式)+ 静态优先级:适用于主节点稳定性明显更高的场景。备机即使恢复也不会自动抢主,避免震荡;
  • 增加多路径心跳检测:除主网卡外,额外配置一条独立链路(如直连网线、管理网口)运行第二组VRRP实例,任一路径通则不触发升主;
  • 集成外部仲裁(Quorum)机制:通过脚本调用第三方服务(如Redis、etcd)判断集群健康态,仅当多数节点认可“对方宕机”时才允许升主,典型工具如 keepalived-check-quorum
  • 强制资源互斥绑定:在VIP切换脚本(notify_master/notify_backup)中加入fence动作,例如卸载远端NFS、关闭对端MySQL实例(需谨慎授权),确保同一时刻仅一个节点能访问共享资源。

发生脑裂后的应急处置步骤

目标是快速止损、恢复单点服务,再查根因:

  • 立即登录两台节点,手动执行 ip addr flush dev eth0 清除冲突VIP(注意替换为实际网卡名),保留业务可用性最高的节点;
  • 检查Keepalived服务状态:systemctl status keepalived,若异常则重启(systemctl restart keepalived),观察日志是否回归正常状态机流转;
  • 确认底层网络连通性:pingarpingtelnet 主机IP 112(单播模式下)逐项验证;
  • 临时禁用自动切换:编辑配置,将备机priority调低至低于主机至少50,重启服务,待问题定位后再恢复。

脑裂本质是分布式系统在分区容忍性(P)与一致性(C)之间的权衡结果。Keepalived本身不提供强一致性保障,必须结合网络架构、运维规范和辅助仲裁手段共同构建防线。配置不复杂,但细节决定成败。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

690

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

554

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

287

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

520

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

267

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

392

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

543

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

668

2023.08.14

抖漫入口地址合集
抖漫入口地址合集

本专题整合了抖漫入口地址相关合集,阅读专题下面的文章了解更多详细地址。

17

2026.03.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号