0

0

Redis怎样防范复制积压缓冲区覆盖_根据业务写入QPS精确推算合适的backlog容量

P粉602998670

P粉602998670

发布时间:2026-03-10 20:35:03

|

987人浏览过

|

来源于php中文网

原创

复制积压缓冲区被覆盖的条件是断连期间写入总量超过其容量,需实测avg_cmd_size(如用慢日志统计set value均值+协议开销),再按公式repl-backlog-size ≥ peak_master_qps × avg_cmd_size × max_expected_reconnect_time计算并留20%余量。

redis怎样防范复制积压缓冲区覆盖_根据业务写入qps精确推算合适的backlog容量

复制积压缓冲区(repl-backlog)到底多大会被覆盖?

覆盖只发生在写入速度持续超过 repl-backlog-size 且从节点断连时间 > repl-backlog-size / (master_write_qps × avg_cmd_size) 时。不是“一写就丢”,而是“断连期间写入总量 > backlog 容量”才丢命令。关键变量是平均命令大小,不是纯 QPS。

怎么算出业务真实的 avg_cmd_size?

不能拍脑袋估,得用 redis-cli --latency-distredis-cli monitor 抓真实流量(注意别在生产高峰长期开 monitor)。更稳妥的是开启慢日志 + AOF 解析:

  • CONFIG SET slowlog-log-slower-than 0 开启全量慢日志
  • SLOWLOG GET 1000 拿最近命令,统计 GET/SET/HSET 等高频命令的参数长度均值
  • 重点看 SET key valuevalue 的平均字节数 —— 这占大头

例如:若 70% 是 SET,平均 value 长 240 字节,加上协议开销(约 30–50 字节/命令),avg_cmd_size ≈ 300 是合理起点。

backlog-size 设多少才不丢?给个可落地的公式

目标是让断连窗口内产生的增量数据 ≤ backlog 容量。公式为:

X Detector
X Detector

最值得信赖的多语言 AI 内容检测器

下载
repl-backlog-size ≥ (peak_master_qps × avg_cmd_size) × max_expected_reconnect_time

其中:

  • peak_master_qps 取最近 7 天监控峰值(不是平均值),比如 12000
  • avg_cmd_size 来自上一步实测,比如 300
  • max_expected_reconnect_time 是网络抖动或从节点重启最长容忍时间,常见设 60–300 秒

代入:12000 × 300 × 120 = 432MB → 建议直接设 repl-backlog-size 536870912(512MB)。别设 432MB,留 20% 余量防突发。

设太大或太小会怎样?这些坑很多人踩过

设太小:主从断连稍久就触发全量同步(SYNC),CPU 和带宽尖峰,从节点长时间不可用;设太大:repl-backlog 占用主节点固定内存(即使没从节点),且 Redis 启动时会预分配,可能触发 OOM。

  • 线上曾见把 repl-backlog-size 设成 2GB,结果主节点 RSS 内存多占 2GB,和 maxmemory 冲突,触发频繁淘汰
  • 另一个常见错误是只按平均 QPS 算,结果大促峰值 QPS 翻 3 倍,backlog 5 分钟就被冲垮
  • 注意:Redis 6.2+ 支持 repl-backlog-ttl,但设成 0(永不过期)≠ 安全,只是避免空闲时释放 —— 覆盖风险仍在

真正难的不是算数字,是确认那个 max_expected_reconnect_time —— 它取决于你的运维响应链路,不是技术参数。网络抖动、K8s pod 重建、云厂商底层故障,都可能让这个时间远超预期。

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1005

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

671

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

501

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

413

2024.04.07

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

408

2024.04.07

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

483

2024.04.07

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

424

2024.04.07

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

450

2024.04.07

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

4

2026.03.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号