0

0

Redis如何处理AOF重写期间的内存消耗_监控aof_rewrite_buffer占用情况

P粉602998670

P粉602998670

发布时间:2026-03-10 20:47:25

|

368人浏览过

|

来源于php中文网

原创

aof重写内存暴增主因是fork的copy-on-write机制触发页拷贝+重写缓冲区累积;可通过info memory差值、日志、aof_pending_rewrite交叉定位;缓解需停自动触发、手动完成重写,并调优auto-aof-rewrite-percentage等参数缩短重写时长。

redis如何处理aof重写期间的内存消耗_监控aof_rewrite_buffer占用情况

为什么AOF重写会突然吃掉大量内存?

不是重写过程本身在“分配新内存”,而是 fork 子进程时,操作系统为子进程复制了父进程的页表(Copy-on-Write),只要父进程不改写数据,物理内存仍共享;但一旦父进程持续写入,就会触发大量内存页拷贝——尤其是当 Redis 内存占用已达 10G+、且写请求密集(如每秒 5000+)时,fork 后几秒内 RSS 内存可能飙升 3~5G。

更隐蔽的是:AOF 重写缓冲区(aof_rewrite_buf_blocks)是独立于主 aof_buf 的内存结构,它在重写期间缓存所有新增命令,**不落地、不释放,直到重写完成才一次性追加到新 AOF 文件**。若重写耗时 8 秒、QPS 写入 3000,按平均命令长度 64 字节估算,仅缓冲区就可能占用 8 × 3000 × 64 ≈ 1.5MB——看似不大,但若同时有多个重写未完成(比如被中断后又自动触发),就会堆积成百 MB 的匿名内存,且不体现在 used_memory 中。

怎么查 aof_rewrite_buffer 实际占了多少内存?

Redis 没有直接暴露该缓冲区大小的 INFO 字段,但它属于“未计入 used_memory 的后台任务内存”,可通过以下方式交叉定位:

Vozo
Vozo

Vozo是一款强大的AI视频编辑工具,可以帮助用户轻松重写、配音和编辑视频。

下载
  • redis-cli info memory 查看 used_memory_rssused_memory 差值:差值持续 > 200MB 且与 latest_fork_usec 峰值时间吻合,大概率是重写缓冲区 + fork 复制页共同导致
  • 查日志:grep "Background AOF rewrite" /var/log/redis/redis-server.log,关注是否频繁出现 “started” 但无 “completed” 记录——说明重写反复中断,缓冲区不断重建
  • 观察 INFO stats 中的 aof_pending_rewrite:值为 1 表示已有重写待执行,但尚未开始;若长期为 1aof_rewrite_in_progress0,说明被阻塞(常见于 bgsave 正在运行或内存不足)

重写期间内存暴增,能临时缓解吗?

不能关重写,但可以切断恶性循环:

  • 立即停掉自动触发:动态设置 CONFIG SET auto-aof-rewrite-percentage 0,防止新重写被条件触发
  • 手动补一次干净重写:redis-cli bgrewriteaof,并紧盯日志确认是否成功完成——成功后旧 AOF 被原子替换,缓冲区清空,RSS 会回落
  • 如果 bgrewriteaof 提交后卡住超过 30 秒,检查系统 dmesg | tail 是否有 OOM killer 杀 Redis 进程的记录(常见于 signal 9 终止重写);若有,说明物理内存确实不足,需降 maxmemory 或扩容
  • 避免在重写时做高写入操作:例如批量 SETHSET 或大量过期 key 集中失效(会生成大量 DEL 命令进缓冲区)

长期配置上,哪些参数真正影响重写内存压力?

关键不在缓冲区大小本身,而在“让它别频繁发生”和“让它别拖太久”:

  • auto-aof-rewrite-percentage 别设太高:默认 100(翻倍才触发),写入密集场景建议压到 5030,让重写更早、更轻量,避免单次处理数 GB 原始 AOF
  • auto-aof-rewrite-min-size 要匹配实际数据量:若业务稳定在 2GB AOF,设 1gb64mb 更合理,否则小文件也频繁重写,徒增 fork 次数
  • 禁用 appendfsync always:它会让主线程在每次写后 fsync,极大拖慢重写速度(因重写进程需等主线程刷盘完成才能安全读取内存状态),用 everysec 是底线
  • 确保 vm.overcommit_memory = 1:Linux 内核参数,允许 fork 时乐观分配内存,避免因 overcommit 拒绝 fork 导致重写失败

重写缓冲区本身不可配大小,它的生命周期完全绑定重写任务——任务越短,它存在时间越短,这才是最有效的“控内存”手段。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

441

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

603

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

764

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

764

2023.08.10

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1005

2023.11.02

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

671

2023.11.14

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

501

2024.04.02

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

413

2024.04.07

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

4

2026.03.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号