0

0

Redis如何评估内存过载时的内存分配器行为

P粉602998670

P粉602998670

发布时间:2026-03-18 09:27:13

|

978人浏览过

|

来源于php中文网

原创

Redis内存过载时jemalloc拒绝分配,是因内部碎片或保留页不足主动返回NULL触发OOM error,与Linux OOM Killer无关;关键看INFO memory中allocator_allocated、active、mapped的剪刀差而非used_memory。

redis如何评估内存过载时的内存分配器行为

Redis内存过载时,jemalloc 为什么突然拒绝分配?

Redis默认用 jemalloc 管理内存,不是系统 malloc。当内存接近 maxmemory 且淘汰策略未及时生效时,jemalloc 可能因内部碎片或保留页不足而返回 NULL,触发 Redis 的 OOM error —— 这和 Linux OOM Killer 无关,是分配器主动失败。

常见错误现象:OOM command not allowed when used memory > 'maxmemory',但 INFO memory 显示 used_memorymaxmemory 小几百 MB;或者日志里反复出现 Failed to allocate X bytes

  • 检查实际分配压力:用 INFO memory 对比 used_memorymem_allocator_stats(需 Redis 7.0+)里的 allocatedactivemapped
  • jemallocdirty 页面不会立刻归还 OS,active 高但 mapped 更高,说明有大量“脏但未释放”的页
  • 避免在高写入+LRU淘汰场景下用 allkeys-lru:它需要遍历键空间,期间新分配可能卡在 jemalloc 内部锁上

maxmemory-policy 设置不当会放大 jemalloc 分配失败

淘汰策略不只是“删什么”,它直接影响内存回收节奏和 jemalloc 的腾挪窗口。比如 noeviction 下,哪怕只差 1KB,SET 也会直接报错;而 volatile-lfu 在 key 过期集中时,可能批量释放导致 jemalloc 短暂无法合并空闲块。

  • 优先选 volatile-lruvolatile-lfu(如果业务 key 都带 TTL),避免全量扫描开销
  • 慎用 allkeys-random:随机驱逐不解决内存碎片,反而让 jemalloc 的空闲块更零散
  • 如果必须用 noeviction,请确保客户端有重试+降级逻辑,而不是依赖 Redis 自动兜底

如何从 INFO memory 判断是不是 jemalloc 自身瓶颈?

关键不是看 used_memory,而是看三组数字的剪刀差:used_memory vs allocator_allocated vs allocator_active。如果 allocator_allocated - used_memory > 500MB,说明 Redis 内部对象已释放,但 jemalloc 没归还;如果 allocator_active - allocator_allocated > 200MB,说明 jemalloc 持有大量“已分配但未使用”的页 —— 这正是过载时分配失败的温床。

  • 运行 MEMORY MALLOC-STATS(Redis 6.0+)看 arenas 数量和每个 arena 的 hugelarge 块分布
  • 频繁出现 huge 块分配失败?说明大对象(如大 SETHASH)导致 jemalloc 难以找到连续虚拟地址空间
  • 升级到 Redis 7.0+ 并启用 jemallocbackground_thread(通过 jemalloc_bg_thread 配置),能缓解 dirty page 积压

替换 glibc malloc 能解决问题吗?

不能,而且通常更糟。glibc 的 malloc 在多线程高并发下更容易产生锁竞争,且没有 jemalloc 的 arena 隔离机制,单个慢分配可能拖垮整个实例。Redis 官方只测试并优化了 jemalloc 行为,用 malloc 编译的版本在内存压力下崩溃概率更高。

  • 不要改 USE_JEMALLOC 编译选项,除非你完整压测过 malloc 在你 workload 下的 fragmentation_ratio 和分配延迟 P99
  • 真正有效的调优在运行时:调低 jemalloclg_chunk(减小 chunk 大小,降低大块浪费),但需重新编译 Redis
  • 最务实的做法:把 maxmemory 设为物理内存的 75%~80%,留出空间给 jemalloc 的元数据和 OS 缓存,别卡着上限跑

内存分配器不报错,不代表它没在挣扎;used_memory 没超限,也不代表 jemalloc 还有余力。真正难调的是那几 MB 的 invisible overhead —— 它藏在 arena 统计里,不在监控图表上。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

256

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1154

2024.03.01

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

533

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

385

2023.10.25

c++中volatile关键字的作用
c++中volatile关键字的作用

本专题整合了c++中volatile关键字的相关内容,阅读专题下面的文章了解更多详细内容。

77

2025.10.23

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

806

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

381

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

33

2026.01.21

抖漫入口地址合集
抖漫入口地址合集

本专题整合了抖漫入口地址相关合集,阅读专题下面的文章了解更多详细地址。

17

2026.03.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号