0

0

/ dev/shm 被塞满导致 PostgreSQL 或 Redis 崩溃的常见业务场景

冰川箭仙

冰川箭仙

发布时间:2026-01-19 13:32:02

|

891人浏览过

|

来源于php中文网

原创

/dev/shm 是基于内存的tmpfs,默认64mb,postgresql和redis依赖其创建共享内存段;占满会导致崩溃、启动失败或连接拒绝。postgresql在高并发、逻辑复制、统计扩展等场景易耗尽空间;redis在aof重写、模块扩展、容器部署时可能间接触发占用;其他服务残留文件亦会隐形占用。诊断用df -h /dev/shm和ls -l /dev/shm,缓解可清理或扩容至1g,或postgresql v12+改用mmap。

/ dev/shm 被塞满导致 postgresql 或 redis 崩溃的常见业务场景

/dev/shm 是 Linux 系统中基于内存的临时文件系统(tmpfs),默认大小通常为 64MB(部分系统为 512MB 或 1GB,取决于内核版本和配置)。PostgreSQL 和 Redis 都会主动使用 /dev/shm 存放共享内存段,一旦该空间被占满,会导致服务无法创建新的共享内存对象,进而触发崩溃、启动失败或连接拒绝等严重问题。

PostgreSQL 的共享内存需求场景

PostgreSQL 启动时会在 /dev/shm 下创建以 PostgreSQL.xxx 命名的共享内存段,用于进程间通信(如 WAL 共享缓冲、并行查询协调、逻辑复制槽状态等)。以下情况容易快速耗尽 /dev/shm:

  • 高并发连接 + 大量并行查询:每个并行工作进程需额外共享内存页,连接数 × 并行度 × 每个 worker 的 shm 开销可能远超默认容量
  • 启用了逻辑复制且订阅端堆积大量未消费的变更:逻辑解码中间状态缓存会驻留在 /dev/shm
  • 使用 pg_stat_statements 或其他扩展频繁刷新统计信息:某些版本在重载统计时会短暂申请大块共享内存
  • PostgreSQL 版本较老(如 9.6 或更早):对 shm 使用不够节制,且不支持 shared_memory_type = mmap 回退机制

Redis 的共享内存使用场景

Redis 本身不直接依赖 /dev/shm,但以下常见业务集成方式会间接触发其占用:

降重鸟
降重鸟

要想效果好,就用降重鸟。AI改写智能降低AIGC率和重复率。

下载
  • 启用 AOF 重写(BGREWRITEAOF)时配合子进程 fork:虽然 Redis 主要用 copy-on-write,但在某些内核(尤其开启 transparent_hugepage)下,fork 可能触发 tmpfs 映射,临时放大内存需求
  • 使用 Redis Modules(如 RedisAI、RedisJSON)进行大模型推理或批量解析:部分模块为加速数据交换,主动在 /dev/shm 创建命名信号量或共享缓冲区
  • 部署在容器中且未限制 shm 大小:Docker 默认只给容器 64MB /dev/shm,Kubernetes Pod 若未设置 securityContext.shmSize,也会继承该限制,而 Redis Cluster 节点间通信或 Lua 脚本大量调用 redis.call() 可能累积 shm 对象

被忽略的“隐形”占用源

除数据库自身外,同一台机器上的其他服务或脚本也可能持续写入 /dev/shm,导致 PostgreSQL/Redis 启动时“莫名失败”:

  • Python 多进程程序(如使用 multiprocessing.SharedMemory)未显式 .close().unlink(),残留 shm 对象长期不释放
  • Java 应用使用 java.nio.channels.FileChannel.map() 映射 /dev/shm 下的文件,JVM 退出异常时未清理映射
  • 监控 agent(如 collectd、telegraf)采集进程指标时,将临时元数据写入 /dev/shm 且未轮转清理
  • CI/CD 构建脚本临时解压大型归档包到 /dev/shm(误以为“快”就安全),忘记清理

快速诊断与缓解建议

发现崩溃后,优先确认 /dev/shm 实际使用情况:

  • 运行 df -h /dev/shm 查看使用率;ls -l /dev/shm/ 列出对象,重点关注 PostgreSQL.*、sem.*、redis.* 等前缀文件
  • ipcs -m 查看系统级共享内存段(注意:tmpfs 中的文件不显示在此,但传统 shm 段会)
  • PostgreSQL 启动失败时检查日志关键词:could not create shared memory segmentNo space left on device
  • 临时缓解:清空非关键 shm 文件(rm -f /dev/shm/PostgreSQL.* /dev/shm/sem.*),但需确保无活跃数据库进程
  • 长期方案:调整 /dev/shm 大小(如挂载时指定 size=1G),或让 PostgreSQL 使用 mmap(shared_memory_type = mmap,v12+ 支持),Redis 容器明确设置 --shm-size=1g

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

434

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

600

2023.08.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

434

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

600

2023.08.10

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

77

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

39

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

67

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

47

2025.11.27

Rust内存安全机制与所有权模型深度实践
Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开,深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例,分析内存安全保障原理与零成本抽象优势,并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学,掌握在高性能与安全性并重场景中的工程实践能力。

19

2026.03.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.2万人学习

Git 教程
Git 教程

共21课时 | 4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号