0

0

Python 共享内存的 multiprocessing.shared_memory

舞夢輝影

舞夢輝影

发布时间:2026-02-16 14:58:47

|

857人浏览过

|

来源于php中文网

原创

shared_memory 创建后进程退出不会自动销毁,必须显式调用 close() 和 unlink() 清理,否则残留;它不提供同步机制,需配合 lock 等使用;相比 multiprocessing.array,它更底层、跨语言、高性能但需手动管理。

python 共享内存的 multiprocessing.shared_memory

shared_memory 创建后进程退出就自动销毁吗

不销毁,但必须手动清理,否则变成系统级残留。Python 的 shared_memory.SharedMemory 底层绑定的是 POSIX 共享内存对象(Linux/macOS)或 Windows 内存映射文件,操作系统不会因为创建它的 Python 进程退出就自动释放——尤其当其他进程还在 attach 时。

常见错误现象:OSError: [Errno 17] File exists,反复运行脚本失败;df -h /dev/shm 显示占用持续增长;用 ipcs -m 能查到大量“dest”状态的段。

  • 必须显式调用 shm.close() + shm.unlink(),且 unlink() 只能由创建者调用一次
  • 子进程不能调用 unlink(),否则主进程再访问会报 FileNotFoundError
  • 程序异常退出时,unlink() 很可能没执行,建议用 atexit.register()try/finally 包裹

多个进程怎么安全读写同一块 shared_memory

shared_memory 本身不提供任何同步机制,读写冲突完全靠你自己控制。它只是把一块内存地址暴露出来,像裸指针一样危险。

使用场景:高频小数据交换(如图像帧、传感器采样),且你已有明确的读写节奏(比如生产者-消费者模型中,写完才通知读)。

立即学习Python免费学习笔记(深入)”;

dboxShare 开源企业网盘系统4.0.0.2105
dboxShare 开源企业网盘系统4.0.0.2105

dboxShare 是一款简便易用的免费开源企业网盘,基于 .NET 技术开发,用于构建安全高效的文件云存储及云管理平台。 用户无需改变工作习惯,文件双向同步将会根据相应的权限自动进行上传、下载及版本更替,为共享协作提供便捷高效的解决方案。 系统具有安装简单、部署灵活和维护量小的特点,适用于企业组织及团队搭建安全高效的私有云网盘。

下载
  • 不要直接对 shm.buf 做并发赋值,例如 shm.buf[:4] = b'' 在多线程/多进程下非原子
  • 推荐搭配 multiprocessing.Semaphoremultiprocessing.Lock 使用,锁对象也得用 shared_memory 外的方式传递(比如父进程创建后传给子进程)
  • 如果只是单写多读,且写操作是整块覆盖(不是部分更新),可以靠约定顺序规避锁,但需确保写入完成后再更新一个标志位(该标志位也得在共享内存里,且用 struct.pack 写入)

shared_memory 和 multiprocessing.Array / Value 有什么区别

shared_memory 是底层裸内存,ArrayValue 是带类型封装的高层接口。前者灵活但易错,后者省心但有额外开销和限制。

参数差异明显:Array('i', 100) 固定为 C 类型数组,长度写死;SharedMemory 创建时只指定字节数,后续怎么解释全由你决定(可用 numpy.frombuffer(shm.buf, dtype=np.int32))。

  • Array 自动管理生命周期,进程退出时由 multiprocessing 模块尝试清理;SharedMemory 完全不托管
  • Array 不支持跨语言(比如 Go 进程读取),SharedMemory 的名字(name 参数)是 OS 级字符串,C/Go 都能打开
  • 性能上,SharedMemory 避开了 Array 的代理对象和类型检查,大数据量(>1MB)时 memcpy 开销更可控

Windows 下 shared_memory 报 FileNotFoundError 怎么办

Windows 对共享内存名有严格限制:不能含反斜杠、不能以空格开头、长度上限 260 字符,且必须全局唯一。最常踩的坑是名字用了路径风格(如 "myapp/data")或随机数没做字符过滤。

错误信息典型是:FileNotFoundError: No such file or directory: 'psm_abc123'(注意前缀 psm_ 是 Python 自动加的)。

  • 名字只能用 ASCII 字母、数字、下划线,且必须以字母或下划线开头
  • 避免用 uuid.uuid4().hex 直接当 name,因为 hex 可能以数字开头,Windows 拒绝;改成 "shm_" + uuid.uuid4().hex
  • 调试时先用固定名字(如 "test123"),确认逻辑通了再换动态生成
  • dir \.Global??(管理员权限)或 Process Explorer 查看已存在的共享内存对象
事情说清了就结束

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

552

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

216

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1552

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

640

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

925

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

876

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

185

2025.07.29

c++字符串相关教程
c++字符串相关教程

本专题整合了c++字符串相关教程,阅读专题下面的文章了解更多详细内容。

89

2025.08.07

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

145

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号