0

0

什么是JVM的直接内存(Direct Memory)_NIO零拷贝底层与OOM排查实战

P粉602998670

P粉602998670

发布时间:2026-03-11 14:19:11

|

409人浏览过

|

来源于php中文网

原创

直接内存不属于jvm堆,无gc兜底,由-xx:maxdirectmemorysize管控;nio频繁分配未释放或cleaner延迟触发会导致outofmemoryerror: direct buffer memory。

什么是jvm的直接内存(direct memory)_nio零拷贝底层与oom排查实战

直接内存不是堆内存,但OutOfMemoryError: Direct buffer memory真会炸

它压根不属于JVM运行时数据区——没有GC自动兜底,不走-Xmx限制,而是靠-XX:MaxDirectMemorySize单独管。默认值在JDK 8及以前等于-Xmx,但JDK 9+起默认为0(即不限,实际受限于物理内存和OS)。一旦NIO频繁分配ByteBuffer.allocateDirect()又没及时释放,或者GC迟迟不回收DirectByteBuffer对象,就直接抛Direct buffer memory

  • 现象:应用跑着跑着突然OOM,堆dump里对象不多,jcmd <pid> VM.native_memory summary</pid>却显示InternalOther区域飙升
  • 本质:堆里的DirectByteBuffer只是个“壳”,真正内存在OS那头;它靠Cleaner(虚引用)触发Unsafe.freeMemory(),但这个过程不保证及时
  • 风险点:禁用System.gc()(比如加了-XX:+DisableExplicitGC),或大量DirectByteBuffer长期存活在老年代,Cleaner根本等不到回收时机

ByteBuffer.allocateDirect()怎么用才不翻车

别把它当普通ByteBuffer随便new——分配成本高(系统调用malloc),回收不可控,必须池化复用。

  • 禁止在循环里写ByteBuffer.allocateDirect(1024):一次分配≈一次syscall,性能断崖下跌
  • 推荐用Netty的PooledByteBufAllocator或自建缓冲池,确保buffer.release()后归还,而非依赖GC
  • 如果必须手动控制,可用((DirectBuffer) buffer).cleaner().clean()强制释放,但仅限确定该buffer已彻底不用,且没被其他线程持有
  • 调试时加-XX:NativeMemoryTracking=detail,再用jcmd <pid> VM.native_memory detail</pid>查哪块直接内存涨得最猛

零拷贝快在哪?关键就看FileChannel.transferTo()SocketChannel.write()

传统BIO读文件:磁盘→内核缓冲区→JVM堆→再copy到socket缓冲区,CPU搬两次;NIO用直接内存后,只要底层支持(Linux sendfilesplice),就能让网卡直接从内核缓冲区取数据,跳过JVM堆这层——这才是“零拷贝”的真实含义。

Video Ocean
Video Ocean

人人皆导演,让视频创作变得轻松自如

下载
  • 生效前提:必须用DirectByteBuffer,且I/O通道是FileChannelSocketChannel等支持transfer的类型
  • 典型高效写法:fileChannel.transferTo(position, count, socketChannel),全程不进Java堆,连ByteBuffer都不需要显式创建
  • 注意陷阱:Windows下transferTo对非socket目标可能退化为普通copy;Android或某些容器环境也可能不支持
  • 验证方式:用perf record -e syscalls:sys_enter_write,syscalls:sys_enter_sendfile看系统调用次数是否显著减少

-XX:MaxDirectMemorySize设多少合适?别拍脑袋

设太小:DirectByteBuffer分配直接失败,抛OOM;设太大:OS物理内存耗尽,影响整个机器,甚至触发OOM Killer杀进程。

  • 生产建议:初始值设为堆内存的50%~75%,例如-Xmx4g -XX:MaxDirectMemorySize=3g;若用Netty,默认池大小是堆的50%,可据此反推
  • 监控重点:不是看JVM堆使用率,而是用cat /proc/<pid>/status | grep VmData</pid>(含直接内存)或NativeMemoryTracking输出里的Internal
  • 容器场景特别注意:Kubernetes里memory.limit限制的是RSS总和,直接内存算在里面;若只配-Xmx不配MaxDirectMemorySize,JVM可能悄悄吃光剩余内存
  • 上线前必做:用stress-ng --vm 1 --vm-bytes 2G之类工具模拟内存压力,确认OOM行为符合预期

直接内存的麻烦不在分配,而在“看不见”——它不进堆dump,不响应jmap,连VisualVM都看不到具体对象。排查时最容易卡在以为是堆问题,结果Native Memory早爆了。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

203

2023.11.20

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

443

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

605

2023.08.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

443

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

605

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

765

2023.08.10

CSS position定位有几种方式
CSS position定位有几种方式

有4种,分别是静态定位、相对定位、绝对定位和固定定位。更多关于CSS position定位有几种方式的内容,可以访问下面的文章。

83

2023.11.23

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

3

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号