0

0

什么是Netty的零拷贝特性_堆外内存(Direct Memory)与CompositeByteBuf组合原理解析

P粉602998670

P粉602998670

发布时间:2026-03-17 09:00:37

|

469人浏览过

|

来源于php中文网

原创

Netty的“零拷贝”指避免CPU主动拷贝,通过堆外内存(DirectByteBuf)绕过JVM堆与Socket间复制,CompositeByteBuf则通过组件列表引用管理多缓冲区而不合并内存;二者协同实现writeAndFlush全程无用户态搬运。

什么是netty的零拷贝特性_堆外内存(direct memory)与compositebytebuf组合原理解析

Netty 的“零拷贝”不是不拷贝,而是不让你的代码主动触发 CPU 拷贝——尤其是跨用户态/内核态、或在多个缓冲区之间反复搬数据。 堆外内存(DirectByteBuf)和 CompositeByteBuf 的组合,正是这个理念落地最典型的双引擎:一个管“数据不出内核”,一个管“数据不合并挪动”。

为什么 CompositeByteBuf 不等于内存复制?

它根本不分配新内存,只是维护一个 Component 列表,每个 Component 记录着子 ByteBuf 的引用、起始偏移、长度。读 getByte(150) 时,它查表知道第 150 字节落在哪个子缓冲区、再转成那个子缓冲区内部的相对索引去读——全程无 memcpy。

  • 常见错误现象:CompositeByteBuf.array()UnsupportedOperationException,因为它压根没有 backing array
  • 使用场景:HTTP 响应头(Unpooled.copiedBuffer)+ 响应体(PooledDirectByteBuf)拼一起发,不 copy
  • 参数差异:compositeBuffer().addComponent(true, buf1).addComponent(true, buf2) 中第一个 true 表示自动 retain,避免被提前释放
  • 性能影响:添加 100 个子 ByteBuf,只要不频繁随机访问跨组件边界,性能几乎线性;但 slice()copy() 会触发现实拷贝,破功

堆外内存 + CompositeByteBuf 的真实协作链路

堆外内存本身解决的是 JVM 堆与 Socket 之间的零拷贝(绕过 GC 和堆复制),而 CompositeByteBuf 解决的是“多个堆外块怎么当一个用”。两者叠加,才能让一次 writeAndFlush 完全避开用户态内存搬运。

NameGPT名称生成器
NameGPT名称生成器

免费AI公司名称生成器,AI在线生成企业名称,注册公司名称起名大全。

下载
  • 常见错误现象:混合用了 Unpooled.heapBuffer()PooledDirectByteBuf 到同一个 CompositeByteBuf,结果 write 时触发隐式 copy() —— 因为某些 Channel(如 EpollSocketChannel)只接受 direct buffer
  • 使用场景:文件传输中,用 FileRegion 发送大文件(走 transferTo),同时在前面 prepend 一个自定义协议头(Unpooled.directBuffer()),用 CompositeByteBuf 包裹后统一 write
  • 兼容性影响:JDK 8u292+ 和 Linux kernel 2.4+ 才能真正发挥 transferTo + SG-DMA 的终极零拷贝;老环境 fallback 到 sendfile,仍比传统 IO 少一次 CPU 拷贝

release 的坑:谁 retain 谁 release,CompositeByteBuf 不背锅

CompositeByteBuf 自身是 ReferenceCounted,但它默认不接管子 ByteBuf 的生命周期——除非你显式传 trueaddComponent。这意味着:子缓冲区该谁 release 还是得谁来。

  • 常见错误现象:子 ByteBufCompositeByteBuf 写出前就被别的 handler release() 了,导致 write 时抛 IllegalReferenceCountException
  • 实操建议:addComponent(false, header) → 头部由上游 handler 管;addComponent(true, body) → 正文由 composite 自己负责释放
  • 关键点:CompositeByteBuf.release() 只会释放自己持有的引用计数,若子 buf 是 true 添加的,才会顺带调 child.release();否则子 buf 的生命周期完全独立

真正难的从来不是“怎么写出来”,而是判断哪段数据该用 direct、哪段该 pooled、哪个时机该 retain、哪个 handler 该放手——这些决策一旦错位,零拷贝就退化成“零文档说明的拷贝”。

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

448

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

606

2023.08.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

448

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

606

2023.08.10

Golang channel原理
Golang channel原理

本专题整合了Golang channel通信相关介绍,阅读专题下面的文章了解更多详细内容。

261

2025.11.14

golang channel相关教程
golang channel相关教程

本专题整合了golang处理channel相关教程,阅读专题下面的文章了解更多详细内容。

352

2025.11.17

http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

500

2023.11.09

http请求415错误怎么解决
http请求415错误怎么解决

解决方法:1、检查请求头中的Content-Type;2、检查请求体中的数据格式;3、使用适当的编码格式;4、使用适当的请求方法;5、检查服务器端的支持情况。更多http请求415错误怎么解决的相关内容,可以阅读下面的文章。

456

2023.11.14

chatgpt使用指南
chatgpt使用指南

本专题整合了chatgpt使用教程、新手使用说明等等相关内容,阅读专题下面的文章了解更多详细内容。

0

2026.03.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号