0

0

如何配置大页内存跨节点_所有节点HugePages参数统一验证

P粉602998670

P粉602998670

发布时间:2026-03-17 08:16:03

|

146人浏览过

|

来源于php中文网

原创

跨节点HugePages生效需先确认NUMA架构并逐节点配置:运行numactl --hardware查节点数,再分别向/sys/devices/system/node/node*/hugepages/写入nr_hugepages值,禁用sysctl全局设置,改用systemd unit按节点初始化,并用numactl绑定进程验证。

确认节点是否启用 NUMA 并识别跨节点大页分配路径

跨节点 hugepages 生效的前提是内核识别到 numa 架构,且 vm.nr_hugepages 的分配行为受 numa_balancing/proc/sys/vm/hugetlb_shm_group 等机制影响。不检查 numa 拓扑就调参数,大概率出现部分节点分配失败、cat /proc/meminfo | grep huge 显示总数对但各节点 hugepages_free 不均衡。

  • 先运行 numactl --hardware,确认节点数(如 available: 2 nodes (0-1))和每个节点的内存容量
  • 检查 /sys/devices/system/node/node*/meminfo 中各节点的 HugePages_TotalHugePages_Free,不是只看全局 /proc/meminfo
  • 若使用 libvirtQEMU,需确保 <memorybacking><hugepages></hugepages><numatune><memory></memory></numatune></memorybacking> 配置显式绑定节点,否则默认可能只在 node 0 分配

统一设置所有节点的 vm.nr_hugepages 值要分步而非“一刀切”

直接在所有节点执行 echo 1024 > /proc/sys/vm/nr_hugepages 不等于跨节点均分 —— 内核按当前可用内存动态分配,node 1 内存不足时会静默失败,dmesg | grep -i huge 可能显示 hugetlb: failed to allocate page on node 1

  • 先清空:在每个节点分别执行 echo 0 > /proc/sys/vm/nr_hugepages,避免残留碎片干扰
  • 再按节点逐个设:比如 node 0 有 64GB 可用内存,node 1 有 32GB,按比例设为 echo 768 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepagesecho 256 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages
  • 验证必须查节点级路径:cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/free_hugepages,不能只信 /proc/sys/vm/nr_hugepages

永久生效需绕过 systemd-sysctl 的“全局覆盖”陷阱

/etc/sysctl.conf 里的 vm.nr_hugepages = 1024 会被 systemd-sysctl 加载为全局值,它不理解 NUMA 节点粒度,导致启动后所有大页都挤在 node 0 —— 这是生产环境最常被忽略的兼容性断点。

  • 禁用 sysctl 全局设置:注释掉 vm.nr_hugepages 行,改用 systemd unit 在 multi-user.target 后启动脚本
  • 写一个 /usr/local/bin/setup-hugepages.sh,用 for node in /sys/devices/system/node/node*; do echo 256 > $node/hugepages/hugepages-2048kB/nr_hugepages; done
  • 配套 unit 文件里加 After=multi-user.targetWantedBy=multi-user.target,确保 NUMA 设备已初始化完成

验证跨节点分配是否真实生效的关键命令

很多团队用 grep Huge /proc/meminfo 就算通过,但其实没验证进程是否真从指定节点获取大页 —— 特别是 mmap(MAP_HUGETLB)shmget(..., SHM_HUGETLB) 场景下,缺 NUMA 绑定会 fallback 到普通页。

NameGPT名称生成器
NameGPT名称生成器

免费AI公司名称生成器,AI在线生成企业名称,注册公司名称起名大全。

下载
  • 启动测试进程前,用 numactl --cpunodebind=0 --membind=0 your_app 强制绑定;否则即使大页存在,也可能跨节点访问造成延迟飙升
  • 运行中查 cat /proc/<pid>/numa_maps | grep huge</pid>,输出行里应含 huge=N0=256 N1=0 这类明确节点计数,而不是只有 huge 标志
  • 对比 cat /sys/devices/system/node/node0/meminfo | grep Hugenode1 的差值变化,确认分配动作确实落在目标节点

跨节点 HugePages 不是设完参数就自动均衡的,它依赖内核 NUMA 初始化顺序、内存水位、以及用户态是否显式绑定。最容易被跳过的其实是启动脚本里对 /sys/devices/system/node/ 下各节点路径的逐个写入 —— 少一个节点,那个节点的大页池就是空的。

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
oracle清空表数据
oracle清空表数据

当表中的数据不需要时,则应该删除该数据并释放所占用的空间。本专题为大家提供oracle清空表数据的相关文章,帮助大家解决该问题。

271

2023.08.16

Oracle中declare的使用
Oracle中declare的使用

Oracle DECLARE语句是PL/SQL编程语言中用于声明变量、常量、游标或异常的关键字。它的主要作用是在程序中定义这些对象,以便在后续的代码中使用。DECLARE语句的语法简单明了,可以根据需要声明多个对象。通过使用这些声明的对象,可以进行各种操作,如计算、查询数据库、处理异常等 。

221

2023.09.15

oracle怎么分页
oracle怎么分页

实现分页的步骤:1、使用ROWNUM进行分页查询;2、在执行查询之前进行设置分页参数;3、使用"COUNT(*)"函数来获取总行数,并使用"CEIL"函数来向上取整计算总页数;4、在外部查询中使用"WHERE"子句来筛选出特定的行号范围,以实现分页查询。想了解更多oracle怎么分页的文章,可以来阅读本专题先的文章。

248

2023.09.18

Oracle查看表操作历史记录
Oracle查看表操作历史记录

查看操作历史记录的方法:1、使用Oracle内置的审计功能,可以记录数据库中发生的各种操作,包括登录、DDL语句、DML语句等;2、使用Oracle日志文件,其中包含了数据库中发生的各种操作,可以通过查看日志文件来获取操作历史记录;3、使用Oracle的Flashback功能,可以查看数据库在某个时间点的操作历史记录;4、使用第三方工具等。本专题还提供其他查看表操作的文章,大家可以免费阅读。

464

2023.09.19

Oracle中RAC的用法
Oracle中RAC的用法

Oracle中RAC的用法:1、通过在多个服务器上运行数据库实例来提供高可用性;2、允许在需要时增加或减少节点数量;3、通过将工作负载分布到多个节点上来实现负载均衡;4、使用共享存储来实现多个节点之间的数据共享;5、允许多个节点同时处理数据库请求,从而实现并行处理;6、提供了透明故障切换功能;7、使用了一些技术来确保数据的一致性;8、提供了管理工具来简化RAC环境的管理和维护。本专题还提供RAC相关的其他文章,大家可以免费阅读。

452

2023.09.19

oracle imp
oracle imp

imp是Oracle数据库中的一个命令行工具,用于将导出的数据和对象从一个数据库实例导入到另一个数据库实例。imp命令的一般语法为“imp username/password@connect_string file=file_name [options]”。

342

2023.09.19

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1010

2023.11.02

oracle通配符有哪些
oracle通配符有哪些

oracle通配符有“%”、“_”、“[]”和“[^]"。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

166

2023.11.08

chatgpt使用指南
chatgpt使用指南

本专题整合了chatgpt使用教程、新手使用说明等等相关内容,阅读专题下面的文章了解更多详细内容。

0

2026.03.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号