0

0

Linux Ceph 存储集群性能优化

冷炫風刃

冷炫風刃

发布时间:2026-02-19 06:11:23

|

642人浏览过

|

来源于php中文网

原创

osd_op_complaint_time调小反而写入更慢,因其是osd响应迟缓的观察窗口而非超时阈值,设太小会引发健康状态抖动、客户端频繁重试退避;默认30秒足够,ssd集群可慎调至15秒。

linux ceph 存储集群性能优化

为什么 osd_op_complaint_time 调小反而让写入更慢

因为这个参数不是“超时阈值”,而是 Ceph 判定 OSD 是否“响应迟缓”的观察窗口。设得太小(比如 0.5),会导致健康检查频繁误报,触发 osd_nearfullosd_full 状态抖动,进而让客户端反复重试、退避,实际吞吐反而下降。

实操建议:

  • 默认值 30 秒在多数场景下足够;SSD 集群可谨慎调至 15,但必须同步确认 osd_max_backfillsosd_recovery_max_active 未成为瓶颈
  • 调低前先用 ceph tell osd.<id> bench</id> 测单 OSD 持续写入能力,避免把配置问题误判为硬件问题
  • 若看到大量 slow request 日志,优先查 dmesg | grep -i "nvme\|io" 或磁盘队列深度(iostat -x 1 中的 avgqu-sz),而不是急着改这个参数

rbd cache 开启后延迟不降反升的典型原因

RBD 缓存本身不减少 I/O,只是把部分请求从同步变异步——但如果底层 OSD 存储池用了 EC(Erasure Coding),缓存会强制将小写合并成大块再编码,反而放大延迟,尤其对随机小 IO 场景。

实操建议:

  • 仅对顺序大块写(如数据库 WAL、备份流)开启 rbd_cache = true;虚拟机盘镜像类负载建议关闭
  • 必须配合 rbd_cache_max_dirty(推荐 268435456 即 256MB)和 rbd_cache_target_dirty(设为前者的 70%)使用,否则脏页积压导致 flush 风暴
  • EC 池禁用缓存:在 rbd map 时加 --no-rbd-cache,或在 ceph.conf[client] 段显式写 rbd cache = false

PG 数量设高了,为什么 ceph -s 显示 HEALTH_WARN 且恢复卡住

PG 过多直接增加 OSD 的内存开销(每个 PG 约占用 1–2MB 内存)和 CPU 计算负担(CRUSH 计算、心跳消息处理)。当单 OSD PG 数超过 400,常见现象是 osd.<id> down</id> 反复震荡,pg stuck inactive 报警持续不消。

易标AI
易标AI

告别低效手工,迎接AI标书新时代!3分钟智能生成,行业唯一具备查重功能,自动避雷废标项

下载

实操建议:

  • 计算公式别只看总容量:用 ceph osd pool get <pool> pg_num</pool> 查当前值,再执行 ceph osd pool get <pool> size</pool> 看副本数,真实压力 = pg_num × size ÷ osd_count;目标值应 ≤ 200
  • 扩容 OSD 后不要立刻增 PG:先等集群稳定(ceph -s 显示 HEALTH_OKpgmapdegraded 为 0),再用 ceph osd pool set <pool> pg_num <new></new></pool> 分批调整
  • 已超限的池,只能先建新池、rbd export/import 迁移数据,再删旧池——Ceph 不支持减 pg_num

为什么 bluestorebluefs_buffer_size 改大没效果

这个参数只影响 BlueFS 元数据日志刷盘行为,和用户数据路径无关。它不控制 RocksDB WAL 缓存,也不影响对象写入缓冲区。盲目调大只会浪费内存,还可能因日志块过大拖慢 bluefs 自身的 GC 效率。

实操建议:

  • 默认 4194304(4MB)适合绝大多数 NVMe/SSD;SATA SSD 可尝试 2097152(2MB),但需配合 bluestore_throttle_bytes 一起调优
  • 真正影响写性能的是 bluestore_throttle_bytes(默认 1073741824,即 1GB)——它限制 BlueStore 异步提交队列总大小,过小会导致写阻塞,过大则挤占 OSD 内存
  • 调参后必须验证:ceph daemon osd.<id> config show | grep bluefs</id> 确认生效,并用 ceph daemon osd.<id> perf dump | grep bluefs</id> 观察 bluefs_bytes_written 增速是否平稳

PG 分布不均、OSD 内存吃紧、BlueStore 缓冲区错配——这些点单独看都不难调,但它们常连锁反应。比如调高 PG 数引发 OSD 内存不足,又让人误以为是 bluefs_buffer_size 不够,结果越调越偏。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

77

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

36

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

67

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

46

2025.11.27

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

374

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2093

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

355

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

259

2023.09.05

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

561

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 9.3万人学习

Git 教程
Git 教程

共21课时 | 3.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号