0

0

怎么存储MongoDB的系统操作日志_分片集合与追加写入优化

P粉602998670

P粉602998670

发布时间:2026-03-17 06:51:20

|

818人浏览过

|

来源于php中文网

原创

MongoDB系统操作日志不应存system.profile,而应建独立数据库(如monitoring)的普通集合,设TTL索引自动过期;分片时须用哈希或组合片键避免写热点;优先通过db.currentOp()和配置profiling捕获日志,批量insertMany写入并关闭冗余校验。

怎么存储mongodb的系统操作日志_分片集合与追加写入优化

MongoDB 系统操作日志该存哪儿?别碰 system.profile

系统操作日志(比如慢查询、命令执行、连接事件)默认不持久化,system.profile 是临时的 capped collection,重启或空间满就丢数据,且只对开启 profiling 的 db 生效,不能跨分片聚合。真要长期存,得自己建集合收日志。

推荐用独立数据库(如 monitoring)建普通集合(非 capped),带 ttlIndex 自动过期,比如:

db.createCollection("oplog_events")
db.oplog_events.createIndex({ "timestamp": 1 }, { expireAfterSeconds: 2592000 }) // 30天
  • 不用 system.* 命名空间——这些是 MongoDB 内部保留名,写入可能被拦截或忽略
  • 避免用 _id 当时间戳主键——容易因时钟回拨导致重复或乱序,改用显式 timestamp: ISODate()
  • 分片集群下,这个集合必须设为「按 timestamp 哈希分片」或「范围分片」,否则写入会打到单个 chunk 上,成为瓶颈

分片集合上追加写入慢?检查 chunk 分布和片键选择

日志类集合写多读少,但一上分片就卡,大概率是片键没选对。用 _id 默认 ObjectId 当片键,前 4 字节是秒级时间戳,会导致新写入全部落到同一个 chunk(即“末尾热点”),所有写请求压向一个 shard。

正确做法是让写入打散:

  • 用哈希片键:sh.shardCollection("monitoring.oplog_events", { "timestamp": "hashed" }) —— 写入均匀,但范围查询(如查某小时日志)变全表扫
  • 用组合片键:{ "shard_key": 1, "timestamp": 1 },其中 shard_key 是离散值(如服务名、实例 ID),再加时间,兼顾写入分散和时间范围查询效率
  • 千万别用纯递增字段(如自增整数、毫秒时间戳)做范围分片键——等于主动制造热点

从 oplog 或 mongos 日志里捞操作记录?优先走 db.currentOp() + logRotate

想审计谁在什么时候执行了什么命令,直接读 oplog 不现实:它只存数据变更(insert/update/delete),不存 findcreateIndex 这类管理操作;mongos 日志又分散在各节点,难聚合。

Veo
Veo

Google 最新发布的 AI 视频生成模型

下载

更可控的方式是开启运行时操作捕获:

  • 在 mongod 启动时加参数:--profile=2 --slowms=100 --logpath /data/log/mongo-profile.log,再配合 db.setLogLevel(1, "command") 记录命令详情
  • 定期调用 db.currentOp({ "secs_running": { "$gt": 2 } }) 抓长任务,结果 insert 到你的 oplog_events 集合
  • logRotate 命令滚动日志,避免单文件过大;同时配置 storage.journal.enabled: true,防止 mongod 意外退出丢失未刷盘的操作上下文

写入吞吐上不去?绕开文档校验和单条插入

每秒几千条日志写入时,逐条 insertOne() 会触发大量网络往返和 BSON 解析,CPU 和网络很快见顶。

两个硬优化点必须做:

  • 批量写入:insertMany() 每批 100–500 条,太大易 OOM,太小没收益;注意设置 ordered: false,失败单条不影响其余
  • 关掉写关注以外的开销:writeConcern: { w: 1 }(不等多数节点确认),bypassDocumentValidation: true(日志文档结构固定,没必要每次校验)
  • 如果用 Driver 是 Python PyMongo,别用 datetime.now(),改用 time.time()ISODate,减少时区转换开销

分片环境下,批量写入还依赖 mongos 的路由优化——确保每批文档的片键值足够离散,否则 mongos 仍会把整批发给同一个 shard。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据库Delete用法
数据库Delete用法

数据库Delete用法:1、删除单条记录;2、删除多条记录;3、删除所有记录;4、删除特定条件的记录。更多关于数据库Delete的内容,大家可以访问下面的文章。

289

2023.11.13

drop和delete的区别
drop和delete的区别

drop和delete的区别:1、功能与用途;2、操作对象;3、可逆性;4、空间释放;5、执行速度与效率;6、与其他命令的交互;7、影响的持久性;8、语法和执行;9、触发器与约束;10、事务处理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

222

2023.12.29

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

287

2023.07.18

mongodb启动命令
mongodb启动命令

MongoDB 是一种开源的、基于文档的 NoSQL 数据库管理系统。本专题提供mongodb启动命令的文章,希望可以帮到大家。

267

2023.08.08

MongoDB删除数据的方法
MongoDB删除数据的方法

MongoDB删除数据的方法有删除集合中的文档、删除整个集合、删除数据库和删除指定字段等。本专题为大家提供MongoDB相关的文章、下载、课程内容,供大家免费下载体验。

161

2023.09.19

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1010

2023.11.02

mongodb有哪些应用领域
mongodb有哪些应用领域

mongodb 的应用领域涵盖广泛,包括内容管理系统、社交媒体、分析、移动应用、物联网、金融科技、医疗保健和广告技术等领域,因其灵活性、可扩展性和易用性而广受欢迎。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

345

2024.04.02

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

501

2024.04.02

chatgpt使用指南
chatgpt使用指南

本专题整合了chatgpt使用教程、新手使用说明等等相关内容,阅读专题下面的文章了解更多详细内容。

0

2026.03.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号