简易K-V存储引擎核心是LSM-Tree分层设计,含MemTable(跳表实现、序列号、冻结刷盘)、SSTable(排序块、前缀压缩、布隆过滤器、Footer校验)、Compaction(Minor/Major合并)、Version/Manifest(快照一致性与版本管理)。

用 C++ 实现一个简易 K-V 存储引擎,核心在于理解 LevelDB 的分层设计思想和关键组件职责,不追求完整复刻,而重在掌握其内核逻辑:MemTable、SSTable、LSM-Tree 合并机制、WAL 日志、版本控制与迭代器抽象。
MemTable:内存中的有序写入缓冲区
MemTable 是写入的第一站,要求快速插入和有序遍历。通常用跳表(SkipList)或红黑树实现;LevelDB 选择无锁跳表(ConcurrentSkipList),兼顾并发与性能。C++ 中可基于 std::map 快速验证逻辑,但生产级需自研跳表以支持多线程写入。
-
键值对存为
std::string类型,避免拷贝开销可考虑引用计数或 arena 分配器 - 插入时记录序列号(sequence number),用于后续 MVCC 和合并时去重
- 达到阈值(如 4MB)后冻结为 Immutable MemTable,触发后台刷盘
SSTable:磁盘上的有序只读文件(.ldb)
SSTable 是 LevelDB 的持久化单元,本质是排序后的键值对块(block)集合,含数据块、索引块、布隆过滤器(BloomFilter)和元数据块(Footer)。C++ 实现时重点如下:
- 数据块按 key 排序,内部使用前缀压缩减少体积(如 “apple”、“application” → “apple”, “(6)lication”)
- 索引块保存每个数据块的起始 key 和 offset,支持二分查找快速定位目标 block
- 布隆过滤器加速“key 不存在”判断,降低不必要的磁盘 IO;可用
std::vector+ 多哈希函数实现 - Footer 固定 48 字节,含 magic number、metaindex/index handle 偏移,用于文件合法性校验与加载
Compaction:多层 LSM 合并与空间回收
LevelDB 将 SSTable 按层级组织(L0~L6),每层容量指数增长。L0 特殊:直接由 MemTable dump 生成,文件间 key 可重叠;L1+ 层内文件 key 互斥且全局有序。Compaction 分两类:
立即学习“C++免费学习笔记(深入)”;
- Minor Compaction:L0 文件过多(如 ≥4)或总大小超限,选部分 L0 文件 + 对应的 L1 文件合并,消除重复 key(保留最新 sequence)、删除已标记 deletion 的 tombstone
- Major Compaction:某层空间膨胀(如 L1 ≥ 10MB),从该层选一文件,合并所有与其 key 范围重叠的下一层文件,下沉数据、压缩空间、提升读性能
合并过程需构建新 SSTable,并原子更新 MANIFEST(版本描述文件),保证崩溃一致性。
Version & Manifest:快照一致性与元数据管理
每次 Compaction 完成后,生成新 Version(即当前所有有效 SSTable 的集合快照),通过链表维护历史版本供旧读请求使用。Manifest 文件(如 MANIFEST-000001)以日志方式记录版本变更操作(如 NewFile、DeletedFile),启动时重放以恢复最新 Version。
- VersionSet 管理所有活跃 Version,Current 文件指向最新 manifest 编号
- 读操作基于某个 Version 快照执行,无需加锁,天然支持 snapshot isolation
- 旧 Version 在无 reader 引用后由后台 GC 回收对应 SSTable 文件
基本上就这些。真正动手写时,建议从 WAL + MemTable + 单层 SSTable(L0 only)开始,跑通 Put/Get/Delete 流程;再逐步加入多层 compaction、bloom filter、block cache 等优化。LevelDB 的精妙不在代码量,而在各组件如何协同保障正确性、一致性和性能平衡——理解这点,比抄完万行源码更有价值。











