Hadoop的分布式存储原理主要依托于以下核心组件与概念：
1. HDFS（Hadoop Distributed File System）
- 结构设计：HDFS是一种具有高容错性的体系，旨在低配置硬件上高效运行。
- 数据切分：文件被划分成固定尺寸的块（默认为128MB或256MB），然后分散存储于集群的不同节点中以确保冗余。
- NameNode：负责管理文件系统的元数据，例如文件名、访问权限、块列表及其所在位置等。同时，它还协调客户端的读写操作。
- DataNode：具体存放数据块的节点，它们会定时向NameNode汇报自身存储的数据块详情。
2. 数据副本策略
- 副本数量：默认情况下，每个数据块会有三个副本，且分布于不同的DataNode之上。
- 机架感知功能：HDFS可辨识集群内的机架布局，并倾向于将副本放置于不同机架间，从而增强容错能力和读取效率。
3. 数据一致性模型
- 强一致性：在完成写入前，客户端无法查看到任何改动。
- 最终一致性：一旦写入完毕，所有的后续读取操作都将获取最新版本的数据。
4. 容错机制
- 心跳检测：DataNode周期性地向NameNode发送心跳信号，表明其运行状态。
- 故障修复：若某DataNode发生异常，NameNode会将其上的数据块重新分配至其他健康节点。
5. 数据本地化读取
- 力求使计算任务在数据所在节点执行，降低网络传输成本。
6. 扩展性
- HDFS自设计起便具备横向扩展的能力，可通过添加更多DataNode实现存储容量和处理能力的线性增长。
7. API接口
- 提供多样化的API供开发者进行文件系统的读写操作，兼容多种编程语言。
典型工作流程
-
数据写入：
- 客户端借助HDFS API发起写入请求。
- NameNode提供可用DataNode的清单。
- 客户端以流方式将数据传送给这些DataNode，并确认所有副本均已保存完毕。
-
数据读取：
- 客户端提出读取特定文件的需求。
- NameNode检索文件的块位置信息并反馈给客户端。
- 客户端直接从邻近的DataNode获取数据块。
需要注意的事项
- HDFS并不适合存储大量小型文件，因为每份文件都需要独立的元数据条目。
- 对于对实时性有极高要求的应用场景，或许应选择更适合的系统，比如Apache Kafka或Redis。
总体而言，Hadoop的分布式存储原理凭借巧妙整合硬件资源、软件架构以及算法优化，达成了大规模数据的稳定存储与处理。
