使用HBase处理海量数据系列（5）数据建模（抛弃SQL）

本文由 ImportNew - 陈 晨 翻译自 dzone。欢迎加入Java小组。转载请参见文章末尾的要求。 使用 HBase 处理海量数据系列章节5：数据建模（抛弃SQL） 编者注：需要阅读第一、第二和第三章节 这是介绍Apache HBase系列文章的第五篇。第四篇中，我们使用了Java A

使用hbase处理海量数据系列——章节5：数据建模（抛弃sql）

编者注：需要阅读第一、第二和第三章节

这是介绍Apache HBase系列文章的第五篇。第四篇中，我们使用了Java API来与HBase进行交互，如建表，按行主键查询数据，表扫描。本文将讨论在HBase中如何设计结构。

HBase不同于关系型数据库比如SQL，有丰富的查询能力。相反，它放弃了这样的能力，以及其他的比如关系，join等。将注意力集中在提供高性能的扩展性和故障恢复。在使用HBase的时候需要根据行数据和列簇设计表结构和行主键以符合应用程序的数据访问模式。这与你在关系型数据库中完全不同，在关系型数据库中，从一个普通的数据库结构开始，独立的表，使用SQL来使用joins等来组织需要的数据。在HBase中设计表式特别要考虑应用将会如何使用，预先设计数据的访问方式。使用HBase而不是关系型数据库能够让你更加接近底层的抽象实现细节和存储机制。总之，应用能够存储海量数据，高扩展性，高性能以及服务器容错性，潜在的益处大大超过了投入。

在之前关于Java API的章节中，有提到过当在HBase中扫描数据时，行主键是很关键的，因为它是限制行扫描数据的主要方式。HBase中也没有类似关系型数据库中SQL那种富查询方式。常规做法就是构建一个设置了起始和结束行主键的扫描任务，可选的加入一些过滤器来进一步限制返回的行与列数据。为了在扫描时能够有较高的灵活性，设计主键时应该包括一些需要查询的数据内容的子集。在人员和博客这个我们一直使用的例子中，行主键被设计成扫描时最常用的访问方式。例如博客，原本行主键就是发布日期。这样就能够以时间升序的方式扫描展示博客文章，但这可能不是查看博客最常见的模式。所以比较好的行主键设计使用时间戳的逆序，使用公式（Long.MAX_VALUE – timestamp ， Long长整型的最大值减去时间戳即为时间戳逆序），这样扫描时就会先返回最近发布的博客文章。这样也能够比较方便的扫描指定的时间区间，例如扫描展示过去一周或者一月的所有博客文章，在web应用中是很常见的做法。

以人员表为例，我们使用复合主键，由姓、名、中名首字母以及个人身份识别码（唯一），中间以连字符连接，来区别重名的人员。例如 Brian M. Smith 身份识别码为 12345 的人员行主键为smith-brian-m-12345。扫描人员表时指定的开始与结束行主键组合，可以查询指定姓的人员，姓的开头为指定字母组合的人员，或者有相同的姓，和名首字母的人员。例如，你希望找到姓为Smith，名的首字母为B的人员，可以使用smith-b为开始行主键，smith-c为结束行主键（开始行主键是包含的，而结束行主键不包含，所以能够保证姓为Smith，名的首字母为B的人员都包含在扫描中）。能够看到HBase支持部分主键的概念，意味着你不需要指定确切的主键，能够为创建合适的扫描范围提供较高的灵活性。你能够使用部分主键扫描和过滤器的组合来只查询你需要的特定数据，能够优化数据查询，为你的应用提供合适的数据访问模式。

至此样例中式操作了包含一类信息的单表，没有其他关联。HBase没有类似关系型数据库的外键关系，但是由于它单行数据支持数百万列，所以HBase设计表时的一种方式就是将所有的关联信息都保存在同一行中–称之为宽表设计。之所以称之为宽表，因为你将所有关联的数据都保存在单行数据中，数据列可能和数据项一样多。在我们的博客例子中，你可能需要保存每篇文章的评论。根据宽表设计原则，可以设计一个列簇名为评论，使用评论时间作为列标识。这样评论的列名形式为 comments:20130704142510 和 comments:20130707163045。HBase查询数据时，返回的列能够按照一定原则排序，就像行主键一样。所以为了展示一篇博文和它所有的评论，你能够请求content, info 列以及评论（comments）列簇从一行查出所有的数据。你也能够添加一个过滤器来展示部分评论数据，分页显示。

人员表列簇也能够重新设计，用于存储联系信息比如独立地址、电话号码以及email地址。列簇能够让一个人的所有个人信息存储在一行数据中。 这样的设计在列数据不算太多时能够很好的适应，比如博客评论和个人联系信息。假如你设计的东西如电子邮件收件箱、财务事务或者海量的自动收集传感数据，这样就需要将用户的电子邮件、事务或者传感读书分散至多行数据（“高”表设计）并且为了能够有效的扫描和分页设计合理的行主键。收件箱的行主键可能形式是 -这样就能够简单的对一个用户的收件箱进行扫描和分页，同样对财务事务行主键设计为-。这样的设计被称之为“高”表设计，就是将相同的内容（比如同一传感器的读数、同一账户的事务）分散至多行数据，可以考虑用于收集不断扩展的海量信息，比如在一个要从一个巨大的传感器网络中进行数据收集的场景。

MagicArena

字节跳动推出的视觉大模型对战平台

下载

设计HBase的行主键和表结构是使用HBase的一个很重要的步骤，也会继续作为HBase的基础架构来考虑。在HBase中还可以增加一些其他方式作为可选的数据访问通道。比如能够使用Apache Lucene实现全文检索，可以针对HBase内部数据或者外部检索（搜索下HBASE-3529）。你也能够构建（及维护）二级索引从而允许表使用代替行主键结构。例如在人员表中行主键是姓名和唯一身份id组成的符合主键。但如果我们希望能够根据人员的生日、电话区号、电子邮件地址或者其他的方式来访问时，我们就能够添加二级索引实现这样的交互。不过要注意，添加二级索引并不是轻量的操作，每次你向主表（例如人员表）写入数据时，就会更新所有的二级索引！（是的，有些事情关系型数据库做的很好，不过记住HBase是设计用于容纳比传统关系型数据库多的多的数据的）。

章节5 总结

本章节内容中，我们介绍了HBase中的结构设计（不包含关系及SQL）。尽管HBase丢失了传统关系型数据库的一些特性，比如外键、参照完整性、多行数据事务、多级索引等等，需要应用需要的是HBase的固有特性，比如扫描，就像很多复杂的事物一样，需要作出取舍。在HBase中，我们放弃了丰富的表结构设计和查询的灵活度，但是获得了扩大容纳海量数据的能力，只需要简单的向集群中添加服务器即可。

在接下来以及最后一章节，我们会总结并且展示一些之前的文章中没有覆盖到的知识点。

（译者注：本篇文章认为是至今为止最重要的一篇，在之前对于若干技术点的澄清之后，本文对实际应用中的设计模式进行了介绍（宽表和高表设计），并且给出示例。中间还点出了能够使用如Apache Lucene，增强了HBase的使用范围，二级索引等进阶用法。读完之后，对其中的细节还可以进一步研究并与使用相结合。）