CN104158902B

CN104158902B - 一种基于请求数的Hbase数据块分配方法及装置

Info

Publication number: CN104158902B
Application number: CN201410427565.8A
Authority: CN
Inventors: 沈冬春
Original assignee: Zhejiang Uniview Technologies Co Ltd
Current assignee: Zhejiang Uniview Technologies Co Ltd
Priority date: 2014-08-27
Filing date: 2014-08-27
Publication date: 2017-09-19
Anticipated expiration: 2034-08-27
Also published as: CN104158902A

Abstract

本发明公开了一种基于请求数的Hbase数据块分配方法及装置，该方法根据数据块服务器的平均请求数，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数；将移出数据块按照其请求数从大到小排序组成待分配数据块列表；将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表；将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器。本发明还同时公开了实现上述方法的装置。本发明的方法及装置能够基于请求数实现数据块服务器间的负载均衡。

Description

一种基于请求数的Hbase数据块分配方法及装置

技术领域

本发明属于数据存储技术领域，尤其涉及一种基于请求数的Hbase数据块分配方法及装置。

背景技术

Hbase(Hadoop Database)是一个分布式的、面向列的开源数据库，Hbase以表的形式存储数据，表由行和列组成，如表1所示：

表1

其中Row Key是用来检索记录的主键，访问Hbase表中的行，可以通过单个Row Key来访问，或者通过一个Row Key范围来访问，或者进行全表的扫描。Row Key可以是任意字符串，存储时，表中所有行都按照Row Key的字典序排序存储。Hbase表中每个列都归属于某个列族(Column family)，每个列族可以有多个列。

当Hbase表随着记录数不断增加而变大后，会逐渐***为多个数据块(region)，region是Hbase中分布式存储和负载均衡的最小单元，不同的region可以分布在不同的服务器上，但是一个region是不会拆分到多个服务器上的。

现有技术中Hbase具有三种负载均衡策略，分别如下：

简单负载均衡策略，将Hbase中所有的region平均分配到各个服务器上。

最优节点均衡策略，Hbase是基于hadoop的，一个region在hadoop上的数据一般都有多分(这个取决于hadoop备份份数的配置)。例如每个region对应三个最优节点，优先分配到第一优先级的服务器节点上，如果第一优先级服务器节点不存在，那么就会比较第二优先级和第三优先级服务器节点，哪个服务器节点上的region数少就分配到哪个服务器节点上。

随机均衡策略，首先计算整个服务器集群的权重，然后随机挑选出两对region和服务器，尝试移动两者之后，重新计算整个集群的权重，如果变小，那么确认移动，不然撤销。重复处理，直到满足配置的优化条件。

在实际使用中，很多数据的访问经常集中在某几个服务器的某几个region，而其他服务器经常处于空闲状态。而现有技术基本上注重在数据存储的负载均衡，好处就是各个服务器上存储的数据保持平均，不会出现各个服务器数据已经存满，而个别服务器存储空间还剩余很多的情况，总而言之，现有方案保证了数据的平均分布，没有考虑访问量。但是分布式***中数据的访问及处理速度比存储空间的合理利用更加重要。

公开号为CN102508789A的中国发明专利申请公开了一种***分级存储的方法，根据数据的重要性、访问频率、保留时间和性能指标，将数据采取不同的存储方式分别存储在不同性能的存储设备上，实现数据客体在存储设备之间的自动迁移。从而将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，以获得更好的性价比。然而该方法是应用到存储空间，将经常用到的数据越来越集中到性能高的存储空间，不涉及到服务器对数据的处理能力。显然该方法会进一步加剧频繁使用的数据所在的服务器的繁忙，因此并不能充分解决分布式***中数据的访问及处理速度问题。

发明内容

本发明的目的是提供一种基于请求数的Hbase数据块分配方法及装置，主要是通过统计Hbase分布式存储***中各个数据块服务器上数据块(region)的请求数来预测该数据块将来的访问量，然后通过将请求数比较集中的数据块分摊到比较空闲的服务器上，来达到均衡访问量的目的。

为了实现上述目的，本发明技术方案如下：

一种基于请求数的Hbase数据块分配方法，应用于Hbase分布式存储***，该方法包括步骤：

计算Hbase分布式存储***中数据块服务器的平均请求数，所述平均请求数是所述Hbase分布式存储***中所有数据块服务器请求数总和除以数据块服务器个数的商取整数得到，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数；

将移出数据块按照其请求数从大到小排序组成待分配数据块列表；

将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表；

将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器。

其中所述预设策略具体为：

依次为待分配数据块服务器列表的每个数据块服务器在待分配数据块列表中分配一个数据块，所述数据块为待分配数据块列表中的首个期望数据块，所述期望数据块的请求数与所述数据块服务器的请求数之和大于等于且最接近所述平均请求数。根据本发明的分配方法，能够快速为没有达到平均请求数的数据块服务器分配到合适的数据块，将请求数比较集中的数据块分摊到比较空闲的服务器上，来达到均衡访问量的目的。

进一步地，如果在一次分配后，还有未分配完的移出数据块，则对于分配后还没有达到平均请求数的数据块服务器再次进行分配；如果待分配数据块服务器列表中数据块服务器请求数都达到平均请求数，且还有部分移出数据块未能最终分配，则将其保留在原数据块服务器中。

本发明数据块分配方法还包括：

把具有关联关系的数据块分配给不同数据块服务器，以达到所述数据块所存储数据的并行访问，所述具有关联关系的数据块为请求数增长量同步的数据块。

本发明所述请求数不是即时请求数，而是预设历史时间段内请求数的平均值。

本发明还同时提出了实现上述方法的基于请求数的Hbase数据块分配装置，应用于Hbase分布式存储***，该装置包括：

数据块移出模块，用于计算Hbase分布式存储***中数据块服务器的平均请求数，所述平均请求数是所述Hbase分布式存储***中所有数据块服务器请求数总和除以数据块服务器个数的商取整数得到，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数；

数据块排序模块，用于将移出数据块按照其请求数从大到小排序组成待分配数据块列表；

数据块服务器排序模块，用于将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表；

分配模块，用于将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器。

本发明提出的一种基于请求数的Hbase数据块分配方法及装置，根据数据块服务器的请求数总数，将超过数据块服务器平均请求数的数据块服务器中的数据块移出，放入没有达到平均请求数的数据块服务器中，从而避免一些数据块服务器访问量过大，而另一些数据块服务器空闲的情况，提高分布式存储***数据块服务器的性能。同时按照数据块对应的请求数大小，从小到大去除数据块服务器中的数据块，可以最大限度降低数据块移动对用户访问的影响。

附图说明

图1为Hbase分布式存储***的***架构图；

图2为本发明一种基于请求数的Hbase数据块分配方法的流程图；

图3为本发明一种基于请求数的Hbase数据块分配装置结构示意图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

利用Hbase分布式存储***可在廉价PC服务器上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储***，HBase利用Hadoop HDFS作为其文件存储***；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；GoogleBigtable利用Chubby作为协同服务，HBase利用Zookeeper作为对应。

Hbase分布式存储***的***架构如图1所示，包括管理端和客户端，以及数据块服务器。客户端与管理端进行通信来执行管理类操作，与数据块服务器进行数据读写类操作。管理端主要负责Hbase表和数据块的管理工作，包括对表的增删改查操作，数据块服务器的负载均衡操作，负责新的数据块的分布，失效数据块服务器上数据块的迁移等等。本发明具体的表现形式为软件程序，集成在管理端，用以实现根据数据块region的请求数来衡量该数据块是经常被用到还是比较空闲，并根据平均请求数来预测region的将来请求数，从而在数据块服务器间进行region的迁移。而所谓的请求数是指该数据块在一段时间内的请求数的平均值，不是即时请求数。例如统计2小时内历史请求数，得到请求数的平均值为数据块对应的请求数，而一个数据块服务器上所有数据块请求数的和就是该数据块服务器对应的请求数总数。

图2示出了本发明一种基于请求数的Hbase数据块分配方法，应用于Hbase分布式存储***，包括如下步骤：

步骤101、计算Hbase分布式存储***中数据块服务器的平均请求数，将超过平均请求数的数据块服务器上的数据块按照其对应的请求数从小到大的顺序依次移出，直到每个数据块服务器对应的请求数总数大于等于且最接近所述平均请求数。

例如，Hbase分布式存储***中有n个数据块服务器，如果数据块服务器S_i具有的请求数为Request_i，则Hbase分布式存储***中数据块服务器的平均请求数为：

其中i为数据块服务器S_i的序号，i属于1～n。

从而可以根据Hbase分布式存储***中数据块服务器的平均请求数将Hbase分布式存储***中数据块服务器分为超过平均请求数的数据块服务器和没有达到平均请求数的数据块服务器。

假设数据块服务器请求数总数Request_i大于平均请求数的数据块服务器有m个，且分别为S₁,S₂,...,S_m,则超过平均请求数的数据块服务器列表M＝{S₁,S₂,...,S_m}。而剩下的数据服务器S_m+1,S_m+2,...,S_n则为没有达到平均请求数的数据服务器。

为了降低超过平均请求数的数据块服务器的访问量，避免其过于频繁的被访问而忙碌，一个有效的办法是将该数据库服务器上的一些数据块移出，从而降低该数据块服务器的请求数总数。降低数据块服务器的请求数总数的最有效方法是，直接根据该数据块服务器请求数总数与平均请求数的差值，将该数据块服务器中请求数小于但最接近该差值的某个数据块，或某几个数据块移出，从而快速降低该数据块服务器的请求数总数。

优选地，本实施例对于超过平均请求数的每个数据块服务器，将其所有数据块按照数据块对应的请求数大小排序。

例如，服务器列表M＝{S₁,S₂,...,S_m}中每个数据块服务器对应的所有数据块按照其请求数从小到大排序后表示如下：

其中j取值为1～m，为数据块服务器S_j中数据块，θ_j表示数据块服务器S_j中数据块的数量，为数据块对应的请求数。

对于数据块服务器列表M＝{S₁,S₂,...,S_m}，有：

将数据块服务器中的数据块按照其对应的请求数从小到大顺序排序后，则便于从该数据块服务器中根据请求数的大小，从小到大依次移出一些数据块，从而使该数据块服务器对应的请求数总数降低，直到最接***均请求数而根据请求数从小到大依次移出数据块，可以最大限度降低数据块移动对用户访问的影响。

在移出数据块时，应使得移出后数据块服务器对应的请求数总数大于等于且最接***均请求数，即再移出一个数据块该数据块服务器的请求数总数就会小于平均请求数，从而保证每个数据块服务器的请求数总数都接***均请求数。

步骤102、将移出数据块按照其请求数从大到小排序组成待分配数据块列表。

步骤103、将没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序组成待分配数据块服务器列表。

步骤104、将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器。

为了将从超过平均请求数的数据块服务器中移出的数据块分配到合适的没有达到平均请求数的数据块服务器中，本实施例根据排序的方法，将移出的数据块按照其请求数从大到小排序，同时对没有达到平均请求数的数据块服务器按照其请求数总数与平均请求数的差值从小到大排序。

然后依次为待分配数据块服务器列表的每个数据块服务器在待分配数据块列表中分配一个数据块，所述数据块为待分配数据块列表中的首个期望数据块，所述期望数据块的请求数与所述数据块服务器的请求数之和大于等于且最接近所述平均请求数。即首先对待分配数据块服务器列表的首个数据块服务器(其还可容纳的请求数最小)，从待分配数据块列表中从大到小依次寻找首个期望数据块，该首个期望数据块的请求数与该首个数据块服务器的请求数之和大于等于且最接***均请求数。对于待分配数据块服务器列表中的数据块服务器依次进行分配，依次类推。如果在一次分配后，还有未分配完的移出数据块，则对于分配后还没有达到平均请求数的数据块服务器再次进行分配。如果移出数据块未能最终分配，即在没有达到平均请求数的数据块服务器的请求数总数都达到平均请求数时，还有未分配的数据块，则将其保留在原数据块服务器中。

需要说明的是，本发明并不限于按照这样的顺序来分配数据块。本技术领域技术人员还可以根据其他方法来分配移出的数据块，例如根据移出数据块的请求数，将该数据块放入还可以容纳的请求数最接近的数据块服务器，即根据数据块的请求数来寻找可容纳的数据块服务器。本实施例例举的排序方法可以有效降低运算量，达到最快完成数据块分配的目的，并且最大限度降低数据块移动对用户访问的影响。

进一步地，由于数据块之间存在关联，一个用户访问一个数据块的时候，还会同时访问其他数据块，如同时访问A、B、C三个数据块。则本实施例的数据块分配方法，还包括：

把具有关联关系的数据块分配给不同数据块服务器，以达到所述数据块所存储数据的并行访问，其中具有关联关系的数据块为请求数增长量同步的数据块。

在本实施例中，根据移出数据块的请求数增长量历史数据，确定移出数据块中相关联的数据块。数据块是否关联，可以通过一段时间(例如2小时)的统计，如果部分数据块的请求数增长量是同步的，那么可以猜测这些数据块是同一次访问会同时使用到的，为相关联的数据块。例如每次数据块A增长2请求数，数据块B增长3请求数，数据块C增长4请求数，且在统计时间2小时内，基本都是保持如此，那么就认为数据块A、B、C是相关联数据块。最后将移出数据块中相关联的数据块分配到不同的数据块服务器。

本实施例仅考虑移出数据块中是否有相关联的数据块，是为了减少计算量，否则统计数据块服务器中每个数据块的请求数增长量，计算量比较大。当然在允许的情况下，也可以统计数据块服务器中每个数据块的请求数增长量来确定相关联的数据块，并将他们分配到不同的服务器。

图3示出了实现上述方法的基于请求数的Hbase数据块分配装置的结构示意图，应用于Hbase分布式存储***，该装置包括：

其中，预设策略具体为：

依次为待分配数据块服务器列表的每个数据块服务器在待分配数据块列表中分配一个数据块，所述数据块为待分配数据块列表中的首个期望数据块，所述期望数据块的请求数与所述数据块服务器的请求数之和大于等于且最接近所述平均请求数。

本实施例中分配模块如果在一次分配后，还有未分配完的移出数据块，则对于分配后还没有达到平均请求数的数据块服务器再次进行分配；如果待分配数据块服务器列表中数据块服务器请求数都达到平均请求数，且还有部分移出数据块未能最终分配，则将其保留在原数据块服务器中。

为了实现关联数据块的并行访问，分配模块还用于执行如下操作：把具有关联关系的数据块分配给不同数据块服务器，以达到所述数据块所存储数据的并行访问，所述具有关联关系的数据块为请求数增长量同步的数据块。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种基于请求数的Hbase数据块分配方法，应用于Hbase分布式存储***，其特征在于，该方法包括步骤：

将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器；

其中所述数据块服务器请求数是该数据块服务器在预设历史时间段内请求数的平均值。

2.根据权利要求1所述的数据块分配方法，其特征在于，所述预设策略具体为：

3.根据权利要求2所述的数据块分配方法，其特征在于，如果在一次分配后，还有未分配完的移出数据块，则对于分配后还没有达到平均请求数的数据块服务器再次进行分配；如果待分配数据块服务器列表中数据块服务器请求数都达到平均请求数，且还有部分移出数据块未能最终分配，则将其保留在原数据块服务器中。

4.根据权利要求1所述的数据块分配方法，其特征在于，所述数据块分配方法还包括：

5.一种基于请求数的Hbase数据块分配装置，应用于Hbase分布式存储***，其特征在于，该装置包括：

分配模块，用于将待分配数据块列表的数据块按照预设策略分配给待分配数据块服务器列表的数据块服务器；

6.根据权利要求5所述的数据块分配装置，其特征在于，所述预设策略具体为：

7.根据权利要求6所述的数据块分配装置，其特征在于，所述分配模块如果在一次分配后，还有未分配完的移出数据块，则对于分配后还没有达到平均请求数的数据块服务器再次进行分配；如果待分配数据块服务器列表中数据块服务器请求数都达到平均请求数，且还有部分移出数据块未能最终分配，则将其保留在原数据块服务器中。

8.根据权利要求5所述的数据块分配装置，其特征在于，所述分配模块还用于执行如下操作：把具有关联关系的数据块分配给不同数据块服务器，以达到所述数据块所存储数据的并行访问，所述具有关联关系的数据块为请求数增长量同步的数据块。