CN103077127A - 一种确定数据迁移对象的方法和装置 - Google Patents

Abstract

本发明适用于互联网通信领域，提供了一种确定数据迁移对象的方法，其包括每个存储层次都存在已设置好的阈值，将已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果；将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，获得所述数据迁移对象；所述数据迁移结束后，根据迁移结果更新所述阈值。本发明利用局部筛选和全局筛选相结合，首先在各存储层次上自行筛选，再对通过局部筛选的数据对象进行进一步筛选，结合各级存储的剩余空间，确定数据迁移的对象，从而能够使得迁移的对象尽可能少且能够适应***负载的动态变化，还可以充分利用优质的存储资源。

Description

一种确定数据迁移对象的方法和装置

技术领域

本发明属于互联网通信领域，尤其涉及一种确定数据迁移对象的方法和装置。

背景技术

随着数据的***性增长，存储海量数据的集群应运而生。因为集群中存储的数据量很大，有的已达PB级，同一时刻可能会有大量的数据访问。因此，数据的存放位置是否合理，直接影响到数据的访问延迟。

数据迁移，指的是数据在不同存储介质之间的移动过程。通常情况下，数据迁移发生的次数都比较少，目的也多与***升级或数据备份有关。但是在分级存储***中的数据迁移，发生的次数比较多，其目的是为了调整数据的位置，使得***中所有数据的访问性能达到最优。分级存储***中通常会按照存储介质的性能将其分层，存储层次越高，配置越高，访问性能越好。

要完成数据迁移，第一步要选择迁移的对象，第二步是选择迁移的源与目标，最后一步才是真正的数据移动。这是一个先制定计划然后执行的过程，其中前两步就是制定计划的过程，直接关乎到整个数据迁移的效果。选择迁移对象的依据是一个数值，这个数值是对数据访问“热度”的直接反映，数值越高，热度越高。而数据迁移的目标就是，把“热度”高的数据保留在较高的存储层次上，“热度”低的数据保留在较低的存储层次上。

迁移是需要耗费资源的，包括硬件资源与网络资源，这种消耗会对***带来一定的负面影响，因此迁移的数据量应越少越好。为此，很多迁移策略就设定了阈值，即只有数据的热度值超过了阈值，才会迁移，不超过阈值，不会迁移，这样设置，确实使得数据迁移量减少了很多，但是阈值的设置比较难。因为***中的负载可能发生着较大的变化，使得数据的热度也发生着很大的变化，如果阈值不作相应的改变，就难以适应，因此需要有动态的阈值。不同的阈值的设置方法不一致，有的阈值只是个相对值，例如较低存储级上的数据热度值只要高于其上一存储层次上60%的数据的热度值，该数据就可以上迁，这种阈值确实是一种动态的阈值，但是如果在较高存储级上的数据都是高热度的，但是其剩余空间还有很多，下面的数据不可以迁入。没有充分利用优质的存储资源。因此，筛选迁移对象的时候，必须考虑到存储级的剩余空间，这样才能保证存储资源的合理利用。另外，也有些迁移策略在筛选迁移对象的时候，使用的是“规则集”，即只要迁移对象满足了规则，就进行迁移，这种“规则集”需要很专业的人士来设定，而且针对单一的应用场景，难以适应动态变化的负载。

发明内容

本发明实施例提供一种确定数据迁移对象的方法和装置，旨在解决当前确定数据迁移对象的方法没有充分利用优质的存储资源，使得在剩余空间还有很多时，下面的数据不能迁入。同时还存在难以适应动态变化的负载的问题。

为此，本发明实施例提供了如下技术方案：

一种确定数据迁移对象的装置，包括：

局部筛选对象选取模块，用于选取各存储层次上所有的已估值数据，作为局部筛选的对象；

局部筛选模块，与局部筛选对象选取模块相连接，其每个存储层次都存在已设置好的阈值，用于将所述已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果；

全局筛选模块，与局部筛选模块相连接，用于将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，过滤掉不需要迁移的数据对象，获得所述数据迁移的对象；

更新模块，用于所述数据迁移结束后，根据迁移结果更新所述阈值。

本发明实施例还提供了一种确定数据迁移对象的方法，包括以下步骤：

A：每个存储层次都存在已设置好的阈值，将已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果；

B：将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，获得所述数据迁移对象；

C：所述数据迁移结束后，根据迁移结果更新所述阈值。

与现有技术相比，本发明的实施例具有如下优点：

本发明利用局部筛选和全局筛选相结合，首先在各存储层次上自行筛选，再对通过局部筛选的结果进行进一步筛选，结合各级存储的剩余空间，确定数据迁移的对象，从而能够使得迁移的对象尽可能少且能够适应***负载的动态变化，还可以充分利用优质的存储资源。

附图说明

图1是本发明实施例提供的确定数据迁移对象的方法流程图；

图2是本发明实施例提供的确定数据迁移对象的装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例提供的确定数据迁移对象的方法流程图，为了便于说明，仅示出了与本发明实施例相关的部分。

如图1所示，该方法包括以下步骤：

步骤101，每个存储层次都存在已设置好的阈值，将已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果。

可以理解的是，进行局部筛选时，选取各存储层次上所有的已估值数据，作为局部筛选的对象。具体的，分级存储***中存在已估值数据，每个已估值数据都有热度值与之相对应，所述热度值可比较大小。

本实施例中，所述分级存储***分为至少三个层次，从上到下依次是第一层，第二层，第三层，相当于一个金字塔的结构，且任何两个层次之间都可以进行数据迁移，即每个存储层次都可以往其他存储层次迁移数据。其中，第一层往第二层或第三层迁移，叫做下迁；第三层往第二层或第一层迁移，叫做上迁。

可以理解的是，三个层次的分级存储***总共有6个数据迁移的方向。

具体的，所述阈值是个非负实数，可比较大小。

所述阈值包括上限阈值和下限阈值，优选的，首次将上限阈值设定为0，下限阈值设定为正无穷大。

具体的，将热度值大于上限阈值或小于下限阈值的所述已估值数据，作为局部筛选的结果。即将热度值小于上限阈值或大于下限阈值的数据筛掉。

步骤102，将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，过滤掉不需要迁移的数据对象，获得所述数据迁移对象。

具体的，将所述局部筛选获得的结果，按照其热度值的大小从大到小排列，与存储层次相匹配，然后往存储层次上尝试存放。

具体的，若所述存储层次上可以容纳所述数据，则存放成功；

具体的，若不能容纳所述数据，则所述数据向下一级存储层次进行尝试存放，直到所述数据均存放成功。

本实施例中，所述尝试存放是在不考虑数据原有存储位置的情况下，只根据其热度值和各级存储层次的剩余空间，确定其因有的存放位置。如果原有存储位置与因有的存放层次一致，则所述数据不需要迁移；如果原有存储位置与因有的存放层次不一致，则因有的存放位置为迁移目标。

剩余空间是指所述存储层次最佳使用空间及实际使用空间之间的差值。

一级存储的最佳使用空间与其全部使用空间的比值小于1，通常为80%，其余存储层次的使用空间与其全部使用空间的比值可根据实际情况进行调整。

步骤103，所述数据迁移结束后，根据迁移结果更新所述阈值。

优选的，所述数据迁移结束后，将所述上限阈值更新为本存储层次中上迁的数据中的最小热度值，下限阈值更新为本存储级中下迁的数据中的最大热度值。

优选的，若没有上迁或下迁发生，则维持该存储层次的阈值不变。

基于相同的构思，本发明实施例还提供一种确定数据迁移对象的装置，如图2所示，该装置包括：

局部筛选对象选取模块201，用于选取各存储层次上所有的已估值数据，作为局部筛选的对象。

具体的，***中存在已估值的数据，每个已估值数据都有热度值与之相对应，所述热度值可比较大小。

局部筛选模块202，与局部筛选对象选取模块201相连接，其每个存储层次都存在已设置好的阈值，用于将所述已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果。

可以理解的是，进行局部筛选时，选取各存储层次上所有的已估值数据，作为局部筛选的对象。具体的，***中存在已估值数据，每个已估值数据都有热度值与之相对应，所述热度值可比较大小。

具体的，阈值是个非负实数，可比较大小。

所述阈值包括上限阈值和下限阈值，优选的，首次将上限阈值设定为0，下限阈值设定为正无穷大。

具体的，将热度值大于上限阈值或小于下限阈值的所述已估值数据，作为局部筛选的结果。即将热度值小于上限阈值或大于下限阈值的数据筛掉。

全局筛选模块203，与所述局部筛选模块202相连接，用于将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，过滤掉不需要迁移的数据对象，获得所述数据迁移的对象。

具体的，将所述局部筛选获得的结果，按照其热度值的大小从大到小排列，与存储层次相匹配，然后往存储层次上尝试存放。

具体的，若所述存储层次上可以容纳所述数据，则存放成功；

具体的，若不能容纳所述数据，则所述数据向下一级存储层次进行尝试存放，直到所述数据均存放成功。

本实施例中，所述尝试存放是在不考虑数据原有存储位置的情况下，只根据其热度值和各级存储层次的剩余空间，确定其因有的存放位置。如果原有存储位置与因有的存放层次一致，则所述数据不需要迁移；如果原有存储位置与因有的存放层次不一致，则因有的存放位置为迁移目标。

剩余空间是指所述存储层次最佳使用空间及实际使用空间之间的差值。

一级存储的最佳使用空间与其全部使用空间的比值小于1，通常为80％，其余存储层次的使用空间与其全部使用空间的比值可根据实际情况进行调整。

更新模块204，用于所述数据迁移结束后，根据迁移结果更新所述阈值。

优选的，所述数据迁移结束后，将所述上限阈值更新为本存储层次中上迁的数据中的最小热度值，下限阈值更新为本存储级中下迁的数据中的最大热度值。

优选的，若没有上迁或下迁发生，则维持该存储层次的阈值不变。

本发明实施例利用局部筛选和全局筛选相结合，首先在各存储层次上自行筛选，再对通过局部筛选的结果进行进一步筛选，结合各级存储的剩余空间，确定数据迁移的对象，从而能够使得迁移的对象尽可能少且能够适应***负载的动态变化，还可以充分利用优质的存储资源。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备（可以是手机，个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (8)

1.一种确定数据迁移对象的方法，其特征在于，包括以下步骤：

A：每个存储层次都存在已设置好的阈值，将已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果；

B：将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，获得所述数据迁移对象；

C：所述数据迁移结束后，根据迁移结果更新所述阈值。

2.如权利要求1所述的确定数据迁移对象的方法，其特征在于，所述步骤A包括：

A1：所述阈值包括上限阈值和下限阈值，首次将上限阈值设定为0，下限阈值设定为正无穷大，所述阈值为可以比较大小的非负实数；

A2：将热度值大于上限阈值或小于下限阈值的所述已估值数据，作为所述局部筛选的结果。

3.如权利要求1或2所述的确定数据迁移对象的方法，其特征在于，所述步骤B包括：

B1：将所述局部筛选获得的数据，按照其热度值从大到小排列，然后往存储层次上尝试存放；

B2：若所述存储层次上可以容纳所述数据，则存放成功；

B3：若不能容纳所述数据，则所述数据向下一级存储层次进行尝试存放，直到所述数据均存放成功。

4.如权利要求3所述的确定数据迁移对象的方法，其特征在于，所述尝试存放是在不考虑数据原有存储位置的情况下，只根据其热度值和各级存储层次的剩余空间，确定其因有的存放位置。如果原有存储位置与因有的存放层次一致，则所述数据不需要迁移；如果原有存储位置与因有的存放层次不一致，则因有的存放位置为迁移目标。

5.如权利要求4所述的确定数据迁移对象的方法，其特征在于，所述剩余空间是所述存储层次最佳使用空间及实际使用空间之间的差值。

6.如权利要求5所述的确定数据迁移对象的方法，其特征在于，一级存储的最佳使用空间与其全部使用空间的比值小于1。

7.如权利要求1所述的确定数据迁移对象的方法，其特征在于，所述步骤C包括：

C1：所述数据迁移结束后，将所述上限阈值更新为本存储层次中上迁的数据中的最小热度值，下限阈值更新为本存储级中下迁的数据中的最大热度值；

C2：若没有上迁或下迁发生，则维持该存储层次的阈值不变。

8.一种确定数据迁移对象的装置，其特征在于，包括：

局部筛选对象选取模块，用于选取各存储层次上所有的已估值数据，作为局部筛选的对象；

局部筛选模块，与局部筛选对象选取模块相连接，其每个存储层次都存在已设置好的阈值，用于将所述已估值数据的热度值与所述阈值比较，进行局部筛选得到局部筛选的结果；

全局筛选模块，与局部筛选模块相连接，用于将所述局部筛选的结果，结合各存储层次的剩余空间再次进行筛选，过滤掉不需要迁移的数据对象，获得所述数据迁移的对象；

更新模块，用于所述数据迁移结束后，根据迁移结果更新所述阈值。

Images