CN103412919A - 一种分布式文件***的调度方法及设备 - Google Patents

Abstract

本发明实施例提供了一种分布式文件***的调度方法及设备，涉及计算机领域，实现在不影响集群的数据可靠性和性能的情况下，达到节能效果，降低数据中心总体拥有成本。本发明实施例采用的方法包括：获取分布式文件***中每个在线节点设备中每个数据块的访问信息，根据访问信息将满足预设调度条件的节点设备作为调度节点设备；从调度节点设备中选择目标节点设备，根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，将目标节点设备上的所有不满足预设调度条件的数据块迁移至目标节点设备之外的其他调度节点设备上；对所述目标节点设备根据预设节能策略进行节能处理。

Description

一种分布式文件***的调度方法及设备

技术领域

本发明涉及计算机领域，尤其涉及一种分布式文件***的调度方法及设备。

背景技术

分布式文件***（Distributed File System）是指文件***管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件***在互联网技术（internet Technology，简称IT）行业大量使用，用于存储海量数据，集群规模可以从几百台到几千台不等，这些服务器在数据中心中7×24小时开机运行，耗费大量电力用于服务器运行和散热。

在现有分步式文件***中，存储***由大量的数据块（Block）组成，一般每份Block数据保留了3份或多份拷贝，打散在不同的节点服务器上，从而保证数据冗余，由这些Block组合成完整的分布式文件***，用户文件将存储在分布式文件***上。

发明人发现现有技术至少存在以下问题：在分布式文件***中由于很多文件只是一次性写入，写入后就很少被访问，存储这些文件所使用的大量Block将长期不被访问，且这些没有被访问的文件分散在集群的不同服务器上，而这些服务器长期处于7×24小时运行状态，没有有效的节能措施，造成数据中心的总体拥有成本（Total Cost of Ownership，简称TCO）偏高。

发明内容

本发明实施例提供一种分布式文件***的调度方法及设备，实现在不影响集群的数据可靠性和性能的情况下，达到节能效果，降低数据中心总体拥有成本。

为达到上述目的，本发明实施例采用的技术方案是，

第一方面，提供一种分布式文件***的调度方法，包括：

获取所述分布式文件***中每个在线节点设备中的每个数据块的访问信息，所述访问信息包含每个所述数据块每次被访问的时间信息；

根据所述在线节点设备中的每个所述数据块的访问信息，将包含至少一个所述数据块满足预设调度条件的所述在线节点设备作为调度节点设备；

从所述调度节点设备中选择目标节点设备，根据预设调度策略将所述目标节点设备之外的其他所述调度节点设备上的满足所述预设调度条件的所述数据块迁移至所述目标节点设备，将所述目标节点设备上的所有不满足所述预设调度条件的所述数据块迁移至所述目标节点设备之外的其他所述调度节点设备上。

在第一种可能的实现方式中，根据第一方面，所述数据块的访问信息包括：

所述数据块对应的数据的所有拷贝数据每次被访问的时间信息。

在第二种可能的实现方式中，根据第一方面或第一种可能的实现方式，所述根据所述在线节点设备中的每个所述数据块的所述访问信息，将包含至少一个所述数据块满足预设调度条件的所述在线节点设备作为调度节点设备，包括：

根据所述在线节点设备中的所述数据块的所述访问信息，若所述在线节点设备中的至少一个所述数据块的最后一次被访问的时间距离当前时间的时长大于预设时间阈值，则将对应的所述在线节点设备选择为所述调度节点设备。

在第三种可能的实现方式中，根据第一方面、第一种可能的实现方式及第二种可能的实现方式任一项，所述根据所述预设调度策略将所述目标节点设备之外的其他所述调度节点设备上的满足所述预设调度条件的所述数据块迁移至所述目标节点设备，包括：

根据所述预设调度策略，若所述目标节点设备之外的其他所述调度节点设备上的满足所述预设调度条件的，存有相同数据的所述数据块有N个，则将小于所述N的所述存有相同数据的所述数据块迁移至所述目标节点设备。

在第四种可能的实现方式中，根据第一方面、第一种可能的实现方式、第二种可能的实现实现方式及第三种可能的实现方式任一项，所述方法还包括，

根据所述在线节点设备中的所述访问信息，若所述在线节点设备中的第一数据块被访问，且所述目标节点设备中包含与所述第一数据块相同数据的第二数据块，则将所述目标节点设备改变为在线节点设备或者调度节点设备。

在第五种可能的实现方式中，根据第一方面、第一种可能的实现方式、第二种可能的实现方式、第三种可能的实现方式及第四种可能的实现方式任一项，在所述对所述目标节点设备根据预设节能策略进行节能处理之后，所述方法还包括，

将所述目标节点设备之外的其他所述调度节点设备恢复为在线节点设备。

在第六种可能的实现方式中，根据第一方面、第一种可能的实现方式、第二种可能的实现方式、第三种可能的实现方式、第四种可能的实现方式及第五种可能的实现方式任一项，从所述调度节点设备中选择所述目标节点设备，包括：

选择包含所述满足所述预设调度条件的所述数据块最多的所述调度节点设备作为所述目标节点设备。

第二方面，提供一种分布式文件***的调度设备，包括：

获取单元，用于获取所述分布式文件***中每个在线节点设备中的每个数据块的访问信息，所述访问信息包含每个所述数据块每次被访问的时间信息；

选择单元，用于根据所述在线节点设备中的每个所述数据块的访问信息，将包含至少一个所述数据块满足预设调度条件的所述在线节点设备作为调度节点设备；

迁移单元，用于从所述调度节点设备中选择目标节点设备，根据预设调度策略将所述目标节点设备之外的其他所述调度节点设备上的满足所述预设调度条件的所述数据块迁移至所述目标节点设备，将所述目标节点设备上的所有不满足所述预设调度条件的所述数据块迁移至所述目标节点设备之外的其他所述调度节点设备上；

处理单元，用于对所述目标节点设备根据预设节能策略进行节能处理。

在第一种可能的实现方式中，根据第二方面，所述数据块的访问信息包括：

所述数据块对应的数据的所有拷贝数据每次被访问的时间信息。

在第二种可能的实现方式中，根据第二方面或第一种可能的实现方式，所述选择单元具体用于：

根据所述在线节点设备中的所述数据块的所述访问信息，若所述在线节点设备中的至少一个所述数据块的最后一次被访问的时间距离当前时间的时长大于所述预设时间阈值，则将对应的所述在线节点设备作为所述调度节点设备。

在第三种可能的实现方式中，根据第二方面、第一种可能的实现方式及第二种可能的实现方式任一项，所述迁移单元具体用于：

根据所述预设调度策略，若所述目标节点设备之外的其他所述调度节点设备上的满足所述预设调度条件的，存有相同数据的所述数据块有N个，则将小于所述N的所述存有相同数据的所述数据块迁移至所述目标节点设备。

在第四种可能的实现方式中根据第二方面、第一种可能的实现方式、第二种可能的实现方式及第三种可能的实现方式中的任一项，所述设备还包括，

更改单元，用于根据所述在线节点设备中的所述访问信息，若所述在线节点设备中的第一数据块被访问，且所述目标节点设备中包含与所述第一数据块相同数据的所述第二数据块，则将所述目标节点设备改变为在线节点设备或者调度节点设备。

在第五种可能的实现方式中，根据第二方面、第一种可能的实现方式、第二种可能的实现方式、第三种可能的实现方式及第四种可能的实现方式中的任一项，所述设备还包括，

恢复单元用于在所述处理单元对所述目标节点设备根据所述预设节能策略进行节能处理后，将所述目标节点设备之外的其他所述调度节点设备恢复为在线节点设备。

在第六种可能的实现方式中，根据第二方面、第一种可能的实现方式、第二种可能的实现方式、第三种可能的实现方式、第四种可能的实现方式及第五种可能的实现方式任一项，所述选择单元具体用于：

选择包含所述满足所述预设调度条件的所述数据块最多的所述调度节点设备作为所述目标节点设备。

本发明的实施例提供的分布式文件***的调度方法及设备，通过获取分布式文件***中每个在线节点设备中的每个数据块的访问信息，根据访问信息将满足预设调度条件的节点设备作为调度节点设备，并从调度节点设备中选择目标节点设备，根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，将目标节点设备上的所有不满足预设调度条件的数据块迁移至目标节点设备之外的其他调度节点设备上；对所述目标节点设备根据预设节能策略进行节能处理。实现在不影响集群的数据可靠性和性能的情况下，达到节能效果，降低数据中心总体拥有成本。解决了现有技术中数据中心的总体拥有成本偏高的缺陷。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分布式文件***的调度方法示意图；

图2为本发明实施例提供的另一种分布式文件***的调度方法示意图；

图3A、图3B、图3C、图3D为本发明实施例提供的一种分布式文件***的调度方法过程示意图；

图4为本发明实施例提供的一种分布式文件***的调度方法过程示意图；

图5为本发明实施例提供的一种分布式文件***的调度设备的装置结构图；

图6为本发明实施例提供的另一种分布式文件***的调度设备的装置结构图；

图7为本发明实施例提供的再一种分布式文件***的调度设备的装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的实施例提供的分布式文件***的调度方法，参见图1，该方法可以包括：

101、获取分布式文件***中每个在线节点设备中的每个数据块的访问信息；

可选的，数据块的访问信息包括，所述数据块对应的数据的所有拷贝数据被访问的时间信息。

可选的，所述访问信息用于表示所述数据块被访问的情况，例如，可以包含每个数据块每次被访问的时间信息，本发明实施例对于分布式文件***中数据块的访问信息内容不具体进行限制。

102、根据在线节点设备中的每个数据块的访问信息，将包含至少一个数据块满足预设调度条件的节点设备作为调度节点设备；

可选的，根据所述在线节点设备中的每个所述数据块的访问信息，将包含至少一个所述数据块满足预设调度条件的所述在线节点设备作为调度节点设备，可以包括：

根据所述在线节点设备中的所述访问信息，若所述在线节点设备中的至少一个所述数据块的最后一次被访问的时间距离当前时间的时长大于预设时间阈值，则将对应的所述在线节点设备选择为所述调度节点设备。

其中，预设时间阈值可以根据实际需要进行设置。

103、从调度节点设备中选择目标节点设备，根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，将目标节点设备上的所有不满足预设调度条件的数据块迁移至目标节点设备之外的其他调度节点设备上；

示例性的，选择目标节点设备的方式可以有多种，本发明实施例对具体选择方式不进行限制；

优选的，可以选择包含满足预设调度条件的数据块最多的调度节点设备作为目标节点设备。

可选的，根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，包括：

根据预设调度策略，若目标节点设备之外的其他调度节点设备上的满足预设调度条件的，存有相同数据的数据块有N个，则将小于N的存有相同数据的数据块迁移至目标节点设备。

104、对目标节点设备根据预设节能策略进行节能处理。

本发明的实施例提供的分布式文件***的调度方法，通过获取分布式文件***中每个在线节点设备中的每个数据块的访问信息，根据访问信息将包含至少一个数据块满足预设调度条件的节点设备选择为调度节点设备；从调度节点设备中选择目标节点设备，根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，将目标节点设备上的所有不满足预设调度条件的数据块迁移至目标节点设备之外的其他调度节点设备上；对所述目标节点设备根据预设节能策略进行节能处理。实现在不影响集群的数据可靠性和性能的情况下，达到节能效果，降低数据中心总体拥有成本。解决了现有技术中数据中心的总体拥有成本偏高的缺陷。

下面通过具体实施例对图1所示方法实施例进行详细描述，参见图2，所述方法可以包括：

201、获取在线节点设备中的每个数据块的访问信息；

示例性的，可以将节点设备的状态分为在线状态（Active）、调度状态（Transfer）和休眠状态（Standby），其中，

在线状态（Active）是节点设备的一种初始状态，该状态下的节点设备可以进行实时数据访问；

调度状态（Transfer）是节点设备的一种过渡状态，在调度状态下可以对节点设备中的数据块进行迁移调度，并且，能够对处于该状态的节点设备中的数据块进行正常的实时数据访问；

休眠状态（Standby）下的节点设备可以进行节能处理，不能对处于该状态的节点设备中的数据块进行实时数据访问。

相应的，本发明实施例为了描述方便，可以将处于在线状态、调度状态、休眠状态的节点设备分别称为在线节点设备、调度节点设备和休眠节点设备。

参见图3A，为初始状态的三个节点设备（节点设备1、节点设备2和节点设备3），每个节点设备包含若干数据块，该初始状态的三个节点设备（节点设备1、节点设备2和节点设备3）均处于在线状态；

示例性的，数据块的访问信息用于表示该数据块对应的数据被访问的情况，例如，可以包括该数据块对应的数据的所有拷贝数据每次被访问的时间信息。在分步式文件***中，存储***由大量的数据块block组成，一般每份block数据保留了3份或多份拷贝，打散在不同的节点服务器上，从而保证数据冗余，由这些block组合成完整的分布式文件***，用户文件将存储在分布式文件***上。所以，在数据块对应的数据存在多个备份的情况下，该数据的任意一个拷贝数据被访问，均认为是对每个拷贝数据对应的数据块的访问，例如，数据A有三个拷贝，分别存放于节点设备1上的数据块1、节点设备2上的数据块2和节点设备3上的数据块3，若节点设备1上的数据块1在时间A被访问，则认为节点设备1上的数据块1、节点设备2上的数据块2和节点设备3上的数据块3均在时间A被访问，所以，节点设备1上的数据块1、节点设备2上的数据块2和节点设备3上的数据块3的访问信息均应该包含时间A。

示例性的，可以周期性的获取在线节点设备中的每个数据块的访问信息，该周期长短可以根据实际需要设置；当该周期间隔很短时，可以认为实时的获取在线节点设备中的每个数据块的访问信息。

202、判断在线节点设备是否满足调度条件；

可选的，数据块的调度条件可以根据需要由用户自行设置，优选的，可以基于时间进行设置，例如，数据块满足预设调度条件可以是最后一次被访问的时间距离当前时间的时长大于预设时间阈值；其中，预设时间阈值可以根据需要进行设置，预设时间阈值的大小对于本发明的目的的实现不构成影响，可以理解，预设时间阈值设置的越长，调度周期越长；预设时间阈值设置的越短，调度周期越短。

示例性的，参见图3A，假设该分布式文件***中预设的调度条件为：数据块的最后一次被访问的时间距离当前时间的时长大于10天；

假设节点设备1中的数据块4、数据块5最后一次被访问的时间距离当前时间的时长大于10天，其他数据块的最后一次被访问的时间距离当前时间的时长小于等于10天，则节点设备1中的数据块4、数据块5满足调度条件，其他数据块不满足调度条件；

假设节点设备2中的数据块10、数据块11最后一次被访问的时间距离当前时间的时长小于等于10天，其他数据块的最后一次被访问的时间距离当前时间的时长大于10天，则节点设备2中的数据块10、数据块11不满足调度条件，其他数据块都满足调度条件；

假设节点设备3中的数据块16、数据块17、数据块18最后一次被访问的时间距离当前时间的时长大于10天，其他数据块的最后一次被访问的时间距离当前时间的时长小于等于10天，则节点设备3中的数据块16、数据块17、数据块18满足调度条件，其他数据块不满足调度条件；

可选的，若在线节点设备内任一数据块满足调度条件，则该对应节点设备满足调度条件；或者，在线节点设备内没有数据块满足调度条件，则该对应在线节点设备不满足调度条件。

根据以上假设，则节点设备1、节点设备2、节点设备3均满足调度条件。

203、若在线节点设备不满足调度条件，则继续获取在线节点设备中每个数据块的访问信息；

204、若在线节点设备满足调度条件，则在线节点设备进入调度状态，在线节点设备类型变为调度节点设备；

示例性的，参见202的描述及图3B，节点设备1、节点设备2、节点设备3变为调度节点设备。

205、选择目标节点设备；

根据选择目标节点设备的方式，可以选择任意调度节点设备作为目标节点设备；

优选的，选择包含满足调度条件的数据块最多的调度节点设备作为目标节点设备；

示例性的，参照图3B及202中的描述，节点设备2中包含满足调度条件的数据块最多，将节点设备2作为目标节点设备。

206、根据预设调度策略，将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备；

可选的，预设调度策略可以由用户根据实际需求定制，包括但不限于以下方面的内容：

根据实际需求设置开始迁移时间，比如可以为任何时间或定时在某个时间区间；

根据实际需求设置调度过程中迁移数据拷贝的数量，例如三份拷贝迁移其中的两份拷贝，至少保留一个数据在目标节点设备之外；

根据实际需求定制允许单个节点设备下并发迁移的数据块的数量，避免影响硬盘输入输出（Input/Output，简称IO）性能和占用过多服务器带宽。

示例性的，假设调度节点设备（节点设备1）中的数据块4和调度节点设备（节点设备3）中的数据块18保存有相同的数据；再假设，预设调度策略中设置，有两份数据拷贝时，迁移其中一份数据；

示例性的，根据以上假设，根据预设调度策略，参见图3C，将调度节点设备（节点设备1）中的数据块4、数据块5迁移至目标节点设备（节点设备2），将调度节点设备（节点设备3）中的数据块16、数据块17迁移至目标节点设备（节点设备2），保留与数据块4保存同样数据的数据块18在目标节点设备（节点设备2）之外。

207、根据预设调度策略，将目标节点设备上的不满足预设调度条件的数据块迁移至目标节点设备之外的其他调度节点设备上；

示例性的，根据预设调度策略，参见图3C，将目标节点设备（节点设备2）中的数据块10、数据块11迁移至节点设备1（或者节点设备3）。

208、判断目标节点设备是否完成调度；

可选的，若目标节点设备中所有数据块都满足预设调度条件，则目标节点设备完成调度；

或者，若目标节点设备中任一数据块不满足预设调度条件，则目标节点设备没有完成调度；

示例性的，参见图3C，目标节点设备（节点设备2）中的所有数据块均满足预设调度条件，则目标节点设备（节点设备2）已完成调度。

209、若目标节点设备没有完成调度，则根据预设调度策略，继续将目标节点设备中的所有不满足预设调度条件的数据块迁移到目标节点设备之外的其他调度节点设备。

210、若目标节点设备完成调度，将目标节点设备变为休眠节点设备，将目标节点设备之外的其他调度节点设备恢复为在线节点设备；

示例性的，参见图3D，目标节点设备（节点设备2）已完成调度，节点设备2变为休眠节点设备，将节点设备1和节点设备3恢复为在线节点设备。

211、对目标节点设备根据预设节能策略进行节能处理；

示例性的，预设节能策略可以由用户定制，可以包括但不限于以下方面：

1、将目标节点设备的数据分区所在硬盘降速或停转实现对目标节点设备的节能，目标节点设备的操作***根分区所在硬盘保持不变；

2、目标节点设备对应CPU降频实现节能；

3、目标节点设备对应主机进入待机状态，只保留内存供电状态实现节能；

4、立刻或者由用户定制时间目标节点设备开始节能处理；

5、自动或手动开始节能处理。

示例性的，对节点设备2根据预设节能策略进行节能处理。

212、判断休眠节点设备是否被激活；

激活是指对处于休眠状态的休眠节点设备的一种唤醒处理。

可选的，根据所述在线节点设备中的访问信息，若在线节点中的第一数据块被访问，且休眠节点设备中包含与第一数据块相同数据的第二数据块，则激活休眠节点设备；

示例性的，参见图4，根据206中假设，在线节点设备（节点设备3）中的数据块18被访问，且休眠节点设备（节点设备2）中包含与数据块18相同数据的数据块4，则休眠节点设备（节点设备2）被激活。

213、若休眠节点设备不被激活，则继续对休眠节点设备进行节能处理；

214、若休眠节点设备被激活，则同步更新该节点设备上的数据块数据；

示例性的，同步休眠节点设备（节点设备2）数据块数据。

215、若休眠节点设备被激活，且同步更新完该节点设备上的数据块数据后，休眠节点设备改变状态，重复进行所述分布式文件***的调度方法；

可选的，休眠节点设备状态改变，包括：休眠节点设备变为在线节点设备或者休眠节点设备变为调度节点设备；

示例性的，若休眠节点设备被激活后变为在线节点设备，则重复从步骤201开始执行分布式文件***调度方法；

若休眠节点设备被激活后变为调度节点设备，则重复从步骤204开始执行分布式文件***调度方法。

示例性的，参见图4，休眠节点设备（节点设备2）变为在线节点设备或者调度节点设备，重新开始调度。

本发明对休眠节点设备激活后状态的改变方式不做具体的限制。

本发明的实施例提供的分布式文件***的调度方法，通过获取分布式文件***中每个在线节点设备中的每个数据块的访问信息，根据访问信息将包含至少一个数据块满足预设调度条件的节点设备选择为调度节点设备；从调度节点设备中选择目标节点设备，根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，将目标节点设备上的所有不满足预设调度条件的数据块迁移至目标节点设备之外的其他调度节点设备上；对所述目标节点设备根据预设节能策略进行节能处理。实现在不影响集群的数据可靠性和性能的情况下，达到节能效果，降低数据中心总体拥有成本。解决了现有技术中数据中心的总体拥有成本偏高的缺陷。

本发明实施例提供的一种分布式文件***的调度设备50，用于实现图1所述方法，参见图5，该设备包括：

获取单元501，用于获取分布式文件***中每个在线节点设备中的每个数据块的访问信息，访问信息包含每个数据块每次被访问的时间信息；

选择单元502，用于根据在线节点设备中的每个数据块的访问信息，将包含至少一个数据块的访问信息满足预设调度条件的节点设备选择为调度节点设备；

可选的，根据在线节点设备中的每个数据块的被访问记录信息，将包含至少一个数据块满足预设调度条件的节点设备作为调度节点设备，包括：

根据在线节点设备中的访问信息，若在线节点设备中的至少一个数据块的最后一次被访问的时间距离当前时间的时长大于预设时间阈值，则将对应的在线节点设备选择为调度节点设备。

迁移单元503，用于从调度节点设备中选择目标节点设备，根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，将目标节点设备上的所有不满足预设调度条件的数据块迁移至目标节点设备之外的其他调度节点设备上；

可选的，从调度节点设备中选择目标节点设备，包括：

选择包含满足预设调度条件的数据块最多的调度节点设备作为目标节点设备；

可选的，根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，包括：

根据预设调度策略，若目标节点设备之外的其他调度节点设备上的满足预设调度条件的，存有相同数据的数据块有N个，则将小于N的存有相同数据的数据块迁移至目标节点设备。

处理单元504，用于对目标节点设备根据预设节能策略进行节能处理。

参见图6，进一步的，所述设备50还包括，

更改单元505，用于根据所述在线节点设备中的访问信息，若所述在线节点设备中的第一数据块被访问，且所述目标节点设备中包含与所述第一数据块相同数据的第二数据块，则将所述目标节点设备改变为在线节点设备或者调度节点设备。

恢复单元506，用于对所述目标节点设备完成节能处理后，将所述目标节点设备之外的其他所述调度节点设备恢复为在线节点设备。

本发明的实施例提供的分布式文件***的调度设备50，通过获取分布式文件***中每个在线节点设备中的每个数据块的访问信息，根据访问信息将包含至少一个数据块满足预设调度条件的节服务器点设备选择为调度节点设备；从调度节点设备中选择目标节点设备，根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，将目标节点设备上的所有不满足预设调度条件的数据块迁移至目标节点设备之外的其他调度节点设备上；对所述目标节点设备根据预设节能策略进行节能处理。实现在不影响集群的数据可靠性和性能的情况下，达到节能效果，降低数据中心总体拥有成本。解决了现有技术中数据中心的总体拥有成本偏高的缺陷。

本发明实施例提供另一种分布式文件***的调度设备50，该设备50可以配置在分布式文件***所在的物理机上，参见图7，可以包括：

至少一个处理器701；存储器702，通信接口703，用于进行该设备50与所在物理机之间的连接，至少一个通信总线704，用于实现这些装置之间的连接和相互通信；

其中，通信总线704可以是工业标准体系结构（Industry StandardArchitecture，简称为ISA）总线、外部设备互连（Peripheral Component，简称为PCI）总线或扩展工业标准体系结构（Extended IndustryStandard Architecture，简称为EISA）总线等。该总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口703可以是USB接口，也可以是总线接口，对此本实施例不作任何限定。

存储器702可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器702的一部分还可以包括非易失行随机存取存储器（NVRAM）。

处理器701可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（Application Specific IntegratedCircuit，简称为ASIC），或者是被配置成实施本发明实施例的一个或多个集成电路。

处理器701具体可以用于：

获取分布式文件***中每个在线节点设备中的每个数据块的访问信息，所述访问信息包含每个所述数据块每次被访问的时间信息；

根据在线节点设备中的每个数据块的访问信息，将包含至少一个数据块满足预设调度条件的所述在线节点设备作为调度节点设备；

从调度节点设备中选择目标节点设备，根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，将目标节点设备上的所有不满足预设调度条件的数据块迁移至目标节点设备之外的其他调度节点设备上；

对目标节点设备根据预设节能策略进行节能处理。

处理器701还可以用于：

数据块的访问信息包括：所述数据块对应的数据的所有拷贝数据每次被访问的时间信息；

根据在线节点设备中的每个数据块的访问信息，将包含至少一个所述数据块满足预设调度条件的在线节点设备作为调度节点设备，包括：根据在线节点设备中的数据块的访问信息，若在线节点设备中的至少一个数据块的最后一次被访问的时间距离当前时间的时长大于预设时间阈值，则将对应的在线节点设备选择为所述调度节点设备。

根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，包括：根据预设调度策略，若目标节点设备之外的其他调度节点设备上的满足所述预设调度条件的，存有相同数据的数据块有N个，则将小于N个存有相同数据的所述数据块迁移至目标节点设备。

处理器701还可以进一步用于：

根据在线节点设备中的数据块访问信息，若在线节点设备中的第一数据块被访问，且目标节点设备中包含与第一数据块相同数据的第二数据块，则将目标节点设备改变为在线节点设备或者调度节点设备。

在对目标节点设备根据预设节能策略进行节能处理之后，所述方法还包括，将目标节点设备之外的其他调度节点设备恢复为在线节点设备。

从调度节点设备中选择目标节点设备，包括：选择包含满足预设调度条件的数据块最多的调度节点设备作为目标节点设备。

本发明的实施例提供的分布式文件***的调度设备50，通过获取分布式文件***中每个在线节点设备中的每个数据块的访问信息，根据访问信息将包含至少一个数据块满足预设调度条件的节服务器点设备选择为调度节点设备；从调度节点设备中选择目标节点设备，根据预设调度策略将目标节点设备之外的其他调度节点设备上的满足预设调度条件的数据块迁移至目标节点设备，将目标节点设备上的所有不满足预设调度条件的数据块迁移至目标节点设备之外的其他调度节点设备上；对所述目标节点设备根据预设节能策略进行节能处理。实现在不影响集群的数据可靠性和性能的情况下，达到节能效果，降低数据中心总体拥有成本。解决了现有技术中数据中心的总体拥有成本偏高的缺陷。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种分布式文件***的调度方法，其特征在于，包括：

获取所述分布式文件***中每个在线节点设备中的每个数据块的访问信息，所述访问信息包含每个所述数据块每次被访问的时间信息；

根据所述在线节点设备中的每个所述数据块的访问信息，将包含至少一个所述数据块满足预设调度条件的所述在线节点设备作为调度节点设备；

从所述调度节点设备中选择目标节点设备，根据预设调度策略将所述目标节点设备之外的其他所述调度节点设备上的满足所述预设调度条件的所述数据块迁移至所述目标节点设备，将所述目标节点设备上的所有不满足所述预设调度条件的所述数据块迁移至所述目标节点设备之外的其他所述调度节点设备上；

对所述目标节点设备根据预设节能策略进行节能处理。

2.根据权利要求1所述的分布式文件***的调度方法，其特征在于，所述数据块的访问信息包括：

所述数据块对应的数据的所有拷贝数据每次被访问的时间信息。

3.根据权利要求1或2所述的分布式文件***的调度方法，其特征在于，

所述根据所述在线节点设备中的每个所述数据块的所述访问信息，将包含至少一个所述数据块满足预设调度条件的所述在线节点设备作为调度节点设备，包括：

根据所述在线节点设备中的所述数据块的所述访问信息，若所述在线节点设备中的至少一个所述数据块的最后一次被访问的时间距离当前时间的时长大于预设时间阈值，则将对应的所述在线节点设备选择为所述调度节点设备。

4.根据权利要求1-3任一项所述的分布式文件***的调度方法，其特征在于，

所述根据所述预设调度策略将所述目标节点设备之外的其他所述调度节点设备上的满足所述预设调度条件的所述数据块迁移至所述目标节点设备，包括：

根据所述预设调度策略，若所述目标节点设备之外的其他所述调度节点设备上的满足所述预设调度条件的，存有相同数据的所述数据块有N个，则将小于所述N的所述存有相同数据的所述数据块迁移至所述目标节点设备。

5.根据权利要求1-4任一项所述的分布式文件***的调度方法，其特征在于，所述方法还包括，根据所述在线节点设备中的所述数据块所述访问信息，若所述在线节点设备中的第一数据块被访问，且所述目标节点设备中包含与所述第一数据块相同数据的第二数据块，则将所述目标节点设备改变为在线节点设备或者调度节点设备。

6.根据权利要求1-5任一项所述的分布式文件***的调度方法，其特征在于，在所述对所述目标节点设备根据预设节能策略进行节能处理之后，所述方法还包括，将所述目标节点设备之外的其他所述调度节点设备恢复为在线节点设备。

7.根据权利要求1-6任一项所述的分布式文件***的调度方法，其特征在于，从所述调度节点设备中选择所述目标节点设备，包括：

选择包含所述满足所述预设调度条件的所述数据块最多的所述调度节点设备作为所述目标节点设备。

8.一种分布式文件***的调度设备，其特征在于，包括：

获取单元，用于获取所述分布式文件***中每个在线节点设备中的每个数据块的访问信息，所述访问信息包含每个所述数据块每次被访问的时间信息；

选择单元，用于根据所述在线节点设备中的每个所述数据块的访问信息，将包含至少一个所述数据块满足预设调度条件的所述在线节点设备作为调度节点设备；

迁移单元，用于从所述调度节点设备中选择目标节点设备，根据预设调度策略将所述目标节点设备之外的其他所述调度节点设备上的满足所述预设调度条件的所述数据块迁移至所述目标节点设备，将所述目标节点设备上的所有不满足所述预设调度条件的所述数据块迁移至所述目标节点设备之外的其他所述调度节点设备上；

处理单元，用于对所述目标节点设备根据预设节能策略进行节能处理。

9.根据权利要求8所述的分布式文件***的调度设备，其特征在于，所述数据块的访问信息包括：

所述数据块对应的数据的所有拷贝数据每次被访问的时间信息。

10.根据权利要求8或9所述的分布式文件***的调度设备，其特征在于，所述选择单元具体用于：

根据所述在线节点设备中的所述数据块的所述访问信息，若所述在线节点设备中的至少一个所述数据块的最后一次被访问的时间距离当前时间的时长大于所述预设时间阈值，则将对应的所述在线节点设备作为所述调度节点设备。

11.根据权利要求8-10任一项所述的分布式文件***的调度设备，其特征在于，所述迁移单元具体用于：

根据所述预设调度策略，若所述目标节点设备之外的其他所述调度节点设备上的满足所述预设调度条件的，存有相同数据的所述数据块有N个，则将小于所述N的所述存有相同数据的所述数据块迁移至所述目标节点设备。

12.根据权利要求8-11任一项所述的分布式文件***的调度设备，其特征在于，所述设备还包括，

更改单元，用于根据所述在线节点设备中的所述访问信息，若所述在线节点设备中的第一数据块被访问，且所述目标节点设备中包含与所述第一数据块相同数据的所述第二数据块，则将所述目标节点设备改变为在线节点设备或者调度节点设备。

13.根据权利要求8-12任一项所述的分布式文件***的调度设备，其特征在于，所述设备还包括，

恢复单元，用于在所述处理单元对所述目标节点设备根据所述预设节能策略进行节能处理后，将所述目标节点设备之外的其他所述调度节点设备恢复为在线节点设备。

14.根据权利要求8-13任一项所述的分布式文件***的调度设备，其特征在于，所述选择单元具体用于：

选择包含所述满足所述预设调度条件的所述数据块最多的所述调度节点设备作为所述目标节点设备。

Images