CN104142871A - 用于数据备份的方法、装置和分布式文件*** - Google Patents

Abstract

本发明公开一种用于数据备份的方法、装置和分布式文件***。其中在用于数据备份的方法中，当接收到数据节点发送的数据备份请求时，向代价服务器发送查询请求，用于查询分布式***中与所述数据节点相关联的代价矩阵信息。接收代价服务器发送的响应信息，其中响应信息中包括与所述数据节点相关联的代价矩阵信息。利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本，选择备份成本最小的候选节点作为目标节点，将目标节点信息发送给所述数据节点，以便所述数据节点将数据备份到目标节点上。本发明根据代价矩阵选择备份成本最低的节点进行数据备份，从而有效避免出现备份代价过高和节点负载不均的问题。

Description

用于数据备份的方法、装置和分布式文件***

技术领域

本发明涉及通信领域，特别涉及一种用于数据备份的方法、装置和分布式文件***。

背景技术

云计算分布式文件***利用多台服务器提供大容量高可靠的文件服务，集群包含数据服务器和目录服务器(元数据服务器)。目录服务器用来维护文件数据块在数据服务器的分布情况（元数据），数据服务器用来存储具体文件数据。相比现今其他存储技术，分布式文件***以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。然而，如何保证分布式文件***的各方面要求，如扩展性、可用性、可靠性、安全性、效率等，是我们需要解决的问题。

在分布式***中，副本机制是一种提高有效性和性能的重要方法。副本机制指当向文件***写入数据块时，除了在一个主用节点上写入数据，同时会分配其他几个节点并在这些节点中写入数据。具体分配多少节点根据***的可靠性要求决定。副本弥补了存储对象单点失效、容错性差、接入性能不高等问题。但引入副本机制也必然带来以下几个方面的问题:副本一致性问题、负载平衡问题、创建副本的各种硬件和通信上的代价问题以及云计算任务对副本访问代价问题等等。

副本机制虽然能够有效提高分布式***的有效性，但现有的分布式文件***数据副本备份方案存在以下问题：

1、创建数据副本时，没有考虑存储、通信等代价，容易造成备份代价过高的问题。

2、由于数据副本随机选择位置，当大量副本集中在同一节点时，可能造成节点负载不均。

发明内容

本发明要解决的技术问题是提供一种用于数据备份的方法、装置和分布式文件***。通过引入代价矩阵，根据代价矩阵选择备份成本最低的节点进行数据备份，从而有效避免出现备份代价过高和节点负载不均的问题。

根据本发明的一个方面，提供一种用于数据备份的方法，包括：

当接收到数据节点发送的数据备份请求时，向代价服务器发送查询请求，用于查询分布式***中与所述数据节点相关联的代价矩阵信息，其中所述数据节点为写入数据的主用节点，与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本；

接收代价服务器发送的响应信息，其中响应信息中包括与所述数据节点相关联的代价矩阵信息；

利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本；

选择备份成本最小的候选节点作为目标节点；

将目标节点信息发送给所述数据节点，以便所述数据节点将数据备份到目标节点上。

优选的，利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本的步骤包括：

数据节点i和候选节点j之间的备份成本Cost(i,j)为：

$\mathrm{Cost}(i,j)={\mathrm{\Σ}}_{l=1}^{k}W\left[l\right]\mathrm{CM}(i,j)\left[l\right];$

其中CM(i,j)[l]为所述数据节点i与候选节点j之间第l个维度的存储成本，W[l]为第l个维度的成本权重，K为维度总数。

优选的，选择备份成本最小的候选节点作为目标节点的步骤包括：

将满足argminCost(i,j)的候选节点j作为所述数据节点i的目标节点。

优选的，以预定的时间间隔检测分布式***中任意两个节点之间的网络状态；

根据所述网络状态向代价服务器发送更新请求，以更新代价矩阵信息。

优选的，以预定的时间间隔检测分布式***中任意两个节点之间的网络状态的步骤包括：

以预定的时间间隔检测分布式***中任意两个节点之间的链路拥塞度。

根据本发明的另一方面，提供一种用于数据备份的方法，包括：

当数据节点作为写入数据的主用节点时，向主节点发送数据备份请求，以便使主节点根据数据备份请求从代价服务器获取与所述数据节点相关联的代价矩阵信息，利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本，选择备份成本最小的候选节点作为目标节点；其中与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本；

接收主节点发送的目标节点信息；

将数据备份到目标节点上。

根据本发明的另一方面，提供一种用于数据备份的主节点，包括：

第一接收单元，用于接收数据节点发送的数据备份请求，当接收到数据节点发送的数据备份请求时，指示第一发送单元向代价服务器发送查询请求，其中所述数据节点为写入数据的主用节点；

第一发送单元，用于根据第一接收单元的指示，向代价服务器发送查询请求，用于查询分布式***中与所述数据节点相关联的代价矩阵信息，其中与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本；

第二接收单元，用于接收代价服务器发送的响应信息，其中响应信息中包括与所述数据节点相关联的代价矩阵信息；

计算单元，用于利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本；

选择单元，用于选择备份成本最小的候选节点作为目标节点；

第二发送单元，用于将目标节点信息发送给所述数据节点，以便所述数据节点将数据备份到目标节点上。

优选的，计算单元具体利用下列公式计算数据节点i和候选节点j之间的备份成本Cost(i,j)：

$\mathrm{Cost}(i,j)={\mathrm{\Σ}}_{l=1}^{k}W\left[l\right]\mathrm{CM}(i,j)\left[l\right];$

其中CM(i,j)[l]为所述数据节点i与候选节点j之间第l个维度的存储成本，W[l]为第l个维度的成本权重，K为维度总数。

优选的，选择单元具体将满足argminCost(i,j)的候选节点j作为所述数据节点i的目标节点。

优选的，控制单元还包括检测单元，其中：

检测单元，用于以预定的时间间隔检测分布式***中任意两个节点之间的网络状态；

第一发送单元还用于根据所述网络状态向代价服务器发送更新请求，以更新代价矩阵信息。

优选的，检测单元具体以预定的时间间隔检测分布式***中任意两个节点之间的链路拥塞度。

根据本发明的另一方面，提供一种用于数据备份的数据节点，包括：

第三发送单元，用于当数据节点作为写入数据的主用节点时，向主节点发送数据备份请求，以便使主节点根据数据备份请求从代价服务器获取与所述数据节点相关联的代价矩阵信息，利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本，选择备份成本最小的候选节点作为目标节点；其中与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本；

第三接收单元，用于接收主节点发送的目标节点信息；

备份单元，用于将数据备份到目标节点上。

根据本发明的另一方面，提供一种用于数据备份的分布式文件***，包括主节点和数据节点，其中主节点为上述任一实施例涉及的主节点，数据节点为上述任一实施例涉及的数据节点。

本发明通过引入代价矩阵，根据代价矩阵选择备份成本最低的节点进行数据备份，从而有效避免出现备份代价过高和节点负载不均的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明数据备份方法一个实施例的示意图。

图2为本发明数据备份方法另一实施例的示意图。

图3为本发明用于数据备份的主节点一个实施例的示意图。

图4为本发明用于数据备份的主节点另一实施例的示意图。

图5为本发明用于数据备份的数据节点一个实施例的示意图。

图6为本发明用于数据备份的分布式文件***一个实施例的示意图。

图7为本发明分布式文件***的网络示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本发明数据备份方法一个实施例的示意图。优选的，该实施例的方法步骤可由分布式***中的主节点（Name Node）执行。

步骤101，当接收到数据节点发送的数据备份请求时，向代价服务器发送查询请求，用于查询分布式***中与所述数据节点相关联的代价矩阵信息。

其中所述数据节点为写入数据的主用节点，与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本。

步骤102，接收代价服务器发送的响应信息，其中响应信息中包括与所述数据节点相关联的代价矩阵信息。

步骤103，利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本。

步骤104，选择备份成本最小的候选节点作为目标节点。

步骤105，将目标节点信息发送给所述数据节点，以便所述数据节点将数据备份到目标节点上。

基于本发明上述实施例提供的数据备份方法，通过引入代价矩阵，根据代价矩阵选择备份成本最低的节点进行数据备份，从而有效避免出现备份代价过高和节点负载不均的问题。

代价矩阵设计方式可以根据分布式***的实际情况进行设计。如表1所示，是一个代价矩阵的样例。代价矩阵大致可以分为两部分：节点编号和各种代价量。节点编号包括了源节点（数据写入的第一个节点）以及目标节点编号信息；代价量包括存储代价（一致性维护代价、负载情况、吞吐量等）、通信代价（地理距离、传输带宽、跨越节点数目、链路负载情况等）和其他。此处只是一个简单实例，不对具体方案作任何限定，管理员可按需求自定义所包括的代价信息。

表1

优选的，上述利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本的步骤包括：

数据节点i和候选节点j之间的备份成本Cost(i,j)为：

$\mathrm{Cost}(i,j)={\mathrm{\Σ}}_{l=1}^{k}W\left[l\right]\mathrm{CM}(i,j)\left[l\right];$

其中CM(i,j)[l]为所述数据节点i与候选节点j之间第l个维度的存储成本，W[l]为第l个维度的成本权重，K为维度总数。

其中，具体的维度可根据实际要求确定，最简单的可直接用一维（例如拥塞度）来衡量。

优选的，上述选择备份成本最小的候选节点作为目标节点的步骤包括：

将满足argminCost(i,j)的候选节点j作为所述数据节点i的目标节点。

此外，由于随着数据备份操作以及资源状况的变动，代价矩阵会发生动态变化，因此需要对网络状态进行检测以及时更新代价矩阵。优选的，可以预定的时间间隔检测分布式***中任意两个节点之间的网络状态，根据所述网络状态向代价服务器发送更新请求，以更新代价矩阵信息。

优选的，上述以预定的时间间隔检测分布式***中任意两个节点之间的网络状态的步骤包括：

以预定的时间间隔检测分布式***中任意两个节点之间的链路拥塞度。

也就是说，具体的更新策略可通过监测服务器节点的状态及网络链路负载来实现。一种简单的方法是监测每个数据节点之间的链路拥塞度，使用拥塞程度作为矩阵代价值。监测方法可以利用标准的SNMP（Simple Network Management Protocol，简单网络管理协议）管理接口每隔5分钟获取链路的当前流量，拥塞度就进一步定义为当前流量与链路的带宽比例，数值越大代表的拥塞程度越高。因而在分布式文件***内部会自动建立起一个相对公平的存储备份调度机制。

另外，代价矩阵的引入，除了数据备份调度机制以及云计算子任务加载机制外，也可以对其他调度机制起重要参考作用，例如故障恢复机制、副本一致性维护机制等。

图2为本发明数据备份方法另一实施例的示意图。优选的，该实施例方法步骤可由作为写入数据的主用节点执行。

步骤201，当数据节点作为写入数据的主用节点时，向主节点发送数据备份请求，以便使主节点根据数据备份请求从代价服务器获取与所述数据节点相关联的代价矩阵信息，利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本，选择备份成本最小的候选节点作为目标节点；其中与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本。

步骤202，接收主节点发送的目标节点信息。

步骤203，将数据备份到目标节点上。

基于本发明上述实施例提供的数据备份方法，通过引入代价矩阵，根据代价矩阵选择备份成本最低的节点进行数据备份，从而有效避免出现备份代价过高和节点负载不均的问题。

图3为本发明用于数据备份的主节点一个实施例的示意图。如图3所示，主节点包括：

第一接收单元301，用于接收数据节点发送的数据备份请求，当接收到数据节点发送的数据备份请求时，指示第一发送单元302向代价服务器发送查询请求，其中所述数据节点为写入数据的主用节点。

第一发送单元302，用于根据第一接收单元301的指示，向代价服务器发送查询请求，用于查询分布式***中与所述数据节点相关联的代价矩阵信息，其中与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本。

第二接收单元303，用于接收代价服务器发送的响应信息，其中响应信息中包括与所述数据节点相关联的代价矩阵信息。

计算单元304，用于利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本。

选择单元305，用于选择备份成本最小的候选节点作为目标节点。

第二发送单元306，用于将目标节点信息发送给所述数据节点，以便所述数据节点将数据备份到目标节点上。

基于本发明上述实施例提供的主节点，通过引入代价矩阵，根据代价矩阵选择备份成本最低的节点进行数据备份，从而有效避免出现备份代价过高和节点负载不均的问题。

优选的，计算单元304具体利用下列公式计算数据节点i和候选节点j之间的备份成本Cost(i,j)：

$\mathrm{Cost}(i,j)={\mathrm{\Σ}}_{l=1}^{k}W\left[l\right]\mathrm{CM}(i,j)\left[l\right].$

其中CM(i,j)[l]为所述数据节点i与候选节点j之间第l个维度的存储成本，W[l]为第l个维度的成本权重，K为维度总数。

优选的，选择单元305具体将满足argminCost(i,j)的候选节点j作为所述数据节点i的目标节点。

图4为本发明用于数据备份的主节点另一实施例的示意图。与图3所示实施例相比，在图4所示实施例中，控制单元还包括检测单元401。其中：

检测单元401，用于以预定的时间间隔检测分布式***中任意两个节点之间的网络状态。

第一发送单元302还用于根据所述网络状态向代价服务器发送更新请求，以更新代价矩阵信息。

优选的，检测单元具体以预定的时间间隔检测分布式***中任意两个节点之间的链路拥塞度。

图5为本发明用于数据备份的数据节点一个实施例的示意图。如图5所示，该数据节点包括：

第三发送单元501，用于当数据节点作为写入数据的主用节点时，向主节点发送数据备份请求，以便使主节点根据数据备份请求从代价服务器获取与所述数据节点相关联的代价矩阵信息，利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本，选择备份成本最小的候选节点作为目标节点；其中与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本。

第三接收单元502，用于接收主节点发送的目标节点信息。

备份单元503，用于将数据备份到目标节点上。

基于本发明上述实施例提供的数据节点，通过引入代价矩阵，根据代价矩阵选择备份成本最低的节点进行数据备份，从而有效避免出现备份代价过高和节点负载不均的问题。

图6为本发明用于数据备份的分布式文件***一个实施例的示意图。其中在图6所述实施例中，分布式文件***包括主节点601和数据节点602。其中：

主节点为附图3-4中任一实施例涉及的主节点，数据节点为附图5中任一实施例涉及的数据节点。

为了简明起见，在图6中仅给出了一个数据节点。然而本领域技术人员可以了解的是，该***中可具有多个数据节点。图7为本发明分布式文件***的网络示意图。

本发明提出的技术方案相对于现有的分布式文件***数据备份方案，具备以下优点：

1.完美解决了上述的备份代价过高，节点负载不均以及执行云计算任务时副本访问代价过高三个主要问题。

2.除了数据备份调度机制以及任务加载机制之外，代价矩阵的引入能够为分布式文件***的内部其他调度机制提供重要的参考作用。

3.本专利所提出的基于代价矩阵的分布式文件***数据备份方案，对分布式文件***的软硬件设备没有什么特殊的要求。用户只需要在分布式文件***中额外布置一台代价服务器即可实现所述的数据备份方案。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (13)

1.一种用于数据备份的方法，其特征在于，包括：

当接收到数据节点发送的数据备份请求时，向代价服务器发送查询请求，用于查询分布式***中与所述数据节点相关联的代价矩阵信息，其中所述数据节点为写入数据的主用节点，与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本；

接收代价服务器发送的响应信息，其中响应信息中包括与所述数据节点相关联的代价矩阵信息；

利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本；

选择备份成本最小的候选节点作为目标节点；

将目标节点信息发送给所述数据节点，以便所述数据节点将数据备份到目标节点上。

2.根据权利要求1所述的方法，其特征在于，

利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本的步骤包括：

数据节点i和候选节点j之间的备份成本Cost(i,j)为：

$\mathrm{Cost}(i,j)={\mathrm{\Σ}}_{l=1}^{k}W\left[l\right]\mathrm{CM}(i,j)\left[l\right];$

其中CM(i,j)[l]为所述数据节点i与候选节点j之间第l个维度的存储成本，W[l]为第l个维度的成本权重，K为维度总数。

3.根据权利要求2所述的方法，其特征在于，

选择备份成本最小的候选节点作为目标节点的步骤包括：

将满足argminCost(i,j)的候选节点j作为所述数据节点i的目标节点。

4.根据权利要求1-3中任一项所述的方法，其特征在于，

以预定的时间间隔检测分布式***中任意两个节点之间的网络状态；

根据所述网络状态向代价服务器发送更新请求，以更新代价矩阵信息。

5.根据权利要求4所述的方法，其特征在于，

以预定的时间间隔检测分布式***中任意两个节点之间的网络状态的步骤包括：

以预定的时间间隔检测分布式***中任意两个节点之间的链路拥塞度。

6.一种用于数据备份的方法，其特征在于，包括：

当数据节点作为写入数据的主用节点时，向主节点发送数据备份请求，以便使主节点根据数据备份请求从代价服务器获取与所述数据节点相关联的代价矩阵信息，利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本，选择备份成本最小的候选节点作为目标节点；其中与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本；

接收主节点发送的目标节点信息；

将数据备份到目标节点上。

7.一种用于数据备份的主节点，其特征在于，包括：

第一接收单元，用于接收数据节点发送的数据备份请求，当接收到数据节点发送的数据备份请求时，指示第一发送单元向代价服务器发送查询请求，其中所述数据节点为写入数据的主用节点；

第一发送单元，用于根据第一接收单元的指示，向代价服务器发送查询请求，用于查询分布式***中与所述数据节点相关联的代价矩阵信息，其中与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本；

第二接收单元，用于接收代价服务器发送的响应信息，其中响应信息中包括与所述数据节点相关联的代价矩阵信息；

计算单元，用于利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本；

选择单元，用于选择备份成本最小的候选节点作为目标节点；

第二发送单元，用于将目标节点信息发送给所述数据节点，以便所述数据节点将数据备份到目标节点上。

8.根据权利要求7所述的主节点，其特征在于，

计算单元具体利用下列公式计算数据节点i和候选节点j之间的备份成本Cost(i,j)：

$\mathrm{Cost}(i,j)={\mathrm{\Σ}}_{l=1}^{k}W\left[l\right]\mathrm{CM}(i,j)\left[l\right];$

其中CM(i,j)[l]为所述数据节点i与候选节点j之间第l个维度的存储成本，W[l]为第l个维度的成本权重，K为维度总数。

9.根据权利要求8所述的主节点，其特征在于，

选择单元具体将满足argminCost(i,j)的候选节点j作为所述数据节点i的目标节点。

10.根据权利要求7-9中任一项所述的主节点，其特征在于，控制单元还包括检测单元，其中：

检测单元，用于以预定的时间间隔检测分布式***中任意两个节点之间的网络状态；

第一发送单元还用于根据所述网络状态向代价服务器发送更新请求，以更新代价矩阵信息。

11.根据权利要求10所述的主节点，其特征在于，

检测单元具体以预定的时间间隔检测分布式***中任意两个节点之间的链路拥塞度。

12.一种用于数据备份的数据节点，其特征在于，包括：

第三发送单元，用于当数据节点作为写入数据的主用节点时，向主节点发送数据备份请求，以便使主节点根据数据备份请求从代价服务器获取与所述数据节点相关联的代价矩阵信息，利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本，选择备份成本最小的候选节点作为目标节点；其中与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式***中其它任一候选节点之间的存储成本；

第三接收单元，用于接收主节点发送的目标节点信息；

备份单元，用于将数据备份到目标节点上。

13.一种用于数据备份的分布式文件***，其特征在于，包括：主节点和数据节点，其中：

主节点，为权利要求7-11中任一项涉及的主节点；

数据节点，为权利要求12中涉及的数据节点。