CN104572344B - 一种多云间数据备份的方法和*** - Google Patents

Abstract

本发明公开了一种多云间数据备份的方法：云内的主节点接收来自用户的数据存储请求，从云内的各数据节点中选出一个数据节点，通知给用户；选出的数据节点接收来自用户的待存储数据，并划分为若干个数据块后进行存储；当每次满足扫描条件时，主节点扫描云内的各数据块，当发现需要备份的数据块、且确定存在符合条件的目的云时，通过该数据块所在的数据节点将该数据块备份到目的云中。本发明同时公开了一种云***。应用本发明所述方案，既能够保证数据的安全性和完整性，又能够降低人力成本和***维护成本等。

Description

一种多云间数据备份的方法和***

技术领域

本发明涉及数据备份技术，特别涉及一种多云间数据备份的方法和***。

背景技术

现有技术中，为了保证数据的安全性和完整性，通常会在同一云内对该云内存储的数据进行备份，但是，当云出现不可预知的错误时，云内数据会完全丢失，相应地，备份也就失去了作用。

为此，现有技术中又提出，可利用云外物理介质来对云内数据进行备份，但是，这种方式需要人工进行干预，甚至需要终止云服务，从而增大了人力成本和***维护成本。

发明内容

有鉴于此，本发明提供了一种多云间数据备份的方法和***，既能够保证数据的安全性和完整性，又能够降低人力成本和***维护成本。

为了达到上述目的，本发明的技术方案是这样实现的：

一种多云间数据备份的方法，包括：

云内的主节点接收来自用户的数据存储请求，从云内的各数据节点中选出一个数据节点，通知给用户；

所述选出的数据节点接收来自用户的待存储数据，并划分为若干个数据块后进行存储；

当每次满足扫描条件时，所述主节点扫描云内的各数据块，当发现需要备份的数据块、且确定存在符合条件的目的云时，通过该数据块所在的数据节点将该数据块备份到目的云中。

一种云***，包括：主节点和数据节点；

所述主节点，用于接收来自用户的数据存储请求，并从云内的各数据节点中选出一个数据节点，通知给用户；

所述数据节点，用于接收来自用户的待存储数据，并划分为若干个数据块后进行存储；

所述主节点进一步用于，当每次满足扫描条件时，扫描云内的各数据块，当发现需要备份的数据块、且确定存在符合条件的目的云时，通过该数据块所在的数据节点将该数据块备份到目的云中。

可见，采用本发明所述方案，针对每个云，可分别将其中的数据备份到其它云中，从而避免了在用一云内进行备份，当云出现不可预知的错误时，云内数据完全丢失的情况发生，进而保证了数据的安全性和完整性；而且，备份过程可自动完成，无需人工进行干预，且无需终止云服务，从而降低了人力成本和***维护成本。

附图说明

图1为本发明多云间数据备份的方法实施例的流程图。

图2为本发明云***实施例的组成结构示意图。

具体实施方式

针对现有技术中存在的问题，本发明中提出一种多云间数据备份的方案，既能够保证数据的安全性和完整性，又能够降低人力成本和***维护成本。

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步的详细说明。

图1为本发明多云间数据备份的方法实施例的流程图。如图1所示，包括：

步骤11：云内的主节点接收来自用户的数据存储请求，并从云内的各数据节点中选出一个数据节点，通知给用户；选出的数据节点接收来自用户的待存储数据，并划分为若干个数据块后进行存储。

步骤12：当每次满足扫描条件时，主节点扫描云内的各数据块，当发现需要备份的数据块、且确定存在符合条件的目的云时，通过该数据块所在的数据节点将该数据块备份到目的云中。

较佳地，主节点可以周期性地扫描云内的各数据块，相应地，每次满足扫描条件即指每经过预定时长，所述预定时长的具体取值可根据实际需要而定；当然，也可以采用本领域技术人员常用的其它触发方式，来触发主节点对云内的各数据块进行扫描，具体方式不限。

在实际应用中，在云创建完成后，云内的各节点可通过竞争机制确定出一个主节点，主节点同时作为数据节点，主节点以外的其它节点均仅作为数据节点；当主节点出现故障或网络发生异常时，会自动触发竞争机制，重新确定出一个主节点。主节点为云内部的资源调度者以及数据管理者，数据节点为云内部的数据存储者。

另外，在云创建完成后，还需要配置云的基本信息，配置信息通常包括以下A～D。

A、云入口IP

云入口IP为云入口动态虚拟IP，具有唯一性。

B、云名称

云名称用来唯一标识一个云，其格式可与windows或linux***中文件绝对路径类似，如cloud/cloud1。

云名称具有唯一性，其作用除了唯一标识一个云之外，还可作为数据备份时选择目的云的依据。

一个云中的数据能不能备份，取决于有没有另外一个或多个云的云名称与该云的云名称的上级父目录一致，如果有，则能备份，否则，不能备份。

比如，共有三个云，云名称分别为cloud/cloudA，cloud/cloudA/cloudB，cloud/cloudA/cloudC；cloud/cloudA中的数据不能备份，因为没有一个云的云名称是cloud/cloud*，而cloud/cloudA/cloudB和cloud/cloudA/cloudC中的数据则可以相互备份，因为它们有共同的上级父目录cloud/cloudA，在实际应用中，可以根据云地点等，选择性的修改云名称，使之关联备份。

C、数据存储目录

该目录用来存储用户的数据，根据实际需要，可以为一个，也可以为多个，并支持动态扩展。

D、数据备份份数M

M为正整数，比如可为1，即表示每个数据块需要备份1份，如果为3，则表示每个数据块需要备份3份；当对数据的安全性要求较高时，则可将M的取值设置得较大。

竞争出的主节点会存储所在云的配置信息，并将该配置信息发送给云内的各数据节点，另外，还会将该配置信息中的云入口IP和云名称广播给所在云以外的其它云，相应地，也会接收到其它云所广播的自身的云入口IP和云名称，并可以列表的形式进行存储。

基于上述介绍，以下分别对数据存储以及数据备份过程进行详细说明。

一）数据存储

用户在向云内写入数据，即进行数据存储之前，需要先向云内的主节点请求一个数据节点进行数据写入；相应地，主节点接收到用户的数据存储请求后，可从云内的各数据节点中选出一个数据节点，并将该数据节点的物理IP地址等通知给用户；如何进行数据节点选择可根据实际需要而定，比如，可按照负载均衡的原理进行选择。

用户可直接将待存储数据写入到选出的数据节点中，相应地，选出的数据节点接收到来自用户的待存储数据后，可将其划分为若干个数据块，并按照配置信息中的数据存储目录，将划分出的各数据块进行存储。

通常来说，各数据块的大小是固定的，如均为20M。特殊地，如果待存储数据的大小为75M，那么，在划分为四个数据块之后，其中三个数据块的大小均为20M，而另外一个数据块的大小则只有15M，那么，该15M大小的数据块也会作为一个单独的数据块存在，不会补入其它用户的数据等。

另外，数据节点还需要将划分出的各数据块的数据块信息上报给主节点进行存储，通知主节点数据写入完成；所述数据块信息可包括：所在的数据节点、已备份份数N，N的初始取值为0（由于此时还未进行备份），当然，根据实际需要，还可进一步包括其它信息，如：对应的用户等。

二）数据备份

数据备份和数据存储是异步进行的，云内的主节点可周期性地扫描云内的各数据块，所述周期的具体时长可根据实际需要而定，如果发现需要备份的数据块、且确定存在符合条件的目的云，则可通过该数据块所在的数据节点将该数据块备份到目的云中。

具体来说，针对任一数据块，主节点可确定其对应的数据块信息中的已备份份数N是否小于配置信息中的数据备份份数M，如果是，则确定该数据块为需要进行备份的数据块，否则，确定该数据块为不需要再进行备份的数据块；之后，主节点可根据所在云以及其它云的云名称确定是否存在符合条件的目的云，即确定是否存在与所在云的云名称的上级父目录一致的云，如果是，且符合条件的目的云的个数小于或等于M-N，则可将各符合条件的目的云的云入口IP发送给该数据块所在的数据节点，并向该数据块所在的数据节点发出备份指令，如果符合条件的目的云的个数大于M-N，则可从符合条件的目的云中选出M-N个目的云，将选出的各目的云的云入口IP发送给该数据块所在的数据节点，并向该数据块所在的数据节点发出备份指令。当符合条件的目的云的个数大于M-N时，如何从中选出M-N个目的云可根据实际需要而定。

由于主节点中保存有云内的各数据块的数据块信息，其中包括所在的数据节点信息，因此，针对任一数据块，主节点可以方便地确定出该数据块所在的数据节点，并可向该数据块所在的数据节点发出备份指令，同时将各目的云的云入口IP发送给该数据块所在的数据节点。

该数据块所在的数据节点可针对接收到的每个云入口IP，分别进行如下处理：向该云入口IP对应的云请求一个数据节点进行数据备份，将该数据块发送给请求到的数据节点，并通知主节点备份完成，以便主节点将该数据块对应的N的取值加一；具体来说，即向该云入口IP对应的云内的主节点请求一个数据节点进行数据备份，并接收请求到的数据节点的物理IP地址等，根据该物理IP地址与请求到的数据节点建立连接（建立心跳），并利用所述连接将该数据块发送给请求到的数据节点。

以上过程可举例说明如下：

示例一

假设数据备份份数M为1，主节点进行某次扫描时，发现某个数据块对应的已备份份数N为0，且确定存在1个符合条件的目的云A，那么，则可将目的云A的云入口IP发送给该数据块所在的数据节点B，由数据节点B将该数据块备份到目的云A内的一个数据节点上；之后，将N的取值加1，等于M，针对该数据块的备份完成。

示例二

假设数据备份份数M为2，主节点进行某次扫描时，发现某个数据块对应的已备份份数N为1，且确定存在2个符合条件的目的云，分别为目的云A和目的云B，那么，则可从这2个目的云中选出1个目的云，假设为目的云A，并将目的云A的云入口IP发送给该数据块所在的数据节点C，由数据节点C将该数据块备份到目的云A内的一个数据节点上；之后，将N的取值加1，等于M，针对该数据块的备份完成。

示例三

假设数据备份份数M为3，主节点进行某次扫描时，发现某个数据块对应的已备份份数N为1，且确定存在1个符合条件的目的云A，那么，则可将目的云A的云入口IP发送给该数据块所在的数据节点B，由数据节点B将该数据块备份到目的云A内的一个数据节点上；之后，将N的取值加1；当主节点下一次进行扫描时，发现该数据块对应的N为2，且确定存在1个符合条件的目的云C，那么，则可将目的云C的云入口IP发送给数据节点B，由数据节点B将该数据块备份到目的云C内的一个数据节点上；之后，将N的取值再加1，等于M，针对该数据块的备份完成。

在实际应用中，针对任一数据块，在将该数据块发送给请求到的数据节点进行备份的同时，还需要将该数据块的来源信息发送给请求到的数据节点，所述来源信息可包括：所在云（备份前所在云）的云名称和云入口IP等；相应地，请求到的数据节点将该数据块存储到自身之后，还需要将该数据块的数据块信息和来源信息上报给所在云内的主节点进行存储，即对于所备份的其它云的数据块，会利用来源信息来为其加注特殊标签，以便进行后续的数据还原。

当某个云出现不可预知的错误时，云内数据会完全丢失，当故障恢复时，则需要将之前备份到其它云上的数据还原回来。

三）数据还原

当任一云（故障恢复）内的主节点接收到管理员发出的还原指令时，可向所在云以外的其它云广播还原请求；其它云内的主节点接收到所广播的还原请求后，可根据来源信息确定自身所在云中是否存储有发送还原请求的云所备份的数据块，如果是，则可进一步确定所备份的数据块所在的数据节点，将发送还原请求的云的云入口IP发送给所备份的数据块所在的数据节点，并向所备份的数据块所在的数据节点发出还原指令；所备份的数据块所在的数据节点向接收到的云入口IP对应的云请求一个数据节点进行数据还原，并将所备份的数据块发送给请求到的数据节点。

举例说明：

云A内的主节点接收到管理员发出的还原指令，向云A以外的其它云广播还原请求，其中可携带有云A的云名称和云入口IP等；

云B内的主节点接收到所广播的还原请求后，确定云B中的数据节点C中存储有云A备份到云B中的数据块，则向数据节点C发出还原指令，并将云A的云入口IP发送给数据节点C；

数据节点C根据云A的云入口IP向云A内的主节点请求一个数据节点进行数据还原，假设请求到的数据节点为云A中的数据节点D；数据节点C与数据节点D建立连接，并将云A备份到云B中的数据块发送给数据节点D，即还原至数据节点D中。

基于上述介绍，图2为本发明云***实施例的组成结构示意图。如图2所示，包括：主节点和数据节点；主节点的个数通常为一个，数据节点的个数通常为多个，另外，主节点通常兼任数据节点。

主节点，用于接收来自用户的数据存储请求，并从云内的各数据节点中选出一个数据节点，通知给用户；

数据节点，用于接收来自用户的待存储数据，并划分为若干个数据块后进行存储；

主节点进一步用于，当每次满足扫描条件时，扫描云内的各数据块，当发现需要备份的数据块、且确定存在符合条件的目的云时，通过该数据块所在的数据节点将该数据块备份到目的云中。

其中，

主节点还可进一步用于，在接收来自用户的数据存储请求之前，获取并存储所在云的配置信息，并将配置信息发送给云内的各数据节点；配置信息中包括：数据存储目录；

相应地，数据节点按照数据存储目录，将划分出的各数据块进行存储。

另外，

配置信息中还可进一步包括：云入口IP、云名称以及数据备份份数M，M为正整数；

主节点还可进一步用于，在获取并存储所在云的配置信息之后，将其中的云入口IP和云名称广播给所在云以外的其它云，并接收和存储其它云所广播的自身的云入口IP和云名称；

数据节点还可进一步用于，在将划分出的各数据块进行存储之后，将划分出的各数据块的数据块信息上报给主节点进行存储；数据块信息包括：所在的数据节点、已备份份数N，N的初始取值为0；

主节点针对任一数据块，确定该数据块对应的N是否小于M，如果是，则确定该数据块为需要备份的数据块，并根据所在云以及其它云的云名称确定是否存在符合条件的目的云；如果是，且符合条件的目的云的个数小于或等于M-N，则将各符合条件的目的云的云入口IP发送给该数据块所在的数据节点，并向该数据块所在的数据节点发出备份指令，如果符合条件的目的云的个数大于M-N，则从符合条件的目的云中选出M-N个目的云，将选出的各目的云的云入口IP发送给该数据块所在的数据节点，并向该数据块所在的数据节点发出备份指令；

相应地，数据节点还可进一步用于，当接收到备份指令时，针对接收到的每个云入口IP，分别进行如下处理：向该云入口IP对应的云请求一个数据节点进行数据备份，将该数据块发送给请求到的数据节点，并通知主节点备份完成，以便主节点将该数据块对应的N的取值加一。

较佳地，符合条件的目的云包括：与所在云的云名称的上级父目录一致的云。

再有，

数据节点还可进一步用于，接收所在云以外的其它云备份来的数据块，并接收所备份的数据块的来源信息，来源信息包括：所在云的云名称和云入口IP；将接收到的数据块存储到自身，并将该数据块的数据块信息和来源信息上报给所在云内的主节点进行存储。

主节点还可进一步用于，当接收到管理员发出的还原指令时，向所在云以外的其它云广播还原请求；

当接收到所在云以外的其它云广播的还原请求时，根据来源信息确定所在云中是否存储有发送还原请求的云所备份的数据块，如果是，则进一步确定所备份的数据块所在的数据节点，将发送还原请求的云的云入口IP发送给所备份的数据块所在的数据节点，并向所备份的数据块所在的数据节点发出还原指令；

相应地，数据节点还可进一步用于，当接收到还原指令时，向接收到的云入口IP对应的云请求一个数据节点进行数据还原，并将所备份的数据块发送给请求到的数据节点。

图2所示***实施例的具体工作流程请参照前述方法实施例中的相应说明，此处不再赘述。

总之，采用本发明所述方案，针对每个云，可分别将其中的数据备份到其它云中，从而避免了在用一云内进行备份，当云出现不可预知的错误时，云内数据完全丢失的情况发生，进而保证了数据的安全性和完整性；而且，后续当需要时，可以方便地将所备份的数据从其它云中还原回来；另外，所述备份和还原均可自动完成，无需人工进行干预，也无需终止云服务，从而降低了人力成本和***维护成本，且不会影响新数据的正常写入。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种多云间数据备份的方法，其特征在于，包括：

云内的主节点获取并存储所在云的配置信息，所述配置信息中包括：数据备份份数M，M为正整数；

所述主节点接收来自用户的数据存储请求，从云内的各数据节点中选出一个数据节点，通知给用户；

选出的所述一个数据节点接收来自用户的待存储数据，并划分为若干个数据块后进行存储，将划分出的各数据块的数据块信息上报给所述主节点进行存储；所述数据块信息包括：所在的数据节点、已备份份数N，N的初始取值为0；

当每次满足扫描条件时，所述主节点扫描云内的各数据块，针对任一数据块，所述主节点确定该数据块对应的N是否小于M，如果是，则确定该数据块为需要备份的数据块，并在确定存在符合条件的目的云时，通过该数据块所在的数据节点将该数据块备份到目的云中，并将该数据块对应的N的取值加一。

2.根据权利要求1所述的方法，其特征在于，

所述主节点接收来自用户的数据存储请求之前，进一步包括：云内的各节点通过竞争机制确定出一个主节点，所述主节点同时作为数据节点，所述主节点以外的其它节点均仅作为数据节点。

3.根据权利要求1或2所述的方法，其特征在于，所述配置信息中进一步包括：数据存储目录；

所述主节点获取并存储所在云的配置信息之后，进一步包括：所述主节点将所述配置信息发送给云内的各数据节点；

所述划分为若干个数据块后进行存储包括：按照所述数据存储目录，将划分出的各数据块进行存储。

4.根据权利要求1或2所述的方法，其特征在于，

所述配置信息中进一步包括：云入口IP和云名称；

所述主节点获取并存储所在云的配置信息之后，进一步包括：将其中的云入口IP和云名称广播给所在云以外的其它云，并接收和存储其它云所广播的自身的云入口IP和云名称；

所述在确定存在符合条件的目的云时，通过该数据块所在的数据节点将该数据块备份到目的云中包括：

根据所在云以及其它云的云名称确定是否存在符合条件的目的云；如果是，且符合条件的目的云的个数小于或等于M-N时，将各符合条件的目的云的云入口IP发送给该数据块所在的数据节点，并向该数据块所在的数据节点发出备份指令，在确定符合条件的目的云的个数大于M-N时，从符合条件的目的云中选出M-N个目的云，将选出的各目的云的云入口IP发送给该数据块所在的数据节点，并向该数据块所在的数据节点发出备份指令；

该数据块所在的数据节点针对接收到的每个云入口IP，分别进行如下处理：向该云入口IP对应的云请求一个数据节点进行数据备份，将该数据块发送给请求到的数据节点，并通知所述主节点备份完成，以便所述主节点将该数据块对应的N的取值加一。

5.根据权利要求4所述的方法，其特征在于，

所述根据所在云以及其它云的云名称确定是否存在符合条件的目的云包括：确定其它云中是否存在与所在云的云名称的上级父目录一致的云，如果是，则将该云确定为符合条件的目的云。

6.根据权利要求4所述的方法，其特征在于，

所述将该数据块发送给请求到的数据节点的同时，进一步包括：将该数据块的来源信息发送给请求到的数据节点，所述来源信息包括：所在云的云名称和云入口IP；

请求到的数据节点将该数据块存储到自身，并将该数据块的数据块信息和来源信息上报给所在云内的主节点进行存储。

7.根据权利要求6所述的方法，其特征在于，该方法进一步包括：

当任一云内的主节点接收到管理员发出的还原指令时，向所在云以外的其它云广播还原请求；

其它云内的主节点接收到还原请求后，根据来源信息确定自身所在云中是否存储有发送还原请求的云所备份的数据块，如果是，则进一步确定所备份的数据块所在的数据节点，将发送还原请求的云的云入口IP发送给所备份的数据块所在的数据节点，并向所备份的数据块所在的数据节点发出还原指令；

所备份的数据块所在的数据节点向接收到的云入口IP对应的云请求一个数据节点进行数据还原，并将所备份的数据块发送给请求到的数据节点。

8.一种云***，其特征在于，包括：主节点和数据节点；

所述主节点，用于获取并存储所在云的配置信息，所述配置信息中包括：数据备份份数M，M为正整数；接收来自用户的数据存储请求，并从云内的各数据节点中选出一个数据节点，通知给用户；

所述数据节点，用于接收来自用户的待存储数据，并划分为若干个数据块后进行存储；将划分出的各数据块的数据块信息上报给所述主节点进行存储；所述数据块信息包括：所在的数据节点、已备份份数N，N的初始取值为0；

所述主节点进一步用于，当每次满足扫描条件时，扫描云内的各数据块，针对任一数据块，所述主节点确定该数据块对应的N是否小于M，如果是，则确定该数据块为需要备份的数据块，并在确定存在符合条件的目的云时，通过该数据块所在的数据节点将该数据块备份到目的云中，并将该数据块对应的N的取值加一。

9.根据权利要求8所述的***，其特征在于，所述配置信息中进一步包括：数据存储目录；

所述主节点进一步用于，在获取并存储所在云的配置信息之后，将所述配置信息发送给云内的各数据节点；

所述数据节点按照所述数据存储目录，将划分出的各数据块进行存储。

10.根据权利要求8或9所述的***，其特征在于，

所述配置信息中进一步包括：云入口IP和云名称；

所述主节点进一步用于，在获取并存储所在云的配置信息之后，将其中的云入口IP和云名称广播给所在云以外的其它云，并接收和存储其它云所广播的自身的云入口IP和云名称；

所述主节点根据所在云以及其它云的云名称确定是否存在符合条件的目的云；如果是，且符合条件的目的云的个数小于或等于M-N，则将各符合条件的目的云的云入口IP发送给该数据块所在的数据节点，并向该数据块所在的数据节点发出备份指令，如果符合条件的目的云的个数大于M-N，则从符合条件的目的云中选出M-N个目的云，将选出的各目的云的云入口IP发送给该数据块所在的数据节点，并向该数据块所在的数据节点发出备份指令；

所述数据节点进一步用于，当接收到备份指令时，针对接收到的每个云入口IP，分别进行如下处理：向该云入口IP对应的云请求一个数据节点进行数据备份，将该数据块发送给请求到的数据节点，并通知所述主节点备份完成，以便所述主节点将该数据块对应的N的取值加一。

11.根据权利要求10所述的***，其特征在于，

所述符合条件的目的云包括：与所在云的云名称的上级父目录一致的云。

12.根据权利要求10所述的***，其特征在于，

所述数据节点进一步用于，接收所在云以外的其它云备份来的数据块，并接收所备份的数据块的来源信息，所述来源信息包括：所在云的云名称和云入口IP；将接收到的数据块存储到自身，并将该数据块的数据块信息和来源信息上报给所在云内的主节点进行存储。

13.根据权利要求12所述的***，其特征在于，

所述主节点进一步用于，当接收到管理员发出的还原指令时，向所在云以外的其它云广播还原请求；

当接收到所在云以外的其它云广播的还原请求时，根据来源信息确定所在云中是否存储有发送还原请求的云所备份的数据块，如果是，则进一步确定所备份的数据块所在的数据节点，将发送还原请求的云的云入口IP发送给所备份的数据块所在的数据节点，并向所备份的数据块所在的数据节点发出还原指令；

所述数据节点进一步用于，当接收到还原指令时，向接收到的云入口IP对应的云请求一个数据节点进行数据还原，并将所备份的数据块发送给请求到的数据节点。