CN101902498A - 一种基于网络技术的存储云备份方法 - Google Patents

Abstract

本发明公开了一种基于网络技术的存储云备份方法，其包括步骤：将企业内部网络中各计算机节点上的闲置存储空间构建私有云；备份发起节点向目标节点发起备份请求；备份发起节点根据数据重要性等级，对数据分级存储，将最高等级数据备份在公有云，将最高等级数据之外的其他数据备份在私有云。解决了企业购置存储设备代价过高、企业外接网络带宽不足影响数据备份和恢复效率的技术问题；使中小企业在有限的网络带宽的情况下，使用最少的云存储空间来达到企业数据的存储备份和异地容灾的目的。

Description

一种基于网络技术的存储云备份方法 

技术领域

本发明涉及一种计算机数据存储备份方法，特别涉及一种基于网络技术的存储云备份方法。 

背景技术

现代企业需要存储和处理的信息量越来越庞大，信息处理的需求也越来越复杂，应大量数据的采集和处理的需求，很多企业建立了自己的网络存储***(例如NAS、SAN、IP SAN等)，也有些企业购买了各种各样的数据备份***(例如NetBackup、TSM、CommVault等)。然而，要在所有企业和单位中全面推广数据备份仍然面临着许多挑战。最大的挑战就是数据备份的“代价”过高。传统数据备份方案都是在企业的网络范围内通过专用的软硬件设备来实现。要实现数据快速和安全的备份存储，企业常常要建设光纤网络，构建SAN存储区域网等。而要实现异地容灾功能，则需要花更大的代价来租用或改造光纤网络，并构建数据中心作为异地存储中心。除了庞大的硬件开支以外，针对不同的业务数据保护，企业还需购买不同的软件(或软件模块)来实现数据容灾备份。大型企业要建立一套完整的异地容灾数据备份***，往往需要上千万元的投资。而中小型企业要购置一套小型的数据备份***，也动则耗资上百万。 

近几年，为解决企业拥有和维护昂贵的软硬件耗资过高的困境，基于互联网服务的云计算应运而生。作为互联网时代的新产物，云计算与传统的数据中心服务相比，具有低成本、高运算能力、服务方便等优势。云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术和分布式存储等方式，将互联网中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同提供数据存储和业务服务的一个体系结构。而云备份则是云存储应用的一个特殊分支，是以数据备份和灾难恢复为目的的云计算。 

目前许多厂商开始利用云存储的方式为用户提供相对廉价的在线存储备份服务，主要包括：Mozy在线备份、Norton Online Backup、腾讯网盘、中备华信、和E云备份等。然而，由于中小企业与互联网的连接带宽有限(绝大部分使用ADSL)，这些基于公有云存储的在线备份服务不仅无法满足用户大量数据的高效备份和恢复的需求，而且因为备份业务对网络带宽的竞争，常常影响公司正常业务。 

为克服“公有云”服务的缺陷和不足，国外大型企业已经开始通过建立企业内部“私有 云”的方式来为本企业提供优质“云”服务。然而，绝大多数中小企业根本无法承受通过购买新的IT设备来构建企业内部“私有云”的昂贵费用，要为中小企业提供高效经济的云备份服务，我们必须深入挖掘企业现有资源、开展技术创新。 

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于网络技术的存储云备份方法，解决了企业购置存储设备代价过高、企业外接网络带宽不足影响数据备份和恢复效率的技术问题；使中小企业在有限的网络带宽的情况下，使用最少的云存储空间来达到企业数据的存储备份和异地容灾的目的。 

本发明的目的通过下述技术方案实现：一种基于网络技术的存储云备份方法，包括以下步骤：本基于网络技术的存储云备份方法，包括以下步骤：S1、将企业内部网络中各计算机节点上的闲置存储空间构建私有云；S2、备份发起节点向目标节点发起备份请求；S3、备份发起节点根据数据重要性等级，对数据分级存储，将最高等级数据备份在公有云，将最高等级数据之外的其他数据备份在私有云。 

所述将闲置剩余空间构建私有云、备份发起节点发起备份请求的步骤，具体包括如下步骤： 

S11：对于网络中新增的任一个节点，分配一个节点ID值作为该节点的标志符； 

S12：当备份发起节点发起备份请求时，计算需要备份文件的总量大小； 

S13：寻找最近的n个可用节点作为目标节点，并获取该n个可用节点的实际可用存储空间，实际可用存储空间＝闲置剩余空间-阀值； 

S14：根据各可用节点的实际可用存储空间，将备份文件分成n个大小不一的数据块，并行传输至相应的n个可用节点。 

优选地，所述步骤S14后还执行以下步骤： 

S15：本地节点在备份的期间，监控本地节点剩余空间是否产生变化；如果当前剩余空间已经提前到达阀值，通知备份发起节点停止传输数据，并且搜索本地节点周围的其他可用节点，然后通知备份发起节点； 

S16：备份发起节点将备份数据，发送到新的目标节点； 

S17：所有目标节点在接收到备份数据开始，同步根据P2P协议算法，寻找a个副本节点，并将存储数据在该a个副本节点同步复制a份副本。 

所述数据分级存储的步骤具体如下： 

S21：将最高等级数据直接传输至公有云； 

S22：将最高等级数据之外的其他数据存储在私有云； 

S23：在步骤22的基础上，将最高等级数据之外且最低等级数据之外的其它数据，再存储 一份在私有云。 

所述步骤S22-S23具体如下： 

S31：发起备份时，备份发起节点监控当前的网络状态； 

S32：根据用户对数据重要性的设定，查询当前备份数据的等级，对于最高等级数据，备份到公有云层中；对于最低等级的数据，直接存储在私有云中； 

S33：将数据备份至各个可用节点；每个可用节点实时监控当前网络状态，再根据本节点备份数据的等级，异步将数据备份到公有云层中。 

本发明相对于现有技术具有如下的优点及效果： 

1、通过利用企业内部闲置空间构建私有存储云(简称私有云)和公有存储云(简称公有云)，并将两者有机的结合起来，节省了企业的存储空间，解决了企业数据存储空间受限的问题，避免或减少了企业购置专用存储设备的费用；另外，还有效的解决了闲置存储空间的利用、网络传输的节余以及存储过程中的性能问题 

2、通过对数据进行分级处理的方式，将非关键数据存储在私有云层，关键数据存储在公有云层，然后将私有云层和公有云层结合起来，作为统一的数据存储层；从而避免了数据备份对外接网络带宽的过分占有，到达数据的快速存储备份，大大节省了企业对外接网络带宽的需求。 

3、为避免备份数据流量影响企业正常网络应用，将需要备份到外部公有云的数据首先缓存在内部私有云中，并在网络空闲的时候，自动将数据转移到公有云中，实现异步异地容灾。充分利用了企业闲置的存储空间，可以达到节能减排、绿色环保的效果。 

附图说明

图1是本发明的总体流程图； 

图2是将企业内部闲置存储空间构建私有云、的示意图； 

图3是本发明私有云和公有云结合的网络架构示意图； 

图4是将分级备份数据的流程图。 

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。 

实施例 

本发明基于网络技术的存储云备份方法，其总体流程如图1所示，包括以下步骤： 

S1、将企业内部网络中各计算机节点上的闲置剩余空间构建成私有云； 

S2、备份发起节点向目标节点发起备份请求； 

S3、备份发起节点根据数据重要性等级，对数据分级存储，将最高等级数据备份在公有云，将最高等级数据之外的其他数据备份在私有云。 

其中步骤1是利用P2P等相关技术，将企业内部网络中各计算机节点上的闲置剩余空间构成私有云。绝大多数企业内部的计算机都存在很大的闲置剩余空间，很多计算机都有将近50％的存储空间处于闲置状态。按一个中型企业100台计算机(可以包括桌面机和服务器)计算，平均每台机器有50GB的闲置存储空间，那么整个企业就有5TB的存储空间没有利用起来。本发明在实施中，将在企业内部的各计算机上安装一个客户端，即节点，每个节点初始默认本机器闲置剩余空间的上限阀值为20％，即当本机的闲置剩余空间低于总存储空间的20％时，本节点将不会被作为备份的存储节点。用户也可以根据本机的具体情况，调节此阀值。 

利用内部网内闲置剩余空间构建私有云层，是本发明的一个特点。由于内部闲置剩余空间是分散在内部的各台设备上(包括桌面电脑、服务器和专用存储设备，比如NAS、磁盘阵列等)，因此，如何将分散的资源充分利用，是本发明的一个实施重点。在此，本发明首先使用P2P技术实现私有云的构建。P2P存储***，也即对等存储***，是指存储节点以一种功能对等的方式组成的一个存储网络。这种结构与传统的客户/服务器的集中控制模式不同，它可以是完全由服务器节点以对等方式组成，又可以是完全由用户桌面机组成，也可以是服务器与桌面机共同以对等的方式组成的存储***。由于采用对等互联的技术，P2P存储***相比传统的存储***有如下优点：不依赖中央控制，***自然具有高扩展性，且不存在单点性能瓶颈问题；各个节点功能对等，使得整个***在缺失任意点后仍能正常工作，也即有高容错性。高扩展性和高容错性进而使得利用廉价机群搭建大规模高性能存储服务成为可能；由于没有也没法进行中央控制，P2P存储***能够极大减少存储***总的拥有开销(TCO，Totoal Cost of Ownership)；由桌面机组成的P2P存储***，每个节点将可以利用互联网的边界带宽资源存储数据，极大地提高传输速度。 

如图2所示，本发明将闲置剩余空间构建私有云、备份发起节点发起备份请求，具体包括如下步骤： 

S11：对于网络中新增的任一个节点，根据P2P协议算法，在160bit的Key空间分配一个64bit的节点ID值作为该节点的标志符。<Key，Value>对的数据就存放在ID值与Key值最接近的节点上。 

S12：当备份发起节点发起备份请求时，计算需要备份文件的总量大小。 

S13：根据P2P协议算法，寻找最近的n个可用节点作为目标节点，并获取该n个可用节点的实际可用存储空间，实际可用存储空间＝闲置剩余空间-阀值。每个节点会及时监控本地剩余空间的状态，用户也可以根据具体的需要手动调节阀值。 

S14：根据各可用节点的实际可用存储空间，将备份文件分成n个大小不一的数据块，并 行传输至相应的n个可用节点。 

S15：由于各个节点可能处于活动状态，其剩余空间的状态处于改变的过程中；因此，本地节点可以在备份的期间，监控本地节点剩余空间是否产生变化，并将监控结果及时反馈给备份发起节点。如果当前剩余空间已经提前到达阀值，可以通知备份发起节点停止传输数据，并且搜索本地节点周围的其他可用节点，并通知备份发起节点。 

S16：备份发起节点将备份数据，发送到新的目标节点。 

S17：所有目标节点在接收到备份数据开始，同步根据P2P协议算法，寻找a个副本节点。并将存储数据在该a个副本节点同步复制a份副本。 

步骤S15-S17进一步加强了本发明数据传输与备份的可靠性。 

在每个副本节点都产生一个节点文件，用于记录和保存其相邻节点的信息；然后，将传输日志信息汇报给备份发起节点；由备份发起节点将全部传输日志记录单独复制一份汇报到公有云服务中心数据库中。至此，在内部节点构建好了私有云层。从而利用闲置剩余空间，节省存储设备的投入。 

构建好私有云以后，本发明将私有云和公有云两级存储结合起来，构建基于SaaS和P2P模型的企业云备份服务***，其网络拓扑结构如图3所示，包括公有云和若干私有云，其中公有云包括依次连接的Web服务器组、存储服务器组、若干存储网络，每一私有云均与Web服务器组连接。客户端节点需要存储到公有云中的数据，根据数据的关键性，可以由备份发起节点直接传输到公有云，也可以由私有云内部的其他节点(或者多个节点)异步的多点传输到公有云存储中心。而公有云存储中心可以在不同区域布置多个Web服务器组和多个存储服务器组，根据动态负载均衡算法的调度，将数据备份到最合适的存储设备上。如图1所示，本发明的数据分级存储，具体包括如下步骤： 

S21：将最高等级数据(即最关键数据)直接传输至公有云； 

S22：将最高等级数据之外的其他数据存储在私有云； 

S23：在步骤22的基础上，将最高等级数据之外且最低等级数据之外的其它数据，再存储一份在私有云。 

本发明还利用异步多级备份的方式来保证备份数据流不影响企业正常工作所需要的网络带宽和其他***资源，具体如下：首先，根据内部私有云中可用连接节点的数量，将备份数据集分割成多个数据块，传输到私有云层的多个节点中，并根据数据的等级分类和各自节点的资源繁忙情况，将响应数据异步传输到公有云中。利用异步多级备份的方式，不仅可以减少非关键备份数据对网络带宽的占用，而且可以避免关键数据在网络繁忙时上传对企业正常业务的影响。通过在网络内部每个计算机节点(客户端)上都安装守护进程，该进程在后台运行，探测当前网络情况。当数据提交备份的时候，根据当前网络资源的可用情况，以及数据的重要性，决定数据是否及时上传到公有云存储中心，对于最高等级的数据，数据将及时上传，并同时查询私有云中可用的邻居节点做为副本。对于其他数据，根据其重要要性和网络使用情况，先在私有云层的内部节点做缓存，然后在网络资源可用的情况下，再异步上传数据。将备份到公有云的数据首先缓存在内部私有云的流程(即步骤S22-S23)，具体如下：

S31：发起备份时，备份发起节点监控当前的网络状态； 

S32：根据用户对数据重要性的设定，查询当前备份数据的等级，对于最高等级数据，优先备份到公有云层中；对于最低等级的数据，直接存储在私有云中； 

S33：结合构建私有云的过程，将数据备份至内部各个可用节点；每个可用节点实时监控当前网络状态，再根据本节点备份数据的等级，异步将数据备份到公有云层中。 

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。 

Claims (5)

1.一种基于网络技术的存储云备份方法，其特征在于包括以下步骤：

S1、将企业内部网络中各计算机节点上的闲置存储空间构建私有云；

S2、备份发起节点向目标节点发起备份请求；

S3、备份发起节点根据数据重要性等级，对数据分级存储，将最高等级数据备份在公有云，将最高等级数据之外的其他数据备份在私有云。

2.根据权利要求1所述的基于网络技术的存储云备份方法，其特征在于，所述将闲置剩余空间构建私有云、备份发起节点发起备份请求的步骤，具体包括如下步骤：

S11：对于网络中新增的任一个节点，分配一个节点ID值作为该节点的标志符；

S12：当备份发起节点发起备份请求时，计算需要备份文件的总量大小；

S13：寻找最近的n个可用节点作为目标节点，并获取该n个可用节点的实际可用存储空间，实际可用存储空间＝闲置剩余空间-阀值；

S14：根据各可用节点的实际可用存储空间，将备份文件分成n个大小不一的数据块，并行传输至相应的n个可用节点。

3.根据权利要求2所述的基于网络技术的存储云备份方法，其特征在于，所述步骤S14后还执行以下步骤：

S15：本地节点在备份的期间，监控本地节点剩余空间是否产生变化；如果当前剩余空间已经提前到达阀值，通知备份发起节点停止传输数据，并且搜索本地节点周围的其他可用节点，然后通知备份发起节点；

S16：备份发起节点将备份数据，发送到新的目标节点；

S17：所有目标节点在接收到备份数据开始，同步根据P2P协议算法，寻找a个副本节点，并将存储数据在该a个副本节点同步复制a份副本。

4.根据权利要求2所述的基于网络技术的存储云备份方法，其特征在于，所述数据分级存储的步骤具体如下：

S21：将最高等级数据直接传输至公有云；

S22：将最高等级数据之外的其他数据存储在私有云；

S23：在步骤22的基础上，将最高等级数据之外且最低等级数据之外的其它数据，再存储一份在私有云。

5.根据权利要求4所述的基于网络技术的存储云备份方法，其特征在于，所述步骤S22-S23具体如下：

S31：发起备份时，备份发起节点监控当前的网络状态；

S32：根据用户对数据重要性的设定，查询当前备份数据的等级，对于最高等级数据，备份到公有云层中；对于最低等级的数据，直接存储在私有云中；

S33：将数据备份至各个可用节点；每个可用节点实时监控当前网络状态，再根据本节点备份数据的等级，异步将数据备份到公有云层中。

Images