CN105487942A

CN105487942A - 一种基于重复数据删除的备份与远程复制方法

Info

Publication number: CN105487942A
Application number: CN201510856874.1A
Authority: CN
Inventors: 周丰
Original assignee: Shanghai Eisoo Information Technology Co Ltd
Current assignee: Shanghai Eisoo Information Technology Co Ltd
Priority date: 2015-11-30
Filing date: 2015-11-30
Publication date: 2016-04-13

Abstract

本发明涉及一种基于重复数据删除的备份与远程复制方法，包括以下步骤：A)利用源端块级重删技术做备份；B)直接利用备份后的数据和指纹，继续利用源端块级重删技术做远程复制，将数据复制到异地。与现有技术相比，本发明具有达到快速对本地的数据进行备份与远程复制，节省本地、异地存储空间、减少本地网络传输数据量、降低远程带宽需求以及加快备份与远程复制速度的效果，降低数据丢失的风险。

Description

一种基于重复数据删除的备份与远程复制方法

技术领域

本发明涉属于计算机数据保护技术领域，涉及数据备份、重复数据删除及远程复制技术，尤其是涉及一种基于重复数据删除的备份与远程复制方法。

背景技术

随着互联网的发展，数据爆发式增长，数据量越来越大，企业对数据的依赖也越来越强，没有了数据，许多企业的业务就无法进行。如何有效的保护数据，成为企业关注的重要议题。

对数据进行保护，最直接的办法就是本地备份，但是面对越来越大数据，备份时带宽的压力、备份时间、存储空间等问题，如何才能有效的解决？且本地备份，在天灾等不可抗力因素下，数据依然有丢失的风险，所以，将备份的数据复制到异地保存，能极大的降低数据丢失的风险。越来越多的大企业，总部都要求将各地分公司的备份数据复制到总部统一管理，这种情况下，存储空间、带宽限制、远程复制时间等问题就更加明显了，大量的备份数据，有限的带宽，对远程复制是一种挑战。

研究发现，应用***所保存的数据中高达60％是冗余的，因此，将重复数据删除技术应用到备份及远程复制，能大量的减少备份与远程复制的数据，解决备份与远程复制的存储空间问题、带宽问题及备份时间、远程复制时间等问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于重复数据删除的备份与远程复制方法，以达到快速对本地的数据进行备份与远程复制，节省本地、异地存储空间、减少本地网络传输数据量、降低远程带宽需求以及加快备份与远程复制速度的效果，降低数据丢失的风险。

本发明的目的可以通过以下技术方案来实现：

一种基于重复数据删除的备份与远程复制方法，其特征在于，包括以下步骤：

A)利用源端块级重删技术做备份；

B)直接利用备份后的数据和指纹，继续利用源端块级重删技术做远程复制，将数据复制到异地，达到快速备份与远程复制的目的。

所述的利用源端块级重删技术做备份具体为：

A1)读取要备份的数据；

A2)对读取的数据进行变长或者定长的分块；

A3)计算数据块的指纹；

A4)在本地缓存中查询是否存在此指纹信息，如果此指纹信息存在，此数据块为重复的数据，直接执行步骤A6)，如果此指纹信息不存在，继续到备份服务器上去查询，如果存在，将指纹信息保存到本地缓存后执行步骤A6)，如果不存在，此数据不是重复的数据，执行步骤A5)；

A5)将数据块和指纹一起发送到备份服务器，备份服务器将数据块的指纹信息记录到指纹库中，之后在本地将指纹信息保存到本地指纹缓存中，并执行步骤A6)；

A6)将数据块的索引信息发送到备份服务器，至此，一个数据块处理完成，继续按相同的方式处理其它数据块，以及还未读取的数据，直至所有要备份的数据处理完成。

对于定长切块重复率高的数据采用定长分块方式，对于变长分块重复率高的数据采用变长分块方式。

所述的利用源端块级重删技术做远程复制具体为：

B1)读取数据库及其指纹信息；

B2)在本地缓存中查询是否存在此指纹信息，如果此指纹信息存在，此数据块为重复的数据，直接执行步骤B4)，如果此指纹信息不存在，继续到备份服务器上去查询，如果存在，将指纹信息保存到本地缓存后执行步骤B4)，如果不存在，此数据不是重复的数据，执行步骤B3)；

B3)将数据块和指纹一起发送到备份服务器，备份服务器将数据块的指纹信息记录到指纹库中，之后在本地将指纹信息保存到本地指纹缓存中，并执行步骤B4)；

B4)将数据块的索引信息发送到备份服务器，至此，一个数据块处理完成，继续按相同的方式处理其它数据块，以及还未读取的数据，直至所有数据处理完成。

在备份的基础上，对数据进行远程复制，由于备份之后数据已经是数据块了，不用再进行数据分块，而指纹信息也已经保存在指纹库中，指纹也不需要再计算。

与现有技术相比，本发明巧妙的将重复数据删除技术、备份与远程复制结合起来，避免了在远程复制过程中的数据切块与指纹计算，减少了CPU资源消耗，网络资源消耗，大幅提升备份与远程复制的性能。

附图说明

图1为本发明源端块级重删的备份流程图；

图2为本发明源端块级重删的远程复制流程图；

图3为本发明实施方案部署图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

重复数据删除，简称重删，按数据处理的粒度，可分为文件级重删与块级重删，按分块的方法，可分为定长分块重删和变长分块重删，按照数据处理位置，可分为源端重删和目的端重删。对于备份与远程复制，适合源端重删，可以减少网络传输的数据量，节省带宽，从重删比来看，块级重删效果更好。

该发明是在源端块级重删的基础上，将备份与远程复制有效的结合起来，先利用源端块级重删技术做备份，之后直接利用备份后的数据和指纹，继续利用源端块级重删技术做远程复制，将数据复制到异地，达到快速备份与远程复制的目的。

为了更清楚的描述此发明，先解释下利用源端块级重删的备份，备份流程图见图1，步骤如下：

1)读取要备份的数据。

2)对读取的数据进行变长或者定长的分块，有些数据定长切块重复率高，有的数据变长分块重复率高，视具体情况选择定长或变长分块。

3)计算数据块的指纹，指纹及数据块的hash值。

4)在本地缓存中查询是否存在此指纹信息，如果此指纹信息存在，此数据块就是重复的数据，如果此指纹信息不存在，暂时还不能判断够否重复，需要继续到备份服务器上去查询，如果存在，此数据块是重复的数据，如果不存在，此数据不是重复的数据。

5)如果不重复，需要将数据块和指纹一起发送到备份服务器，备份服务器将数据块的指纹信息记录到指纹库中，之后在本地将指纹信息保存到本地指纹缓存中。

6)将数据块的索引信息发送到备份服务器，至此，一个数据块处理完成，继续按相同的方式处理其它数据块，以及还未读取的数据，直至所有要备份的数据处理完成。

在此备份的基础上，对数据进行远程复制，远程复制流程图见图2，由于备份之后数据已经是数据块了，所以不用再进行数据分块，而指纹信息也已经保存在指纹库中，指纹也不需要再计算，这样就大量的减少了备份服务器上计算资源的消耗，而后面的步骤和备份是一样，可以直接重用。

实施方案举例

A、B两地有数据需要备份，并且需要复制到C统一管理。实施方案部署图见图3：A、B两地在局域网内分别部署一台备份服务器，将应用服务器的数据利用源端块级重删备份到备份服务器上，在C地再部署一台备份服务器，将A、B备份服务器上的备份数据再次利用源端块级重删，去掉A、B两地的重复数据后，远程复制到C地的备份服务器上。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于重复数据删除的备份与远程复制方法，其特征在于，包括以下步骤：

A)利用源端块级重删技术做备份；

2.根据权利要求1所述的备份与远程复制方法，其特征在于，所述的利用源端块级重删技术做备份具体为：

A1)读取要备份的数据；

A2)对读取的数据进行变长或者定长的分块；

A3)计算数据块的指纹；

3.根据权利要求2所述的备份与远程复制方法，其特征在于，对于定长切块重复率高的数据采用定长分块方式，对于变长分块重复率高的数据采用变长分块方式。

4.根据权利要求1所述的备份与远程复制方法，其特征在于，所述的利用源端块级重删技术做远程复制具体为：

B1)读取数据库及其指纹信息；

5.根据权利要求1或4所述的备份与远程复制方法，其特征在于，在备份的基础上，对数据进行远程复制，由于备份之后数据已经是数据块了，不用再进行数据分块，而指纹信息也已经保存在指纹库中，指纹也不需要再计算。