CN104010042A - 一种云服务的重复数据删除的备份机制 - Google Patents

Abstract

本发明提供一种云服务的重复数据删除的备份机制，属于云存储服务数据备份领域，主要是将数据重删机制在云服务端进行，数据统一保存到云存储池中，客户个人文件夹中只放置文件指针。极大地缓解数据上传所占用的带宽压力，减轻云存储服务器进行数据重删的负载的同时，节约了存储的成本费用的开销。

Description

一种云服务的重复数据删除的备份机制

 

技术领域   

    本发明涉及云存储服务领域，具体涉及一种云服务的重复数据备份机制，可以极大地减轻云存储服务器的负载，缓解网络带宽压力，更大提高云存储磁盘的空间利用率及磁盘的使用寿命。

背景技术

云服务是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。云服务指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。

通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储***。

随着云服务的不断发展，越来越多的企业和个人将数据保存到云上。然而随着用户与数据的不断增加，数据的重复率越来越高，数据不断擦除与重写速度越来越快，造成了云存储资源利用率降低，磁盘寿命损耗严重，且极大地占用了网络带宽。部分云服务提供商在云存储***上使用了数据重删机制，但是随着数据量的不断增加，数据重删校验对云存储***的负载也变得越来越大。

发明内容

在调查中发现，重删技术可以有效的节约磁盘空间的占用率，通过对备份数据进行hash校验，此校验值与数据库中以往备份过的数据若匹配，则证明此数据内容已经备份过，此时确认该数据为重复数据，不需要再次备份只是记录该数据的存储位置的一个指针，当需要数据恢复时，此部分内容就能够成功恢复回来。这样可以大量节约因为重复数据造成的磁盘或磁带空间的浪费，有效的节约存储空间，从而降低硬件成本。

本发明提出一种云服务的重复数据删除的备份机制，主要是将数据重删机制在云服务端进行，数据统一保存到云存储池中，客户个人文件夹中只放置文件指针。

具体实现机制如下：

    1）云服务客户端软件具备数据校验功能，当软件接收到文件备份请求时，首先会进行文件校验，得出文件Hash码，然后将Hash码发送至云存储***；

    2）云存储***会在接收到客户端软件发送的Hash码后，在***已备份文件档案中查询文件是否已有备份。如果文件已有备份，则不再重复上传，仅将文件指针保存至云个人空间，并提示用户备份完成；

    3）如果文件没有备份过，则进行文件上传，将文件上传至资源池。等文件上传完成后，云存储***会对文件进行校验，验证文件完整性。如文件完整，则将包括文件Hash码、文件地址、文件大小等文件信息保存至已备份文件档案，并将文件指针保存至云个人空间，然后提示用户备份完成；如果文件不完整，则删除文件，进行文件上传。

通过步骤1）、2）实现数据在云服务客户端的数据校验，可以极大地缓解数据上传所占用的带宽压力，减轻云存储服务器进行数据重删的负载。

通过步骤3）数据保存至存储池，而不是直接保存至个人空间，可以有效保证数据的连续性，提高磁盘使用寿命。

进一步的，数据统一保存到云存储池中，客户个人文件夹中只放置文件指针，其特征在于数据仅存储到存储池，客户个人文件夹中仅放置文件指针。客户数据的下载是通过指针连接的文件；如果同一文件被多个客户备份时，客户的删除操作仅仅删除指向文件的指针。

该云服务端应具备数据校验功能，云服务端包括专用客户端软件、浏览器插件等。

数据校验功能包括但不限于哈希校验方式。

本发明的有益效果是：

    在一些客户的备份数据中，比如客户的邮件***备份，往往同一份邮件有几十个人需要备份，这就产生了大量的重复性数据，重复数据占用大量的存储空间，通过数据在云服务客户端的数据校验，可以极大地缓解数据上传所占用的带宽压力，减轻云存储服务器进行数据重删的负载的同时，节约了存储的成本费用的开销。

 通过将数据保存至存储池，而不是直接保存至个人空间，可以有效保证数据的连续性，提高磁盘使用寿命。

附图说明

附图1是本发明的数据备份流程图示图；

附图2是本发明的云服务数据备份模型。

具体实施方式

下面根据附图对本发明作进一步详细说明，具体实现机制如下：

如图1所示，

    步骤1：在云服务客户端上收集到客户需要备份的数据；

    步骤2：云服务客户端软件具备数据校验功能，当软件接收到文件备份请求时，首先会对文件进行校验，得出文件Hash码，然后将Hash码发送至云存储***；因hash码的数据量只有几个KB，所以不会占用太多云存储***到备份客户端之间的带宽；

    步骤3：云存储***会在接收到客户端软件发送的Hash码后，在***已备份文件档案中查询文件是否已有备份，此校验值与数据库中以往备份过的数据产生的hash值进行比对，若校验值匹配则证明此数据内容已经备份过，此时确认该数据为重复数据，不需要再次备份只是记录该数据的存储位置的一个指针，并提示用户备份成功。当需要数据恢复时，此部分内容就能够成功恢复回来。这样可以大量节约因为重复数据造成的磁盘或磁带空间的浪费，有效的节约存储空间，从而降低硬件成本。

如果文件没有备份过，则进行文件上传，将文件上传至资源池。等文件上传完成后，云存储***会对文件进行校验，验证文件完整性。如文件完整，则将包括文件Hash码、文件地址、文件大小等文件信息保存至已备份文件档案，并将文件指针保存至云个人空间，然后提示用户备份完成；如果文件不完整，则删除文件，进行文件上传。

通过步骤2）、3）实现数据在云服务客户端的数据校验，可以极大地缓解数据上传所占用的带宽压力，减轻云存储服务器进行数据重删的负载。

通过步骤3）数据保存至存储池，而不是直接保存至个人空间，可以有效保证数据的连续性，提高磁盘使用寿命。

Claims (6)

1.一种云服务的重复数据删除的备份机制，其特征在于将数据重删机制在云服务端进行，数据统一保存到云存储池中，客户个人文件夹中只放置文件指针。

2.根据权利要求1所述的备份机制，其特征在于

   具体实现机制如下：

   1）云服务客户端软件具备数据校验功能，当软件接收到文件备份请求时，首先会进行文件校验，得出文件Hash码，然后将Hash码发送至云存储***；

   2）云存储***会在接收到客户端软件发送的Hash码后，在***已备份文件档案中查询文件是否已有备份；如果文件已有备份，则不再重复上传，仅将文件指针保存至云个人空间，并提示用户备份完成；

   3）如果文件没有备份过，则进行文件上传，将文件上传至资源池；等文件上

传完成后，云存储***会对文件进行校验，验证文件完整性；如文件完整，则将包括文件Hash码、文件地址、文件大小等文件信息保存至已备份文件档案，并将文件指针保存至云个人空间，然后提示用户备份完成；如果文件不完整，则删除文件，进行文件上传。

3.根据权利要求1所述的备份机制，其特征在于通过步骤3）数据保存至存储池，而不是直接保存至个人空间。

4.根据权利要求1所述的备份机制，其特征在于云服务端应具备数据校验功能，云服务端包括专用客户端软件、浏览器插件等。

5.根据权利要求4所述的备份机制，其特征在于数据校验功能包括但不限于哈希校验方式。

6.根据权利要求2所述的备份机制，其特征在于客户数据的下载是通过指针连接的文件；如果同一文件被多个客户备份时，客户的删除操作仅仅删除指向文件的指针。