CN102456059A

CN102456059A - 重复数据删除的处理***

Info

Publication number: CN102456059A
Application number: CN2010105304132A
Authority: CN
Inventors: 朱明胜; 陈志丰
Original assignee: Inventec Corp
Current assignee: Inventec Corp
Priority date: 2010-10-21
Filing date: 2010-10-21
Publication date: 2012-05-16

Abstract

一种重复数据删除的处理***，处理***包括：客户端与服务端。将每一数据区块的特征值与客户端所储存的特征值进行比对，若客户端中已存在相同的特征值，删除进行比对的特征值相应的数据区块；服务端数据管理模块通过网络连接于客户端数据管理模块。若特征值不存在于服务端中则向客户端获取相应的数据区块，将新的数据区块与特征值储存于服务端中；文件管理模块将数据区块位在服务端的储存地址记录至索引文件中，如此一来，不需由服务端完全执行各客户端的重复数据删除的处理，进而降低频宽的占用与提高服务端的处理效率。

Description

重复数据删除的处理***

技术领域

本发明涉及一种文件储存***，特别涉及一种重复数据删除的处理***。

背景技术

重复数据删除是一种数据缩减技术，通常用于基于磁盘的备份***，主要目的在于减少存储***中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块。重复的数据块用指示符取代。由于存储***中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使存储***上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。请参考1图所示，其为现有技术的重复数据删除的存取的示意图。

由于欲存储的数据数据都会被储存在服务端中，因此客户端需要实时的将数据传送至服务端。接着，服务端再对数据进行重复数据删除的处理。如果在具有多客户端的架构下，服务端必然需要面临高压的负载。

发明内容

鉴于以上的问题，本发明的目的在于提供一种重复数据删除的处理***，将输入文件通过服务端与客户端进行重复数据删除的处理。

为了达到上述目的，本发明揭露一种重复数据删除的处理***包括：客户端数据管理模块与服务端数据管理模块。于每一客户端中设置客户端数据管理模块，客户端数据管理模块接收输入文件，客户端数据管理模块还包括数据切块模块、指纹特征模块与特征值查找模块。数据切块模块(Data Chunkingmodule)用以将输入文件进行数据切分程序，并产生至少一数据区块；指纹特征模块(Fingerprinting module)对数据区块进行特征处理程序，并产生相应的特征值；将每一数据区块的特征值与客户端所储存的特征值进行比对，若客户端中已存在相同的特征值，则删除进行比对的特征值相应的数据区块，若客户端中不存在相同的特征值，则客户端向服务端发送查询请求；服务端数据管理模块通过网络连接于客户端数据管理模块，服务端数据管理模块还包括：特征储存模块、文件管理模块与数据储存模块。特征储存模块根据查询请求判断特征值是否已经记录于服务端中，若特征值不存在于服务端中则向客户端获取相应的数据区块，并将新的数据区块与特征值储存于服务端中；文件管理模块用以将每输入文件的数据区块在服务端的储存地址记录至索引文件中；数据储存模块用以储存数据区块与输入文件的元数据(meta-data)。

上所述的重复数据删除的处理***，其中，该数据切分程序包括即定长切分(fixed-size partition)、内容定义切分算法(content-defined chunking)或滑动块切分(sliding block)。

本发明将所有数据区块的存储、元数据的描述信息、及特征值的存储和管理都在服务端实现。而对输入文件的数据切分、计算特征值等动作则是由客户端实现。然后通过网络在服务端和客户端间交互这些信息，客户端处理数据时先把计算的特征值发给服务端，如果该数据已存在则只需要更新数据块位置引用信息，不用在网络上发送数据块本身，如果不存在再把数据发给服务端。这样即节省了服务端的存储空间，也降低了网络带宽的需求。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为现有技术的重复数据删除的存取的示意图；

图2为本发明的架构示意图；

图3为本发明的运作流程图。

其中，附图标记

客户端210

客户端数据管理模块211

数据切块模块212

指纹特征模块213

特征值查找模块214

服务端220

服务端数据管理模块221

特征储存模块222

文件管理模块223

数据储存模块224

布隆过滤器225

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

本发明应用于具有处理重复数据删除程序的计算器，例如：个人计算机、笔记型计算机、服务端或应用在客户端与服务端架构中。重复数据删除的处理***包括至少一个客户端210与服务端。请分别参考图2与图3所示，其分别为本发明的架构示意图与运作流程图。客户端210可以通过因特网(Internet)或内网(intranet)连接至服务端。为能更进一步说明本发明的各模块的运作，请配合图3的运作解说。本发明的重复数据删除的处理包括以下步骤：

步骤S310：客户端向服务端发出查询请求；

步骤S320：由服务端的布隆过滤器判断查询请求的数据区块是否存在于服务端中；

步骤S330：若欲查询的数据区块存在于服务端中，服务端将储存该数据区块的特征值；

步骤S331：命令客户端将新的数据区块传送给服务端；

步骤S340：若欲查询的数据区块不存在于服务端中，根据查询请求判断特征值是否已经记录于服务端中；

步骤S341：若特征值不存在于服务端中，则向客户端获取相应的数据区块，并将新的数据区块与特征值储存于服务端中；

步骤S342：若特征值已存在于服务端中，服务端将更新相应数据区块的元数据；以及

步骤S343：通知客户端该数据区块已存在服务端中，并命令客户端重新查询特征值查找模块。

每一客户端210均具有客户端数据管理模块211，客户端数据管理模块211接收输入文件并运行部分的重复数据删除程序(其运作部分将于后文详加描述)。客户端数据管理模块211还包括数据切块模块212、指纹特征模块213与特征值查找模块214。在服务端220中包括服务端数据管理模块221，服务端数据管理模块221通过网络连接于客户端数据管理模块211。服务端数据管理模块221还包括：特征储存模块222、文件管理模块223、数据储存模块224与布隆过滤器225(Bloom filter)。

当客户端210接收到新的输入文件时，数据切块模块212将对输入文件进行数据切分处理。数据切块模块212可以利用固定长度方式(fixed-size partition)或基于内容变长度分割方式(content-defined chunking，CDC)等方式对输入文件进行数据区块的切分处理。

定长切分算法采用预先定义好的数据区块大小对输入文件进行切分。定长分块算法的优点是简单、性能高。内容定义切分算法是一种变长分块算法，它应用指纹数据(例如通过Rabin指纹算法，将文件内容转换成预设的哈希值)将档分割成长度大小不等的分块策略。

与定长切分算法不同，内容定义切分算法是基于特定的指纹数据进行数据区块的切分处理，因此数据区块大小是可变化的。内容定义切分算法的优点在于可以提供具有弹性的查询或***数据区块的策略，使得新增的数据区块可以被快速的安插至目的地。

在数据切块模块212完成数据区块的切分后，数据切块模块212将所生成的数据区块输出至指纹特征模块213。指纹特征模块213(Fingerprinting module)对数据区块进行特征处理程序，并产生相应该数据区块的特征值。指纹特征模块213可以通过但不限定为：MD5、SHA-1、SHA-256、SHA-512或单向哈希(One-way HASH)等算法所实现。

特征值查找模块214将每一个数据区块的特征值与客户端210所储存的特征值进行比对，藉以判断是否有无相同的特征值。若客户端210中已存在相同的特征值，则删除进行比对的特征值相应的数据区块。

若客户端210中已存在相同的该特征值时，特征值查找模块214同时向服务端220发送数据区块索引请求。服务端220将更新数据区块中的引用计数的次数。并且返回数据区块结果给客户端210。若客户端210中不存在相同的特征值，则客户端210向服务端220发送查询请求。

当服务端数据管理模块221接收到来自于客户端数据管理模块211的查询请求时，由特征储存模块222根据查询请求判断特征值是否已经记录于服务端220中。

首先，由布隆过滤器225接收来自于客户端210的数据区块的特征值。布隆过滤器225判断所接收到的数据区块是否已被修改过的数据区块，并将判断结果输出至特征储存模块222。若特征值不存在于服务端220中则向客户端210获取相应的数据区块，并将新的数据区块与特征值储存于服务端220中。若特征值已存在于服务端220中，则特征储存模块222将更新数据区块中的引用计数的次数，并且返回数据区块结果。并通过文件管理模块223将每一输入文件的数据区块在服务端220的储存地址记录至索引文件中，已变在索引信息中管理目标文件的所有数据区块的位置索引信息，藉以能够还原该目标文件。数据储存模块224用以储存数据区块与输入文件的元数据。

本发明将所有数据区块的存储、元数据的描述信息、及特征值的存储和管理都在服务端220实现。而对输入文件的数据切分、计算特征值等动作则是由客户端210实现。然后通过网络在服务端220和客户端210间交互这些信息，客户端210处理数据时先把计算的特征值发给服务端220，如果该数据已存在则只需要更新数据块位置引用信息，不用在网络上发送数据块本身，如果不存在再把数据发给服务端220。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种重复数据删除的处理***，将一输入文件通过一服务端与一客户端进行重复数据删除的处理，其特征在于，该重复数据删除的处理***包括：

一客户端数据管理模块，于每一该客户端中设置该客户端数据管理模块，该客户端数据管理模块接收该输入文件，该客户端数据管理模块还包括：一数据切块模块、一指纹特征模块、一特征值查找模块，该数据切块模块用以将该输入文件进行一数据切分程序，并产生至少一数据区块；该指纹特征模块对该些数据区块进行一特征处理程序，并产生相应的一特征值；该特征值查找模块将每一该数据区块的该特征值与该客户端所储存的该些特征值进行比对，若该客户端中已存在相同的该特征值，则删除进行比对的该特征值相应的该数据区块，若该客户端中不存在相同的该特征值，则该客户端向该服务端发送一查询请求；以及

一服务端数据管理模块，通过网络连接于该客户端数据管理模块，该服务端数据管理模块还包括：一特征储存模块、一文件管理模块、一数据储存模块，该特征储存模块根据该查询请求判断该特征值是否已经记录于该服务端中，若该特征值不存在于该服务端中则向该客户端获取相应的该数据区块，并将新的该数据区块与该特征值储存于该服务端中；该文件管理模块用以将每一该输入文件的该些数据区块在该服务端的一储存地址记录至一索引文件中；该数据储存模块用以储存该些数据区块与该输入文件的一元数据。

2.根据权利要求1所述的重复数据删除的处理***，其特征在于，该数据切分程序包括即定长切分、内容定义切分算法或滑动块切分。

3.根据权利要求1所述的重复数据删除的处理***，其特征在于，该特征处理程序包括MD5、SHA1、SHA256或CRC32。

4.根据权利要求1所述的重复数据删除的处理***，其特征在于，若该客户端中已存在相同的该特征值时，该特征值查找模块同时向该服务端发送一数据区块索引请求，该服务端更新该数据区块的一引用计数的数量，并且返回一数据区块结果，该数据区块结果包括该数据区块的后连续的多笔该特征值。

5.根据权利要求1所述的重复数据删除的处理***，其特征在于，该客户端的该些特征值存储于一内存或一缓存中。

6.根据权利要求1所述的重复数据删除的处理***，其特征在于，若该特征值已存在于该服务端中，则该特征储存模块将更新该数据区块的一引用计数的数量并且返回一数据区块结果，该数据区块结果包括该数据区块的后连续的多笔该特征值。

7.根据权利要求1所述的重复数据删除的处理***，其特征在于，还包括一布隆过滤器，接收来自于该客户端的该特征值，该服务端通过该布隆过滤器判断所接收到的该数据区块是否已被修改过的该数据区块，并将判断结果输出至该特征储存模块。