CN102833298A - 分布式的重复数据删除***及其处理方法 - Google Patents

Abstract

一种分布式的重复数据删除***及其处理方法，客户端对输入文件运行重复数据删除程序，用以生成切分数据块与相应的指纹特征值；客户端向派发服务器发送具有指纹特征值的查询要求；派发服务器纪录切分数据块的储存位置；派发服务器根据指纹特征值将查询要求转发至相应的重复数据处理装置；重复数据处理装置判断指纹特征值是否已经存在；若不存在该笔指纹特征值，则重复数据处理装置根据新的指纹特征值将新的切分数据块存储至存储服务端。

Description

分布式的重复数据删除***及其处理方法

技术领域

本发明涉及一种重复数据删除***及其方法，特别涉及一种分布式的重复数据删除***及其处理方法。

背景技术

随着因特网的兴起的缘故，因此许多网络供应者为能有效保存使用者的文件，进而在网络上提供许多存放的空间。以往是由单一服务端提供网络空间的存储服务。然而，单一服务器的运算能力有限，因此演进为多服务器以平行处理的方式来提供存储服务。这种存储方式被称为分布式存储***。

请参考图1所示，其为现有技术的存储数据示意图。一般而言，分布式存储***为能完整备份使用者的文件数据。所以会在不同服务端121中存储相同的数据。举例来说，分布式存储***是具有三个存储服务端121。当客户端111欲将100Mbytes的数据存储至网络空间中，则分布式存储***会将这100Mbytes分别存储至这三台存储服务端121中。如此一来，所有的存储服务端121就会占用掉300Mbytes的空间。若是每一个客户端111的文件均要备份在每一台存储服务端121上，这对于网络供应者而言不啻为一种沉重的负担。

发明内容

鉴于以上的问题，本发明的目的在于提供一种分布式的重复数据删除***，用以存储客户端所产生的至少一切分数据块。

本发明所揭露的分布式的重复数据删除***包括：客户端、派发服务器、重复数据处理装置(De-dup Engine)与存储服务端。客户端对输入文件进行重复数据删除程序(de-duplication)，并生成切分数据块与相应的指纹特征值(Fingerprint)。

派发服务器(Dispatch Server)纪录输入文件的切分数据块的储存位置；派发服务器根据指纹特征值将查询要求转发至相应的重复数据处理装置；重复数据处理装置(Dedup.Engine)从指纹特征查找表(hash table)中查找指纹特征值是否已经存在；若指纹特征查找表中未存储指纹特征值，则重复数据处理装置根据指纹特征值将相应的切分数据块指派到存储服务端，并向客户端发送包含所指派的存储服务端的存储节点信息。

指纹特征值是由SHA-1、哈希程序(Hash)或单向算法所产生，使得每一切分数据块只能对应到唯一的指纹特征值。并且在存储服务端存储新的切分数据块后，重复数据处理装置会运行指纹特征查找表的同步处理，用以更新其它重复数据处理装置的指纹特征查找表。

本发明还提出一种重复数据删除的分布式处理方法，包括步骤：客户端接收输入文件后产生切分数据块，并向派发服务器发送具有指纹特征值的查询要求；派发服务器根据指纹特征值将查询要求转发至相应的重复数据处理装置；重复数据处理装置判断指纹特征值是否已经存在于指纹特征查找表中；若指纹特征查找表中未存储指纹特征值，则重复数据处理装置根据指纹特征值将相应的切分数据块指派到存储服务端，并向客户端发送包含所指派的存储服务端的存储节点信息；客户端根据存储节点信息将切分数据块传送至存储服务端。

本发明所提出的分布式的重复数据删除***及其方法通过分层指派与重复数据对比的处理，使得每一台数据存储服务器的数据量可以有效的降低，进而提高整体数据量的存储空间。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为现有技术的存储数据示意图；

图2为本发明的架构示意图；

图3为本发明的运作流程示意图。

其中，附图标记

客户端111

服务端121

客户端211

派发服务器212

重复数据处理装置213

存储服务端214

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

请参考图2所示，其为本发明的架构示意图。本发明分布式的重复数据删除***可以应用于局域网络或因特网之中，而本发明的分布式重复数据删除***包括：客户端211、派发服务器212(Dispatch Server)、重复数据处理装置213(De-dup Engine)与存储服务端214。客户端211用以接收输入文件，并对输入文件执行切分处理，用以进行重复数据删除的判断。

重复数据删除是一种数据缩减技术，通常用于基于磁盘的备份***，主要目的在于减少存储***中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块(文中将其定义为切分数据块)。重复的数据块用指示符(token)取代。采用“重复数据删除”技术可以让出更多的备份空间，不仅可以使存储服务端214上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。

在进行重复数据删除的过程中，客户端211会对输入文件进行切分的处理。输入文件在经过切分处理后会产生多个切分数据块。随后，客户端211会对数据区块进行哈希处理，并产生相应各数据区块的一哈希值。客户端211将所得到的哈希值与储存于存储服务端21中的哈希值进行对比，并判断有无相同的哈希值。若是存在相同的哈希值时，则代表此一数据区块曾经被存放于存储服务端21中。

在本发明的客户端211在完成数据切分的处理后，会产生对应输入文件的多笔切分数据块与其指纹特征值(Fingerprint)。指纹特征值是由SHA-1程序、哈希程序(Hash)或单向算法(One way function)所产生，使得每一切分数据块只能对应到唯一的指纹特征值。客户端211发送将具有指纹特征值的查询要求传送至派发服务器212。

派发服务器212除了根据指纹特征值将该查询要求转发至相应的重复数据删除处理装置，派发服务器212还可用以纪录输入文件的切分数据块的储存位置。重复数据删除处理装置的数量是由客户端211的数量所决定。每一台重复数据处理装置213还包括指纹特征查找表，指纹特征查找表用以记录每一个切分数据块所相应的指纹特征值。重复数据处理装置213接收到指纹特征值后会进行判断该指纹特征值是否已经存在。当指纹特征查找表中不存在欲查询的指纹特征值时，重复数据删除处理装置会选取任一存储服务端214用以存放相应的切分数据块。

为能清楚说明本案的运作过程，还请参考图3所示，其为本发明的运作流程示意图，本发明包括以下步骤：

步骤S310：客户端接收输入文件后产生切分数据块，并向派发服务器发送具有指纹特征值的查询要求；

步骤S320：派发服务器根据指纹特征值将查询要求转发至相应的重复数据处理装置；

步骤S330：重复数据处理装置判断指纹特征值是否已经存在于指纹特征值查找表中；

步骤S340：若指纹特征值查找表中已存储指纹特征值，则重复数据处理装置是通过派发服务器向客户端响应该笔切分数据块已存在；

步骤S350：若指纹特征值查找表中未存储指纹特征值，则重复数据处理装置根据指纹特征值将相应的切分数据块指派到存储服务端，并向客户端发送包含所指派的存储服务端的存储节点信息；以及

步骤S360：客户端根据存储节点信息将切分数据块传送至存储服务端。

客户端211接收输入文件并执行切分处理，用以产生切分数据块。客户端211将具有指纹特征值的查询要求传送至派发服务器212发送。派发服务器212根据指纹特征值将查询要求转发至相应的重复数据处理装置213。而重复数据处理装置213可以根据指纹特征值进行取余数处理，并根据取余数处理后的结果将查询要求转发至派发服务器212。

举例来说，客户端211将输入文件切分为1024笔切分数据块，并通过SHA-1对切分数据块产生相应的指纹特征值(也是1024笔)。另假设派发服务器212的数量为3台，则分别对这1024笔指纹特征值进行取余数(意即取3的余数)。在实际运作时，可以根据派发服务器212的数量决定取余数的参数。接着，根据取余的结果将查询要求转发至相应的重复数据处理装置213。例如：余数为“0”的指纹特征值的查询要求转发至第一台重复数据处理装置213、余数为“1”的指纹特征值的查询要求转发至第二台重复数据处理装置213、余数为“2”的指纹特征值的查询要求转发至第三台重复数据处理装置213。

接下来，重复数据处理装置213接获查询要求后，重复数据处理装置213会查找指纹特征值查找表中是否存在指纹特征值。若指纹特征值查找表中已存储指纹特征值，则重复数据处理装置213是通过派发服务器212向客户端211响应该笔切分数据块已存在。反之，则重复数据处理装置213根据指纹特征值将相应的切分数据块指派到存储服务端214，并向客户端211发送包含所指派的存储服务端214的存储节点信息。而通知客户端211的方式有：派发服务器212将查询要求转发至相应的重复数据处理装置213后，并发送存储节点信息至客户端211。或者是，派发服务器212将查询要求转发至相应的重复数据处理装置213后，并通过重复数据处理装置213发送存储节点信息至客户端211。

此外，重复数据处理装置213还记录切分数据块的元数据信息(Metadata)。元数据信息用以维护切分数据块所存储服务端、在相应存储服务端上的存储位置及长度。当客户端211需要读取切分数据块时，重复数据处理装置213可通过元数据信息进而找到相应的切分数据块的位置并读取，同时也可以通过指纹特征值来确认切分数据块的正确性。

最后，当客户端211收到指定存储位置的存储节点信息，客户端211根据存储节点信息将切分数据块传送至存储服务端214。于此同时，重复数据处理装置213会执行指纹特征查找表(hash table)的同步处理，用以更新其它重复数据处理装置213中的指纹特征查找表所记录的指纹特征值与相应的切分数据块所储存的位置。当其它重复数据处理装置213在接收到已存储过的切分数据块的查询要求时，重复数据处理装置213可以实时的判断该笔切分数据块是否已经存在。

本发明所提出的分布式的重复数据删除***及其方法是通过分层指派与重复数据对比的处理，使得每一台数据存储服务器的数据量可以有效的降低，进而提高整体数据量的存储空间。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种分布式的重复数据删除***，用以存储客户端的所产生至少一切分数据块，其特征在于，该重复数据删除***包括：

至少一存储服务端，用以存储该些切分数据块；

一客户端，将一输入文件运行一重复数据删除程序，生成该些切分数据块与相应的一指纹特征值，该客户端发送具有该指纹特征值的一查询要求，并根据一存储节点信息将该切分数据块传送至该存储服务端；

一重复数据处理装置，用以判断该指纹特征值是否已经存在，并根据新的该指纹特征值将新的该切分数据块指派到该存储服务端；以及

一派发服务器，其纪录该输入文件的该些切分数据块的储存位置，该派发服务器根据该指纹特征值将该查询要求转发至相应的该重复数据处理装置

2.根据权利要求1所述的分布式的重复数据删除***，其特征在于，该重复数据处理装置将该指纹特征值进行取余数处理，并根据取余数处理后的结果将该查询要求转发至该派发服务器。

3.根据权利要求1所述的分布式的重复数据删除***，其特征在于，该派发服务器将该查询要求转发至相应的该重复数据处理装置后，并向发送该存储节点信息至该客户端。

4.根据权利要求1所述的分布式的重复数据删除***，其特征在于，该派发服务器将该查询要求转发至相应的该重复数据处理装置后，并通过该重复数据处理装置发送该存储节点信息至该客户端。

5.根据权利要求1所述的分布式的重复数据删除***，其特征在于，该重复数据处理装置还记录该切分数据块的一元数据信息。

6.根据权利要求1所述的分布式的重复数据删除***，其特征在于，该存储服务端存储该些切分数据块后，该些重复数据处理装置运行一指纹特征查找表的一同步处理，用以更新其它该些重复数据处理装置的该指纹特征查找表。

7.一种重复数据删除的分布式处理方法，用以存储一客户端的所产生至少一切分数据块，其特征在于，该处理方法包括：

该客户端接收一输入文件后产生该些切分数据块，并向一派发服务器发送具有一指纹特征值的一查询要求；

该派发服务器根据该指纹特征值将该查询要求转发至相应的一重复数据处理装置；

该重复数据处理装置判断该指纹特征值是否已经存在于一指纹特征查找表中；

若该指纹特征查找表中未存储该指纹特征值，则该重复数据处理装置根据该指纹特征值将相应的该切分数据块指派到该存储服务端，并向该客户端发送包含所指派的该存储服务端的一存储节点信息；以及

该客户端根据该存储节点信息将该切分数据块传送至该存储服务端。

8.根据权利要求7所述的重复数据删除的分布式处理方法，其特征在于，该重复数据处理装置将该指纹特征值进行取余数处理，并根据取余数处理后的结果将该查询要求转发至该派发服务器。

9.根据权利要求7所述的重复数据删除的分布式处理方法，其特征在于，该重复数据处理装置还记录该切分数据块的一元数据信息。

Images