CN102982180A - 数据存储方法及设备 - Google Patents

Abstract

本发明实施例提供一种数据存储方法及设备。该方法包括将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块；根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识；根据所述备份数据块的状态标识对所述备份数据块进行回收处理。本发明实施例提供的数据存储方法及设备，能够优化重复数据删除和回收流程，避免数据流失。

Description

数据存储方法及设备

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据存储方法及设备。

背景技术

随着企业的数据量不断增大，大量的重复数据给存储带来严峻的挑战。而重复数据删除(Date de-duplication，简称De-Dupe)作为通过有效地减少数据，降低数据存储成本的重要技术，越来越受到重视。

在进行数据存储的任务中，通常将待存储文件划分成数据块，重复数据删除技术可自动搜索重复数据块，将相同数据块只保留唯一的一个副本，并使用指向唯一副本的指针替换掉其他重复副本，同时该副本的引用计数增加1，以达到消除冗余数据、降低存储容量需求的存储技术。当重复数据删除后保留的唯一副本数据块被修改或删除时，将导致其引用计数发生改变，当该副本的引用计数减为0时，该副本就满足了垃圾收集的条件，将该副本作为垃圾进行回收，从而释放更多的存储空间。

然而现有技术中，当重复数据删除与回收并发执行时，会使提供给重复副本的指针指向刚刚回收的数据，导致数据丢失。

发明内容

本发明实施例提供一种数据处理方法及设备，以优化重复数据删除和回收的并发执行流程。

第一方面，本发明实施例提供一种数据存储方法，包括：

将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块；

根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识；

根据所述备份数据块的状态标识对所述备份数据块进行回收处理。

在第一种可能的实现方式中，根据第一方面，具体实现为：将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块包括：

对所述待存储文件进行分块处理，得到各数据块，并计算各数据块的指纹；

对各所述数据块的指纹进行抽样处理，并根据抽取到的指纹生成所述待存储文件的指纹抽样表；

根据所述指纹抽样表和分组抽样库，确定所述待存储文件在所述分组抽样库中所属的相似分组，将所述相似分组对应的已存储的数据块作为所述备份数据块，所述分组抽样库由所述指纹库进行抽样处理得到，所述相似分组为所述分组抽样库中与所述待存储文件的指纹抽样表中的抽样指纹相匹配的一个抽样分组。

在第二种可能的实现方式中，根据第一方面，具体实现为：根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识包括：

在根据所述备份数据块对所述待存储文件进行重复数据删除操作之前，将所述备份数据块的分组计数加一；

在完成根据所述备份数据块对所述待存储文件进行重复数据删除操作之后，将所述备份数据块的分组计数减一。

在第三种可能的实现方式中，根据第一方面第二种可能的实现方式，具体实现为：根据所述备份数据块的状态标识对所述备份数据块进行回收处理包括：

当识别到所述备份数据块的状态标识中的分组计数不为零时，暂停对所述备份数据块的回收处理；

当识别到所述备份数据块的状态标识中的分组计数为零时，触发对所述备份数据块的回收处理。

在第四种可能的实现方式中，根据第一方面或第一方面第一种可能的实现方式或第一方面第二种可能的实现方式，具体实现为：根据所述备份数据块的状态标识对所述备份数据块进行回收处理包括：

当监测到所述备份数据块的引用计数的数值发生变化时，识别对应的备份数据块的状态标识；

当识别到对应的备份数据块的状态标识表明所述备份数据块未使用时，则识别所述备份数据块的引用计数的数值；

当识别到所述备份数据块的引用计数的数值为零时，触发对所述备份数据块进行回收处理。

第二方面，本发明实施例提供一种数据存储设备，包括：

备份数据块获取模块，用于将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块；

重复数据删除模块，用于根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识；

回收模块，用于根据所述备份数据块的状态标识对所述备份数据块进行回收处理。

在第一种可能的实现方式中，根据第二方面，具体实现为：所述备份数据块获取模块包括：

指纹计算单元，用于对所述待存储文件进行分块处理，得到各数据块，并计算各数据块的指纹；

指纹抽样单元，用于对各所述数据块的指纹进行抽样处理，并根据抽取到的指纹生成所述待存储文件的指纹抽样表；

分组确定单元，用于根据所述指纹抽样表和分组抽样库，确定所述待存储文件在所述分组抽样库中所属的相似分组，将所述相似分组对应的已存储的数据块作为所述备份数据块，所述分组抽样库由所述指纹库进行抽样处理得到，所述相似分组为所述分组抽样库中与所述待存储文件的指纹抽样表中的抽样指纹相匹配的一个抽样分组。

在第二种可能的实现方式中，根据第二方面，具体实现为：所述重复数据删除模块包括：

第一计数单元，用于在根据所述备份数据块对所述待存储文件进行重复数据删除操作之前，将所述备份数据块的分组计数加一；

第二计数单元，用于在完成根据所述备份数据块对所述待存储文件进行重复数据删除操作之后，将所述备份数据块的分组计数减一。

在第三种可能的实现方式中，根据第二方面第二种可能的实现方式，具体实现为：所述回收模块包括：

回收暂停单元，用于当识别到所述备份数据块的状态标识中的分组计数不为零时，暂停对所述备份数据块的回收处理；

第一回收触发单元，用于当识别到所述备份数据块的状态标识中的分组计数为零时，触发对所述备份数据块的回收处理。

在第四种可能的实现方式中，根据第二方面或第二方面第一种可能的实现方式或第二方面第二种可能的实现方式，具体实现为：所述回收模块包括：

引用计数监测单元，用于当监测到所述备份数据块的引用计数的数值发生变化时，识别对应的备份数据块的状态标识；

引用计数识别单元，用于当识别到对应的备份数据块的状态标识表明所述备份数据块未使用时，则识别所述备份数据块的引用计数的数值；

第二回收触发单元，用于当识别到所述备份数据块的引用计数的数值为零时，触发对所述备份数据块进行回收处理。

本发明实施例提供一种数据存储方法及设备，该方法通过将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块，根据备份数据块对待存储文件进行重复数据删除操作，且为备份数据块进行状态标识，根据备份数据块的状态标识对备份数据块进行回收处理，使重复数据删除处理优先进行，解决了重复数据删除处理与回收处理并发执行导致数据丢失的问题，保证了重复删除处理和回收处理的有序进行以及已存储数据的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明数据存储方法实施例一的流程图；

图2为本发明数据存储方法实施例二的流程图；

图3为本发明数据存储方法实施例三的流程图；

图4为本发明数据存储逻辑架构实施例一示意图；

图5为本发明数据存储集群架构实施例一示意图；

图6为本发明数据存储装置实施例一的结构图；

图7为本发明数据存储装置实施例二的结构图；

图8为本发明数据存储装置实施例三的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明数据存储方法实施例一的流程图，如图1所示，本实施例提供了一种数据存储方法，该方法可以由任意执行数据存储操作的设备来执行，可以具体包括如下步骤：

步骤101：将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块。

本实施例中对于每个文件的存储均执行相同的数据存储方法，文件在存储前为待存储文件。指纹库中的指纹为已存储的文件的各数据块的指纹。通过对待存储文件各数据块的指纹与指纹库中已存储文件的各数据块的指纹逐一匹配，根据待存储文件各数据块的指纹与已存储文件的各数据块的指纹相似度，确定待存储文件在指纹库中所属的对应的备份数据块。具体地，当待存储文件数据块的指纹与已存储文件的数据块的指纹的相似度大于或等于预设的相似度阈值时，则认为该已存储文件的数据块是与待存储文件的数据块对应的备份数据块。相似度可以为待存储文件数据块的指纹与已存储文件的数据块的指纹相同或相似的指纹数占待存储文件的数据块的指纹的比例。

步骤102：根据备份数据块对待存储文件进行重复数据删除操作，且为备份数据块进行状态标识。

确定了备份数据块后，在该备份数据块中对待存储文件进行重复数据删除处理，具体的删除方法可以与现有技术中类似，即将计算得到的待存储文件的各分块的指纹与该备份数据块中保存的指纹相匹配。若备份数据块中已保存有与一个待存储文件的数据块相同或相似的指纹时，则删除该待存储文件的数据块的数据；若备份数据块中没有与待存储文件的数据块相同或相似的指纹时，则对该待存储文件的数据块的数据进行存储。

本步骤中在根据备份数据块对待存储文件进行重复数据删除操作时，还要对备份数据块进行状态标识。其中，状态标识用于表征该备份数据块是否在重复数据删除操作的使用中。

状态标识的具体形式可以有多种，优选是包括备份数据块的分组号以及该备份数据块的分组计数。分组计数是指根据该备份数据块进行重复数据删除的次数，即适用于备份数据块在多个并行执行的重复删除操作中被使用。因此，根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识的操作优选是在根据备份数据块对待存储文件进行重复数据删除操作之前，将备份数据块的分组计数加一，在完成根据备份数据块对待存储文件进行重复数据删除操作之后，将该备份数据块的分组计数减一。

本领域技术人员可以理解，当分组计数不为零时，即正在进行重复数据删除操作。在本实施例中，还设置有一个重删列表，该重删列表中包括了需进行重复数据删除处理的各备份数据块的状态标识，当备份数据块的分组计数为零时，可将该备份数据块的状态标识从重删列表中删除。

步骤103：根据备份数据块的状态标识对备份数据块进行回收处理。

在确定对备份数据块进行回收处理时，首先需要根据备份数据块的状态标识确定是否对该备份数据块进行回收处理。本实施例中，可通过查询重删列表中备份数据块的状态标识确定备份数据块是否在使用，从而决定是否回收处理。当备份数据块的状态标识中该备份数据块的分组计数为零时，说明该备份数据块没有进行重复删除处理，因此，可对该备份数据块进行回收处理。当备份数据块的状态标识中该备份数据块的分组计数不为零时，说明该备份数据块正在进行重复删除处理，因此，暂停对备份数据块的回收处理。在本实施例中，还可设置一个回收列表，该回收列表中包括了需回收处理的各备份数据块的状态标识，当备份数据块进行回收处理之后，将该备份数据块的状态标识从回收列表中删除。

本领域技术人员可以理解，当对该备份数据块进行重复删除处理时，也可查询回收列表，当回收列表中包括了该备份数据块的状态标识时，同样可暂停对该备份数据块的回收处理，保证重复删除处理优先进行。

本领域技术人员可以理解，当备份数据块的分组计数为零时，重复删除处理过程和回收处理过程不仅可以同时进行，而且二者在运行过程中，不会相互影响，最大限度的保证了重删和回收的并发执行。

本发明实施例提供一种数据存储方法，通过将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块，根据备份数据块对待存储文件进行重复数据删除操作，且为备份数据块进行状态标识，根据备份数据块的状态标识对备份数据块进行回收处理，使重复数据删除处理优先进行，解决了重复数据删除处理与回收处理并发执行导致数据丢失的问题，保证了重复删除处理和回收处理的有序进行以及已存储数据的安全性。

图2为本发明数据存储方法实施例二的流程图，如图2所示，本实施例提供了一种数据存储方法，该方法可以由任意执行数据存储操作的设备来执行，可以具体包括如下步骤：

步骤201：对待存储文件进行分块处理，得到各数据块，并计算各数据块的指纹。

本步骤先对待存储文件进行分块处理，具体的分块处理过程可以采用现有技术中的分块技术，如通过变长分块算法对待存储文件进行分块。再计算分块处理后的得到的各分块的指纹，具体的指纹计算过程也可以采用现有技术中的计算方法，如可以采用安全哈希算法(Secure Hash Algorithm)、消息摘要算法第五版(Message Digest Algorithm，简称MD5)双哈希算法来计算各分块的指纹。

步骤202：对各数据块的指纹进行抽样处理，并根据抽取到的指纹生成待存储文件的指纹抽样表。

为了缩减重复数据删除过程中去重的计算量，在得到待存储文件的各分块的指纹后，对这些指纹进行抽样，抽样的基本要求是抽样结果中的指纹在待存储文件的各分块的指纹的范围内，且抽样结果中指纹的数量不多于待存储文件的分块指纹的数量。对各分块指纹进行抽样具体可以为：直接将各分块的指纹中最后一个字节为0的指纹作为抽样处理抽取到的指纹；或者将固定位置上的分块作为抽取到的指纹，例如将9的整数倍位置上的分块作为抽取到得指纹；或者根据预定的抽样比例进行抽样，例如随机抽取5％的分块作为抽取到的指纹。此处对各分块的指纹进行抽样处理，对指纹进行筛选，并根据抽取到的指纹生成该待存储文件的指纹抽样表。本领域技术人员可以理解，本实施例中还存在抽样结果均不满足抽样条件，即该待存储文件中不存在满足抽样条件的块的情况，则得到的指纹抽样表为空。

步骤203：根据指纹抽样表和分组抽样库，确定待存储文件在分组抽样库中所属的相似分组，将相似分组对应的已存储的数据块作为备份数据块。

在获取到待存储文件的指纹抽样表后，根据指纹抽样表和分组抽样库，确定待存储文件在分组抽样库中所属的相似分组，将相似分组对应的已存储的数据块作为备份数据块。分组抽样库由指纹库进行抽样处理得到，相似分组为分组抽样库中与待存储文件的指纹抽样表中的抽样指纹相匹配的一个抽样分组。

特别地，指纹库保存了存储文件经过重复数据删除后的所有指纹。若本步骤处理的待存储文件为第一个文件，则指纹库为空。此时，若指纹抽样表不为空，则在分组抽样库中建立一个新建分组，确定待存储文件在分组抽样库中所属的相似分组为新建分组，并将待存储文件的指纹抽样表中的指纹保存到新建分组中。当指纹抽样表不为空，且指纹库不为空的时候，对指纹库中的指纹进行抽样处理，获得分组抽样库。其中抽样处理的方法与步骤202中对待存储文件的各数据块进行抽样处理的方法类似，本实施例此处不再赘述。本领域技术人员可以理解，对指纹库中的指纹进行抽样处理的方法与对待存储文件的各数据块进行抽样处理的方法应保持一致，这样可以得到相似度较高的相似分组。

通过对指纹抽样表中的各指纹与当前的分组抽样库中各抽样分组逐一匹配，根据匹配结果在当前的分组抽样库中确定待存储文件所属的相似分组。具体地，当指纹抽样表中的各指纹与当前的分组抽样指纹库中的一个抽样分组的指纹相似度大于或等于预设的相似度阈值时，则认为该待存储文件属于该抽样分组，该抽样分组为相似分组，该相似分组中的指纹对应的已存储的数据块作为备份数据块；当指纹抽样表中的各指纹与当前分组抽样库中的所有分组的指纹相似度均小于预设的相似度阈值时，在分组抽样库中建立一个新建分组，确定待存储文件在分组抽样库中所属的相似分组为新建分组，并将待存储文件的指纹抽样表中的指纹保存到新建分组中。

当步骤202中的抽样结果均不满足抽样条件时，即该待存储文件中不存在满足抽样条件的块，则确定所述待存储文件在当前的分组抽样库中所属的相似分组为当前的分组抽样库中的预设分组，本实施例的相似性分析过程结束。在指纹库中与该预设分组对应的指纹分组中对待存储文件进行重复数据删除处理。该预设分组为本实施例预先设定的一个分组，没有特定的含义，该预设分组可以为空，其与指纹库中一个特定的指纹分组相对应，该特定的指纹分组中保存的是这些抽样后指纹抽样表为空的待存储文件的指纹。在实际抽样过程中，存在抽样后指纹抽样表为空的特殊情况，此处仅是对这种特殊情况下的处理进行说明，避免因出现这种特殊情况而导致整个流程中断。

进一步地，在根据备份数据块对待存储文件进行重复数据删除操作时，还可将相似分组的指纹分为多个区间，且每个区间内建立一个数据库，用于存放对应区间的指纹；在查询重复数据块的时候可以分开进行查询，在多线程、多节点的情况下可以并发查询每一个区间，提升并发查询的能力，加速查询速度。

步骤204：根据备份数据块对待存储文件进行重复数据删除操作，且为备份数据块进行状态标识。本步骤可以与上述步骤102类似，此处不再赘述。

步骤205：根据备份数据块的状态标识对备份数据块进行回收处理。本步骤可以与上述步骤103类似，此处不再赘述。

本发明实施例提供了一种数据存储方法，通过对待存储文件进行分块处理，得到各数据块，并计算各数据块的指纹，对各数据块的指纹进行抽样处理，并根据抽取到的指纹生成待存储文件的指纹抽样表，根据指纹抽样表和分组抽样库，确定待存储文件在分组抽样库中所属的相似分组，作为备份数据块，本实施例对待存储文件的各数据块以及指纹库进行进一步的抽样处理，先通过相似性分析确定相似分组，再在相似分组对应的指纹分组中进行重复数据删除处理，缩小了去重的查询计算量，解决了现有技术中重删时海量分块数据引入的计算量和资源消耗巨大的问题，缩减了重复数据删除中去重的计算量，提升了重删性能。

图3为本发明数据存储方法实施例三的流程图，如图3所示，本实施例提供了一种数据存储方法，该方法可以由任意执行数据存储操作的设备来执行，可以具体包括如下步骤：

步骤301：将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块。

图3实施例中的步骤301可以与图1实施例中的步骤101类似，也可以采用图2实施例所示获取对应的备份数据块的方法，本实施例此处不再赘述。

步骤302：根据备份数据块对待存储文件进行重复数据删除操作，且为备份数据块进行状态标识。

图3实施例中的步骤302可以与图1实施例中的步骤102类似，本实施例此处不再赘述。

步骤303：当监测到备份数据块的引用计数的数值发生变化时，识别对应的备份数据块的状态标识。

在预设时间内，对备份数据块的引用计数进行监测，当已存储的文件被修改或删除时，修改或删除的位置对应的备份数据块的引用情况发生改变，当备份数据块的引用计数发生变化时，识别对应的备份数据块的状态标识。

步骤304：当识别到对应的备份数据块的状态标识表明备份数据块未使用时，则识别备份数据块的引用计数的数值。

当识别到对应的备份数据块的状态标识表明备份数据块没有被使用，即没有根据该备份数据块对待存储文件进行重复数据删除操作，则识别该备份数据块的引用计数的数值。

步骤305：当识别到该备份数据块的引用计数的数值为零时，触发对备份数据块进行回收处理。

当该备份数据块的引用计数的数值为零时，说明该备份数据块为垃圾文件，可以进行回收处理。其中，引用计数法是唯一没有使用根集的垃圾回收方法，该方法使用引用计数器来区分存活对象和不再使用的对象。一般来说，当对象即备份数据块被丢弃或不再使用，引用计数器减1，一旦引用计数器为0，该备份数据块就满足了垃圾收集的条件。本领域技术人员可以理解，图3实施例所示的步骤303至步骤305还可以应用到对所有的已存储数据块的回收中，当监测到以存储的数据块的引用计数发生变化时，执行回收任务，当该数据块的引用计数为0时，对该数据块进行回收处理。

本发明实施例提供一种数据存储方法，通过监测备份数据块的引用计数的数值变化，当引用计数发生变化的备份数据块的状态标识表明备份数据块未使用时，则识别备份数据块的引用计数的数值，当识别到备份数据块的引用计数的数值为零时，触发对备份数据块进行回收处理，本实施例只针对引用计数产生变化的备份数据块进行回收扫描，提升了回收速度，可以更及时的找回用户的存储空间。

图4为本发明数据存储逻辑架构实施例一示意图。本实施例提供的数据存储逻辑架构示意图，能够执行上述数据存储方法的实施例。如图4所示，本实施例提供的数据存储逻辑架构示意图包括集群管理模块40，重删引擎模块41，元数据服务器42，单一实例库43，转发模块44。

其中，集群管理模块40用于管理回收列表和重删列表。

重删引擎模块41用于重复数据删除任务，空间回收任务，以及对数据块进行引用计数等各种任务的处理和管理。对应地，重删引擎模块41包括任务处理模块411，任务管理模块412以及分发器413。其中，任务处理模块411包括重删模块4111，用于执行重复数据删除任务，引用计数模块4112，用于执行对数据块进行引用计数的任务，空间回收模块4113，用于执行空间回收任务。任务管理模块412用于管理线程池，包括对任务队列的监控以及对线程池中线程运行状态的监控。分发器413，用于维护各个元数据服务器42管理的数据分块。

元数据服务器42用于确定待存储文件在分组抽样库中所属的相似分组。

单一实例库43中用于存储分组抽样库中的各抽样分组，以及抽样分组中的各抽样分组区间。

转发模块44负责集群管理模块40，重删引擎模块41，元数据服务器42之间数据的传输。

在一个具体的实施例中，当执行重复数据删除任务时，重删引擎模块41对待存储文件进行分块处理，计算分块处理结果中各分块的指纹，对各分块的指纹进行抽样处理，并根据抽取到的指纹生成待存储文件的指纹抽样表，并向元数据服务器42发送分组请求消息，元数据服务器42确定与该指纹抽样表对应的相似分组，以及与所述相似分组对应的备份数据块。重删引擎模块41在进行重复数据删除之前，向集群管理模块40发送携带备份数据块状态标识的重删请求消息，集群管理模块40确定回收列表中是否存在该备份数据块状态标识，若存在，则集群管理模块40使重删引擎模块41取消对该备份数据块的回收，继续进行重复数据删除任务。

在一个具体的实施例中，当执行回收任务时，重删引擎模块41统计引用计数发生变化的备份数据块，对引用计数发生变化的备份数据块进行回收，在回收之前，向集群管理模块40发送携带备份数据块状态标识的回收请求消息，集群管理模块40确定重删列表中是否存在该备份数据块状态标识，若存在，则集群管理模块40使重删引擎模块41取消对该备份数据块的回收。

本实施例提供的数据存储逻辑架构，在具体实现数据存储过程中，重复数据删除任务的优先级高于空间回收任务的优先级，解决了重复数据删除处理与回收处理并发执行导致数据丢失的问题，保证了重复删除处理和回收处理的有序进行以及已存储数据的安全性。

图5为本发明数据存储集群架构实施例一示意图。本实施例提供的数据存储集群架构可通过图1至图3所示数据存储方法实施例以及图4所示数据存储逻辑架构实施例实现。如图5所示，本实施例提供的数据存储集群架构包括从节点501，主节点502，备节点503。

其中，从节点501、主节点502、备节点503数据存储共享。三者均包括集群管理模块、重删引擎模块以及元数据服务器。同时，从节点501、主节点502、备节点503都可以完成上述的数据存储方法中的重复数据删除和空间回收的过程。主节点502具体可以为局域网中的主机，从节点501具体可以为局域网中的分机。本领域技术人员可以理解，在实际应用过程中，从节点501的个数可以为多个。主节点502主要负责向从节点501下发开始重复数据删除或空间回收的命令，以使从节点501执行相应的重复数据删除或空间回收任务。当从节点501执行任务结束后，从节点501可将执行结果告知主节点。当从节点501或主节点502发生故障，无法正常工作时，可由备节点503代替发生故障的从节点501或主节点502继续工作，保证数据存储过程能够持续进行。

本实施例提供的数据存储集群架构，从节点、主节点以及备节点均能够执行数据存储方法，同时主节点能够控制多台从节点同时执行数据存储，提高了数据存储的效率。在从节点和主节点发生故障时，备节点能够代替发生故障的从节点或主节点继续工作，避免了数据存储过程的中断，保证数据存储过程的连续性。

图6为本发明数据存储装置实施例一的结构图，如图6所示，本实施例提供的数据存储装置包括备份数据块获取模块61，重复数据删除模块62，回收模块63。其中处理模块61用于将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块；重复数据删除模块62用于根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识；回收模块63用于根据所述备份数据块的状态标识对所述备份数据块进行回收处理。

本实施例的数据存储装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本发明数据存储装置实施例二的结构图，如图7所示，本实施例在图6所示实施例的基础上，所述重复数据删除模块62包括：第一计数单元621，第二计数单元622。

其中，第一计数单元621，用于在根据所述备份数据块对所述待存储文件进行重复数据删除操作之前，将所述备份数据块的分组计数加一；第二计数单元622，用于在完成根据所述备份数据块对所述待存储文件进行重复数据删除操作之后，将所述备份数据块的分组计数减一。

在图6所示实施例的基础上，所述回收模块63包括：回收暂停单元631，第一回收触发单元632。

其中，回收暂停单元631，用于当识别到所述备份数据块的状态标识中的分组计数不为零时，暂停对所述备份数据块的回收处理；第一回收触发单元632，用于当识别到所述备份数据块的状态标识中的分组计数为零时，触发对所述备份数据块的回收处理。

本实施例的数据存储装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图8为本发明数据存储装置实施例三的结构图，如图8所示，本实施例在图6所示实施例的基础上，所述备份数据块获取模块61包括：指纹计算单元611，指纹抽样单元612，分组确定单元613。

其中，指纹计算单元611，用于对所述待存储文件进行分块处理，得到各数据块，并计算各数据块的指纹；指纹抽样单元612，用于对各所述数据块的指纹进行抽样处理，并根据抽取到的指纹生成所述待存储文件的指纹抽样表；分组确定单元613，用于根据所述指纹抽样表和分组抽样库，确定所述待存储文件在所述分组抽样库中所属的相似分组，将所述相似分组对应的已存储的数据块作为所述备份数据块，所述分组抽样库由所述指纹库进行抽样处理得到，所述相似分组为所述分组抽样库中与所述待存储文件的指纹抽样表中的抽样指纹相匹配的一个抽样分组。

在图6所示实施例的基础上，所述回收模块63包括：

引用计数监测单元633，用于当监测到所述备份数据块的引用计数的数值发生变化时，识别对应的备份数据块的状态标识；引用计数识别单元634，用于当识别到对应的备份数据块的状态标识表明所述备份数据块未使用时，则识别所述备份数据块的引用计数的数值；第二回收触发单元635，用于当识别到所述备份数据块的引用计数的数值为零时，触发对所述备份数据块进行回收处理。

本实施例的数据存储装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种数据存储方法，其特征在于，包括：

将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块；

根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识；

根据所述备份数据块的状态标识对所述备份数据块进行回收处理。

2.根据权利要求1所述的方法，其特征在于，将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块包括：

对所述待存储文件进行分块处理，得到各数据块，并计算各数据块的指纹；

对各所述数据块的指纹进行抽样处理，并根据抽取到的指纹生成所述待存储文件的指纹抽样表；

根据所述指纹抽样表和分组抽样库，确定所述待存储文件在所述分组抽样库中所属的相似分组，将所述相似分组对应的已存储的数据块作为所述备份数据块，所述分组抽样库由所述指纹库进行抽样处理得到，所述相似分组为所述分组抽样库中与所述待存储文件的指纹抽样表中的抽样指纹相匹配的一个抽样分组。

3.根据权利要求1所述的方法，其特征在于，根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识包括：

在根据所述备份数据块对所述待存储文件进行重复数据删除操作之前，将所述备份数据块的分组计数加一；

在完成根据所述备份数据块对所述待存储文件进行重复数据删除操作之后，将所述备份数据块的分组计数减一。

4.根据权利要求3所述的方法，其特征在于，根据所述备份数据块的状态标识对所述备份数据块进行回收处理包括：

当识别到所述备份数据块的状态标识中的分组计数不为零时，暂停对所述备份数据块的回收处理；

当识别到所述备份数据块的状态标识中的分组计数为零时，触发对所述备份数据块的回收处理。

5.根据权利要求1或2或3所述的方法，其特征在于，根据所述备份数据块的状态标识对所述备份数据块进行回收处理包括：

当监测到所述备份数据块的引用计数的数值发生变化时，识别对应的备份数据块的状态标识；

当识别到对应的备份数据块的状态标识表明所述备份数据块未使用时，则识别所述备份数据块的引用计数的数值；

当识别到所述备份数据块的引用计数的数值为零时，触发对所述备份数据块进行回收处理。

6.一种数据存储设备，其特征在于，包括：

备份数据块获取模块，用于将待存储文件各数据块的指纹与指纹库中的指纹进行匹配，以获取对应的备份数据块；

重复数据删除模块，用于根据所述备份数据块对所述待存储文件进行重复数据删除操作，且为所述备份数据块进行状态标识；

回收模块，用于根据所述备份数据块的状态标识对所述备份数据块进行回收处理。

7.根据权利要求6所述的设备，其特征在于，所述备份数据块获取模块包括：

指纹计算单元，用于对所述待存储文件进行分块处理，得到各数据块，并计算各数据块的指纹；

指纹抽样单元，用于对各所述数据块的指纹进行抽样处理，并根据抽取到的指纹生成所述待存储文件的指纹抽样表；

分组确定单元，用于根据所述指纹抽样表和分组抽样库，确定所述待存储文件在所述分组抽样库中所属的相似分组，将所述相似分组对应的已存储的数据块作为所述备份数据块，所述分组抽样库由所述指纹库进行抽样处理得到，所述相似分组为所述分组抽样库中与所述待存储文件的指纹抽样表中的抽样指纹相匹配的一个抽样分组。

8.根据权利要求6所述的设备，其特征在于，所述重复数据删除模块包括：

第一计数单元，用于在根据所述备份数据块对所述待存储文件进行重复数据删除操作之前，将所述备份数据块的分组计数加一；

第二计数单元，用于在完成根据所述备份数据块对所述待存储文件进行重复数据删除操作之后，将所述备份数据块的分组计数减一。

9.根据权利要求8所述的设备，其特征在于，所述回收模块包括：

回收暂停单元，用于当识别到所述备份数据块的状态标识中的分组计数不为零时，暂停对所述备份数据块的回收处理；

第一回收触发单元，用于当识别到所述备份数据块的状态标识中的分组计数为零时，触发对所述备份数据块的回收处理。

10.根据权利要求6或7或8所述的设备，其特征在于，所述回收模块包括：

引用计数监测单元，用于当监测到所述备份数据块的引用计数的数值发生变化时，识别对应的备份数据块的状态标识；

引用计数识别单元，用于当识别到对应的备份数据块的状态标识表明所述备份数据块未使用时，则识别所述备份数据块的引用计数的数值；

第二回收触发单元，用于当识别到所述备份数据块的引用计数的数值为零时，触发对所述备份数据块进行回收处理。

Images