CN106911793B - I/o优化的分布式存储数据修复方法 - Google Patents

Abstract

本发明提出了一种I/O优化的分布式存储数据修复方法：包括如下任一个或任多个步骤：‑针对故障节点的RBT帮助数据块，可以利用修复故障节点时下载的数据计算得到数据块的内容，不需要读取或下载新的数据；‑对于非RBT帮助数据块，通过计算数据块的公共修复集合，减小从磁盘读取的数据。本发明实现了在节点故障和数据块损坏组合模式下数据修复时的I/O优化。

Description

I/O优化的分布式存储数据修复方法

技术领域

本发明属于存储编码技术领域，具体是一种I/O优化的分布式存储数据修复方法，该方法实现分布式存储中数据修复时的I/O优化。

背景技术

如今，在大型分布式存储中，存储数据的总量以指数级的方式增长着。存储***会面临许多数据节点临时失效或永久失效的问题，为了保证***的可靠性，大多数存储***会选择给数据提供备份。例如Google文件***就采用了3倍备份的方法。备份得到应用的原因是实现方便，易操作，数据恢复简单并且可靠。然而，由于数据量的极速增长，备份的方法给存储开销带来了极大的负担。

纠删码为存储***提供了另一个选择，与备份相比，它能在低冗余的前提下，提供较好的数据可靠性。尤其是Reed-Solomon(RS)码在分布式存储中得到了大量的应用。据报道，Facebook通过采用RS码替代备份的方法，节约了PB级字节的存储开销。

在RS码中，文件被编码后存储到多个节点上，数据节点的个数为k，校验节点的个数为r。(k+r)个节点共同构成了分布式存储***，(k+r)个节点中的任意k个节点都能用来恢复得到原始文件，存储***的容错能力为r个节点。

RS码在修复节点故障时，是用k个节点先得到所有原始文件，然后再对节点损坏的数据进行修复。这个过程的传输带宽是k个节点上存储的数据总量。分布式存储中节点故障的情形大多为单节点故障，而这种以恢复原始文件来修复单个故障节点的方法，会对***资源造成极大的负担。

再生码(Regenerating codes)很好的解决了节点修复时的带宽问题。再生码在节点数据下载前会在节点内部进行运算，下载的数据为运算后的结果。这样，再生码通过从d(＞k)个节点分别下载一小部分数据来实现节点修复。再生码适用于带宽资源紧缺的分布式存储***。

再生码能够优化节点修复过程中的带宽，但是再生码在节点内部的运算会首先读取整个节点上的数据，节点修复过程中的I/O是d个节点上的所有数据。这个值高于RS码的k个节点数据，对***的I/O资源带来了较大的负担。随着存储***计算能力的增强，影响节点修复性能的主导因素成为了I/O，即从磁盘上读取的数据量。I/O已经成为了分布式存储的重要资源，更是许多分布式***的性能瓶颈。Reconstruct-by-Transfer(RBT)码实现了节点修复过程中的I/O优化。RBT码的结构基于再生码，其特点是存储数据为节点参与修复时的计算数据，而不直接存储编码数据。

相比于节点故障，更为常见的故障情形是数据块损坏。数据块损坏是节点上的某一块数据发生了丢失，而这种损坏在对数据块进行读取时才会被发现。数据块损坏不仅出现在磁盘中，在固态硬盘中，由于频繁的编程/擦除，数据块损坏的情形也很常见。因此，在考虑分布式存储中的数据修复时，需要考虑节点和数据块修复的组合情形。纠删码和再生码提供的数据冗余都是以数据节点为单位的，损坏的数据块会以数据节点故障的方式得到修复，显然，这会造成资源的浪费。

综上，应用于分布式存储中的存储编码，需要考虑如下几个方面：

第一，存储效率，代表编码方案为RS码；

第二，修复带宽，代表编码方案为再生码；

第三，I/O，代表编码方案为RBT码；

第四，损坏模式，包括存储节点故障和节点数据块损坏。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

针对现有技术中存在的上述不足，本发明的目的是提供了一种I/O优化的分布式存储数据修复方法。相比于数据运算，I/O往往是更为耗时的操作。I/O已经成为了衡量存储***性能的重要指标，是决定数据修复性能表现的主导因素。本发明在数据修复时考虑节点故障和数据块损坏的组合情形，有效优化分布式存储中数据修复时的I/O。

为实现上述目的，本发明基于RBT码的结构分析，提出了两类数据块修复方法。针对故障节点的RBT帮助数据块，可以利用修复故障节点下载的数据，计算得到数据块的内容，不需要为修复数据块读取或下载新的数据。对于非RBT帮助数据块，通过计算数据块满足的线性关系集合，计算数据块的公共修复集合，从而减小从磁盘读取的数据量。

本发明是通过以下技术方案实现的。

一种I/O优化的分布式存储数据修复方法，包括如下任一个或任多个步骤：

-RBT帮助数据块修复步骤：

在RBT码中，根据RBT帮助数据块分配策略，故障节点查询对应的RBT帮助数据块在存储***中的分布情况，并统计RBT帮助数据块的健康状态信息；

故障节点下载m个健康状态的RBT帮助数据块，并从d-m个未存储对应RBT帮助数据块的帮助节点上，计算得到帮助数据，其中，d为参与故障节点修复时帮助节点个数；

利用故障节点下载的帮助数据计算故障节点对应损坏的RBT帮助数据块，并对损坏的RBT帮助数据块进行数据修复。

-非RBT帮助数据块修复步骤：

对RBT码的消息矩阵和生成矩阵进行重排列，结合RBT码的性质，给出一个数据块可由d～kα个子数据块线性表示的结论，其中，d为参与故障节点修复时帮助节点个数，k为数据恢复时需要联系的帮助节点个数，α为帮助节点上存储的数据块个数；

计算数据块的线性关系集合；

利用数据块满足的线性关系集合计算公共修复集合，并确定I/O最优的修复策略。

优选地，所述RBT帮助数据块分配策略为：结合存储***中***节点和非***节点的权重选择分配RBT帮助数据块。

优选地，所述线性关系集合为部分线性关系集合。

优选地，所述线性关系集合中不包含线性系数为0的子数据块。

优选地，所述I/O最优的修复策略的确定方法为：从待修复的数据块的线性关系集合中寻找一组修复方案，使得参与修复的不同数据块数量最少。

优选地，RBT码的编码方案C为：

C＝ΨM，其中，M为消息矩阵，Ψ为生成矩阵。

优选地，所述生成矩阵Ψ的形式为：

Ψ＝[Φ ΛΦ]，其中，Φ为大小为n×α的范德蒙矩阵，n为存储***中存储节点个数，α为帮助节点上存储的数据块个数，Λ为元素不重复的对角矩阵。

与现有技术相比，本发明具有如下有益效果：

1、针对故障节点的RBT帮助数据块，本发明可以利用修复故障节点下载的数据，计算得到数据块的内容，不需要为修复数据块读取或下载新的数据。

2、对于非RBT帮助数据块，本发明通过计算数据块满足的线性关系集合，计算数据块的公共修复集合，从而减小从磁盘读取的数据量。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是RBT帮助数据块修复策略图；

图2是RBT码生成矩阵、消息矩阵重排列示意图；

图3是RBT码生成矩阵、消息矩阵重排列实例图；

图4是本发明数据修复方法示意图；

图5是数据损坏模式样例图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

本实施例提供了一种I/0优化的分布式存储数据修复方法，包括如下任一个或任多个步骤：

-RBT帮助数据块修复步骤：

在RBT码中，根据RBT帮助数据块分配策略，故障节点查询对应的RBT帮助数据块在存储***中的分布情况，并统计RBT帮助数据块的健康状态信息；

故障节点下载m个健康状态的RBT帮助数据块，并从d-m个未存储对应RBT帮助数据块的帮助节点上，计算得到帮助数据，其中，d为参与故障节点修复时帮助节点个数；

利用故障节点下载的帮助数据计算故障节点对应损坏的RBT帮助数据块，并对损坏的RBT帮助数据块进行数据修复。

-非RBT帮助数据块修复步骤：

对RBT码的消息矩阵和生成矩阵进行重排列，结合RBT码的性质，给出一个数据块可由d～kα个子数据块线性表示的结论，其中，d为参与故障节点修复时帮助节点个数，k为数据恢复时需要联系的帮助节点个数，α为帮助节点上存储的数据块个数；

计算数据块的线性关系集合；

利用数据块满足的线性关系集合计算公共修复集合，并确定I/0最优的修复策略。

进一步地，所述RBT帮助数据块分配策略为：结合存储***中***节点和非***节点的权重选择分配RBT帮助数据块。

进一步地，所述线性关系集合为部分线性关系集合。

进一步地，所述线性关系集合中不包含线性系数为0的子数据块。

进一步地，所述I/O最优的修复策略的确定方法为：从待修复的数据块的线性关系集合中寻找一组修复方案，使得参与修复的不同数据块数量最少。

进一步地，RBT码的编码方案C为：

C＝ΨM，其中，M为消息矩阵，Ψ为生成矩阵。

进一步地，所述生成矩阵Ψ的形式为：

Ψ＝[Φ ΛΦ]，其中，Φ为大小为n×α的范德蒙矩阵，n为存储***中存储节点个数，α为帮助节点上存储的数据块个数，Λ为元素不重复的对角矩阵。

下面结合具体实例，详细介绍。本实例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体操作过程。

-RBT帮助数据块修复过程

RBT码的编码方案C为：

C＝ΨM，其中，M为消息矩阵。

生成矩阵Ψ的形式为：

Ψ＝[Φ ΛΦ]，其中，Φ为大小为n×α的范德蒙矩阵，Λ为元素不重复的对角矩阵。

如图1所示，在(n＝6，k＝3，d＝4)RBT码中，整个节点1发生故障，节点6的第二块数据发生损坏。节点6的第二块数据为节点1的RBT帮助数据块，其中，n为存储节点个数，k为数据恢复时需要联系的帮助节点个数，d为参与故障节点修复时帮助节点个数。

步骤S1.统计存储节点上RBT帮助数据块的健康状况

节点2和节点3上存储了节点1的RBT帮助数据块：

和

其中，c_i表示第i个节点上存储的数据内容，φ_i为Φ的第i行向量，T表示转置，并且处于健康状态。节点4和节点5是正常的工作节点，通过在工作节点内部进行计算，提供帮助数据给节点1，计算过程为

步骤S2.获取帮助数据

在修复节点1的过程中，节点1从帮助节点i得到的帮助数据为

节点1会联系d个帮助节点，从d个帮助节点获取的帮助数据表示为：

其中Ψ_d为生成矩阵Ψ的某d行：

步骤S3.RBT帮助数据块修复

Ψ_d大小为(d×d)。由于Ψ中任意d行线性无关，因此Ψ_d是可逆的，可计算得到：

假设节点6为节点1的RBT帮助节点，并且节点6上存储的节点1帮助数据

发生了数据损坏。现在通过修复节点1时的中间计算值来修复该数据块。

可以表示为：

上面已经提到

已经计算出，而ψ₆表示生成矩阵的第6行，因此

这个数据块是可以在修复节点1的过程中计算得到的，节点6损坏的数据块可以得到修复。

综上，当存储节点满足可修复的条件时，其对应的RBT帮助数据块都可以通过存储节点修复时下载的数据计算得到，不需要为修复RBT帮助数据块读取或下载额外的数据，优化了数据修复资源。

-非RBT帮助数据块修复过程

如图2所示，对(n＝6，k＝3，d＝4)RBT码的生成矩阵和消息矩阵进行重排列，把消息矩阵重排列为基于数据块的单列形式，目的是为了给出基于数据块的分析。

步骤s1.分析数据块的线性关系

RBT码具有如下性质：

(i)RBT码的生成矩阵Ψ中任意d行线性无关；

(ii)利用RBT码编码后的任意k个节点可以得到原始消息；

生成矩阵Ψ的大小为n×d，其中任意d行都是相互独立的。从Ψ中取出d+1行构成的大小为(d+1)×d的子矩阵必定是行向量线性相关的。因此一个数据块存在由d个数据块线性表示的可能。

重排列后生成矩阵Ψ₁大小为nα×kα，其中，α为节点上存储的数据块个数，由kα行行向量组成的子矩阵的大小为kα×kα，若这kα行线性无关，即子矩阵的秩为kα，那么任意一个行向量都可以由这kα行线性表示。而在RBT码中，由于RBT码的消息重建可以由任意k个节点完成，所以任意k个节点上的kα个数据块对应的行向量都是线性无关的。因此一个数据块必然可以由k个节点上存储的kα个数据块线性表示。

通过对生成矩阵行向量的线性分析，可知一个数据块可由存储***中的d～kα个数据块线性表示。

步骤s2.计算数据块的部分线性关系集合

对于重排列后生成矩阵Ψ₁，通过计算由矩阵行向量构成的子矩阵的秩可以判断数据块与其他数据块是否具备线性关系：若加入某行向量的矩阵秩不变，则该行向量可以由原矩阵中的行向量线性表示。如图3所示，

与

构成了大小为5×6的子矩阵M₁，该子矩阵在F₁₃上的秩为4，而

构成的大小为4×6的子矩阵M₂在F₁₃上秩也为4，增加

并没有增加矩阵M₂的秩，也即没有增加极大无关组的个数，因此

可以由另外4个矩阵行向量

线性表出。

得到了

与矩阵行向量

满足线性关系后，需要计算线性关系表达式，得到线性关系系数的过程即为解线性方程组：

按照上述方法计算数据块的线性关系集合，若子数据块对应线性系数为0，计算线性关系集合时需要排除该子数据块，即线性关系集合不包含线性系数为0的子数据块。图3中数据块R₁’，R₂’，R₃’对应的线性关系集合如表1所示，其中，S表示线性关系中元素个数，E(R_i’)表示数据块R_i’对应的线性关系集合：

表1.部分数据块线性关系集合

步骤s3.确定I/O优化的修复方案

数据块R₁’和R₃’分别满足如下的线性关系：

R′₁＝3R′₄+5R′₅+8R′₆+11R′₁₀

R′₃＝4R′₄+R′₅+10R′₉+6R′₁₀+6R′₁₁

数据块R₄’，R5’，R_1o'是两者共同所需的数据块，因此当两个数据块同时发生损坏时，只需要对数据块R₄’，R₅’，R₁₀'读取一次即可，通过寻找公共的修复数据块，可以减少从磁盘的数据读取，优化I/O。

从线性关系集合中寻找修复I/O最优解的方法为：从待修复的数据块的线性关系集合中寻找一组修复方案，使得参与修复的不同数据块数量最少。

图4是本发明提出的数据修复策略示意图，依据该修复策略可以对图5中的数据损坏模式进行修复。图5中节点1发生故障，数据块R₃’和R₁₁’发生了损坏，R₃’为节点1的RBT帮助数据块。按照图4中的策略，确定节点1的修复方案和数据块R₁₁’的线性关系集合，如表2所示：

表2.节点1修复方案集合和数据块R₁₁’线性关系集合

从表2中筛选出的I/O最优修复模式为分别选取节点1和数据块R₁₁’的最后一顶，在该修复模式中，节点1和数据块R₁₁’需要的帮助数据块是一致的，共需要6个数据块的参与。最后利用节点1下载的数据计算RBT帮助数据块R₃’的内容，完成数据修复操作。

数据修复是分布式存储***中的重要操作。随着存储容量的扩展和计算能力的提升，I/O成为了影响数据修复性能表现的关键因素。目前，大量的研究集中在修复节点故障带来的数据损坏。相比于节点故障，更为常见的情况是节点上的数据块发生了损坏。本实施例提出了两类数据块修复方法：针对故障节点的RBT帮助数据块，可以利用修复故障节点时下载的数据计算得到数据块的内容，不需要读取或下载新的数据；对于非RBT帮助数据块，通过计算数据块的公共修复集合，减小从磁盘读取的数据。上述方法实现了在节点故障和数据块损坏组合模式下数据修复时的I/O优化。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种I/O优化的分布式存储数据修复方法，其特征在于，包括如下任一个或任多个步骤：

-RBT帮助数据块修复步骤：

在RBT码中，根据RBT帮助数据块分配策略，故障节点查询对应的RBT帮助数据块在存储***中的分布情况，并统计RBT帮助数据块的健康状态信息；

故障节点下载m个健康状态的RBT帮助数据块，并从d-m个未存储对应RBT帮助数据块的帮助节点上，计算得到帮助数据，其中，d为参与故障节点修复时帮助节点个数；

利用故障节点下载的帮助数据计算故障节点对应损坏的RBT帮助数据块，并对损坏的RBT帮助数据块进行数据修复；

所述RBT帮助数据块分配策略为：结合存储***中***节点和非***节点的权重选择分配RBT帮助数据块；

-非RBT帮助数据块修复步骤：

对RBT码的消息矩阵和生成矩阵进行重排列，结合RBT码的性质，给出一个数据块可由其它d或kα个数据块线性表示的结论，其中，d为参与故障节点修复时帮助节点个数，k为数据恢复时需要联系的帮助节点个数，α为帮助节点上存储的数据块个数；

计算数据块的线性关系集合；

利用数据块满足的线性关系集合计算公共修复集合，并确定I/O最优的修复策略；

I/O最优的修复策略的确定方法为：从待修复的数据块的线性关系集合中寻找一组修复方案，使得参与修复的不同数据块数量最少。

2.根据权利要求1所述的I/O优化的分布式存储数据修复方法，其特征在于，所述线性关系集合为部分线性关系集合。

3.根据权利要求1或2所述的I/O优化的分布式存储数据修复方法，其特征在于，所述线性关系集合中不包含线性系数为0的子数据块。

4.根据权利要求1所述的I/O优化的分布式存储数据修复方法，其特征在于，RBT码的编码方案C为：

C＝ΨM，其中，M为消息矩阵，Ψ为生成矩阵。

5.根据权利要求4所述的I/O优化的分布式存储数据修复方法，其特征在于，所述生成矩阵Ψ的形式为：

Ψ＝[Φ ΛΦ]，其中，Φ为大小为n×α的范德蒙矩阵，n为存储***中存储节点个数，α为帮助节点上存储的数据块个数，Λ为元素不重复的对角矩阵。

Images