CN105450741A - 分布式存储***中供应服务器选择和修复数据传输方法 - Google Patents

Abstract

本发明公开了一种分布式存储***中供应服务器选择和修复数据传输方法，其特征在于，基于混合整数线性规划实现，将供应服务器定义为供应节点，根据待修复的分布式存储***，获取节点集合、链路集合、需选择的供应节点的数量、每个供应节点需传输到新生节点的数据量；将基于网络编码的分布式存储***表示为有向图；根据有向图，基于混合整数线性规划，建立最优供应节点选择及修复数据传输的数学模型；求解获得最优的供应节点集合，每个供应节点到新生节点的数据传输路径以及每条路径上传输的数据传输速率。本发明减少了整个数据修复的再生时间，从而提高了***性能。

Description

分布式存储***中供应服务器选择和修复数据传输方法

技术领域

本发明涉及基于网络编码的分布式存储***的数据修复，具体涉及一种在对基于网络编码的分布式存储***进行数据修复时进行供应服务器选择和修复数据传输的方法。

背景技术

随着大数据时代的到来，***式增长的信息加速了数据存储的发展。思科预测在2018年，数据中心流量预估为8.6ZB（zettabytes）。由于分布式存储***具有以下优点：1）增强存储的可靠性；2）提高存储的可靠性；3）动态可扩展，易于维修等等，因此，很多提供数据存储的服务商都是通过分布式存储***存储数据。

众所周知，数据的储存必须具有很高的可靠性。为了保证数据存储的可靠性并节约成本，现有技术中，大规模的分布式存储***一般在分布在不同地理位置的服务器上，通过冗余方式存储数据，这样，用户可以随时随地的获得所需的信息。传统的存储方案主要有复制和里德-所罗门码。2000年，网络编码被提出，网络编码是一种融合了路由和编码的信息交换技术，它的核心思想是在网络中的各个节点上对各条信道上收到的信息进行线性或者非线性的处理，然后转发给下游节点，中间节点扮演着编码器或信号处理器的角色。通过网络编码，可以达到多播路由传输的最大流界，提高了信息的传输效率，因而其具有增加网络吞吐量、均衡网络负载、提高带宽利用率等优点。网络编码应用于分布式存储***的数据存储，同时具有纠删码的MDS性质，用户只要获得足够的编码块就可以恢复原文件。

尽管网络编码能提高可靠性，但在实际应用中，分布式存储***中的数据容易受到各式各样的破坏，例如断电，骇客入侵、磁盘损坏等。为了保证存储的可靠性，需要对丢失的数据进行及时修复。当某一个存储服务器失效后，一个新的存储服务器（该服务器被称为新生服务器）会替换原有失效服务器，并且从其它幸存的存储服务器（也称为存活服务器）中选择部分服务器（称为供应服务器），并从其上下载修复数据，对丢失的数据进行再生。例如，中国发明专利申请CN103336785A公开了一种基于网络编码的分布式存储方法及其装置，其中，在数据修复步骤中，从可用数据节点（存活服务器）中随机选择编码数据块，下载编码数据块构建修复矩阵并存储到新的可用数据节点（新生服务器）中。

但是，在修复过程中，供应服务器的选择和修复数据的传输方法直接影响网络的带宽（修复带宽）消耗和修复时延（再生时间）。上述随机选择供应服务器的方法对再生时间具有不利影响。

发明内容

本发明的发明目的是提供一种分布式存储***中供应服务器选择和修复数据传输方法，通过对供应服务器的优化选择和数据传输路径的优化，有效利用网络带宽，缩短修复时延。

为达到上述发明目的，本发明采用的技术方案是：一种分布式存储***中供应服务器选择和修复数据传输方法，基于混合整数线性规划实现，将供应服务器定义为供应节点，所述方法包括以下步骤：

A、根据待修复的分布式存储***，获取下列参数：

由存活服务器、新生服务器和网络中的互联设备构成的节点集合，

节点集合中各节点间的链路集合，

需选择的供应节点的数量，

每个供应节点需传输到新生节点的数据量；

B、根据所获取的参数，将基于网络编码的分布式存储***表示为有向图G(V,E)，G为有向连通图，V和E分别为节点集合及链路集合；

其中，以所述存活服务器为存活节点，以新生服务器为新生节点，以网络中的互联设备为中间节点，所述节点集合由存活节点、新生节点和中间节点构成；

所述链路集合的构建方法是，如果节点集合V中两个不同节点之间存在通信链路，则在两个节点之间连接一条链路，并给出通信链路上的数据传输方向以及每个传输方向上的带宽，重复本步骤直至所有符合条件的链路连接完毕，这些链路构成链路集合E；

C、根据有向图，基于混合整数线性规划，建立最优供应节点选择及修复数据传输的数学模型；

D、针对建立的数学模型，求解获得最优的供应节点集合，每个供应节点到新生节点的数据传输路径以及每条路径上传输的数据传输速率；

E：获取最优供应节点选择及修复数据传输的方案。

上述技术方案中，所述步骤C具体包括以下步骤：

C1、获取已知参数：存活节点的集合、新生节点、中间节点、每个节点的上游邻居节点集合、每个节点的下游邻居节点集合、有向边的集合、有向边上的带宽、需选择的供应节点的数量以及每个供应节点需传输到新生节点的数据量；

C2、对变量进行定义，所述变量为：每个供应节点传输至新生节点的数据流速率及该速率的最小值、每条数据流在每条边上的数据传输速率、每个供应节点至新生节点的传输速率以及当前存活节点是否被选为供应节点，0表示当前存活节点没被选为供应节点，1表示当前存活节点被选为供应节点；

C3、利用所述定义的参数和变量构建目标函数——最小化数据修复的时间等价于最大化所有供应节点传输至新生节点的数据流速率的最小值：

构建目标函数的约束条件包括：所有供应节点传输至新生节点的数据流速率的最小值小于等于每个供应节点传输到新生节点的传输速率、进出每个中间节点的数据传输速率守恒、供应节点发出的数据传输速率和新生节点上收到的数据传输速率守恒、不同的数据流通过同一条链路的总速率不超过该链路的带宽、保证只有存活节点被选择为供应节点时，有数据流从该节点传出、限制供应节点的数量以及整数变量和实数变量的取值范围；

由此建立最优供应节点选择及修复数据传输的数学模型。

上文中，在构建约束条件时主要考虑到如下因素：数据修复时间为每个供应节点将需要传输的数据全部传输完毕时间的最大值。对于每个供应节点，将需要传输的数据全部传输完毕时间等于需传输的数据量除以每个供应节点至新生节点的传输速率。因为在基于网络编码的分布式存储***中，每个被选为供应节点传输到新生节点的数据量为相同值，所以，最小化数据修复时间，等价于最大化每个供应节点到新生节点的传输速率的最小值。

上述技术方案中，整数线性规划求解方法为隐枚举法、分枝定界法或割平面法。

进一步的技术方案，对所提出的混合整数线性规划使用AMPL语言建模并用CPLEX线性规划求解器直接求解，获得供应服务器选择和修复数据传输方案。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

与现有技术中的随机选择不同，本发明将分布式***转换为有向图，将供应服务器和数据传输方案的选择转换成最优化问题，通过混合整数线性规划实现优化选择，最优地从存活服务器集合中选择出相应的供应服务器集合，并得到从供应服务器到新生服务器之间的数据传输方案，减少了整个数据修复的再生时间，从而提高了***性能。

附图说明

图1是实施例中基于网络编码的分布式存储***的修复过程中最优供应节点和数据传输方案的流程图；

图2是基于网络编码的分布式存储***的网络模型；

图3是根据图2的网络模型构建的有向图；

图4-图6是三种不同的修复方案示意图；

图7是实施例中仿真结果示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例：本实施例提供了一种基于网络编码的数据存储中节点丢失修复过程中最优供应节点选择及数据传输的方法，考虑到基于网络编码的分布式存储***中供应节点的选择及数据传输路径，使得在数据修复过程中的修复时延最小化。

图1为本实施例的基于网络编码的分布式存储***的修复过程中最优供应节点和数据传输方案的流程图，具体步骤如下：

A11：获取基于网络编码的分布式存储***参数。

具体如下：

根据基于网络编码的分布式存储***，获取以下的参数：节点集合（包括存活节点、路由器/网络互连设备构成的中间节点以及新生节点）、节点间链路连接信息、链路带宽（链路最大传输速率）、需选择的供应节点的数量以及每个供应节点需传输到新生节点的数据量。

需选择的供应节点数量可以设置是任意大于等于1的整数，根据实际情况由***或管理者给定。通常，从任意k个存活节点上下载数据即可恢复原始文件，则可以设置需选择的供应节点数量为k。

A12：根据步骤A11中获取的参数，将基于网络编码的分布式存储***表示为有向图，。

其中，V表示有向图的节点集合，节点集合包括：存活节点集合、新生节点以及中间节点集合，E表示有向图G的链路集合。

图2给出了基于网络编码的分布式存储***的修复实例。从图2中，看出网络节点包括4个存活节点（,）、1个新生节点（）、7个路由器/网络互连设备构成的中间节点（），其中需要从4个存活节点中选择出3个作为供应节点参与到数据修复过程中。相邻设备之间的链路的最高数据率如图所示。

A121：将基于网络编码的分布式存储***表示为有向图，具体步骤如下：

在物理网络中，判断网络中两个设备之间是否存在通信链路，如果是，则在有向图中对应的两个节点间连接一条链路，并根据通信链路信息给出有向图中链路上的数据传输方向，否则，这两个节点之间不连接任何链路。用链路集合E表示所有的链路。例如，假设节点u和节点v之间存在一条从u到v的通信链路，则在它们之间存在一条从u到v的有向链路，。根据物理网络中通信链路的带宽情况获得每条链路的最大传输速率，表示为。

重复上述步骤A121直至遍历完所有符合条件的链路。

在图2给出的实例中，网络中存活服务器、路由器以及新生服务器共计有12个，相应的，在有向图中有12个节点，图3为根据图2的实例构建的有向图。

因此，图3即为根据图2的实例构建的有向图，并且图4、图5、图6给出了不同的供应节点选择以及修复数据传输方案。整个文件大小为M=300Mb,=2，供应节点数量=3，每个存储服务器存储的数据量为=150Mb,因此每个供应节点传输的数据量为=75Mb。图4选择的供应节点为,，其中从供应节点到新生节点的三条路径都通过链路，因此每条路径在该条链路上的最高数据传输速率为30Mbps/3=10Mbps。每条路径均经过的所有链路上最高数据率的最小值为10Mbps。因此它的再生时间为75Mb/10Mbps=7.5s；图5选择的供应节点为,，其中有两条路径都通过链路，因此每条路径在该条链路上的最高数据传输速率为30/2=15Mbps。每条路径均经过的所有链路上最高数据率的最小值为15Mbps，因此它的再生时间为75Mb/15Mbps=5s；图6选择的供应节点也是,，如图所示，与图5选择的路径不同，有三条路径都经过链路，它的最高数据率为100Mbps,因此每条路径在这条链路的最高数据传输速率为100/3=33.33Mbp。每条路径均经过的所有链路上最高数据率的最小值为30Mbps，因此每条路径上传输数据的最高数据率为30Mbps。图6再生时间为75Mb/30Mbps=2.5s，可见供应节点选择以及数据传输的方案对再生时间的影响。

A13：根据有向图，构建基于混合整数线性规划的最优供应节点选择及数据传输的数学模型。

线性规划是目标函数和约束条件都是线性的最优化问题，被大量用于解决极大化或极小化的实际问题。本发明的混合整数线性规划是线性规划的一种。

根据有向图，构建基于混合整数线性规划的最优供应节点选择及数据传输的数学模型，具体步骤如下：

A131：对已知参数进行定义。

在本实施例中，对以下的参数进行定义：节点集合V，V包括存活节点集合,，式中，n_i表示第i个存活节点，新生节点和网络互联节点集合、有向边的集合E，从节点u指向节点v的有向边，、链路带宽/最高数据率、每个节点的上、下游节点集合、需选择的供应节点的数量以及每个供应节点需要传输给新生节点的数据量、存活节点的下标集合、一个足够大的常数；

A132：对未知变量进行定义。

在本实施例中，对以下的参数进行定义：每个供应节点至新生节点的传输速率的最小值（***再生时间为）、在有向图G中，不同存活节点()至新生节点的传输速率()、流在边上的流量以及0-1变量，当存活节点被选择为供应节点，,否则。o_i为约束再生时间r的需要的变量，用来使目标获得的r值为

A133：构建基于混合整数线性规划的最优供应节点选择和数据传输的数学模型。

本发明的优化对象是数据再生的时间。数据再生时间定义为每个供应节点将需要传输的数据全部传输完毕时间的最大值。对于每个供应节点，将需要传输的数据全部传输完毕的时间等于传输数据量除以每个供应节点至新生节点的传输速率。因为在基于网络编码的分布式存储***中，每个被选为供应节点传输到新生节点的数据量为相同值，所以，最小化数据修复时间()，其中r表示每个供应节点至新生节点的传输速率的最小值，等价于最大化每个供应节点到新生节点的传输速率的最小值（r作为优化对象）。

A1331：首先构建整数模型如下：

目标函数：（1）

式(1)为目标函数，最大化数据传输的速率，即，最大化供应节点至新生节点的数据传输速率的最小值。

约束条件为：

式(2)-(11)为约束条件，限制供应节点的选择，选择个存活节点作为供应节点使数据再生时间最小,即最大化供应节点至新生节点的数据传输速率的最小值。式（2）（3）中设置为一个足够大的常数。式（2）（3）约束使为每个供应节点数据传输速率的最小值。当存活节点被选为供应节点时，=1，则,反之,；式（4）-（6）用于保证整个网络的数据传输满足流守恒定律；式（4）-（6）和（8）保证当存活节点被选为供应节点时，存在非0的传输速率，即存在数据从该节点传至新生节点；式（7）定义了不同的流通过同一条链路的总传输速率的限制；式(9)保证了仅可以选择个存活节点作为供应节点；式(10)-(11)给出了0-1整数变量和实数变量的取值范围。

A14：针对建立的数学模型，通过AMPL语言描述本发明中的线性规划并使用CPLEX求解器求解，获得最优解，进一步获得最优的供应节点集合和修复数据传输方案。

在本实施例中，采用CPLEX线性规划求解器直接求解。根据求解器得出的结果，若的值为0,表明节点未被选为供应节点；若值为1，表明节点被选为供应节点。变量的值表示从节点发到新生节点的修复数据在链路上的数据传输速率。若节点未被选为供应节点，即=0,则求解得到的。变量的值构成了修复数据传输方案。按照结果的供应节点选择和修复数据传输方案使数据再生时间最小。

为进一步验证本发明的效果，在仿真实验中，使用广泛认可的随机网络拓扑生成算法Waxman算法生成基于网络编码的分布式存储***的网络拓扑，该算法包括三个参数α、β、γ，其中α控制网络拓扑中的节点密度，β和γ控制节点间存在链路的概率。生成的节点被随机的布置在的区域内。每条链路的带宽设定为均匀分布在[10Mbps,40Mbps]范围内；选择供应节点的数量范围为4至9个。在仿真实验中，存储的文件通过MDS冗余编码存储在服务器（存活节点）上。文件大小为M=1024Mb，每个服务器上存储的数据量，每个供应节点传输的数据量为，在实验中，当作已知量。

本发明的仿真实验中，设定α=0.4,β=0.4,γ=0.4时，生成一个拓扑，然后针对这张拓扑图，根据所提出算法得到再生时间。表1和图7为仿真结果，其中表1为利用本发明实施例提供的方法得到数据再生时间与随机选择供应节点方法得到的再生时间比较，图4把表2中的仿真结果通过折线图进行了直观展示。

表1

供应节点的数量	随机选择方案下的再生时间（s）	本发明所述方案下的再生时间（s）
			4	21.5	14.9
5	18.9	11.3
			6	13.8	9.4
7	10.3	8.7
			8	9.1	7.9
9	8.4	6.1

图7中，显示的是本发明实施例提供的方法进行仿真的仿真结果图（供应节点数量变化）。从表1和图7中可以看出，虽然d值增加时，再生时间在两种方案下都在减少，但是，本发明的方案再生时间明显低于随机选择供应节点的再生时间。

A15：获取最优供应节点集合及数据传输的方案。

本发明实施例提供的方法考虑了在基于网络编码的分布式***中，当有存储服务器失效并用新生服务器代替时，通过从其它的存活服务器中，选择一定数量的服务器集为新生的服务器传输数据，从而减少数据的再生时间。

此外，本发明将网络中供应服务器集和数据传输问题使用数学中的线性规划方法解决，通过对混合整数线性规划使用AMPL语言建模并用CPLEX线性规划求解器直接求解，获取最优解。本发明提供的方法具有很好的应用价值，对于那些提供分布式存储数据服务的大型公司（例如***），服务器的损坏或失效是频繁发生的，利用本发明，可以大大减少修复的时间，减少中断服务用户的时延，能够一定程度上提高***性能。

Claims (4)

1.一种分布式存储***中供应服务器选择和修复数据传输方法，其特征在于，基于混合整数线性规划实现，将供应服务器定义为供应节点，所述方法包括以下步骤：

A、根据待修复的分布式存储***，获取下列参数：

由存活服务器、新生服务器和网络中的互联设备构成的节点集合，

节点集合中各节点间的链路集合，

需选择的供应节点的数量，

每个供应节点需传输到新生节点的数据量；

B、根据所获取的参数，将基于网络编码的分布式存储***表示为有向图G(V,E)，G为有向连通图，V和E分别为节点集合及链路集合；

其中，以所述存活服务器为存活节点，以新生服务器为新生节点，以网络中的互联设备为中间节点，所述节点集合由存活节点、新生节点和中间节点构成；

所述链路集合的构建方法是，如果节点集合V中两个不同节点之间存在通信链路，则在两个节点之间连接一条链路，并给出通信链路上的数据传输方向以及每个传输方向上的带宽，重复本步骤直至所有符合条件的链路连接完毕，这些链路构成链路集合E；

C、根据有向图，基于混合整数线性规划，建立最优供应节点选择及修复数据传输的数学模型；

D、针对建立的数学模型，求解获得最优的供应节点集合，每个供应节点到新生节点的数据传输路径以及每条路径上传输的数据传输速率；

E：获取最优供应节点选择及修复数据传输的方案。

2.根据权利要求1所述的一种分布式存储***中供应服务器选择和修复数据传输方法，其特征在于：所述步骤C具体包括以下步骤：

C1、获取已知参数：存活节点的集合、新生节点、中间节点、每个节点的上游邻居节点集合、每个节点的下游邻居节点集合、有向边的集合、有向边上的带宽、需选择的供应节点的数量以及每个供应节点需传输到新生节点的数据量；

C2、对变量进行定义，所述变量为：每个供应节点传输至新生节点的数据流速率及该速率的最小值、每条数据流在每条边上的数据传输速率、每个供应节点至新生节点的传输速率以及当前存活节点是否被选为供应节点，0表示当前存活节点没被选为供应节点，1表示当前存活节点被选为供应节点；

C3、利用所述定义的参数和变量构建目标函数——最小化数据修复的时间，等价于最大化所有供应节点传输至新生节点的数据流速率的最小值：

构建目标函数的约束条件包括：所有供应节点传输至新生节点的数据流速率的最小值小于等于每个供应节点传输到新生节点的传输速率、进出每个中间节点的数据传输速率守恒、供应节点发出的数据传输速率和新生节点上收到的数据传输速率守恒、不同的数据流通过同一条链路的总速率不超过该链路的带宽、保证只有存活节点被选择为供应节点时，有数据流从该节点传出、限制供应节点的数量以及整数变量和实数变量的取值范围；

由此建立最优供应节点选择及修复数据传输的数学模型。

3.根据权利要求1所述的一种分布式存储***中供应服务器选择和修复数据传输方法，其特征在于：整数线性规划求解方法为隐枚举法、分枝定界法或割平面法。

4.根据权利要求3所述的一种分布式存储***中供应服务器选择和修复数据传输方法，其特征在于：对所提出的混合整数线性规划使用AMPL语言建模并用CPLEX线性规划求解器直接求解，获得供应服务器选择和修复数据传输方案。