CN104780213B

CN104780213B - 一种主从分布式图处理***负载动态优化方法

Info

Publication number: CN104780213B
Application number: CN201510181554.0A
Authority: CN
Inventors: 谢夏; 金海�; 徐曼娜
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2015-04-17
Filing date: 2015-04-17
Publication date: 2018-02-23
Anticipated expiration: 2035-04-17
Also published as: CN104780213A

Abstract

本发明公开了一种主从分布式图处理***负载动态优化方法，包括主计算节点的动态再划分控制步骤，工作计算节点中负载监控步骤和负载转移步骤。本发明不依赖于图数据的初始划分。工作节点在迭代执行时，根据主节点的指令执行动态再划分进行负载均衡，负载监控步骤监控各个计算节点的负载，并在每次迭代执行结束前发送到其他各个计算节点，同时负载转移步骤在每次迭代执行开始时，根据收到的其他节点的监控到的负载消息判断是否所在节点超载，并且确定目标转移节点和转移量，在这次迭代执行完时，将负载数据转移到目标节点，从而实现分布式图处理***的动态负载均衡。实施本发明能有效的改善分布式图处理***中存在的负载不均衡现象。

Description

一种主从分布式图处理***负载动态优化方法

技术领域

本发明属于分布式图数据处理领域，更具体地，涉及基于BSP模型实现的分布式图处理***。

背景技术

图是计算机科学中最常用的一类抽象数据结构，相对于传统的关系数据和XML数据库，图的表达能力更加丰富，因此，与图相关的应用几乎无处不在。可是随着大数据时代的到来，图的规模日益增大，在云计算环境中对图进行分布式处理，已经成为了新的研究趋势。因此也出现有大量的分布式图处理***，主要都是基于BSP模型实现的类Pregel***。BSP计算模型是同步计算模型，可以进行多个迭代循环执行，一个迭代包括计算、通信和同步三个步骤。BSP模型非常适合分布式图计算的多次迭代特性，因此，Google根据BSP模型开发了内部使用的分布式图处理模型Pregel。Pregel采用了以顶点为中心的方法，即顶点参与计算，顶点在执行过程中分为活跃态和非活跃态。图中的边不参与计算只用于传递消息。一次图算法执行会由多次迭代才能完成。对于非活跃态的顶点若收到了消息，则会被激活。同时Pregel使用主从结构进行分布式处理，主节点负责协调各个计算节点进行工作，计算节点则主要负责图任务计算。

图划分是在分布式图处理***中进行图处理时极其重要的步骤，有效的图划分策略能够极大的提高图的处理效率。现有的图划分策略大多是在图数据载入计算节点前，根据图划分的原则：子图均衡以及子图之间的低连通性，进行一次初始划分，对于这类图划分策略我们称为静态图划分。然而，对图数据划分后进行分布式图处理时，根据执行的图算法(即图操作)的不同，图的迭代特点也不同(即各个计算节点中存在负载不均衡)。这是因为不同的图算法在各个迭代过程中并不需要对图中所有顶点数据进行处理。因此导致不同的图算法在执行时会有不同的负载行为，从而产生运行时的负载不均衡。然而静态的图划分算法难以在执行初期预测图的负载行为变化，因此一次静态的图划分并不能解决不同算法导致的运行时负载不均衡。

发明内容

针对以上提出的运行时负载不均衡问题，本发明提供了一种适用于分布式图处理场景的负载动态优化方法。首先，对图执行时的负载进行监控。根据各个计算节点的监控结果，根据全局平均负载确定超载节点，将一部分负载从超载节点转移到未超载节点，这一过程也称为负载转移。由于动态再划分本身会引起一定的计算和通信开销，所以需要对动态再划分本身进行控制，因此在主节点上还需要有动态再划分控制步骤。这一发明能有效的解决由图算法引起的负载不均衡问题，弥补静态划分的不足。

本发明提供的负载动态优化方法，包括分布式图处理***中主节点的动态再划分控制步骤，以及工作节点中的负载监控和负载转移步骤。动态再划分控制步骤主要是自适应的控制动态再划分的执行与结束，以减少动态划分本身引起的开销。负载监控步骤和负载转移步骤位于工作节点，两者相辅相成，是动态划分的主要组成部分。这里的主节点与工作节点所处的物理机性能配置都是相同的。

所述的负载监控步骤用于监控分布式图处理时各个迭代过程的负载情况。工作节点的负载的由一次迭代中活跃顶点集以及活跃边集来确定，其中，活动顶点数(即活动顶点集的长度)是工作节点中需要调用顶点计算函数的次数，活跃边数(即活跃边集的长度)是工作节点中顶点计算函数需要处理的消息数，具体公式(1)如下：

其中，i为任一工作节点，AV_i为活跃顶点集，AE_i为活跃边集，K为计算节点数目。各个工作节点都将监控到的负载发送到其他所有节点，供下一次迭代工作节点确定自身是否超载以及超载后需要转移的负载量。注意，这里不将负载发送到主节点来进行计算的原因是，本发明针对都是基于BSP模型的图处理***，每一次消息的发送只有在同步后进入到下一次迭代才能到达相应的消息目的地。若主节点进行超载判断以及转移目标节点的确定，此时，工作节点只能不进行任何计算而等待主节点计算完后在进入下一次迭代，才能接收主节点发送来的结果信息。这将导致更为严重的计算资源的浪费，所以我们将这些计算都在各个工作节点中进行。

所述的负载转移步骤用于从超载节点转移一部分负载顶点到未超载节点以达到运行时负载均衡。在每次迭代执行开始时，每个计算节点都会收到所有计算节点发送来的负载监控结果。每个计算节点根据收到的所有计算节点的负载情况确定全局平均负载，判断自身是否为超载节点。这里不能简单的设置全局平均负载为超载标准，因为当各个计算节点相差不大几乎均衡的情况下，也会有计算节点的负载量大于平均负载的情况，所以只有负载量大于平均值一定区间的情况才能确认为超载，优先区间是超过平均负载(110％-130％)，取值过小可能误将已均衡节点当作超载节点，取值过大可能会漏掉一些超载节点。若为超载节点，则需对所有计算节点的负载排序确定目标转移节点。例如，总共有K个工作节点，且各个工作节点已经根据其负载从大到小排序，超载的节点肯定靠近表头，位置为i(1<i<＝K)，则对应的负载转移目标节点位置为K-i+1。根据公式(2)确定从超载节点(i)到目标节点(j)的负载转移量。

本发明可以根据计算节点中活跃顶点的贡献函数来确定需要转移的顶点，贡献函数定义如公式(3)。

IO_i,j(u)＝I_i,j(u)+O_i,j(u) 公式(3)

其中，u为计算节点(i)中的活跃顶点，I_i,j(u)和O_i,j(u)分别是顶点u从计算节点(j)接收到的消息数以及发送给计算顶点(j)的消息数。这里，可以对贡献函数进行进一步的优化。例如,在迭代次数为s时，u留在计算节点(i)的贡献值为而转移到目标节点(j)的贡献值为此时转移顶点u带来的效益并不明显，这种情况，我可以考虑不转移顶点u。因此，我们可以设置一个比率λ，只有当转移后的贡献值IO_i,j(u)与未转移的贡献值IO_i,i(u)的比率大于λ，即我们才考虑转移顶点u，即此时贡献值为原IO_i,j(u)，如小于λ，则贡献值为0。需要注意的是，这里λ>1，优先区间为(1.2-1.4)，取值过大会导致可转移顶点数较少，取值过小会导致通信开销增加。由上述贡献函数对计算节点中的活跃顶点从大到小的排序，得到活跃顶点的转移排名在转移负载顶点时，将从排名顶端选取具有最大贡献值的顶点进行转移。每个活跃顶点转移顶点减少的负载量由公式(4)计算，

W_i(u)＝1+|AE_i，j(u)| 公式(4)

其中，|AE_i，j(u)|表示与活跃顶点u连接的活跃边集长度。

所述的动态再划分控制步骤位于主节点中。主节点为分布式图计算任务的控制节点，不参与计算。在动态再划分控制步骤中，可根据各个计算节点的负载信息以及转移顶点数，判断负载是否已经达到优化状态，若是则结束动态再划分。

本发明提供了一种负载优化方法，用于在分布式图处理场景中进行负载均衡优化，所述方法中各个步骤总体的执行包括以下步骤：

(1)初始化步骤：将需要进行计算的图数据上传到分布式图处理***，确定分布式图处理***需要执行的图计算操作；分布式图处理***对载入的图数据进行图划分，图数据划分成多个子图数据后分别载入到各个计算节点；

(2)初始负载计算步骤：各计算节点计算本节点子图数据的负载量；在通信阶段，将负载量发送给其它所有计算节点和主节点；所述负载量等于本节点活跃顶点数加活跃边数；

(3)负载量判别步骤：各计算节点根据收到的其它计算节点负载量，判断自身是否超载，是则计算本节点负载并在通信阶段前转步骤(4)；否则继续计算本节点负载量，在通信阶段，将负载量发送给其他所有计算节点，转步骤(5)；

(4)负载转移步骤；

(5)动态再划分步骤：主节点计算所有计算节点在上一次迭代中转移的顶点数，判断转移顶点数是否小于预设的转移阈值(这里的阈值是指动态再划分后的收益与其开销的临界值，优先区间为(0.5％-2％)，取值过大会过早的结束动态再划分而降低负载优化效果，取值过小会由于长时间运行动态再划分而导致开销过大)：是则主节点向各个计算节点发送动态划分结束的指令，各计算节点收到主节点的动态划分停止指令，停止执行负载量计算和负载转移；否则发出继续负载优化指令，转步骤(3)。

与现有技术相比，本发明具有以下有益效果：

(1)对图数据结构和图计算操作依赖较小：原有的静态划分在很大程度上依赖于图数据结构以及相应的图操作，一次初始的静态划分很难达到所有的图操作在整个迭代过程中都是负载均衡的。本发明采用的动态再划分策略不依赖于初始划分，对于不同的图数据结构以及图操作都有很好的平衡负载的效果。

(2)负载优化效果好：通过实时监控各个计算节点的负载情况，定位超载节点并转移贡献因子大顶点到未超载节点，动态再划分极大的改善了由不同图算法行为引起的负载不均衡，减少了分布式图计算的整体处理时间，负载均衡优化效果明显。最好的情况，能够减少50％计算时间(SSSP、BSP等负载均衡明显的算法)，对于一般情况能减少10％-30％的计算时间。

(3)附带开销小：由于动态再划分在分布式图计算过程中执行，负载的监控以及转移会带来一定的计算和通信开销。因此，本发明采用了动态再划分控制步骤，在主节点中监控各个计算节点的转移顶点数和负载情况，当负载达到均衡收敛时，停止动态再划分。另外，与一些其他的再划分策略不同，本发明并不会额外增加迭代次数用于顶点转移，负载监控和转移都在同一迭代计算中执行，从而减小了动态再划分引起的附带开销。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的总体流程图；

图2是明负载转移的详细工作流程图；

图3是主节点动态再划分步骤工作流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1所示的基于BSP模型主从分布式图处理***的负载动态优化方法执行步骤如下：

(1)初始化步骤：将需要进行计算的图数据上传到分布式图处理***，确定分布式图处理***需要执行的图计算操作；分布式图处理***对载入的图数据进行Hash划分，图数据划分成多个子图数据后分别载入到各个计算节点；

(3)负载量判别步骤：各计算节点根据收到的其它计算节点负载量，计算平均负载用以判断自身是否超载。若计算节点的负载量大于平均负载的110％，则确定为超载，计算本节点负载后在通信阶段前转步骤(4)；否则继续计算本节点负载量，在通信阶段，将负载量发送给其他所有计算节点，转步骤(5)；

(4)负载转移步骤；

(5)动态再划分步骤：主节点计算所有计算节点在上一次迭代中转移的顶点数，判断转移顶点数是否小于预设的转移阈值：是则主节点向各个计算节点发送动态划分结束的指令，各计算节点收到主节点的动态划分停止指令，停止执行负载量计算和负载转移；否则发出继续负载优化指令，转步骤(3)；

如图2所示，图1中步骤(4)中负载转移步骤详细工作流程步骤如下：

(4-1)对所有计算节点的负载进行排序，确定目标转移节点。

(4-2)根据目标转移计算节点的负载量，计算转移负载量Q_i，j，并将赋值给临时变量Temp。

(4-3)根据贡献函数值IO_i,j(u)对计算节点i中所有活跃顶点进行降序排序(本实施例中，贡献函数公式中的λ设为1.2)，得到转移排名表

(4-4)判断Temp大于0或转移排名表还有贡献值大于0的活跃顶点是否为真，若是进入步骤(4-5)，否则负载转移结束。

(4-5)从转移排名表中取出排名最高的活跃顶点u。

(4-6)u转移后减少的负载量W_i(u)是否小于等于Temp，若是进入步骤(4-7)，否则进入步骤(4-4)。

(4-7)将u从计算节点i转移到目标计算节点j。

(4-8)将Temp-u转移后减少的负载量W_i(u)赋值给Temp，进入步骤(4-4)。

图3是本发明实施例的负载优化方法主节点端一次迭代的工作流程图(含有动态再划分控制步骤)，如图1所示，本发明负载优化方法步骤(5)中主节点端一次迭代工作流程包括以下步骤：

(5-1)处理接收到的上次迭代各个计算节点发送来的转移顶点数以及负载信息。

(5-2)计算所有计算节点在上一次迭代中转移的顶点总数，并与临界阈值(本实施方式设置为图顶点总数量的1％)进行比较。

(5-3)判断所有节点的转移顶点数是否小于临界阈值，若是进入步骤(5-4)，否则进入步骤(5-5)。

(5-4)主节点发送停止动态再划分指令到各个计算节点。

(5-5)各个计算节点进行迭代计算，直至所有计算节点进入同步状态，本次迭代结束。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明中。

Claims

1.一种基于BSP模型的主从分布式图处理***负载动态优化方法，其特征在于包括如下步骤：

(4)负载转移步骤：包括如下子步骤：

(4.1)选择目标转移节点：对所有计算节点的负载量排序，生成负载排序表，根据各节点负载量决定其在排序表中的位置，负载量越多就越靠近表头，节点在排序表中的序号为i，则其目标转移节点序号映射为j，j＝K-i+1,其中K是分布式图处理***计算节点总数；

(4.2)计算转移负载量Q_i，j，

其中W_i、W_j分别表示计算节点i，j前一次计算操作的负载量，i为负载转出节点，j为目标转移节点，将Q_i，j赋值给临时变量T；

(4.3)计算节点中所有活跃顶点u的贡献值IO_i,j(u)，

IO_i,j(u)＝I_i,j(u)+O_i,j(u)

其中，I_i,j(u)和O_i,j(u)分别是在迭代时顶点u从目标转移节点j接收到的消息数和发送给目标转移节点j的消息数；

当时，则顶点u的贡献值就为原来的IO_i,j(u)，否则将顶点u的贡献值赋为0；其中IO_i,j(u)是顶点u转移后的贡献值，IO_i,i(u)是顶点u未转移的贡献值,λ是预设的转移门限值，取值范围为1.2-1.4；

对计算节点中所有活跃顶点进行从大到小排序，得到转移排序表；

(4.4)判断是否T小于等于0且转移排序表中没有贡献值大于0的元素，若是则将转移顶点数以及本节点的负载信息在通信阶段发送到主节点，负载转移结束，进行步骤(5)；否则进行子步骤(4.5)；

(4.5)从转移排序表中取出排名最高的活跃顶点u；计算其转移后减少的负载量W_i(u)，W_i(u)＝1+|AE_i，j(u)|，其中，|AE_i，j(u)|表示与活跃顶点u连接的活跃边集大小；

(4.6)判断W_i(u)是否小于等于T，则进行子步骤(4.7)，否则进行子步骤(4.4)；

(4.7)将活跃顶点u从计算节点i转移到目标计算节点j，将T-W_i(u)值赋予T，进入步骤(4.4)；

(5)动态再划分步骤：主节点计算所有计算节点在上一次迭代中转移的顶点数，判断转移顶点数是否小于预设的转移阈值：是则主节点向各个计算节点发送动态划分结束的指令，各计算节点收到主节点的动态划分停止指令，停止执行负载量计算和负载转移；否则发出继续负载优化指令，转步骤(3)。

2.根据权利要求1所述的方法，其特征在于所述步骤(3)负载量判别中，计算节点判断自身是否超载包括如下子步骤：

(1)根据收到的各个计算节点负载信息，计算***平均负载：***平均负载＝Σ所有计算节点负载量/计算节点总数；

(2)将本节点负载量与***平均负载比较，负载量超过平均负载的110％-130％及以上为超载；否则为不超载。

3.根据权利要求1所述的方法，其特征在于子步骤(4.3)中，如果顶点u在之前被转移过，则将其贡献值赋为0。

4.根据权利要求1所述的方法，其特征在于步骤(5)中所述顶点转移数阈值为图顶点总数的0.5％-2％。