CN106951313A - 多工作流共享资源协同调度的子期限获取方法 - Google Patents

Abstract

多工作流共享资源协同调度的子期限获取方法属于网格或云计算领域。有期限约束的多个工作流在一组固定资源上共同调度时，每个任务的子期限可以作为衡量不同工作流中当前任务紧急程度的重要参数。而现有子期限获取方法获取的子期限仅考虑单个工作流，未考虑并行度的影响，更未涉及到多工作流共同调度时合理子期限的获取。本发明通过工作流反向的思想先获取反向任务的反向权值新指标进行降序排序，反向的期限使得在不同期限差时段内可能分布不同的DAG数目，按照反向最早完成时间优先的思想，多DAG任务在期限范围内获取相对公平的最早完成时间和最早开始时间，进一步计算出每个任务最迟结束时间和子期限，可识别出多个DAG是否能够如期共同完成调度。

Description

多工作流共享资源协同调度的子期限获取方法

技术领域

本发明属于网格计算、云计算领域，具体地说，是一种涉及有期限约束多工作流协同一组固定资源上调度时的子期限获取方法。

背景技术

随着信息技术的发展，许多领域大规模科学计算问题的日益增多，在分布式资源中合理映射科学工作流实现多目标的优化调度变得愈发重要。尤其是在以效用为基础的云计算出现后，如何提高资源利用率、降低费用花费受到云供应商及用户两方面的关注。在一组资源中多工作流的协同调度既有实际的应用需求，也能够更充分利用时隙，有效提高资源利用率。而在有期限约束的多DAG工作流共享一组静态资源的调度中，子期限通常作为不同DAG间判定每个任务优先级的参数之一^[1]。因此，在多个DAG协同调度时合理获取每个任务的子期限具有重要的现实意义。

与著名的HEFT调度算法^[2]假设相同，假定一个DAG多个任务需要映射到q个异构分布式计算资源R(R1R2，...，Rq)并行调度。每个边由(n_i，n_j)表示，对应于任务n_i和n_j之间的数据通信，其中n_i称为n_j的直接父任务，n_j是n_i的直接子任务。由于控制和数据依赖关系的存在，我们假设所有的父任务完成后子任务才能执行。因此，工作流应用可以被描述为元组Ω(Γ,Λ)。w_i，j为每个任务n_i在计算资源M_j上的执行时间花费，每个资源的价格定义为p_j，假定资源带宽为1，c_i，j任务n_i和n_j之间的数据通信时间花费，同一资源中的任务间通信时间花费为0。

在DAG中，没有任何父任务的任务被称为入口任务，表示为n_entry，而没有任何子任务的任务被称为出口任务，表示为n_exit。如果给定工作流在DAG中包含了多于一个的入口任务或出口任务，可以生成一个零花费的伪入口任务，并将所有入口任务连接，出口任务同样添加伪出口任务，这样并不会影响到工作流的执行花费。

现有文献^[1,3,4]关于获取DAG任务子期限的方法通常是基于计算当前任务到出口任务的最大总时间也就是近似关键路径进行定义的。这种获取子期限的方法并没有考虑到并行任务的多少对子期限的影响，在衡量任务紧急程度方面不够准确，具有较大的改进的空间。而且这种方法针对的是单个有期限DAG任务在一组资源中调度的情况，对于有期限约束的多DAG共同调度，从现有文献中尚未发现有专门的子期限获取方法。

发明内容

对于多个有期限约束DAG在一组资源上共同调度时，每个DAG都有自己的期限。若想获取每个DAG中单个任务的子期限，每个任务在考虑数据传递依赖的基础上以及不影响总期限的情况下尽量往后推迟。从最大期限往前倒推，在没有其他DAG共同调度的时间段即最大期限和第二大期限之间的时间段内，只能有期限最大的DAG映射到资源，尽可能多的从后向前充满任务映射；第二大期限和第三大期限的时间段内可能会有两个DAG共同公平地、尽可能多地从后向前映射到资源来获取子期限，也可能第一期限的DAG全部映射在最大时间段里，这时就只有一个第二期限DAG映射；依次类推，直到最小期限的DAG与其他还没向后映射完的DAG共同映射到资源，公平地获取子期限。在每个时间段内尽可能多地、从后向前映射任务，就是希望每个任务推迟到子期限时刻。以三个按期限升序排列的DAG：DAG1(A)、DAG2(B)、DAG3(C)的如图1所示期限差为例。若想获取一个DAG中单个任务的子期限，如图1中的T1时间段内，只能有DAG3(C)而不会有其他DAG从后向前尽可能多地映射到资源，T2时间段内可能会有DAG3(C)和DAG2(B)共同映射到资源，而T3时间段内可能会有DAG3(C)、DAG2(B)和DAG1(A)三个DAG共同映射到资源。因此为了获取各任务子期限，在考虑数据传递依赖的基础上，T1时间段内需要尽可能多的从后向前充满DAG3(C)任务映射。T2时间段内若还有DAG3(C)没映射完成，则需要尽可能多的从后向前充满DAG3(C)和DAG2(B)的任务映射。T3时间段内若还有DAG3(C)和DAG2(B)没映射完成，则需要尽可能多的从后向前充满三个DAG的任务映射。在这几个时间段内尽可能多的任务映射就是希望每个任务推迟到子期限时刻完成映射。同时，在多个DAG共同映射计算子期限时，还需要考虑子期限计算的公平性。

假定DAG多个任务需要映射到q个异构分布式计算资源R(R1，R2，...，Rq)并行调度。每条边由(n_i，n_j)表示，对应于任务n_i和n_j之间的数据通信，其中n_i称为n_j的直接父任务，n_j是n_i的直接子任务。由于控制和数据依赖关系的存在，所有的父任务完成后子任务才能执行。假定资源带宽为1，c_i，j任务n_i和n_j之间的数据通信时间花费，同一资源中的任务间通信时间花费为0。w_i，j为每个任务n_i在计算资源M_j上的执行时间花费。在DAG中，没有任何父任务的任务被称为入口任务，表示为n_entry，而没有任何子任务的任务被称为出口任务，表示为n_exit。

为了获取多DAG共同调度时任务获取子期限，首先假定DAG G_k所有边反向，针对每个任务从开始计算反向权值如公式(1)，反向权值能够表示每个任务的到入口任务的最大平均距离。

其中：表示任务的所有父任务，n_j为任务的任一父任务，为任务在资源组中每个资源上执行时间平均值，c_i，j是任务和父任务之间的数据通信时间花费，入口任务的反向权值 为任务在资源组中每个资源上执行时间平均值。

假定一组DAG按期限从大到小排序各期限分别是(D₁，D₂，…，D_N)，多DAG中每个任务子期限的获取的具体步骤如下：

步骤(1)：对每个DAG按照公式(1)计算各任务的反向权值rank_r(n_i)。

步骤(2)：按照各任务rank_r(n_i)值进行每个DAG内部任务的降序排序，即每个n_exit排在最前面、每个n_entry排在最后。

步骤(3)：选择任务。

首先对整体期限倒序翻转，每个期限翻转后时刻对应允许一个反向DAG参与调度映射，已经参与调度的DAG需要共同选择任务。

例如，期限翻转表示为由图1到图2中的虚线，图2中t1、t2表示了共两个DAG时两各反向DAG允许开始调度时刻。对于最大期限的DAG(即期限为D1的DAG)首先从0时刻按任务顺序从开始选择，若某一轮次映射任务的最大完成时间超过(D1-D2)时，第二大期限的DAG从(D1-D2)时刻开始参与调度，若上一个DAG还没有执行完成，两个DAG的第一个任务按反向权值比较，更大的任务选择选择资源优先调度，依次类推，直到最小期限的DAG从(D1-DN)时刻开始参与，并对所有未执行完的多个DAG的第一个任务按反向权值比较找最大取出最紧急的任务

说明：反向DAG使得所有DAG新的最大允许完成时刻相同，多个已经参与调度的DAG中选取具有最大反向权值的任务能够作为当前调度优先级最高任务。由于反向后各DAG起始时间不同，最大结束时间是相同的，反向权值可直接用于对比DAG间紧急程度，使得选择具有公平性。

步骤(4)：选择资源。

每一轮按照步骤(3)中选出的任务从所有资源中寻找具有最早可完成时间的任务的资源时隙。若为入口任务直接判定各资源可用时隙的最小完成执行时间就可找到资源；否则，由于反向，任务所有子任务均已经映射到资源，先要计算出任务所有子任务到每个资源的最大传递时间，然后找到每个资源上满足要求的时隙计算最早完成时间。从而得到任务的EST和EFT。

步骤(5)：按照公式(2)和公式(3)计算出多DAG中选出的任务的子期限和最迟开始时间。

对于任意DAG中任务的子期限或者最迟完成时间可定义为：

其中：D为DAG期限

任务最迟开始时间可定义为：

步骤(6)：去除任务重复步骤(3)(4)(5)，直到所有未映射任务为空，输出每个任务的子期限和最迟开始时间。

这样的子期限不仅考虑了本DAG中并行的任务影响，也考虑了其他DAG中可能并行任务的影响。因此只要当前任务在子期限前完成，其他所有任务能够在剩余资源及剩余时间内全部执行完成。

附图说明：

图1：三个简单DAG期限差示例

图2：三个简单DAG反向获取开始时刻示例

图3：低并行度简单DAG示例数据

图4：具有高并行度的简单DAG示例数据

具体实施方式

有期限约束多工作流协同调度子期限获取方法的MRHEFT算法描述：

输入:一组待调度DAG(G₁,G₂,…,G_n)，一组资源R(R₁，R₂,…,R_q)，一组任务运行时间矩阵(W₁,W₂,…,W_n)，任务间数据传递边向量(C₁,C₂,…,C_m)，期限(D₁,D₂,…,D_n)

1:按期限排序得到未映射DAG列表unschDAGs

2:对各DAG重复按单DAG反向调度思想得到内部各任务反向权值及排序任务列表unMapList_k

3:根据HEFT向上权值计算方法得到DAG内各任务向上权值

4:获取各DAG反向最早开始时间＝D₁-D_k

5:WHILE(unschDAGs≠Φ)DO

6:FOR(G_k:unschDAGs)

7:IF(所有已映射任务完成时间>＝RST_Gk)

8:取rank_r(n_i-Gk)最大的任务n_i-Gk

9:END IF

10:对比上一轮的rank_r(n_i-Gk-1)和rank_r(n_i-Gk)，保留权值更大即更紧急的任务

11END FOR

12:得到可以开始反向执行DAG中最紧急任务

13:按HEFT思想得到DAG反向后的最早完成时间及对应最早开始时间

14:END WHILE

15:返回DAG集合中各任务子期限和最迟开始时间

基于如图3和图4给出的两个不同并行度的DAG数据示例，假定期限都较为紧急，期限分别为38.8和27。采用MRHEFT方法的具体实施步骤：

步骤(1)：按照公式(1)计算每个DAG各任务的反向权值，图3所示DAG1(A)对应的rank_r(A_i)：

rank_r(A1)：7.925rank_r(A2)：19.175rank_r(A3)：31.175

rank_r(A4)：20.95rank_r(A5)：43.6

图4所示的DAG1(B)对应的rank_r(B_i)：

rank_r(B1)：4.25rank_r(B2)：12.35rank_r(B3)：12.025rank_r(B4)：13.3

rank_r(B5)：12.4rank_r(B6)：16.425rank_r(B7)：12.375rank_r(B8)：13.225

rank_r(B9)：14.875rank_r(B10)：20.925

步骤(2)：按照每个DAG反向权值rank_r(n_i)的降序进行内部任务排序。

DAG1(A)顺序为：A5 A3 A4 A2 A1

DAG2(B)顺序为：B10 B6 B9 B4 B8 B5 B2 B3 B1

步骤(3)：选择调度任务。

对于最大期限的DAG1(A)(即期限为D1的DAG)的第一个任务A5从0刻开始按照步骤(4)选择具有最早完成时间的资源映射，然后A3映射后发现结束时间27.9超过了(D1-D2)＝38.8-27＝18.8时刻，第二大期限的DAG2(B)中的B10开始从最小18.8时刻参与映射，B10和A4对比向下权值，A4大，优先选择映射，依次类推，将其他所有任务依次选择完成映射。

步骤(4)：每一轮按照步骤(3)中选出的任务，基于HEFT的策略考虑任务间反向数据传递时延(父子任务关系交换)，按照最早完成时间优先的思想选择资源。从而得到两个DAG中各个任务每个资源上具体结果见表4：

表4

步骤(5)：按照公式(2)、公式(3)计算出多DAG中每个任务的最迟开始时间和子期限，这里两个公式中的期限均为最大期限D₁。

由表中数据可知，出现过小的子期限，对应最迟开始时间出现负值，因此在一组固定资源中这两个DAG在期限约束下不能实现共同调度，这也进一步说明了多个DAG共同调度时最迟开始时间和子期限获取的重要性。当出现这种情况时只能选择扩展资源或者增大DAG期限。当将期限增大时，DAG1(A)的deadline提高到43.5，DAG2(A)deadline提高到33.7。

参考文献

[1]Arabnejad H,Barbosa J G.Multi-workflow QoS-Constrained Schedulingfor Utility Computing,International Conference on Computational Science andEngineering[C].IEEE,2015:137-144

[2]Topcuoglu H.,Hariri S.and Min-You W..Performance-effective andLow-complexity Task Scheduling for Heterogeneous Computing.IEEE Transactionson Parallel and Distributed Systems,2002(13):260-274.

[3]Jia Y,Buyya R,Chen K T.Cost-Based Scheduling of ScientificWorkflow Application on Utility Grids[C]//International Conference on E-Science and Grid Computing.DBLP,2006:8pp.-147.

[4]Abrishami S,Naghibzadeh M,Epema D H J.Deadline-constrainedworkflow scheduling algorithms for Infrastructure as a Service Clouds[J].Future Generation Computer Systems,2013,29(1):158-169.

Claims (1)

1.多工作流共享资源协同调度的子期限获取方法，其特征在于，步骤如下：

首先假定DAG G_k所有边反向，针对每个任务从开始迭代计算反向权值如公式(1)，反向权值表示每个任务的到入口任务的最大平均距离；

${\mathrm{rank}}_r\left(n_{i-G_k}\right)=\stackrel{\‾}{w_i}+\underset{n_{P-G_k\∈}prec\left(n_{i-G_k}\right)}{max}(c_{p,i}+{\mathrm{rank}}_r(n_{p-G_k}\left)\right)---\left(1\right)$

其中：表示任务的所有直接父任务，属于为任务的一个直接父任务，为任务在资源组R中各个资源上执行时间平均值，c_p,i是任务和直接父任务之间的数据通信时间花费，为父任务的反向权值，由于反向权值需要迭代计算，需要首先计算入口任务的反向权值 为任务在R中每个资源上执行时间平均值；

假定一组DAG按期限从大到小排序各期限分别是(D₁，D₂，…，D_N)，多DAG中每个任务子期限的获取的具体步骤如下：

步骤(1)：从DAG中按序取第k个DAG G_k,，按照公式(1)计算各任务的反向权值

步骤(2)：按照各任务值进行G_k内部任务的降序排序，即任务排在最前面、任务排在最后；重复步骤(1)(2)，直到完成所有的DAG中的任务排序；

步骤(3)：选择任务；

首先对整体期限倒序翻转，每个期限翻转后时刻对应允许一个反向DAG参与调度映射，已经参与调度的DAG需要共同选择任务；

对于最大期限的DAG(即期限为D1的DAG)首先从0时刻按任务顺序从开始选择，若某一轮次映射任务的最大完成时间超过(D1-D2)时，第二大期限的DAG从(D1-D2)时刻开始参与调度，若上一个DAG还没有执行完成，两个DAG的第一个任务按反向权值比较，更大的任务选择选择资源优先调度，依次类推，直到最小期限的DAG从(D1-DN)时刻开始参与，并对所有未执行完的多个DAG的第一个任务按反向权值比较找最大取出最紧急的任务

步骤(4)：选择资源；

每一轮按照步骤(3)中选出的任务从所有资源中寻找具有最早能完成时间的任务的资源时隙；若为入口任务直接判定各资源可用时隙的最小完成执行时间就能找到资源；否则，由于反向，任务所有子任务均已经映射到资源，先要计算出任务所有子任务到每个资源的最大传递时间，然后找到每个资源上满足要求的时隙计算最早完成时间；从而得到任务的EST和EFT；

步骤(5)：按照公式(2)和公式(3)计算出多DAG中选出的任务的子期限和最迟开始时间；

对于任意DAG中任务的子期限或者最迟完成时间定义为：

$subDL\left(n_{i-G_k}\right)=D-{\mathrm{EST}}_{RHEFT}\left(n_{i-G_k}\right)---\left(2\right)$

其中：D为DAG期限

任务最迟开始时间定义为：

$LST\left(n_{i-G_k}\right)=D-{\mathrm{EFT}}_{RHEFT}\left(n_{i-G_k}\right)---\left(3\right)$

步骤(6)：去除任务重复步骤(3)(4)(5)，直到所有未映射任务为空，输出每个任务的子期限和最迟开始时间。