CN106383700A - 云工作流的分布式执行方法 - Google Patents

Abstract

本发明提供的一种云工作流的分布式执行方法，对于调用了多区域服务的云工作流，该算法根据各区域的调用时间等信息进行计算，将不同活动分配在云计算环境下不同区域的服务器进行执行，来优化云工作流的执行时间。并通过实验将算法与固定区域下执行云工作流的效果进行对比，结果证明这种分布式的执行方式相对于固定区域的执行策略可以实现更快的执行时间。

Description

云工作流的分布式执行方法

技术领域

本发明涉及云计算服务领域，具体地，涉及一种云工作流的分布式执行方法。

背景技术

目前绝大多数云计算服务商为了提供快速高效的服务，通常都会在多个区域建立数据中心，并向用户提供各区域的服务。用户在启动云服务器的时候，可以自由地选择云服务器实际所运行于的真实主机的区域位置。

同时在云工作流中，所执行的活动大多是云服务以及互联网上所提供的各类Web服务，尽管这些服务通过互联网大多可以在几乎所有地区进行访问，但在互联网的背后，这些服务仍然是部署在特定区域的服务器上。在不同区域调用不同的服务时依连接速度往往会有一定的调用速度的差异，特别是对于有大量数据需要进行传输的任务的时候，数据传输的时间可能会成为活动执行时间的一大部分。此时在何区域的服务器上执行任务会极大程度地影响工作流活动的执行时间。

而随着全球信息化的发展，越来越多的事务开始涉及到跨区域的服务调用，而不再局限于单一区域的服务。以科学计算工作流为例，为了进行某项科学运算，可能先要去多个区域的数据中心获取数据集，再交至某一实验室提供的公共运算服务进行计算，最后再将结果返回本地。这一简单的计算工作流不仅涉及到多个区域的服务，其中还会有大量的数据交换，此时使用同一区域的服务器执行所有任务可能会由于数据传输消耗大量的时间，而如果使用对应区域的服务器来获取与提交数据的话，可以大量减少服务器传输数据的时间。而对于不同区域的云服务器之间的数据交换，由于云计算内部的线路优化，使得这一时间相比于调用云外的服务要快得多。

对于这类有着跨多个区域活动的云工作流，便可以通过将工作流中不同的活动分配到不同区域中的服务器来提高工作流的处理效率。而如何给云工作流中各个活动选择合适区域的服务器，即是云工作流活动的分布式执行问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于动态规划的云工作流的分布式执行方法。

为解决上述技术问题，本发明提供的一种云工作流的分布式执行方法，首先本发明对顺序工作流的分布式执行提出了一个基于动态规划的最优路线求解算法。算法复杂度为O(m×n²)。再基于这一算法的基础上提出了适用于一般情况的包含与或结点的工作流的区域分配求解算法，并通过对关键结点的快速区域确定来降低算法的复杂度，使这一泛用算法的复杂度维持在O(m×n²)，并求解出近似的最优路径。

根据本发明提供的一种云工作流的分布式执行方法，包括如下步骤：

步骤1，计算从h_i区域调用s_j服务所需要的服务调用时间T_c(h_i,s_j)和将序号为j的活动所需数据的数据量所涉及的数据从h_i区域传输至h_j区域所需要消耗的传输时间T_t(h_i,h_j,s_j)；

其中，h_i表示序号为i的活动所分配至的服务器区域，s_j为序号为j的活动所要调用的服务；i与j均表示活动的序号，i,j＝1,2,…,n，n表示工作流中的活动数；h_j表示序号为j的活动所分配至的服务器区域；

步骤2，以一个n列M行的表格T[n][M]来记录工作流执行至各活动时该活动在各区域下执行时工作流的最短执行时间，其中，M为区域数；行代表各个区域，列代表工作流中的各个活动，表格T[n][M]的单位格中记录时间代表对应列的活动在对应行的区域执行时当前工作流的最短执行时间；保存对应的工作流执行区域路径；T[n][M]初始为空并根据T_c(h_i,s_j)和T_t(h_i,h_j,s_j)填满第一列。

优选地，在步骤2中，所述根据T_c(h_i,s_j)和T_t(h_i,h_j,s_j)填满第一列的方法为：

将h_i置为工作流的起始区域，令j＝0，s_j即为工作流的第一个活动所调用的服务，h_j代表工作流第一个活动所执行的区域，令h_j遍历所有区域，在区域m时，即令h_j＝m时，取T_c(h_i,s_j)和T_t(h_i,h_j,s_j)之和填入第0列m行。其中，第0列即首列。

优选地，在步骤2中，当未遇到与或节点时，整个工作流为单条顺序工作流，计算前一项活动在区域k下的最短完毕时间加上从此区域k到目标区域的传输时间作为从k区域至目标区域的全执行时间，将k遍历从1至M个区域来获得所有区域至目标区域的各个执行时间，取这些执行时间中的最短值来作为当前活动在目标区域的最短完毕时间：

T[n][m]＝min{t[k]|t[k]＝T[n-1][k]+T_t(m,k,n)+T_c(k,n),k＝1,2,…,M}

其中，n为当前列,代表活动，m为当前行，代表区域；k从1遍历至M，代表正在遍历的区域；计算结果即代表需要填入T[n][m]的工作流第n活动在第m区域执行时的当前最短执行时间。

优选地，在步骤2中，当遇到与或节点时，采用如下方法：

与或结点x的执行时间T_x为：

T_x＝min{T_c(k,x)|k＝1,2…M}

其中，x为与或结点所在的活动序号；T_c(k,x)表示从k区域调用第x个活动所需服务的时间；上式即为取执行第x个活动最快的区域作为该活动执行区域，记为h_x；

计算T[x][k]如下：

T[x][h_x]＝min{t[h_x]|t[h_x]＝T[x-1][h_x]+T_t(k,h_x,x)+T_c(h_x,x),k＝1…M}

其中，T[x][h_x]表示目前工作流执行至第x个活动且第x个活动在区域h_x执行的时间，t[h_x]表示各分支执行至h_x的最短时间，T[x-1][h_x]表示目前工作流执行至第x个活动-1且第x个活动-1在区域h_x执行的时间，T_t(k,h_x,x)表示将第x个活动所需数据从区域k传至区域h_x所需的时间，T_c(h_x,x)表示第x个活动在区域h_x执行的时间，M表示区域数量；

令第x列除了第h_x行以外的表格单元格中值均为正无穷，即第x个活动仅在h_x区域执行，不考虑第x个活动在其他区域执行的可能行；

T[x][m]＝∞,m≠h_x

直接达到分支汇合结点y,y为汇合结点所代表的活动序号；

由下式计算T[y][k]：

T[y][k]＝max{T′[p][k]|p＝1,2…P_x}，k＝1,2…M

其中，T[y][k]表示表示目前工作流执行至活动y且活动y在区域k执行的时间；P_x代表从x结点产生的分支数量,p从1遍历至P_x，即遍历各个分支，T′[p][k]代表分支p在y节点汇合于区域k的执行时间；

得到的结果即为各条分支工作流运行至汇合结点且汇合结点在区域k中执行的时间，取其中耗时最久的分支执行时间作为从与或结点x至汇合结点y的最短执行时间,即为需要填入T[y][k]的数据。

优选地，包括：

步骤3，重复步骤2由表格当前列依次向右列计算各列节点，直到达到工作流末尾活动节点，最短执行时间T_m：

T_m＝min{T[k][m]|k＝1,2…M}

并返回最短执行时间T_m所对应的工作流各活动执行区域来得到云工作流最短分布式执行区域分配。

与现有技术相比，本发明的有益效果如下：相对于在固定区域下执行云工作流的方式，分布式执行云工作流可以通过对每个活动选择合适的区域来实现更快的服务调用速度，并平衡区域之间的数据传输时间，从而缩短整个云工作流的执行时间。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

首先对于顺序工作流，云工作流执行时间计算如下式：

T_w＝∑(T_t(h_i-1,h_i,d_i)+T_c(h_i,s_i))+σ (1)

式中T_w即云工作流执行的总花费时间。

h_i为活动i所分配至的服务器区域。d_i为活动i所需数据的数据量。s_i为活动i所要调用的服务。

T_t(h_i-1,h_i,d_i)为传输时间，表示将d_i的数据从h_i-1区域传输至h_i区域所需要消耗的传输时间。

T_c(h_i,s_i)为服务调用时间，表示从h_i区域调用s_i服务所需要的服务调用时间。

σ为服务器内部其余运算时间之和。由于这一项不随服务器区域或服务所在区域不同而变化，因此用一个常数代替。

这一式中，各活动所调用服务s_i与所需数据量d_i均可以视为已知量。T_t与T_c这两个函数可以通过事先测试或是使用历史数据来估算。因此唯一需要确定的只有各活动所分配的区域h_i。通过为各个活动确定h_i来使整个T_w最小。我们使用以下算法来进行此问题的最优化求解

算法1：顺序工作流最短执行时间区域分配(Seq-Workflow ActivityAllocation)

步骤1，计算从h_i区域调用s_j服务所需要的服务调用时间T_c(h_i,s_j)和将序号为j的活动所需数据的数据量所涉及的数据从h_i区域传输至h_j区域所需要消耗的传输时间T_t(h_i,h_j,s_j)；

步骤2，h_i表示序号为i的活动所分配至的服务器区域，s_j为序号为j的活动所要调用的服务；i与j均表示活动的序号，i,j＝1,2,…,n，n表示工作流中的活动数；h_j表示序号为j的活动所分配至的服务器区域；

之后，以一个n列M行的表格T[n][M]来记录工作流执行至各活动时该活动在各区域下执行时工作流的最短执行时间，其中，M为区域数，n为工作流中的活动数；行代表各个区域，列代表工作流中的各个活动，表格T[n][M]的单位格中记录时间代表对应列的活动在对应行的区域执行时当前工作流的最短执行时间；保存对应的工作流执行区域路径；T[n][M]初始为空并根据T_c(h_i,s_j)和T_t(h_i,h_j,s_j)填满第一列。

根据T_c(h_i,s_j)和T_t(h_i,h_j,s_j)填满第一列的方法为：

将h_i置为工作流的起始区域，令j＝0，s_j即为工作流的第一个活动所调用的服务，h_j代表工作流第一个活动所执行的区域，令h_j遍历所有区域，在区域m时，即令h_j＝m时，取T_c(h_i,s_j)和T_t(h_i,h_j,s_j)之和填入第0列m行。

当未遇到与或节点时，整个工作流为单条顺序工作流，计算前一项活动在区域k下的最短完毕时间加上从此区域k到目标区域的传输时间作为从k区域至目标区域的全执行时间，将k遍历从1至M个区域来获得所有区域至目标区域的各个执行时间，取这些执行时间中的最短值来作为当前活动在目标区域的最短完毕时间：

T[n][m]＝min{t[k]|t[k]＝T[n-1][k]+T_t(m,k,n)+T_c(k,n),k＝1,2,…,M}

其中，n为当前列,代表活动，m为当前行，代表区域；k从1遍历至M，代表正在遍历的区域；计算结果即代表需要填入T[n][m]的工作流第n活动在第m区域执行时的当前最短执行时间。

步骤3，重复步骤2由表格当前列依次向右列计算各列节点，直到达到工作流末尾活动节点，最短执行时间T_m：

T_m＝min{T[k][m]|k＝1,2…M}

并返回最短执行时间T_m所对应的工作流各活动执行区域来得到云工作流最短分布式执行区域分配。

算法中由于需要计算整张m×n表格的每格数据，计算每格数据时均需要计算前一列的n的数据，因此算法的时间复杂度为O(m×n²)。m为整个云工作流中调用服务的活动数量，n为所有可用的服务器区域数量。由于通常可用区域的数量很小，因此算法的复杂度不高，在T_c与T_t已知的情况下可以求得最优的工作流最短执行时间路径。

而对于带有与或结点的云工作流，在处理仅有一层与或结点时，由于需要迭代与或结点在每个区域下分支路径的执行时间，每次迭代计算分支路径时，复杂度与算法1相同为O(m×n²)，因此所有迭代总的时间复杂度为O(n×m×n²)＝O(m×n³)。此外，如果在分支中又存在与或结点，那么需要多一层递归，因此这一时间复杂度中指数也会上升。如果一共有k层分支结构，那个复杂度会达到O(m×n^k+2)。

而如果我们在算法遇到与或结点时，直接通过一个常数级的算法快速确定一个区域作为与或结点的执行区域，放弃其在其他区域执行的情况，就能消除这种循环递归结构，使算法复杂度回到O(m×n²)。由于云计算内部的传输速度很快，使得云服务器之间的传输时间相比服务调用时间要小得多，因此绝大多数时候计算出的最优路径都是将活动分配到调用该服务最快的区域服务器。所以我们完全可以使用这一策略来快速选定与或结点所分配的执行区域。而对于其他顺序结构，仍然使用算法1来进行动态规划计算。

这一对与带与或结点的云工作流的近似求解算法如下所述，其中工作流模型w[1…n]使用递归结构存储：

算法2：工作流近似最短执行时间区域分配(Workflow Activity Allocation)

步骤1与算法1的步骤1完全相同。

步骤2与算法1的步骤2完全相同。

步骤3，当遇到与或节点时，采用如下方法：

与或结点x的执行时间T_x为：

T_x＝min{T_c(k,x)|k＝1,2…M}

其中，x为与或结点所在的活动序号；T_c(k,x)表示从k区域调用第x个活动所需服务的时间；

本式即为取执行第x个活动最快的区域作为该活动执行区域，记为h_x；

计算T[x][k]如下：

T[x][h_x]＝min{t[h_x]|t[h_x]＝T[x-1][h_x]+T_t(k,h_x,x)+T_c(h_x,x),k＝1…M}

其中，T[x][h_x]表示目前工作流执行至第x个活动且第x个活动在区域h_x执行的时间，t[h_x]表示各分支执行至h_x的最短时间，T[x-1][h_x]表示目前工作流执行至第x个活动-1且第x个活动-1在区域h_x执行的时间，T_t(k,h_x,x)表示将第x个活动所需数据从区域k传至区域h_x所需的时间，T_c(h_x,x)表示第x个活动在区域h_x执行的时间，M表示区域数量；

令第x列除了第h_x行以外的表格单元格中值均为正无穷，即第x个活动仅在h_x区域执行，不考虑第x个活动在其他区域执行的可能行；

T[x][m]＝∞,m≠h_x

对由x对应的与或结点产生的分支工作流递归采用算法2来进行计算；直接达到分支汇合结点y,y为汇合结点所代表的活动序号；

由下式计算T[y][k]：

T[y][k]＝max{T′[p][k]|p＝1,2…P_x}，k＝1,2…M

其中，T[y][k]表示表示目前工作流执行至活动y且活动y在区域k执行的时间；P_x代表从x结点产生的分支数量,p从1遍历至P_x，即遍历各个分支，T′[p][k]代表分支p在y节点汇合于区域k的执行时间；

得到的结果即为各条分支工作流运行至汇合结点且汇合结点在区域k中执行的时间，取其中耗时最久的分支执行时间作为从与或结点x至汇合结点y的最短执行时间,即为需要填入T[y][k]的数据。

步骤4，重复步骤2与步骤3由表格当前列依次向右列计算各列节点，直到达到工作流末尾活动节点，最短执行时间T_m：

T_m＝min{T[k][m]|k＝1,2…M}

并返回最短执行时间T_m所对应的工作流各活动执行区域来得到云工作流最短分布式执行区域分配。

由于对与或结点采取的近似的快速取值，因此对所有分支只需要递归执行一次，而不需要重复执行，每个活动均只计算一次，因此算法时间复杂度仍为O(m×n²)。而对于空间复杂度，如果在每次计算一个活动的时间，保留到该活动为止的路径的话，即每个活动需要保存所有到该活动各个区域下的最短时间执行路径，因此空间复杂度为O(m×m×n)＝O(m²×n)。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (5)

1.一种云工作流的分布式执行方法，其特征在于，包括如下步骤：

步骤1，计算从h_i区域调用s_j服务所需要的服务调用时间T_c(h_i,s_j)和将序号为j的活动所需数据的数据量所涉及的数据从h_i区域传输至h_j区域所需要消耗的传输时间T_t(h_i,h_j,s_j)；

其中，h_i表示序号为i的活动所分配至的服务器区域，s_j为序号为j的活动所要调用的服务；i与j均表示活动的序号，i,j＝1,2,…,n，n表示工作流中的活动数；h_j表示序号为j的活动所分配至的服务器区域；

步骤2，以一个n列M行的表格T[n][M]来记录工作流执行至各活动时该活动在各区域下执行时工作流的最短执行时间，其中，M为区域数；行代表各个区域，列代表工作流中的各个活动，表格T[n][M]的单位格中记录时间代表对应列的活动在对应行的区域执行时当前工作流的最短执行时间；保存对应的工作流执行区域路径；T[n][M]初始为空并根据T_c(h_i,s_j)和T_t(h_i,h_j,s_j)填满第一列。

2.根据权利要求1所述的云工作流的分布式执行方法，其特征在于，在步骤2中，所述根据T_c(h_i,s_j)和T_t(h_i,h_j,s_j)填满第一列的方法为：

将h_i置为工作流的起始区域，令j＝0，s_j即为工作流的第一个活动所调用的服务，h_j代表工作流第一个活动所执行的区域，令h_j遍历所有区域，在区域m时，即令h_j＝m时，取T_c(h_i,s_j)和T_t(h_i,h_j,s_j)之和填入第0列m行。

3.根据权利要求1所述的云工作流的分布式执行方法，其特征在于，在步骤2中，当未遇到与或节点时，整个工作流为单条顺序工作流，计算前一项活动在区域k下的最短完毕时间加上从此区域k到目标区域的传输时间作为从k区域至目标区域的全执行时间，将k遍历从1至M个区域来获得所有区域至目标区域的各个执行时间，取这些执行时间中的最短值来作为当前活动在目标区域的最短完毕时间：

T[n][m]＝min{t[k]|t[k]＝T[n-1][k]+T_t(m,k,n)+T_c(k,n),k＝1,2,…,M}

其中，n为当前列,代表活动，m为当前行，代表区域；k从1遍历至M，代表正在遍历的区域；计算结果即代表需要填入T[n][m]的工作流第n活动在第m区域执行时的当前最短执行时间。

4.根据权利要求1所述的云工作流的分布式执行方法，其特征在于，在步骤2中，当遇到与或节点时，采用如下方法：

与或结点x的执行时间T_x为：

T_x＝min{T_c(k,x)|k＝1,2…M}

其中，x为与或结点所在的活动序号；T_c(k,x)表示从k区域调用第x个活动所需服务的时间；上式即为取执行第x个活动最快的区域作为该活动执行区域，记为h_x；

计算T[x][k]如下：

T[x][h_x]＝min{t[h_x]|t[h_x]＝T[x-1][h_x]+T_t(k,h_x,x)+T_c(h_x,x),k＝1…M}

其中，T[x][h_x]表示目前工作流执行至第x个活动且第x个活动在区域h_x执行的时间，t[h_x]表示各分支执行至h_x的最短时间，T[x-1][h_x]表示目前工作流执行至第x个活动-1且第x个活动-1在区域h_x执行的时间，T_t(k,h_x,x)表示将第x个活动所需数据从区域k传至区域h_x所需的时间，T_c(h_x,x)表示第x个活动在区域h_x执行的时间，M表示区域数量；

令第x列除了第h_x行以外的表格单元格中值均为正无穷，即第x个活动仅在h_x区域执行，不考虑第x个活动在其他区域执行的可能行；

T[x][m]＝∞,m≠h_x

直接达到分支汇合结点y,y为汇合结点所代表的活动序号；

由下式计算T[y][k]：

T[y][k]＝max{T′[p][k]|p＝1,2…P_x}，k＝1,2…M

其中，T[y][k]表示表示目前工作流执行至活动y且活动y在区域k执行的时间；P_x代表从x结点产生的分支数量，p从1遍历至P_x，即遍历各个分支，T′[p][k]代表分支p在y节点汇合于区域k的执行时间；

得到的结果即为各条分支工作流运行至汇合结点且汇合结点在区域k中执行的时间，取其中耗时最久的分支执行时间作为从与或结点x至汇合结点y的最短执行时间，即为需要填入T[y][k]的数据。

5.根据权利要求1所述的云工作流的分布式执行方法，其特征在于，包括：

步骤3，重复步骤2由表格当前列依次向右列计算各列节点，直到达到工作流末尾活动节点，最短执行时间T_m：

T_m＝min{T[k][m]|k＝1,2…M}

并返回最短执行时间T_m所对应的工作流各活动执行区域来得到云工作流最短分布式执行区域分配。