CN104536806A - 一种云环境下的工作流应用弹性资源供应方法 - Google Patents

Abstract

本发明公开了一种云环境下的工作流应用弹性资源供应方法，考虑了基于时间区间的按需收费模型、数据传输时间、虚拟机启动时间和软件安装（下载）时间等。本发明所公开的基于多规则的启发式方法（MRH）主要包括：A）子任务截止期划分；B）基于多规则的子任务与虚拟机时间槽的匹配方法；步骤A的主要特点是通过删除原问题的按区间计费的约束，将原问题简化，然后求解该问题的整数规划模型，得出每个子任务的截止期。步骤B其主要特点是提出三个考虑多因素的优先级规则，将任务与匹配到合适的虚拟机空闲时间槽。本发明通过恰当的子任务截止期划分和多规则的时间槽匹配方法，充分降低整个工作流应用的资源租赁成本。

Description

一种云环境下的工作流应用弹性资源供应方法

技术领域

本发明涉及一种云环境下的工作流应用弹性资源供应方法，属于云计算资源调度技术领域。

背景技术

基于分布式计算特别是网格计算的发展，产生了一种新型服务计算模型：云计算(Cloud Computing)。云计算是一种能够通过网络以便利的、按需的方式访问一个可配置的计算资源共享池的模式，这个资源共享池能以最少的管理开销和最少的与供应商的交互，迅速配置、提供或释放资源。云计算的主要优势在于：能够迅速地降低硬件成本和提升计算能力以及存储容量等；用户可以以极低的成本投入获得极高的计算品质，而不用再投资购买昂贵的硬件设备，进行频繁的保养与升级。

由于上述优点，许多公司和研究机构都尝试将其实时分析、在线广告以及科学计算应用等迁移到现有的商业云中，以解决数据量大规模增长时的数据处理问题。实现计算或存储任务与所购买资源之间的合理映射对于用户来说是巨大的挑战。云的自缩放性质(根据应用的体量随时获取或释放合适类型和数量的资源，按照被使用的情况计费)提供了更加灵活的资源供应方案。过低的资源配置会导致***性能的下降，造成截止期的拖延；而过高的资源配置会造成空闲的时间槽，增加了不必要的开销。因此，用户需要提出一种合理的资源自缩放策略以在保证***性能的前提下节省租金开销。

分析和科学计算应用是基于商业云的一类重要应用，通常需要求解大量的数据。为了降低执行时间，可对数据进行划分，用并行任务求解。同时，这些应用也都是由多个顺序步骤以及并行和顺序任务之间的数据传输组成的。这类包含并行和顺序任务的应用可用工作流进行建模。同时，这些应用大多有截止期。因此，为了寻求资源租用开销和工作流完工时间之间的平衡，云用户需要将工作流任务分派到适合类型和数目的VM实例上去。

然而，由于在实际应用中，云环境的租用通常采用小时计费模式，并且需要考虑软件准备时间、数据传输时间、复杂的网络结构以及任务的多样性等因素，资源供应和调度问题就很难解决。

目前已有方法和项目专注于解决云环境下复杂因素的工作流调度问题。然而这些方法并没有考虑云计算环境中突发需求和限制情况下的动态调整策略，也很少考虑到实际应用中大规模数据传输时间、软件单元切换时间等制约因素，因此不能够应用与本发明所讨论的背景中。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种云环境下的工作流应用弹性资源供应方法，以在保证***性能的前提下减少虚拟机租金。

技术方案：一种云环境下的工作流应用弹性资源供应方法，包括以下步骤：

A.工作流截至期划分：计算工作流中的各任务在各虚拟机类型上的执行时间和代价，以在不违反工作流截止期前提下最小化虚拟机总租赁成本为目标，不考虑区间计费的约束，将工作流问题简化为整数规划问题，并求解得到每个任务选择的虚拟机类型，确定任务执行时间；依据工作流截止期、任务间先序关系和任务执行时间，确定各任务截止期；

B.根据优先级规则进行任务调度：按照任务在工作流中的深度由小到大依次调度任务，对于每个任务根据其截止期，基于优先级规则，计算所有虚拟机时间槽的优先级，将任务分配到具有最高优先级的虚拟机时间槽，所述优先级规则包括最少的新租赁时间区间优先，最低的总处理代价优先，以及最佳的任务处理时间与时间槽长度的匹配程度优先。

所述步骤A中各任务在各虚拟机类型上的执行时间的包括数据传输时间、虚拟机与软件准备时间。

所述步骤A中依据工作流截止期、任务间先序关系和任务执行时间，确定各任务截止期的具体步骤包括：

S1.对任务集合V中各任务v，将初始化为数据传输时间、VM准备时间、软件准备时间和任务执行时间之和，计算每个任务的最早开始时间EST_v、最早结束时间EFT_v和最晚结束时间LFT_v；

S2.采用关键路径生成方法迭代生成初始关键路径CP，CP_[i]表示CP的第i个任务；

S3.判断CP是否为空，若为空，转步骤S10；否则，转步骤S4；

S4.计算CP的总时间浮动 $T_{\mathrm{CP}}^{\mathrm{float}}={\mathrm{\Σ}}_{{\mathrm{CP}}_{\left[k\right]\∈{\mathrm{CP}}^{\′}}}({\mathrm{EST}}_{{\mathrm{CP}}_{[k+1]}}-{\mathrm{EFT}}_{{\mathrm{CP}}_{\left[k\right]}})+{\mathrm{LFT}}_{{\mathrm{CP}}_{\left[l\right]}}-$ ${\mathrm{EFT}}_{{\mathrm{CP}}_{\left[l\right]}};$ 其中，CP′＝CP/V^fix/{CP_[l]}；，l是CP的长度。

S5.判断是否大于0，若大于0，转步骤S6；否则，转步骤S12；

S6.初始化i＝1；

S7.判断i≤l，若是，转步骤S8；否则，转步骤S11；

S8.对CP中的任务CP_[i]，判断CP_[i]是否属于固定任务集合V^fix，其中固定任务集合V^fix为时间浮动满足的所有任务v组成的集合；若属于，转步骤S10；

S9.计算CP_[i]被分配的浮动 $T_{C{P}_{\left[i\right]}}^{\mathrm{dis}}=T_{\mathrm{CP}}^{\mathrm{float}}\×T_{{\mathrm{CP}}_{\left[i\right]}}^{\mathrm{float}}/{\mathrm{\Σ}}_{v_k\∈\mathrm{CP}/V^{\mathrm{fix}}}\left\{T_{v_k}^{\mathrm{float}}\right\},$ 更新其时间浮动更新其后继任务的最早开始和最早结束时间；

S10.更新i＝i+1；

S11.更新V中所有任务的最晚结束时间和V^fix，转步骤S4；

S12.生成下一个关键路径CP，转步骤S3；

S13.设置每个任务的任务截止期为

所述步骤B中，包括：

B1.初始化已准备好的任务集θ为仅包含开始任务的集合{v₀}，计算θ中各任务的最早开始时间；

B2.根据已准备好的任务集θ中各任务的深度划分θ为各子集，选择深度最小的子集θ_s，对其中的任务根据执行时间进行非升序排序，选取其中第一个任务v_t作为即将进行调度的任务；若v_t为空，转步骤B5；

B3.对于当前任务v_t，将其选中的虚拟机类型的一个实例暂时添加至所述云环境中已租用的虚拟机实例集合I中；根据任务的最早开始时间和截止期，得出v_t当前可用的时间槽集合

B4.根据优先级规则，计算出任务v_t在中每个时间槽slot上的优先级值，包括根据最少的新租赁时间区间优先规则得到的根据最低的总处理代价优先规则得到的以及根据最佳的任务处理时间与时间槽长度的匹配程度优先规则得到的通过将和按设定权重整合，得到v_t在slot上的最终优先级值，选取其中具有最高优先级的时间槽slot_s，将任务v_t分配给slot_s；移除I中未使用的VM实例；更新已准备好的任务集θ，如果θ不为空，转步骤B2；

B5.任务与虚拟机时间槽匹配结束，退出。

有益效果：与现有技术相比，本发明将原问题简化为DTCTP(Discrete Time CostTradeoff Problem)问题，利用整数规划模型(IP)求解每个任务的虚拟机类型；任务的子截止期确定后，根据提出的三个考虑多因素(如已租用间隔的重用、VM加载时间、软件准备时间、数据传输时间、执行效率、时间槽与任务执行时间长度的匹配情况等)的优先级规则，为每个任务选择合适的虚拟机(VM)时间槽，将任务逐个分派给VM实例，并保证不违反其子截止期；所有任务分派完成，则得到一个可用于实际执行的调度结果。本发明提供的基于多规则的启发式Multiple-Rules based Heuristc(MRH)资源供应方法，考虑了基于时间间隔的收费模型、数据传输时间、VM启动时间和软件准备时间等情况的工作流在云环境中的调度问题，最大化资源重用率和已装的软件重用率。

附图说明

图1是本发明实施例实现云环境下的工作流应用弹性资源供应方法的结构图；

图2是本发明实施例中工作流截止期划分部分的流程图；

图3是本发明实施例中根据优先级规则进行任务调度部分的流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明实施例实现云环境下的工作流应用弹性资源供应方法的结构图如图1所示，包括云服务提供商11、工作流应用12、弹性中介13、工作流调度器14和由已租赁的虚拟机组成的数据中心15。本实施例中假设所述云环境中主要包含两种角色，即云服务供应商(例如IaaS供应商)和云服务用户。云服务供应商向云服务用户提供资源租赁服务(例如虚拟机和存储资源)，资源租赁按照时间区间计费。云服务用户通过租赁云服务供应商的资源，组建自己的虚拟数据中心以服务于自己的工作流应用。弹性中介和工作流调度器为云服务用户提供自动规模调整机制，帮助用户在不违反工作流应用截止期的前提下最小化资源租赁成本。

工作流G＝{V，E}是一个有向无环图，其中V＝{v₀，v₁，…，v_N+1}是包含N+2个任务的集合，E＝{(i，j)∨i＜j}是各任务间的先序约束，即v_j不能在v_i完成之前开始，P_i和S_i分别为任务v_i的直接前驱集和直接后继集；D表示工作流截止期。

当一个工作流G＝{V，E}提交给***时，工作流调度器负责将工作流包含的任务V＝{v₀，v₁，…，v_N+1}以最合适的方式与虚拟机实例时间槽slot进行匹配，即在达到工作流截止期要求的前提下最小化租赁成本。弹性中介根据工作流调度器的调度结果，租赁或释放云服务供应商处的资源。工作流调度器的调度分为工作流截止期划分和根据优先级规则进行任务调度两部分。

图2是本发明实施例中工作流截止期划分部分的流程图。如图2所示，工作流截止期划分的具体步骤如下：

步骤s201，针对原问题，假定任务处理时间均包含数据传输时间和虚拟机与软件的准备时间，且虚拟机实例以连续方式(而不是离散方式)计费。首先我们将数据传输时间和虚拟机与软件准备时间添加到各个模态的执行时间中；据此，计算任务v_i在虚拟机类型δ_t上的执行时间p_i，t和执行代价c_i，t。将原问题按照区间计费的约束删除，该问题可被简化为类型决策问题，用整数规划(IP)建模。

步骤s202，采用整数规划求解器，例如用CPLEX对该简化的问题求近似最优解，所得解为R；在R中，给出了每个子任务的选择的虚拟机类型，即执行模态。其中表示R中任务v_i的虚拟机类型序号。

步骤s202，用CPLEX对该简化的问题求近似最优解，所得解为R，其中表示R中任务v_i的虚拟机类型序号。

步骤s203，对V中各任务v，初始化为数据传输时间、VM准备时间、软件准备时间和任务执行时间之和，计算每个任务的最早开始时间EST_v、最早结束时间EFT_v和最晚结束时间LFT_v。

步骤s204，采用Abrishami等提出的关键路径生成方法迭代生成初始关键路径CP，CP_[i]表示CP的第i个任务。

步骤s205，判断CP是否为空，若为空，转步骤s212；否则，转步骤s206。

步骤s206，计算CP的总时间浮动 $T_{\mathrm{CP}}^{\mathrm{float}}={\mathrm{\Σ}}_{{\mathrm{CP}}_{\left[k\right]\∈{\mathrm{CP}}^{\′}}}({\mathrm{EST}}_{C{P}_{[k+1]}}-{\mathrm{EFT}}_{{\mathrm{CP}}_{\left[k\right]}})+$ ${\mathrm{LFT}}_{{\mathrm{CP}}_{\left[l\right]}}-{\mathrm{EFT}}_{{\mathrm{CP}}_{\left[l\right]}}.$ 其中，CP′＝CP/V^fix/{CP_[l]}，l是CP的长度。

步骤s207，判断是否大于0，若大于0，转步骤s208；否则，转步骤s214。

步骤s208，初始化i＝1。

步骤s209，判断i≤l，若是，转步骤s210；否则，转步骤s213。

步骤s210，对CP中的任务CP_[i]，判断CP_[i]是否属于固定任务集合V^fix，其中固定任务集合V^fix为时间浮动满足的所有任务v组成的集合；若属于，转步骤s212；

步骤s211，计算CP_[i]被分配的浮动 $T_{C{P}_{\left[i\right]}}^{\mathrm{dis}}=T_{\mathrm{CP}}^{\mathrm{float}}\×T_{{\mathrm{CP}}_{\left[i\right]}}^{\mathrm{float}}/{\mathrm{\Σ}}_{v_k\∈\mathrm{CP}/V^{\mathrm{fix}}}\left\{T_{v_k}^{\mathrm{float}}\right\},$ 更新其时间浮动更新其后继任务的最早开始和最早结束时间。

步骤s212，更新i＝i+1。

步骤s213，更新V中所有任务的最晚结束时间和V^fix，转步骤s206。

步骤s214，生成下一个关键路径CP，转步骤s205。

步骤s215，设置每个任务的任务截止期为转步骤s301。

图3是本发明实施例中根据优先级规则进行任务调度部分的流程图。如图3所示，根据优先级规则进行任务调度的具体步骤如下：

步骤s301，初始化已准备好的任务集θ为仅包含开始任务的集合{v₀}，计算θ中各任务的最早开始时间。

步骤s302，根据已准备好的任务集θ中各任务的深度划分θ为各子集。

步骤s303，选择深度最小的子集θ_s，对其中的任务根据执行时间进行非升序排序，选取其中第一个任务v_t作为即将进行调度的任务。

步骤s304，判断v_t是否为空，若v_t为空，则方法结束；否则，转步骤s305。

步骤s305，对于v_t选中模态的VM类型，选取一个实例暂时添加至所述云环境中已租用的VM实例集合I中。

步骤s306，根据最早开始时间和子任务截止期，得出v_t当前可用的时间槽集合

步骤s307，对中的每个时间槽slot，根据三个优先级规则计算其优先级值并选取中具有最小的(即优先级最高的)时间槽slot_s。其中三个优先级规则计算分别为：

1)最少的新租赁时间区间优先

任务v_t分配到上导致新租赁时间区间的个数虚拟机上所需要的计费区间的个数和实际新租赁时间片的个数，得出规则值具体计算方法为：1)计算v_t在slot类型虚拟机上所需要的计费区间的个数，加上1，得到所需的最大区间数；2)将v_t在slot上导致的实际新租赁时间片的个数除以步骤1)中得到的最大区间数，从而得到

2)最低的总处理代价优先

计算任务v_t在slot上的该规则的优先级值时，首先根据slot所在虚拟机类型，得出v_t的任务执行时间；然后，查看是否是新租赁的虚拟机，如果是，则处理时间要加上虚拟机加载时间；如果是已经有的虚拟机实例，则查看slot上是否有v_t需要的软件、控件，如果没有，则需要将软件的下载和安装时间加到任务执行时间上。最后，计算所有前序任务数据传输到该slot上的总时间，添加到任务执行时间；最终得出v_t在该slot上的总处理时间。将该值归一化，得出第二个规则的优先级值

3)最佳的任务处理时间与时间槽长度的匹配程度优先

定义：任务v_t在slot上的匹配度为v_t分配到slot后时间使用的计费区间两端剩余片段的长度除以两倍的计费区间长度。该规则的优先级值为具体计算方法为：1)获取v_t在slot上所占用连续计费区间的集合；2)计算v_t在所占用计费区间上的两端浪费之和；3)将浪费之和除以两倍的计费区间长度，得到

通过将和按一定权重整合(例如100∶10∶1)，得到v_t在slot上的最终优先级值。

步骤s308，将任务v_t分配给slot_s；移除I中未使用的VM实例。

步骤s309，将前驱任务均被调度的任务加入θ以更新；转步骤s302。

通过上述过程，本发明实现云环境资源动态供应，在有效保证了***性能的情况下，最小化了***总资源的租赁成本。尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种云环境下的工作流应用弹性资源供应方法，其特征在于，该方法包括以下步骤：

A.工作流截至期划分：计算工作流中的各任务在各虚拟机类型上的执行时间和代价，以在不违反工作流截止期前提下最小化虚拟机总租赁成本为目标，不考虑区间计费的约束，将工作流问题简化为整数规划问题，并求解得到每个任务选择的虚拟机类型,确定任务执行时间；依据工作流截止期、任务间先序关系和任务执行时间，确定各任务截止期；

B.根据优先级规则进行任务调度：按照任务在工作流中的深度由小到大依次调度任务，对于每个任务根据其截止期，基于优先级规则，计算所有虚拟机时间槽的优先级，将任务分配到具有最高优先级的虚拟机时间槽，所述优先级规则包括最少的新租赁时间区间优先，最低的总处理代价优先，以及最佳的任务处理时间与时间槽长度的匹配程度优先。

2.如权利要求1所述的云环境下的工作流应用弹性资源供应方法，其特征在于，所述步骤A中各任务在各虚拟机类型上的执行时间的包括数据传输时间、虚拟机与软件准备时间。

3.如权利要求1所述的云环境下的工作流应用弹性资源供应方法，其特征在于，所述步骤A中依据工作流截止期、任务间先序关系和任务执行时间，确定各任务截止期的具体步骤包括：

S1.对任务集合V中各任务v，将初始化为数据传输时间、VM准备时间、软件准备时间和任务执行时间之和，计算每个任务的最早开始时间EST_v、最早结束时间EFT_v和最晚结束时间LFT_v；

S2.采用关键路径生成方法迭代生成初始关键路径CP，CP_[i]表示CP的第i个任务；

S3.判断CP是否为空，若为空，转步骤S10；否则，转步骤S4；

S4.计算CP的总时间浮动 $T_{\mathrm{CP}}^{\mathrm{float}}={\mathrm{\Σ}}_{{\mathrm{CP}}_{\left[k\right]\∈{\mathrm{CP}}^{\′}}}({\mathrm{EST}}_{{\mathrm{CP}}_{[k+1]}}-{\mathrm{EFT}}_{{\mathrm{CP}}_{\left[k\right]}})+{\mathrm{LFT}}_{{\mathrm{CP}}_{\left[l\right]}}-$ 其中，CP′＝CP/V^fix/{CP_[l]}；，l是CP的长度；

S5.判断是否大于0，若大于0，转步骤S6；否则，转步骤S12；

S6.初始化i＝1；

S7.判断i≤l，若是，转步骤S8；否则，转步骤S11；

S8.对CP中的任务CP_[C]，判断CP_[i]是否属于固定任务集合V^fix，其中固定任务集合V^fix为时间浮动满足的所有任务C组成的集合；若属于，转步骤S10；

S9.计算CP_[i]被分配的浮动 $T_{{\mathrm{CP}}_{\left[i\right]}}^{\mathrm{dis}}=T_{\mathrm{CP}}^{\mathrm{float}}\×T_{{\mathrm{CP}}_{\left[i\right]}}^{\mathrm{float}}\×T_{{\mathrm{CP}}_{\left[i\right]}}^{\mathrm{float}}/{\mathrm{\Σ}}_{v_k\∈\mathrm{CP}/V}\mathrm{fix}\left\{T_{v_k}^{\mathrm{float}}\right\},$ 更新其时间浮动更新其后继任务的最早开始和最早结束时间；

S10.更新i＝i+1；

S11.更新V中所有任务的最晚结束时间和V^fix,转步骤S4；

S12.生成下一个关键路径CP，转步骤S3；

S13.设置每个任务的任务截止期为

4.如权利要求1所述的云环境下的工作流应用弹性资源供应方法，其特征在于，所述步骤B中，包括：

B1.初始化已准备好的任务集θ为仅包含开始任务的集合{v₀}，计算中各任务的最早开始时间；

B2.根据已准备好的任务集θ中各任务的深度划分θ为各子集，选择深度最小的子集θ_s，对其中的任务根据执行时间进行非升序排序，选取其中第一个任务L_t作为即将进行调度的任务；若v_t为空，转步骤B5；

B3.对于当前任务v_t，将其选中的虚拟机类型的一个实例暂时添加至所述云环境中已租用的虚拟机实例集合I中；根据任务的最早开始时间和截止期，得出v_t当前可用的时间槽集合

B4.根据优先级规则，计算出任务v_t在中每个时间槽slot上的优先级值，包括根据最少的新租赁时间区间优先规则得到的根据最低的总处理代价优先规则得到的以及根据最佳的任务处理时间与时间槽长度的匹配程度优先规则得到的通过将和按设定权重整合，得到v_t在slot上的最终优先级值，选取其中具有最高优先级的时间槽slot_s，将任务v_t分配给slot_s；移除I中未使用的VM实例；更新已准备好的任务集θ，如果θ不为空，转步骤B2；

B5.任务与虚拟机时间槽匹配结束，退出。

5.如权利要求4所述的云环境下的工作流应用弹性资源供应方法，其特征在于，所述的计算方法为：1)计算v_t在slot类型虚拟机上所需要的计费区间的个数，加上1，得到所需的最大区间数；2)将v_t在slot上导致的实际新租赁时间片的个数除以步骤1)中得到的最大区间数，从而得到

6.如权利要求4所述的云环境下的工作流应用弹性资源供应方法，其特征在于，所述的计算方法为：

首先，根据slot所在虚拟机类型，得出v_t的任务执行时间；

然后，查看是否是新租赁的虚拟机，如果是，则将虚拟机加载时间添加到任务执行时间上；如果是已经有的虚拟机实例，则查看slot上是否有v_t需要的软件，如果没有，则将软件的下载和安装时间添加到任务执行时间上；

最后，计算所有前序任务数据传输到该slot上的总时间，并添加到任务执行时间上，得出v_t在该slot上的总处理时间，归一化后得到

7.如权利要求4所述的云环境下的工作流应用弹性资源供应方法，其特征在于，所述通过计算v_t分配到slot后任务两段浪费的时间得到，具体计算方法为：1)获取v_t在slot上所占用连续计费区间的集合；2)计算v_t在所占用计费区间上的两端浪费之和；3)将浪费之和除以两倍的计费区间长度，得到