CN104021040B - 基于时间约束条件下的云计算关联任务调度方法和装置 - Google Patents

Abstract

本发明公开了一种基于时间约束条件下的云计算关联任务调度方法和装置，所述方法包括以下步骤，首先，使用构建DAG图的方法来表示关联任务组中任务之间的关联关系；然后，采用将DAG图分层的思想，将处于同一层中的非关联任务划分进同一任务集合；接着，将硬件资源虚拟化，建立虚拟机集群以提供任务执行的场所；最后，采用基于时间约束的分层调度方法，将每一层任务集合中的任务调度至最合适的虚拟机中执行，以保证任务按时完成。本发明采用的技术方案有效解决了现有技术中云计算关联任务在调度过程中出现执行延迟的问题，能够最大化的减少任务的延迟情况发生，保证任务在用户期望的时间内完成，同时实现了虚拟机资源的有效利用。

Description

基于时间约束条件下的云计算关联任务调度方法和装置

技术领域

本发明涉及一种云计算关联任务调度方法和装置，具体涉及一种基于时间约束条件下的云计算关联任务调度方法和装置。

背景技术

云计算技术是当前国内外计算机技术研究的重点和前沿领域，云计算将动态可伸缩的虚拟化资源以服务的方式提供给用户，能够有效地降低用户硬件开销，并以较低的成本获取高质量的服务。

虚拟化技术的发展为云计算提供了很好的解决方案，通过将硬件资源虚拟化，形成多个独立的虚拟机集群，用户通过申请的方式使用虚拟机，能有效的节省硬件资源的开销，提高资源的有效利用并且节省了管理的成本。云计算任务调度的主要作用就是将用户提交的任务申请通过一定的方法分配给虚拟机，由虚拟机完成用户提交的任务。

在用户提交的任务中，有些任务并非是单个的独立任务，而是具有执行次序先后关系的关联任务，这些关联任务在进行任务调度的过程中不能同时被分配至虚拟机，需要等待自己的前驱任务完成后才能被调度，在这种关联任务调度的过程中，一旦某个任务的执行出现延迟，就会影响后继任务的执行，从而影响整个关联任务组的完成时间。目前现有的关联任务调度方法大多只是从减少任务之间的通信成本考虑问题，而对于出现任务延迟的情况并没有太多的解决方案。

当用户提交了一组关联任务时，如何最大化的减少任务的延迟情况发生保证任务能够在用户期望的时间内完成，寻找更多的并行任务调度至合适的虚拟机以达到资源的有效利用成为本发明所要解决的首要问题。

发明内容

发明目的：本发明的目的是为了解决关联任务在调度过程中出现任务延迟的情况下，在任务调度过程中，由于各个任务是在执行次序上相互关联的，即所有的任务都有前驱或者后继任务，当某个任务在执行过程中出现延迟时，后继任务的执行必定受到影响。如何最大化消除这种影响并使虚拟机资源得到有效利用是本发明所要解决的重要问题。

技术方案：一种基于时间约束条件下的云计算关联任务调度方法，包括以下步骤：

(1)将关联任务组中的所有任务按照其执行的先后次序建立DAG图(无回路有向图)；

(2)根据所述步骤(1)中构建完成的DAG图将所有任务按层次划分为不同的任务集，为每层任务集限定时间约束；

(3)将硬件资源虚拟化，构建虚拟机集群；

(4)根据每层任务集的时间约束情况将任务调度至虚拟机集群中相应的虚拟机。

在本发明所述的关联任务中，任务之间的关联性体现在任务的执行次序上，即各个任务都有其前驱或者后继任务，只有当每个任务的直接前驱任务完成时，其后继任务才能开始执行。所述步骤(1)中建立DAG图的具体过程为：

(1.1)定义G＝{T,Λ,C}为描述关联任务组的三元组，其中，T为关联任务图中所有的任务集合，Λ为任务之间的执行次序的集合，C为任务之间通信开销的集合(每个任务在执行之前所需的数据是已知的，通信开销指任务之间的数据传输量与***网络带宽的比值)，当两个具有直接关联关系的任务被分配至同一虚拟机上执行时，任务之间不需要进行数据传输，因此其通信开销为0，当两个具有直接关联关系的任务被分配至不同的虚拟机执行时其通信开销可由下式计算：

其中data_transmission表示任务之间的数据传输量，BW指***网络带宽。

(1.2)根据集合Λ中任务之间的执行次序得出关联任务组的DAG图。

所述步骤(2)中关联任务组按层次划分主要是采用将DAG图分层的思想，将处在同一层的任务划分至不同的任务集，同一层次的不同任务集被认为是非关联的，可以被同时调度至虚拟机中执行。任务集划分的具体过程为：

(2.1)按照从入口任务至出口任务的顺序将所述DAG图分层；

(2.2)将所述DAG图中的任务按照其对应的层次划分至相应层的任务集合中；

(2.3)将用户期望的关联任务组完成时间作为关联任务调度的总的时间约束，根据每层任务集中任务数占总任务数的比例计算出每层任务集合的时间约束。

所述步骤(3)中虚拟机集群的构建主要是在多台物理服务器上部署多个虚拟机构成虚拟机集群。虚拟机中集成了完成任务所需的操作***，应用软件和数据，采用硬件虚拟化方法能够有效地提高物理资源利用率，虚拟机集群构建的具体步骤如下：

(3.1)将物理资源(内存资源，网络资源，存储资源，CPU资源)虚拟化并构建多台虚拟机；

(3.2)在虚拟机中部署用户任务执行所需要的操作***、应用程序以及任务执行所需的数据；

(3.3)将构建好的虚拟机加入虚拟机集群中等待任务被调度执行。

所述步骤(4)中的任务调度是基于时间约束条件下的，即用户对一组关联任务的完成有时间约束，所有的任务必须尽可能保证被调度至合适的虚拟机上执行并且任务能够按时完成。任务调度的具体流程为：

(4.1)根据所述步骤(2)中已划分好任务集的关联任务组按层次接收一层任务集，将任务集中的任务分配至虚拟机集群中不同的空闲虚拟机，转至步骤(4.2)；

(4.2)判断所接收任务集中的任务是否全部执行完毕，若没有完成则继续等待任务执行完毕，否则转至步骤(4.3)；

(4.3)计算所接收任务集中的所有任务的总完成时间，判断是否小于该层任务的约束时间，若实际的完成时间小于约束时间，则转至步骤(4.1)，否则转至步骤(4.4)；

(4.4)将下一层任务集中的任务分配至与其前驱任务相同的虚拟机中，转至步骤(4.2)。

在任务调度的过程中，处在每一层任务集的任务能够被同时调度到虚拟机，每个任务尽可能被分配至不同的虚拟机执行，虽然以牺牲任务的通信开销为代价，但可以有效的避免多个任务被分配至相同的虚拟机造成任务等待的效果。在每一层的任务完成以后如果该层任务完成的总时间大于任务的约束时间，则在调度下一层任务时，将该层任务集合中的任务分配至与其直接前驱任务相同虚拟机中，这样做能有效的避免由于前驱与后继任务因分配至不同的虚拟机而产生的任务之间的通信时间。通过该种方法以弥补前一层任务产生的延迟。

一种基于时间约束条件下的云计算关联任务调度装置，包括：任务图构建单元、任务分层单元、虚拟机管理单元和任务调度单元；

其中任务图构建单元用于接收关联任务组，并将所有任务按照任务执行的先后次序建立DAG图；

任务分层单元与任务图构建单元相连，包括任务集划分单元和时间约束计算单元，所述任务集划分单元用于根据任务构建单元构建完成的DAG图将任务按照层次划分为不同的任务集，所述时间约束计算单元将关联任务组的时间约束分配到具体各层的时间约束；

虚拟机管理单元用于管理虚拟机集群，能够监控虚拟机上任务的执行情况；

任务调度单元分别与任务分层单元和虚拟机管理单元相连，用于将任务分层单元中的按层分好的任务集按照时间约束情况分配至虚拟机管理单元管理的合适的虚拟机。

所述任务调度单元包括任务集接收单元、任务集分配单元、任务集执行监控单元和任务集时间计算单元；

所述任务集接收单元从所述任务分层单元接收待执行任务集和任务集的时间约束；所述任务集分配单元将任务集中的任务分配至虚拟机，任务集执行监控单元监控任务执行情况，任务集时间计算单元计算任务集中所有任务完成的时间并与任务集的约束时间进行比较，任务集分配单元根据比较结果确定下一层任务集的分配情况。

本发明采用上述技术方案，具有以下有益效果：本发明通过使用构建DAG图的方法来表示关联任务组中任务之间的关联关系，同时采用将DAG图分层的思想，将处于同一层中的非关联任务划分进同一任务集合，建立了虚拟机集群以提供任务执行的场所，在任务调度的过程中采用基于时间约束的分层调度方法，将每一层中的任务调度至最合适的虚拟机中执行，有效解决了现有技术中云计算关联任务在调度过程中出现执行延迟的问题，最大化的减少任务的延迟情况发生，保证任务能够在用户期望的时间内完成，并且实现了虚拟机资源的有效利用。

附图说明

图1为本发明方法实施例的总体框架图；

图2为本发明方法实施例中的关联任务组的DAG图；

图3为本发明方法实施例中的关联任务组分层调度的流程图；

图4为本发明装置实施例的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的阐述。

本发明提供一种基于时间约束条件下的云计算关联任务调度方法实施例，图1为本实施例的总体框架图，针对由n个云计算关联任务组成的一组关联任务组，其中每个任务都有其前驱或者后继任务，只有当前驱任务完成时后继任务才能开始被调度执行，用户期望的关联任务组完成时间为D，本发明实施例的主要步骤如下：

(A)关联任务组进入DAG图构建模块，DAG图构建模块根据任务的执行次序构建DAG图；

(B)构建完成的DAG图进入关联任务分层模块，任务划分进不同层次的任务集合中；

(C)抽取资源池中的CPU资源、内存资源、网络资源和存储资源生成多个虚拟机，组成虚拟机集群；

(D)任务调度模块按照一定的调度策略将处于相同层次的任务分配至集群中的虚拟机。

其中步骤(A)的具体步骤为：

(A1)定义G＝{T,Λ,C}为描述关联任务组的三元组，其中，T为关联任务图中所有的任务集合T＝{t₁,t₂,...,t_n},Λ为任务(t_i,t_j)之间的执行次序的集合，t_i为t_j的直接前驱任务，t_j为t_i的直接后继任务，C＝{c₁,c₂,...,c_L}为任务之间通信开销的集合。任务之间通信开销越大，任务之间用于传输数据的时间越长。当两个具有直接关联关系的任务被分配至同一虚拟机上执行时，其通信开销为0，同时可以有效减少前驱任务向后继任务传输数据的时间。

(A2)根据集合Λ中任务之间的执行次序得出关联任务组的DAG图。

如图2所示，直观地展示了具有10个关联任务的DAG图，这组关联任务为t₁-t₁₀,任务之间的关联关系用箭头表示，箭头上的数字表示任务间的通信开销。任务t₁为关联任务图的入口节点，任务t₁₀为关联任务的出口节点，任务t₂、t₃、t₄的直接前驱任务为t₁，后继任务分别为t₅、t₆、t₇，以此类推每个任务都有自己的前驱或者后继任务。

上述步骤(B)的具体步骤为：

(B1)按照从入口任务至出口任务的顺序将所述DAG图分为k层。

(B2)将所述DAG图中的任务按照其对应的层次划分至相应层的任务集合中，如图2所示，DAG图有t₁-t₁₀10个关联任务，按照从t₁至t₁₀遍历任务图的顺序，可将关联任务图分为5层：第一层为t₁；第二层为t₂、t₃、t₄；第三层为t₅、t₆、t₇；第四层为t₈、t₉；第五层为t₁₀。对于处在同一层的任务集，由于任务之间没有直接的执行次序关联性，所以当前驱任务完成时，同一层次的任务可以被同时调度。例如任务t₂、t₃、t₄只需其前驱任务t₁完成时，可以被同时调度。

(B3)将用户期望的关联任务组完成时间D作为关联任务调度的总的时间约束，根据公式计算出每层任务集合的时间约束。

其中，D_i为第i层任务集合的约束时间，m_i为第i层任务集合中的任务数，且有

下面结合图3详细说明上述步骤(D)中的任务调度流程，包括如下步骤：

S401：从已划分好任务集的关联任务组接收一层任务集S_i，其时间约束为D_i，其中i为当前接收的任务集的层次，第一次调度时i＝1；

S402：将任务集S_i中的任务依次分配至虚拟机集群中不同的空闲虚拟机中执行；

S403：判断任务集S_i中的任务是否全部执行完毕，若没有完成则继续等待任务执行完毕，否则转至S404；

S404：判断任务组中是否存在下一层待执行的任务集，若不存在则任务组全部执行完毕，否则转至S405；

S405：计算任务集S_i中的所有任务的总完成时间T_i。

S406：判断T_i<D_i是否成立，若成立取下一层任务集转至步骤S402，否则取下一层任务集转至步骤S407；

S407：将任务集S_i中的任务分配至与其直接前驱任务相同的虚拟机中执行，转至步骤403；

本发明还提供一种基于时间约束条件下的云计算关联任务调度装置实施例，如图4所示，包括任务图构建单元101、任务分层单元102、虚拟机管理单元103和任务调度单元104；

任务图构建单元101用于接收关联任务组，并将所有任务按照任务执行的先后次序建立DAG图；

任务分层单元102与任务图构建单元101相连，包括任务集划分单元1021和时间约束计算单元1022，任务集划分单元1021用于根据任务构建单元101构建完成的DAG图将任务按照层次划分为不同的任务集，时间约束计算单元1022将关联任务组的时间约束按照各层具体任务数的占比情况计算各层的时间约束；

虚拟机管理单元103用于管理虚拟机集群，能够监控虚拟机上任务的执行情况；

任务调度单元104与任务分层单元102和虚拟机管理单元103相连，包括任务集接收单元1041、任务集分配单元1042、任务集执行监控单元1043和任务集时间计算单元1044；

任务集接收单元1041从任务分层单元102依次接收一层任务集和该层任务集的时间约束；任务集分配单元1042按照分配规则将任务集中的任务分配至虚拟机，任务集执行监控单元1043监控任务执行情况，任务集时间计算单元1044计算一个任务集中所有任务完成的时间并与约束时间进行比较，任务集分配单元1042根据比较结果确定下一层任务集的分配情况，若实际完成的时间小于约束时间，则下一层任务集中的任务依次分配至不同的空闲虚拟机，否则将下一层任务集中的任务分配至其直接前驱任务所在的虚拟机执行。

本发明按照优选实施例进行了说明，应当理解，但上述实施例不以任何形式限定本发明，凡采用等同替换或等效变换的形式所获得的技术方案，均落在本发明的保护范围内。

Claims (1)

1.一种基于时间约束条件下的云计算关联任务调度方法，其特征在于，包括以下步骤：

(1)将关联任务组中的所有任务按照其执行的先后次序建立DAG图；

(2)根据步骤(1)中构建完成的DAG图将所有任务按层次划分为不同的任务集，为每层任务集限定时间约束；

(3)将硬件资源虚拟化，构建虚拟机集群；

(4)根据每层任务集的时间约束情况将任务调度至虚拟机集群中合适的虚拟机；

所述步骤(1)的具体步骤为：

(1.1)定义G＝{T,Λ,C}为描述关联任务组的三元组，其中，T为关联任务组中所有的任务集合，Λ为任务之间的执行次序的集合，C为任务之间通信开销的集合；

(1.2)根据集合Λ中任务之间的执行次序得出关联任务组的DAG图；

所述步骤(2)的具体步骤为：

(2.1)按照从入口任务至出口任务的顺序将所述DAG图分层；

(2.2)将所述DAG图中的任务按照其对应的层次划分至相应层的任务集合中；

(2.3)将用户期望的关联任务组完成时间作为关联任务调度的总的时间约束，根据公式计算出每层任务集合的时间约束；

所述步骤(2.3)中计算每层任务集合的时间约束的公式为

其中，D为关联任务组完成的约束时间，D_i为第i层任务集合的约束时间，n为关联任务组中的任务总数，m_i为第i层任务集合中的任务数，满足k为所述DAG图的总层数；

所述步骤(3)的具体步骤为：

(3.1)将物理资源，包括CPU资源、网络资源、内存资源和存储资源，虚拟化并构建多台虚拟机；

(3.2)在虚拟机中部署用户任务执行所需要的操作***、应用程序以及任务执行所需的数据；

(3.3)将构建好的虚拟机加入虚拟机集群中等待任务被调度执行；

所述步骤(4)中的任务调度的流程为：

(4.1)根据所述步骤(2)中已划分好任务集的关联任务组按层次接收一层任务集，将任务集中的任务分配至虚拟机集群中不同的空闲虚拟机，转至步骤(4.2)；

(4.2)判断所接收任务集中的任务是否全部执行完毕，若没有完成则继续等待任务执行完毕，否则转至步骤(4.3)；

(4.3)计算所接收任务集中的所有任务的总完成时间，判断是否小于该层任务的约束时间，若实际的总完成时间小于约束时间，则转至步骤(4.1)，否则转至步骤(4.4)；

(4.4)将下一层任务集中的任务分配至与其前驱任务相同的虚拟机中，转至步骤(4.2)。