CN102096602A - 一种任务调度方法及其***和设备 - Google Patents

一种任务调度方法及其***和设备 Download PDF

Info

Publication number
CN102096602A
CN102096602A CN2009102424854A CN200910242485A CN102096602A CN 102096602 A CN102096602 A CN 102096602A CN 2009102424854 A CN2009102424854 A CN 2009102424854A CN 200910242485 A CN200910242485 A CN 200910242485A CN 102096602 A CN102096602 A CN 102096602A
Authority
CN
China
Prior art keywords
task
node
working node
working
resources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009102424854A
Other languages
English (en)
Inventor
郭磊涛
孙宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN2009102424854A priority Critical patent/CN102096602A/zh
Publication of CN102096602A publication Critical patent/CN102096602A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Multi Processors (AREA)

Abstract

本发明公开了一种任务调度方法及其***和设备，本发明方法应用于设置有主节点和多个工作节点的数据处理***，其中，主节点用于任务调度，工作节点用于执行任务，该方法包括如下步骤：工作节点向主节点发送获取任务的请求，其中携带该工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量；所述主节点根据各工作节点发送的各自节点上执行的各任务各自的资源使用量，确定该主节点上各类任务的资源需求量，并根据确定出的各类任务的资源需求量以及发送所述请求的工作节点的可用资源量，为所述工作节点进行任务调度。采用本发明，可以避免工作节点过载，以及提高工作节点的资源利用率，从而提高数据处理***，尤其是MapReduce***的运行效率。

Description

一种任务调度方法及其***和设备
技术领域
本发明涉及通信领域的数据处理技术，尤其涉及一种任务调度方法及其***和设备。
背景技术
MapReduce是一种分布式的用于处理海量数据集的并行编程***，可以自动将MapReduce数据处理任务并行化为多个子任务，并调度到一个由普通节点(如PC)构建的集群上并发执行；同时，***自动解决对节点失效、任务失效及节点间数据交换等问题，使得MapReduce应用可以不必关心此问题，而通过定义相应的Map(映射)和Reduce(化简)函数即可实现分布式数据处理的功能。
MapReduce***主要由三个模块组成，其***架构如图1所示。客户端(Client)用于将用户布置的并行处理作业(Job)提交至主节点(Master)；Master自动将客户端提交的Job分解为多个具有相同处理功能(但输入数据可能不同)的Map任务和多个具有相同处理功能(但处理的数据可能不同)的Reduce任务，其中，Map任务的输出数据作为Reduce任务的输入数据，并将任务调度到工作节点(Worker)；Worker向Master请求任务并执行请求到的任务。
由于MapReduce***一般构建在大规模计算资源上(如千级别节点规模的网络***)，Master无法获取所有Worker的负载信息并进行任务的调度，所以，在MapReduce***中，由Worker根据事先部署的配置文件，主动向Master请求任务。Master根据队列配置和作业优先级等信息选择任务并调度给Worker执行。其具体调度流程可以如图2所示，包括：
步骤201、Worker触发心跳消息发送流程，触发条件可以是周期性设定或事件触发，如当某个任务执行完毕***有空余资源时，可以主动触发发送心跳消息；
步骤202、Worker检查预先部署的配置文件，预先部署的配置文件中记录有Worker可以执行的最大任务数配额；
步骤203、Worker根据配置文件，判断是否请求新的任务，当Worker执行的任务数未达配额时，将向Master请求执行新的任务；
步骤204、Worker根据判断结果向Master发送心跳消息，其中带有“是否请求任务”的标记。当Worker请求执行新的任务时，该标记被设置为true；否则该标记被设置为false。
步骤205、Master接收到Worker发送的心跳消息后，检查“是否请求任务”的标记，当该标记为true时，Master选择将某个任务调度给该Worker。Master上的调度任务的策略可配置，如具备将任务调度至其所处理数据较近的节点、失败任务的重新调度、瓶颈任务的冗余调度等等。
步骤206、Master向Worker返回心跳响应，并在Worker请求任务时，向Worker返回任务。
发明人在实现本发明的过程中，发现MapReduce***现有的任务调度机制存在以下问题：
(1)Worker完全根据预先部署的配置信息请求执行新任务，随着节点规模的不断增加和设备的更新换代，以及不同MapReduce作业所需资源的异构性，仅仅依靠预先部署的配置文件进行任务调度会造成以下问题：
当Worker的硬件配置较低或其上运行的任务占用较多的资源，如正在运行的任务占用了大量的***资源(CPU或/和内存等)时，如果Worker尚未达到其预先配置的最大任务配额，其仍然会向Master请求执行新任务，在这种情况下，不仅可能出现新任务由于内存不足不能正常执行的情况，而且还会影响到正在执行的任务，甚至会导致Worker发生故障；
当Worker的硬件配置较高或其上运行的任务占用较少的资源时，如果Worker已经达到其预先配置的最大任务配额，其将不再向Master请求执行新任务，在这种情况下，会造成Worker资源的浪费。
(2)对于Master，当Master接收到来自Worker的任务请求时，根据自身策略将某个任务调度给该Worker。由于MapReduce***中的作业特性不同，其任务处理所需的资源量有较大差异，容易导致Master分配给Worker的任务所需资源量超出该Worker的可以资源量，导致任务执行失败，同时会影响在该Worker上运行的其他任务。
总而言之，当前MapReduce***的任务调度机制中，一方面，Worker仅仅依赖预先部署的配置信息进行调度，从而在节点配置和任务类型不同时造成Worker的过载或负载不足造成资源浪费；另一方面，Master无法将任务调度至负载合适的Worker，从而导致Worker的过载或负载不足，降低了MapReduce***的运行效率。
发明内容
本发明实施例提供了一种任务调度方法及其***和设备，用以解决现有数据处理***的任务调度机制中因未考虑工作节点负载所导致的工作节点过载或资源利用率低的问题。
本发明实施例提供的任务调度方法，应用于设置有主节点和多个工作节点的数据处理***，其中，主节点用于任务调度，工作节点用于执行任务，该方法包括如下步骤：
工作节点向主节点发送获取任务的请求，其中携带该工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量；
所述主节点根据各工作节点发送的各自节点上执行的各任务各自的资源使用量，确定该主节点上各类任务的资源需求量，并根据确定出的各类任务的资源需求量以及发送所述请求的工作节点的可用资源量，为所述工作节点进行任务调度。
本发明实施例提供的数据处理***，包括主节点设备和多个工作节点设备；
所述工作节点设备，用于向主节点发送获取任务的请求，其中携带该工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量信息；
所述主节点设备，用于根据各工作节点发送的各自节点上执行的各任务各自的资源使用量，确定该主节点上各类任务的资源需求量，并根据确定出的各类任务的资源需求量以及发送所述请求的工作节点的可用资源量，为所述工作节点进行任务调度。
本发明实施例提供的主节点设备，应用于设置有主节点设备和多个工作节点设备的数据处理***，其中，工作节点设备用于执行主节点设备分配的任务，所述主节点设备包括：
任务信息统计模块，用于在接收到工作节点发送的获取任务的请求后，根据各工作节点发送的各自节点上执行的各任务各自的资源使用量，确定该主节点上各类任务的资源需求量；
任务调度模块，用于根据所述任务信息统计模块确定出的各类任务的资源需求量，以及接收到的请求中所携带的所述工作节点的可用资源量，为所述工作节点进行任务调度。
本发明的上述实施例中，工作节点向主节点发送自身的可用资源量和其上执行的各任务各自的资源使用量，使主节点在为该工作节点进行任务调度时，能够根据各工作节点发送的各自节点上执行的各任务各自的资源使用量，预算出该主节点上各类任务的资源需求量，从而可根据各类任务的资源需求量以及发送请求的工作节点的可用资源量，为工作节点进行任务调度。由于在任务调度时引入了工作节点负载以及任务需求量作为任务调度依据，因此可以根据工作节点实际负载来分配资源需求量相适应的任务，从而一方面可以避免工作节点过载的情况，另一方面可以提高工作节点的资源利用率，从而提高整个数据处理***的运行效率。
本发明实施例还提供了一种工作节点设备，以实现向主节点设备发送工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量，作为主节点设备进行任务调度的依据。
本发明实施例提供的工作节点设备，应用于设置有主节点设备和多个工作节点设备的数据处理***，其中，主节点设备用于任务调度，工作节点设备包括任务执行模块，用于执行主节点分配的任务，所述工作节点设备还包括：
资源监控模块，用于监控工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量；
发送模块，用于向主节点发送获取任务的请求，其中携带所述资源监控模块监控到的该工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量。
本发明的上述实施例，通过在向主节点发送获取任务的请求时，将工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量发送给主节点设备，为主节点设备采用任务的资源需求量和工作节点的可用资源量为依据进行任务调度提供了保证。
附图说明
图1为现有MapReduce***的架构示意图；
图2为现有MapReduce***任务调度流程示意图；
图3为本发明实施例提供的MapReduce***中的Worker和Master的结构示意图；
图4为本发明实施例提供的MapReduce***任务调度流程示意图。
具体实施方式
针对现有MepReduce***的任务调度机制存在的上述问题，本发明实施例提出了一种适用于MapReduce***并基于Worker实际负载的任务调度方案。
所述任务调度方案可以被实现为一种任务调度方法，也可以被实现为一种MapReduce***，以及相关的设备；并且，可以被实现为硬件，也可以被实现为软件，或者被实现为软件和硬件的结合。下面结合附图以及具体实施例对本发明进行详细描述。
本发明实施例所提供的MapReduce***的架构如图1所示，但对其中的Worker和Master分别进行了改进。
对于Worker，增加了以下功能：
Worker能够根据自身负载情况或资源使用情况，决定是否向Master请求执行新任务，从而当Worker负载较高时，即使其未达到配置文件所规定的最大任务配额，仍然不请求执行新的任务，而当Worker负载较低时，即使其已达到最大任务配额，仍然请求执行新任务；
Worker向Master请求任务时，同时向Master汇报自身的可用资源量，以及其上运行的每个任务的资源使用量统计信息，作为Master进行任务调度的依据。
对于Master，增加了以下功能：
Master根据Worker汇报的任务执行所用资源的信息，统计分析每类任务执行所需的资源量。由于在Mapreduce***中，同一个Job的所有同类任务，如所有Map任务和所有Reduce任务的输入数据可能不同但处理流程相同，因此同一个作业的多个Map任务和多个Reduce任务具有类似的资源需求量，所以某个Map任务或Reduce任务在某个Worker上执行时所用的资源量能够反映该类任务执行时所需的资源量。通过Worker向Master汇报其上执行的任务所用资源量的信息，Master可以逐步精确掌握该类任务资源需求量，从而为任务调度提供依据；
Master接收到Worker获取新任务的请求时，根据该Worker汇报的该Worker自身的可用资源量，以及Master统计出的各类任务执行所需的资源使用量，为该Worker分配合适的任务，以使分配给该Worker的任务的资源需求量尽量不会超过该Worker的负载承受范围，并且尽量充分利用该Worker的负载能力。
根据Worker和Master所实现的上述功能，Worker和Master的内部模块结构以及连接关系可如图3所示，图3仅示出了Master与一个Worker的结构以及各模块之间的连接关系。
如图3所示，Worker中除了包括收发模块301(该模块用于信号的接收和发送处理，如心跳信号的发送和心跳响应信号的接收)、任务执行模块302(该模块用于执行从Master请求到的任务)等常规模块以外，还包括资源监控模块303和任务请求决策模块304，其中，资源监控模块303是新增模块，任务请求决策模块304可以在原有任务请求决策模块的基础上进行改进而得到。
资源监控模块303：一方面，监控Worker本身的负载，包括CPU、Mem(内存)或Disk(磁盘)等的资源量使用情况，如已使用的资源量和剩余可使用的资源量，并可将监控结果提供给任务请求决策模块304；另一方面，监控Worker上每个任务所使用的资源量，可以包括CPU、Mem(内存)或Disk(磁盘)等的资源使用情况，并可将每个任务使用的资源量以及该Worker的可用资源量，通过收发模块301发送给Master。对于Worker上的每个任务，可以监控并统计在一段时间内任务执行时所使用的资源量，较佳地可以将该段时间内统计得到的该任务执行时所使用的最大资源量作为该任务执行所使用的资源量进行上报，这样可以尽量避免由于对任务执行所使用的资源量统计结果不准确(如统计结果低于该任务实际运行所需的最大资源量)而造成的Master将任务调度至剩余资源不足的Worker的情况。
任务请求决策模块304：排除原有基于预先配置文件所规定的任务配额的任务请求决策规则，而改进为根据资源监控模块303所监控到的节点负载情况判断是否请求新的任务，并可将决策结果发送给收发模块301以便其生成心跳信号发送给Master。具体的，如果判断满足特定条件，即节点负载量不超过设定的负载量阈值，则向Master请求执行新任务，否则将不请求新任务；该特定条件可以表示为：
(LCPU＜TCPU)&&(LMEM＜TMEM)&&(LDISK＜TDISK)
其中，L*是Worker当前的负载，T*是***预算设置的阈值；该条件表明：当Worker的CPU使用量不超过***设定的CPU使用量阈值，并且Worker的内存使用量不超过***设定的内存使用量阈值，以及Worker的磁盘使用量不超过***设定的磁盘使用量阈值时，则可以请求执行新的任务。
以上条件表达式仅是一个实例，事实上，可以对该表达式进行变形，如减少其中的判断因子(如不对磁盘使用量进行判断)，或者增加其他判断因子，只要能够通过表达式判断出Worker的负载量是否超过***设定的负载量阈值，都应该在本发明的保护范围之内。
如图3所示，Master中除了包括收发模块310(该模块用于信号的接收和发送处理，如心跳信号的接收和心跳响应信号的发送)等常规模块以外，还包括：任务信息统计模块311和任务调度模块312，其中，任务信息统计模块311是新增模块，任务调度模块312可以在原有任务调度模块的基础上进行改进而得到。
任务信息统计模块311：主要用于接收各个Worker发送的关于任务执行所用资源的信息，并进行统计分析，从而得到每类任务执行所需的资源量，作为任务调度模块312进行任务调度的依据；
任务调度模块312：与现有任务调度模块进行任务调度时，并未考虑每个任务执行所需的资源量相比，改进后的任务调度模块312，在接收到Worker发送的获取任务的请求以及Worker发送的其节点的可用资源量后，根据任务信息统计模块311所统计出的每类任务执行所需的资源量，选择所需资源量小于该Worker可用资源量的任务分配给该Worker。
需要说明的是，以上Worker和Master的模块划分方式仅是各种可能的模块划分方式中的一种，本领域技术人员应该能够理解，只要使Worker和Master具备上述功能，其是否划分为不同的模块或者如何划分模块，都不会对本发明的保护范围构成限制。
下面以图3所示的Worker和Master的结构为例，并结合图4所示的流程，对任务调度过程进行详细描述。如图4所示，该流程包括：
步骤401、Worker触发心跳消息发送流程。可以是周期性触发心跳消息的发送，也可以是基于事件触发心跳消息的发送，如当某个任务执行完毕***有空余资源时或者节点剩余资源量(如DISK)不足时，可以主动触发发送心跳消息。
步骤402、Worker中的任务请求决策模块304从资源监控模块303读取当前自身负载量(如CPU/MEM/DISK等)以及其上运行的每个任务占用资源量的统计信息。
其中，资源监控模块303可以通过统计任务的每个进程在节点上使用某类资源(如CPU)的平均值等方法来计算。资源监控模块303可按照设定的统计周期进行监控和统计。
步骤403、Worker中的任务请求决策模块304根据从资源监控模块303获取到的节点负载量分析判断是否请求执行新任务。如果节点负载量未超过***规定的负载量阈值，则请求执行新任务，否则不请求执行新任务。
步骤404、Worker的收发模块301向Master发送心跳消息，心跳消息中带有“是否请求任务”标记、资源监控模块303所监控和统计到的Worker节点可用资源量以及其上运行的每个任务占用的资源量信息。当Worker的任务请求决策模块304确定执行新的任务时，该标记被设置为true；否则该标记被设置为false。
步骤405、Master的收发模块310接收Worker发送的心跳消息，任务信息统计模块311根据心跳消息中携带的该Worker上运行的每个任务占用的资源量，并参照其他Worker发送的其各自节点上运行的每个任务占用的资源量，计算每类任务执行所需的资源量。
步骤406、Master的任务调度模块312检查心跳消息中的“是否请求任务”标记和Worker的节点可用资源量。当“是否请求任务”标记值为true时，Master根据任务信息统计模块311计算出的每类任务执行所需的资源量，选取资源需求量不超过Worker节点可用资源量的任务集，并从该任务集中选择任务并调度给该Worker。
步骤407、Master向Worker返回心跳响应，如果Master为Worker分配了任务，则将为该Worker分配的任务返回给Worker。
Worker接收到Master返回的任务后，任务执行模块302执行接收到的任务。
上述流程中，如果步骤406中Master中当前没有资源需求量不超过Worker节点可用资源量的任务，则可以向Worker返回任务调度失败的信息，并结束该流程。
根据以上描述可以看出，与现有方案相比，一方面，Worker根据实际负载情况确定是否请求执行新的任务，一定程度上消除了现有方案中仅基于预先部署的配置文件进行判断所带来的Worker节点过载或负载不足的问题，从而可以更好保证Worker正常、高效执行；另一方面，Master根据Worker发送的关于每个任务使用资源量的信息，统计分析每类任务所使用的资源量，从而可以较精确的将合适的任务调度给Worker，一定程度上避免了Worker由于剩余资源不足而又执行新的任务造成的过载现象。
本发明的另一实施例中，Worker的任务请求决策模块依然采用现有方式判断是否请求执行新的任务，即，如果Worker上的任务数量没有达到任务量配额时则请求执行新的任务，但与现有技术不同的是，随心跳消息还发送资源监控模块所监控到的该节点的可用资源量和该节点上执行的任务的资源使用量；Master在接收到Worker发送的执行新任务的请求后，任务信息统计模块根据各Worker上报的各自节点上执行的任务的资源使用量，确定Master上各任务的资源需求量，然后由任务调度模块根据任务信息统计模块确定出的各任务的资源需求量和该Worker的可用资源量进行任务调度，具体的，将资源需求量小于Worker当前可用资源量的任务分配给该Worker，如果没有这样的任务可以分配，则Master可以返回任务分配失败的响应。
该实施例针对Worker在请求任务时，其负载已经较大的情况，可以将资源需求量相对较小的任务分配给该Worker，或者不分配新的任务给该Worker，从而与现有任务调度机制相比可以一定程度上缓解Worker的负载压力；针对Worker在请求任务时，其负载较小的情况，可以将资源需求量相对较大的任务分配给该Worker，从而与现有任务调度机制相比可以一定程度上提高Worker的资源利用率。
本发明的上述实施例不仅适用于MapReduce***，还可适用于类似结构的数据处理***，如设置有主节点和多个工作节点的数据处理***，其中，主节点用于任务调度，工作节点用于执行任务。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (17)

1.一种任务调度方法，应用于设置有主节点和多个工作节点的数据处理***，其中，主节点用于任务调度，工作节点用于执行任务，其特征在于，包括如下步骤：
工作节点向主节点发送获取任务的请求，其中携带该工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量；
所述主节点根据各工作节点发送的各自节点上执行的各任务各自的资源使用量，确定该主节点上各类任务的资源需求量，并根据确定出的各类任务的资源需求量以及发送所述请求的工作节点的可用资源量，为所述工作节点进行任务调度。
2.如权利要求1所述的方法，其特征在于，所述主节点为所述工作节点进行任务调度时，将资源需求量不超过该工作节点的可用资源量的任务分配给该工作节点。
3.如权利要求1所述的方法，其特征在于，工作节点发送给主节点的任务的资源使用量是该任务在设定时长内的最大资源使用量。
4.如权利要求1所述的方法，其特征在于，工作节点在触发发送心跳消息时，通过心跳消息发送获取任务的请求；
各工作节点中的每个节点在触发发送心跳消息时，将其上执行的各任务各自的资源使用量通过心跳消息发送给主节点。
5.如权利要求1至4任一项所述的方法，其特征在于，工作节点在判断其自身的负载量不超过设定的负载量阈值时，向主节点发送获取任务的请求。
6.如权利要求1至4任一项所述的方法，其特征在于，所述数据处理***为MapReduce***。
7.一种工作节点设备，应用于设置有主节点设备和多个工作节点设备的数据处理***，其中，主节点设备用于任务调度，工作节点设备包括任务执行模块，用于执行主节点分配的任务，其特征在于，所述工作节点设备还包括：
资源监控模块，用于监控工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量；
发送模块，用于向主节点发送获取任务的请求，其中携带所述资源监控模块监控到的该工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量。
8.如权利要求7所述的工作节点设备，其特征在于，所述发送模块具体用于：将所述资源监控模块监控到的在设定时长内任务的最大资源使用量进行发送。
9.如权利要求7所述的工作节点设备，其特征在于，所述发送模块具体用于：在触发发送心跳消息时，通过心跳消息发送获取任务的请求。
10.如权利要求7至9任一项所述的工作节点设备，其特征在于，还包括：
任务请求决策模块，用于在根据所述资源监控模块监控到的工作节点的可用资源量，判断该工作节点的负载量不超过设定的负载量阈值时，指示所述发送模块发送获取任务的请求；
所述发送模块进一步用于，根据所述任务请求决策模块的指示发送获取任务的请求。
11.一种主节点设备，应用于设置有主节点设备和多个工作节点设备的数据处理***，其中，工作节点设备用于执行主节点设备分配的任务，其特征在于，所述主节点设备包括：
任务信息统计模块，用于在接收到工作节点发送的获取任务的请求后，根据各工作节点发送的各自节点上执行的各任务各自的资源使用量，确定该主节点上各类任务的资源需求量；
任务调度模块，用于根据所述任务信息统计模块确定出的各类任务的资源需求量，以及接收到的请求中所携带的所述工作节点的可用资源量，为所述工作节点进行任务调度。
12.如权利要求11所述的主节点设备，其特征在于，所述任务调度模块具体用于：将资源需求量不超过该工作节点的可用资源量的任务分配给该工作节点。
13.如权利要求11所述的主节点设备，其特征在于，所述任务信息统计模块具体用于：接收各工作节点在触发发送心跳消息时，从心跳消息中解析出工作节点上执行的各任务各自的资源使用量。
14.一种数据处理***，其特征在于，包括主节点设备和多个工作节点设备；
所述工作节点设备，用于向主节点发送获取任务的请求，其中携带该工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量信息；
所述主节点设备，用于根据各工作节点发送的各自节点上执行的各任务各自的资源使用量，确定该主节点上各类任务的资源需求量，并根据确定出的各类任务的资源需求量以及发送所述请求的工作节点的可用资源量，为所述工作节点进行任务调度。
15.如权利要求14所述的数据处理***，其特征在于，所述主节点为所述工作节点进行任务调度时，将资源需求量不超过该工作节点的可用资源量的任务分配给该工作节点。
16.如权利要求14所述的数据处理***，其特征在于，所述工作节点在判断其自身的负载量不超过设定的负载量阈值时，向主节点发送获取任务的请求。
17.如权利要求14至16任一项所述的数据处理***，其特征在于，所述数据处理***为MapReduce***。
CN2009102424854A 2009-12-15 2009-12-15 一种任务调度方法及其***和设备 Pending CN102096602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009102424854A CN102096602A (zh) 2009-12-15 2009-12-15 一种任务调度方法及其***和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102424854A CN102096602A (zh) 2009-12-15 2009-12-15 一种任务调度方法及其***和设备

Publications (1)

Publication Number Publication Date
CN102096602A true CN102096602A (zh) 2011-06-15

Family

ID=44129709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102424854A Pending CN102096602A (zh) 2009-12-15 2009-12-15 一种任务调度方法及其***和设备

Country Status (1)

Country Link
CN (1) CN102096602A (zh)

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541640A (zh) * 2011-12-28 2012-07-04 厦门市美亚柏科信息股份有限公司 一种集群gpu资源调度***和方法
CN102638456A (zh) * 2012-03-19 2012-08-15 杭州海康威视***技术有限公司 基于云计算的海量实时视频码流智能分析方法及其***
CN102866918A (zh) * 2012-07-26 2013-01-09 中国科学院信息工程研究所 面向分布式编程框架的资源管理***
CN103019853A (zh) * 2012-11-19 2013-04-03 北京亿赞普网络技术有限公司 一种作业任务的调度方法和装置
CN103246550A (zh) * 2012-02-09 2013-08-14 深圳市腾讯计算机***有限公司 一种基于容量的多任务调度方法及***
CN103279386A (zh) * 2013-06-09 2013-09-04 浪潮电子信息产业股份有限公司 一种计算机作业调度***高可用的方法
CN103279351A (zh) * 2013-05-31 2013-09-04 北京高森明晨信息科技有限公司 一种任务调度的方法及装置
CN103500119A (zh) * 2013-09-06 2014-01-08 西安交通大学 一种基于预调度的任务分配方法
CN103763373A (zh) * 2014-01-23 2014-04-30 浪潮(北京)电子信息产业有限公司 一种基于云计算的调度方法和调度器
CN103793272A (zh) * 2013-12-27 2014-05-14 北京天融信软件有限公司 一种周期性任务调度方法及***
CN103885832A (zh) * 2012-12-20 2014-06-25 华为技术有限公司 一种资源分配方法、设备和***
CN104050042A (zh) * 2014-05-30 2014-09-17 北京先进数通信息技术股份公司 Etl作业的资源分配方法及装置
CN104077188A (zh) * 2013-03-29 2014-10-01 西门子公司 一种用于任务调度的方法和装置
CN104102949A (zh) * 2014-06-27 2014-10-15 北京奇艺世纪科技有限公司 一种分布式工作流装置及其处理工作流的方法
CN104317650A (zh) * 2014-10-10 2015-01-28 北京工业大学 一种面向Map/Reduce型海量数据处理平台的作业调度方法
CN104407923A (zh) * 2014-10-31 2015-03-11 百度在线网络技术（北京）有限公司 基于单节点触发的集群任务均衡方法和装置
CN104424189A (zh) * 2013-08-20 2015-03-18 中国电信集团公司 基于云平台的定位解算方法和***
CN104520815A (zh) * 2014-03-17 2015-04-15 华为技术有限公司 一种任务调度的方法、装置及设备
CN104536767A (zh) * 2015-01-14 2015-04-22 国家电网公司 智能变电站间隔层任务处理的方法及装置
WO2015180340A1 (zh) * 2014-05-30 2015-12-03 华为技术有限公司 一种数据挖掘方法及装置
CN105159769A (zh) * 2015-09-11 2015-12-16 国电南瑞科技股份有限公司 一种适用于计算能力异构集群的分布式作业调度方法
CN106484524A (zh) * 2015-08-28 2017-03-08 阿里巴巴集团控股有限公司 一种任务处理方法及装置
WO2017045576A1 (en) * 2015-09-18 2017-03-23 Huawei Technologies Co., Ltd. System and method for resource management
CN103761148B (zh) * 2014-01-26 2017-04-05 北京京东尚科信息技术有限公司 集群定时调度任务的控制方法
CN106600220A (zh) * 2016-11-29 2017-04-26 叶飞 一种分布式计算方法
CN106598735A (zh) * 2016-12-13 2017-04-26 广东金赋科技股份有限公司 一种分布式计算方法、主控节点、计算节点和***
CN106776025A (zh) * 2016-12-16 2017-05-31 郑州云海信息技术有限公司 一种计算机集群作业调度方法及其装置
CN106878356A (zh) * 2015-12-11 2017-06-20 ***通信集团公司 一种调度方法及计算节点
CN106940656A (zh) * 2016-01-04 2017-07-11 阿里巴巴集团控股有限公司 一种任务调度方法及装置
CN107066332A (zh) * 2017-01-25 2017-08-18 广东神马搜索科技有限公司 分布式***及其调度方法和调度装置
CN107423122A (zh) * 2017-07-25 2017-12-01 苏州博纳讯动软件有限公司 一种复杂运维作业编排与调度***及其方法
CN107580023A (zh) * 2017-08-04 2018-01-12 山东大学 一种动态调整任务分配的流处理作业调度方法及***
CN107688496A (zh) * 2017-07-24 2018-02-13 上海壹账通金融科技有限公司 任务分布式处理方法、装置、存储介质和服务器
CN107977257A (zh) * 2016-10-25 2018-05-01 杭州海康威视数字技术股份有限公司 一种任务调度方法及装置
CN104951372B (zh) * 2015-06-16 2018-07-31 北京工业大学 一种基于预测的Map/Reduce数据处理平台内存资源动态分配方法
WO2018176998A1 (zh) * 2017-03-29 2018-10-04 华为技术有限公司 数据存储方法及装置
CN109408236A (zh) * 2018-10-22 2019-03-01 福建南威软件有限公司 一种etl在集群上的任务负载均衡方法
CN109710391A (zh) * 2018-12-20 2019-05-03 西安四叶草信息技术有限公司 任务调度方法及设备
CN110069329A (zh) * 2019-04-15 2019-07-30 北京达佳互联信息技术有限公司 一种任务处理方法、装置、服务器及存储介质
CN110502800A (zh) * 2019-07-25 2019-11-26 上海理工大学 一种基于并行计算的产品数据模型建模方法
CN110928679A (zh) * 2019-10-16 2020-03-27 华为技术有限公司 一种资源分配方法及装置
CN111026527A (zh) * 2019-11-18 2020-04-17 江苏艾佳家居用品有限公司 一种处理海量定时任务的分发执行***
WO2020186781A1 (zh) * 2019-03-18 2020-09-24 平安普惠企业管理有限公司 测试代码移交控制方法及装置、电子设备、计算机非易失性可读存储介质
CN111783102A (zh) * 2020-06-30 2020-10-16 福建健康之路信息技术有限公司 一种安全驱逐Kubernetes集群中节点的方法和存储设备
CN112148462A (zh) * 2020-10-20 2020-12-29 上海新炬网络信息技术股份有限公司 基于Jenkins的CICD流程的处理方法
CN112817721A (zh) * 2021-01-29 2021-05-18 中国平安财产保险股份有限公司 基于人工智能的任务调度方法、装置、计算机设备和介质
CN112887407A (zh) * 2021-01-26 2021-06-01 北京百度网讯科技有限公司 用于分布式集群的作业流量控制方法和装置
US11032858B2 (en) 2017-03-28 2021-06-08 Huawei Technologies Co., Ltd. Network access method, terminal, access network, and core network
CN113608878A (zh) * 2021-08-18 2021-11-05 上海德拓信息技术股份有限公司 一种基于资源权重计算的任务分布式调度方法与***
CN113760549A (zh) * 2021-08-30 2021-12-07 聚好看科技股份有限公司 一种pod部署方法及装置
CN114840343A (zh) * 2022-05-16 2022-08-02 江苏安超云软件有限公司 基于分布式***的任务调度方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013386A (zh) * 2007-02-06 2007-08-08 华中科技大学 基于反馈机制的网格任务调度方法
US20080209434A1 (en) * 2007-02-28 2008-08-28 Tobias Queck Distribution of data and task instances in grid environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013386A (zh) * 2007-02-06 2007-08-08 华中科技大学 基于反馈机制的网格任务调度方法
US20080209434A1 (en) * 2007-02-28 2008-08-28 Tobias Queck Distribution of data and task instances in grid environments

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
万至臻: "基于MapReduce模型的并行计算平台的设计与实现", 《中国优秀硕士学位论文全文数据库》 *

Cited By (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541640A (zh) * 2011-12-28 2012-07-04 厦门市美亚柏科信息股份有限公司 一种集群gpu资源调度***和方法
CN102541640B (zh) * 2011-12-28 2014-10-29 厦门市美亚柏科信息股份有限公司 一种集群gpu资源调度***和方法
CN103246550A (zh) * 2012-02-09 2013-08-14 深圳市腾讯计算机***有限公司 一种基于容量的多任务调度方法及***
WO2013117136A1 (zh) * 2012-02-09 2013-08-15 腾讯科技（深圳）有限公司 一种基于容量的多任务调度方法、设备及***
CN102638456A (zh) * 2012-03-19 2012-08-15 杭州海康威视***技术有限公司 基于云计算的海量实时视频码流智能分析方法及其***
CN102638456B (zh) * 2012-03-19 2015-09-23 杭州海康威视数字技术股份有限公司 基于云计算的海量实时视频码流智能分析方法及其***
CN102866918A (zh) * 2012-07-26 2013-01-09 中国科学院信息工程研究所 面向分布式编程框架的资源管理***
CN102866918B (zh) * 2012-07-26 2016-02-24 中国科学院信息工程研究所 面向分布式编程框架的资源管理***
CN103019853A (zh) * 2012-11-19 2013-04-03 北京亿赞普网络技术有限公司 一种作业任务的调度方法和装置
CN103885832A (zh) * 2012-12-20 2014-06-25 华为技术有限公司 一种资源分配方法、设备和***
CN104077188A (zh) * 2013-03-29 2014-10-01 西门子公司 一种用于任务调度的方法和装置
CN103279351B (zh) * 2013-05-31 2016-06-29 北京高森明晨信息科技有限公司 一种任务调度的方法及装置
CN103279351A (zh) * 2013-05-31 2013-09-04 北京高森明晨信息科技有限公司 一种任务调度的方法及装置
CN103279386A (zh) * 2013-06-09 2013-09-04 浪潮电子信息产业股份有限公司 一种计算机作业调度***高可用的方法
CN104424189A (zh) * 2013-08-20 2015-03-18 中国电信集团公司 基于云平台的定位解算方法和***
CN103500119B (zh) * 2013-09-06 2017-01-04 西安交通大学 一种基于预调度的任务分配方法
CN103500119A (zh) * 2013-09-06 2014-01-08 西安交通大学 一种基于预调度的任务分配方法
CN103793272A (zh) * 2013-12-27 2014-05-14 北京天融信软件有限公司 一种周期性任务调度方法及***
CN103793272B (zh) * 2013-12-27 2017-05-24 北京天融信软件有限公司 一种周期性任务调度方法及***
CN103763373A (zh) * 2014-01-23 2014-04-30 浪潮(北京)电子信息产业有限公司 一种基于云计算的调度方法和调度器
CN103761148B (zh) * 2014-01-26 2017-04-05 北京京东尚科信息技术有限公司 集群定时调度任务的控制方法
CN104520815A (zh) * 2014-03-17 2015-04-15 华为技术有限公司 一种任务调度的方法、装置及设备
US10216542B2 (en) 2014-03-17 2019-02-26 Huawei Technologies Co., Ltd. Resource comparison based task scheduling method, apparatus, and device
WO2015139164A1 (zh) * 2014-03-17 2015-09-24 华为技术有限公司 一种任务调度的方法、装置及设备
CN104520815B (zh) * 2014-03-17 2019-03-01 华为技术有限公司 一种任务调度的方法及装置
CN104050042A (zh) * 2014-05-30 2014-09-17 北京先进数通信息技术股份公司 Etl作业的资源分配方法及装置
WO2015180340A1 (zh) * 2014-05-30 2015-12-03 华为技术有限公司 一种数据挖掘方法及装置
US10606867B2 (en) 2014-05-30 2020-03-31 Huawei Technologies Co., Ltd. Data mining method and apparatus
CN105205052B (zh) * 2014-05-30 2019-01-25 华为技术有限公司 一种数据挖掘方法及装置
CN104050042B (zh) * 2014-05-30 2017-06-13 北京先进数通信息技术股份公司 Etl作业的资源分配方法及装置
CN104102949A (zh) * 2014-06-27 2014-10-15 北京奇艺世纪科技有限公司 一种分布式工作流装置及其处理工作流的方法
CN104102949B (zh) * 2014-06-27 2018-01-26 北京奇艺世纪科技有限公司 一种分布式工作流装置及其处理工作流的方法
CN104317650A (zh) * 2014-10-10 2015-01-28 北京工业大学 一种面向Map/Reduce型海量数据处理平台的作业调度方法
CN104317650B (zh) * 2014-10-10 2018-05-01 北京工业大学 一种面向Map/Reduce型海量数据处理平台的作业调度方法
CN104407923A (zh) * 2014-10-31 2015-03-11 百度在线网络技术（北京）有限公司 基于单节点触发的集群任务均衡方法和装置
CN104536767A (zh) * 2015-01-14 2015-04-22 国家电网公司 智能变电站间隔层任务处理的方法及装置
CN104951372B (zh) * 2015-06-16 2018-07-31 北京工业大学 一种基于预测的Map/Reduce数据处理平台内存资源动态分配方法
CN106484524A (zh) * 2015-08-28 2017-03-08 阿里巴巴集团控股有限公司 一种任务处理方法及装置
CN105159769A (zh) * 2015-09-11 2015-12-16 国电南瑞科技股份有限公司 一种适用于计算能力异构集群的分布式作业调度方法
CN105159769B (zh) * 2015-09-11 2018-06-29 国电南瑞科技股份有限公司 一种适用于计算能力异构集群的分布式作业调度方法
US10191771B2 (en) 2015-09-18 2019-01-29 Huawei Technologies Co., Ltd. System and method for resource management
WO2017045576A1 (en) * 2015-09-18 2017-03-23 Huawei Technologies Co., Ltd. System and method for resource management
CN106878356B (zh) * 2015-12-11 2020-08-04 ***通信集团公司 一种调度方法及计算节点
CN106878356A (zh) * 2015-12-11 2017-06-20 ***通信集团公司 一种调度方法及计算节点
CN106940656A (zh) * 2016-01-04 2017-07-11 阿里巴巴集团控股有限公司 一种任务调度方法及装置
CN107977257A (zh) * 2016-10-25 2018-05-01 杭州海康威视数字技术股份有限公司 一种任务调度方法及装置
CN106600220A (zh) * 2016-11-29 2017-04-26 叶飞 一种分布式计算方法
CN106598735A (zh) * 2016-12-13 2017-04-26 广东金赋科技股份有限公司 一种分布式计算方法、主控节点、计算节点和***
CN106776025A (zh) * 2016-12-16 2017-05-31 郑州云海信息技术有限公司 一种计算机集群作业调度方法及其装置
CN107066332A (zh) * 2017-01-25 2017-08-18 广东神马搜索科技有限公司 分布式***及其调度方法和调度装置
CN107066332B (zh) * 2017-01-25 2020-03-13 广东神马搜索科技有限公司 分布式***及其调度方法和调度装置
US11032858B2 (en) 2017-03-28 2021-06-08 Huawei Technologies Co., Ltd. Network access method, terminal, access network, and core network
WO2018176998A1 (zh) * 2017-03-29 2018-10-04 华为技术有限公司 数据存储方法及装置
US10972542B2 (en) 2017-03-29 2021-04-06 Huawei Technologies Co., Ltd. Data storage method and apparatus
US11575748B2 (en) 2017-03-29 2023-02-07 Huawei Technologies Co., Ltd. Data storage method and apparatus for combining different data distribution policies
US20200028911A1 (en) * 2017-03-29 2020-01-23 Huawei Technologies Co., Ltd. Data Storage Method and Apparatus
CN107688496A (zh) * 2017-07-24 2018-02-13 上海壹账通金融科技有限公司 任务分布式处理方法、装置、存储介质和服务器
CN107688496B (zh) * 2017-07-24 2020-12-04 深圳壹账通智能科技有限公司 任务分布式处理方法、装置、存储介质和服务器
CN107423122A (zh) * 2017-07-25 2017-12-01 苏州博纳讯动软件有限公司 一种复杂运维作业编排与调度***及其方法
CN107423122B (zh) * 2017-07-25 2020-08-18 苏州博纳讯动软件有限公司 一种复杂运维作业编排与调度***及其方法
CN107580023B (zh) * 2017-08-04 2020-05-12 山东大学 一种动态调整任务分配的流处理作业调度方法及***
CN107580023A (zh) * 2017-08-04 2018-01-12 山东大学 一种动态调整任务分配的流处理作业调度方法及***
CN109408236A (zh) * 2018-10-22 2019-03-01 福建南威软件有限公司 一种etl在集群上的任务负载均衡方法
CN109710391A (zh) * 2018-12-20 2019-05-03 西安四叶草信息技术有限公司 任务调度方法及设备
WO2020186781A1 (zh) * 2019-03-18 2020-09-24 平安普惠企业管理有限公司 测试代码移交控制方法及装置、电子设备、计算机非易失性可读存储介质
CN110069329A (zh) * 2019-04-15 2019-07-30 北京达佳互联信息技术有限公司 一种任务处理方法、装置、服务器及存储介质
CN110502800A (zh) * 2019-07-25 2019-11-26 上海理工大学 一种基于并行计算的产品数据模型建模方法
CN110928679A (zh) * 2019-10-16 2020-03-27 华为技术有限公司 一种资源分配方法及装置
CN111026527A (zh) * 2019-11-18 2020-04-17 江苏艾佳家居用品有限公司 一种处理海量定时任务的分发执行***
CN111026527B (zh) * 2019-11-18 2022-07-08 江苏艾佳家居用品有限公司 一种处理海量定时任务的分发执行***
CN111783102B (zh) * 2020-06-30 2022-06-14 福建健康之路信息技术有限公司 一种安全驱逐Kubernetes集群中节点的方法和存储设备
CN111783102A (zh) * 2020-06-30 2020-10-16 福建健康之路信息技术有限公司 一种安全驱逐Kubernetes集群中节点的方法和存储设备
CN112148462A (zh) * 2020-10-20 2020-12-29 上海新炬网络信息技术股份有限公司 基于Jenkins的CICD流程的处理方法
CN112148462B (zh) * 2020-10-20 2023-03-28 上海新炬网络信息技术股份有限公司 基于Jenkins的CICD流程的处理方法
CN112887407A (zh) * 2021-01-26 2021-06-01 北京百度网讯科技有限公司 用于分布式集群的作业流量控制方法和装置
CN112817721A (zh) * 2021-01-29 2021-05-18 中国平安财产保险股份有限公司 基于人工智能的任务调度方法、装置、计算机设备和介质
CN112817721B (zh) * 2021-01-29 2022-08-09 中国平安财产保险股份有限公司 基于人工智能的任务调度方法、装置、计算机设备和介质
CN113608878A (zh) * 2021-08-18 2021-11-05 上海德拓信息技术股份有限公司 一种基于资源权重计算的任务分布式调度方法与***
CN113760549A (zh) * 2021-08-30 2021-12-07 聚好看科技股份有限公司 一种pod部署方法及装置
CN113760549B (zh) * 2021-08-30 2024-03-15 聚好看科技股份有限公司 一种pod部署方法及装置
CN114840343A (zh) * 2022-05-16 2022-08-02 江苏安超云软件有限公司 基于分布式***的任务调度方法及***

Similar Documents

Publication Publication Date Title
CN102096602A (zh) 一种任务调度方法及其***和设备
US8918792B2 (en) Workflow monitoring and control system, monitoring and control method, and monitoring and control program
JP2008527514A5 (zh)
US10474504B2 (en) Distributed node intra-group task scheduling method and system
CN101719082B (zh) 虚拟化计算平台中应用请求调度的方法及其***
CN105718479B (zh) 跨idc大数据处理架构下执行策略生成方法、装置
CN102567086B (zh) 一种任务调度的方法、设备和***
US6349325B1 (en) Prioritized agent-based hierarchy structure for handling performance metrics data in a telecommunication management system
US9189272B2 (en) Information processing apparatus, computer program, and method for controlling execution of jobs
EP3932025B1 (en) Computing resource scheduling method, scheduler, internet of things system, and computer readable medium
CN102096599A (zh) 一种多队列任务调度方法及相关***和设备
JP2008519322A (ja) 電気通信サービスおよび／またはネットワーク管理用のプラットフォームにおけるリソースの管理方法、対応プラットフォーム、およびそのコンピュータ・プログラム生成物
CN104951372A (zh) 一种基于预测的Map/Reduce数据处理平台内存资源动态分配方法
CN103019853A (zh) 一种作业任务的调度方法和装置
US11972301B2 (en) Allocating computing resources for deferrable virtual machines
CN102193832A (zh) 云端计算资源排程方法与应用的***
US10606650B2 (en) Methods and nodes for scheduling data processing
CN102868573A (zh) Web服务负载云测试方法和装置
CN103634132A (zh) 用于it运维平台的高效采集***
CN110914805A (zh) 用于分层任务调度的计算***
CN116010064A (zh) Dag作业调度和集群管理的方法、***及装置
CN110955516A (zh) 批量任务处理方法、装置、计算机设备和存储介质
CN117707759A (zh) 一种多租户gpu集群弹性配额调度方法和***
JP5670290B2 (ja) 通信サービスのためのプロセスの実行のためのリソースを管理する方法、システム及びコンピュータ・プログラム
CN112948229A (zh) 调度集群的性能确定方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110615