CN104657214A - 一种基于多队列和多优先级的大数据任务管理***和方法 - Google Patents

一种基于多队列和多优先级的大数据任务管理***和方法 Download PDF

Info

Publication number
CN104657214A
CN104657214A CN201510110586.1A CN201510110586A CN104657214A CN 104657214 A CN104657214 A CN 104657214A CN 201510110586 A CN201510110586 A CN 201510110586A CN 104657214 A CN104657214 A CN 104657214A
Authority
CN
China
Prior art keywords
task
queue
resource
priority
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510110586.1A
Other languages
English (en)
Inventor
倪巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ECDATA INFORMATION TECHNOLOGY Co Ltd
Original Assignee
ECDATA INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ECDATA INFORMATION TECHNOLOGY Co Ltd filed Critical ECDATA INFORMATION TECHNOLOGY Co Ltd
Priority to CN201510110586.1A priority Critical patent/CN104657214A/zh
Publication of CN104657214A publication Critical patent/CN104657214A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于多队列和多优先级的大数据任务管理***，以及利用该***实现大数据任务管理的方法。该方法包含：S1、客户端发起任务请求，并对该任务设定任务队列标签和优先级；S2、资源管理器接收由客户端发起的任务请求，将其分配至对应任务队列中；S3、每个节点资源管理器将其所在的分布式节点所拥有的资源上报给资源管理器以形成资源池，资源管理器对各个任务队列分配资源；S4、资源管理器依次将多个任务队列中当前需要执行的任务分配给节点资源管理器，节点资源管理器在接收任务指令后，调度容器单元执行该任务。本发明能够进行资源的统一管理和调配，并且基于多队列和多优先级进行任务调度执行，提高资源的利用率，加快任务执行的速度。

Description

一种基于多队列和多优先级的大数据任务管理***和方法
技术领域
本发明涉及一种大数据任务调度控制管理***和方法，具体是指一种基于多队列和多优先级的大数据任务管理***和方法，属于大数据技术领域。
背景技术
近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用***的规模迅速扩大，行业应用所产生的数据呈***性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息***的处理能力。因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为云计算、物联网之后IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营交易信息、互联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。
大数据处理过程是一个复杂的过程，大数据的处理方法通常是将一个大的任务通过切分，变成多个可以并行的子任务，用多台机器并行的计算，最后将结果进行汇总。重复的进行上述处理过程，从而得到最终的结果。在整个大数据处理过程中，往往不是一个任务需要被处理，在***中会有多个任务同时需要被处理，那么这些任务需要按照一定的规则进行排序，以保证任务的正常执行。通常的做法有采用优先级的方式，哪个任务的优先级高就执行该任务，还有一种是单一队列先进先出的方式。但是这些方式在不同的业务场景下都会有不同的适应场景，在大数据的分布式处理场景下效果并不好。基于上述，本发明提供一种基于多队列和多优先级的大数据任务管理***和方法，以解决现有技术中存在的限制和缺陷。
发明内容
本发明的目的在于提供一种基于多队列和多优先级的大数据任务管理***和方法，进行资源统一管理调配和任务调度执行，以达到提高资源的利用率，加快任务执行的效果。
为了达到上述目的，本发明提供一种基于多队列和多优先级的大数据任务管理***，多个客户端，用于发起任务请求；每个客户端包含设定模块，其用于对发起请求的任务设定任务队列标签和优先级；资源管理器，其分别与多个所述的客户端相连接，用于接收各个客户端发起的任务请求，将其分配至对应任务队列中，并统一管理和分配所有资源；多个节点资源管理器，分别对应设置在各个分布式节点上且与所述的资源管理器相连接，将该分布式节点所拥有的资源上报给资源管理器进行统一管理和分配，并接收并调度资源管理器下达的任务指令；其中，每个所述的分布式节点上还包含多个容器单元，分别与对应的节点资源管理器相连接，该节点资源管理器根据接收到的任务指令，调度各个容器单元利用该分布式节点上的资源执行任务。
所述的任务队列标签预先由资源管理器定义，用于区分多个不同的任务队列；所述的优先级是根据任务需要设定的，用于区分在各个任务队列中的任务优先级别；其中，高优先级的任务先被执行，低优先级的任务需要等待，且低优先级的任务根据其等待的时间，将逐次提升其优先级。
所述的客户端还包含查询模块，其分别与各个所述的容器单元连接，用于查询发起请求的各个任务的状态和执行结果。
所述的资源管理器包含：任务分配模块，其分别与所述的各个客户端的设定模块相连接，根据每个任务的任务队列标签，将各任务分配到标签对应的任务队列中，并根据该任务的优先级高低，按照由高到低的顺序将其***到相应队列中排列；资源分配模块，其分别与所述的各个节点资源管理器相连接，接收各个节点资源管理器上报的资源并合并为资源池，并为每个任务队列分配资源。
其中，分配给每个任务队列的资源分为队列最低资源和队列最高资源；所述的队列最低资源是该任务队列独占的基本资源保障，不能与其他任务队列共享；所述的队列最高资源与队列最低资源的差额部分，可在空闲时与其他任务队列共享。
本发明还提供一种基于多队列和多优先级的大数据任务管理方法，具体包含以下步骤：
S1、客户端发起任务请求；其中，客户端的设定模块对发起请求的任务设定任务队列标签和优先级；
S2、资源管理器接收由客户端发起的任务请求，将其分配至对应任务队列中；
S3、每个节点资源管理器将其所在的分布式节点所拥有的资源上报给资源管理器以形成资源池，资源管理器对各个任务队列分配资源；
S4、资源管理器依次将多个任务队列中当前需要执行的任务分配给节点资源管理器，节点资源管理器在接收任务指令后，调度容器单元执行该任务。
所述的任务队列标签预先由资源管理器定义，用于区分多个不同的任务队列；所述的优先级是根据任务需要设定的，用于区分在各个任务队列中的任务优先级别；其中，高优先级的任务先被执行，低优先级的任务需要等待，且低优先级的任务根据其等待的时间，将逐次提升其优先级。
所述的S2中，具体包含以下步骤：
S21、资源管理器的任务分配模块根据所接收到任务的任务队列标签，将其分配到标签对应的任务队列中；
S22、资源管理器的任务分配模块根据所接收到任务的优先级高低，按照由高到低的顺序将其***到相应队列中排列。
所述的S3中，分配给每个任务队列的资源分为队列最低资源和队列最高资源；所述的队列最低资源是该任务队列独占的基本资源保障，不能与其他任务队列共享；所述的队列最高资源与队列最低资源的差额部分，可在空闲时与其他任务队列共享。
所述的S4中，每执行一次任务具体包含以下步骤：
S41、资源管理器在分配当前需要执行的任务之前，先评估该任务所在的任务队列所拥有的资源是否能够满足该任务的执行需要；如不能满足，则等待；如能够满足，则判断资源来自哪个分布式节点，并将该任务发配至该分布式节点的节点资源管理器，并且在当前任务队列中标识对应资源已被使用；
S42、节点资源管理器根据接收到的任务指令，调度旗下的容器单元利用该分布式节点上的资源执行任务；
S43、容器单元对资源使用情况和任务执行情况进行监控，通过节点资源管理器上报给资源管理器，并且容器单元同时还将任务执行情况直接反馈给客户端的查询模块；
S44、容器单元完成任务后，节点资源管理器将资源进行回收，并上报给资源管理器以重新放入该任务队列中，用于下一次任务执行时进行分配。
综上所述，本发明所提供的基于多队列和多优先级的大数据任务管理***和方法，应用于大数据的任务分析处理调度场景中，进行资源统一管理调配和任务调度执行。对各分布式节点上的资源收集形成资源池，对接收到的任务按照标签类别进行划分形成不同的任务队列，并对每个任务队列统一分配资源，达到各个队列都拥有最低保障的资源，并且在资源富足的情况下实现共享的目的，从而提高资源的利用率，加快任务的执行。同时在单个任务队列中提供优先级机制，高优先级任务可以先被执行，而低优先级任务需要进行等待，以实现基于多队列和多优先级的大数据任务管理。
附图说明
图1是本发明中的基于多队列和多优先级的大数据任务管理***的结构示意图；
图2是本发明中的基于多队列和多优先级的大数据任务管理方法的流程图；
图3是本发明中的队列内基于优先级分配任务的方法示意图；
图4是本发明中的基于多队列和多优先级的大数据任务管理方法的时序图。
具体实施方式
以下根据图1～图4，具体说明本发明的较佳实施例。
如图1所示，为本发明所提供的基于多队列和多优先级的大数据任务管理***，其包含：多个客户端1，用于发起任务请求；每个客户端1包含设定模块，其用于对发起请求的任务设定任务队列标签和优先级；资源管理器2，其分别与多个所述的客户端1相连接，用于接收各个客户端1发起的任务请求，将其分配至对应任务队列中，并统一管理和分配所有资源；多个节点资源管理器3，分别对应设置在各个分布式节点上且与所述的资源管理器2相连接，将该分布式节点所拥有的资源上报给资源管理器2进行统一管理和分配，并接收并调度资源管理器2下达的任务指令；其中，每个所述的分布式节点上还包含多个容器单元4，分别与对应的节点资源管理器3相连接，该节点资源管理器3根据接收到的任务指令，调度各个容器单元4利用该分布式节点上的资源执行任务。
所述的任务队列标签预先由资源管理器2定义，用于区分多个不同的任务队列，防止不同的任务都拥堵在同一个队列中，方便任务的管理；所述的优先级是根据任务需要而设定的，用于区分在各个任务队列中的任务优先级别；高优先级的任务可以先被执行，而低优先级的任务需要进行等待，并且根据等待的时间，该任务的优先级将逐次提升，以防止被饿死的情况发生，即不断有高优先级的任务***执行，使得该低优先级的任务一直处于等待状态。所述的优先级仅仅影响当前任务队列中任务的执行顺序，并不会影响到其他的任务队列中的任务执行顺序。
如图4所示，所述的客户端1还包含查询模块，其分别与各个所述的容器单元4连接，用于查询发起请求的各个任务的状态和执行结果。
每个客户端1包含SDK（Software Development Kit，软件开发工具包）库，通过SDK库提供客户端1进行程序调用，用以实现发起任务请求、设定任务优先级、设定任务队列标签和查询任务执行结果。
所述的资源管理器2包含：任务分配模块，其分别与所述的各个客户端1的设定模块相连接，根据每个任务的任务队列标签，将各任务分配到标签对应的任务队列中，如图3所示，并根据该任务的优先级高低，按照由高到低的顺序将其***到相应队列中排列；资源分配模块，其分别与所述的各个节点资源管理器3相连接，接收各个节点资源管理器3上报的资源并合并为资源池，并为每个任务队列分配资源。
其中，分配给每个任务队列的资源分为队列最低资源和队列最高资源；所述的队列最低资源是该任务队列独占的基本资源保障，不能与其他任务队列共享；所述的队列最高资源与队列最低资源的差额部分，可以在空闲时与其他任务队列共享，并在需要的时候进行回收。
本发明中，具体任务所执行的内容由任务本身来指定，所述的容器单元4仅仅提供任务的运行环境，并对资源使用情况和任务执行情况进行监控，再由节点资源管理器3上报给资源管理器2。并且，每个容器单元4所分配到的资源与其他容器单元之间不能共享，所执行的任务与其他容器单元之间也没有直接联系。
如图2和图4所示，本发明还提供一种基于多队列和多优先级的大数据任务管理方法，具体包含以下步骤：
S1、客户端1发起任务请求；其中，客户端1的设定模块对发起请求的任务设定任务队列标签和优先级；
S2、资源管理器2接收由客户端1发起的任务请求，将其分配至对应任务队列中；
S3、每个节点资源管理器3将其所在的分布式节点所拥有的资源上报给资源管理器2以形成资源池，资源管理器2对各个任务队列分配资源；
S4、资源管理器依次将多个任务队列中当前需要执行的任务分配给节点资源管理器3，节点资源管理器3在接收任务指令后，调度容器单元4执行该任务。
所述的任务队列标签预先由资源管理器2定义，用于区分多个不同的任务队列，防止不同的任务都拥堵在同一个队列中，方便任务的管理；所述的优先级是根据任务需要而设定的，用于区分在各个任务队列中的任务优先级别；高优先级的任务可以先被执行，而低优先级的任务需要进行等待，并且根据等待的时间，该任务的优先级将逐次提升，以防止被饿死的情况发生，即不断有高优先级的任务***执行，使得该低优先级的任务一直处于等待状态。所述的优先级仅仅影响当前任务队列中任务的执行顺序，并不会影响到其他的任务队列中的任务执行顺序。
所述的S2中，具体包含以下步骤：
S21、资源管理器2的任务分配模块根据所接收到任务的任务队列标签，将其分配到标签对应的任务队列中；
S22、如图3所示，资源管理器2的任务分配模块根据所接收到任务的优先级高低，按照由高到低的顺序将其***到相应队列中排列。
所述的S3中，分配给每个任务队列的资源分为队列最低资源和队列最高资源；所述的队列最低资源是该任务队列独占的基本资源保障，不能与其他任务队列共享；所述的队列最高资源与队列最低资源的差额部分，可以在空闲时与其他任务队列共享。
所述的S4中，每执行一次任务具体包含以下步骤：
S41、资源管理器2在分配当前需要执行的任务之前，先评估该任务所在的任务队列所拥有的资源是否能够满足该任务的执行需要；如不能满足，则等待；如能够满足，则判断资源来自哪个分布式节点，并将该任务发配至该分布式节点的节点资源管理器3，并且在当前任务队列中标识对应资源已被使用；
S42、节点资源管理器3根据接收到的任务指令，调度旗下的容器单元4利用该分布式节点上的资源执行任务；由于在分配任务前已经确认资源能够满足任务执行要求，所以该任务一定会被正常运行；
S43、容器单元4对资源使用情况和任务执行情况进行监控，通过节点资源管理器3上报给资源管理器2，并且容器单元4同时还将任务执行情况直接反馈给客户端1的查询模块；
S44、容器单元4完成任务后，节点资源管理器3将资源进行回收，并上报给资源管理器2以重新放入该任务队列中，用于下一次任务执行时进行分配。
综上所述，本发明所提供的基于多队列和多优先级的大数据任务管理***和方法，应用于大数据的任务分析处理调度场景中，进行资源统一管理调配和任务调度执行。对各分布式节点上的资源收集形成资源池，对接收到的任务按照标签类别进行划分形成不同的任务队列，并对每个任务队列统一分配资源，达到各个队列都拥有最低保障的资源，并且在资源富足的情况下实现共享的目的，从而提高资源的利用率，加快任务的执行。同时在单个任务队列中提供优先级机制，高优先级任务可以先被执行，而低优先级任务需要进行等待，以实现基于多队列和多优先级的大数据任务管理。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种基于多队列和多优先级的大数据任务管理***，其特征在于，包含：
多个客户端（1），用于发起任务请求；每个客户端（1）包含设定模块，其用于对发起请求的任务设定任务队列标签和优先级；
资源管理器（2），其分别与多个所述的客户端（1）相连接，用于接收各个客户端（1）发起的任务请求，将其分配至对应任务队列中，并统一管理和分配所有资源；
多个节点资源管理器（3），分别对应设置在各个分布式节点上且与所述的资源管理器（2）相连接，将该分布式节点所拥有的资源上报给资源管理器（2）进行统一管理和分配，并接收并调度资源管理器（2）下达的任务指令；
其中，每个所述的分布式节点上还包含多个容器单元（4），分别与对应的节点资源管理器（3）相连接，该节点资源管理器（3）根据接收到的任务指令，调度各个容器单元（4）利用该分布式节点上的资源执行任务。
2.如权利要求1所述的基于多队列和多优先级的大数据任务管理***，其特征在于，所述的任务队列标签预先由资源管理器（2）定义，用于区分多个不同的任务队列； 
所述的优先级是根据任务需要设定的，用于区分在各个任务队列中的任务优先级别；其中，高优先级的任务先被执行，低优先级的任务需要等待，且低优先级的任务根据其等待的时间，将逐次提升其优先级。
3.如权利要求1所述的基于多队列和多优先级的大数据任务管理***，其特征在于，所述的客户端（1）还包含查询模块，其分别与各个所述的容器单元（4）连接，用于查询发起请求的各个任务的状态和执行结果。
4.如权利要求2所述的基于多队列和多优先级的大数据任务管理***，其特征在于，所述的资源管理器（2）包含：
任务分配模块，其分别与所述的各个客户端（1）的设定模块相连接，根据每个任务的任务队列标签，将各任务分配到标签对应的任务队列中，并根据该任务的优先级高低，按照由高到低的顺序将其***到相应队列中排列；
资源分配模块，其分别与所述的各个节点资源管理器（3）相连接，接收各个节点资源管理器（3）上报的资源并合并为资源池，并为每个任务队列分配资源。
5.如权利要求4所述的基于多队列和多优先级的大数据任务管理***，其特征在于，分配给每个任务队列的资源分为队列最低资源和队列最高资源；所述的队列最低资源是该任务队列独占的基本资源保障，不能与其他任务队列共享；所述的队列最高资源与队列最低资源的差额部分，可在空闲时与其他任务队列共享。
6.一种基于多队列和多优先级的大数据任务管理方法，其特征在于，具体包含以下步骤：
S1、客户端（1）发起任务请求；其中，客户端（1）的设定模块对发起请求的任务设定任务队列标签和优先级；
S2、资源管理器（2）接收由客户端（1）发起的任务请求，将其分配至对应任务队列中；
S3、每个节点资源管理器（3）将其所在的分布式节点所拥有的资源上报给资源管理器（2）以形成资源池，资源管理器（2）对各个任务队列分配资源；
S4、资源管理器依次将多个任务队列中当前需要执行的任务分配给节点资源管理器（3），节点资源管理器（3）在接收任务指令后，调度容器单元（4）执行该任务。
7.如权利要求6所述的基于多队列和多优先级的大数据任务管理方法，其特征在于，所述的任务队列标签预先由资源管理器（2）定义，用于区分多个不同的任务队列； 
所述的优先级是根据任务需要设定的，用于区分在各个任务队列中的任务优先级别；其中，高优先级的任务先被执行，低优先级的任务需要等待，且低优先级的任务根据其等待的时间，将逐次提升其优先级。
8.如权利要求7所述的基于多队列和多优先级的大数据任务管理方法，其特征在于，所述的S2中，具体包含以下步骤：
S21、资源管理器（2）的任务分配模块根据所接收到任务的任务队列标签，将其分配到标签对应的任务队列中；
S22、资源管理器（2）的任务分配模块根据所接收到任务的优先级高低，按照由高到低的顺序将其***到相应队列中排列。
9.如权利要求8所述的基于多队列和多优先级的大数据任务管理方法，其特征在于，所述的S3中，分配给每个任务队列的资源分为队列最低资源和队列最高资源；所述的队列最低资源是该任务队列独占的基本资源保障，不能与其他任务队列共享；所述的队列最高资源与队列最低资源的差额部分，可在空闲时与其他任务队列共享。
10.如权利要求9所述的基于多队列和多优先级的大数据任务管理方法，其特征在于，所述的S4中，每执行一次任务具体包含以下步骤：
S41、资源管理器（2）在分配当前需要执行的任务之前，先评估该任务所在的任务队列所拥有的资源是否能够满足该任务的执行需要；如不能满足，则等待；如能够满足，则判断资源来自哪个分布式节点，并将该任务发配至该分布式节点的节点资源管理器（3），并且在当前任务队列中标识对应资源已被使用；
S42、节点资源管理器（3）根据接收到的任务指令，调度旗下的容器单元（4）利用该分布式节点上的资源执行任务；
S43、容器单元（4）对资源使用情况和任务执行情况进行监控，通过节点资源管理器（3）上报给资源管理器（2），并且容器单元（4）同时还将任务执行情况直接反馈给客户端（1）的查询模块；
S44、容器单元（4）完成任务后，节点资源管理器（3）将资源进行回收，并上报给资源管理器（2）以重新放入该任务队列中，用于下一次任务执行时进行分配。
CN201510110586.1A 2015-03-13 2015-03-13 一种基于多队列和多优先级的大数据任务管理***和方法 Pending CN104657214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510110586.1A CN104657214A (zh) 2015-03-13 2015-03-13 一种基于多队列和多优先级的大数据任务管理***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510110586.1A CN104657214A (zh) 2015-03-13 2015-03-13 一种基于多队列和多优先级的大数据任务管理***和方法

Publications (1)

Publication Number Publication Date
CN104657214A true CN104657214A (zh) 2015-05-27

Family

ID=53248387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510110586.1A Pending CN104657214A (zh) 2015-03-13 2015-03-13 一种基于多队列和多优先级的大数据任务管理***和方法

Country Status (1)

Country Link
CN (1) CN104657214A (zh)

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045656A (zh) * 2015-06-30 2015-11-11 深圳清华大学研究院 基于虚拟容器的大数据存储与管理方法
CN105159782A (zh) * 2015-08-28 2015-12-16 北京百度网讯科技有限公司 基于云主机为订单分配资源的方法和装置
CN105245472A (zh) * 2015-10-22 2016-01-13 国网安徽省电力公司 一种继承性供电信息优先级调度策略
CN105893157A (zh) * 2016-04-29 2016-08-24 国家计算机网络与信息安全管理中心 一种开放分布式***资源管理与任务调度***与方法
CN106202452A (zh) * 2016-07-15 2016-12-07 复旦大学 大数据平台的统一数据资源管理***与方法
CN106293950A (zh) * 2016-08-23 2017-01-04 成都卡莱博尔信息技术股份有限公司 一种面向集群***的资源优化管理方法
CN106293952A (zh) * 2016-07-11 2017-01-04 河南大学 一种基于任务需求与服务能力匹配的遥感任务调度方法
CN106445675A (zh) * 2016-10-20 2017-02-22 焦点科技股份有限公司 一种b2b平台分布式应用调度与资源分配方法
CN106559138A (zh) * 2016-11-22 2017-04-05 深圳市讯方技术股份有限公司 一种多任务切换方法及装置
CN106886452A (zh) * 2017-01-23 2017-06-23 北京思特奇信息技术股份有限公司 一种简化云化***任务调度的方法
CN107018091A (zh) * 2016-02-29 2017-08-04 阿里巴巴集团控股有限公司 资源请求的调度方法和装置
CN107046510A (zh) * 2017-01-13 2017-08-15 广西电网有限责任公司电力科学研究院 一种适用于分布式计算***的节点及其组成的***
CN107066339A (zh) * 2016-12-14 2017-08-18 中国航空结算有限责任公司 分布式作业管理器及分布式作业管理方法
CN107203422A (zh) * 2016-08-28 2017-09-26 深圳晶泰科技有限公司 一种面向高性能计算云平台的作业调度方法
CN107220112A (zh) * 2017-05-02 2017-09-29 厦门慧田科技有限公司 一种办公自动化下稀缺资源的管理方法
CN107229830A (zh) * 2017-06-01 2017-10-03 上海联影医疗科技有限公司 放疗计划***及其任务执行方法
CN107291557A (zh) * 2017-08-02 2017-10-24 中国银行股份有限公司 一种业务处理方法和装置
CN107292563A (zh) * 2017-06-27 2017-10-24 昝立民 一种共享设备***的配货和计算方法
CN107291547A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 一种任务调度处理方法、装置及***
CN107391239A (zh) * 2016-03-11 2017-11-24 阿里巴巴集团控股有限公司 一种基于容器服务的调度方法和设备
CN107634978A (zh) * 2016-07-19 2018-01-26 华为技术有限公司 一种资源调度方法及装置
CN107818016A (zh) * 2017-11-22 2018-03-20 苏州麦迪斯顿医疗科技股份有限公司 服务器应用程序设计方法、请求事件处理方法及装置
CN107870815A (zh) * 2016-09-26 2018-04-03 中国电信股份有限公司 一种分布式***的任务调度方法以及***
WO2018059423A1 (zh) * 2016-09-30 2018-04-05 腾讯科技（深圳）有限公司 分布式资源调度方法、调度节点及接入节点
CN107888660A (zh) * 2017-10-13 2018-04-06 杭州朗和科技有限公司 云服务资源调配方法、介质、装置和计算设备
CN108205470A (zh) * 2016-12-20 2018-06-26 北京奇虎科技有限公司 一种分布式广告数据计算任务管理***及方法
CN108228240A (zh) * 2016-12-14 2018-06-29 北京国双科技有限公司 多任务队列中任务的处理方法和装置
CN108268315A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 一种媒体物料数据的处理方法及装置
CN108345497A (zh) * 2018-01-17 2018-07-31 千寻位置网络有限公司 Gnss离线定位模拟的执行方法及***、定位装置
CN108345501A (zh) * 2017-01-24 2018-07-31 全球能源互联网研究院 一种分布式资源调度方法和***
CN108563495A (zh) * 2018-04-08 2018-09-21 郑州云海信息技术有限公司 数据中心综合管理***的云资源队列分级调度***和方法
CN108572865A (zh) * 2018-04-04 2018-09-25 国家计算机网络与信息安全管理中心 一种任务队列处理方法和装置
CN109062683A (zh) * 2018-06-29 2018-12-21 深圳信息职业技术学院 主机资源分配的方法、装置及计算机可读存储介质
CN109213578A (zh) * 2017-07-05 2019-01-15 武汉安天信息技术有限责任公司 一种任务的调度方法和调度***
CN109416646A (zh) * 2016-09-08 2019-03-01 华为技术有限公司 一种容器分配的优化方法及处理设备
CN109491776A (zh) * 2018-11-06 2019-03-19 北京百度网讯科技有限公司 任务编排方法和***
CN109542617A (zh) * 2018-10-30 2019-03-29 精硕科技（北京）股份有限公司 ***资源的处理方法及装置
CN109634749A (zh) * 2018-12-20 2019-04-16 厦门商集网络科技有限责任公司 一种分布式统一调度方法及设备
CN109800204A (zh) * 2018-12-27 2019-05-24 深圳云天励飞技术有限公司 数据分配方法及相关产品
CN109829064A (zh) * 2019-01-31 2019-05-31 腾讯科技（深圳）有限公司 媒体资源分享及播放方法和装置、存储介质及电子装置
WO2019219005A1 (zh) * 2018-05-16 2019-11-21 杭州海康威视数字技术股份有限公司 一种数据处理***及方法
CN110503593A (zh) * 2018-05-18 2019-11-26 微软技术许可有限责任公司 多个图形处理单元的调度
CN110673944A (zh) * 2018-07-03 2020-01-10 杭州海康威视数字技术股份有限公司 执行任务的方法和装置
CN111158888A (zh) * 2019-12-31 2020-05-15 北京明略软件***有限公司 多任务调度方法和装置
CN111709723A (zh) * 2020-07-20 2020-09-25 港胜技术服务(深圳)有限公司 Rpa业务流程智能处理方法、装置、计算机设备和存储介质
CN111949386A (zh) * 2020-07-09 2020-11-17 北京齐尔布莱特科技有限公司 一种任务调度方法、***、计算装置及可读存储介质
CN112114973A (zh) * 2020-09-29 2020-12-22 中国银行股份有限公司 一种数据处理方法及装置
CN112288198A (zh) * 2019-07-22 2021-01-29 北京车和家信息技术有限公司 任务处理***及方法
CN108628775B (zh) * 2017-03-22 2021-02-12 华为技术有限公司 一种资源管理的方法和装置
CN112860396A (zh) * 2021-01-28 2021-05-28 福建紫辰信息科技有限公司 一种基于分布式深度学习的gpu调度方法及***
CN113010301A (zh) * 2019-12-20 2021-06-22 辉达公司 用户定义的测定的优先级队列
WO2021139438A1 (zh) * 2020-01-07 2021-07-15 平安科技（深圳）有限公司 大数据资源处理方法、装置、终端及存储介质
CN113873635A (zh) * 2021-09-26 2021-12-31 北京金山云网络技术有限公司 任务下发方法、装置、设备、***及存储介质
CN113992591A (zh) * 2021-10-28 2022-01-28 平安普惠企业管理有限公司 网络请求处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080244584A1 (en) * 2007-03-26 2008-10-02 Smith Gary S Task scheduling method
CN102096599A (zh) * 2009-12-14 2011-06-15 ***通信集团公司 一种多队列任务调度方法及相关***和设备
CN103365729A (zh) * 2013-07-19 2013-10-23 哈尔滨工业大学深圳研究生院 一种基于任务类型的动态MapReduce 调度方法及***
CN103593243A (zh) * 2013-11-01 2014-02-19 浪潮电子信息产业股份有限公司 一种动态可扩展的增加虚拟机资源的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080244584A1 (en) * 2007-03-26 2008-10-02 Smith Gary S Task scheduling method
CN102096599A (zh) * 2009-12-14 2011-06-15 ***通信集团公司 一种多队列任务调度方法及相关***和设备
CN103365729A (zh) * 2013-07-19 2013-10-23 哈尔滨工业大学深圳研究生院 一种基于任务类型的动态MapReduce 调度方法及***
CN103593243A (zh) * 2013-11-01 2014-02-19 浪潮电子信息产业股份有限公司 一种动态可扩展的增加虚拟机资源的方法

Cited By (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045656B (zh) * 2015-06-30 2018-11-30 深圳清华大学研究院 基于虚拟容器的大数据存储与管理方法
CN105045656A (zh) * 2015-06-30 2015-11-11 深圳清华大学研究院 基于虚拟容器的大数据存储与管理方法
CN105159782A (zh) * 2015-08-28 2015-12-16 北京百度网讯科技有限公司 基于云主机为订单分配资源的方法和装置
CN105159782B (zh) * 2015-08-28 2018-11-02 北京百度网讯科技有限公司 基于云主机为订单分配资源的方法和装置
CN105245472A (zh) * 2015-10-22 2016-01-13 国网安徽省电力公司 一种继承性供电信息优先级调度策略
CN105245472B (zh) * 2015-10-22 2018-09-14 国网安徽省电力公司 一种继承性供电信息优先级调度方法
CN107018091A (zh) * 2016-02-29 2017-08-04 阿里巴巴集团控股有限公司 资源请求的调度方法和装置
CN107018091B (zh) * 2016-02-29 2021-04-27 阿里巴巴集团控股有限公司 资源请求的调度方法和装置
CN107391239A (zh) * 2016-03-11 2017-11-24 阿里巴巴集团控股有限公司 一种基于容器服务的调度方法和设备
CN107391239B (zh) * 2016-03-11 2021-06-22 阿里巴巴集团控股有限公司 一种基于容器服务的调度方法和设备
CN107291547A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 一种任务调度处理方法、装置及***
CN107291547B (zh) * 2016-03-31 2021-02-05 创新先进技术有限公司 一种任务调度处理方法、装置及***
CN105893157A (zh) * 2016-04-29 2016-08-24 国家计算机网络与信息安全管理中心 一种开放分布式***资源管理与任务调度***与方法
CN105893157B (zh) * 2016-04-29 2019-08-30 国家计算机网络与信息安全管理中心 一种开放分布式***资源管理与任务调度***与方法
CN106293952B (zh) * 2016-07-11 2019-06-21 河南大学 一种基于任务需求与服务能力匹配的遥感任务调度方法
CN106293952A (zh) * 2016-07-11 2017-01-04 河南大学 一种基于任务需求与服务能力匹配的遥感任务调度方法
CN106202452A (zh) * 2016-07-15 2016-12-07 复旦大学 大数据平台的统一数据资源管理***与方法
CN106202452B (zh) * 2016-07-15 2020-05-26 复旦大学 大数据平台的统一数据资源管理***与方法
CN107634978A (zh) * 2016-07-19 2018-01-26 华为技术有限公司 一种资源调度方法及装置
CN107634978B (zh) * 2016-07-19 2020-11-06 华为技术有限公司 一种资源调度方法及装置
CN106293950A (zh) * 2016-08-23 2017-01-04 成都卡莱博尔信息技术股份有限公司 一种面向集群***的资源优化管理方法
CN106293950B (zh) * 2016-08-23 2019-08-13 成都卡莱博尔信息技术股份有限公司 一种面向集群***的资源优化管理方法
CN107203422B (zh) * 2016-08-28 2020-09-01 深圳晶泰科技有限公司 一种面向高性能计算云平台的作业调度方法
CN107203422A (zh) * 2016-08-28 2017-09-26 深圳晶泰科技有限公司 一种面向高性能计算云平台的作业调度方法
CN109416646A (zh) * 2016-09-08 2019-03-01 华为技术有限公司 一种容器分配的优化方法及处理设备
CN109416646B (zh) * 2016-09-08 2022-04-05 华为技术有限公司 一种容器分配的优化方法及处理设备
CN107870815A (zh) * 2016-09-26 2018-04-03 中国电信股份有限公司 一种分布式***的任务调度方法以及***
US10838777B2 (en) 2016-09-30 2020-11-17 Tencent Technology (Shenzhen) Company Limited Distributed resource allocation method, allocation node, and access node
CN107885594B (zh) * 2016-09-30 2020-06-12 腾讯科技（深圳）有限公司 分布式资源调度方法、调度节点及接入节点
CN107885594A (zh) * 2016-09-30 2018-04-06 腾讯科技（深圳）有限公司 分布式资源调度方法、调度节点及接入节点
WO2018059423A1 (zh) * 2016-09-30 2018-04-05 腾讯科技（深圳）有限公司 分布式资源调度方法、调度节点及接入节点
CN106445675A (zh) * 2016-10-20 2017-02-22 焦点科技股份有限公司 一种b2b平台分布式应用调度与资源分配方法
CN106559138A (zh) * 2016-11-22 2017-04-05 深圳市讯方技术股份有限公司 一种多任务切换方法及装置
CN106559138B (zh) * 2016-11-22 2019-08-13 深圳市讯方技术股份有限公司 一种多任务切换方法及装置
CN108228240A (zh) * 2016-12-14 2018-06-29 北京国双科技有限公司 多任务队列中任务的处理方法和装置
CN107066339A (zh) * 2016-12-14 2017-08-18 中国航空结算有限责任公司 分布式作业管理器及分布式作业管理方法
CN108205470A (zh) * 2016-12-20 2018-06-26 北京奇虎科技有限公司 一种分布式广告数据计算任务管理***及方法
CN108268315A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 一种媒体物料数据的处理方法及装置
CN107046510A (zh) * 2017-01-13 2017-08-15 广西电网有限责任公司电力科学研究院 一种适用于分布式计算***的节点及其组成的***
CN107046510B (zh) * 2017-01-13 2020-06-16 广西电网有限责任公司电力科学研究院 一种适用于分布式计算***的节点及其组成的***
CN106886452A (zh) * 2017-01-23 2017-06-23 北京思特奇信息技术股份有限公司 一种简化云化***任务调度的方法
CN106886452B (zh) * 2017-01-23 2020-08-18 北京思特奇信息技术股份有限公司 一种简化云化***任务调度的方法
CN108345501B (zh) * 2017-01-24 2021-10-29 全球能源互联网研究院有限公司 一种分布式资源调度方法和***
CN108345501A (zh) * 2017-01-24 2018-07-31 全球能源互联网研究院 一种分布式资源调度方法和***
CN108628775B (zh) * 2017-03-22 2021-02-12 华为技术有限公司 一种资源管理的方法和装置
CN107220112A (zh) * 2017-05-02 2017-09-29 厦门慧田科技有限公司 一种办公自动化下稀缺资源的管理方法
CN107229830A (zh) * 2017-06-01 2017-10-03 上海联影医疗科技有限公司 放疗计划***及其任务执行方法
CN107292563A (zh) * 2017-06-27 2017-10-24 昝立民 一种共享设备***的配货和计算方法
CN109213578A (zh) * 2017-07-05 2019-01-15 武汉安天信息技术有限责任公司 一种任务的调度方法和调度***
CN107291557B (zh) * 2017-08-02 2020-10-23 中国银行股份有限公司 一种业务处理方法和装置
CN107291557A (zh) * 2017-08-02 2017-10-24 中国银行股份有限公司 一种业务处理方法和装置
CN107888660B (zh) * 2017-10-13 2021-06-18 杭州朗和科技有限公司 云服务资源调配方法、介质、装置和计算设备
CN107888660A (zh) * 2017-10-13 2018-04-06 杭州朗和科技有限公司 云服务资源调配方法、介质、装置和计算设备
CN107818016A (zh) * 2017-11-22 2018-03-20 苏州麦迪斯顿医疗科技股份有限公司 服务器应用程序设计方法、请求事件处理方法及装置
CN108345497A (zh) * 2018-01-17 2018-07-31 千寻位置网络有限公司 Gnss离线定位模拟的执行方法及***、定位装置
CN108572865A (zh) * 2018-04-04 2018-09-25 国家计算机网络与信息安全管理中心 一种任务队列处理方法和装置
CN108563495A (zh) * 2018-04-08 2018-09-21 郑州云海信息技术有限公司 数据中心综合管理***的云资源队列分级调度***和方法
WO2019219005A1 (zh) * 2018-05-16 2019-11-21 杭州海康威视数字技术股份有限公司 一种数据处理***及方法
US11983564B2 (en) 2018-05-18 2024-05-14 Microsoft Technology Licensing, Llc Scheduling of a plurality of graphic processing units
CN110503593A (zh) * 2018-05-18 2019-11-26 微软技术许可有限责任公司 多个图形处理单元的调度
CN109062683B (zh) * 2018-06-29 2022-03-18 深圳信息职业技术学院 主机资源分配的方法、装置及计算机可读存储介质
CN109062683A (zh) * 2018-06-29 2018-12-21 深圳信息职业技术学院 主机资源分配的方法、装置及计算机可读存储介质
CN110673944A (zh) * 2018-07-03 2020-01-10 杭州海康威视数字技术股份有限公司 执行任务的方法和装置
CN109542617A (zh) * 2018-10-30 2019-03-29 精硕科技（北京）股份有限公司 ***资源的处理方法及装置
CN109491776A (zh) * 2018-11-06 2019-03-19 北京百度网讯科技有限公司 任务编排方法和***
CN109634749A (zh) * 2018-12-20 2019-04-16 厦门商集网络科技有限责任公司 一种分布式统一调度方法及设备
CN109800204A (zh) * 2018-12-27 2019-05-24 深圳云天励飞技术有限公司 数据分配方法及相关产品
CN109829064B (zh) * 2019-01-31 2023-08-25 腾讯科技（深圳）有限公司 媒体资源分享及播放方法和装置、存储介质及电子装置
CN109829064A (zh) * 2019-01-31 2019-05-31 腾讯科技（深圳）有限公司 媒体资源分享及播放方法和装置、存储介质及电子装置
CN112288198A (zh) * 2019-07-22 2021-01-29 北京车和家信息技术有限公司 任务处理***及方法
CN113010301A (zh) * 2019-12-20 2021-06-22 辉达公司 用户定义的测定的优先级队列
US11954518B2 (en) 2019-12-20 2024-04-09 Nvidia Corporation User-defined metered priority queues
CN111158888A (zh) * 2019-12-31 2020-05-15 北京明略软件***有限公司 多任务调度方法和装置
WO2021139438A1 (zh) * 2020-01-07 2021-07-15 平安科技（深圳）有限公司 大数据资源处理方法、装置、终端及存储介质
CN111949386A (zh) * 2020-07-09 2020-11-17 北京齐尔布莱特科技有限公司 一种任务调度方法、***、计算装置及可读存储介质
CN111709723A (zh) * 2020-07-20 2020-09-25 港胜技术服务(深圳)有限公司 Rpa业务流程智能处理方法、装置、计算机设备和存储介质
CN111709723B (zh) * 2020-07-20 2023-11-28 港胜技术服务(深圳)有限公司 Rpa业务流程智能处理方法、装置、计算机设备和存储介质
CN112114973A (zh) * 2020-09-29 2020-12-22 中国银行股份有限公司 一种数据处理方法及装置
CN112114973B (zh) * 2020-09-29 2024-02-13 中国银行股份有限公司 一种数据处理方法及装置
CN112860396A (zh) * 2021-01-28 2021-05-28 福建紫辰信息科技有限公司 一种基于分布式深度学习的gpu调度方法及***
CN113873635A (zh) * 2021-09-26 2021-12-31 北京金山云网络技术有限公司 任务下发方法、装置、设备、***及存储介质
CN113992591A (zh) * 2021-10-28 2022-01-28 平安普惠企业管理有限公司 网络请求处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN104657214A (zh) 一种基于多队列和多优先级的大数据任务管理***和方法
US10474504B2 (en) Distributed node intra-group task scheduling method and system
CN107038069B (zh) Hadoop平台下动态标签匹配DLMS调度方法
US20160371126A1 (en) Scheduling mapreduce jobs in a cluster of dynamically available servers
Mohialdeen Comparative study of scheduling al-gorithms in cloud computing environment
US10108458B2 (en) System and method for scheduling jobs in distributed datacenters
CN102243598B (zh) 分布式数据仓库中的任务调度方法及***
CN104657220A (zh) 混合云中基于截止时间和费用约束的调度模型及方法
Potluri et al. Optimization model for QoS based task scheduling in cloud computing environment
CN112905342B (zh) 资源调度方法、装置、设备及计算机可读存储介质
CN107864211A (zh) 集群资源调度方法及***
CN103581336A (zh) 基于云计算平台的业务流程调度方法及***
Dubey et al. A priority based job scheduling algorithm using IBA and EASY algorithm for cloud metaschedular
CN104636199A (zh) 一种基于分布式内存计算的大数据实时处理***及方法
Hlaing et al. Static independent task scheduling on virtualized servers in cloud computing environment
Ghoneem et al. An adaptive MapReduce scheduler for scalable heterogeneous systems
CN105808346A (zh) 一种任务调度方法与装置
Pal et al. Adaptation of Johnson sequencing algorithm for job scheduling to minimise the average waiting time in cloud computing environment
CN112101831A (zh) 货物的出库方法、装置、介质及电子设备
CN110879753B (zh) 基于自动化集群资源管理的gpu加速性能优化方法和***
CN108288139B (zh) 资源分配方法及装置
CN110826752A (zh) 集合单分配方法和装置
Ramachandra et al. Task Clustering and Scheduling in Fault Tolerant Cloud Using Dense Neural Network
CN112446754B (zh) 用于处理订单的方法和装置
CN111858051A (zh) 一种适合边缘计算环境的实时动态调度方法、***和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150527

RJ01 Rejection of invention patent application after publication