CN112272203A - 一种集群业务节点选择方法、***、终端及存储介质 - Google Patents
一种集群业务节点选择方法、***、终端及存储介质 Download PDFInfo
- Publication number
- CN112272203A CN112272203A CN202010988230.9A CN202010988230A CN112272203A CN 112272203 A CN112272203 A CN 112272203A CN 202010988230 A CN202010988230 A CN 202010988230A CN 112272203 A CN112272203 A CN 112272203A
- Authority
- CN
- China
- Prior art keywords
- task
- node
- resource
- amount
- preselected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010187 selection method Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012216 screening Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 239000002699 waste material Substances 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种集群业务节点选择方法、***、终端及存储介质，包括：解析待执行任务的需求资源量；采集集群内所有节点的总资源量，并筛选总资源量不低于所述需求资源量的节点作为预选节点；获取预选节点的现有任务执行进度和任务资源占用情况；根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间；筛选出所需时间最短的预选节点作为最优节点，将所述待执行任务分配至所述最优节点。本发明能够确保在不同节点整体资源量相差不大的情况下，新任务能优先调度到任务剩余运行时长较短的节点，从而尽可能较早地运行在目标节点，减少节点的资源浪费，提升集群整体的运行效率。
Description
技术领域
本发明涉及集群资源分配技术领域，具体涉及一种集群业务节点选择方法、***、终端及存储介质。
背景技术
在YARN集群中,任务调度通常采用增量分配规则。增量分配规则主要为在选择节点进行调度阶段，优先选择资源空闲率高的节点进行调度。如果节点空闲内存为8G，任务申请内存10G,则节点上的8G会被任务预定，其他任务不可再使用该资源。该任务将持续等待，直到该节点上空闲资源达到10G。
在集群内各个节点资源相差不大的情况下，若只考虑节点空闲资源的大小，***就默认将任务调度到闲置资源量较高的节点上。但如果空闲资源量仍然满足不了任务的运行需求，按增量分配的方式，提交的任务还是会占用该节点的所有空闲资源(其他任务无法利用)，造成资源浪费。显然，此时的节点分配就不太合理。
发明内容
针对现有技术的上述不足，本发明提供一种集群业务节点选择方法、***、终端及存储介质，以解决上述技术问题。
第一方面，本发明提供一种集群业务节点选择方法，包括：
解析待执行任务的需求资源量；
采集集群内所有节点的总资源量，并筛选总资源量不低于所述需求资源量的节点作为预选节点；
获取预选节点的现有任务执行进度和任务资源占用情况；
根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间；
筛选出所需时间最短的预选节点作为最优节点，将所述待执行任务分配至所述最优节点。
进一步的，所述方法还包括：
采集集群内所有节点的空闲资源量；
判断是否存在空闲资源量达到所述需求资源量的最优节点：
若是，则将所述待执行任务分配至所述最优节点。
进一步的，所述获取预选节点的现有任务执行进度和任务资源占用情况，包括：
采集预选节点中现有任务的执行总时长、已执行时长和任务占用资源量。
进一步的，所述根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间，包括：
根据预选节点中各任务的执行总时长和已执行时长计算各任务的剩余时长；
根据预选节点总资源量和各任务的资源占用量计算空闲资源量；
根据各任务的资源占用量和空闲资源量计算资源占用量与空闲资源量之和达到需求资源量的任务组合；
取任务组合中各任务剩余时长的最大值作为任务组合剩余时长；
选取剩余时长最短的任务组合作为预选节点的最优组合，并将所述最优组合的剩余时长作为所述所需时间输出。
第二方面，本发明提供一种集群业务节点选择***，包括：
任务解析单元，配置用于解析待执行任务的需求资源量；
资源采集单元，配置用于采集集群内所有节点的总资源量，并筛选总资源量不低于所述需求资源量的节点作为预选节点；
进度采集单元，配置用于获取预选节点的现有任务执行进度和任务资源占用情况；
时间计算单元，配置用于根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间；
节点筛选单元，配置用于筛选出所需时间最短的预选节点作为最优节点，将所述待执行任务分配至所述最优节点。
进一步的，所述***还包括：
空闲采集单元，配置用于采集集群内所有节点的空闲资源量；
空闲筛选单元，配置用于判断是否存在空闲资源量达到所述需求资源量的最优节点；
空闲分配单元，配置用于若存在空闲资源量达到所述需求资源量的最优节点，则将所述待执行任务分配至所述最优节点。
进一步的，所述进度采集单元包括：
采集模块，配置用于采集预选节点中现有任务的执行总时长、已执行时长和任务占用资源量。
进一步的，所述时间计算单元包括：
剩余计算模块，配置用于根据预选节点中各任务的执行总时长和已执行时长计算各任务的剩余时长；
空闲计算模块，配置用于根据预选节点总资源量和各任务的资源占用量计算空闲资源量；
任务组合模块，配置用于根据各任务的资源占用量和空闲资源量计算资源占用量与空闲资源量之和达到需求资源量的任务组合；
组合时长模块，配置用于取任务组合中各任务剩余时长的最大值作为任务组合剩余时长；
组合筛选模块，配置用于选取剩余时长最短的任务组合作为预选节点的最优组合，并将所述最优组合的剩余时长作为所述所需时间输出。
第三方面，提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本发明的有益效果在于，
本发明提供的集群业务节点选择方法、***、终端及存储介质，通过改进YARN调度器的调度方式，保证集群内提交的任务能够更加合理地选择资源节点，避免由于单一的节点分配机制导致的资源浪费问题。同时根据任务时长和任务资源使用量两个因素构建决策模型来决定最后将新任务调度到哪个节点，确保在不同节点整体资源量相差不大的情况下，新任务能优先调度到任务剩余运行时长较短的节点，从而尽可能较早地运行在目标节点，减少节点的资源浪费，提升集群整体的运行效率。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的***的示意性框图。
图3为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面对本发明中出现的关键术语进行解释。
YARN是Hadoop中的资源管理***，它是一个通用的资源管理模块，可为各类应用程序进行资源管理和调度，其主要包括ResourceManager、ApplicationMaster、NodeManager。YARN不仅限于MapReduce一种框架使用，也可以供其他框架使用，比如Spark等
ResourceManager(资源管理器)在YARN内负责集群中所有资源的统一管理和分配，它接受来自各个节点的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationMaster)。
图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种集群业务节点选择***。
如图1所示，该方法包括：
步骤110，解析待执行任务的需求资源量；
步骤120，采集集群内所有节点的总资源量，并筛选总资源量不低于所述需求资源量的节点作为预选节点；
步骤130，获取预选节点的现有任务执行进度和任务资源占用情况；
步骤140，根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间；
步骤150，筛选出所需时间最短的预选节点作为最优节点，将所述待执行任务分配至所述最优节点。
具体的，所述集群业务节点选择方法包括：
S1、解析待执行任务的需求资源量。
S2、采集集群内所有节点的总资源量，并筛选总资源量不低于所述需求资源量的节点作为预选节点。
通过后端监控***采集集群节点的属性指标，主要包括节点所拥有的资源总量和节点上未被占用的资源总量。例如：后端监控***实时采集node1节点所拥有的总资源量(总内存量为64G、CPU总核数为6个)和node1节点资源空闲率(节点未使用资源占上节点总资源的百分比)等信息。
将这些指标传入数学模型进行评估，通过将节点资源总量与新提交任务申请的资源量进行比较来确认是否为预选节点。例如：提交任务为网络服务，申请的任务资源为10G内存。若集群的node1节点资源总量为20G(大于申请资源)，则表示满足新任务的资源需求，可以认定node1节点为预选节点。若node1节点总资源为7G内存，则判断该节点为非预选节点。
将集群内所有预选节点更新进预选节点名单，并将该名单载入资源管理器(RM)，例如：将包含node1节点的预选节点名单直接载入资源管理器(RM)。
S3、获取预选节点的现有任务执行进度和任务资源占用情况。
从预选节点获取所有任务的已运行时长和预计运行时长及资源使用量等数据。
S4、根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间。
通过数学模型计算并比较所有任务组合的剩余运行时长(预计运行时长减去已运行时长)来确认该节点内最优任务组合(组合内任务资源使用量与节点空闲资源量的总和要大于新任务资源申请量)，并将该组合更新进调度名单。然后，将包含所有预选节点最优组合的调度名单发送到调度器。例如：
(1)通过前端***收集预选节点上的任务时长指标，主要包括任务的已运行时间和用户预估任务所需时间及任务使用资源量。例如，hdfs服务的已运行时间为20h,用户预计任务完成需要的时间是72h，占用的内存为4G。
(2)根据任务资源使用量确定满足新任务资源申请量的任务组合，其中每个组合所占资源量与节点空闲资源量之和都应该大于新任务的资源需求量。例如，node1节点的某一任务组合包括hdfs和mysql两个任务。其中，hdfs服务内存使用了4G，MySQL服务内存使用2G，节点空闲内存资源为2G。新提交的任务内存申请量为8G，该任务组合刚好满足新任务的需求，则该任务组合就是预选节点的目标组合。
(3)计算并比较所有任务组合任务的剩余运行时长，来确定预选节点的最优任务组合。例如，节点node1上有两个任务组合(组合甲包括任务1、2和组合乙包括任务3、4、5)。经计算，组合甲内任务1的任务预计时长为6h，已运行时长为4h，则该任务剩余运行时长为2h，同理计算出任务2剩余时长为3h。组合甲的剩余运行时长取最大值3h。依据同样的方式计算乙的剩余运行时长为4h，选择甲乙两个组合中剩余运行时长较小的组合(甲组合)为预选节点的最优组合。每个预选节点的最优组合的剩余运行时长即为所属预选节点的空闲资源量达到待执行任务需求资源量的所需时间。
S5、筛选出所需时间最短的预选节点作为最优节点，将所述待执行任务分配至所述最优节点。
获取所有预选节点的最优组合。例如，集群有node1、node2、node3三个预选节点，将这三个节点的最优组合分别为甲、乙、丙。
对获取的最优组合进行排序，选出集群中任务剩余时长最短的任务组合，并将该组合所属节点认定为最优节点。例如：node1节点最优组合的任务剩余时长为5h；node3节点的最优组合任务剩余时长为7h；node2节点则为8h。显然，三个节点中node1的任务剩余时长最短，判定node1节点为集群最优节点。
将新提交的任务分配给该最优节点。
如图2所示，该***200包括：
任务解析单元210，配置用于解析待执行任务的需求资源量；
资源采集单元220，配置用于采集集群内所有节点的总资源量，并筛选总资源量不低于所述需求资源量的节点作为预选节点；
进度采集单元230，配置用于获取预选节点的现有任务执行进度和任务资源占用情况；
时间计算单元240，配置用于根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间；
节点筛选单元250，配置用于筛选出所需时间最短的预选节点作为最优节点，将所述待执行任务分配至所述最优节点。
可选地，作为本发明一个实施例，所述***还包括：
空闲采集单元，配置用于采集集群内所有节点的空闲资源量；
空闲筛选单元，配置用于判断是否存在空闲资源量达到所述需求资源量的最优节点；
空闲分配单元，配置用于若存在空闲资源量达到所述需求资源量的最优节点，则将所述待执行任务分配至所述最优节点。
可选地，作为本发明一个实施例，所述进度采集单元包括：
采集模块，配置用于采集预选节点中现有任务的执行总时长、已执行时长和任务占用资源量。
可选地，作为本发明一个实施例，所述时间计算单元包括：
剩余计算模块，配置用于根据预选节点中各任务的执行总时长和已执行时长计算各任务的剩余时长；
空闲计算模块，配置用于根据预选节点总资源量和各任务的资源占用量计算空闲资源量；
任务组合模块，配置用于根据各任务的资源占用量和空闲资源量计算资源占用量与空闲资源量之和达到需求资源量的任务组合；
组合时长模块，配置用于取任务组合中各任务剩余时长的最大值作为任务组合剩余时长；
组合筛选模块，配置用于选取剩余时长最短的任务组合作为预选节点的最优组合，并将所述最优组合的剩余时长作为所述所需时间输出。
图3为本发明实施例提供的一种终端300的结构示意图，该终端300可以用于执行本发明实施例提供的集群业务节点选择方法。
其中，该终端300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。
处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
因此，本发明通过改进YARN调度器的调度方式，保证集群内提交的任务能够更加合理地选择资源节点，避免由于单一的节点分配机制导致的资源浪费问题。同时根据任务时长和任务资源使用量两个因素构建决策模型来决定最后将新任务调度到哪个节点，确保在不同节点整体资源量相差不大的情况下，新任务能优先调度到任务剩余运行时长较短的节点，从而尽可能较早地运行在目标节点，减少节点的资源浪费，提升集群整体的运行效率，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，***或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种集群业务节点选择方法，其特征在于，包括：
解析待执行任务的需求资源量；
采集集群内所有节点的总资源量，并筛选总资源量不低于所述需求资源量的节点作为预选节点；
获取预选节点的现有任务执行进度和任务资源占用情况；
根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间；
筛选出所需时间最短的预选节点作为最优节点，将所述待执行任务分配至所述最优节点。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采集集群内所有节点的空闲资源量；
判断是否存在空闲资源量达到所述需求资源量的最优节点：
若是，则将所述待执行任务分配至所述最优节点。
3.根据权利要求1所述的方法，其特征在于，所述获取预选节点的现有任务执行进度和任务资源占用情况，包括：
采集预选节点中现有任务的执行总时长、已执行时长和任务占用资源量。
4.根据权利要求3所述的方法，其特征在于，所述根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间，包括：
根据预选节点中各任务的执行总时长和已执行时长计算各任务的剩余时长；
根据预选节点总资源量和各任务的资源占用量计算空闲资源量；
根据各任务的资源占用量和空闲资源量计算资源占用量与空闲资源量之和达到需求资源量的任务组合；
取任务组合中各任务剩余时长的最大值作为任务组合剩余时长；
选取剩余时长最短的任务组合作为预选节点的最优组合，并将所述最优组合的剩余时长作为所述所需时间输出。
5.一种集群业务节点选择***，其特征在于，包括：
任务解析单元，配置用于解析待执行任务的需求资源量；
资源采集单元，配置用于采集集群内所有节点的总资源量，并筛选总资源量不低于所述需求资源量的节点作为预选节点；
进度采集单元，配置用于获取预选节点的现有任务执行进度和任务资源占用情况；
时间计算单元，配置用于根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间；
节点筛选单元，配置用于筛选出所需时间最短的预选节点作为最优节点，将所述待执行任务分配至所述最优节点。
6.根据权利要求5所述的***，其特征在于，所述***还包括：
空闲采集单元，配置用于采集集群内所有节点的空闲资源量；
空闲筛选单元，配置用于判断是否存在空闲资源量达到所述需求资源量的最优节点；
空闲分配单元，配置用于若存在空闲资源量达到所述需求资源量的最优节点，则将所述待执行任务分配至所述最优节点。
7.根据权利要求5所述的***，其特征在于，所述进度采集单元包括：
采集模块，配置用于采集预选节点中现有任务的执行总时长、已执行时长和任务占用资源量。
8.根据权利要求7所述的***，其特征在于，所述时间计算单元包括：
剩余计算模块，配置用于根据预选节点中各任务的执行总时长和已执行时长计算各任务的剩余时长；
空闲计算模块，配置用于根据预选节点总资源量和各任务的资源占用量计算空闲资源量；
任务组合模块，配置用于根据各任务的资源占用量和空闲资源量计算资源占用量与空闲资源量之和达到需求资源量的任务组合；
组合时长模块，配置用于取任务组合中各任务剩余时长的最大值作为任务组合剩余时长；
组合筛选模块，配置用于选取剩余时长最短的任务组合作为预选节点的最优组合，并将所述最优组合的剩余时长作为所述所需时间输出。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010988230.9A CN112272203B (zh) | 2020-09-18 | 2020-09-18 | 一种集群业务节点选择方法、***、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010988230.9A CN112272203B (zh) | 2020-09-18 | 2020-09-18 | 一种集群业务节点选择方法、***、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112272203A true CN112272203A (zh) | 2021-01-26 |
| CN112272203B CN112272203B (zh) | 2022-06-14 |
Family
ID=74349994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010988230.9A Active CN112272203B (zh) | 2020-09-18 | 2020-09-18 | 一种集群业务节点选择方法、***、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112272203B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220428A (zh) * | 2021-04-23 | 2021-08-06 | 复旦大学 | 针对云计算***实时性需求的动态任务调度算法 |
| CN113535332A (zh) * | 2021-08-11 | 2021-10-22 | 北京字节跳动网络技术有限公司 | 集群资源调度方法、装置、计算机设备及存储介质 |
| CN113742064A (zh) * | 2021-08-06 | 2021-12-03 | 苏州浪潮智能科技有限公司 | 一种服务器集群的资源整理方法、***、设备及介质 |
| CN113849131A (zh) * | 2021-09-28 | 2021-12-28 | 咪咕文化科技有限公司 | 一种数据存储方法、装置、计算设备和存储介质 |
| CN114143174A (zh) * | 2021-11-30 | 2022-03-04 | 深信服科技股份有限公司 | 一种节点修复方法、装置、设备及可读存储介质 |
| CN114201306A (zh) * | 2022-02-16 | 2022-03-18 | 长沙市规划勘测设计研究院 | 基于负载均衡技术的多维地理空间实体分布方法及*** |
| CN114363328A (zh) * | 2021-11-19 | 2022-04-15 | 三维通信股份有限公司 | 一种服务器集群的任务协同方法及*** |
| CN114490068A (zh) * | 2022-01-28 | 2022-05-13 | 北京秒如科技有限公司 | 一种边缘计算网络的资源编排方法 |
| CN115562870A (zh) * | 2022-10-25 | 2023-01-03 | 北京京航计算通讯研究所 | 一种集群的任务节点资源构建方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045456A (zh) * | 2016-02-05 | 2017-08-15 | 华为技术有限公司 | 一种资源分配方法及资源管理器 |
| CN107682417A (zh) * | 2017-09-19 | 2018-02-09 | 深圳市盛路物联通讯技术有限公司 | 一种数据节点的任务分配方法和装置 |
| CN111045808A (zh) * | 2019-12-17 | 2020-04-21 | 广东工业大学 | 一种分布式网络任务调度方法及装置 |
| CN111381950A (zh) * | 2020-03-05 | 2020-07-07 | 南京大学 | 一种面向边缘计算环境基于多副本的任务调度方法和*** |
| CN111552550A (zh) * | 2020-04-26 | 2020-08-18 | 星环信息科技（上海）有限公司 | 一种基于图形处理器gpu资源的任务调度方法、设备及介质 |
-
2020
- 2020-09-18 CN CN202010988230.9A patent/CN112272203B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045456A (zh) * | 2016-02-05 | 2017-08-15 | 华为技术有限公司 | 一种资源分配方法及资源管理器 |
| CN107682417A (zh) * | 2017-09-19 | 2018-02-09 | 深圳市盛路物联通讯技术有限公司 | 一种数据节点的任务分配方法和装置 |
| CN111045808A (zh) * | 2019-12-17 | 2020-04-21 | 广东工业大学 | 一种分布式网络任务调度方法及装置 |
| CN111381950A (zh) * | 2020-03-05 | 2020-07-07 | 南京大学 | 一种面向边缘计算环境基于多副本的任务调度方法和*** |
| CN111552550A (zh) * | 2020-04-26 | 2020-08-18 | 星环信息科技（上海）有限公司 | 一种基于图形处理器gpu资源的任务调度方法、设备及介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220428A (zh) * | 2021-04-23 | 2021-08-06 | 复旦大学 | 针对云计算***实时性需求的动态任务调度算法 |
| CN113220428B (zh) * | 2021-04-23 | 2022-06-21 | 复旦大学 | 针对云计算***实时性需求的动态任务调度方法 |
| CN113742064A (zh) * | 2021-08-06 | 2021-12-03 | 苏州浪潮智能科技有限公司 | 一种服务器集群的资源整理方法、***、设备及介质 |
| CN113535332A (zh) * | 2021-08-11 | 2021-10-22 | 北京字节跳动网络技术有限公司 | 集群资源调度方法、装置、计算机设备及存储介质 |
| CN113849131A (zh) * | 2021-09-28 | 2021-12-28 | 咪咕文化科技有限公司 | 一种数据存储方法、装置、计算设备和存储介质 |
| CN114363328A (zh) * | 2021-11-19 | 2022-04-15 | 三维通信股份有限公司 | 一种服务器集群的任务协同方法及*** |
| CN114363328B (zh) * | 2021-11-19 | 2024-02-20 | 三维通信股份有限公司 | 一种服务器集群的任务协同方法及*** |
| CN114143174A (zh) * | 2021-11-30 | 2022-03-04 | 深信服科技股份有限公司 | 一种节点修复方法、装置、设备及可读存储介质 |
| CN114490068A (zh) * | 2022-01-28 | 2022-05-13 | 北京秒如科技有限公司 | 一种边缘计算网络的资源编排方法 |
| CN114201306A (zh) * | 2022-02-16 | 2022-03-18 | 长沙市规划勘测设计研究院 | 基于负载均衡技术的多维地理空间实体分布方法及*** |
| CN115562870A (zh) * | 2022-10-25 | 2023-01-03 | 北京京航计算通讯研究所 | 一种集群的任务节点资源构建方法 |
| CN115562870B (zh) * | 2022-10-25 | 2023-07-21 | 北京京航计算通讯研究所 | 一种集群的任务节点资源构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112272203B (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112272203B (zh) | 一种集群业务节点选择方法、***、终端及存储介质 | |
| CN109471727B (zh) | 一种任务处理方法、装置及*** | |
| Jiang et al. | Optimal cloud resource auto-scaling for web applications | |
| Shen et al. | Scheduling jobs in the cloud using on-demand and reserved instances | |
| CN111258745B (zh) | 一种任务处理方法及设备 | |
| CN111124687B (zh) | 一种cpu资源预留方法、装置及其相关设备 | |
| CN111966500A (zh) | 资源调度方法、装置、电子设备及存储介质 | |
| JPWO2007072544A1 (ja) | 情報処理装置、計算機、リソース割り当て方法及びリソース割り当てプログラム | |
| CN107797863B (zh) | 一种云计算平台中细粒度资源匹配方法 | |
| CN110221920B (zh) | 部署方法、装置、存储介质及*** | |
| US20220327002A1 (en) | Allocating computing resources for deferrable virtual machines | |
| CN112015549B (zh) | 一种基于服务器集群的调度节点的选择抢占方法及*** | |
| US20180101404A1 (en) | Resource and latency estimation-based scheduling | |
| CN112698952A (zh) | 计算资源统一管理方法、装置、计算机设备及存储介质 | |
| CN111338785A (zh) | 资源调度方法及装置、电子设备、存储介质 | |
| CN113467933A (zh) | 分布式文件***线程池优化方法、***、终端及存储介质 | |
| CN115421930B (zh) | 任务处理方法、***、装置、设备及计算机可读存储介质 | |
| US20230004440A1 (en) | Allocating of computing resources for applications | |
| CN111324459A (zh) | 基于日历的资源调度方法、装置、电子设备及存储介质 | |
| CN111475251A (zh) | 一种集群容器调度方法、***、终端及存储介质 | |
| CN110096339A (zh) | 一种基于***负载实现的扩缩容配置推荐***及方法 | |
| CN115562846A (zh) | 一种资源调度的方法、装置及计算节点 | |
| CN116962532A (zh) | 集群任务调度方法、装置、计算机设备及存储介质 | |
| CN107391262B (zh) | 一种作业调度方法及装置 | |
| CN109257256A (zh) | 设备监控方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |