CN111580990A - 一种任务调度方法、调度节点、集中配置服务器及*** - Google Patents

一种任务调度方法、调度节点、集中配置服务器及*** Download PDF

Info

Publication number
CN111580990A
CN111580990A CN202010384684.5A CN202010384684A CN111580990A CN 111580990 A CN111580990 A CN 111580990A CN 202010384684 A CN202010384684 A CN 202010384684A CN 111580990 A CN111580990 A CN 111580990A
Authority
CN
China
Prior art keywords
node
scheduling
task
target
configuration server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010384684.5A
Other languages
English (en)
Inventor
陈军
卞嘉骏
唐成山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202010384684.5A priority Critical patent/CN111580990A/zh
Publication of CN111580990A publication Critical patent/CN111580990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/547Remote procedure calls [RPC]; Web services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种任务调度方法、调度节点、集中配置服务器及***。该方法包括:根据目标任务的服务类型从集中配置服务器获取任务执行节点清单,所述任务执行节点清单中包括至少一个从节点;根据所述目标任务的资源占比信息从所述任务执行节点清单中选取目标从节点;通过调度指令基于所述集中配置服务器调度所述目标从节点执行所述目标任务。通过上述技术方案,实现了集群中各节点之间的远程调度,提高任务调度的灵活性和可靠性。

Description

一种任务调度方法、调度节点、集中配置服务器及***
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种任务调度方法、调度节点、集中配置服务器及***。
背景技术
分布式***是建立在网络之上的计算机***,在互联网中的应用越来越广泛,分布式***的中各个服务器或节点依赖于互联网相互通信。在分布式***中存在大量的任务需要执行,对于大量任务的高效调度给分布式***带来极大的挑战。目前,各种任务都是在单机上执行的,各节点之间可以相互通信和监听,但无法实现不同节点之间的远程调度,任务调度的灵活性差,此外,如果执行任务的节点失效或者宕机,任务无法顺利执行、作业将会丢失,可靠性低。
发明内容
本发明提供了一种任务调度方法、调度节点、集中配置服务器及***,以实现集群中各节点之间的远程调度,提高调度的灵活性和可靠性。
第一方面,本发明实施例提供了一种任务调度方法,应用于集群中的调度节点,包括:
根据目标任务的服务类型从集中配置服务器获取任务执行节点清单,所述任务执行节点清单中包括至少一个从节点;
根据所述目标任务的资源占比信息从所述任务执行节点清单中选取目标从节点;
通过调度指令基于所述集中配置服务器调度所述目标从节点执行所述目标任务。
进一步的,还包括:
根据远程过程调用(RemoteProcedureCall,RPC,RPC)协议将所述目标任务的参数序列化,得到所述目标任务的作业步;
所述资源占比信息包括每个作业步的资源占比信息。
进一步的,根据所述目标任务的资源占比信息从所述任务执行节点清单中选取用于执行所述目标任务的目标从节点,包括:
从数据库或Redis中读取所述目标任务的历史资源占比信息,所述历史资源占比信息按照设定时间粒度存储;
根据所述历史资源占比信息预估所述目标任务的资源占比信息;
根据所述资源占比信息从所述任务执行节点清单中选取目标从节点;
发送锁定请求,所述锁定请求用于向集中配置服务器申请锁定所述目标从节点。
进一步的,所述资源占比信息至少包括中央处理器CPU使用率、内存空闲率以及所述CPU使用率和所述内存空闲率对应的权重。
第二方面,本发明实施例提供了一种任务调度方法,应用于集中配置服务器,包括:
向调度节点发送目标任务的任务执行节点清单,所述任务执行节点清单中包括至少一个从节点;
接收所述调度节点的调度指令;
根据所述调度指令通知目标从节点执行所述目标任务。
进一步的,还包括:
接收集群中节点的节点选举请求;
根据所述节点选举请求选择集群中的一个节点作为调度节点。
进一步的,还包括:
在所述调度节点失效的情况下,选择集群中的一个有效节点作为新的调度节点。
第三方面,本发明实施例提供了一种调度节点,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的任务调度方法。
第四方面,本发明实施例提供了一种集中配置服务器,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第二方面所述的任务调度方法。
第五方面,本发明实施例还提供了一种任务调度***,包括:如第一方面所述的调度节点、如第二方面所述的集中配置服务器以及至少一个从节点;
所述调度节点和各所述从节点分别向所述集中配置服务器注册;
所述集中配置服务器分别与所述调度节点和各所述从节点建立监听连接。
本发明实施例提供了一种任务调度方法、调度节点、集中配置服务器及***。该方法包括:根据目标任务的服务类型从集中配置服务器获取任务执行节点清单,所述任务执行节点清单中包括至少一个从节点;根据所述目标任务的资源占比信息从所述任务执行节点清单中选取目标从节点;通过调度指令基于所述集中配置服务器调度所述目标从节点执行所述目标任务。通过上述技术方案,实现了集群中各节点之间的远程调度,提高任务调度的灵活性和可靠性。
附图说明
图1为本发明实施例一提供的一种任务调度方法的流程图;
图2为本发明实施例二提供的一种任务调度方法的流程图;
图3为本发明实施例三提供的一种任务调度方法的流程图;
图4为本发明实施例三中的任务调度方法的实现示意图;
图5为本发明实施例四提供的一种调度节点的硬件结构示意图;
图6为本发明实施例五提供的一种集中配置服务器的硬件结构示意图;
图7为本发明实施例六提供的一种任务调度***的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种任务调度方法的流程图,本实施例可适用于对服务器集群中的节点进行管理调度以执行相应任务的情况。具体的,该任务调度方法可以通过软件和/或硬件的方式实现,并集成在调度节点中。调度节点是服务器集群中的一个主节点,可由集中配置服务器选举产生,其具备管理任务、调度集群中其他从节点完成相应任务的能力,调度节点具体可以为计算机或服务器等。
如图1所示,该方法具体包括如下步骤:
S110、根据目标任务的服务类型从集中配置服务器获取任务执行节点清单,所述任务执行节点清单中包括至少一个从节点。
具体的,集中配置服务器是一种集群中用于连接调度节点和各从节点的中间服务节点,目的是为调度节点和各从节点提供一致***。例如,集中配置服务器可以为ZooKeeper服务器,其功能包括:配置维护、域名服务、分布式同步、组服务等。
在本实施例中,集中配置服务器用于在集群的所有节点中选举一个节点作为调度节点,将其他节点作为从节点,然后由调度节点完成作业队列管理及各种控制机制接入、调度不同的从节点执行相应的任务。集群中的所有节点都在集中配置服务器中注册并建立连接和监听,当调度节点需要调度一个或多个从节点执行目标任务时,集中配置服务器可以根据各节点的注册信息以及目标任务的服务类型向调度节点提供任务执行节点清单,任务执行节点清单中列举了具备执行该目标任务的能力的所有从节点,供调度节点进行编排。其中,服务类型包括目标任务的任务名称、作业日期、任务耗时、CPU参数、内存参数和/或实时性要求等,能够满足相应服务类型需求的从节点才会被集中配置服务器列入任务执行节点清单中。
S120、根据所述目标任务的资源占比信息从所述任务执行节点清单中选取目标从节点。
具体的,目标任务的资源占比信息是指目标任务执行过程中所需的计算资源,例如CPU使用率、所需的内存大小或空闲率等,可以根据同样或同类的任务在历史执行记录中的平均值确定。调度节点根据目标任务的资源占比信息在任务执行节点清单中选取满足资源需求的从节点作为目标从节点。可选的,可以对任务执行节点清单中的从节点按照剩余可用资源(CPU空闲率、内存空闲率扥)从大到小排序,并选取剩余可用资源最多的一个或多个从节点,用于执行目标任务,以提供足够的资源,确保目标任务的高效执行。
S130、通过调度指令基于所述集中配置服务器调度所述目标从节点执行所述目标任务。
具体的,在选定目标从节点后,调度节点可以通过发送调度指令,通过集中配置服务器通知各目标从节点执行相应的作业。
在一实施例中,资源占比信息至少包括CPU使用率、内存空闲率以及CPU使用率和所述内存空闲率对应的权重。
具体的,调度节点根据一定的调度算法选择目标从节点,例如,对资源占比信息构建记分模型,考虑的因素包括CPU使用率和内存空闲率,并对两种因素设定权重,将两者的加权结果作为选择目标从节点的依据。例如,分析目标任务在最近几次或最近一段时间内执行的加权平均CPU使用率为0.3、内存为2G,据此在任务执行节点清单中获取能够满足此CPU和内存资源的目标从节点,并发起作业执行。
在一实施例中,还包括:根据RPC协议将所述目标任务的参数序列化,得到所述目标任务的作业步;所述资源占比信息包括每个作业步的资源占比信息。
具体的,调度节点针对目标任务调度目标从节点进行Spring Batch执行,实现作业步(Step)之间的调度。Spring Batch是一种轻量级的批处理框架,基于Spring Batch,一个任务(Job)可以定义成多个步骤(Step),每个Step中都可以定义专属的Item Reader用于读取数据、Item Processeor用于处理数据、Item Writer用于写数据,每个定义的Job则都在任务库(Job Repository)中。本实施例在Spring Batch的框架下,将目标任务的参数序列化,得到作业步,从目标任务相应的任务执行节点清单中可以选取每个作业步对应的目标从节点,充分利用资源,提高任务调度的灵活性和执行效率。此外,调度节点想要调用目标从节点上的函数/程序执行时,由于不在同一个内存空间内,不能直接调用,本实施例在参数序列化的过程中,依据RPC协议,通过远程网络来表达调用的语义和传达调用的数据,实现通过网络从调度节点上远程调度目标从节点服务,无需了解底层网络技术协议,提高了远程调度的可靠性。
本发明实施例一提供的一种任务调度方法,通过根据目标任务的资源占比信息从任务执行节点清单中选取目标从节点,保证目标从节点能够提供执行目标任务所需的资源,避免由于从节点的性能不足导致任务执行失败或中断,提高了执行目标任务的可靠性和有效性;通过调度指令基于集中配置服务器调度目标从节点执行目标任务,实现了集群中各节点之间的远程调度,提高任务调度的灵活性和可靠性。
实施例二
图2为本发明实施例二提供的一种任务调度方法的流程图,本实施例是在上述实施例的基础上进行优化,对选取目标从节点的过程进行具体描述。本实施例中,各类任务在执行过程中的资源占比信息存储在数据库或Redis缓存中,当调度节点对目标任务进行调度时,可以读取该目标任务的历史资源占比信息并预估本次任务执行所需的资源,从而预申请目标从节点。需要说明的是,未在本实施例中详尽描述的技术细节可参见上述任意实施例。
具体的,如图2所示,该方法具体包括如下步骤:
S210、根据目标任务的服务类型从集中配置服务器获取任务执行节点清单,任务执行节点清单中包括至少一个从节点。
S220、从数据库或Redis中读取所述目标任务的历史资源占比信息,所述历史资源占比信息按照设定时间粒度存储。
具体的,各类任务在执行过程中的资源占比信息存储在数据库或Redis中,例如,在执行任务时,根据任务的日期分类(日常、月末、季末、年末)存储该任务的CPU使用率、占用内存的加权平均数,这些历史资源占比信息保存至数据库或Redis缓存。当目标任务发起调度时,从数据库或redis中根据任务名称、日期分类等读取相应的历史资源占比信息,并预估该目标任务所使用的CPU、内存资源等,作为选择目标从节点的依据。
S230、根据所述历史资源占比信息预估所述目标任务的资源占比信息。具体的,每日批处理处理数据量不会爆发性增长,而是线性变化的,存在一定的趋势或规律,根据历史资源占比信息可以预估本次执行目标任务的资源占比信息。
S240、根据所述资源占比信息从任务执行节点清单中选取目标从节点。
示例性的,以目标任务为计提作业为例,根据该任务名称、本次执行时间属于“日常”,从数据库或Redis中读取该任务最近几次的加权平均CPU使用率为0.3,内存为2G,则从任务执行节点清单中选取能够满足该CPU使用率和和内存大小的从节点作为目标从节点,以向目标从节点发起作业执行。
S250、发送锁定请求,向集中配置服务器申请锁定目标从节点。
具体的,根据预估的资源占比信息可以在任务执行节点清档中选取目标从节点,获取到最优的资源,通过发送锁定请求,可以预申请锁定该目标从节点资源用于目标任务的执行。可选的,基于资源释放巡检机制,可以检测目标从节点是否有异常、是否被释放,如果有异常,则调度节点可以重新确定目标从节点,或者重新请求锁定目标从节点的资源。
S260、通过调度指令,基于集中配置服务器调度所述目标从节点执行目标任务。
本发明实施例二提供的一种任务调度方法,在上述实施例的基础上进行优化,通过在数据库中存储历史资源占比信息,便于查询和追溯,为生成任务执行节点清单提供可靠的数据来源,从而提高了选取目标从节点的可靠性;通过利用历史批处理数据构造基于资源占比指标的加权平均算法,根据计算得到的加权平均值,进行资源的预申请,进一步提高任务调度的可靠性,确保有足够的资源以及目标任务的顺利执行。
实施例三
图3为本发明实施例三提供的一种任务调度方法的流程图,本实施例可适用于对服务器集群中不同节点进行管理调度以执行目标任务的情况。具体的,该任务调度方法可以通过软件和/或硬件的方式实现,并集成在集中配置服务器中。集中配置服务器是一种集群中用于连接调度节点和各从节点的中间节点,目的是为调度节点和各从节点提供一致***,例如为ZooKeeper服务器。本实施例中集中配置服务器执行的具体操作与上述实施例中调度节点执行的操作相对应,未在本实施例中详尽描述的技术方案可参见上述任意实施例。
如图3所示,该方法具体包括如下步骤:
S310、向调度节点发送目标任务的任务执行节点清单,所述任务执行节点清单中包括至少一个从节点。
具体的,集群中的所有节点都在集中配置服务器中注册并建立连接和监听,当调度节点需要调度一个或多个从节点执行目标任务时,集中配置服务器可以根据各节点的注册信息以及目标任务的服务类型向调度节点提供任务执行节点清单,任务执行节点清单中列举了具备执行该目标任务的能力的所有从节点,供调度节点进行编排。其中,列入任务执行节点清单的从节点满足执行目标任务(或者目标任务的作业步)的资源占比需求。
S320、接收所述调度节点的调度指令。
具体的,调度节点在根据任务执行节点清单选定目标从节点后发送调度指令,集中配置服务器根据调度指令通知对应的目标从节点执行目标任务,或者目标任务的作业步。
S330、根据所述调度指令通知目标从节点执行所述目标任务。
在一实施例中,还包括:接收集群中节点的节点选举请求;根据所述节点选举请求选择集群中的一个节点作为调度节点。
具体的,集中配置服务器用于在集群的所有节点中选举一个节点作为调度节点,将其他节点作为从节点,从而在集群组织中,选举调度节点以完成作业队列管理及各种控制机制接入、调度不同的从节点执行相应的任务,在分布式集群中形成了可靠高效的调度管理机制。
在一实施例中,还包括:在所述调度节点失效的情况下,选择集群中的一个有效节点作为新的调度节点。
具体的,集中配置服务器与集群中的各个节点都建立了连接和监听,如果调度节点异常或失效,无法再对目标任务调度从节点,则集中配置服务器可以自动发起节点重选举,重新选择一个有效节点作为新的调度节点,保证目标任务的可靠调度。
图4为本发明实施例三中的任务调度方法的实现示意图。如图4所示,集群中的所有节点都在集中配置服务器中注册并建立连接和监听;各节点都向集中配置服务器发起节点选举请求,由集中配置服务器选举调度节点并通知各节点,除了选举的调度节点(节点1)以外,其他节点(节点2)都成为从节点,由调度节点完成作业队列管理及各种控制机制接入、调度不同的从节点执行相应的任务;当需要执行目标任务时,调度节点从集中配置服务器获取任务执行节点清单并确定用于执行目标任务(或目标任务的作业步)的目标从节点(接地那2);发送调度指令,通过集中配置服务器实现对目标从节点的调度。在选取目标从节点的过程中,还可以通过集中配置服务器向目标从节点发送锁定请求以进行资源预申请。
本发明实施例三提供的一种任务调度方法,通过向调度节点发送任务执行节点清单,提供了具备执行目标任务的能力的从节点,为调度节点的任务调度提供可靠的依据,提高了任务调度的可靠性;通过根据调度节点的调度指令通知目标从节点执行相应的目标任务,实现了集群中节点间的远程调度。
实施例四
图5为本发明实施例四提供的一种调度节点的硬件结构示意图。如图5所示,本实施例提供的一种调度节点,包括:处理器410和存储装置420。该调度节点中的处理器可以是一个或多个,图5中以一个处理器410为例,所述调度节点中的处理器410和存储装置420可以通过总线或其他方式连接,图5中以通过总线连接为例。
所述一个或多个程序被所述一个或多个处理器410执行,使得所述一个或多个处理器实现上述实施例中任意所述的应用于调度节点的任务调度方法。
该调度节点中的存储装置420作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例中应用于调度节点任务调度方法对应的程序指令/模块。处理器410通过运行存储在存储装置420中的软件程序、指令以及模块,从而执行调度节点的各种功能应用以及数据处理,即实现上述方法实施例中应用于调度节点的任务调度方法。
存储装置420主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据调度节点的使用所创建的数据等(如上述实施例中的任务执行节点清单、调度指令等)。此外,存储装置420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置420可进一步包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至调度节点。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
并且,当上述调度节点中所包括一个或者多个程序被所述一个或者多个处理器410执行时,进行如下操作:根据目标任务的服务类型从集中配置服务器获取任务执行节点清单,所述任务执行节点清单中包括至少一个从节点;根据所述目标任务的资源占比信息从所述任务执行节点清单中选取目标从节点;通过调度指令基于所述集中配置服务器调度所述目标从节点执行所述目标任务。
本实施例提出的调度节点与上述实施例提出应用于调度节点的任务调度方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述任意实施例,并且本实施例具备与执行应用于调度节点的任务调度方法相同的有益效果。
实施例五
图6为本发明实施例五提供的一种集中配置服务器的硬件结构示意图。如图6所示,本实施例提供的一种集中配置服务器,包括:处理器510和存储装置520。该集中配置服务器中的处理器可以是一个或多个,图6中以一个处理器510为例,所述集中配置服务器中的处理器510和存储装置520可以通过总线或其他方式连接,图6中以通过总线连接为例。
所述一个或多个程序被所述一个或多个处理器510执行,使得所述一个或多个处理器实现上述实施例中任意所述的应用于集中配置服务器的任务调度方法。
该集中配置服务器中的存储装置520作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例中应用于集中配置服务器任务调度方法对应的程序指令/模块。处理器510通过运行存储在存储装置520中的软件程序、指令以及模块,从而执行集中配置服务器的各种功能应用以及数据处理,即实现上述方法实施例中应用于集中配置服务器的任务调度方法。
存储装置520主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据集中配置服务器的使用所创建的数据等(如上述实施例中的任务执行节点清单、调度指令等)。此外,存储装置520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置520可进一步包括相对于处理器510远程设置的存储器,这些远程存储器可以通过网络连接至集中配置服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
并且,当上述集中配置服务器中所包括一个或者多个程序被所述一个或者多个处理器510执行时,进行如下操作:根据目标任务的服务类型从集中配置服务器获取任务执行节点清单,所述任务执行节点清单中包括至少一个从节点;根据所述目标任务的资源占比信息从所述任务执行节点清单中选取目标从节点;通过调度指令基于所述集中配置服务器调度所述目标从节点执行所述目标任务。
本实施例提出的集中配置服务器与上述实施例提出应用于集中配置服务器的任务调度方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述任意实施例,并且本实施例具备与执行应用于集中配置服务器的任务调度方法相同的有益效果。
实施例六
图7为本发明实施例六提供的一种任务调度***的示意图。如图7所示,该***包括:调度节点10、集中配置服务器20以及至少一个从节点30;调度节点10和各从节点30分别向集中配置服务器20注册;集中配置服务器20分别与调度节点10和各从节点30建立监听连接。
本实施例中,集中配置服务器20可以接收集群中各节点的节点选举请求,并从中选举一个节点作为调度节点10,其他节点作为从节点30,在调度节点10失效时还可以重新发起节点选举。在需要执行目标任务时,集中配置服务器20可以根据各从节点30的注册信息和资源能力向调度节点10提供任务执行节点清单,供调度节点10进行任务编排;调度节点10可以将目标任务的参数序列化,得到作业步,并调度相应的从节点30作为目标从节点执行相应的目标任务(或目标任务的作业步)。
在一实施例中,该***还可以包括数据库或Redis服务器,用于按照设定的时间粒度记录各任务执行的历史资源占比信息。调度节点10通过读取目标任务在最近几次或最近一段时间内的历史资源占比信息,可以对本次执行过程的资源占比进行预估,从而在任务执行节点清单中选择最优的从节点30。
本实施例六提供的一种任务调度***可以用于实现上述任意实施例提供的任务调度方法,具备相应的功能和有益效果。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种任务调度方法,应用于集群中的调度节点,其特征在于,包括:
根据目标任务的服务类型从集中配置服务器获取任务执行节点清单,所述任务执行节点清单中包括至少一个从节点;
根据所述目标任务的资源占比信息从所述任务执行节点清单中选取目标从节点;
通过调度指令基于所述集中配置服务器调度所述目标从节点执行所述目标任务。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据远程过程调用RPC协议将所述目标任务的参数序列化,得到所述目标任务的作业步;
所述资源占比信息包括每个作业步的资源占比信息。
3.根据权利要求1所述的方法,其特征在于,根据所述目标任务的资源占比信息从所述任务执行节点清单中选取用于执行所述目标任务的目标从节点,包括:
从数据库或Redis中读取所述目标任务的历史资源占比信息,所述历史资源占比信息按照设定时间粒度存储;
根据所述历史资源占比信息预估所述目标任务的资源占比信息;
根据所述资源占比信息从所述任务执行节点清单中选取目标从节点;
发送锁定请求,所述锁定请求用于向集中配置服务器申请锁定所述目标从节点。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述资源占比信息至少包括中央处理器CPU使用率、内存空闲率以及所述CPU使用率和所述内存空闲率对应的权重。
5.一种任务调度方法,应用于集中配置服务器,其特征在于,包括:
向调度节点发送目标任务的任务执行节点清单,所述任务执行节点清单中包括至少一个从节点;
接收所述调度节点的调度指令;
根据所述调度指令通知目标从节点执行所述目标任务。
6.根据权利要求5所述的方法,其特征在于,还包括:
接收集群中节点的节点选举请求;
根据所述节点选举请求选择集群中的一个节点作为调度节点。
7.根据权利要求6所述的方法,其特征在于,还包括:
在所述调度节点失效的情况下,选择集群中的一个有效节点作为新的调度节点。
8.一种调度节点,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一项所述的任务调度方法。
9.一种集中配置服务器,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求5-7中任一项所述的任务调度方法。
10.一种任务调度***,其特征在于,包括:如权利要求8所述的调度节点、如权利要求9所述的集中配置服务器以及至少一个从节点;
所述调度节点和各所述从节点分别向所述集中配置服务器注册;
所述集中配置服务器分别与所述调度节点和各所述从节点建立监听连接。
CN202010384684.5A 2020-05-08 2020-05-08 一种任务调度方法、调度节点、集中配置服务器及*** Pending CN111580990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010384684.5A CN111580990A (zh) 2020-05-08 2020-05-08 一种任务调度方法、调度节点、集中配置服务器及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010384684.5A CN111580990A (zh) 2020-05-08 2020-05-08 一种任务调度方法、调度节点、集中配置服务器及***

Publications (1)

Publication Number Publication Date
CN111580990A true CN111580990A (zh) 2020-08-25

Family

ID=72113484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010384684.5A Pending CN111580990A (zh) 2020-05-08 2020-05-08 一种任务调度方法、调度节点、集中配置服务器及***

Country Status (1)

Country Link
CN (1) CN111580990A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162865A (zh) * 2020-11-03 2021-01-01 中国工商银行股份有限公司 服务器的调度方法、装置和服务器
CN112269647A (zh) * 2020-10-26 2021-01-26 广州华多网络科技有限公司 节点调度、切换与协调方法及其相应的装置、设备、介质
CN112631738A (zh) * 2021-01-26 2021-04-09 江苏信数科技有限公司 一种基于库容器实现的分布式任务处理的***及方法
CN112817835A (zh) * 2021-01-28 2021-05-18 网易(杭州)网络有限公司 性能数据获取方法、装置、处理器及电子装置
CN113132456A (zh) * 2021-03-02 2021-07-16 西安电子科技大学 一种基于截止时间感知的边云协同任务调度方法及***
CN113342508A (zh) * 2021-07-07 2021-09-03 湖南快乐阳光互动娱乐传媒有限公司 一种任务调度方法及装置
CN116248461A (zh) * 2023-05-12 2023-06-09 广州市千钧网络科技有限公司 移动端分布式任务的调度方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502791A (zh) * 2016-10-14 2017-03-15 浪潮电子信息产业股份有限公司 一种任务分配方法及装置
CN107341051A (zh) * 2016-05-03 2017-11-10 北京京东尚科信息技术有限公司 集群任务协调方法、***和装置
CN108717379A (zh) * 2018-05-08 2018-10-30 平安证券股份有限公司 电子装置、分布式任务调度方法及存储介质
CN109144710A (zh) * 2017-06-16 2019-01-04 ***通信有限公司研究院 资源调度方法、装置及计算机可读存储介质
CN110209494A (zh) * 2019-04-22 2019-09-06 西北大学 一种面向大数据的分布式任务调度方法及Hadoop集群
CN110287009A (zh) * 2019-05-28 2019-09-27 北京大米科技有限公司 一种工作节点选择方法、装置、存储介质及服务器
CN110362390A (zh) * 2019-06-06 2019-10-22 银江股份有限公司 一种分布式数据集成作业调度方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341051A (zh) * 2016-05-03 2017-11-10 北京京东尚科信息技术有限公司 集群任务协调方法、***和装置
CN106502791A (zh) * 2016-10-14 2017-03-15 浪潮电子信息产业股份有限公司 一种任务分配方法及装置
CN109144710A (zh) * 2017-06-16 2019-01-04 ***通信有限公司研究院 资源调度方法、装置及计算机可读存储介质
CN108717379A (zh) * 2018-05-08 2018-10-30 平安证券股份有限公司 电子装置、分布式任务调度方法及存储介质
CN110209494A (zh) * 2019-04-22 2019-09-06 西北大学 一种面向大数据的分布式任务调度方法及Hadoop集群
CN110287009A (zh) * 2019-05-28 2019-09-27 北京大米科技有限公司 一种工作节点选择方法、装置、存储介质及服务器
CN110362390A (zh) * 2019-06-06 2019-10-22 银江股份有限公司 一种分布式数据集成作业调度方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
解志君: "基于Spring Batch构建企业级大数据批处理应用研究", 信息化研究, vol. 42, no. 6 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269647A (zh) * 2020-10-26 2021-01-26 广州华多网络科技有限公司 节点调度、切换与协调方法及其相应的装置、设备、介质
CN112162865A (zh) * 2020-11-03 2021-01-01 中国工商银行股份有限公司 服务器的调度方法、装置和服务器
CN112162865B (zh) * 2020-11-03 2023-09-01 中国工商银行股份有限公司 服务器的调度方法、装置和服务器
CN112631738A (zh) * 2021-01-26 2021-04-09 江苏信数科技有限公司 一种基于库容器实现的分布式任务处理的***及方法
CN112817835A (zh) * 2021-01-28 2021-05-18 网易(杭州)网络有限公司 性能数据获取方法、装置、处理器及电子装置
CN113132456A (zh) * 2021-03-02 2021-07-16 西安电子科技大学 一种基于截止时间感知的边云协同任务调度方法及***
CN113342508A (zh) * 2021-07-07 2021-09-03 湖南快乐阳光互动娱乐传媒有限公司 一种任务调度方法及装置
CN116248461A (zh) * 2023-05-12 2023-06-09 广州市千钧网络科技有限公司 移动端分布式任务的调度方法、装置及电子设备
CN116248461B (zh) * 2023-05-12 2023-08-08 广州市千钧网络科技有限公司 移动端分布式任务的调度方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111580990A (zh) 一种任务调度方法、调度节点、集中配置服务器及***
JP6490913B2 (ja) グリッドコンピューティングシステムの遊休リソースによるタスク実行
US7810099B2 (en) Optimizing workflow execution against a heterogeneous grid computing topology
US8640137B1 (en) Methods and apparatus for resource management in cluster computing
CN112000445A (zh) 分布式任务调度的方法及***
US9870269B1 (en) Job allocation in a clustered environment
CN101645022B (zh) 用于多个集群的作业调度管理***及方法
US9804889B2 (en) Methods and apparatus for state objects in cluster computing
CN109766194B (zh) 基于消息的低耦合计划任务组件的实现方法及其***
CN112905339B (zh) 任务调度执行方法、装置及***
CN110955506A (zh) 一种分布式作业调度处理方法
US10168751B2 (en) Method of executing an application on a distributed computer system, a resource manager and a distributed computer system
EP3084603B1 (en) System and method for supporting adaptive busy wait in a computing environment
CN106843890B (zh) 基于智能决策的传感器网络、节点及其运行方法
CN115562846A (zh) 一种资源调度的方法、装置及计算节点
CN113821322A (zh) 一种松耦合的分布式工作流协调***和方法
CN112380030A (zh) 主任务处理方法、装置、服务器和存储介质
CN116719623A (zh) 作业调度方法、作业结果处理方法及其装置
CN116775420A (zh) 基于Flink流计算的信创云平台资源展示和预警方法及***
CN111835809A (zh) 工单消息分配方法、装置、服务器及存储介质
CN113434591B (zh) 数据处理方法以及装置
CN105760215A (zh) 基于映射规约模型分布式文件***作业的运行方法
CN113886032A (zh) 事件调度方法、装置、电子设备及存储介质
CN112445590A (zh) 一种计算资源接入及调度***和方法
CN116991591B (zh) 一种数据调度方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220930

Address after: 25 Financial Street, Xicheng District, Beijing 100033

Applicant after: CHINA CONSTRUCTION BANK Corp.

Address before: 25 Financial Street, Xicheng District, Beijing 100033

Applicant before: CHINA CONSTRUCTION BANK Corp.

Applicant before: Jianxin Financial Science and Technology Co.,Ltd.

TA01 Transfer of patent application right