CN111522630A - 基于批次调度中心的计划任务执行方法以及*** - Google Patents

基于批次调度中心的计划任务执行方法以及*** Download PDF

Info

Publication number
CN111522630A
CN111522630A CN202010359516.0A CN202010359516A CN111522630A CN 111522630 A CN111522630 A CN 111522630A CN 202010359516 A CN202010359516 A CN 202010359516A CN 111522630 A CN111522630 A CN 111522630A
Authority
CN
China
Prior art keywords
task
execution
batch
tasks
pod
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010359516.0A
Other languages
English (en)
Other versions
CN111522630B (zh
Inventor
罗孟波
翁国海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiangrongxin Technology Co ltd
Original Assignee
Beijing Jiangrongxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiangrongxin Technology Co ltd filed Critical Beijing Jiangrongxin Technology Co ltd
Priority to CN202010359516.0A priority Critical patent/CN111522630B/zh
Publication of CN111522630A publication Critical patent/CN111522630A/zh
Application granted granted Critical
Publication of CN111522630B publication Critical patent/CN111522630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于批次调度中心的计划任务执行方法及***,计划任务执行方法包括:步骤S1:分析各批次任务之间的关系,将各批次任务依序连接,生成一沿固定方向的任务执行流程图;步骤S2:根据任务执行流程图的各个节点顺序依次执行完成任务执行流程图的全部任务;其中,在任务执行过程中,在所述任务执行流程图中以不同色彩实时标识各个批次任务的执行状态,并允许用户对各个批次任务进行操作以监控任务执行进程;每个批次任务对应至少一个任务分区,每个任务分区通过调用DFS应用服务拉起一个相应的pod容器,各个pod容器的参数由批次调度中心统一配置以使得各个pod容器具有各自独立的资源空间。

Description

基于批次调度中心的计划任务执行方法以及***
技术领域
本发明涉及一种基于批次调度中心的计划任务执行方法以及***。
背景技术
现有批次调度中心应用服务器拉起批次业务应用服务器进程时存在以下缺陷:
1、批次执行没有完整的一个执行计划流程,没有统一模块管理各任务之间的关系和执行顺序,每执行一个批次都需要人为确定是否能够执行。
2、由DFS(Data Flow Server)调用本地jar包拉起批次任务进程而不是拉起容器pod,进程直接启动在虚拟机或者物理机上,不足以友好的监控到进程是否启动成功,运行是否出错,进程的启动参数,启动过程等,批次应用进程启动时资源不隔离, 批次应相互之间会抢占资源,以至于造成资源分配不均匀的情况。
3、执行计划中任务链时不能采用预加载方式,后续任务执行拉起容器pod,必须等前面任务执行成功后才操作,这样的缺点是当前面的任务执行成功,后续的任务并没有马上执行,而是要耗费大量的时间拉起容器pod和启动批次应用程序。
4、DFS需单独部署应用服务器,增加资源成本和维护成本;批次调度中心执行任务时,必须通过调度中心请求访问DFS应用服务器, 再由DFS拉起批次执行任务进程,增加调度中心访问DFS应用服务器之间的网路请求。
因此亟需开发本发一种克服上述缺陷的基于批次调度中心执行计划的配置与调度方法以及***。
发明内容
本发明所要解决的技术问题在于提供一种基于批次调度中心的计划任务执行方法,其中,包括:
步骤S1:分析各批次任务之间的关系,将各批次任务依序连接,生成一沿固定方向的任务执行流程图,其中每个任务节点关联配置一个批次执行任务,并向用户展示所述任务执行流程图;
步骤S2:根据任务执行流程图的各个节点顺序依次执行完成任务执行流程图的全部任务;
其中,在任务执行过程中,在所述任务执行流程图中以不同色彩实时标识各个批次任务的执行状态,并允许用户对各个批次任务进行操作以监控任务执行进程;以及
每个批次任务对应至少一个任务分区,每个任务分区通过调用DFS应用服务拉起一个相应的pod容器,各个pod容器的参数由批次调度中心统一配置以使得各个pod容器具有各自独立的资源空间。
上述的计划任务执行方法,其中,所述用户对各个批次任务进行操作以监控任务执行进程包括以下操作中的一个或多个:查看执行记录、暂停执行、取消暂停、异常重跑。
上述的计划任务执行方法,其中,所述步骤S2中包括:
步骤S21:启动执行计划;
步骤S22:以开始节点找到其指向的所有任务节点并依次执行各个任务节点关联的任务;
步骤S23:当一个任务节点关联的任务执行成功后,找到该任务节点指向的所有下一级任务节点并依次执行下一级任务节点所关联的任务;
步骤S24:以此类推,直到整个任务执行流程图中的所有任务全部执行成功。
上述的计划任务执行方法,其中,所述DFS应用服务集成于批次调度中心,批次调度中心在执行任务时,通过集成在批次调度中心的DFS应用服务拉起执行批次任务进程。
上述的计划任务执行方法,其中,当某个任务节点所关联的任务开始执行时,该任务节点所指向的所有下一级任务节点同时针对所有任务分区拉起相关的pod容器以进行预加载,启动相应的pod应用但并不执行相关任务,只有当监听到该pod应用为可执行状态时才开始执行相关任务。
本发明还提供一种基于批次调度中心的计划任务执行***,其中,包括:
绘图单元,分析各批次任务之间的关系,将各批次任务依序连接,生成一沿固定方向的任务执行流程图,其中每个任务节点关联配置一个批次执行任务,并向用户展示所述任务执行流程图;
批次调度中心,根据任务执行流程图的各个节点顺序依次执行完成任务执行流程图的全部任务;
其中,在任务执行过程中,在所述任务执行流程图中以不同色彩实时标识各个批次任务的执行状态,并允许用户对各个批次任务进行操作以监控任务执行进程;以及
每个批次任务对应至少一个任务分区,每个任务分区通过调用DFS应用服务拉起一个相应的pod容器,各个pod容器的参数由批次调度中心统一配置以使得各个pod容器具有各自独立的资源空间。
上述的计划任务执行***,其中,所述用户对各个批次任务进行操作以监控任务执行进程包括以下操作中的一个或多个:查看执行记录、暂停执行、取消暂停、异常重跑。
上述的计划任务执行***,其中,所述批次调度中心启动执行计划,以开始节点找到其指向的所有任务节点并依次执行各个任务节点关联的任务;当一个任务节点关联的任务执行成功后,找到该任务节点指向的所有下一级任务节点并依次执行下一级任务节点所关联的任务;以此类推,直到整个任务执行流程图中的所有任务全部执行成功。
上述的计划任务执行***,其中,所述DFS应用服务集成于批次调度中心,批次调度中心在执行任务时,通过集成在批次调度中心的DFS应用服务拉起执行批次任务进程。
上述的计划任务执行***,其中,当某个任务节点所关联的任务开始执行时,该任务节点所指向的所有下一级任务节点同时针对所有任务分区拉起相关的pod容器以进行预加载,启动相应的pod应用但并不执行相关任务,只有当监听到该pod应用为可执行状态时才开始执行相关任务。
本发明针对于现有技术其功效在于:
1、将多个任务用任务链图的形式统一管理配置各批次任务之间的关系和执行顺序,并可通过任务链图监控个任务的执行状态和结果。
2、由DFS拉起容器pod, 每个pod都使用独立的资源,如内存,CPU等,每个pod相互之间不影响,只使用容器给它分配的资源空间, 不会抢占其它pod的资源;进入pod可以查看此pod的详细信息,如启动应用参数,内存,CPU, pod的执行时间、过程、状态,日志等相关信息;容器pod的参数可以统一由批次调度中心以参数的形式配置使用。
3、执行计划中任务链时可采用预加载方式,当某个任务节点正在运行中,此任务节点的后续任务会优先拉起容器pod并启动批次应用程序,并且监听pod对应的分区执行状态,当监听的状态一旦为可运行时,立马执行此应用的业务程序,而中间的拉起容器pod和启动应用程序的过程都在前任务运行时就已经完成。
4、将DFS应用服务器代码集成到批次调度中心服务器当中,应用部署时只需要部署批次调度中心应用服务器, 不需要单独在部署DFS应用服务器,减少资源成本和维护成本。批次调度中心执行任务时,会通过集成在批次调度中心的DFS应用代码拉起执行批次任务进程, 不需要在通过再次请求中间服务器DFS去拉起批次任务进程,避免发生批次调度中心与DFS之间多余的网路请求。
附图说明
图1为本发明计划任务执行方法的流程图;
图2为图1中步骤S2的分步骤流程图;
图3为任务执行流程图;
图4为DFS与批次调度中心集成后批次执行任务图;
图5为批次调度中心通过DFS拉起容器pod示意图;
图6为预加载逻辑架构图;
图7为计划的执行、续跑、异常重跑逻辑图;
图8为异常重跑逻辑图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地说明,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等,均为开放性的用语,即意指包含但不限于。
关于本文中的“多个”包括“两个”及“两个以上”。
在互联网大数据时代,由于各领域的业务发展壮大,各种数据、文件、消息等处理上在单应用服务器无法满足批量处理业务的需求,为此,我们针对各小模块业务单独开发一个批次应用处理程序,为了方便管理维护这些批次应用处理程序的执行顺序,特将这些批次应用处理程序以任务加任务分区的形式进行配置, 并将任务按照前后执行顺序串联起来,形式一个完整的执行计划的任务链,并以图形的方式配置和使用,计划执行时,会依次按照任务链的顺序执行任务。计划任务链在执行过程中,涉及执行、续跑、异常重跑、预加载等拉起容器pod的操作功能。
具体地说,请参照图1,图1为本发明计划任务执行方法的流程图。如图1所示,本发明基于批次调度中心的计划任务执行方法包括:
步骤S1:分析各批次任务之间的关系,将各批次任务依序连接,生成一沿固定方向的任务执行流程图,其中每个任务节点关联配置一个批次执行任务,并向用户展示所述任务执行流程图;其中,在本实施例中任务执行流程图为人工绘制,但本发明并不以此为限,在其他实施例中,任务执行流程图还可为通过软件自动绘制而成。
请参考图3,图3为任务执行流程图。如图3所示,本发明的计划的任务链配置主要是把批次任务之间的关系以链路图的形式由开始往结束方向的单向走向串联起来的一个任务执行流程图。此任务执行流程图包括开始节点、任务节点及结束节点,每一节点均关联配置一个批次执行任务。
其中,在本实施例中,任务执行流程图还可包括汇聚节点,汇聚节点是一个空任务节点, 不会做执行任务处理,从而使得任务执行流程图的多个任务之间前后关系交叉时的展示美观。
步骤S2:根据任务执行流程图的各个节点顺序依次执行完成任务执行流程图的全部任务;其中,在任务执行过程中,在所述任务执行流程图中以不同色彩实时标识各个批次任务的执行状态,并允许用户对各个批次任务进行操作以监控任务执行进程;以及
每个批次任务对应至少一个任务分区,每个任务分区通过调用DFS应用服务拉起一个相应的pod容器,各个pod容器的参数由批次调度中心统一配置以使得各个pod容器具有各自独立的资源空间。
具体地说,计划执行时,首先会以开始节点找到由开始节点指向的所有执行任务依次执行,当一个任务节点执行成功后,程序会自动由此任务节点继续找到它指向的所有执行任务依次执行,以此类推,直到整个任务链中的任务全部执行成功,此次计划才执行成功。
请参照图2,图2为图1中步骤S2的分步骤流程图。如图2所示,于所述步骤S2中包括:
步骤S21:启动执行计划;
步骤S22:以开始节点找到其指向的所有任务节点并依次执行各个任务节点关联的任务;
步骤S23:当一个任务节点关联的任务执行成功后,找到该任务节点指向的所有下一级任务节点并依次执行下一级任务节点所关联的任务;
步骤S24:以此类推,直到整个任务执行流程图中的所有任务全部执行成功。
其中,当某个任务节点所关联的任务开始执行时,该任务节点所指向的所有下一级任务节点同时针对所有任务分区拉起相关的pod容器以进行预加载,启动相应的pod应用但并不执行相关任务,只有当监听到该pod应用为可执行状态时才开始执行相关任务,具体地说,pod相当于一台虚拟机,里面会启动一个批次应用,这个应用需要执行任务节点下对应的任务执行分区。
请参照图4-图5,图4为DFS与批次调度中心集成后批次执行任务图;图5为批次调度中心通过DFS服务器拉起容器pod示意图。如图4-图5所示,所述DFS应用服务集成于批次调度中心,批次调度中心在执行任务时,通过集成在批次调度中心的DFS应用服务拉起执行批次任务进程,具体地说,拉起一个pod,pod里面执行一个批次任务进程。本发明将DFS 服务器集成到批次调度中心,有效的避免DFS服务器的单独部署,只需要启动批次调度中心应用服务器;批次调度中心执行任务时,不需要通过请求中间DFS服务器去拉起执行批次任务进程,直接通过集成在批次调度中心的DFS服务器代码去拉起执行批次任务进程;批次调度中心执行任务时拉起批次任务进程减少了访问DFS服务器的网路请求, 从而提高了执行批次任务的执行效率,同时统一数据管理,DFS服务器相关配置移至批次调度中心操作。
具体执行时,由批次调度中心手动或定时启动执行计划,程序按照执行计划中配置的任务链的任务执行顺序依次执行,每个任务下都对应一个或多个任务分区,每个任务分区都会通过调用dfs的task execution的REST API接口拉起一个相应的容器pod。其中,每个pod执行的都是一个独立的应用程序,每个pod之间使用的资源、应用参数等也应调度中心的配置而不同;批次调度中心每拉起一个容器pod,都会将pod ID记录在任务执行分区相关的表字段中,批次调度中心可以通过查看任务执行分区的记录去查看相关的执行pod详情。
进一步地,请参照图6,图6为预加载逻辑架构图。如图6所示,本发明还具有预加载逻辑架构,任务执行过程中,任务节点指向的后续任务节点会紧跟着针对所有任务分区拉起相关的容器并启动应用,当监听到pod应用程序为可执行状态时会跳过监听去执行业务程序。
具体地说,任务预加载是指任务链在执行过程中,当某个任务节点开始运行,那这个任务节点指向的后续任务节点会紧跟着针对所有任务分区拉起相关的容器pod并启动应用,这些启动的任务称之为预加载任务,预加载的pod应用程序不会立马去执行业务程序处理,而是一直处于程序监听过程当中,当监听到pod应用程序为可执行状态时会跳过监听去执行业务程序。
更进一步地,请参照图7-图8,图7为计划的执行、续跑、异常重跑逻辑图,图8为异常重跑逻辑图。如图7-图8所示,在本实施例中,所述用户对各个批次任务进行操作以监控任务执行进程包括以下操作中的一个或多个:查看执行记录、暂停执行、取消暂停、异常重跑。计划的执行会按照任务链配置的任务顺序先后执行;续跑、异常重跑通过监控中心进行操作,续跑是针对暂停的任务进行续跑操作,异常重跑时针对批次异常的任务进行操作。
其中,异常重跑可分为异常重跑执行计划,异常重跑执行任务,异常重跑任务执行分区,但本发明并不以此为限。
本发明的基于批次调度中心的计划任务执行***包括:
绘图单元,分析各批次任务之间的关系,将各批次任务依序连接,生成一沿固定方向的任务执行流程图,其中每个任务节点关联配置一个批次执行任务,并向用户展示所述任务执行流程图;
批次调度中心,根据任务执行流程图的各个节点顺序依次执行完成任务执行流程图的全部任务;
其中,在任务执行过程中,在所述任务执行流程图中以不同色彩实时标识各个批次任务的执行状态,并允许用户对各个批次任务进行操作以监控任务执行进程;以及
每个批次任务对应至少一个任务分区,每个任务分区通过调用DFS应用服务拉起一个相应的pod容器,各个pod容器的参数由批次调度中心统一配置以使得各个pod容器具有各自独立的资源空间。
进一步地,所述用户对各个批次任务进行操作以监控任务执行进程包括以下操作中的一个或多个:查看执行记录、暂停执行、取消暂停、异常重跑。
再进一步地,所述批次调度中心启动执行计划,以开始节点找到其指向的所有任务节点并依次执行各个任务节点关联的任务;当一个任务节点关联的任务执行成功后,找到该任务节点指向的所有下一级任务节点并依次执行下一级任务节点所关联的任务;以此类推,直到整个任务执行流程图中的所有任务全部执行成功。
又进一步地,所述DFS应用服务集成于批次调度中心,批次调度中心在执行任务时,通过集成在批次调度中心的DFS应用服务。
更进一步地,当某个任务节点所关联的任务开始执行时,该任务节点所指向的所有下一级任务节点同时针对所有任务分区拉起相关的pod容器以进行预加载,启动相应的pod应用但并不执行相关任务,只有当监听到该pod应用为可执行状态时才开始执行相关任务。
综上所述,本发明具有以下优点:
1、批次调度中心集成DFS后,DFS服务器不需要单独部署, 减少资源服务器资源和维护成本; 批次调度中心执行任务时, 拉起任务不通过访问DFS中间服务器去执行操作,从而避免了访问DFS中间服务器器的网路请求, 提高了批次任务执行的效率。
2、预加载时,当前面的任务正在执行的过程中后续任务就去拉起容器pod启动应用并监听调度中心发送的可执行指令,当执行指令一旦监听到,立马就开始执行应用处理,这种情况下缩短了后需执行任务拉起容器pod和启动应用的时间。
3、任务之间的执行关系通过任务链路图的方式进行配置,对整个执行计划的任务起到了视觉美观、易维护、易管理的作用,整个执行计划的执行监控效果图也起到了一目了然的至关作用。
4、批次调度中心通过拉起容器pod执行批次任务,pod进程资源独立,相互之间不抢占资源,资源使用大小可由批次调度中心配置传参使用,批次调度中心可以监听pod的执行状态来确认任务分区的执行结果,也可通过批次调度中心的任务执行分区记录进入容器pod查询执行详细信息。
5、异常重跑可重跑执行计划,可重跑执行任务,可重跑任务执行分区。
上述仅为本发明的较佳实施例而已,并非用来限定本发明实施的范围,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于批次调度中心的计划任务执行方法,其特征在于,包括:
步骤S1:分析各批次任务之间的关系,将各批次任务依序连接,生成一沿固定方向的任务执行流程图,其中每个任务节点关联配置一个批次执行任务,并向用户展示所述任务执行流程图;
步骤S2:根据任务执行流程图的各个节点顺序依次执行完成任务执行流程图的全部任务;
其中,在任务执行过程中,在所述任务执行流程图中以不同色彩实时标识各个批次任务的执行状态,并允许用户对各个批次任务进行操作以监控任务执行进程;以及
每个批次任务对应至少一个任务分区,每个任务分区通过调用DFS应用服务拉起一个相应的pod容器,各个pod容器的参数由批次调度中心统一配置以使得各个pod容器具有各自独立的资源空间。
2.如权利要求1所述的计划任务执行方法,其特征在于,所述用户对各个批次任务进行操作以监控任务执行进程包括以下操作中的一个或多个:查看执行记录、暂停执行、取消暂停、异常重跑。
3.如权利要求1所述的计划任务执行方法,其特征在于,所述步骤S2中包括:
步骤S21:启动执行计划;
步骤S22:以开始节点找到其指向的所有任务节点并依次执行各个任务节点关联的任务;
步骤S23:当一个任务节点关联的任务执行成功后,找到该任务节点指向的所有下一级任务节点并依次执行下一级任务节点所关联的任务;
步骤S24:以此类推,直到整个任务执行流程图中的所有任务全部执行成功。
4.如权利要求1所述的计划任务执行方法,其特征在于,所述DFS应用服务集成于批次调度中心,批次调度中心在执行任务时,通过集成在批次调度中心的DFS应用服务拉起执行批次任务进程。
5.如权利要求3所述的计划任务执行方法,其特征在于,当某个任务节点所关联的任务开始执行时,该任务节点所指向的所有下一级任务节点同时针对所有任务分区拉起相关的pod容器以进行预加载,启动相应的pod应用但并不执行相关任务,只有当监听到该pod应用为可执行状态时才开始执行相关任务。
6.一种基于批次调度中心的计划任务执行***,其特征在于,包括:
绘图单元,分析各批次任务之间的关系,将各批次任务依序连接,生成一沿固定方向的任务执行流程图,其中每个任务节点关联配置一个批次执行任务,并向用户展示所述任务执行流程图;
批次调度中心,根据任务执行流程图的各个节点顺序依次执行完成任务执行流程图的全部任务;
其中,在任务执行过程中,在所述任务执行流程图中以不同色彩实时标识各个批次任务的执行状态,并允许用户对各个批次任务进行操作以监控任务执行进程;以及
每个批次任务对应至少一个任务分区,每个任务分区通过调用DFS应用服务拉起一个相应的pod容器,各个pod容器的参数由批次调度中心统一配置以使得各个pod容器具有各自独立的资源空间。
7.如权利要求6所述的计划任务执行***,其特征在于,所述用户对各个批次任务进行操作以监控任务执行进程包括以下操作中的一个或多个:查看执行记录、暂停执行、取消暂停、异常重跑。
8.如权利要求7所述的计划任务执行***,其特征在于,所述批次调度中心启动执行计划,以开始节点找到其指向的所有任务节点并依次执行各个任务节点关联的任务;当一个任务节点关联的任务执行成功后,找到该任务节点指向的所有下一级任务节点并依次执行下一级任务节点所关联的任务;以此类推,直到整个任务执行流程图中的所有任务全部执行成功。
9.如权利要求8所述的计划任务执行***,其特征在于,所述DFS应用服务集成于批次调度中心,批次调度中心在执行任务时,通过集成在批次调度中心的DFS应用服务。
10.如权利要求8所述的计划任务执行***,其特征在于,当某个任务节点所关联的任务开始执行时,该任务节点所指向的所有下一级任务节点同时针对所有任务分区拉起相关的pod容器以进行预加载,启动相应的pod应用但并不执行相关任务,只有当监听到该pod应用为可执行状态时才开始执行相关任务。
CN202010359516.0A 2020-04-30 2020-04-30 基于批次调度中心的计划任务执行方法以及*** Active CN111522630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010359516.0A CN111522630B (zh) 2020-04-30 2020-04-30 基于批次调度中心的计划任务执行方法以及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010359516.0A CN111522630B (zh) 2020-04-30 2020-04-30 基于批次调度中心的计划任务执行方法以及***

Publications (2)

Publication Number Publication Date
CN111522630A true CN111522630A (zh) 2020-08-11
CN111522630B CN111522630B (zh) 2021-04-06

Family

ID=71904973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010359516.0A Active CN111522630B (zh) 2020-04-30 2020-04-30 基于批次调度中心的计划任务执行方法以及***

Country Status (1)

Country Link
CN (1) CN111522630B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112783627A (zh) * 2021-01-22 2021-05-11 中信银行股份有限公司 一种批处理方法及装置
CN113553066A (zh) * 2021-07-23 2021-10-26 国网江苏省电力有限公司 一种基于流程化配置的智能任务调度方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080270996A1 (en) * 2007-04-25 2008-10-30 Samsung Electronics Co., Ltd. Apparatus and method for automatically extracting interface of embedded software
CN103098035A (zh) * 2010-08-31 2013-05-08 日本电气株式会社 存储***
CN103617486A (zh) * 2013-11-21 2014-03-05 中国电子科技集团公司第十五研究所 一种复杂业务流程动态图形化监控的方法与***
CN103812939A (zh) * 2014-02-17 2014-05-21 李漾 一种大数据存储***
CN104679488A (zh) * 2013-11-29 2015-06-03 亿阳信通股份有限公司 一种流程定制开发平台及流程定制开发方法
CN104731645A (zh) * 2015-03-19 2015-06-24 蔡树彬 一种任务调度方法和装置及数据下载方法和装置
CN105653365A (zh) * 2016-02-22 2016-06-08 青岛海尔智能家电科技有限公司 任务处理方法及装置
CN106227592A (zh) * 2016-09-08 2016-12-14 腾讯数码(天津)有限公司 任务调用方法及任务调用装置
CN108062243A (zh) * 2016-11-08 2018-05-22 杭州海康威视数字技术股份有限公司 执行计划的生成方法、任务执行方法及装置
CN109725785A (zh) * 2018-05-08 2019-05-07 中国平安人寿保险股份有限公司 任务执行情况追踪方法、装置、设备及可读存储介质
CN110222284A (zh) * 2019-05-05 2019-09-10 福建天泉教育科技有限公司 多页面加载方法及计算机可读存储介质
CN110399208A (zh) * 2019-07-15 2019-11-01 阿里巴巴集团控股有限公司 分布式任务调度拓扑图的展示方法、装置及设备
CN110427252A (zh) * 2019-06-18 2019-11-08 平安银行股份有限公司 基于任务依赖关系的任务调度方法、装置及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080270996A1 (en) * 2007-04-25 2008-10-30 Samsung Electronics Co., Ltd. Apparatus and method for automatically extracting interface of embedded software
CN103098035A (zh) * 2010-08-31 2013-05-08 日本电气株式会社 存储***
CN103617486A (zh) * 2013-11-21 2014-03-05 中国电子科技集团公司第十五研究所 一种复杂业务流程动态图形化监控的方法与***
CN104679488A (zh) * 2013-11-29 2015-06-03 亿阳信通股份有限公司 一种流程定制开发平台及流程定制开发方法
CN103812939A (zh) * 2014-02-17 2014-05-21 李漾 一种大数据存储***
CN104731645A (zh) * 2015-03-19 2015-06-24 蔡树彬 一种任务调度方法和装置及数据下载方法和装置
CN105653365A (zh) * 2016-02-22 2016-06-08 青岛海尔智能家电科技有限公司 任务处理方法及装置
CN106227592A (zh) * 2016-09-08 2016-12-14 腾讯数码(天津)有限公司 任务调用方法及任务调用装置
CN108062243A (zh) * 2016-11-08 2018-05-22 杭州海康威视数字技术股份有限公司 执行计划的生成方法、任务执行方法及装置
CN109725785A (zh) * 2018-05-08 2019-05-07 中国平安人寿保险股份有限公司 任务执行情况追踪方法、装置、设备及可读存储介质
CN110222284A (zh) * 2019-05-05 2019-09-10 福建天泉教育科技有限公司 多页面加载方法及计算机可读存储介质
CN110427252A (zh) * 2019-06-18 2019-11-08 平安银行股份有限公司 基于任务依赖关系的任务调度方法、装置及存储介质
CN110399208A (zh) * 2019-07-15 2019-11-01 阿里巴巴集团控股有限公司 分布式任务调度拓扑图的展示方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程君: "《基于Lua的移动互联网中间件***的研究与实现》", 《万方数据》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112783627A (zh) * 2021-01-22 2021-05-11 中信银行股份有限公司 一种批处理方法及装置
CN113553066A (zh) * 2021-07-23 2021-10-26 国网江苏省电力有限公司 一种基于流程化配置的智能任务调度方法

Also Published As

Publication number Publication date
CN111522630B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN107729139B (zh) 一种并发获取资源的方法和装置
CN112379995B (zh) 一种基于dag的单元化分布式调度***及方法
CN108733461B (zh) 分布式任务调度方法和装置
US7979858B2 (en) Systems and methods for executing a computer program that executes multiple processes in a multi-processor environment
CN111506412A (zh) 基于Airflow的分布式异步任务构建、调度***及方法
US20170295062A1 (en) Method, device and system for configuring runtime environment
CN111552556B (zh) 一种gpu集群服务管理***及方法
CN109656782A (zh) 可视化调度监控方法、装置及服务器
CN113312165B (zh) 一种任务处理方法及装置
CN113569987A (zh) 模型训练方法和装置
CN111522630B (zh) 基于批次调度中心的计划任务执行方法以及***
CN105786603B (zh) 一种基于分布式的高并发业务处理***及方法
CN107066339A (zh) 分布式作业管理器及分布式作业管理方法
CN102420709A (zh) 一种基于任务框架的调度任务管理方法和设备
CN113032125A (zh) 作业调度方法、装置、计算机***和计算机可读存储介质
CN113703997A (zh) 集成多种消息代理的双向异步通信中间件***及实现方法
CN114721807A (zh) 批量业务任务执行方法、装置、设备、介质和程序产品
CN110740047A (zh) 一种网络切片管理编排***
CN113658351A (zh) 一种产品生产的方法、装置、电子设备及存储介质
CN106648871B (zh) 一种资源管理方法及***
CN106598726A (zh) 一种多任务管理***及其分布式部署方法
CN109829005A (zh) 一种大数据处理方法及装置
CN112328403B (zh) 一种SparkContext的配置方法、装置及服务端
CN115421898A (zh) 一种基于quartz框架的大数据任务调度管理***及方法
CN113220480B (zh) 分布式的数据任务跨云调度***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant