CN113760491A - 一种任务调度***、方法、设备及存储介质 - Google Patents

一种任务调度***、方法、设备及存储介质 Download PDF

Info

Publication number
CN113760491A
CN113760491A CN202011198034.8A CN202011198034A CN113760491A CN 113760491 A CN113760491 A CN 113760491A CN 202011198034 A CN202011198034 A CN 202011198034A CN 113760491 A CN113760491 A CN 113760491A
Authority
CN
China
Prior art keywords
task
scheduling
logic
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011198034.8A
Other languages
English (en)
Inventor
谢建雨
王伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011198034.8A priority Critical patent/CN113760491A/zh
Publication of CN113760491A publication Critical patent/CN113760491A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种任务调度***、方法、装置及存储介质,该***包括:数据库和至少一个任务子***,各任务子***部署于集群服务器中,各任务子***分别包括任务调度模块;其中,在任务调度模块中注册有至少一种调度任务的任务处理单元,在任务处理单元中注册有对应调度任务的任务处理逻辑;任务调度模块,用于当检测到预设触发逻辑被业务端调用时,将接收到的业务端发送的调度任务的任务信息添加到数据库中;以及,将读取到的数据库中的调度任务的任务信息发送给任务处理单元,以使任务处理单元基于任务处理逻辑执行任务处理操作,并将生成的任务处理数据进行输出。本发明实施例降低了任务调度***的开发难度,提高了可移植性。

Description

一种任务调度***、方法、设备及存储介质
技术领域
本发明实施例涉及互联网***技术领域,尤其涉及一种任务调度***、方法、设备及存储介质。
背景技术
现有的任务调度***主要采用分布式实现方式,分布式任务调度***包括调度中心***以及业务***,其中,由调度中心***完成任务的管理、分配和监控等上层逻辑,业务***仅需要完成业务执行逻辑。
在实现本发明的过程中,发明人发现现有技术至少存在以下技术问题:
现有的分布式任务调度***要求开发人员在完成代码开发后还需单独在调度中心***相关触发调度方式的设置,使得代码开发和触发配置分别在业务端和调度中心***端执行,从而增加了开发人员的工作量,如果业务端和调度中心***端采用不同的开发技术,还会增加开发人员的开发难度。此外,由于现有的任务调度***更加关注于调度中心解耦后调度中心***的功能性和通用性方面的增强以满足不同业务***的触发设置,使得调度中心***的外部依赖因素过多,进而导致任务调度***的可移植性较差。
发明内容
本发明实施例提供了一种任务调度***、方法、装置及存储介质,以降低业务***的开发难度,提高任务调度***的可移植性。
第一方面,本发明实施例提供了一种任务调度***,该***包括:数据库和至少一个任务子***,各所述任务子***部署于集群服务器中,各所述任务子***分别包括任务调度模块;
其中,在所述任务调度模块中注册有至少一种调度任务的任务处理单元,在所述任务处理单元中注册有对应调度任务的任务处理逻辑;
所述任务调度模块,用于当检测到预设触发逻辑被业务端调用时,将接收到的所述业务端发送的调度任务的任务信息添加到数据库中;以及,将读取到的所述数据库中的调度任务的任务信息发送给任务处理单元,以使所述任务处理单元基于所述任务处理逻辑执行任务处理操作,并将生成的任务处理数据进行输出;其中,所述预设触发逻辑用于触发调度任务的任务信息的添加操作。
第二方面,本发明实施例还提供了一种任务调度方法,该方法包括:
当检测到预设触发逻辑被业务端调用时,将接收到的所述业务端发送的调度任务的任务信息添加到数据库中;其中,所述预设触发逻辑用于触发调度任务的任务信息的添加操作;
将读取到的所述数据库中的调度任务的任务信息发送给任务处理单元,以使所述任务处理单元基于所述任务处理逻辑执行任务处理操作,并将生成的任务处理数据进行输出。
第三方面,本发明实施例还提供了一种电子设备,该设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述所涉及的任一所述的任务调度方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行上述所涉及的任一所述的任务调度方法。
本发明实施例通过向业务端提供预设任务触发调度逻辑,在检测到业务端调用该预设任务触发调度逻辑时添加新的调度任务,解决了业务端在开发调度任务时需要在业务端和调度中心***端分别执行代码开发和触发配置的问题,降低了任务调度***的开发难度。进一步的,本发明实施例通过采用满足集群架构的任务调度***,并基于数据库完成调度任务的调度工作,使得业务代码和运行配置被集中管理,解决了分布式任务调度***中调度中心***外部依赖因素多的问题,提高了任务调度***的可移植性。
附图说明
图1是本发明实施例一提供的一种任务调度***的示意图。
图2是本发明实施例二提供的一种任务调度***的示意图。
图3是本发明实施例二提供的一种任务子***的具体实例的示意图。
图4是本发明实施例三提供的一种任务调度方法的流程图。
图5是本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种任务调度***的示意图,本实施例可适用于对调度任务的任务逻辑进行调度和执行情况,该***可采用软件和/或硬件的方式实现,该***可以配置于服务器中。该任务调度***包括:数据库10和至少一个任务子***20,各任务子***20部署于集群服务器中,各任务子***20分别包括任务调度模块201;其中,在任务调度模块201中注册有至少一种调度任务的任务处理单元,在任务处理单元中注册有对应调度任务的任务处理逻辑;
任务调度模块201,用于当检测到预设触发逻辑被业务端调用时,将接收到的业务端发送的调度任务的任务信息添加到数据库中;以及,将读取到的数据库中的调度任务的任务信息发送给任务处理单元,以使任务处理单元基于任务处理逻辑执行任务处理操作,并将生成的任务处理数据进行输出;其中,预设触发逻辑用于触发调度任务的任务信息的添加操作。
其中,示例性的,数据库10的类型包括但不限于层次数据库、关系数据库、面向文档数据库、键值存储数据库或列存储数据库等。在一个实施例中,可选的,数据库10采用关系型数据库。具体的,关系型数据库可采用行和列组成的二维表来管理数据,使用SQL(Structured Query Language,结构化查询语言)对数据进行操作,本实施例提供的任务调度***产生的所有数据均可存储在数据库中。
其中,各任务子***20部署于集群服务器中,具体的,各任务子***20支持集群架构部署。其中,集群架构表示各任务子***20作为集群节点运行在各自的独立服务器中。
其中,示例性的,预设任务触发逻辑是任务调度模块201提供的与JobManager(任务管理)组件相关的静态方法,是本任务调度***暴露给业务端使用的逻辑。其中,JobManager组件负责整个集群任务的调度和资源管理,静态方法是指在类的方法前加了static关键字后构成的方法。在一个实施例中,可选的,为预设任务触发逻辑设置埋点单元,通过埋点单元检测预设任务触发逻辑是否被调用。
其中,具体的,业务端可根据自身的业务需求设置调度任务的触发逻辑,示例性的,触发逻辑包括但不限于基于时间周期的触发、基于消息通知的触发或基于即时外部条件的触发,其中,即时外部条件可以是与第三方***进行交互后决定是否进行任务触发。当业务端检测到满足调度任务的触发条件时,调用本任务调度***提供的预设任务触发逻辑,以将该调度任务的任务信息添加到数据库中。其中,示例性的,当触发逻辑为基于时间周期的触发,且业务端采用基于springboot框架的java程序进行逻辑开发时,采用java程序提供的spring定时器设置触发逻辑。具体而言,基于接收到的基于cron参数、fixedDelay参数或fixedRate参数定义的时间规则构建“@Scheduled”注解形式的定时器。
在上述实施例的基础上,可选的,任务调度模块201,还用于:在检测到任务子***20启动时,获取任务调度模块201上的任务接口中的调度任务的任务信息以及任务调度接口中封装有调度任务的任务处理逻辑的实例bean类,并基于任务信息和bean类将调度任务注册在任务处理单元中。
其中,任务接口和任务调度接口是本任务调度***暴露给业务端的接口,在一个实施例中,可选的,任务接口为IJob接口,任务调度接口为IJobHandler接口。在上述实施例的基础上,可选的,任务子***20是基于springboot-starter机制构建的。这样设置的好处在于,基于springboot-starter机制构建的任务子***20在启动时自动将接口处的任务信息和bean类注册在任务处理单元中。其中,starter是springboot应用开发框架提供的可搭建项目,示例性的,可采用maven项目管理工具进行starter项目的创建,创建后每个任务子***20对应一个jar包。
在上述实施例的基础上,可选的,任务调度模块201,具体用于:通过单线程执行器服务,基于预设时间间隔读取数据库中的调度任务的任务信息,将调度任务的任务信息封装为可运行对象后提交给多线程执行器服务;通过多线程执行器服务,基于数据库的排他机制将可运行对象发送给任务处理单元;其中,数据库的排他机制用于控制读取到调度任务的任务信息的多个任务调度模块中的唯一多线程执行器服务执行可运行对象的发送操作。
其中,具体的,任务调度模块201包含2个执行器服务(ExecutorService),分别为单线程执行器服务和多线程执行器服务。其中,示例性的,预设时间间隔可以为1分钟。其中,可运行对象(Runnable对象)是一种进程(Thread)可执行的对象,具体的,通过调用可运行对象的run方法将可运行对象发送给任务处理单元。具体的,当多线程执行器服务接收到多个可运行对象时,将各可运行对象分别发送与各调度任务对应的任务处理单元。在上述实施例的基础上,可选的,在任务处理单元完成任务处理操作时,基于生成的调度任务的处理状态信息在数据库10中进行更新。示例性的,处理状态信息包括成功信息、失败信息或异常信息。
举例而言,当任务子***A和任务子***B均读取到数据库中的调度任务1的调度信息并将其封装为可运行对象后,任务子***A和任务子***B分别到数据库中认领调度任务1的任务信息,如果任务子***A已认领调度任务1的任务信息,则数据库的排他机制使得任务子***B不能再次认领调度任务1的任务信息,使得任务子***A中的多线程执行器服务将调度任务1对应的可运行对象发送给任务子***A中注册的与该调度任务1对应的任务处理单元。
在上述实施例的基础上,可选的,任务调度模块201,还用于:在读取到数据库中的调度任务的任务信息之后,将调度任务的任务信息与任务调度模块201中注册的任务处理单元中的任务信息进行匹配,将匹配成功的调度任务的任务信息作为可封装为可运行对象的任务信息。
其中,本实施例中的任务调度***中各任务子***20中的任务调度模块201注册的任务处理单元的种类和数量可以是相同的,也可以是不同的。具体的,各任务子***20可执行的调度任务完全相同,或任务子***A注册有可执行调度任务1的任务处理单元,任务子***B注册有可执行调度任务2的任务处理单元。举例而言,当任务子***A读取到调度任务2的任务信息时,调度任务2的任务信息的与任务子***中注册的任务处理单元的任务信息不匹配,则任务子***A不对调度任务2的任务信息进行封装操作。
本实施例的技术方案,通过向业务端提供预设任务触发调度逻辑,在检测到业务端调用该预设任务触发调度逻辑时添加新的调度任务,解决了业务端在开发调度任务时需要在业务端和调度中心***端分别执行代码开发和触发配置的问题,降低了任务调度***的开发难度。进一步的,本发明实施例通过采用满足集群架构的任务调度***,并基于数据库完成调度任务的调度工作,使得业务代码和运行配置被集中管理,解决了分布式任务调度***中调度中心***外部依赖因素多的问题,提高了任务调度***的可移植性。
实施例二
图2是本发明实施例二提供的一种任务调度***的示意图,本实施例的技术方案是上述实施例的基础上的进一步细化。可选的,任务子***20还包括统计分析模块202,相应的,任务调度模块201还用于:将任务处理数据发送给统计分析模块202,统计分析模块202,用于对接收到的各任务调度模块201发送的任务处理数据进行异步统计分析,将生成的统计分析结果进行输出;其中,预设任务触发逻辑用于触发调度任务的任务信息的添加操作。
其中,具体的,在本实施例中,任务调度***的各任务子***20均包括统计分析模块202,选取任一统计分析模块作为任务调度***的统计分析模块202,用于对各任务子***20发送的任务处理数据进行异步统计分析,即各任务子***20将生成的任务处理数据均发送给任务调度***中的同一统计分析模块202。
在上述实施例的基础上,可选的,任务处理逻辑包含调用数据上报逻辑的调用操作,相应的,任务调度模块201,具体用于:在任务处理单元执行任务处理操作的过程中,当检测到数据上报逻辑被任务处理逻辑调用时,将生成的与数据上报逻辑对应的任务处理数据发送给统计分析模块202;其中,数据上报逻辑用于触发统计分析模块202对任务处理单元发送的任务处理数据执行接收操作。
其中,示例性的,数据上报逻辑是任务调度模块201提供的与JobManager组件相关的静态方法,是本任务调度***暴露给业务端使用的逻辑。在一个实施例中,可选的,为数据上报逻辑设置埋点单元,通过埋点单元检测数据上报逻辑是否被调用。其中,示例性的,数据上报逻辑包括数据处理成功的数据上报逻辑、数据处理失败的数据上报逻辑和数据处理异常的数据上报逻辑。其中,具体的,当任务处理单元基于任务处理逻辑对数据1执行任务处理且处理成功后,任务处理逻辑调用数据处理成功的数据上报逻辑,将数据1处理成功的数据进行上报,以使统计分析模块202接收数据1处理成功的数据。
在上述实施例的基础上,可选的,统计分析模块202具体用于:将接收到任务处理数据封装为可运行对象并提交给统计分析模块202中的单线程执行器服务,采用单线程执行器服务对可运行对象执行异步存储操作。
在上述实施例的基础上,可选的,bean类还封装有调度任务的数据统计逻辑,相应的,统计分析模块202,还用于:基于bean类,将调度任务的数据统计逻辑注册在统计分析模块202中,以使统计分析模块202基于数据统计逻辑,对接收到的任务处理数据进行统计分析处理,并将生成的统计分析结果进行输出。其中,具体的,采用“@JobStatistics注解”形式构建数据统计逻辑。
在上述实施例的基础上,可选的,统计分析结果包括任务总览数据和/或校验成功信息,相应的,统计分析模块,具体用于:当数据统计逻辑包括基于时间窗口的统计逻辑时,基于获取到的与时间窗口对应的任务处理数据,生成基于时间窗口维度的任务总览数据,并将任务总览数据进行输出;和/或,当数据统计逻辑包括基于任务维度的统计逻辑时,获取与调度任务对应的任务处理数据中的处理状态数据,并将处理状态数据与调度任务对应的状态校验标准进行匹配,如果匹配成功,则生成调度任务的校验成功信息,并将校验成功信息进行输出。
在一个实施例中,基于时间窗口的统计逻辑以调度任务为单位进行统计分析,任务总览数据包括时间窗口内各调度任务的任务处理数据。举例而言,任务总览数据包含调度任务1对应的处理成功数据量和处理失败数据量,以及调度任务2对应的处理成功数据量和处理失败数据量。
在一个实施例中,基于任务维度的统计逻辑以单一调度任务为对象进行统计分析,任务处理数据中的处理状态数据包括但不限于处理成功数据、处理失败数据和处理异常数据。其中,状态校验标准用于表征调度任务的整体状态数据的标准。举例而言,当调度任务对应数据1、数据2和数据3时,状态校验标准定义数据1和数据2对应的处理状态数据分别为成功状态,对数据3对应的处理状态数据不作限定。如果基于任务维度得到处理状态数据分别为数据1成功状态、数据2成功状态和数据3成功状态,则该处理状态数据与上述状态校验标准匹配,生成校验成功信息。如果处理状态数据分别为数据1成功状态、数据2失败状态和数据3成功状态,则该处理状态数据与上述状态校验标准不匹配,生成校验失败信息。
图3是本发明实施例二提供的一种任务子***的具体实例的示意图。如图3所示,任务子***包括任务调度模块和统计分析模块,其中,任务调度模块注册有任务处理单元1、任务处理单元2和任务处理单元3等等。在任务处理单元基于任务处理逻辑执行任务处理操作的过程中,通过埋点单元检测任务处理单元调用数据上报逻辑的调用情况,当检测到数据上报逻辑被调用时,统计分析模块接收与数据上报逻辑对应的任务处理数据。其中,统计分析模块接收到的基础统计指标中,左侧3个没有灰度的图示(即任务创建时间、开始执行时间和任务结束时间)表示统计分析模块自动获取的数据,右侧3个有灰度的图示(即预计处理数据、成功处理数据和任务出错数据)表示基于数据上报逻辑接收到的任务调度模块发送的任务处理数据。统计分析模块基于基础统计指标完成统计分析,具体的,统计功能包括基于时间窗口任务总览(即基于时间窗口的统计逻辑)和任务维度任务成功校验(即基于任务维度的统计逻辑)。在本实施例中,统计分析模块具备分析输出功能,具体的,业务端通过调用统计分析模块提供的http接口接收统计分析结果,或统计分析模块主动将统计分析结果通过邮件等形式发送给业务端。此处对统计分析模块具体的输出方式不作限定。
本实施例的技术方案,通过设置统计分析模块对任务调度模块发送的任务处理数据进行统计分析,并将生成的统计分析结果进行输出,解决了任务调度***的数据统计的问题。进一步的,本实施例的任务调度***通过将数据上报逻辑暴露给业务端使用,解决了调度任务的数据上报需要在分布式调度***的调度中心***中单独进行设置的问题,进一步降低了开发人员的工作量和工作难度,将数据上报功能交由业务端独立开发设置,进一步提高了任务调度***的可移植性。
值得注意的是,上述任务调度***的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
实施例三
图4是本发明实施例三提供的一种任务调度方法的流程图,本实施例可适用于对调度任务的任务逻辑进行调度和执行情况,该方法可配置于上述任一实施例提供的任务调度***中,该***可采用软件和/或硬件的方式实现,该***可以配置于服务器中。具体实施步骤包括:
S310、当检测到预设触发逻辑被业务端调用时,将接收到的业务端发送的调度任务的任务信息添加到数据库中。
在本实施例中,预设触发逻辑用于触发调度任务的任务信息的添加操作。
在一个实施例中,可选的,为预设任务触发逻辑设置埋点单元,通过埋点单元检测预设任务触发逻辑是否被调用。
S320、将读取到的数据库中的调度任务的任务信息发送给任务处理单元,以使任务处理单元基于任务处理逻辑执行任务处理操作,并将生成的任务处理数据进行输出。
在一个实施例中,可选的,将读取到的数据库中的调度任务的任务信息发送给任务处理单元,包括:通过单线程执行器服务,基于预设时间间隔读取数据库中的调度任务的任务信息,将调度任务的任务信息封装为可运行对象后提交给多线程执行器服务;通过多线程执行器服务,基于数据库的排他机制将可运行对象发送给任务处理单元;其中,数据库的排他机制用于控制读取到调度任务的任务信息的多个任务调度模块中的唯一多线程执行器服务执行可运行对象的发送操作。
在一个实施例中,可选的,该方法还包括:在读取到数据库中的调度任务的任务信息之后,将调度任务的任务信息与任务调度模块中注册的任务处理单元中的任务信息进行匹配,将匹配成功的调度任务的任务信息作为可封装为可运行对象的任务信息。
在一个实施例中,可选的,该方法还包括:在检测到任务子***启动时,获取任务调度模块上的任务接口中的调度任务的任务信息以及任务调度接口中封装有调度任务的任务处理逻辑的实例bean类,并基于任务信息和bean类将调度任务注册在任务处理单元中。
在一个实施例中,可选的,该方法还包括:将生成的任务处理数据发送给统计分析模块,以使统计分析模块对接收到的各任务调度模块发送的任务处理数据进行异步统计分析,将生成的统计分析结果进行输出。
在一个实施例中,可选的,任务处理逻辑包含调用数据上报逻辑的调用操作,相应的,将生成的任务处理数据发送给统计分析模块,包括:在任务处理单元执行任务处理操作的过程中,当检测到数据上报逻辑被任务处理逻辑调用时,将生成的与数据上报逻辑对应的任务处理数据发送给统计分析模块;其中,数据上报逻辑用于触发统计分析模块对任务处理单元发送的任务处理数据执行接收操作。
本实施例的技术方案,通过向业务端提供预设任务触发调度逻辑,在检测到业务端调用该预设任务触发调度逻辑时添加新的调度任务,解决了业务端在开发调度任务时需要在业务端和调度中心***端分别执行代码开发和触发配置的问题,降低了开发人员的工作量和开发难度。进一步的,本发明实施例通过基于数据库完成调度任务的调度工作,使得业务代码和运行配置被集中管理,解决了分布式任务调度***中调度中心***外部依赖因素多的问题,提高了任务调度***的可移植性。
实施例四
图5是本发明实施例四提供的一种电子设备的结构示意图,本发明实施例为本发明上述实施例的任务调度方法的实现提供服务,可配置上述实施例中的任务调度***。图5示出了适于用来实现本发明实施方式的示例性设备12的框图。图5显示的设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,***存储器28,连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、***总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MAC)总线、增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该设备12交互的设备通信,和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图5所示,网络适配器20通过总线18与设备12的其它模块通信。应当明白,尽管图中未示出,可以结合设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在***存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的任务调度方法。
通过上述电子设备,解决了业务端在开发调度任务时需要在业务端和调度中心***端分别执行的问题,降低了开发人员的工作量和开发难度,同时也解决了分布式任务调度***中调度中心***外部依赖因素多的问题,提高了任务调度***的可移植性。
实施例五
本发明实施例五还提供了一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种任务调度方法,该方法包括:
当检测到预设触发逻辑被业务端调用时,将接收到的业务端发送的调度任务的任务信息添加到数据库中;其中,预设触发逻辑用于触发调度任务的任务信息的添加操作;
将读取到的数据库中的调度任务的任务信息发送给任务处理单元,以使任务处理单元基于任务处理逻辑执行任务处理操作,并将生成的任务处理数据进行输出。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本发明任意实施例所提供的任务调度方法中的相关操作。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种任务调度***,其特征在于,包括:数据库和至少一个任务子***,各所述任务子***部署于集群服务器中,各所述任务子***分别包括任务调度模块;
其中,在所述任务调度模块中注册有至少一种调度任务的任务处理单元,在所述任务处理单元中注册有对应调度任务的任务处理逻辑;
所述任务调度模块,用于当检测到预设触发逻辑被业务端调用时,将接收到的所述业务端发送的调度任务的任务信息添加到数据库中;以及,将读取到的所述数据库中的调度任务的任务信息发送给任务处理单元,以使所述任务处理单元基于所述任务处理逻辑执行任务处理操作,并将生成的任务处理数据进行输出;其中,所述预设触发逻辑用于触发调度任务的任务信息的添加操作。
2.根据权利要求1所述的***,其特征在于,所述任务调度模块,具体用于:
通过单线程执行器服务,基于预设时间间隔读取所述数据库中的调度任务的任务信息,将调度任务的任务信息封装为可运行对象后提交给多线程执行器服务;
通过多线程执行器服务,基于数据库的排他机制将所述可运行对象发送给任务处理单元;其中,所述数据库的排他机制用于控制读取到所述调度任务的任务信息的多个任务调度模块中的唯一多线程执行器服务执行可运行对象的发送操作。
3.根据权利要求2所述的***,其特征在于,所述任务调度模块,还用于:
在读取到数据库中的调度任务的任务信息之后,将所述调度任务的任务信息与所述任务调度模块中注册的任务处理单元中的任务信息进行匹配,将匹配成功的调度任务的任务信息作为可封装为可运行对象的任务信息。
4.根据权利要求1所述的***,其特征在于,所述任务调度模块,还用于:
在检测到任务子***启动时,获取所述任务调度模块上的任务接口中的调度任务的任务信息以及任务调度接口中封装有调度任务的任务处理逻辑的实例bean类,并基于所述任务信息和所述bean类将调度任务注册在任务处理单元中。
5.根据权利要求4所述的***,其特征在于,所述任务子***还包括统计分析模块,相应的,所述任务调度模块还用于:将所述任务处理数据发送给统计分析模块,所述统计分析模块,用于对接收到的各所述任务调度模块发送的任务处理数据进行异步统计分析,将生成的统计分析结果进行输出。
6.根据权利要求5所述的***,其特征在于,所述任务处理逻辑包含调用数据上报逻辑的调用操作,相应的,所述任务调度模块,具体用于:
在所述任务处理单元执行任务处理操作的过程中,当检测到所述数据上报逻辑被所述任务处理逻辑调用时,将生成的与所述数据上报逻辑对应的任务处理数据发送给统计分析模块;其中,所述数据上报逻辑用于触发统计分析模块对任务处理单元发送的任务处理数据执行接收操作。
7.根据权利要求5所述的***,其特征在于,所述bean类还封装有调度任务的数据统计逻辑,相应的,所述统计分析模块,还用于:
基于所述bean类,将所述调度任务的数据统计逻辑注册在统计分析模块中,以使所述统计分析模块基于所述数据统计逻辑,对接收到的任务处理数据进行统计分析处理,并将生成的统计分析结果进行输出。
8.根据权利要求7所述的***,其特征在于,所述统计分析结果包括任务总览数据和/或校验成功信息,相应的,所述统计分析模块,具体用于:
当所述数据统计逻辑包括基于时间窗口的统计逻辑时,基于获取到的与所述时间窗口对应的任务处理数据,生成基于时间窗口维度的任务总览数据,并将所述任务总览数据进行输出;
和/或,
当所述数据统计逻辑包括基于任务维度的统计逻辑时,获取与调度任务对应的任务处理数据中的处理状态数据,并将所述处理状态数据与所述调度任务对应的状态校验标准进行匹配,如果匹配成功,则生成所述调度任务的校验成功信息,并将所述校验成功信息进行输出。
9.根据权利要求4所述的***,其特征在于,所述任务子***是基于springboot-starter机制构建的。
10.一种任务调度方法,其特征在于,应用于任务调度***中,所述方法包括:
当检测到预设触发逻辑被业务端调用时,将接收到的所述业务端发送的调度任务的任务信息添加到数据库中;其中,所述预设触发逻辑用于触发调度任务的任务信息的添加操作;
将读取到的所述数据库中的调度任务的任务信息发送给任务处理单元,以使所述任务处理单元基于所述任务处理逻辑执行任务处理操作,并将生成的任务处理数据进行输出。
11.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求10所述的任务调度方法。
12.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求10所述的任务调度方法。
CN202011198034.8A 2020-10-30 2020-10-30 一种任务调度***、方法、设备及存储介质 Pending CN113760491A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011198034.8A CN113760491A (zh) 2020-10-30 2020-10-30 一种任务调度***、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011198034.8A CN113760491A (zh) 2020-10-30 2020-10-30 一种任务调度***、方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113760491A true CN113760491A (zh) 2021-12-07

Family

ID=78785934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011198034.8A Pending CN113760491A (zh) 2020-10-30 2020-10-30 一种任务调度***、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113760491A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292141A (zh) * 2022-09-29 2022-11-04 深圳联友科技有限公司 基于滑动时间窗口的调度异常预警方法、监控服务器
CN117472530A (zh) * 2023-10-25 2024-01-30 上海宽睿信息科技有限责任公司 一种基于集中管理的数据智能调度方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292141A (zh) * 2022-09-29 2022-11-04 深圳联友科技有限公司 基于滑动时间窗口的调度异常预警方法、监控服务器
CN115292141B (zh) * 2022-09-29 2023-02-03 深圳联友科技有限公司 基于滑动时间窗口的调度异常预警方法、监控服务器
CN117472530A (zh) * 2023-10-25 2024-01-30 上海宽睿信息科技有限责任公司 一种基于集中管理的数据智能调度方法及***
CN117472530B (zh) * 2023-10-25 2024-04-05 上海宽睿信息科技有限责任公司 一种基于集中管理的数据智能调度方法及***

Similar Documents

Publication Publication Date Title
US20190303779A1 (en) Digital worker management system
US11573965B2 (en) Data partitioning and parallelism in a distributed event processing system
US10911447B2 (en) Application error fingerprinting
US8595564B2 (en) Artifact-based software failure detection
CN108595316B (zh) 分布式应用的生命周期管理方法、管理器、设备和介质
US8510603B2 (en) Systems and methods providing an exception buffer to facilitate processing of event handler errors
CN107016480B (zh) 任务调度方法、装置及***
JP2018509709A (ja) 知識集約型データ処理システム
EP4006731A1 (en) Method, apparatus, device, storage medium and computer program product for testing code
CN101876943A (zh) 识别大型机环境中多个相关应用之间的关系的***和方法
US11080125B1 (en) Identifying and clustering call stacks across multiple memory dumps with out-of-memory errors
CN113760491A (zh) 一种任务调度***、方法、设备及存储介质
CN113127050A (zh) 一种应用资源打包过程监控方法、装置、设备和介质
US8539512B2 (en) Transactional environments for event and data binding handlers
CN110990179B (zh) 一种任务处理方法、装置及设备
CN109739724B (zh) 数据监控方法、***、电子设备和存储介质
CN115499493A (zh) 异步事务处理方法、装置、存储介质及计算机设备
CN110764745B (zh) 变量的传输和收集方法、装置及计算机可读存储介质
CN114579405A (zh) 数据处理方法、数据处理装置、电子设备和存储介质
CN110377401B (zh) 基于idea的事务请求处理方法、装置、服务器和存储介质
US10303513B2 (en) Durable program execution
CN112434013A (zh) 数据表迁移方法、装置、电子设备及存储介质
US10102109B2 (en) Exception resolution in a software development session
CN111538491A (zh) 数据事件处理方法、装置、设备和存储介质
CN116661758B (zh) 一种优化日志框架配置的方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination