CN111158877A - 大数据平台的事件管理方法、装置及计算机可读存储介质 - Google Patents
大数据平台的事件管理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111158877A CN111158877A CN201911384390.6A CN201911384390A CN111158877A CN 111158877 A CN111158877 A CN 111158877A CN 201911384390 A CN201911384390 A CN 201911384390A CN 111158877 A CN111158877 A CN 111158877A
- Authority
- CN
- China
- Prior art keywords
- event
- execution
- sub
- events
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种大数据平台的事件管理方法、装置及计算机可读存储介质。其中,方法包括利用客户端输入的事件执行参数填充原始事件模块生成待处理事件;根据各子事件的事件执行参数和执行结果将其自动分发至相应事件执行容器中;事件执行参数包括各子事件的执行序列号、事件类型和执行方式,事件类型包括循环执行事件、同步执行事件、异步执行事件,执行方式为串行执行和并行执行;事件执行容器执行各子事件且反馈各子事件的执行结果;事件执行容器的类型与相应子事件的事件类型和执行方式相匹配。本申请实现了大数据平台复杂事件的自动化分发,解决了相关技术中复杂事件之间的依赖关系和循环执行问题,满足用户对大数据平台事件管理的现实需求。
Description
技术领域
本申请涉及大数据技术领域,特别是涉及一种大数据平台的事件管理方法、装置及计算机可读存储介质。
背景技术
随着大数据、云计算的快速发展,大数据平台作为大数据分析工具被广泛应用于各行各业中。
可以理解的是,大数据平台上实时运行着多种任务和事件,例如数据备份任务、邮件提醒事件等,任务和事件的执行需要大数据平台定时去触发。相关技术中,通常采用crontab定时调度任务或执行事件,但是若各任务与各任务之间具有依赖关系,或者是事件间需要循环执行,比如递归执行某个事件的子事件,异步执行子事件等。通过crontab定时执行很难实现。
鉴于此,如何实现大数据平台复杂事件的分发,是本领域技术人员需要解决的技术问题。
发明内容
本申请提供了一种大数据平台的事件管理方法、装置及计算机可读存储介质,实现了大数据平台复杂事件的自动化分发。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种大数据平台的事件管理方法,包括:
根据预先构建的事件模板和客户端输入的事件执行参数生成待处理事件;所述事件执行参数包括各子事件的执行序列号、事件类型和执行方式,所述事件类型包括循环执行事件、同步执行事件、异步执行事件,所述执行方式为串行执行和并行执行;
根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中;所述事件执行容器用于执行各子事件且反馈各子事件的执行结果;所述事件执行容器的类型与相应子事件的事件类型和执行方式相匹配。
可选的,所述根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中之后,还包括:
根据各事件执行容器主动反馈的各子事件执行结果实时监控并更新所述待处理事件的各子事件的执行状态;所述执行状态为以下任意一项:
未发布、发布中、已发布、执行成功和执行失败。
可选的,所述事件执行容器为消息队列、rpc同步事件和rpc异步事件;所述执行结果的获取过程为:
接收所述rpc同步事件主动反馈各子事件的执行结果;
通过循环回调所述rpc异步事件以得到各子事件的执行结果;
消费所述消息队列的事件完成消息以得到各子事件的执行结果。
可选的,所述根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中之后,还包括:
将所述待处理事件对应的事件模板信息和各子事件的执行过程实时发送给显示器,以在可视化界面中显示各子事件的执行状态和依赖关系。
可选的,所述根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中之后,还包括:
将所述待处理事件对应的事件模板信息、各子事件的执行过程、执行结果和执行状态实时在数据库的相应文件中进行更新。
可选的,所述将所述待处理事件对应的事件模板信息和各子事件的执行过程实时发送给显示器之后,还包括:
若当前子事件执行结果为执行失败,则获取所述事件执行容器反馈信息中携带的执行失败原因并将所述执行失败原因进行可视化显示。
可选的,所述待处理事件包括多个任务组,每个任务组包含多个子事件;所述根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中包括:
判断当前任务组是否存在未发布子事件;
若当前任务组中不存在未发布子事件,且所述待处理事件的各任务组均不存在未发布事件,则更新所述待处理事件的状态为已完成;
若当前任务组中存在未发布子事件,基于所述执行序列号确定排在所述未发布子事件的执行序列号之前的各前序子事件;若各前序子事件的执行状态为已发布,则启用新发布线程将所述未发布子事件发送至相应的事件执行容器中。
本发明实施例另一方面提供了一种大数据平台的事件管理装置,包括:
实体事件生成模块,用于根据预先构建的事件模板和客户端输入的事件执行参数生成待处理事件;所述事件执行参数包括各子事件的执行序列号、各子事件的事件类型和执行方式,所述事件包括循环执行事件、同步执行事件、异步执行事件,所述执行方式为串行执行和并行执行;
事件分发模块,用于根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中;所述事件执行容器用于执行各子事件且反馈各子事件的执行结果;所述事件执行容器的类型与相应子事件的事件类型和执行方式相匹配。
本发明实施例还提供了一种大数据平台的事件管理装置,包括事件管理器,所述事件管理器用于执行存储器中存储的计算机程序时实现如前任一项所述大数据平台的事件管理方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有大数据平台的事件管理程序,所述大数据平台的事件管理程序被处理器执行时实现如前任一项所述大数据平台的事件管理方法的步骤。
本申请提供的技术方案的优点在于,预先构建定义子事件的执行顺序、事件类型和执行方式的事件模板,利用用户通过客户端传来的事件执行参数填充原始事件模板后生成待处理事件,这样待处理事件的各子事件的之间的依赖关系和执行顺序便可清楚明白,根据执行序列号、各子事件的事件类型、执行方式和前序子事件的执行结果将待处理事件的各子事件自动化分发至相匹配的事件执行容器中,支持事件里的子事件串行执行、并行执行、异步执行,循环容器执行等复杂事件执行,解决了相关技术中复杂事件之间的依赖关系和循环执行问题,满足用户对大数据平台事件管理的现实需求。
此外,本发明实施例还针对大数据平台的事件管理方法提供了相应的实现装置及计算机可读存储介质,进一步使得所述方法更具有实用性,所述装置及计算机可读存储介质具有相应的优点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种大数据平台的事件管理方法的流程示意图;
图2为本发明实施例提供的另一种大数据平台的事件管理方法的流程示意图;
图3为本发明实施例提供的一种事件发布和执行事件任务流程示意图;
图4为本发明实施例提供的再一种大数据平台的事件管理方法的流程示意图;
图5为本发明实施例提供的大数据平台的事件管理装置的一种具体实施方式结构图;
图6为本发明实施例提供的大数据平台的事件管理装置的另一种具体实施方式结构图;
图7为本发明实施例提供的大数据平台的事件管理装置的再一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。
首先参见图1,图1为本发明实施例提供的一种大数据平台的事件管理方法的流程示意图,本发明实施例可包括以下内容:
S101:根据预先构建的事件模板和客户端输入的事件执行参数生成待处理事件。
本发明实施例中的事件模板为预先构建好且可存储在大数据平台的数据库中,例如关系型数据库RMDB。事件模板中包含事件发布过程中涉及的多个参数,一个待发布事件必然由多个子事件构成,在待发布事件发布过程中,需要将其内包含的多个子事件均按照相应规则进行发布,所以事件模板中的多个参数可为各子事件的类型参数、各子事件彼此间的关系参数和分发规则参数,可将这些涉及到的所有参数称为事件执行参数。事件执行参数可包括各子事件的执行序列号、事件类型和执行方式。执行序列号用于表征各子事件的发布顺序,发布顺序可为顺序也可为逆序,这均不影响本申请的实现,例如A子事件的执行序列号为5,B子事件的执行序列号为6且事件执行顺序为顺序,那么A事件为B事件的前序事件,也即先执行A事件,在执行B事件。事件类型包括循环执行事件、同步执行事件、异步执行事件,循环执行事件还需要将循环结束条件或者是循环退出条件标明;执行方式为串行执行和并行执行,只有当事件类型为异步执行事件的子事件才支持并行执行。
在本申请中,客户端通过大数据平台发布事件时,会首先向大数据平台申请事件模板调用请求,在得到大数据平台反馈的事件模板后,根据事件模板的内容将待发布事件相应的事件执行参数传输给大数据平台,大数据平台根据事件模板和事件执行参数为客户端的待发布事件生成实体的待处理事件,例如可将事件执行参数填充至事件模板的相应位置后生成的即为待处理事件。
S102:根据待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中。
可以理解的是,待处理事件中已知明确了各子事件的执行顺序、事件类型和执行方法,可根据各子事件的执行顺序和执行结果将其依次发送至事件执行容器,执行结果可通过从事件执行容器反馈的事件执行结果中获取,只有在当前子事件的所有前序子事件均已发布完成后才发布当前子事件。所谓前序子事件即是指若待处理事件按照顺序执行,执行序列号排在当前子事件的执行序列号之前的所有子事件均为前序子事件,例如当前子事件的执行序列号为6,那么执行序列号为1-5的子事件均为当前子事件的前序子事件。在为各子事件匹配相应的事件执行容器时,事件执行容器例如为消息队列、rpc(RemoteProcedure Call Protocol,远程过程调用协议)同步事件、rpc异步事件和rest(Representational State Transfer,表述性状态传递)事件,可根据子事件的事件类型和执行方式进行确定,例如串行执行的子事件可分配至消息队列中,若子事件为异步事件,则可将其分配至rpc异步事件的接口处,若子事件为同步事件,则可将其分配至rpc同步事件的接口处。
其中,事件执行容器用于执行各子事件且反馈各子事件的执行结果,然后将各子事件发配至相应节点node进行处理,例如大数据分析节点、特征提取节点、机器学习节点,如图2所示。事件执行容器可主动反馈子事件执行结果,本发明实施例的执行主语例如事件管理器(图2中的Event Manager)也可通过主动方式从事件执行容器中获取,若事件执行容器为消息队列、rpc同步事件和rpc异步事件,则事件管理器获取执行结果过程可为:
接收rpc同步事件主动反馈各子事件的执行结果,也即rpc同步事件通过rpc同步接口直接向事件管理器反馈结果。通过循环回调rpc异步事件以得到各子事件的执行结果;消费消息队列的事件完成消息以得到各子事件的执行结果,如图2所示。
在本发明实施例提供的技术方案中,预先构建定义子事件的执行顺序、事件类型和执行方式的事件模板,利用用户通过客户端传来的事件执行参数填充原始事件模板后生成待处理事件,这样待处理事件的各子事件的之间的依赖关系和执行顺序便可清楚明白,根据执行序列号、各子事件的事件类型、执行方式和前序子事件的执行结果将待处理事件的各子事件自动化分发至相匹配的事件执行容器中,支持事件里的子事件串行执行、并行执行、异步执行,循环容器执行等复杂事件执行,解决了相关技术中复杂事件之间的依赖关系和循环执行问题,满足用户对大数据平台事件管理的现实需求。
在上述实施例中,对于如何执行步骤子事件的发布过程及执行事件任务并不做限定,本发明实施例中给出一种具体的子事件发布及执行事件任务的流程,若待处理事件包括多个任务组,且每个任务组包含多个子事件,如图3所示,可包括如下步骤:
判断当前任务组是否存在未发布子事件。
若当前任务组中不存在未发布子事件,进一步判断待处理事件的其他任务组是否存在未发布事件。
若待处理事件的所有任务组均不存在未发布事件,则待处理事件已完成发布,可更新待处理事件的状态为已完成。
若当前任务组中存在未发布子事件,则基于执行序列号确定排在未发布子事件的执行序列号之前的各前序子事件,并判断各前序子事件是否均已发布完成。
若各前序子事件的执行状态为已发布,则启用新的一个发布线程将未发布子事件发送至相应的事件执行容器中。
需要说明的是,在待处理事件发布过程中,若其中一个子事件发布失败,可停止后续子事件的发布,同时进行报错,以使用户及时进行维护。
作为一种可选的实施方式,为了更加方便管理事件,请参阅图4,在S102之后,还可包括:
S103:根据各事件执行容器主动反馈的各子事件执行结果实时监控并更新待处理事件的各子事件的执行状态。
执行状态可为以下任意一项:未发布、发布中、已发布、执行成功和执行失败。
其中,未发布是指子事件还在事件模板中等待发布,发布中是指子事件正在组装参数或正在发布过程中,执行成功和执行失败为子事件成功发布后被事件执行容器执行后的结果。
本发明实施例通过事件执行容器的反馈结果和事件模板中的子事件存在情况可实现对大数据管理平台的事件监控,更好地管理事件。
为了使用户实时了解事件执行状态,明确待处理事件中各子事件的依赖关系,在执行结果为失败时及时定位执行失败的子事件,基于上述实施例,在S103之后,还可包括:
S104:将待处理事件对应的事件模板信息和各子事件的执行过程实时发送给显示器,以在可视化界面中显示各子事件的执行状态和依赖关系。
在本发明实施例中,显示器显示的数据可来源于数据库,也即本发明实施例的执行主语可从数据库中调取相应的数据发送给显示器。相应的,待处理事件从生成到各子事件的发布状态均可记录在数据库中,数据库中可预先建立以待处理事件为索引的文件,该文件记录待处理事件在大数据平台的所有操作。当待处理事件的信息发生变化时,可采用增量更新方式将待处理事件对应的事件模板信息、各子事件的执行过程、执行结果和执行状态实时在数据库的相应文件中进行更新。所谓增量更新方式即只将当前发生变化的数据进行替换或增加或删除,其他未发生变化的数据不作任何操作,提高数据更新效率。
此外,在本发明实施例的一些实施方式中,若当前子事件执行结果为执行失败,则获取事件执行容器反馈信息中携带的执行失败原因并将执行失败原因进行可视化显示,将执行失败的原因进行反馈,以便用户更快定位故障,提高维护效率,有利于提高大数据管理平台的稳定性和可靠性。
需要说明的是,本申请中各步骤之间没有严格的先后执行顺序,只要符合逻辑上的顺序,则这些步骤可以同时执行,也可按照某种预设顺序执行,图1和图4只是一种示意方式,并不代表只能是这样的执行顺序。
本发明实施例还针对大数据平台的事件管理方法提供了相应的装置,进一步使得所述方法更具有实用性。其中,装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的大数据平台的事件管理装置进行介绍,下文描述的大数据平台的事件管理装置与上文描述的大数据平台的事件管理方法可相互对应参照。
基于功能模块的角度,参见图5,图5为本发明实施例提供的大数据平台的事件管理装置在一种具体实施方式下的结构图,该装置可包括:
实体事件生成模块501,用于根据预先构建的事件模板和客户端输入的事件执行参数生成待处理事件;事件执行参数包括各子事件的执行序列号、各子事件的事件类型和执行方式,事件包括循环执行事件、同步执行事件、异步执行事件,执行方式为串行执行和并行执行。
事件分发模块502,用于根据待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中;事件执行容器用于执行各子事件且反馈各子事件的执行结果;事件执行容器的类型与相应子事件的事件类型和执行方式相匹配。
可选的,在本实施例的一些实施方式中,请参阅图6,所述装置还可以包括监控模块503,所述监控模块503可具体用于根据各事件执行容器主动反馈的各子事件执行结果实时监控并更新待处理事件的各子事件的执行状态;执行状态为以下任意一项:未发布、发布中、已发布、执行成功和执行失败。
在本实施例的另一些实施方式中,所述装置例如还可以包括可视化显示模块504,所述可视化显示模块可用于将待处理事件对应的事件模板信息和各子事件的执行过程实时发送给显示器,以在可视化界面中显示各子事件的执行状态和依赖关系。
在本发明实施例的一些具体实施方式中,所述可视化显示模块504还可用于若当前子事件执行结果为执行失败,则获取事件执行容器反馈信息中携带的执行失败原因并将执行失败原因进行可视化显示。
作为本发明实施例的一种可选实施方式,所述装置还可包括数据更新模块505,所述数据更新模块505可用于将待处理事件对应的事件模板信息、各子事件的执行过程、执行结果和执行状态实时在数据库的相应文件中进行更新。
此外,作为另外一种可选的实施方式,所述事件分发模块502可包括:
判断子模块,用于判断当前任务组是否存在未发布子事件;待处理事件包括多个任务组,每个任务组包含多个子事件。
状态更新子模块,用于若判断当前任务组中不存在未发布子事件,且待处理事件的各任务组均不存在未发布事件,则更新待处理事件的状态为已完成;
前序子事件执行状态检测子模块,用于若判断当前任务组中存在未发布子事件,基于执行序列号确定排在未发布子事件的执行序列号之前的各前序子事件;
子事件发布子模块,用于若各前序子事件的执行状态为已发布,则启用新发布线程将未发布子事件发送至相应的事件执行容器中。
本发明实施例所述大数据平台的事件管理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例实现了大数据平台复杂事件的自动化分发,解决了相关技术中复杂事件之间的依赖关系和循环执行问题,满足用户对大数据平台事件管理的现实需求。
上文中提到的大数据平台的事件管理装置是从功能模块的角度描述,进一步的,本申请还提供一种大数据平台的事件管理装置,是从硬件角度描述。图7为本申请实施例提供的另一种大数据平台的事件管理装置的结构图。如图7所示,该装置包括存储器70,用于存储计算机程序;
事件管理器71,用于执行计算机程序时实现如上述实施例提到的大数据平台的事件管理方法的步骤。
其中,事件管理器71可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。事件管理器71可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable LogicArray,可编程逻辑阵列)中的至少一种硬件形式来实现。事件管理器71也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,事件管理器71可以在集成有GPU(GraphicsProcessing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,事件管理器71还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器70可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器70还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器70至少用于存储以下计算机程序701,其中,该计算机程序被事件管理器71加载并执行之后,能够实现前述任一实施例公开的大数据平台的事件管理方法的相关步骤。另外,存储器70所存储的资源还可以包括操作***702和数据703等,存储方式可以是短暂存储或者永久存储。其中,操作***702可以包括Windows、Unix、Linux等。数据703可以包括但不限于测试结果对应的数据等。
在一些实施例中,大数据平台的事件管理装置还可包括有显示屏72、输入输出接口73、通信接口74、电源75以及通信总线76,例如还可包括传感器77。
本领域技术人员可以理解,图7中示出的结构并不构成对大数据平台的事件管理装置的限定,可以包括比图示更多或更少的组件,例如传感器77。
本发明实施例所述大数据平台的事件管理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例实现了大数据平台复杂事件的自动化分发,解决了相关技术中复杂事件之间的依赖关系和循环执行问题,满足用户对大数据平台事件管理的现实需求。
可以理解的是,如果上述实施例中的大数据平台的事件管理方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此,本发明实施例还提供了一种计算机可读存储介质,存储有大数据平台的事件管理程序,所述大数据平台的事件管理程序被处理器执行时如上任意一实施例所述大数据平台的事件管理方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例实现了大数据平台复杂事件的自动化分发,解决了相关技术中复杂事件之间的依赖关系和循环执行问题,满足用户对大数据平台事件管理的现实需求。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种大数据平台的事件管理方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种大数据平台的事件管理方法,其特征在于,包括:
根据预先构建的事件模板和客户端输入的事件执行参数生成待处理事件;所述事件执行参数包括各子事件的执行序列号、事件类型和执行方式,所述事件类型包括循环执行事件、同步执行事件、异步执行事件,所述执行方式为串行执行和并行执行;
根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中;所述事件执行容器用于执行各子事件且反馈各子事件的执行结果;所述事件执行容器的类型与相应子事件的事件类型和执行方式相匹配。
2.根据权利要求1所述的大数据平台的事件管理方法,其特征在于,所述根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中之后,还包括:
根据各事件执行容器主动反馈的各子事件执行结果实时监控并更新所述待处理事件的各子事件的执行状态;所述执行状态为以下任意一项:
未发布、发布中、已发布、执行成功和执行失败。
3.根据权利要求1所述的大数据平台的事件管理方法,其特征在于,所述事件执行容器为消息队列、rpc同步事件和rpc异步事件;所述执行结果的获取过程为:
接收所述rpc同步事件主动反馈各子事件的执行结果;
通过循环回调所述rpc异步事件以得到各子事件的执行结果;
消费所述消息队列的事件完成消息以得到各子事件的执行结果。
4.根据权利要求1至3任意一项所述的大数据平台的事件管理方法,其特征在于,所述根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中之后,还包括:
将所述待处理事件对应的事件模板信息和各子事件的执行过程实时发送给显示器,以在可视化界面中显示各子事件的执行状态和依赖关系。
5.根据权利要求4所述的大数据平台的事件管理方法,其特征在于,所述根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中之后,还包括:
将所述待处理事件对应的事件模板信息、各子事件的执行过程、执行结果和执行状态实时在数据库的相应文件中进行更新。
6.根据权利要求5所述的大数据平台的事件管理方法,其特征在于,所述将所述待处理事件对应的事件模板信息和各子事件的执行过程实时发送给显示器之后,还包括:
若当前子事件执行结果为执行失败,则获取所述事件执行容器反馈信息中携带的执行失败原因,并将所述执行失败原因进行可视化显示。
7.根据权利要求1至3任意一项所述的大数据平台的事件管理方法,其特征在于,所述待处理事件包括多个任务组,每个任务组包含多个子事件;所述根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中包括:
判断当前任务组是否存在未发布子事件;
若所述当前任务组中不存在所述未发布子事件,且所述待处理事件的各任务组均不存在未发布事件,则更新所述待处理事件的状态为已完成;
若所述当前任务组中存在所述未发布子事件,基于所述执行序列号确定排在所述未发布子事件的执行序列号之前的各前序子事件;若各前序子事件的执行状态为已发布,则启用新发布线程将所述未发布子事件发送至相应的事件执行容器中。
8.一种大数据平台的事件管理装置,其特征在于,包括:
实体事件生成模块,用于根据预先构建的事件模板和客户端输入的事件执行参数生成待处理事件;所述事件执行参数包括各子事件的执行序列号、各子事件的事件类型和执行方式,所述事件包括循环执行事件、同步执行事件、异步执行事件,所述执行方式为串行执行和并行执行;
事件分发模块,用于根据所述待处理事件中各子事件的事件执行参数和执行结果将各子事件自动分发至相应事件执行容器中;所述事件执行容器用于执行各子事件且反馈各子事件的执行结果;所述事件执行容器的类型与相应子事件的事件类型和执行方式相匹配。
9.一种大数据平台的事件管理装置,其特征在于,包括事件管理器,所述事件管理器用于执行存储器中存储的计算机程序时实现如权利要求1至7任一项所述大数据平台的事件管理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有大数据平台的事件管理程序,所述大数据平台的事件管理程序被处理器执行时实现如权利要求1至7任一项所述大数据平台的事件管理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911384390.6A CN111158877A (zh) | 2019-12-28 | 2019-12-28 | 大数据平台的事件管理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911384390.6A CN111158877A (zh) | 2019-12-28 | 2019-12-28 | 大数据平台的事件管理方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111158877A true CN111158877A (zh) | 2020-05-15 |
Family
ID=70558839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911384390.6A Pending CN111158877A (zh) | 2019-12-28 | 2019-12-28 | 大数据平台的事件管理方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111158877A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112486478A (zh) * | 2020-11-26 | 2021-03-12 | 上海悦易网络信息技术有限公司 | 一种基于领域驱动的事件处理方法及设备 |
CN112883155A (zh) * | 2021-01-29 | 2021-06-01 | 苏州达家迎信息技术有限公司 | 一种事件处理方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1700652A (zh) * | 2005-06-01 | 2005-11-23 | 合肥工业大学 | 一种基于协同模板的协同设计方法 |
CN101179622A (zh) * | 2006-11-07 | 2008-05-14 | 中兴通讯股份有限公司 | 通讯***中一种多命令的处理设备及其处理方法 |
CN104486440A (zh) * | 2014-12-25 | 2015-04-01 | 浪潮电子信息产业股份有限公司 | 一种基于消息总线的云计算管理软件交互方法 |
CN105045602A (zh) * | 2015-08-24 | 2015-11-11 | 北京金山安全软件有限公司 | 一种构建Hadoop应用开发框架的方法、装置及电子装置 |
CN108287756A (zh) * | 2018-01-25 | 2018-07-17 | 联动优势科技有限公司 | 一种处理任务的方法及装置 |
-
2019
- 2019-12-28 CN CN201911384390.6A patent/CN111158877A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1700652A (zh) * | 2005-06-01 | 2005-11-23 | 合肥工业大学 | 一种基于协同模板的协同设计方法 |
CN101179622A (zh) * | 2006-11-07 | 2008-05-14 | 中兴通讯股份有限公司 | 通讯***中一种多命令的处理设备及其处理方法 |
CN104486440A (zh) * | 2014-12-25 | 2015-04-01 | 浪潮电子信息产业股份有限公司 | 一种基于消息总线的云计算管理软件交互方法 |
CN105045602A (zh) * | 2015-08-24 | 2015-11-11 | 北京金山安全软件有限公司 | 一种构建Hadoop应用开发框架的方法、装置及电子装置 |
CN108287756A (zh) * | 2018-01-25 | 2018-07-17 | 联动优势科技有限公司 | 一种处理任务的方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112486478A (zh) * | 2020-11-26 | 2021-03-12 | 上海悦易网络信息技术有限公司 | 一种基于领域驱动的事件处理方法及设备 |
CN112486478B (zh) * | 2020-11-26 | 2023-08-11 | 上海万物新生环保科技集团有限公司 | 一种基于领域驱动的事件处理方法及设备 |
CN112883155A (zh) * | 2021-01-29 | 2021-06-01 | 苏州达家迎信息技术有限公司 | 一种事件处理方法、装置、设备及存储介质 |
CN112883155B (zh) * | 2021-01-29 | 2022-10-11 | 苏州达家迎信息技术有限公司 | 一种事件处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111078368B (zh) | 云计算平台虚拟机的内存快照方法、装置及可读存储介质 | |
CN111125444A (zh) | 大数据任务调度管理方法、装置、设备及存储介质 | |
CN110611707B (zh) | 一种任务调度的方法及装置 | |
CN111158877A (zh) | 大数据平台的事件管理方法、装置及计算机可读存储介质 | |
CN116954873B (zh) | 异构计算***及其算力节点选择方法、装置、设备、介质 | |
CN106844055A (zh) | 一种任务的执行方法和装置 | |
CN111143039A (zh) | 一种虚拟机的调度方法、装置及计算机存储介质 | |
CN113127299A (zh) | 服务器运维方法、装置、***及计算机可读存储介质 | |
CN111737275A (zh) | 数据库更新事件处理方法、装置及计算机可读存储介质 | |
CN112596876A (zh) | 一种任务调度方法、装置及相关设备 | |
CN115185496A (zh) | 一种基于Flowable工作流引擎的业务编排方法 | |
CN106293911A (zh) | 分布式调度***、方法 | |
CN115392501A (zh) | 数据采集方法、装置、电子设备及存储介质 | |
CN111026794A (zh) | 一种基于数据源的数据管理方法、装置、设备及介质 | |
CN113535321A (zh) | 虚拟化容器管理方法、***和存储介质 | |
CN113342500B (zh) | 任务执行方法、装置、设备及存储介质 | |
CN111190805A (zh) | 深度学***台的训练日志可视化***、方法及设备 | |
CN109684051A (zh) | 一种混合式大数据任务异步提交的方法和*** | |
CN112269719B (zh) | 基于ai训练平台的文件操作队列控制方法、装置及介质 | |
CN108073450B (zh) | 一种任务调度方法、装置及*** | |
CN115718741A (zh) | 健康数据的自动清洗方法、装置、电子设备以及存储介质 | |
CN113722141A (zh) | 数据任务的延迟原因确定方法、装置、电子设备及介质 | |
CN112737846B (zh) | 远端设备配置方法、装置、***及计算机可读存储介质 | |
EP3214549A1 (en) | Information processing device, method, and program | |
CN111858234A (zh) | 一种任务执行方法、装置、设备、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |