CN109582476A - 数据处理方法、装置及*** - Google Patents

数据处理方法、装置及*** Download PDF

Info

Publication number
CN109582476A
CN109582476A CN201811441490.3A CN201811441490A CN109582476A CN 109582476 A CN109582476 A CN 109582476A CN 201811441490 A CN201811441490 A CN 201811441490A CN 109582476 A CN109582476 A CN 109582476A
Authority
CN
China
Prior art keywords
event
information
message
source file
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811441490.3A
Other languages
English (en)
Other versions
CN109582476B (zh
Inventor
黄承真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811441490.3A priority Critical patent/CN109582476B/zh
Publication of CN109582476A publication Critical patent/CN109582476A/zh
Application granted granted Critical
Publication of CN109582476B publication Critical patent/CN109582476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/542Event management; Broadcasting; Multicasting; Notifications
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书一个或多个实施例公开了一种数据处理方法、装置及***,用以实现数据处理的准实时性,从而提高数据处理效率、减轻***压力。所述方法包括:接收第一设备发送的事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;根据所述事件标准化信息对所述第一事件进行相应的处理。

Description

数据处理方法、装置及***
技术领域
本说明书涉及数据处理技术领域,尤其涉及一种数据处理方法、装置及***。
背景技术
流动性管理本质上是一种数据驱动的管理方法,例如,从纷繁复杂的业务数据、银行流水、金融市场数据等中计算分析出流动性风险状况,从而反应出金融机构的流动性水平以及风险状况。以金融业务为例,一般而言,一个完整的金融软件IT设施由超过几十个、甚至上千个***组成。如此多的***,就会产生非常多的异构化数据,如订单形象、交易信息、客户信息、账务信息等,而这些异构化数据正是流动性管理的数据来源,这就对流动性管理造成了极大的挑战。
传统的流动性管理决策***大多采用数据库同步的方式,即在T+N(N>=1)日将各个***T日的数据同步到数据仓库环境中进行分析,如图1所示。图1所示的流动性数据分析方法存在如下问题:首先,由于数据的异构性,流动性模型在分析决策前,需要对数据的ETL(Extract-Transform-Load)工作,成本较大;其次,由于数据同步是在T+N日获取的T日数据,因此数据的时效性比较差,只能用作事后分析使用,无法精细化管控前端业务;再次,批量数据的同步会对数据库造成不小的压力,在数据库资源紧张时,甚至可能影响到数据库在线的OLTP(On-Line Transaction Processing,联机事务处理过程)的能力。
发明内容
本说明书一个或多个实施例的目的是提供一种数据处理方法、装置及***,用以实现数据处理的准实时性,从而提高数据处理效率、减轻***压力。
为解决上述技术问题,本说明书一个或多个实施例是这样实现的:
一方面,本说明书一个或多个实施例提供一种数据处理方法,应用于数据处理***,包括:
接收第一设备发送的事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;
根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;
根据所述事件标准化信息对所述第一事件进行相应的处理。
在一个实施例中,所述根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息,包括:
根据所述事件发生消息获取所述第一事件的源文件;
从所述源文件中获取所述第一事件中的指定信息;
按照预设组合规则组合所述指定信息,得到所述第一事件的事件标准化信息。
在一个实施例中,所述事件标准化规则包括:
确定所述数据处理***所处理的各事件中均具有的、且经所述预设组合规则组合后具有相同结构的信息;将确定的所述信息作为事件的指定信息。
在一个实施例中,所述指定信息包括事件名称、事件码、事件状态、事件属性码、事件属性名称、事件属性值、事件属性值类型中的至少一项。
在一个实施例中,当所述事件发生消息包括所述源文件的标识信息时,所述根据所述事件发生消息获取所述第一事件的源文件,包括:
向所述第一设备发送用于获取所述源文件的、携带有所述标识信息的获取请求;
接收所述第一设备响应于所述获取请求发送的所述第一事件的源文件。
在一个实施例中,所述根据所述事件标准化信息对所述第一事件进行相应的处理,包括:
根据所述事件标准化信息,确定所述第一事件对应的第一事件处理模型;
确定所述第一事件处理模型对应的事件处理方式;
按照所述事件处理方式对所述第一事件进行相应的处理。
在一个实施例中,各所述事件处理模型包括模型码、模型名称、模型处理方式中的至少一项信息;
相应的,所述根据所述事件标准化信息,确定所述第一事件对应的第一事件处理模型,包括:
根据预设的事件标准化信息与事件处理模型之间的映射关系,确定各所述第一事件的事件标准化信息对应的所述第一事件处理模型。
另一方面,本说明书一个或多个实施例提供一种数据处理装置,应用于数据处理***,包括:
接收模块,用于接收第一设备发送的事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;
生成模块,用于根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;
处理模块,用于根据所述事件标准化信息对所述第一事件进行相应的处理。
在一个实施例中,所述生成模块包括:
第一获取单元,用于根据所述事件发生消息获取所述第一事件的源文件;
第二获取单元,用于从所述源文件中获取所述第一事件中的指定信息;
组合单元,用于按照预设组合规则组合所述指定信息,得到所述第一事件的事件标准化信息。
在一个实施例中,所述装置还包括:
确定模块,用于确定所述数据处理***所处理的各事件中均具有的、且经所述预设组合规则组合后具有相同结构的信息;将确定的所述信息作为事件的指定信息。
在一个实施例中,所述指定信息包括事件名称、事件码、事件状态、事件属性码、事件属性名称、事件属性值、事件属性值类型中的至少一项。
在一个实施例中,所述第一获取单元还用于:
当所述事件发生消息包括所述源文件的标识信息时,向所述第一设备发送用于获取所述源文件的、携带有所述标识信息的获取请求;
接收所述第一设备响应于所述获取请求发送的所述第一事件的源文件。
在一个实施例中,所述处理模块包括:
第一确定单元,用于根据所述事件标准化信息,确定所述第一事件对应的第一事件处理模型;
第二确定单元,用于确定所述第一事件处理模型对应的事件处理方式;
处理单元,用于按照所述事件处理方式对所述第一事件进行相应的处理。
在一个实施例中,各所述事件处理模型包括模型码、模型名称、模型处理方式中的至少一项信息;
所述第一确定单元还用于:
根据预设的事件标准化信息与事件处理模型之间的映射关系,确定各所述第一事件的事件标准化信息对应的所述第一事件处理模型。
再一方面,本说明书一个或多个实施例提供一种数据处理***,包括:
第一设备,用于向事件标准化平台发送事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;
所述事件标准化平台,用于接收所述第一设备发送的事件发生消息;根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;将所述事件标准化信息发送至事件处理模型平台;
所述事件处理模型平台,用于接收所述事件标准化平台发送的所述事件标准化信息;根据所述事件标准化信息对所述第一事件进行相应的处理。
再一方面,本说明书一个或多个实施例提供一种数据处理设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
事件标准化平台,用于接收第一设备发送的事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;将所述事件标准化信息发送至事件处理模型平台;
所述事件处理模型平台,用于接收所述事件标准化平台发送的所述事件标准化信息;根据所述事件标准化信息对所述第一事件进行相应的处理。
再一方面,本申请实施例提供一种存储介质,用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:
事件标准化平台,用于接收第一设备发送的事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;将所述事件标准化信息发送至事件处理模型平台;
所述事件处理模型平台,用于接收所述事件标准化平台发送的所述事件标准化信息;根据所述事件标准化信息对所述第一事件进行相应的处理。
采用本说明书一个或多个实施例的技术方案,通过接收第一设备发送的事件发生消息,并根据事件发生消息及预设的事件标准化规则生成第一事件的事件标准化信息,进而根据事件标准化信息对第一事件进行相应的处理。可见,该技术方案相较于传统的批量式数据处理方式而言,能够准实时性地处理数据,且无需将批量数据同步至数据处理***中,而是通过事件驱动的方式处理数据,因此大大减轻了数据处理***的压力,提高数据处理的效率,从而更好地支持前端业务的发展。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中的一种数据处理***的示意性框图;
图2是根据本说明书一实施例的一种数据处理***的示意性框图;
图3是根据本说明书一实施例的一种数据处理方法的示意性流程图;
图4是根据本说明书一实施例的一种数据处理装置的示意性框图;
图5是根据本说明书一实施例的一种数据处理设备的示意性框图。
具体实施方式
本说明书一个或多个实施例提供一种数据处理方法、装置及***,用以实现数据处理的准实时性,从而提高数据处理效率、减轻***压力。
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书一个或多个实施例保护的范围。
图2是根据本说明书一实施例的一种数据处理***的示意性框图。如图2所示,数据处理***包括第一设备210、事件标准化平台220和事件处理模型平台230;其中:
第一设备210,用于向事件标准化平台220发送事件发生消息,事件发生消息包括发生的第一事件的源文件和/或源文件的标识信息。
事件标准化平台210,用于接收第一设备210发送的事件发生消息;根据事件发生消息及预设的事件标准化规则,生成第一事件的事件标准化信息;将事件标准化信息发送至事件处理模型平台220。
事件处理模型平台220,用于接收事件标准化平台210发送的事件标准化信息;根据事件标准化信息对第一事件进行相应的处理。
以下各实施例所提供的数据处理方法均应用于图2所示的数据处理***。
图3是根据本说明书一实施例的一种数据处理方法的示意性流程图,如图3所示,该方法包括:
S302,接收第一设备发送的事件发生消息,事件发生消息包括发生的第一事件的源文件和/或源文件的标识信息。
其中,第一设备可以是任一个或多个可与事件标准化平台交互数据的设备,例如,在金融业务领域,第一设备可以是财务***、核心***、业务***、交易***、产品***等。源文件的标识信息可以是源文件在第一设备中的位置信息,也可以是能够标识源文件具体内容的信息,如源文件的标题、文件名、关键字等。第一事件则是与第一设备相关的事件,如财务事件、核心事件、业务事件、产品事件、交易事件等。
S304,根据事件发生消息及预设的事件标准化规则,生成第一事件的事件标准化信息。
S306,根据事件标准化信息对第一事件进行相应的处理。
采用本说明书一个或多个实施例的技术方案,通过接收第一设备发送的事件发生消息,并根据事件发生消息及预设的事件标准化规则生成第一事件的事件标准化信息,进而根据事件标准化信息对第一事件进行相应的处理。可见,该技术方案相较于传统的批量式数据处理方式而言,能够准实时性地处理数据,且无需将批量数据同步至数据处理***中,而是通过事件驱动的方式处理数据,因此大大减轻了数据处理***的压力,提高数据处理的效率,从而更好地支持前端业务的发展。
在一个实施例中,事件标准化规则包括:确定数据处理***所处理的各事件中均具有的、且经预设组合规则组合后具有相同结构的信息,并将所确定的信息作为事件的指定信息。
其中,数据处理***所处理的各事件包括数据处理***已处理和/或即将处理的各事件。本实施例对预设组合规则不加限定,即,预设组合规则可以是任一种可实现的组合规则,例如:将各信息按照获取顺序依次组合的规则、将各信息按照信息大小的顺序依次组合的规则等等。
基于上述对事件标准化规则的设定,指定信息可包括事件名称、事件码、事件状态、事件属性码、事件属性名称、事件属性值、事件属性值类型中的至少一项。
表1和表2示意性地示出了多项指定信息,其中,表1为事件架构表,包括事件码、事件名称和事件状态;表2为事件属性表,包括事件码、事件属性码、事件属性名称、事件属性值和事件属性值类型。在表1和表2中,第一列中的信息为指定信息的名称,第二列中的信息为第一列中指定信息的名称所对应的含义。
表1
event_code 事件码
event_name 事件名称
status 事件状态
表2
event_code 事件码
event_property_code 事件属性码
event_property_name 事件属性名称
event_property_value 事件属性值
event_property_value_type 事件属性值类型
由表1和表2可看出,事件与事件属性之间为1:N的关系,即,一个事件可对应有多个事件属性。其中,事件码、事件名称、事件状态、事件属性码和事件属性名称均可从事件的源文件中获取得到,事件属性值可以是一个固定的值,也可以是一段特定的逻辑,例如从源文件中获取指定信息的逻辑,特定的逻辑可使用Mvel表达式来表示。事件属性值类型即表明事件属性值为固定的值或一段特定的逻辑。
当事件属性值为使用Mvel表达式表示的一段逻辑时,可通过事件属性值来确定从源文件获取事件的指定信息的方式,进而利用所确定的方式获取事件的指定信息。其中,使用Mvel表达式来表示一段逻辑的方法为现有技术,在此不再赘述。
基于上述实施例中对事件标准化规则及指定信息的说明,在根据事件发生消息及预设的事件标准化规则生成第一事件的事件标准化信息时,可首先根据事件发生消息获取第一事件的源文件,然后从源文件中获取第一事件中的指定信息,并按照预设组合规则组合指定信息,得到第一事件的事件标准化信息。
本实施例中,若事件发生消息包括第一事件的源文件,则可直接获取到事件发生消息中的源文件;若事件发生消息包括第一事件的源文件的标识信息(如源文件在第一设备中的位置信息),则可向第一设备发送用于获取源文件的、携带有标识信息的获取请求,第一设备接收到该获取请求后,根据标识信息查找到第一事件的源文件,并将源文件发送至数据处理***,数据处理***进而接收第一设备所发送的第一事件的源文件。
在一个实施例中,根据事件标准化信息对第一事件进行相应的处理时,可先根据事件标准化信息确定第一事件对应的第一事件处理模型,进而确定第一事件处理模型对应的事件处理方式,并按照所确定的事件处理方式对第一事件进行相应的处理。其中,各事件处理模型包括模型码、模型名称、模型处理方式等信息。
表3示意性地示出了事件处理模型中的模型码、模型名称及模型处理方式的参数,其中,表3的第一列为参数的名称,第二列为参数的名称所对应的含义。
表3
model_code 模型码
model_name 模型名
model_script 模型逻辑
在根据事件标准化信息确定第一事件对应的第一事件处理模型时,可根据预设的事件标准化信息与事件处理模型之间的映射关系来确定各第一事件的事件标准化信息对应的第一事件处理模型。
例如,预设有事件码与模型码之间的映射关系,那么根据事件标准化信息中所包含的事件码的信息,即可确定出该事件标准化信息对应的事件处理模型。
表4示意性地示出了事件码和模型码之间的映射关系。
表4
event_code 事件码
model_code 模型码
以下通过一具体实施例来说明上述实施例提供的数据处理方法。
在一具体实施例中,以LCR(Liquidity Coverage Ratio,流动性覆盖率)为例。LCR为流动性管理指标,假定数据处理***中的第一设备监控到LCR指标发生了变化,此时第一设备发出关于LCR指标变化的事件发生消息。
然后,事件标准化平台接收第一设备发送的关于LCR指标变化的事件发生消息,并根据事件发生消息获取关于LCR指标变化(以下简称LCR事件)的源文件,进而从源文件中获取到LCR事件的指定信息,如下表5和表6所示,其中,表5示出了LCR事件的事件信息,表6示出了LCR事件的事件属性信息。
本实施例中,LCR事件包括两种属性信息,见表6中的第三列和第四列。由事件属性值类型可看出,事件属性值可为一段逻辑“com.alipay.LCRDTO.value”,也可为一个固定的值“1”。
表5
event_code 事件码 LCR
event_name 事件名 LCR指标变化事件
status 事件状态 生效
表6
获取到如上述表5和表6中的指定信息后,按照预设指定规则组合各指定信息,即可得到LCR事件对应的事件标准化信息。
然后,根据LCR事件对应的事件标准化信息确定LCR事件对应的事件处理模型。
具体的,先根据事件标准化信息和事件处理模型之间的映射关系来确定LCR事件对应的事件处理模型,假设LCR事件的事件码和模型码的映射关系如表7所示。
表7
event_code 事件码 LCR
model_code 模型码 LCR_DECISION
那么根据表7所示的映射关系,可确定出LCR事件对应的事件处理模型如下表8所示。在表8中,由于具体的模型处理方式需根据实际应用场景来确定,因此并未示出具体的模型处理方式,以省略号代替。
表8
model_code 模型码 LCR_DECISION
model_name 模型名称 LCR变动决策
model_script 模型处理方式 ……
最后,根据LCR事件对应的事件处理模型的模型处理方式,对LCR事件进行相应的处理。
由上述实施例可看出,在流动性数据的处理过程中,并非是将批量数据同步至数据处理***中,而是通过事件驱动的方式处理数据,因此大大减轻了数据处理***的压力,提高了流动性决策的时效性、灵活性和可扩展性,使流动性数据的管理更加精细化,流动性风险更为可控,从而更好地支持前端业务的发展。
综上,已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序,以实现期望的结果。在某些实施方式中,多任务处理和并行处理可以是有利的。
以上为本说明书一个或多个实施例提供的数据处理方法,基于同样的思路,本说明书一个或多个实施例还提供一种数据处理装置。
图4是根据本说明书一实施例的一种数据处理装置的示意性框图。如图4所示,数据处理装置400应用于数据处理***,包括:
接收模块410,用于接收第一设备发送的事件发生消息,事件发生消息包括发生的第一事件的源文件和/或源文件的标识信息;
生成模块420,用于根据事件发生消息及预设的事件标准化规则,生成第一事件的事件标准化信息;
处理模块430,用于根据事件标准化信息对第一事件进行相应的处理。
在一个实施例中,生成模块420包括:
第一获取单元,用于根据事件发生消息获取第一事件的源文件;
第二获取单元,用于从源文件中获取第一事件中的指定信息;
组合单元,用于按照预设组合规则组合指定信息,得到第一事件的事件标准化信息。
在一个实施例中,装置400还包括:
确定模块,用于确定数据处理***所处理的各事件中均具有的、且经预设组合规则组合后具有相同结构的信息;将确定的信息作为事件的指定信息。
在一个实施例中,指定信息包括事件名称、事件码、事件状态、事件属性码、事件属性名称、事件属性值、事件属性值类型中的至少一项。
在一个实施例中,第一获取单元还用于:
当事件发生消息包括源文件的标识信息时,向第一设备发送用于获取源文件的、携带有标识信息的获取请求;
接收第一设备响应于获取请求发送的第一事件的源文件。
在一个实施例中,处理模块430包括:
第一确定单元,用于根据事件标准化信息,确定第一事件对应的第一事件处理模型;
第二确定单元,用于确定第一事件处理模型对应的事件处理方式;
处理单元,用于按照事件处理方式对第一事件进行相应的处理。
在一个实施例中,各事件处理模型包括模型码、模型名称、模型处理方式中的至少一项信息;
第一确定单元还用于:
根据预设的事件标准化信息与事件处理模型之间的映射关系,确定各第一事件的事件标准化信息对应的第一事件处理模型。
采用本说明书一个或多个实施例的装置,通过接收第一设备发送的事件发生消息,并根据事件发生消息及预设的事件标准化规则生成第一事件的事件标准化信息,进而根据事件标准化信息对第一事件进行相应的处理。可见,该技术方案相较于传统的批量式数据处理方式而言,能够准实时性地处理数据,且无需将批量数据同步至数据处理***中,而是通过事件驱动的方式处理数据,因此大大减轻了数据处理***的压力,提高数据处理的效率,从而更好地支持前端业务的发展。
本领域的技术人员应可理解,上述数据处理装置能够用来实现前文所述的数据处理方法,其中的细节描述应与前文方法部分描述类似,为避免繁琐,此处不另赘述。
基于同样的思路,本说明书一个或多个实施例还提供一种数据处理设备,如图5所示。数据处理设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器501和存储器502,存储器502中可以存储有一个或一个以上存储应用程序或数据。其中,存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对数据处理设备中的一系列计算机可执行指令。更进一步地,处理器501可以设置为与存储器502通信,在数据处理设备上执行存储器502中的一系列计算机可执行指令。数据处理设备还可以包括一个或一个以上电源503,一个或一个以上有线或无线网络接口504,一个或一个以上输入输出接口505,一个或一个以上键盘506。
具体在本实施例中,数据处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
接收第一设备发送的事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;
根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;
根据所述事件标准化信息对所述第一事件进行相应的处理。
可选地,计算机可执行指令在被执行时,还可以使所述处理器:
根据所述事件发生消息获取所述第一事件的源文件;
从所述源文件中获取所述第一事件中的指定信息;
按照预设组合规则组合所述指定信息,得到所述第一事件的事件标准化信息。
可选地,计算机可执行指令在被执行时,还可以使所述处理器:
确定所述数据处理***所处理的各事件中均具有的、且经所述预设组合规则组合后具有相同结构的信息;将确定的所述信息作为事件的指定信息。
可选地,所述指定信息包括事件名称、事件码、事件状态、事件属性码、事件属性名称、事件属性值、事件属性值类型中的至少一项。
可选地,计算机可执行指令在被执行时,还可以使所述处理器:
当所述事件发生消息包括所述源文件的标识信息时,向所述第一设备发送用于获取所述源文件的、携带有所述标识信息的获取请求;
接收所述第一设备响应于所述获取请求发送的所述第一事件的源文件。
可选地,计算机可执行指令在被执行时,还可以使所述处理器:
根据所述事件标准化信息,确定所述第一事件对应的第一事件处理模型;
确定所述第一事件处理模型对应的事件处理方式;
按照所述事件处理方式对所述第一事件进行相应的处理。
可选地,各所述事件处理模型包括模型码、模型名称、模型处理方式中的至少一项信息;
相应的,计算机可执行指令在被执行时,还可以使所述处理器:
根据预设的事件标准化信息与事件处理模型之间的映射关系,确定各所述第一事件的事件标准化信息对应的所述第一事件处理模型。
本说明书一个或多个实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行上述数据处理方法,并具体用于执行:
接收第一设备发送的事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;
根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;
根据所述事件标准化信息对所述第一事件进行相应的处理。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书一个或多个实施例可提供为方法、***、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书一个或多个实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例的权利要求范围之内。

Claims (17)

1.一种数据处理方法,应用于数据处理***,所述方法包括:
接收第一设备发送的事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;
根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;
根据所述事件标准化信息对所述第一事件进行相应的处理。
2.根据权利要求1所述的方法,所述根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息,包括:
根据所述事件发生消息获取所述第一事件的源文件;
从所述源文件中获取所述第一事件中的指定信息;
按照预设组合规则组合所述指定信息,得到所述第一事件的事件标准化信息。
3.根据权利要求2所述的方法,所述事件标准化规则包括:
确定所述数据处理***所处理的各事件中均具有的、且经所述预设组合规则组合后具有相同结构的信息;将确定的所述信息作为事件的指定信息。
4.根据权利要求3所述的方法,所述指定信息包括事件名称、事件码、事件状态、事件属性码、事件属性名称、事件属性值、事件属性值类型中的至少一项。
5.根据权利要求2所述的方法,当所述事件发生消息包括所述源文件的标识信息时,所述根据所述事件发生消息获取所述第一事件的源文件,包括:
向所述第一设备发送用于获取所述源文件的、携带有所述标识信息的获取请求;
接收所述第一设备响应于所述获取请求发送的所述第一事件的源文件。
6.根据权利要求1所述的方法,所述根据所述事件标准化信息对所述第一事件进行相应的处理,包括:
根据所述事件标准化信息,确定所述第一事件对应的第一事件处理模型;
确定所述第一事件处理模型对应的事件处理方式;
按照所述事件处理方式对所述第一事件进行相应的处理。
7.根据权利要求6所述的方法,各所述事件处理模型包括模型码、模型名称、模型处理方式中的至少一项信息;
相应的,所述根据所述事件标准化信息,确定所述第一事件对应的第一事件处理模型,包括:
根据预设的事件标准化信息与事件处理模型之间的映射关系,确定各所述第一事件的事件标准化信息对应的所述第一事件处理模型。
8.一种数据处理装置,应用于数据处理***,所述装置包括:
接收模块,用于接收第一设备发送的事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;
生成模块,用于根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;
处理模块,用于根据所述事件标准化信息对所述第一事件进行相应的处理。
9.根据权利要求8所述的装置,所述生成模块包括:
第一获取单元,用于根据所述事件发生消息获取所述第一事件的源文件;
第二获取单元,用于从所述源文件中获取所述第一事件中的指定信息;
组合单元,用于按照预设组合规则组合所述指定信息,得到所述第一事件的事件标准化信息。
10.根据权利要求9所述的装置,还包括:
确定模块,用于确定所述数据处理***所处理的各事件中均具有的、且经所述预设组合规则组合后具有相同结构的信息;将确定的所述信息作为事件的指定信息。
11.根据权利要求10所述的装置,所述指定信息包括事件名称、事件码、事件状态、事件属性码、事件属性名称、事件属性值、事件属性值类型中的至少一项。
12.根据权利要求9所述的装置,所述第一获取单元还用于:
当所述事件发生消息包括所述源文件的标识信息时,向所述第一设备发送用于获取所述源文件的、携带有所述标识信息的获取请求;
接收所述第一设备响应于所述获取请求发送的所述第一事件的源文件。
13.根据权利要求8所述的装置,所述处理模块包括:
第一确定单元,用于根据所述事件标准化信息,确定所述第一事件对应的第一事件处理模型;
第二确定单元,用于确定所述第一事件处理模型对应的事件处理方式;
处理单元,用于按照所述事件处理方式对所述第一事件进行相应的处理。
14.根据权利要求13所述的装置,各所述事件处理模型包括模型码、模型名称、模型处理方式中的至少一项信息;
所述第一确定单元还用于:
根据预设的事件标准化信息与事件处理模型之间的映射关系,确定各所述第一事件的事件标准化信息对应的所述第一事件处理模型。
15.一种数据处理***,包括:
第一设备,用于向事件标准化平台发送事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;
所述事件标准化平台,用于接收所述第一设备发送的事件发生消息;根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;将所述事件标准化信息发送至事件处理模型平台;
所述事件处理模型平台,用于接收所述事件标准化平台发送的所述事件标准化信息;根据所述事件标准化信息对所述第一事件进行相应的处理。
16.一种数据处理设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
接收第一设备发送的事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;
根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;
根据所述事件标准化信息对所述第一事件进行相应的处理。
17.一种存储介质,用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:
接收第一设备发送的事件发生消息,所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息;
根据所述事件发生消息及预设的事件标准化规则,生成所述第一事件的事件标准化信息;
根据所述事件标准化信息对所述第一事件进行相应的处理。
CN201811441490.3A 2018-11-29 2018-11-29 数据处理方法、装置及*** Active CN109582476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811441490.3A CN109582476B (zh) 2018-11-29 2018-11-29 数据处理方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811441490.3A CN109582476B (zh) 2018-11-29 2018-11-29 数据处理方法、装置及***

Publications (2)

Publication Number Publication Date
CN109582476A true CN109582476A (zh) 2019-04-05
CN109582476B CN109582476B (zh) 2024-01-16

Family

ID=65925509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811441490.3A Active CN109582476B (zh) 2018-11-29 2018-11-29 数据处理方法、装置及***

Country Status (1)

Country Link
CN (1) CN109582476B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321181A (zh) * 2019-06-28 2019-10-11 阿里巴巴集团控股有限公司 Soa体系下的事件生产方法及其装置
CN117726237A (zh) * 2024-02-07 2024-03-19 四川大学华西医院 即时评估方法、装置、计算机设备及可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070115078A (ko) * 2006-05-30 2007-12-05 동국대학교 산학협력단 고객관리용 crm 게이트웨이 시스템
EP1944676A1 (en) * 2001-06-14 2008-07-16 Cisco Systems, Inc. Stateful reference monitor
CN101799684A (zh) * 2010-04-20 2010-08-11 杭州和利时自动化有限公司 一种分布式控制***的事件处理方法及***
US8087087B1 (en) * 2002-06-06 2011-12-27 International Business Machines Corporation Management of computer security events across distributed systems
CN102340495A (zh) * 2010-07-26 2012-02-01 ***通信集团广东有限公司 一种支撑跨***业务联动的事件中心及其事件处理方法
CN102348185A (zh) * 2010-07-29 2012-02-08 埃森哲环球服务有限公司 用于电信计费的计算机实现的方法、***以及计算机程序产品
US20130018702A1 (en) * 2011-04-22 2013-01-17 Progress Software Corporation System and method for responsive process management driven by business visibility and complex event processing
CN103380603A (zh) * 2011-01-05 2013-10-30 皇家飞利浦电子股份有限公司 用于分配有意义的临床警报的***和方法
CN103458033A (zh) * 2013-09-04 2013-12-18 北京邮电大学 事件驱动、面向服务的物联网服务提供***及其工作方法
CN105843878A (zh) * 2016-03-17 2016-08-10 杭州优云软件有限公司 一种it***事件标准化实现方法
CN107645414A (zh) * 2017-09-16 2018-01-30 广西电网有限责任公司电力科学研究院 一种输变电设备状态告警处理***
US20180276239A1 (en) * 2017-03-24 2018-09-27 Microsoft Technology Licensing, Llc Measuring usage of computing resources by storing usage events in a distributed file system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1944676A1 (en) * 2001-06-14 2008-07-16 Cisco Systems, Inc. Stateful reference monitor
US8087087B1 (en) * 2002-06-06 2011-12-27 International Business Machines Corporation Management of computer security events across distributed systems
KR20070115078A (ko) * 2006-05-30 2007-12-05 동국대학교 산학협력단 고객관리용 crm 게이트웨이 시스템
CN101799684A (zh) * 2010-04-20 2010-08-11 杭州和利时自动化有限公司 一种分布式控制***的事件处理方法及***
CN102340495A (zh) * 2010-07-26 2012-02-01 ***通信集团广东有限公司 一种支撑跨***业务联动的事件中心及其事件处理方法
CN102348185A (zh) * 2010-07-29 2012-02-08 埃森哲环球服务有限公司 用于电信计费的计算机实现的方法、***以及计算机程序产品
CN103380603A (zh) * 2011-01-05 2013-10-30 皇家飞利浦电子股份有限公司 用于分配有意义的临床警报的***和方法
US20130018702A1 (en) * 2011-04-22 2013-01-17 Progress Software Corporation System and method for responsive process management driven by business visibility and complex event processing
CN103458033A (zh) * 2013-09-04 2013-12-18 北京邮电大学 事件驱动、面向服务的物联网服务提供***及其工作方法
CN105843878A (zh) * 2016-03-17 2016-08-10 杭州优云软件有限公司 一种it***事件标准化实现方法
US20180276239A1 (en) * 2017-03-24 2018-09-27 Microsoft Technology Licensing, Llc Measuring usage of computing resources by storing usage events in a distributed file system
CN107645414A (zh) * 2017-09-16 2018-01-30 广西电网有限责任公司电力科学研究院 一种输变电设备状态告警处理***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PRADEEP NATARAJAN 等: "Multimodal feature fusion for robust event detection in web videos", 《2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 1298 - 1305 *
祖向荣: "智能电网监控中的分布式复杂事件处理技术研究", 《中国博士学位论文全文数据库 工程科技II辑》, pages 042 - 163 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321181A (zh) * 2019-06-28 2019-10-11 阿里巴巴集团控股有限公司 Soa体系下的事件生产方法及其装置
CN117726237A (zh) * 2024-02-07 2024-03-19 四川大学华西医院 即时评估方法、装置、计算机设备及可读存储介质
CN117726237B (zh) * 2024-02-07 2024-05-10 四川大学华西医院 即时评估方法、装置、计算机设备及可读存储介质

Also Published As

Publication number Publication date
CN109582476B (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
US20200050968A1 (en) Interactive interfaces for machine learning model evaluations
CA2953969C (en) Interactive interfaces for machine learning model evaluations
US10963810B2 (en) Efficient duplicate detection for machine learning data sets
CN106980669B (zh) 一种数据的存储、获取方法及装置
CN107644286A (zh) 工作流处理方法及装置
CN104937544B (zh) 用于计算任务结果的方法、计算机可读介质和计算机***
CN106663037A (zh) 特征处理权衡管理
Lei et al. A unified approach for location-allocation analysis: integrating GIS, distributed computing and spatial optimization
CN111427971B (zh) 用于计算机***的业务建模方法、装置、***和介质
CN110471754A (zh) 作业调度中的数据展示方法、装置、设备及存储介质
CN110019111A (zh) 数据处理方法、装置、存储介质以及处理器
CN109145625A (zh) 保单信息的处理方法、装置及区块链数据存储***
CN110119401A (zh) 用户画像的处理方法、装置、服务器及存储介质
CN108829503A (zh) 任务调度方法、装置、***、介质和电子设备
CN109582476A (zh) 数据处理方法、装置及***
CN106294423A (zh) 数据库分表的写入方法及装置
CN110069453A (zh) 运维数据处理方法和装置
CN111522840A (zh) 标签的配置方法、装置、设备及计算机可读存储介质
CN106294700A (zh) 一种日志的存储与读取方法及装置
CN109614548A (zh) 基于业务用户数变化率的信息展示方法、装置及存储介质
CN109934694A (zh) 一种信息处理方法、***、装置及电子设备
CN113836235A (zh) 基于数据中台的数据处理方法及其相关设备
CN113094414A (zh) 流转图谱生成方法及装置
CN112288586A (zh) 基于HBase的保险行业数据整合方法及相关设备
CN109033468A (zh) 资源变动的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200922

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200922

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant