CN115563160A - 数据处理方法、装置、计算机设备和计算机可读存储介质 - Google Patents

数据处理方法、装置、计算机设备和计算机可读存储介质 Download PDF

Info

Publication number
CN115563160A
CN115563160A CN202211233151.2A CN202211233151A CN115563160A CN 115563160 A CN115563160 A CN 115563160A CN 202211233151 A CN202211233151 A CN 202211233151A CN 115563160 A CN115563160 A CN 115563160A
Authority
CN
China
Prior art keywords
data
data processing
processing
node
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211233151.2A
Other languages
English (en)
Inventor
桑文锋
曹犟
刘耀洲
付力力
汪安佳
郭雪东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensors Data Network Technology Beijing Co Ltd
Original Assignee
Sensors Data Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensors Data Network Technology Beijing Co Ltd filed Critical Sensors Data Network Technology Beijing Co Ltd
Priority to CN202211233151.2A priority Critical patent/CN115563160A/zh
Publication of CN115563160A publication Critical patent/CN115563160A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24568Data stream processing; Continuous queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种数据处理方法、装置、计算机设备和计算机可读存储介质,通过获取数据处理流程,数据处理流程包含至少两个处理节点,处理节点对应有节点类型;根据数据处理流程中每个处理节点的节点类型,确定数据处理流程的流程类型;若流程类型为目标流程类型,则根据至少两个处理节点中的数据节点对应的数据筛选信息,生成数据处理流程的流程启动条件,数据节点用于指示数据处理流程执行过程所需的数据;接收与数据处理流程关联的目标数据;当接收到的目标数据满足流程启动条件时,触发数据处理流程对目标数据进行处理,可以避免目标数据在处理器中滞留,减少对处理器资源的占用,提高处理器的处理性能,进而提高对目标数据的处理效率。

Description

数据处理方法、装置、计算机设备和计算机可读存储介质
技术领域
本申请涉及通信技术领域,具体涉及一种数据处理方法、装置、计算机设备和计算机可读存储介质。
背景技术
在数据处理的过程中,通常在获取到待处理数据后,对待处理数据进行处理,当需要根据其他数据对待处理数据进行处理,且还未获取到该数据时,处理过程中断,进入等待数据的状态,计算机设备监测该数据的获取情况以便及时对待处理数据进行处理,若有大量的待处理数据由于缺少参与处理的数据而中断处理,则有大量的待处理数据存储于计算机设备的处理器中,占用处理器的资源,影响处理器的处理效率,进而影响对待处理数据的处理效率。
发明内容
本申请实施例提供一种数据处理方法、装置、计算机设备和计算机可读存储介质,可以避免目标数据在处理器中滞留,减少对处理器资源的占用,提高处理器的处理性能,进而提高对目标数据的处理效率。
本申请实施例提供的一种数据处理方法,包括:
获取数据处理流程,所述数据处理流程包含至少两个处理节点,所述处理节点对应有节点类型;
根据所述数据处理流程中每个处理节点的节点类型,确定所述数据处理流程的流程类型;
若所述流程类型为目标流程类型,则根据所述至少两个处理节点中的数据节点对应的数据筛选信息,生成所述数据处理流程的流程启动条件,所述数据节点用于指示所述数据处理流程执行过程所需的数据;
接收与所述数据处理流程关联的目标数据;
当接收到的目标数据满足所述流程启动条件时,触发所述数据处理流程对所述目标数据进行处理。
相应的,本申请实施例还提供的一种数据处理装置,包括:
获取单元,用于获取数据处理流程,所述数据处理流程包含至少两个处理节点,所述处理节点对应有节点类型;
确定单元,用于根据所述数据处理流程中每个处理节点的节点类型,确定所述数据处理流程的流程类型;
生成单元,用于若所述流程类型为目标流程类型,则根据所述至少两个处理节点中的数据节点对应的数据筛选信息,生成所述数据处理流程的流程启动条件,所述数据节点用于指示所述数据处理流程执行过程所需的数据;
接收单元,用于接收与所述数据处理流程关联的目标数据;
处理单元,用于当接收到的目标数据满足所述流程启动条件时,触发所述数据处理流程对所述目标数据进行处理。
在一实施例中,所述处理单元,包括:
模型生成子单元,用于根据所述数据处理流程包含的处理节点对应的节点信息,生成与所述数据处理流程对应的状态转换模型;
第一数据处理子单元,用于若所述接收到的目标数据满足所述流程启动条件,则通过状态转换模型对所述目标数据进行处理。
在一实施例中,所述数据处理装置还包括:
状态模型生成单元,用于根据所述数据处理流程包含的处理节点对应的节点信息,生成与所述数据处理流程对应的状态转换模型;
更新单元,用于将所述状态转换模型中的初始状态的状态转换条件更新为所述流程启动条件,以便当所述目标数据满足所述流程启动条件时,通过所述状态转换模型对所述目标数据进行处理。
在一实施例中,所述处理单元,包括:
转换子单元,用于当所述接收到的目标数据满足所述流程启动条件时,则将所述初始状态转换至所述状态变换模型指示的目标状态;
状态处理子单元,用于通过所述状态转换模型的目标状态中的数据处理逻辑对所述目标数据进行处理。
在一实施例中,所述接收单元,包括:
数据接收子单元,用于接收候选数据,所述候选数据携带流程标识;
筛选子单元,用于根据所述流程标识对所述候选数据进行筛选,得到与所述数据处理流程关联的目标数据。
在一实施例中,所述处理单元,包括:
统计子单元,用于根据目标数据的属性信息,对所述目标数据进行统计,得到所述目标数据的统计结果;
第二数据处理子单元,用于若所述统计结果指示所述接收到的目标数据满足所述流程启动条件,则通过所述数据处理流程对所述目标数据进行处理。
在一实施例中,所述数据处理装置还包括:
显示单元,用于通过客户端显示流程建立页面;
响应单元,用于响应于针对所述流程新建页面的节点配置操作,确定被选择的配置的处理节点的节点类型和节点描述信息;
流程生成单元,用于根据所述处理节点生成所述数据处理流程。
相应的,本申请实施例还提供的一种计算机设备,包括存储器和处理器;所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的计算机程序,以执行本申请实施例提供的任一种数据处理方法。
相应的,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器加载以执行本申请实施例提供的任一种数据处理方法。
本申请通过获取数据处理流程,数据处理流程包含至少两个处理节点,处理节点对应有节点类型;根据数据处理流程中每个处理节点的节点类型,确定数据处理流程的流程类型;若流程类型为目标流程类型,则根据至少两个处理节点中的数据节点对应的数据筛选信息,生成数据处理流程的流程启动条件,数据节点用于指示数据处理流程执行过程所需的数据;接收与数据处理流程关联的目标数据;当接收到的目标数据满足流程启动条件时,触发数据处理流程对目标数据进行处理。
本申请通过根据目标流程类型的数据处理流程的节点确定数据处理流程的流程启动条件,在数据处理流程的目标数据满足流程启动条件时,基于数据处理流程对目标数据进行处理,可以避免目标数据在处理器中滞留,减少对处理器资源的占用,提高处理器的处理性能,进而提高对目标数据的处理效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数据处理方法的流程图;
图2是本申请实施例提供的设备交互示意图;
图3是本申请实施例提供的数据处理装置示意图;
图4是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种数据处理方法、装置、计算机设备和计算机可读存储介质。该数据处理装置可以集成在计算机设备中,该计算机设备可以是服务器,也可以是终端等设备。
其中,该终端可以包括手机、穿戴式智能设备、平板电脑、笔记本电脑、个人计算(PC,Personal Computer)、以及车载计算机等。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从数据处理装置的角度进行描述,该数据处理装置具体可以集成在计算机设备中,该计算机设备可以是服务器,也可以是终端等设备。
本申请实施例提供的一种数据处理方法,如图1所示,该数据处理方法的具体流程可以如下:
101、获取数据处理流程,数据处理流程包含至少两个处理节点,处理节点对应有节点类型。
其中,数据处理流程可以指示对数据进行处理的过程,对数据进行处理可以包括数据计算和数据传输等;数据处理流程可以包括多个处理节点,每个处理节点可以包括用于实现相应功能的算法或者函数,还可以对应于状态转换模型(状态机)的一个状态(state);处理节点可以包括不同处理类型的节点,例如,可以包括数据节点、操作节点和触发节点,数据节点可以处理根据条件筛选的数据,并非指定事件触发产生的数据,操作节点可以执行指定的动作等,例如,推送消息等,触发类型可以需要在指定事件触发时执行对应的操作。
以推送优惠券的营销场景为例,存在数据处理流程A和数据处理流程B,A 包含两个处理节点,处理节点a用于获取将商品加入购物的用户的数据,处理节点b用于向该用户推送优惠券,处理节点a需要被事件“将商品加入购物车”触发,所以处理节点a为触发节点,处理节点b为操作节点。B包含两个处理节点,其中,处理节点c用于获取年龄在20-30岁的用户的数据,处理节点d用于对该用户推送优惠券,处理节点c为数据节点,处理节点d为操作节点。
数据处理流程可以在客户端显示的流程建立页面建立,即在一实施例中,步骤“获取数据处理流程”之前,本申请实施例提供的数据处理方法可以包括:
通过客户端显示流程建立页面;
响应于针对流程新建页面的节点配置操作,确定配置的处理节点的节点类型和节点描述信息;
根据处理节点生成数据处理流程。
其中,客户端可以提供建立流程以及查看流程相关的分析数据等功能。
比如,可以通过客户端显示流程建立页面,流程建立页面可以是流程画布,流程画布用于绘制数据处理流程,可以在流程建立页面配置处理节点,比如,可以选择处理节点的节点类型和设置节点描述信息,节点描述信息可以包括处理节点进行数据处理时所需的信息,例如,需要推送的消息或者指示进入流程的数据的筛选条件的数据筛选信息等。
根据在流程新建页面配置的处理节点生成数据处理流程,数据处理流程也可以称为画布流程。
102、根据数据处理流程中每个处理节点的节点类型,确定数据处理流程的流程类型。
由于,触发类型的处理节点需要等待指定事件的触发,指定事件的发生是随机的,数据类型和操作类型的处理节点不需要等待指定事件的触发,所以,可以将只包含数据类型和操作类型的处理节点的数据处理流程,与包含触发类型的处理节点的数据处理流程进行分类,作为不同流程类型,流程类型可以包括纯批画布和非纯批画布,纯批画布表示在流程画布建立的数据处理流程不包含触发类型的处理节点,非纯批画布表示在流程画布建立的数据处理流程包含触发类型的处理节点。
根据数据处理流程中每个节点的节点类型可以确定处理流程的流程类型。
103、若流程类型为目标流程类型,则根据至少两个处理节点中的数据节点对应的数据筛选信息,生成数据处理流程的流程启动条件,数据节点用于指示数据处理流程执行过程所需的数据。
比如,目标流程类型可以是纯批画布,若数据处理流程的流程类型为纯批画布,则获取数据处理流程中数据节点的数据筛选信息,数据筛选信息包含了数据节点的数据筛选条件,即该数据节点获取的数据需满足的条件。
根据数据节点的数据筛选信息可以确定该数据流程所需要的数据,例如,数据处理流程C中有两个数据节点,其中,数据节点f的数据筛选信息为年龄在 20-30的用户,数据节点g的数据筛选信息为购物车中添加的物品中有墨镜的用户,那么数据处理流程C中所需要的数据为年龄在20-30的用户和购物车中添加的物品中有墨镜的用户。
由于,数据处理流程的处理节点存在一定的执行顺序,若执行数据处理流程中的某个处理节点,该还没有获取到处理节点所需的数据,则该数据处理流程中断,导致数据处理耗时长、效率低,所以,当数据处理流程的流程类型为目标流程类型时,可以在接收到数据处理流程中数据节点所需的全部数据时,启动该数据处理流程,避免由于数据不足,数据处理流程中断,因此,可以根据数据节点的数据筛选信息可以生成数据处理流程的流程启动条件。流程启动条件为接收到数据处理流程中每个的数据节点所需要的所有数据。
104、接收与数据处理流程关联的目标数据。
比如,数据节点包含了数据筛选信息,可以根据数据筛选信息进行数据计算,以筛选符合数据筛选信息的数据,在一些场景中,数据为用户数据,数据处理流程的目的为向指定的受众推送的消息,则数据筛选信息用于筛选符合条件的受众。
数据处理流程和数据计算处理需要的数据可以解耦,数据处理流程可以通过业务***执行,数据计算处理可以在需要业务***提供服务的客户的设备上计算,并将计算得到的数据发送给业务***(业务***由至少一个服务器组成)。可选的,发送给业务***的用户数据可以仅包括执行数据流程所需要的信息,例如,若数据处理流程的目标为推送消息,那么用户数据可以只包括推送消息所需要的账号等,可以避免信息泄露,保护用户的隐私安全。
目标数据为数据处理流程的数据节点所需的数据。
可选的,由于业务***可以处理多个的数据处理流程,并接收多个数据处理流程的数据,可以根据数据的携带流程标识,得到与数据处理流程相关的目标数据,即步骤“接收与数据处理流程关联的目标数据”,具体可以包括:
接收候选数据,候选数据携带流程标识;
根据流程标识对候选数据进行筛选,得到与数据处理流程关联的目标数据。
其中,候选数据可以是服务器接收到的数据,候选数据可以携带流程标识,服务器基于流程标识可以唯一识别对应的数据处理流程。
比如,业务***接收候选数据,并根据候选数据携带的流程标识对候选数据进行筛选,得到数据处理流程所需的目标数据。
以目标数据为受众数据为例进行说明,受众数据为符合筛选条件的用户数据,如图2所示,受众计算和数据处理流程隔离,受众计算根据数据处理流程的数据节点数据筛选信息计算符合筛选条件的用户,当计算完毕后,得到数据节点的受众数据,进行受众计算的设备向业务***发送计算完成消息,并通过消息队列向业务***发送计算得到的受众数据。
业务***接收到计算完成消息后,生成画布进入指令,画布指令包含了数据处理流程对应的流程标识(例如,可以是画布ID)、进入节点(数据处理流程起始的处理节点)的进入受众的受众名称和调度时间等。
业务***接收受众数据,并记录受众信息,受众信息包括受众名称、用户总数、已接收用户数据量等,当已接收用户数据量等于用户总数时,标记该受众数据已经就绪。
当数据处理流程到达运行时间时,运行时间可以预先在节点中配置,处理该画布进入指令,判断根据进入受众的受众名称查询受众数据是否已经接收完成,若进入受众还没有接收完成,则跳过该画布进入指令,处理其他未处理的画布进入指令。若已经接收完成,则判断其他数据节点的受众数据是否接收完成,若其他数据节点的受众数据接收完成,执行该数据处理流程,若其他数据节点的受众数据未接收完成,则延迟1小时后执行该数据处理流程。
105、当接收到的目标数据满足流程启动条件时,触发数据处理流程对目标数据进行处理。
当接收到的目标数据满足流程启动条件时,即接收的目标数据包含了数据处理流程每个数据节点所需的数据时,触发数据处理流程对目标数据进行处理。
数据流程中的节点可以对应于算法或者函数,以数据处理流程D为处理节点h→处理节点i→处理节点j为例进行说明,数据节点h接收年龄在20-30的用户,年龄在20-30的用户接收完成后,该用户从处理节点h流转至处理节点i,处理节点i用于计算购物车中添加的物品中有墨镜的用户和年龄在20-30的用户的交集,得到交集用户,交集用户流转至节点j,节点j用于向交集用户推送消息 X。
可选的,可以对目标数据进行统计,由于,数据处理流程和数据计算处理需要的数据可以解耦,业务***接收的目标数据包含有属性信息,属性信息包含了数据处理流程所需的数据的数量,例如,当目标数据为受众数据时,属性信息可以包括受众名称以及用户总数,受众名称可以是数据节点筛选匹配,受众名称对应的用户数据为数据处理节点所需的数据,业务***根据属性信息对目标数据进行统计,得到目标数据的统计结果,统计结果包括受众名称以及对应的当前接收的用户数量等,若当前接收的用户数量等于该受众名称对应的用户总数,则标识该受众名称的用户数据接收完毕,处于就绪状态,即在一实施例中,目标数据中包含数据属性信息,步骤“当接收到的目标数据满足流程启动条件时,触发数据处理流程对目标数据进行处理”,包括:
根据目标数据的属性信息,对目标数据进行统计,得到目标数据的统计结果;
若统计结果指示接收到的目标数据满足流程启动条件,则通过数据处理流程对目标数据进行处理。
其中,属性信息可以包括数据节点所需数据的总数量以及数据标识等。
比如,目标数据可以包括数据处理流程中多个数据节点所需的数据,可以根据目标数据的属性信息中的数据标识对目标数据进行统计,得到统计结果,当业务***接收到数据标识对应的目标数据的数量等于总数量时,表示该处理节点所需的数据已经接收完成,处于就绪状态。当统计结果指示所有数据节点所需的数据均处于就绪状态时,表示接收到的目标数据满足流程启动条件,执行数据处理流程,以对目标数据进行处理。
在一实施例中,数据处理流程可以通过状态转换模型实现,状态转换模型也可以称为状态机(Finite State Machine,FSM),步骤“当接收到的目标数据满足流程启动条件时,触发数据处理流程对目标数据进行处理”,具体可以包括:
根据数据处理流程包含的处理节点对应的节点信息,生成与数据处理流程对应的状态转换模型;
若接收到的目标数据满足流程启动条件,则通过状态转换模型对目标数据进行处理。
其中,节点信息可以包括处理节点的节点类型以及数据筛选信息等。
比如,具体可以是根据数据处理流程包含的处理节点对应的节点信息,例如,可以包括数据筛选信息、节点类型等。
根据数据处理流程的处理节点和处理节点的节点信息可以生成状态机,具体地,每个处理节点可以对应于状态机的一个状态,根据节点信息可以得到该状态下执行的动作以及状态转换条件,比如,将操作节点对应操作为该节点对应的状态执行的动作,例如,推送消息等。
以数据处理流程E为处理节点l→处理节点m→处理节点n为例进行说明,数据节点h的数据筛选信息为年龄在20-30的用户,数据节点i的数据筛选信息为购物车中添加的物品中有墨镜的用户,处理节点j为向用户推送消息Y。
处理节点h对应的状态转换条件为年龄在20-30的用户接收完成,处理节点m对应的状态执行的动作为在购物车中添加的物品中有墨镜的用户接收完毕时,计算购物车中添加的物品中有墨镜的用户和年龄在20-30的用户的交集,即从节点l的用户中筛选满足节点m的用户,交集计算完成后转换状态至处理节点n对应的状态,处理节点n对应的状态执行的动作是向交集内的用户推送消息Y。
年龄在20-30的用户接收完成后,该用户从处理节点l流转至处理节点m,处理节点m计算购物车中添加的物品中有墨镜的用户和年龄在20-30的用户的交集,得到交集用户,交集用户流转至节点n,节点j向交集用户推送消息Y。
可以将流程启动条件设置为状态机的启动条件,当接收到的目标数据满足流程启动条件时,通过状态机对目标数据进行处理,由于数据处理流程所需要的数据均已就绪,状态机可以不中断地进行状态转换直到终止状态,得到对目标数据的处理结果。
可选的,可以根据数据处理流程的流程启动条件对状态机的初始状态的状态转换条件进行更新,以便状态机在进行状态转换时,流程处理数据所需的数据均已就绪,即步骤“根据至少两个处理节点中的数据节点对应的数据筛选信息,生成数据处理流程的流程启动条件”之后,本申请实施例提供的数据处理方法具体还可以包括:
根据数据处理流程包含的处理节点对应的节点信息,生成与数据处理流程对应的状态转换模型;
将状态转换模型中的初始状态的状态转换条件更新为流程启动条件,以便当目标数据满足流程启动条件时,通过状态转换模型对目标数据进行处理。
比如,将初始状态的状态转换条件更新为流程启动条件,当满足初始状态的状态转换条件,其他状态需要的数据也就绪,状态机可以不中断地执行,无需等待数据就绪,实现对数据处理流程加速(即画布加速),提高数据处理效率。
当接收到的目标数据满足流程启动条件时,状态机从初始状态转换至目标状态,初始状态为状态机工作的起点,目标状态为初始状态进行转换的状态,当接收到的目标数据满足流程启动条件时,则将初始状态转换至状态变换模型指示的目标状态;通过状态转换模型的目标状态中的数据处理逻辑对目标数据进行处理。
其中,数据处理逻辑可以是目标状态中执行动作对应的函数或者算法等程序。
由上可知,本申请实施例通过获取数据处理流程,数据处理流程包含至少两个处理节点,处理节点对应有节点类型;根据数据处理流程中每个处理节点的节点类型,确定数据处理流程的流程类型;若流程类型为目标流程类型,则根据至少两个处理节点中的数据节点对应的数据筛选信息,生成数据处理流程的流程启动条件,数据节点用于指示数据处理流程执行过程所需的数据;接收与数据处理流程关联的目标数据;当接收到的目标数据满足流程启动条件时,触发数据处理流程对目标数据进行处理。
本申请通过根据目标流程类型的数据处理流程的节点确定数据处理流程的流程启动条件,在数据处理流程的目标数据满足流程启动条件时,基于数据处理流程对目标数据进行处理,可以避免目标数据在处理器中滞留,减少对处理器资源的占用,提高处理器的处理性能,进而提高对目标数据的处理效率。
为了便于更好地实施本申请实施例提供的数据处理方法,在一实施例中还提供了一种数据处理装置。其中名词的含义与上述数据处理方法中相同,具体实现细节可以参考方法实施例中的说明。
该数据处理装置具体可以集成在计算机设备中,如图3所示,该数据处理装置可以包括:获取单元301、确定单元302、生成单元303、接收单元304和处理单元305,具体如下:
(1)获取单元301:用于获取数据处理流程,数据处理流程包含至少两个处理节点,处理节点对应有节点类型。
(2)确定单元302:用于根据数据处理流程中每个处理节点的节点类型,确定数据处理流程的流程类型。
(3)生成单元303:用于若流程类型为目标流程类型,则根据至少两个处理节点中的数据节点对应的数据筛选信息,生成数据处理流程的流程启动条件,数据节点用于指示数据处理流程执行过程所需的数据。
(4)接收单元304:用于接收与数据处理流程关联的目标数据。
在一实施例中,接收单元304可以包括数据接收子单元和筛选子单元,具体地:
数据接收子单元:用于接收候选数据,候选数据携带流程标识;
筛选子单元:用于根据流程标识对候选数据进行筛选,得到与数据处理流程关联的目标数据。
(5)处理单元305:用于当接收到的目标数据满足流程启动条件时,触发数据处理流程对目标数据进行处理。
在一实施例中,处理单元305可以包括模型生成子单元和第一数据处理子单元,具体地:
模型生成子单元:用于根据数据处理流程包含的处理节点对应的节点信息,生成与数据处理流程对应的状态转换模型;
第一数据处理子单元:用于若接收到的目标数据满足流程启动条件,则通过状态转换模型对目标数据进行处理。
在一实施例中,处理单元305可以包括转换子单元和状态处理子单元,具体地:
转换子单元:用于当接收到的目标数据满足流程启动条件时,则将初始状态转换至状态变换模型指示的目标状态;
状态处理子单元:用于通过状态转换模型的目标状态中的数据处理逻辑对目标数据进行处理。
在一实施例中,处理单元305可以包括统计子单元和第二数据处理子单元,具体地:
统计子单元:用于根据目标数据的属性信息,对目标数据进行统计,得到目标数据的统计结果;
第二数据处理子单元:用于若统计结果指示接收到的目标数据满足流程启动条件,则通过数据处理流程对目标数据进行处理。
在一实施例中,数据处理装置还可以包括状态模型生成单元和更新单元,具体地:
状态模型生成单元:用于根据数据处理流程包含的处理节点对应的节点信息,生成与数据处理流程对应的状态转换模型;
更新单元:用于将状态转换模型中的初始状态的状态转换条件更新为流程启动条件,以便当目标数据满足流程启动条件时,通过状态转换模型对目标数据进行处理。
在一实施例中,数据处理装置还可以包括显示单元、响应单元和流程生成单元,具体地:
显示单元:用于通过客户端显示流程建立页面;
响应单元:用于响应于针对流程新建页面的节点配置操作,确定被选择的配置的处理节点的节点类型和节点描述信息;
流程生成单元:用于根据处理节点生成数据处理流程。
本申请实施例数据处理装置通过获取单元301获取数据处理流程,数据处理流程包含至少两个处理节点,处理节点对应有节点类型;确定单元302根据数据处理流程中每个处理节点的节点类型,确定数据处理流程的流程类型;若流程类型为目标流程类型,则生成单元303根据至少两个处理节点中的数据节点对应的数据筛选信息,生成数据处理流程的流程启动条件,数据节点用于指示数据处理流程执行过程所需的数据;接收单元304接收与数据处理流程关联的目标数据;当接收到的目标数据满足流程启动条件时,处理单元305触发数据处理流程对目标数据进行处理。
本申请通过根据目标流程类型的数据处理流程的节点确定数据处理流程的流程启动条件,在数据处理流程的目标数据满足流程启动条件时,基于数据处理流程对目标数据进行处理,可以避免目标数据在处理器中滞留,减少对处理器资源的占用,提高处理器的处理性能,进而提高对目标数据的处理效率。
本申请实施例还提供一种计算机设备,该计算机设备可以是终端,也可以是服务器,如图4所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上计算机可读存储介质的存储器1002、电源1003和输入单元1004 等部件。本领域技术人员可以理解,图4中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器1001是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器1002内的软件程序和/ 或模块,以及调用存储在存储器1002内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器1001可包括一个或多个处理核心;优选的,处理器1001可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和计算机程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1001中。
存储器1002可用于存储软件程序以及模块,处理器1001通过运行存储在存储器1002的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器1002可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1002还可以包括存储器控制器,以提供处理器1001对存储器1002的访问。
计算机设备还包括给各个部件供电的电源1003,优选的,电源1003可以通过电源管理***与处理器1001逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元1004,该输入单元1004可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器1001会按照如下的指令,将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器1002中,并由处理器 1001来运行存储在存储器1002中的计算机程序,从而实现各种功能,如下:
获取数据处理流程,数据处理流程包含至少两个处理节点,处理节点对应有节点类型;
根据数据处理流程中每个处理节点的节点类型,确定数据处理流程的流程类型;
若流程类型为目标流程类型,则根据至少两个处理节点中的数据节点对应的数据筛选信息,生成数据处理流程的流程启动条件,数据节点用于指示数据处理流程执行过程所需的数据;
接收与数据处理流程关联的目标数据;
当接收到的目标数据满足流程启动条件时,触发数据处理流程对目标数据进行处理。
以上各个操作的具体实施可参见前面的实施例,在此不作赘述。
由上可知,本申请实施例的计算机设备可以通过获取数据处理流程,数据处理流程包含至少两个处理节点,处理节点对应有节点类型;根据数据处理流程中每个处理节点的节点类型,确定数据处理流程的流程类型;若流程类型为目标流程类型,则根据至少两个处理节点中的数据节点对应的数据筛选信息,生成数据处理流程的流程启动条件,数据节点用于指示数据处理流程执行过程所需的数据;接收与数据处理流程关联的目标数据;当接收到的目标数据满足流程启动条件时,触发数据处理流程对目标数据进行处理。
本申请通过根据目标流程类型的数据处理流程的节点确定数据处理流程的流程启动条件,在数据处理流程的目标数据满足流程启动条件时,基于数据处理流程对目标数据进行处理,可以避免目标数据在处理器中滞留,减少对处理器资源的占用,提高处理器的处理性能,进而提高对目标数据的处理效率。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有计算机程序,该计算机程序,能够被处理器进行加载,以执行本申请实施例所提供的任一种数据处理方法。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种数据处理方法,因此,可以实现本申请实施例所提供的任一种数据处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种数据处理方法、装置、计算机设备和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
获取数据处理流程,所述数据处理流程包含至少两个处理节点,所述处理节点对应有节点类型;
根据所述数据处理流程中每个处理节点的节点类型,确定所述数据处理流程的流程类型;
若所述流程类型为目标流程类型,则根据所述至少两个处理节点中的数据节点对应的数据筛选信息,生成所述数据处理流程的流程启动条件,所述数据节点用于指示所述数据处理流程执行过程所需的数据;
接收与所述数据处理流程关联的目标数据;
当接收到的目标数据满足所述流程启动条件时,触发所述数据处理流程对所述目标数据进行处理。
2.根据权利要求1所述的方法,其特征在于,所述当接收到的目标数据满足所述流程启动条件时,触发所述数据处理流程对所述目标数据进行处理,包括:
根据所述数据处理流程包含的处理节点对应的节点信息,生成与所述数据处理流程对应的状态转换模型;
若所述接收到的目标数据满足所述流程启动条件,则通过状态转换模型对所述目标数据进行处理。
3.根据权利要求1所述的方法,其特征在于,所述根据所述至少两个处理节点中的数据节点对应的数据筛选信息,生成所述数据处理流程的流程启动条件之后,所述方法还包括:
根据所述数据处理流程包含的处理节点对应的节点信息,生成与所述数据处理流程对应的状态转换模型;
将所述状态转换模型中的初始状态的状态转换条件更新为所述流程启动条件,以便当所述目标数据满足所述流程启动条件时,通过所述状态转换模型对所述目标数据进行处理。
4.根据权利要求3所述的方法,其特征在于,所述当接收到的目标数据满足所述流程启动条件时,触发所述数据处理流程对所述目标数据进行处理,包括:
当所述接收到的目标数据满足所述流程启动条件时,则将所述初始状态转换至所述状态变换模型指示的目标状态;
通过所述状态转换模型的目标状态中的数据处理逻辑对所述目标数据进行处理。
5.根据权利要求1所述的方法,其特征在于,所述接收与所述数据处理流程关联的目标数据,包括:
接收候选数据,所述候选数据携带流程标识;
根据所述流程标识对所述候选数据进行筛选,得到与所述数据处理流程关联的目标数据。
6.根据权利要求5所述的方法,其特征在于,所述目标数据中包含数据属性信息,所述当接收到的目标数据满足所述流程启动条件时,触发所述数据处理流程对所述目标数据进行处理,包括:
根据目标数据的属性信息,对所述目标数据进行统计,得到所述目标数据的统计结果;
若所述统计结果指示所述接收到的目标数据满足所述流程启动条件,则通过所述数据处理流程对所述目标数据进行处理。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述获取数据处理流程之前,所述方法还包括:
通过客户端显示流程建立页面;
响应于针对所述流程新建页面的节点配置操作,确定被选择的配置的处理节点的节点类型和节点描述信息;
根据所述处理节点生成所述数据处理流程。
8.一种数据处理装置,其特征在于,包括:
获取单元,用于获取数据处理流程,所述数据处理流程包含至少两个处理节点,所述处理节点对应有节点类型;
确定单元,用于根据所述数据处理流程中每个处理节点的节点类型,确定所述数据处理流程的流程类型;
生成单元,用于若所述流程类型为目标流程类型,则根据所述至少两个处理节点中的数据节点对应的数据筛选信息,生成所述数据处理流程的流程启动条件,所述数据节点用于指示所述数据处理流程执行过程所需的数据;
接收单元,用于接收与所述数据处理流程关联的目标数据;
处理单元,用于当接收到的目标数据满足所述流程启动条件时,触发所述数据处理流程对所述目标数据进行处理。
9.一种计算机设备,其特征在于,包括存储器和处理器;所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的计算机程序,以执行权利要求1至7任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器加载,以执行权利要求1至7任一项所述的数据处理方法。
CN202211233151.2A 2022-10-10 2022-10-10 数据处理方法、装置、计算机设备和计算机可读存储介质 Pending CN115563160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211233151.2A CN115563160A (zh) 2022-10-10 2022-10-10 数据处理方法、装置、计算机设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211233151.2A CN115563160A (zh) 2022-10-10 2022-10-10 数据处理方法、装置、计算机设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115563160A true CN115563160A (zh) 2023-01-03

Family

ID=84745667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211233151.2A Pending CN115563160A (zh) 2022-10-10 2022-10-10 数据处理方法、装置、计算机设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115563160A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116204177A (zh) * 2023-03-17 2023-06-02 湖北坤盈数字科技有限公司 一种***业务模块开发耦合组装方法、装置及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116204177A (zh) * 2023-03-17 2023-06-02 湖北坤盈数字科技有限公司 一种***业务模块开发耦合组装方法、装置及计算机设备
CN116204177B (zh) * 2023-03-17 2023-10-03 湖北坤盈数字科技有限公司 一种***业务模块开发耦合组装方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
EP3502880B1 (en) Method for preloading application, storage medium, and terminal device
CN113656179B (zh) 云计算资源的调度方法及装置、电子设备和存储介质
CN110362401A (zh) 数据跑批方法、装置、存储介质及集群中的成员主机
CN111506434B (zh) 一种任务处理方法、装置及计算机可读存储介质
CN108989397A (zh) 数据推荐方法、装置及存储介质
CN110781373B (zh) 榜单更新方法、装置、可读介质和电子设备
CN106708623B (zh) 一种对象资源处理方法、装置及***
CN109818809A (zh) 交互式语音应答***及其数据处理方法和电话客服***
CN114282011B (zh) 知识图谱的构建方法和装置、图计算方法及装置
CN115563160A (zh) 数据处理方法、装置、计算机设备和计算机可读存储介质
CN107633080B (zh) 一种用户任务处理方法及装置
CN114153609A (zh) 资源控制方法及装置、电子设备、计算机可读存储介质
CN110909072B (zh) 一种数据表建立方法、装置及设备
CN101495978A (zh) 减少总线连接的消费者和产生者之间的消息流
CN112910708A (zh) 分布式服务调用方法及装置
CN112016009A (zh) 数据处理方法、余额获取方法、装置、设备和存储介质
CN111901405A (zh) 一种多节点监控方法、装置、电子设备及存储介质
CN112035581B (zh) 基于模型的任务处理方法、装置、设备和介质
CN111427682B (zh) 任务分配方法、***、装置及设备
CN111639741B (zh) 一种用于多目标QoS优化的服务自动组合代理***
CN113609349A (zh) 租赁车辆库存检测方法、装置及介质
CN113742581A (zh) 榜单的生成方法、装置、电子设备及可读存储介质
CN110391952B (zh) 一种性能分析方法、装置及其设备
CN113965900B (zh) 流量资源动态扩容的方法、装置、计算设备及存储介质
CN113836405B (zh) 信息查询方法、装置以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination