CN112732710A - 数据处理方法、装置以及电子设备 - Google Patents
数据处理方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN112732710A CN112732710A CN202011573611.7A CN202011573611A CN112732710A CN 112732710 A CN112732710 A CN 112732710A CN 202011573611 A CN202011573611 A CN 202011573611A CN 112732710 A CN112732710 A CN 112732710A
- Authority
- CN
- China
- Prior art keywords
- node
- data table
- changed
- data
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2393—Updating materialised views
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供了一种数据处理方法、装置以及电子设备,涉及数据处理技术领域,缓解了数据实时更新较难的技术问题。该方法包括:基于待检测数据生成第一数据表,所述第一数据表包括:主节点及子节点;监测所述主节点及所述子节点是否发生变化;当所述主节点或/和所述子节点发生变化时,根据变化的所述主节点或/和变化的所述子节点,控制预设更新平台更新所述第一数据表,得到目标数据表。
Description
技术领域
本申请涉及数据处理技术领域,尤其是涉及一种数据处理方法、装置以及电子设备。
背景技术
目前,企业获取客户信息,例如大量的工商数据后,通常是运行spark程序加载客户信息,再运行Spark Graphx计算客户信息,最后生成企业集团的知识图谱结果,即包含客户信息的数据表,根据该知识图谱结果可以查阅到客户信息。在执行上述整个任务流程时,为了生成最新的数据而不影响业务***对知识图谱结果的结果展示,以及全量大数据传输时效较长和任务运行长时间占用大量的内存和CPU资源,任务跑批通常是设定周批次运行任务。例如,设定任务跑批频次为一周,则每过一周执行一次任务,所以,每过一周更新一次变更的工商数据。
但是,工商数据可能会更新的较为频繁,例如,工商数据每天更新一次,如果还是一周执行一次任务,则会导致知识图谱结果中的信息更新不及时,所以,目前只能按周期更新知识图谱结果,而不能随时根据变化的工商数据而更新知识图谱结果。
发明内容
本申请的目的在于提供一种数据处理方法、装置以及电子设备,以缓解数据实时更新较难的技术问题。
第一方面,本申请实施例提供了一种数据处理方法,所述方法包括:
基于待检测数据生成第一数据表,所述第一数据表包括:主节点及子节点;
监测所述主节点及所述子节点是否发生变化;
当所述主节点或/和所述子节点发生变化时,根据变化的所述主节点或/和变化的所述子节点,控制预设更新平台更新所述第一数据表,得到目标数据表。
在一个可能的实现中,所述监测所述主节点及所述子节点是否发生变化的步骤,包括:
利用预设消息队列监测所述主节点及所述子节点是否发生变化;
当所述主节点或/和所述子节点发生变化时,通过预设消息队列向所述预设更新平台发送消息。
在一个可能的实现中,所述预设更新平台包括:Flink,或Spark Streming。
在一个可能的实现中,所述根据变化的所述主节点或/和变化的所述子节点,控制预设更新平台更新所述第一数据表,得到目标数据表的步骤,包括:
控制所述预设更新平台读取变化的所述主节点或/和变化的所述子节点,并读取所述第一数据表;
控制所述预设更新平台根据变化的所述主节点或/和变化的所述子节点更新所述第一数据表,得到目标数据表。
在一个可能的实现中,所述主节点及所述子节点均包括:基本属性数据;所述根据变化的所述主节点或/和变化的所述子节点,控制所述预设更新平台更新所述第一数据表,得到目标数据表的步骤,包括:
当所述基本属性数据发生变化时,根据变化的所述基本属性数据,控制所述预设更新平台更新所述第一数据表中的基本属性数据,得到目标数据表。
在一个可能的实现中,所述主节点及子节点均包括:所述主节点及子节点之间的关系数据;所述根据变化的所述主节点或/和变化的所述子节点,控制所述预设更新平台更新所述第一数据表,得到目标数据表的步骤,包括:
当所述主节点及子节点之间的关系数据发生变化时,根据变化的所述主节点及子节点之间的关系数据,控制所述预设更新平台更新所述第一数据表中的所述主节点及子节点之间的关系数据,得到目标数据表。
在一个可能的实现中,所述方法还包括:
预先建立关于数据表的索引,所述索引包括所述第一数据表;
将所述目标数据表存入所述索引中。
第二方面,提供了一种数据处理装置,包括:
生成模块,用于基于待检测数据生成第一数据表,所述第一数据表包括:主节点及子节点;
监测模块,用于监测所述主节点及所述子节点是否发生变化;
控制模块,用于当所述主节点或/和所述子节点发生变化时,根据变化的所述主节点或/和变化的所述子节点,控制所述预设更新平台更新所述第一数据表,得到目标数据表。
第三方面,本申请实施例又提供了一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的第一方面所述方法。
第四方面,本申请实施例又提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。
本申请实施例带来了以下有益效果:
本申请实施例提供的一种数据处理方法、装置及电子设备,能够基于待检测数据生成第一数据表,所述第一数据表包括:主节点及子节点;监测所述主节点及所述子节点是否发生变化;当所述主节点或/和所述子节点发生变化时,根据变化的所述主节点或/和变化的所述子节点,控制预设更新平台更新所述第一数据表,得到目标数据表。本方案中,由于待检测数据是一直变化的,基于待检测数据得到的第一数据表也是变化的,所以需要监测第一数据表中的主节点及子节点是否发生变化,当主节点或/和子节点发生变化时,通过控制预设更新平台更新第一数据表,最终得到最新的目标数据表。所以,当主节点或/和子节点发生变化时,通过控制预设更新平台更新第一数据表,可以实时得到最新的目标数据表,实现了对数据的实时更新,缓解了数据实时更新较难的技术问题。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据处理方法的流程示意图;
图2为本申请实施例提供的数据处理装置的结构示意图;
图3示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前,企业获取客户信息,例如大量的工商数据后,通常是运行spark程序加载客户信息,再运行Spark Graphx计算客户信息,最后生成企业集团的知识图谱结果,即包含客户信息的数据表,根据该知识图谱结果可以查阅到客户信息。在执行上述整个任务流程时,为了生成最新的数据而不影响业务***对知识图谱结果的结果展示,以及全量大数据传输时效较长和任务运行长时间占用大量的内存和CPU资源,任务跑批通常是设定周批次运行任务。例如,设定任务跑批频次为一周,则每过一周执行一次任务,所以,每过一周更新一次变更的工商数据。但是,工商数据可能会更新的较为频繁,例如,工商数据每天更新一次,如果还是一周执行一次任务,则会导致知识图谱结果中的信息更新不及时,所以,目前只能按周期更新知识图谱结果,而不能随时根据变化的工商数据而更新知识图谱结果。
基于此,本申请实施例提供了一种数据处理方法、装置及电子设备,通过该方法可以缓解数据实时更新较难的技术问题。
下面结合附图对本申请实施例进行进一步地介绍。
图1为本申请实施例提供的一种数据处理方法的流程示意图。其中,该方法应用于电子设备。如图1所示,该方法包括:
步骤S110,基于待检测数据生成第一数据表,第一数据表包括:主节点及子节点;
需要说明的是,可以利用Spark算法处理待检测数据,生成第一数据表,具体的,步骤一,获取企业的工商数据及其企业股权投资关系数据,根据企业间的股权投资关系进行实体抽取和关系抽取,加工出企业节点实体信息和企业间股权投资关系的结构化数据,并将此部分数据加载到Elasticsearch中,生成企业工商数据的全量节点表和关系数据表。步骤二、利用Spark算法执行定时批量任务,从Elasticsearch中全量节点表和关系数据表,加载到spark算法中,通过Spark Graphx的fromEdges、aggregateMessages等算法实现构建树形结构图,识别出树形结构图中的根节点,即母企业,再通过pregel等算法从关系中找出母公司的子企业,最后形成第一数据表,并存储在Kafka(指高吞吐量的分布式发布订阅消息***)当中。
所以,主节点及子节点均可以代表企业的工商数据,即基本属性数据,或者代表企业之间的关系数据,所以,电子设备根据第二数据表可以得出不同企业的基本属性数据和不同企业之间的关系数据。
步骤S120,监测主节点及子节点是否发生变化;
示例性的,确定企业的基本属性数据及企业之间的关系数据后,监测企业的基本属性数据及企业之间的关系数据是否发生变化。
步骤S130,当主节点或/和子节点发生变化时,根据变化的主节点或/和变化的子节点,控制预设更新平台更新第一数据表,得到目标数据表。
需要说明的是,预设更新平台是指***预先设定好的用于更新变化的主节点或/和变化的子节点的平台。
示例性的,当主节点或/和子节点发生变化时,获取全量节点表和关系数据表中变化的节点数据和变化的关系数据,并将变化的节点数据和变化的关系数据实时写入kafka(指高吞吐量的分布式发布订阅消息***)中;其中,变化的节点数据包括如企业名称变更及企业的法人变更等,变化的关系数据包括投资比例变更及投资类型变更等。然后,控制预设更新平台读取kafka中变化的节点数据和变化的关系数据,从而更新第一数据表,得到目标数据表。
在本步骤中,当企业的基本属性数据发生变化时,根据变化的企业的基本属性数据,控制预设更新平台更新第一数据表,得到目标数据表;或者,当企业之间的关系数据发生变化时,根据变化的企业之间的关系数据,控制预设更新平台更新第一数据表,得到目标数据表。如果企业的基本属性数据或/和企业之间的关系数据没有发生变化,则无需执行本步骤。本申请实施例可以基于待检测数据生成第一数据表,第一数据表包括:主节点及子节点;监测主节点及子节点是否发生变化;当主节点或/和子节点发生变化时,根据变化的主节点或/和变化的子节点,控制预设更新平台更新第一数据表,得到目标数据表。本方案中,由于待检测数据是一直变化的,基于待检测数据得到的第一数据表也是变化的,所以需要监测第一数据表中的主节点及子节点是否发生变化,当主节点或/和子节点发生变化时,通过控制预设更新平台更新第一数据表,最终得到最新的目标数据表。所以,当主节点或/和子节点发生变化时,通过控制预设更新平台更新第一数据表,可以实时得到最新的目标数据表,实现了对数据的实时更新,缓解了数据实时更新较难的技术问题。
下面对上述步骤进行详细介绍。
在一些实施例中,基于上述步骤S120,可以将获取的变化的主节点或/和变化的子节点写入预设更新平台中。作为一个示例,上述步骤S120可以包括如下步骤:
步骤a),利用预设消息队列监测主节点及子节点是否发生变化;
步骤b),当主节点或/和子节点发生变化时,通过预设消息队列向预设更新平台发送消息。
需要说明的是,预设消息队列是kafka提供的用于发送消息的队列,例如,当监测到主节点发生变化时,可以通过预设消息队列向预设更新平台发送关于主节点发生变化的信息。
在本发明实施例中,利用预设消息队列监测主节点及子节点是否发生变化;当主节点或/和子节点发生变化时,通过预设消息队列向预设更新平台发送消息。所以,通过预设消息队列可以及时向预设更新平台发送消息,以提醒预设更新平台主节点或/和子节点发生变化。
在一些实施例中,基于上述步骤S130,预设更新平台可以包含多种类型。基于此,预设更新平台包括:Flink,或SparkStreming。
需要说明的是,Flink指开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时***可以执行批处理和流处理程序。此外,Flink运行时本身也支持迭代算法的执行。
SparkStreaming也是基于核心Spark,Spark Streaming在内部的处理机制是,接收实时的输入数据流,并根据一定的时间间隔(如1秒等)拆分成一批批的数据,然后通过Spark Engine处理这些批数据,最终得到处理后的一批批结果数据。
所以,利用Flink,或SparkStreming等预设更新平台,可以实现数据的实时更新。
在一些实施例中,基于上述步骤S130,可以根据变化的主节点或/和变化的子节点,控制所述预设更新平台更新第一数据表,得到目标数据表。作为一个示例,上述步骤S130可以包括如下步骤:
步骤c),控制预设更新平台读取变化的主节点或/和变化的子节点,并读取第一数据表;
步骤d),控制预设更新平台根据变化的主节点或/和变化的子节点更新第一数据表,得到目标数据表。
示例性的,第一数据表存储在Kafka中,变化的主节点或/和变化的子节点也存储在kafka中,控制预设更新平台在Kafka中读取变化的主节点或/和变化的子节点,并读取第一数据表,然后控制预设更新平台根据变化的主节点或/和变化的子节点更新第一数据表,得到目标数据表,可以将目标数据表存储于Elasticsearch中,此时Elasticsearch中共存储有:第一数据表及目标数据表。
本申请实施例可以控制预设更新平台读取变化的主节点或/和变化的子节点,并读取第一数据表;控制预设更新平台根据变化的主节点或/和变化的子节点更新第一数据表,得到目标数据表。所以,电子设备可以通过控制预设更新平台更新第一数据表,得到实时更新的目标数据表。
在一些实施例中,可以根据变化的基本属性数据,更改主节点及子节点。作为一个示例,主节点及子节点均包括:基本属性数据;上述步骤S130可以包括如下步骤:
步骤e),当基本属性数据发生变化时,根据变化的基本属性数据,控制预设更新平台更新第一数据表中的基本属性数据,得到目标数据表。
示例性的,第一数据表中包括主节点及子节点,主节点及子节点均包括:基本属性数据,即主节点及子节点均包括各自企业的工商数据,此时第一数据表可以指包括所有主节点及子节点的企业工商数据的全量节点表,当基本属性数据发生变化时,确定基本属性数据对应的主节点或子节点,然后根据变化的基本属性数据,控制预设更新平台更新第一数据表中对应的主节点或子节点的基本属性数据,得到目标数据表。
在本申请实施例中,当基本属性数据发生变化时,根据变化的基本属性数据,控制预设更新平台更新第一数据表中的基本属性数据,得到目标数据表。所以,当基本属性数据发生变化时,可以通过预设更新平台及时更新第一数据表中的基本属性数据,进而得到最新的目标数据表。
在一些实施例中,可以根据变化的主节点及子节点之间的关系数据,更改主节点及子节点之间的关系数据。作为一个示例,主节点及子节点均包括:主节点及子节点之间的关系数据;上述步骤S130可以包括如下步骤:
步骤f),当主节点及子节点之间的关系数据发生变化时,根据变化的主节点及子节点之间的关系数据,控制预设更新平台更新第一数据表中的主节点及子节点之间的关系数据,得到目标数据表。
示例性的,第一数据表中包括主节点及子节点,主节点及子节点均包括:主节点及子节点之间的关系数据,即主节点及子节点均包括主节点与子节点之间的企业股权投资关系数据、子节点与子节点之间的企业股权投资关系数据,此时第一数据表可以指包括所有主节点与子节点之间、子节点与子节点之间的企业股权投资关系数据的关系数据表,当主节点与子节点之间的关系数据发生变化时,确定该关系数据对应的主节点或子节点,然后根据变化的该关系数据,控制预设更新平台更新第一数据表中对应的主节点或子节点的关系数据,得到目标数据表。
在本申请实施例中,当主节点及子节点之间的关系数据发生变化时,根据变化的主节点及子节点之间的关系数据,控制预设更新平台更新第一数据表中的主节点及子节点之间的关系数据,得到目标数据表。所以,当主节点及子节点之间的关系数据发生变化时,可以通过预设更新平台及时更新第一数据表中的关系数据,进而得到最新的目标数据表。
在一些实施例中,可以预先建立关于数据表的索引,以作为存储实时更新得到的目标数据表作为一个示例,该方法还可以包括以下步骤:
步骤g),预先建立关于数据表的索引,索引包括第一数据表;
步骤h),将目标数据表存入索引中。
对于上述步骤g),示例性的,在Elasticsearch中预先建立关于数据表的索引,当基于待检测数据生成第一数据表时,将第一数据表存入该索引,所以,该索引包括第一数据表。
对于上述步骤h),通过预设更新平台得到目标数据表后,可将目标数据表存入索引中,存储时,可根据时间顺序进行存储,例如,该索引中已有一个第一数据表,且位于第一行,当存储目标数据表时,将目标数据表存入第一行,将第一数据表下移一行,便于用户查看最新的目标数据表。
本申请实施例可以预先建立关于数据表的索引,索引包括第一数据表;将目标数据表存入索引中。所以,通过索引存储目标数据表,便于用户快速查看不同日期的目标数据表。
图2提供了一种数据处理装置的结构示意图。该装置可以应用于电子设备。如图2所示,数据处理装置200包括:
生成模块201,用于基于待检测数据生成第一数据表,第一数据表包括:主节点及子节点;
监测模块202,用于监测主节点及子节点是否发生变化;
控制模块203,用于当主节点或/和子节点发生变化时,根据变化的主节点或/和变化的子节点,控制预设更新平台更新第一数据表,得到目标数据表。
在一些实施例中,监测模块具体用于:
利用预设消息队列监测主节点及子节点是否发生变化;
当主节点或/和子节点发生变化时,通过预设消息队列向预设更新平台发送消息。
在一些实施例中,预设更新平台包括:Flink,或Spark Streming。
在一些实施例中,控制模块具体用于:
控制预设更新平台读取变化的主节点或/和变化的子节点,并读取第一数据表;
控制预设更新平台根据变化的主节点或/和变化的子节点更新第一数据表,得到目标数据表。
在一些实施例中,主节点及子节点均包括:基本属性数据;控制模块具体用于:
当所述基本属性数据发生变化时,根据变化的所述基本属性数据,控制所述预设更新平台更新所述第一数据表中的基本属性数据,得到目标数据表。
在一些实施例中,主节点及子节点均包括:主节点及子节点之间的关系数据;控制模块具体用于:
当主节点及子节点之间的关系数据发生变化时,根据变化的主节点及子节点之间的关系数据,控制预设更新平台更新第一数据表中的主节点及子节点之间的关系数据,得到目标数据表。
在一些实施例中,数据处理装置还用于:
预先建立关于数据表的索引,所述索引包括第一数据表;
将目标数据表存入索引中。
本申请实施例提供的数据处理装置,与上述实施例提供的数据处理方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
本申请实施例提供的一种电子设备,如图3所示,电子设备300包括存储器301、处理器302,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
参见图3,电子设备还包括:总线303和通信接口304,处理器302、通信接口304和存储器301通过总线303连接;处理器302用于执行存储器301中存储的可执行模块,例如计算机程序。
其中,存储器301可能包含高速随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口304(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线303可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器301用于存储程序,所述处理器302在接收到执行指令后,执行所述程序,前述本申请任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器302中,或者由处理器302实现。
处理器302可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器302中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器302可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器301,处理器302读取存储器301中的信息,结合其硬件完成上述方法的步骤。
对应于上述数据处理方法,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述数据处理方法的步骤。
本申请实施例所提供的数据处理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的***、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
再例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述数据处理方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
基于待检测数据生成第一数据表,所述第一数据表包括:主节点及子节点;
监测所述主节点及所述子节点是否发生变化;
当所述主节点或/和所述子节点发生变化时,根据变化的所述主节点或/和变化的所述子节点,控制预设更新平台更新所述第一数据表,得到目标数据表。
2.根据权利要求1所述的数据处理方法,其特征在于,所述监测所述主节点及所述子节点是否发生变化的步骤,包括:
利用预设消息队列监测所述主节点及所述子节点是否发生变化;
当所述主节点或/和所述子节点发生变化时,通过预设消息队列向所述预设更新平台发送消息。
3.根据权利要求1所述的数据处理方法,其特征在于,所述预设更新平台包括:Flink,或SparkStreming。
4.根据权利要求1所述的数据处理方法,其特征在于,所述根据变化的所述主节点或/和变化的所述子节点,控制预设更新平台更新所述第一数据表,得到目标数据表的步骤,包括:
控制所述预设更新平台读取变化的所述主节点或/和变化的所述子节点,并读取所述第一数据表;
控制所述预设更新平台根据变化的所述主节点或/和变化的所述子节点更新所述第一数据表,得到目标数据表。
5.根据权利要求1所述的数据处理方法,其特征在于,所述主节点及所述子节点均包括:基本属性数据;所述根据变化的所述主节点或/和变化的所述子节点,控制所述预设更新平台更新所述第一数据表,得到目标数据表的步骤,包括:
当所述基本属性数据发生变化时,根据变化的所述基本属性数据,控制所述预设更新平台更新所述第一数据表中的基本属性数据,得到目标数据表。
6.根据权利要求1所述的数据处理方法,其特征在于,所述主节点及子节点均包括:所述主节点及子节点之间的关系数据;所述根据变化的所述主节点或/和变化的所述子节点,控制所述预设更新平台更新所述第一数据表,得到目标数据表的步骤,包括:
当所述主节点及子节点之间的关系数据发生变化时,根据变化的所述主节点及子节点之间的关系数据,控制所述预设更新平台更新所述第一数据表中的所述主节点及子节点之间的关系数据,得到目标数据表。
7.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
预先建立关于数据表的索引,所述索引包括所述第一数据表;
将所述目标数据表存入所述索引中。
8.一种数据处理装置,其特征在于,包括:
生成模块,用于基于待检测数据生成第一数据表,所述第一数据表包括:主节点及子节点;
监测模块,用于监测所述主节点及所述子节点是否发生变化;
控制模块,用于当所述主节点或/和所述子节点发生变化时,根据变化的所述主节点或/和变化的所述子节点,控制所述预设更新平台更新所述第一数据表,得到目标数据表。
9.一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011573611.7A CN112732710A (zh) | 2020-12-25 | 2020-12-25 | 数据处理方法、装置以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011573611.7A CN112732710A (zh) | 2020-12-25 | 2020-12-25 | 数据处理方法、装置以及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112732710A true CN112732710A (zh) | 2021-04-30 |
Family
ID=75605968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011573611.7A Pending CN112732710A (zh) | 2020-12-25 | 2020-12-25 | 数据处理方法、装置以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112732710A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538147A (zh) * | 2021-07-27 | 2021-10-22 | 北京金堤征信服务有限公司 | 股权详情数据生成方法、装置及电子设备 |
CN114862436A (zh) * | 2022-03-14 | 2022-08-05 | 山东浪潮通软信息科技有限公司 | 一种数据预测分析方法、装置、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106484591A (zh) * | 2016-09-23 | 2017-03-08 | 上海爱数信息技术股份有限公司 | 一种基于分布式***的数据采集方法及采集*** |
CN110489415A (zh) * | 2019-07-23 | 2019-11-22 | 平安科技(深圳)有限公司 | 一种数据更新方法及相关设备 |
CN110636128A (zh) * | 2019-09-20 | 2019-12-31 | 苏州浪潮智能科技有限公司 | 一种数据同步方法、***、电子设备及存储介质 |
CN110750546A (zh) * | 2019-10-21 | 2020-02-04 | 中国民航信息网络股份有限公司 | 一种数据库的更新方法及装置 |
CN110909986A (zh) * | 2019-11-04 | 2020-03-24 | 苏宁金融科技(南京)有限公司 | 基于知识图谱的疑似实际控制人的风险识别方法及*** |
CN111930768A (zh) * | 2020-09-10 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 增量数据获取方法、发送方法、装置及其计算机存储介质 |
CN112069265A (zh) * | 2020-09-11 | 2020-12-11 | 中国工商银行股份有限公司 | 配置数据的同步方法、业务数据***、计算机***和介质 |
-
2020
- 2020-12-25 CN CN202011573611.7A patent/CN112732710A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106484591A (zh) * | 2016-09-23 | 2017-03-08 | 上海爱数信息技术股份有限公司 | 一种基于分布式***的数据采集方法及采集*** |
CN110489415A (zh) * | 2019-07-23 | 2019-11-22 | 平安科技(深圳)有限公司 | 一种数据更新方法及相关设备 |
CN110636128A (zh) * | 2019-09-20 | 2019-12-31 | 苏州浪潮智能科技有限公司 | 一种数据同步方法、***、电子设备及存储介质 |
CN110750546A (zh) * | 2019-10-21 | 2020-02-04 | 中国民航信息网络股份有限公司 | 一种数据库的更新方法及装置 |
CN110909986A (zh) * | 2019-11-04 | 2020-03-24 | 苏宁金融科技(南京)有限公司 | 基于知识图谱的疑似实际控制人的风险识别方法及*** |
CN111930768A (zh) * | 2020-09-10 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 增量数据获取方法、发送方法、装置及其计算机存储介质 |
CN112069265A (zh) * | 2020-09-11 | 2020-12-11 | 中国工商银行股份有限公司 | 配置数据的同步方法、业务数据***、计算机***和介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538147A (zh) * | 2021-07-27 | 2021-10-22 | 北京金堤征信服务有限公司 | 股权详情数据生成方法、装置及电子设备 |
CN113538147B (zh) * | 2021-07-27 | 2024-02-09 | 北京金堤征信服务有限公司 | 股权详情数据生成方法、装置及电子设备 |
CN114862436A (zh) * | 2022-03-14 | 2022-08-05 | 山东浪潮通软信息科技有限公司 | 一种数据预测分析方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10146599B2 (en) | System and method for a generic actor system container application | |
CN109298924B (zh) | 定时任务的管理方法、计算机可读存储介质和终端设备 | |
CN110119306B (zh) | 作业自动调度均衡方法、装置、设备及存储介质 | |
CN109117141B (zh) | 简化编程的方法、装置、电子设备、计算机可读存储介质 | |
CN109214741B (zh) | 一种监控指标的预警方法和预警*** | |
WO2014062637A2 (en) | Systems and methods for fault tolerant, adaptive execution of arbitrary queries at low latency | |
CN112732710A (zh) | 数据处理方法、装置以及电子设备 | |
CN113220431B (zh) | 跨云的分布式数据任务调度方法、设备及存储介质 | |
CN112581018B (zh) | 一种流程任务管理方法、***、装置以及存储介质 | |
CN111176789B (zh) | 一种容器集异常处理方法、装置、存储介质及服务器 | |
CN111880948A (zh) | 数据刷新方法、装置、电子设备及计算机可读存储介质 | |
CN111111176A (zh) | 游戏中物体lod的管理方法、装置及电子设备 | |
CN107577527B (zh) | 任务生成、调度方法及装置 | |
CN113760677A (zh) | 异常链路分析方法、装置、设备及存储介质 | |
CN108595685B (zh) | 一种数据处理方法及装置 | |
CN109684051A (zh) | 一种混合式大数据任务异步提交的方法和*** | |
CN116627599A (zh) | 一种任务处理方法、装置、电子设备和存储介质 | |
CN108021448B (zh) | 一种内核空间的优化方法及装置 | |
CN107562533B (zh) | 一种数据加载处理方法及装置 | |
CN116303418A (zh) | 基于物联网平台的海量规则处理方法、***及存储介质 | |
CN106708706B (zh) | 任务程序异常的报警信息处理方法和装置 | |
CN111679899B (zh) | 任务调度方法、装置、平台设备及存储介质 | |
CN113127221B (zh) | 一种限制消息消费速率的方法、装置、设备及存储介质 | |
CN114625502A (zh) | 一种投词任务处理方法、装置、存储介质和电子设备 | |
CN109739883B (zh) | 提升数据查询性能的方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |