CN109800278A - 数据资产图谱使用方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种数据资产图谱使用方法、装置、计算机设备和存储介质。所述方法包括：获取数据资产图谱和任务指令；根据所述任务指令，得到对所述数据资产图谱的应用策略；根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果。采用本方法能够对于数据质量问题的快速自动预见。

Description

数据资产图谱使用方法、装置、计算机设备和存储介质

技术领域

本申请涉及大数据技术领域，特别是涉及一种数据资产图谱使用方法、装置、计算机设备和存储介质。

背景技术

随着大数据中心接入的数据资产日益扩大，数据资产及其关系逐渐变得复杂。对于数据中心的开发、管理和运维人员而言，快速了解、获取数据资产实体信息、资产关系、资产实体与底层平台的映射关系变得尤为困难，进而对数据质量的评估和核查造成了极大障碍。

目前传统方法一般通过元数据管理方法对数据资产信息进行***采集和人工录入，从而让用户可以了解数据资产的描述信息。数据质量核查则一般利用***元数据，采取制定规则进行稽核进行，通过事中和事后对数据质量进行评估形成数据质量报告，并以人工核查数据的方式对数据质量问题进行溯源。

然而，传统方法一般只有当问题发生后才能发现问题，人工查询和追溯数据间的关系和发生质量问题的实体，效率较低且具有较大的滞后性。

发明内容

基于此，有必要针对上述技术问题，提供一种数据资产图谱使用方法、装置、计算机设备和存储介质。

一种数据资产图谱使用方法，所述方法包括：

获取数据资产图谱和任务指令；

根据所述任务指令，得到对所述数据资产图谱的应用策略；

根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果。

在其中一个实施例中，所述根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果包括：

根据所述应用策略，得到所述查询操作对应的数据资产实体；

在所述数据资产图谱中，查询所述数据资产实体的信息。

在其中一个实施例中，所述在所述数据资产图谱中，查询所述数据资产实体的信息包括：

在所述数据资产图谱中查询所述数据资产实体的实体描述信息(实体链接的方式)；和/或

在所述数据资产图谱中查询所述数据资产实体与其他实体的关系。

在其中一个实施例中，所述根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果包括：

根据所述应用策略，得到所述关系发现操作对应的数据资产实体；

在所述数据资产图谱中，发现所述数据资产实体的直接关系信息和/或直接关系信息。

在其中一个实施例中，所述根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果包括：

根据所述应用策略，在所述数据资产图谱中得到实体与实体之间的事件信息；监控所述事件是否异常，当所述事件发生异常，则

根据所述实体之间的直接关系和/或隐含关系以及所述事件信息，得到对应的事件影响信息。

在其中一个实施例中，所述根据所述应用策略，得到实体与实体之间的事件信息包括：

通过图计算算法对所述数据资产图谱执行运算，得到所述实体的异常变化。

在其中一个实施例中，所述方法还包括：

根据所述异常变化，在所述数据资产图谱中溯源；

得到异常变化的起始端。

在其中一个实施例中，所述方法还包括:

根据所述异常变化以及实体间的关系，对所述数据资产图谱进行扩散预警操作；

根据所述扩散预警操作，对所述数据资产图谱中将会因所述异常变化而产生异常的实体进行预警。

在其中一个实施例中，所述方法还包括：

获取数据资产信息；

将所述数据资产信息进行数据资产模型转换，得到数据资产图谱。

在其中一个实施例中，所述获取数据资产信息包括：外部导入的信息和***内部采集的信息；

将所述外部导入的信息和所述***内部采集的信息进行整合，得到所述数据资产信息。

在其中一个实施例中，所述将所述数据资产信息进行数据资产模型转换，得到数据资产图谱包括：所述数据资产信息包括关系信息以及描述信息；

将所述关系信息以三元组的形式存储到图数据库；

将所述格式信息直接存储到所述图数据库。

在其中一个实施例中，所述装置包括：

数据获取模块，用于获取数据资产图谱和任务指令；

应用策略获取模块，用于根据所述任务指令，得到对所述数据资产图谱的应用策略；

使用结果生成模块，用于根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以上任一实施例所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一实施例所述方法的步骤。

上述数据资产图谱使用方法、装置、计算机设备和存储介质，通过任务指令对数据资产图谱进行查询应用、关系发现应用或事件影响应用，实现了对于数据质量问题的快速自动预见。

附图说明

图1为一个实施例中数据资产图谱使用方法的应用环境图；

图2为一个实施例中数据资产图谱使用方法的流程示意图；

图3为一个实施例中数据资产实体关系示意图；

图4为另一个实施例中通过实体异常变迁示意图；

图5为一个实施例中事件影响模拟示意图；

图6为一个实施例中事件起始端溯源示意图；

图7为一个实施例中数据资产图谱使用装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的数据资产图谱使用方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器103通过网络进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器103可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中，服务器103从图数据库104中获取数据资产图谱，从终端102中获取任务指令。进一步地，服务器103根据任务指令，得到对数据资产图谱的应用策略，从而服务器103通过数据资产图谱进行查询、关系发现或事件影响操作，得到任务指令的执行结果。

在一个实施例中，如图2所示，提供了一种数据资产图谱使用方法，以该方法应用于图1中的应用环境为例进行说明，包括以下步骤：

步骤S210，获取数据资产图谱和任务指令。其中所述数据资产图谱是指将数据资产实体以及数据资产实体之间的关系通过知识图谱的形式表现和存储的图数据。数据资产实体具体是指数据资产图谱中的承载数据信息及属性的元数据对象。进一步地，数据资产实体对应各自的描述信息。其中，任务指令是指对数据资产图谱进行使用的命令信息，包含目标信息。

步骤S220，根据所述任务指令，得到对所述数据资产图谱的应用策略。其中，应用策略是指根据任务指令生成的对于数据资产图谱进行具体操作的命令。可以理解地，在任务指令执行过程中，将任务指令进行具体化，细节化，得到能够实现任务指令对应的执行目标的具体应用流程。

步骤S230，根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果。具体地，查询操作是指在数据资产图谱中查询具体的数据资产实体。具体地，关系发现操作是指在数据资产图谱中发现的不同的数据资产实体之间的联系。其中，事件影响操作是指在数据资产图谱中根据已发生事件预警该事件将会对其他数据资产实体或其他数据资产实体之间的关系所产生的影响。其中，事件是指数据资产实体以及数据资产实体关系发生的动态发展变化信息。可以理解地，数据资产图谱包括：数据资产实体、数据资产实体间的关系以及事件。

上述数据资产图谱使用方法通过任务指令对数据资产图谱进行查询应用、关系发现应用或事件影响应用，实现了对于数据质量问题的快速自动预见。

在一个实施例中，所述根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果包括：

根据所述应用策略，得到所述查询操作对应的数据资产实体；

在所述数据资产图谱中，查询所述对应的数据资产实体的信息。在本实施例中，所述应用策略包括查询操作指令以及对应的数据资产实体相关信息。

在其中一个实施例中，所述在所述数据资产图谱中，查询所述对应的数据资产实体的信息包括：在所述数据资产图谱中查询所述对应的数据资产实体的实体描述信息。可选地，所述对应的数据资产实体的信息还可以是指对应的数据资产实体中存储位置等信息。其中，描述信息是指数据资产实体的本身的特性，例如名称、数据量、数据来源、数据创建时间、数据修改时间等。

作为一种具体的实时方式，请一并参阅表1提供了一种数据资产图谱中的具体数据资产实体。根据数据划分，该数据资产图谱包含的数据资产实体有模型、实体表、字段、程序、接口、数据源、数据服务、数据标准、应用、指标、标签、算法、密钥等。根据资源划分，该数据资产图谱包含租户、平台、网络、主机等。根据人员划分，该该数据资产图谱用户、人员、团队、部门等。

表1

在一个实施例中，所述根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果包括：

根据所述应用策略，得到所述关系发现操作对应的数据资产实体。可选的，在关系发现操作用，应用策略可以对应一个数据资产实体集合。

在所述数据资产图谱中，发现所述数据资产实体的直接关系信息和/或隐含关系信息。其中，在关系发现操作中包含发现对应的数据资产实体与数据资产图谱中不同种类的联系，或发现对应的数据资产实体与数据资产图谱中同种类的联系。其中，隐含关系是指实体与其不直接关联的实体之间的关系。例如实体A与实体B存在关系，实体B与实体C存在关系，则实体A与实体C存在隐含关系。

作为一种具体的实施例，请一并参阅表2：

表2

其中，指标、标签、应用、人员、团队、租户、平台均为数据资产实体。在其中一个实施例中，指标与指标之间的关系是指逻辑指标与原子指标间的关系。在其中一个实施例中，应用与指标之间的关系来源于指标的拼装报表。在其中一个实施例中，应用与标签之间的关系是指标签应用关系。

在一个实施例中，所述根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果包括：

根据所述应用策略，在所述数据资产图谱中得到实体与实体之间的事件信息。作为一种具体的实施方式，请参见表3：

表3

由表3可知，数据、模型、实体表、字段、程序以及接口均为实体。在其中一个实施例中，模型产生的事件为数据资产图谱的新建、上线或下线。

在另一个实施例中，实体表产生的事件为实体表的数据分发、表的新建、数据填入或表的授权。在又一个实施例中，字段产生的事件为：字段的标准新建或变更。在又一个实施例中，程序产生的事件为：程序运行、程序上线、下线或修改。在再一个实施例中，接口产生的时间为：接口入库、接口导出或数据分发。

监控所述事件是否异常，当所述事件发生异常则根据所述实体之间的直接关系和/或隐含关系以及所述事件信息，得到对应的事件影响信息。具体地，当事件发生异常，则可能会导致数据质量问题。可以理解地，当某一事件发生异常，会影响与其有关系的其他实体所进行的事件，从而导致其他实体也面临数据质量问题。其中，事件影响信息是指，产生异常的事件将会导致其他事件或实体也随之面临数据质量问题的信息。通过事件影响信息，能够提前预警将会受发生异常事件影响的实体或事件，从而采取规避措施，有效控制事件异常带来的损失。

在其中一个实施例中，通过实体之间的关联关系判断事件是否存在异常。如图3所示，指标B与表A存在直接的关联关系，与指标A\C\D存在间接的正相关关联关系。在某一时刻，指标B与其指标A\C\D变化情况不符，则可判断该指标存在异常。

在一个实施例中，所述根据所述应用策略，得到实体与实体之间的事件信息包括：通过图计算算法对所述数据资产图谱执行运算，得到所述实体的异常变化。

在另一个实施例中，根据一段时间内数据资产知识图谱的变化，通过图计算群体发现算法，计算资产关系与群体特征的异常变迁。如图4所示，状态一中的数据资产实体间两两相关联，且长期该关联关系，将其定义为一个数据资产群体。如状态二所示，指标1发生了明显的变化，且与其他资产实体间不再存在关联关系，则判断指标1发生了异常。

在一个实施例中，所述方法还包括:

根据所述异常变化以及实体间的关系，对所述数据资产图谱进行扩散预警操作；

根据所述扩散预警操作，对所述数据资产图谱中将会因所述异常变化而产生异常的实体进行预警。

作为一种具体的实施方式，请一并参阅图5，源***501口径发生异常，***记录了该变化事件。通过传导和扩展该事件变化产生的影响，模拟了该事件可能引发的数据资产质量问题，形成事件影响地图。该事件影响地图中，源***口径发生异常将会导致与源***501有直接关系的接口502的数据量增加和字段503的技术口径变更。进一步地，与源***501有隐含关系的服务器504的计算负载增加，网络505的吞吐量增加。进而，程序508将会产生延迟预警，程序509将会产生延迟预警。存储506产生部分节点预警。进而，模型510将会产生数据缺失预警，模型511将会产生字段质量预警。提供了事件变化可导致其数据资产实体的变化，从而提前获得数据资产质量预警。进一步地，指标513产生延迟预警、指标514产生错误预警、指标515产生错误预警、应用516产生错误预警、标签517产生错误预警。继而，应用C产生延迟预警，应用B产生错误预警。

在一个实施例中，所述方法还包括：根据所述异常变化，在所述数据资产图谱中溯源；得到异常变化的起始端。其中，溯源是指寻找产生异常变化原因的过程。通过快速查找异常变化的起始端，能够快速终止异常。

作为一种具体的实施方式，请一并参阅图6，指标301存在异常，自动检索到其相关的表302以及表303，并对表302以及表303进行检查，由此发现表303存在异常。继而，发现接口304及其接口存储306存在异常。通过检索与接口存储相关的实体，发现存在网络307中断。可选地，当网络307，与其他实体不存在关系时，溯源过程结束，确定网络307为异常变化的起始端。当网络307，与其他实体存在关系，但是经检查，其他实体均无异常，也可以判断网络307为异常变化的起始端。

在一个实施例中，所述方法还包括：获取数据资产信息；将所述数据资产信息进行数据资产模型转换，得到数据资产图谱。其中，所述获取数据资产信息包括：外部导入的信息和***内部采集的信息；将所述外部导入的信息和所述***内部采集的信息进行整合，得到所述数据资产信息。具体地，外部导入的信息包括，***装载的信息和人工录入的信息。

其中，***内部采集是指通过约定的采集规则，对现有的知识图谱信息进行定时采集以获取最新的数据信息。采集过程应尽量支持增量数据的抽取、转换与装载。***装载是指外部***通过约定的接口规则，定期填写***要求的数据资产信息。人工录入是指人工通过约定的格式，在***上不定期的录入相应的数据资产信息。

在一个实施例中，所述将所述数据资产信息进行数据资产模型转换，得到数据资产图谱包括：所述数据资产信息包括关系信息以及描述信息；将所述关系信息以三元组的形式存储到图数据库；将所述格式信息直接存储到所述图数据库。在另一个实施例中，设置冲突处理机制，根据所述冲突处理机制处理数据资产实体之间的冲突解决、属性融合以及关系合并。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种数据资产图谱使用装置，包括：所述装置包括：

数据获取模块701，用于获取数据资产图谱和任务指令；

应用策略获取模块702，用于根据所述任务指令，得到对所述数据资产图谱的应用策略；

使用结果生成模块703，用于根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果。

关于数据资产图谱使用装置的具体限定可以参见上文中对于数据资产图谱使用方法的限定，在此不再赘述。上述数据资产图谱使用装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据资产图谱。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据资产图谱使用方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以上任一实施例所述方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上任一实施例所述方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种数据资产图谱使用方法，其特征在于，所述方法包括：

获取数据资产图谱和任务指令；

根据所述任务指令，得到对所述数据资产图谱的应用策略；

根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果包括：

根据所述应用策略，得到所述查询操作对应的目标数据资产实体；

在所述数据资产图谱中，查询所述对应的数据资产实体的信息。

3.根据权利要求2所述的方法，其特征在于，所述在所述数据资产图谱中，查询所述数据资产实体的信息包括：

在所述数据资产图谱中查询所述数据资产实体的实体描述信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果包括：

根据所述应用策略，得到所述关系发现操作对应的数据资产实体；

在所述数据资产图谱中，发现所述数据资产实体的直接关系信息和/或隐含关系信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果包括：

根据所述应用策略，在所述数据资产图谱中得到实体与实体之间的事件信息；

监控所述事件是否异常，当所述事件发生异常，则

根据所述实体之间的直接关系和/或隐含关系以及所述事件信息，得到对应的事件影响信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述应用策略，得到实体与实体之间的事件信息包括：

通过图计算算法对所述数据资产图谱执行运算，得到所述实体的异常变化。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据所述异常变化，在所述数据资产图谱中溯源；

得到异常变化的起始端。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括:

根据所述异常变化以及实体间的关系，对所述数据资产图谱进行扩散预警操作；

根据所述扩散预警操作，对所述数据资产图谱中将会因所述异常变化而产生异常的实体进行预警。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取数据资产信息；

将所述数据资产信息进行数据资产模型转换，得到数据资产图谱。

10.根据权利要求9所述的方法，其特征在于，所述获取数据资产信息包括：外部导入的信息和***内部采集的信息；所述方法还包括：

将所述外部导入的信息和所述***内部采集的信息进行整合，得到所述数据资产信息。

11.根据权利要求10所述的方法，其特征在于，所述将所述外部导入的信息和所述***内部采集的信息进行整合，得到所述数据资产信息包括：

设置冲突处理机制；

根据所述冲突处理机制处理数据资产实体之间的冲突解决、属性融合以及关系合并。

12.根据权利要求9所述的方法，其特征在于，所述将所述数据资产信息进行数据资产模型转换，得到数据资产图谱包括：所述数据资产信息包括关系信息以及描述信息；

将所述关系信息以三元组的形式存储到图数据库；

将所述格式信息直接存储到所述图数据库。

13.一种数据资产图谱使用装置，其特征在于，所述装置包括：

数据获取模块，用于获取数据资产图谱和任务指令；

应用策略获取模块，用于根据所述任务指令，得到对所述数据资产图谱的应用策略；

使用结果生成模块，用于根据所述应用策略，对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作，得到所述任务指令的执行结果。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。