CN112328575A - 数据资产血缘生成方法、装置、电子设备 - Google Patents

数据资产血缘生成方法、装置、电子设备 Download PDF

Info

Publication number
CN112328575A
CN112328575A CN202011260932.1A CN202011260932A CN112328575A CN 112328575 A CN112328575 A CN 112328575A CN 202011260932 A CN202011260932 A CN 202011260932A CN 112328575 A CN112328575 A CN 112328575A
Authority
CN
China
Prior art keywords
asset
data
relationship
department
consanguinity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011260932.1A
Other languages
English (en)
Other versions
CN112328575B (zh
Inventor
自建华
张天基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dt Dream Technology Co Ltd
Original Assignee
Hangzhou Dt Dream Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dt Dream Technology Co Ltd filed Critical Hangzhou Dt Dream Technology Co Ltd
Priority to CN202011260932.1A priority Critical patent/CN112328575B/zh
Priority claimed from CN202011260932.1A external-priority patent/CN112328575B/zh
Publication of CN112328575A publication Critical patent/CN112328575A/zh
Application granted granted Critical
Publication of CN112328575B publication Critical patent/CN112328575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/288Entity relationship models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

公开一种数据资产血缘生成方法、装置、电子设备及机器可读存储介质。在本申请中,基于从对接的数据治理平台获取数据治理后的数据表和与所述数据表对应的表级血缘关系,响应于对数据表的数据资产盘点的指令将已盘点的数据表确定为数据资产,基于表级血缘关系生成与数据资产对应的资产血缘关系,以及基于资产血缘关系进一步生成全链路资产使用血缘关系及全链路资产部门血缘关系。针对数据资产实现了包括资产维度、资产与使用部门维度、资产使用部门与资产所属部门维度的多维度全链路的血缘生成及展示,便于用户基于对数据资产进行溯源分析及影响分析,提高了数据资产的管理效率。

Description

数据资产血缘生成方法、装置、电子设备
技术领域
本申请一个或多个实施例涉及计算机应用技术领域,尤其涉及数据资产血缘生成方法、装置、电子设备及机器可读存储介质。
背景技术
在企业向数字化转型的过程中,将数据作为资产进行管理已经成为共识。如今,各企业都依赖于自身拥有的数据资产以做出更明智和有效的决策,利用数据资产管理,提供更好的产品和服务,降低成本及风险控制。然而,由于数据来源及其加工处理过程往往错综复杂,所以数据资产管理过程更是费时费力,如何建立针对数据资产的血缘管理,对提高数据资产的使用价值显得尤为重要。
发明内容
本申请提供一种数据资产血缘生成方法,应用于数据资产管理平台,所述方法包括:
从对接的数据治理平台获取数据治理后的数据表和与所述数据表对应的表级血缘关系;
响应于对所述数据表的数据资产盘点的指令,将已盘点的所述数据表确定为数据资产;
基于所述表级血缘关系,生成与数据资产对应的资产血缘关系。
可选的,还包括:
获取数据资产对应的使用部门;
基于数据资产对应的使用部门和所述资产血缘关系,生成与所述资产血缘关系对应的全链路资产使用血缘关系。
可选的,所述数据资产管理平台维护了用于指示数据资产对应归属部门的资产盘点信息表,所述方法还包括:
从所述资产盘点信息表中,获取数据资产对应的归属部门;
基于数据资产对应的归属部门和所述全链路资产使用血缘关系,生成与所述全链路资产使用血缘关系对应的全链路资产部门血缘关系。
可选的,还包括:
向用户输出展示所述资产血缘关系、所述全链路资产使用血缘关系和所述全链路资产部门血缘关系。
可选的,所述表级血缘关系为指示已盘点为数据资产的第一数据表和未盘点为数据资产的第二数据表的加工处理的上下游来源关系;
所述基于所述表级血缘关系,生成与数据资产对应的资产血缘关系,包括:
将所述上下游来源关系中的第二数据表,从所述上下游来源关系中进行删除,并基于所述上下游来源关系中剩余的第一数据表重新依次相连,以更新所述上下游来源关系;
将更新后的所述上下游来源关系中的重新依次相连的第一数据表替换为对应的数据资产,并将替换后的所述上下游来源关系确定为与数据资产对应的资产血缘关系。
可选的,所述获取数据资产对应的使用部门,包括:
获取与数据资产对应的数据表;
以该数据表作为查找索引向对接的数据共享交换平台发起查询,得到与该数据表对应的使用部门,将得到的使用部门确定为与数据资产对应的使用部门。
可选的,所述资产血缘关系包括存在上下游来源关系的若干个资产节点;
所述基于数据资产对应的使用部门和所述资产血缘关系,生成与所述资产血缘关系对应的全链路资产使用血缘关系,包括:
将与所述资产血缘关系中的各个资产节点分别匹配的数据资产的使用部门,作为使用部门节点添加至各个匹配的资产节点之后;
将使用部门节点添加匹配的资产节点后的所述资产血缘关系,确定为全链路资产使用血缘关系。
可选的,所述全链路资产部门血缘关系包括存在上下游来源关系的若干个资产节点和与该若干个资产节点中的最下游资产节点对应的使用部门节点;
所述基于数据资产对应的归属部门和所述全链路资产使用血缘关系,生成与所述全链路资产使用血缘关系对应的全链路资产部门血缘关系,包括:
将与所述全链路资产部门血缘关系中的各个资产节点分别匹配的数据资产的归属部门,作为归属部门节点直接替换各个匹配的资产节点;
将归属部门节点直接替换各个匹配的资产节点后的所述全链路资产部门血缘关系,确定为全链路资产部门血缘关系。
本申请还提供一种数据资产血缘生成装置,应用于数据资产管理平台,所述装置包括:
获取模块,从对接的数据治理平台获取数据治理后的数据表和与所述数据表对应的表级血缘关系;
确定模块,响应于对所述数据表的数据资产盘点的指令,将已盘点的所述数据表确定为数据资产;
生成模块,基于所述表级血缘关系,生成与数据资产对应的资产血缘关系。
可选的,还包括:
所述获取模块进一步,获取数据资产对应的使用部门;
所述生成模块进一步,基于数据资产对应的使用部门和所述资产血缘关系,生成与所述资产血缘关系对应的全链路资产使用血缘关系。
可选的,所述数据资产管理平台维护了用于指示数据资产对应归属部门的资产盘点信息表,所述方法还包括:
所述获取模块进一步,从所述资产盘点信息表中,获取数据资产对应的归属部门;
所述生成模块进一步,基于数据资产对应的归属部门和所述全链路资产使用血缘关系,生成与所述全链路资产使用血缘关系对应的全链路资产部门血缘关系。
可选的,所述装置还包括:
展示模块,向用户输出展示所述资产血缘关系、所述全链路资产使用血缘关系和所述全链路资产部门血缘关系。
可选的,所述表级血缘关系为指示已盘点为数据资产的第一数据表和未盘点为数据资产的第二数据表的加工处理的上下游来源关系;
在基于所述表级血缘关系生成与数据资产对应的资产血缘关系的过程中,所述生成模块进一步:
将所述上下游来源关系中的第二数据表,从所述上下游来源关系中进行删除,并基于所述上下游来源关系中剩余的第一数据表重新依次相连,以更新所述上下游来源关系;
将更新后的所述上下游来源关系中的重新依次相连的第一数据表替换为对应的数据资产,并将替换后的所述上下游来源关系确定为与数据资产对应的资产血缘关系。
可选的,在获取数据资产对应的使用部门的过程中,所述获取模块进一步:
获取与数据资产对应的数据表;
以该数据表作为查找索引向对接的数据共享交换平台发起查询,得到与该数据表对应的使用部门,将得到的使用部门确定为与数据资产对应的使用部门。
可选的,所述资产血缘关系包括存在上下游来源关系的若干个资产节点;
在基于数据资产对应的使用部门和所述资产血缘关系生成与所述资产血缘关系对应的全链路资产使用血缘关系的过程中,所述生成模块进一步:
将与所述资产血缘关系中的各个资产节点分别匹配的数据资产的使用部门,作为使用部门节点添加至各个匹配的资产节点之后;
将使用部门节点添加匹配的资产节点后的所述资产血缘关系,确定为全链路资产使用血缘关系。
可选的,所述全链路资产部门血缘关系包括存在上下游来源关系的若干个资产节点和与该若干个资产节点中的最下游资产节点对应的使用部门节点;
在基于数据资产对应的归属部门和所述全链路资产使用血缘关系生成与所述全链路资产使用血缘关系对应的全链路资产部门血缘关系的过程中,所述生成模块进一步:
将与所述全链路资产部门血缘关系中的各个资产节点分别匹配的数据资产的归属部门,作为归属部门节点直接替换各个匹配的资产节点;
将归属部门节点直接替换各个匹配的资产节点后的所述全链路资产部门血缘关系,确定为全链路资产部门血缘关系。
本申请还提供一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;
所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行上述的方法。
本申请还提供一种机器可读存储介质,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,执行上述的方法。
通过以上实施例,基于从对接的数据治理平台获取数据治理后的数据表和与所述数据表对应的表级血缘关系,响应于对数据表的数据资产盘点的指令将已盘点的数据表确定为数据资产,基于表级血缘关系生成与数据资产对应的资产血缘关系,以及基于资产血缘关系进一步生成全链路资产使用血缘关系及全链路资产部门血缘关系。针对数据资产实现了包括资产维度、资产与使用部门维度、资产使用部门与资产所属部门维度的多维度全链路的血缘生成及展示,便于用户基于对数据资产进行溯源分析及影响分析,提高了数据资产的管理效率。
附图说明
图1是一示例性实施例提供的一种数据资产血缘生成方法的流程图;
图2是一示例性实施例提供的一种电子设备的硬件结构图;
图3是一示例性实施例提供的一种数据资产血缘生成装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好地理解本说明书实施例中的技术方案,下面先对本说明书实施例涉及的数据资产血缘生成的相关技术,进行简要说明。
通常,在针对数据资产的血缘管理的现有技术方案中,仅能实现针对数据表的表级血缘生成。针对不同的数据资产之间的血缘、数据资产相关部门之间的血缘和数据资产与使用部门之间的血缘无法进行管理,导致用户无法快速高效地进行数据资产的溯源分析及影响分析。
基于此,本申请旨在提出一种,包括数据资产之间血缘、数据资产与使用部门之间血缘、数据资产相关的部门之间血缘的多维度血缘生成的技术方案。
在实现时,数据资产管理平台从对接的数据治理平台获取数据治理后的数据表和与数据表对应的表级血缘关系。
进一步地,数据资产管理平台响应于对数据表的数据资产盘点的指令,将已盘点的数据表确定为数据资产。
进一步地,数据资产管理平台基于表级血缘关系,生成与数据资产对应的资产血缘关系。
在以上方案中,基于从对接的数据治理平台获取数据治理后的数据表和与所述数据表对应的表级血缘关系,响应于对数据表的数据资产盘点的指令将已盘点的数据表确定为数据资产,基于表级血缘关系生成与数据资产对应的资产血缘关系,以及基于资产血缘关系进一步生成全链路资产使用血缘关系及全链路资产部门血缘关系。针对数据资产实现了包括资产维度、资产与使用部门维度、资产使用部门与资产所属部门维度的多维度全链路的血缘生成及展示,便于用户基于对数据资产进行溯源分析及影响分析,提高了数据资产的管理效率。
下面通过具体实施例并结合具体的应用场景对本申请进行描述。
请参见图1,图1是本申请一实施例提供的一种数据资产血缘生成方法的流程图,上述方法应用于数据资产管理平台,上述方法执行以下步骤:
步骤102、从对接的数据治理平台获取数据治理后的数据表和与上述数据表对应的表级血缘关系。
步骤104、响应于对上述数据表的数据资产盘点的指令,将已盘点的上述数据表确定为数据资产。
步骤106、基于上述表级血缘关系,生成与数据资产对应的资产血缘关系。
在本说明书中,上述数据治理平台,是指对原始的数据表进行数据加工及数据分析从而输出数据治理后的数据表的大数据平台;
例如,在实际应用中,数据治理平台具体可以为基于Hadoop、Spark等架构的大数据平台。该数据治理平台针对原始的海量数据表可以进行ETL数据处理及数据分析,输出数据治理后的数据表。
在本说明书中,上述数据资产管理平台,可以包括与上述数据治理平台对接的、用于获取上述数据治理平台输出数据治理后的数据表,并对获取的数据治理后的数据表进行管理的、任何架构的数据资产管理平台。
例如,在实际应用中,数据资产管理平台可以是分布式架构的数据资产管理平台,也可以是是集中式架构的数据资产管理平台。
在本说明书中,上述数据资产管理平台从上述数据治理平台获取数据治理后的数据表和与上述数据表对应的表级血缘关系;
其中,上述表级血缘关系,是指数据治理后的若干个数据表之间的上下游来源关系。该上下游来源关系具体可以存在数据继承的血缘关系的多个节点,每个节点具体可以使用数据表的表名进行标识。
例如,表级血缘关系数据治理平台中获取到7个数据表分别为T0、T1、T2、T3、T4、T5、T6、T7;其中,T3对应的表级血缘关系为:T0->T1->T2->T3->T4->T5->T6->T7,在该表级血缘关系中T0、T1、T2、T3、T4、T5、T6、T7为存在血缘关系的多个节点,该表级血缘关系中的“->”表示两个相邻节点之间的血缘关系。比如,以T0->T1为例,T0->T1表示在数据治理平台的数据治理的数据加工处理过程中,T0的数据加工后生成T1的数据,也即,在该表级血缘关系中,T1的数据来源自T0,T0是T1的上游节点,T1是T0的下游节点;针对表级血缘关系(T0->T1->T2->T3->T4->T5->T6->T7)中的所有其它节点,与T0->T1类似,以此类推,这里不再赘述。
在本说明书中,在获取经过数据治理的数据表后,上述数据资产管理平台可以将数据表向用户输出展示,以使用户进行数据资产盘点。
例如,在实际应用中,数据资产管理平台可以通过Web界面/命令行等方将获取的数据表向用户输出展示。比如:数据资产管理平台将获取到7个数据表(T0、T1、T2、T3、T4、T5、T6、T7)向用户输出展示,以使用户进行数据资产盘点。比如:用户对数据资产管理平台的界面输出展示的7个数据表(T0、T1、T2、T3、T4、T5、T6、T7)通过界面配置下发将7个数据表其中的3个数据表(T1、T3、T7)盘点为数据资产的数据资产盘点的指令;其中,数据资产和数据表的对应关系包括:资产A对应T3、资产B对应T1、资产C对应T7。
在本说明书中,上述数据资产管理平台接收并响应于对数据表的数据资产盘点的指令,将已盘点的数据表确定为数据资产。
接着以上示例继续举例,数据资产管理平台接收并响应于对3个数据表(T1、T3、T7)的数据资产盘点的指令,将已盘点的数据表(T1、T3、T7)确定为数据资产(资产B、资产A、资产C)。
需要说明的是,在实际应用中,在数据资产管理平台获取数据治理后的若干个数据表后,如果用户未通过数据资产管理平台下发针对某些数据表盘点为数据资产的配置指令,则该某些数据表仅保存在数据资产管理平台中但并不是数据资产。比如:在前文示例的过程中仅3个数据表(T1、T3、T7)被盘点后确定为数据资产(资产B、资产A、资产C),而5个数据表(T0、T2、T4、T5、T6)未被盘点为数据资产。
在本说明书中,基于上述表级血缘关系,上述数据资产管理平台生成与数据资产对应的资产血缘关系。
例如,以表级血缘关系为T0->T1->T2->T3->T4->T5->T6->T7,数据资产为前文示例的资产B、资产A、资产C为例,数据资产管理平台基于表级血缘关系(T0->T1->T2->T3->T4->T5->T6->T7)生成与数据资产(资产B、资产A、资产C)对应的资产血缘关系。
在示出的一种实施方式中,上述表级血缘关系为指示已盘点为数据资产的第一数据表和未盘点为数据资产的第二数据表的加工处理的上下游来源关系;在基于上述表级血缘关系生成与数据资产对应的资产血缘关系的过程中,上述数据资产管理平台将上述上下游来源关系中的第二数据表,从上述上下游来源关系中进行删除,并基于上述上下游来源关系中剩余的第一数据表重新依次相连,以更新上述上下游来源关系。
例如,以表级血缘关系为T0->T1->T2->T3->T4->T5->T6->T7为例,该表级血缘关系包括已盘点为数据资产的第一数据表(T1、T3、T7)和未盘点为数据资产的第二数据表(T0、T2、T4、T5、T6)的加工处理的上下游来源关系(T0->T1->T2->T3->T4->T5->T6->T7);数据资产管理平台将该上下游来源关系(T0->T1->T2->T3->T4->T5->T6->T7)中的第二数据表(T0、T2、T4、T5、T6),从该上下游来源关系中进行删除,并将该上下游来源关系中剩余的第一数据表(T1、T3、T7)重新依次相连,以更新该上下游来源关系,则更新后的上下游来源关系为T1->T3->T7。
在本说明书中,进一步地,上述数据资产管理平台将更新后的上述上下游来源关系中的重新依次相连的第一数据表替换为对应的数据资产,并将替换后的上述上下游来源关系确定为与数据资产对应的资产血缘关系。
接着以上示例继续举例,数据资产管理平台将更新后的上下游来源关系(T1->T3->T7)中的重新依次相连的第一数据表(T1、T3、T7)替换为对应的数据资产(资产B、资产A、资产C);其中,请参见前文示例中描述的资产B对应T1,资产A对应T3,资产C对应T7),则该上下游来源关系T1->T3->T7中的各个表替换为对应的资产,该上下游来源关系由T1->T3->T7则变为资产B->资产A->资产C,将资产B->资产A->资产C确定为各个资产之间的血缘,也即,资产血缘关系。
在示出的一种实施方式中,上述数据资产管理平台还可以获取数据资产对应的使用部门。
例如,以数据资产包括资产B、资产A、资产C为例,数据资产管理平台还可以获取资产B、资产A、资产C分别对应的使用部门。
在示出的一种实施方式中,在获取数据资产对应的使用部门的过程中,上述数据资产管理平台可以获取与数据资产对应的数据表,并以该数据表作为查找索引向对接的数据共享交换平台发起查询,得到与该数据表对应的使用部门,将得到的使用部门确定为与数据资产对应的使用部门。
接着以上示例继续举例,数据资产管理平台可以获取与数据资产(资产B、资产A、资产C)分别对应的数据表(T1、T3、T7),并以该数据表(T1、T3、T7)的表名作为查找索引分别向对接的数据共享交换平台发起查询,得到与该数据表(T1、T3、T7)分别对应的使用部门(比如:表T1没有被任何部门使用、T3被共享交换平台通过ETL工具共享或开放给部门4使用、T7数据被共享交换平台通过ETL工具共享或开放给部门5使用),将得到的使用部门(部门4,部门5)分别确定为与数据资产(资产A、资产C)对应的使用部门,也即,数据资产(资产A、资产C)与对应的使用部门(部门4,部门5)之间的映射关系分别为:资产A->部门4,资产C->部门5。
在示出的一种实施方式中,在获取数据资产对应的使用部门后,上述数据资产管理平台基于获取的数据资产对应的使用部门和上述资产血缘关系,生成与上述资产血缘关系对应的全链路资产使用血缘关系。
例如,在获取数据资产对应的使用部门为:资产A->部门4,资产C->部门5后,数据资产管理平台基于数据资产对应的使用部门(资产A->部门4,资产C->部门5)和资产血缘关系(资产B->资产A->资产C),生成与该资产血缘关系对应的全链路资产使用血缘关系。
在示出的一种实施方式中,上述资产血缘关系包括存在上下游来源关系的若干个资产节点,在基于数据资产对应的使用部门和上述资产血缘关系生成与上述资产血缘关系对应的全链路资产使用血缘关系的过程中,上述数据资产管理平台将与上述资产血缘关系中的各个资产节点分别匹配的数据资产的使用部门,作为使用部门节点添加至各个匹配的资产节点之后,将使用部门节点添加匹配的资产节点后的上述资产血缘关系,确定为全链路资产使用血缘关系。
例如,以资产血缘关系为:资产B->资产A->资产C为例,资产B->资产A->资产C包括存在上下游来源关系的若干个资产节点(资产B、资产A、资产C),数据资产管理平台将与资产血缘关系(资产B->资产A->资产C)中的各个资产节点(资产B、资产A、资产C)分别匹配的数据资产(仅资产A、资产C存在对应的使用部门)的使用部门(资产A对应的使用部门为部门4,资产C对应的使用部门为部门5),作为使用部门节点(部门4、部门5)分别添加至各个匹配的资产节点(资产A、资产C)之后,分别生成两条全链路资产使用血缘关系。
换句话来说就是,针对资产B->资产A->资产C,由于资产C对应的使用部门为部门5,则在资产B->资产A->资产C中的资产C之后添加部门5后生成:资产B->资产A->资产C->部门5,将资产B->资产A->资产C->部门5确定为一条全链路资产使用血缘关系。
类似地,针对资产B->资产A->资产C,由于资产A对应的使用部门为部门4,则在资产B->资产A->资产C中的资产A之后添加部门4后生成:资产B->资产A->部门4,将资产B->资产A->部门4确定为另一条全链路资产使用血缘关系。
需要说明的是,在使用部门作为使用部门节点添加至各个匹配的资产节点之后生成全链路资产使用血缘关系时,该使用部门作为通常作为最末级的节点。比如:针对资产B->资产A->资产C,将资产A的使用部门:部门4,添加至资产A之后时,同时将资产C从资产B->资产A->资产C中删除,得到全链路资产使用血缘关系:资产B->资产A->部门4,资产A的使用部门:部门4作为该全链路资产使用血缘关系中的最末级的节点。
在示出的一种实施方式中,上述数据资产管理平台维护了用于指示数据资产对应归属部门的资产盘点信息表,在生成与上述资产血缘关系对应的上述全链路资产使用血缘关系后,上述数据资产管理平台还可以从上述资产盘点信息表中获取数据资产对应的归属部门,并基于数据资产对应的归属部门和上述全链路资产使用血缘关系,生成与上述全链路资产使用血缘关系对应的全链路资产部门血缘关系。
例如,以数据资产包括资产B、资产A、资产C为例,在用户通过数据资产管理平台对数据表(T1、T3、T7)进行盘点确定与数据表(T1、T3、T7)分别对应的数据资产(资产B、资产A、资产C)时,通常数据资产管理平台还可以保存资产盘点信息表,该资产盘点信息表至少包括用于指示数据资产对应归属部门,比如:资产A属于部门1,资产B属于部门2,资产C属于部门3;数据资产管理平台还可以从该资产盘点信息表中获取数据资产(资产B、资产A、资产C)分别对应的归属部门(部门2、部门1、部门3),并基于数据资产(资产B、资产A、资产C)分别对应的归属部门(部门2、部门1、部门3)和前文示例的两条全链路资产使用血缘关系(全链路资产使用血缘关系1:资产B->资产A->资产C->部门5,全链路资产使用血缘关系2:资产B->资产A->部门4),生成与该两条全链路资产使用血缘关系分别对应的两条全链路资产部门血缘关系。
在示出的一种实施方式中,上述全链路资产部门血缘关系包括存在上下游来源关系的若干个资产节点和与该若干个资产节点中的最下游资产节点对应的使用部门节点,在基于数据资产对应的归属部门和上述全链路资产使用血缘关系生成与上述全链路资产使用血缘关系对应的全链路资产部门血缘关系的过程中,上述数据资产管理平台将与上述全链路资产部门血缘关系中的各个资产节点分别匹配的数据资产的归属部门,作为归属部门节点直接替换各个匹配的资产节点,并将归属部门节点直接替换各个匹配的资产节点后的上述全链路资产部门血缘关系,确定为全链路资产部门血缘关系。
接着以上示例继续举例,两条全链路资产使用血缘关系包括:全链路资产使用血缘关系1、全链路资产使用血缘关系2;
其中,全链路资产使用血缘关系1:资产B->资产A->资产C->部门5,全链路资产使用血缘关系1包括存在上下游来源关系的若干个资产节点(资产B、资产A、资产C)和与该若干个资产节点(资产B、资产A、资产C)中的最下游资产节点(该全链路资产使用血缘关系1中的资产C)对应的使用部门节点(部门5)。
数据资产管理平台将与全链路资产部门血缘关系1中的各个资产节点(资产B、资产A、资产C)分别匹配的数据资产的归属部门(部门2、部门1、部门3),作为归属部门节点直接替换各个匹配的资产节点(资产B、资产A、资产C),并将归属部门节点直接替换各个匹配的资产节点后的上述全链路资产部门血缘关系,确定为全链路资产部门血缘关系1。
换句话说,将全链路资产使用血缘关系1:资产B->资产A->资产C->部门5中的资产B、资产A、资产C分别用对应的归属部门部门2、部门1、部门3进行替换生成部门2->部门1->部门3->部门5,将部门2->部门1->部门3->部门5确定为与全链路资产使用血缘关系1对应的全链路资产部门血缘关系1。
针对全链路资产使用血缘关系2:资产B->资产A->部门4,与全链路资产使用血缘关系1过程类似,将全链路资产使用血缘关系2:资产B->资产A->部门4中的资产B、资产A分别用对应的归属部门部门2、部门1进行替换生成部门2->部门1->部门4,将部门2->部门1->部门4确定为与全链路资产使用血缘关系2对应的全链路资产部门血缘关系2。此时,两条全链路资产部门包括:全链路资产部门血缘关系1、全链路资产部门血缘关系2。
在示出的一种实施方式中,在上述全链路资产部门血缘关系生成后,上述数据资产管理平台可以将生成的上述资产血缘关系、上述全链路资产使用血缘关系和上述全链路资产部门血缘关系。
例如,数据资产管理平台可以将生成的资产血缘关系(资产B->资产A->资产C)、两条全链路资产使用血缘关系(全链路资产使用血缘关系1、全链路资产使用血缘关系2)和两条全链路资产部门血缘关系(全链路资产部门血缘关系1、全链路资产部门血缘关系2)通过界面或命令行等方式,向用户输出展示。
在本说明书中,用户可以针对上述数据资产管理平台展示的上述资产血缘关系、上述全链路资产使用血缘关系和上述全链路资产部门血缘关系,对各个数据资产进行管理。
例如,针对资产A,用户可以通过数据资产管理平台进一步对资产溯源分析和影响分析。比如:基于资产血缘关系(比如:资产B->资产A->资产C),可以分析出资产A的数据来源来自哪些上游资产,资产A的数据又被加工后作为哪些资产下游资产的数据来源;同时,基于全链路资产使用血缘关系(比如:前文示例描述的两条全链路资产使用血缘关系),还可以分析资产A影响的使用部门都有哪些,方便在资产A变化时,由数据资产管理***基于全链路资产使用血缘关系及时触发预警或日志记录。同时,基于全链路资产部门血缘关系(比如:前文示例描述的两条全链路资产部门血缘关系),还可以从分析资产A对应的归属部门和使用部门的部门间的影响和依赖关系。由此,在用户对数据资产进行溯源分析及影响分析的过程中,极大地提高了数据资产的管理效率。
在以上技术方案中,基于从对接的数据治理平台获取数据治理后的数据表和与所述数据表对应的表级血缘关系,响应于对数据表的数据资产盘点的指令将已盘点的数据表确定为数据资产,基于表级血缘关系生成与数据资产对应的资产血缘关系,以及基于资产血缘关系进一步生成全链路资产使用血缘关系及全链路资产部门血缘关系。针对数据资产实现了包括资产维度、资产与使用部门维度、资产使用部门与资产所属部门维度的多维度全链路的血缘生成及展示,便于用户基于对数据资产进行溯源分析及影响分析,提高了数据资产的管理效率。
与上述方法实施例相对应,本说明书还提供了一种数据资产血缘生成装置的实施例。本说明书的数据资产血缘生成装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图2所示,为本说明书的数据资产血缘生成装置所在电子设备的一种硬件结构图,除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
图3是本说明书一示例性实施例示出的一种数据资产血缘生成装置的框图。
请参见图3,所述数据资产血缘生成装置30可以应用于数据资产管理平台,所述装置包括:
获取模块301,从对接的数据治理平台获取数据治理后的数据表和与所述数据表对应的表级血缘关系;
确定模块302,响应于对所述数据表的数据资产盘点的指令,将已盘点的所述数据表确定为数据资产;
生成模块303,基于所述表级血缘关系,生成与数据资产对应的资产血缘关系。
在本实施例中,还包括:
所述获取模块301进一步,获取数据资产对应的使用部门;
所述生成模块302进一步,基于数据资产对应的使用部门和所述资产血缘关系,生成与所述资产血缘关系对应的全链路资产使用血缘关系。
在本实施例中,所述数据资产管理平台维护了用于指示数据资产对应归属部门的资产盘点信息表,所述方法还包括:
所述获取模块301进一步,从所述资产盘点信息表中,获取数据资产对应的归属部门;
所述生成模块302进一步,基于数据资产对应的归属部门和所述全链路资产使用血缘关系,生成与所述全链路资产使用血缘关系对应的全链路资产部门血缘关系。
在本实施例中,所述装置还包括:
展示模块304(图3中未示出),向用户输出展示所述资产血缘关系、所述全链路资产使用血缘关系和所述全链路资产部门血缘关系。
在本实施例中,所述表级血缘关系为指示已盘点为数据资产的第一数据表和未盘点为数据资产的第二数据表的加工处理的上下游来源关系;
在基于所述表级血缘关系生成与数据资产对应的资产血缘关系的过程中,所述生成模块302进一步:
将所述上下游来源关系中的第二数据表,从所述上下游来源关系中进行删除,并基于所述上下游来源关系中剩余的第一数据表重新依次相连,以更新所述上下游来源关系;
将更新后的所述上下游来源关系中的重新依次相连的第一数据表替换为对应的数据资产,并将替换后的所述上下游来源关系确定为与数据资产对应的资产血缘关系。
在本实施例中,在获取数据资产对应的使用部门的过程中,所述获取模块301进一步:
获取与数据资产对应的数据表;
以该数据表作为查找索引向对接的数据共享交换平台发起查询,得到与该数据表对应的使用部门,将得到的使用部门确定为与数据资产对应的使用部门。
在本实施例中,所述资产血缘关系包括存在上下游来源关系的若干个资产节点;
在基于数据资产对应的使用部门和所述资产血缘关系生成与所述资产血缘关系对应的全链路资产使用血缘关系的过程中,所述生成模块302进一步:
将与所述资产血缘关系中的各个资产节点分别匹配的数据资产的使用部门,作为使用部门节点添加至各个匹配的资产节点之后;
将使用部门节点添加匹配的资产节点后的所述资产血缘关系,确定为全链路资产使用血缘关系。
在本实施例中,所述全链路资产部门血缘关系包括存在上下游来源关系的若干个资产节点和与该若干个资产节点中的最下游资产节点对应的使用部门节点;
在基于数据资产对应的归属部门和所述全链路资产使用血缘关系生成与所述全链路资产使用血缘关系对应的全链路资产部门血缘关系的过程中,所述生成模块302进一步:
将与所述全链路资产部门血缘关系中的各个资产节点分别匹配的数据资产的归属部门,作为归属部门节点直接替换各个匹配的资产节点;
将归属部门节点直接替换各个匹配的资产节点后的所述全链路资产部门血缘关系,确定为全链路资产部门血缘关系。
上述实施例阐明的装置、装置、模块或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。

Claims (11)

1.一种数据资产血缘生成方法,应用于数据资产管理平台,所述方法包括:
从对接的数据治理平台获取数据治理后的数据表和与所述数据表对应的表级血缘关系;
响应于对所述数据表的数据资产盘点的指令,将已盘点的所述数据表确定为数据资产;
基于所述表级血缘关系,生成与数据资产对应的资产血缘关系。
2.根据权利要求1所述的方法,还包括:
获取数据资产对应的使用部门;
基于数据资产对应的使用部门和所述资产血缘关系,生成与所述资产血缘关系对应的全链路资产使用血缘关系。
3.根据权利要求2所述的方法,所述数据资产管理平台维护了用于指示数据资产对应归属部门的资产盘点信息表,所述方法还包括:
从所述资产盘点信息表中,获取数据资产对应的归属部门;
基于数据资产对应的归属部门和所述全链路资产使用血缘关系,生成与所述全链路资产使用血缘关系对应的全链路资产部门血缘关系。
4.根据权利要求3所述的方法,还包括:
向用户输出展示所述资产血缘关系、所述全链路资产使用血缘关系和所述全链路资产部门血缘关系。
5.根据权利要求1所述的方法,所述表级血缘关系为指示已盘点为数据资产的第一数据表和未盘点为数据资产的第二数据表的加工处理的上下游来源关系;
所述基于所述表级血缘关系,生成与数据资产对应的资产血缘关系,包括:
将所述上下游来源关系中的第二数据表,从所述上下游来源关系中进行删除,并基于所述上下游来源关系中剩余的第一数据表重新依次相连,以更新所述上下游来源关系;
将更新后的所述上下游来源关系中的重新依次相连的第一数据表替换为对应的数据资产,并将替换后的所述上下游来源关系确定为与数据资产对应的资产血缘关系。
6.根据权利要求2所述的方法,所述获取数据资产对应的使用部门,包括:
获取与数据资产对应的数据表;
以该数据表作为查找索引向对接的数据共享交换平台发起查询,得到与该数据表对应的使用部门,将得到的使用部门确定为与数据资产对应的使用部门。
7.根据权利要求2所述的方法,所述资产血缘关系包括存在上下游来源关系的若干个资产节点;
所述基于数据资产对应的使用部门和所述资产血缘关系,生成与所述资产血缘关系对应的全链路资产使用血缘关系,包括:
将与所述资产血缘关系中的各个资产节点分别匹配的数据资产的使用部门,作为使用部门节点添加至各个匹配的资产节点之后;
将使用部门节点添加匹配的资产节点后的所述资产血缘关系,确定为全链路资产使用血缘关系。
8.根据权利要求3所述的方法,所述全链路资产部门血缘关系包括存在上下游来源关系的若干个资产节点和与该若干个资产节点中的最下游资产节点对应的使用部门节点;
所述基于数据资产对应的归属部门和所述全链路资产使用血缘关系,生成与所述全链路资产使用血缘关系对应的全链路资产部门血缘关系,包括:
将与所述全链路资产部门血缘关系中的各个资产节点分别匹配的数据资产的归属部门,作为归属部门节点直接替换各个匹配的资产节点;
将归属部门节点直接替换各个匹配的资产节点后的所述全链路资产部门血缘关系,确定为全链路资产部门血缘关系。
9.一种数据资产血缘生成装置,应用于数据资产管理平台,所述装置包括:
获取模块,从对接的数据治理平台获取数据治理后的数据表和与所述数据表对应的表级血缘关系;
确定模块,响应于对所述数据表的数据资产盘点的指令,将已盘点的所述数据表确定为数据资产;
生成模块,基于所述表级血缘关系,生成与数据资产对应的资产血缘关系。
10.一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;
所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行如权利要求1至8任一项所述的方法。
11.一种机器可读存储介质,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现权利要求1至8任一项所述的方法。
CN202011260932.1A 2020-11-12 数据资产血缘生成方法、装置、电子设备 Active CN112328575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011260932.1A CN112328575B (zh) 2020-11-12 数据资产血缘生成方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011260932.1A CN112328575B (zh) 2020-11-12 数据资产血缘生成方法、装置、电子设备

Publications (2)

Publication Number Publication Date
CN112328575A true CN112328575A (zh) 2021-02-05
CN112328575B CN112328575B (zh) 2024-07-05

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948381A (zh) * 2021-02-25 2021-06-11 平安科技(深圳)有限公司 数据处理方法、***、计算机设备及可读存储介质
CN113282678A (zh) * 2021-03-30 2021-08-20 杭州数梦工场科技有限公司 数据血缘关系展示方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558260B1 (en) * 2015-11-02 2017-01-31 International Business Machines Corporation Establishing governance rules over data assets
CN106934538A (zh) * 2017-03-03 2017-07-07 国网湖北省电力公司 一种基于数据血缘和基因比对的电网数据融合方法
CN109614433A (zh) * 2018-12-13 2019-04-12 杭州数梦工场科技有限公司 业务***间数据血缘的识别方法、装置、设备及存储介质
CN110232098A (zh) * 2019-04-22 2019-09-13 汇通达网络股份有限公司 一种基于数据治理及血缘关系设计的数据仓库***
CN111125229A (zh) * 2019-12-24 2020-05-08 杭州数梦工场科技有限公司 数据血缘生成方法、装置、电子设备
CN111258988A (zh) * 2020-02-05 2020-06-09 中国工商银行股份有限公司 资产管理方法、装置、电子设备以及介质
CN111694858A (zh) * 2020-04-28 2020-09-22 平安科技(深圳)有限公司 数据血缘分析方法、装置、设备及计算机可读存储介质
CN111797157A (zh) * 2020-07-21 2020-10-20 政采云有限公司 一种数据处理方法、***及电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558260B1 (en) * 2015-11-02 2017-01-31 International Business Machines Corporation Establishing governance rules over data assets
CN106934538A (zh) * 2017-03-03 2017-07-07 国网湖北省电力公司 一种基于数据血缘和基因比对的电网数据融合方法
CN109614433A (zh) * 2018-12-13 2019-04-12 杭州数梦工场科技有限公司 业务***间数据血缘的识别方法、装置、设备及存储介质
CN110232098A (zh) * 2019-04-22 2019-09-13 汇通达网络股份有限公司 一种基于数据治理及血缘关系设计的数据仓库***
CN111125229A (zh) * 2019-12-24 2020-05-08 杭州数梦工场科技有限公司 数据血缘生成方法、装置、电子设备
CN111258988A (zh) * 2020-02-05 2020-06-09 中国工商银行股份有限公司 资产管理方法、装置、电子设备以及介质
CN111694858A (zh) * 2020-04-28 2020-09-22 平安科技(深圳)有限公司 数据血缘分析方法、装置、设备及计算机可读存储介质
CN111797157A (zh) * 2020-07-21 2020-10-20 政采云有限公司 一种数据处理方法、***及电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
衡星辰;陈丰;张诗军;甘杉;: "元数据管理***在电力企业的研究与实践", 自动化与仪器仪表, no. 04, 25 April 2017 (2017-04-25) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948381A (zh) * 2021-02-25 2021-06-11 平安科技(深圳)有限公司 数据处理方法、***、计算机设备及可读存储介质
CN112948381B (zh) * 2021-02-25 2022-10-28 平安科技(深圳)有限公司 数据处理方法、***、计算机设备及可读存储介质
CN113282678A (zh) * 2021-03-30 2021-08-20 杭州数梦工场科技有限公司 数据血缘关系展示方法及装置

Similar Documents

Publication Publication Date Title
CN110716951B (zh) 方便配置的标签配置方法、装置、设备及存储介质
WO2019024496A1 (zh) 企业推荐方法及应用服务器
CN111046237A (zh) 用户行为数据处理方法、装置、电子设备及可读介质
US20170374001A1 (en) Providing communication ranking scheme based on relationship graph
US20150120697A1 (en) System and method for analysis of a database proxy
CN110880100A (zh) 业务审批的处理方法、装置及***
CN112559524A (zh) 一种指标数据库建立方法、装置及存储介质
US20230177052A1 (en) Performance of sql execution sequence in production database instance
CN111445319A (zh) 一种凭证生成方法、装置、计算机设备及存储介质
CN105677645A (zh) 一种数据表比对方法和装置
US8539006B2 (en) Logical chart of accounts with hashing
CN107291923B (zh) 信息处理方法和装置
CN114995877B (zh) 一种变量配置方法及装置
CN116861107A (zh) 业务内容展示方法、装置、设备、介质和产品
CN116303657A (zh) 群体画像生成方法、装置、计算机设备和存储介质
CN112328575A (zh) 数据资产血缘生成方法、装置、电子设备
CN112328575B (zh) 数据资产血缘生成方法、装置、电子设备
CN113934729A (zh) 一种基于知识图谱的数据管理方法、相关设备及介质
US20220035873A1 (en) Method and apparatus to generate a simplified query when searching for catalog items
US9009073B1 (en) Product availability check using image processing
CN110765118B (zh) 一种数据的修订方法、修订装置及可读存储介质
CN111125229B (zh) 数据血缘生成方法、装置、电子设备
US20240064032A1 (en) Systems and methods for managing metrics in blockchain networks
CN116069865A (zh) 库存共享方法、装置、计算机设备和存储介质
CN116911990A (zh) 回单生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant