CN113282678A - 数据血缘关系展示方法及装置 - Google Patents

数据血缘关系展示方法及装置 Download PDF

Info

Publication number
CN113282678A
CN113282678A CN202110343323.0A CN202110343323A CN113282678A CN 113282678 A CN113282678 A CN 113282678A CN 202110343323 A CN202110343323 A CN 202110343323A CN 113282678 A CN113282678 A CN 113282678A
Authority
CN
China
Prior art keywords
information
node
blood relationship
nodes
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110343323.0A
Other languages
English (en)
Other versions
CN113282678B (zh
Inventor
牟宣理
华盈
闫军
孙旺旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dt Dream Technology Co Ltd
Original Assignee
Hangzhou Dt Dream Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dt Dream Technology Co Ltd filed Critical Hangzhou Dt Dream Technology Co Ltd
Priority to CN202110343323.0A priority Critical patent/CN113282678B/zh
Publication of CN113282678A publication Critical patent/CN113282678A/zh
Application granted granted Critical
Publication of CN113282678B publication Critical patent/CN113282678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/288Entity relationship models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种数据血缘关系展示方法及装置。本发明实施例通过根据数据表加工链路的加工信息,获取所述加工链路上各数据表之间的血缘关系,所述血缘关系中的每个数据表为一个节点,根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息,根据节点的层次信息和属性信息,对所述血缘关系中的各节点进行汇聚处理,得到汇总血缘信息,所述汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同,基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示,通过对血缘信息进行层次化、属性汇聚化的加工,能够更加清晰直观地展示数据血缘关系,为用户提供了便利。

Description

数据血缘关系展示方法及装置
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据血缘关系展示方法及装置。
背景技术
在大数据领域,数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。借鉴人类社会中类似的一种关系来表达数据之间的这种关系,称之为数据血缘关系。
数据血缘关系在数据溯源、数据质量评估、数据价值评估等方面均有重要的作用。因此在应用中,经常需要对数据血缘关系进行展示。
发明内容
为克服相关技术中存在的问题,本发明提供了一种数据血缘关系展示方法及装置,能够清晰展示数据血缘关系中各数据表的层次。
根据本发明实施例的第一方面,提供一种数据血缘关系展示方法,所述方法包括:
根据数据表加工链路的加工信息,获取所述加工链路上各数据表之间的血缘关系,所述血缘关系中的每个数据表为一个节点;
根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息;所述层次信息用于指示节点所处的层次,所述属性信息用于指示节点的属性;
根据节点的层次信息和属性信息,对所述血缘关系中的各节点进行汇聚处理,得到汇总血缘信息;所述汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同;
基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示。
根据本发明实施例的第二方面,提供一种数据血缘关系展示装置,所述装置包括:
获取模块,用于根据数据表加工链路的加工信息,获取所述加工链路上各数据表之间的血缘关系,所述血缘关系中的每个数据表为一个节点;
确定模块,用于根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息;所述层次信息用于指示节点所处的层次,所述属性信息用于指示节点的属性;
汇聚模块,用于根据节点的层次信息和属性信息,对所述血缘关系中的各节点进行汇聚处理,得到汇总血缘信息;所述汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同;
展示模块,用于基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示。
本发明实施例提供的技术方案可以包括以下有益效果:
本发明实施例,通过根据数据表加工链路的加工信息,获取所述加工链路上各数据表之间的血缘关系,所述血缘关系中的每个数据表为一个节点,根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息,所述层次信息用于指示节点所处的层次,所述属性信息用于指示节点的属性,根据节点的层次信息和属性信息,对所述血缘关系中的各节点进行汇聚处理,得到汇总血缘信息,所述汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同,基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示,通过对血缘信息进行层次化、属性汇聚化的加工,能够更加清晰直观地展示数据血缘关系,为用户提供了便利。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。
图1是本发明实施例提供的数据血缘关系的一种展示方式示例图。
图2是本发明实施例提供的数据血缘关系展示方法的一个流程示例图。
图3是本发明实施例提供的节点汇聚结果示例图。
图4是本发明实施例提供的汇总血缘示例图。
图5是本发明实施例提供的血缘关系的局部视角下的展示界面示例图。
图6是本发明实施例提供的层次统计信息展示示例图。
图7是本发明实施例提供的查看节点的结果展示示例图。
图8是本发明实施例提供的展开汇聚点的结果示例图。
图9是本发明实施例提供的数据血缘关系展示装置的功能方块图。
图10是本发明实施例提供的电子设备的一个硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
在本发明实施例使用的术语是仅仅出于描述特定本发明实施例的目的,而非旨在限制本发明实施例。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
数据仓库建设过程中涉及多个环节:数据接入、数据清洗、数据建模、数据发布,需要在不同的***对数据进行处理,在多个***协同下完成数据仓库的建设,挖掘数据价值,供商业智能等应用使用。
为了使数据能够有秩序的流转,避免数据依赖混乱,需要一套行之有效的数据组织和管理方法,因此数据仓库通常会分层建设。通常会分为ODS (Operational DataStore,操作型数据存储)层、STD(邻接表)层、DW(Data Warehouse,数据仓库)层、DM(DataMart,数据集市)层以及DS(Data Service,数据服务)层。ODS层的表存储从数据源接入的数据,STD层的表存储符合标准规范的数据,DW层存储根据主题建立的各种基础数据模型表,DM层存储基于专题的复杂数据模型表,DS层存储的表将直接向各类应用提供数据。
下面通过实施例对本发明提供的数据血缘关系展示方法进行详细说明。
图1是本发明实施例提供的数据血缘关系的一种展示方式示例图。如图 1所示,本实施例中,通过树形结构展示数据血缘关系,该树形结构中的每个节点为一个数据表。
通过图1可知,数据表dm_a的源数据表有数据表A、数据表B和数据表C,数据表A、数据表B和数据表C均为原始业务表。其中,数据表A经由其所在加工链路依次被转换为数据表ods_a、数据表std_a、数据表tmp_a1、数据表tmp_a2、数据表dw_a、数据表dm_a;数据表B经由其所在加工链路依次被转换为数据表ods_b、数据表std_b、数据表dm_a;数据表C经由其所在加工链路依次被转换为数据表ods_c、数据表std_c、数据表std_d、数据表dw_c、数据表dm_a。
其中,数据表ods_a、数据表ods_b、数据表ods_c为ODS层的数据表,数据表std_a、数据表std_b、数据表std_c、数据表std_d为STD(邻接表) 层的数据表,数据表tmp_a1、数据表tmp_a2为TMP(临时表)层的数据表,数据表dw_a、数据表dw_c、为DW层的数据表,数据表dm_a为DM层的数据表。
图1所示的树形结构记录了数据血缘中各节点之间的关系。
本发明实施例还提供了另一种数据血缘关系展示方式。
图2是本发明实施例提供的数据血缘关系展示方法的一个流程示例图。
如图2所示,数据血缘关系展示方法可以包括:
S201,根据数据表加工链路的加工信息,获取所述加工链路上各数据表之间的血缘关系,所述血缘关系中的每个数据表为一个节点。
S202,根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息;所述层次信息用于指示节点所处的层次,所述属性信息用于指示节点的属性。
S203,根据节点的层次信息和属性信息,对所述血缘关系中的各节点进行汇聚处理,得到汇总血缘信息;所述汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同。
S204,基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示。
在应用中,可以通过专门的血缘服务,来接收各加工服务的加工信息,通过对各加工链路的加工信息进行分析,找到每个数据表的上游数据表和下游数据表,从而形成全链路的血缘关系。该血缘关系包括表级、字段级血缘。
以数据源—》ODS—》STD—》DW—》DS的加工链路为例,在对各加工信息进行分析后,找出处于每一层的数据表,再将这些数据表按照加工链路进行连接,形成一条链路的血缘关系。
在实际加工中,可能会出现中间临时表、跨层级血缘以及同一层中数据表相互加工关系。
例如,图1中数据表ods_a的加工链路的数据血缘关系如下:
源数据表A---ods_a---std_a---tmp_a1---tmp_a2---dw_a---dm_a
在该数据血缘关系中,数据表tmp_a1和tmp_a2为中间临时表。
图1中数据表ods_b的加工链路的数据血缘关系如下:
源数据表B---ods_b---std_b---dm_a
在该数据血缘关系中,数据表std_b与数据表dm_a之间是跨层级的血缘关系。
图1中数据表ods_c的加工链路的数据血缘关系如下:
源数据表C---ods_c---std_c---std_d---dw_c---dm_a
在该数据血缘关系中,数据表std_c与数据表std_d之间是同一层中数据表相互加工关系。
如果采用普通的树状图(例如图1)来展示血缘关系,整个血缘关系会比较混乱,无法识别具体的层次关系。为了使整个血缘关系的展示更加清晰,本实施例进一步对步骤S201获得的血缘关系进行加工处理。
每个节点处的数据表都具有相应的元数据信息,元数据信息中包括数据表的表名和数据表属性信息,据此可以确定节点的层次信息和属性信息。
其中,层次信息例如可以是ODS层(对应归集层)、STD层(对应部门层)、DW层(对应主题层)、DM层(对应专题层)、DS层(对应应用层)、TMP层(临时层)等。
其中,属性信息可以包括部门信息、主题信息、应用信息等。
在一个示例中,所述元数据信息包括数据表的表名和数据表属性信息,根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息,可以包括:
根据所述血缘关系中各节点对应的数据表的表名,确定节点的层次信息;
根据所述血缘关系中各节点对应的数据表属性信息,确定节点的属性信息。
在一个示例中,根据所述血缘关系中各节点对应的数据表的表名,确定节点的层次信息,可以包括:
查找与节点对应的数据表的表名匹配的命名规则;
根据所述命名规则,从所述表名中提取层次标识;
根据所述层次标识确定所述节点的层次信息。
其中,数据表的表名的命名规则是已知的。当表名的命名规则使表名包括层次标识时,可以从表名提取层次标识,从而确定数据表所在节点的层次信息。
例如,数据表的表名的命名规则为:层次标识+连接符+源数据表的表名。此时,各层的数据表的表名如下:
ODS层:ods_*
STD层:std_*
DW层:dw_*
DM层:dm_*
临时层:tmp_*
其中,“*”表示源数据表的表名,“_”为连接符。从数据表的表名中剥离源数据表的表名和连接符后,就可以获得层次标识了。该提取规则可以在数据仓库的规则***中设置。
例如,图1中,数据表std_b中,b为源数据表的表名,“_”为连接符,则从表名“std_b”中去除源数据表的表名b和连接符“_”即可得到层次标识“ods”。从而可以确定数据表std_b对应的节点的层次信息为:STD层。
***中,可以预先存储层次标识与层次的对应关系,从而可以根据该对应关系获得与层次标识相对应的层次。
例如,层次标识与层次的对应关系可以如表1所示。
表1
Figure RE-RE-GDA0003176187770000071
Figure RE-RE-GDA0003176187770000081
在获得节点的层次信息和属性信息后,本实施例进一步对节点进行汇聚处理,得到汇总血缘信息。其中,汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同。
在汇聚过程中,进一步将节点的层次与展示后的层次进行对应。在***中可以预先设置节点的层次(例如ODS层)与展示后的层次(例如归集层) 的对应关系,例如表1所示。
根据属性信息对各层次的节点的汇聚过程可以如下:
a)ODS层,对应归集层,不进行汇聚。
b)STD层,对应部门层,根据表的部门信息进行汇聚。每个部门下可包含多个std表。
c)DW层,对应主题层,根据主题信息进行汇聚。每个主题可包含多个 DW层的表。
d)DM层,对应专题层,根据专题信息进行汇聚。每个主题可包含多个 DM层的表。
e)DS层,对应应用层,根据对外服务的应用进行汇聚。每个应用可包含多个DS层的表。
f)TMP层,为临时数据,不进行汇聚。
图3是本发明实施例提供的节点汇聚结果示例图。如图3所示,在同一层次中,根据节点属性对节点进行了汇聚,使用户能够更加直观地获知该血缘关系所包含的信息。对某个层次的节点(也即数据表)按照属性进行汇聚处理后,对血缘链路进行合并加工,形成汇聚后的汇总血缘,如图4中相对于图3添加的实线所示。
图4是本发明实施例提供的汇总血缘示例图。如图4所示,ods_a和ods_b 与部门A形成汇总血缘;部门A与主题B、主题C之间形成汇总血缘;当DM层不展示时,主题B与应用1形成汇总血缘;主题C与应用1形成汇总血缘。
在获得汇总血缘关系后,本实施例依据节点的层次和汇总血缘关系对血缘关系进行展示。
在一个示例中,基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示,可以包括:
为每个层次设置对应的展示区域;
根据节点的层次信息,将节点分配到与节点的层次对应的展示区域;
在每一展示区域,若节点属于汇聚点,则在展示区域显示节点所属的汇聚点,若节点不属于任何汇聚点,则在展示区域显示节点。
其中,展示区域可以为泳道、环形区域等。当展示区域为环形区域时,展示区域可以为圆环,当然也可以为其他形状的环形,例如多边形等。
本实施例将不同层次的节点展示在不同展示区域,将相同层次的节点展示在同一展示区域,方便用户快速理解节点的层次关系。
图5是本发明实施例提供的血缘关系的局部视角下的展示界面示例图。如图5所示,图5展示了按照属性汇聚后的血缘关系。其中,归集层、部门仓、主题层、应用层4个层次的血缘信息,分别在一个圆形展示区域进行展示。其中,各层次间可以展示按属性汇总后的血缘关系,通过虚线进行连接,展示整体的血缘信息。同时,图5的展示界面的右侧还提供了各层次的汇总展示信息。图5所展示的信息为整个圆环的一部分,每个层次的圆环是整个圆的一部分,可以灵活拖动圆环来查找指定的节点。
其中,展示的层次,可以根据场景进行后台控制。对于层次间的临时表,可以忽略展示。
在一个示例中,所述方法还可以包括:
根据接收到的对展示区域的选择操作信息,显示被选择的展示区域对应的层次的统计信息。
图6是本发明实施例提供的层次统计信息展示示例图。如图6所示,当部门仓被选择时,展示界面上显示部门仓的统计信息。
其中,统计信息可以包括被选择的展示区域对应的层次所包括的属性数量、数据表数量以及记录数量。
在一个示例中,所述方法还可以包括:
根据接收到的对汇聚点的选择操作信息,显示被选择的汇聚点对应的血缘链路信息和/或统计信息;和/或,
根据接收到的对节点的选择操作信息,显示被选择的节点对应的血缘链路信息。
其中,选择操作信息例如可以是点击节点名称的操作。
本实施例提供了查看节点或汇聚点血缘的方式。
图7是本发明实施例提供的查看节点的结果展示示例图。如图7所示,以部门仓中的“省***”为例,在全景视图或局部视图下,血缘的上下游链路信息可能在圆环的不同位置。当点击选择“省***”部门节点时,会快速根据部门节点获取上下游的血缘节点信息,并优化显示在圆环的中心位置。通过图7的展示结果可以查看到哪些归集层的数据表为省***使用,同时***的数据表形成了哪些主题,同时每个主题支撑了应用层的哪些应用。可见,这种展示方式更贴近业务,更易于被用户理解。
在一个示例中,所述方法还可以包括:
根据接收到的对汇聚点的展开操作信息,显示汇聚点汇聚的各节点对应的数据表及所述数据表对应的血缘链路信息。
在应用中,可以为每个汇聚点设置下拉箭头,其中,展开操作信息可以是点击汇聚点对应的下拉箭头的操作。
图8是本发明实施例提供的展开汇聚点的结果示例图。如图8所示,当点击汇聚点“省***”的下拉箭头时,展开“省***”下具体的数据表列表,并展示具体数据表所在的血缘链路。
在一个示例中,所述方法还可以包括:
根据接收到的对节点或汇聚点的点击操作,将被点击的节点或汇聚点显示于显示区域的中心位置。
例如图7所示的汇聚点“省***”,在未被点击前可能处于显示区域的上方或下方等位置,当被点击后,将“省***”居中显示,方便用户查看。
在一个示例中,所述方法还可以包括:
在目标层次对应的展示区域被选择的情况下,根据接收到的搜索信息在所述目标层次对应的展示区域中查找所述搜索信息对应的节点或汇聚点;
转动所述目标层次对应的展示区域,将查找到的节点或汇聚点显示于显示区域的中心位置。
例如,在图6所示的部门仓的展示区域被选择的情况下,当输入搜索信息“省民政厅”时,会转动部门仓的展示区域,使得“省民政厅”这个汇聚点显示于显示区域的中心位置。
本发明实施例提供的数据血缘关系展示方法,通过根据数据表加工链路的加工信息,获取所述加工链路上各数据表之间的血缘关系,所述血缘关系中的每个数据表为一个节点,根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息,所述层次信息用于指示节点所处的层次,所述属性信息用于指示节点的属性,根据节点的层次信息和属性信息,对所述血缘关系中的各节点进行汇聚处理,得到汇总血缘信息,所述汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同,基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示,通过对血缘信息进行层次化、属性汇聚化的加工,能够更加清晰直观地展示数据血缘关系,为用户提供了便利。
基于上述的方法实施例,本发明实施例还提供了相应的装置、设备及存储介质实施例。关于本发明实施例的装置、设备及存储介质实施例的详细实现方式,请参见前述方法实施例部分的相应说明。
图9是本发明实施例提供的数据血缘关系展示装置的功能方块图。如图 9所示,本实施例中,数据血缘关系展示装置可以包括:
获取模块910,用于根据数据表加工链路的加工信息,获取所述加工链路上各数据表之间的血缘关系,所述血缘关系中的每个数据表为一个节点;
确定模块920,用于根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息;所述层次信息用于指示节点所处的层次,所述属性信息用于指示节点的属性;
汇聚模块930,用于根据节点的层次信息和属性信息,对所述血缘关系中的各节点进行汇聚处理,得到汇总血缘信息;所述汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同;
展示模块940,用于基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示。
在一个示例中,展示模块940可以具体用于:
为每个层次设置对应的展示区域;
根据节点的层次信息,将节点分配到与节点的层次对应的展示区域;
在每一展示区域,若节点属于汇聚点,则在展示区域显示节点所属的汇聚点,若节点不属于任何汇聚点,则在展示区域显示节点。
在一个示例中,还包括:
展示区域显示模块,用于根据接收到的对展示区域的选择操作信息,显示被选择的展示区域对应的层次的统计信息。
在一个示例中,所述统计信息包括被选择的展示区域对应的层次所包括的属性数量、数据表数量以及记录数量。
在一个示例中,还包括:
汇聚点显示模块,用于根据接收到的对汇聚点的选择操作信息,显示被选择的汇聚点对应的血缘链路信息和/或统计信息;
节点显示模块,用于根据接收到的对节点的选择操作信息,显示被选择的节点对应的血缘链路信息。
在一个示例中,还包括:
汇聚点展开模块,用于根据接收到的对汇聚点的展开操作信息,显示汇聚点汇聚的各节点对应的数据表及所述数据表对应的血缘链路信息。
在一个示例中,还包括:
居中显示模块,用于根据接收到的对节点或汇聚点的点击操作,将被点击的节点或汇聚点显示于显示区域的中心位置。
在一个示例中,还包括:
搜索模块,用于在目标层次对应的展示区域被选择的情况下,根据接收到的搜索信息在所述目标层次对应的展示区域中查找所述搜索信息对应的节点或汇聚点;以及用于转动所述目标层次对应的展示区域,将查找到的节点或汇聚点显示于显示区域的中心位置。
在一个示例中,所述元数据信息包括数据表的表名和数据表属性信息,确定模块920可以具体用于:
根据所述血缘关系中各节点对应的数据表的表名,确定节点的层次信息;
根据所述血缘关系中各节点对应的数据表属性信息,确定节点的属性信息。
本发明实施例还提供了一种电子设备。图10是本发明实施例提供的电子设备的一个硬件结构图。如图10所示,电子设备包括:内部总线1001,以及通过内部总线连接的存储器1002,处理器1003和外部接口1004。
所述处理器1003,用于读取存储器1002上的机器可读指令,并执行所述指令以实现如下操作:
根据数据表加工链路的加工信息,获取所述加工链路上各数据表之间的血缘关系,所述血缘关系中的每个数据表为一个节点;
根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息;所述层次信息用于指示节点所处的层次,所述属性信息用于指示节点的属性;
根据节点的层次信息和属性信息,对所述血缘关系中的各节点进行汇聚处理,得到汇总血缘信息;所述汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同;
基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示。
在一个示例中,基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示,包括:
为每个层次设置对应的展示区域;
根据节点的层次信息,将节点分配到与节点的层次对应的展示区域;
在每一展示区域,若节点属于汇聚点,则在展示区域显示节点所属的汇聚点,若节点不属于任何汇聚点,则在展示区域显示节点。
在一个示例中,还包括:
根据接收到的对展示区域的选择操作信息,显示被选择的展示区域对应的层次的统计信息。
在一个示例中,所述统计信息包括被选择的展示区域对应的层次所包括的属性数量、数据表数量以及记录数量。
在一个示例中,还包括:
根据接收到的对汇聚点的选择操作信息,显示被选择的汇聚点对应的血缘链路信息和/或统计信息;和/或,
根据接收到的对节点的选择操作信息,显示被选择的节点对应的血缘链路信息。
在一个示例中,还包括:
根据接收到的对汇聚点的展开操作信息,显示汇聚点汇聚的各节点对应的数据表及所述数据表对应的血缘链路信息。
在一个示例中,还包括:
根据接收到的对节点或汇聚点的点击操作,将被点击的节点或汇聚点显示于显示区域的中心位置。
在一个示例中,还包括:
在目标层次对应的展示区域被选择的情况下,根据接收到的搜索信息在所述目标层次对应的展示区域中查找所述搜索信息对应的节点或汇聚点;
转动所述目标层次对应的展示区域,将查找到的节点或汇聚点显示于显示区域的中心位置。
在一个示例中,所述元数据信息包括数据表的表名和数据表属性信息,根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息,包括:
根据所述血缘关系中各节点对应的数据表的表名,确定节点的层次信息;
根据所述血缘关系中各节点对应的数据表属性信息,确定节点的属性信息。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:
根据数据表加工链路的加工信息,获取所述加工链路上各数据表之间的血缘关系,所述血缘关系中的每个数据表为一个节点;
根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息;所述层次信息用于指示节点所处的层次,所述属性信息用于指示节点的属性;
根据节点的层次信息和属性信息,对所述血缘关系中的各节点进行汇聚处理,得到汇总血缘信息;所述汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同;
基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示。
在一个示例中,基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示,包括:
为每个层次设置对应的展示区域;
根据节点的层次信息,将节点分配到与节点的层次对应的展示区域;
在每一展示区域,若节点属于汇聚点,则在展示区域显示节点所属的汇聚点,若节点不属于任何汇聚点,则在展示区域显示节点。
在一个示例中,还包括:
根据接收到的对展示区域的选择操作信息,显示被选择的展示区域对应的层次的统计信息。
在一个示例中,所述统计信息包括被选择的展示区域对应的层次所包括的属性数量、数据表数量以及记录数量。
在一个示例中,还包括:
根据接收到的对汇聚点的选择操作信息,显示被选择的汇聚点对应的血缘链路信息和/或统计信息;和/或,
根据接收到的对节点的选择操作信息,显示被选择的节点对应的血缘链路信息。
在一个示例中,还包括:
根据接收到的对汇聚点的展开操作信息,显示汇聚点汇聚的各节点对应的数据表及所述数据表对应的血缘链路信息。
在一个示例中,还包括:
根据接收到的对节点或汇聚点的点击操作,将被点击的节点或汇聚点显示于显示区域的中心位置。
在一个示例中,还包括:
在目标层次对应的展示区域被选择的情况下,根据接收到的搜索信息在所述目标层次对应的展示区域中查找所述搜索信息对应的节点或汇聚点;
转动所述目标层次对应的展示区域,将查找到的节点或汇聚点显示于显示区域的中心位置。
在一个示例中,所述元数据信息包括数据表的表名和数据表属性信息,根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息,包括:
根据所述血缘关系中各节点对应的数据表的表名,确定节点的层次信息;
根据所述血缘关系中各节点对应的数据表属性信息,确定节点的属性信息。
对于装置和设备实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。

Claims (10)

1.一种数据血缘关系展示方法,其特征在于,所述方法包括:
根据数据表加工链路的加工信息,获取所述加工链路上各数据表之间的血缘关系,所述血缘关系中的每个数据表为一个节点;
根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息;所述层次信息用于指示节点所处的层次,所述属性信息用于指示节点的属性;
根据节点的层次信息和属性信息,对所述血缘关系中的各节点进行汇聚处理,得到汇总血缘信息;所述汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同;
基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示。
2.根据权利要求1所述的方法,其特征在于,基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示,包括:
为每个层次设置对应的展示区域;
根据节点的层次信息,将节点分配到与节点的层次对应的展示区域;
在每一展示区域,若节点属于汇聚点,则在展示区域显示节点所属的汇聚点,若节点不属于任何汇聚点,则在展示区域显示节点。
3.根据权利要求2所述的方法,其特征在于,还包括:
根据接收到的对展示区域的选择操作信息,显示被选择的展示区域对应的层次的统计信息。
4.根据权利要求3所述的方法,其特征在于,所述统计信息包括被选择的展示区域对应的层次所包括的属性数量、数据表数量以及记录数量。
5.根据权利要求2所述的方法,其特征在于,还包括:
根据接收到的对汇聚点的选择操作信息,显示被选择的汇聚点对应的血缘链路信息和/或统计信息;和/或,
根据接收到的对节点的选择操作信息,显示被选择的节点对应的血缘链路信息。
6.根据权利要求2所述的方法,其特征在于,还包括:
根据接收到的对汇聚点的展开操作信息,显示汇聚点汇聚的各节点对应的数据表及所述数据表对应的血缘链路信息。
7.根据权利要求2所述的方法,其特征在于,还包括:
根据接收到的对节点或汇聚点的点击操作,将被点击的节点或汇聚点显示于显示区域的中心位置。
8.根据权利要求2所述的方法,其特征在于,还包括:
在目标层次对应的展示区域被选择的情况下,根据接收到的搜索信息在所述目标层次对应的展示区域中查找所述搜索信息对应的节点或汇聚点;
转动所述目标层次对应的展示区域,将查找到的节点或汇聚点显示于显示区域的中心位置。
9.根据权利要求1所述的方法,其特征在于,所述元数据信息包括数据表的表名和数据表属性信息,根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息,包括:
根据所述血缘关系中各节点对应的数据表的表名,确定节点的层次信息;
根据所述血缘关系中各节点对应的数据表属性信息,确定节点的属性信息。
10.一种数据血缘关系展示装置,其特征在于,所述装置包括:
获取模块,用于根据数据表加工链路的加工信息,获取所述加工链路上各数据表之间的血缘关系,所述血缘关系中的每个数据表为一个节点;
确定模块,用于根据所述血缘关系中各节点对应的元数据信息,确定节点的层次信息和属性信息;所述层次信息用于指示节点所处的层次,所述属性信息用于指示节点的属性;
汇聚模块,用于根据节点的层次信息和属性信息,对所述血缘关系中的各节点进行汇聚处理,得到汇总血缘信息;所述汇总血缘信息包括汇聚点和汇聚点之间的连接关系,所述汇聚点中汇聚的各节点层次相同且属性相同;
展示模块,用于基于节点的层次信息和所述汇总血缘信息对所述血缘关系进行展示。
CN202110343323.0A 2021-03-30 2021-03-30 数据血缘关系展示方法及装置 Active CN113282678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110343323.0A CN113282678B (zh) 2021-03-30 2021-03-30 数据血缘关系展示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110343323.0A CN113282678B (zh) 2021-03-30 2021-03-30 数据血缘关系展示方法及装置

Publications (2)

Publication Number Publication Date
CN113282678A true CN113282678A (zh) 2021-08-20
CN113282678B CN113282678B (zh) 2024-01-02

Family

ID=77276106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110343323.0A Active CN113282678B (zh) 2021-03-30 2021-03-30 数据血缘关系展示方法及装置

Country Status (1)

Country Link
CN (1) CN113282678B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760866A (zh) * 2021-08-30 2021-12-07 中国铁道科学研究院集团有限公司电子计算技术研究所 建模辅助装置和方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020008084A (ko) * 2000-07-19 2002-01-29 김성수 유전자 정보를 이용한 생물학적 혈연관계 검색 시스템 및검색 방법
US6965903B1 (en) * 2002-05-07 2005-11-15 Oracle International Corporation Techniques for managing hierarchical data with link attributes in a relational database
KR20090022519A (ko) * 2007-08-30 2009-03-04 김정태 인터넷을 이용한 족보 서비스 시스템 및 그 방법
US9613086B1 (en) * 2014-08-15 2017-04-04 Tableau Software, Inc. Graphical user interface for generating and displaying data visualizations that use relationships
CN107463555A (zh) * 2016-06-01 2017-12-12 北京京东尚科信息技术有限公司 删除中间层数据的方法、***和装置
US20190340272A1 (en) * 2018-05-02 2019-11-07 doTERRA Holdings, LLC Systems and related methods for updating attributes of nodes and links in a hierarchical data structure
CN110807026A (zh) * 2019-10-24 2020-02-18 北京中科捷信信息技术有限公司 一种用于分析金融大数据血缘关系的自动化捕获***
CN111639143A (zh) * 2020-06-05 2020-09-08 广州市玄武无线科技股份有限公司 数据仓库的数据血缘关系展示方法及装置、电子设备
CN111767320A (zh) * 2020-06-29 2020-10-13 中国银行股份有限公司 数据血缘关系确定方法及装置
CN112328575A (zh) * 2020-11-12 2021-02-05 杭州数梦工场科技有限公司 数据资产血缘生成方法、装置、电子设备
CN112487045A (zh) * 2020-10-20 2021-03-12 广西盛源行大数据科技有限公司 一种基于大数据的管理平台

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020008084A (ko) * 2000-07-19 2002-01-29 김성수 유전자 정보를 이용한 생물학적 혈연관계 검색 시스템 및검색 방법
US6965903B1 (en) * 2002-05-07 2005-11-15 Oracle International Corporation Techniques for managing hierarchical data with link attributes in a relational database
KR20090022519A (ko) * 2007-08-30 2009-03-04 김정태 인터넷을 이용한 족보 서비스 시스템 및 그 방법
US9613086B1 (en) * 2014-08-15 2017-04-04 Tableau Software, Inc. Graphical user interface for generating and displaying data visualizations that use relationships
CN107463555A (zh) * 2016-06-01 2017-12-12 北京京东尚科信息技术有限公司 删除中间层数据的方法、***和装置
US20190340272A1 (en) * 2018-05-02 2019-11-07 doTERRA Holdings, LLC Systems and related methods for updating attributes of nodes and links in a hierarchical data structure
CN110807026A (zh) * 2019-10-24 2020-02-18 北京中科捷信信息技术有限公司 一种用于分析金融大数据血缘关系的自动化捕获***
CN111639143A (zh) * 2020-06-05 2020-09-08 广州市玄武无线科技股份有限公司 数据仓库的数据血缘关系展示方法及装置、电子设备
CN111767320A (zh) * 2020-06-29 2020-10-13 中国银行股份有限公司 数据血缘关系确定方法及装置
CN112487045A (zh) * 2020-10-20 2021-03-12 广西盛源行大数据科技有限公司 一种基于大数据的管理平台
CN112328575A (zh) * 2020-11-12 2021-02-05 杭州数梦工场科技有限公司 数据资产血缘生成方法、装置、电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
E.SUTJIREDJEKI ET AL.: "Blood Vessel Age Prediction Using Photoplethysmography Signal Analysis Method", 2018 INTERNATIONAL CONFERENCE ON APPLIED SCIENCE AND TECHNOLOGY (ICAST), pages 744 - 749 *
李旭风;罗强;: "面向数据字段的血缘关系分析", 中国金融电脑, no. 07, pages 14 - 21 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760866A (zh) * 2021-08-30 2021-12-07 中国铁道科学研究院集团有限公司电子计算技术研究所 建模辅助装置和方法

Also Published As

Publication number Publication date
CN113282678B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
US9323855B2 (en) Processing media items in location-based groups
KR100371513B1 (ko) 계층적 동영상 트리구조에서의 에지에 저장하는 키프레임의 충실도를 이용한 효율적인 동영상 요약 및 브라우징 장치 및 방법
AU2015369723B2 (en) Identifying join relationships based on transactional access patterns
US20100169326A1 (en) Method, apparatus and computer program product for providing analysis and visualization of content items association
CN110633406B (zh) 事件专题的生成方法、装置、存储介质和终端设备
CN106970958B (zh) 一种流文件的查询与存储方法和装置
CN103827852B (zh) 在搜索引擎结果页面上聚集web页面
CN106294481B (zh) 一种基于图谱的导航方法及装置
CN111931097A (zh) 信息展示方法、装置、电子设备以及存储介质
US20170116314A1 (en) Integrating real-time news with historic events
de Figueirêdo et al. PhotoGeo: a photo digital library with spatial-temporal support and self-annotation
US20160239510A1 (en) Method for Extracting Useful Content from Setup Files of Mobile Applications
US20110179013A1 (en) Search Log Online Analytic Processing
CN113779416A (zh) 信息推荐方法、装置、电子设备及计算机可读存储介质
CN101322122A (zh) 用于将内容呈现给用户的***和方法
CN110049180A (zh) 拍摄姿势推送方法和装置、智能终端
CN109947759A (zh) 一种数据索引建立方法、索引检索方法及装置
EP3499379B1 (en) Computer implemented and computer controlled method, computer program product and platform for manipulating data arranged for processing and storage at a data storage engine
CN113282678B (zh) 数据血缘关系展示方法及装置
CN108154024A (zh) 一种数据检索方法、装置及电子设备
CN112559913B (zh) 一种数据处理方法、装置、计算设备及可读存储介质
CN101339568A (zh) 一种构建数据树的方法和装置
CN107291875B (zh) 一种基于元数据图的元数据组织管理方法和***
CN104243201B (zh) 网络设备测试用例对应拓扑图的存储方法及***
JP2015004785A (ja) 教材の順序関係を決定する方法、学習支援システム、教材の順序関係を決定する装置、端末装置、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant