CN111125068A - 一种元数据治理方法和*** - Google Patents

一种元数据治理方法和*** Download PDF

Info

Publication number
CN111125068A
CN111125068A CN201911104323.4A CN201911104323A CN111125068A CN 111125068 A CN111125068 A CN 111125068A CN 201911104323 A CN201911104323 A CN 201911104323A CN 111125068 A CN111125068 A CN 111125068A
Authority
CN
China
Prior art keywords
metadata
meta
model
data
source system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911104323.4A
Other languages
English (en)
Inventor
范寿明
周群华
巩怀志
秦思哲
贝映纯
李孟儒
贾西贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huaao Data Technology Co Ltd
Original Assignee
Shenzhen Huaao Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huaao Data Technology Co Ltd filed Critical Shenzhen Huaao Data Technology Co Ltd
Priority to CN201911104323.4A priority Critical patent/CN111125068A/zh
Publication of CN111125068A publication Critical patent/CN111125068A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24573Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种元数据治理方法和***,包括建立元模型,对源***进行抽象建立元模型,所述元模型对源***中需要采集的对象进行定义;治理元数据,包括根据元模型定义的采集的对象,实时采集源***的元数据,并对元模型的元数据进行管理、分析和应用。克服现有技术中,数据质量问题很难快速的找到数据质量问题根源,数据质量修复也就更加的困难的缺陷。通过元数据的治理,高度整合元数据,根据统一标准进行元数据存储,通过发现数据之间关系,形成全局的数据地图,根据地图内元数据血缘分析,快速定位该数据血缘关系,发现质量问题根源所在,达到快速核实的目的。

Description

一种元数据治理方法和***
技术领域
本发明涉及数据治理技术领域,更具体地,涉及一种元数据治理方法和***。
背景技术
大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。当数据质量问题发现时,由于数据之间的关联关系混乱加上数据存储散落各地,数据也是形态万千的被存储起来,数据质量问题很难快速的找到数据质量问题根源,数据质量修复也就更加的困难。通过元数据的治理,高度整合元数据,根据统一标准进行元数据存储,通过发现数据之间关系,形成全局的数据地图,根据地图内元数据血缘分析,快速定位该数据血缘关系,发现质量问题根源所在,达到快速核实。
发明内容
鉴于上述问题,本发明提出了一种元数据治理方法和***,克服现有技术中,数据质量问题很难快速的找到数据质量问题根源,数据质量修复也就更加的困难的缺陷。通过元数据的治理,高度整合元数据,根据统一标准进行元数据存储,通过发现数据之间关系,形成全局的数据地图,根据地图内元数据血缘分析,快速定位该数据血缘关系,发现质量问题根源所在,达到快速核实的目的。
为了达到上述目的,本发明实施例提供了一种元数据治理方法,包括:建立源***,提供元数据;
建立元模型,对源***进行抽象建立的元模型,所述元模型对源***中需要采集的对象进行定义;
治理元数据,对元模型的元数据进行实时采集,对元模型的元数据进行管理、分析和应用;
所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理,
对元数据进行分析包括血缘分析、影响分析和生成元数据地图;
对元数据进行应用包括利用管理后的元数据的基本信息和分析后的元数据进行质量问题追溯、元数据质量问题影响分析和资产管理。
进一步的,所述源***包括关系型数据库、文件类数据库、大数据库和接口类数据库。
进一步的,对源***进行抽象建立关系型元模型、文件型元模型、大数据库元模型和接口类元模型。
进一步的,所述对元模型的元数据进行实时采集包括对元模型的元数据进行实时自动采集和手动采集。
进一步的,所述对业务元数据、技术元数据和管理元数据进行基本信息的管理包括对实时采集的元模型的元数据元数据自动比对,实现元数据增量更新;自动发现元数据变更信息;根据属性自动生成元数据目录;自动化控制元数据版本;还包括通过版本对比发现元数据差距。
一种元数据治理***,包括服务器和客户端,所述服务器为具备数据处理功能的计算机设备,所述服务器用于建立源***,提供元数据;
建立元模型,对源***进行抽象建立的元模型,所述元模型对源***中需要采集的对象进行定义;
治理元数据,对元模型的元数据进行实时采集,对元模型的元数据进行管理、分析和应用;
所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理,
对元数据进行分析包括血缘分析、影响分析和生成元数据地图;
对元数据进行应用包括利用管理后的元数据的基本信息和分析后的元数据进行质量问题追溯、元数据质量问题影响分析和资产管理;
所述客户端为具备显示能力的显示设备,所述服务器和客户端通过接口进行通讯,所述客户端显示元数据质量问题追溯结果、元数据质量问题影响分析结果和资产管理结果。
进一步的,所述源***包括关系型数据库、文件类数据库、大数据库和接口类数据库。
进一步的,对源***进行抽象建立关系型元模型、文件型元模型、大数据库元模型和接口类元模型。
进一步的,所述对元模型的元数据进行实时采集包括对元模型的元数据进行实时自动采集和手动采集。
进一步的,所述对业务元数据、技术元数据和管理元数据进行基本信息的管理包括对实时采集的元模型的元数据元数据自动比对,实现元数据增量更新;自动发现元数据变更信息;根据属性自动生成元数据目录;自动化控制元数据版本;还包括通过版本对比发现元数据差距。
本发明实施例提供了一种元数据治理方法,包括:建立源***,提供元数据;建立元模型,对源***进行抽象建立的元模型,所述元模型对源***中需要采集的对象进行定义;治理元数据,对元模型的元数据进行实时采集,对元模型的元数据进行管理、分析和应用;所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理,对元数据进行分析包括血缘分析、影响分析和生成元数据地图;对元数据进行应用包括元数据质量问题追溯、元数据质量问题影响分析和资产管理。克服现有技术中,数据质量问题很难快速的找到数据质量问题根源,数据质量修复也就更加的困难的缺陷。通过元数据的治理,高度整合元数据,根据统一标准进行元数据存储,通过发现数据之间关系,形成全局的数据地图,根据地图内元数据血缘分析,快速定位该数据血缘关系,发现质量问题根源所在,达到快速核实的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例的元数据治理方法原理图;
图2出了本发明实施例的元数据治理方法的架构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data aboutdata),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录,为了达到编制目录的目的,必须在描述并收藏数据的内容或特色,进而达成协助数据检索的目的。
在数据仓库领域,将元数据定义为管理元数据,技术元数据和业务元数据;
业务元数据用业务名称、定义、描述和别名来表示数据仓库,其业务属性可以为用户使用仓库中数据提供指引;
技术元数据包括数据源元数据,ETL元数据,数据仓库元数据,数据集市元数据,其他类型元数据(挖掘模型,数据质量分析结果等)
管理元数据主要日常数据建设过程中,涉及开发、运维等管理流程的基本信息。
数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系,称之为数据的血缘关系。与人类社会中的血缘关系不同,数据的血缘关系还包含了一些特有的特征:归属性。一般来说,特定的数据归属特定的组织或者个人,数据具有归属性。多源性。同一个数据可以有多个来源(多个父亲)。一个数据可以是多个数据经过加工而生成的,而且这种加工过程可以是多个。可追溯性。数据的血缘关系,体现了数据的生命周期,体现了数据从产生到消亡的整个过程,具备可追溯性。层次性。数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据,不同程度的描述信息形成了数据的层次数据地图功能实现数据的统一管理和血缘的跟踪。
结合图1,一种元数据治理方法,包括:建立元模型,包括对源***进行抽象建立元模型,所述元模型对源***中需要采集的对象进行定义;
治理元数据,包括根据元模型定义的采集的对象,实时采集源***的元数据,并对元模型的元数据进行管理、分析和应用;
所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理,
对元数据进行分析包括血缘分析、影响分析和生成元数据地图;
对元数据进行应用包括元数据质量问题追溯、元数据质量问题影响分析和资产管理。资产管理是规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。
所述源***包括关系型数据库、文件类数据库、大数据库和接口类数据库,还可以为其他源***。这些***内的元数据都将成为元数据治理***采集的对象。
对源***进行抽象建立关系型元模型、文件型元模型、大数据库元模型和接口类元模型。根据不同的源头进行业务抽象,生成元模型,元模型规定,对一类源头数据需要采集具体哪些元数据,如关系型元数据抽象出来关系型元模型,在关系型元模型中,对关系型数据库需要采集的对象进行定义,如:表、视图、函数、存储过程、字段、之外键、数据量、字段数等信息。模型是对现实世界的抽象,在数据技术中,我们用数据模型的概念描述数据库的结构和定义,对现实世界的数据进行抽象。
实时采集源***的元数据包括实时自动采集和实时手动采集源***的元数据。元数据治理核心包含三块内容:元数据管理、元数据分析以及元数据应用。
通过元模型定义的内容,对相关数据源通过定时任务对元数据进行采集、比对、存储、归类。元数据管理包含对业务元数据、技术元数据、管理员数据实施管理,如基础元数据维护、元数据变更、元数据版本、元数据比对等管理。通过元数据采集的信息,对元数据实施分析,生成元数据全局地图、血缘分析以及影响分析。由于元数据天然自带汇聚之后就可共享的属性,把元数据治理与数据质量治理进行结合,能够快速圈定数据质量根源所在以及影响分析,帮助用户实现元数据治理价值。
所述对业务元数据、技术元数据和管理元数据进行基本信息的管理包括对实时采集的元模型的元数据元数据自动比对,实现元数据增量更新;自动发现元数据变更信息;根据属性自动生成元数据目录;自动化控制元数据版本;还包括通过版本对比发现元数据差距。
如图2所示的数据治理整体架构图,源***的数据经过清洗融合构成多种类型的数据库,经过数据模型(元模型)规定(指导建设),对一类源头数据需要采集具体哪些元数据,如关系型元数据抽象出来关系型元模型,在关系型元模型中,对关系型数据库需要采集的对象进行定义。此处数据模型的管理通过组织内数据模型建立、存储、分析,帮助客户统一模型管理。数据模型的数据为标准化后的数据,数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性数据标准化的方法有很多种,常用的有"最小-最大标准化"、"Z-score标准化"和"按小数定标标准化"等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。
图2中,虚线框部分为元数据治理架构元数据管理和元数据分析部分,对元模型的元数据进行实时采集包括对元模型的元数据进行实时自动采集和手动采集。元数据采集提供元数据自动采集、手动采集以及采集日志管理,帮助客户建立实时的元数据采集。
对业务元数据、技术元数据和管理元数据进行基本信息的管理为提供元数据的基本信息、版本、变更、版本比对等元数据的基本信息管理。具体包括对实时采集的元模型的元数据元数据自动比对,实现元数据增量更新;自动发现元数据变更信息;根据属性自动生成元数据目录;自动化控制元数据版本;还包括通过版本对比发现元数据差距。
对元数据进行分析包括血缘分析、影响分析和生成元数据地图;元数据地图提供全局元数据的数据地图展现,发现数据全链路关系并能进行分层下转。
数据质量部分,由规则库定义用于对元数据进行质量评价的规则,包括质量探查,管控,提升规则,利用元数据管理和元数据分析部分最终得到数据的质量信息。通过更加精确的规则制定和参考数据的使用,让数据质量问题无处遁形
一种元数据治理***,包括服务器和客户端,所述服务器为具备数据处理功能的计算机设备,所述服务器用于建立元模型,包括对源***进行抽象建立的元模型,所述元模型对源***中需要采集的对象进行定义;
治理元数据,包括根据元模型定义的采集的对象,实时采集源***的元数据,并对元模型的元数据进行管理、分析和应用;
所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理,
对元数据进行分析包括血缘分析、影响分析和生成元数据地图;
对元数据进行应用包括利用管理后的元数据的基本信息和分析后的元数据进行质量问题追溯、元数据质量问题影响分析和资产管理;
所述客户端为具备显示能力的显示设备,所述服务器和客户端通过接口进行通讯,所述客户端显示元数据质量问题追溯结果、元数据质量问题影响分析结果和资产管理结果。
所述源***包括关系型数据库、文件类数据库、大数据库和接口类数据库。
对源***进行抽象建立关系型元模型、文件型元模型、大数据库元模型和接口类元模型。
所述实时采集源***的元数据包括实时自动采集和实时手动采集源***的元数据。
所述对业务元数据、技术元数据和管理元数据进行基本信息的管理包括对实时采集的元模型的元数据元数据自动比对,实现元数据增量更新;自动发现元数据变更信息;根据属性自动生成元数据目录;自动化控制元数据版本;还包括通过版本对比发现元数据差距。
本发明一种元数据治理方法包括建立元模型,对源***进行抽象建立元模型,所述元模型对源***中需要采集的对象进行定义;治理元数据,包括根据元模型定义的采集的对象,实时采集源***的元数据,并对元模型的元数据进行管理、分析和应用;所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理,对元数据进行分析包括血缘分析、影响分析和生成元数据地图;对元数据进行应用包括元数据质量问题追溯、元数据质量问题影响分析和资产管理。克服现有技术中,数据质量问题很难快速的找到数据质量问题根源,数据质量修复也就更加的困难的缺陷。通过元数据的治理,高度整合元数据,根据统一标准进行元数据存储,通过发现数据之间关系,形成全局的数据地图,根据地图内元数据血缘分析,快速定位该数据血缘关系,发现质量问题根源所在,达到快速核实的目的。
本发明还提供一种元数据治理***,包括服务器和客户端,所述服务器为具备数据处理功能的计算机设备,所述服务器用于建立源***,提供元数据;建立元模型,对源***进行抽象建立的元模型,所述元模型对源***中需要采集的对象进行定义;治理元数据,对元模型的元数据进行实时采集,对元模型的元数据进行管理、分析和应用;所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理,对元数据进行分析包括血缘分析、影响分析和生成元数据地图;对元数据进行应用包括利用管理后的元数据的基本信息和分析后的元数据进行质量问题追溯、元数据质量问题影响分析和资产管理;所述客户端为具备显示能力的显示设备,所述服务器和客户端通过接口进行通讯,所述客户端显示元数据质量问题追溯结果、元数据质量问题影响分析结果和资产管理结果。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上对本发明所提供的一种数据分析方法和***进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种元数据治理方法,其特征在于,包括:
建立元模型,包括对源***进行抽象建立元模型,所述元模型对源***中需要采集的对象进行定义;
治理元数据,包括根据元模型定义的采集的对象,实时采集源***的元数据,并对元数据进行管理、分析和应用;
所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理,
对元数据进行分析包括血缘分析、影响分析和生成元数据地图;
对元数据进行应用包括利用管理后的元数据的基本信息和分析后的元数据进行质量问题追溯、元数据质量问题影响分析和资产管理。
2.根据权利要求1所述的元数据治理方法,其特征在于,所述源***包括关系型数据库、文件类数据库、大数据库和接口类数据库。
3.根据权利要求2所述的元数据治理方法,其特征在于,对源***进行抽象建立关系型元模型、文件型元模型、大数据库元模型和接口类元模型。
4.根据权利要求3所述的元数据治理方法,其特征在于,所述实时采集源***的元数据包括实时自动采集和实时手动采集源***的元数据。
5.根据权利要求4所述的元数据治理方法,其特征在于,所述对业务元数据、技术元数据和管理元数据进行基本信息的管理包括对实时采集的元模型的元数据元数据自动比对,实现元数据增量更新;自动发现元数据变更信息;根据属性自动生成元数据目录;自动化控制元数据版本;还包括通过版本对比发现元数据差距。
6.一种元数据治理***,其特征在于,包括服务器和客户端,所述服务器为具备数据处理功能的计算机设备,所述服务器用于建立元模型,包括对源***进行抽象建立元模型,所述元模型对源***中需要采集的对象进行定义;
治理元数据,包括根据元模型定义的采集的对象,实时采集源***的元数据,并对元模型的元数据进行管理、分析和应用;
所述对元数据进行管理包括对业务元数据、技术元数据和管理元数据进行基本信息的管理,
对元数据进行分析包括血缘分析、影响分析和生成元数据地图;
对元数据进行应用包括利用管理后的元数据的基本信息和分析后的元数据进行质量问题追溯、元数据质量问题影响分析和资产管理;
所述客户端为具备显示能力的显示设备,所述服务器和客户端通过接口进行通讯,所述客户端显示元数据质量问题追溯结果、元数据质量问题影响分析结果和资产管理结果。
7.根据权利要求6所述的元数据治理***,其特征在于,所述源***包括关系型数据库、文件类数据库、大数据库和接口类数据库。
8.根据权利要求7所述的元数据治理***,其特征在于,对源***进行抽象建立关系型元模型、文件型元模型、大数据库元模型和接口类元模型。
9.根据权利要求8所述的元数据治理***,其特征在于,所述实时采集源***的元数据包括实时自动采集和实时手动采集源***的元数据。
10.根据权利要求9所述的元数据治理***,其特征在于,所述对业务元数据、技术元数据和管理元数据进行基本信息的管理包括对实时采集的元模型的元数据元数据自动比对,实现元数据增量更新;自动发现元数据变更信息;根据属性自动生成元数据目录;自动化控制元数据版本;还包括通过版本对比发现元数据差距。
CN201911104323.4A 2019-11-13 2019-11-13 一种元数据治理方法和*** Pending CN111125068A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911104323.4A CN111125068A (zh) 2019-11-13 2019-11-13 一种元数据治理方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911104323.4A CN111125068A (zh) 2019-11-13 2019-11-13 一种元数据治理方法和***

Publications (1)

Publication Number Publication Date
CN111125068A true CN111125068A (zh) 2020-05-08

Family

ID=70495631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911104323.4A Pending CN111125068A (zh) 2019-11-13 2019-11-13 一种元数据治理方法和***

Country Status (1)

Country Link
CN (1) CN111125068A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199433A (zh) * 2020-10-28 2021-01-08 云赛智联股份有限公司 一种用于城市级数据中台的数据治理***
CN112306992A (zh) * 2020-11-04 2021-02-02 内蒙古证联信息技术有限责任公司 一种基于互联网的大数据平台
CN112396404A (zh) * 2020-11-27 2021-02-23 广州光点信息科技有限公司 一种数据中台***
CN112597207A (zh) * 2020-12-29 2021-04-02 科技谷(厦门)信息技术有限公司 一种元数据管理***
CN112800046A (zh) * 2021-02-26 2021-05-14 上海帕科信息科技有限公司 一种应用于领域数据治理的人工智能平台
CN113138973A (zh) * 2021-04-20 2021-07-20 建信金融科技有限责任公司 数据管理***及工作方法
CN114648058A (zh) * 2022-03-03 2022-06-21 昆明理工大学 一种基于元数据的锡铋金属材料数据处理方法及装置
CN116450908A (zh) * 2023-06-19 2023-07-18 北京大数据先进技术研究院 基于数据湖的自助式数据分析方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657052A (zh) * 2017-10-17 2018-02-02 上海计算机软件技术开发中心 一种基于元数据管理的数据治理***
CN108717456A (zh) * 2018-05-22 2018-10-30 浪潮软件股份有限公司 一种数据源无关的数据全生命周期管理平台及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657052A (zh) * 2017-10-17 2018-02-02 上海计算机软件技术开发中心 一种基于元数据管理的数据治理***
CN108717456A (zh) * 2018-05-22 2018-10-30 浪潮软件股份有限公司 一种数据源无关的数据全生命周期管理平台及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199433A (zh) * 2020-10-28 2021-01-08 云赛智联股份有限公司 一种用于城市级数据中台的数据治理***
CN112306992A (zh) * 2020-11-04 2021-02-02 内蒙古证联信息技术有限责任公司 一种基于互联网的大数据平台
CN112306992B (zh) * 2020-11-04 2024-02-13 内蒙古证联信息技术有限责任公司 一种基于互联网的大数据平台***
CN112396404A (zh) * 2020-11-27 2021-02-23 广州光点信息科技有限公司 一种数据中台***
CN112597207A (zh) * 2020-12-29 2021-04-02 科技谷(厦门)信息技术有限公司 一种元数据管理***
CN112800046A (zh) * 2021-02-26 2021-05-14 上海帕科信息科技有限公司 一种应用于领域数据治理的人工智能平台
CN113138973A (zh) * 2021-04-20 2021-07-20 建信金融科技有限责任公司 数据管理***及工作方法
CN114648058A (zh) * 2022-03-03 2022-06-21 昆明理工大学 一种基于元数据的锡铋金属材料数据处理方法及装置
CN116450908A (zh) * 2023-06-19 2023-07-18 北京大数据先进技术研究院 基于数据湖的自助式数据分析方法、装置和电子设备
CN116450908B (zh) * 2023-06-19 2023-10-03 北京大数据先进技术研究院 基于数据湖的自助式数据分析方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN111159191B (zh) 一种数据处理方法、装置和界面
CN111125068A (zh) 一种元数据治理方法和***
Wang et al. Industrial big data analytics: challenges, methodologies, and applications
CN107315776B (zh) 一种基于云计算的数据管理***
US8021163B2 (en) Skill-set identification
CN109522312B (zh) 一种数据处理方法、装置、服务器和存储介质
Corallo et al. Understanding and defining dark data for the manufacturing industry
CN110119395B (zh) 大数据治理中基于元数据实现数据标准与数据质量关联处理的方法
CN112199433A (zh) 一种用于城市级数据中台的数据治理***
CN111680153A (zh) 一种基于知识图谱的大数据鉴真方法与***
Aljumaili et al. Metadata-based data quality assessment
CN110807026A (zh) 一种用于分析金融大数据血缘关系的自动化捕获***
CN116383193A (zh) 一种数据管理方法、装置、电子设备和存储介质
CN116662441A (zh) 一种分布式数据血缘构建及展现方法
CN114880405A (zh) 一种基于数据湖的数据处理方法及***
CN112966162A (zh) 一种基于数据仓库与中间件的科技资源集成方法及装置
CN116991931A (zh) 一种元数据管理方法和***
CN117056308A (zh) 一种基于OpenLineage数据库生成金融大数据血缘关系的方法
CN113779261B (zh) 知识图谱的质量评价方法、装置、计算机设备及存储介质
CN109636303B (zh) 一种半自动提取和结构化文档信息的存储方法及***
Yang et al. User story clustering in agile development: a framework and an empirical study
CN115952160B (zh) 一种数据盘点方法
CN112363996A (zh) 用于建立电网知识图谱的物理模型的方法及***和介质
CN116578612A (zh) 锂电池成品检测数据资产构建方法
Kassem et al. Matching of business data in a generic business process warehousing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination