CN111192015A - 基于核心对象的一体化数据管理*** - Google Patents

基于核心对象的一体化数据管理*** Download PDF

Info

Publication number
CN111192015A
CN111192015A CN201911389801.0A CN201911389801A CN111192015A CN 111192015 A CN111192015 A CN 111192015A CN 201911389801 A CN201911389801 A CN 201911389801A CN 111192015 A CN111192015 A CN 111192015A
Authority
CN
China
Prior art keywords
data
management
module
core
data elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911389801.0A
Other languages
English (en)
Inventor
闫光星
冯加成
衡晶
刘季珑
金崇英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuxi Technology Co Ltd
Original Assignee
Shanghai Shuxi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuxi Technology Co Ltd filed Critical Shanghai Shuxi Technology Co Ltd
Priority to CN201911389801.0A priority Critical patent/CN111192015A/zh
Publication of CN111192015A publication Critical patent/CN111192015A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了基于核心对象的一体化数据管理***，包括管理单元、核心管理对象单元和数据层，所述管理单元包括数据质量管理模块、数据标准管理模块、数据架构与模型管理模块和数据安全管理模块；所述核心管理对象单元包括分析类模块、基础类模块和元数据管理模块；所述数据层包括业务***模块、数据仓库模块、数据集市模块、DD模块L和ETL脚本模块，本发明通过分析数据管理核心对象及其关系描述，将数据数据管理各领域进行有机连接，最终建立全面、完整的一体化数据管理机制与流程。同时，以核心对象为管理目标，配套建立灵活、功能强大的数据管理平台，使数据管理工作迅速走向自动化和精细化，为实现数据管理的量化管理奠定坚实基础。

Description

基于核心对象的一体化数据管理***
技术领域
本发明属于数据管理***，具体涉及到基于核心对象的一体化数据管理***。
背景技术
在信息时代，数据被认为是一项重要的企业资产，需要进行有效的管理并逐步提升其质量，进而挖掘并发挥其价值，才能帮助企业领导者做出更准确的决策，保障企业的高效运转。
数据管理的各个领域既相互独立又互相依赖。数据管理的数据标准、元数据、主数据、数据质量等领域，都可以自成体系且复杂、庞大；同时各领域互为依赖，各种管理流程紧密关联。要全面、有序的在企业内部推动数据管理，是一项长期、艰巨且难以见效的工作。在有限的人力资源及数据管理基础下，达到推动数据管理工作实施、切实提升企业数据质量的目的，必须确定数据管理的核心对象并实施相应的工作。
发明内容
为了解决上述不足的缺陷，本发明提供了基于核心对象的一体化数据管理***，通过分析数据管理核心对象及其关系描述，将数据数据管理各领域进行有机连接，最终建立全面、完整的一体化数据管理机制与流程。同时，以核心对象为管理目标，配套建立灵活、功能强大的数据管理平台，使数据管理工作迅速走向自动化和精细化，为实现数据管理的量化管理奠定坚实基础。
本发明提供了基于核心对象的一体化数据管理***，包括管理单元、核心管理对象单元和数据层，所述管理单元包括数据质量管理模块、数据标准管理模块、数据架构与模型管理模块和数据安全管理模块；所述核心管理对象单元包括分析类模块、基础类模块和元数据管理模块；所述数据层包括业务***模块、数据仓库模块、数据集市模块、DD模块L和ETL脚本模块。
上述的基于核心对象的一体化数据管理***，其中，所述分析类模块包括报表数据元和指标数据元；所述基础类模块包括基础数据元和数据字典。
上述的基于核心对象的一体化数据管理***，其中，所述元数据管理模块包括基本信息、业务信息、管理信息和关联关系。
上述的基于核心对象的一体化数据管理***，其中，所述基础数据元、指标数据元与报表数据元是数据管理活动的核心实体。
上述的基于核心对象的一体化数据管理***，其中，构建的报表数据元、指标数据元、基础数据元之间的关系数据，是血缘分析和影响性分析的重要基础，以及通过基础元数据与数据字典之间的关系，数据管理各领域工作连接起来并深入到具体业务和***中。
上述的基于核心对象的一体化数据管理***，其中，所述数据质量管理模块用于针对基础数据元设定检核规则，借助基础数据元与数据字典的关联关系，可以对所有应用***中的同一信息项进行监测，以及针对指标数据元设定检核规则，并通过指标数据元与基础数据元的血缘关系来确定影响指标数据质量的基础数据元，并可找到对应的***、表及字段。
上述的基于核心对象的一体化数据管理***，其中，所述数据标准管理模块通过基础数据元与标准定义关联，可自动生成检核规则，检查各***对数据标准落地执行的情况，以及定期对指标数据元进行重检，对口径相同或相似的指标数据元进行标准化定义，以便在全行范围统一业务口径及技术口径，保证数据一致性。
上述的基于核心对象的一体化数据管理***，其中，所述数据架构与模型管理模块利用基础数据元与数据字典的映射关系直接生成数据分布现状。
上述的基于核心对象的一体化数据管理***，其中，所述数据安全管理模块通过对基础数据元和指标数据元的安全分级与分类，并明确相应的数据安全处理要求，以及通过数据字典与基础数据元映射关系实现数据安全要求在应用***的落实。
本发明提供了基于核心对象的一体化数据管理***具有以下有益效果：本发明的***通过分析数据管理核心对象及其关系描述，将数据数据管理各领域进行有机连接，最终建立全面、完整的一体化数据管理机制与流程。同时，以核心对象为管理目标，配套建立灵活、功能强大的数据管理平台，使数据管理工作迅速走向自动化和精细化，为实现数据管理的量化管理奠定坚实基础。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图，重点在于示出本发明的主旨。
图1为本发明的基于核心对象的一体化数据管理***的模块示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
参照图1所示，业务管理应用***的实施过程中概念模型设计是一个非常重要的步骤，其方法是通过分析业务管理框架，抽象出实体以及实体之间的关系，即E-R图，其中E就是业务管理的对象，R是业务管理对象之间的关系。借助概念模型设计的原理，数据管理的核心对象是从数据质量管理、数据标准管理、元数据管理、数据架构管理、数据安全管理等领域涉及的业务流程中抽象出来的一组核心实体。我们将描述数据载体的最小单元称为数据元素，例如设备的IP地址即为一个数据元素。围绕核心对象，对数据管理各个领域进行说明。数据质量管理是对各类的业务数据进行质量监测，持续发现数据质量问题并整改，其管理的关键内容对具体的数据元素指定的若干数据质量检核规则。数据标准管理的核心是对这些数据元素进行规范，在企业范围内实现业务与技术标准的统一。元数据管理的核心是定义并管理这些数据元素的业务描述、技术属性以及业务数据口径、加工路径等内容，促进及时、准确的了解数据含义及血缘关系。数据模型与架构管理则是将这些数据元素进行组合形成一个个业务实体，并明确这些业务实体的关系，同时确定这些业务实体在应用***中的分布，从而有效支撑企业的业务运转。数据安全管理是明确这些数据元素的安全等级，并对相应的业务数据采取必要的安全措施。
从业务数据的角度看，可分为基础类数据与分析类数据。基础类数据是业务经营活动中产生的数据，可划分为资产编号、操作***、IP地址、开关机事件、地理位置等数据主题，这些数据既彼此独立，又发生各种关联。分析类数据则是对基础数据进行加工汇总后用于经营分析决策的数据，指标与报表是分析类数据中两种典型类型。基于业务数据的分类，用于描述业务数据的数据元素表现为三种形式：一是基础类，描述信息项及相关的技术与业务属性；二是指标类，描述指标名称、约束条件、度量、维度、业务口径等内容；三是报表类，描述报表的行、列、显示内容以及各个单元格的取数口径等内容。
根据以上分析，业务数据的数据元素就是对数据管理各领域中所管理的核心数据元素进行抽象，进而形成数据管理的核心对象。为更明确的表达核心管理对象的含义，我们在这里分别称为为基础数据元、指标数据元及报表数据元。核心管理对象之间的关系，以及与数据管理各领域的关系图1所示：本发明提供了基于核心对象的一体化数据管理***，包括管理单元、核心管理对象单元和数据层，所述管理单元包括数据质量管理模块、数据标准管理模块、数据架构与模型管理模块和数据安全管理模块；所述核心管理对象单元包括分析类模块、基础类模块和元数据管理模块；所述数据层包括业务***模块、数据仓库模块、数据集市模块、DD模块L和ETL脚本模块
在本发明一优选而非限制性的实施例中，基础数据元、指标数据元与报表数据元是数据管理活动的核心实体，借助核心实体的属性及实体之间的关系，可以帮助我们清晰的描述数据管理各领域活动以及跨领域之间的关联关系，打通数据管理各个环节并使之成为“有机、整体的”数据管理流程。下文将逐一列举重点流程，阐述如何通过核心对象打通各领域之间的关系以支撑数据管理工作。
在本发明一优选而非限制性的实施例中，元数据管理：(1)这三类数据元实体内的内容均为对业务数据的属性描述，是元数据管理的核心内容。(2)构建的报表数据元、指标数据元、基础数据元之间的关系数据，是血缘分析和影响性分析的重要基础。(3)通过基础元数据与数据字典之间的关系，数据管理各领域工作连接起来并深入到具体业务和***中。
在本发明一优选而非限制性的实施例中，数据质量管理：(1)针对基础数据元设定检核规则，借助基础数据元与数据字典的关联关系，可以对所有应用***中的同一信息项进行监测。如对“客户名称”设定合法性检查规则后，可对所有有“客户名称”这一字段的***及相应表内数据进行检查。(2)针对指标数据元设定检核规则，并通过指标数据元与基础数据元的血缘关系来确定影响指标数据质量的基础数据元，并可找到对应的***、表及字段。例如检测发现两个指标数据不一致时，可通过分析指标的加工口径、数据来源等找到不一致原因。(3)数据质量问题整改时，可通过具体数据元信息，找到与问题数据有关的业务***、业务品种，并关联到相关责任部门，从而开展分析、整改、监测工作。
在本发明一优选而非限制性的实施例中，数据标准管理：(1)通过基础数据元与标准定义关联，可自动生成检核规则，检查各***对数据标准落地执行的情况，例如可根据数据标准中的证件类型代码生成证件类型有效检核规则。(2)定期对指标数据元进行重检，对口径相同或相似的指标数据元进行标准化定义，以便在全行范围统一业务口径及技术口径，保证数据一致性。
在本发明一优选而非限制性的实施例中，数据架构与模型管理：(1)利用基础数据元与数据字典的映射关系直接生成数据分布现状，并可看出存在的同一数据多头存储、同一字段在不同***定义不一致等对数据共享、数据整合有影响的各类问题。如客户规模存在多个***，但业务定义、长度等均不一致。(2)通过不断完善各类数据元中的具体信息项，并对其合理分类以及构建各类之间的关系，可帮助快速建立企业级的数据模型，并对数据架构管理提供支持。
在本发明一优选而非限制性的实施例中，数据安全管理：(1)通过对基础数据元和指标数据元的安全分级与分类，并明确相应的数据安全处理要求。(2)通过数据字典与基础数据元映射关系实现数据安全要求在应用***的落实。(3)通过指标数据元与报表数据元的关系，可落实报表数据的安全要求。本发明通过分析数据管理核心对象及其关系描述，将数据数据管理各领域进行有机连接，最终建立全面、完整的一体化数据管理机制与流程。同时，以核心对象为管理目标，配套建立灵活、功能强大的数据管理平台，使数据管理工作迅速走向自动化和精细化，为实现数据管理的量化管理奠定坚实基础。
以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (9)

1.基于核心对象的一体化数据管理***，其特征在于，包括管理单元、核心管理对象单元和数据层，所述管理单元包括数据质量管理模块、数据标准管理模块、数据架构与模型管理模块和数据安全管理模块；所述核心管理对象单元包括分析类模块、基础类模块和元数据管理模块；所述数据层包括业务***模块、数据仓库模块、数据集市模块、DD模块L和ETL脚本模块。
2.如权利要求1所述的基于核心对象的一体化数据管理***，其特征在于，所述分析类模块包括报表数据元和指标数据元；所述基础类模块包括基础数据元和数据字典。
3.如权利要求2所述的基于核心对象的一体化数据管理***，其特征在于，所述元数据管理模块包括基本信息、业务信息、管理信息和关联关系。
4.如权利要求3所述的基于核心对象的一体化数据管理***，其特征在于，所述基础数据元、指标数据元与报表数据元是数据管理活动的核心实体。
5.如权利要求4所述的基于核心对象的一体化数据管理***，其特征在于，构建的报表数据元、指标数据元、基础数据元之间的关系数据，是血缘分析和影响性分析的重要基础，以及通过基础元数据与数据字典之间的关系，数据管理各领域工作连接起来并深入到具体业务和***中。
6.如权利要求5所述的基于核心对象的一体化数据管理***，其特征在于，所述数据质量管理模块用于针对基础数据元设定检核规则，借助基础数据元与数据字典的关联关系，可以对所有应用***中的同一信息项进行监测，以及针对指标数据元设定检核规则，并通过指标数据元与基础数据元的血缘关系来确定影响指标数据质量的基础数据元，并可找到对应的***、表及字段。
7.如权利要求6所述的基于核心对象的一体化数据管理***，其特征在于，所述数据标准管理模块通过基础数据元与标准定义关联，可自动生成检核规则，检查各***对数据标准落地执行的情况，以及定期对指标数据元进行重检，对口径相同或相似的指标数据元进行标准化定义，以便在全行范围统一业务口径及技术口径，保证数据一致性。
8.如权利要求7所述的基于核心对象的一体化数据管理***，其特征在于，所述数据架构与模型管理模块利用基础数据元与数据字典的映射关系直接生成数据分布现状。
9.如权利要求8所述的基于核心对象的一体化数据管理***，其特征在于，所述数据安全管理模块通过对基础数据元和指标数据元的安全分级与分类，并明确相应的数据安全处理要求，以及通过数据字典与基础数据元映射关系实现数据安全要求在应用***的落实。
CN201911389801.0A 2019-12-30 2019-12-30 基于核心对象的一体化数据管理*** Pending CN111192015A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911389801.0A CN111192015A (zh) 2019-12-30 2019-12-30 基于核心对象的一体化数据管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911389801.0A CN111192015A (zh) 2019-12-30 2019-12-30 基于核心对象的一体化数据管理***

Publications (1)

Publication Number Publication Date
CN111192015A true CN111192015A (zh) 2020-05-22

Family

ID=70711072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911389801.0A Pending CN111192015A (zh) 2019-12-30 2019-12-30 基于核心对象的一体化数据管理***

Country Status (1)

Country Link
CN (1) CN111192015A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579562A (zh) * 2020-11-04 2021-03-30 国网辽宁省电力有限公司电力科学研究院 一种基于云平台的新能源数据建模与校验方法及***
US20230105207A1 (en) * 2021-10-06 2023-04-06 Bank Of America Corporation System and methods for intelligent entity-wide data protection
CN116541887B (zh) * 2023-07-07 2023-09-15 云启智慧科技有限公司 一种大数据平台数据安全保护方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320690A (zh) * 2014-07-30 2016-02-10 北京中海纪元数字技术发展股份有限公司 一种基于元数据的统计表单快速生成方法及***
CN109034532A (zh) * 2018-06-20 2018-12-18 江苏网域科技有限公司 一种基于大数据的数据管控***
CN110232098A (zh) * 2019-04-22 2019-09-13 汇通达网络股份有限公司 一种基于数据治理及血缘关系设计的数据仓库***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320690A (zh) * 2014-07-30 2016-02-10 北京中海纪元数字技术发展股份有限公司 一种基于元数据的统计表单快速生成方法及***
CN109034532A (zh) * 2018-06-20 2018-12-18 江苏网域科技有限公司 一种基于大数据的数据管控***
CN110232098A (zh) * 2019-04-22 2019-09-13 汇通达网络股份有限公司 一种基于数据治理及血缘关系设计的数据仓库***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579562A (zh) * 2020-11-04 2021-03-30 国网辽宁省电力有限公司电力科学研究院 一种基于云平台的新能源数据建模与校验方法及***
US20230105207A1 (en) * 2021-10-06 2023-04-06 Bank Of America Corporation System and methods for intelligent entity-wide data protection
CN116541887B (zh) * 2023-07-07 2023-09-15 云启智慧科技有限公司 一种大数据平台数据安全保护方法

Similar Documents

Publication Publication Date Title
Huang et al. Revisiting supervised and unsupervised models for effort-aware just-in-time defect prediction
Aboutorabiª et al. Performance evaluation of SQL and MongoDB databases for big e-commerce data
US11093519B2 (en) Artificial intelligence (AI) based automatic data remediation
US10013439B2 (en) Automatic generation of instantiation rules to determine quality of data migration
US8019795B2 (en) Data warehouse test automation framework
AU2018274972A1 (en) Data quality analysis
CN111192015A (zh) 基于核心对象的一体化数据管理***
US9152627B2 (en) Automatic rule generation
Danks et al. Measuring culture of innovation: A validation study of the innovation quotient instrument (part one)
Gubler et al. Helios: history and anatomy of a successful in-house enterprise high-throughput screening and profiling data analysis system
CN106372215A (zh) 信用查询***及方法
US20150106151A1 (en) Systems and Methods for Creating a Maturity Model Based Roadmap and Business Information Framework for Managing Enterprise Business Information
US20150363711A1 (en) Device for rapid operational visibility and analytics automation
US20230162061A1 (en) Using machine learning to determine job families using job titles
Shi et al. [Retracted] Research on Fast Recommendation Algorithm of Library Personalized Information Based on Density Clustering
Sachin et al. Nuts and Bolts of ETL in Data Warehouse
Liu et al. Application of master data classification model in enterprises
Azeroual et al. Overlooked Aspects of Data Governance: Workflow Framework For Enterprise Data Deduplication
Vostrovský et al. Open data quality management based on iso/iec square series standards in intelligent systems
Li et al. Analytic model and assessment framework for data quality evaluation in state grid
Verbitskiy et al. Data quality management in a business intelligence environment: from the lens of metadata
CN118174971B (zh) 一种用于网络威胁的多源异构数据治理方法和***
Li et al. Exploration practice of data mastery traceability algorithm based on knowledge graph in data governance of electric power industry
Rozsnyai et al. Automated correlation discovery for semi-structured business processes
CN116361363B (zh) 用于科学工艺评估***的审计追踪记录生成方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200522

WD01 Invention patent application deemed withdrawn after publication