CN111143322A - 一种数据标准治理***及方法 - Google Patents

Abstract

本发明公开了一种数据标准治理***，包括标准管理模块，业务对象管理模块，数据标准映射模块，标准执行任务创建模块，标准执行模块，第一任务分析模块，第二任务分析模块，解决不同部门数据口径不一致：业务数据含义、表示方式和代码皆不统一，数据可信性低；不同业务间共用数据不能有效共享，影响管理决策的科学性的问题。

Description

一种数据标准治理***及方法

技术领域

本发明涉及数据标准技术领域，更具体地，涉及一种数据标准治理***。

背景技术

政府部门、互联网企业、大型集团企业积累沉淀了大量的数据资源。我国已成为产生和积累数据量最大、数据类型最丰富的国家之一，从国家战略和城市战略来看数据已成为第一资源。但由于在信息化的建设过程中，企业和政府都面临着同一个问题，数据的浪费，造成数据浪费。在信息建设初期，各组织都根据业务需求建设了大量的符合当前的***，缺少统一规划和管理，数据标准的不统一，不同业务对同一数据描述不同，数据格式不一，导致大量数据不能被用于决策，质量低下。

政务IT***建设初期缺少统一的规划和部署，导致不同部门数据口径不一致：业务数据含义、表示方式和代码皆不统一，数据可信性低；不同业务间共用数据不能有效共享，影响管理决策的科学性。通过构建数据标准包，解决编码性质的数据质量问题，使得数据校验更加全面精准，解决原来普遍存在的数据标准和数据分开两张皮的问题，达到数据标准和数据的高度统一。

发明内容

鉴于上述问题，本发明提出了一种数据标准治理***及方法，克服组织内因为不同业务对同一数据定义不同、数据描述不同、数据格式不同，导致数据之间难于进行共享交换。

为了达到上述目的，本发明实施例提供了一种数据标准治理***，包括：

标准管理模块，用于创建或修改数据标准文件和数据规则文件，还用于关联数据源与数据标准文件；

业务对象管理模块，用于为不同的数据源分别创建对应的业务对象，并对创建的业务对象进行分类；

数据标准映射模块，用于将创建的业务对象与所述数据标准文件相互关联；

标准执行任务创建模块，用于创建使业务对象执行数据标准文件的标准和数据规则文件的规则的任务；

标准执行模块，用于执行所述标准执行任务创建模块创建的标准执行任务；

第一任务分析模块，用于查找与所述标准执行任务对应的数据标准不一致的业务对象；

第二任务分析模块，用于监管所述标准执行任务，确定标准执行任务的执行错误日志。

进一步的，所述数据标准文件包括标准包和参考数据，所述数据规则文件包括值域分析规则、字典规则、函数依赖规则、SQL规则、正则表达式规则和包含依赖规则。

进一步的，所述修改数据标准文件包括动态扩展各类型的数据标准。

进一步的，所述数据标准映射模块根据创建的业务对象的字段含义确定归属的数据标准主题，在相应的数据标准主题中查找数据标准进行关联，形成映射结果表。

一种数据标准治理方法，包括：

创建或修改数据标准文件和数据规则文件，关联数据源与数据标准文件；

为不同的数据源分别创建对应的业务对象，并对创建的业务对象进行分类；

将创建的业务对象与所述数据标准文件相互关联；

创建使业务对象执行数据标准文件的标准和数据规则文件的规则的任务；

执行创建的标准执行任务；

查找与所述标准执行任务对应的数据标准不一致的业务对象；

监管所述标准执行任务，确定标准执行任务的执行错误日志。

进一步地，所述数据标准文件包括标准包和参考数据，所述数据规则文件包括值域分析规则、字典规则、函数依赖规则、SQL规则、正则表达式规则和包含依赖规则。

进一步地，所述修改数据标准文件包括动态扩展各类型的数据标准。

进一步地，根据创建的业务对象的字段含义确定归属的数据标准主题，在相应的数据标准主题中查找数据标准进行关联，形成映射结果表。

本发明实施例提供了一种数据标准治理***及方法，包括标准管理模块，用于创建或修改数据标准文件和数据规则文件，还用于关联数据源与数据标准文件；业务对象管理模块，用于为不同的数据源分别创建对应的业务对象，并对创建的业务对象进行分类；数据标准映射模块，用于将创建的业务对象与所述数据标准文件相互关联；标准执行任务创建模块，用于创建使业务对象执行数据标准文件的标准和数据规则文件的规则的任务；标准执行模块，用于执行所述标准执行任务创建模块创建的标准执行任务；第一任务分析模块，用于查找与所述标准执行任务对应的数据标准不一致的业务对象；第二任务分析模块，用于监管所述标准执行任务，确定标准执行任务的执行错误日志。解决不同部门数据口径不一致：业务数据含义、表示方式和代码皆不统一，数据可信性低；不同业务间共用数据不能有效共享，影响管理决策的科学性的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了数据标准治理应用原理图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在多指标评价体系中，由于各评价指标的性质不同，通常具有不同的量纲和数量级。当各指标间的水平相差很大时，如果直接用原始指标值进行分析，就会突出数值较高的指标在综合分析中的作用，相对削弱数值水平较低指标的作用。因此，为了保证结果的可靠性，需要对原始指标数据进行标准化处理。

数据的标准化(normalization)是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。

目前数据标准化方法有多种，归结起来可以分为直线型方法(如极值法、标准差法)、折线型方法(如三折线法)、曲线型方法(如半正态性分布)。不同的标准化方法，对***的评价结果会产生不同的影响，然而不幸的是，在数据标准化方法的选择上，还没有通用的法则可以遵循。

图1中，标准体系管理提供数据标准文档、数据元标准、标准用语、标准术语等功能帮助客户建立全局的标准管理。数据标准体系与业务对象的映射，将当前***中的定义的业务对象和数据标准中的标准包和规则关联的过程。通常根据***字段的业务含义确定字段归属的数据标准主题，在相应主题标准中(通过数据清洗流水线实现数据的清洗融合，建立标准库，从而形成基础库与各厅局的主题库，专题库)查找已定义的数据标准进行关联，并形成映射结果表。

结合图1，数据标准治理***，包括：标准管理模块，用于创建或修改数据标准文件和数据规则文件，还用于关联数据源与数据标准文件；

所述数据标准文件包括标准包和参考数据，所述数据规则文件包括值域分析规则、字典规则、函数依赖规则、SQL规则、正则表达式规则和包含依赖规则。

其中标准包管理+参考数据提供数据标准的创建功能，可以动态扩展各类型数据标准。实现对具体数据标准的维护管理，包含标准包的名称、标准包描述等的编辑、修改、删除功能，可实现自定义数据标准的配置jar包、参考数据的导入功能，并可对jar包、参考数据进行预览、编辑及更新功能。

数据元管理是按照标准对数据元进行统一的管理，同时将数据元和标准包进行关联，以备数据元和业务对象进行映射。

规则管理实现数据规则的统一管理。主要管理的规则有：值域分析，字典规则，函数依赖规则，SQL规则，正则表达书，包含依赖等。

图1中的标准管理为对标准文件进行版本化管理，同时对标准文件按照国家标准，地方标准，国际标准和行业标准进行分类。提供标准的版本管理，帮助客户可以查阅不同时期标准内容并进行比对。

业务对象管理模块，用于为不同的数据源分别创建对应的业务对象，并对创建的业务对象进行分类；业务对象管理根据数据源定义相应的业务对象，并对定义的业务对象进行分组归类；还可对业务对象的字段进行子串生成(即数据表属性自定义)。

数据标准映射模块，用于将创建的业务对象与所述数据标准文件相互关联；图1中数据标准体系与业务对象的映射，将当前***中的定义的业务对象和数据标准中的标准包和规则关联的过程。通常根据***字段的业务含义确定字段归属的数据标准主题，在相应主题标准中查找已定义的数据标准进行关联，并形成映射结果表。

标准执行任务创建模块，用于创建使业务对象执行数据标准文件的标准和数据规则文件的规则的任务；标准映射创建完毕后，创建标准执行方案。标准执行方案支持本***内调度，也可支持***外第三方调度产品进行调度。执行方案设计后，按照相关流程进行审批，并将审批通过后的执行方案在相关***中实施。

标准执行模块，用于执行所述标准执行任务创建模块创建的标准执行任务；

第一任务分析模块，用于查找与所述标准执行任务对应的数据标准不一致的业务对象；主要从数据标准差异分析和数据标准执行日志分析两个方面进行：数据标准差异分析，前端分析通过差异分析进行评估，会对标准执行的差异进行比对，识别出不满足数据标准定义的具体情况。分析内容主要从标准和业务对象两个维度进行，从标准维度看，主要反映出那那个业务对象的属性违反了当前指定稽查的标准；从业务对象维度上看，当前业务对象有多少条问题数据，且该问题数据都违反了什么标准或规则。同时对差异分析结果进行导出功能。

第二任务分析模块，用于监管所述标准执行任务，确定标准执行任务的执行错误日志。数据标准执行日志分析，分析当前业务对象执行情况。主要分析执行错误日志。

所述修改数据标准文件包括动态扩展各类型的数据标准。所述数据标准映射模块根据创建的业务对象的字段含义确定归属的数据标准主题，在相应的数据标准主题中查找数据标准进行关联，形成映射结果表。

还可对***进行标准体系符合性检测提帮助客户清晰看见组织内标准运行情况。该治理方法还可包括标准数据查询，提供标准的全局查询，展现标准内容、订阅、检测、评估、标准覆盖等情况。还可提供标准变更管理，提供数据元标准的变更申请，使审核后的数据元标准变得更标准。

当数据标准治理***应用时候，可对数据体系标准进行自定义控制，如图1中的基础层，具备用户管理功能，对平台的用户进行管理，提供新增、修改、删除、用户权限分配；权限管理：对平台的权限进行统一管理；

角色管理功能：增删改角色，对角色分配权限：包括功能授权,数据授权和数据源授权，其中数据授权为对指定的角色授以指定数据标准的访问权限(增、删、改、查)；

功能管理：主要功能是对功能菜单进行配置；

数据源管理：对平台涉及的数据源进行管理；提供新增、修改、删除；

***日志：主要是参考***日志包括操作时间、用户名、IP地址等内容。

如图1中的表示层，表示层展示数据标准差异分析报告、数据标准执行日志分析报告和数据标准差异分析报告。

本发明公开了一种数据标准治理数据标准治理***，包括标准管理模块，用于创建或修改数据标准文件和数据规则文件，还用于关联数据源与数据标准文件；业务对象管理模块，用于为不同的数据源分别创建对应的业务对象，并对创建的业务对象进行分类；数据标准映射模块，用于将创建的业务对象与所述数据标准文件相互关联；标准执行任务创建模块，用于创建使业务对象执行数据标准文件的标准和数据规则文件的规则的任务；标准执行模块，用于执行所述标准执行任务创建模块创建的标准执行任务；第一任务分析模块，用于查找与所述标准执行任务对应的数据标准不一致的业务对象；第二任务分析模块，用于监管所述标准执行任务，确定标准执行任务的执行错误日志。解决不同部门数据口径不一致：业务数据含义、表示方式和代码皆不统一，数据可信性低；不同业务间共用数据不能有效共享，影响管理决策的科学性的问题。

在本申请所提供的实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种数据分析方法和***进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种数据标准治理***，其特征在于，包括：

标准管理模块，用于创建或修改数据标准文件和数据规则文件，还用于关联数据源与数据标准文件；

业务对象管理模块，用于为不同的数据源分别创建对应的业务对象，并对创建的业务对象进行分类；

数据标准映射模块，用于将创建的业务对象与所述数据标准文件相互关联；

标准执行任务创建模块，用于创建使业务对象执行数据标准文件的标准和数据规则文件的规则的任务；

标准执行模块，用于执行所述标准执行任务创建模块创建的标准执行任务；

第一任务分析模块，用于查找与所述标准执行任务对应的数据标准不一致的业务对象；

第二任务分析模块，用于监管所述标准执行任务，确定标准执行任务的执行错误日志。

2.根据权利要求1所述的数据标准治理***，其特征在于，所述数据标准文件包括标准包和参考数据，所述数据规则文件包括值域分析规则、字典规则、函数依赖规则、SQL规则、正则表达式规则和包含依赖规则。

3.根据权利要求2所述的数据标准治理***，其特征在于，所述修改数据标准文件包括动态扩展各类型的数据标准。

4.根据权利要求1所述的数据标准治理***，其特征在于，所述数据标准映射模块根据创建的业务对象的字段含义确定归属的数据标准主题，在相应的数据标准主题中查找数据标准进行关联，形成映射结果表。

5.一种数据标准治理方法，其特征在于，包括：

创建或修改数据标准文件和数据规则文件，关联数据源与数据标准文件；

为不同的数据源分别创建对应的业务对象，并对创建的业务对象进行分类；

将创建的业务对象与所述数据标准文件相互关联；

创建使业务对象执行数据标准文件的标准和数据规则文件的规则的任务；

执行创建的标准执行任务；

查找与所述标准执行任务对应的数据标准不一致的业务对象；

监管所述标准执行任务，确定标准执行任务的执行错误日志。

6.根据权利要求5所述的数据标准治理方法，其特征在于，所述数据标准文件包括标准包和参考数据，所述数据规则文件包括值域分析规则、字典规则、函数依赖规则、SQL规则、正则表达式规则和包含依赖规则。

7.根据权利要求6所述的数据标准治理方法，其特征在于，所述修改数据标准文件包括动态扩展各类型的数据标准。

8.根据权利要求5所述的数据标准治理方法，其特征在于，根据创建的业务对象的字段含义确定归属的数据标准主题，在相应的数据标准主题中查找数据标准进行关联，形成映射结果表。

Images