CN116541372A - 一种数据资产治理方法及*** - Google Patents

Abstract

一种数据资产治理方法及***，该方法元数据管理阶段进行元数据采集、元数据逆向解析、元数据视图管理、元数据查询、元数据模板管理、元数据维护、元数据关联关系配置和元数据血缘关系生成；数据标准管理阶段进行标准属性配置、标准规则管理、标准目录管理和标准规则映射；标准属性配置的对象包括基础属性、业务属性、技术属性和管理属性；数据质量管理阶段进行稽核规则调度、巡检任务监控、脚本信息查看、质量问题查看和调度接口校验；数据安全管理阶段进行安全处理引擎配置、安全规则管理、安全密钥管理、动态权限管控和安全管理体系构建。本发明能够全方位提升数据质量，节省了大量的人员成本，保障数据安全的同时，有效提升数据使用效率。

Description

一种数据资产治理方法及***

技术领域

本发明属于数据处理技术领域，具体涉及一种数据资产治理方法及***。

背景技术

数据资产是由个人或企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源。数据资产是拥有数据权属(勘探权、使用权、所有权)、有价值、可计量、可读取的网络空间中的数据集。

现阶段，由于数据资产的复杂多样性，数据资产便捷高效化管理操作是必要的，数据资产的管理使用需要满足用户或者机器快速搜索的目的，并且很多元数据并不能直接地使用，需要进行维护；同时还要考虑数据资产的安全性，以规避信息泄露风险。目前缺少一种高效、安全、快捷的数据资产治理技术方案。

发明内容

为此，本发明提供一种数据资产治理方法及***，实现高效、安全、快捷的数据资产治理，满足用户或者机器快速搜索使用的需求。

为了实现上述目的，本发明提供如下技术方案：一种数据资产治理方法，包括：

元数据管理阶段，所述元数据管理阶段进行元数据采集、元数据逆向解析、元数据视图管理、元数据查询、元数据模板管理、元数据维护、元数据关联关系配置和元数据血缘关系生成；

数据标准管理阶段，所述数据标准管理阶段进行标准属性配置、标准规则管理、标准目录管理和标准规则映射；所述标准属性配置的对象包括基础属性、业务属性、技术属性和管理属性；所述标准规则管理的对象包括新增标准规则，所述新增标准规则过程进行规则编号定义、规则命名、稽核类型选择、规则描述、规则备注、规则参数配置和稽核脚本编写；

数据质量管理阶段，所述数据质量管理阶段进行稽核规则调度、巡检任务监控、脚本信息查看、质量问题查看和调度接口校验；所述巡检任务监控的对象包括实时状态监控、实时数据量监控、任务监控统计和任务执行日志；

数据安全管理阶段，所述数据安全管理阶段进行安全处理引擎配置、安全规则管理、安全密钥管理、动态权限管控和安全管理体系构建；所述安全管理体系构建的对象包括边界安全、访问安全、周期安全和数据安全。

作为数据资产治理方法优选方案，所述元数据采集过程采用可视化方式对异构数据源进行数据源的物理存储地址，认证鉴权信息和存储容量使用率管理；

所述元数据逆向解析过程，根据预置的元数据逆向解析引擎，对数据源及数据资产信息的元数据进行逆向解析工程；

所述元数据维护包括元数据基本信息、属性、被依赖关系、依赖关系、组合关系的查询修改和删除操作。

作为数据资产治理方法优选方案，所述元数据关联关系配置过程，对数据资产中的元数据关联关系进行配置，当使不同元数据中字段的连接关系生效时，配置对应的数据处理流程，在流程中配置元数据中字段的连接；

所述元数据血缘关系生成过程，当元数据中数据通过指定算法处理结束后，生成数据资产的血缘关系，通过数据资产的血缘关系菜单下进行资产与元数据的血缘关系查看。

作为数据资产治理方法优选方案，所述基础属性包括标准编号、标准主题及一级分类、二级分类、三级分类的内容；

所述业务属性包括对标准名称定义、标准别名、标准英文名称、业务规则、业务定义、定义依据、值域、标准来源、相关标准名称和相关标准编号；

所述技术属性包括计量单位、权威***、数据类型、数据格式维度的内容；

所述管理属性的内容包括标准定义部门、标准管理人员和标准使用部门。

作为数据资产治理方法优选方案，所述标准规则管理的对象还包括标准规则查询、标准规则展示、标准模板导入和标准导入导出；所述标准规则查询对象包括标准分类、标准类型、标准编号、标准名称、标准别名、定义部门和管理人员；所述标准规则展示对象包括准主题、标准编号、一级分类、二级分类、三级分类、标准名称、标准别名、英文名称、定义部门、管理人员及稽核规则。

作为数据资产治理方法优选方案，所述标准规则映射过程配置元数据与标准规则之间关系，通过自由组合元数据与标准规则的关联关系，实现同一标准被不同的元数据进行使用。

作为数据资产治理方法优选方案，所述数据标准管理阶段还进行代码标准管理，所述代码标准管理的对象包括基础属性管理、代码详情管理和代码标准统一管理。

作为数据资产治理方法优选方案，所述稽核规则调度通过监控调度器增加巡检计划，巡检计划包括设定巡检频率、调度周期、调度间隔、起止时间、是否激活。

作为数据资产治理方法优选方案，所述安全规则管理包括数据安全规则定义和数据安全规则执行；

所述安全密钥管理包括新增密钥、查询密钥和编辑密钥；

所述动态权限管控过程，根据用户对于角色的管理权限，对在不同角色下的用户账号登录进入后看到的数据资产以及数据结果进行管理；

所述边界安全用于限制合法身份用户访问平台集群；

所述访问安全用于自定义用户访问应用的权限以及数据权限；

所述周期安全用于数据的生命周期管理；

所述数据安全用于数据的加密、脱敏，多租户的隔离和数据侵权保护。

本发明还提供一种数据资产治理***，采用上述的数据资产治理方法，包括：

元数据管理模块，所述元数据管理模块用于进行元数据采集、元数据逆向解析、元数据视图管理、元数据查询、元数据模板管理、元数据维护、元数据关联关系配置和元数据血缘关系生成；

数据标准管理模块，所述数据标准管理模块用于进行标准属性配置、标准规则管理、标准目录管理和标准规则映射；所述标准属性配置的对象包括基础属性、业务属性、技术属性和管理属性；所述标准规则管理的对象包括新增标准规则，所述新增标准规则过程进行规则编号定义、规则命名、稽核类型选择、规则描述、规则备注、规则参数配置和稽核脚本编写；

数据质量管理模块，所述数据质量管理模块用于进行稽核规则调度、巡检任务监控、脚本信息查看、质量问题查看和调度接口校验；所述巡检任务监控的对象包括实时状态监控、实时数据量监控、任务监控统计和任务执行日志；

数据安全管理模块，所述数据安全管理模块用于进行安全处理引擎配置、安全规则管理、安全密钥管理、动态权限管控和安全管理体系构建；所述安全管理体系构建的对象包括边界安全、访问安全、周期安全和数据安全。

本发明元数据管理阶段进行元数据采集、元数据逆向解析、元数据视图管理、元数据查询、元数据模板管理、元数据维护、元数据关联关系配置和元数据血缘关系生成；数据标准管理阶段进行标准属性配置、标准规则管理、标准目录管理和标准规则映射；所述标准属性配置的对象包括基础属性、业务属性、技术属性和管理属性；所述标准规则管理的对象包括新增标准规则，所述新增标准规则过程进行规则编号定义、规则命名、稽核类型选择、规则描述、规则备注、规则参数配置和稽核脚本编写；数据质量管理阶段进行稽核规则调度、巡检任务监控、脚本信息查看、质量问题查看和调度接口校验；所述巡检任务监控的对象包括实时状态监控、实时数据量监控、任务监控统计和任务执行日志；数据安全管理阶段进行安全处理引擎配置、安全规则管理、安全密钥管理、动态权限管控和安全管理体系构建；所述安全管理体系构建的对象包括边界安全、访问安全、周期安全和数据安全。本发明能够全方位提升数据质量，节省了大量的人员成本，保障数据安全的同时，有效提升数据使用效率。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其他的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本发明实施例提供的数据资产治理方法流程示意图；

图2为本发明实施例提供的数据资产治理方法中元数据血缘关系生成界面；

图3为本发明实施例提供的数据资产治理方法中标准目录管理界面；

图4为本发明实施例提供的数据资产治理方法中标准规则映射界面；

图5为本发明实施例提供的数据资产治理方法中代码标准统一管理界面；

图6为本发明实施例提供的数据资产治理***架构示意图；

图7为本发明实施例提供的电子设备示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施例提供一种数据资产治理方法，包括以下步骤：

S1、元数据管理阶段，所述元数据管理阶段进行元数据采集、元数据逆向解析、元数据视图管理、元数据查询、元数据模板管理、元数据维护、元数据关联关系配置和元数据血缘关系生成；

S2、数据标准管理阶段，所述数据标准管理阶段进行标准属性配置、标准规则管理、标准目录管理和标准规则映射；所述标准属性配置的对象包括基础属性、业务属性、技术属性和管理属性；所述标准规则管理的对象包括新增标准规则，所述新增标准规则过程进行规则编号定义、规则命名、稽核类型选择、规则描述、规则备注、规则参数配置和稽核脚本编写；

S3、数据质量管理阶段，所述数据质量管理阶段进行稽核规则调度、巡检任务监控、脚本信息查看、质量问题查看和调度接口校验；所述巡检任务监控的对象包括实时状态监控、实时数据量监控、任务监控统计和任务执行日志；

S4、数据安全管理阶段，所述数据安全管理阶段进行安全处理引擎配置、安全规则管理、安全密钥管理、动态权限管控和安全管理体系构建；所述安全管理体系构建的对象包括边界安全、访问安全、周期安全和数据安全。

本实施例步骤S1中，元数据管理的元模型符合CWM规范，能够对基础元数据以及业务元数据进行采集、编辑以及管理等操作。元模型数据可由用户自定义扩展，满足客户化元数据的需求。针对元数据模型的管理，还能够提供元模型查询、元模型增加、元模型修改、元模型删除、权限设置等功能。

其中，所述元数据采集过程采用可视化方式对异构数据源进行数据源的物理存储地址，认证鉴权信息和存储容量使用率管理，免去传统的管理方式中需要使用若干种不同客户端操作的弊端，可以在统一的界面高效地管理各种异构的数据源，如Oracle、DB2、Sybase、SQL Server等关系型数据库的库表结构元数据。

其中，所述元数据逆向解析过程，根据预置的元数据逆向解析引擎，对数据源及数据资产信息的元数据进行逆向解析工程。

具体的，在进行数据资产导入工作时，根据自身预置的元数据逆向解析引擎，对海量的数据源以及数据资产信息的元数据进行逆向解析工程，通过逆向解析能力自动解析出所有数据资产的基础元数据，并统一进行管理与清点工作，节省了大量的人员成本，能够以标准、高效、准确的原则对所有的数据资产元数据进行解析工作。

其中，元数据视图管理提供按照业务线数据流图，业务人员可以个性化视图，展现关心的业务线数据流图，为业务人员理解元数据提供最佳展现手段。元数据查询过程，根据搜索条件，查询符合数据访问权限的元数据；可以采用多样式的元数据查询方式，包括资产名称排序查询、数据内容排列查询、数据鲜活度查询、权限查询。

其中，元数据模板管理采用Excel作为文件的格式。对于一般类型的元数据模板，元模型中的每个“类”的元数据对应一个Excel中的Sheet工作表，元数据之间的组合关系通过被组合的元数据路径体现，元数据之间的依赖关系用对应的Sheet存放，适于元数据的导入导出，且所有的元模型(类)都可以在模板中体现。

其中，所述元数据维护包括元数据基本信息、属性、被依赖关系、依赖关系、组合关系的查询修改和删除操作，通过点击方式，快速查看不同数据资产的元数据状态与内容，通过编辑操作，能够对数据的类型、业务描述、别名修订等进行相应的维护工作。

其中，所述元数据关联关系配置过程，对数据资产中的元数据关联关系进行配置，当使不同元数据中字段的连接关系生效时，配置对应的数据处理流程，在流程中配置元数据中字段的连接。

具体的，元数据的关联关系可配置当前数据资产与其他数据资产中元数据的关联关系，在添加数据资产过程中可直接进入该数据资产的关联关系菜单，并在相关界面进行配置，若是数据资产创建完成后再进行配置，可以查找对应数据资产再进入相关界面进行配置。元数据的关联关系菜单所配置的元数据的关联关系仅用于查看元数据与其他元数据的关系，若要使不同元数据中字段的连接关系生效，需要配置对应的数据处理流程，在流程中配置元数据中字段与其他元数据字段的连接，成功后才能建立连接并输出相应的数据。

参见图2，其中，所述元数据血缘关系生成过程，当元数据中数据通过指定算法处理结束后，生成数据资产的血缘关系，通过数据资产的血缘关系菜单下进行资产与元数据的血缘关系查看。

具体的，元数据的血缘关系即数据资产与其他元数据之间的联系，可在元数据的血缘关系菜单下进行查看。元数据之间的血缘关系是在数据处理的基础上建立的。当元数据中数据通过预设的算法进行处理，在处理结束后可生成数据资产的血缘关系，可在数据资产的血缘关系菜单下进行查看，无论数据处理成功或失败，均可产生血缘关系。

本实施例步骤S2中，数据标准管理通过内置的标准处理引擎，标准处理引擎的存在，不仅能够实现数据标准在整个数据平台内部各个阶段有效定义、执行、管理操作，同时还能够有效与原有业务***或标准库进行对接，完成标准库知识的快速迁移，能够融合全量的数据标准内容，形成数据标准知识库，并不断跟随外部数据标准以及数据平台内部补充的数据标准不断扩展与增加。实现数据标准的迁移以及统一化管理能力。

其中，标准属性配置通过各种业务处理产生或各类渠道采集的基础性数据，在范围内必须是唯一定义的，如：“统一社会信用代码”、“归属地市”等，数据标准属性分为基础属性、业务属性、技术属性、管理属性。

具体的，基础属性主要包括标准编号、标准主题以及一级分类、二级分类、三级分类的主要内容，其中标准编号是数据标准项的唯一识别码。

具体的，业务属性主要包括对标准名称的定义，还包括标准别名、标准英文名称、业务规则、业务定义、定义依据、值域、标准来源、相关标准名称、相关标准编号与相关标准关系的内容。

其中，标准名称指根据业务习惯、被普遍认可的数据项的中文语言描述的名称，是数据的统一中文命名。标准别名是除标准中文名称以外、在业务或技术上该数据项的其他常用中文名称。标准英文名称是依据业务习惯、被普遍认可的数据项的英语描述的名称，是数据的统一英文命名，常用在***字段命名中，作为数据字典中数据项命名的参考。业务规则是业务对数据的约束条件的具体描述，包括相关业务的政策规定，以及政策规定发生作用的业务场景，业务规则主要来源于相关国家标准和行业标准、外部监管机构规定、银行业务制度、信息***业务需求等。

其中，业务定义是基于创建数据的业务流程，对数据业务含义和相关业务场景的详细描述。定义依据是描述标准数据项定义所依赖的参考依据，是对标准来源的详细说明，具体描述数据标准定义的文档名称。值域是数据可接受的业务取值范围，即数据的允许值的集合。对于编码类数据，值域应描述清楚编码规则；对于代码类数据，值域需在“代码扩展定义”中描述；对于金额类数据，值域应描述相关银行业务或银行流程中规定的金额上、下限范围。对于数值类数据，值域应描述相关银行业务或银行流程中可接受的数值的上、下限范围。

其中，标准来源是制定该数据标准项时依据的文档类型，包括但不限于国家法律法规、国家标准、行业标准、外部监管要求、国际标准、银行内部制度和***规范、行业惯例等。输入相关数据标准编号，与相关标准名称一一对应。相关标准关系是数据标准项与相关标准之间的关系类型，通过这一关系的描述可以方便地分析数据标准项发生变更时可能对其他数据标准项的影响，主要包括“引用”和“组合”两种关系：

引用：数据标准项的取值使用被引用数据标准项的值域，例如“产品设计方”引用“机构编码”

组合：当前标准项与相关标准项需组合使用才能完整地表达业务含义，例如“证件类型”和“证件号码”的组合。

具体的，技术属性包括计量单位、权威***、数据类型、数据格式维度的内容；其中，计量单位是反映指标的度量衡，对于数值型需定义该数值的度量单位，数值的单位包括平方米、个、份数、元等。填写标准对应数据项的权威源统，在数据可来源于多***的情形下，为保证数据使用的一致性和准确性，定义标准数据项的权威来源，可便于行内数据使用者均从同一***中获取数据。数据类型是对数据标准项表现形式进行的分类，包括编码类、代码类、标志类、文本类、金额类、数值类、比例类、日期类、时间类、日期时间类。

具体的，管理属性的内容包括标准定义部门、标准管理人员和标准使用部门。其中，标准定义部门指数据定义部门，通常为数据所涉及业务的主管部门；标准管理人员为标准定义部门中的接口人员姓名；标准使用部门为在数据标准的变更流程中被标识为相关利益方。标准相关部门要协助审核对数据标准的调整建议，并识别于潜在的影响或问题。

本实施例步骤S2中，标准规则管理过程，对于所有的数据标准定义与描述，需要有规则的约束，对其内容以及详细信息的录入进行规则要求，主要是对标准内容的完整性、规范性、一致性、准确性进行相应的稽核类型规则约束，并对相应的规则参数进行配置，包含对所有规则的规则编号定义、规则名称、稽核规则的类型、规则的描述、备注以及参数配置和稽核脚本的编写。

其中，对稽核类型进行选择之后，可以对规则的详细信息进行定义操作，定义相应的要求规范内容，所有的定义内容以向导式的操作和填写界面进行展示，方便用户理解与直观地对信息完成录入，除基本的要求规范信息外，还预置参数配置和稽核脚本的能力。

其中，参数配置能够对规范的参数的名称，参数类型以及相应的参数说明进行选择与定义确认，以表单式管理界面，清晰简洁展示出所有信息，并能够对定义的多类参数配置进行快速管理操作。

其中，通过内置脚本编辑器与参数自动运行算法引擎，帮助用户对已经定义好的所有参数或规则要求进行稽核脚本的编写，包括对脚本名称的定义、脚本的说明描述以及条件的设置情况，能够快速选择条件要求，包括非空条件与代码表已经完成的定义条件，同时还能够支撑自动识别标准参数信息，作为参数列表内容，供用户自助点击调用，完成参数表达式的书写。最终通过参数运行算法引擎，对编写完成的参数表达式进行参数测试。

本实施例步骤S2中，所述标准规则管理的对象还包括标准规则查询、标准规则展示、标准模板导入和标准导入导出；所述标准规则查询对象包括标准分类、标准类型、标准编号、标准名称、标准别名、定义部门和管理人员；所述标准规则展示对象包括准主题、标准编号、一级分类、二级分类、三级分类、标准名称、标准别名、英文名称、定义部门、管理人员及稽核规则。

其中，标准模板导入能够实现快速的数据标准录入工作，解决用户标准存放散乱或对接用户数据标准库造成的效率低下的问题，标准模板导入管理能够快速有效的实现大批量数据标准的录入动作。通过点击式的操作，能够对接已存在的数据标准库或新增数据集下的数据标准内容，并通过图形化的展示，让用户快速定位与确定所需资产标准的位置。

参见图3，本实施例步骤S2中，标准目录管理能够根据标准的类型定义与属性的不同，将数据标准进行统一的标准目录管理，标准目录管理主要实现对所有标准的统一编目，统一目录下模型管理等内容。目录的存在能够使得所有定义好的数据标准信息和资源发挥更好更精确的作用，基于标准的目录管理，能够将数据标准模块内的所有数据标准资源组合起来，进行集中式管理，一方面方便用户或者机器的资源搜索与使用，另外一方面，也保障了其更加严谨的安全控制。

参见图4，本实施例步骤S2中，所述标准规则映射过程配置元数据与标准规则之间关系，通过自由组合元数据与标准规则的关联关系，实现同一标准被不同的元数据进行使用。用户可以自定义选择元数据，自动解析元数据的相关字段，用户可对每个字段进行关联不同的标准规则，同时用户自定义字段映射，辅助快速管理元数据，提高工作效率。

本实施例步骤S2中，所述数据标准管理阶段还进行代码标准管理，所述代码标准管理的对象包括基础属性管理、代码详情管理和代码标准统一管理。

参见图5，具体的，基础属性管理包括对涉及的代码的所有基本信息的新增、编辑、统一视图查看管理、删除等操作。代码的新增管理部分能够通过数据标准提供的点击式按钮界面，轻松快捷的实现对代码属性的快速录入新增操作，包括对代码的编号录入，代码的目录定义、代码的名称定义，将所有代码的基本属性信息填写完毕后，进行一键式提交，完成代码标准的基础属性管理。对新增录入的所有代码标准的基础属性进行提交操作之后，在代码标准管理界面能够进行统一的代码标准查看，并能够进行对已经完成录入的代码进行相关操作，如实现对代码编号编辑、代码目录的编辑以及代码名称的编辑能力。新增录入以及编辑之后的代码标准基础属性会进行统一的界面展示与排序，用户可以直观的对所有的录入的有效代码标准进行查看，当需要对代码标准的基础属性信息进行废弃操作时，能够快速通过删除点击按钮，对已经存在的代码标准基础属性进行快速的一键删除，保证所有的标准管理操作便捷，界面简洁

具体的，代码详情管理根据代码的基础信息以及属性信息，将在此基础属性下的代码详细描述与类别进行细分与补充，能够根据不同的代码标准大类，将所有的代码标准进行统一的管理。代码详情管理的能力主要包括对代码的代码取值、代码值名称进行操作，还包括对代码详情信息的新增操作，编辑操作以及相应的删除管理操作等。代码详情信息的新增主要包括新增代码编号、新增代码目录信息、新增代码名称信息、新增代码取值信息、新增代码值名称信息、新增代码值含义信息等。

具体的，代码标准统一管理过程，对于所有录入的代码标准能够进行统一的可视化管理，包括对所有的代码标准进行统一内容模版的格式管理、统一的界面展示管理以及排序管理等，能够方便用户对于烦琐复杂的代码标准实现便捷高效化管理操作，提升管理效率。同时代码标准统一管理还提供对所有进行统一化管理的标准进行快速检索以及翻页跳转能力，可以在大批量的代码标准中，精确定位到所需内容，节省用户查找时间，所有操作及时响应，能够实现专业级的代码标准管理要求。

本实施例步骤S3中，数据质量管理可以保证数据资产中数据的准确性，可以对数据进行质量配置及数据质量稽核，并展示数据的质量趋势；能够帮助用户在数据的质量管理上全面地了解数据状态，贯穿数据质量的规则配置、数据质量的稽核执行、数据质量结果的可视化报告展示。

具体的，稽核规则调度实现对数据巡检任务的统一配置，根据预先配置的核查频率、范围、时间等自动调用规则列表，按规则执行数据巡检任务。通过监控调度器增加巡检计划，包括设定巡检频率、调度周期、调度间隔、起止时间、是否激活等，提供调度任务执行功能，在调度器内选择调度任务，对时间调度周期与调度起止时间进行设置调整，选择调度任务激活按钮，开始执行调度任务；可查看当前数据流程的执行进度与执行状态。

其中，巡检任务监控的实时状态监控过程，每次巡检执行完成后，可预览巡检结果，包括查看执行进度、执行流程状态成功与否，总输入输出数据记录条数，并展示所有数据处理节点的详情信息：节点编号、处理记录数、持续时间、节点执行状态和数据预览。实时数据量监控过程，对所有的数据采集、数据巡检执行任务采用统一的可视化界面进行监控，可以查看任务的运行状态(执行中、执行成功、执行失败等)，可以查看任务的运行结果(抽取的数据量、处理的数据量等)。

其中，巡检任务监控的任务监控统计过程，对已经执行完毕的数据巡检执行流程，包括运行成功、运行失败和被终止的流程，以及各流程的数据量和数据质量情况，进行统计分析。统计分析对象包括数据状态分布：成功任务、失败任务和进行中任务的占比；还包括数据量趋势：统计所有执行任务涉及的数据量趋势；还包括历史任务记录表：查看详细任务执行状态、起止时间等。

其中，巡检任务监控的所有质量巡检任务自动记录生成巡检日志记录，展示每个任务当前执行状态、执行调度周期、最新运行时间和历史执行结果信息，支持对当前任务进行统一配置调整，同时可以手动执行最新一次质量巡检任务。

其中，质量问题查看可以在质量稽核失败后，追踪失败信息或者数据不健康信息，通过稽核界面展示所有问题的数据以及具体的问题原因。通过业务规则的稽核发现数据质量深层次的问题，将数据质量与业务一线结合起来，使业务人员对数据质量问题有更加清晰和明确的认识，保障各项数据治理工作能够得到有效落实，达到数据准确、完整的目标。

其中，调度接口校验提供对多个数据质量校验规则进行批量调度的接口，并且可以对规则进行分组编排，提供对某一个分组的调度接口。接口被第三方调用后需要返回校验执行的结果，例如通过校验、不通过校验、执行失败、任务级别(重要、告警等)等，同时附带失败的信息与日志等，便于调试。

本实施例步骤S4中，数据安全管理是计划、制定、执行相关安全策略和规程，确保数据和信息资产在使用过程中有恰当的认证、授权、访问和审计等措施；有效的数据安全策略和规程，确保合适的人以正确的方式使用和更新数据，并限制所有不适当的访问和更新数据。

其中，通过内置数据安全引擎，用户可通过可视化页面进行快速定义数据安全规则以对数据安全密钥进行管理。通过可视化配置的方式对数据安全规则以及密钥进行定义，并基于定义的数据安全规则以及密钥对***中的数据进行全流程的数据安全管控。

其中，将数据安全的全阶段划分为定义态与执行态，能够适应用户的数据安全手段高效操作的要求，业务人员能够快速根据应用的不同安全级别需求进行快速的定义操作，避免传统需要大量的技术人员接入而产生的沟通关键信息流失。

其中，利用安全规则执行操作界面，通过向导点击式的便捷操作，快速选择需要进行安全操作的数据资产信息与对应的安全规则，以及执行安全规则流程任务，查看任务的执行状态，在安全规则任务执行的过程中，还能够实时监看安全处理过程中数据产生的变化，并且以预览的形式进行展示，为用户提供真正的数据安全规则操作透明化，进一步提升进行数据安全操作过程的安全能力。

其中，数据安全规则定义过程，根据用户实际安全需求自定义数据安全规则，预置主流的高级数据安全加密算法，包括数据模糊化、AES128、AES192、AES256；其中数据模糊化脱敏能够通过静态脱敏和动态脱敏相结合的方式，对敏感信息进行脱敏、变形，在企业不改变业务流程的前提下快速实现，提高数据管理人员的工作效率，同时规避信息风险，通过内置策略和双方，保证脱敏数据的有效性、完整性、关系性，以提升在测试、开发和使用等环节的数据资产安全。

其中，数据安全的规则执行通过用户对数据安全规则的定义以及安全级别的类型划分，利用拖拽式的操作，将各项数据完成数据安全规则的执行动作，并能够根据向导式的便捷操作，对原始的数据安全规则定义库信息进行安全规则算法的选择，方便用户进行数据安全的执行操作。

其中，安全密钥管理支持AES128、AES192和AES256加密算法，可对指定数据进行加密，而密钥管理用于统一管理各加密算法的密钥。可添加和修改密钥，且密钥一经添加便不可删除，密钥具备有效期限，有效期内的密钥可使用，处于失效状态的密钥不可被安全规则使用。用户依据安全规则进行自定义安全密钥，主要包括密钥名称、密钥、时间以及描述等内容。支持对密钥进行快速查询密钥的相关信息，包括密钥名称、密钥状态(有效或无效)、有效期、密钥描述以及可对密钥进行的操作等。支持对密钥进行快速编辑，修改相关的密钥信息，包括密钥名称、密钥、时间以及密钥描述等。

本实施例步骤S4中，动态权限管控过程，根据用户对于角色的管理权限，对在不同角色下的用户账号登录进入后看到的数据资产以及数据结果进行管理。动态权限管控能够根据用户对角色的权限管理，在不同角色下的用户账号登录进入后，看到的数据资产以及相关的数据结果是不相同的，且操作权限也不相同，保证用户在对每个角色在权限的分配管理下，能够轻松高效的完成资产内容的分配管理，安全有效做到了拥有者、管理员、成员角色与外部人员的多角色的权限划分。

其中，在进行数据资产管理分析或进行其他操作时，每个成员的角色在不同场景下存在有所不同的情况，针对不同的维度权限，将所有能够实现控制的变量划分为多种内容，包括用户的ID、用户名、部门ID、部门名称、公司名称以及当前时间段几类，通过向导式的配置界面，能够轻松定义完成权限下的内容划分。

本实施例中，安全管理体系的边界安全用于限制合法身份用户访问平台集群。边界安全能够有效的限制合法身份用户访问平台集群，首先在平台内部，能够进行用户的身份认证，能够控制外部用户或者第三方服务对集群的访问过程中的身份鉴别，其次，能够支持进行网络隔离，网络隔离能够通过网络平面隔离的方式保证存储的网络安全，能够实现不同网络环境下的平台部署，包括局域网、专网、互联网等类型。同时还可以提供在数据传输上的安全能力，主要实现数据在传输过程中的安全性，包括采用安全接口设计以及高安全的数据传输协议，保证了数据在通过接口访问，处理、传输数据时的安全性，避免数据被非法访问、窃听或者旁路嗅探。

其中，访问安全用于自定义用户访问应用的权限以及数据权限。访问安全通过自定义用户访问应用的权限以及数据权限，在进行平台的用户权限控制上，包括鉴权、授信管理，即确保用户对平台、接口、操作、资源、数据等都具有相应的访问权限，避免越权访问；同时还能够根据数据的敏感度对数据进行分级，对不同级别的数据提供差异化的流程、权限、审批要求等管理措施，数据安全等级越高可实现管理方式的越严格控制。同时在定义用户人员访问数据与应用的过程中，基于底层提供的审计数据，实现在权限管理、数据使用、操作行为等多个维度上对平台的运转提供安全审计能力，确保及时发现平台中的隐患点。

其中，周期安全用于数据的生命周期管理。周期安全可以向用户报告数据来源，如何被使用和销毁，在数据的生命周期管理上，理解数据的来源状态，以及识别数据如何被使用，何人在何地对其进行销毁；通过安全审计捕获***内完整的活动记录，快速定位，保证用户业务操作可回溯，可为用户提供安全事件的事后追溯，最终实现对数据进行安全管控，做到“事前可管、事中可控、事后可查”。

其中，数据安全用于数据的加密、脱敏，多租户的隔离和数据侵权保护。数据安全实现数据的加密和脱敏，多租户的隔离，数据侵权保护等能力，在数据加密方面，提供数据在传输过程以及静态存储状态下的加密保护，在敏感数据被越权访问时仍然能够得到有效保护，在数据加解密方面，能够通过高效的加解密方案，实现高性能、低延迟的端到端的存储层加解密，同时，加密的有效使用需要安全灵活的密钥管理，并且加解密的全过程业务完全不感知。

综上所述，本发明元数据管理阶段进行元数据采集、元数据逆向解析、元数据视图管理、元数据查询、元数据模板管理、元数据维护、元数据关联关系配置和元数据血缘关系生成；数据标准管理阶段进行标准属性配置、标准规则管理、标准目录管理和标准规则映射；所述标准属性配置的对象包括基础属性、业务属性、技术属性和管理属性；所述标准规则管理的对象包括新增标准规则，所述新增标准规则过程进行规则编号定义、规则命名、稽核类型选择、规则描述、规则备注、规则参数配置和稽核脚本编写；数据质量管理阶段进行稽核规则调度、巡检任务监控、脚本信息查看、质量问题查看和调度接口校验；所述巡检任务监控的对象包括实时状态监控、实时数据量监控、任务监控统计和任务执行日志；数据安全管理阶段进行安全处理引擎配置、安全规则管理、安全密钥管理、动态权限管控和安全管理体系构建；所述安全管理体系构建的对象包括边界安全、访问安全、周期安全和数据安全。本发明能够全方位提升数据质量，节省了大量的人员成本，保障数据安全的同时，有效提升数据使用效率。

需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

参见图6，基于同一发明构思，与上述任意实施例的数据资产治理方法相对应的，本申请还提供本发明还提供一种数据资产治理***，包括：

元数据管理模块1，所述元数据管理模块用于进行元数据采集、元数据逆向解析、元数据视图管理、元数据查询、元数据模板管理、元数据维护、元数据关联关系配置和元数据血缘关系生成；

数据标准管理模块2，所述数据标准管理模块用于进行标准属性配置、标准规则管理、标准目录管理和标准规则映射；所述标准属性配置的对象包括基础属性、业务属性、技术属性和管理属性；所述标准规则管理的对象包括新增标准规则，所述新增标准规则过程进行规则编号定义、规则命名、稽核类型选择、规则描述、规则备注、规则参数配置和稽核脚本编写；

数据质量管理模块3，所述数据质量管理模块用于进行稽核规则调度、巡检任务监控、脚本信息查看、质量问题查看和调度接口校验；所述巡检任务监控的对象包括实时状态监控、实时数据量监控、任务监控统计和任务执行日志；

数据安全管理模块4，所述数据安全管理模块用于进行安全处理引擎配置、安全规则管理、安全密钥管理、动态权限管控和安全管理体系构建；所述安全管理体系构建的对象包括边界安全、访问安全、周期安全和数据安全。

需要说明的是，上述***各模块之间的信息交互、执行过程等内容，由于与本申请实施例中的方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意实施例所述的数据资产治理方法。

参见图7，示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)，或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的数据资产治理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的数据资产治理方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的数据资产治理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据资产治理方法，其特征在于，包括：

元数据管理阶段，所述元数据管理阶段进行元数据采集、元数据逆向解析、元数据视图管理、元数据查询、元数据模板管理、元数据维护、元数据关联关系配置和元数据血缘关系生成；

数据标准管理阶段，所述数据标准管理阶段进行标准属性配置、标准规则管理、标准目录管理和标准规则映射；所述标准属性配置的对象包括基础属性、业务属性、技术属性和管理属性；所述标准规则管理的对象包括新增标准规则，所述新增标准规则过程进行规则编号定义、规则命名、稽核类型选择、规则描述、规则备注、规则参数配置和稽核脚本编写；

数据质量管理阶段，所述数据质量管理阶段进行稽核规则调度、巡检任务监控、脚本信息查看、质量问题查看和调度接口校验；所述巡检任务监控的对象包括实时状态监控、实时数据量监控、任务监控统计和任务执行日志；

数据安全管理阶段，所述数据安全管理阶段进行安全处理引擎配置、安全规则管理、安全密钥管理、动态权限管控和安全管理体系构建；所述安全管理体系构建的对象包括边界安全、访问安全、周期安全和数据安全。

2.根据权利要求1所述的一种数据资产治理方法，其特征在于，所述元数据采集过程采用可视化方式对异构数据源进行数据源的物理存储地址，认证鉴权信息和存储容量使用率管理；

所述元数据逆向解析过程，根据预置的元数据逆向解析引擎，对数据源及数据资产信息的元数据进行逆向解析工程；

所述元数据维护包括元数据基本信息、属性、被依赖关系、依赖关系、组合关系的查询修改和删除操作。

3.根据权利要求2所述的一种数据资产治理方法，其特征在于，所述元数据关联关系配置过程，对数据资产中的元数据关联关系进行配置，当使不同元数据中字段的连接关系生效时，配置对应的数据处理流程，在流程中配置元数据中字段的连接；

所述元数据血缘关系生成过程，当元数据中数据通过指定算法处理结束后，生成数据资产的血缘关系，通过数据资产的血缘关系菜单下进行资产与元数据的血缘关系查看。

4.根据权利要求1所述的一种数据资产治理方法，其特征在于，所述基础属性包括标准编号、标准主题及一级分类、二级分类、三级分类的内容；

所述业务属性包括对标准名称定义、标准别名、标准英文名称、业务规则、业务定义、定义依据、值域、标准来源、相关标准名称和相关标准编号；

所述技术属性包括计量单位、权威***、数据类型、数据格式维度的内容；

所述管理属性的内容包括标准定义部门、标准管理人员和标准使用部门。

5.根据权利要求4所述的一种数据资产治理方法，其特征在于，所述标准规则管理的对象还包括标准规则查询、标准规则展示、标准模板导入和标准导入导出；所述标准规则查询对象包括标准分类、标准类型、标准编号、标准名称、标准别名、定义部门和管理人员；所述标准规则展示对象包括准主题、标准编号、一级分类、二级分类、三级分类、标准名称、标准别名、英文名称、定义部门、管理人员及稽核规则。

6.根据权利要求5所述的一种数据资产治理方法，其特征在于，所述标准规则映射过程配置元数据与标准规则之间关系，通过自由组合元数据与标准规则的关联关系，实现同一标准被不同的元数据进行使用。

7.根据权利要求6所述的一种数据资产治理方法，其特征在于，所述数据标准管理阶段还进行代码标准管理，所述代码标准管理的对象包括基础属性管理、代码详情管理和代码标准统一管理。

8.根据权利要求1所述的一种数据资产治理方法，其特征在于，所述稽核规则调度通过监控调度器增加巡检计划，巡检计划包括设定巡检频率、调度周期、调度间隔、起止时间、是否激活。

9.根据权利要求8所述的一种数据资产治理方法，其特征在于，所述安全规则管理包括数据安全规则定义和数据安全规则执行；

所述安全密钥管理包括新增密钥、查询密钥和编辑密钥；

所述动态权限管控过程，根据用户对于角色的管理权限，对在不同角色下的用户账号登录进入后看到的数据资产以及数据结果进行管理；

所述边界安全用于限制合法身份用户访问平台集群；

所述访问安全用于自定义用户访问应用的权限以及数据权限；

所述周期安全用于数据的生命周期管理；

所述数据安全用于数据的加密、脱敏，多租户的隔离和数据侵权保护。

10.一种数据资产治理***，采用权利要求1至9任一项的数据资产治理方法，其特征在于，包括：

元数据管理模块，所述元数据管理模块用于进行元数据采集、元数据逆向解析、元数据视图管理、元数据查询、元数据模板管理、元数据维护、元数据关联关系配置和元数据血缘关系生成；

数据标准管理模块，所述数据标准管理模块用于进行标准属性配置、标准规则管理、标准目录管理和标准规则映射；所述标准属性配置的对象包括基础属性、业务属性、技术属性和管理属性；所述标准规则管理的对象包括新增标准规则，所述新增标准规则过程进行规则编号定义、规则命名、稽核类型选择、规则描述、规则备注、规则参数配置和稽核脚本编写；

数据质量管理模块，所述数据质量管理模块用于进行稽核规则调度、巡检任务监控、脚本信息查看、质量问题查看和调度接口校验；所述巡检任务监控的对象包括实时状态监控、实时数据量监控、任务监控统计和任务执行日志；

数据安全管理模块，所述数据安全管理模块用于进行安全处理引擎配置、安全规则管理、安全密钥管理、动态权限管控和安全管理体系构建；所述安全管理体系构建的对象包括边界安全、访问安全、周期安全和数据安全。