CN111767267A - 元数据处理方法、装置、电子设备 - Google Patents

Abstract

公开一种元数据处理方法、装置、电子设备及机器可读存储介质。在本申请中，数据仓库***从对接的源数据***中补充获取与源数据相关的技术元数据以及获取用户新增输入的与源数据相关的业务元数据，并将保存技术元数据和业务元数据保存至ODS库中，以使得与对应源数据相关的技术元数据和业务元数据，在基于ODS库进行后续的数据清洗、数据建模及数据发布的数据处理过程中进行自动继承，无需人工重复录入，减少了数据维护成本，提高了维护效率，保障了元数据在数据处理全流程中的一致性。

Description

元数据处理方法、装置、电子设备

技术领域

本申请一个或多个实施例涉及计算机应用技术领域，尤其涉及元数据处理方法、装置、电子设备及机器可读存储介质。

背景技术

数据仓库***在对数据进行加工处理的过程中涉及多个数据处理环节，例如：数据接入、数据清洗、数据建模、数据发布等。为了使数据能够有秩序的流转，避免数据依赖混乱，数据仓库***通常被划分为ODS层，STD层，DW层，DM层以及DS层，以此来进行分层数据处理；其中，ODS层对应管理的ODS库存储从数据源接入的数据，STD层对应管理的STD库存储数据清洗后的符合标准规范的数据，DW层对应管理的DW库存储基于主题进行数据建模后建立的各种基础数据模型表，DM层对应管理的DM库存储基于专题进行数据建模后建立的复杂数据模型表，DS层对应管理的DS库存储用于数据发布给各类应用的数据；ODS层、STD层、DW层、DM层以及DS层的数据可以存储在同一数据库或者不同数据库。

发明内容

本申请提供一种元数据处理方法，应用于数据仓库***，所述数据仓库***包括用于分层数据处理的数据加工库，所述数据加工库包括用于数据接入汇总的ODS库、用于数据清洗的STD库，所述方法包括：

从对接的源数据***中获取源数据和与所述源数据相关的技术元数据，并保存至所述ODS库；

获取用户输入的、与所述ODS库中的源数据相关的业务元数据，将所述业务元数据保存至所述ODS库，并对所述ODS库中数据进行数据清洗，将数据清洗后的源数据、与源数据相关的技术元数据和业务元数据保存至所述STD库；

基于用户从所述STD库中确定的目标源数据与目的建模数据的映射关系，将与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，以使所述目的建模数据继承所述目标源数据的技术元数据和业务元数据。

可选的，所述基于用户从所述STD库中确定的目标源数据与目的建模数据的映射关系，将与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，包括：

将所述STD库中源数据通过可视化界面向用户输出显示，以使用户在所述可视化界面从所述STD库中源数据中选择确定用于创建所述目的建模数据的所述目标源数据；

保存用户确定的所述目标源数据与所述目的建模数据的映射关系；

基于所述映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据。

可选的，当所述映射关系为一对一映射关系时，所述基于所述映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，包括：

基于所述一对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据，按字段一对一对应方式直接拷贝至所述目的建模数据。

可选的，当所述映射关系为多对一映射关系时，所述基于所述映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，包括：

基于所述多对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据。

可选的，当所述多对一映射关系为多对一的合并映射关系时，所述基于所述多对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据，包括：

基于所述多对一的合并映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据中的多个字段合并生成单个字段，并将合并生成的单个字段拷贝至所述目的建模数据。

可选的，当所述多对一映射关系为多对一的任选映射关系时，所述基于所述多对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据，包括：

基于所述多对一的任选映射关系，将所述STD库中与所述目标源数据相关业务元数据中的属性相同或相近的多个字段中任选一个字段作为单个字段，并将任选后的单个字段拷贝至所述目的建模数据。

可选的，所述数据加工库还包括用于数据建模的DW库，所述目的建模数据保存于所述DW库中。

可选的，所述源数据包括源表，所述源表包括源字段；所述目的建模数据包括与所述源表对应的目的表，所述目的表包括与所述源字段对应的目的字段。

可选的，所述技术元数据包括与所述源表对应的技术元数据、与所述源字段对应的技术元数据，所述业务元数据包括与所述源表对应的业务元数据、与所述源字段对应的业务元数据。

本申请还提供一种元数据处理装置，应用于数据仓库***，所述数据仓库***包括用于分层数据处理的数据加工库，所述数据加工库包括用于数据接入汇总的ODS库、用于数据清洗的STD库，所述装置包括：

获取模块，从对接的源数据***中获取源数据和与所述源数据相关的技术元数据，并保存至所述ODS库；

清洗模块，获取用户输入的、与所述ODS库中的源数据相关的业务元数据，将所述业务元数据保存至所述ODS库，并对所述ODS库中数据进行数据清洗，将数据清洗后的源数据、与源数据相关的技术元数据和业务元数据保存至所述STD库；

同步模块，基于用户从所述STD库中确定的目标源数据与目的建模数据的映射关系，将与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，以使所述目的建模数据继承所述目标源数据的技术元数据和业务元数据。

可选的，所述同步模块进一步：

将所述STD库中源数据通过可视化界面向用户输出显示，以使用户在所述可视化界面从所述STD库中源数据中选择确定用于创建所述目的建模数据的所述目标源数据；

保存用户确定的所述目标源数据与所述目的建模数据的映射关系；

基于所述映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据。

可选的，当所述映射关系为一对一映射关系时，所述同步模块进一步：

基于所述一对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据，按字段一对一对应方式直接拷贝至所述目的建模数据。

可选的，当所述映射关系为多对一映射关系时，所述同步模块进一步：

基于所述多对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据。

可选的，当所述多对一映射关系为多对一的合并映射关系时，所述同步模块进一步：

基于所述多对一的合并映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据中的多个字段合并生成单个字段，并将合并生成的单个字段拷贝至所述目的建模数据。

可选的，当所述多对一映射关系为多对一的任选映射关系时，所述同步模块进一步：

基于所述多对一的任选映射关系，将所述STD库中与所述目标源数据相关业务元数据中的属性相同或相近的多个字段中任选一个字段作为单个字段，并将任选后的单个字段拷贝至所述目的建模数据。

可选的，所述数据加工库还包括用于数据建模的DW库，所述目的建模数据保存于所述DW库中。

可选的，所述源数据包括源表，所述源表包括源字段；所述目的建模数据包括与所述源表对应的目的表，所述目的表包括与所述源字段对应的目的字段。

可选的，所述技术元数据包括与所述源表对应的技术元数据、与所述源字段对应的技术元数据，所述业务元数据包括与所述源表对应的业务元数据、与所述源字段对应的业务元数据。

本申请还提供一种电子设备，包括通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；

所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行上述的方法。

本申请还提供一种机器可读存储介质，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，执行上述的方法。

通过以上实施例，从对接的源数据***中补充获取与源数据相关的技术元数据以及获取用户新增输入的与源数据相关的业务元数据，并将保存技术元数据和业务元数据保存至ODS库中，以使得与对应源数据相关的技术元数据和业务元数据，在基于ODS库进行后续的数据清洗、数据建模及数据发布的数据处理过程中进行自动继承，无需人工重复录入，减少了数据维护成本，提高了维护效率，保障了元数据在数据处理全流程中的一致性。

附图说明

图1是一示例性实施例提供的一种数据仓库***的架构示意图；

图2是一示例性实施例提供的一种元数据处理方法的流程图；

图3是一示例性实施例提供的一种电子设备的硬件结构图；

图4是一示例性实施例提供的一种元数据处理装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本技术领域的人员更好地理解本说明书实施例中的技术方案，下面先对本说明书实施例涉及的元数据处理的相关技术，进行简要说明。

请参见图1，图1是本申请一实施例提供的一种数据仓库***的架构示意图。

如图1所示，数据仓库***包括用于分层数据处理的数据加工库；其中，该数据加工库包括用于数据接入汇总的ODS库、用于数据清洗的STD库、用于数据建模的DW库和DM库，用于数据发布的DS库。

如图1所示，首先，数据仓库***从数据源中获取源数据(如图1中的步骤S1所示)保存至ODS库；其次，数据仓库***在对ODS库的数据进行数据清洗并将数据清洗后的数据保存至STD库(如图1中的步骤S2所示)；接着；然后，数据仓库***可以基于STD库，根据主题进行数据建模生成基础数据模型表，并将该基础数据模型表保存至DW库(如图1中的步骤S3所示)，以及基于DW库，根据专题对DW库中数据进一步加工生成相比基础数据模型表更加复杂的复杂数据模型表，并将该复杂数据模型表保存至DM库(如图1中的步骤S4所示)；然后，数据仓库***可以分别从STD库、DW库、DM库中获取数据并将其保存至用于数据发布的DS库(如图1中的步骤S5、S6、S7所示)；最终，数据仓库***可以将DS库中数据发布给应用(如图1中的步骤S8所示)，以由应用进行数据检索、数据处理及使用等。

基于如图1所示的数据仓库***，在各个数据加工处理过程中的数据除了需要源数据外，还需要与源数据相关的元数据；与源数据相关的元数据包括技术元数据和业务元数据；

其中，技术元数据是指源数据存储在数据库中的原生属性，和具体业务无关，例如：表名称、描述、字段名称、描述、类型等；业务元数据是指源数据中没有的属性，和具体业务相关，是在数据加工处理过程中由用户新增的用于描述表或字段的业务属性，例如表所属部门、业务***，字段是否共享、是否需要脱敏等。

然而，在现有技术方案中，通常需要数据仓库***的管理用户，在如图1所示的数据仓库***中的数据加工处理过程中各个步骤中的涉及的相关数据加工库(包括ODS库、STD库、DW库、DM库，DS库)中，手工录入与源数据相关的技术元数据和技术元数据，由此导致操作繁琐费时且容易因纰漏出现元数据不一致问题。

基于此，本申请旨在提出一种，对数据仓库***中的用于分层数据处理的多个数据加工库进行元数据同步拉通继承的技术方案。

在实现时，数据仓库***包括用于分层数据处理的数据加工库，数据加工库包括用于数据接入汇总的ODS库、用于数据清洗的STD库；数据仓库***从对接的源数据***中获取源数据和与源数据相关的技术元数据，并保存至ODS库。

进一步地，数据仓库***获取用户输入的、与ODS库中的源数据相关的业务元数据，将业务元数据保存至ODS库，并对ODS库中数据进行数据清洗，将数据清洗后的源数据、与源数据相关的技术元数据和业务元数据保存至STD库。

进一步地，数据仓库***基于用户从STD库中确定的目标源数据与目的建模数据的映射关系，将与目标源数据相关的技术元数据和业务元数据同步至目的建模数据，以使目的建模数据继承目标源数据的技术元数据和业务元数据。

在以上方案中，从对接的源数据***中补充获取与源数据相关的技术元数据以及获取用户新增输入的与源数据相关的业务元数据，并将保存技术元数据和业务元数据保存至ODS库中，以使得与对应源数据相关的技术元数据和业务元数据，在基于ODS库进行后续的数据清洗、数据建模及数据发布的数据处理过程中进行自动继承，无需人工重复录入，减少了数据维护成本，提高了维护效率，保障了元数据在数据处理全流程中的一致性。

下面通过具体实施例并结合具体的应用场景对本申请进行描述。

请参见图2，图2是本申请一实施例提供的一种元数据处理方法的流程图，上述方法应用于数据仓库***，上述数据仓库***包括用于分层数据处理的数据加工库，上述数据加工库包括用于数据接入汇总的ODS库、用于数据清洗的STD库，上述方法执行以下步骤：

步骤202、从对接的源数据***中获取源数据和与上述源数据相关的技术元数据，并保存至上述ODS库。

步骤204、获取用户输入的、与上述ODS库中的源数据相关的业务元数据，将上述业务元数据保存至上述ODS库，并对上述ODS库中数据进行数据清洗，将数据清洗后的源数据、与源数据相关的技术元数据和业务元数据保存至上述STD库。

步骤206、基于用户从上述STD库中确定的目标源数据与目的建模数据的映射关系，将与上述目标源数据相关的技术元数据和业务元数据同步至上述目的建模数据，以使上述目的建模数据继承上述目标源数据的技术元数据和业务元数据。

在本说明书中，上述数据仓库***，是指用于对获取的数据进行分层数据处理的机器或机器集群；

其中，上述数据仓库***包括用于分层数据处理的数据加工库，上述数据加工库包括用于数据接入汇总的ODS库、用于数据清洗的STD库、用于数据建模的DW库和DM库、用于数据发布的DS库。

例如，上述数据仓库***的架构以及包括的用于分层数据处理的数据加工库请参见图1所示，具体请参见前文相关描述，这里不再赘述。

在本说明书中，上述源数据***，可以包括与上述数据仓库***对接的包括任何业务类型的原始数据的***。

例如，在实际应用中，上述源数据***可以是电子政务***，也可以是电商***，还可以是云计算***等。

在本说明书中，上述源数据，是指存储于上述源数据***中任何形式的原始业务数据。

在示出的一种实施方式中，上述源数据可以为存储于上述源数据***中的基于数据库的表形式的原始业务数据。为了方便理解和描述，后续简称，基于数据库的表形式存储的上述源数据为“源表”，上述源表包括的表字段被简称为“源字段”。

例如，上述源表具体可以参见如下表1所示：

源字段1
	源字段2
源字段3
	源字段4

表1

在本说明书中，上述技术元数据包括与上述源表对应的技术元数据、与上述源字段对应的技术元数据。

例如，以上述源表为表1为例，上述技术元数据可以包括与表1的源表名对应的表的技术元数据、与表1的各个源字段对应的字段的技术元数据。

需要说明的是，上述技术元数据，是指上述源数据存储在数据库中的原生属性，和具体业务无关。例如：上述技术元数据可以包括表名称、表描述、字段名称、字段描述、字段类型等。

在本说明书中，上述目的建模数据，可以包括保存于上述DW库或上述DM库中的包括与上述源表对应的目的表，上述目的表包括与上述源表中的源字段对应的目的字段；其中，该目的字段具体可以直接来自于上述源表中的单个源字段，也可以是自于上述源表中的多个源字段。

在本说明书中，上述数据仓库***从上述源数据***中获取上述源数据和与上述源数据相关的技术元数据，并保存至上述ODS库。

例如，以上述源表为表1为例，上述数据仓库***可以从上述源数据***中获取表1中存储的数据D1，以及获取存储于上述源数据***中的、与表1对应的表的技术元数据D2和与表1中各个源字段对应的字段的技术元数据D3，并将D1、D2、D3保存至ODS库中；ODS库中存储的与上述源表对应的目的表，具体可以参见如下表2所示：

源字段1
	源字段2
源字段3
	源表的表的技术元数据
源表中各源字段的字段的技术元数据

表2

如表2所示，“源表的表的技术元数据”具体可以是一个或多个字段，表2中仅用一个字段表示；“源表中各源字段的字段的技术元数据”具体可以是一个或多个字段，表2中仅用一个字段表示；表2中的源字段可以是来自表1中的部分字段(比如：如表1中所示的源字段1、源字段2、源字段3)或全部字段(比如：如表1中所示的源字段1、源字段2、源字段3、源字段4)。

需要说明的是，上述源数据***中仅存有与上述源数据相关的技术元数据，并不存在与上述源数据相关的业务元数据。

在本说明书中，上述业务元数据，是指用户输入的、在上述ODS库中的与源数据相关的业务元数据；

其中，上述业务元数据是指上述源数据***中的数据库中没有的属性，和业务相关，是用户新增的用于描述表或字段的业务属性，例如：上述具体可以包括表所属的部门、表所属的业务***，字段是否共享、字段是否需要脱敏等。

在本说明书中，在将上述源数据及其相关的技术元数据保存至上述ODS库后，上述数据仓库***进一步获取与上述业务元数据保存至上述ODS库。

例如，以ODS库中存储的与源表(表1)对应的目的表为表2为例，上述数据仓库***可以在表2的基础上，进一步获取用户输入的、与表2相关的业务元数据，ODS库中已保存用户输入的业务元数据的目的表，具体可以参见如下表3所示：

源字段1
	源字段2
源字段3
	源表的表的技术元数据
源表中各源字段的字段的技术元数据
	用户输入的与源表相关的表的业务元数据
用户输入的与源表中各源字段相关的字段的业务元数据

表3

如表3所示，表3是基于表2变化而来，表3相比表2新增了“用户输入的与源表相关的表的业务元数据”和“用户输入的与源表中各源字段相关的字段的业务元数据”；其中，“用户输入的与源表相关的表的业务元数据”和“用户输入的与源表中各源字段相关的字段的业务元数据”可以分别包括一个或多个字段，表3中仅用一个字段表示。

需要说明的是，与源数据相关的元数据通常可以存储在元数据管理库中，当然在实际应用中，源数据、与源数据相关的元数据(包括技术元数据和业务源数据)也可以存储于同一个数据库中，或者存储于不同的数据库中，在说明书中不作具体限定。

在本说明书中，在将上述业务元数据保存至上述ODS库后，上述数据仓库***对上述ODS库中数据进行数据清洗，将数据清洗后的源数据、与源数据相关的技术元数据和业务元数据保存至上述STD库。

例如，以上述业务元数据保存至上述ODS库后，上述ODS库中数据为表3所存储的数据为例，上述数据仓库***对表3所存储的数据进行数据清洗，将数据清洗后的表3存储的数据保存至上述STD库；其中，数据清洗具体可包括数据去重、数据纠错和数据一致性检查，具体请参见数据清洗相关技术说明，这里不再赘述。

需要说明的是，上述STD库保存的数据清洗后的数据是符合标准规范的数据。上述数据仓库***可以基于上述STD库进一步进行数据建模的数据处理，比如：执行如图1所述的步骤S3和步骤S4分别对应的数据建模。

在本说明书中，上述数据仓库***可以基于用户从上述STD库中确定的目标源数据与目的建模数据的映射关系，将与上述目标源数据相关的技术元数据和业务元数据同步至上述目的建模数据，以使上述目的建模数据继承上述目标源数据的技术元数据和业务元数据。

在示出的一种实施方式中，上述数据仓库***可以将上述STD库中源数据通过可视化界面向用户输出显示，以使用户在上述可视化界面从上述STD库中源数据中选择确定用于创建上述目的建模数据的上述目标源数据。

例如，以上述STD库中源数据为进行数据清洗后的表3且上述目的建模数据为DW库中的目的表为例，上述数据仓库***可以将表3中源数据通过可视化界面向用户输出显示，用户可以在上述可视化界面从表3中源数据中选择确定表3中的源字段1、源字段2，作为用于创建DW库中的目的表字段，创建的DW库中的目的表，具体可以参见如下表4所示：

源字段1
	源字段2

表4

在本说明书中，进一步地，上述数据仓库***保存用户确定的上述目标源数据与上述目的建模数据的映射关系；其中，上述映射关系，是指上述目标源数据与上述目的建模数据的字段映射关系。

接着以上示例继续示例，上述数据仓库***保存用户确定的表3中的源字段1、源字段2，分别与表4中的源字段1、源字段2的字段映射关系，该字段映射关系为一一映射关系，也即，表4中的源字段1来自表3中的源字段1，表4中的源字段2来自表3中的源字段2。

在本说明书中，进一步地，上述数据仓库***基于上述映射关系，将上述STD库中与上述目标源数据相关的技术元数据和业务元数据同步至上述目的建模数据。

接着以上示例继续举例，上述数据仓库***基于指示表4中的源字段1来自表3中的源字段1和表4中的源字段2来自表3中的源字段2的字段映射关系，将表3中的分别与源字段1和源字段2相关的技术元数据和业务元数据拷贝至表4中，则拷贝了与源字段1和源字段2相关的技术元数据和业务元数据的表4被更新，具体可以参见如下表5所示：

源字段1
	源字段2
源字段1相关的技术元数据
	源字段1相关的业务元数据
源字段2相关的技术元数据
	源字段2相关的业务元数据

表5

如表5所示，表5基于表4变化而来，表5相比表4多了“源字段1相关的技术元数据”、“源字段1相关的业务元数据”、“源字段2相关的技术元数据”、“源字段2相关的业务元数据”；

其中，“源字段1相关的技术元数据”和源字段2相关的技术元数据”具体可以包括来自表3中的“源表的表的技术元数据”，还可以包括来自表3中的“源表中各源字段的字段的技术元数据”中的与源字段1、源字段2相关的技术元数据；

类似地，“源字段1相关的业务元数据”和源字段2相关的业务元数据”具体可以包括来自表3中的“用户输入的与源表相关的表的业务元数据”，还可以包括来自表3中的“用户输入的与源表中各源字段相关的字段的业务元数据”中的与源字段1、源字段2相关的业务元数据。

在本说明书中，上述一对一映射关系，是指上述映射关系所指示的字段映射关系为字段一对一映射关系，也即源表的单个字段的字段内容直接赋值给对应的目的表的单个字段(与源字段对应的目的字段)的字段内容。

在本说明书中，上述多对一映射关系，是指上述映射关系所指示的字段映射关系为字段多对一映射关系，具体可以包括将源表的多个字段的字段内容赋值给目的表的单个字段(与源字段对应的目的字段)的字段内容。

在本说明书中，上述多对一映射关系具体可以包括多对一的合并映射关系和多对一的任选映射关系；

其中，上述多对一的合并映射关系是指将源表的多个字段的字段内容合并后赋值给目的表的单个字段的字段内容。例如，在实际应用中，源表A中的“来源部门”字段的字段内容为“部门1”，源表B中的“来源部门”字段的字段内容为“部门2”，则目的表的“来源部门”字段的字段内容为“部门1、部门2”；

上述多对一的任选映射关系是指获取源表的多个字段的字段内容，并从多个字段中任意选择一个字段，并将该字段内容赋值给目的表的单个字段的字段内容。例如，在实际应用中，源表A中的“身份是否脱敏”字段的字段内容为“是”，源表B中的“身份是否脱敏”字段的字段内容为“是”，则目的表的“身份是否脱敏”字段的字段内容为“是”。

需要说明的是，在实际应用中，上述多对一映射关系可以包括多个源表中的多个字段映射到单个目的表中的单个字段和单个源表中的多个字段映射到单个目的表中的单个字段的情况。

在示出的一种实施方式中，当上述映射关系为上述一对一映射关系时，上述数据仓库***可以基于上述一对一映射关系，将上述STD库中与上述目标源数据相关的技术元数据和业务元数据，按字段一对一对应方式直接拷贝至上述目的建模数据。

例如，请参见前文描述的将表3(表3为STD库中的源表)中目标源数据(源字段1、源字段2)相关的技术元数据和业务元数据，按字段一对一对应方式直接拷贝至表5(表5为DW库中的目的表)中的目的字段(表5中的源字段1、源字段2)的过程，这里不再赘述。

在示出的一种实施方式中，当上述映射关系为上述多对一的合并映射关系时，上述数据仓库***可以基于上述多对一的合并映射关系，将上述STD库中与上述目标源数据相关的技术元数据和业务元数据中的多个字段合并生成单个字段，并将合并生成的单个字段拷贝至上述目的建模数据。

例如，上述数据仓库***可以将前文描述的表3(表3为STD库中的源表)中目标源数据(源字段1、源字段2)相关的技术元数据和业务元数据的多个字段的字段内容合并生成单个字段的字段内容，并将合并生成的单个字段的字段内容拷贝至DW库中的目的表，该DW库中的目的表，具体可以参见如下表6所示：

源字段1
	源字段2
源字段1相关的技术元数据
	源字段2相关的技术元数据
源字段1相关的业务元数据、源字段2相关的业务元数据

表6

如表6所示，仅示例了源字段1、源字段2相关的业务元数据进行合并的情况，在实际应用中，还存在源字段1、源字段2相关的技术元数据进行合并的情况。

在示出的一种实施方式中，当上述映射关系为上述多对一的任选映射关系时，上述数据仓库***可以基于上述多对一的任选映射关系，将上述STD库中与上述目标源数据相关业务元数据中的属性相同或相近的多个字段中任选一个字段作为单个字段，并将任选后的单个字段拷贝至上述目的建模数据

例如，上述数据仓库***可以将前文描述的表3(表3为STD库中的源表)中目标源数据(源字段1、源字段2)相关的技术元数据和业务元数据中的属性相同或相近的多个字段的任选一个字段作为单个字段，并将任选后的单个字段的字段内容拷贝至DW库中的目的表，该DW库中的目的表，具体可以参见如下表7所示：

源字段1
	源字段2
源字段1相关的技术元数据
	源字段2相关的技术元数据
源字段1相关的业务元数据(或者源字段2相关的业务元数据)

表7

如表7所示，仅示例了从源字段1、源字段2相关的业务元数据中的属性相同或相近的多个字段进行任选单个字段并拷贝该任选单个字段的字段内容至DW库中的目的表的情况，在实际应用中，还存在源字段1、源字段2相关的技术元数据中的属性相同或相近的多个字段进行任选单个字段并拷贝该任选单个字段的字段内容至DW库中的目的表的情况。

需要说明的是，在以上示例主要描述：在数据源->ODS库->STD库->DW库对应的数据接入、数据清洗及数据建模过程中(如图1所示的S1至S2至S3)，与源数据相关的技术元数据和业务元数据如何获取及自动继承。类似地，在DW库至DM库的数据建模过程(如图1所示的S4)，以及在STD库至DS库、DW库至DS库、DM库至DS库的数据发布过程(如图1所示的S5至S8、S6至S8、S7至S8)，上述数据仓库***可以执行与STD库至DW的数据建模(如图1所示的S2至S3)的类似过程，这里不再赘述。

另外需要说明的是，相比现有技术，用户仅需通过数据仓库***在ODS库进行一次与源数据相关的技术元数据补充和业务元数据的手工录入，降低了维护成本，并避免了原有的多处手工录入元数据所导致的数据不一致的问题。

在以上技术方案中，从对接的源数据***中补充获取与源数据相关的技术元数据以及获取用户新增输入的与源数据相关的业务元数据，并将保存技术元数据和业务元数据保存至ODS库中，以使得与对应源数据相关的技术元数据和业务元数据，在基于ODS库进行后续的数据清洗、数据建模及数据发布的数据处理过程中进行自动继承，无需人工重复录入，减少了数据维护成本，提高了维护效率，保障了元数据在数据处理全流程中的一致性。

与上述方法实施例相对应，本申请还提供了元数据处理装置的实施例。

与上述方法实施例相对应，本说明书还提供了一种元数据处理装置的实施例。本说明书的元数据处理装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本说明书的元数据处理装置所在电子设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

图4是本说明书一示例性实施例示出的一种元数据处理装置的框图。

请参见图4，所述元数据处理装置40可以应用于如前图3所示的电子设备，数据仓库***包括用于分层数据处理的数据加工库，所述数据加工库包括用于数据接入汇总的ODS库、用于数据清洗的STD库，所述装置包括：

获取模块401，从对接的源数据***中获取源数据和与所述源数据相关的技术元数据，并保存至所述ODS库；

清洗模块402，获取用户输入的、与所述ODS库中的源数据相关的业务元数据，将所述业务元数据保存至所述ODS库，并对所述ODS库中数据进行数据清洗，将数据清洗后的源数据、与源数据相关的技术元数据和业务元数据保存至所述STD库；

同步模块403，基于用户从所述STD库中确定的目标源数据与目的建模数据的映射关系，将与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，以使所述目的建模数据继承所述目标源数据的技术元数据和业务元数据。

在本实施例中，所述同步模块403进一步：

将所述STD库中源数据通过可视化界面向用户输出显示，以使用户在所述可视化界面从所述STD库中源数据中选择确定用于创建所述目的建模数据的所述目标源数据；

保存用户确定的所述目标源数据与所述目的建模数据的映射关系；

基于所述映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据。

在本实施例中，当所述映射关系为一对一映射关系时，所述同步模块403进一步：

基于所述一对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据，按字段一对一对应方式直接拷贝至所述目的建模数据。

在本实施例中，当所述映射关系为多对一映射关系时，所述同步模块403进一步：

基于所述多对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据。

在本实施例中，当所述多对一映射关系为多对一的合并映射关系时，所述同步模块403进一步：

基于所述多对一的合并映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据中的多个字段合并生成单个字段，并将合并生成的单个字段拷贝至所述目的建模数据。

在本实施例中，当所述多对一映射关系为多对一的任选映射关系时，所述同步模块403进一步：

基于所述多对一的任选映射关系，将所述STD库中与所述目标源数据相关业务元数据中的属性相同或相近的多个字段中任选一个字段作为单个字段，并将任选后的单个字段拷贝至所述目的建模数据。

在本实施例中，所述数据加工库还包括用于数据建模的DW库和DM库，所述目的建模数据保存于所述DW库或所述DM库中。

在本实施例中，所述源数据包括源表，所述源表包括源字段；所述目的建模数据包括与所述源表对应的目的表，所述目的表包括与所述源字段对应的目的字段。

在本实施例中，所述技术元数据包括与所述源表对应的技术元数据、与所述源字段对应的技术元数据，所述业务元数据包括与所述源表对应的业务元数据、与所述源字段对应的业务元数据。

上述实施例阐明的装置、装置、模块或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (12)

1.一种元数据处理方法，应用于数据仓库***，所述数据仓库***包括用于分层数据处理的数据加工库，所述数据加工库包括用于数据接入汇总的ODS库、用于数据清洗的STD库，所述方法包括：

从对接的源数据***中获取源数据和与所述源数据相关的技术元数据，并保存至所述ODS库；

获取用户输入的、与所述ODS库中的源数据相关的业务元数据，将所述业务元数据保存至所述ODS库，并对所述ODS库中数据进行数据清洗，将数据清洗后的源数据、与源数据相关的技术元数据和业务元数据保存至所述STD库；

基于用户从所述STD库中确定的目标源数据与目的建模数据的映射关系，将与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，以使所述目的建模数据继承所述目标源数据的技术元数据和业务元数据。

2.根据权利要求1所述的方法，所述基于用户从所述STD库中确定的目标源数据与目的建模数据的映射关系，将与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，包括：

将所述STD库中源数据通过可视化界面向用户输出显示，以使用户在所述可视化界面从所述STD库中源数据中选择确定用于创建所述目的建模数据的所述目标源数据；

保存用户确定的所述目标源数据与所述目的建模数据的映射关系；

基于所述映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据。

3.根据权利要求1所述的方法，当所述映射关系为一对一映射关系时，所述基于所述映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，包括：

基于所述一对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据，按字段一对一对应方式直接拷贝至所述目的建模数据。

4.根据权利要求1所述的方法，当所述映射关系为多对一映射关系时，所述基于所述映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，包括：

基于所述多对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据。

5.根据权利要求4所述的方法，当所述多对一映射关系为多对一的合并映射关系时，所述基于所述多对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据，包括：

基于所述多对一的合并映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据中的多个字段合并生成单个字段，并将合并生成的单个字段拷贝至所述目的建模数据。

6.根据权利要求4所述的方法，当所述多对一映射关系为多对一的任选映射关系时，所述基于所述多对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据，包括：

基于所述多对一的任选映射关系，将所述STD库中与所述目标源数据相关业务元数据中的属性相同或相近的多个字段中任选一个字段作为单个字段，并将任选后的单个字段拷贝至所述目的建模数据。

7.根据权利要求1所述的方法，所述数据加工库还包括用于数据建模的DW库和DM库，所述目的建模数据保存于所述DW库或所述DM库中。

8.根据权利要求1所述的方法，所述源数据包括源表，所述源表包括源字段；所述目的建模数据包括与所述源表对应的目的表，所述目的表包括与所述源字段对应的目的字段。

9.根据权利要求8所述的方法，所述技术元数据包括与所述源表对应的技术元数据、与所述源字段对应的技术元数据，所述业务元数据包括与所述源表对应的业务元数据、与所述源字段对应的业务元数据。

10.一种元数据处理装置，应用于数据仓库***，所述数据仓库***包括用于分层数据处理的数据加工库，所述数据加工库包括用于数据接入汇总的ODS库、用于数据清洗的STD库，所述装置包括：

获取模块，从对接的源数据***中获取源数据和与所述源数据相关的技术元数据，并保存至所述ODS库；

清洗模块，获取用户输入的、与所述ODS库中的源数据相关的业务元数据，将所述业务元数据保存至所述ODS库，并对所述ODS库中数据进行数据清洗，将数据清洗后的源数据、与源数据相关的技术元数据和业务元数据保存至所述STD库；

同步模块，基于用户从所述STD库中确定的目标源数据与目的建模数据的映射关系，将与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，以使所述目的建模数据继承所述目标源数据的技术元数据和业务元数据。

11.一种电子设备，包括通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；

所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行如权利要求1至10任一项所述的方法。

12.一种机器可读存储介质，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，实现权利要求1至10任一项所述的方法。

Images