CN102279886A

CN102279886A - 元数据处理方法及设备

Info

Publication number: CN102279886A
Application number: CN2011102351367A
Authority: CN
Inventors: 杨大鹏; 李炅宇; 王彦博; 靳军; 赵俊
Original assignee: China Minsheng Banking Corp Ltd
Current assignee: China Minsheng Banking Corp Ltd
Priority date: 2011-08-16
Filing date: 2011-08-16
Publication date: 2011-12-14
Anticipated expiration: 2031-08-16
Also published as: CN102279886B

Abstract

本发明提供一种元数据处理方法及设备。该方法包括：元数据处理设备获取ETL执行日志，并从数据仓库获取第一DDL命令，其中第一DDL命令用于对所述ETL执行日志包括的数据对象进行节点定义；元数据处理设备对所获取的ETL执行日志进行解析，以获取第二DDL命令和DML命令，其中第二DDL命令用于对所述ETL执行日志包括的临时对象进行节点定义，所述DML命令用于记录在ETL执行过程中所述数据对象和/或所述临时对象的转换操作；元数据处理设备通过解析第一DDL命令、第二DDL命令和DML命令获取用于表示所述数据对象和所述临时对象的数据流向的元数据。本发明的元数据处理方法及设备可获取反映真实数据流向的元数据。

Description

元数据处理方法及设备

技术领域

本发明涉及元数据处理技术，尤其涉及一种元数据处理方法及设备。

背景技术

随着办公自动化的快速发展，信息已成为现代企业的重要资源，是企业运用科学管理、决策分析的基础，用于实现独立数据管理的数据仓库也得到了极为广泛的应用。

数据抽取、转换和加载(Extraction-Transformation-Loading，ETL)是构建数据仓库的重要环节，其负责将分布的、异构数据源中的数据，如关系数据和平面数据文件等，抽取到临时中间层后进行清洗、转换和加载，并整合到数据仓库中，成为联机分析处理和数据挖掘的基础。ETL过程采用元数据方法进行集中管理。其中，元数据是描述数据的数据(data about data)，其对于ETL的集中表现为：定义数据源的位置及数据源的属性、确定从源数据到目标数据的对应规则、确定相关的业务逻辑和在数据实际加载前的其他必要的准备工作等。

现有技术中，在基于数据仓库实现数据管理时，需通过在进行ETL之前所设定的元数据来获知构建数据仓库时的数据流向，从而建立起数据关联，避免产生数据孤岛或信息盲区。但由于在实际的ETL过程中，可能由于一些原因使得实际数据流向与预设数据流向存在差异。此时，若仍基于预先设定的元数据来进行数据管理，便无法准确获知数据之间的流向关系，从而无法对数据仓库进行可靠、有效的管理。

发明内容

针对上述缺陷，本发明提供一种元数据处理方法及设备，用以实现获取能够反映真实数据流向的元数据。

根据本发明的一方面，提供一种元数据处理方法，包括：

元数据处理设备接收用户发送的元数据处理指令，响应所述元数据处理指令获取数据抽取、转换和加载ETL执行日志，并从数据仓库获取第一数据库定义语言DDL命令，其中所述第一DDL命令用于对所述ETL执行日志包括的数据对象进行节点定义；

所述元数据处理设备对所获取的ETL执行日志进行解析，以获取第二DDL命令和数据操作语言DML命令，其中所述第二DDL命令用于对所述ETL执行日志包括的临时对象进行节点定义，所述DML命令用于记录在ETL执行过程中所述数据对象和/或所述临时对象的转换操作；

所述元数据处理设备通过解析所述第一DDL命令、所述第二DDL命令和所述DML命令获取用于表示所述数据对象和所述临时对象的数据流向的元数据，并向所述用户反馈所述元数据。

根据本发明的另一方面，还提供一种元数据处理设备，其特征在于，包括：

获取模块，用于获取ETL执行日志，并从数据仓库获取第一DDL命令，其中所述第一DDL命令用于对所述ETL执行日志包括的数据对象进行节点定义；

日志解析模块，用于对所获取的ETL执行日志进行解析，以获取第二DDL命令和数据操作语言DML命令，其中所述第二DDL命令用于对所述ETL执行日志包括的临时对象进行节点定义，所述DML命令用于记录在ETL执行过程中所述数据对象和/或所述临时对象的转换操作；

元数据获取模块，用于通过解析所述第一DDL命令、所述第二DDL命令和所述DML命令获取用于表示所述数据对象和所述临时对象的数据流向的元数据。

根据本发明的元数据处理方法及设备，由于是通过对真实运行产生的ETL执行日志进行DDL解析和DML解析来获取对象之间的流向关系，所以所获得的表征对象之间的流向关系的元数据与真实执行情况一致，能够有效、准确地反映出ETL执行过程中的真实数据流向，从而可基于该元数据进行可靠的数据相关性分析及***性能优化等。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明元数据处理方法的流程示意图。

图2为应用本发明元数据处理方法的数据仓库***架构图。

图3为本发明元数据处理设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明元数据处理方法的流程示意图。如图1所示，该元数据处理方法包括：

步骤S101，元数据处理设备获取ETL执行日志，并从数据仓库获取第一数据库定义语言(Data Definition Language，DDL)命令，其中所述第一DDL命令用于对所述ETL执行日志包括的数据对象进行节点定义；

步骤S102，所述元数据处理设备对所获取的ETL执行日志进行解析，以获取第二DDL命令和数据操作语言(Data Manipulation Language，DML)命令，其中所述第二DDL命令用于对所述ETL执行日志包括的临时对象进行节点定义，所述DML命令用于记录在ETL执行过程中所述数据对象和/或所述临时对象的转换操作；

步骤S103，所述元数据处理设备通过解析所述第一DDL命令、所述第二DDL命令和所述DML命令获取用于表示所述数据对象和所述临时对象的数据流向的元数据。

图2为应用本发明元数据处理方法的数据仓库***架构图。如图2所示，在数据仓库***中包括多个数据源、多个ETL设备(图2中仅以2个为例进行说明)和数据仓库，其中ETL设备连接在数据源与数据仓库之间，用于对数据源的数据进行抽取、转换并加载到数据仓库中。

其中，数据仓库是一种面向主题的数据组织方式，其可在较高层次上对分析对象的数据给出完整、一致的描述，能完整、统一的刻画各个分析对象所涉及的企业的各项数据以及数据之间的联系，从而适应企业各个部门的业务活动特点和企业数据的动态特征，从根本上实现数据与应用的分离。ETL设备的抽取过程是指将数据从各种原始的业务***，即数据源中读取出来；转换过程是指按照预先设计好的规则将抽取的数据进行转换、清洗，以及处理一些冗余、歧义的数据，使本来异构的数据格式能统一起来，转换规则和函数例如包括选择特定的字段、翻译编码的符号、编码新的符号、计算值和合并源等；加载过程是指将转换完的数据导入到数据仓库中。

在图2所示的数据仓库***中，还包括分别与各ETL设备连接的元数据处理设备。上述步骤S101～S103便是由该元数据处理设备执行的。

具体地，元数据处理设备例如通过自身包含的人机交互界面接收用户输入的元数据处理指令，或通过设置在数据仓库***中、与该元数据处理设备进行通信的用户终端(图中未示出)接收用户发送的元数据处理指令。元数据处理设备响应该元数据处理指令，分别从第1ETL设备和第2ETL设备获取ETL日志。其中，ETL日志分为三类：第一类是执行日志，是在ETL执行过程中每执行一步的记录，以流水账形式记录每次运行、每一步骤的起始时间、影响了多少行数据和执行内容；第二类是错误日志，当某个模块出错的时候需要写错误日志，用于记录每次出错的时间、出错的模块以及出错的信息；第三类是总体日志，只记录ETL开始时间、结束时间是否成功的信息。

元数据处理设备对ETL执行日志中所涉及的全部对象通过DDL命令进行节点定义。其中，ETL执行日志中所涉及的全部对象包括数据对象和临时对象，其中数据对象为数据仓库中定义的数据对象，包括原数据对象和目标数据对象，临时对象是为了性能优化而在由原数据对象至目标数据对象的转换过程中建立的中间虚拟对象，例如可变临时表。具体地，在对ETL执行日志中所涉及的全部对象进行DDL节点定义时，需从数据仓库获取数据对象的节点定义，并从ETL执行日志的log文件中解析出ETL执行过程中的DDL命令，即对所创建的临时对象所进行的节点定义，例如定义节点结构等。将从数据仓库获取的第一DDL命令和通过log解析获得的第二DDL命令合并存储为一个DDL文件。该DDL文件中例如包括从数据仓库中读取的DDL命令“create table T1(F1x32，F2x10)”和从log文件中解析出DDL命令“createtable t2(f1x32，f2x10)”，其中，定义数据对象表T1包括数据对象F1和F2，定义临时对象表t2包括临时对象f1和f2。

此外，还需在对ETL执行日志的log文件进行解析的过程中提取出所包含的DML命令。其中，DML命令是形成数据流的过程。更为具体地，例如采用以下方式从log文件中提取DML命令：元数据处理设备逐字读取log文件，在读取完一个完整语句后，若获知该语句包含DML命令的关键字(例如为“INSERT”或“UPDATE”)且符合语句有效条件，则获知该语句为DML命令并将其单独存储至一个DML文件中。其中，由于ETL执行日志中还包含非执行命令的多种干扰信息，例如以“/*”开头且以“*/”结尾的注释内容等，所以需预先向元数据处理设备输入用于区分该语句是否为干扰信息的有效条件，例如该语句不是以“/*”开头。通过这种方式，例如查找到DML命令“INSERT INTO T1 SELETE*from t2”。

在获得DDL文件和DML文件后，通过进行DML解析和DLL解析获取ETL执行日志中所涉及的数据对象和临时对象的数据流向。具体地，元数据处理设备首先对DML文件中的各条DML命令进行处理，例如根据预置的语义表去除DML命令中的数据计算等操作，从而获得对象与对象之间的关系。其中，语义表中存储有大量关键字，例如包括关键字MAX，则当在DML命令中读到关键字MAX时，将其忽略，不予考虑。之后，根据DML命令中所涉及的对象，例如为表，并从DDL文件中查找该表的定义，获取表所包括的具体对象，从而建立起数据对象和临时对象的数据流向。例如针对DML命令“INSERT INTO T1S ELETE*from t2”(即从t2中的对象***到T1中)，从DDL文件中查找表T1的定义和表t2的定义，获知数据对象T1包括具体对象F1和F2，临时对象t2包括具体对象f1和f2，并根据具体对象在数据对象T1和临时对象t2中定义的顺序进行匹配，则获得数据流向元数据“T1.F1＜-t2.f1”和“T1.F2＜-t2.f2”。元数据处理设备将所获得的元数据反馈至发送元数据处理指令的用户终端或通过人机交互界面向用户展示。

根据上述实施例的元数据处理方法，由于是通过对真实运行产生的ETL执行日志进行DDL解析和DML解析来获取对象之间的流向关系，所以所获得的表征对象之间的流向关系的元数据与真实执行情况一致，能够有效、准确地反映出ETL执行过程中的真实数据流向，从而可基于该元数据进行可靠的数据相关性分析及***性能优化等。

进一步地，在上述实施例的元数据处理方法中，在获取用于表示所述数据对象和所述临时对象的数据流向的元数据的步骤之后还包括：

所述元数据处理设备屏蔽表示所述数据对象和所述临时对象的数据流向的元数据中的临时对象，以获取用于表示所述数据对象的数据流向的元数据。

具体地，由于在ETL执行过程中，所创建的临时对象的命名规则为“脚本名.表.临时对象”，例如为“pl_name.t2.f1”，其中pl_name为脚本名；而在数据仓库中，所定义的数据对象的命名规则为“库名.表/视图.数据对象”，例如为“Db_name.T1.F1”，其中Db_name为库名。因此，元数据处理设备可通过识别对象的名称来区分数据对象和临时对象。

接下来，对通过上述实施例的元数据处理方法获得的用于表征两两对象关系的元数据进行整理。具体地，元数据处理设备检测各两两关系中的目标对象是否为临时对象，例如在第一流向关系式“对象A→对象B”中，对象A为原对象，对象B为目标对象，此时目标对象是临时对象；则继续查找以该临时对象为原对象的两两关系，从而查找到第二流向关系式“对象B→对象C”；此时再次检测第二流向关系式中的目标对象是否为临时对象，进行这种查找直至最终的目标对象不是临时对象。例如C为数据对象，则此时将第一流向关系式和第二流向关系式中的临时对象B屏蔽，从而获得“对象A→对象C”的数据流向关系。

更为具体地，例如，通过利用上述实施例的元数据处理方法，获得了数据流向“T1.F1＜-t2.f1”、“T1.F2＜-t2.f2”、“t2.f1＜-V1.f1”和“t2.f2＜-V1.f2”，其中t2为临时对象，T1和V1均为数据对象，则通过屏蔽临时对象t2，可直接获得数据对象之间的流向关系“T1.F1＜-V1.f1”和“T1.F2＜-V1.f2”。

根据上述实施例的元数据处理方法，由于临时对象仅是为了性能优化而在由原数据对象至目标数据对象的转换过程中建立的中间虚拟对象，对于后期的数据仓库中的数据管理不具备实质意义，所以直接建立数据对象之间的流向关系有利于进行后续利用元数据所进行的数据仓库管理。

进一步地，在上述实施例的元数据处理方法中，所述数据对象包括表和视图；相应地，在获取用于表示所述数据对象的数据流向的元数据的步骤之后还包括：

所述元数据处理设备屏蔽所生成的表示所述数据对象的数据流向的元数据中的视图，以生成用于表示表的数据流向的元数据。

其中，视图是由SELECT语句组成的查询定义的虚拟表，其由一张或多张表中的数据组成，其同真实的表一样，包含一系列带有名称的列和行数据。但是，视图并不在数据库中以存储的数据集形式存在。行和列数据来自由定义视图的查询所引用的表，并且在引用视图时动态生成。

例如，已获取数据对象之间的流向关系“T1.F1＜-V1.f1”、“T1.F2＜-V1.f2”、“V1.f1＜-T3.f1”和“V1.f2＜-T3.f2”，其中T1和T3为表，V1为视图，则通过屏蔽视图V1，获取到表T1和表T3之间的流向关系“T1.F1＜-T3.f1”和“T1.F2＜-T3.f2”。

根据上述实施例的元数据处理方法，能够直接获得存储在数据仓库中的表与表之间的流向关系。

进一步地，在上述实施例的元数据处理方法中，所述元数据处理设备包括服务端和浏览器端；相应地，所述元数据处理方法还包括：所述元数据处理设备的服务端将所生成的用于表示数据流向的元数据发送至所述浏览器端展示。

图3为本发明元数据处理设备的结构示意图。如图3所示，该元数据处理设备包括：

获取模块11，用于接收用户发送的元数据处理指令，响应所述元数据处理指令获取ETL执行日志，并从数据仓库获取第一DDL命令，其中所述第一DDL命令用于对所述ETL执行日志包括的数据对象进行节点定义；

日志解析模块12，用于对所获取的ETL执行日志进行解析，以获取第二DDL命令和数据操作语言DML命令，其中所述第二DDL命令用于对所述ETL执行日志包括的临时对象进行节点定义，所述DML命令用于记录在ETL执行过程中所述数据对象和/或所述临时对象的转换操作；

元数据获取模块13，用于通过解析所述第一DDL命令、所述第二DDL命令和所述DML命令获取用于表示所述数据对象和所述临时对象的数据流向的元数据，并向所述用户反馈所述元数据。

上述实施例的元数据处理设备例如采用J2EE平台技术实现，并依赖JavaSdk 1.6以上的运行环境，其获取用于表示数据流向的元数据的流程与上述实施例的元数据处理方法相同，故此处不再赘述。

根据上述实施例的元数据处理设备，由于是通过对真实运行产生的ETL执行日志进行DDL解析和DML解析来获取对象之间的流向关系，所以所获得的表征对象之间的流向关系的元数据与真实执行情况一致，能够有效、准确地反映出ETL执行过程中的真实数据流向，从而可基于该元数据进行可靠的数据相关性分析及***性能优化等。

进一步地，在上述实施例的元数据处理设备中，所述元数据获取模块还用于屏蔽所述数据流向中的临时对象，以获取用于表示所述数据对象的数据流向的元数据。

根据上述实施例的元数据处理设备，由于临时对象仅是为了性能优化而在由原数据对象至目标数据对象的转换过程中建立的中间虚拟对象，对于后期的数据仓库中的数据管理不具备实质意义，所以直接建立数据对象之间的流向关系有利于进行后续利用元数据所进行的数据仓库管理。

进一步地，在上述实施例的元数据处理设备中，所述元数据获取模块还用于屏蔽所生成的表示所述数据对象的数据流向的元数据中的视图，以生成用于表示表的数据流向的元数据。

根据上述实施例的元数据处理设备，能够直接获得存储在数据仓库中的表与表之间的流向关系。

进一步地，在上述实施例的元数据处理设备中，包括服务端和浏览器端；其中，所述获取模块、所述日志解析模块和所述元数据获取模块设置在所述服务端，且所述元数据获取模块还用于将所生成的用于表示数据流向的元数据发送至所述浏览器端展示。

根据上述实施例的元数据处理设备，能够同时针对普通用户或业务人员提供方便使用的B/S模式的友好界面。此外，该元数据处理设备还可采用标准的关系数据库支持的通行设计来存储所获取的元数据，以支持多种数据库，并且可实现由技术人员进行便捷的元数据查询。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种元数据处理方法，其特征在于，包括：

2.根据权利要求1所述的元数据处理方法，其特征在于，在获取用于表示所述数据对象和所述临时对象的数据流向的元数据的步骤之后还包括：

3.根据权利要求2所述的元数据处理方法，其特征在于，所述数据对象包括表和视图；相应地，在获取用于表示所述数据对象的数据流向的元数据的步骤之后还包括：

4.根据权利要求1至3任一所述的元数据处理方法，其特征在于，所述元数据处理设备包括服务端和浏览器端；相应地，所述元数据处理方法还包括：所述元数据处理设备的服务端将所生成的用于表示数据流向的元数据发送至所述浏览器端展示。

5.一种元数据处理设备，其特征在于，包括：

6.根据权利要求5所述的元数据处理设备，其特征在于，所述元数据获取模块还用于屏蔽所述数据流向中的临时对象，以获取用于表示所述数据对象的数据流向的元数据。

7.根据权利要求6所述的元数据处理设备，其特征在于，所述元数据获取模块还用于屏蔽所生成的表示所述数据对象的数据流向的元数据中的视图，以生成用于表示表的数据流向的元数据。

8.根据权利要求5至7任一所述的元数据处理设备，其特征在于，包括服务端和浏览器端；其中，所述获取模块、所述日志解析模块和所述元数据获取模块设置在所述服务端，且所述元数据获取模块还用于将所生成的用于表示数据流向的元数据发送至所述浏览器端展示。