CN103309904B - 一种生成数据仓库etl 代码的方法及装置 - Google Patents

Abstract

本申请提供了一种生成数据仓库ETL代码的方法及装置，以解决目前的数据仓库ETL采用自主开发所带来的各种问题。所述方法包括：针对需要处理的业务逻辑，添加相应的文件头变量及其注释信息；将需要处理的业务逻辑用SQL语句表示出来，然后将所述SQL语句作为变量值填充到数组变量中；将各种业务中共性的技术逻辑抽取出来，并制作成ETL开发模板的代码，所述ETL开发模板用于调用所述变量值来处理业务逻辑；将所述ETL开发模板的代码，以及所述文件头及其注释信息，以及填充了变量值的数组变量，组织成可运行的ETL代码脚本。本申请提高了开发效率，使得代码风格统一，方便代码管理，还可以有效的提高测试效率。

Description

一种生成数据仓库ETL代码的方法及装置

技术领域

本申请涉及计算机技术，特别是涉及一种生成数据仓库ETL代码的方法及装置。

背景技术

ETL是数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

目前各企业数据仓库ETL基本采用自主开发的方法，大多基于过程语言开发，每次接到新的需求或者项目，ETL开发人员除了梳理业务逻辑外，还要进行大量的过程语言代码开发。例如，有的企业是用perl语言(PracticalExtraction and Report Language，实用报表提取语言)和SQL语言(StructuredQuery Language，结构化查询语言)来做ETL开发，在做项目时，ETL开发人员在梳理业务SQL的同时，还要进行大量perl代码开发。

因此，现有技术中ETL代码开发量比较大，开发效率比较低，技术对业务的支持响应比较慢；并且每个开发人员开发代码的风格也不能保证完全一致，代码的质量很难保证；同时对ETL开发人员专业技术的要求也非常高。这对代码测试和管理都会带来较高的成本。

发明内容

本申请提供了一种生成数据仓库ETL代码的方法及装置，以解决目前的数据仓库ETL采用自主开发所带来的各种问题。

为了解决上述问题，本申请公开了一种生成数据仓库ETL代码的方法，包括：

针对需要处理的业务逻辑，添加相应的文件头变量及其注释信息；

将需要处理的业务逻辑用SQL语句表示出来，然后将所述SQL语句作为变量值填充到数组变量中；

将各种业务中共性的技术逻辑抽取出来，并制作成ETL开发模板的代码，所述ETL开发模板用于调用所述变量值来处理业务逻辑；

将所述ETL开发模板的代码，以及所述文件头及其注释信息，以及填充了变量值的数组变量，组织成可运行的ETL代码脚本。

优选地，所述方法还包括：将各种业务中共性的日志生成逻辑抽取出来，并制作成日志生成模板的代码；所述ETL代码脚本中包含所述日志生成模板的代码。

优选地，所述日志生成模板用于记录ETL开发模板的运行日志，所述运行日志包括代码运行总时长以及代码运行结果审计信息。

优选地，所述将需要处理的业务逻辑用SQL语句表示出来，然后将所述SQL语句作为变量值填充到数组变量中，包括：将需要处理的业务逻辑划分为多个业务单元；将每个业务单元的处理逻辑用SQL语句表示出来；将每个业务单元的SQL语句作为变量值填充到数组变量中。

优选地，所述添加相应的文件头变量，包括：在文件头中设置时间变量为全局变量。

优选地，所述ETL开发模板还用于将业务逻辑运行结果存入数据库。

优选地，所述组织成可运行的ETL代码脚本，包括：采用文本编辑器或excel或java页面组织成可运行的ETL代码脚本。

本申请还提供了一种生成数据仓库ETL代码的装置，包括：

文件头添加模块，用于针对需要处理的业务逻辑，添加相应的文件头变量及其注释信息；

变量定义模块，用于将需要处理的业务逻辑用SQL语句表示出来，然后将所述SQL语句作为变量值填充到数组变量中；

模板代码生成模块，用于将各种业务中共性的技术逻辑抽取出来，并制作成ETL开发模板的代码，所述ETL开发模板用于调用所述变量值来处理业务逻辑；

ETL代码自动生成模块，用于将所述ETL开发模板的代码，以及所述文件头及其注释信息，以及填充了变量值的数组变量，组织成可运行的ETL代码脚本。

优选地，所述装置还包括：文件尾部生成模块，用于将各种业务中共性的日志生成逻辑抽取出来，并制作成日志生成模板的代码；所述ETL代码脚本中包含所述日志生成模板的代码。

优选地，所述变量定义模块包括：

业务单元划分子模块，用于将需要处理的业务逻辑划分为多个业务单元；

变量定义子模块，用于将每个业务单元的处理逻辑用SQL语句表示出来；

变量赋值子模块，用于将每个业务单元的SQL语句作为变量值填充到数组变量中。

与现有技术相比，本申请包括以下优点：

第一，本申请将共性的技术逻辑集中自动化处理，无需人工开发；用数组变量去定义每个需要处理的业务逻辑，把复杂变化的业务逻辑进行模块化处理，尽量减少人工开发，使复杂的处理逻辑简单化。这样做可以使得ETL开发人员把主要精力集中到业务逻辑理解处理上，不必过多的关注开发语言、语法、语言规范等技术细节。

第二，ETL开发人员需要做的只是将理解的业务逻辑用SQL语句表达出来，然后将SQL语句和注解信息填充到数组变量中，利用ETL开发模板自动生成可执行的ETL代码脚本。这降低了对ETL开发人员专业技术的要求，大大提高了开发效率；也使得代码风格统一，代码逻辑易读，方便代码管理，降低了代码维护成本；还可以有效的提高ETL代码脚本的质量，提升测试人员的测试效率。

第三，本申请提出的这种基于模板的ETL开发方法可以用多种语言实现，比如TCL(Tool Command Language，工具命令语言，一种脚本语言)、SHELL、PERL等，也适用于多种平台，如ORACLE集群、GREENPLUM集群、Hadoop集群等。即使新入行的初级技术人员，也能迅速完成ETL开发，支持到业务需求，这大大提高了技术对业务的响应速度。

当然，实施本申请的任一产品不一定需要同时达到以上所述的所有优点。

附图说明

图1是本申请实施例所述一种屏幕截图方法的流程图；

图2是本申请实施例所述一种生成数据仓库ETL代码的装置结构图；

图3是本申请另一实施例所述一种生成数据仓库ETL代码的装置结构图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

本申请提出一种基于模板的高效ETL代码生成方法，通过对ETL代码进行模块化抽象，设计出一种跨平台支持多语言的ETL开发模式。该方法针对各种不同的需求或项目，将其中共性的技术逻辑制作成ETL开发模板，实现集中自动化处理；并用数组变量去定义每个需要处理的业务逻辑，把复杂变化的业务逻辑进行模块化处理；然后利用ETL开发模板自动生成可执行的ETL代码脚本。

这种基于模板的ETL开发，能够实现ETL快速开发，避免ETL代码重复开发，提高开发效率；而且，实现了ETL代码风格的统一，提高了代码易读性，方便代码统一管理；并且，还提高了ETL代码质量，减少了ETL代码测试点，提高了测试效率。

下面通过实施例对本申请所述方法的实现流程进行详细说明。

参照图1所示，是本申请实施例所述一种生成数据仓库ETL代码的方法流程图。

其中，示例是用TCL语言制作模板为例，但也可以用SHELL、PERL、JAVA等其他语言来封装模板。

步骤101，针对需要处理的业务逻辑，添加相应的文件头变量及其注释信息；

在文件头中添加处理该业务逻辑所需要的变量，并添加功能描述等注释信息。当然，业务逻辑不同，文件头中定义的变量也会不同。

例如，针对某个需要处理的业务逻辑，一种文件头的示例如下：

在上述示例的文件头中，定义了时间变量，并且将时间变量设置为全局变量。

全局变量也称为外部变量，它是在函数外部(如在文件头)定义的变量。它不属于哪一个函数，它属于一个源程序文件，其作用域是整个源程序。在函数中使用全局变量，一般应作全局变量说明(如在文件头)。

因此，使用全局变量后，后续各个业务单元进行逻辑计算时，可以避免每个业务单元重复编写。

步骤102，将需要处理的业务逻辑用SQL语句表示出来，然后将所述SQL语句作为变量值填充到数组变量中；

实际应用中，需要处理的业务逻辑都比较复杂，因此在一个具体示例中，所述步骤102可以包括以下子步骤：

子步骤1，将需要处理的业务逻辑划分为多个业务单元；

例如，按照业务功能划分为业务单元，每个业务单元负责一个功能；

子步骤2，将每个业务单元的处理逻辑用SQL语句表示出来；

子步骤3，将每个业务单元的SQL语句作为变量值填充到数组变量中。

下面通过另一个具体示例，说明如何将SQL语句作为变量值填充到数组变量中。针对每个业务单元，处理如下：

1)添加注释，描述本单元要处理的业务逻辑，以方便阅读理解；

2)将本单元中需要处理的业务逻辑用SQL语句定义到数组变量；

例如，总共可选5个数组变量，分别为：L_INPUT_TABLE(输入表)、L_OUTPUT_TABLE(输出表)、L_TRUNCATE_TABLE(清空表)、SQL_BUFF_INSERT(生成表)、SQL_BUFF_DELETE(删除数据)。

上述5个数组变量基本可以看作是5个原子操作，几乎所有的SQL操作都可以由这5个数据变量及其组合来完成。因此，针对每个单元中的业务逻辑，均可以使用上述5个数组变量中的任何一个或多个变量的组合来定义SQL语句。

3)根据业务的复杂程度，每个业务单元可以循环定义。

例如，可以将一个数组变量L_INPUT_TABLE(输入表)循环定义为L_INPUT_TABLE(1)、L_INPUT_TABLE(2)、L_INPUT_TABLE(3)......，这就是数组变量。

为了便于理解，下面给出一个示例，如下：

步骤103，将各种业务中共性的技术逻辑抽取出来，并制作成ETL开发模板的代码，所述ETL开发模板用于调用所述变量值来处理业务逻辑；

所述ETL开发模板可以将各种业务的公共技术逻辑部分抽象出来，并高度模块化，做成标准模板，无需ETL开发人员重复开发。因此，处理每个业务逻辑时，可以运行这个公共的ETL开发模板，该ETL开发模板调用步骤101和步骤102针对不同业务设置的变量值，循环处理各个业务单元的逻辑。

优选地，根据实际应用的需要，在运行所述ETL开发模板的时候，还可以将业务逻辑运行结果存入数据库，以便相关人员查看。

此外，运行所述ETL开发模板的过程中，还可以把每个业务单元运行成功或失败等日志信息记录下来。

步骤104，将各种业务中共性的日志生成逻辑抽取出来，并制作成日志生成模板的代码；

所述日志生成模板用于记录ETL开发模板的运行日志，所述运行日志包括ETL开发模板的代码运行总时长，以及代码运行结果审计信息等日志。

与上述的ETL开发模板类似，所述日志生成模板也是抽象出来的公共技术逻辑，做成标准模板来使用，无需ETL开发人员重复开发。

需要说明的是，本步骤是可选步骤，即可以不经过本步骤而直接进入步骤105，也不会对本申请的实现产生影响。但是，如果增加本步骤的处理，由于进行了运行日志的记录，因此可以更好地为开发人员进行代码调优而提供日志参考。

步骤105，将所述ETL开发模板的代码，以及所述文件头及其注释信息，以及填充了变量值的数组变量，组织成可运行的ETL代码脚本。

如果包含步骤104，则所述ETL代码脚本中还包含所述日志生成模板的代码。

实际应用中，可通过多种方式将上述的各种代码、变量、注释等信息组织成一个可运行的ETL代码脚本。例如，采用文本编辑器，或者excel，或者java页面，都可以实现。

综上所述，由上述流程可以看出，ETL开发人员只需做步骤101和步骤102中的变量定义及注释添加，后续工作都会自动生成。换而言之，使用本申请实施例提供的方案，ETL开发人员针对某个业务开发ETL代码时，需要做的是：针对该业务添加文件头及注释信息，并且用数组变量去定义需要处理的业务逻辑。完成这两步工作后，***会采用文本编辑器、excel、java页面等方式，自动将文件头及注释信息、数组变量、ETL开发模板的代码、日志生成模板的代码(作为文件尾部)，组织成一个执行脚本。至此，针对该业务的ETL代码开发完成。如果变换业务，只需重新配置文件头和数据变量，ETL代码可以自动生成，无需手工编写重复代码。

需要说明的是，对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请所必需的。

基于上述方法实施例的说明，本申请还提供了相应的生成数据仓库ETL代码的装置实施例，来实现上述方法实施例所述的内容。

参照图2所示，是本申请实施例所述一种生成数据仓库ETL代码的装置结构图。

所述装置可以包括以下模块：

文件头添加模块10，用于针对需要处理的业务逻辑，添加相应的文件头变量及其注释信息；

变量定义模块20，用于将需要处理的业务逻辑用SQL语句表示出来，然后将所述SQL语句作为变量值填充到数组变量中；

模板代码生成模块30，用于将各种业务中共性的技术逻辑抽取出来，并制作成ETL开发模板的代码，所述ETL开发模板用于调用所述变量值来处理业务逻辑；

ETL代码自动生成模块40，用于将所述ETL开发模板的代码，以及所述文件头及其注释信息，以及填充了变量值的数组变量，组织成可运行的ETL代码脚本。

其中，所述ETL开发模板还可用于将业务逻辑运行结果存入数据库。

所述ETL代码自动生成模块40可采用文本编辑器或excel或java页面将上述信息组织成可运行的ETL代码脚本。

优选地，在另一实施例中，如图3所示，所述装置还可以包括：

文件尾部生成模块50，用于将各种业务中共性的日志生成逻辑抽取出来，并制作成日志生成模板的代码。

相应的，所述ETL代码脚本中还可以包含所述日志生成模板的代码。

所述日志生成模板用于记录ETL开发模板的运行日志，所述运行日志包括代码运行总时长以及代码运行结果审计信息。

优选地，在另一实施例中，所述变量定义模块20可以包括以下子模块：

业务单元划分子模块，用于将需要处理的业务逻辑划分为多个业务单元；

变量定义子模块，用于将每个业务单元的处理逻辑用SQL语句表示出来；

变量赋值子模块，用于将每个业务单元的SQL语句作为变量值填充到数组变量中。

对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见图1所示方法实施例的部分说明即可。

综上所述，本申请实施例提供的基于模板的ETL代码高效生成方法及装置，具有以下几个优点：

第一，本申请将共性的技术逻辑集中自动化处理，无需人工开发；用数组变量去定义每个需要处理的业务逻辑，把复杂变化的业务逻辑进行模块化处理，尽量减少人工开发，使复杂的处理逻辑简单化。这样做可以使得ETL开发人员把主要精力集中到业务逻辑理解处理上，不必过多的关注开发语言、语法、语言规范等技术细节。

第二，ETL开发人员需要做的只是将理解的业务逻辑用SQL语句表达出来，然后将SQL语句和注解信息填充到数组变量中，利用ETL开发模板自动生成可执行的ETL代码脚本。这降低了对ETL开发人员专业技术的要求，大大提高了开发效率；也使得代码风格统一，代码逻辑易读，方便代码管理，降低了代码维护成本；还可以有效的提高ETL代码脚本的质量，提升测试人员的测试效率。

第三，本方案提出的这种基于模板的ETL开发方法可以用多种语言实现，比如TCL、SHELL、PERL等，也适用于多种平台，如ORACLE集群、GREENPLUM集群、Hadoop集群等。即使新入行的初级技术人员，也能迅速完成ETL开发，支持到业务需求，这大大提高了技术对业务的响应速度。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上对本申请所提供的一种生成数据仓库ETL代码的方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种生成数据仓库ETL代码的方法，其特征在于，包括：

针对需要处理的业务逻辑，添加相应的文件头变量及其注释信息；

将需要处理的业务逻辑用SQL语句表示出来，然后将所述SQL语句作为变量值填充到数组变量中；

将各种业务中共性的技术逻辑抽取出来，并制作成ETL开发模板的代码，所述ETL开发模板用于调用所述变量值来处理业务逻辑；

将所述ETL开发模板的代码，以及所述文件头及其注释信息，以及填充了变量值的数组变量，组织成可运行的ETL代码脚本。

2.根据权利要求1所述的方法，其特征在于，还包括：

将各种业务中共性的日志生成逻辑抽取出来，并制作成日志生成模板的代码；

所述ETL代码脚本中包含所述日志生成模板的代码。

3.根据权利要求2所述的方法，其特征在于：

所述日志生成模板用于记录ETL开发模板的运行日志，所述运行日志包括代码运行总时长以及代码运行结果审计信息。

4.根据权利要求1所述的方法，其特征在于，所述将需要处理的业务逻辑用SQL语句表示出来，然后将所述SQL语句作为变量值填充到数组变量中，包括：

将需要处理的业务逻辑划分为多个业务单元；

将每个业务单元的处理逻辑用SQL语句表示出来；

将每个业务单元的SQL语句作为变量值填充到数组变量中。

5.根据权利要求1所述的方法，其特征在于，所述添加相应的文件头变量，包括：

在文件头中设置时间变量为全局变量。

6.根据权利要求1所述的方法，其特征在于：

所述ETL开发模板还用于将业务逻辑运行结果存入数据库。

7.根据权利要求1所述的方法，其特征在于，所述组织成可运行的ETL代码脚本，包括：

采用文本编辑器或excel或java页面组织成可运行的ETL代码脚本。

8.一种生成数据仓库ETL代码的装置，其特征在于，包括：

文件头添加模块，用于针对需要处理的业务逻辑，添加相应的文件头变量及其注释信息；

变量定义模块，用于将需要处理的业务逻辑用SQL语句表示出来，然后将所述SQL语句作为变量值填充到数组变量中；

模板代码生成模块，用于将各种业务中共性的技术逻辑抽取出来，并制作成ETL开发模板的代码，所述ETL开发模板用于调用所述变量值来处理业务逻辑；

ETL代码自动生成模块，用于将所述ETL开发模板的代码，以及所述文件头及其注释信息，以及填充了变量值的数组变量，组织成可运行的ETL代码脚本。

9.根据权利要求8所述的装置，其特征在于，还包括：

文件尾部生成模块，用于将各种业务中共性的日志生成逻辑抽取出来，并制作成日志生成模板的代码；

所述ETL代码脚本中包含所述日志生成模板的代码。

10.根据权利要求8所述的装置，其特征在于，所述变量定义模块包括：

业务单元划分子模块，用于将需要处理的业务逻辑划分为多个业务单元；

变量定义子模块，用于将每个业务单元的处理逻辑用SQL语句表示出来；

变量赋值子模块，用于将每个业务单元的SQL语句作为变量值填充到数组变量中。