CN107545044A - 一种数据表建立方法、电子设备及存储介质 - Google Patents

Abstract

本发明的实施例公开一种数据表建立方法、电子设备及存储介质，涉及数据库技术领域，能够有效提高不同数据库之间建立对应数据表的速度和准确率，所述方法包括：根据第一数据表在一类数据库中的索引信息获取所述第一数据表的属性信息；按照二类数据库与所述一类数据库之间的映射规则对所述属性信息进行调整；利用调整后的所述属性信息生成建表语句，以根据所述建表语句在所述二类数据库中生成与所述第一数据表对应的第二数据表。本发明适用于大数据处理中。

Description

一种数据表建立方法、电子设备及存储介质

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据表建立方法、电子设备及存储介质。

背景技术

近年来，大数据发展日趋成熟，人们发现了数据的价值，通过对数据进行整理、提取、加工、清洗、分析来帮助决策。而在此之前，已经有很多行业积累了丰富的数据资源。这些数据大多基于较为传统的关系型数据库存储，例如oracle等。但是随着数据的不断增加、累计以及新技术的不断更新，oracle等传统的关系数据库的数据处理速度越来越无法满足用户对于海量数据的处理要求。因此常常采用混合型数据库加工方式，在oracle里存储数据，在hive、spark里加工数据，通过稳定的存储加上快速的数据处理技术，来更新技术。

然而，由于不同数据库并不完全兼容，数据在不同数据库之间切换处理时，会涉及到大量的数据表建立、转换、同步等操作。现有技术中，这些操作完全由人工实现，不但效率低而且容易出错。

发明内容

有鉴于此，本发明实施例提供一种数据表建立方法、电子设备及存储介质，能够有效提高不同数据库之间建立对应数据表的速度和准确率。

第一方面，本发明实施例提供一种数据表建立方法，包括：根据第一数据表在一类数据库中的索引信息获取所述第一数据表的属性信息；按照二类数据库与所述一类数据库之间的映射规则对所述属性信息进行调整；利用调整后的所述属性信息生成建表语句，以根据所述建表语句在所述二类数据库中生成与所述第一数据表对应的第二数据表。

结合第一方面，在第一方面的第一种实施方式中，所述索引信息包括所述第一数据表在所述一类数据库中的库名和表名；所述属性信息包括以下至少一种：字段、字段类型、列注释。

结合第一方面的第一种实施方式，在第一方面的第二种实施方式中，所述按照二类数据库与所述一类数据库之间的映射规则对所述属性信息进行调整包括：如果所述字段类型中包括预设类型，将所述预设类型替换为对应的目标类型；如果所述列注释中包括预设标点，将所述预设标点替换为对应的目标标点。

结合第一方面、第一方面的第一种至第二种中任一种实施方式，在第一方面的第三种实施方式中，所述利用调整后的所述属性信息生成建表语句包括：利用调整后的所述属性信息进行动态语句拼接；对所述第二数据表在所述二类数据库中将要使用的存储格式进行存储格式拼接；根据所述动态语句的拼接结果和所述存储格式的拼接结果生成所述建表语句。

结合第一方面的第三种实施方式，在第一方面的第四种实施方式中，在所述根据所述动态语句的拼接结果和所述存储格式的拼接结果生成所述建表语句之后，所述方法还包括：将生成的所述建表语句存入预设数据表的预设字段，所述预设字段的字段类型为CLOB(character large object block，字符大型对象块)。

结合第一方面的第四种实施方式，在第一方面的第五种实施方式中，所述预设数据表包括至少一个条目，每个所述条目包括所述第一数据表在所述一类数据库中的库名和表名以及所述第二数据表在所述二类数据库中的库名。

结合第一方面的第三种实施方式，在第一方面的第六种实施方式中，在所述根据所述动态语句的拼接结果和所述存储格式的拼接结果生成所述建表语句之后，所述方法还包括：将所述建表语句导入所述二类数据库的编译环境；根据所述编译环境下的编译结果，在所述二类数据库中生成所述第二数据表。

结合第一方面、第一方面的第一种至第二种中任一种实施方式，在第一方面的第七种实施方式中，所述一类数据库包括关系型数据库，所述二类数据库包括大数据数据库。

第二方面，本发明实施例提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一所述的数据表建立方法。

第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述任一所述的数据表建立方法。

本发明实施例提供的数据表建立方法、电子设备及存储介质，能够根据第一数据表在一类数据库中的索引信息获取第一数据表的属性信息，通过对这些属性信息进行相应的调整来使其符合二类数据库的要求，然后利用调整后的属性信息自动形成用于在二类数据库生成第二数据表的建表语句。这样，当需要将一类数据库中的数据导入二类数据库中处理时，可以对二类数据库中的表格进行自动适应和调整，使其既能将对应的数据从一类数据库中导入，又符合二类数据库的格式和处理要求，从而大大加快了数据表的创建速度，也有效减小了数据表建立的出错率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明的实施例数据表建立方法的流程图；

图2为本发明的实施例提供的数据表建立方法中hive环境下的编译界面示意图；

图3为本发明的实施例提供的数据表建立方法的一种详细流程图；

图4为本发明的实施例中建表语句的存储界面的结构示意图；

图5为本发明电子设备一个实施例的结构示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明的实施例提供的数据表建立方法的流程图，如图1所示，本实施例提供的数据表建立方法可以包括：

S11，根据第一数据表在一类数据库中的索引信息获取所述第一数据表的属性信息；

S12，按照二类数据库与所述一类数据库之间的映射规则对所述属性信息进行调整；

S13，利用调整后的所述属性信息生成建表语句，以根据所述建表语句在所述二类数据库中生成与所述第一数据表对应的第二数据表。

本发明的实施例提供的数据表建立方法，能够根据第一数据表在一类数据库中的索引信息获取第一数据表的属性信息，通过对这些属性信息进行相应的调整来使其符合二类数据库的要求，然后利用调整后的属性信息自动形成用于在二类数据库生成第二数据表的建表语句。这样，当需要将一类数据库中的数据导入二类数据库中处理时，可以对二类数据库中的新建表格进行自动适应和调整，使其既能将对应的数据从一类数据库中导入，又符合二类数据库的格式和处理要求，从而大大加快了数据表的创建速度，也有效减小了数据表建立的出错率。

本发明的实施例中，涉及到两类数据库中的数据表该如何对应转化。同样的数据在不同类型的数据库中对应的数据表是有差异的，只有妥善处理好这些差异才能够保证数据可以准确无误的从一类数据表中导入另一类数据表中，并进行后续的数据处理。

需要说明的是，本实施例中的一类数据库和二类数据库可以为类型不同的任意两种数据库，由于混合数据库中的数据处理常常涉及传统的关系型数据库如oracle数据库，和新型的大数据数据库如hive，因此，可选的，在本发明的一个实施例中，一类数据库可以包括关系型数据库，二类数据库可以包括大数据数据库。

具体的，在步骤S11之前，可以先获取第一数据表在一类数据库中的索引信息。其中，第一数据表的索引信息可以是一种具有定位功能的信息，即能够凭借该索引信息在***中找到对应的第一数据表。例如，在本发明的一个实施例中，该索引信息可以是第一数据表的表名sheet1以及该第一数据表sheet1所在的数据库的库名lib1，在本发明的另一个实施例中，该索引信息也可以是一个存储路径，例如D：\route1\route2\lib2\sheet2。当然，在本发明的其它实施例中，索引信息还可以是其它能够指向或标识一个数据表的信息，本发明的实施例对此不做限定。

可选的，信息获取途径可以是在一类数据库的编译环境下直接读取，也可以是在二类数据库的编译环境下通过调用一类数据库中的参数获取，还可以是利用第三方工具通过参数传递来获取，本发明的实施例对比不做限定。

获取到索引信息之后，即可利用该索引信息在一类数据库中找到对应的第一数据表，获取第一数据表的属性信息。具体而言，在步骤S11中，可以利用该索引信息获取第一数据表的属性信息。其中，属性信息可以包括以下一种或多种：第一数据表中的各个字段、每个字段的字段类型，以及第一数据表的列注释等。例如，可以通过索引信息“一年三班”(库名)、“2015-2016学年第一学期”(表名)获取一个班级学生成绩表的属性信息，具体包括字段：学号、姓名、数学、语文、英语、物理、化学、平均分；字段类型：学号的类型为整型，姓名为字符型，其余为实数型。

由于这些获取到的属性信息都源自一类数据库，不一定符合二类数据库的要求，因此需要对这些属性信息进行过滤和调整，保留两类数据库对属性信息的兼容部分，并修改属性信息的不兼容部分。具体的保留或修改操作可以按照二类数据库与一类数据库之间的映射规则来进行。

可选的，在步骤S12中，按照二类数据库与一类数据库之间的映射规则对所述属性信息进行调整可包括：

如果字段类型中包括预设类型，将预设类型替换为对应的目标类型；

如果列注释中包括预设标点，将预设标点替换为对应的目标标点。

具体而言，属性信息可包括字段、字段类型和列注释。其中，字段主要涉及一些自定义的名称，一般在各类数据库中可以兼容。而字段类型和列注释在不同类型的数据库中常常具有不同的要求，常常需要调整。

举例说明，在本发明的一个实施例中，一类数据库为oracle数据库，二类数据库为hive数据库。需要将oracle数据库中的一个数据表A1对应到hive数据库中形成新的数据表A2。由现有技术可知，oracle中的字段类型与hive中的字段类型存在不同，需要调整。例如，需要将oracle中的字段类型VARCHAR2替换成hive中的字段类型‘STRING’，将oracle中的字段类型number替换成hive中的字段类型‘DOUBLE’。又例如，oracle数据库中列注释中可能会使用分号，而对应到hive中，如果分号出现在列注释中则会报错，因此在hive中建表时需要将原来的分号删除或者替换为其它合法符号。

总之，不同的数据库具有不同的格式和语法要求，具体需要做哪些字符替换和调整可以根据需要来确定和设置。

进一步的，对字段类型、列注释等属性信息调整完毕后，可以利用这些调整后的属性信息生成运用于新的数据库类型(即二类数据库)中的建表语句。可选的，建表语句的生成方法可具体包括：

利用调整后的属性信息进行动态语句拼接；

对所述第二数据表在所述二类数据库中将要使用的存储格式进行存储格式拼接；

根据所述动态语句的拼接结果和所述存储格式的拼接结果生成所述建表语句。

具体而言，利用调整后的属性信息进行动态语句拼接就是通过动态语句拼接的方法将上述调整后的属性信息重新连接，例如，可以在动态语句里指定生成hive表要建表的库名，在表名前加′CREATE TABLE IF NOT EXISTS′避免建重复的表，可以通过动态语句自动将以上语句进行拼接，拼接成一个完整的建表语句。进一步地，如果二类数据库中的数据表可以使用多种存储格式，那么还可以对第二数据表将要使用的存储格式进行存储格式拼接，然后根据动态语句拼接结果以及存储格式拼接结果生成建表语句。可选的，在本发明的一个实施例中，在二类数据库中，数据表可以分区存储，那么相应的，在进行存储格式拼接时还可以增加分区拼接，从而根据动态语句拼接结果、存储格式及分区拼接结果生成建表语句。

可选的，生成的建表语句可以直接用来导入二类数据库环境，从而在二类数据库中生成与第一数据表对应的第二数据表，也可以将生成的建表语句存入文件，以供后续使用。

在将建表语句存入文件的情况下，可以将该建表语句存成多种形式的文件，只要能够保留建表语句的正确文本即可，例如，txt文件，office文件，数据库文件等。但为了更好的与数据库环境兼容，进一步提高建表的质量和效率，在本发明的一个实施例中，可以将建表语句存入一个单独的数据表的预设字段，从而可以方便的实现建表语句在不同数据库之间的传递。

具体而言，在步骤S13根据所述动态语句的拼接结果和所述存储格式的拼接结果生成所述建表语句之后，本发明提供的数据表建立方法还可包括：

将生成的建表语句存入预设数据表的预设字段，所述预设字段的字段类型为字符大型对象CLOB。可选的，该预设数据表可以为一类数据库中的数据表，也可以为二类数据库中的数据表，还可以是独立于一类数据库和二类数据库的另一种数据表，本发明的实施例对此不做限定。

进一步的，当需要在一类数据库和二类数据库之间做大量的数据表的创建和转化时，可以将所有需要创建和转化的数据表的建表语句分成不同条目存储在同一个预设数据表中。该预设数据表包括一个条目或多个条目，每个条目包括第一数据表在所述一类数据库中的库名、表名以及第二数据表在二类数据库中的库名。本实施例中，为了使数据表具有良好的对应性，在二类数据库中仍然沿用该数据表在一类数据库中的表名。当然，在本发明的其它实施例中，也可以使用不同的表名，本发明的实施例对此不做限定。

举例说明，在本发明的一个实施例中，需要将oracle数据库中，数据库C下的数据表sh01和数据库D下的数据表sh02，在hive数据库中的数据库E下重建，则生成的建表语句phrase1和phrase2可以按照表1的形式存储。

表1

类似的，接下来每一次建表只需要填入oracle表的库名、表名，以及需要生成的hive表的库名，确定两种类型的数据库之间的映射规则，即可自动生成建表语句。这在进行多字段、大量表的建表操作时，有效提高了效率也大大降低了出错率。

可选的，在利用建表语句直接生成数据表的情况下，在步骤S13根据所述动态语句的拼接结果和所述存储格式的拼接结果生成所述建表语句之后，本发明实施例提供的数据表建立方法还可包括：

将建表语句导入二类数据库的编译环境；

根据编译环境下的编译结果，在二类数据库中生成第二数据表。

在本发明的一个实施例中，将建表语句导入hive数据库的编译环境下，具体的编译环境可如图2所示，从而可以在二类数据库中直接建表。

下面通过具体实施例对本发明提供的数据表建立方法进行详细说明。

如图3所示，本实施例提供的数据表建立方法包括如下步骤：

S301，获取第一数据表在oracle数据库中的索引信息：库名为CTXSYS，表名为TABLE_SCORE；

例如，可以进行如下变量声明和赋值：

S302，根据第一数据表TABLE_SCORE在oracle数据库中的索引信息获取第一数据表TABLE_SCORE的属性信息，属性信息包括表中涉及的各种字段、每个字段的字段类型以及列注释；

具体实施时，可以首先进行变量声明，然后输入变量名，接下来执行for循环，在这个循环里会从***表all_tab_columns里面读取表的字段、字段类型、从all_col_comments里面读取表的列注释，例如使用oracle动态语句，指定需要建的表在oracle的用户、表名，然后从all_tab_columns读表的字段、字段类型、从all_col_comments读表的列注释；

S303，对上述属性信息进行过滤和调整，遍历所有字段类型和列注释，将不符合hive数据库的格式和语法要求的字符和标点等进行替换或删除，其它内容保留；可选的，可以用CASE WHEN语句实现，当符合字段类型和列注释符合相应的条件时，执行相应的语句。

具体实施时，步骤S302和S303可以通过如下方式实现：

S304，利用调整后的属性信息进行动态语句拼接，例如，可以进行如下拼接：

S305，对hive下数据表将要使用的存储格式进行存储格式拼接，例如，可以进行如下拼接：

S306，根据上述拼接结果生成建表语句并将生成的建表语句***预先建立的oracle表table_save中；建表语句的存储界面可如图4所示，建表语句以CLOB字段存储在table_save中。

具体的，可以通过如下代码将生成的建表语句***预先建立的oracle表table_save中：

S307，通过读取table_save中的数据将表TABLE_SCORE的建表语句导入hive环境，从而在hive中建立对应的数据表TABLE_SCORE。

可选的，hive中数据表TABLE_SCORE的存储路径可以是默认路径，也可以在建表语句的导入过程中指定。

相应的，如图5所示，本发明到的实施例还提供一种电子设备，如图5所示，上述电子设备可以包括：壳体41、处理器42、存储器43、电路板44和电源电路45，其中，电路板44安置在壳体41围成的空间内部，处理器42和存储器43设置在电路板44上；电源电路45，用于为上述电子设备的各个电路或器件供电；存储器43用于存储可执行程序代码；处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例所述的数据表建立方法。

处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤，可以参见前述实施例的描述，在此不再赘述。

该电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、***总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子设备。

相应的，本发明的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述实施例提供的任一种数据表建立方法，因此也能实现相应的技术效果。前文已经进行了详细的说明，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据表建立方法，其特征在于，包括：

根据第一数据表在一类数据库中的索引信息获取所述第一数据表的属性信息；

按照二类数据库与所述一类数据库之间的映射规则对所述属性信息进行调整；

利用调整后的所述属性信息生成建表语句，以根据所述建表语句在所述二类数据库中生成与所述第一数据表对应的第二数据表。

2.根据权利要求1所述的方法，其特征在于，所述索引信息包括所述第一数据表在所述一类数据库中的库名和表名；所述属性信息包括以下至少一种：字段、字段类型、列注释。

3.根据权利要求2所述的方法，其特征在于，所述按照二类数据库与所述一类数据库之间的映射规则对所述属性信息进行调整包括：

如果所述字段类型中包括预设类型，将所述预设类型替换为对应的目标类型；

如果所述列注释中包括预设标点，将所述预设标点替换为对应的目标标点。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述利用调整后的所述属性信息生成建表语句包括：

利用调整后的所述属性信息进行动态语句拼接；

对所述第二数据表在所述二类数据库中将要使用的存储格式进行存储格式拼接；

根据所述动态语句的拼接结果和所述存储格式的拼接结果生成所述建表语句。

5.根据权利要求4所述的方法，其特征在于，在所述根据所述动态语句的拼接结果和所述存储格式的拼接结果生成所述建表语句之后，所述方法还包括：

将生成的所述建表语句存入预设数据表的预设字段，所述预设字段的字段类型为字符大型对象CLOB。

6.根据权利要求5所述的方法，其特征在于，所述预设数据表包括至少一个条目，每个所述条目包括所述第一数据表在所述一类数据库中的库名和表名以及所述第二数据表在所述二类数据库中的库名。

7.根据权利要求4所述的方法，其特征在于，在所述根据所述动态语句的拼接结果和所述存储格式的拼接结果生成所述建表语句之后，所述方法还包括：

将所述建表语句导入所述二类数据库的编译环境；

根据所述编译环境下的编译结果，在所述二类数据库中生成所述第二数据表。

8.根据权利要求1至3中任一项所述的方法，其特征在于，所述一类数据库包括关系型数据库，所述二类数据库包括大数据数据库。

9.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一权利要求1-8所述的数据表建立方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至8中任一项所述的数据表建立方法。