CN111125149A

CN111125149A - 基于Hive的数据获取方法、装置及存储介质

Info

Publication number: CN111125149A
Application number: CN201911323261.6A
Authority: CN
Inventors: 潘永刚; 陈洋; 雷芬
Original assignee: Guangzhou Pinwei Software Co Ltd
Current assignee: Guangzhou Pinwei Software Co Ltd
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2020-05-08
Anticipated expiration: 2039-12-19
Also published as: CN111125149B

Abstract

本发明公开了一种基于Hive的数据获取方法，包括以下步骤：识别Hive程序中的Hive查询语句；根据所述Hive查询语句对应的要求从线上获取数据，生成Hive表；将所述Hive表存储至本地数据库。本发明还公开了一种基于Hive的数据获取装置以及计算机可读存储介质。本发明提高了Hive数据的获取效率。

Description

基于Hive的数据获取方法、装置及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于Hive的数据获取方法、基于Hive的数据获取装置以及计算机可读存储介质。

背景技术

Hive(数据仓库工具)是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据表，并提供完整的SQL(Structured Query Language，结构化查询语言)查询功能，可以将SQL语句转换为MapReduce任务进行运行。目前在对Hive进行测试时，需要测试工程师人工手动获取测试数据，导致Hive数据的获取效率低下。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于Hive的数据获取方法、基于Hive的数据获取装置以及计算机可读存储介质，提高了Hive数据的获取效率。

为实现上述目的，本发明提供一种基于Hive的数据获取方法，所述基于Hive的数据获取方法包括以下步骤：

识别Hive程序中的Hive查询语句；

根据所述Hive查询语句对应的要求从线上获取数据，生成Hive表；

将所述Hive表存储至本地数据库。

可选地，所述将所述Hive表存储至本地数据库的步骤包括：

将所述Hive表对应的文件格式从电子表格格式转换为电子文档格式；

对进行文件格式转换后的Hive表提供参数化分区服务和非参数化分区服务，并根据所述Hive表中的数据得到目标数据，所述目标数据包括参数化分区数据和/或非参数化分区数据；

将所述目标数据存储至本地数据库。

可选地，所述将所述目标数据存储至本地数据库的步骤之后，还包括：

获取所述目标数据的存储路径信息，以及所述Hive表对应的表名；

将所述存储路径信息、所述表名和所述目标数据传入待测试Hive对应的测试用例中；

执行所述测试用例，以对所述待测试Hive进行测试。

可选地，所述执行所述测试用例，以对所述待测试Hive进行测试的步骤之后，还包括：

获取所有所述测试用例的测试结果，生成测试报告。

可选地，所述将所述目标数据存储至本地数据库的步骤包括：

采用JSch调用数据传输接口，以将所述目标数据存储至本地数据库。

可选地，所述识别Hive程序中的Hive查询语句的步骤之前，还包括：

进行Hive环境部署，并准备Hive表语句。

为实现上述目的，本发明还提供一种基于Hive的数据获取装置，所述基于Hive的数据获取装置包括：

所述基于Hive的数据获取装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于Hive的数据获取程序，所述基于Hive的数据获取程序被所述处理器执行时实现如上述基于Hive的数据获取方法的步骤。

为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于Hive的数据获取程序，所述基于Hive的数据获取程序被处理器执行时实现如上述基于Hive的数据获取方法的步骤。

本发明提供的基于Hive的数据获取方法、基于Hive的数据获取装置以及计算机可读存储介质，识别Hive程序中的Hive查询语句；根据所述Hive查询语句对应的要求从线上获取数据，生成Hive表；将所述Hive表存储至本地数据库。这样，提高了Hive数据的获取效率。

附图说明

图1为本发明实施例方案涉及的实施例终端的硬件运行环境示意图；

图2为本发明基于Hive的数据获取方法第一实施例的流程示意图；

图3为本发明基于Hive的数据获取方法第二实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于Hive的数据获取方法，提高了Hive数据的获取效率。

如图1所示，图1是本发明实施例方案涉及的实施例终端的硬件运行环境示意图；

本发明实施例终端可以是基于Hive的数据获取装置，基于Hive的数据获取装置可以具体为计算机，终端也可以是一种包括基于Hive的数据获取装置的计算机***，终端也可以是一种本地服务器。

如图1所示，该终端可以包括：处理器1001，例如CPU中央处理器(centralprocessing unit)，存储器1002，通信总线1003。其中，通信总线1003用于实现该终端中各组成部件之间的连接通信。存储器1002可以是高速RAM随机存储器(random-accessmemory)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1002可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端的结构并不构成对本发明实施例终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1002中可以包括基于Hive的数据获取程序。

在图1所示的终端中，处理器1001可以用于调用存储器1002中存储的基于Hive的数据获取程序，并执行以下操作：

识别Hive程序中的Hive查询语句；

将所述Hive表存储至本地数据库。

进一步地，处理器1001可以调用存储器1002中存储的基于Hive的数据获取程序，还执行以下操作：

将所述目标数据存储至本地数据库。

执行所述测试用例，以对所述待测试Hive进行测试。

获取所有所述测试用例的测试结果，生成测试报告。

进行Hive环境部署，并准备Hive表语句。

参照图2，在一实施例中，所述基于Hive的数据获取方法包括：

步骤S10、识别Hive程序中的Hive查询语句。

本实施例中，实施例终端可以是基于Hive的数据获取装置，也可以是基于Hive的数据获取装置的控制终端或服务器。以下以实施例终端为基于Hive的数据获取装置为例进行说明。

可选地，在识别Hive表中的Hive查询语句之前，终端先进行Hive环境部署，并准备Hive表语句。

可选地，终端在进行Hive部署时，先申请线下机器部署Hive相关程序，然后基于CentOS+Hadoop+HBase+Hive+redis进行环境部署。

其中，CentOS(Community Enterprise Operating System，社区企业操作***)是Linux发行版之一，由Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。

其中，Hadoop是Apache组织管理的一个开源项目，是基于Google云计算理论BigTable、MapReduce和GFS的软件实现。Hadoop的核心组件由两个部分：分布式文件***(HDFS)和分布式计算模型MapReduce。HDFS是Hadoop的旗舰级文件***，它以流式数据访问模式来存储超大文件，运行于商用硬件集群上；MapReduce是一个编程模型，用以进行稳定、高效、超大数据量的分析计算。

其中，HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储***”。就像Bigtable利用了Google文件***(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。

其中，Redis(Remote Dictionary Server，远程字典服务)是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API(应用程序接口)。

可选地，终端Hive环境部署成功后，还可以进一步通过命令检查Hive服务程序是否正常。例如，输入一个浏览器网址或者输入其他入参，如果服务可以返回相应的返回值，则说明Hive服务程序正常，否则则为不正常。

可选地，终端还进一步部署应用程序，即在当前Hive的容器环境部署对应被测应用***，以确保Hive服务程序正常。

进一步地，终端启动调度左右，以在当前环境下确保调度左右***能够成功打开。

完成上述准备后，终端则可以准备Hive涉及相关的表语句。Hive建表方式共有三种：直接建表法、查询建表法和like建表法。

可选地，终端基于查询建表法准备Hive表语句，以为后续的Hive查询语句提供支持。

可选地，终端启动Hive服务程序(即Hive脚本程序)，通过网络通信登录线上数据***，识别Hive程序中的Hive查询语句，按照Hive查询语句对应的要求获取所需要的线上数据。

需要说明的是，设计Hive程序的程序员，可以根据待测试Hive的具体测试要求，在程序中编写能查询得到满足测试要求的入参的Hive查询语句。即具体的Hive查询语句，及其对应的要求，可以根据实际情况需要设置，在此不做限定。

步骤S20、根据所述Hive查询语句对应的要求从线上获取数据，生成Hive表。

可选地，终端根据Hive查询语句对应的要求，从线上获取数据，并根据获取得到的数据生成Hive表。需要说明的是，所得到的Hive表原始的文件格式即为excle电子表格格式。

步骤S30、将所述Hive表存储至本地数据库。

可选地，在得到Hive表后，终端将Hive表对应的文件格式从电子表格格式转换为电子文档格式(txt格式)，然后进行Hive表中的数据的参数化。

可选地，终端对进行文件格式转换后的Hive表提供有参数化分区服务和非参数化分区服务，并根据所述Hive表中的数据得到目标数据，其中，目标数据包括参数化分区数据和/或非参数化分区数据。

可选地，终端基于参数化分区服务，可以根据所述Hive表中的数据得到参数化分区数据；终端基于非参数化分区服务，可以根据所述Hive表中的数据得到非参数化分区数据。

例如，得到参数化分区数据为：

168849264,3359.0,17.0,${dt},${hm}

得到非参数化分区数据为：

10000006,10017,314,1553,6,2553.0,6,6,0.0038634900193174502,74,29

可选地，终端将Hive表以目标数据的形式存储至本地数据库(即本地服务器)。

可选地，采用JSch调用数据传输接口，以将所述目标数据存储至本地数据库。需要说明的是，JSch是SSH2的一个纯Java实现，JSch允许本地服务连接到一个sshd服务器，使用端口转发，X11转发，文件传输等等。

可选地，终端通过本地生成数据信息，采用JSch提供传输协议API(应用程序接口)，调用数据传输接口将目标数据上传到本地服务器机器存放，对于有分区参数也会在执行过程中替换然后保存到本地服务器。

可选地，终端可以根据具体测试需求所需的hive表数据，定期同步线上数据到线下本地环境，以实现Hive表的定期获取。当然，终端只需指定需要执行定时任务名称，调用封装好定时任务，定时执行步骤S10至步骤S30，即可实现Hive表的定期获取。

在一实施例中，识别Hive程序中的Hive查询语句；根据所述Hive查询语句对应的要求从线上获取数据，生成Hive表；将所述Hive表存储至本地数据库。这样，提高了Hive数据的获取效率。

在第二实施例中，如图3所示，在上述图2所示的实施例基础上，所述将所述目标数据存储至本地数据库的步骤之后，还包括：

步骤S40、获取所述目标数据的存储路径信息，以及所述Hive表对应的表名。

步骤S50、将所述存储路径信息、所述表名和所述目标数据传入待测试Hive对应的测试用例中。

步骤S60、执行所述测试用例，以对所述待测试Hive进行测试。

本实施例中，获取Hive表的目的是要对相应的待测试Hive进行测试。由于Hive表中的数据已经以目标数据的形式存储至本地数据库，因此，待测试Hive对应的测试用例只需得知目标数据对应的存储路径信息，即可实现对目标数据的调用。

需要说明的是，测试用例(Test Case)是指对一项特定的软件产品进行测试任务的描述，体现测试方案、方法、技术和策略。其内容包括测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等，最终形成文档。简单地认为，测试用例是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，用于核实是否满足某个特定软件需求。

可选地，终端在将目标数据存储至本地数据库的同时，记录目标数据的存储路径信息。

可选地，终端将Hive常用的数据操作组织成一个工具类，包括连接池、执行参数化分区数据或非参数化分区数据等。

可选地，终端在执行待测试Hive的测试脚本，调用待测试Hive对应的测试用例前，初始化需要执行Hive表，目标数据的存储路径信息和目标数据等。

可选地，终端获取目标数据对应的Hive表的表名(Hive表名称)，以及目标数据的存储路径信息，然后将存储路径信息、表名和目标数据传入待测试Hive对应的测试用例中。

需要说明的是，待测试Hive对应的测试用例，可以是由测试人员根据待测试Hive的具体测试要求，预先编写设定的。

可选地，在测试用例的入参输入完成后，终端执行测试用例，调用作业，以对待测试Hive进行测试。这时，测试人员或者工程师可以在每个测试用例执行的过程中，登录本地服务器或者本地环境，就可以看到Hive的相关测试过程。

可选地，终端在测试用例执行完毕后，获取所有所述测试用例的测试结果，生成测试报告。

需要说明的是，测试用例利用测试数据对待测试Hive进行测试后，可以得到基于测试数据返回的测试结果。这时，终端获取返回的测试结果，以及测试用例预先设定的目标测试值，生成测试报告并输出。

其中，当测试结果与目标测试值一致时，则终端判定待测试Hive测试通过，并在测试报告中显示判定结果；当测试结果与目标测试值不一致时，则终端判定待测试Hive测试不通过，并在测试报告中显示判定结果。

在一实施例中，获取所述目标数据的存储路径信息，以及所述Hive表对应的表名；将所述存储路径信息、所述表名和所述目标数据传入待测试Hive对应的测试用例中；执行所述测试用例，以对所述待测试Hive进行测试。这样，通过提高Hive数据的获取效率，从而提高了对Hive进行自动化从测试的效率。

此外，本发明还提出一种基于Hive的数据获取装置，所述基于Hive的数据获取装置包括存储器、处理器及存储在存储器上并可在处理器上运行的基于Hive的数据获取程序，所述处理器执行所述基于Hive的数据获取程序时实现如以上实施例所述的基于Hive的数据获取方法的步骤。

此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质包括基于Hive的数据获取程序，所述基于Hive的数据获取程序被处理器执行时实现如以上实施例所述的基于Hive的数据获取方法的步骤。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是可选实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是电视机，手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于Hive的数据获取方法，其特征在于，所述基于Hive的数据获取方法包括以下步骤：

识别Hive程序中的Hive查询语句；

将所述Hive表存储至本地数据库。

2.如权利要求1所述的基于Hive的数据获取方法，其特征在于，所述将所述Hive表存储至本地数据库的步骤包括：

将所述目标数据存储至本地数据库。

3.如权利要求2所述的基于Hive的数据获取方法，其特征在于，所述将所述目标数据存储至本地数据库的步骤之后，还包括：

执行所述测试用例，以对所述待测试Hive进行测试。

4.如权利要求3所述的基于Hive的数据获取方法，其特征在于，所述执行所述测试用例，以对所述待测试Hive进行测试的步骤之后，还包括：

获取所有所述测试用例的测试结果，生成测试报告。

5.如权利要求2-4中任一项所述的基于Hive的数据获取方法，其特征在于，所述将所述目标数据存储至本地数据库的步骤包括：

6.如权利要求1所述的基于Hive的数据获取方法，其特征在于，所述识别Hive程序中的Hive查询语句的步骤之前，还包括：

进行Hive环境部署，并准备Hive表语句。

7.一种基于Hive的数据获取装置，其特征在于，所述基于Hive的数据获取装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于Hive的数据获取程序，所述基于Hive的数据获取程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于Hive的数据获取方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于Hive的数据获取程序，所述基于Hive的数据获取程序被处理器执行时实现如权利要求1至6中任一项所述的基于Hive的数据获取方法的步骤。