CN112732322A - 数据验证方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本申请提供了一种数据验证方法、装置、电子设备及计算机存储介质。该数据验证方法，包括：获取接口数据文件；在使用持续集成工具定时触发的情况下，利用数据分析包工具对接口数据文件进行验证。根据本申请实施例，能够提高数据验证效率。

Description

数据验证方法、装置、电子设备及计算机存储介质

技术领域

本申请属于数据验证技术领域，尤其涉及一种数据验证方法、装置、电子设备及计算机存储介质。

背景技术

随着大数据技术的发展，对大数据的需求及应用场景逐渐增强，对于生成的数据验证需求也日益增加。目前，以人工验证为主，但越来越多的场景都需要每日定时生成相关数据，对于此类任务，使用人工验证难以保证每日及时验证，且验证的重复性高，效率不高。

因此，如何提高数据验证效率是本领域技术人员亟需解决的技术问题。

发明内容

本申请实施例提供一种数据验证方法、装置、电子设备及计算机存储介质，能够提高数据验证效率。

第一方面，本申请实施例提供一种数据验证方法，包括：获取接口数据文件；在使用持续集成工具定时触发的情况下，利用数据分析包工具对接口数据文件进行验证。

可选的，持续集成工具为Jenkins，数据分析包工具为pandas；在使用持续集成工具定时触发的情况下，利用数据分析包工具对接口数据文件进行验证，包括：在使用Jenkins定时触发的情况下，利用pandas编写多个测试点；利用多个测试点对接口数据文件进行验证。

可选的，在使用持续集成工具定时触发的情况下，利用数据分析包工具对接口数据文件进行验证之后，方法还包括：利用pytest和allure生成测试报告。

可选的，获取接口数据文件，包括：通过接口下载json数据文件。

第二方面，本申请实施例提供了一种数据验证装置，包括：获取模块，用于获取接口数据文件；验证模块，用于在使用持续集成工具定时触发的情况下，利用数据分析包工具对接口数据文件进行验证。

可选的，持续集成工具为Jenkins，数据分析包工具为pandas；验证模块，包括：编写单元，用于在使用Jenkins定时触发的情况下，利用pandas编写多个测试点；验证单元，用于利用多个测试点对接口数据文件进行验证。

可选的，装置还包括：生成模块，用于利用pytest和allure生成测试报告。

可选的，获取模块，包括：获取单元，用于通过接口下载json数据文件。

第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如第一方面所示的数据验证方法。

第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的数据验证方法。

本申请实施例的数据验证方法、装置、电子设备及计算机存储介质，能够提高数据验证效率。该数据验证方法，获取接口数据文件；在使用持续集成工具定时触发的情况下，利用数据分析包工具对接口数据文件进行验证，能够提高数据验证效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的数据验证方法的流程示意图。

图2是本申请另一个实施例提供的数据验证方法的流程示意图。

图3是本申请一个实施例提供的python和pandas代码处理流程示意图。

图4是本申请一个实施例提供的数据验证装置的结构示意图。

图5是本申请一个实施例提供的电子设备的结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

随着大数据技术的发展，对大数据的需求及应用场景逐渐增强，对于生成的数据验证需求也日益增加。目前，以人工验证为主，但越来越多的场景都需要每日定时生成相关数据，对于此类任务，使用人工验证难以保证每日及时验证，且验证的重复性高，效率不高。

为了解决现有技术问题，本申请实施例提供了一种数据验证方法、装置、设备及计算机存储介质。下面首先对本申请实施例所提供的数据验证方法进行介绍。

图1示出了本申请一个实施例提供的数据验证方法的流程示意图。如图1所示，该数据验证方法，包括：S101、获取接口数据文件。

在一个实施例中，获取接口数据文件，包括：通过接口下载JavaScript 对象简谱（JavaScript Object Notation，json）数据文件。

S102、在使用持续集成工具定时触发的情况下，利用数据分析包工具对接口数据文件进行验证。

在一个实施例中，持续集成工具为Jenkins，数据分析包工具为pandas；在使用持续集成工具定时触发的情况下，利用数据分析包工具对接口数据文件进行验证，包括：在使用Jenkins定时触发的情况下，利用pandas编写多个测试点；利用多个测试点对接口数据文件进行验证。

在一个实施例中，在使用持续集成工具定时触发的情况下，利用数据分析包工具对接口数据文件进行验证之后，方法还包括：利用pytest和allure生成测试报告。其中，pytest是一种测试工具，allure是一种测试报告工具。

该数据验证方法，先是获取接口数据文件，然后在使用持续集成工具定时触发的情况下，利用数据分析包工具对接口数据文件进行验证，能够提高数据验证效率。

下面以一个实施例对上述技术方案进行具体说明。

如图2所示，该数据验证方法包括：使用python和pandas编写代码，验证接口数据；将代码上传到gitlab；Jenkins定时调用python脚本；生成测试报告，并在Jenkins上展示；执行完毕后发送邮件。

其中，python和pandas代码处理详解如下：实现思路：通过接口下载json数据文件；将文件读入pandas；验证文件(根据实际需求设计测试用例，并使用pandas做数据验证)。

具体流程如图3所示，调用接口获取返回内容，判断接口状态码是否为200，若接口状态码不是200，则接口调用失败，判定验证失败；若接口状态码是200，则判断返回内容中是否有status=500的记录，若返回内容中有status=500的记录，则验证失败；若返回内容中没有status=500的记录，则将数据读入Pandas dataframe，根据测试用例逐个验证结果，生成结果报告。

本实施例在每日定时生成单文件数据接口基础上，每日定时自动化验证文件数据的过程中，并未采用传统的仅对接口功能测试的方法。因为对于主要内容是返回数据结果的接口，除了接口功能测试以外还需要针对数据内容进行测试。而传统的仅对接口功能测试的方法，不仅不能对数据内容进行测试，而且需要大量的代码实现，耗费大量的时间和精力。

本实施例对于每日定时生成的接口数据文件，使用Jenkins定时触发，使得验证周期得以保证，且每日可以及时验证数据，使用pandas进行数据验证，可以快速编写测试点，且只需加载一次数据即可进行多个验证点的数据验证。最后，还可以使用pytest和allure生成测试报告及相关明细，便于测试结果的查看、共享及存储。

如图4所示，本申请实施例还提供一种数据验证装置，包括：获取模块401，用于获取接口数据文件；验证模块402，用于在使用持续集成工具定时触发的情况下，利用数据分析包工具对接口数据文件进行验证。

在一个实施例中，持续集成工具为Jenkins，数据分析包工具为pandas；验证模块402，包括：编写单元，用于在使用Jenkins定时触发的情况下，利用pandas编写多个测试点；验证单元，用于利用多个测试点对接口数据文件进行验证。

在一个实施例中，该装置还包括：生成模块，用于利用pytest和allure生成测试报告。

在一个实施例中，获取模块401，包括：获取单元，用于通过接口下载json数据文件。

图4所示装置中的各个模块/单元具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。

图5示出了本申请实施例提供的电子设备的结构示意图。

电子设备可以包括处理器501以及存储有计算机程序指令的存储器502。

具体地，上述处理器501可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit ，ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器502可在电子设备的内部或外部。在特定实施例中，存储器502可以是非易失性固态存储器。

在一个实例中，存储器502可以是只读存储器（Read Only Memory，ROM）。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、电可改写ROM（EAROM）或闪存或者两个或更多个以上这些的组合。

处理器501通过读取并执行存储器502中存储的计算机程序指令，以实现上述实施例中的任意一种数据验证方法。

在一个示例中，电子设备还可包括通信接口503和总线510。其中，如图5所示，处理器501、存储器502、通信接口503通过总线510连接并完成相互间的通信。

通信接口503，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线510包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、***组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线510可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

另外，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据验证方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本申请的实施例的方法、装置（***）和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种数据验证方法，其特征在于，包括：

获取接口数据文件；

在使用持续集成工具定时触发的情况下，利用数据分析包工具对所述接口数据文件进行验证。

2.根据权利要求1所述的数据验证方法，其特征在于，所述持续集成工具为Jenkins，所述数据分析包工具为pandas；所述在使用持续集成工具定时触发的情况下，利用数据分析包工具对所述接口数据文件进行验证，包括：

在使用Jenkins定时触发的情况下，利用pandas编写多个测试点；

利用多个所述测试点对所述接口数据文件进行验证。

3.根据权利要求1所述的数据验证方法，其特征在于，所述在使用持续集成工具定时触发的情况下，利用数据分析包工具对所述接口数据文件进行验证之后，所述方法还包括：

利用pytest和allure生成测试报告。

4.根据权利要求1所述的数据验证方法，其特征在于，所述获取接口数据文件，包括：

通过接口下载json数据文件。

5.一种数据验证装置，其特征在于，包括：

获取模块，用于获取接口数据文件；

验证模块，用于在使用持续集成工具定时触发的情况下，利用数据分析包工具对所述接口数据文件进行验证。

6.根据权利要求5所述的数据验证装置，其特征在于，所述持续集成工具为Jenkins，所述数据分析包工具为pandas；所述验证模块，包括：

编写单元，用于在使用Jenkins定时触发的情况下，利用pandas编写多个测试点；

验证单元，用于利用多个所述测试点对所述接口数据文件进行验证。

7.根据权利要求5所述的数据验证装置，其特征在于，所述装置还包括：

生成模块，用于利用pytest和allure生成测试报告。

8.根据权利要求5所述的数据验证装置，其特征在于，所述获取模块，包括：

获取单元，用于通过接口下载json数据文件。

9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-4任意一项所述的数据验证方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-4任意一项所述的数据验证方法。

Images