CN109254907B - 一种基于Java的接口测试报告生成方法及*** - Google Patents

Abstract

本发明涉及一种基于Java的接口测试报告生成方法及***。所述方法包括：S1，针对接口定义类注解@TestInterface，针对单个测试用例定义方法注解@TestMethod，@TestInterface和@TestMethod包括反映测试报告信息的若干参数；S2，将@TestInterface和@TestMethod添加到测试用例，在执行测试用例之前获取当前执行的测试用例@TestMethod以及其所处测试类的@TestInterface，解析@TestInterface和@TestMethod获取其反映测试报告信息的参数存入缓存；S3，执行测试用例，将测试结果存入缓存；S4，根据缓存中的信息生成测试报告。所述***包括注解添加模块，注解运用模块，测试用例执行模块和测试报告生成模块。本发明将测试报告信息从测试用例中分离到注解中，使测试报告逻辑与测试脚本逻辑分离。

Description

一种基于Java的接口测试报告生成方法及***

技术领域

本发明涉及软件接口测试领域，尤其涉及一种基于Java的接口测试报告生成方法及***。

背景技术

在IT的范畴内，接口的概念主要是子***间交互并相互作用的部分。软件接口从形式上来看各种应用程序的API，硬件的驱动程序，数据库***的访问接口，http rest接口。虽然接口的形式各有不同，但是从测试角度来说，需要测试的内容大致是相同的。接口测试属于功能测试，也可以看做是需要了解部分代码的灰盒测试。测试流程是：1.根据接口文档编写测试用例(用例编写方法完全可以按照黑盒测试的用例编写规则来编写，如：边界值、正交表等等设计方法)；2.执行测试，查看接口返回的接口数据是否正确，主要检查返回的接口是否和接口文档中定义的一样。

同时，接口测试相对容易实现自动化持续集成，且相对UI自动化也比较稳定，可以减少人工回归测试人力成本与时间，缩短测试周期，具有很高的收益付出比。接口测试报告对自动化持续集成具有重要意义，测试报告是对测试过程和结果的直观反馈，测试报告体现了接口测试覆盖率、接口通过率等信息，对体现接口的鲁棒性和测试用例持续更新具有指导意义。

接口测试报告常见指标包括接口覆盖率、接口成功率、接口覆盖深度、接口测试用例详情等，目前常见的生成测试报告的方案包括以下两种：

方案一，通过在测试框架中集成代码覆盖率工具，通过生成的代码覆盖率计算接口覆盖率。代码覆盖率是为了统计被测程序的逻辑分支代码的执行情况，即被执行代码逻辑相对所有代码的比例。通过在junit4中集成jacoco工具获取代码覆盖率报告，再根据代码覆盖率计算接口覆盖率。例如有A、B两个接口(实际可能有上百个)，接口源代码逻辑分为S1、S2、S3、S4等4处，A接口和逻辑S1是对等关系(调用A接口则一定会执行S1，此外，调用其他接口一定不会执行S1)，B接口和逻辑S2是对等关系，因此S1、S2两处代码的覆盖率与接口覆盖率相等。如果通过jacoco获取代码覆盖率为50％，并且分别是S1和S3被覆盖，则接口测试率为50％，只有A接口被覆盖。

具体实现过程如下：

第一步，执行完毕自动化测试，通过jacoco统计得到全部代码覆盖率；

第二步，寻找被测试的接口的关键逻辑代码，这部分关键逻辑代码一定是当前接口一定会执行的，并且其他接口一定不会执行，关键逻辑代码等于接口覆盖率。

第三步，从第一步得到的代码覆盖率统计中，提取出关键逻辑代码的覆盖率，即接口覆盖率。

方案一具有以下不足：

a.提取关键代码的覆盖率，“提取”这个过程是需要手动去完成的，并且关键逻辑代码可能随着版本变更被修改，加大了维护成本。

b.虽然有了接口覆盖率，以及通过自动化测试框架获取接口测试成功率，但是剩下的指标例如接口覆盖深度、接口测试细节流程等是没法得到的，功能实现度有限。

c.代码统计率仅适用于基于源码的软件Api测试场景，对于黑盒测试、http Rest接口测试并不适用，通用性较差。

方案二，通过在测试用例脚本中加入测试报告逻辑，使得测试用例执行时，将需要报告的内容记录下来，并在所有测试执行完成之后，通过已记录的信息，生成最终的测试报告文件。

方案二具有以下不足：

a.每个测试用例都需要修改逻辑，此方案前期成本很大。

b.测试逻辑和测试报告逻辑耦合紧密，测试用例维护成本高。

c.如果需要增加测试报告指标，则会牵一发动全身，不易扩展。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于Java的接口测试报告生成方法及***。能够基于Junit4框架进行接口测试，利用Java自定义注解技术，将测试报告信息从测试用例中分离到注解中，使测试报告逻辑与测试脚本逻辑分离，实现了自定义测试报告功能，具有灵活、高效、成本低的优势。对被测试的每个接口新建一个测试类，每种正常、异常的测试用例是这个测试类的一个方法，对于被测试接口的测试类，定义类注解，对于测试用例，定义方法注解，每个注解可以包含多个注解参数，自定义注解在定义的时候确定参数个数和类型，在使用时对每个参数设值，根据测试报告中所需要体现的指标定义参数，使本发明具备优良的扩展性。

为了实现上述的目的，本申请的实施例是这样实现的：

本申请实施例提供的一种基于Java的接口测试报告生成方法，所述方法包括：

S1，针对接口定义类注解@TestInterface，针对单个测试用例定义方法注解@TestMethod，@TestInterface和@TestMethod包括反映测试报告信息的若干参数；

S2，将@TestInterface和@TestMethod添加到测试用例，在执行测试用例之前获取当前执行的测试用例@TestMethod以及其所处测试类的@TestInterface，解析@TestInterface和@TestMethod获取其反映测试报告信息的参数存入缓存；

S3，执行测试用例，将测试结果存入缓存；

S4，根据缓存中的信息生成测试报告。

作为优选技术方案，所述S2包括：

将@TestInterface和@TestMethod添加到测试用例；

利用Junit4的@Rule注解功能，定义MyRule实现MethodRule接口；

定义MyRule的apply()方法，apply()方法包含参数Description，Description包含当前测试用例和测试类的信息，apply()方法执行从Description中获取当前执行的测试用例@TestMethod注解以及其所处测试类的@TestInterface。

在测试用例类中声明MyRule，这样在每个测试用例执行之前，Junit4会自动执行MyRule的apply方法。

作为优选技术方案，所述S3包括，

增加一个Java基类BaseTest，BaseTest封装断言方法，在断言方法中将测试结果存入缓存；

利用Junit4的@Rule注解功能，定义MyRule实现MethodRule接口；

定义MyRule的apply()方法，在apply()方法中让测试类继承BaseTest；

在测试用例类中声明MyRule，这样在每个测试用例执行之前，Junit4会自动执行MyRule的apply方法。

作为优选技术方案，所述S4包括：

将缓存中的所有测试信息写入测试报告文件生成详细的测试报告；

提取缓存中记录的部分信息，根据相应的计算公式计算得到测试覆盖率、测试通过率生成简要的测试报告；

将测试报告文件遵循预设的文件格式规范进行存储。

作为优选技术方案，利用Jenkins持续集成工具执行所述方法。

作为优选技术方案，使用html格式保存测试报告，并通过Jenkins自动发送测试报告邮件。

本申请实施例提供的一种基于Java的接口测试报告生成***，所述***包括：

注解添加模块，用于针对接口定义类注解@TestInterface，针对单个测试用例定义方法注解@TestMethod，@TestInterface和@TestMethod包括反映测试报告信息的若干参数；

注解运用模块，用于将@TestInterface和@TestMethod添加到测试用例，在执行测试用例之前获取当前执行的测试用例@TestMethod以及其所处测试类的@TestInterface，解析@TestInterface和@TestMethod获取其反映测试报告信息的参数存入缓存；

测试用例执行模块，用于执行测试用例，将测试结果存入缓存；

测试报告生成模块，用于根据缓存中的信息生成测试报告。

本发明具有以下有益效果：

1.报告生成全部自动完成，无须手动干预，维护成本低；

2.测试报告包含接口覆盖率、接口成功率、接口覆盖深度、接口测试细节流程等指标，报告功能完整；

3.如果新增指标，通过增加注解参数即可实现，扩展性强、灵活度高；

4.支持多种接口测试场景，可以是Java程序Api测试、Android程序Api以及HttpRest等，通用性强；

5.不需修改测试用例脚本，成本低；

6.测试脚本没有和其他功能逻辑耦合，易于维护；

7.测试报告指标扩展简单。

附图说明

图1为本发明方法的流程图。

图2为本发明方法中测试用例执行流程图。

图3为本发明***的功能模块框图。

具体实施方式

下面结合附图对本专利的优选实施方案作进一步详细的说明。

如图1和图2所示的一种基于Java的接口测试报告生成方法，该方法可以包括以下步骤：

S1，针对接口定义类注解@TestInterface，针对单个测试用例定义方法注解@TestMethod，@TestInterface和@TestMethod包括反映测试报告信息的若干参数。

Java注解是一种代码级别的说明，是附加在代码中的一些元信息，用于一些工具在编译、运行时进行解析和使用，起到说明、配置的功能。常用的有方法(函数)的注解和类的注解，可以简单理解成对类、方法的一种代码形式的注释，注解的一个优点是不会也不能影响代码的实际逻辑，仅仅起到辅助性的作用。每个注解可以包含多个注解参数，自定义注解在定义的时候确定参数个数和类型，在使用时对每个参数设值。

本发明在实际测试中，测试脚本遵循如下规范，对被测试的每个接口新建一个测试类，每种正常、异常的测试用例是这个测试类的一个方法。

本发明自定义两个注解@TestInterface和@TestMethod：@TestInterface为类注解，针对接口，包含两个参数，分别为接口名称intefaceName、接口说明信息interfaceInfo；@TestMethod为方法注解，针对单个测试用例，包含两个参数，分别为接口目标返回码code、测试用例步骤说明stepInfo，描述测试用例场景和步骤。如果新增测试报告指标，当前注解参数无法满足需求，可以对@TestInterface、@TestMethod添加参数进行扩展。

S2，将@TestInterface和@TestMethod添加到测试用例，在执行测试用例之前获取当前执行的测试用例@TestMethod以及其所处测试类的@TestInterface，解析@TestInterface和@TestMethod获取其反映测试报告信息的参数存入缓存。

S2可以按以下步骤执行：

首先，将@TestInterface和@TestMethod添加到测试用例；例如，在接口函数之前添加“@TestInterface(intefaceName＝“xxx”,interfaceInfo＝“xxx”)”，在接口函数下的每个测试用例之前添加“@TestMethod(code＝“xxx”,stepInfo＝“xxx”)”。在这一步骤执行完之后，测试报告信息已经完全从测试用例中分离到注解中了，下述步骤要解决的是，如何对注解中的信息进行解析使其生效。

Junit4自身一大特点是具有丰富的注解，对于测试用例的生命周期管理具有重要的作用，本发明利用Junit4的@Rule注解功能，定义MyRule实现MethodRule接口。

然后，定义MyRule的apply()方法，apply()方法包含参数Description，Description包含当前测试用例和测试类的信息，apply()方法执行从Description中获取当前执行的测试用例@TestMethod注解以及其所处测试类的@TestInterface。

然后，在测试用例类中声明MyRule，这样在每个测试用例执行之前，Junit4会自动执行MyRule的apply()方法。此时便可获取此测试用例对应的intefaceName、interfaceInfo、code、stepInfo等信息。

S3，执行测试用例，将测试结果存入缓存。

为了方便将测试结果存入缓存，优选为S3包括以下步骤：

增加一个Java基类BaseTest，BaseTest封装断言方法，在断言方法中将测试结果存入缓存；

利用Junit4的@Rule注解功能，定义MyRule实现MethodRule接口；

定义MyRule的apply()方法，在apply()方法中让测试类继承BaseTest；

在测试用例类中声明MyRule，这样在每个测试用例执行之前，Junit4会自动执行MyRule的apply()方法。

上述S3可以整合到S2中，详细执行流程如图2所示，首先，声明Junit4Rule属性，利用Rule特性在测试用例方法执行之前将其“拦截”，获取当前测试类、测试方法、类注解@TestInterface和方法注解@TestMethod；从上一步获取到的注解中，解析注解参数值，获取注解中设置的intefaceName、interfaceInfo、code、stepInfo等信息，存入缓存；开始执行测试脚本，获得执行结果；在BaseTest的断言方法，将测试结果存入缓存。

S4，根据缓存中的信息生成测试报告。

当所有的测试用例执行完毕之后，所有的测试信息已经存放在缓存中，可以将这些信息全部写入测试报告文件，生成一份详细的测试报告，测试用例覆盖深度和测试详细步骤均体现在此报告中。详细报告如表1所示：

表1详细的测试报告示例

同时还需要计算测试覆盖率、测试通过率等信息，生成一份简要的测试报告。缓存中记录了所有被测试的接口，只需要知道全部接口信息即可计算接口覆盖率。获取全部接口信息方法有很多种，例如事先手动输入到文件中，每次测试完毕后读取该文件即可。计算测试通过率将缓存中记录的测试通过的用例数量除以总的测试用例数量即可。精要测试报告如表2所示：

测试接口覆盖率	xxx
		测试通过率	xxx
未覆盖接口名称	xxx……
		测试未通过接口名称	xxx……

表2简要的测试报告示例

常见报告文件格式有html、markdown、xml等，本发明支持上述三种文件格式，并支持扩展。使用html优势是便于集成到邮件***，或者上传到web服务器，这两种方式查看测试报告极为方便，因此***默认选择html格式。如果需要加入新的格式，则可以通过扩展本***实现，增加新格式的规范即可。

优选为本发明利用Jenkins持续集成工具，实现持续集成自动化接口测试、生成测试报告并自动邮件发送相关人员。

Jenkins执行流程如下：

第一步，利用ant/maven等构建工具，构建测试工程。

第二步，启动并执行自动化测试。

第三步，所以测试用例执行完毕并已经生成了测试报告，从指定目录获取到html格式测试报告，并将测试报告通过邮件发送给相关人员。

所有具体配置可以参照jenkins文档说明，此处不是本发明重点，不做详细介绍。

本发明基于Junit4框架进行接口测试，利用Java自定义注解技术，将测试报告逻辑与测试脚本逻辑分离，实现了自定义测试报告功能，具有灵活、高效、成本低的优势，并具备优良的扩展性。并且使用html格式保存测试报告，并通过Jenkins自动发送测试报告邮件。

如图3所示的一种基于Java的接口测试报告生成***，该***包括：

注解添加模块31，用于针对接口定义类注解@TestInterface，针对单个测试用例定义方法注解@TestMethod，@TestInterface和@TestMethod包括反映测试报告信息的若干参数；

注解运用模块32，用于将@TestInterface和@TestMethod添加到测试用例，在执行测试用例之前获取当前执行的测试用例@TestMethod以及其所处测试类的@TestInterface，解析@TestInterface和@TestMethod获取其反映测试报告信息的参数存入缓存；

测试用例执行模块33，用于执行测试用例，将测试结果存入缓存；

测试报告生成模块34，用于根据缓存中的信息生成测试报告。

Claims (7)

1.一种基于Java的接口测试报告生成方法，其特征在于，包括：

S1，针对接口定义类注解@TestInterface，针对单个测试用例定义方法注解@TestMethod，@TestInterface和@TestMethod包括反映测试报告信息的若干参数；

S2，将@TestInterface和@TestMethod添加到测试用例，在执行测试用例之前获取当前执行的测试用例@TestMethod以及其所处测试类的@TestInterface，解析@TestInterface和@TestMethod获取其反映测试报告信息的参数存入缓存；

S3，执行测试用例，将测试结果存入缓存；

S4，根据缓存中的信息生成测试报告。

2.根据权利要求1所述的一种基于Java的接口测试报告生成方法，其特征在于，所述S2包括：

将@TestInterface和@TestMethod添加到测试用例；

利用Junit4的@Rule注解功能，定义MyRule实现MethodRule接口；

定义MyRule的apply()方法，apply()方法包含参数Description，Description包含当前测试用例和测试类的信息，apply()方法执行从Description中获取当前执行的测试用例@TestMethod注解以及其所处测试类的@TestInterface；

在测试用例类中声明MyRule，这样在每个测试用例执行之前，Junit4会自动执行MyRule的apply()方法。

3.根据权利要求1所述的一种基于Java的接口测试报告生成方法，其特征在于，所述S3包括，

增加一个Java基类BaseTest，BaseTest封装断言方法，在断言方法中将测试结果存入缓存；

利用Junit4的@Rule注解功能，定义MyRule实现MethodRule接口；

定义MyRule的apply()方法，在apply()方法中让测试类继承BaseTest；

在测试用例类中声明MyRule，这样在每个测试用例执行之前，Junit4会自动执行MyRule的apply()方法。

4.根据权利要求1所述的一种基于Java的接口测试报告生成方法，其特征在于，所述S4包括：

将缓存中的所有测试信息写入测试报告文件生成详细的测试报告；

提取缓存中记录的部分信息，根据相应的计算公式计算得到测试覆盖率、测试通过率生成简要的测试报告；

将测试报告文件遵循预设的文件格式规范进行存储。

5.根据权利要求1所述的一种基于Java的接口测试报告生成方法，其特征在于，利用Jenkins持续集成工具执行所述方法。

6.根据权利要求5所述的一种基于Java的接口测试报告生成方法，其特征在于，使用html格式保存测试报告，并通过Jenkins自动发送测试报告邮件。

7.一种基于Java的接口测试报告生成***，其特征在于，包括：

注解添加模块，用于针对接口定义类注解@TestInterface，针对单个测试用例定义方法注解@TestMethod，@TestInterface和@TestMethod包括反映测试报告信息的若干参数；

注解运用模块，用于将@TestInterface和@TestMethod添加到测试用例，在执行测试用例之前获取当前执行的测试用例@TestMethod以及其所处测试类的@TestInterface，解析@TestInterface和@TestMethod获取其反映测试报告信息的参数存入缓存；

测试用例执行模块，用于执行测试用例，将测试结果存入缓存；

测试报告生成模块，用于根据缓存中的信息生成测试报告。

Images