CN105718371B

CN105718371B - 一种回归测试方法、装置及***

Info

Publication number: CN105718371B
Application number: CN201610042327.4A
Authority: CN
Inventors: 黄秋萍; 黄国勇
Original assignee: Shenzhen Pango Microsystems Co Ltd
Current assignee: Shenzhen Pango Microsystems Co Ltd
Priority date: 2016-01-21
Filing date: 2016-01-21
Publication date: 2019-01-11
Anticipated expiration: 2036-01-21
Also published as: CN105718371A

Abstract

本发明提供了一种回归测试方法、装置及***，该方法包括：根据回归测试计划生成测试任务；从测试用例库中查找与测试任务对应的测试项目文件；测试项目文件包括实现测试任务需运行的测试组文件；测试组文件包括测试用例对应的测试规格文件；调用与测试组文件中各测试规格文件对应的测试用例，根据各测试规格文件配置对应测试用例,进行回归测试；管理回归测试的测试结果。通过本发明的实施，该回归测试方法由设备自动运行，实现便利的测试用例维护、大规模的测试用例执行，同时兼顾调试的灵活性、简易性、实时性以及维护的便利性的目的，提高开发和测试效率，解决了现有回归测试存在的效率低下、时间代价大、人力代价大的问题。

Description

一种回归测试方法、装置及***

技术领域

本发明涉及回归测试领域，尤其涉及一种回归测试方法、装置及***。

背景技术

随着计算机应用的不断扩大，软件功能越来越强大，规模也日趋复杂，因此保证软件质量、提高软件可靠性成为软件开发中的重要环节，是决定软件成败的关键因素。

在软件生命周期中的任何一个阶段，只要软件发生了改变，就可能给软件带来问题，当软件中所含错误被发现时，如果错误跟踪与管理***不够完善，可能会遗漏对这些错误的修改；在有新代码加入软件的时候，除了新加入的代码中可能含有错误外，新代码还有可能对原有的代码带来影响。因此，当软件有发生变化的时候，必须重新测试现有的全部功能，以便确定现有修改是否达到了预期目的，检查修改是否损害了原有的正常功能，这就是回归测试。

回归测试是软件测试的重要组成部分，贯穿于软件测试的各个阶段。现有回归测试是用户手工测试，效率低下、时间代价大、人力代价大，不能满足测试需求。

因此，本领域技术人员亟待提供一种回归测试方法，以解决现有回归测试存在的效率低下、时间代价大、人力代价大的技术问题。

发明内容

本发明提供了一种回归测试方法、装置及***，以解决现有回归测试存在的效率低下、时间代价大、人力代价大的问题。

本发明提供了一种回归测试方法，其包括：

根据回归测试计划生成测试任务；

从测试用例库中查找与测试任务对应的测试项目文件；测试项目文件包括实现测试任务需运行的测试组文件；测试组文件用于实现特定测试目的,包括实现特定测试目的测试用例对应的测试规格文件；测试规格文件用于存储对应测试用例的配置参数；

调用测试用例库存储的与测试组文件中各测试规格文件对应的测试用例，根据各测试规格文件配置对应测试用例,进行回归测试；

管理回归测试的测试结果。

进一步的，执行测试用例包括：按照测试规格文件的配置参数，执行该测试规格文件对应的测试用例；将该测试用例的执行结果与测试规格文件的标准执行结果进行比较，符合测试要求，该测试用例执行通过，否则执行失败。

进一步的，执行测试用例还包括：在测试用例执行失败时，读取错误信息。

进一步的，执行测试用例还包括：在至少一个设备上并行执行测试用例。

进一步的，执行测试用例还包括：在执行测试用例时，检测是否存在中断的测试用例，若存在，则执行中断的测试用例。

进一步的，根据回归测试计划生成测试任务包括：根据设置检测最新代码，生成回归测试计划，根据回归测试计划，生成并执行测试任务。

进一步的，管理回归测试的测试结果包括：发送执行失败的测试用例及对应的错误信息。

进一步的，还包括：若未从测试用例库中查找到与测试任务对应的测试项目文件,在测试用例库中调用实现测试任务需运行的测试组文件，生成测试项目文件。

进一步的，还包括：在修正测试用例时，根据用户操作修改该测试用例对应的测试规格文件。

本发明提供了一种回归测试装置，其包括：

生成模块，用于根据回归测试计划生成测试任务；

查找模块，用于从测试用例库中查找与测试任务对应的测试项目文件；测试项目文件包括实现测试任务需运行的测试组文件；测试组文件用于实现特定测试目的,包括实现特定测试目的测试用例对应的测试规格文件；测试规格文件用于存储对应测试用例的配置参数；

执行模块，用于调用测试用例库存储的与测试组文件中各测试规格文件对应的测试用例，根据各测试规格文件配置对应测试用例,进行回归测试；

管理模块，用于管理回归测试的测试结果。

进一步的，执行模块用于按照测试规格文件的配置参数，执行该测试规格文件对应的测试用例；将该测试用例的执行结果与测试规格文件的标准执行结果进行比较，符合测试要求，该测试用例执行通过，否则执行失败。

进一步的，执行模块用于在测试用例执行失败时，读取错误信息。

进一步的，执行模块用于在至少一个设备上并行执行测试用例。

进一步的，执行模块用于在执行测试用例时，检测是否存在中断的测试用例，若存在，则执行中断的测试用例。

进一步的，生成模块用于根据设置检测最新代码，生成回归测试计划，根据回归测试计划，生成并执行测试任务。

进一步的，管理模块用于发送执行失败的测试用例及对应的错误信息。

进一步的，查找模块还用于若未从测试用例库中查找到与测试任务对应的测试项目文件,在测试用例库中调用实现测试任务需运行的测试组文件，生成测试项目文件。

进一步的，还包括修正模块，用于在修正测试用例时，根据用户操作修改该测试用例对应的测试规格文件。

本发明提供了一种回归测试***，其包括本发明提供的回归测试装置，以及测试用例库，测试用例库用于存储：测试用例及对应的用于存储测试用例配置参数的测试规格文件，由实现指定测试目的的测试用例对应的测试规格文件组成的测试组文件，由实现测试任务需要运行的测试组文件组成测试项目文件。

本发明的有益效果：

本发明提供了一种回归测试方法，该回归测试方法由设备自动运行，实现便利的测试用例维护、大规模的测试用例执行，同时兼顾调试的灵活性、简易性、实时性以及维护的便利性的目的，提高开发和测试效率，解决了现有回归测试存在的效率低下、时间代价大、人力代价大的问题。进一步的，测试用例库分为3个层次，执行测试时，从顶层开始，层层调用，直至底层每个具体的测试用例，极大地方便了测试用例库的维护。

附图说明

图1为本发明第一实施例提供的回归测试***的结构示意图；

图2为本发明第二实施例提供的回归测试方法的流程图；

图3为本发明第三实施例中回归测试***的结构示意图；

图4为本发明第三实施例中测试用例库的存储结构示意图。

具体实施方式

现通过具体实施方式结合附图的方式对本发明做出进一步的诠释说明。

第一实施例：

图1为本发明第一实施例提供的回归测试***的结构示意图，由图1可知，在本实施例中，本发明提供的回归测试***包括：回归测试装置1以及测试用例库2，测试用例库2用于存储：测试用例及对应的用于存储测试用例配置参数的测试规格文件，由实现指定测试目的的测试用例对应的测试规格文件组成的测试组文件，由实现测试任务需要运行的测试组文件组成测试项目文件；回归测试装置1用于根据回归测试计划生成测试任务，从测试用例库中查找与测试任务对应的测试项目文件，调用测试用例库存储的与测试组文件中各测试规格文件对应的测试用例，根据各测试规格文件配置对应测试用例,进行回归测试，管理回归测试的测试结果；其中，测试项目文件包括实现测试任务需运行的测试组文件；测试组文件用于实现特定测试目的,包括实现特定测试目的测试用例对应的测试规格文件；测试规格文件用于存储对应测试用例的配置参数。

如图1所示，在一些实施例中，上述实施例中的本发明提供的回归测试装置1包括：

生成模块11，用于根据回归测试计划生成测试任务；

查找模块12，用于从测试用例库中查找与测试任务对应的测试项目文件；测试项目文件包括实现测试任务需运行的测试组文件；测试组文件用于实现特定测试目的,包括实现特定测试目的测试用例对应的测试规格文件；测试规格文件用于存储对应测试用例的配置参数；

执行模块13，用于调用测试用例库存储的与测试组文件中各测试规格文件对应的测试用例，根据各测试规格文件配置对应测试用例,进行回归测试；

管理模块14，用于管理回归测试的测试结果。

在一些实施例中，上述实施例中的执行模块13用于按照测试规格文件的配置参数，执行该测试规格文件对应的测试用例；将该测试用例的执行结果与测试规格文件的标准执行结果进行比较，符合测试要求，该测试用例执行通过，否则执行失败。

在一些实施例中，上述实施例中的执行模块13用于在测试用例执行失败时，读取错误信息。

在一些实施例中，上述实施例中的执行模块13用于在至少一个设备上并行执行测试用例。

在一些实施例中，上述实施例中的执行模块13用于在执行测试用例时，检测是否存在中断的测试用例，若存在，则执行中断的测试用例。

在一些实施例中，上述实施例中的生成模块11用于根据设置检测最新代码，生成回归测试计划，根据回归测试计划，生成并执行测试任务。

在一些实施例中，上述实施例中的管理模块14用于发送执行失败的测试用例及对应的错误信息。

在一些实施例中，上述实施例中的查找模块12还用于若未从测试用例库中查找到与测试任务对应的测试项目文件,在测试用例库中调用实现测试任务需运行的测试组文件，生成测试项目文件。这样后期进行相同测试计划时，不用重新生成测试项目文件。

在一些实施例中，上述实施例中的回归测试装置1还包括修正模块，用于在修正测试用例时，根据用户操作修改该测试用例对应的测试规格文件。

第二实施例：

图2为本发明第二实施例提供的回归测试方法的流程图，由图2可知，在本实施例中，本发明提供的回归测试方法包括：

S201：根据回归测试计划生成测试任务；

S202：从测试用例库中查找与测试任务对应的测试项目文件；测试项目文件包括实现测试任务需运行的测试组文件；测试组文件用于实现特定测试目的,包括实现特定测试目的测试用例对应的测试规格文件；测试规格文件用于存储对应测试用例的配置参数；

S203：调用测试用例库存储的与测试组文件中各测试规格文件对应的测试用例，根据各测试规格文件配置对应测试用例,进行回归测试；

S204：管理回归测试的测试结果。

在一些实施例中，上述实施例中的执行测试用例包括：按照测试规格文件的配置参数，执行该测试规格文件对应的测试用例；将该测试用例的执行结果与测试规格文件的标准执行结果进行比较，符合测试要求，该测试用例执行通过，否则执行失败。

在一些实施例中，上述实施例中的执行测试用例还包括：在测试用例执行失败时，读取错误信息。

在一些实施例中，上述实施例中的执行测试用例还包括：在至少一个设备上并行执行测试用例。

在一些实施例中，上述实施例中的执行测试用例还包括：在执行测试用例时，检测是否存在中断的测试用例，若存在，则执行中断的测试用例。

在一些实施例中，上述实施例中的根据回归测试计划生成测试任务包括：根据设置检测最新代码，生成回归测试计划，根据回归测试计划，生成并执行测试任务。

在一些实施例中，上述实施例中的管理回归测试的测试结果包括：发送执行失败的测试用例及对应的错误信息。

在一些实施例中，上述实施例中的方法还包括：若未从测试用例库中查找到与测试任务对应的测试项目文件,在测试用例库中调用实现测试任务需运行的测试组文件，生成测试项目文件。

在一些实施例中，上述实施例中的方法还包括：在修正测试用例时，根据用户操作修改该测试用例对应的测试规格文件。

现结合具体应用场景对本发明做进一步的诠释说明。

第三实施例：

本实施例提供一种基于Python编程的自动化回归测试***，实现便利的测试用例维护、大规模的测试用例执行，同时兼顾调试的灵活性、简易性、实时性以及维护的便利性的目的，提高开发和测试效率。该自动化回归测试***针对FPGA软件，基于Python编程。

以下以FPGA软件为测试对象具体说明书，如图3所示，整个***主要由用例管理模块31、过程管理模块32和结果管理模块33这3个模块以及测试用例库2组成；过程管理模块32从测试用例库2中调用测试用例，产生执行结果，通过结果管理模块33获取当前是否需要修改测试测试用例库的信息，用例管理模块31获取该信息，进而决定是否修改对应的测试用例，如此循环往复，保证整个***稳健有序地进行。

现对本实施例提供的回归测试***的三个主要模块进行介绍：

用例管理模块31：用例管理模块31主要是对测试用例库2进行维护和管理。从形成测试大纲开始，对每个测试集编写具体的测试用例，此后，通过添加、修改或者删除现有的测试用例来完善和维护测试用例库，测试集以软件产品的各个组件作为划分。

如图4所示，用例管理模块31将测试用例库2以自底向上分为三个层次规格，包括：文件(Test Specification File，TSF)、组(Test Group File，TGF)、项目(Test ProjectFile，TPF)，这三个规格的文件均为XML格式，Python脚本能够通过自带模块解析其内容。TSF：每个测试用例配备一个测试规格文件TSF，用以设置该测试用例的运行环境、测试用例执行结果的标准值以及其他相关信息；TGF：回归测试有多个目的，如完整性测试的单元测试、质量可靠性的QoR测试，所有测试规格文件TSF按照测试目的分为组，由“测试组文件(Test Group File，TGF)”描述；TPF：制定测试计划、形成测试任务后，按照测试任务列出需运行的TGF，由“测试项目文件(Test Project File，TPF)”描述。执行测试时，从顶层的TPF开始，层层调用，直至底层每个具体的测试用例。这样极大地方便了测试用例库的维护，并且测试人员不需要太多基础就可通过修改TSF文件来达到修正测试用例的目的。

具体的，每个测试用例配备一个测试规格文件TSF，用以设置该测试用例的运行环境、测试用例执行结果的标准值以及其他相关信息，其包含的项有：common：指明该测试用例的编号以及名称；design：配置测试用例的执行环境，如器件类型等；qor：配置该测试用例执行结果中所要关心的项，如运行时间、占用内存等；status：配置获取结果报告的文件名称等信息；qor中所选取的项的具体配置，比如设置“占用内存”项的标准值，用以与测试用例执行结果进行比对。

所有测试规格文件TSF按照测试目的分为组，由“测试组文件(Test Group File，TGF)”描述，其包含的项有：environment：配置测试对象的所在路径；common：指明该组测试用例的特征、目的，以及列出有相同测试目的的其他组；以组为单位，列出每个组所对应的TSF全路径。

制定测试计划、形成测试任务后，按照测试任务列出需运行的TGF，由“测试项目文件(Test Project File，TPF)”描述，其包含的项有：environment：配置测试对象的所在路径；common：指明该测试任务的特征、目的；project：列出测试任务中要执行的组TGF。

过程管理模块32：过程管理模块32是自动化回归测试***的测试引擎，是核心部分，具有执行测试用例、错误定位、结果收集、防错机制、分布式执行以及自动执行等功能。具体的：

执行测试用例：能够按照测试计划将测试用例库中相应的测试用例执行起来。根据TPF获得需要执行的测试组，每个测试组TGF可定位到具体的测试用例，而回归测试***按照每个测试用例的测试规格文件TSF中的配置来执行测试用例。由于测试用例为设计及其约束，因此回归测试***执行测试用例的时候需要通过调用软件支持的TCL命令来执行。

错误定位：在测试用例执行失败的时候，回归测试***能够初步定位错误。主要以软件的自身防错机制为基础，在测试用例执行失败的时候提取相应的错误信息。

结果收集：回归测试***能够将测试用例结果以HTML报告的形式呈现。每个测试用例执行结束，结果需要与其测试规格文件TSF中的标准值进行比对，符合要求方能通过。将每个测试用例执行结果的数据保存在数据库中，然后再从数据库中读取数据，将其写入HTML中，并且根据结果对HTML作相应的格式调整，如对执行错误的用例进行颜色标注等。

防错机制：运行过程随时会中断，能够从中断的地方继续执行测试。每运行一个测试用例就将结果保留，并记录，若顺利执行至结束，则清空信息。下次要执行测试时，首先判断是否有上次中断的测试用例信息，若有则从中断处继续执行。

分布式执行：在同一个机器或多个机器上并发执行测试任务，提高了测试效率。将测试任务分配到不同的机器上，并且每个机器能够并发执行测试，将最终的测试结果汇聚在一起形成一份完整的测试报告。

自动执行：不需要人工干预，自动化回归测试能够自动执行测试。通过设置，每隔一定时间自动检测开发上传的代码是否能够build通过；自动每日更新当天最新代码，执行相应的测试任务。

结果管理模块33：结果管理模块主要是对测试结果的整理、分析。测试执行结束后，回归测试***自动将所有结果保留到固定目录下，而所有执行失败的测试用例会连同它的失败信息发送到相关人员，相关人员通过失败信息分析结果后反馈是否修改测试用例库的信息，若需要修改，则在用例管理模块基础上更改对应部分。

综上可知，通过本发明的实施，至少存在以下有益效果：

以上仅是本发明的具体实施方式而已，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任意简单修改、等同变化、结合或修饰，均仍属于本发明技术方案的保护范围。

Claims

1.一种回归测试方法，其特征在于，包括：

根据回归测试计划生成测试任务；

从测试用例库中查找与所述测试任务对应的测试项目文件；所述测试项目文件包括实现测试任务需运行的测试组文件；所述测试组文件用于实现特定测试目的,包括实现特定测试目的测试用例对应的测试规格文件；所述测试规格文件用于存储对应测试用例的配置参数；

调用所述测试用例库存储的与所述测试组文件中各测试规格文件对应的测试用例，根据各测试规格文件配置对应测试用例,并执行测试用例，进行回归测试；

管理所述回归测试的测试结果；

其中，所述执行测试用例，进行回归测试包括：按照测试规格文件的配置参数，执行该测试规格文件对应的测试用例；将该测试用例的执行结果与测试规格文件的标准执行结果进行比较，符合测试要求，该测试用例执行通过，否则执行失败。

2.如权利要求1所述的回归测试方法，其特征在于，所述执行测试用例还包括：在测试用例执行失败时，读取错误信息。

3.如权利要求1所述的回归测试方法，其特征在于，所述执行测试用例还包括：在至少一个设备上并行执行测试用例。

4.如权利要求1所述的回归测试方法，其特征在于，所述执行测试用例还包括：在执行测试用例时，检测是否存在中断的测试用例，若存在，则执行所述中断的测试用例。

5.如权利要求1所述的回归测试方法，其特征在于，所述根据回归测试计划生成测试任务包括：根据设置检测最新代码，生成回归测试计划，根据回归测试计划，生成并执行测试任务。

6.如权利要求1所述的回归测试方法，其特征在于，所述管理所述回归测试的测试结果包括：发送执行失败的测试用例及对应的错误信息。

7.如权利要求1所述的回归测试方法，其特征在于，还包括:若未从所述测试用例库中查找到与所述测试任务对应的测试项目文件,在所述测试用例库中调用实现所述测试任务需运行的测试组文件，生成所述测试项目文件。

8.如权利要求1至7任一项所述的回归测试方法，其特征在于，还包括：在修正测试用例时，根据用户操作修改该测试用例对应的测试规格文件。

9.一种回归测试装置，其特征在于，包括：

生成模块，用于根据回归测试计划生成测试任务；

查找模块，用于从测试用例库中查找与所述测试任务对应的测试项目文件；所述测试项目文件包括实现测试任务需运行的测试组文件；所述测试组文件用于实现特定测试目的,包括实现特定测试目的测试用例对应的测试规格文件；所述测试规格文件用于存储对应测试用例的配置参数；

执行模块，用于调用所述测试用例库存储的与所述测试组文件中各测试规格文件对应的测试用例，根据各测试规格文件配置对应测试用例,按照测试规格文件的配置参数，执行该测试规格文件对应的测试用例；将该测试用例的执行结果与测试规格文件的标准执行结果进行比较，符合测试要求，该测试用例执行通过，否则执行失败；

管理模块，用于管理所述回归测试的测试结果。

10.如权利要求9所述的回归测试装置，其特征在于，所述执行模块用于在测试用例执行失败时，读取错误信息。

11.如权利要求9所述的回归测试装置，其特征在于，所述执行模块用于在至少一个设备上并行执行测试用例。

12.如权利要求9所述的回归测试装置，其特征在于，所述执行模块用于在执行测试用例时，检测是否存在中断的测试用例，若存在，则执行所述中断的测试用例。

13.如权利要求9所述的回归测试装置，其特征在于，所述生成模块用于根据设置检测最新代码，生成回归测试计划，根据回归测试计划，生成并执行测试任务。

14.如权利要求9所述的回归测试装置，其特征在于，所述管理模块用于发送执行失败的测试用例及对应的错误信息。

15.如权利要求9所述的回归测试装置，其特征在于，所述查找模块还用于若未从所述测试用例库中查找到与所述测试任务对应的测试项目文件,在所述测试用例库中调用实现所述测试任务需运行的测试组文件，生成所述测试项目文件。

16.如权利要求9至15任一项所述的回归测试装置，其特征在于，还包括修正模块，用于在修正测试用例时，根据用户操作修改该测试用例对应的测试规格文件。

17.一种回归测试***，其特征在于，包括如权利要求9至16任一项所述的回归测试装置，以及测试用例库，所述测试用例库用于存储：测试用例及对应的用于存储测试用例配置参数的测试规格文件，由实现指定测试目的的测试用例对应的测试规格文件组成的测试组文件，由实现测试任务需要运行的测试组文件组成测试项目文件。