CN105938453A - 一种自动测试方法及*** - Google Patents

Abstract

本发明公开了一种自动测试方法及***，属于设备测试技术领域；方法包括：接收用例信息；根据用例信息调取对应的至少一个标准测试用例并运行测试，输出测试报告；分析测试报告并将所有测试失败项的失败信息记载在一第一失败信息文档中；对所有测试失败项运行测试，并将所有测试失败项的失败信息记载在一第二失败信息文档中；判断第二失败信息文档中与第一失败文档中记载的测试失败项是否一致：若否，则以第二失败信息文档作为第一失败信息文档覆盖更新，随后复测；若是，则结束测试。***包括：用例数据库、接收单元、调取单元、测试单元、分析单元和判断单元。上述技术方案的有益效果是：减轻工作量，减少周期和成本，保证测试质量。

Description

一种自动测试方法及***

技术领域

本发明涉及设备测试技术领域，尤其涉及一种自动测试方法及***。

背景技术

现有技术中，针对SOHO类型的无线设备，其测试方法通常为手动测试，测试的管理人员选择测试方案(case)，分配不同的测试任务给各测试负责人员，每个测试负责人员进行测试后再将测试报告交给管理人员负责整合。最终整合完成的测试报告再被分发到各测试负责人员以及其他相关人员。这样的测试过程占用了很长的测试周期，并且手动测试的最大的局限性在于测试人员不能24小时进行测试，且测试进行的快慢取决于测试人员自身的状态和能力。而且，手动测试的误测率较高，需要在测试完成后占用较长的时间进行复测以校验测试结果。本身管理人员选择测试方案并分配测试任务以及整理测试报告等工作也会占用较长的测试时间，从而降低整个设备测试的测试效率。并且手动测试使得每个测试人员的任务繁重，增加了测试的人力成本。

发明内容

根据现有技术中存在的上述问题，现提供一种自动测试方法及***的技术方案，旨在减轻测试人员的工作量，缩短测试周期，降低测试成本，保证测试质量。

上述技术方案具体包括：

一种自动测试方法，适用于无线设备；其中，预先设定一包括多个标准测试用例的用例数据库，还包括：

步骤S1，接收使用者输入的关联于测试用例的用例信息；

步骤S2，根据所述用例信息，于所述用例数据库中调取对应的至少一个所述标准测试用例；

步骤S3，根据被调取的所述标准测试用例运行测试，并在测试完成时输出测试报告；

步骤S4，分析所述测试报告并将所有测试失败项的失败信息记载在一第一失败信息文档中；

步骤S5，对被记载在所述第一失败信息文档中的所有所述测试失败项运行测试，并将所有所述测试失败项的所述失败信息记载在一第二失败信息文档中；

步骤S6，判断所述第二失败信息文档中记载的所述测试失败项与所述第一失败文档中的记载是否一致：

若否，则以所述第二失败信息文档作为所述第一失败信息文档覆盖更新，随后返回所述步骤S5；

若是，则结束测试。

优选的，该自动测试方法，其中，所述用例信息包括：

所述测试用例的用例标签，或者

所述测试用例的用例名称，或者

所述测试用例的用例集名称。

优选的，该自动测试方法，其中，所述步骤S2具体包括：

步骤S21，根据所述用例信息判断输入的所述测试用例的用例类型；

步骤S22，根据所述用例类型选择调取所述用例数据库中的所述标准测试用例的控制命令；

步骤S23，根据所述控制命令从所述用例数据库中调取对应的所述标准测试用例，随后转向所述步骤S3。

优选的，该自动测试方法，其中，所述失败信息包括：

每个所述测试失败项的用例名称，以及

记载在所述第一失败信息文档中的所有所述测试失败项的数目。

优选的，该自动测试方法，其中，所述步骤S6中，若所述第二失败信息文档中记载的所述测试失败项与所述第一失败文档中的记载不一致，则在以所述第二失败信息文档作为所述第一失败信息文档覆盖更新之前，首先执行下述步骤：

将不一致的所述测试失败项的所述失败信息记载在所述第二失败信息文档中，以作为测试风险项。

一种自动测试***，适用于无线设备；其中，包括：

用例数据库，保存有预先设定的多个标准测试用例；

接收单元，用于接收使用者输入的关联于测试用例的用例信息；

调取单元，分别连接所述接收单元和所述用例数据库，用于根据所述用例信息，在所述用例数据库中调取对应的至少一个所述标准测试用例；

测试单元，连接所述调取单元，用于根据被调取的所述标准测试用例运行测试，并在测试完成时输出测试报告；

分析单元，连接所述测试单元，用于分析所述测试报告并将所有测试失败项的失败信息记载在一第一失败信息文档中；

所述测试单元还用于对被记载在所述第一失败信息文档中的所有所述测试失败项运行测试，所述分析单元还用于将所有所述测试失败项的所述失败信息记载在一第二失败信息文档中；

判断单元，连接所述分析单元，用于判断所述第二失败信息文档中记载的所述测试失败项与所述第一失败文档中的记载是否一致，并输出判断结果；

所述分析单元根据所述判断结果，在所述第二失败信息文档中记载的所述测试失败项与所述第一失败文档中的记载不一致时，以所述第二失败信息文档作为所述第一失败信息文档覆盖更新，并通知所述测试单元根据所述第一失败信息文档重新运行测试。

优选的，该自动测试***，其中，所述用例信息包括：

所述测试用例的用例标签，或者

所述测试用例的用例名称，或者

所述测试用例的用例集名称。

优选的，该自动测试***，其中，所述调取单元具体包括：

类型判断模块，用于根据所述用例信息判断输入的所述测试用例的用例类型；

命令选择模块，连接所述类型判断模块，用于根据所述用例类型选择调取所述用例数据库中的所述标准测试用例的控制命令；

调取模块，连接所述命令选择模块，用于根据所述控制命令从所述用例数据库中调取对应的所述标准测试用例。

优选的，该自动测试***，其中，所述失败信息包括：

每个所述测试失败项的用例名称，以及

记载在所述第一失败信息文档中的所有所述测试失败项的数目。

优选的，该自动测试***，其中，在所述第二失败信息文档中记载的所述测试失败项与所述第一失败文档中的记载不一致时，所述分析单元首先将不一致的所述测试失败项的所述失败信息记载在所述第二失败信息文档中，以作为测试风险项，随后再以所述第二失败信息文档作为所述第一失败信息文档覆盖更新。

上述技术方案的有益效果是：

1)提供一种自动测试方法，能够减轻测试人员的工作量，缩短测试周期，降低测试成本，保证测试质量；

2)提供一种自动测试***，能够支持实现上述自动测试方法。

附图说明

图1是本发明的较佳的实施例中，一种自动测试方法的总体流程示意图；

图2是本发明的较佳的实施例中，于图1的基础上，调取标准测试用例的流程示意图；

图3是本发明的较佳的实施例中，一种自动测试***的总体结构示意图；

图4是本发明的较佳的实施例中，于图3的基础上，调取单元的具体结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种自动测试方法，该方法适用于无线设备，进一步地可以适用于SOHO类型的WIFI设备。上述方法中，预先设定一包括多个标准测试用例的用例数据库，并且包括如图1中所示的下述步骤：

步骤S1，接收使用者输入的关联于测试用例的用例信息；

步骤S2，根据用例信息，于用例数据库中调取对应的至少一个标准测试用例；

步骤S3，根据被调取的标准测试用例运行测试，并在测试完成时输出测试报告；

步骤S4，分析测试报告并将所有测试失败项的失败信息记载在一第一失败信息文档中；

步骤S5，对被记载在第一失败信息文档中的所有测试失败项运行测试，并将所有测试失败项的失败信息记载在一第二失败信息文档中；

步骤S6，判断第二失败信息文档中记载的测试失败项与第一失败文档中的记载是否一致：

若否，则以第二失败信息文档作为第一失败信息文档覆盖更新，随后返回步骤S5；

若是，则结束测试。

在一个具体实施例中，首先在***的用例数据库中预设多个标准测试用例，这些标准测试用例可以为测试人员根据不同的测试设备设计的专有的可以复用的测试用例，也可以为测试人员根据不同的测试设备设计的可以通用并能复用的测试用例。***通过调用这些标准测试用例即可自动完成测试操作。

则该实施例中，***首先接收使用者输入的关联于不同的测试用例的用例信息。该用例信息可以为测试用例的用例名称，或者测试用例的用例标签，甚至是测试用例所在的用例集的名称。换言之，为了保证测试的效率，在一次测试的过程可以同时设置多个测试用例。

该实施例中，根据上述用例信息，***可以从之前预设的用例数据库中调取相应的至少一个标准测试用例来运行测试。具体地，如上文中所述，***可以根据之前的用例信息调取多个标准测试用例，以形成一个包括上述标准测试用例的专门针对本次测试的测试方案，并通过运行该测试方案来实现本次的自动测试。

该实施例中，***在运行测试完毕后，输出包括所有被测试的标准测试用例的测试结果的测试报告，随后分析该测试报告以找到其中包括的所有测试失败项，将所有测试失败项的失败信息记载在一个第一失败信息文档中。具体地，所谓测试失败项，是指测试用例中测试失败的项目，或者测试失败的标准测试用例。所谓测试失败项的失败信息，可以包括测试失败项对应的标准测试用例的用例名称，以及本次测试中的测试失败项的数量。

该实施例中，针对第一次自动测试后形成的第一失败信息文档，根据其中记载的每个测试失败项均进行复测，即重新测试每个测试失败项对应的标准测试用例，并同样输出测试报告。

该实施例中，针对第二次测试，如上文中所述，测试对象为之前记载在第一失败信息文档中的测试失败项对应的标准测试用例，则同样形成相应的测试报告，并对该测试报告进行分析，得到本次测试的测试失败项，将其相关的失败信息记载在一第二失败信息文档中。

随后，该实施例中，对第一失败信息文档和第二失败信息文档进行判断，具体为：

判断第一失败信息文档中的测试失败项是否与第二失败信息文档中的测试失败项一致：

若一致，则表示不需要继续复测，直接结束测试并退出流程。

若不一致，则表示需要继续复测，此时需要首先将第二失败信息文档作为第一失败信息文档保存，即采用第二失败信息文档覆盖第一失败信息文档以进行文档更新，随后再返回上述步骤S5进行复测。换言之，此时在第一失败信息文档中记载的测试失败项为第二次测试后的结果。

该实施例中，最终经过多次复测后达到连续两次测试失败项一致的结果，从而验证本次自动测试成功，结束测试过程。

综上所述，本发明技术方案中，首先预设多个标准测试用例，随后根据使用者输入的用例信息确定本次测试需要的至少一个测试用例并运行测试。在测试结束后编写包括测试失败项的相关信息的失败信息文档，并在复测过程中验证连续两次测试中失败信息文档中记载的测试失败项是否一致：若不一致，则继续对记载的测试失败项进行复测；若一致，则结束测试。上述自动测试的过程能够减轻测试人员的工作量，缩短测试周期，降低测试成本，并且通过多次复测的方式保证测试质量。

本发明的较佳的实施例中，由于复测针对的是前一次测试过程中出现的测试失败项，即复测的对象不会多于前一次测试出现的所有测试失败项。因此，在上述失败信息文档的匹配过程中，若不一致，则直接根据复测过程中出现的测试失败项进行再次复测，而无需关注前一次测试过程中出现的测试失败项。

本发明的较佳的实施例中，如图2所示，上述步骤S2具体包括：

步骤S21，根据用例信息判断输入的测试用例的用例类型；

步骤S22，根据用例类型选择调取用例数据库中的标准测试用例的控制命令；

步骤S23，根据控制命令从用例数据库中调取对应的标准测试用例，随后转向步骤S3。

具体地，本发明的较佳的实施例中，如上文中所述，一次自动测试所涉及的测试用例可能较多，此时只需要使用者输入本次自动测试所涉及的测试用例的用例标签、用例名称或者用例集名称即可，***会自动根据上述用例信息来判断本次自动测试所涉及的标准测试用例的用例类型。随后***根据判断得到的用例类型选择调取标准测试用例的控制命令，并进一步根据该控制命令从用例数据库中调取对应该用例类型的标准测试用例并运行本次自动测试。

本发明的较佳的实施例中，步骤S6中，若第二失败信息文档中记载的测试失败项与第一失败文档中的记载不一致，则在以第二失败信息文档作为第一失败信息文档覆盖更新之前，首先执行下述步骤：

将不一致的测试失败项的失败信息记载在第二失败信息文档中，以作为测试风险项。

具体地，本发明的较佳的实施例中，在第一失败信息文档和第二失败信息文档不一致的情况下，在上述第二失败信息文档中应当记载：

1)复测过程中通过(pass)的原先记载在第一失败信息文档中的测试失败项，这些测试失败项在第二失败信息文档中被记载为测试风险项，即表示这些项目曾经测试失败过，虽然最终通过复测通过，但仍然被判断为存在风险，需要进一步观察和测试。

2)复测过程中仍然失败的测试失败项，这些测试失败项被记载在第二失败信息文档中。

随后，在复测结束后将该第二失败信息文档作为第一失败信息文档覆盖更新。

本发明的较佳的实施例中，上述自动测试方法基于python设计语言运行。所谓python设计语言，是一种面向对象、解释型的计算机程序设计语言。Python具有丰富和强大的库，能够把用其他语言制作的各种模块很轻松地联结在一起。并且Python是一种代表简单主义思想的语言，并且由于有比较简单的说明文档，因此比较容易上手。

则本发明的一个较佳的实施例中，采用python设计语言运行上述自动测试方法可以通过下述过程实现：

首先，测试人员在***中填写测试用例的用例标签，或者用例名称，或者用例集名称。***调用逻辑函数if来根据测试人员输入的用例信息判断其用例类型，随后根据判断得到的用例类型选择pybot的命令(控制命令)。***随后调用python中的subprocess模块中的Popen命令在电脑命令提示符下输入被选择的pybot命令，以针对上述用例类型从用例数据库中选择对应的标准测试用例并开始运行测试。

当本次自动测试完成后，***会生成output文件(测试报告)，并且调用python中的open命令打开output文件，随后调用re模块中的search命令来匹配测试失败项(fail项)，并且记录测试失败项的用例名称以及所有测试失败项的数量并保存到第一失败信息文档中。

随后，***调用pybot–R命令以对上述output文件中的测试失败项运行复测。在测试完成后生成新的output文件。同样地，***调用open命令打开该新生成的output文件，并调用search命令匹配测试失败项并将测试失败项的用例名称和数量记载在第二失败信息文档中。

随后，***调用逻辑函数if来对两个失败信息文档进行判断：

若两个失败信息文档中的测试失败项一致，则结束测试；

若两个失败信息文档中的测试失败项不一致，则将本次复测中得到的测试失败项与前一次测试中得到的测试失败项进行比较，并对第二失败信息文档做如下调整：将本次复测中通过的测试失败项作为测试风险项记载在第二失败信息文档中，并将本次复测中仍然未通过的测试失败项作为第二失败信息文档中记载的测试失败项。随后将第二失败信息文档作为第一失败信息文档保存。

最后，重复***调用pybot–R命令以复测新的output文件中的测试失败项，并进行上述判断和文档覆盖更新的过程，直至连续两次测试的文档中记载的测试失败项一致为止。此时可以调用python中的smtplib和email模块将复测中通过的测试用例项(测试风险项)和最终仍然未通过测试的测试失败项填写入邮件文本中，并添加日志文件一起发送至指定的收件人。上述发送测试结果的方式还可以通过其他方法实现，并不仅限于邮件发送的方式。

本发明的较佳的实施例中，基于上文中所述的自动测试方法，还提供一种自动测试***，该自动测试***同样适用于无线设备，进一步地适用于SOHO类型的WIFI设备。

则本发明的较佳的实施例中，如图3所示，上述自动测试***具体包括：

用例数据库1，保存有预先设定的多个标准测试用例；

接收单元2，用于接收使用者输入的关联于测试用例的用例信息；

调取单元3，分别连接接收单元2和用例数据库1，用于根据用例信息，在用例数据库1中调取对应的至少一个标准测试用例；

测试单元4，连接调取单元3，用于根据被调取的标准测试用例运行测试，并在测试完成时输出测试报告；

分析单元5，连接测试单元4，用于分析测试报告并将所有测试失败项的失败信息记载在一第一失败信息文档中；

测试单元4还用于对被记载在第一失败信息文档中的所有测试失败项运行测试，分析单元5还用于将所有测试失败项的失败信息记载在一第二失败信息文档中；

判断单元6，连接分析单元5，用于判断第二失败信息文档中记载的测试失败项与第一失败文档中的记载是否一致，并输出判断结果；

分析单元5根据判断结果，在第二失败信息文档中记载的测试失败项与第一失败文档中的记载不一致时，以第二失败信息文档作为第一失败信息文档覆盖更新，并通知测试单元4根据第一失败信息文档重新运行测试。

本发明的较佳的实施例中，如上文中所述，上述用例信息包括：测试用例的用例标签，或者测试用例的用例名称，或者测试用例的用例集名称。

本发明的较佳的实施例中，如图4所示，上述调取单元3具体包括：

类型判断模块31，用于根据用例信息判断输入的测试用例的用例类型；

命令选择模块32，连接类型判断模块31，用于根据用例类型选择调取用例数据库中的标准测试用例的控制命令；

调取模块33，连接命令选择模块32，用于根据控制命令从用例数据库中调取对应的标准测试用例。

本发明的较佳的实施例中，如上文中所述，上述失败信息包括：每个测试失败项的用例名称，以及记载在第一失败信息文档中的所有测试失败项的数目。

本发明的较佳的实施例中，在第二失败信息文档中记载的测试失败项与第一失败文档中的记载不一致时，分析单元首先将不一致的测试失败项的失败信息记载在第二失败信息文档中，以作为测试风险项，随后再以第二失败信息文档作为第一失败信息文档覆盖更新。

本发明的较佳的实施例中，上述自动测试***基于python设计语言运行。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种自动测试方法，适用于无线设备；其特征在于，预先设定一包括多个标准测试用例的用例数据库，还包括：

步骤S1，接收使用者输入的关联于测试用例的用例信息；

步骤S2，根据所述用例信息，于所述用例数据库中调取对应的至少一个所述标准测试用例；

步骤S3，根据被调取的所述标准测试用例运行测试，并在测试完成时输出测试报告；

步骤S4，分析所述测试报告并将所有测试失败项的失败信息记载在一第一失败信息文档中；

步骤S5，对被记载在所述第一失败信息文档中的所有所述测试失败项运行测试，并将所有所述测试失败项的所述失败信息记载在一第二失败信息文档中；

步骤S6，判断所述第二失败信息文档中记载的所述测试失败项与所述第一失败文档中的记载是否一致：

若否，则以所述第二失败信息文档作为所述第一失败信息文档覆盖更新，随后返回所述步骤S5；

若是，则结束测试。

2.如权利要求1所述的自动测试方法，其特征在于，所述用例信息包括：

所述测试用例的用例标签，或者

所述测试用例的用例名称，或者

所述测试用例的用例集名称。

3.如权利要求1所述的自动测试方法，其特征在于，所述步骤S2具体包括：

步骤S21，根据所述用例信息判断输入的所述测试用例的用例类型；

步骤S22，根据所述用例类型选择调取所述用例数据库中的所述标准测试用例的控制命令；

步骤S23，根据所述控制命令从所述用例数据库中调取对应的所述标准测试用例，随后转向所述步骤S3。

4.如权利要求1所述的自动测试方法，其特征在于，所述失败信息包括：

每个所述测试失败项的用例名称，以及

记载在所述第一失败信息文档中的所有所述测试失败项的数目。

5.如权利要求1所述的自动测试方法，其特征在于，所述步骤S6中，若所述第二失败信息文档中记载的所述测试失败项与所述第一失败文档中的记载不一致，则在以所述第二失败信息文档作为所述第一失败信息文档覆盖更新之前，首先执行下述步骤：

将不一致的所述测试失败项的所述失败信息记载在所述第二失败信息文档中，以作为测试风险项。

6.一种自动测试***，适用于无线设备；其特征在于，包括：

用例数据库，保存有预先设定的多个标准测试用例；

接收单元，用于接收使用者输入的关联于测试用例的用例信息；

调取单元，分别连接所述接收单元和所述用例数据库，用于根据所述用例信息，在所述用例数据库中调取对应的至少一个所述标准测试用例；

测试单元，连接所述调取单元，用于根据被调取的所述标准测试用例运行测试，并在测试完成时输出测试报告；

分析单元，连接所述测试单元，用于分析所述测试报告并将所有测试失败项的失败信息记载在一第一失败信息文档中；

所述测试单元还用于对被记载在所述第一失败信息文档中的所有所述测试失败项运行测试，所述分析单元还用于将所有所述测试失败项的所述失败信息记载在一第二失败信息文档中；

判断单元，连接所述分析单元，用于判断所述第二失败信息文档中记载的所述测试失败项与所述第一失败文档中的记载是否一致，并输出判断结果；

所述分析单元根据所述判断结果，在所述第二失败信息文档中记载的所述测试失败项与所述第一失败文档中的记载不一致时，以所述第二失败信息文档作为所述第一失败信息文档覆盖更新，并通知所述测试单元根据所述第一失败信息文档重新运行测试。

7.如权利要求6所述的自动测试***，其特征在于，所述用例信息包括：

所述测试用例的用例标签，或者

所述测试用例的用例名称，或者

所述测试用例的用例集名称。

8.如权利要求6所述的自动测试***，其特征在于，所述调取单元具体包括：

类型判断模块，用于根据所述用例信息判断输入的所述测试用例的用例类型；

命令选择模块，连接所述类型判断模块，用于根据所述用例类型选择调取所述用例数据库中的所述标准测试用例的控制命令；

调取模块，连接所述命令选择模块，用于根据所述控制命令从所述用例数据库中调取对应的所述标准测试用例。

9.如权利要求6所述的自动测试***，其特征在于，所述失败信息包括：

每个所述测试失败项的用例名称，以及

记载在所述第一失败信息文档中的所有所述测试失败项的数目。

10.如权利要求6所述的自动测试***，其特征在于，在所述第二失败信息文档中记载的所述测试失败项与所述第一失败文档中的记载不一致时，所述分析单元首先将不一致的所述测试失败项的所述失败信息记载在所述第二失败信息文档中，以作为测试风险项，随后再以所述第二失败信息文档作为所述第一失败信息文档覆盖更新。