CN105930260A

CN105930260A - 一种***可用性测试方法及装置

Info

Publication number: CN105930260A
Application number: CN201510981692.7A
Authority: CN
Inventors: 陈晨; 任明; 徐景良
Original assignee: China Unionpay Co Ltd
Current assignee: China Unionpay Co Ltd
Priority date: 2015-12-23
Filing date: 2015-12-23
Publication date: 2016-09-07
Anticipated expiration: 2035-12-23
Also published as: CN105930260B

Abstract

本发明公开了一种***可用性测试方法及装置，包括：确定与应用***的待测试目标层对应的应用测试模版，并根据所述应用测试模板确定M个测试案例，M为正整数；根据所述M个测试案例需要使用的物理资源确定出无物理资源冲突的N个测试案例，N为正整数；将所述N个测试案例部署所述应用***的所述待测试目标层的主机节点中进行测试。

Description

一种***可用性测试方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种***可用性测试方法及装置。

背景技术

随着互联网+时代的到来，对传统***的持续改进和优化都进入到了一个新的层次。迭代的***开发、最终用户日益严苛的***稳定需求，都要求IT从业者持续的对***的高可用性进行测试，从而发现更多的问题。现有针对***高可用性的测试多以小工具为主，没有形成统一的规范和测试方式，从而导致在进行测试时，测试案例之间会存在关联性，从而影响测试的效果。

发明内容

本发明实施例提供一种***可用性测试方法及装置，用以提供一种自动化测试的方法。

本发明实施例提供一种***可用性测试方法，包括：

确定与应用***的待测试目标层对应的应用测试模版，并根据所述应用测试模板确定M个测试案例，M为正整数；

根据所述M个测试案例需要使用的物理资源确定出无物理资源冲突的N个测试案例，N为正整数；

将所述N个测试案例部署所述应用***的所述待测试目标层的主机节点中进行测试。

可选的，所述根据所述M个测试案例需要所使用的物理资源确定出无物理资源冲突的N个测试案例，包括：

将所述M个测试案例与第一优先级队列中的K个测试案例按照优先级高低的顺序进行排序，获得第二优先级队列，其中，所述第一优先级队列中的K个测试案例为上一次测试时剩下的测试案例，K为正整数；

从所述第二优先级队列中优先级最低的测试案例开始遍历每一个测试案例，针对任意一个测试案例，判断所述测试案例与所述第二优先级队列中位于所述测试案例之后的测试案例是否存在物理资源冲突，若存在，则将所述测试案例确定为存在物理资源冲突的测试案例，否则将所述测试案例确定为无物理资源冲突的测试案例；

将所述第二优先级队列中无物理资源冲突的测试案例确定为所述N个测试案例。

可选的，所述将所述测试案例确定为存在物理资源冲突的测试案例之后，还包括：

将存在物理资源冲突的测试案例的优先级调高一级。

可选的，所述根据所述N个测试案例对应用***进行测试，包括：

针对所述N个测试案例中的任意一个测试案例，在执行该测试案例过程中若确定未按照预设的步骤执行该测试案例，则重新执行该测试案例。

可选的，所述根据所述N个测试案例对应用***进行测试之后，还包括：

针对所述N个测试案例中的任意一个测试案例，所述测试案例为针对应用***的待测试目标层中的P个主机节点进行测试的测试案例，P为正整数；

根据所述测试案例对所述应用***进行测试，若确定在测试期间所述应用***的每秒处理的事务数TPS大于阈值，则判断P是否小于或等于所述待测试目标层中包括的主机节点数量的一半，若是，则将P乘以2之后返回确定与应用***的待测试目标层对应的应用测试模版的步骤；若P大于所述待测试目标层中包括的主机节点数量的一半，则输出所述测试案例的测试结果；若确定在测试期间所述应用***的TPS小于或等于所述阈值，则输出所述测试案例的测试结果。

可选的，所述物理资源为以下资源中的一种或多种：

CPU资源；

内存资源；

网卡资源；

I/O资源。

可选的，所述测试案例在linux平台和Unix平台的调用方式相同。

本发明实施例提供一种***可用性测试装置，包括：

应用测试模版单元，用于确定与应用***的待测试目标层对应的应用测试模版，并根据所述应用测试模板确定M个测试案例，M为正整数；

确定单元，用于根据所述M个测试案例需要使用的物理资源确定出无物理资源冲突的N个测试案例，N为正整数；

测试单元，用于将所述N个测试案例部署所述应用***的所述待测试目标层的主机节点中进行测试。

可选的，所述确定单元具体用于：

可选的，所述确定单元还用于：

将存在物理资源冲突的测试案例的优先级调高一级。

可选的，所述测试单元具体用于：

可选的，所述测试单元还用于：

根据所述测试案例对所述应用***进行测试，若确定在测试期间所述应用***的每秒处理的事务数TPS大于阈值，则判断P是否小于或等于所述待测试目标层中包括的主机节点数量的一半，若是，则将P乘以2之后确定与应用***的待测试目标层对应的应用测试模版的步骤；若P大于所述待测试目标层中包括的主机节点数量的一半，则输出所述测试案例的测试结果；若确定在测试期间所述应用***的TPS小于或等于所述阈值，则输出所述测试案例的测试结果。

可选的，所述物理资源为以下资源中的一种或多种：

CPU资源；

内存资源；

网卡资源；

I/O资源。

根据本发明实施例提供的方法及装置，可以在通过测试案例对应用***进行测试的同时，减少测试案例之间的影响，使得测试结果更准确，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供一种***可用性测试方法流程示意图；

图2为本发明实施例提供一种***可用性测试装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例中，应用***所在的主机可以为X86服务器，并安装Unix***以及类Unix***等***。

如图1所示，为本发明实施例提供一种***可用性测试方法流程示意图。

参见图1，该方法包括：

步骤101：确定与应用***的待测试目标层对应的应用测试模版，并根据所述应用测试模板确定M个测试案例，M为正整数；

步骤102：根据所述M个测试案例需要使用的物理资源确定出无物理资源冲突的N个测试案例，N为正整数；

步骤103：将所述N个测试案例部署所述应用***的所述待测试目标层的主机节点中进行测试。

步骤101中，应用***可以划分为多个层，例如可以划分为应用层、数据链路层、网络层等，每一层可以包括多个主机节点。待测试目标层可以为应用***中的任意一层。

本发明实施例中，应用测试模版可以为根据应用***的待测试目标层确定的。具体的，确定待测试目标层的测试需求，例如，待测试目标层中需要测试的主机节点的数量、需要测试的主机节点、需要测试的主机的故障点配置(即测试内容)、需要测试的模拟数据源等；根据测试需求从而生成应用测试模版。

本发明实施例中，可以通过流程引擎生成应用测试模版，流程引擎负责根据用户需求定制应用测试模板，并通过应用测试模板对应用***进行测试。

应用测试模版确定之后，就可以确定需要使用的M个测试案例。可以从案例池中获取需要的M个测试案例。案例池中的每个测试案例可以为一个测试脚本，其中封装了底层实现，主机节点在运行测试案例时可以实现测试案例中模拟的故障。每个测试案例一般模拟出一种故障类型，例如模拟DDoS(Distributed Denial of Service，分布式拒绝服务)攻击、模拟一个主机节点的内存耗尽、模拟某个服务节点的网卡宕、模拟一个主机节点的内存泄露、模拟应用***的数据库锁表、模拟一个主机节点的磁盘读写繁忙等故障类型，主机节点在运行测试案例时，能够模拟出真实的故障情景。

本发明实施例中，一个测试案例可以由多个主机节点同时执行。举例来说，应用***中存在5个主机节点，需要测试应用***中3台主机节点遭受DdoS攻击时应用***的抗压能力。此时，可以确定需要测试的3台主机节点的地址、攻击的持续时间、采用的攻击手段等信息，并根据上述信息制作出应用测试模版。然后根据应用测试模版从案例池中选择出可用的测试案例。最后在选定的3个主机节点中同时执行该测试案例，从而模拟出需要的故障类型。

需要说明的是，本发明实施例中，案例池中的任一个测试案例都遵守以下两条原则：

1.封装底层实现，对于不同***均提供统一API(Application ProgrammingInterface，应用程序编程接口)。例如，在linux***和Unix***提供的API相同，从而在不同***中调用的方式也相同。

2.同时提供故障触发和故障恢复。对每一个测试案例的设计遵循贴近实际的要求，每一个测试案例都可以模拟出故障事件的触发方式。同时每一个测试案例都能够在模拟故障事件的同时，在测试的最后及时的完成故障恢复，避免长时间使得***处于模拟的故障阶段。每一个测试案例对容错性都进行了最大可能的考虑，脚本的容错性大大保障自动化测试的连贯性。

本发明实施例中，每个测试案例还包括优先级，如果同时测试5个测试案例，而根据应用测试模版确定出6个测试案例，则可以将优先级最高的5个测试案例进行测试，剩下的测试案例下一次测试。

步骤102中，确定出了M个测试案例之后，为了避免不同测试案例之间的相互影响，需要确定每个测试案例在测试时是否会使用相同的物理资源，如果两个测试案例在测试时使用相同的物理资源，则同一时间只能测试其中的一个测试案例，从而避免了测试案例之间的相互影响，使得测试的结果不准确。因此，在进行测试时，需要确定每次同时测试的测试案例，并将不能同时测试的测试案例分成多次进行测试。

本发明实施例中，所述物理资源为以下资源中的一种或多种：

CPU(Central Processing Unit，中央处理器)资源；

内存资源；

网卡资源；

I/O(Input/Output，输入/输出)资源。

本发明实施例中，先将M个测试案例与第一优先级队列中的K个测试案例按照优先级高低的顺序进行排序，获得第二优先级队列，其中，所述第一优先级队列中的K个测试案例为上一次测试时剩下的测试案例，K为正整数。其中K也可以为0。

需要说明的是，上一次测试时剩下的测试案例可能为由于存在物理资源冲突而剩下的测试案例，或者，也可能为由于超过同时测试所需的测试案例数量而剩下的测试案例。

在确定出第二优先级队列之后，从所述第二优先级队列中优先级最低的测试案例开始遍历每一个测试案例，针对任意一个测试案例，判断所述测试案例与所述第二优先级队列中位于所述测试案例之后的测试案例是否存在物理资源冲突，若存在，则将所述测试案例确定为存在物理资源冲突的测试案例，否则将所述测试案例确定为无物理资源冲突的测试案例。存在物理资源冲突的测试案例可以用来进行下次测试。同时，为了避免在下次测试时，存在物理资源冲突的测试案例无法被测试，在确定出存在物理资源冲突的测试案例之后，还可以将存在物理资源冲突的测试案例的优先级调高一级。

最后，将所述第二优先级队列中无物理资源冲突的测试案例确定为所述N个测试案例。

最后，在步骤103中，通过确定出的N个测试案例对应用***进行测试。

具体的，可以通过自动化任务平台将N个测试案例分发到需要测试的主机节点中。自动化任务平台是自动化测试的唯一入口，是直接借用的成熟***框架。自动化任务平台对所有主机节点、交换机拥有最高权限。

自动化任务平台可以在主机节点上部署测试案例，运行测试案例并捕捉测试案例到的标准输出，并将标准输出作为返回值触发后续动作。自动化任务将案例池作为原子操作。具体的，针对所述N个测试案例中的任意一个测试案例，在执行该测试案例过程中若确定未按照预设的步骤执行该测试案例，则重新执行该测试案例。根据上述方法，可以保证每个测试案例均被完整执行，从而获得准确的测试结果。

在本发明实施例中，为了保障测试的持续性和覆盖面，对于任意一个应用***，对每一个待测试目标层中的主机节点进行全覆盖的测试。

具体的，针对所述N个测试案例中的任意一个测试案例，所述测试案例为针对应用***的待测试目标层中的P个主机节点进行测试的测试案例，P为正整数；

根据所述测试案例对所述应用***进行测试，若确定在测试期间所述应用***的TPS(transaction per second，每秒处理的事务数)大于阈值，则判断P是否小于或等于所述待测试目标层中包括的主机节点数量的一半，若是，则将P乘以2之后，返回确定与应用***的待测试目标层对应的应用测试模版的步骤；若P大于所述待测试目标层中包括的主机节点数量的一半，则输出所述测试案例的测试结果；若确定在测试期间所述应用***的TPS小于或等于所述阈值，则输出所述测试案例的测试结果。

举例来说，若待测试目标层中存在8个主机节点，需要测试有多个个主机节点的内存被占用100％时，应用***还能正常工作。此时先测试第一个测试案例，该测试案例模拟一个主机节点的内存被占用100％的场景。若在测试第一个测试案例时，确定应用***的TPS大于阈值，则再测试第二个测试案例。第二个测试案例模拟两个主机节点的内存被占用100％的场景。若在测试第二个测试案例时，确定应用***的TPS大于阈值，则结束此次测试，并确定应用***最多能有两个主机节点的内存被同时占用100％；若在测试第二个测试案例时，确定应用***的TPS大于阈值，则再测试第三个测试案例。第三个测试案例模拟四个主机节点的内存被占用100％的场景；若在测试第三个测试案例时，确定应用***的TPS大于阈值，则结束此次测试，并确定应用***最多能有四个主机节点的内存被同时占用100％。

基于相同的技术构思，本发明实施例还提供一种***可用性测试装置，该***可用性测试装置可执行上述方法实施例。

如图2所示，本发明实施例提供一种***可用性测试装置结构示意图，该装置包括：

应用测试模版单元201，用于确定与应用***的待测试目标层对应的应用测试模版，并根据所述应用测试模板确定M个测试案例，M为正整数；

确定单元202，用于根据所述M个测试案例需要使用的物理资源确定出无物理资源冲突的N个测试案例，N为正整数；

测试单元203，用于将所述N个测试案例部署所述应用***的所述待测试目标层的主机节点中进行测试。

可选的，所述确定单元202具体用于：

可选的，所述确定单元202还用于：

将存在物理资源冲突的测试案例的优先级调高一级。

可选的，所述测试单元203具体用于：

可选的，所述测试单元203还用于：

可选的，所述物理资源为以下资源中的一种或多种：

CPU资源；

内存资源；

网卡资源；

I/O资源。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的范围。这样，倘若本发明的这些修改和变型属于本发明权利要求的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种***可用性测试方法，其特征在于，该方法包括：

2.如权利要求1所述的方法，其特征在于，所述根据所述M个测试案例需要所使用的物理资源确定出无物理资源冲突的N个测试案例，包括：

3.如权利要求1所述的方法，其特征在于，所述将所述测试案例确定为存在物理资源冲突的测试案例之后，还包括：

将存在物理资源冲突的测试案例的优先级调高一级。

4.如权利要求1所述的方法，其特征在于，所述根据所述N个测试案例对应用***进行测试，包括：

5.如权利要求1所述的方法，其特征在于，所述根据所述N个测试案例对应用***进行测试之后，还包括：

6.如权利要求1所述的方法，其特征在于，所述物理资源为以下资源中的一种或多种：

CPU资源；

内存资源；

网卡资源；

I/O资源。

7.如权利要求1所述的方法，其特征在于，所述测试案例在linux平台和Unix平台的调用方式相同。

8.一种***可用性测试装置，其特征在于，该装置包括：

9.如权利要求8所述的装置，其特征在于，所述确定单元具体用于：

10.如权利要求8所述的装置，其特征在于，所述确定单元还用于：

将存在物理资源冲突的测试案例的优先级调高一级。

11.如权利要求8所述的装置，其特征在于，所述测试单元具体用于：

12.如权利要求8所述的装置，其特征在于，所述测试单元还用于：

13.如权利要求8所述的装置，其特征在于，所述物理资源为以下资源中的一种或多种：

CPU资源；

内存资源；

网卡资源；

I/O资源。

14.如权利要求8所述的装置，其特征在于，所述测试案例在linux平台和Unix平台的调用方式相同。