CN106844197B - 基于代数重建法反馈控制的一致性测试用例策略调度方法 - Google Patents

Abstract

本发明涉及一种基于代数重建法反馈控制的一致性测试用例策略调度方法，属于通信协议软件一致性测试技术领域。该方法包括测试用例选取阶段和测试调度阶段；所述测试用例选取阶段，采用层次分析法确定出测试用例关键度系数W，结合测试用例重合度描述测试用例优先级系数Z；在测试调度阶段，采用基于代数重建法反馈控制的算法，搜索出测试用例优先级系数Z最大的测试用例并执行测试，并通过反馈信息，计算测试执行后的需求覆盖，判定是否调度剩余测试用例执行测试。该方法的有益效果在于：能够在完成测试覆盖前提下，更快地覆盖测试需求，减少测试用例执行的个数，缩短测试时间。

Description

基于代数重建法反馈控制的一致性测试用例策略调度方法

技术领域

本发明属于通信协议软件一致性测试领域，涉及一种基于代数重建法反馈控制的一致性测试用例策略调度方法。

背景技术

在一致性测试过程中，如何在测试用例集中搜索合适的测试用例并调用执行，提高测试效率并获得最优的测试覆盖是一个具有理论价值和现实意义的问题。目前，国内外对一致性测试用例调度方法有许多研究，Walcott等研究了与时间因素相关的测试用例优先级排序技术。Dennis等研究了基于切片的测试用例优先级排序技术。Srikanth等研究了基于需求的测试用例优先级排序技术。Ramanathan等提出了一种基于图理论的测试用例排序方法。Sampath等将请求序列出现概率、参数覆盖情况等应用于Web应用程序的测试用例排序的研究。

这些测试用例调度方法应用不同的测试环境，也有着不同的测试目的。在测试资源受限的情况下，我们就希望完成测试覆盖前提下，更快地覆盖测试需求，减少测试用例执行的个数，缩短测试时间。相应地，采用优先执行包含更多测试需求的测试用例的方法就可以更快地完成测试的覆盖。因而，如何选取包含更多测试需求的测试用例，如何搜索调度优先执行的测试用例就是这个方法所值得研究的问题。

发明内容

有鉴于此，本发明的目的在于解决传统一致性测试过程中测试执行无策略或执行策略效率低下的问题，为此提供一种基于代数重建法反馈控制的一致性测试用例策略调度方法。

为达到上述目的，本发明提供如下技术方案：

一种基于代数重建法反馈控制的一致性测试用例策略调度方法，该方法包括测试用例选取阶段和测试调度阶段；所述测试用例选取阶段，采用层次分析法确定出测试用例关键度系数W，结合测试用例重合度描述测试用例优先级系数Z；在测试调度阶段，采用基于代数重建法反馈控制的算法，搜索出测试用例优先级系数Z最大的测试用例并执行测试，并通过反馈信息，计算测试执行后的需求覆盖，判定是否调度剩余测试用例执行测试。

进一步的，测试结束的条件为：测试覆盖的完成或所有测试用例已全部执行，否则测试将会继续直至满足测试结束条件。

进一步的，在所述测试用例选取阶段描述测试用例优先级系数Z，包括以下步骤：

1)根据PICS/PIXIT表信息获取全部测试用例对测试需求的覆盖情况，构建测试需求覆盖关系矩阵D，用测试需求来描述测试用例；

2)采用一种改进的层次分析法分析测试需求的重要度系数，确定出各测试用例的关键度系数W；

3)定义并计算出测试用例重合度M_T(T_i,T_j)，描述测试用例之间的差异性，用来提高测试覆盖范围；

4)结合测试用例重合度M_T(T_i,T_j)，确定出测试用例优先级系数Z，用来搜索最优测试序列。

进一步的，所述采用一种改进的层次分析法分析测试需求的重要度系数，具体步骤如下：

1)根据用户定义将测试需求集合中D的每个需求d划分出重要程度，对测试需求d₁,d₂,…,d_j的重要度两两比较，并计算Δ＝Imp(d_i)-Imp(d_j)；

2)依据判断尺度表，对全部测试需求的重要度两两比较后，计算得到判断矩阵R，其中，判断尺度表由用户定义需求重要度；

3)对矩阵R按列规范化，对各行相加得到和数

4)对重要度系数规范化

5)测试用例T_i的关键度权重系数W_i，

进一步的，所述测试用例重合度M_T(T_i,T_j)用于描述测试用例集T中任意两个测试用例T_i、T_j的空间距离关系，且：

其中：T_i的坐标为

T_j的坐标为

M_T(T_i,T_j)的值越小，表明测试用例T_i和T_j的重合度越小，在空间中相隔距离越远，且差异性也越大，就越能提高测试覆盖范围。

进一步的，在所述调度阶段搜索出优先级系数Z最大的测试用例，包括以下步骤：

1)将测试用例关键度系数W和测试用例重合度M_T(T_i,T_j)这两个指标作为搜索最优测试序列的参数可以得到测试用例动态优先级系数Z，

2)进行测试用例搜索：

2.1)搜索路径的起始点为关键度权重系数W_i最高的一个测试用例T_b；

2.2)计算空间中其余点与T_b的重合度为M_T(T_i,T_j)，然后根据测试反馈信息进行优先级的动态调整；

2.3)剔除测试需求集中T_b所覆盖的测试需求项，并重新计算剩余尚未执行的测试用例的关键度权重系数W_i；

3)采用基于代数重建法反馈控制的算法调度测试用例。

进一步的，所述采用基于代数重建法反馈控制的算法调度测试用例，具体步骤如下：

1)依据需求与测试用例的映射关系，构造映射关系矩阵，计算出所有测试用例的关键度权重系数W_i和任意测试用例重合度M_T(T_i,T_j)；

2)在测试用例集T中对全部测试用例的关键度权重系数W_i从高到低排序，选择排序最高的测试用例，记为T_b并存放到测试序列T_seq，执行该测试用例；

3)当测试需求未覆盖完成时，从映射关系矩阵中获取测试用例T_b覆盖的测试需求，并从测试需求覆盖关系矩阵D中清除这些需求，另外将已执行的测试用例T_b从测试用例集T中剔除；

4)计算剩余测试用例关键度权重系数W_i，以及剩余测试用例与T_b的重合度；

5)计算各测试用例的优先级系数

搜索出Z_i的最大值(Z_i)_max对应测试用例T_i并执行；

6)将测试用例T_i存放到测试序列T_seq，检测测试需求覆盖情况和剩余测试用例个数；

7)最终测试序列T_seq为搜寻的最优测试序列；

8)搜索结束。

本发明的有益效果在于：可策略地调动测试用例的执行，且调动策略是与用户的测试需求有关，测试用例的执行顺序是有测试用例的优先级大小所决定的，测试用例的优先级顺序随着测试过程不断变化，直至测试需求覆盖达成或所有测试测试用例测完为止，最终达到更快地覆盖测试需求，减少测试用例执行的个数，缩短测试时间的目的。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为基于代数重建法反馈控制测试用例策略调度方法的整体流程图；

图2为搜索最高优先级测试用例算法的流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为基于代数重建法(ART)反馈控制测试用例策略调度方法的整体流程图，从图可知，本方法包括两个阶段：测试用例选取阶段和测试用调度阶段。

一、在测试用例选取阶段

步骤一)定义出测试需求集和可执行测试集

1、测试需求集：测试需求集D(D＝{d₁,d₂,…,d_j})是被测协议实现要求覆盖的测试需求集合，一般为用户提出的需求。测试需求体现了协议实现的基本覆盖单元，可以是一个功能项或一个被测特征。

2、可执行测试用例集：针对用户提出的测试需求项，由协议一致性测试软件分析需求参数，并依据测试用例数据库中的抽象测试集导出相应的可执行测试用例集T(T＝{T₁,T₂,…,T_i})。

步骤二)整理出测试需求与测试用例的覆盖关系映射表

1、获取全部测试用例对测试需求的覆盖情况。测试***的脚本编译器依据j个需求信息自动生成相应的测试用例集，根据接收的PIXIT/PICS参数信息，获取测试需求集合D＝{d₁,d₂,…,d_j}及其重要度信息，其中j＝1,2,…,n，并用1～9表示测试需求的重要度信息，其中重要度最高为9，最低为1；若初始测试集为T，可描述成i个测试用例的集合，因而T可视为n维的点集空间E_n。空间中的每个点表示一个测试用例T_i，测试用例的数据按照随机发送顺序以数组T＝{T₁,T₂,…,T_i}的形式存放，其中i＝1,2,…,n。

2、在测试的需求覆盖矩阵中，用二进制字符0和1分别表示测试用例T_i对测试需求d_j的覆盖映射关系，得到测试用例T_i与需求覆盖映射的n维向量S_j，其中j为测试需求的数量。则测试用例可以用二进制位串S的形式表示：

3、从测试协议的抽象测试集中选取10个测试用例，分析得到如下表1所示的映射表，可用关联矩阵的形式描述。

表1测试需求与测试用例映射关系表

以测试用例T₁为例，T₁仅覆盖了测试需求d₁,d₄,d₈,d₁₀，可知S₁＝(1,0,0,1,0,0,0,1,1,1)，则T₁与需求集合的映射关系可表示为：

因此，测试用例覆盖的测试需求数量可从二进制位串中获取，每个二进制位串S_i可以反映出测试用例与需求集合的映射关系，能够形式化描述测试用例与测试需求的对应关系；其中，测试需求集合中的每个需求元素用数值为1的单位量表示。

步骤三)确定测试用例的关键度

在执行测试过程之前，用户新建测试提出测试需求，这些测试需求集可由数组D＝{d₁,d₂,…,d_j}来表示当前测试项目的需求分支信息，其中j＝1,2,…,n。这些测试需求d₁,d₂,…,d_j可组成需求集合，且各测试需求的重要度优先级(priority)p_j不同，优先级越高，代表该测试需求越期望被优先覆盖。本发明采用一种改进的层次分析法(AHP)确定测试需求的重要度系数，通过对测试需求重要度的差值进行层次分析，从而设定各测试用例的关键度系数，具体步骤如下：

1)依据测试需求集合D中每个需求的重要度信息，对测试需求d₁,d₂,…,d_j的重要度两两比较，并计算Δ＝Imp(d_i)-Imp(d_j)，如表1所示：若Δ＞0，表示d_i比d_j重要；若Δ＜0，表示d_i比d_j重要；若Δ＝0，则表示d_i与d_j的重要程度相当。

表1判断尺度表

注：带*号的代表介于相邻两个判断尺度中间

2)依据表1所示的判断尺度表，对全部测试需求的重要度两两比较后，计算得到判断矩阵R，R＝[r_ij]_n*n,(i,j＝1,2,…,n)，其中r_ii＝1，r_ij＝1/r_ji。

3)对矩阵R按列规范化

4)对各行相加得到和数

5)对重要度系数求规范化

则p_j(j＝1,2,…,n)就是对应于第j个测试需求的重要度权重系数，即p_j＝weight(d_j)，因此测试需求的重要度权重系数可构成n维矩阵

进而可以得出测试用例T_i的关键度权重系数W_i：

步骤四)定义测试用例的重合度

依据前述定义，n维的点集空间中的每个点表示一个测试用例T_i，其中T_i可以表示为一个n维向量

在形式上，该n维向量是测试用例T_j对应覆盖的测试需求集合，规定需求集合中的每个元素在数值上等于单位1，因而可用于描述测试用例的空间距离关系。

给出测试用例重合度的定义如下：

规定测试用例集T中任意两个测试用例T_i，T_j的空间距离用

表示，则测试用例重合度(Testcase Multiplicity)可描述为：

其中：T_i的坐标为

T_j的坐标为

M_T(T_i,T_j)的值越小，表明测试用例T_i和T_j的重合度越小，在点集空间E_n中相隔距离越远，且差异性也越大。在实际测试中，选择差异性越大的测试用例则越能提高测试覆盖范围；相反，M_T(T_i,T_j)的值越大，表明测试用例T_i和T_j存在越大的测试需求覆盖重合度，在点集空间E_n中相邻近，若选择这样差异性较小的测试用例，则只会覆盖较小的需求范围。另外，由于测试集T中所有测试用例均是唯一和不重复的，则对于任意i和j(i≠j)，均有M_T(T_i,T_j)＞0。

二、测试用调度阶段

步骤一)测试用例优先级的搜索排序

在测试用例选取阶段定义了：测试用例集合T可描述为一个n维空间E_n，空间中每个点均表示一个唯一的测试用例T_i并具有不同的关键度权重系数，且各测试用例的权重系数W_i具有性质：

由上节可知，T_i的坐标为

任意两个测试用例的重合度表示为M_T(T_i,T_j)。

那么，在n维空间E_n依次搜索出动态优先级最高的测试用例并执行测试可描述为：该搜索路径的起始点为关键度权重系数W_i最高的一个测试用例T_b，计算空间中其余点与T_b的重合度为M_T(T_i,T_j)，然后根据测试反馈信息进行优先级的动态调整，剔除测试需求集中T_b所覆盖的测试需求项，并重新计算剩余尚未执行的测试用例的关键度权重系数W_i。

在对测试用例进行优先级搜索与排序时，要求搜索到的测试用例的权重系数W_i最高，且与上一个测试用例的重合度M_T(T_i,T_j)最小。因而，可从测试用例优先级和测试用例重合度的这两个衡量指标搜索最优测试序列。由于这两个寻优搜索方向的重要性相当，可用这两个指标的比值Z作为复合增长方向的动态优先级指数，描述如下：

步骤二)测试用例动态调度算法

图2为搜索最高优先级测试用例算法的流程图，参照图2，基于动态优先级的测试用例优先级搜索算法描述为：

//输入PICS/PIXIT表中映射信息，接收并存储测试用例初始数据

//输出测试用例执行序列

Demand_num＝m //测试需求数量

Testcase_num＝n //测试用例数量

1)依据需求-测试用例的映射关系，构造映射关系矩阵，计算出所有测试用例的关键度系数W_i和任意测试用例之间的重合度M_T(T_i,T_j)；

//搜索开始

2)在测试集T中对全部测试用例的关键度系数W_i从高到低排序，选择排序最高的测试用例，记为T_b并存放到测试序列T_seq，执行该测试用例；

While(Testcase_num＜n)

3)从映射关系矩阵中获取测试用例T_b覆盖的测试需求，并从需求集合D中清除这些需求，另外将已执行的测试用例T_b从测试用例集T中剔除；

4)计算剩余测试用例的关键度系数W_i，以及剩余测试用例与T_b的重合度；

5)计算各测试用例的优先级指数

搜索出Z_i的最大值(Z_i)_max对应测试用例T_i并执行；

6)将测试用例T_i存放到测试序列T_seq，检测Demand_num与Testcase_num；

End While。

当测试用例被全部执行完(Testcase_num＝0)，或测试需求被覆盖的百分比达到要求；搜索结束。最终测试序列T_seq为搜寻的最优测试序列。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种基于代数重建法反馈控制的一致性测试用例策略调度方法，其特征在于，该方法包括测试用例选取阶段和测试调度阶段；所述测试用例选取阶段，采用层次分析法确定出测试用例关键度系数W，结合测试用例重合度描述测试用例优先级系数Z；在测试调度阶段，采用基于代数重建法反馈控制的算法，搜索出测试用例优先级系数Z最大的测试用例并执行测试，并通过反馈信息，计算测试执行后的需求覆盖，判定是否调度剩余测试用例执行测试；

在所述测试用例选取阶段描述测试用例优先级系数Z，包括以下步骤：

1)根据PICS/PIXIT表信息获取全部测试用例对测试需求的覆盖情况，构建测试需求覆盖关系矩阵D，用测试需求来描述测试用例；

2)采用一种改进的层次分析法分析测试需求的重要度系数，确定出各测试用例的关键度系数W；

3)定义并计算出测试用例重合度M_T(T_i,T_j)，描述测试用例之间的差异性，用来提高测试覆盖范围；其中，T_i、T_j表示测试用例集T中的任意两个测试用例；

4)结合测试用例重合度M_T(T_i,T_j)，确定出测试用例优先级系数Z，用来搜索最优测试序列。

2.根据权利要求1所述的基于代数重建法反馈控制的一致性测试用例策略调度方法，其特征在于：测试结束的条件为：测试覆盖的完成或所有测试用例已全部执行，否则测试将会继续直至满足测试结束条件。

3.根据权利要求1所述的基于代数重建法反馈控制的一致性测试用例策略调度方法，其特征在于，所述采用一种改进的层次分析法分析测试需求的重要度系数，具体步骤如下：

1)根据用户定义将测试需求集合中D的每个需求d划分出重要程度，对测试需求d₁,d₂,…,d_j的重要度两两比较，并计算Δ＝Imp(d_i)-Imp(d_j)；

2)依据判断尺度表，对全部测试需求的重要度两两比较后，计算得到判断矩阵R，其中，判断尺度表由用户定义需求重要度；

3)对矩阵R按列规范化，对各行相加得到和数

4)对重要度系数规范化

5)测试用例T_i的关键度权重系数W_i，

其中，S_j表示测试用例T_i与需求覆盖映射的n维向量；

表示由测试需求的重要度权重系数构成的n维矩阵。

4.根据权利要求1所述的基于代数重建法反馈控制的一致性测试用例策略调度方法，其特征在于：所述测试用例重合度M_T(T_i,T_j)用于描述测试用例集T中任意两个测试用例T_i、T_j的空间距离关系，且：

其中：T_i的坐标为

T_j的坐标为

M_T(T_i,T_j)的值越小，表明测试用例T_i和T_j的重合度越小，在空间中相隔距离越远，且差异性也越大，就越能提高测试覆盖范围。

5.根据权利要求1所述的基于代数重建法反馈控制的一致性测试用例策略调度方法，其特征在于：在所述调度阶段搜索出优先级系数Z最大的测试用例，包括以下步骤：

1)将测试用例关键度系数W和测试用例重合度M_T(T_i,T_j)这两个指标作为搜索最优测试序列的参数可以得到测试用例动态优先级系数Z，

2)进行测试用例搜索：

2.1)搜索路径的起始点为关键度权重系数W_i最高的一个测试用例T_b；

2.2)计算空间中其余点与T_b的重合度为M_T(T_i,T_j)，然后根据测试反馈信息进行优先级的动态调整；

2.3)剔除测试需求集中T_b所覆盖的测试需求项，并重新计算剩余尚未执行的测试用例的关键度权重系数W_i；

3)采用基于代数重建法反馈控制的算法调度测试用例。

6.根据权利要求5所述的基于代数重建法反馈控制的一致性测试用例策略调度方法，其特征在于：所述采用基于代数重建法反馈控制的算法调度测试用例，具体步骤如下：

1)依据需求与测试用例的映射关系，构造映射关系矩阵，计算出所有测试用例的关键度权重系数W_i和任意测试用例重合度M_T(T_i,T_j)；

2)在测试用例集T中对全部测试用例的关键度权重系数W_i从高到低排序，选择排序最高的测试用例，记为T_b并存放到测试序列T_seq，执行该测试用例；

3)当测试需求未覆盖完成时，从映射关系矩阵中获取测试用例T_b覆盖的测试需求，并从测试需求覆盖关系矩阵D中清除这些需求，另外将已执行的测试用例T_b从测试用例集T中剔除；

4)计算剩余测试用例关键度权重系数W_i，以及剩余测试用例与T_b的重合度；

5)计算各测试用例的优先级指数

搜索出Z_i的最大值(Z_i)_max对应测试用例T_i并执行；

6)将测试用例T_i存放到测试序列T_seq，检测测试需求覆盖情况和剩余测试用例个数；

7)最终测试序列T_seq为搜寻的最优测试序列；

8)搜索结束。

Images