CN101866316B - 一种基于相对冗余测试集约简的软件缺陷定位方法 - Google Patents

Abstract

本发明公开了一种基于相对冗余测试集约简的软件缺陷定位方法，首先对源程序进行插桩，执行测试用例，收集测试用例的执行信息；根据各个测试用例对源代码的覆盖情况，对整个测试集进行约简；最后计算语句块的怀疑率，按照其大小对语句块排序生成缺陷定位报告。在使用相同缺陷定位技术的前提下，通过本发明得到的代表集计算的缺陷定位效果要优于传统测试集约简得到的代表集计算的缺陷定位效果，且代表集规模相差不大。

Description

一种基于相对冗余测试集约简的软件缺陷定位方法

技术领域

本发明涉及软件自动化测试中的缺陷定位方法，特别涉及存在大量测试用例的情况下，为了有效降低测试成本，在保持原有语句块覆盖程度的基础上对测试集进行约简；为避免大量测试信息的丢失导致缺陷定位效果的下降，继而通过添加部分冗余测试用例到约简后得到的代表集中来保持或提高缺陷定位效果。

背景技术

随着现代大规模软件版本不断更迭，测试集的规模也变得庞大，软件测试的成本也随之上升。测试集约简技术则被考虑用来解决此类问题，它可以找到原测试集中规模更小的一个子集，且能满足原始的测试需求，如语句块覆盖程度，分支覆盖程度等，从而大大降低了软件测试的成本。

然而传统的测试集约简技术考虑的往往是单一的测试需求，所以当大部分测试用例被约简掉后，附加的有用的测试信息就丢失了。而缺陷定位技术就是一个基于统计的使用所有测试用例的测试信息(包括测试用例通过与否和测试用例的执行轨迹)帮助程序员定位缺陷所在位置的新兴技术。因此，缺陷定位技术会受测试集约简的影响而变得不准确。软件缺陷定位方法目前被大量应用于大型软件***的集成测试、***测试、验收测试和用户问题报告分析等阶段和工作中。随着现代大规模软件日益复杂，自动化软件测试的使用越来越广泛。自动化测试能够产生大量的测试用例，并且能够记录测试用例的执行信息，因此在修复缺陷前存在着大量的测试数据可以利用。传统的调试方法只是对未通过的单个测试用例进行缺陷跟踪，这样在自动化测试的环境下一方面很难同时对多个未通过的测试用例进行跟踪，另一方面只考虑未通过的测试用例而忽略了通过的测试用例所能提供的信息。软件缺陷定位方法可以在自动化测试环境下综合利用测试执行信息来定位软件缺陷，提高软件的质量。

基于执行轨迹的软件缺陷定位方法可通过对测试数据进行分析，自动定位软件中存在的缺陷。该方法需要收集和整理测试用例执行信息，通过对执行轨迹进行比对计算代码的被怀疑程度(怀疑率)，开发者可以按照怀疑率从大到小的顺序对被怀疑代码进行审查，减少移除缺陷必须审查的代码数量和范围，提高查找缺陷的效率。但已有的方法通常单独考虑通过和未通过的测试用例，并没有对测试用例进行筛选，不适于大型软件***的缺陷定位。

综上所述，如何有效的约简测试集规模并同时提高或至少保持缺陷定位效果成为软件调试领域的一个热点问题。由于代表集规模往往很小，适当的增加测试用例并不会对测试成本造成太大影响。可以考虑从冗余集中返回部分测试用例来改善语句块覆盖程度的平衡性，从而在不影响测试集约简的前提下，能够保持或提高缺陷定位效果。

发明内容

本发明所要解决的技术问题是针对传统测试集约简算法导致缺陷定位效果下降，提出一种基于相对冗余测试集约简的缺陷定位方法，该方法在保持测试低成本的前提下可以保持或提高缺陷定位的效果。

为实现上所述目的，本发明采用如下的步骤：

1)对源程序进行插桩，执行测试用例，收集测试用例的执行信息，包括执行结果和执行轨迹。

收集和整理测试用例的执行结果并生成执行轨迹，其中执行轨迹可以矩阵的形式表示，每列代表一个测试用例所执行过的语句块情况，1表示执行过，0表示没有执行；每行代表一个语句块被所有测试用例的执行情况；

2)根据各个测试用例对源代码的覆盖情况，对整个测试集进行约简；约简过程为：设整个测试集为T，使用HGS约简算法对所有测试用例进行约简，得到两个测试集合，即代表集REP和冗余集RED；其中冗余集RED又可划分为高度冗余集TIE和候选集CAN，在候选集CAN中选择加入代表集REP的测试用例组成的集合记为关键集KEY，得到新的代表集相对冗余集REL-REP。

根据各个测试用例的代码覆盖情况选择数目尽可能少的测试用例来满足原有的覆盖需求，本发明在该步骤中使用经典的HGS算法进行测试集约简，其原理是根据测试用例的相对重要性并优先保留重要性较高的测试用例，直到达到原测试集的代码覆盖程度。

3)最后根据相对冗余集REL-REP计算语句块的怀疑率，按照其大小对语句块排序生成缺陷定位报告。

根据新得到的代表集中的测试用例的执行结果和执行轨迹计算语句块怀疑率，本发明在该步骤中使用经典的Tarantula方法进行缺陷定位，能够有效利用通过和未通过的测试用例的执行信息取得较好的定位效果。

上述步骤2)中从候选集CAN中选择测试用例的步骤为：根据代表集REP的情况从冗余集RED中选择关键集KEY，其中

且|KEY|＜＜|RED|。

关键集KEY的选择条件是：计算候选集CAN中每个测试用例的权重w，再根据设定保留的测试用例个数n，即|KEY|＝n，或是分界权重w_d，即对任意测试用例t∈KEY，且w_t≥w_d。

权重的计算是根据平衡代表集中测试用例执行轨迹的分布：对代表集REP中的一个测试用例t_i和候选集CAN中的一个测试用例t_j，它们覆盖的语句块之间存在以下3种情况：

●B₁：被t_j覆盖但没有被t_i覆盖的语句块；

●B₂：被t_i和t_j同时覆盖的语句块；

●B₃：被t_i覆盖但没有被t_j覆盖的语句块。

设REP集合的大小为n，按照B₁，B₃，B₂的由高到低的权重顺序计算CAN集合中的测试用例t_j的权值w_j如以下公式所示：

$w_j=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{k=1}{\overset{3}{\mathrm{\Σ}}}{w}_{B_k}\×\left|B_k\right|.$

由于在步骤2)中按照平衡代表集执行轨迹的分布的原则有效的避开了高度冗余情况的出现，且在保留代表集的前提下加入了少量的测试用例，因此在使用相同缺陷定位技术(如Tarantula方法)的前提下，通过本发明得到的代表集计算的缺陷定位效果要优于传统测试集约简得到的代表集计算的缺陷定位效果，且代表集规模相差不大。

下面结合附图进行详细说明。

附图说明

图1是基于相对冗余测试集约简的软件缺陷定位框架结构图，

图2是基于相对冗余测试集约简的软件缺陷定位框架的工作流程图，

图3是测试集的约简和选择框架流程图，

图4是约简处理器(Reduction Processor)的算法流程图，

图5是约简框架流程图中的权值处理器(w Processor)的具体算法流程图，

图6是本专利方法同传统基于执行轨迹缺陷定位方法的定位效果比较图。

具体实施方式

如图1，基于相对冗余测试集约简的软件缺陷定位框架由测试信息收集整理，测试集约简，相对冗余测试用例选择，怀疑率计算和缺陷定位报告生成四个模块构成。测试信息收集整理模块收集和整理测试用例的相关信息；测试集约简模块根据相关的冗余判定标准对测试集进行约简；相对冗余测试用例选择模块根据本专利提出的相对冗余方法对代表集进行测试用例回添操作；最后的怀疑率计算和缺陷定位报告生成模块根据结果计算怀疑率从而进一步生成缺陷定位报告。

本发明的总流程图如图2所示。首先是测试信息的收集整理工作。第1步首先对源程序进行插桩，收集源程序元数据，即关于源程序结构的数据：包括程序中的类，类中的方法，方法中的语句块等。第2步生成各个测试用例的执行驱动文件，包括测试信息收集的一些设置如执行环境、执行信息保存路径等。第3步执行所有的测试用例并收集最终的测试结果，将测试用例的执行轨迹和执行结果保存在指定的目录下。

接下来是测试集的约简和冗余测试用例的回添。测试集约简可以降低测试集的规模从而节约测试成本，但是在一定程度上又会导致部分测试信息的丢失，从而影响缺陷定位的效果。为减小该种影响，以平衡代表集的语句覆盖为目标，在代表集中重新添加一部分冗余集中的测试用例。

本发明的测试集约简模块和相对冗余测试用例选择模块组成的测试用例选择框架如图3所示，其中菱形表示的是数据，矩形表示的是处理过程。各部分的具体含义如下：

●T：原测试集，包括完整的测试信息，即所有测试用例的执行结果和执行轨迹；

●REP：代表集，HGS约简算法的输出结果，能以较少的测试用例满足原始的需求；

●CAN：候选集，冗余集的一部分，用来从中选择能保持或提高缺陷定位效果测试用例的候选测试集合；

●TIE：高度冗余集，冗余集的另一部分，在HGS约简算法中鉴别出来的集合，因和代表集REP中的测试用例有较高的相似度而排除出回添的可能性，否则会造成缺陷定位效果的下降；

●REL-REP：相对冗余集，由代表集REP和从候选集CAN中选出的关键测试用例组成的新的测试集；

●约简处理器：对原始测试集进行约简的模块；

●权值处理器：从候选集CAN中选择部分测试用例回添到代表集REP中的评价模块。

整个用例选择的框架流程为将原始测试集T进行约简，得到三个测试集合，代表集REP，被排除的高度冗余集TIE，以及余下的可以用来回添的候选集CAN。然后根据权值处理器的处理方法，从候选集CAN中选择部分用例回添到代表集REP得到相对冗余集REL-REP。最终再执行相对冗余集REL-REP中的测试用例，并进行评价，得到最终的报告。图4即是测试集约简算法的流程图，其中包括代表集REP和高度冗余集TIE的生成细节。

作为本发明独创部分的核心，权值处理器是对候选集CAN中测试用例的评价模块。该模块的工作流程如图5所示。首先对之前经过约简处理器处理过而生成的代表集REP和候选集CAN进行序列化，然后针对候选集CAN中的每一个用例，都从代表集REP中选择所有的用例，针对二者的路径覆盖向量计算二者的相对冗余权值。对于从二者中分别取出的测试用例t_i和t_j来说，他们覆盖语句块的情况存在以下三种情况：

●B₁：被t_j覆盖但没有被t_i覆盖的语句块集合；

●B₂：被t_i和t_j同时覆盖的语句块集合；

●B₃：被t_i覆盖但没有被t_j覆盖的语句块集合。

根据语句块覆盖程度的平衡性原理，当我们从候选集CAN中选择测试用例时，需要尽可能的多覆盖B₁并避免覆盖B₂；B₃不是考虑的重点，但覆盖它有助于平衡语句块之间的覆盖程度；因此我们将按照B₁，B₃，B₂的权重顺序进行计算。令|B_k|表示t_i和t_j的执行轨迹中第k种语句块的数目，

表示第k种语句块的权重，按照B₁，B₃，B₂的顺序，可以将

的值设为最高，

其次，最低，从而在一定程度上拉开了候选集CAN中测试用例不同程度的贡献值。其中相对冗余距离的计算公式如公式(1)所示：

$d=\left|B_1\right|\×w_{B_1}+\left|B_2\right|\×w_{B_2}+\left|B_3\right|\×w_{B_3}---\left(1\right)$

本发明的经验公式为 $w_{B_1}=3,$ $w_{B_2}=-1,$ $w_{B_3}=1.$

对于任意候选集CAN中的元素t_j，我们都需要得到其与所有代表集REP中元素的相对冗余距离，最后合并计算其级数。在每次循环过程中，都有w_j＝w_j’+d，这里w_j’是指上一个循环结束之后得到的w_j值。综上所述，候选集CAN中t_j的权值w_j如公式(2)所示：

回添到代表集REP集合中去。本发明提供两种选择，即选择一定数量的排名靠前的测试用例，如选择排名前20的测试用例或是根据具体情况，设定某种阈值并选择大于此阈值的测试用例，如设定基准值c，对候选集CAN中任意的测试用例t_j，当且仅当其权值w_j≥c时被选择。

在完成所有的选择回添之后，我们得到了相对冗余集REL-REP，根据该测试集计算怀疑率并生成缺陷定位报告。本专利所采用的缺陷定位方法是传统的Tarantula方法，该方法利用所有测试用例的信息来计算各个语句块的怀疑率，其假设是主要被未通过的测试用例执行过的语句块要比主要被通过的测试用例执行过的语句块更有可能含有缺陷。该方法使用下面的公式对各个语句块计算怀疑率：

$\mathrm{sus}\left(b\right)=\frac{\%\mathrm{failed}\left(b\right)}{\%\mathrm{failed}\left(b\right)+\%\mathrm{passed}\left(b\right)}---\left(3\right)$

其中sus(b)表示语句块b的怀疑率，％failed(b)是执行语句块b的未通过的测试用例个数和所有未通过的测试用例个数的比值，％passed(b)是执行了语句块b的通过的测试用例个数和所有通过的测试用例个数的比值。

本发明使用Emma来对源代码进行插桩，JUnit完成测试用例执行，并用Ant来完成整个流程的自动化。测试对象是开源软件NanoXML，根据预先植入的16个缺陷将其分成16个单缺陷版本，用来对本发明效果进行检测。通过观察实验结果中缺陷语句块的排位来判定实验效果。排位越高，说明缺陷定位效果越好，即程序员需要检测的语句块数量越少；否则，排位越低，说明缺陷定位效果越差，即程序员需要检测的语句块数量越多。因此可以将排在缺陷语句块前的语句块数目与总语句块数目之比作为实验效果好坏的统计指标。假设排在缺陷语句块前的语句块数目为m，总的语句块数目为N，则定义统计指标score＝m/N。对于三个测试集：原测试集，代表集和相对冗余集，分别统计其score值，同时统计其规模以便评估本方法的综合效果。如图6所示，在所有的单缺陷版本中，只有在第6个版本的缺陷中，相对冗余集的score值大于原测试集的score值，而其他的版本中相对冗余集中的score值都小于或等于原测试集的score值；在平均情况统计中，相对冗余集的score值小于原测试集的score值。表1则是3类测试集：原测试集，代表集和相对冗余集的规模比较，可以看出在保持或提高缺陷定位效果的情况下，测试集依然维持在较小的规模，验证了本专利的实际效果。

表1

Claims (1)

1.一种基于相对冗余测试集约简的软件缺陷定位方法，其特征在于包括以下步骤：

1)对源程序进行插桩，执行测试用例，收集测试用例的执行信息，包括执行结果和执行轨迹；

2)根据各个测试用例对源代码的覆盖情况，对整个测试集进行约简；约简过程为：设整个测试集为T，使用HGS约简算法对所有测试用例进行约简，得到两个测试集合，即代表集REP和冗余集RED；其中冗余集RED又可划分为高度冗余集TIE和候选集CAN，在候选集CAN中选择加入代表集REP的测试用例组成的集合记为关键集KEY，得到新的代表集相对冗余集REL-REP；

其中关键集KEY的选择条件是：设定关键集KEY规模n或者设定分界权重w_d；计算候选集CAN中每个测试用例的权重w；如果设定关键集规模n，则选择权重最大的n个测试用例加入KEY集合；如果设定分界权重w_d，则选择所有权重大于等于w_d的测试用例加入KEY集合，即对任意测试用例t∈KEY，有w_t≥w_d；

而权重的计算是要求平衡所选代表集中测试用例执行轨迹的分布：对代表集REP中的一个测试用例t_i和候选集CAN中的一个测试用例t_j，它们覆盖的语句块之间存在以下3种情况：

●B₁：被t_j覆盖但没有被t_i覆盖的语句块；

●B₂：被t_i和t_j同时覆盖的语句块；

●B₃：被t_i覆盖但没有被t_j覆盖的语句块；

设REP集合的大小为n，按照B₁，B₃，B₂的由高到低的权重顺序计算CAN集合中的测试用例t_j的权值w_j如以下公式所示：

其中，|B_k|表示t_i和t_j的执行轨迹中第k种语句块的数目，

表示第k种语句块的权重；

3)最后根据相对冗余集REL-REP以Tarantula方法计算语句块的怀疑率，按照其大小对语句块排序生成缺陷定位报告。

Images