CN105335379A - 突变测试中对突变、测试用例、随机种子的组合排序的方法和设备 - Google Patents

Abstract

本发明公开了一种突变测试中对突变、测试用例、随机种子的组合排序的方法和设备，该方法包括：根据测试用例目标的信号，对编译后的待测试集成电路获得与该测试用例目标的信号相关的逻辑门及相关的逻辑门上的突变；计算所述突变与所述测试用例目标的信号之间的距离；对编译后的待测试集成电路进行电路仿真，获得突变、测试用例、随机种子的组合对应的激活周期数；获得突变、测试用例的组合对应的激活周期数方差；以及根据所述距离，所述激活周期数，以及所述激活周期数方差，对突变、测试用例、随机种子的组合排序。该方法和设备能够减少突变仿真选择等价突变的概率。

Description

突变测试中对突变、测试用例、随机种子的组合排序的方法和设备

技术领域

本发明涉及集成电路测试平台质量的评估，更具体地，涉及一种突变测试中对突变、测试用例、随机种子的组合排序的方法和设备。

背景技术

功能验证(FunctionalVerification)是保证集成电路功能正确性的方法，在集成电路设计流程中占据至关重要的地位。高质量的功能验证平台是保证整个流程可信与可靠，进而确保集成电路功能正确性的前提。突变测试(MutationTesting)可以对功能验证平台的质量进行评估，使得验证工程师可以定量地给出评估标准。

当前的突变测试的基本步骤分为三个部分：1)为编译后的待测试集成电路的多个逻辑门产生突变后，随机选择至少一个突变(Mutant)。这里待测试集成电路可以使用硬件描述语言(HDLDesign)描述，可以使用诸如NCVerilog、NCVHDL、Portals等等之类的工具进行编译。这里突变是指改变待测试集成电路(DesignUnderTest)中某一逻辑门的功能，例如，将“与”逻辑门的功能更改为“或/异或/同或”逻辑门，总之，只要功能和“与”不一样，即称之为一个突变。为编译后的待测试集成电路的多个逻辑门产生突变是现有技术，可以使用现有的改变逻辑门功能、改变逻辑门输入输出个数等方法实现。

2)对待测试集成电路进行突变测试仿真。突变测试仿真和普通的电路仿真是很类似的，唯一的区别就是在仿真过程中使能了突变。在每次突变测试仿真过程中，只能使能一个突变和一个测试用例。这里的测试用例是指根据测试目标，给待测试集成电路加上一系列的输入，并通过检查器观察待测试集成电路的输出是否符合预期状态，每一组输入信号加上相应的检查策略，称之为一个测试用例。例如，如果要测试一个有两个输入信号的“与”逻辑门的功能，需要给“与”逻辑门的两个输入信号加上不同的值，<1，1>；<1，0>；<0，1>；<0，0>，每一组输入值有期望的输出检查，比如当输入为<1，1>时，期望输出是1，当输入为<1，0>时，期望输出是0，以此类推。在这里，每一组输入值，就是一个针对“与”逻辑门的测试用例。

3)综合一系列逻辑功能变化及其观测结果，给出功能验证平台质量的定量评估标准。也就是循环执行步骤1和2，得到一系列逻辑门的突变测试结果。根据获得的结果，观察功能验证平台是否能够正常检查到待测试集成电路的逻辑功能变化。例如，在上述“与”门例子中，如果输入信号是<0，1>，那么本来“与”门的输出结果应该是0，功能验证平台也应该期望输出结果是0。如果将“与”门的功能改变为了“或”，那么这个时候输出就变成了1，这时要观察功能验证平台是否能够正常报错，因为功能验证平台还以为逻辑功能是“与”。如果功能验证平台没有报错，那么说明功能验证平台没有正常检查到逻辑功能的变化，那么这个检查器就有问题。

在进行突变测试时，如果要精确观察功能验证平台是否可检测到所有逻辑功能的变化，最好遍历全部的突变和测试用例。假设存在1百万个突变，使用50个测试用例，4个随机种子，每次仿真1小时，则要进行2亿小时的突变测试仿真。随机选择突变时，若在某次仿真中，由于使用的当前测试用例产生的测试激励(Stimulus)无法将该突变激活(Activation)，则该次仿真的结果与无突变的仿真结果一致，该次仿真成为一次无效的仿真，该突变被称之为等价突变(EqualMutant)。等价突变原因是当前测试用例没有给突变加上可以导致其功能发生变化的输入信号。还是以上述“与”逻辑门为例，如果将“与”突变为“或”，而测试用例仅仅有两个，一个是给输入信号<1，1>，另一个是给输入信号<0，0>，那么这两种输入信号的对于“与”和“或”来说，输出都是一样的，功能没有发生变化，因此该突变没有被激活。

为了提高功能验证平台质量评估的效率，需要减少等价突变。

发明内容

等价突变与突变本身、测试用例甚至仿真时使用随机种子都有关系。在现有技术中，由于测试中对多个逻辑门生成的突变是随机选择的，可能选择的突变为等价突变的概率比较大，造成无效仿真。本发明提出的方法和***能够对突变、测试用例、随机种子的组合进行排序，从而可以减少选择等价突变的概率，从而在有效的测试时间内，减少无效仿真，提高功能验证平台质量评估的效率。

根据本发明的一个方面，提供了一种突变测试中对突变、测试用例、随机种子的组合排序的方法，包括：

根据测试用例目标的信号，对编译后的待测试集成电路获得与该测试用例目标的信号相关的逻辑门及相关的逻辑门上的突变；

计算所述突变与所述测试用例目标的信号之间的距离；

对编译后的待测试集成电路进行电路仿真，获得突变、测试用例、随机种子的组合对应的激活周期数；

获得突变、测试用例的组合对应的激活周期数方差；以及

根据所述距离，所述激活周期数，以及所述激活周期数方差，对突变、测试用例、随机种子的组合排序。

根据本发明的另一个方面，提供了一种突变测试中对突变、测试用例、随机种子的组合排序的设备，包括：

相关逻辑门及其上的突变获得装置，被配置为根据测试用例目标的信号，对编译后的待测试集成电路获得与该测试用例目标的信号相关的逻辑门及相关的逻辑门上的突变；

距离计算装置，被配置为计算所述突变与所述测试用例目标的信号之间的距离；

激活周期数获得装置，被配置为对编译后的待测试集成电路进行电路仿真，获得突变、测试用例、随机种子的组合对应的激活周期数；

激活周期数方差获得装置，被配置为获得突变、测试用例的组合对应的激活周期数方差；以及所述激活周期数，以及所述激活周期数方差，对突变、测试用例、随机种子的组合排序。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了适于用来实现本发明实施方式的示例性计算机***/服务器12的框图；

图2示出了根据本发明一种实施方式的一种突变测试中对突变排序的方法的流程；

图3是根据三种不同测试用例目标的信号所确定的不同第一区域的示意图；

图4示出了步骤S201的获得相关的逻辑门的具体实现步骤；

图5示意性示出了对一个部分集成电路生成的控制数据流图的示意图；

图6示出了图5所示出的控制数据流图在给定测试用例目标的信号为输出信号x的情况下，与输出信号x相关的所有逻辑门；以及

图7示出了一种突变测试中对突变、测试用例、随机种子的组合排序的设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

图1示出了适于用来实现本发明实施方式的示例性计算机***/服务器12的框图。图1显示的计算机***/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图1所示，计算机***/服务器12以通用计算设备的形式表现。计算机***/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。

计算机***/服务器12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机***/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机***/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图1未显示，通常称为“硬盘驱动器”)。尽管图1中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机***/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机***/服务器12交互的设备通信，和/或与使得该计算机***/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机***/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机***/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机***/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

图2示出了根据本发明一种实施方式的一种突变测试中对突变排序的方法的流程，根据图2，在步骤S201，根据测试用例目标的信号，对编译后的待测试集成电路获得与该测试用例目标的信号相关的逻辑门及相关的逻辑门上的突变；在步骤S202，计算所述突变与所述测试用例目标的信号之间的距离；在步骤S203，对编译后的待测试集成电路进行电路仿真，获得突变、测试用例、随机种子(RandomSeed)的组合对应的激活周期数；在步骤S204，获得突变、测试用例的组合对应的激活周期数方差；在步骤S205，根据突变与测试用例目标的信号之间的距离、突变、测试用例、随机种子的组合对应的激活周期数、以及突变、测试用例的组合对应的激活周期数方差，对突变、测试用例、随机种子的组合排序。

排序后，可以根据排序的突变、测试用例、随机种子的组合选择部分组合进行突变测试仿真。

在步骤S201的，根据测试用例目标的信号，对编译后的待测试集成电路获得与该测试用例目标的信号相关的逻辑门及相关的逻辑门上的突变。将这些逻辑门组合起来的区域，本发明称之为第一区域。该第一区域是逻辑上与该测试用例相关的所有逻辑门的集合。其中，测试目标就是测试用例所希望测试的内容。例如上述“与”逻辑门例子中，测试用例的目标就是测试该“与”逻辑门的输出是否满足“与”这个行为，在某些情况下，测试用例目标的信号是该逻辑门的输出，在另外一些情况下，测试用例目标的信号是逻辑门的中间信号等。在确定第一区域时，测试用例目标的信号可以包含以下三种不同的信号，即测试用例所针对的特定模块输入输出管脚的信号；测试用例所针对的特定寄存器比特的信号；以及测试用例所针对的内部状态机的特定状态的信号。图3是根据三种不同测试用例目标的信号所确定的不同第一区域的示意图。使用不同的测试用例目标的信号有可能确定第一区域是不同的。

图4示出了步骤S201的获得相关的逻辑门的具体实现步骤，根据图4，在步骤S401，为编译后的待测试集成电路生成控制数据流图(CDFG)。该步骤是本领域技术人员常用的技术手段，这里不再描述其具体实现方法。图5示意性示出了对一个部分集成电路生成的控制数据流图的示意图。

在步骤S402，根据测试用例目标的信号，对生成的控制数据流图使用图搜索算法，确定该控制数据流图中与测试用例目标的信号相关的逻辑门。图搜索算法也是本领域技术人员常用的技术手段，这里不再赘述。图6示出了图5所示出的控制数据流图在给定测试用例目标的信号为输出信号x的情况下，与输出信号x相关的所有逻辑门，其中相关的所有逻辑门为灰色圆圈。可见，步骤S201可以将逻辑门数量缩小到一定范围，例如编译后的待测试集成电路一共10万个逻辑门，分析后可以确定2万个相关的逻辑门。

关于相关的逻辑门上的突变的获得，一种实施方式可以利用现有技术首先为编译后的待测试集成电路的所有逻辑门产生突变，一旦在步骤S402中响应于确定了相关的逻辑门，就可以获取相关的逻辑门上的突变。在另一种实施方式中，也可以先在步骤S402中响应于确定了相关的逻辑门，再仅为相关的逻辑门产生突变。

在步骤S201得到第一区域、相关的逻辑门及其上的突变后，可以在步骤S202计算所述突变与所述测试用例目标的信号之间的距离。计算时可以根据控制数据流图利用相关的逻辑门与测试用例目标的信号之间相隔的逻辑门个数，或者相关的逻辑门与测试用例目标的信号之间相隔的寄存器个数等方法来作为相关的逻辑门上的突变与所述测试用例目标的信号之间的距离。该距离是最后计算突变、测试用例、随机种子的组合的排序优先级的参数之一，距离越近，则该突变对该测试用例目标的信号造成影响的可能性越大，因此该突变、测试用例、随机种子的组合应该被给予更高的优先级。参照图6所示的集成电路，如果使用相隔的逻辑门个数来计算突变与测试用例目标的信号的距离，则0号突变(#0MU)与测试用例目标的输出信号x间相隔2个逻辑门，因此其距离为2。类似的，1号突变(#1MU)与测试用例目标的输出信号x距离为1。

回到图2，在步骤S203的对编译后的待测试集成电路进行电路仿真，获得突变、测试用例、随机种子的组合对应的激活周期数的实现方案中，可以对每个测试用例，执行如下步骤：对编译后的待测试集成电路进行预定次数的电路仿真，其中在每次电路仿真中，获得该次电路仿真对应的一个随机种子，以及每个突变在该测试用例下的激活周期数。突变测试仿真可以使用的工具包括NCSIM、VCS、ModelSim、Mesa等等。表1示出了一个简单的对突变、测试用例、随机种子的组合进行排序优先级计算的例子。在表1中，每个突变、测试用例、随机种子的组合被赋予一个标识号，对应一组突变、测试用例、随机种子值，也就是一个组合。表1中包括两个突变，即0号突变和1号突变，以及2个测试用例，即0号测试用例和1号测试用例。实际上，在一次的电路仿真中，所有的产生的突变都被加载到对应的相关的逻辑门上，但是突变并不被激活。这样可以针对一个测试用例，通过普通的电路仿真该次仿真的随机种子，并且获得在该测试用例下每个突变的激活周期数。特定的随机种子才能对应确定的激活周期数。然后对相同的测试用例，再进行多次电路仿真，获得每次电路仿真对应的一个随机种子，以及每个突变在该测试用例下的激活周期数，这里的多次仿真加上第一次的仿真可以认为是预定次数的仿真，例如表1中预定次数就是3。然后再对不同的测试用例，每个测试用例都执行预定次数的电路仿真，得到每次仿真对应的一个随机种子，以及每个突变在该测试用例下的激活周期数。例如，对于表1所示的例子，在第一次电路仿真中，对标识为0和6的组合进行仿真，得到随机种子0x52b3487f以及两个激活周期数；在第二次电路仿真中，对标识为1和7的组合进行仿真，得到随机种子0x9837abcf以及两个激活周期数；在第三次电路仿真中，对标识为2和8的组合进行仿真，得到随机种子0xab48dce9以及两个激活周期数；以此类推，一共要进行6次电路仿真，得到6个随机种子和12个激活周期数。电路仿真时需要的随机种子，可以由用户输入；如果没有输入随机种子，仿真平台就自动生成一个随机种子。激活周期数越大，则说明该突变、测试用例、随机种子的组合越有可能对待测试集成电路造成影响，从而应该给予更高的排序优先级。

在同样的突变和同样的测试用例组合中，若使用不同的随机种子所得到的激活周期数的变化非常大，那么应该给予该突变、测试用例、随机种子的组合更高的排序优先级。这是因为该情况说明对于测试用例和突变来说，该随机种子所触发的情况是异常情况(Abnormal)，能够给功能验证平台提供更大的测试压力，因此应该给予更高的排序优先级。该变化情况可以通过步骤S204计算相同突变、相同测试用例、不同随机种子情况下对应的所有激活周期数的方差(Deviation)来实现。如何计算若干值的方差是本领域技术人员公知的，这里不再赘述。例如对于表1的例子，可以得到4个方差值。

在步骤S205的根据突变与测试用例目标的信号之间的距离、突变、测试用例、随机种子的组合对应的激活周期数、以及突变、测试用例的组合对应的激活周期数方差，对突变、测试用例、随机种子的组合排序中，前面已经叙述，对突变、测试用例、随机种子的组合排序的排序准则包括：距离越近(小)，该组合应该被给予更高的优先级；激活周期数越大，应该给予该组合更高的优先级；并且激活周期数的方差越大，该组合应该被给予更高的优先级。在一种简单的实现方式中，可以使用以下公式来计算突变的优先级：

$P_{m,t,s}=F_s\&times;\frac{1}{d}+F_d\&times;\frac{v}{c_{\mathrm{total}}}+F_D\&times;\frac{D}{c_{\mathrm{total}}}$

其中，P_m，t，s为突变、测试用例和随机种子的组合对应的排序优先级；F_s为静态距离调节因子，取值范围为0-1之间的数；F_d为突变激活周期数调节因子，取值范围为0-1之间的数；F_D突变激活周期数方差调节因子，取值范围为0-1之间的数；d为突变与测试用例目标的信号之间的距离；v为突变、测试用例和随机种子的组合对应的突变激活周期数；D为突变和测试用例的组合对应的激活周期数方差；c_total为仿真总周期数。这里F分别为不同部分的调节因子，允许工程师根据具体的项目特点对不同部分所占的比例进行调节。根据突变、测试用例、随机种子的组合排序的排序准则，计算组合的优先级的方法有多种，上述公式仅为其中一种。本领域技术人员可以根据上述原则设计合适的组合优先级的计算方法。

表1

表1给出了不同部分的调节因子均为1时使用上述公式计算出的对于每个组合的排序优先级。可以根据该优先级的值对组合进行排序。

在排序结果中，排序最高(0号标识)的为突变标号0、测试用例标号0和该特定随机种子的组合，排序第二的(5号标识)为突变标号1，测试用例标号1和该特定随机种子的组合，以此类推，按照组合的标识排序结果为：0、5、3、10、4、2、8、6、7、1、9、11。这样就可以按照排序后的组合进行突变测试仿真。例如，如果只选择5个组合，则选择的标识号为：0、5、3、10、4。在一种实施方式中，根据突变、测试用例、随机种子的组合的排序以及测试要求，选择部分突变、测试用例、随机种子的组合；以及使用选择的突变、测试用例、随机种子的组合对编译后的待测试集成电路进行突变仿真。在仿真过程中，突变被使能。

如果产生的突变在逻辑上与某个输出信号相关，那么该输出信号成为该突变的目标点。如果突变激活了，那么期望该目标点的行为也发生变化，即也被激活。总体来看，如果对突变、测试用例以及随机种子的组合的排序得当，那么电路仿真后，会观察到总的测试用例目标的激活周期数，和总的突变的激活周期数非常接近。通过他们之间的比例，可以定量地确定当前排序的质量。基于这个理念，在一种优选的实施方式中，可以通过如下公式确定上述组合排序的质量。

其中选择的组合是指对突变、测试用例、随机种子的组合排序后选择进行突变测试的突变、测试用例、随机种子的组合，例如对于表1中，就是指标识号为：053104的组合。每个组合具有至少一个相关的测试用例目标，当有多于一个相关的测试用例目标时，要通过控制数据流图得到该突变所对应的全部测试目标的信号的个数，作为相关的测试用例目标个数。具体通过控制数据流图得到该突变所对应的全部测试目标的信号的个数是本领域技术人员的常用知识，这里不再赘述。假设组合0、5、3、10、4对应的相关的测试用例目标个数分别为1，2，3，4，5，6，则对0号组合激活并使能突变后使用随机种子0x52b3487f进行突变仿真，可以得到每个测试用例目标对应的该组合相关的测试用例目标激活周期数，例如对于5号组合，根据上面的假设，有两个测试用例目标，假设突变仿真得到的该组合相关的测试用例目标激活周期数分别为A和B，则在上式的分子中将A+B的和记入，同样，对于其他组合也是类似的，这样，分子中一共有1+2+3+4+5+6＝21个不同的组合相关的测试用例目标激活周期数相加得到的和。分母中的“与选择的组合相关的测试用例目标个数”为21，“选择的组合激活周期数”是表1中上述6个组合的突变激活周期数的列中的每个数的平均值。具体来说，Q_p越大，选择的组合越合适，也就是排序的质量越高。具体本领域技术人员可以根据经验，为Q_p设定一个阈值，只有满足阈值条件的Q_p对应的组合对应的排序才被接受，否则，需要重新排序。

在同一个发明构思下，本发明还公开了一种突变测试中对突变、测试用例、随机种子的组合排序的设备，图7示出了一种突变测试中对突变、测试用例、随机种子的组合排序的设备700的结构框图，根据图7，该设备包括包括：相关逻辑门及其上的突变获得装置701，被配置为根据测试用例目标的信号，对编译后的待测试集成电路获得与该测试用例目标的信号相关的逻辑门及相关的逻辑门上的突变；距离计算装置702，被配置为计算所述突变与所述测试用例目标的信号之间的距离；激活周期数获得装置703，被配置为对编译后的待测试集成电路进行电路仿真，获得突变、测试用例、随机种子的组合对应的激活周期数；激活周期数方差获得装置704，被配置为获得突变、测试用例的组合对应的激活周期数方差；以及排序装置705，被配置为根据突变与测试用例目标的信号之间的距离，突变、测试用例、随机种子的组合对应的激活周期数，以及突变、测试用例的组合对应的激活周期数方差，对突变、测试用例、随机种子的组合排序。

在一种实施方式中，相关逻辑门及其上的突变获得装置包括：控制数据流图生成装置，被配置为为所述编译后的待测试集成电路生成控制数据流图；以及相关逻辑门获得装置，被配置为根据所述测试用例目标的信号，对生成的控制数据流图使用图搜索算法，确定该控制数据流图中与所述测试用例目标的信号相关的逻辑门。

在一种实施方式中，所述相关逻辑门及其上的突变获得装置使用如下方式之一获得相关的逻辑门上的突变：(1)为所述编译后的待测试集成电路的所有逻辑门产生突变；以及响应于确定了相关的逻辑门，获取相关的逻辑门上的突变；(2)响应于确定了相关的逻辑门，仅为相关的逻辑门产生突变。

在一种实施方式中，距离计算装置使用如下方式之一计算所述突变与所述测试用例目标的信号之间的距离：(1)根据所述控制数据流图将所述相关的逻辑门与所述测试用例目标的信号之间相隔的逻辑门个数作为该相关的逻辑门上的突变与所述测试用例目标的信号之间的距离；(2)根据所述控制数据流图将所述相关的逻辑门与所述测试用例目标的信号之间相隔的寄存器个数作为该相关的逻辑门上的突变与所述测试用例目标的信号之间的距离。

在一种实施方式中，所述激活周期数获得装置被进一步配置为：对每个测试用例，执行如下步骤：对所述编译后的待测试集成电路进行预定次数的电路仿真，其中在每次电路仿真中，获得该次电路仿真对应的一个随机种子，以及每个所述突变在该测试用例下的激活周期数。

在一种实施方式中，排序装置使用的排序准则包括：(1)突变与测试用例目标的信号之间的距离越小，该突变、测试用例、随机种子的组合的排序优先级越大；(2)突变、测试用例、随机种子的组合对应的激活周期数越大，该突变、测试用例、随机种子的组合的排序优先级越大；(3)突变、测试用例的组合对应的激活周期数方差越大，该突变、测试用例、随机种子的组合的排序优先级越大。

在一种实施方式中，排序装置使用如下公式计算突变、测试用例、随机种子的组合的排序优先级：

$P_{m,t,s}=F_s\&times;\frac{1}{d}+F_d\&times;\frac{v}{c_{\mathrm{total}}}+F_D\&times;\frac{D}{c_{\mathrm{total}}}$

其中，P_m，t，s为突变、测试用例和随机种子的组合对应的排序优先级；F_s为静态距离调节因子，取值范围为0-1之间的数；F_d为突变激活周期数调节因子，取值范围为0-1之间的数；F_D突变激活周期数方差调节因子，取值范围为0-1之间的数；d为突变与测试用例目标的信号之间的距离；v为突变、测试用例和随机种子的组合对应的突变激活周期数；D为突变和测试用例的组合对应的激活周期数方差；c_total为仿真总周期数。

在一种实施方式中，该设备还包括(图7未示出)：组合选择装置，被配置为根据突变、测试用例、随机种子的组合的排序以及测试要求，选择部分突变、测试用例、随机种子的组合；以及突变仿真装置，被配置为使用选择的突变、测试用例、随机种子的组合对编译后的待测试集成电路进行突变仿真。

在一种实施方式中，该设备还包括(图7未示出)：评估装置，被配置为使用下式评估选择的突变、测试用例、随机种子的组合是否合适：

其中，Q_p越大，选择的组合越合适。

在一种实施方式中，该设备还包括(图7未示出)：重新排序装置，被配置为响应于Q_p不满足设定的阈值，对突变、测试用例、随机种子的组合重新排序。

本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Java、Smalltalk、C++等，以及常规的过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (20)

1.一种突变测试中对突变、测试用例、随机种子的组合排序的方法，包括：

根据测试用例目标的信号，对编译后的待测试集成电路获得与该测试用例目标的信号相关的逻辑门及相关的逻辑门上的突变；

计算所述突变与所述测试用例目标的信号之间的距离；

对编译后的待测试集成电路进行电路仿真，获得突变、测试用例、随机种子的组合对应的激活周期数；

获得突变、测试用例的组合对应的激活周期数方差；以及

根据所述距离，所述激活周期数，以及所述激活周期数方差，对突变、测试用例、随机种子的组合排序。

2.根据权利要求1所述的方法，其中对编译后的待测试集成电路获得与该测试用例目标的信号相关的逻辑门包括：

为所述编译后的待测试集成电路生成控制数据流图；

根据所述测试用例目标的信号，对生成的控制数据流图使用图搜索算法，确定该控制数据流图中与所述测试用例目标的信号相关的逻辑门。

3.根据权利要求1所述的方法，其中所述获得相关的逻辑门上的突变使用如下方式之一：

为所述编译后的待测试集成电路的所有逻辑门产生突变，以及响应于确定了相关的逻辑门，获取相关的逻辑门上的突变；或

响应于确定了相关的逻辑门，仅为相关的逻辑门产生突变。

4.根据权利要求2所述的方法，所述计算所述突变与所述测试用例目标的信号之间的距离使用如下方式之一：

根据所述控制数据流图将所述相关的逻辑门与所述测试用例目标的信号之间相隔的逻辑门个数作为该相关的逻辑门上的突变与所述测试用例目标的信号之间的距离；

根据所述控制数据流图将所述相关的逻辑门与所述测试用例目标的信号之间相隔的寄存器个数作为该相关的逻辑门上的突变与所述测试用例目标的信号之间的距离。

5.根据权利要求1所述的方法，其中所述对编译后的待测试集成电路进行电路仿真，获得突变、测试用例、随机种子的组合对应的激活周期数包括：

对每个测试用例，执行如下步骤：

对所述编译后的待测试集成电路进行预定次数的电路仿真，其中在每次电路仿真中，获得该次电路仿真对应的一个随机种子，以及每个所述突变在该测试用例下的激活周期数。

6.根据权利要求1所述的方法，其中所述根据突变与测试用例目标的信号之间的距离，突变、测试用例、随机种子的组合对应的激活周期数，以及突变、测试用例的组合对应的激活周期数方差，对突变、测试用例、随机种子的组合排序的排序准则包括：

突变与测试用例目标的信号之间的距离越小，该突变、测试用例、随机种子的组合的排序优先级越大；

突变、测试用例、随机种子的组合对应的激活周期数越大，该突变、测试用例、随机种子的组合的排序优先级越大；

突变、测试用例的组合对应的激活周期数方差越大，该突变、测试用例、随机种子的组合的排序优先级越大。

7.根据权利要求6所述的方法，其中使用如下公式计算突变、测试用例、随机种子的组合的排序优先级：

$P_{m,t,s}=F_s\&times;\frac{1}{d}+F_d\&times;\frac{v}{c_{\mathrm{total}}}+F_D\&times;\frac{D}{c_{\mathrm{total}}}$

其中，P_m，t，s为突变、测试用例和随机种子的组合对应的排序优先级；F_s为静态距离调节因子，取值范围为0-1之间的数；F_d为突变激活周期数调节因子，取值范围为0-1之间的数；F_D突变激活周期数方差调节因子，取值范围为0-1之间的数；d为突变与测试用例目标的信号之间的距离；v为突变、测试用例和随机种子的组合对应的突变激活周期数；D为突变和测试用例的组合对应的激活周期数方差；c_total为仿真总周期数。

8.根据权利要求6或7所述的方法，还包括：

根据突变、测试用例、随机种子的组合的排序以及测试要求，选择部分突变、测试用例、随机种子的组合；以及

使用选择的突变、测试用例、随机种子的组合对编译后的待测试集成电路进行突变仿真。

9.根据权利要求8所述的方法，其中使用下式评估选择的突变、测试用例、随机种子的组合是否合适：

其中，Q_p越大，选择的组合越合适。

10.根据权利要求9所述的方法，该方法还包括：响应于Q_p不满足设定的阈值，对突变、测试用例、随机种子的组合重新排序。

11.一种突变测试中对突变、测试用例、随机种子的组合排序的设备，包括：

相关逻辑门及其上的突变获得装置，被配置为根据测试用例目标的信号，对编译后的待测试集成电路获得与该测试用例目标的信号相关的逻辑门及相关的逻辑门上的突变；

距离计算装置，被配置为计算所述突变与所述测试用例目标的信号之间的距离；

激活周期数获得装置，被配置为对编译后的待测试集成电路进行电路仿真，获得突变、测试用例、随机种子的组合对应的激活周期数；

激活周期数方差获得装置，被配置为获得突变、测试用例的组合对应的激活周期数方差；以及

排序装置，被配置为根据所述距离，所述激活周期数，以及所述激活周期数方差，对突变、测试用例、随机种子的组合排序。

12.根据权利要求11所述的设备，其中所述相关逻辑门及其上的突变获得装置包括：

控制数据流图生成装置，被配置为为所述编译后的待测试集成电路生成控制数据流图；

相关逻辑门获得装置，被配置为根据所述测试用例目标的信号，对生成的控制数据流图使用图搜索算法，确定该控制数据流图中与所述测试用例目标的信号相关的逻辑门。

13.根据权利要求11所述的设备，其中所述相关逻辑门及其上的突变获得装置使用如下方式之一获得相关的逻辑门上的突变：

为所述编译后的待测试集成电路的所有逻辑门产生突变，以及响应于确定了相关的逻辑门，获取相关的逻辑门上的突变；或

响应于确定了相关的逻辑门，仅为相关的逻辑门产生突变。

14.根据权利要求12所述的设备，所述距离计算装置使用如下方式之一计算所述突变与所述测试用例目标的信号之间的距离；

根据所述控制数据流图将所述相关的逻辑门与所述测试用例目标的信号之间相隔的逻辑门个数作为该相关的逻辑门上的突变与所述测试用例目标的信号之间的距离；

根据所述控制数据流图将所述相关的逻辑门与所述测试用例目标的信号之间相隔的寄存器个数作为该相关的逻辑门上的突变与所述测试用例目标的信号之间的距离。

15.根据权利要求11所述的设备，其中所述激活周期数获得装置被进一步配置为：对每个测试用例，执行如下步骤：

对所述编译后的待测试集成电路进行预定次数的电路仿真，其中在每次电路仿真中，获得该次电路仿真对应的一个随机种子，以及每个所述突变在该测试用例下的激活周期数。

16.根据权利要求11所述的设备，其中所述排序装置使周的排序准则包括：

突变与测试用例目标的信号之间的距离越小，该突变、测试用例、随机种子的组合的排序优先级越大；

突变、测试用例、随机种子的组合对应的激活周期数越大，该突变、测试用例、随机种子的组合的排序优先级越大；

突变、测试用例的组合对应的激活周期数方差越大，该突变、测试用例、随机种子的组合的排序优先级越大。

17.根据权利要求16所述的设备，其中所述排序装置使用如下公式计算突变、测试用例、随机种子的组合的排序优先级：

$P_{m,t,s}=F_s\&times;\frac{1}{d}+F_d\&times;\frac{v}{c_{\mathrm{total}}}+F_D\&times;\frac{D}{c_{\mathrm{total}}}$

其中，P_m，t，s为突变、测试用例和随机种子的组合对应的排序优先级；F_s为静态距离调节因子，取值范围为0-1之间的数；F_d为突变激活周期数调节因子，取值范围为0-1之间的数；F_D突变激活周期数方差调节因子，取值范围为0-1之间的数；d为突变与测试用例目标的信号之间的距离；v为突变、测试用例和随机种子的组合对应的突变激活周期数；D为突变和测试用例的组合对应的激活周期数方差；c_total为仿真总周期数。

18.根据权利要求16或17所述的设备，还包括：

组合选择装置，被配置为根据突变、测试用例、随机种子的组合的排序以及测试要求，选择部分突变、测试用例、随机种子的组合；以及

突变仿真装置，被配置为使用选择的突变、测试用例、随机种子的组合对编译后的待测试集成电路进行突变仿真。

19.根据权利要求18所述的设备，进一步包括评估装置，被配置为使用下式评估选择的突变、测试用例、随机种子的组合是否合适：

其中，Q_p越大，选择的组合越合适。

20.根据权利要求19所述的设备，该设备还包括重新排序装置，被配置为响应于Q_p不满足设定的阈值，对突变、测试用例、随机种子的组合重新排序。