CN101894058A - 针对自动测试***的测试覆盖性自动分析方法及其装置 - Google Patents

Abstract

本发明提出一种针对自动测试***的测试覆盖性自动分析方法及其装置。其中，测试覆盖性自动分析方法主要通过可视化建立测试需求模型，由用户制定测试项目和测试需求的映射关系及制定测试覆盖性指标，然后将测试需求模型转换为测试需求描述XML文件，最后解析该文件进行测试覆盖性分析。测试覆盖性自动分析装置，主要包括测试需求建模模块、测试需求与测试项目映射模块、测试覆盖性指标制定模块以及覆盖性分析脚本模块等，支持对XML测试需求的可视化建模，建立测试项目和测试需求的映射关系与测试覆盖性指标，实现对测试覆盖性的自动分析。本发明可辅助分析人员进行测试覆盖性的自动分析，提高工作效率与分析结果的准确性，且采用可视化操作简单快捷。

Description

针对自动测试***的测试覆盖性自动分析方法及其装置

技术领域

本发明涉及硬件***的计算机辅助测试领域，具体涉及一种对针对自动测试***的测试结果进行测试覆盖性分析的方法及其装置。

背景技术

测试覆盖性是指在对一个软件或硬件***的测试完成后，所得测试结果满足测试需求或测试目标的程度，它用于评估测试是否是完备的。

现有的测试覆盖性分析方法及工具主要是针对软件代码的，包括语句覆盖率分析、函数覆盖率分析等，例如采用插装的方式进行函数的测试覆盖性分析。

有别于软件测试覆盖性分析，本发明涉及的测试覆盖性分析，特指对复杂电子设备采用自动测试***进行测试后，基于所得测试数据进行的测试覆盖性分析。自动测试***，是指采用计算机控制，实现对复杂电子设备自动化测试的软硬件***，它能够自动执行测试人员制定的测试流程，对硬件设备进行测试，并将测试结果数据存储到一定的介质(通常为数据库)中。对于采用自动测试***进行测试的硬件***，其测试覆盖性分析工作仍然主要采用人工查询测试结果，并与测试需求比对的方式进行，自动化水平不高。人工的查询、比对，限制了测试覆盖性分析工作的效率和所得结果的准确度。

发明内容

为了解决现有测试覆盖性分析工作存在的上述问题，本发明提供一种针对自动测试***的测试覆盖性自动分析方法及其装置。

本发明一种针对自动测试***的测试覆盖性自动分析方法，具体包括以下步骤：

步骤一、以可视化方式建立测试需求模型；所述测试需求模型采用测试需求的XMLSchema定义；所述可视化指将测试需求在图形界面采用树状图形展示，形成测试需求树。

步骤二、以可视化方式建立测试需求与测试项目的映射；将测试项目在图形界面采用树状图形展示形成测试项目树，对步骤一中建立的测试需求模型的每一个测试需求节点，在测试项目中选择与该测试需求节点关联的一个或者多个测试项目节点。

步骤三、录入测试覆盖性指标；针对在步骤一中建立的测试需求树的各测试需求节点由用户录入相应的测试覆盖性指标。

步骤四、根据步骤一到步骤三的内容生成测试需求描述XML文件。

步骤五、解析测试需求描述XML文件，进行测试覆盖性分析；针对各测试需求节点，根据测试需求描述XML文件中在步骤二中建立的映射关系内容，在测试数据库中提取出映射项目对应的测试数据，并依据测试覆盖性指标对测试数据进行分析，形成测试覆盖性分析结果；所述的分析是指：将取出来的测试数据和测试覆盖性指标进行比对，看数据值是不是符合测试覆盖性指标的值，以及，该测试需求节点对应的测试项目是否测试完成。

步骤六、将步骤五中测试覆盖性分析结果以可视化方式展示。

其中，步骤一所述测试需求的XML Schema定义，具体为：所建立的测试需求模型的根节点projects，拥有一个元素名称name；一个根节点拥有一到多个子测试需求节点subproject；子测试需求节点subproject是自包含的，它拥有一个元素名称name、一个判定指标元素criterion、关联的测试项目testProject和零到多个子测试需求节点；判定指标元素criterion在子测试需求节点为叶子节点时，为必选属性；其中，判定指标元素criterion拥有4种备选子元素：区间型指标range、单值型指标value、断言型指标isDone和其他指标类型any。

本发明一种自动测试***的测试覆盖性自动分析装置，包括测试需求建模模块、测试需求与测试项目映射模块、测试覆盖性指标制定模块、覆盖性分析脚本模块、覆盖性分析结果展示模块，以及数据存取模块。

测试需求的XML Schema定义文件输入测试需求建模模块中，测试需求建模模块以可视化方式建立测试需求模型，将建立的测试需求模型输出给测试需求与测试项目映射模块，测试需求与测试项目映射模块以可视化方式建立测试需求与测试项目的映射，输出一个带有映射信息的测试需求模型给测试覆盖性指标制定模块，测试覆盖性指标制定模块制定测试覆盖性指标，输出一个带有测试指标信息的测试需求模型给覆盖性分析脚本模块，覆盖性分析脚本模块生成测试需求描述XML文件，并解析该测试需求描述XML文件执行测试覆盖性分析，输出测试覆盖性分析结果给覆盖性分析结果展示模块。

覆盖性分析结果展示模块将得到的测试覆盖性分析结果以可视化形式展示给用户。

数据存取模块为测试需求建模模块、测试需求与测试项目映射模块、测试覆盖性指标制定模块和覆盖性分析脚本模块提供数据的存取服务。

所述的测试需求的XML Schema定义文件，其具体结构为：所建立的测试需求模型的根节点projects，拥有一个元素名称name；一个根节点拥有一到多个子测试需求节点subproject；子测试需求节点subproject是自包含的，它拥有一个元素名称name、一个判定指标元素criterion、关联的测试项目testProject和零到多个子测试需求节点；判定指标元素criterion在子测试需求节点为叶子节点时，为必选属性；其中，判定指标元素criterion拥有4种备选子元素：区间型指标range、单值型指标value、断言型指标isDone和其他指标类型any。

本发明的有益效果是，在自动测试***的测试执行后，辅助分析人员根据本发明的自动分析方法或者分析装置，对自动测试***的测试数据进行测试覆盖性的自动分析，提高了工作效率和分析结果的准确性，并且采用可视化的操作方式，简单快捷。

附图说明

图1是本发明所用的测试需求描述的XML Schema定义示意图；

图2是本发明的一种测试覆盖性自动分析方法的流程图；

图3是本发明的一种测试覆盖性自动分析装置的模块图；

图4是本发明实施例建立的测试需求模型的示意图；

图5是本发明实施例建立测试需求与测试项目的多对多映射关系的示意图；

图6是本发明实施例测试覆盖性分析结果的示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

***的测试需求，或称测试目标，一般具有自上而下的树形层次结构，上层测试需求是总体需求，下层测试需求是对总体需求的细化。例如，在某个电子设备的测试需求中，要实现“电源***测试”，需要分别对电源的电压值和电流值这两项进行测试。处于上层的“电源***测试”是一个总体需求，处于下层的“电流测试”和“电压测试”两项是对电源***测试需求的细化，对电源***的测试分为“电流测试”和“电压测试”两个子项进行。在本发明中，测试需求的这种逻辑结构采用XML语言来描述，用户在***中建立的测试需求模型最终被表示为一段XML描述文件，***就是解析这些XML描述文件进而进行测试覆盖性分析的。在本发明中，测试需求描述语言的结构通过XML Schema来定义，所有测试需求描述的结构都须符合XML Schema定义的结构规范。在该XML Schema定义中，测试需求被定义为树形层次结构，不同层次的节点间的关联表示从属关系。图1所示为测试需求描述语言的XML Schema定义。

在图1所示的测试需求的XML Schema定义中，“projects”节点定义了测试需求的根节点，是测试需求项的原始节点，它拥有一个名称元素“name”。一个“projects”节点可以有1到多个“subproject”子节点。“subproject”节点定义了测试需求的子节点，它的属性subprojectType包括：名称元素“name”、判定指标元素“criterion”、关联的测试项目“testProjectMap”和0到多个子测试需求节点。“subproject”是自包含的，其子测试需求节点仍是“subproject”类型的节点。“criterion”是一个可选元素，它的备选子元素criterionType有4种：区间型指标“range”、单值型指标“value”、断言型指标“isDone”和可扩展的其他指标类型“any”。当“subproject”为叶子节点(测试需求项实例)时，其判定指标元素“criterion”为必选，否则，判定指标元素“criterion”为可选。“testProjectMap”节点定义了与测试需求关联的测试项目信息。

一种针对自动测试***的测试覆盖性自动分析方法，如图2所示，具体流程如下：

步骤一，以可视化方式建立测试需求模型。所述可视化是指采用图形化界面，测试需求模型在该界面中采用一个树状图形来展示。测试需求模型的结构以上述测试需求的XMLSchema定义的结构为规范。测试需求模型是一个多层次的树型结构，模型的建立自顶向下进行，从测试需求根节点开始，逐级建立子测试需求节点，最终形成一棵测试需求树。

步骤二，以可视化方式建立测试需求与测试项目的映射。测试项目是对一套测试流程的封装。自动测试***执行一系列测试项目后得到测试数据。所述可视化是指采用图形化界面，测试需求与测试项目在该界面中均采用树状图形来展示，分别称为测试需求树和测试项目树。测试需求树的节点支持单选，测试项目树的节点支持多选。要建立测试需求与测试项目的映射，先选中测试需求树中需要建立映射的一个节点，再从测试项目树中选择与所选测试需求树节点关联的一个或多个测试项目节点。每个节点的关联测试项目都指定后，会在测试需求描述文件里对应的各个测试需求项中添加记录映射信息的“testProjectMap”元素的内容。通过测试需求与测试项目的映射，实现测试需求与测试数据的自动关联。映射的建立为后续的测试覆盖性分析建立了基础。

步骤三，录入测试覆盖性指标。所述测试覆盖性指标是针对具体测试业务已经存在的。在步骤一中建立的测试需求树的各级节点的判定指标元素criterion中，结合具体的测试业务需求，由用户录入相应的测试覆盖性指标，测试覆盖性指标是分析测试数据的判断依据。用户从指标类型和指标值制定测试覆盖性指标，指标类型通过解析测试需求的XML Schema定义中的criterion元素，选取其中备选子元素。

步骤四，生成测试需求描述文件。当执行完步骤一到步骤三后，一个完整的测试需求模型就建立完成了，本步骤依据该测试需求模型，生成与之对应的测试需求描述XML文件。该测试需求描述XML文件是一个XML结构化描述文件，是测试需求XML Schema的一个实例。

步骤五，解析测试需求描述文件，进行测试覆盖性分析。根据测试需求描述XML文件中在步骤二中的建立的映射关系，在测试数据库中提取相应数据，并依据测试覆盖性指标对测试数据进行分析，形成测试覆盖性分析结果。测试数据库是自动测试***中用于存储测试结果的数据库。所述的分析就是指将取出来的测试数据和测试覆盖性指标进行比对，看数据值是不是符合指标值，还有就是看测试项目是否测试完成。

步骤六，以可视化方式展示测试覆盖性分析结果。所述可视化方式是以表格或曲线等图形化组件展示测试覆盖性分析结果，具体方式可以根据不同的应用实例灵活决定。

本发明一种针对自动测试***的测试覆盖性自动分析装置，如图3所示，由测试需求建模模块1、测试需求与测试项目映射模块2、测试覆盖性指标制定模块3、覆盖性分析脚本模块4、覆盖性分析结果展示模块5与数据存取模块6组成。

测试需求的XML Schema定义文件输入测试需求建模模块1中，测试需求建模模块1以可视化方式建立测试需求模型，将建立的测试需求模型输出给测试需求与测试项目映射模块2，测试需求与测试项目映射模块2以可视化方式建立测试需求与测试项目的映射，输出一个带有映射信息的测试需求模型给测试覆盖性指标制定模块3，测试覆盖性指标制定模块3制定测试覆盖性指标，输出一个带有测试指标信息的完整的测试需求模型给覆盖性分析脚本模块4，覆盖性分析脚本模块4生成测试需求描述XML文件，并解释、执行该XML文件，输出测试覆盖性分析结果给覆盖性分析结果展示模块5和数据存取模块6。

测试需求建模模块1中有两个子模块：测试需求模型子模块11与测试需求可视化组件12，测试需求模型子模块11维护了测试需求模型的内存映像，测试需求可视化组件12则以具有层次关系的树结构来展示测试需求模型，形成测试需求树。测试需求模型子模块11监听使用者对测试需求树的编辑操作，实时更新测试需求模型的内存映像。测试需求建模模块1输出一个测试需求的基础结构模型。

测试需求与测试项目映射模块2中有两个子模块：测试项目模型子模块21与测试项目可视化组件22，测试项目模型子模块21维护了从测试数据库中提取的测试项目列表的内存映像，测试项目可视化组件22则以具有层次关系的树结构来展示测试项目，形成测试项目树。测试项目树的各级节点支持复选，因此，可以为测试需求树的各级测试需求选定对应的测试项目(一对多)，从而建立起测试需求与测试项目的映射关系。测试需求与测试项目映射模块2输出一个带有映射信息的测试需求模型。由于不同领域的测试数据形式可能是不同的，因此需要由开发者灵活的、有针对性的把测试数据的形式整理成测试项目的形式。

测试覆盖性指标制定模块3由指标类型定义31和指标值定义32两部分组成。指标类型定义31和指标值定义32这两部分具体通过在针对在测试需求树的相应节点上添加来完成。用户通过指标类型定义31设定指标类型，候选的指标类型通过解析测试需求XML Schema文件中的criterion元素得到。用户通过指标值定义32对所选择的指标类型，设定具体的值。测试覆盖性指标制定模块3输出一个带有测试指标信息的、完整的测试需求模型。

覆盖性分析脚本模块4中有两个子模块：脚本生成模块41与脚本解释执行模块42，脚本生成模块41根据测试覆盖性指标制定模块3输入的测试需求模型，生成完整的测试需求描述文件，该文件采用符合测试需求XML Schema定义的XML实现。脚本解释执行模块42负责解析该测试需求描述XML文件，生成对测试数据库的数据查询命令并提取数据，对所获数据进行分析，判断提取出来的数据是否符合测试覆盖性指标的值，以及测试需求节点对应的测试项目是否测试完成。覆盖性分析脚本模块4输出测试覆盖性分析结果。

覆盖性分析结果展示模块5包含的可视化元素包括表格、树状图等，以不同的视角展示测试覆盖性分析的结果。

数据存取模块6为测试需求建模模块1、测试需求与测试项目映射模块2、测试覆盖性指标制定模块3和覆盖性分析脚本模块4提供数据的存取服务，屏蔽了底层对数据库的各种操作的复杂性。

本发明实施例针对某电子设备建立的测试需求模型，如图4所示。该模型中，“测试项目”是最顶层测试需求节点，它包含“信号***测试”和“电源***测试”两个子测试需求。“信号***测试”又包含“信号发送测试”、“信号接收测试”两个子测试需求，这两个子测试需求的判定指标均为“是否完成测试”，属于断言型指标；“电源***测试”又包含“电流测试”、“电压测试”两个子测试需求，“电流测试”的判定指标为“区间：(15A，20A)”，属于区间型指标，“电压测试”的判定指标为“均值：150V”，属于单值型指标。

图5示出了本发明实施例的建立测试需求与测试项目之间映射的情景。图中左部为测试需求模型，右部为测试项目树。测试项目树是测试结果数据的可视化展示。测试项目树中的每一级节点都是一个测试项目。一个测试项目是为实现某个具体测试目标而进行的测试所得到的结果数据集合。图5中，与左部“电流测试”需求建立关联的右部测试项目是“电源测试项目”的“电流值测试”。通过这种映射关系，本***能够自动从测试结果数据库中提取所关联的测试项目的测试数据，并依据判定指标电流值处于“区间：(15A，20A)”这个标准，自动分析测试是否完成、测试结果数据是否符合判定指标的要求。所述自动分析测试是否完成，是根据测试数据库中所用的相应数据项是否存在值来判断的。

图6给出了本发明实施例的测试覆盖性分析结果。该结果展示了测试结果是否覆盖了测试需求的各项内容。针对“测试需求”整体来说，其分析结论是“与测试需求不符”，这说明在具体的测试需求项中，存在于测试需求不符的测试结果。具体来说，针对“信号发送测试”、“信号接收测试”、“电流测试”以及“电压测试”这四个测试需求项目的判定指标，在“分析结论”列分别示出了相应的覆盖性分析结果。其中，“信号发送测试”和“信号接收测试”的覆盖性分析指标均为“是否完成测试”。“信号发送测试”的分析结论为“否”，说明与“信号发送测试”这一需求项关联的测试尚未完成。“信号接收测试”的分析结论为“是”，说明与“信号接收测试”这一需求项关联的测试已经完成，其测试结果数据已经存入测试数据库。“电流测试”的覆盖性分析指标为“区间：(15A，20A)”，分析结果为“(15.2A，18.7A)正常”，说明与“电流测试”这一需求相关联的测试已完成并且结果数据符合“区间：(15A，20A)”这一指标。“电压测试”的覆盖性分析指标为“均值：150V”，分析结果为“未关联测试项目”，说明“电压测试”这一需求项尚未建立与测试项目的映射。

Claims (10)

1.一种针对自动测试***的测试覆盖性自动分析方法，其特征在于，包括以下步骤：

步骤一、以可视化方式建立测试需求模型；所述测试需求模型采用测试需求的XMLSchema定义；所述可视化指将测试需求在图形界面采用树状图形展示，形成测试需求树；

步骤二、以可视化方式建立测试需求与测试项目的映射；将测试项目在图形界面采用树状图形展示形成测试项目树，对步骤一中建立的测试需求模型的每一个测试需求节点，用户在测试项目中选择与该测试需求节点关联的一个或者多个测试项目节点；

步骤三、录入测试覆盖性指标；针对在步骤一中建立的测试需求树的各测试需求节点由用户录入相应的测试覆盖性指标；

步骤四、根据步骤一到步骤三的内容形成一个完整的测试需求数据模型，按照符合测试需求的XML Schema定义的规范生成测试需求描述XML文件；

步骤五、解析测试需求描述XML文件，进行测试覆盖性分析；针对各测试需求节点，根据测试需求描述XML文件中在步骤二中建立的映射关系内容，在测试数据库中提取出映射项目对应的测试数据，并依据测试覆盖性指标对测试数据进行分析，形成测试覆盖性分析结果；

所述的分析是指：将取出来的测试数据和测试覆盖性指标进行比对，看数据值是不是符合测试覆盖性指标的值，以及，该测试需求节点对应的测试项目是否测试完成；

步骤六、将步骤五中测试覆盖性分析结果以可视化方式展示。

2.根据权利要求1所述的测试覆盖性自动分析方法，其特征在于，步骤一中所述测试需求的XML Schema定义，具体为：所建立的测试需求模型的根节点projects，拥有一个元素名称name；一个根节点拥有一到多个子测试需求节点subproject；子测试需求节点subproject是自包含的，它拥有一个元素名称name、一个判定指标元素criterion、关联的测试项目testProject和零到多个子测试需求节点；判定指标元素criterion在子测试需求节点为叶子节点时，为必选属性；其中，判定指标元素criterion拥有4种备选子元素：区间型指标range、单值型指标value、断言型指标isDone和其他指标类型any。

3.根据权利要求2所述的测试覆盖性自动分析方法，其特征在于，所述的关联的测试项目testProject的内容，在确定各测试需求节点与测试项目的映射后添加，为该测试需求节点所对应的测试项目。

4.根据权利要求2所述的测试覆盖性自动分析方法，其特征在于，所述的判定指标元素criterion的值，为录入的测试覆盖性指标，测试覆盖性指标的指标类型由用户从criterion拥有的4种备选子元素选取。

5.一种自动测试***的测试覆盖性自动分析装置，其特征在于，由测试需求建模模块、测试需求与测试项目映射模块、测试覆盖性指标制定模块、覆盖性分析脚本模块、覆盖性分析结果展示模块与数据存取模块组成；

测试需求的XML Schema定义文件输入测试需求建模模块中，测试需求建模模块以可视化方式建立测试需求模型，将建立的测试需求模型输出给测试需求与测试项目映射模块，测试需求与测试项目映射模块以可视化方式建立测试需求与测试项目的映射，输出一个带有映射信息的测试需求模型给测试覆盖性指标制定模块，测试覆盖性指标制定模块制定测试覆盖性指标，输出一个带有测试指标信息的测试需求模型给覆盖性分析脚本模块，覆盖性分析脚本模块生成测试需求描述XML文件，并解析该XML文件执行测试覆盖性分析，输出测试覆盖性分析结果给覆盖性分析结果展示模块；

覆盖性分析结果展示模块将得到的测试覆盖性分析结果以可视化形式展示给用户；

数据存取模块为测试需求建模模块、测试需求与测试项目映射模块、测试覆盖性指标制定模块和覆盖性分析脚本模块提供数据的存取服务。

6.根据权利要求5所述的测试覆盖性自动分析装置，其特征在于，所述的测试需求的XMLSchema定义文件，其具体结构为：所建立的测试需求模型的根节点projects，拥有一个元素名称name；一个根节点拥有一到多个子测试需求节点subproject；子测试需求节点subproject是自包含的，它拥有一个元素名称name、一个判定指标元素criterion、关联的测试项目testProject和零到多个子测试需求节点；判定指标元素criterion在子测试需求节点为叶子节点时，为必选属性；其中，判定指标元素criterion拥有4种备选子元素：区间型指标range、单值型指标value、断言型指标isDone和其他指标类型any。

7.根据权利要求5所述的测试覆盖性自动分析装置，其特征在于，所述的测试需求建模模块包含两个子模块：测试需求模型子模块与测试需求可视化组件；

测试需求模型子模块监听使用者对测试需求树的编辑操作，实时更新测试需求模型的内存映像；测试需求可视化组件以具有层次关系的树结构来展示测试需求模型，形成测试需求树。

8.根据权利要求5所述的测试覆盖性自动分析装置，其特征在于，所述测试需求与测试项目映射模块，包含两个子模块：测试项目模型子模块与测试项目可视化组件；

测试项目模型子模块维护了从测试数据库中提取的测试项目列表的内存映像；测试项目可视化组件以具有层次关系的树结构来展示测试项目，形成测试项目树；

使用者通过为测试需求树的各级测试需求选定对应的测试项目，建立起测试需求与测试项目的映射关系。

9.根据权利要求5所述的测试覆盖性自动分析装置，其特征在于，所述测试覆盖性指标制定模块由指标类型定义和指标值定义两部分组成；

用户通过指标类型定义设定指标类型，候选的指标类型通过解析测试需求的XMLSchema定义中的criterion元素得到；用户通过指标值定义对所选择的指标类型，设定具体的值。

10.根据权利要求5所述的测试覆盖性自动分析装置，其特征在于，所述的覆盖性分析脚本模块，包含两个子模块：脚本生成模块与脚本解释执行模块；

脚本生成模块根据测试覆盖性指标制定模块输入的测试需求模型，生成完整的测试需求描述XML文件；脚本解释执行模块解析脚本生成模块生成的测试需求描述文件，生成对测试数据库的数据查询命令并提取数据，对所获数据进行分析，判断提取出来的数据是否符合测试覆盖性指标的值，以及测试需求节点对应的测试项目是否测试完成；

所述的完整的测试需求描述XML文件，指该文件为XML描述，在输入的测试需求的XML Schema定义文件基础上包含了测试覆盖性指标内容以及测试需求与测试项目的映射关系数据。

Images