CN1877544A - 关键字驱动的自动化测试***及方法 - Google Patents

Abstract

一种关键字驱动的自动化测试***，包括有测试工具、测试仪器及被测设备，还包括有测试平台及与该测试平台相连的函数库；其中，函数库可包括产品函数库、测试工具函数库、测试仪器函数库及AW实现函数库；测试平台包括有：测试环境生成模块、测试用例生成模块、运行引擎、测试逻辑生成模块、中心数据库及导航脚本生成模块。本发明还提供一种关键字驱动的自动化测试方法。在本发明中，测试用例可跨平台及跨工具平台移植，由于采用了中心数据库，可以很方便地增加/修改AW以及存储AW与导航关键字及AW实现函数之间的对应关系，从而降低开发成本，减少了AW的冗余。

Description

关键字驱动的自动化测试***及方法

技术领域

本发明涉及自动化测试领域，更具体地，本发明涉及一种关键字驱动的自动化测试***及方法。

背景技术

在产品的研发过程中，当产品进入***测试阶段后，为了保证产品的质量，需要对其在模拟实际的使用环境下的功能和性能进行全面的测试。根据在测试过程中所发现的产品缺陷，开发人员需对产品设计进行修正。为保证对原有错误的修改不会引入新的错误，需要多次对产品进行回归测试。产品的每次测试均需要由测试人员人工搭建环境来模拟实际的使用条件，我们称构造测试环境。为了保证测试结果的准确，还需要借助于测试仪器/仪表的使用来完成***各项指标的测量。为了方便使用，大多数仪器/仪表提供有图形化操作界面，有些采用嵌入式操作***，有些提供可在计算机上安装的控制软件包。

而脚本语言(如TCL、PYTHON等)的诸如解释执行、可嵌入、可扩展的等的特性为实现自动化测试奠定了基础。由该种脚本语言所编写而成的产品(如电信设备或软件)不仅提供图形界面(Graphical User Interfaces，GUI)，同时也提供命令行接口或人机接口，故可进行自动化测试。而在现有的自动化测试脚本设计中存在有诸多模式，如线性测试脚本设计模式、结构化测试脚本设计模式、共享测试脚本设计模式或关键字驱动测试脚本设计模式。

例如，基于Rational公司的Robot工具平台，就可以实现一种应用于GUI的自动化测试中的关键字驱动测试方法。该测试方法的整个过程所包含功能都是由关键字驱动，关键字控制了整个测试过程。请结合图1及图2所示，可更清楚地了解这种测试方法的实现机制和过程。在这种测试方法中，测试人員会首先使用类似Excel工作表的表格，采用输入关键字(Key-Word)的方式建立测试用例。如图1中，就是一种测试用例(如KeyWords_Web.xls)的示例，其由关键字及其参数组成，其中，第一列是关键字，说明要执行的动作，其包括诸如输入(ENTER)、动作(ACTION)及校验(VERIFY)等等；第二到第四列，是执行第一列的动作所必需的参数；而第五列标示每一测试步骤是否通过。

在测试用例运行过程中，驱动脚本(Drive TSL script)运行初始化脚本(LogonTSL script)，为整个测试进行初始化，并载入控制文件(Run.txt)，获取当前要运行的测试用例(*.xls)。

驱动脚本(Drive TSL script)在初始化工作完成后，启动控制脚本(ControllerTSL script)，由控制脚本(Controller TSL script)来负责解析整个测试用例文件的关键字，根据这些关键字来调用与之对应的实现脚本(User Defined TSLscript)。实现脚本实际执行每个测试动作，并且使用其它列作为参数，执行完后将结果回传给控制脚本。当控制脚本执行到最后一行，整个测试用例就结束执行；直到控制文件(Run.txt)中所有用例文件(*.xls)运行完毕，本次测试过程结束。

但是现有这种关键字驱动的自动化测试方法存在有如下不足之处：

其主要应用于GUI自动化测试，并基于Rational公司的Robot工具平台；跨平台和跨工具平台移植性弱；不适合应用于通信设备类产品的自动化测试。

其中，AW本身就是NKey(导航关键字)，如果增加AW，就需修改驱动模块，这样会增加自动化测试过程中的开发成本；同时，AW将会出现大量的冗余，故需维护多个版本的驱动模块。

另外，测试用例不易在不同产品/版本间进行移植。

且，在这种方法中，AW的实现方式只能通过脚本来实现，无法通过其它编程语言如C、Pascal等来实现，故其扩展性不强。

如图3所示，是现有的一种数据驱动的自动化测试***的结构示意图。但在这种自动化测试***中，其函数名就是NKey，同样无法实现在不同产品之间或同一产品不同版本间进行测试用例的移植。

发明内容

本发明所要解决的技术问题在于：提供了一种关键字驱动的自动化测试***及方法，其具有很好的移植性和扩展性，并能有效降低AW的冗余。

为了解决上述问题，本发明采用的技术方案在于：提供一种关键字驱动的自动化测试***，包括有测试工具和测试仪器及被测设备，其特征在于，进一步包括有测试平台及与该测试平台相连的函数库；所述函数库至少包括有AW实现函数库；所述测试平台包括有运行引擎，及与该运行引擎相连的测试环境生成模块、测试用例生成模块、测试逻辑生成模块、中心数据库及导航脚本生成模块；运行引擎可从测试环境生成模块、测试逻辑生成模块、及测试用例生成模块中读取测试环境、测试逻辑、测试用例数据，并加载函数库及导航脚本，驱动测试逻辑对被测设备进行测试；所述中心数据库定义有AW；并定义导航关键字、AW、AW实现函数之间的对应关系；导航脚本生成模块，包含静态脚本和动态脚本；该静态脚本在初始化阶段由运行引擎加载，该动态脚本在运行引擎的初始化过程中根据中心数据库中的内容动态生成；该动态脚本可根据导航关键字，将AW导航到导航关键字对应的AW实现函数中。

其中，所述函数库进一步包括产品函数库、测试工具函数库及测试仪器函数库；测试环境生成模块，可建立及恢复本次测试的测试环境，定义有测试中所需的全局数据、测试环境下需要加载的函数库及测试环境的建立条件与恢复条件；测试用例生成模块，可根据测试用例数据生成测试用例，该测试用例数据定义有该测试逻辑所需的测试环境、该测试逻辑运行所需加载的函数库、及测试过程中测试逻辑所需的测试数据；测试逻辑生成模块可生成本次测试的测试逻辑，该测试逻辑用于定义测试流程，使用中心数据库所定义的AW描述测试流程，同步测试所用到的测试工具及测试仪器，并根据运行引擎提供的测试用例数据，对被测设备进行测试。

其中，在测试平台中进一步包括有测试套生成模块，用于根据测试用例的测试结果生成本次测试的测试套，所述测试套包含本次执行未通过的测试环境、测试逻辑、测试用例数据信息及测试脚本的运行信息。

其中，所述测试平台还包括有运行参数生成模块，其可生成提供测试日志输出条件及提供测试报告输出条件的运行参数，在测试结束后，所述运行引擎可根据运行参数生成模块所定义的输出条件输出测试日志和测试报告。

其中，在运行参数或测试环境中定义有导航关键字。

其中，所述测试工具函数库及测试仪器函数库分别由测试工具及测试仪器提供；所述测试工具和测试仪器可被集成到测试平台中。

其中，所述产品函数库、测试工具函数库、测试仪器函数库根据测试环境及测试用例数据进行配置，由运行引擎在测试过程中加载，或由测试平台静态加载。

本发明还提供了一种关键字驱动的自动化测试方法，其用于在测试平台中对被测设备进行自动化测试，包括如下步骤：测试平台选择要运行的测试逻辑，并启动测试；运行引擎根据运行参数生成模块所生成的运行参数进行初始化；运行引擎根据本次运行的测试逻辑，建立测试环境与测试逻辑的运行树；运行引擎根据测试环境与测试逻辑的运行树执行本次测试；输出测试日志；恢复测试环境，并输出测试报告。

其中，运行引擎根据测试环境与测试逻辑的运行树执行本次测试的步骤还包括：建立测试环境，从测试环境生成模块中获取本次测试的测试环境；加载来自函数库的AW实现函数库；加载中心数据库，动态生成导航脚本中动态脚本；读取测试逻辑对应的测试用例数据文件；取出测试用例数据文件中一条测试用例，驱动测试逻辑开始测试；通过导航脚本，根据导航关键字，并将AW导航到与导航关键字对应的AW实现函数，执行该AW实现函数，对被测试设备进行测试。

本发明的有益效果在于：测试用例可跨平台及跨工具平台间移植，由于采用了中心数据库，使得AW、导航关键字、实现函数的增加不必导致修改导航脚本、驱动脚本，从而降低开发成本，减少AW的冗余；由于导航关键字的引入，使得AW通过导航关键字来导航到不同产品/产品不同版本的实现函数(甚至可以导航到不同编译语言实现的实现函数)，实现不同产品/版本间测试用例的移植；使得相同功能的测试仪器，可以使同一套AW(关键字)来实现控制；AW的实现可以通过脚本来实现，也可能过C、Pascal等编译语言来实现。

附图说明

图1是现有技术中一种测试用例格式示意图。

图2是现有的一种关键字驱动的测试***结构示意图。

图3是现有的一种数据驱动的自动化测试***的结构示意图。

图4是本发明关键字驱动的自动化测试***的结构示意图。

图5是本发明关键字驱动的自动化测试方法的主流程图。

图6是图5中测试步骤的流程图。

具体实施方式

首先对本发明所涉及的技术名词说明如下：

测试集(Test Cluster)，其是若干测试逻辑的相同测试环境配置和组网配置，是测试环境在逻辑上的划分，是组成测试环境的最小实体。

测试逻辑(Test Logic)，其是若干测试用例的相同的测试流程，即测试流程相同、测试数据不同的一组测试用例的脚本描述，测试逻辑可以在不同的测试环境下运行。

测试用例数据(TestCaseData)，其由不同测试数据项的取值组成，测试数据项的取值的每一种组合，构成了不同测试用例的测试用例数据。

测试用例(TestCase)，组成测试用例数据的测试数据项的取值的每一种组合，与测试用例数据对应的测试逻辑一起，称为一个测试用例。

测试套(TestSuite)，是按产品特性、模块或其它(基本功能、***功能)区分的，若干测试环境、测试逻辑、测试用例数据运行顺序、运行次数的集合。

工具命令语言(tool command language，TCL)，一种解释执行的脚本语言。

动作词(Action Word，AW)，即：测试动作，可作为关键字。

导航关键字(Navigate Key，NKey)，通过导航关键字，AW可以由不同产品或不同产品不同函数来实现。

中心数据库(CDB)，定义AW，及存储AW、NKey、AW实现函数之间的关联关系。

导航脚本(NScripts)，是驱动模块，通过导航脚本根据NKey，将AW导航到AW的不同的实现函数。

如图4所示，是本发明中关键字驱动的自动化测试***的结构示意图。从中可以看出，本测试***主要包括有测试平台1、测试工具和测试仪器3、被测设备4。并包括有运行引擎10及与该运行引擎10连接的函数库2。其中，

测试平台1可以是任意一个集成有脚本解释器(如TCL)的测试平台，也可是脚本的Shell(如TCL Shell)，其可以管理、编辑测试脚本，并启动测试脚本开始测试。测试脚本包括测试环境、测试逻辑、测试用例数据。

测试工具和测试仪器3为第三方程序，其用于测试被测设备4，该两者还可以集成到测试平台1中，接受测试平台1的集中管理。

运行引擎10在逻辑上属于测试平台1，完成测试平台1与测试脚本之间的适配，根据测试脚本中的配置，加载所需函数库2，并控制整个测试过程。

在测试过程中，测试脚本建立测试环境，并通过脚本控制第三方测试工具和测试仪器3来测试被测设备4；在测试过程中，测试工具3之间、测试仪器3之间以及测试工具3与测试仪器3之间的协调通过测试脚本来同步。

其中测试平台1又进一步包括有运行引擎10、测试环境生成模块11、测试用例生成模块12、运行参数生成模块13、测试套生成模块14、测试逻辑生成模块15、导航脚本生成模块16及中心数据(CDB)17。其中，测试套生成模块14为可选模块。下面分别对每一功能库模块进行说明：

函数库2可包括有多种函数库，如产品函数库、测试工具函数库、测试仪器函数库及AW实现函数库等。其中，产品函数库用于配置和控制产品；测试工具函数库用于配置和控制测试工具；测试仪器函数库用于配置和控制测试仪器。这些函数库根据测试环境及测试用例数据进行配置，由运行引擎在测试过程中加载，也可配置成由测试平台静态加载。

而测试工具和测试仪器3，其可提供上述的测试工具函数库或测试仪器函数库，接受测试环境及测试逻辑的配置和控制，并完成对被测设备4的测试。

被测设备4为测试过程中被测试的设备，其接受测试环境的配置和控制，接受测试逻辑的配置、控制和测试。

测试环境生成模块11主要用于完成本次测试的测试环境的建立及恢复。该测试环境包括被测设备及周边设备4、测试工具/测试仪器3；其定义测试中所需的全局数据(变量)；定义测试环境下需要加载的函数库；定义测试环境的建立条件(如被测设备及周边设备、测试工具/测试仪器的初始化等)；定义测试环境的恢复条件(如被测设备及周边设备4资源的释放，测试工具/测试仪器3等公共资源的释放等)。

测试用例生成模块12主要用于根据测试用例数据生成测试用例，其中，该测试用例数据定义测试逻辑需要在哪些测试环境运行；定义测试逻辑运行所必须的特有测试环境；定义测试逻辑运行所必须加载的特定的函数库；定义在测试过程中，测试逻辑所需的测试数据；用于运行引擎10驱动测试逻辑完成测试。

运行参数生成模块13主要用于生成运行参数，该运行参数提供测试日志输出条件及提供测试报告输出条件。导航关键字在运行参数或测试环境中定义。

测试逻辑生成模块15用于生成本次测试的测试逻辑，该测试逻辑用于定义测试流程，使用中心数据库17定义好的AW描述测试流程；在测试过程中，同步测试所用到的测试工具及测试仪器3；根据运行引擎10提供的测试用例数据，完成对被测设备4的测试。

测试套生成模块14用于生成本次测试的测试套。所述测试套包含本次执行未通过的测试环境、测试逻辑、测试用例数据等信息。测试套是测试脚本在逻辑上的划分，可归纳为基本功能测试套、特性测试套等等。在测试套中仅包含内容：要运行哪些测试脚本(测试环境、测试逻辑、测试用例数据)，以及这些测试脚本(测试环境、测试逻辑、测试用例数据)的运行信息(如运行顺序、运行次数)。

运行引擎10，其在测试平台1完成测试逻辑、测试环境、测试用例数据的编辑，并启动当前所选择的测试逻辑的测试之后，控制测试脚本的执行。运行引擎会从测试环境生成模块11、测试逻辑生成模块15、及测试用例生成模块12中读取测试环境、测试逻辑、测试用例数据(并在测试开始前，建立测试环境；测试结束后，恢复测试环境)；并加载来自导航脚本生成模块16的导航脚本；加载函数库，自动识别函数库的版本号，更新函数索引文件；测试过程中，根据测试用例数据，驱动测试逻辑对被测设备4进行测试；在测试结束后，根据运行参数，输出测试报告和测试日志；根据测试用例的测试结果，驱动测试套生成模块14生成本次测试未通过的测试用例组成的测试套，方便后续对未通过的测试用例的再次测试。

中心数据库17用于定义AW；并定义导航关键字、AW与AW实现函数之间的对应关系。

导航脚本生成模块16包含静态脚本和动态脚本；该静态脚本在初始化阶段由运行引擎10加载，该动态脚本在运行引擎10的初始化过程中根据中心数据库17中的内容动态生成；该动态脚本可根据导航关键字，将AW导航到导航关键字对应的AW实现函数。

测试报告是在测试结束后，由运行引擎10提供。该测试报告用于表示本次测试结束后，本次测试中所有测试用例的通过情况的统计。该测试报告可列出测试数据统计，该测试数据统计包括诸如：测试持续时间、运行的测试逻辑脚本总数、运行的测试用例总数、执行结果分别为OK、部分OK(partial OK，POK)、不好(Not Good，NG)、未测试(Not Test，NT)等的测试用例总数。并列出上述不同执行结果的详细信息。

在表示测试过程中，由运行引擎10记录当前运行的测试用例的执行情况；测试结束后，由运行引擎10输出完整的测试用例的执行情况(即测试日志)；在测试日志中，可详细地记录本次测试的每个步骤，及每个步骤的开始时间及用时等信息。

如图6所示，是本发明关键字驱动自动化测试方法的流程图。首先，在测试平台中选择要执行的测试逻辑，并启动测试(步骤S60)；运行引擎根据由运行参数生成模块所生成的运行参数进行初始化(步骤S61)；运行引擎根据本次运行的测试逻辑，建立测试环境与测试逻辑的运行树(步骤S62)；运行引擎根据测试环境与测试逻辑的运行树开始执行本次测试(步骤S64)；测试过程中，输出测试日志(步骤S66)；测试结束后，恢复测试环境；并输出测试报告(步骤S67)。

如图7所示，是图6中步骤S64的具体流程图。首先，建立测试环境，从测试环境生成模块中获取本次测试的测试环境(步骤S70)；加载函数库中的AW实现函数库(步骤S71)；加载中心数据库，取得导航脚本(步骤S72)；读取测试逻辑对应测试用例数据文件(步骤S74)；取出测试用例数据中一条测试用例，驱动测试逻辑开始测试(步骤S76)；测试逻辑执行过程中，通过导航脚本，根据导航脚本中的导航关键字，将AW导航到航关键字对应的AW实现函数，并执行该AW实现函数，完成对被测设备的测试(步骤S77)；然后转入步骤S66。

在本发明的上述实施例中，运行引擎和导航脚本是采用TCL实现的，但不限于此，在其他的实施例中，也可以通过其它脚本语言(如Python等)或编译语言(如C/C++，Pascal等)来实现；而CDB(中心数据库)可以通过数据库(如Oracle、Sybase、SQL Server等)来实现。

在本发明中，运行引擎、导航脚本是通过纯TCL脚本语言实现，具备跨平台和跨工具平台移植的能力。通过中心数据库，新的AW的增加不必修改导航脚本，提高了自动化测试脚本的开发效率，并且降低后续维护成本。通过NKey导航，而不是AW导航，实现测试用例在不同产品/产品版本间的移植，并减少了不同产品或同一产品不同版本之AW的冗余，降低了AW的维护成本。通过NKey导航，使得AW的实现手段多种多样，即可由脚本实现，也可以由编译语言来实现；且可使完成相同功能的测试仪器或测试工具可以只使用同一套AW，使得相同的测试脚本可以驱动具有相同功能的不同测试仪器/工具来对被测试设备进行测试。

Claims (9)

1、一种关键字驱动的自动化测试***，包括有测试工具和测试仪器及被测设备，其特征在于，进一步包括有测试平台及与该测试平台相连的函数库；所述函数库至少包括有AW实现函数库；

所述测试平台包括有运行引擎，及与该运行引擎相连的测试环境生成模块、测试用例生成模块、测试逻辑生成模块、中心数据库及导航脚本生成模块；

运行引擎可从测试环境生成模块、测试逻辑生成模块、及测试用例生成模块中读取测试环境、测试逻辑、测试用例数据，并加载函数库及导航脚本，驱动测试逻辑对被测设备进行测试；

所述中心数据库定义有AW；并定义有导航关键字、AW、AW实现函数之间的对应关系；

导航脚本生成模块包含有静态脚本和动态脚本；所述动态脚本可根据导航关键字，将AW导航到导航关键字对应的AW实现函数中。

2、如权利要求1所述的关键字驱动的自动化测试***，其特征在于，所述函数库进一步包括产品函数库、测试工具函数库及测试仪器函数库；

测试环境生成模块，可建立及恢复本次测试的测试环境，定义有测试中所需的全局数据、测试环境下需要加载的函数库及测试环境的建立条件与恢复条件；

测试用例生成模块，可根据测试用例数据生成测试用例，该测试用例数据定义有该测试逻辑所需的测试环境、该测试逻辑运行所需加载的函数库、及测试过程中测试逻辑所需的测试数据；

测试逻辑生成模块可生成本次测试的测试逻辑，该测试逻辑用于定义测试流程，使用中心数据库所定义的AW描述测试流程，同步测试所用到的测试工具及测试仪器，并根据运行引擎提供的测试用例数据，对被测设备进行测试。

3、如权利要求1所述的关键字驱动的自动化测试***，其特征在于，在测试平台中进一步包括有测试套生成模块，用于根据测试用例的测试结果生成本次测试的测试套，所述测试套包含本次执行未通过的测试环境、测试逻辑、测试用例数据信息及测试脚本的运行信息。

4、如权利要求3所述的关键字驱动的自动化测试***，其特征在于，所述测试平台还包括有运行参数生成模块，其可生成提供测试日志输出条件及提供测试报告输出条件的运行参数，在测试结束后，所述运行引擎可根据运行参数生成模块所定义的输出条件输出测试日志和测试报告。

5、如权利要求4所述的关键字驱动的自动化测试***，其特征在于，在运行参数或测试环境中定义有导航关键字。

6、如权利要求1所述的关键字驱动的自动化测试***，其特征在于，所述测试工具函数库及测试仪器函数库分别由测试工具及测试仪器提供；所述测试工具和测试仪器可被集成到测试平台中。

7、如权利要求1至6任一项所述的关键字驱动的自动化测试***，其特征在于，所述产品函数库、测试工具函数库、测试仪器函数库根据测试环境及测试用例数据进行配置，由运行引擎在测试过程中加载，或由测试平台静态加载。

8、一种关键字驱动的自动化测试方法，其用于在测试平台中对被测设备进行自动化测试，其特征在于，包括如下步骤：

测试平台选择要运行的测试逻辑，并启动测试；

运行引擎根据运行参数生成模块所生成的运行参数进行初始化；

运行引擎根据本次运行的测试逻辑，建立测试环境与测试逻辑的运行树；

运行引擎根据测试环境与测试逻辑的运行树执行本次测试；

输出测试日志；

恢复测试环境，并输出测试报告。

9、如权利要求8所述的关键字驱动的自动化测试方法，其特征在于，运行引擎根据测试环境与测试逻辑的运行树执行本次测试的步骤还包括：

建立测试环境，从测试环境生成模块中获取本次测试的测试环境；

加载来自函数库的AW实现函数库；

加载中心数据库，动态生成导航脚本中动态脚本；

读取测试逻辑对应的测试用例数据文件；

取出测试用例数据文件中一条测试用例，驱动测试逻辑开始测试；

通过导航脚本，根据导航关键字，并将AW导航到与导航关键字对应的AW实现函数，执行该AW实现函数，对被测试设备进行测试。

Images