CN103329108A

CN103329108A - 测试装置

Info

Publication number: CN103329108A
Application number: CN2012800054640A
Authority: CN
Inventors: 浅野浩一; 辻宏幸
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2011-02-14
Filing date: 2012-01-23
Publication date: 2013-09-25
Anticipated expiration: 2032-01-23
Also published as: CN103329108B; JP2012168727A; US9280451B2; EP2642394A4; US20130283100A1; EP2642394B1; WO2012111387A1; EP2642394A1; JP5490036B2

Abstract

一种评价在移动终端中安装的软件的动作的测试装置，该测试装置具有：脚本选择部，其选择脚本，该脚本包含用于使移动终端执行所应发挥的功能的信息；脚本执行判定部，其判定由该脚本选择部选择的脚本是否能够执行；脚本执行部，其执行由该脚本执行判定部判定为能够执行的脚本；以及脚本执行结果判定部，其判定由该脚本执行部执行的脚本的执行结果是否与预想的结果相同。脚本执行判定部根据过去由所述脚本执行部执行的脚本的执行结果，判定由所述脚本选择部选择的脚本是否能够执行。

Description

测试装置

技术领域

本发明涉及移动终端的测试装置。

背景技术

随着移动终端的高功能化，操作步骤变复杂。另外，随着高功能化用于执行某种功能的操作数量也增加。此外，应该存储于移动终端中的软件的容量也呈增大趋势。随着软件的容量增大，故障数量也呈增加趋势。

另外，随着移动终端的高功能化，使产生所谓“重设/冻结(reset/freeze)”问题的软件等故障也逐渐增加。关于这些故障，事实上是无法事前检测全部故障的。

因此，对安装于移动终端中的软件进行评价。

例如，公知有利用自动评价工具进行评价的方法。为了采用利用自动评价工具评价软件的方法，需要在安装于评价对象的移动终端中的软件中装配预先确定的操作步骤作为该软件的一种动作方法。另外，利用者需要按下菜单按钮或按下数字键按钮等来利用期望的功能。

利用自动评价工具进行评价的方法包括功能方式和随机方式。

在功能方式中，按照预先确定的操作步骤来评价移动终端的特定功能。通过评价特定的功能，能够确认在移动终端中安装的软件的特定功能可按照所要求的规格那样正确地发挥作用。

在随机方式中，不进行特别指定作为评价对象的功能。取而代之，利用计算机随机产生作为评价对象的操作。通过利用计算机随机产生作为评价对象的操作，能够确认在移动终端中安装的软件正确持续动作。例如，使在安装于移动终端的软件中（尽可能地）产生意外的动作步骤。通过使产生意外的动作步骤，能够检测软件的故障等。

例如，公知有对安装于移动终端中的软件进行评价的方法（例如，参照专利文献1）。

现有技术文献

专利文献

专利文献1：日本特开2009－290852号公报

发明内容

发明要解决的问题

在随机方式中随机产生应该操作的按键。由于随机产生应该操作的按键，因而有可能不能如预期那样地正确执行用于使作为评价对象的软件的特定功能进行动作的步骤。

另外，在用于使特定的功能进行动作的操作数量较多的情况下，用于使该特定的功能进行动作的步骤被执行的可能性降低。因此，难以提高作为评价对象的软件的功能的使用普及性。

另外，由于随机产生应该操作的按键，因而将无法抑制本来不想要产生的操作、例如向110的呼叫或利用收费服务的呼叫等。

通过利用随机方式对移动终端进行固定时间的评价，能够进行故障检测。但是，难以解决上述问题。

本发明正是鉴于上述问题而提出的，其目的在于，高效地评价安装在移动终端中的软件的功能。

用于解决问题的手段

根据本发明的一个实施例，提供一种评价在移动终端中安装的软件的动作的测试装置，该测试装置具有：

脚本选择部，其选择脚本，该脚本包含用于使移动终端执行所应发挥的功能的信息；

脚本执行判定部，其判定由该脚本选择部选择的脚本是否能够执行；

脚本执行部，其执行由该脚本执行判定部判定为能够执行的脚本；以及

脚本执行结果判定部，其判定由该脚本执行部执行的脚本的执行结果是否与预想的结果相同，

所述脚本执行判定部根据过去由所述脚本执行部执行的脚本的执行结果，判定由所述脚本选择部选择的脚本是否能够执行。

发明效果

根据图示的实施例，能够高效地测试安装在移动终端中的软件的功能。

附图说明

图1是示出测试装置的一个实施例的图。

图2是示出移动终端的测试***的一个实施例的图。

图3是示出自动评价工具的一个实施例的图。

图4是示出脚本（scenario）的一个实施例的图。

图5是示出脚本的一个实施例的图。

图6是示出脚本管理信息的一个实施例的图。

图7是示出测试装置的一个实施例的功能框图。

图8是示出脚本执行信息的一个实施例的功能框图。

图9是示出脚本执行结果信息的一个实施例的功能框图。

图10是示出脚本执行信息的一个实施例的功能框图。

图11是示出测试装置的动作的一个实施例的流程图。

图12是示出测试装置的动作的一个实施例的流程图。

图13是示出测试装置的动作的一个实施例的流程图。

具体实施方式

下面，根据附图说明实施例。

另外，在用于说明实施例的所有附图中，具有相同功能的部分使用相同标号，并省略重复说明。

<实施例>

本实施例的自动评价工具被安装于PC（Personal Computer：个人电脑）等中。另外，也可以安装在用于测试在移动终端中安装的软件的装置中。

在本实施例中，作为一例说明安装于PC中的情况。通过在PC中安装自动评价工具，使该PC作为移动终端的测试装置100发挥作用。

本测试装置100使随机产生作为对象的功能，并判定对应该功能的脚本是否能够执行，根据该判定结果，将不能执行的脚本自动从测试项目中去除，由此高效地进行测试。

图1示出本实施例的存储有自动评价工具的测试装置100的一例。

测试装置100具有中央运算处理单元（CPU：Central Processing Unit）102、存储部104、输入部106、输出部108。CPU102、存储部104、输入部106、输出部108通过总线150而连接。

CPU102进行存储部104、输入部106及输出部108的控制。CPU102按照存储在存储部104中的程序发挥作用，并进行预定的处理。

在存储部104中存储有应用、操作***（OS：Operating System）和自动评价工具。例如，存储部104是在计算机内存储数据和程序的外部存储装置。例如，包括硬盘（hard disk，fixed disk）、软盘（floppy disk）、MO（Magneto-Optical disk）、CD－R（Compact disk Recordable）、磁盘等。应用是具有让用户实施在本测试装置100中执行的作业的功能的软件。例如，在应用中包含文字处理器、表格计算软件、数据库管理***（DBMS：Data Base Management System）、媒体播放器等。操作***是在本测试装置100中将把硬件抽象化后的接口提供给应用软件的软件。自动评价工具是指这样的工具：其因用户而变化，通过操作移动终端使在该移动终端中安装的软件进行动作，由此进行该软件的质量及功能中至少一方的评价。

输入部106例如由键盘和鼠标构成，向本测试装置100进行指示或数据的输入。该指示包含针对操作***的指示、针对应用的指示、针对自动评价工具的指示。

输出部108例如由显示器构成，显示基于本测试装置100的处理状态和处理结果。在该处理状态和处理结果中包含基于操作***和应用和自动评价工具的处理状态和处理结果。显示器包括液晶显示器、CRT（Cathode Ray Tube：阴极射线管）显示器、等离子（PDP：Plasma Display Panel：等离子显示板）显示器、有机EL（Electro－Luminescence）显示器等。

图2示出对在移动终端200中安装的软件进行评价的评价***的结构例。

<测试***的结构例>

在该测试***中，移动终端200和测试装置100相连接。例如，可以通过线缆（未图示）相连接。优选移动终端200具有用于受理用户利用输入部进行的操作的用户接口（UI：User Interface）。例如，输入部包括数字键等。移动终端200可以是手持式，也可以是头戴式。另外，移动终端200例如只要是能够根据电信号变更内部的动作的终端即可，不一定需要输入部。例如，移动终端200可以是卡式，也可以是模块式。

另外，在该测试***中准备了用于拍摄移动终端200的显示部的摄像机300。该摄像机300拍摄在移动终端200的显示部显示的图像和动态图像中至少一方。利用该摄像机300拍摄的显示部的图像和动态图像中至少一方被输入测试装置100。例如，也可以是，利用线缆（未图示）将摄像机300和测试装置100之间连接，通过该线缆在摄像机300和测试装置100之间进行图像和动态图像中至少一方的发送接收。

<自动评价工具>

图3示出自动评价工具的结构例。

自动评价工具具有按键操作驱动器。按键操作驱动器是用于对作为操作***发挥作用的CPU102提供与移动终端200之间的接口的软件。

自动评价工具具有自动评价引擎。自动评价引擎是用于使作为自动评价工具发挥作用的CPU102执行对在移动终端200中安装的软件进行评价的功能的软件。

自动评价工具具有OCR（Optical Character Reader：光学字符读取器）。OCR从利用摄像机300拍摄的图像中光学地读取文字，并与预先存储的图案进行核对，由此确定文字。也可以是，OCR从利用摄像机300拍摄的动态图像中光学地读取文字，并与预先存储的图案进行核对，由此确定文字。

<测试用脚本>

自动评价工具具有测试用脚本。测试用脚本示出了在利用自动评价工具评价对象功能时应该使移动终端200执行的操作的步骤。例如，测试用脚本是通过执行自动评价工具而生成的。

图4是示出测试用脚本的一例的图。在图4中，作为一例示出了两种功能（功能1、功能2）。

在生成测试用脚本时，生成用于定义脚本的名称（功能名称）。例如，生成“功能1”、“功能2”作为功能名称。另外，针对各种功能记述了表示用于使执行该功能的按键的“操作”、和表示该按键的流程的“命令”。例如，在功能名称用“功能1”表示的功能中，包含表示应该操作的按键的信息（“操作1”…“操作n”）、和用于控制该应该操作的按键的操作步骤的（“命令1”…“命令m”）。另外，在功能名称用“功能2”表示的功能中，包含表示应该操作的按键的信息（“操作1”…“操作x”）、和用于控制该应该操作的按键的操作步骤的（“命令1”…“命令y”）。

另外，也可以将多种功能进行汇总来定义一种功能。例如，也可以将作为评价对象的多种功能进行汇总而定义为一种新的功能。

图5示出将多种功能进行汇总而作为一种功能来定义新功能的示例。

在图5示出的例子中，将多种功能（“功能X”、“功能Y”…“功能Z”）进行汇总，作为一种功能（“功能1”）来定义新功能。换言之，“功能1”中嵌套（nest）有多种功能（“功能X”、“功能Y”…“功能Z”）。

<脚本管理信息>

对利用自动评价工具进行管理的脚本管理信息进行说明。例如，自动评价引擎事前登记脚本管理信息。

图6示出存储在存储部104中的脚本管理信息的一例。

在图6示出的脚本管理信息中存储有脚本定义名称。在脚本定义名称中存储有参照图4说明的功能、和参照图5说明的功能中至少一方。

在脚本管理信息中存储有与所存储的脚本定义名称对应的功能层次、输入参数、重要度和动作内容。功能层次表示用于使执行功能的操作步骤，利用数值表示各个操作步骤。

在图6示出的例子中，作为脚本定义名称存储有与邮件发送相关的“功能1”，作为与该“功能1”对应的功能层次、输入参数、重要度和动作内容，分别存储有“1－1－1”、“你好，初次见面……”、“1”、“分组呼叫”。

另外，作为脚本定义名称，存储有与电话呼叫相关的“功能2”，作为与该“功能2”对应的功能层次、输入参数、重要度和动作内容，分别存储有“1－2－3－4”、“03－1234－5678”、“2”、“语音呼叫”。

另外，作为脚本定义名称，存储有使多种功能发挥作用的“功能A”，作为与该“功能A”对应的功能层次、输入参数、重要度和动作内容，分别存储有“嵌套（nesting）”、“功能1＋功能2”、“－”、“－”。

另外，作为脚本定义名称，存储有使多种功能发挥作用的“功能N”，作为与该“功能N”对应的功能层次、输入参数、重要度和动作内容，分别存储有“a－b－c－d”、“参数x（parameter x）”、“Z”、“无”。

<自动评价工具的功能>

图7示出本测试装置100的功能。

本测试装置100具有脚本选择部1022。脚本选择部1022选择应该使移动终端200 执行的脚本。例如，也可以是，脚本选择部1022从预先设定的多个脚本中随机选择应该使移动终端执行的脚本。也可以是，在选择脚本时使用输出随机的值的函数。

本测试装置100具有脚本执行判定部1024。脚本执行判定部1024与脚本选择部1022连接。脚本执行判定部1024判定由脚本选择部1022选择的脚本是否能够执行。例如，脚本执行判定部1024参照根据图6而说明的脚本管理信息，取得与由脚本选择部1022选择的脚本对应的“动作内容”。脚本执行判定部1024参照脚本执行信息，判定所取得的动作内容是否是被抑制的内容。

图8示出存储在存储部中的脚本执行信息的一例。

在脚本执行信息中包含抑制内容和抑制状态。在图8示出的例子中，作为抑制内容，存储有“电话呼叫（通常时）”、“电话呼叫（紧急时）”、“分组呼叫”和“利用收费服务”，作为抑制状态，分别存储有“无”、“抑制”、“无”和“抑制”。

在与由脚本选择部1022选择的脚本对应的动作内容是抑制的情况下，脚本执行判定部1024判定为是不能执行的脚本。另一方面，在与由脚本选择部1022选择的脚本对应的“动作内容”是不抑制的情况下，脚本执行判定部1024判定为是能够执行的脚本。脚本执行判定部1024从由脚本选择部1022设定的脚本中删除被判定为是不能执行的脚本的脚本。

本测试装置100具有脚本执行部1026。脚本执行部1026与脚本执行判定部1024连接。脚本执行部1026执行从脚本选择部1022选择的脚本中删除了由脚本执行判定部1024判定为是不能执行的脚本的脚本之后剩余的脚本。脚本执行部1026将脚本的执行结果输入脚本执行结果判定部1028。

本测试装置100具有脚本执行结果判定部1028。脚本执行结果判定部1028与脚本执行部1026连接。脚本执行结果判定部1028根据由脚本执行部1026输入的脚本的执行结果，判定该脚本的执行结果是否与预想的结果相同。在脚本的执行结果被判定为与预想的结果相同的情况下，判定为脚本执行成功。另一方面，在脚本的执行结果被判定为与预想的结果不同的情况下，判定为脚本执行失败。脚本执行结果判定部1028将脚本的执行结果反映在执行结果信息中。在执行结果信息中按照每个脚本存储有该脚本执行失败的次数。另外，例如，通过脚本的执行而预想的结果按照每个脚本被预先存储在存储部104中。

图9示出在存储部104中存储的执行结果信息的一例。

在执行结果信息中将脚本定义名称和失败次数对应关联起来。

在图9示出的例子中，作为脚本定义名称，存储有“网页连接”、“设定执行”，关于失败次数分别存储有“2”、“10”。

脚本执行结果判定部1028参照执行结果信息，判定是否存在失败次数为预定的阈值以上的脚本。脚本执行结果判定部1028将失败次数为预定的阈值以上的脚本追加到脚本执行信息中。

图10示出预定的阈值被设定为“10”的情况。在这种情况下，由于包含于执行结果信息中的“设定执行”的失败次数为“10”，因而脚本执行结果判定部1028将该“设定执行”设为“抑制”并追加到脚本执行信息中。

图10示出在脚本执行信息中追加了“设定执行”的示例。

<本测试装置的动作>

图11示出本测试装置100的动作。

本测试装置100选择脚本定义名称（步骤S1102）。所选择的脚本定义名称可以是多个。例如，脚本选择部1022选择脚本定义名称。

本测试装置100判定是否能够执行与通过步骤S1102选择的脚本定义名称对应的功能（步骤S1104）。例如，脚本执行判定部1024参照脚本执行信息来判定通过步骤S1102选择的脚本是否没有被抑制，由此判定是否能够执行。在被设为抑制的情况下判定为不能执行，在未被设为抑制的情况下判定为能够执行。

在判定为脚本能够执行的情况下（步骤S1104：是），本测试装置100执行脚本（步骤S1106）。在此，在通过步骤S1102选择了多个脚本的情况下，在具有能够执行的脚本时判定为脚本能够执行。例如，脚本执行部1026执行能够执行的脚本。

另一方面，在判定为脚本不能执行的情况下（步骤S1104：否），返回步骤S1102。

本测试装置100判定脚本的执行结果（步骤S1108）。例如，脚本执行结果判定部1028判定脚本的执行结果是否与预想的结果相同，由此判定脚本的执行结果是否成功。

在通过步骤S1108判定脚本的执行结果后，返回步骤S1102。

<脚本执行判定部的具体动作>

图12示出由脚本执行判定部1024执行的动作的具体情况。

也可以是，在由脚本执行判定部1024执行动作时，由用户生成脚本执行信息。即，生成应该存储在测试装置100中的脚本执行信息、和应该随时对用户设定的脚本执行信息。在此，根据应该对用户设定的脚本执行信息判定脚本是否能够执行。

脚本执行判定部1024判定正在执行中的脚本的“动作内容”是否包含于脚本执行信息的抑制内容中（步骤S1202）。

在判定为正在执行中的脚本的“动作内容”包含于脚本执行信息的抑制内容中的情况下（步骤S1202：是），判定“抑制状态”是否是抑制（步骤S1204）。

在“抑制状态”是抑制的情况下（步骤S1204：是），识别为是不能执行的脚本（步骤S1206）。在此，也可以将被识别为是不能执行的脚本的脚本追加到应该存储于测试装置100的脚本执行信息中。

当在步骤S1202中判定为正在执行中的脚本的“动作内容”没有包含再脚本执行信息的抑制内容中的情况下（步骤S1202：否），以及在步骤S1204中“抑制状态”不是抑制的情况下（步骤S1204：否），识别为能够执行的脚本（步骤S1208）。

<脚本执行结果判定部的具体动作>

图13示出由脚本执行结果判定部1028执行的动作的具体情况。

脚本执行结果判定部1028判定脚本执行结果是否是失败（步骤S1302）。

在判定为脚本执行结果是失败的情况下（步骤S1302：是），反映在执行结果信息中（步骤S1304）。

判定是否存在失败次数为预定的阈值以上的脚本（步骤S1306）。

在判定为存在失败次数为预定的阈值以上的脚本的情况下（步骤S1306：是），反映在脚本执行信息中（步骤S1308）。

当在步骤S1302中判定为脚本执行结果不是失败的情况下（步骤S1302：否），以及在步骤S1302中判定为不存在失败次数为预定的阈值以上的脚本的情况下（步骤S1306：否），结束处理。

<本实施例的效果>

通过记录脚本的执行结果，并将执行失败的次数为预定的阈值以上的脚本自动从测试项目中删除，能够高效地进行测试。

随着移动终端的高功能化，操作步骤变复杂。另外，随着高功能化用于执行某种功能的操作数量也增加。此外，应该存储于移动终端中的软件的容量也呈增大趋势。随着软件的容量增大故障数量也呈增加趋势。

随着移动终端的高功能化，使产生所谓“重设/冻结”问题的软件等故障也逐渐增加。关于这些故障，事实上是无法事前检测全部故障的。

在本实施例中，在评价软件时使随机产生作为操作对象的“功能”。通过使随机产生功能，与使产生应该操作的按键的情况相比，由于应该操作的按键和该按键的操作顺序被指定，因而能够与特定功能的操作方法（操作数量）无关地进行功能的评价。能够提高作为评价对象的功能的使用普及性。能够按照每种功能判定是否进行抑制。能够控制特定的功能的使用率。

关于包括以上实施例的实施方式，还公开了如下项目。

（1）一种评价在移动终端中安装的软件的动作的测试装置，该测试装置具有：

（2）在（1）记载的测试装置中，

在由所述脚本选择部选择的脚本是被判定为过去由所述脚本执行部执行的脚本的执行结果与预想的结果不同的次数为预定的阈值以上的脚本的情况下，所述脚本执行判定部判定为不能执行。

（3）在（1）或（2）记载的测试装置中，所述测试装置具有：

第1表，其将脚本、和由所述执行结果判定部判定为该脚本的执行结果与预想的结果不同的次数对应关联；以及

第2表，其将被判定为由所述脚本执行部执行的脚本的执行结果与预想的结果不同的次数为预定的阈值以上的脚本、和表示该脚本是否能够执行的信息对应关联，

所述脚本执行结果判定部在判定为由所述脚本执行部执行的脚本的执行结果与预想的结果不同的情况下，反映在所述第1表中，

所述脚本执行判定部参照所述第2表判定由所述脚本选择部选择的脚本是否属于不能执行的脚本。

（4）在（1）～（3）中任意一项记载的测试装置中，

在所述脚本中包含一个或者多个移动终端所应发挥的功能。

（5）在（1）～（4）中任意一项记载的测试装置中，

所述脚本选择部从预先设定的脚本中随机进行选择。

为了便于说明并帮助理解发明，使用具体的数值示例进行了说明，但只要没有特殊说明，这些数值只不过是单纯的一例，也可以使用合适的任意数值。

以上参照特定的实施例对本发明进行了说明，但各实施例只不过是单纯的示例，本行业人员能够想到各种变形例、修改例、替代例、置换例等。为了便于说明，使用功能性框图对本发明的实施例涉及的装置进行了说明，然而这种装置也可以以硬件、软件或者它们的组合方式来实现。本发明不限于上述实施例，包括不脱离本发明的精神的各种变形例、修改例、替代例、置换例等。

本国际申请以在2011年2月14日提出申请的第2011－029137号日本专利申请为基础并对其主张优先权，并且该第2011－029137号日本专利申请的全部内容被引用于本国际申请中。

标号说明

100测试装置；102中央运算处理单元（CPU：Central Processing Unit）；1022脚本选择部；1024脚本执行判定部；1026脚本执行部；1028脚本执行结果判定部；104存储部；106输入部；108输出部；150总线；200移动终端；300摄像机。

Claims

1.一种评价在移动终端中安装的软件的动作的测试装置，该测试装置具有：

2.根据权利要求1所述的测试装置，其中，

3.根据权利要求1所述的测试装置，所述测试装置具有：

第1表，其将脚本、和由所述执行结果判定部判定为该脚本的执行结果与预想的结果不同的次数关联起来；以及

第2表，其将被判定为由所述脚本执行部执行的脚本的执行结果与预想的结果不同的次数为预定的阈值以上的脚本、和表示该脚本是否能够执行的信息关联起来，

4.根据权利要求1所述的测试装置，其中，

在所述脚本中包含一个或者多个移动终端所应发挥的功能。

5.根据权利要求1所述的测试装置，其中，

所述脚本选择部从预先设定的脚本中随机进行选择。