CN104717337A - 一种批量测试手机应用的方法及其使用的设备 - Google Patents

Abstract

本发明提供的一种批量测试手机应用的方法及其使用的设备，本发明就可以实现多设备的同时测试，大大节约了开发维护成本，此外，本发明的强调移动应用的并行测试，即同时在多个平台、分辨率与语言环境下进行移动设备的测试，更着重对测试时间的节省，和通过测试矩阵分析相比，测试人员通过改发明可以极大提供测试效率并可以帮助测试人员实现高覆盖率，在高测试覆盖率的前提上，测试人员无需考虑因为采用矩阵分析带来的测试内容取舍的风险，除了移动应用的研发和测试领域，本发明也可以被手机制造商采用，提高移动设备出厂前抽测的采样率。

Description

一种批量测试手机应用的方法及其使用的设备

技术领域

本发明属于移动设备与应用的测试领域，能够应用于移动应用开发行业与和手机制造行业以及其他涉及移动应用开发与测试的相关行业。

背景技术

兼容性测试是移动应用测试的重要组成部分，移动应用兼容性测试维度涉及广泛，主要包括了屏幕分辨率，网络环境，多语言环境等多种测试因素。其中每个因素都可能有多种可能性(例如：当一个移动应用需要在8种分辨率，8种多语言环境，以及3种网络环境下测试，那么就需要测试总共8x8x3＝192种可能性)。为了提高测试的覆盖率，并且缩短测试周期，现有技术在解决该问题时主要有以下两种方法：

1).自动化测试：通过编写测试脚本对应用进行自动化的测试，无需人工干预，自动化测试在提高覆盖率的主要问题包括了，1)开发编写自动化测试脚本的开销大，维护开销往往随着被测应用的界面的改变而快速上升，不能很好的适应移动开发周期短，应用界面快速变化的趋势。2)在实际操作中自动化测试的执行往往是串行的，即一个场景(即每种测试因素各取一，例如，在一种分辨率和一种语言下)，接着一个场景测试，在面对大量的场景的需求时，往往意味着测试时间的增长，对自动化测试本身的稳定性也构成了较大挑战。

2).利用测试矩阵分析：通过对测试的覆盖进行矩阵建模，从数学角度降低测试的覆盖率(例如只测试50％的场景，降低80％的测试风险)并尽力规避因为减少测试的风险。矩阵分析在解决测试覆盖率的问题主要在于，纯数学角度的分析并不能完全规避缺失覆盖率的风险。例如某个应用在特定的语言环境下因为显示文本存在特殊文字而导致应用程序奔溃，该类问题只有在实际测试的场景中才能发现，却有可能被矩阵分析的方法所遗漏。

为解决以上的各个技术问题，本发明提供了一种批量测试手机应用的方法及其所使用的设备，旨在解决现有技术中的开发维护成本高，耗时长，效率低以及无法完全规避测试风险的问题。该方法可以概述为在一台被测移动设备下获取当前移动应用的测试步骤以及***相关数据，实时的将测试指定发送到多个被测设备上，从而实现多种设备，多个场景同时测试的方法。

发明内容

针对上述情况，为解决现有技术之缺陷，本发明之目的就是提供了一种批量测试手机应用的方法，其特征在于，其包括以下步骤，

1)连接测试设备步骤：首先，测试人员将主测试设备与测试分析器相连，其中，主测试设备是一个设备，然后，测试人员将副测试设备与测试执行器相连，副测试设备可以是一个或多个设备；

2)准备测试环境：首先，测试准备器根据本次测试需要的测试应用、测试平台、屏幕分辨率、所需要的环境语言、覆盖率需求以及连接副测试设备的个数，分析出需要的测试次数，并通知测试执行器将将副测试设备设置为需要的环境以及安装被测应用；然后，当测试准备器完成对被副测试的设置之后，将把当前副测试设备的信息通知测试分析器；最后，测试分析器将检查主测试设备是否已经相连，如果主测试设备已经连接，将提醒测试人员可以开始测试；

3)执行测试：首先，测试人员从主测试设备发起测试指令，即在屏幕上对被测应用程序进行操作；然后，测试分析器将实时获取主测试设备屏幕的操作，操作包括了测试人员点击了屏幕的坐标、输入字符、移动设备上的按键以及点击屏幕坐标为中心在主测试设备屏幕上10x10像素区域的截图；然后，测试分析器将对收集的测试指令进行必要的处理；最后，测试执行器在收到测试分析器递交的测试指令，根据指令对应的副测试设备进行发送，副测试设备将会产生和主测试设备上同样的测试步骤，从而实现移动应用的批量化测试；

4)监控测试结果：首先，当测试执行器在进行测试的过程中，会实时从各副测试设备中获得当前执行信息，并将信息传递给测试分析器，信息包括了当前测试指令的执行是否成功，以及副测试设备在每一次测试指令结束后的截屏；然后，测试分析器会分析从测试执行器传递来的执行信息，进行测试结果分析。

进一步，作为优选，在步骤2)准备测试环境中，如果副测试设备的数量足够多，则只需要一次测试就可以测完所有的需求，如果副测试设备数量有限，则需要多次能完成所有的需求。

进一步，作为优选，在步骤3)执行测试步骤中，对屏幕坐标的点击的处理方法有以下三种：

①如果副测试设备和主测试设备的屏幕尺寸，与分辨率完全一样，则不对从主测试设备中获得的操作数据进行处理；

②如果副测试设备和主测试设备的屏幕尺寸一样，但分辨率不同，则采用等比例放大，缩小的方法对输入进行处理；

③如果副测试设备和主测试设备的屏幕尺寸和分辨率都不一样，则通过图像比对来实现，具体为：取主设备上以当前点击屏幕坐标为中心的10x10像素区域，并在副测试设备的屏幕上寻找匹配度最高的区域，再取改区域的中心点作为需要在副测试设备点击的坐标。

进一步，作为优选，在步骤3)执行测试步骤中，除了屏幕坐标需要处理，设备的按键以及屏幕的输入并不需要处理，且测试分析器的数据将从主测试设备得到的数据进行的分析处理后，针对每个副测试设备的屏幕分辨率与尺寸都生成对应的操作指令，并将该操作指令发送给测试执行器。

进一步，作为优选，在步骤4)监控测试结果步骤中，测试结果分析包括两种方法，分别是：

①自动判定，如果发现有测试指令的执行失败或者是副测试设备的屏幕变化没有同步，则认为当前在副测试设备的测试失败，屏幕变化的同步是通过与主测试设备的屏幕变化进行比较来进行判定的；

②人工判定，测试人员通过式在测试分析器上看到所有副测试设备上的每一步操作截屏，进行人工判定。

进一步，作为优选，在步骤3)执行测试步骤中，移动设备上的按键包括电源键和音量键。

此外，本发明还提供了一种批量测试手机应用的方法中所使用的设备，其特征在于，其包括主测试设备、副测试设备、测试准备器、测试分析器和测试执行器，其中，所述主测试设备连接测试分析器，所述测试分析器与测试准备器和测试执行器连接，所述测试执行器与所述测试分析器连接，所述测试执行器连接有多个副测试设备。

进一步，作为优选，所述主测试设备是既是移动终端设备也是测试指令的输入端，在测试过程中屏幕上的操作将被所述测试分析器解析，并通过所述测试执行器发送到副测试设备；副测试设备是和测试执行器相连的移动终端设备，是测试执行的接收端，在测试过程中接受从测试执行器发送来的测试指令并执行测试；测试准备器是根据测试的概率需求，向测试执行器发送环境准备的指令，由测试执行器在副测试设备上进行环境准备，并向测试分析器通报当前的测试环境情况；测试分析器是实时分析主测试设备的屏幕操作，并将其转换为当前各个副测试设备可以执行的测试操作，并传递给测试执行器；测试执行器，接收从测试准备器发送的环境准备指令，与从测试分析器中发送的测试指令，向副测试设备进行传递，并在测试的执行过程中获取各副测试设备的测试数据并发送给测试分析器。

进一步，作为优选，所述测试分析器还接收由测试执行器反馈的执行信息并对各个副测试设备的测试结果进行判定。

本发明的有益效果：

(1)本发明可以从根本上解决移动应用测试覆盖率不足的问题，能够同时利用现有的设备进行批量测试，提高了设备的利用率并降低了测试时间。本发明的主要创新点在于实现了同时多设备测试，即测试人员从单台测试设备的测试操作可以实时发送到多个测试设备，此外该发明对不同设备分辨率和型号的处理也进行了针对性的处理，确保测试指令执行的可靠性。

(2)本发明通过自动化测试来提高测试覆盖率，该方案的优点在于不需要编写与维护自动化测试脚本，测试人员只需要从一台测试设备上开始测试，本发明就可以实现多设备的同时测试，大大节约了开发维护成本。此外，本发明的强调移动应用的并行测试，即同时在多个平台、分辨率与语言环境下进行移动设备的测试，更着重对测试时间的节省。

(3)与通过测试矩阵分析相比，测试人员通过改发明可以极大提供测试效率并可以帮助测试人员实现高覆盖率，在高测试覆盖率的前提上，测试人员无需考虑因为采用矩阵分析带来的测试内容取舍的风险。

此外，本发明除了移动应用的研发和测试领域，本发明也可以被手机制造商采用，提高移动设备出厂前抽测的采样率。

附图说明

图1为本发明提供的一种批量测试手机应用的方法中所使用的设备的连接示意图；

图2为本发明提供的一种批量测试手机应用的方法的过程顺序示意图；

图3为本发明提供的一种批量测试手机应用的方法的测试指令示意图。

具体实施方式

下面结合附图对本发明做进一步说明。

如图2-3所示，本发明提供了一种批量测试手机应用的方法，其包括以下步骤：

1)连接测试设备

1.1测试人员需要将主测试设备与测试分析器相连，主测试设备是一个设备；

1.2测试人员将副测试设备与测试执行器相连，副测试设备可以是一个或多个设备；

2)准备测试环境

2.1测试准备器根据本次测试需要的测试应用，测试平台，屏幕分辨率，所需要的环境语言，覆盖率需求(例如＞50％)，以及连接副测试设备的个数，分析出需要的测试次数，并通知测试执行器将将副测试设备设置为需要的环境以及安装被测应用。如果副测试设备的数量足够多，则只需要一次测试就可以测完所有的需求，如果副测试设备数量有限，则需要多次能完成所有的需求，但时间相对于串行测仍会大为缩短；

2.2当测试准备器完成对被副测试的设置之后，将把当前副测试设备的信息通知测试分析器；

2.3测试分析器将检查主测试设备是否已经相连，如果主测试设备已连接，并将提供测试人员可以开始测试；

3)执行测试

3.1测试人员从主测试设备发起测试指令，即在屏幕上对被测应用程序进行操作；

3.2测试分析器将实时获取主测试设备屏幕的操作，操作包括了测试人员点击了屏幕的坐标，输入字符，移动设备上的按键(如电源，音量)，以及点击屏幕坐标为中心在主测试设备屏幕上10x10像素区域的截图；

3.3测试分析器将对收集的测试指令进行必要的处理，其中对屏幕坐标的点击的处理方法有三种：

①如果副测试设备和主测试设备的屏幕尺寸，与分辨率完全一样，则不对从主测试设备中获得的操作数据进行处理；

②如果副测试设备和主测试设备的屏幕尺寸一样，但分辨率不同，则采用等比例放大，缩小的方法对输入进行处理，例如：主测试设备是1280x720分辨率，而某副测试设备是1920x1080，用户在主测试设备上点了X轴为600，Y轴为500的点，则认为应该在该副测试设备上点X轴为600x1920/1280＝900，Y轴为500x1920/1280＝750的点；

③如果副测试设备和主测试设备的屏幕尺寸和分辨率都不一样，则通过图像比对来实现。该方法可理解为取主设备上以当前点击屏幕坐标为中心的10x10像素区域，并在副测试设备的屏幕上寻找匹配度最高的区域，再取改区域的中心点作为需要在副测试设备点击的坐标；

此外，除了屏幕坐标需要处理，设备的按键以及屏幕的输入并不需要处理。测试分析器的数据将从主测试设备得到的数据进行的分析处理后，针对每个副测试设备的屏幕分辨率与尺寸都生成对应的操作指令，如副测试设备1，点击坐标600x500，副测试设备2，点击坐标900x750，并将发送给测试执行器。

3.4测试执行器在收到测试分析器递交的测试指令，根据指令对应的副测试设备进行发送，则副测试设备将会产生和主测试设备上同样的测试步骤，从而实现了移动应用的批量化测试。

4)监控测试结果：

4.1当测试执行器在进行测试的过程中，会实时从各副测试设备中获得当前执行信息，并将信息传递给测试分析器。信息包括了当前测试指令的执行是否成功，以及副测试设备在每一次测试指令结束后的截屏。

4.2测试分析器会分析从测试执行器传递来的执行信息，进行测试结果分析，它包括了：

①自动判定，如果发现有测试指令的执行失败或者是副测试设备的屏幕变化没有同步，则认为当前在副测试设备的测试失败。屏幕变化的同步是通过与主测试设备的屏幕变化进行比较来进行判定的：

②人工判定，测试人员可以通过式在测试分析器上看到所有副测试设备上的每一步操作截屏，进行人工判定。

此外，本发明的方法所使用的设备，包括了以下五部分：主测试设备、副测试设备、测试准备器、测试分析器与测试执行器，其相互关系如图1所示。

其中，各个部分的描述如下：

(1)主测试设备，是和测试分析器相连的移动终端设备，测试指令的输入端，在测试过程中屏幕上的操作将被测试分析器解析，并通过测试执行器发送到副测试设备。主测试设备在该方法中只能有一个；

(2)副测试设备，是和测试执行器相连的移动终端设备，测试执行的接收端，在测试过程中接受从测试执行器发送来的测试指令并执行测试。副测试设备在该方法中可以有一到多个；

(3)测试准备器，根据测试的概率需求，向测试执行器发送环境准备的指令，由测试执行器在副测试设备上进行环境准备，并向测试分析器通报当前的测试环境情况；

(4)测试分析器，实时分析主测试设备的屏幕操作，并将其转换为当前各个副测试设备可以执行的测试操作，并传递给测试执行器，此外测试分析器还接收由测试执行器反馈的执行信息并对各个副测试设备的测试结果进行判定；

(5)测试执行器，接收从测试准备器发送的环境准备指令，与从测试分析器中发送的测试指令，向副测试设备进行传递，并在测试的执行过程中获取各副测试设备的测试数据并发送给测试分析器。

本发明起源于解决在多语言测试的过程中的覆盖性问题，例如一个移动应用支持20种语言，却只有一周的测试时间，如何在有限的时间内覆盖这么多的语言，还要考虑到移动设备的各种分辨率，一直是移动应用测试的巨大挑战，利用本发明，测试人员完全有可能在一个设备上发起测试并将测试传到到多个测试设备上，能够极大的提升工作效率。

Claims (9)

1.一种批量测试手机应用的方法，其特征在于，其包括以下步骤：

1)连接测试设备步骤：首先，测试人员将主测试设备与测试分析器相连，其中，主测试设备是一个设备，然后，测试人员将副测试设备与测试执行器相连，副测试设备可以是一个或多个设备；

2)准备测试环境：首先，测试准备器根据本次测试需要的测试应用、测试平台、屏幕分辨率、所需要的环境语言、覆盖率需求以及连接副测试设备的个数，分析出需要的测试次数，并通知测试执行器将将副测试设备设置为需要的环境以及安装被测应用；然后，当测试准备器完成对被副测试的设置之后，将把当前副测试设备的信息通知测试分析器；最后，测试分析器将检查主测试设备是否已经相连，如果主测试设备已经连接，将提醒测试人员可以开始测试；

3)执行测试：首先，测试人员从主测试设备发起测试指令，即在屏幕上对被测应用程序进行操作；然后，测试分析器将实时获取主测试设备屏幕的操作，操作包括了测试人员点击了屏幕的坐标、输入字符、移动设备上的按键以及点击屏幕坐标为中心在主测试设备屏幕上10x10像素区域的截图；然后，测试分析器将对收集的测试指令进行必要的处理；最后，测试执行器在收到测试分析器递交的测试指令，根据指令对应的副测试设备进行发送，副测试设备将会产生和主测试设备上同样的测试步骤，从而实现移动应用的批量化测试；

4)监控测试结果：首先，当测试执行器在进行测试的过程中，会实时从各副测试设备中获得当前执行信息，并将信息传递给测试分析器，信息包括了当前测试指令的执行是否成功，以及副测试设备在每一次测试指令结束后的截屏；然后，测试分析器会分析从测试执行器传递来的执行信息，进行测试结果分析。

2.根据权利要求1所述的一种批量测试手机应用的方法，其特征在于，在步骤2)准备测试环境中，如果副测试设备的数量足够多，则只需要一次测试就可以测完所有的需求，如果副测试设备数量有限，则需要多次能完成所有的需求。

3.根据权利要求2所述的一种批量测试手机应用的方法，其特征在于，在步骤3)执行测试步骤中，对屏幕坐标的点击的处理方法有以下三种：

①如果副测试设备和主测试设备的屏幕尺寸，与分辨率完全一样，则不对从主测试设备中获得的操作数据进行处理；

②如果副测试设备和主测试设备的屏幕尺寸一样，但分辨率不同，则采用等比例放大，缩小的方法对输入进行处理；

③如果副测试设备和主测试设备的屏幕尺寸和分辨率都不一样，则通过图像比对来实现，具体为：取主设备上以当前点击屏幕坐标为中心的10x10像素区域，并在副测试设备的屏幕上寻找匹配度最高的区域，再取改区域的中心点作为需要在副测试设备点击的坐标。

4.根据权利要求1所述的一种批量测试手机应用的方法，其特征在于，在步骤3)执行测试步骤中，除了屏幕坐标需要处理，设备的按键以及屏幕的输入并不需要处理，且测试分析器的数据将从主测试设备得到的数据进行的分析处理后，针对每个副测试设备的屏幕分辨率与尺寸都生成对应的操作指令，并将该操作指令发送给测试执行器。

5.根据权利要求1所述的一种批量测试手机应用的方法，其特征在于，在步骤4)监控测试结果步骤中，测试结果分析包括两种方法，分别是：

①自动判定，如果发现有测试指令的执行失败或者是副测试设备的屏幕变化没有同步，则认为当前在副测试设备的测试失败，屏幕变化的同步是通过与主测试设备的屏幕变化进行比较来进行判定的；

②人工判定，测试人员通过式在测试分析器上看到所有副测试设备上的每一步操作截屏，进行人工判定。

6.根据权利要求1所述的一种批量测试手机应用的方法，其特征在于，在步骤3)执行测试步骤中，移动设备上的按键包括电源键和音量键。

7.如权利要求1-6任一项所述的一种批量测试手机应用的方法中所使用的设备，其特征在于，其包括主测试设备、副测试设备、测试准备器、测试分析器和测试执行器，其中，所述主测试设备连接测试分析器，所述测试分析器与测试准备器和测试执行器连接，所述测试执行器与所述测试分析器连接，所述测试执行器连接有多个副测试设备。

8.根据权利要求7所述的一种批量测试手机应用的方法中所使用的设备，其特征在于，所述主测试设备是既是移动终端设备也是测试指令的输入端，在测试过程中屏幕上的操作将被所述测试分析器解析，并通过所述测试执行器发送到副测试设备；副测试设备是和测试执行器相连的移动终端设备，是测试执行的接收端，在测试过程中接受从测试执行器发送来的测试指令并执行测试；测试准备器是根据测试的概率需求，向测试执行器发送环境准备的指令，由测试执行器在副测试设备上进行环境准备，并向测试分析器通报当前的测试环境情况；测试分析器是实时分析主测试设备的屏幕操作，并将其转换为当前各个副测试设备可以执行的测试操作，并传递给测试执行器；测试执行器，接收从测试准备器发送的环境准备指令，与从测试分析器中发送的测试指令，向副测试设备进行传递，并在测试的执行过程中获取各副测试设备的测试数据并发送给测试分析器。

9.根据权利要求8所述的一种批量测试手机应用的方法中所使用的设备，其特征在于，所述测试分析器还接收由测试执行器反馈的执行信息并对各个副测试设备的测试结果进行判定。