CN106908258A - 性能测试的方法及装置 - Google Patents

Abstract

本申请公开了性能测试的方法和装置，该方法包括步骤：对性能测试参数的统计量进行参数估计，并获得估计值；判断获得的估计值是否符合预设条件，并根据判断结果确定是否进行下一次测试，所述预设条件根据性能测试参数的预设波动幅度设定。本申请能够提高测试效率。

Description

性能测试的方法及装置

技术领域

本申请涉及设备的性能测试技术，尤其涉及设备性能测试的方法和装置。

背景技术

目前对于设备的性能测试主要是对响应时长的测试，但是响应时长的测试结果容易受到操作***自身的波动、测试工具采样和测试执行方式等原因的影响，造成测试数据的波动性。

现有技术中，为了避免测试数据的波动性，通常需要进行大量的测试次数来排除受影响的测试数据，以得到期望的测试结果。有的测试场景可能需要的测试次数大概需要500次才能得到期望的测试结果，因此测试效率很低。

发明内容

本申请提供设备性能测试的方法和装置，能够提高测试效率。

根据本申请实施例的第一方面，提供一种性能测试的方法，该方法包括步骤：

对性能测试参数的统计量进行参数估计，并获得估计值；

判断获得的估计值是否符合预设条件，并根据判断结果确定是否进行下一次测试，所述预设条件根据性能测试参数的预设波动幅度设定。

根据本申请实施例的第二方面，提供一种性能测试的装置，包括：

计算模块，用于对性能测试参数的统计量进行参数估计，并获得估计值；

判断模块，用于判断获得的估计值是否符合预设条件；并根据判断结果确定是否进行下一次测试，所述预设条件根据性能测试参数的预设波动幅度设定。

申请人经过大量的实验，发现性能测试参数的分布规律，随之利用统计学的原理对性能测试参数进行参数估计，将估计值与用户设定的停止测试的条件对比，每次测试后均可以判断是否需要进行下一轮测试，在达到用户期望的测试要求后即可停止测试，也就是可以找到停止测试的最佳测试次数，因此既可以保证排除受影响的测试数据，又可以降低测试成本，提高测试效率。

附图说明

图1为本申请实施例中性能测试的方法的流程图；

图2为本申请应用实例的流程图；

图3a、图3b为本申请应用实例的测试结果展示；

图4为本申请性能测试的装置的硬件架构图；

图5为本申请性能测试的装置的逻辑框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请可以做到对测试数据的性能测试结果的累积过程进行监控，规避测试波动性的影响；并能够根据用户设定的精度的要求，实时监控是否达到精度要求，使用户能够及时决定结束测试的时机。

本申请承载测试数据的设备可以是多种设备，例如手持设备、车载设备、可穿戴设备、电视设备、计算设备或其它具有处理能力的设备等等。

请参加图1，S101，对性能测试参数的统计量进行参数估计，并获得估计值；

S102，判断获得的估计值是否符合预设条件，并根据判断结果确定是否进行下一次测试，预设条件可根据性能测试参数的预设波动幅度设定。

根据统计学的定义，统计量是指通过各个样本所构造的样本函数。申请人经过大量的实验研究发现，性能测试参数的统计量可以符合某种统计分布的规律，利用这种统计规律可以分析出性能测试参数的波动性的变化情况，例如，对于所测试的测试场景在每次测试中的响应时长，可以是相互独立的一个个样本，每一次测试的响应时长的均值是趋于正态分布的；再例如，对于测定误差(即某次测量时测试性能参数受随机因素的影响，偏离正常状态下测试性能参数的差值)，在样本达到一定数量时，可以满足正态分布。因此作为一个例子，可以将性能测试参数作为样本，将多次测试获得的性能测试参数的总体构成某种函数作为统计量来进行参数估计。

以响应时长作为性能测试参数为例，可通过下述过程获得性能测试参数：

对于具有动态可视画面的测试场景，例如对启动某个应用的性能测试、设备开关机的性能测试、电话接通的性能测试等等，可以抓取测试场景的多张图片，分析图片的变化过程来获得测试场景的响应时长。

抓取测试场景的图片的方式可以是利用摄像头等拍摄工具以一定频率对设备拍照，并将拍摄工具采集的数据保存成图片，并记录每张图片的采集时间。拍摄频率高于每帧图片的变化的频率，例如，手机的刷新频率如果是60fps(帧/秒)，可以以120fps(帧/秒)的帧速率进行拍摄。

可以分析所保存的图片的变化过程，以确定响应时长，例如，可以确定图片开始变化的时间以及结束变化的时间，将算出的时间间隔作为该测试场景一次测试的响应时长。

作为例子，也可以抓取测试脚本中的关键字，通过关键字来确定特定测试场景下一次测试的响应时长。例如，当测试脚本在执行时，可以打印执行脚本的日志，以“LOG”作为关键字查找测试脚本开始运行和结束运行的时间，从而获得一次测试的响应时长。

容易理解，所列举出示例旨在于更加直观的理解本申请的技术方案，而不局限于所列举示例的实现方式，除响应时长可作为性能测试参数外，并不排除其他的性能测试参数，例如代表CPU性能数据的各个进程的占用数据等参数。

作为例子，由于多次测试的性能测试参数的总体的均值在某些场合中符合正态分布，因此，S101中可以将某次测试完成后，当前累积的每次测试的性能测试参数的均值作为性能测试参数的统计量，并利用置信区间估计进行参数估计，将置信区间估计所获得的置信区间作为估计值，另外，也可以将获得的置信区间作为中间值，获得其他值(例如波动率)作为估计值。

置信区间(Confidence interval)是指由样本的统计量所构造的总体参数的估计区间。在统计学中，一个概率样本的置信区间是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数的测量值的可信程度，这个可信程度为置信度。

本申请中，置信区间的置信度可以由用户设定，用户通过设定置信度来决定需要花费的测试成本，如果该测试场景的要求精度比较高，那么可以把置信度设置设置的高一些，使置信区间的宽度较大；如果精度低，则置信度的值可以下调，置信区间就可以减少范围，这样可以帮助用户根据需要来获得所需要的数据。例如，一个例子中，可以将置信度设置为95％，也可以将置信度设置为90％。

举例来说，获得当前累积的每次测试的性能测试参数的统计量可以通过以下方式。

如果针对某个测试场景，在第一次测试时的响应时长为t1，第二次测试时的响应时长为t2，第三次测试时的响应时长为t3，第四次测试时的响应时长为t4；则当第一次测试完成后，当前累积的性能测试参数的统计量为t1；当第二次测试完成后，当前累积的性能测试参数的统计量为t1、t2的和的平均值。以此类推，当第四次测试完成后，当前累积的性能测试参数的统计量为这四次测试的响应时长的总和的平均值。

在步骤S101中，计算统计量的置信区间时，可以根据样本数量的不同而呈现的分布规律不同，采用不同的区间估计方法。作为例子，可以通过T分布或标准正态分布来获得统计量的置信区间。可以将当前累积的测试次数与预设次数对比，确定是否通过所述统计量的T分布或标准正态分布计算所述统计量的置信区间。预定次数用于区分性能测试参数的统计量属于小样本或大样本。需要注意，大样本、小样本之间并不是以样本容量大小来区分，可以参考统计学常用的经验值，将预定次数定为30次，测试次数小于30次时各个性能测试参数属于小样本；测试次数不小于30次时所取得的性能测试参数为大样本。用户可根据测试场景的实际情况对预定次数进行调整，本申请并不限定将30次作为衡量大样本和小样本的唯一标准。

作为例子，在小样本参数估计时，可根据T分布来获得统计量的置信区间；在样本足够多，可以视为大样本数据时，可根据标准正态分布来获得统计量的置信区间。T分布和标准正态分布并非实现获得置信区间的唯一的特征分布，可通过实验数据判断具体的测试场景所获得的性能测试参数的属性特征来确定选择何种分布特征。

S102阶段中，算出的置信区间需要判断是否符合设定条件，预设条件可以根据性能测试参数的预设波动幅度设定，波动幅度可以参考以往测试所获得的经验值。作为波动幅度的参数可以根据测试者的不同需求设置不同类型，例如在某些场合，预设波动幅度可以是可接受的波动率；在另一些场合，预设波动幅度可以是可接受的置信区间的范围。根据需要，可以将其中一种预设波动幅度的参数来设置停止测试的设定条件，也可以将两种或更多的预设波动幅度的参数作为设定条件。

作为例子，如果希望降低测试成本，仅进行少量的测试，则可以在小样本测试中将用户希望小于某个波动率设置为设定条件；或者，在大样本测试中，将用户希望置信区间小于某个范围设置为设定条件。

波动率可以通过delt/样本平均值获得。

其中，delt＝S*t(n-1)/sqrt(n)

式中n表示测试次数，t(n-1)可以通过查询t分布临界表获得，S是样本标准差，sqrt(n)表示n的平方根。

置信区间的计算方法可参照现有技术。

例如，可以将小于3％的波动率作为设定条件，以95％置信度为例，如果算出的波动率不在设定的波动率范围内，则认为不符合设定条件，继续下一轮测试，直到波动率落入此设定的波动率范围内。再例如，如果将置信区间范围小于20ms作为设定条件，以95％置信度为例，如果算出的置信区间不在设定的置信区间范围内，则认为不符合设定条件，继续下一轮测试，直到算出的落入此设定的置信区间范围内。

以下以7次测试的获得的性能测试参数为例，说明置信区间及波动率的获得过程：

7次测试采集的性能测试参数如下表2所示：

表2

根据以上测试结果，由于属于小样本，因此采用T分布来统计计算波动率，假设用户设定的条件是小于3％的波动率停止测试。可以统计计算出表3的结果：

表3

Average	1167.571
		t(n-1)	2.446912
sqrt(n)	2.645751
		t(n-1)/sqrt(n)	0.92485
S	44.05246

表3中Average为当前所累积的每次测试的性能参数的平均值；t(n-1)表示自由度，n表示测试次数，置信区间的值可以是t分布临界表在置信度95％、自由度为6时所对应的值，根据表3的数据获得7次测试的波动率为3.4853％，可见目前的波动率大于预设条件，因此将进行第8次的测试。

图2是本申请的一个应用实例，本应用实例是对拨号退出的测试场景进行性能测试的结果，性能测试参数为拨号退出的响应时长。

S201，用户在发起测试任务之前，先设定置信度以及停止测试的预设条件，本例中，将置信度设置为95％，停止测试的预设条件为测试次数小于30次时波动率小于3％；测试次数大于或等于30次时置信区间小于16.5ms。当拨号退出的测试脚本被触发执行后，该测试脚本被执行(S202)。利用高速摄像头以120fps的帧速率采集测试数据，并保存成一张张的图片(S203)。

停止采集后，对所保存的图片进行分析，根据图像的变化规律分析出当前采集了7次测试的响应时长(S204)，本例中考虑到测试结果的可参考性，仅对测试次数大于5次的测试结果进行分析，因此将首次测试设置为循环7次执行测试脚本。

在每次测试完后，针对当前已累积的统计值计算置信度95％的置信区间，在测试次数小于30次时，通过t分布临界表得出置信区间(S205、S206)，S208，根据置信区间计算出波动率，判断波动率是否满足预定条件，如果波动率并未落入设定的波动率范围，则返回S202继续进行下一轮测试。

在测试次数达到30次后如果置信区间仍未达到设定的波动区间，则从第30次开始按照标准正态分布计算置信区间(S207)。图3a为测试次数小于30次时每次测试后按照T分布获得的置信区间和相应的波动率；可以看出30次以内的测试次数获得的波动率均大于3％。图3b为测试次数大于或等于30次时按照标准正态分布获得的置信区间。可以看出，当测试次数达到50次时，置信区间落入预设的置信区间宽度，也就是可以满足用户对精度的要求，因此此时可停止测试。

与前述性能测试的方法的实施例相对应，本申请还提供了性能测试的装置的实施例。

本申请性能测试的装置的实施例可以应用在测试设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在测试的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本申请性能测试的装置所在测试设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的测试设备通常根据该测试设备的实际功能，还可以包括其他硬件，例如高速摄像头等，对此不再赘述。

请参考图5，性能测试的装置500，包括：

计算模块501，用于对性能测试参数的统计量进行参数估计，并获得估计值；

判断模块502，用于判断获得的估计值是否符合预设条件；并根据判断结果确定是否进行下一次测试，所述预设条件根据性能测试参数的预设波动幅度设定。

作为例子，性能测试参数的统计量可以是当前累积的每次测试的性能测试参数的均值，所述参数估计可以是置信区间估计，估计值可以是置信区间。

计算模块501可以根据预定的置信度获得统计量的置信区间。

计算模块501可以将测试次数与预设次数对比，确定是否通过所述统计量的T分布或标准正态分布计算所述统计量的置信区间，预定次数用于区分所述性能测试参数属于小样本或大样本。

计算模块501可以当测试次数小于预设次数时，计算所述统计量的T分布的置信区间；或

当测试次数不小于预设次数时，计算统计量的标准正态分布的置信区间，预定次数用于区分所述性能测试参数属于小样本或大样本。

性能测试参数可以包括测试场景在一次测试中的响应时长。

作为例子，还可以包括存储模块(图中未示出)，用于保存图片格式的所述测试场景的采集数据；

计算模块501可以根据所保存的图片的变化规律确定所述测试场景在一次测试中的响应时长。

计算模块501还可以查找测试场景的采集数据的预定关键字；根据预定关键字确定所述测试场景在一次测试中的响应时长。

另外，计算模块501还可以用于根据所述置信区间获得所述性能测试参数的波动率。

性能测试参数的预设波动幅度可以是性能测试参数的预设波动率，和/或所述性能测试参数的预设置信区间宽度；估计值可以是置信区间或波动率。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (20)

1.一种性能测试的方法，其特征在于，该方法包括步骤：

对性能测试参数的统计量进行参数估计，并获得估计值；

判断获得的估计值是否符合预设条件，并根据判断结果确定是否进行下一次测试，所述预设条件根据性能测试参数的预设波动幅度设定。

2.根据权利要求1所述的方法，其特征在于，

所述性能测试参数的统计量为当前累积的每次测试的性能测试参数的均值，所述参数估计为置信区间估计。

3.根据权利要求2所述的方法，其特征在于，获得估计值包括：

根据预定的置信度获得所述统计量的置信区间。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

将测试次数与预设次数对比，确定是否通过所述统计量的T分布或标准正态分布计算所述统计量的置信区间，所述预定次数用于区分所述性能测试参数属于小样本或大样本。

5.根据权利要求3所述的方法，其特征在于：所述方法还包括：

当测试次数小于预设次数时，计算所述统计量的T分布的置信区间；或

当测试次数不小于预设次数时，计算所述统计量的标准正态分布的置信区间，所述预定次数用于区分所述性能测试参数属于小样本或大样本。

6.根据权利要求1所述的方法，其特征在于，所述性能测试参数包括测试场景在一次测试中的响应时长。

7.根据权利要求6所述的方法，其特征在于，获取所述响应时长的过程包括：

将所述测试场景的采集数据保存成图片；

根据所保存的图片的变化规律确定所述测试场景在一次测试中的响应时长。

8.根据权利要求6所述的方法，其特征在于，获取所述响应时长的过程包括：

查找所述测试场景的采集数据的预定关键字；

根据所述预定关键字确定所述测试场景在一次测试中的响应时长。

9.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据所述置信区间获得所述性能测试参数的波动率。

10.根据权力要求1所述的方法，其特征在于，所述性能测试参数的预设波动幅度为所述性能测试参数的预设波动率，和/或所述性能测试参数的预设置信区间宽度；所述估计值为置信区间或波动率。

11.一种性能测试的装置，其特征在于，包括：

计算模块，用于对性能测试参数的统计量进行参数估计，并获得估计值；

判断模块，用于判断获得的估计值是否符合预设条件；并根据判断结果确定是否进行下一次测试，所述预设条件根据性能测试参数的预设波动幅度设定。

12.根据权利要求11所述的装置，其特征在于，

所述性能测试参数的统计量为当前累积的每次测试的性能测试参数的均值，所述参数估计为置信区间估计。

13.根据权利要求12所述的装置，其特征在于，获得估计值包括：

根据预定的置信度获得所述统计量的置信区间。

14.根据权利要求13所述的装置，其特征在于，所述计算模块将测试次数与预设次数对比，确定是否通过所述统计量的T分布或标准正态分布计算所述统计量的置信区间，所述预定次数用于区分所述性能测试参数属于小样本或大样本。

15.根据权利要求13所述的装置，其特征在于：所述计算模块当测试次数小于预设次数时，计算所述统计量的T分布的置信区间；或

当测试次数不小于预设次数时，计算所述统计量的标准正态分布的置信区间，所述预定次数用于区分所述性能测试参数属于小样本或大样本。

16.根据权利要求11所述的装置，其特征在于，所述性能测试参数包括测试场景在一次测试中的响应时长。

17.根据权利要求16所述的装置，其特征在于，还包括存储模块，用于保存图片格式的所述测试场景的采集数据；

所述计算模块根据所保存的图片的变化规律确定所述测试场景在一次测试中的响应时长。

18.根据权利要求16所述的装置，其特征在于，所述计算模块查找所述测试场景的采集数据的预定关键字；根据所述预定关键字确定所述测试场景在一次测试中的响应时长。

19.根据权利要求12所述的装置，其特征在于，所述计算模块还用于根据所述置信区间获得所述性能测试参数的波动率。

20.根据权利要求11所述的装置，其特征在于，所述性能测试参数的预设波动幅度为所述性能测试参数的预设波动率，和/或所述性能测试参数的预设置信区间宽度；所述估计值为置信区间或波动率。