CN105302413A - 控件的ui测试方法及*** - Google Patents

Abstract

本发明提供一种控件的UI测试方法，包括：截取目标图片和源图片，并计算两者的颜色直方图以得到巴氏距离；在巴氏距离大于预定阈值时，获取目标图片上多个突变像素点的位置和第一像素值及源图片上该位置处的像素点的第二像素值，其中突变像素点为UI的轮廓上的像素点；根据多个第一像素值和多个第二像素值的差值的方差或标准差输出测试结果。本发明还提供一种控件的UI测试***。本发明能够实现对控件的UI的自动化验证，以测试UI的显示效果。

Description

控件的UI测试方法及***

技术领域

本发明涉及互联网技术(InternetTechnology，IT)领域，具体涉及一种控件的UI(UserInterface,用户界面)测试方法及***。

背景技术

随着软件的开发周期不断缩短，自动化测试已逐步成为软件测试的发展趋势。当前，业界的自动化测试***只能对控件等软件的文字、ID(Identity,身份标识)等文本类信息实现自动化验证，对于控件的UI显示是否正确、是否错位等问题无法验证。因此，本领域技术人员迫切需要解决的技术问题是，提出一种控件的UI测试方法，以对显示的控件的UI进行测试，以快速的查找出显示效果是否存在差异。

发明内容

有鉴于此，本发明实施例提供一种控件的UI测试方法及***，能够实现对控件的UI的自动化验证，以测试UI的显示效果。

本发明实施例提供的控件的用户界面UI测试方法，包括：对第一终端显示的UI进行图像截取以得到目标图片，以及对第二终端显示的UI进行图像截取以得到源图片；计算目标图片和源图片的颜色直方图，并根据两个颜色直方图计算目标图片和源图片的像素值的巴氏距离；在巴氏距离大于预定阈值时，获取所述目标图片上多个突变像素点的位置和第一像素值，及源图片上所述位置处的像素点的第二像素值，其中突变像素点为UI的轮廓上的像素点；计算多个第一像素值和多个第二像素值的差值的方差或标准差，并在方差或标准差为零时判定控件在第一终端上显示的UI和在第二终端上显示的UI相匹配。

其中，所述对第一终端显示的UI进行图像截取以得到目标图片的步骤包括：解析第一终端的显示界面以得到UI在显示界面上的坐标信息；对第一终端的显示界面上的与坐标信息对应的区域进行图像截取以得到目标图片。

其中，所述对第一终端显示的UI进行图像截取以得到目标图片的步骤包括：通过鼠标在第一终端的显示界面上框选控件的UI；对显示界面上的被框选区域进行图像截取以得到目标图片。

其中，所述对第二终端显示的UI进行图像截取以得到源图片的步骤包括：获取目标图片对应的测试代码，并验证测试代码中包含UI在第一终端的显示界面上的坐标信息还是相对位置信息；若包含坐标信息，则对第二终端的显示界面上的与坐标信息对应的区域进行图像截取以得到源图片；若包含相对位置信息，则对第二终端的显示界面上的对与相对位置信息对应的区域进行图像截取以得到源图片。

其中，通过以下关系式得到所述巴氏距离，

$P_{sd}=\underset{i=1}{\overset{n}{\Σ}}\sqrt{x_i\×y_i}$

P_sd表示巴氏距离，x_i表示第i个像素点在源图片的颜色直方图的概率，y_i表示第i个像素点在目标图片的颜色直方图的概率。

本发明实施例提供的控件的用户界面UI测试***，包括：截图模块，用于对第一终端显示的UI进行图像截取以得到目标图片，及对第二终端显示的UI进行图像截取以得到源图片；第一计算模块，用于计算目标图片的颜色直方图和源图片的颜色直方图；第二计算模块，用于根据两个颜色直方图计算目标图片和源图片的像素值的巴氏距离；比较模块，用于比较巴氏距离是否大于预定阈值；获取模块，用于在比较模块比较得到巴氏距离大于预定阈值时，获取目标图片上多个突变像素点的位置和第一像素值，及源图片上该位置处的像素点的第二像素值，突变像素点为UI的轮廓上的像素点；第三计算模块，用于计算多个第一像素值和多个第二像素值的差值的方差或标准差，在方差或标准差为零时表示控件在第一终端上显示的UI和在第二终端上显示的UI相匹配。

其中，截图模块用于解析第一终端的显示界面以得到UI在显示界面上的坐标信息，并对第一终端的显示界面上的与坐标信息对应的区域进行图像截取以得到目标图片。

其中，截图模块用于根据鼠标在第一终端的显示界面上框选的UI，对第一终端的显示界面上的被框选区域进行图像截取以得到目标图片。

其中，截图模块用于获取目标图片对应的测试代码，并验证测试代码中包含UI在第一终端的显示界面上的坐标信息还是相对位置信息；若包含坐标信息，则截图模块对第二终端的显示界面上的与坐标信息对应的区域进行图像截取以得到源图片；若包含相对位置信息，则截图模块对第二终端的显示界面上的对与相对位置信息对应的区域进行图像截取以得到源图片。

其中，第二计算模块通过以下关系式得到所述巴氏距离，

$P_{sd}=\underset{i=1}{\overset{n}{\Σ}}\sqrt{x_i\×y_i}$

P_sd表示巴氏距离，x_i表示第i个像素点在源图片的颜色直方图的概率，y_i表示第i个像素点在目标图片的颜色直方图的概率。

本发明实施例的控件的UI测试方法及***，采用颜色直方图和采集突变像素点相结合的方式对目标图片和源图片所显示的UI的相似度进行测试，从而实现对UI的自动化验证，以测试UI的显示效果。

附图说明

图1是本发明的控件的UI测试方法一实施例的流程示意图；

图2是本发明的控件的UI测试***一实施例的原理框示意图；

图3是本发明的控件的UI测试***一实施例的硬件结构示意图。

具体实施方式

本发明实施例控件的UI测试方法用于验证控件的UI的显示效果是否与软件开发所预期的相匹配，具体可以理解为验证控件的UI在不同终端上的显示效果是否相同，即该控件在不同终端上所显示的UI是否存在差异。本发明实施例的测试方法采用颜色直方图和采集突变像素点相结合的方式对目标图片和源图片所显示的UI的相似度进行测试，从而实现对UI的自动化验证，以测试UI的显示效果。

本发明实施例可以预先编程测试软件并将该测试软件存储于包括但不限于PC(PersonalComputer,个人计算机或电脑)机的服务器(测试用设备)中，通过该测试软件自动监测当前进程，并在当前进程完成后根据预设的程序指令触发执行下一进程，实现对UI的自动测试。

另外，本发明实施例可以预先将测试所需的控件(软件)的备份(镜像文件)存储于预先构建的云数据中心的虚拟机中，测试过程中根据预先编程的测试软件发出的指令从云数据中心的虚拟机中提取出当前近程所需的数据，且将测试结果上传至该云数据中心。

下面结合图1所示实施例的测试方法，对本发明所提供的示例性的实施例的技术方案进行清楚、完整地描述。如图1所示，本实施例的控件的UI测试方法包括以下：

S11：对第一终端显示的UI进行图像截取以得到目标图片，以及对第二终端显示的UI进行图像截取以得到源图片。

S12：计算目标图片和源图片的颜色直方图，并根据两个颜色直方图计算目标图片和源图片的像素值的巴氏距离。

两个颜色直方图对应表示目标图片和源图片的颜色特征，其描述不同色彩在整幅目标图片和源图片中所占的比例，并不包含每种色彩所处的位置信息，即无法描述目标图片和源图片中的对象或物体。计算两个颜色直方图的方式可参阅现有技术，本发明实施例不予以限制。

当然，为了提高计算速度，本发明实施例可以基于所截图的目标图片和源图片所包含的像素点数量较少的特点，将目标图片和源图片的例如R(Red,红色)子像素、G(Green,绿色)子像素、B(Blue,蓝色)子像素和W(White,白色)子像素中每一色彩子像素的总数量分为预定等份(例如16份)，并对每一色彩子像素的一等份进行计算以得到目标图片和源图片对应的颜色直方图。

本发明实施例可以通过以下关系式得到所述巴氏距离，

$P_{sd}=\underset{i=1}{\overset{n}{\Σ}}\sqrt{x_i\×y_i}$

其中，P_sd表示巴氏距离，x_i表示第i个像素点在源图片的颜色直方图的概率，y_i表示第i个像素点在目标图片的颜色直方图的概率。

巴氏距离的取值范围为大于等于0且小于等于1，且巴氏距离的值越大表示目标图片和源图片的颜色相似度越高，在巴氏距离的值为1时表示目标图片和源图片的颜色分布相同，在巴氏距离的值为0时表示目标图片和源图片的颜色分布完全不相同。

S13：在巴氏距离大于预定阈值时，获取所述目标图片上多个突变像素点的位置和第一像素值，及源图片上所述位置处的像素点的第二像素值，其中突变像素点为UI的轮廓上的像素点。

预定阈值的取值范围为大于0且小于1。

由于通过两个颜色直方图仅仅能分析目标图片和源图片中的颜色分布情况，不能分析各像素点在目标图片和源图片中的位置，因此本发明实施例需要进一步采集目标图片中的像素值的突变点(即突变像素点)来分析图片即执行步骤S13和S14，这些突变像素点为目标图片中像素值发生急剧变化的区域边界点，往往UI的轮廓上的像素点。

其中，由于控件的UI的W子像素的像素值和目标图片中的W子像素的像素值相同，因而仅选取R子像素、G子像素和B子像素色的像素值发生急剧变化的来提取所述突变像素点。

S14：计算多个第一像素值和多个第二像素值的差值的方差或标准差，并在方差或标准差为零时判定控件在第一终端上显示的UI和在第二终端上显示的UI相匹配。

本发明实施例可以通过以下关系式得到所述标准差，

$\mathrm{\δ}=\sqrt{\frac{{\mathrm{\Σ}}_{i=1}^n{(z_i-\stackrel{\‾}{z})}^2}{n-1}}$

其中，δ表示所述标准差，z_i表示第i个某一颜色的像素点的像素值，表示n个该颜色的像素点的平均像素值。

标准差为方差的算术平方根，结合上述关系式可计算所述方差。

本发明实施例采用颜色直方图和采集突变像素点相结合的方式对目标图片和源图片所显示的控件的UI的相似度进行测试，从而实现对UI的自动化验证，以测试UI的显示效果。

在上述基础上，本发明实施例可利用UiAutomator工具对第一终端的显示界面进行解析，并根据是否解析成功采用对应的方式得到目标图片。具体而言：对于解析成功的情况，解析第一终端的显示界面以得到UI在该显示界面上的坐标信息，进一步对第一终端的显示界面上的与坐标信息对应的区域进行图像截取以得到目标图片，其中可以通过测试软件下发的鼠标数据控制鼠标选定与该坐标信息对应的区域再进行图像截取。而对于解析失败以及无需解析第一终端的显示界面(即不管是否成功解析第一终端的显示界面)的情况，本发明实施例可以通过手动操作鼠标在第一终端的显示界面上框选控件的UI(图标)，从而对该显示界面上的被框选区域进行图像截取以得到目标图片。

进一步，根据得到的目标图片生成对应的测试代码。基于此，在代码回放的测试阶段，本发明实施例得到源图片的方式可以为：

获取目标图片对应的测试代码，并验证测试代码中包含UI在第一终端的显示界面上的坐标信息还是相对位置信息。其中，坐标信息为对第一终端的显示界面解析成功时UI在第一终端的显示界面上的位置信息；相对位置信息为未对第一终端的显示界面进行解析时由手动操作鼠标在第一终端的显示界面上框选的UI的位置信息。

若测试代码中包含坐标信息，则对第二终端的显示界面上的与坐标信息对应的区域进行图像截取以得到源图片。

若测试代码中包含相对位置信息，则对第二终端的显示界面上的对与相对位置信息对应的区域进行图像截取以得到源图片。

图2是本发明的控件的UI测试***一实施例的原理框示意图。如图2所示，所述控件的UI测试***包括：

截图模块21，用于对第一终端显示的UI进行图像截取以得到目标图片，及对第二终端显示的UI进行图像截取以得到源图片；

第一计算模块22，用于计算目标图片的颜色直方图和源图片的颜色直方图；

第二计算模块23，用于根据两个颜色直方图计算目标图片和源图片的像素值的巴氏距离；

比较模块24，用于比较巴氏距离是否大于预定阈值；

获取模块25，用于在比较模块24比较得到巴氏距离大于预定阈值时，获取目标图片上多个突变像素点的位置和第一像素值，及源图片上该位置处的像素点的第二像素值，突变像素点为UI的轮廓上的像素点；

第三计算模块26，用于计算多个第一像素值和多个第二像素值的差值的方差或标准差，在方差或标准差为零时表示控件在第一终端上显示的UI和在第二终端上显示的UI相匹配。当然，本实施例可以由测试***包括的图2所示的结果输出模块27输出测试结果。

其中，截图模块21得到目标图片的方式可以为：截图模块21解析第一终端的显示界面以得到UI在显示界面上的坐标信息，并对该显示界面上的与坐标信息对应的区域进行图像截取以得到目标图片。或者，截图模块21根据鼠标在第一终端的显示界面上框选的UI，对第一终端的显示界面上的被框选区域进行图像截取以得到目标图片。

截图模块21得到源图片的方式可以为：截图模块21获取目标图片对应的测试代码，并验证测试代码中是包含UI在第一终端的显示界面上的坐标信息还是相对位置信息；若包含坐标信息，则截图模块21对第二终端的显示界面上的与坐标信息对应的区域进行图像截取以得到源图片；若包含相对位置信息，则截图模块21对第二终端的显示界面上的对与相对位置信息对应的区域进行图像截取以得到源图片。

可选地，第二计算模块23可以通过以下关系式得到所述巴氏距离，

$P_{sd}=\underset{i=1}{\overset{n}{\Σ}}\sqrt{x_i\×y_i}$

P_sd表示巴氏距离，x_i表示第i个像素点在源图片的颜色直方图的概率，y_i表示第i个像素点在目标图片的颜色直方图的概率。

本发明实施例的测试***的上述模块对应执行上述各个实施例的控件的UI测试方法，具有与其相同的技术效果。

应该理解到，上述测试***的实施方式仅是示意性的，模块的划分为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如两个模块可以集成到另一个***中，或一些特征可以忽略，或不执行。另外，模块相互之间的连接可以通过一些接口，也可以是电性或其它形式。上述模块作为测试***的组成部分，可以是也可以不是物理框，既可以位于一个地方，也可以分布到多个网络单元上，既可以采用软件功能框的形式实现，也可以采用硬件的形式实现。

例如图3所示，所述测试***可包括至少一处理器(例如CPU)、至少一通信接口、存储器和至少一通信总线。处理器用于执行存储器中存储的可执行模块，例如计算机程序。存储器可以包含高速随机存取存储器(RandomAccessMemory,RAM)，也可以包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口实现该测试***与至少一个其他设备之间的通信连接，可以使用互联网、广域网、本地网、城域网等。所述存储器中存储了程序指令，该程序指令可以被处理器执行。其中，该程序指令可包括本发明实施例中指出的测试***的各个模块，各个模块具体的实现方式可参见本发明上述实施例中的相应内容，此处不再赘述。

另外，本发明实施例的上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可存储在一个计算机可读取存储介质中，即本发明实施例可以以软件产品的形式体现出来，其包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各实施例所述方法的全部或部分步骤。

再次说明，以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种控件的用户界面UI测试方法，其特征在于，包括：

对第一终端显示的UI进行图像截取以得到目标图片，以及对第二终端显示的所述UI进行图像截取以得到源图片；

计算所述目标图片和所述源图片的颜色直方图，并根据两个所述颜色直方图计算所述目标图片和所述源图片的像素值的巴氏距离；

在所述巴氏距离大于预定阈值时，获取所述目标图片上多个突变像素点的位置和第一像素值，及所述源图片上所述位置处的像素点的第二像素值，其中所述突变像素点为所述UI的轮廓上的像素点；

计算多个所述第一像素值和多个所述第二像素值的差值的方差或标准差，并在所述方差或标准差为零时判定所述控件在所述第一终端上显示的UI和在所述第二终端上显示的UI相匹配。

2.根据权利要求1所述的方法，其特征在于，所述对第一终端显示的UI进行图像截取以得到目标图片的步骤包括：

解析第一终端的显示界面以得到UI在所述显示界面上的坐标信息；

对所述第一终端的显示界面上的与所述坐标信息对应的区域进行图像截取以得到目标图片。

3.根据权利要求1所述的方法，其特征在于，所述对第一终端显示的UI进行图像截取以得到目标图片的步骤包括：

通过鼠标在第一终端的显示界面上框选所述控件的UI；

对所述显示界面上的被框选区域进行图像截取以得到目标图片。

4.根据权利要求1所述的方法，其特征在于，所述对第二终端显示的所述UI进行图像截取以得到源图片的步骤包括：

获取所述目标图片对应的测试代码，并验证所述测试代码中包含所述UI在所述第一终端的显示界面上的坐标信息还是相对位置信息；

若包含所述坐标信息，则对所述第二终端的显示界面上的与所述坐标信息对应的区域进行图像截取以得到源图片；

若包含所述相对位置信息，则对所述第二终端的显示界面上的对与所述相对位置信息对应的区域进行图像截取以得到所述源图片。

5.根据权利要求1所述的方法，其特征在于，通过以下关系式得到所述目标图片和所述源图片的像素值的巴氏距离，

$P_{sd}=\underset{i=1}{\overset{n}{\Σ}}\sqrt{x_i\×y_i}$

其中，所述P_sd表示所述巴氏距离，所述x_i表示第i个像素点在所述源图片的颜色直方图的概率，所述y_i表示所述第i个像素点在所述目标图片的颜色直方图的概率。

6.一种控件的用户界面UI测试***，其特征在于，包括：

截图模块，用于对第一终端显示的UI进行图像截取以得到目标图片，以及对第二终端显示的所述UI进行图像截取以得到源图片；

第一计算模块，用于计算所述目标图片的颜色直方图和所述源图片的颜色直方图；

第二计算模块，用于根据两个所述颜色直方图计算所述目标图片和所述源图片的像素值的巴氏距离；

比较模块，用于比较所述巴氏距离是否大于预定阈值；

获取模块，用于在所述比较模块比较得到所述巴氏距离大于所述预定阈值时，获取所述目标图片上多个突变像素点的位置和第一像素值，及所述源图片上所述位置处的像素点的第二像素值，其中所述突变像素点为所述UI的轮廓上的像素点；

第三计算模块，用于计算多个所述第一像素值和多个所述第二像素值的差值的方差或标准差，在所述方差或标准差为零时表示所述控件在所述第一终端上显示的UI和在所述第二终端上显示的UI相匹配。

7.根据权利要求6所述的***，其特征在于，所述截图模块用于解析所述第一终端的显示界面以得到所述UI在所述显示界面上的坐标信息，并对所述第一终端的显示界面上的与所述坐标信息对应的区域进行图像截取以得到所述目标图片。

8.根据权利要求6所述的***，其特征在于，所述截图模块用于根据鼠标在所述第一终端的显示界面上框选的UI，对所述第一终端的显示界面上的被框选区域进行图像截取以得到所述目标图片。

9.根据权利要求6所述的***，其特征在于，所述截图模块用于获取所述目标图片对应的测试代码，并验证所述测试代码中包含所述UI在所述第一终端的显示界面上的坐标信息还是相对位置信息；若包含所述坐标信息，则所述截图模块对所述第二终端的显示界面上的与所述坐标信息对应的区域进行图像截取以得到源图片；若包含所述相对位置信息，则所述截图模块对所述第二终端的显示界面上的对与所述相对位置信息对应的区域进行图像截取以得到所述源图片。

10.根据权利要求6所述的***，其特征在于，所述第二计算模块通过以下关系式得到所述目标图片和所述源图片的像素值的巴氏距离，

$P_{sd}=\underset{i=1}{\overset{n}{\Σ}}\sqrt{x_i\×y_i}$

其中，所述P_sd表示所述巴氏距离，所述x_i表示第i个像素点在所述源图片的颜色直方图的概率，所述y_i表示所述第i个像素点在所述目标图片的颜色直方图的概率。