CN111797007A

CN111797007A - 应用程序用户界面缺陷的自动化检测与定位方法及电子装置

Info

Publication number: CN111797007A
Application number: CN202010559241.5A
Authority: CN
Inventors: 刘哲; 王俊杰; 黄悦凯; 胡军; 王青
Original assignee: Institute of Software of CAS
Current assignee: Institute of Software of CAS
Priority date: 2020-06-18
Filing date: 2020-06-18
Publication date: 2020-10-20

Abstract

本发明提供一种应用程序用户界面缺陷的自动化检测与定位方法及电子装置，包括：将待检测用户界面图片缩放至一设定尺寸，得到缩放图；对缩放图进行一或多次卷积，将各卷积结果的均值与方差进行批标准化；对批标准化的结果进行池化，将得到的池化特征进行分类，判断待检测用户界面图片是否包含缺陷及缺陷类别。本发明通过自动化检测截图、建模获得应用程序用户界面缺陷的特征信息，完成用户界面缺陷的检测，并在截图上进行定位，既保证检测的准确度，又降低检测成本，减少人工检测的过程，速度快适应性强，可适用于多种操作***。

Description

应用程序用户界面缺陷的自动化检测与定位方法及电子装置

技术领域

本发明属于计算机技术领域，尤其涉及一种应用程序用户界面缺陷的自动化检测与定位方法及电子装置。

背景技术

User Interface(UI)是应用程序与用户之间的交互的桥梁，良好的UI设计有助于用户方便、高效的使用应用程序，从而提升应用程序的用户体验感。UI设计往往需要适当的用户交互、信息架构和UI的视觉效果，同时如果出现UI bug也会极大程度上影响用户体验感，造成用户与经济流失。在软件公司专业测试人员相对短缺的情况下，自动化的UI测试技术被众多软件开发公司广泛的采用。

自动化测试工具主要通过模拟测试人员对应用程序进行点击、长按、移动等操作，测试各个GUI组件，对程序崩溃等bug进行标记和截图，大大节省了人力成本。由于移动设备的多样性和用户定义的界面风格的不同，一些应用程序存在应用程序用户界面缺陷。常见的应用程序用户界面缺陷主要分为5类：图片无法显示，组件遮挡，文本交叠，显示为null，花屏问题。这些缺陷大多是由兼容性问题引起的，虽然不会导致程序崩溃，但UI呈现错误会大大降低用户体验。

现有多数UI测试方法都集中在代码和UI覆盖率上，而这些应用程序用户界面缺陷由于不会引起程序崩溃等问题，传统的自动化检测方法难以对其进行检测。同时，现有的大多数自动化UI测试工具在测试过程中会获得大量的应用程序截图，这些截图中可能存在测试工具无法检测到的应用程序用户界面缺陷。虽然中国专利申请CN108549608A公开了一种APP的UI截图测试方法及***，但其使用大量截图进行简单的相似度比对，不能跨平台、无法获取缺陷种类。

因此，目前急需一种需要少量截图、准确率高、速度快、跨平台的界面缺陷检测方案。

发明内容

针对上述问题，本发明提出一种应用程序用户界面缺陷的自动化检测与定位方法及电子装置，对应用程序截图进行应用程序用户界面缺陷的检测并且定位缺陷在截图中的位置，可以跨平台进行检测，既保证检测准确性，又降低检测成本。

本发明的技术方案为：

一种应用程序用户界面缺陷的自动化检测方法，基于一卷积网络，包括以下步骤：

1)将待检测用户界面图片缩放至一设定尺寸，得到缩放图；

2)对缩放图进行一或多次卷积，将各卷积结果的均值与方差进行批标准化；

3)对批标准化的结果进行池化，将得到的池化特征进行分类，判断待检测用户界面图片是否包含缺陷及缺陷类别；

其中，所述卷积网络通过以下步骤进行训练：

1)采集若干无缺陷样本图片及有缺陷样本图片；

2)将各无缺陷样本图片及有缺陷样本图片缩放至一设定样本尺寸，得到若干缩放样本图；

3)逐一对各缩放样本图进行一或多次卷积，将各卷积结果的均值与方差进行批标准化；

4)对批标准化的结果进行池化，将得到的池化特征进行分类，得到卷积网络的参数。

进一步地，使用一a*a*a*N的卷积核对缩放图进行卷积，a为待检测用户界面图片的通道数量，N为卷积层次数。

进一步地，使用max-pooling对批标准化的结果进行池化；使用softmax函数对池化特征进行分类。

进一步地，缺陷类别包括图片无法显示、组件遮挡、文本交叠、显示为null或花屏。

进一步地，通过采集若干应用程序的运行截图及相应的界面控件信息，得到若干无缺陷样本图片及有缺陷样本图片。

进一步地，采集若干无缺陷样本图片及有缺陷样本图片后，通过以下步骤去重：

1)使用ORB特征提取方法，获取到各无缺陷样本图片及有缺陷样本图片的特征信息；

2)使用相似度计算方法对各特征信息进行比对，去除相似度大于设定值的无缺陷样本图片及有缺陷样本图片。

进一步地，在缩放至一设定样本尺寸前，将各无缺陷样本图片及有缺陷样本图片统一调整为横向图片或竖向图片。

一种应用程序用户界面缺陷的自动化定位方法，其步骤包括：

1)将通过上述方法得到的包含缺陷的待检测用户界面图片及相应缺陷类别，反向输入该卷积网络；

2)将缺陷类别分数梯度与各卷积层的特征映射相对应，通过全局平均池化的反馈获得神经元重要性权重；

3)捕获缺陷类别的特征映射，执行前向激活图的加权组合，并依据神经元重要性权重获取定位热力图，得到缺陷在待检测用户界面图片中的位置。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机以执行上述所述的方法。

与现有技术相比，本发明的有益效果如下：

1)通过自动化检测截图，建模获得应用程序用户界面缺陷的特征信息，完成对应用程序用户界面缺陷的检测，并根据检测结果得出应用程序用户界面缺陷在截图上的定位。既保证检测的准确度，又降低检测成本，减少人工检测的过程；

2)通过获取的应用程序屏幕截图，即可判断改应用程序是否存在应用程序用户界面缺陷，速度快适应性强，可适用于多种操作***如(Android，IOS，Windows，Mac OS)。

附图说明

图1为应用程序用户界面缺陷的自动化检测与定位方法的流程图。

具体实施方式

以下结合附图，通过具体实施方式对本方法作进一步说明。

本发明的方法流程如图1所示，其具体步骤为：

一、获取缺陷检测模型

对训练数据进行预处理后，由于大量的训练数据会提高模型的精度与普适性，现有已标注的数据量较少，需要通过自动化的方法对训练数据集进行扩充。从现有的公开数据集获取到大量无bug的应用程序截图与其对应的json文件(界面控件的相关信息)。将其共同输入至启发式训练数据生成器，针对5类(图片无法显示，组件遮挡，文本交叠，显示为null，花屏问题)应用程序用户界面缺陷的特点，分别生成5种含有bug的应用程序截图用于模型的训练，通过训练可以得到缺陷检测模型。

1、自动化运行应用程序，并获取应用程序截图

本发明一实施例的获取应用程序截图包括以下几个子步骤：

1a)记录每个应用程序的运行截图以及该应用程序运行截图相对应的json文件(界面控件的相关信息)；

2、基于收集到的应用程序截图，将其进行预处理，去除重复的图像

本步骤的缺陷检测准备阶段，使用自动化或人工的方法获取到应用程序的屏幕截图，对这些截图进行预处理操作，将横向的截图顺时针旋转90度，并且将所有截图缩放成统一大小768*448(选择这个大小是为了保留更多的图像信息，如果想提升检测速度可以适当的按照等比例缩小屏幕截图)，然后对这些截图进行排序并且去除相似度大于0.8的截图。

本发明的一实施例包括以下几个子步骤：

2a)将所有截图缩放成统一大小；

2b)使用ORB特征提取方法，获取到截图的特征信息；

2c)使用相似度计算方法(余弦相似度)对特征信息进行比对，去除相似度大于0.8的截图。

3、将图像大小进行统一调整，对横向截图进行旋转操作

其中，由于设备不同，获取的应用程序截图也存在大小不一的情况，需要对其大小重新进行调整，尽量与原截图的长宽比例保持相近，并且将横向的截图顺时针旋转90度。其中如果希望检测准确度更高，即检测到更多特征，可将其大小设置为768*448(最佳数值)，如果需要提升训练与检测速度，可以缩小截图的大小。

4、通过训练得到的模型对应用程序用户界面缺陷的特征进行提取并完成检测

本步骤对预处理过的应用程序截图进行应用程序用户界面缺陷检测，将应用程序截图输入训练好的模型进行检测，截图通过12层卷积层提取到bug的特征，并将这些特征输入神经网络，最后通过softmax输出该截图是否存在应用程序用户界面缺陷。其中缺陷检测模型模型由12个卷积层，12个BN层，6个池化层，4个全连接层构成，用于检测截图是否存在应用程序用户界面缺陷。卷积层中的卷积核大小为3*3，卷积核数目设置如下：1-4层卷积层为16，5-6卷积层为32，7-8卷积层为64，9-12卷积层为128。BN层的momentum设置为0.1。每2个卷积与BN层后接一个池化层，池化层采用的是较为常用的max-pooling方法，poolingunits的大小为2*2。在完成卷积和池化操作后将结果输入4层的神经网络(即全连接层)，每个全连接层中的神经元数分别设置为4096、1024、128和2。

本发明一实施例的自动检测截图中是否含有应用程序用户界面缺陷，包括以下几个子步骤：

4a)将预处理好的应用程序截图输入模型，由于图片为3通道RGB图片，输入层的数据为一个(768*448*3)的矩阵，数值范围为[0,255]；

4b)将截图通过卷积核为3*3*3*N的卷积层进行卷积操作，其中N为深度，3为RGB图片的通道数量。实验证明，卷积层数有助于提升模型的精度，本方法采用了12层卷积层；

4c)将通过卷积操作后的结果进行Batch Normalization的操作，即对输入的每一层进行均值mean()和方差var()计算，f为卷积特征，∈为提升计算稳定度值(防止分母出现0)，具体公式如下：

5d)完成BN计算后，池化层使用ReLU作为模型的激活函数；ReLU的公式如下；

f(x)＝x⁺＝max(0，x)

4e)将通过激活函数计算后的结果输入2*2的Maxpooling。

4f)在完成上述操作后，将计算后的结果通过全连接层，即将输入的所有节点数据与输出的所有节点数据相连，其结构类似BP神经网络。最后通过softmax函数完成对截图的检测，得到缺陷类别，b为缺陷类别，K为维度，

为该缺陷类别b的分值，

为各缺陷类别分值，softmax的计算公式如下所示：

二、根据缺陷检测模型，检测应用程序用户界面缺陷

1)判断待检测图片是横向截图还是纵向，横向的截图顺时针旋转90度；

2)将图片缩放至768*448；

3)将缩放后的图片输入至缺陷检测模型，判断该图片是否存在缺陷。

三、将检测结果与截图反向传入模型，得到应用程序用户界面缺陷的定位结果

本步骤完成缺陷的定位操作，是基于检测结果自动将存在应用程序用户界面缺陷的截图输入缺陷定位方法，即将截图反向输入方法模型，获取最深一层卷积层中的特征信息，将这些特征信息叠加到原始应用程序屏幕截图上，即可获得应用程序用户界面缺陷的定位热力图(应用程序用户界面缺陷在屏幕截图上的定位)。

本发明一实施例通过获取到卷积层最深的一层的特征信息来完成对应用程序用户界面缺陷的定位，包括以下几个子步骤：

6a)如果检测结果为该截图存在应用程序用户界面缺陷，将检测结果和截图输入方法的UI rendering bug定位模块；

6b)将bug类别设置为1，normal类别设置为0，则其bug类别分数梯度的计算方法为

即bug类别分数梯度output^b与卷积层的特征映射

的对应，i，j为长和宽，这些梯度以全局平均池化

的反馈获得神经元重要性权重

公式如下所示：

6c)在得到神经元重要性权重

之后，捕获目标类别b(bug类别)的特征映射k。然后执行前向激活图的加权组合，通过ReLU进行获取，得到定位热力图

A为卷积层的特征映射，Grad-CAM为特征热力图显示，计算公式如下所示：

尽管为说明目的公开了本发明的具体内容、实施算法以及附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书最佳实施例和附图所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

1.一种应用程序用户界面缺陷的自动化检测方法，基于一卷积网络，包括以下步骤：

1)将待检测用户界面图片缩放至一设定尺寸，得到缩放图；

其中，所述卷积网络通过以下步骤进行训练：

1)采集若干无缺陷样本图片及有缺陷样本图片；

2.如权利要求1所述的方法，其特征在于，使用一a*a*a*N的卷积核对缩放图进行卷积，a为待检测用户界面图片的通道数量，N为卷积层次数。

3.如权利要求1所述的方法，其特征在于，使用max-pooling对批标准化的结果进行池化；使用softmax函数对池化特征进行分类。

4.如权利要求1所述的方法，其特征在于，缺陷类别包括图片无法显示、组件遮挡、文本交叠、显示为null或花屏。

5.如权利要求1所述的方法，其特征在于，通过采集若干应用程序的运行截图及相应的界面控件信息，得到若干无缺陷样本图片及有缺陷样本图片。

6.如权利要求1所述的方法，其特征在于，采集若干无缺陷样本图片及有缺陷样本图片后，通过以下步骤去重：

7.如权利要求1所述的方法，其特征在于，在缩放至一设定样本尺寸前，将各无缺陷样本图片及有缺陷样本图片统一调整为横向图片或竖向图片。

8.一种应用程序用户界面缺陷的自动化定位方法，其步骤包括：

1)将通过权利要求1-7中任一方法得到的包含缺陷的待检测用户界面图片及相应缺陷类别，反向输入该卷积网络；

9.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-8中任一所述方法。

10.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-8中任一所述方法。