CN108363599B - 用户界面显示识别方法及终端设备 - Google Patents

Abstract

本发明适用于移动终端技术领域，提供了一种用户界面显示识别方法及终端设备。该方法包括：获取待检测用户界面的目标界面截图，提取目标界面截图的特征向量；获取预存的正常用户界面的正常界面截图，提取正常界面截图的特征向量；根据目标界面截图的特征向量和正常界面截图的特征向量，确定目标界面截图与正常界面截图的余弦距离；判断余弦距离是否超过预设阈值；若判定超过预设阈值，则获取待检测用户界面的各个元素控件的层级及位置；检测各个元素控件的层级及位置是否异常；若检测到各个元素控件的层级及位置均正常，则判定待检测用户界面显示正常，解决现有用户界面显示检测方法存在的脚本维护效率低的问题。

Description

用户界面显示识别方法及终端设备

技术领域

本发明属于移动终端技术领域，尤其涉及一种用户界面显示识别方法及终端设备。

背景技术

目前，手机等移动终端上可以应用多种操作***，例如Android操作***，由于不同机型的手机分辨率不同，多种操作***应用于不同分辨率的手机，必须与不同分辨率的手机相适配，才能使用户界面正常显示。现有检测用户界面显示是通过测试脚本进行检测，即执行整个测试脚本，测试完成后将测试结果与设定的固定值进行比较，如果两者一致，测试用户界面显示正常，否则，测试用户界面显示不正常。但是现有检测方法存在脚本维护效率低的问题，如果用户界面有调整，需要重写整个测试case，同时也需要重新设定固定值，测试成本高，不适合实际应用。

发明内容

本发明实施例提供一种用户界面显示识别方法及终端设备，以解决现有用户界面显示检测方法存在的脚本维护效率低的问题。

本发明实施例的第一方面提供了一种用户界面显示识别方法，包括：

获取待检测用户界面的目标界面截图，提取所述目标界面截图的特征向量；

获取预存的正常用户界面的正常界面截图，提取所述正常界面截图的特征向量；

根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离；

判断所述余弦距离是否超过预设阈值；

若判定所述余弦距离超过所述预设阈值，则获取所述待检测用户界面的各个元素控件的层级及位置；

检测各个所述元素控件的层级及位置是否异常；

若检测到各个所述元素控件的层级及位置均正常，则判定所述待检测用户界面显示正常。

可选的，所述提取所述目标界面截图的特征向量包括：

从所述目标界面截图中选取第一预设数目个样本，每个样本提取第二预设数目个特征；

根据所述第一预设数目个样本和每个样本提取的第二预设数目个特征，构成第一矩阵；

根据所述第一矩阵和所述第一矩阵的转置矩阵获得第二矩阵；

计算所述第二矩阵的特征向量，根据所述第二矩阵的特征向量确定所述目标界面截图的特征向量。

可选的，所述根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离包括：

分别计算所述目标界面截图的特征向量和所述正常界面截图的特征向量的长度；

获得所述目标界面截图的特征向量和所述正常界面截图的特征向量的内积；

根据所述目标界面截图的特征向量的长度、所述正常界面截图的特征向量的长度和所述内积，确定所述目标界面截图与所述正常界面截图的余弦距离。

可选的，所述获取所述待检测用户界面的各个元素控件的层级及位置包括：

通过软件开发工具包(Software Development Kit，SDK)生成运行状态获取命令；

根据所述运行状态获取命令实时获取所述待检测用户界面的各个元素控件的层级及位置。

可选的，所述检测各个所述元素控件的层级及位置是否异常包括：

根据各个所述元素控件的层级确定各个所述元素控件中的子控件，以及子控件对应的母控件；

检测目标子控件的位置是否设置在所述目标子控件对应的目标母控件的前端，并检测所述目标子控件所占范围是否超出所述目标母控件所占范围，所述目标子控件为确定的各个所述元素控件中的子控件中任意一个子控件。

本发明实施例的第二方面提供了一种用户界面显示识别终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

获取待检测用户界面的目标界面截图，提取所述目标界面截图的特征向量；

获取预存的正常用户界面的正常界面截图，提取所述正常界面截图的特征向量；

根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离；

判断所述余弦距离是否超过预设阈值；

若判定所述余弦距离超过所述预设阈值，则获取所述待检测用户界面的各个元素控件的层级及位置；

检测各个所述元素控件的层级及位置是否异常；

若检测到各个所述元素控件的层级及位置均正常，则判定所述待检测用户界面显示正常。

可选的，所述提取所述目标界面截图的特征向量包括：

从所述目标界面截图中选取第一预设数目个样本，每个样本提取第二预设数目个特征；

根据所述第一预设数目个样本和每个样本提取的第二预设数目个特征，构成第一矩阵；

根据所述第一矩阵和所述第一矩阵的转置矩阵获得第二矩阵；

计算所述第二矩阵的特征向量，根据所述第二矩阵的特征向量确定所述目标界面截图的特征向量。

可选的，所述根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离包括：

分别计算所述目标界面截图的特征向量和所述正常界面截图的特征向量的长度；

获得所述目标界面截图的特征向量和所述正常界面截图的特征向量的内积；

根据所述目标界面截图的特征向量的长度、所述正常界面截图的特征向量的长度和所述内积，确定所述目标界面截图与所述正常界面截图的余弦距离。

可选的，所述检测各个所述元素控件的层级及位置是否异常包括：

根据各个所述元素控件的层级确定各个所述元素控件中的子控件，以及子控件对应的母控件；

检测目标子控件的位置是否设置在所述目标子控件对应的目标母控件的前端，并检测所述目标子控件所占范围是否超出所述目标母控件所占范围，所述目标子控件为确定的各个所述元素控件中的子控件中任意一个子控件。

本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述用户界面显示识别方法的步骤。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过获取待检测用户界面的目标界面截图，确定目标界面截图与正常界面截图的余弦距离，在判定该余弦距离超过预设阈值时，检测待检测用户界面的各个元素控件的层级及位置是否异常，在检测都正常时，判定待检测用户界面显示正常，解决现有用户界面显示检测方法存在的脚本维护效率低的问题，同时结合待检测用户界面的截图和待检测用户界面的各个元素控件的层级及位置，检测用户界面是否异常显示，提高用户界面显示识别准确率，降低测试成本，适合实际应用。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种用户界面显示识别方法的示意流程图；

图2是本发明另一实施例提供的一种用户界面显示识别方法的示意流程图；

图3是本发明再一实施例提供的一种用户界面显示识别方法的示意流程图；

图4是本发明又一实施例提供的一种用户界面显示识别方法的示意流程图；

图5是本发明又一实施例提供的一种用户界面显示识别方法的示意流程图；

图6是本发明实施例提供的一种用户界面显示识别程序的示意性框图；

图7是本发明实施例提供的一种用户界面显示识别终端设备的示意性框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

参见图1，图1是本发明实施例提供的一种用户界面显示识别方法的示意流程图，在该实施例中，以终端的角度出发为例进行说明，这里，终端可以为智能手机、平板电脑等移动终端。如图1所示，在该实施例中，终端的处理过程可以包括以下步骤：

S101：获取待检测用户界面的目标界面截图，提取所述目标界面截图的特征向量。

这里，待检测用户界面为任意一个需要检测的用户界面，用户界面也可以称为使用者界面，是***和用户之间进行交互和信息交换的媒介，它实现信息的内部形式与人类可以接受形式之间的转换。

获取待检测用户界面的目标界面截图的方式可以为实时获取，也可以为在预设时间获取，具体获取方式可以根据实际需要设置。在获取待检测用户界面的目标界面截图之后，可以显示获取的目标界面截图，还可以生成是否重新获取截图的提示，若接收到重新获取截图请求，根据该请求重新获取待检测用户界面的目标界面截图，可以通过多次获取待检测用户界面的目标界面截图，从获取的多个目标界面截图中选择一个符合要求的目标界面截图，例如选择画面最清晰的目标界面截图。

在提取所述目标界面截图的特征向量之后，可以保存提取的特征向量，方便后续数据查询。

S102：获取预存的正常用户界面的正常界面截图，提取所述正常界面截图的特征向量。

具体地，获取预存的正常用户界面的方式包括：可以预先存储用户界面类型与正常用户界面的对应关系，获取待检测用户界面的类型，根据上述关系确定获取的类型对应的正常用户界面。

上述预存的正常用户界面也可以由获取待检测用户界面正常显示时的界面确定。

获取预存的正常用户界面的正常界面截图的方式与获取待检测用户界面的目标界面截图的方式相同，可以为实时获取，也可以为在预设时间获取。这里，也可以通过多次获取预存的正常用户界面的正常界面截图，从获取的多个正常界面截图中选择一个符合要求的正常界面截图。

S103：根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离。

这里，余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。

向量，是多维空间中有方向的线段，如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。

S104：判断所述余弦距离是否超过预设阈值。

具体地，预设阈值根据实际需要设置，若上述余弦距离超过该预设阈值，执行步骤S105，若上述余弦距离未超过该预设阈值，可以直接判定上述待检测用户界面显示异常，进一步可以通过报警进行提醒。

上述通过余弦距离判定上述待检测用户界面显示异常，针对的是待检测用户界面显示异常比较大的情况，这是因为上述在获取待检测用户界面的目标界面截图后，提取了目标界面截图的特征向量，即根据图像的特征向量进行后续图像显示异常判断，特征向量是图像的整体特征，这种判断方式在待检测用户界面显示异常比较小的情况下，即在判定上述余弦距离超过预设阈值时，容易出现误判，因此在判定上述余弦距离超过预设阈值时要执行后续检测步骤。

S105：若判定所述余弦距离超过所述预设阈值，则获取所述待检测用户界面的各个元素控件的层级及位置。

这里，上述待检测用户界面的各个元素控件的层级可以包括Mac中的应用、浏览器、iOS APP等。

获取所述待检测用户界面的各个元素控件的层级及位置可以在自动化测试过程中或者在多机兼容性测试过程中获取。

S106：检测各个所述元素控件的层级及位置是否异常。

具体地，可以预设用户界面类型与异常控件检测规则的对应关系，获取待检测用户界面的类型，根据上述关系确定获取的待检测用户界面的类型对应的异常控件检测规则，根据该异常控件检测规则检测上述各个元素控件的层级及位置是否异常。

S107：若检测到各个所述元素控件的层级及位置均正常，则判定所述待检测用户界面显示正常。

这里，若检测到各个所述元素控件的层级中有一个或多个元素控件的层级异常，则判定所述待检测用户界面显示异常，可以生成第一异常信息，进一步也可以根据第一异常信息生成第一报警信息，根据第一报警信息进行报警。若检测到各个所述元素控件的位置中有一个或多个元素控件的位置异常，则判定所述待检测用户界面显示异常，可以生成第二异常信息，进一步也可以根据第二异常信息生成第二报警信息，根据第二报警信息进行报警。

从以上描述可知，本发明实施例的用户界面显示识别方法，可以解决现有用户界面显示检测方法存在的脚本维护效率低的问题，同时由于通过待检测用户界面的截图可以检测待检测用户界面比较大的异常显示，结合待检测用户界面的各个元素控件的层级及位置可以进一步检测用户界面比较小的异常显示，提高了用户界面显示识别准确率，降低测试成本，适合实际应用。

请参阅图2，图2是本发明另一实施例提供的一种用户界面显示识别方法的示意流程图。与图1对应的实施例的区别在于：所述获取待检测用户界面的目标界面截图，提取所述目标界面截图的特征向量可以包括S201。其中S202～S207与上一实施例中的S102～S107相同，具体请参阅上述实施例中S102～S107的相关描述，此处不赘述。具体地，S201可以包括S2011～S2014：

S2011：获取待检测用户界面的目标界面截图，从所述目标界面截图中选取第一预设数目个样本，每个样本提取第二预设数目个特征。

这里，第一预设数目和第二预设数目可以根据实际需要设置，例如可以从获取的截图中选取m个样本，每个样本提取n个特征。

S2012：根据所述第一预设数目个样本和每个样本提取的第二预设数目个特征，构成第一矩阵。

具体地，以上述从获取的截图中选取m个样本，每个样本提取n个特征为例，可以将每个样本作为一行，构成m*n的第一矩阵A。

S2013：根据所述第一矩阵和所述第一矩阵的转置矩阵获得第二矩阵。

这里，可以将第一矩阵的矩阵转置再乘以原矩阵得到第二矩阵C＝A(t)*A。

S2014：计算所述第二矩阵的特征向量，根据所述第二矩阵的特征向量确定所述目标界面截图的特征向量。

具体地，求出上述矩阵C的特征向量，该特征向量即为截图的特征向量。

这里，通过从目标界面截图中选取样本，从每个样本提取特征，获得目标界面截图的特征向量，方法简单，获得的结果准确，适合应用。

请参阅图3，图3是本发明再一实施例提供的一种用户界面显示识别方法的示意流程图。与图1对应的实施例的区别在于：所述根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离可以包括S303。其中S301～S302与上一实施例中的S101～S102相同，S304～S307与上一实施例中的S104～S107相同，具体请参阅上述实施例中S101～S102、S104～S107的相关描述，此处不赘述。具体地，S303可以包括S3031～S3033：

S3031：分别计算所述目标界面截图的特征向量和所述正常界面截图的特征向量的长度。

S3032：获得所述目标界面截图的特征向量和所述正常界面截图的特征向量的内积。

S3033：根据所述目标界面截图的特征向量的长度、所述正常界面截图的特征向量的长度和所述内积，确定所述目标界面截图与所述正常界面截图的余弦距离。

具体地，余弦定理描述了三角形中任何一个夹角和三个边的关系。给定三角形的三条边，可以使用余弦定理求出三角形各个角的角度。假定三角形的三条边为a，b和c，对应的三个角为A，B和C，那么角A的余弦为：

如果将三角形的两边b和c看成是两个向量，则上述公式等价于：

其中分母表示两个向量的长度，分子表示两个向量的内积。

举一个具体的例子，假如目标界面截图X的特征向量和正常界面截图Y的特征向量分别是：x1,x2,...,x10和y1,y2,...,y10。

则，它们之间的余弦距离可以用它们之间夹角的余弦值来表示：

当两个截图的向量夹角余弦等于1时，这两个截图完全重复，当夹角的余弦值接近于1时，两个截图相似，夹角的余弦越小，两个截图越不相关。

请参阅图4，图4是本发明又一实施例提供的一种用户界面显示识别方法的示意流程图。与图1对应的实施例的区别在于：所述若判定所述余弦距离超过所述预设阈值，则获取所述待检测用户界面的各个元素控件的层级及位置可以包括S405。其中S401～S404与上一实施例中的S101～S104相同，S406～S407与上一实施例中的S106～S107相同，具体请参阅上述实施例中S101～S104、S106～S107的相关描述，此处不赘述。具体地，S405可以包括S4051～S4052：

S4051：若判定所述余弦距离超过所述预设阈值，则通过SDK生成运行状态获取命令。

S4052：根据所述运行状态获取命令实时获取所述待检测用户界面的各个元素控件的层级及位置。

这里，通过SDK生成运行状态获取命令，根据该运行状态获取命令实时获取待检测用户界面的各个元素控件的层级及位置信息(返回左上和右下两个坐标点的矩形坐标)，简单、方便，加快后续处理。

请参阅图5，图5是本发明又一实施例提供的一种用户界面显示识别方法的示意流程图。与图1对应的实施例的区别在于：所述检测各个所述元素控件的层级及位置是否异常可以包括S506。其中S501～S505与上一实施例中的S101～S105相同，S507与上一实施例中的S107相同，具体请参阅上述实施例中S101～S105、S107的相关描述，此处不赘述。具体地，S506可以包括S5061～S5062：

S5061：根据各个所述元素控件的层级确定各个所述元素控件中的子控件，以及子控件对应的母控件。

S5062：检测目标子控件的位置是否设置在所述目标子控件对应的目标母控件的前端，并检测所述目标子控件所占范围是否超出所述目标母控件所占范围，所述目标子控件为确定的各个所述元素控件中的子控件中任意一个子控件。

具体地，以控件一、控件二为例，控件二为控件一的子控件，控件一为控件二的母控件，控件二在控件一的前端，控件一为矩形框，位置为(x1，y1)(x2，y2)，代表矩形框的左下角和右下角，控件二也为矩形框，位置为(x3，y3)(x4，y4)。上述待检测用户界面对应的检测规则可以为：子控件设置在母控件的前端，子控件所占范围不能超出母控件所占范围。即上述控件二在控件一前端，且x3>x1，x4<x2，y1>y3，y2<y4才符合规则，否则待检测用户界面显示就有问题。

这里，通过检测上述各个元素控件的层级及位置是否异常判断待检测用户界面显示是否有问题，由于根据控件位置进行判断，可以找到比较小的界面显示异常，满足实际应用需要。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的用户界面显示识别方法，图6示出了本发明实施例提供的用户界面显示识别程序的运行环境示意图。为了便于说明，仅示出了与本实施例相关的部分。

在本实施例中，所述的用户界面显示识别程序600安装并运行于终端设备60中。该终端设备60可以是移动终端、掌上电脑、服务器等。该终端设备60可包括，但不仅限于，存储器601、处理器602及显示器603。图6仅示出了具有组件601-603的终端设备60，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器601在一些实施例中可以是所述终端设备60的内部存储单元，例如该终端设备60的硬盘或内存。所述存储器601在另一些实施例中也可以是所述终端设备60的外部存储设备，例如所述终端设备60上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器601还可以既包括所述终端设备60的内部存储单元也包括外部存储设备。所述存储器601用于存储安装于所述终端设备60的应用软件及各类数据，例如所述用户界面显示识别程序600的程序代码等。所述存储器601还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器602在一些实施例中可以是一中央处理器(Central ProcessingUnit，CPU)，微处理器或其他数据处理芯片，用于运行所述存储器601中存储的程序代码或处理数据，例如执行所述用户界面显示识别程序600等。

所述显示器603在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。所述显示器603用于显示在所述终端设备60中处理的信息以及用于显示可视化的用户界面，例如应用菜单界面、应用图标界面等。所述终端设备60的部件601-603通过***总线相互通信。

请参阅图7，是本发明实施例提供的用户界面显示识别程序600的功能模块图。在本实施例中，所述的用户界面显示识别程序600可以被分割成一个或多个模块，所述一个或者多个模块被存储于所述存储器601中，并由一个或多个处理器(本实施例为所述处理器602)所执行，以完成本发明。例如，在图7中，所述的用户界面显示识别程序600可以被分割成第一截图处理单元701、第二截图处理单元702、余弦距离确定单元703、余弦距离判断单元704、元素控件获取单元705、元素控件检测单元706和用户界面显示判断单元707。本发明所称的单元是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述用户界面显示识别程序600在所述终端设备60中的执行过程。以下描述将具体介绍所述模块701-707的功能。

其中，第一截图处理单元701，用于获取待检测用户界面的目标界面截图，提取所述目标界面截图的特征向量。第二截图处理单元702，用于获取预存的正常用户界面的正常界面截图，提取所述正常界面截图的特征向量。余弦距离确定单元703，用于根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离。余弦距离判断单元704，用于判断所述余弦距离是否超过预设阈值。元素控件获取单元705，用于若判定所述余弦距离超过所述预设阈值，则获取所述待检测用户界面的各个元素控件的层级及位置。元素控件检测单元706，用于检测各个所述元素控件的层级及位置是否异常。用户界面显示判断单元707，用于若检测到各个所述元素控件的层级及位置均正常，则判定所述待检测用户界面显示正常。

可选的，所述第一截图处理单元701可以被分割为样品选取单元7011、第一矩阵构成单元7012、第二矩阵获得单元7013和特征向量确定单元7014。

其中，样品选取单元7011，用于获取待检测用户界面的目标界面截图，从所述目标界面截图中选取第一预设数目个样本，每个样本提取第二预设数目个特征。第一矩阵构成单元7012，用于根据所述第一预设数目个样本和每个样本提取的第二预设数目个特征，构成第一矩阵。第二矩阵获得单元7013，用于根据所述第一矩阵和所述第一矩阵的转置矩阵获得第二矩阵。特征向量确定单元7014，用于计算所述第二矩阵的特征向量，根据所述第二矩阵的特征向量确定所述目标界面截图的特征向量。

可选的，所述余弦距离确定单元703可以被分割为向量长度计算单元7031、向量内积获得单元7032和余弦距离处理单元7033。

其中，向量长度计算单元7031，用于分别计算所述目标界面截图的特征向量和所述正常界面截图的特征向量的长度。向量内积获得单元7032，用于获得所述目标界面截图的特征向量和所述正常界面截图的特征向量的内积。余弦距离处理单元7033，用于根据所述目标界面截图的特征向量的长度、所述正常界面截图的特征向量的长度和所述内积，确定所述目标界面截图与所述正常界面截图的余弦距离。

可选的，所述元素控件获取单元705可以被分割为命令生成单元7051和元素控件处理单元7052。

其中，命令生成单元7051，用于若判定所述余弦距离超过所述预设阈值，则通过SDK生成运行状态获取命令。元素控件处理单元7052，用于根据所述运行状态获取命令实时获取所述待检测用户界面的各个元素控件的层级及位置。

可选的，所述元素控件检测单元706还可以被分割成子母控件确定单元7061和子母控件检测单元7062。

其中，子母控件确定单元7061，用于根据各个所述元素控件的层级确定各个所述元素控件中的子控件，以及子控件对应的母控件。子母控件检测单元7062，用于检测目标子控件的位置是否设置在所述目标子控件对应的目标母控件的前端，并检测所述目标子控件所占范围是否超出所述目标母控件所占范围，所述目标子控件为确定的各个所述元素控件中的子控件中任意一个子控件。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用户界面显示识别方法，其特征在于，包括：

获取待检测用户界面的目标界面截图，提取所述目标界面截图的特征向量；

获取预存的正常用户界面的正常界面截图，提取所述正常界面截图的特征向量；

根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离；

判断所述余弦距离是否超过预设阈值；

若判定所述余弦距离超过所述预设阈值，则获取所述待检测用户界面的各个元素控件的层级及位置；

检测各个所述元素控件的层级及位置是否异常；

若检测到各个所述元素控件的层级及位置均正常，则判定所述待检测用户界面显示正常。

2.如权利要求1所述的用户界面显示识别方法，其特征在于，所述提取所述目标界面截图的特征向量包括：

从所述目标界面截图中选取第一预设数目个样本，每个样本提取第二预设数目个特征；

根据所述第一预设数目个样本和每个样本提取的第二预设数目个特征，构成第一矩阵；

根据所述第一矩阵和所述第一矩阵的转置矩阵获得第二矩阵；

计算所述第二矩阵的特征向量，根据所述第二矩阵的特征向量确定所述目标界面截图的特征向量。

3.如权利要求1所述的用户界面显示识别方法，其特征在于，所述根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离包括：

分别计算所述目标界面截图的特征向量和所述正常界面截图的特征向量的长度；

获得所述目标界面截图的特征向量和所述正常界面截图的特征向量的内积；

根据所述目标界面截图的特征向量的长度、所述正常界面截图的特征向量的长度和所述内积，确定所述目标界面截图与所述正常界面截图的余弦距离。

4.如权利要求1所述的用户界面显示识别方法，其特征在于，所述获取所述待检测用户界面的各个元素控件的层级及位置包括：

通过软件开发工具包SDK生成运行状态获取命令；

根据所述运行状态获取命令实时获取所述待检测用户界面的各个元素控件的层级及位置。

5.如权利要求1所述的用户界面显示识别方法，其特征在于，所述检测各个所述元素控件的层级及位置是否异常包括：

根据各个所述元素控件的层级确定各个所述元素控件中的子控件，以及子控件对应的母控件；

检测目标子控件的位置是否设置在所述目标子控件对应的目标母控件的前端，并检测所述目标子控件所占范围是否超出所述目标母控件所占范围，所述目标子控件为确定的各个所述元素控件中的子控件中任意一个子控件。

6.一种用户界面显示识别终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

获取待检测用户界面的目标界面截图，提取所述目标界面截图的特征向量；

获取预存的正常用户界面的正常界面截图，提取所述正常界面截图的特征向量；

根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离；

判断所述余弦距离是否超过预设阈值；

若判定所述余弦距离超过所述预设阈值，则获取所述待检测用户界面的各个元素控件的层级及位置；

检测各个所述元素控件的层级及位置是否异常；

若检测到各个所述元素控件的层级及位置均正常，则判定所述待检测用户界面显示正常。

7.如权利要求6所述的用户界面显示识别终端设备，其特征在于，所述提取所述目标界面截图的特征向量包括：

从所述目标界面截图中选取第一预设数目个样本，每个样本提取第二预设数目个特征；

根据所述第一预设数目个样本和每个样本提取的第二预设数目个特征，构成第一矩阵；

根据所述第一矩阵和所述第一矩阵的转置矩阵获得第二矩阵；

计算所述第二矩阵的特征向量，根据所述第二矩阵的特征向量确定所述目标界面截图的特征向量。

8.如权利要求6所述的用户界面显示识别终端设备，其特征在于，所述根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离包括：

分别计算所述目标界面截图的特征向量和所述正常界面截图的特征向量的长度；

获得所述目标界面截图的特征向量和所述正常界面截图的特征向量的内积；

根据所述目标界面截图的特征向量的长度、所述正常界面截图的特征向量的长度和所述内积，确定所述目标界面截图与所述正常界面截图的余弦距离。

9.如权利要求6所述的用户界面显示识别终端设备，其特征在于，所述检测各个所述元素控件的层级及位置是否异常包括：

根据各个所述元素控件的层级确定各个所述元素控件中的子控件，以及子控件对应的母控件；

检测目标子控件的位置是否设置在所述目标子控件对应的目标母控件的前端，并检测所述目标子控件所占范围是否超出所述目标母控件所占范围，所述目标子控件为确定的各个所述元素控件中的子控件中任意一个子控件。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述用户界面显示识别方法的步骤。