CN111045941B

CN111045941B - 用户界面控件的定位方法、装置及存储介质

Info

Publication number: CN111045941B
Application number: CN201911263171.2A
Authority: CN
Inventors: 许伟
Original assignee: Guangzhou Pinwei Software Co Ltd
Current assignee: Guangzhou Pinwei Software Co Ltd
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2023-08-18
Anticipated expiration: 2039-12-09
Also published as: CN111045941A

Abstract

本发明公开了一种用户界面控件的定位方法，包括以下步骤：确定用户界面控件的控件信息；将所述控件信息作为所述用户界面控件的控件元素的可访问性标识，以生成所述用户界面控件的***。本发明还公开了一种用户界面控件的定位装置以及计算机可读存储介质。本发明实现UI控件的***的自动生成，从而提高了对UI界面的测试效率的效率。

Description

用户界面控件的定位方法、装置及存储介质

技术领域

本发明涉及测试技术领域，尤其涉及一种用户界面控件的定位方法、用户界面控件的定位装置以及计算机可读存储介质。

背景技术

UI(User Interface)界面自动化测试，是指把人为驱动的用户界面测试转化为机器自动执行的一种测试过程。

目前，在测试手机应用的UI界面时，是需要事先获取到被执行UI界面上的所有需要交给机器去操作的控件元素，而获取控件元素是需要通过开发人员事先给控件元素添加唯一的可访问性标示，即***，然后脚本程序通过指定的***去查找相应的控件。但是这样需要大量的人工手动干预，使得UI界面的测试效率低下。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种用户界面控件的定位方法、用户界面控件的定位装置以及计算机可读存储介质，实现UI控件的***的自动生成，从而提高了对UI界面的测试效率的效率。

为实现上述目的，本发明提供一种用户界面控件的定位方法，所述用户界面控件的定位方法包括以下步骤：

确定用户界面控件的控件信息；

将所述控件信息作为所述用户界面控件的控件元素的可访问性标识，以生成所述用户界面控件的***。

可选地，所述确定用户界面控件的控件信息的步骤包括：

确定用户界面控件对应的类；

获取所述用户界面控件对应的类的属性名称；

根据所述属性名称生成所述用户界面控件的控件信息。

可选地，所述根据所述属性名称生成所述用户界面控件的控件信息的步骤包括：

在所述用户界面控件对应的类存在一个属性时，将所述属性名称作为所述用户界面控件的控件信息；

在所述用户界面控件对应的类存在多个属性时，将所述属性名称和所述属性名称对应的属性所关联的对象，作为所述用户界面控件的控件信息。

可选地，所述用户界面控件的定位方法还包括：

采用accessibilityIdentifier方法检测并获取所述用户界面控件对应的类中的属性。

可选地，所述用户界面控件的定位方法还包括：

采用accessibilityLabel方法检测并获取所述属性所关联的对象。

可选地，所述将所述控件信息作为所述用户界面控件的控件元素的可访问性标识的步骤包括：

采用Method Swizzling方法交换，将所述控件信息变换为所述用户界面控件的控件元素的可访问性标识。

可选地，所述用户界面控件对应的用户界面包括多个用户界面控件，所述将所述控件信息作为所述用户界面控件的控件元素的可访问性标识，以生成所述用户界面控件的***的步骤之后，还包括：

在生成所述用户界面所有的用户界面控件的***后，运行测试脚本程序，以对所述用户界面进行测试；

其中，在所述用户界面进行测试时，所述测试脚本程序根据所述***查询对应的用户界面控件，并对查询得到的用户界面控件进行测试。

为实现上述目的，本发明还提供一种用户界面控件的定位装置，所述用户界面控件的定位装置包括：

所述用户界面控件的定位装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用户界面控件的定位程序，所述用户界面控件的定位程序被所述处理器执行时实现如上述用户界面控件的定位方法的步骤。

为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有用户界面控件的定位程序，所述用户界面控件的定位程序被处理器执行时实现如上述用户界面控件的定位方法的步骤。

本发明提供的用户界面控件的定位方法、用户界面控件的定位装置以及计算机可读存储介质，确定用户界面控件的控件信息；将所述控件信息作为所述用户界面控件的控件元素的可访问性标识，以生成所述用户界面控件的***。这样，实现UI控件的***的自动生成，从而提高了对UI界面的测试效率的效率。

附图说明

图1为本发明实施例方案涉及的实施例终端的硬件运行环境示意图；

图2为本发明用户界面控件的定位方法第一实施例的流程示意图；

图3为本发明用户界面控件的定位方法第二实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种用户界面控件的定位方法，实现UI控件的***的自动生成，从而提高了对UI界面的测试效率的效率。

如图1所示，图1是本发明实施例方案涉及的实施例终端的硬件运行环境示意图；

本发明实施例终端可以是用户界面控件的定位装置，也可以是一种包括用户界面控件的定位装置的测试设备，也可以是终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU中央处理器(centralprocessing unit)，存储器1002，通信总线1003。其中，通信总线1003用于实现该终端中各组成部件之间的连接通信。存储器1002可以是高速RAM随机存储器(random-accessmemory)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1002可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端的结构并不构成对本发明实施例终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1002中可以包括用户界面控件的定位程序。

在图1所示的终端中，处理器1001可以用于调用存储器1002中存储的用户界面控件的定位程序，并执行以下操作：

确定用户界面控件的控件信息；

进一步地，处理器1001可以调用存储器1002中存储的用户界面控件的定位程序，还执行以下操作：

确定用户界面控件对应的类；

获取所述用户界面控件对应的类的属性名称；

根据所述属性名称生成所述用户界面控件的控件信息。

采用accessibilityLabel方法检测并获取所述属性所关联的对象。

参照图2，在一实施例中，所述用户界面控件的定位方法包括：

步骤S10、确定用户界面控件的控件信息。

本实施例中，实施例终端可以是用户界面控件的定位装置，也可以是一种包括用户界面控件的定位装置的测试设备，也可以是终端设备。以下以实施例终端为用户界面控件的定位装置为例进行说明。

可选地，待测试的UI(User Interface)用户界面对应的APP(Application)应用装载在终端设备上，用户界面中包括多个用户界面控件。

可选地，终端识别并获取待测试的UI界面下的用户界面控件后，确定这些用户界面控件对应的控件信息。其中，控件信息包括控件类型、控件资源文件的名称(如，imageview的图片名称)和控件对应的类信息中的至少一个。

可选地，在控件信息为用户界面控件对应的类的信息时，终端先行识别用户界面控件对应的类(Class)，即UI类。类是面向对象程序设计(OOP，Object-OrientedProgramming)实现信息封装的基础，是一种用户定义的引用数据类型，也称类类型。每个类包含数据说明和一组操作数据或传递消息的函数。类的实例称为对象(object)。

可选地，终端在识别得到用户界面控件对应的类，获取该类对应的类信息作为控件信息。其中，类信息可以是类的属性名称，也可以是类的属性名称和属性名称对应的属性所关联的对象，这两者组合而成的数据组。即终端在根据控件的类的属性名称生成控件信息时，可以是直接将所述属性名称作为所述用户界面控件的控件信息，也可以是将所述属性名称和所述属性名称对应的属性所关联的对象，作为所述用户界面控件的控件信息。

可选地，终端在确定各个用户界面控制对应的类后，采用HOOK UIView中的accessibilityIdentifier方法，检测这些UI类中的属性(Properties)。其中，HOOK为钩子函数，在***没有调用该函数之前，钩子程序就先捕获该消息，钩子函数先得到控制权，这时钩子函数既可以加工处理(改变)该函数的执行行为，还可以强制结束消息的传递；UIView表示屏幕上的一块矩形区域，IOS***中几乎所有可视化控件(UI控件)都是UIView的子类。

可选地，终端在检测到UI类的属性后，可以先判断该UI类下是否只存在唯一不变的属性，若检测到该UI类下只存在唯一不变的属性，则直接获取该属性对应的属性名称，并将获取得到的属性名称作为控件信息。

可选地，若终端检测到该UI类下存在多个属性时，则从这些属性中任意选出一个属性，然后采用HOOK accessibilityLabel方法，识别该属性所关联的对象。进一步地，终端将该属性的属性名称与该属性下的对象进行绑定，得到一组数据组，并将得到的数据组作为控件信息。

需要说明的是，对象(object)，是一个存储器地址，其中拥有值，这个地址可能有标识符指向此处。对象可以是一个变量，一个数据结构，或是一个函数。对象是面向对象(Object Oriented)中的术语，既表示客观世界问题空间(Namespace)中的某个具体的事物，又表示软件***解空间中的基本元素。

这样，通过使用HOOK UIView中的accessibilityIdentifier方法，因为视图层级是最全多的，当某些UI类通过accessibilityIdentifier方法获取不到唯一的属性时，再通过使用HOOK accessibilityLabel方法，就这样利用OC语言这一特性，在运行时先获取UI类的属性，将属性的名称作为***；如果获取不到唯一不变的属性，则将其属性跟其对象绑定起来作为***。

这样，实现每个用户界面控件均有唯一的控件信息。

步骤S20、将所述控件信息作为所述用户界面控件的控件元素的可访问性标识，以生成所述用户界面控件的***。

可选地，终端利用HOOK技术，采用Method Swizzling方法交换，将获取到的控件信息变换为用户界面控件的控件元素中的可访问性标识，即将控件元素中的可访问性标识的原值变更为该UI控件的控件信息。

需要说明的是，Method Swizzling方法交换就是用方法选择器取出来的一个方法的编号(指向方法的指针)，并用用SEL类型表示，它所指向的是一个IMP(方法实现的指针)，而可访问性标识实质对应为IMP，从而达到方法实现交换的效果。其中，SEL为类成员方法的指针，而IMP为函数指针，保存了方法的地址。

Method Swizzing是发生在程序运行时的，主要用于在运行时将两个方法进行交换，Method Swizzling代码可以写到任何地方，但是只有在这段Method Swilzzling代码执行完毕之后互换才起作用。在Objective-C语言的运行时特性中，调用一个对象的方法就是给这个对象发送消息。是通过查找接收消息对象的方法列表，从方法列表中查找对应的SEL，这个SEL对应着一个IMP(一个IMP可以对应多个SEL)，通过这个IMP找到对应的方法调用。在每个类中都有一个调度表(Dispatch Table)，这个调度表本质是将类中的SEL和IMP进行对应。而本实施例中，实质上就是通过Method Swizzling对这个调度表进行了操作，让SEL对应另一个IMP。

可选地，终端预先给UIView等类添加一个Category类别，然后在Category中的+(void)load方法中添加Method Swizzling方法，同时将accessibilityIdentifier方法和accessibilityLabel方法也编写在这个Category中。由于load类方法是程序运行时这个类被加载到内存中就调用的一个方法，执行比较早，并且不需要人工手动调用，而且这个方法具有唯一性，也就是只会被调用一次，不用担心处理器资源被抢夺的问题。这样，在用户界面对应的APP运行时，通过执行Category类别，即可自动生成各个用户界面控件的***，使得HOOK程序界面视图具有可访问性。

在一实施例中，确定用户界面控件的控件信息；将所述控件信息作为所述用户界面控件的控件元素的可访问性标识，以生成所述用户界面控件的***。这样，实现UI控件的***的自动生成，从而提高了对UI界面的测试效率的效率。

在第二实施例中，如图3所示，在上述图2所示的实施例基础上，所述将所述控件信息作为所述用户界面控件的控件元素的可访问性标识，以生成所述用户界面控件的***的步骤之后，还包括：

步骤S30、在生成所述用户界面所有的用户界面控件的***后，运行测试脚本程序，以对所述用户界面进行测试，其中，在所述用户界面进行测试时，所述测试脚本程序根据所述***查询对应的用户界面控件，并对查询得到的用户界面控件进行测试。

本实施例中，待测试的UI(User Interface)用户界面对应的APP(Application)应用装载在终端设备上，用户界面中包括多个用户界面控件，用户界面控件对应的用户界面包括多个用户界面控件。

可选地，终端在检测到用户界面下的所有用户界面控件均生成有对应的***后，终端开始运行测试脚本程序，以对待测试的用户界面进行测试。其中，由于测试脚本程序是测试人员根据当前测试的用户界面的UI控件树预先编写并上传至终端的，测试脚本程序在运行时(即用户界面进行测试时)，会逐一根据***查询对应的用户界面控件，对查询得到的用户界面控件进行定位获取，并对获取到的用户界面控件进行测试。需要说明的是，每个***均有与之一一对应的用户界面控件。

在一实施例中，在生成所述用户界面所有的用户界面控件的***后，运行测试脚本程序，以对所述用户界面进行测试，其中，在所述用户界面进行测试时，所述测试脚本程序根据所述***查询对应的用户界面控件，并对查询得到的用户界面控件进行测试。这样，通过在APP运行时自动化添加UI控件的***，不再需要测试人员提供UI给开发人员进行手动添加***，再结合接口数据返回的UI文本，动态获取UI控件进行自动化操作，实现UI控件的***的自动生成，从而提高了对UI界面的测试效率的效率。

此外，本发明还提出一种用户界面控件的定位装置，所述用户界面控件的定位装置包括存储器、处理器及存储在存储器上并可在处理器上运行的用户界面控件的定位程序，所述处理器执行所述用户界面控件的定位程序时实现如以上实施例所述的用户界面控件的定位方法的步骤。

此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质包括用户界面控件的定位程序，所述用户界面控件的定位程序被处理器执行时实现如以上实施例所述的用户界面控件的定位方法的步骤。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是可选实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是电视机，手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种用户界面控件的定位方法，其特征在于，所述用户界面控件的定位方法包括以下步骤：

在用户界面控件对应的类存在多个属性时，识别不同属性关联的对象，并将属性名称和所述属性名称的对象进行绑定，得到一组数据组，将所述数据组作为所述用户界面控件的控件信息；

将所述控件信息变换为所述用户界面控件的控件元素的可访问性标识，以生成所述用户界面控件的***，所述***用于终端基于测试脚本程序去定位获取对应的用户界面控件；

所述将所述控件信息变换为所述用户界面控件的控件元素的可访问性标识的步骤包括：基于方法选择器，选取出来一个方法的编号并用SEL类型指针表示，所述SEL类型指针指向IMP指针，所述IMP指针实质对应为所述控件元素的可访问性标识，基于预设交换方法，以实现使用所述控件信息取代所述控件元素的可访问性标识的原值，其中，所述SEL类型指针为类成员方法的指针，所述IMP指针为函数指针且保存有所述类成员方法的地址。

2.如权利要求1所述的用户界面控件的定位方法，其特征在于，所述用户界面控件的定位方法还包括：

确定用户界面控件对应的类；

获取所述用户界面控件对应的类的属性名称；

根据所述属性名称生成所述用户界面控件的控件信息。

3.如权利要求2所述的用户界面控件的定位方法，其特征在于，所述根据所述属性名称生成所述用户界面控件的控件信息的步骤包括：

在所述用户界面控件对应的类存在一个属性时，将所述属性名称作为所述用户界面控件的控件信息。

4.如权利要求1所述的用户界面控件的定位方法，其特征在于，所述用户界面控件的定位方法还包括：

5.如权利要求1所述的用户界面控件的定位方法，其特征在于，所述用户界面控件的定位方法还包括：

采用accessibilityLabel方法检测并获取所述属性所关联的对象。

6.如权利要求1所述的用户界面控件的定位方法，其特征在于，所述用户界面控件对应的用户界面包括多个用户界面控件，所述将所述控件信息作为所述用户界面控件的控件元素的可访问性标识，以生成所述用户界面控件的***的步骤之后，还包括：

7.一种用户界面控件的定位装置，其特征在于，所述用户界面控件的定位装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用户界面控件的定位程序，所述用户界面控件的定位程序被所述处理器执行时实现如权利要求1至6中任一项所述的用户界面控件的定位方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有用户界面控件的定位程序，所述用户界面控件的定位程序被处理器执行时实现如权利要求1至6中任一项所述的用户界面控件的定位方法的步骤。