CN114511696A - 控件定位方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种控件定位方法、装置、电子设备及可读存储介质，所述方法包括：接收预存储的目标操控指令目标控件的第一描述信息；分别获取界面中m个待定位控件的第二描述信息，第二描述信息包括第二特征信息和待定位控件与其预设范围内的第二参考控件的第二关系信息，第二特征信息用于指示待定位控件的属性信息，第二关系信息用于指示待定位控件与第二参考控件之间的位置关系，m为大于0的整数；分别获取第一描述信息与m个待定位控件的第二描述信息的相似度值；确定与目标相似度值对应的待定位控件为待操控目标控件，目标相似度值大于预设阈值，且目标相似度值为获取的m个相似度值中的最大相似度值。

Description

控件定位方法、装置、电子设备及可读存储介质

技术领域

本申请属于自动化测试技术领域，具体涉及一种控件定位方法、装置、电子设备及可读存储介质。

背景技术

自动化测试中比较关键的环节是控件定位，即按照脚本步骤中记录的关键信息，在测试设备上定位到该步骤要操作的目标控件，然后进行相应的操作。以下为常见的控件定位方法。

方法一，记录控件的关键信息，如控件类型、身份标识号(Identity document，ID)、文本或可扩展标记语言路径语言(Xml Path Language，xpath)等，执行脚本时，通过这些关键信息在控件树中找到目标控件的位置；

方法二，通过光学字符识别(Optical Character Recognition，OCR)技术或图像识别技术，找到界面中的目标文本或目标图片，从而定位到目标控件。

方法三，利用目标控件的周围信息计算一个偏移量，得到一个在目标控件范围内的坐标，从而定位到目标控件。

但是，上述方法一在关键信息不同的情况下，例如，不同设备可能xpath不同，此时就需要人工制定规则来解决xpath不同导致的影响。对于方案二，在控件没有明显特征的情况下，也需要人工制定规则，从而定位到待操控控件。至于方案三，适应场景也有限，且偏移量也需要人工去调整。

可见，上述定位待操控控件的方法的适用场景有限，需要大量的维护工作。

发明内容

本申请实施例的目的是提供一种控件定位方法、装置、电子设备及可读存储介质，能够解决相关技术中定位待操控控件的方法的适用场景有限，需要大量的维护工作的问题。

第一方面，本申请实施例提供了一种控件定位方法，包括接收预存储的目标控件的第一描述信息，其中，所述第一描述信息包括第一特征信息和所述目标控件与其预设范围内的第一参考控件的第一关系信息，所述第一特征信息用于指示所述目标控件的属性信息，所述第一关系信息用于指示所述目标控件与所述第一参考控件之间的位置关系；分别获取界面中m个待定位控件的第二描述信息，其中，所述第二描述信息包括第二特征信息和所述待定位控件与其预设范围内的第二参考控件的第二关系信息，所述第二特征信息用于指示所述待定位控件的属性信息，所述第二关系信息用于指示所述待定位控件与所述第二参考控件之间的位置关系，m为大于0的整数；分别获取所述第一描述信息与m个所述待定位控件的第二描述信息的相似度值；确定与目标相似度值对应的待定位控件为所述目标控件，其中，所述目标相似度值大于预设阈值，且所述目标相似度值为获取的m个相似度值中的最大相似度值。

第二方面，本申请实施例提供了一种控件定位装置，包括接收模块，用于接收预存储的目标控件的第一描述信息，其中，所述第一描述信息包括第一特征信息和所述目标控件与其预设范围内的第一参考控件的第一关系信息，所述第一特征信息用于指示所述目标控件的属性信息，所述第一关系信息用于指示所述目标控件与所述第一参考控件之间的位置关系；第一获取模块，用于分别获取界面中m个待定位控件的第二描述信息，其中，所述第二描述信息包括第二特征信息和所述待定位控件与其预设范围内的第二参考控件的第二关系信息，所述第二特征信息用于指示所述待定位控件的属性信息，所述第二关系信息用于指示所述待定位控件与所述第二参考控件之间的位置关系，m为大于0的整数；第二获取模块，用于分别获取所述第一描述信息与m个所述待定位控件的第二描述信息的相似度值；确定模块，用于确定与目标相似度值对应的待定位控件为所述目标控件，其中，所述目标相似度值大于预设阈值，且所述目标相似度值为获取的m个相似度值中的最大相似度值。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，通过接收预存储的目标控件的第一描述信息，再获取终端设备界面中的待定位控件的第二描述信息，将第一描述信息与界面中各待定位控件的第二描述信息进行计算，得到目标控件与界面中各待定位控件的相似度值，将与最大相似度值对应的待定位控件确定为目标控件，从而准确定位出目标控件。由于描述信息包括的特征信息和关系信息可以适应于各种场景，不需要人工大量的维护，从而解决相关技术中定位待操控控件的方法的适用场景有限，需要大量的维护工作的问题。

附图说明

图1是本申请实施例提供的控件定位方法的一种流程示意图；

图2是本申请实施例提供的匹配模型的一种结构示意图；

图3a是本申请实施例中对界面中的控件进行移动前的界面控件示意图；

图3b是本申请实施例中对界面中的控件进行移动后的界面控件示意图；

图4a是本申请实施例中减小界面分辨率前的界面控件示意图；

图4b是本申请实施例中减小界面分辨率后的界面控件示意图；

图5a是本申请实施例中增大界面分辨率前的界面控件示意图；

图5b是本申请实施例中增大界面分辨率后的界面控件示意图；

图6a是本申请实施例中缺失界面控件前的界面控件示意图；

图6b是本申请实施例中缺失界面控件前的界面控件示意图；

图7是本申请实施例提供的控件定位装置的一种结构示意图；

图8是本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的控件定位方法、装置、电子设备及可读存储介质进行详细地说明。

图1是本申请实施例提供的控件定位方法的一种流程示意图，该方法100可以由终端设备执行。换言之，所述方法可以由安装在终端设备的软件或硬件来执行。如图1所示，该方法可以包括以下步骤。

S110：预存储的目标控件的第一描述信息。

其中，所述第一描述信息包括第一特征信息和所述目标控件与其预设范围内的第一参考控件的第一关系信息，所述第一特征信息用于指示所述目标控件的属性信息，所述第一关系信息用于指示所述目标控件与所述第一参考控件之间的位置关系。

具体的，在自动化测试中，运行脚本步骤中记录有目标控件，目标控件的第一描述信息是预先就计算好的，存储在终端设备中。

S120：分别获取界面中m个待定位控件的第二描述信息。

其中，所述第二描述信息包括第二特征信息和所述待定位控件与其预设范围内的第二参考控件的第二关系信息，所述第二特征信息用于指示所述待定位控件的属性信息，所述第二关系信息用于指示所述待定位控件与所述参考控件之间的位置关系，m为大于0的整数。

具体的，第二特征信息用于指示待定位控件的属性信息，属性信息包括类型信息、尺寸信息、位置信息和图像信息中的至少一者。类型信息即待定位控件属于哪种类型，比如，待定位控件是按钮还是文本框。尺寸信息即待定位控件的尺寸大小。位置信息即待定位控件中的坐标位置。对于图像信息，可以将待定位控件的大小缩小或放大到预设值，例如，可以将待定位控件的大小缩小为8×8的小图片，由于每个像素有红、绿、蓝三个颜色值，因此得到8×8×3个特征。

关系信息用于指示待定位控件与所述第二参考控件之间的位置关系，第二参考控件包括待定位控件的左邻居(左边的待定位控件)、右邻居(右边的待定位控件)、上邻居(上边的待定位控件)和下邻居(下边的待定位控件)。位置关系可以包括待定位控件与第二参考控件的距离，具体的，以待操控控件与其中一个第二参考控件为方框为例，可以计算该待操控控件与该第二参考控件相邻的两个边的距离，将计算得到的距离作为该待定位控件与该第二参考控件的距离。位置关系还可以包括待定位控件预设范围内是否有第二参考控件，还可以包括待定位控件位于第二参考控件的方位。

通过待定位控件的第二特征信息和第二关系信息可以确定m个待定位控件的描述信息。

S130：分别获取所述第一描述信息与m个所述待定位控件的第二描述信息的相似度值。

需要说明的是，在进行控件定位之前，可以先计算并存储界面中的每个待定位控件的第二描述信息。在本步骤中，将第一描述信息与步骤120计算得到的m个待定位控件的第二描述信息进行一一比对，可以得出m个相似度值。

S140：确定与目标相似度值对应的待定位控件为所述目标控件。

其中，所述目标相似度值大于预设阈值，且所述目标相似度值为获取的m个相似度值中的最大相似度值，若目标相似度值不大于预设阈值，则说明该m个待定位控件中没有与待操控控件想匹配的。

本申请实施例提供的控件定位方法，通过接收预存储的目标控件的第一描述信息，再获取终端设备界面中的待定位控件的第二描述信息，将第一描述信息与界面中各待定位控件的第二描述信息进行计算，得到目标控件与界面中各待定位控件的相似度值，将与最大相似度值对应的待定位控件确定为目标控件，从而准确定位出目标控件。由于描述信息包括的特征信息和关系信息可以适应于各种场景，不需要人工大量的维护，从而解决相关技术中定位待操控控件的方法的适用场景有限，需要大量的维护工作的问题。

在一种可能的实现方式中，S120可以包括：分别获取界面中m个待定位控件的第二特征信息；对于各个所述待定位控件，获取所述待定位控件与其预设范围内的第二参考控件的第二关系信息；根据所述第二特征信息和所述第二关系信息，获取所述待定位控件的第二描述信息。通过获取到第二特征信息和第二关系信息，从而可以确定出第二描述信息。

在一种可能的实现方式中，根据所述第二特征信息和所述第二关系信息，获取所述待定位控件的第二描述信息，可以包括：将所述第二特征信息和所述第二关系信息进行向量转化处理，将得到的向量作为所述待定位控件的第二描述信息。

在该可能的实现方式中，将特征信息和关系信息进行向量转化处理后，将得到向量作为待定位控件的描述信息，通过向量来计算待定位控件与待操控控件的相似度值，例如，可以将得到的向量输入后文中提到的匹配模型，即可得到相似度值，从而可以快速获取到第一描述信息与待定位控件的第二描述信息的相似度值，提升定位目标控件的效率。

在一种可能的实现方式中，分别获取所述第一描述信息与与m个所述待定位控件的第二描述信息的相似度值，可以包括：将所述第一描述信息与一个所述待定位控件的第二描述信息输入匹配模型中，通过所述匹配模型的计算，得到所述目标控件与所述一个待定位控件的一个相似度值；将所述第一描述信息与下一个所述待定位控制的第二描述信息输入所述匹配模型中，通过所述匹配模型的计算，得到所述目标控件与所述下一个待定位控件的相似度值，如此重复，分别得到所述目标控件的第一描述信息与m个所述待定位控件的第二描述信息的相似度值。

图2为匹配模型的一种结构示意图，如图2所示，匹配模型有两个输入端，可以将待定位控件的第二描述信息作为描述信息1输入，将目标控件的第一描述信息作为描述信息2输入，两个描述信息分别经过神经网络特征提取，得到更高层次的特征，然后连接到一起，再经过几层神经网络，得到最终的结果为一个标量，代表该待定位控件与待操控控件的相似程度。

本申请实施例利用匹配模型计算得到目标控件的第一描述信息与m个待定位控件的第二描述信息的相似度值，由于匹配模型是根据大量数据训练得到的，无需人工维护大量复杂的规则，对于脚本编写人员来说，也无需对脚本步骤配置各种复杂的参数，因此，可以降低自动化***维护的难度及成本，同时提高脚本编写效率，增强脚本执行的稳定性。

当然，为了使匹配模型收敛得更快，训练更为稳定，可以先对第二特征信息和第二关系信息进行归一化处理。因此，在一种可能的实现方式中，在将所述特征信息和所述关系信息进行向量转化处理之前，所述方法可以包括：对所述第二特征信息和所述第二关系信息进行归一化处理。

具体的，对于第二特征信息中的文本特征，例如class、id或text，首先可以定义一个字符集，这个字符集包含了在收集到的控件树中的出现达到一定频率的字符。有了字符集后，就可以对文本特征进行归一化了。具体方法是：取文本的开头一定数量的字符和结尾一定数量的字符，这个数量可以针对不同特征设置不同的值，获取每个字符在字符集中的序号，然后除以字符集的大小，得到一个0到1之间的小数。对于不在字符集中的字符，无法计算的，用0值代替。对于字符数量不足的，也用0补齐，确保每个特征的长度固定。

对于第二特征信息和第二关系信息中的坐标数据，例如第二特征信息中的位置信息就可以以坐标(x，y)来表示，第二关系信息中的待定位控件位于第二参考控件的方位也可以用坐标(x，y)来表示。对于该类坐标数据的归一化，可以用x除界面的宽，y除屏幕的高，得到归一化的数据。

对于第二特征信息和第二关系信息中表示是或否的信息，例如，待定位控件右边是否有控件，对于这类信息，可以用1表示是，用0表示否，从而得到归一化的数据。

对于第二关系信息中的待定位控件与第二参考控件的距离，可以用距离除界面对角线距离，得到归一化的数据。

对于图像信息，可以用图像矩阵乘以预设值，例如1/255，得到归一化数据。

需要说明的是，除了上面给出的对各种信息进行归一化处理的方法外，还可以采用其他方法对各类信息进行归一化处理，本申请对此不作具体的限定。

上述对第二特征信息和第二关系信息进行归一化处理后，再将第二特征信息和第二关系信息进行向量转化处理，可以更为高效的计算出目标控件与待定位控件的相似度值，从而准确定位出目标控件。

由于匹配模型是通过对大量的数据训练得到的，因此，在一种可能的实现方式中，在接收预存储的目标控件的第一描述信息之前，所述方法可以包括：获取相似信息对和非相似信息对；根据所述相似信息对和所述非相似信息对，对所述匹配模型进行训练。

进一步的，获取相似信息对和非相似信息对，可以包括以下步骤。

步骤1，获取当前控件的第三特征信息。

第三特征信息用于指示当前控件的属性信息。

步骤2，获取所述当前控件与其预设范围内的第三参考控件的第三关系信息。

第三关系信息用于指示当前控件与第三参考控件之间的位置关系。

步骤3，将所述第三特征信息和所述第三关系信息进行向量转化处理，将得到的向量作为所述当前控件的第三描述信息。

具体的，可以先对第三特征信息和第三关系信息进行归一化处理，之后，再对第三特征信息和第三关系信息进行向量转化处理，将得到的向量作为所述当前控件的第三描述信息。

步骤4，采用步骤1-步骤3的方法，得到其他控件的第三描述信息。

步骤5，改变所述当面控件的第三特征信息和/或改变所述当面控件的第三关系信息，得到第四特征信息和第四关系信息。

例如，可以对界面中的控件进行移动，从而改变当前控件的位置，如图3a和图3b所示，图3a为移动前的界面，图3b为移动后的界面。

还可以改变界面的分辨率，如图4a和图4b所示，图4a为分辨率缩小前的界面，图4b为分辨率缩小后的界面。如图5a和图5b所示，图5a为分辨率变大前的界面，图5b为分辨率变大后的界面。

还可以模拟控件缺失的情况，如图6a和图6b所示，图6a为界面中控件未缺失的情况，图6b为界面中控件缺失的情况。

通过改变当面控件的第三特征信息和/或改变当面控件的第三关系信息，从而模拟当前控件在各种场景中的变化，得到第四特征信息和第四关系信息。

步骤6，将所述第四特征信息和所述第四关系信息进行向量转化处理，将得到的向量作为所述当前控件的第四描述信息。

同样的，可以先对第四特征信息和第四关系信息进行归一化处理，之后，将第四特征信息和第四关系信息进行向量转化处理，得到当前控件的第四描述信息。

步骤7，将所述当前控件的第三描述信息和所述当前控件的第四描述信息作为相似信息对。

在具体应用中，可以将相似信息对标签为1.0，表示该两个描述信息完全一致。

步骤8，将所述当前控件的第三描述信息和其他控件的第三描述信息作为非相似信息对。

在具体应用中，可以将非相似信息对标签为0.0，表示该两个描述信息完全不一致。

通过上述步骤，可以得到一对相似信息和一对非相似信息，可以将该相似信息对和非相似信息对输入至匹配模型中进行训练。

同样的，采用上述方法，可以获取大量相似信息对和非相似信息对，利用任意的深度学习框架，对匹配模型进行训练。在具体应用中，可以通过改变各个控件的特征信息和关系信息，模拟更多的场景，使得匹配模型的效果更佳。

需要说明的是，本申请实施例提供的一种控件定位方法，执行主体可以为控件定位装置，或者，该控件定位装置中的用于执行控件定位方法的控制模块。本申请实施例中以控件定位装置执行控件定位方法为例，说明本申请实施例提供的控件定位装置。

图7是本申请实施例提供的控件定位装置的一种结构示意图。如图7所示，该控件定位装置700包括：接收模块710、第一获取模块720、第二获取模块730和确定模块740。

接收模块710，用于接收预存储的目标控件的第一描述信息，其中，所述第一描述信息包括第一特征信息和所述目标控件与其预设范围内的第一参考控件的第一关系信息，所述第一特征信息用于指示所述目标控件的属性信息，所述第一关系信息用于指示所述目标控件与所述第一参考控件之间的位置关系；第一获取模块720，用于分别获取界面中m个待定位控件的第二描述信息，其中，所述第二描述信息包括第二特征信息和所述待定位控件与其预设范围内的第二参考控件的第二关系信息，所述第二特征信息用于指示所述待定位控件的属性信息，所述第二关系信息用于指示所述待定位控件与所述第二参考控件之间的位置关系，m为大于0的整数；第二获取模块730，用于分别获取所述第一描述信息与m个所述待定位控件的第二描述信息的相似度值；确定模块740，用于确定与目标相似度值对应的待定位控件为所述目标控件，其中，所述目标相似度值大于预设阈值，且所述目标相似度值为获取的m个相似度值中的最大相似度值。

在一种实现方式中，第一获取模块720分别获取界面中m个待定位控件的第二描述信息，包括：分别获取界面中m个待定位控件的第二特征信息；对于各个所述待定位控件，获取所述待定位控件与其预设范围内的第二参考控件的第二关系信息；根据所述第二特征信息和所述第二关系信息，获取所述待定位控件的第二描述信息。

在一种实现方式中，第一获取模块720根据所述第二特征信息和所述第二关系信息，获取所述待定位控件的第二描述信息：将所述第二特征信息和所述第二关系信息进行向量转化处理，将得到的向量作为所述待定位控件的描述信息。

在一种实现方式中，第二获取模块730分别获取所述第一描述信息与m个所述待定位控件的第二描述信息相似度值，包括：将所述第一描述信息与一个所述待定位控件的第二描述信息输入匹配模型中，通过所述匹配模型的计算，得到所述目标控件与所述一个待定位控件的一个相似度值；将所述第一描述信息与下一个所述待定位控制的第二描述信息输入所述匹配模型中，通过所述匹配模型的计算，得到所述目标控件与所述下一个待定位控件的相似度值，如此重复，分别得到所述目标控件的第一描述信息与m个所述待定位控件的第二描述信息的相似度值。

在一种实现方式中，控件定位装置700还可以包括处理模块，处理模块用于在将所述第二特征信息和所述第二关系信息进行向量转化处理之前，对所述第二特征信息和所述第二关系信息进行归一化处理。

在一种实现方式中，控件定位装置700还可以包括训练模块，训练模块用于在接收预存储的目标控件的第一描述信息之前，获取相似信息对和非相似信息对；根据所述相似信息对和所述非相似信息对，对所述匹配模型进行训练。

在一种实现方式中，训练模块获取相似信息对和非相似信息对包括：步骤1，获取当前控件的第三特征信息；步骤2，获取所述当前控件与其预设范围内的第三参考控件的第三关系信息；步骤3，将所述第三特征信息和所述第三关系信息进行向量转化处理，将得到的向量作为所述当前控件的第三描述信息；步骤4，采用步骤1-步骤3的方法，得到其他控件的第三描述信息；步骤5，改变所述当面控件的第三特征信息和/或改变所述当面控件的第三关系信息，得到第四特征信息和第四关系信息；步骤6，将所述第四特征信息和所述第四关系信息进行向量转化处理，将得到的向量作为所述当前控件的第四描述信息；步骤7，将所述当前控件的第三描述信息和所述当前控件的第四描述信息作为相似信息对；步骤8，将所述当前控件的第三描述信息和其他控件的第三描述信息作为非相似信息对。

本申请实施例中的控件定位装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的控件定位装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

本申请实施例提供的控件定位装置能够实现图1至图6的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图8所示，本申请实施例还提供一种电子设备800，包括处理器801和存储器802，存储器802上存储有可在所述处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述控件定位方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述控件定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述控件定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述控件定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限，按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种控件定位方法，其特征在于，包括：

接收预存储的目标控件的第一描述信息，其中，所述第一描述信息包括第一特征信息和所述目标控件与其预设范围内的第一参考控件的第一关系信息，所述第一特征信息用于指示所述目标控件的属性信息，所述第一关系信息用于指示所述目标控件与所述第一参考控件之间的位置关系；

分别获取界面中m个待定位控件的第二描述信息，其中，所述第二描述信息包括第二特征信息和所述待定位控件与其预设范围内的第二参考控件的第二关系信息，所述第二特征信息用于指示所述待定位控件的属性信息，所述第二关系信息用于指示所述待定位控件与所述第二参考控件之间的位置关系，m为大于0的整数；

分别获取所述第一描述信息与m个所述待定位控件的第二描述信息的相似度值；

确定与目标相似度值对应的待定位控件为所述目标控件，其中，所述目标相似度值大于预设阈值，且所述目标相似度值为获取的m个相似度值中的最大相似度值。

2.根据权利要求1所述的控件定位方法，其特征在于，分别获取界面中m个待定位控件的第二描述信息，包括：

分别获取界面中m个待定位控件的第二特征信息；

对于各个所述待定位控件，获取所述待定位控件与其预设范围内的第二参考控件的第二关系信息；

根据所述第二特征信息和所述第二关系信息，获取所述待定位控件的第二描述信息。

3.根据权利要求2所述的控件定位方法，其特征在于，根据所述第二特征信息和所述第二关系信息，获取所述待定位控件的第二描述信息，包括：

将所述第二特征信息和所述第二关系信息进行向量转化处理，将得到的向量作为所述待定位控件的描述信息。

4.根据权利要求3所述的控件定位方法，其特征在于，分别获取所述第一描述信息与m个所述待定位控件的第二描述信息相似度值，包括：

将所述第一描述信息与一个所述待定位控件的第二描述信息输入匹配模型中，通过所述匹配模型的计算，得到所述目标控件与所述一个待定位控件的一个相似度值；

将所述第一描述信息与下一个所述待定位控制的第二描述信息输入所述匹配模型中，通过所述匹配模型的计算，得到所述目标控件与所述下一个待定位控件的相似度值，如此重复，分别得到所述目标控件的第一描述信息与m个所述待定位控件的第二描述信息的相似度值。

5.根据权利要求4所述的控件定位方法，其特征在于，在将所述第二特征信息和所述第二关系信息进行向量转化处理之前，所述方法包括：

对所述第二特征信息和所述第二关系信息进行归一化处理。

6.根据权利要求4所述的控件定位方法，其特征在于，在接收预存储的目标控件的第一描述信息之前，所述方法包括：

获取相似信息对和非相似信息对；

根据所述相似信息对和所述非相似信息对，对所述匹配模型进行训练。

7.根据权利要求6所述的控件定位方法，其特征在于，获取相似信息对和非相似信息对，包括：

步骤1，获取当前控件的第三特征信息；

步骤2，获取所述当前控件与其预设范围内的第三参考控件的第三关系信息；

步骤3，将所述第三特征信息和所述第三关系信息进行向量转化处理，将得到的向量作为所述当前控件的第三描述信息；

步骤4，采用步骤1-步骤3的方法，得到其他控件的第三描述信息；

步骤5，改变所述当面控件的第三特征信息和/或改变所述当面控件的第三关系信息，得到第四特征信息和第四关系信息；

步骤6，将所述第四特征信息和所述第四关系信息进行向量转化处理，将得到的向量作为所述当前控件的第四描述信息；

步骤7，将所述当前控件的第三描述信息和所述当前控件的第四描述信息作为相似信息对；

步骤8，将所述当前控件的第三描述信息和其他控件的第三描述信息作为非相似信息对。

8.一种控件定位装置，其特征在于，包括：

接收模块，用于接收预存储的目标控件的第一描述信息，其中，所述第一描述信息包括第一特征信息和所述目标控件与其预设范围内的第一参考控件的第一关系信息，所述第一特征信息用于指示所述目标控件的属性信息，所述第一关系信息用于指示所述目标控件与所述第一参考控件之间的位置关系；

第一获取模块，用于分别获取界面中m个待定位控件的第二描述信息，其中，所述第二描述信息包括第二特征信息和所述待定位控件与其预设范围内的第二参考控件的第二关系信息，所述第二特征信息用于指示所述待定位控件的属性信息，所述第二关系信息用于指示所述待定位控件与所述第二参考控件之间的位置关系，m为大于0的整数；

第二获取模块，用于分别获取所述第一描述信息与m个所述待定位控件的第二描述信息的相似度值；

确定模块，用于确定与目标相似度值对应的待定位控件为所述目标控件，其中，所述目标相似度值大于预设阈值，且所述目标相似度值为获取的m个相似度值中的最大相似度值。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的控件定位方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的控件定位方法的步骤。

Images