CN109857645A - 一种针对应用程序的自动化测试方法及装置 - Google Patents

Abstract

本发明公开一种针对应用程序的自动化测试方法及装置，可以较高效率、且较为准确地对移动终端中的应用程序进行自动化测试。所述方法包括：对包含多个字符的自动化测试用例进行语义解析，确定操作对象字符和对应的自动化测试操作；利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息；在所述当前显示界面中，通过模拟操作的方式，对所述目标位置信息执行所述自动化测试操作。

Description

一种针对应用程序的自动化测试方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种针对应用程序的自动化测试方法及装置。

背景技术

随着移动终端软件和硬件的不断发展，为满足用户的各种需求，开发出了各种应用程序(简称应用)，通常情况下，需要对应用的功能进行测试。比如，可以先将某个应用安装在移动终端中，再根据预先设置的测试用例，对该应用的某个功能进行测试。或将该应用分别安装在不同移动终端中，根据测试用例，分别对某个功能进行测试，等。

目前，对于应用的测试，较为流行的方式是人工测试，比如某个应用的开发人员，可以将开发的应用安装在多个移动终端中，并分别通过人工操作进行测试。

然而，这种人工测试的方式通常效率较低，且容易出现遗漏，并且每当应用发生更新后，可能需要重新适应新的应用，效率进一步降低。所以需要提供一种方案，能够较高效率、且较为准确地对移动终端中的应用程序进行自动化测试。

发明内容

本发明实施例提供一种针对应用程序的自动化测试方法及装置，用于较高效率、且较为准确地对移动终端中的应用程序进行自动化测试。

为解决上述技术问题，本发明实施例是这样实现的：

本发明实施例采用下述技术方案：

一种针对应用程序的自动化测试方法，包括：

对包含多个字符的自动化测试用例进行语义解析，确定操作对象字符和对应的自动化测试操作；

利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息；

在所述当前显示界面中，通过模拟操作的方式，对所述目标位置信息执行所述自动化测试操作。

一种针对应用程序的自动化测试装置，包括：解析单元、确定单元、以及测试单元，其中，

所述解析单元，用于对包含多个字符的自动化测试用例进行语义解析，确定操作对象字符和对应的自动化测试操作；

所述确定单元，用于利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息；

所述测试单元，用于在所述当前显示界面中，通过模拟操作的方式，对所述目标位置信息执行所述自动化测试操作。

一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

由以上实施例提供的技术方案可见，在对包含多个字符的自动化测试用例进行语义解析后，可以确定出操作对象字符和对应的自动化测试操作，再利用预设的确定方式，从当前显示界面中确定出与操作对象字符相匹配的目标位置信息，从而可以在当前显示界面中，通过模拟操作的方式，对目标位置信息执行自动化测试操作。也即，测试人员可以通过字符编写好自动化测试用例，在测试阶段，可以对测试用例进行解析，从而得到操作对象和操作方式，在当前显示界面中利用预设的方式确定出与操作对象相匹配的目标位置，进而可以对目标位置执行该操作方式。本方案可以在获取到测试用例后，进行自动解析，并确定出需要执行操作的目标位置，从而实现自动化测试，相较于人工测试的方式，具有较高的测试效率、以及较高的准确性。

附图说明

为了更清楚地说明本发明实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的针对应用程序的自动化测试方法的流程示意图；

图2为本发明实施例提供的针对应用程序的自动化测试方法的示意图；

图3为本发明实施例提供的针对应用程序的自动化测试装置的结构示意图；

图4为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图，详细说明本发明中各实施例提供的技术方案。

实施例1

为了提供一种较高效率、且较为准确地对移动终端中的应用程序进行自动化测试的方案，本实施例提供一种针对应用程序的自动化测试方法，可以较高效率、且较为准确地对移动终端中的应用程序进行自动化测试。假设该执行主体可以是移动终端，具体流程示意图如图1所示，包括：

步骤102：对包含多个字符的自动化测试用例进行语义解析，确定操作对象字符和对应的自动化测试操作。

测试用例，可以是指针对安装在移动应用中，某个应用程序的某个功能的测试说明，可以包括一个或多个具体的测试操作，比如“点击关闭按键”、“点击左上方的返回按键”、“账号输入框中输入XXXXX”，等，也即本步骤中的自动化测试用例可以由多个中文字符组成。

在本步骤中，可以通过自然语言处理模型，对包含多个字符的自动化测试用例进行语义解析，具体地，自然语言处理(natural language processing，NLP)可以包括多个范畴，比如文本朗读(Text to speech)/语音合成(Speech synthesis)、语音识别(Speechrecognition)、中文自动分词(Chinese word segmentation)、词性标注(Part-of-speechtagging)、句法分析(Parsing)等。

具体地，利用自然语言处理模型，可以将自动化测试用例进行语义解析，也即将测试用例中的多个字符转换为结构化数据，得到操作对象字符和对应的自动化测试操作，比如，对于“点击关闭按键”，可以解析为操作对象字符：关闭按键，和自动化测试操作：点击；又如，对于“点击左上方的返回按键”，可以解析为操作对象字符：返回按键，和自动化测试操作：点击。

在实际应用中，可以预先对自然语言处理模型进行训练，具体地可以针对下述不同方面进行训练：

第一个方面，可以针对中文分词进行训练，具体地，由于测试用例具备很高的相似性，比如“返回”、“退回”，“点击”、“单击”，“下滑”、“下拉”，“按键”、“按钮”等，则可以通过对收集的大量测试用例语料进行标注，增加字典库、提高关键词权重等手段，对模型进行训练，从而达到更好的分词效果。同时，可以对分词的词性进行标注，以便剔除无效词，提取出有用的关键词。

第二个方面，可以对词的类型进行训练，具体地，可以对收集的大量测试用例语料进行人工结构化标注，通过深度学习模型进行分类训练，获得代表词类型的词向量，以便可以在对测试用例进行解析时，可以确定出哪些是操作对象，哪些是测试操作。具体比如自动化测试操作可以有：点击、双击、上滑、下滑、左滑、右滑、输入等，操作对象的字符可以有：返回按键、输入框、任意位置等。

第三个方面，还可以对相似词识别进行训练，比如，可以根据词向量的相似度，对关键词进行分类，以便可以根据相似的词进行归类，具体比如测试用例中使用的测试操作的词为“点一下”、“按一下”，则通过训练后的模型，可以均归类为“点击”操作。

如前文提到的测试用例的举例，“点击左上方的返回按键”，其中包括了针对返回按键的方位信息“左上方”，又如在实际应用中，可能在测试用例中限定某个操作对象的形状、颜色、操作次数等信息。则在一种实施方式中，该方法还可以包括：确定出与操作对象字符对应的对象属性信息。该对象属性信息就可以是描述操作对象和/或测试操作的特征的信息，在一种实施方式中，该对象属性信息就可以包括方位信息，比如针对“点击左上方的返回按键”，就可以包括方位信息：左上方。

在实际应用中，一些测试用例可能会出现中文语法不正确的情况，比如测试用例“下滑三次”中，并未包含操作对象字符，则在实际应用中，可以通过预设的方式，补充测试用例的要素，比如当利用自然语言处理模型未解析出操作对象字符时，可以补充为任一位置，等。而对于这种补充方式，也可以在训练自然语言处理模型时一并训练，使自然语言处理模型具备解析测试用例以及补充要素的能力。

在前文已经介绍，在对自然语言处理时，可以对词的类型进行训练，则本方案还可以对测试用例中的对象属性信息进行人工结构化标注，并通过深度学习模型进行分类训练，以便在对测试用例进行解析时，可以确定出哪些是对象属性信息。具体比如代表方位的词有：左上角、右上角、左下角、右下角、屏幕中间、上面、下面、上面中间、下面中间等。

而在实际应用中，该对象属性信息还可以包括针对操作对象的颜色信息、形状信息、内容信息、操作次数信息、操作方式信息等。

如下表1所示，为对较为常见的测试用例进行解析后的结果，可以包括操作对象字符、对应的自动化测试操作、以及对应的对象属性信息。

测试用例	操作对象字符	自动化测试操作	对象属性信息
				点击左上方的返回按键	返回按键	点击	左上方
点击关闭按键	关闭按键	点击
				账号输入框中输入XXXX	账号输入框	输入	XXXX
上滑三次	任意位置	上滑	三次
				点击列表	列表	点击

表1

在实际应用中，可以对测试用例建立一个通用性较好的编写规范，其中就可以包括自然语言处理模型能够较为准确地解析出的中文字符。

步骤104：利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与该操作对象字符相匹配的目标位置信息。

在对测试用例进行解析，并得到操作对象字符和对应的自动化测试操作后，就可以在移动终端的当前显示界面中确定出与该操作对象字符相匹配的、且需要进行测试操作的目标位置信息，而该目标位置信息就可以对应该操作对象，比如表1中的第二个测试用例，在确定出操作对象字符为关闭按键、测试操作为点击后，就可以从当前显示界面中，确定出与该关闭按键中“关闭”字符相匹配的位置信息。

具体地，可以通过下述几种方式，从应用程序的当前显示界面中确定出与该操作对象字符相匹配的目标位置信息：

第一种方式：解析应用程序的当前显示界面中的可操作图标控件，以及各自对应的位置信息；根据解析出的位置信息，从当前显示界面中截取包含该可操作图标控件的控件图像；利用预设的图像分类模型，从该控件图像中确定出与测试对象字符相匹配的目标控件图像，并确定出对应的目标位置信息。

具体地，应用程序的显示界面中可以包含一个或多个可操作控件，用于实现对应的功能，故可以先解析出当前显示界面中的可操作图标控件，以及各自对应的位置信息，具体的实现方式，比如以搭载Android(Google公司开发的操作***)的移动终端为例，可以利用***中的UI Automator实现对控件进行识别。UI Automator可以是一个开源测试框架，主要是针对于Android应用UI(User Interface，用户界面)所做的一个自动化测试框架，可以提供识别控件的功能。

在实际应用中，显示界面中的控件可以包含至少三类：***控件、图标控件、和文本控件，***控件可以是指实现***功能的控件，比如可以是***预置的返回按键，主页按键等；图标控件可以是指通过图形表示出的控件，比如方向箭头图形、加号图形、问号图形、放大镜图形等，可以用于实现返回、添加、帮助、搜索等功能等；文本控件就可以是指以文本为主的控件，比如返回按键、删除按键等，可以显示“返回”字符、“删除”字符等。

在一般情况下，利用UI Automator在显示界面中解析出控件后，会包含***控件，然而通常情况下，测试用例是对应用中的控件进行测试，所以可以先过滤掉***控件，比如可以过滤掉package为com.android.systemui的***控件。而对于图标控件和文本控件，在***中可以有不同的表现形式，比如对于图标控件而言，可以通过提取android.widget.ImageView、android.widget.Button、android.widget.ImageButton而解析出图标控件，对于文本控件而言，则可以通过提取android.widget.TextView、android.widget.EditText而解析出文本控件，从而可以得到控件类别class、控件位置信息bounds、控件的文本内容text。这里，控件位置信息bounds，就可以包括X₁、Y₁、X₂、Y₂，其中，X₁和Y₁可以是控件的左上角的X、Y轴坐标，X₂和Y₂可以是控件的右下角的X、Y轴坐标。控件的文本内容text，就可以包括“返回”、“关闭”、等在显示界面中，为控件预设的字符。

本方式可以先针对可操作的图标控件，则可以先提取出当前显示界面中的可操作图标控件，以及各自对应的位置信息bounds，在得到位置信息bounds后，就可以从当前显示界面中利用bounds中的X₁、Y₁、X₂和Y₂，截取包含该可操作图标控件的控件图像，从而得到一个或多个控件图像，此后，就可以利用预设的图像分类模型，从该一个或多个控件图像中确定出与测试对象字符相匹配的目标控件图像。

进一步地，图像分类模型可以采用二分类模型，判断输入的图像是否为指定的分类。在模型训练时，可以准备对应的正、负两种样本作为输入进行训练，比如可以是指将正确的图标控件图像，以及错误的图像控件图像作为输入进行训练，使训练后的模型在接收到待分类图像后，可以确定出该待分类图像是否为指定的分类。随着UI的不断进化，可以随时利用最新的控件图像对模型进行训练，从而不断优化模型的性能。而在实际应用中，可以为不同预设各自独立的模型，并单独训练和优化。比如可以预设单独的返回图标模型、搜索图标模型、关闭图标模型等。在利用图像分类模型，从该控件图像中确定出与测试对象字符相匹配的目标控件图像时，可以先根据测试对象字符，挑选出对应的图标模型，从而可以较快的进行识别。比如，测试对象字符可以是“关闭按键”，则可以利用关闭图标模型，从该控件图像中确定出与测试对象字符相匹配的目标控件图像。

在确定出目标控件图像，则可以将截取该目标控件图像时所用的位置信息，确定为目标位置信息。至此，就从当前显示界面中确定出了与操作对象字符相匹配的，且需要执行测试操作的目标位置信息。

第二种方式：解析应用程序的当前显示界面中的可操作文本控件，以及各自对应的文本信息和位置信息；根据该文本信息，确定出与测试对象字符相匹配的目标文本信息，并确定出对应的目标位置信息。

具体地，在前文已经介绍，可以通过提取android.widget.TextView、android.widget.EditText而得到文本控件，从而可以得到控件类别class、控件位置信息bounds、控件的文本内容text，这里的文本内容text就可以是显示文本控件时所显示的字符，所以，就可以根据该文本信息，与测试对象字符进行匹配，确定出与测试对象字符相匹配的目标文本信息，并根据控件位置信息bounds，确定出对应的目标位置信息。这里的匹配，可以包括完全匹配，也可以包括相似度(比如依据词向量计算的相似度)满足特定条件的匹配。比如，测试对象字符可以是“返回按键”，而解析出的某个文本控件的文本内容text也是“返回”，由于测试对象字符和文本内容text匹配度很高，则可以将这个文本控件的位置信息bounds，作为目标位置信息。

第三种方式：利用预设的图像识别模型，在应用程序的当前显示界面中识别出候选图标，以及对应的候选位置信息；将该候选图标与该操作对象字符进行匹配，确定出目标图标控件，并确定出对应的目标位置信息。

在前两种方式中，可以利用***功能解析得到应用程序的显示界面中的控件，而在实际应用中，解析显示界面中的控件可能需要特定的权限，所以就可能出现无法解析出显示界面中的控件的情况、或者可能出现解析出错的情况。故在这种方式中，可以先利用图像识别模型，在应用程序当前的显示界面中识别出候选图标，以及对应的候选位置信息，比如可以识别出多种图形，作为候选图标，并根据图像在显示界面中的位置，确定各自对应的候选位置信息。

在得到候选图标后，就可以与操作对象字符进行匹配，可以类似于第一种方式中，利用二分类模型，确定出候选图标的分类，从而确定是否与操作对象字符匹配，在实际应用中，也可以将二分类模型集成在图像识别模型中。

第四种方式：在应用程序的当前显示界面中进行字符识别，得到候选字符，以及对应的候选位置信息；将该候选文本与该操作对象字符进行匹配，确定出目标字符，并确定出对应的目标位置信息。

在前一种方式中已经介绍，可能无法解析到应用程序显示界面中的控件，则本方式中就可以利用预设的字符识别模型，在当前显示界面中进行字符识别，得到候选字符、以及对应的候选位置信息。比如，可以通过OCR(Optical Character Recognition，光学字符识别)识别***，对显示界面进行文字识别，识别出一组或多组候选字符，以及对应的候选位置信息。

此后，可以将该候选文本与该操作对象字符进行匹配，从而可以确定出目标字符，并将与操作对象字符相匹配的候选文本的候选位置信息，确定为目标位置信息。

在前述步骤中已经介绍，在对测试用例进行解析时，还可以确定出与操作对象字符对应的对象属性信息，比如，该对象属性信息可以包括形状、颜色等信息，则在本步骤中，从应用程序的当前显示界面中确定出与该操作对象字符相匹配的目标位置信息，可以包括：从应用程序的当前显示界面中确定出与该操作对象字符以及该对象属性信息相匹配的目标位置信息。比如，可以通过上述方式，确定出图形或文字的颜色，从而可以与解析出的对象属性信息进行匹配，等。又如该对象属性信息可以包括方位信息。则在本步骤从当前显示界面中确定出与操作对象字符相匹配的目标位置信息时，也可以将方位信息作为一个判断依据，具体地，为了更加准确地、且更高效地确定出目标位置信息，在一种实施方式中，当确定出的对象属性信息中包括方位信息时，从应用程序的当前显示界面中确定出与该操作对象字符相匹配的目标位置信息，可以包括：根据方位信息，从应用程序的当前显示界面中选取出目标显示界面；从该目标显示界面中确定出与该操作对象字符相匹配的目标位置信息。

具体地，在确定出方位信息时，可以根据预设的对应关系，或自然语言处理模型，对方位信息进行解析，从而确定出匹配该方位信息的计算方式，据此可以根据当前显示界面中高和宽的最大尺寸，确定出匹配该方位信息的至少两组坐标，进而可以根据这两组坐标，从当前显示界面中，选取出目标显示界面，比如，针对“左上方”这一方位信息，就可以确定出左上角坐标、和中心坐标，为匹配该“左上方”方位信息的至少两组坐标，据此就可以从当前显示界面中选取出目标显示界面。从而可以通过上述四种方式中的至少一种，确定目标位置信息。

进一步地，对于第一种方式，就可以包括：根据方位信息，从应用程序的当前显示界面中选取出目标显示界面；解析目标显示界面中的可操作图标控件，以及各自对应的位置信息；根据解析出的位置信息，从目标显示界面中截取包含该可操作图标控件的控件图像；利用预设的图像分类模型，从该控件图像中确定出与测试对象字符相匹配的目标控件图像，并确定出对应的目标位置信息。

对于第二种方式，就可以包括：根据方位信息，从应用程序的当前显示界面中选取出目标显示界面；解析目标显示界面中的可操作文本控件，以及各自对应的文本信息和位置信息；根据该文本信息，确定出与测试对象字符相匹配的目标文本信息，并确定出对应的目标位置信息。

对于第三种方式，就可以包括：根据方位信息，从应用程序的当前显示界面中选取出目标显示界面；利用预设的图像识别模型，在目标显示界面中识别出候选图标，以及对应的候选位置信息；将该候选图标与该操作对象字符进行匹配，确定出目标图标控件，并确定出对应的目标位置信息。

对于第四种方式，就可以包括：根据方位信息，从应用程序的当前显示界面中选取出目标显示界面；在目标显示界面中进行字符识别，得到候选字符，以及对应的候选位置信息；将该候选文本与该操作对象字符进行匹配，确定出目标字符，并确定出对应的目标位置信息。

在实际应用中，为了能够在从当前显示界面中确定出与操作对象字符相匹配的目标位置信息时，可以具有较高的成功率，则在一种实施方式中，可以结合上述四种方式，确定出目标位置信息。且根据上述介绍，第一、三种方式主要是针对如何确定出图形控件的目标位置信息，而第二、四种方式主要是针对如何确定出文本控件的目标位置信息，且在实际应用中，第一、二种方式，由于可以从***内解析出控件，而三、四种方式，均是通过遍历显示界面，通过图形或字符进行的解析，所以在一般情况下，前两种方式具有较高的效率和准确率。故在将这四种方式进行结合时，可以有前后顺序的策略。

更进一步地，在一种实施方式中，利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与该操作对象字符相匹配的目标位置信息，可以包括：判断能否解析出可操作控件，若可以，则先解析当前显示界面中的可操作文本控件，以及各自对应的文本信息和位置信息；根据该文本信息，判断能否确定出与测试对象字符相匹配的目标文本信息，若能，则确定出对应的目标位置信息，若不能，则再在当前显示界面中进行字符识别，得到候选字符，以及对应的候选位置信息；将该候选文本与该操作对象字符进行匹配，判断能否确定出目标字符，若能，则确定出对应的目标位置信息，若不能，则可以转为解析可操作图标控件，则可以解析当前显示界面中的可操作图标控件，以及各自对应的位置信息；再根据各自对应的位置信息，截取出包含该可操作图标控件的控件图像，从而利用图像分类模型，判断能否确定出与测试对象字符相匹配的目标控件图像，若能，则确定出对应的目标位置信息，若不能，则再利用预设的图像识别模型，在当前显示界面中识别出候选图标，以及对应的候选位置信息；将该候选图标与该操作对象字符进行匹配，判断能否确定出目标图标控件，若能，则确定出对应的目标位置信息，若不能，则测试失败。

在实际应用中，也可以根据实际需求调换四种方式的顺序，比如，可以先解析出可操作图标控件，并以此确定目标位置信息，若未确定出，则识别出候选图标，并以此再次确定目标位置，若依旧未确定出，则通过解析可操作文本控件，以及字符识别的方式，直至确定目标位置信息。

而在实际应用中，也可以先解析出可操作图标控件和可操作文本控件，并通过各自的方式，确定目标位置信息，若均未确定出，则再通过图像识别模型或字符识别的方式，确定目标位置信息。

步骤106：在该当前显示界面中，通过模拟操作的方式，对该目标位置信息执行该自动化测试操作。

在前述步骤中，确定出了自动化测试操作，并确定出了需要执行该自动化测试操作的目标位置信息，则在本步骤中，就可以在当前显示界面中，通过模拟操作的方式，对目标位置信息执行自动化测试操作。

比如，根据前文的举例，测试用例为“点击关闭按键”，解析出的操作对象字符和自动化测试操作为“点击”、操作对象字符为“关闭按键”。则可以在当前显示界面中，对关闭按键执行模拟的点击操作。

在实际应用中，通常可以在自动化测试时生成测试日志，所以为了能够将自动化测试的过程进行记录，在一种实施方式中，该方法还可以包括：将对目标位置信息执行自动化测试操作进行记录。比如就可以将目标位置信息和对应的自动化测试操作，“关闭按键—点击”进行记录，以便可以将完整的自动化测试过程进行记录。

如图2所示，为针对应用程序的自动化测试方法的示意图，可以读取一条测试用例，对该测试用例进行语义解析，得到操作对象字符、自动化测试操作，以及包括方位信息的对象属性信息。此后，可以判断是否可以从应用程序的当前显示界面中解析出控件。

若可以解析出控件，则先解析出可操作的文本控件，通过方位信息和操作对象字符，在可操作的文本控件中进行匹配，若匹配到，则确定出目标位置信息，否则，可以通过OCR识别***，综合方位信息和操作对象字符再次进行匹配，若匹配到，则确定出目标位置信息，否则，解析出可操作的图标控件，并依据方位信息，在当前显示界面中截取包含可操作图标控件的控件图像，并利用图像分类模块进行匹配，若匹配到，则确定出目标位置信息，否则，可以通过图像识别模型，利用识别出候选图标，与操作对象字符进行匹配，若匹配到，则确定出目标位置信息，若依旧未匹配到，则可以确定测试失败。在确定出目标位置信息后，则可以对其执行模拟化的自动化测试操作。

若不可以解析出控件，则可以通过OCR识别***，综合方位信息和操作对象字符进行操作对象字符匹配，若匹配到，则确定出目标位置信息，否则，可以通过图像识别模型，利用识别出候选图标，与操作对象字符进行匹配，具体针对不可以解析出控件的情况，可见图2中的虚线箭头部分。

由以上实施例提供的方法可见，在对包含多个字符的自动化测试用例进行语义解析后，可以确定出操作对象字符和对应的自动化测试操作，再利用预设的确定方式，从当前显示界面中确定出与操作对象字符相匹配的目标位置信息，从而可以在当前显示界面中，通过模拟操作的方式，对目标位置信息执行自动化测试操作。也即，测试人员可以通过字符编写好自动化测试用例，在测试阶段，可以对测试用例进行解析，从而得到操作对象和操作方式，在当前显示界面中利用预设的方式确定出与操作对象相匹配的目标位置，进而可以对目标位置执行该操作方式。本方案可以在获取到测试用例后，进行自动解析，并确定出需要执行操作的目标位置，从而实现自动化测试，相较于人工测试的方式，具有较高的测试效率、以及较高的准确性。

实施例2

基于相同的构思，本发明实施例2提供了一种针对应用程序的自动化测试装置，可以较高效率、且较为准确地对移动终端中的应用程序进行自动化测试。该装置的结构示意图如图3所示，可以应用于控制端，包括：解析单元202、确定单元204、以及测试单元206，其中，

解析单元202，可以用于对包含多个字符的自动化测试用例进行语义解析，确定操作对象字符和对应的自动化测试操作；

确定单元204，可以用于利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与操作对象字符相匹配的目标位置信息；

测试单元206，可以用于在当前显示界面中，通过模拟操作的方式，对目标位置信息执行自动化测试操作。

在一种实施方式中，解析单元202，还可以用于：确定出与操作对象字符对应的对象属性信息；则

确定单元204，可以用于：从应用程序的当前显示界面中确定出与操作对象字符以及对象属性信息相匹配的目标位置信息。

在一种实施方式中，确定单元204，可以用于：

根据方位信息，从应用程序的当前显示界面中选取出目标显示界面；

从目标显示界面中确定出与该操作对象字符相匹配的目标位置信息。

在一种实施方式中，确定单元204，可以用于：

解析当前显示界面中的可操作图标控件，以及各自对应的位置信息；

根据位置信息，从应用程序的当前显示界面中截取包含可操作图标控件的控件图像；

利用图像分类模型，从控件图像中确定出与测试对象字符相匹配的目标控件图像，并确定出对应的目标位置信息。

在一种实施方式中，确定单元204，可以用于：

解析应用程序的当前显示界面中的可操作文本控件，以及各自对应的文本信息和位置信息；

根据文本信息，确定出与测试对象字符相匹配的目标文本信息，并确定出对应的目标位置信息。

在一种实施方式中，确定单元204，可以用于：

利用图像识别模型，在应用程序的当前显示界面中识别出候选图标，以及对应的候选位置信息；

将候选图标与操作对象字符进行匹配，确定出目标图标，并确定出对应的目标位置信息。

在一种实施方式中，确定单元204，可以用于：

在应用程序的当前显示界面中进行字符识别，得到候选字符，以及对应的候选位置信息；

将候选文本与操作对象字符进行匹配，确定出目标字符，并确定出对应的目标位置信息。

在一种实施方式中，该装置还包括记录单元，可以用于：

将对目标位置信息执行自动化测试操作进行记录。

由以上实施例提供的方法可见，在对包含多个字符的自动化测试用例进行语义解析后，可以确定出操作对象字符和对应的自动化测试操作，再利用预设的确定方式，从当前显示界面中确定出与操作对象字符相匹配的目标位置信息，从而可以在当前显示界面中，通过模拟操作的方式，对目标位置信息执行自动化测试操作。也即，测试人员可以通过字符编写好自动化测试用例，在测试阶段，可以对测试用例进行解析，从而得到操作对象和操作方式，在当前显示界面中利用预设的方式确定出与操作对象相匹配的目标位置，进而可以对目标位置执行该操作方式。本方案可以在获取到测试用例后，进行自动解析，并确定出需要执行操作的目标位置，从而实现自动化测试，相较于人工测试的方式，具有较高的测试效率、以及较高的准确性。

图4是本发明的一个实施例电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成针对应用程序的自动化测试装置。处理器，执行存储器所存放的程序，并具体用于在控制端中执行以下操作：

对包含多个字符的自动化测试用例进行语义解析，确定操作对象字符和对应的自动化测试操作；

利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息；

在所述当前显示界面中，通过模拟操作的方式，对所述目标位置信息执行所述自动化测试操作。

上述如本发明图3所示实施例提供的针对应用程序的自动化测试装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图3所示实施例提供的针对应用程序的自动化测试装置在图4所示实施例的功能，本发明实施例在此不再赘述。

本发明实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图3所示实施例中针对应用程序的自动化测试装置执行的方法，并具体用于在控制端中执行以下操作：

对包含多个字符的自动化测试用例进行语义解析，确定操作对象字符和对应的自动化测试操作；

利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息；

在所述当前显示界面中，通过模拟操作的方式，对所述目标位置信息执行所述自动化测试操作。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种针对应用程序的自动化测试方法，其特征在于，包括：

对包含多个字符的自动化测试用例进行语义解析，确定操作对象字符和对应的自动化测试操作；

利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息；

在所述当前显示界面中，通过模拟操作的方式，对所述目标位置信息执行所述自动化测试操作。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

确定出与所述操作对象字符对应的对象属性信息；则

从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息，包括：

从应用程序的当前显示界面中确定出与所述操作对象字符以及所述对象属性信息相匹配的目标位置信息。

3.如权利要求2所述的方法，其特征在于，所述对象属性信息包括方位信息。

4.如权利要求3所述的方法，其特征在于，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息，包括：

根据所述方位信息，从应用程序的当前显示界面中选取出目标显示界面；

从所述目标显示界面中确定出与该操作对象字符相匹配的目标位置信息。

5.如权利要求1所述的方法，其特征在于，利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息，包括：

解析应用程序的当前显示界面中的可操作图标控件，以及各自对应的位置信息；

根据所述位置信息，从所述当前显示界面中截取包含所述可操作图标控件的控件图像；

利用图像分类模型，从所述控件图像中确定出与所述测试对象字符相匹配的目标控件图像，并确定出对应的目标位置信息。

6.如权利要求1所述的方法，其特征在于，利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息，包括：

解析应用程序的当前显示界面中的可操作文本控件，以及各自对应的文本信息和位置信息；

根据所述文本信息，确定出与所述测试对象字符相匹配的目标文本信息，并确定出对应的目标位置信息。

7.如权利要求1所述的方法，其特征在于，利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息，包括：

利用图像识别模型，在应用程序的当前显示界面中识别出候选图标，以及对应的候选位置信息；

将所述候选图标与所述操作对象字符进行匹配，确定出目标图标，并确定出对应的目标位置信息。

8.如权利要求1所述的方法，其特征在于，利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息，包括：

在应用程序的当前显示界面中进行字符识别，得到候选字符，以及对应的候选位置信息；

将所述候选文本与所述操作对象字符进行匹配，确定出目标字符，并确定出对应的目标位置信息。

9.如权利要求1所述的方法，其特征在于，所述方法还包括：

将对所述目标位置信息执行所述自动化测试操作进行记录。

10.一种针对应用程序的自动化测试装置，其特征在于，包括：解析单元、确定单元、以及测试单元，其中，

所述解析单元，用于对包含多个字符的自动化测试用例进行语义解析，确定操作对象字符和对应的自动化测试操作；

所述确定单元，用于利用预设的至少一种确定方式，从应用程序的当前显示界面中确定出与所述操作对象字符相匹配的目标位置信息；

所述测试单元，用于在所述当前显示界面中，通过模拟操作的方式，对所述目标位置信息执行所述自动化测试操作。