CN113507500A - 终端控制方法、装置、计算机设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及计算机领域，提供了一种终端控制方法、装置、计算机设备和计算机可读存储介质。方法包括：向终端发送第一控制指令；获取终端屏幕的第一图像；判断第一图像中是否包括有与第一控制指令对应的标志图标；若第一图像中包括有与第一控制指令对应的标志图标，确定第一控制指令被终端执行。采用本方法，在对终端控制的整个过程中，不需要工作人员参与，就可实现自动化控制终端的目的，其可以降低工作人员的工作量。

Description

终端控制方法、装置、计算机设备和计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种终端控制方法、装置、计算机设备和计算机可读存储介质。

背景技术

在智能手机测试或智能手机投影等场景，往往需要通过计算机控制智能手机执行各种操作动作，如打开关闭应用、点击某一图标等。

目前，在通过计算机控制智能手机执行各种操作的过程中，需要工作人员参与。例如，若计算机控制智能手机打开某个应用，需要工作人员观察终端中该应用的界面是否显现出来。

由于现有的计算机控制智能手机的方法在执行的过程中依赖工作人员参与，会增加工作人员的工作量，且无法实现自动化控制。

发明内容

基于此，有必要针对上述技术问题，提供一种在计算机控制智能手机的过程中，不依赖工作人员参与，可实现自动化控制的终端控制方法、装置、计算机设备和计算机可读存储介质。

本申请实施例提供了一种终端控制方法，所述方法应用于计算机端，所述方法包括：

向所述终端发送第一控制指令；

获取终端屏幕的第一图像；

判断所述第一图像中是否包括有与所述第一控制指令对应的标志图标；

若所述第一图像中包括有与所述第一控制指令对应的标志图标，确定所述第一控制指令被所述终端执行。

在一个实施例中，所述判断所述第一图像中是否包括有与所述第一控制指令对应的标志图标，包括：

利用图像匹配方法，判断所述第一图像中是否包括有与所述第一控制指令对应的标志图标。

在一个实施例中，所述第一图像包括至少一个基础图标；

所述利用图像匹配的方法，判断所述第一图像中是否包括有与所述第一控制指令对应的标志图标，包括：

利用图像匹配的方法，分别确定所述标志图标与各所述基础图标的相似度；

若在所述第一图像中，存在一个所述基础图标与所述标志图标的相似度大于预设值，则所述第一图像中包括有与所述第一控制指令对应的标志图标。

在一个实施例中，所述利用图像匹配的方法，分别确定所述标志图标与各所述基础图标的相似度，包括：

基于所述标志图标的属性信息与各所述基础图标的属性信息，分别确定所述标志图标与各所述基础图标的相似度；

所述属性信息包括内容、特征、结构、关系、纹理及灰度中的至少一种。

在一个实施例中，还包括：重复执行下述步骤：

若所述第一图像中包括有与所述第一控制指令对应的标志图标，基于所述标志图标生成第二控制指令；

将所述第二控制指令作为更新后的第一控制指令，向所述终端发送更新后的第一控制指令；

获取终端屏幕的第一图像；

判断所述第一图像中是否包括有与所述第一控制指令相对应标志图标。

在一个实施例中，所述基于所述标志图标生成第二控制指令，包括：

确定所述标志图标的坐标信息；

基于所述标志图标的坐标信息，生成第二控制指令。

在一个实施例中，所述获取终端第一图像，包括：

在预设时间段后，获取终端屏幕的第一图像。

本申请实施例提供了一种终端控制装置，所述装置应用于计算机端，所述装置包括：

输出模块，用于向所述终端发送第一控制指令；

获取模块，用于获取终端屏幕的第一图像；

判断模块，用于判断所述第一图像中是否包括有与所述第一控制指令对应的标志图标；若所述第一图像中包括有与所述第一控制指令对应的标志图标，确定所述第一控制指令被所述终端执行。

本申请实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请任意实施例所提供的终端控制方法的步骤。

本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任意实施例所提供的终端控制方法的步骤。

本申请实施例所提供的终端控制方法、装置、计算机设备和计算机可读存储介质，通过判断所述第一图像中是否包括有与第一控制指令相对应的标志图标，进而确定所述第一控制指令是否被所述终端执行。在对终端控制的整个过程中，不需要工作人员参与，就可实现自动化控制终端的目的，其可以降低工作人员的工作量。

另外，本申请实施例技术方案引进了图像匹配的方式来判断所述第一图像中是否包括有标志图标，其可以避免对第一图像进行旋转、缩放等操作，可以适用于对算法鲁棒性要求很高的场景，其方法简单，易于执行，可以提高整个技术方案执行的工作效率。且该方案不需要在终端中安装任何应用，不需要根用户(root)权限。

附图说明

图1为一个实施例中终端控制方法的应用场景图；

图2为一个实施例中终端控制方法的流程示意图；

图3为另一个实施例中终端控制方法的流程示意图；

图4为另一个实施例中终端控制方法的流程示意图；

图5为一个实施例中终端控制装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的终端控制方法，可以应用于如图1所示的应用环境中。该终端控制方法应用于终端控制***中。该终端控制***包括终端1与计算机2。其中，终端1与计算机2通讯连接。可选地，终端1与计算机2通过有线的方式(如USB线)或者无线的方式(如Wifi)通讯连接。

计算机2通过向终端1发送第一控制指令；终端1在获取到第一控制指令后执行该第一控制指令。其后，计算机2获取终端1屏幕的第一图像；判断第一图像中是否包括有与第一控制指令相对应的标志图标；若第一图像中包括有与第一控制指令相对应的标志图标，确定第一控制指令被终端1执行。其中，终端1可以包括但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、智能家居设备和便携式可穿戴设备等，计算机2同样可以是个人计算机、笔记本电脑、智能手机以及平板电脑等。

在一个实施例中，如图2所示，提供了一种终端控制方法。本实施例主要以该方法应用于图1中的计算机2来举例说明。

S110，向终端发送第一控制指令。

其中，第一控制指令是指用于控制终端执行某种操作的控制指令。例如控制终端打开或关闭某个应用程序，或者控制终端开始录像、停止录像、播放视频、停止播放视频、回到终端主界面等。

具体地，计算机向终端发送第一控制指令。

S120、获取终端屏幕的第一图像。

第一图像是指终端在获取并执行完第一控制指令后，终端屏幕显示的图像。

具体地，计算机获取终端屏幕的第一图像。

本步骤的实现方法有多种，示例性地，本步骤的实现方法还可以包括：终端对其自身屏幕的第一图像进行截取，并将所截取的第一图像发送至计算机，以使计算机获取终端屏幕的第一图像。可选地，终端可以利用命令“adb shell screencap-p”对终端屏幕的第一图像进行截取。进一步地，终端对其屏幕的第一图像进行截取后，还可以对所截取的第一图像进行保存。在保存时，可以将第一图像保存为JPEG格式，或者PNG格式。可选地，终端可以利用命令“adb shell screencap-p/sdcard/*.png”对终端屏幕的第一图像进行截取并保存。将所截取的第一图像发送至计算机，具体可以为利用导出文件的方式，或者利用命令“adb pull”将所截取的第一图像发送至计算机，或者，以数据流形式传送给计算机，计算机对数据流进行处理并保存，得到第一图像。

或者，本步骤的实现方法还可以包括：计算机获取终端中帧缓冲(Framebuffer)信息，并对该帧缓冲(Framebuffer)信息进行处理，得到第一图像。

在其中一个实施例中，本步骤还可以替换为，在预设时间段后，获取终端屏幕的第一图像。这样设置的实质是，限定获取终端屏幕的第一图像的时刻与计算机向终端发送第一控制指令的时刻之间的时间差大于或等于预设时间段。这样设置的原因是在实际中，终端执行第一控制指令往往需要一定的响应时间。这样设置，可以避免因为计算机获取终端屏幕的第一图像的时刻选择不合适，导致后面判断第一控制指令是否被终端执行的判断结果不正确的不良状况出现。

S130、判断第一图像中是否包括有与第一控制指令对应的标志图标。

其中，与第一控制指令对应的标志图标是指能够表明第一控制指令被执行的图标。换言之，与第一控制指令对应的标志图标是指，因第一控制指令被执行，终端屏幕中显示图像切换，显示图像切换以后，新出现在终端屏幕的图标。例如，如第一控制指令为控制照相应用打开，标志图标为用于启动录像或者拍照等功能的照相应用独有的图标。如果第一控制指令为控制相机应用进行录像，标志图标为用于停止录像的图标。

具体地，计算机判断第一图像中是否包括有与第一控制指令对应的标志图标。

进一步地，本步骤的实现方法有多种，示例性地，利用图像识别方法，判断第一图像中是否包括有与第一控制指令对应的标志图标。

由于截屏获取的第一图像具有固定的分辨率和方向，通过设置利用图像匹配的方法判断第一图像中是否包括有与第一控制指令对应的标志图标，不需要对第一图像进行旋转、缩放等操作，对算法鲁棒性要求很高的场景，使用相对简单，执行本步骤需要花费的时间较短。

进一步地，若采用利用图像匹配的方法判断第一图像中是否包括有与第一控制指令对应的标志图标，且第一图像包括至少一个基础图标；本步骤的实现方法包括：利用图像匹配的方法，分别确定标志图标与各基础图标的相似度；若在第一图像中，存在一个基础图标与标志图标的相似度大于预设值，则第一图像中包括有与第一控制指令对应的标志图标。

通常，标志图标与基础图标的相似度越高，表明该基础图标为标志图标的几率越大。但是考虑到在实际中，可能出现由于终端***崩溃等原因，该第一控制指令未被正常执行的情况，通过将基础图标与标志图标的相似度与预设值进行比较，可以降低判断错误的几率。

其中，利用图像匹配的方法，分别确定标志图标与各基础图标的相似度，具体包括：基于标志图标的属性信息与各基础图标的属性信息，分别确定标志图标与各基础图标的相似度；属性信息包括内容、特征、结构、关系、纹理及灰度中的至少一种。

S140、若第一图像中包括有与第一控制指令对应的标志图标，确定第一控制指令被终端执行。

上述技术方案通过判断第一图像中是否包括有与第一控制指令相对应的标志图标，进而确定第一控制指令是否被终端执行。采用上述技术方案，在对终端控制的整个过程中，不需要工作人员参与，就可实现自动化控制终端的目的，其可以降低工作人员的工作量。

另外，上述技术方案引进了图像匹配的方式来判断第一图像中是否包括有标志图标，其可以避免对第一图像进行旋转、缩放等操作，可以适用于对算法鲁棒性要求很高的场景，其方法简单，易于执行，可以提高整个技术方案执行的工作效率。且该方案不需要在终端中安装任何应用，不需要根用户(root)权限。

在上述各技术方案的基础上，该方法包括：重复执行下述步骤：若第一图像中包括有与第一控制指令对应的标志图标，基于标志图标生成第二控制指令；将第二控制指令作为更新后的第一控制指令，向终端发送更新后的第一控制指令；获取终端屏幕的第一图像；判断第一图像中是否包括有与第一控制指令相对应标志图标。

如图3所示，本公开还提供了一种终端控制方法。图3提供的终端控制方法为图2提供的终端控制方法的一个具体示例。参见图3，该终端控制方法包括：

S210、向终端发送第一控制指令。

S220、获取终端屏幕的第一图像。

S230、判断第一图像中是否包括有与第一控制指令对应的标志图标；若是，执行S240。

S240、确定第一控制指令被终端执行。

S250、基于标志图标生成第二控制指令。

具体地，计算机基于标志图标生成第二控制指令。

本步骤的实现方法有多种，示例性地，本步骤的实现方法包括：确定标志图标的坐标信息；基于标志图标的坐标信息，生成第二控制指令。其中，标志图标的坐标信息具体指标志图标在第一图像中的坐标信息。基于标志图标的坐标信息，生成第二控制指令，具体可以为利用命令“adb shell input tap x y”模拟用户点击终端上标志图标的操作，生成第二控制指令。

此处，第二控制指令与第一控制指令类似，是指用于控制终端执行某种操作的控制指令。例如控制终端打开或关闭某个应用程序，或者控制终端开始录像、停止录像、播放视频、停止播放视频、回到终端主界面等。

S260、将第二控制指令作为更新后的第一控制指令，执行S210。

由于在实际中，在用户对终端使用的过程中，往往会对终端连续、顺次下达多个具有关联关系的控制指令，在上述技术方案中，基于标志图标生成第二控制指令，并将第二控制指令作为更新后的第一控制指令，重复执行S210-S260，其目的是模拟用户对终端使用的过程中，连续、顺次下达多个具有关联关系的控制指令的过程，进行实现对终端的全自动化控制。

需要说明的是，参见图2，以S210-S260为一个循环单元，本申请对图2中循环单元的执行次数不作限制。在实际中，可以根据需要确定。

如图4所示，本公开还提供了一种终端控制方法。图4提供的终端控制方法为图3提供的终端控制方法的一个具体示例，具体为控制终端录像的方法。参见图4，该终端控制方法包括：

将终端与计算机通讯连接，并判断终端是否处于连接状态。若终端不处于连接状态，重新执行将终端与计算机通讯连接的步骤。

若终端处于连接状态，计算机获取终端当前的屏幕图像，并将屏幕图像中的各基础图标与照相图标进行匹配。若未匹配到，控制终端切换当前显示画面。若当前的屏幕图像包括照相图标，基于该照相图标的坐标信息，生成照相机启动指令，以控制终端打开照相机应用。

计算机再次获取终端当前的屏幕图像，并将屏幕图像中的各基础图标与录像图标进行匹配。若匹配到当前的屏幕图像包括录像图标，基于该录像图标的坐标信息，生成录像启动指令，以控制终端开始进行录像。等待需要的录像时间后，计算机再次获取终端当前的屏幕图像，并将屏幕图像中的各基础图标与停止录像图标进行匹配。若当前的屏幕图像包括停止录像图标，基于该停止录像图标的坐标信息，生成停止录像指令，以控制终端停止录像，进而将所录制的内容导出。

上述技术方案在控制终端进行录像的整个过程中，不需要工作人员参与，就可实现自动化控制终端录像的目的，其可以降低工作人员的工作量。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种终端控制装置，包括：输出模块310、获取模块320和判断模块330，其中：

输出模块310，用于向终端发送第一控制指令；

获取模块320，用于获取终端屏幕的第一图像；

判断模块330，用于判断第一图像中是否包括有与第一控制指令对应的标志图标；若第一图像中包括有与第一控制指令对应的标志图标，确定第一控制指令被终端执行。

在另一个实施例中，判断模块用于利用图像匹配方法，判断第一图像中是否包括有与第一控制指令对应的标志图标。

在另一个实施例中，第一图像包括至少一个基础图标；判断模块用于：利用图像匹配的方法，分别确定标志图标与各基础图标的相似度；若在第一图像中，存在一个基础图标与标志图标的相似度大于预设值，则第一图像中包括有与第一控制指令对应的标志图标。

在另一个实施例中，判断模块用于：基于标志图标的属性信息与各基础图标的属性信息，分别确定标志图标与各基础图标的相似度；属性信息包括内容、特征、结构、关系、纹理及灰度中的至少一种。

在另一个实施例中，该装置还包括重复执行模块，重复执行模块用于：

若第一图像中包括有与第一控制指令对应的标志图标，基于标志图标生成第二控制指令；

将第二控制指令作为更新后的第一控制指令，向终端发送更新后的第一控制指令；

获取终端屏幕的第一图像；

判断第一图像中是否包括有与第一控制指令相对应标志图标。

在另一个实施例中，重复执行模块用于：确定标志图标的坐标信息；基于标志图标的坐标信息，生成第二控制指令。

在另一个实施例中，获取模块用于在预设时间段后，获取终端屏幕的第一图像。

上述技术方案通过判断第一图像中是否包括有与第一控制指令相对应的标志图标，进而确定第一控制指令是否被终端执行。采用上述技术方案，在对终端控制的整个过程中，不需要工作人员参与，就可实现自动化控制终端的目的，其可以降低工作人员的工作量。

另外，上述技术方案引进了图像匹配的方式来判断第一图像是否包括标志图标，其可以避免对第一图像进行旋转、缩放等操作，可以适用于对算法鲁棒性要求很高的场景，其方法简单，易于执行，可以提高整个技术方案执行的工作效率。且该方案不需要在终端中安装任何应用，不需要根用户(root)权限。

关于终端控制装置的具体限定可以参见上文中对于终端控制方法的限定，在此不再赘述。上述终端控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机程序被处理器执行时以实现一种终端控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的终端控制装置可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该终端控制装置的各个程序模块，比如，图5所示的输出模块310、获取模块320和判断模块330。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的终端控制方法中的步骤。

例如，图6所示的计算机设备可以通过如图5所示的终端控制装置中的输出模块310执行向终端发送第一控制指令。

计算机设备可通过获取模块320执行获取终端屏幕的第一图像。计算机设备可通过判断模块330，执行判断第一图像中是否包括有与第一控制指令对应的标志图标；若第一图像中包括有与第一控制指令对应的标志图标，确定第一控制指令被终端执行。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：向终端发送第一控制指令；获取终端屏幕的第一图像；判断第一图像中是否包括有与第一控制指令对应的标志图标；若第一图像中包括有与第一控制指令对应的标志图标，确定第一控制指令被终端执行。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：利用图像匹配方法，判断第一图像中是否包括有与第一控制指令对应的标志图标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：利用图像匹配的方法，分别确定标志图标与各基础图标的相似度；若在第一图像中，存在一个基础图标与标志图标的相似度大于预设值，则第一图像中包括有与第一控制指令对应的标志图标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于标志图标的属性信息与各基础图标的属性信息，分别确定标志图标与各基础图标的相似度；属性信息包括内容、特征、结构、关系、纹理及灰度中的至少一种。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：重复执行下述步骤：若第一图像中包括有与第一控制指令对应的标志图标，基于标志图标生成第二控制指令；将第二控制指令作为更新后的第一控制指令，向终端发送更新后的第一控制指令；获取终端屏幕的第一图像；判断第一图像中是否包括有与第一控制指令相对应标志图标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定标志图标的坐标信息；基于标志图标的坐标信息，生成第二控制指令。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：在预设时间段后，获取终端屏幕的第一图像。

上述技术方案通过判断第一图像中是否包括有与第一控制指令相对应的标志图标，进而确定第一控制指令是否被终端执行。采用上述技术方案，在对终端控制的整个过程中，不需要工作人员参与，就可实现自动化控制终端的目的，其可以降低工作人员的工作量。

另外，上述技术方案引进了图像匹配的方式来判断第一图像是否包括标志图标，其可以避免对第一图像进行旋转、缩放等操作，可以适用于对算法鲁棒性要求很高的场景，其方法简单，易于执行，可以提高整个技术方案执行的工作效率。且该方案不需要在终端中安装任何应用，不需要根用户(root)权限。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：向终端发送第一控制指令；获取终端屏幕的第一图像；判断第一图像中是否包括有与第一控制指令对应的标志图标；若第一图像中包括有与第一控制指令对应的标志图标，确定第一控制指令被终端执行。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：利用图像匹配方法，判断第一图像中是否包括有与第一控制指令对应的标志图标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：利用图像匹配的方法，分别确定标志图标与各基础图标的相似度；若在第一图像中，存在一个基础图标与标志图标的相似度大于预设值，则第一图像中包括有与第一控制指令对应的标志图标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于标志图标的属性信息与各基础图标的属性信息，分别确定标志图标与各基础图标的相似度；属性信息包括内容、特征、结构、关系、纹理及灰度中的至少一种。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：重复执行下述步骤：若第一图像中包括有与第一控制指令对应的标志图标，基于标志图标生成第二控制指令；将第二控制指令作为更新后的第一控制指令，向终端发送更新后的第一控制指令；获取终端屏幕的第一图像；判断第一图像中是否包括有与第一控制指令相对应标志图标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定标志图标的坐标信息；基于标志图标的坐标信息，生成第二控制指令。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在预设时间段后，获取终端屏幕的第一图像。

上述技术方案通过判断第一图像中是否包括有与第一控制指令相对应的标志图标，进而确定第一控制指令是否被终端执行。采用上述技术方案，在对终端控制的整个过程中，不需要工作人员参与，就可实现自动化控制终端的目的，其可以降低工作人员的工作量。

另外，上述技术方案引进了图像匹配的方式来判断第一图像是否包括标志图标，其可以避免对第一图像进行旋转、缩放等操作，可以适用于对算法鲁棒性要求很高的场景，其方法简单，易于执行，可以提高整个技术方案执行的工作效率。且该方案不需要在终端中安装任何应用，不需要根用户(root)权限。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，比如静态随机存取存储器(Static Random Access Memory，SRAM)和动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种终端控制方法，其特征在于，所述方法应用于计算机端，所述方法包括：

向所述终端发送第一控制指令；

获取终端屏幕的第一图像；

判断所述第一图像中是否包括有与所述第一控制指令对应的标志图标；

若所述第一图像中包括有与所述第一控制指令对应的标志图标，确定所述第一控制指令被所述终端执行。

2.根据权利要求1所述的方法，其特征在于，所述判断所述第一图像中是否包括有与所述第一控制指令对应的标志图标，包括：

利用图像匹配方法，判断所述第一图像中是否包括有与所述第一控制指令对应的标志图标。

3.根据权利要求2所述的方法，其特征在于，所述第一图像包括至少一个基础图标；

所述利用图像匹配的方法，判断所述第一图像中是否包括有与所述第一控制指令对应的标志图标，包括：

利用图像匹配的方法，分别确定所述标志图标与各所述基础图标的相似度；

若在所述第一图像中，存在一个所述基础图标与所述标志图标的相似度大于预设值，则所述第一图像中包括有与所述第一控制指令对应的标志图标。

4.根据权利要求3所述的方法，其特征在于，所述利用图像匹配的方法，分别确定所述标志图标与各所述基础图标的相似度，包括：

基于所述标志图标的属性信息与各所述基础图标的属性信息，分别确定所述标志图标与各所述基础图标的相似度；

所述属性信息包括内容、特征、结构、关系、纹理及灰度中的至少一种。

5.根据权利要求1所述的方法，其特征在于，还包括：重复执行下述步骤：

若所述第一图像中包括有与所述第一控制指令对应的标志图标，基于所述标志图标生成第二控制指令；

将所述第二控制指令作为更新后的第一控制指令，向所述终端发送更新后的第一控制指令；

获取终端屏幕的第一图像；

判断所述第一图像中是否包括有与所述第一控制指令相对应标志图标。

6.根据权利要求5所述的方法，其特征在于，所述基于所述标志图标生成第二控制指令，包括：

确定所述标志图标的坐标信息；

基于所述标志图标的坐标信息，生成第二控制指令。

7.根据权利要求1所述的方法，其特征在于，所述获取终端第一图像，包括：

在预设时间段后，获取终端屏幕的第一图像。

8.一种终端控制装置，其特征在于，所述装置应用于计算机端，所述装置包括：

输出模块，用于向所述终端发送第一控制指令；

获取模块，用于获取终端屏幕的第一图像；

判断模块，用于判断所述第一图像中是否包括有与所述第一控制指令对应的标志图标；若所述第一图像中包括有与所述第一控制指令对应的标志图标，确定所述第一控制指令被所述终端执行。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images