CN109871249B - 一种远程桌面操作方法、装置、可读存储介质及终端设备 - Google Patents

Abstract

本发明属于计算机技术领域，尤其涉及一种远程桌面操作方法、装置、计算机可读存储介质及终端设备。所述方法接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；在所述本地桌面中的第三坐标处执行所述操作指令。即使用图像匹配的方式搜寻操作对象，并通过坐标变换确定操作对象的具***置，从而大大提高了操作成功率。

Description

一种远程桌面操作方法、装置、可读存储介质及终端设备

技术领域

本发明属于计算机技术领域，尤其涉及一种远程桌面操作方法、装置、计算机可读存储介质及终端设备。

背景技术

随着技术的发展，越来越多的企业开始采用机器人流程自动化(Robotic ProcessAutomation，RPA)来执行一些例行的操作，但是，现有的RPA技术往往局限于对本地的一些操作对象等做一下简单的操作，而面对远程桌面上的操作对象，由于无法直接获取远程桌面上的操作对象的窗口句柄，难以确定操作对象所处的位置，操作成功率极低。

发明内容

有鉴于此，本发明实施例提供了一种远程桌面操作方法、装置、计算机可读存储介质及终端设备，以解决现有技术对远程桌面中的操作对象的操作成功率极低的问题。

本发明实施例的第一方面提供了一种远程桌面操作方法，可以包括：

接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；

获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；

获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；

根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；

在所述本地桌面中的第三坐标处执行所述操作指令。

本发明实施例的第二方面提供了一种远程桌面操作装置，可以包括：

操作请求接收模块，用于接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；

目标图像搜寻模块，用于获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；

坐标获取模块，用于获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；

坐标计算模块，用于根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；

操作执行模块，用于在所述本地桌面中的第三坐标处执行所述操作指令。

本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：

接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；

获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；

获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；

根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；

在所述本地桌面中的第三坐标处执行所述操作指令。

本发明实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：

接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；

获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；

获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；

根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；

在所述本地桌面中的第三坐标处执行所述操作指令。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例在接收到用户下发的远程桌面操作请求后，首先从所述远程桌面操作请求中提取预设的模板图像及操作指令，然后获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像，接着获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标，最后根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标，并在所述本地桌面中的第三坐标处执行所述操作指令。通过本发明实施例，不再采用传统的通过窗口句柄确定操作对象的方法，而是使用图像匹配的方式在远程桌面中搜寻到操作对象，并通过本地桌面与远程桌面之间的坐标变换确定操作对象的具***置，从而大大提高了操作成功率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例中一种远程桌面操作方法的一个实施例流程图；

图2为在远程桌面的窗口图像中搜寻与模板图像匹配的目标子图像的示意流程图；

图3为计算模板图像的特征向量集合的示意流程图；

图4为本发明实施例中一种远程桌面操作装置的一个实施例结构图；

图5为本发明实施例中一种终端设备的示意框图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中一种远程桌面操作方法的一个实施例可以包括：

步骤S101、接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令。

所述模板图像即为在远程桌面中用户想要操作的对象的图像，该模板图像可以由用户预先根据实际需求进行选择，例如，若用户想要操作的对象为远程桌面中的一个文档，则可以在远程桌面中截取该文档的图像作为模板图像。在用户进行截图时，可以记录截图区域所属句柄信息，在此处，句柄即为远程桌面。所述操作指令包括但不限于：鼠标单击、鼠标双击、鼠标悬停、输入文本等具体的操作指令。

步骤S102、获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像。

执行操作时，首先找到预先记录的句柄信息，也即远程桌面，置顶该远程桌面的窗口，目的是保证鼠标可以点击在该窗口上。然后截取该窗口的当前图像，也即所述远程桌面的窗口图像，并通过如图2所示的过程在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像：

步骤S1021、从所述远程桌面的窗口图像中依次截取各个子图像。

也即将所述远程桌面的窗口图像中的各个图标所在区域的图像均作为一个子图像，从而可以从所述远程桌面的窗口图像中截取出众多的子图像，此处，将所述远程桌面的窗口图像中的子图像数目即为SN，将各个子图像的序号依次标记为1、2、3、…、s、…、SN，其中，1≤s≤SN。

步骤S1022、计算所述模板图像的特征向量集合以及所述各个子图像的特征向量集合。

所述特征向量集合中包括各个特征点的特征向量。

如图3所示，计算所述模板图像的特征向量集合的过程具体可以包括如下步骤：

步骤S10221、分别使用预设的平滑函数集合中的各个平滑函数对所述模板图像进行平滑处理，得到与所述模板图像对应的平滑图像序列。

优选地，在进行平滑处理之前，可以首先使用用加权平均法对彩色图像进行灰度化处理得到灰度化图像，具体地，可以根据下式进行灰度化处理：

Gray＝0.30×R+0.59×G+0.11×B

其中，R、G、B分别代表像素点的红色分量、绿色分量和蓝色分量，Gray代表像素点的灰度值。

所述平滑函数集合中的各个平滑函数如下所示：

其中，f为各个平滑函数的序号，1≤f≤FN，FN为所述平滑函数集合中的平滑函数的数目，exp为自然指数函数，σ_f为第f个平滑函数的标准差，且σ_f<σ_f+1，G_f(x,y)为第f个平滑函数。

用不同尺度(标准差)的平滑函数对图像进行平滑模糊，这样一来，原本的图像卷积后增加了多张不同模糊程度下的图像。

步骤S10222、构造与所述平滑图像序列对应的差分图像序列。

所述差分图像序列中共包括FN个差分图像，其中，所述差分图像序列中的第f个差分图像为所述平滑图像序列中的第f个平滑图像与第f-1个平滑图像之间的差分图像，也即将第f个平滑图像与第f-1个平滑图像对应像素点的灰度值相减所得到的图像。

特殊地，所述差分图像序列中的第1个差分图像为所述平滑图像序列中的第1个平滑图像与第0个平滑图像之间的差分图像，此处的第0个平滑图像即为未进行平滑处理的原始图像。

步骤S10223、从所述差分图像序列中选取各个特征点，并分别计算各个特征点的特征向量。

差分图像反映的是平滑模糊后图像的差别，差别大的像素就是特征点。首先，用每个像素点与其周围的像素点比较，当其大于或者小于所有相邻点时，即可将其作为极值点。但这一极值点是在高斯差分之后所确定下来的，那么其是属于离散空间上的点，不一定是真正意义上的极值点。还需使用一条曲线来进行拟合，本实施例中采用如下的泰勒展开式将离散转换为连续：

则对应的真正意义上的极值点为：

将其作为特征点。

经过以上步骤，基本上得到了所需的精确特征点，接下来根据下式对差分图像的特征点进行有限差分，求得区域内图像梯度的幅角和幅值：

其中，(x,y)为特征点的坐标，L(x+1,y)为坐标为(x+1,y)的像素点的灰度值，L(x-1,y)为坐标为(x-1,y)的像素点的灰度值，L(x,y+1)为坐标为(x,y+1)的像素点的灰度值，L(x,y-1)为坐标为(x,y-1)的像素点的灰度值，m(x,y)为图像梯度的幅值，θ(x,y)为图像梯度的幅角。

在对每个特征点进行描述时，在特征点邻域范围划定4×4共16个子区域，在每个子区域，将0～360°全方向划分为8个子方向(每个子方向宽度为45°)，统计各子方向梯度强度，构建8维子区域描述向量。对于16个子区域，则最终生成4×4×8＝128维描述向量，也即特征点的特征向量。

步骤S10224、将各个特征点的特征向量集合构造为所述模板图像的特征向量集合。

以上所述为计算所述模板图像的特征向量集合的过程，所述各个子图像的特征向量集合的计算过程与之类似，具体可参照上述具体叙述内容，此处不再赘述。

步骤S1023、分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度。

首先在第s个子图像中分别查找与各个第一特征点对应的第二特征点。

所述第一特征点为所述模板图像中的特征点，所述第二特征点为第s个子图像中的特征点。

然后，根据下式计算所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度：

其中，p为特征点的序号，1≤p≤PN，PN为第一特征点的数目，d为特征向量的维度序号，1≤d≤DN，DN为特征向量的维度数目，MtDeg_s,p为第p个第一特征点与对应的第二特征点之间的匹配度，且

FtVal_p,d为第p个第一特征点的特征向量在第d个维度上的取值，SvFtVal_s,p,d为与第p个第一特征点对应的第二特征点的特征向量在第d个维度上的取值，特殊地，如果在第s个子图像中不存在与第p个第一特征点对应的第二特征点，则有MtDeg_s,p＝0，MatchDeg_s为所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度。

步骤S1024、从所述各个子图像中选取相关度大于预设的相关度阈值的子图像作为所述目标子图像。

所述相关度阈值可以根据实际情况进行设置，例如，可以将其设置为90％、95％、98％或者其它取值。

步骤S103、获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标。

一般地，对于所述第一坐标而言，可以将所述窗口图像最左上角的像素点作为坐标原点，从左到右的方向作为X轴正向，从上到下的方向作为Y轴正向。当然，以上仅为一种可行的坐标定义方式，也可以根据实际情况选取其它的坐标定义方式。由于所述目标子图像是一个区域，可以从中选取任意一个像素点的坐标作为所述第一坐标，优选地，可以将所述目标子图像的中心点的坐标作为所述第一坐标，并将所述第一坐标记为(AxisX₁，AxisY₁)。

对于所述第二坐标而言，可以将所述本地桌面最左上角的像素点作为坐标原点，从左到右的方向作为X轴正向，从上到下的方向作为Y轴正向。当然，以上仅为一种可行的坐标定义方式，也可以根据实际情况选取其它的坐标定义方式。从所述远程桌面的窗口图像选取最左上角的像素点的坐标作为所述第二坐标，并将所述第二坐标记为(AxisX₂，AxisY₂)。

步骤S104、根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标。

具体地，可以根据下式计算所述第三坐标：

其中，(AxisX₃，AxisY₃)为所述第三坐标。

步骤S105、在所述本地桌面中的第三坐标处执行所述操作指令。

在确定出所述目标子图像(也即操作对象)的坐标后，即可在所述本地桌面中的第三坐标处对操作对象执行所述操作指令，例如，可以对操作对象进行鼠标单击、鼠标双击、鼠标悬停、输入文本等具体的操作，从而实现对远程桌面中操作对象的精确操作。

综上所述，本发明实施例在接收到用户下发的远程桌面操作请求后，首先从所述远程桌面操作请求中提取预设的模板图像及操作指令，然后获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像，接着获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标，最后根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标，并在所述本地桌面中的第三坐标处执行所述操作指令。通过本发明实施例，不再采用传统的通过窗口句柄确定操作对象的方法，而是使用图像匹配的方式在远程桌面中搜寻到操作对象，并通过本地桌面与远程桌面之间的坐标变换确定操作对象的具***置，从而大大提高了操作成功率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的一种远程桌面操作方法，图4示出了本发明实施例提供的一种远程桌面操作装置的一个实施例结构图。

本实施例中，一种远程桌面操作装置可以包括：

操作请求接收模块401，用于接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；

目标图像搜寻模块402，用于获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；

坐标获取模块403，用于获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；

坐标计算模块404，用于根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；

操作执行模块405，用于在所述本地桌面中的第三坐标处执行所述操作指令。

进一步地，所述目标图像搜寻模块可以包括：

子图像截取单元，用于从所述远程桌面的窗口图像中依次截取各个子图像；

特征向量集合计算单元，用于计算所述模板图像的特征向量集合以及所述各个子图像的特征向量集合，所述特征向量集合中包括各个特征点的特征向量；

相关度计算单元，用于分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度；

目标图像选取单元，用于从所述各个子图像中选取相关度大于预设的相关度阈值的子图像作为所述目标子图像。

进一步地，所述特征向量集合计算单元可以包括：

平滑处理子单元，用于分别使用预设的平滑函数集合中的各个平滑函数对所述模板图像进行平滑处理，得到与所述模板图像对应的平滑图像序列，所述平滑函数集合中的各个平滑函数如下所示：

其中，f为各个平滑函数的序号，1≤f≤FN，FN为所述平滑函数集合中的平滑函数的数目，exp为自然指数函数，σ_f为第f个平滑函数的标准差，且σ_f<σ_f+1，G_f(x,y)为第f个平滑函数；

差分图像序列构造子单元，用于构造与所述平滑图像序列对应的差分图像序列，其中，所述差分图像序列中的第f个差分图像为所述平滑图像序列中的第f个平滑图像与第f-1个平滑图像之间的差分图像；

特征点选取子单元，用于从所述差分图像序列中选取各个特征点，并分别计算各个特征点的特征向量；

特征向量集合构造子单元，用于将各个特征点的特征向量集合构造为所述模板图像的特征向量集合。

进一步地，所述相关度计算单元可以包括：

特征点查找子单元，用于在第s个子图像中分别查找与各个第一特征点对应的第二特征点，所述第一特征点为所述模板图像中的特征点，所述第二特征点为第s个子图像中的特征点，1≤s≤SN，SN为子图像的数目；

相关度计算子单元，用于根据下式计算所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度：

其中，p为特征点的序号，1≤p≤PN，PN为第一特征点的数目，d为特征向量的维度序号，1≤d≤DN，DN为特征向量的维度数目，MtDeg_s,p为第p个第一特征点与对应的第二特征点之间的匹配度，且

FtVal_p,d为第p个第一特征点的特征向量在第d个维度上的取值，SvFtVal_s,p,d为与第p个第一特征点对应的第二特征点的特征向量在第d个维度上的取值，MatchDeg_s为所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度。

进一步地，所述坐标计算模块具体用于根据下式计算所述第三坐标：

其中，(AxisX₁，AxisY₁)为所述第一坐标，(AxisX₂，AxisY₂)为所述第二坐标，(AxisX₃，AxisY₃)为所述第三坐标。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

图5示出了本发明实施例提供的一种终端设备的示意框图，为了便于说明，仅示出了与本发明实施例相关的部分。

在本实施例中，所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备5可包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机可读指令52，例如执行上述的远程桌面操作方法的计算机可读指令。所述处理器50执行所述计算机可读指令52时实现上述各个远程桌面操作方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，所述处理器50执行所述计算机可读指令52时实现上述各装置实施例中各模块/单元的功能，例如图4所示模块401至405的功能。

示例性的，所述计算机可读指令52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令52在所述终端设备5中的执行过程。

所述处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机可读指令以及所述终端设备5所需的其它指令和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种远程桌面操作方法，其特征在于，包括：

接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；

获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；

获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；

根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；

在所述本地桌面中的第三坐标处执行所述操作指令。

2.根据权利要求1所述的远程桌面操作方法，其特征在于，所述在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像包括：

从所述远程桌面的窗口图像中依次截取各个子图像；

计算所述模板图像的特征向量集合以及所述各个子图像的特征向量集合，所述特征向量集合中包括各个特征点的特征向量；

分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度；

从所述各个子图像中选取相关度大于预设的相关度阈值的子图像作为所述目标子图像。

3.根据权利要求2所述的远程桌面操作方法，其特征在于，所述计算所述模板图像的特征向量集合包括：

分别使用预设的平滑函数集合中的各个平滑函数对所述模板图像进行平滑处理，得到与所述模板图像对应的平滑图像序列，所述平滑函数集合中的各个平滑函数如下所示：

其中，f为各个平滑函数的序号，1≤f≤FN，FN为所述平滑函数集合中的平滑函数的数目，exp为自然指数函数，σ_f为第f个平滑函数的标准差，且σ_f<σ_f+1，(x,y)为所述模板图像中的像素点的坐标，G_f(x,y)为第f个平滑函数；

构造与所述平滑图像序列对应的差分图像序列，其中，所述差分图像序列中的第f个差分图像为所述平滑图像序列中的第f个平滑图像与第f-1个平滑图像之间的差分图像；

从所述差分图像序列中选取各个特征点，并分别计算各个特征点的特征向量；

将各个特征点的特征向量集合构造为所述模板图像的特征向量集合。

4.根据权利要求2所述的远程桌面操作方法，其特征在于，所述分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度包括：

在第s个子图像中分别查找与各个第一特征点对应的第二特征点，所述第一特征点为所述模板图像中的特征点，所述第二特征点为第s个子图像中的特征点，1≤s≤SN，SN为子图像的数目；

根据下式计算所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度：

其中，p为特征点的序号，1≤p≤PN，PN为第一特征点的数目，d为特征向量的维度序号，1≤d≤DN，DN为特征向量的维度数目，MtDeg_s,p为第p个第一特征点与对应的第二特征点之间的匹配度，且

FtVal_p,d为第p个第一特征点的特征向量在第d个维度上的取值，SvFtVal_s,p,d为与第p个第一特征点对应的第二特征点的特征向量在第d个维度上的取值，MatchDeg_s为所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度。

5.根据权利要求1至4中任一项所述的远程桌面操作方法，其特征在于，所述根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标包括：

根据下式计算所述第三坐标：

其中，(AxisX₁，AxisY₁)为所述第一坐标，(AxisX₂，AxisY₂)为所述第二坐标，(AxisX₃，AxisY₃)为所述第三坐标。

6.一种远程桌面操作装置，其特征在于，包括：

操作请求接收模块，用于接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；

目标图像搜寻模块，用于获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；

坐标获取模块，用于获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；

坐标计算模块，用于根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；

操作执行模块，用于在所述本地桌面中的第三坐标处执行所述操作指令。

7.根据权利要求6所述的远程桌面操作装置，其特征在于，所述目标图像搜寻模块包括：

子图像截取单元，用于从所述远程桌面的窗口图像中依次截取各个子图像；

特征向量集合计算单元，用于计算所述模板图像的特征向量集合以及所述各个子图像的特征向量集合，所述特征向量集合中包括各个特征点的特征向量；

相关度计算单元，用于分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度；

目标图像选取单元，用于从所述各个子图像中选取相关度大于预设的相关度阈值的子图像作为所述目标子图像。

8.根据权利要求7所述的远程桌面操作装置，其特征在于，所述特征向量集合计算单元包括：

平滑处理子单元，用于分别使用预设的平滑函数集合中的各个平滑函数对所述模板图像进行平滑处理，得到与所述模板图像对应的平滑图像序列，所述平滑函数集合中的各个平滑函数如下所示：

其中，f为各个平滑函数的序号，1≤f≤FN，FN为所述平滑函数集合中的平滑函数的数目，exp为自然指数函数，σ_f为第f个平滑函数的标准差，且σ_f<σ_f+1，(x,y)为所述模板图像中的像素点的坐标，G_f(x,y)为第f个平滑函数；

差分图像序列构造子单元，用于构造与所述平滑图像序列对应的差分图像序列，其中，所述差分图像序列中的第f个差分图像为所述平滑图像序列中的第f个平滑图像与第f-1个平滑图像之间的差分图像；

特征点选取子单元，用于从所述差分图像序列中选取各个特征点，并分别计算各个特征点的特征向量；

特征向量集合构造子单元，用于将各个特征点的特征向量集合构造为所述模板图像的特征向量集合。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的远程桌面操作方法的步骤。

10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至5中任一项所述的远程桌面操作方法的步骤。

Images