CN111078104A - 一种云桌面上的多点触控设备的重定向方法及计算机设备 - Google Patents

Abstract

本发明提供一种云桌面上的多点触控设备的重定向方法，虚拟机接收多点触控数据、本地终端的操作***以及触控屏信息；根据本地终端的操作***、触控屏信息、虚拟机硬件信息以及操作***的类型，将多点触控数据转译为执行指令；虚拟机根据执行指令执行对应操作；本发明还提供给一种计算机设备，使得用户可以在云桌面上使用多点触控。

Description

一种云桌面上的多点触控设备的重定向方法及计算机设备

技术领域

本发明涉及一种云桌面上的多点触控设备的重定向方法及计算机设备。

背景技术

云桌面是云计算技术的一项应用，简单的来说就是通过虚拟化技术，在处于数据中心机房内的服务器中安装一种虚拟化软件，再通过配置该软件来创建多台虚拟机，虚拟机会拥有相对独立的CPU与内存资源，这样，就能将一台实际的服务器划分多台虚拟机，从而提供给多个用户来独立使用，不同的用户使用不同的虚拟机，不会相互抢占CPU与内存资源，也不会因为在同一台机器操作而相互冲突。在云桌面的应用场景下，为符合大多数用户的使用习惯，虚拟机内一般是安装Windows操作***，而用户使用的是虚拟机的桌面服务，与正常使用电脑类似，进行浏览网页，编辑文档等操作。

云桌面协议就是云桌面技术中的核心技术了，它会将虚拟机内的显示内容传输到本地终端(包括电脑，手机与智能电视)上显示，并将本地的操作(键盘操作与鼠标操作)传输到虚拟机内执行，实际上达到一种远程控制虚拟机的效果。可以让用户在虚拟机上正常的进行浏览网页，编辑文档等操作。

如图2所示，由于云桌面技术是通过虚拟化技术来实现的，目前大多数虚拟化技术创建出来的虚拟机都只支持基础的硬件，包括cpu、内存、磁盘等，而在用户输入方面只有鼠标与键盘，并没有多点触控设备。所以当用户使用诸如手机与智能电视之类支持多点触控的本地终端连接云桌面服务的时候，就无法实现多点触控功能。只能将多点触控转化为单点触控，并再次转化为鼠标进行操作。故在云桌面上使用需要多点触控才能操作的软件时，就无法使用了。

对比文件，名称为：一种基于RDP协议的移动云桌面精确触控方法，申请号201310026044.7，申请日2013.01.24；其在RDP协议功能数据层和界面显示层间建立一虚拟光标移动模块和触摸事件响应模块，使得终端设备本地的触摸屏模拟成触摸板使用；截获当前触摸屏对云桌面窗口的所有触控操作，然后用一个虚拟光标指示当前点击位置，虚拟光标的移动和位置由当前触摸操作决定；当手指在触摸屏上移动时，相对的移动虚拟光标，使之始终保持与触摸轨迹相同的偏移量进行移动，并向远程云桌面发送当前虚拟光标位置的触摸事件消息；由此，实现触摸屏模拟触摸板功能来定位虚拟光标，然后通过虚拟光标来实现精确触控。本发明采用触摸屏作为触摸板使用的方法，实现了RDP协议下连接云桌面后进行精确触控；对比文件没在虚拟机中创建虚拟多点触屏设备，不可能支持多点设备，只能针对单点触屏设备，对比文件中提到其会创建一个虚拟光标来进行操作，多点触屏设备(如触屏手机)是不会显示光标的，只有单点的操作方式才会显示光标(比如鼠标)，所以对比文件仅仅是在终端设备上的RDP协议功能数据层和界面层之间进行一些优化运算，提升触屏的操作精度，整个方案都运行在终端设备上。

发明内容

本发明要解决的技术问题，在于提供一种云桌面上的多点触控设备的重定向方法及计算机设备，使得用户可以在云桌面上使用多点触控。

本发明之一是这样实现的：一种云桌面上的多点触控设备的重定向方法，包括：

步骤1、虚拟机接收多点触控数据、本地终端的操作***以及触控屏信息；

步骤2、根据本地终端的操作***、触控屏信息、虚拟机硬件信息以及操作***的类型，将多点触控数据转译为执行指令；

步骤3、虚拟机根据执行指令执行对应操作。

进一步地，所述步骤1进一步具体为：生成一虚拟多点触控设备，用于将执行指令传递到虚拟机的设备总线，虚拟机通过虚拟多点触控设备接收多点触控数据、本地终端的操作***以及触控屏信息。

进一步地，所述步骤2进一步具体为：

步骤21、根据不同终端设备的操作***类型以及触控屏信息建立终端设备触屏数据控制块；

步骤22、根据在虚拟机中的创建的虚拟设备的HID描述符，来建立虚拟机触屏数据控制块；

步骤23、将终端设备触屏数据控制块与虚拟机触屏数据控制块建立一一的对应关系；

步骤24、根据建立一一的对应关系将多点触控数据转译为执行指令。

本发明之二是这样实现的：一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

步骤1、虚拟机接收多点触控数据、本地终端的操作***以及触控屏信息；

步骤2、根据本地终端的操作***、触控屏信息、虚拟机硬件信息以及操作***的类型，将多点触控数据转译为执行指令；

步骤3、虚拟机根据执行指令执行对应操作。

进一步地，所述步骤1进一步具体为：生成一虚拟多点触控设备，用于将执行指令传递到虚拟机的设备总线，虚拟机通过虚拟多点触控设备接收多点触控数据、本地终端的操作***以及触控屏信息。

进一步地，所述步骤2进一步具体为：

步骤21、根据不同终端设备的操作***类型以及触控屏信息建立终端设备触屏数据控制块；

步骤22、根据在虚拟机中的创建的虚拟设备的HID描述符，来建立虚拟机触屏数据控制块；

步骤23、将终端设备触屏数据控制块与虚拟机触屏数据控制块建立一一的对应关系；

步骤24、根据建立一一的对应关系将多点触控数据转译为执行指令。

本发明具有如下优点：通过在云桌面的虚拟机中创建虚拟的多点触控设备，同时在本地终端上捕获多点触控消息，并传输到虚拟机上，并转译为虚拟机可以识别的多点触控消息，再通过虚拟多点触控设备来操作虚拟机，使得用户可以在云桌面上使用多点触控设备。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明方法执行流程图。

图2为现有技术云桌面技术示意图。

图3为本发明具体实施方式的模块图。

图4为本发明具体实施方式的流程图。

图5为本发明具体实施方式的转译流程图。

具体实施方式

如图1所示，本发明云桌面上的多点触控设备的重定向方法，包括：

步骤1、生成一虚拟多点触控设备，用于将执行指令传递到虚拟机的设备总线，虚拟机通过虚拟多点触控设备接收多点触控数据、本地终端的操作***以及触控屏信息；

步骤2、根据不同终端设备的操作***类型以及触控屏信息建立终端设备触屏数据控制块；根据在虚拟机中的创建的虚拟设备的HID描述符，来建立虚拟机触屏数据控制块；将终端设备触屏数据控制块与虚拟机触屏数据控制块建立一一的对应关系；根据建立一一的对应关系将多点触控数据转译为执行指令；

步骤3、虚拟机根据执行指令执行对应操作。

本发明计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

步骤1、生成一虚拟多点触控设备，用于将执行指令传递到虚拟机的设备总线，虚拟机通过虚拟多点触控设备接收多点触控数据、本地终端的操作***以及触控屏信息；

步骤2、根据不同终端设备的操作***类型以及触控屏信息建立终端设备触屏数据控制块；根据在虚拟机中的创建的虚拟设备的HID描述符，来建立虚拟机触屏数据控制块；将终端设备触屏数据控制块与虚拟机触屏数据控制块建立一一的对应关系；根据建立一一的对应关系将多点触控数据转译为执行指令；

步骤3、虚拟机根据执行指令执行对应操作。

本发明一种具体实施方式：

如图3所示，先在虚拟机上创建一个虚拟多点触控设备，同时在本地终端上捕获多点触控的消息，并通过网络将本地捕获的多点触控消息传输到虚拟机上，并转译为虚拟机可以识别的多点触控消息，再通过虚拟多点触控设备来操作虚拟机，从而让虚拟机可以支持多点触控操作。在虚拟机上分别有虚拟多点触控设备、虚拟多点触控转译模块、网络通信模块。而在本地终端上，分别有多点触控捕获模块、与网络通信模块。

每个模块的说明如下：

1)如图4所示，在本地终端上的多点触控捕获模块中，主要是使用本地终端操作***(如：Windows、Android、IOS)提供的多点触控接口获取多点触控消息。这些消息会根据本地终端的操作***与触控屏幕的硬件的不同，而有所差异。所以多点触控捕获模块需要在初始化时将***本身的信息与触控屏的信息先通过网络通信模块发送出去，之后再开始循环的进行触控点捕获，而捕获的多点触控消息之后，要马上发送给网络通信模块；所述触屏的信息包括触控屏信息包括，触控支持的手指个数，触控屏的长度和宽度，触控屏的压力感应的敏感程度。

2)本地终端的网络通信模块，只是基础的网络通信模块，用于虚拟机的网络通信模块建立连接，同时接收多点触控捕获模块的消息，并发送到虚拟机中。

3)虚拟机的网络通信模块，也只是基础的网络通信模块，用于本地终端的网络通信模块建立连接，同时接收本地终端发来的多点触控捕获模块的消息，并送给虚拟多点触控的转译模块。

4)如图5所示，虚拟多点触控的转译模块，收到消息，会根据本地终端操作***的类型，来解析多点触控消息，并根据虚拟机操作***的类型，将解析出的多点触控消息转译，生成虚拟机能够识别的指令，并送与虚拟多点触控设备执行。

具体转译方式的步骤如下：

1)首先根据不同终端设备的操作***类型(比如安卓***，IOS***，Windows***)来建立终端设备的触屏数据控制块。这些数据块中包含很多信息。包括但不限于：

※手指唯一标识符

※手指是否处于接触状态

※手指X，Y坐标

※手指大小

2)根据在虚拟机中的创建的虚拟设备的HID描述符(根据USB的HID设备标准的定义)，来建立虚拟机的触屏数据控制块。这些数据块中包含很多信息。包括但不限于：

※手指唯一标识符

※手指是否处于接触状态

※手指X，Y坐标

※手指大小

3)将数据块的信息建立一一的对应关系，如坐标或者大小之类的长度单位，可以安装长度与屏幕的比例，来建立换算关系。

4)根据建议的对应关系来进行转译。

比如，在虚拟机中安装Windows操作***时，转译出来的指令，会包含一根或者多根手指的信息，而每一根手指都包括如下信息，只有有了下列的信息虚拟机才能识别到多点触控指令。

手指的唯一标识符

手指是否处于接触状态

手指的X轴坐标

手指的Y轴坐标

手指的宽度

手指的高度

拥有了这个转译模块之后，多点触控设备的重定向，无论本地终端与虚拟机的硬件与操作***的差别有多大，在经过指令转译后，都可以兼容。

5)虚拟多点触控设备是由软件模拟生成的，只负责将指令传递到虚拟机的设备总线。从而实现多点触控与虚拟机的互动，这个设备而且是必须要添加的，某些虚拟机中的操作***有的时候一定要识别到有这么一个类型的设备，才会开启多点触控的功能，比如手写输入等等。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (6)

1.一种云桌面上的多点触控设备的重定向方法，其特征在于：包括：

步骤1、虚拟机接收多点触控数据、本地终端的操作***以及触控屏信息；

步骤2、根据本地终端的操作***、触控屏信息、虚拟机硬件信息以及操作***的类型，将多点触控数据转译为执行指令；

步骤3、虚拟机根据执行指令执行对应操作。

2.根据权利要求1所述的一种云桌面上的多点触控设备的重定向方法，其特征在于：所述步骤1进一步具体为：生成一虚拟多点触控设备，用于将执行指令传递到虚拟机的设备总线，虚拟机通过虚拟多点触控设备接收多点触控数据、本地终端的操作***以及触控屏信息。

3.根据权利要求1所述的一种云桌面上的多点触控设备的重定向方法，其特征在于：所述步骤2进一步具体为：

步骤21、根据不同终端设备的操作***类型以及触控屏信息建立终端设备触屏数据控制块；

步骤22、根据在虚拟机中的创建的虚拟设备的HID描述符，来建立虚拟机触屏数据控制块；

步骤23、将终端设备触屏数据控制块与虚拟机触屏数据控制块建立一一的对应关系；

步骤24、根据建立一一的对应关系将多点触控数据转译为执行指令。

4.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现以下步骤：

步骤1、虚拟机接收多点触控数据、本地终端的操作***以及触控屏信息；

步骤2、根据本地终端的操作***、触控屏信息、虚拟机硬件信息以及操作***的类型，将多点触控数据转译为执行指令；

步骤3、虚拟机根据执行指令执行对应操作。

5.根据权利要求4所述的一种计算机设备，其特征在于：所述步骤1进一步具体为：生成一虚拟多点触控设备，用于将执行指令传递到虚拟机的设备总线，虚拟机通过虚拟多点触控设备接收多点触控数据、本地终端的操作***以及触控屏信息。

6.根据权利要求4所述的一种计算机设备，其特征在于：所述步骤2进一步具体为：

步骤21、根据不同终端设备的操作***类型以及触控屏信息建立终端设备触屏数据控制块；

步骤22、根据在虚拟机中的创建的虚拟设备的HID描述符，来建立虚拟机触屏数据控制块；

步骤23、将终端设备触屏数据控制块与虚拟机触屏数据控制块建立一一的对应关系；

步骤24、根据建立一一的对应关系将多点触控数据转译为执行指令。

Images