CN107071035A - 移动终端远程控制方法、装置及相应的移动终端 - Google Patents

Abstract

本发明涉及终端通信控制领域，具体涉及一种移动终端远程控制方法、装置及相应的移动终端，所述方法包括步骤：本移动终端与相对移动终端建立远程连接通道；本移动终端通过所述连接通道接收相对移动终端传输的本地界面图像流，同步将本移动终端的本地界面图像流传输给相对移动终端，以供所述相对移动终端将之叠加到其本地界面图像上输出显示；本移动终端将其所接收的所述相对移动终端的本地界面图像流叠加到自身本地界面图像上输出显示。本发明基于至少两个移动终端的界面图像的双向远程传输，在进行远程控制时终端用户相互间可以看到对方的界面图像，提高远程控制的直观效果，使得远程控制所达到的诸如教学目的更加高效、便捷。

Description

移动终端远程控制方法、装置及相应的移动终端

【技术领域】

本发明涉及终端通信控制领域，具体涉及一种移动终端远程控制方法、装置及相应的移动终端。

【背景技术】

远程控制，或称远程协助，是指互相信任的至少两个移动终端建立无线通信连接，进而使得一方(受助方)的用户界面显示于另一方(协助方)的用户界面上，协助方通过获取到的受助方的用户界面，利用声音解说、画笔等功能与受助方进行交流，从而实现远程控制或远程协助效果。

目前的终端远程控制中，需确定一个受助方、一个协助方，在受助方向协助方请求远程协助后，由协助方操控受助方从而达到远程控制效果。同时，协助方在接收到受助方的画面后，画面占满协助方的整个操作界面，协助方在远程控制期间无法针对本机产生的事件行为进行处理，从而给用户带来不便。同时，受助方往往将整个终端的画面内容传输给协助方，以致在某些特殊情况下无法保证自身的隐私问题。并且，现有技术中往往将远程控制的功能与移动终端绑定，限制相同品牌的移动终端才能进行远程控制功能。

对于一些特定的使用场景，由受助方将自己的画面传输至协助方已不能满足用户的需求，例如某些需要两个用户同时进行操作的使用场景，且目前的远程控制中，画面固定且无法调整，给用户带来诸多不便。

【发明内容】

本发明的首要目的在于提供一种移动终端远程控制方法及装置。

本发明的另一目的在于提供一种实现远程控制方法的移动终端。

为实现该目的，本发明采用如下技术方案：

第一方面，本发明提供一种移动终端远程控制方法，包括如下步骤：

本移动终端与相对移动终端建立远程连接通道；

本移动终端通过所述连接通道接收相对移动终端传输的本地界面图像流，同步将本移动终端的本地界面图像流传输给相对移动终端，以供所述相对移动终端将之叠加到其本地界面图像上输出显示；

本移动终端将其所接收的所述相对移动终端的本地界面图像流叠加到自身本地界面图像上输出显示。

优选的，所述本移动终端与相对移动终端传输的本地界面图像为用户自行选定的移动终端用户界面上的特定区域的图像。

具体的，所述本移动终端与相对移动终端通过远程服务器确认双方的配置信息并依此建立所述远程连接通道。

具体的，所述配置信息包括用户账号信息及移动终端的特征信息，所述移动终端的特征信息包括移动终端的屏幕尺寸、屏幕分辨率、唯一识别标识码。

进一步的，在所述本移动终端接收相对移动终端传输的本地界面图像流时，所述本移动终端执行流媒体服务器功能，在所述本移动终端同步将本移动终端的本地界面图像流传输给相对移动终端时，所述本移动终端执行客户机功能。

优选的，所述本移动终端与相对移动终端的图像流传输为点对点传输。

较佳的，所述本移动终端接收到的相对移动终端传输的本地界面图像流在本移动终端上以悬浮窗展示。

进一步的，所述本移动终端接收作用于所述悬浮窗的操作指令，执行操作指令对应的操作。

具体的，所述操作指令包括缩放指令、移动指令、隐藏指令及关闭指令。

更进一步的，所述方法还包括步骤：

本移动终端接收作用于所述相对移动终端的界面图像上的第一控制指令，基于建立的指令映射关系将所述第一控制指令模拟为作用于相对移动终端上的第二控制指令，以让所述相对移动终端根据所述第二控制指令后执行相应的操作。

较佳的，在所述相对移动终端将其控制权限授予本移动终端后，执行指令模拟转化步骤。

进一步的，通过相对移动终端上的标识按钮表征相对移动终端的控制权限授权状态。

更进一步的，在所述相对移动终端根据第二控制指令执行相应的操作之后，还包括：

本移动终端更新接收的相对移动终端界面图像的显示内容。

相应的，第二方面，本发明提供一种移动终端远程控制装置，包括：

连接模块：用于与相对移动终端建立远程连接通道；

传输模块：用于通过所述连接通道接收相对移动终端传输的本地界面图像流，同步将本移动终端的本地界面图像流传输给相对移动终端，以供所述相对移动终端将之叠加到其本地界面图像上输出显示；

显示模块：用于将其所接收的所述相对移动终端的本地界面图像流叠加到自身本地界面图像上输出显示。

优选的，所述本移动终端与相对移动终端传输的本地界面图像为用户自行选定的移动终端用户界面上的特定区域图像。

具体的，所述本移动终端与相对移动终端通过远程服务器确认双方的配置信息并依此建立所述远程连接通道。

具体的，所述配置信息包括用户账号信息及移动终端的特征信息，所述移动终端的特征信息包括移动终端的屏幕尺寸、屏幕分辨率、唯一识别标识码。

进一步的，在所述本移动终端接收相对移动终端传输的本地界面图像流时，所述本移动终端执行流媒体服务器功能，在所述本移动终端同步将本移动终端的本地界面图像流传输给相对移动终端时，所述本移动终端执行客户机功能。

优选的，所述本移动终端与相对移动终端的图像流传输为点对点传输。

较佳的，所述本移动终端接收到的相对移动终端传输的本地界面图像流在本移动终端上以悬浮窗展示。

进一步的，所述本移动终端接收作用于所述悬浮窗的操作指令，执行操作指令对应的操作。

具体的，所述操作指令包括缩放指令、移动指令、隐藏指令及关闭指令。

更进一步的，所述装置还包括：

指令模拟模块：用于接收作用于所述相对移动终端的界面图像上的第一控制指令，基于建立的指令映射关系将所述第一控制指令模拟为作用于相对移动终端上的第二控制指令，以让所述相对移动终端根据所述第二控制指令后执行相应的操作。

较佳的，所述指令模拟模块包括授权单元，用于在所述相对移动终端将其控制权限授予本移动终端后，执行指令模拟操作。

进一步的，通过相对移动终端上的标识按钮表征相对移动终端的控制权限授权状态。

更进一步的，在所述相对移动终端根据第二控制指令执行相应的操作之后，显示模块更新接收的相对移动终端界面图像的显示内容。

第三方面，本发明还提供一种移动终端，用于实现上述远程控制方法，包括：

触敏显示器：用于显示该方法实现过程中产生的中间信息及结果信息；

存储器：用于存储上述方法实现过程中产生的候选中间数据以及结果数据；

一个或多个处理器：所述处理器被配置为用于执行实现上述方法的步骤。

与现有技术相比，本发明具备如下优点：

本发明将本移动终端与相对移动终端两者的界面图像流通过双向传输，使得在进行远程控制时终端用户相互间可以看到对方的界面图像，提高远程控制的直观效果，使得远程控制所达到的诸如教学目的更加高效、便捷。同时，本移动终端与相对移动终端的界面图像流的双向传输，增添了多样化的远程控制功能，如远程教学、远程分享、远程办公等功能，为用户带来更多的便利。

同时，本移动终端在接收到相对移动终端所传输的界面图像后，通过悬浮窗的形式将其叠加、呈现在本地的用户界面上，不仅可以观测到相对移动终端所传输的画面内容，同时可以进行本移动终端上的其它操作，让用户更加方便地在远程控制状态与非远程控制状态下自由切换。并且，悬浮窗的大小显示可由用户自行控制，达到最协调的观看与操作并存的效果，同时，相对移动终端的控制权限可由用户自行开启或关闭，最大程序地保护用户的隐私。

进一步的，本发明的远程控制方法利用可实现点对点传输的功能模块实现，打破现有的远程控制终端限制，实现跨品牌移动终端间的远程控制，让不同品牌的终端的用户亦可以自由地实现终端远程控制。同时，在本移动终端与相对移动终端双向传输各自的界面图像时通过点对点传输，降低云端服务器的负荷，提高画面图像的清晰度及流畅度。

显然，上述有关本发明优点的描述是概括性的，更多的优点描述将体现在后续的实施例揭示中，以及，本领域技术人员也可以本发明所揭示的内容合理地发现本发明的其他诸多优点。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

【附图说明】

图1为本发明移动终端远程控制方法的一实施例流程示意图。

图2为本发明相对移动终端截取其用户界面上特定区域内的图像画面的一实施例示意图。

图3为本发明本移动终端将接收到的相对移动终端的界面图像流叠加到本地界面图像上输出显示的一实施例示意图。

图4为本发明指令映射关系中本移动终端上显示的相对移动终端的界面图像的像素图。

图5为本发明指令映射关系中相对移动终端截取的其本地界面图像的像素图。

图6为本发明一应用场景示意图。

图7为本发明移动终端远程控制装置的一实施例示意图。

图8为本发明的本移动终端和相对移动移动终端都能够适用的结构示意图。

【具体实施方式】

下面结合附图和示例性实施例对本发明作进一步地描述，其中附图中相同的标号全部指的是相同的部件。此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信***)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位***)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通信方式实现通信，包括但不限于，基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。

本技术领域技术人员可以理解，本发明所述的用户界面/操作界面泛指能够用于向智能终端发送控制指令的显示界面，例如，可以为Android***的设置页面中的一个选项(或按键，由所述应用程序添加其中，下同)，也可以是从桌面呼出的通知栏或者交互页面中的一个选项，还可以是所述应用程序的一个活动组件所构造的页面中的一个选项。

本领域技术人员应当理解，本发明所称的“应用”、“应用程序”、“应用软件”、“客户端”、“客户端软件”以及类似表述的概念，是业内技术人员所公知的相同概念，是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定，这种命名本身不受编程语言种类、级别，也不受其赖以运行的操作***或平台所限制。理所当然地，此类概念也不受任何形式的终端所限制。

本发明的实施例中，需要至少两个均具有执行远程控制功能的移动终端，下述以两个移动终端为例进行说明，为了更好地区分两者，本发明实施例将两者分别定义为本移动终端与相对移动终端(亦可理解为第一移动终端与第二移动终端)，在实现本发明的远程控制方法时，本移动终端与相对移动终端所扮演的角色的作用其实是相同的，即本移动终端可以实现的远程控制功能相对移动终端亦可实现，在本发明实施例中以本移动终端为执行远程控制方法的主体进行说明。

第一方面，如图1所示是本发明移动终端远程控制方法的一实施例流程示意图，包括步骤S100-S300。

步骤S100：本移动终端与相对移动终端建立远程连接通道。

在实现远程控制之前，需要建立本移动终端与相对移动终端的远程连接通道。具体的，本移动终端与相对移动终端上均配置有执行远程控制功能的功能模块，该功能模块可以是安装于移动终端上的客户端软件或者内置于移动终端操作***的插件，下述以安装于移动终端上的客户端软件为例进行说明。用户通过唯一账号登录客户端，客户端相应获取移动终端的特征信息如屏幕尺寸、屏幕分辨率、唯一识别标识码等，然后将用户账号关联于移动终端的特征信息上传到云端服务器，云端服务器为每一个用户账号分配唯一的UID后与用户账号及移动终端的特征信息关联存储，不同用户通过对方用户账号即可查找到对方。

进一步的，本移动终端通过查找相对移动终端的用户账号后，向云端服务器发送与相对移动终端建立连接的请求，云端服务器将本移动终端的连接请求发送至相对移动终端，待所述相对移动终端确认后建立本移动终端与相对移动终端的远程连接通道。所述远程连接通道为数据报文传输通道，位于通道两端的双方分别扮演着客户机跟流媒体服务器的角色，利用该远程连接通道实现双方的数据传输。具体的，在建立本移动终端与相对移动终端的远程连接通道时，需要确认双方采用何种方式、何种协议来传递信令、建立通道，本实施例采用WebSocket并基于XMPP协议来传输信令、建立通道，通过该通道确定本移动终端与相对移动终端的IP地址、端口、及双方所支持的编解码器类别和视频分辨率、码率等信息。

步骤S200：本移动终端通过所述连接通道接收相对移动终端传输的本地界面图像流，同步将本移动终端的本地界面图像流传输给相对移动终端，以供所述相对移动终端将之叠加到其本地界面图像上输出显示。

通过建立的远程连接通道，利用WebRTC实现本移动终端与相对移动终端的视讯音讯传输，WebRTC是网页实时通信(Web Real-Time Communication)的缩写，可以支持网页浏览器进行实时语音对话和/或视频对话，WebRTC提供了视频语音会话的核心技术，包括音视频的采集、编解码、网络传输、显示等功能，并且支持跨平台如Windows，Linux，Mac，Android等平台的使用，WebRTC底层基于SRTP和UDP，通过浏览器提供简单的JavaScript就可以达到实时通讯能力，并且对于弱网情况下优化空间大。本实施例中，通过获取移动终端的屏幕图像及麦克风采集获得视频、音频的同步流，相应的，所述安装于移动终端的客户端软件也基于WebRTC进行设计，可以理解为客户端软件是基于浏览器/Web进行设计的，本移动终端和相对移动终端通过该客户端软件实现音频视频对话。

利用WebRTC实现本移动终端与相对移动终端通过远程连接通道之间的流数据传输，该流数据连接通道是点对点的，不需要经过云端服务器的中转，云端服务器在建立本移动终端与相对移动终端的远程连接通道、传输图像流过程中，只需完成中转信令以建立所述远程连接通道，后续本移动终端与相对移动终端的流数据传输均无需再通过云端服务器。

本发明的一种实施例，本移动终端/相对移动终端即充当客户机又充当流媒体服务器，即相对移动终端将其本地界面图像流传输至充当流媒体服务器的本移动终端，同时本移动终端也将其本地界面图像流传输至充当客户机的相对移动终端，以供相对移动终端将该图像流叠加到本地界面图像上输出显示。本实施例通过将相对移动终端的流数据通过远程连接通道直接传输至本移动终端，数据流无需经过云端服务器进行中转，避免客户端软件上传流数据到云端服务器和云端服务器转发流数据到客户端软件所造成的传输效率低的问题。

可以理解的是，本发明优选采用本移动终端与相对移动终端之间的点对点传输的方案，当点对点传输失败时，再通过云端服务器进行数据流的中转，即相对移动终端将其本地界面图像流上传到云端服务器，本移动终端从云端服务器上拉取相对移动终端上传的图像流，并且本移动终端同步地将自身的本地界面图像流上传到云端服务器，相对移动终端亦可从云端服务器上拉取本移动终端上传的图像流，并将该图像流叠加到本地界面图像上输出显示。

优选的，所述本移动终端或是相对移动终端所传输的本地界面图像为移动终端上特定区域的界面图像，如图2所示，相对移动终端截取其用户界面上箭头指向的框线内的图像作为所述本地界面图像流，然后将该本地界面图像流通过已建立的远程连接通道传输至本移动终端，本移动终端接收该图像流的同时，同步将本移动终端的本地界面图像流传输至相对移动终端。

步骤S300：本移动终端将其所接收的所述相对移动终端的本地界面图像流叠加到自身本地界面图像上输出显示。

本移动终端接收到相对移动终端所传输的界面图像流后，将其叠加到本地界面图像上进行输出显示，优选的，所述相对移动终端的界面图像在本移动终端上以悬浮窗的形式输出显示。并且，优选的，当本移动终端在输出显示相对移动终端的界面图像时同步将自身的本地界面图像传输至相对移动终端的时候，本移动终端截取的本地的界面图像不涵盖相对移动终端在本移动终端上输出显示的悬浮窗画面，即本移动终端所截取的界面图像为悬浮窗底层的本移动终端原有的界面图像，如图3所示是本移动终端将接收到的相对移动终端的界面图像(图3中箭头指向的框线内的部分)在自身的本地界面图像上叠加后输出的显示效果示意图。

在以悬浮窗展示所接收到的相对移动终端的界面图像后，接收作用于悬浮窗的操作指令，悬浮窗根据所述操作指令执行对应的操作，所述操作指令包括如下指令：

本发明一种实施例，所述悬浮窗接收作用于其上的缩放指令，将悬浮窗的长、宽等比例地放大/缩小。

本发明另一种实施例，所述悬浮穿接收作用于其上的移动指令，将所述悬浮窗移动到指定位置处展示。

本发明另一种实施例，所述悬浮穿接收作用于其上的隐藏指令，将悬浮窗缩小为以一个标识图标展示在本移动终端的用户界面上，相应地，在接收到作用于该标识图标的展示指令后，将隐藏前的悬浮窗重新展现在本移动终端的用户界面上。

本发明另一种实施例，所述悬浮窗接收作用于其上的关闭指令，本移动终端将接收到的展示相对移动终端的本地界面图像流的悬浮窗关闭，同时，关闭本移动终端向相对移动终端发送本地界面图像的端口，更优选的，断开本移动终端与相对移动终端的远程连接。

进一步的，在本移动终端输出显示所接收到的相对移动终端的界面图像后，响应作用于该界面图像上的第一控制指令，根据预设的指令映射关系将第一控制指令模拟为作用在相对移动终端上的第二控制指令，以让所述相对移动终端根据所述第二控制指令后执行相应的操作。具体的，所述相对移动终端上截取的界面图像在本移动终端上显示时其长宽等比例放大/缩小，然后根据指令映射关系将作用在相对移动终端界面图像上的触控操作、滑动操作等模拟为作用在相对移动终端上对应位置的触控操作、滑动操作，例如本实施例中实现将第一控制指令模拟为第二控制指令的实施方式如下：如图4所示是本移动终端上显示的相对移动终端的界面图像的像素图(18px*12px)，、图5所示是相对移动终端截取、传输的其本地界面图像的像素图(9px*6px)，其中每一个方格代表一个像素点，本移动终端以2倍的比例放大显示相对移动终端所截取、传输的界面图像，在本移动终端上显示的相对移动终端传输的画面区域，以一个二维坐标系建立起该区域内的每一像素点的确定关系，即该区域上的任何一像素点都对应有唯一的一个坐标，根据该像素点的坐标与缩放比例确定该像素点对应于相对终端上的所截取的特定区域内的目标像素点，假如用户点击图4中坐标为(8,8)的灰色像素点时，根据映射关系，在相对移动终端所截取的界面图像中即坐标为(4,4)的目标像素点，也即为图5中的灰色像素点。故若在本移动终端上点击显示区域中坐标(8,8)的像素点，经过转化后则模拟为点击相对移动终端上所截取区域中坐标(4,4)的像素点，以此就将作用于本移动终端上的第一控制指令模拟为作用于相对移动终端上的第二控制指令，然后相对移动终端根据所述第二控制指令执行相应的操作。可以理解的是，所述将第一控制指令模拟为第二控制指令的过程可以由本移动终端完成、或由云端服务器完成、或由相对移动终端完成，其实现原理均与上述相同。

优选地，本发明实施例中，只有在相对移动终端将其控制权限授予本移动终端后，才能完成所述指令模拟转化操作。具体的，可在相对移动终端的客户端软件上提供一个诸如“授权”的按钮，用户通过点击该按钮可以将相对移动终端的控制权限授予与相对移动终端当前建立起通信连接的本移动终端，同时“授权”按钮转变为“已授权”状态，若再次点击所述“已授权”状态的按钮，可以撤回授予本移动终端的控制权限。进一步的，本发明实施例中，图像流传输是双向传输的，故本移动终端同样可以将其控制权限授予相对移动终端，以使相对移动终端完成如前所述的指令模拟转化功能。

进一步的，在相对移动终端根据第二控制指令执行相应的操作之后，其传输至本移动终端的界面图像流也实时更新，本移动终端亦实时更新所接收到的相对移动终端的界面图像流的显示内容。

本发明的一种应用场景为游戏场景，如图6所示，用户A与用户B通过建立连接后互相传输本地特定区域内的界面图像内容，在用户A进行游戏的时候实时观测用户B的游戏画面，在协助性、合作性较强的游戏中用户A与用户B能更好地根据对方的实时状态作出游戏判断和响应。

本发明的另一应用场景为教学场景，用户A与用户B通过建立连接后互相传输本地特定区域内的界面图像内容，用户A熟悉某一操作如软件安装而要教用户B以授之以渔，此时通过实时的画面传输一步步地进行演示，同时用户B在观看用户A的操作的同事亦可以在本地进行同步操作，达到更好的教学效果。

本发明的另一应用场景为内容分享，用户A与用户B通过建立连接后互相传输本地特定区域内的界面图像内容，用户A跟用户B就共同的拍摄主题进行拍摄照片后，用户A此刻要分享拍摄的照片给用户B，同时用户B亦要分享拍摄的照片给用户A，同时将两者的照片进行对比，此时通过双向传输的界面图像可以更好地在实现用户A、用户B间的照片相互观看、对比。

第二方面，如图7所示是本发明移动终端远程控制装置的一实施例示意图，包括：

连接模块100：用于与相对移动终端建立远程连接通道。

在实现远程控制之前，需要连接模块100建立本移动终端与相对移动终端的远程连接通道。具体的，本移动终端与相对移动终端上均配置有执行远程控制功能的功能模块，该功能模块可以是安装于移动终端上的客户端软件或者内置于移动终端操作***的插件，下述以安装于移动终端上的客户端软件为例进行说明。用户通过唯一账号登录客户端，客户端相应获取移动终端的特征信息如屏幕尺寸、屏幕分辨率、唯一识别标识码等，然后将用户账号关联于移动终端的特征信息上传到云端服务器，云端服务器为每一个用户账号分配唯一的UID后与用户账号及移动终端的特征信息关联存储，不同用户通过对方用户账号即可查找到对方。

进一步的，本移动终端通过查找相对移动终端的用户账号后，连接模块100向云端服务器发送与相对移动终端建立连接的请求，云端服务器将本移动终端的连接请求发送至相对移动终端，待所述相对移动终端确认后建立本移动终端与相对移动终端的远程连接通道。所述远程连接通道为数据报文传输通道，位于通道两端的双方分别扮演着客户机跟流媒体服务器的角色，利用该远程连接通道实现双方的数据传输。具体的，在建立本移动终端与相对移动终端的远程连接通道时，需要确认双方采用何种方式、何种协议来传递信令、建立通道，本实施例采用WebSocket并基于XMPP协议来传输信令、建立通道，通过该通道确定本移动终端与相对移动终端的IP地址、端口、及双方所支持的编解码器类别和视频分辨率、码率等信息。

传输模块200：用于通过所述连接通道接收相对移动终端传输的本地界面图像流，同步将本移动终端的本地界面图像流传输给相对移动终端，以供所述相对移动终端将之叠加到其本地界面图像上输出显示。

通过建立的远程连接通道，利用WebRTC实现本移动终端与相对移动终端的视讯音讯传输，WebRTC是网页实时通信(Web Real-Time Communication)的缩写，可以支持网页浏览器进行实时语音对话和/或视频对话，WebRTC提供了视频语音会话的核心技术，包括音视频的采集、编解码、网络传输、显示等功能，并且支持跨平台如Windows，Linux，Mac，Android等平台的使用，WebRTC底层基于SRTP和UDP，通过浏览器提供简单的JavaScript就可以达到实时通讯能力，并且对于弱网情况下优化空间大。本实施例中，通过获取移动终端的屏幕图像及麦克风采集获得视频、音频的同步流，相应的，所述安装于移动终端的客户端软件也基于WebRTC进行设计，可以理解为客户端软件是基于浏览器/Web进行设计的，本移动终端和相对移动终端通过该客户端软件实现音频视频对话。

利用WebRTC实现本移动终端与相对移动终端通过远程连接通道之间的流数据传输，该流数据连接通道是点对点的，不需要经过云端服务器的中转，云端服务器在建立本移动终端与相对移动终端的远程连接通道、传输图像流过程中，只需完成中转信令以建立所述远程连接通道，后续本移动终端与相对移动终端的流数据传输均无需再通过云端服务器。

本发明的一种实施例，本移动终端/相对移动终端即充当客户机又充当流媒体服务器，即相对移动终端将其本地界面图像流传输至充当流媒体服务器的本移动终端，同时本移动终端也将其本地界面图像流传输至充当客户机的相对移动终端，以供相对移动终端将该图像流叠加到本地界面图像上输出显示。本实施例通过将相对移动终端的流数据通过远程连接通道直接传输至本移动终端，数据流无需经过云端服务器进行中转，避免客户端软件上传流数据到云端服务器和云端服务器转发流数据到客户端软件所造成的传输效率低的问题。

可以理解的是，本发明优选采用本移动终端与相对移动终端之间的点对点传输的方案，当点对点传输失败时，再通过云端服务器进行数据流的中转，即相对移动终端将其本地界面图像流上传到云端服务器，本移动终端从云端服务器上拉取相对移动终端上传的图像流，并且本移动终端同步地将自身的本地界面图像流上传到云端服务器，相对移动终端亦可从云端服务器上拉取本移动终端上传的图像流，并将该图像流叠加到本地界面图像上输出显示。

优选的，所述本移动终端或是相对移动终端所传输的本地界面图像为移动终端上特定区域的界面图像，如图2所示，相对移动终端截取其用户界面上箭头指向的框线内的图像作为所述本地界面图像流，然后将该本地界面图像流通过已建立的远程连接通道传输至本移动终端，本移动终端接收该图像流的同时，同步将本移动终端的本地界面图像流传输至相对移动终端。

显示模块300：用于将其所接收的所述相对移动终端的本地界面图像流叠加到自身本地界面图像上输出显示。

本移动终端接收到相对移动终端所传输的界面图像流后，将其叠加到本地界面图像上进行输出显示，优选的，所述相对移动终端的界面图像在本移动终端上以悬浮窗的形式输出显示。并且，优选的，当本移动终端在输出显示相对移动终端的界面图像时同步将自身的本地界面图像传输至相对移动终端的时候，本移动终端截取的本地的界面图像不涵盖相对移动终端在本移动终端上输出显示的悬浮窗画面，即本移动终端所截取的界面图像为悬浮窗底层的本移动终端原有的界面图像，如图3所示是本移动终端将接收到的相对移动终端的界面图像(图3中箭头指向的框线内的部分)在自身的本地界面图像上叠加后输出的显示效果示意图。

在以悬浮窗展示所接收到的相对移动终端的界面图像后，接收作用于悬浮窗的操作指令，悬浮窗根据所述操作指令执行对应的操作，所述操作指令包括如下指令：

本发明一种实施例，所述悬浮窗接收作用于其上的缩放指令，将悬浮窗的长、宽等比例地放大/缩小。

本发明另一种实施例，所述悬浮穿接收作用于其上的移动指令，将所述悬浮窗移动到指定位置处展示。

本发明另一种实施例，所述悬浮穿接收作用于其上的隐藏指令，将悬浮窗缩小为以一个标识图标展示在本移动终端的用户界面上，相应地，在接收到作用于该标识图标的展示指令后，将隐藏前的悬浮窗重新展现在本移动终端的用户界面上。

本发明另一种实施例，所述悬浮窗接收作用于其上的关闭指令，本移动终端将接收到的展示相对移动终端的本地界面图像流的悬浮窗关闭，同时，关闭本移动终端向相对移动终端发送本地界面图像的端口，更优选的，断开本移动终端与相对移动终端的远程连接。

进一步的，所述装置还包括指令模拟模块400：用于在本移动终端输出显示所接收到的相对移动终端的界面图像后，响应作用于该界面图像上的第一控制指令，根据预设的指令映射关系将第一控制指令模拟为作用在相对移动终端上的第二控制指令，以让所述相对移动终端根据所述第二控制指令后执行相应的操作。

具体的，所述相对移动终端上截取的界面图像在本移动终端上显示时其长宽等比例放大/缩小，然后指令模拟模块400根据指令映射关系将作用在相对移动终端界面图像上的触控操作、滑动操作等模拟为作用在相对移动终端上对应位置的触控操作、滑动操作，例如本实施例中实现将第一控制指令模拟为第二控制指令的实施方式如下：如图4所示是本移动终端上显示的相对移动终端的界面图像的像素图(18px*12px)，、图5所示是相对移动终端截取、传输的其本地界面图像的像素图(9px*6px)，其中每一个方格代表一个像素点，本移动终端以2倍的比例放大显示相对移动终端所截取、传输的界面图像，在本移动终端上显示的相对移动终端传输的画面区域，以一个二维坐标系建立起该区域内的每一像素点的确定关系，即该区域上的任何一像素点都对应有唯一的一个坐标，根据该像素点的坐标与缩放比例确定该像素点对应于相对终端上的所截取的特定区域内的目标像素点，假如用户点击图4中坐标为(8,8)的灰色像素点时，根据映射关系，在相对移动终端所截取的界面图像中即坐标为(4,4)的目标像素点，也即为图5中的灰色像素点。故若在本移动终端上点击显示区域中坐标(8,8)的像素点，经过转化后则模拟为点击相对移动终端上所截取区域中坐标(4,4)的像素点，以此就将作用于本移动终端上的第一控制指令模拟为作用于相对移动终端上的第二控制指令，然后相对移动终端根据所述第二控制指令执行相应的操作。可以理解的是，所述将第一控制指令模拟为第二控制指令的过程可以由本移动终端完成、或由云端服务器完成、或由相对移动终端完成，其实现原理均与上述相同。

优选地，指令模拟模块400包括授权单元401，用于在所述相对移动终端将其控制权限授予本移动终端后，执行指令模拟操作。

本发明实施例中，只有在相对移动终端将其控制权限授予本移动终端后，才能完成所述指令模拟转化操作。具体的，可在相对移动终端的客户端软件上提供一个诸如“授权”的按钮，用户通过点击该按钮可以将相对移动终端的控制权限授予与相对移动终端当前建立起通信连接的本移动终端，同时“授权”按钮转变为“已授权”状态，若再次点击所述“已授权”状态的按钮，可以撤回授予本移动终端的控制权限。进一步的，本发明实施例中，图像流传输是双向传输的，故本移动终端同样可以将其控制权限授予相对移动终端，以使相对移动终端完成如前所述的指令模拟转化功能。

进一步的，在相对移动终端根据第二控制指令执行相应的操作之后，其传输至本移动终端的界面图像流也实时更新，显示模块300亦实时更新所接收到的相对移动终端的界面图像流的显示内容。

另外，本发明还提供一种移动终端，用于实现移动终端远程控制方法，如图8所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以移动终端为手机为例：

图8示出的是与本发明实施例提供的移动终端相关的手机的部分结构的框图。参考图8，手机包括：基带处理模块810、存储器820、输入单元830、显示单元840、传感器850、音频电路860、无线保真(wireless fidelity，WiFi)模块870、处理器880、以及电源890等部件。本领域技术人员可以理解，图8中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

基带处理模块810可用于合成即将发射的基带信号，或对接收到的基带信号进行解码。具体地说，就是发射时把音频信号编译成用来发射的基带码；接收时，把收到的基带码解译为音频信号。同时，也负责地址信息(手机号、网站地址)、文字信息(短讯文字、网站文字)、图片信息(彩信)的编译。

存储器820可用于存储软件程序以及模块，处理器880通过运行存储在存储器820的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元830可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元830可包括触控面板831以及其他输入设备832。触控面板831，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板831上或在触控面板831附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器880，并能接收处理器880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板831。除了触控面板831，输入单元830还可以包括其他输入设备832。具体地，其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元840可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元840可包括显示面板841，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板841。进一步的，触控面板831可覆盖显示面板841，当触控面板831检测到在其上或附近的触摸操作后，传送给处理器880以确定触摸事件的类型，随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图8中，触控面板831与显示面板841是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板831与显示面板841集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器850，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板841的亮度，接近传感器可在手机移动到耳边时，关闭显示面板841和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路860、扬声器861，传声器862可提供用户与手机之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声音信号输出；另一方面，传声器862将收集的声音信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出处理器880处理后，经RF电路810以发送给比如另一手机，或者将音频数据输出至存储器820以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块870，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器880是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器880可包括一个或多个处理单元；优选的，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器880中。

手机还包括给各个部件供电的电源890(比如电池)，优选的，电源可以通过电源管理***与处理器880逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本发明实施例中，该终端所包括的处理器880还具有以下功能：

与相对移动终端建立远程连接通道；

通过所述连接通道接收相对移动终端传输的本地界面图像流，同步将本移动终端的本地界面图像流传输给相对移动终端，以供所述相对移动终端将之叠加到其本地界面图像上输出显示；

将其所接收的所述相对移动终端的本地界面图像流叠加到自身本地界面图像上输出显示。

综上所述，本发明将本移动终端与相对移动终端两者的界面图像流通过双向传输，使得在进行远程控制时终端用户相互间可以看到对方的界面图像，提高远程控制的直观效果，使得远程控制所达到的诸如教学目的更加高效、便捷。同时，本移动终端与相对移动终端的界面图像流的双向传输，增添了多样化的远程控制功能，如远程教学、远程分享、远程办公等功能，为用户带来更多的便利。

同时，本移动终端在接收到相对移动终端所传输的界面图像后，通过悬浮窗的形式将其叠加、呈现在本地的用户界面上，不仅可以观测到相对移动终端所传输的画面内容，同时可以进行本移动终端上的其它操作，让用户更加方便地在远程控制状态与非远程控制状态下自由切换。并且，悬浮窗的大小显示可由用户自行控制，达到最协调的观看与操作并存的效果，同时，相对移动终端的控制权限可由用户自行开启或关闭，最大程序地保护用户的隐私。

进一步的，本发明的远程控制方法利用可实现点对点传输的功能模块实现，打破现有的远程控制终端限制，实现跨品牌移动终端间的远程控制，让不同品牌的终端的用户亦可以自由地实现终端远程控制。同时，在本移动终端与相对移动终端双向传输各自的界面图像时通过点对点传输，降低云端服务器的负荷，提高画面图像的清晰度及流畅度。

虽然上面已经示出了本发明的一些示例性实施例，但是本领域的技术人员将理解，在不脱离本发明的原理或精神的情况下，可以对这些示例性实施例做出改变，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种移动终端远程控制方法，其特征在于，包括如下步骤：

本移动终端与相对移动终端建立远程连接通道；

本移动终端通过所述连接通道接收相对移动终端传输的本地界面图像流，同步将本移动终端的本地界面图像流传输给相对移动终端，以供所述相对移动终端将之叠加到其本地界面图像上输出显示；

本移动终端将其所接收的所述相对移动终端的本地界面图像流叠加到自身本地界面图像上输出显示。

2.根据权利要求1所述的方法，其特征在于，所述本移动终端与相对移动终端传输的本地界面图像为用户自行选定的移动终端用户界面上的特定区域的图像。

3.根据权利要求1所述的方法，其特征在于，所述本移动终端与相对移动终端通过云端服务器确认双方的配置信息并依此建立所述远程连接通道。

4.根据权利要求3所述的方法，其特征在于，所述配置信息包括用户账号信息及移动终端的特征信息，所述移动终端的特征信息包括移动终端的屏幕尺寸、屏幕分辨率、唯一识别标识码。

5.根据权利要求1所述的方法，其特征在于，所述本移动终端与相对移动终端的图像流传输为点对点传输。

6.根据权利要求1所述的方法，其特征在于，所述本移动终端接收到的相对移动终端传输的本地界面图像流在本移动终端上以悬浮窗展示。

7.根据权利要求1所述的方法，其特征在于，还包括步骤：

本移动终端接收作用于所述相对移动终端的界面图像上的第一控制指令，基于建立的指令映射关系将所述第一控制指令模拟为作用于相对移动终端上的第二控制指令，以让所述相对移动终端根据所述第二控制指令后执行相应的操作。

8.根据权利要求7所述的方法，其特征在于，在所述相对移动终端将其控制权限授予本移动终端后，再执行指令模拟转化步骤。

9.一种移动终端远程控制装置，其特征在于，包括：

连接模块：用于与相对移动终端建立远程连接通道；

传输模块：用于通过所述连接通道接收相对移动终端传输的本地界面图像流，同步将本移动终端的本地界面图像流传输给相对移动终端，以供所述相对移动终端将之叠加到其本地界面图像上输出显示；

显示模块：用于将其所接收的所述相对移动终端的本地界面图像流叠加到自身本地界面图像上输出显示。

10.一种移动终端，其特征在于，包括：

触敏显示器；

存储器；

一个或多个处理器；

所述一个或多个处理器被配置为用于执行如权利要求1～8所述任意一项所述方法的步骤。