CN111459437A - 一种远程屏幕的控制方法、受控端、控制端及*** - Google Patents

一种远程屏幕的控制方法、受控端、控制端及*** Download PDF

Info

Publication number
CN111459437A
CN111459437A CN202010249955.6A CN202010249955A CN111459437A CN 111459437 A CN111459437 A CN 111459437A CN 202010249955 A CN202010249955 A CN 202010249955A CN 111459437 A CN111459437 A CN 111459437A
Authority
CN
China
Prior art keywords
control
screen
network server
controlled end
controlled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010249955.6A
Other languages
English (en)
Inventor
罗治华
林刚
蒋轶夫
段云朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Infogo Tech Co ltd
Original Assignee
Hangzhou Infogo Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Infogo Tech Co ltd filed Critical Hangzhou Infogo Tech Co ltd
Priority to CN202010249955.6A priority Critical patent/CN111459437A/zh
Publication of CN111459437A publication Critical patent/CN111459437A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种远程屏幕的控制方法、受控端、控制端及***，所述方法仅需在受控端上安装客户端应用程序，控制端再通过浏览器访问网络服务器，即可实现对受控端的远程屏幕控制，控制端无需安装客户端应用程序，大大简化了操作步骤，且该方法无需对受控端root即可完成远程控制，进一步简化了操作步骤，提高了远程屏幕的控制效率，达到远程协助受控端使用者操作该受控端的目的，有助于残障人士使用手机等移动终端。

Description

一种远程屏幕的控制方法、受控端、控制端及***
技术领域
本发明属于计算机技术领域，尤其涉及一种远程屏幕的控制方法、受控端、控制端及***。
背景技术
远程屏幕是一种利用控制端（本端）计算机操控受控端（远端）计算机的技术，其原理是将受控端计算机的屏幕重定向到控制端计算机，用于通过操作控制端计算机的虚拟屏幕可等同操作受控端计算机的屏幕。远程屏幕广泛应用于远程企业会议、远程移动办公以及远程技术指导等。
目前国内外著名的Windows远程屏幕控制软件有TeamViewer，VNC，向日葵等，无论使用哪一种远程屏幕控制软件，一方面，受控端和控制端均需要安装指定的客户端应用程序，操作繁琐；另一方面需要对受控端root（提权，具有root权限），这样会导致受控端数据清除，且如果批量root，需要一台一台去操作，耗时长，操作繁琐。
发明内容
针对现有技术的不足，本发明提供一种远程屏幕的控制方法、受控端、控制端及***，以解决传统方法需要受控端和控制端均安装客户端程序等问题。
本发明是通过如下的技术方案来解决上述技术问题的：一种远程屏幕的控制方法，包括：
步骤1：获取受控端屏幕的原始视频数据，并将所述原始视频数据编码压缩为视频流，发送给网络服务器；
步骤2：控制端通过访问网页从所述网络服务器中读取所述视频流，并解码播放，实现受控端屏幕在控制端访问网页上的实时显示；
步骤3：在网页实时显示的受控端屏幕上执行相应操作，并将触发的操作指令发送给网络服务器；
步骤4：受控端接收从网络服务器转送的操作指令，并模拟操作指令在受控端屏幕上进行操作；
步骤5：通过步骤1和2的屏幕实时显示，在控制端访问网页上实时获取操作过程中以及操作后的受控端屏幕，即实现受控端屏幕在控制端访问网页上的远程操作。
本发明的控制方法，受控端与网络服务器之间建立通信连接，仅受控端需要安装客户端应用程序，控制端则只需要通过浏览器访问网络服务器，即可实现控制端对受控端屏幕的远程操作和控制，控制端无需安装客户端应用程序，大大简化了操作步骤，且该方法无需对受控端root即可完成远程控制，进一步简化了操作步骤，提高了远程屏幕的控制效率，达到了远程协助受控端使用者操作该受控端的目的。
进一步地，所述受控端与网络服务器之间通过WebSocket协议进行通信连接；所述网络服务器与控制端之间通过WebSocket协议进行通信连接。WebSocket协议是一种基于TCP的网络协议，该协议实现了受控端与服务器、控制端浏览器与服务器的全双工通信，能更好地节省服务器资源和带宽并达到实时通讯的目的。
进一步地，在步骤1之前，先建立所述受控端与控制端之间的控制连接，所述控制连接的具体建立方法为：
所述控制端向受控端发起远程控制请求；
所述受控端接收并允许远程控制请求后，在受控端发起录屏请求，受控端允许录屏请求；
在所述受控端发起权限开通请求，受控端允许权限开通请求。
进一步地，所述步骤3中，操作指令包括点击指令或拖动指令。
进一步地，所述点击指令或拖动指令的判断依据为：如果结束坐标与开始坐标之间的像素差不超过10像素，则为点击指令，否则为拖动指令。
进一步地，所述控制端为PC机。
进一步地，所述受控端为自带录屏API的移动终端。
本发明还提供一种远程屏幕的受控端，所述受控端与网络服务器之间通过基于TCP的网络协议进行通信连接；所述网络服务器与控制端之间通过基于TCP的网络协议进行通信连接，所述受控端包括：
身份认证模块，用于完成受控端在网络服务器上的身份认证；
请求处理和发起模块，用于接收和处理网络服务器发送的远程控制请求，发起和处理录屏请求，以及发起和处理权限开通请求；
视频编码模块，用于在权限开通后，获取受控端屏幕的原始视频数据，并将其编码压缩为视频流后发送给所述网络服务器；
指令接收模块，用于接收从网络服务器转送来的操作指令；
屏幕控制模块，用于模拟所述操作指令在受控端屏幕上进行操作控制。
本发明还提供一种远程屏幕的控制端，所述控制端与网络服务器之间通过基于TCP的网络协议进行通信连接；所述网络服务器与受控端之间通过基于TCP的网络协议进行通信连接；所述控制端包括：
列表获取模块，用于从网络服务器获取所有完成身份认证的受控端的列表；
请求发出模块，用于选择受控端并对所选择的受控端发出远程控制请求；
视频解码模块，用于将从所述网络服务器获取的视频流解码；
视频播放模块，用于播放解码后的视频流，实现受控端屏幕在控制端访问网页上的实时显示；
指令发送模块，用于在网页实时显示的受控端屏幕上执行相应操作，并将触发的操作指令发送给网络服务器。
本发明还提供一种远程屏幕的控制***，包括：受控端、控制端以及网络服务器；所述受控端与网络服务器之间通过基于TCP的网络协议进行通信连接；所述网络服务器与控制端之间通过基于TCP的网络协议进行通信连接，所述受控端包括：
身份认证模块，用于完成受控端在网络服务器上的身份认证；
请求处理和发起模块，用于接收和处理网络服务器发送的远程控制请求，发起和处理录屏请求，以及发起和处理权限开通请求；
视频编码模块，用于在权限开通后，获取受控端屏幕的原始视频数据，并将其编码压缩为视频流后发送给所述网络服务器；
指令接收模块，用于接收从网络服务器转送来的操作指令；
屏幕控制模块，用于模拟所述操作指令在受控端屏幕上进行操作控制；
所述控制端包括：
列表获取模块，用于从网络服务器获取所有完成身份认证的受控端的列表；
请求发出模块，用于选择受控端并对所选择的受控端发出远程控制请求；
视频解码模块，用于将从所述网络服务器获取的视频流解码；
视频播放模块，用于播放解码后的视频流，实现受控端屏幕在控制端访问网页上的实时显示；
指令发送模块，用于在网页实时显示的受控端屏幕上执行相应操作，并将触发的操作指令发送给网络服务器。
有益效果
与现有技术相比，本发明所提供的一种远程屏幕的控制方法、受控端、控制端及***，受控端与网络服务器之间建立通信连接，仅受控端需要安装客户端应用程序，控制端则只需要通过浏览器访问网络服务器，即可实现控制端对受控端屏幕的远程操作和控制，控制端无需安装客户端应用程序，大大简化了操作步骤，且该方法无需对受控端root即可完成远程控制，进一步简化了操作步骤，提高了远程屏幕的控制效率，达到了远程协助受控端使用者操作该受控端的目的，有助于残障人士使用手机等移动终端。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中远程屏幕控制方法的流程图；
图8是本发明实施例中远程屏幕控制原理框图；
图2是本发明实施例中IMC远程管理模块的示意图；
图3是本发明实施例中控录屏对话框示意图；
图4是本发明实施例中受控端屏幕在控制端上的实时显示图；
图5是本发明实施例中“辅助功能”对话框示意图；
图6是本发明实施例中打开IMC权限示意图；
图7是本发明实施例中IMC权限打开的确定示意图；
图9是本发明实施例中完成控制连接后受控端屏幕在控制端上的实时显示图；
图10是本发明实施例中点击指令和拖动指令的操作示意图；
图11是本发明实施例中远程桌面控制***的网络架构图；
图12是本发明实施例中远程桌面控制***的控制时序图；
其中，1-移动终端1（受控端），2-移动终端2（受控端），3-网络服务器，4-防火墙，5-PC机（控制端）。
具体实施方式
下面结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1和2所示，一种远程屏幕的控制方法，受控端与网络服务器之间通过WebSocket协议进行通信连接；网络服务器与控制端之间通过WebSocket协议进行通信连接，受控端为自带录屏API的移动终端，控制端为PC机，具体方法包括：
1、受控端与控制端之间通过网络服务器建立控制连接
在受控端下载并安装客户端应用程序，并且在客户端应用程序上完成身份认证（即注册），所有完成身份认证的受控端均存储在网络服务器上，在控制端通过浏览器访问网页而从网络服务器上获取所有完成身份认证的受控端的列表，当需要进行远程控制时，从列表中找到该受控端，并向该受控端发起远程控制请求，受控端接收并允许远程控制请求后，在受控端发起录屏请求（受控端自带录屏API），受控端允许录屏请求；然后在受控端发起权限开通请求，受控端允许权限开通请求，即通过网络服务器建立了受控端与控制端之间的控制连接。
2、获取受控端屏幕的原始视频数据，并将原始视频数据编码压缩为视频流，发送给网络服务器。
在控制连接建立后，受控端通过自带的录屏API获取其屏幕的原始视频数据，并将原始视频数据编码压缩成H264格式的视频流，再发送给网络服务器，以供控制端从网络服务器获取。
3、控制端通过浏览器访问网页从网络服务器中读取H264格式的视频流，并解码播放，受控端屏幕就在控制端访问网页上实时显示。
4、在网页实时显示的受控端屏幕上执行相应操作，并将触发的操作指令发送给网络服务器。
5、受控端接收从网络服务器转送的操作指令，并模拟操作指令在受控端屏幕上进行操作。
操作指令包括点击指令或拖动指令，设点击指令在控制端显示的手机屏幕上点击屏幕位置的坐标为（x，y），那么在模拟操作时在受控端屏幕上点击位置的坐标就为（x，y）；拖动指令在控制端显示的手机屏幕上从一个位置拖动到另一个位置，开始坐标为（startX，startY），结束坐标为（stopX，stopY），那么在模拟操作时在受控端屏幕上就从坐标（startX，startY）滑动到坐标（stopX，stopY）。通过点击指令和拖动指令可以在受控端上模拟点击和滑动，实现对受控端的控制操作，再通过录屏API将受控端屏幕实时显示在控制端的访问网页上，即实现了控制端对受控端的远程屏幕控制和操作。
点击指令和拖动指令的判断依据为：如果结束坐标与开始坐标之间的像素差不超过10像素，则为点击指令，否则为拖动指令。
6、通过步骤1和2的屏幕实时显示，在控制端访问网页上实时获取操作过程中以及操作后的受控端屏幕，即实现受控端屏幕在控制端访问网页上的远程操作。
实施例2
以XX移动设备管理***（Infogo Mobile Control System,IMC）来实现远程屏幕控制为例来说明本发明的远程屏幕控制方法、受控端、控制端及控制***。XX移动设备管理***为现有技术，可以通过电脑的浏览器访问，具体访问地址为：http://cs.infogo.cn:9292/tp/login.html。XX移动设备管理***是基于EMM框架开发的一种移动终端管理平台，专注于移动终端的设备管理，APP管理，内容管理，远程管理以及网络准入控制等等，以满足单位客户对移动终端安全管理的需求，其具体介绍可参考http://www.infogo.com.cn/imc.aspx。
本实施例中，受控端为具有安卓***7.0及以上版本的手机（自带录屏API（Application Programming Interface）），受控端还可以为安卓PAD，控制端为电脑（或PC机），控制端还可以为手机、IPAD等移动终端，具体操作步骤包括：
1、在手机上安装XX移动设备管理***的客户端应用程序（APP），且完成手机在XX移动设备管理***APP上的身份认证。
手机通过浏览器访问XX移动设备管理***，下载并安装APP，再在AAP上完成注册，即完成了该手机在APP上的身份认证，完成身份认证的手机在XX移动设备管理***的列表中均有显示，该列表存储在网络服务器上。
2、在电脑上通过浏览器访问XX移动设备管理***，从网络服务器获取的列表中找到需要远程控制的手机，并建立该手机与电脑之间的控制连接，即可对该手机的远程屏幕控制操作。
手机与网络服务器之间通过WebSocket协议进行通信连接，网络服务器与电脑之间通过WebSocket协议进行通信连接，WebSocket协议实现了手机与网络服务器、电脑浏览器与网络服务器的全双工通信，能更好地节省服务器资源和带宽并达到实时通讯的目的。
手机与电脑之间控制连接的具体建立方法为：
2.1 在电脑浏览器访问的XX移动设备管理***，在列表中选择受控手机，再在远程管理模块下点击“远程控制”（如图3，即控制端向受控端发送远程控制请求）。
2.2 在手机上弹出允许对话框（即受控端接收远程控制请求并允许）；在允许远程控制后，再在手机上弹出录屏对话框，点击录屏对话框上的“立即开始”（如图4所示，即受控端发起录屏请求并允许录屏请求），实现手机屏幕在电脑上的实时显示（如图5所示）。
2.3 屏幕实时显示后，在手机上弹出“辅助功能”对话框（如图6所示，辅助功能授权），点击“设置”，打开IMC权限（如图7所示），再点击“确定”（如图8所示，即受控端发起权限开通请求，并允许权限开通请求），即完成手机与电脑之间的控制连接。
在手机与电脑之间建立好控制连接后，就可以在电脑浏览器显示的手机屏幕上进行操作，即实现对手机的远程屏幕控制操作。
3、APP调用录屏API MediaProjectionManager.createScreenCaptureIntent()开启录屏，采用录屏API直接获取手机屏幕的原始视频数据，将原始视频YUV格式数据编码压缩为H264格式视频流，并通过WebSocket协议发送给网络服务器。
4、控制端浏览器访问的XX移动设备管理***上通过WebSocket协议从网络服务器获取H264格式视频流，并解码播放，实现手机屏幕在电脑上的实时显示，如图5和9所示。
5、将在电脑浏览器显示的手机屏幕上执行相应操作，并将触发的操作指令通过WebSocket协议发送给网络服务器。
6、手机通过WebSocket协议接收从网络服务器转送的操作指令，并模拟操作指令在受控端屏幕上进行操作。
操作指令包括点击指令和拖动指令，设点击指令在电脑显示的手机屏幕上点击屏幕位置的坐标为（100px，500px），那么在模拟操作时在手机屏幕上点击位置的坐标就为（100px，500px）；拖动指令在电脑显示的手机屏幕上从一个位置拖动到另一个位置，开始坐标为（100px，800px），结束坐标为（500px，800px），那么在模拟操作时在手机屏幕上就从坐标（100px，800px）滑动到坐标（500px，800px），如图10所示。通过点击指令和拖动指令可以在手机上模拟点击和滑动，实现对手机的控制操作，再通过录屏API将手机屏幕实时显示在电脑的窗口上，即实现了电脑对手机的远程屏幕控制和操作。
7、通过步骤3和4的屏幕实时显示，在电脑浏览器访问的XX移动设备管理***上实时获取操作过程中以及操作后的手机屏幕，即实现手机屏幕的远程操作。
本发明的控制方法，仅受控端需要安装APP，控制端则只需要通过浏览器访问网络服务器，即可实现对受控端的远程屏幕控制，控制端无需安装，大大简化了操作步骤，且该方法无需对受控端root即可完成远程控制，进一步简化了操作步骤，提高了远程屏幕的控制效率，达到远程协助受控端使用者操作该受控端的目的。
实施例3
本发明还提供一种远程屏幕的受控端，所述受控端与网络服务器之间通过基于TCP的网络协议进行通信连接；所述网络服务器与控制端之间通过基于TCP的网络协议进行通信连接，所述受控端包括：
身份认证模块，用于完成受控端在网络服务器上的身份认证；
请求处理和发起模块，用于接收和处理网络服务器发送的远程控制请求，发起和处理录屏请求，以及发起和处理权限开通请求；
视频编码模块，用于在权限开通后，获取受控端屏幕的原始视频数据，并将其编码压缩为视频流后发送给所述网络服务器；
指令接收模块，用于接收从网络服务器转送来的操作指令；
屏幕控制模块，用于模拟所述操作指令在受控端屏幕上进行操作控制。
本发明还提供一种远程屏幕的控制端，所述控制端与网络服务器之间通过基于TCP的网络协议进行通信连接；所述网络服务器与受控端之间通过基于TCP的网络协议进行通信连接；所述控制端包括：
列表获取模块，用于从网络服务器获取所有完成身份认证的受控端的列表；
请求发出模块，用于选择受控端并对所选择的受控端发出远程控制请求；
视频解码模块，用于将从所述网络服务器获取的视频流解码；
视频播放模块，用于播放解码后的视频流，实现受控端屏幕在控制端访问网页上的实时显示；
指令发送模块，用于在网页实时显示的受控端屏幕上执行相应操作，并将触发的操作指令发送给网络服务器。
如图11所示，本发明还提供一种远程屏幕的控制***，包括：受控端、控制端以及网络服务器；所述受控端与网络服务器之间通过基于TCP的网络协议进行通信连接；所述网络服务器与控制端之间通过基于TCP的网络协议进行通信连接，所述受控端包括：
身份认证模块，用于完成受控端在网络服务器上的身份认证；
请求处理和发起模块，用于接收和处理网络服务器发送的远程控制请求，发起和处理录屏请求，以及发起和处理权限开通请求；
视频编码模块，用于在权限开通后，获取受控端屏幕的原始视频数据，并将其编码压缩为视频流后发送给所述网络服务器；
指令接收模块，用于接收从网络服务器转送来的操作指令；
屏幕控制模块，用于模拟所述操作指令在受控端屏幕上进行操作控制；
所述控制端包括：
列表获取模块，用于从网络服务器获取所有完成身份认证的受控端的列表；
请求发出模块，用于选择受控端并对所选择的受控端发出远程控制请求；
视频解码模块，用于将从所述网络服务器获取的视频流解码；
视频播放模块，用于播放解码后的视频流，实现受控端屏幕在控制端访问网页上的实时显示；
指令发送模块，用于在网页实时显示的受控端屏幕上执行相应操作，并将触发的操作指令发送给网络服务器。
如图12所示，本发明控制***的控制时序为：在受控端（即客户端）通过身份认证后，管理员在控制端访问的网页（即管理后台）上选择该受控端并发出远程控制请求，该远程控制请求通过WebSocket协议发送给网络服务器（即后台websocket服务器），网络服务器通知受控端开启远程控制，受控端接收远程控制请求并允许远程控制，受控端自开启自带的录屏功能，通过录屏API直接获取原始视频数据，并将原始视频数据编码成视频流后发送给网络服务器，在控制端未发出取消远程请求之前，受控端持续的向网络服务器发送视频流，使受控端的屏幕在控制端实时显示；控制端从网络服务器接收到视频流后，解码播放；在控制端的受控端屏幕内点击或拖动鼠标，点击或拖动指令传送给网络服务器，网络服务器再转发给受控端，在受控端屏幕上模拟点击或滑动屏幕，受控端持续发送视频流给网络服务器，网络服务器再将视频流发送给控制端，在控制端浏览器访问的网页上解码播放，即在控制端访问网页上实时获取操作过程中以及操作后的受控端屏幕，实现了受控端屏幕在控制端访问网页上的远程操作。
以上所揭露的仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或变型，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种远程屏幕的控制方法，其特征在于，包括：
步骤1：获取受控端屏幕的原始视频数据，并将所述原始视频数据编码压缩为视频流，发送给网络服务器；
步骤2：控制端通过访问网页从所述网络服务器中读取所述视频流，并解码播放，实现受控端屏幕在控制端访问网页上的实时显示；
步骤3：在网页实时显示的受控端屏幕上执行相应操作，并将触发的操作指令发送给网络服务器；
步骤4：受控端接收从网络服务器转送的操作指令，并模拟操作指令在受控端屏幕上进行操作；
步骤5：通过步骤1和2的屏幕实时显示，在控制端访问网页上实时获取操作过程中以及操作后的受控端屏幕，即实现受控端屏幕在控制端访问网页上的远程操作。
2.如权利要求1所述的一种远程屏幕的控制方法，其特征在于：所述受控端与网络服务器之间通过WebSocket协议进行通信连接；所述网络服务器与控制端之间通过WebSocket协议进行通信连接。
3.如权利要求1或2所述的一种远程屏幕的控制方法，其特征在于：在步骤1之前，先建立所述受控端与控制端之间的控制连接，所述控制连接的具体建立方法为：
所述控制端向受控端发起远程控制请求；
所述受控端接收并允许远程控制请求后，在受控端发起录屏请求，受控端允许录屏请求；
在所述受控端发起权限开通请求，受控端允许权限开通请求。
4.如权利要求3所述的一种远程屏幕的控制方法，其特征在于：所述步骤3中，操作指令包括点击指令或拖动指令。
5.如权利要求4所述的一种远程屏幕的控制方法，其特征在于：所述点击指令或拖动指令的判断依据为：如果结束坐标与开始坐标之间的像素差不超过10像素，则为点击指令，否则为拖动指令。
6.如权利要求1所述的一种远程屏幕的控制方法，其特征在于：所述控制端为PC机。
7.如权利要求1所述的一种远程屏幕的控制方法，其特征在于：所述受控端为自带录屏API的移动终端。
8.一种远程屏幕的受控端，其特征在于：所述受控端与网络服务器之间通过基于TCP的网络协议进行通信连接；所述网络服务器与控制端之间通过基于TCP的网络协议进行通信连接，所述受控端包括：
身份认证模块，用于完成受控端在网络服务器上的身份认证；
请求处理和发起模块，用于接收和处理网络服务器发送的远程控制请求，发起和处理录屏请求，以及发起和处理权限开通请求；
视频编码模块，用于在权限开通后，获取受控端屏幕的原始视频数据，并将其编码压缩为视频流后发送给所述网络服务器；
指令接收模块，用于接收从网络服务器转送来的操作指令；
屏幕控制模块，用于模拟所述操作指令在受控端屏幕上进行操作控制。
9.一种远程屏幕的控制端，其特征在于：所述控制端与网络服务器之间通过基于TCP的网络协议进行通信连接；所述网络服务器与受控端之间通过基于TCP的网络协议进行通信连接；所述控制端包括：
列表获取模块，用于从网络服务器获取所有完成身份认证的受控端的列表；
请求发出模块，用于选择受控端并对所选择的受控端发出远程控制请求；
视频解码模块，用于将从所述网络服务器获取的视频流解码；
视频播放模块，用于播放解码后的视频流，实现受控端屏幕在控制端访问网页上的实时显示；
指令发送模块，用于在网页实时显示的受控端屏幕上执行相应操作，并将触发的操作指令发送给网络服务器。
10.一种远程屏幕的控制***，其特征在于，包括：受控端、控制端以及网络服务器；所述受控端与网络服务器之间通过基于TCP的网络协议进行通信连接；所述网络服务器与控制端之间通过基于TCP的网络协议进行通信连接，所述受控端包括：
身份认证模块，用于完成受控端在网络服务器上的身份认证；
请求处理和发起模块，用于接收和处理网络服务器发送的远程控制请求，发起和处理录屏请求，以及发起和处理权限开通请求；
视频编码模块，用于在权限开通后，获取受控端屏幕的原始视频数据，并将其编码压缩为视频流后发送给所述网络服务器；
指令接收模块，用于接收从网络服务器转送来的操作指令；
屏幕控制模块，用于模拟所述操作指令在受控端屏幕上进行操作控制；
所述控制端包括：
列表获取模块，用于从网络服务器获取所有完成身份认证的受控端的列表；
请求发出模块，用于选择受控端并对所选择的受控端发出远程控制请求；
视频解码模块，用于将从所述网络服务器获取的视频流解码；
视频播放模块，用于播放解码后的视频流，实现受控端屏幕在控制端访问网页上的实时显示；
指令发送模块，用于在网页实时显示的受控端屏幕上执行相应操作，并将触发的操作指令发送给网络服务器。
CN202010249955.6A 2020-04-01 2020-04-01 一种远程屏幕的控制方法、受控端、控制端及*** Pending CN111459437A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010249955.6A CN111459437A (zh) 2020-04-01 2020-04-01 一种远程屏幕的控制方法、受控端、控制端及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010249955.6A CN111459437A (zh) 2020-04-01 2020-04-01 一种远程屏幕的控制方法、受控端、控制端及***

Publications (1)

Publication Number Publication Date
CN111459437A true CN111459437A (zh) 2020-07-28

Family

ID=71684285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010249955.6A Pending CN111459437A (zh) 2020-04-01 2020-04-01 一种远程屏幕的控制方法、受控端、控制端及***

Country Status (1)

Country Link
CN (1) CN111459437A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112543348A (zh) * 2020-11-27 2021-03-23 深圳市慧为智能科技股份有限公司 远程录屏方法、装置、设备及计算机可读存储介质
CN113433860A (zh) * 2021-06-25 2021-09-24 山东齐鲁数通科技有限公司 一种桌面远程控制方法及***
CN113676556A (zh) * 2021-09-29 2021-11-19 山东云缦智能科技有限公司 基于WebSocket协议的屏幕控制***和方法
CN115103220A (zh) * 2022-07-15 2022-09-23 福建合诚信息科技有限公司 一种浏览器屏幕录制的远程控制方法
CN117112104A (zh) * 2023-08-24 2023-11-24 浙江远算科技有限公司 基于远程桌面网关的本地存储映射方法、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414751A (zh) * 2013-07-16 2013-11-27 广东工业大学 一种pc屏幕内容分享互动控制方法
CN104219314A (zh) * 2014-09-10 2014-12-17 珠海市君天电子科技有限公司 电子设备、远程控制电子设备的方法及***
WO2015117367A1 (zh) * 2014-08-21 2015-08-13 中兴通讯股份有限公司 远程协助的控制方法及装置
CN105807651A (zh) * 2016-03-03 2016-07-27 腾讯科技（深圳）有限公司 一种终端的远程控制方法、装置及***
CN107483576A (zh) * 2017-08-12 2017-12-15 厦门多米诺数据科技有限公司 一种对Android APP进行远程控制的***及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414751A (zh) * 2013-07-16 2013-11-27 广东工业大学 一种pc屏幕内容分享互动控制方法
WO2015117367A1 (zh) * 2014-08-21 2015-08-13 中兴通讯股份有限公司 远程协助的控制方法及装置
CN104219314A (zh) * 2014-09-10 2014-12-17 珠海市君天电子科技有限公司 电子设备、远程控制电子设备的方法及***
CN105807651A (zh) * 2016-03-03 2016-07-27 腾讯科技（深圳）有限公司 一种终端的远程控制方法、装置及***
CN107483576A (zh) * 2017-08-12 2017-12-15 厦门多米诺数据科技有限公司 一种对Android APP进行远程控制的***及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112543348A (zh) * 2020-11-27 2021-03-23 深圳市慧为智能科技股份有限公司 远程录屏方法、装置、设备及计算机可读存储介质
CN113433860A (zh) * 2021-06-25 2021-09-24 山东齐鲁数通科技有限公司 一种桌面远程控制方法及***
CN113676556A (zh) * 2021-09-29 2021-11-19 山东云缦智能科技有限公司 基于WebSocket协议的屏幕控制***和方法
CN115103220A (zh) * 2022-07-15 2022-09-23 福建合诚信息科技有限公司 一种浏览器屏幕录制的远程控制方法
CN117112104A (zh) * 2023-08-24 2023-11-24 浙江远算科技有限公司 基于远程桌面网关的本地存储映射方法、设备和介质
CN117112104B (zh) * 2023-08-24 2024-03-29 浙江远算科技有限公司 基于远程桌面网关的本地存储映射方法、设备和介质

Similar Documents

Publication Publication Date Title
CN111459437A (zh) 一种远程屏幕的控制方法、受控端、控制端及***
US10623500B2 (en) Remote desktop sharing and collaboration via image scanning
CN105025022B (zh) 一种远程代控方法及***
CN102761603A (zh) VDI环境下的网页flash视频重定向的方法
CN103942044A (zh) 移动终端应用内的远程协助方法及***
CN110694267A (zh) 一种云游戏实现方法及装置
US20140243083A1 (en) Apparatus and method of providing cloud service using game platform based on streaming
CN103067448B (zh) 设备控制方法与移动通信终端
CN107256153A (zh) 一种虚拟机rfb协议桌面分辨率自适应实现***和方法
CN106101794A (zh) 一种虚拟桌面视频数据的处理方法、装置及***
WO2024037110A1 (zh) 数据处理方法、装置、设备以及介质
CN104113570A (zh) 一种通过浏览器或软件程序直接访问Android终端桌面的方法及***
CN103051694A (zh) 移动通信终端控制设备的方法与移动通信终端
CN112449203A (zh) 一种游戏直播方法、装置、电子设备和存储介质
US20070073843A1 (en) Method and device for video projection
JP2007512560A5 (zh)
CN104007986A (zh) 跨***远程实时交互技术
JP2022515702A (ja) コンピューティング環境内での仮想デスクトップの提供
CN112653787A (zh) 显示方法、装置、存储介质及电子设备
CN107222783A (zh) 一种基于spice协议的视频重定向实现方法
CN108737337B (zh) 设备处理方法、装置、服务器及***
CN116149769A (zh) 基于远程窗口的虚拟应用***及方法
CN116233209A (zh) 一种gpu云渲染服务远程管理调度方法
KR102118298B1 (ko) 앱 공유 서비스를 위한 시스템, 서버, 단말, 및 방법
CN113825016A (zh) 视频渲染方法、装置、设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200728

RJ01 Rejection of invention patent application after publication