CN112804323B - 一种远程车载终端桌面控制***及方法 - Google Patents

一种远程车载终端桌面控制***及方法 Download PDF

Info

Publication number
CN112804323B
CN112804323B CN202110028769.4A CN202110028769A CN112804323B CN 112804323 B CN112804323 B CN 112804323B CN 202110028769 A CN202110028769 A CN 202110028769A CN 112804323 B CN112804323 B CN 112804323B
Authority
CN
China
Prior art keywords
vehicle
remote
desktop
mounted terminal
remote desktop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110028769.4A
Other languages
English (en)
Other versions
CN112804323A (zh
Inventor
汪志涛
林诚基
张怿坤
朱晓波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Intelligent Transportation Co ltd
Original Assignee
Shanghai Intelligent Transportation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Intelligent Transportation Co ltd filed Critical Shanghai Intelligent Transportation Co ltd
Priority to CN202110028769.4A priority Critical patent/CN112804323B/zh
Publication of CN112804323A publication Critical patent/CN112804323A/zh
Application granted granted Critical
Publication of CN112804323B publication Critical patent/CN112804323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/164—Adaptation or special uses of UDP protocol
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/0864—Round trip delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0882—Utilisation of link capacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种远程车载终端桌面控制***及方法，车载终端远程桌面模块与中转服务器之间按照UDP协议进行数据传输，基于UDP协议能够快速组包，避开复杂协议交互，直接把数据发送到服务器端；同时，车载终端远程桌面模块采用按照预设频率向中转服务器发送拥塞探测报文的方式，得知网络稳定性、数据拥塞情况和本地网络带宽紧张度，从而控制数据包发送间隔，避免拥塞和丢包，保证了远程数据传输的实时性。并且车载终端远程桌面模块将实时桌面数据进行拆包再发送，有效的降低了带宽使用率，避免了带宽浪费，同时也保证了数据包快速发送到远程桌面显示端。

Description

一种远程车载终端桌面控制***及方法
技术领域
本发明涉及远程控制技术领域，特别是涉及一种远程车载终端桌面控制***及方法。
背景技术
对于远程桌面控制，现有市场有不少比较好的解决方案，例如向日葵、TeamViewer、Anydesk等，但是这些方案都偏向于解决用户办公控制，或者远程协助。对于车载终端远程桌面控制，存在账号太多，难以管理、安全性不高、车载移动网络下效果差等问题。
发明内容
本发明的目的是提供一种远程车载终端桌面控制***及方法，以提高远程数据传输的实时性。
为实现上述目的，本发明提供了如下方案：
一种远程车载终端桌面控制***，所述***包括：车载桌面终端、车载终端远程桌面模块、中转服务器和远程桌面显示端；
所述车载终端远程桌面模块与所述车载桌面终端连接，所述车载终端远程桌面模块用于实时采集所述车载桌面终端的桌面数据；
所述车载终端远程桌面模块与所述中转服务器连接，所述车载终端远程桌面模块用于根据UDP协议采用按照预设频率向所述中转服务器发送拥塞探测报文的方式获得应答报文时延；
所述中转服务器与所述远程桌面显示端连接，所述中转服务器用于向所述车载终端远程桌面模块发送应答报文，并响应所述远程桌面显示端发送的远程桌面控制请求，根据所述远程桌面控制请求通过UDP协议向所述车载终端远程桌面模块发送远程访问指令；
所述车载终端远程桌面模块还用于在接受到所述远程访问指令后，分析得到所述远程访问指令的类型，生成远程操作指令，并将所述远程操作指令传输至所述车载桌面终端；
所述车载终端远程桌面模块还用于获取所述车载桌面终端根据所述远程操作指令进行操作的实时桌面数据，并根据所述应答报文时延，依照发送间隔与时延对应表，获得实时桌面数据的发送间隔，进而根据UDP协议采用拆包所述实时桌面数据并转换成桌面数据报文的方式按照所述发送间隔向中转服务器发送桌面数据报文；
所述中转服务器还用于根据所述UDP协议解析所述桌面数据报文，并将解析后的桌面数据发送至所述远程桌面显示端进行组合显示。
一种远程车载终端桌面控制方法，所述方法包括：
所述车载终端远程桌面模块根据UDP协议采用按照预设频率向所述中转服务器发送拥塞探测报文的方式获得应答报文时延；
所述车载终端远程桌面模块接收所述中转服务器发送的远程访问指令；所述远程访问指令为所述中转服务器响应远程桌面显示端发送的远程桌面控制请求，通过UDP协议采用封装所述远程桌面控制请求的方式获得；
所述车载终端远程桌面模块根据所述远程访问指令分析得到所述远程访问指令的类型，生成远程操作指令，并将所述远程操作指令传输至所述车载桌面终端；
所述车载终端远程桌面模块获取所述车载桌面终端根据所述远程操作指令进行操作的实时桌面数据；
所述车载终端远程桌面模块根据所述应答报文时延，依照发送间隔与时延对应表，获得实时桌面数据的发送间隔；
所述车载终端远程桌面模块根据UDP协议采用拆包所述实时桌面数据并转换成桌面数据报文的方式按照所述发送间隔将所述桌面数据报文发送至所述中转服务器进行UDP协议解析，解析后的桌面数据用于在所述远程桌面显示端进行组合显示。
可选的，所述车载终端远程桌面模块根据UDP协议采用按照预设频率向所述中转服务器发送拥塞探测报文的方式获得应答报文时延，具体包括：
所述车载终端远程桌面模块按照预设频率向所述中转服务器发送拥塞探测报文，同时记录发送所述拥塞探测报文的时间；
所述车载终端远程桌面模块接收所述中转服务器发送的应答报文；所述应答报文为通过中转服务器解析拥塞探测报文，采用根据解析后的拥塞探测报文的报文类型字段的方式获得；
所述车载终端远程桌面模块判断是否接收到所述应答报文，获得判断结果；
若所述判断结果表示是，则获取接收到所述应答报文的时间；
将接收到所述应答报文的时间和发送所述拥塞探测报文的时间的时间差确定为应答报文时延；
若所述判断结果表示否，则将预设应答报文时间确定为应答报文时延。
可选的，所述车载终端远程桌面模块根据所述远程访问指令分析得到所述远程访问指令的类型，生成远程操作指令，具体包括：
当所述远程访问指令的类型为操作鼠标时，生成鼠标操作指令；
当所述远程访问指令的类型为键盘输入时，生成键盘输入指令。
可选的，所述当所述远程访问指令的类型为操作鼠标时，生成鼠标操作指令，具体包括：
当所述操作鼠标为移动鼠标时，车载终端远程桌面模块获取中转服务器发送的移动坐标数据，生成鼠标移动指令；
当所述操作鼠标为鼠标点击时，车载终端远程桌面模块判断所述鼠标点击的操作，获取鼠标点击指令；所述鼠标点击的操作包括左击、右击、中键点击和中键滚动。
可选的，所述当所述远程访问指令的类型为键盘输入时，生成键盘输入指令，具体包括：
当所述远程访问指令的类型为键盘输入时，车载终端远程桌面模块判断所述键盘输入的操作，获得键盘输入指令；所述键盘输入的操作包括单键和组合键。
可选的，所述车载终端远程桌面模块根据所述远程访问指令分析得到所述远程访问指令的类型，生成远程操作指令，之后还包括：
当所述远程访问指令的类型为打开视频播放时，所述车载终端远程桌面模块获取所述车载终端远程桌面模块缓存的视频流数据；
所述车载终端远程桌面模块根据UDP协议对所述视频流数据进行拆包，并将拆包后的视频流数据转换成视频流数据报文。
可选的，所述当所述远程访问指令的类型为打开视频播放时，所述车载终端远程桌面模块获取所述车载终端远程桌面模块缓存的视频流数据，之前还包括：
所述车载终端远程桌面模块利用h264编码对所述视频流数据进行编码，获得视频压缩码流。
可选的，所述车载终端远程桌面模块根据UDP协议采用拆包所述实时桌面数据并转换成桌面数据报文的方式按照所述发送间隔将所述桌面数据报文发送至所述中转服务器进行UDP协议解析，解析后的桌面数据用于在所述远程桌面显示端进行组合显示，之后还包括：
每当车载终端远程桌面模块发送的桌面数据报文的数量达到预设数量时，所述车载终端远程桌面模块接收一次中转服务器发送的应答报文。
可选的，所述车载终端远程桌面模块根据UDP协议采用拆包所述实时桌面数据并转换成桌面数据报文的方式按照所述发送间隔将所述桌面数据报文发送至所述中转服务器进行UDP协议解析，解析后的桌面数据用于在所述远程桌面显示端进行组合显示，之后还包括：
所述车载终端远程桌面模块和所述远程桌面显示端通过UDP协议定时保持心跳交互；
当心跳连续丢失大于或等于20个时，则视为远程桌面显示端自动放弃远程控制，所述车载终端远程桌面模块主动停止向所述中转服务器发送桌面数据报文。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种远程车载终端桌面控制***及方法，车载终端远程桌面模块与中转服务器之间按照UDP协议进行数据传输，基于UDP协议能够快速组包，避开复杂协议交互，直接把数据发送到服务器端；同时，车载终端远程桌面模块采用按照预设频率向中转服务器发送拥塞探测报文的方式，得知网络稳定性、数据拥塞情况和本地网络带宽紧张度，从而控制数据包发送间隔，避免拥塞和丢包，保证了远程数据传输的实时性。并且车载终端远程桌面模块将实时桌面数据进行拆包再发送，有效的降低了带宽使用率，避免了带宽浪费，同时也保证了数据包快速发送到远程桌面显示端。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种远程车载终端桌面控制方法的流程图；
图2为本发明提供的一种远程车载终端桌面控制方法的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种远程车载终端桌面控制***及方法，以提高远程数据传输的实时性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供了一种远程车载终端桌面控制***，***包括：车载桌面终端、车载终端远程桌面模块、中转服务器和远程桌面显示端。
车载终端远程桌面模块与车载桌面终端连接，车载终端远程桌面模块用于实时车载桌面终端的桌面数据。
车载终端远程桌面模块与中转服务器连接，车载终端远程桌面模块用于根据UDP协议采用按照预设频率向中转服务器发送拥塞探测报文的方式获得应答报文时延。
中转服务器与远程桌面显示端连接，中转服务器用于向车载终端远程桌面模块发送应答报文，并响应远程桌面显示端发送的远程桌面控制请求，根据远程桌面控制请求通过UDP协议向车载终端远程桌面模块发送远程访问指令。
车载终端远程桌面模块还用于在接受到远程访问指令后，分析得到远程访问指令的类型，生成远程操作指令，并将远程操作指令传输至车载桌面终端。
车载终端远程桌面模块还用于获取车载桌面终端根据远程操作指令进行操作的实时桌面数据，并根据应答报文时延，依照发送间隔与时延对应表，获得实时桌面数据的发送间隔，进而根据UDP协议采用拆包实时桌面数据并转换成桌面数据报文的方式按照发送间隔向中转服务器发送桌面数据报文。
中转服务器还用于根据UDP协议解析桌面数据报文，并将解析后的桌面数据发送至远程桌面显示端进行组合显示。
具体的，车载终端远程桌面模块主要用于实时检测中转服务器网络情况、抓拍并压缩本地桌面数据、根据协议，封装数据报文、根据具体网络情况，判断本地抓拍的桌面数据发送频率。
中转服务器主要用于响应车载终端远程桌面模块的请求、管理车载端设备、转发车载端远程桌面模块和远程桌面显示端的各种数据。
远程桌面显示端主要用于组合数据报文，展示车载端桌面、提供交互界面、发送交互数据。
远程车载终端桌面控制***中还存在以下两种情况：多个远程桌面显示端连接同一个车载桌面终端，多个车载桌面终端供多个远程桌面显示端显示。因此，中转服务器需要知道是哪个远程桌面显示端发送的远程桌面控制请求，哪个车载桌面终端发送的数据以及发给哪个或哪些远程桌面显示端。
当多个远程桌面显示端连接同一个车载桌面终端时，车载桌面终端接收多个远程桌面显示端发送的控制指令进行操作，并将根据每个远程桌面显示端发送的控制指令进行操作的实时桌面返回给对应的远程桌面显示端进行组合显示。具体原理为：每个远程桌面显示端会分配一个编号或其他可以表示唯一性的标识，中转服务器接收远程桌面显示端发送的远程桌面控制请求时，会将远程桌面显示端的编号或标识一起封装，车载桌面终端返回桌面数据时，再将远程桌面显示端的编号或标识一起返回，中转服务器通过解析其中的编号或标识从而将返回的桌面数据发送给相应的远程桌面显示端。
本发明还提供了一种远程车载终端桌面控制方法，如图1所示，方法包括：
S101，车载终端远程桌面模块根据UDP协议采用按照预设频率向中转服务器发送拥塞探测报文的方式获得应答报文时延。
S102，车载终端远程桌面模块接收中转服务器发送的远程访问指令；远程访问指令为中转服务器响应远程桌面显示端发送的远程桌面控制请求，通过UDP协议采用封装远程桌面控制请求的方式获得。
S103，车载终端远程桌面模块根据远程访问指令分析得到远程访问指令的类型，生成远程操作指令，并将远程操作指令传输至车载桌面终端。
S104，车载终端远程桌面模块获取车载桌面终端根据远程操作指令进行操作的实时桌面数据。
S105，车载终端远程桌面模块根据应答报文时延，依照发送间隔与时延对应表，获得实时桌面数据的发送间隔。
S106，车载终端远程桌面模块根据UDP协议采用拆包实时桌面数据并转换成桌面数据报文的方式按照发送间隔将桌面数据报文发送至中转服务器进行UDP协议解析，解析后的桌面数据用于在远程桌面显示端进行组合显示。
步骤S101，具体包括：
车载终端远程桌面模块按照预设频率向中转服务器发送拥塞探测报文，同时记录发送拥塞探测报文的时间；
车载终端远程桌面模块接收中转服务器发送的应答报文；应答报文为通过中转服务器解析拥塞探测报文，采用根据解析后的拥塞探测报文的报文类型字段的方式获得；
车载终端远程桌面模块判断是否接收到应答报文，获得判断结果；
若判断结果表示是，则获取接收到应答报文的时间；
将接收到应答报文的时间和发送拥塞探测报文的时间的时间差确定为应答报文时延；
若判断结果表示否，则将预设应答报文时间确定为应答报文时延。
步骤S103，具体包括：
当远程访问指令的类型为操作鼠标时，生成鼠标操作指令；
当远程访问指令的类型为键盘输入时，生成键盘输入指令。
其中，当远程访问指令的类型为操作鼠标时，生成鼠标操作指令，具体包括：
当操作鼠标为移动鼠标时，车载终端远程桌面模块获取中转服务器发送的移动坐标数据，生成鼠标移动指令；
当操作鼠标为鼠标点击时，车载终端远程桌面模块判断鼠标点击的操作，获取鼠标点击指令；鼠标点击的操作包括左击、右击、中键点击和中键滚动。
其中，当远程访问指令的类型为键盘输入时，生成键盘输入指令，具体包括：
当远程访问指令的类型为键盘输入时，车载终端远程桌面模块判断键盘输入的操作，获得键盘输入指令；键盘输入的操作包括单键和组合键。
步骤S103，之后还包括：
当远程访问指令的类型为打开视频播放时，车载终端远程桌面模块获取车载终端远程桌面模块缓存的视频流数据；
车载终端远程桌面模块根据UDP协议对视频流数据进行拆包，并将拆包后的视频流数据转换成视频流数据报文。
其中，当远程访问指令的类型为打开视频播放时，车载终端远程桌面模块获取车载终端远程桌面模块缓存的视频流数据，之前还包括：
车载终端远程桌面模块利用h264编码对视频流数据进行编码，获得视频压缩码流。
步骤S106，之后还包括：
每当车载终端远程桌面模块发送的桌面数据报文的数量达到预设数量时，车载终端远程桌面模块接收一次中转服务器发送的应答报文。
步骤S106，之后还包括：
车载终端远程桌面模块和远程桌面显示端通过UDP协议定时保持心跳交互；
当心跳连续丢失大于或等于20个时，则视为远程桌面显示端自动放弃远程控制，车载终端远程桌面模块主动停止向中转服务器发送桌面数据报文。
下面对该发明的具体实施步骤做进一步的具体说明。
如图2所示，远程车载终端桌面控制方法的步骤如下：
步骤1：车载终端程序实时采集***桌面数据，等待远程服务器开启远程访问指令。
步骤2：车载终端程序探测服务器，判断与服务器对话时延，并判断丢包情况。从而根据公式决策步骤3发包时间间隔。
步骤3：车载终端程序接收到服务器远程指令后，分析指令类型，如果是打开播放指令，则找到车载终端程序缓存的***桌面关键帧数据，并压缩视频流，通过自定义协议拆包按照发包时间间隔发送给服务器，服务器在步骤9进行数据处理。
步骤4：车载终端打开播放后，一个线程发送视频流数据，一个线程继续等待服务器指令。
步骤5：车载终端接收到指令后，如果指令为移动鼠标，则车载终端响应服务器提供的移动坐标相关数据，并移动鼠标至相应位置。
步骤6：车载终端接收到指令后，如果指令为鼠标点击，则车载终端判断是左击还有右击或者是中键，并向***发送鼠标点击操作指令。
步骤7：车载终端接收到指令后，如果指令为键盘输入，则车载终端判断是单个键盘数据还是组合键，并向操作***发送模拟键盘操作指令。
步骤8：车载终端接收到指令后，如果指令为停止远程桌面显示，则车载终端停止数据发送。
步骤9：服务器端接收到步骤3发送的视频流数据，则服务器端根据自定义协议解析数据包格式，发送给远程桌面显示端组包显示。
本方法主要特点是通过自定义的协议来远程控制车载终端的桌面。车辆在高速行驶时，车载终端上传带宽会不稳定，如果此时车载终端又在进行其它上传任务，要保证远程桌面效果将会很难。为了保证快速打开、流畅度优先、同时远程桌面时降低带宽使用率，保证其它任务正常进行，我们采用自定义的UDP协议。这里没有选择可靠传输的TCP协议，主要原因是：TCP协议首次连接有三次握手，其后数据传输会有应答、重传、复杂的拥塞控制等，在车载终端上会导致实时效果和流畅度差，占用带宽太大，浪费流量也占用本地重要任务的带宽。
UDP是一个无连接协议，传输数据源端和终端不建立连接，传输时，尽可能快的把数据发送到网络上，不要求终端反馈结果。本方法中自定义UDP协议工作步骤是：
1、车载终端上电，初始化车载端远程桌面模块。
2、车载端远程桌面模块每隔15秒封装1024字节内容的拥塞探测报文，并发送到远程桌面中转服务器上，同时开始计算发送此数据的时间，该时间为了和后续接收到中转服务器转发模块返回应答数据报文的时间计算，得到请求服务器来回响应总时间；此响应总时间具体作用参考第7步。
3、中转服务器转发模块解析报文，校验内容完整性，根据报文类型字段，发送应答报文给车载端远程桌面模块。
4、车载端远程桌面模块如果接收应答报文，则根据第2步中发送拥塞探测报文开始时间，到当前接收到应答报文时间，判断应答报文时长；如果没有接收到应答报文，则判断可能是因为网络问题或者中转服务器问题导致数据包丢失，如果该应答数据丢失，接收数据机制会最大等待2000毫秒，超过等待时间，默认记录应答报文时延为2000毫秒。
5、车载端远程桌面模块获取车载端***的桌面数据，并用h264编码，得到视频压缩码流，然后等待中转服务器转发模块发起远程桌面控制。
6、用户端显示模块向中转服务器转发模块发起远程桌面控制请求，中转服务器转发模块封装数据包，通过自定义UDP协议发送数据给车载端远程桌面模块。
7、车载端远程桌面模块解析报文，并拆分视频流数据，依据第4步得到的时延，根据程序设定的时延与数据包发送间隔时间对应表，获取到发送间隔时间，发送间隔对应表参照“本方法发送间隔与时延对应表”。并依次发送数据给中转服务器转发模块。特别要求是，每当发送10个报文，要求中转服务器转发模块响应一个报文，此10个报文为***预设约定固定的，根据经验得到的数字。
8、中转服务器端接收到数据后，转发给远程桌面显示端。
9、远程桌面显示端组合数据包，并显示到相应区域。
10、远程桌面显示端如果有操作指令，例如按键操作，则发送按键操作到中转服务器，中转服务器转发给远程桌面控制端。
11、远程桌面终端和远程桌面显示端通过自定义UDP协议定时保持心跳交互，如果心跳连续超时丢失20个，则视为远程桌面显示端自动放弃远程控制，远程桌面终端主动停止远程桌面数据发送。
以上步骤中，第2步实时获取时延，知道网络稳定性、数据拥塞情况、本地网络带宽紧张度，从而控制数据包发送速率，避免拥塞和丢包；另外，第7步每发送10个报文，要求服务器响应一个报文，也是避免拥塞的另一种备用方式。这里在大量数据包频繁发送过程中，有效的降低了带宽使用率，避免了带宽浪费，同时也保证数据包快速发送到远程桌面显示端。
第5步和第11步，第5步中，远程桌面终端按需发送数据，使得只有有远程控制需求时，才发送数据，有效的降低流量消耗；第11步中，主动判断远程显示端是否还在观看，及时停止数据发送，也是为了降低流量消耗。
本方法数据报文类型包括：
1、数据内容报文：编号为0x18，表示数据包搭载数据为内容。
2、数据应答报文：编号为0x19，表示数据包为应答类型。
3、操作事件报文：编号为0x20，表示数据包为客户端交互的操作类型，例如：鼠标操作。
4、拥塞发送应答报文：编号为0x21，表示数据包为拥塞探测报文。
5、远程桌面状态报文：编号为0x22，表示数据包为远程桌面状态类型，例如：打开远程播放。
6、终端保活报文：类型为0x23，表示数据包为终端心跳报文，用于确定远程桌面操作是否仍在继续。
本方法发送间隔与时延对应表如表1所示。
表1发送间隔与时延对应表
编号 探测时延(ms) 发送间隔(ms)
1 1～100 25
2 101～300 28
3 301～600 35
4 601～800 60
5 801～1999 2000
6 2000～ 2000
本发明具有以下优点：
1、安全性高
车载终端程序传输数据时，传输协议完全自己定义，数据报文使用自定义加密协议，传输大量数据时，进行自定义格式分包，这样即使外部盗取到数据，也难以组成合适的数据包。另外服务器端发送指令时，数据同样通过自定义协议封装，这样避免了恶意破解来控制车载终端。
2、方便管理
所有在管理内的车载终端，可以依据用户类型，把车载终端进行分类；避免用户打开不属于自己管辖的车载终端。另外车载终端是否在线，是否可远程桌面，都能够展示给用户，方便用户管控设备。
3、实时性高
本自定义远程桌面控制传输协议，能够快速组包，避开复杂协议交互，直接把数据发送到服务器端。同时，对于网络阻塞、延迟、丢包等网络异常，都能够采取相应措施，进而保证实时性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种远程车载终端桌面控制***，其特征在于，所述***包括：车载桌面终端、车载终端远程桌面模块、中转服务器和远程桌面显示端；
所述车载终端远程桌面模块与所述车载桌面终端连接，所述车载终端远程桌面模块用于实时采集所述车载桌面终端的桌面数据；
所述车载终端远程桌面模块与所述中转服务器连接，所述车载终端远程桌面模块用于根据UDP协议采用按照预设频率向所述中转服务器发送拥塞探测报文的方式获得应答报文时延，具体包括：所述车载终端远程桌面模块按照预设频率向所述中转服务器发送拥塞探测报文，同时记录发送所述拥塞探测报文的时间；所述车载终端远程桌面模块接收所述中转服务器发送的应答报文；所述应答报文为通过中转服务器解析拥塞探测报文，采用根据解析后的拥塞探测报文的报文类型字段的方式获得；所述车载终端远程桌面模块判断是否接收到所述应答报文，获得判断结果；若所述判断结果表示是，则获取接收到所述应答报文的时间；将接收到所述应答报文的时间和发送所述拥塞探测报文的时间的时间差确定为应答报文时延；若所述判断结果表示否，则将预设应答报文时间确定为应答报文时延；
所述中转服务器与所述远程桌面显示端连接，所述中转服务器用于向所述车载终端远程桌面模块发送应答报文，并响应所述远程桌面显示端发送的远程桌面控制请求，根据所述远程桌面控制请求通过UDP协议向所述车载终端远程桌面模块发送远程访问指令；
所述车载终端远程桌面模块还用于在接受到所述远程访问指令后，分析得到所述远程访问指令的类型，生成远程操作指令，并将所述远程操作指令传输至所述车载桌面终端；所述车载终端远程桌面模块还用于在接受到所述远程访问指令后，分析得到所述远程访问指令的类型，生成远程操作指令，具体包括：当所述远程访问指令的类型为操作鼠标时，生成鼠标操作指令；当所述远程访问指令的类型为键盘输入时，生成键盘输入指令；其中，所述当所述远程访问指令的类型为操作鼠标时，生成鼠标操作指令，具体包括：当所述操作鼠标为移动鼠标时，车载终端远程桌面模块获取中转服务器发送的移动坐标数据，生成鼠标移动指令；当所述操作鼠标为鼠标点击时，车载终端远程桌面模块判断所述鼠标点击的操作，获取鼠标点击指令；所述鼠标点击的操作包括左击、右击、中键点击和中键滚动；所述当所述远程访问指令的类型为键盘输入时，生成键盘输入指令，具体包括：当所述远程访问指令的类型为键盘输入时，车载终端远程桌面模块判断所述键盘输入的操作，获得键盘输入指令；所述键盘输入的操作包括单键和组合键；
所述车载终端远程桌面模块还用于获取所述车载桌面终端根据所述远程操作指令进行操作的实时桌面数据，并根据所述应答报文时延，依照发送间隔与时延对应表，获得实时桌面数据的发送间隔，进而根据UDP协议采用拆包所述实时桌面数据并转换成桌面数据报文的方式按照所述发送间隔向中转服务器发送桌面数据报文；
所述中转服务器还用于根据所述UDP协议解析所述桌面数据报文，并将解析后的桌面数据发送至所述远程桌面显示端进行组合显示。
2.一种远程车载终端桌面控制方法，其特征在于，所述方法包括：
车载终端远程桌面模块根据UDP协议采用按照预设频率向中转服务器发送拥塞探测报文的方式获得应答报文时延，具体包括：所述车载终端远程桌面模块按照预设频率向所述中转服务器发送拥塞探测报文，同时记录发送所述拥塞探测报文的时间；所述车载终端远程桌面模块接收所述中转服务器发送的应答报文；所述应答报文为通过中转服务器解析拥塞探测报文，采用根据解析后的拥塞探测报文的报文类型字段的方式获得；所述车载终端远程桌面模块判断是否接收到所述应答报文，获得判断结果；若所述判断结果表示是，则获取接收到所述应答报文的时间；将接收到所述应答报文的时间和发送所述拥塞探测报文的时间的时间差确定为应答报文时延；若所述判断结果表示否，则将预设应答报文时间确定为应答报文时延；
所述车载终端远程桌面模块接收所述中转服务器发送的远程访问指令；所述远程访问指令为所述中转服务器响应远程桌面显示端发送的远程桌面控制请求，通过UDP协议采用封装所述远程桌面控制请求的方式获得；
所述车载终端远程桌面模块根据所述远程访问指令分析得到所述远程访问指令的类型，生成远程操作指令，并将所述远程操作指令传输至车载桌面终端；所述车载终端远程桌面模块还用于在接受到所述远程访问指令后，分析得到所述远程访问指令的类型，生成远程操作指令，具体包括：当所述远程访问指令的类型为操作鼠标时，生成鼠标操作指令；当所述远程访问指令的类型为键盘输入时，生成键盘输入指令；其中，所述当所述远程访问指令的类型为操作鼠标时，生成鼠标操作指令，具体包括：当所述操作鼠标为移动鼠标时，车载终端远程桌面模块获取中转服务器发送的移动坐标数据，生成鼠标移动指令；当所述操作鼠标为鼠标点击时，车载终端远程桌面模块判断所述鼠标点击的操作，获取鼠标点击指令；所述鼠标点击的操作包括左击、右击、中键点击和中键滚动；所述当所述远程访问指令的类型为键盘输入时，生成键盘输入指令，具体包括：当所述远程访问指令的类型为键盘输入时，车载终端远程桌面模块判断所述键盘输入的操作，获得键盘输入指令；所述键盘输入的操作包括单键和组合键；
所述车载终端远程桌面模块获取所述车载桌面终端根据所述远程操作指令进行操作的实时桌面数据；
所述车载终端远程桌面模块根据所述应答报文时延，依照发送间隔与时延对应表，获得实时桌面数据的发送间隔；
所述车载终端远程桌面模块根据UDP协议采用拆包所述实时桌面数据并转换成桌面数据报文的方式按照所述发送间隔将所述桌面数据报文发送至所述中转服务器进行UDP协议解析，解析后的桌面数据用于在所述远程桌面显示端进行组合显示。
3.根据权利要求2所述的远程车载终端桌面控制方法，其特征在于，所述车载终端远程桌面模块根据所述远程访问指令分析得到所述远程访问指令的类型，生成远程操作指令，之后还包括：
当所述远程访问指令的类型为打开视频播放时，所述车载终端远程桌面模块获取所述车载终端远程桌面模块缓存的视频流数据；
所述车载终端远程桌面模块根据UDP协议对所述视频流数据进行拆包，并将拆包后的视频流数据转换成视频流数据报文。
4.根据权利要求3所述的远程车载终端桌面控制方法，其特征在于，所述当所述远程访问指令的类型为打开视频播放时，所述车载终端远程桌面模块获取所述车载终端远程桌面模块缓存的视频流数据，之前还包括：
所述车载终端远程桌面模块利用h264编码对所述视频流数据进行编码，获得视频压缩码流。
5.根据权利要求2所述的远程车载终端桌面控制方法，其特征在于，所述车载终端远程桌面模块根据UDP协议采用拆包所述实时桌面数据并转换成桌面数据报文的方式按照所述发送间隔将所述桌面数据报文发送至所述中转服务器进行UDP协议解析，解析后的桌面数据用于在所述远程桌面显示端进行组合显示，之后还包括：
每当车载终端远程桌面模块发送的桌面数据报文的数量达到预设数量时，所述车载终端远程桌面模块接收一次中转服务器发送的应答报文。
6.根据权利要求2所述的远程车载终端桌面控制方法，其特征在于，所述车载终端远程桌面模块根据UDP协议采用拆包所述实时桌面数据并转换成桌面数据报文的方式按照所述发送间隔将所述桌面数据报文发送至所述中转服务器进行UDP协议解析，解析后的桌面数据用于在所述远程桌面显示端进行组合显示，之后还包括：
所述车载终端远程桌面模块和所述远程桌面显示端通过UDP协议定时保持心跳交互；
当心跳连续丢失大于或等于20个时，则视为远程桌面显示端自动放弃远程控制，所述车载终端远程桌面模块主动停止向所述中转服务器发送桌面数据报文。
CN202110028769.4A 2021-01-11 2021-01-11 一种远程车载终端桌面控制***及方法 Active CN112804323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110028769.4A CN112804323B (zh) 2021-01-11 2021-01-11 一种远程车载终端桌面控制***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110028769.4A CN112804323B (zh) 2021-01-11 2021-01-11 一种远程车载终端桌面控制***及方法

Publications (2)

Publication Number Publication Date
CN112804323A CN112804323A (zh) 2021-05-14
CN112804323B true CN112804323B (zh) 2022-11-18

Family

ID=75809657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110028769.4A Active CN112804323B (zh) 2021-01-11 2021-01-11 一种远程车载终端桌面控制***及方法

Country Status (1)

Country Link
CN (1) CN112804323B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017080363A1 (zh) * 2015-11-09 2017-05-18 中兴通讯股份有限公司 一种数据传输的方法及wap设备
CN107872471A (zh) * 2016-09-23 2018-04-03 深圳市傲冠软件股份有限公司 远程桌面图像指令处理方法和***
WO2021003749A1 (zh) * 2019-07-11 2021-01-14 深圳市鹰硕技术有限公司 一种远程桌面控制方法、装置和***、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8849905B2 (en) * 2012-10-29 2014-09-30 Gridcore Ab Centralized computing
JP5988245B2 (ja) * 2012-12-18 2016-09-07 株式会社応用電子 シンクライアントシステム
CN103905520B (zh) * 2012-12-30 2019-10-11 比亚迪股份有限公司 车载终端的控制方法与***以及云端服务器
KR101776709B1 (ko) * 2013-08-13 2017-09-08 한화지상방산 주식회사 사용자 단말기를 이용하는 차량 원격 제어 시스템
CN104618435B (zh) * 2014-12-29 2016-11-09 北京奇虎科技有限公司 实现远程桌面的方法及远程桌面管理***
CN105530686B (zh) * 2015-12-22 2019-08-13 西安大唐电信有限公司 一种基于udp协议实现智能车载终端的接入方法
CN112073750B (zh) * 2020-09-14 2023-02-28 浙江源创智控技术有限公司 一种远程桌面控制方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017080363A1 (zh) * 2015-11-09 2017-05-18 中兴通讯股份有限公司 一种数据传输的方法及wap设备
CN107872471A (zh) * 2016-09-23 2018-04-03 深圳市傲冠软件股份有限公司 远程桌面图像指令处理方法和***
WO2021003749A1 (zh) * 2019-07-11 2021-01-14 深圳市鹰硕技术有限公司 一种远程桌面控制方法、装置和***、设备及存储介质

Also Published As

Publication number Publication date
CN112804323A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN102883135B (zh) 屏幕共享及控制方法
US11792130B2 (en) Audio/video communication method, terminal, server, computer device, and storage medium
US20090089849A1 (en) User interface
WO2013097066A1 (zh) 一种实现远程桌面环境下网页浏览的方法、装置和***
US20160043924A1 (en) System and method for monitoring user activity on a plurality of networked computing devices
CN102541555A (zh) 一种使用api拦截方式实现远程桌面视频流畅播放的方法
CN107948565B (zh) 实现有线传屏的方法及装置
CN114007125A (zh) 音量控制方法、移动终端、目标设备及存储介质
CN115209192A (zh) 一种显示设备、智能设备和摄像头共享方法
CN112804323B (zh) 一种远程车载终端桌面控制***及方法
CN115567518B (zh) 一种用于云桌面的摄像头重定向的装置、***和方法
WO2011130962A1 (zh) 远程处理方法、装置及***
CN114710568B (zh) 音视频数据通信方法、设备及存储介质
CN113726817B (zh) 一种流媒体数据的传输方法、装置及介质
CN115695383A (zh) 屏幕共享方法、***、电子设备及安卓设备
CN114666562A (zh) 3d场景交互方法、装置和***
CN110798700B (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN112532719A (zh) 信息流的推送方法、装置、设备及计算机可读存储介质
KR101237504B1 (ko) 이종의 원격 제어 서비스를 지원하는 서버 및 방법
CN114666561B (zh) 视频融合方法、装置和***
CN117271270B (zh) 在Web操作***上监控Android音乐播放的方法
TW201328243A (zh) 遠端監控系統及方法
CN113992637B (zh) 音视频数据接收方法、装置、设备、***和存储介质
US20150326861A1 (en) Mobile electronic device and video compensation method thereof
CN113923396B (zh) 基于视频会议场景下的远程桌面控制方法、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant