CN113949698A - 基于Web RTC的探地雷达采集远程控制方法及*** - Google Patents

Abstract

本发明提供一种基于Web RTC的探地雷达采集远程控制方法及***，包括：步骤S1，远程控制端建立长链接，选择客户端创建会话请求，通知客户端建立和接受连接；步骤S2，客户端开启探地雷达采集软件界面，处理视频和音频并将其上传至传输链路；步骤S3，利用Web RTC进行探地雷达采集软件界面以及音视频的传输；步骤S4，远程控制端接受Web RTC传输的链路数据，进行实时显示，播放视频和音频；步骤S5，远程控制端回传远程操作至Web RTC的传输链路，并跳转至所述步骤S2，重复直到客户端断开连接。本发明能够在探地雷达的采集过程中，通过实时的视频和语音查看现场的实际情况，大幅度提高了探地雷达的采集效率。

Description

基于Web RTC的探地雷达采集远程控制方法及***

技术领域

本发明涉及一种探地雷达采集远程控制方法，尤其涉及一种基于Web RTC的探地雷达采集远程控制方法，并进一步涉及采用了该基于Web RTC的探地雷达采集远程控制方法的探地雷达采集远程控制***。

背景技术

探地雷达是一种电磁波无损探测技术。探地雷达通过天线向地下发射高频电磁波并接收地下目标的回波，来探测地下介质的物质特性和分布规律。现在探地雷达探测地下隐患在采集阶段只能通过有线或无线局域网内进行，或者远程桌面控制程序缺少音视频，没办法查看现场和语音指挥。

使用探地雷达在探测采集阶段及其采集过程中，现场采集与远端协作环境下，由于地理位置空间差异，无法实时查看现场情况，也无法实现视频和语音指挥。很多时候对雷达采集过程中遇到阻碍，若操作人员不熟悉采集软件、或不能针对性分析现场环境、或采集软件出现问题，仅仅通过语音沟通的话，并不能够有效和精准地解决问题，对探地雷达的采集效率产生很大的影响。

发明内容

本发明所要解决的技术问题是需要提供一种能够实现视频通话的基于Web RTC的探地雷达采集远程控制方法，以便更高效率地针对性解决探地雷达采集过程中所遇到的问题和阻碍，在此基础上，还进一步提供采用了该基于Web RTC的探地雷达采集远程控制方法的探地雷达采集远程控制***。

对此，本发明提供一种基于Web RTC的探地雷达采集远程控制方法，包括以下步骤：

步骤S1，远程控制端建立长链接，选择客户端，创建会话请求，并通知客户端建立和接受连接；

步骤S2，客户端开启探地雷达采集软件界面，处理视频和音频并将其上传至传输链路；

步骤S3，利用Web RTC进行探地雷达采集软件界面以及音视频的传输；

步骤S4，远程控制端接受Web RTC传输的链路数据，进行实时显示，并播放视频和音频；

步骤S5，远程控制端回传远程操作至Web RTC的传输链路，并跳转至所述步骤S2，重复该过程直到客户端断开连接。

本发明的进一步改进在于，所述步骤S1中，所述远程控制端和客户端均打开远程控制软件，并登录在线后，所述远程控制端通过Web Socket长链接根据所述客户端登录的唯一身份ID号创建会话请求，直到所述客户端执行远程控制连接，则跳转至步骤S2，否则结束流程。

本发明的进一步改进在于，所述步骤S2中，处理视频和音频将其上传至传输链路的是实现过程如下：将客户端运行的探地雷达采集软件图像发送至Web RTC的传输链路中，并在传输控制流程中，同步将音频和视频添加到所述Web RTC的传输链路上，通过HTTP发送传输链路的请求，所述传输链路的播放接入请求携带播放的流媒体信息和通信发起方对自己的会话描述协议，低延迟直播***私有信令收到所述播放接入请求后，记录所述播放接入请求中携带的流媒体信息和通信发起方对自己的会话描述协议，创建通信接收方对自己的会话描述协议，生成一次性秘钥令牌。

本发明的进一步改进在于，所述步骤S3中，利用Web RTC进行探地雷达采集软件界面以及音视频的传输实现过程如下：通过Web RTC将传输链路上的数据上传至Web RTC服务端，所述Web RTC服务端通过HTTP响应所述传输链路上的数据至所述远程控制端。

本发明的进一步改进在于，所述步骤S4中，在客户端预先设置Answer SDP，发送绑定请求，获取Answer SDP中的RTS私有信令，进行标准DTLS握手，交换SRTP秘钥，开始音频、视频和图像三方传输，并将其显示至所述远程控制端。

本发明的进一步改进在于，所述步骤S5中，所述远程控制端通过发送远程操作指令或远程桌面指令实现对探地雷达采集软件界面的操作。

本发明的进一步改进在于，所述步骤S5包括以下子步骤：

步骤S501，判断是否进行远程控制，若是，则跳转至步骤S502；若否，则跳转至步骤S503；

步骤S502，在所述客户端打开控制服务，并进行连接，所述远程控制端将远程控制指令通过Web RTC的传输链路回传至所述客户端中，返回所述步骤S2，实现远程控制，并传输最新的探地雷达采集软件界面和音频，跳转至步骤S504；

步骤S503，通过Web RTC的传输链路传输探地雷达采集软件界面和音频；

步骤S504，实现点对点的通讯传输，直到客户端断开连接则结束。

本发明的进一步改进在于，所述步骤S1中，所述远程控制端建立长链接后，在所述远程控制端显示所有在线的客户端，所述远程控制端通过选择所述客户端的唯一身份ID号建立一对一的会话请求。

本发明的进一步改进在于，在所述步骤S2中，处理视频和音频并将其上传至传输链路的过程中，分别岁视频和音频标记时间戳，并在所述步骤S4进行显示的时候对音频进行时间校准和同步处理，以所述视频的时间戳作为基准时间适应性调整所述音频的时间戳，根据调整后的视频和音频进行同步显示和播放。

本发明还提供一种基于Web RTC的探地雷达采集远程控制***，采用了如上所述的基于Web RTC的探地雷达采集远程控制方法，并包括：

建立连接模块，远程控制端建立长链接，选择客户端，创建会话请求，并通知客户端建立和接受连接；

视频和音频处理模块，客户端开启探地雷达采集软件界面，处理视频和音频并将其上传至传输链路；

链路传输模块，利用Web RTC进行探地雷达采集软件界面以及音视频的传输；

显示播放模块，远程控制端接受Web RTC传输的链路数据，进行实时显示，并播放视频和音频；

远程操作模块，远程控制端回传远程操作至Web RTC的传输链路，并跳转至所述视频和音频处理模块，重复该过程直到客户端断开连接。

与现有技术相比，本发明的有益效果在于：在探地雷达进行地下环境信息和埋藏物的采集阶段中，通过Web RTC实时传输探地雷达采集软件界面，并且还能够进行桌面视频语音和远程控制，进而能够更加便捷地辅助探地雷达的采集过程，能够通过实时的视频和语音实时查看现场的实际情况，以便针对性解决探地雷达在采集过程中所遇到的问题和阻碍，大幅度提高了探地雷达的采集效率，有效地降低了对操作人员的要求，并降低了探地雷达的使用局限性。

附图说明

图1是本发明一种实施例的工作流程示意图；

图2是本发明一种实施例的详细工作流程示意图。

具体实施方式

下面结合附图，对本发明的较优的实施例作进一步的详细说明。

如图1和图2所示，本例提供一种基于Web RTC的探地雷达采集远程控制方法，包括以下步骤：

步骤S1，远程控制端建立长链接，选择客户端，创建会话请求，并通知客户端建立和接受连接；

步骤S2，客户端开启探地雷达采集软件界面，处理视频和音频并将其上传至传输链路；

步骤S3，利用Web RTC进行探地雷达采集软件界面以及音视频（包括音频和视频）的传输；

步骤S4，远程控制端接受Web RTC传输的链路数据，进行实时显示，并播放视频和音频；

步骤S5，远程控制端回传远程操作至Web RTC的传输链路，并跳转至所述步骤S2，重复该过程直到客户端断开连接。

本例所述远程控制端也称PC端，包括远程控制软件和Web RTC服务端等，主要实现远程控制指挥端的运行；所述客户端优选为PAD端，包括探地雷达采集软件和远程控制软件客户端等，主要实现为运行探地雷达采集软件，并支撑远程控制客户端的运行；本例所述步骤S1中，所述远程控制端和客户端均打开远程控制软件，并登录在线后，所述远程控制端通过Web Socket长链接根据所述客户端登录的唯一身份ID号创建会话请求，直到所述客户端执行远程控制连接，则跳转至步骤S2，否则结束流程，比如客户端执行不同意远程控制，则结束流程。

优选的，本例所述步骤S1中，所述远程控制端建立长链接后，在所述远程控制端显示所有在线的客户端，所述远程控制端通过选择所述客户端的唯一身份ID号建立一对一的会话请求，确保会话连接请求的可靠性。

本例所述步骤S2中，客户端与远程控制端建立起会话连接后，将所述客户端运行的探地雷达采集软件图像上传至传输链路中，其处理视频和音频将其上传至传输链路的是实现过程如下：将客户端运行的探地雷达采集软件图像发送至Web RTC的传输链路中，在传输过程中，可以申请发开麦克风和视频设备；并在传输控制流程中，同步将音频和视频添加到所述Web RTC的传输链路上，通过HTTP发送传输链路的请求，所述传输链路的播放接入请求携带播放的流媒体信息（URL）和通信发起方对自己的会话描述协议（Offer SDP），低延迟直播***（RTS）私有信令收到所述播放接入请求后，记录所述播放接入请求中携带的流媒体信息和通信发起方对自己的会话描述协议（Offer SDP），创建通信接收方对自己的会话描述协议（Answer SDP），生成一次性秘钥令牌token。

值得说明的是，由于探地雷达的工作环境比较复杂，干扰因素多，与其他的环境下的图像上传和同步的实现过程并不相同，也不能直接采用现有的方式来实现。本例同步将音频和视频添加到所述Web RTC的传输链路上的过程如下：

1、音视频采样后会给每个音频采样、视频帧分别打一个时间戳，打成RTP包放在RTP头，成为RTP时间戳，RTP时间戳的单位依赖于音视频流各自的采样率，RTP指的是低延迟直播***。

2、处理Web RTC 的音频帧的时间戳，从第一个包为 0，开始累加，每一帧增加的时间戳= 编码帧长(ms)

采样率/1000，而封装到RTP包里面时候，会将这个音频帧的时间戳加上再累加上一个随机偏移量，然后以此作为RTP包的时间戳。

3、处理Web RTC 的视频帧的时间戳，视频帧的时间戳来源于***时钟，采集完成后至编码之前的某个时刻，该时刻可以是在采集完成后至编码之前的随机时刻，也可以是预设间隔的时刻，获取当前***时间戳 timestamp_us，然后根据公式：当前***时间戳timestamp_us+（本地时间-网络时间协议的时间NTP） 算出此***时间对应的 采样时刻的绝对时间ntp_time_ms，再根据公式：网络时间协议的时间NTP

90+固定随机偏移量来算出原始视频帧的时间戳 timestamp_rtp_。

4、由于音频和视频的时间戳是完全独立的，需要一种映射关系将两个时间戳关联起来，本例优选通过生成发送端报告分组包来实现，发送端报告分组包也称SR包（SenderReport），其映射关系及关联过程优选通过RFC3550 （实时应用程序传输协议）来实现，其中，SR 包的其中一个作用标明RTP 包的时间戳和 网络时间协议的时间NTP的对应关系,通过 RFC3550 的描述，得出两个时间戳对应的是同一个时刻，这个时刻表示此 SR 包生成的时刻。这就是本例对音视频进行同步的核心的依据。

在Web RTC规范中，优选通过RTCPeerConnection（类库）用于视频流/音频流、以及数据的传输，假设 A 和 B 想通过 RTCPeerConnection（类库） 进行音视频传输，A优选为远程控制端，B优选为客户端；其传输过程如下：

1、A 执行 RTCPeerConnection（类库） 的 createOffer() 函数，返回的 promise(应答)中提供了一个 RTCSessionDescription 对象（接口对象参数）；

2、如果执行成功, A 通过 setLocalDescription() 函数将本地会话信息保存,接着通过信令通道, 将这些信息发送给B；

3、B使用RTCPeerConnection（类库）的setRemoteDescription()函数, 将A传过来的远端会话信息填进去；

4、B执行RTCPeerConnection（类库）的createAnswer()函数, 传入获取到的远端会话信息, 然后就会生成一个和A适配的本地会话。 createAnswer() 函数返回的promise （应答）会传入一个 RTCSessionDescription 对象；

5、当A获取到B的会话描述信息之后, 使用 setRemoteDescription() 函数将远端会话信息设置进去。

本例所述步骤S3中，利用Web RTC进行探地雷达采集软件界面以及音视频（包括音频和/或视频）的传输实现过程如下：通过Web RTC（网页实时通信，Web Real-TimeCommunication）将传输链路上的数据上传至Web RTC服务端。

本例所述步骤S4中，在客户端预先设置会话描述协议（Answer SDP），发送绑定请求，获取会话描述协议（Answer SDP）中的低延迟直播***信令（RTS信令），进行标准DTLS握手（数据包传输层安全性协议握手），交换SRTP秘钥（安全实时传输协议秘钥），开始音频、视频和图像三方传输，并将其显示至所述远程控制端。本例所述步骤S5中，所述远程控制端通过发送远程操作指令或远程桌面指令实现对探地雷达采集软件界面的操作。通过所述步骤S1至步骤S5之间的配合，在探地雷达采集数据阶段，通过视频远程指挥，利用Web RTC实时传输远端探地雷达采集软件界面，并进行视频通话，就能够更高效率地解决探地雷达在采集阶段所遇到的问题。

优选的，本例在所述步骤S2中，处理视频和音频并将其上传至传输链路的过程中，分别岁视频和音频标记时间戳，并在所述步骤S4进行显示的时候对音频进行时间校准和同步处理，以所述视频的时间戳作为基准时间适应性调整所述音频的时间戳，根据调整后的视频和音频进行同步显示和播放。由于不同的使用环境下，网络传输首先，比如探地雷达工作环境恶劣等极端情况下，视频的传输速度有可能会受限，那么，就可能造成视频和音频不同步等情况的发生，会给远程控制端造成干扰和误判，因此，本例以所述视频的时间戳作为基准时间适应性调整所述音频的时间戳，根据调整后的视频和音频进行同步显示和播放，就能够很好地应对不同的探地雷达应用环境，保证视频和音频的同步。

如图2所示，本例所述步骤S1至步骤S2中，先通过所述远程控制端通过账户密码登录控制中心，所述客户端通过账户密码登录，并同步打开探地雷达采集软件；然后所述远程控制端通过所述客户端的唯一身份ID创建连接会话；所述远程控制端发送远程控制请求，可选择打开音频和视频操作请求；所述客户端接受所述远程控制端（也称服务端）发送的请求，建立Web RTC连接，打开通讯通道，同步上传音频、视频和探地雷达采集软件界面所在桌面图像至所述传输链路。

如图2所示，本例所述步骤S5优选包括以下子步骤：

步骤S501，判断是否进行远程控制，若是，则跳转至步骤S502；若否，则跳转至步骤S503；

步骤S502，在所述客户端打开控制服务，并进行连接，所述远程控制端将远程控制指令通过Web RTC的传输链路回传至所述客户端中，返回所述步骤S2，实现远程控制，并传输最新的探地雷达采集软件界面和音频，跳转至步骤S504；

步骤S503，通过Web RTC的传输链路传输探地雷达采集软件界面和音频；

步骤S504，实现点对点的通讯传输，直到客户端断开连接则结束。

本例还提供一种基于Web RTC的探地雷达采集远程控制***，采用了如上所述的基于Web RTC的探地雷达采集远程控制方法，并包括：

建立连接模块，远程控制端建立长链接，选择客户端，创建会话请求，并通知客户端建立和接受连接；

视频和音频处理模块，客户端开启探地雷达采集软件界面，处理视频和音频并将其上传至传输链路；

链路传输模块，利用Web RTC进行探地雷达采集软件界面以及音视频的传输；

显示播放模块，远程控制端接受Web RTC传输的链路数据，进行实时显示，并播放视频和音频；

远程操作模块，远程控制端回传远程操作至Web RTC的传输链路，并跳转至所述视频和音频处理模块，重复该过程直到客户端断开连接。

综上所述，本例在探地雷达进行地下环境信息和埋藏物的采集阶段中，通过WebRTC实时传输探地雷达采集软件界面，并且还能够进行桌面视频语音和远程控制，进而能够更加便捷地辅助探地雷达的采集过程，能够通过实时的视频和语音实时查看现场的实际情况，以便针对性解决探地雷达在采集过程中所遇到的问题和阻碍，大幅度提高了探地雷达的采集效率，有效地降低了对操作人员的要求，并降低了探地雷达的使用局限性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于Web RTC的探地雷达采集远程控制方法，其特征在于，包括以下步骤：

步骤S1，远程控制端建立长链接，选择客户端，创建会话请求，并通知客户端建立和接受连接；

步骤S2，客户端开启探地雷达采集软件界面，处理视频和音频并将其上传至传输链路；

步骤S3，利用Web RTC进行探地雷达采集软件界面以及音视频的传输；

步骤S4，远程控制端接受Web RTC传输的链路数据，进行实时显示，并播放视频和音频；

步骤S5，远程控制端回传远程操作至Web RTC的传输链路，并跳转至所述步骤S2，重复该过程直到客户端断开连接。

2.根据权利要求1所述的基于Web RTC的探地雷达采集远程控制方法，其特征在于，所述步骤S1中，所述远程控制端和客户端均打开远程控制软件，并登录在线后，所述远程控制端通过Web Socket长链接根据所述客户端登录的唯一身份ID号创建会话请求，直到所述客户端执行远程控制连接，则跳转至步骤S2，否则结束流程。

3.根据权利要求1所述的基于Web RTC的探地雷达采集远程控制方法，其特征在于，所述步骤S2中，处理视频和音频将其上传至传输链路的是实现过程如下：将客户端运行的探地雷达采集软件图像发送至Web RTC的传输链路中，并在传输控制流程中，同步将音频和视频添加到所述Web RTC的传输链路上，通过HTTP发送传输链路的请求，所述传输链路的播放接入请求携带播放的流媒体信息和通信发起方对自己的会话描述协议，低延迟直播***私有信令收到所述播放接入请求后，记录所述播放接入请求中携带的流媒体信息和通信发起方对自己的会话描述协议，创建通信接收方对自己的会话描述协议，生成一次性秘钥令牌。

4.根据权利要求1至3任意一项所述的基于Web RTC的探地雷达采集远程控制方法，其特征在于，所述步骤S3中，利用Web RTC进行探地雷达采集软件界面以及音视频的传输实现过程如下：通过Web RTC将传输链路上的数据上传至Web RTC服务端，所述Web RTC服务端通过HTTP响应所述传输链路上的数据至所述远程控制端。

5.根据权利要求1至3任意一项所述的基于Web RTC的探地雷达采集远程控制方法，其特征在于，所述步骤S4中，在客户端预先设置Answer SDP，发送绑定请求，获取Answer SDP中的RTS私有信令，进行标准DTLS握手，交换SRTP秘钥，开始音频、视频和图像三方传输，并将其显示至所述远程控制端。

6.根据权利要求1至3任意一项所述的基于Web RTC的探地雷达采集远程控制方法，其特征在于，所述步骤S5中，所述远程控制端通过发送远程操作指令或远程桌面指令实现对探地雷达采集软件界面的操作。

7.根据权利要求1至3任意一项所述的基于Web RTC的探地雷达采集远程控制方法，其特征在于，所述步骤S5包括以下子步骤：

步骤S501，判断是否进行远程控制，若是，则跳转至步骤S502；若否，则跳转至步骤S503；

步骤S502，在所述客户端打开控制服务，并进行连接，所述远程控制端将远程控制指令通过Web RTC的传输链路回传至所述客户端中，返回所述步骤S2，实现远程控制，并传输最新的探地雷达采集软件界面和音频，跳转至步骤S504；

步骤S503，通过Web RTC的传输链路传输探地雷达采集软件界面和音频；

步骤S504，实现点对点的通讯传输，直到客户端断开连接则结束。

8.根据权利要求1至3任意一项所述的基于Web RTC的探地雷达采集远程控制方法，其特征在于，所述步骤S1中，所述远程控制端建立长链接后，在所述远程控制端显示所有在线的客户端，所述远程控制端通过选择所述客户端的唯一身份ID号建立一对一的会话请求。

9.根据权利要求1至3任意一项所述的基于Web RTC的探地雷达采集远程控制方法，其特征在于，在所述步骤S2中，处理视频和音频并将其上传至传输链路的过程中，分别岁视频和音频标记时间戳，并在所述步骤S4进行显示的时候对音频进行时间校准和同步处理，以所述视频的时间戳作为基准时间适应性调整所述音频的时间戳，根据调整后的视频和音频进行同步显示和播放。

10.一种基于Web RTC的探地雷达采集远程控制***，其特征在于，采用了如权利要求1至9任意一项所述的基于Web RTC的探地雷达采集远程控制方法，并包括：

建立连接模块，远程控制端建立长链接，选择客户端，创建会话请求，并通知客户端建立和接受连接；

视频和音频处理模块，客户端开启探地雷达采集软件界面，处理视频和音频并将其上传至传输链路；

链路传输模块，利用Web RTC进行探地雷达采集软件界面以及音视频的传输；

显示播放模块，远程控制端接受Web RTC传输的链路数据，进行实时显示，并播放视频和音频；

远程操作模块，远程控制端回传远程操作至Web RTC的传输链路，并跳转至所述视频和音频处理模块，重复该过程直到客户端断开连接。

Images