CN114217555A - 基于数字孪生场景的低延时远程遥控方法和*** - Google Patents

Abstract

本发明公开了一种基于数字孪生场景的低延时远程遥控方法和***，通过在仿真中构建与现实场景一致的场景，传输在行驶过程中车辆的定位信息，将该信息在仿真器中可视化显示出来，通过观察可视化的仿真环境，从而直接遥控仿真环境中的车辆，而实际的遥控指令仍然传输给实际车辆，实际车辆更新定位信息，从而更新仿真器中车辆的定位信息，当定位频率足够高，就可以获得低延时的远程遥控实现。本发明由于传输的数据只需要传输是车辆的定位信息，不需要使用5G网络传输也可以做到极低的延迟，能够迅速得对车辆在场景中的信息进行反应。

Description

基于数字孪生场景的低延时远程遥控方法和***

技术领域

本发明属于自动驾驶中的人工远程干预技术领域，具体涉及一种基于数字孪生场景的低延时远程遥控方法和***。

背景技术

在自动驾驶中，由于目前L4/L5级别的自动驾驶并不能完全实现，许多情况下，自动驾驶车辆面对自己未知的情况，并不能很好做出判断，进入原地待命状态，这种情况下就需要人工远程遥控的介入。远程遥控，意味着操作者需要通过对车辆所在的环境有相应的信息输入，从而控制车辆，通过网络传输遥控指令，使得车辆运行。而远程遥控中，主要需要解决的问题一个是传输车辆所处环境对应的信息时，传输数据的时间延迟要低，需要对车辆目前的状态进行实时的监控；另一个就是传输数据的数据量，尽可能压缩传输数据量，使得远程遥控传输的数据不会大量得占据网络，造成网络拥塞。

目前主要针对远程遥控，主要的技术方案，如百度、华为、阿里提供的远程遥控方案中，主要是通过5G网络降低相机采集数据传输时延，将获取的摄像头数据显示在屏幕，远程驾驶员通过屏幕数据来控制车辆的运行。在审定授权的专利CN202021585796.9《一种基于5G网络的挖掘机远程遥控***》中，5G通信模块主要用于采集视频图像，并且接受遥控指令对挖掘机进行控制。其中仍然使用网络传输巨大数据量的视频流数据，假设画面的帧率为20帧，一帧画面为800*600大小，YUV420每帧图像的大小即为90KB大小，一秒钟需要的流量为1.8MB，一分钟的流量就接近了100MB，从计算上来看，维持远程遥控需要的数据量是非常惊人的。另外，视频数据的采集和编码到音视频的解码和播放涉及了非常长的链路，经历了采集端的音视频采集、音视频编码、推流，以及流媒体服务器端的直播流收集、音视频转码、直播流分发，以及接收端的拉流、音视频解码、音视频播放，其中的各个环节会通过一定技术保证数据传输的质量，为了确保可靠性、降低***带宽而使用的手段导致了视频传输过程中高延迟的问题，一般来说，局域网内，该延迟在30帧的数据采集量下达到1秒，这是远程遥控过程中无法接受的。在其中如果添加许多优化的环节，在调研中，可以获得的数据是奥维视讯公司推出的5G融合通讯产品，将1080p视频的双向对传延迟控制在100ms，还是存在一定的延迟。

综上所述，现有的方法存在的主要不足包括:

1.在远程遥控视频数据传输过程中，传输的数据过大，导致网络带宽占用过大，导致网络拥塞；

2.在远程遥控数据传输过程中，由于中间过程中存在延迟，而在4G的技术条件下，该延迟是不能接受的。即使有5G技术加持，在目前的技术条件下，仍然存在一定延迟，在远程遥控中使用存在一定安全隐患。

发明内容

为了克服传统自动驾驶远程遥控中，在车辆行驶过程中对车辆周围信息采集传输存在较大延迟的问题，本发明提供了一种基于数字孪生场景的低延时远程遥控方法和***，通过在仿真中构建与现实场景一致的场景，只需传输在行驶过程中车辆的定位信息，将该信息在仿真器中可视化显示出来，驾驶者可以通过观察可视化的仿真环境，从而直接遥控仿真环境中的车辆，而实际的遥控指令仍然传输给实际车辆，实际车辆更新定位信息，从而更新仿真器中车辆的定位信息，当定位频率足够高，就可以获得低延时的远程遥控实现。

本发明的技术方案如下：

本发明首先提供了一种基于数字孪生场景的低延时远程遥控方法，其包括如下步骤：

1)采用激光雷达采集现实场景的点云，通过激光SLAM的方式收集激光雷达点云数据并且构建点云地图，将场景三维的信息转化为道路的OpenDrive格式的信息，再将OpenDrive格式的地图导入到可视化仿真器，获得场景的三维重建数字孪生场景；

2)将自动驾驶车辆在行驶过程中的位姿信息传输给数字孪生服务器，数字孪生服务器将获取的位姿数据存储在数据库当中，并以一定频率同步到可视化仿真器中，可视化仿真器通过位姿数据更新车辆的状态，从而能够被远程遥控者观察；远程遥控者通过观察可视化仿真器来遥控现实场景中的车辆，其中，产生的遥控指令通过数字孪生服务器中转发送给现实场景中的车辆；

3)车辆在运行过程中，位姿信息得到更新，同步更新到数字孪生服务器上，从而进一步更新可视化仿真器中车辆的位姿，形成开环的远程遥控控制。

作为本发明的优选方案，步骤1)中，所述激光雷达采集的现实场景的数据包括点云数据。本发明根据激光雷达的采集到的点云数据并且基于前端激光雷达里程计构建点云地图。

作为本发明的优选方案，步骤1)中，所述将场景三维的信息转化为道路的OpenDrive格式的信息具体为，通过CAD软件，通过人工或自动的方式将激光雷达点云地图中场景三维的信息转化为道路的OpenDrive格式的信息。

作为本发明的优选方案，步骤2)中，数字孪生服务器通过Spring-Boot的方式构建，自动驾驶车辆使用NDT定位方式通过10-100HZ的频率向数字孪生服务器上传自身的位姿信息。

作为本发明的优选方案，步骤2)中，可视化仿真器向数字孪生服务器发送控制指令，其中，控制指令通过TCP连接传送。

本发明还公开了一种基于数字孪生场景的低延时远程遥控***，其包括：

可视化仿真器，所述的可视化仿真器内具有三维重建的数字孪生场景，可视化仿真器根据数字孪生服务器同步过来的车辆位姿数据更新数字孪生场景中的车辆状态；远程遥控者观察可视化仿真器中车辆位置，并使用遥控产生场景中的车辆的遥控指令，并将其发送给数字孪生服务器进行中转；

数字孪生服务器，其获取并存储自动驾驶车辆在行驶过程中的位姿信息，并以一定频率同步到可视化仿真器中，数字孪生服务器还将可视化仿真器发送过来的遥控指令传输给现实场景中的车辆；

自动驾驶车辆，基于点云地图以及激光雷达数据匹配获取自身的位姿信息，并将位姿信息实时传输给数字孪生服务器，自动驾驶车辆根据数字孪生服务器传输过来的控制指令对自身进行控制。

其中，三维重建数字孪生场景的获得方法如下：采用激光雷达采集现实场景的数据，通过3D-SLAM的方式收集激光雷达点云数据并且构建点云地图，将场景三维的信息转化为道路的OpenDrive格式的信息，再将OpenDrive格式的地图导入到可视化仿真器，获得场景的三维重建数字孪生场景。

与现有传统的在远程遥控过程中需要采集目标车辆环境信息并且通过网络传输的方式相比，本发明对远程遥控方式进行重新定义，不再需要采集目标车辆环境信息，而是将环境信息预先在仿真中定义完全，并且在仿真中通过网络传输的车辆定位信息，直接在仿真中可视化车辆，遥控者可以通过观察仿真环境中车辆的所处定位，来进行远程遥控，从而将车辆通过远程遥控的仿真从一个地点遥控到另外一个地点。其中的要点一个是需要对现实场景对道路基于OpenDrive的格式进行重建，对路边的建筑通过3D软件重新构建，另外一个要点是车辆需要通过传感器定位提供车辆在场景中所处的位置信息，从而将车辆的定位较为准确的在仿真中可视化得展示出来。

本发明将远程遥控中传统的采集车辆周围信息并且通过网络传输的方式进行重新定义，预先构建与现实一致的数字孪生环境，通过传输车辆定位数据完成在仿真环境中的车辆可视化实现，通过渲染的方式替代网络传输视频流的方式，从而减小传输过程中占用的网络带宽。

本发明由于传输的数据只需要传输是车辆的定位信息，不需要使用5G网络传输也可以做到极低的延迟，能够迅速得对车辆在场景中的信息进行反应。

附图说明

图1为三维重建数字孪生场景的流程示意图。

图2表示获取场景三维重建的结果后，对车辆实现数字孪生远程遥控的***和方法示意图。

图3为三维重建数字孪生场景导入仿真器效果示意图。

具体实施方式

下面结合具体实施方式对本发明做进一步阐述和说明。所述实施例仅是本公开内容的示范且不圈定限制范围。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

如图1和2所示，本发明的工作原理是将传统的在远程遥控过程中需要采集目标车辆环境信息并且通过网络传输的方式进行重新定义，不再需要采集目标车辆环境信息，而是将环境信息预先在仿真中定义完全，并且在仿真中通过网络传输的车辆定位信息，直接在仿真中可视化车辆，遥控者可以通过观察仿真环境中车辆的所处定位，来进行远程遥控，从而将车辆通过远程遥控的仿真从一个地点遥控到另外一个地点。其中的要点一个是需要对现实场景对道路基于OpenDrive的格式进行重建，对路边的建筑通过3D软件重新构建，另外一个要点是车辆需要通过传感器定位提供车辆在场景中所处的位置信息，从而将车辆的定位较为准确的在仿真中可视化的展示出来。

本实施例采用激光雷达采集一整个场景的点云数据，将采集到的数据进行三维数字化，使用激光雷达SLAM方式如Fast-lio等算法构建出场景的激光雷达点云地图；将激光雷达点云地图通过CAD软件如RoadRunner等，通过人工的方式将场景三维的信息转化为道路的OpenDrive格式的信息，再将OpenDrive格式的地图导入到可视化仿真器如CARLA，可以获得场景的三维重建数字孪生场景。其中，具体导入仿真器效果如图3所示。

车辆定位的方式可以使用NDT定位的方式，NDT定位的误差可以控制在10cm以内，定位精度较高，车辆在运行过程中，通过网络方式将定位算法获取到的车辆位姿，通过10-100HZ的频率上传给数字孪生云平台(数字孪生服务器)，云平台获取定位信息之后，通过网络方向可视化仿真器传递对应的车辆位姿信息，可视化仿真器通过特定车辆位姿信息更新车辆的状态，从而能够被远程遥控者观察。并且通过远端机器提供的交互界面，远程遥控者能够将遥控指令通过数字孪生云平台直接发送给现实世界的车辆并且控制车辆运行，车辆在运行过程中，定位信息得到更新，能够同步更新到数字孪生服务器上，从而进一步更新仿真器位姿，形成开环的远程遥控控制方案。

可视化仿真器向数字孪生服务器发送控制指令，其中，控制指令通过TCP连接传送，控制指令构成如下：

字段	含义	数据类型
			Version	协议的版本	String
Type	协议代表的类型	Int
			Ack	响应标识，0表示成功	Int
RequestId	唯一请求表示	Int
			Vin	车辆唯一标识	String
data	协议内容字段	Dict

控制指令中，定义其Type为0x23，data里面包含了控制车辆需要的数据，现实场景中的车端接受到控制指令之后，根据data中数据进行控制，data中数据如下表所示。

字段	含义	数据类型
			Speed	车辆需要控制的速度	Double
Steer	车辆轮胎的转角	Double
			Brake	车辆刹车	Int
Shift	车辆档位	Int

本发明一方面能够极大的减少自动驾驶远程遥控中，车辆需要传输的数据量，因为人介入干预车辆，通过摄像头获取的很多信息都是冗余的，并不需要传输这么多的信息来展示，而只需要获取车辆自身的定位信息，即可在仿真环境中渲染出对应车辆可视化的效果，提供给远程遥控参考。本发明还可以根据需要遥控的车辆不同，对多辆车进行遥控管理。

根据实验数据所得，基于4G网络下，远程视频监控的延迟大概是在1s的延迟，而本发明数字孪生远程遥控方法，在延迟方面最高在100ms左右，降低了网络延迟，并且每秒传输的数据量大概是100B左右，而视频流量每秒大概在1.8MB的数据量。

如图2所示，本发明的另一个实施例提供了一种基于数字孪生场景的低延时远程遥控***，其包括：

可视化仿真器，所述的可视化仿真器内具有三维重建的数字孪生场景，可视化仿真器根据数字孪生服务器同步过来的车辆位姿数据更新数字孪生场景中的车辆状态；远程遥控者可通过可视化仿真器观察可视化仿真器中车辆位置，并使用遥控产生场景中的车辆的遥控指令，并将其发送给数字孪生服务器进行中转；

数字孪生服务器(数字孪生云平台)，其获取并存储自动驾驶车辆在行驶过程中的位姿信息，并以一定频率同步到可视化仿真器中，数字孪生服务器还将可视化仿真器发送过来的遥控指令传输给现实场景中的车辆；

自动驾驶车辆，其获取自身的位姿信息，并将位姿信息实时传输给数字孪生服务器，自动驾驶车辆根据数字孪生服务器传输过来的控制指令对自身进行控制。

具体的，如图1所示，三维重建数字孪生场景的构建过程如下：对于采集车辆采集数据过程，采用激光雷达采集一整个场景的点云数据，进入到第二步将采集到的数据进行三维数字化，使用激光雷达SLAM方式如Fast-lio等算法构建出场景的激光雷达点云地图，进入第三步，将激光雷达点云地图通过CAD软件如RoadRunner等，通过人工的方式将场景三维的信息转化为道路的OpenDrive格式的信息，再将OpenDrive格式的地图导入到仿真器如CARLA，可以获得场景的三维重建数字孪生场景。

完成图1的内容后，通过Spring-Boot的方式构建数字孪生服务器，车辆通过在场景中运行，使用NDT定位方式向服务器上传自身定位信息，服务器获取定位信息后，同步到仿真器中，观察者通过观察仿真器中的车辆位置，对于需要控制的车辆，使用前端提供的交互界面，向服务器转发遥控指令，服务器获取遥控指令，向对应的车辆转发遥控指令，形成开环的远程遥控方式。

本发明将远程遥控中传统的采集车辆周围信息并且通过网络传输的方式进行重新定义，预先构建与现实一致的数字孪生环境，通过传输车辆定位数据完成在仿真环境中的车辆可视化现实，通过渲染的方式替代网络传输视频流的方式，从而减小传输过程中占用的网络带宽。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (8)

1.一种基于数字孪生场景的低延时远程遥控方法，其特征在于，包括如下步骤：

1)采用激光雷达采集现实场景的数据，通过激光SLAM的方式收集激光雷达点云数据并且构建点云地图，将场景三维的信息转化为道路的OpenDrive格式的信息，再将OpenDrive格式的地图导入到可视化仿真器，获得场景的三维重建数字孪生场景；

2)将自动驾驶车辆在行驶过程中基于点云地图定位得到的位姿信息传输给数字孪生服务器，数字孪生服务器将获取的位姿数据存储在数据库当中，并以一定频率同步到可视化仿真器中，可视化仿真器通过位姿数据更新车辆的状态，从而能够被远程遥控者观察；远程遥控者通过观察可视化仿真器来遥控现实场景中的车辆，其中，产生的遥控指令通过数字孪生服务器中转发送给现实场景中的车辆；

3)车辆在运行过程中，位姿信息得到更新，同步更新到数字孪生服务器上，从而进一步更新可视化仿真器中车辆的位姿，形成开环的远程遥控控制。

2.根据权利要求1所述的基于数字孪生场景的低延时远程遥控方法，其特征在于，步骤1)中，所述激光雷达采集的现实场景的数据为点云数据。

3.根据权利要求1所述的基于数字孪生场景的低延时远程遥控方法，其特征在于，步骤1)中，所述将场景三维的信息转化为道路的OpenDrive格式的信息具体为，通过CAD软件，通过人工或自动的方式将激光雷达点云地图中场景三维的信息转化为道路的OpenDrive格式的信息。

4.根据权利要求1所述的基于数字孪生场景的低延时远程遥控方法，其特征在于，步骤2)中，数字孪生服务器通过Spring-Boot的方式构建，自动驾驶车辆使用NDT定位方式通过10-100HZ的频率向数字孪生服务器上传自身的位姿信息。

5.根据权利要求1所述的基于数字孪生场景的低延时远程遥控方法，其特征在于，步骤2)中，可视化仿真器向数字孪生服务器发送控制指令，其中，控制指令通过TCP连接传送，控制指令构成如下：

6.根据权利要求5所述的基于数字孪生场景的低延时远程遥控方法，其特征在于，控制指令中，定义其Type为0x23，data里面包含了控制车辆需要的数据，现实场景中的车端接受到控制指令之后，根据data中数据进行控制。

7.根据权利要求6所述的基于数字孪生场景的低延时远程遥控方法，其特征在于，所述data中的数据包括：车辆需要控制的速度、车辆轮胎的转角、车辆刹车和车辆档位。

8.一种基于数字孪生场景的低延时远程遥控***，其特征在于包括：

可视化仿真器，所述的可视化仿真器内具有三维重建的数字孪生场景，可视化仿真器根据数字孪生服务器同步过来的车辆位姿数据更新数字孪生场景中的车辆状态；远程遥控者观察可视化仿真器中车辆位置，并使用遥控产生场景中的车辆的遥控指令，并将其发送给数字孪生服务器进行中转；

数字孪生服务器，其获取并存储自动驾驶车辆在行驶过程中的位姿信息，并以一定频率同步到可视化仿真器中，数字孪生服务器还将可视化仿真器发送过来的遥控指令传输给现实场景中的车辆；

自动驾驶车辆，基于点云地图以及激光雷达数据匹配获取自身的位姿信息，并将位姿信息实时传输给数字孪生服务器，自动驾驶车辆根据数字孪生服务器传输过来的控制指令对自身进行控制。

Images