CN113326758A - 一种用于远程遥控驾驶监测视频的抬头显示技术 - Google Patents

一种用于远程遥控驾驶监测视频的抬头显示技术 Download PDF

Info

Publication number
CN113326758A
CN113326758A CN202110572186.8A CN202110572186A CN113326758A CN 113326758 A CN113326758 A CN 113326758A CN 202110572186 A CN202110572186 A CN 202110572186A CN 113326758 A CN113326758 A CN 113326758A
Authority
CN
China
Prior art keywords
video
path
target
vehicle
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110572186.8A
Other languages
English (en)
Inventor
袁胜
祖超越
高丰
符茂磊
边伟
苏鹏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Vehicle Intelligence Pioneers Inc
Original Assignee
Qingdao Vehicle Intelligence Pioneers Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Vehicle Intelligence Pioneers Inc filed Critical Qingdao Vehicle Intelligence Pioneers Inc
Priority to CN202110572186.8A priority Critical patent/CN113326758A/zh
Publication of CN113326758A publication Critical patent/CN113326758A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种用于远程遥控监测视频的增强现实抬头显示方法，包括如下步骤：在受控车辆的监测视频中标志出障碍物目标在视频中的位置；判断受控车辆的当前作业情况；根据受控车辆的当前作业情况，将作业路径以增强现实的方式叠加在视频中。本发明所述的用于远程遥控监测视频的增强现实抬头显示方法，实现了碰撞提示和路径提示，提高了驾驶安全和效率。

Description

一种用于远程遥控驾驶监测视频的抬头显示技术
技术领域
本发明属于图像识别与距离测绘领域，具体涉及一种用于远程遥控监测视频的抬头显示技术。
背景技术
在遥控驾驶的受控车辆的监测信息中，车辆周围的视频信息是其中最为重要的部分，其作用是让遥控驾驶员直观的掌握车辆周边的场景信息以及车辆自身的位姿信息。但摄像机采集的图像信息受其自身成像方式和整体显示布局的限制，与人类肉眼直接获取的视觉信息有着多方面的差异，造成信息判断的困难，尤其是对距离和方位的判断。此外，在驾驶员远程驾驶受控车辆的过程当中，摄像机的视频应是其主要的注意力集中范围。在当前主流的将视频窗口嵌入图形用户界面的方法中，除视频外的其他信息，大部分是以图形用户界面控件的方式放置在视频范围以外的地方，这样的方式迫使驾驶员在观测此类信息时需要将视觉焦点转移到视频以外的地方，对驾驶安全造成了一定的影响。因此，将场景中对象的相关信息，以增强现实的方式对应显示在监测视频中对象所在位置上，可以显著减少驾驶员视觉焦点的转移，提高驾驶安全。
因此，在远程遥控驾驶作业的过程当中，存在以下两个问题。
(1)视频成像方式与人眼的差异，造成远程驾驶员对车辆周围环境，尤其是交通参与者的碰撞信息的判断易产生误差。
(2)车辆行驶中的其他参数化信息在视频窗口以外的部分进行提示，远程驾驶员在观测该类信息时视线焦点离开视频区域，存在安全隐患。
鉴于此，目前亟待提出一种用于远程遥控驾驶监测的增强现实抬头显示方法，以减少远程遥控驾驶过程中的驾驶判断误差及安全隐患。
发明内容
为此，本发明提供一种用于远程遥控驾驶监测的增强现实抬头显示方法，以减少驾驶判断误差及安全隐患。
本发明的用于远程遥控驾驶监测的增强现实抬头显示方法，包括如下步骤：S1、在受控车辆的监测视频中标志出障碍物目标在视频中的位置；
S2、判断受控车辆的当前作业情况；
S3、根据受控车辆的当前作业情况，将作业路径以增强现实的方式叠加在视频中。
进一步的，步骤S1具体包括，
S101、获取目标包围盒信息；
S102、获取目标深度信息；
S103、将目标的包围盒信息和深度信息叠加至监测视频中。
进一步的，步骤S101包括，
S101a，抓取监测视频中的每一帧；
S101b，对每一帧图像中的障碍物目标进行检测，同时，创建轴对齐包围盒；
S101c，计算轴对齐包围盒的几何信息，并将轴对齐包围盒与障碍物目标对应。
进一步的，步骤S102包括，
S102a，通过与监测视频融合的点云数据，读取车端深度图像并进行降采样；
S102b，将降采样后的车端深度信息发送至遥控驾驶端；
S103c，对障碍物目标进行时间和位置的匹配，并将深度信息合并至轴对齐包围盒上。
进一步的，步骤S2中的当前作业情况包括处于作业路径内和远离作业路径内。
进一步的，当目标远离作业路径内时，步骤S3包括如下步骤，
S301a，计算当前车辆的位置与所有作业路径的端点之间的距离，并确定距离当前车辆最近的作业路径；
S301b，对距离最近的作业路径中的各路径点进行降采样；
S301c，选取距离最近的作业路径中的最近的点作为目标点，然后，计算当前车辆与目标点之间的角度差；
S301d，根据步骤S301c中计算的角度差，将指示图像叠加至视频中。
进一步的，当目标位于作业路径内时，步骤S3包括如下步骤，
S302a，选取当前车辆前方的多个路径点，依次计算各路径点与车辆正前方中心点的相对位置；
S302b，生成于顶视角方向的路径线条图像；
S302c，将路径线条图像叠加至视频中。
进一步的，步骤S301d和步骤S302c中的叠加至视频中这一过程均通过透视变换矩阵计算，然后将相应的指示图像或路径线条图像投影至视频中地面所在的平面上。
本发明的上述技术方案，相比现有技术具有以下优点：
(1)本发明所述的方法，在视频中以增强现实的方式提示交通参与者的碰撞信息，并给出碰撞距离，避免传统方法中因视频成像方式与人眼不同带来的判断误差。
(2)本发明所述的方法，将路径以增强现实的方式在视频中显示，并将其他重要信息以抬头显示的方式在视频中整合，远程驾驶员在整个驾驶过程中的视线焦点不需要离开视频区域，提高远程驾驶的安全性。
附图说明
图1是本发明实施例提供的步骤S1的流程示意图；
图2是本发明实施例提供的步骤S3的流程示意图；
图3是本发明实施例提供的透视变换矩形的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例的用于远程遥控驾驶监测视频的增强现实抬头显示方法，如图1-2所示，包括如下步骤：
S1、在受控车辆的监测视频中标志出障碍物目标在视频中的位置；
S2、判断受控车辆的当前作业情况；
S3、根据受控车辆的当前作业情况，将作业路径以增强现实的方式叠加在视频中。
步骤S1具体包括，
S101、获取目标包围盒信息；
S102、获取目标深度信息。
本实施例中获取目标深度信息的具体过程为，通过相机与激光雷达的外部参数以及相机的内部参数，将点云数据与图像进行匹配，进而确定目标包围盒对应的点云信息，从而得到被检测目标的深度信息。之后，将每个匹配结果中的最小值即最近的距离作为检测目标的距离信息，并标注在目标包围盒外。
S103、将目标的包围盒信息和深度信息叠加至监测视频中。
步骤S101包括，
S101a，抓取监测视频中的每一帧；
S101b，对每一帧图像中的障碍物目标进行检测，同时，创建轴对齐包围盒；
S101c，计算轴对齐包围盒的几何信息，并将轴对齐包围盒与障碍物目标对应。
步骤S102包括，
S102a，通过与监测视频融合的点云数据，读取车端深度图像并进行降采样；
S102b，将降采样后的车端深度信息发送至遥控驾驶端；
S103c，对障碍物目标进行时间和位置的匹配，并将深度信息合并至轴对齐包围盒上。
通过步骤S1中的数个步骤，在车辆监测视频中显示障碍物的位置和大小以及障碍物的深度信息，对驾驶员提供驾驶参考。值得说明的是，如果车辆不具备深度相机，则不进行该步骤，也不标注深度信息。
步骤S2中的当前作业情况包括处于作业路径内和远离作业路径内。受控车辆在作业路径内时，远程驾驶员需要参考作业路径来驾驶车辆；当车辆远离作业路径时，远程驾驶员需要得到作业区域方向的提示，为了实现这一功能，本实施例中对于两种情况采用不同的处理方法。
当目标远离作业路径内时，步骤S3包括如下步骤，
S301a，计算当前车辆的位置与所有作业路径的端点之间的距离，并确定距离当前车辆最近的作业路径。
S301b，对距离最近的作业路径中的各路径点进行降采样。
S301c，选取距离最近的作业路径中的最近的点作为目标点，然后，计算当前车辆与目标点之间的角度差。
S301d，根据步骤S301c中计算的角度差，将指示图像叠加至视频中。具体地，根据该角度差对事先准备的圆盘图片进行旋转，这样就准备好了投影显示之前的图像数据。
当目标位于作业路径内时，步骤S3包括如下步骤。
S302a，选取当前车辆前方的多个路径点，依次计算各路径点与车辆正前方中心点的相对位置。
S302b，生成于顶视角方向的路径线条图像。
S302c，将路径线条图像叠加至视频中。
步骤S301d和步骤S302c中的叠加至视频中这一过程均通过透视变换矩阵计算，然后将相应的指示图像或路径线条图像投影至视频中地面所在的平面上。
透视变换矩阵计算的具体过程如下，通过OpenCV中的接口实现透视矩阵的计算，该接口需要提供投影变换中两个平面对应的4个点的位置作为输入参数，进而得到一个3乘3的单应性变换矩阵。该变换矩阵包含了平移、旋转、缩放、裁剪变换的内容，以及投影变换参数。在提供给该接口8个参考点位置后，该接口输出的透视变换矩阵，可以直接应用在OpenCV用于生成投影变换图像的接口进而得到变换后的结果。
为了得到用于生成透视变换矩阵的参考点，如图3所示。具体方式是在车辆两侧视频可见范围的边缘开始向正前方向延伸，每隔1米在地面做标记，从而得到位于车辆前方的长方形。取该长方形中任意延伸1米范围的矩形作为参考物，将其4个端点在视频中的位置进行标记，作为投影目标平面的参考点，而被投影面的参考点，首先取该矩形靠近车辆的边的两个端点，然后在图像平面上，根据车宽比例将该边向上平移对应的距离(如车宽为3米，则向上平移的距离为该边长的三分之一)，其2个端点作为投影目标平面远端的对应点。这样我们就得到了所有需要的8个参考点，将所有参考点输入到OpenCV计算透视矩阵的接口中，即可得到透视矩阵。
在通过标定得出透视矩阵后，还可以根据实际的效果对透视矩阵进行微调。该方法的优点是操作简单，可以在短时间内完成，适应工程车辆摄像机随时可能因震动和碰撞改变位姿的情况。
通过步骤S3中的流程，利用增强现实的方式在车辆的监测视频中显示出作业路径，辅助驾驶员驾驶。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种用于远程遥控驾驶监测视频的增强现实抬头显示方法，其特征在于，包括如下步骤：
S1、在受控车辆的监测视频中标志出障碍物目标在视频中的位置；
S2、判断受控车辆的当前作业情况；
S3、根据受控车辆的当前作业情况，将作业路径以增强现实的方式叠加在视频中。
2.根据权利要求1中所述的用于远程遥控驾驶监测视频的增强现实抬头显示方法，其特征在于，步骤S1具体包括，
S101、获取目标包围盒信息；
S102、获取目标深度信息；
S103、将目标的包围盒信息和深度信息叠加至监测视频中。
3.根据权利要求2中所述的用于远程遥控驾驶监测视频的增强现实抬头显示方法，其特征在于，步骤S2具体包括如下步骤，
S101a，抓取监测视频中的每一帧；
S101b，对每一帧图像中的障碍物目标进行检测，同时，创建轴对齐包围盒；
S101c，计算轴对齐包围盒的几何信息，并将轴对齐包围盒与障碍物目标对应。
4.根据权利要求3中所述的用于远程遥控驾驶监测视频的增强现实抬头显示方法，其特征在于，步骤S102包括，
S102a，通过与监测视频融合的点云数据，读取车端深度图像并进行降采样；
S102b，将降采样后的车端深度信息发送至遥控驾驶端；
S103c，对障碍物目标进行时间和位置的匹配，并将深度信息合并至轴对齐包围盒上。
5.根据权利要求4中所述的用于远程遥控驾驶监测视频的增强现实抬头显示方法，其特征在于，步骤S2中的当前作业情况包括处于作业路径内和远离作业路径内。
6.根据权利要求5中所述的用于远程遥控驾驶监测视频的增强现实抬头显示方法，其特征在于，当目标远离作业路径内时，步骤S3包括如下步骤，
S301a，计算当前车辆的位置与所有作业路径的端点之间的距离，并确定距离当前车辆最近的作业路径；
S301b，对距离最近的作业路径中的各路径点进行平均降采样；
S301c，选取距离最近的作业路径中的最近的点作为目标点，然后，计算当前车辆与目标点之间的角度差；
S301d，根据步骤S301c中计算的角度差，将指示图像叠加至视频中。
7.根据权利要求6所述的用于远程遥控驾驶监测视频的增强现实抬头显示方法，其特征在于，当目标位于作业路径内时，步骤S3包括如下步骤，
S302a，选取当前车辆前方的多个路径点，依次计算各路径点与车辆正前方中心点的相对位置；
S302b，生成于顶视角方向的路径线条图像；
S302c，将路径线条图像叠加至视频中。
8.根据权利要求7所述的用于远程遥控驾驶监测视频的增强现实抬头显示方法，其特征在于，步骤S301d和步骤S302c中的叠加至视频中这一过程均通过透视变换矩阵计算，然后将相应的指示图像或路径线条图像投影至视频中地面所在的平面上。
CN202110572186.8A 2021-05-25 2021-05-25 一种用于远程遥控驾驶监测视频的抬头显示技术 Pending CN113326758A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110572186.8A CN113326758A (zh) 2021-05-25 2021-05-25 一种用于远程遥控驾驶监测视频的抬头显示技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110572186.8A CN113326758A (zh) 2021-05-25 2021-05-25 一种用于远程遥控驾驶监测视频的抬头显示技术

Publications (1)

Publication Number Publication Date
CN113326758A true CN113326758A (zh) 2021-08-31

Family

ID=77416613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110572186.8A Pending CN113326758A (zh) 2021-05-25 2021-05-25 一种用于远程遥控驾驶监测视频的抬头显示技术

Country Status (1)

Country Link
CN (1) CN113326758A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105333883A (zh) * 2014-08-07 2016-02-17 深圳点石创新科技有限公司 一种用于抬头显示器的导航路径轨迹显示方法和装置
CN108515909A (zh) * 2018-04-04 2018-09-11 京东方科技集团股份有限公司 一种汽车抬头显示***及其障碍物提示方法
CN109050405A (zh) * 2018-08-23 2018-12-21 毕则乾 一种多功能增强现实抬头显示***及方法
CN109708653A (zh) * 2018-11-21 2019-05-03 斑马网络技术有限公司 路口显示方法、装置、车辆、存储介质及电子设备
CN109795415A (zh) * 2019-02-19 2019-05-24 上海理工大学 一种智能夜视抬头显示设备
CN111121815A (zh) * 2019-12-27 2020-05-08 重庆利龙科技产业(集团)有限公司 一种基于ar-hud导航的路径显示方法、***及计算机存储介质
CN111707283A (zh) * 2020-05-11 2020-09-25 宁波吉利汽车研究开发有限公司 一种基于增强现实技术的导航方法、装置、***及设备
CN111717202A (zh) * 2020-07-01 2020-09-29 新石器慧通（北京）科技有限公司 一种用于无人驾驶车辆的行驶提示方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105333883A (zh) * 2014-08-07 2016-02-17 深圳点石创新科技有限公司 一种用于抬头显示器的导航路径轨迹显示方法和装置
CN108515909A (zh) * 2018-04-04 2018-09-11 京东方科技集团股份有限公司 一种汽车抬头显示***及其障碍物提示方法
CN109050405A (zh) * 2018-08-23 2018-12-21 毕则乾 一种多功能增强现实抬头显示***及方法
CN109708653A (zh) * 2018-11-21 2019-05-03 斑马网络技术有限公司 路口显示方法、装置、车辆、存储介质及电子设备
CN109795415A (zh) * 2019-02-19 2019-05-24 上海理工大学 一种智能夜视抬头显示设备
CN111121815A (zh) * 2019-12-27 2020-05-08 重庆利龙科技产业(集团)有限公司 一种基于ar-hud导航的路径显示方法、***及计算机存储介质
CN111707283A (zh) * 2020-05-11 2020-09-25 宁波吉利汽车研究开发有限公司 一种基于增强现实技术的导航方法、装置、***及设备
CN111717202A (zh) * 2020-07-01 2020-09-29 新石器慧通（北京）科技有限公司 一种用于无人驾驶车辆的行驶提示方法及装置

Similar Documents

Publication Publication Date Title
CN108027511B (zh) 信息显示装置、信息提供***、运动对象设备、信息显示方法和记录介质
EP3565739B1 (en) Rear-stitched view panorama for rear-view visualization
JP4863922B2 (ja) 運転支援システム並びに車両
US8446471B2 (en) Method and system for generating surrounding seamless bird-view image with distance interface
JP4969269B2 (ja) 画像処理装置
CN112224132B (zh) 一种车用全景环视障碍物预警方法
EP2309453A2 (en) Image displaying apparatus and image displaying method
US20140152774A1 (en) Vehicle periphery monitoring device
US20050046702A1 (en) Image photographing apparatus and image processing method
EP2079053A1 (en) Method and apparatus for calibrating a video display overlay
EP1536378A2 (en) Three-dimensional image display apparatus and method for models generated from stereo images
WO2023071834A1 (zh) 用于显示设备的对齐方法及对齐装置、车载显示***
JP2008530667A (ja) 赤外画像と可視画像との融合により車両の周辺を可視化するための方法および装置
WO2021237471A1 (en) Depth-guided video inpainting for autonomous driving
US10607414B2 (en) Method and device for seeing through an obstruction based on smart glasses, and computer-readable storage medium
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
WO2020012879A1 (ja) ヘッドアップディスプレイ
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
JP2015226304A (ja) 車両用投影装置及びヘッドアップディスプレイシステム
JP2019139273A (ja) 表示システム
KR20220022340A (ko) 컨텐츠를 시각화하는 장치 및 방법
JP2011254128A (ja) 平面図生成装置及び平面図生成方法
JP2015154125A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
KR101504335B1 (ko) 어라운드뷰 제공 장치, 방법 및 차량
WO2020196676A1 (ja) 画像処理装置、車両制御装置、および方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210831

RJ01 Rejection of invention patent application after publication