CN113607184B - 车辆导航方法、装置、电子设备及存储介质 - Google Patents

车辆导航方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113607184B
CN113607184B CN202111079985.8A CN202111079985A CN113607184B CN 113607184 B CN113607184 B CN 113607184B CN 202111079985 A CN202111079985 A CN 202111079985A CN 113607184 B CN113607184 B CN 113607184B
Authority
CN
China
Prior art keywords
vehicle
data
scene
simulation
remote driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111079985.8A
Other languages
English (en)
Other versions
CN113607184A (zh
Inventor
林涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neolix Technologies Co Ltd
Original Assignee
Neolix Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neolix Technologies Co Ltd filed Critical Neolix Technologies Co Ltd
Priority to CN202111079985.8A priority Critical patent/CN113607184B/zh
Publication of CN113607184A publication Critical patent/CN113607184A/zh
Application granted granted Critical
Publication of CN113607184B publication Critical patent/CN113607184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3661Guidance output on an external device, e.g. car radio
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

本公开涉及远程驾驶技术领域,提供了一种车辆导航方法、装置、电子设备及存储介质。该方法应用于无人车,即无人驾驶设备或自动驾驶设备,包括:在车辆处于远程驾驶模式的情况下,获取车辆周边的道路数据及车辆的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线;对道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使远程驾驶端基于优化后的道路数据对导航路线进行实时渲染得到仿真场景;在远程驾驶端显示仿真场景以使远程驾驶端的远程驾驶员基于仿真场景控制车辆行驶。本公开通过在车端对道路数据进行优化,并通过实时渲染在远程驾驶端生成导航路线,能够减少对车端屏幕和网络带宽的占用。

Description

车辆导航方法、装置、电子设备及存储介质
技术领域
本公开涉及远程驾驶技术领域,尤其涉及一种车辆导航方法、装置、电子设备及计算机可读存储介质。
背景技术
远程驾驶是新一代的云端化网联自动驾驶技术,通过充分利用数字化及信息化资源,将云端、道路及车辆上的信息无缝衔接,利用平行视觉与感知、平行学***行规划和平行控制等最新开发的国际前沿关键技术,将智能车、管控平台及驾驶模拟器实时连接起来,使智能车的自主驾驶行为变得可测和可控。
在车辆处于远程驾驶模式的情况下,远程驾驶端的远程驾驶员由于对路况不熟悉而无法将车辆开往目的地。现有技术中,可以通过安装在车端的导航软件生成导航路线,并利用投屏的方式将车端屏幕上显示的导航页面投射到远程驾驶端来进行导航。然而,这种方式不仅在导航过程中占用了车端屏幕,而且在投屏过程中占用了大量网络带宽,导致数据传输时延,数据传输效率低,并进一步导致远程驾驶的安全性低。
发明内容
有鉴于此,本公开实施例提供了一种车辆导航方法、装置、电子设备及计算机可读存储介质,以解决现有技术中存在的车端屏幕和网络带宽被占用、数据传输时延、数据传输效率低、远程驾驶的安全性低的问题。
本公开实施例的第一方面,提供了一种车辆导航方法,包括:在车辆处于远程驾驶模式的情况下,获取车辆周边的道路数据及车辆的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线,对道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使远程驾驶端基于优化后的道路数据对导航路线进行实时渲染,得到仿真场景,在远程驾驶端显示仿真场景,以使远程驾驶端的远程驾驶员基于仿真场景控制车辆行驶。
本公开实施例的第二方面,提供了一种车辆导航装置,包括:获取模块,被配置为在车辆处于远程驾驶模式的情况下,获取车辆周边的道路数据及车辆的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线;优化模块,被配置为对道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使远程驾驶端基于优化后的道路数据对导航路线进行实时渲染,得到仿真场景;显示模块,被配置为在远程驾驶端显示仿真场景,以使远程驾驶端的远程驾驶员基于仿真场景控制车辆行驶。
本公开实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是:通过在车辆处于远程驾驶模式的情况下,获取车辆周边的道路数据及车辆的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线,对道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使远程驾驶端基于优化后的道路数据对导航路线进行实时渲染,得到仿真场景,在远程驾驶端显示仿真场景,以使远程驾驶端的远程驾驶员基于仿真场景控制车辆行驶,能够在车端对道路数据进行优化,并在远程驾驶端通过实时渲染生成导航路线,因此,减少了对车端屏幕和网络带宽的占用,降低了数据传输的时延,提高了数据传输的效率和远程驾驶的安全性。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图;
图2是本公开实施例提供的一种车辆导航方法的流程图;
图3是本公开实施例的仿真场景的场景示意图;
图4是本公开实施例提供的另一种车辆导航方法的流程图;
图5是本公开实施例提供的一种车辆导航装置的框图;
图6是本公开实施例提供的一种电子设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种车辆导航方法和装置。
图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括无人车1、远程驾驶端2、网络3、车辆4、车道5、车道线51。
无人车1可以是支持无人驾驶、自动驾驶和远程驾驶中的任一功能的车辆。这里,车辆可以是现有的交通工具,也可以是应用在不同领域的运输工具。例如,无人车1可以是无人零售车,该无人零售车可以通过自动驾驶程序来实现自动驾驶,也可以通过网络3连接至远程驾驶端2,并由远程驾驶员在远程驾驶端2对无人零售车进行远程控制,本公开实施例对此不作限制。
远程驾驶端2可以包括硬件和软件两部分,软件部分用于与无人车1进行通信,硬件部分用于远程驾驶无人车的人机交互和模拟驾驶以及输出各种数据。远程驾驶端2的硬件部分可以包括:模拟驾驶座舱、联屏支架、液晶屏幕、高清多媒体接口(High DefinitionMultimedia Interface,HDMI)高清线、工控机等。这里,模拟驾驶座舱可以包括:驾驶座椅,座椅套装长度小于1.3米,套装宽度小于80厘米,支持对方向盘和脚踏板的选型兼容;模拟驾驶套件,包括方向盘(带换挡拨片)和脚踏板;键盘鼠标(蓝牙无线);键盘鼠标托架等。联屏支架中,单屏左右摇摆不超过30°,单屏俯仰角度不超过45°,立柱高度1米至1.8米可伸缩,横向支架提供一定可扩展性,360°旋转可调节,支架横向和纵向提供线束收纳,确保线束正前方不可见。液晶屏可以为尺寸27英寸,重量小于8千克,分辨率满足1080p(1920×1080),提供HDMI接口。HDMI高清线可以为2.0版4K高清线。工控机可以为工业主机,i7处理器,内存大于16G,支持六个HDMI口的显卡,支持四个以上USB3.0接口,支持蓝牙键盘耳机适配,两个独立网口,能部署Linux或者Windows***,提供线束收纳。远程驾驶端2的软件部分可以实现多车故障任务、多车运维管理、单车行驶监控和远程驾驶接管等功能。
网络3可以是采用同轴电缆、双绞线和光纤连接的有线网络,也可以是无需布线就能实现各种通信设备互联的无线网络,例如,蓝牙(Bluetooth)、近场通信(Near FieldCommunication,NFC)、红外(Infrared)等,本公开实施例对此不作限制。
车辆4可以是诸如轿车、房车、卡车、越野车、运动型实用汽车(Sport UtilityVehicle,SUV)等的机动车,也可以是电动车,或者还可以是自行车,本公开实施例对此不作限制。此外,车辆4还可以是如上所述的支持智能驾驶、自动驾驶、无人驾驶和远程驾驶中的任一功能的车辆。
车道5可以是供无人车1和车辆4行经的道路。在一般公路和高速公路都有设置,高速公路对车道使用带有法律上的规则,例如,行车道和超车道。车道线51是指车道5的标线,包括但不限于白色虚线和实线、黄色虚线和实线、禁止停车线、减速标线、导流线、导向指示线、停止线、错视觉标线、车距确认线等。
无人车1可以经由网络3与远程驾驶端2建立通信连接,以请求远程驾驶端2对无人车1进行控制。具体地,在无人车1处于远程驾驶模式的情况下,获取无人车1周边的道路数据及无人车1的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线;无人车1对道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端2,以使远程驾驶端2基于优化后的道路数据对导航路线进行实时渲染,得到仿真场景;进一步地,在远程驾驶端2显示仿真场景,以使远程驾驶端2的远程驾驶员基于仿真场景控制无人车1行驶。
需要说明的是,无人车1、远程驾驶端2、网络3、车辆4和车道5的具体类型、数量和组合可以根据应用场景的实际需求进行调整,本公开实施例对此不作限制。
图2是本公开实施例提供的一种车辆导航方法的流程图。图2的车辆导航方法可以由图1的无人车1的处理器执行。如图2所示,该车辆导航方法包括:
S201,在车辆处于远程驾驶模式的情况下,获取车辆周边的道路数据及车辆的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线;
S202,对道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使远程驾驶端基于优化后的道路数据对导航路线进行实时渲染,得到仿真场景;
S203,在远程驾驶端显示仿真场景,以使远程驾驶端的远程驾驶员基于仿真场景控制车辆行驶。
具体地,在无人车1处于远程驾驶模式的情况下,处理器获取无人车1周边的道路数据及无人车1的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线;进一步地,处理器对道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使远程驾驶端基于优化后的道路数据对导航路线进行实时渲染,得到仿真场景;在远程驾驶端显示仿真场景,以使远程驾驶端的远程驾驶员基于仿真场景控制无人车1行驶。
这里,车辆可以是能够实现无人驾驶的各种设备,例如,无人零售车或无人售卖车、自动配送设备、机器人等;也可以是具有自动巡航控制功能的车辆,例如,轿车、房车、卡车、越野车、运动型实用汽车、电动车、自行车等;或者还可以是由司机驾驶的车辆,本公开实施例对此不作限制。优选地,在本公开实施例中,车辆可以是自动驾驶车辆或无人驾驶车辆。
道路数据可以包括但不限于车道数据、车道周边的景物数据、车道线数据、行人数据、道路标志数据以及信号灯数据等。
当前位置是指车辆当前所在的位置。当前位置可以通过全球定位***(GlobalPositioning System,GPS)、北斗卫星、格洛纳斯(GLONASS)和伽利略***中的一种或多种来获取。目标位置是指车辆所要到达的目的地。目标位置可以是预先设定,也可以是用户根据实际情况设定的,本公开实施例对此不作限制。
导航路线是基于当前位置和目标位置得到的行驶路线。导航路线可以通过应用程序接口(Application Programming Interface,API)调用第三方软件来获取,也可以使用路径规划方法在本地进行路径规划得到,本公开实施例对此不作限制。
渲染是三维计算机图形学中的最重要的研究课题之一,是用软件从模型生成图像的过程。模型是用严格定义的语言或者数据结构对于三维物体的描述,它包括几何、视点、纹理以及照明信息。根据实现的技术不同,渲染主要分为光栅化、光线投射和光线跟踪。进一步地,根据渲染的时机,可以分为实时渲染和离线渲染。优选地,在本公开实施例中,对导航路线的渲染为实时渲染。
仿真(Simulation)是用模型复现实际***中发生的本质过程,并通过对***模型的实验来研究存在或设计中的***。仿真场景是指通过诸如Unity3D开发组件制作出的用于模拟自动驾驶的虚拟交通场景,主要划分为自然驾驶场景、危险工况场景、法律规范场景、参数重组场景四类。在本公开实施例中,通过对目标场景进行不同视角下的图像采集(例如,利用三维扫描仪对目标场景进行三维扫描),并利用扫描到的图像信息对目标场景中涉及到的目标对象、现场环境等进行三维建模,得到相应的仿真对象模型和仿真环境模型;进一步地,基于仿真对象模型和仿真环境模型,并利用三维渲染引擎(即,仿真引擎),按照一定的对象分布规则在仿真环境模型中对仿真对象模型进行部署,构建该目标场景的仿真场景(即,模拟的虚拟场景),从而在一定程度上保证了仿真场景的真实度,如图3所示。可选地,在本公开实施例中,还可以通过虚拟仿真技术,对采集到的目标场景下各视角的图像进行渲染,以得到与现实世界中的目标场景相对应的虚拟场景(即,仿真场景)。
根据本公开实施例提供的技术方案,通过在车辆处于远程驾驶模式的情况下,获取车辆周边的道路数据及车辆的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线,对道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使远程驾驶端基于优化后的道路数据对导航路线进行实时渲染,得到仿真场景,在远程驾驶端显示仿真场景,以使远程驾驶端的远程驾驶员基于仿真场景控制车辆行驶,能够在车端对道路数据进行优化,并在远程驾驶端通过实时渲染生成导航路线,因此,减少了对车端屏幕和网络带宽的占用,降低了数据传输的时延,提高了数据传输的效率和远程驾驶的安全性。
在一些实施例中,获取车辆周边的道路数据及车辆的当前位置和目标位置,包括:获取安装在车辆上的摄像装置和雷达装置分别采集到的车辆周边的图像数据和点云数据,将图像数据和点云数据进行融合,得到道路数据;获取安装在车辆上的定位装置采集到的车辆的位置数据,并基于位置数据确定车辆的当前位置。
具体地,摄像装置可以是用来拍摄车辆在行驶方向上的道路图像的各种设备,包括但不限于广角摄像头、双目摄像头、电荷耦合器件(Charge Coupled Device,CCD)摄像头、无线摄像头、变焦摄像机、枪型摄像机、半球摄像机、宽动态摄像机等。进一步地,摄像装置内设置有无线通信模块,以经由网络向处理器传送所拍摄的图像信息。摄像装置可以安装在车辆上的任何位置,例如,车头、车身、车尾等,本公开实施例对此不作限制。
雷达装置可以是利用电磁波探测目标的电子设备。雷达发射电磁波对目标进行照射并接收其回波,由此获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息。雷达的种类很多,按照信号形式可以分为脉冲雷达、连续波雷达、脉部压缩雷达和频率捷变雷达等;按照角跟踪方式可以分为单脉冲雷达、圆锥扫描雷达和隐蔽圆锥扫描雷达等;按照目标测量的参数可以分为测高雷达、二坐标雷达、多站雷达等;按雷达频段可以分为超视距雷达、微波雷达、毫米波雷达以及激光雷达等。优选地,在本公开实施例中,雷达装置为激光雷达,该激光雷达可以安装在车辆的任何位置,例如,车头、车身、车尾等,本公开实施例对此不作限制。
图像数据可以是对安装在车辆上的摄像装置拍摄的图片或视频进行图像提取得到的图像数据。点云数据是指在一个三维坐标***中的一组向量的集合。点云数据除了具有几何位置以外,有的还有颜色信息,颜色信息通常是通过相机获取彩色影像,然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点。数据融合是将多传感器信息源的数据和信息加以联合、相关及组合,获得更为精确的位置估计及身份估计,从而实现对战场态势和威胁以及其重要程度实时、完整评价的处理过程。数据融合技术是指利用计算机对按时序获得的若干观测信息,在一定准则下加以自动分析、综合,以完成所需的决策和评估任务而进行的信息处理技术。数据融合的方法可以包括代数法、图像回归法、主成分变换、K-T变换、小波变换、贝叶斯估计等,本公开实施例对此不作限制。
定位装置可以是用来对车辆进行跟踪和定位的设备,例如,车辆***。位置数据是指特定设备行踪的地理信息。
在一些实施例中,对道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,包括:从道路数据中提取以当前位置为中心的预设距离范围内的道路数据作为优化数据,并将优化数据发送至远程驾驶端。
具体地,数据优化是指对原始数据进行分析并进行对应的调整,以提升数据质量。数据优化方法可以包括但不限于梯度下降法、牛顿法、拟牛顿法、共轭梯度法、启发式优化方法等。优选地,在本公开实施例中,以车辆的当前位置为中心、预设距离为半径从道路数据中提取对应的数据作为优化数据,这里,优化数据包括车辆数据、非机动车数据、行人数据、障碍物数据、交通标志数据、红绿灯数据中的至少一个。
预设距离可以是用户根据经验数据预先设置的距离阈值,也可以是远程驾驶员根据自身对视野的要求对已设置的距离阈值进行调整后得到的距离阈值,本公开实施例对此不作限制。举例来说,预设距离的范围可以为50米至300米。优选地,在本公开实施例中,预设距离为100米。可选地,在本公开实施例中,可以根据车速对预设距离进行实时调整。举例来说,在车速为20千米/小时的情况下,可以将预设距离设置为50米;在车速为40千米/小时的情况下,可以将预设距离设置为60米;在车速为60千米/小时的情况下,可以将预设距离设置为80米;在车速为80千米/小时的情况下,可以将预设距离设置为100米。通过基于车速对预设距离进行实时调整,能够使远程驾驶员在高速驾驶的情况下获取到更远距离的图像数据,从而增加对于危险情况预判的时间,因此,提高了远程驾驶的安全性。
在一些实施例中,基于优化后的道路数据对导航路线进行实时渲染,得到仿真场景,包括:基于优化数据并利用渲染引擎对导航路线进行绘制渲染,以生成仿真场景。
具体地,渲染在计算机图形中是指将三维场景中的物体模型,按照设定好的环境、材质、光照及渲染参数二维投影成数字图像的过程,即,将三维的光能传递处理转换为一个二维图像的过程。
渲染引擎是已经编写好的可实现渲染的核心组件或***,例如,一些互交式应用程序的核心组件。利用渲染引擎可迅速建立应用程序所需的渲染功能,以辅助程序的运转。渲染引擎可以包括但不限于UE、Unity、Gamebryo、Bigworld、Ogre、RENDER MAN、TURTLE、MENTAL RAY、MAXWELL RENDER、BRAZIL、VRAY、FINALRENDER和CARTOON中的任意一种。举例来说,使用UE引擎将导航路线与优化数据同时进行渲染,即,在仿真场景中根据优化数据渲染出道路、车道线、行人、车辆、交通标志、红绿灯、天气等场景,并同时渲染出导航路线,如图3所示。此外,可以以画中画的方式在图3的任一位置处显示完整的导航路线图。优选地,导航路线图可以显示在图3的右上角。
在一些实施例中,该车辆导航方法还包括:获取远程驾驶员对仿真场景的体验反馈信息,对体验反馈信息进行分析,得到远程驾驶员的喜爱偏好;基于远程驾驶员的喜爱偏好,对仿真场景进行智能调整。
具体地,远程驾驶员可以在远程驾驶端对仿真场景进行评价,并存储评价结果;通过对评价结果进行分析,能够获得远程驾驶员的喜爱偏好,从而基于远程驾驶员的喜爱偏好,自动对仿真场景进行智能调整。
这里,场景元素可以包括自然景色、天气、民俗风情、名人和/或特产特色,元素特征信息包括自然景色的山河日月、天气的阴雪雨晴、民俗风情的喜庆节假、名人的事迹情怀和/或特产特色的美味佳肴。
在一些实施例中,该车辆导航方法还包括:响应于场景切换指令,将仿真场景切换至真实场景,以使远程驾驶员基于真实场景控制车辆行驶。
具体地,在车辆行驶过程中,可以基于接收到切换场景指令,将仿真场景切换至真实场景。例如,在远程驾驶员觉得仿真场景模糊或者仿真场景出现花屏等情况时,可以在远程驾驶端显示由摄像装置采集并传输的实时视频图像,以实现仿真场景与真实场景之间的切换。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图4是本公开实施例提供的另一种车辆导航方法的流程图。如图4所示,该车辆导航方法包括:
S401,在车辆处于远程驾驶模式的情况下,获取车辆周边的道路数据及车辆的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线;
S402,从道路数据中提取以当前位置为中心的预设距离范围内的道路数据作为优化数据,并将优化数据发送至远程驾驶端;
S403,基于优化数据并利用渲染引擎对导航路线进行绘制渲染,以生成仿真场景;
S404,在远程驾驶端显示仿真场景,以使远程驾驶端的远程驾驶员基于仿真场景控制车辆行驶;
S405,响应于场景切换指令,将仿真场景切换至真实场景,以使远程驾驶员基于真实场景控制车辆行驶。
具体地,在车辆处于远程驾驶模式的情况下,获取车辆周边的道路数据及车辆的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线;从道路数据中提取以当前位置为中心的预设距离范围内的道路数据作为优化数据,并将优化数据发送至远程驾驶端;基于优化数据并利用渲染引擎对导航路线进行绘制渲染,以生成仿真场景;在远程驾驶端显示仿真场景,以使远程驾驶端的远程驾驶员基于仿真场景控制车辆行驶;响应于场景切换指令,将仿真场景切换至真实场景,以使远程驾驶员基于真实场景控制车辆行驶。
根据本公开实施例提供的技术方案,能够实现仿真场景与真实场景之间的灵活切换,以帮助远程驾驶员对路况进行确认,因此,提高了远程驾驶的安全性,并进一步提升了用户体验。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图5是本公开实施例提供的一种车辆导航装置的示意图。如图5所示,该车辆导航装置包括:
获取模块501,被配置为在车辆处于远程驾驶模式的情况下,获取车辆周边的道路数据及车辆的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线;
优化模块502,被配置为对道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使远程驾驶端基于优化后的道路数据对导航路线进行实时渲染,得到仿真场景;
显示模块503,被配置为在远程驾驶端显示仿真场景,以使远程驾驶端的远程驾驶员基于仿真场景控制车辆行驶。
根据本公开实施例提供的技术方案,通过在车辆处于远程驾驶模式的情况下,获取车辆周边的道路数据及车辆的当前位置和目标位置,并基于当前位置和目标位置生成从当前位置到目标位置的导航路线,对道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使远程驾驶端基于优化后的道路数据对导航路线进行实时渲染,得到仿真场景,在远程驾驶端显示仿真场景,以使远程驾驶端的远程驾驶员基于仿真场景控制车辆行驶,能够在车端对道路数据进行优化,并在远程驾驶端通过实时渲染生成导航路线,因此,减少了对车端屏幕和网络带宽的占用,降低了数据传输的时延,提高了数据传输的效率和远程驾驶的安全性。
在一些实施例中,图5的获取模块501获取安装在车辆上的摄像装置和雷达装置分别采集到的车辆周边的图像数据和点云数据,并将图像数据和点云数据进行融合得到道路数据,以及获取安装在车辆上的定位装置采集到的车辆的位置数据,并基于位置数据确定车辆的当前位置。
在一些实施例中,图5的优化模块502从道路数据中提取以当前位置为中心的预设距离范围内的道路数据作为优化数据,并将优化数据发送至远程驾驶端。
在一些实施例中,该车辆导航装置还包括渲染模块504,被配置为基于优化数据并利用渲染引擎对导航路线进行绘制渲染,以生成仿真场景。
在一些实施例中,优化数据包括车辆数据、非机动车数据、行人数据、障碍物数据、交通标志数据、红绿灯数据中的至少一个。
在一些实施例中,该车辆导航装置还包括:反馈模块505,被配置为获取远程驾驶员对仿真场景的体验反馈信息;分析模块506,被配置为对体验反馈信息进行分析,得到远程驾驶员的喜爱偏好;调整模块507,被配置为基于远程驾驶员的喜爱偏好,对仿真场景进行智能调整。
在一些实施例中,该车辆导航装置还包括切换模块508,被配置为响应于场景切换指令,将仿真场景切换至真实场景,以使远程驾驶员基于真实场景控制车辆行驶。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
图6是本公开实施例提供的电子设备6的示意图。如图6所示,该实施例的电子设备6包括:处理器601、存储器602以及存储在该存储器602中并且可以在处理器601上运行的计算机程序603。处理器601执行计算机程序603时实现上述各个方法实施例中的步骤。或者,处理器601执行计算机程序603时实现上述各装置实施例中各模块/单元的功能。
示例性地,计算机程序603可以被分割成一个或多个模块/单元,一个或多个模块/单元被存储在存储器602中,并由处理器601执行,以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序603在电子设备6中的执行过程。
电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备6可以包括但不仅限于处理器601和存储器602。本领域技术人员可以理解,图6仅仅是电子设备6的示例,并不构成对电子设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如,电子设备还可以包括输入输出设备、网络接入设备、总线等。
处理器601可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器602可以是电子设备6的内部存储单元,例如,电子设备6的硬盘或内存。存储器602也可以是电子设备6的外部存储设备,例如,电子设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器602还可以既包括电子设备6的内部存储单元也包括外部存储设备。存储器602用于存储计算机程序以及电子设备所需的其它程序和数据。存储器602还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中,应该理解到,所揭露的装置/电子设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/电子设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围,均应包含在本公开的保护范围之内。

Claims (9)

1.一种车辆导航方法,其特征在于,包括:
在车辆处于远程驾驶模式的情况下,获取所述车辆周边的道路数据及所述车辆的当前位置和目标位置,并基于所述当前位置和所述目标位置生成从所述当前位置到所述目标位置的导航路线;
对所述道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使所述远程驾驶端基于所述优化后的道路数据对所述导航路线进行实时渲染,得到仿真场景;
在所述远程驾驶端显示所述仿真场景,以使所述远程驾驶端的远程驾驶员基于所述仿真场景控制所述车辆行驶;
其中,所述对所述道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使所述远程驾驶端基于所述优化后的道路数据对所述导航路线进行实时渲染,得到仿真场景,包括:
通过对目标场景进行不同视角下的图像采集,并利用扫描到的图像信息对目标场景中涉及到的目标对象和现场环境进行三维建模,得到相应的仿真对象模型和仿真环境模型;
基于所述仿真对象模型和仿真环境模型,并利用三维渲染引擎按照一定的对象分布规则在仿真环境模型中对仿真对象模型进行部署,构建该目标场景的仿真场景。
2.根据权利要求1所述的方法,其特征在于,所述获取所述车辆周边的道路数据及所述车辆的当前位置和目标位置,包括:
获取安装在所述车辆上的摄像装置和雷达装置分别采集到的所述车辆周边的图像数据和点云数据,将所述图像数据和所述点云数据进行融合,得到所述道路数据;
获取安装在所述车辆上的定位装置采集到的所述车辆的位置数据,并基于所述位置数据确定所述车辆的当前位置。
3.根据权利要求2所述的方法,其特征在于,所述对所述道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,包括:
从所述道路数据中提取以所述当前位置为中心的预设距离范围内的道路数据作为优化数据,并将所述优化数据发送至所述远程驾驶端。
4.根据权利要求3所述的方法,其特征在于,所述优化数据包括车辆数据、非机动车数据、行人数据、障碍物数据、交通标志数据、红绿灯数据中的至少一个。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述远程驾驶员对所述仿真场景的体验反馈信息;
对所述体验反馈信息进行分析,得到所述远程驾驶员的喜爱偏好;
基于所述远程驾驶员的喜爱偏好,对所述仿真场景进行智能调整。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
响应于场景切换指令,将所述仿真场景切换至真实场景,以使所述远程驾驶员基于所述真实场景控制所述车辆行驶。
7.一种车辆导航装置,其特征在于,包括:
获取模块,被配置为在车辆处于远程驾驶模式的情况下,获取所述车辆周边的道路数据及所述车辆的当前位置和目标位置,并基于所述当前位置和所述目标位置生成从所述当前位置到所述目标位置的导航路线;
优化模块,被配置为对所述道路数据进行优化处理,并将优化后的道路数据发送至远程驾驶端,以使所述远程驾驶端基于所述优化后的道路数据对所述导航路线进行实时渲染,得到仿真场景;其中包括:通过对目标场景进行不同视角下的图像采集,并利用扫描到的图像信息对目标场景中涉及到的目标对象和现场环境进行三维建模,得到相应的仿真对象模型和仿真环境模型;基于所述仿真对象模型和仿真环境模型,并利用三维渲染引擎按照一定的对象分布规则在仿真环境模型中对仿真对象模型进行部署,构建该目标场景的仿真场景;
显示模块,被配置为在所述远程驾驶端显示所述仿真场景,以使所述远程驾驶端的远程驾驶员基于所述仿真场景控制所述车辆行驶。
8.一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
CN202111079985.8A 2021-09-15 2021-09-15 车辆导航方法、装置、电子设备及存储介质 Active CN113607184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111079985.8A CN113607184B (zh) 2021-09-15 2021-09-15 车辆导航方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111079985.8A CN113607184B (zh) 2021-09-15 2021-09-15 车辆导航方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113607184A CN113607184A (zh) 2021-11-05
CN113607184B true CN113607184B (zh) 2024-05-24

Family

ID=78310510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111079985.8A Active CN113607184B (zh) 2021-09-15 2021-09-15 车辆导航方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113607184B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546575A (zh) * 2022-02-25 2022-05-27 阿波罗智联(北京)科技有限公司 对象显示方法、装置、设备、存储介质以及程序产品
CN114339059A (zh) * 2022-03-17 2022-04-12 新石器慧通(北京)科技有限公司 远程驾驶画面的调整方法及装置
CN114454889B (zh) * 2022-04-14 2022-06-28 新石器慧通(北京)科技有限公司 用于远程驾驶的行驶路面状况反馈方法、装置和无人车
CN114973736A (zh) * 2022-05-30 2022-08-30 东风汽车集团股份有限公司 基于虚拟仿真的远程驾驶监控***
CN115218919B (zh) * 2022-09-21 2022-12-13 泽景(西安)汽车电子有限责任公司 航迹线的优化方法、***和显示器
CN118171503B (zh) * 2024-05-16 2024-07-02 南京航空航天大学 一种基于点云实测数据虚拟装配的座舱盖协调方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015120999A1 (de) * 2015-12-02 2017-06-08 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung
KR20170117270A (ko) * 2016-04-12 2017-10-23 자동차부품연구원 V2x 통신 기반 드라이빙 통합 시뮬레이션 장치
CN109739216A (zh) * 2019-01-25 2019-05-10 深圳普思英察科技有限公司 自动驾驶***实际路测的测试方法及***
KR101957896B1 (ko) * 2018-06-29 2019-07-04 한화시스템(주) 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 디스플레이 방법
CN111007738A (zh) * 2019-11-28 2020-04-14 天津卡达克数据有限公司 一种用于自动驾驶算法仿真测试的软件在环平台
CN111045425A (zh) * 2019-12-05 2020-04-21 中国北方车辆研究所 一种地面无人车辆的辅助遥操作驾驶方法
KR102112684B1 (ko) * 2019-07-31 2020-06-03 엘지전자 주식회사 자율주행시스템에서 원격운전을 위한 제어 정보를 전송하는 방법 및 이를 위한 장치
CN113246991A (zh) * 2021-06-29 2021-08-13 新石器慧通(北京)科技有限公司 用于无人车的远程驾驶端的数据传输方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015120999A1 (de) * 2015-12-02 2017-06-08 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung
KR20170117270A (ko) * 2016-04-12 2017-10-23 자동차부품연구원 V2x 통신 기반 드라이빙 통합 시뮬레이션 장치
KR101957896B1 (ko) * 2018-06-29 2019-07-04 한화시스템(주) 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 디스플레이 방법
CN109739216A (zh) * 2019-01-25 2019-05-10 深圳普思英察科技有限公司 自动驾驶***实际路测的测试方法及***
KR102112684B1 (ko) * 2019-07-31 2020-06-03 엘지전자 주식회사 자율주행시스템에서 원격운전을 위한 제어 정보를 전송하는 방법 및 이를 위한 장치
CN111007738A (zh) * 2019-11-28 2020-04-14 天津卡达克数据有限公司 一种用于自动驾驶算法仿真测试的软件在环平台
CN111045425A (zh) * 2019-12-05 2020-04-21 中国北方车辆研究所 一种地面无人车辆的辅助遥操作驾驶方法
CN113246991A (zh) * 2021-06-29 2021-08-13 新石器慧通(北京)科技有限公司 用于无人车的远程驾驶端的数据传输方法和装置

Also Published As

Publication number Publication date
CN113607184A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN113607184B (zh) 车辆导航方法、装置、电子设备及存储介质
JP6548691B2 (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
DE102012214988B4 (de) Fahrzeug-Spielesystem mit erweiterter Realität für Vorder- und Rück-Sitz zur Unterhaltung und Information von Passagieren
KR20200091951A (ko) 동적 범위를 확장하기 위한 다수의 동작 모드들
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
CN111279689B (zh) 显示***、显示方法及存储介质
JP2016048552A (ja) 外部情報のドライバへの提供
EP4339938A1 (en) Projection method and apparatus, and vehicle and ar-hud
CN112822348B (zh) 交通工具机载成像***
US11812197B2 (en) Information processing device, information processing method, and moving body
CN113246991B (zh) 用于无人车的远程驾驶端的数据传输方法和装置
CN112382079A (zh) 一种面向车路协同的路侧感知模拟仿真方法和***
CN110832553A (zh) 图像处理装置和图像处理方法
CN114859754B (zh) 一种抬头显示***的仿真测试方法和仿真测试***
CN113348125A (zh) 用于辅助用户遥控机动车辆的方法、计算机程序产品、遥控装置以及用于机动车辆的驾驶员辅助***
JP2019519051A (ja) 知的照明システム、照明デバイス、車両、車載端末、車両運転支援システム及び車両運転支援方法
CN117169873A (zh) 超视域鸟瞰感知方法及装置、目标感知装置、设备、介质
EP3702864B1 (en) Accounting for latency in teleoperated remote driving
JP2019117435A (ja) 画像生成装置
CN113777975A (zh) 一种自动驾驶车辆的远程辅助***及方法
CN111345035B (zh) 信息处理装置、信息处理方法以及包含信息处理程序的介质
JP2021060808A (ja) 表示制御システム及び表示制御プログラム
CN111932687B (zh) 车内混合现实显示方法及装置
CN112770139A (zh) 车辆虚拟竞赛***及方法
CN110979319A (zh) 驾驶辅助方法、装置和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant