CN112129313A - 基于惯性测量单元的ar导航补偿*** - Google Patents

基于惯性测量单元的ar导航补偿*** Download PDF

Info

Publication number
CN112129313A
CN112129313A CN201910555115.XA CN201910555115A CN112129313A CN 112129313 A CN112129313 A CN 112129313A CN 201910555115 A CN201910555115 A CN 201910555115A CN 112129313 A CN112129313 A CN 112129313A
Authority
CN
China
Prior art keywords
adas
vehicle
lane line
navigation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910555115.XA
Other languages
English (en)
Inventor
李艳艳
王世华
朱魁
韩静瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbofu Electronics Suzhou Co ltd
Original Assignee
Anbofu Electronics Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anbofu Electronics Suzhou Co ltd filed Critical Anbofu Electronics Suzhou Co ltd
Priority to CN201910555115.XA priority Critical patent/CN112129313A/zh
Publication of CN112129313A publication Critical patent/CN112129313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种基于惯性测量单元的AR导航补偿***。根据实施例的一种车载导航***,包括:ADAS数据输入接口,能够从ADAS***获取ADAS数据;姿态输入接口,能够从惯性测量单元获得车辆的姿态信息;地图输入接口,能够从地图资源中获取地图数据;位置输入接口,能够从诸如GPS单元的位置单元获取车辆位置;以及导航计算单元,所述导航计算单元能够用于基于所述ADAS数据还原出由ADAS***识别的ADAS车道线的坐标;所述导航计算单元还能够用于:响应于ADAS***在T0时刻输出的ADAS数据中不含车道线计算参数的数值,由所述导航计算单元基于车辆的姿态信息、地图数据以及车辆位置,确定出车道线计算参数的数值;基于所确定的车道线计算参数的数值,得到经估计的车道线。

Description

基于惯性测量单元的AR导航补偿***
技术领域
本申请涉及汽车导航***,尤其涉及一种基于IMU(惯性测量单元)的AR导航补偿***。
背景技术
近年来,随着AR(Augmented Reality)技术的发展,汽车行业也逐渐引入了AR导航的概念。典型的AR导航技术,通过将数字导航信息叠加到实时场景中,与交通状况周边环境进行融合,实现给驾乘者展示增强实景的导航效果。AR导航的一种范例,包括在车载视觉***(通常基于摄像头)获取的实时场景上添加导航图层(overlay),从而通过可视化信息进行导航指引(例如给出导航箭头),标记POI位置等,这种导航有时被叫做AR-Camera。AR导航的另一种范例是直接在抬头显示装置(HUD)上叠加各种导航信息,即直接把导航信息叠加到驾驶员的真实视野中,这种导航有时被叫作AR-HUD。
在驾驶辅助领域和自动驾驶领域已有的另一个概念是ADAS。ADAS的全称是高级驾驶者辅助***(Advanced Driver Assistance Systems)。通俗来说,ADAS利用安装在车上的各式各样的传感器收集数据,并结合地图数据进行***计算,从而预先为驾驶者判断可能发生的危险,保证行车的安全性。ADAS***使用的传感器通常会包括摄像单元和雷达等。
图1显示了包含AR导航和ADAS二者的车载信息娱乐***的典型应用。ADAS单元包括摄像头和相应的信息处理部件,该单元可以被安装在车内后视镜位置,使摄像头朝向道路前方。ADAS单元处理由摄像头摄取的信息,然后可将生成的ADAS信息输出给行车电脑。
图1的应用中同时也可包括基于AR-Camera的方案。该方案中,为了满足AR应用,车上可另配备高性能摄像头(可将之称为AR摄像头),AR摄像头捕获车前的实景信息,然后传递给行车电脑,由行车电脑(ECU)中的AR导航算法加以处理。ADAS单元的摄像头和AR摄像头通常是两个分开的部件,AR摄像头有更好的清晰度和帧率以满足实景导航的需要,而ADAS单元的摄像头仅需满足ADAS检测算法的需要,其图像甚至可以是黑白的。例如,行车电脑中的AR导航算法将AR摄像头获取的图像信息转换为RGB的二维图像,并经适当的视角转换,最后显示在车辆的中控显示或仪表盘显示上,如图2A所示。
在基于AR-HUD的方案中,行车电脑根据需要确定叠加图层中各指示信息的坐标,最后在挡风玻璃的适当位置上投射显示叠加图层,如图2B所示。
在同时装备AR导航***和ADAS***的车辆中,已经尝试将AR导航和ADAS***两套***整合。例如,一种增强AR导航***可整合利用AR摄像头的输出和ADAS***的输出,具体而言,基于ADAS***的输出得到数据信息(例如,车道线,前方障碍物距离等),然后利用行车电脑将所述数据信息计算处理成安全提示信息,最后在对应的实景RGB图像上叠加包含ADAS安全提示信息的图层,并将叠加后的图像输出在中控显示或仪表盘显示上。图2A显示了将ADAS安全提示信息叠加到AR摄像头图像上并输出的示例性效果图。图2B显示了将ADAS安全提示信息直接投射到挡风玻璃上的示例性效果图。ADAS安全提示信息的一个实例是车道线,业内的技术已经可以做到把ADAS检测到的车道线重新绘制出来并叠加在AR导航实景输出上。图3显示了这种叠加后的效果。
ADAS的输出帧率往往低于AR实景导航的刷新帧率。例如,典型ADAS***的输出帧率为18帧/s,即每55ms会收到一帧ADAS输出数据,而在此期间AR摄像头捕获的图像已刷新多次。ADAS***的滞后性可能导致一些问题。例如,某些情况下,车辆在道路上快速地变道,此时AR摄像头捕获的图像能够较快地刷新,以反映因变道而产生的前方景物变化,但ADAS***的输出相对延迟,导致AR***不能及时获得反映变道结果的最新ADAS车道线信息。由于车辆快速变道时,叠加在AR实景上的ADAS车道线相对于AR实景路况有所滞后,造成用户的实际体验不佳。此外,某些碰撞预警算法中,根据ADAS的输出来确定障碍物的运行轨迹,并和自车运行轨迹进行比对,从而预先估计可能的碰撞点。由于ADAS***的输出帧率较低,基于ADAS确定的障碍物运行轨迹的更新可能不够及时,这同样导致碰撞预警的及时性整体受制于ADAS***的输出速率。
因此,在整合ADAS信息的AR导航应用中,ADAS***的滞后性可能导致:1.叠层车道线信息的延迟;2.碰撞预警的延迟。希望有一种更加行之有效的方法来减少或消除这种瓶颈效应。
发明内容
本申请提出一种车载导航***,该车载导航***可利用车上的惯性测量单元(IMU),在ADAS***尚未更新车道线信息时,基于车辆的位置平移和姿态旋转对车道线进行补偿;独立的或附加的,该车载导航***并可在ADAS不能输出车道线信息时,独立确定车道线计算参数的参数值以维持车道线的输出;独立的或附加的,车载导航***可以对ADAS识别出的障碍物相对于本车的加速度进行补偿,使碰撞预警更为及时。
根据本发明的一个方面,提供一种车载导航***,包括:ADAS数据输入接口,能够从ADAS***获取ADAS数据;姿态输入接口,能够从惯性测量单元获得车辆的姿态信息;以及导航计算单元,所述导航计算单元能够用于基于所述ADAS数据还原出由ADAS***识别的ADAS车道线的坐标;所述导航计算单元还能够用于:响应于ADAS***在T0时刻输出的ADAS数据,还原出对应的ADAS车道线的T0坐标;在T0时刻后,ADAS***再度输出ADAS数据的T1时刻前,基于姿态信息对车道线的T0坐标进行实时补偿。
上述车载导航***中,可选的,所述导航计算单元在T0时刻和T1时刻之间,每次要可视输出车道线坐标时,对车道线的T0坐标进行实时补偿。
上述车载导航***中,可选的,所述姿态信息包括和车辆视角对应的线性平移矩阵和转动矩阵,其中转动矩阵基于车辆的偏航角
Figure BDA0002106641350000031
俯仰角θ和横滚角
Figure BDA0002106641350000032
获得。
上述车载导航***中,可选的,在T0时刻后的Δt时刻,基于和(T0+Δt)对应的线性平移矩阵和转动矩阵,对车道线的T0坐标进行补偿。
上述车载导航***中,可选的,所述车载导航***还包括实景数据输入接口,能够从摄像头获取实景数据。
上述车载导航***中,可选的,所述(T0+Δt)时刻对应于所述车载导航***基于实景数据来刷新其导航图像输出的时刻。
根据本发明的一个方面,提供一种车载导航***,包括:ADAS数据输入接口,能够从ADAS***获取ADAS数据;姿态输入接口,能够从惯性测量单元获得车辆的姿态信息;地图输入接口,能够从地图资源中获取地图数据;位置输入接口,能够从位置单元获取车辆位置;以及导航计算单元,所述导航计算单元能够用于基于所述ADAS数据还原出由ADAS***识别的ADAS车道线的坐标;所述导航计算单元还能够用于:响应于ADAS***在T0时刻输出的ADAS数据中不含车道线计算参数的数值,由所述导航计算单元基于车辆的姿态信息、地图数据以及车辆位置,确定出车道线计算参数的数值;基于所确定的车道线计算参数的数值,得到经估计的车道线。
上述车载导航***中,可选的,所述导航计算单元基于ADAS***所采取的参数定义来确定出车道线计算参数的数值。
上述车载导航***中,可选的,所述导航计算单元基于独立于ADAS***的单独参数定义来确定车道线计算参数的数值。
上述车载导航***中,可选的,所述导航计算单元基于来自ADAS***的最新车道线计算参数的数值,拟合确定适用于车道线计算参数的参数定义。
上述车载导航***中,可选的,所述地图数据包括从地图资源中获取的车道数量和车道属性,所述位置单元包括GPS单元。
上述车载导航***中,可选的,所述导航计算单元在确定车道线计算参数的数值时,基于所述姿态信息中的偏航角
Figure BDA0002106641350000041
并进一步基于:视角到车道线距离;由地图资源确定的车道线曲率;由地图资源确定的车道线曲率变化率。
上述车载导航***中,可选的,所述视角到车道线距离通过以下方式确定:基于从地图资源获取的地图数据和从位置单元获取的车辆位置,获取每条车道线相对于视角的坐标信息。
上述车载导航***中,可选的,所述车道线计算参数包括车道线方程中的系数和常数项。
根据本发明的一个方面,提供一种车载导航***,包括:ADAS数据输入接口,能够从ADAS***获取ADAS数据;姿态输入接口,能够从惯性测量单元获得车辆的姿态信息;以及导航计算单元,所述导航计算单元能够用于基于所述ADAS数据还原出由ADAS***识别的障碍物信息,包括障碍物与本车的相对距离和相对加速度;所述导航计算单元还能够用于:根据ADAS***在T0时刻输出的ADAS数据,确定障碍物和本车的相对加速度;在T0时刻后,ADAS***再度输出ADAS数据的T1时刻前,基于姿态信息对障碍物与本车的相对加速度进行实时补偿;基于补偿后的相对加速度,计算障碍物和本车的碰撞预警时间。
上述车载导航***中,可选的,所述由ADAS***识别的障碍物包括:兴趣点;其他机动车辆。
上述车载导航***中,可选的,在T0时刻后T1时刻前的(T0+Δt)时刻,基于本车加速度相对于T0的变化量,对障碍物与本车的相对加速度进行实时补偿。
附图说明
包括附图是为提供对本发明进一步的理解,它们被收录并构成本申请的一部分,附图示出了本发明的实施例,并与本说明书一起起到解释本发明原理的作用。
附图中:
图1是包含ADAS***和AR导航***的车上信息***示意图。
图2A是将ADAS安全提示信息叠加到AR摄像头图像上并输出的示例性效果图。
图2B是将ADAS安全提示信息叠加到挡风玻璃上并输出的示例性效果图。
图3显示将ADAS车道线叠加到AR摄像头图像后输出的示例性效果图。
图4示例性地显示ADAS单元所输出的识别结果信息。
图5A和图5B显示根据本发明的实施例的用于基于IMU的输出对车道线坐标进行动态补偿的示例性过程。
图6A和图6B显示根据本发明的实施例的用于基于IMU的输出对车道线坐标进行估计的示例性过程。
图7显示根据本发明的实施例的用于基于IMU的输出对碰撞预警算法进行补偿的示例性过程。
图8是可以采用本申请所提出的技术的车载信息娱乐***的示例性架构。
图9示例性地显示两种车体坐标系。
具体实施方式
在以下的描述中,参考各实施例对本发明进行描述。然而,本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中,未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地,为了解释的目的,阐述了特定数量、材料和配置,以便提供对本发明的实施例的全面理解。然而,本发明可在没有特定细节的情况下实施。此外,应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。
作为示例性说明,首先描述从ADAS数据获得车道线坐标的原理。典型的ADAS单元可以对自身摄像头获得的前方图像进行分析,并识别出车道线,前方障碍物等。ADAS单元将识别结果以一定的数据格式输出。图4示例性地显示ADAS单元所输出的识别结果信息。如图4所示,ADAS单元410可输出车道标记信息420和障碍物信息430。其中,车道标记信息420是车道线识别的结果,其数据格式可为车道线范围和车道线计算参数,其中,车道线范围表征的是ADAS识别的车道线延伸到前方多远,而车道线计算参数则用于绘制出车道线,例如,在二维图像坐标系中,基于方程式y=f(x),并以ADAS单元410提供的车道线计算参数为方程式的系数,计算机可以实时绘制出车道线的曲线。
仅作为示例,ADAS单元410可基于下述车道线方程y=f(x)来描述某根车道线位置:
y=a0+a1*x+a2*x2+a3*x3
(方程1)
y轴和x轴可以对应于自车坐标系,其中x轴对应车辆前后方向,y轴对应车辆左右方向,其可以是车体坐标系,或是基于车体坐标系平移的坐标系。图8给出两种示例性的车体坐标系。
上述车道线方程中,例如,α0是视角到车道线距离,α1是偏航角
Figure BDA0002106641350000061
的正切值,α2是车道线曲率/2,α3是车道线曲率变化率/6,这些系数都是由ADAS单元410给出的,并且,这些系数的含义都是由ADAS***定义的。
上述系数和上述方程仅仅作为示例。实际上,取决于车道线的不同(左车道线还是右车道线),以及ADAS单元410本身所采取的算法和定义,车道线方程会有多种表达方式。
从以上示例可以看出,ADAS单元410给出的车道标记信息(特别是车道线计算参数和车道线范围)是随着路况而变化的。如果路况在短时间内发生较为明显的变化,而ADAS单元410的输出却没有更新,那么AR导航***所再现的叠层车道线信息就可能明显滞后于实际路况。在每次更新AR实景输出时,如果没有更新车道标记信息,那么就需要对上次重构的车道线进行补偿。
在极端情况下,可能ADAS单元410不能很好地识别出车道线,因此不能给出车道线计算参数,AR导航***因此不能依据ADAS单元的输出来重构出车道线。此时,如果要在AR实景输出上叠加车道线,就可能要求助于ADAS单元410以外的手段。
车道线补偿
根据本发明的一个实施例,AR导航***和车载IMU以及ADAS***之间存在数据耦合,基于来自IMU的信息,对ADAS车道线的滞后问题进行实时的补偿。图5A的框图和图5B的流程图显示了这个实施例。
如图5A的框图所示,实施例利用了车载IMU 5100的输出。IMU的全称是惯性测量单元(Inertial Measurement Unit)。典型的IMU至少包括三轴加速度计和三轴陀螺仪,其中三轴加速度计给出在自车坐标系(以重力方向为Z轴方向)中沿着X轴、Y轴和Z轴方向的线性运动,以及围绕各轴的旋转角度,即偏航角(Yaw)
Figure BDA0002106641350000071
俯仰角(Pitch)θ和横滚角(Roll)
Figure BDA0002106641350000072
结合图5A,当ADAS单元的车道线检测存在滞后时,可由AR导航***对车道线信息进行补偿。例如,如果ADAS***(ADAS单元410)给出的数据频率为55ms一次,则通常跟不上AR导航的导航图像刷新速度,此种情况下,应用于AR叠层的ADAS输出与实际情况相比就会有所延迟。由于这种状况是ADAS***给出的数据不够即时性不足导致的,因此就需要对ADAS***的最近一次输出进行补偿来使其更为贴近车辆的实际行驶情况。
假定,ADAS***最近一次输出数据的时刻为T0,而***当前时刻是(T0+Δt),则当前时刻与T0时刻相比,ADAS视角位置会有位移和姿态变化,这种视角位置的位置体现为ADAS视角在Δt的时间段内的发生的位置平移,视角位置的姿态变化体现为ADAS视角在Δt的时间段内的发生的姿态角变动。
基于IMU 5100的输出,可以得到ADAS视角在Δt时间段内的位移量,即ADAS视角在上下左右前后位置上的平移量。基于该位移量,可得到ADAS视角位置平移矩阵。基于IMU5100的输出,也可以得到ADAS视角在Δt时间段内的姿态角变动,即ADAS视角的偏航角
Figure BDA0002106641350000073
俯仰角θ和横滚角
Figure BDA0002106641350000074
的变化量。基于该姿态角变化量,可得到ADAS视角位置的旋转矩阵。
基于平移矩阵和旋转矩阵,可以对视角位置进行位移和姿态角方面的补偿,从而在用于AR导航的车道线计算中,把ADAS***尚未输出但已经实际发生的视角位置变化考虑进去。
上述实施例中,(T0+Δt)时刻对应于所述车载导航***基于实景数据来刷新其导航图像输出的时刻。可以理解,如果T0和T1(ADAS***再度输出ADAS数据的时刻)之间,导航***的输出刷新多次,那么每次刷新时,导航***会针对T0时刻算得的车道线进行基于IMU的输出进行补偿。
图5B显示了实现上述实施例的示例性流程图。在步骤510,ADAS数据更新时,导航***(或其他车上计算***)可根据最新ADAS数据确定车道线的位置信息。在步骤520,导航***从IMU获得车身姿态数据。在步骤530,导航***基于IMU提供的数据,确定平移矩阵和旋转矩阵。在步骤540,基于平移矩阵和旋转矩阵,补偿车道线的位置,并可显示补偿的车道线位置。在步骤550,判断ADAS输出是否更新,如果更新,则以ADAS最新数据来确定车道线,否则,继续从步骤520继续对车道线的补偿过程。
车道线估计
根据本发明的另一个实施例,AR导航***和车载IMU和地图资源之间存在数据耦合,基于来自IMU的信息,来自GPS单元的信息和来自地图资源的信息,在ADAS***不能检测出ADAS车道线时,由AR导航***计算出构建车道线所需的参数值。图6A的框图和图6B的流程图显示了这个实施例。
结合图6A的框图所示,实施例利用了车载IMU 5100的输出,利用了GPS单元6500,还利用了地图资源6400。“地图资源”此处指车载或远程地图引擎,以及任何其他AR导航***可访问以获得地图信息的资源。“GPS单元”通常指依赖于GPS技术的定位模块,但也使用结合了GPS定位和蜂窝基站定位的A-GPS定位模块等其他车辆定位技术,以及更广义的各类能够提供车辆位置的位置单元/位置服务。
如图6A所示,假设车道线方程为此前讨论的方程1,而ADAS***不能检测到车道线,因此不能给出实时算得的α0,α1,α2,α3时,AR导航***可根据参数α0,α1,α2,α3的定义来自行确定车道线方程的参数值。例如,在方程1的示例中:α0是视角到车道线距离,可以根据来自地图资源6400和来自GPS单元6500的数据来确定(例如,具体而言,把来自GPS单元的当前车辆位置作为输入提供给地图资源中的高精度地图,地图会输出以当前位置为原点的车道线坐标点集合,可以根据该集合计算出a0,即当前视角到车道线的距离);α1是偏航角
Figure BDA0002106641350000091
的正切值,可以从IMU 5100获得;α2是车道线曲率/2,α3是车道线曲率变化率/6,此二者可以从地图资源6400获得。
图6B显示了实现上述实施例的示例性流程图。在步骤610,ADAS数据更新时,导航***(或其他车上计算***)判定无法根据最新ADAS数据确定车道线的位置信息(例如,因为ADAS单元没有检测到车道线)。在步骤620,导航***从IMU获得车身姿态数据,从地图资源6400获得车道数据,从GPS单元6500获取车身位置。在步骤630,导航***基于IMU 5100提供的数据,GPS单元6500提供的车身位置和地图资源6400提供的车道数据,确定车道线方程的参数值。在步骤640,基于确定的参数值来估计车道线以供输出。在步骤650,判断ADAS输出是否更新且新的ADAS输出中有车道线,如果否,则从步骤620继续对车道线的估计,如果是,则车道线估计结束,改为以ADAS输出和必要的补偿来确定车道线。
上述实施例中,作为示例,导航***基于ADAS***所采取的参数定义来确定出车道线计算参数的数值。然而,也可以基于独立于ADAS***的单独参数定义来确定车道线计算参数的数值。例如,导航***基于来自ADAS***的最后一次有效车道线计算参数的数值,以拟合算法确定适用于车道线计算参数的参数定义,或者,根据经验数据来确定车道线计算参数的定义。本领域技术人员应理解,任何独立于ADAS输出而确定车道线计算参数的方式,都应纳入本发明的构思之中。
碰撞预警的补偿
根据本发明的另一个实施例,基于IMU的输出对碰撞预警算法进行补偿。
现有方案中,车载导航***的碰撞预警算法可从ADAS***的输出中提取出障碍物信息,并估算和障碍物发生碰撞的剩余时间,并相应产生预警信息。通常,在ADAS***所识别的障碍物信息中,可以提取到障碍物相对于本车的加速度。然而,因为ADAS***的刷新率低,在ADAS输出等待刷新的时隙中,由于车辆自身的加速/减速/变道等操作,障碍物相对于本车的加速度可能有较大变化,这种加速度变化如果不能及时馈入碰撞预警算法,则影响碰撞预警算法的及时性。
根据实施例,利用车载IMU的姿态数据获得本车的加速度情况。如果和ADAS数据更新时刻T0相比,本车的加速度有所变化,则基于该加速度的变化来对时刻T0所确定的障碍物相对本车的加速度进行补偿。
图7显示根据本发明的实施例的用于基于IMU的输出对碰撞预警算法进行补偿的示例性过程。在步骤710,ADAS数据更新,根据更新的数据确定ADAS***所识别的障碍物信息,包括障碍物相对于本车的加速度。在步骤720,获得IMU数据,其中包括本车的加速度情况。在步骤730,基于IMU数据,特别是IMU数据给出的加速度情况,对步骤710时确定的加速度进行补偿。在步骤740,基于补偿的加速度来运行碰撞预警算法。在步骤750,判断ADAS输出是否更新,如果更新,则回到步骤710,再度从ADAS输出中确定障碍物加速度,如果未更新,则从步骤720继续对加速度的补偿。
示例***架构
本发明的方案可以以软件、硬件或软硬件结合的方式集成到现有车载信息娱乐***的示例性架构中。图8是可以采用本申请所提出的技术的车载信息娱乐(infotainment)***的示例性架构。本发明的补偿方案可主要基于该架构中的IMU810、ADAS单元820、和处理模块830来实现,并和该架构中已有的其他功能相兼容/融合。尽管在该示例性架构中以功能为基准列出了诸多模块,但这些模块仅作为示例,在车载信息娱乐***的具体实现时,可以包含所列模块中的一部分,也可以包含更多的模块。在合适的技术条件下,某些模块可以更改为在车辆外部实现(例如,在云端服务器实现),或是在车上人员携带的设备上实现(例如在驾乘人员的手机上实现),但这些外部设备和车载信息娱乐***有通信上的耦合关系。
本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。本申请的上下文中,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请实施例的精神和范围。

Claims (17)

1.一种车载导航***,包括:
ADAS数据输入接口,能够从ADAS***获取ADAS数据;
姿态输入接口,能够从惯性测量单元获得车辆的姿态信息;以及
导航计算单元,所述导航计算单元能够用于基于所述ADAS数据还原出由ADAS***识别的ADAS车道线的坐标;
所述导航计算单元还能够用于:
响应于ADAS***在T0时刻输出的ADAS数据,还原出对应的ADAS车道线的T0坐标;
在T0时刻后,ADAS***再度输出ADAS数据的T1时刻前,基于姿态信息对车道线的T0坐标进行实时补偿。
2.如权利要求1所述的车载导航***,其特征在于,所述导航计算单元在T0时刻和T1时刻之间,每次要可视输出车道线坐标时,对车道线的T0坐标进行实时补偿。
3.如权利要求1所述的车载导航***,其特征在于,所述姿态信息包括和车辆视角对应的线性平移矩阵和转动矩阵,其中转动矩阵基于车辆的偏航角
Figure FDA0002106641340000011
俯仰角θ和横滚角
Figure FDA0002106641340000012
获得。
4.如权利要求3所述的车载导航***,其特征在于,在T0时刻后的Δt时刻,基于和(T0+Δt)对应的线性平移矩阵和转动矩阵,对车道线的T0坐标进行补偿。
5.如权利要求1所述的车载导航***,其特征在于,所述车载导航***还包括实景数据输入接口,能够从摄像头获取实景数据。
6.如权利要求5所述的车载导航***,其特征在于,所述(T0+Δt)时刻对应于所述车载导航***基于实景数据来刷新其导航图像输出的时刻。
7.一种车载导航***,包括:
ADAS数据输入接口,能够从ADAS***获取ADAS数据;
姿态输入接口,能够从惯性测量单元获得车辆的姿态信息;
地图输入接口,能够从地图资源中获取地图数据;
位置输入接口,能够从位置单元获取车辆位置;以及
导航计算单元,所述导航计算单元能够用于基于所述ADAS数据还原出由ADAS***识别的ADAS车道线的坐标;
所述导航计算单元还能够用于:
响应于ADAS***在T0时刻输出的ADAS数据中不含车道线计算参数的数值,由所述导航计算单元基于车辆的姿态信息、地图数据以及车辆位置,确定出车道线计算参数的数值;
基于所确定的车道线计算参数的数值,得到经估计的车道线。
8.如权利要求7所述的车载导航***,其特征在于,所述导航计算单元基于ADAS***所采取的参数定义来确定出车道线计算参数的数值。
9.如权利要求7所述的车载导航***,其特征在于,所述导航计算单元基于独立于ADAS***的单独参数定义来确定车道线计算参数的数值。
10.如权利要求8所述的车载导航***,其特征在于,所述导航计算单元基于来自ADAS***的最新车道线计算参数的数值,拟合确定适用于车道线计算参数的参数定义。
11.如权利要求7所述的车载导航***,其特征在于,所述地图数据包括从地图资源中获取的车道数量和车道属性,所述位置单元包括GPS单元。
12.如权利要求7所述的车载导航***,其特征在于,所述导航计算单元在确定车道线计算参数的数值时,基于所述姿态信息中的偏航角
Figure FDA0002106641340000021
并进一步基于:
视角到车道线距离;
由地图资源确定的车道线曲率;
由地图资源确定的车道线曲率变化率。
13.如权利要求12所述的车载导航***,其特征在于,所述视角到车道线距离通过以下方式确定:基于从地图资源获取的地图数据和从位置单元获取的车辆位置,获取每条车道线相对于视角的坐标信息。
14.如权利要求7所述的车载导航***,其特征在于,所述车道线计算参数包括车道线方程中的系数和常数项。
15.一种车载导航***,包括:
ADAS数据输入接口,能够从ADAS***获取ADAS数据;
姿态输入接口,能够从惯性测量单元获得车辆的姿态信息;以及
导航计算单元,所述导航计算单元能够用于基于所述ADAS数据还原出由ADAS***识别的障碍物信息,包括障碍物与本车的相对距离和相对加速度;
所述导航计算单元还能够用于:
根据ADAS***在T0时刻输出的ADAS数据,确定障碍物和本车的相对加速度;
在T0时刻后,ADAS***再度输出ADAS数据的T1时刻前,基于姿态信息对障碍物与本车的相对加速度进行实时补偿;
基于补偿后的相对加速度,计算障碍物和本车的碰撞预警时间。
16.如权利要求15所述的车载导航***,其特征在于,所述由ADAS***识别的障碍物包括:兴趣点;其他机动车辆。
17.如权利要求15所述的车载导航***,其特征在于,在T0时刻后T1时刻前的(T0+Δt)时刻,基于本车加速度相对于T0的变化量,对障碍物与本车的相对加速度进行实时补偿。
CN201910555115.XA 2019-06-25 2019-06-25 基于惯性测量单元的ar导航补偿*** Pending CN112129313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910555115.XA CN112129313A (zh) 2019-06-25 2019-06-25 基于惯性测量单元的ar导航补偿***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910555115.XA CN112129313A (zh) 2019-06-25 2019-06-25 基于惯性测量单元的ar导航补偿***

Publications (1)

Publication Number Publication Date
CN112129313A true CN112129313A (zh) 2020-12-25

Family

ID=73850035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910555115.XA Pending CN112129313A (zh) 2019-06-25 2019-06-25 基于惯性测量单元的ar导航补偿***

Country Status (1)

Country Link
CN (1) CN112129313A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112781620A (zh) * 2020-12-30 2021-05-11 东风汽车集团有限公司 一种基于高精度地图***的ar-hud影像标定调整***及方法
CN114268787A (zh) * 2021-12-20 2022-04-01 东软集团股份有限公司 基于ar-hud的延时补偿方法、装置、设备及存储介质
CN117170615A (zh) * 2023-09-27 2023-12-05 江苏泽景汽车电子股份有限公司 跟车图标的显示方法、装置、电子设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101868812A (zh) * 2007-11-20 2010-10-20 三洋电机株式会社 驾驶辅助***、车辆及立体物区域推定方法
KR20170055738A (ko) * 2015-11-12 2017-05-22 현대모비스 주식회사 영상 기반 주행 차로 판단 장치 및 방법
CN106856566A (zh) * 2016-12-16 2017-06-16 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于ar设备的信息同步方法及***
CN107525516A (zh) * 2016-10-09 2017-12-29 腾讯科技(深圳)有限公司 用于导航的车道线显示方法和装置
CN109353279A (zh) * 2018-12-06 2019-02-19 延锋伟世通电子科技(上海)有限公司 一种增强现实车载抬头显示***
CN109668575A (zh) * 2019-01-29 2019-04-23 苏州车萝卜汽车电子科技有限公司 用于增强现实抬头显示装置的导航信息处理方法及装置、设备、***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101868812A (zh) * 2007-11-20 2010-10-20 三洋电机株式会社 驾驶辅助***、车辆及立体物区域推定方法
KR20170055738A (ko) * 2015-11-12 2017-05-22 현대모비스 주식회사 영상 기반 주행 차로 판단 장치 및 방법
CN107525516A (zh) * 2016-10-09 2017-12-29 腾讯科技(深圳)有限公司 用于导航的车道线显示方法和装置
CN106856566A (zh) * 2016-12-16 2017-06-16 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于ar设备的信息同步方法及***
CN109353279A (zh) * 2018-12-06 2019-02-19 延锋伟世通电子科技(上海)有限公司 一种增强现实车载抬头显示***
CN109668575A (zh) * 2019-01-29 2019-04-23 苏州车萝卜汽车电子科技有限公司 用于增强现实抬头显示装置的导航信息处理方法及装置、设备、***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112781620A (zh) * 2020-12-30 2021-05-11 东风汽车集团有限公司 一种基于高精度地图***的ar-hud影像标定调整***及方法
CN112781620B (zh) * 2020-12-30 2022-03-18 东风汽车集团有限公司 一种基于高精度地图***的ar-hud影像标定调整***及方法
CN114268787A (zh) * 2021-12-20 2022-04-01 东软集团股份有限公司 基于ar-hud的延时补偿方法、装置、设备及存储介质
CN114268787B (zh) * 2021-12-20 2024-06-11 东软集团股份有限公司 基于ar-hud的延时补偿方法、装置、设备及存储介质
CN117170615A (zh) * 2023-09-27 2023-12-05 江苏泽景汽车电子股份有限公司 跟车图标的显示方法、装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN111052733B (zh) 周围车辆显示方法及周围车辆显示装置
EP2485203B1 (en) Vehicle-surroundings monitoring device
CN108437896B (zh) 车辆驾驶辅助方法、装置、设备及存储介质
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
US11288777B2 (en) Image processing device, image processing method, and program
CN108367710B (zh) 俯瞰影像生成装置、俯瞰影像生成***、以及存储介质
CN112129313A (zh) 基于惯性测量单元的ar导航补偿***
CN109927629B (zh) 用于控制投影设备的显示控制设备、显示控制方法及车辆
US10997737B2 (en) Method and system for aligning image data from a vehicle camera
US11694408B2 (en) Information processing device, information processing method, program, and movable object
CN109345591B (zh) 一种车辆自身姿态检测方法和装置
JP7107931B2 (ja) 移動オブジェクトのレンジを推定する方法および装置
CN110378836B (zh) 获取对象的3d信息的方法、***和设备
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
US11562576B2 (en) Dynamic adjustment of augmented reality image
US20190100141A1 (en) Ascertainment of Vehicle Environment Data
JPWO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2022549562A (ja) 車両運転支援方法およびシステム
CN111854788A (zh) 基于惯性测量单元的ar导航补偿***
WO2022049880A1 (ja) 画像処理装置
US20220062581A1 (en) Method for reducing the kinetosis effect for passengers of motor vehicles observing an image displayed on a display unit
JP2022544348A (ja) 対象を識別する方法とシステム
CN115113400B (zh) 基于车辆俯仰角调整ar-hud显示的控制方法,***和汽车
CN109801355A (zh) 一种扩大驾驶员视野范围的方法及装置
US20230234442A1 (en) Method For Displaying Augmented Reality Information In Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201225