CN111854788B - 基于惯性测量单元的ar导航补偿*** - Google Patents

基于惯性测量单元的ar导航补偿*** Download PDF

Info

Publication number
CN111854788B
CN111854788B CN201910355680.1A CN201910355680A CN111854788B CN 111854788 B CN111854788 B CN 111854788B CN 201910355680 A CN201910355680 A CN 201910355680A CN 111854788 B CN111854788 B CN 111854788B
Authority
CN
China
Prior art keywords
vehicle
adas
time
height
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910355680.1A
Other languages
English (en)
Other versions
CN111854788A (zh
Inventor
李艳艳
王世华
朱魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbofu Electronics Suzhou Co ltd
Original Assignee
Anbofu Electronics Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anbofu Electronics Suzhou Co ltd filed Critical Anbofu Electronics Suzhou Co ltd
Priority to CN201910355680.1A priority Critical patent/CN111854788B/zh
Publication of CN111854788A publication Critical patent/CN111854788A/zh
Application granted granted Critical
Publication of CN111854788B publication Critical patent/CN111854788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G01C21/3694—Output thereof on a road map

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种基于惯性测量单元的AR导航补偿***。根据实施例的一种车载导航***，包括：ADAS数据输入接口；姿态输入接口，能够从惯性测量单元获得车辆俯仰角信息；以及导航计算单元，所述导航计算单元能够用于还原出由ADAS***识别的ADAS车道线的坐标；所述导航计算单元还能够用于：响应于确定本车在沿路面爬升或下降，在ADAS***输出数据的T0时刻，基于和T0时刻对应的ADAS车道线与车辆俯仰角计算出车道线各坐标点相对于本车的高度Z，并确定车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度变化量Δz；基于Z和Δz，确定T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度。

Description

基于惯性测量单元的AR导航补偿***
技术领域
本申请涉及汽车导航***，尤其涉及一种基于IMU(惯性测量单元)的AR 导航补偿***。
背景技术
近年来，随着AR(Augmented Reality)技术的发展，汽车行业也逐渐引入了 AR导航的概念。典型的AR导航技术，通过将数字导航信息叠加到实时场景中，与交通状况周边环境进行融合，实现给驾乘者展示增强实景的导航效果。AR导航的一种范例，包括在车载视觉***(通常基于摄像头)获取的实时场景上添加导航图层(overlay)，从而通过可视化信息进行导航指引(例如给出导航箭头)，标记 POI位置等，这种导航有时被叫做AR-Camera。AR导航的另一种范例是直接在抬头显示装置(HUD)上叠加各种导航信息，即直接把导航信息叠加到驾驶员的真实视野中，这种导航有时被叫作AR-HUD。
在驾驶辅助领域和自动驾驶领域已有的另一个概念是ADAS。ADAS的全称是高级驾驶者辅助***(Advanced Driver Assistance Systems)。通俗来说，ADAS 利用安装在车上的各式各样的传感器收集数据，并结合地图数据进行***计算，从而预先为驾驶者判断可能发生的危险，保证行车的安全性。ADAS***使用的传感器通常会包括摄像单元和雷达等。
图1显示了包含AR导航和ADAS二者的车载信息娱乐***的典型应用。 ADAS单元包括摄像头和相应的信息处理部件，该单元可以被安装在车内后视镜位置，使摄像头朝向道路前方。ADAS单元处理由摄像头摄取的信息，然后可将生成的ADAS信息输出给行车电脑。
图1的应用中同时也可包括基于AR-Camera的方案。该方案中，为了满足AR 应用，车上可另配备高性能摄像头(可将之称为AR摄像头)，AR摄像头捕获车前的实景信息，然后传递给行车电脑，由行车电脑中的AR导航算法加以处理。 ADAS单元的摄像头和AR摄像头通常是两个分开的部件，AR摄像头有更好的清晰度和帧率以满足实景导航的需要，而ADAS单元的摄像头仅需满足ADAS检测算法的需要，其图像甚至可以是黑白的。例如，行车电脑中的AR导航算法将AR 摄像头获取的图像信息转换为RGB的二维图像，并经适当的视角转换，最后显示在车辆的中控显示或仪表盘显示上，如图2A所示。
在基于AR-HUD的方案中，行车电脑(ECU)对根据需要确定叠加图层中各指示信息的坐标，最后在挡风玻璃的适当位置上投射显示叠加图层，如图2B所示。
在具备AR导航***和ADAS***的车辆中，已经尝试将AR导航和ADAS ***两套***整合。例如，一种增强AR导航***整合利用AR摄像头的输出和 ADAS***的输出，具体而言，基于ADAS***的输出得到数据信息(例如，车道线，前方障碍物距离等)，然后利用行车电脑将数据信息计算成安全提示信息，最后在对应的实景RGB图像上叠加包含ADAS安全提示信息的图层，并将叠加后的图像输出在中控显示或仪表盘显示上。图2A显示了将ADAS安全提示信息叠加到AR摄像头图像上并输出的示例性效果图。图2B显示了将ADAS安全提示信息直接投射到挡风玻璃上的示例性效果图。ADAS安全提示信息的一个实例是车道线，业内的技术已经可以做到把ADAS检测到的车道线重新绘制出来并叠加在AR 导航实景输出上。图3A显示了这种叠加后的效果。
某些AR实景导航还可以做到当车辆在上坡和下坡时，在AR实景的二维图像输出中也考虑前方路段相对本车的高度变化，从而在AR实景的二维图像输出中表现出前方路段正在抬升/下降的视觉效果。例如，在下坡时，前方路段相对本车的高度是不断降低的，基于该递减的高度值，可把前方路段绘制为逐渐移向二维图像的下方；同样，在上坡时，前方路段相对于本车的高度越来越高，基于该递增的高度值，可把前方路段绘制为逐渐移向二维图像的上方。AR导航的这种为摄像头捕获的前方景物制造“上坡/下坡”视觉效果的能力是业内技术已经能够实现的，在此不作赘述。
如果要把ADAS检测出的车道线也叠加到这种具备“上坡/下坡”视觉效果的二维图像上，可能遇到一些问题。ADAS***通常会以一定数据格式输出检测到的车道线，使得外部设备可以基于该数据还原出车道线。然而，ADAS***输出的数据格式中往往是不含车道线坐标点的相对高度信息的，如果缺乏高度信息，则车道线所在图层并不能基于高度信息产生“上坡/下坡”视觉效果。此外，ADAS的输出帧率往往低于AR实景导航的刷新帧率。例如，典型ADAS***的输出帧率为 18帧/s，即每55ms会收到一帧ADAS输出数据，而在此期间AR摄像头捕获的图像已刷新多次。因此，在针对每个输出的ADAS车道线计算高度信息后，倘若该高度信息得不到及时更新(更新频率跟不上AR实景导航的属性帧率)，那么也会导致显示的车道线和实际路面状况的不匹配。
图3B显示了一种车道线和路面不匹配的情况。如图3B所示，车辆正在上坡，但前方上坡已经快要结束。由于***在绘制车道线时没有将其高度信息考虑进去，因此导致二维图像中显示出车道线过长，造成了车道线脱离路面伸向天空的效果。
因此，在将ADAS信息整合到AR导航方案中时，希望能有更加有效的算法，来解决ADAS车道线高度信息更新不及时/缺乏补偿的问题。
发明内容
本申请提出一种AR导航***，该***利用车上的惯性测量单元(IMU)，地图数据，使得AR导航***可以将ADAS***的输出信息正确有效地叠加到AR实景上。
根据本方面的一个方面，提供一种车载导航***，包括：ADAS数据输入接口，能够从ADAS***获取ADAS数据；姿态输入接口，能够从惯性测量单元获得车辆的姿态信息，所述姿态信息包括车辆俯仰角信息；以及导航计算单元，所述导航计算单元能够用于基于所述ADAS数据还原出由ADAS***识别的ADAS车道线的坐标；所述导航计算单元还能够用于：基于车辆俯仰角信息确定本车在沿路面爬升或下降；响应于确定本车在沿路面爬升或下降，在ADAS***输出数据的 T0时刻，基于和T0时刻对应的ADAS车道线与车辆俯仰角计算出车道线各坐标点相对于本车的高度Z，并确定车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度变化量Δz；基于Z和Δz，确定T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度。
上述车载导航***的方案中，所述ADAS***输出ADAS数据的时间间隔大于Δt。
上述车载导航***的方案中，在T0时刻后，当所述ADAS***在T1时刻再度输出ADAS数据时，重新基于和T1时刻对应的ADAS车道线与车辆俯仰角计算出车道线各坐标点相对于本车的高度Z，并将Δz重置为零。
上述车载导航***的方案中，通过以下方式计算和T0时刻对应的车道线坐标相对于本车的高度Z：确定ADAS车道线坐标点相对于本车的纵向距离；以及将所述纵向距离乘以俯仰角的正弦值。
上述车载导航***的方案中，通过以下方式计算车辆因爬升或下降导致的在 T0时刻后的Δt时间内的车辆高度增量Δz：确定车辆在单位时间内的前进距离；对前进距离进行时间积分，以得到在Δt时间内车辆的前进距离；将所述前进距离乘以车辆俯仰角的正弦值，计算出Δt时间内车辆高度变化量Δz。
上述车载导航***的方案中，通过以下方式确定车辆在单位时间内的前进距离：根据里程计得到的单位时间内车辆的行驶距离s；将s投影于地图数据输出的道路上得到车辆的前进距离s’；对前进距离s’进行时间积分得到Δt时间内车辆的前进距离。
上述车载导航***的方案中，车辆爬坡时，Z为正值，车辆下坡时，Z为负值，Δz始终为正值，爬坡时，T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度确定为Z-Δz，下坡时，T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度确定为Z+Δz。
上述车载导航***的方案中，所述导航计算单元还能够用于：在车辆爬坡或下坡时刻，基于高度信息的变化显示前方为上坡路段或下坡路段的视觉效果。
上述车载导航***的方案中，所述车载导航***还包括实景数据输入接口，能够从摄像头获取实景数据。
上述车载导航***的方案中，所述T0+Δt时刻对应于所述车载导航***基于实景数据来刷新其导航图像输出的时刻。
根据本方面的一个方面，提供一种车载导航***，包括：ADAS数据输入接口，能够从ADAS***获取ADAS数据；姿态输入接口，能够从惯性测量单元获得车辆俯仰角信息；以及车载计算单元，所述车载计算单元能够用于基于所述 ADAS数据还原出由ADAS***识别到的ADAS对象的坐标；所述车载计算单元还能够用于：基于车辆俯仰角信息确定本车在沿路面爬升或下降；响应于确定本车在沿路面爬升或下降，在ADAS***输出数据的T0时刻，基于和T0时刻对应的 ADAS对象与车辆俯仰角计算出ADAS对象各坐标点相对于本车的高度Z，并确定车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度变化量Δz；基于Z 和Δz，确定T0+Δt时刻ADAS对象各坐标点相对于本车的实际高度。
上述车载导航***的方案中，所述由ADAS***识别到的ADAS对象包括以下各项中的至少一项：车道线，路面障碍物，基于车道线的ADAS提示；基于路面障碍物的ADAS提示。
附图说明
包括附图是为提供对本发明进一步的理解，它们被收录并构成本申请的一部分，附图示出了本发明的实施例，并与本说明书一起起到解释本发明原理的作用。附图中：
图1是包含ADAS***和AR导航***的车上信息***示意图。
图2A是将ADAS安全提示信息叠加到AR摄像头图像上并输出的示例性效果图。
图2B是将ADAS安全提示信息叠加到挡风玻璃上并输出的示例性效果图。
图3A显示将ADAS车道线叠加到AR摄像头图像后输出的示例性效果图。
图3B显示在车辆上坡时，因ADAS车道线的高度信息更新不及时导致的车道线显示问题。
图4示例性地显示ADAS单元所输出的识别结果信息。
图5示例性地显示两种车体坐标系。
图6A是根据本发明的实施例的用于获得车道线各坐标高度信息的示例性过程。
图6B是根据本发明的实施例的获得车辆一定时间内高度信息变化量的实例过程。
图7是可以采用本申请所提出的技术的车载信息娱乐***的示例性架构。
具体实施方式
在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。
作为示例性说明，首先描述从ADAS数据获得车道线坐标的原理。典型的 ADAS单元可以对自身摄像头获得的前方图像进行分析，并识别出车道线，前方障碍物等。ADAS单元将识别结果以一定的数据格式输出。图4示例性地显示ADAS 单元所输出的识别结果信息。如图4所示，ADAS单元可将车道线识别结果输出的一种数据格式是车道线范围和车道线计算参数，其中，车道线范围表征的是ADAS 识别的车道线延伸到前方多远，而车道线计算参数则用于绘制出车道线，例如，在二维图像坐标系中，基于方程式y＝f(x)，并以ADAS单元提供的车道线计算参数为方程式的系数，计算机可以实时绘制出车道线的曲线。
仅作为示例，ADAS单元可基于下述车道线方程y＝f(x)来描述某根车道线位置：
y＝a0+a1*x+a2*x2+a3*x3
y轴和x轴可以对应于自车坐标系，其中x轴对应车辆前后方向，y轴对应车辆左右方向，其可以是车体坐标系，或是基于车体坐标系平移的坐标系。图5给出两种示例性的车体坐标系。
上述车道线方程中，例如，α0是视角到车道线距离，α1是偏航角的正切值，α2是车道线曲率/2，α4是车道线曲率变化率/6，这些系数都是由ADAS单元给出的，并且，这些系数的含义都是由ADAS***定义的。
上述系数和上述方程仅仅作为示例。实际上，取决于车道线的不同(左车道线还是右车道线)，以及ADAS本身采取的算法和定义，车道线方程会有多种表达方式。
从以上示例可以看出，尽管基于ADAS单元的输出，可以在二维图像空间内绘制出由ADAS识别出的车道线，但是ADAS单元的输出并没有给出车道线的高度信息。对于车辆上坡/下坡的情况，在绘制车道线时，需要以适当方式重构车道线相对本车的高度，且因为车辆始终在不断前进，车道线相对本车的高度也是不断变化的，在每次更新AR实景输出时，如果没有重新重构车道线相对本车的高度，那就需要对其上次重构的高度进行补偿。
根据本发明的一个实施例，AR导航***和IMU以及ADAS***之间存在数据耦合，基于来自IMU和ADAS的信息还原出ADAS车道线相对本车的实时高度信息。更具体的，AR导航***可通过IMU、里程计和地图数据获得道路属性(路面曲率)，计算出一定时间内车辆的上升高度，进一步计算出车道线高度与本车辆之间的高度差，从而解决ADAS单元帧率低而导致的车道线高度信息滞后于实际场景的问题。
图6A是根据本发明的实施例的用于获得车道线各坐标高度信息的示例性过程，图6B是根据本发明的实施例用于获得车辆一定时间内高度信息变化量的示例过程。如图6A和6B所示，AR导航***可以根据IMU得到车体姿态信息，车体姿态信息中包括俯仰角θ，即，车辆在车体坐标系(例如，SAE坐标系)中绕Y 轴旋转的角度。更具体的，俯仰角θ由IMU中的三轴陀螺仪给出。
当车体姿态信息中的俯仰角θ超过一定正值，表明车辆正在爬坡。当车体姿态信息中的俯仰角θ超过一定负值，表明车辆正在下坡。判定车辆在爬坡/下坡时，AR导航***可以为AR摄像头图像重构高度信息，使得AR实景输出具有爬坡/下坡的视觉效果。同时，可以为ADAS车道线启动高度补偿算法。
作为示例，本发明的实施例基于下述方法在车辆爬坡/下坡时进行ADAS车道线的高度补偿：
1)从ADAS***中获取车道线信息，该时刻记为T0；记T1为ADAS输出下一帧车道线信息的时刻；记T0和T1间某时刻相对于T时刻的时间差为Δt。
2)从IMU中获取车辆俯仰角，从而计算出T0时刻车道线坐标离车辆的高度距离Z(图6A)。具体来说，可确定T0时刻车道线坐标点相对于本车的纵向距离，然后将该纵向距离乘以俯仰角θ的正弦。
3)根据里程计得到的单位时间内车辆的行驶距离s，将s投影于地图数据输出的道路上得到车辆的前进距离s’(车辆因变道、走曲线等原因，可导致行驶距离超过前进距离)，对前进距离s’进行时间积分得到Δt时间内车辆的前进距离Sself。
4)利用车辆俯仰角及车辆前进距离Sself计算出Δt时间内车辆高度变化Δz。
5)利用T0时刻车道线坐标离车辆的高度距离减去Δt时间内车辆自身高度变化Δz，得到T+Δt时刻车道线坐标的实际高度，该实际高度的数值的大小为Z的绝对值减去Δz的绝对值，由此为ADAS车道线的各坐标重构了高度值。
上述实施例中，ADAS***输出ADAS数据的时间间隔大于Δt，因此在T0+Δt 的时间内，导航***根据上述实施例的方式为ADAS车道线的各坐标重构高度值。当ADAS***在下一个时刻，例如T1，再度输出ADAS数据时，则可将Δz置为零，根据新的时刻和新的ADAS数据来重复步骤1)－5)。
上述实施例中，车载导航***的输出刷新率高于ADAS的输出刷新率，因此， T0+Δt时刻可对应于所述车载导航***基于实景数据来刷新其导航图像输出的时刻。
在根据本发明的实施例为ADAS车道线的各坐标实时重构了高度值后，基于根据ADAS输出算得的x值、y值，加上重构的高度值，就可以始终将ADAS车道线在二维图像中表现为具备和路面的实际情况较为吻合的上坡/下坡视觉效果。
对应于上述算法，本申请的实施例由此揭示了一种车载导航***，其包括ADAS 数据输入接口，姿态输入接口，并包括导航计算单元，从而实现上述的高度补偿算法。这种车载导航***还可以实景数据输入接口，能够从摄像头获取实景数据，并将ADAS车道线的图形化表示叠加到摄像头实景图像上，作为增强导航画面输出。
上述实施例中，展示ADAS车道线的二维图层可以叠加在AR Camera导航的实景输出中。作为另一种方案，展示ADAS车道线的二维图层可以借助抬头显示 (HUD)技术直接投影到挡风玻璃上，此时，没有基于AR Camera的实景输出步骤，但仍可在车辆爬坡/下坡时基于重构的高度信息对ADAS车道线的二维图形加以处理，使其具备爬坡/下坡效果。
上述实施例中，从里程计获得单位时间的位移量的方式是现有技术中已有的，从导航地图出取得车道曲率的方式是现有技术中已有的。
以上描述了根据本发明的车道线高度补偿和校正方案的示例性算法。可以理解，尽管以车道线为示例，但是本发明可以适用于任何其他由ADAS单元输出横向和纵向坐标，但高度信息缺失的ADAS对象，例如，路面障碍物，基于车道线的ADAS提示，基于路面障碍物的ADAS提示。
本发明的方案可以以软件、硬件或软硬件结合的方式集成到现有车载信息娱乐***的示例性架构中。图7是可以采用本申请所提出的技术的车载信息娱乐 (infotainment)***的示例性架构。本发明的高度补偿方案可主要基于该架构中的IMU 710、ADAS单元720、和处理模块730来实现，并和该架构中已有的其他功能相兼容/融合。尽管在该示例性架构中以功能为基准列出了诸多模块，但这些模块仅作为示例，在车载信息娱乐***的具体实现时，可以包含所列模块中的一部分，也可以包含更多的模块。在合适的技术条件下，某些模块可以更改为在车辆外部实现(例如，在云端服务器实现)，或是在车上人员携带的设备上实现(例如在驾乘人员的手机上实现)，但这些外部设备和车载信息娱乐***有通信上的耦合关系。
本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。本申请的上下文中，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/ 或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请实施例的精神和范围。

Claims (10)

1.一种车载导航***，包括：
ADAS数据输入接口，能够从ADAS***获取ADAS数据；
姿态输入接口，能够从惯性测量单元获得车辆的姿态信息，所述姿态信息包括车辆俯仰角信息；以及
导航计算单元，所述导航计算单元能够用于基于所述ADAS数据还原出由ADAS***识别的ADAS车道线的坐标；
所述导航计算单元还能够用于：
基于车辆俯仰角信息确定本车在沿路面爬升或下降；
响应于确定本车在沿路面爬升或下降，在ADAS***输出数据的T0时刻，基于和T0时刻对应的ADAS车道线与车辆俯仰角计算出车道线各坐标点相对于本车的高度Z，并确定车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度变化量Δz；
基于Z和Δz，确定T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度，其中，通过以下方式计算和T0时刻对应的车道线坐标相对于本车的高度Z：确定ADAS车道线坐标点相对于本车的纵向距离；将所述纵向距离乘以车辆俯仰角的正弦值，
其中，通过以下方式计算车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度增量Δz：确定车辆在单位时间内的前进距离；对前进距离进行时间积分，以得到在Δt时间内车辆的前进距离；将所述前进距离乘以车辆俯仰角的正弦值，计算出Δt时间内车辆高度变化量Δz。
2.如权利要求1所述的车载导航***，其特征在于，所述ADAS***输出ADAS数据的时间间隔大于Δt。
3.如权利要求1所述的车载导航***，其特征在于，在T0时刻后，当所述ADAS***在T1时刻再度输出ADAS数据时，将Δz重置为零，并重新基于和T1时刻对应的ADAS车道线与车辆俯仰角计算出车道线各坐标点相对于本车的高度Z。
4.如权利要求1所述的车载导航***，其特征在于，通过以下方式确定车辆在单位时间内的前进距离：
根据里程计得到的单位时间内车辆的行驶距离s；
将s投影于地图数据输出的道路上得到车辆的前进距离s’；
对前进距离s’进行时间积分得到Δt时间内车辆的前进距离。
5.如权利要求1所述的车载导航***，其特征在于，
车辆爬坡时，Z为正值，车辆下坡时，Z为负值，
Δz始终为正值，
爬坡时，T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度确定为Z-Δz，
下坡时，T0+Δt时刻ADAS车道线各坐标点相对于本车的实际高度确定为Z+Δz。
6.如权利要求1所述的车载导航***，其特征在于，所述导航计算单元还能够用于：在车辆爬坡或下坡时刻，基于高度信息的变化显示前方为上坡路段或下坡路段的视觉效果。
7.如权利要求1所述的车载导航***，其特征在于，所述车载导航***还包括实景数据输入接口，能够从摄像头获取实景数据。
8.如权利要求7所述的车载导航***，其特征在于，所述T0+Δt时刻对应于所述车载导航***基于实景数据来刷新其导航图像输出的时刻。
9.一种车载导航***，包括：
ADAS数据输入接口，能够从ADAS***获取ADAS数据；
姿态输入接口，能够从惯性测量单元获得车辆俯仰角信息；以及
车载计算单元，所述车载计算单元能够用于基于所述ADAS数据还原出由ADAS***识别到的ADAS对象的坐标；
所述车载计算单元还能够用于：
基于车辆俯仰角信息确定本车在沿路面爬升或下降；
响应于确定本车在沿路面爬升或下降，在ADAS***输出数据的T0时刻，基于和T0时刻对应的ADAS对象与车辆俯仰角计算出ADAS对象各坐标点相对于本车的高度Z，并确定车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度变化量Δz；
基于Z和Δz，确定T0+Δt时刻ADAS对象各坐标点相对于本车的实际高度，
其中，通过以下方式计算和T0时刻对应的车道线坐标相对于本车的高度Z：确定ADAS车道线坐标点相对于本车的纵向距离；将所述纵向距离乘以车辆俯仰角的正弦值，
其中，通过以下方式计算车辆因爬升或下降导致的在T0时刻后的Δt时间内的车辆高度增量Δz：确定车辆在单位时间内的前进距离；对前进距离进行时间积分，以得到在Δt时间内车辆的前进距离；将所述前进距离乘以车辆俯仰角的正弦值，计算出Δt时间内车辆高度变化量Δz。
10.如权利要求9所述的车载导航***，其特征在于，所述由ADAS***识别到的ADAS对象包括以下各项中的至少一项：车道线，路面障碍物，基于车道线的ADAS提示；基于路面障碍物的ADAS提示。
CN201910355680.1A 2019-04-29 2019-04-29 基于惯性测量单元的ar导航补偿*** Active CN111854788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910355680.1A CN111854788B (zh) 2019-04-29 2019-04-29 基于惯性测量单元的ar导航补偿***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910355680.1A CN111854788B (zh) 2019-04-29 2019-04-29 基于惯性测量单元的ar导航补偿***

Publications (2)

Publication Number Publication Date
CN111854788A CN111854788A (zh) 2020-10-30
CN111854788B true CN111854788B (zh) 2023-09-01

Family

ID=72966411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910355680.1A Active CN111854788B (zh) 2019-04-29 2019-04-29 基于惯性测量单元的ar导航补偿***

Country Status (1)

Country Link
CN (1) CN111854788B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112781620B (zh) * 2020-12-30 2022-03-18 东风汽车集团有限公司 一种基于高精度地图***的ar-hud影像标定调整***及方法
CN114659527A (zh) * 2022-03-30 2022-06-24 北京理工大学 一种基于惯性测量单元补偿的车道线光学测距方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007055365A (ja) * 2005-08-23 2007-03-08 Denso Corp 車両用表示装置
CN101915672A (zh) * 2010-08-24 2010-12-15 清华大学 车道偏离报警***的测试装置及测试方法
JP2013183311A (ja) * 2012-03-02 2013-09-12 Isuzu Motors Ltd 車載カメラの姿勢角推定装置及び検出システム
CN104036279A (zh) * 2014-06-12 2014-09-10 北京联合大学 一种智能车行进控制方法及***
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成***及方法
CN107521411A (zh) * 2017-07-18 2017-12-29 吉林大学 一种辅助驾驶员的车道级导航增强现实装置
CN108177524A (zh) * 2017-12-22 2018-06-19 联创汽车电子有限公司 Arhud***及其车道线绘制方法
CN108204822A (zh) * 2017-12-19 2018-06-26 武汉极目智能技术有限公司 一种基于adas的车辆ar导航***及方法
CN108413932A (zh) * 2018-03-07 2018-08-17 张天骏 汽车导航***高度信息识别探测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007055365A (ja) * 2005-08-23 2007-03-08 Denso Corp 車両用表示装置
CN101915672A (zh) * 2010-08-24 2010-12-15 清华大学 车道偏离报警***的测试装置及测试方法
JP2013183311A (ja) * 2012-03-02 2013-09-12 Isuzu Motors Ltd 車載カメラの姿勢角推定装置及び検出システム
CN104036279A (zh) * 2014-06-12 2014-09-10 北京联合大学 一种智能车行进控制方法及***
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成***及方法
CN107521411A (zh) * 2017-07-18 2017-12-29 吉林大学 一种辅助驾驶员的车道级导航增强现实装置
CN108204822A (zh) * 2017-12-19 2018-06-26 武汉极目智能技术有限公司 一种基于adas的车辆ar导航***及方法
CN108177524A (zh) * 2017-12-22 2018-06-19 联创汽车电子有限公司 Arhud***及其车道线绘制方法
CN108413932A (zh) * 2018-03-07 2018-08-17 张天骏 汽车导航***高度信息识别探测方法

Also Published As

Publication number Publication date
CN111854788A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
EP3940421A1 (en) Positioning method and device based on multi-sensor fusion
EP2485203B1 (en) Vehicle-surroundings monitoring device
CN108162974B (zh) 使用道路角度数据的车辆控制
US6956503B2 (en) Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method
CN108367710B (zh) 俯瞰影像生成装置、俯瞰影像生成***、以及存储介质
EP2348279B1 (en) Road measurement device and method for measuring road
CN107111879A (zh) 通过全景环视图像估计车辆自身运动的方法和设备
CN111854788B (zh) 基于惯性测量单元的ar导航补偿***
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
JP7063856B2 (ja) 表示制御装置
US11945309B2 (en) Display system
US20210109357A1 (en) Display system, display device and display control method
US11305692B2 (en) Display system
CN112129313A (zh) 基于惯性测量单元的ar导航补偿***
EP4034841A1 (en) Method and system of vehicle driving assistance
WO2004048895A1 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
WO2020209298A1 (ja) 勾配変化検出システム、それを用いた表示システム及び移動体用プログラム
JP7186749B2 (ja) 管理システム、管理方法、管理装置、プログラム及び通信端末
CN116257205A (zh) 图像抖动补偿方法、装置、抬头显示设备、载具及介质
JP7417907B2 (ja) 表示システム
WO2021095590A1 (ja) 表示制御装置
JP6891863B2 (ja) 表示制御装置および表示制御プログラム
CN115088028A (zh) 绘制***、显示***、移动体、绘制方法以及程序
WO2020090320A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR102655800B1 (ko) 차량 및 장애물 검출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant