CN114034310B - 基于ar-hud与手势交互的自动导航辅助驾驶*** - Google Patents

基于ar-hud与手势交互的自动导航辅助驾驶*** Download PDF

Info

Publication number
CN114034310B
CN114034310B CN202111259775.7A CN202111259775A CN114034310B CN 114034310 B CN114034310 B CN 114034310B CN 202111259775 A CN202111259775 A CN 202111259775A CN 114034310 B CN114034310 B CN 114034310B
Authority
CN
China
Prior art keywords
module
hud
navigation
driver
lane change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111259775.7A
Other languages
English (en)
Other versions
CN114034310A (zh
Inventor
余琛
祝逍临
刘永臣
熊盼盼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Motor Corp
Original Assignee
Dongfeng Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Motor Corp filed Critical Dongfeng Motor Corp
Priority to CN202111259775.7A priority Critical patent/CN114034310B/zh
Publication of CN114034310A publication Critical patent/CN114034310A/zh
Application granted granted Critical
Publication of CN114034310B publication Critical patent/CN114034310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3617—Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Atmospheric Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明提供了一种基于AR‑HUD与手势交互的自动导航辅助驾驶***，该***包括核心处理模块以及均与核心处理模块相连的定位模块、导航模块、ADAS模块、AR‑HUD模块和DMS模块。本发明将AR‑HUD、手势交互以及自动导航辅助驾驶结合在一起，当需要发生导航路径变更或变道超车时，第一时间与驾驶员形成交互，在以驾驶员意图为主的前提下，以直观的形式告知驾驶员导航信息，以简单轻松的操作方法实现对车辆的控制，达成以驾驶员意图为主的辅助驾驶***。此外，机器实时与驾驶员的互动，给驾驶员带来更大的安全感与智能化的感受，让驾驶员更加相信***的安全性，进一步实现了人机共驾、智能座舱概念。

Description

基于AR-HUD与手势交互的自动导航辅助驾驶***
技术领域
本发明属于辅助驾驶技术领域，具体涉及一种基于AR-HUD与手势交互的自动导航辅助驾驶***。
背景技术
随着智能化汽车普及程度越来越高，AR-HUD(即增强现实抬头显示)配置由于其功能强大、表现形象生动，受到消费者的青睐。驾驶员还可以通过手势与AR-HUD进行交互。
同时单车智能化的程度越来越高，智能汽车能实现自动紧急制动、车道保持、自适应巡航、主动变道等功能，且引入高精度地图以及导航***后，可实现点到点的自动导航辅助驾驶功能，在同时兼顾安全和舒适的情况下，极大的解放驾驶员的双手。
发明内容
本发明的目的在于，提供一种基于AR-HUD与手势交互的自动导航辅助驾驶***，将AR-HUD、手势交互以及自动导航辅助驾驶结合在一起，达成以驾驶员意图为主的辅助驾驶***。
为实现上述目的，本发明提供了一种基于AR-HUD与手势交互的自动导航辅助驾驶***，该***包括核心处理模块以及均与核心处理模块相连的定位模块、导航模块、ADAS模块、AR-HUD模块和DMS模块；其中：
定位模块，用于实现车辆定位；
导航模块，用于提供导航信息；
ADAS模块，配备有多个传感器，用于获取外界环境的相关数据；同时还结合定位信息和导航信息实现路径规划，并根据实时的路径规划控制相关联的控制器；
AR-HUD模块，用于与导航模块结合以显示导航模块提供的不同的导航路径，同时还与核心处理模块结合以显示核心处理模块提供的变道选项；变道选项包括向左变道、保持直行以及向右变道；
DMS模块，用于识别驾驶员手势；
核心处理模块，用于判断是否要进行变道，并在要进行变道时结合ADAS模块确定可行的变道选项；还用于根据DMS模块识别的驾驶员手势确定新的导航路径以及变道结果，并发送给ADAS模块做路径规划；
核心处理模块还负责各模块之间的数据传输和转发任务。
在一些可选的实施方案中，新的导航路径的确定包括：
导航模块提供新的导航信息；
新的导航信息由核心处理模块转发给AR-HUD模块，AR-HUD模块显示新的导航路径；
驾驶员在预设时间内做出手势，由DMS模块识别驾驶员手势，并将识别的驾驶员手势转发给核心处理模块；
核心处理模块根据识别的驾驶员手势确定新的导航路径，并转发给AR-HUD模块和ADAS模块；AR-HUD模块显示确定的新的导航路径，ADAS模块根据确定的新的导航路径控制相关联的控制器。
在一些可选的实施方案中，新的导航信息包括当前导航路径前方正在施工或交通拥堵或发生交通事故。
在一些可选的实施方案中，变道结果的确定包括：
核心处理模块判断是否要进行变道，在确定要进行变道时向ADAS模块发出自动变道请求；
ADAS模块对相邻车道进行分析，确定出可行的变道选项，并由核心处理模块将变道选项转发给AR-HUD模块，AR-HUD模块显示变道选项；
驾驶员在预设时间内做出手势，由DMS模块识别驾驶员手势，并将识别的驾驶员手势转发给核心处理模块；
核心处理模块根据识别的驾驶员手势确定变道结果，并转发给AR-HUD模块和ADAS模块；AR-HUD模块显示确定的变道结果，ADAS模块根据确定的变道结果控制相关联的控制器。
在一些可选的实施方案中，自车跟随前车保持一定时距行驶，前车速度一直较慢，当自车速度被压制达到一定时间阈值后，核心处理模块判断出要进行变道。
在一些可选的实施方案中，变道轨迹如下：
式中，B表示变道轨迹中每个点的坐标，P表示轨迹规划中采样点的坐标，t表示时间；
如果变道轨迹满足碰撞检测公式，即不会发生碰撞，即判定为可行变道选项：
式中，XCo表示在t时间内前车移动的纵向位移，XC1表示t时间内自车移动的纵向位移，Lco是前车的长度，θ(t)是前车在t时刻与行驶方向的夹角，Wc1是自车的宽度，tp是碰撞点的时间。
在一些可选的实施方案中，AR-HUD模块还显示ADAS模块的输出信息、车辆定位信息和导航信息。
在一些可选的实施方案中，ADAS模块对获取的外界环境的相关数据做融合处理，输出多车道的目标物信息、车道线信息、交通标志等信号。
在一些可选的实施方案中，DMS模块包括一个摄像头和一个用于手势识别的卷积神经网络，由摄像头拍摄驾驶员手势，由卷积神经网络识别手势；DMS模块还利用摄像头监视驾驶员行为进行疲劳检测。
在一些可选的实施方案中，定位模块基于高精度地图的GPS和IMU实现车辆厘米级定位。
本发明与现有技术相比，具有以下优点及有益效果：
本发明将AR-HUD、手势交互以及自动导航辅助驾驶结合在一起，当需要发生导航路径变更或变道超车时，第一时间与驾驶员形成交互，在以驾驶员意图为主的前提下，以直观的形式告知驾驶员导航信息，以简单轻松的操作方法实现对车辆的控制，达成以驾驶员意图为主的辅助驾驶***。
机器实时与驾驶员的互动，给驾驶员带来更大的安全感与智能化的感受，让驾驶员更加相信***的安全性，进一步实现了人机共驾、智能座舱的概念。
附图说明
图1为基于AR-HUD与手势交互的自动导航辅助驾驶***框架图。
图2为DMS模块的手势数据集示意图。
图3为AR-HUD模块显示的不同的导航路径示意图。
图4为AR-HUD模块显示的变道选项示意图。
图5为基于AR-HUD与手势交互的自动导航辅助驾驶流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明结合目前智能化汽车三个前沿的技术方案：①能够结合高精度地图、导航***的自动导航辅助驾驶，实现点到点的自动驾驶辅助功能，包含的主要功能场景有进出匝道、自动变道、车道居中保持、智能巡航等；②当前热门的AR-HUD，增强现实抬头显示***。能利用ADAS***的传感器获取外界信息，并将跟驾驶相关的重要信息投影至前挡风玻璃上，让驾驶员直观的获取所需要的信息，提高了驾驶的安全性；③手势交互，在自动导航辅助驾驶功能解放驾驶员双手的同时，由驾驶员手势实现导航路径变更或主动超车等动作，达成以驾驶员意图为主的辅助驾驶***。
本发明所需的硬件包含但不仅包含：摄像头、毫米波雷达、激光雷达、高性能计算平台、GPS、IMU、My@AR Core、AR-HUD显示。主要解决的问题是基于导航、定位***，实现A点到B点的自动驾驶。冗余的传感器方案能够实现360度的环境感知，高性能的计算平台能处理大量的环境感知数据，做实时的路径规划，并将环境信息投影至AR-HUD。当导航路径发生变更或者变道超车等一些列非驾驶员意图的工况出现时，AR-HUD能将信息显示出来，第一时间提醒驾驶员，并提供可选择路径；DMS摄像头识别驾驶员的手势信息；My@AR Core发出所述控制手势对应的控制指令，实现导航路径变更或主动超车等动作，达成以驾驶员意图为主的辅助驾驶***宗旨，并更大程度实现人机交互，智能座舱的概念。
本发明主要是在车辆开启自动导航辅助驾驶情况下，驾驶员通过手势与AR-HUD增强现实抬头显示交互，实现通过手势完成更换导航路径、换道超车等智能化操作。如图1所示，整个***的框架图如下：
①ADAS模块。配备有ADAS驾驶辅助***的车辆，通过传感器，例如摄像头、毫米波雷达、激光雷达多源传感器获取外界环境的相关数据，再通过高性能计算平台做融合处理，输出多车道的目标物信息、车道线信息、交通标志和实时路径规划等。同时利用②定位模块的高精度地图实现车辆的厘米级定位，和③导航模块的导航路径实现从点到点行驶的路径规划。
②定位模块。基于高精度地图的GPS和IMU定位***，在实现点到点高级辅助驾驶有着决定性的作用，处理上下匝道等困难场景。
③车载导航模块。将导航相关信息(方向、距离等)投影至AR-HUD；同时配合ADAS***模块，做出最优的路径规划。
④DMS模块。该模块在汽车A柱装有一个DMS摄像头，利用DMS摄像头对驾驶员手势进行识别。如使用卷积神经网络，导入包含手势的机器学习数据集，如图2所示，对数据进行预处理，然后用来训练卷积神经网络，达成预期的效果。使用过程中该摄像头能在收到捕捉驾驶员手势指令的前提下，对驾驶员的手势进行识别。该模块还可以时刻监视驾驶员的行为，如果有打哈欠、眼睛望向其他方向等疲劳驾驶行为时，MP5发出提示音。
⑤AR-HUD显示模块。该模块主要含括光学模组，包含棱镜、自由曲面、以及光波导技术，将ADAS、导航、定位等其他模块传输的信号投影出来。
⑥My@AR Core。核心处理模块，主要包含两大功能。第一是任务调度，即负责传输、转发信号至对应模块中。第二个是交互信号处理，主要工作内容是起到信息的融合分析，接受来自DMS模块的驾驶员手势信息，并将手势信息与AR-HUD的显示信息匹配起来；与此同时向AR-HUD显示模块发出驾驶员手势对应的控制指令；向ADAS模块发出目标路径的选择信息；更新导航模块。后续通过其余子模块各自的工作即可实现基于手势的自动导航辅助驾驶功能。
本发明利用高精度地图、GPS定位、导航***、多源环境传感器、高性能计算平台等，实现了对环境全方位的感知和从A点到B点的自动导航驾驶辅助功能，极大的降低了驾驶员接管次数，实现了自动上下匝道、进出主路等困难场景，提高了车辆的智能化程度。此外，利用AR-HUD显示、DMS摄像头实现了驾驶员与车辆的智能化交互，当需要发生导航路径变更或超车时，第一时间与驾驶员形成交互，在以驾驶员意图为主的前提下，以直观的形式告知驾驶员导航信息，以简单轻松的操作方法就能实现人类对车辆的控制。
如图5所示，该***主要应用的场景有如下：
Case1：车辆开启自动导航辅助驾驶功能，车辆按照初始设定导航路径行驶。由于交通情况的实时变化，通常会出现施工、交通拥堵、交通事故等路况。此时导航模块会提供最新的不同路径方案，路径信息由My@AR Core转发给ADAS模块做实时路径规划；转发给AR-HUD显示模块，显示出标识有路线特征的导航箭头，如图3中AR-HUD显示左下角示意图：1、2、3条路由导航信息提供。
驾驶员做出相应的手势“1”、“2”或者“3”，DMS摄像头采集手势图像并处理信号，***执行所述控制手势对应的控制指令，且在AR-HUD持续3秒高亮出已选择的路径，其他两条路径显示消失；导航信息更新，并以语音行驶提醒驾驶员已切换至最新路径；同时ADAS***融合导航信息，做出最优的路径规划，是否变道、是否上下高架、是否进出匝道等关键规划。
Case2：车辆开启导航自动驾驶辅助功能。在实现A点到B点的自动驾驶辅助工况中，自车跟随前车保持一定时距行驶，前车速度一直较慢，当自车速度被压制达到一定时间阈值后，My@AR Core会做出进入自动变道逻辑，先向ADAS模块发出自动变道请求，ADAS模块对左邻、右邻车道上的车辆信息进行分析，对向左或向右变道可能性做出实时分析。变道轨迹规划采取Bezier4阶方程，如下：
式中，B表示预测轨迹中每个点的坐标，P为轨迹规划中采样点的坐标，t为时间。
如果轨迹满足以下碰撞检测公式，即不会发生碰撞，即判定为可选择变道路径：
式中，XCo表示在t时间内前车移动的纵向位移，XC1表示t时间内自车移动的纵向位移，Lco是前车的长度，θ(t)是前车在t时刻与x轴的夹角，Wc1是自车的宽度，tp是碰撞点的时间。
然后在AR-HUD显示上的具体情况如图4所示，随后My@AR Core将可选择的路径(向左或向右或保持直行)信号发至AR-HUD显示模块，在AR-HUD上将三条路径投影出来，下方用数字标识出来；与此同时向DMS模块发出监控驾驶员手势的指令，并将采集到的信息返回至My@AR Core，时间阈值设置为3s。
此时驾驶员通过用手做出“1”、“2”或者“3”的手势，DMS摄像头采集手势图像并处理信号，My@AR Core执行所述控制手势对应的控制指令：AR-HUD持续3秒高亮出已选择的路径；与此同时向ADAS模块发出变道的指令，ADAS***模块根据实时的路径规划，向关联控制器发出对应的指令，包括EPS、BCM、EMS、ESC等，实现主动变道功能；DMS***监控驾驶员手势功能退出；导航模块更新。
若My@AR Core在3秒内未收到驾驶员手势信息或者收到无效的手势信息，My@ARCore将终止此次自动变道行为，保持原有路线行驶。DMS监控手势功能退出。
本发明的关键点在于基于从A点到B点的自动导航驾驶辅助，极大的降低了驾驶员接管次数，突破了自动上下匝道、进出主路等困难场景，提高了车辆的智能化程度；同时利用AR-HUD显示、DMS摄像头实现了驾驶员与车辆的智能化交互，当需要发生导航路径变更或超车时，第一时间与驾驶员形成交互，即开启自动导航驾驶辅助的功能时，利用AR-HUD、DMS摄像头实现驾驶员手势控制车辆的效果，AR-HUD实时显示最新的、多种可能的导航信息与行驶路径，供驾驶员参考和选择，以驾驶员意图为主，实现了导航路径切换、主动超车等场景，实现人机共驾。
本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于AR-HUD与手势交互的自动导航辅助驾驶***，其特征在于，该***包括核心处理模块以及均与核心处理模块相连的定位模块、导航模块、ADAS模块、AR-HUD模块和DMS模块；其中：
定位模块，用于实现车辆定位；
导航模块，用于提供导航信息；
ADAS模块，配备有多个传感器，用于获取外界环境的相关数据；同时还结合定位信息和导航信息实现路径规划，并根据实时的路径规划控制相关联的控制器；
AR-HUD模块，用于与导航模块结合以显示导航模块提供的不同的导航路径，同时还与核心处理模块结合以显示核心处理模块提供的变道选项；变道选项包括向左变道、保持直行以及向右变道；
DMS模块，用于识别驾驶员手势；
核心处理模块，用于判断是否要进行变道，并在要进行变道时结合ADAS模块确定可行的变道选项；还用于根据DMS模块识别的驾驶员手势确定新的导航路径以及变道结果，并发送给ADAS模块做路径规划；
核心处理模块还负责各模块之间的数据传输和转发任务；
其中，变道结果的确定包括：
自车跟随前车保持一定时距行驶，前车速度一直较慢，当自车速度被压制达到一定时间阈值后，核心处理模块判断出要进行变道；核心处理模块在确定要进行变道时向ADAS模块发出自动变道请求；
ADAS模块对相邻车道进行分析，确定出可行的变道选项，并由核心处理模块将变道选项转发给AR-HUD模块，AR-HUD模块显示变道选项；变道轨迹如下：
式中，B表示变道轨迹中每个点的坐标，P表示轨迹规划中采样点的坐标，t表示时间；
如果变道轨迹满足碰撞检测公式，即不会发生碰撞，即判定为可行变道选项：
式中，XCo表示在t时间内前车移动的纵向位移，XC1表示t时间内自车移动的纵向位移，Lco是前车的长度，θ(t)是前车在t时刻与行驶方向的夹角，Wc1是自车的宽度，tp是碰撞点的时间；
驾驶员在预设时间内做出手势，由DMS模块识别驾驶员手势，并将识别的驾驶员手势转发给核心处理模块；
核心处理模块根据识别的驾驶员手势确定变道结果，并转发给AR-HUD模块和ADAS模块；AR-HUD模块显示确定的变道结果，ADAS模块根据确定的变道结果控制相关联的控制器。
2.根据权利要求1所述的基于AR-HUD与手势交互的自动导航辅助驾驶***，其特征在于，新的导航路径的确定包括：
导航模块提供新的导航信息；
新的导航信息由核心处理模块转发给AR-HUD模块，AR-HUD模块显示新的导航路径；
驾驶员在预设时间内做出手势，由DMS模块识别驾驶员手势，并将识别的驾驶员手势转发给核心处理模块；
核心处理模块根据识别的驾驶员手势确定新的导航路径，并转发给AR-HUD模块和ADAS模块；AR-HUD模块显示确定的新的导航路径，ADAS模块根据确定的新的导航路径控制相关联的控制器。
3.根据权利要求2所述的基于AR-HUD与手势交互的自动导航辅助驾驶***，其特征在于，新的导航信息包括当前导航路径前方正在施工或交通拥堵或发生交通事故。
4.根据权利要求1所述的基于AR-HUD与手势交互的自动导航辅助驾驶***，其特征在于，AR-HUD模块还显示ADAS模块的输出信息、车辆定位信息和导航信息。
5.根据权利要求1所述的基于AR-HUD与手势交互的自动导航辅助驾驶***，其特征在于，ADAS模块对获取的外界环境的相关数据做融合处理，输出多车道的目标物信息、车道线信息、交通标志。
6.根据权利要求1所述的基于AR-HUD与手势交互的自动导航辅助驾驶***，其特征在于，DMS模块包括一个摄像头和一个用于手势识别的卷积神经网络，由摄像头拍摄驾驶员手势，由卷积神经网络识别手势；DMS模块还利用摄像头监视驾驶员行为进行疲劳检测。
7.根据权利要求1所述的基于AR-HUD与手势交互的自动导航辅助驾驶***，其特征在于，定位模块基于高精度地图的GPS和IMU实现车辆厘米级定位。
CN202111259775.7A 2021-10-28 2021-10-28 基于ar-hud与手势交互的自动导航辅助驾驶*** Active CN114034310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111259775.7A CN114034310B (zh) 2021-10-28 2021-10-28 基于ar-hud与手势交互的自动导航辅助驾驶***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111259775.7A CN114034310B (zh) 2021-10-28 2021-10-28 基于ar-hud与手势交互的自动导航辅助驾驶***

Publications (2)

Publication Number Publication Date
CN114034310A CN114034310A (zh) 2022-02-11
CN114034310B true CN114034310B (zh) 2023-09-29

Family

ID=80135593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111259775.7A Active CN114034310B (zh) 2021-10-28 2021-10-28 基于ar-hud与手势交互的自动导航辅助驾驶***

Country Status (1)

Country Link
CN (1) CN114034310B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108609012A (zh) * 2018-03-14 2018-10-02 斑马网络技术有限公司 车辆变道方法及其车载中控***
CN109649275A (zh) * 2018-11-29 2019-04-19 福瑞泰克智能***有限公司 一种基于增强现实的驾驶辅助***及方法
CN109668575A (zh) * 2019-01-29 2019-04-23 苏州车萝卜汽车电子科技有限公司 用于增强现实抬头显示装置的导航信息处理方法及装置、设备、***
CN110825216A (zh) * 2018-08-10 2020-02-21 北京魔门塔科技有限公司 一种驾驶员驾驶时人机交互的方法和***
CN210491210U (zh) * 2019-11-21 2020-05-08 苏州车萝卜汽车电子科技有限公司 用于hud设备的uwb数据传输***
CN112067013A (zh) * 2020-09-01 2020-12-11 卜云 一种基于ar-hud的车载识别***
CN112241204A (zh) * 2020-12-17 2021-01-19 宁波均联智行科技有限公司 一种车载ar-hud的手势交互方法和***
CN113119862A (zh) * 2020-01-15 2021-07-16 未来（北京）黑科技有限公司 一种用于辅助驾驶的抬头显示设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016170785A1 (ja) * 2015-04-21 2016-10-27 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
KR20220098239A (ko) * 2019-11-15 2022-07-11 엘지전자 주식회사 차량 내에서 컨테이너 기반의 신규 디바이스 활성화

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108609012A (zh) * 2018-03-14 2018-10-02 斑马网络技术有限公司 车辆变道方法及其车载中控***
CN110825216A (zh) * 2018-08-10 2020-02-21 北京魔门塔科技有限公司 一种驾驶员驾驶时人机交互的方法和***
CN109649275A (zh) * 2018-11-29 2019-04-19 福瑞泰克智能***有限公司 一种基于增强现实的驾驶辅助***及方法
CN109668575A (zh) * 2019-01-29 2019-04-23 苏州车萝卜汽车电子科技有限公司 用于增强现实抬头显示装置的导航信息处理方法及装置、设备、***
CN210491210U (zh) * 2019-11-21 2020-05-08 苏州车萝卜汽车电子科技有限公司 用于hud设备的uwb数据传输***
CN113119862A (zh) * 2020-01-15 2021-07-16 未来（北京）黑科技有限公司 一种用于辅助驾驶的抬头显示设备
CN112067013A (zh) * 2020-09-01 2020-12-11 卜云 一种基于ar-hud的车载识别***
CN112241204A (zh) * 2020-12-17 2021-01-19 宁波均联智行科技有限公司 一种车载ar-hud的手势交互方法和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李卓 ; 周晓 ; 郑杨硕 ; .基于AR-HUD的汽车驾驶辅助***设计研究.武汉理工大学学报(交通科学与工程版).2017,(第06期),34-38. *

Also Published As

Publication number Publication date
CN114034310A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN109032124B (zh) 车辆控制***、车辆控制方法及存储介质
CN110730740B (zh) 车辆控制***、车辆控制方法及存储介质
CN109789873B (zh) 车辆控制装置
US11332164B2 (en) Vehicle control system, vehicle control method, and vehicle control program
WO2018220827A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2019006275A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2019006280A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN108883776B (zh) 车辆控制***、车辆控制方法及存储介质
CN111752266B (zh) 车辆控制装置、车辆控制方法、及存储介质
JP6827378B2 (ja) 車両制御システム、車両制御方法、およびプログラム
CN113785342B (zh) 驾驶辅助方法及驾驶辅助装置
JP2017167758A (ja) 車両の制御装置
CN110281925B (zh) 行驶控制装置、车辆以及行驶控制方法
CN113401056B (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
CN112937565B (zh) 自动驾驶车辆用信息提示装置
JP2018203014A (ja) 撮像表示ユニット
JP7198742B2 (ja) 自動運転車両、画像表示方法およびプログラム
CN114034310B (zh) 基于ar-hud与手势交互的自动导航辅助驾驶***
EP4102323B1 (en) Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program
CN115140078A (zh) 驾驶支援装置、驾驶支援方法及存储介质
US11262751B2 (en) Traveling control apparatus, traveling control method, and non-transitory computer-readable storage medium storing program
CN113377202B (zh) 一种基于arhud的抬头显示方法和***
US20230311887A1 (en) Vehicle system, control method, and storage medium
US20230020471A1 (en) Presentation control device and automated driving control system
US20230166754A1 (en) Vehicle congestion determination device and vehicle display control device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant