CN111707283A

CN111707283A - 一种基于增强现实技术的导航方法、装置、***及设备

Info

Publication number: CN111707283A
Application number: CN202010392648.3A
Authority: CN
Inventors: 汪春年
Original assignee: Zhejiang Geely Holding Group Co Ltd; Ningbo Geely Automobile Research and Development Co Ltd
Current assignee: Zhejiang Geely Holding Group Co Ltd; Zhejiang Zeekr Intelligent Technology Co Ltd
Priority date: 2020-05-11
Filing date: 2020-05-11
Publication date: 2020-09-25

Abstract

本发明提供一种基于增强现实技术的导航方法，包括：获取导航需求信息并规划导航路径；获取车辆当前位置信息和车辆周围环境信息；根据导航路径和车辆当前位置信息获取车辆前方路线指引信息；根据车辆当前位置信息、车辆周围环境信息和车辆前方路线指引信息，获取第一导航信息；根据车辆当前位置信息和车辆周围环境信息，获取车辆主动安全信息；根据第一导航信息和车辆主动安全信息，获取第二导航信息并输出；本发明还提供一种装置、***及设备；本发明提供的导航方法，能够实现周边交通信息的可视化；并将导航信息与车辆主动安全技术相结合，提供驾乘人员更加精准和安全的的驾驶引导，规避潜在的交通安全隐患，提高行驶的安全性。

Description

一种基于增强现实技术的导航方法、装置、***及设备

技术领域

本发明涉及导航技术领域，特别涉及一种基于增强现实技术的导航方法、装置、***及设备。

背景技术

目前，用户在驾驶车辆的过程中常通过导航技术对驾驶进行指导：通过导航技术获知车辆当前位置以及前方路况等信息。AR(AugmentedReality，增强现实)技术，能够通过安装在车辆前方的摄像头采集车辆行驶路面前方的路况信息，再通过显示装置将成像投射在车辆前方，使得真实的环境和虚拟的成像实时地叠加到了同一个画面，实现真实环境和虚拟信息的“无缝”集成。

AR导航则是在AR技术与地图信息相结合的基础上实现的一种导航方式，可以为人们提供更直观、更形象、更准确、更安全的导航服务，在人们开启导航设备的AR导航功能后，导航设备可通过屏幕上显示的真实环境路况信息结合地图信息导航到目的地。

现有技术中，AR导航技术基于前方车道线、环境道路关联的街景识别和GPS信号坐标位置姿态识别来提高导航的准确性。AR导航技术更关注的是车辆驾驶导航过程中前方道路的识别和导航方向引导，缺少与车辆本身信息及车辆行驶过程中周边的信息(尤其是车辆变道、车辆转弯掉头时的周边路况信息)的结合。驾驶员依照导航指引的路线发生变道或路口转弯时，若不能及时发现车辆周边存在安全风险的路况信息，如后方车辆超车、加速；临近车道的车辆变道、加塞，仍然按照导航路线的指引行驶时，则可能会引起刮擦，甚至碰撞等交通事故，给行车带来安全隐患。因此，如何将AR导航技术与车辆自身安装的传感器以及车辆主动安全技术想结合，仍是一个急需攻克的技术难题。

针对现有技术存在的上述缺陷，本申请旨在提供一种基于增强现实技术的导航方法、装置、***及设备，能够极大提高导航的准确性和驾驶的安全性。

发明内容

针对现有技术的上述问题，本发明的目的在于提供一种基于增强现实技术的导航方法、装置、***及设备。

为了解决上述问题，本发明提供一种基于增强现实技术的导航方法，所述方法包括：

获取导航需求信息，并根据所述导航需求信息规划导航路径；

获取车辆当前位置信息和车辆周围环境信息，所述车辆当前位置信息包括车辆当前所在道路名称；

根据所述导航路径和所述车辆当前位置信息获取车辆前方路线指引信息；

根据所述车辆当前位置信息、车辆周围环境信息和所述车辆前方路线指引信息，获取第一导航信息；

根据所述车辆当前位置信息和所述车辆周围环境信息，获取车辆主动安全信息；

根据所述第一导航信息和所述车辆主动安全信息，获取第二导航信息；

输出所述第二导航信息。

进一步地，所述车辆主动安全信息包括车道偏离信息、车距信息和盲区检测报警信息。

进一步地，所述车辆主动安全信息包括车道偏离信息、车距信息、盲区检测报警信息和警示信息；

所述警示信息通过如下方式确定：

获取车辆内部图像信息，并根据所述车辆内部图像信息获取车内驾乘人员行为信息；

对所述车内驾乘人员行为信息进行判别，当判别车内驾乘人员行为存在危险时，生成相应地警示信息。

具体地，所述车辆周围环境信息包括车辆周围车道线信息、车辆周围交通标识信息、车辆周围其他车辆信息、车辆周围行人信息以及车辆周围障碍物信息。

具体地，所述根据所述车辆当前位置信息和所述车辆周围环境信息，获取车辆主动安全信息，包括：

根据所述车辆当前位置信息和所述周围车道线信息，获取车道偏离信息；

根据所述车辆当前位置信息、车辆周围其他车辆信息、车辆周围行人信息和所述车辆周围障碍物信息，获取所述车距信息；

根据所述车辆周围环境信息进行车辆盲区检测，获取盲区报警信息。

具体地，所述车辆前方路线指引信息包括车辆与前方路口的距离信息、车辆在前方路口的转向信息以及前方道路名称。

进一步地，所述车辆前方路线指引信息包括车辆与前方路口的距离信息、车辆在前方路口的转向信息、前方道路名称以及车辆自当前位置行驶至前方路口预计通行时间；

所述预计通行时间通过如下方式确定：

获取车辆行驶信息，所述车辆行驶信息包括车速信息、加速度信息和方向盘转角信息；

根据所述导航路径、车辆当前位置信息和所述车辆行驶信息，获取所述预计通行时间。

本发明另一方面保护一种基于增强现实技术的导航装置，包括：

第一获取模块，用于获取导航需求信息；

第二获取模块，用于根据导航需求信息获取导航路径；

第三获取模块，用于获取车辆当前位置信息和车辆周围环境信息，所述车辆当前位置信息包括车辆当前所在道路名称；

第四获取模块，用于根据所述导航路径和所述车辆当前位置信息获取车辆前方路线指引信息；

第一导航信息获取模块，用于根据所述车辆当前位置信息、车辆周围环境信息和所述车辆前方路线指引信息，获取第一导航信息；

第五获取模块，用于根据所述车辆当前位置信息和所述车辆周围环境信息，获取车辆主动安全信息；

第二导航信息获取模块，用于根据所述第一导航信息和所述车辆主动安全信息，获取第二导航信息；

输出模块，用于将所述第二导航信息输出。

本发明还保护一种基于增强现实技术的导航***，包括摄像头、雷达和上述技术方案所述的基于增强现实技术的导航装置，所述摄像头和所述雷达均与所述导航装置相连接；

所述摄像头用于获取车辆周围环境信息和车内图像信息；

所述雷达用于根据车辆当前位置信息和所述车辆周围环境信息，获取车距信息；

所述导航装置能够接收所述雷达获取的所述车距信息和所述摄像头获取的所述车辆周围环境信息和所述车内图像信息。

本发明还保护一种电子装置，包括：

一个或多个处理器；

存储器；和

一个或多个程序，所述一个或多个程序存储在所述存储器中，且由所述一个或多个处理器执行，所述程序包括用于执行上述技术方案所述的一种基于增强现实技术的导航方法。

由于上述技术方案，本发明具有以下有益效果：

本发明提供的一种基于增强现实技术的导航方法，能够通过车辆自身安装的设施设备实现驾驶过程中周边环境信息的可视化；并实现导航信息与车辆主动安全技术的结合，提供驾乘人员盲区报警、安全距离报警、变道报警等提醒，提供更加精准和更加安全的的驾驶引导，提前规避潜在的交通安全隐患，提高行驶的安全性；通过AR导航技术，提供更加直观的可视化的AR导航方法。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的一种基于增强现实技术的导航方法的流程示意图；

图2是本发明另一个实施例提供的一种基于增强现实技术的导航方法的流程示意图；

图3是本发明实施例提供的一种基于增强现实技术的导航装置的结构示意图。

图中：10-第一获取模块，20-第二获取模块，30-第三获取模块，40-第四获取模块，50-第一导航信息获取模块，60-第五获取模块，70-第二导航信息获取模块，80-输出模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

实施例1

结合图1，本实施例提供一种基于增强现实技术的导航方法，包括：

S110：获取导航需求信息，并根据所述导航需求信息规划导航路径；所述导航需求信息包括导航请求信息、出发地信息和目的地信息，当对导航请求信息确认无误后，根据出发地信息和目的地信息规划导航路径。

S120：获取车辆当前位置信息和车辆周围环境信息，所述车辆当前位置信息包括车辆当前所在道路名称；本说明书实施例中，所述车辆当前位置信息可通过车载GPS获取得到；所述车辆周围环境信息可通过雷达以及安装在车辆顶部的环视摄像头获取得到。

需要说明的是，在获取得到车辆周围环境信息的原素材后，本申请通过深度学习算法，将摄像头获得的车辆周围环境信息进行多任务模拟检测和标识，抓取并区别出其中的车道线信息、车辆周围物体信息以及红绿灯信息、限速标识等交通标识信息，进一步地，车辆周围物体信息被细分为其他车辆信息、行人信息、障碍物信息以及建筑物信息；

以及根据多普勒效应和反射波接收的时间差计算得到车辆与周围物体之间的距离信息。

S130：根据所述导航路径和所述车辆当前位置信息获取车辆前方路线指引信息；所述车辆前方路线指引信息包括车辆与前方路口的距离信息、车辆在前方路口的转向信息以及前方道路名称。

所述车辆在前方路口的转向信息包括车辆在前方路口左转、直行、右转、环岛和掉头。

S140：根据所述车辆当前位置信息、车辆周围环境信息和所述车辆前方路线指引信息，获取第一导航信息；

因此，在第一导航信息不仅包含本车周围环境信息，还包括给予驾驶员驾驶引导的前方道路指引信息。

S150：根据所述车辆当前位置信息和所述车辆周围环境信息，经融合算法获取车辆主动安全信息；其中，车辆主动安全信息包括车道偏离信息、车距信息和盲区检测报警信息。

其中，车道偏离信息可通过车辆当前位置信息和车辆周围车道线信息获得；

车距信息为车辆与周围物体之间的距离信息，由雷达获取得到，车距信息包括车辆与周围其他车辆之间的第一距离信息、车辆与周围行人之间的第二距离信息以及车辆与周围障碍物之间的第三距离信息；第一距离信息通过车辆当前位置信息和车辆周围其他车辆信息获得；第二距离信息通过车辆当前位置信息和车辆周围行人信息获得；第三距离信息通过车辆当前位置信息和车辆周围障碍物信息获得；

以及根据所述车辆周围环境信息进行车辆盲区检测，获得盲区报警信息。

S160：根据第一导航信息和车辆主动安全信息，获取第二导航信息；

本说明书实施例中，第二导航信息中既包含有车辆当前位置信息、由摄像头雷达获取得的本车周围环境信息以及能够对驾驶员驾驶起引导作用的车辆与前方路口的距离信息、车辆在前方路口的转向信息、前方道路名称前方道路指引信息，还包含有车道偏离信息、车距信息、盲区检测报警信息等主动安全信息，因此，当将第二导航信息输出给驾驶员时，驾驶员不仅能够获知车辆位置、车辆周围环境信息，还可根据指引信息的引导驾驶车辆行驶，除此之外，还能够实时获得车辆安全信息，避免在根据指引信息驾驶时，缺少对周围危险情形的获知，例如，位于驾驶员盲区处的后方车辆超车、加速，临近车道的车辆变道、加塞等等，若此时驾驶员未获取到类似的危险信息仍然按照导航路线的指引行驶时，则可能会引起刮擦，甚至碰撞等交通事故，给行车带来安全隐患。

S170：输出第二导航信息。

本说明书实施例中，第二导航信息既包括图像信息又包括语音信息，其中图像信息是在第一导航信息的基础上，与车辆主动安全信息经融合算法、图像渲染和图层叠加，通过安装在车辆上的显示仪等设备可视化呈现在驾驶员前方，包含了车辆当前位置信息、车辆周围环境信息、前方道路指引信息和车辆主动安全信息；

图像信息展示如下：

在驾驶员前方的成像上，显示有本车当前位置、本车周围环境信息并叠加有前方路线指引信息，包括左/右转、掉头、直行和换道等，交通指示灯信息、前方限速拍照等提示信息，还包括车道偏离，车辆/行人检测，以及根据车距信息进行距离碰撞提醒等；

1)当检测到车道偏离时，AR导航图像画面高亮显示偏离的车道线，提示驾乘人员；

2)当检测到本车与前方车辆/行人处于非安全距离时或在驾驶员的盲区处存在处于非安全距离的车辆/行人时，AR导航画面上打圈圈出该车辆、行人或其他物体；

3)当用户开启转向灯，但通过车距信息判断到此时相邻车道不允许立即变道时，AR导航画面上高亮显示该目标车道，提示驾驶员等待。

语音信息可通过语音播报的方式输出；除此之外，还可以有警示灯闪烁灯其他的输出方式。

本说明书实施例提供的一种基于增强现实技术的导航方法，能够通过车辆自身安装的设施设备实现驾驶过程中周边环境信息的可视化；并实现导航信息与车辆主动安全技术的结合，提供驾乘人员盲区报警、安全距离报警、变道报警等提醒，提供更加精准和更加安全的的驾驶引导，提高行驶的安全性；通过AR导航技术，提供更加直观的可视化的AR导航方法。

实施例2

如图2所示，本实施例提供一种基于增强现实技术的导航方法，包括：

S210：获取导航需求信息，并根据所述导航需求信息规划导航路径；所述导航需求信息包括导航请求信息、出发地信息和目的地信息，当对导航请求信息确认无误后，根据出发地信息和目的地信息规划导航路径。

S220：获取车辆当前位置信息和车辆周围环境信息，所述车辆当前位置信息包括车辆当前位置以及车辆当前所在道路名称；本说明书实施例中，所述车辆当前位置信息可通过车载GPS获取得到；车辆周围环境信息包括：车道线信息、车辆周围物体信息以及红绿灯信息、限速标识等交通标识信息，进一步地，车辆周围物体信息可分为：其他车辆信息(即除本车以外的其他车辆)、行人信息、障碍物信息以及建筑物信息，所述车辆周围环境信息可通过雷达以及安装在车辆顶部和/或车边周边的环视摄像头以及前置摄像头获取得到。

S230：根据所述导航路径和所述车辆当前位置信息获取车辆前方路线指引信息；所述车辆前方路线指引信息包括车辆与前方路口的距离信息、车辆在前方路口的转向信息、前方道路名称以及车辆自当前位置行驶至前方路口预计通行时间。

其中，车辆在前方路口的转向信息包括：车辆在前方路口左转、直行、右转、环岛和掉头。

预计通行时间通过如下方式确定：

获取车辆行驶信息，车辆行驶信息包括车速信息、加速度信息和方向盘转角信息；车辆行驶信息还包括电量信息等信息。

根据导航路径、车辆当前位置信息和车辆行驶信息，获取得到所述预计通行时间。

S240：根据所述车辆当前位置信息、车辆周围环境信息、车辆行驶信息和所述车辆前方路线指引信息，获取第一导航信息；

S250：根据所述车辆当前位置信息和所述车辆周围环境信息，获取车辆主动安全信息；车辆主动安全信息包括车道偏离信息、车距信息、盲区检测报警信息和警示信息。

其中，车道偏离信息根据车辆当前位置信息和车辆周围车道线信息经大数据算法计算获得；

车距信息包括车辆与周围其他车辆之间的第一距离信息、车辆与周围行人之间的第二距离信息以及车辆与周围障碍物之间的第三距离信息；

盲区报警信息根据摄像头、雷达获得的位于驾驶员视野盲区处的车辆周围环境信息进行车辆盲区检测获得；

警示信息通过如下方式确定：

获取车辆内部图像信息，并根据所述车辆内部图像信息获取车内驾乘人员行为信息；车辆内部图像信息可通过安装在车厢内的摄像头获取得到，在获取得到车辆内部图像信息的原素材后，通过深度学习算法，对图像信息进行抓取识别，获取驾乘人员的行为信息。

对所述车内驾乘人员行为信息进行判别，当判别车内驾乘人员行为存在危险时，生成相应地警示信息。例如：当判别到驾乘人员存在未系安全带、头手伸出窗外等危险行为时，生成相应地警示信息等，最终输出展现给驾驶员。

S260：根据第一导航信息和车辆主动安全信息，获取第二导航信息；

S270：输出第二导航信息。

第二导航信息包括图像信息和语音信息，其中语音信息可通过语音播报的方式输出给驾驶员，例如在驾乘人员行为存在危险时，语音输出能够提高信息获取的及时性，从而极大地提高驾驶安全性；

图像信息可经抬头显示仪等设备可视化投影到驾驶员前方时，驾驶员无需低头即可获取车辆行驶所需的各种信息；

图像信息展示如下：通过AR显示技术，驾驶员能够获知：本车当前位置、本车当前所在道路名称、本车周围车道线信息、本车周围物体、交通标识和车速油量等车辆行驶信息，以及给予驾驶员驾驶引导的本车与前方路口的距离、在前方路口的转向信息、前方道路名称和到达前方路口的预计通行时间，还包括车道偏离信息、车距信息、盲区检测报警信息和对驾乘人员行为的警示信息等；

1)当检测到超速或电量低时，在AR导航画面上高亮显示车速信息和电量图标，提醒驾驶员减速或及时充电；

2)当检测到驾乘人员未系安全带时，在导航图像上高亮显示未系安全带图标，以提醒驾乘人员。

本说明书实施例提供的一种基于增强现实技术的导航方法中，第二导航信息还包含有主动安全信息；因此，驾驶员不仅能够跟随前方路线指引信息进行驾驶、对周围环境进行实时监测，避免出现车道偏离、跟车距离较近、盲区存在安全风险的情形外，还能够对驾乘人员的行为进行监督和监管，提高驾驶的安全性。本实施例与实施例1的其他相同相似之处相互参见即可，此处不再一一赘述。

实施例3

如图3所示，本说明书实施例提供一种基于增强现实技术的导航装置，包括：

第一获取模块10，用于获取导航需求信息；

第二获取模块20，用于根据导航需求信息获取导航路径；

第三获取模块30，用于获取车辆当前位置信息和车辆周围环境信息，所述车辆当前位置信息包括车辆当前所在道路名称；

第四获取模块40，用于根据所述导航路径和所述车辆当前位置信息获取车辆前方路线指引信息；

第一导航信息获取模块50，用于根据所述车辆周围环境信息和所述车辆前方路线指引信息，获取第一导航信息；

第五获取模块60，用于根据所述车辆当前位置信息和所述车辆周围环境信息，获取车辆主动安全信息；

第二导航信息获取模块70，用于根据所述第一导航信息和所述车辆主动安全信息，获取第二导航信息；

输出模块80，用于将所述第二导航信息输出。

实施例4

本说明书实施例提供一种基于增强现实技术的导航***，包括摄像头、雷达和上述技术方案中提供的导航装置，所述摄像头和所述雷达均与所述导航装置相连接；

所述摄像头包括前置摄像头、环视摄像头和车内摄像头，所述摄像头用于获取车辆周围环境信息和车内图像信息；

所述雷达包括激光雷达和超声波雷达，所述雷达用于根据车辆当前位置信息和所述车辆周围环境信息，获取车距信息；

所述导航装置能够接收所述雷达获取的车距信息以及所述摄像头获取的车辆周围环境信息和车内图像信息。

实施例5

本说明书实施例提供一种电子装置，包括：

一个或多个处理器；

存储器；和

一个或多个程序，一个或多个程序存储在存储器中，且由一个或多个处理器执行，程序包括用于执行如上述技术方案提供的基于增强现实技术的导航方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

并且，在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。

Claims

1.一种基于增强现实技术的导航方法，其特征在于，所述方法包括：

输出所述第二导航信息。

2.根据权利要求1所述的一种基于增强现实技术的导航方法，其特征在于，所述车辆主动安全信息包括车道偏离信息、车距信息和盲区检测报警信息。

3.根据权利要求1所述的一种基于增强现实技术的导航方法，其特征在于，所述车辆主动安全信息包括车道偏离信息、车距信息、盲区检测报警信息和警示信息；

所述警示信息通过如下方式确定：

4.根据权利要求2或3所述的一种基于增强现实技术的导航方法，其特征在于，所述车辆周围环境信息包括：

车辆周围车道线信息、车辆周围交通标识信息、车辆周围其他车辆信息、车辆周围行人信息以及车辆周围障碍物信息。

5.根据权利要求4所述的一种基于增强现实技术的导航方法，其特征在于，所述根据所述车辆当前位置信息和所述车辆周围环境信息，获取车辆主动安全信息，包括：

根据所述车辆当前位置信息、车辆周围其他车辆信息、车辆周围行人信息和所述车辆周围障碍物信息，获取车距信息；

根据所述车辆周围环境信息进行车辆盲区检测，获得盲区报警信息。

6.根据权利要求1所述的一种基于增强现实技术的导航方法，其特征在于，所述车辆前方路线指引信息包括车辆与前方路口的距离信息、车辆在前方路口的转向信息以及前方道路名称。

7.根据权利要求1所述的一种基于增强现实技术的导航方法，其特征在于，所述车辆前方路线指引信息包括车辆与前方路口的距离信息、车辆在前方路口的转向信息、前方道路名称以及车辆自当前位置行驶至前方路口预计通行时间；

所述预计通行时间通过如下方式确定：

8.一种基于增强现实技术的导航装置，其特征在于，包括：

第一获取模块，用于获取导航需求信息；

第二获取模块，用于根据导航需求信息获取导航路径；

输出模块，用于将所述第二导航信息输出。

9.一种基于增强现实技术的导航***，其特征在于，包括摄像头、雷达和如权利要求8所述的基于增强现实技术的导航装置，所述摄像头和所述雷达均匀所述导航装置相连接；

所述摄像头用于获取车辆周围环境信息和车内图像信息；

所述导航装置能够接收所述雷达获取的车距信息以及所述摄像头获取的车辆周围环境信息和上述车内图像信息。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；和

一个或多个程序，所述一个或多个程序存储在所述存储器中，且由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1至7任意一项所述的基于增强现实技术的导航方法。