CN107449440A - 行车提示信息的显示方法及显示装置 - Google Patents

行车提示信息的显示方法及显示装置 Download PDF

Info

Publication number
CN107449440A
CN107449440A CN201610382309.0A CN201610382309A CN107449440A CN 107449440 A CN107449440 A CN 107449440A CN 201610382309 A CN201610382309 A CN 201610382309A CN 107449440 A CN107449440 A CN 107449440A
Authority
CN
China
Prior art keywords
information
driving
virtual
vehicle
car
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610382309.0A
Other languages
English (en)
Inventor
周明才
洪涛
王淳
王海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecom R&D Center
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201610382309.0A priority Critical patent/CN107449440A/zh
Publication of CN107449440A publication Critical patent/CN107449440A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种行车提示信息的显示方法,包括:识别行车过程中的目标对象;基于目标对象来确定行车提示信息;显示行车提示信息对应的虚拟三维显示信息。本发明还提供了一种行车提示信息的显示装置。本发明实现了在动态地行车过程中对道路上的各种实时性路况进行识别判断,并以虚拟三维显示方式为用户提供行车提示信息,其中包括实时导航信息,大大增强了行车导航的真实性及精确性,为提高行车安全性提供了有力保障,且用户可享受到全新的行车导航服务,极大地增强了用户体验度。

Description

行车提示信息的显示方法及显示装置
技术领域
本发明涉及行车导航技术领域,具体而言,本发明涉及一种行车提示信息的显示方法及一种行车提示信息的显示装置。
背景技术
AR(Augmented Reality,增强现实)设备可以在真实场景中叠加虚拟的物体,其将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验,即将真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
基于GPS(Global Positioning System,全球定位***)卫星定位的车载导航***只能根据当前车辆的地理位置信息在虚拟地图上提供大致的导航信息,无法在动态地行进过程中对道路上的各种实时性路况进行识别判断,以实现向用户进行实时引导,从而确保行车安全;且车载导航信息更新周期很长,通常1至2年才会进行更新,因此可能会存在导航信息与当前路况不匹配的情况发生。
因此,用户提供全方位的导航信息,是需要解决的技术问题。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一。
本发明提供了一种行车提示信息的显示方法,包括:
识别行车过程中的目标对象;
基于目标对象来确定行车提示信息;
显示行车提示信息对应的虚拟三维显示信息。
优选地,基于目标对象来确定行车提示信息,包括:
基于目标对象确定行车导航信息;
优选地,显示行车提示信息对应虚拟三维显示信息,包括:
显示与行车导航信息对应的虚拟三维显示信息。
优选地,当目标对象包括危险车辆时,方法还包括以下至少之一:
基于目标对象来确定行车提示信息,包括:基于本车与识别出的危险车辆的相对位置和/或相对速度,确定是否需要改变本车的行车路径,如果是,则确定改变后的行车路径;显示行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车路径时,在与改变后的行车路径对应的位置上,显示改变后的行车路径的导航信息;
基于目标对象来确定行车提示信息,包括:基于本车与识别出的危险车辆的相对位置和/或相对速度,确定是否需要改变本车的行车车道,如果是,确定改变后的行车车道;显示行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车车道时,在与改变后的行车车道对应的位置上,显示改变后的行车车道的导航信息;
基于目标对象来确定行车提示信息,包括:基于本车与识别出的前方危险车辆的相对位置和/或相对速度,确定本车与前方危险车辆的安全距离;显示行车提示信息对应虚拟三维显示信息,包括:在与前方危险车辆相距安全距离处,显示建议本车不要越过的该距离的虚拟三维显示信息;
基于目标对象来确定行车提示信息,包括:基于本车与识别出的危险车辆的相对位置和/或相对速度,确定本车是否需要加速行驶;在确定本车需要加速行驶时,方法还包括:显示建议加速行驶的导航信息;
基于目标对象来确定行车提示信息,包括:基于本车与识别出的危险车辆的相对位置和/或相对速度,确定本车是否需要减速行驶;在确定本车需要减速行驶时,方法还包括:显示建议减速行驶的导航信息。
优选地,当目标对象包括危险车辆时,识别行车过程中的目标对象的方式包括:
确定本车的至少一个周边车辆的车辆相关信息;
当车辆相关信息符合危险车辆判断规则时,确定该车辆相关信息对应的车辆为危险车辆。
优选地,车辆相关信息包括以下至少一项:
与本车的距离、车辆类型、车辆负载、行驶速度、行驶车道、与本车的相对行驶速度。
优选地,危险车辆判断规则包括以下一项或多项:
与本车的距离小于预定安全距离;
行驶速度大于预定安全车速;
车辆负载大于预定安全负载;
车辆类型为大型车辆类型;
与本车的相对行驶速度大于预定安全相对速度。
优选地,行车提示信息包括以下至少一项:
与危险车辆对应的警示提示信息、与危险车辆对应的避让建议、危险车辆的刹车距离提示信息。
优选地,当目标对象包括拐弯路口时,方法还包括以下至少之一:
基于目标对象来确定行车提示信息,包括:确定识别出的拐弯路口是否是本车要拐弯的路口;当识别出的拐弯路口是本车要拐弯的路口时,显示行车提示信息对应虚拟三维显示信息,包括:在本车要拐弯的路口处,叠加显示建议本车拐入该路口的虚拟三维显示信息;
基于目标对象来确定行车提示信息,包括:确定识别出的拐弯路口是否是本车要拐弯的路口;当识别出的拐弯路口不是本车要拐弯的路口且前车要拐入该路口时,方法还包括:显示建议本车减速行驶的导航信息,和/或,显示建议本车变道的导航信息。
优选地,当目标对象包括拐弯路口时,识别行车过程中的目标对象的方式包括以下方式至少之一:
获取当前车辆的地理位置定位信息及相应的街景图像信息;将基于地理位置定位信息及街景图像信息确定的图像特征与获取到的实时行车图像信息的图像特征进行特征匹配;根据匹配结果确定拐弯路口的精确位置信息;
基于对前方车辆的检测,确定获取前方车辆的行车相关信息,并基于前方车辆的行车相关信息来判断前方车辆是否发生的拐弯动作;当前方车辆发生拐弯动作时,确定相应的拐弯路口的精确位置信息。
优选地,当目标对象包括坡路时,方法还包括以下至少之一:
基于目标对象来确定行车提示信息,包括:基于坡路的坡度情况,确定本车是否需要加速行驶;在确定本车需要加速行驶时,方法还包括:显示建议加速行驶的导航信息;
基于目标对象来确定行车提示信息,包括:基于坡路的坡度情况,确定本车是否需要减速行驶;在确定本车需要减速行驶时,方法还包括:显示建议减速行驶的导航信息;
基于目标对象来确定行车提示信息,包括:基于破路的坡度情况和本车能力,确定本车是否需要改变路径,如果是,则确定改变后的路径;显示行车提示信息对应虚拟三维显示信息,包括:显示建议改换路径的虚拟三维显示信息。
优选地,当目标对象包括坡路时,识别行车过程中的目标对象的方式包括以下至少一种方式:
从获取到的实时行车图像信息中确定道路左右轮廓线,并对道路左右轮廓线进行分析以识别确定出坡路;
获取当前行车的地理位置定位信息,并基于地理位置定位信息进行检索以识别确定出坡路。
优选地,当目标对象包括路面积水时,方法还包括以下至少之一:
基于目标对象来确定行车提示信息,包括:基于路面积水情况,确定是否需要改变本车的行车路径,如果是,确定改变后的行车路径;显示行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车路径时,显示改变后的行车路径的导航信息,导航信息叠加显示在与改变后的行车路径对应的位置上;
基于目标对象来确定行车提示信息,包括:基于路面积水情况和本车属性,确定是否需要改变本车的行车路径,如果是,确定改变后的行车路径;显示行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车路径时,显示改变后的行车路径的导航信息,导航信息叠加显示在与改变后的行车路径对应的位置上;
基于目标对象来确定行车提示信息,包括:基于路面积水情况,确定是否需要改变本车的行车车道,如果是,确定改变后的行车车道;显示行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车车道时,显示改变后的行车车道的导航信息,导航信息叠加显示在与改变后的行车车道对应的位置上;
基于目标对象来确定行车提示信息,包括:基于路面积水情况和本车属性,确定是否需要改变本车的行车车道,如果是,确定改变后的行车车道;显示行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车车道时,显示改变后的行车车道的导航信息,导航信息叠加显示在与改变后的行车车道对应的位置上;
其中,路面积水情况包括以下至少之一:路面是否有积水、积水深度、不同车道的路面是否有积水、不同车道的积水深度。
优选地,当目标对象包括路面积水时,识别行车过程中的目标对象的方式,包括:
通过对获取到的实时行车图像信息的纹理特征与获取到的相应地理位置处非积水路面图像信息的纹理特征进行比对,以判断实时行车图像信息中是否包括倒影的特征信息;
若实时行车图像信息中包括倒影的特征信息,识别确定路面积水的位置区域。
可选地,该方法还包括:
通过对获取到的实时行车图像信息的纹理特征与获取到的相应地理位置处非积水路面图像信息的纹理特征进行比对,估计得到路面积水的积水深度。
优选地,行车提示信息包括以下至少一项:
积水警示信息;积水深度的估计值;与根据积水深度所确定的报警级别相应的警示信息。
优选地,当目标对象包括视觉盲区被遮挡的物体时,方法还包括以下至少之一:
基于目标对象来确定行车提示信息,包括:确定视觉盲区被遮挡的物体的图像信息以及该被遮挡物体相对于本车驾驶员的位置;显示行车提示信息对应虚拟三维显示信息,包括:在确定的位置,显示被遮挡物体的图像信息,或者,显示被遮挡物体的图像信息,并指示该图像信息对应的位置为确定的位置;
基于目标对象来确定行车提示信息,包括:确定视觉盲区被遮挡的物体的属性信息以及该被遮挡物体相对于本车驾驶员的位置;方法还包括:显示被遮挡的物体的属性信息和相对于本车驾驶员的位置信息,或者,在确定的位置,显示被遮挡物体的属性信息。
优选地,当目标对象包括视觉盲区被遮挡的物体时,识别行车过程中的目标对象的方式包括:
获取图像采集设备采集到的图像信息,并根据图像采集设备和用户的相对位置关系,生成对应于用户观看视角的第一图像;
将第一图像与用户视角观看到的实时行车图像信息进行对比,确定出用户观看视角盲区中被遮挡的物体。
优选地,行车导航信息包括:
视觉盲区存在被遮挡物体的警示信息、视觉盲区中被挡住物体的显示信息。
可选地,该方法还包括:
获取外界真实行车显示信息;
基于虚拟三维显示信息和/或外界真实行车显示信息,对虚拟三维显示信息进行校正;
对校正后得到的虚拟三维显示信息进行渲染并显示。
优选地,基于虚拟三维显示信息和外界真实行车显示信息,对虚拟三维显示信息进行校正,具体包括:
确定虚拟三维显示信息及外界真实行车显示信息的第一相对关系信息,并基于第一相对关系信息对虚拟三维显示信息进行校正;
其中,第一相对关系信息包括以下至少一项:
颜色对比度、亮度对比度、相对运动速度以及相对运动方向。
优选地,基于第一相对关系信息对虚拟三维显示信息进行校正,包括以下至少一种情形:
当虚拟三维显示信息及外界真实行车显示信息的颜色对比度低于颜色对比度阈值时,调整虚拟三维显示信息的颜色;
当虚拟三维显示信息及外界真实行车显示信息的亮度对比度低于亮度对比度阈值时,调整虚拟三维显示信息的亮度;
基于虚拟三维显示信息及外界真实行车显示信息的相对运动速度和/或相对运动方向,调整虚拟三维显示信息的显示位置和/或排列方向。
优选地,基于虚拟三维显示信息与外界真实行车显示信息,对虚拟三维显示信息进行校正,具体包括:
确定虚拟三维显示信息的参考信息,并基于参考信息对虚拟三维显示信息进行校正;
其中,参考信息包括以下至少一项:
重要度、重复度、虚拟三维显示信息之间的距离或重叠度、与用户之间的距离。
优选地,基于参考信息对虚拟三维显示信息进行校正,包括以下至少一种情形:
根据虚拟三维显示信息的重要度和/或与用户之间的距离,调整虚拟三维显示信息的尺寸;
根据虚拟三维显示信息的重要度和/或重复度,调整虚拟三维显示信息的显示物体数量;
根据虚拟三维显示信息之间的距离或重叠度,调整虚拟三维显示信息的显示物体数量和/或显示位置和/或颜色。
优选地,基于虚拟三维显示信息,对虚拟三维显示信息进行校正,具体包括:
获取显示设备相关信息,显示设备相关信息包括设备电量、设备运动状态中的至少一项;
根据显示设备相关信息对虚拟三维显示信息进行校正。
优选地,根据显示设备相关信息对虚拟三维显示信息进行校正,包括以下至少一种情形:
当设备电量低于第一预定电量阈值时,降低虚拟三维显示信息的亮度;
当设备电量低于第二预定电量阈值时,减少虚拟三维显示信息的颜色渲染;
当设备电量低于第三预定电量阈值时,减少虚拟三维显示信息中的显示物体数量;
基于显示设备的设备运动状态,调整虚拟三维显示信息的显示位置和/或排列方向。
优选地,基于虚拟三维显示信息,对虚拟三维显示信息进行校正,具体包括:
获取用户相关信息,用户相关信息包括年龄、视力、偏好设置、视角变化信息中的至少一项;
根据用户相关信息对虚拟三维显示信息进行校正。
优选地,根据用户相关信息对虚拟三维显示信息进行校正,包括以下至少一种情形:
根据用户的年龄和/或视力和/或偏好设置,调整虚拟三维显示信息的颜色;
根据用户的年龄和/或视力和/或偏好设置,放大虚拟三维显示信息的尺寸;
根据用户的视角变化信息和/或偏好设置,调整虚拟三维显示信息的显示位置和/或排列方向;
根据用户的偏好设置,调整虚拟三维显示信息中的显示物体数量。
本发明还提供了一种行车提示信息的显示装置,包括:
识别模块,用于识别目标对象;
确定模块,用于基于所述目标对象来确定相应的行车提示信息;
显示模块,用于生成所述行车提示信息对应虚拟三维显示信息,并显示所述虚拟三维显示信息。
本发明还提供了一种行车提示显示设备,执行如前述任意一项所述的行车提示信息的显示方法。
本发明提供了一种行车提示信息的显示方法,通过识别出行车过程中的目标对象来确定行车提示信息,并显示行车提示信息对应的虚拟三维显示信息,实现了在动态地行车过程中对道路上的各种实时性路况进行识别判断,并以虚拟三维显示方式为用户提供行车提示信息,在保证行车提示信息相应于实时路况较高准确性的同时,以更为真实的方式将行车提示信息融入行车过程的真实视觉场景中,提高了信息观看过程中的用户体验。
进一步地,行车提示信息包括行车导航信息,将行车导航信息以虚拟三维显示信息的形式进行显示,大大增强了行车导航的真实性及精确性,为提高行车安全性提供了有力保障,且用户可享受到全新的行车导航服务,极大地增强了用户体验度。同时,本发明提出的上述方案,对现有***的改动很小,不会影响***的兼容性,而且实现简单、高效。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1示出了本发明中一个实施例的行车提示信息的显示方法的流程示意图;
图2示出了本发明中具体实施例的行车提示信息的显示方法的流程示意图;
图3示出了本发明中一个优选实施例的行车提示信息的显示方法流程示意图;
图4示出了本发明中一个具体实施例的调整虚拟三维显示信息颜色的示意图;
图5a示出了本发明中另一个具体实施例的调整虚拟三维显示信息颜色和亮度的示意图;
图5b示出了本发明中一个具体实施例的调整虚拟三维显示信息个数的示意图;
图5c示出了本发明中一个具体实施例的调整虚拟三维显示信息尺寸的示意图;
图5d示出了本发明中一个具体实施例的调整虚拟三维显示信息的校正频率的示意图;
图6示出了本发明中另一实施例的行车提示信息的显示装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。需要说明的是,本发明的近眼显示设备包括虚拟现实的显示设备。
图1示出了本发明中一个实施例的行车提示信息的显示方法的流程示意图。该方法可以应用于行车过程中驾驶员佩戴的虚拟现实的近眼现实设备或车辆本身的显示设备上。
本发明的实施例中,各步骤所执行的内容概述如下:步骤S110:识别行车过程中的目标对象;步骤S120:基于所述目标对象来确定行车提示信息;步骤S130:显示行车提示信息对应的虚拟三维显示信息。
其中,行车提示信息包括行车过程中与行车安全、行车环境、路况标识以及行车导航相关联的提示信息。
优选地,步骤S120还可以包括:基于目标对象确定行车导航信息;步骤S130还可以包括:显示与行车导航信息对应的虚拟三维显示信息。
具体地,行车过程中的目标对象包括但不限于:危险车辆、拐弯路口、坡路、路面积水、视觉盲区被遮挡的物体。
实施例一
本实施例提供了一种行车提示信息的显示方法,该方法用于对识别危险车辆的行车提示信息进行显示并显示相应的增强现实导航显示信息。
图2示出了本发明中实施例一的行车提示信息的显示方法的流程示意图。
步骤210、AR设备确定是否存在危险车辆。
AR设备通过识别的方式确定本车附近是否存在危险车辆。其中,AR设备可以一直保持识别的状态,也可以根据用户的指令开始识别危险车辆的功能。其中,用户指令可以是通过语音、物理按键、指纹等生物识别标识来承载的。
在本实施例中,需要识别的危险车辆包括但不限于:负重较大的车辆(例如,负重大于预设安全负载的车辆)、频繁并线的车辆(例如,并线频率大于预设频率的车辆)、新手驾驶的车辆、陪练车、与本车距离较近的车辆(例如,与本车距离小于预定安全距离的车辆)、速度较快的车辆(例如,行驶速度大于预定安全车速的车辆)、和车型较大的车辆(例如,车辆占用空间大于预定空间的车辆)。
在本实施例的一个优选实例中,AR设备可以通过以下方式确定是否存在危险车辆:确定本车的至少一个周边车辆的车辆相关信息;当车辆相关信息符合危险车辆判断规则时,确定该车辆相关信息对应的车辆为危险车辆。
其中,车辆相关信息可以包括以下至少一项:与本车的距离、车辆类型、车辆负载、行驶速度、行驶车道、与本车的相对行驶速度。
在具体实现过程中,车辆相关信息可以通过不同的方式获取到。
AR设备可以获取实时行车图像信息,并识别出实时行车图像信息中车型较大的车辆类型、行驶车道等信息的至少一项;AR设备还可以根据实时行车图像信息中车辆的载重标识信息确定车辆的负载。车辆类型也可以利用图像识别或文字检测识别等方法检测出来。比如新手驾驶车辆一般会贴有实习标签,AR设备通过对实习标签的检测识别可实现对新手车辆的识别;陪练车一般在车的侧边也会印有陪练字样,AR设备可以通过文字识别技术识别出陪练车。
其中,可通过AR设备自身的图像捕捉设备或其他图像捕捉设备来获取实时行车图像信息的。
AR设备可以通过速度传感器确定出周围车辆的行驶速度,并可据此确定出周围车辆相对于本车的相对形式速度。其中,速度传感器可以是AR设备上的,也可以是本车内其他设备上的。速度传感器可以是测速雷达等设备
AR设备可以通过距离传感器确定出周围车辆与本车的距离。其中,距离传感器可以是AR设备上的,也可以是本车内其他设备上的。距离传感器可以是深度摄像头、双目摄像头、激光测距仪、测距雷达等设备至少之一。
AR设备可以通过深度摄像头或双目摄像头测量车辆的体积,从而确定出车型较大的车。
AR设备可以通过记录其他车辆的行车轨迹来判断是否为频繁并线的车。
当上述车辆相关信息满足以下至少一项危险车辆判断规则时,AR设备确定是否存在危险车辆:与本车的距离小于预定安全距离;行驶速度大于预定安全车速;车辆负载大于预定安全负载;车辆类型为大型车辆类型;与本车的相对行驶速度大于预定安全相对速度。
下面以附近有负重较大的车辆为例对危险车辆的识别进行说明。
首先利用摄像设备,例如启程上安装的摄像头或位于汽车上的电子设备的摄像头,拍摄一张或多张包含附近车辆的图片,使用图像识别技术或车辆检测器检测出车辆在图片上的位置区域,如包围框,和大小,根据图片上车辆大小比例或直接使用深度或双目摄像头来估计车辆与本车间的距离;如果距离小于预定阈值,则对车辆的类型进行识别,判断该车辆是否属于货车、卡车等载物的大型车类别;如果是,则对车辆后部货车厢所载的货物进行货物分析,比如分析货物的类别、体积等,据此估计车辆所载货物的重量。对于封闭车厢的货车,可以运用自然场景文字检测识别的方法识别出车厢上标明的标称载重量,据此进行预判。同时,还可以结合该车加速减速的速度来判断其载重情况,如果负重较大,其加减速的速度一般较慢,而负重很轻时,加减速较快,加减速数据可以通过测速装置获得。此外,也可结合该车辆所在车道进行辅助判断,比如负重较大的车辆一般在中间车道行驶,很少在外车道或内车道行驶。通过上述方式可以确定出存在负重较大的车辆。
上述识别步骤可以在AR设备上进行,此时其设备可以将获取到的信息发给AR设备,例如,车载摄像头将拍摄的图片发送给AR设备,测速装置将测速结果发给AR设备等;上述识别步骤也可以在其他电子设备上进行,然后,其他电子设备通知该AR设备存在负重较大的车辆。
步骤S220、基于危险车辆确定行车导航信息。
步骤S230、显示与行车导航信息对应的虚拟三维显示信息。
具体地,步骤S220及步骤S230的实现方式包括以下情形:
1)基于本车与识别出的危险车辆的相对位置和/或相对速度,确定是否需要改变本车的行车路径,如果是,则确定改变后的行车路径;当确定需要改变本车的行车路径时,在与改变后的行车路径对应的位置上,显示改变后的行车路径的导航信息。
例如,当AR设备判断本车前面有负重较大的危险车辆并且该危险车辆和本车的距离小于预定阈值时,则AR设备进一步判断行驶道路左边或右边一定距离范围内有无车辆,若没有,确定需要改变本车的行车路径;确定改变后的行车路径,并在真实场景中叠加与危险车辆对应的行车路径规划信息,建议司机减速或减速后向左前方或右前方并线,比如在路面上叠加一个三维换道箭头图形信息。
2)基于本车与识别出的危险车辆的相对位置和/或相对速度,确定是否需要改变本车的行车车道,如果是,确定改变后的行车车道;当确定需要改变本车的行车车道时,在与改变后的行车车道对应的位置上,显示改变后的行车车道的导航信息。
例如,当AR设备判断本车后面有负重较大的车辆并且该车和本车的距离小于预定阈值,例如,小于后车的刹车距离时,还可以根据当前路况进行局部的路径规划以避免危险发生。比如,AR设备通过本设备或其他设备的摄像头,如双目摄像头,采集正前方信息,分析正前方附近有无车辆;如果正前方一定距离内没有车辆,则AR设备可以提示司机加速前进,以便增加与后车的距离,如果前方有车辆阻挡,则AR设备再判断左边或右边一定距离范围内有无车辆,若没有,则确定需要改变本车的行车车道;确定改变后的本车的行车车道,AR设备显示换道的行车路径规划信息,比如在路面上叠加一个三维换道箭头图形信息。
3)基于本车与识别出的前方危险车辆的相对位置和/或相对速度,确定本车与前方危险车辆的安全距离;在与前方危险车辆相距安全距离处,显示建议本车不要越过的该距离的虚拟三维显示信息;
例如,当AR设备判断本车前面有负重较大的车辆但该车和本车的距离大于预定阈值时,AR设备也可以确定本车与该车的最短的安全距离,在前面负重较大的车辆之后最短距离处使用虚拟线段进行标识,提示驾驶员不要超出这条线。其中,AR设备可以根据本车和前车重量速度等信息确定本车和前方负重较大的车辆之间的最短的安全距离。
4)基于本车与识别出的危险车辆的相对位置和/或相对速度,确定本车是否需要加速行驶;在确定本车需要加速行驶时,进一步可显示建议加速行驶的导航信息;
例如,当AR设备判断本车前面的车辆与本车的距离小于最小安全距离,则提示用户进行加速行驶。
5)基于本车与识别出的危险车辆的相对位置和/或相对速度,确定本车是否需要减速行驶;在确定本车需要减速行驶时,进一步可显示建议减速行驶的导航信息。
例如,当AR设备判断本车侧面有负重较大的车辆并且该车和本车的距离小于预定阈值时,AR设备可叠加行车路径规划信息,建议司机加速或减速,之后可换道行驶。
其中,行车提示信息包括以下至少一项:
与危险车辆对应的警示提示信息、与危险车辆对应的避让建议、危险车辆的刹车距离提示信息。
AR设备显示的虚拟三维显示信息可以包括与危险车辆对应的警示提示信息和/或危险车辆的刹车距离提示信息,显示的位置可以在危险车辆处或用户能够看到的地方。
下面以附近有负重较大车辆为例进行说明:
对于负重较大的车辆,AR设备显示的虚拟三维显示信息包括:负重较大的车辆的刹车距离提示信息、和/或警示提示信息。负重较大的车辆的危险性主要在于其刹车距离通常都比较长,因此,显示负重较大的车辆的刹车距离,对驾驶员比较有参考意义。
负重较大的车辆的刹车距离提示信息的获取方式包括:AR设备根据识别出的车型信息可以通过互联网检索到该车型基本的刹车距离信息,同时根据该车辆当前载重量的估计值可进一步计算确定该车辆具体的刹车距离。
警示提示信息的获取方式包括:AR设备可利用深度摄像头、双目摄像头、测距装置等设备测量出负重较大的车辆与本车的距离,将负重较大的车辆与本车之间的距离和负重较大车辆的刹车距离进行比对,确定相应级别的警示信息。比如,当负重较大的车辆与本车之间的距离与负重较大车辆的刹车距离的比值超过第一预定阈值,如2倍,且负重较大车辆在本车后方时,可确定警示信息为后方有跟车;如果负重较大的车辆与本车之间的距离与负重较大车辆的刹车距离的比值已小于第二预定阈值,例如,负重较大的车辆与本车之间的距离小于负重较大车辆的刹车距离,则确定警示信息为危险。
AR设备可在外界真实场景中的危险车辆上方叠加显示虚拟三维的危险警示信息及危险车辆的刹车距离提示信息。对于其他类型车辆,比如频繁并线的车辆,AR设备可在该危险车辆上方叠加显示危险标志;对于新手驾驶的车辆或陪练车,AR设备可在该车辆上方叠加显示注意标志;对于距离较近的车辆,AR设备可以显示两车间的距离值和/或本车是否在安全范围以内;对于速度较快的车辆,AR设备可以显示其速度信息并预估其接近本车时与本车的距离,如果距离小于一定阈值则提出警告或避让建议;对于车型较大的车辆,AR设备可以提示当与其并排行驶时的车间距,如果距离小于一定阈值则提出警告或避让建议。
实施例二
本实施例提供了一种行车提示信息的显示方法,该方法用于对识别拐弯路口的行车提示信息进行显示并显示相应的增强现实导航显示信息。
现代城市道路比较复杂,尤其是立交桥所在的路段,短距离内会有很多个路口,有的路口是右拐弯路口,有的路口是上桥的路口,有的路口是从主路进入辅路的路口,有的路口是从辅路进入主路的路口。现有的车载导航会在路口前好几百米提示拐弯路口信息,但受限于GPS定位精度以及车载导航方式,其拐弯信息不够精确和直观,当短距离内存在多个路口时,无法精确确定并显示用户需要的正确的拐弯路口。本发明中,基于增强现实的导航方法可以解决这一问题。下面对本实施例进行具体说明。
首先,AR设备识别行车过程中是否存在拐弯路口。
确定是否存在拐弯路口的方式包括以下两种:
方式一、识别出实时行车图像信息中的拐弯路口。
获取当前车辆的地理位置定位信息及相应的街景图像信息;将基于地理位置定位信息及街景图像信息确定的图像特征与获取到的实时行车图像信息的图像特征进行特征匹配;根据匹配结果确定拐弯路口的精确位置信息。其中,街景图像信息可以是预存的,也可以是通过网络实时获取的。
具体地,AR设备获取当前车辆的地理位置定位信息及相应的街景图像信息的方式包括:
AR设备可以通过车载GPS获得GPS信息,也可以通过车内其他具有定位功能的设备获得地理位置定位信息;例如,车内存在具有定位功能的移动终端,AR设备可以从该移动终端获取GPS信息。当车内同时存在车载GPS和其他具有定位功能的设备时,AR设备可以优先从车载GPS获取地理位置定位信息。
AR设备根据GPS地理位置定位信息可确定最近的拐弯路口位置,根据路口位置信息通过互联网检索该路口处附近的街景图,提取街景图中路口附近的图像特征。
随后,AR设备可以利用车上安装的摄像头或车上其他电子设备的摄像头,例如手机的摄像头来采集当前道路周围环境图像,提取周围环境图像上的图像特征;接着,将提取的图像特征和街景图中路口附近的图像特征进行匹配,例如通过SIFT(Scale-invariantfeature transform)进行特征匹配,并根据匹配结果判定当前车辆是否处在拐弯路口附近,如果是在预定的拐弯路口附近,则根据匹配结果确定拐弯路口的精确位置,同时可计算出拐弯路口相对于车辆的精确三维位置偏移,确定拐弯路口相对于车辆的精确三维位置偏移的方式包括利用深度相机或双目相机进行三维测量。
方式二、识别出实时行车视频信息中的拐弯路口。
对实时行车视频信息进行分析检测,基于对前方车辆的检测,确定前方车辆的行车相关信息;基于前方车辆的行车相关信息来判断前方车辆的拐弯动作;当前方车辆发生拐弯动作时,确定相应的拐弯路口的精确位置信息。
具体地,首先,AR设备通过自身摄像头或车辆上安装的摄像头拍摄前方路况视频,对视频中的车辆进行检测和行车轨迹跟踪,同时对图像进行分割,识别出主干道及其主干道的右边界线。当发现行车轨迹偏离主干道并穿越了主干道右边界线时,可判定前面车辆发生拐弯动作。记录此时拐弯车辆位置以及周围环境信息,确定拐弯车辆位置即为前方一个拐弯路口。另外,也可以通过分析前方车辆两边的道路信息判断是否发生拐弯动作。通常拐弯路口比较狭窄,不会有多辆车并排行驶的情况,车辆两边只有一小部分行车道路。如果发现车辆周围属于这种情况,也可判断车辆在拐弯,进而确定拐弯路口。
其中,行车相关信息包括行车轨迹、道路信息中的至少一项。
随后,确定识别出的拐弯路口是否是本车要拐弯的路口;当识别出的拐弯路口是本车要拐弯的路口时,在本车要拐弯的路口处,叠加显示建议本车拐入该路口的虚拟三维显示信息;当识别出的拐弯路口不是本车要拐弯的路口且前车要拐入该路口时,显示建议本车减速行驶的导航信息,和/或,显示建议本车变道的导航信息。
确定了拐弯路口相对于本车的精确位置偏移之后,如果该拐弯路口是本车需要拐弯的路口即生成本车的拐弯提示信息,则AR设备可在真实场景中当前道路上叠加三维拐弯指示箭头信息指向拐弯路口,例如,在本车要拐弯的路口处,叠加显示建议本车拐入该路口的虚拟三维显示信息,从而实现精确直观的导航信息提示。
确定了拐弯路口相对于本车的精确位置偏移之后,如果该路口不是本车需要拐弯的路口,AR设备在判断前方车辆发生拐弯动作时,则生成前方车辆的拐弯警示信息,并向司机发出警示信息,提示司机前方有车辆正在拐弯。
在确定该路口不是本车需要拐弯的路口之后,AR设备还可以通过深度相机或双目相机等设备测量本车与前方拐弯车辆的距离,结合本车车速判断是否有追尾的可能,如果有,则提示司机进行减速或者变道。根据相对距离和车速,可进一步提示减速的幅度。可以用文字提示,也可以用直观的图形方式提示。
实施例三
本实施例提供了一种行车提示信息的显示方法,该方法用于对识别视觉盲区被遮挡的物体的行车提示信息进行显示并显示相应的增强现实导航显示信息。
具体地,视觉盲区被遮挡的物体包括被汽车AB柱遮挡的物体,下面以被汽车的AB柱遮挡的物体为例进行本实施例的详述。
现有汽车AB柱通常会遮挡驾驶员部分视野。在直行道路上行驶时这种遮挡不会有太大影响,但在拐弯路口时影响比较严重。本实施例提供了解决该问题的一种方案。
步骤S310,AR设备识别行车过程中是否存在视觉盲区被遮挡的物体。
具体地,获取识别汽车AB柱被挡住物体的方式包括:
方式一:获取图像采集设备采集到的图像信息,并根据图像采集设备和用户的相对位置关系,生成对应于用户观看视角的第一图像;将该第一图像与用户视角观看到的实时行车图像信息进行对比,确定出用户观看视角盲区中被遮挡的物体。
例如,确定汽车AB柱的图像信息以及该被遮挡物体相对于本车驾驶员的位置;例如,其中,该图像采集设备可以是从汽车上的车载摄像头或车内的其他电子设备获取。该图像采集设备和AR设备拍摄的角度不同,从而能够获取到AR设备拍摄角度下视觉盲区中被遮挡物体的图像。
下面以从车载摄像头为例进行说明。
AR设备获取从车载摄像头采集到的其拍摄的图像,然后根据该摄像头和驾驶员的相对位置关系,利用DIBR(Depth-Image-Based Rendering,自由视点)技术来获取图像,生成对应于驾驶员观看视角的第一图像。然后对AR设备上摄像头拍摄到的包含AB柱的实时行车图像信息进行分析,检测出AB柱并对AB柱进行精细的分割。根据分割结果,将DIBR生成的第一图像中对应于实时行车图像信息进行对比,确定出用户观看视角盲区中被遮挡的物体,即将AB柱区域的图像提取出来作为叠加显示基础。
本领域技术人员能够知道,AR设备也可以通过其他设备获取被汽车AB柱遮挡的图像,其实现过程和上述过程相似,在此不再赘述。
另外,对应于AB柱区域的图像的获取过程也可以是在其他处理设备中进行的,此时,需要车载摄像头和AR设备将各自的图像发送给处理设备,该处理设备确定出对应于AB柱区域的图像之后,将对应于AB柱区域的图像信息发送给AR设备。
方式二、AR设备根据AR设备摄像头的历史数据获得被汽车AB柱遮挡的图像
根据汽车行进方向和路程,AR设备可以计算出之前拍摄的图像其摄像头的位置和当前驾驶员的相对位置关系,从而利用DIBR(Depth-Image-Based Rendering,自由视点)技术从历史数据中生成对应于当前驾驶员观看视角的第一图像。然后对AR设备上摄像头拍摄到的包含AB柱的第二图像进行分析,检测出AB柱并对AB柱进行精细的分割。根据分割结果,将DIBR生成的第一图像中对应于AB柱区域的图像提取出来作为叠加显示基础。
对应于AB柱区域的图像的获取过程也可以是在其他处理设备中进行的,此时,需要AR设备将拍摄的图像发送给处理设备,该处理设备确定出对应于AB柱区域的图像之后,将对应于AB柱区域的图像信息发送给AR设备。
步骤S320:基于视觉盲区被遮挡物体来确定行车提示信息;
其中,行车导航信息包括:视觉盲区存在被遮挡物体的警示信息、和/或视觉盲区中被挡住物体的显示信息。
AR设备可以在识别出视觉盲区存在被遮挡物体时,将该物体与本车的相对位置确定为行车提示信息。
AR设备还可以在识别出视觉盲区存在被遮挡物体时,提取出该物体的图像信息,将该图像信息作为行车提示信息。
步骤S330:显示行车提示信息对应的虚拟三维显示信息。
一种情形下,在确定的位置,显示被遮挡物体的图像信息,或者,显示被遮挡物体的图像信息,并指示该图像信息对应的位置为确定的位置。
另一种情形下,确定视觉盲区被遮挡的物体的属性信息以及该被遮挡物体相对于本车驾驶员的位置;显示被遮挡的物体的属性信息和相对于本车驾驶员的位置信息,或者,在确定的位置,显示被遮挡物体的属性信息。
即AR设备可以显示报警信息和/或被挡住物体的虚拟图像。
AR设备通过步骤S310探测到有被AB柱遮挡的危险情况之后,可以在确定的位置,显示被遮挡物体的图像信息,或者,显示被遮挡物体的图像信息,并指示该图像信息对应的位置为确定的位置。如直接在AR设备上显示警示信息,例如,如果被汽车AB柱挡住的左前方有行人,AR设备显示与有行人对应的警示信息。
AR设备在确定存在被AB柱遮挡的物体之后,也可以根据步骤S310获取的遮挡驾驶员视野区域的图像,直接将其生成驾驶员观看视角下的图像信息,将该图像以阴影方式、轮廓线方式、或半透明等形式之一显示在AB柱位置,或者在AR设备上其他位置显示一个AB柱以及被AB柱遮挡的图像,供驾驶员参考。
除了汽车AB柱方向,车辆自身遮挡区域包括汽车后方和侧边盲区,也可以采用上述方式在AR设备上显示报警信息。
实施例四
本实施例提供了一种行车提示信息的显示方法,该方法用于对识别坡路的行车提示信息进行显示并显示相应的增强现实导航显示信息。
现代城市中会存在很多坡路,即便是位于平原地带的城市,也会由于立交桥等设施,会存在坡路。有些坡路可能会对驾驶造成影响。
步骤S410,AR设备识别行车过程中是否存在坡路。
具体地,通过以下至少一种方式识别出实时行车图像信息中的坡路:
确定实时行车图像信息中的道路左右轮廓线,并对道路左右轮廓线进行分析以识别确定出坡路;
获取当前行车的地理位置定位信息,并基于地理位置定位信息进行检索以识别确定出坡路。
对于不同路况的破路,识别的方式可能是不同的,下面对此进行具体说明。
平路之后下坡路情景下的识别:利用道路和道路周边颜色的不同,AR设备可以将道路从前视摄像头拍摄图像中分割出道路区域,然后获取道路的左右轮廓。对于没有下坡路的道路,左右轮廓线都是直线或具有相似曲率的弧线;当道路前方有下坡路段时,左右轮廓线的尽头会出现明显的向道路中间弯曲的部分,AR设备可以根据这一特点即可检测出下坡路段。AR设备也可以利用GPS信息大致确定当前的位置信息,然后利用车上摄像头或其他电子设备进行精确定位,得到精确位置之后,利用位置信息从互联网或服务器上检索前方坡路信息。
上坡路之后坡度变缓或者变成平路甚至下坡路情景下的识别:也可以通过分析道路左右轮廓线或利用位置信息检索得到,具体识别方法和平路之后下坡路的识别类似,在此不再赘述。
平路之后上坡路的识别:可以过分析道路左右轮廓线的变化或利用位置信息检索得到,具体识别方法和平路之后下坡路的识别类似,在此不再赘述。
步骤S420:基于坡路来确定行车提示信息;
步骤S430:显示坡路对应的虚拟三维显示信息。
其中,步骤S420和步骤S430可以通过以下方式来实现:
基于破路的坡度情况和本车能力,确定本车是否需要改变路径,如果是,则确定改变后的路径;显示建议改换路径的虚拟三维显示信息。。例如,当AR设备识别到平路之后上坡路时,如果上坡路很陡以至于本车可能爬坡爬不上去,或者道路可能打滑等情况,AR设备可以根据当前位置信息,寻找附近可替换的路径,避开困难路段。
基于坡路的坡度情况,确定本车是否需要加速行驶;在确定本车需要加速行驶时,显示建议加速行驶的导航信息。基于坡路的坡度情况,确定本车是否需要减速行驶;在确定本车需要减速行驶时,显示建议减速行驶的导航信息;例如,AR设备还可以提供加速减速的行车指导信息。例如,当AR设备识别出即将进入下坡路,且下坡路很陡时,提示用户减速,避免发生危险。
此外,AR设备可以提示坡度变化程度,提示的方式可以是使用数字的形式提示,例如,使用数字表示坡路相对于水平方向的角度,提示的方式也可以是采用图形的方式,例如,将当前道路及后续下坡路的三维图形信息相对于当前道路平面抬高一定距离再显示,方便驾驶员观看后面坡度变化程度。这种提示方式可以适用于以下路况至少之一:平路之后下坡路、上坡路之后坡度变缓、上坡路之后变成平路,上坡路之后变成下坡路。
实施例五
本实施例提供了一种行车提示信息的显示方法,该方法用于对识别路面积水的行车提示信息进行显示并显示相应的增强现实导航显示信息。
下大雨时,下坡和上坡交界处形成的凹形路面以及其他原因形成凹形地面很有可能会产生积水,积水较高时,可能会导致车辆熄火,甚至导致人被困在车内,发生危险。本实施例提供了一种积水的识别方法。
步骤S510、AR设备识别行车过程中是否有路面积水。
具体地,识别出实时行车图像信息中的路面积水,包括:
通过对获取到的实时行车图像信息的纹理特征与获取到的相应地理位置处非积水路面图像信息的纹理特征进行比对,以判断实时行车图像信息中是否包括倒影的特征信息;若实时行车图像信息中包括倒影的特征信息,识别确定路面积水的位置区域。
路面有积水时通常会有倒影,因此,AR设备可以通过自身摄像头或其他设备的摄像头获取积水路面的图像,将其和非积水路面照片的比对;例如根据纹理特征计算相似度进行识别,或使用比较鲁棒的图像识别算法如卷积神经网络分类器进行识别,通过判断图像中是否有倒影来识别出前方路面是否有积水。
在识别出路面存在积水时,AR设备可以进一步确定积水的深度。
AR设备通过对获取到的实时行车图像信息的纹理特征与获取到的相应地理位置处非积水路面图像信息的纹理特征进行比对,估计得到路面积水的积水深度。在具体实现时,AR设备可以通过自身摄像头或其他设备的摄像头对积水路段进行拍照,获取到积水路段的实时行车图像信息;AR设备获取与当前地理位置相应非积水路面图像信息的方式包括:AR设备利用GPS定位信息从网络上检索当前位置没有积水时的照片,如果用户曾经经过当前位置,并对当前位置进行拍照并存储照片,AR设备可以从本地检索到当前位置没有积水的照片;获取到的实时行车图像信息的纹理特征与获取到的相应地理位置处非积水路面图像信息的纹理特征进行比对,估计得到路面积水的积水深度。
AR设备还可以利用深度或双目相机等能直接测量物理尺寸的设备对积水深度进行精确测量。
步骤S520:基于路面积水来确定行车提示信息;
步骤S530:显示路面积水对应的虚拟三维显示信息。
其中,步骤S520和步骤S530可以通过以下方式来实现:
基于路面积水情况,确定是否需要改变本车的行车路径,如果是,确定改变后的行车路径;当确定需要改变本车的行车路径时,显示改变后的行车路径的导航信息,导航信息叠加显示在与改变后的行车路径对应的位置上。如AR设备判断积水深度是否会对车辆造成危险,如果当前积水深度会对本车造成危险,例如,积水深度超过了本车辆所能容忍的积水深度,确定需要改变本车的行车路径;可以根据当前位置信息,规划附近可替换的路径,并将替换路径信息显示在AR设备上供司机参考。
基于路面积水情况和本车属性,确定是否需要改变本车的行车路径,如果是,确定改变后的行车路径;当确定需要改变本车的行车路径时,显示改变后的行车路径的导航信息,导航信息叠加显示在与改变后的行车路径对应的位置上。例如,基于路面积水深度情况和本车所能容忍的积水深度,如当前方道路的积水深度均超过本车辆所能容忍的积水深度,确定需要改变本车的行车路径;AR设备可以根据当前位置信息,需找附近可替换的路径,并将该替换路径信息显示在AR设备上,显示的方式可以是箭头的方式。
基于路面积水情况,确定是否需要改变本车的行车车道,如果是,确定改变后的行车车道;当确定需要改变本车的行车车道时,显示改变后的行车车道的导航信息,导航信息叠加显示在与改变后的行车车道对应的位置上;或基于路面积水情况和本车属性,确定是否需要改变本车的行车车道,如果是,确定改变后的行车车道;当确定需要改变本车的行车车道时,显示改变后的行车车道的导航信息,导航信息叠加显示在与改变后的行车车道对应的位置上。例如,当道路包括多个车道,其中本车所在的部分车道的积水深度超过本车辆所能容忍的积水深度,AR设备可以寻找多个车道中未积水的车道,将其作为替换车道显示在AR设备上,显示的方式可以是箭头的方式。
其中,路面积水情况包括以下至少之一:路面是否有积水、积水深度、不同车道的路面是否有积水、不同车道的积水深度。
其中,行车提示信息还包括以下至少一项:
积水警示信息;积水深度的估计值;与根据积水深度所确定的报警级别相应的警示信息。
当行车提示信息包括积水警示信息时,AR设备还可以根据积水深度确定报警级别,进行分级报警。另外,由于不同车辆对积水深度的容忍度是不一样的,因此,还可以根据积水深度以及本车辆能容忍的积水深度确定报警级别,进行分级报警。其中,AR设备可以根据用户的输入获知车辆的车型信息,通过车型信息确定车辆能容忍的积水深度。分级报警的方式可以用不同颜色、闪烁频率、线条粗细等方式实现。
本发明的发明人注意到,在生成并显示行车提示信息对应的虚拟三维显示信息,并将虚拟三维显示信息及外界真实行车显示信息叠加后用户观看到的增强现实显示信息进行显示时,可能需要对虚拟三维显示信息进行适应性的调整;例如,当外界真实场景的颜色发生变化时,虚拟三维显示信息和外界真实行车显示信息的对比度就会降低,此时需要对虚拟三维显示信息进行调整。
本发明AR设备能实时地同时捕获显示的虚拟三维显示信息和外界真实行车显示信息,并对捕获的虚拟三维显示信息和外界真实行车显示信息进行分析,根据分析结果对显示的虚拟三维显示信息进行校正调整,然后根据校正结果重新渲染虚拟三维显示信息并进行显示,通过这样的过程能对虚拟三维显示信息的各种特性,如位置、尺寸、形状、色彩,照明等进行实时监控和调整,使得用户能看到更好的虚拟三维显示信息。
本实施例提供了一种对虚拟三维显示信息进行校正方法,该方法用于基于虚拟三维显示信息和/或外界真实行车显示信息对虚拟三维显示信息进行校正,并进行渲染显示。
如图3所示,包括步骤S140、步骤S150和步骤S160。
步骤S140:获取外界真实行车显示信息;步骤S150:基于虚拟三维显示信息和/或外界真实行车显示信息,对虚拟三维显示信息进行校正;步骤S160:对校正后得到的虚拟三维显示信息进行渲染并显示。
具体地,对虚拟三维显示信息进行校正的方式包括以下任一方式:
1)确定虚拟三维显示信息及外界真实行车显示信息的第一相对关系信息,并基于第一相对关系信息对虚拟三维显示信息进行校正。
其中,第一相对关系信息包括以下至少一项:
颜色对比度、亮度对比度、相对运动速度以及相对运动方向。
2)确定虚拟三维显示信息的参考信息,并基于参考信息对虚拟三维显示信息进行校正;
其中,参考信息包括以下至少一项:
重要度、重复度、虚拟三维显示信息之间的距离或重叠度、与用户之间的距离。
3)获取显示设备相关信息,显示设备相关信息包括设备电量、设备运动状态中的至少一项;根据显示设备相关信息对虚拟三维显示信息进行校正。
4)获取用户相关信息,用户相关信息包括年龄、视力、偏好设置、视角变化信息中的至少一项;根据用户相关信息对所述虚拟三维显示信息进行校正。
以下列举对虚拟三维显示信息的颜色及亮度进行校正的示例:
方式一、确定虚拟三维显示信息及外界真实行车显示信息的颜色对比度和/或亮度对比度,并基于颜色对比度和/或亮度对比度对虚拟三维显示信息的颜色及亮度进行校正。
当虚拟三维显示信息及外界真实行车显示信息的颜色对比度低于颜色对比度阈值时,调整虚拟三维显示信息的颜色;当虚拟三维显示信息及外界真实行车显示信息的亮度对比度低于亮度对比度阈值时,调整虚拟三维显示信息的亮度。
首先,AR设备获取真实场景的颜色及亮度;具体为获取真实场景的亮度、光照强度、天气情况等。
真实场景的总体亮度值可以通过计算所拍摄图像的平均亮度值得到,或者采用专门的光度计测量得到。上述计算和测量流程可以在AR设备上完成,也可以由其他设备完成,然后传给AR设备。
天气信息可以通过对拍摄的天空图像进行分析,比如基本都是蓝色说明是蓝天且是晴天;如果蓝白相间说明是晴间多云;如果是灰色,且在窗户上检测到水珠,则说明是下雨天;另外,也可以通过互联网查询得到当前位置的天气信息。
随后,AR设备确定虚拟三维显示信息及外界真实行车显示信息的颜色对比度和/或亮度对比度,并基于颜色对比度、亮度对比度对虚拟三维显示信息进行校正。
AR设备调整虚拟三维显示信息的颜色和亮度的原则是:确保有足够的对比度方便用户辨认清楚。当虚拟三维显示信息和真实场景的对比度过低时,AR设备通过调整虚拟三维显示信息的颜色和亮度来提高虚拟三维显示信息和真实场景的对比度。
同时,可结合虚拟三维显示信息之间的距离或重叠度,调整虚拟三维显示信息的颜色。
例如,当AR设备发现真实场景的亮度较高时,可适当减低叠加的虚拟三维显示信息的亮度值以提高对比度,反之亦然;当AR设备发现真实场景的天空是蓝色的,则在向天空叠加虚拟三维显示信息时,应避免使用蓝色,如果在向天空叠加的虚拟三维显示信息中已经包括蓝色或与之相近颜色的信息时,则调整该信息的颜色;如果真实场景的天空中有很多白云,则在向天空叠加虚拟三维显示信息时,应避免使用百色,如果在向天空叠加虚拟三维显示信息已经包括蓝色或与之相近颜色的信息时,应调整该信息的颜色。
例如,如图4的左半部分所示,AR设备在真实场景的建筑物上叠加其名称“城堡酒店”作为虚拟三维显示信息,该虚拟三维显示信息和真实场景的对比度较低,因此,AR设备对“城堡酒店”的颜色进行调整,调整后的结果如图4的右半部分所示,以便增强“城堡酒店”和真实场景的对比度,使用户易于识别叠加的虚拟三维显示信息。
方式二、获取设备电量;根据设备电量对虚拟三维显示信息的颜色及亮度进行校正。
具体地。当设备电量低于第一预定电量阈值时,降低虚拟三维显示信息的亮度。
如图5a所示,AR设备确定自身的电池电量,根据电池电量确定其能显示的虚拟三维显示信息的个数。当电池电量低于预定阈值时,AR设备可以降低虚拟三维显示信息的亮度,从而达到省电的目的。如果亮度过低,AR设备还可以调整虚拟三维显示信息的颜色,增强虚拟三维显示信息和真实场景的对比度。
方式三、获取包括年龄和/或视力和/或偏好设置等的用户相关信息;用户视力或颜色偏好可通过人机交互界面,由用户自己输入自己的视力信息和颜色偏好。
如果AR设备确定用户的视力情况是色盲,则应避免使用用户无法分辨的颜色显示虚拟三维显示信息,如果已经叠加了用户无法分辨的颜色的虚拟三维显示信息,则应调整该信息的颜色。如果用户设置了颜色偏好,则在满足能清晰辨认的基础上,AR设备尽量使用用户喜爱的颜色显示虚拟三维显示信息。
以下列举对虚拟三维显示信息的显示物体数量进行校正的示例:
方式一、获取设备电量;根据设备电量对虚拟三维显示信息的显示物体数量进行校正。
具体地,当设备电量低于第三预定电量阈值时,减少虚拟三维显示信息中的显示物体数量。
例如,如图5b所示,如果AR设备的电池电量低于预定阈值,则可以降低虚拟三维显示信息的显示个数。如果AR设备此时检测到新的需要叠加虚拟三维显示信息的物品,则按照预先设定好的物体重要性等级,对需要叠加虚拟三维显示信息的物品进行排序,只显示重要性为前N个物品的虚拟三维显示信息。
方式二、根据虚拟三维显示信息的重要度和/或重复度,调整虚拟三维显示信息的显示物体数量。
首先,AR设备获取调整虚拟三维显示信息的显示物体数量的参考信息,包括:待叠加虚拟三维显示信息的重要性、待叠加虚拟三维显示信息的重复性。
AR设备可以预先设置不同类别对象的重要性,当识别到相应类型的对象时,即可确定出该对象的重要性,对象的重要性可以和该对象对应的虚拟三维显示信息的重要性相同。AR设备确定待叠加的虚拟三维显示信息,据此确定待叠加的虚拟三维显示信息的重复性。AR设备通过摄像头获取显示的虚拟三维显示信息,从而确定出虚拟三维显示信息之间的距离或重叠度。
随后,AR设备获取的重要度和/或重复度,对虚拟三维显示信息的显示物体数量进行调整。
当待叠加虚拟三维显示信息具有重复性时,AR设备可以降低虚拟三维显示信息的显示个数,不显示重复的虚拟三维显示信息或者减少显示的重复虚拟三维显示信息的数量。
当虚拟三维显示信息之间的距离较近或重叠度较大时,AR设备可以对其进行合并,减少显示的个数,也可以对距离较近或重叠度较大的虚拟三维显示信息进行调整。例如,当虚拟三维显示信息之间的距离较近时,调整虚拟三维显示信息的显示位置,使其能够区分开,或者使用不同颜色分别显示距离较近的虚拟三维显示信息,使其通过颜色区分开。重叠度较大的虚拟三维显示信息也可以采用类似的方式进行调整,在此不再赘述。
方式三、根据虚拟三维显示信息之间的距离或重叠度,调整虚拟三维显示信息的显示物体数量。
另外,用户姿态的变化还可能引起虚拟三维显示信息的个数的改变。当AR设备确定用户姿态发生变化但用户的位置并没有变化时,AR设备判断是否有新的对象需要叠加虚拟三维显示信息,如果是,则对新的对象进行虚拟三维显示信息的叠加。例如,佩戴AR设备的用户正在开车,当用户面对正前方时,AR设备针对视野内的对象叠加虚拟三维显示信息;当用户向左转头时,用户的视野发生变化,会看到新的物体,例如,看到左侧有一辆汽车,则AR设备可以针对该车叠加虚拟三维显示信息。
此外,还可以根据用户的偏好设置,调整虚拟三维显示信息中的显示物体数量。
以下列举对虚拟三维显示信息的尺寸进行校正的示例:
方式一、根据虚拟三维显示信息的重要度和/或与用户之间的距离,调整虚拟三维显示信息的尺寸。
首先,AR设备获取调整虚拟三维显示信息的尺寸的参考信息,包括重要度、与用户之间的距离。
例如,AR设备可以通过测距仪等设备直接确定对象到用户的距离,还可以通过深度摄像头获知对象到用户的距离。AR设备可以预先设置不同类别对象的重要性,当识别到相应类型的对象时,即可确定出该对象的重要性。
随后,AR设备根据获取的虚拟三维显示信息的重要度和/或与用户之间的距离,调整虚拟三维显示信息的尺寸。
AR设备调整虚拟三维显示信息的尺寸的原则是:确保用户能够看清。当虚拟三维显示信息尺寸相对于用户来说过小时,AR设备通过调整虚拟三维显示信息的颜色和亮度来提高虚拟三维显示信息和真实场景的对比度。
如图5c所示,对于距离较远的重要对象对应的虚拟三维显示信息,AR设备使用大尺寸进行显示,如果距离较远的重要对象对应的虚拟三维显示信息尺寸较小,可以调大该信息的尺寸。
方式二、根据用户的年龄和/或视力和/或偏好设置,放大虚拟三维显示信息的尺寸。
首先,获取用户的年龄和/或视力和/或偏好设置。
用户相关信息可以通过AR设备接收用户的输入获得,还可以通过社交等APP进行间接判断,例如,如果AR设备检测到用户在社交APP上分享自己的英语四级考试成绩,则可以初步判断用户是大学生,年龄为20岁左右。
随后,AR设备获取的用户的年龄和/或视力和/或偏好设置对虚拟三维显示信息的尺寸进行调整。
对于年老或视力不好的用户,AR设备应使用大尺寸显示虚拟三维显示信息,如果AR设备发现用户是年老或视力不好的用户,且字体小于预定阈值,则可以增大虚拟三维显示信息的尺寸。
以下列举对虚拟三维显示信息的显示位置和/或排列方向进行校正的示例:
方法一、基于虚拟三维显示信息及外界真实行车显示信息的相对运动速度和/或相对运动方向,调整虚拟三维显示信息的显示位置和/或排列方向。
方法二、根据用户的视角变化信息和/或偏好设置,调整虚拟三维显示信息的显示位置和/或排列方向。
方法三、基于显示设备的设备运动状态,调整虚拟三维显示信息的显示位置和/或排列方向。
方法四、根据虚拟三维显示信息之间的距离或重叠度,调整虚拟三维显示信息的显示位置。
首先,AR设备确定虚拟三维显示信息及外界真实行车显示信息的相对运动速度和/或相对运动方向和/或用户的视角变化信息和/或显示设备的设备运动状态;如真实场景中对象的移动速度、真实场景中对象的位置变化。用户视角的变化可能是佩戴AR设备的用户的位置移动引起的,也可以是佩戴AR设备的用户的姿态变化引起的,本实施例中以佩戴AR设备的用户的姿态变化引起的视角变化。
AR设备使用摄像头拍摄虚拟三维显示信息和真实场景,据此判断虚拟三维显示信息和真实场景是否出现偏差,如果是,则确定存在上述参考信息,并进一步判断虚拟三维显示信息和真实场景的距离偏差和/或角度偏差,以便作为调整显示的基础。
AR设备还可以根据姿势检测装置确定用户姿态的变化,根据深度摄像头或双目摄像头确定虚拟三维显示信息对应的真实场景的位置,从而确定出在用户姿态变化的情况下,虚拟三维显示需要调整的位置或方向,以便作为调整显示的基础。
AR设备可以根据数据监测装置确定出真实场景中对象的移动速度,从而确定出虚拟三维显示需要调整的位置或方向,以便作为调整显示的基础。
AR设备可以根据深度摄像头或双目摄像头确定虚拟三维显示信息对应的真实场景的位置,从而确定出虚拟三维显示需要调整的位置或方向,以便作为调整显示的基础。
随后,AR设备对叠加在真实对象上的虚拟三维显示信息的显示位置和/或排列方向进行调整。
当AR设备确定用户姿态发生变化但用户的位置并没有变化时,AR设备判断AR设备相对于真实对象的相对位置是否发生变化,如果是,则根据相对位置的变化调整叠加在真实对象上的虚拟三维显示信息的位置,否则,不改变叠加在真实对象上的虚拟三维显示信息的位置。
当AR设备确定用户姿态发生变化但用户的位置并没有变化时,AR设备判断AR设备相对于真实对象的角度是否发生变化,如果是,则根据角度的变化调整叠加在真实对象上的虚拟三维显示信息的排列方向,否则,不改变叠加在真实对象上的虚拟三维显示信息的排列方向。
当AR设备确定真实对象的移动速度时,可以根据移动速度预判真实对象的位置,从而在预判的位置上叠加该真实对象对应的虚拟三维显示信息。
当AR设备确定真实对象的位置时,可以根据该位置叠加该真实对象对应的虚拟三维显示信息。
在另一优选实施例中,当设备电量低于第二预定电量阈值时,减少虚拟三维显示信息的颜色渲染。例如,如果电池电量低于第二预定电量阈值时,AR设备还可以减少虚拟三维显示信息背景颜色的渲染,这也可以达到省电的目的。
另外,在上述调整过程中,还可以根据用户偏好来调整用户界面风格,例如不同的字体,色调、界面各元素大小及排布方式等,偏好信息可以是用户输入的。
上述各种调整的调整频率是可以自适应调整的。该调整频率可以和物体相对于AR设备的相对速度(即,相对移动速度)相关,例如成正比关系。如图5d所示,AR设备检测与真实物品的相对速度,为了节省电量,AR设备可以只检测与需要叠加虚拟三维显示信息的真实物品的相对速度。如果相对速度高于预定的阈值,则调高调整的频率;如果相对速度低于预定的阈值,则降低调整的频率。通过上述方式,可以达到省电的目的。
图6示出了本发明中另一实施例的行车提示信息的显示装置的结构示意图,该显示装置包括识别模块610、确定模块620和显示模块630。识别模块610识别目标对象;确定模块620基于目标对象来确定相应的行车提示信息;显示模块630生成行车提示信息对应虚拟三维显示信息,并显示虚拟三维显示信息。
本实施例提供的行车提示信息的显示装置中各模块的具体功能实现,可以参照图1所示的实施例提供的行车提示信息的显示方法的具体步骤,在此不再详述。
本技术领域技术人员可以理解,本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中,所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,可读介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解,可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解,可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现,从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解,本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (21)

1.一种行车提示信息的显示方法,包括:
识别行车过程中的目标对象;
基于所述目标对象来确定行车提示信息;
显示所述行车提示信息对应的虚拟三维显示信息。
2.根据权利要求1所述的方法,其中,基于所述目标对象来确定行车提示信息,包括:
基于所述目标对象确定行车导航信息;
其中,显示所述行车提示信息对应虚拟三维显示信息,包括:
显示与所述行车导航信息对应的虚拟三维显示信息。
3.根据权利要求1或2所述的方法,当所述目标对象包括危险车辆时,所述方法还包括以下至少之一:
基于所述目标对象来确定行车提示信息,包括:基于本车与识别出的危险车辆的相对位置和/或相对速度,确定是否需要改变本车的行车路径,如果是,则确定改变后的行车路径;显示所述行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车路径时,在与改变后的行车路径对应的位置上,显示所述改变后的行车路径的导航信息;
基于所述目标对象来确定行车提示信息,包括:基于本车与识别出的危险车辆的相对位置和/或相对速度,确定是否需要改变本车的行车车道,如果是,确定改变后的行车车道;显示所述行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车车道时,在与改变后的行车车道对应的位置上,显示所述改变后的行车车道的导航信息;
基于所述目标对象来确定行车提示信息,包括:基于本车与识别出的前方危险车辆的相对位置和/或相对速度,确定本车与前方危险车辆的安全距离;显示所述行车提示信息对应虚拟三维显示信息,包括:在与前方危险车辆相距所述安全距离处,显示建议本车不要越过的该距离的虚拟三维显示信息;
基于所述目标对象来确定行车提示信息,包括:基于本车与识别出的危险车辆的相对位置和/或相对速度,确定本车是否需要加速行驶;在确定本车需要加速行驶时,所述方法还包括:显示建议加速行驶的导航信息;
基于所述目标对象来确定行车提示信息,包括:基于本车与识别出的危险车辆的相对位置和/或相对速度,确定本车是否需要减速行驶;在确定本车需要减速行驶时,所述方法还包括:显示建议减速行驶的导航信息。
4.根据权利要求1至3中任一项所述的方法,其中,当所述目标对象包括危险车辆时,识别行车过程中的目标对象的方式包括:
确定本车的至少一个周边车辆的车辆相关信息;
当所述车辆相关信息符合危险车辆判断规则时,确定该车辆相关信息对应的车辆为危险车辆。
5.根据权利要求4所述的方法,所述行车提示信息包括以下至少一项:
与危险车辆对应的警示提示信息、与危险车辆对应的避让建议、危险车辆的刹车距离提示信息。
6.根据权利要求1或2所述的方法,当所述目标对象包括拐弯路口时,所述方法还包括以下至少之一:
基于所述目标对象来确定行车提示信息,包括:确定所述识别出的拐弯路口是否是本车要拐弯的路口;当所述识别出的拐弯路口是本车要拐弯的路口时,显示所述行车提示信息对应虚拟三维显示信息,包括:在本车要拐弯的路口处,叠加显示建议本车拐入该路口的虚拟三维显示信息;
基于所述目标对象来确定行车提示信息,包括:确定所述识别出的拐弯路口是否是本车要拐弯的路口;当所述识别出的拐弯路口不是本车要拐弯的路口且前车要拐入该路口时,所述方法还包括:显示建议本车减速行驶的导航信息,和/或,显示建议本车变道的导航信息。
7.根据权利要求1、2和6中任一项所述的方法,当所述目标对象包括拐弯路口时,识别行车过程中的目标对象的方式包括以下方式至少之一:
获取当前车辆的地理位置定位信息及相应的街景图像信息;将基于所述地理位置定位信息及所述街景图像信息确定的图像特征与获取到的实时行车图像信息的图像特征进行特征匹配;根据匹配结果确定拐弯路口的精确位置信息;
基于对前方车辆的检测,确定获取前方车辆的行车相关信息,并基于前方车辆的行车相关信息来判断前方车辆是否发生的拐弯动作;当前方车辆发生拐弯动作时,确定相应的拐弯路口的精确位置信息。
8.根据权利要求1或2所述的方法,当所述目标对象包括坡路时,所述方法还包括以下至少之一:
基于所述目标对象来确定行车提示信息,包括:基于坡路的坡度情况,确定本车是否需要加速行驶;在确定本车需要加速行驶时,所述方法还包括:显示建议加速行驶的导航信息;
基于所述目标对象来确定行车提示信息,包括:基于坡路的坡度情况,确定本车是否需要减速行驶;在确定本车需要减速行驶时,所述方法还包括:显示建议减速行驶的导航信息;
基于所述目标对象来确定行车提示信息,包括:基于破路的坡度情况和本车能力,确定本车是否需要改变路径,如果是,则确定改变后的路径;显示所述行车提示信息对应虚拟三维显示信息,包括:显示建议改换路径的虚拟三维显示信息。
9.根据权利要求1、2或8所述的方法,当所述目标对象包括坡路时,识别行车过程中的目标对象的方式包括以下至少一种方式:
从获取到的实时行车图像信息中确定道路左右轮廓线,并对所述道路左右轮廓线进行分析以识别确定出坡路;
获取当前行车的地理位置定位信息,并基于所述地理位置定位信息进行检索以识别确定出坡路。
10.根据权利要求1或2所述的方法,当所述目标对象包括路面积水时,所述方法还包括以下至少之一:
基于所述目标对象来确定行车提示信息,包括:基于路面积水情况,确定是否需要改变本车的行车路径,如果是,确定改变后的行车路径;显示所述行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车路径时,显示所述改变后的行车路径的导航信息,所述导航信息叠加显示在与改变后的行车路径对应的位置上;
基于所述目标对象来确定行车提示信息,包括:基于路面积水情况和本车属性,确定是否需要改变本车的行车路径,如果是,确定改变后的行车路径;显示所述行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车路径时,显示所述改变后的行车路径的导航信息,所述导航信息叠加显示在与改变后的行车路径对应的位置上;
基于所述目标对象来确定行车提示信息,包括:基于路面积水情况,确定是否需要改变本车的行车车道,如果是,确定改变后的行车车道;显示所述行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车车道时,显示所述改变后的行车车道的导航信息,所述导航信息叠加显示在与改变后的行车车道对应的位置上;
基于所述目标对象来确定行车提示信息,包括:基于路面积水情况和本车属性,确定是否需要改变本车的行车车道,如果是,确定改变后的行车车道;显示所述行车提示信息对应虚拟三维显示信息,包括:当确定需要改变本车的行车车道时,显示所述改变后的行车车道的导航信息,所述导航信息叠加显示在与改变后的行车车道对应的位置上;
其中,路面积水情况包括以下至少之一:路面是否有积水、积水深度、不同车道的路面是否有积水、不同车道的积水深度。
11.根据权利要求1、2或10所述的方法,当所述目标对象包括路面积水时,识别行车过程中的目标对象的方式,包括:
通过对获取到的实时行车图像信息的纹理特征与获取到的相应地理位置处非积水路面图像信息的纹理特征进行比对,以判断实时行车图像信息中是否包括倒影的特征信息;
若实时行车图像信息中包括倒影的特征信息,识别确定路面积水的位置区域。
12.根据权利要求11所述的方法,其中,还包括:
通过对获取到的实时行车图像信息的纹理特征与获取到的相应地理位置处非积水路面图像信息的纹理特征进行比对,估计得到路面积水的积水深度。
13.根据权利要求1或2所述的方法,当所述目标对象包括视觉盲区被遮挡的物体时,所述方法还包括以下至少之一:
基于所述目标对象来确定行车提示信息,包括:确定视觉盲区被遮挡的物体的图像信息以及该被遮挡物体相对于本车驾驶员的位置;显示所述行车提示信息对应虚拟三维显示信息,包括:在所述确定的位置,显示所述被遮挡物体的图像信息,或者,显示所述被遮挡物体的图像信息,并指示该图像信息对应的位置为所述确定的位置;
基于所述目标对象来确定行车提示信息,包括:确定视觉盲区被遮挡的物体的属性信息以及该被遮挡物体相对于本车驾驶员的位置;所述方法还包括:显示所述被遮挡的物体的属性信息和相对于本车驾驶员的位置信息,或者,在所述确定的位置,显示所述被遮挡物体的属性信息。
14.根据权利要求1、2或13所述的方法,当所述目标对象包括视觉盲区被遮挡的物体时,识别行车过程中的目标对象的方式包括:
获取图像采集设备采集到的图像信息,并根据图像采集设备和用户的相对位置关系,生成对应于用户观看视角的第一图像;
将所述第一图像与用户视角观看到的实时行车图像信息进行对比,确定出用户观看视角盲区中被遮挡的物体。
15.根据权利要求1所述的方法,还包括:
获取外界真实行车显示信息;
基于所述虚拟三维显示信息和/或所述外界真实行车显示信息,对虚拟三维显示信息进行校正;
对校正后得到的虚拟三维显示信息进行渲染并显示。
16.根据权利要求15所述的方法,基于所述虚拟三维显示信息和所述外界真实行车显示信息,对虚拟三维显示信息进行校正,具体包括:
确定虚拟三维显示信息及外界真实行车显示信息的第一相对关系信息,并基于第一相对关系信息对所述虚拟三维显示信息进行校正;
其中,所述第一相对关系信息包括以下至少一项:
颜色对比度、亮度对比度、相对运动速度以及相对运动方向。
17.根据权利要求16所述的方法,基于第一相对关系信息对所述虚拟三维显示信息进行校正,包括以下至少一种情形:
当虚拟三维显示信息及外界真实行车显示信息的颜色对比度低于颜色对比度阈值时,调整所述虚拟三维显示信息的颜色;
当虚拟三维显示信息及外界真实行车显示信息的亮度对比度低于亮度对比度阈值时,调整所述虚拟三维显示信息的亮度;
基于虚拟三维显示信息及外界真实行车显示信息的相对运动速度和/或相对运动方向,调整所述虚拟三维显示信息的显示位置和/或排列方向。
18.根据权利要求15所述的方法,基于所述虚拟三维显示信息与所述外界真实行车显示信息,对虚拟三维显示信息进行校正,具体包括:
确定虚拟三维显示信息的参考信息,并基于参考信息对所述虚拟三维显示信息进行校正;
其中,所述参考信息包括以下至少一项:
重要度、重复度、虚拟三维显示信息之间的距离或重叠度、与用户之间的距离。
19.根据权利要求15所述的方法,基于所述虚拟三维显示信息,对虚拟三维显示信息进行校正,具体包括:
获取显示设备相关信息,所述显示设备相关信息包括设备电量、设备运动状态中的至少一项;
根据显示设备相关信息对所述虚拟三维显示信息进行校正。
20.根据权利要求15所述的方法,基于所述虚拟三维显示信息,对虚拟三维显示信息进行校正,具体包括:
获取用户相关信息,所述用户相关信息包括年龄、视力、偏好设置、视角变化信息中的至少一项;
根据用户相关信息对所述虚拟三维显示信息进行校正。
21.一种行车提示信息的显示装置,包括:
识别模块,用于识别目标对象;
确定模块,用于基于所述目标对象来确定相应的行车提示信息;
显示模块,用于生成所述行车提示信息对应虚拟三维显示信息,并显示所述虚拟三维显示信息。
CN201610382309.0A 2016-06-01 2016-06-01 行车提示信息的显示方法及显示装置 Pending CN107449440A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610382309.0A CN107449440A (zh) 2016-06-01 2016-06-01 行车提示信息的显示方法及显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610382309.0A CN107449440A (zh) 2016-06-01 2016-06-01 行车提示信息的显示方法及显示装置

Publications (1)

Publication Number Publication Date
CN107449440A true CN107449440A (zh) 2017-12-08

Family

ID=60485267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610382309.0A Pending CN107449440A (zh) 2016-06-01 2016-06-01 行车提示信息的显示方法及显示装置

Country Status (1)

Country Link
CN (1) CN107449440A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665744A (zh) * 2018-07-13 2018-10-16 王洪冬 一种智能化的英语辅助学习***
CN108847040A (zh) * 2018-08-09 2018-11-20 广州三星通信技术研究有限公司 预估交通工具的通行情况的方法及设备
CN109495641A (zh) * 2018-10-24 2019-03-19 维沃移动通信有限公司 一种提醒方法及移动终端
CN109936559A (zh) * 2017-12-19 2019-06-25 通用汽车环球科技运作有限责任公司 虚拟车辆表层
CN110221328A (zh) * 2019-07-23 2019-09-10 广州小鹏汽车科技有限公司 一种组合导航方法和装置
CN110962745A (zh) * 2019-12-03 2020-04-07 三星电子(中国)研发中心 在终端中显示hud信息的方法和终端
CN111090286A (zh) * 2020-03-24 2020-05-01 北京三快在线科技有限公司 一种无人车运动状态规划方法及装置
CN111191522A (zh) * 2019-12-11 2020-05-22 武汉光庭信息技术股份有限公司 图像场景信息存储方法及***
CN111216729A (zh) * 2018-11-23 2020-06-02 宝沃汽车(中国)有限公司 车辆控制方法、装置和车辆
CN111294564A (zh) * 2020-03-03 2020-06-16 维沃移动通信有限公司 信息显示方法及可穿戴设备
CN111332317A (zh) * 2020-02-17 2020-06-26 吉利汽车研究院(宁波)有限公司 一种基于增强现实技术的行车提醒方法、***和装置
CN111351498A (zh) * 2018-12-21 2020-06-30 沈阳美行科技有限公司 一种优化导航方法、装置及相关设备
CN111442784A (zh) * 2020-04-03 2020-07-24 北京四维智联科技有限公司 一种基于ar导航的道路引导方法、装置及设备
CN111487968A (zh) * 2020-04-21 2020-08-04 长沙酷哇人工智能及大数据产业技术研究院有限公司 自动驾驶车速控制方法
CN111752373A (zh) * 2019-03-28 2020-10-09 上海擎感智能科技有限公司 一种用于车载的交互方法、装置及***
CN111833456A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111959528A (zh) * 2020-08-20 2020-11-20 广州小马智行科技有限公司 移动载体的显示设备的控制方法、装置与处理器
CN113063418A (zh) * 2020-01-02 2021-07-02 三星电子株式会社 用于显示3d增强现实导航信息的方法和装置
CN113247015A (zh) * 2021-06-30 2021-08-13 厦门元馨智能科技有限公司 一种基于体感操作一体眼镜的车辆驾驶辅助***及其方法
CN113269906A (zh) * 2020-02-14 2021-08-17 耀鸿(嘉兴)电子科技有限公司 结合影像辨识及扩充实境的无线行车记录导航装置及方法
CN113841191A (zh) * 2019-05-20 2021-12-24 松下知识产权经营株式会社 行人装置和交通安全辅助方法
CN114625247A (zh) * 2022-02-15 2022-06-14 广州小鹏汽车科技有限公司 基于虚拟现实的场景显示***、方法及车辆
CN116430795A (zh) * 2023-06-12 2023-07-14 威海海洋职业学院 基于plc的可视化工业控制器及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467005A (zh) * 2006-06-12 2009-06-24 松下电器产业株式会社 导航装置以及导航方法
CN102519475A (zh) * 2011-12-12 2012-06-27 杨志远 一种基于增强现实技术的智能导航方法和设备
CN104061937A (zh) * 2013-03-20 2014-09-24 厦门歌乐电子企业有限公司 基于路面状况进行信息提示的车载装置
CN104512336A (zh) * 2013-09-30 2015-04-15 本田技研工业株式会社 3维(3d)导航
CN104670091A (zh) * 2013-12-02 2015-06-03 现代摩比斯株式会社 利用投影单元的增强现实车道变更辅助***
US9218685B2 (en) * 2012-06-05 2015-12-22 Apple Inc. System and method for highlighting a feature in a 3D map while preserving depth

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467005A (zh) * 2006-06-12 2009-06-24 松下电器产业株式会社 导航装置以及导航方法
CN102519475A (zh) * 2011-12-12 2012-06-27 杨志远 一种基于增强现实技术的智能导航方法和设备
US9218685B2 (en) * 2012-06-05 2015-12-22 Apple Inc. System and method for highlighting a feature in a 3D map while preserving depth
CN104061937A (zh) * 2013-03-20 2014-09-24 厦门歌乐电子企业有限公司 基于路面状况进行信息提示的车载装置
CN104512336A (zh) * 2013-09-30 2015-04-15 本田技研工业株式会社 3维(3d)导航
CN104670091A (zh) * 2013-12-02 2015-06-03 现代摩比斯株式会社 利用投影单元的增强现实车道变更辅助***

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936559A (zh) * 2017-12-19 2019-06-25 通用汽车环球科技运作有限责任公司 虚拟车辆表层
CN109936559B (zh) * 2017-12-19 2021-10-19 通用汽车环球科技运作有限责任公司 使用虚拟车辆表层来增强图像或视频数据的方法
CN108665744A (zh) * 2018-07-13 2018-10-16 王洪冬 一种智能化的英语辅助学习***
CN108847040A (zh) * 2018-08-09 2018-11-20 广州三星通信技术研究有限公司 预估交通工具的通行情况的方法及设备
CN109495641A (zh) * 2018-10-24 2019-03-19 维沃移动通信有限公司 一种提醒方法及移动终端
CN111216729A (zh) * 2018-11-23 2020-06-02 宝沃汽车(中国)有限公司 车辆控制方法、装置和车辆
CN111351498B (zh) * 2018-12-21 2023-06-13 沈阳美行科技股份有限公司 一种优化导航方法、装置及相关设备
CN111351498A (zh) * 2018-12-21 2020-06-30 沈阳美行科技有限公司 一种优化导航方法、装置及相关设备
CN111752373A (zh) * 2019-03-28 2020-10-09 上海擎感智能科技有限公司 一种用于车载的交互方法、装置及***
CN113841191B (zh) * 2019-05-20 2024-01-16 松下知识产权经营株式会社 行人装置和交通安全辅助方法
CN113841191A (zh) * 2019-05-20 2021-12-24 松下知识产权经营株式会社 行人装置和交通安全辅助方法
CN110221328A (zh) * 2019-07-23 2019-09-10 广州小鹏汽车科技有限公司 一种组合导航方法和装置
CN110962745A (zh) * 2019-12-03 2020-04-07 三星电子(中国)研发中心 在终端中显示hud信息的方法和终端
CN110962745B (zh) * 2019-12-03 2021-07-20 三星电子(中国)研发中心 在终端中显示hud信息的方法和终端
CN111191522A (zh) * 2019-12-11 2020-05-22 武汉光庭信息技术股份有限公司 图像场景信息存储方法及***
CN113063418A (zh) * 2020-01-02 2021-07-02 三星电子株式会社 用于显示3d增强现实导航信息的方法和装置
CN113063418B (zh) * 2020-01-02 2024-05-24 三星电子株式会社 用于显示3d增强现实导航信息的方法和装置
CN113269906A (zh) * 2020-02-14 2021-08-17 耀鸿(嘉兴)电子科技有限公司 结合影像辨识及扩充实境的无线行车记录导航装置及方法
CN111332317A (zh) * 2020-02-17 2020-06-26 吉利汽车研究院(宁波)有限公司 一种基于增强现实技术的行车提醒方法、***和装置
CN111294564A (zh) * 2020-03-03 2020-06-16 维沃移动通信有限公司 信息显示方法及可穿戴设备
CN111090286A (zh) * 2020-03-24 2020-05-01 北京三快在线科技有限公司 一种无人车运动状态规划方法及装置
CN111442784A (zh) * 2020-04-03 2020-07-24 北京四维智联科技有限公司 一种基于ar导航的道路引导方法、装置及设备
CN111487968A (zh) * 2020-04-21 2020-08-04 长沙酷哇人工智能及大数据产业技术研究院有限公司 自动驾驶车速控制方法
CN111833456A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111959528A (zh) * 2020-08-20 2020-11-20 广州小马智行科技有限公司 移动载体的显示设备的控制方法、装置与处理器
CN111959528B (zh) * 2020-08-20 2021-11-02 广州小马智行科技有限公司 移动载体的显示设备的控制方法、装置与处理器
CN113247015A (zh) * 2021-06-30 2021-08-13 厦门元馨智能科技有限公司 一种基于体感操作一体眼镜的车辆驾驶辅助***及其方法
CN114625247A (zh) * 2022-02-15 2022-06-14 广州小鹏汽车科技有限公司 基于虚拟现实的场景显示***、方法及车辆
CN116430795B (zh) * 2023-06-12 2023-09-15 威海海洋职业学院 基于plc的可视化工业控制器及方法
CN116430795A (zh) * 2023-06-12 2023-07-14 威海海洋职业学院 基于plc的可视化工业控制器及方法

Similar Documents

Publication Publication Date Title
CN107449440A (zh) 行车提示信息的显示方法及显示装置
CN109427199B (zh) 用于辅助驾驶的增强现实的方法及装置
US20220397402A1 (en) Systems and methods for determining road safety
US11727692B2 (en) Detection of emergency vehicles
CN103105174B (zh) 一种基于ar增强现实技术的车载实景安全导航方法
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
EP2372308B1 (en) Image processing system and vehicle control system
EP2372309B1 (en) Vehicle position detection system
CN115014370A (zh) 用于生成地图信息的***、方法和计算机可读介质
US20200257911A1 (en) Automatically perceiving travel signals
JP2017535873A (ja) 路上シーン認識のための連続オクルージョンモデル
CN105574552A (zh) 一种基于单目视觉的车辆测距与碰撞预警方法
CN115004257A (zh) 用于涉及交通灯和交通标志的交通工具导航的***和方法
US20180300567A1 (en) Automatically perceiving travel signals
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
US20180299893A1 (en) Automatically perceiving travel signals
CN104376297A (zh) 道路上的线型指示标志的检测方法和装置
US20180300566A1 (en) Automatically perceiving travel signals
CN105976453A (zh) 基于图像变换进行行车报警的方法及装置
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
US11249487B2 (en) Railroad light detection
Ren Exam of the Relationship of Traffic Flow, Density and Speed with RADAR Data
CN118107606A (zh) 指引车辆通行的方法和指引车辆通行的***
Han et al. Multi-Sensor Based Perception Network for Vehicle Driving Assistance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination