CN115620545A - 用于辅助驾驶的增强现实的方法及装置 - Google Patents

用于辅助驾驶的增强现实的方法及装置 Download PDF

Info

Publication number
CN115620545A
CN115620545A CN202211358721.0A CN202211358721A CN115620545A CN 115620545 A CN115620545 A CN 115620545A CN 202211358721 A CN202211358721 A CN 202211358721A CN 115620545 A CN115620545 A CN 115620545A
Authority
CN
China
Prior art keywords
information
virtual
dimensional display
road
display information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211358721.0A
Other languages
English (en)
Inventor
王淳
李炜明
刘志花
董杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202211358721.0A priority Critical patent/CN115620545A/zh
Publication of CN115620545A publication Critical patent/CN115620545A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种用于辅助驾驶的增强现实的方法及装置，应用于增强现实技术领域，该方法包括：基于行车过程中获取的信息来确定行车辅助信息，然后显示行车辅助信息对应的虚拟三维显示信息，本发明能够在车辆行驶过程中应用增强现实技术帮助驾驶人更好的掌握车辆行驶过程中的行车信息，并可以提升用户体验。

Description

用于辅助驾驶的增强现实的方法及装置
本申请为申请号为201710737404.2，申请日为2017年08月24日，发明名称为“用于辅助驾驶的增强现实的方法及装置”的发明专利申请的分案申请。
技术领域
本发明涉及增强现实技术领域，具体而言，本发明涉及一种用于辅助驾驶的增强现实的方法及装置。
背景技术
AR(Augmented Reality，增强现实)技术可以将虚拟物体和/或虚拟信息叠加到真实场景中，从而使得用户获得超过现实的感官体验，即用户可以感知到一个同时存在真实物体和虚拟物体和/或虚拟信息的场景。
在驾驶车辆的过程中，由于路况复杂以及驾驶人自身的一些限制，驾驶人难以完全掌握车辆行驶过程中的行车信息，从而可能导致事故的发生。通过将AR技术应用于车辆驾驶，可以帮助驾驶人更好的掌握车辆行驶过程中的行车信息，从而更安全的驾驶机动车辆，减少车辆行驶过程中事故的发生。因此如何在驾驶人驾驶车辆过程中应用AR技术成为一个关键问题。
发明内容
为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：
本发明的实施例根据一个方面，提供了一种用于辅助驾驶的增强现实的方法，包括：
基于行车过程中获取的信息来确定行车辅助信息；
显示所述行车辅助信息对应的虚拟三维显示信息。
本发明的实施例根据另一个方面，还提供了一种用于辅助驾驶的增强现实的装置，包括：
确定模块，用于基于行车过程中获取的信息来确定行车辅助信息；
显示模块，用于显示所述确定模块确定的行车辅助信息对应的虚拟三维显示信息。
本发明提供了一种用于辅助驾驶的增强现实的方法及装置，与现有技术相比，本发明基于行车过程中获取的信息来确定行车辅助信息，然后显示行车辅助信息对应的虚拟三维显示信息，即本发明通过车辆行驶过程中获取到的信息，确定出行车过程中的行车辅助信息，并将行车过程中的行车辅助信息对应的虚拟三维显示信息，通过视觉和/或听觉的方式呈现给驾驶人，以通知或者警示驾驶人，从而可以实现在车辆行驶过程中应用增强现实技术帮助驾驶人更好的掌握车辆行驶过程中的行车信息，进而可以提升用户体验。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的一种用于辅助驾驶的增强现实的方法流程示意图；
图2为本发明实施例中当道路表面未被完全覆盖，确定道路信息的示意图；
图3为本发明实施例中当道路表面被完全覆盖，且中间车道隔离栏杆可见时，确定道路信息的示意图；
图4为本发明实施例中道路被完全覆盖，无法区分道路表面和道路边缘的示意图；
图5为本发明实施例中当道路表面被完全覆盖，且中间车道隔离栏杆不可见时，确定道路信息的示意图；
图6为本发明实施例中显示车辙的示意图；
图7为本发明实施例中当车辙不清楚时，增强显示车辙的示意图；
图8为本发明实施例中显示AR信息与驾驶人视线的关系示意图；
图9为本发明实施例中当交通标志/指示标志被部分或者全部覆盖时，显示完整的交通标志/指示标志的示意图；
图10为本发明实施例中根据历史记录，确定当前位置对应的交通标志和/或指示标志的示意图；
图11为本发明实施例中确定侧方后视镜扩展区域的示意图；
图12为本发明实施例中物理的侧方后视镜的可视区域以及侧方后视镜扩展区域的示意图；
图13为本发明实施例中内视镜扩展区域示意图；
图14为本发明实施例中显示虚拟交通灯的示意图；
图15为本发明实施例中根据交通警察手势，显示对应的AR信息的示意图；
图16为本发明实施例中操作键盘所需按键的AR信息显示方式示意图；
图17为本发明实施例中对适合停车和不适合停车的区域进行显示并显示相应的增强现实辅助驾驶显示信息的示意图；
图18为本发明实施例中设备预先准备和渲染较大范围AR信息，以降低延迟的示意图；
图19为本发明实施例中由于车速不同，行车区域显示方式不同的示意图；
图20为本发明实施例中当同时存在多个AR信息需要显示时，多个AR信息显示方式示意图；
图21为本发明实施例中当驾驶人的视线统计显示驾驶人的注意力偏向左侧时，设备将AR信息显示在右侧的示意图；
图22为本发明实施例中的一种用于辅助驾驶的增强现实的装置结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“单个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信***)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位***)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
ADAS(Advanced Driver Assistance System，高级驾驶人辅助***)旨在帮助驾驶人安全的驾驶机动车辆，减少事故发生，ADAS可以基于路况通过对驾驶人用视觉、听觉或者触觉的方式进行反馈，以通知或警示驾驶人，可以包括但不限于车道偏离预警，车道保持***等。
现有的ADAS主要致力于在路面条件良好的条件下为驾驶人提供帮助，但对于挑战性的环境，如积雪路面和泥泞路面等，缺少有效的解决方案。
现有的采用增强现实技术的高级驾驶人辅助***使用的通常是车载的单独屏幕，且屏幕比较小，显示的信息类型固定，驾驶人观感不自然。且延迟比较大，在比较有挑战性的驾驶场景无法有效的帮助驾驶人。因此如何为驾驶人自适应的选择要显示的物体/信息，如何以观感自然的方式呈现，如何低延迟的显示信息，以及如何同时显示多个物体/信息，是需要解决的问题。
对于本发明实施例，对于挑战性的环境，如积雪路面和泥泞路面等，本发明实施例通过感知道路环境和/或道路地图信息可以估计出包括车道范围、车道线位置、道路边缘线位置、路面交通标志和非路面交通标志至少之一，并生成相应的AR信息(即虚拟三维显示信息)。
其中，对于感知道路环境，设备可以通过以下方式至少之一感知道路环境：使用设备所承载的至少一个传感器感知；使用本车所载的至少一个传感器感知；使用通信方式从其他至少一个：同类设备、不同类设备、其他车辆获得信息；使用GPS(Global PositioningSystem，全球定位***)获得信息。
进一步的，设备的可感知区域可以为使用以上所述各种方式感知范围的集合。
对于本发明实施例，AR信息(即虚拟三维显示信息)可以包括但不限于以下至少之一：AR物体、AR文字、AR图片和AR动画。在本发明实施例中不做限定。
对于本发明实施例，对于自适应的选择要显示的AR信息，在本发明实施例中通过包括感知道路环境、本车状态，和驾驶人意图在内的至少之一种方式，自适应的判断某种或多种AR信息是否需要被显示，并生成相应的内容。
对于本发明实施例，对于以观感自然的方式呈现AR信息，在本发明实施例中通过将AR信息显示在物理正确的位置(如与相应的真实物体相对位置姿态尺度遮挡等关系正确的位置)，和/或驾驶人习惯的位置(即驾驶人不需要改变驾驶习惯的位置)。
本发明实施例可以配合头戴式显示装置(如3D增强现实/混合现实眼镜)，和/或放置在车辆上的车载显示设备(如3D抬头显示器)使用。特别的，通过使用头戴式显示装置，设备可以将AR信息显示空间扩展为整个三维空间。
其中，对于降低延迟，本发明实施例的设备和方法自适应减少两种延迟：一种是注意力延迟，另一种是显示延迟。注意力延迟定义为从设备显示AR信息到驾驶人注意到AR信息的时间延迟；显示延迟定义为设备在生成，渲染和显示AR信息上花费的时间。
图1为本发明一个实施例提供的用于辅助驾驶的增强现实的方法流程示意图。
步骤101、基于行车过程中获取的信息来确定行车辅助信息；步骤102、显示行车辅助信息对应的虚拟三维显示信息。
进一步地，步骤101包括步骤1011：步骤102包括步骤1021。
其中，步骤1011、基于行车过程中获取的可感知区域的信息确定被遮挡的行车辅助信息；步骤1021、显示被遮挡的行车辅助信息对应的虚拟三维显示信息。
其中，被遮挡的行车辅助信息包括以下至少之一：路面道路信息、非路面交通标志信息、盲区信息。
其中，路面道路信息包括以下至少之一：车道、车道线、道路边缘线、路面交通标志、路面交通标线。
其中，非路面交通标志信息包括以下至少之一：路旁交通标志、道路上方交通标志。
其中，盲区信息包括：后视镜盲区中的信息。
其中，交通标志包括以下至少之一：警告标志、禁令标志、指示标志、指路标志、旅游区标志、作业区标志、辅助标志、告示标志。
其中，交通标线包括以下至少之一：指示标线、禁止标线、警告标线。
进一步地，当被遮挡的行车辅助信息包括：路面道路信息、和/或非路面交通标志信息时，显示被遮挡的行车辅助信息对应的虚拟三维显示信息，包括：在被遮挡的行车辅助信息的位置上，显示被遮挡的行车辅助信息对应的虚拟三维显示信息。
进一步地，基于行车过程中获取的可感知区域的信息确定被遮挡的行车辅助信息可以采用以下至少一种方式实现：若被遮挡的行车辅助信息只有部分被遮挡，则根据行车辅助信息的可感知部分，确定被遮挡的行车辅助信息；基于当前车辆的位置以及当前行车中可感知区域的参照物信息，确定被遮挡的行车辅助信息；基于从驾驶人视角以外其它角度获取到的被遮挡的行车辅助信息的多媒体信息，确定被遮挡的行车辅助信息；基于行车过程中获取的可感知区域中被遮挡的行车辅助信息的多媒体信息，对多媒体信息进行增强和/或复原，确定出被遮挡的行车辅助信息；被遮挡的行车辅助信息包括路面道路信息时，通过将当前道路与当前道路的地图进行对齐，根据地图确定被遮挡的行车辅助信息；根据其他的行车辅助信息，确定当前被遮挡的行车辅助信息。
进一步地，在基于行车过程中获取的可感知区域的信息确定被遮挡的行车辅助信息之后，方法还包括：对确定的被遮挡的行车辅助信息进行校正；
其中，显示被遮挡的行车辅助信息对应的虚拟三维显示信息，包括：在校正的位置处显示校正后的行车辅助信息对应的虚拟三维显示信息。
进一步地，对确定的被遮挡的行车辅助信息进行校正可以采用以下至少一种方式实现：当被遮挡的行车辅助信息包括车道相关信息时，基于当前车辆预设范围内其他车辆的行车轨迹和/或路面车辙信息，校正被遮挡的行车辅助信息的位置；当被遮挡的行车辅助信息包括路面道路信息时，通过将当前道路与当前道路的地图进行对齐，根据地图校正被遮挡的行车辅助信息的位置。
进一步地，当被遮挡的行车辅助信息包括：车道相关信息时，显示的车道宽度小于实际的车道宽度。
其中，该车道相关信息包括：车道、车道线、道路边缘线、路面交通标志、以及路面交通标线中至少之一。
进一步地，当被遮挡的行车辅助信息包括：盲区信息时，显示被遮挡的行车辅助信息对应的虚拟三维显示信息，包括：在后视镜的扩展区域显示盲区信息对应的虚拟三维显示信息。
其中，当后视镜是侧方后视镜时，在扩展区域显示的虚拟三维显示信息是该虚拟三维显示信息对应的真实物体按照侧方后视镜的镜面属性和驾驶人视点生成的。
进一步地，步骤101包括：获取当前路段的交通规则和/或交警动作信息，并对确定的当前路段的交通规则和/或交警动作信息进行呈现方式的转换；步骤102包括：显示转换后的当前路段的交通规则和/或交警动作信息对应的虚拟三维显示信息。
进一步地，显示行车辅助信息对应的虚拟三维显示信息可以采用以下至少一种方式实现：当感知到异常车辙信息时，显示确定出的异常车辙区域对应的虚拟三维显示信息和/或该区域为异常车辙区域的警示信息的虚拟三维显示信息；当需要显示当前车辆已行驶过的道路区域的交通标志时，显示已获取到的当前车辆已行驶过的道路区域的交通标志对应的虚拟三维显示信息；当感知到当前车辆所在路口存在交通标志和/或交通信号灯，且交通标志和/或交通信号灯满足预定显示条件，显示该路***通标志和/或交通信号灯对应的虚拟增强显示信息；当需要显示操作表盘中的按键信息时，显示以下信息至少之一对应的虚拟三维显示信息：按键的位置信息、按键的功能名称信息、按键的操作指示信息、和按键；当需要显示停车区域信息时，显示允许停车且适合停车区域、允许停车但不适合停车区域、不允许停车区域至少之一对应的虚拟三维显示信息。
其中，感知可以包括机器设备识别、探测、检测中的至少一种，在此不再赘述。
其中，异常车辙信息为满足异常车辙判断条件的车辆在行驶状态下的行车印迹，异常车辙区域为存在异常车辙信息的区域。
其中，该异常车辙信息包括以下至少之一：车辙边缘线的方向与车道线和/或车道边缘线的方向不一致的车辙信息；车辙边缘线与整体车辙边缘线的方向不一致的车辙信息；存在刹车痕迹的车辙信息。
其中，生成的车辙边缘性是否异常可以通过以下方法判断：判断某一时刻的生成的车辙边缘线构建的向量场是否显著区别于其他/整体车辙边缘线构建的向量场的方向；若有显著区别，则确定生成的车辙边缘线属于异常车辙边缘线；和/或，判断车辙边缘线是否有明显的刹车痕迹；若有明显刹车痕迹，则确定生成的车辙边缘线属于异常车辙边缘线。
其中，预定显示条件包括：交通标志和/或交通信号灯损坏、交通标志和/或交通信号灯显示不清晰、交通标志和/或交通信号灯不完整位于驾驶人的当前可视范围之内，以及根据驾驶人指令中至少之一。
进一步地，基于行车过程中获取的信息来确定行车辅助信息可以采用以下至少一种方式实现：确定路面车辙信息是否存在异常车辙信息，若存在异常车辙信息，则确定存在异常车辙区域；当需要显示当前车辆已行驶过的道路区域的交通标志时，从获取到的多媒体信息中和/或交通标志数据库中，确定当前已行驶过的道路区域的交通标志；当需要显示停车区域信息时，根据当前车辆周围区域是否存在禁止停车标识，当前车辆的体积，以及当前路面情况中的至少一项，确定允许停车且适合停车区域、允许停车但不适合停车区域、不允许停车区域中的至少一项。
进一步地，步骤102包括：增强显示车辙信息对应的虚拟三维显示信息。
进一步地，显示已获取到的当前车辆已行驶过的道路区域的交通标志对应的虚拟三维显示信息，包括：根据车辆当前位置及已行驶过的道路区域的交通标志对应的虚拟三维显示信息，调整当前已行驶过的道路区域的交通标志对应的虚拟三维显示信息，并显示调整后的交通标志对应的虚拟三维显示信息。
进一步地，步骤102包括：确定虚拟三维显示信息对应的显示方式；基于确定的显示方式，显示行车辅助信息对应的虚拟三维显示信息。
其中显示方式包括以下至少一项：虚拟三维显示信息的显示位置；虚拟三维显示信息的显示姿态；虚拟三维显示信息的显示尺寸大小；虚拟三维显示信息的显示开始时间；虚拟三维显示信息的显示结束时间；虚拟三维显示信息的显示时长；虚拟三维显示信息的显示内容详细程度；虚拟三维显示信息的呈现方式；多个虚拟三维显示信息间显示的相互关系。
其中，呈现方式包括以下至少一项：文字方式；图标方式；动画方式；音效方式；灯光方式；震动方式。
进一步地，该方法还包括以下至少一种方式：当同时存在多个待显示的虚拟三维显示信息时，将多个待显示的虚拟三维显示信息进行合并处理，并显示处理后的虚拟三维显示信息；当同时显示多个待显示的虚拟三维显示信息时，将多个待显示的虚拟三维显示信息，基于语义进行整合处理，并显示处理后的虚拟三维显示信息。
进一步地，该方法还包括以下至少一种方式：将高于第一预设优先级的行车辅助信息对应的虚拟三维显示信息显示在驾驶人当前视野的显著位置，并实时根据驾驶人的视线位置，调整显示该虚拟三维显示信息的位置；显示高于第一预设优先级的行车辅助信息对应的虚拟三维显示信息，暂停和/或停止显示低于第二预设优先级的行车辅助信息对应的虚拟三维显示信息。
其中，显著位置可以是驾驶人当前视野的中心区域、驾驶人视线聚焦区域、驾驶人视线停留时间长的区域、正面面对驾驶人的区域中的至少一处。
其中，第一预设优先级，和/或第二预设优先级可以根据驾驶人指令定义；也可以根据感知到的道路情况、本车情况、驾驶人意图、行车辅助信息的语义分析至少之一，自适应的对行车辅助信息进行分级。
进一步地，步骤102包括：根据车辆的当前状态、当前的路况信息以及设备的***延迟情况中的至少之一，确定显示虚拟三维显示信息的显示开始时间、显示结束时间以及显示持续时长中的至少一项；根据确定的显示虚拟三维显示信息的显示开始时间、显示结束时间以及显示持续时长中的至少一项，显示行车辅助信息对应的虚拟三维显示信息。
进一步地，当同时存在多个待显示的行车辅助信息对应的虚拟三维显示信息，并且待显示的多个虚拟三维显示信息之间存在遮挡关系时，还可以包括以下至少一种方式：根据存在遮挡关系的多个虚拟三维显示信息之间的位置关系，仅显示虚拟三维显示信息中未被遮挡的部分；在不同的显示时间，分别显示存在遮挡关系的多个虚拟三维显示信息中虚拟三维显示信息；调整存在遮挡关系的多个虚拟三维显示信息中至少一个虚拟三维显示信息的显示位置、内容详细程度、呈现方式中的至少一项，并根据调整的方式，显示存在遮挡关系的多个虚拟三维显示信息中每个虚拟三维显示信息。
进一步地，步骤102包括：在预设的显示位置，显示待显示的行车辅助信息对应的虚拟三维显示信息。
其中，预设的显示位置包括以下至少一项：
与真实的行车辅助信息对齐的显示位置；不干扰驾驶人驾驶的区域位置；驾驶人当前视野的显著位置；驾驶人视野相对开阔的位置；驾驶人注意力不足的位置。
进一步地，该方法还包括：预先渲染待显示的虚拟三维显示信息；当满足预设显示触发条件时，从预先渲染的虚拟三维显示信息中，获取待显示的虚拟三维显示信息，并根据当前环境调整虚拟三维显示信息的呈现方式，并根据调整后的呈现方式，显示虚拟三维显示信息；根据当前环境实时调整虚拟三维显示信息的显示方式，并根据调整后的显示方式，显示虚拟三维显示信息。
其中，预设显示触发条件可以根据驾驶人的指令进行定义；也可以根据感知到的道路情况、本车情况、驾驶人意图、行车辅助信息的语义分析至少之一，自适应的定义预设显示触发条件。
本发明实施例提供了一种用于辅助驾驶的增强现实的方法，与现有技术相比，本发明实施例基于行车过程中获取的信息来确定行车辅助信息，然后显示行车辅助信息对应的虚拟三维显示信息，即通过车辆行驶过程中获取到的信息，确定出行车过程中的行车辅助信息，并将行车过程中的行车辅助信息对应的虚拟三维显示信息，通过视觉和/或听觉的方式呈现给驾驶人，以通知或者警示驾驶人，从而可以实现在车辆行驶过程中应用增强现实技术帮助驾驶人更好的掌握车辆行驶过程中的行车信息，进而可以提升用户体验。
对于本发明实施例，图1示出了本发明中描述的辅助驾驶设备(下文简称设备)的显示方式的整体流程示意图，该方法可以应用于行车过程中驾驶人佩戴的增强/混合现实的头戴式显示设备(近眼显示设备)，如3D增强现实眼镜，和/或放置在车辆上的车载显示设备，如3D抬头显示器。请注意到设备可以包括多个同种或不同种显示设备，当显示设备不同时，实现方式有所不同，如下文详述。
本发明实施例的设备整体流程示意图中，各步骤所执行的内容概述如下：步骤S110(图中未标注)：设备确定需要显示的一个或多个目标行车辅助信息；步骤S120(图中未标注)：获取信息，处理信息，生成目标行车辅助信息内容；步骤S130(图中未标注)：确定一个或多个目标行车辅助信息的显示方式；步骤S140(图中未标注)：显示一个或多个目标行车辅助信息对应的虚拟三维AR信息。
其中，除AR物体外的AR信息以文字方式、图标方式、动画方式、音效方式、灯光方式、震动方式等至少一项呈现方式呈现的信息，例如一个配有文字的箭头图标；AR物体可以包括但不限于以真实物体形态呈现的信息，例如一个虚拟的交通红绿灯。
其中，在下文中，虽然AR信息和AR物体经常同时提及，AR信息中的AR物体，虽然不是全都需要和真实物体对齐，但通常指代在显示时需要和真实物体对齐的虚拟物体；而其它AR信息在显示时，通常不需要与真实物体对齐。
其中，在步骤S110，设备可以选择零个目标行车辅助信息，即当前场景下不显示行车辅助信息对应的虚拟三维显示信息。
其中，在步骤S110，设备可以通过识别场景自适应判断需要显示的目标行车辅助信息，也可以通过用户交互的方式获取需要显示的目标行车辅助信息，也可以两种方式组合使用。
其中，目标行车辅助信息可以包括但不限于行车过程中与行车安全、行车环境、交通和路况等信息标识、交通规则以及车内信息等相关联的提示信息。
具体地，与目标行车辅助信息相关的行车过程中的目标对象可以包括但不限于：车道线、车道分隔障碍物、车道、周围机动车辆、周围非机动车辆、周围行人、周围树木、周围建筑物、路面车辙、交通和路况等信息标识、交通警察、侧方后视镜的盲区物体、车内后排座位的物体、车尾外部区域，以及驾驶操作台等。
其中，在步骤S130，显示方式的确定包括以下至少一项：一个或多个AR信息的显示位置、显示姿态、显示尺寸大小、显示开始时间、显示结束时间、和/或显示多个AR信息时的位置和/或姿态，显示的开始时机、显示的结束时机、显示时长，显示内容详细程度、呈现方式，以及多个AR信息间显示的相互关系。
实施例一
本实施例提供了一种行车辅助信息的显示方法，该方法用于在路面被部分覆盖遮挡的道路，对包括以下至少之一：车道线、道路边缘线、路面交通标志、路面交通标线等信息标识的提示信息进行显示，并显示相应的增强现实辅助驾驶信息，如图2所示。其中，遮挡道路上车道线的可以是但不限于落叶、积雪、积水、泥污、油等，或组合。
本实施例中的方法包括：
步骤S1101(图中未标注)、设备确定是否需要显示道路信息。
该步骤S1101可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过图像检测识别的方式确定本车周围的道路信息，可以包括但不限于车道线、道路边缘线、路面交通标志、路面交通标线。其中，设备可以是一直保持检测识别的状态，在部分遮挡覆盖的路面情况下自适应开启显示功能，也可以根据用户的指令开始检测识别和/或显示的功能。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的。
步骤S1201(图中未标注)、设备检测识别道路信息，生成目标行车辅助信息内容。
该步骤S1201可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
对于本发明实施例，设备通过图像处理技术和识别技术从一个或多个图像/视频中定位识别出包括车道线、道路边缘线、路面交通标志，和路面交通标线至少之一的可见部分，即未被完全覆盖遮挡的部分；并根据车道线的可见线段连接成完整的车道线(若车道线为虚线，则将虚线补全)；将道路边缘线的可见线段连接成完整的道路边缘线，以及根据路面交通标志和/或路面交通标线的可见部分识别出路面交通标志和/或路面交通标线的类型。
具体的，在单幅图像中，车道线、道路边缘线的可见线段可以通过图像边缘提取算法和/或颜色聚类算法提取，并且可以使用车道线和道路边缘线通常为规则直线或平滑弧线的先验知识去除错误的线段；部分遮挡的路面交通标志和/或路面交通标线的轮廓可以通过图像边缘提取算法和/或颜色聚类算法提取，并在路面交通标志数据库中匹配获取完整的路面交通标志和/或路面交通标线。
对于本发明实施例，车道线、道路边缘线、路面交通标志，和路面交通标线也可以直接由检测识别算法直接识别定位。识别的过程中，可以使用道路交通的领域知识，和/或道路地图，辅助检测识别。例如，白色单虚线和白色单实线在部分覆盖遮挡的路面均表现为不规则的白色单虚线，基于道路交通的领域知识，设备可以通过判断检测到的白色单虚线中是否存在长度超过规定长度的线段，来判断检测到的白色单虚线对应于真实的白色单虚线还是真实的白色单实线。进一步地，基于道路交通的领域知识和道路地图，设备可以根据检测到的白色单虚线的所处位置和交通含义判断其对应于真实的白色单虚线还是真实的白色单实线。
例如，检测到的白色单虚线位于道路正中间，根据道路交通的领域知识其应对应于真实的白色单实线。
进一步地，识别的过程中，可以使用道路交通的领域知识，和/或道路地图，生成正确的路面交通标志和/或路面交通标线。例如，路面的直行方向箭头和右转弯方向箭头在箭头部分覆盖遮挡的情况下无法区分，均表现为长方形；但若根据检测到的长方形所在车道，在道路地图显示为右转弯车道，则设备可区分出该路面交通标志为右转弯方向箭头。
特别的，当同时有空间上的多幅图像，和/或时间上的多幅图像时，设备可以使用多幅图像协同识别包括车道线、道路边缘线，路面交通标志，和路面交通标线至少之一，去除使用单幅图像时的错误，并使得识别结果保持空间，和/或时间上的一致。
例如，设备可以在某一段路面识别出该车道线对应于真实的白色单实线，在之后的行驶中对同一车道线进行跟踪，并保持识别为白色单实线。
步骤S1301(图中未标注)、确定目标行车辅助信息内容的显示方式。
该步骤S1301可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
对于本发明实施例，设备通过定位算法获取真实物体相对于显示装置的位置和姿态，从而可以将显示的AR信息和对应的真实物体对齐。
特别的，为减小延迟，对于同一真实物体，设备可以根据本车的运动模型预测与此真实物体当前和本车的相对位置、姿态和/或尺度关系，预测此真实物体在未来时刻和本车的相对位置、姿态和/或尺度关系，从而提前准备目标行车辅助信息对应的AR信息。
具体的，当使用单个相机获取本车周围的道路信息时，近似的，考虑到本车周围局部道路可以认为是一个平面，可以对道路图像提取特征点，通过求解单应性矩阵获取道路和相机的相对位置和姿态关系；更为精确的，可以使用视觉里程计的方式对图像序列进行特征跟踪，其中特征采集于车道线线段、道路边缘线段、路面交通标志轮廓，和路面交通标线轮廓等需要对齐的真实物体，从而获取真实物体相对于相机的相对位置和姿态关系。特别的，特征点的提取和跟踪可以用图像识别分割辅助，从而去除错误匹配并加快速度。
对于本发明实施例，运用单相机时，真实物体的尺度信息可以通过如下三种方式获得(该三种方式可以单独使用也可以组合使用)；1)设备可以通过事先标定相机在本车辆的安装固定高度获取尺度信息；2)设备可以根据道路交通的领域的先验知识获取真实物体的物理尺寸，继而获得尺度信息，例如，可以根据先验知识获取当地车道的规定宽度；3)当设备使用图像序列的时候，可通过车辆的实际运动速度、距离等信息获取尺度。
对于本发明实施例，当使用单相机配合立体相机、深度相机、激光传感器、雷达传感器、超声传感器中至少之一获取本车周围的道路信息时，真实物体和相机的相对位置和姿态关系可以通过与上述使用单相机的情况相似的方式获取，在此不再赘述。特别的，当使用标定过的立体相机、深度相机、激光传感器、雷达传感器、超声传感器至少之一时，真实物体的尺度信息可以直接获取，也可以用上述使用单相机时的方式获得的尺度估计值进行交叉验证。
对于本发明实施例，尺度信息也可以由其他传感器和单相机配合获取，例如，码盘和单相机数据融合可以估计出尺度信息；再例如，惯性传感器单元(包括加速度计和陀螺仪)和单相机数据融合可以估计出尺度信息；设备也可以组合使用这些传感器的数据，以获取尺度信息。
对于本发明实施例，通过如上方式，我们可以获取真实物体和本车上，或设备上的至少一个外视相机(即拍摄本车外部环境的相机)的位置、姿态、以及尺度关系。
对于本发明实施例，为了将AR信息和真实物体对齐，设备需要进一步估计眼睛和真实物体之间的相对位置、姿态、以及尺度关系。其中，估计的步骤和方式与设备的显示装置的种类有关，如下对显示装置为单个头戴式显示装置或单个车载显示装置这两种情况分别进行表述。当设备的显示装置包括多个的头戴式显示设备，和/或多个车载显示器时，如下方法可以通过较为直接的组合、调整被应用，不再赘述。
1)对于显示装置为单个头戴式显示装置的情况，眼睛和显示装置的相对位置和姿态关系相对固定，可以事先校准(使用期偶尔需要重新校准，例如使用人调整了头戴式显示设备的位置之后需要重新校准位置姿态和尺度关系)；
1.1)对于已经获取真实物体和设备上的一个外视相机(即拍摄本车外部环境的相机)的位置、姿态、以及尺度关系的情况，由于设备上的一个外视相机和显示装置位置姿态尺度关系相对固定，设备可以计算获取到眼睛和真实物体之间的相对位置、姿态、以及尺度关系(眼睛←校准→显示装置←校准→设备上的外视相机←估计→真实物体)；
1.2)对于已经获取真实物体和本车上的一个外视相机(即拍摄本车外部环境的相机)的位置、姿态、以及尺度关系的情况，设置仍需要获取显示装置和外视相机之间的相对位置姿态关系，根据设备硬件实现方式不同，有如下两种方式1.2.1)以及1.2.2)：
1.2.1)设备可以使用设备上的外视相机获取本车上的一个外视相机和设备上的一个外视相机的相对位置姿态尺度关系。其中，获取的方式可以通过在与车载显示装置相对位置姿态尺度固定的地方贴定位标志物，设备上的外视相机通过定位标志物计算出和本车外视相机的相对位置姿态尺度关系；获取的方式也可以是将本车上的外视相机作为场景中的物体，用上文描述的基于图像和/或多种传感器融合的提取特征点跟踪方式，和/或检测等方式的，如SLAM(Simultaneous Localization and Mapping，同步定位和建图)技术和目标跟踪技术。即(眼睛←校准→显示装置←校准→设备上的外视相机←估计→本车上的外视相机←估计→真实物体)；
1.2.2)设备可以使用本车上的内视相机(即拍摄本车内部环境，如驾驶人位置的相机)获取显示装置和本车上的内视相机的相对位置姿态尺度关系。其中获取的方式可以是基于显示装置上的定位标志物的，和/或基于图像和/或多种传感器融合的提取特征点跟踪方式，和/或检测等方式的，如SLAM(Simultaneous Localization and Mapping，同步定位和建图)技术和目标跟踪技术。本车上的内视相机和本车上的外视相机的相对位置姿态尺度关系相对固定，可以事先校准(使用期偶尔需要重新校准，例如车辆剧烈颠簸后，需要重新校准位置姿态和尺度关系)。即(眼睛←校准→显示装置←估计→本车上的内视相机←校准→本车上的外视相机←估计→真实物体)；
2)对于显示装置为单个车载显示装置的情况，显示装置和本车上的一个外视相机的相对位置和姿态关系相对固定，可以事先校准(使用期偶尔需要重新校准，例如车辆剧烈颠簸后，需要重新校准位置姿态和尺度关系)；特别的，设备上的一个外视相机和本车上的一个外视相机相对位置姿态尺度关系也可以认为是相对固定，两个外置相机也可以是同一个，因此这种情况下不需要区分外视相机为本车上的外视相机还是设备上的外视相机；为了获取眼睛和真实物体之间的相对位置、姿态、以及尺度关系，设备只需要获取眼睛和显示装置的相对位置、姿态、以及尺度关系。根据设备硬件实现方式不同，有如下两种方式：1.3)以及1.4)，其中，
1.3)设备可以使用驾驶人头戴的外视相机获取车载显示装置和头戴的外视相机的相对位置姿态尺度关系。其中，头戴的外视相机和眼睛的相对位置姿态尺度关系可以认为是相对固定的，可以事先校准(使用期偶尔需要重新校准，例如使用人调整了头戴式相机的位置之后需要重新校准位置姿态和尺度关系)。其中，获取的方式可以通过在与车载显示装置相对位置固定的地方贴定位标志物，头戴的外视相机通过定位标志物计算出和车载显示装置的相对位置姿态关系；获取的方式也可以是将本车上的车载显示装置作为场景中的物体，用上文描述的基于图像和/或多种传感器融合的提取特征点跟踪方式，和/或检测等方式的，如SLAM(Simultaneous Localization and Mapping，同步定位和建图)技术和目标跟踪技术。即(眼睛←校准→头戴式外置相机←估计→显示装置←校准→外视相机←估计→真实物体)；
1.4)设备可以使用本车上的内视相机(即拍摄本车内部环境，如驾驶人位置的相机)获取眼睛和本车上的内视相机的相对位置姿态尺度关系。其中获取的方式可以是基于驾驶人头戴的定位标志物，其中眼睛和头戴的定位标志物的相对位置姿态尺度关系可以认为是相对固定的，可以事先校准(使用期偶尔需要重新校准，例如使用人调整了头戴式定位标志物的位置之后需要重新校准位置姿态和尺度关系)；获取的方式还可以是基于图像的头部/眼睛/视线定位跟踪技术，设备通过本车上的内视相机的图像或视频定位驾驶人的头部，基于头部的定位结果定位眼睛和内视相机之间的相对位置姿态关系；获取的方式还可以是基于图像的眼睛定位跟踪技术，设备通过本车上的内视相机的图像或视频直接定位眼睛和内视相机之间的相对位置、姿态关系。本车上的内视相机和本车上的车载显示装置的相对位置、姿态、尺度关系相对固定，可以事先校准(使用期偶尔需要重新校准，例如车辆剧烈颠簸后，需要重新校准位置姿态和尺度关系)。即(眼睛←估计→本车上的内视相机←校准→显示装置←校准→本车上的外视相机←估计→真实物体)。
对于本发明实施例，设备除了确定AR信息的显示位置、姿态、尺度，仍需要确定AR信息的呈现方式，可以包括但不限于颜色，亮度，透明度以及图标形式等。对于需要和真实物体对齐的AR信息，设备优先以和真实物体一致的颜色和形式呈现AR信息。
例如，若道路上的真实车道线应该为白色单虚线，该设备优先以白色单虚线的方式呈现AR车道线；若以和真实物体一致的颜色和形式呈现AR信息会导致AR信息无法被驾驶人清晰识别理解，则设备自适应的选择更优的颜色和形式。设备通过一个或多个外视相机采集道路图像或视频，将AR信息以预计呈现形式根据估计的位置姿态尺度投影到图像或视频上，通过图像视频分析技术，可以获取AR信息和周围场景的对比度，进而判断出预计的呈现形式是否合适，如不合适则根据场景亮度颜色等更换识别度更高的呈现方式。例如，对于道路被积雪部分遮挡的情况，以白色单虚线的方式呈现AR车道线会导致AR车道线和路面差异过小，设备可以自适应的选择，例如以蓝色单虚线的方式呈现AR车道线。
步骤S1401(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1401可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
对于本发明实施例，设备根据眼睛和真实物体之间的相对位置、姿态、尺度关系，将AR信息、以在步骤S1301确定的呈现方式显示在显示装置，从而可以将显示的AR信息和对应的真实物体对齐。
实施例二
本发明实施例提供了一种行车辅助信息的显示方法，该方法用于在路面被完全覆盖遮挡，但中间车道隔离栏杆(或者其他可见交通标志障碍物)仍然可感知的道路，对车道线、车道、车辙、路面交通标志、路面交通标线，和路况等信息标识的提示信息进行显示并显示相应的增强现实辅助驾驶信息，如图3所示。其中，遮挡道路上车道线的可以是但不限于积雪、积水、泥污、油等，或组合。
本发明实施例的方法包括：
步骤S1102(图中未标注)、设备确定是否需要显示道路信息。
该步骤S1102可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过图像识别的方式确定本车周围的道路信息，可以包括但不限于车道线、道路边缘线，以及路面交通和路况等信息标识。其中，设备可以是一直保持识别的状态，在道路被完全遮挡覆盖但中间车道隔离栏杆(或者其他可见交通标志障碍物)仍然可感知的路面情况自适应开启显示功能，也可以根据用户的指令开始识别和/或显示的功能。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的。
步骤S1202(图中未标注)、设备感知道路信息，生成目标行车辅助信息内容。
该步骤S1202可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
对于本发明实施例，设备检测识别定位中间车道隔离栏杆(或者其他可见交通标志障碍物)，估算本车行驶方向一侧的路面宽度，并估计车道线和道路边缘的位置。
具体地，首先，设备通过图像处理技术和识别技术从一个或多个图像/视频中识别定位出仍然可见的中间车道隔离栏杆(或者其他可见交通标志障碍物)，并以此为道路中间位置参照物；其次，当道路边缘也存在车道隔离栏杆(或者其他可见交通标志障碍物)时，设备也可以通过类似的技术识别定位出来。其中，道路边缘隔离栏杆(或者其他可见交通标志障碍物)与中间车道隔离栏杆(或者其他可见交通标志障碍物)之间的区域即为本车行驶方向行车区域。
对于本发明实施例，当道路边缘不存在车道隔离栏杆(或者其他可见交通标志障碍物)时，设备可以通过使用单相机、立体相机、深度相机、激光传感器、雷达传感器、超声传感器中至少之一获取中间车道隔离栏杆(或者其他可见交通标志障碍物)与车道外物体(例如自行车，树，房屋)的距离，在获取距离时考虑到相机和/或其他传感器的朝向，将测量距离校正到与中间车道线垂直的方向，即获取中间车道隔离栏杆(或者其他可见交通标志障碍物)与车道外物体(例如行人，自行车，树，房屋等)的鲁棒统计最短距离，此鲁棒统计最短距离应为本车在行进中在多个位置多次测量的统计距离。此鲁棒统计最短距离为本车行驶方向一侧的车道宽度上界限。当存在道路地图时，此上界限可以根据地图所示道路宽度进一步验证优化。
其中，相机和/或其他传感器的朝向可以由如下方式获得，设备首先从图像序列里识别出中间车道隔离栏杆(或者其他可见交通标志障碍物)的延伸方向，计算出相机和这个方向的朝向关系；相机和本车上的其他传感器的相对位置姿态尺度关系可以认为是固定的，可以事先校准(使用期偶尔需要重新校准，例如车辆剧烈颠簸后，需要重新校准位置姿态和尺度关系)，从而可以得到相机和/或其他传感器的朝向。
对于本发明实施例，在车道宽度上界限内，基于道路交通的领域知识，和/或道路地图，设备可以根据车道线宽度和/或车道线数量等先验知识预测出每条车道线的大致位置以及道路边缘线的大致位置。其中道路地图的使用可以结合包括但不限于无线信号定位，GPS(Global Positioning System，全球定位***)定位等方式确定本车所处地图范围；道路地图可以是事先在存储在设备或者本车的存储空间里的，也可以是通过网络通信的方式获取的。
对于本发明实施例，设备可以通过一个或多个相机，和/或立体相机，和/或深度相机采集周围车辆和被完全覆盖的道路路面的图像和/或视频，利用物体检测、物体识别和跟踪技术分析当前车辆预设范围内其他车辆的行车轨迹和/或路面上的车辙，更为精确的校正车道线和道路边缘线的预测位置；在有高精度GPS和高精度道路地图的时候，设备可以通过视觉定位信息和GPS定位信息将当前道路与道路地图对齐，提升车道线和道路边缘线位置的预测精度。其中车辙的识别检测方式详见实施例四。
对于本发明实施例，在有高精度道路地图的时候，设备可以通过将感知到的道路环境通过视觉定位信息和/或GPS定位信息将当前道路与道路地图对齐，从而设备可以通过道路地图获取路面道路信息，并生成相应的目标行车辅助信息。
步骤S1302(图中未标注)、确定目标行车辅助信息内容的显示方式。
该步骤S1302可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
类似于实施例一的步骤S1301，不再赘述。特别的，考虑到车道范围的估计可能存在误差，即估计得到的车道范围可能包括了一部分相邻的真实车道或道路边缘，为避免让车辆行驶在两条车道的分界区域，或车道和道路边缘的分界区域，设备将估计的车道区域的两侧向内收窄，只对估计车道区域的中间区域准备目标行车辅助信息。
步骤S1402(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1402可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
类似于实施例一的步骤S1401，不再赘述。
实施例三
本实施例提供了一种行车辅助信息的显示方法，该方法用于在路面被完全覆盖遮挡，也不存在中间车道隔离栏杆(或者其他可见交通标志障碍物)的道路，对车道线、车道、车辙、路面交通标志，和路面交通标线和路况等信息标识的提示信息进行显示并显示相应的增强现实辅助驾驶信息。其中，遮挡道路上车道线的可以是但不限于积雪，积水，泥污，油等。
本发明实施例的方法包括：
步骤S1103(图中未标注)、设备确定是否需要显示道路信息。
该步骤S1103可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过图像识别的方式确定本车周围的道路信息，可以包括但不限于车道线、道路边缘线，以及路面交通和路况等信息标识。其中，设备可以一直保持识别的状态，在道路被完全遮挡覆盖也不存在中间车道隔离栏杆(或者其他可见交通标志障碍物)的路面情况自适应开启显示功能，也可以根据用户的指令开始识别和/或显示的功能。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的。
步骤S1203(图中未标注)、设备感知道路信息，生成目标行车辅助信息内容。
该步骤S1203可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
对于本发明实施例，设备估算路面宽度，估计分隔双向车道的中间隔离线所在位置(如果不是单向行驶道路)，估计车道线和道路边缘的位置。
首先，设备估算路面宽度。当道路两侧边缘存在车道隔离栏杆(或者其他可见交通标志障碍物)时，设备可以通过图像处理技术和识别技术从一个或多个图像/视频中定位识别出两侧的道路边缘隔离栏杆(或者其他可见交通标志障碍物)，两者之间的区域即为路面区域。
当只有一侧道路边缘存在车道隔离栏杆(或者其他可见交通标志障碍物)时，设备可以通过图像处理技术和识别技术识别定位出这一侧的道路边缘位置，作为参照物；对于不存在车道隔离栏杆(或者其他可见交通标志障碍物)的一侧，设备可以通过使用单相机、立体相机、深度相机、激光传感器、雷达传感器、超声传感器中至少一个获取参照物和另一侧道路边缘外的物体(例如自行车，树，房屋)的距离，获取距离时考虑到相机和/或其他传感器的朝向，将测量距离校正到和参照物垂直的方向，即获取存在隔离栏杆(或者其他可见交通标志障碍物)的一侧道路边缘和不存在隔离栏杆(或者其他可见交通标志障碍物)的另一侧道路边缘外物体(例如行人，自行车，树，房屋等)的鲁棒统计最短距离，此鲁棒统计最短距离应为本车在行进中在多个位置多次测量的统计距离，并且此鲁棒统计最短距离为路面宽度上界限。当存在道路地图时，此上界限可以根据地图所示道路宽度进一步验证优化。其中，相机和/或其他传感器的朝向可以由如下方式获得，设备首先从图像序列里识别出道路一侧的车道隔离栏杆(或者其他可见交通标志障碍物)的延伸方向，计算出相机和这个方向的朝向关系；相机和本车上的其他传感器的相对位置姿态尺度关系可以认为是固定的，可以事先校准(使用期偶尔需要重新校准，例如车辆剧烈颠簸后，需要重新校准位置姿态和尺度关系)，从而可以得到相机和/或其他传感器的朝向。
当其中两侧道路边缘均不存在车道隔离栏杆(或者其他可见交通标志障碍物)时，如图4所示，设备可以通过使用单相机、立体相机、深度相机、激光传感器、雷达传感器、超声传感器中至少之一获取本车和两侧道路边缘外物体(例如行人，自行车，树，房屋等)的距离之和，获取距离之和时考虑到相机的朝向和本车两侧传感器之间的宽度，将测量距离校正到与道路方向垂直的方向，即获取两侧道路边缘外物体(例如行人，自行车，树，房屋等)之间的鲁棒统计最短距离，此鲁棒统计最短距离应为本车在行进中在多个位置多次测量的统计距离；此鲁棒统计最短距离为路面宽度上界限。其中，相机和/或其他传感器的朝向可以由如下方式获得。
具体地，设备首先从图像序列里识别出路边树木排列，和/或建筑物表面的延伸方向，计算出相机和这个方向的朝向关系；相机和本车上的其他传感器的相对位置姿态尺度关系可以认为是固定的，可以事先校准(使用期偶尔需要重新校准，例如车辆剧烈颠簸后，需要重新校准位置姿态和尺度关系)，从而可以得到相机和/或其他传感器的朝向。
对于本发明实施例，如图5所示，在估计得路面范围上界限内，基于道路交通的领域知识，和/或道路地图，设备可以根据各方向的车道线宽度和/或车道线数量预测出道路中间线的大致位置，并以此中间线为参照，估计出每条车道线的大致位置以及道路边缘线的大致位置；
考虑到如果估计的车道范围是正确的，那么这个范围不会同时存在两个方向行驶的车辆或车辙，所以设备可以通过一个或多个相机，和/或立体相机，和/或深度相机采集周围车辆和被完全覆盖的道路路面的图像和/或视频，利用物体检测、物体识别和跟踪技术分析当前车辆预设范围内其他车辆的行车轨迹和/或路面上的车辙，更为精确的校正车道线和道路边缘线的预测位置；在有高精度GPS和高精度道路地图的时候，设备可以通过视觉定位信息和GPS定位信息将当前道路与道路地图上对齐，提升车道线和道路边缘线位置的估计精度。其中车辙的识别检测方式详见实施例四。
对于本发明实施例，在有高精度道路地图的时候，设备可以通过将感知到的道路环境通过视觉定位信息和/或GPS定位信息将当前道路与道路地图对齐，从而设备可以通过道路地图获取路面道路信息，并生成相应的目标行车辅助信息。
步骤S1303(图中未标注)、确定目标行车辅助信息内容的显示方式。
该步骤S1303可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
类似于实施例一的步骤S1301，不再赘述。特别的，考虑到车道范围的估计可能存在误差，即估计得车道范围可能包括了一部分相邻的真实车道或道路边缘，为避免让车辆行驶在两条车道的分界区域，或车道和道路边缘的分界区域，设备将估计的车道区域的两侧向内收窄，只对估计车道区域的中间区域准备目标行车辅助信息。
步骤S1403(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1403可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
类似于实施例一的步骤S1401，不再赘述。
实施例四
本发明实施例提供了一种行车辅助信息的显示方法，该方法用于在路面被完全覆盖遮挡的道路，对车辙信息标识的提示信息进行显示并显示相应的增强现实辅助驾驶显示信息。其中，遮挡道路上车道线的可以是但不限于积雪，积水，泥污，油等。
本发明实施例的方法包括：
步骤S1104(图中未标注)、设备确定是否需要显示车辙相关信息。
该步骤S1104可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过图像识别的方式确定本车周围的道路信息，可以包括但不限于车道线、道路边缘线、路面交通标志，和路面交通标线和路况等信息标识。其中，设备可以是一直保持检测识别的状态，在道路被完全遮挡覆盖的路面情况自适应开启显示功能，也可以根据用户的指令开始识别和/或显示的功能。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的。
步骤S1204(图中未标注)、设备检测路面车辙。
该步骤S1204可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
对于本发明实施例，首先设备使用一个或多个相机采集路面图像或者视频，使用图像处理技术和识别技术检测定位路面上的车辙。
具体地，在单幅图像中，设备可以使用图像识别技术定位车辙区域，车辙可以通过图像边缘提取算法和/或颜色聚类算法进行提取。设备可以将检测到的车辙边缘线段根据方向连接成连续的车辙边缘线，也可以将车辙边缘线段构建成向量场；当同时有空间上的多幅图像，和/或时间上的多幅图像时，多幅图像可以协同识别车辙，并把车辙边缘线在多幅图像中通过特征跟踪和模式匹配的方式连接起来，去除使用单幅图像时的错误，并使得识别结果保持空间，和/或时间上的一致。模式匹配时可以考虑到车辙的遗留时间长短(例如从车辙深浅推断遗留时间)去除错误匹配。
步骤S1304(图中未标注)、确定车辙相关行车辅助信息内容的显示方式。
该步骤S1304可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
对于本发明实施例，设备判断是否存在异常车辙。其中异常车辙可以通过车辙边缘线构建出的向量场是否平滑，大体趋势和车道线方向以及道路边缘线是否一致来判断；也可以判断通过某一时刻的生成的车辙边缘线构建的向量场是否显著区别于其他/整体车辙边缘线构建的向量场的方向；若有显著区别，则确定生成的车辙边缘线属于异常车辙边缘线；通常异常车辙相对于车道线和道路边缘有明显的方向冲突，且很可能存在刹车痕迹。当存在异常车辙的时，设备用警示的方式增强显示异常车辙所在的路面区域，并生成行车警告AR信息，如图6所示；当不存在异常车辙的时候，设备根据车辙在图像或视频上的颜色的对比度和/或边缘的清晰度，判断车辙是否明显可见。如清晰可见，则不增强显示；对于所有车辙均不明显可见的路面，设备根据本车的行车路线选择相对最为明显的车辙，进行增强显示，如图7所示。特别的，设备根据本车行驶状态(如速度等)和路面环境(如路面是否湿滑)等因素，提前检测观察前方足够距离的路面，动态调整预警时间，为驾驶人预留足够的反应时间。
其中，用于增强显示异常车辙所在路面区域和增强显示不明显车辙的AR物体需要和真实路面和真实车辙对齐，显示方式类似于实施例一的步骤S1301，不再赘述。
对于本发明实施例，对于异常车辙警告的AR信息不需要和真实物体对齐。当显示装置为头戴式显示装置时，设备可以直接将AR信息以醒目的方式呈现在驾驶人的当前视野的显著位置，且根据驾驶人的聚焦深度确定显示方式，且AR信息正面对于驾驶人的视线，驾驶人眼睛的聚焦深度可以通过视线跟踪的方式获得；当显示装置为车载显示装置时，设备可以将AR信息以醒目的方式呈现在显示屏幕的区域内，根据驾驶人的视线，将AR信息的姿态和深度设置为正面对于驾驶人的视线，位于驾驶人眼睛的聚焦深度，如图8所示。并且设备可以通过配合动画、音效等方式吸引驾驶人注意力，降低延迟。
步骤S1404(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1404可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
类似于实施例一的步骤S1401，不再赘述。
实施例五
本发明实施例提供了一种行车辅助信息的显示方法，该方法用于在交通标志被部分或完全覆盖遮挡的道路，对被遮挡的交通标志的提示信息进行显示，并显示相应的增强现实辅助驾驶显示信息，如图9所示。其中，遮挡交通标志的可以是但不限于积雪，泥污，油，印刷品，树叶等。其中，遮挡可以广义的理解为损坏，或脱落，或油漆退色，或雨/雾/霾，或传感器处于不理想状态(如镜头污渍)导致的不完整清晰可见。
本发明实施例的方法包括：
步骤S1105(图中未标注)、设备确定是否需要显示交通标志相关信息。
该步骤S1105可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过图像识别的方式确定本车周围的道路信息，可以包括但不限于车道线、道路边缘线，以及路面交通和路况等信息标识。其中，设备可以是一直保持识别的状态，在出现被部分或者完全遮挡交通标志和/或指示标志的路面情况自适应开启显示功能，也可以根据用户的指令开始识别和/或显示的功能。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的。
步骤S1205(图中未标注)、设备判断是否需要增强显示。
该步骤S1205可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
对于本发明实施例，设备使用一个或多个相机采集路面图像或者视频，使用图像处理技术和识别技术检测道路两侧和上方的交通标志。设备通过图像或视频分析判断交通标志上的内容是否清晰完整。具体的，设备可以通过图像检测技术检测交通标志在图像上的位置和包围框(通常为矩形框/圆形框/三角形框等)。通过判断包围框内的图像是否清晰锐利，和/或颜色分布，判断内容是否清晰。对于不清晰的交通标志，设备可以通过如下方式至少之一获得交通标志的完整信息和图标形式：设备可以根据本车所在位置检索本地地图对应的数据库，通过模式匹配采集的图像和数据库获取交通标志的完整信息和图标形式；设备可以利用图像算法对不清晰的图像进行图像增强(例如，对于由于雾遮档的交通标志，可用图像去雾算法进行图像增强，获得相对清晰的图像)，获得交通标志的完整信息和图标形式；设备可以通过从其他角度获得的交通标志的图像中获取相应的完整信息和图标形式；设备可以通过其他的交通标志的信息，和/或行驶信息，获得完整信息和图标形式，例如，根据之前遇到的交通标志内容为“距离出口200米”和本车行驶了100米的行驶信息，可推断出当前的交通标志内容为“距离出口100米”。
步骤S1305(图中未标注)、确定目标行车辅助信息内容的显示方式。
该步骤S1305可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
类似于实施例一的步骤S1301，不再赘述。特别的，生成的AR交通标志需要和真实的交通标志对齐。设备通过图像定位算法获取真实物体相对于显示装置的位置和姿态。具体的，当使用单个相机获取本车周围的交通标志时，近似的，考虑到交通标志可以近似认为是一个平面，可以对交通标志轮廓提取特征点，通过求解单应性矩阵获取交通标志和相机的相对位置和姿态关系；更为精确的，可以使用视觉里程计的方式对图像序列进行特征跟踪，其中特征采集自交通标志的轮廓等需要对齐的真实物体，从而获取真实物体相对于相机的相对位置和姿态关系。特别的，特征点的提取和跟踪可以用图像识别分割辅助，从而去除错误匹配并加快速度。
步骤S1405(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1405可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
类似于实施例一的步骤S1401，不再赘述。
实施例六
本发明实施例提供了一种行车辅助信息的显示方法，该方法用于对已经驶过区域的交通标志的提示信息进行显示并显示相应的增强现实辅助驾驶显示信息。
本发明实施例的方法包括：
步骤S1106(图中未标注)、设备确定是否需要显示交通标志相关信息。
该步骤S1106可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过用户的指令开始或者结束显示的功能。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的；设备也可以是根据统计用户视线在AR交通标志停留的时间自适应的结束显示；也可以是两种方式的组合。
步骤S1206(图中未标注)、设备生成需要显示的内容。
该步骤S1206可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
对于本发明实施例，设备检索本车过去一段时间内经过的交通标志。设备既可以检索所有经过的交通标志，也可以根据用户指令里的关键词检索相关的交通标志。在有高精度道路地图的时，设备可以根据本车当前定位在地图里检索刚刚经过区域内的交通标志；当没有地图时，设备使用一个或多个相机采集的历史路面图像或者视频，使用图像处理技术和检测识别技术检测识别道路两侧和上方的交通标志，获取符合检索要求的交通标志。设备从检索到的交通标志中提取交通标志的完整信息和图标形式。特别的，设备可以根据当前位置调整交通标志里的具体内容。例如，原来交通标志内容为“距离高速公路出口5公里”，但由于本车相对交通标志已经行进了300米，设备可以因此将指示标志的内容改为“距离高速公路出口4.7公里”，如图10所示，以适应当前情况。特别的，设备可以检索，和/或生成一个或多个交通标志。
步骤S1306(图中未标注)、确定目标行车辅助信息内容的显示方式。
该步骤S1306可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
类似于实施例一的步骤S1301，不再赘述。特别的，当检索到的交通标志多余一个，设备既可以同时显示多个交通标志，也可以依次轮流显示。设备优先以真实交通标志的形式呈现相应的AR交通标志。由于不需要和真实物体对齐，设备优先将AR交通标志根据驾驶人的注视点距离显示，且靠近天空部分，避免妨碍驾驶人观察真实路面。
步骤S1406(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1406可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
类似于实施例一的步骤S1401，不再赘述。
实施例七
本发明实施例提供了一种行车辅助信息的显示方法，该方法用于对本车两侧的侧方后视镜的扩展区域进行显示并显示相应的增强现实辅助驾驶显示信息。
本发明实施例的方法包括：
步骤S1107(图中未标注)、设备确定是否需要显示侧方后视镜的扩展区域相关信息。
该步骤S1107可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过用户的指令开始或者结束显示的功能。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的；设备也可以通过检测驾驶人的注视点是否在侧方后视镜，和/或侧方后视镜是否在驾驶人的视野内来自适应的判断是否开始或者结束显示的功能；也可以是两种方式的组合。当使用的相机是头戴式显示装置上的外视相机时，检测的方式可以是通过检测图像中是否有侧方后视镜来判断侧方后视镜是否在驾驶人的视野内，继而设备可以通过视线追踪的方式获得驾驶人当前的注视区域，判断注视点是否在侧方后视镜区域；当使用的相机是本车的内视相机时，设备可以通过检测驾驶人头部的朝向，和/或眼睛的朝向，和/或视线的方向判断侧方后视镜是否在驾驶人的视野范围内，以及驾驶人的视线聚焦区域。
步骤S1207(图中未标注)、设备生成需要显示的内容。
该步骤S1207可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
首先，设备估计驾驶人头部/眼睛/视线和侧方后视镜的相对位置和姿态。
具体的，当使用的相机是头戴式显示装置上的外视相机时，此外视相机和驾驶人头部相对位置固定，与眼睛的相对位置姿态尺度关系可事先标定(使用期偶尔需要重新校准，例如使用人调整了头戴式显示装置的位置之后需要重新校准位置姿态和尺度关系)，因此只需要获得侧方后视镜和此外视相机的相对位置关系。具体的，设备可以通过图像识别技术分割出侧方后视镜，侧方后视镜可以被看作是一个尺度固定的平面，因此通过求解单应性矩阵获取侧方后视镜和相机的相对位置和姿态关系；设备也可以使用视觉里程计的方式对侧方后视镜的图像序列进行特征跟踪，其中特征采集侧方后视镜的边缘轮廓，从而获取平滑的侧方后视镜相对于相机的相对位置和姿态关系；设备也可以在侧方后视镜屏幕上贴定位标志物，设备上的外视相机通过定位标志物计算出侧方后视镜和本车外视相机的相对位置姿态尺度关系；即(眼睛←校准→显示装置←校准→设备上的外视相机←估计→侧方后视镜)。
当使用的相机是本车上的内视相机时，内视相机和侧方后视镜的相对位置姿态关系可以认为是固定的，可以事先标定(使用期偶尔需要重新校准，例如驾驶人调节侧方后视镜后，需要重新校准位置姿态和尺度关系)。因此只需要获得内视相机和显示设备的相对位置姿态关系。具体的，设备可以使用本车上的内视相机(即拍摄本车内部环境，如驾驶人位置，的相机)获取显示装置和本车上的内视相机的相对位置姿态尺度关系。获取的方式可以基于显示装置上的定位标志物，和/或基于图像和/或多种传感器融合的提取特征点跟踪方式，和/或检测等方式，如SLAM(Simultaneous Localization and Mapping，同步定位和建图)技术和目标跟踪技术。眼睛和显示装置的相对位置和姿态关系相对固定，可以事先校准(使用期偶尔需要重新校准，例如使用人调整了头戴式显示设备的位置之后需要重新校准位置姿态和尺度关系)；即(眼睛←校准→显示装置←估计→本车上的内视相机←校准→侧方后视镜)。
其次，当设备估计出驾驶人头部眼睛和侧方后视镜的相对位置关系后，根据侧方后视镜的镜面属性，获得侧方后视镜的镜面图像的虚拟视点，根据虚拟视点和扩展后视镜的面积，设备可以通过车载的一个或多个相机，和/或立体相机，和/或深度相机采集车辆周围的图像信息，采集范围包含且大于侧方后视镜所覆盖区域，如图11所示；设备可以通过将其他车载相机的图像获得后视镜扩展区域的内容，由于本车上的外视相机和侧方后视镜的相对位置姿态关系相对固定，可以事先标定，因此设备可以用本车上的外视相机的图像通过基于图像的绘制技术(image based rendering)生成侧方后视镜的扩展区域的内容；当本车的外视相机是立体相机和/或配有深度相机时，设备也可以用基于深度图的绘制技术(depth image based rendering)从外视相机的图像生成侧方后视镜的扩展区域的内容。包含扩展区域的侧方后视镜的范围如图12所示。
步骤1307(图中未标注)、确定侧方后视镜的扩展区域的显示方式。
该步骤S1307可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
类似于实施例一的步骤S1301，不再赘述。特别的，
为了使驾驶人观感自然，设备可以使用以下方式至少之一：侧方后视镜的扩展区域显示的虚拟三维显示信息和该虚拟三维显示信息对应的真实物体相对于所述扩展区域是对称的；在扩展区域显示的虚拟三维显示信息是该虚拟三维显示信息对应的真实物体相对于所述侧方后视镜的镜面成像；在扩展区域与所述侧方后视镜显示的内容是连续的；在扩展区域与所述侧方后视镜显示的内容有一定的重叠和/或过渡。
步骤S1407(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1407可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
类似于实施例一的步骤S1401，不再赘述。
实施例八
本发明实施例提供了一种行车辅助信息的显示方法，该方法用于对本车内部的内后视镜的扩展区域进行显示并显示相应的增强现实辅助驾驶显示信息。
本发明实施例的方法包括：
步骤S1108(图中未标注)、设备确定是否需要显示车内后视镜的扩展区域相关信息。
该步骤S1108可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过用户的指令开始或者结束显示的功能。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的；设备也可以通过检测驾驶人的注视点是否在车内后视镜来自适应的判断是否开始或者结束显示的功能；也可以是两种方式的组合。
其中，当使用的相机是头戴式显示装置上的外视相机时，检测的方式可以是通过检测图像中是否有车内后视镜来判断车内后视镜是否在驾驶人的视野内，继而设备可以通过视线追踪的方式获得驾驶人当前的注视区域，判断注视点是否在车内后视镜区域；当使用的相机是本车的内视相机时，设备可以通过检测驾驶人头部的朝向，和/或眼睛的朝向，和/或视线的方向判断车内后视镜是否在驾驶人的视野范围内，以及驾驶人的视线聚焦区域。设备也可以是根据统计用户视线在AR信息上的注视/停留的时间自适应的结束显示。
步骤S1208(图中未标注)、设备生成需要显示的内容。
该步骤S1208可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
首先，设备估计驾驶人头部/眼睛/视线和车内后视镜的相对位置和姿态。
对于显示装置为头戴式显示装置的情况，当使用的相机是头戴式显示装置上的外视相机时，此外视相机和驾驶人头部相对位置固定，与眼睛的相对位置姿态尺度关系可事先标定(使用期偶尔需要重新校准，例如使用人调整了头戴式显示装置的位置之后需要重新校准位置姿态和尺度关系)，因此只需要获得车内后视镜和此外视相机的相对位置关系。具体的，设备可以通过图像识别技术分割出车内后视镜，车内后视镜可以被看作是一个尺度固定的平面，因此通过求解单应性矩阵获取车内后视镜和相机的相对位置和姿态关系；设备也可以使用视觉里程计的方式对车内后视镜的图像序列进行特征跟踪，其中特征采集车内后视镜的边缘轮廓，从而获取平滑的车内后视镜相对于相机的相对位置和姿态关系；设备也可以在车内后视镜屏幕上贴定位标志物，设备上的外视相机通过定位标志物计算出车内后视镜和本车外视相机的相对位置姿态尺度关系；即(眼睛←校准→显示装置←校准→设备上的外视相机←估计→车内后视镜)。
对于显示装置为头戴式显示装置的情况，当使用的相机是本车上的内视相机时，内视相机和车内后视镜的相对位置姿态关系可以认为是固定的，可以事先标定(使用期偶尔需要重新校准，例如驾驶人调节车内后视镜后，需要重新校准位置姿态和尺度关系)。因此只需要获得内视相机和显示设备的相对位置姿态关系。具体的，设备可以使用本车上的内视相机(即拍摄本车内部环境，如驾驶人位置的相机)获取显示装置和本车上的内视相机的相对位置姿态尺度关系。获取的方式可以是基于显示装置上的定位标志物的，和/或基于图像和/或多种传感器融合的提取特征点跟踪方式，和/或检测等方式的，如SLAM(Simultaneous Localization and Mapping，同步定位和建图)技术和目标跟踪技术。眼睛和显示装置的相对位置和姿态关系相对固定，可以事先校准(使用期偶尔需要重新校准，例如使用人调整了头戴式显示设备的位置之后需要重新校准位置姿态和尺度关系)；即(眼睛←校准→显示装置←估计→本车上的内视相机←校准→车内后视镜)。
对于显示装置为车载显示装置的情况，设备可以使用本车上的内视相机(即拍摄本车内部环境，如驾驶人位置的相机)获取眼睛和本车上的内视相机的相对位置姿态尺度关系。其中获取的方式可以是基于驾驶人头戴的定位标志物，其中眼睛和头戴的定位标志物的相对位置姿态尺度关系可以认为是相对固定的，可以事先校准(使用期偶尔需要重新校准，例如使用人调整了头戴式定位标志物的位置之后需要重新校准位置姿态和尺度关系)；获取的方式还可以是基于图像的头部/眼睛/视线定位跟踪技术，设备通过本车上的内视相机的图像或视频定位驾驶人的头部，基于头部的定位结果定位眼睛和内视相机之间的相对位置姿态关系；获取的方式还可以是基于图像的眼睛定位跟踪技术，设备通过本车上的内视相机的图像或视频直接定位眼睛和内视相机之间的相对位置、姿态关系。
其次，当设备估计出驾驶人眼睛和车内后视镜的相对位置姿态尺度关系后，设备可以通过车内内视相机拍摄车内后排位置，和/或车尾外部区域，的图像或者视频，将图像或者视频内容缩小/放大后作为扩展内容，如图13所示。
步骤S1308(图中未标注)、确定车内后视镜的扩展区域的显示方式。
该步骤S1308可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
类似于实施例一的步骤S1301，不再赘述。特别的，设备可以使得AR扩展内容在一定角度范围内调整，使得AR扩展内容可面对驾驶人视线方向。对于显示装置为头戴式显示装置的情况，考虑到驾驶人的习惯，设备优先将AR信息呈现在车内后视镜区域或其下方；对于显示装置为车载显示装置的情况，设备优先将AR信息根据驾驶人的注视点距离显示，且靠近天空部分，避免妨碍驾驶人观察真实路面。
步骤S1408(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1408可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
类似于实施例一的步骤S1401，不再赘述。
实施例九
本发明实施例提供了一种行车辅助信息的显示方法，该方法用于对包括但不限于没有交通信号灯的路口，或交通信号灯损坏，或交通信号灯不明显，或被部分/完全遮挡的路口进行显示，并显示相应的增强现实辅助驾驶显示信息。如上情形在下文统称为没有交通信号灯的路口。
本发明实施例的方法包括：
步骤S1109(图中未标注)、设备确定是否接近没有交通信号灯的路口相关信息。
该步骤S1109可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过确定本车所在位置，在地图上检查前方路口是否存在交通信号灯，自适应开启显示功能，也可以根据用户的指令开始识别和/或显示的功能。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的。
步骤S1209(图中未标注)、设备生成需要显示的内容。
该步骤S1209可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
对于本发明实施例，设备通过车载的一个或多个相机监测路口信息，通过图像检查技术和识别技术确定出路口处其他车辆的到达顺序。设备从地图中获取此路口适用的交通规则，生成虚拟AR交通信号灯，指示驾驶人的驾驶操作，如图14所示。例如，一个十字路口适用交通规则为到达后停车3秒钟，先停先走；设备可以通过图像技术监测到路口车辆的停车顺序，结合交通规则，生成3秒钟后变为绿灯的虚拟红灯。
对于存在交通信号灯的路口，根据驾驶人指令，设备可以通过至少一个相机获取真实交通信号灯的视频，通过复制真实交通信号灯的方式生成AR交通信号灯。
步骤S1309(图中未标注)、确定目标行车辅助信息内容的显示方式。
该步骤S1309可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
类似于实施例六的步骤S1306，将AR交通标志替换为AR交通信号灯，不再赘述。
步骤S1409(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1409可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
类似于实施例一的步骤S1401，不再赘述。
实施例十
本发明实施例提供了一种行车辅助信息的显示方法，该方法用于对交通警察进行显示并显示相应的增强现实辅助驾驶显示信息。
本发明实施例的方法包括：
步骤S1110(图中未标注)、设备确定是否存在交通警察。
该步骤S1110可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过一个或多个相机采集本车周围环境，通过图像检测识别技术判断是否存在交通警察，和/或是否存在交通警察放置的道路限制路障，自适应开启显示功能；也可以根据用户的指令开始识别和/或显示的功能；也可以是以上方式的组合。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的。
步骤S1210(图中未标注)、设备生成需要显示的内容。
该步骤S1210可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
对于本发明实施例，设备通过一个或多个相机检测、识别、跟踪交通警察的姿态，手势，以及指挥棒等指示工具。根据当地交通警察手势规则生成相应的AR消息。例如，交通警察的手势指示向左转弯，则生成向左转弯的AR消息，如图15所示。
步骤S1310(图中未标注)、确定目标行车辅助信息内容的显示方式。
该步骤S1310可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
类似于实施例一的步骤S1301，不再赘述。
对于本发明实施例，对于显示装置为单个头戴式显示装置的情况，设备可以将生成的AR消息显示在对应交通警察的旁边，AR消息可以面朝驾驶人视线，也可以和交通警察身体朝向保持一致。
对于本发明实施例，对于显示装置为单个车载显示装置的情况，设备可以将生成的AR消息面向驾驶人视线显示。
对于本发明实施例，当存在多个交通警察的时候，设备可同时显示多个AR消息在对应交通警察的旁边，也可以对与当前面朝本车指挥的交通警察相关的AR消息进行优先显示。
步骤S1410(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1410可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
类似于实施例一的步骤S1401，不再赘述。
实施例十一
本发明实施例提供了一种行车辅助信息的显示方法，该方法用于对操作表盘按键的位置，功能和操作方式进行显示并显示相应的增强现实辅助驾驶显示信息。
本发明实施例的方法包括：
步骤S1111(图中未标注)、设备确定是否需要对操作表盘进行显示。
该步骤S1111可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过确定本车周围环境和/或本车内环境，判断驾驶人是否需要进行某种操作，例如前车窗有雾气，设备可以判断驾驶人需要使用雨刷，自适应开启显示功能；也可以根据用户的指令开始识别和/或显示的功能；也可以是以上方式的组合。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的。
步骤S1211(图中未标注)、设备生成需要显示的内容。
该步骤S1211可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
类似于判断实施例八的步骤S1208，设备判断所需操作的按键是否在驾驶人的视野内。当所需操作的按键在驾驶人视野内时，设备通过区域高亮，或箭头指示，或边缘包围的方式突出此按键，并生成按键的功能名称，和/或操作指示。例如，在前照灯灯光旋钮周围标出前照灯的名称，和/或用箭头开灯的旋转方向和关灯的旋转方向，如图16所示。
步骤S1311(图中未标注)、确定目标行车辅助信息内容的显示方式。
该步骤S1311可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
特别的，本实施例只能配合头戴式显示装置应用。
对于显示装置为单个头戴式显示装置的情况，设备可以将生成的AR消息显示在按键的旁边，AR消息可以面朝驾驶人视线，也可以和按键朝向保持一致，操作指示和真实按键的操作动作保持一致。
步骤S1411(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1411可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
类似于实施例一的步骤S1401，不再赘述。
实施例十二
本发明实施例提供了一种行车辅助信息的显示方法，该方法用于对允许停车且适合停车区域、允许停车但不适合停车区域，以及不允许停车区域中至少之一进行显示并显示相应的增强现实辅助驾驶显示信息，如图17所示。
本发明实施例的方法包括：
步骤S1112(图中未标注)、设备确定是否需要对允许停车且适合停车区域、允许停车但不适合停车区域，以及不允许停车区域中至少之一进行显示。
该步骤S1112可以是设备确定需要显示的一个或多个目标行车辅助信息的一种实现方式。
对于本发明实施例，设备通过确定本车周围环境和/或本车内环境和/或驾驶人意图，判断驾驶人是否在寻找停车位准备停车，例如驾驶人到达指定目的地或驶入停车场，自适应开启显示功能；也可以根据用户的指令开始识别和/或显示的功能；也可以是以上方式的组合。其中，用户指令可以是通过手势、语音、物理按键、指纹等生物识别标识来承载的。
步骤S1212(图中未标注)、设备生成需要显示的内容。
该步骤S1212可以是获取信息，处理信息，生成目标行车辅助信息内容的一种实现方式。
对于本发明实施例，设备通过车载的一个或多个相机检测本车周围的区域，检测识别是否存在禁止停车标识，分析出允许停车的区域和/或不允许停车的区域。通过图像处理技术，结合本车体积，判断允许停车区域是否平坦，空间是否足够，是否存在积水，泥泞等不利于停车的因素，对允许停车区域进行筛选排序，显示允许停车且适合停车区域和/或允许停车但不适合停车的区域。
步骤S1312(图中未标注)、确定目标行车辅助信息内容的显示方式。
该步骤S1312可以是确定一个或多个目标行车辅助信息的显示方式的一种实现方式。
类似于实施例一的步骤S1301，不再赘述。特别的，设备对允许停车且适合停车区域、允许停车但不适合停车区域，以及不允许停车区域，用不同的方式呈现。
步骤S1412(图中未标注)、显示生成的目标行车辅助信息对应的AR信息。
该步骤S1412可以是显示一个或多个目标行车辅助信息对应的虚拟三维AR信息的一种实现方式。
类似于实施例一的步骤S1401，不再赘述。
特别的，对于所有实施例，设备自适应的确定如下三条：开始显示一个或多个AR信息的时机，和/或停止显示一个或多个AR信息的时机，和/或一个或多个AR信息的显示时长。设备自适应的确定如上时机和/或时长的时候，设备综合考虑到车辆的状态、路况信息、设备的***延迟中的至少之一，以达到更优的显示开始和/或显示停止时机，和更优的显示时长，以避免包括但不限于过早、过晚、过长，或过短的显示等问题，误导干扰驾驶人。
下面举例说明，对于警示安全距离不足AR警告消息，设备可以在本车与周围车辆的距离小于安全距离的时刻开始显示，在本车与周围车辆的距离大于安全距离的时刻停止显示。然而，由于安全距离随着情况不同而不同，当车辆行驶在冰雪路面时，本车和周围车辆的安全距离应当比行驶在普通路面要大。而且安全距离与本车和周围车辆的行驶速度相关，速度越快，所需的安全距离越大。也就是说，安全距离应当根据具体情况自适应的确定。因此，基于车辆状态(车速等)，路况信息(冰雪路面等)，以及设备的***延迟，设备可以自适应的计算当前情况下的安全距离。因此，相应的，设备对于警示安全距离不足的AR警告消息的显示开始时间，显示停止时间，显示时长也随着安全距离自适应的调整，而非固定。
特别的，对于所有实施例，设备自适应减少两种延迟：一种是注意力延迟，另一种是显示延迟。注意力延迟定义为从设备显示AR信息到驾驶人注意到AR信息的时间延迟；显示延迟定义为设备在生成，渲染和显示AR信息上花费的时间。
其中，为减少注意力延迟，设备可以采取如下五种方式中至少之一：1)自适应的将高优先级的AR信息显示在驾驶人当前视野内的显著位置，并且根据驾驶人当前的注视深度确定显示方式；2)自适应的根据真实场景环境调整AR信息的显示形式，增加AR信息和真实场景环境的对比度，以突显AR信息；3)对于高优先级的AR信息，为突显高优先级的AR信息，停止和/或暂停显示其周围的低优先级的AR信息以突显高优先级AR信息；4)对于高优先级的AR信息，设备自适应的将其显示在驾驶人视野内的显著位置，并且在驾驶人视野变化(转头、转眼睛等)时自适应的调整高优先级AR信息的显示位置，使其保持在驾驶人视野内的显著位置；5)设备配合使用声音，动画，震动，灯光闪烁等其他方式中至少之一吸引驾驶人注意力。
举例说明，当驾驶人看向本车左方时，本车右侧发生***，设备立刻将生成的AR警报显示在驾驶人当前的视野内，即本车左方。
其中，为减小显示延迟，设备可以采用如下方式至少之一：1)预先准备要显示的数据：设备采集本车以及周围较大范围的信息，生成相应的AR信息，并大致确定每个AR信息的显示方式；但设备只自适应的选择性显示在驾驶人当前视野范围内的AR信息；在计算量允许的情况下设备可以预先渲染好AR信息，当AR信息进入驾驶人视野范围时，设备可以直接调取预先渲染好的AR信息模型，根据当前情况调整后显示，如图18所示；2)改变要显示的AR信息的呈现方式：考虑到延迟的可接受程度与当前情况有关(比如当车速为10千米/小时的时候，5毫秒的延时可能是可以接受的，但当车速上升到50千米/小时的时候，3毫米的延时可能就已经无法接受)，设备可以自适应的根据当前情况估算可接受延迟的程度，并且自适应的改变AR内容的呈现方式。举例说明，如图19所示，当本车车速较低的时候，设备可以完整的显示行车区域；但当本车车速上升后，为降低延迟，设备可以自适应的将行车区域的呈现形式改为条纹状，即通过减少显示数据量来降低延迟。
特别的，如图20所示，当同时存在多个AR信息需要显示的时候，如果设备只对每个AR信息分别考虑，为每个AR信息自适应的选择最优的显示方式，则在同时显示这些AR信息给驾驶人时，驾驶人可能会因为这些AR信息之间存在相互遮挡关系而感觉AR信息模糊不清晰，从而对驾驶人造成困扰。
因此，对同时显示多个存在相互遮挡关系多个AR信息，设备可以使用以下方式至少之一：1)对必须同时显示，且无法合并和/或整合，且确实应该存在遮挡关系的AR信息情况，设备自适应的根据当前位置关系不显示被遮挡AR信息的被遮挡部分，以避免干扰前景AR信息；2)对可以合并和/或整合的多条AR信息，设备自适应的将多条AR信息合并和/或整合为一条或多条信息，如可以将四条AR信息精简为两条AR信息；设备在合并和/或整合多条AR信息时，即可以是简单的同类信息归并，也可以是更高层面的根据信息含义生成新的AR信息，如图20所示，设备可以根据“左边有驾校学员车”和“后方有货车”两条AR信息生成更为精简的新AR信息“小心左方和后方”；3)对于可以延迟显示的AR信息，设备可以推迟显示，例如，关于较远处的非紧急AR信息可以推迟到本车行驶到更近处再开始显示，以避免干扰关于较近处的AR信息的显示；同理，设备也可以延迟显示、暂停显示、停止显示，甚至放弃显示，不重要的AR信息以减少/消除遮挡；4)如图20所示，设备可以改变一条或多条AR信息的显示位置，和/或内容详细程度，和/或呈现方式，减弱甚至消除AR信息之间的相互遮挡关系。
特别的，在确定AR信息的显示位置时，设备考虑到如下情况中至少之一：1)设备将AR信息显示在物理正确的位置，即和真实空间中相应的物体对齐；2)设备将AR信息显示在不干扰驾驶人驾驶的区域，比如天空区域；3)设备将重要的AR信息直接显示在驾驶人的当前视野的显著位置；4)设备将AR信息显示在驾驶人视野相对开阔的一侧；例如，对于驾驶人座位在左侧的情况，驾驶人右侧视野相对更加开阔；对于驾驶人座位在右侧的情况，驾驶人左侧视野相对更加开阔；5)设备将AR信息显示在驾驶人注意力相对不足的区域，在驾驶中，为确保安全，驾驶人需要对各个方向都进行充分的观察。因此，设备通过统计驾驶人视线在各个方向的停留时间，如果发现驾驶人的注意力在某个或多个区域显著不足，则将AR信息以较为显著的方式显示在这些区域，以吸引驾驶人的注意力，帮助驾驶人平衡注意力。其中吸引驾驶人的注意力的方式也可以结合语音/音效，动画，灯光等。如图21所示，当驾驶人的视线统计显示驾驶人的注意力偏向左侧时，设备可以将AR信息显示在右侧，将驾驶人的注意力吸引到右侧，从而帮助驾驶人平衡注意力。
本发明实施例提供了一种用于辅助驾驶的增强现实的装置，如图22所示，包括：确定模块2201、显示模块2202。
确定模块2201，用于基于行车过程中获取的信息来确定行车辅助信息。
显示模块2202，用于显示确定模块2201确定的行车辅助信息对应的虚拟三维显示信息。
本发明实施例提供了一种用于辅助驾驶的增强现实的装置，与现有技术相比，本发明实施例基于行车过程中获取的信息来确定行车辅助信息，然后显示行车辅助信息对应的虚拟三维显示信息，即通过车辆行驶过程中获取到的信息，确定出行车过程中的行车辅助信息，并将行车过程中的行车辅助信息对应的虚拟三维显示信息，通过视觉和/或听觉的方式呈现给驾驶人，以通知或者警示驾驶人，从而可以实现在车辆行驶过程中应用增强现实技术帮助驾驶人更好的掌握车辆行驶过程中的行车信息，进而可以提升用户体验。
本发明实施例提供的用于辅助驾驶的增强现实的装置，适用于上述方法实施例，在此不再赘述。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (27)

1.一种用于辅助驾驶的增强现实的方法，其特征在于，包括：
基于行车过程中获取的信息来确定行车辅助信息；
显示所述行车辅助信息对应的虚拟三维显示信息。
2.根据权利要求1所述的方法，其特征在于，
基于行车过程中获取的信息来确定行车辅助信息，包括：基于行车过程中获取的可感知区域的信息确定被遮挡的行车辅助信息；
显示所述行车辅助信息对应的虚拟三维显示信息，包括：显示所述被遮挡的行车辅助信息对应的虚拟三维显示信息。
3.根据权利要求2所述的方法，其特征在于，当所述被遮挡的行车辅助信息包括：路面道路信息、和/或非路面交通标志信息时，显示所述被遮挡的行车辅助信息对应的虚拟三维显示信息，包括以下至少之一：
在所述被遮挡的行车辅助信息的位置上，显示所述被遮挡的行车辅助信息对应的虚拟三维显示信息；
在预设的显示位置，显示所述被遮挡的行车辅助信息对应的虚拟三维显示信息。
4.根据权利要求3所述的方法，基于行车过程中获取的可感知区域的信息确定被遮挡的行车辅助信息，包括以下至少之一：
若所述被遮挡的行车辅助信息只有部分被遮挡，则根据所述行车辅助信息的可感知部分，确定所述被遮挡的行车辅助信息；
基于当前车辆的位置以及当前行车中可感知区域的参照物信息，确定被遮挡的行车辅助信息；
基于从驾驶人视角以外其它角度获取到的被遮挡的行车辅助信息的多媒体信息，确定被遮挡的行车辅助信息；
基于行车过程中获取的可感知区域中被遮挡的行车辅助信息的多媒体信息，对所述多媒体信息进行增强和/或复原，确定出所述被遮挡的行车辅助信息；
被遮挡的行车辅助信息包括路面道路信息时，通过将当前道路与当前道路的地图进行对齐，根据所述地图确定被遮挡的行车辅助信息；
根据其他的行车辅助信息，确定当前被遮挡的行车辅助信息。
5.根据权利要求4所述的方法，其特征在于，在基于行车过程中获取的可感知区域的信息确定被遮挡的行车辅助信息之后，所述方法还包括：
对确定的被遮挡的行车辅助信息进行校正；
显示所述被遮挡的行车辅助信息对应的虚拟三维显示信息，包括：在校正的位置处显示校正后的行车辅助信息对应的虚拟三维显示信息。
6.根据权利要求5所述的方法，其特征在于，对确定的被遮挡的行车辅助信息进行校正包括以下至少一项：
当被遮挡的行车辅助信息包括车道相关信息时，基于当前车辆预设范围内其他车辆的行车轨迹和/或路面车辙信息，校正被遮挡的行车辅助信息的位置；
当被遮挡的行车辅助信息包括路面道路信息时，通过将当前道路与当前道路的地图进行对齐，根据所述地图校正被遮挡的行车辅助信息的位置。
7.根据权利要求2所述的方法，其特征在于，当所述被遮挡的行车辅助信息包括：车道相关信息时，
显示的车道宽度小于实际的车道宽度。
8.根据权利要求2所述的方法，其特征在于，当所述被遮挡的行车辅助信息包括：盲区信息时，显示所述被遮挡的行车辅助信息对应的虚拟三维显示信息，包括：
在后视镜的扩展区域显示盲区信息对应的虚拟三维显示信息。
9.根据权利要求8所述的方法，其特征在于，当后视镜是侧方后视镜时，在扩展区域显示的虚拟三维显示信息是该虚拟三维显示信息对应的真实物体按照所述侧方后视镜的镜面属性和驾驶人视野生成的。
10.根据权利要求1所述的方法，其特征在于，
基于行车过程中获取的信息来确定行车辅助信息，包括：获取当前路段的交通规则和/或交警动作信息，通过基于交通规则生成的虚拟交通灯信息和/或通过生成的交警手势含义信息，确定交通规则的呈现方式；
显示所述行车辅助信息对应的虚拟三维显示信息，包括：显示转换后的所述当前路段的交通规则和/或交警动作信息对应的虚拟三维显示信息。
11.根据权利要求1所述的方法，其特征在于，所述显示所述行车辅助信息对应的虚拟三维显示信息的步骤，包括以下至少之一：
当感知到异常车辙信息时，显示确定出的异常车辙区域对应的虚拟三维显示信息和/或该区域为异常车辙区域的警示信息的虚拟三维显示信息；
当需要显示当前车辆已行驶过的道路区域的交通标志时，显示已获取到的车辆已行驶过的道路区域的交通标志对应的虚拟三维显示信息；其中，已获取到的已行驶过的交通标志包括距离指示；显示的虚拟三维显示信息包括已获取到的已行驶过的交通标志以及基于车辆从已行驶过的交通标志行驶的距离更新的距离指示；
当感知到当前车辆所在路口存在交通标志和/或交通信号灯，且交通标志和/或交通信号灯满足预定显示条件，显示该路***通标志和/或交通信号灯对应的虚拟三维显示信息；所述预定显示条件包括以下至少一项：交通标志和/或交通信号灯损坏；交通标志和/或交通信号灯显示不清晰；交通标志和/或交通信号灯未完全在驾驶人当前的可视范围内；
当需要显示操作表盘中的按键信息时，显示以下信息至少之一对应的虚拟三维显示信息：所述按键的位置信息、所述按键的功能名称信息、所述按键的操作指示信息、和所述按键；
当需要显示停车区域信息时，显示允许停车且适合停车区域、允许停车但不适合停车区域、不允许停车区域至少之一对应的虚拟三维显示信息；
通过感知道路环境和/或道路地图信息确定出车道范围、车道线位置、道路边缘线位置、路面交通标志和非路面交通标志中的至少一项，并显示相应的虚拟三维显示信息。
12.根据权利要求11所述的方法，其特征在于，所述基于行车过程中获取的信息来确定行车辅助信息的步骤，包括以下至少之一：
确定路面车辙信息是否存在异常车辙信息，若存在异常车辙信息，则确定存在异常车辙区域；
当需要显示当前车辆已行驶过的道路区域的交通标志时，从获取到的多媒体信息中和/或交通标志数据库中，确定当前已行驶过的道路区域的交通标志；
当需要显示停车区域信息时，根据当前车辆周围区域是否存在禁止停车标识，当前车辆的体积，以及当前路面情况中的至少一项，确定允许停车且适合停车区域、允许停车但不适合停车区域、不允许停车区域中的至少一项；
确定行车过程中与需要显示的目标对象相应的行车辅助信息；基于行车过程中获取的信息生成与目标对象相应的行车辅助信息。
13.根据权利要求1所述的方法，其特征在于，显示所述行车辅助信息对应的虚拟三维显示信息包括：
高亮显示车辙信息对应的虚拟三维显示信息。
14.根据权利要求11所述的方法，其特征在于，显示已获取到的当前车辆已行驶过的道路区域的交通标志对应的虚拟三维显示信息，包括：
根据车辆当前位置及已行驶过的道路区域的交通标志对应的虚拟三维显示信息，调整当前已行驶过的道路区域的交通标志对应的虚拟三维显示信息，并显示调整后的交通标志对应的虚拟三维显示信息。
15.根据权利要求1所述的方法，其特征在于，所述显示所述行车辅助信息对应的虚拟三维显示信息的步骤，包括：
确定虚拟三维显示信息对应的显示方式；
基于确定的显示方式，显示所述行车辅助信息对应的虚拟三维显示信息；
其中所述显示方式包括以下至少一项：
虚拟三维显示信息的显示位置；虚拟三维显示信息的显示姿态；虚拟三维显示信息的显示尺寸大小；虚拟三维显示信息的显示开始时间；虚拟三维显示信息的显示结束时间；虚拟三维显示信息的显示时长；虚拟三维显示信息的显示内容详细程度；虚拟三维显示信息的呈现方式；多个虚拟三维显示信息间显示的相互关系；虚拟三维显示信息的轮廓；
所述呈现方式包括以下至少一项：文字方式；图标方式；动画方式；音效方式；灯光方式；震动方式。
16.根据权利要求1所述的方法，其特征在于，所述方法还包括以下至少一项：
当同时存在多个待显示的虚拟三维显示信息时，将所述多个待显示的虚拟三维显示信息进行合并处理，并显示处理后的虚拟三维显示信息；
当同时显示多个待显示的虚拟三维显示信息时，将所述多个待显示的虚拟三维显示信息，基于语义进行整合处理，并显示处理后的虚拟三维显示信息。
17.根据权利要求1所述的方法，其特征在于，所述方法还包括以下至少一项：
将高于第一预设优先级的行车辅助信息对应的虚拟三维显示信息显示在驾驶人当前视野的显著位置，并实时根据驾驶人当前视野的位置，调整显示该虚拟三维显示信息的位置；
显示高于第一预设优先级的行车辅助信息对应的虚拟三维显示信息，暂停和/或停止显示低于第二预设优先级的行车辅助信息对应的虚拟三维显示信息。
18.根据权利要求1所述的方法，其特征在于，所述显示所述行车辅助信息对应的虚拟三维显示信息的步骤，包括：
根据车辆的当前状态、当前的路况信息以及设备的***延迟情况中的至少之一，确定显示虚拟三维显示信息的显示开始时间、显示结束时间以及显示持续时长中的至少一项；
根据确定的显示虚拟三维显示信息的显示开始时间、显示结束时间以及显示持续时长中的至少一项，显示所述行车辅助信息对应的虚拟三维显示信息。
19.根据权利要求1所述的方法，其特征在于，
当同时存在多个待显示的行车辅助信息对应的虚拟三维显示信息，并且待显示的多个虚拟三维显示信息之间存在遮挡关系时，所述方法还包括以下至少一项：
根据存在遮挡关系的多个虚拟三维显示信息之间的位置关系，仅显示虚拟三维显示信息中未被遮挡的部分；
在不同的显示时间，分别显示所述存在遮挡关系的多个虚拟三维显示信息中虚拟三维显示信息；
调整存在遮挡关系的多个虚拟三维显示信息中至少一个虚拟三维显示信息的显示位置、内容详细程度、呈现方式中的至少一项，并根据调整的方式，显示所述存在遮挡关系的多个虚拟三维显示信息中每个虚拟三维显示信息；
针对遮挡关系无法区分的虚拟三维显示信息中的至少两个路面交通标志，根据当前所在车道和当前道路的地图显示路面交通标志的方向箭头。
20.根据权利要求1或3所述的方法，其特征在于，所述显示所述行车辅助信息对应的虚拟三维显示信息的步骤，包括：
在预设的显示位置，显示待显示的行车辅助信息对应的虚拟三维显示信息；
其中，预设的显示位置包括以下至少一项：
与真实的行车辅助信息对齐的显示位置；不干扰驾驶人驾驶的区域位置；驾驶人当前视野的显著位置；驾驶人视野相对开阔的位置；驾驶人注意力不足的位置。
21.根据权利要求1所述的方法，其特征在于，所述方法还包括：
预先渲染待显示的虚拟三维显示信息；
当满足预设显示触发条件时，从预先渲染的虚拟三维显示信息中，获取待显示的虚拟三维显示信息，并根据当前环境调整所述虚拟三维显示信息的呈现方式，并根据调整后的呈现方式，显示所述虚拟三维显示信息；
根据当前环境实时调整虚拟三维显示信息的显示方式，并根据调整后的显示方式，显示所述虚拟三维显示信息。
22.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述虚拟三维显示信息的显示延迟超过根据行车过程的车速预估的可接受显示延迟时，调整所述虚拟三维显示信息的呈现方式。
23.根据权利要求22所述的方法，其特征在于，所述调整所述虚拟三维显示信息的呈现方式，包括：
将所述虚拟三维显示信息的一部分调整为图案。
24.根据权利要求23所述的方法，其特征在于，所述图案为条纹图案。
25.一种用于辅助驾驶的增强现实的装置，其特征在于，包括：
确定模块，用于基于行车过程中获取的信息来确定行车辅助信息；
显示模块，用于显示所述确定模块确定的行车辅助信息对应的虚拟三维显示信息。
26.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器中存储有计算机程序；
所述处理器，用于在运行所述计算机程序时，执行权利要求1至24中任一项所述的方法。
27.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序在被处理器运行时，执行权利要求1至24中任一项所述的方法。
CN202211358721.0A 2017-08-24 2017-08-24 用于辅助驾驶的增强现实的方法及装置 Pending CN115620545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211358721.0A CN115620545A (zh) 2017-08-24 2017-08-24 用于辅助驾驶的增强现实的方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211358721.0A CN115620545A (zh) 2017-08-24 2017-08-24 用于辅助驾驶的增强现实的方法及装置
CN201710737404.2A CN109427199B (zh) 2017-08-24 2017-08-24 用于辅助驾驶的增强现实的方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710737404.2A Division CN109427199B (zh) 2017-08-24 2017-08-24 用于辅助驾驶的增强现实的方法及装置

Publications (1)

Publication Number Publication Date
CN115620545A true CN115620545A (zh) 2023-01-17

Family

ID=65500433

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211358721.0A Pending CN115620545A (zh) 2017-08-24 2017-08-24 用于辅助驾驶的增强现实的方法及装置
CN201710737404.2A Active CN109427199B (zh) 2017-08-24 2017-08-24 用于辅助驾驶的增强现实的方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710737404.2A Active CN109427199B (zh) 2017-08-24 2017-08-24 用于辅助驾驶的增强现实的方法及装置

Country Status (1)

Country Link
CN (2) CN115620545A (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102628012B1 (ko) * 2018-10-23 2024-01-22 삼성전자주식회사 캘리브레이션 방법 및 장치
CN109910744B (zh) * 2019-03-18 2022-06-03 重庆睿驰智能科技有限公司 Ldw车道偏离预警***
CN109931944B (zh) * 2019-04-02 2021-12-07 阿波罗智联(北京)科技有限公司 一种ar导航方法、装置、车端设备、服务端及介质
CN110070742A (zh) * 2019-05-29 2019-07-30 浙江吉利控股集团有限公司 高速匝道限速识别方法、***及车辆
CN110341601B (zh) * 2019-06-14 2023-02-17 江苏大学 一种a柱盲区消除与辅助驾驶装置及其控制方法
CN112440888B (zh) * 2019-08-30 2022-07-15 比亚迪股份有限公司 车辆的控制方法、控制装置及电子设备
US11741704B2 (en) * 2019-08-30 2023-08-29 Qualcomm Incorporated Techniques for augmented reality assistance
CN110737266B (zh) * 2019-09-17 2022-11-18 中国第一汽车股份有限公司 一种自动驾驶控制方法、装置、车辆和存储介质
CN111107332A (zh) * 2019-12-30 2020-05-05 华人运通(上海)云计算科技有限公司 一种hud投影图像显示方法和装置
CN113160548B (zh) * 2020-01-23 2023-03-10 宝马股份公司 用于车辆的自动驾驶的方法、设备和车辆
CN111366168B (zh) * 2020-02-17 2023-12-29 深圳毕加索电子有限公司 一种基于多源信息融合的ar导航***及方法
CN111332317A (zh) * 2020-02-17 2020-06-26 吉利汽车研究院（宁波）有限公司 一种基于增强现实技术的行车提醒方法、***和装置
CN111272182B (zh) * 2020-02-20 2021-05-28 武汉科信云图信息技术有限公司 采用区块链数据库的地图绘制***
CN111815863B (zh) * 2020-04-17 2022-06-03 北京嘀嘀无限科技发展有限公司 车辆操控方法、存储介质和电子设备
CN111601279A (zh) * 2020-05-14 2020-08-28 大陆投资(中国)有限公司 在车载显示器中显示动态交通态势的方法和车载***
CN111681437B (zh) * 2020-06-04 2022-10-11 北京航迹科技有限公司 一种周边车辆提醒方法、装置、电子设备及存储介质
CN113763566A (zh) * 2020-06-05 2021-12-07 光宝电子(广州)有限公司 图像生成***及图像生成方法
CN111736701A (zh) * 2020-06-24 2020-10-02 上海商汤临港智能科技有限公司 基于车载数字人的辅助驾驶交互方法及装置、存储介质
CN111738191B (zh) * 2020-06-29 2022-03-11 广州橙行智动汽车科技有限公司 一种车位显示的处理方法和车辆
CN111717028A (zh) * 2020-06-29 2020-09-29 深圳市元征科技股份有限公司 一种ar***控制方法及相关装置
CN112801012B (zh) * 2021-02-05 2021-12-17 腾讯科技（深圳）有限公司 交通元素的处理方法、装置、电子设备及存储介质
CN113536984B (zh) * 2021-06-28 2022-04-26 北京沧沐科技有限公司 一种基于无人机的图像目标识别与跟踪***
CN113247015A (zh) * 2021-06-30 2021-08-13 厦门元馨智能科技有限公司 一种基于体感操作一体眼镜的车辆驾驶辅助***及其方法
CN113470394A (zh) * 2021-07-05 2021-10-01 浙江商汤科技开发有限公司 增强现实的显示方法及相关装置、车辆和存储介质
EP4369177A1 (en) * 2021-07-31 2024-05-15 Huawei Technologies Co., Ltd. Display method, device and system
CN113593303A (zh) * 2021-08-12 2021-11-02 上海仙塔智能科技有限公司 车辆间安全行驶提醒方法、车辆及智能眼镜
CN113989466B (zh) * 2021-10-28 2022-09-20 江苏濠汉信息技术有限公司 一种基于事态认知的超视距辅助驾驶***

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100326674B1 (ko) * 1999-03-11 2002-03-02 이계안 차량의 차선이탈 경보 방법
JP2003505296A (ja) * 1999-07-30 2003-02-12 ピレリ・プネウマティチ・ソチエタ・ペル・アツィオーニ 車両タイヤの制御によって車両の挙動を制御するための方法とシステム
US6977630B1 (en) * 2000-07-18 2005-12-20 University Of Minnesota Mobility assist device
JP2005275691A (ja) * 2004-03-24 2005-10-06 Toshiba Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2005303450A (ja) * 2004-04-07 2005-10-27 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2007030603A (ja) * 2005-07-25 2007-02-08 Mazda Motor Corp 車両用走行支援装置
KR101075615B1 (ko) * 2006-07-06 2011-10-21 포항공과대학교 산학협력단 주행 차량의 운전자 보조 정보 생성 장치 및 방법
JP2008305162A (ja) * 2007-06-07 2008-12-18 Aisin Aw Co Ltd 車両走行支援装置及びプログラム
JP2010055157A (ja) * 2008-08-26 2010-03-11 Panasonic Corp 交差点状況認識システム
FR2938365A1 (fr) * 2008-11-10 2010-05-14 Peugeot Citroen Automobiles Sa Dispositif et procede d'exploitation d'information de signalisation
US8704653B2 (en) * 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
US9406232B2 (en) * 2009-11-27 2016-08-02 Toyota Jidosha Kabushiki Kaisha Driving support apparatus and driving support method
WO2011114386A1 (ja) * 2010-03-19 2011-09-22 三菱電機株式会社 情報提供装置
CN102012230A (zh) * 2010-08-27 2011-04-13 杭州妙影微电子有限公司 一种道路实景导航方法
JP5576781B2 (ja) * 2010-12-16 2014-08-20 株式会社メガチップス 画像処理システム、画像処理システムの動作方法、ホスト装置、プログラム、およびプログラムの作成方法
EP2763122A1 (en) * 2011-09-26 2014-08-06 Toyota Jidosha Kabushiki Kaisha Vehicle driving assistance system
DE102012201896A1 (de) * 2012-02-09 2013-08-14 Robert Bosch Gmbh Fahrerassistenzverfahren und Fahrerassistenzsystem für verschneite Straßen
WO2013169601A2 (en) * 2012-05-07 2013-11-14 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
JP5792678B2 (ja) * 2012-06-01 2015-10-14 株式会社日本自動車部品総合研究所 車線境界線検出装置およびプログラム
US20130328867A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Apparatus and method for providing augmented reality information using three dimension map
JP5910753B2 (ja) * 2012-11-21 2016-04-27 トヨタ自動車株式会社 運転支援装置、及び、運転支援方法
US20140267415A1 (en) * 2013-03-12 2014-09-18 Xueming Tang Road marking illuminattion system and method
DE102013210729A1 (de) * 2013-06-10 2014-12-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs
SE538984C2 (sv) * 2013-07-18 2017-03-14 Scania Cv Ab Fastställande av körfältsposition
DE102013219038A1 (de) * 2013-09-23 2015-03-26 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung eines Verkehrspolizisten durch ein Fahrerassistenzsystem eines Kraftfahrzeugs sowie ein Fahrerassistenzsystem
CN103489314B (zh) * 2013-09-25 2015-09-09 广东欧珀移动通信有限公司 实时路况显示方法及装置
KR101478135B1 (ko) * 2013-12-02 2014-12-31 현대모비스(주) 프로젝션 유닛을 이용한 증강현실 차선변경 보조 시스템
DE102013226760A1 (de) * 2013-12-19 2015-06-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objektreflexionen
US9335178B2 (en) * 2014-01-28 2016-05-10 GM Global Technology Operations LLC Method for using street level images to enhance automated driving mode for vehicle
US9959838B2 (en) * 2014-03-20 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. Transparent display overlay systems for vehicle instrument cluster assemblies
KR20150140449A (ko) * 2014-06-05 2015-12-16 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
CN104401325A (zh) * 2014-11-05 2015-03-11 江苏大学 一种辅助泊车轨迹动态调整及容错的方法和***
JP6447060B2 (ja) * 2014-11-28 2019-01-09 アイシン精機株式会社 車両周辺監視装置
EP3734504A1 (en) * 2015-02-10 2020-11-04 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
KR101714185B1 (ko) * 2015-08-05 2017-03-22 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
US20170161950A1 (en) * 2015-12-08 2017-06-08 GM Global Technology Operations LLC Augmented reality system and image processing of obscured objects
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
CN105678316B (zh) * 2015-12-29 2019-08-27 大连楼兰科技股份有限公司 基于多信息融合的主动驾驶方法
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
US9625264B1 (en) * 2016-01-20 2017-04-18 Denso Corporation Systems and methods for displaying route information
GB201605137D0 (en) * 2016-03-25 2016-05-11 Jaguar Land Rover Ltd Virtual overlay system and method for occluded objects
CN105929539B (zh) * 2016-05-19 2018-10-02 彭波 汽车3d影像采集和裸眼3d平视显示***
CN107784864A (zh) * 2016-08-26 2018-03-09 奥迪股份公司 车辆辅助驾驶方法及***
CN106338828A (zh) * 2016-08-31 2017-01-18 京东方科技集团股份有限公司 车载增强现实***、方法和设备
CN106494309B (zh) * 2016-10-11 2019-06-11 广州视源电子科技股份有限公司 车辆的视觉盲区的画面显示方法、装置以及车载虚拟***
CN106864393A (zh) * 2017-03-27 2017-06-20 深圳市精能奥天导航技术有限公司 高级驾驶辅助功能升级***

Also Published As

Publication number Publication date
CN109427199B (zh) 2022-11-18
CN109427199A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
CN109427199B (zh) 用于辅助驾驶的增强现实的方法及装置
US11767024B2 (en) Augmented reality method and apparatus for driving assistance
CN107848416B (zh) 显示控制装置、显示装置及显示控制方法
EP2851864B1 (en) Vehicular display apparatus, vehicular display method, and vehicular display program
US9267808B2 (en) Visual guidance system
US10131276B2 (en) Vehicle sightline guidance apparatus
EP3530521B1 (en) Driver assistance method and apparatus
CN111414796A (zh) 模拟成像***中的虚拟车辆的自适应透明
US10546422B2 (en) System and method for augmented reality support using a lighting system's sensor data
JP6136565B2 (ja) 車両用表示装置
KR20130012629A (ko) 헤드업 디스플레이를 위한 증강현실 시스템
US20230135641A1 (en) Superimposed image display device
CN111273765A (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
CN111469763A (zh) 利用停车位占用率读数的停车辅助***
JP2012247847A (ja) 車両用情報伝達制御装置、及び、情報伝達制御方法
CN114987460A (zh) 用于车辆的盲区辅助的方法和设备
JP5259277B2 (ja) 運転支援装置
CN113165510B (zh) 显示控制装置、方法和计算机程序
US20210268961A1 (en) Display method, display device, and display system
CN109987025B (zh) 用于夜晚环境的车辆驾驶辅助***及方法
JP6102509B2 (ja) 車両用表示装置
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
JP2021149641A (ja) 対象物提示装置及び対象物提示方法
KR20170055624A (ko) 헤드업 디스플레이를 이용한 차선 표시장치 및 그 방법
CN118220197A (zh) 一种辅助驾驶方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination