CN113063418B - 用于显示3d增强现实导航信息的方法和装置 - Google Patents

用于显示3d增强现实导航信息的方法和装置 Download PDF

Info

Publication number
CN113063418B
CN113063418B CN202011584661.5A CN202011584661A CN113063418B CN 113063418 B CN113063418 B CN 113063418B CN 202011584661 A CN202011584661 A CN 202011584661A CN 113063418 B CN113063418 B CN 113063418B
Authority
CN
China
Prior art keywords
information
navigation information
vehicle
processor
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011584661.5A
Other languages
English (en)
Other versions
CN113063418A (zh
Inventor
金度亨
林镛埈
孔填阿
金奎成
卢在姸
刘注莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113063418A publication Critical patent/CN113063418A/zh
Application granted granted Critical
Publication of CN113063418B publication Critical patent/CN113063418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3658Lane guidance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)

Abstract

本公开提供了用于显示3D增强现实导航信息的方法和装置。该装置包括通信模块、存储器以及处理器。该处理器被配置为经由通信模块获取交通工具的位置信息,确定是否获取与位置信息相对应的HD地图信息;当获取了HD地图信息时,通过使用HD地图信息,以增强现实显示3D导航信息;以及当未获取HD地图信息时,以增强现实显示2D导航信息,其中显示3D导航信息包括通过使用HD地图信息,将用于驾驶引导的虚拟3D图形信息空间匹配到现实世界的实际物体并被显示在实际物体上,其中显示2D导航信息包括用于驾驶引导的虚拟2D图形信息被平面匹配到现实世界中的实际物体并显示在实际物体上。各种其他实施例也是可能的。

Description

用于显示3D增强现实导航信息的方法和装置
技术领域
本公开涉及用于显示3D增强现实导航信息的方法和装置。更具体地,本公开涉及基于高分辨率地图的可用性来显示3D增强现实信息。
背景技术
导航***可以基于在运输工具领域中的诸如汽车或飞机运输工具的位置信息,提供驾驶所必需的各种类型的信息。导航***可以提供二维信息,并且,最近,已经开始提供三维信息。为了提供三维导航信息,可能需要获取的地图的分辨率变高。一种具有高分辨率以及能够被实时获取的新地图,可以被称为高分辨率(HD)地图(或动态地图)。导航***可以通过将增强现实(AR)应用于HD地图来提供导航信息。提供抬头显示器以将增强现实应用于导航信息。
抬头显示器可以是在诸如汽车或飞机的运输工具中增加用户(例如,驾驶员)安全和便利的电子装置。驾驶员在看向前方时可以看到由抬头显示器提供的多种类型的信息(例如,导航信息以及路线信息)。例如,在高速行驶的交通工具中,驾驶员可以转动他或她的眼睛1~3秒钟来观察仪表盘或导航单元。交通工具以每小时100公里(km/h)的速度行驶时,仅两秒就移动55米(m),因此,驾驶员可能在没有任何准备的情况下,被暴露于不可预测的情形中。抬头显示器将信息显示在运输工具的挡风玻璃上,因此,驾驶员可以使他或她的视线向前,从而可以降低发生事故的风险。
上述信息作为背景信息呈现仅用于辅助理解本公开。关于上述内容中的任何一项是否可以用作本公开的现有技术,没有确定,也没有断言。
发明内容
抬头显示器通过使用高分辨率(HD)地图(或HD地图信息)可以二维地或三维地提供导航信息。所述抬头显示器可以通过使用HD地图信息来识别道路空间,因此可以在实际驾驶环境中以增强现实来显示导航信息。然而,当以三维提供导航信息时,根据用户眼睛的位置或交通工具的位置,在覆盖导航信息的位置上可能产生误差。
本公开的各方面至少解决上述的问题和/或缺点并且提供至少如下的优点。因此,本公开的一个方面,提供了一种基于交通工具的位置信息、用户的注视信息、或车道信息,以三维增强现实或二维适当地提供导航信息的方法和装置。
另外的方面将在下面的描述中被部分地阐述,并且部分地从在描述中是显而易见的,或者可以通过实践所呈现的实施例而获知。
根据本公开的一个方面,提供一种电子装置。所述电子装置包括:通信模块、存储器以及处理器,其中,所述处理器被配置为:经由所述通信模块获取交通工具的位置信息,确定是否获取与位置信息相对应的HD地图信息;并且,当获取了所述HD地图信息时,通过使用所述HD地图信息以增强现实显示三维导航信息,并且,当未获取所述HD地图信息时,以增强现实显示二维导航信息,其中,所述三维导航信息是如下信息:在该信息中,通过使用所述HD地图信息,将用于驾驶引导的虚拟三维图形信息空间匹配到现实世界中的实际物体并且显示在现实世界中的实际物体上,并且,其中,所述二维导航信息是如下信息:在该信息中,用于驾驶的虚拟二维图形信息被平面匹配到现实世界中的实际物体并且被显示在现实世界中的实际物体上。
根据本公开的另一方面,提供一种操作方法。所述方法包括从电子装置的通信模块获取交通工具的位置信息,确定是否获得与所述位置信息相对应的HD地图信息;当获取了所述HD地图信息时,通过所述HD地图信息,以增强现实显示三维导航信息,并且,当未获取所述HD地图信息时,以增强现实显示二维导航信息,其中,所述三维导航信息是如下信息:在该信息中,通过使用所述HD地图信息,将用于驾驶引导的虚拟三维图形信息空间匹配到现实世界中的实际物体并且显示在现实世界中的实际物体上,并且,所述二维导航信息是如下信息:在该信息中,用于驾驶引导的虚拟二维图形信息被平面匹配到现实世界中的实际物体并被显示在现实世界中的实际物体上。
根据各个实施例,可以通过基于交通工具的位置信息、用户的注视信息或车道信息,以三维增强现实或以二维适当地提供导航信息,来增强用户的便利性。
根据各个实施例,可以通过使用HD地图信息来检测物体(例如地势、地形特征)、计算物体与交通工具之间的距离(或深度)、通过使用设置在交通工具内部/外部的传感器来检测注视信息或车道信息,并且校正所计算的距离的误差,来提供三维增强现实(AR)导航信息。
根据各个实施例,可以基于关于驾驶员的注视的信息,调整被显示在物体上的三维导航信息,从而在正确位置覆盖并显示导航信息。
根据下面结合附图公开了本公开的各种实施例的具体实施方式,本公开的其他方面、优点和显著特征对于本领域技术人员而言是显而易见的。
附图说明
根据以下结合附图的描述,本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显,其中:
图1是根据本公开的实施例的网络环境中的电子装置的框图;
图2A示出了根据本公开的实施例的电子装置中包括的元件被设置在交通工具中的示例;
图2B示出了根据本公开的实施例的电子装置中包括的元件被设置在交通工具中的示例;
图2C示出了根据本公开的实施例的电子装置的显示类型;
图2D示出了根据本公开的实施例的电子装置的显示类型;
图3示出了根据本公开的实施例的电子装置的功能处理模块的示例;
图4A是示出了根据本公开的实施例的电子装置的操作方法的流程图;
图4B是示出了根据本公开的实施例的电子装置的操作方法的流程图;
图5A示出了根据本公开的实施例的基于用户注视的导航信息显示点;
图5B示出了根据本公开的实施例的基于用户注视的导航信息显示点;
图5C示出了根据本公开的实施例的基于用户注视的导航信息显示点;
图5D示出了根据本公开的实施例的基于用户注视的导航信息显示点;
图6A示出了根据本公开的实施例的导航信息的示例;
图6B示出了根据本公开的实施例的导航信息的示例;
图6C示出了根据本公开的实施例的导航信息的示例;
图6D示出了根据本公开的实施例的导航信息的示例;
图7是示出了根据本公开的实施例的由电子装置显示三维(3D)导航信息的方法的流程图;
图8A是示出了根据本公开的实施例的第一3D导航信息的示例;
图8B是示出了根据本公开的实施例的第一二维(2D)导航信息的示例;
图9A示出了根据本公开的实施例的第二3D导航信息;
图9B示出了根据本公开的实施例的第三3D AR导航信息;
图10A示出了根据本公开的实施例的第四3D导航信息;
图10B示出了根据本公开的实施例的3D与2D导航信息;
图11是示出了根据本公开的实施例的由电子装置显示3D与2D导航信息的方法的流程图;并且
图12是示出了根据本公开的实施例的由电子装置显示导航信息的方法的流程图。
在所有附图中,相似的附图标记将被理解为指代相似的部件、组件和结构。
具体实施方式
提供以下参考附图的描述,以帮助全面理解本公开的由权利要求及其等同限定的各种实施例。它包括各种具体细节以帮助理解,但是这些具体细节仅被认为是示例性的。因此,本领域普通技术人员将认识到,在不脱离本公开的范围和精神的情况下,可以对本文所述的各种实施例进行各种改变和修改。另外,为了清楚和简洁,可以省略对公知功能和构造的描述。
在以下说明书和所附权利要求要求书中使用的术语和词语不限于书面含义,而仅是发明人用来使本公开理解更加清楚以及一致。因此,对于本领域技术人员而言显而易见的是,提供本公开的各种实施例的以下描述仅出于说明的目的,而不是出于限制由所附权利要求书及其等同替换所限定的本公开的目的。
应当理解,单数形式的“一个”,“一种”和“该”包括复数指示物,除非上下文另外明确指出。因此,例如,提及“一个部件表面”包括提及一个或更多个这样的表面。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例,电子装置不限于以上所述的那些电子装置。
应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。将理解的是,与术语相应的单数形式的名词可包括一个或更多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、 B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其他方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)结合”、“结合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可与所述另一元件直接 (例如,有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的,术语“模块”可包括以硬件、软件或固件实现的单元,并可与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”) 可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实现模块。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。
参照图1,网络环境100中的电子装置101可经由第一网络198(例如,短距离无线通信网络)与电子装置102进行通信,或者经由第二网络 199(例如,长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例,电子装置101可经由服务器108与电子装置104进行通信。根据实施例,电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块 176、接口177、触觉模块179、相机模块180、电力管理模块188、电池 189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中,可从电子装置101中省略所述部件中的至少一个(例如,显示装置160或相机模块180),或者可将一个或更多个其他部件添加到电子装置101中。在一些实施例中,可将所述部件中的一些部件实现为单个集成电路。例如,可将传感器模块176(例如,指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如,显示器)中。
处理器120可运行例如软件(例如,程序140)来控制电子装置101 的与处理器120连接的至少一个其他部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。根据一个实施例,作为所述数据处理或计算的至少部分,处理器120可将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施例,处理器120可包括主处理器121(例如,中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。
在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123 可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件 (例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用) 时,辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块 190)相关的功能或状态中的至少一些。根据实施例,可将辅助处理器123 (例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器 123相关的另一部件(例如,相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如,处理器 120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件 (例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作***(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如,用户)接收将由电子装置101的其他部件(例如,处理器120)使用的命令或数据。输入装置 150可包括例如麦克风、鼠标或键盘。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的,接收器可用于呼入呼叫。根据实施例,可将接收器实现为与扬声器分离,或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如,用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例,显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如,压力传感器)。
音频模块170可将声音转换为电信号,反之亦可。根据实施例,音频模块170可经由输入装置150获取声音,或者经由声音输出装置155或与电子装置101直接(例如,有线地)连接或无线连接的外部电子装置(例如,电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如,功率或温度) 或电子装置101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施例,传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如,电子装置102)直接(例如,有线地)或无线连接的一个或更多个特定协议。根据实施例,接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器,其中,电子装置101可经由所述连接器与外部电子装置(例如,电子装置102)物理连接。根据实施例,连接端178 可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179 可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例,相机模块 180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例,可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例,电池 189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如蜂窝网络、互联网、或计算机网络 (例如,LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如,外部电子装置)或者从电子装置101的外部(例如,外部电子装置)接收信号或电力。根据实施例,天线模块197可包括一个或更多个天线,并且因此,可由例如通信模块190(例如,无线通信模块192)选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI)) 相互连接并在它们之间通信地传送信号(例如,命令或数据)。
根据实施例,可经由与第二网络199连接的服务器108在电子装置 101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置,或者是与电子装置101不同类型的装置。根据实施例,将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如,如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置101除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如,内部存储器136或外部存储器138)中的可由机器(例如,电子装置101)读取的一个或更多个指令的软件(例如,程序140)。例如,在处理器的控制下,所述机器(例如,电子装置101)的处理器(例如,处理器120) 可在使用或无需使用一个或更多个其他部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,Play StoreTM) 在线发布(例如,下载或上传)计算机程序产品,或者可直接在两个用户装置(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线发布的,则计算机程序产品中的至少部分可以是临时产生的,或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例,上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体。根据各种实施例,可省略上述部件中的一个或更多个部件,或者可添加一个或更多个其他部件。可选择地或者另外地,可将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施例,该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式,执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例,由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略,或者可添加一个或更多个其他操作。
图2A示出了根据本公开的实施例的电子装置中包括的元件被设置在交通工具中的示例,并且图2B示出了根据本公开的实施例的电子装置中包括的元件被设置在交通工具中的示例。
图2A示出了当从侧面观看交通工具时,电子装置中包括的元件被设置的示例。图2B示出了当从上面观看交通工具时,电子装置中包括的元件被设置的示例。
参照附图2A以及2B,根据各个实施例的电子装置(例如,图1中的电子装置101),可以以抬头显示器(HUD)的形式实现。电子装置101 可以包括驾驶环境感测(或检测)模块210或驾驶员感测(或检测)模块 230。驾驶环境感测模块210包括设置在交通工具201内部或外部的传感器或相机,其可以感测(或检测)交通工具201的驾驶环境。
例如,驾驶环境感测模块210可以包括全球定位***GPS传感器(或接收器)、激光雷达(LIDAR)、加速度传感器、地磁传感器或第一相机中的至少一者。GPS传感器可以从位置信息***(或卫星)实时接收位置信息。LIDAR是光检测和测距的缩写或激光成像、检测以及测距的首字母缩略词,并且,可以是如下传感器:其通过向目标(例如,物体(例如,地势(河流、山川、海滩)或者地形特征(例如,道路、建筑、符号))) 发射激光波束来感测距离、方向、速度、温度、材料分配以及浓度特征,并且测量波束返回需要多长时间以及波束的强度。LIDAR可以测量从交通工具201的当前位置到物体的距离。
加速度传感器可以是用于检测交通工具201的速度的传感器。地磁传感器可以为检测交通工具201的方向(或转向角)的传感器,例如,偏航、滚动、以及俯仰。第一相机可以捕获在交通工具201前方或后方的图像。第一相机可以被设置为捕获交通工具201前方的图像,并且可以在基于视角或分辨率配置的距离(例如,10m)捕获交通工具201前方的图像。驾驶环境感测模块210可以向信息处理模块(例如在图3中的信息处理模块 330)提供由第一相机捕获的图像或由传感器测量的传感器值。由传感器测量的传感器值可以包括交通工具201(例如,交通工具201的当前位置) 的位置信息、交通工具201的速度信息、交通工具201的转向角信息、或者关于交通工具201与物体(例如,位于交通工具201附近的物体)之间的距离的信息中的至少一者。
驾驶员感测模块230,其包括设置于交通工具内部的传感器或第二相机,可以捕获驾驶员的面部的图像。例如,驾驶员感测模块230可以通过捕获交通工具201中的驾驶员座位的图像来捕获用户的面部的图像。驾驶员感测模块230可以向信息处理模块330提供通过捕获驾驶员的面部的图像得到的驾驶员图像。此外,抬头显示器可以进一步包括用于感测驾驶环境或检测驾驶员的注视的各种元件。每个元件可以安装在交通工具201的内部或外部。例如,每个元件可以被设置在交通工具201前表面、相对侧表面或后表面中的至少一者。
电子装置101,其以抬头显示器的形式实现,可以根据信息的显示方法被分类为挡风玻璃型或组合型。
图2C示出了根据本公开的实施例的电子装置的显示类型,并且图2D 示出了根据本公开的实施例的电子装置的显示类型。
图2C示出了根据本公开的实施例的挡风玻璃型抬头显示器的示例。
参考图2C,挡风玻璃型抬头显示器可以是其中透明膜被附连到交通工具的挡风玻璃255的一部分250的显示器,并且可以经由附连的透明膜显示信息(例如,导航信息或路线引导信息)。透明膜可以通过用户附连,或者可以出售其上附连有透明膜的交通工具。
图2D示出了根据本公开的实施例的组合型抬头显示器的示例。
参考图2D,在组合型中,透明塑料盘270可以沿竖直方向(例如,以相对于地面的预定角度(例如,90°))安装(安置)在交通工具的挡风玻璃255的一部分(例如,在驾驶员的座位附近的仪表盘)附近,并且信息可以经由塑料盘270来显示。塑料盘270可以嵌入到交通工具中,并且当交通工具的引擎启动时可以升到仪表盘上方。
除了上述方法以外,抬头显示器也可以通过使用各种方法显示信息。例如,抬头显示器可以在交通工具的整个挡风玻璃上显示信息。在下文中,假定电子装置101(其以抬头显示器的形式实现)是挡风玻璃型或组合型来进行描述,但本公开并不限于该描述。
图3示出了根据本公开的实施例的电子装置的功能处理模块的示例。
参考图3,根据各个实施例的电子装置(例如,图1中的电子装置101) 可以包括用于提供二维或者三维导航信息(或路线引导信息)的功能处理模块300。功能处理模块300可以以硬件或软件的形式包括在电子装置101 的处理器(例如,图1中的处理器120)中。功能处理模块300可以包括第一信息收集模块310、信息处理模块330或第二信息收集模块350中的至少一者。
根据各个实施例,可以省略功能处理模块300中包括的第一信息收集模块310或第二信息收集模块350。第一信息收集模块310或第二信息收集模块350可以由交通工具(例如,图2A以及图2B中的交通工具201) 内部或外部的传感器或者相机代替,并且信息处理模块330可以从安装于交通工具201的传感器或者相机接收信息,并且可以提供二维导航信息或三维导航信息。替代地,当信息处理模块330可以通过使用从第一信息收集模块310接收的信息来提供二维导航信息或三维导航信息时,可以不包括第二信息收集模块350。替代地,如果信息处理模块330可以通过使用从第二信息收集模块350接收的信息来提供二维导航信息或者三维导航信息,则可以不包括第一信息收集模块310。
第一信息收集模块310可以包括:驾驶环境感测模块210;以及驾驶员感测模块230。驾驶环境感测模块210包括安装(或设置)在交通工具 201内部或外部的传感器或者相机,并且可以感测(或检测)交通工具201 的驾驶环境。例如,驾驶环境感测模块210可以包括GPS传感器(或接收器)、LIDAR、加速度传感器、地磁传感器或第一相机中的至少一者。驾驶环境感测模块210可以使用传感器或相机收集交通工具201的位置信息、其速度信息、以及其转向角信息、关于交通工具201与物体之间的距离的信息、或图像信息中的至少一者。驾驶环境感测模块210可以向信息处理模块330提供所收集到的信息。驾驶员感测模块230包括安装于交通工具内的传感器或第二相机,并且可以捕获驾驶员的面部的图像。例如,驾驶员感测模块230可以通过捕获在交通工具201中的驾驶员座位的图像来捕获驾驶员的面部的图像。驾驶员感测模块230可以将通过捕获驾驶员的面部的图像而获得的驾驶员图像提供给信息处理模块330。
第二信息收集模块350可以包括无线通信模块351、地图信息获取模块353或者交通工具信息检测模块355中的至少一者。无线通信模块351 可以包括车辆与万物(V2X)通信模块。V2X可以是通过有线或无线网络,与另一交通工具以及被安装作为道路的基础设施的事物交换信息的通信技术。V2X可以包括适用于道路上的交通工具的所有类型的通信技术,例如车辆与车辆(V2V)通信、车辆与道路基础设施(例如,停车场和交通灯)之间的通信(车辆与基础设施(V2I)通信)、车辆与行人(V2P) 通信或者车辆与移动设备(V2N)通信。
无线通信模块351可以收集来自交通工具、道路基础设施、行人或其他用户的电子装置(例如,图1中的电子装置102以及104)中的至少一者的信息。例如,无线通信模块351可以使用V2X通信收集位置信息、速度信息、驾驶信息、关于交通工具201与另一交通工具之间的距离的信息、关于交通工具201与物体之间的距离的信息、停车信息、交通状况信息、事故信息或信号变化时间信息中的至少一者。无线通信模块351可以具有雷达、传感器或相机,其被设置在交通工具201的内部或外部用来收集信息。无线通信模块351可以将所收集的信息提供给信息处理模块330。
地图信息获取模块353可以获取地图信息。地图信息获取模块353可以基于交通工具201的当前位置的信息提取存储在存储器(例如,图1中的存储器130)中的地图信息。替代地,地图信息获取模块353可以周期性地或实时地向位置提供服务器(例如,图1中的服务器108)发送关于交通工具201的当前位置的信号或信息,并且可以从服务器108接收地图信息。地图信息可以包括高清(HD)地图信息或非HD地图信息(例如,典型地图)。HD地图信息是指具有厘米(cm)级精度的3D地图,并且可以用于无人驾驶。HD地图信息可以包括与在道路上的物体(例如,地势以及地形特征)相关联的各种类型的信息(例如,地势信息、空间信息、位置信息以及反映3D空间映射信息的三维地图信息)作为三维数字信息。 HD地图信息中包括的物体(或物体信息)可以是现实世界中的实际物体 (例如,地势信息、地形特征信息等)。
例如,物体(或物体信息)可以包括基于车道的道路信息(例如,车道(或车道数)、界线、立交桥、地下通道、隧道、路面标识、宽度、弯曲、斜坡、减速带、限速)、交通灯信息(例如,十字路口、直行、转弯 (例如,右转、左转、以及掉头))、符号信息(例如,名称和方向)或者建筑信息(例如,建筑坐标以及建筑轮廓)中的至少一者。HD地图信息不仅可以进一步包括用于驾驶的信息(例如,调节速度(或限速)、设计以及方向名称),还可以包括作为交通工具移动所必需的信息的车道信息以及本地信息。包括在HD地图信息中的车道信息可以包括关于细节的信息(诸如车道中线、车道边界表面以及道路边界表面)、关于建筑轮廓以及路面标记的信息以及简单位置信息(诸如符号、交通灯以及十字路口入口部分)。与HD地图信息不同,非HD地图信息可以为相对简单的地图信息,诸如基于道路的交通灯、符号以及结构(例如,隧道)。当与 HD地图信息相比时,非HD地图信息关于现实世界的实际物体(例如,地势信息、地形特征信息等)可能具有较大的误差范围。进一步地,非 HD地图信息可以包括具有二维平面(或二维层)形式的基于位置信息的地图信息。地图信息获取模块353可以向信息处理模块330提供所获取的地图信息。
交通工具信息检测模块355是用于检测交通工具信息的模块,并且可以包括电子控制单元(ECU),该电子控制单元被配置为通过使用计算机控制发动机状态、自动变速、以及交通工具201的ABS。例如,ECU可以检测交通工具201的转向角或速度,并且可以包括车道保持辅助*** (LKAS)。交通工具信息可以包括转向角信息、速度信息或车道辅助信息中的至少一者。交通工具信息检测模块355可以通过使用被设置在交通工具201的内部或外部的传感器来检测交通工具信息,并且可以向信息处理模块330提供所检测到的交通工具信息。
信息处理模块330可以包括位置跟踪模块331、注视跟踪模块333、车道识别模块335、3D AR处理模块337、建模处理模块339或者显示控制模块341中的至少一者。位置跟踪(或检测)模块331可以基于由第一信息收集模块310或第二信息收集模块350收集的信息,跟踪交通工具 201的位置(或当前位置)。例如,位置跟踪模块331可以从包括在驾驶环境感测模块210中的GPS接收器接收位置信息,可以从LIDAR接收关于交通工具201与物体之间的距离的信息以及交通工具201的速度信息,并且可以从无线通信模块351接收周围交通工具的至少一种类型的位置信息。位置跟踪模块331可以基于所接收的至少一种类型的信息或基于从地图信息获取模块353接收的HD地图信息,跟踪(或获取)交通工具201 的位置信息。当获取HD地图信息时,位置跟踪模块331可以跟踪更准确的位置信息。位置跟踪模块331可以向3D AR处理模块337提供位置信息。
注视跟踪(或检测)模块333可以基于由第一信息收集模块310或第二信息收集模块350收集的信息,跟踪驾驶员的注视。例如,注视跟踪模块333可以从驾驶员感测模块230接收驾驶员图像(例如,面部图像),并且可以从所接收的驾驶员图像提取特征来跟踪驾驶员的注视方向。注视跟踪模块333可以从交通工具信息检测模块355接收转向角信息,并且可以基于转向角信息校正驾驶员的注视方向。注视跟踪模块333可以向3D AR处理模块337提供注视信息。
车道识别(或检测)模块335可以基于由第一信息收集模块310或第二信息收集模块350收集的信息,识别车道信息。例如,车道识别模块 335可以从驾驶环境感测模块210获取通过捕获在交通工具201前方的图像而获得的前方图像,并且可以从所获取的前方图像提取特征来识别车道信息。替代地,车道识别模块335可以从交通工具信息检测模块355获取车道信息,可以从地图信息获取模块353获取HD地图信息,并且可以基于车道信息以及HD地图信息识别(校正)车道信息。车道识别模块335 可以向3D AR处理模块337提供车道信息。
3D AR处理模块337可以基于HD地图信息生成(或处理)三维增强现实(AR)的导航信息(路线信息)。3D AR处理模块337可以从位置跟踪模块331接收位置信息,可以从注视跟踪模块333接收注视信息,并且可以从车道识别模块335接收车道信息。3D AR处理模块337可以基于位置信息、注视信息或车道信息中的至少一者生成三维导航信息。为此, 3D AR处理模块337可以结合建模处理模块339生成三维导航信息。3D AR处理模块337可以从建模处理模块339接收三维导航信息,并且可以通过使用所接收的三维导航信息生成三维AR导航信息。
三维导航信息可以是如下信息:在该信息中,通过使用HD地图信息,将用于驾驶引导的虚拟三维图形信息空间匹配到现实世界中的实际物体并显示在现实世界中的实际物体上。图形信息可以以文本、图像(例如,图标)或视频的至少一者的形式形成。现实世界的实际物体可以是各种地势以及地形特征,例如道路、道路上的交通灯以及符号、和河流。HD地图信息可以包括关于地图(或位置)上的物体的信息(例如,坐标信息)。实际物体可以对应于HD地图信息中包括的物体。三维导航信息以增强现实被显示在实际物体上,因此,当在交通工具201与物体之间产生距离误差时,在使用三维AR来显示图形信息时可能会产生显示误差。显示误差根据距离而变大,因此,需要关于交通工具201与物体之间距离的准确信息。
3D AR处理模块337可以从第一信息收集模块310或第二信息收集模块350获取距离信息。进一步地,3D AR处理模块337可以通过使用HD 地图信息中包括的物体信息来计算距离信息。3D AR处理模块337可以基于从第一信息收集模块310或者第二信息收集模块350所获取的距离信息或者基于在HD地图信息中包括的物体信息,计算距离信息。3D AR处理模块337可以使用HD地图信息以及距离信息来生成三维导航信息,在该三维导航信息中,图形信息被实时反映在实际物体中。在三维导航信息中,图形信息可以根据交通工具的位置变化而实时和/或灵活地改变。
根据各个实施例,根据关于近距离物体的注视信息以及车道信息的误差范围小于根据关于远距离物体的注视信息以及车道信息的误差范围。3D AR处理模块337可以基于注视信息和车道信息计算用于显示导航信息的角度和距离(例如,z轴信息、向前/向后)。3DAR处理模块337可以基于所计算的角度和距离确定在其处显示的三维导航信息的位置。
建模处理模块339可以通过二维或三维建模来生成二维导航信息或三维导航信息。建模处理模块339可以从位置跟踪模块331接收位置信息。如果获取了HD地图信息,则建模处理模块339可以基于HD地图信息中包括的物体信息生成三维导航信息,并且可以将三维导航信息发送到3D AR处理模块337。如果HD地图信息未被获取,则建模处理模块339可以生成二维导航信息。二维导航信息可以是如下信息:用于驾驶引导的虚拟二维图形信息被平面匹配到现实世界中的实际物体并被显示在现实世界中的实际物体上的信息。在二维导航信息中,图形信息可以根据交通工具的位置变化而实时和/或灵活地改变。二维导航信息不是使用HD地图信息来生成的,因此,与三维导航信息相比,可能具有较大的显示误差。
建模处理模块339可以基于注视信息以及车道信息校正所生成的三维导航信息或二维导航信息。为了将导航信息显示在准确的位置,可能需要驾驶员注视方向信息或车道信息。例如,当接收到注视信息或车道信息时,建模处理模块339可以基于注视信息或车道信息可以校正三维导航信息或者二维导航信息的显示角度、显示距离或显示位置中的至少一者。
二维建模可以是通过使用二维层来显示导航信息的建模技术。二维建模可以包括基于车道的二维建模或基于道路的二维建模。三维建模可以是通过使用三维层来显示导航信息的建模技术。三维建模可以包括基于车道的三维建模或者基于道路的三维建模。例如,基于车道的建模是基于车道建模导航信息的技术,并且基于道路的建模可以是基于道路建模导航信息的技术。当未从车道识别模块335接收到车道信息时,建模处理模块339 可以通过使用基于道路的建模代替基于车道的建模来建模导航信息。建模处理模块339可以生成二维导航信息并且可以向显示控制模块341发送所生成的二维导航信息。建模处理模块339可以生成三维导航信息并且可以向3D AR处理模块337发送所生成的三维导航信息。
显示控制模块341可以在所指定的位置显示三维导航信息或二维导航信息。所指定的位置可以取决于电子装置101的显示类型。例如,在为挡风玻璃型的情况下,所指定的位置可以为交通工具201的挡风玻璃的一部分(例如,应用了透明膜的一部分)。在为组合型的情况下,所指定的位置可以是安装塑料盘的一部分(例如,驾驶员的座位附近的仪表盘)。显示控制模块341可以通过被设置在交通工具201的内部区域(例如,在前排座位或者后排座位上方的车顶)的模块(例如,投影仪)输出的图像来显示三维导航信息或二维导航信息。显示控制模块341可以从建模处理模块339接收二维导航信息,并且可以显示所接收的二维导航信息。显示控制模块341可以从3D AR处理模块337接收3D导航信息并且可以显示所接收的3D导航信息。
根据各个实施例的电子装置(例如,图1中的电子装置101)可以包括:通信模块(例如,图1中的通信模块190);存储器(例如,图1中的存储器130);处理器(例如,图1中的处理器120),其中,处理器被配置为:经由通信模块获取交通工具的位置信息;确定是否获取与位置信息相对应的高分辨率(HD)地图信息获取;并且当获取了HD地图信息时,通过使用HD地图信息以增强现实显示三维导航信息,并且当未获取HD地图信息时,以增强现实显示二维导航信息,其中,三维导航信息是如下信息:在该信息中,通过使用HD地图信息,将用于驾驶引导的虚拟三维图形信息空间匹配到现实世界中的实际物体并显示在现实世界中的实际物体上,并且二维导航信息是如下信息:在该信息中,将用于驾驶引导的虚拟二维图形信息平面匹配到现实世界中的实际物体并显示在现实世界中的实际物体上。
电子装置还可以包括:第一相机,该第一相机被配置为捕获在交通工具中的驾驶员的驾驶员图像,以及处理器,该处理器被配置为:通过使用第一相机所捕获的驾驶员图像来识别驾驶员的注视信息;并且基于注视信息来控制三维导航信息或二维导航信息的显示。
电子装置还可以包括被配置为捕获交通工具前方的图像的第二相机,其中处理器被配置为:通过使用由第二相机捕获的交通工具前方的图像来识别交通工具的车道信息;并且基于注视信息以及车道信息来控制三维导航信息或二维导航信息的显示。
处理器可以被配置为:从通信模块获取由设置在交通工具中的传感器测量的关于交通工具与交通工具附近的实际物体之间的距离的信息;并且通过使用HD地图信息以及距离信息,将三维导航信息匹配到现实世界中的实际物体并显示在现实世界中的实际物体上。
处理器可以被配置为:当获取了HD地图信息时,基于车道信息确定是否识别出车道;当车道被识别出时,通过使用HD地图信息来显示三维导航信息;并且当车道未被识别出时,使用该信息显示3D与2D导航信息,其中,根据距离而不同地显示三维导航信息以及二维导航信息。
处理器可以被配置为:基于车道信息或注视信息计算用于显示三维导航信息的角度和距离;基于所计算的角度和距离确定三维导航信息的显示位置;并且基于显示位置,将三维导航信息显示在现实世界中的实际物体上。
3D与2D导航信息可以被配置成使得:对应于第一距离,显示所述 3D导航信息;以及对应于超过所述第一距离的第二距离,显示所述2D导航信息。
处理器可以被配置为:生成要对应于第二距离显示的导航信息,作为 2D导航信息;并且在超过第一距离的点的平面上显示2D导航信息。
处理器可以被配置为:基于交通工具所行驶的道路类型、十字路口、驾驶环境或速度中的至少一者来确定2D导航信息要被显示的显示位置。
处理器可以被配置为:当根据交通工具的位置变化,转弯点被包括在第一距离内时,改变2D导航信息要被显示的显示位置。
处理器可以被配置为:对应于第一距离,显示2D导航信息;并且对应于超过第一距离的第二距离,不显示导航信息。
图4A是示出了根据本公开的实施例的电子装置的操作方法的流程图。
参考图4A,在操作401中,根据各个实施例的电子装置(例如,图1 中的电子装置101)的处理器(例如,图1中的处理器120)可以获取位置信息。在下文中,图4A示出了在设置目的地以便预先为用户(或驾驶员)接收导航信息(或路线引导信息)的情况下执行操作的示例。电子装置101可以被安装或设置于交通工具(例如,图2A以及2B中的交通工具201),并且可以获取使用安装在交通工具201内部或外部的传感器或相机收集的各种类型的信息。处理器120(例如,图3中的位置跟踪模块 331)可以从GPS接收器接收交通工具201的位置信息,可以从LIDAR 接收距离信息或速度信息,或者可以从另一电子装置(例如。另一交通工具、道路基础设施、以及另一交通工具的移动装置)接收周围交通工具的至少一种类型的位置信息。处理器120基于所接收的至少一种类型的信息可以跟踪(或获取)交通工具201的位置信息。处理器120可以实时获取交通工具201的位置信息(例如,当前位置)。由于接收更多类型的信息,处理器120可以更准确地跟踪(或识别)交通工具201的位置信息。
当接收了位置信息时,处理器120可以获取与位置信息相对应的HD 地图信息或非HD地图信息。处理器120可以实时地或者在设置目的地后获取到达目的地的路线所需的HD地图信息或非HD地图信息。HD地图信息是指具有厘米(cm)级精度的3D地图,并且可以包括与道路上的物体相关联的信息作为三维数字信息。物体可以包括基于车道的道路信息、交通灯信息、符号信息或者建筑信息中的至少一者。处理器120可以从存储器(例如,图1中的存储器130)获取与位置信息相对应的HD地图信息或非HD地图信息,或者可以周期性或实时地从位置提供服务器(例如,图1中的服务器108)接收HD地图信息或非HD地图信息。
在操作403中,处理器120可以确定是否已经获取(或接收)了HD 地图信息。与地图信息(例如,非HD地图信息以及典型地图信息)不同, HD地图信息可以包括各种类型的基于车道的信息,从而可以增强位置信息的准确性。然而,可能没有基于位置的HD地图信息,并且可能难以实时地获取HD地图信息。当没有HD地图信息时,处理器120可以获取非 HD地图信息。当在操作401中接收到位置信息时,可以获取HD地图信息或非HD地图信息。处理器120可以在获取了HD地图信息时执行操作 405,并且可以在未获取HD地图信息时(例如当获取了非HD地图信息时)执行操作407。
根据各个实施例,位置准确性可以取决于是否获取了HD地图信息。例如,在获取了HD地图信息的情况(状态)下,位置准确性可以较高,并且在未获取HD地图信息的情况下,位置准确性可以较低。处理器120 可以基于位置准确性来确定用于显示信息的方法。例如,用于显示信息的方法可以根据位置准确性而改变,但可以基于额外获取的驾驶员注视信息和车道信息增加空间准确性。处理器120可以使用HD地图信息将三维导航信息映射到现实世界的实际物体(例如,地势、地形特征)上,并且可以基于驾驶员的注视信息以及车道信息显示三维导航信息。处理器120可以根据显示信息的方法来显示不同数量的信息。例如,在位置准确性较高时所显示的三维导航信息的数量可以大于在位置准确性较低时所显示的二维导航信息的数量。
当已经获取了HD地图信息时,在操作405中,处理器120可以显示 3D(或三维)导航信息。可以将获取了HD地图信息的情况称为“第一条件”或者“高准确性”。3D导航信息可以为如下信息:在该信息中,通过使用HD地图信息,将用于驾驶引导的虚拟三维图形信息空间匹配到现实世界中的实际物体并且显示在现实世界中的实际物体上。处理器120可以通过使用在HD地图信息中包括的物体信息将三维图形信息与现实世界中的实际物体相匹配。替代地,3D导航信息可以为如下信息:其中图形信息以三维(或空间上)(或在三维平面)提供,包括在水平方向(例如,x轴)和/或竖直方向(例如,y轴)上的距离(深度)信息(例如,z轴),并且图形信息根据距离被投影为不同的尺寸(例如,适于立体投影)。处理器120可以从通信模块190获取由设置在交通工具中的传感器(例如, LIDAR)测量的关于交通工具与交通工具附近的实际物体之间的距离的信息。替代地,处理器120可以使用无线通信模块351,通过V2X通信获取关于交通工具201与另一交通工具之间的距离的信息或者关于交通工具 201与物体之间的距离的信息。处理器120可以通过使用HD地图信息以及距离信息将三维导航信息匹配到现实世界中的实际物体,并可以显示该三维导航信息。在三维导航信息中,图形信息可以根据交通工具201的位置变化实时和/或灵活地改变。
当未获取HD地图信息时,在操作407中,处理器120可以显示2D (或二维)导航信息。未获取HD地图信息的情况(状态)可以称为“第三条件”或“低准确性”。在第三条件的情况下,处理器120可以生成并显示2D导航信息。2D导航信息可以为如下信息:在该信息中,用于驾驶引导的虚拟二维图形信息被平面匹配到现实世界中的实际物体并被显示在现实世界中的实际物体上。二维导航信息可以为如下信息:在该信息中,用于驾驶引导的虚拟图形信息可以在水平(例如,x轴)方向和/或竖直(例如,y轴)方向被二维地(或平面地)提供(作为二维平面),并且图形信息可以以相同尺寸被投影(例如,可以适于平行投影)。在二维导航信息中,图形信息可以根据交通工具201的位置变化而实时地和/或灵活地改变。
根据各个实施例,当导航信息被获取以显示在与交通工具201超过预定距离的位置时,导航信息显示误差会增加。处理器120可以仅在预定距离内的位置显示二维导航信息,并且可以在位置超过预定距离时不显示二维导航信息。根据各个实施例,当车道可以被识别出时,处理器120可以使用基于车道的二维建模显示2D导航信息。当车道不能被识别出时,处理器120可以通过使用基于道路的二维建模显示二维(2D)导航信息。
图4B是示出了根据本公开的实施例的电子装置的操作方法的流程图。图4B更具体地示出了当在图4A中已经获取了HD地图信息时所执行的操作。
参考图4B,在操作411中,处理器120可以监视驾驶员的注视信息。处理器120(例如,图3中的的注视跟踪模块333)可以接收由设置在交通工具201中的相机(例如,驾驶员感测模块230)所捕获的驾驶员图像,并且可以基于所接收的驾驶员图像获取注视信息。处理器120可以从驾驶员图像提取特征,并且可以从所提取的特征中分析驾驶员的眼睛特征。处理器120可以通过使用驾驶员的眼睛特征跟踪驾驶员的注视方向。处理器 120可以从设置在交通工具内部或外部的传感器(例如,交通工具信息检测模块355)接收转向角信息,并且可以基于转向角信息校正驾驶员的注视方向。
在操作413中,处理器120可以识别交通工具的车道信息。处理器 120(例如,图3中的车道识别模块335)可以从设置在交通工具201内部或外部的传感器或相机(例如,驾驶环境感测模块210)获取交通工具 201前方的图像,并且可以从所获取的交通工具201前方的图像提取特征来识别车道信息。处理器120可以从交通工具信息检测模块355获取车道信息,可以从地图信息获取模块353获取HD地图信息,并且可以基于所获取的车道信息以及所获取的HD地图信息来识别(或校正)车道信息。
在操作415中,处理器120可以确定车道是否被识别(或确定)。在其中基于HD地图信息显示导航信息的情况下,在根据车道或驾驶员的注视方向显示的导航信息中可能出现误差。为了减少信息显示误差,处理器 120可以根据在车道被识别出时以及在车道未被识别出时,显示不同类型的导航信息。当车道被识别出时,处理器120可以执行操作417,并且当车道未被识别出时,可以执行操作419。
当车道被识别出时,在操作417中,处理器120可以基于注视信息以及车道信息控制3D(或三维)导航信息的显示。处理器120可以基于注视信息以及车道信息中的至少一者显示三维导航信息。HD地图信息被获取到并且车道被识别出的情况可以被称为第一条件或高准确性。在第一条件的情况下,处理器120可以基于注视信息以及车道信息计算用于显示导航信息的角度(例如,水平和/或竖直方向)以及距离(例如,深度方向),并且可以基于所计算的角度以及深度确定3D导航信息的显示位置。处理器120可以在显示位置以增强现实显示3D导航信息。
当车道未被识别出时,在操作419中,处理器120可以基于注视信息显示取决于距离的2D以及3D导航信息。在基于注视信息或车道信息显示的导航信息中可能出现误差,并且随着距离增加,如果以增强现实显示导航信息,则误差可能会变大。距离越大,Z值(例如,距离信息)的重要性变得越小。因此,当位置准确性降低时,将与远距离相对应的导航信息显示为2D可以减少显示误差。获取了HD地图信息但未识别出车道的情况可以被称为第二条件或中间准确性。在第二条件的情况下,处理器 120可以一起显示取决于距离的二维导航信息以及三维导航信息。例如,当与交通工具201的当前位置的距离在预定距离(例如,3m、5m或10m) 内时,处理器120可以生成3D导航信息,并且当距离超过预定距离时,可以生成2D导航信息。处理器120可以对应于与交通工具201的当前位置相距第一距离(例如,预定距离)显示3D导航信息,并且可以对应于第二距离(例如,超过预定距离的距离)显示2D导航信息。
根据各个实施例,处理器120可以基于交通工具201所行驶的道路的类型、十字路口、驾驶环境或者速度中的至少一者,设置预定距离(或深度),根据该预定距离(或深度)不同地显示信息。例如,对于高速公路,处理器120可以将预定距离设置30m,而对于国道,将预定距离设置为 10m。当在HD地图信息中有许多物体时,处理器120可以将预定距离设置为20m,而当在HD地图信息中具有少量物体时,将预定距离设置为大于20m的值。在临近十字路口的情况下,处理器120可以将距离设置为 10m,而在不临近十字路口的情况下,将预定距离设置为20m。替代地,当交通工具201速度较高(例如,超过100km/h)时,处理器120可以将预定距离设置为较大值(例如,30m),而当交通工具201的速度较低(例如,等于或小于50km/h)时,将预定距离设置为较小值(例如,10m)。综合考虑道路类型、十字路口、驾驶环境或速度,处理器120可以设置预定距离(或深度),根据该预定距离(或深度)不同地显示信息。
图5A示出了根据本公开的实施例的基于用户注视的导航信息显示点,图5B示出了根据本公开的实施例的基于用户注视的导航信息显示点,图 5C示出了根据本公开的实施例的基于用户注视的导航信息显示点,并且图5D示出了根据本公开的实施例的基于用户注视的导航信息显示点。
图5A示出了根据本公开的实施例的基于用户注视的导航信息显示点。
参考图5A,根据各个实施例的电子装置(例如,图1中的电子装置 101)的处理器(例如,图1中的处理器120)可以基于交通工具(例如,图2A以及2B中的交通工具201)的位置或交通工具201中的驾驶员500 的注视,控制导航信息的显示。例如,处理器120可以基于与交通工具 201(例如,向前/向后以及深度方向)的距离,在显示导航信息的位置(例如,第一显示位置501到第六显示位置511)之间进行区分。例如,第一显示位置501是能够覆盖并且显示导航信息的最小距离,并且可以对应于例如交通工具201的挡风玻璃。第二显示位置503可以是能够在地面(例如,道路)上显示导航信息的点。第三显示位置505可以是示出在导航信息上的单车道的点。第四显示位置507可以是示出在导航信息上的左转或右转通知的点。第五显示位置509可以是示出在导航信息上的两车道的点。第六显示位置511可以是能够覆盖并且显示导航信息的最大距离。
图5B示出了根据本公开的实施例的显示3D导航信息的示例。
参考图5B,处理器120可以从交通工具201的当前位置到第六显示位置511显示三维导航信息(例如,三角形箭头),第六显示位置511是导航信息能够覆盖并显示的最大距离。三维导航信息可以是如下信息:在该信息中,通过使用HD地图信息,将用于驾驶引导的虚拟三维图形信息空间匹配到现实世界中的实际物体并显示在现实世界中的实际物体上。三维导航信息可以被三维地提供,以便用于驾驶引导的虚拟图形信息包括在水平方向和/或竖直方向上的距离信息。三维导航信息是如下信息:在该信息中,随着与交通工具201的距离变得越大,可以被显示的图形信息变得越小。
例如,处理器120可以获取与交通工具201的位置信息相对应的HD 地图信息,并且当获取了注视信息以及车道信息时,可以确定位置准确性是高的。当位置准确性是高的时,处理器120可以根据车道显示3D导航信息,并且,可以在车道的中间显示指示方向的指示符(例如,箭头)。当在到目的地的路线中包括转向信息(例如,右转、左转以及掉头)时,可以显示方向指示符。
三维导航信息被覆盖并显示在道路上,因此显示位置可以根据道路情况而变化。例如,当在道路上具有减速带515时,处理器120可以执行控制,使得基于减速带515的倾斜角来显示三维导航信息。进一步地,处理器120可以在三维导航信息中包括与减速带515有关的符号信息517并且可以提供三维导航信息。符号信息517可以包括关于减速带515的文本、图像(例如,符号图标)或视频中的至少一者。
图5C示出了根据本公开的实施例的显示3D与2D导航信息的示例。
参考图5C,处理器120可以从交通工具201的当前位置到第四显示位置507显示三维以及二维导航信息(例如,三角形箭头)。三维以及二维导航信息可以是如下信息:在该信息中,三维导航信息可以被显示至第三显示位置505,并且从第三显示位置505到第四显示位置507显示二维导航信息。与交通工具201的当前位置的距离越大,Z值(例如,距离信息)的重要性变得越小。因此,当位置准确性降低时,对应于与交通工具 201远的距离,可以显示二维导航信息,并且因此可以减少显示误差。当从交通工具201的当前位置到第三显示位置505的距离非常短时,驾驶员的视野范围可以覆盖较大范围的车道,因此,可以较少受位置准确性的影响。处理器120可以基于驾驶员的注视信息,对应于距交通工具201近的距离,参考车道的中间,显示三维导航信息,并且对应于距交通工具201 远的距离,参考中间车道,显示二维导航信息。
例如,当处理器120已经获取与交通工具201的位置信息相对应的 HD地图信息以及注视信息,但未获取车道信息时,处理器120可以确定位置准确性是中等的。当位置准确性是中等的时,处理器120可以假设驾驶员在朝向目的地的行驶方向驾驶交通工具201,在驾驶员的视野范围的中央显示3D导航信息,并且可以显示指示方向的指示符(例如,箭头)。可以根据距交通工具201的距离三维地或二维地显示方向指示符。
根据各个实施例,三维导航信息被显示至第三显示位置505,因此当从交通工具201的当前位置到第三显示位置505的道路上具有减速带515 时,处理器120可以执行控制,使得三维导航信息基于减速带515的倾斜角来显示。进一步地,处理器120可以在三维导航信息中包括与减速带 515有关的符号信息517,并且可以提供三维导航信息。处理器120可以在第四显示位置507的竖直平面上将导航信息显示为二维导航信息,该导航信息要在超过第四显示位置507的位置处被显示。
图5D示出了根据本公开的实施例的显示2D导航信息的示例。
参考图5D,处理器120可以从交通工具201的当前位置到第三显示位置505显示二维导航信息(例如,三角形箭头)。二维导航信息可以是如下信息:在该信息中,用于驾驶引导的虚拟二维图形信息被平面匹配到现实世界中的实际物体并显示在现实世界中的实际物体上。在二维导航信息中,在水平方向和/或竖直方向上二维地提供用于驾驶引导的虚拟图形信息,并且该图形信息可以以相同尺寸被投影(例如,可以适于平行投影)。在二维导航信息的情况下,位置准确性是低的,因此,与三维导航信息的情况相比,显示图形信息的距离可能较短。例如,二维导航信息可以为如下信息:在该信息中,即使与交通工具201的距离变大,也以预定尺寸显示图形信息。二维导航信息可以不显示与减速带515有关的符号信息517。替代地,与三维导航信息不同,二维导航信息可以为如下信息:在该信息中,与减速带515的倾斜角无关地显示图形信息。
例如,当获取了注视信息或车道信息,但未获取与交通工具201的位置信息相对应的HD地图信息时,处理器120可以确定位置准确性是低的。当位置准确性是低的时,处理器120可以假设驾驶员在朝向目的地的行驶方向驾驶交通工具201,在驾驶员的视野范围中央显示3D导航信息,并且可以显示指示方向的指示符(例如,箭头)。
图6A示出了根据本公开的实施例的导航信息的示例,图6B示出了根据本公开的实施例的导航信息的示例,图6C示出了根据本公开的实施例的导航信息的示例,并且图6D示出了根据本公开的实施例的导航信息的示例。
图6A示出了根据本公开的实施例的显示3D导航信息的示例。
参考图6A,根据各个实施例的电子装置(例如,图1中的电子装置 101)的处理器(例如,图1中的处理器120)可以基于与位置信息相对应的HD地图信息,生成3D导航信息610。当获取了HD地图信息并且车道被识别出(例如,第一条件)时,处理器120可以生成3D导航信息 610。3D导航信息610可以包括用于显示(或示出)交通工具(例如,图 2A以及2B中的交通工具201)的速度信息、转弯信息或时间信息的第一区域601或第二区域603。例如,处理器120可以在第一区域601中显示交通工具201的速度信息,并且可以在第二区域603中显示转弯信息。速度信息包括交通工具201的当前速度或调节速度,并且可以包括文本、图像(例如,图标)或者视频。转弯信息包括左转、右转、掉头或至转弯的距离,并且可以包括文本、图像(例如,图标)或视频。
进一步地,3D导航信息610可以包括要被显示在第三区域605(例如,第二显示位置(例如,图5中的第二显示位置503以及第四显示位置507)) 以及第四区域607(例如,第四显示位置507到第六显示位置511)中的各种类型的导航信息(例如,第一3D信息613以及第二3D信息611)。 3D导航信息610可以被三维地提供,使得用于驾驶引导的虚拟图形信息包括在水平方向和/或竖直方向上的距离信息。3D导航信息610可以为如下信息:在该信息中,图形信息以点、线、面或图形的形式被覆盖并显示在HD地图信息中包括的物体上。3D导航信息610可以以文本、图像或视频中的至少一者的形式显示图形信息。
例如,处理器120基于交通工具201的车道或者在交通工具201中的驾驶员的注视方向可以显示第一3D信息613以及第二3D信息611。例如,处理器120可以以看起来像是附着于地面(例如车道)的地毯的形式在第二显示位置503以及第三显示位置505显示第一3D信息613。在第一3D信息613中,图形信息可以以面的形式显示。进一步地,处理器120可以在第二显示位置503到第五显示位置509以箭头似乎悬浮在地面上的方式显示第二3D信息611。在第二3D信息611中,图形信息可以以图形(例如以箭头形状)的方式显示。
根据各个实施例,处理器120可以根据交通工具201的位置变化跟踪驾驶员的注视以及交通工具201的车道,可以基于跟踪的注视以及车道计算用于显示3D导航信息的角度和距离,并且可以基于所计算的角度和距离确定3D导航信息的显示位置。为了减少显示误差,车道可以被显示成比在HD地图信息中的车道更窄或更宽。第一3D信息613或者第二3D信息611的透明度、等级或距离(或关于距离的尺寸(或宽度))可以根据交通工具201的位置变化(例如,距离变化)而改变。第一3D信息613 或者第二3D信息611可以为如下信息:在该信息中,图形信息被映射到现实世界的实际物体(例如,符号、山丘、斜坡、弯曲)上,并且被以增强现实来显示。处理器120可以根据交通工具201的位置变化来改变以及显示3D导航信息610。例如,随着交通工具201变近,3D导航信息610 可以被显示地更大,并且随着交通工具201变远,3D导航信息可以被显示地更小。3D导航信息610示出了类似于真实距离的距离感,并且处理器120可以根据驾驶员的注视方向来改变并显示3D导航信息610。
图6B示出了根据本公开的实施例的显示3D与2D导航信息的示例。
参考图6B,处理器120可以基于与位置信息相对应的HD地图信息,生成3D与2D导航信息630。当获取了HD地图信息但并未识别出车道(例如,第二条件)时,处理器120可以生成3D与2D导航信息630。3D与 2D导航信息630可以为如下信息:在该信息中,第一3D导航信息631 被显示在第三区域605以及第一2D导航信息633被显示在第四区域607。 3D与2D导航信息630可以在第一显示位置501处包括第一区域601或第二区域603来显示交通工具201的速度信息、转弯信息或者时间信息。第一区域601以及第二区域603与图6A中的601以及603相同或相似,因此将省略其详细描述。
第一3D导航信息631可以为如下信息:在该信息中,图形信息以点、线、面或图形的形式被覆盖并显示在HD地图信息中的物体上。第一3D 导航信息631可以被三维地提供,使得图形信息包括在水平方向和/或竖直方向上的距离(深度)信息,并且可以为如下信息:在该信息中,图形信息根据距离而被投影为不同的尺寸(例如,适于立体投影)。第一2D 导航信息633可以被二维(或平面地)提供(或在二维平面中),其被以点、线、面或者图形的方式配置,并且图形信息被投影为相同尺寸(例如,适于平行投影)。
根据各个实施例,导航信息的显示误差随着距离(例如,Z值)变大而变大。因此,当位置准确性减小时,将对应于远距离的导航信息显示为 2D可以减少显示误差。处理器120可以关于接近交通工具201的距离显示第一3D导航信息631并且可以关于远离交通工具201的距离显示第一 2D导航信息633。例如,处理器120可以生成与第三区域605(例如,第一显示位置501至第三显示位置505)相对应的第一3D导航信息631,并且可以生成与第四区域607(例如,第三显示位置505至第四显示位置507) 相对应的第一2D导航信息633。
例如,第一2D导航信息633可以为如下信息:在该信息中,要被显示在第四区域607中的导航信息被显示在第四显示位置507的平面(垂直于地面的平面)上。例如,要被显示在第四区域607的导航信息可以是引导交通工具201的行驶方向(例如,前进方向)的箭头图形。处理器12 可以显示第一2D导航信息633,使得箭头图形被显示在第四显示位置507 的竖直平面上。箭头图形可以以悬浮在地面上方的状态被显示在第四显示位置507上。第一2D导航信息633可以为如下信息:在该信息中,三个箭头图形可以以相同尺寸或不同尺寸被显示在第四显示位置507的平面上。
当3D与2D导航信息630与图6A中的3D导航信息610比较时,3D 导航信息610的第三区域605可以与第一3D导航信息631相同或相似。如在3D导航信息610中或与之相似,处理器120可以生成关于位于距交通工具201近的第三区域605的第一3D导航信息631。3D导航信息610 的第四区域607可以与第一2D导航信息633不同。在3D导航信息610 的第四区域607中,箭头图形的显示位置可以根据与交通工具201的距离而变化。在与3D导航信息610的第四区域607相对应的第一2D导航信息633中,箭头图形的显示位置不根据距离而变化。第一2D导航信息633 不包括距离信息(例如,z值),因此虚拟图形信息可以在水平方向和/ 或竖直方向上被二维地提供。
根据各个实施例,处理器120可以基于交通工具201行驶的道路类型、十字路口、驾驶环境或速度中的至少一者确定要被显示的第一2D导航信息633的显示位置。在上述描述中,第四显示位置507已经被描述为要被显示的第一2D导航信息633的显示位置。然而,要被显示的第一2D导航信息633的显示位置可以为第三显示位置505、第五显示位置509、或第六显示位置511中的一个。例如,处理器120可以在高速公路上将显示位置配置为是长的,并且可以在国道上将显示位置配置为是短的。替代地,当在HD地图信息中包括许多物体时,处理器120可以将显示位置配置为是短的,并且当在HD地图信息中包括少量物体时,可以将显示位置配置为是长的。当交通工具201临近十字路口时,处理器120可以将显示位置配置为是短的,并且当交通工具201不临近十字路口时,可以将显示位置配置为是长的。替代地,当交通工具201的速度是高的时(例如,超过 100Km/h),处理器120可以将显示位置配置为是短的,并且当交通工具 201的速度是低的时(例如,等于或小于50km/h),可以将显示位置配置为是长的。上述示例是为了帮助理解本公开,并且本公开不限于该描述。
图6C示出了根据本公开的实施例的显示3D与2D导航信息的其他示例。
参考图6C,处理器120可以基于与位置信息相对应的HD地图信息生成3D与2D导航信息650。当获取了HD地图信息但未识别出车道(例如,第二条件)时,处理器120可以生成3D与2D导航信息650。当显示图6B中的3D与2D导航信息630时,处理器120可以根据交通工具201 的位置变化来改变并显示3D与2D导航信息650。当通过交通工具201 的位置变化而使得第三区域605中包括转弯点(例如,右转、左转或掉头) 时,处理器120可以从第一显示位置501到第三显示位置505生成第二 3D导航信息651,并且可以关于超过第三显示位置505的导航信息生成第二2D导航信息653。第二2D导航信息653可以是如下信息:在该信息中,导航信息被覆盖并显示在地面(例如,道路)上。第三显示位置505可以是交通工具201需要转弯(例如,右转或左转)的位置。当交通工具201 需要在第三区域605中转弯时,即便在交通工具201未离开第三区域605 时,处理器120也可以显示第一2D导航信息633。
当图6B以及图6C进行相互比较时,在显示3D与2D导航信息时,处理器120可以基于交通工具201的位置变化来改变3D导航信息以及2D 导航信息的显示位置。例如,3D与2D导航信息630中包括的第一3D导航信息631以及第一2D导航信息633的显示位置可以与3D与2D导航信息650中包括的第二3D导航信息651以及第二2D导航信息653的显示位置不同。当通过交通工具201的位置变化而使得在第三区域605中包括转弯点时,处理器120可以改变第二2D导航信息653的显示位置。当交通工具201接近转弯点时,处理器120可以显示3D导航信息。
图6D示出了根据本公开的实施例的显示2D导航信息的示例。
参考图6D,处理器120可以生成2D导航信息670。当未获取HD地图信息(例如,第三条件)时,处理器120可以生成2D导航信息670。 2D导航信息670可以包括用于显示交通工具201的速度信息、转弯信息或时间信息的第一区域601或第二区域603。第一区域601以及第二区域 603可以与图6A的第一区域以及第二区域相同或相似,因此将省略其详细描述。2D导航信息670可以为如下信息:在该信息中,用于驾驶引导的虚拟图形信息在水平方向和/或竖直方向上被二维地提供,并且图形信息被投影为相同尺寸(例如,适于平行投影)。2D导航信息670不包括距离信息,因此可以在二维平面上显示用于引导驾驶员的驾驶的信息。处理器120可以生成与预定距离(例如,第三区域605)相对应的2D导航信息670,并且当距离超过预定距离(例如,第四区域607)时,可以不生成导航信息。例如,处理器120可以仅显示与短距离(例如,第三区域 605)相对应的2D导航信息670,并且可以不显示与远距离(例如,第四区域607)相对应的导航信息。处理器120可以基于交通工具201的车道以及驾驶员的注视显示2D导航信息670。
根据各个实施例,当第三区域605或第四区域607是直线部分时,处理器120也可以显示与第四区域607相对应的2D导航信息670。处理器 120可以通过根据与交通工具201有关的变化(例如,距离变化)改变透明度或等级,来生成2D导航信息670。当获取了弯曲信息或样条信息时,处理器120可以生成具有预定区域(例如,第三区域605)的三维导航信息。
根据各个实施例,当车道能够被识别出时,处理器120可以显示2D 导航信息670,当交通工具201离开车道或者偏离车道边界时,该2D导航信息670基于交通工具201的行驶角度引导车道移动。处理器120可以显示引导转弯信息(例如,左转、右转或掉头)的2D导航信息670。当交通工具201接近转弯(转弯方向)点时,处理器120可以基于交通工具 201的位置变化逐渐增加三维元素或者可以二维地显示方向。例如,随着交通工具201接近转弯点,处理器120可以使显示的箭头图形逐渐变大。
图7是示出了根据本公开的实施例的由电子装置显示3D AR导航信息的方法的流程图。图7示出当获取了HD地图信息并且车道被识别出时 (例如,第一条件的情况)所执行的操作。
参考图7,在操作701中,根据各个实施例的电子装置(例如,图1 中的电子装置101)的处理器(例如,图1中的处理器120)可以获取与交通工具201的位置信息相对应的HD地图信息。HD地图信息是指具有厘米(cm)级精度的3D地图,并且可以包括与在道路上的物体相关联的信息作为三维数字信息。处理器120可以基于交通工具(例如,图2A以及2B中的交通工具201)的当前位置的信息可以提取存储在存储器(例如,图1中的存储器130)中的HD地图信息。替代地,处理器120可以周期性地或者实时地将关于交通工具201的当前位置的信号或信息发送到位置提供服务器(例如,图1中的服务器108),并且可以从服务器108 接收HD地图信息。
在操作703中,处理器120可以获取HD地图信息中包括的物体信息。物体信息可以包括道路信息、交通灯信息、符号信息或者建筑信息中的至少一者。除了用于驾驶的信息,例如,区域位置信息、符号以及方向名称之外,HD地图信息还可以包括车道信息以及本地信息,该车道信息以及本地信息时候交通工具移动所必需的信息。处理器120需要获取(或识别) 物体信息以便覆盖并且显示导航信息。
在操作705中,处理器120可以获取关于交通工具的当前位置与实际物体之间的距离的信息。实际物体可以与HD地图信息中包括的物体(或物体信息)相对应。为了三维地显示导航信息,可能需要距离信息。关于交通工具201与实际物体之间的距离的信息可以从设置在交通工具201中的传感器(例如,LIDAR)或者无线通信模块351(例如,V2X通信)获取。处理器120可以通过使用包括在HD地图信息中的物体信息计算距离信息。替代地,处理器120可以基于从传感器或无线通信模块351获取的距离信息以及包括在HD地图信息中的物体信息计算距离信息。
在操作707中,处理器120可以通过使用物体信息以及距离信息将三维(或3D)导航信息空间匹配到现实世界中的实际物体并显示在现实世界中的实际物体上。处理器120可以生成3D导航信息(例如,图6A中的3D导航信息610),使得3D导航信息被以增强现实显示在现实世界中的实际物体上。3D导航信息可以为如下信息:在该信息中,用于驾驶引导的虚拟三维图形信息被空间匹配到现实世界中的实际物体并被显示在现实世界中的实际物体上。3D导航信息可以被三维地提供,使得图形信息包括在水平方向和/或竖直方向上的距离信息,并且可以为如下的信息:在该信息中,图形信息根据距离被投影为不同的尺寸(例如适于立体投影)。图形信息可以包括文本、图像或视频中的至少一者。例如,处理器120可以显示3D导航信息,使得方向指示符被覆盖并显示在车道上,防护墙被覆盖并显示在边界上或者诸如能够停车的数量以及停车费率的信息被显示在建筑上。
在操作709中,处理器120可以监视注视信息以及车道信息。处理器 120可以从安装在交通工具201内部或外部的传感器或相机接收信息,以便监视注视信息以及车道信息。例如,处理器120可以从第一信息收集模块310或第二信息收集模块350收集交通工具201的位置信息、速度信息、方向信息或者图像信息中的至少一者。第一信息收集模块310可以包括 GPS传感器(或接收器)、LIDAR、加速度传感器、地磁传感器或相机中的至少一者。第二信息收集模块350可以包括无线通信模块351、地图信息获取模块353或交通工具信息检测模块355中的至少一者。
根据各个实施例,处理器120可以获取交通工具201前方的图像,可以从所获取的交通工具201前方的图像提取特征、并且可以识别车道信息。替代地,处理器120可以从交通工具信息检测模块355获取车道信息,并且可以基于所获取的车道信息以及HD地图信息识别(或校正)车道信息。处理器120可以从驾驶员感测模块313接收驾驶员的面部图像,可以从所接收的面部图像提取特征,并且可以跟踪驾驶员的注视方向。处理器120 可以从交通工具信息检测模块355接收转向角信息,并且可以基于转向角信息校正驾驶员的注视方向。
图7示出了在操作701至707被执行后执行操作709。然而,即便在执行操作701至707的同时,也可以实时地或周期性地执行操作709。
在操作711中,处理器120可以基于注视信息以及车道信息控制3D 导航信息的显示。当信息以增强现实被显示时,根据车道是否被识别出或根据驾驶员的注视方向可能会产生显示误差。3D导航信息包括距离信息,因此根据与交通工具201的距离可能会具有较大的显示误差。处理器120 可以基于注视信息以及车道信息控制3D导航信息。例如,处理器120可以根据交通工具201的位置变化跟踪驾驶员的注视信息以及交通工具201 的车道信息,并且可以基于所跟踪的注视信息以及车道信息,计算用于显示导航信息的角度以及距离。处理器120可以基于所计算的角度和距离,控制3D AR导航信息的显示。例如,处理器120可以将3D导航信息映射到实际物体上,并且可以以三维增强现实显示3D导航信息。为了减少误差,处理器120可以将3D导航信息显示为比道路的车道宽度更窄或更宽。处理器120可以根据与交通工具201有关的变化(例如,距离变化)来改变3D导航信息的透明度、等级或距离(或关于距离的尺寸(或宽度))。
图8A示出了根据本公开的实施例的第一3D导航信息的示例。
参考图8A,根据各个实施例的电子装置(例如,图1中的电子装置 101)的处理器(例如,图1中的处理器120)可以在第一条件(例如,当获取了HD地图信息并且车道被识别出时)的情况下显示第一3D导航信息810。处理器120可以基于交通工具(例如,图2A以及2B中的交通工具201)的位置信息、交通工具201中的驾驶员的注视信息以及车道信息(例如,第一车道801以及第二车道805),将第一3D导航信息810 空间匹配到现实世界中的实际物体并显示在现实世界中的实际物体上。第一3D导航信息810可以包括在交通工具201行驶的车道上的图形信息803,该图形信息803包括图像(例如,方向指示符)或视频。处理器120可以通过车道识别在第一车道801以及第二车道805之间添加并显示图像作为第一3D导航信息810。
图8B示出了根据本公开的实施例的第一2D导航信息的示例。
参考图8B,在第三条件(例如当未获取HD地图信息时)的情况下,处理器120可以显示第一2D导航信息。处理器120可以基于交通工具201 的位置信息、交通工具201中的驾驶员的注视信息、以及车道信息(例如,第一车道801以及第二车道805),将第一2D导航信息显示在交通工具 201的挡风玻璃850的一部分855上。在其上显示第一2D导航信息的部分855可以是挡风玻璃型抬头显示器的一部分,其上附连有透明膜。第一 2D导航信息可以为如下信息:在该信息中,用于驾驶引导的虚拟二维图形信息被平面匹配到现实世界中的实际物体并显示在现实世界中的实际物体上,因此可以在水平方向和/或竖直方向上二维地提供图形信息。
图9A示出了根据本公开的实施例的第二3D导航信息。
参考图9A,在第二3D导航信息930中,用于驾驶引导的图形信息 931可以基于交通工具201的车道以及驾驶员的注视被配置为文本或图像,并且可以被显示在交通工具201所行驶的车道上。图形信息931可以包括文本(例如,减速(slow down))以及图像(例如,方向指示符)。处理器120可以识别被包括在与位置信息相对应的HD地图信息中的物体 (例如,道路交汇部分)。处理器120可以通过使用由设置在交通工具201中的传感器或V2X通信获取的关于交通工具201与实际物体(例如,车道)之间的距离的信息,识别正在接近道路交汇部分。处理器120可以基于交通工具201的车道以及驾驶员的注视,覆盖并显示对应于与道路交汇部分相对应的3D导航信息的图形信息931。
图9B示出了根据本公开的实施例的第三3D AR导航信息。
参考图9B,在第一条件的情况下,处理器120可以显示第三3D导航信息950。第三3D导航信息950可以包括:以面的形式显示在交通工具201所行驶的车道上的第一图像953;以及好像悬浮在车道上方的第二图像951(例如,箭头)。处理器120可以使用HD地图信息识别对应于交通工具201的位置信息的转弯点在短距离处。处理器120可以使用在HD 地图信息中包括的物体信息,识别与从交通工具201的当前位置到目的地的路线上的符号或交通灯有关的符号信息(例如,左转、岔路)或者交通灯信息。替代地,处理器120可以使用由设置在交通工具201中的传感器或V2X通信获取的关于交通工具201与实际物体(例如,交通灯)之间的距离的信息,识别交通工具201接近在从交通工具201的当前位置到目的地的路线上的转弯点(例如,左转)。
处理器120可以基于交通工具201的车道以及驾驶员的注视覆盖并且显示与转弯点相对应的第三3D导航信息950。第三3D导航信息950可以包括符号信息(例如,文本(例如,至左转的距离)、以及左转弯图像)、交通灯信息、速度信息,或者诸如至目的地的距离的信息,作为虚拟图形信息。处理器120可以将第三3D导航信息950覆盖并且显示在交通工具201所行驶的车道上。
图10A示出了本公开的实施例的第四3D导航信息。
参考图10A,在第一条件的情况下,处理器120可以显示第四3D导航信息1010。处理器120可以从与交通工具201的位置信息相对应的HD 地图信息识别物体信息。例如,处理器120可以根据在从交通工具201的当前位置到目的地的路线上的HD地图信息中包括的物体信息,识别车道信息1017、符号信息(例如,右转)或交通灯信息。替代地,处理器120 可以通过使用由设置在交通工具201中的传感器或V2X通信获取的关于交通工具201与实际物体(例如,车道信息1017、符号信息、交通灯信息或边界线1015(例如,树木))之间的距离的信息,识别正在接近转弯点(例如,右转)。
处理器120可以基于交通工具201的车道以及驾驶员的注视,生成与转弯点相对应的第四3D导航信息1010。处理器120可以基于物体信息以及距离信息,将3D导航信息1010空间匹配到现实世界中的实际物体并显示在现实世界中的实际物体上。处理器120可以显示第四3D导航信息1010,该第四3D导航信息1010包括:以面形式显示在交通工具201所行驶的车道上的第一图像1011;以及好像悬浮在车道上方的第二图像1013 (例如,箭头)。第四3D导航信息1010可以包括交通灯信息(例如,文本(例如,至右转的距离)、以及右转弯图像)、速度信息,或诸如至目的地的距离的信息,作为虚拟图形信息。处理器120可以将第四3D导航信息1010覆盖并显示在交通工具201所行驶的车道上。
图10B示出了根据本公开的实施例的3D与2D导航信息。
参考图10B,在第二条件(例如,当获取了HD地图信息但未识别出车道时)的情况下,处理器120可以显示3D与2D导航信息1070。处理器120可以从与交通工具201的位置信息相对应的HD地图信息识别物体信息。处理器120可以根据在从交通工具201的当前位置到目的地的路线上的HD地图信息中包括的物体信息,识别车道信息1077、符号信息(例如,右转)或者交通灯信息。替代地,处理器120可以通过使用由设置在交通工具201中的传感器或V2X通信获取的关于交通工具201与实际物体(例如,车道信息1017、符号信息、交通灯信息或边界线1075(例如,树木))之间的距离的信息,识别正在接近转弯点(例如,左转)。
根据各个实施例,当获取了HD地图信息但未识别出车道时,处理器 120可以基于驾驶员的注视显示3D与2D导航信息1070。在3D与2D导航信息1070中,对应于第一距离,可以显示3D导航信息1071,并且对应于第二距离,可以显示2D导航信息1073。与交通工具201的当前位置的距离变得越大,Z值(例如,距离信息)的重要性变得越小。因此,当位置准确性降低时(例如,在车道识别失败的情况下),对应于与交通工具201远的距离,可以显示二维导航信息。处理器120可以在第二距离处的竖直平面上显示2D导航信息1073,该2D导航信息1073是对应于第二距离显示的导航信息。与第一距离相对应的3D导航信息可以与图10A中的3D导航信息相同或相似。
图11是示出了根据本公开的实施例的由电子装置显示3D与2D导航信息的方法的流程图。图11示出当获取了HD地图信息但未识别出车道时(例如,第二条件的情况下)所执行的操作。
参考图11,在操作1101中,根据各个实施例的电子装置(例如,图 1中的电子装置101)的处理器(例如,图1中的处理器120)可以获取位置信息。处理器120可以从GPS接收器接收交通工具201的位置信息,可以从LIDAR接收距离信息或速度信息,或者可以从另一电子装置(例如,另一交通工具、道路基础设施以及另一交通工具的移动装置)接收关于周围的交通工具的位置的一种或多种类型的信息。处理器120可以基于所接收的一种或多种类型的信息计算交通工具201的位置信息。由于接收到更多类型的信息,所以处理器120可以更准确地计算交通工具201的位置信息。
在操作1103中,处理器120可以获取与位置信息相对应的HD地图信息。HD地图信息可以从存储器(例如,图1中的存储器130)获取,或者可以周期性地或实时地从位置提供服务器(例如,图1中的服务器 108)接收。
在操作1105中,处理器120可以显示与第一距离相对应的3D导航信息以及与第二距离相对应的2D导航信息。当获取了HD地图信息但未识别出车道时(例如,在第二条件或中等准确性的情况下),处理器120可以生成包括3D导航信息以及2D导航信息的3D与2D导航信息(例如,图10B中的3D与2D导航信息1070)。与交通工具201的当前位置的距离变得越大,Z值(例如,距离信息)的重要性变得越小。因此,当位置准确性降低时(例如,车道识别失败的情况下),对应于与交通工具201 远的距离,可以显示二维导航信息。处理器120可以显示与距交通工具 201近的距离(例如,第一距离)相对应的3D导航信息(例如,图6B中的第一3D导航信息631)。3D导航信息可以与图6A中的3D导航信息 610相同或相似。处理器120可以生成与距交通工具201远的距离(例如,第二距离)相对应的2D导航信息(例如,图10B中的2D导航信息1073)。
例如,第一距离是距交通工具201近的距离,因此,当存在HD地图信息时,即便车道未被识别出,也可以以3D显示导航信息。超过第一距离的第二距离是距交通工具远的距离,因此,若以3D显示导航信息,则显示误差可能会变大。处理器120可以以2D导航信息的形式生成超过第一距离时要被显示的导航信息。处理器120可以生成2D导航信息,使得导航信息被显示在第二距离处(例如,超过第一距离的点)的竖直平面上。
在操作1107中,处理器120可以监视注视信息。处理器120可以从安装在交通工具201内部或外部的传感器或相机接收信息来识别注视信息。例如,处理器120可以从第一信息收集模块310或第二信息收集模块 350收集位置信息、速度信息、转弯信息、或者交通工具201的图像信息中的至少一者。第一信息收集模块310可以包括GPS传感器(或接收器)、LIDAR、加速度传感器、地磁传感器或相机中的至少一者。第二信息收集模块350可以包括无线通信模块351、地图信息获取模块353或交通工具信息检测模块355中的至少一者。处理器120可以识别注视信息但可以不识别车道信息。
在操作1109中,处理器120可以基于注视信息控制3D与2D导航信息的显示。处理器120可以沿着从交通工具201直到距交通工具201的第一距离的距离显示3D导航信息。处理器120可以在没有距离信息的情况下,在二维平面中以2D导航信息的形式显示与第二距离相对应的用于驾驶引导的图形信息。
图12是示出了根据本公开的实施例的由电子装置显示导航信息的方法的流程图。
参考图12,在操作1201中,根据各个实施例的电子装置(例如,图 1中的电子装置101)的处理器(例如,图1中的处理器120)可以计算位置信息。处理器120可以从GPS接收器接收交通工具201的位置信息,可以从LIDAR接收关于交通工具201与周围的物体之间的距离的信息或交通工具201的速度信息,或者可以从另一电子装置(例如,另一交通工具、道路基础设施以及另一交通工具的移动装置)接收周围交通工具的一种或多种类型信息、或者关于交通工具201与周围交通工具或物体之间的距离的信息。操作1201与操作1101相同或相似,因此将省略其详细描述。
在操作1203中,处理器120可以识别(或确定)HD地图信息是否已经被获取。与非HD地图信息(例如,典型地图信息)不同,HD地图信息可以基于车道包括各种类型的信息,因此可以增加位置信息的准确性。然而,根据位置可能不存在HD地图信息,因此可能难以实时地获取HD 地图信息。处理器120可以在操作1201中计算位置信息期间获取HD地图信息。处理器120可以在获取了HD地图信息时执行操作1205,并且,可以在未获取HD地图信息时执行操作1215。
当已经获取HD地图信息时,处理器120可以在操作1205中识别(或确定)车道是否被识别出。如果导航信息是基于HD地图信息来显示,则在基于车道或驾驶员的注视方向来显示导航信息时可能产生误差。为了减少显示误差,处理器120可以根据在车道被识别出时以及车道未被识别出时,生成(或显示)不同类型的导航信息。处理器120可以在车道被识别出时执行操作1207,并且可以在车道未被识别出时执行操作1211。
当获取了HD地图信息并且车道被识别出时(例如第一条件、高准确性),在操作1207中,处理器120可以处理基于车道的3D建模。处理器 120可以通过使用与位置信息相对应的HD地图信息处理基于车道的3D 建模。3D建模可以是将导航信息显示为三维层的建模技术。基于车道的 3D建模可以是基于车道以三维层建模导航信息的技术。当所收集的信息具有高准确性时(例如第一条件),可以使用基于车道的3D建模。处理器120可以通过使用在其中已经处理了基于车道的3D建模的导航信息来生成3D导航信息。在3D导航信息中,可以通过使用HD地图信息将用于驾驶引导的虚拟三维图形信息空间匹配到现实世界中的实际物体并显示在现实世界中的实际物体上。3D导航信息可以被三维地提供,使得图形信息包括在水平方向和/或竖直方向上的距离信息,并且可以是在其中图形信息根据距离被投影为不同尺寸的信息。
在操作1209中,处理器120可以显示3D导航信息。处理器120可以在交通工具201的挡风玻璃的全部区域或部分区域中显示3D导航信息(例如,图6A中的3D导航信息610,或者图8A至8B中的3D AR导航信息)。在3D导航信息中,根据车道或驾驶员的注视方向可能会产生显示误差。处理器120可以基于注视信息以及车道信息,计算用于显示3D导航信息的角度和距离,并且可以基于所计算的角度和距离确定3D导航信息的显示位置。处理器120可以在确定的显示位置处显示被匹配到现实世界中的实际物体的3D导航信息。
当获取了HD地图信息但未识别出车道时(例如,在第二条件或者中等准确性的情况下),处理器120可以在操作1211中处理基于道路的3D 建模。基于道路的3D建模可以是基于道路来建模3D导航信息的技术。当车道信息未被识别出时,处理器120可以通过使用基于道路的3D建模来代替基于车道的3D建模,来建模3D导航信息。处理器120可以通过使用在其中已经处理了基于道路的3D建模的导航信息来生成3D与2D导航信息。当获取了HD地图信息但车道未被识别出时(例如,在第二条件的情况下),可以生成3D与2D导航信息(例如,图6B中的3D与2D 导航信息630)。3D与2D导航信息630可以为如下信息:在该信息中,关于距交通工具201的第一距离(例如,短距离部分)显示3D导航信息,并且关于距交通工具201的第二距离(例如,远距离部分)显示2D导航信息。
根据各个实施例,处理器120可以基于注视信息以及车道信息计算用于显示关于第一距离(例如,第三区域605)的导航信息的角度以及距离,并且可以基于所计算的角度以及距离确定3D导航信息的显示位置。在3D 导航信息中,用于驾驶引导的虚拟三维图形信息被空间匹配到现实世界中的实际物体并被显示在现实世界中的实际物体上,并且图形信息可以根据与交通工具201的距离被不同地显示。关于第二距离(例如,第四区域 607),处理器120可以生成2D导航信息,使得要在第四区域607显示的导航信息被显示在第四显示位置507的平面(垂直于地面的平面)上。
在操作1213中,处理器120可以显示3D与2D导航信息。3D与2D 导航信息可以为如下信息:在该信息中,对应于第一距离,显示3D导航信息;并且对应于超过第一距离的第二距离,显示2D导航信息。处理器 120可以基于在HD地图信息中包括的物体信息或者关于交通工具201与在现实世界中的实际物体之间的距离的距离信息,一起显示3D AR导航信息以及2D导航信息。
当未获取HD地图信息时(例如,当获取了非HD地图信息时),在操作1215中,处理器120可以识别(确定)车道是否被识别出。操作1215 与操作1205相同或相似,因此将省略其详细描述。当车道被识别出时,处理器120可以执行操作1217,并且当车道未被识别出时,可以执行操作1221。
当未获取HD地图信息但车道被识别出时(例如,在第三条件或者低准确性的情况下),在操作1217中,处理器120可以处理基于车道的2D 建模。2D建模可以是用于将导航信息显示为二维层的建模技术。基于车道的2D建模可以是基于车道建模导航信息的技术。处理器120可以通过基于车道的2D建模,根据非HD地图信息生成基于车道的2D导航信息。基于车道的2D导航信息(例如,图6D中的2D导航信息670)可以为如下信息:在该信息中,用于驾驶引导的虚拟二维图形信息被平面匹配到现实世界中的实际物体并被显示在现实世界中的实际物体上。在基于车道的 2D导航信息中,图形信息可以在水平方向和/或竖直方向上被二维地提供,并且可以投影为相同的尺寸。处理器120可以生成与第三区域605相对应的基于车道的2D导航信息670,但可以不生成与第四区域607相对应的导航信息。
在操作1219中,处理器120可以显示基于车道的2D导航信息。例如,处理器120可以显示仅关于预定距离(例如,第三区域605、短距离)的基于车道的2D导航信息,并且可以不显示关于超过预定距离的距离(例如,第四区域607、远距离)的导航信息。
当未获取HD地图信息并且车道未被识别出时(例如在第四条件或者低准确性的情况下),在操作1221中,处理器120可以处理基于道路的 2D建模。基于道路的2D建模是基于道路建模导航信息的技术,并且可以比基于车道的2D建模具有更低的准确性。处理器120可以通过基于道路的2D建模生成基于道路的2D导航信息。基于道路的2D导航信息可以与在操作1217中生成的基于车道的2D导航信息相同或不同。处理器120 可以生成与第三区域605相对应的基于道路的2D导航信息但可以不生成与第四区域相对应的导航信息。
在操作1223中,处理器120可以显示基于道路的2D导航信息。例如,处理器120可以显示仅关于预定距离(例如,第三区域605)的基于道路的2D导航信息,并且可以不显示与超过预定距离的距离(例如,第四区域607)相对应的导航信息。
根据各个实施例的电子装置的操作方法可以包括:从电子装置的通信模块获取交通工具的位置信息;确定是否获取与位置信息相对应的高分辨率(HD)地图信息;当获取了HD地图信息时,通过使用HD地图信息以增强现实显示三维导航信息;并且当未获取HD地图信息时,显示二维导航信息,其中,三维导航信息是如下信息:在其中通过使用HD地图信息,将用于驾驶引导的虚拟三维图形信息空间匹配到现实世界的实际物体并被显示在现实世界的所述实际物体上,并且其中,二维导航信息是如下信息:在其中用于驾驶引导的虚拟二维图形信息被平面匹配到现实世界中的实际物体并显示在现实世界中的实际物体上。
该方法可以进一步包括通过使用由电子装置的第一相机捕获的驾驶员的图像来识别在交通工具中的驾驶员的注视信息,其中该显示包括基于注视信息控制三维导航信息或二维导航信息的显示。
该方法可以进一步包括通过使用由电子装置的第二相机捕获的交通工具前方的图像来识别交通工具的车道信息,其中,该显示包括基于注视信息以及车道信息来控制三维导航信息或二维导航信息的显示。
该方法可以进一步包括从通信模块获取经由设置在交通工具中的传感器测量的关于交通工具与交通工具附近的实际物体之间的距离的信息,其中该显示包括通过使用HD地图信息以及距离信息将三维导航信匹配到现实世界中的实际物体并显示在现实世界中的实际物体上。
该方法可以进一步包括:当获取了HD地图信息时,基于车道信息确定车道是否被识别出;当车道被识别出时,通过使用HD地图信息显示三维导航信息;并且当车道未被识别出时,显示包括三维导航信息以及二维导航信息的3D与2D导航信息。
该显示可以包括:基于车道信息或注视信息,计算用于显示三维导航信息的角度以及距离;基于所计算的角度和距离,确定三维导航信息的显示位置;并且基于显示位置将三维导航信息显示在现实世界中的实际物体上。
3D与2D导航信息可以被配置成使得:对应于第一距离,显示3D导航信息,并且对应于超过第一距离的第二距离,显示2D导航信息。
该方法可以进一步包括:生成要被显示在第二距离处的导航信息作为 2D导航信息;并且在超过第一距离的点处的平面上显示2D导航信息。
该方法可以进一步包括当根据交通工具的位置变化使得转弯点被包括在第一距离内时,改变要在其上显示2D导航信息的显示位置。
虽然已经参考各个实施例示出并描述本公开,但本领域技术人员将理解,在不脱离本公开的由所附权利要求以及其等同所限定的精神和范围的情况下,可以在其中进行各种形式和细节上的改变。

Claims (14)

1.一种电子装置,所述电子装置包括:
通信模块;
存储器;以及
处理器,其中,所述处理器被配置为:
经由所述通信模块获取交通工具的位置信息,
获取所述交通工具的车道信息,
确定是否获取了与所述位置信息相对应的高分辨率HD地图信息,
当未获取所述HD地图信息时,以增强现实显示二维2D导航信息,
当获取了所述HD地图信息时,基于所述车道信息,确定是否辨别出车道;
当获取了所述HD地图信息并辨别出所述车道时,通过使用所述HD地图信息,以增强现实显示三维3D导航信息;以及
当获取了所述HD地图信息并未辨别出所述车道时,通过使用所述HD地图信息,显示3D与2D导航信息,在所述3D与2D导航信息中,三维导航信息以及二维导航信息根据距离而被不同地显示,
其中,显示所述3D导航信息包括通过使用所述HD地图信息,用于驾驶引导的虚拟3D图形信息被空间匹配到现实世界中的实际物体并显示在所述实际物体上,并且
其中,显示所述2D导航信息包括用于驾驶引导的虚拟2D图形信息被平面匹配到现实世界中的实际物体并显示在所述实际物体上。
2.根据权利要求1所述的电子装置,还包括:
第一相机,所述第一相机被配置为捕获交通工具中的驾驶员图像,
其中,所述处理器还被配置为:
通过使用由所述第一相机捕获的所述驾驶员图像来识别所述驾驶员的注视信息,并且,
基于所述注视信息控制显示所述3D导航信息或所述2D导航信息。
3.根据权利要求2所述的电子装置,还包括:
第二相机,所述第二相机被配置为捕获所述交通工具前方的图像,
其中,所述处理器被配置为:
通过使用由所述第二相机捕获的所述交通工具前方的所述图像来识别所述交通工具的所述车道信息;并且
基于所述注视信息和所述车道信息,控制显示所述三维导航信息或所述二维导航信息。
4.根据权利要求1所述的电子装置,其中,所述处理器被配置为:
从所述通信模块获取关于所述交通工具与所述交通工具附近的实际物体之间的距离的信息,所述距离通过设置在所述交通工具中的传感器测量;并且
通过使用所述HD地图信息以及关于所述距离的信息,将所述三维导航信息匹配到并显示于现实世界中的所述实际物体上。
5.根据权利要求3所述的电子装置,其中,所述处理器被配置为:
基于所述车道信息或所述注视信息计算用于显示所述3D导航信息的角度和距离,
基于所计算的角度和距离,确定所述3D导航信息的显示位置,并且
基于所述显示位置,将所述3D导航信息显示在现实世界的实际物体上。
6.根据权利要求1所述的电子装置,其中,所述3D与2D导航信息被配置成使得:对应于第一距离,显示所述3D导航信息;以及对应于超过所述第一距离的第二距离,显示所述2D导航信息。
7.根据权利要求6所述的电子装置,其中,所述处理器还被配置为:
生成要被显示在所述第二距离处的导航信息,作为所述2D导航信息;并且
在超过所述第一距离的点处的平面上显示所述2D导航信息。
8.根据权利要求6所述的电子装置,其中,所述处理器还被配置为:基于所述交通工具行驶的道路类型、十字路口、驾驶环境或速度中的至少一者,确定要显示所述2D导航信息的显示位置。
9.根据权利要求8所述的电子装置,其中,所述处理器还被配置为:当根据所述交通工具的位置变化,转弯点被包括在所述第一距离内时,改变要显示所述2D导航信息的所述显示位置。
10.根据权利要求1所述的电子装置,其中,所述处理器还被配置为:对应于第一距离,显示2D导航信息,并且对应于超过所述第一距离的第二距离,不显示导航信息。
11.一种电子装置的操作方法,所述方法包括:
从所述电子装置的通信模块获取交通工具的位置信息;
获取所述交通工具的车道信息;
确定是否获取了与所述位置信息相对应的高分辨率HD地图信息;
当未获取所述HD地图信息时,以增强现实显示二维2D导航信息;
当获取了所述HD地图信息时,基于所述车道信息,确定是否辨别出车道;
当获取了所述HD地图信息并辨别出所述车道时,通过使用所述HD地图信息以增强现实显示三维3D导航信息;以及
当获取了所述HD地图信息并未辨别出所述车道时,通过使用所述HD地图信息,显示3D与2D导航信息,在所述3D与2D导航信息中,三维导航信息以及二维导航信息根据距离而被不同地显示,
其中,显示所述3D导航信息包括通过使用所述HD地图信息,用于驾驶引导的虚拟3D图形信息被空间匹配到现实世界的实际物体并被显示在所述实际物体上,并且
其中,显示所述2D导航信息包括用于驾驶引导的虚拟2D图形信息被平面匹配到现实世界中的实际物体并显示在所述实际物体上。
12.根据权利要求11所述的方法,进一步包括:通过使用由第一相机捕获的在所述交通工具中的驾驶员的图像,来识别所述驾驶员的注视信息,
其中,基于所述注视信息,控制显示所述3D导航信息或所述2D导航信息。
13.根据权利要求12所述的方法,进一步包括:通过使用由第二相机捕获的所述交通工具前方的图像,来识别所述交通工具的所述车道信息,
其中,所述显示包括基于所述注视信息和所述车道信息来控制显示所述三维导航信息或所述二维导航信息。
14.根据权利要求11所述的方法,进一步包括:从所述通信模块获取关于所述交通工具与所述交通工具附近的实际物体之间的距离的信息,所述距离通过设置在所述交通工具中的传感器测量,
其中,所述显示包括通过使用所述HD地图信息和所述距离信息,将所述三维导航信息匹配到现实世界中的所述实际物体并且显示在现实世界中的所述实际物体上。
CN202011584661.5A 2020-01-02 2020-12-28 用于显示3d增强现实导航信息的方法和装置 Active CN113063418B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200000329A KR20210087271A (ko) 2020-01-02 2020-01-02 3d 증강 현실 내비게이션 정보 표시 방법 및 장치
KR10-2020-0000329 2020-01-02

Publications (2)

Publication Number Publication Date
CN113063418A CN113063418A (zh) 2021-07-02
CN113063418B true CN113063418B (zh) 2024-05-24

Family

ID=76215579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011584661.5A Active CN113063418B (zh) 2020-01-02 2020-12-28 用于显示3d增强现实导航信息的方法和装置

Country Status (5)

Country Link
US (1) US11709069B2 (zh)
EP (1) EP3845861B1 (zh)
KR (1) KR20210087271A (zh)
CN (1) CN113063418B (zh)
WO (1) WO2021137485A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7100523B2 (ja) * 2018-07-27 2022-07-13 京セラ株式会社 表示装置、表示システムおよび移動体
USD956067S1 (en) * 2019-12-17 2022-06-28 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR102543899B1 (ko) * 2020-08-27 2023-06-20 네이버랩스 주식회사 헤드업 디스플레이 및 그 제어방법
JP2022149325A (ja) * 2021-03-25 2022-10-06 カシオ計算機株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
EP4372314A1 (en) * 2021-07-13 2024-05-22 LG Electronics Inc. Route guiding device and route guiding system based on augmented reality and mixed reality
WO2023003109A1 (ko) * 2021-07-21 2023-01-26 네이버랩스 주식회사 헤드업 디스플레이 및 그 제어방법
KR20230021457A (ko) * 2021-08-05 2023-02-14 현대모비스 주식회사 차량의 장애물 감지 시스템 및 방법
CN113701773B (zh) * 2021-08-16 2023-07-18 深蓝汽车科技有限公司 基于车道线方程的arhud导航弯道指示方法及***
US20230194293A1 (en) * 2021-12-22 2023-06-22 Audi Ag Driving using virtual reality (vr) emulating real driving of a route
CN114609782A (zh) * 2022-02-14 2022-06-10 广东未来科技有限公司 裸眼3d抬头显示装置及裸眼3d抬头显示方法
CN114546120A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 导航标识显示方法、装置及电子设备
CN115220227A (zh) * 2022-04-18 2022-10-21 长城汽车股份有限公司 一种增强现实抬头显示方法、装置及终端设备
KR102645699B1 (ko) * 2022-06-10 2024-03-12 엘지전자 주식회사 차량의 ar 디스플레이 장치 및 그것의 동작방법
WO2024035048A1 (ko) * 2022-08-08 2024-02-15 주식회사 아이나비시스템즈 경로 안내 서비스 장치

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102047301A (zh) * 2008-03-25 2011-05-04 星克跃尔株式会社 用于提供车道信息的方法及用于执行该方法的设备
KR20150144681A (ko) * 2014-06-17 2015-12-28 팅크웨어(주) 전자 장치 및 그의 제어 방법
KR20160065724A (ko) * 2014-12-01 2016-06-09 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR20170048781A (ko) * 2015-10-27 2017-05-10 엘지전자 주식회사 차량용 증강현실 제공 장치 및 그 제어방법
JP2017120238A (ja) * 2015-12-28 2017-07-06 トヨタ自動車株式会社 ナビ情報提供システム及びナビ情報提供装置
JP2017194556A (ja) * 2016-04-20 2017-10-26 株式会社Jvcケンウッド 虚像表示装置および虚像表示方法
CN107449440A (zh) * 2016-06-01 2017-12-08 北京三星通信技术研究有限公司 行车提示信息的显示方法及显示装置
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院(吴江) 基于增强学习和多传感器融合的自动驾驶***
WO2019097763A1 (ja) * 2017-11-17 2019-05-23 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム
WO2019117459A1 (ko) * 2017-12-11 2019-06-20 삼성전자 주식회사 컨텐츠를 표시하기 위한 장치 및 방법
CN110116619A (zh) * 2018-02-06 2019-08-13 大众汽车有限公司 用于在车辆的抬头显示器hud中显示信息的方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6977630B1 (en) 2000-07-18 2005-12-20 University Of Minnesota Mobility assist device
JP5161760B2 (ja) 2008-12-26 2013-03-13 株式会社東芝 車載用表示システム及び表示方法
DE102010052000A1 (de) 2010-11-19 2012-05-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von Navigationshinweisen
KR101249901B1 (ko) * 2011-06-22 2013-04-09 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
JP2013123970A (ja) 2011-12-14 2013-06-24 Toshiba Corp 表示装置
KR101409846B1 (ko) * 2012-12-18 2014-06-19 전자부품연구원 3차원 증강현실 기반 헤드 업 디스플레이 장치
WO2014095068A1 (en) 2012-12-21 2014-06-26 Harman Becker Automotive Systems Gmbh Infotainment system
US20160054563A9 (en) * 2013-03-14 2016-02-25 Honda Motor Co., Ltd. 3-dimensional (3-d) navigation
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
DE102014226860A1 (de) 2014-12-22 2016-06-23 Robert Bosch Gmbh Verfahren zum Betreiben eines Head-up-Displays, Anzeigevorrichtung, Fahrzeug
US10713501B2 (en) 2015-08-13 2020-07-14 Ford Global Technologies, Llc Focus system to enhance vehicle vision performance
CN108139223A (zh) * 2015-09-30 2018-06-08 日产自动车株式会社 车辆用显示装置
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
CN108473054B (zh) 2016-02-05 2021-05-28 麦克赛尔株式会社 平视显示器装置
WO2018057987A1 (en) 2016-09-23 2018-03-29 Apple Inc. Augmented reality display
US11312392B2 (en) 2017-09-18 2022-04-26 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing precise driving recommendations based on network-assisted scanning of a surrounding environment
JP7383888B2 (ja) * 2018-03-29 2023-11-21 株式会社リコー 画像制御装置、表示装置、移動体、画像制御方法、及びプログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102047301A (zh) * 2008-03-25 2011-05-04 星克跃尔株式会社 用于提供车道信息的方法及用于执行该方法的设备
KR20150144681A (ko) * 2014-06-17 2015-12-28 팅크웨어(주) 전자 장치 및 그의 제어 방법
KR20160065724A (ko) * 2014-12-01 2016-06-09 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR20170048781A (ko) * 2015-10-27 2017-05-10 엘지전자 주식회사 차량용 증강현실 제공 장치 및 그 제어방법
JP2017120238A (ja) * 2015-12-28 2017-07-06 トヨタ自動車株式会社 ナビ情報提供システム及びナビ情報提供装置
JP2017194556A (ja) * 2016-04-20 2017-10-26 株式会社Jvcケンウッド 虚像表示装置および虚像表示方法
CN107449440A (zh) * 2016-06-01 2017-12-08 北京三星通信技术研究有限公司 行车提示信息的显示方法及显示装置
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
WO2019097763A1 (ja) * 2017-11-17 2019-05-23 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム
WO2019117459A1 (ko) * 2017-12-11 2019-06-20 삼성전자 주식회사 컨텐츠를 표시하기 위한 장치 및 방법
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院(吴江) 基于增强学习和多传感器融合的自动驾驶***
CN110116619A (zh) * 2018-02-06 2019-08-13 大众汽车有限公司 用于在车辆的抬头显示器hud中显示信息的方法

Also Published As

Publication number Publication date
EP3845861B1 (en) 2023-05-03
EP3845861A1 (en) 2021-07-07
CN113063418A (zh) 2021-07-02
US11709069B2 (en) 2023-07-25
KR20210087271A (ko) 2021-07-12
US20210207971A1 (en) 2021-07-08
WO2021137485A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
CN113063418B (zh) 用于显示3d增强现实导航信息的方法和装置
CN110386142B (zh) 用于自动驾驶车辆的俯仰角校准方法
US11181737B2 (en) Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program
US10029700B2 (en) Infotainment system with head-up display for symbol projection
US11248925B2 (en) Augmented road line detection and display system
CA2999955C (en) Vehicular display device
EP3496068A1 (en) Travel assistance device and computer program
JP7074438B2 (ja) 自車位置推定装置
CN110869700A (zh) 用于确定车辆位置的***和方法
JP5962594B2 (ja) 車載表示装置およびプログラム
CN107554425A (zh) 一种增强现实车载平视显示器ar‑hud
JP2019095213A (ja) 重畳画像表示装置及びコンピュータプログラム
CN111279689B (zh) 显示***、显示方法及存储介质
JP6415583B2 (ja) 情報表示制御システムおよび情報表示制御方法
CN111094898B (zh) 控制机动车辆增强现实抬头显示设备的显示的方法和设备
JP2015102449A (ja) 車両自己位置推定装置、及び車両自己位置推定方法
KR20200131832A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
JP2020032866A (ja) 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム
JPWO2018221454A1 (ja) 地図作成装置、制御方法、プログラム及び記憶媒体
JP2019121876A (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
KR20190078664A (ko) 컨텐츠를 표시하기 위한 장치 및 방법
JP2022129175A (ja) 車両評価方法及び車両評価装置
JP2020086884A (ja) 区画線推定装置、表示制御装置、方法、及びコンピュータ・プログラム
KR101637298B1 (ko) 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
WO2017199347A1 (ja) 画像表示装置、画像表示方法及び画像表示プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant