CN105814615A - 启用视线的导航*** - Google Patents

启用视线的导航*** Download PDF

Info

Publication number
CN105814615A
CN105814615A CN201480065928.6A CN201480065928A CN105814615A CN 105814615 A CN105814615 A CN 105814615A CN 201480065928 A CN201480065928 A CN 201480065928A CN 105814615 A CN105814615 A CN 105814615A
Authority
CN
China
Prior art keywords
driver
steering instructions
peculiar
navigation system
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480065928.6A
Other languages
English (en)
Inventor
D.迪森索
S.马蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Ltd
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Priority to CN202110311825.5A priority Critical patent/CN113074750A/zh
Publication of CN105814615A publication Critical patent/CN105814615A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3655—Timing of guidance instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种导航***，其被配置来产生用于将车辆的驾驶员从当前位置引导到最终目的地的驾驶指令序列。导航***被配置来采撷反映驾驶员的视野的传感器数据并识别视野中的物体。然后导航***定制驾驶指令以参照具体物体，由此产生环境特有驾驶指令。导航***还被配置来识别驾驶员关注的特定物体，且相对于这些关注物体产生环境特有驾驶指令。导航***还可在确定驾驶员不正确地关注不同于环境特有驾驶指令中参照的物体的物体时来向驾驶员提供修正信息。

Description

启用视线的导航***
技术领域
本发明的实施方案大体上涉及导航***，且更具体地说涉及启用视线的导航***。
背景技术
常规的导航***能够产生用于将车辆的驾驶员从当前位置引导到最终目的地的驾驶指令序列。驾驶员通过使车辆执行如由导航***指示的具体导航动作而遵循序列中的每一驾驶方向。例如，给定驾驶方向可指定要求在前面500英尺处左转弯。作为响应，驾驶员将促使车辆在行驶500英尺之后左转弯。一旦成功地遵循给定驾驶方向，导航***行进到序列中的下一个驾驶方向。此操作模式继续进行直到车辆到达最终目的地为止。
上述基本功能性可生效，前提是驾驶员正确地解译每个方向。然而，各种因素通常造成驾驶员误译驾驶方向。例如，依赖于距离测量(诸如在以上实例中)的驾驶方向有时候不易解译，因为驾驶员通常没有意识到车辆在给定时段中行驶的确切距离。此外，驾驶员通常全神贯注于驾驶的物理动作且无法分散解译复杂的驾驶方向所需要的注意力。归因于这些因素，依赖于常规的导航***的驾驶员有时候变得混乱且因此迷路。
因此，现有技术中需要一种用于导航车辆的更有效技术。
发明内容
本发明的一个实施方案提出了一种被配置来为车辆的驾驶员产生环境特有驾驶指令的***，所述***包括：至少一个传感器，其被配置来采撷反映所述驾驶员的视野的传感器数据；计算装置，其被配置来处理所述传感器数据以识别所述驾驶员的所述视野内的第一物体并产生参照所述第一物体的环境特有驾驶指令；和至少一个输出装置，其被配置来向所述驾驶员输出所述环境特有驾驶指令。
所公开技术的一个优点是，其实现符合驾驶员的视觉环境的环境特有驾驶指令。因此，驾驶员可直观地遵循所述指令而不分散注意力。
附图说明
为了详细地理解本发明的上述特征，可通过参照实施方案来阅读上文简要总结的本发明的更特定描述，其中一些所述实施方案在附图中加以说明。然而，应注意，附图只说明本发明的典型实施方案且因此不应被视为限制其范围，因为本发明可允许其它同等效力的实施方案。
图1说明被配置来实施本发明的实施方案的一个或多个方面的***；
图2是根据本发明的各个实施方案的由图1的导航***实施以产生环境特有驾驶方向的数据和处理步骤的图；
图3A-3D是根据本发明的各个实施方案的说明其中图1的导航***相对于移动车辆指示车辆的驾驶员的示例性使用情况的概念图；
图4A-4C是根据本发明的各个实施方案的说明其中图1的导航***相对于静止车辆指示车辆的驾驶员的示例性使用情况的概念图；
图5A-5B是根据本发明的各个实施方案的说明其中图1的导航***在某个时间实例处相对于移动界标指示车辆的驾驶员的示例性使用情况的概念图；
图6A-6C是根据本发明的各个实施方案的说明其中车辆的驾驶员与图1的导航***交互以确认驾驶指令的示例性使用情况的概念图；
图7A-7C是根据本发明的各个实施方案的说明其中图1的导航***将车辆的驾驶员导向到最终目的地的示例性使用情况的概念图；
图8是根据本发明的各个实施方案的用于产生参照真实物体的环境特有驾驶指令的方法步骤的流程图；
图9是根据本发明的各个实施方案的用于产生参照车辆的驾驶员关注的真实物体的环境特有驾驶指令的方法步骤的流程图；且
图10是根据本发明的各个实施方案的包括在图1的导航***内的计算装置的方框图。
具体实施方式
在以下描述中，提出了数种具体细节以提供对本发明的完整理解。然而，所属领域技术人员将明白，本发明可在无一个或多个这样的具体细节的情况下实践。
图1说明被配置来实施本发明的实施方案的一个或多个方面的启用视线的导航***120。导航***120被配置来向车辆110的驾驶员100指示环境特有驾驶指令。导航***120还被配置来向驾驶员100指示可在解译所述驾驶指令之后辅助驾驶员100的修正信息。驾驶指令具体参照驻留在驾驶员100的视野中的真实物体，且指示相对于所述真实物体执行的特定驾驶动作。修正信息可通过指定应相对于驾驶员100当前正观察的真实物体执行驾驶动作来辅助驾驶员100解译驾驶指令。一般来说，导航***120被配置来辅助驾驶员100驾驶到相对于驾驶员100的视野中的真实物体的特定目的地。
如所示，驾驶员100驻留在包括导航***120的各个组件的车辆110内。特定地说，导航***120包括视线传感器121、朝外摄像头122-1和122-2、扬声器123-1和123-2以及计算装置124。视线传感器121被配置来确定驾驶员100可沿其观察的关注方向130。视线传感器121还被配置来确定关注点140，其表示驾驶员100可沿关注方向130观察的特定深度。视野150表示驾驶员100可在其内在任何给定时间以视觉感知物体的全景。因而，关注点140大体上驻留在视野150内。视线传感器121可经由眼球跟踪传感器以及头部跟踪传感器确定关注点140。计算装置124被配置来处理来自所述传感器的数据以确定视野150内的关注方向130和关注点140。所属领域技术人员将大体上熟悉用于确定关注方向130和关注点140的多种技术。因而，所述技术将不会在本文加以详尽列举。
朝外摄像头122被配置来采撷反映包围车辆110的一部分的视觉全景的视频数据，其包括与驾驶员100相关联的视野150。计算装置124被配置来处理由朝外摄像头122采撷的视频数据并施加计算机视觉技术以识别驾驶员100的视野150内的一组物体。为此，计算装置124还可分析由朝外摄像头122-1和122-2采撷的视频数据之间的视差以确定与每个识别物体相关联的深度值。在本发明的进一步实施方案中，朝外摄像头122可包括摄像头以外的其它类型的传感器，尤其包括(但不限于)红外线传感器、紫外线传感器、基于超声波的传感器、基于激光的传感器、声纳和/或激光雷达装置、距离传感器和能够产生深度图的装置(诸如(例如)深度传感器或飞行时间摄像头)。在一般情况下，朝外摄像头122可包括能够识别驾驶员100的视野150内的一组物体(和对应的深度值)的任何类型的传感器，且朝外摄像头122仅仅表示这种传感器的一个实例。
扬声器123被配置来向驾驶员100输出指示环境特有驾驶指令和修正信息的音频。扬声器123可为通常在常规的汽车中找到的立体声扬声器、与导航***120相关联的专用扬声器或其它类型的音频输出装置。在本发明的进一步实施方案中，扬声器123还可包括音频输出装置以外的其它类型的输出装置，尤其包括视觉、文本和/或触觉输出装置。计算装置124被配置来产生驾驶指令和修正信息且然后使用计算机发声技术来合成反映所述信息的音频。
计算装置124可为能够处理数据的任何技术上可行的装置，包括膝上型计算机、手机装置、专用导航单元、平板计算机等。在一般情况下，计算装置124负责管理本文描述的导航***120的所有功能性。在操作中，计算装置124被配置来与驾驶员100交互以确定驾驶员100希望导航的最终目的地。计算装置124然后基于全球定位服务(GPS)数据或其它位置服务来确定车辆110的当前位置。计算装置124被配置来产生将驾驶员100从当前位置引导到最终目的地的驾驶指令序列。为此，计算装置124可依赖于道路信息的数据库，其可为(例如)基于云的且可远程存取的或替代地存储在计算装置124内。计算装置124然后可修改每个这样的驾驶指令以具体参照驾驶员100的视野150中的真实物体，由此产生环境特有驾驶指令。计算装置124还可基于如由视线传感器121确定的关注方向130和关注点140向驾驶员100提供修正信息。下文结合图10更详细地描述示例性计算装置124。
导航***120可大体上根据不同实施方案操作。在导航***120的第一实施方案中，导航***120向驾驶员100提供参照驾驶员100的视野150中的真实物体的驾驶指令。如果驾驶员100未能直接观察真实物体，那么导航***120向驾驶员100提供修正信息以促使驾驶员100观察适当的真实物体。下文结合图3A-4C和6A-8更详细地描述导航***120的第一实施方案。在导航***120的第二实施方案中，导航***120识别驾驶员100已观察的真实物体，且然后产生具体参照所述真实物体的驾驶指令。下文结合图5A-5B和9更详细地描述第二实施方案。所属领域技术人员将认识到本文描述的第一和第二实施方案还可以任何技术上可行的方式彼此结合。在任一实施方案中，导航***120大体上根据下文结合图2更详细地描述的各种数据和处理级操作。
图2是根据本发明的各个实施方案的由图1的导航***实施以产生环境特有驾驶指令的数据和处理级的图。图2中所示的数据流程图包括视线信息200、物体辨识算法220、朝外摄像头信息230、视觉环境数据240、增强型方向产生器250和GPS、交通和导航信息260。每个前述提及的方框表示数据，所述数据是由导航***120或替代地导航***120实施以处理所述数据的处理级收集或产生。
导航***120被配置来经由视线传感器121产生视线信息200。视线信息200可包括指定关注方向130以及关注点140的数据。导航***120还被配置来经由朝外摄像头122产生朝外摄像头信息220。朝外摄像头信息230可包括由朝外摄像头122-1和122-2采撷的多个视频数据流，且可因此表示驾驶员100的视野150的立体表示。
导航***120被配置来实施一种或多种物体辨识算法220以处理视线信息200和朝外摄像头信息230。为此，导航***120可实施计算机视觉技术以将上文提及的立体表示的特定区域指定为与特定类型的真实物体相关联。例如且无限制，通过实施物体辨识算法220，导航***120可确定立体表示的特定部分与汽车相关联。导航***120还可实施物体辨识算法220以确定每个识别物体的深度值。返回到以上实例，导航***120可确定识别的汽车驻留在相距朝外摄像头122近似30英尺处。导航***120还可施加物体辨识算法220以识别驻留在关注点140处的具体真实物体，即，驾驶员100当前关注的真实物体。为此，导航***120可使关注点140与驾驶员100的视野150的立体表示的具体区域关联，其中所述具体区域包括经由物体辨识算法220识别的一个或多个真实物体。利用前述提及的技术，导航***120产生视觉环境数据240。
视觉环境数据240大体上表示驾驶员100的视野150内的一组物体，所述物体已经由物体辨识算法220以上述方式识别。视觉环境数据240可包括(例如且不限于)由朝外摄像头230采撷的立体表示的增强版，其指示所述表示的不同区域的特定物体类型。增强版还可包括指定立体表示内的关注方向130和关注点140的数据以及与关注点140相关联的具体真实物体的指示。导航***120被配置来利用增强型方向产生器250处理视觉环境数据240以产生环境特有驾驶方向。
在操作中，增强型方向产生器250被配置来存取GPS、导航和交通信息260并产生用于将驾驶员100从当前位置引导到最终目的地的驾驶指令集。驾驶员100可(例如且不限于)通过与由导航***提供的图形用户界面(GUI)交互来选择最终目的地。驾驶指令集可由常规技术产生，且可依赖于用于查询产生驾驶指令的基于公有云的引擎的现有应用程序设计界面(API)。增强型方向产生器250然后修改驾驶指令集中的当前指令以包括对由视觉环境数据240指示的真实物体的参照，由此产生环境特有驾驶指令。真实物体可为驾驶员100的视野150中的任何物体或驾驶员100已观察的关注物体。增强型驾驶方向产生器250然后经由扬声器123向驾驶员100输出环境特有驾驶方向。
在增强型方向产生器250的功能性的具体实例中且无限制，指令集中的当前指令可指示应在前面500英尺处执行左转弯。增强型方向产生器250通常从GPS、导航和交通信息260获取转弯的特定指令和应执行转弯时的距离。增强型方向产生器250然后可从视觉环境数据240内识别蓝色汽车停在前面近似500英尺的街道左侧。增强型方向产生器250然后将修改当前指令以指示应在蓝色汽车后面执行左转弯。增强型方向产生器250然后将向驾驶员100指示环境特有驾驶指令。
此外，在其中驾驶员100未能观察环境特有驾驶指令中参照的真实物体或观察不正确物体的情形中，增强型方向产生器250还可向驾驶员100提供修正信息。返回到以上实例，如果驾驶员100未能观察环境特有指令中参照的蓝色汽车且反而观察到红色汽车，那么增强型方向产生器250可产生向驾驶员100指示红色汽车实际上是错误汽车的修正信息。增强型方向产生器250还可产生另一环境特有驾驶指令，其包括对驾驶员100的视野150中的真实物体的更详细参照。例如且无限制，增强型方向产生器250可指示驾驶员100在靠近绿色房屋的蓝色汽车处左转弯。
增强型方向产生器250还可向驾驶员100提供具体参照驾驶员100已观察的关注物体的驾驶指令。例如，增强型方向产生器250可基于视觉环境数据240确定驾驶员100向前观察交叉口。增强型方向产生器250然后可指示驾驶员100需要在其中驾驶员100当前观察的交叉口处左转弯。迄今为止描述的不同技术还可以任何技术上可行的方式彼此结合。例如且无限制，增强型方向产生器250可基于真实物体或驾驶员100正观察的关注物体来提供环境特有驾驶指令。增强型方向产生器250还可基于真实物体或驾驶员100正观察的关注物体来提供修正信息。
在一般情况下，导航***120被配置来依赖于上文结合图2描述的各种数据和处理级以对驾驶员100产生不同类型的环境特有驾驶指令。特定类型的环境特有驾驶指令可在不同使用情况中改变。下文图3A-3D、4A-4C、5A-5B、6A-6C和7A-7C中的每一个说明随着导航引擎120将驾驶员100引导到最终目的地而可能发生的不同使用情况。所属领域技术人员将认识到，本文描述的不同使用情况只具有示例性本质且决不旨在限制本发明的范围。
图3A是根据本发明的各个实施方案的说明其中图1的导航***120相对于移动车辆指示驾驶员100的示例性使用情况案例的概念图。如所示，汽车110靠近岔路口300。汽车310向岔路口300的左手侧拐弯，而另一汽车320向岔路口300的右手侧拐弯。
导航***120被配置来产生反映用于将车辆110引导到最终目的地的特定驾驶动作序列的驾驶指令集。当前驾驶指令可指示应遵循右手侧岔路口。导航***120产生指示汽车310和320两者的存在的视觉环境数据。导航***120然后产生指示应根据初始驾驶指令遵循右侧汽车的环境特有驾驶指令。环境特有驾驶指令因此提供辅助驾驶员100正确地执行与初始驾驶指令相关联的驾驶动作的额外环境提示。然而，驾驶员100仍然可能误译环境特有驾驶指令，且无法立即观察汽车320，如下文结合图3B描述般。
如图3B中所示，驾驶员100的关注方向330-1与汽车310(左手侧汽车)但并非导航***120在环境特有方向上参照的汽车320(右手侧汽车)对准。换句话来说，驾驶员100正观察错误汽车。导航***120被配置来经由视线传感器121确定关注方向330-1，且然后识别驾驶员100正观察汽车310而非汽车320。然后导航***120产生修正信息以促使驾驶员100观察正确的汽车，如下文结合图3C描述般。
如图3C中所示，导航***120向驾驶员100指示驾驶员100正观察的汽车(汽车310)实际上是错误的汽车，且正确的汽车(汽车320)是在右手侧。驾驶员100然后可如图3D中所示般观察沿关注方向330-2的汽车320。又如图3D中所示，导航***120可产生指示驾驶员100正观察正确的汽车的确认消息。利用这种方法，导航***120给驾驶员100提供与传统的驾驶指令相比包括更相关的环境信息的环境特有驾驶指令。此外，当导航***120确定驾驶员100可能误译给定驾驶指令时，导航***120尝试通过向驾驶员100提供额外信息来修正所述解译。
导航***120还可产生相对于可具有固定位置的真实物体的环境特有指令。所述物体在由导航***120产生的视觉环境数据内是可识别的，或可经由GPS或外部映射数据库识别，且可包括如下文结合图4A-4C更详细描述的结构、事务等。
图4A是根据本发明的实施方案的说明其中图1的导航***120相对于静止界标指示车辆110的驾驶员100的示例性使用情况案例的概念图。如所示，车辆110靠近两个不同的加油站(加油站410和加油站420)所处的交叉口400。
导航***120被配置来进行上文结合图3A-3D讨论的驾驶指令集中的后续驾驶指令。当前驾驶指令可指示应恰好在交叉口400后面执行右转弯。导航***120产生指示加油站410和420两者的存在的视觉环境数据。导航***120然后产生指示应在第二加油站(420)后面执行右转弯的环境特有驾驶指令。然而，驾驶员100无法立即观察正确的加油站，如下文结合图4B描述。
如图4B中所示，驾驶员100的关注方向430-1与加油站410(第一加油站)但非导航***120在环境特有驾驶指令中参照的加油站420(第二加油站)对准。换句话来说，驾驶员100正观察错误的加油站。导航***120被配置来经由经由视线传感器121确定关注方向430-1，且然后识别驾驶员100正观察加油站410而非加油站420。导航***120然后产生修正信息以促使驾驶员100观察正确的加油站，如所示。驾驶员100然后可观察沿关注方向430-2的加油站420，且如图4C中所示般，导航***120可提供指示驾驶员100正观察正确的加油站的确认消息。
导航***120还可产生参照驾驶员100已关注的真实物体的环境特有驾驶指令，如下文结合图5A-5B更详细地描述。
图5A是根据本发明的实施方案的说明其中图1的导航***120在某个时间实例处相对于移动界标指示车辆110的驾驶员100的示例性使用情况案例的概念图。如所示，车辆110跟随汽车500。驾驶员100的关注方向530与汽车500对准。
类似于上文，导航***120被配置来进行驾驶指令集中的后续驾驶指令。当前驾驶指令可指示应在车辆110前面100英尺处执行右转弯。导航***120产生指示汽车500的存在的视觉环境数据。导航***120被配置来确定应在汽车500的当前位置处执行右转弯，所述当前位置刚好是在车辆110前面100英尺处。导航***120然后产生指示如图5B中所示般应在汽车500的当前位置处执行右转弯的环境特有驾驶指令。利用结合图5A-5B描述的方法，导航***120可主动提供参照驾驶员100已关注的真实物体的环境特有驾驶指令。
导航***120还被配置来与驾驶员100交互以确认驾驶员100正确地解译环境特有驾驶指令，如下文结合图6A-6C更详细地描述。
图6A是根据本发明的各个实施方案的说明其中车辆110的驾驶员100与导航***120交互以确认驾驶指令的示例性使用情况案例的概念图。如所示，车辆110靠近两个不同教堂(大教堂610和小教堂620)所处的交叉口600。
类似于上文，导航***120被配置来进行驾驶指令集中的后续驾驶指令。当前驾驶指令可指示应恰好在交叉口600后面执行右转弯。导航***120产生指示教堂610和620两者的存在的视觉环境数据。导航***120然后产生指示应在两个教堂中的较小教堂(620)后面执行右转弯的环境特有驾驶指令。驾驶员100无法立即了解教堂610和620中的哪一个是所述两个教堂中的较小教堂。然而，导航***120被配置来与驾驶员100交互以确认驾驶员100看见正确的教堂，如下文结合图6B描述。
如图6B中所示，驾驶员100的关注方向630-1与教堂610对准。驾驶员100可查询导航***120以确认驾驶员100实际上正观察两个教堂610和620中的较小教堂。导航***120确定驾驶员100实际上正观察错误的教堂，且作为响应而向驾驶员100提供修正信息，如下文结合图6C描述。
如图6C中所示，导航***120提供区分教堂610和620并阐明应在教堂620后面而非教堂610后面执行右转弯的修正信息。导航***120大体上被配置来向驾驶员100提供额外的修正信息直到驾驶员100关注与当前环境特有驾驶指令相关联的特定真实物体为止。
导航***120可被实施来辅助驾驶员100执行与当前驾驶指令相关联的驾驶动作，且还可被实施来将驾驶员100导向到最终目的地，如下文结合图7A-7C描述。
图7A是根据本发明的各个实施方案的说明其中图1的导航***120将车辆110的驾驶员100导向到最终目的地的示例性使用情况案例的概念图。如所示，车辆110靠近表示驾驶员100的最终目的地的建筑物700。建筑物700驻留在其它建筑物710、720、730和740之间，如所示。
类似于上文，导航***120被配置来进行驾驶指令集中的后续驾驶指令。后续驾驶指令可为指示最终目的地的地址的最终驾驶方向。导航***120产生指示建筑物700、710、720、730和740的存在的视觉环境数据。导航***120然后产生指示最终目的地是在车辆110的右手侧的环境特有驾驶指令。然而，驾驶员100可能误译环境特有驾驶指令并观察错误的建筑物，如下文结合图7B描述。
如图7B中所示，驾驶员100的关注方向730-1与并非最终目的地的建筑物720对准。导航***120被配置来确定驾驶员100正观察错误的建筑物，且然后产生相对于关注方向730-1和建筑物730将正确的建筑物告知驾驶员100的修正信息。特定地说，导航***120向驾驶员100指示最终目的地是经过驾驶员100当前正观察的建筑物的两个建筑物。驾驶员100然后可将关注转移到关注方向730-2且如图7C中所示般查看最终目的地。
大体上参考图3A-7C，所属领域技术人员将了解，结合所述图描述的示例性使用情况案例并无详尽的意图且只旨在说明其中导航***120可提供导航辅助的可能情形。此外，所属领域技术人员将认识到，迄今为止描述的不同技术可广泛地归类为两个实施方案，如此外上文结合图1所提及。
此外，在第一实施方案中，导航***120可相对于真实物体提供环境特有驾驶指令，且然后相对于驾驶员100正观察的关注物体提供修正信息，如下文以逐步方式结合图8描述。在第二实施方案中，导航***120可相对于驾驶员100已观察的关注物体提供环境特有驾驶指令，如下文以逐步方式结合图9描述。
图8是根据本发明的各个实施方案的用于为车辆的驾驶员产生参照真实物体的环境特有驾驶指令的方法步骤的流程图。虽然方法步骤是结合图1的***描述，但是所属领域技术人员将了解，被配置来以任何次序执行方法步骤的任何***均是在本发明的范围内。
如所示，方法800开始于步骤801处，其中导航***120产生用于将车辆110的驾驶员100从当前位置引导到最终目的地的驾驶指令序列。导航***120可针对与最终目的地相关联的地址查询驾驶员100，且依赖于诸如GPS的位置服务以确定车辆110的当前指令。此外，导航***120可从外部源(诸如(例如)基于云的导航装置)获取驾驶方向序列。
在步骤802处，导航***120识别驾驶员100的视野150中的一组真实物体。导航***120可接收由朝外摄像头122采撷的视频数据且然后处理所述视频数据以识别所述组真实物体。导航***120可(例如且不限于)依赖于计算机视觉技术以及可识别物体的数据库以将视频数据的每一帧的不同区域与特定类别的物体相关联。在其中朝外摄像头122包括如上文结合图1描述的其它类型的传感器的实施方案中，导航***120被配置来处理其它类型的数据。例如，当朝外摄像头122包括基于激光雷达的传感器时，导航***120可接收并(使用例如计算机视觉或等效技术)处理雷达数据以识别所述组真实物体。在步骤803处，导航***120基于所述序列中的当前驾驶指令产生参照驾驶员100的视野150中的真实物体的环境特有驾驶指令。换句话来说，导航***120修改当前驾驶指令以具体地参照驾驶员100可感知的环境相关真实物体。
在步骤804处，导航***120促使扬声器123向驾驶员100指示环境特有驾驶指令。在步骤805处，导航***120确定与驾驶员100相关联的关注方向。导航***120被配置来经由视线传感器121跟踪与驾驶员100相关联的每只眼睛的位置，且确定驾驶员100正观察的方向和沿驾驶员100关注的方向的深度。
在步骤806处，导航***120确定驾驶员100是否正观察环境特有驾驶指令中参照的真实物体。如果驾驶员100实际上正观察真实物体，那么驾驶员100可正确地解译环境特有驾驶指令。然而，如果驾驶员100没有观察真实物体，那么驾驶员100无法了解环境特有驾驶指令。在本公开的环境中，当例如驾驶员100与真实物体眼神接触某个时间量和/或重复地与相同区域/物体眼神接触某个时间量时，驾驶员100被视为“观察”真实物体。所属领域技术人员将了解，许多技术可用于识别驾驶员100正观察的真实物体，且当导航***120执行步骤806时可施加任何这样的技术。
如果导航***120在步骤806处确定驾驶员100实际上正观察由导航***120参照的真实物体，那么导航***120进行到步骤809。步骤809在下文加以更详细描述。然而，在步骤806处，如果导航***120确定驾驶员100没有观察真实物体，那么导航***120进行到步骤807。在步骤807处，导航***120基于驾驶员100的关注方向产生修正信息。在步骤808处，导航***120促使扬声器123向驾驶员100指示修正信息。修正信息大体上区分与环境特有驾驶指令相关联的真实物体与驾驶员100可观察的任何其它物体。
在步骤809处，导航***120确定驾驶员100是否到达最终目的地。如果驾驶员100已到达，那么方法800结束。否则，如果导航***120确定驾驶员100仍未到达，那么在步骤810处，导航***120进行驾驶指令序列中的后续驾驶指令且然后返回到步骤802。因此，导航***120被配置来重复一些或所有方法800直到到达最终目的地为止。在实施方法800的任何给定时间，导航***120还可以上文结合图6A-6C描述的方式与驾驶员100交互以提供指示驾驶员100是否正确地解译环境特有指令的确认消息。
导航***120还可被配置来产生具体地参照驾驶员100已观察的真实物体的环境特有驾驶指令，如下文结合图9更详细地描述。
图9是根据本发明的各个实施方案的用于产生参照车辆的驾驶员关注的真实物体的环境特有驾驶指令的方法步骤的流程图。虽然方法步骤是结合图1的***描述，但是所属领域技术人员将了解，被配置来以任何次序执行方法步骤的任何***均是在本发明的范围内。
如所示，方法900开始于步骤901处，其中导航***120产生用于将车辆110的驾驶员100从当前位置引导到最终目的地的驾驶指令序列。步骤901大体上类似于方法800的步骤801。在步骤902处，类似于方法800的步骤802，导航***120识别驾驶员100的视野150中的一组真实物体。
在步骤903处，导航***120识别驾驶员100当前正观察的关注物体。类似于方法800的步骤805，导航***120依赖于视线传感器121以确定与驾驶员100的视线相关联的方向和深度。在步骤904处，导航***120基于当前驾驶指令产生参照步骤904处确定的关注物体的环境特有驾驶指令。换句话来说，导航***120修改当前驾驶指令以具体地参照环境相关真实物体。在步骤905处，导航***120促使扬声器123向驾驶员100指示环境特有驾驶指令。
在步骤906处，导航***120确定驾驶员100是否到达最终目的地。如果驾驶员100已到达，那么方法900结束。否则，如果导航***120确定驾驶员100仍未到达，那么在步骤907处，导航***120进行驾驶指令序列中的后续驾驶指令且然后返回到步骤902。因此，导航***120被配置来重复一些或所有方法900直到到达最终目的地为止。类似于方法800，在实施方法900的任何给定时间，导航***120还可以上文结合图6A-6C描述的方式与驾驶员100交互以提供指示驾驶员100是否正确地解译环境特有指令的确认消息。
所属领域技术人员将了解，方法800和900表示可彼此结合实施的导航***120的不同实施方案。例如且无限制，导航***100可在驾驶指令序列中的一个步骤期间实施方法800，且然后在驾驶指令序列中的另一步骤期间实施方法900。此外，导航***120可基于各种准则(包括但不限于驾驶员100已成功遵循先前环境特有驾驶指令的程度)在两种方法800和900之间做出选择。
图10是根据本发明的各个实施方案的包括在图1的导航***120内的计算装置的方框图。如所示，计算装置124包括处理单元1000、输入/输出装置1010和存储器单元1020，其中的每一个耦合到其它者。存储器单元1020包括耦合到数据库1022的软件应用程序1021。
处理单元1000可为中央处理电路(CPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或被配置来处理数据并执行应用程序的任何其它类型的硬件单元。I/O装置1010可包括能够接收输入的装置(包括触摸屏、键盘、麦克风等)以及能够提供输出的装置(诸如扬声器、显示装置等)。I/O装置1010还可包括能够接收输入并提供输出的装置，诸如通用串行总线(USB)端口、以太网端口、WiFi收发器等。I/O装置1010大体上给计算装置124提供GPS、蜂窝和/或互联网连接性。
存储器单元1020可为硬盘、快闪存储器单元、随机存取存储器(RAM)模块或任何其它类型的存储介质。软件应用程序1021可由处理单元1000执行以实施迄今为止描述的导航***120的任何功能性。软件应用程序1021可存储数据到数据库1022并从数据库1022取回数据。数据库1022尤其可包括导航数据的各种集合(诸如地图、驾驶指令等)以及与驾驶员100有关的数据(包括所保存的路线、配置偏爱等)。
所属领域技术人员将了解，计算装置124的部分可在基于云的环境中远程实施，且一般来说，计算装置124可为任何类型的分布式***。例如且无限制，数据库1022可驻留在远程位置中，且软件应用程序1021可被配置来存取所述位置以取回路线信息等。此外，软件应用程序1021本身可从远程位置下载和/或定期地从远程服务器机器更新。所属领域技术人员将了解，计算装置124仅仅表示被配置来实施导航***120的功能性的一个示例性计算装置且其它装置也可执行所述功能性。
总之，导航***被配置来产生用于将车辆的驾驶员从当前位置引导到最终目的地的驾驶指令序列。导航***被配置来采撷反映驾驶员的视野的传感器数据并识别视野中的物体。然后导航***定制驾驶指令以参照具体物体，由此产生环境特有驾驶指令。导航***还被配置来识别驾驶员关注的特定物体，且相对于这些关注物体产生环境特有驾驶指令。导航***还可在确定驾驶员不正确地关注不同于环境特有驾驶指令中参照的物体的物体时来向驾驶员提供修正信息。
所公开技术的一个优点是，其实现符合驾驶员的视觉环境的环境特有驾驶指令。因此，驾驶员可直观地遵循所述指令而不分散注意力。因为导航***考虑驾驶员的视野和驾驶员已关注的具体物体，所以导航***可提供直接与驾驶员有关的方向。因此，驾驶员无需转换环境来执行驾驶动作。所公开技术的另一优点是，环境特有驾驶指令可严格地匹配人类导航者将提供的驾驶指令，且因此驾驶员可自然而然相对容易地遵循所述指令。因为环境特有驾驶指令与常规的驾驶指令相比可更容易解译和了解，所以驾驶员不太可能变得混乱和/或迷路。驾驶员的人身安全可因此得以保护。
本发明的一个实施方案可被实施为与计算机***一起使用的程序产品。程序产品的程序界定实施方案的功能(包括本文描述的方法)且可包括在各种计算机可读存储介质上。说明性计算机可读存储介质包括(但不限于)：(i)上面永久地存储信息的不可写存储介质(例如，计算机内的只读存储器装置，诸如可由光盘只读存储器(CD-ROM)驱动器读取的CD-ROM磁盘、快闪存储器、只读存储器(ROM)芯片或任何类型的固态非易失性半导体存储器)；和(ii)上面存储可更改信息的可写存储介质(例如，软盘驱动器或硬盘驱动器内的软盘或任何类型的固态随机存取半导体存储器)。
本发明已在上文参考具体实施方案加以描述。然而，所属领域一般技术人员将了解，在不脱离如随附权利要求书中提出的本发明的精神和范围的情况下可对本发明作出各种修改和改变。前述描述和附图因此被视为说明性而非限制性意义。
因此，本发明的实施方案的范围在以下权利要求书中加以提出。

Claims (20)

1.一种被配置来为车辆的驾驶员产生环境特有驾驶指令的***，所述***包括：
至少传感器，其被配置来采撷反映所述驾驶员的视野的传感器数据；
计算装置，其被配置来：
处理所述传感器数据以识别所述驾驶员的所述视野内的第一物体，和
产生参照所述第一物体的环境特有驾驶指令；和
至少一个输出装置，其被配置来向所述驾驶员输出所述环境特有驾驶指令。
2.根据权利要求1所述的***，其还包括视线传感器，所述视线传感器被配置来识别所述驾驶员关注的所述驾驶员的所述视野内的一个或多个物体。
3.根据权利要求2所述的***，其中所述计算装置还被配置来：
基于从所述视线传感器接收的信息确定所述驾驶员关注所述驾驶员的所述视野内的第二物体而非所述第一物体；
产生区分所述第一物体与所述第二物体并指示所述驾驶员应关注所述第一物体的修正信息；和
促使所述至少一个输出装置向所述驾驶员输出所述修正信息。
4.根据权利要求3所述的***，其中所述计算装置还被配置来：
从所述视线传感器接收指示所述驾驶员已将注意力从所述第二物体转移到所述第一物体的通知；
产生确认所述驾驶员正确地关注所述第一物体而非所述第二物体的确认消息；和
促使所述至少一个输出装置向所述驾驶员输出所述确认消息。
5.根据权利要求2所述的***，其中所述计算装置还被配置来：
从所述驾驶员接收参照所述驾驶员的所述视野内的第二物体的查询；
产生指示所述驾驶员不正确地关注所述第二物体的错误消息；和
促使所述至少一个输出装置向所述驾驶员输出所述错误消息。
6.根据权利要求2所述的***，其中所述计算装置被配置来响应于从所述视线传感器接收的指示所述驾驶员关注所述第一物体的信息而产生所述环境特有驾驶指令。
7.根据权利要求6所述的***，其中所述计算装置还被配置来：
从所述驾驶员接收参照所述第一物体的查询；
产生指示所述驾驶员正确地关注所述第一物体的确认消息；和
促使所述至少一个输出装置向所述驾驶员输出所述确认消息。
8.根据权利要求1所述的***，其中所述计算装置还被配置来：
从所述驾驶员接收指定最终目的地的输入；
确定所述车辆的当前位置；
产生将所述驾驶员从所述当前位置引导到所述最终目的地的驾驶指令序列，其中所述驾驶指令序列中的每个驾驶指令指示由所述驾驶员执行的特定驾驶动作；
识别所述驾驶指令序列中与所述车辆的所述当前位置相关联的当前驾驶指令；和
通过修改所述当前驾驶指令以包括对所述第一物体的参照来产生所述环境特有驾驶指令。
9.一种非暂时性计算机可读介质，其在由处理单元执行时通过执行以下步骤促使所述处理单元为车辆的驾驶员产生环境特有驾驶指令：
从包围所述车辆的至少一部分的视觉全景采撷数据；
识别所述视觉全景内的第一物体；
产生参照所述第一物体的环境特有驾驶指令；和
向所述驾驶员输出所述环境特有驾驶指令。
10.根据权利要求9所述的非暂时性计算机可读介质，其还包括以下步骤：从视线传感器接收指示所述驾驶员关注的所述视觉全景内的一个或多个物体的信息。
11.根据权利要求10所述的非暂时性计算机可读介质，其还包括以下步骤：
基于从所述视线传感器接收的所述信息确定所述驾驶员关注所述视觉全景内的第二物体而非所述第一物体；
产生指示所述驾驶员应关注所述第一物体而不应关注所述第二物体的修正信息；和
向所述驾驶员输出所述修正信息。
12.根据权利要求11所述的非暂时性计算机可读介质，其还包括以下步骤：
从所述视线传感器接收指示所述驾驶员已将注意力从所述第二物体转移到所述第一物体的通知；
基于所述通知产生确认消息；和
向所述驾驶员输出所述确认消息。
13.根据权利要求10所述的非暂时性计算机可读介质，其还包括以下步骤：
从所述驾驶员接收关于所述驾驶员的所述视野内的第二物体的查询；
产生指示所述驾驶员应忽略所述第二物体的错误消息；和
向所述驾驶员输出所述错误消息。
14.根据权利要求10所述的非暂时性计算机可读介质，其中产生所述环境特有驾驶指令的所述步骤响应于从所述视线传感器接收的指示所述驾驶员关注所述第一物体的信息而发生。
15.根据权利要求14所述的非暂时性计算机可读介质，其还包括以下步骤：
从所述驾驶员接收关于所述第一物体的查询；
产生指示所述驾驶员应继续关注所述第一物体的确认消息；和
向所述驾驶员输出所述确认消息。
16.根据权利要求9所述的非暂时性计算机可读介质，其还包括以下步骤：
确定所述车辆的最终目的地；
确定所述车辆的当前位置；
获取将所述驾驶员从所述当前位置引导到所述最终目的地的驾驶指令序列，其中所述驾驶指令序列中的每个驾驶指令指示由所述驾驶员执行的特定驾驶动作；
识别所述驾驶指令序列中指示由所述驾驶员执行的后续驾驶动作的当前驾驶指令；和
通过修改所述当前驾驶指令以包括对所述第一物体的参照来产生所述环境特有驾驶指令。
17.一种用于为车辆的驾驶员产生环境特有驾驶指令的计算机实施方法，所述方法包括：
采撷反映所述驾驶员的视野的数据；
处理所述数据以识别所述驾驶员的所述视野内的第一物体；
产生参照所述第一物体的环境特有驾驶指令；和
向所述驾驶员输出所述环境特有驾驶指令。
18.根据权利要求17所述的计算机实施方法，其还包括：
基于从视线传感器接收的信息确定所述驾驶员关注所述驾驶员的所述视野内的第二物体而非所述第一物体；
产生区分所述第一物体与所述第二物体并指示所述驾驶员应关注所述第一物体的修正信息；和
向所述驾驶员输出所述修正信息。
19.根据权利要求17所述的计算机实施方法，其还包括响应于从视线传感器接收的指示所述驾驶员关注所述第一物体的信息而产生所述环境特有驾驶指令。
20.根据权利要求17所述的计算机实施方法，其还包括：
确定所述车辆的当前位置；
获取将所述驾驶员从所述当前位置引导到所述最终目的地的驾驶指令序列，其中所述驾驶指令序列中的每个驾驶指令指示由所述驾驶员执行的特定驾驶动作；
识别所述驾驶指令序列中指示由所述驾驶员执行的后续驾驶动作的当前驾驶指令；和
通过修改所述当前驾驶指令以包括对所述第一物体的参照来产生所述环境特有驾驶指令。
CN201480065928.6A 2013-12-09 2014-12-08 启用视线的导航*** Pending CN105814615A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110311825.5A CN113074750A (zh) 2013-12-09 2014-12-08 启用视线的导航***

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/100,386 US9354073B2 (en) 2013-12-09 2013-12-09 Eye gaze enabled navigation system
US14/100,386 2013-12-09
PCT/US2014/069119 WO2015088982A1 (en) 2013-12-09 2014-12-08 Eye gaze enabled navigation system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110311825.5A Division CN113074750A (zh) 2013-12-09 2014-12-08 启用视线的导航***

Publications (1)

Publication Number Publication Date
CN105814615A true CN105814615A (zh) 2016-07-27

Family

ID=53270829

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480065928.6A Pending CN105814615A (zh) 2013-12-09 2014-12-08 启用视线的导航***
CN202110311825.5A Pending CN113074750A (zh) 2013-12-09 2014-12-08 启用视线的导航***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110311825.5A Pending CN113074750A (zh) 2013-12-09 2014-12-08 启用视线的导航***

Country Status (4)

Country Link
US (2) US9354073B2 (zh)
EP (1) EP3080789B1 (zh)
CN (2) CN105814615A (zh)
WO (1) WO2015088982A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150235538A1 (en) * 2014-02-14 2015-08-20 GM Global Technology Operations LLC Methods and systems for processing attention data from a vehicle
KR20160038476A (ko) * 2014-09-30 2016-04-07 현대자동차주식회사 시선 측정 장치 및 방법
CN106372095B (zh) * 2015-10-16 2020-02-07 北京智谷睿拓技术服务有限公司 电子地图显示方法、装置及车载设备
US10618528B2 (en) * 2015-10-30 2020-04-14 Mitsubishi Electric Corporation Driving assistance apparatus
WO2018000038A1 (en) 2016-06-29 2018-01-04 Seeing Machines Limited System and method for identifying a camera pose of a forward facing camera in a vehicle
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
GB2557688B (en) * 2016-12-15 2021-03-24 Ford Global Tech Llc Navigation method and system
DE112018006164B4 (de) * 2018-01-05 2021-05-12 Mitsubishi Electric Corporation Sichtlinienrichtungskalibrierungsvorrichtung, sichtlinienrichtungskalibrierungsverfahren und sichtlinienrichtungskalibrierungsprogramm
WO2019167285A1 (ja) * 2018-03-02 2019-09-06 三菱電機株式会社 運転支援装置及び運転支援方法
US11024193B1 (en) * 2018-03-06 2021-06-01 Eureka Saxton Interactive driver test administration systems
US11282385B2 (en) * 2018-04-24 2022-03-22 Qualcomm Incorproated System and method of object-based navigation
US10849543B2 (en) 2018-06-08 2020-12-01 Ford Global Technologies, Llc Focus-based tagging of sensor data
US10611382B2 (en) 2018-06-11 2020-04-07 Honda Motor Co., Ltd. Methods and systems for generating adaptive instructions
CN109558012B (zh) * 2018-12-26 2022-05-13 北京七鑫易维信息技术有限公司 一种眼球追踪方法及装置
DE102018133669A1 (de) * 2018-12-28 2020-07-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Wiedergabe von Navigationshinweisen
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
US11635299B2 (en) * 2020-02-06 2023-04-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for scene-aware interaction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1378724A1 (en) * 2002-07-01 2004-01-07 Mazda Motor Corporation Route guidance system based on visual activity of the driver
US20090125174A1 (en) * 2007-11-09 2009-05-14 Bruno Delean Computerized driverless vehicles and traffic control system
CN102656613A (zh) * 2009-12-18 2012-09-05 本田技研工业株式会社 使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口
CN102887121A (zh) * 2011-07-19 2013-01-23 通用汽车环球科技运作有限责任公司 将注视位置映射到车辆中的信息显示器的方法
US20130307762A1 (en) * 2012-05-17 2013-11-21 Nokia Corporation Method and apparatus for attracting a user's gaze to information in a non-intrusive manner

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4385392B2 (ja) * 2000-06-15 2009-12-16 マツダ株式会社 車両用情報提供装置
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
US6989754B2 (en) 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
KR20060040013A (ko) * 2004-11-04 2006-05-10 엘지전자 주식회사 네비게이션 시스템에서 주행경로를 음성으로 안내하는 방법
JP2007200274A (ja) * 2005-09-14 2007-08-09 Denso Corp 合流支援装置及び合流支援システム
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US7914187B2 (en) * 2007-07-12 2011-03-29 Magna Electronics Inc. Automatic lighting system with adaptive alignment function
CN101677762B (zh) * 2008-02-28 2012-08-22 松下电器产业株式会社 视线检测装置以及视线检测方法
US8493412B2 (en) * 2008-10-31 2013-07-23 Honeywell Internatioal Inc. Methods and systems for displaying sensor-based images of an external environment
US8977489B2 (en) * 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
US8364398B2 (en) 2009-08-28 2013-01-29 Navteq B.V. Method of operating a navigation system to provide route guidance
US8370060B2 (en) 2009-08-28 2013-02-05 Navteq B.V. Method of operating a navigation system to provide route guidance
US9201143B2 (en) * 2009-08-29 2015-12-01 Echo-Sense Inc. Assisted guidance navigation
US8489319B2 (en) * 2009-10-28 2013-07-16 Telenav, Inc. Navigation system with video and method of operation thereof
JP2011117850A (ja) * 2009-12-03 2011-06-16 Renesas Electronics Corp ナビゲーションシステム
US8374791B2 (en) 2010-01-27 2013-02-12 Navteq B.V. Method of operating a navigation system to provide route guidance
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US8576286B1 (en) * 2010-04-13 2013-11-05 General Dynamics Armament And Technical Products, Inc. Display system
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
WO2012068280A1 (en) * 2010-11-16 2012-05-24 Echo-Sense Inc. Remote guidance system
US8924150B2 (en) * 2010-12-29 2014-12-30 GM Global Technology Operations LLC Vehicle operation and control system for autonomous vehicles on full windshield display
US9008904B2 (en) * 2010-12-30 2015-04-14 GM Global Technology Operations LLC Graphical vehicle command system for autonomous vehicles on full windshield head-up display
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
EP2564765B1 (en) * 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
US8514101B2 (en) * 2011-12-02 2013-08-20 GM Global Technology Operations LLC Driving maneuver assist on full windshield head-up display
US8688377B1 (en) * 2012-02-17 2014-04-01 Google Inc. System and method of using automatically-identified prominent establishments in driving directions
US10609335B2 (en) * 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
US8766765B2 (en) * 2012-09-14 2014-07-01 Hassan Wael HAMADALLAH Device, method and computer program product to assist visually impaired people in sensing voice direction
US9031729B2 (en) * 2012-11-29 2015-05-12 Volkswagen Ag Method and system for controlling a vehicle
US9146124B2 (en) * 2012-12-18 2015-09-29 Nokia Technologies Oy Helmet-based navigation notifications
US8825371B2 (en) * 2012-12-19 2014-09-02 Toyota Motor Engineering & Manufacturing North America, Inc. Navigation of on-road vehicle based on vertical elements
US9080877B2 (en) * 2013-02-21 2015-07-14 Apple Inc. Customizing destination images while reaching towards a desired task
US9050980B2 (en) * 2013-02-25 2015-06-09 Honda Motor Co., Ltd. Real time risk assessment for advanced driver assist system
US20140350942A1 (en) * 2013-05-23 2014-11-27 Delphi Technologies, Inc. Vehicle human machine interface with gaze direction and voice recognition
US9147353B1 (en) * 2013-05-29 2015-09-29 Allstate Insurance Company Driving analysis using vehicle-to-vehicle communication
US20140375543A1 (en) * 2013-06-25 2014-12-25 Honda Motor Co., Ltd. Shared cognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1378724A1 (en) * 2002-07-01 2004-01-07 Mazda Motor Corporation Route guidance system based on visual activity of the driver
US20090125174A1 (en) * 2007-11-09 2009-05-14 Bruno Delean Computerized driverless vehicles and traffic control system
CN102656613A (zh) * 2009-12-18 2012-09-05 本田技研工业株式会社 使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口
CN102887121A (zh) * 2011-07-19 2013-01-23 通用汽车环球科技运作有限责任公司 将注视位置映射到车辆中的信息显示器的方法
US20130307762A1 (en) * 2012-05-17 2013-11-21 Nokia Corporation Method and apparatus for attracting a user's gaze to information in a non-intrusive manner

Also Published As

Publication number Publication date
CN113074750A (zh) 2021-07-06
EP3080789A1 (en) 2016-10-19
EP3080789B1 (en) 2020-08-12
WO2015088982A1 (en) 2015-06-18
US20160258776A1 (en) 2016-09-08
US9354073B2 (en) 2016-05-31
US20150160033A1 (en) 2015-06-11
US9791286B2 (en) 2017-10-17
EP3080789A4 (en) 2017-10-04

Similar Documents

Publication Publication Date Title
CN105814615A (zh) 启用视线的导航***
US10915101B2 (en) Context-dependent alertness monitor in an autonomous vehicle
US11001196B1 (en) Systems and methods for communicating a machine intent
KR101932003B1 (ko) 실시간 동적으로 결정된 감지에 기초하여 무인 운전 차량에서 콘텐츠를 제공하는 시스템 및 방법
US10339711B2 (en) System and method for providing augmented reality based directions based on verbal and gestural cues
JP2019182404A (ja) 自動運転車両のためのセンサー集約フレームワーク
JP2022507995A (ja) 無人運転車用の障害物回避方法及び装置
CN110390240B (zh) 自动驾驶车辆中的车道后处理
US11945460B1 (en) Systems and methods for interfacing with an occupant
JP6910452B2 (ja) より高度に自動化された、例えば、高度自動化車両（ｈａｆ）をデジタル式位置特定マップで位置特定するための方法
US20190163993A1 (en) Method and apparatus for maintaining a lane
JP2018501543A (ja) 現在存在する走行状況を特定するための方法及び装置
US20190011924A1 (en) System and method for navigating an autonomous driving vehicle
US11904853B2 (en) Apparatus for preventing vehicle collision and method thereof
JP2023126642A (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US20220075387A1 (en) Electronic device and control method thereof
CN115339453B (zh) 车辆换道决策信息生成方法、装置、设备和计算机介质
US20220348211A1 (en) Method and Assistance Device for Assisting Driving Operation of a Motor Vehicle, and Motor Vehicle
JP7462837B2 (ja) 低信頼度の物体検出条件における車両動作のための注釈及びマッピング
US20190391588A1 (en) Information processing method and information processing device
JP7426471B2 (ja) 自動運転車インタラクションシステム
WO2021193103A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114771510A (zh) 基于路线图的泊车方法、泊车***及电子设备
CN115996869A (zh) 信息处理装置、信息处理方法、信息处理***和程序
JP7159851B2 (ja) 運転支援装置、車両、情報提供装置、運転支援システム、及び運転支援方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160727

RJ01 Rejection of invention patent application after publication