CN102887121B - 将注视位置映射到车辆中的信息显示器的方法 - Google Patents

将注视位置映射到车辆中的信息显示器的方法 Download PDF

Info

Publication number
CN102887121B
CN102887121B CN201210250329.4A CN201210250329A CN102887121B CN 102887121 B CN102887121 B CN 102887121B CN 201210250329 A CN201210250329 A CN 201210250329A CN 102887121 B CN102887121 B CN 102887121B
Authority
CN
China
Prior art keywords
module
vehicle
occupant
data
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210250329.4A
Other languages
English (en)
Other versions
CN102887121A (zh
Inventor
A.J.卡尔霍斯
F.阿尔-阿明
J.曹
N.J.维格特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN102887121A publication Critical patent/CN102887121A/zh
Application granted granted Critical
Publication of CN102887121B publication Critical patent/CN102887121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及将注视位置映射到车辆中的信息显示器的方法，具体地提供了一种控制车辆的车辆***的方法。所述方法包括：接收从所述车辆的乘员捕获的图像数据；基于所述图像数据确定所述车辆的所述乘员的焦点；以及基于所述乘员的所述焦点生成用户指令，以控制所述车辆***。

Description

将注视位置映射到车辆中的信息显示器的方法
技术领域
本发明涉及用于使用驾驶员注视来控制车辆***的方法、***和计算机程序产品。
背景技术
用于车辆娱乐***的主要控制器通常位于车辆仪表板的中心。为了操纵娱乐***以执行某一功能，驾驶员暂时地将他们的注意焦点从道路改变到娱乐***。
因此，期望的是提供用于在不改变驾驶员的焦点的情况下操纵车辆功能的***和方法。
发明内容
在一个示例性实施例中，提供了一种控制车辆的车辆***的方法。所述方法包括：接收从所述车辆的乘员捕获的图像数据；基于所述图像数据确定所述车辆的所述乘员的焦点；以及基于所述乘员的所述焦点生成用户指令，以控制所述车辆***。
在另一示例性实施例中，提供了一种用于车辆的控制***。所述控制***包括第一模块，所述第一模块基于图像数据确定所述车辆的乘员的焦点，其中，使用图像处理器从所述乘员捕获所述图像数据。第二模块基于所述乘员的所述焦点生成用户指令，以控制车辆***。
在又一示例性实施例中，提供了一种车辆。所述车辆包括捕获所述车辆的乘员的图像数据的图像处理器。人机界面模块处理所述图像数据，并基于所述图像数据生成用户指令。车辆***接收所述用户指令并基于所述用户指令控制所述车辆***的功能。
本发明还提供如下方案：
1、一种控制车辆的车辆***的方法，其包括：
接收从所述车辆的乘员捕获的图像数据；
基于所述图像数据确定所述车辆的所述乘员的焦点；以及
基于所述乘员的所述焦点生成用户指令，以控制所述车辆***。
2、根据方案1所述的方法，其还包括：分析所述图像数据，以从所述图像数据确定眼睛数据和面部数据中的至少一个。
3、根据方案2所述的方法，其中，确定所述乘员的所述焦点是基于眼睛数据和面部数据中的所述至少一个。
4、根据方案1所述的方法，其还包括：生成用于显示与所述车辆***相关联的用户界面的显示数据。
5、根据方案4所述的方法，其还包括：基于相对于所述用户界面的焦点确定所述乘员的选择，其中，所述生成所述用户指令基于所述选择。
6、根据方案5所述的方法，其还包括：基于所述选择修改所述显示数据。
7、根据方案1所述的方法，其还包括：捕获所述乘员的所述图像数据。
8、一种用于车辆的控制***，其包括：
第一模块，所述第一模块基于图像数据确定所述车辆的乘员的焦点，其中，使用图像处理器从所述乘员捕获所述图像数据；以及
第二模块，所述第二模块基于所述乘员的所述焦点生成用户指令，以控制车辆***。
9、根据方案8所述的***，其还包括：第三模块，所述第三模块分析所述图像数据，以从所述图像数据确定眼睛数据和面部数据中的至少一个。
10、根据方案9所述的***，其中，所述第一模块基于眼睛数据和面部数据中的所述至少一个来确定所述乘员的所述焦点。
11、根据方案8所述的***，其还包括：第四模块，所述第四模块生成用于显示与所述车辆***相关联的用户界面的显示数据。
12、根据方案11所述的***，其中，所述第二模块基于相对于所述用户界面的所述焦点确定所述乘员的选择，其中，所述第二模块基于所述选择生成所述用户指令。
13、根据方案12所述的***，其中，所述第四模块基于所述选择修改所述显示数据。
14、根据方案8所述的***，其还包括：所述图像处理器，所述图像处理器捕获所述乘员的所述图像数据。
15、一种车辆，所述车辆包括：
图像处理器，所述图像处理器捕获所述车辆的乘员的图像数据；
人机界面模块，所述人机界面模块处理所述图像数据并基于所述图像数据生成用户指令；以及
车辆***，所述车辆***接收所述用户指令并基于所述用户指令控制所述车辆***的功能。
16、根据方案15所述的车辆，其还包括：显示***，所述显示***在所述乘员的视线内显示用户界面。
17、根据方案16所述的车辆，其中，所述人机界面模块相对于所述用户界面处理所述图像数据。
18、根据方案16所述的车辆，其中，所述人机界面模块基于所述用户指令将界面数据传输到所述显示***。
19、根据方案15所述的车辆，其中，所述人机界面模块基于所述确定所述图像数据的所述车辆的焦点；并基于所述乘员的所述焦点生成所述用户指令。
根据结合附图进行的本发明的以下详细描述，本发明的以上特征和优点以及其它特征和优点将更加明显。
附图说明
其它特征、优点和细节在实施例的以下详细描述中仅通过举例方法呈现，参照附图进行了详细描述，附图中：
图1是示出根据示例性实施例的包括驾驶员注视控制***的车辆的功能框图；
图2是示出根据示例性实施例的驾驶员注视控制模块的数据流图示；以及
图3是示出根据示例性实施例的驾驶员注视控制方法的流程图。
具体实施方式
下面的描述本质上仅是示例性的并且决不是要限制本发明、其应用或用途。应当理解的是，在整个附图中，相应的附图标记指示相同的或相应的部件和特征。如这里所使用的，术语模块是指专用集成电路（ASIC）、电子电路、执行一个或多个软件程序或固件程序的处理器（共用的、专用的、或成组的）和存储器、组合逻辑电路、和/或提供所描述功能的其它适合组件。
根据示例性实施例，总体上用10示出的基于注视的控制***被示为包括在车辆12内。基于注视的控制***10处理车辆12的驾驶员13或其他乘员的视网膜信息，并基于此生成用于控制车辆***16a-16n的功能的控制信号。例如，这些车辆***16a-16n可以包括、但不限于娱乐***、导航***、远程信息处理***和/或车辆内的任何其它***。可以认识到，控制信号可以通过车辆网络20（如总体上用22示出的）传输到与车辆***16a-16n相关联的控制模块18a-18n，和/或可以直接传输到车辆***16n’（如总体上用24示出的）。
在各个实施例中，基于注视的控制***10包括捕获驾驶员13的图像数据的图像处理器26和处理捕获的图像数据的人机界面（HMI）模块28。基于处理的图像数据，HMI模块28生成控制信号以控制车辆***16a-16n中的一个或多个。
在各个实施例中，HMI模块与显示***30通信。显示***30显示与将被控制的车辆***16a-16n对应的用户界面。在各个实施例中，在驾驶员13的视线内或附近显示用户界面。例如，用户界面可以通过平视显示器（HUD）***显示在车辆12的挡风玻璃（未示出）上。HMI模块28处理与显示的用户界面有关的图像数据。
现在参照图2，数据流图示出了根据各个实施例的HMI模块28。可以认识到，根据本发明，HMI模块28的各个实施例可以包括任何数量的子模块。在图2中示出的子模块可以组合和/或进一步划分，从而类似地识别用户的注视，并基于此来控制一个或多个车辆***16a-16n’（图1）的功能。对HMI模块28的输入可以从车辆12（图1）的一个或多个感测输入来接收，从车辆12（图1）内的其它模块（未示出）来接收，由HMI模块28内的其它模块（未示出）来确定/建模，和/或通过网络（例如，因特网）从外部源接收。在图2的示例中，HMI模块28包括图像处理模块32、注视分析模块34、显示模块36和指令模块38。
图像处理模块32接收作为输入的图像数据40。图像处理模块32处理图像数据40，以区分驾驶员13（图1）的面部和眼睛，并基于此生成眼睛数据42和面部数据44。可以认识到，图像处理模块32可以执行各种分析方法，以从图像数据40区分眼睛和面部。这样的分析方法可以包括、但不限于对眼睛使用红外线照明，以生成在瞳孔和面部的其它部分之间产生高对比度的亮瞳效应，从而提供眼睛跟踪稳健性和精确性。使用Viola-Jones目标检测框架来执行面部检测。
注视分析模块34接收作为输入的眼睛数据42和面部数据44。注视分析模块34基于眼睛数据42和/或面部数据44确定驾驶员13（图1）的焦点，并基于此生成焦点数据46。可以认识到，注视分析模块34可以执行各种分析方法，以确定驾驶员13（图1）的焦点。这样的分析方法可以包括、但不限于使用来自注视分析模块的驾驶员的自对准静息状态数据（self calibrated resting stated data）并确定相对的眼睛（瞳孔）和面部位置，驾驶员聚焦算法能够确定驾驶员的焦点。
在各个实施例中，注视分析模块34可以使用分析方法分析面部数据44，以确定面部的位置。然后，注视分析模块34可以使用分析方法并基于面部位置分析眼睛数据42，以确定眼睛的焦点。在各个实施例中，眼睛的焦点可以由例如一般位置或二维平面内的x、y坐标表示。
显示模块36接收作为输入的***数据48。***数据48可以由将被控制的车辆***16a-16n（图1）生成，并可以指示车辆***16a-16n（图1）的当前状态。基于***数据48，显示模块36管理将经由显示数据50显示的用户界面。例如，显示模块36可以生成可由显示***30使用的显示数据50，以显示与将被控制的车辆***16a-16n（图1）相关联的用户界面的特定屏幕或通知。
然后，显示模块36使得显示数据或其它显示/功能数据52对于指令模块38可用。显示/功能数据52指示与正被显示的特定屏幕或通知相关联的任何功能和功能到显示有用户界面的二维平面的映射。例如，功能x、y和z由正被显示的屏幕提供。功能x被映射到用户界面的坐标（（a，b）、（c，d）、（e，f）等）；功能y被映射到用户界面的坐标（（g，h）、（i，j）、（k，l）等）；功能z被映射到用户界面的坐标（（m，n）、（o，p）、（q，r）等）。
在各个实施例中，显示模块36还接收作为输入的选择54。如将关于指令模块38更详细地讨论的，当选择的功能与用户界面的新的屏幕或通知相关联时，可以生成选择54。基于选择54，显示模块36可以修改显示数据50（例如，以显示新的屏幕或通知）和显示/功能数据52。
指令模块38接收作为输入的显示/功能数据52和焦点数据46。基于输入46、52，指令模块38确定驾驶员的选择54，并在一些情况下基于此生成用户指令56。例如，指令模块38将焦点数据46的坐标映射到显示/功能数据52的坐标，并确定与坐标相关联的功能。然后，指令模块38确定用于该功能的适当指令，并基于此生成用户指令56。
用户指令56可以由车辆***16a-16n’接收，以控制***特征。用户指令可以返回提供给显示模块，以引发用户界面的改变。
现在参照图3，并继续参照图2，流程图示出了根据本发明的可以由基于注视的控制***执行的基于注视的控制方法。根据本发明可以认识到，方法内的操作的顺序不限于如在图3中示出的顺序执行，而是如果适用且根据本发明可以一种或多种不同的次序执行。可以进一步认识到，在不改变方法的精神的情况下，可以添加或去除一个或多个步骤。
在各个实施例中，方法可以被调度以基于预定的事件运行，和/或可以在车辆12（图1）的操作期间连续地运行（如所示）。
在一个示例中，方法可以在100开始。在110确定基于注视的控制是否是活跃的（例如，由驾驶员选择开关，以激活基于注视的控制***）。如果在110，基于注视的控制是活跃的，则在130基于控制***数据和任何选择确定用户界面。在140，基于***数据和任何指令数据生成显示数据，以例如通过HUD显示用户界面。在150分析来自图像处理器的图像数据，以确定眼睛数据和/或面部数据。在160分析眼睛数据和/或面部数据，以确定焦点。在170，基于焦点和与正在显示的当前用户界面（如由显示/功能数据指示的）相关联的功能来确定选择。可选地，在180，可以通过来自用户界面的提示来确认选择。如果在180确认选择，则在190基于选择和与选择相关联的功能生成用户指令。然后，该方法在110继续监测基于注视的控制***是否是活跃的。然而，如果基于注视的控制***不是活跃的，或者基于注视的控制***变成了非活跃（例如，随后被切断），则该方法可以在120结束。
尽管已经参照示例性实施例描述了本发明，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以做出各种改变，并且等价物可以代替其元件。另外，在不脱离本发明的实质范围的情况下，可以进行许多修改，以使具体的情形或材料适应本发明的教导。因此，本发明并不意图局限于所公开的具体实施例，而是本发明将包括落在当前应用的范围内的所有实施例。

Claims (19)

1.一种控制车辆的车辆***的方法，其包括：
由处理器接收从所述车辆的乘员捕获的图像数据；
基于所述图像数据确定所述车辆的所述乘员的焦点；
使用二维坐标***可视地表示与所述焦点关联的信息；
将功能映射到所述二维坐标***和用户界面，所述功能构造成通过在车辆的车辆网络上与所述处理器通信的相应的车辆控制模块控制所述车辆***；
通过集成在所述车辆中的显示装置显示包括被映射到所述二维坐标***的功能的所述用户界面；
基于与所述信息关联的坐标确定所述功能；以及
基于所述乘员的所述焦点生成用户指令以执行与所述车辆***关联的所述功能。
2.根据权利要求1所述的方法，其还包括：分析所述图像数据，以从所述图像数据确定眼睛数据和面部数据中的至少一个。
3.根据权利要求2所述的方法，其中，确定所述乘员的所述焦点是基于眼睛数据和面部数据中的所述至少一个。
4.根据权利要求1所述的方法，其还包括：生成用于显示与所述车辆***相关联的用户界面的显示数据。
5.根据权利要求4所述的方法，其还包括：基于相对于所述用户界面的焦点确定所述乘员的选择，其中，所述生成所述用户指令基于所述选择。
6.根据权利要求5所述的方法，其还包括：基于所述选择修改所述显示数据。
7.根据权利要求1所述的方法，其还包括：捕获所述乘员的所述图像数据。
8.一种用于车辆的控制***，其包括：
第一模块，所述第一模块：基于图像数据确定所述车辆的乘员的焦点，其中，使用图像处理器从所述乘员捕获所述图像数据；使用二维坐标***可视地表示与所述焦点关联的信息；将功能映射到所述二维坐标***和用户界面，所述功能构造成通过在车辆的车辆网络上与所述处理器通信的相应的车辆控制模块控制车辆***；通过集成在所述车辆中的显示装置显示包括被映射到所述二维坐标***的功能的所述用户界面；和基于与所述信息关联的坐标确定所述功能；以及
第二模块，所述第二模块基于所述乘员的所述焦点生成用户指令以执行与所述车辆***关联的所述功能。
9.根据权利要求8所述的***，其还包括：第三模块，所述第三模块分析所述图像数据，以从所述图像数据确定眼睛数据和面部数据中的至少一个。
10.根据权利要求9所述的***，其中，所述第一模块基于眼睛数据和面部数据中的所述至少一个来确定所述乘员的所述焦点。
11.根据权利要求8所述的***，其还包括：第四模块，所述第四模块生成用于显示与所述车辆***相关联的用户界面的显示数据。
12.根据权利要求11所述的***，其中，所述第二模块基于相对于所述用户界面的所述焦点确定所述乘员的选择，其中，所述第二模块基于所述选择生成所述用户指令。
13.根据权利要求12所述的***，其中，所述第四模块基于所述选择修改所述显示数据。
14.根据权利要求8所述的***，其还包括：所述图像处理器，所述图像处理器捕获所述乘员的所述图像数据。
15.一种车辆，所述车辆包括：
图像处理器，所述图像处理器捕获所述车辆的乘员的图像数据并基于所述图像数据确定所述乘员的焦点、使用二维坐标***可视地表示与所述焦点关联的信息、和将功能映射到所述二维坐标***和用户界面，所述功能构造成通过在车辆的车辆网络上与所述处理器通信的相应的车辆控制模块控制车辆***；通过集成在所述车辆中的显示装置显示包括被映射到所述二维坐标***的功能的所述用户界面；
人机界面模块，所述人机界面模块处理所述图像数据、基于与所述信息关联的坐标确定所述功能并基于所述图像数据生成用户指令；以及
车辆***，所述车辆***接收所述用户指令并基于所述用户指令控制所述车辆***的所述功能。
16.根据权利要求15所述的车辆，其还包括：显示***，所述显示***在所述乘员的视线内显示用户界面。
17.根据权利要求16所述的车辆，其中，所述人机界面模块相对于所述用户界面处理所述图像数据。
18.根据权利要求16所述的车辆，其中，所述人机界面模块基于所述用户指令将界面数据传输到所述显示***。
19.根据权利要求15所述的车辆，其中，所述人机界面模块基于所述确定所述图像数据的所述车辆的焦点；并基于所述乘员的所述焦点生成所述用户指令。
CN201210250329.4A 2011-07-19 2012-07-19 将注视位置映射到车辆中的信息显示器的方法 Active CN102887121B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/185,545 US9043042B2 (en) 2011-07-19 2011-07-19 Method to map gaze position to information display in vehicle
US13/185545 2011-07-19

Publications (2)

Publication Number Publication Date
CN102887121A CN102887121A (zh) 2013-01-23
CN102887121B true CN102887121B (zh) 2015-10-28

Family

ID=47502346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210250329.4A Active CN102887121B (zh) 2011-07-19 2012-07-19 将注视位置映射到车辆中的信息显示器的方法

Country Status (3)

Country Link
US (1) US9043042B2 (zh)
CN (1) CN102887121B (zh)
DE (1) DE102012212217B4 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010106414A1 (en) * 2009-03-16 2010-09-23 Nokia Corporation A controller for a directional antenna and associated apparatus and methods
KR102080183B1 (ko) * 2013-04-18 2020-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서 잠금 해제 방법
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US10372204B2 (en) 2013-10-30 2019-08-06 Technology Against Als Communication and control system and method
US9354073B2 (en) * 2013-12-09 2016-05-31 Harman International Industries, Inc. Eye gaze enabled navigation system
US9817474B2 (en) * 2014-01-24 2017-11-14 Tobii Ab Gaze driven interaction for a vehicle
DE102014211882A1 (de) * 2014-06-20 2015-12-24 Robert Bosch Gmbh Verfahren zur Ermittlung der Herzfrequenz des Fahrers eines Fahrzeugs
GB2532457B (en) * 2014-11-19 2018-04-18 Jaguar Land Rover Ltd Dynamic control apparatus and related method
CN104503583B (zh) * 2014-12-30 2018-03-06 百度在线网络技术（北京）有限公司 信息显示方法及装置
DE102015212006A1 (de) * 2015-06-29 2016-12-29 Bayerische Motoren Werke Aktiengesellschaft Bedienung mittels Kopfausrichtung
US10713501B2 (en) * 2015-08-13 2020-07-14 Ford Global Technologies, Llc Focus system to enhance vehicle vision performance
US9841813B2 (en) * 2015-12-22 2017-12-12 Delphi Technologies, Inc. Automated vehicle human-machine interface system based on glance-direction
US10095937B2 (en) * 2016-06-21 2018-10-09 GM Global Technology Operations LLC Apparatus and method for predicting targets of visual attention
CN106131503A (zh) * 2016-08-16 2016-11-16 深圳市金豪泰科技有限公司 一种行车监控***及监控方法
US20190012552A1 (en) * 2017-07-06 2019-01-10 Yves Lambert Hidden driver monitoring
GB2567164A (en) 2017-10-04 2019-04-10 Continental Automotive Gmbh Display system in a vehicle
US11643092B2 (en) * 2017-12-27 2023-05-09 Bayerische Motoren Werke Aktiengesellschaft Vehicle lane change prediction
US10928900B2 (en) 2018-04-27 2021-02-23 Technology Against Als Communication systems and methods
CN109542217B (zh) * 2018-10-12 2022-05-17 深圳市元征科技股份有限公司 一种眼球追踪显示方法以及装置
KR20190078553A (ko) * 2019-06-14 2019-07-04 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
KR20210034843A (ko) * 2019-09-23 2021-03-31 삼성전자주식회사 차량의 제어 장치 및 방법
US11487968B2 (en) * 2019-12-16 2022-11-01 Nvidia Corporation Neural network based facial analysis using facial landmarks and associated confidence values
US11535253B2 (en) * 2020-09-18 2022-12-27 GM Global Technology Operations LLC Lane change maneuver intention detection systems and methods

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1894120A (zh) * 2003-12-17 2007-01-10 株式会社建伍 用于实现车载人机界面的装置和方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60152904A (ja) * 1984-01-20 1985-08-12 Nippon Denso Co Ltd 車両運転者位置認識装置
JPH01158579A (ja) * 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
US7887089B2 (en) * 1992-05-05 2011-02-15 Automotive Technologies International, Inc. Vehicular occupant protection system control arrangement and method using multiple sensor systems
US7511833B2 (en) * 1992-05-05 2009-03-31 Automotive Technologies International, Inc. System for obtaining information about vehicular components
JP3203951B2 (ja) * 1993-08-04 2001-09-04 日産自動車株式会社 車両用インタフェース
JP3214195B2 (ja) * 1993-11-11 2001-10-02 三菱電機株式会社 運転者撮影装置
JP3727078B2 (ja) * 1994-12-02 2005-12-14 富士通株式会社 表示装置
US7386372B2 (en) * 1995-06-07 2008-06-10 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US6005958A (en) * 1997-04-23 1999-12-21 Automotive Systems Laboratory, Inc. Occupant type and position detection system
US6272431B1 (en) * 1997-04-29 2001-08-07 Thomas Zamojdo Method for displaying a map in a vehicle en-route guidance system
US7231060B2 (en) * 1997-08-26 2007-06-12 Color Kinetics Incorporated Systems and methods of generating control signals
DE19918008A1 (de) * 1999-04-21 2000-10-26 Claussen Claus Frenz Verfahren und Vorrichtung zur Ermittlung des Halsbewegungsmusters
US6348877B1 (en) * 1999-06-17 2002-02-19 International Business Machines Corporation Method and system for alerting a pilot to the location of other aircraft
US7180476B1 (en) * 1999-06-30 2007-02-20 The Boeing Company Exterior aircraft vision system using a helmet-mounted display
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
US6580973B2 (en) * 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
JP3675330B2 (ja) * 2000-11-07 2005-07-27 日産自動車株式会社 車両用表示装置及び表示装置を有する自動車
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US6578869B2 (en) * 2001-03-26 2003-06-17 Trw Inc. Vehicle occupant position sensor utilizing image focus attributes
DE10121392A1 (de) * 2001-05-02 2002-11-21 Bosch Gmbh Robert Vorrichtung zur Steuerung von Geräten mittels Blickrichtung
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
WO2004034905A1 (en) * 2002-10-15 2004-04-29 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
SE0303122D0 (sv) * 2003-11-20 2003-11-20 Volvo Technology Corp Method and system for communication and/or interaction between a vehicle driver and a plurality of applications
DE102004005816B4 (de) * 2004-02-06 2007-02-08 Audi Ag Kraftfahrzeug
JP4277081B2 (ja) * 2004-03-17 2009-06-10 株式会社デンソー 運転支援装置
JP4252938B2 (ja) * 2004-07-07 2009-04-08 株式会社デンソー 車両の車室照明装置
US20060011399A1 (en) * 2004-07-15 2006-01-19 International Business Machines Corporation System and method for controlling vehicle operation based on a user's facial expressions and physical state
US9795760B2 (en) * 2004-07-16 2017-10-24 Samuel Kim Motion sickness reduction
US20060149426A1 (en) * 2005-01-04 2006-07-06 Unkrich Mark A Detecting an eye of a user and determining location and blinking state of the user
JP2006252138A (ja) * 2005-03-10 2006-09-21 Omron Corp 運転者撮影装置および運転者監視装置
CN101180599A (zh) * 2005-03-28 2008-05-14 松下电器产业株式会社 用户界面***
JP4462231B2 (ja) * 2006-05-09 2010-05-12 株式会社デンソー 車両用オートライト装置
US7792328B2 (en) * 2007-01-12 2010-09-07 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
EP2363067B1 (en) * 2007-01-19 2016-01-06 Asahi Kasei Kabushiki Kaisha Arousal state classification model generating device, arousal state classifying device, and warning device
TW200838750A (en) * 2007-03-22 2008-10-01 Univ Chang Gung Intelligent driving safety monitoring system integrating multiple direction information and method thereof
JP4259587B2 (ja) * 2007-03-30 2009-04-30 株式会社デンソー データベース装置、注意喚起装置及び運転支援装置
US7970175B2 (en) * 2007-04-30 2011-06-28 Delphi Technologies, Inc. Method and apparatus for assessing head pose of a vehicle driver
AT505338B1 (de) * 2007-06-12 2009-03-15 Ernst Dipl Ing Dr Pfleger Verfahren zur wahrnehmungsmessung
JP4458131B2 (ja) * 2007-08-23 2010-04-28 ソニー株式会社 画像撮像装置、撮像方法
US7556377B2 (en) * 2007-09-28 2009-07-07 International Business Machines Corporation System and method of detecting eye fixations using adaptive thresholds
JP4604073B2 (ja) * 2007-10-03 2010-12-22 本田技研工業株式会社 車両用飲酒運転防止装置
US8077915B2 (en) * 2007-10-12 2011-12-13 Sony Ericsson Mobile Communications Ab Obtaining information by tracking a user
DE102007049710A1 (de) * 2007-10-17 2009-04-23 Robert Bosch Gmbh Visuelles Auslösen von Vorgängen in einem Kraftfahrzeug
JP4640404B2 (ja) * 2007-11-22 2011-03-02 トヨタ自動車株式会社 車両運転者状態検出装置
US8350686B2 (en) * 2007-12-05 2013-01-08 Bosch Corporation Vehicle information display system
US8106783B2 (en) * 2008-03-12 2012-01-31 Denso Corporation Input apparatus, remote controller and operating device for vehicle
US20110029185A1 (en) * 2008-03-19 2011-02-03 Denso Corporation Vehicular manipulation input apparatus
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
US20100079413A1 (en) * 2008-09-29 2010-04-01 Denso Corporation Control device
US8391554B2 (en) * 2008-10-01 2013-03-05 GM Global Technology Operations LLC Eye detection system using a single camera
US8700332B2 (en) * 2008-11-10 2014-04-15 Volkswagen Ag Operating device for a motor vehicle
JP4666062B2 (ja) * 2008-11-17 2011-04-06 株式会社デンソー 画像撮影装置および方法
US8376595B2 (en) * 2009-05-15 2013-02-19 Magna Electronics, Inc. Automatic headlamp control
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US8825392B2 (en) * 2011-06-30 2014-09-02 Navteq B.V. Map view

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1894120A (zh) * 2003-12-17 2007-01-10 株式会社建伍 用于实现车载人机界面的装置和方法

Also Published As

Publication number Publication date
DE102012212217B4 (de) 2020-10-29
US9043042B2 (en) 2015-05-26
US20130024047A1 (en) 2013-01-24
CN102887121A (zh) 2013-01-23
DE102012212217A1 (de) 2013-01-24

Similar Documents

Publication Publication Date Title
CN102887121B (zh) 将注视位置映射到车辆中的信息显示器的方法
US9858702B2 (en) Device and method for signalling a successful gesture input
CN106484278B (zh) 交互式显示
CN111949131A (zh) 一种基于眼动追踪技术的眼动交互方法、***及设备
CN100458665C (zh) 基于眼跟踪控制计算机装置的装置、方法及计算机程序
US9244527B2 (en) System, components and methodologies for gaze dependent gesture input control
Riener et al. Standardization of the in-car gesture interaction space
US10733406B2 (en) Eye gaze detection controlled indicia scanning system and method
US10394316B2 (en) Multiple display modes on a mobile device
WO2013188054A1 (en) User interface interaction for transparent head-mounted displays
CN105786172A (zh) 使用相关联的感觉反馈进行跟踪的***和方法
CN103179359A (zh) 控制视频终端的方法及装置、视频终端
JP6341343B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
US20130187845A1 (en) Adaptive interface system
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
CN105389151A (zh) 信息显示方法及显示设备
WO2014171096A1 (ja) 車載機器の制御装置、車載機器
JP2017197015A (ja) 車載用情報処理システム
WO2017188098A1 (ja) 車載用情報処理システム
KR101573287B1 (ko) 전자기기에서 터치 위치 디스플레이 방법 및 장치
CN112074801A (zh) 用于检测通过指向手势的输入的方法和用户界面
CN104517540A (zh) 具有安全按钮的曲面显示装置
WO2017175666A1 (ja) 車載用情報処理システム
JP2018073310A (ja) 表示システム、表示プログラム
JP2017187922A (ja) 車載用情報処理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant