CN107031658A - 基于瞥视方向的自动化车辆人‑机界面*** - Google Patents

基于瞥视方向的自动化车辆人‑机界面*** Download PDF

Info

Publication number
CN107031658A
CN107031658A CN201610933856.3A CN201610933856A CN107031658A CN 107031658 A CN107031658 A CN 107031658A CN 201610933856 A CN201610933856 A CN 201610933856A CN 107031658 A CN107031658 A CN 107031658A
Authority
CN
China
Prior art keywords
glance
vehicle
controller
occupant
cast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610933856.3A
Other languages
English (en)
Other versions
CN107031658B (zh
Inventor
D·A·斯瑞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Delphi Automotive Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Automotive Systems LLC filed Critical Delphi Automotive Systems LLC
Publication of CN107031658A publication Critical patent/CN107031658A/zh
Application granted granted Critical
Publication of CN107031658B publication Critical patent/CN107031658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/087—Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)

Abstract

本申请公开了基于瞥视方向的自动化车辆人‑机界面***。人‑机界面(HMI)***(10)，用于基于车辆(12)的乘坐者(18)的瞥视方向(16)指示车辆特征(20)，包括摄像机(14)和控制器(30)。摄像机(14)用于捕捉车辆(12)的乘坐者(18)的系列图像(42)。控制器(30)配置为从系列图像(42)中确定多个瞥视方向(160)，定义多个瞥视区(170)，定义交叉区(46)，确定异常值计数(48)，以及选择车辆(12)中由乘坐者(18)指示的车辆特征(20)，所述车辆特征(20)位于在车辆(12)内部对应于交叉区(46)的位置(52)，当在暂停区间(44)期间的异常值计数(48)小于暂停阈值(54)时，所述车辆特征(20)由操作者指示。

Description

基于瞥视方向的自动化车辆人-机界面***
发明技术领域
本公开总地涉及基于瞥视方向的人-机界面(HMI)，并且更具体地涉及基于由瞥视区中的两个或多个的交叉定义的交叉区选择车辆特征的***。
发明背景技术
眼睛瞥视方向或眼睛注视方向被提出为一种与汽车***交互的方法。尽管眼睛的位置能够通过各种摄像机***被准确地确定，当用户在观察车辆内的汽车显示器和物体时，眼睛移动的动态特征经常妨碍用于控制汽车***的眼睛瞥视方向的有效性。已经提出了各种类型的过滤，但通常发现结果是不足的。
发明概述
根据一个实施例，提供一种适于在自动化车辆中使用的人-机界面(HMI)***。该***用于基于车辆乘坐者的瞥视方向来指示车辆特征。该***包括摄像机和控制器。摄像机用于捕捉车辆乘坐者的系列图像。控制器与摄像机通信。控制器配置为从在暂停区间期间由控制器接收的系列图像中确定多个瞥视方向。为每个图像确定一个瞥视方向。控制器还配置为基于多个瞥视方向定义多个瞥视区，为每个瞥视方向定义一个瞥视区。控制器还配置为基于多个瞥视区的两个或多个的交叉定义交叉区。控制器还配置为基于多个瞥视区中有多少不与交叉区交叉来确定异常值计数。控制器还配置为选择由乘坐者指示的在车辆中的车辆特征。车辆特征位于在车辆内部对应于交叉区的位置。当在暂停区间期间的异常值计数小于暂停阈值时，车辆特征由操作者指示。
在阅读优选实施例的下列详细描述后，进一步的特征和优势将更清楚地表现，这些优选实施例仅作为非限制性的示例且参考附图而给出。
附图说明
现在将参考附图通过示例的方式来描述本发明，在附图中：
图1是根据一个实施例的配备有人机界面(HMI)***的车辆的透视图；
图2是根据一个实施例的图1的***的框图；
图3是根据一个实施例的由图1的***确定的瞥视方向的代表图；
图4是根据一个实施例的由图1的***确定的瞥视方向的代表图；以及
图5是根据一个实施例的图1的***的显示器的图示。
具体实施方式
图1-2示出了人-机界面(HMI)***(下文称为***10)的非限制性示例。***10通常适于在自动化车辆(下文称为车辆12)中的使用。构想车辆12可以是完全自动化的或自主的车辆，其中乘坐者18仅仅指示目的地，而且相对于行驶、加速或刹车不做任何直接操作车辆12的事情。还构想车辆12可以是部分自动化的，其中***10只在特殊情况期间操作车辆12，或仅仅当乘坐者18处于对车辆12的行驶、加速和刹车完全控制时提供可听或可视警告给乘坐者18以辅助乘坐者18。尽管图1-2可显示乘坐者18是车辆12的操作者，应认识到本文中所描述的***10也可以是对于车辆12中的乘客的HMI。
一般而言，***10用于基于乘坐者18的瞥视方向16指示或选择车辆12中的车辆特征20。即，***10通常基于乘坐者18正在看哪里对操作车辆12做决定。例如，***10可确定乘坐者18显示了第一瞥视方向16A，因此其正在看车辆12外部的某个事物，例如马路40。通过进一步的示例的方式，乘坐者18可在车辆12内显示朝向显示器22的第二瞥视方向16B、朝向通风设备26的第三瞥视方向16C、或朝向通信设备28(即智能电话)或娱乐设备24的第四瞥视方向16D。如将在下文中更加详细描述的，***10配置为通过例如更新在显示器22上的选项的菜单使得选项涉及乘坐者18刚才正在看什么、激活通信设备28为了打电话、或在显示器22上选择特定的图标32来响应于瞥视方向16。
为了确定乘坐者18的瞥视方向16，***10包括用于捕捉车辆12的乘坐者18的系列图像42的摄像机14(例如摄影机)。摄像机14优选地是红外线类型的摄像机，因此在夜间操作期间，乘坐者能够被红外光源(未示出)不显眼地照明。***10还包括与摄像机14通信的控制器30。控制器30可包括诸如微处理器的处理器(未具体示出)或诸如包括用于处理数据的专用集成电路(ASIC)的模拟和/或数字控制电路的其它控制电路，如对本领域技术人员而言应当是明显的。控制器30可包括存储器，包括非易失性存储器，例如用于存储一个或多个例程、阈值和捕捉的数据的电可擦除可编程只读存储器(EEPROM)。一个或多个例程可由处理器执行以执行步骤以确定是否如本文中所描述的，由控制器30接收的来自摄像机14的信号指示乘坐者18正在看车辆特征20的一个特定示例。
图3示出了控制器30怎样配置为指示或选择车辆12中的车辆特征20(例如显示器22、通风设备26、通信设备28或娱乐设备24)的代表的非限制性示例，其中选择是基于瞥视方向16确定的。如在之后的描述中将变得明显的，图3中示出的“x”和框实际上不存在。确切而言，它们用于提供系列图像42是怎样被控制器30处理以确定乘坐者18的瞥视方向16的可视表示。
作为第一步骤，控制器30可配置为从在暂停区间44期间由控制器30接收的系列图像42中确定多个瞥视方向160。作为示例而非限制，暂停区间44可以是两百毫秒(200ms)，其优选地是存储在控制器30中的预定值。基于摄像机14的帧速率确定在暂停区间44期间接收图像的数量。对于摄像机14，合适的帧速率为十帧每秒(10fps)至六十帧每秒(60fps)。瞥视方向161、162、163、164、165、166、167的每个单独的实例对应每一个到系列图像42中的一个图像。瞥视方向161、162、163、164、165、166、167、168、169(每个被“x”标志)的九个实例仅为了简化图示的目的被示出。构想了在暂停区间44期间产生更多瞥视方向的实例的更高的帧速率。
作为第二步骤，控制器30可配置为基于多个瞥视方向160定义多个瞥视区170，其中瞥视区171、172、173、174、175、176、177、178、179的每个实例与瞥视方向161、162、163、164、165、166、167、168、169的每个实例相关联。可基于但不限制于从乘坐者18的眼睛到车辆特征20的距离、其他车辆特征的相对接近度、摄像机14的帧速率和/或分辨率、车辆12经历的速度和/或振动水平等选择或改变瞥视区的大小。瞥视区171、172、173、174、175、176、177、178、179的每个实例被示为正方形，但这不是要求。构想了矩形、圆形、规则和不规则的多边形以及用于非平面的车辆特征的三维瞥视区，如果车辆特征20的多个实例彼此紧密地间隔，除了正方形的其他形状可以是优选的。
作为第三步骤，控制器30可以配置为基于多个瞥视区170中的两个或多个的交叉定义交叉区46。如果乘坐者18继续看着车辆12中的大约相同点，交叉区46的大小和形状可随着交叉来定义交叉区46的瞥视区171、172、173、174、175、176、177、178、179的实例的数量变化而变化。由于控制器30确定瞥视方向161、162、163、164、165、166、167、168、169的每个实例的方式中的噪声，可能存在瞥视区171、172、173、174、175、176、177、178、179中的一个或多个实例不与交叉区46交叉的时刻。在图3中，瞥视区175是一个示例。控制器30可配置为通过将瞥视区175的标签或标记设置为“异常值”而从交叉区46的确定中排除瞥视区175。
作为第四步骤，控制器30可配置为基于多个瞥视区170中有多少不与交叉区46交叉来确定异常值计数48(图2)。对于图3中的示例，异常值计数48等于一(1)，因为只有瞥视区175是异常值。应当理解的是，异常值计数48的减少的数值指示乘坐者18的瞥视方向16是朝向交叉区46且相对稳定的，而异常值计数48的增加的数值指示乘坐者18的瞥视方向16不是相对稳定的，即是正在移动的，或以相对稳定的方式被引导至一个位置，但不是由交叉区46指示的位置。
作为第五步骤，控制器30可配置为选择由乘坐者18指示的车辆12中的车辆特征20，其中车辆特征20位于车辆12内部对应于交叉区46的位置52，而且当在暂停区间44期间异常值计数48小于暂停阈值54时，车辆特征20由乘坐者18指示。即，控制器30确立了在对应于交叉区46的位置52的车辆特征20是由乘坐者18指示的，因为瞥视方向16已经充分地稳定了足够的时间，使异常值计数48减少至小于暂停阈值54的值。在图3中，位置52被示为交叉区46的中心，尽管这不是必要。当例如车辆特征的其他实例在附近时，位置52是偏离中心的可以是有利的。
在控制器30的一个实施例中，如果乘坐者18看着(即，瞥到)远离交叉区46的位置，交叉区46可“消失”。当不再看交叉区46，在等于暂停区间44的时间过去后，合作以定义交叉区46的先前实例的多个瞥视区170的所有实例将超时，而控制器30将寻找新的交叉区。应当注意的是，瞥视区的所有实例将被分类为异常值，因此可能有必要重新估算瞥视区的哪个实例在某些新位置交叉，以及哪个应该仍然被分类为异常值。
在替代实施例中，控制器30可配置为当在暂停区间44期间的异常值计数48大于移动阈值50时，“释放”或“解锁”由乘坐者18指示的车辆特征20，随后是对车辆特征20的另一个实例的选择。即，当乘坐者18看着除了交叉区46先前被确定位于的位置之外的位置时，控制器30能够在合作以定义交叉区46的先前实例的多个瞥视区170的所有先前实例暂停之前开始寻找在该新位置的交叉区的新的实例。作为示例而非限制，如果摄像机14的帧速率是使得九个图像在暂停区间44期间被捕捉，则用于移动阈值的合适的值可以是五(5)。这将有效地将开始确定新的交叉区的延迟减少约一半。
如果乘坐者18相对快地从车辆12内部的某个位置(例如第二瞥视方向16B)改变瞥视方向16到在车辆12外部的第一瞥视方向16A，当随后的图像指示瞥视方向16被表征为在车辆12外部时，控制器30可有利地配置为保持或锁定由乘坐者18指示的车辆特征20在选定的状态。该配置将允许操作者引导瞥视方向16朝向车辆特征20的理想实例刚好足够的时间以选择车辆特征20的理想实例，而且允许到马路40的返回的注意力在重新显示车辆12内的另一个瞥视方向以作出随后的选择之前验证车辆12的安全操作。例如，第瞥视可选择在显示器22上的图标32，其导致显示器22根据选择的图标32被修正。在该方式中，乘坐者18通过执行足够作出选择的一连串单独的瞥视能够逐步通过各种菜单和子菜单。
图4示出了如上所示的各种方式的替代的非限制性示例，以在先前的实例已经被选择之后加速车辆特征20的新的实例的选择，其中控制器30可基于由两个时间上的位移图像指示的瞥视方向中的区别确定瞥视方向的速度180。例如，控制器30可配置为从在移动区间56期间由控制器30接收的系列图像42(图1)中确定多个瞥视方向160的平均速度60，而且当在移动区间56期间的平均速度60大于速度阈值58时释放由乘坐者18指示的车辆特征20，随后是对车辆特征20的另一个实例的选择。为了确定平均速度60，控制器30配置为在移动区间56期间为多个瞥视方向160的每一个确定瞬时速度181、182、183、184，然后基于瞬时速度181、182、183、184计算平均速度60。如果多个瞥视方向160的任一个包括如上描述的各种噪声源的任一个，控制器30可进一步配置为从平均速度60的计算中排除任一个大于最大速度62的瞬时速度181、182、183、184。
对于移动区间56，合适的值是一百毫秒(100ms)，因为已经观察到其与一个典型的人从一个位置移动瞥视方向到集中到另一个位置上花费的时间约为一样长。这样，移动区间56小于暂停区间44。
图5示出了显示在显示器22上的图标64的多个实例的非限制性示例。显示器22被放置成可被乘坐者18查看的，从而该示例中的车辆特征20是由显示器22显示的图标64。其遵循着，控制器30配置为当位置52对应于图标64时，确定图标64是由乘坐者18指示的。响应于乘坐者18指示选择图标64，控制器30可进一步配置为通过例如放大图标64、在图标64周围增加加强的边界、改变图标64的颜色和/或使图标64闪光来强调66由乘坐者18指示的图标64。进一步响应于图标64被指示，控制器30可更新显示器22以显示涉及已选择的图标64的子菜单。
因此，提供了人-机界面(HMI)***(***10)、用于***10的控制器30以及由控制器30执行的步骤所描述的操作方法。分析了多个瞥视区170以标识交叉区46，其转而用于确定乘坐者18显示的关注的位置52，使得位于位置52的车辆特征20能够被标识或选择。
尽管已针对其优选实施例对本发明进行了描述，然而本发明不旨在如此受限制，而是仅受所附权利要求书中给出的范围限制。

Claims (9)

1.一种人-机界面***(10)，适于在自动化车辆(12)中的使用，所述***(10)用于基于瞥视方向(16)指示车辆特征(20)，所述***(10)包括：
摄像机(14)，用于捕捉车辆(12)的乘坐者(18)的系列图像(42)；以及
控制器(30)，与所述摄像机(14)通信，所述控制器(30)配置为
从在暂停区间(44)期间由所述控制器(30)接收的所述系列图像(42)中确定多个瞥视方向(160)，每个图像有一个瞥视方向(16)，
基于所述多个瞥视方向(160)定义多个瞥视区(170)，每个瞥视方向(16)有一个瞥视区(171)，
基于所述多个瞥视区(170)的两个或多个的交叉定义交叉区(46)，
基于所述多个瞥视区(170)中有多少不与所述交叉区(46)交叉来确定异常值计数(48)，以及
选择在所述车辆(12)中的由所述乘坐者(18)指示的车辆特征(20)，所述车辆特征(20)位于在所述车辆(12)内部对应于所述交叉区(46)的位置(52)，当在所述暂停区间(44)期间的所述异常值计数(48)小于暂停阈值(54)时，所述车辆特征(20)由所述操作者指示。
2.如权利要求1所述的***(10)，其特征在于，所述控制器(30)配置为当随后的图像指示所述瞥视方向(16)被表征为在所述车辆(12)外部时，将由所述乘坐者(18)指示的所述车辆特征(20)保持在被选择的状态。
3.如权利要求1所述的***(10)，其特征在于，所述控制器(30)配置为将由所述乘坐者(18)指示的所述车辆特征(20)保持在被选择的状态，直到随后的图像指示已经选择了另一个车辆特征(20)。
4.如权利要求1所述的***(10)，其特征在于，所述控制器(30)配置为当在所述暂停区间(44)期间的所述异常值计数(48)大于移动阈值(50)时，释放由所述乘坐者(18)指示的所述车辆特征(20)。
5.如权利要求1所述的***(10)，其特征在于，所述控制器(30)配置为从在移动区间(56)期间由所述控制器(30)接收的所述系列图像(42)中确定所述多个瞥视方向(160)的平均速度(60)，而且当在所述移动区间(56)期间的所述平均速度(60)大于速度阈值(58)时，释放由所述乘坐者(18)指示的所述车辆特征(20)。
6.如权利要求5所述的***(10)，其特征在于，所述控制器(30)配置为，在所述移动区间(56)期间为所述多个瞥视方向(160)的每一个确定瞬时速度(181)，而且从所述平均速度(60)中排除任一个大于最大速度(62)的瞬时速度(181)。
7.如权利要求5所述的***(10)，其特征在于，所述移动区间(56)小于所述暂停区间(44)。
8.如权利要求1所述的***(10)，其特征在于，所述***(10)包括：
显示器(22)，放置为可被所述乘坐者(18)查看的，所述车辆特征(20)是由所述显示器(22)显示的图标(32)，而且所述控制器(30)配置为，当所述位置(52)对应于所述图标(32)时，确定所述图标(32)是由所述乘坐者(18)指示的。
9.如权利要求8所述的***(10)，其特征在于，所述控制器(30)配置为强调(66)由所述乘坐者(18)指示的所述图标(32)。
CN201610933856.3A 2015-12-22 2016-10-31 基于瞥视方向的自动化车辆人-机界面*** Active CN107031658B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/977,874 US9841813B2 (en) 2015-12-22 2015-12-22 Automated vehicle human-machine interface system based on glance-direction
US14/977,874 2015-12-22

Publications (2)

Publication Number Publication Date
CN107031658A true CN107031658A (zh) 2017-08-11
CN107031658B CN107031658B (zh) 2021-07-02

Family

ID=57396375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610933856.3A Active CN107031658B (zh) 2015-12-22 2016-10-31 基于瞥视方向的自动化车辆人-机界面***

Country Status (3)

Country Link
US (1) US9841813B2 (zh)
EP (1) EP3185173B1 (zh)
CN (1) CN107031658B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527013B (zh) * 2017-12-27 2024-02-23 宝马股份公司 车辆变道预测
US10852822B2 (en) 2019-05-01 2020-12-01 Aptiv Technologies Limited Display method
US11204675B2 (en) 2019-09-06 2021-12-21 Aptiv Technologies Limited Adaptive input countermeasures on human machine interface
US11535253B2 (en) * 2020-09-18 2022-12-27 GM Global Technology Operations LLC Lane change maneuver intention detection systems and methods

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
CN101674965A (zh) * 2007-05-02 2010-03-17 丰田自动车株式会社 车辆行为控制装置
JP4879189B2 (ja) * 2005-12-12 2012-02-22 パナソニック株式会社 安全走行支援装置
CN103625477A (zh) * 2012-08-25 2014-03-12 奥迪股份公司 运行车辆的方法和***
CN104169993A (zh) * 2012-03-14 2014-11-26 株式会社电装 驾驶辅助装置及驾驶辅助方法
US20150234459A1 (en) * 2014-01-24 2015-08-20 Tobii Technology Ab Gaze driven interaction for a vehicle
US20150294169A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5237786A (en) 1984-12-24 1986-07-22 Santech Pty. Ltd. Improvements relating to eye-gaze-direction controlled apparatus
US6437758B1 (en) * 1996-06-25 2002-08-20 Sun Microsystems, Inc. Method and apparatus for eyetrack—mediated downloading
ES2241598T3 (es) * 2000-05-16 2005-11-01 Swisscom Mobile Ag Procedimiento biometrico de identificacion y autenticacion.
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
WO2005063114A1 (ja) 2003-12-25 2005-07-14 National University Corporation Shizuoka University 視線検出方法および装置ならびに三次元視点計測装置
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US20070263923A1 (en) * 2004-04-27 2007-11-15 Gienko Gennady A Method for Stereoscopic Measuring Image Points and Device for Carrying Out Said Method
WO2007050029A2 (en) * 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
KR20080106218A (ko) * 2006-02-01 2008-12-04 토비 테크놀로지 에이비 컴퓨터 시스템에서 그래픽 피드백의 생성
US8406457B2 (en) 2006-03-15 2013-03-26 Omron Corporation Monitoring device, monitoring method, control device, control method, and program
US8225229B2 (en) * 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
US20090012419A1 (en) * 2007-07-06 2009-01-08 Mckee Geoffrey R system and method for performing physiological assessments
US7857452B2 (en) * 2007-08-27 2010-12-28 Catholic Healthcare West Eye movements as a way to determine foci of covert attention
US8384997B2 (en) * 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
JP4625544B2 (ja) * 2008-08-05 2011-02-02 パナソニック株式会社 運転注意量判定装置、方法およびプログラム
US8451272B2 (en) * 2008-11-11 2013-05-28 Oracle International Corporation Time expansion for displaying path information
US20110273466A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha View-dependent rendering system with intuitive mixed reality
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US9043042B2 (en) * 2011-07-19 2015-05-26 GM Global Technology Operations LLC Method to map gaze position to information display in vehicle
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US20130342672A1 (en) 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
GB2514603B (en) * 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
DE102013021931A1 (de) * 2013-12-20 2015-06-25 Audi Ag Tastenlos bedienbare Bedienvorrichtung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
JP4879189B2 (ja) * 2005-12-12 2012-02-22 パナソニック株式会社 安全走行支援装置
CN101674965A (zh) * 2007-05-02 2010-03-17 丰田自动车株式会社 车辆行为控制装置
CN104169993A (zh) * 2012-03-14 2014-11-26 株式会社电装 驾驶辅助装置及驾驶辅助方法
CN103625477A (zh) * 2012-08-25 2014-03-12 奥迪股份公司 运行车辆的方法和***
US20150234459A1 (en) * 2014-01-24 2015-08-20 Tobii Technology Ab Gaze driven interaction for a vehicle
US20150294169A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring

Also Published As

Publication number Publication date
US9841813B2 (en) 2017-12-12
EP3185173A1 (en) 2017-06-28
CN107031658B (zh) 2021-07-02
EP3185173B1 (en) 2020-03-25
US20170177076A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
CN107031658A (zh) 基于瞥视方向的自动化车辆人‑机界面***
US10994419B2 (en) Controlling a robot in the presence of a moving object
JP5590688B2 (ja) 車両の環境を表示するための視認システムおよび方法
EP1457730B1 (en) Intruding object monitoring system
US9545880B2 (en) Information processing device, information processing method, and non-transitory computer-readable recording medium for showing an indication of an obstacle
US10712566B2 (en) Information displaying system provided with head-mounted type display
CN104859559B (zh) 车辆内部环境的控制方法及装置
WO2016067545A1 (ja) 注視誘導装置
US20160140760A1 (en) Adapting a display on a transparent electronic display
EP3191919A1 (de) Bestimmung der pose eines hmd
CN106313085A (zh) 使用视觉传感器的机器人***
EP1703462A1 (en) System or method for enhancing an image
CN112758104A (zh) 自动驾驶车辆的人机交互界面的控制方法及装置
JP2013222299A (ja) 操作支援装置、操作システム、操作支援方法、及びプログラム
US10565690B2 (en) External interference removal device
KR20200049643A (ko) 스마트단말기로 구성된 멀티비젼을 구비한 다채널 avm 시스템
US10475154B2 (en) Machine surround view system and method for generating 3-dimensional composite surround view using same
JP4534788B2 (ja) 車両用運転支援装置
US9019436B2 (en) View prioritization for multi-machine control visualization
JP3984863B2 (ja) 発進報知装置
US11810372B2 (en) Multiple in-cabin cameras and lighting sources for driver monitoring
KR101566963B1 (ko) 작업 차량 상태를 고려하여 개체를 인식할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
JP5587068B2 (ja) 運転支援装置及び方法
CN110476420A (zh) 车辆用图像显示装置及图像处理方法
SE536976C2 (sv) Förfarande och system för att bestämma information om huvudet hos en fordonsförare

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181204

Address after: Babado J San Michaele

Applicant after: Amberford Technology Co., Ltd.

Address before: michigan

Applicant before: Delphi Automotive Systems LLC (US)

GR01 Patent grant
GR01 Patent grant