CN105667421B - 包括眼跟踪装置的供车辆使用的***和方法 - Google Patents

包括眼跟踪装置的供车辆使用的***和方法 Download PDF

Info

Publication number
CN105667421B
CN105667421B CN201511035860.XA CN201511035860A CN105667421B CN 105667421 B CN105667421 B CN 105667421B CN 201511035860 A CN201511035860 A CN 201511035860A CN 105667421 B CN105667421 B CN 105667421B
Authority
CN
China
Prior art keywords
designator
gaze
display
indicator area
highlight degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511035860.XA
Other languages
English (en)
Other versions
CN105667421A (zh
Inventor
O·尖霍尼
T·科伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN105667421A publication Critical patent/CN105667421A/zh
Application granted granted Critical
Publication of CN105667421B publication Critical patent/CN105667421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213Virtual instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及包括眼跟踪装置的供车辆使用的***和方法。所述***和方法使用来自所述眼跟踪装置的输入。所述***和方法被构造成基于来自所述眼跟踪装置的输入与驾驶员通信。例如,所述***和方法被构造成基于来自所述眼跟踪装置的输入在显示器上产生指示符。

Description

包括眼跟踪装置的供车辆使用的***和方法
技术领域
本发明一般涉及包括眼跟踪装置的供车辆使用的***和方法。
背景技术
传统车载用户界面和仪表组包括具有显示在其上的多个可视化输出的复杂显示器。这些显示器需要相对大量的驾驶员注意,以及在一些情况下,要求使用手与用户界面相互作用。这些显示器会分散驾驶员注意力而导致较不安全驾驶状态。
发明内容
本技术涉及一种包括眼跟踪装置的***和方法。
根据示例性实施例,一种方法包括在车辆的显示器上显示指示符。所述指示符包括指示符区域并且与车辆***相关联。所述方法进一步包括将传感器数据与阈值进行比较。所述传感器数据与所述车辆***相关联。所述阈值代表了在所述车辆***的第一状态或操作(例如正常状态)与所述车辆***的第二状态或操作(例如临界状态)之间的分开。所述方法进一步包括将注视位置数据与所述指示符区域进行比较,并且如果所述传感器数据是在所述阈值的正常状态侧上、以及在所述指示符区域中发现所述注视位置数据,那么所述方法将降低所述指示符的突显度。
根据示例性实施例,一种方法包括在车辆的显示器上显示指示符。所述指示符包括指示符区域并且与车辆***相关联。所述方法进一步包括将传感器数据与阈值进行比较。所述传感器数据与所述车辆***相关联。所述阈值代表了在所述车辆***的正常状态与所述车辆***的临界状态之间的分开。所述方法进一步包括将注视位置数据与所述指示符区域进行比较;并且如果传感器数据在所述阈值的临界状态侧上、并且未在所述指示符区域中发现注视位置数据时,那么所述方法将增加所述指示符的突显度。
参照实施例,一种方法包括接收待通信给驾驶员的信息;并且在在显示器上显示通知指示符。所述通知指示符包括指示符区域。所述方法进一步包括将注视位置数据与所述指示符区域进行比较;并且在所述指示符区域中发现所述注视位置数据,通信所述信息。
参照示例性实施例,一种方法包括在车辆显示器上显示第一指示符。所述第一指示符包括第一指示符区域。所述方法进一步包括计算与所述第一指示符相关联的第一注视频率。所述第一注视频率在第一时间段内被计算并且基于下述之一:注视位置移动进入所述第一指示符区域中的次数;以及注视位置在所述第一指示符区域中停留的时间。所述方法进一步包括基于所述第一注视频率确定所述第一指示符的突显度。
根据示例性实施例,所述方法进一步包括在车辆显示器上显示第二指示符。所述第二指示符包括第二指示符区域。所述方法进一步包括计算与所述第二指示符相关的第二注视频率。所述第二注视频率在第二时间段内被计算并且基于下述之一:注视位置移动进入所述第二指示符区域中的次数;以及注视位置在所述第二指示符区域中停留的时间。所述方法进一步包括基于所述第二注视频率确定所述第二指示符的突显度。在显示器上的位置基于突显度被排序。确定所述突显度包括基于所述第一注视频率和所述第二注视频率的顺序确定所述第一指示符和所述第二指示符的位置。
参照示例性实施例,一种方法包括在车辆的显示器上显示第一指示符和第二指示符的每者。所述第一指示符包括第一指示符区域并且所述第二指示符包括第二指示符区域。第一距离将所述第一指示符和所述第二指示符间隔开。所述方法进一步包括分析在显示器上的注视位置数据;以及如果在所述第一指示符和所述第二指示符之间的注视模式被识别,那么减小所述第一距离。所述注视模式基于在所述第一指示符和第二指示符之间的转换次数。
参照示例性实施例,一种方法包括存取默认参数值组;并且将所述默认参数值组与来自传感器的输出数据进行比较。所述传感器与车辆的车辆***相关联。所述方法进一步包括下述过程:如果所述输出数据与默认参数值组中的一个相匹配,那么通信与所述默认参数值组中的一个相关联的默认信息;如果在与所述车辆***相关联的位置发现注视位置数据,那么记录与所述车辆***相关的注视;在所述注视被记录的时刻,确定辅助参数;基于所述辅助参数产生辅助信息;以及通信所述辅助信息。
根据示例性实施例,一种方法包括如果在与车辆***相关的位置处发现注视位置数据,那么记录与所述车辆***相关联的注视;以及在所述注视被记录的时刻,通信与所述车辆***相关联的信息。
所述方法进一步包括基于传感器数据确定背景;以及基于所述背景确定与所述车辆***相关联的所述信息。
本发明进一步地包括以下方案。
方案1,一种方法,其包括:
通过包括处理器的装置促进在车辆的显示器上显示指示符,所述指示符包括指示符区域,其中所述指示符与车辆***相关联;
通过所述装置将传感器数据与阈值进行比较,其中所述传感器数据与车辆***相关联,其中所述阈值代表在所述车辆***的第一状态和所述车辆***的第二状态之间的分开;
通过所述装置将注视位置数据与所述指示符区域进行比较;以及
通过所述装置降低所述指示符的突显度,如果:
所述传感器数据在所述阈值的正常状态侧上;并且
在所述指示符区域中发现了所述注视位置数据。
方案2,如方案1中所述的方法,其中所述指示符包括图像。
方案3,如方案1中所述的方法,其中所述第一状态是正常状态并且所述第二状态是临界状态。
方案4,如方案1中所述的方法,其中所述传感器数据代表所述车辆***的状态。
方案5,如方案1中所述的方法,其中降低所述突显度包括减小所述指示符的尺寸。
方案6,如方案1中所述的方法,其中降低所述突显度包括减小所述指示符的亮度。
方案7,如方案1中所述的方法,其中降低所述突显度包括改变所述指示符的类型。
方案8,如方案1中所述的方法,其中降低所述突显度包括改变所述指示符在所述显示器上的位置。
方案9,一种方法,其包括:
在车辆的显示器上显示指示符,所述指示符包括指示符区域,其中所述指示符与车辆***相关联;
将传感器数据与阈值进行比较,其中所述传感器数据与所述车辆***相关联,其中所述阈值代表在所述车辆***的第一状态和所述车辆***的第二状态之间分开;
将注视位置数据与所述指示符区域进行比较;以及
增加所述指示符的突显度如果:
传感器数据在所述阈值的临界状态侧上;并且
未在所述指示符区域中发现注视位置数据。
方案10,如方案9中所述的方法,其中所述指示符包括图像。
方案11,如方案9中所述的方法,其中所述第一状态是正常状态并且所述第二状态是临界状态。
方案12,如方案9中所述的方法,其中所述传感器数据代表所述车辆***的状态。
方案13,如方案9中所述的方法,其中所述增加所述突显度包括增大所述指示符的尺寸。
方案14,如方案9中所述的方法,其中所述增加所述突显度包括增大所述指示符的亮度。
方案15,如方案9中所述的方法,其中所述增加所述突显度包括改变所述指示符的类型。
方案16,如方案9中所述的方法,其中所述增加所述突显度包括改变所述指示符在所述显示器上的位置。
方案17,一种方法,其包括:
在车辆显示器上显示指示符,所述指示符包括指示符区域;
计算与第一指示符相关联的注视频率,其中所述注视频率在时间段内被计算并且基于至少下述之一:
注视位置移动进入所述指示符区域中的次数;以及
注视位置在所述指示符区域中停留的时间;以及
基于所述注视频率确定突显度,在该突显度处设置所述指示符。
方案18,如方案17中所述的方法,其中:
所述注视频率是第一注视频率以及所述时间段是第一时间段;以及
所述方法进一步包括:
在第二时间段内计算第二注视频率,所述第二时间段比所述第一时间段长;
如果所述第一注视频率高于所述第二注视频率,那么增加所述指示符的所述突显度;以及
如果所述第一注视频率低于所述第二注视频率时,降低所述指示符的所述突显度。
方案19,如方案17中所述的方法,其中,突显度基于在显示器上的尺寸、亮度、类型和位置中的至少一个。
方案20,如所述方案17中所述的方法,其中:
所述指示符区域是第一指示符区域,所述注视频率是第一注视频率以及所述时间段是第一时间段;以及
所述方法进一步包括:
在车辆显示器上显示第二指示符,所述第二指示符包括第二指示符区域;
计算与所述第二指示符相关联的第二注视频率,其中所述第二注视频率在第二时间段内被计算并且基于至少下述之一:
注视位置移动进入所述第二指示符区域中的次数;以及
注视位置在所述第二指示符区域中停留的时间;以及
基于所述第二注视频率确定所述第二指示符的突显度;
其中,在所述显示器上的位置基于突显度被排序并且确定所述突显度包括基于所述第一注视频率和所述第二注视频率的顺序确定所述第一指示符和所述第二指示符的所述位置。
附图说明
图1示出了根据本公开的实施例的车辆的局部视图。
图2示出了图1的车辆的显示器的示意图。
图3示出了图1所示的车辆的计算装置。
图4示出了根据图3的所述计算装置的简化处理(declutter)应用的简化处理方法。
图5-7 示意性地示出了图4的所述简化处理方法。
图8示出了根据图3的所述计算装置的***通知应用的***通知方法。
图9-11示意性地示出了图8的所述***通知方法。
图12示出了根据图3的所述计算装置的延迟通知应用的延迟通知方法。
图13-15示意性地示出了图12的所述延迟通知方法。
图16示出了根据图3的所述计算装置的驾驶员请求应用的驾驶员请求方法。
图17-20示意性地示出了图16的所述驾驶员请求方法。
图21示出了根据图3的所述计算装置的布置应用的布置方法。
图22-24示意性地示出了图21的所述布置方法。
图25示出了根据图3的所述计算装置的关系应用的关系方法。
图26-28示意性地示出了图25的所述关系方法。
图29示出了根据图3的所述计算装置的信息调整应用的信息调整方法。
图30-35示意性地示出了图29的所述信息调整方法。
图36示出了根据图3的所述计算装置的车辆***信息应用的车辆***信息方法。
图37示意性地示出了图36的所述车辆***信息方法。
图38示出了根据图3的所述计算装置的驾驶员背景信息应用的驾驶员背景信息方法。
图39示意性地示出了图38的所述驾驶员背景信息方法。
所述附图不必成比例并且一些特征可能被放大或缩小以例如示出特定部件的细节。在一些情况下,众所周知的部件、***、材料或方法没有详细描述以免影响本公开的清楚描述。因此,在本文所公开的具体结构和功能细节不应被解释为限制性的,而仅仅是作为权利要求书的基础以及作为用于教导本领域技术人员可以多方面地利用本公开的代表性基础。
具体实施方式
根据需要,本公开的详细的实施例在本文公开。所公开的实施例仅仅是示例,其能够以各种及替代的形式以及其结合而具体实施。如用于本文的,例如“示例性的”和类似词语,广泛地涉及作为说明、样品、模型或模式的实施例。
尽管本文主要描述的本技术与汽车相关,但本技术不局限于汽车。这些构思可以用于各种应用,例如与航空器、海用船舶、或其它车辆相关的各种应用。
根据图1示出的实施例,车辆10包括车辆***20,用于车辆***20的控制部22,传感器30,计算装置40和显示器60。某些传感器30构造成输出反映车辆***20的参数测量的数据62。某些传感器30构造成输出反映车辆10的环境50的测量的数据64。
车辆***20还构造成输出数据66或在其它方面提供另一个信息源。例如,输出数据66由所述车辆***20产生。产生输出数据66的车辆***20包括电子控制单元。
同样,来自车辆***20的信息(例如,信息68)可在控制器局域网(CAN)总线上利用。例如,无论自动巡航控制(ACC)是否使用,CAN总线包括无线电设备是否开启以及何种音量的信息。CAN总线还包括所有车辆***20利用的指示驾驶员身份和他们的偏好的个性化信息。
计算装置40构造成接收输出数据62,64,66。所述计算装置40构造成存储作为信息68的输出数据62,64,66或者产生基于输出数据62,64,66的所述信息68。
计算装置40还构造成通过例如显示器60、音频(例如,扬声器/麦克风)***88、或者触觉***(例如,位于方向盘82中)的车辆-用户界面与驾驶员进行通信。例如,为可视地将信息68通信,计算装置40被构造成产生指示符70并将其定位在显示器60上,或者产生文本并将其定位在显示器60上。为可听到地将信息68通信,计算装置40被构造成产生基于信息68的音频信号,并通过音频***88播放该音频文件。
显示器60是视频输出。例如,显示器60可以是二维或三维输出。二维输出包括在屏幕上的电子输出或到表面上的投影。三维输出包括全息投影。
为了教导的目的,具有显示器60的装置在以下被详细描述为包括电子屏幕,所述电子屏幕显示数字输出。例如,指示符70是通过计算装置40在显示器60上定位的数字图像。
参照图2,显示器60包括在位置72处的显示区域74。在此,每个指示符70都与显示器60的显示区域74中的一个相关联。每个指示符70都包括指示符区域76。例如,指示符区域76小于或等于相关联显示区域74并且其如下面进一步详细描述的那样被缩放(scaled)。替代地描述为,所述指示符是目标以及所述指示符区域为目标地区。
显示器60可以是仪表板,人机界面(HMI),娱乐或娱乐信息节目***(例如,无线电、视频播放***),导航***,连接到辅助装置(例如,蓝牙装置、移动电话,或带入车辆的任何其它***——在此,信息通过例如智能手机投影或智能手机连接等呈现)的***或者所述辅助装置本身,平视显示器(HUD)(例如,投影到所述车辆的挡风玻璃上),用于提供可视通信的其它装置等等。
参照图1,为了教导的目的,显示器60定位于方向盘82后面车辆10的仪表盘80中。在一些实施例中,显示器包括一个或多个屏幕、投影等等。例如,显示器60可以包括在方向盘82后面的第一显示器60,投影到车辆10的挡风玻璃84上的第二显示器60(例如,HUD),和在仪表盘80中心的第三显示器60(例如,中央控制台86)。尽管显示器可以包括物理地分离的部件,所述部件可以被视为单个显示器。另外,部件可以作为独立显示器***作或不同的显示器可以由不同的部件形成。
在一些实施例中,指示符70代表了车辆***20或环境50的状态或条件。一般,指示符70包括计量器,例如速度计、转速计、里程计和燃料计量器。其它指示符70包括变速杆位置、安全带警告灯、停车制动接合警告灯、和发动机故障灯,低燃料,低油压,低胎压,以及气囊***(SRS)故障。
其它指示符70可以与车辆***20相关,例如加热***、空调***、刹车***、加速***、娱乐或娱乐信息节目***(例如,无线电、视频播放***)、导航***、镜(例如,镜调整***)、座位(例如,座位调整***)、窗户控制***、门(例如,门锁控制***)、防撞***、牵引控制***、喇叭、雨刷***、安全带和软管、排放***、发动机、发动机冷却***、排放***、照明设备和刮水器、起动、充电和电池、转向和悬架、变速器、传感器、开关、HVAC、照相机、通信装置(例如, OnStar ® 装置和其它无线通信装置),连接到辅助装置(例如,蓝牙装置、移动电话)的***、线束、中控面板、平视显示器(HUD)、语音、手势、声音、以及类似。
相似地,控制部22与车辆***20相关。
继续参照图1和2,车辆10进一步包括注视检测装置90,其被构造成输出在一段时间内反映注视位置94的注视位置数据92。例如,注视位置94是显示器60上驾驶员的注视位置。
例如,注视检测装置90基于用户眼睛的位置、显示器60的位置,以及所述眼睛的方向检测注视位置94。这里,注视位置94是这样的位置,即在该位置处矢量(与所述用户的眼睛的所述位置相交并其与所述用户的眼睛的所述方向成一定角度)与显示器60的表面的平面相交。所述用户的眼睛的位置取决于例如头部姿势。
根据示例性实施例,注视检测装置90包括照相机96,照相机96被构造成捕获所述用户的头部的至少一部分(例如,脸部或眼睛)的图像,并产生代表该图像的信号。注视侦测装置90还包括辐射能量源,例如红外光发射二极管98,以照亮所述用户的头部的至少一部分。在一些实施例中,多于一个的照相机用于追踪眼睛,以改善注视检测装置90的准确度。
注视检测装置90被构造为分析由照相机96捕获到的所述图像,以确定所述眼睛的所述位置和所述注视角度。例如,注视检测装置90包括类似于以下描述的计算装置40的计算装置和用于处理所述图像的分析应用。
替代地,注视检测装置90将所述图像提供给计算装置40并且计算装置40包括分析应用以分析所述图像。
为了教导的目的,以下描述的注视位置数据被示出为在一段时间内(x-轴线)测量的注视位置94。注视位置数据沿y-轴线移动以示出注视位置94在车辆10中的不同位置之间(例如,在显示器60上的位置之间)的移动。在车辆10中包括多个位置的区域由在y-轴线上的范围指示。
在一些图中,在特定位置处固定的时间段用平整的线指示。在不同区域中位置之间转换的时间段由倾斜的线指示。在相同区域中的不同位置之间跳跃的时间段由仍在区域中的倾斜的线指示。
图3示出了图1中车辆10的计算装置40。在一些实施例中,计算装置40包括应用界面(API)和用户界面(UI)生成程序。在一些实施例中,所述计算装置是智能手机或者包括智能手机。
计算装置40包括用于控制和/或处理数据的处理器100、输入/输出数据端口102、和存储器110。所述处理器可以是多个处理器,其可包括在单个机器或多个机器中的分散的处理器或平行处理器。所述处理器可以包括(一个或多个)虚拟处理器。所述处理器可以包括状态机,专用集成电路(ASIC),包括现场可编程的门阵列(PGA),或状态机的可编程的门阵列(PGA)。当处理器执行指令以执行“操作”,这可以包括所述处理器直接地执行所述操作和/或促进、指令、或者与另一个装置或部件协作以执行所述操作。
计算装置40可以包括各种计算机可读媒介,所述计算机可读媒介包括易失媒介,非易失媒介,可移动媒介,和非可移动媒介。如在说明书和权利要求书中所使用的术语“计算机可读媒介”和它的变体包括存储媒介。存储媒介包括易失和/或非易失,可移动和/或非可移动媒介,例如,RAM、ROM、EEPROM,闪速存储器或其它存储技术、CDROM、DVD、或其它光盘存储、磁带、磁盘存储、或其它磁性存储装置或被构造成用于存储可以被计算装置40存取的信息的任何其它媒介。
当存储器110示出为位于接近处理器100时,可以理解的是所述存储器的至少一部分可以是远程地被存取的存储***,例如,在通信网络上的服务器(例如,远程服务器)、远程硬盘驱动、可移动存储媒介、以上结合等等。因此,以下描述的任何数据、应用、和/或软件都可以被存储在存储器之内,和/或能够通过网络连接被其它数据处理***(未示出)存取,所述其它数据处理***可以包括例如局域网(LAN)、城域网(MAN)、或广域网(WAN)。
存储器110包括在计算装置40中使用的几种软件和数据,存储器110包括应用120,数据库130,操作***140,和输入/输出装置驱动器150。
如本领域的技术人员所理解的是,操作***140可以是与数据处理***一起使用的任何操作***。输入/输出装置驱动器150可以包括通过操作***140被所述应用存取的各种程式以与装置以及某些存储器部件通信。应用120可以被存储在存储器110中,和/或作为可执行指令存储在固件(未示出)中,并且应用120可以由处理器100执行。
应用120包括各种程序,当应用120由处理器100执行时,所述各种程序实现了计算装置40的各种特征,所述特征包括简化处理应用,***通知应用,延迟通知应用,驾驶员请求应用,布置应用,关系应用,信息调整应用,车辆***信息应用,和驾驶员背景信息应用,以下将对这些应用中的每一个进一步详细描述。应用120存储在存储器110中并且被构造成由处理器100执行。
应用120可以应用于存储在数据库130中的数据,例如由传感器30接收的信号的数据(例如,与通过无线数据连接接收的数据一起通过输入/输出数据端口102接收的信号的数据)。数据库130代表了由应用120、操作***140、输入/输出装置驱动器150以及可以位于在存储器110中的其它软件程序使用的静态和动态数据。
应理解的是图3和以上的说明只是旨在提供对于适当环境的简短的、通用的描述,在所述适当环境中,本公开一些实施例中的各种方面可以被实施。如在说明书和权利要求中所使用的,术语“计算机可读媒介”、“计算机可读存储装置”和它们的变体可以包括存储媒介。存储媒介可以包括易失和/或非易失、可移除和/或非可移除媒介,例如RAM、ROM、EEPROM、闪速存储器或其它存储技术、CDROM、DVD、或其它光盘存储、磁带、磁盘存储、或其它磁性存储装置或不包括传播信号,但可以被用来存储可以被在图3中示出的装置存取的信息的任何其它媒介。
尽管描述涉及计算机可读指令,本公开的实施例还可以结合其它程序模块来实施,和/或除了计算机可读指令外,以硬件和软件的组合形式被实施、或者以硬件和软件的组合代替计算机可读指令的形式被实施。
尽管描述包括计算机可执行指令的通用背景,本公开也可以结合其它程序模块被实施,和/或被实现为硬件和软件的组合。在本文中广泛地使用的术语“应用”或它的变体包括程式,程序模块,程序,部件,数据结构,算法等等。应用可以在各种***构造上实施,其包括单处理器或多处理器***、小型计算机、大型计算机、个人计算机、手持计算装置、基于微处理器的,可编程的消费性电子产品、它们的组合等等。
图4-39示出了根据本公开的实施例的方法和应用。应用包括计算机可执行指令,当其被处理器100执行时,使得处理器100执行所述相关的方法。
应理解的是方法中的步骤不必以任何特定顺序被给出并且以替代的顺序执行一些或全部步骤是可行且可考虑的。为便于描述和示出,所述步骤按照示出顺序示出。在不偏离所附权利要求书的范围的情况下,可以同时地增加、省去、和/或执行步骤。
还应理解的是,可以在任何时间终止所示出的方法。在一些实施例中,这个过程的一些或全部步骤,和/或基本上等效的步骤由计算机可读指令的执行而运行,所述计算机可读指令被存储或包括在计算机刻度媒介上,例如在上述计算装置40的存储器110上。
参照图4-7,简化处理应用120包括计算机可读指令,当其由处理器100执行时,使得处理器100运行简化处理方法200。
在块210处,处理器100,显示了如图5所示的指示符70(例如,有助于指示符70显示),并且分析来自传感器30的传感器数据212(例如,水平的x-轴线是时间),在图1中示出传感器30以及在图6中示出传感器数据212。
继续参照图6,如果传感器数据212在阈值214的正常操作侧上(例如,阈值214之上或以下),在块220处,处理器100分析注视位置数据(例如,由箭头222代表在一段时间内测量的注视位置94,从在指示符区域76外部的注视位置94移动到在指示符区域76内部的注视位置94)。例如,阈值214代表了车辆***20的各自的一个的第一操作(例如正常操作)和第二操作(例如临界操作)之间的间隔。
再次参照图5,如果所述注视位置数据包括在指示符70的指示符区域76中的注视位置94,其与传感器30的车辆***20有关,那么在块230处,处理器100显示指示符70,使得指示符70的突显度降低。降低突显度包括缩小尺寸、亮度、颜色、字体、指示符类型、移动到较不为突显的位置(例如,偏离所述显示器的中心)、以上结合等等。
作为示例,参照图5-7,处理器100显示了燃料液位指示符70,并且分析了来自燃料液位传感器30的燃料液位数据212。如果燃料液位数据212显示所述燃料液位在燃料液位阈值214之上,那么处理器100分析注视位置数据。如果燃料液位数据212高于燃料液位阈值214,那么燃料液位数据212是可接受的并且该信息不是所述驾驶员一知道燃料液位就立即重要的。如果所述注视位置数据包括在燃料液位指示符70的指示符区域76中的注视位置94,那么所述驾驶员已经注意到燃料液位,并且处理器100将通过改变所使用的图象的类型和/或降低所述图像尺寸来降低燃料液位指示符70的突显度。
其它示例包括方法200,其中,发动机温度数据212由发动机温度传感器30测量并与发动机温度阈值214(例如,发动机温度阈值214限定“黄色地区”)比较;在方法200中,气压数据212由在车轮的一个中的气压传感器30测量并与气压阈值214比较(例如,所述气压阈值是低的但不是临界的气压,例如,对于其正常值是32PSI的轮胎来说,气压阈值是28PSI);以及在方法200中,油寿命数据212由油寿命传感器30测量并与油寿命阈值214比较(例如,所述油寿命超过100%意味着需要更换油)。在这些示例中,低于发动机温度阈值214的发动机温度数据212是正常的,位于气压阈值214之上的气压数据212是正常的,以及低于油寿命阈值214的油寿命数据212是正常的。
参照图8-11,***通知应用129包括计算机可读指令,当其由处理器100执行时,使得处理器100执行***通知方法300。
在块310处,处理器100,在显示器60上显示指示符70,如图9所示,并且处理器100分析来自传感器30的数据312(例如,水平的x-轴线是时间),如图10所示。
继续参照图10,如果传感器数据312位于阈值314的临界操作侧(阈值314之上或以下),那么在块320处,处理器100分析注视位置数据(例如,如在图11中所示,由箭头322代表在一定时间段内测量的注视位置94,丛指示符区域76外部的注视位置94移动到指示符区域76内部的注视位置94)。例如,阈值314代表在阈值314之下操作车辆***20,将发出警告。
继续参照图9,在块330处,如果所述注视位置数据不包括在指示符70的指示符区域76中的注视位置94,那么处理器100将提高指示符70的突显度。例如,增加指示符70的突显度(例如,以一定速率或在一段时间内)直到注视位置数据包括在指示符70的指示符区域76中的注视位置94,其与传感器30的车辆***20相关联。增加所述突显度包括增大尺寸、亮度、指示符类型、移动到更加突显的位置72(例如,朝向所述显示器的中心移动),以上结合等等。
例如,参照图9-11,处理器100显示了燃料液位指示符70并且分析了来自燃料液位传感器30的数据312。如果燃料液位传感器数据312示出的所述燃料液位低于燃料液位阈值314,那么所述燃料液位是不可接受的并且将通知所述驾驶员。处理器100分析注视位置数据。如果所述注视位置数据不包括在燃料液位指示符70的指示符区域76中的注视位置94,那么所述驾驶员是未意识到所述燃料液位的,并且处理器100将通过增加所述图像尺寸提高燃料液位指示符70的突显度。一旦所述注视位置数据包括在燃料液位指示符70的指示符区域76中的注视位置94,所述驾驶员就已经注意到所述燃料液位。
其它的示例包括方法300,其中,发动机温度数据212由发动机温度传感器30测量并与发动机温度阈值214(例如,发动机温度阈值214限定“红色地区”)比较;在方法300中,气压数据212由在车轮的一个中的气压传感器30测量并与气压阈值214比较(例如,所述气压阈值是临界压强);在方法300中,油寿命数值212由油寿命传感器30测量并与油寿命阈值214(例如,所述油寿命超过125%意味着超期未更换油)比较。在这些示例中,在发动机温度阈值之上的发动机温度数据212是临界的,在气压阈值214之下的气压数据212是临界的,并且在油寿命阈值214之上的油寿命数据212是临界的。
如另一个示例,道路位置数据与车道(例如,阈值)相比较,并且车道偏离警告将利用触觉反馈传达给所述驾驶员直到所述驾驶员看到警告指示符或车道偏离***的指示符。
参照图12-15,延迟通知应用120包括计算机可读指令,当其由处理器100执行时,使得处理器100执行延迟通知方法400。
参照图13,在块410处,处理器100收到信息68或产生信息68。然后处理器100产生并显示代表等待通知的指示符70,并且分析注视位置数据412。
在块420处,如果所述注视位置数据(例如,由箭头412代表在一定时间段内测量的注视位置94,在指示符区域76外部的注视位置94移动到在指示符区域76内部的注视位置94)包括在指示符70的指示符区域76中的注视位置94,参照图14,那么处理器100显示信息68(例如,用信息68取代指示符70)。在替代的实施例中,在信息68被显示前,注视位置94在一定时间内处于指示符区域76中。
指示符70可以基于来自传感器30的数据被产生或显示。例如,参照图12,在块410处,只有在传感器数据422(例如,水平的x-轴线是时间)在阈值424之下时,处理器100才可以产生并显示代表等待通知的指示符70。替代地或另外地,在块420处,只有在传感器数据422在阈值424之下时,处理器100才显示信息68,。
在此,阈值424代表了,在阈值424之下(或者在阈值424之上)操作车辆***20,驾驶员可以在基本上不被分散注意力或者被干扰的情况下接收信息68。例如,阈值424可以是速度,交通量,到达下一行驶方向的时间等等。
例如,参照图13-14,处理器100接收信息68,产生并在显示器60上显示指示符70(例如,信封符号),并且处理器100分析注视位置数据412。如果注视位置数据412包括在指示符70的指示符区域76中的注视位置94,那么处理器100在显示器76上显示信息68。在一些实施例中,例如,如果由速度传感器30测得的速度低于10公里每小时,那么处理器100仅显示指示符70。
参照图16-20,驾驶员请求应用120包括计算机可读指令,当其被处理器100执行时,使得处理器100执行驾驶员请求方法500。
在块510处,参照图17和18,处理器100显示指示符70并且分析注视位置数据512。
在块520处,参照图18和19,计算了对于每个指示符70的注视或扫视频率522。对于指示符70的注视频率522是在时间段524内注视位置94移动到指示符70的指示符区域76(例如,转换T)中的次数。在替代的实施例中,注视频率522是在时间段524内注视位置94在指示符区域76中度过的时间(例如,停留时间等于在注视转换或转移到其它目标区域之间的所有固定和扫视的总和)。扫视持续时间可以被定义为从注视方向朝向目标移动的时刻到从所述目标上移走的时刻。单次扫视持续时间可以被称为扫视。
所述注视频率也可以被定义为在预定的抽样时间段内,或者在预定的任务期间,到目标的扫视次数,其中,每次扫视都通过到不同的目标至少一次扫视而间隔开。
在块530处,参照图19-20,基于指示符70的相应计算的注视频率522,每个指示符70的突显度都被提高或降低。例如,每个指示符70的突显度都与平均注视频率532相关联。如果计算的注视频率522在平均注视频率532之上,那么处理器100将增加指示符70的突显度。如果计算的注视频率522在平均注视频率532之下,那么处理器100将降低指示符70的突显度。
在一些实施例中,平均注视频率532是在较长的时间段内的计算的注视频率522。
参照图21-24,布置应用120包括计算机可读指令,当其由处理器100执行时,使得处理器100执行布置方法600。
根据布置方法600,具有更高平均注视频率532,534的指示符70被显示在具有显示器60的中心并且朝向其被显示的更加突显的位置72,或在被显示在最突显的位置。
参照图22和23,在块610处,处理器100基于先前计算的平均注视频率532(例如,长期平均)显示指示符70并且分析注视位置数据512。暂时地参照图19和23,对于每个指示符70,处理器100计算当前注视频率522(例如,在指示符70的指示符区域76中的注视位置94的数量,或者在最后一分钟524内注视位置94在指示符70的指示符区域76中的时间),并且基于当前注视频率522计算更新的平均注视频率534。
在块620处,参照图23,处理器100分析指示符70的更新的平均注视频率534。
在块630处,参照图24,基于更新的平均注视频率534,处理器100将指示符70布置在显示区域74中的位置72处。例如,在显示器60上的位置72,以及在这些位置72处的尺寸范围是预先定义的并按突显度被排序(即,位置72和显示区域74)。
通常,具有更大的更新的平均注视频率534的指示符70被布置在具有相对更大的尺寸范围的多个位置72中(例如,在显示区域74内的指示符区域76的尺寸基于如上面关于方法500所描述的当前注视频率522确定),所述多个位置72在显示器60上更中心的(或者容易发现的)位置72处。类似地,具有更小的更新的平均注视频率534的指示符70被布置在显示器60上具有相对更小尺寸范围且具有距中心较远的位置72的位置72中(例如,在显示区域74内的指示符区域76的尺寸基于如上面对于方法500所描述的当前注视频率522确定)。
在一些实施例中,HUD包括最突显的位置72。
参照图25-28,关系应用120包括计算机可读指令,当其由处理器100执行时,使得处理器100执行关系方法700。
在块710处,参照图26,处理器100显示指示符70并且分析注视位置数据712(例如,水平的x-轴线是时间)。
在块720处,参照图27,确定了注视模式722。例如,当在至少两个不同的时间段724,726内在指示符70中的两个不同的指示符的指示符区域76中发现注视位置94时,注视模式722被确定。替代地,当在两个指示符70之间的转换次数大于转换的阈值次数时,注视模式722被确定。
在块730处,参照图28,如果确定了注视模式722,那么处理器100将减小在与注视模式722相关的指示符70之间的距离732或者以其它方式结合与注视模式722相关的指示符70。
参照图29-35,信息调整应用120包括计算机可读指令,当其由处理器100执行时,使得处理器100执行信息调整方法800。根据信息调整方法800,默认信息通过辅助信息被增大,或者基于驾驶员的注视以其它方式被改变。
通过计算装置40通信的信息68可以是静态的(例如,已经在存储器中固定的或预先确定的内容)或者可以是动态的(例如,可以随时间改变)。动态信息包括,例如,一天中的时间、天气、和驾驶员状态。
信息68可以被产生和存储,以被计算装置40存取。替代地,计算装置40可以实时产生信息68或请求车辆***20实时产生信息68。为了教导的目的,信息68在下面被分类为默认信息和辅助信息。
存储器110包括默认参数值组812。示例性参数包括位置、距离、和时间。
在块810处,处理器100监测传感器30或车辆***20的输出数据62。输出数据62包括与默认参数值组812相关联的参数的值。处理器100将传感器30的输出数据62与默认参数值组812对比。
当传感器30的输出数据62与默认参数值组812(例如,图31)中的一个相匹配时,在块820处,处理器100基于默认参数值组812(例如,图32)中相匹配的一个存取、产生或者请求默认信息822。例如,处理器100存取或产生与默认参数值组812中的相匹配的一个相关联的默认信息822;或者处理器100请求由车辆***20产生默认信息822并且处理器100接收默认信息822。
在块830处,处理器100将默认信息822通信给驾驶员。例如,所述通信在显示器60上是可视的和/或所述通信通过车辆10的音频***88可听到。
在块840处,处理器100分析注视位置数据842(例如,水平x-轴线是时间)以监测驾驶员的注视位置94(例如,图33)。如果注视位置94在显示器60(例如,HMI)上持续的时间844大于阈值时间846,那么注视被记录并且处理器100在注视被记录的时间849处产生辅助参数值848(例如,图34)。替代地被描述为,辅助参数值848修改(例如,添加到)默认参数值组812。
替代地,如果注视频率超出一定阈值,那么注视被记录。注视频率是在一定时间段内注视位置94在显示器60上的次数, 如上面对于注视频率522所描述的那样。
在块850处,处理器100基于辅助参数值848(例如,图35)产生(或请求产生)辅助信息852。
在块860处,辅助信息852通信给驾驶员。例如,辅助信息852在显示设备60上可视地被通信,和/或通过车辆10的音频***88可听见地通信。
如此,计算装置40通过增大通信给所述驾驶员的信息68,响应于所述驾驶员的注视位置94。例如,信息68的通信频率通过通信除了辅助信息852之外的默认信息822被增大。
在一些实施例中,注视引起使用新的参数值组,来代替默认参数值组812。与默认参数值组812相比,所述新的参数值组使得更加频繁地通信提供至驾驶员。例如,所述新的参数值组是更加完整的参数值组(或者以其它方式增加默认参数值组812的数量)。
在一些实施例中,如果在一段时间内驾驶员的注视没有在注视位置数据中,那么注视的缺失将减少到所述驾驶员的默认通信。例如,注视的缺失引起使用新的参数值组,来代替默认参数值组812。与默认参数值组812相比,所述新的参数值组使得不那么频繁地通信提供至驾驶员。例如,新的参数值组是更加稀少的参数值组(或者以其它方式减少默认参数值组812的数量)。
参照图30-35,现描述一个示例应用。在此,信息68是沿路线862的指示,所述指示与参数(例如,位置,包括基于地理或时间参数的位置)相关联。路线862由计算装置40或车辆***20产生,其一个或者两个都是导航***。
为了教导的目的,所述参数是位置。默认位置值812可以由多种方法确定。例如,默认位置值812可以基于沿路线862的转弯或者其它方向的相对距离;或者在给予所述转弯的相对距离和所述车辆的当前速度的情况下,基于沿路线862的转弯或者其它方向的时间。
传感器30(例如,导航***20的传感器30)是位置传感器30,其输出数据62是车辆位置62。
参照图30,处理器100监测车辆位置62并将车辆位置62与默认位置值组812对比。
参照图31和32,当车辆位置62与默认位置值组812中的一个相匹配时,处理器100基于在默认位置值组812中的相匹配的一个产生默认方向(default direction)822。处理器100将此默认方向822通信给所述驾驶员。
参照图33和34,处理器100分析注视位置数据842以监测来自驾驶员的注视。如果注视位置94在显示器60上持续的时间844大于阈值时间846,那么注视被记录并且处理器100在所述注视被记录的时间849处产生辅助位置值848。
参照图34和35,处理器100基于辅助位置值848产生(或请求产生)辅助方向(auxiliary direction)852。例如,辅助方向852是下一个转弯。此处,稍后将基于默认位置值812的下一个呈现所述转弯,而代替地由于辅助位置值848现在呈现所述转弯。
替代地,辅助方向852是诸如“我在正常工作,你的下一个转弯将在10秒内呈现”的通用信息。此处,当默认参数值组812的下一个值与车辆位置10相匹配时,所述下一个转弯在10秒内呈现。
如此,计算装置40通过增加通信给所述驾驶员的指示(direction)68,来响应于驾驶员的所述注视。例如,指示68的通信频率通过通信除了默认方向822之外的辅助方向852而被增大。
这项技术的一个优点是计算装置40通过调整默认通信以包括更频繁的指令或通用信息来响应于具有新的体验且不平静的驾驶员(例如,可由注视证明)。例如,新的体验是行驶在在驾驶员从没行驶过的路线上。替代地,如果驾驶员正行驶在常见的路线上,那么注视的缺乏反映了所述驾驶员比较舒适。作为响应,计算装置40将包括更不为频繁的指令(例如,所述默认方向)和/或将消息限制为仅仅是重要提醒(例如,事故,危险,路况改变)。
参照图36-37,车辆***信息应用120包括计算机可读指令,当其由处理器100执行时,使得处理器100执行车辆***信息方法900。根据车辆***信息方法900,当用户注视与车辆***20相关联的位置902一段时间时,与车辆***20相关联的信息68被呈现。
待通过计算装置40通信的信息68可以是静态的(例如,固定的或预先确定的)或可以是动态的(例如,可以随时间改变)。信息68可以被产生且存储以通过计算装置40存取。替代地,计算装置40可以实时产生信息68或请求车辆***20实时产生信息68。与车辆***20相关联的位置902包括与车辆***20相关联的指示符70,与车辆***20相关联的控制部22,和在车辆10中指定的位置(例如,在仪表盘80、方向盘82或中央控制台86上) 。
在块910处,处理器100分析注视位置数据942(例如,水平x-轴线是时间)以监测驾驶员的注视位置94。如果注视位置94在与车辆***20相关联的位置处的时间944大于阈值时间946,那么在块920处,注视被记录并且,在块930处,处理器100在显示器60上可视地通信信息68,和/或通过车辆10的音频***88可听见地通信信息68。
以使用自动巡航控制(ACC)***20作为车辆***20的示例,ACC***20在打开ACC***20时以及在使用ACC***20设置速度时被激活。
根据一个实施例,与ACC***20相关联的位置是速度计70并且信息68包括在速度计70上的值,所述值包括当前速度,速度限制,和由所述驾驶员输入的设置速度。替代地,信息68包括例如“我在正常工作,我正在试图达到你的设置速度”的通用信息。
根据另一个实施例,与ACC***20相关联的位置是用于提供输入(例如,设置速度)到ACC***20的控制部组,并且信息68包括关于如何使用控制部组来操作ACC***20的指示。
参照图38-39,驾驶员背景信息应用120包括计算机可读指令,当其由处理器100执行时,使得处理器100执行驾驶员背景信息方法1000。根据驾驶员背景信息方法1000,信息68基于来自传感器30的代表驾驶员的背景的测量,并且所述信息在所述驾驶员注视与车辆***20相关联的位置一段时间后被呈现。
将通过计算装置40被通信的信息68可以是静态的(例如,固定的或预先确定的)或者可以是动态的(例如,可以随时间改变)。信息68可以被产生且存储以通过计算装置48存取。替代地,计算装置40可以实时产生信息68或请求车辆***20实时产生信息68。
来自传感器30的测量代表了驾驶员背景或者被用于识别背景。例如,背景包括驾驶员的驾驶经验(例如,新手/专家、年龄),车辆10外部的环境50(例如,天气、路况),车辆10内部的环境50(例如,占用、温度),和车辆***20的状态(例如,燃料液位)。驾驶员经验可以通过面部识别确定,所述面部识别与包括年龄或经验度量的驾驶员轮廓相关联。
在块1010处,处理器100分析来自传感器30的输出数据62、64、66。在块1020处,处理器100识别或产生基于输出数据62、64、66的背景1022。
在块1030处,处理器100识别或产生特定于车辆***20和背景1022的背景信息1032。
驾驶员背景信息方法1000的块1040、1050、1060与车辆***信息方法900的块910、920、930相似并且参照图37来描述。
在块1040处,处理器100分析注视位置数据942以监测驾驶员的注视位置94。如果注视位置94在与车辆***20相关联的位置902处的时间944大于阈值时间946,那么在块1050处,注视被记录并且,在块1060处,处理器100通信与车辆***20相关的背景信息1032(即,背景信息1032特定于与位置902相关联的车辆***20)。背景信息1032在显示器60上可视地通信和/或通过车辆10的音频***88可听见地通信。
例如,处理器100分析来自传感器30的输出数据62并且,基于输出数据62,处理器100确定所述驾驶员是新手1022。基于所述驾驶员是新手1022,处理器100为车辆***20产生或识别背景信息1032。
使用车辆***20作为ACC***20的示例,与ACC***20相关联的位置902是用于ACC***20的刻度盘22。当处理器100记录在ACC***20的刻度盘22处的注视后,处理器100存取用于ACC***20的背景信息1032。例如,背景信息1032包括用于操作ACC***20的指示,所述指示对于新手驾驶员来说将是有用的。处理器100在显示器60上可视地通信背景信息1032和/或通过车辆10的扬声器***可听见地通信背景信息1032。
例如,处理器100分析来自传感器30的输出数据62并且,基于输出数据62,处理器100确定所述车辆的占用1022。基于所述车辆的占用1022,处理器100产生或识别用于车辆***20的背景信息1032。背景信息1032包括其基于占用1022将提供更加舒适的设置到所有乘客的背景信息。
使用供暖通风空调(HVAC)***20作为车辆***20的示例,与HVAC***20相关联的位置902是HVAC***20的刻度盘22。当处理器100记录在HVAC***20的刻度盘22处的注视时,处理器100存取用于HVAC***20的背景信息1032。例如,背景信息1032包括用于操作HVAC***20的背通风孔的指示,因为占用1022包括在车辆10的后座中的乘客(例如,车辆满载)。处理器100在显示器60上可视地通信背景信息1032和/或通过车辆10的扬声器***可听见地通信背景信息1032。
本文公开了本公开的各种实施例。所述公开的实施例仅仅是示例,这些示例可以以各种形式和替代形式以及它们的组合被具体实施。如在本文中使用的,例如,“示例性的”和相似的术语,广泛地涉及作为例示、样本、模型或模式的实施例。
在不偏离本发明的权利要求书的情况下,可以对上述实施例作出各种变型、修改和组合。所有这些变型、修改和组合在本文中包括在本公开以及所附权利要求书的范围中。

Claims (20)

1.一种在包括眼跟踪装置的车辆上使用的方法,其包括:
通过包括处理器的装置促进在车辆的显示器上显示指示符,所述指示符包括指示符区域,其中所述指示符与车辆***相关联;
通过所述装置将传感器数据与阈值进行比较,其中所述传感器数据与车辆***相关联,其中所述阈值代表在所述车辆***的第一状态和所述车辆***的第二状态之间的分开;
通过所述装置将注视位置数据与所述指示符区域进行比较;以及
通过所述装置降低所述指示符的突显度,如果:
所述传感器数据在所述阈值的正常状态侧上;并且
在所述指示符区域中发现了所述注视位置数据。
2.如权利要求1中所述的方法,其中所述指示符包括图像。
3.如权利要求1中所述的方法,其中所述第一状态是正常状态并且所述第二状态是临界状态。
4.如权利要求1中所述的方法,其中所述传感器数据代表所述车辆***的状态。
5.如权利要求1中所述的方法,其中降低所述突显度包括减小所述指示符的尺寸。
6.如权利要求1中所述的方法,其中降低所述突显度包括减小所述指示符的亮度。
7.如权利要求1中所述的方法,其中降低所述突显度包括改变所述指示符的类型。
8.如权利要求1中所述的方法,其中降低所述突显度包括改变所述指示符在所述显示器上的位置。
9.一种在包括眼跟踪装置的车辆上使用的方法,其包括:
在车辆的显示器上显示指示符,所述指示符包括指示符区域,其中所述指示符与车辆***相关联;
将传感器数据与阈值进行比较,其中所述传感器数据与所述车辆***相关联,其中所述阈值代表在所述车辆***的第一状态和所述车辆***的第二状态之间分开;
将注视位置数据与所述指示符区域进行比较;以及
增加所述指示符的突显度,如果:
传感器数据在所述阈值的临界状态侧上;并且
未在所述指示符区域中发现注视位置数据。
10.如权利要求9中所述的方法,其中所述指示符包括图像。
11.如权利要求9中所述的方法,其中所述第一状态是正常状态并且所述第二状态是临界状态。
12.如权利要求9中所述的方法,其中所述传感器数据代表所述车辆***的状态。
13.如权利要求9中所述的方法,其中所述增加所述突显度包括增大所述指示符的尺寸。
14.如权利要求9中所述的方法,其中所述增加所述突显度包括增大所述指示符的亮度。
15.如权利要求9中所述的方法,其中所述增加所述突显度包括改变所述指示符的类型。
16.如权利要求9中所述的方法,其中所述增加所述突显度包括改变所述指示符在所述显示器上的位置。
17.一种在包括眼跟踪装置的车辆上使用的方法,其包括:
在车辆显示器上显示指示符,所述指示符包括指示符区域;
计算与第一指示符相关联的注视频率,其中所述注视频率在时间段内被计算并且基于至少下述之一:
注视位置移动进入所述指示符区域中的次数;以及
注视位置在所述指示符区域中停留的时间;以及
基于所述注视频率确定突显度,在该突显度处设置所述指示符。
18.如权利要求17中所述的方法,其中:
所述注视频率是第一注视频率以及所述时间段是第一时间段;以及
所述方法进一步包括:
在第二时间段内计算第二注视频率,所述第二时间段比所述第一时间段长;
如果所述第一注视频率高于所述第二注视频率,那么增加所述指示符的所述突显度;以及
如果所述第一注视频率低于所述第二注视频率时,降低所述指示符的所述突显度。
19.如权利要求17中所述的方法,其中,突显度基于在显示器上的尺寸、亮度、类型和位置中的至少一个。
20.如所述权利要求17中所述的方法,其中:
所述指示符区域是第一指示符区域,所述注视频率是第一注视频率以及所述时间段是第一时间段;以及
所述方法进一步包括:
在车辆显示器上显示第二指示符,所述第二指示符包括第二指示符区域;
计算与所述第二指示符相关联的第二注视频率,其中所述第二注视频率在第二时间段内被计算并且基于至少下述之一:
注视位置移动进入所述第二指示符区域中的次数;以及
注视位置在所述第二指示符区域中停留的时间;以及
基于所述第二注视频率确定所述第二指示符的突显度;
其中,在所述显示器上的位置基于突显度被排序并且确定所述突显度包括基于所述第一注视频率和所述第二注视频率的顺序确定所述第一指示符和所述第二指示符的所述位置。
CN201511035860.XA 2014-10-15 2015-10-15 包括眼跟踪装置的供车辆使用的***和方法 Active CN105667421B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/514,791 2014-10-15
US14/514,791 US9530065B2 (en) 2014-10-15 2014-10-15 Systems and methods for use at a vehicle including an eye tracking device

Publications (2)

Publication Number Publication Date
CN105667421A CN105667421A (zh) 2016-06-15
CN105667421B true CN105667421B (zh) 2018-04-10

Family

ID=55638096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511035860.XA Active CN105667421B (zh) 2014-10-15 2015-10-15 包括眼跟踪装置的供车辆使用的***和方法

Country Status (3)

Country Link
US (1) US9530065B2 (zh)
CN (1) CN105667421B (zh)
DE (1) DE102015117224A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9904362B2 (en) * 2014-10-24 2018-02-27 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
WO2017064797A1 (ja) * 2015-10-15 2017-04-20 日立マクセル株式会社 情報表示装置
US10162651B1 (en) 2016-02-18 2018-12-25 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for providing gaze-based notifications
CN105947038B (zh) * 2016-06-20 2018-07-31 中车株洲电力机车研究所有限公司 一种机车信息显示装置及机车
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
CN106710277B (zh) * 2016-12-26 2019-03-26 重庆路格科技有限公司 驾驶方向提示***
CN110115029B (zh) * 2017-01-10 2021-07-16 富士胶片株式会社 投影型显示装置、投影型显示装置的控制方法、记录介质
CN107647534A (zh) * 2017-09-22 2018-02-02 广西南宁胜祺安科技开发有限公司 一种具有磁性的安全带装置及其提示方法
CN107719297A (zh) * 2017-09-22 2018-02-23 广西南宁胜祺安科技开发有限公司 一种散发爱意的安全带装置及其提示方法
CN107719301A (zh) * 2017-09-22 2018-02-23 广西南宁胜祺安科技开发有限公司 一种可散发芬芳气味的安全带装置及其提示方法
CN107719296A (zh) * 2017-09-22 2018-02-23 广西南宁胜祺安科技开发有限公司 一种爱心安全带装置及其使用方法
US10160274B1 (en) * 2017-10-23 2018-12-25 GM Global Technology Operations LLC Method and apparatus that generate position indicators for towable object
JP2019095892A (ja) * 2017-11-20 2019-06-20 シャープ株式会社 車両用運転支援装置、および車両用運転支援プログラム
CN108128246B (zh) * 2017-12-19 2021-01-08 深圳大学 一种车辆偏航警示与控制方法及***
US10600390B2 (en) * 2018-01-10 2020-03-24 International Business Machines Corporation Displaying a vehicle notification in a location determined based on driver eye gaze direction and other criteria
DE102019206377A1 (de) * 2019-05-03 2020-11-05 Audi Ag Objekterkennungssystem zum Anordnen auf einem Gerät
CN112560396A (zh) * 2020-12-23 2021-03-26 广州六环信息科技有限公司 车载hmi调节方法、装置、***、电子设备及存储介质
DE102022109811A1 (de) 2022-04-22 2023-10-26 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem und Fahrerassistenzverfahren für ein Fahrzeug
DE102022120715A1 (de) 2022-08-17 2024-02-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Anzeigeeinrichtung in einem Kraftfahrzeug
CN116185190B (zh) * 2023-02-09 2024-05-10 江苏泽景汽车电子股份有限公司 一种信息显示控制方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉***全挡风玻璃hud
CN103144586A (zh) * 2011-12-07 2013-06-12 现代自动车株式会社 驾驶车辆时使用的眼睛离开防止***
US8552850B2 (en) * 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
CN103728727A (zh) * 2013-12-19 2014-04-16 财团法人车辆研究测试中心 自动调整可视范围的信息显示***及其显示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US7522344B1 (en) * 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
GB0920809D0 (en) * 2009-11-27 2010-01-13 Qinetiq Ltd Eye tracking apparatus
US20110310001A1 (en) * 2010-06-16 2011-12-22 Visteon Global Technologies, Inc Display reconfiguration based on face/eye tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉***全挡风玻璃hud
US8552850B2 (en) * 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
CN103144586A (zh) * 2011-12-07 2013-06-12 现代自动车株式会社 驾驶车辆时使用的眼睛离开防止***
CN103728727A (zh) * 2013-12-19 2014-04-16 财团法人车辆研究测试中心 自动调整可视范围的信息显示***及其显示方法

Also Published As

Publication number Publication date
US20160110621A1 (en) 2016-04-21
CN105667421A (zh) 2016-06-15
DE102015117224A1 (de) 2016-04-21
US9530065B2 (en) 2016-12-27

Similar Documents

Publication Publication Date Title
CN105667421B (zh) 包括眼跟踪装置的供车辆使用的***和方法
US9904362B2 (en) Systems and methods for use at a vehicle including an eye tracking device
CN107415938B (zh) 基于乘员位置和注意力控制自主车辆功能和输出
JP6558732B2 (ja) 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
EP3825981B1 (en) Warning apparatus and driving tendency analysis device
CN103786663B (zh) 车辆车道检查监测器
KR20170109275A (ko) 차량 및 그 제어 방법
KR20200113202A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
US20200290628A1 (en) Personalized device and method for monitoring a motor vehicle driver
FI124068B (en) Procedure for improving driving safety
WO2016170764A1 (ja) 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
US11535260B2 (en) Attention-based notifications
US20220289250A1 (en) Information processing device, mobile device, information processing system, method, and program
CN110171357A (zh) 车辆及其控制方法
JP2016006602A (ja) 表示制御装置、表示制御方法、表示制御プログラム、および投影装置
EP3784542A1 (en) Driver profiling and identification
CN114454890A (zh) 用于限制驾驶员分心的***和方法
US11794752B2 (en) Recommendation presenting system, recommendation presenting method, and recommendation presentation program
JP4858094B2 (ja) ディスプレイ表示システム
KR102300209B1 (ko) 디지털 클러스터의 차량 주행정보 및 운전자 정보 표시 방법
JP2019023806A (ja) 情報制御装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant