CN118043251A - 人机交互监视器 - Google Patents

人机交互监视器 Download PDF

Info

Publication number
CN118043251A
CN118043251A CN202280066095.XA CN202280066095A CN118043251A CN 118043251 A CN118043251 A CN 118043251A CN 202280066095 A CN202280066095 A CN 202280066095A CN 118043251 A CN118043251 A CN 118043251A
Authority
CN
China
Prior art keywords
driver
vehicle
attention
state
monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280066095.XA
Other languages
English (en)
Inventor
R·亚历山大
S·摩哈德万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anzher Software Co ltd
Original Assignee
Anzher Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anzher Software Co ltd filed Critical Anzher Software Co ltd
Publication of CN118043251A publication Critical patent/CN118043251A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0854—Inactivity or incapacity of driver due to driver cheating, e.g. to circumvent driver tests
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种装置包括接口，被配置为从车辆的车辆平台接收多个传感器信号，并向车辆平台呈现一个或多个控制信号；以及控制电路，被配置为(i)在具有第一持续时间的第一窗口期间响应于来自车辆平台的多个传感器信号中的一个或多个，检测驾驶员的注意力状态是处于专注状态还是不专注状态，(ii)通过监视来自车辆平台的多个传感器信号中的一个或多个，并确定在具有比第一持续时间更长的第二持续时间的第二窗口期间驾驶员的注意力状态的变化是否超过阈值，来评估驾驶员是否足够专注，以及(iii)当超过阈值时，将车辆的操作转移给驾驶员并安全地中断车辆的自动***功能。

Description

人机交互监视器
相关申请的交叉引用
本申请要求于2021年10月4日提交的，题为“人机交互监视器”的美国专利申请第17/493,144号的权益，该申请被转让给本申请的受让人，其全部内容通过引用并入本文，用于所有目的。
技术领域
本发明大体上涉及高级驾驶员辅助***，更具体地，涉及一种用于实施人机交互监视器的方法和/或装置。
背景技术
当今市场上的量产驾驶员注意力跟踪特征采用算法来跟踪和分类驾驶员的视觉注意力。然而，由于在保持驾驶员参与驾驶任务方面存在许多与人为因素相关的挑战，因此不能仅仅依靠驾驶员注意力跟踪特征来保持驾驶员功能警惕(从而满足安全目标)。需要考虑当今市场上已记录的类似功能的可预见的误用和滥用类型。这种误用可能会导致驾驶员注意力跟踪特征将驾驶员标记为完全有意识的边缘情况，从而保持自动特征激活，而驾驶员在任何危险事件的情况下无法干预。因此，需要检测不再足够专注的驾驶员，以作为驾驶员注意力跟踪特征的安全网。
期望实施一种人机交互监视器，以确保在对辅助(协作)驾驶自动的监督期间的驾驶员参与。
发明内容
本文中讨论的至少一些实施例涉及包括接口和控制电路的装置。接口可以被配置为从车辆的车辆平台接收多个传感器信号，并向车辆平台提供一个或多个控制信号。控制电路可以被配置为(i)在具有第一持续时间的第一窗口期间，响应于来自车辆平台的多个传感器信号中的一个或多个，检测驾驶员的注意力状态是处于专注状态还是不专注状态，(ii)通过监视来自车辆平台的多个传感器信号中的一个或多个，并确定在具有比第一持续时间更长的第二持续时间的第二窗口期间驾驶员的注意力状态的变化是否超过阈值，来评估驾驶员是否足够专注，以及(iii)当超过阈值时，将车辆的操作转移给驾驶员并安全地中断车辆的自动***功能。
附图说明
根据以下详细描述和所附权利要求及附图，实施例将是显而易见的。
图1是例示根据本公开实施例的***的示意图。
图2是例示利用扫视行为作为驾驶员专注的测量的示例实施方案的示意图。
图3是例示根据本公开实施例的***的示例操作状态的流程图。
图4是例示根据本公开的示例实施例的高级驾驶员辅助***(ADAS)人机交互监视器的实施方案的示意图。
图5是例示可接受和不可接受的驾驶员专注的示例标准的示意图。
图6是例示根据本公开实施例的***的示例操作的示意图。
图7-13是例示根据本公开的示例实施例的驾驶员和***之间的示例交互的示意图。
图14是例示根据本公开的示例实施例的实施高级驾驶员辅助***(ADAS)特征控制***的电子控制单元的示意图。
具体实施方式
示例实施例包括提供人机交互监视器，该监视器可以(i)提供驾驶员意识等级升级机制，该机制经由车辆的人机(或车辆)界面(HMI)生成一定数量(例如，3个)不同等级的警告，(ii)检测与短期共享视觉注意力相关的注意力不足(例如，参与次要任务)，(iii)考虑市场中已记录的类似特征的可预见的误用和滥用类型，(iv)检测和减轻驾驶员被标记为完全有意识的边缘情况，从而保持自动特征激活，而驾驶员在危险事件的情况下无法干预，(v)提供附加的功能以***地检测不再足够专注的驾驶员，以作为驾驶员注意力跟踪特征的安全网，(vi)当HMI不工作或存在驾驶员误用时检测注意力检测不足，(vii)在比意识监视器跟踪路外扫视行为的持续时间更长的持续时间内跟踪扫视分布，(viii)利用人机交互监视和意识监视的输出来影响车辆的动觉和纵向控制，和/或(ix)被实施为一个或多个集成电路。
安全目标(例如，汽车工程师学会等级2-3(SAE L2+))通常施加于部分(协作)驾驶自动特征，除非驾驶员是专注的，否则部分(协作)驾驶自动特征无法运行。专注的驾驶员可以及时干预，以减轻由于特征限制而可能发生的危险事件。如今，对于承担横向和纵向转向功能的SAE L2+自动***而言，驾驶员不专注是首要问题。安全案例取决于足够专注的驾驶员能够在达到自动***操作能力的限制的危险情况下采取控制。越来越需要设计安全和智能的协作驾驶***，通过自动提供必要的用户价值，同时仍然使用户调节到适当的注意力服从(attentional compliance)。因此，需要一种解决方案来***地检测驾驶员是否专注，并在驾驶员不再专注时达到适当的安全状态。
为了最好地实现注意力服从，需要为驾驶员建立清晰且一致的心智模型。驾驶员对自动***的能力和局限性的理解可以在很大程度上通知驾驶员如何与自动***交互。驾驶员的心智模型的准确表示对于以下方面至关重要：(i)驾驶员对需要及时干预的安全关键情况的做出反应的可能性；(ii)对***信任的发展可能导致过度依赖或使用不足；以及(iii)驾驶员对***操作的总体概念。
特别复杂的问题是半自动***对驾驶员的信息处理能力和认知卸载(cognitiveoff-load)的影响程度，包括驾驶员参与分散注意力的次要任务的可能性。随着驾驶员的角色从全时间主动操作员转变为间歇性被动监督者，***设计需要确保驾驶员仍然能够感知驾驶环境和***状态的关键变化。
在各种实施例中，提供了一种用于监测驾驶员意识的方法和***，包括向驾驶员提供反馈、随时间评估驾驶员的行为以及当驾驶员意识处于可接受水平时启用高级驾驶员辅助***(ADAS)功能。在各种实施例中，驾驶员意识估计器(DAE)可以被实施为监视驾驶员随时间的注意力水平并向驾驶员提供反馈(例如，警告)(例如，使用车辆的人机界面(HMI))。HMI通常提供驾驶员和车辆之间的连接，使得驾驶员对警告的反应可以通过驾驶员意识估计器***在延长的时间段内观察到。在示例中，根据本公开实施例的***可以利用使用DAE进行的观察来改善驾驶员注意力评估的质量。在示例中，当在延长时间段内监测到的驾驶员行为超过特定阈值时，各种ADAS特征可以被禁用。在各种实施例中，***可以提供改善的驾驶员注意力。该***还可以降低驾驶员无视(override)(例如，欺骗、游戏等)车辆的驾驶员监视***(DMS)的可能性。
在各种实施例中，DAE通常包括两个独立的功能，注意力(或意识)监视器和人机交互监视器(HMIM)。注意力监视器可以用于确定在短时间窗口(例如，几秒钟)期间驾驶员的状态(例如，眼睛注视道路、不专注、暂时无意识、回路外、打瞌睡等)。在示例中，注意力监视器可以使用例如来自车辆的驾驶员监视***的眼睛跟踪信息来跟踪驾驶员的眨眼或视线，然后确定驾驶员是无意识还是不专注。在示例中，注意力监视器可以使用驾驶员监视***的摄像头来执行眼睛跟踪。注意力监视器也可以检查是否使用了个人设备或车辆中的每个设备，然后确定驾驶员是否不专注。注意力监视器还可以基于驾驶信息(诸如车速、转向角和车速的可变性)来确定驾驶员的状态。在示例中，注意力监视器可以提供驾驶员意识等级升级机制，该机制经由人机界面(HMI)生成一定数量(例如，3个等)不同等级的警告，并且可以检测与短期共享视觉注意力相关的注意力不足(例如，参与次要任务)。注意力监视器可以类似于当今市场上现有的注意力跟踪特征来实施，其采用算法来跟踪和分类驾驶员的视觉注意力。
在各种实施例中，由于在保持驾驶员参与驾驶任务中的许多与人为因素相关的挑战，DAE不仅仅依靠注意力监视器来保持驾驶员功能警惕(从而满足安全目标)。在各种实施例中，DAE可以考虑当今市场上已记录的可预见的误用以及类似特征的滥用类型。例如，误用可能会导致注意力监视器将驾驶员标记为完全有意识的边缘情况，从而保持自动特征激活，而驾驶员在任何危险事件的情况下无法干预。因此，根据本公开的实施例的DAE通常包括附加的功能，以***地检测不再足够专注的驾驶员，以作为注意力监视器的安全网。根据本公开的实施例，附加功能通常由人机交互监视器(HMIM)提供。HMIM通常为驾驶员不专注提供更多样化的评估，在注意力监视器的基础上提供附加的安全层。
参照图1，示出了例示根据本公开实施例的***的示意图。在示例中，***(或装置)90可以实施高级驾驶员辅助***(ADAS)。在各种实施例中，***90可以包括车辆平台92、驾驶员监视***(DMS)94、人机(或人车)界面(HMI)96和功能控制模块100。在各种实施例中，车辆平台92、驾驶员监视***(DMS)94和功能控制模块100可以被实施为汽车安全完整性等级(ASIL)，而人机界面(HMI)96可以被实施为质量管理(QM)。
汽车安全完整性等级(ASIL)是由ISO 26262-道路车辆功能安全标准定义的风险分类方案。这是对汽车行业的IEC 61508中使用的安全完整性等级(SIL)的改编。ASIL分类有助于定义符合ISO 26262标准的安全要求，以将风险保持在可接受的等级。ASIL是通过对潜在危险场景进行风险分析来建立的，分析方法是查看车辆运行场景的严重性、暴露程度和可控性。该危险场景的安全目标又包含ASIL要求。ASIL的范围从ASIL D到QM，前者表示危险场景转化为事故的最高风险程度，以及在保证最终安全要求时需要应用的最高严格程度，后者表示没有不可接受风险的汽车危险场景的应用，因此没有根据ISO 26262安全流程进行管理的安全要求。QM等级指的是“质量管理”，意味着与危险事件相关联的风险并非不合理，并且因此不需要符合ISO 26262的安全措施。中间等级(ASIL C级、ASIL B级和ASIL A级)只是一系列不同程度的危害风险等级和所需的保证程度。
该标准将功能安全定义为“不存在因电气或电子***故障行为导致的不合理风险”。ASIL基于危害的可能性和严重性，为汽车部件制定符合ISO 26262标准的安全要求。安全气囊、防抱死刹车和动力转向等***需要ASIL D级评级，这是应用于安全保障方面的最高严格程度，因为与这些故障相关联的风险最高。在安全谱的另一端，像雨刮器***这样的部件只需要ASIL A级。前灯和刹车灯通常为ASIL B级，尾灯也是如此，因为有后方碰撞的风险，而自动紧急制动***通常为ASIL C级，因为存在与意外减速相关联的风险。
在示例中，车辆平台92、DMS 94和HMI 96可以向功能控制模块100提供输入信号。在示例中，车辆平台92可以向功能控制模块100提供通信车辆速度的输入信号(例如，车辆速度(VEHICLE SPEED))。DMS 94可以提供通信与驾驶员意识相关的信息(例如，驾驶员眼睛运动、驾驶员手的位置、转向角度等)的输入信号。在示例中，HMI 96可以向功能控制模块100提供第一输入信号(例如，激活请求(ACTIVATION REQUEST))和第二输入信号(例如，停用请求(DEACTIVATION REQUEST))。信号激活请求可以通信来自驾驶员的请求，以激活由功能控制模块100控制的ADAS特征。信号停用请求可以通信来自驾驶员的请求，以停用由功能控制模块100控制的ADAS特征。在一些实施例中，HMI 96可以可选地呈现通信关于操作车辆的特定驾驶员的信息的输入信号(例如，驾驶员信息(DRIVER INFO))。在各种实施例中，信号车辆速度和减速请求(DECELERATION REQUEST)可以被实施为ASIL，信号激活请求和停用请求可以被实施为QM。
在示例中，功能控制模块100可以向车辆平台92和HMI 96提供输出信号。在示例中，功能控制模块100可以向车辆平台92呈现输出信号(例如，减速请求)。信号减速请求可以被配置为允许功能控制模块100将车辆安全停止。功能控制模块100可以向HMI 96呈现信号(例如，驾驶员警告(DRIVER WARNING))。信号驾驶员警告可以通信信息以使HMI 96向驾驶员呈现特定的警告。在各种实施例中，信号驾驶员警告可以被实施为QM。
在示例中，功能控制模块100可以包括块(或电路)102、块(或电路)104和块(或电路)106。块102可以被实施为注意力(或意识)监视器。块104可以被实施为人机交互监视器(HMIM)。块106可以被实施为ADAS特征模式管理器。在一个示例中，块106可以被实施为自动驾驶模式管理器。在各种实施例中，块102、104和106通常被实施为ASIL。在示例中，可以向块102的第一输入、块104的第一输入和块106的第一输入呈现信号车辆速度。可以向块102的第二输入和块104的第二输入呈现来自DMS 94的信号。块102可以向块104的第三输入和块106的第二输入呈现信号(例如，意识等级(AWARENESS LEVEL))。信号意识等级可以被实施为ASIL。块104可以向块106的第三输入呈现信号(例如，足够专注(SUFFICIENTLYATTENTIVE))。信号足够专注可以被实施为ASIL。在HMI 96向功能控制模块100提供信号驾驶员信息的实施例中，可以向块104的第四输入呈现信号驾驶员信息。
在各种实施例中，块102和块104可以被配置为驾驶员意识估计器(DAE)，以***地检测驾驶员是否专注，并在驾驶员不再专注时达到适当的安全状态。在示例中，注意力监视器102可以提供驾驶员意识等级升级机制，该机制经由HMI 96生成一定数量(例如，3个)的不同等级的警告，并且可以检测与短期共享视觉注意力相关的注意力不足(例如，参与次要任务)。注意力监视器102可以类似于当今市场上现有的量产注意力跟踪特征来实施，其采用算法来跟踪和分类驾驶员的视觉注意力。
在各种实施例中，由于在保持驾驶员参与驾驶任务中的许多与人为因素相关的挑战，驾驶员意识估计器(DAE)不仅仅依靠注意力监视器102来保持驾驶员功能警惕(从而满足安全目标)。在各种实施例中，驾驶员意识估计器(DAE)可以考虑当今市场上已记录的可预见的误用以及类似特征的滥用类型。例如，误用可能导致注意力监视器102将驾驶员标记为完全有意识的边缘情况，从而保持由功能控制模块100控制的自动特征激活，而驾驶员在任何危险事件的情况下无法干预。因此，根据本公开实施例的驾驶员意识估计器(DAE)通常利用HMIM 104来提供附加的功能，以***地检测不再足够专注的驾驶员，以作为注意力监视器102的安全网。
HMIM 104通常被配置为在HMI 96不工作或存在驾驶员误用时检测注意力不足。在示例中，HMIM 104可以通过分析注意力监视器102在比注意力监视器102使用的持续时间(或窗口)更长的持续时间内报告的意识等级之间的切换行为(toggle behavior)来查看驾驶员的路外扫视分布模式。在各种实施例中，长期扫视分布模式可以用于影响车辆平台92的动觉和纵向控制。在示例中，HMIM 104可以基于注意力监视器102所报告的注意力状态之间的切换行为来关注长期评估。通过监视给定时间窗口中驾驶员的意识等级(例如，如由意识状态的时间分布捕获的)，可以定义每个意识状态内的可调(或可编程)转移次数和可接受的总时间。使用辅助驾驶(例如，自适应巡航控制(ACC)等)扫视行为作为金标准，驾驶员参与度可以基于扫视分布模式来计算。HMIM 104通常通过评估驾驶员的长期扫视模式并随后触发控制向驾驶员的转移和车辆向安全状态的转移(例如，经由信号减速请求等)来防止驾驶员在可能影响驾驶员可控性的较长持续时间内反复进入较低意识状态。
参照图2，示出了例示利用扫视行为作为驾驶员注意力测量的驾驶员意识估计器的示例实施方案的示意图。由于人在回路(human-in-the-loop)中的关键作用，越来越高级的监督***的设计变得复杂。成功的设计确保驾驶员在警报故障、静默故障和其他控制转移期间参与并能够在需要时接管。开发强制警惕***涉及对用户的感知、认知和响应行为的深入理解。在示例中，注意力监视器102通常实施驾驶员意识等级升级机制，该机制可以经由HMI 96生成多个不同等级的警告，并且检测与短期共享视觉注意力相关的注意力不足(例如，参与次要任务)。在示例中，注意力监视器102可以在短持续时间窗口110内观察驾驶员扫视行为108以确定意识等级。在示例中，如果在短时间段内(例如，几秒钟)驾驶员50％的时间眼睛离开道路，或者在更长时间内(例如，短时间的4-5倍)驾驶员30％的时间眼睛离开道路，注意力监视器102可以指示驾驶员是无意识的。在示例中，注意力监视器102可以生成三个不同等级的警告：暂时无意识、无意识、回路外。在示例中，多个警告可以包括但不限于听觉和视觉提醒、触觉提醒(例如，座椅振动)、上手(hands on)、减少推进力、接管请求和减速进入安全停止。
在示例中，HMIM 104可以在长时间窗口持续时间112内观察驾驶员扫视行为108，以确定驾驶员是否足够有意识。在示例中，当HMI 96没有如期望的那样工作时(例如，假设HMI 96通常是QM)或存在误用时，HMIM 104可以通过在比注意力监视器102更长的时间段内查看路外扫视分布来检测注意力不足。在示例中，HMIM 104可以被配置为利用HMI 96和注意力监视器102来检测HMI 96是否成功地向驾驶员发送信号。例如，硬件或跟踪故障通常意味着驾驶员没有从HMI 96接收信号。在另一示例中，HMIM 104可以被配置为利用HMI 96和注意力监视器102来检测驾驶员是否在游玩(gaming)(滥用)***90。例如，驾驶员可能会通过在有意识和暂时无意识状态之间来回切换来最大化眼睛离开道路的时间，从而滥用***。
参照图3，示出了例示根据本公开实施例的HMIM***的示例操作状态的流程图。在示例中，特征控制过程200可以包括根据本公开实施例的HMIM***的多个状态。在示例中，多个状态可以包括多个特征状态和多个驾驶员意识状态。在各种实施例中，HMIM 104监视驾驶员的意识等级(例如，如由驾驶员意识估计器(DAE)的驾驶员意识状态的时间分布捕获的)，并定义特定DAE状态内可接受的转移次数和/或可接受的总时间。在示例中，控制过程(或方法)200可以包括步骤(或状态)202、步骤(或状态)204、步骤(或状态)206、步骤(或状态)208、步骤(或状态)210、步骤(或状态)212、步骤(或状态)214、步骤(或状态)216、步骤(或状态)218、步骤(或状态)220、步骤(或状态)222、步骤(或状态)224、步骤(或状态)226、步骤(或状态)228、步骤(或状态)230、步骤(或状态)232、步骤(或状态)234和步骤(或状态)236。
在示例中，过程200可以在ADAS特征关闭的状态202开始，并转移到状态204。在状态204中，ADAS特征没有准备好激活。ADAS特征可以保持不准备激活，直到运行设计域(ODD)条件210适于激活。运行设计域(ODD)安全概念通过减少对挑战性运行环境的暴露程度，确保汽车工程师学会2-3级(SAE L2+)驾驶员辅助功能具有可接受的安全性。挑战性运行情况是指被判断为超出高级驾驶员辅助***(ADAS)已知能力的运行情况，因此被认为是危险的。ODD安全概念的目标是能够识别至少99％的运行情况，以最小化暴露于危险场景。
当ODD条件210适于激活时，过程200可以移动到状态206。在状态206中，ADAS特征准备好激活。过程200可以保持在状态206，直到观察到驾驶员处于状态212(例如，手放在方向盘上且眼睛注视道路)。当驾驶员处于状态212时，在接收到驾驶员激活请求214之后，过程200可以移动到状态208。在状态208中，ADAS特征是激活的。在ADAS特征激活的情况下，过程200可以监视由DAE状态220-226的时间分布捕获的驾驶员的意识等级。
过程200可以定义特定DAE状态内意识状态转移的可接受次数和/或可接受的总时间。在示例中，过程200可以分别设置从驾驶员意识状态220(其中，基于眼睛注视道路观察230，驾驶员被认为是有意识的)到驾驶员意识状态222、224和226的特定持续时间(例如，N分钟)和转移次数(例如，I、J和K)。在示例中，过程200可以设置用于确定驾驶员是否被认为处于暂时无意识状态222的第一标准(或阈值)232(例如，驾驶员进入状态222的次数大于或等于I)、用于确定驾驶员是否被认为处于无意识状态224 5的第二标准(或阈值)234(例如，驾驶员进入状态224的次数大于或等于J)，以及用于确定驾驶员是否被认为处于回路外状态226的第三标准(或阈值)236(例如，驾驶员进入状态226的次数大于或等于K)。在示例中，值I、J和K可以表示在所选择的特定持续时间期间相应驾驶员意识状态的最大可接受转移次数。在示例中，当在所选择的特定持续时间期间满足标准232、234和236中的一个或多个时，过程200可以移动到状态240。在示例中，持续时间N和标准232、234和236可以是可编程的。在示例中，阈值I、J和K可以相似或不同。在示例中，阈值I、J和K可以基于特定驾驶员的简档来设置。在示例中，当HMIM 104获知特定驾驶员的行为(例如，扫视行为)分布时，可以修改标准232、234和236。
在状态240中，过程200可以通知驾驶员接管车辆的操作并将车辆推进力降低到被认为安全的特定速度(例如，5kph)。然后过程200可以移动到状态204，在状态204中ADAS特征保持不准备激活，直到驾驶员采取特定动作(例如，循环点火开关)。
参照图4，示出了例示根据本公开的示例实施例的***100的实施方案的示意图。在示例中，装置(或***)100可以完全安装在车辆50内，或者至少部分安装在车辆50内。在示例中，***(或装置)100可以被实施为高级驾驶员辅助***(ADAS)电子控制单元(ECU)90的一部分。在各种实施例中，实施驾驶员注意力估计器(DAE)的***100可以被实施在车辆50的ADAS ECU 90内。ADAS ECU 90可以连接到车辆50的车辆平台92。车辆50可以包括驾驶员监视***(DMS)94、人机界面(HMI)96、前视摄像头(FLC)250、多个角雷达传感器252a-252d、多个前侧雷达传感器(未示出)、前视雷达(FLR)传感器254、高清(HD)地图接收器260、全球导航卫星***(GNSS)接收器262和惯性测量单元(IMU 652)。在一些实施例中，车辆50也可以包括LIDAR传感器和/或声纳传感器(未示出)。
前视摄像头(FLC)250通常用于检测和识别车辆50前方的对象和道路特征。在示例中，前视摄像头(FLC)250可以被配置为提供具有100度视场(FOV)的立体视觉。在示例中，前视摄像头(FLC)250可以用于检测道路标记(例如，车道标记等)、路标、交通灯、构筑物等。角雷达传感器252a-252d和前视雷达(FLR)传感器254(以及LIDAR和/或声纳传感器，当存在时)通常用于检测和跟踪对象。在示例中，每个角雷达传感器252a-252d可以具有140度FOV。在示例中，前视雷达传感器(FLR)254可以具有两个FOV，用于远程感测的18度FOV和用于短程感测的90度FOV。IMU 264通常报告朝向、角速度和加速度以及作用在车辆50上的力。
在示例中，DMS 94、HD地图接收器260、GNSS接收器262、FLC 250、FCR 252a-252b和FLR 254可以连接到***90。在示例中，DMS 94、HD地图接收器260、GNSS接收器262、FLC250、FCR 252a-252b和FLR 254可以经由车辆50的一个或多个车辆总线连接至***90。在另一个示例中，DMS 94、HD地图接收器260、GNSS接收器262、FLC 250、FCR252a-252b和FLR 254可以经由无线协议连接到***90。在示例中，DMS 94可以向***90传送驾驶员专注信息。FLC 250可以向***90传送周围道路信息(例如，车道宽度、标记类型、车道标记交叉指示和视频)。GNSS接收器262可以向***90传送位置数据(例如，纬度值、经度值、调整信息和置信度信息)。HD地图接收器260可以向***90传送地图数据。
FLC 250可以实施光学传感器。在各种实施例中，FLC 250可以是光学摄像头。FLC250通常可操作向***90提供周围道路信息(或图像数据)。道路信息可以包括但不限于车道宽度数据、标记类型数据、车道变化指示符和FLC 250视野内车辆50前方道路的视频。在各种实施例中，FLC 250可以是彩色摄像头。彩色可以用于区分黄实线车道标记(例如，最左侧车道标记)和白实线车道标记(例如，最右侧车道标记)。在各种实施例中，FLC 250可以提供FLC 250的视野中心的至少当前车道的估计车道宽度。在一些实施例中，FLC 250可以提供与中心车道相邻的车道的估计车道宽度。在其他实施例中，FLC 250可以提供FLC 250视野内所有车道的估计车道宽度。车道宽度可以使用在FLC 250中实施的标准图像识别方法和标准分析方法来确定。FLC 250还可以识别FLC 250视野内的所有车道标志。当FLC 250越过车道标志时，FLC 250可以通知***90正在发生车道变更。可以使用在FLC 250中实施的标准图像识别方法和标准分析方法来确定对车道标志和车道变化的识别。FLC 250可以经由车辆总线或无线协议将道路信息传送至***90。
一个或多个其他类型的传感器可以与FLC 250结合使用。示例传感器可以包括但不限于雷达传感器、光探测和测距(LiDAR)传感器、惯性传感器、热成像传感器和/或声学传感器。传感器中的一些可以检测路边的对象，以提供对道路的左边界和右边界的估计。根据左边界和右边界，可以计算道路的宽度。根据计算出的宽度，可以基于标准车道宽度来估计该宽度内可能适合多少车道。此后，传感器可以基于车辆50上的传感器到道路的左边界和右边界的相对距离以及估计的车道数量来估计车辆50占据的当前车道。传感器可以基于车道的估计数量和到左边界和/或右边界的相对距离的变化来确定车道交叉。
***90可以实施控制电路(例如，电子控制单元)。***90通常可操作以保持对车辆50占据的当前车道的跟踪，并将车辆50的当前位置校正到当前车道的中心。跟踪可以基于GNSS接收器262中接收的卫星位置数据、从HD地图接收器260接收的地图数据以及在来自FLC 250的视觉检测中接收的道路信息和从FCR 252a-252b和FLR 254接收的雷达检测。卫星位置数据可以包括调整值和对应的置信度值。
GNSS接收器262可以实施卫星导航设备。在各种实施例中，GNSS接收器262可以包括全球定位***(GPS)接收器。可以实施其他类型的卫星导航设备来满足特定应用的设计标准。GNSS接收器262通常可操作以基于从多个卫星接收的GNSS信号提供车辆50的纬度数据和经度数据。GNSS接收器262还可以可操作以基于调整值和从***90接收的对应的置信度值来调整纬度数据和经度数据。置信度值可以具有从零(例如，不可靠)到一(例如，可靠)的范围。如果置信度值高于高阈值(例如，>0.7)，GNSS接收器262可以根据调整值校正纬度数据和经度数据。如果置信度值低于低阈值(例如，<0.3)，GNSS接收机262可以忽略调整值。如果置信度值在高阈值和低阈值之间，GNSS接收器262可以对纬度数据和经度数据两者进行校正，该校正是基于置信度的线性加权。
HD地图接收器260可以实施射频接收器。HD地图接收器260可以可操作以从天线(未示出)接收地图数据。地图数据可以被转换成数字形式并呈现给***90。
参照图5，示出了例示可接受和不可接受的驾驶员专注的示例标准的示意图。在示例中，曲线图300示出了表示可接受的驾驶员意识分布的曲线302和表示不可接受的驾驶员注意力分布的曲线304。在示例中，曲线302通常表示为特定人群提供期望可控性的扫视分布。曲线304通常表示没有为特定人群提供期望的可控性的扫视分布。
在示例中，注意力监视器102通常实施驾驶员意识等级升级机制，该机制可以经由HMI 96以多个不同等级(例如，306、308和310)生成警告，并检测与短期共享视觉注意力相关的注意力不足(例如，参与次要任务)。在示例中，注意力监视器102可以在短时间段内观察驾驶员扫视行为以确定意识等级。在示例中，如果在短时间段内(例如，几秒钟)驾驶员50％的时间眼睛离开道路，或者在更长时间段内(例如，短时间的4-5倍)驾驶员30％的时间眼睛离开道路，注意力监视器102可以指示驾驶员是无意识的。在示例中，注意力监视器102可以生成三个不同等级的警告：暂时无意识、无意识、回路外。然而，可以实施其他数量的等级来满足特定应用的设计标准。
在示例中，多个警告可以包括但不限于听觉和视觉提醒、触觉提醒(例如，座椅振动)、上手、减少推进力、接管请求和减速进入安全停止。在示例中，对于暂时无意识等级，注意力监视器102可以生成警告306，警告306包括听觉和视觉提醒。对于无意识等级，注意力监视器102可以生成警告308，警告308包括听觉和视觉提醒加上座椅振动、上手和减小推进力。对于回路外等级，注意力监视器102可以生成警告310，警告310包括听觉和视觉提醒、座椅振动、动手、推进力减小、加上接管请求以及将车辆减速到安全停止。
在示例中，HMIM 104通常跟踪注意力监视器102的输出，注意力监视器102通常提供驾驶员的不专注等级，如x轴上所示的。如果在任何时候，扫视分布从为特定人群提供期望的可控性的扫视分布(例如，曲线302)变为不为特定人群提供期望的可控性的扫视分布(例如，曲线304)，则HMIM 104可以断言控制并指示驾驶员“不足够专注”，即使注意力监视器102在该时刻说驾驶员是有意识的。HMIM 104和注意力监视器102通常在不同的时间范围内运行。
参照图6，示出了例示根据本公开实施例的HMIM***的示例操作的图。在示例中，注意力监视器102可以被配置为呈现具有指示驾驶员的眼睛注视道路的第一状态和指示驾驶员的眼睛离开道路的第二状态的信号。在示例中，HMIM 104可以被配置为当注意力监视器102在特定时间段(例如，15分钟)期间输出不专注的状态时，捕获并增加(或计数或累积)不专注的状态(例如，暂时无意识、无意识和回路外)。在所例示的示例中，驾驶员在有意识状态和暂时无意识状态之间来回切换。每次驾驶员进入暂时无意识状态时，HMIM 104记录注意力不集中事件的事件(例如，通过增加每个不专注状态的转移次数的计数)。一旦HMIM104在分钟时间窗口内捕获(累积)六次事件(转移)，HMIM 104将控制转移回驾驶员并使车辆进入安全停止模式。在示例中，驾驶员在分钟时间窗口内进入无意识状态三次或进入回路外状态一次也可能触发类似的结果。
参照图7-13，示出了例示根据本公开实施例的驾驶员和驾驶员注意力估计***之间的示例交互的示意图。在示例中，HMIM 104可以如上文结合图6所描述的进行配置。在示例中，HMIM 104可以被配置为使用十五分钟的时间段(监视持续时间)来监视注意力监视器102的输出。在示例中，HMIM 104可以被配置为响应于在15分钟时间窗口内捕获到驾驶员暂时无意识的六个事件，将控制转移回驾驶员并使车辆进入安全停止模式。在15分钟时间窗口内，驾驶员三次进入无意识状态或一次进入回路外状态也可以触发类似的后果。
参照图7，示出了例示HMIM 104捕获驾驶员在15分钟时间窗口内暂时无意识的第一次事件的示意图。示出的图片500a和图片500b例示了从驾驶员的视角观察的车辆驾驶舱内的视图。显示器502a例示了HMIM 104使用的标准的当前状态，以确定在任何不专注事件之前是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504a示出了指示驾驶员的注意力指向何处。在示例中，驾驶员在高速公路上使用激活ADAS特征放手驾驶。驾驶员的注意力朝向前方的道路。注意力监视器102没有报告任何从有意识状态到暂时无意识、无意识或回路外状态的转移。
在图片500b中，显示器502b例示了HMIM 104使用的标准的当前状态，以确定在进入15分钟时间窗口的四分钟处驾驶员被注意力监视器102标记为暂时无意识的第一次事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504b示出了指示当注意力监视器102将驾驶员标记为暂时无意识时驾驶员的注意力指向何处。在示例中，驾驶员接收到文本消息，并且驾驶员的注意力从前方道路移动到电话。HMI 96警告驾驶员注意道路。HMIM104将暂时无意识标准增加一个事件。
参照图8，示出了例示HMIM 104捕获驾驶员在15分钟时间窗口内暂时无意识的第二次事件的示意图。示出的图片500c和图片500d例示了从驾驶员的视角观察的车辆驾驶舱内的视图。显示器502c示出了HMIM 104使用的标准的当前状态，以确定在进入15分钟窗口的四分钟处的第一次不专注事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504c示出了指示驾驶员的注意力指向何处。在示例中，驾驶员服从了注意力请求。驾驶员在高速公路上保持激活ADAS特征的情况下放手驾驶。驾驶员的注意力是朝向前方的道路。
在图片500d中，显示器502d例示了HMIM 104所使用的标准的当前状态，以确定在进入15分钟时间窗口的六分钟处驾驶员被注意力监视器102标记为暂时无意识的第二次事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504d示出了指示当注意力监视器102将驾驶员标记为暂时无意识时驾驶员的注意力指向何处。在示例中，驾驶员接收到另一条文本消息，并且驾驶员的注意力从前方道路移动到电话。HMI 96警告驾驶员注意道路。HMIM 104将暂时无意识标准增加一个事件到总共两个事件。
参照图9，示出了例示HMIM 104捕获驾驶员在15分钟时间窗口内暂时无意识的第三次事件的示意图。示出的图片500e和图片500f例示了从驾驶员的视角观察的车辆驾驶舱内的视图。显示器502e示出了HMIM 104使用的标准的当前状态，以确定在进入15分钟窗口的六分钟处的第二次不专注事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504e示出了指示驾驶员的注意力指向何处。在示例中，驾驶员服从了注意力请求。驾驶员在高速公路上保持激活ADAS特征的情况下放手驾驶。驾驶员的注意力再次朝向前方的道路。
在图片500f中，显示器502f例示了HMIM 104所使用的标准的当前状态，以确定在进入15分钟时间窗口的十分钟处驾驶员被注意力监视器102标记为暂时无意识的第三次事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504f示出了指示当注意力监视器102将驾驶员标记为暂时无意识时驾驶员的注意力指向何处。在示例中，驾驶员在车辆的手套箱中寻找物品时变得分心。HMI 96警告驾驶员注意道路。HMIM 104将暂时无意识标准增加一个事件到总共三个事件。
参照图10，示出了例示HMIM 104捕获驾驶员在15分钟时间窗口内暂时无意识的第四次事件的示意图。示出的图片500g和图片500h例示了从驾驶员的视角观察的车辆驾驶舱内的视图。显示器502g示出了HMIM 104使用的标准的当前状态，以确定在进入15分钟窗口的十分钟处的第三次不专注事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504g示出了指示驾驶员的注意力指向何处。在示例中，驾驶员服从了注意力请求。驾驶员在高速公路上保持激活ADAS特征的情况下放手驾驶。驾驶员的注意力再次朝向前方的道路。
在图片500h中，显示器502h例示了HMIM 104所使用的标准的当前状态，以确定在进入15分钟时间窗口的第十二分钟处驾驶员被注意力监视器102标记为暂时无意识的第四次事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504h示出了指示当注意力监视器102将驾驶员标记为暂时无意识时驾驶员的注意力指向何处。在示例中，驾驶员在车辆的手套箱中寻找物品时变得分心。HMI 96警告驾驶员注意道路。HMIM 104将暂时无意识标准增加一个事件到总共四个事件。
参照图11，示出了例示HMIM 104捕获驾驶员在15分钟时间窗口内暂时无意识的第五次事件的示意图。示出的图片500i和图片500j例示了从驾驶员的视角观察的车辆驾驶舱内的视图。显示器502i示出了HMIM 104使用的标准的当前状态，以确定在进入15分钟窗口的十二分钟处的第四次不专注事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504i示出了指示驾驶员的注意力指向何处。在示例中，驾驶员服从了注意请求。驾驶员在高速公路上保持激活ADAS特征的情况下放手驾驶。驾驶员的注意力再次朝向前方的车道。
在图片500j中，显示器502j例示了HMIM 104所使用的标准的当前状态，以确定在进入15分钟时间窗口的十三分钟处驾驶员被注意力监视器102标记为暂时无意识的第五次事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504j示出了指示当注意力监视器将驾驶员标记为暂时无意识时驾驶员的注意力指向何处。在示例中，驾驶员向车辆窗外看车辆经过的风景变得分心。HMI 96警告驾驶员注意道路。HMIM 104将暂时无意识标准增加一个事件到总共五个事件。
参照图12，示出了例示HMIM 104捕获驾驶员在15分钟时间窗口内暂时无意识的第六次事件的示意图。示出的图片500k和图片500l例示了从驾驶员的视角观察的车辆驾驶舱内的视图。显示器502k例示了HMIM 104使用的标准的当前状态，以确定在进入15分钟窗口的十三分钟处的第五次不专注事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504k示出了指示驾驶员的注意力指向何处。在示例中，驾驶员服从了注意力请求。驾驶员在高速公路上保持激活ADAS特征的情况下放手驾驶。驾驶员的注意力朝向前方的道路。
在图片500l中，显示器502l例示了HMIM 104所使用的标准的当前状态，以确定在进入15分钟时间窗口的十五分钟处驾驶员被注意力监视器102标记为暂时无意识的第六次事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504l示出了指示当注意力监视器102将驾驶员标记为暂时无意识时驾驶员的注意力指向何处。在示例中，驾驶员接到电话呼叫，并且驾驶员的注意力从前方道路移动到电话。HMI 96警告驾驶员注意道路。HMIM104将暂时无意识标准增加一个事件到总共六个事件。
参照图13，示出了例示在15分钟时间窗口内捕获驾驶员暂时无意识的第六次事件之后的HMIM 104的示意图。示出的图片500m例示了从驾驶员的视角观察的车辆驾驶舱内的视图。显示器502m例示了HMIM 104使用的标准的当前状态，以确定在二十分钟处的第六次不专注事件后是否将控制转移回驾驶员并使车辆进入安全停止模式。圆504m示出了指示驾驶员的注意力指向何处。在示例中，HMIM 104将控制转移回驾驶员，并响应于驾驶员在15分钟时间段内的六次不专注事件而安全地中断ADAS特征。HMI 96警告驾驶员控制车辆。车辆开始减速至5kph。
通常，当HMIM 104确定出问题时，HMIM 104请求驾驶员接管车辆的操作并安全地中断自动特征。因为在高速下中断自动特征的活动也可能是不安全的，特别是当已知驾驶员无意识时，HMIM 104可以使用HMI 96呈现驾驶员接管车辆操作的请求。在示例中，HMIM104可以通过在完全中断协作操作之前将自动特征的操作缓慢降级到安全状态(例如，减速到安全速度和/或安全停止)来促进安全转移。然而，可以实施用于停止协作操作的其他策略来满足特定情况或应用的设计标准。
参照图14，示出了例示根据本发明示例性实施例的实施高级驾驶员辅助***(ADAS)特征控制***的电子控制模块的示意图。在示例中，装置800可以实施电子控制单元或模块(ECU)。在示例中，电子控制模块(ECU)800可以被实施为域控制器(DC)。在另一个示例中，ECU 800可以被实施为主动安全域主机(ASDM)。在各种实施例中，ECU 800可以被配置为控制车辆的ADAS部件的一个或多个特征(或功能)的激活。在各种实施例中，驾驶员注意力估计器100可以被实施在ECU 800内。在示例中，ECU 800可以连接到车辆平台92、驾驶员监视***(DMS)94、人机界面(HMI)96、电路802(可以实施电子总线)以及车辆的地图和传感器804。在示例中，ECU 800可以被配置为(i)从车辆***接收信号车辆速度、停用请求、激活请求和驾驶员信息，并将信号减速请求和驾驶员警告通信给车辆***。
在示例中，ECU 800可以连接到块(或电路)802。电路802可以实施电子总线。电路802可以被配置为在ECU 800和车辆平台92、DMS 94、HMI 96以及地图和传感器804(例如，HD地图接收器260、GNSS接收器262、前视摄像头(FLC)250、角/侧雷达传感器252a-252n、前视雷达(FLR)传感器254和惯性测量单元264)之间传输数据。在一些实施例中，电路802可以被实施为车辆控制器局域网(CAN)总线。电路802可以被实施为电子有线网络和/或无线网络。通常，电路802可以连接车辆50的一个或多个部件以实现数字信号形式(例如，串行总线、通过线路和/或接口连接的电子总线、无线接口等)的信息共享。
ECU 800通常包括块(或电路)820、块(或电路)822、块(或电路)824、块(或电路)826和块(或电路)828。电路820可以实施处理器。电路822可以实施通信端口。电路824可以实施滤波器。电路826可以实施时钟。电路828可以实施存储器。可以实施其他块(未示出)(例如，I/O端口、电源连接器、接口等)。由模块800实施的电路的数量和/或类型可以根据特定实施方案的设计标准而变化。
电路820可以被实施为微控制器、多线程微处理器或其任意组合。电路820可以包括实施注意力监视器102的块(或电路)、实施人机交互监视器104的块(或电路)和/或实施模式管理器106的块(或电路)。电路820可以包括其他组件(未示出)。在一些实施例中，电路820可以是实施处理功能的组合(例如，集成)芯片组。在一些实施例中，电路820可以包括多个独立的电路(例如，微控制器、多线程微处理器、数字信号处理器(DSP)、图形处理单元(GPU)等)。电路820的设计和/或电路820的各种部件的功能可以根据特定实施方案的设计标准而变化。电路820被示出向车辆平台92、电路822和/或电路828发送数据和/或从车辆平台92、电路822和/或电路828接收数据。
电路828可以包括块(或电路)860和块(或电路)862。块860可以存储驾驶员意识(或注意力)估计器(DAE)数据。块862可以存储计算机可读指令(例如，电路820可读的指令)。DAE数据860可以存储各种数据集870a-870n。例如，数据集870a-870n可以包括到暂时无意识状态870a的转移计数、到无意识状态870b的转移计数、到回路外状态870c的转移计数、长期扫视分布870d、驾驶员信息870e和/或其他数据870n。
在示例中，其他数据870n可以包括用于变换从传感器(例如，FLC、FLR、FCR、FCS和IMU)接收的数据的参数(例如，系数)。校准数据870n可以提供多组系数(例如，传感器中的每一个一组系数)。校准数据870n可以是可更新的。例如，校准数据870n可以存储当前值作为传感器的系数，并且随着来自传感器漂移的数据，模块800可以更新校准数据870n以保持准确性。校准数据870n的格式可以基于特定实施方案的设计标准而变化。
各种其他类型的数据(例如，其他数据870n)可以存储为DAE数据860的一部分。例如，其他数据870n可以存储多个驾驶员的扫视分布。例如，其他数据870n可以存储校准数据的过去数据值和/或校准数据的当前数据值。可以比较校准数据的过去和当前数据值，以确定用于外推和/或预测校准数据的潜在未来值的趋势。
电路820可以被配置为执行存储的计算机可读指令(例如，存储在电路828中的指令862)。电路820可以基于存储的指令862执行一个或多个步骤。在示例中，指令862的步骤可以由电路820执行/实施，并且可以实施注意力监视器102、人机交互监视器104和模式管理器106中的一个或多个。由电路820执行的指令和/或指令862的顺序可以根据特定实施方案的设计标准而变化。
电路822可以允许模块800与外部装置(诸如地图和传感器804、车辆平台92、驾驶员监视***94和人机界面96)通信。例如，模块800被示出连接到外部电路802。在示例中，来自模块800的信息可以被传送到信息娱乐设备以显示给驾驶员。在另一示例中，到便携式计算设备(例如，智能电话、平板计算机、笔记本计算机、智能手表等)的无线连接(例如，Wi-Fi、蓝牙、蜂窝等)可以允许来自模块800的信息显示给用户。
电路824可以被配置为执行线性二次估计。例如，电路824可以实施卡尔曼滤波器。通常，电路824可以对输入数据递归操作以产生统计最优估计。例如，电路824可以用于计算位置坐标870a和/或估计位置坐标870a的准确度。在一些实施例中，电路824可以被实施为单独的模块。在一些实施例中，电路824可以被实施为电路828的一部分(例如，存储的指令862)。电路824的实施方案可以根据特定实施方案的设计标准而变化。
电路826可以被配置为确定和/或跟踪时间。由电路826确定的时间可以存储为时间戳数据870c。在一些实施例中，电路826可以被配置为比较从GNSS接收器接收的时间戳。
模块800可以被配置为芯片组、片上***(SoC)和/或分立器件。例如，模块800可以被实施为电子控制单元(ECU)。在一些实施例中，模块800可以被配置为控制一个或多个ADAS特征/功能的激活。
鉴于HMI警告消息上缺乏现有技术状态的ASIL，根据本公开的实施例的HMIM 104的根本目的是提供监视功能，该监视功能确保监督驾驶员对可能的危险事件的足够可控性。在示例中，HMIM 104可以通过确保驾驶员参与来实现足够的可控性。在示例中，HMIM104可以通过监视扫视分布模式作为注意力的测量来确保驾驶员参与。在各种实施例中，可以实施HMIM 104的一些示例功能迭代来减轻决策期间的假阳性。
在一个示例中，HMIM 104可以检查HMI警告前后的眼睛扫视变化量，以确定警告是否被通信给驾驶员并防止对HMI消息的忽视。例如，HMIM 104可以订阅来自驾驶员监视***94的摄像头的实时指示“眼睛注视道路”的信号。指示“眼睛注视道路”的信号可用作反馈，以快速评估每次升级警告后扫视分布是否有改善。如果没有，HMIM 104可以适当地进行故障保护。
在另一个示例中，当注意力监视器102报告驾驶员处于“有意识”状态的持续时间比预期的长时，HMIM 104可以有意地尝试将驾驶员的眼睛暂时从道路上移开，以防止DMS94的摄像头和注意力监视器注意力水平的假阳性。当报告驾驶员在较长的持续时间内“有意识”时，HMIM 104可以发送定向提示以将驾驶员的注意力从道路上转移开(当通过从车载传感器、GNSS、HD地图等订阅环境信息来判断这样做是安全的时)并验证前端信号链(例如，DMS 94、注意力监视器102等)是否检测到转移的注意力。如果没有，HMIM 104可以适当地进行故障保护。
在另一个示例中，其他驾驶舱传感信息可以集成到HMIM 104中作为输入，以形成整体驾驶员状态估计。除了眼睛注视道路信息之外，HMIM 104可以订阅方向盘上的手、踏板信息、座椅传感器、安全带状态等以形成整体驾驶员状态估计模型。HMIM 104可以利用来自这些输入中的每一个的反馈来检测和减轻不专注。
在又一示例中，HMIM 104可以利用基于人工智能/机器学习(AI/ML)的非确定性算法来开发，以对每个个体驾驶员的驾驶员专注简档建立基线，并对照特定驾驶员的基线来跟踪不专注。在各种实施例中，每个车辆可以实施通用HMIM 104，该通用HMIM 104可以通过跟踪和学习驾驶员的不专注简档来随着时间自定义自身，这是通过对照手动驾驶期间相同驾驶员的扫视分布建立驾驶员的不专注简档基线。然后，当不专注超过先前手动驾驶期间记录的阈值时，可以标记监督驾驶期间的不专注。
术语“可以”和“通常”在本文中与“是(is/are)”和动词结合使用时旨在通信这样的意图，即该描述是示例性的，并且被认为足够宽泛以涵盖本公开中呈现的特定示例以及基于本公开可以导出的替代示例两者。本文中使用的术语“可以”和“通常”不应被解释为必然暗示省略对应元素的期望或可能性。
当在本文中使用时，各种部件、模块和/或电路的名称为“a”-“n”时，公开单个部件、模块和/或电路或者多个这样的部件、模块和/或电路，其中名称“n”应用于意指任何特定的整数。各自具有名称“a”-“n”的实例(或存在的事物)的不同部件、模块和/或电路可以指示不同部件、模块和/或电路可以具有匹配数量的实例或不同数量的实例。指定为“a”的实例可以表示多个实例中的第一个，实例“n”可以指多个实例中的最后一个，但并不暗示特定数量的实例。
虽然已经具体示出和描述了示例实施例，但是在不脱离本公开的范围的情况下，可以进行形式和细节上的各种改变。

Claims (20)

1.一种装置，包括：
接口，被配置为从车辆的车辆平台接收多个传感器信号，并向所述车辆平台呈现一个或多个控制信号；以及
控制电路，被配置为(i)在具有第一持续时间的第一窗口期间，响应于来自所述车辆平台的所述多个传感器信号中的一个或多个，检测驾驶员的注意力状态是处于专注状态还是不专注状态，(ii)通过监视来自所述车辆平台的所述多个传感器信号中的所述一个或多个，并确定在具有比所述第一持续时间更长的第二持续时间的第二窗口期间，所述驾驶员的所述注意力状态的变化是否超过阈值，来评估所述驾驶员是否足够专注，以及(iii)当超过所述阈值时，将所述车辆的操作转移给所述驾驶员并安全地中断所述车辆的自动***功能。
2.根据权利要求1所述的装置，其中，所述控制电路包括驾驶员注意力估计器，被配置为(i)生成通信在具有所述第一持续时间的所述第一窗口期间所述驾驶员的所述注意力状态的第一控制信号，以及(ii)生成通信对所述驾驶员是否对所述自动***功能足够专注以安全地继续操作所述车辆的评估的第二控制信号。
3.根据权利要求2所述的装置，其中，所述驾驶员注意力估计器包括：
注意力监视器，被配置为确定在具有所述第一持续时间的所述第一窗口期间所述驾驶员的所述注意力状态，并生成所述第一控制信号；以及
人机交互监视器，被配置为生成对在具有所述第二持续时间的所述第二窗口期间所述驾驶员是否足够专注的评估，并生成所述第二控制信号。
4.根据权利要求3所述的装置，其中，所述人机交互监视器还被配置为评估所述车辆的人机界面是否与所述驾驶员成功通信。
5.根据权利要求3所述的装置，其中，所述人机交互监视器还被配置为确定所述驾驶员是否在游玩所述注意力监视器。
6.根据权利要求3所述的装置，其中，所述人机交互监视器还被配置为监视所述注意力监视器的多个驾驶员意识状态。
7.根据权利要求6所述的装置，其中，所述注意力监视器的所述多个驾驶员意识状态包括有意识状态、暂时无意识状态、无意识状态和回路外状态中的一个或多个。
8.根据权利要求6所述的装置，其中，所述人机交互监视器还被配置为对所述注意力监视器的所述多个驾驶员意识状态中的每一个使用相应的阈值。
9.根据权利要求8所述的装置，其中，所述注意力监视器的所述多个驾驶员意识状态中的每一个的所述相应的阈值是可编程的。
10.根据权利要求8所述的装置，其中，所述注意力监视器的所述多个驾驶员意识状态中的每一个的所述相应的阈值包括在具有所述第二持续时间的所述第二窗口期间从所述有意识状态到对应的驾驶员意识状态的最大可接受转移次数。
11.根据权利要求8所述的装置，其中，所述人机交互监视器还被配置为通过跟踪和学习所述驾驶员的不专注简档来随时间自定义自身。
12.根据权利要求11所述的装置，其中，所述人机交互监视器还被配置为通过对照手动驾驶期间所述驾驶员的扫视分布建立所述驾驶员的所述不专注简档的基线来学习所述驾驶员的所述不专注简档。
13.根据权利要求3所述的装置，其中，所述控制电路还包括特征模式管理器，被配置为在未超过所述阈值时激活或维持所述车辆的所述自动***的操作，并且在超过所述阈值时将所述车辆的操作从所述自动***安全地转移给所述驾驶员。
14.根据权利要求13所述的装置，其中，所述特征模式管理器被配置为经由所述车辆的人机界面向所述驾驶员发送警告以接管所述车辆的控制，并且通过向所述车辆平台生成减速请求来降低所述自动***的自动驾驶功能的性能。
15.一种控制车辆的自动***功能的方法，包括：
从车辆的车辆平台接收多个传感器信号；
在具有第一持续时间的第一窗口期间，响应于来自所述车辆平台的所述多个传感器信号中的一个或多个，检测驾驶员的注意力状态是处于专注状态还是不专注状态；
通过监视来自所述车辆平台的所述多个传感器信号中的所述一个或多个，并确定在具有比所述第一持续时间更长的第二持续时间的第二窗口期间，所述驾驶员的所述注意力状态的变化是否超过阈值，来评估所述驾驶员是否足够专注；以及
当超过所述阈值时，将所述车辆的操作转移给驾驶员并安全地中断所述车辆的所述自动***功能。
16.根据权利要求15所述的方法，还包括使用所述车辆的电子控制单元的驾驶员注意力估计器来(i)生成通信在具有所述第一持续时间的所述第一窗口期间所述驾驶员的所述注意力状态的第一控制信号，以及(ii)生成通信对所述驾驶员是否对所述自动***功能足够专注以安全地继续操作所述车辆的评估的第二控制信号。
17.根据权利要求16所述的方法，其中，所述驾驶员注意力估计器包括：
注意力监视器，被配置为确定在具有所述第一持续时间的所述第一窗口期间所述驾驶员的所述注意力状态，并生成所述第一控制信号；
以及人机交互监视器，被配置为生成对在具有所述第二持续时间的所述第二窗口期间所述驾驶员是否足够专注的评估，并生成所述第二控制信号。
18.根据权利要求17所述的方法，还包括使用所述人机交互监视器来评估所述车辆的人机界面是否与所述驾驶员成功通信。
19.根据权利要求17所述的方法，其中，所述人机交互监视器还被配置为：
监视所述注意力监视器的多个驾驶员意识状态；以及
为所述注意力监视器的所述多个驾驶员意识状态中的每一个使用相应的阈值。
20.根据权利要求19所述的方法，其中，所述注意力监视器的所述多个驾驶员意识状态中的每一个的所述相应的阈值包括在具有所述第二持续时间的所述第二窗口期间从所述有意识状态到对应的驾驶员意识状态的最大可接受转移次数。
CN202280066095.XA 2021-10-04 2022-09-22 人机交互监视器 Pending CN118043251A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/493,144 2021-10-04
US17/493,144 US11912313B2 (en) 2021-10-04 2021-10-04 Human machine interaction monitor
PCT/US2022/044402 WO2023059444A1 (en) 2021-10-04 2022-09-22 Human machine interaction monitor

Publications (1)

Publication Number Publication Date
CN118043251A true CN118043251A (zh) 2024-05-14

Family

ID=84331183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280066095.XA Pending CN118043251A (zh) 2021-10-04 2022-09-22 人机交互监视器

Country Status (3)

Country Link
US (1) US11912313B2 (zh)
CN (1) CN118043251A (zh)
WO (1) WO2023059444A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661345B1 (en) 1999-10-22 2003-12-09 The Johns Hopkins University Alertness monitoring system
DE102008056343A1 (de) * 2008-11-07 2010-05-12 Bayerische Motoren Werke Aktiengesellschaft Warnsystem für ein Kraftfahrzeug
DE102009041187A1 (de) 2009-08-13 2011-02-17 Volkswagen Ag Verfahren und Vorrichtung zur Adaption von Parametern eines Fahrerassistenzsystems
US9235987B2 (en) 2011-11-17 2016-01-12 GM Global Technology Operations LLC System and method for closed-loop driver attention management
KR101736306B1 (ko) 2013-02-27 2017-05-29 한국전자통신연구원 차량과 운전자간 협력형 자율 주행 장치 및 방법
US10241509B1 (en) * 2014-11-13 2019-03-26 State Farm Mutual Automobile Insurance Company Autonomous vehicle control assessment and selection
US9956963B2 (en) * 2016-06-08 2018-05-01 GM Global Technology Operations LLC Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels
US10948911B2 (en) * 2017-10-31 2021-03-16 Denso International America, Inc. Co-pilot
US11237554B2 (en) * 2018-03-08 2022-02-01 Steering Solutions Ip Holding Corporation Driver readiness assessment system and method for vehicle
EP3640109A1 (en) 2018-10-17 2020-04-22 Volvo Car Corporation System and method for detecting and/or preventing automation expectation mismatch in vehicle
EP3730331B1 (en) * 2019-04-26 2023-03-08 Zenuity AB Method and device for controlling a driver assistance
US11447139B2 (en) 2019-12-20 2022-09-20 Panasonic Intellectual Property Management Co., Ltd. Driving assistance apparatus

Also Published As

Publication number Publication date
WO2023059444A1 (en) 2023-04-13
US11912313B2 (en) 2024-02-27
US20230106487A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
US11511752B2 (en) Method and system for risk based driving mode switching in hybrid driving
US11609566B2 (en) Method and system for driving mode switching based on self-aware capability parameters in hybrid driving
US11813983B2 (en) Method and system for augmented alerting based on driver&#39;s state in hybrid driving
EP2564765B1 (en) System and method for improving a performance estimation of an operator of a vehicle
WO2019122967A1 (en) Method and system for risk based driving mode switching in hybrid driving
CN118043251A (zh) 人机交互监视器
WO2019122968A1 (en) Method and system for risk control in switching driving mode
KR20240069735A (ko) 휴먼 머신 상호작용 모니터
US20230192100A1 (en) Awareness checker for enhancing collaborative driving supervision
CA3083411C (en) Method and system for adapting augmented switching warning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination