CN114771559A - 一种车辆的人机交互方法、装置和*** - Google Patents

一种车辆的人机交互方法、装置和*** Download PDF

Info

Publication number
CN114771559A
CN114771559A CN202210677459.XA CN202210677459A CN114771559A CN 114771559 A CN114771559 A CN 114771559A CN 202210677459 A CN202210677459 A CN 202210677459A CN 114771559 A CN114771559 A CN 114771559A
Authority
CN
China
Prior art keywords
driver
state
vehicle
human
computer interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210677459.XA
Other languages
English (en)
Inventor
张峥
胡益波
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202210677459.XA priority Critical patent/CN114771559A/zh
Publication of CN114771559A publication Critical patent/CN114771559A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车辆的人机交互方法、装置和***，其中，人机交互方法包括在车辆处于自动驾驶状态时，检测驾驶员状态和车辆的接管请求状态，其中，接管请求状态表征请求驾驶员接管车辆的紧急程度；将检测得到的驾驶员状态和接管请求状态作为目标组合，并确定目标组合对应的目标人机交互策略，其中，驾驶员状态和接管请求状态的不同组合有分别对应的人机交互策略；及按照目标人机交互策略，控制车辆上的人机交互设备工作，以提醒驾驶员接管车辆。可以提高车辆行驶的安全性。

Description

一种车辆的人机交互方法、装置和***
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种车辆的人机交互方法、装置和***。
背景技术
当前，根据不同的自动化程度，车辆的自动驾驶***可以被分为L1至L5共5个等级。其中，L3级自动驾驶***为有条件自动驾驶。当车辆的L3级自动驾驶***启动之后，若驾驶环境的条件满足自动驾驶***的设计运行环境，自动驾驶***可以自动完成对驾驶环境中目标和事件的探测及响应。而在驾驶环境的条件不满足自动驾驶***的设计运行环境时，例如车辆行进过程中，遭遇大暴雨天气，导致车辆的视觉感知***无法准确识别前方目标物体时，自动驾驶***会提醒驾驶员接管车辆。
发明内容
有鉴于此，本发明实施方式提供了一种车辆的人机交互方法、人机交互装置、人机交互***和计算机可读存储介质，可以提高车辆行驶的安全性。
本发明一方面提供了一种车辆的人机交互方法，所述方法包括：
在车辆处于自动驾驶状态时，检测驾驶员状态和所述车辆的接管请求状态，其中，所述接管请求状态表征请求驾驶员接管所述车辆的紧急程度；
将检测得到的所述驾驶员状态和所述接管请求状态作为目标组合，并确定所述目标组合对应的目标人机交互策略，其中，所述驾驶员状态和所述接管请求状态的不同组合有分别对应的人机交互策略；及
按照所述目标人机交互策略，控制所述车辆上的人机交互设备工作，以提醒驾驶员接管所述车辆。
在一些实施例中，所述驾驶员状态包括所述驾驶员的疲劳状态，其中，所述驾驶员的疲劳状态是基于如下方法检测得到的：
获取所述驾驶员的时域心率信号，并对所述时域心率信号进行傅里叶变换，得到所述时域心率信号的频域心率信号；
计算所述频域心率信号中的低频频率与高频频率的频率比值，并根据所述频率比值确定所述驾驶员的疲劳状态。
在一些实施例中，所述根据所述频率比值确定所述驾驶员的疲劳状态，包括：
根据所述频率比值所属的比值范围，确定所述驾驶员的疲劳状态，其中，所述比值范围是基于人因工程的分析方法确定的，每个比值范围有分别对应的疲劳状态。
在一些实施例中，所述驾驶员状态包括所述驾驶员的注意力集中状态，其中，所述驾驶员的注意力集中状态是基于如下方法检测得到的：
获取针对所述驾驶员进行拍摄的图像数据；
对所述图像数据进行分析，确定所述驾驶员的眼球注视区域，并根据所述眼球注视区域，确定所述驾驶员的注意力集中状态。
在一些实施例中，所述根据所述眼球注视区域，确定所述驾驶员的注意力集中状态，包括：
根据所述眼球注视区域所属的区域范围，确定所述驾驶员的注意力集中状态，其中，所述区域范围是基于人因工程的分析方法确定的，每个区域范围有分别对应的注意力集中状态。
在一些实施例中，所述驾驶员状态包括所述驾驶员的驾驶状态，所述驾驶状态表征所述驾驶员对车辆驾驶的介入状态，其中，所述驾驶状态是基于如下方法确定的：
检测车辆中的目标部件当前所在的位置，其中，所述目标部件为所述驾驶员在车辆驾驶时所操作的车辆部件；
根据所述目标部件当前所在的位置，确定所述驾驶员的驾驶状态。
在一些实施例中，所述确定所述目标组合对应的人机交互策略，包括：
将所述目标组合作为查询条件，在预先建立的人机交互策略表中查询所述目标组合对应的人机交互策略，其中，所述人机交互策略表用于存储所述驾驶员状态和所述接管请求状态的不同组合分别对应的人机交互策略。
本发明另一方面还提供了一种人机交互装置，所述装置包括：
检测模块，用于在车辆处于自动驾驶状态时，检测驾驶员状态和所述车辆的接管请求状态，其中，所述接管请求状态表征请求驾驶员接管所述车辆的紧急程度；
决策模块，用于将检测得到的所述驾驶员状态和所述接管请求状态作为目标组合，并确定所述目标组合对应的目标人机交互策略，其中，所述驾驶员状态和所述接管请求状态的不同组合有分别对应的人机交互策略；及
控制模块，用于按照所述目标人机交互策略，控制所述车辆上相应的人机交互设备工作，以提醒驾驶员接管所述车辆。
本发明另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。
本发明另一方面还提供了一种人机交互***，所述人机交互***包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如上所述的方法。
在本申请的一些实施例中，通过检测驾驶员状态和车辆的接管请求状态，并将检测到的驾驶员状态和接管请求状态作为目标组合，按照目标组合对应的人机交互策略来控制车辆上相应的人机交互设备工作，可以在车辆从自动驾驶切换为手动驾驶时，有效提醒驾驶员接管车辆，可以防止驾驶员因为疲劳等原因，没有注意车辆的接管请求，无法及时接管车辆的问题，进而可以在车辆从自动驾驶切换为手动驾驶时，提高了车辆行驶的安全性。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本申请的一个实施例提供的人机交互***的模块框图；
图2示出了本申请的一个实施例提供的车辆的人机交互方法的流程示意图；
图3示出了本申请的一个实施例提供的检测驾驶员疲劳状态的流程示意图；
图4示出了本申请的一个实施例提供的驾驶员前方的区域划分示意图；
图5示出了本申请的一个实施例提供的检测驾驶员注意力集中状态的流程示意图；
图6示出了本申请的一个实施例提供的人机交互装置的模块示意图；
图7示出了本申请的一个实施例提供的人机交互***的示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施方式，都属于本发明保护的范围。
请参阅图1，为本申请的一个实施例提供的人机交互***的模块框图。人机交互***可以安装在具有自动驾驶功能的车辆上。图1中，人机交互***可以包括感测设备（例如传感器、摄像头、雷达）、人机交互控制器、自动驾驶域控制器以及人机交互设备（例如指示灯、振动电机、扬声器、车载中控屏幕等）。
在一些实施例中，心率传感器可以为穿戴设备或集成于方向盘中的设备。心率传感器可以用于检测驾驶员的心率，并输出对应的时域心率信号。注意力检测摄像头可以用于采集并输出驾驶员的图像数据。部件位置传感器可以用于检测车辆上的目标部件当前所在的位置，并输出相应的位置信号。目标部件可以是驾驶员在车辆驾驶时所操作的车辆部件，包括车辆的加速踏板、刹车踏板、方向盘以及安全带。
在一些实施例中，前视摄像头、毫米波雷达以及激光雷达可以对车辆驾驶环境中的目标和事件进行探测，并输出对应的探测结果。探测结果可以包括前视摄像头输出的图像视频数据，以及毫米波雷达或激光雷达输出的点云数据。自动驾驶域控制器可以对前视摄像头、毫米波雷达以及激光雷达输出的探测结果进行分析，判断车辆驾驶环境是否满足自动驾驶***的设计运行环境，并根据判断结果，确定是否需要驾驶员接管车辆。
在一些实施例中，指示灯、振动电机、扬声器和车载中控屏幕，可以作为人机交互设备，用来提示驾驶员接管车辆。人机交互控制器可以根据驾驶员状态和车辆的接管请求状态，控制至少部分人机交互设备工作，来对驾驶员进行提示。
基于图1中的人机交互***，本申请提出一种车辆的人机交互方法，可以在车辆从自动驾驶切换到手动驾驶的过程中，提高车辆驾驶的安全性。人机交互方法可以应用于图1中的人机交互***。请参阅图2，为本申请的一个实施例提供的车辆的人机交互方法的流程示意图。人机交互方法包括步骤S21至步骤S23。
步骤S21，在车辆处于自动驾驶状态时，检测驾驶员状态和车辆的接管请求状态。
以下先对驾驶员状态进行说明。
在一些实施例中，驾驶员状态可以包括驾驶员的疲劳状态、注意力集中状态和驾驶状态。
以下先对驾驶员的疲劳状态检测进行说明。请结合参阅图3，为本申请的一个实施例提供的检测驾驶员疲劳状态的流程示意图。
在一些实施例中，可以首先获取驾驶员的时域心率信号，并对时域心率信号进行傅里叶变换，得到时域心率信号的频域心率信号。然后可以计算频域心率信号中的低频频率与高频频率的频率比值Ratio，并根据频率比值Ratio确定驾驶员的疲劳状态。具体来说，可以首先按照如下表达式，对驾驶员的时域心率信号进行傅里叶变化，得到时域心率信号的频域心率信号。
Figure 448829DEST_PATH_IMAGE002
其中，
Figure 740133DEST_PATH_IMAGE004
表示变换得到的频域心率信号的序列，
Figure 476008DEST_PATH_IMAGE006
表示时域心率信号离散化后得到的序列，N表示采样长度。
然后根据预设的低频频率范围和高频频率范围，在变化得到的时域心率信号中，将位于低频频率范围内的频率确定为低频频率，将位于高频频率范围内的频率确定为高频频率。在一些实施例中，低频频率范围为0.04Hz到0.14Hz，高频频率范围为0.15Hz到0.4Hz。
进而可以根据低频频率与高频频率的频率比值Ratio所属的比值范围，确定驾驶员的疲劳状态。例如图3中，对于频率比值Ratio大于3的情况，确定驾驶员处于清醒状态；将频率比值Ratio小于等于3，且大于等于2的情况，确定驾驶员处于轻度疲劳状态；将频率比值Ratio小于2，且大于等于0的情况，确定驾驶员处于严重疲劳状态。在一些实施例中，上述比值范围可以是基于人因工程的分析方法确定的，每个比值范围有分别对应的疲劳状态。通过人因工程的分析方法确定比值范围，可以使本申请得出的驾驶员疲劳程度，比简单的通过视觉做眨眼判断得出的驾驶员疲劳程度更为准确可靠。
在本实施例中，可以用变量DDS表示驾驶员的疲劳状态，变量DDS的不同取值，表示驾驶员的不同疲劳程度。具体的，当DDS取值为0时，表示驾驶员处于清醒状态；当DDS取值为1时，表示驾驶员处于轻度疲劳状态；当DDS取值为2时，表示驾驶员处于严重疲劳状态。
在一些实施例中，还可以将驾驶员的时域心率信号按照时长划分为多段时域心率信号。比如按照每两分钟为一段，将驾驶员的时域心率信号划分多段时域心率信号。然后针对每段时域心率信号分别执行傅里叶变换，得到每段时域心率信号的频域心率信号。基于每段频域心率信号可以分别确定驾驶员的疲劳状态。如此，可以实现对驾驶员疲劳状态的跟踪。简单来说，就是可以每隔一定时长，对驾驶员的疲劳状态进行一次检测。比如每隔2分钟，对驾驶员的疲劳状态进行一次检测。
请参阅图1。在一些实施例中，人机交互控制器可以包括疲劳状态检测模块。疲劳状态检测模块可以用于获取心率传感器输出的时域心率信号，并按照上述方法对驾驶员的疲劳状态进行检测，以得到驾驶员的疲劳状态检测结果。可以理解的是，疲劳状态检测模块可以是独立于人机交互控制器的独立模块。在疲劳状态检测模块独立于人机交互控制器时，疲劳状态检测模块可以将驾驶员的疲劳状态检测结果发送给人机交互控制器。
以下对驾驶员的注意力集中状态检测进行说明。请结合参阅图4和图5。图4为本申请的一个实施例提供的驾驶员前方的区域划分示意图。图5为本申请的一个实施例提供的检测驾驶员注意力集中状态的流程示意图。
在一些实施例中，可以首先获取针对驾驶员进行拍摄的图像数据，然后对图像数据进行分析，确定驾驶员的眼球注视区域，并根据眼球注视区域，确定驾驶员的注意力集中状态。其中，对驾驶员进行拍摄的图像数据指可以确定驾驶员眼球注视区域的图像数据，例如驾驶员的眼部图像数据或头部图像数据或上身图像数据。可以理解的是，在车辆行进过程中，若驾驶员的眼球注视区域位于座位正前方，可以表示驾驶员的注意力是较为集中的，注意力分散的风险较低。若驾驶员的眼球注视区域位于座位正前方之外的其他区域，可以表示驾驶员的注意力存在分散风险。基于此，可以如图4所示，预先将驾驶员座位周围划分为多个区域范围，然后根据眼球注视区域所属的区域范围，确定驾驶员的注意力集中状态。其中，区域范围可以是基于人因工程的分析方法确定的，每个区域范围有分别对应的注意力集中状态。基于人因工程的分析方法来划分区域范围，对驾驶员的注意力集中状态检测结果可以更准确。
结合参阅图4和图5。在本实施例中，可以用变量DDRA表示驾驶员的注意力集中状态，变量DDRA的不同取值，表示驾驶员的不同注意力集中状态。具体的，驾驶员的眼球注视区域位于Zone1区域范围时，DDRA取值为00，表示驾驶员注意力分散的风险低；驾驶员的眼球注视区域位于Zone2区域范围时，DDRA取值为01，表示驾驶员注意力分散的风险中等；驾驶员的眼球注视区域位于Zone3区域范围时，DDRA取值为02，表示驾驶员注意力分散的风险高；驾驶员的眼球注视区域位于驾驶员座位的侧方或后方时，DDRA取值为03，表示驾驶员注意力分散的风险极高。
请参阅图1。在一些实施例中，人机交互控制器可以包括注意力检测模块。注意力检测模块可以用于获取注意力检测摄像头输出的图像数据，并基于上述方法对驾驶员的注意力集中状态进行检测，以得到驾驶员注意力集中状态的检测结果。可以理解的是，注意力检测模块可以是独立于人机交互控制器的独立模块。在注意力检测模块独立于人机交互控制器时，注意力检测模块可以将检测结果发送给人机交互控制器。
以下对驾驶员的驾驶状态检测进行说明。
在一些实施例中，驾驶员的驾驶状态可以表征驾驶员对车辆驾驶的介入状态。比如驾驶员对方向盘、加速踏板和刹车踏板的操作控制状态。在检测驾驶员的驾驶状态时，可以首先检测车辆中的目标部件当前所在的位置，然后根据目标部件当前所在的位置，确定驾驶员的驾驶状态。其中，如前所述，目标部件可以为驾驶员在车辆驾驶时所操作的车辆部件。目标部件可以包括车辆的方向盘、加速踏板、刹车踏板和安全带。驾驶员在车辆驾驶过程中，通过改变目标部件的位置，可以对车辆进行控制或者对自身的驾驶安全进行控制。比如，加速踏板和刹车踏板可以具有被驾驶员踩下和未被驾驶员踩下两个位置，方向盘具有转向位置，安全带具有被驾驶员系上和被驾驶员解下两个位置。驾驶员改变加速踏板、刹车踏板、方向盘的转向位置，可以对车辆进行控制。驾驶员改变安全带的位置，可以对自身的驾驶安全进行控制。
请参阅图1。在一些实施例中，部件位置传感器可以对目标部件的位置进行感测，并在目标部件处于不同位置时，输出不同的位置电信号。比如加速踏板未被驾驶员踩下时，部件位置传感器可以输出低电平；加速踏板被驾驶员踩下时，部件位置传感器可以输出高电平。如此，通过对部件位置传感器输出的电信号进行分析，可以确定目标部件的位置。
在本实施例中，可以用变量APP表示加速踏板当前所在的位置，变量APP的不同取值，表示加速踏板的不同位置；用变量BPP表示刹车踏板当前所在的位置，变量BPP的不同取值，表示刹车踏板的不同位置；用变量SWA表示方向盘当前所在的转向位置，变量SWA的不同取值，表示方向盘的不同位置；用变量DSS表示安全带当前所在的位置，变量DSS的不同取值，表示安全带不同的位置。
请继续参阅图1。在一些实施例中，人机交互控制器可以包括驾驶状态检测模块。驾驶状态检测模块可以用于获取目标部件的位置电信号，并对位置电信号进行分析，以得到驾驶员驾驶状态的检测结果。可以理解的是，驾驶状态检测模块可以是独立于人机交互控制器的独立模块。在驾驶状态检测模块独立于人机交互控制器时，驾驶状态检测模块可以将驾驶状态的检测结果发送给人机交互控制器。
基于上述描述，可以完成对驾驶员状态的检测。
以下对车辆的接管请求状态进行说明。
在一些实施例中，接管请求状态表征请求驾驶员接管车辆的紧急程度。接管请求状态可以使用变量DDTFR来表示。变量DDTFR的不同取值，可以表示驾驶员接管车辆的不同紧急程度。具体来说，若车辆驾驶环境满足自动驾驶***的设计运行环境，可以使车辆运行在自动驾驶状态，变量DDTFR取值可以为0，表示驾驶员无需接管。若车辆驾驶环境不满足自动驾驶***的设计运行环境，可以通过不同的变量DDTFR取值来表示请求驾驶员接管车辆的不同时间。比如请DDTFR取值为1，可以表示请求驾驶员10秒后接管车辆；DDTFR取值为2，可以表示请求驾驶员3秒后接管车辆；DDTFR取值为3，可以表示请求驾驶员1秒后接管车辆。如此，通过不同的DDTFR取值，可以区分车辆不同的接管请求状态。
继续参阅图1。在一些实施例中，自动驾驶域控制器可以对前视摄像头、毫米波雷达以及激光雷达输出的探测结果进行分析，然后确定车辆的接管请求状态，并将接管请求状态发送给人机交互控制器。
基于以上描述，完成了驾驶员状态和车辆的接管请求状态的检测。
步骤S22，将检测得到的驾驶员状态和接管请求状态作为目标组合，并确定目标组合对应的目标人机交互策略，其中，驾驶员状态和接管请求状态的不同组合有分别对应的人机交互策略。
在一些实施例中，人机交互策略用于表征车辆需要从自动驾驶切换到手动驾驶时，提示驾驶员接管车辆时的提示策略。人机交互策略包括但不限于提示声音的大小、提示时间的长短、提示的次数以及用于执行提示操作的人机交互设备选择。针对驾驶员状态和接管请求状态的不同组合，可以有分别对应的人机交互策略，以对驾驶员进行有效提示。以下以驾驶员状态和接管请求状态的不同组合，有分别对应的人机交互设备来执行提示操作为例进行说明。
基于步骤S21的描述，假设使用变量DDS表示驾驶员的疲劳状态，使用变量DDRA表示驾驶员的注意力集中状态，使用变量APP表示加速踏板当前所在的位置，使用变量BPP表示刹车踏板当前所在的位置，使用变量SWA表示方向盘当前所在的转向位置，使用变量DSS表示安全带当前所在的位置，使用变量DDTFR表示接管请求状态。在一些实施例中，驾驶员状态和接管请求状态的不同组合，就是指将上述变量的取值所构成的不同组合。每个组合可以有分别对应的人机交互策略。比如，假设存在以下的组合一和组合二：
组合一：
DDS=0（驾驶员处于清醒状态），DDRA=00（驾驶员注意力分散的风险低），APP=1（加速踏板被踩下），BPP=1（加速踏板被踩下），SWA=1（方向盘转至位置1处），DSS=1（安全带已系好），DDTFR=1（请求驾驶员10秒后接管车辆）
组合二：
DDS=3（驾驶员处于严重疲劳状态），DDRA=03（驾驶员注意力分散的风险极高），APP=1（加速踏板被踩下），BPP=1（加速踏板被踩下），SWA=1（方向盘转至位置1处），DSS=1（安全带已系好），DDTFR=3（请求驾驶员1秒后接管车辆）
在上述两个组合中，驾驶状态相同。但组合一中，驾驶员处于清醒状态，注意力分散的风险低，且请求驾驶员接管车辆的紧急度较低；组合二中，驾驶员处于严重疲劳状态，注意力分散的风险极高，且请求驾驶员接管车辆的紧急度较高。鉴于此，针对组合一，可以采用较为缓和的人机交互策略。比如仅控制指示灯和扬声器工作，来提醒驾驶员接管车辆。针对组合二，可以采用较为明显的人机交互策略。比如控制指示灯、扬声器、振动电机同时工作，来提醒驾驶员接管车辆。如此，避免驾驶员因为疲劳等问题，无法及时接管车辆，影响车辆的驾驶安全。
基于以上描述，在一些实施例中，可以预先建立的人机交互策略表，人机交互策略表用于存储驾驶员状态和接管请求状态的不同组合分别对应的人机交互策略。表格1示例性的列举了人机交互策略表的部分内容。
表格1人机交互策略表
Figure DEST_PATH_IMAGE008
表格1中，DDS、DDRA、APP、SWA、DSS、DDTFR的变量含义以及取值，请参见上述相关描述，此处不赘述。其中，
Light表示指示灯。指示灯对应的取值1时表示指示灯工作，取值为0时表示指示灯不工作；
Au表示扬声器。扬声器对应的取值1时表示扬声器工作，取值为0时表示扬声器不工作；
Vi表示振动电机。振动电机对应的取值1时表示振动电机工作，取值为0时表示振动电机不工作；
HMI表示车载中控屏幕。车载中控屏幕对应的取值1时表示车载中控屏幕工作，取值为0时表示车载中控屏幕不工作。
在表格1中可以看出，针对驾驶员状态和接管请求状态的不同组合，分别存在对应的人机交互策略。如此，可以根据驾驶员状态和车辆的接管请求状态，采用合适的提示方式，对驾驶员进行有效提示，从而可以在车辆从自动驾驶切换到手动驾驶时，提高车辆行驶的安全性。
可以理解的是，针对驾驶员状态和接管请求状态的不同组合，除通过分别对应的人机交互设备来执行提示操作外，还可以结合提示声音大小、灯光强度等方式，进一步对驾驶员进行有效提示。比如针对表格1中的第1个和第3个组合，指示灯在第3个组合中的灯光强度，可以比在第1个组合中的灯光强度要强。
在一些实施例中，检测得到的驾驶员状态和接管请求状态所组成的目标组合时，可以将目标组合作为查询条件，在预先建立的人机交互策略表中查询目标组合对应的人机交互策略。直接从表格中查询，可以提高响应效率，进一步车辆行驶的安全性。
步骤S23，按照目标人机交互策略，控制车辆上的人机交互设备工作，以提醒驾驶员接管车辆。
在本申请的一些实施例中，通过检测驾驶员状态和车辆的接管请求状态，并将检测到的驾驶员状态和接管请求状态作为目标组合，按照目标组合对应的人机交互策略来控制车辆上相应的人机交互设备工作，可以在车辆从自动驾驶切换为手动驾驶时，有效提醒驾驶员接管车辆，可以防止驾驶员因为疲劳等原因，没有注意车辆的接管请求，无法及时接管车辆的问题，进而可以在车辆从自动驾驶切换为手动驾驶时，提高了车辆行驶的安全性。
请参阅图6，为本申请的一个实施例提供的人机交互装置的模块示意图。人机交互装置包括：
检测模块，用于在车辆处于自动驾驶状态时，检测驾驶员状态和所述车辆的接管请求状态，其中，所述接管请求状态表征请求驾驶员接管所述车辆的紧急程度；
决策模块，用于将检测得到的所述驾驶员状态和所述接管请求状态作为目标组合，并确定所述目标组合对应的目标人机交互策略，其中，所述驾驶员状态和所述接管请求状态的不同组合有分别对应的人机交互策略；及
控制模块，用于按照所述目标人机交互策略，控制所述车辆上相应的人机交互设备工作，以提醒驾驶员接管所述车辆。
请参阅图7，为本申请的一个实施例提供的人机交互***的示意图。人机交互***包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的人机交互方法。
其中，处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请一个实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的人机交互方法。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种车辆的人机交互方法，其特征在于，所述方法包括：
在车辆处于自动驾驶状态时，检测驾驶员状态和所述车辆的接管请求状态，其中，所述接管请求状态表征请求驾驶员接管所述车辆的紧急程度；
将检测得到的所述驾驶员状态和所述接管请求状态作为目标组合，并确定所述目标组合对应的目标人机交互策略，其中，所述驾驶员状态和所述接管请求状态的不同组合有分别对应的人机交互策略；及
按照所述目标人机交互策略，控制所述车辆上的人机交互设备工作，以提醒驾驶员接管所述车辆。
2.如权利要求1所述的方法，其特征在于，所述驾驶员状态包括所述驾驶员的疲劳状态，其中，所述驾驶员的疲劳状态是基于如下方法检测得到的：
获取所述驾驶员的时域心率信号，并对所述时域心率信号进行傅里叶变换，得到所述时域心率信号的频域心率信号；
计算所述频域心率信号中的低频频率与高频频率的频率比值，并根据所述频率比值确定所述驾驶员的疲劳状态。
3.如权利要求2所述的方法，其特征在于，所述根据所述频率比值确定所述驾驶员的疲劳状态，包括：
根据所述频率比值所属的比值范围，确定所述驾驶员的疲劳状态，其中，所述比值范围是基于人因工程的分析方法确定的，每个比值范围有分别对应的疲劳状态。
4.如权利要求1所述的方法，其特征在于，所述驾驶员状态包括所述驾驶员的注意力集中状态，其中，所述驾驶员的注意力集中状态是基于如下方法检测得到的：
获取针对所述驾驶员进行拍摄的图像数据；
对所述图像数据进行分析，确定所述驾驶员的眼球注视区域，并根据所述眼球注视区域，确定所述驾驶员的注意力集中状态。
5.如权利要求4所述的方法，其特征在于，所述根据所述眼球注视区域，确定所述驾驶员的注意力集中状态，包括：
根据所述眼球注视区域所属的区域范围，确定所述驾驶员的注意力集中状态，其中，所述区域范围是基于人因工程的分析方法确定的，每个区域范围有分别对应的注意力集中状态。
6.如权利要求1所述的方法，其特征在于，所述驾驶员状态包括所述驾驶员的驾驶状态，所述驾驶状态表征所述驾驶员对车辆驾驶的介入状态，其中，所述驾驶状态是基于如下方法确定的：
检测车辆中的目标部件当前所在的位置，其中，所述目标部件为所述驾驶员在车辆驾驶时所操作的车辆部件；
根据所述目标部件当前所在的位置，确定所述驾驶员的驾驶状态。
7.如权利要求1所述的方法，其特征在于，所述确定所述目标组合对应的人机交互策略，包括：
将所述目标组合作为查询条件，在预先建立的人机交互策略表中查询所述目标组合对应的人机交互策略，其中，所述人机交互策略表用于存储所述驾驶员状态和所述接管请求状态的不同组合分别对应的人机交互策略。
8.一种人机交互装置，其特征在于，所述装置包括：
检测模块，用于在车辆处于自动驾驶状态时，检测驾驶员状态和所述车辆的接管请求状态，其中，所述接管请求状态表征请求驾驶员接管所述车辆的紧急程度；
决策模块，用于将检测得到的所述驾驶员状态和所述接管请求状态作为目标组合，并确定所述目标组合对应的目标人机交互策略，其中，所述驾驶员状态和所述接管请求状态的不同组合有分别对应的人机交互策略；及
控制模块，用于按照所述目标人机交互策略，控制所述车辆上相应的人机交互设备工作，以提醒驾驶员接管所述车辆。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至7中任一所述的方法。
10.一种人机交互***，其特征在于，所述人机交互***包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一所述的方法。
CN202210677459.XA 2022-06-16 2022-06-16 一种车辆的人机交互方法、装置和*** Pending CN114771559A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210677459.XA CN114771559A (zh) 2022-06-16 2022-06-16 一种车辆的人机交互方法、装置和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210677459.XA CN114771559A (zh) 2022-06-16 2022-06-16 一种车辆的人机交互方法、装置和***

Publications (1)

Publication Number Publication Date
CN114771559A true CN114771559A (zh) 2022-07-22

Family

ID=82420692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210677459.XA Pending CN114771559A (zh) 2022-06-16 2022-06-16 一种车辆的人机交互方法、装置和***

Country Status (1)

Country Link
CN (1) CN114771559A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106314437A (zh) * 2016-08-30 2017-01-11 宇龙计算机通信科技(深圳)有限公司 一种预防疲劳驾驶装置及其方法、智能手环
CN107200022A (zh) * 2016-03-15 2017-09-26 奥迪股份公司 驾驶辅助***和方法
CN108819945A (zh) * 2018-05-25 2018-11-16 吉利汽车研究院（宁波）有限公司 一种自动驾驶车辆接管提示装置及方法
US20190049955A1 (en) * 2017-08-10 2019-02-14 Omron Corporation Driver state recognition apparatus, driver state recognition system, and driver state recognition method
CN111361566A (zh) * 2018-12-06 2020-07-03 驭势（上海）汽车科技有限公司 一种自动驾驶车辆的接管提醒方法、车载设备及存储介质
CN112693469A (zh) * 2021-01-05 2021-04-23 中国汽车技术研究中心有限公司 驾驶员接管车辆的测试方法、装置、电子设备及介质
CN112758098A (zh) * 2019-11-01 2021-05-07 广州汽车集团股份有限公司 基于驾驶员状态等级的车辆驾驶权限接管控制方法及装置
CN113071446A (zh) * 2021-02-26 2021-07-06 三三智能科技(苏州)有限公司 基于汽车智能安全带的健康指标监测***及其数据处理方法
US20210394789A1 (en) * 2020-06-20 2021-12-23 Tsinghua University Evaluation method and system for steering comfort in human machine cooperative take-over control process of autonomous vehicle, and storage medium
CN114274954A (zh) * 2021-12-16 2022-04-05 上汽大众汽车有限公司 一种车内外感知结合的车辆主动接管***及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107200022A (zh) * 2016-03-15 2017-09-26 奥迪股份公司 驾驶辅助***和方法
CN106314437A (zh) * 2016-08-30 2017-01-11 宇龙计算机通信科技(深圳)有限公司 一种预防疲劳驾驶装置及其方法、智能手环
US20190049955A1 (en) * 2017-08-10 2019-02-14 Omron Corporation Driver state recognition apparatus, driver state recognition system, and driver state recognition method
CN108819945A (zh) * 2018-05-25 2018-11-16 吉利汽车研究院（宁波）有限公司 一种自动驾驶车辆接管提示装置及方法
CN111361566A (zh) * 2018-12-06 2020-07-03 驭势（上海）汽车科技有限公司 一种自动驾驶车辆的接管提醒方法、车载设备及存储介质
CN112758098A (zh) * 2019-11-01 2021-05-07 广州汽车集团股份有限公司 基于驾驶员状态等级的车辆驾驶权限接管控制方法及装置
US20210394789A1 (en) * 2020-06-20 2021-12-23 Tsinghua University Evaluation method and system for steering comfort in human machine cooperative take-over control process of autonomous vehicle, and storage medium
CN112693469A (zh) * 2021-01-05 2021-04-23 中国汽车技术研究中心有限公司 驾驶员接管车辆的测试方法、装置、电子设备及介质
CN113071446A (zh) * 2021-02-26 2021-07-06 三三智能科技(苏州)有限公司 基于汽车智能安全带的健康指标监测***及其数据处理方法
CN114274954A (zh) * 2021-12-16 2022-04-05 上汽大众汽车有限公司 一种车内外感知结合的车辆主动接管***及方法

Similar Documents

Publication Publication Date Title
CN107640159B (zh) 一种自动驾驶人机交互***及方法
CN109177975B (zh) 集成式巡航***退出方法及装置
US10246091B2 (en) Rear monitoring for automotive cruise control systems
US9056550B2 (en) Vehicle speed limiting and/or controlling system that is responsive to GPS signals
JP4510389B2 (ja) 運転者警告のための方法および装置
JP6565408B2 (ja) 車両制御装置及び車両制御方法
CN107209995B (zh) 驾驶辅助装置及驾驶辅助方法
US10926699B2 (en) Method and system for historical state based advanced driver assistance
CN112758098B (zh) 基于驾驶员状态等级的车辆驾驶权限接管控制方法及装置
US11738683B2 (en) Driver assist device and adaptive warning method thereof
JP2017182776A (ja) 車両周辺監視装置及びコンピュータプログラム
WO2022143994A1 (zh) 一种车辆避让方法和装置
US20150002286A1 (en) Display control apparatus
WO2020257406A1 (en) System and method for determinig driver readiness for takeover vehicle control
JP2019513621A (ja) ドライバアシスト機能に関する地域による調整
CN112114671A (zh) 一种基于人眼视线的人车交互方法、装置和存储介质
KR102331882B1 (ko) 음성 인식 기반의 차량 제어 방법 및 장치
CN114771559A (zh) 一种车辆的人机交互方法、装置和***
JP6946789B2 (ja) 覚醒維持装置
CN114291110B (zh) 车辆控制方法、装置、电子设备及存储介质
US11440553B2 (en) Vehicular device and computer-readable non-transitory storage medium storing computer program
WO2022258150A1 (en) Computer-implemented method of assisting a driver, computer program product, driving assistance system, and vehicle
CN106314256A (zh) 汽车照明控制方法、装置和***
TWI831370B (zh) 駕駛輔助方法及系統
CN114132331B (zh) 驾驶员状态信息确认方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220722

RJ01 Rejection of invention patent application after publication