CN111434553B - 制动***、方法、装置、疲劳驾驶模型的训练方法和装置 - Google Patents

Abstract

本发明实施例公开了一种车辆的制动***、方法、装置、疲劳驾驶模型的训练方法和装置。其中，车辆的制动***包括自动紧急制动装置和驾驶员监控装置；其中，自动紧急制动装置在检测到风险区域时，向驾驶员监控装置发送存在风险区域的检测结果；驾驶员监控装置在接收到自动紧急制动装置发送的检测结果时，基于预先设置的疲劳驾驶检测模型，对包含有驾驶员人脸区域的图像进行识别确定驾驶员的精神状态，并根据精神状态判断驾驶员的反应状态，并将判断结果发送给自动紧急制动装置；自动紧急制动装置被配置为接收判断结果，并根据判断结果对制动策略进行调整。通过采用上述技术方案，提高了自动紧急制动装置触发的准确性与安全性。

Description

制动***、方法、装置、疲劳驾驶模型的训练方法和装置

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种车辆的制动***、方法、装置、疲劳驾驶模型的训练方法和装置。

背景技术

随着时代的发展，人工智能逐渐在各个领域得到了广泛运用，因此也衍生出了“自动驾驶”、“无人车”等新兴概念。道路场景分析与环境识别是自动驾驶领域需要重点攻克的难题，而能否针对实时的道路环境进行正确、迅速的反应与处理，则是能否保证自动驾驶安全性的关键因素。因此，自动驾驶领域研究的一个重点就是汽车主动安全技术。

AEB(Autonomous Emergency Braking，自动紧急制动)，是一种汽车主动安全技术。目前AEB是已经广泛应用于中高端车型中的主动安全技术之一，它可以在车辆即将与前方目标发生碰撞且司机没有相应反应时，车辆自动进行紧急制动，以避免碰撞或降低碰撞伤害。AEB***最简单的原理就是采用雷达测出与前车或者障碍物的距离，然后利用数据分析模块将测出的距离与警报距离和分别安全距离进行比较，小于警报距离时就进行警报提示，而小于安全距离时即使在驾驶员没有来得及踩制动踏板的情况下，AEB***也会启动，使汽车自动制动，从而为安全出行保驾护航。

但AEB技术也有比较显著的缺陷：因为它会触发非常强烈的制动，一旦车辆对于前方目标检测发生误检，那么就会发生不必要的紧急制动，这不仅会严重影响驾驶体验，甚至还可能造成驾驶员伤害、后车追尾等严重事故。

为了降低误触发，现有AEB***设置了非常严格的触发条件与退出逻辑。如前方碰撞障碍物必须满足位置、速度上的某些条件才能触发AEB，驾驶员必须持续踩油门踏板才能触发AEB等等。这就造成了很多AEB***不能对所有危险情况做出反应。

发明内容

本发明实施例公开了一种车辆的制动***、方法、装置、疲劳驾驶模型的训练方法和装置，提高了AEB***触发的准确性与安全性。

第一方面，本发明实施例公开了一种车辆的制动***，该制动***包括自动紧急制动装置和驾驶员监控装置；其中，

所述自动紧急制动装置在检测到风险区域时，被配置为向所述驾驶员监控装置发送存在风险区域的检测结果，其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域；

所述驾驶员监控装置，在接收到自动紧急制动装置发送的存在风险区域的检测结果时，被配置为基于预先设置的疲劳驾驶检测模型，对包含有驾驶员人脸区域的图像进行识别，确定驾驶员的精神状态，并根据所述精神状态判断驾驶员的反应状态，并将判断结果发送给所述自动紧急制动装置，所述精神状态包括疲劳状态和/或分神状态；

所述自动紧急制动装置，被配置为接收所述判断结果，并根据所述判断结果对制动策略进行调整。

作为一种可选的实施方式，在本发明实施例第一方面中，所述驾驶员监控装置，在接收到自动紧急制动装置发送的存在风险区域的检测结果时，具体被配置为：

基于预先设置的疲劳驾驶检测模型，对人脸区域进行关键点定位，确定包含有眼部和嘴部的目标区域；

基于所述疲劳驾驶检测模型，识别驾驶员的眼部状态，以判断驾驶员是否处于疲劳状态；

和/或，

基于所述疲劳驾驶检测模型，识别驾驶员的嘴部状态，以判断驾驶员是否处于分神状态。

作为一种可选的实施方式，在本发明实施例第一方面中，所述驾驶员监控装置具体被配置为：

检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化，确定驾驶员的视线注视方向；

判断所述视线注视方向是否为风险区域方向，并根据判断结果确定驾驶员的反应状态。

作为一种可选的实施方式，在本发明实施例第一方面中，所述自动紧急制动装置包括置信区间调整单元，和/或介入时间调整单元，其中，

所述置信区间调整单元被配置为根据所述判断结果调整对于障碍物检测的置信区间；

所述介入时间调整单元被配置为根据所述判断结果调整介入制动过程的介入时间。

作为一种可选的实施方式，在本发明实施例第一方面中，所述置信区间调整单元具体被配置为：

如果判断结果为驾驶员处于高反应状态，则调大对于障碍物检测的置信度区间；或者，

如果评定结果为驾驶员处于低反应状态，则调小对于障碍物检测的置信区间；或者，

如果评定结果为驾驶员处于中反应状态，则将对于障碍物检测的置信区间调整到预设置信区间范围内。

作为一种可选的实施方式，在本发明实施例第一方面中，所述介入时间调整单元具体被配置为：

如果评定结果为驾驶员处于高反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第一时间阈值时介入车辆的制动过程；或者，

如果评定结果为驾驶员处于低反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第二时间阈值之前介入车辆的制动过程；

其中，所述第二时间阈值大于所述第一时间阈值。

第二方面，本发明实施例公开了一种车辆的制动方法，应用于自动紧急制动装置，该方法包括：

当检测到风险区域时，向所述驾驶员监控装置发送存在风险区域的检测结果，其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域；

接收所述驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果；

根据所述判断结果对制动策略进行调整；

其中，所述判断结果是所述驾驶员监控装置根据所述驾驶员的精神状态确定的，所述驾驶员的精神状态包括疲劳状态和/或分神状态，所述精神状态是所述驾驶员监控装置基于预先设置的疲劳驾驶检测模型，通过对包含有驾驶员人脸区域的图像进行识别得到的。

作为一种可选的实施方式，在本发明实施例第二方面中，所述根据所述判断结果对制动策略进行调整包括：

根据所述判断结果调整对于障碍物检测的置信区间，和/或，

根据所述判断结果调整介入制动过程的介入时间。

作为一种可选的实施方式，在本发明实施例第二方面中，所述根据所述判断结果调整对于障碍物检测的置信区间，包括：

如果判断结果为驾驶员处于高反应状态，则调大对于障碍物检测的置信区间；或者，

如果评定结果为驾驶员处于低反应状态，则调小对于障碍物检测的置信区间；或者，

如果评定结果为驾驶员处于中反应状态，则将对于障碍物检测的置信区间调整到预设置信区间范围内。

作为一种可选的实施方式，在本发明实施例第二方面中，根据所述判断结果调整介入制动过程的介入时间，包括：

如果评定结果为驾驶员处于高反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第一时间阈值时介入车辆的制动过程；

或者，

如果评定结果为驾驶员处于低反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第二时间阈值之前介入车辆的制动过程；

其中，所述第二时间阈值大于所述第一时间阈值。

作为一种可选的实施方式，在本发明实施例第二方面中，

所述高反应状态为：驾驶员不处于分神状态也不处于疲劳状态，并且如果检测存在风险区域时，驾驶员视线方向为注视风险区域方向时的状态；

所述低反应状态为：驾驶员处于分神状态和/或处于疲劳状态；

所述中反应状态为：驾驶员不处于分神状态，也不处于疲劳状态，但驾驶员视线未注视到所述风险区域的状态。

第三方面，本发明实施例还公开了一种车辆的自动紧急制动装置，该装置包括：

风险监测结果发送模块，用于当检测到风险区域时，向驾驶员监控装置发送存在风险区域的检测结果，其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域；

反应状态接收模块，用于接收驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果；

制动策略调整模块，用于根据所述判断结果对制动策略进行调整；

其中，所述判断结果是所述驾驶员监控装置根据所述驾驶员的精神状态确定的，所述驾驶员的精神状态包括疲劳状态和/或分神状态，所述精神状态是所述驾驶员监控装置基于预先设置的疲劳驾驶检测模型，通过对包含有驾驶员人脸区域的图像进行识别得到的。

作为一种可选的实施方式，在本发明实施例第三方面中，所述制动策略调整模块包括：

置信区间调整单元，用于根据所述判断结果调整对于障碍物检测的置信区间，和/或，

介入时间调整单元，用于根据所述判断结果调整介入制动过程的介入时间。

作为一种可选的实施方式，在本发明实施例第三方面中，所述置信区间调整单元具体被配置为：

如果判断结果为驾驶员处于高反应状态，则调大对于障碍物检测的置信区间；或者，

如果评定结果为驾驶员处于低反应状态，则调小对于障碍物检测的置信区间；或者，

如果评定结果为驾驶员处于中反应状态，则将对于障碍物检测的置信区间调整到预设置信区间范围内。

作为一种可选的实施方式，在本发明实施例第三方面中，所述介入时间调整单元具体被配置为：

如果评定结果为驾驶员处于高反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第一时间阈值时介入车辆的制动过程；

或者，

如果评定结果为驾驶员处于低反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第二时间阈值时介入车辆的制动过程；

其中，所述第二时间阈值小于所述第一时间阈值。

作为一种可选的实施方式，在本发明实施例第三方面中，

所述高反应状态为：驾驶员不处于分神状态也不处于疲劳状态，并且如果检测出存在风险区域，则驾驶员视线方向为风险区域方向时的状态；

所述低反应状态为驾驶员处于分神状态和/或处于疲劳状态；

所述中反应状态为驾驶员处于分神状态和处于疲劳状态，且驾驶员视线未注视到所述风险区域的状态。

第四方面，本发明实施例还提供了一种疲劳驾驶模型的训练方法，包括：

获取包含有驾驶员人脸区域的图像；

对所述人脸区域进行关键点定位，确定包含有所述关键点的目标区域，所述目标区域中至少包括眼部和嘴部；

基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的驾驶员的精神状态类别生成训练样本集；

基于所述训练样本集对初始深度回归网络模型进行训练，得到疲劳驾驶检测模型，所述疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾驶员的精神状态类别相关联。

第五方面，本发明实施例还提供了一种疲劳驾驶模型的训练装置，包括：

人脸图像获取模块，被配置为获取包含有驾驶员人脸区域的图像；

目标区域确定模块，被配置为对所述人脸区域进行关键点定位，确定包含有所述关键点的目标区域，所述目标区域中至少包括眼部和嘴部；

训练样本集生成模块，被配置为基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的驾驶员的精神状态类别生成训练样本集；

模型训练模块，被配置为基于所述训练样本集对初始深度回归网络模型进行训练，得到疲劳驾驶检测模型，所述疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾驶员的精神状态类别相关联。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的应用于自动紧急制动装置的车辆的制动方法的部分或全部步骤的指令。

第七方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的疲劳驾驶模型的训练方法的部分或全部步骤的指令。第八方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的应用于自动紧急制动装置的车辆的制动方法的部分或全部步骤。

第九方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的疲劳驾驶模型的训练方法的部分或全部步骤。

现有技术中自动紧急制动装置对于驾驶员状态的了解只能通过类似“踩油门踏板”这类方式得到，信息不够准确。而本发明实施例的技术方案将自动紧急制动装置和驾驶员监控装置进行有机结合，利用驾驶员监控装置判断出驾驶员全面的反应状态信息，并将反应状态的判断结果发送给自动紧急制动装置。自动紧急制动装置根据接收到的判断结果改进自身的处理逻辑，以提高自动紧急制动装置的触发准确性与安全性。

本发明实施例的发明点包括：

1、驾驶员监控装置判断出驾驶员全面的反应状态信息，并将反应状态的判断结果发送给自动紧急制动装置。自动紧急制动装置根据接收到的判断结果改进自身的处理逻辑，以提高自动紧急制动装置的触发准确性与安全性，是本发明实施例的发明点之一。

2、本发明实施例提供的技术方案中，驾驶员监控装置将驾驶员分为高反应状态、中反应状态和低反应状态三种状态。如果驾驶员处于高反应状态，说明有越大的可能性可以有效应对紧急情况，此时自动紧急制动装置可通过提高障碍物检测的置信度、提高触发自动制动功能的阈值或延后介入时间等方式降低介入程度；如果驾驶员处于中反应状态，则将对于障碍物检测的置信度阈值调整到预设置信度阈值范围内；如果评定结果为驾驶员处于低反应状态，则说明有越大的可能性无法有效应对紧急情况，因此自动紧急制动装置可通过降低障碍物检测的置信度阈值、降低触发自动制动功能的阈值或提前介入时间等方式更多地介入制动过程，从而避免危险，是本发明实施例的发明点之一。

3、本发明实施例的技术方案中，驾驶员监控装置在判断驾驶员的反应状态时，除了根据驾驶员的疲劳和/或分神状态来确定之外，还可通过检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化，确定驾驶员的视线注视方向是否为风险区域方向，通过判断该视线注视方向是否为风险区域方向来判断驾驶员的反应状态，从而进一步提高驾驶员监控装置处理的灵敏度和精确度，是本发明实施例的发明点之一。

4、本发明实施例的技术方案中，自动紧急制动装置在检测出存在风险区域后，可先向驾驶员监控装置发送检测结果。如果驾驶员监控装置判断出驾驶员未注视风险区域，则再由自动紧急制动装置发出碰撞警报，从而进一步提醒驾驶员，以避免自动紧急制动装置一监测到风险就发出警报的频繁预警现象，是本发明实施例的发明点之一。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的一种疲劳驾驶模型的训练方法的流程图；

图1b是本发明实施例提供的一种基于目标检测和深度学习的疲劳驾驶检测模型执行方法的流程图；

图2是本发明实施例提供的一种车辆的制动方法的流程示意图；

图3是本发明实施例提供的一种车辆的制动方法的流程示意图；

图4是本发明实施例提供的一种车辆的制动方法的流程示意图；

图5是本发明实施例提供的一种车辆的制动方法的流程示意图；

图6是本发明实施例提供的一种车辆的制动***的结构框图；

图7是本发明实施例提供的一种结合驾驶员监控装置和自动紧急制动装置的智能化紧急制动方案的实施流程图；

图8是本发明实施例提供的一种车辆的自动紧急制动装置的结构示意图；

图9是本发明实施例提供的一种驾驶员监控装置的结构示意图。

图10是本发明实施例提供的一种疲劳驾驶模型的训练装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了清楚、明白地解释本发明各实施例的内容，下面先对本发明实施例的实现原理进行简单介绍：本发明实施例的技术方案，主要是利用DMS(Driver Monitoring System，驾驶员监控装置)确定驾驶员的精神状态，从而根据精神状态判断驾驶员的反应状态，并将判断结果发送给自动紧急制动装置。自动紧急制动装置根据接收到的判断结果调整其自身的制动策略。

其中，由于识别驾驶员的精神状态是基础，本发明实施例主要是利用疲劳驾驶检测模型来确定驾驶员的精神状态。可以理解的是，在使用疲劳驾驶检测模型极性之前，需要利用训练样本集来训练初始深度回归网络模型，得到该疲劳驾驶检测模型。具体训练过程请参阅如下图1a的内容。

实施例一

请参阅图1a，图1a是本发明实施例提供的一种疲劳驾驶模型的训练方法的流程图，该方法可应用于自动驾驶领域，一般可集成在疲劳驾驶模型的训练装置中，该装置可通过软件和/或硬件的方式来实现。如图1a所示，该方法包括：

102、获取包含有驾驶员人脸区域的图像。

本实施例中，包含有驾驶员人脸区域的图像的来源可以采用公开数据集中的图像，也可以从车辆的存储设备中获取车辆的摄像头所采集的驾驶员图像。在有些情况下，也可以直接获取样本图像，例如，直接获取车辆的摄像头实时采集的图像，对人脸进行检测切分后，对人脸图像进行标注，将标注后的图像作为样本图像，即训练样本集。

需要说明的是，通过步骤102监测到人脸区域后，可以通过裁剪的方式得到较小尺寸且只含人脸的图像，有利于减小提取特征以及训练网络的工程量，并提高关键点定位的精确度。

104、对人脸区域进行关键点定位，确定包含有关键点的目标区域，该目标区域中至少包括眼部和嘴部。

示例性的，可利用人脸关键点检测技术对人脸区域进行关键点定位。其中，人脸关键点检测也称为人脸关键点定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓等。目前比较有代表性的人脸关键点检测方法有ASM(Active Shape Model，主动形状模型)、AAM(Active Appearance Model，主动外观模型)、CPR(Cascaded Shape Regressor，级联形状回归)等手工设计特征的方法，以及利用了深度学习的DCNN(Deep Convolutional Network Cascade，深度卷积神经网络)、TCDCN(Tasks-Constrained Deep Convolutional Network，任务受限的深度卷积网络)、MTCNN(Multi-task Cascaded Convolutional Networks，多任务级联卷积神经网络)、TCNN(Tweaked Convolutional Neural Networks，调整卷积神经网络)、DAN(Deep AlignmentNetworks，深度对齐网络)等方法。因此，本申请实例可以根据实际算法运行速度、效率等因素，选择恰当的方法实现人脸关键点的定位。

106、基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的驾驶员的精神状态类别生成训练样本集。

本发明实例中，优选采用有监督的训练方式。因而，训练样本集中的图像可以分为以下几类：

1.驾驶员驾驶时闭眼(眯眼)图像；2.驾驶员正常时眼睛睁开的图像；3.驾驶员驾驶时嘴巴张开(打哈欠)的图像；4.驾驶员正常驾驶嘴巴闭合的图像。本实施例中，人脸关键点样本图像的来源可以采用公开数据集中的图像，也可以从车辆的存储设备中获取车辆的摄像头所采集的驾驶员图像。在有些情况下，也可以直接获取样本图像，例如，直接获取车辆的摄像头实时采集的图像，对人脸进行检测切分后，对人脸图像进行标注，将标注后的图像作为样本图像，即训练样本集。

108、基于训练样本集对初始深度回归网络模型进行训练，得到疲劳驾驶检测模型，该疲劳驾驶检测模型使得训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾驶员的精神状态类别相关联。

在获取到训练样本集后，可以将样本图像输入到预先建立的初始深度回归网络模型，以便利用人脸关键点样本图像对初始深度回归网络模型进行训练，得到疲劳驾驶检测模型，所述疲劳驾驶检测模型使得训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾驶员的精神状态类别相关联。

在本申请实施实例中，可以采用深度卷积神经网络作为初始深度回归网络模型。除了自行设计新的深度卷积神经网络，也可以采用迁移学习的方法，利用已有的在人脸检测领域取得较好结果的深度卷积神经网络，对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改，并直接采用原有网络模型中已有的已经充分训练的参数，作为初始深度回归网络模型，采用微调的方法，利用人脸样本图像，对神经网络进行训练。

通过利用深度回归网络模型对驾驶员脸部关键点图像进行处理，可以初步对驾驶员的状态进行分类：是否存在闭眼打盹或者张嘴打哈欠等情况；同时，可以通过连续采集若干相邻帧数内驾驶员的面部图像并定位其眼球位置的方式，判断驾驶员是否存在缓慢眨眼或者眼球呆滞不动的状态；其次，可以通过比较脸部关键特征来判断驾驶员的脸是否偏向一侧，以及是否手持手机通话，因为此时驾驶员特征提取结果与驾驶员正常驾驶(脸朝向正中间)时的特征提取结果存在差异。

综上，当识别出驾驶员出现面部朝向一侧、打哈欠或打电话等状态则确定驾驶员处于分神状态；或者如果识别出驾驶员长时间出现闭眼、缓慢眨眼或者视线长时间呆滞等状态时，则判断驾驶员处于疲劳状态。

在完成疲劳驾驶模型的训练后，可利用该模型识别驾驶员在驾驶过程中的精神状态。具体的识别过程如下：

请参阅图1b，图1b是本发明实施例提供的一种基于目标检测和深度学习的疲劳驾驶检测模型执行方法的流程图，该方法可应用于自动驾驶领域，一般可集成在驾驶员监控装置中，如图1b所示，该方法包括：

110、获取图像传感器采集的驾驶员监控画面检测出人脸区域。

目前比较常用的人脸检测算法分为传统特征提取算法和深度学习算法两类，前者包含有HOG(Histogram of Oriented Gradien，方向梯度直方图)算法、Adaboost(迭代)算法等，后者的代表网络模型有Face R-CNN(Region-CNN，区域卷积神经网络)、SSH(singlestage headless，单步人脸检测算法)、PyramidBox(金字塔网络)等等。在本申请实施实例中，可以考虑使用基于U-Net(U型网络)深度学习网络模型对含有驾驶员面部的图像进行分割处理。即采用有监督的训练模式，将标记好人脸区域的样本图像作为训练集，对网络进行训练与微调；然后将图像传感器采取的驾驶员监控画面作为输入，利用神经网络的输出对含有人脸的区域图像进行标记，实现人脸检测的目的。

此外，在本申请实施例的一些可能的实现方式中，也可以利用其他深度学习的方法实现人脸检测，以便提高检测的准确性。

120、利用人脸关键点检测技术，确定包含有关键点的目标区域，所述目标区域中至少包括眼部和嘴部。

其中，人脸关键点检测也称为人脸关键点定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。目前比较有代表性的人脸关键点检测方法有ASM(Active Shape Model，主动形状模型)、AAM(ActiveAppearance Model，主动外观模型)、CPR(Cascaded Shape Regressor，级联形状回归)等手工设计特征的方法，以及利用了深度学习的DCNN(Deep Convolutional Network Cascade，深度卷积神经网络)、TCDCN(Tasks-Constrained Deep Convolutional Network，任务受限的深度卷积网络)、MTCNN(Multi-task Cascaded Convolutional Networks，多任务级联卷积神经网络)、TCNN(Tweaked Convolutional Neural Networks，调整卷积神经网络)、DAN(Deep Alignment Networks，深度对齐网络)等方法。因此，本申请实例可以根据实际算法运行速度、效率等因素，选择恰当的方法实现人脸关键点的定位。

130、基于预先设置的疲劳驾驶检测模型，识别驾驶员的眼部状态，以判断驾驶员是否处于疲劳状态；和/或，基于预先设置的疲劳驾驶检测模型，识别驾驶员的的嘴部状态，以判断驾驶员是否处于分神状态。

其中，分神状态定义为驾驶员出现若干特殊动作，如面部朝向一侧、打哈欠或打电话等。分神状态是通过监控驾驶员的面部表情和动作等来完成的，如果出现以上一种或者几种状态，即判断为分神状态。本实施例中主要是通过利用卷基于预先设置的疲劳驾驶检测模型，对连续若干相邻帧数图像的目标区域进行识别，如果判断出驾驶员处于打电话或打哈欠状态，则确定驾驶员处于分神状态。

本实施例中，疲劳状态的判断主要是通过监控驾驶员的眼部状态来完成的，如果利用卷积神经网络对连续若干相邻帧数图像的目标区域进行识别，通过确定驾驶员的眼球位置判断出驾驶员处于缓慢眨眼或者眼球呆滞不动的状态，则确定驾驶员处于疲劳状态。

由上可知，本实施例提供了一种基于目标检测和深度学习的疲劳驾驶检测模型。通过人脸检测、关键点定位、基于CNN卷积网络的深度学习等方法，可以准确地判断出驾驶员的实时精神状态。上述算法可应用于车辆的制动过程中。将利用上述算法得出的驾驶员的反应状态的判断结果发送给自动紧急制动装置，该判断结果可作为自动紧急制动装置的输入，用于指示自动紧急制动装置对制动策略进行调整。

接下来，对本发明实施例中提供的一种基于以上目标检测和深度学习的疲劳驾驶检测模型的车辆的制动方法的具体实现方式进行介绍。

实施例二

请参阅图2，图2是本发明实施例提供的一种车辆的制动方法的流程示意图。该方法应用于自动驾驶中，可由驾驶员监控装置来执行，该装置可通过软件和/或硬件的方式实现，一般可应用于车载电脑、车载工业控制计算机(Industrial personal Computer，IPC)等车辆的制动***中，本发明实施例不做限定。如图2所示，本实施例提供的车辆的制动方法，具体包括：

210、基于预先设置的疲劳驾驶检测模型，对包含有驾驶员人脸区域的图像进行识别，确定驾驶员的精神状态。

其中，驾驶员的精神状态包括疲劳状态、分神状态、无疲劳状态和无分神状态等。上述精神状态可通过识别驾驶员的脸部区域的图像来确定。本实施中，驾驶员监控装置可利用图像传感器对驾驶员进行实时拍摄，然后将监控图像传送到驾驶员监控装置的处理器，作为上述疲劳驾驶监测模型的输入。上述疲劳驾驶监测模型的基本实现流程如下：

首先可进行人脸检测，划定人脸区域，并进行根据需要判断是否进行尺寸的归一化；然后将人脸区域图像输入到人脸关键点检测模型，模型可以对待处理图像进行特征提取，并对提取到的特征进行映射，最终标记出人眼、嘴唇、耳朵等关键点；最后利用深度回归网络模型对关键点图像进行分类，判断驾驶员是否存在闭眼、打哈欠、打电话等疲劳或分神行为。具体的，疲劳驾驶监测模型每一步的工作原理及其具体实施方式可参见上文内容，本实施例不再赘述。本实施例中，通过利用上述疲劳监测模型，可准确判断地出驾驶员是否处在分神或疲劳状态。

220、根据精神状态判断驾驶员的反应状态，并将判断结果发送给自动紧急制动装置，将判断结果作为自动紧急制动装置的输入，用于指示自动紧急制动装置对制动策略进行调整。

其中，驾驶员的反应状态可分为三个等级：高反应状态、中反应状态和低反应状态。当然，也可以采取其他的量化方式来确定精神状态的等级评定结果。本实施例中以高反应状态、中反应状态和低反应状态为例进行说明。

示例性的，根据精神状态判断驾驶员的反应状态具体可包括但并不局限于如下实施方式：

(1)根据疲劳状态和/或分神状态确定驾驶员的反应状态。

如果驾驶员不处于分神状态也不处于疲劳状态，则确定驾驶员的反应状态为高反应状态。在该状态下，驾驶过程比较安全；如果驾驶员处于分神状态或者处于疲劳状态，或者既处于分神状态又处于疲劳状态，则确定驾驶员处于低反应状态。在该状态下，驾驶员对于可能出现的危险状况来不及反应，驾驶过程有风险。

进一步的，作为一种可选的实施方式，在判断驾驶员的反应状态时还可结合驾驶员的视线注视方向进行判断，即：

(2)根据疲劳状态、分神状态和驾驶员的视线方向来确定驾驶员的反应状态。

该方式具体可以为：检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化，确定驾驶员的视线注视方向；判断视线注视方向是否为风险区域方向，并根据判断结果确定驾驶员的反应状态。

其中，风险区域指的是有可能发生碰撞的区域，由自动紧急制动装置检测并向驾驶员监控装置发送检测结果，再由驾驶员监控装置判断驾驶员是否注意到该风险区域。

具体的，驾驶员监控装置可以通过图像传感器实时拍摄驾驶员图像，通过目标检测或者深度学习的方法，判断出驾驶员的头部朝向，以确定驾驶员的视线注视方向；或者也可以直接利用上述步骤130中的驾驶员脸部朝向的判断结果，对驾驶员的头部朝向方位进行更为精确的计算和估计，以确定驾驶员的视线注视方向。

本实施例中，对驾驶员眼球姿态以及驾驶员眼球相对眼眶方位的捕捉结果，可以估计出驾驶员的视线注视方向。正常情况下，如果确实在车辆行驶过程中有碰撞风险，驾驶员应当将视线集中在潜在碰撞对象的区域。驾驶员监控装置可以用这个先验信息来判断驾驶员是否可以及时对于碰撞做出反应。

在实际驾驶过程中，当驾驶员处于疲劳状态或者分神状态时，如果视线没有注视到可能发生风险区域，那么发生事故或者意外的可能性将大大增高，因此可以将通过检测驾驶员视线注视方向是否为风险区域方向，从而判断驾驶员精神状态这一实施方式作为上述根据驾驶员是否疲劳和/或分神状态来判断精神状态这一实施方式的补充，即上述实施方式(2)可作为上述实施方式(1)的补充方案，从而进一步提高驾驶员监控装置处理的灵敏度和精确度。

具体的，在上述实现方式的基础上，如果确定驾驶员不处于分神状态也不处于疲劳状态时，且判断出驾驶员视线注视方向为风险区域方向时，则可进一步确定驾驶员的反应状态为高反应状态。但如果确定驾驶员不处于分神状态也不处于疲劳状态时，但判断出驾驶员视线注视方向非风险区域方向时，说明驾驶员处于分神或者疲劳状态，此时则可确定驾驶员的反应状态为中反应状态。

(3)如果检测到自动紧急制动装置发出碰撞警报，则判断驾驶员对该碰撞警报的反应，从而确定驾驶员的反应状态。

需要说明的是，上述实施方式(3)作为另外一种可选的实施方式，当自动紧急制动装置检测到存在风险区域时，可发出碰撞警报以提醒驾驶员存在危险，并可根据用户对碰撞警报的反应来确定驾驶员的反应状态。对于这种实施方式，可将其作为根据驾驶员精神状态来判断反应状态这一实施方式，即实施方式(1)相并列的实施方式，这两种实施方式的执行顺序不存在先后之分，可以同时进行也可以顺序执行。

还需要说明的是，上述实施方式(3)还可作为与实施方式(2)相并列的实施方式，二者可以同时进行，即当自动紧急制动装置检测到存在风险区域时，可立即发出碰撞警报以提醒驾驶员存在危险，并可根据用户对碰撞警报的反应来确定驾驶员的反应状态。同时，也可根据实施方式(2)中的疲劳状态、分神状态和驾驶员的视线方向来确定驾驶员的反应状态。

优选的，还可将上述实施方式(3)进行改进，具体可以为：

当接收到自动紧急制动装置发送的存在风险区域的检测结果时，可先确定驾驶员是否处于分神或者处于疲劳状态，如果处于分神或者疲劳状态，或者两个状态都存在时，即驾驶员处于低反应状态时再发出警报以提醒驾驶员，从而进一步确定驾驶员的反应状态，即将改进后的实施方式(3)在实施方式(2)之后来执行。这样设置是因为如果驾驶员处于高反应状态，则无需发出警报驾驶员也会自动注意到风险区域，从而避免一旦监测到风险则发出警报而导致的频繁预警的情况发生，有助于提升驾驶员的驾驶体验。

具体的，驾驶员监控装置在检测驾驶员对碰撞警报的反应时，可以通过图像传感器，实时捕捉驾驶员的动作、头部朝向和视线方向，并利用上述步骤所提到的相关算法对驾驶员的行为进行分析。如果发出警报后较短一段时间内，驾驶员没有产生任何动作、视线变化等，则可以认为驾驶员没有对警报做出反应，此时，可进一步说明驾驶员的反应状态为低反应状态。

本实施例中，上述驾驶员监控装置对驾驶员的反应状态进行判断的目的在于：将反应状态发送到自动紧急制动装置后，自动紧急制动装置可根据评定结果调整自身的制动策略。示例性的，如果驾驶员反应状态越高，说明有越大的可能性可以有效应对紧急情况。此时自动紧急制动装置可将其介入程度适当降低，例如，可通过提高对于障碍物检测的置信区间、或者提高触发自动制动功能的阈值，或者延后介入时间等。示例性的，如果驾驶员的反应状态越低，说明有越大的可能性无法有效应对紧急情况。此时，自动紧急制动装置应当更多介入，即可通过降低障碍物检测的置信度阈值，或者降低触发自动制动功能的阈值，或者提前介入时间等方式来避免危险。

本实施例提供了将驾驶员监控装置与自动紧急制动装置相结合的技术方案，通过利用驾驶员监控装置中的摄像头等传感器，可以有效获取驾驶员的注意力、疲劳状况和危险动作等信息。并根据这些信息确定驾驶员的反应等级，从而可根据反应等级指示自动紧急制动装置改进其处理逻辑，以提高自动紧急制动装置触发的准确性与安全性。

实施例三

请参阅图3，图3是本发明实施例提供的一种车辆的制动方法的流程示意图。该方法应用于自动驾驶中，可由自动紧急制动装置来执行，该装置可通过软件和/或硬件的方式实现，可应用于车载电脑、车载工业控制计算机(Industrial personal Computer，IPC)等车辆的制动***中，本发明实施例不做限定。如图3所示，本实施例提供的车辆的制动方法，具体包括：

310、接收驾驶员监控装置所发送的对驾驶员反应状态的判断结果。

其中，驾驶员监控装置所发送的对驾驶员反应状态的判断结果是驾驶员监控装置根据驾驶员的精神状态确定的，驾驶员的精神状态是驾驶员监控装置基于预先设置的疲劳驾驶检测模型，通过对包含有驾驶员人脸区域的图像进行识别得到的，该精神状态包括疲劳状态或分神状态，或者二者同时存在。本实施中，可通过驾驶员监控装置中的图像传感器对驾驶员进行实时拍摄，然后对图像进行处理，作为上述疲劳驾驶监测模型的输入。其中，疲劳驾驶监测模型的工作原理可参见上文内容，本实施例不再赘述。本实施例中，驾驶员监控装置图像传感器结合上述疲劳监测模型，可准确判断地出驾驶员是否处在分神或疲劳状态。

320、根据判断结果对制动策略进行调整。

示例性的，本实施例中，制动策略包括但不限于自动紧急制动装置对于障碍物检测的置信区间。在传统自动紧急制动装置中，置信区间往往是一个不变量，没有考虑到驾驶员状态本身对于风险判定的影响，因此要么牺牲驾驶体验的舒适度，选择保障出行的安全性；要么为了保障驾驶体验，增大置信区间，给车辆驾驶带来更高的风险。而本申请实例中，则可以根据驾驶员的反应状态的判断结果，实时对置信区间进行反馈调节。

示例性的，本实施例中，制动策略还包括但不限于自动紧急制动装置介入制动过程的介入时间TTC(Time to collision)，TTC指的是如果车辆延续当前的运动状态，与障碍物发生碰撞的剩余时间。

本实施例中，如果驾驶员反应状态越高，说明有越大的可能性可以有效应对紧急情况。此时自动紧急制动装置可将其介入程度适当降低，例如，可通过提高对于障碍物检测的置信度、或者提高触发自动制动功能的阈值，或者延后介入时间等。反之，如果驾驶员的反应状态越低，说明有越大的可能性无法有效应对紧急情况。此时，自动紧急制动装置应当更多介入，即可通过降低障碍物检测的置信度阈值，或者降低触发自动制动功能的阈值，或者提前介入时间等方式来避免危险。

本实施例提供了将驾驶员监控装置与自动紧急制动装置相结合的技术方案，通过利用驾驶员监控装置***中的摄像头等传感器，可以有效获取驾驶员的注意力、疲劳状况和危险动作等信息。根据这些信息驾驶员监控装置可确定出驾驶员的反应状态并向自动紧急制动装置发送驾驶员的反应状态。自动紧急制动装置可根据反应状态改进其自身的处理逻辑，例如根据反应状态可调整自动紧急制动装置自身对于障碍物检测的置信度阈值，或者调整介入时间等，从而提高自动紧急制动装置触发的准确性与安全性。

实施例四

请参阅图4，图4是本发明实施例提供的一种车辆的制动方法的流程示意图，该方法应用于自动驾驶中，可由自动紧急制动装置来执行。本实施例在上述实施例的基础上进行了优化，针对驾驶员不同的反应状态给出了不同的置信度阈值调整方式。如图4所示，本实施例提供的车辆的制动方法，具体包括：

400、当检测到风险区域时，向驾驶员监控装置发送存在风险区域的检测结果。

其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域。

410、接收驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果。

420、如果判断结果为驾驶员处于高反应状态，则调大对于障碍物检测的置信区间。

本实施例中，如果驾驶员处于高反应状态，说明驾驶员有比较高的可能性能够顺利地处理潜在的驾驶危险，因此，应该调大置信区间，例如可将置信区间调高到90％-100％以上，从而更多地避免驾驶员监控装置误触发并产生不必要的风险。

430、如果评定结果为驾驶员处于低反应状态，则调低对于障碍物检测的置信度阈值。

本实施例中，如果驾驶员处于低反应状态，说明驾驶员有比较低的可能性对潜在风险进行正确判断和处理，因此，应该调小置信区间，例如可将置信去调低到50％以下，具体可以为调低到30％-50％范围内，从而让自动紧急制动装置能够更容易触发。

440、如果评定结果为驾驶员处于中反应状态，则将对于障碍物检测的置信度阈值调整到预设置信度阈值范围内。

其中，预设置信区间可以设置为经验值50％～70％。

需要说明的是，上述步骤420、430、和440是驾驶员处于不同反应状态时所对应的不同的制动策略调整方式，这三个步骤为并列的步骤，其执行顺序不存在先后之分。

本实施例的技术方案中，可变的置信区间调节***充分考虑了驾驶员行驶状态这一主观因素以及车辆与障碍物距离、行驶速度等客观因素，让自动紧急制动装置的触发更具智能性。

实施例五

请参阅图5，图5是本发明实施例提供的一种车辆的制动方法的流程示意图，该方法应用于自动驾驶中，可由自动紧急制动装置来执行。本实施例在上述实施例的基础上进行了优化，针对驾驶员不同的反应状态给出了不同的介入时间。如图5所示，本实施例提供的车辆的制动方法，具体包括：

500、当检测到风险区域时，向驾驶员监控装置发送存在风险区域的检测结果。

其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域。

510、接收驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果。

520、如果评定结果为驾驶员处于高反应状态，则当检测到与障碍物发生碰撞的剩余时间达到第一时间阈值时介入车辆的制动过程。

本实施例中，如果驾驶员处于高反应状态，说明驾驶员有比较高的可能性能够顺利地处理潜在的驾驶危险，那么自动紧急制动装置可以在TTC更短的时间，即与障碍物更近的时候再介入自动紧急制动装置，从而避免自动紧急制动装置误触发。其中，第一时间阈值为经验值，表示最晚开始介入制动的时间。

530、如果评定结果为驾驶员处于低反应状态，则当检测到与障碍物发生碰撞的剩余时间达到第二时间阈值之前介入车辆的制动过程。

本实施例中，如果驾驶员处于低反应状态，说明驾驶员有比较低的可能性对潜在风险进行正确判断和处理，那么为了最大程度地保证安全，应当在TTC更大、即与障碍物距离更远更早的时候介入制动过程。其中，第二时间阈值为最晚介入制动的时间，该第二时间阈值大于第一时间阈值。为了提高驾驶的安全性，自动紧急制动装置应该在第二时间阈值到达之间就介入自动过程。

需要说明的是，上述步骤520和530是驾驶员处于不同反应状态时所对应的不同的制动策略调整方式，这三个步骤为并列的步骤，其执行顺序不存在先后之分。

本实施例的技术方案，自动紧急制动装置通过调整自身介入制动过程的时间，保证了驾驶的安全性，也避免了自动紧急制动装置的误触发。

还需要说明的是，对于实施例五和实施例四提供的两种不同的制动策略调整方式，在自动紧急制动装置进行制动策略调整时，这两种不同的策略调整方式可以被同时采样，自动紧急制动装置也可以采用其中的任意一种，本发明实施例对此不做具体限定。

实施例六

请参阅图6，图6是本发明实施例提供的一种车辆的制动***的结构框图，该车辆的制动***可应用于自动驾驶领域。如图6所示，该车辆的制动***600包括：驾驶员监控装置610和自动紧急制动装置620；其中，

自动紧急制动装置620，在检测到风险区域时，被配置为向所述驾驶员监控装置发送存在风险区域的检测结果，其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域；

驾驶员监控装置610，在接收到自动紧急制动装置发送的存在风险区域的检测结果时，被配置为基于预先设置的疲劳驾驶检测模型，对包含有驾驶员人脸区域的图像进行识别，确定驾驶员的精神状态，并根据所述精神状态判断驾驶员的反应状态，并将判断结果发送给所述自动紧急制动装置，所述精神状态包括疲劳状态和/或分神状态；

自动紧急制动装置620，被配置为接收判断结果，并根据该判断结果对制动策略进行调整。

需要说明的是，本实施例中，驾驶员监控装置和车辆的自动紧急制动装置集成于同一个车辆的制动***中，但二者也可分别集成于两个车辆的制动***中，两个车辆的制动***之间存在通信连接。

示例性的，请参阅图7，图7是本发明实施例提供的一种结合驾驶员监控装置和自动紧急制动装置的智能化紧急制动方案的实施流程图，应用于自动驾驶领域，参见图7，该方法包括：

700、自动紧急制动装置检测到碰撞风险并发出碰撞警报，并将风险区域的检测结果发送到驾驶员监控装置。

710、驾驶员监控装置接收自动紧急制动装置发送的检测结果，并判断驾驶员对碰撞警报是否存在反应，若是，则执行步骤720；否则，执行步骤760。

720、驾驶员监控装置接收自动紧急制动装置发送的检测结果，并判断驾驶员是否处于分神和/或疲劳状态，若是(判断出驾驶员处于分神状态或疲劳状态中的任意一种或两种)，则执行步骤760；否则(如果不处于分神状态也不处于疲劳状态)，则执行步骤730。

需要说明的是，步骤710和720可先后执行，也可同时进行，即步骤700之后也可直接执行步骤720。

730、驾驶员监控装置检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化，确定驾驶员的视线注视方向，判断视线注视方向是否为风险区域方向，若是，则执行步骤740；否则，执行步骤750；

740、驾驶员监控装置确定驾驶员处于高反应状态，继续执行步骤770。

750、驾驶员监控装置确定驾驶员处于中反应状态，继续执行步骤780。

760、驾驶员监控装置确定驾驶员处于低反应状态，继续执行步骤790。

770、自动紧急制动装置根据驾驶员监控装置发送的反应状态的判断结果，调高对于障碍物检测的置信区间，和/或当自动紧急制动装置检测到与障碍物发生碰撞的剩余时间TTC达到第一时间阈值时介入车辆的制动过程。

780、自动紧急制动装置根据驾驶员监控装置发送的反应状态的判断结果，将对于障碍物检测的置信区间调整到预设置信区间范围内。

790、自动紧急制动装置根据驾驶员监控装置发送的反应状态的判断结果，调低***对于障碍物检测的置信区间，和/或当检测到与障碍物发生碰撞的剩余时间TTC达到第二时间阈值之前介入车辆的制动过程。

其中，第二时间阈值大于第一时间阈值。

本实施例提供的智能化紧急制动方案，驾驶员监控装置和自动紧急制动装置联合组成了一个行之有效的监测模型，可以对驾驶员的驾驶状态进行全面的量化评级。驾驶员监控装置将驾驶员评定为高反应状态、中反应状态、低反应状态等三个等级，自动紧急制动装置再根据并根据驾驶员的反应状态对自身的逻辑判断进行调整，有别于传统方法逻辑判断的单一性和粗暴性，改善了自动紧急制动装置的处理逻辑。

实施例七

请参阅图8，图8是本发明实施例提供的一种车辆的自动紧急制动装置的结构示意图，如图8所示，该车辆的自动紧急制动装置800包括：风险监测结果发送模块810、反应状态接收模块820和制动策略调整模块830；其中，

风险监测结果发送模块810，当检测到风险区域时，被配置为向驾驶员监控装置发送存在风险区域的检测结果，其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域；

反应状态接收模块820，被配置为接收驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果；

制动策略调整模块830，被配置为根据所述判断结果对制动策略进行调整。

本实施例提供了将驾驶员监控装置与自动紧急制动装置相结合的技术方案，通过利用驾驶员监控装置中的摄像头等传感器，可以有效获取驾驶员的注意力、疲劳状况和危险动作等信息。根据这些信息驾驶员监控装置可确定出驾驶员的反应状态并向自动紧急制动装置发送驾驶员的反应状态。自动紧急制动装置可根据反应状态改进其自身的处理逻辑，例如根据反应状态可调整自动紧急制动装置自身对于障碍物检测的置信度阈值，或者调整介入时间等，从而提高自动紧急制动装置触发的准确性与安全性。

在上述实施例的基础上，所述制动策略调整模块830包括：

置信区间调整单元，用于根据所述判断结果调整对于障碍物检测的置信区间，和/或，

介入时间调整单元，用于根据所述判断结果调整介入制动过程的介入时间。

在上述实施例的基础上，所述置信区间调整单元具体被配置为：

如果判断结果为驾驶员处于高反应状态，则调大对于障碍物检测的置信区间；或者，

如果评定结果为驾驶员处于低反应状态，则调小对于障碍物检测的置信区间；或者，

如果评定结果为驾驶员处于中反应状态，则将对于障碍物检测的置信区间调整到预设置信区间范围内。

在上述实施例的基础上，所述介入时间调整单元具体被配置为：

如果评定结果为驾驶员处于高反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第一时间阈值时介入车辆的制动过程；

或者，

如果评定结果为驾驶员处于低反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第二时间阈值时介入车辆的制动过程；

其中，所述第二时间阈值小于所述第一时间阈值。

在上述实施例的基础上，所述高反应状态为：驾驶员不处于分神状态也不处于疲劳状态，并且如果检测出存在风险区域，则驾驶员视线方向为风险区域方向时的状态；其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域；

所述低反应状态为：驾驶员处于分神状态和/或处于疲劳状态；

所述中反应状态为：驾驶员处于分神状态和处于疲劳状态，且驾驶员视线未注视到所述风险区域的状态。

本发明实施例所提供的车辆的制动***可执行本发明任意实施例所提供的应用于自动紧急制动装置的车辆的制动方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的应用于自动紧急制动装置的车辆的制动方法。

本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的应用于自动紧急制动装置的车辆的制动方法的部分或全部步骤的指令。

本发明实施例公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的应用于自动紧急制动装置的车辆的制动方法的部分或全部步骤。

实施例八

请参阅图9，图9是本发明实施例提供的一种驾驶员监控装置的结构示意图，如图9所示，该驾驶员监控装置900包括：精神状态确定模块910和判断结果发送模块920；其中，

精神状态确定模块910，用于基于预先设置的疲劳驾驶检测模型，对包含有驾驶员人脸区域的图像进行识别，确定驾驶员的精神状态，所述精神状态包括疲劳状态和/或分神状态；

判断结果发送模块920，用于根据所述精神状态判断驾驶员的反应状态，并将判断结果发送给自动紧急制动装置，所述判断结果作为自动紧急制动装置的输入，用于指示自动紧急制动装置对制动策略进行调整。

本实施例提供了将驾驶员监控装置与自动紧急制动装置相结合的技术方案，通过利用驾驶员监控装置中的摄像头等传感器，可以有效获取驾驶员的注意力、疲劳状况和危险动作等信息。根据这些信息驾驶员监控装置可确定出驾驶员的反应状态并向自动紧急制动装置发送驾驶员的反应状态。自动紧急制动装置可根据反应状态改进其自身的处理逻辑，例如根据反应状态可调整自动紧急制动装置自身对于障碍物检测的置信度阈值，或者调整介入时间等，从而提高自动紧急制动装置触发的准确性与安全性。

在上述实施例的基础上，所述疲劳驾驶检测模型通过以下方式构建：

获取包含有驾驶员人脸区域的图像；

对所述人脸区域进行关键点定位，确定包含有所述关键点的目标区域，所述目标区域中至少包括眼部和嘴部；

基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的驾驶员的精神状态类别生成训练样本集；

基于所述训练样本集对所述初始深度回归网络模型进行训练，得到疲劳驾驶检测模型，所述疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾驶员的精神状态类别相关联。

在上述实施例的基础上，所述装置还包括：

视线注视方向确定模块，用于检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化，确定驾驶员的视线注视方向；

风向区域方向判断模块，用于判断所述视线注视方向是否为风险区域方向，并根据判断结果确定驾驶员的反应状态。

在上述实施例的基础上，所述装置还包括：

警报反应模块，用于如果检测到自动紧急制动装置发出碰撞警报，则判断驾驶员对所述碰撞警报的反应，以确定驾驶员的反应状态。

在上述实施例的基础上，所述精神状态确定模块910，包括：

目标区域确定单元，用于基于预先设置的疲劳驾驶检测模型，对人脸区域进行关键点定位，确定包含有所述关键点的目标区域，所述目标区域中至少包括眼部和嘴部；

疲劳状态判断单元，用于基于所述疲劳驾驶检测模型，识别驾驶员的眼部状态，以判断驾驶员是否处于疲劳状态；

和/或，

分神状态判断单元，用于基于所述疲劳驾驶检测模型，识别驾驶员的嘴部状态，以判断驾驶员是否处于分神状态。

在上述实施例的基础上，所述疲劳状态判断单元具体用于：

基于所述疲劳驾驶检测模型，对连续若干相邻帧数图像的目标区域进行识别，确定驾驶员的眼球位置，以判断驾驶员是否处于缓慢眨眼或者眼球呆滞不动的状态；

如果判断出驾驶员处于缓慢眨眼或者眼球呆滞不动的状态，则确定驾驶员处于疲劳状态。

在上述实施例的基础上，所述分神状态判断单元具体用于：

基于所述疲劳驾驶检测模型，对连续若干相邻帧数图像的目标区域进行识别，判断驾驶员是否处于打电话或打哈欠状态；

如果处于打电话或打哈欠状态，则确定驾驶员处于分神状态。

本发明实施例所提供的驾驶员监控装置可执行本发明任意实施例所提供的应用于驾驶员监控装置的车辆的制动方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的应用于驾驶员监控装置的车辆的制动方法。

本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的应用于驾驶员监控装置的车辆的制动方法的部分或全部步骤的指令。

本发明实施例还公开一种计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的应用于驾驶员监控装置的车辆的制动方法的部分或全部步骤。

实施例十

请参阅图10，图10是本发明实施例提供的一种疲劳驾驶模型的训练装置的结构示意图，如图10所示，该疲劳驾驶模型的训练装置1000包括：人脸图像获取模块1010和目标区域确定模块1020、训练样本集生成模块1030和模型训练模块1040；其中，

人脸图像获取模块1010，用于获取包含有驾驶员人脸区域的图像；

目标区域确定模块1020，用于对所述人脸区域进行关键点定位，确定包含有所述关键点的目标区域，所述目标区域中至少包括眼部和嘴部；

训练样本集生成模块1030，用于基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的驾驶员的精神状态类别生成训练样本集；

模型训练模块1040，用于基于所述训练样本集对所述初始深度回归网络模型进行训练，得到疲劳驾驶检测模型，所述疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾驶员的精神状态类别相关联。

通过采用上述技术方案，可得到疲劳驾驶检测模型，利用该模型可准确对驾驶员的精神状态进行分类。

本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的疲劳驾驶模型的训练方法的部分或全部步骤。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的疲劳驾驶模型的训练方法的部分或全部步骤。

综上所述，以上各实施例中的疲劳监测以及状态分析模型，主要是以卷积神经网络模型为基础，对驾驶员实时图像进行分析处理，提取人脸区域以及人脸关键点，并基于提前训练好的人脸关键点姿态分类网络，判断驾驶员是否存在闭眼、张嘴打哈欠等行为，对驾驶员的驾驶精神状态进行量化分级。而随着机器学习的不断发展，本实施例中所用到的卷积神经网络模型也在不断发展。具体的，基于所要训练的模型的功能以及该模型所要处理的数据，可以采用不同类型的卷积神经网络作为初始神经网络。常见的用于对象检测的卷积神经网络包括R-CNN(Regions with Convolution Neural Network，基于区域的卷积神经网络)、Fast R-CNN(Fast Regions with Convolution Neural Network，快速的基于区域的卷积神经网络)、Faster R-CNN(Faster Regions with Convolution NeuralNetwork，更快的基于区域的卷积神经网络)、R-FCN(Region-based fully convolutionalnetwork，基于区域的完全卷积网络)、YOLO(You only look once，实施对象检测***)、YOLO9000、SSD(single shot multibox detector，单发多箱探测器)、NASNet(NeuralArchitecture Search Net，神经架构搜索网络)、Mask R-CNN等。在一些可能的实现方式中，可以采用SSD作为初始神经网络模型，修改其部分结构后，对其进行微调再进行训练。在一些可能的实现方式中，可以采用上述提到的其他卷积神经网络，或者采用其他在此领域中取得较好结果的网络。本申请的实施方式在此方面不受任何限制。

由此可见，本申请实例中提供了一种疲劳驾驶监测算法和一种基于此算法的驾驶员疲劳监测模型，以及基于以上两种模型建立的智能化紧急制动方案。目前尚没有AEB与驾驶员监控装置结合的方案，因此本发明的关键点和预保护点在于将AEB与驾驶员监控装置有机结合，互相辅助，利用驾驶员监控装置改进AEB处理逻辑的方法，提高了自动紧急制动装置触发的安全性和准确性，同时保证了驾驶员驾驶的安全性和舒适性。需要注意的是，疲劳监测算法中所涉及到的目标检测、深度学习模型、以及姿态识别算法，可以在具体实施过程中根据实际情况进行必要的改变或者改进；而在驾驶员监控装置中，除了利用上述所提到的疲劳监测算法、检查视线注视方向、检查驾驶员对警报的反馈等方法，驾驶员监控装置也可以利用其它行之有效的方法对驾驶员的驾驶状态进行判定和分析，本申请的实施方式在此方面不受任何限制。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于自动驾驶电子导航地图的驾驶策略生成方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种车辆的制动***，其特征在于，包括自动紧急制动装置和驾驶员监控装置；其中，

所述自动紧急制动装置在检测到风险区域时，被配置为向所述驾驶员监控装置发送存在风险区域的检测结果，其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域；

所述驾驶员监控装置，在接收到所述自动紧急制动装置发送的存在风险区域的检测结果时，被配置为基于预先设置的疲劳驾驶检测模型，对包含有驾驶员人脸区域的图像进行识别，确定驾驶员的精神状态，并根据所述精神状态判断驾驶员的反应状态，并将判断结果发送给所述自动紧急制动装置，所述精神状态包括疲劳状态和/或分神状态；

所述自动紧急制动装置被配置为接收所述判断结果，并根据所述判断结果对制动策略进行调整；

其中，所述驾驶员监控装置，具体被配置为：检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化，确定驾驶员的视线注视方向；如果确定驾驶员不处于分神状态也不处于疲劳状态时，且判断出驾驶员视线注视方向为风险区域方向时，则确定驾驶员的反应状态为高反应状态；

如果确定驾驶员不处于分神状态也不处于疲劳状态，且判断出驾驶员视线注视方向非风险区域方向时，则确定驾驶员的反应状态为中反应状态；

如果驾驶员处于分神状态或者处于疲劳状态，或者既处于分神状态又处于疲劳状态，则确定驾驶员处于低反应状态；

其中，所述自动紧急制动装置包括置信区间调整单元，和/或介入时间调整单元，其中，

所述置信区间调整单元被配置为根据所述判断结果调整对于障碍物检测的置信区间；

所述介入时间调整单元被配置为根据所述判断结果调整介入制动过程的介入时间；

其中，所述置信区间调整单元具体被配置为：如果驾驶员处于高反应状态，则将置信区间调高到90％-100％；如果驾驶员处于低反应状态，则将置信区间调低到30％-50％的范围内；如果驾驶员处于中反应状态，则将对于障碍物检测的置信度阈值调整到50％～70％的范围内；

其中，所述疲劳驾驶检测模型基于训练样本集对初始深度回归网络模型进行训练后得到；其中，所述初始深度回归网络模型通过如下方式得到：

通过采用迁移学习的方法，利用人脸检测领域已取得结果的深度卷积神经网络，对其输出类别数量及需要修改的其他部位的结构做出修改，并直接采用原有网络模型中已有的训练参数，作为初始深度回归网络模型的参数，以进行训练。

2.根据权利要求1所述的制动***，其特征在于，所述驾驶员监控装置，在接收到自动紧急制动装置发送的存在风险区域的检测结果时，具体被配置为：

基于预先设置的疲劳驾驶检测模型，对人脸区域进行关键点定位，确定包含有眼部和嘴部的目标区域；

基于所述疲劳驾驶检测模型，识别驾驶员的眼部状态，以判断驾驶员是否处于疲劳状态；

和/或，

基于所述疲劳驾驶检测模型，识别驾驶员的嘴部状态，以判断驾驶员是否处于分神状态。

3.根据权利要求1所述的制动***，其特征在于，所述介入时间调整单元具体被配置为：

如果评定结果为驾驶员处于高反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第一时间阈值时介入车辆的制动过程；或者，

如果评定结果为驾驶员处于低反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第二时间阈值之前介入车辆的制动过程；

其中，所述第二时间阈值大于所述第一时间阈值。

4.一种车辆的制动方法，应用于自动紧急制动装置，其特征在于，包括：

当检测到风险区域时，向驾驶员监控装置发送存在风险区域的检测结果，其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域；

接收所述驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果；

根据所述判断结果对制动策略进行调整；

其中，所述判断结果是所述驾驶员监控装置根据所述驾驶员的精神状态确定的，所述驾驶员的精神状态包括疲劳状态和/或分神状态，所述精神状态是所述驾驶员监控装置基于预先设置的疲劳驾驶检测模型，通过对包含有驾驶员人脸区域的图像进行识别得到；

其中，所述根据所述判断结果对制动策略进行调整包括：根据所述判断结果调整对于障碍物检测的置信区间；和/或，根据所述判断结果调整介入制动过程的介入时间；

其中，所述根据所述判断结果调整对于障碍物检测的置信区间，包括：

如果判断结果为驾驶员处于高反应状态，则将置信区间调高到90％-100％；或者，

如果评定结果为驾驶员处于低反应状态，则将置信区间调低到30％-50％的范围内；或者，

如果评定结果为驾驶员处于中反应状态，则将对于障碍物检测的置信度阈值调整到50％～70％的范围内；

其中，所述疲劳驾驶检测模型基于训练样本集对初始深度回归网络模型进行训练后得到；其中，初始深度回归网络模型通过如下方式得到：

通过采用迁移学习的方法，利用人脸检测领域已取得结果的深度卷积神经网络，对其输出类别数量及需要修改的其他部位的结构做出修改，并直接采用原有网络模型中已有的训练参数，作为初始深度回归网络模型的参数，以进行训练。

5.根据权利要求4所述的方法，其特征在于，所述根据所述判断结果调整介入制动过程的介入时间，包括：

如果评定结果为驾驶员处于高反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第一时间阈值时介入车辆的制动过程；

或者，

如果评定结果为驾驶员处于低反应状态，则当检测到与障碍物发生碰撞的剩余时间TTC达到第二时间阈值之前介入车辆的制动过程；

其中，所述第二时间阈值大于所述第一时间阈值。

6.一种车辆的自动紧急制动装置，其特征在于，包括：

风险监测结果发送模块，当检测到风险区域时，被配置为向驾驶员监控装置发送存在风险区域的检测结果，其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域；

反应状态接收模块，被配置为接收驾驶员监控装置基于所述检测结果所发送的对驾驶员反应状态的判断结果；

制动策略调整模块，被配置为根据所述判断结果对制动策略进行调整；

其中，所述判断结果是所述驾驶员监控装置根据所述驾驶员的精神状态确定的，所述驾驶员的精神状态包括疲劳状态和/或分神状态，所述精神状态是所述驾驶员监控装置基于预先设置的疲劳驾驶检测模型，通过对包含有驾驶员人脸区域的图像进行识别得到的；

其中，所述制动策略调整模块包括：

置信区间调整单元，用于根据所述判断结果调整对于障碍物检测的置信区间，和/或，

介入时间调整单元，用于根据所述判断结果调整介入制动过程的介入时间；

其中，所述置信区间调整单元具体被配置为：

如果判断结果为驾驶员处于高反应状态，则将置信区间调高到90％-100％；或者，

如果评定结果为驾驶员处于低反应状态，则将置信区间调低到30％-50％的范围内；或者，

如果评定结果为驾驶员处于中反应状态，则将对于障碍物检测的置信度阈值调整到50％～70％的范围内；

其中，所述高反应状态为：驾驶员不处于分神状态也不处于疲劳状态，并且如果检测存在风险区域时，驾驶员视线方向为注视风险区域方向时的状态；其中，所述风险区域为与车辆满足设定距离时存在障碍物的区域；

所述中反应状态为：驾驶员不处于分神状态，也不处于疲劳状态，但驾驶员视线未注视到所述风险区域的状态；

所述低反应状态为：驾驶员处于分神状态和/或处于疲劳状态；

其中，所述疲劳驾驶检测模型基于训练样本集对初始深度回归网络模型进行训练后得到；其中，所述初始深度回归网络模型通过如下方式得到：

通过采用迁移学习的方法，利用人脸检测领域已取得结果的深度卷积神经网络，对其输出类别数量及需要修改的其他部位的结构做出修改，并直接采用原有网络模型中已有的训练参数，作为初始深度回归网络模型的参数，以进行训练。

7.一种疲劳驾驶模型的训练方法，其特征在于，包括：

获取包含有驾驶员人脸区域的图像；

对所述人脸区域进行关键点定位，确定包含有所述关键点的目标区域，所述目标区域中至少包括眼部和嘴部；

基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的驾驶员的精神状态类别生成训练样本集；

基于所述训练样本集对初始深度回归网络模型进行训练，得到疲劳驾驶检测模型，所述疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾驶员的精神状态类别相关联；

其中，所述初始深度回归网络模型通过如下方式得到：

通过采用迁移学习的方法，利用人脸检测领域已取得结果的深度卷积神经网络，对其输出类别数量及需要修改的其他部位的结构做出修改，并直接采用原有网络模型中已有的训练参数，作为初始深度回归网络模型的参数，以进行训练；

其中，完成训练的疲劳驾驶检测模型，用于对包含有驾驶员人脸区域的图像进行识别，确定驾驶员的精神状态，以使驾驶员监控装置根据所述精神状态判断驾驶员的反应状态，并将判断结果发送给自动紧急制动装置；所述自动紧急制动装置被配置为接收所述判断结果，并根据所述判断结果对制动策略进行调整；

其中，所述驾驶员监控装置，具体被配置为：检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化，确定驾驶员的视线注视方向；如果确定驾驶员不处于分神状态也不处于疲劳状态时，且判断出驾驶员视线注视方向为风险区域方向时，则确定驾驶员的反应状态为高反应状态；

如果确定驾驶员不处于分神状态也不处于疲劳状态，且判断出驾驶员视线注视方向非风险区域方向时，则确定驾驶员的反应状态为中反应状态；

如果驾驶员处于分神状态或者处于疲劳状态，或者既处于分神状态又处于疲劳状态，则确定驾驶员处于低反应状态；

其中，所述自动紧急制动装置包括置信区间调整单元，和/或介入时间调整单元，其中，

所述置信区间调整单元被配置为根据所述判断结果调整对于障碍物检测的置信区间；

所述介入时间调整单元被配置为根据所述判断结果调整介入制动过程的介入时间；

其中，所述置信区间调整单元被配置为：如果驾驶员处于高反应状态，则将置信区间调高到90％-100％；如果驾驶员处于低反应状态，则将置信区间调低到30％-50％的范围内；如果驾驶员处于中反应状态，则将对于障碍物检测的置信度阈值调整到50％～70％的范围内。

8.一种疲劳驾驶模型的训练装置，其特征在于，包括：

人脸图像获取模块，被配置为获取包含有驾驶员人脸区域的图像；

目标区域确定模块，被配置为对所述人脸区域进行关键点定位，确定包含有所述关键点的目标区域，所述目标区域中至少包括眼部和嘴部；

训练样本集生成模块，被配置为基于多个图像中的不同眼部特征和嘴部特征及不同眼部特征和嘴部特征分别对应的驾驶员的精神状态类别生成训练样本集；

模型训练模块，被配置为基于所述训练样本集对初始深度回归网络模型进行训练，得到疲劳驾驶检测模型，所述疲劳驾驶检测模型使得所述训练样本集中每个图像中的眼部特征、嘴部特征与该图像对应的驾驶员的精神状态类别相关联；

其中，所述初始深度回归网络模型通过如下方式得到：

通过采用迁移学习的方法，利用人脸检测领域已取得结果的深度卷积神经网络，对其输出类别数量及需要修改的其他部位的结构做出修改，并直接采用原有网络模型中已有的训练参数，作为初始深度回归网络模型的参数，以进行训练；

其中，完成训练的疲劳驾驶检测模型，用于对包含有驾驶员人脸区域的图像进行识别，确定驾驶员的精神状态，以使驾驶员监控装置根据所述精神状态判断驾驶员的反应状态，并将判断结果发送给自动紧急制动装置；所述自动紧急制动装置被配置为接收所述判断结果，并根据所述判断结果对制动策略进行调整；

其中，所述驾驶员监控装置，具体被配置为：检测驾驶员眼球姿态以及驾驶员眼球相对眼眶方位变化，确定驾驶员的视线注视方向；如果确定驾驶员不处于分神状态也不处于疲劳状态时，且判断出驾驶员视线注视方向为风险区域方向时，则确定驾驶员的反应状态为高反应状态；

如果确定驾驶员不处于分神状态也不处于疲劳状态，且判断出驾驶员视线注视方向非风险区域方向时，则确定驾驶员的反应状态为中反应状态；

如果驾驶员处于分神状态或者处于疲劳状态，或者既处于分神状态又处于疲劳状态，则确定驾驶员处于低反应状态；

其中，所述自动紧急制动装置包括置信区间调整单元，和/或介入时间调整单元，其中，

所述置信区间调整单元被配置为根据所述判断结果调整对于障碍物检测的置信区间；

所述介入时间调整单元被配置为根据所述判断结果调整介入制动过程的介入时间；

其中，所述置信区间调整单元被配置为：如果驾驶员处于高反应状态，则将置信区间调高到90％-100％；如果驾驶员处于低反应状态，则将置信区间调低到30％-50％的范围内；如果驾驶员处于中反应状态，则将对于障碍物检测的置信度阈值调整到50％～70％的范围内。

Images