CN111179552A

CN111179552A - 基于多传感器融合的驾驶员状态监测方法和***

Info

Publication number: CN111179552A
Application number: CN201911411926.9A
Authority: CN
Inventors: 张迎午; 陶学新; 张伟
Original assignee: Suzhou Tsingtech Microvision Electronic Technology Co ltd
Current assignee: Suzhou Tsingtech Microvision Electronic Technology Co ltd
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2020-05-19

Abstract

本发明公开了一种基于多传感器融合的驾驶员状态监测方法，包括：将获取的图像进行不同尺度的缩放，生成图像金字塔，对人脸和五官进行定位；对定位得到的人脸和五官，通过卷积神经网络提取眼部和嘴部区域特征，统计一定时间内闭眼的时长，若超过阈值，则判别处于第一疲劳状态，统计一定时间嘴巴张开的时长，若超过阈值，则判别处于第二疲劳状态；采集驾驶员的心率信息，通过连续时间的队列计算心率方差D，当D<阈值T时，则判断处于第三疲劳状态；设置三种疲劳状态的权重，将三种疲劳状态进行叠加，判定疲劳等级，并以语音播报和/或震动座椅的方式进行提醒。将面部识别结果和心率监测结果进行动态融合，可以准确判定疲劳驾驶状态，精度更高。

Description

基于多传感器融合的驾驶员状态监测方法和***

技术领域

本发明涉及疲劳驾驶检测技术领域，具体地涉及一种基于多传感器融合的驾驶员状态监测方法和***。

背景技术

驾驶人疲劳状态的检测目前有较多研究的方法，按检测的类别可大致分为基于驾驶人生理信号的检测、基于驾驶人操作行为的检测、基于车辆状态信息的检测和基于驾驶人生理反应特征的检测等方法。

基于生理信号(脑电信号、心电信号等)判别疲劳驾驶的准确性较高，且对所有健康的驾驶员来说，生理信号差异性不大，具有共性，但传统的生理信号采集方式需要采用接触式测量，给驾驶人疲劳检测的实际应用带来很多不便和局限性。

驾驶人的操作行为除了与疲劳状态有关外，还受到个人习惯、行驶速度、道路环境、操作技能的影响，因此需要考虑的干扰因素较多，影响基于驾驶人操作行为(如方向盘操作等)判别疲劳驾驶的精确度。

利用车辆行驶轨迹变化和车道线偏离等车辆行驶状态信息也可推测驾驶人的疲劳状态，但是车辆的行驶状态也与车辆特性、道路等很多环境因素有关，和驾驶人的驾驶经验以及驾驶习惯相关性较大，因此基于车辆状态信息判别疲劳驾驶需要考虑的干扰因素也较多。

基于驾驶人生理反应特征的疲劳驾驶判别方法是指利用驾驶人的眼睛特性、嘴部运动特征等推断驾驶人的疲劳状态，这些信息被认为是反映疲劳的重要特征，眨眼幅度、眨眼频率、平均闭合时间和打哈欠的动作等都可直接用于检测疲劳，主要存在以下不足：(1)光照复杂变化(2)驾驶员头部姿态多变(3)不同驾驶员个体差异性。影响驾驶员脸部检测以及五官定位的精度，从而降低驾驶员驾驶行为模型空间的鲁棒性。

但是，由于驾驶员的个体差异，单一检测指标的检测手段存在局限性，主要表现为准确性较低、容易出现偏差，等等。

因此，如何将多传感器信息融合技术引入到驾驶疲劳检测技术中来，以提高驾驶员疲劳检测的准确性和实时性，成为亟待解决的问题。

发明内容

为了解决上述技术问题，本发明提出了一种基于多传感器融合的驾驶员状态监测***和方法，将面部识别结果和心率监测结果进行动态融合，可以准确判定疲劳驾驶状态，精度更高。

本发明所采用的技术方案是：

一种基于多传感器融合的驾驶员状态监测方法，包括以下步骤：

S01：通过红外摄像头获取实时单帧红外图像；

S02：将获取的图像进行不同尺度的缩放，生成图像金字塔，对人脸和五官进行定位；

S03：对定位得到的人脸和五官，通过卷积神经网络提取眼部和嘴部区域特征，分别训练驾驶员眼睛状态分类器和嘴部状态Softmax分类器，使用眼睛状态分类器判别是否存在闭眼行为，使用嘴部状态Softmax分类器判别是否存在打哈欠行为，统计一定时间内驾驶员闭眼的时长，若超过阈值，则判别驾驶员处于第一疲劳状态，统计一定时间驾驶员嘴巴张开的时长，若超过阈值，则判别驾驶员处于第二疲劳状态；

S04：通过安装于汽车方向盘上的心率传感器，采集驾驶员的心率信息，通过连续时间的队列计算心率方差D，设置采样数据训练疲劳阈值T，当D<T时，则判断驾驶员处于第三疲劳状态；

S05：设置第一疲劳状态的权重为β，第二疲劳状态的权重为γ，第三疲劳状态为α，将三种疲劳状态进行叠加，判定疲劳等级，并以语音播报和/或震动座椅的方式进行提醒。

优选的技术方案中，所述步骤S02中驾驶员人脸和五官定位包括以下步骤：

(1)构建第一卷积神经网络作为提议网络，用于快速输出大量候选人脸窗口，并且计算每个人脸框的边界回归向量，对候选人脸窗口进行校准，使用非极大值抑制方法合并高度重叠的人脸框；

(2)构建第二卷积神经网络作为精炼网络对提议网络输出的人脸框进行处理，删除非人脸窗口，并计算人脸框的边界框回归向量，使用非极大值抑制方法提炼人脸框；

(3)构建第三卷积神经网络作为输出网络，对精炼网络的输出人脸框进行判别，并计算人脸框的边界回归向量，使用非极大值抑制方法删除重叠的人脸框，对面部特征点进行回归，输出人脸的五官坐标。

优选的技术方案中，所述步骤S05中，当0<α+β+γ≤a时，则判别为是轻度疲劳，通过发出语音播报方式提醒；当a<α+β+γ≤b时，则判别为中度疲劳，通过间断语音播报和震动座椅双重方式进行提醒；当b<α+β+γ≤1时，则判定为重度疲劳，通过连续语音播报和震动座椅双重方式进行提醒。

本发明还公开了一种基于多传感器融合的驾驶员状态监测***，包括：

红外摄像头，获取实时单帧红外图像；

处理定位模块，将获取的图像进行不同尺度的缩放，生成图像金字塔，对人脸和五官进行定位；

面部识别模块：对定位得到的人脸和五官，通过卷积神经网络提取眼部和嘴部区域特征，分别训练驾驶员眼睛状态分类器和嘴部状态Softmax分类器，使用眼睛状态分类器判别是否存在闭眼行为，使用嘴部状态Softmax分类器判别是否存在打哈欠行为，统计一定时间内驾驶员闭眼的时长，若超过阈值，则判别驾驶员处于第一疲劳状态，统计一定时间驾驶员嘴巴张开的时长，若超过阈值，则判别驾驶员处于第二疲劳状态；

第二识别模块，通过安装于汽车方向盘上的心率传感器，采集驾驶员的心率信息，通过连续时间的队列计算心率方差D，设置采样数据训练疲劳阈值T，当D<T时，则判断驾驶员处于第三疲劳状态；

疲劳等级判定模块，设置第一疲劳状态的权重为β，第二疲劳状态的权重为γ，第三疲劳状态为α，将三种疲劳状态进行叠加，判定疲劳等级；

提醒模块，根据疲劳等级以语音播报和/或震动座椅的方式进行提醒。

优选的技术方案中，所述处理定位模块中驾驶员人脸和五官定位包括以下步骤：

优选的技术方案中，当0<α+β+γ≤a时，则判别为是轻度疲劳，通过发出语音播报方式提醒；当a<α+β+γ≤b时，则判别为中度疲劳，通过间断语音播报和震动座椅双重方式进行提醒；当b<α+β+γ≤1时，则判定为重度疲劳，通过连续语音播报和震动座椅双重方式进行提醒。

与现有技术相比，本发明的有益效果是：

1、本发明将面部识别结果和心率监测结果进行动态融合，可以准确判定疲劳驾驶状态，准确度高，实时性好。

2、本发明针对疲劳驾驶通过语音和震动座椅双重提醒方法，可以有效提醒疲劳司机。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为基于多传感器融合的驾驶员状态监测方法的流程图；

图2为本发明驾驶员人脸和五官定位流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例

如图1、2所示，本发明的基于多传感器融合的驾驶员状态监测方法，包括如下步骤：

S01，通过红外摄像头获取实时单帧红外图像；

S02，使用一种基于多任务级联的卷积神经网络对输入图片由粗到精的对驾驶员的人脸区域和面部五官进行定位。首先将输入图像进行不同尺度的缩放，生成图像金字塔，保证驾驶员脸部的尺度不变性。驾驶员面部定位和五官定位包含三个阶段：(1)提议网络。构建第一卷积神经网络快速输出大量候选人脸窗口，并且计算每个人脸框的边界回归向量，对候选人脸窗口进行校准，使用非极大值抑制方法合并高度重叠的人脸框。

(2)精炼网络。构建第二卷积神经网络对提议网络输出的人脸框进行进一步判别和调整，删除非人脸窗口，并计算人脸框的边界框回归向量，使用非极大值抑制方法提炼人脸框。

(3)输出网络。构建第三卷积神经网络，对精炼网络的输出人脸框进行判别，并计算人脸框的边界回归向量，使用非极大值抑制方法删除重叠的人脸框，对面部特征点进行回归，输出人脸的五官坐标。

S03，通过S02得到驾驶员的人脸和五官位置，我们通过对驾驶员的眼睛和嘴部区域分别进行提取。基于深度学习技术，使用卷积神经网络提取眼部和嘴部区域特征，分别训练驾驶员眼睛状态分类器和嘴部状态的Softmax分类器。使用眼睛状态分类器来判别驾驶员是否存在闭眼行为，使用嘴部状态分类器来判别驾驶员是否存在打哈欠行为。

S04，在汽车方向盘上安装心率传感器，通过驾驶员手与方向盘接触来采集驾驶员的心率信息，通过处理器对心电信息进行处理来计算驾驶员的疲劳程度，本发明采用连续十秒钟队列来计算心率方差D，设置采样数据训练疲劳阈值T，当D<T时，则判断驾驶员处于疲劳状态。通过心率来判别驾驶员是否疲劳作为疲劳状态1。

S05，对于驾驶员面部疲劳特征和心率信号，本发明采用三个权重分别对应于驾驶员的闭眼、打哈欠、心电图疲劳三种疲劳判别特征。考虑到人在正常情况下会存在间接性的存在眨眼和打哈欠行为。通过统计两秒内驾驶员闭眼的时长超过阈值，则判别驾驶员眼睛处于疲劳状态2，统计三秒钟驾驶员嘴巴张开的时长超过阈值，则判别驾驶员处于疲劳状态3。

本发明将心电图疲劳特征1对应的权重为α＝0.5，心电图没有存在疲劳特征时，α＝0，闭眼疲劳特征2对应的权重为β＝0.25，没有存在闭眼疲劳特征时，β＝0，打哈欠疲劳特征3对应的权重为γ＝0.25，没有存在打哈欠疲劳特征时，γ＝0。使用这三种加权方法来判别驾驶员的疲劳程度。

本发明将驾驶员疲劳等级分为轻度疲劳、中度疲劳和重度疲劳三个等级，当0<α+β+γ≤0.25时，则判别为是轻度疲劳，终端发出语音播报方式提醒，当0.25<α+β+γ≤0.5时，则判别为中度疲劳，通过间断语音播报和震动座椅双重方式来提醒驾驶员注意安装。当0.5<α+β+γ≤1时，则判定为重度疲劳，通过连续语音播报和座椅双重方式来提醒驾驶员。

红外摄像头，获取实时单帧红外图像；

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims

1.一种基于多传感器融合的驾驶员状态监测方法，其特征在于，包括以下步骤：

S01：通过红外摄像头获取实时单帧红外图像；

2.根据权利要求1所述的基于多传感器融合的驾驶员状态监测方法，其特征在于，所述步骤S02中驾驶员人脸和五官定位包括以下步骤：

3.根据权利要求1所述的基于多传感器融合的驾驶员状态监测方法，其特征在于，所述步骤S05中，当0<α+β+γ≤a时，则判别为是轻度疲劳，通过发出语音播报方式提醒；当a<α+β+γ≤b时，则判别为中度疲劳，通过间断语音播报和震动座椅双重方式进行提醒；当b<α+β+γ≤1时，则判定为重度疲劳，通过连续语音播报和震动座椅双重方式进行提醒。

4.一种基于多传感器融合的驾驶员状态监测***，其特征在于，包括：

红外摄像头，获取实时单帧红外图像；

5.根据权利要求4所述的基于多传感器融合的驾驶员状态监测***，其特征在于，所述处理定位模块中驾驶员人脸和五官定位包括以下步骤：

6.根据权利要求4所述的基于多传感器融合的驾驶员状态监测***，其特征在于，当0<α+β+γ≤a时，则判别为是轻度疲劳，通过发出语音播报方式提醒；当a<α+β+γ≤b时，则判别为中度疲劳，通过间断语音播报和震动座椅双重方式进行提醒；当b<α+β+γ≤1时，则判定为重度疲劳，通过连续语音播报和震动座椅双重方式进行提醒。