CN102436715A - 疲劳驾驶检测方法 - Google Patents

Abstract

本发明公开了一种疲劳驾驶检测方法，其特征在于包括如下步骤：a、视频图像采集；b、用人脸识别算法对步骤a采集的视频图像中的驾驶员进行身份判定，然后通过车辆GPS信息计算驾驶员驾车时间及驾车里程来判定是否疲劳驾驶；c、与步骤b同时，对步骤a采集的视频图像进行图像视频分析，通过Haar特征人脸识别方法获得人脸位置信息，即在视频图像中定位人脸，获取头部特征，进而定位人眼及嘴部区域，获取眼部特征和嘴部特征，最终通过对头部特征、眼部特征和嘴部特征进行分析，来判定是否属于疲劳驾驶。该检测方法提出一种融合多信息技术的驾驶员疲劳检测算法，极大提高疲劳驾驶判断的准确率和可行性，使疲劳驾驶管理更加有效、智能和实用。

Description

疲劳驾驶检测方法

技术领域

本发明涉及一种疲劳驾驶检测方法。

背景技术

我国交通运输业发展迅速，随之而来的道路交通事故也呈上升趋势，根据交通部门的资料显示，由于疲劳驾驶导致的交通事故占事故总数的20％左右，占特大交通事故的40％以上。交通事故给国家造成巨大的经济损失和人员伤亡，而疲劳驾驶已作为交通事故的主要隐患，已引起人们的强烈关注，针对疲劳驾驶的检测算法，也日渐增多。疲劳驾驶的监测技术可分为主观监测和客观检测。主观监测即检查驾驶员IC打卡或签到的行车记录来判断驾驶员是否疲劳驾驶，这种监测技术对于疲劳驾驶的评判实际上是通过时间标准来界定，而驾驶员代打卡或是篡改行车记录直接影响这种监测技术的准确性。由于不同驾驶员的个人体质、精神状态等方面的差异，在时间标准内也会发生疲劳驾驶，而限定时间内的驾驶员疲劳驾驶无法检测。客观检测技术包括监测心电图、监测脑电图、监测眼睛部分的信息、头部运动信息等。客观检测技术很大程序上提高了疲劳驾驶检测的准确性，但仍存在不足。其中监测心电图、脑电图需要检测装置同驾驶员身体接触，影响驾驶员注意力。而检测眼睛部分的信息或头部信息，对于不同体质，对疲劳表现不同特殊体态的驾驶员，其检测效果同样不理想。

发明内容

本发明针对以上问题的提出，而研制一种疲劳驾驶检测方法。本发明采用的技术手段如下：

一种疲劳驾驶检测方法，其特征在于包括如下步骤：

a、视频图像采集；

b、用人脸识别算法对步骤a采集的视频图像中的驾驶员进行身份判定，然后通过车辆GPS信息计算驾驶员驾车时长t_driver及驾车里程d_driver，预先设定允许驾车时长t_max及驾车里程阈值d_max，然后判断同一驾驶员驾车时长t_driver或驾车里程d_driver是否超过规定阈值：如果同一驾驶员驾车时长t_driver或驾车里程d_driver超过规定阈值，即t_driver＞t_max或d_driver＞d_max，刚视为驾驶员疲劳驾驶，此时报警并将疲劳驾驶图像信息发送到监管部门；如果同一驾驶员连续驾车时长t_driver或驾车里程d_driver没有超过规定阈值则继续监测；

c、与步骤b同时，对步骤a采集的视频图像进行图像视频分析，通过Haar特征人脸识别方法获得人脸位置信息，即在视频图像中定位人脸，进而定位人眼及嘴部区域，以获取头部特征、眼部特征和嘴部特征，进而通过对头部特征、眼部特征和嘴部特征进行分析，来判定是否属于疲劳驾驶，具体步骤如下：

c1、利用定位人脸后得到的人脸矩形区域，计算其中心，以确定头部中心(Hx，Hy)，其中Hx和Hy为头部中心在图像中的位置，即像素坐标值，记录头部中心运动轨迹，如果中心轨迹在一定时间内Hy存在持续上下波动，即Hy＜δ，为抬头，Hy≥δ为低头，其中δ为垂直方向上划定是否点头的标准，这种往复运动记为点头动作，计算点头频率，即某一时间内点头次数与该时间内图像总帧数的比值，当点头频率大于设定值时则判定为疲劳驾驶，此时报警并将疲劳驾驶图像信息发送到监管部门；

c2、定位人眼区域后，计算虹膜外接矩形面积，统计固定时间阈值t内，对虹膜变化面积及眼睛闭合时间进行记录，虹膜外接矩形变化面积小于1/2倍虹膜面积的帧数达到设定阈值的N₁帧，并且眼睛闭合时间达到设定阈值N₂帧，且N₁＞N₂，则判定为疲劳驾驶，此时报警并将疲劳驾驶图像信息发送到监管部门；

c3、对于嘴部区域的定位，计算嘴部区域接矩形，嘴部区域主要检测嘴部形状的改变，正常嘴部闭合时，M_w＞M_h，其中M_w代表嘴部外接矩形的宽，M_h代表嘴部外接矩形的高，统计一段时间内，M_w/M_h＜1.1的视频帧数，如果超过设定阈值，则判定为驾驶员疲劳驾驶，此时报警并将疲劳驾驶图像信息发送到监管部门；

c4、如果步骤c1、c2和c3中判断的信息都没有超过阈值，即没有发生报警，则继续监测。

所述步骤c中为提高人脸定位效率，在定位人脸后得到的人脸矩形区域，将采集到的D1大小视频图像缩放至CIF大小，并根据白天和夜间采集到的图像的色彩信息存在的差异，对白天模式与夜间模式设定不同肤色阈值，以正确缩小定位人脸的检测区域。

所述步骤c3中对于嘴部区域的定位，首先根据面部物理组成特征，选择人脸区域的下1/3部分，缩小嘴部定位范围，再运用灰度投影法，对该区域进行水平和垂直投影，根据灰度值确定嘴部区域。

所述步骤c还包括：对大量疲劳驾驶视频样本采集及分析，获得实际疲劳驾驶情况下疲劳参数，包括点头频率、眨眼频率、闭眼时长、虹膜面积变化、眼睑角度变化、嘴部张合和嘴部有无遮挡信息将每一参数视为独立的事件，设置事件的先验概率和条件概率，利用贝叶斯公式计算，通过贝叶斯网络融合得到的数据，获得疲劳驾驶预定模板，然后将从视频图像智能分析获取的头频率、眨眼频率、闭眼时长、虹膜面积变化、眼睑角度变化、嘴部张合及嘴部有无遮挡信息输入预定模板判断是否疲劳驾驶，如判断为疲劳驾驶报警并将疲劳驾驶图像信息发送到监管部门。

本发明所述检测方法结合几种检测疲劳驾驶具有代表性的指标，提出一种融合多信息技术的驾驶员疲劳检测算法(位置采集技术、人脸识别技术、疲劳检测技术和综合信息处理技术)，有效解决目前疲劳驾驶的靠单一技术手段实现自动监控误报率高的技术瓶颈，极大提高疲劳驾驶判断的准确率和可行性，使疲劳驾驶管理更加有效、智能和实用。疲劳驾驶状态检测融合多信息技术，通过驾驶员身份识别、车辆行使位置信息、里程等判断驾驶员驾车时长是否超过规定限制，进而判断驾驶员是否疲劳驾驶，并在允许驾车时长范围内结合图像智能分析技术，弥补对允许驾车时长范围内发生疲劳驾驶情况的预警。

附图说明

图1眼部结构图；

图2面部结构图；

图3为本发明所述检测方法的流程图；

图4-1贝叶斯网络结构示意图，图4-2贝叶斯计算中概率转移示意图，图4-3贝叶斯计算中数据融合过程示意图。

具体实施方式

如图1至图3所示，该疲劳驾驶检测方法包括如下步骤：

a、视频图像采集；

b、基于驾车时长或驾车里程的判定，用人脸识别算法对步骤a采集的视频图像中的驾驶员进行身份判定，然后通过车辆GPS信息计算驾驶员驾车时长t_driver及驾车里程d_driver，预先设定允许驾车时长t_max及驾车里程阈值d_max，然后判断同一驾驶员驾车时长t_driver或驾车里程d_driver是否超过规定阈值：如果同一驾驶员驾车时长t_driver或驾车里程d_driver超过规定阈值，即t_driver＞t_max或d_driver＞d_max，刚视为驾驶员疲劳驾驶，此时报警并将疲劳驾驶图像信息发送到监管部门；如果同一驾驶员连续驾车时长t_driver或驾车里程d_driver没有超过规定阈值则继续监测；

c、与步骤b同时，采用视频图像的智能分析判定，随着疲劳驾驶算法技术的发展，非接触式的疲劳驾驶检测技术，成为监测疲劳驾驶的主流技术，非接触式的疲劳驾驶的检测技术用以衡量驾驶员是否疲劳驾驶的参数较多，主要分为头部运动信息、眼睛状态、嘴部状态等。对步骤a采集的视频图像进行图像视频分析：首先在视频图像中定位人脸，进而定位人眼及嘴部区域。人脸定位通过Haar特征人脸识别方法获得人脸位置信息F_Rect。为提高人脸定位效率，缩放视频图像至CIF大小，并对白天模式与夜间模式设定不同肤色阈值C_{skin_day}和C_{skin_nig}，对比视频图像，缩小人脸检测范围。人脸定位后即可确定头部中心(Hx，Hy)，记录头部中心运动轨迹，将其作为疲劳驾驶判定的一个因素。确定人脸位置信息F_Rect，即定位人脸后得到的人脸矩形区域，为了提高速度，将采集到的D1(704*576)大小视频图像缩放至CIF(352*288)大小。白天和夜间采集到的图像的色彩信息存在差异，因此对白天模式与夜间模式设定不同肤色阈值Cskin_day和Cskin_nig，正确缩小定位人脸的检测区域。

c1、利用定位人脸位置矩形区域，计算其中心，以确定头部中心(Hx，Hy)，记录头部中心运动轨迹将其作为疲劳驾驶判定的一个因素，如果中心轨迹在一定时间内Hy存在持续上下波动，Hy＜δ，抬头，Hy≥δ，低头，这种往复运动视为点头动作，其中δ为垂直方向上划定是否点头的标准，(它根据摄像头的安装位置，及正常情况下人脸在图像中的位置确定。若设正常情况下人脸的中心垂直方向的值是Ycenter，则δ的取值范围是Ycenter-5＜δ＜Ycenter+5)。计算点头频率(即Hy＜δ和Hy≥δ连续发生一次记为一次点头动作)，即某一时间内点头次数与图像总帧数的比值，当点头频率大于设定值时则判定为疲劳驾驶；

c2、选定人脸区域后，进一步定位人眼区域，人眼定位方法同人脸定位基本相同，只需预先采集正负样本，训练好人眼分类器以备人眼检测。眼部状态特征是作为评判疲劳驾驶的一个因素，计算虹膜外接矩形A的面积，并计算相应的眼睑角度θ(如图1所示)，由边缘检测得到眼睛轮廓，统计固定时间阈值t内，虹膜面积变化、眨眼频率、眼睑角度的变化及眼睛闭合时间并记录，虹膜外接矩形变化面积(当人眼发生闭合时，虹膜面积逐渐变小，即虹膜变化面积，面积都是通过外接矩形近似求得的。)S小于1/2倍虹膜面积的帧数达到N₁帧，并且眼睛闭合时间达到设定阈值N₂帧，且N₁＞N₂，则判定为疲劳驾驶；

c3、对于嘴部区域的定位，首先根据面部物理组成特征，选择人脸区域的下1/3部分(如图2所示)，缩小嘴部定位范围，再运用灰度投影法，对该区域进行水平和垂直投影，根据灰度值确定嘴部区域。嘴部区域主要检测嘴部形状的改变，(疲劳驾驶表现在嘴部上动作就打哈欠及捂嘴，打哈欠动作主要体现在嘴部外接矩形的宽高比的改变，正常嘴部闭合时，M_w＞M_h，其中M_w代表嘴部外接矩形的宽，M_h代表嘴部外接矩形的高，随着嘴部逐渐张大，M_w与M_h的比值会逐渐变小，嘴张较大时，停留时间较长，我们在算法中设定M_w/M_h＜1.1时，即打哈欠状态)，即嘴部外接矩形宽高比变化，以及嘴部有无遮挡(嘴部特征较明显，容易定位，如果没有定位嘴部则认为有遮挡)，统计一段时间内，M_w/M_h＜1.1的视频帧数，如果超过设定阈值，则判定为驾驶员疲劳驾驶。

由于驾驶员个体差异及不同车辆行驶环境的影响，单一的计算机视觉信息无法提供有效准确的判断驾驶员是否疲劳驾驶。例如，单一的通过人的眼部信息进行疲劳驾驶的判断时，如果由于某种原因无法采集到眼部信息时，便无法对疲劳驾驶进行有效准确的判断。因此，我们的疲劳驾驶检测算法，在融合车辆GPS信息判断同时，结合头部运动信息、眼部特征信息、嘴部特征信息进行综合判定，具体过程如图3所示，除上述描述外判定方法外还包括：经大量疲劳驾驶视频样本采集及分析，获得实际疲劳驾驶情况下疲劳参数，包括点头频率B₁、眨眼频率B₂、闭眼时长B₃、虹膜面积变化B₄、眼睑角度变化B₅、嘴部张合B₆、嘴部有无遮挡信息B₇，将每一参数视为独立的事件，设置事件的先验概率和条件概率，(贝叶斯理论是处理不确定性信息的重要工具，作为一种基于概率的不确定性推理方法，它在处理不确定信息的智能化***中已得到了重要的应用，已成功地用于医疗诊断、统计决策、专家***，学习预测等领域。这些成功的应用，充分体现了这种技术是一种强有力的不确定性推理方法。因此，我们在综合判定上采用贝叶斯理论)，利用贝叶斯公式计算，通过贝叶斯网络融合(贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型，所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程，贝叶斯网络结构如图4中4.1所示，其中图4.2表示从t时刻到t+1时刻的疲劳参数的概率转移)，获得疲劳驾驶预定模板，然后将从视频图像智能分析获取的头频率、眨眼频率、闭眼时长、虹膜面积变化、眼睑角度变化、嘴部张合及嘴部有无遮挡信息输入预定模板判断是否疲劳驾驶，如判断为疲劳驾驶报警并将疲劳驾驶图像信息发送到监管部门。

贝叶斯公式如下：P(A|B)＝P(B|A)*P(A)/P(B)，其中

展开表示为

i＝1表示发生，i＝0，表示未发生。P(B₁|A₀)即B₁的A未发生的条件概率，P(B₁|A₁)是B₁的A发生条件概率，以此类推。P(A)疲劳驾驶发生的概率，P(A|B)表示在眼睛、头部、嘴部特征状态下疲劳驾驶发生的条件概率。不同情况下，先验概率和条件概率不同。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种疲劳驾驶检测方法，其特征在于包括如下步骤：

a、视频图像采集；

b、用人脸识别算法对步骤a采集的视频图像中的驾驶员进行身份判定，然后通过车辆GPS信息计算驾驶员驾车时长t_driver及驾车里程d_driver，预先设定允许驾车时长t_max及驾车里程阈值d_max，然后判断同一驾驶员驾车时长t_driver或驾车里程d_driver是否超过规定阈值：如果同一驾驶员驾车时长t_driver或驾车里程d_driver超过规定阈值，即t_driver＞t_max或d_driver＞d_max，刚视为驾驶员疲劳驾驶，此时报警并将疲劳驾驶图像信息发送到监管部门；如果同一驾驶员连续驾车时长t_driver或驾车里程d_driver没有超过规定阈值则继续监测；

c、与步骤b同时，对步骤a采集的视频图像进行图像视频分析，通过Haar特征人脸识别方法获得人脸位置信息，即在视频图像中定位人脸，进而定位人眼及嘴部区域，以获取头部特征、眼部特征和嘴部特征，进而通过对头部特征、眼部特征和嘴部特征进行分析，来判定是否属于疲劳驾驶，具体步骤如下：

c1、利用定位人脸后得到的人脸矩形区域，计算其中心，以确定头部中心(Hx，Hy)，其中Hx和Hy为头部中心在图像中的位置，即像素坐标值，记录头部中心运动轨迹，如果中心轨迹在一定时间内Hy存在持续上下波动，即Hy＜δ，为抬头，Hy≥δ为低头，其中δ为垂直方向上划定是否点头的标准，这种往复运动记为点头动作，计算点头频率，即某一时间内点头次数与该时间内图像总帧数的比值，当点头频率大于设定值时则判定为疲劳驾驶，此时报警并将疲劳驾驶图像信息发送到监管部门；

c2、定位人眼区域后，计算虹膜外接矩形面积，统计固定时间阈值t内，对虹膜变化面积及眼睛闭合时间进行记录，虹膜外接矩形变化面积小于1/2倍虹膜面积的帧数达到设定阈值的N₁帧，并且眼睛闭合时间达到设定阈值N₂帧，且N₁＞N₂，则判定为疲劳驾驶，此时报警并将疲劳驾驶图像信息发送到监管部门；

c3、对于嘴部区域的定位，计算嘴部区域接矩形，嘴部区域主要检测嘴部形状的改变，正常嘴部闭合时，M_w＞M_h，其中M_w代表嘴部外接矩形的宽，M_h代表嘴部外接矩形的高，统计一段时间内，M_w/M_h＜1.1的视频帧数，如果超过设定阈值，则判定为驾驶员疲劳驾驶，此时报警并将疲劳驾驶图像信息发送到监管部门；

c4、如果步骤c1、c2和c3中判断的信息都没有超过阈值，即没有发生报警，则继续监测。

2.根据权利要求1所述的一种疲劳驾驶检测方法，其特征在于所述步骤c中为提高人脸定位效率，在定位人脸后得到的人脸矩形区域，将采集到的D1大小视频图像缩放至CIF大小，并根据白天和夜间采集到的图像的色彩信息存在的差异，对白天模式与夜间模式设定不同肤色阈值，以正确缩小定位人脸的检测区域。

3.根据权利要求1所述的一种疲劳驾驶检测方法，其特征在于所述步骤c3中对于嘴部区域的定位，首先根据面部物理组成特征，选择人脸区域的下1/3部分，缩小嘴部定位范围，再运用灰度投影法，对该区域进行水平和垂直投影，根据灰度值确定嘴部区域。

4.根据权利要求1所述的一种疲劳驾驶检测方法，其特征在于所述步骤c还包括：对大量疲劳驾驶视频样本采集及分析，获得实际疲劳驾驶情况下疲劳参数，包括点头频率、眨眼频率、闭眼时长、虹膜面积变化、眼睑角度变化、嘴部张合和嘴部有无遮挡信息将每一参数视为独立的事件，设置事件的先验概率和条件概率，利用贝叶斯公式计算，通过贝叶斯网络融合，获得疲劳驾驶预定模板，然后将从视频图像智能分析获取的头频率、眨眼频率、闭眼时长、虹膜面积变化、眼睑角度变化、嘴部张合及嘴部有无遮挡信息输入预定模板判断是否疲劳驾驶，如判断为疲劳驾驶报警并将疲劳驾驶图像信息发送到监管部门。

Images