CN104809445A - 基于眼部和嘴部状态的疲劳驾驶检测方法 - Google Patents

Abstract

基于眼部和嘴部状态的疲劳驾驶检测方法属图像处理和模式识别技术领域，本发明包括下列步骤：驾驶员视频图像采集，光照补偿预处理，人脸区域检测，综合疲劳判断，发出疲劳警报；其中人脸区域检测包括眼部检测和嘴部检测；眼部检测包括用投影法获取眼部区域，作眼部特征分析，与标准特征比较，进行k值计算和眼部疲劳的判断；嘴部检测包括用mouth-map法获取嘴部区域，作嘴部特征分析，与标准特征比较，进行p值计算和打哈欠的判断；本发明结合眼部和嘴部两个特征参数进行判断，与单一参数相比对疲劳判断的准确率和可靠性更高，本发明的实施可大幅降低由于驾驶员疲劳驾驶而引发的交通事故，为保证驾驶员的生命财产安全，提供了一种新的防范措施。

Description

基于眼部和嘴部状态的疲劳驾驶检测方法

技术领域

本发明属图像处理和模式识别技术领域，具体涉及一种基于驾驶员的眼部和嘴部状态的疲劳检测方法。

背景技术

随着经济的迅速发展，汽车的数量在不断增加。汽车在给人类带来交通快捷方便的同时，也为交通安全埋下了隐患，驾驶员的疲劳驾驶是引发交通事故的一个重要因素。据数据统计，有20％的交通事故发生原因是疲劳驾驶，因此对驾驶员做出实时准确的疲劳警告尤为重要。

经过专家学者近几十年的研究，目前对驾驶员疲劳的检测方法主要有接触式和非接触式两类：

一.接触式，基于驾驶员生理特征的检测，这种方法需要在驾驶员的身体上加一些测量设备，来检测驾驶员的生理参数，比如心电图、脑电图、脉搏等。当驾驶员疲劳时，这些生理信号会发生变化，利用设备的测量值变化来判断是否疲劳。

二.非接触式，分为基于车辆行为特征的检测和基于驾驶员行为特征的检测两种方法。其中，①基于车辆行为特征的检测：驾驶员疲劳时，对车辆的驾驶控制能力就会降低。比如，当检测到方向盘长时间不动或变换频繁、车辆速度和转弯角度等异常时，驾驶员就很有可能处于疲劳状态。虽然这种方法不会干扰驾驶，但由于道路状况、驾驶员的驾驶习惯等不同，很难保证检测结果的准确性。②基于驾驶员行为特征的检测：通过检测驾驶员的眼睛闭合度、眨眼频率、头部位置等来判断驾驶员是否疲劳。当驾驶员处于疲劳状态时，最常见的生理行为反应就是眼睛长时间闭合、眨眼频率降低、眨眼周期变长、打哈欠，以及头部位置异常等，利用机器视觉检测上述生理反应，经处理识别就可判断驾驶员是否疲劳。

上述两类方法中，接触式的基于驾驶员生理特征的检测方法对检测设备的精度要求高、成本高，而且直接与驾驶员接触，会给驾驶带来干扰。非接触式类的基于车辆行为特征的检测方法虽然不会干扰驾驶，但由于道路状况、驾驶员的驾驶习惯等不同，很难保证检测结果的准确性。基于驾驶员行为特征的检测方法具有对驾驶员无干扰，准确性高而且成本低的优势，是应用最广泛的。这种方法通常是借助图像处理技术检测出人脸，然后提取眼睛，基于PERCLOS原理计算出单位时间内眼睛闭合时间所占的比例，通过与阈值比较来判断驾驶员是否疲劳。这种方法对眼睛的检测要求高，鉴于在人脸上眼睛所占的比例相对比较小，人眼的大小也有区别，而且判断元素单一，会造成疲劳判断结果不理想的情况。

发明内容

本发明的目的在于提供一种基于眼部和嘴部状态的疲劳驾驶检测方法，在以往疲劳检测方法的基础上加以改进和创新，使疲劳检测结果更为理想。

本发明的基于眼部和嘴部状态的疲劳驾驶检测方法，包括下列步骤：

1.采集驾驶员视频流，将视频流转换为帧图像；

2.进行图像的光照补偿预处理：用“参考白”算法首先检测图像中像素点的亮度，得到亮度值在前5％的像素，设置亮度值在前5％的像素点的灰度值均为255，然后依比例对图像的RGB三个分量进行线性调整，得到光照补偿后的图像；

3.检测人脸区域：对步骤2得到的光照补偿后的图像，基于肤色特征区分肤色点和非肤色点，得到肤色区域的二值图像，并对二值图像进行连通性分析的数学形态学处理；用投影法提取人脸区域；

4.设定眼部和嘴部特征初始标准值：假设驾驶员在进入驾驶室时处于清醒状态，对此刻获得的图像进行处理，将所得到的眼部状态和嘴部状态的初始值作为标准值并保存；

5.进行眼部区域的提取及特征分析：对步骤3得到的人脸区域二值图像进行水平和垂直投影，分割出包括眉毛在内的眼部区域，然后用此眼部区域特征进行状态分析，具体包括下列步骤：

5.1对步骤5得到的包括眉毛在内的眼部区域进行灰度处理，得到眼部区域的灰度图像，对此灰度图像像素点的x坐标求均值，得到图像像素点的水平平均强度，在均值图像上会出现两个明显的波谷，根据两个波谷之间距离差d的不同，来判断眼睛是睁开还是闭合，将初始图像处理得到的两个波谷之间的距离差d₀作为参考标准，若d-d₀大于所设定的阈值，则将眼睛判为闭合状态，否则为正常状态；

5.2眼睛疲劳判断：用k记录眼睛连续闭合的图像帧数，每检测到眼睛闭合时k加1，在k小于阈值的情况下，若检测到眼睛睁开，则将k初始化为0；在k大于阈值的情况下，说明此时不是眨眼，是眼睛疲劳，其中：k是整数型变量，用k来计数，k的初始值为0；

6.进行嘴部区域的提取及特征分析：对步骤3得到的人脸区域取下半部分，用下列数学表达式提取嘴部区域，然后用此嘴部区域特征进行状态分析，具体包括下列步骤：

$\mathrm{mouth}\_\mathrm{map}={\left(C_r\right)}^2\×{({\left(C_r\right)}^2-\frac{\mathrm{\η}\×C_r}{C_b})}^2;$

其中：C_r是红色色度分量，C_b是蓝色色度分量，n是人脸区域图像像素点个数，η是C_r(x,y)²的平均值与的平均值的估测比值；

6.1用嘴部区域的二值图像，计算嘴部区域的面积s；以初始图像得到的嘴部区域面积s₀作为参考标准值，计算嘴部区域面积s与初始图像得到的嘴部区域面积s₀的比值若比值大于所设定的阈值，则判断为嘴巴张开，否则判为正常；其中：嘴部区域面积s与初始图像得到的嘴部区域面积s₀的比值可以用像素点数目的比值来代替，n₀为初始嘴部区域像素点个数，n为当前帧图像的嘴部区域像素点个数；

6.2打哈欠判断：用p值记录嘴巴连续张开的图像帧数，每检测到嘴巴张开时p加1；在p小于阈值的情况下，若检测到嘴巴正常，则将p初始化为0；在p大于阈值的情况下，说明此时是在打哈欠，驾驶员处于疲劳状态，其中：p是整数型变量，用p来计数，p的初始值为0；

7.综合疲劳判断：根据步骤5.2和步骤6.2，当检测到眼睛疲劳，或打哈欠，或两者同时发生时，给出疲劳警报，使驾驶员停车休息或更换驾驶员。

上述的步骤5和步骤6是同步进行。

本发明结合眼部状态和嘴部状态这两个参数来对驾驶员的疲劳状态进行检测。其中，在对眼部状态进行检测时，利用了眉毛和眼睛之间的特征变化关系，而不需要精确检测到眼睛，减小了搜索范围，是一种新的判断眼睛状态的方法。另外，即使在驾驶员佩戴墨镜或眼镜的情况下，结合对嘴部特征的检测，也不会对驾驶员的疲劳状态造成漏检，使疲劳检测效果更为理想。

本发明结合眼部和嘴部两个特征参数进行判断，与单一参数相比对疲劳判断的准确率和可靠性更高，本发明的实施，可大幅降低由于驾驶员疲劳驾驶而引发的交通事故，为保证驾驶员的生命财产安全，提供了一种新的防范措施。

附图说明

图1为基于眼部和嘴部状态的疲劳驾驶检测方法的流程图

图2为睁眼状态的眼睛灰度图

图3为正常睁眼时的检测效果图

图4为闭眼状态的眼睛灰度图

图5为眼睛闭合时的检测效果图

具体实施方式

下面结合附图对本发明的目的、具体技术方法和效果进行描述，以便本领域的技术人员更好地理解本发明。本发明采用了眼部和嘴部特征来检测驾驶员是否疲劳，如图1所示，该方法包括下列步骤：

1.采集驾驶员视频流，将视频流转换为帧图像。

2.进行图像的光照补偿预处理：光照会随着驾驶环境和时间发生变化，对肤色特征的提取影响很大，因此先进行光照补偿，可以更好地提取到人脸区域。用到的是一种“参考白”算法，首先检测图像中像素点的亮度，得到亮度值在前5％的像素，设置亮度值在前5％的像素点的平均灰度值为255，即将这些像素作为“参考白”，然后依比例对图像的RGB三个分量进行线性调整，得到光照补偿后的图像。

3.检测人脸区域：利用肤色特征检测人脸是一种比较简单有效的方法。将图像从RGB转换到HSV和YCbCr色彩空间进行处理，在YCbCr色彩空间，亮度分量Y和色度信息CbCr是独立的，利用肤色的聚类特性可以很好地将肤色区域提取出来。在HSV色彩空间，色调Hue在肤色区域和非肤色区域有着明显的不同值。采用下列公式(1)提取肤色区域：

C_r≥140 and C_r≤165 and C_b≥140and C_b≤195and

Hue≥0.01 and Hue≤0.1    (1)

对步骤2得到的光照补偿后的图像，利用上述公式(1)区分肤色点和非肤色点，肤色点置为1，非肤色点置为0，得到肤色区域的二值图像，并对二值图像进行连通性分析等数学形态学处理；用投影法找出人脸边界，然后精确提取人脸区域。

4.设定眼部和嘴部特征初始标准值：以驾驶员最初进入驾驶室时的清醒状态的特征作为参考标准，保存此时的特征值，用驾驶过程中检测到的特征值与之比较，并作出是否疲劳的判断。假设驾驶员在进入驾驶室时处于清醒状态，对此刻获得的图像进行处理，将所得到的眼部状态和嘴部状态的初始值作为标准值并保存。

5.进行眼部区域的提取及特征分析：根据眼睑到眉毛的高度h来判断眼睛的睁闭，当眼睛闭合时，眼睑运动到眼睛最下部，此时高度h是最大的；当正常睁眼时，眼睑运动到眼睛上部，此时高度h是最小的。对步骤3得到的人脸区域二值图像进行水平和垂直投影，分割出包括眉毛在内的眼部区域，然后用上述原理对此眼部区域特征进行状态分析，具体包括下列步骤：

5.1对步骤5得到的包括眉毛在内的眼部区域进行灰度处理，得到眼部区域的灰度图像，如图2和图4所示，对此灰度图像的x坐标求均值，在均值图像上会出现两个明显的波谷，根据两个波谷之间距离差d的不同，可以判断眼睛是睁开还是闭合。结合图3和图5分析，将初始图像处理得到的两个波谷之间的距离差d₀作为参考标准，若d-d₀大于所设定的阈值，则将眼睛判为闭合状态，否则为正常状态。

5.2眼睛疲劳判断：一般的眨眼持续时间是0.3秒左右，超过这个时间则说明驾驶员可能处于闭眼睡眠状态。用k值记录眼睛连续闭合的图像帧数，通过k值与设定阈值k₀的比较，对眨眼与否作出判断。将k初始值设置为0，每当检测到眼睛闭合时k加1。在k小于阈值k₀的情况下，若检测到眼睛睁开，则将k初始化为0；在k₀大于阈值k₀的情况下，说明此时不是眨眼，是眼睛疲劳；其中：k是整数型变量，用k来计数，k₀是最长眨眼持续时间对应的图像帧数。

6.进行嘴部区域的提取及特征分析：嘴在人脸的下半部分，只取人脸下半部做检测可以提高检测效率和准确度。在嘴部区域，红色是最强的，蓝色是最弱的，唇色和肤色存在一定的差别，对步骤3得到的人脸区域取下半部分，用下列数学表达式(2)提取嘴部区域。人处在疲劳状态时，除了眼睛长时间闭合，还伴随着打哈欠的现象。当打哈欠时，嘴巴张开的幅度很大，此时嘴巴区域的面积就会比正常时的面积大，对应的像素点的个数也会比正常时的多。用上述原理对嘴部区域特征进行状态分析，具体包括下列步骤：

$\mathrm{mouth}\_\mathrm{map}={\left(C_r\right)}^2\×{({\left(C_r\right)}^2-\frac{\mathrm{\η}\×C_r}{C_b})}^2---\left(2\right)$

其中：C_r是红色色度分量，C_b是蓝色色度分量，n是人脸区域图像像素点个数，η是C_r(x,y)²的平均值与的平均值的估测比值；

6.1将提取到的唇色区域转换为二值图像，经过腐蚀、扩张，找出最大连通域，并对有孔洞的嘴巴区域作填充处理，然后计算嘴部区域的面积s；以初始图像得到的嘴部区域面积s₀作为参考标准值，计算嘴部区域的面积s与初始图像得到的嘴部区域面积s₀的比值若比值大于所设定的阈值，则判断为嘴巴张开，否则判为正常；其中：嘴部区域的面积s与初始图像得到的嘴部区域面积s₀的比值可以用像素点数目的比值来代替，n₀为初始嘴部区域像素点个数，n为当前帧图像的嘴部区域像素点个数。

6.2打哈欠判断：驾驶员在说话时需要张大嘴巴的情况不多，即使有张大嘴巴的需要也不会持续很长时间，会远远小于打哈欠的时间。一般情况下人一次打哈欠的时间大约是5秒钟以上，用p值记录嘴巴连续张开的图像帧数，p初始值为0，每检测到嘴巴张开p加1；在p小于阈值p₀的情况下，若检测到嘴巴正常，则将p初始化为0；在p大于阈值p₀的情况下，说明此时是在打哈欠，驾驶员处于疲劳状态。其中：p是整数型变量，用p来计数，p₀为5秒钟的时间内对应的图像帧数。

7.综合疲劳判断：根据步骤5.2和步骤6.2，当检测到眼睛疲劳，或打哈欠，或两者同时发生时，给出疲劳警报，使驾驶员停车休息或更换驾驶员。

上述的步骤5.2和步骤6.2是同步进行。

Claims (2)

1.一种基于眼部和嘴部状态的疲劳驾驶检测方法，其特征在于包括下列步骤：

1.1采集驾驶员视频流，将视频流转换为帧图像；

1.2进行图像的光照补偿预处理：用“参考白”算法首先检测图像中像素点的亮度，得到亮度值在前5％的像素，设置亮度值在前5％的像素点的灰度值均为255，然后依比例对图像的RGB三个分量进行线性调整，得到光照补偿后的图像；

1.3检测人脸区域：对步骤1.2得到的光照补偿后的图像，基于肤色特征区分肤色点和非肤色点，得到肤色区域的二值图像，并对二值图像进行连通性分析的数学形态学处理；用投影法提取人脸区域；

1.4设定眼部和嘴部特征初始标准值：假设驾驶员在进入驾驶室时处于清醒状态，对此刻获得的图像进行处理，将所得到的眼部状态和嘴部状态的初始值作为标准值并保存；

1.5进行眼部区域的提取及特征分析：对步骤1.3得到的人脸区域二值图像进行水平和垂直投影，分割出包括眉毛在内的眼部区域，然后用此眼部区域特征进行状态分析，具体包括下列步骤：

1.5.1对步骤1.5得到的包括眉毛在内的眼部区域进行灰度处理，得到眼部区域的灰度图像，对此灰度图像像素点的x坐标求均值，得到图像像素点的水平平均强度，在均值图像上会出现两个明显的波谷，根据两个波谷之间距离差d的不同，来判断眼睛是睁开还是闭合，将初始图像处理得到的两个波谷之间的距离差d₀作为参考标准，若d-d₀大于所设定的阈值，则将眼睛判为闭合状态，否则为正常状态；

1.5.2眼睛疲劳判断：用k记录眼睛连续闭合的图像帧数，每检测到眼睛闭合时k加1，在k小于阈值的情况下，若检测到眼睛睁开，则将k初始化为0；在k大于阈值的情况下，说明此时不是眨眼，是眼睛疲劳，其中：k是整数型变量，用k来计数，k的初始值为0；

1.6进行嘴部区域的提取及特征分析：对步骤1.3得到的人脸区域取下半部分，用下列数学表达式提取嘴部区域，然后用此嘴部区域特征进行状态分析，具体包括下列步骤：

$\mathrm{mouth}\_\mathrm{map}={\left(C_r\right)}^2\×{({\left(C_r\right)}^2-\frac{\mathrm{\η}\×C_r}{C_b})}^2;$

其中：C_r是红色色度分量，C_b是蓝色色度分量，n是人脸区域图像像素点个数，η是C_r(x,y)²的平均值与的平均值的估测比值；

1.6.1用嘴部区域的二值图像，计算嘴部区域的面积s；以初始图像得到的嘴部区域面积s₀作为参考标准值，计算嘴部区域面积s与初始图像得到的嘴部区域面积s₀的比值若比值大于所设定的阈值，则判断为嘴巴张开，否则判为正常；其中：嘴部区域面积s与初始图像得到的嘴部区域面积s₀的比值可以用像素点数目的比值来代替，n₀为初始嘴部区域像素点个数，n为当前帧图像的嘴部区域像素点个数；

1.6.2打哈欠判断：用p值记录嘴巴连续张开的图像帧数，每检测到嘴巴张开时p加1；在p小于阈值的情况下，若检测到嘴巴正常，则将p初始化为0；在p大于阈值的情况下，说明此时是在打哈欠，驾驶员处于疲劳状态，其中：p是整数型变量，用p来计数，p的初始值为0；

1.7综合疲劳判断：根据步骤1.5.2和步骤1.6.2，当检测到眼睛疲劳，或打哈欠，或两者同时发生时，给出疲劳警报，使驾驶员停车休息或更换驾驶员。

2.按权利要求1所述的基于眼部和嘴部状态的疲劳驾驶检测方法，其特征在于所述的步骤1.5和步骤1.6是同步进行。