CN104318237A - 基于人脸识别的疲劳驾驶预警方法 - Google Patents

Abstract

基于人脸识别的疲劳驾驶预警方法，涉及计算机视觉。设置应用环境，采用红外光源，在摄像头添加滤光片，使人眼能够产生红眼效应；摄像头采集红外环境的图像，获取图像帧，进行差分处理，得到的差分图像能够凸显出具有红眼效应的瞳孔部分；然后将差分后的图像进行图像增强操作，突出感兴趣的区域，即眼部区域瞳孔部分；对增强后的图像进行自适应阈值，将图像二值化，用来自适应凸显瞳孔与背景图像的差异；对经过二值化后的图像做开运算，消除图片仍旧存在的非感兴趣区域噪点或者偏移条纹；提取眼部特征，定位瞳孔，采用卡尔曼滤波，缩小下一帧眼部区域提取范围，准确进行人眼进行动态跟踪定位；通过提取到的眼部特征，计算眼睛特征参数，由PERCLOS值的大小做出疲劳程度判决。

Description

基于人脸识别的疲劳驾驶预警方法

技术领域

本发明涉及计算机视觉，特别涉及一种基于人脸识别的疲劳驾驶预警方法。

背景技术

在全球范围内，司机的疲劳驾驶已成为导致交通安全事故的重要原因之一。当驾驶员因睡眠不足、饮酒及生病等因素而引起视线模糊、反映迟钝、注意力分散等现象时，将直接影响到驾驶员的感知、思维、判断、决策及运动执行能力，特别是经常进行24小时任意时间工作的货车，疲劳驾驶引起的灾难事故可以达到60％(中国交通年鉴[M].中国交通出版社.2010)。在严峻的交通事故形势下，研究预防驾驶员疲劳驾驶的方法很有必要。如今通过人体信息判别驾驶员身体的疲劳状况来进行预警并提供相应的防护手段，是目前国内外专家和学者的一个研究热点，研究成果也具有重要的意义(李都厚，刘群，袁伟等.疲劳驾驶与交通事故关系[J].交通运输工程学报,2010,10(2):104-109)。当前研究疲劳驾驶检测的机构和正在开发的疲劳检测方法主要有：

基于生理信号检测方法(李增勇，焦昆，陈铭.汽车驾驶员模拟精神负荷与心率变异性的相关性分析[J].北京生物医学工程,2002,3:49-51)是将生物度量与疲劳状况联系起来，主要是利用各种终传感器获取驾驶员在驾车过程中的各项生理指标，包括脑电波，心电图，肌电图，体液分泌情况等各种生理反应。

基于交通工具行为的检测方法(A.Williamson,A.Feyer,R.Friswell.The impactof work practices on fatigue in long distance truck drivers Accident Analysis andPrevention,1996,28(6):709–719)是当车辆偏离原来的行驶路线时，***则会捕获到该信息并发出报警信号，主要应用在高速公路上车辆的红外监测。

基于计算机视觉的检测方法(眼部识别的驾驶员疲劳检测方法研究[D].大连：大连海事大学，2013)是通过分析捕捉到驾驶员的一些与疲劳相关的细微动作如垂头打盹、闭眼或者眯眼，目光是否注视路面，打哈欠的频率等动作信息来判断驾驶员的疲劳程度。

因此提高车载疲劳报警方法的实时性、准确性、可靠性，降低制作成本，以及寻找非接触性的、信息融合的疲劳检测方法，都将是未来疲劳驾驶的研究方向。

发明内容

本发明的目的在于提供基于车载的、视觉的、实时性、检测速度快、准确的一种基于人脸识别的疲劳驾驶预警方法。

本发明包括以下步骤：

1)设置应用环境，采用红外光源，在摄像头添加滤光片，消除可见光的影响，使人眼能够产生红眼效应；

2)摄像头采集红外环境的图像，获取图像帧，并对图像进行差分处理，得到的差分图像能够凸显出具有红眼效应的瞳孔部分；然后将差分后的图像进行图像增强操作，改善图像的视觉效果，突出感兴趣的区域，即眼部区域瞳孔部分；

3)对增强后的图像进行自适应阈值，将图像二值化，用来自适应凸显瞳孔与背景图像的差异；

4)对经过二值化后的图像做开运算，消除图片仍旧存在的非感兴趣区域噪点或者偏移条纹；

5)提取眼部特征，定位瞳孔，采用卡尔曼滤波，缩小下一帧眼部区域提取范围，准确进行人眼进行动态跟踪定位；

6)通过提取到的眼部特征，计算眼睛特征参数，由PERCLOS值的大小做出疲劳程度判决。

在步骤1)中，所述设置应用环境可采用内外红外光圈的设计。

在步骤2)中，所述摄像头采集红外图像的具体方法可为：对采集后的图像进行差分运算，通过人眼对红外光源产生的红眼效应，将前后相邻的亮暗瞳孔的两幅图像进行差分，得到的差分图像除去背景干扰，突出了像素值差异较大的部分，即瞳孔区域。

所述差分图像除去背景干扰的具体方法可为：对图像做滤波处理，用于滤除在图像采集或传输转换过程中产生的噪声，消除对人眼特征提取和目标分割的不利影响。

在步骤3)中，所述对增强后的图像进行自适应阈值，是采用大津法根据差分图像来自动选择合适的阈值进行分割，使图像的二值化具有自适应性，对环境的适应性增强。

在步骤4)中，所述对经过二值化后的图像做开运算，是对二值图像先腐蚀后膨胀的过程，开运算可以用来消除小物体，断开某些狭窄连接像素，同时能够平滑感兴趣的瞳孔区域的边界却不明显改变其面积影响计算。

在步骤5)中，所述提取眼部特征，定位瞳孔的具体方法可为：通过摄像头获取瞳孔亮暗程度不同的帧间图像，结合人眼的几何约束条件能够快速而准确的找到人眼区域，并采用卡尔曼滤波跟踪定位瞳孔，通过卡尔曼滤波预测下一帧图像的运动状态，缩小眼部特征的提取范围，准确实现眼部区域的动态跟踪；

所述卡尔曼滤波跟踪定位瞳孔的具体步骤可为：

(1)初始化***状态。

(2)在第k帧中，根据上一帧预测的范围内进行眼部瞳孔提取，若提取到瞳孔，则修正卡尔曼滤波器的***状态参数，若没有提取到，则下一帧搜索范围回归到整幅图片，并将下一次搜索的结果重新开始卡尔曼滤波过程。

(3)使用卡尔曼滤波器预测下一帧图像的运动状态，缩小特征的提取范围。

(4)重复步骤(2)(3)的动作。

在步骤6)中，所述计算眼睛特征参数，是当定位到瞳孔区域后，就可以利用它来提取轮廓计算眼睛的特征参数。所述眼睛的特征参数选择眼睛的高宽比和眼部的面积，眼睛的高宽比采用瞳孔定位后的轮廓的外接矩形框的长宽来确定；眼部的面积除了统计像素点个数之外也可以通过外接矩形框进行长宽的积来快速计算，通过计算轮廓外接矩形的面积和高宽比，若其面积小于一定的阈值，则认为是闭眼，否则视为睁眼；所述疲劳程度判决是通过计算一段时间内眼睛闭合状态占所有状态的比率，驾驶员眼睛闭合的时间越长，计算得到的PERCLOS值就越大，反映出驾驶员的疲劳程度也就会越大，通过测量眼睛闭合状态的比率来判断驾驶员的疲劳程度，对驾驶员的疲劳状态得出一个数值化的结果，一旦检测出驾驶员处于疲劳驾驶状态，就采取相对应的措施发出警报。

本发明是通过对眼部瞳孔特征的提取并结合疲劳判定的准则，对驾驶员的疲劳程度进行科学判决。本发明的有益效果如下：

本发明采用机器视觉的方法对驾驶员的疲劳状态进行判定具有众多的优势，是目前最主流的技术之一。本发明将白天和夜晚的疲劳检测统一起来，采用同一征提取的方式，对环境的变化不敏感，有较好的自适应性，准确度高，与模式识别的特征提取相比该方法针对***使用环境进行设计，简单高效，且准确率高，改进了模式识别的缺点，为***的大规模推广奠定了基础。

附图说明

图1是本发明实施例的原理框图；

图2是本发明实施例的红外灯源结构图；

图3是本发明实施例的人眼跟踪定位算法结构框图；

图4是本发明实施例的疲劳判别框图。

具体实施方式

为使本发明的目的、技术方案和技术效果更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步说明。

本发明是一个基于人脸识别的疲劳驾驶预警方法。

如图1所示，***眼部特征的提取及定位。人眼定位是判断驾驶员是否疲劳的关键步骤。驾驶员的眼睛是否能准确定位出来，将直接影响疲劳检测的准确度。可利用850nm红外光源人为产生红眼效应，因此摄像头可以获取瞳孔亮度不相同的前后两帧图像。由外圈灯亮产生暗瞳孔图片，即一般照明图片。然后将前后相邻的亮暗瞳孔的两帧图像进行差分运算。这样可以突出像素值相差的区域，尤其是瞳孔区域，并且可以排除不必要的背景干扰。从差分图像中可以观察到瞳孔区域的图像亮度相对于其他区域更亮，图像之间的差异明显。对差分后的图像进行图像增强操作，增强后的图像需要通过一个阈值进行二值化产生二值图片方便定位。对图像作阈值处理，需要选定一个适合的阈值V有效的突出眼睛区域。本发明采用大津法按图像的灰度特性,将图像分成背景和目标两部分，计算阈值进行图像二值化后，前景与背景图像的类间方差最大。这样能够根据差分图像来自动选择合适的阈值进行分割。对二值图像做开运算，消除图片仍旧存在一些非感兴趣区域噪点或者偏移条纹。采用卡尔曼滤波来跟踪定位瞳孔，实现眼部区域的动态定位。计算一段时间内眼睛闭合状态占所有状态的比率，由PERCLOS准则来判定驾驶员的疲劳程度。

如图2所示，本发明采用红外光源来设置驾驶员的应用环境，红外光源越靠近摄像头镜头光轴，越容易把从眼睛反射出来的光线直接投射进摄像头的传感器。当用摄像头采集图像时，使红外光源照射在驾驶员脸上，在镜头上加贴红外滤光片来消除可见光的影响，通过摄像头实时采集驾驶员眼部区域图像。

如图3所示，当摄像头获取到具有红眼效应的图像之后，对亮暗瞳孔图像做差分处理，得到凸显出瞳孔的图像。采用大津法做自适应阈值之后得到二值图像，***对人眼的定位方法采用眼的几何特点做为相关约束条件，从而找到人眼区域。通过以下四个约束条件筛选眼部区域：

1、眼睛在图像的上半部，同时头发、额头也占一部分空间，即眼睛中点在的行应该满足L/15<r<L/2。其中，L是图像的总行数，即图像的高度；

2、由瞳孔的形状决定区域的高宽比或者宽高比应该位于1左右。

3、眼睛区域所占的面积应该大于一定的阈值，排除躁点的干扰。

4、眼睛区域所占的面积应该小于一定的阈值，排除由于阈值取值不当导致大面积白斑的干扰。

筛选出眼部区域之后，再采用卡尔曼滤波来跟踪瞳孔，实现眼部区域的动态跟踪定位。

如图4所示，通过定位瞳孔所在的位置之后，就可以利用它来提取轮廓计算眼睛特征的参数。眼睛的高宽比和面积等参数在分析眼睛状态识别中比较简单可行并且有效的途径。眼睛的高宽比采用瞳孔定位后的轮廓的外接矩形框的长宽来确定。而眼部的面积除了统计像素点个数之外也可以通过外接矩形框进行长宽的积来快速的计算。

睁闭眼的判定采用如下方法：通过差分图像来定位眼睛，在闭眼的情况下，无法产生红眼效应，图像处理后的理想状态是瞳孔区域的面积几乎为0。眼睛睁得越大，红眼效应就越明显，获得的瞳孔区域的面积也就越大。因此，通过计算轮廓外接矩形的面积和高宽比。若面积小于一定的阈值，则认为是闭眼，否则视为睁眼。

计算一段时间内眼睛闭合状态占所有状态的比率。驾驶员眼睛闭合的时间越长，计算得到的PERCLOS值就越大，反映出驾驶员的疲劳程度也就会越严重。因此可以通过测量眼睛闭合状态的比率来判断驾驶员的疲劳程度。

Claims (10)

1.基于人脸识别的疲劳驾驶预警方法，其特征在于包括以下步骤：

1)设置应用环境，采用红外光源，在摄像头添加滤光片，消除可见光的影响，使人眼能够产生红眼效应；

2)摄像头采集红外环境的图像，获取图像帧，并对图像进行差分处理，得到的差分图像能够凸显出具有红眼效应的瞳孔部分；然后将差分后的图像进行图像增强操作，改善图像的视觉效果，突出感兴趣的区域，即眼部区域瞳孔部分；

3)对增强后的图像进行自适应阈值，将图像二值化，用来自适应凸显瞳孔与背景图像的差异；

4)对经过二值化后的图像做开运算，消除图片仍旧存在的非感兴趣区域噪点或者偏移条纹；

5)提取眼部特征，定位瞳孔，采用卡尔曼滤波，缩小下一帧眼部区域提取范围，准确进行人眼进行动态跟踪定位；

6)通过提取到的眼部特征，计算眼睛特征参数，由PERCLOS值的大小做出疲劳程度判决。

2.如权利要求1所述基于人脸识别的疲劳驾驶预警方法，其特征在于在步骤1)中，所述设置应用环境采用内外红外光圈的设计。

3.如权利要求1所述基于人脸识别的疲劳驾驶预警方法，其特征在于在步骤2)中，所述摄像头采集红外图像的具体方法为：对采集后的图像进行差分运算，通过人眼对红外光源产生的红眼效应，将前后相邻的亮暗瞳孔的两幅图像进行差分，得到的差分图像除去背景干扰，突出了像素值差异较大的部分，即瞳孔区域。

4.如权利要求3所述基于人脸识别的疲劳驾驶预警方法，其特征在于所述差分图像除去背景干扰的具体方法为：对图像做滤波处理，用于滤除在图像采集或传输转换过程中产生的噪声，消除对人眼特征提取和目标分割的不利影响。

5.如权利要求1所述基于人脸识别的疲劳驾驶预警方法，其特征在于在步骤3)中，所述对增强后的图像进行自适应阈值，是采用大津法根据差分图像来自动选择合适的阈值进行分割，使图像的二值化具有自适应性，对环境的适应性增强。

6.如权利要求1所述基于人脸识别的疲劳驾驶预警方法，其特征在于在步骤4)中，所述对经过二值化后的图像做开运算，是对二值图像先腐蚀后膨胀的过程。

7.如权利要求1所述基于人脸识别的疲劳驾驶预警方法，其特征在于在步骤5)中，所述提取眼部特征，定位瞳孔的具体方法为：通过摄像头获取瞳孔亮暗程度不同的帧间图像，结合人眼的几何约束条件能够快速而准确的找到人眼区域，并采用卡尔曼滤波跟踪定位瞳孔，通过卡尔曼滤波预测下一帧图像的运动状态，缩小眼部特征的提取范围，准确实现眼部区域的动态跟踪。

8.如权利要求7所述基于人脸识别的疲劳驾驶预警方法，其特征在于所述卡尔曼滤波跟踪定位瞳孔的具体步骤为：

(1)初始化***状态；

(2)在第k帧中，根据上一帧预测的范围内进行眼部瞳孔提取，若提取到瞳孔，则修正卡尔曼滤波器的***状态参数，若没有提取到，则下一帧搜索范围回归到整幅图片，并将下一次搜索的结果重新开始卡尔曼滤波过程；

(3)使用卡尔曼滤波器预测下一帧图像的运动状态，缩小特征的提取范围；

(4)重复步骤(2)(3)的动作。

9.如权利要求1所述基于人脸识别的疲劳驾驶预警方法，其特征在于在步骤6)中，所述计算眼睛特征参数，是当定位到瞳孔区域后，利用它来提取轮廓计算眼睛的特征参数；所述眼睛的特征参数是选择眼睛的高宽比和眼部的面积，眼睛的高宽比采用瞳孔定位后的轮廓的外接矩形框的长宽来确定；眼部的面积除了统计像素点个数之外也可以通过外接矩形框进行长宽的积来快速计算，通过计算轮廓外接矩形的面积和高宽比，若其面积小于一定的阈值，则认为是闭眼，否则视为睁眼。

10.如权利要求1所述基于人脸识别的疲劳驾驶预警方法，其特征在于在步骤6)中，所述疲劳程度判决是通过计算一段时间内眼睛闭合状态占所有状态的比率，驾驶员眼睛闭合的时间越长，计算得到的PERCLOS值就越大，反映出驾驶员的疲劳程度也就会越大，通过测量眼睛闭合状态的比率来判断驾驶员的疲劳程度，对驾驶员的疲劳状态得出一个数值化的结果，一旦检测出驾驶员处于疲劳驾驶状态，就采取相对应的措施发出警报。