CN103235931A - 一种人眼疲劳检测方法 - Google Patents

Abstract

本发明公开了一种人眼疲劳检测方法，通过人脸检测器和肤色模型进行人脸检测，输出最终人脸区域；通过人眼检测器和人眼合成模板在所述最终人脸区域实现人眼定位，输出人眼精确定位区域，并更新所述人眼合成模板；对所述人眼精确定位区域进行人眼轮廓点采样，获取采样点，对所述采样点进行椭圆拟合，当短半轴和长半轴的比值小于第二阈值时，则为闭眼，否则为睁眼；在连续N帧内是闭眼状态，或在阈值时间内闭眼状态所占比例大于阈值ratios时，则判断为疲劳状态，否则为清醒状态。本方法受个体因素及光线的影响较小，具有较强的鲁棒性；较强的实时性和精确性，大大降低了误报的几率。

Description

一种人眼疲劳检测方法

技术领域

本发明涉及图像处理和模式识别领域，特别涉及一种人眼疲劳检测方法。

背景技术

疲劳是一种主观不适感觉，但客观上会在同等条件下，失去完成原来所从事的正常活动或工作的能力。因此，在某些特殊的岗位上，疲劳会影响到工作质量及任务完成，甚至会造成不可避免的灾祸。例如：驾驶疲劳会影响到驾驶人的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方面，疲劳驾驶可能会出现动作迟误或过早，操作停顿或修正时间不当等不安全因素，极易发生道路交通事故，因此，疲劳后严禁驾驶车辆。而在国家安全领域，疲劳也是导致安防工作人员注意力下降，诱发各类问题的重要隐患。因此，在驾驶人员或执行安防任务人员等特殊岗位上的人员出现疲劳状态时及时进行监督预警，迫使其对自身行为进行控制、纠正，对确保人身安全和国家安全有着重要意义。

近年来，疲劳检测技术主要包括以下两类检测方法：

1）针对生理信号的检测方法：通过借助医疗仪器和设备，对人体的生理信号进行实时检测，从而判断人体是否疲劳；该检测方法在应用中需要采用比较复杂的接触类装置，不仅费用高而且由于装置的限制而削弱了其发展空间；

2）针对车辆运行状况的检测方法：通过传感器监测车辆行驶路线、汽车运行速度、相对车道的偏离程度等，进而分析车辆运行是否正常，驾驶员操作动作是否合理，以此为据来判断驾驶员的疲劳状态；该检测方法受外在因素例如：车型、路况和天气影响比较大，并且应用领域有限，只能应用于驾驶疲劳检测上。

为了解决上述两类检测方法存在的缺陷，现有技术中又提出了第三类检测方法，即针对人体反应特征的检测方法：采用视觉方法识别判断人体在疲劳状态时的反应特征，例如：眼睛闭合、低头和频繁打哈欠等，此类方法采取非接触方式来检测疲劳，***设置方便，检测准确度高。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有的针对人体反应特征的检测方法容易受到光线以及个体因素的影响，导致检测精度不高；而且实时性较差，存在误报的情况，影响工作质量和任务完成。

发明内容

本发明提供了一种人眼疲劳检测方法，本方法提高了人眼疲劳的检测精度，并具有较强的实时性，避免了由于延时导致的误报，详见下文描述：

一种人眼疲劳检测方法，所述方法包括以下步骤：

（1）通过人脸检测器和肤色模型进行人脸检测，输出最终人脸区域；

（2）通过人眼检测器和人眼合成模板在所述最终人脸区域实现人眼定位，输出人眼精确定位区域，并更新所述人眼合成模板；

（3）对所述人眼精确定位区域进行人眼轮廓点采样，获取采样点，对所述采样点进行椭圆拟合，当短半轴和长半轴的比值小于第二阈值时，则为闭眼，否则为睁眼；

（4）重新执行步骤（1），在连续N帧内是闭眼状态，或在阈值时间内闭眼状态所占比例大于阈值ratios时，则判断为疲劳状态，否则为清醒状态。

所述通过人脸检测器和肤色模型进行人脸检测，输出最终人脸区域的步骤具体包括：

1）基于Haar特征和Adaboost级联分类器构建所述人脸检测器，将当前一帧被检测视频图像输入至所述人脸检测器；

2）所述人脸检测器判断被检测视频图像中是否包含人脸，如果是，获取人脸的位置信息，记为候选人脸区域，执行步骤3）；如果否，输入当前帧的下一帧被检测视频图像至所述人脸检测器，重新执行步骤2），直至遍历完被检测视频图像的所有帧；

3）通过HSV色彩空间的肤色检测模型对所有候选人脸区域进行检测，判断当前候选人脸区域是否存在肤色信息，如果是，执行步骤5）；如果否，执行步骤4）；

4）判断下一候选人脸区域是否存在肤色信息，如果是，执行步骤5）；如果否，判决为闭眼；

5）输出初始人脸区域；

6）对所述初始人脸区域进行融合，获取所述最终人脸区域。

所述对所述初始人脸区域进行融合，获取所述最终人脸区域的步骤具体为：

计算所有初始人脸区域中心的平均值作为融合后人脸区域的中心，然后计算所有人脸区域半径的平均值作为融合后人脸区域的半径。

所述通过人眼检测器和人眼合成模板在所述最终人脸区域实现人眼定位，输出人眼精确定位区域的步骤具体包括：

1）通过所述最终人脸区域对人眼进行粗定位，输出人眼粗定位区域；

2）基于Haar特征和Adaboost级联模型构建所述人眼检测器，在所述人眼粗定位区域的基础上，通过所述人眼检测器和所述人眼合成模板进行精确定位，输出所述人眼精确定位区域。

所述基于Haar特征和Adaboost级联模型构建所述人眼检测器，在所述人眼粗定位区域的基础上，通过所述人眼检测器和所述人眼合成模板进行精确定位，输出所述人眼精确定位区域的步骤具体包括：

1）通过所述人眼检测器判断所述人眼粗定位区域是否存在人眼，如果是，进行人眼合成模板学习；如果否，重新执行步骤（1）；

2）通过所述人眼检测器和所述人眼合成模板分别对所述人眼粗定位区域分别进行处理，获取人眼检测区域和人眼匹配区域，以及两区域中心点的欧式距离；

3）判断所述欧氏距离是否小于第一阈值T1，如果是，执行步骤4）；如果否，执行步骤5）；

4）融合所述人眼检测区域和所述人眼匹配区域，获取所述人眼精确定位区域，更新所述人眼合成模板；

5）所述人眼匹配区域为所述人眼精确定位区域。

所述更新所述人眼合成模板具体为：

计算所述人眼检测区域和所述人眼匹配区域中心的平均值作为融合后所述人眼精确定位区域的中心，计算所述人眼检测区域和所述人眼匹配区域半径的平均值作为融合后所述人眼精确定位区域的半径，并截取所述人眼精确定位区域合成新的人眼合成模板。

本发明提供的技术方案的有益效果是：本方法通过融合人眼检测器和人眼合成模板实现了人眼的精确定位，具有较强的实时性和精确性，大大降低了误报的几率；并且由于本方法采取不断更新合成模板的方法，受个体因素及光线的影响较小，具有较强的鲁棒性。

附图说明

图1为人脸精确定位的流程图；

图2为人眼粗定位区域的示意图；

图3为人眼合成模板的学习流程图；

图4为人眼精确定位的流程图；

图5为一种人眼疲劳检测方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了提高人眼疲劳的检测精度，避免延时导致的误报、光线以及个体因素的影响，本发明实施例提供了一种人眼疲劳检测方法，参见图5，详见下文描述：

101：通过人脸检测器和肤色模型进行人脸检测，输出最终人脸区域；

其中，参见图1，本方法通过人脸检测器及肤色模型进行人脸检测，并利用视频时序信息来避免单帧检测结果的疏漏，从而达到人脸的精确定位。

当前流行的人脸检测方法主要分为两种：基于人脸区域特征的人脸检测模型构建和基于肤色模型的人脸区域检测。人脸检测模型过于依赖分类器的好坏，而一个分类器的训练需要耗费很大精力来获得，并且不能够保证分类器的精确度。因此，人脸检测模型中会导致误检和漏检情况。而基于肤色的人脸检测算法可以有效地检测出绝大多数包含人脸的区域，并且能够对倾斜角度的人脸进行检测，但是在定位精度上和抗干扰性上有着不足。

因此，本方法提出通过融合人脸检测器及肤色模型进行人脸区域检测，并利用视频时序信息来避免单帧检测结果的疏漏，从而达到人脸的精确定位。

1）基于Haar特征和Adaboost级联分类器构建人脸检测器，将当前一帧被检测视频图像输入至人脸检测器；

其中，基于Haar特征^[3]和Adaboost级联分类器构建人脸检测器^[1]为本领域技术人员所公知，本发明实施例对此不做限制。

2）人脸检测器判断被检测视频图像中是否包含人脸，如果是，获取人脸的位置信息，记为候选人脸区域，执行步骤3）；如果否，输入当前帧的下一帧被检测视频图像至人脸检测器，重新执行步骤2），直至遍历完被检测视频图像的所有帧；

3）通过HSV色彩空间的肤色检测模型对所有候选人脸区域进行检测，判断当前候选人脸区域是否存在肤色信息，如果是，执行步骤5）；如果否，执行步骤4）；

其中，肤色是人脸的重要性信息，不依赖于面部的细节特征，对于旋转、表情等变化情况都能适用，具有相对的稳定性。本方法在人脸检测模型所检测人脸区域中，采用肤色模型进行进一步的人脸检测。不失一般性，在实验中通过HSV色彩空间的肤色检测模型^[2]检测（HSV色彩空间的肤色检测模型^[2]为本领域技术人员所公知，本发明实施例对此不做限制），去掉了候选人脸区域中不符合肤色模型的区域，仅仅保留符合肤色模型的人脸区域。这样既通过Adaboost筛选掉一些背景，减少目标搜索时间，提高检测速度；又能够进一步地确定人脸区域，得到人脸的精确定位。

4）判断下一候选人脸区域是否存在肤色信息，如果是，执行步骤5）；如果否，判决为闭眼；

5）输出初始人脸区域；

即通过上述的步骤，对被检测视频图像的所有帧都进行人脸检测，得到1个或多个初始人脸区域。

6）对初始人脸区域进行融合，获取最终人脸区域。

其中，对初始人脸区域进行融合处理，具体为：将所有初始人脸区域融合为一个最终人脸区域。融合方法为首先计算所有初始人脸区域中心的平均值作为融合后人脸区域的中心，然后计算所有人脸区域半径的平均值作为融合后人脸区域的半径。

102：通过人眼检测器和人眼合成模板在最终人脸区域实现人眼定位，输出人眼精确定位区域，并更新人眼合成模板；

本方法通过融合人眼检测器和人眼合成模板以及最终人脸区域约束实现人眼精确定位，既解决了人眼的准确检测，又解决了人眼定位的实时性。

1）通过最终人脸区域对人眼进行粗定位，输出人眼粗定位区域；

根据人脸与五官的分布具有“三庭五眼”的比例关系、输出的最终人脸区域实现人眼粗定位，输出人眼粗定位区域，如图2所示圆形区域代表最终人脸区域，并设最终人脸区域直径为D，矩形区域代表人眼粗定位区域I，图中参数为本实验中的参考值。

2）基于Haar特征和Adaboost级联模型构建人眼检测器，在人眼粗定位区域的基础上，通过人眼检测器和人眼合成模板进行精确定位，输出人眼精确定位区域。

其中，基于Haar特征^[3]和Adaboost级联模型构建人眼检测器^[1]为本领域技术人员所公知，本发明实施例对此不做赘述。

判别人眼的状态，首先需要精确定位人眼，人眼检测器具有较好的实时性，但是如果单独用人眼检测器来定位人眼，由于人眼检测器受噪声、光线、场景和个体差异的影响较大，所以一旦场景复杂、光线变化、人物变换，可能出现定位错误的结果。模板匹配^[4]是一种有效的模式识别技术，能够利用图像信息和有关识别模式的先验知识，更加直接地反应图像之间的相似度，模板匹配具有一定的鲁棒性，但是传统的模板匹配方法虽然实现简单，但是计算量十分庞大，花费的时间太长。

因此，本方法提出通过人眼检测器、人眼合成模板以及人眼粗定位区域实现人眼精确定位。这样既解决了模板匹配的实时问题又能解决人眼检测器的鲁棒性问题。

（1）通过人眼检测器判断人眼粗定位区域是否存在人眼，如果是，进行人眼合成模板学习；如果否，重新执行步骤101；

其中，人眼合成模板学***均后得到一个人眼合成模板，如图3为模板学习流程图。

（2）通过人眼检测器和人眼合成模板分别对人眼粗定位区域分别进行处理，获取人眼检测区域和人眼匹配区域，以及两区域中心点的欧式距离；

参见图4，用Adaboost算法在人眼粗定位区域上检测人眼，如果检测到人眼则获取人眼检测区域，并记录人眼的中心位置S1=(x₁,y₁)及半径R1；如果检测不到人眼，则判断为闭眼状态，重新执行步骤101。

与此同时，利用第一步学习得到的人眼合成模板在人眼粗定位区域上进行模板匹配^[4]寻找与人眼合成模板的最相似区域，并获取人眼匹配区域，记录人眼匹配区域的中心位置S2=(x₂,y₂)及半径R2。

计算人眼检测区域与人眼匹配区域的位置关系，即计算二者中心点的欧氏距离，记为S_D12，其中，

$S\_D12=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}$

若Adaboost检测不到人眼，则判定为闭眼状态。

（3）判断欧氏距离S_D12是否小于第一阈值T1，如果是，执行步骤（4）；如果否，执行步骤（5）；

（4）融合人眼检测区域和人眼匹配区域，获取人眼精确定位区域，更新人眼合成模板；

其中，融合人眼检测区域和人眼匹配区域的方法为：计算人眼检测区域和人眼匹配区域中心的平均值作为融合后人眼精确定位区域的中心，计算人眼检测区域和人眼匹配区域半径的平均值作为融合后人眼精确定位区域的半径，并截取人眼精确定位区域合成新的人眼合成模板。

（5）人眼匹配区域为人眼精确定位区域。

根据经验值，T1设定为=0.25*(R1+R2)，本发明实施例对此不做限制。

103：对人眼精确定位区域进行人眼轮廓点采样，获取采样点，对采样点进行椭圆拟合，当短半轴和长半轴的比值小于第二阈值T2时，则为闭眼，否则为睁眼；

人眼区域的边缘特征比较明显，精确定位人眼后，获得人眼精确定位区域，并对人眼精确定位区域进行基于Sobel算子的边缘检测^[5]，在边缘上等间隔进行轮廓点采样。对这些轮廓点进行椭圆拟合^[6]，获得椭圆的长半轴和短半轴，计算短半轴和长半轴的比值P，若比值小于第二阈值T2则判断为闭眼，否则判断为睁眼。

其中，根据经验设定第二阈值T2为0.4，本发明实施例对此不做限制。

104：重新执行步骤101，在连续N帧内是闭眼状态，或在阈值时间Th1内闭眼状态所占比例大于阈值ratios时，则判断为疲劳状态，否则为清醒状态。

其中，N的参考值为10、阈值时间Th1的参考值为1S、阈值ratios的参考值为0.7，本发明实施例对此不做限制。

参考文献

[1]张君昌，李倩，贾靖.基于分类器相关性的Adaboost人脸检测算法.计算机应用，2009,29(12).

[2]王小睿,马殷元.疲劳驾驶监视***中人脸检测算法的综述[J].甘肃科技,2011,27(3):29-30,5.

[3]甘玲，朱江，苗东.扩展Haar特征检测人眼的方法.电子科技大学学报，2010,39(2).

[4]舒梅，董秀成.基于肤色和模板匹配的人眼定位.计算机工程与应用，2009,45(2).

[5]Wenshuo Gao,Lei Yang,Xiaoguang Zhang,Huizhong Liu.An Improved SobelEdge Detection.Proceedings of the20103rd IEEE International Conference onComputer Science and Information Technology(ICCSIT2010),p67-71,2010.

[6]Paul L.Rosin.Further five-point fit ellipse fitting.Graphical Models and ImageProcessing,v61,n5,p245-259,1999.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种人眼疲劳检测方法，其特征在于，所述方法包括以下步骤：

（1）通过人脸检测器和肤色模型进行人脸检测，输出最终人脸区域；

（2）通过人眼检测器和人眼合成模板在所述最终人脸区域实现人眼定位，输出人眼精确定位区域，并更新所述人眼合成模板；

（3）对所述人眼精确定位区域进行人眼轮廓点采样，获取采样点，对所述采样点进行椭圆拟合，当短半轴和长半轴的比值小于第二阈值时，则为闭眼，否则为睁眼；

（4）重新执行步骤（1），在连续N帧内是闭眼状态，或在阈值时间内闭眼状态所占比例大于阈值ratios时，则判断为疲劳状态，否则为清醒状态。

2.根据权利要求1所述的一种人眼疲劳检测方法，其特征在于，所述通过人脸检测器和肤色模型进行人脸检测，输出最终人脸区域的步骤具体包括：

1）基于Haar特征和Adaboost级联分类器构建所述人脸检测器，将当前一帧被检测视频图像输入至所述人脸检测器；

2）所述人脸检测器判断被检测视频图像中是否包含人脸，如果是，获取人脸的位置信息，记为候选人脸区域，执行步骤3）；如果否，输入当前帧的下一帧被检测视频图像至所述人脸检测器，重新执行步骤2），直至遍历完被检测视频图像的所有帧；

3）通过HSV色彩空间的肤色检测模型对所有候选人脸区域进行检测，判断当前候选人脸区域是否存在肤色信息，如果是，执行步骤5）；如果否，执行步骤4）；

4）判断下一候选人脸区域是否存在肤色信息，如果是，执行步骤5）；如果否，判决为闭眼；

5）输出初始人脸区域；

6）对所述初始人脸区域进行融合，获取所述最终人脸区域。

3.根据权利要求2所述的一种人眼疲劳检测方法，其特征在于，所述对所述初始人脸区域进行融合，获取所述最终人脸区域的步骤具体为：

计算所有初始人脸区域中心的平均值作为融合后人脸区域的中心，然后计算所有人脸区域半径的平均值作为融合后人脸区域的半径。

4.根据权利要求1所述的一种人眼疲劳检测方法，其特征在于，所述通过人眼检测器和人眼合成模板在所述最终人脸区域实现人眼定位，输出人眼精确定位区域的步骤具体包括：

1）通过所述最终人脸区域对人眼进行粗定位，输出人眼粗定位区域；

2）基于Haar特征和Adaboost级联模型构建所述人眼检测器，在所述人眼粗定位区域的基础上，通过所述人眼检测器和所述人眼合成模板进行精确定位，输出所述人眼精确定位区域。

5.根据权利要求4所述的一种人眼疲劳检测方法，其特征在于，所述基于Haar特征和Adaboost级联模型构建所述人眼检测器，在所述人眼粗定位区域的基础上，通过所述人眼检测器和所述人眼合成模板进行精确定位，输出所述人眼精确定位区域的步骤具体包括：

1）通过所述人眼检测器判断所述人眼粗定位区域是否存在人眼，如果是，进行人眼合成模板学习；如果否，重新执行步骤（1）；

2）通过所述人眼检测器和所述人眼合成模板分别对所述人眼粗定位区域分别进行处理，获取人眼检测区域和人眼匹配区域，以及两区域中心点的欧式距离；

3）判断所述欧氏距离是否小于第一阈值T1，如果是，执行步骤4）；如果否，执行步骤5）；

4）融合所述人眼检测区域和所述人眼匹配区域，获取人眼精确定位区域，更新所述人眼合成模板；

5）所述人眼匹配区域为所述人眼精确定位区域。

6.根据权利要求5所述的一种人眼疲劳检测方法，其特征在于，获取所述人眼精确定位区域并更新所述人眼合成模板具体为：

计算所述人眼检测区域和所述人眼匹配区域中心的平均值作为融合后所述人眼精确定位区域的中心，计算所述人眼检测区域和所述人眼匹配区域半径的平均值作为融合后所述人眼精确定位区域的半径，并截取所述人眼精确定位区域合成新的人眼合成模板。

Images