CN103479367A - 一种基于面部运动单元识别的驾驶员疲劳检测方法 - Google Patents

Abstract

本发明是一种基于面部运动单元识别的驾驶员疲劳检测方法。包括有如下步骤：1）从视频序列中定位出人脸区域；2）对人脸关键特征点进行定位及区域划分；3）对多帧图像中的脸部对应区域进行运动特征提取；4）对提取的运动特征进行分类识别，并用运动单元AU标记；5）通过脸部运动单元检测是否疲劳。本发明是一种可以从脸部表观状态出发提取疲劳状态下脸部的外观表现特征，因而能获取更加稳定而丰富的视觉信息的方便实用的基于面部运动单元识别的驾驶员疲劳检测方法。

Description

一种基于面部运动单元识别的驾驶员疲劳检测方法

技术领域

本发明是一种基于面部运动单元识别的驾驶员疲劳检测方法，属于基于面部运动单元识别的驾驶员疲劳检测方法的创新技术。

背景技术

疲劳是一种复杂的生理和心理现象，在理论上难以作定量的标准描述，在现象上也因个体差异而呈现出多样性。在工作中，往往根据作业者的行为能力、工作效率来间接的判断疲劳程度。医学上认为疲劳是人体困顿、倦怠的感觉，它是身体需要放松和休息的信号。

疲劳的测定分为主观和客观两种方法，主观的研究方法有主观调查表、驾驶员自我记录、睡眠习惯调查表、斯坦福睡眠尺度表四种。客观的方法有脑电图（诊所用电极）、眼电图、肌电图、呼吸气流（鼻声传感器）、呼吸效果（胸腔部传感器）、动脉血液氧饱和（手指探针）时的体温（用红外线耳朵探针获取）和心电图（开车和睡眠时）、基于计算机视觉技术的疲劳检测等测量方法。主观调查表法的主要问题是具有主观性，采用专门的医学仪器方法是比较准确的，但是需要有专门的昂贵的设备，专业的操作人员，还需要被测者的配合，比如说要去特定的场合。上述两种方法所存在的一个共同的问题是具有超前或滞后性，是非实时的，而且被测者在测量时和测量前后的精神状态可能会有差异。因此，开发一种大众化、实时的、非侵扰式的精神疲劳测量装置已成为国内外专家学者共同追求的目标。

基于计算机视觉技术的疲劳检测因其具有实时性、非侵扰性被认为是最有前途的方向。

发明内容

本发明的目的在于考虑上述问题而提供一种检测效率高，且方便实用的基于面部运动单元识别的驾驶员疲劳检测方法。本发明适用于长时间保持相对固定姿势的工作人员工作状态的检测，且适用于驾驶员驾驶过程中是否疲劳的检测。

本发明的技术方案是：本发明基于面部运动单元识别的驾驶员疲劳检测方法，包括有如下步骤：

1）从视频序列中定位出人脸区域；

2）对人脸关键特征点进行定位及区域划分；

3）对多帧图像中的脸部对应区域进行运动特征提取；

4）对提取的运动特征进行分类识别，并用运动单元AU标记；

5）通过脸部运动单元检测是否疲劳。

上述步骤2）对人脸关键特征点进行定位及区域划分的过程是：首先依据人脸结构特征建立一个人脸区域划分的模板，然后利用自适应增强学习分类 (Adboost)方法检测出眼部和嘴部区域，对于眼睛和嘴部子区域采用哈里斯 (Harris)角点检测算法定位眼睛的内外侧角点及两嘴角角点，并以此六个点作为基准调节初始模板最终实现区域的划分。

上述步骤3）对多帧图像中的脸部对应区域进行运动特征提取的方法是：将每一个运动单元A U动作分解为“起始-----伸展-----高潮”三个阶段，则采用运动平滑约束 (Horn-Schunck)光流法计算三个过程的图像相对基准图像的光流场，为降低数据维度，对脸部子区域进行连续的3*3的相邻小区域进行划分，且区域不出现重叠，并进行数据归并为：

u,v为光流水平和垂直方向的分量，将各区域归并后的分量按行转换成向量形式，将样本空间均进行上述处理后利用主成分分析（PCA）算法对其采取降维处理，各提取样本u，v的主成分分析（PCA）的前n个系数，组成2n维特征向量。

上述步骤4）对提取的运动特征进行分类识别，并用运动单元AU标记的方法是：首先建立目标运动单元AU的隐马尔科夫（HMM）模型，然后对检测到的未知运动单元AU的特征作为模型输入，判别为何种运动单元AU；具体步骤为：

4.1、建立目标运动单元AU的隐马尔科夫（HMM）模型；

4.2、输入提取检测图像对应区域的特征向量；

4.3、取模型输出中概率最大的系数，并以该模型的运动单元AU的类别标记该区域。

上述步骤5）通过脸部运动单元检测是否疲劳的方法是：将已经标记运动单元AU的人脸与疲劳运动单元AU进行比对，判断是否疲劳。

上述通过脸部运动单元检测是否疲劳的方法是：对面部各区域进行搜索，并用疲劳判别公式

进行计算，得出疲劳判别值δ，其中

为不同脸部子区域与疲劳的相关度权重，其比例分配为：眉毛区域0.1，眼部区域0.5，嘴部区域0.4，

)为判别函数，t为运动单元AU的标记数，

,

为能表征疲劳的运动单元AU的集合，最终将δ与阈值标比较得出疲劳结果。

上述阈值标准主要依据眼部和嘴部状态来设定阈值。当眼部与嘴部均发生疲劳运动单元中的动作时，即可判定为疲劳，则由判决公式可得阈值为：

=0.4*1+0.5*1=0.9。   

本发明从面部表观特征出发，分区域分析疲劳状态下的面部表情，与脸部整体分析法相比，该方法能更准确提取局部有效信息，出去冗余信息，提高效率。此外，本发明用现有的运动单元去标记疲劳状态下的面部表情运动，定义了与疲劳相关的运动单元的表情集合，为疲劳表情的分析奠定了基础。另外，本发明对不同区域与疲劳相关程度分配不同的相关系数，并以加权融合的方式决定最后的判别结果。本发明可以充分利用面部表观特征进行疲劳判定，适用于长时间保持相对固定姿势的工作人员工作状态的检测，且适用于驾驶员驾驶过程中是否疲劳的检测。本发明是一种可以从脸部表观状态出发提取疲劳状态下脸部的外观表现特征，因而能获取更加稳定而丰富的视觉信息的方便实用的基于面部运动单元识别的驾驶员疲劳检测方法。

附图说明

图1为本发明的原理图；

图2为本发明脸部特征点定位图；

图3为本发明脸部区域光流图；

图4 为本发明运动单元（AU）及隐马尔科夫（HMM）模型结构图；

图5为本发明运动单元建模与识别训练流程图。

具体实施方式

     实施例：

    本发明基于面部运动单元识别的驾驶员疲劳检测方法，包括有如下步骤：

1）从视频序列中定位出人脸区域；

2）对人脸关键特征点进行定位及区域划分；

3）对多帧图像中的脸部对应区域进行运动特征提取；

4）对提取的运动特征进行分类识别，并用运动单元AU标记；

5）通过脸部运动单元检测是否疲劳。

     上述步骤1）从视频序列中定位出人脸区域的具体方法是：采用由维奥拉 (Viola)提出的基于AdaBoost(自适应增强学习算法)的人脸检测算法，该方法首先计算图片不同区域的haar-like（类哈尔）特征值，然后利用自适应增强学习算法(AdaBoost)训练级联式的分类器；最后将特征值逐级通过级联分类器判决该区域是否为人脸，若为人脸则返回人脸区域的位置。使用开源的计算机视觉库 (OpenCV)提供的库函数以及现场实际采集多种人脸与非人脸图像作为训练样本集。

上述步骤2）对人脸关键特征点进行定位及区域划分的具体方法是：创建简易的区域划分模板，首先对获取的人脸区域采用与人脸检测相似的检测方法，利用开源的计算机视觉库 (OpenCV)提供的函数训练人眼和嘴巴库，然后用其检测出眼睛和嘴巴区域的大致位置，然后对其进行 哈里斯(Harris)角点检测算法检测目标区域的角点。由于嘴角与眼角灰度值的梯度变化明显，因而角点相对较准确，但是中间部位的图像也可能检测出角点，因而筛选出最左侧和最右侧角点作为特征点，并以此对区域划分模板进行校准，采用该方法的好处是计算量小，能够快速准确的对人脸进行区域的划分。最终分的区域大小分别是眉毛区域40*30，眼部区域60*40，嘴部区域120*80的大小区域。

    上述步骤3）对多帧图像中的脸部对应区域进行运动特征提取对多帧图像进行脸部对应区域进行运动特征提取的具体方法是：首先建立AU1，AU4，AU7，AU15，AU26，AU27，AU43这7个AU的多个样本组成的序列图像共计1000帧构成样本空间，对于每一个序列以预先设定的基准表情（无表情）图像作为参照

,其他过程图像记录为：

，，

，分别计算此三帧图像相对于的光流场。在进行数据归并后分别对光流场的水平方向的分量及垂直方向的分量u,v进行主成分分析（PCA）降维处理，求取样本空间的特征基底。在实际的检测中，为了加快处理的速度，并不对视频的每一帧图像进行处理，而是以ξ（ξ=3）帧维间隔进行抽样提取，分别求光流场的水平方向的分量及垂直方向的分量u,v在对应基底中的投影系数，提取其前10个系数，则对于每个序列

,可以获得其特征为Feature[

] = 

，其中p=20,u分量系数在前，v分量系数在后。

  上述步骤4）对提取的运动特征进行分类识别，并用运动单元AU标记的具体方法是：首先分别建立AU1，AU4，AU7，AU15，AU26，AU27，AU43这7个运动单元AU的隐马尔科夫模型,其中每个模型的观测值为其对应的主成分特征系数，模型的结构如图3所示，具体建模与识别流程如图4所示。在进行运动单元AU识别的过程中，对未知运动单元AU的测试序列提取特征后分别输入这7个模型中，计算该序列属于各个运动单元AU及隐马尔科夫（HMM）模型的概率

，取得该概率后与阈值概率比较，即：

=

，在此prob取0.75。即测试序列

属于某一运动单元

的相对概率大于0.75时，才表明

序列动作产生了该个

，并在该区域以

标记，即t=j。

     上述步骤5）通过脸部运动单元检测是否疲劳的方法是：通过已经标记运动单元AU的人脸判断是否疲劳。对面部各区域进行搜索，并用疲劳判别公式

;进行计算，得出疲劳判别值δ。其中

为不同脸部子区域与疲劳的相关度权重，其比例分配为：眉毛区域0.1，眼部区域0.5，嘴部区域0.4，

)为判别函数。t为运动单元AU的标记数，

,为能表征疲劳的运动单元AU的集合。最终将δ与阈值标比较得出疲劳结果。

Claims (7)

1.一种基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于包括有如下步骤：

1）从视频序列中定位出人脸区域；

2）对人脸关键特征点进行定位及区域划分；

3）对多帧图像中的脸部对应区域进行运动特征提取；

4）对提取的运动特征进行分类识别，并用运动单元AU标记；

5）通过脸部运动单元检测是否疲劳。

2.根据权利要求1所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于上述步骤2）对人脸关键特征点进行定位及区域划分的过程是：首先依据人脸结构特征建立一个人脸区域划分的模板，然后利用自适应增强学习分类 (Adboost)方法检测出眼部和嘴部区域，对于眼睛和嘴部子区域采用哈里斯 (Harris)角点检测算法定位眼睛的内外侧角点及两嘴角角点，并以此六个点作为基准调节初始模板最终实现区域的划分。

3.根据权利要求1所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于上述步骤3）对多帧图像中的脸部对应区域进行运动特征提取的方法是：将每一个运动单元AU动作分解为“起始-----伸展-----高潮”三个阶段，则采用运动平滑约束 (Horn-Schunck)光流法计算三个过程的图像相对基准图像的光流场，为降低数据维度，对脸部子区域进行连续的3*3的相邻小区域进行划分，且区域不出现重叠，并进行数据归并：                                                

u,v为光流水平和垂直方向的分量，将各区域归并后的分量按行转换成向量形式，将样本空间均进行上述处理后利用主成分分析（PCA）算法对其采取降维处理，各提取样本u，v的主成分分析（PCA）的前n个系数，组成2n维特征向量。

4.根据权利要求1所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于上述步骤4）对提取的运动特征进行分类识别，并用运动单元AU标记的方法是：首先建立目标运动单元AU的隐马尔科夫（HMM）模型，然后对检测到的未知运动单元AU的特征作为模型输入，判别为何种运动单元AU；具体步骤为：

4.1、建立目标运动单元AU的隐马尔科夫（HMM）模型；

4.2、输入提取检测图像对应区域的特征向量；

4.3、取模型输出中概率最大的系数，并以该模型的运动单元AU的类别标记该区域。

5.根据权利要求1所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于上述步骤5）通过脸部运动单元检测是否疲劳的方法是：将已经标记运动单元AU的人脸与疲劳运动单元AU进行比对，判断是否疲劳。

6.根据权利要求5所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于上述通过脸部运动单元检测是否疲劳的方法是：对面部各区域进行搜索，并用疲劳判别公式

;进行计算，得出疲劳判别值δ，其中

为不同脸部子区域与疲劳的相关度权重，其比例分配为：眉毛区域0.1，眼部区域0.5，嘴部区域0.4，

)为判别函数，t为运动单元AU的标记数，

,

为能表征疲劳的运动单元AU的集合：AU1，AU4，AU7，AU15，AU26，AU27，AU43，最终将δ与阈值标比较得出疲劳结果。

7.根据权利要求5所述的基于面部运动单元识别的驾驶员疲劳检测方法，其特征在于选择疲劳判定阈值时，由于眼部区域与嘴部区域更能表征疲劳状态，因而主要依据眼部和嘴部状态来设定阈值；当眼部与嘴部均发生疲劳运动单元中的动作时，即可判定为疲劳，则由判决公式可得阈值为：

=0.4*1+0.5*1=0.9。

Images