CN110348350A - 一种基于面部表情的驾驶员状态检测方法 - Google Patents

Abstract

本发明公开了一种基于面部表情的驾驶员状态检测方法，通过灰度化、Gamma校正以及PCA降维处理，使得面部图像大小减小、特征增强。在此基础上，本发明构建了一个依次连接的四层结构、平均池化层、dropout层以及softmax分类器构成的面部表情识别卷据神经网络，其参数数量小，同时，其中的inception结构设计采用了一种新的形式，将传统的规则卷积3*3卷积拆成1*3卷积和3*1卷积，这样一方面节约了大量参数，加速运算并减轻了过拟合，并增加了一层非线性扩展模型表达能力，可以处理更多、更丰富的空间特征，增加特征多样性。这种inception结构设计使得面部表情识别卷据神经网络变得更加轻量化，同时具有更好的检测效果即提高了驾驶员状态检测的准确率。

Description

一种基于面部表情的驾驶员状态检测方法

技术领域

本发明属于驾驶员状态技术领域，更为具体地讲，涉及一种基于面部表情的驾驶员状态检测方法，即对驾驶员面部表情进行实时检测并由此对驾驶员当前的驾驶状态进行判定的方法。

背景技术

驾驶员的驾驶状态对安全驾驶起着至关重要的作用，通过实时检测出驾驶员的驾驶状态，可以很好地确保驾驶员的安全驾驶。

目前对驾驶员的驾驶状态进行分析判断主要分为接触式和非接触式两大类。其中，接触式方法主要为通过穿戴式设备等检测驾驶员脑电信号、肌电信号等生理信号来判断驾驶员的驾驶状态，该方法主要的缺点是检测过程中会对驾驶员安全驾驶造成影响且成本较高；非接触式的方法分为三小类，第一类是通过检测车辆的行驶轨迹来判断驾驶员的驾驶状态，但是该方法受环境道路影响较大且准确率低，第二种方法是通过实时检测方向盘转动角度、刹车离合受力程度等情况判断驾驶员的驾驶状态，但是该方法受到驾驶员个人的驾驶习惯影响较大；第三种方法是利用计算机视觉方法，利用摄像头拍摄到的驾驶员面部图像判断出驾驶员当前的表情，进而实时检测出驾驶员的驾驶状态，该方法具有实时性好、准确率高的优点，因此，计算机视觉方法检测驾驶员的驾驶状态是当前的主流方向。

面部表情在人与人之间交流上有着重要作用，面部表情相对于文字语音等媒介，在表达人的情感方面具有更加直观，准确的优势。人的这种情感交互模式现在已经用于如虚拟现实、数字娱乐领域、通信与视频会议、人机交互等场景。因此基于面部表情的驾驶员状态检测相对于单纯的疲劳检测会更加具有优势和人性化。面部表情识别方法大致包括以下三个方面：人脸图像预处理、面部表情特征学习、面部表情分类，最后依据面部表情分类检测出驾驶员的驾驶状态。

然而，现有的基于面部标签的驾驶员状态检测，参数数量大，运算速度较低，从而影响了驾驶员状态检测的实时性。同时，准确率也有待提高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于面部表情的驾驶员状态检测方法，以增强驾驶员状态检测的实时性，同时提高准确率。

为实现上述发明目的，本发明基于面部表情的驾驶员状态检测方法，其特征在于，包括以下步骤：

(1)、获取驾驶员的面部图像

利用在驾驶员前方安装的摄像头获取驾驶员的视频流，利用haar特征+adaboost人脸检测算法，检测视频流图像中用户的人脸区域即面部图像；

(2)、对获取的面部图像进行预处理

首先对面部图像进行图像灰度化处理

Gray＝0.3R+0.59G+0.11B

其中，Gray为像素灰度值，R为红色像素值、G为绿色像素值、B为蓝色像素值；

然后进行Gamma校正：

I＝Gray^γ

其中，I为校正后像素灰度值，γ为0.5；

最后，再对灰度化处理以及Gamma校正后的图像使用PCA(主成分分析)方法进行处理：

确定面部图像为n行m列的矩阵X，先将矩阵X的每一行进行零均值化，然后求出矩阵X的协方差矩阵，再求出协方差矩阵的特征值及对应的特征向量；将特征向量按照对应特征值大小从小到大按行排成矩阵O，取矩阵O的前K行组成矩阵P，矩阵P为K行n列的矩阵，得到面部图像Y，Y＝PX即为降维到K维后的面部图像；

(3)、驾驶员面部表情识别

3.1)、构建面部表情识别卷据神经网络

所述面部表情识别卷据神经网络包括依次连接的四层结构、平均池化层、dropout层以及softmax分类器；

每一层结构包括卷积核大小为3×3、步长为2的第一卷积层、卷积核大小为3×3、步长为1的第二、三卷积层、池化层以及inception结构；其中，前三层结构中的池化层的卷积核大小为3×3、步长为2，第四层结构的池化层的卷积核大小为3×3、步长为1；

所述inception结构分为包括并行处理的四个特征图处理通道以及一个filterconcatenation层，第一个特征图处理通道采用大小为3×3卷积核对输入特征图池化操作，然后采用大小为1×1卷积核进行卷积操作，最后送入filter concatenation层中；第二个特征图处理通道采用大小为1×1卷积核对输入特征图进行卷积操作，然后送入filterconcatenation层中；第三个特征图处理通道采用大小为1×1卷积核对输入特征图进行卷积操作，得到的特征图分别再采用大小为3×1卷积核、1×3卷积核进行卷积操作，得到的特征图都送入filter concatenation层中；第四个特征图处理通道采用大小为1×1卷积核对输入特征图进行卷积操作，卷积操作得到的特征图再采用大小为3×3卷积核进行卷积操作，然后分别再采用大小为3×1卷积核、1×3卷积核对3×3卷积核卷积操作后的特征图进行卷积操作，得到的特征图都送入filter concatenation层中；filter concatenation层中将四个特征图处理通道得到的特征图进行连接，得到连接后的特征图；

第一层结构的第一卷积层输入降维后的K维面部图像，依次经过第一、二、三卷积层的卷积操作后送入池化层中进行池化操作，池化后的特征图像送入inception结构进行处理，得到连接后的特征图；第一层结构处理完得到的连接后的特征图送入第二层结构进行第一层结构的相同处理、第二层结构处理完的特征图送入第三层结构进行第一层结构的相同处理，第三层结构处理完的特征图送入第四层结构进行第一层结构的相同处理，第四层结构处理完得到的连接后的特征图送入平均池化层进行平均池化操作，平均池化后的特征图在dropout层进行一定比例的丢弃，然后送入softmax分类器器中分类得到面部表情；

3.2)、训练面部表情识别卷据神经网络

将标记面部表情的K维面部图像送入步骤3.1)构建的面部表情识别卷据神经网络对其进行训练，得到训练好的面部表情识别卷据神经网络；

其中，面部表情识别卷据神经网络训练过程中选取的激活函数为Relu函数，优化算法为SGD((Stochastic Gradient Descent，随机梯度下降))，初始化方法为Xavier，学习速率为：

base_lr(1-iter/max_iter)×0.5

其中，base_lr＝0.01是最初学习速率，iter是当前迭代的次数，max_iter是最大迭代次数；

3.3)、获取的驾驶员面部图像经过步骤(1)、(2)处理后，送入训练好的面部表情识别卷据神经网络，得到驾驶员的面部表情；

(4)、输出结果

识别出驾驶员面部表情之后，得到驾驶员的驾驶状态，实时地显示在屏幕中，或者能够及时地对驾驶员进行提示，当驾驶员出现愤怒等不适合驾驶的面部表情时，给出不适合驾驶的状态提醒，及时对驾驶员进行有效的提示或者采用一系列的方法来缓解驾驶员当前的不适驾驶状态。

本发明的发明目的是这样实现的：

本发明基于面部表情的驾驶员状态检测方法，通过灰度化、Gamma校正以及PCA降维处理，使得面部图像大小减小、特征增强。在此基础上，本发明构建了一个依次连接的四层结构、平均池化层、dropout层以及softmax分类器构成的面部表情识别卷据神经网络，其参数数量小，同时，其中的inception结构设计采用了一种新的形式，将传统的规则卷积3*3卷积拆成1*3卷积和3*1卷积，这样一方面节约了大量参数，加速运算并减轻了过拟合，并增加了一层非线性扩展模型表达能力，可以处理更多、更丰富的空间特征，增加特征多样性。这种inception结构设计使得面部表情识别卷据神经网络变得更加轻量化，同时具有更好的检测效果即提高了驾驶员状态检测的准确率。

附图说明

图1是本发明基于面部表情的驾驶员状态检测方法的流程图；

图2是面部表情识别卷据神经网络一种具体实施方式框架图；

图3是图2所示面部表情识别卷据神经网络中inception结构的框架图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

本发明中，首先采用haar特征+adaboost人脸检测算法检测出驾驶员的人脸区域即面部图像，然后把检测到的面部图像进行预处理后输入的构建的面部表情识别卷积神经网络中，实时的检测当前驾驶员的面部表情，得到驾驶员的驾驶状态。

图1是本发明基于面部表情的驾驶员状态检测方法的流程图。

在本实施例中，如图1所示，本发明基于面部表情的驾驶员状态检测方法，包括以下步骤：

步骤S1：获取驾驶员的面部图像

利用在驾驶员前方安装的摄像头获取驾驶员的视频流，利用haar特征+adaboost人脸检测算法，检测视频流图像中用户的人脸区域即面部图像：提取图像中的haar-like特征，然后将haar-like特征输入Adaboost分类器，检测驾驶员人脸所处区域位置，把人脸位置框选到作为面部图像进行后续处理。

步骤S2：对获取的面部图像进行预处理

首先对面部图像进行图像灰度化处理

Gray＝0.3R+0.59G+0.11B

其中，Gray为像素灰度值，R为红色像素值、G为绿色像素值、B为蓝色像素值。

然后进行Gamma校正：

I＝Gray^γ

其中，I为校正后像素灰度值，γ为0.5。

最后，再对灰度化处理以及Gamma校正后的图像使用PCA方法进行处理：确定面部图像为n行m列的矩阵X，先将矩阵X的每一行进行零均值化，然后求出矩阵X的协方差矩阵，再求出协方差矩阵的特征值及对应的特征向量；将特征向量按照对应特征值大小从小到大按行排成矩阵O，取矩阵O的前K行组成矩阵P，矩阵P为K行n列的矩阵，得到面部图像Y，Y＝PX即为降维到K维后的面部图像。这样就完成了驾驶员人脸图像的预处理，方便后续神经网络的表情识别。通过灰度化PCA降维处理，使得面部图像大小减小，增强了处理的实时性，通过Gamma校正，图像特征得到了增强，提高了识别的准确率。

步骤S3：驾驶员面部表情识别

步骤S3.1：构建面部表情识别卷据神经网络

在本实施例总，如图2所示，所述面部表情识别卷据神经网络包括依次连接的四层结构、平均池化层、dropout层以及softmax分类器。

所述四层结构的每一层结构包括卷积核大小为3×3、步长为2的第一卷积层、卷积核大小为3×3、步长为1的第二、三卷积层、池化层以及inception结构；其中，前三层结构中的池化层的卷积核大小为3×3、步长为2，第四层结构的、池化层的卷积核大小为3×3、步长为1。

在本实施例中，如图3所示，所述inception结构分为包括并行处理的四个特征图处理通道以及一个filter concatenation层，第一个特征图处理通道采用大小为3×3卷积核对输入特征图池化操作，然后采用大小为1×1卷积核进行卷积操作，最后送入filterconcatenation层中；第二个特征图处理通道采用大小为1×1卷积核对输入特征图进行卷积操作，然后送入filter concatenation层中；第三个特征图处理通道采用大小为1×1卷积核对输入特征图进行卷积操作，得到的特征图分别再采用大小为3×1卷积核、1×3卷积核进行卷积操作，得到的特征图都送入filter concatenation层中；第四个特征图处理通道采用大小为1×1卷积核对输入特征图进行卷积操作，卷积操作得到的特征图再采用大小为3×3卷积核进行卷积操作，然后分别再采用大小为3×1卷积核、1×3卷积核对3×3卷积核卷积操作后的特征图进行卷积操作，得到的特征图都送入filter concatenation层中；filter concatenation层中将四个特征图处理通道得到的特征图进行连接，得到连接后的特征图。

在本实施例中，inception结构的设计采用了一种新的形式，将传统的规则卷积如3*3卷积拆成1*3卷积和3*1卷积，一方面节约了大量参数，加速运算并减轻了过拟合，同时增加了一层非线性扩展模型表达能力，可以处理更多、更丰富的空间特征，增加特征多样性。这种特殊的结构设计使得面部表情识别卷据神经网络变得更加轻量化，同时具有更好的检测效果。

第一层结构的第一卷积层输入降维后的K维面部图像，依次经过第一、二、三卷积层的卷积操作后送入池化层中进行池化操作，池化后的特征图像送入inception结构进行处理，得到连接后的特征图；第一层结构处理完得到的连接后的特征图送入第二层结构进行第一层结构的相同处理、第二层结构处理完的特征图送入第三层结构进行第一层结构的相同处理，第三层结构处理完的特征图送入第四层结构进行第一层结构的相同处理，第四层结构处理完得到的连接后的特征图送入平均池化层进行平均池化操作，平均池化后的特征图在dropout层进行一定比例的丢弃，然后送入softmax分类器器中分类得到面部表情。

步骤S3.2：训练面部表情识别卷据神经网络

将标记面部表情的K维面部图像送入步骤S3.1构建的面部表情识别卷据神经网络对其进行训练，得到训练好的面部表情识别卷据神经网络.

其中，面部表情识别卷据神经网络训练过程中选取的激活函数为Relu函数，优化算法为SGD，初始化方法为Xavier，学习速率为：

base_lr(1-iter/max_iter)×0.5

其中，base_lr＝0.01是最初学习速率，iter是当前迭代的次数，max_iter是最大迭代次数。

步骤S3.3：获取的驾驶员面部图像经过步骤(1)、(2)处理后，送入训练好的面部表情识别卷据神经网络，得到驾驶员的面部表情。

在本实施例中，输出7种基本的驾驶员面部表情。本实施例中，训练所需的数据集为人脸表情数据库中的部分数据集，对数据集进行预处理后，送入面部表情识别卷据神经网络进行训练。用人脸表情数据库中的其他部分数据集作为测试。

步骤S4：得到驾驶员的驾驶状态

根据识别出驾驶员面部表情，得到驾驶员的驾驶状态，实时地显示在屏幕中，或者能够及时地对驾驶员进行提示，当驾驶员出现愤怒等不适合驾驶的面部表情时，给出不适合驾驶的状态提醒，及时对驾驶员进行有效的提示或者采用一系列的方法来缓解驾驶员当前的不适驾驶状态。

在本实施例中，通过在数据集中的训练，通过对驾驶员面部进行表情识别，验证了本发明提出的改进的inception结构的正确性和有效性。

采用VGG网络模型、inception V2网络模型、ResNet网络模型和本发明基于面部表情的驾驶员状态检测方法进行面部表情识别，识别结果如表1所示。表1算法识别率结果对比：

表1

从表1可以看出：本发明可以通过动态的增减改进的inception结构以提高准确率，可以适用于不同的条件，在改进的inception结构数量增加到一定的程度下，准确率可以超过最好的VGG网络模型，并且参数数量少于该模型。因此本发明在驾驶员面部表情识别准确率与实时性方面有较大优势。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于面部表情的驾驶员状态检测方法，其特征在于，包括以下步骤：

(1)、获取驾驶员的面部图像

利用在驾驶员前方安装的摄像头获取驾驶员的视频流，利用haar特征+adaboost人脸检测算法，检测视频流图像中用户的人脸区域即面部图像；

(2)、对获取的面部图像进行预处理

首先对面部图像进行图像灰度化处理

Gray＝0.3R+0.59G+0.11B

其中，Gray为像素灰度值，R为红色像素值、G为绿色像素值、B为蓝色像素值；

然后进行Gamm校正：

I＝Gray^γ

其中，I为校正后像素灰度值；

最后，再对灰度化处理以及Gamma校正后的图像使用PCA方法进行处理：

确定面部图像为n行m列的矩阵X，先将矩阵X的每一行进行零均值化，然后求出矩阵X的协方差矩阵，再求出协方差矩阵的特征值及对应的特征向量；将特征向量按照对应特征值大小从小到大按行排成矩阵O，取矩阵O的前K行组成矩阵P，矩阵P为K行n列的矩阵，得到面部图像Y，Y＝PX即为降维到K维后的面部图像；

(3)、驾驶员面部表情识别

3.1)、构建面部表情识别卷据神经网络

所述面部表情识别卷据神经网络包括依次连接的四层结构、平均池化层、dropout层以及softmax分类器；

每一层结构包括卷积核大小为3×3、步长为2的第一卷积层、卷积核大小为3×3、步长为1的第二、三卷积层、池化层以及inception结构；其中，前三层结构中的池化层的卷积核大小为3×3、步长为2，第四层结构的、池化层的卷积核大小为3×3、步长为1；

所述inception结构分为包括并行处理的四个特征图处理通道以及一个filterconcatenation层，第一个特征图处理通道采用大小为3×3卷积核对输入特征图池化操作，然后采用大小为1×1卷积核进行卷积操作，最后送入filter concatenation层中；第二个特征图处理通道采用大小为1×1卷积核对输入特征图进行卷积操作，然后送入filterconcatenation层中；第三个特征图处理通道采用大小为1×1卷积核对输入特征图进行卷积操作，得到的特征图分别再采用大小为3×1卷积核、1×3卷积核进行卷积操作，得到的特征图都送入filter concatenation层中；第四个特征图处理通道采用大小为1×1卷积核对输入特征图进行卷积操作，卷积操作得到的特征图再采用大小为3×3卷积核进行卷积操作，然后分别再采用大小为3×1卷积核、1×3卷积核对3×3卷积核卷积操作后的特征图进行卷积操作，得到的特征图都送入filter concatenation层中；filter concatenation层中将四个特征图处理通道得到的特征图进行连接，得到连接后的特征图；

第一层结构的第一卷积层输入降维后的K维面部图像，依次经过第一、二、三卷积层的卷积操作后送入池化层中进行池化操作，池化后的特征图像送入inception结构进行处理，得到连接后的特征图；第一层结构处理完得到的连接后的特征图送入第二层结构进行第一层结构的相同处理、第二层结构处理完的特征图送入第三层结构进行第一层结构的相同处理，第三层结构处理完的特征图送入第四层结构进行第一层结构的相同处理，第四层结构处理完得到的连接后的特征图送入平均池化层进行平均池化操作，平均池化后的特征图在dropout层进行一定比例的丢弃，然后送入softmax分类器器中分类得到面部表情；

3.2)、训练面部表情识别卷据神经网络

将标记面部表情的K维面部图像送入步骤3.1)构建的面部表情识别卷据神经网络对其进行训练，得到训练好的面部表情识别卷据神经网络；

其中，面部表情识别卷据神经网络训练过程中选取的激活函数为Relu函数，优化算法为SGD(Stochastic Gradient Descent，随机梯度下降)，初始化方法为Xavier，学习速率为：

base_lr(1-iter/max_iter)×0.5

其中，base_lr＝0.01是最初学习速率，iter是当前迭代的次数，max_iter是最大迭代次数；

3.3)、获取的驾驶员面部图像经过步骤(1)、(2)处理后，送入训练好的面部表情识别卷据神经网络，得到驾驶员的面部表情；

(4)、输出结果

识别出驾驶员面部表情之后，得到驾驶员的驾驶状态，实时地显示在屏幕中，或者能够及时地对驾驶员进行提示，当驾驶员出现愤怒等不适合驾驶的面部表情时，给出不适合驾驶的状态提醒，及时对驾驶员进行有效的提示或者采用一系列的方法来缓解驾驶员当前的不适驾驶状态。