CN104382607A - 面向实车工况的驾驶人视频图像疲劳检测方法 - Google Patents

Abstract

本发明公开了一种面向实车工况的驾驶人视频图像疲劳检测方法，首先获取监控视频图像，更新监控视频图像的R、G、B分量，并将R、G、B分量转换为YCgCr彩色空间，并对YCgCr彩色空间的Y、Cg、Cr分量进行二值化阈值处理，其次进行连通域统计，获得人脸有效脸部区域，之后对人脸有效眼部区域图像进行SURF不变性特征提取，从而获得驾驶员眼睛区域图像，再然后对驾驶员眼睛区域图像进行圆形特征检测，最后每间隔一定时间进行疲劳特征提取，从而判定驾驶员是否处于疲劳驾驶状态。其显著效果是：克服了实车工况下面部视频特征容易受到光照变化的影响，同时不受个体眼睛形状的影响，疲劳检测精度高，对不同驾驶者表现出较高的工程泛化能力。

Description

面向实车工况的驾驶人视频图像疲劳检测方法

技术领域

本发明涉及到人机环境工程学技术领域，具体地说，是一种面向实车工况的驾驶人视频图像疲劳检测方法。

背景技术

基于驾驶人眼部视频特征的疲劳状态检测是汽车主动安全领域的重要技术之一。当驾驶人处于驾驶疲劳状态时，其眼睛会出现频繁的闭眼行为。现有的检测方法主要依据眼睛的上下边界间的距离变化来判定驾驶人的疲劳状态。该方法将视频图像进行灰度转化，通过视频图像的二值化处理后进行眼睛区域搜索与定位，最后利用眼睛部位的上下边界之间的距离变化程度来检测驾驶人的疲劳状态。

然而，在实车工况下，由于光照变化的频繁，面部视频图像变得异常复杂，其面部视频图像二值化的结果往往会出现大量噪点，从而导致对眼睛区域定位不准确，以及眼睛上下边界检测不准确的问题，这势必会影响疲劳检测方法的准确率以及工程应用的泛化能力。

发明内容

针对现有技术的不足，在重庆市科委基础与前沿计划项目《基于时空特征的驾驶人疲劳状态检测技术研究》(项目编号：cstc2014jcyjA40006)的资助下，本发明提出了一种面向实车工况的驾驶人视频图像疲劳检测方法，该方法能够克服在实车工况下面部视频特征由于光照的变化，造成的疲劳检测正确率不高的技术问题，同时不受个体眼睛形状的影响，对不同驾驶者具有较高的工程泛化能力。

具体表述为，一种面向实车工况的驾驶人视频图像疲劳检测方法，其关键在于按照以下步骤进行：

步骤1：按照k帧/秒的采样率对驾驶员的监控视频进行采样；

步骤2：按照 $R=R\×\frac{\mathrm{sum}\left(G\right)}{\mathrm{sum}\left(R\right)},G=G\×\frac{\mathrm{sum}\left(G\right)}{\mathrm{sum}\left(G\right)},B=B\×\frac{\mathrm{sum}\left(G\right)}{\mathrm{sum}\left(B\right)}$ 分别更新每帧视频图像的R、G、B分量；

其中，sum(R)表示当前图像帧中R分量的和，sum(G)表示当前图像帧中G分量的和，sum(B)表示当前图像帧中B分量的和；

步骤3：将更新后的R、G、B分量转换为YCgCr彩色空间，并对YCgCr彩色空间的Y、Cg、Cr分量进行二值化阈值处理；

步骤4：将步骤3处理后的图像帧进行连通域统计，判定最大连通区域的面积是否大于第一预设阈值，如果是，则截取人脸有效眼部区域；否则，放弃当前图像帧，重新对下一帧视频图像进行处理；

步骤5：将步骤4获得的人脸有效眼部区域图像进行SURF不变性特征提取，获得SURF特征点；

步骤6：利用聚类算法对步骤5所得的特征点进行聚合；

步骤7：计算最大聚类集合与次大聚类集合的中心位置C(x,y)，然后以中心位置C(x,y)为中心，截取驾驶员眼睛区域图像；

步骤8：对驾驶员眼睛区域图像进行圆形特征检测；

步骤9：每间隔时间T按照进行疲劳特征提取，当P≤P₀时则判定为驾驶员处于疲劳驾驶状态；

其中m为当前时刻前t秒内截取驾驶员眼睛区域图像的总次数，n为当前时刻前t秒内截取驾驶员眼睛区域图像中满足圆形特征检测的次数，P₀为疲劳特征判定阈值。

进一步的，优选所述k的取值为10。

更进一步的，步骤3中更新后的R、G、B分量转换为YCgCr彩色空间的转换公式为：

$\left[\begin{array}{c}Y\\ C_g\\ C_r\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\left[\begin{array}{ccc}0.2568& 0.5041& 0.0979\\ -0.318& 0.4392& -0.1212\\ 0.4392& -0.3677& -0.0714\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

更进一步的，步骤3中所述二值化阈值处理按照： $\left[\begin{array}{c}Y\\ C_g\\ C_r\end{array}\right]=\left\{\begin{array}{ccc}1,& \mathrm{if}& Y_a\≤Y\≤Y_b\\ 1,& \mathrm{if}& C_{\mathrm{ga}}\≤C_g\≤C_{\mathrm{gb}}\\ 1,& \mathrm{if}& C_{\mathrm{ra}}\≤C_r\≤C_{\mathrm{rb}}\end{array}\right.$ 进行，其中：

Ya＝100*(D/255)，Yb＝200*(D/255)，Cga＝120*(D/255),Cgb＝190*(D/255)，Crb＝160*(D/255)，Crb＝240*(D/255)，D为当前图像帧前20帧图像的平均灰度值。

更进一步的，优选所述第一预设阈值为3000。

更进一步的，步骤5中所述SURF特征提取的具体步骤为：

步骤5-1：构建高斯平滑滤波器，并对人脸有效眼部区域图像采用不同尺寸的滤波器进行滤波，得到同一图像在不同尺度的一系列响应图；

步骤5-2：按照计算每一个相应图中每一个像素的值，若所得det(H)小于零则该像素为极值点，即为SURF特征点，

其中，表示像素x方向的二阶导数，表示像素y方向的二阶导数，表示像素的x、y方向混合偏导。

更进一步的，步骤6中聚类算法按照L_AB≤30,进行聚合，其中，L_AB为任意SURF特征点A(x₁,y₁)到其他特征点B(x₂,y₂)之间的欧氏距离。

更进一步的，步骤8中所述圆形特征检测的具体步骤为：

步骤8-1：将步骤7中获得的驾驶员眼睛区域图像进行二值化阈值计算，然后对每一个非零像素点(x_i,y_i)构建过该点的所有圆的空间C_i∈{(a_i,b_i),r_i}，其中，(a_i,b_i)为过点(x_i,y_i)的圆的圆心坐标，r_i为半径，r_i＝1～30，i为像素点序号；

步骤8-2：确定圆空间C_i中的共圆点，并计算出共圆点的数量S_i；

步骤8-3：若共圆点的数量S_i≥20，则圆空间C_i为有效圆，即眼睛区域图像中存在圆形特征。

为节约计算处理时间，提升疲劳检测的精度，截取人脸有效眼部区域图像的大小为160×120，截取驾驶员眼睛区域图像的大小为35×100。

更进一步的，优选步骤9中所述间隔时间T＝1s，t₀＝5s，疲劳特征判定阈值P₀＝0.30。

本发明首先更新监控视频图像的R、G、B分量，然后将R、G、B分量转换为YCgCr彩色空间，并对YCgCr彩色空间的Y、Cg、Cr分量进行二值化阈值处理，之后进行连通域统计，获得人脸有效脸部区域；然后对人脸有效眼部区域图像进行SURF不变性特征提取，获得SURF特征点，从而获得驾驶员眼睛区域图像，再然后对驾驶员眼睛区域图像进行圆形特征检测；每间隔一定时间进行疲劳特征提取，根据疲劳特征值的大小判定驾驶员是否处于疲劳驾驶状态。

本发明通过更新监控视频图像的R、G、B分量，实现视频图像的颜色平衡校正，恢复了图像场景的原始颜色特征，从而使得肤色检测模型能够适应光源颜色的变化；通过颜色空间的转换以及Y、Cg、Cr分量的二值化阈值处理，增加了亮度分量，有利于阴影条件下的肤色检测，克服了实车工况下面部视频特征受光照变化影响；通过SURF不变形特征提取，使得本方法能够不受个体眼睛形状的影响，对不同驾驶者都能够表现出较高的工程泛化能力。

本发明的显著效果是：克服了实车工况下面部视频特征容易受到光照变化的影响，同时，不受个体眼睛形状的影响，疲劳检测精度高，对不同驾驶者表现出较高的工程泛化能力。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

如图1所示，一种面向实车工况的驾驶人视频图像疲劳检测方法，具体步骤如下：

首先进入步骤1：按照k＝10帧/秒的采样率对驾驶员的监控视频进行采样，获得原始视频图像，为便于计算，所述原始视频图像的大小统一截取为240*320；

由于驾驶人视频图像容易受到光照变化的影响，因此需恢复图像场景的原始颜色特征，以适应光照变化，提高肤色检测的精度，处理方法如步骤2所示。

步骤2：按照 $R=R\×\frac{\mathrm{sum}\left(G\right)}{\mathrm{sum}\left(R\right)},G=G\×\frac{\mathrm{sum}\left(G\right)}{\mathrm{sum}\left(G\right)},B=B\×\frac{\mathrm{sum}\left(G\right)}{\mathrm{sum}\left(B\right)}$ 分别更新每帧视频图像的R、G、B分量；

其中，sum(R)表示当前图像帧中R分量的和，sum(G)表示当前图像帧中G分量的和，sum(B)表示当前图像帧中B分量的和。

为了使得模型参数自适应光照变化，同时增加肤色模型的亮度分量，有利于阴影条件下的肤色检测，需对监控视频图像作进一步处理，因此进入步骤3：按照公式 $\left[\begin{array}{c}Y\\ C_g\\ C_r\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\left[\begin{array}{ccc}0.2568& 0.5041& 0.0979\\ -0.318& 0.4392& -0.1212\\ 0.4392& -0.3677& -0.0714\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$ 将更新后的R、G、B分量转换为YCgCr彩色空间，

并按照如下公式对YCgCr彩色空间的Y、Cg、Cr分量进行二值化阈值处理，具体公式为： $\left[\begin{array}{c}Y\\ C_g\\ C_r\end{array}\right]=\left\{\begin{array}{ccc}1,& \mathrm{if}& Y_a\≤Y\≤Y_b\\ 1,& \mathrm{if}& C_{\mathrm{ga}}\≤C_g\≤C_{\mathrm{gb}}\\ 1,& \mathrm{if}& C_{\mathrm{ra}}\≤C_r\≤C_{\mathrm{rb}}\end{array}\right.,$

其中，Ya＝100*(D/255)，Yb＝200*(D/255)，Cga＝120*(D/255),Cgb＝190*(D/255)，Crb＝160*(D/255)，Crb＝240*(D/255)，D为当前图像帧前20帧图像的平均灰度值。

接着进入步骤4：将步骤3处理后的图像帧进行连通域统计，即计算连通区域的面积，判定最大连通区域的面积是否大于第一预设阈值3000，如果是，则以最大连通区域为中心，截取大小为160×120的人脸有效眼部区域；否则，放弃当前图像帧，重新对下一帧视频图像进行处理；

之后进入步骤5：将步骤4获得的人脸有效眼部区域图像进行SURF不变性特征提取，获得SURF特征点，具体步骤为：

步骤5-1：构建高斯平滑滤波器，并对人脸有效眼部区域图像采用不同尺寸的滤波器进行滤波，得到同一图像在不同尺度的一系列响应图；

步骤5-2：按照计算每一个相应图中每一个像素的值，若所得某像素的值det(H)小于零，则该像素为极值点，即为SURF特征点，

其中，表示像素x方向的二阶导数，表示像素y方向的二阶导数，表示像素的x、y方向混合偏导。

然后进入步骤6：按照公式计算任意SURF特征点A(x₁,y₁)到其他特征点B(x₂,y₂)之间的欧氏距离L_AB，并按照L_AB≤30,对步骤5所得的特征点进行聚类处理；

然后进入步骤7：计算每个聚类集合V的大小，并计算得出最大聚类集合与次大聚类集合的中心位置C(x,y)，然后以中心位置C(x,y)为中心，截取大小为35×100的驾驶员眼睛区域图像；

进入步骤8：对驾驶员眼睛区域图像进行圆形特征检测，具体步骤为：

步骤8-1：将步骤7中获得的驾驶员眼睛区域图像按照步骤3中所述的二值化计算公式进行二值化阈值计算，然后对每一个非零像素点(x_i,y_i)构建过该点的所有圆的空间C_i∈{(a_i,b_i),r_i}，其中，(a_i,b_i)为过点(x_i,y_i)的圆的圆心坐标，r_i为半径，r_i＝1～30，i为像素点序号；

步骤8-2：确定圆空间C_i中的共圆点，并计算出共圆点的数量S_i；

步骤8-3：若共圆点的数量S_i≥20，则圆空间C_i为有效圆，即眼睛区域图像中存在圆形特征。

最后进入步骤9：每间隔时间T＝1s按照进行疲劳特征提取，当P小于等于疲劳特征判定阈值P₀＝0.30时，则判定为驾驶员处于疲劳驾驶状态；

其中m为当前时刻前t₀＝5秒内截取到驾驶员眼睛区域图像的总次数，n为当前时刻前t₀＝5秒内截取的驾驶员眼睛区域图像中满足圆形特征检测的次数。

本发明通过更新监控视频图像的R、G、B分量，实现视频图像的颜色平衡校正，恢复了图像场景的原始颜色特征，从而使得肤色检测模型能够适应光源颜色的变化；通过颜色空间的转换以及Y、Cg、Cr分量的二值化阈值处理，增加了亮度分量，有利于阴影条件下的肤色检测，克服了实车工况下面部视频特征受光照变化影响，提高了肤色检测的精度；通过SURF不变形特征提取，能够不受个体眼睛形状的影响，对不同驾驶者都能够表现出较高的工程泛化能力。

Claims (10)

1.一种面向实车工况的驾驶人视频图像疲劳检测方法，其特征在于按照以下步骤进行：

步骤1：按照k帧/秒的采样率对驾驶员的监控视频进行采样；

步骤2：按照 $R=R\×\frac{\mathrm{sum}\left(G\right)}{\mathrm{sum}\left(R\right)},$ $G=G\×\frac{\mathrm{sum}\left(G\right)}{\mathrm{sum}\left(G\right)},$ $B=B\×\frac{\mathrm{sum}\left(G\right)}{\mathrm{sum}\left(B\right)},$ 分别更新每帧视频图像的R、G、B分量；

其中，sum(R)表示当前图像帧中R分量的和，sum(G)表示当前图像帧中G分量的和，sum(B)表示当前图像帧中B分量的和；

步骤3：将更新后的R、G、B分量转换为YCgCr彩色空间，并对YCgCr彩色空间的Y、Cg、Cr分量进行二值化阈值处理；

步骤4：将步骤3处理后的图像帧进行连通域统计，判定最大连通区域的面积是否大于第一预设阈值，如果是，则截取人脸有效眼部区域；否则，放弃当前图像帧，重新对下一帧视频图像进行处理；

步骤5：将步骤4获得的人脸有效眼部区域图像进行SURF不变性特征提取，获得SURF特征点；

步骤6：利用聚类算法对步骤5所得的特征点进行聚合；

步骤7：计算最大聚类集合与次大聚类集合的中心位置C(x,y)，然后以中心位置C(x,y)为中心，截取驾驶员眼睛区域图像；

步骤8：对驾驶员眼睛区域图像进行圆形特征检测；

步骤9：每间隔时间T按照进行疲劳特征提取，当P≤P₀时则判定为驾驶员处于疲劳驾驶状态；

其中m为当前时刻前t秒内截取驾驶员眼睛区域图像的总次数，n为当前时刻前t秒内截取驾驶员眼睛区域图像中满足圆形特征检测的次数，P₀为疲劳特征判定阈值。

2.根据权利要求1所述的面向实车工况的驾驶人视频图像疲劳检测方法，其特征在于：所述k的取值为10。

3.根据权利要求1所述的面向实车工况的驾驶人视频图像疲劳检测方法，其特征在于：步骤3中更新后的R、G、B分量转换为YCgCr彩色空间的转换公式为：

$\left[\begin{array}{c}Y\\ C_g\\ C_r\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\left[\begin{array}{ccc}0.2568& 0.5041& 0.0979\\ -0.318& 0.4392& -0.1212\\ 0.4392& -0.3677& -0.0714\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

4.根据权利要求1所述的面向实车工况的驾驶人视频图像疲劳检测方法，其特征在于：步骤3中所述二值化阈值处理按照：

$\left[\begin{array}{c}Y\\ C_g\\ C_r\end{array}\right]=\left\{\begin{array}{ccc}1,& \mathrm{if}& Y_a\≤Y\≤Y_b\\ 1,& \mathrm{if}& C_{\mathrm{ga}}\≤C_g\≤C_{\mathrm{gb}}\\ 1,& \mathrm{if}& C_{\mathrm{ra}}\≤C_r\≤C_{\mathrm{rb}}\end{array}\right.$ 进行，其中：

Ya＝100*(D/255)，Yb＝200*(D/255)，Cga＝120*(D/255),Cgb＝190*(D/255)，Crb＝160*(D/255)，Crb＝240*(D/255)，D为当前图像帧前20帧图像的平均灰度值。

5.根据权利要求1所述的面向实车工况的驾驶人视频图像疲劳检测方法，其特征在于：所述第一预设阈值为3000。

6.根据权利要求1所述的面向实车工况的驾驶人视频图像疲劳检测方法，其特征在于：步骤5中所述SURF特征提取的具体步骤为：

步骤5-1：构建高斯平滑滤波器，并对人脸有效眼部区域图像采用不同尺寸的滤波器进行滤波，得到同一图像在不同尺度的一系列响应图；

步骤5-2：按照 $\det \left(H\right)=\frac{{\∂}^{2}f}{\∂x^2}\frac{{\∂}^{2}f}{{\∂y}^2}-{(0.9*\frac{{\∂}^{2}f}{\∂x\∂y})}^2$ 计算每一个相应图中每一个像素的值，若所得det(H)小于零则该像素为极值点，即为SURF特征点，

其中，表示像素x方向的二阶导数，表示像素y方向的二阶导数，表示像素的x、y方向混合偏导。

7.根据权利要求1所述的面向实车工况的驾驶人视频图像疲劳检测方法，其特征在于：步骤6中聚类算法按照L_AB≤30,进行聚合，其中，L_AB为任意SURF特征点A(x₁,y₁)到其他特征点B(x₂,y₂)之间的欧氏距离。

8.根据权利要求1所述的面向实车工况的驾驶人视频图像疲劳检测方法，其特征在于：步骤8中所述圆形特征检测的具体步骤为：

步骤8-1：将步骤7中获得的驾驶员眼睛区域图像进行二值化阈值计算，然后对每一个非零像素点(x_i,y_i)构建过该点的所有圆的空间C_i∈{(a_i,b_i),r_i}，其中，(a_i,b_i)为过点(x_i,y_i)的圆的圆心坐标，r_i为半径，r_i＝1～30，i为像素点序号；

步骤8-2：确定圆空间C_i中的共圆点，并计算出共圆点的数量S_i；

步骤8-3：若共圆点的数量S_i≥20，则圆空间C_i为有效圆，即眼睛区域图像中存在圆形特征。

9.根据权利要求1所述的面向实车工况的驾驶人视频图像疲劳检测方法，其特征在于：截取人脸有效眼部区域图像的大小为160×120，截取驾驶员眼睛区域图像的大小为35×100。

10.根据权利要求1所述的面向实车工况的驾驶人视频图像疲劳检测方法，其特征在于：步骤9中所述间隔时间T＝1s，t₀＝5s，疲劳特征判定阈值P₀＝0.30。