CN104021370A - 一种基于视觉信息融合的驾驶员状态监测方法及*** - Google Patents

Abstract

本发明公开了一种基于视觉信息融合的驾驶员状态监测方法及***，包括采集驾驶员脸部图像与汽车前方道路图像并进行预处理；对经过预处理的驾驶员脸部图像进行人脸定位获取人脸区域；在人脸区域内定位人眼瞳孔质心和瞳孔区域，获取人眼状态参数并对人眼进行跟踪；从经过预处理的汽车前方道路图像进行车道线检测并识别；根据检测到的车道线计算汽车行驶方向与导航线夹角，判断车辆是否偏离车道；根据驾驶员的眼部特征和车辆偏离程度对驾驶员驾驶状态进行判别。本发明提出了融合两种计算机视觉方式的驾驶员状态监测方法，提高了检测的准确率，实现驾驶员疲劳、酒后、注意力分散等非正常驾驶状态的实时监测和报警,从而保障汽车安全驾驶。

Description

一种基于视觉信息融合的驾驶员状态监测方法及***

技术领域

本发明涉及交通工程，尤其涉及一种基于视觉信息融合的驾驶员状态监测方法及***。

背景技术

驾驶员处于非正常驾驶状态容易导致道路交通事故，因此安全可靠的车载驾驶员状态实时监测***有着深远的意义。

目前，现有的驾驶员状态监测技术一般有以下几种方式：一，基于驾驶员生理现象的方法；二，基于驾驶员操控行为的方法；三，基于汽车的行为的方法；其中：

基于驾驶员生理现象的方法，主要是通过测量驾驶员的生理信号如心率、脉搏、脑电波、肌电信号等参数变化或者身体动作包括面部表情、眨眼频率等参数等来实现对驾驶员状态的监测。该方法较为可靠，准确性高，但是作为一种接触式测量，应用场景有限，而且操作不便，因而实用性一般。

基于驾驶员操控行为的方法，主要是通过驾驶员对方向盘、加速器等的操控来反应驾驶员的状态。此类方法虽然也是一种接触式测量方法，但是相比基于生理现象的方法，可操作性较强，但是考虑到实际场景复杂多变，此类方法准确性不高而且扩展性、抗干扰性都很差，因此市场前景不容乐观。

基于汽车行为的方法，是一种间接监测方法，通常使用基于视觉传感器、速度传感器等监控车辆的行驶路线、速度、加速度等信息来分析判断驾驶员的状态。此类方法可操作性比较强，成本比较低，但是可扩展性比较差。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于视觉信息融合的驾驶员状态监测方法及***，以解决现有的监测方法中不仅准确率不高，而且容易对正常驾驶造成干扰的问题。

本发明是通过以下技术方案来实现的：

一种基于视觉信息融合的驾驶员状态监测方法，包括以下步骤：

S10，采集驾驶员脸部图像与汽车前方道路图像并进行预处理；

S20，对经过预处理的驾驶员脸部图像进行人脸定位，获取人脸区域；

S30，在人脸区域内定位人眼瞳孔质心和瞳孔区域，获取人眼状态参数并对人眼进行跟踪；

S40，对经过预处理的汽车前方道路图像进行车道线检测并识别；

S50，根据检测到的车道线计算汽车行驶方向与导航线夹角，判断车辆是否偏离车道；

S60，根据驾驶员的眼部特征和车辆偏离程度对驾驶员驾驶状态进行判别，若处于非正常驾驶状态，则启动报警。

进一步的，步骤S30还包括：

S31，采用自适应阈值二值化的方法获取人脸区域的二值图像；

S32，对得到的二值图像的上半区域进行灰度投影值的水平积分投影，获得人眼的水平位置；

S33，在定位出的人眼区域内定位瞳孔质心，并利用Kalman滤波方法对人眼进行跟踪；

S34，计算瞳孔面积判别眼睛的睁闭状态，获取人眼参数。

进一步的，所述步骤S40包括：

S41，对经过预处理的道路图像进行canny边缘检测实现二值化；

S42，对所述道路图像的二值图像进行Hough变换直线检测；

S43，利用水平线检测方法分析Hough变换检测到的多条直线，找到直线的消隐点，相交于消隐点的(条直线即分别为车道线的左右边界。

进一步的，所述步骤S50包括：

根据步骤S40中得到的道路边界和消隐点确定道路边界的夹角，从而获得车道的中线，即夹角的一半且过消隐点的直线。

如果汽车行驶方向与车道中线之间的夹角在预设阈值范围内，则判断为汽车属于正常驾驶状态，否则判断为车辆行驶偏离车道。

本发明的另一目的还在于提供一种基于视觉信息融合的驾驶员状态监测***，包括：

图像获取及预处理单元，用于采集驾驶员脸部图像与汽车前方道路图像并进行预处理；

人眼定位及运动参数提取单元，用于对经过预处理的驾驶员脸部图像进行人脸定位以获取人脸区域，并在人脸区域内定位人眼瞳孔质心和瞳孔区域，获取人眼状态参数并对人眼进行跟踪；

车道线检测识别单元：用于从经过预处理的汽车前方道路图像进行车道线检测并识别；

偏离判断单元：用于根据检测到的车道线计算汽车行驶方向与导航线夹角，判断车辆是否偏离车道；

驾驶员状态分析单元：用于根据驾驶员的眼部特征和车辆偏离程度对驾驶员驾驶状态进行判别，若处于非正常驾驶状态，则启动报警。

进一步的，所述人眼定位及运动参数提取单元还用于：

采用自适应阈值二值化的方法获取人脸区域的二值图像；

对得到的二值图像的上半区域进行灰度投影值的水平积分投影，获得人眼的水平位置；

在定位出的人眼区域内定位瞳孔质心，并利用Kalman滤波方法对人眼进行跟踪；

计算瞳孔面积判别眼睛的睁闭状态，获取人眼参数。

进一步的，所述车道线检测识别单元具体用于：

对经过预处理的道路图像进行canny边缘检测实现二值化；

对所述道路图像的二值图像进行Hough变换直线检测；

利用水平线检测方法分析Hough变换检测到的多条直线，找到直线的消隐点，相交于消隐点的(条直线即分别为车道线的左右边界。

进一步的，所述偏离判断单元具体用于：

根据车道线检测识别单元中得到的道路边界和消隐点确定道路边界的夹角，从而获得车道中线，即夹角的一半且过消隐点的直线；如果汽车行驶方向与车道中线之间的夹角在预设阈值范围内，则判断为汽车属于正常驾驶状态，否则判断为车辆行驶偏离车道。

相较于现有技术，本发明的有益效果是：本发明融合了车内视觉与车外视觉(种信息，通过同时监测人眼运动特征与车道偏离程度实现对驾驶员状态的监测，车内实时检测人眼运动特征，车外实时监测车道偏离程度；提高了检测准确率，从而改善)动车道路行驶的安全性；同时该方法计算速度快，占用内存小，实现了车载嵌入式***实时监测。

附图说明

图1为本发明实施例的基于视觉信息融合的驾驶员状态监测方法流程图。

图2为本发明实施例的人眼参数提取流程图。

图3为本发明实施例的车道偏离检测流程图。

图4为本发明实施例的车道偏离检测模型。

图5为本发明实施例对眼部特征和车辆偏离信息进行融合的贝叶斯网络结构。

具体实施方式

如图1所示，基于视觉信息融合的驾驶员状态监测方法包括如下步骤：

S10，采集驾驶员脸部图像与汽车前方道路图像并进行预处理。

采集实时图像，通过设置车内红外摄像)采集驾驶员脸部实时图像与车外摄像)实时采集汽车前方道路图像，传输给图像处理模块进行预处理，例如根据数据格式的需要，将获取到的图像转换成单通道灰度图像，并进行滤波降噪等操作。

S20，对经过预处理的驾驶员脸部图像进行人脸定位，获取人脸区域。

如附图2所示，获取人脸区域，消除头发等部分对人眼检测的影响，具体方法如下：

计算图像的矩M₀₀，M₁₀，M₀₁，M₀₂，M₂₀与质心(X,Y)从而获取人脸区域的宽度和高度。其中图像的各阶矩定义为：

$M_{00}=\underset{x=0}{\overset{m}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}f(x,y)$

$M_{10}=\underset{x=0}{\overset{m}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{xf}(x,y)$

$M_{01}=\underset{x=0}{\overset{m}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{yf}(x,y)$

$M_{02}=\underset{x=0}{\overset{m}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}{y}^{2}f(x,y);$

$M_{20}=\underset{x=0}{\overset{m}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}{x}^{2}f(x,y)$

其中，m,n分别表示图像的宽和高，f(x,y)表示在图像坐标点(x,y)的像素值。

质心的计算公式如下：

$X=\frac{M_{10}}{M_{00}}$

$Y=\frac{M_{01}}{M_{00}};$

人脸区域的宽(witdth)和高(height)的计算公式如下：

$\mathrm{witdth}=3\sqrt{\mathrm{XX}}$

$\mathrm{height}=3\sqrt{\mathrm{YY}};$

其中，XX,YY可根据质心数据计算得到，公式如下：

$\mathrm{XX}=\frac{M_{20}}{M_{00}}-X\×X$

$\mathrm{YY}=\frac{M_{02}}{M_{00}}-Y\×Y;$

S30，在人脸区域内定位人眼瞳孔质心和瞳孔区域，获取人眼状态参数并对人眼进行跟踪。

在步骤S20中得到的人脸区域内，利用自适应阈值与水平积分投影方法粗定位人眼的位置。

采用自适应阈值二值化的方法获取人脸区域的二值图像，考虑到人眼位于脸部的上半区域，因此对得到二值图像的上半区域进行灰度投影值的水平积分投影，获得人眼的水平位置，公式如下：

$H\left(x\right)=\frac{1}{y_2-y_1}\underset{y=y_1}{\overset{y_2}{\mathrm{\Σ}}}I(x,y)$

其中，y₁,y₂分别表示图像中人脸区域的横坐标的下限和上限，x表示图像的纵坐标，I(x,y)表示图像在坐标点(x,y)的像素值，H(x)表示第x行像素点水平积分之后的平均值。

定位出的人眼区域内定位瞳孔质心，并利用Kalman滤波方法对人眼进行跟踪。

在定位出的人眼区域内，寻找灰度值最大的点，并以该店为中心向周围进行区域生长，然后计算区域生长后得到区域的质心，即为瞳孔的质心。质心的计算方法与人脸定位时计算方法相同。为了提高效率，在获得一帧图像的人眼位置信息后，采用Kalman滤波跟踪人眼位置。

利用上述步骤中定位得到的瞳孔区域，通过计算瞳孔面积判别眼睛的状态，获取人眼参数。判别眼睛睁闭状态采用P80指标，即当眼睑遮住瞳孔80％时判别眼睛为闭合状态。瞳孔面积可通过统计瞳孔区域非0像素来获得。

S40，从经过预处理的汽车前方道路图像进行车道线检测并识别，具体包括：

S41，如附图3所示，将步骤S10中经过预处理的道路图像，进行canny边缘检测实现二值化。

S42，对步骤S41中得到的二值图，进行Hough变换车道线检测并识别。

S43，由于Hough变换会检测到多条直线，不仅包括车道线，还包括一些杂散的直线，因此利用水平线检测方法，找到直线的消隐点，相交于消隐点的(条直线则分别为车道线的左右边界。

S50，根据检测到的车道线计算汽车行驶方向与导航线夹角，判断车辆是否偏离车道：

首先，计算车道线的中线：根据步骤S40中得到的道路边界和消隐点，可以确定道路边界的夹角，从而获得车道的中线，即夹角的一半，且过消隐点的直线。

如附图4所示，汽车正常行驶，则行驶方向与车道中线之间的夹角α应该在预设阈值α_T范围内，角度超过该预设阈值，认为车辆行驶偏离车道。其中预设阈值α_T与摄像)的参数以及道路情况等有关，根据相应情况进行设置，经过大量实验，取值为10时效果比较好。

其中，附图4中，Vp表示消隐点，v表示汽车的速度，vl表示汽车速度在中线方向的分量。

S60，根据驾驶员的眼部特征和车辆偏离程度对驾驶员驾驶状态进行判别，若处于非正常驾驶状态，则启动报警。

在本实施例中采用动态贝叶斯网络的方法，将驾驶员眼睛参数信息与车辆偏离信息融合，采用学习的方法获取贝叶斯网络参数，并根据得到的贝叶斯网络，最终对驾驶员是否处于非正常驾驶状态给出判别，其数学表达式如下：贝叶斯网络结构可以用附图5中的拓扑结构来描述因果关系，a)表示初始网络，b瞑表示转移网络。

$P\left(F\right|E,C)=\frac{P(F,E,C)}{P(E,C)}=\frac{P(F,E,C)}{\underset{i=0}{\overset{1}{\mathrm{\Σ}}}P(F_i,E,C)}$

其中，父节点表F表示驾驶员状态，子节点E表示眼睛参数状态，子节点C表示车道偏离状态，对于F，E和C都存在(种状态0和1,0表示发生，1表示未发生。父节点与子节点之间的连线分别表示各个状态的条件概率。t与t+1表示时间，t时刻节点与t+1时刻节点之间的连线表示状态转移概率。

贝叶斯网络参数通过样本学习方法来获取，分别得到驾驶状态的先验概率与各个特征的条件概率以及转移概率。最后对当前得到的状态，利用计算得到结果对驾驶员状态做出判断。

对应于上述一种基于视觉信息融合的驾驶员状态监测方法，本发明还提供了一种基于视觉信息融合的驾驶员状态监测***，其组成部分及功能与上述基于视觉信息融合的驾驶员状态监测方法各步骤一一对应，在此就不再论述。

本发明实施例提供的上述技术方案的全部或部分可以通过程序指令相关的硬件来完成，所述程序可以存储在可读取的存储介质中，该存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于视觉信息融合的驾驶员状态监测方法，其特征在于，包括以下步骤：

S10，采集驾驶员脸部图像与汽车前方道路图像并进行预处理；

S20，对经过预处理的驾驶员脸部图像进行人脸定位，获取人脸区域；

S30，在人脸区域内定位人眼瞳孔质心和瞳孔区域，获取人眼状态参数并对人眼进行跟踪；

S40，对经过预处理的汽车前方道路图像进行车道线检测并识别；

S50，根据检测到的车道线计算汽车行驶方向与导航线夹角，判断车辆是否偏离车道；

S60，根据驾驶员的眼部特征和车辆偏离程度对驾驶员驾驶状态进行判别，若处于非正常驾驶状态，则启动报警。

2.根据权利要求1所述的驾驶员状态监测方法，其特征在于，步骤S30还包括：

S31，采用自适应阈值二值化的方法获取人脸区域的二值图像；

S32，对得到的二值图像的上半区域进行灰度投影值的水平积分投影，获得人眼的水平位置；

S33，在定位出的人眼区域内定位瞳孔质心，并利用Kalman滤波方法对人眼进行跟踪；

S34，计算瞳孔面积判别眼睛的睁闭状态，获取人眼参数。

3.根据权利要求1所述的基于视觉信息融合的驾驶员状态监测方法，其特征在于，所述步骤S40包括：

S41，对经过预处理的道路图像进行canny边缘检测实现二值化；

S42，对所述道路图像的二值图像进行Hough变换直线检测；

S43，利用水平线检测方法分析Hough变换检测到的多条直线，找到直线的消隐点，相交于消隐点的两条直线即分别为车道线的左右边界。

4.根据权利要求3所述的基于视觉信息融合的驾驶员状态监测方法，其特征在于，所述步骤S50包括：

根据步骤S40中得到的道路边界和消隐点确定道路边界的夹角，从而获得车道的中线，即夹角的一半且过消隐点的直线。

如果汽车行驶方向与车道中线之间的夹角在预设阈值范围内，则判断为汽车属于正常驾驶状态，否则判断为车辆行驶偏离车道。

5.一种基于视觉信息融合的驾驶员状态监测***，其特征在于，包括：

图像获取及预处理单元，用于采集驾驶员脸部图像与汽车前方道路图像并进行预处理；

人眼定位及运动参数提取单元，用于对经过预处理的驾驶员脸部图像进行人脸定位以获取人脸区域，并在人脸区域内定位人眼瞳孔质心和瞳孔区域，获取人眼状态参数并对人眼进行跟踪；

车道线检测识别单元：用于对经过预处理的汽车前方道路图像进行车道线检测并识别；

偏离判断单元：用于根据检测到的车道线计算汽车行驶方向与导航线夹角，判断车辆是否偏离车道；

驾驶员状态分析单元：用于根据驾驶员的眼部特征和车辆偏离程度对驾驶员驾驶状态进行判别，若处于非正常驾驶状态，则启动报警。

6.根据权利要求5所述的驾驶员状态监测***，其特征在于，所述人眼定位及运动参数提取单元还用于：

采用自适应阈值二值化的方法获取人脸区域的二值图像；

对得到的二值图像的上半区域进行灰度投影值的水平积分投影，获得人眼的水平位置；

在定位出的人眼区域内定位瞳孔质心，并利用Kalman滤波方法对人眼进行跟踪；

计算瞳孔面积判别眼睛的睁闭状态，获取人眼参数。

7.根据权利要求6所述的驾驶员状态监测***，其特征在于，所述车道线检测识别单元具体用于：

对经过预处理的道路图像进行canny边缘检测实现二值化；

对所述道路图像的二值图像进行Hough变换直线检测；

利用水平线检测方法分析Hough变换检测到的多条直线，找到直线的消隐点，相交于消隐点的两条直线即分别为车道线的左右边界。

8.根据权利要求7所述的驾驶员状态监测***，其特征在于，所述偏离判断单元具体用于：

根据车道线检测识别单元中得到的道路边界和消隐点确定道路边界的夹角，从而获得车道中线，即夹角的一半且过消隐点的直线；如果汽车行驶方向与车道中线之间的夹角在预设阈值范围内，则判断为汽车属于正常驾驶状态，否则判断为车辆行驶偏离车道。