CN103340637A - 基于眼动与脑电融合的驾驶员警觉度智能监控***及方法 - Google Patents

Abstract

本发明提供一种基于眼动与脑电融合的驾驶员警觉度智能监控***及方法，该***包括：实时采集驾驶员的眼动信息的眼动信号采集模块；与眼动信号采集模块通信相连，从眼动信息中分析和提取眼动警觉度特征的眼动信号处理模块；实时采集驾驶员的脑电信号的脑电信号采集模块；与脑电信号采集模块通信相连，从脑电信号中分析和提取脑电警觉度特征的脑电信号处理模块；分别与眼动信号处理模块和脑电信号处理模块通信相连，对驾驶员当前的眼动警觉度特征和脑电警觉度特征融合后形成的融合警觉度特征进行警觉度状态评定的警觉度监测模块。本发明通过融合脑电信息与眼动信息监测驾驶员的警觉度状态，判断是否是非安全驾驶，具有较好的实时性与较高的可信度。

Description

基于眼动与脑电融合的驾驶员警觉度智能监控***及方法

技术领域

本发明属于生物信号感知与处理技术领域，涉及一种驾驶员警觉度智能监控***及方法，尤其涉及一种基于眼动与脑电融合的驾驶员警觉度智能监控***及方法。

背景技术

警觉度指人集中精力执行一项操作任务时所表现出的灵敏程度，包括对疲劳和瞌睡状态的度量。一些特殊的工作，如空中管制中心的管制员、飞行员和高速公路上的长途客车驾驶员等都需要保持很高的警觉度。对人的警觉度的精确估计以及实时监测是人机交互***研究中的一项非常重要的课题。尤其是司机长时间驾驶后将产生疲劳和警觉度下降，通过警觉度分析可以有效判断司机的疲劳程度，防止交通事故的发生。

在以往研究警觉度和睡眠程度中，眼电信号是被广泛识别的信号。因为在不同睡眠阶段眼睛转动的频率不同，所以可以根据眼电信号来判断睡眠的阶段。现有的一种基于眼电信号的警觉度检测***（申请号为201110066235.7）包括信号采集***、信号处理***和反馈***；信号采集***采集眼电模拟信号并进行放大、滤波和数模转换处理后输出特征数据至信号处理***；信号处理***对输入的眼电信号进行特征提取并估计出警觉度状态后输出至反馈***；反馈***在满足警告条件时发出报警。该基于眼电信号的警觉度检测***能够提供比眼部视频更全面更准确的信息；结合慢速眼动、快速眼动、眨眼等多种从EOG（electrooculography，眼电图）中提取的特征，并且使用了支持实时的线性动力***去噪方法，可及时准确地反映使用者的疲劳状态，并对超过一定程度的疲劳产生报警。

此外，由于脑电信号的变化通常先于人的面部表情变化和肢体动作而变化，能更及时更准确地反映人的警觉度状态，随着脑电分析技术的日益进步，脑电信号也越来越多地担当警觉度分析的重任。

现有技术中有一种用于驾车司机警觉度测定的脑电信号识别检测方法（申请号为201010548388.0），该方法通过将脑电信号的测试段频域序列分频段计算最大相关度和特征值之间的最小冗余度后，采用基于高斯核的支持向量机方法通过对每段时间所处的警觉状态进行分类，实现轻度瞌睡识别。该方法通过脑电信号识别人脑进入瞌睡之前的轻度瞌睡状态，来预测并防止警觉度的进一步下降。但该方法仅采用了δ段、θ段、α段、β段、γ段5个频段，这些频段会受到环境和人为因素的影响，产生偏差。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于眼动与脑电融合的驾驶员警觉度智能监控***及方法，用于解决现有技术中对驾驶员的警觉度状态评测不准确、易受外界环境和人为因素影响产生偏差的问题。

为实现上述目的及其他相关目的，本发明提供一种基于眼动与脑电融合的驾驶员警觉度智能监控***及方法。

一种基于眼动与脑电融合的驾驶员警觉度智能监控***，该监控***包括：用以实时采集驾驶员的眼动信息的眼动信号采集模块；与所述眼动信号采集模块通信相连，且用以从所述眼动信息中分析和提取眼动警觉度特征的眼动信号处理模块；用以实时采集驾驶员的脑电信号的脑电信号采集模块；与所述脑电信号采集模块通信相连，且用以从所述脑电信号中分析和提取脑电警觉度特征的脑电信号处理模块；所述脑电警觉度特征包括δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征；分别与所述眼动信号处理模块和脑电信号处理模块通信相连，且用以对驾驶员当前的眼动警觉度特征和脑电警觉度特征融合后形成的融合警觉度特征进行警觉度状态评定的警觉度监测模块。

优选地，所述警觉度监测模块包括：导联确定模块，与所述脑电信号处理模块相连，建立与警觉度相关的普遍脑功能导联区；导联选择模块，与所述导联确定模块相连，利用fisher score算法对普遍脑功能导联区进行个人的导联分析，获得适于个人的脑功能导联区域，进而获得个人的脑电导联分量；多种警觉度状态评定模型，与所述导联选择模块相连，利用脑电导联分量进行频谱能量分析，对所述δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征进行多种警觉度状态下的脑电警觉度特征的模式分类，获得警觉度脑功能区的定位关联；多窗口分布式实时监控模块，与所述多种警觉度状态评定模型和所述眼动信号处理模块分别相连，对所述导联分量、四个频带特征和四个频带能量比值特征、警觉度脑功能区的定位关联、警觉度监控相关参数以及眼动警觉度特征进行多角度实时监控。

优选地，所述眼动信号处理模块包括：人脸检测模块，与所述眼动信号采集模块相连，对所述眼动信号采集设备采集到的图像进行人脸检测，获得脸部区域特征；闭眼时间监测模块，与所述人脸检测模块相连，对脸部区域特征使用三维十字模型进行建模，在三维十字模型覆盖的区域进行眼部特征提取，并利用眼睛睁开和闭合时颜色特征的差异进行闭眼时间的监测；头部偏转角度监测模块，与所述人脸检测模块相连，利用光流法追踪相邻帧的输入图像中脸部区域特征的变化，将变化后的三维模型映射到二维图像中，再利用姿态估计的方式从二维图像中还原出三维模型的旋转平移参数，从而获得头部的旋转平移矩阵，进而获得头部偏转的角度。

优选地，所述三维十字模型包括水平部分和垂直部分，水平部分与垂直部分的交点为坐标原点，水平部分用水平曲线h(x)表示，垂直部分用垂直曲线v(y)表示，三维十字模型为：

$h\left(x\right)={e^{-x}}^2$

$v\left(y\right)=\left\{\begin{array}{c}-\frac{5}{18}y,y\≤0\\ \frac{1}{12}y,y\≥0\end{array}\right..$

优选地，所述基于眼动与脑电融合的驾驶员警觉度智能监控***还包括一与所述警觉度监测模块相连，且在所述警觉度状态评定的结果为异常时发出报警的报警模块。

优选地，所述基于眼动与脑电融合的驾驶员警觉度智能监控***还包括一与所述警觉度监测模块相连，且用以实时显示驾驶员眼动警觉度特征、脑电警觉度特征以及融合警觉度特征的显示模块。

一种基于眼动与脑电融合的驾驶员警觉度智能监控方法，包括以下步骤：

实时采集驾驶员的眼动信息，从所述眼动信息中分析和提取眼动警觉度特征；

实时采集驾驶员的脑电信号，从所述脑电信号中分析和提取脑电警觉度特征；所述脑电警觉度特征包括δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征；

对驾驶员当前的眼动警觉度特征和脑电警觉度特征融合后形成的融合警觉度特征进行警觉度状态评定。

对融合警觉度特征进行警觉度状态评定的具体过程包括：

建立与警觉度相关的普遍脑功能导联区；

利用fisher score算法对普遍脑功能导联区进行个人的导联分析，获得适于个人的脑功能导联区域，进而获得个人的脑电导联分量；

利用脑电导联分量进行频谱能量分析，对所述δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征进行多种警觉度状态任务下的脑电警觉度特征的模式分类，获得警觉度脑功能区的定位关联；

对所述导联分量、四个频带特征和四个频带能量比值特征、警觉度脑功能区的定位关联以及警觉度监控相关参数进行多角度实时监控。

从所述眼动信息中分析和提取眼动警觉度特征的具体过程包括：

对采集到的图像进行人脸检测，获得脸部区域特征；

对脸部区域特征使用三维十字模型进行建模，在三维十字模型覆盖的区域进行眼部特征提取，并利用眼睛睁开和闭合时颜色特征的差异进行闭眼时间的监测；所述三维十字模型包括水平部分和垂直部分，水平部分与垂直部分的交点为坐标原点，水平部分用水平曲线h(x)表示，垂直部分用垂直曲线v(y)表示，三维十字模型为：

$h\left(x\right)={e^{-x}}^2$

$v\left(y\right)=\left\{\begin{array}{c}-\frac{5}{18}y,y\≤0\\ \frac{1}{12}y,y\≥0\end{array}\right.;$

追踪相邻帧的输入图像中脸部区域特征的变化，利用姿态估计的方式获得头部的旋转平移矩阵，进而获得头部偏转的角度。

优选地，所述智能监控方法还包括：在所述警觉度状态评定结果为异常时发出报警；实时显示驾驶员眼动警觉度特征、脑电警觉度特征以及融合警觉度特征。

如上所述，本发明所述的基于眼动与脑电融合的驾驶员警觉度智能监控***及方法，具有以下有益效果：

本发明通过融合人体内在的脑电信息与外在的眼动信息，两者相互补充，不易受外界环境和人为因素影响，快速监测驾驶员的警觉度状态，判断是否是非安全驾驶状态，延时性不超过1秒，具有较好的实时性与较高的可信度。

附图说明

图1为本发明所述的基于眼动与脑电融合的驾驶员警觉度智能监控***的结构示意图。

图2为本发明所述的眼动信号处理模块的结构示意图。

图3为本发明所述的警觉度监测模块的结构示意图。

图4为本发明的基于眼动与脑电融合的驾驶员警觉度智能监控方法的流程示意图。

元件标号说明

100     驾驶员警觉度智能监控***

110      眼动信号采集模块

120      眼动信号处理模块

121      人脸检测模块

122      闭眼时间监测模块

123      头部偏转角度监测模块

130      脑电信号采集模块

140      脑电信号处理模块

150      警觉度监测模块

151      导联确定模块

152      导联选择模块

153      多种警觉度状态评定模型

154      多窗口分布式实时监控模块

160      报警模块

170      显示模块

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

下面结合实施例和附图对本发明进行详细说明。

实施例

本实施例提供一种基于眼动与脑电融合的驾驶员警觉度智能监控***，如图1所示，所述基于眼动与脑电融合的驾驶员警觉度智能监控***100包括：眼动信号采集模块110、眼动信号处理模块120、脑电信号采集模块130、脑电信号处理模块140、警觉度监测模块150、报警模块160、显示模块170。

所述眼动信号采集模块110实时采集驾驶员的眼动信息。

所述眼动信号处理模块120与所述眼动信号采集模块110通信相连，从所述眼动信息中分析和提取眼动警觉度特征。所述眼动信号处理模块120通过实时分析由摄像头采集的视频，提取眼动警觉度特征。

进一步，如图2所示，所述眼动信号处理模块120包括：人脸检测模块121，闭眼时间监测模块122，头部偏转角度监测模块123。

所述人脸检测模块121与所述眼动信号采集模块110相连，对所述眼动信号采集设备采集到的图像进行人脸检测，获得脸部区域特征。

所述闭眼时间监测模块122与所述人脸检测模块121相连，对脸部区域特征使用三维十字模型进行建模，在三维十字模型覆盖的区域进行眼部特征提取，并利用眼睛睁开和闭合时颜色特征的差异进行闭眼时间的监测。三维十字模型因为它的简单、较少的自由度、以及合理精确地近似了人体头部的特性用于三维头部追踪，其不会被脸部表情影响，可以稳定的运行。本发明中，选取眼眉中心作为三维十字模型的中心，选取两个眼角，鼻尖以及前额中心作为四个顶点。同时，模型保留了十字区域的深度信息，以使模型能精确匹配头部。所述三维十字模型包括水平部分和垂直部分，水平部分与垂直部分的交点为坐标原点，水平部分用水平曲线h(x)表示，垂直部分用垂直曲线v(y)表示，三维十字模型为：

$h\left(x\right)={e^{-x}}^2$

$v\left(y\right)=\left\{\begin{array}{c}-\frac{5}{18}y,y\≤0\\ \frac{1}{12}y,y\≥0\end{array}\right.$

所述头部偏转角度监测模块123与所述人脸检测模块121相连，追踪相邻帧的输入图像中脸部区域特征的变化，利用姿态估计的方式获得头部的旋转平移矩阵，进而获得头部偏转的角度，同时根据特定范围的灰度值的像素数量的差异性比较有效检测出眨眼状态。

追踪头部获得头部偏转角度的具体实现过程为：将三维十字模型映射到初始头部姿态模板来近似头部，从而进行头部姿态估计。在检测到人脸基础上，人脸图像的初始参考模板以及相应的姿态被计算出来，然后三维十字模型被创建出来，头部全运动将从输入的图像中利用光流法被追踪出来。本发明通过Lucas-Kanade方法（简称L-K算法，是光流法的一种经典算法）解决目标对象和摄像机之间的相对运动问题，以下是将头部（即目标对象）看成刚性物体，然后利用如前所述的三维十字头模型和L-K方法计算估计头部状态的过程。

头部姿态估计是对刚性头部运动的估计，改变三维十字模型的姿态直到模型的特征与图像数据相同。刚性头部运动包含旋转R∈R^3×3和平移T∈R^3×1，可以用公式（1）所示的齐次坐标描述：

$M=\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]---\left(1\right)$

每一个刚性运动也可以表示成三维的旋转R∈R^3×3和沿着三个轴的平移T∈R^3×1。旋转R∈R^3×3和平移T∈R^3×1可以分别表示成公式（2）和（3）：

$R=\left[\begin{array}{ccc}1& {-\mathrm{\ω}}_z& {\mathrm{\ω}}_y\\ {\mathrm{\ω}}_z& 1& {-\mathrm{\ω}}_x\\ {-\mathrm{\ω}}_y& {\mathrm{\ω}}_x& 1\end{array}\right]---\left(2\right)$

$T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]---\left(3\right)$

其中[ω_xω_yω_z]表示相对于三个轴的旋转角度，[t_xt_yt_z]表示三维平移T。

把头部运动看做一个刚性运动。因此，每一个三维十字模型的像素在t+1时刻可以表示成：

X_t+1=M·X_t=R^3×3·X_t+T^3×1    (4)

因为用L-K方法计算运动参数向量μ=[ω_x,ω_y,ω_z,t_x,t_y,t_z]，可以得到旋转矩阵R∈R^3×3和平移矩阵T∈R^3×1，然后就能计算出头部的全运动并估计头部姿态。

追踪头部获得眨眼状态的具体实现过程为：在检测到人脸基础上，使用L-K方法稳定的追踪头部运动，借助三维十字模型的水平信息来追踪眼睛，因眼睛区域位于三维十字模型的特定区域，因此，裁剪三维十字模型水平部分的两个区域，可以得到两个眼睛图片。在实时获取、监测左眼和右眼视频图像的基础上，计算图像的灰度直方图。当眼睛睁开时，灰度值低于一个特定阈值的像素的数量与眼睛闭合时的数量相比有着明显的区别。根据眼睛睁开和闭合时，特定范围的灰度值的像素数量的差异性比较可以有效检测出眨眼状态。

所述脑电信号采集模块130实时采集驾驶员的脑电信号。

所述脑电信号处理模块140与所述脑电信号采集模块130通信相连，从所述脑电信号中分析和提取脑电警觉度特征。所述脑电警觉度特征包括δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征。所述脑电信号处理模块140通过实时分析脑电数据，提取脑电警觉度特征。利用脑电的导联分量进行频谱能量分析，对δ、θ、α和β四个频带以及(θ+α)/β、α/β、(θ+α)/(α+β)、α/β4个能量比值共8个特征进行多种警觉度状态任务下的脑电警觉度特征的模式分类，获得警觉度脑功能区的定位关联，可以达到提高准确率和效果的目的。

所述警觉度监测模块150分别与所述眼动信号处理模块120和脑电信号处理模块140通信相连，对驾驶员当前的眼动警觉度特征和脑电警觉度特征融合后形成的融合警觉度特征进行警觉度状态评定。所述警觉度监测模块150通过脑电警觉度特征给出驾驶员警觉度的判定，警觉度至少分为清醒，疲劳和睡眠三个状态。所述警觉度监测模块150利用机器视觉方法分析头部离正前方的偏转角度和眼睛闭合的信息，由此判别驾驶员的警觉状态，警觉状态可分为正常状态和分神状态。当驾驶员头部偏离正前方的偏角过大和偏离的时间过长，或者眼睛单次闭合的时间过长，***将其判定为分神状态。

进一步，如图3所示，所述警觉度监测模块150包括：导联确定模块151，导联选择模块152，多种警觉度状态评定模型153，多窗口分布式实时监控模块154。

所述导联确定模块151与所述脑电信号处理模块140相连，建立与警觉度相关的普遍脑功能导联区。

所述导联选择模块152与所述导联确定模块151相连，利用fisher score算法对普遍脑功能导联区进行个人的导联分析，获得适于个人的脑功能导联区域，进而获得个人的脑电导联分量。在需要产品化和实用性的双重要求下，导联的减少和选择是***的重要问题。本发明利用fisher score算法对62导的实验数据进行警觉度状态的显著性差异分析，找到了与警觉度相关的普遍脑功能区，利用这一结果则可对未有警觉度先验知识的受试者进行导联的选择，以达到减少不必要的导联增强实用性的目的。与此同时，对已有警觉度相关数据的受试者可利用导联确定模块151和导联选择模块152进行个人的导联分析，找到适用于个人的导联区域，提高精确度。

所述多种警觉度状态评定模型153与所述导联选择模块152相连，利用脑电导联分量进行频谱能量分析，对所述δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征进行多种警觉度状态任务（如清醒-睡眠-疲劳等任务）下的脑电警觉度特征的模式分类，获得警觉度脑功能区的定位关联。所述多种警觉度状态评定模型153根据特征提取的结果，利用分类算法对警觉度状态进行客观评定。对于无先验模型情况，利用实验采集的大量样本数据进行特征的脑功能区定位，并利用线性fisher算法训练、测试得到特征提取及状态评定的参数选择，得到无先验模型的粗粒度监控范式，对于初次使用人员进行包括清醒、睡眠、疲劳等警觉度状态的准确监控和预警。所述多种警觉度状态评定模型153在无先验模型的基础上，针对具备先验警觉度信息的样本，利用SVM（支持向量机）算法和GMMlcuster（高斯混合聚类）算法开发出来的，多种警觉度状态评定模型能够评定包括两种及两种以上的警觉度状态，本发明采用了3种为例进行了说明，但多种警觉度状态评定模型可以评定的警觉度状态的种类则不限于3种。所述多种警觉度状态评定模型153具备先验警觉度模型的功能，对警觉度状态的评定更加精确，其利用GMMcluster分类器进行任意警觉度状态的评定，在清醒、睡眠、疲劳等状态基础上，增加更加细致的划分，为制定灵活、准确的预警策略提供了技术支持。

所述多窗口分布式实时监控模块154与所述多种警觉度状态评定模型153和所述眼动信号处理模块120分别相连，对所述导联分量、四个频带特征和四个频带能量比值特征、警觉度脑功能区的定位关联、警觉度监控相关参数以及眼动警觉度特征进行多角度实时监控。

所述导联确定模块151和所述导联选择模块152利用大量的实验对建立的警觉度监控与预警模型进行验证，建立基于主要特征的警觉度脑功能区的定位关联。在此基础上，多种警觉度状态评定模型153利用支持向量机SVM算法和高斯混合聚类GMMCluster算法对主要特征进行警觉度状态的评定，并以此为基础建立了无先验知识的多种警觉度状态评定的模型，克服了警觉度先验模型和无中间态模型的缺陷。同时所述多窗口分布式实时监控模块154提出了多模态监控方法，对导联信号、能量特征、脑功能区关联情况以及警觉度监控相关参数提出了多窗口分布式实时监控手段，对驾驶员的生理状态进行多角度的监控并制定相应的预警策略。

所述报警模块160与所述警觉度监测模块150相连，在所述警觉度状态评定的结果为异常时发出报警，提醒驾驶员注意。

所述显示模块170与所述警觉度监测模块150相连，实时显示驾驶员眼动警觉度特征、脑电警觉度特征以及融合警觉度特征的显示模块。该模块包括基于脑电、眼动的警觉度实时状态显示，融合的警觉度状态坐标轴显示，融合的警觉度历史记录，用户参数配置与控制等子模块。

本实施例还提供一种基于眼动与脑电融合的驾驶员警觉度智能监控方法，该监控方法可以由所述基于眼动与脑电融合的驾驶员警觉度智能监控***实现，也可以由其他装置设备实现，即所述基于眼动与脑电融合的驾驶员警觉度智能监控方法的实现装置不现于本发明所述的监控***。如图4所示，该基于眼动与脑电融合的驾驶员警觉度智能监控方法包括以下步骤：

实时采集驾驶员的眼动信息，从所述眼动信息中分析和提取眼动警觉度特征。进一步，从所述眼动信息中分析和提取眼动警觉度特征的具体过程包括：对采集到的图像进行人脸检测，获得脸部区域特征；对脸部区域特征使用三维十字模型进行建模，在三维十字模型覆盖的区域进行眼部特征提取，并利用眼睛睁开和闭合时颜色特征的差异进行闭眼时间的监测；所述三维十字模型包括水平部分和垂直部分，水平部分与垂直部分的交点为坐标原点，水平部分用水平曲线h(x)表示，垂直部分用垂直曲线v(y)表示，三维十字模型为：

$h\left(x\right)={e^{-x}}^2$

$v\left(y\right)=\left\{\begin{array}{c}-\frac{5}{18}y,y\≤0\\ \frac{1}{12}y,y\≥0\end{array}\right.;$

追踪相邻帧的输入图像中脸部区域特征的变化，利用姿态估计的方式获得头部的旋转平移矩阵，进而获得头部偏转的角度。在眼动监控中，需要监测的指标包括眼睛每次闭合的时间和头部偏转的角度。首先对输入的图像进行预处理，预处理包括图像的灰度化，为减小光照影响对图像进行像素均衡化；第二步对输入的图像进行人脸检测，并对检测出的人脸进行特征的提取；第三步在检测出人脸之后对图像中的人脸区域进行使用三维十字模型进行建模，同时在三维十字模型所覆盖的区域进行特征点的提取，在这一步可以确定眼部的位置，并利用眼睛睁开和闭合时颜色特征上的差异进行闭眼时间的监测；第四步对下一帧的输入图像中的相应的特诊点进行追踪；最后根据前后两帧中的模型的变化进行模型的姿态估计，从而得到头部的旋转平移矩阵，从而得到头部姿态。

实时采集驾驶员的脑电信号，从所述脑电信号中分析和提取脑电警觉度特征；所述脑电警觉度特征包括δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征。

对驾驶员当前的眼动警觉度特征和脑电警觉度特征融合后形成的融合警觉度特征进行警觉度状态评定。进一步，对融合警觉度特征进行警觉度状态评定的具体过程包括：建立与警觉度相关的普遍脑功能导联区；利用fisher score算法对普遍脑功能导联区进行个人的导联分析，获得适于个人的脑功能导联区域，进而获得个人的脑电导联分量；利用脑电导联分量进行频谱能量分析，对所述δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征进行清醒-睡眠-疲劳任务下的脑电特征提取和多种警觉度状态的客观评定；对所述导联分量、四个频带特征和四个频带能量比值特征、警觉度脑功能区的定位关联以及警觉度监控相关参数进行多角度实时监控。

在所述警觉度状态评定结果为异常时发出报警。

实时显示驾驶员眼动警觉度特征、脑电警觉度特征以及融合警觉度特征。

本发明借助脑电采集设备与摄像头同时采集驾驶员的脑电信号与眼动信息，利用SVM，高斯等多种模式分类算法对驾驶员警觉度状态进行综合评定，并通过眼动与脑电信息融合对驾驶员疲劳、瞌睡、视线长时偏移等非正常驾驶状态进行声光报警。本发明是在整合利用基于脑电信号的驾驶员警觉度分类模型与算法研究的基础上，结合实时的眼动监控对驾驶员的警觉度状态进行整合分析，实现检测驾驶员瞌睡、清醒、睁眼、长时闭眼、头部偏移等状态并适时报警的***和方法。

本发明通过对脑电信号的处理与分析能实时地对驾驶员警觉度状态进行清醒，疲劳和睡眠等3个等级的分类，由于脑电相较于人体外部表象更能反映出人体疲劳的内部特征，因此通过本发明获得的警觉度状态具有较好的实时性与较高的可信度。

本发明提供了利用驾驶员头部运动和眼动信息来判断驾驶疲劳的机器视觉判断方法，利用普通摄像头获取驾驶员头动与眼动信息，通过图像预处理、人脸检测、头部姿态恢复及眼动追踪等工作，对因疲劳导致的驾驶员头部长时间偏离正前方，或眼睛闭合时间显著增长等非安全驾驶状态进行报警。

本发明基于脑电和眼动、头动信息融合的驾驶员警觉度实时监控和及时报警，通过融合人体内在的脑电信息与外在的眼动信息，两者相互补充，可快速监测清醒、睡眠、深度疲劳所导致的瞌睡、眼睛闭合超时、眼睛或头部偏离超时等状态非安全驾驶状态（行为），延时性不超过1秒。

本发明不仅可以用在驾驶员警觉度监控，也可以用在其他对人的警觉度要求较高的工作场合。

综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于眼动与脑电融合的驾驶员警觉度智能监控***，其特征在于，所述基于眼动与脑电融合的驾驶员警觉度智能监控***包括：

用以实时采集驾驶员的眼动信息的眼动信号采集模块；

与所述眼动信号采集模块通信相连，且用以从所述眼动信息中分析和提取眼动警觉度特征的眼动信号处理模块；

用以实时采集驾驶员的脑电信号的脑电信号采集模块；

与所述脑电信号采集模块通信相连，且用以从所述脑电信号中分析和提取脑电警觉度特征的脑电信号处理模块；所述脑电警觉度特征包括δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征；

分别与所述眼动信号处理模块和脑电信号处理模块通信相连，且用以对驾驶员当前的眼动警觉度特征和脑电警觉度特征融合后形成的融合警觉度特征进行警觉度状态评定的警觉度监测模块。

2.根据权利要求1所述的基于眼动与脑电融合的驾驶员警觉度智能监控***，其特征在于，所述警觉度监测模块包括：

导联确定模块，与所述脑电信号处理模块相连，建立与警觉度相关的普遍脑功能导联区；

导联选择模块，与所述导联确定模块相连，利用fisher score算法对普遍脑功能导联区进行个人的导联分析，获得适于个人的脑功能导联区域，进而获得个人的脑电导联分量；

多种警觉度状态评定模型，与所述导联选择模块相连，利用脑电导联分量进行频谱能量分析，对所述δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征进行多种警觉度状态下的脑电警觉度特征的模式分类，获得警觉度脑功能区的定位关联；

多窗口分布式实时监控模块，与所述多种警觉度状态评定模型和所述眼动信号处理模块分别相连，对所述导联分量、四个频带特征和四个频带能量比值特征、警觉度脑功能区的定位关联、警觉度监控相关参数以及眼动警觉度特征进行多角度实时监控。

3.根据权利要求1所述的基于眼动与脑电融合的驾驶员警觉度智能监控***，其特征在于，所述眼动信号处理模块包括：

人脸检测模块，与所述眼动信号采集模块相连，对所述眼动信号采集设备采集到的图像进行人脸检测，获得脸部区域特征；

闭眼时间监测模块，与所述人脸检测模块相连，对脸部区域特征使用三维十字模型进行建模，在三维十字模型覆盖的区域进行眼部特征提取，并利用眼睛睁开和闭合时颜色特征的差异进行闭眼时间的监测；

头部偏转角度监测模块，与所述人脸检测模块相连，利用光流法追踪相邻帧的输入图像中脸部区域特征的变化，将变化后的三维模型映射到二维图像中，再利用姿态估计的方式从二维图像中还原出三维模型的旋转平移参数，从而获得头部的旋转平移矩阵，进而获得头部偏转的角度。

4.根据权利要求3所述的基于眼动与脑电融合的驾驶员警觉度智能监控***，其特征在于：所述三维十字模型包括水平部分和垂直部分，水平部分与垂直部分的交点为坐标原点，水平部分用水平曲线h(x)表示，垂直部分用垂直曲线v(y)表示，三维十字模型为：

$h\left(x\right)={e^{-x}}^2$

$v\left(y\right)=\left\{\begin{array}{c}-\frac{5}{18}y,y\≤0\\ \frac{1}{12}y,y\≥0\end{array}\right..$

5.根据权利要求1所述的基于眼动与脑电融合的驾驶员警觉度智能监控***，其特征在于：所述基于眼动与脑电融合的驾驶员警觉度智能监控***还包括一与所述警觉度监测模块相连，且在所述警觉度状态评定的结果为异常时发出报警的报警模块。

6.根据权利要求1所述的基于眼动与脑电融合的驾驶员警觉度智能监控***，其特征在于：所述基于眼动与脑电融合的驾驶员警觉度智能监控***还包括一与所述警觉度监测模块相连，且用以实时显示驾驶员眼动警觉度特征、脑电警觉度特征以及融合警觉度特征的显示模块。

7.一种基于眼动与脑电融合的驾驶员警觉度智能监控方法，其特征在于，包括以下步骤：

实时采集驾驶员的眼动信息，从所述眼动信息中分析和提取眼动警觉度特征；

实时采集驾驶员的脑电信号，从所述脑电信号中分析和提取脑电警觉度特征；所述脑电警觉度特征包括δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征；

对驾驶员当前的眼动警觉度特征和脑电警觉度特征融合后形成的融合警觉度特征进行警觉度状态评定。

8.根据权利要求7所述的基于眼动与脑电融合的驾驶员警觉度智能监控方法，其特征在于，对融合警觉度特征进行警觉度状态评定的具体过程包括：

建立与警觉度相关的普遍脑功能导联区；

利用fisher score算法对普遍脑功能导联区进行个人的导联分析，获得适于个人的脑功能导联区域，进而获得个人的脑电导联分量；

利用脑电导联分量进行频谱能量分析，对所述δ、θ、α、β四个频带特征和(θ+α)/β、α/β、(θ+α)/(α+β)、θ/β四个频带能量比值特征进行多种警觉度状态任务下的脑电警觉度特征的模式分类，获得警觉度脑功能区的定位关联；

对所述导联分量、四个频带特征和四个频带能量比值特征、警觉度脑功能区的定位关联、警觉度监控相关参数以及眼动警觉度特征进行多角度实时监控。

9.根据权利要求7所述的基于眼动与脑电融合的驾驶员警觉度智能监控方法，其特征在于，从所述眼动信息中分析和提取眼动警觉度特征的具体过程包括：

对采集到的图像进行人脸检测，获得脸部区域特征；

对脸部区域特征使用三维十字模型进行建模，在三维十字模型覆盖的区域进行眼部特征提取，并利用眼睛睁开和闭合时颜色特征的差异进行闭眼时间的监测；所述三维十字模型包括水平部分和垂直部分，水平部分与垂直部分的交点为坐标原点，水平部分用水平曲线h(x)表示，垂直部分用垂直曲线v(y)表示，三维十字模型为：

$h\left(x\right)={e^{-x}}^2$

$v\left(y\right)=\left\{\begin{array}{c}-\frac{5}{18}y,y\≤0\\ \frac{1}{12}y,y\≥0\end{array},;\right.$

追踪相邻帧的输入图像中脸部区域特征的变化，利用所述姿态估计方式获得头部的旋转平移矩阵，进而获得头部偏转的角度。

10.根据权利要求7所述的基于眼动与脑电融合的驾驶员警觉度智能监控方法，其特征在于，所述智能监控方法还包括：

在所述警觉度状态评定结果为异常时发出报警；

实时显示驾驶员眼动警觉度特征、脑电警觉度特征以及融合警觉度特征。

Images