CN101032405A - 基于全方位计算机视觉的安全驾驶辅助装置 - Google Patents

Abstract

一种基于全方位计算机视觉的安全驾驶辅助装置，包括用于获取车内外全方位视频信息的全方位视觉传感器、用于检测各种疲劳驾驶并有疲劳驾驶情况发生时提供报警的安全驾驶辅助控制器，所述的全方位视觉传感器安装在车内驾驶座的右方；所述的全方位视觉传感器输出连接安全驾驶辅助控制器，检测出驾驶员的面部的状态、眼部的状态、嘴巴的状态、方向盘的状态、监视车辆行驶方向、监视车辆行驶速度等状态，在检测到有驾驶疲劳现象发生时对驾驶员实施报警。本发明综合检测驾驶疲劳状态的特征参数，判别精度高，提高了测量精度。

Description

基于全方位计算机视觉的安全驾驶辅助装置

(一)技术领域

本发明属于全方位视觉传感器技术、图像识别以及理解技术、计算机控制技术在车辆安全驾驶方面的应用，尤其是一种基于全方位计算机视觉的安全驾驶辅助装置。

(二)背景技术

图1为道路环境、驾驶员、车的驾驶模型，在整个驾驶作业过程中，驾驶员不断进行感知-判断-动作，而感知疲劳、判断疲劳和动作疲劳这些时刻存在的干扰因素随时都影响驾驶员正常作业，直至驾驶结束，任何疲劳单独或共同所产生的疲劳都存在驾驶失败的危险。

交通信息首先经过驾驶员的感知阶段，在该阶段驾驶员对道路环境中各种信息进行感知，感应的器官为视觉器官、听觉器官、味觉器官等，由于受感知疲劳的影响，往往会出现感知误感现象、减弱现象、不感现象，驾驶员以抗疲劳能力对误感进行拮抗，如果得以成功使之通过感知阶段到达判断阶段。

同样，因信息处理阶段行为受判断疲劳的影响，仍会出现误判现象，判断的器官为中枢神经***，包括大脑、小脑等，由于受判断行为形成致疲劳因子的制约，往往会出现误判断、判断能力弱、不判断现象，驾驶员以抗疲劳能力对误判断拮抗，如果得以成功使之通过判断阶段到达动作阶段。

因动作阶段行为受动作疲劳的影响，驾驶员亦会出现误动现象，如果对误动拮抗成功，即可实现对车辆的驾驶，最后，车辆运行状况和后续道路再反馈给驾驶员。

作为上述感知-判断-动作的驾驶疲劳分别用其疲劳状态来表示的话，其主要表现为以下10类：(1)哈欠连天，脸发木；(2)头越来越沉，不自觉的频频点头(打瞌睡)，很难保持抬头的姿态；(3)肌肉放松，眼睑下垂，甚至闭眼；(4)视线模糊，眼睛发红、发干；(5)视野变窄，总是漏看错看信息；(6)反应迟钝，判断迟缓；(7)注意力无法集中，思维能力下降；(8)动作僵硬，节奏缓慢；(9)失去方向感，驾车左右摇摆在公路上；10)随意变换车速，行驶速率不定。

中国发明专利(公开号CN 1851498A)公开了一种疲劳驾驶检测技术，中国发明专利(公开号CN 1830389A)公开了一种疲劳驾驶状态监控装置及方法，中国实用新型专利(专利号03218647.9)公开了一种车辆运行状态记录报警分析仪，中国实用新型专利(专利号ZL 200420072961.5)公开了一种客车疲劳驾驶及超载运输的远程监控装置。

国外对于检测驾驶员的驾驶疲劳状态也有不少研究者进行了研究以及产品的开发，明尼苏达大学的Nikolaos P与Papaniko lopoulos开发了一套驾驶员眼睛的追踪和定位***，通过安置在车内的一个CCD摄像头监视驾驶员的脸部；ASCI(Advanced Safety Concepts Inc.)研制开发的头部位置传感器来测量驾驶员头部位置。该装置是设计安装在驾驶员座位上面的一个电容传感器阵列，每个传感器都能输出驾驶员头部距离传感器的位置，利用三角函数关系计算出头在X，Y，Z三维空间中的位置，也能够实时跟踪头部的位置，同时利用各个时间段头部位置的变化特征，可以判断出司机是否在打瞌睡；美国Electronic SafetyProducts公司开发的方向盘监视装置S.A.M.(steering attention monitor)是一种监测方向盘非正常运动的传感器装置，适用于各种车辆。方向盘正常运动时传感器装置不报警，若方向盘持续4s没有任何操作，S.A.M.就会发出报警声，直到方向盘继续正常运动为止；美国Ellison Research Labs实验室研制的DAS2000型路面警告***(The DAS2000 Road Alert System)就是一种设置在高速公路上用计算机控制的红外线监测装置，当车辆偏离道路中线时，会向驾驶员发出警告；此外，也有研究者在车辆的前端安装摄像头，用来测量车辆离开白线的时间和程度。并向驾驶员报警。

从上述5项中国专利来看，在围绕着疲劳驾驶三个不同层面上缺乏总体的分析和综合，比如通过建立道路环境、驾驶员、车的驾驶模型来分析在上述三个的不同层面上的驾驶疲劳状态以及检测方法；在驾驶疲劳的检测、获取手段上比较单一，因而只能从比较单一的表象去判断，造成了判断精度不高等问题；功能比较单一，监测的方法还存在着局限性；缺乏客观判断生理疲劳程度的测量指标。从国外的一些研究成果和产品情况来说，也基本上是从驾驶疲劳的某一个层面去解决问题的；由于检测手段不同，如果要将这些技术综合起来就需要各种不同的传感器。

(三)发明内容

为了克服已有安全驾驶辅助装置的检测手段单一、判别精度不高、测量精度不高的不足，本发明提供一种采用一个全方位视觉传感器来同时检测出驾驶员的面部的状态、眼部的状态、嘴巴的状态、方向盘的状态、监视车辆行驶方向、监视车辆行驶速度等状态，综合检测驾驶疲劳状态的特征参数，判别精度高，提高了测量精度的基于全方位计算机视觉的安全驾驶辅助装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位计算机视觉的安全驾驶辅助装置，包括用于获取车内外全方位视频信息的全方位视觉传感器、用于检测各种疲劳驾驶并有疲劳驾驶情况发生时提供报警的安全驾驶辅助控制器，所述的全方位视觉传感器安装在车内驾驶座的右方；所述的全方位视觉传感器输出连接安全驾驶辅助控制器，所述的全方位视觉传感器包括用以反射车内外领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体和用于拍摄外凸反射镜面上成像体的摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在外凸折反射镜面的底部中央，所述摄像头对着外凸折反射镜面朝上；所述的安全驾驶辅助控制器包括：

检测领域分割模块，用于将从全方位视觉传感器获取的全方位视频信息分割为车辆前方视角、驾驶座位视角、方向盘视角的视频透视图像；

脸部定位模块，用于对驾驶员的人脸定位，人脸肤色在CrCb色度空间服从二维高斯分布，该肤色分布模型的概率密度函数用公式(4)表示，

$f(x1,x2)=\frac{1}{2\mathrm{\π}{\left|C\right|}^{1/2}}\exp \{-\frac{1}{2}{(X-\mathrm{\μ})}^T{C}^{-1}(X-\mathrm{\μ})\}...\left(4\right)$

其中，μ＝( Cr， Cb)^T＝(156.560，117.436)^T，该向量中的两个值分别指的是颜色分量Cr、Cb的均值，C是Cr、Cb的协方差矩阵，用公式(5)表示，

$C=\left[\begin{array}{cc}{\mathrm{\σ}}_{\mathrm{rr}}^2& {\mathrm{\σ}}_{\mathrm{rb}}\\ {\mathrm{\σ}}_{\mathrm{br}}& {\mathrm{\σ}}_{\mathrm{bb}}^2\end{array}\right]=\left[\begin{array}{cc}160.130& 12.143\\ 12.143& 299.457\end{array}\right]...\left(5\right)$

其中，σ_rr ²、σ_bb ²分别是Cr、Cb的方差，σ_rb、σ_br分别是Cr、Cb的协方差；

根据肤色的高斯分布模型，计算人脸图像中所有像素点的颜色与肤色的相似度，取相似度的计算公式为，

P(Cr，Cb)＝exp{-0.5(X-μ)^TC^-1(X-μ)}                   (6)

X＝(Cr，Cb)^T                                            (7)

其中，X＝(Cr，Cb)^T为像素在Cr、Cb色度空间中的向量，C、μ取值与上述的(4)、(5)式相同；

在计算出相似度值后，利用归一化的方法将相似度转化为0～255之间的灰度值，得到驾驶座位视角图像的灰度图；利用设定的阈值对灰度图进行二值化处理，肤色区域变成全白，其余部分变成全黑；并利用图像灰度直方图做图像的水平投影图来获取所提取区域在垂直方向上的顶部和底部的极大值；做垂直投影图来获取所提取区域在水平方向上的左侧和右侧的极大值；

设人脸长为h、宽为w，根据人脸的尺寸约束，如满足人脸长宽比0.8≤h/w≤1.5的条件，确认为该区域为人脸定位图像；

嘴唇定位和打哈欠检测模块，用于定位驾驶员嘴唇以及检测驾驶员打哈欠，对人脸定位图像中的红色像素点进行水平投影和垂直投影，确定此区域为嘴部区域，水平投影两相邻波谷间的最长距离为嘴唇的长度，竖直投影中两相邻波谷的最大距离为嘴唇的宽度；并依次定义嘴唇处于闭合状态、张开状态时的嘴唇特征点：左右嘴角点、上嘴唇中心最上点、上嘴唇中心最下点、下嘴唇中心最上点、下嘴唇中心最下点；将上嘴唇中心最上点与下嘴唇中心最下点的距离h_m与嘴巴长度W_m的比，根据嘴模型定义为嘴张开程度的参数Doo_m，如公式(32)所示：

${\mathrm{Doo}}_m=\frac{h_m}{W_m}...\left(32\right)$

设定持续一段时间的较大的嘴张开状态成立时判定打哈欠发生，如公式(33)所示：

∑φ(Doo_m)≥β                      (33)

其中， $\mathrm{\&phi;}\left({\mathrm{Doo}}_m\right)=\left\{\begin{array}{cc}1& {\mathrm{Doo}}_m\&GreaterEqual;\mathrm{\&alpha;}\\ 0& {\mathrm{Doo}}_m<\mathrm{\&alpha;}\end{array}\right....\left(34\right)$

定义一次打哈欠持续时间为哈欠开始到哈欠结束的时间，用公式(35)来表示：

T_y＝t₂-t₁                           (35)

即连续的嘴张开程度大于或等于α的时间间隔，当发现有一次打哈欠，则统计在一段时间中打哈欠的次数或者持续时间，用公式(36)来进行统计：

$\mathrm{Total}=\underset{t}{\overset{t+\mathrm{tn}}{\mathrm{\&Sigma;}}}{T}_y...\left(36\right)$

疲劳驾驶测评和报警模块，用于根据预设的一段时间那打哈欠的次数或持续时间域值，如测得的次数或持续时间大于设定域值，判定为疲劳驾驶，并向报警装置发出告警指令。

作为优选的一种方案：所述的安全驾驶辅助控制器还包括：

眼睛识别模块，用于依据嘴唇的左右嘴角点和面部的归一化参数标定眼睛特征区域和特征点，设左嘴角的坐标为(leftx，lefty)，右嘴角的坐标为(rightx，righty)，根据面部五官的排列顺序，嘴巴长度公式用公式(31)来表示：

W_m＝sqrt((rightx-leftx)*(rightx-leftx)+(righty-lefty)*(righty-lefty))  (31)

单侧眼睛的高度HighofEye用公式(37)计算：

HighofEye＝0.31*W_m                             (37)

单侧眼睛的长度LengthofEye用公式(38)计算：

LengthofEye＝0.63*W_m                           (38)

单侧眼睛区域的起始坐标(x₂，y₂)用公式(39)、(40)计算：

x₂＝rightx-0.1*LengthofEye                     (39)

y₂＝righty-1.35*W_m                            (40)

利用图像中的黑色像素点的投影来确定眼睛边界，黑色像素点垂直投影图的纵坐标为此区域一列上所有被判断为黑色的像素点之和，长度为N；横坐标为列号，长度为M，设区域大小为M*N，各点像素的值为I_e(x，y)，黑色像素点垂直与水平方向上的投影函数用公式(41)、(42)进行计算：

$P_{\mathrm{ey}}\left(x\right)=\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{I}_e(x\&CenterDot;y)...\left(41\right)$

$P_{\mathrm{ex}}\left(y\right)=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}{I}_e(x\&CenterDot;y)...\left(42\right)$

在水平投影时，由嘴巴的长度估算出眼睛的高度HighofEye，由眼睛区域的下部往上找每两个相连波谷之间的距离W，当遇到第一个W与右眼高度HighofEye比较相近时，认为这两个波谷之间的区域为眼睛的高度区域；

在垂直投影时，由嘴巴的长度估算出眼睛的长度LengthofEye，从垂直投影的右侧开始搜索，当搜索到两个相连波谷之间的距离L与右眼的高度LengthofEye比较相近时，认为这两个波谷之间的区域为眼睛的长度区域；眨眼检测模块，用于眼睛睁开程度计算方法采用眼睛模型定义，如公式(43)：

${\mathrm{Doo}}_e=\frac{h_e}{W_e}...\left(43\right)$

公式(43)中用眼睛外接矩形的宽高比表示眼睛的睁开程度，其中h_e为眼睛的睁开尺度，W_e为眼睛的宽度眼睛宽度取两眼角点的距离；

定义眨眼状态为视频图像中眼睛的睁开程度在视频中连续小于设定阈值的帧数累加大于一定的帧数的状态用公式(44)表示为：

∑φ(Doo_e)≥β_e                  (44)

其中， $\mathrm{\&phi;}\left({\mathrm{Doo}}_e\right)=\left\{\begin{array}{cc}1& {\mathrm{Doo}}_e\&GreaterEqual;{\mathrm{\&alpha;}}_e\\ 0& {\mathrm{Doo}}_e<{\mathrm{\&alpha;}}_e\end{array}\right....\left(45\right)$

公式(45)表示眼睛睁开程度在视频中连续小于或等于α_e的帧数累计超过β_e帧时认为发生了一次眨眼；

定义眨眼持续时间为眨眼过程中眼睛闭合到睁开之间的时间间隔，用公式(46)表示：

T_b＝t₂-t₁                         (46)

T_b表示连续的眼睁开程度小于或等于α_e的时间长度；

定义眨眼频率为最近发生的两次眨眼时间间隔的倒数，用公式(47)表示眨眼的频率为：

$f_b=\frac{1}{t_n-t_2}...\left(47\right);$

在疲劳驾驶测评和报警模块中，设定眨眼频率域值，如测得的眨眼频率大于眨眼频率域值，判定为疲劳驾驶，并向报警装置发出告警指令。

作为优选的另一种方案：所述的安全驾驶辅助控制器还包括：面部运动轨迹跟踪模块，用于采用卡尔曼滤波来跟踪驾驶员的面部活动，根据公式(15)在得到一系列代表面部状态向量X_t、X_t+1、X_t+2…中的面部区域中心点(x_t，y_t)、(x_t+1，y_t+1)、(x_t+2，y_t+2)信息后，按时间序列作出一条面部区域中心点运动轨迹线；

采用在驾驶员开始驾驶后一段时间内的面部区域中心点的统计平均值，计算公式如(48)所示，

$\stackrel{\&OverBar;}{x}=\underset{i=t}{\overset{t+n}{\mathrm{\&Sigma;}}}\frac{x_i}{n},\stackrel{\&OverBar;}{y}=\underset{i=t}{\overset{t+n}{\mathrm{\&Sigma;}}}\frac{y_i}{n}...\left(48\right)$

定义点头状态为视频图像中面部中心点位置连续向前方移动距离超过某个阈值的帧数，累加大于一定的帧数的状态用公式(49)表示为：

∑φ(Doo_h)≥β_h                      (49)

其中， $\mathrm{\&phi;}\left({\mathrm{Doo}}_h\right)=\left\{\begin{array}{cc}1& {\mathrm{Doo}}_h\&GreaterEqual;{\mathrm{\&alpha;}}_h\\ 0& {\mathrm{Doo}}_h<{\mathrm{\&alpha;}}_h\end{array}\right....\left(50\right)$

公式(49)表示点头的程度在视频中连续大于或等于α_h的帧数累计超过β_h帧时，判定发生一次点头；

${\mathrm{Doo}}_h=\sqrt{{(x_n-\stackrel{\&OverBar;}{x})}^2+{(y_n-\stackrel{\&OverBar;}{y})}^2}...\left(51\right)$

式(51)中，(x_n，y_n)为n帧时驾驶员的面部区域中心点位置，(x，y)为驾驶员开始驾驶后一段时间内的面部区域中心点位置的统计平均值；

在疲劳驾驶测评和报警模块中，设定点头次数域值、与正常驾驶时头部的标准位置超过偏离值α_h持续时间域值，如测得的点头次数大于点头次数域值，或者测得的与正常驾驶时头部的标准位置超过偏离值α_h持续时间大于持续时间域值，判定为疲劳驾驶，并向报警装置发出告警指令。

作为优选的再另一种方案：所述的安全驾驶辅助控制器还包括：车辆行驶方向检测模块，用于依照车辆前方视角图像，以道路上的白线或者是道路上边缘绿化带为基准线，通过视频图像检测车辆的前进方向是否与上述的白线或者绿化带相偏离，将车辆的中心点上作一条与上述的基准线的平行线，检测车辆的运行轨迹是否与所述的平行线左右偏离，如车辆运行轨迹点超过设定的偏离域值，检查当前驾驶处于该偏移状态，如果上次的偏离状态是正偏离状态，本次所检测到的状态的偏离状态是负偏离状态，或者是没有偏离，那么就认为产生了一次偏离，记录该次偏离的时间以及程度；

在疲劳驾驶测评和报警模块中，设定偏移报警距离，如当前的偏移程序大于偏移报警距离，判定为疲劳驾驶或危险驾驶，并向报警装置发出告警指令。

进一步，所述的安全驾驶辅助控制器还包括：操作方向盘状态检测模块，用于依据方向盘视角图像，如检测到前方道路上有弯道、有变道、有岔道及前方车辆进入行驶车道情况时，检测当前是否有有方向盘的操作动作；在疲劳驾驶测评和报警模块中，如当前没有方向盘的操作动作，判定为危险驾驶，并向报警装置发出告警指令。

更进一步，所述的检测领域分割模块还包括：透视图展开单元，用于利用透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，得到投影平面与空间三坐标的转换关系，转换关系式用公式(60)来表示：

X＝R*cosβ-i*sinβ       (60)

Y＝R*sinβ+i*cosβ

Z＝D*sinγ-j*cosγ

(R＝D*cosγ+j*sinγ)

上式中：D为透视投影平面到双曲面的焦点O_m的距离，β角度是入射光线在XY平面上投影的夹角，γ角度是入射光线与双曲面焦点的水平面的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和O_m-G轴直角相交的纵轴；

将上述用公式(60)求得的P(X，Y，Z)点代入公式(57)和(58)就能求得与透视投影平面的坐标点P(i，j)相对应的在成像平面上的P(x，y)点：

$x=\frac{\mathrm{Xf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}...\left(57\right)$

$y=\frac{\mathrm{Yf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}...\left(58\right)$

再进一步，所述的折反射镜面采用双曲面镜来进行设计：所示的双曲面镜构成的光学***可以由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1(Z＞0)                   (52)

$c=\sqrt{a^2+b^2}...\left(53\right)$

β＝tan^-1(Y/X)                                   (54)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ         (55)

$\mathrm{\&gamma;}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]...\left(56\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角一方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离。

本发明的技术构思为：采用视频技术和图像理解技术来监视驾驶员的驾驶疲劳可以通过检测驾驶员的头部的状态-哈欠连天；不自觉的频频点头(打瞌睡)，很难保持抬头的姿态；检测驾驶员的眼部的状态-眼睑下垂，甚至闭眼；检测方向盘的状态-反应迟钝，判断迟缓；动作僵硬，节奏缓慢；监视汽车行驶方向-失去方向感，驾车左右摇摆在公路上；监视汽车行驶速度-随意变换车速，行驶速率不定等各种疲劳状态以及驾驶状态来进行判断，从而能得到精确的判断结果。要同时能检测驾驶员的头部的状态、嘴巴的状态、眼部的状态、方向盘的状态、监视汽车行驶方向、监视汽车行驶速度等状态，最理想的方式是采用一个传感器来获得这些状态信息，全方位视觉传感器为实现这种技术提供了一种可能。

近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在车内中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动目标时算法更加简单；可以获得车内外场景的实时图像。这种ODVS摄像机主要由一个CCD摄像机和正对着摄像头的一个反光镜组成。反光镜面将水平方向一周的图像反射给CCD摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。

因而需要一种采用全方位视觉传感器同时能检测驾驶员的面部的状态、嘴巴的状态、眼部的状态、方向盘的状态、监视汽车行驶方向、监视汽车行驶速度等状态，在检测到有驾驶疲劳现象发生时对驾驶员实施报警，同时记录车辆运行状态，实现对超载、超速、疲劳驾驶等违章操作进行灯光或语音提示报警，非常事件的录音、录像与再现等功能的安全驾驶辅助装置。

本发明的有益效果主要表现在：1、通过上述全方位的疲劳驾驶检测，能有效地检测出任何疲劳单独或共同所产生的疲劳，提高了安全驾驶的可靠性；2、判别精度高，提高了测量精度；3、通过全方位视觉传感器所拍摄的视频信息，可以用来记录车辆运行状态，实现对超载、超速、疲劳驾驶等违章操作进行灯光或语音提示报警，非常事件的录音、录像与再现等功能。

(四)附图说明

图1为本发明的安全辅助驾驶装置的原理图；

图2为本发明的安全辅助驾驶装置的软件模块划分；

图3为本发明的安全辅助驾驶装置中的驾驶员座位上的人脸识别流程图；

图4为本发明的安全辅助驾驶装置中的驾驶疲劳判断流程图；

图5为本发明的安全辅助驾驶装置中的检测眼睛睁开程度的示意图；

图6为本发明的安全辅助驾驶装置中的检测嘴巴张开度的示意图；

图7为本发明的安全辅助驾驶装置中的检测眼睛张开度的示意图；

图8为基于全方位计算机视觉的安全辅助驾驶装置中的驾驶员座位上的嘴巴定位算法流程图；

图9为全方位视觉传感器的折反射成像的原理图；

图10为全方位视觉传感器的结构图；

图11为全方位视觉传感器的透视原理图；

图12为基于全方位计算机视觉的安全辅助驾驶装置中的安全驾驶检测总流程图；

图13为驾车失去方向感、左右摇摆在公路上的一种表现形式。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图13，一种基于全方位计算机视觉的安全辅助驾驶装置，首先是通过全方位视觉传感器获取驾驶座位视角、方向盘视角、车辆驾驶道路环境的透视图；驾驶座位视角透视图用于对驾驶员的人脸检测、嘴巴检测、眼睛检测、面部轨迹检测，通过图像理解与识别来判断驾驶员的感知状态以及判断状态是否处在疲劳状态；通过对方向盘视角透视图的理解来判断驾驶员的动作状态是否存在着反应迟钝、判断迟缓、动作僵硬、节奏缓慢等现象；通过车辆前方视角的透视图得到道路环境以及车辆运行轨迹，然后判断车辆是否失去了的方向感、左右摇摆驾驶在公路上、偏离白线的时间和程度；

说明全方位视觉传感器(ODVS)的原理以及透视图的原理；所述的全方位视觉传感器，其光学部分的制造技术方案主要由垂直向下的折反射镜和面向上的摄像头所构成。具体构成是由聚光透镜以及CCD(或者CMOS)构成的摄像单元固定在由透明树脂或者玻璃制的圆筒体的下部，圆筒体的上部固定有一个向下的大曲率的折反射镜，在折反射镜和聚光透镜之间有一根直径逐渐变小的黑色圆锥状体，该圆锥状体固定在折反射镜的中部，黑色圆锥状体的目的是为了防止过剩的光射入而导致在圆筒体内部的光饱和以及通过圆筒体壁产生的光反射现象。图9是表示本发明的全方位成像装置的光学***的原理图。

全方位视觉传感器的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)。

图9中11-双曲线面镜，12-入射光线，13-双曲面镜的焦点Om(0，0，c)，14-双曲面镜的虚焦点即相机中心Oc(0，0，-c)，15-反射光线，16-成像平面，17-实物图像的空间坐标A(X，Y，Z)，18-入射到双曲面镜面上的图像的空间坐标，19-反射在成像平面上的点P(x，y)。

图10中所示的双曲面镜构成的光学***可以由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1(Z＞0)           (52)

$c=\sqrt{a^2+b^2}...\left(53\right)$

β＝tan^-1(Y/X)                                  (54)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ        (55)

$\mathrm{\&gamma;}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]...\left(56\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角-方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离。

所述的全方位视觉传感器结构如附图9所示。全方位视觉传感器能在水平方向上实现360°视觉范围，在垂直方向上实现90°视觉范围；因此可以将全方位视觉传感器安装在车内驾驶座的右前方，也可以根据需要安装在驾驶座位的右上方，因此可以根据用户的需要以及车内的实际空间情况作出选择；全方位视觉传感器的安装高度以及在车内的位置是根据全方位视觉传感器的俯角以及驾驶座位的情况来决定的，全方位视觉传感器的反射镜面设计以及其安装位置的三个必要条件是：1)能清晰地捕捉到驾驶员的人脸；2)能捕捉到驾驶员操作驾驶盘的情况；3)能观测到车辆运行前方环境的状况。

来说明360°全方位进行摄像的原理，空间上的一个点A(x1，y1，z1)经折反射2镜面反射到透镜6上对应有一个投影点P1(x，y)，通过透镜6的光线变成平行光投射到CMOS摄像单元5，微处理器7通过视频接口读入该环状图像，采用软件对该环状图像进行透视图展开得到按照车辆前方视角、驾驶座位视角、方向盘视角分割的透视的视频图像。

为了对透视图有一个较好的理解，如附图10所示，这里我们从双曲面的实焦点O_m到透视投影坐标原点G引一条距离为D的直线O_m-G，与这条O_m-G相垂直的平面作为透视投影平面，从点A(X，Y，Z)向着焦点O_m的光线在透视投影平面上有一个交点P(X，Y，Z)，如果将该交点P(X，Y，Z)代入到公式(57)、(58)中就能容易地求的在成像平面上的P(x，y)点，因此可以通过从上述关系求得在透视投影平面上的各个点。

$x=\frac{\mathrm{Xf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}...\left(57\right)$

$y=\frac{\mathrm{Yf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}...\left(58\right)$

如附图10所示，双曲面镜的光轴为Z轴，摄像头向着Z轴的正方向设置，成像平面是摄像头的输入图像，我们将双曲面镜的光轴与成像平面的交点g作为成像平面的原点，其坐标系为x、y，x轴、y轴分别与摄像头中的感光芯片的长短边相一致，因此O_m-XYZ坐标系的X轴与成像平面坐标系的x y平面平行。

透视投影平面是与O_m-G连接线相垂直的平面，将G点作为原点的二元平面坐标系i，j，其中i轴是与XY平面平行的横轴，j轴是与i轴和O_m-G轴直角相交的纵轴，将从透视投影平面到双曲面的焦点O_m的距离作为D，定义透视投影平面的横幅为W，纵幅为H。由于i轴是与XY平面平行，又是与Z轴垂直的，因此所得到的透视投影平面是以G点为坐标中心与XY平面(水平面)上旋转一个角度，该角度就是O_m-G连接线与Z轴的夹角。

这里我们将O_m-G作为变换中心轴，点G作为变换中心点，用β(入射光线在XY平面上的夹角-方位角)、γ(入射光线与双曲面焦点的水平面的夹角)以及距离D(透视投影平面到双曲面的焦点O_m的距离)来表示变换中心轴，β角度在0°～360°范围内，可以由式(54)计算得到，同样也可以用式(59)来表示：

β＝tan^-1(Y/X)＝tan^-1(y/x)              (59)

这里β角度是入射光线在XY平面上投影的夹角，以Z轴为原点(极坐标系的原点)逆时针方向，在0°～360°范围内(这是全方位视觉的水平视场范围)；γ角度是入射光线与双曲面焦点的水平面的夹角，由式(56)所示，该角度与空间坐标与双曲面焦点位置有关，如果在双曲面焦点上作一个水平面的话，那么就是给水平面与Om-G轴的夹角，这里将空间坐标Z点在双曲面焦点以上的作为[+]，称为仰角，Z点在双曲面焦点以下的作为[-]，称为俯角；γ角度范围在-90°～+90°之间，根据不同的镜面设计就会有不同的γ角度范围(这是全方位视觉的垂直视场范围)；

距离D根据透视投影平面与双曲面焦点的直线距离来确定，一般来说，距离D越长景物越小，距离D越短景物越大；透视投影平面的横幅W、纵幅H可以由需要来确定，在确定横幅W、纵幅H大小时首先要确定显示窗的横纵比，由于在计算机中是用像素来表示横幅W、纵幅H的大小，因此要确定横幅W、纵幅H的像素值。

通过透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，这样就能得到投影平面与空间三坐标的转换关系，转换关系式用公式(60)来表示：

X＝R*cosβ-i*sinβ

Y＝R*sinβ+i*cosβ                 (60)

Z＝D*sinγ-j*cosγ

(R＝D*cosγ+j*sinγ)

式中：D为透视投影平面到双曲面的焦点O_m的距离，β角度是入射光线在XY平面上投影的夹角，γ角度是入射光线与双曲面焦点的水平面的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和O_m-G轴直角相交的纵轴，i轴与j轴的方向由附图11所示；

将上述用公式(60)求得的P(X，Y，Z)点代入公式(57)和(58)就能求得与透视投影平面的坐标点P(i，j)相对应的在成像平面上的P(x，y)点。这样就可以通过在成像平面上得到的图像信息求得全方位透视图，也就是说建立了成像平面上的坐标系与透视投影平面的坐标系的对应关系。有了这样的对应关系，我们就能从成像平面上得到的某个点的图像信息；通过两个坐标系的对应关系，将该点的图像信息正确地显示在透视投影平面相对应的位置上。

为了得到车辆前方视角、驾驶座位视角、方向盘视角分割的透视的视频图像，本专利中根据不同需要分为远距离检测与近距离检测两种模式。所述的远距离检测是将透视投影平面到双曲面的焦点O_m的距离放在10m以外的地方，比如对于车辆前方视角的透视图就是采用远距离检测模式；所述的近距离检测是将透视投影平面到双曲面的焦点O_m的距离放在1m以内的地方，比如对于驾驶座位视角、方向盘视角的透视图就是采用近距离检测模式。透视图的展开是在附图2中的透视图展开模块中进行的。

为了能得到上述不同视角以及不同要求的透视图，在程序中配置有检测领域分割模块，如附图2中所示，在该模块中用户可以根据从全方位视觉传感器所获得的图像上自定义透视图的大小及方位；在自定义透视图后，程序会生成相对应的透视图窗口，在该窗口上进行检测内容的定义；比如在驾驶座位视角透视图窗口上要定义上述的人脸检测、嘴巴检测、眼睛检测、面部轨迹检测，用于对驾驶员的疲劳驾驶的检测，该检测主要是从驾驶员的感知状态以及判断状态方面进行的检测；在方向盘视角透视图窗口上要定义方向盘操作检测，该检测主要是从驾驶员的动作状态方面来进行的检测；在车辆前方视角的透视图窗口上要定义道路环境检测以及车辆运行轨迹的检测，该检测主要是从道路状态以及行驶状态来进行的检测。

要检测打哈欠、眨眼、不自觉的频频点头、很难保持抬头的姿态等驾驶感知状态，是通过人脸检测、嘴巴检测、眼睛检测、面部运动轨迹检测和图像理解来实现的；所述的嘴巴检测、眼睛检测、面部轨迹检测是建立在人脸检测基础上的；

因此，下一步的工作首先是人脸检测，在定义好驾驶座位视角透视图之后，驾驶员的人脸位置必定是在该透视图范围之内。人脸检测是在附图2中的脸部定位模块中进行的。其处理流程如附图3给出。

本发明针对装置实时性的要求，利用人脸肤色在颜色空间具有很好的聚类特性的特点，选用YCrCb空间作为肤色分布统计的映射空间，较好的限制肤色分布区域，通过统计识别建立一个基于肤色的二维高斯分布数学模型，利用基于相似度和人脸形状特性的人脸检测方法。采取最大类间方差阈值分割法，利用图像灰度直方图投影对面部进行定位。

人脸肤色在CrCb色度空间服从二维高斯分布，该肤色分布模型的概率密度函数可以用公式(4)表示，

$f(x1,x2)=\frac{1}{2\mathrm{\&pi;}{\left|C\right|}^{1/2}}\exp \{-\frac{1}{2}{(X-\mathrm{\&mu;})}^T{C}^{-1}(X-\mathrm{\&mu;})\}...\left(4\right)$

其中，μ＝( Cr， Cb)^T＝(156.560，117.436)^T，该向量中的两个值分别指的是颜色分量Cr、Cb的均值，C是Cr、Cb的协方差矩阵，用公式(5)表示，

$C=\left[\begin{array}{cc}{\mathrm{\&sigma;}}_{\mathrm{rr}}^2& {\mathrm{\&sigma;}}_{\mathrm{rb}}\\ {\mathrm{\&sigma;}}_{\mathrm{br}}& {\mathrm{\&sigma;}}_{\mathrm{bb}}^2\end{array}\right]=\left[\begin{array}{cc}160.130& 12.143\\ 12.143& 299.457\end{array}\right]...\left(5\right)$

其中，σ_rr ²、σ_bb ²分别是Cr、Cb的方差，σ_rb、σ_br分别是Cr、Cb的协方差。根据肤色的高斯分布模型，计算人脸图像中所有像素点的颜色与肤色的相似度。取相似度的计算公式为，

P(Cr，Cb)＝exp{-0.5(X-μ)^TC^-1(X-μ)}         (6)

X＝(Cr，Cb)^T                                  (7)

其中，X＝(Cr，Cb)^T为像素在Cr、Cb色度空间中的向量，C、μ取值与上述的(4)、(5)式相同。

在计算出相似度值之后，利用归一化的方法将相似度转化为0～255之间的灰度值，得到被检测彩色图像的灰度图，灰度图可以直观地反映出各像素点的颜色与肤色的相似程度。这里首先找出所有像素的相似度值中的最大值，并以该值为基准进行相似度的归一化，让相似度值最大的像素变为纯白色(灰度值为255)，其他像素根据各自的相似度大小分别转化为对应的灰度值。

为了分割出图像的肤色区域，需要选取合适的阈值将灰度图像二值化。本专利采取最大类间方差阈值分割法，将直方图在某一阈值处分割成两组，当被分成两组的方差为最大时决定阈值。如果将一幅图像的灰度值为1～M级，灰度值为i的像素数为n_i，那么可以得到各灰度值像素值出现的频度，用公式(8)表示，

$P_i=n_i/\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{n}_i...\left(8\right)$

然后将所有的像素用K将其分成两组S₀＝{1-K}和S₁＝{K+1-M}，则S₀发生的概率可以用公式(9)进行计算，

${\mathrm{\&eta;}}_0=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{p}_i=\mathrm{\&eta;}\left(K\right)...\left(9\right)$

S₁发生的概率可以用公式(10)进行计算，

${\mathrm{\&eta;}}_1=\underset{i=K+1}{\overset{M}{\mathrm{\&Sigma;}}}{p}_i=1-\mathrm{\&eta;}\left(K\right)...\left(10\right)$

S₀的平均值可以用公式(11)进行计算，

${\mathrm{\&lambda;}}_0=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}\frac{i{p}_i}{{\mathrm{\&eta;}}_0}=\frac{\mathrm{\&lambda;}\left(K\right)}{\mathrm{\&eta;}\left(K\right)}...\left(11\right)$

S₁的平均值可以用公式(12)进行计算，

${\mathrm{\&lambda;}}_1=\underset{i=K+1}{\overset{M}{\mathrm{\&Sigma;}}}\frac{i{p}_i}{{\mathrm{\&eta;}}_1}=\frac{\mathrm{\&lambda;}-\mathrm{\&lambda;}\left(K\right)}{1-\mathrm{\&eta;}\left(K\right)}...\left(12\right)$

其中 ${\mathrm{\&lambda;}}_1=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}i{p}_i$ 是图像的整体灰度平均值，  ${\mathrm{\&lambda;}}_K=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}i{p}_i$ 是灰度值低于K的像素的灰度平均值，定义S₀、S₁两组间的方差用公式(13)表示，

${\mathrm{\&sigma;}}^2\left(K\right)={\mathrm{\&eta;}}_0{({\mathrm{\&lambda;}}_0-\mathrm{\&lambda;})}^2+{\mathrm{\&eta;}}_1{({\mathrm{\&lambda;}}_1-\mathrm{\&lambda;})}^2=\frac{{[\mathrm{\&lambda;\&eta;}\left(K\right)-\mathrm{\&lambda;}\left(K\right)]}^2}{\mathrm{\&lambda;}\left(K\right)[1-\mathrm{\&eta;}\left(K\right)]}...\left(13\right)$

寻找1～M间使得σ²(K)取最大值的K，即可得到阈值。利用该阈值对人脸图像进行二值化处理，肤色区域变成全白，其余部分变成全黑；接着利用图像灰度直方图做图像的水平投影图来获取所提取区域在垂直方向上的顶部和底部的极大值；做垂直投影图来获取所提取区域在水平方向上的左侧和右侧的极大值，然后利用这些值对面部进行定位。设人脸长为h、宽为w，根据人脸的尺寸约束，即满足人脸长宽比0.8≤h/w≤1.5的条件，可以确认为该区域为人脸的定位图像。如附图3所示，在确定了驾驶员的人脸位置以后，就可以根据嘴巴以及眼睛的五官和颜色特征确定其位置，用于检测是否有疲劳驾驶的表象。

所述的嘴唇定位以及打哈欠的检测，这部分的检测是在附图2中的嘴部定位模块中进行的；由于驾驶员嘴唇定位与跟踪可以用来判断驾驶员打哈欠的情况，同时它决定着下一步眼睛定位的准确性。因为人脸的五官分布是有规则的，由两个基本点和面部的归一化参数可以大概标定其它特征区域和特征点的粗略位置，也就是说，只要定出两个嘴角，就可以计算出头部在平面范围内的倾斜角度以及眼睛的区域。

利用嘴唇颜色为红色这一特点对嘴唇进行分割和定位，其具体的实现方法是：首先，采用红色像素点对驾驶员面部图像进行水平和垂直投影的方法对嘴唇进行区域分割，然后再利用边缘提取和红色像素点提取相结合的方法对嘴唇进行提取。嘴唇特征提取处理流程如附图6、7所示。

利用面部图像中红色像素点的投影来确定嘴唇边界，红色像素点的垂直投影图的纵坐标为图像一列(长度为N)上所有被判断为红色的像素点之和，横坐标为列号(长度为M)，它反映了图像在水平方向上红色像素点的变化。设图像大小为M*N，各点像素值为I(x，y)，则红色像素点在垂直方向和水平方向上的投影函数用公式(28)、(29)表示，

$P_y\left(x\right)=\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}I(x.y)...\left(28\right)$

$P_x\left(y\right)=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}I(x.y)...\left(29\right)$

由于人的嘴唇高度HeightofLip与头部高度HeightofHead的大致比例关系为1∶10，利用该关系可以得到一个比较合适的统计变量RedThresh，在水平投影和垂直投影的计算过程中判断每一个坐标点的一行(或一列)的投影值P_y(x)，如果投影值大于头部高度或宽度的1/6则将统计变量RedThresh自动加1，当统计变量RedThresh大于2*HeightofLip时，自动将阈值Thresh加一个数，然后重新进行投影计算，直到选出比较合适的阈值Thresh进行投影计算。

对人脸图像中的红色像素点进行水平投影和垂直投影，来确定此区域为嘴部区域。水平投影两相邻波谷间的最长距离为嘴唇的长度，竖直投影中两相邻波谷的最大距离为嘴唇的宽度，从而定位出嘴部的区域。

利用上述嘴唇分割算法将嘴部区域分割出来以后，在嘴部图像中提取嘴唇，然后对嘴角和嘴唇其它特征点进行定位。这里结合嘴唇为红色的特点，采用边缘提取和红色像素点提取相结合的方法对嘴唇进行提取。算法主要过程如下：(1)嘴唇边缘的提取：对嘴唇采用边缘提取并且二值化，提取比较明显的嘴唇边缘；(2)红色像素点的提取：由于嘴唇为红色，故从边缘区提取所红唇边缘更为完整，提取噪声更少。只要红色分量的颜色值大于绿色分量和蓝色分量，即判断此点为红色。为了使判断结果更为可靠，设一阈值Thresh，当红色分量的颜色值大于绿色分量和蓝色分量且超过阈值Thresh时判断此点为红色；判断公式由式(30)给出，

((R-B)＞Thresh)&&((R-G)＞Thresh)        (30)

(3)嘴唇的提取：提取嘴唇边缘以后，设置两个统计变量“红色得分数”和“所有得分数”，其中“红色得分数”表示嘴唇区域内红色像素点的个数，“所有得分数”表示红色像素点和边缘点的个数之和，对每一个像素点进行处理时都要对这两个统计变量进行统计。边缘提取算子中阈值sobelThresh的确定采用动态阈值法，先给sobelThresh一个初值(取经验值10)，若统计变量“所有得分数”大于嘴唇区域像素点总数的一半则sobelThresh自动加上一个整数K1；若统计变量“红色得分数”大于嘴唇区域像素点总数的1/4，则在程序中将Thresh自动加上一个整数K2，并且重新进行嘴唇的提取计算；这样，当sobelThresh和Thresh取一个适当的值时，就可以很好地将嘴唇提取了出来；

嘴唇的定位是人眼定位的基础，也是判断打哈欠的重要手段，如果嘴唇定位错误或有较大地误差，将会给判断打哈欠以及眼睛特征点的定位带来很大的困难甚至整个定位过程失败，所以嘴巴定位的准确性是关键。嘴唇特征点的定位是在嘴唇定位的基础上进行，嘴唇特征点定位的流程如附图8所示；

进一步说明嘴唇特征点定位的算法，在准确得到嘴唇特征点后就可以进行嘴唇特征向量。本专利需要定义的嘴唇特征点有：左右嘴角点、上嘴唇中心最上点、上嘴唇中心最下点、下嘴唇中心最上点、下嘴唇中心最下点。本专利采用逼近法在嘴唇处于闭合状态、张开状态时对嘴唇特征点进行精确定位。具体算法是：

(1)嘴唇处于闭合状态

(a)左、右嘴角点定位

先从嘴唇区域的中间开始，分别设两个指针，一个在上面、一个在下面，同时沿着嘴唇的边缘线条往左移动，当这两个指针所指位置的距离很小(或相等)或继续往左移动都已经没有边缘点时，就认为此处就是左边嘴角的X坐标，两个指针所指位置的Y坐标的中间就是左嘴角的Y坐标。按照类似的方法得到右边嘴角的坐标。

(b)上嘴唇中心最上点、下嘴唇中心最下点定位

在定出右边嘴角和左边嘴角的坐标以后，以这两个点为基本点分别由两边往中间移动两个指针的方法，定出上嘴唇中心最上点、下嘴唇中心最下点。设W_m是嘴唇的长度，即两个嘴角间的距离；上下嘴唇外边缘中点的特征点与左嘴角的水平距离是固定的，即1/2W_m，这样就定出了上嘴唇中心最上点、下嘴唇中心最下点的X坐标。分别由左嘴角出发，沿着上下嘴唇边缘搜索，每当搜索到上嘴唇中心最上点、下嘴唇中心最下点的X坐标时，就可以定出它们的Y坐标。

(c)上嘴唇中心最下点、下嘴唇中心最上点定位

在嘴唇闭合时，上嘴唇中心最下点、下嘴唇中心最上点和左右嘴角点在同一直线上，取其左、右嘴角点坐标值的中点作为上嘴唇中心最下点、下嘴唇中心最上点的坐标值。

(2)嘴唇处于张开状态

(a)左、右嘴角点定位

类似于嘴唇闭合时的定位方法，也分别设两个指针，先从上嘴唇的中间开始，一个在上面、一个在下面，沿着上嘴唇的边缘线条往左移动，当这两个指针所指位置的距离很小(或相等)或继续往左移动都已经没有边缘点时，就认为此处就是左边嘴角的x坐标，两个指针所指位置的Y坐标的中间就是左边嘴角的Y坐标。同理定位出右边嘴角特征点。

(b)上嘴唇中心最上点、上嘴唇中心最下点定位

在定出右边嘴角和左边嘴角的坐标以后，以这两个点为基本点，指针在上嘴唇运动，分别由两边往中间移动两个指针的方法，定出上嘴唇中心最上点、上嘴唇中心最下点。与嘴唇闭合时的定位方法相同，设W_m是嘴巴的长度；嘴巴边缘的其它两个特征点与嘴角的水平距离是固定的，即上下嘴唇外边缘中点的特征点与左嘴角的水平距离为1/2W_m，这样就定出了上嘴唇中心最上点、上嘴唇中心最下点的x坐标。分别由左嘴角出发，沿着上嘴唇边缘搜索，每当搜索到对应的特征点的X坐标时，就可以定出它们的Y坐标。

(c)下嘴唇中心最上点、下嘴唇中心最下点定位

再由左嘴角出发，上下指针在下嘴唇运动，沿着下嘴唇边缘搜索，到达与上嘴唇中心点的x坐标时，定出下嘴唇中心特征点的Y坐标。

设左嘴角的坐标为(leftx，lefty)，右嘴角的坐标为(rightx，righty)，根据面部五官的排列顺序，经验参数计算公式如下：嘴巴长度公式可以用公式(31)来表示，

W_m＝sqrt((rightx-leftx)*(rightx-leftx)+(righty-lefty)*(righty-lefty)) (31)

有了上述的嘴唇连续的闭合、张开状态的检测，就可以判断是否有哈欠连天，这里需要检测嘴唇的张开程度、张开频率以及持续时间。首先是嘴唇的张开程度，在本专利中将上嘴唇中心最上点与下嘴唇中心最下点的距离h_m与嘴巴长度W_m的比，(这里假设嘴唇闭合、张开状态时嘴巴长度W_m不变)，这种假设对检测打哈欠影响不大，根据嘴模型定义描述嘴张开程度的参数Doo_m，可以用公式(32)来表示，

${\mathrm{Doo}}_m=\frac{h_m}{W_m}...\left(32\right)$

接着是打哈欠检测，打哈欠与正常讲话或正常呼吸时嘴形的变化不同表现为持续一定时间的较大的嘴张开状态公式(33)成立时认为打哈欠发生，

∑φ(Doo_m)≥β                   (33)

其中， $\mathrm{\&phi;}\left({\mathrm{Doo}}_m\right)=\left\{\begin{array}{cc}1& {\mathrm{Doo}}_m\&GreaterEqual;\mathrm{\&alpha;}\\ 0& {\mathrm{Doo}}_m<\mathrm{\&alpha;}\end{array}\right....\left(34\right)$

公式(34)表示嘴的张开程度在视频中连续大于或等于α的帧数累计超过β帧时认为是发生了一次打哈欠，根据对多个模拟的打哈欠视频的经验分析，本发明中取α＝0.5、β＝5帧(约0.5秒)，由于实际的打哈欠视频要根据实际采样的频率进行调整；

要检测打哈欠持续时间，附图7为理想的嘴张开程度变化曲线定义一次打哈欠持续时间为哈欠开始到哈欠结束的时间，可以用公式(35)来表示，

T_y＝t₂-t₁                                   (35)

即连续的嘴张开程度大于或等于α的时间间隔，在实际时用累计帧数来计算时间间隔；当发现有一次打哈欠，接着就要统计在一段时间中打哈欠的次数或者持续时间，用公式(36)来进行统计，

$\mathrm{Total}=\underset{t}{\overset{t+\mathrm{tn}}{\mathrm{\&Sigma;}}}{T}_y...\left(36\right)$

打哈欠的次数或者持续时间越长则表示驾驶员的疲劳程度越高。

在检测出嘴巴的基础上，通过人的五官特征可以检测眨眼持续时间眨眼频率等参数，作为衡量驾驶员是否疲劳的眼睛特征，要检测眨眼持续时间眨眼频率首先要识别出眼睛，附图2中的眼睛识别模块中主要处理的是通过人脸以及嘴巴的五官特征识别出人眼；由于人脸的五官分布是有规则的，由嘴角的两个基本点和面部的归一化参数可以大概标定眼睛特征区域和特征点的粗略位置，也就是说，只要定出两个嘴角，就可以计算出眼睛的区域。由于人的左右眼对称、眨眼的同步性，本专利中只检测右眼的眨眼，首先利用公式(31)，右眼的高度HighofEye用公式(37)计算，

HighofEye＝0.31*W_m                             (37)

右眼的长度LengthofEye用公式(38)计算，

LengthofEye＝0.63*W_m                (38)

右眼区域的起始坐标(x2，y2)用公式(39)、(40)计算，

x₂＝rightx-0.1*LengthofEye          (39)

y₂＝righty-1.35*W_m                 (40)

在推算出右眼的范围后，考虑到人脸的长度和宽度不一样，且头部可能有一定的水平旋转和深度旋转，由经验参数定出的区域可能与实际情况有较大的出入，比如所定出的眼部区域可能包括眉毛的区域和部分头发覆盖的区域，因此必须利用黑色像素点进行水平投影和垂直投影，以及用动态阈值确定出眼睛的准确区域。

由于东方人的眼睑、眼珠都呈天然的黑色，因此可利用图像中的黑色像素点的投影来确定眼睛边界。黑色像素点垂直投影图的纵坐标为此区域一列(长度为N)上所有被判断为黑色的像素点之和；横坐标为列号(长度为M)，它反映了图像在水平方向上黑色像素点的变化。设区域大小为M*N，各点像素的值为I_e(x，y)，则黑色像素点垂直与水平方向上的投影函数用公式(41)、(42)进行计算，

$P_{\mathrm{ey}}\left(x\right)=\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{I}_e(x.y)...\left(41\right)$

$P_{\mathrm{ex}}\left(y\right)=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}{I}_e(x.y)...\left(42\right)$

利用黑色像素点对眼睛区域进行精确分割，为了消除阴影的干扰，设每一个像素点的颜色值为ColorValue，设一阈值Thresh，当ColorValue＜Thresh成立，则将此像素点定为黑色像素点。Thresh值的大小对眼睛区域的准确判断非常重要，多数样本图像中的眼睛区域周围有很多深浅不一的阴影的影响，所以Thresh值若取一固定值，对不同的图像在投影时必定不能产生正确的波峰和波谷，也就不能很好地区分出眼睛区域，所以确定一个合适的阈值非常重要。

一般来说，眼睛的颜色比其周围的阴影深，以上述所定眼睛区域的高度和宽度作为判断基准，设右眼区域高度为HighofArea，宽度为LengthofArea。

判断每一列的投影值P_ey(x)，如果投影使大于图像高度HighofArea的1/3，统计变量Flag自动加1。统计变量Flag大于LengthofArea/4时，自动将阈值Thresh加5，且统计变量Flag清O，然后重新进行垂直投影计算，直到选到比较合适的阈值Thresh进行垂直投影计算。同理，按照此方法对此区域进行水平投影计算。

进一步在进行水平投影时，投影结果可能会出现多个波峰和波谷，这是因为原先推算的这个区域可能将眉毛的区域和头发覆盖的区域也包括进来。因为可由嘴巴的长度估算出右眼的高度HighofEye，由右眼区域的下部往上找每两个相连波谷之间的距离W，当遇到第一个W与右眼高度HighofEye比较相近时，就可以认为这两个波谷之间的区域就是右眼的高度区域。进行垂直投影时，由嘴巴的长度估算出右眼的长度LengthofEye，从垂直投影的右侧开始搜索，当搜索到两个相连波谷之间的距离L与右眼的高度LengthofEye比较相近时，便可认为这两个波谷之间的区域就是右眼的长度区域。由右眼的宽度区域与右眼的长度区域就可定位出右眼的位置。

许多基于眼睛特征的驾驶员疲劳检测应用中都采用PERCLOS作为检测眨眼的参数，PERCLOS实际上是虹膜没有被眼皮遮挡部分的高度除以虹膜直径，由于虹膜的直径在眼睛闭合的时候是检测不出来的，而两眼角点的检测较为容易而且两眼角点的距离基本不受眼睛睁开或闭合的影响，与PERCLOS计算眼睛睁开程度的方法不同，本专利用眼睛睁开的尺度与两眼角点的距离而不是虹膜直径的比值作为眼睛睁开程度的度量。对应于附图5的眼睛模型公式(43)定义了眼睛睁开程度计算方法

${\mathrm{Doo}}_e=\frac{h_e}{W_e}...\left(43\right)$

公式(43)中用眼睛外接矩形的宽高比表示眼睛的睁开程度。其中h_e为眼睛的睁开尺度，W_e为眼睛的宽度眼睛宽度取两眼角点的距离。

在本专利中定义眨眼状态为视频图像中眼睛的睁开程度在视频中连续小于某个阈值的帧数累加大于一定的帧数的状态用公式(44)表示为

∑φ(Doo_e)≥β_e                             (44)

其中， $\mathrm{\&phi;}\left({\mathrm{Doo}}_e\right)=\left\{\begin{array}{cc}1& {\mathrm{Doo}}_e\&GreaterEqual;{\mathrm{\&alpha;}}_e\\ 0& {\mathrm{Doo}}_e<{\mathrm{\&alpha;}}_e\end{array}\right....\left(45\right)$

公式(45)表示眼睛睁开程度在视频中连续小于或等于α_e的帧数累计超过β_e帧时认为发生了一次眨眼，根据对多个模拟的眨眼视频的经验分析，本发明中取α_e＝0.2、β_e＝4，由于实际的眨眼视频要根据实际采样的频率进行调整；

进一步检测眨眼持续时间，根据附图7的理想眼睛睁开程度曲线定义眨眼持续时间为眨眼过程中眼睛闭合到睁开之间的时间间隔，用公式(46)表示，

T_b＝t₂-t₁                          (46)

T_b表示了连续的眼睁开程度小于或等于α_e的时间长度，在视频检测应用中用眨眼持续帧数的多少来计算时间间隔，眨眼持续时间越长说明疲劳程度越高；

进一步检测眨眼频率，根据附图7的理想化眼睛睁开程度变化曲线，定义眨眼频率为最近发生的两次眨眼时间间隔的倒数，用公式(47)表示眨眼的频率为

$f_b=\frac{1}{t_n-t_2}...\left(47\right)$

眨眼频率越高表明疲劳程度越高，在视频检测应用中可以用两次眨眼之间的帧数来计算时间间隔。对于带着眼镜的驾驶员的情况，特别是带着墨镜的驾驶员，由于从视频角度无法得到眼睛的图像信息，所以对于无法识别眼睛的情况出现时，程序不进行眼睛疲劳信息的判断。

更进一步，在检测出人脸中心点的基础上可以得到人脸中心点的轨迹线，利用该轨迹线可以判断驾驶员不自觉的频频点头、很难保持抬头的姿态，该判断在附图2中的面部运动轨迹跟踪模块中实现。在本专利中采用卡尔曼滤波来跟踪驾驶员的面部活动，根据公式(15)在得到一系列代表面部状态向量X_t、X_t+1、X_t+2…中的面部区域中心点(x_t，y_t)、(x_t+1，y_t+1)、(x_t+2，y_t+2)…等信息后，可以按时间序列作出一条面部区域中心点运动轨迹线。

首先需要有一个判断标准，本发明中采用在驾驶员开始驾驶后一段时间内的面部区域中心点的统计平均值，计算公式如(48)所示，

$\stackrel{\&OverBar;}{x}=\underset{i=t}{\overset{t+n}{\mathrm{\&Sigma;}}}\frac{x_i}{n};\stackrel{\&OverBar;}{y}=\underset{i=t}{\overset{t+n}{\mathrm{\&Sigma;}}}\frac{y_i}{n}...\left(48\right)$

在本专利中定义点头状态为视频图像中面部中心点位置连续向前方移动距离超过某个阈值的帧数，累加大于一定的帧数的状态用公式(49)表示为

∑φ(Doo_h)≥β_h                   (49)

其中， $\mathrm{\&phi;}\left({\mathrm{Doo}}_h\right)=\left\{\begin{array}{cc}1& {\mathrm{Doo}}_h\&GreaterEqual;{\mathrm{\&alpha;}}_h\\ 0& {\mathrm{Doo}}_h<{\mathrm{\&alpha;}}_h\end{array}\right....\left(50\right)$

公式(49)表示点头的程度在视频中连续大于或等于α_h的帧数累计超过β_h帧时，认为发生了一次点头，根据对多个模拟的点头视频的经验分析基本上与眨眼频率相接近，由于实际的点头视频要根据实际采样的频率进行调整；

${\mathrm{Doo}}_h=\sqrt{{(x_n-\stackrel{\&OverBar;}{x})}^2+{(y_n-\stackrel{\&OverBar;}{y})}^2}...\left(51\right)$

式中，(x_n，y_n)为n帧时驾驶员的面部区域中心点位置，(x，y)为驾驶员开始驾驶后一段时间内的面部区域中心点位置的统计平均值。

点头的次数或者是与正常驾驶时头部的标准位置超过偏离值α_h持续时间越长则表示驾驶员的疲劳程度越高。

上述的图像理解以及智能判断都是根据驾驶座位视角透视图的视频图像基础上进行的。

通过车辆驾驶的道路环境以及驾驶的状态来判断是否有疲劳驾驶的情况，附图2中的车辆行驶方向检测模块将主要实现以下检测内容；首先是要监视汽车行驶方向，主要通过检测驾驶是否失去了方向感，驾车左右摇摆在公路上；本发明中是通过全方位视觉传感器获取的车辆前行方向上的环境来进行检测的，检测的基准是道路上的白线或者是道路上边缘绿化带，通过视频图像检测车辆的前进方向是否与上述的白线或者绿化带相偏离，如附图15所示。本发明中将车辆的中心点上作一条与上述的基准线(白线或者边缘线)的平行线，通过检测车辆的运行轨迹是否与上述的平行线左右偏离情况(正偏离与负偏离)来判断是否驾车左右摇摆在公路上。本发明中设置一个偏离阈值，当车辆运行轨迹点超过该阈值时，检查目前驾驶中的车辆处于哪种偏离状态，接着根据上次的偏离状态来确定是否发生了驾车左右摇摆；如果上次的偏离状态是正偏离状态，本次所检测到的状态的偏离状态是负偏离状态，或者是没有偏离，那么就认为产生了一次偏离，记录该次偏离的时间以及程度；程序中根据每次的偏离时间以及偏离程度来判断是否有疲劳驾驶或者危险驾驶情况。

要检测驾驶员操作方向盘的状态，检测方向盘的状态主要是检测驾驶员是否有反应迟钝、判断迟缓、动作僵硬、节奏缓慢等现象的发生，本发明中将方向盘的操作动作检测主要放在附图2中方向盘动作检测模块中进行，当然也用到了车辆行驶方向检测模块中的一些检测结果；这虽然是一个动作状态的检测，如附图1所示，但是也是感知状态以及判断状态失常或者异常的一种后续的动作反映。这个驾驶动作检测与道路情况以及周边的车辆情况有着密切的关系，如果检测到前方道路上有弯道、有变道、有岔道(或者遇到车辆运行标志)以及前方车辆进入行驶车道情况时，没有方向盘的操作动作就可以认为是动作反应失常或者异常，这种情况就非常危险，是上述几种疲劳驾驶表象在驾驶员驾驶动作上的结果。作为检测方向盘的状态是与监视汽车行驶方向紧密相关的，这反映了驾驶员对道路情况所作出的动作反应。

附图12是基于全方位计算机视觉的安全辅助驾驶装置中的安全驾驶检测总流程图，驾驶员接上电源开动车辆后，全方位视觉传感器就获取车内外的全方位视频图像，然后根据用户所定义的三个检测区域，通过软件展开成驾驶座位视角、方向盘视角、车辆驾驶道路环境的三个透视图；首先通过车辆驾驶道路环境透视图进行前方道路环境识别，接着检测车辆是否偏离了行驶线，如果发现有偏离情况通过输出装置向驾驶员提醒，要求纠正其行驶方向；接着再检测道路上是否有标志牌，如果检测到有标志通过输出装置向驾驶员提醒注意；紧接着马上判断驾驶员是否有操作方向盘的动作，在开始驾驶经过一段时间后，如果没有发现有任何的操作方向盘的动作，就认为有驾驶疲劳可疑，上述的检测是通过方向盘视角透视图来获得视频图像的；然后根据驾驶座位视角的透视图，检测驾驶员的嘴部、眼部以及面部中心的轨迹，根据人的一些疲劳特征来判断驾驶员是否有疲劳驾驶，如果检测到有疲劳驾驶的情况或者倾向，输出装置向驾驶员提醒安全驾驶信息，提醒的方式可以采用发出声音、光、使人清醒的气味，对于严重疲劳驾驶也可以采用自动紧急刹车等强制制动方式。

Claims (7)

1、一种基于全方位计算机视觉的安全驾驶辅助装置，其特征在于：所述的安全驾驶辅助装置包括用于获取车内外全方位视频信息的全方位视觉传感器、用于检测各种疲劳驾驶并有疲劳驾驶情况发生时提供报警的安全驾驶辅助控制器，所述的全方位视觉传感器安装在车内驾驶座的右方；所述的全方位视觉传感器输出连接安全驾驶辅助控制器，所述的全方位视觉传感器包括用以反射车内外领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体和用于拍摄外凸反射镜面上成像体的摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在外凸折反射镜面的底部中央，所述摄像头对着外凸折反射镜面朝上；

所述的安全驾驶辅助控制器包括：

检测领域分割模块，用于将从全方位视觉传感器获取的全方位视频信息分割为车辆前方视角、驾驶座位视角、方向盘视角的视频透视图像；

脸部定位模块，用于对驾驶员的人脸定位，人脸肤色在CrCb色度空间服从二维高斯分布，该肤色分布模型的概率密度函数用公式(4)表示，

$f(x1,x2)=\frac{1}{2\mathrm{\&pi;}{\left|C\right|}^{1/2}}\exp \{-\frac{1}{2}{(X-\mathrm{\&mu;})}^T{C}^{-1}(X-\mathrm{\&mu;})\}...\left(4\right)$

其中，μ＝( Cr， Cb)^T＝(156.560，117.436)^T，该向量中的两个值分别指的是颜色分量Cr、Cb的均值，C是Cr、Cb的协方差矩阵，用公式(5)表示，

$C=\left[\begin{array}{cc}{\mathrm{\&sigma;}}_{\mathrm{rr}}^2& {\mathrm{\&sigma;}}_{\mathrm{rb}}\\ {\mathrm{\&sigma;}}_{\mathrm{br}}& {\mathrm{\&sigma;}}_{\mathrm{bb}}^2\end{array}\right]=\left[\begin{array}{cc}160.130& 12.143\\ 12.143& 299.457\end{array}\right]...\left(5\right)$

其中，σ_rr ²、σ_bb ²分别是Cr、Cb的方差，σ_rb、σ_br分别是Cr、Cb的协方差；根据肤色的高斯分布模型，计算人脸图像中所有像素点的颜色与肤色的相似度，取相似度的计算公式为，

P(Cr，Cb)＝exp{-0.5(X-μ)^TC^-1(X-μ)}      (6)

X＝(Cr，Cb)^T                              (7)

其中，X＝(Cr，Cb)^T为像素在Cr、Cb色度空间中的向量，C、μ取值与上述的(4)、(5)式相同；

在计算出相似度值后，利用归一化的方法将相似度转化为0～255之间的灰度值，得到驾驶座位视角图像的灰度图；利用设定的阈值对灰度图进行二值化处理，肤色区域变成全白，其余部分变成全黑；并利用图像灰度直方图做图像的水平投影图来获取所提取区域在垂直方向上的顶部和底部的极大值；做垂直投影图来获取所提取区域在水平方向上的左侧和右侧的极大值；

设人脸长为h、宽为w，根据人脸的尺寸约束，如满足人脸长宽比0.8≤h/w≤1.5的条件，确认为该区域为人脸定位图像；

嘴唇定位和打哈欠检测模块，用于定位驾驶员嘴唇以及检测驾驶员打哈欠，对人脸定位图像中的红色像素点进行水平投影和垂直投影，确定此区域为嘴部区域，水平投影两相邻波谷间的最长距离为嘴唇的长度，竖直投影中两相邻波谷的最大距离为嘴唇的宽度；并依次定义嘴唇处于闭合状态、张开状态时的嘴唇特征点：左右嘴角点、上嘴唇中心最上点、上嘴唇中心最下点、下嘴唇中心最上点、下嘴唇中心最下点；将上嘴唇中心最上点与下嘴唇中心最下点的距离h_m与嘴巴长度W_m的比，根据嘴模型定义为嘴张开程度的参数Doo_m，如公式(32)所示：

${\mathrm{Doo}}_m=\frac{h_m}{W_m}...\left(32\right)$

设定持续一段时间的较大的嘴张开状态成立时判定打哈欠发生，如公式(33)所示：

∑φ(Doo_m)≥β              (33)

其中， $\mathrm{\&phi;}\left({\mathrm{Doo}}_m\right)=\left\{\begin{array}{cc}1& {\mathrm{Doo}}_m\&GreaterEqual;\mathrm{\&alpha;}\\ 0& {\mathrm{Doo}}_m<\mathrm{\&alpha;}\end{array}\right....\left(34\right)$

定义一次打哈欠持续时间为哈欠开始到哈欠结束的时间，用公式(35)来表示：

T_y＝t₂-t₁                   (35)

即连续的嘴张开程度大于或等于α的时间间隔，当发现有一次打哈欠，则统计在一段时间中打哈欠的次数或者持续时间，用公式(36)来进行统计：

$\mathrm{Total}=\underset{t}{\overset{t+\mathrm{tn}}{\mathrm{\&Sigma;}}}{T}_y...\left(36\right)$

疲劳驾驶测评和报警模块，用于根据预设的一段时间那打哈欠的次数或持续时间域值，如测得的次数或持续时间大于设定域值，判定为疲劳驾驶，并向报警装置发出告警指令。

2、如权利要求1所述的基于全方位计算机视觉的安全驾驶辅助装置，其特征在于：所述的安全驾驶辅助控制器还包括：

眼睛识别模块，用于依据嘴唇的左右嘴角点和面部的归一化参数标定眼睛特征区域和特征点，设左嘴角的坐标为(1eftx，lefty)，右嘴角的坐标为(rightx，righty)，根据面部五官的排列顺序，嘴巴长度公式用公式(31)来表示：

W_m＝sqrt((rightx-leftx)*(rightx-leftx)+(righty-lefty)*(righty-lefty))  (31)

单侧眼睛的高度HighofEye用公式(37)计算：

HighofEye＝0.31*W_m                 (37)

单侧眼睛的长度LengthofEye用公式(38)计算：

LengthofEye＝0.63*W_m               (38)

单侧眼睛区域的起始坐标(x₂，y₂)用公式(39)、(40)计算：

x₂＝rightx-0.1*LengthofEye        (39)

y₂＝righty-1.35*W_m                (40)

利用图像中的黑色像素点的投影来确定眼睛边界，黑色像素点垂直投影图的纵坐标为此区域一列上所有被判断为黑色的像素点之和，长度为N；横坐标为列号，长度为M，设区域大小为M*N，各点像素的值为I_e(x，y)，黑色像素点垂直与水平方向上的投影函数用公式(41)、(42)进行计算：

$P_{\mathrm{ey}}\left(x\right)=\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{I}_e(x.y)...\left(41\right)$

$P_{\mathrm{ex}}\left(y\right)=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}{I}_e(x.y)...\left(42\right)$

在水平投影时，由嘴巴的长度估算出眼睛的高度HighofEye，由眼睛区域的下部往上找每两个相连波谷之间的距离W，当遇到第一个W与右眼高度HighofEye比较相近时，认为这两个波谷之间的区域为眼睛的高度区域；

在垂直投影时，由嘴巴的长度估算出眼睛的长度LengthofEye，从垂直投影的右侧开始搜索，当搜索到两个相连波谷之间的距离L与右眼的高度LengthofEye比较相近时，认为这两个波谷之间的区域为眼睛的长度区域；眨眼检测模块，用于眼睛睁开程度计算方法采用眼睛模型定义，如公式(43)：

${\mathrm{Doo}}_e=\frac{h_e}{W_e}...\left(43\right)$

公式(43)中用眼睛外接矩形的宽高比表示眼睛的睁开程度，其中h_e为眼睛的睁开尺度，W_e为眼睛的宽度眼睛宽度取两眼角点的距离；

定义眨眼状态为视频图像中眼睛的睁开程度在视频中连续小于设定阈值的帧数累加大于一定的帧数的状态用公式(44)表示为：

∑φ(Doo_e)≥β_e            (44)

其中， $\mathrm{\&phi;}\left({\mathrm{Doo}}_e\right)=\left\{\begin{array}{cc}1& {\mathrm{Doo}}_e\&GreaterEqual;{\mathrm{\&alpha;}}_e\\ 0& {\mathrm{Doo}}_e<{\mathrm{\&alpha;}}_e\end{array}\right....\left(45\right)$

公式(45)表示眼睛睁开程度在视频中连续小于或等于α_e的帧数累计超过β_e帧时认为发生了一次眨眼；

定义眨眼持续时间为眨眼过程中眼睛闭合到睁开之间的时间间隔，用公式(46)表示：

T_b＝t₂-t₁                (46)

T_b表示连续的眼睁开程度小于或等于α_e的时间长度；

定义眨眼频率为最近发生的两次眨眼时间间隔的倒数，用公式(47)表示眨眼的频率为：

$f_b=\frac{1}{t_n-t_2}...\left(47\right);$

在疲劳驾驶测评和报警模块中，设定眨眼频率域值，如测得的眨眼频率大于眨眼频率域值，判定为疲劳驾驶，并向报警装置发出告警指令。

3、如权利要求1或2所述的基于全方位计算机视觉的安全驾驶辅助装置，其特征在于：所述的安全驾驶辅助控制器还包括：

面部运动轨迹跟踪模块，用于采用卡尔曼滤波来跟踪驾驶员的面部活动，根据公式(15)在得到一系列代表面部状态向量X_t、X_t+1、X_t+2…中的面部区域中心点(x_t，y_t)、(x_t+1，y_t+1)、(x_t+2，y_t+2)信息后，

X_t+1＝A_tX_t+W_t        (15)

然后按时间序列作出一条面部区域中心点运动轨迹线；

采用在驾驶员开始驾驶后一段时间内的面部区域中心点的统计平均值，计算公式如(48)所示，

$\stackrel{\&OverBar;}{x}=\underset{i=t}{\overset{t+n}{\mathrm{\&Sigma;}}}\frac{x_i}{n};\stackrel{\&OverBar;}{y}=\underset{i=t}{\overset{t+n}{\mathrm{\&Sigma;}}}\frac{y_i}{n}...\left(48\right)$

定义点头状态为视频图像中面部中心点位置连续向前方移动距离超过某个阈值的帧数，累加大于一定的帧数的状态用公式(49)表示为：

∑φ(Doo_h)≥β_h            (49)

其中， $\mathrm{\&phi;}\left({\mathrm{Doo}}_h\right)=\left\{\begin{array}{cc}1& {\mathrm{Doo}}_h\&GreaterEqual;{\mathrm{\&alpha;}}_h\\ 0& {\mathrm{Doo}}_h<{\mathrm{\&alpha;}}_h\end{array}\right....\left(50\right)$

公式(49)表示点头的程度在视频中连续大于或等于α_h的帧数累计超过β_h帧时，判定发生一次点头；

${\mathrm{Doo}}_h=\sqrt{{(x_n-\stackrel{\&OverBar;}{x})}^2+{(y_n-\stackrel{\&OverBar;}{y})}^2}...\left(51\right)$

式(51)中，(x_n，y_n)为n帧时驾驶员的面部区域中心点位置，(x，y)为驾驶员开始驾驶后一段时间内的面部区域中心点位置的统计平均值；

在疲劳驾驶测评和报警模块中，设定点头次数域值、与正常驾驶时头部的标准位置超过偏离值α_h持续时间域值，如测得的点头次数大于点头次数域值，或者测得的与正常驾驶时头部的标准位置超过偏离值α_h持续时间大于持续时间域值，判定为疲劳驾驶，并向报警装置发出告警指令。

4、如权利要求3所述的基于全方位计算机视觉的安全驾驶辅助装置，其特征在于：所述的安全驾驶辅助控制器还包括：

车辆行驶方向检测模块，用于依照车辆前方视角图像，以道路上的白线或者是道路上边缘绿化带为基准线，通过视频图像检测车辆的前进方向是否与上述的白线或者绿化带相偏离，将车辆的中心点上作一条与上述的基准线的平行线，检测车辆的运行轨迹是否与所述的平行线左右偏离，如车辆运行轨迹点超过设定的偏离域值，检查当前驾驶处于该偏移状态，如果上次的偏离状态是正偏离状态，本次所检测到的状态的偏离状态是负偏离状态，或者是没有偏离，那么就认为产生了一次偏离，记录该次偏离的时间以及程度；

在疲劳驾驶测评和报警模块中，设定偏移报警距离，如当前的偏移程序大于偏移报警距离，判定为疲劳驾驶或危险驾驶，并向报警装置发出告警指令。

5、如权利要求4所述的基于全方位计算机视觉的安全驾驶辅助装置，其特征在于：所述的安全驾驶辅助控制器还包括：

操作方向盘状态检测模块，用于依据方向盘视角图像，如检测到前方道路上有弯道、有变道、有岔道及前方车辆进入行驶车道情况时，检测当前是否有有方向盘的操作动作；

在疲劳驾驶测评和报警模块中，如当前没有方向盘的操作动作，判定为危险驾驶，并向报警装置发出告警指令。

6、如权利要求1或2所述的基于全方位计算机视觉的安全驾驶辅助装置，其特征在于：所述的检测领域分割模块还包括：

透视图展开单元，用于利用透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，得到投影平面与空间三坐标的转换关系，转换关系式用公式(60)来表示：

X＝R*cosβ-i*sinβ    (60)

Y＝R*sinβ+i*cosβ

Z＝D*sinγ-j*cosγ

(R＝D*cosγ+j*sinγ)

上式中：D为透视投影平面到双曲面的焦点O_m的距离，β角度是入射光线在XY平面上投影的夹角，γ角度是入射光线与双曲面焦点的水平面的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和O_m-G轴直角相交的纵轴；

将上述用公式(60)求得的P(X，Y，Z)点代入公式(57)和(58)就能求得与透视投影平面的坐标点P(i，j)相对应的在成像平面上的P(x，y)点：

$x=\frac{\mathrm{Xf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}...\left(57\right)$

$y=\frac{\mathrm{Yf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}...\left(58\right).$

7、如权利要求1或2所述的基于全方位计算机视觉的安全驾驶辅助装置，其特征在于：所述的折反射镜面采用双曲面镜来进行设计：所示的双曲面镜构成的光学***可以由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1   (Z＞0)           (52)

$c=\sqrt{a^2+b^2}...\left(53\right)$

β＝tan^-1(Y/X)                              (54)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (55)

$\mathrm{\&gamma;}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}...\left(56\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角-方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离。

Images