CN101950355B - 基于数字视频的驾驶员疲劳状态检测方法 - Google Patents
基于数字视频的驾驶员疲劳状态检测方法 Download PDFInfo
- Publication number
- CN101950355B CN101950355B CN2010102755671A CN201010275567A CN101950355B CN 101950355 B CN101950355 B CN 101950355B CN 2010102755671 A CN2010102755671 A CN 2010102755671A CN 201010275567 A CN201010275567 A CN 201010275567A CN 101950355 B CN101950355 B CN 101950355B
- Authority
- CN
- China
- Prior art keywords
- face
- people
- adaboost
- eyes
- constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 210000001508 eye Anatomy 0.000 claims description 47
- 239000000284 extract Substances 0.000 claims description 27
- 238000001228 spectrum Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 238000012706 support-vector machine Methods 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 6
- 238000013341 scale-up Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000005267 amalgamation Methods 0.000 claims description 3
- 230000011514 reflex Effects 0.000 claims description 3
- 235000012364 Peperomia pellucida Nutrition 0.000 claims description 2
- 240000007711 Peperomia pellucida Species 0.000 claims description 2
- 238000009826 distribution Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 238000013500 data storage Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 206010047513 Vision blurred Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于数字视频的驾驶员疲劳状态检测方法。该方法在摄像头采集到图像的基础上，首先进行人脸的检测与定位；当定位到人脸后，再查找人眼区域和嘴巴区域；在查找到人眼区域和嘴巴区域的基础上，对人眼状态及嘴巴状态进行判断，从而判断出驾驶员是否处于疲劳驾驶状态。采用了高精度的人脸检测算法和高可靠的疲劳检测算法，可以实现高精度、高可靠的疲劳状态检测功能。
Description
技术领域
本发明涉及一种驾驶员疲劳检测报警装置，属交通安全防护报警器具。该装置具有对疲劳驾驶发出声光警示和强制停车功能。
背景技术
安全行车取决于多方面的因素，除了车况、路况等自然因素外，起决定作用的还是驾驶员的人为因素，大量的分析研究表明驾驶员疲劳驾驶是交通事故的主要原因之一，特别是在高速公路上，近一半的交通死亡事故归结于疲劳驾驶。
国外的一些汽车厂商和研究机构投入了巨大的人力、物力，广泛地开展驾驶员疲劳检测的研究工作，有的研究已经转化为相应的产品。例如VOLVO汽车公司就推出了“驾驶员警示***”，该***可根据行车状况及时地在驾驶员进入睡眠前给予警示。而法国的图卢兹西门子VDO汽车公司则在开发一种通过监测驾驶员注意力下降的***。
在国内，也有相应的一些汽车厂商和研究机构设计出一些疲劳检测装置，如申请号为200610007961.0的专利，该装置通过由单片机控制的反射式红外线传感器自动检测驾驶员在常规坐姿下的头部位置，判断驾驶员是否处于疲劳驾驶状态，如果检测到驾驶员的确处于疲劳状态，则输出报警信号以警醒驾驶员注意。
专利200480031216.9（疲劳度测定装置、疲劳检测装置及计算机程序）提供一种可使疲劳度定量化并进行显示的疲劳度测定装置。该装置首先检测生物体信号峰值，然后获取限定时间内的上限侧峰值与下限侧峰值之差，将其作为功率值，最后求取功率值的倾斜度积分参数作为疲劳度特征，此方法可以定量分析人的疲劳度。
专利200710010629.4（驾驶员疲劳检测报警器）由装有反射式光纤位移传感器的眼镜和智能控制***组成。以眼部疲劳的表情为基准，建立数学模型，对眼睑闪动频率、闭合时间乃至眼球转动、瞳孔收扩进行动态监测。具有对疲劳驾驶能及时发出声光警示或强制停车功能。
但是现有技术有的***复杂或体积庞大而无法实现车载；有的采用接触式检测方法而影响驾驶员的正常行为；有的***实时性或准确性不高造成***的检测率过低，在实际应用过程中经常出现误检、漏检现象。
发明内容
针对现有的技术的不足，本发明提供一种基于数字视频的驾驶员疲劳状态检测方法。
如图1所示，该驾驶员疲劳状态检测***包括视频DSP、摄像头，数据存储电路、程序存储器、时钟芯片、键盘和语音芯片。所述摄像头与视频DSP中的I2C控制器连接；所述数据存储电路由两组完全相同的SDRAM构成，实现对图像的实时采集与处理。所述时钟芯片与视频DSP中的时钟控制器连接；所述键盘与视频DSP中的键盘控制器连接；所述语音芯片与视频DSP的语音控制器连接，语音控制器将视频DSP中的处理器传来的疲劳报警信号传输至语音芯片进行报警。所述的摄像头处还设有红外光源和红外滤镜，红外光源采用均匀分布的20个红外二极管构成，红外二级管的波长为560～970nm，照射角度为60度；红外滤镜尺寸与摄像头尺寸一致，可以滤除所有非红外光线。采用这种方式可以大大提高***对环境光照的适用性。
该***使用CMOS或者CCD摄像头实时采集驾驶员的脸部图像，在视频DSP处理器调度下，图像数据经过算法处理器的分析与处理，实时地判断出驾驶员是否分神或打瞌睡，一旦发现驾驶员处于疲劳驾驶状态，马上通过声音报警和GPRS发送信息等方式及时通知驾驶员和有关部门做出相应的处理。
***按电路功能结构可分为图像采集存储模块、图像处理模块和人机交互接口模块三个主要的功能模块。
1、图像采集存储模块
实现图像的采集主要是由摄像头、数据存储电路、I2C控制器和视频DSP组成。同时为了提高***的适用性，在***摄像头的附近添加了红外光源，使得***在晚上或光线不足的情况下也能很好地工作。***中的动态存储器SDRAM在***SDRAM控制器作用下，作为***的数据存储器在***中运行；FLASH闪存是***的程序存储器，实现对***中的视频DSP上的程序存储。
2、图像处理模块
图像处理模块是本***最关键的部分之一。它的任务是对图像采集存储模块所采集到的驾驶员脸部图像进行相应的图像分析与处理。摄像头采集到的图像由算法处理器进行分析处理，***中主要是由视频DSP中的算法处理器完成这一部分的功能。算法处理器主要由四个模块组成，分别是人脸检测模块、人眼检测模块、嘴巴检测模块以及特征提取与分类模块。它们充分利用视频DSP的流水线处理能力，实现人脸定位、人眼定位、嘴巴定位和疲劳状态特征提取与分类。
3、人机交互接口模块
***除了在视频DSP中实现算法处理器外，为了提高***的交互性和可操作性，***还在视频DSP中设计有定时器、键盘控制器、语音控制器、时钟控制器和与GPRS通信的UART等模块。当***经过算法处理器的处理后，若发现驾驶员处于疲劳状态时，***处理器马上发出疲劳报警信号给语音控制器，使得***能及时地通过语音芯片进行报警从而唤醒驾驶员，同时***把当前的疲劳驾驶时间、行车时间以及一些汽车行车状态记录并存储下来，并通过串口控制的GPRS模块把有关行车信息及时地通过短信形式发给交通管理等相关部门，以达到预防事故的目的。
图2是本发明的***工作流程图，首先汽车启动后，***处理器初始化***的有关***部件，包括键盘、语音芯片、时钟芯片等；然后启动I2C控制器完成对摄像头的输出模式配置；配置完成后，***就开始采集驾驶员的图像，并把图像数据存到数据存储电路上，***的算法处理器从数据存储电路中读入采集到的图像数据，并进行相应的处理，包括人脸检测、人眼定位、嘴巴定位、人眼状态判别和嘴巴状态判别等，实现对驾驶员的疲劳状态的判别。在判别到驾驶员处于疲劳驾驶状态时，***处理器马上发出疲劳报警信号给语音控制器，使得***能及时地通过语音芯片进行报警从而唤醒驾驶员，从而降低因疲劳驾驶造成的交通事故。同时***把当前的疲劳驾驶时间，行车时间以及一些汽车的行车状态记录并存储下来，并通过串口控制的GPRS模块把有关行车信息及时地通过短信形式发送给交通管理等相关部门，以达到预防事故的目的。
图3是本发明中算法处理器的疲劳检测方法流程图，其流程如下：在摄像头采集到视频图像的基础上，首先进行人脸的检测与定位；当定位到人脸后，再查找人眼区域和嘴巴区域；在查找到人眼区域和嘴巴区域的基础上，对人眼状态及嘴巴状态进行判断，从而判断出驾驶员是否处于疲劳驾驶状态。为了提高***的实时处理能力，***采用了流水线的方式实现该检测方法。
根据人之疲劳，首先是脑之疲劳，它的表象是人在瞬间失去平衡，躯体或前仰后合，或左右摇摆，头面部姿态失常或猛然顿首，或打哈欠打盹，或眼睑闭合停闪，视物模糊，分辩迟钝等机理。确定以面部疲劳的表情为基准，通过动态检测和综合分析面部的眼睛状态和嘴巴状态的变化规律，建立数学模型，实时准确地检测疲劳状态，并发出声光警示或强制停车。当驾驶员疲劳时报警装置在频闪红灯的同时将以“你已疲劳，赶快休息”高声警示三遍，既可提醒驾驶员注意安全驾驶，也必将引起其他乘车人警觉，督促驾驶员休息，以避免发生交通事故。
发明提出的疲劳检测方法包括人脸检测和特征提取与匹配两个环节，其中人脸检测采用基于时-空域约束的优化Adaboost高精度人脸检测方法，特征提取与匹配采用基于空-频域特征融合与支持向量机分类的高可靠疲劳检测方法。
一、基于时-空域约束的优化Adaboost高精度人脸检测方法
人脸检测是基于图像特征的疲劳状态检测技术的前提，现有的疲劳检测方法在检测人脸时一般采用肤色检测方法或灰度聚类方法。但这类方法易受光线变化、类肤色物体干扰或复杂背景干扰的影响，环境适应性较差。而Adaboost人脸检测方法以人脸几何结构特征为检测目标，不需要获取人脸的颜色信息，不受光线变化、类肤色物体干扰或复杂背景干扰的影响，环境适应性强，是一种有效的人脸检测方法。然而，Adaboost人脸检测方法采用了大量的浮点运算和循环结构，在嵌入式平台（如DSP）下运算效率很低；同时由于在训练过程中负样本选择的有限性，以及在检测过程中多窗口、多尺度遍历的人脸搜索方式，导致传统的Adaboost方法误检率较高，这给高精度人脸检测的实现带来了很大的挑战。
在进行疲劳检测时，人脸检测存在两个前提条件，一是待检测的人脸只有一个，即驾驶员；二是人脸的空间位置变化不大，也即驾驶员在正常驾驶过程中头部的位置变化不大。在这两个前提条件下，本文提出了基于时-空域约束的优化Adaboost高精度人脸检测方法。
基于时-空域约束的优化Adaboost高精度人脸检测方法的基本原理是：
第一，设计时间域约束条件，具体是采用帧差法获取目标运动区域，从而预测当前帧目标出现的可能位置，然后在该位置附近设计目标检测窗口进行人脸检测，由于该检测窗口要远小于整个视频帧的尺寸，因此在该检测窗口的约束下可以去除大量的冗余窗口检测，从而提高Adaboost人脸检测的速度，并且避免了在非人脸区域进行人脸检测时可能出现的误检现象。
第二，在检测到人脸时，设计空间域约束条件，具体是依据前一帧检测到的人脸实际尺寸，限制当前帧人脸目标的最大尺寸和最小尺寸，也即约束人脸检测的尺度空间。
第三，设计人脸五官分布几何约束条件，对检测到的人脸进行筛选，如果有满足几何约束条件的人脸，则提前跳出多窗口多尺度搜索流程，这样不仅降低误检率，也极大地提高Adaboost人脸检测的速度。方法的具体流程如图4所示。
基于时-空域约束的优化Adaboost高精度人脸检测方法的具体实现步骤是：
（1）获取运动区域
运动目标检测方法主要有背景减除法、相邻帧差法、光流法等。其中，相邻帧差法运算量小、速度快、易于实现，在运动目标检测中得到广泛应用。其实现过程为：
step1 取相邻两帧图像I k-1、I k ，计算帧间绝对灰度差图像D (k，k-1)；
step2 确定自适应阈值T。计算绝对灰度差图像的均值m，并将其乘以一个加权系数t，得到自适应阈值T=m×t。t用于描述场景的变化程度，取值范围为0≤t≤30。实验中取t=10；
step3 获取运动区域M k ；
（2）求取当前帧人脸可能位置
获取运动区域后，采用8-邻接连通方法进行连通域标示，由于主驾驶室中只有一个驾驶员，也即可能的运动目标只有一个，选择连通域面积最大的一个作为人脸运动区域，定义该区域的左上角位置为当前帧人脸的可能位置P。
由于驾驶员在某些时刻有可能没有运动，所以这里预先设定面积阈值Ta，当人脸运动区域面积小于面积阈值时，认为驾驶员面部没有运动，这时认定前一帧的人脸可能位置即为当前帧的可能位置。
（3）Adaboost搜索窗口约束
假定前一帧检测到的人脸实际尺寸为fw×fh，当前帧人脸可能位置为（Px,Py）。那么Adaboost的检测窗口可以设定为：
其中，k 1和k 2为比例系数，用于限定检测窗口的尺寸，取值范围限定为0≤k 1≤1、1≤k 2≤2。实验中取k 1=0.4、k 2=1.6。
（4）Adaboost搜索尺度约束
由于视频帧间的相关性，相邻两个视频帧间的人脸尺寸变化不大，因此可以依据前一帧人脸的实际尺寸来约束当前帧人脸的搜索尺度，设Adaboost人脸检测的最大搜索尺度为（MaxW, MaxH），最小搜索尺度为（MinW, MinH），设定：
其中，k 3和k 4为比例系数，用于限定搜索窗口的尺寸，取值范围限定为1≤k 3≤2、0.3≤k 4≤1。实验中取k 3=1.3、k 4=0.6。
接着在有约束的搜索尺度和搜索窗口上进行Adaboost人脸检测，得到可能的人脸目标；
（5）人脸五官几何位置约束
人脸五官几何位置约束主要依据人脸“三庭五眼”的几何规则，假定左右人眼的位置分别为（ELx,ELy）、（ERx,ERy），则嘴巴的位置（Mx,My）满足条件：
其中，k 5和k 6为比例系数，用于描述不同个体、不同姿态下嘴巴实际位置偏离理论位置的容差，取值范围限定为1≤k 5≤20、1≤k 6≤40。实验中取k 5=11、k 6=25，
对于Adaboost方法检测到的可能人脸目标进行二值化后，逐一搜索连通域，完成五官的初步聚类。接着依据几何约束条件判断双眼和嘴巴是否满足“三庭五眼”准则，据此判断该人脸区域是否为真实人脸。
二、基于空-频域特征融合与支持向量机（Support Vector Machine，SVM）分类的高可靠疲劳检测方法
基于人脸图像特征的疲劳状态检测技术采用非接触式测量方式，通过实时分析视频图像中驾驶员头部和面部的运动特性，提取与疲劳相关的生理反应特征来检测疲劳状态。其中，与疲劳相关的生理反应特征主要包括头部的位置特征、眼睛的状态特征以及嘴巴的状态特征等。本发明对于检测到的人脸目标，在空域上提取几何特征，在频域上提取频谱特征，然后采用SVM分类方法实现疲劳状态与非疲劳状态的有效分类，整体流程如图5所示。
在图5中，五官定位是在二值图像上进行，通过严格的几何约束条件精确定位双眼、鼻子和嘴巴的位置，在此基础上提取疲劳状态特征。其中，几何特征的提取方法是：
step1 提取双眼、鼻子、嘴巴相互之间的距离、角度等几何特征，用于描述头部的位置。假定左眼、右眼、鼻子、嘴巴的位置分别为（ELx,ELy）、（ERx,ERy）、（Nx,Ny）、（Mx,My），则提取的几何特征为：
step2 提取双眼、嘴巴的闭合轮廓线，并细化为单像素曲线；
step3 用链码描述双眼轮廓和嘴巴轮廓；
step4依据双眼轮廓线的链码表示，提取反映双眼上下眼睑距离和曲率的几何特征，用于描述眼睛的状态。假定左眼轮廓线与其最小外接矩形的四个交点坐标分别为（lx,ly）、（rx,ry）、（tx,ty）和（bx,by），左右交点之间的上下弧长分别为tlen、blen，则左眼的几何特征为：
相应地，求出右眼的几何特征c10、c11、c12；
step5依据嘴巴轮廓线的链码表示，提取反映嘴巴上下嘴唇距离和曲率的几何特征，用于描述嘴巴的状态。其几何特征仿照上一步求出，标记为c13、c14、c15。
频谱特征的提取方法是：
step1按设定的尺寸裁剪双眼区域图像、嘴巴区域图像；
step2分别对双眼区域图像和嘴巴区域图像进行快速二维傅里叶变换，得到对应图像的频谱图。假设左眼图像的尺寸为(H,W)，坐标(x,y)处的灰度值为f(x,y)，则坐标(u,v)处的频谱为：
依据最大频谱能量将频谱图归一化：
右眼和嘴巴的频谱图可以按同样的步骤求得；
step3提取频谱特征。这里先将频谱图的原点调整到图像中心，也即将频谱能量集中到图像的中心区域，以便于提取频谱特征，采用的坐标变换公式如下：
其中，
在变换后的频谱图上提取频谱特征，方法是以图像中心为中心，在区间S内提取(2N+1)×(2M+1)个频谱特征，区间S的定义为：
N、M用于描述特征窗口的尺寸，用来限定提取特征的数目，取值范围为1≤N≤W/2、1≤M≤H/2。实验中取N=M=3，共提取49个频谱特征。
采用空-频域特征融合的方法，可以获取更充分的疲劳状态特征，这样可以降低空域上轮廓提取不完整对几何特征提取精度的影响，也可以降低频域上光照变化对频谱特征提取精度的影响，从而整体上提高疲劳状态特征的有效性。
SVM是在统计学习理论基础上发展起来的一种学习方法，在很大程度上解决了小样本问题、模型选择问题和非线性问题，且具有很强的泛化性能。本发明采用SVM方法进行疲劳特征分类，在训练阶段，选取尽可能多的正样本和负样本，提取空-频域疲劳状态特征，分别进行SVM训练。SVM训练采用一对一的分类方法，对于疲劳状态和非疲劳状态只需要构建一个分类器，考虑到疲劳特征的复杂度和算法的效率，选择径向基函数作为SVM的核函数：
在疲劳识别阶段，提取当前帧人脸图像的空-频域疲劳状态特征，分别送入对应的SVM分类器，将几何特征和频谱特征的分类结果进行融合判决，一般情况下，“或运算”融合方法灵敏度更高，“与运算”融合方法可靠性更强，可以依据融合方法的不同设定不同的安全等级，这样用户可以根据自身的需要灵活地选择安全等级。最后，可以选择对相邻多帧（N≥3）的疲劳状态进行滤波，综合判决驾驶员是否处于疲劳状态。
综上所述，本发明提出了一种高精度的人脸检测方法和一种高可靠的疲劳检测方法。
人脸检测方法的创新点在于：1）采用时间域约束策略，缩小人脸的窗口检测范围，从而降低了在非人脸区域误检到人脸的概率，同时提高了人脸检测效率；2）采用空间域约束策略，缩小人脸的尺度检测范围，从而降低了在非人脸尺度误检到人脸的概率，同时提高了人脸检测效率；3）采用人脸五官几何特征约束策略，校验Adaboost检测到的人脸，从而降低了Adaboost方法自身的误检率，同时可以提前退出多窗口、多尺度搜索循环，提高了人脸检测的效率。通过采用时-空域约束策略，最终实现人脸的快速、高精度检测。
疲劳检测方法的创新点在于：1）融合几何特征参数，提高疲劳状态特征对光照变化的适应能力；2）融合频谱特征参数，降低局部误差对疲劳状态特征有效性的影响；3）采用SVM特征分类策略，解决特征的自适应选择和非线性分类问题。
通过采用以上两种优化方法，本发明可以实现高精度、高可靠的疲劳状态检测功能。
附图说明
图1是本发明***结构示意图；
图2是本发明的***工作流程图；
图3是疲劳检测方法流程图；
图4是基于时-空域约束的优化Adaboost快速人脸检测方法流程图；
图5是基于空-频域特征融合与SVM分类的高可靠疲劳检测方法流程图。
具体实施方式
驾驶员疲劳状态检测***包括视频DSP、摄像头，数据存储电路、程序存储器、时钟芯片、键盘和语音芯片。该***使用摄像头实时采集驾驶员的脸部图像，在视频DSP处理器调度下，图像数据经过算法处理器的分析与处理，实时地判断出驾驶员是否分神或打瞌睡，一旦发现驾驶员处于疲劳驾驶状态，马上通过声音报警和GPRS发送信息等方式及时通知驾驶员和有关部门做出相应的处理。
***按电路功能结构可分为图像采集存储模块、图像处理模块和人机交互接口模块三个主要的功能模块。
1、图像采集存储模块
实现图像的采集主要是由摄像头、数据存储电路、I2C控制器和视频DSP组成。同时为了提高***的适用性，在***摄像头的附近添加了红外光源，使得***在晚上或光线不足的情况下也能很好地工作。***中的动态存储器SDRAM在***SDRAM控制器作用下，作为***的数据存储器在***中运行；FLASH闪存是***的程序存储器，实现对***中的视频DSP上的程序存储。
2、图像处理模块
图像处理模块是本***最关键的部分之一。它的任务是对图像采集存储模块所采集到的驾驶员脸部图像进行相应的图像分析与处理。摄像头采集到的图像由算法处理器进行分析处理，***中主要是由视频DSP中的算法处理器完成这一部分的功能。算法处理器主要由四个模块组成，分别是人脸检测模块、人眼检测模块、嘴巴检测模块以及特征提取与分类模块。它们充分利用视频DSP的流水线处理能力，实现人脸定位、人眼定位、嘴巴定位和疲劳状态特征提取与分类。
3、人机交互接口模块
***除了在视频DSP中实现算法处理器外，为了提高***的交互性和可操作性，***还在视频DSP中设计有定时器、键盘控制器、语音控制器、时钟控制器和与GPRS通信的UART等模块。当***经过算法处理器的处理后，若发现驾驶员处于疲劳状态时，***处理器马上发出疲劳报警信号给语音控制器，使得***能及时地通过语音芯片进行报警从而唤醒驾驶员，同时***把当前的疲劳驾驶时间、行车时间以及一些汽车行车状态记录并存储下来，并通过串口控制的GPRS模块把有关行车信息及时地通过短信形式发给交通管理等相关部门，以达到在事故出现前做到预防的目的。
本发明的***工作流程为：首先汽车启动后，***处理器初始化***的有关***部件，包括键盘、语音芯片、时钟芯片等；然后启动I2C控制器完成对摄像头的输出模式配置；配置完成后，***就开始采集驾驶员的图像，并把图像数据存到数据存储电路上，***的算法处理器从数据存储电路中读入采集到的图像数据，并进行相应的处理，包括人脸检测、人眼检测、嘴巴检测以及疲劳特征的提取和分类等，实现对驾驶员的疲劳状态的判别。在判别到驾驶员处于疲劳驾驶状态时，***处理器马上发出疲劳报警信号给语音控制器，使得***能及时地通过语音芯片进行报警从而唤醒驾驶员，从此降低因疲劳驾驶造成的交通事故。同时***把当前的疲劳驾驶时间，行车时间以及一些汽车的行车状态记录并存储下来，并通过串口控制的GPRS模块把有关行车信息及时地通过短信形式发送给交通管理等相关部门，以达到在事故出现前做到预防的目的。
图4为基于时-空域约束的优化Adaboost快速人脸检测方法流程图，人脸检测的流程为：
首先利用帧差法求取运动区域，获取运动区域的位置和尺寸信息；然后利用运动区域的位置和尺寸信息来估计人脸的位置和尺寸信息，结合这些信息约束Adaboost人脸检测的搜索尺度和搜索窗口；接着在有约束的搜索尺度和搜索窗口上进行Adaboost人脸检测，得到可能的人脸目标；最后，利用几何约束条件验证该人脸目标是否正确，如果正确，即可进行人脸区域裁剪；否则，继续进行人脸检测。
图5为基于空-频域特征融合与SVM分类的高可靠疲劳检测方法流程图，人脸特征提取与分类流程为：
该流程分训练和识别两个阶段，在特征训练阶段，首先选择足够多的正样本和负样本，对单个人脸样本，首先进行五官定位；然后提取人脸的几何特征和频谱特征。对所有样本提取的几何特征和频谱特征，分别进行SVM特征训练，得到两个SVM分类器。
在特征识别阶段，首先裁剪当前帧人脸区域，进行五官定位；然后提取人脸的几何特征和频谱特征；接着将几何特征和频谱特征分别送入训练好的两个SVM分类器；最后对两个分类器输出的结果进行融合判决，得到最终的分类结果。
Claims (7)
1.一种基于数字视频的驾驶员疲劳状态检测方法，该方法包括在摄像头采集到视频图像的基础上,首先进行人脸检测；当检测到人脸目标后，再提取双眼区域和嘴巴区域的特征；最后对双眼区域和嘴巴区域的特征进行分类，从而判断出驾驶员是否处于疲劳状态；具体如下：
（A）采用基于时－空域约束的优化Adaboost高精度人脸检测方法进行真实人脸检测，包括步骤（A1）-（A5）：
（A1）采用相邻帧差法求取运动区域，获取运动区域的位置和尺寸信息，包括以下步骤Step1－Step3：
Step1 取相邻两帧图像 
和
，计算帧间绝对灰度差图像
；
Step2 确定自适应阈值T，
；其中m是绝对灰度差图像的均值；t是加权系数，用于描述场景的变化程度，t=10；
Step3 获取运动区域M k ，
；
（A2）求取当前帧人脸可能位置：
获取运动区域后，采用8-邻接连通方法进行连通域标示，选择连通域面积最大的一个运动区域；如果所选择的运动区域面积大于预先设定的面积阈值，则定义所选择的运动区域的左上角位置为当前帧的人脸可能位置；否则，认定前一帧的人脸可能位置即为当前帧的人脸可能位置；
（A3）设置Adaboost搜索窗口约束：
依据前一帧检测到的人脸实际尺寸和当前帧人脸可能位置，设置当前帧Adaboost人脸检测的搜索窗口约束条件；
（A4）设置Adaboost搜索尺度约束：
依据前一帧检测到的人脸实际尺寸，设置当前帧Adaboost人脸检测的搜索尺度约束条件；
接着在有约束的搜索尺度和搜索窗口上进行Adaboost人脸检测，得到可能人脸目标；
（A5）设置人脸五官几何位置约束：
对于Adaboost方法检测到的可能人脸目标，依据人脸的“三庭五眼”几何规则，设置人脸五官几何位置分布约束条件，判断是否为真实人脸；如果是真实人脸，即可进行人脸区域裁减，得到人脸目标；否则，继续进行人脸检测；
（B）对于检测到的人脸目标，采用基于空-频域特征融合的方法提取与疲劳相关的生理反应特征，包括步骤（B1）-(B2)：
（B1）提取人脸图像空域的几何特征，包括步骤Step4-Step8:
Step4 提取双眼、鼻子、嘴巴相互之间的距离、角度的几何特征，用于描述头部的位置；
Step5 提取双眼、嘴巴的闭合轮廓线，并细化为单像素曲线；
Step6 用链码描述双眼轮廓线和嘴巴轮廓线；
Step7依据双眼轮廓线的链码表示，提取反映双眼上下眼睑距离和曲率的几何特征，用于描述眼睛的状态；
Step8依据嘴巴轮廓线的链码表示，提取反映嘴巴上下嘴唇距离和曲率的几何特征，用于描述嘴巴的状态；
(B2) 提取人脸图像频域的频谱特征，包括步骤Step9-Step11：
Step9 按设定的尺寸裁剪双眼区域图像、嘴巴区域图像；
Step10 分别对双眼区域图像和嘴巴区域图像进行快速二维傅里叶变换，得到对应图像的频谱图；
Step11提取频谱特征，先将频谱图的原点调整到图像中心，即将频谱能量集中到图像的中心区域，以便于提取频谱特征；
(C)对于提取到的包括几何特征和频谱特征的空-频域特征，分别送入对应的已训练好的支持向量机分类器进行分类，然后将几何特征和频谱特征的分类结果进行融合判决，得到最终的疲劳检测结果。
2.根据权利要求1所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于，设置Adaboost搜索窗口约束的具体方法是：
假定前一帧检测到的人脸目标尺寸为fw×fh，当前帧人脸可能位置为（Px,Py），那么Adaboost搜索窗口约束条件为：
其中，（x, y）为搜索窗口内任一像素点，k 1和k 2为比例系数，用于限定检测窗口的尺寸，k 1=0.4、k 2=1.6。
3.根据权利要求1所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于，设置Adaboost搜索尺度约束的具体方法是：
设Adaboost人脸检测的最大搜索尺度为（MaxW, MaxH），最小搜索尺度为（MinW, MinH），则搜索尺度约束条件为：
其中，k 3和k 4为比例系数，用于限定搜索窗口的尺寸，k 3=1.3、k 4=0.6。
4.根据权利要求1所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于，设置人脸五官几何位置约束的具体方法是：
假定左右人眼的位置分别为（ELx,ELy）、（ERx,ERy），则嘴巴的位置（Mx,My）满足的人脸五官几何位置约束条件为：
其中，k 5和k 6为比例系数，用于描述不同个体、不同姿态下嘴巴实际位置偏离理论位置的容差，k 5=11、k 6=25。
5.根据权利要求1所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于，双眼、鼻子、嘴巴相互之间的距离、角度的几何特征的提取方法是：
假定左眼、右眼、鼻子、嘴巴的位置分别为（ELx,ELy）、（ERx,ERy）、（Nx,Ny）、（Mx,My），则提取的6个几何特征c1~c6为：
6.根据权利要求1所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于，左眼闭合轮廓线的几何特征的提取方法是：
假定左眼轮廓线与其最小外接矩形的四个交点坐标分别为（lx,ly）、（rx,ry）、（tx,ty）和（bx,by），左右交点之间的上下弧长分别为tlen、blen，则左眼轮廓线的3个几何特征c7~c9为：
7.根据权利要求1所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于支持向量机分类器的训练方法是：选取尽可能多的疲劳人脸正样本和非疲劳人脸负样本，提取空－频域特征，分别进行支持向量机训练，支持向量机训练采用一对一的分类方法，选择径向基函数作为支持向量机的核函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010102755671A CN101950355B (zh) | 2010-09-08 | 2010-09-08 | 基于数字视频的驾驶员疲劳状态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010102755671A CN101950355B (zh) | 2010-09-08 | 2010-09-08 | 基于数字视频的驾驶员疲劳状态检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101950355A CN101950355A (zh) | 2011-01-19 |
| CN101950355B true CN101950355B (zh) | 2012-09-05 |
Family
ID=43453850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010102755671A Expired - Fee Related CN101950355B (zh) | 2010-09-08 | 2010-09-08 | 基于数字视频的驾驶员疲劳状态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101950355B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488974A (zh) * | 2013-09-13 | 2014-01-01 | 南京华图信息技术有限公司 | 基于模拟生物视觉神经网络的人脸表情识别方法及*** |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102073857A (zh) * | 2011-01-24 | 2011-05-25 | 沈阳工业大学 | 多模态驾驶员疲劳检测方法及其专用设备 |
| CN102610057B (zh) * | 2011-01-25 | 2016-08-03 | 深圳市高斯贝尔家居智能电子有限公司 | 车载信息智能处理***和方法 |
| CN102542257B (zh) * | 2011-12-20 | 2013-09-11 | 东南大学 | 基于视频传感器的驾驶人疲劳等级检测方法 |
| CN103106400B (zh) * | 2013-02-06 | 2016-03-23 | 浙江宇视科技有限公司 | 一种人脸检测方法与装置 |
| TWI492193B (zh) * | 2013-06-14 | 2015-07-11 | Utechzone Co Ltd | 觸發訊號的方法及車用電子裝置 |
| CN103400471B (zh) * | 2013-08-12 | 2015-10-28 | 电子科技大学 | 一种驾驶员疲劳驾驶检测***及检测方法 |
| JP6187817B2 (ja) * | 2013-10-09 | 2017-08-30 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
| CN103839046B (zh) * | 2013-12-26 | 2017-02-01 | 苏州清研微视电子科技有限公司 | 驾驶人注意力自动识别***及其识别方法 |
| CN103886717A (zh) * | 2014-04-12 | 2014-06-25 | 合肥天海电气技术有限公司 | 一种光照自适应的疲劳驾驶检测***及检测方法 |
| CN104021550B (zh) * | 2014-05-22 | 2017-01-18 | 西安理工大学 | 一种人脸三庭五眼自动定位及比例确定方法 |
| CN104050779B (zh) * | 2014-06-10 | 2016-09-14 | 奇瑞汽车股份有限公司 | 一种防疲劳快乐驾驶装置、***及方法 |
| CN104182995B (zh) * | 2014-08-08 | 2017-02-15 | 吉林大学 | 一种基于驾驶疲劳的高速公路路侧景观色彩评价方法 |
| CN104240446A (zh) * | 2014-09-26 | 2014-12-24 | 长春工业大学 | 基于人脸识别的疲劳驾驶预警*** |
| CN104361716A (zh) * | 2014-10-31 | 2015-02-18 | 新疆宏开电子***集成有限公司 | 实时检测疲劳并提醒的方法 |
| CN104574819B (zh) * | 2015-01-09 | 2017-03-22 | 安徽清新互联信息科技有限公司 | 一种基于嘴巴特征的疲劳驾驶检测方法 |
| CN105279493A (zh) * | 2015-10-22 | 2016-01-27 | 四川膨旭科技有限公司 | 车辆行驶过程中驾驶人视觉识别*** |
| CN105469466A (zh) * | 2015-12-04 | 2016-04-06 | 北海创思电子科技产业有限公司 | 声音识别的行车记录仪 |
| CN105469467A (zh) * | 2015-12-04 | 2016-04-06 | 北海创思电子科技产业有限公司 | 疲劳驾驶监测的行车记录仪 |
| CN106203293A (zh) * | 2016-06-29 | 2016-12-07 | 广州鹰瞰信息科技有限公司 | 一种检测疲劳驾驶的方法和装置 |
| CN107169441A (zh) * | 2017-05-11 | 2017-09-15 | 南宁市正祥科技有限公司 | 一种快速人眼检测方法 |
| CN106971177A (zh) * | 2017-05-11 | 2017-07-21 | 南宁市正祥科技有限公司 | 一种驾驶员疲劳驾驶检测方法 |
| WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| CN107491769A (zh) * | 2017-09-11 | 2017-12-19 | 中国地质大学（武汉） | 基于AdaBoost算法的疲劳驾驶检测方法及*** |
| CN109961455B (zh) * | 2017-12-22 | 2022-03-04 | 杭州萤石软件有限公司 | 一种目标检测方法及装置 |
| CN108099915A (zh) * | 2017-12-25 | 2018-06-01 | 芜湖皖江知识产权运营中心有限公司 | 一种应用于智能车辆中的疲劳驾驶识别控制*** |
| CN108133573A (zh) * | 2017-12-26 | 2018-06-08 | 中国神华能源股份有限公司 | 疲劳驾驶报警*** |
| CN108545080A (zh) * | 2018-03-20 | 2018-09-18 | 北京理工大学 | 驾驶员疲劳检测方法及*** |
| CN108791299B (zh) * | 2018-05-16 | 2020-06-19 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶疲劳检测及预警***及方法 |
| CN108830240A (zh) * | 2018-06-22 | 2018-11-16 | 广州通达汽车电气股份有限公司 | 疲劳驾驶状态检测方法、装置、计算机设备和存储介质 |
| CN109241878B (zh) * | 2018-08-21 | 2021-10-22 | 深圳市梦网视讯有限公司 | 一种基于唇部定位的五官定位方法和*** |
| CN109271890B (zh) * | 2018-08-29 | 2021-07-13 | 墨奇科技（北京）有限公司 | 自动指纹图像提取的方法和设备 |
| CN109446878A (zh) * | 2018-09-04 | 2019-03-08 | 四川文轩教育科技有限公司 | 一种基于机器学习的视觉疲劳度检测方法 |
| CN109151325A (zh) * | 2018-10-26 | 2019-01-04 | 昆山亿趣信息技术研究院有限公司 | 一种合成笑脸的处理方法及处理装置 |
| CN109508659A (zh) * | 2018-10-31 | 2019-03-22 | 绍兴文理学院 | 一种用于人行横道的人脸识别***及方法 |
| CN112883906B (zh) * | 2021-03-15 | 2021-09-28 | 珠海安联锐视科技股份有限公司 | 一种基于目标检测的人员状态分析方法 |
| CN113990033A (zh) * | 2021-09-10 | 2022-01-28 | 南京融才交通科技研究院有限公司 | 基于5g车联网的车辆交通事故远程接管救援方法及*** |
-
2010
- 2010-09-08 CN CN2010102755671A patent/CN101950355B/zh not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| 张志斌等.基于Blackfin533的驾驶疲劳实时检测预测***.《计算机测量与控制》.2008,第16卷(第11期),1567-1570. * |
| 徐建君等.基于DSP的疲劳驾驶实时检测算法实现.《成都电子机械高等专科学校学报》.2010,第13卷(第1期),20-23. * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488974A (zh) * | 2013-09-13 | 2014-01-01 | 南京华图信息技术有限公司 | 基于模拟生物视觉神经网络的人脸表情识别方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101950355A (zh) | 2011-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
| Li et al. | A fatigue driving detection algorithm based on facial multi-feature fusion | |
| Guo et al. | Pedestrian detection for intelligent transportation systems combining AdaBoost algorithm and support vector machine | |
| CN109460699B (zh) | 一种基于深度学习的驾驶员安全带佩戴识别方法 | |
| Jo et al. | Vision-based method for detecting driver drowsiness and distraction in driver monitoring system | |
| CN103714660B (zh) | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的*** | |
| CN103400471B (zh) | 一种驾驶员疲劳驾驶检测***及检测方法 | |
| CN100462047C (zh) | 基于全方位计算机视觉的安全驾驶辅助装置 | |
| Abtahi et al. | Driver drowsiness monitoring based on yawning detection | |
| Tipprasert et al. | A method of driver’s eyes closure and yawning detection for drowsiness analysis by infrared camera | |
| CN104013414B (zh) | 一种基于移动智能手机的驾驶员疲劳检测*** | |
| Junaedi et al. | Driver drowsiness detection based on face feature and PERCLOS | |
| CN106156725A (zh) | 一种基于车辆前方的行人及骑车人的识别预警***的工作方法 | |
| Flores et al. | Driver drowsiness detection system under infrared illumination for an intelligent vehicle | |
| Ragab et al. | A visual-based driver distraction recognition and detection using random forest | |
| CN104331160A (zh) | 一种基于唇部状态识别的智能轮椅人机交互***及方法 | |
| CN108229245A (zh) | 基于面部视频特征的疲劳驾驶检测方法 | |
| Hechri et al. | Robust road lanes and traffic signs recognition for driver assistance system | |
| CN109664894A (zh) | 基于多源异构数据感知的疲劳驾驶安全预警*** | |
| CN106295474A (zh) | 船舶驾驶员的疲劳检测方法、***和服务器 | |
| Verma et al. | Design and development of a driving assistance and safety system using deep learning | |
| Juyal et al. | Traffic sign detection using deep learning techniques in autonomous vehicles | |
| Chien et al. | An integrated driver warning system for driver and pedestrian safety | |
| Ohn-Bar et al. | Vision on wheels: Looking at driver, vehicle, and surround for on-road maneuver analysis | |
| CN204706141U (zh) | 可穿戴设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120905 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |