CN109063545B - 一种疲劳驾驶检测方法及装置 - Google Patents
一种疲劳驾驶检测方法及装置 Download PDFInfo
- Publication number
- CN109063545B CN109063545B CN201810607250.XA CN201810607250A CN109063545B CN 109063545 B CN109063545 B CN 109063545B CN 201810607250 A CN201810607250 A CN 201810607250A CN 109063545 B CN109063545 B CN 109063545B
- Authority
- CN
- China
- Prior art keywords
- eye
- feature points
- head
- fatigue driving
- mouth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 210000003128 head Anatomy 0.000 claims abstract description 72
- 210000000744 eyelid Anatomy 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000004886 head movement Effects 0.000 claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 238000006073 displacement reaction Methods 0.000 claims description 31
- 241001282135 Poromitra oscitans Species 0.000 claims description 17
- 206010048232 Yawning Diseases 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 230000004399 eye closure Effects 0.000 claims description 9
- 230000004397 blinking Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 abstract 3
- 206010016256 fatigue Diseases 0.000 description 65
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 208000028327 extreme fatigue Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种疲劳驾驶检测方法，包括：通过近红外3D摄像机采集头部图像；采用LK光流法对连续两帧头部图像进行跟踪，并从跟踪到的头部图像中提取嘴部特征点、头部特征点和眼部特征点；根据眼部特征点的位置坐标搜索眼部图像，以提取眼部图像的眼部特征点；根据预定采集次数内的眼部图像的眼部特征点、嘴部特征点和头部特征点一对一确定眼睑移动特征、嘴部移动特征及头部移动特征，并送入SVM分类器，使得SVM分类器判断疲劳驾驶状态，实现疲劳驾驶检测。本发明还提供了疲劳驾驶检测装置。采用本发明的疲劳驾驶检测方法及疲劳驾驶检测装置，能够有效提高疲劳驾驶状态判断的精度和判断速度。
Description
技术领域
本发明涉及机动车疲劳驾驶检测技术领域，尤其涉及一种疲劳驾驶检测方法及装置。
背景技术
驾驶人员的困倦和疲劳是公路安全普遍公认的风险因素。根据世界卫生组织的报告显示，每年会有超过数万人由于自身或者他人疲劳驾驶受到伤害甚至失去宝贵的生命。因此对驾驶员的疲劳驾驶进行警报可有效减少因疲劳驾驶引起的交通事故，其中疲劳驾驶状态的检测对于疲劳驾驶警报的及时性和有效性起着至关重要的作用。
目前，疲劳驾驶检测的方法主要包括以下四种：
(1)基于生理信号的疲劳驾驶检测：相关研究表明，驾驶员在疲劳状态下的生理指标会偏离正常状态的生理指标，因而现有技术通过对驾驶员的脑电信号、心电信号、肌电信号、血压、呼吸和脉搏等生理指标的综合测量来判断驾驶员是否进入疲劳驾驶状态。虽然这种方法具有较高的检测精度，但是，由于需要采用采用接触式传感器来采集生理信号，给驾驶员驾驶车辆带来不便，具有较大的局限性。
(2)基于驾驶员操作行为的疲劳驾驶检测：该检测方法是通过驾驶员的操作行为如方向盘操作等操作推断驾驶员的疲劳状态。但是，人的操作除了与疲劳状态有关外，还受到个人习惯、行驶速度、道路环境、操作技能等多种因素的影响，该检测方法的准确度低，并且这种方法所采用的标准难以统一，很难做到大规模推广。
(3)基于车辆状态信息的疲劳驾驶检测：该检测方法是通过车辆行驶轨迹变化、车道线偏离、车辆行驶速度、加速度等车辆行驶状态来推测驾驶员的疲劳状态。然而，车辆的行驶状态与车辆特性、道路等很多环境因素有关，其准确度低。
(4)基于驾驶员头部和面部特征状态的疲劳驾驶检测，这种方法使用摄像头等传感器采集驾驶员的头部图像，运用计算机视觉智能和图像处理技术对驾驶员的头部和面部特征如头部运动状态、眼部移动特征、打哈欠、点头的频率等进行分析处理，然后判定其疲劳程度。由于此类方法属于非接触式测量方式，并且采检测方式具有良好的直观性、采用的标准较为统一等优点，已成为国内外广大学者、企事业部门进行研究、设计及开发的主流方向。
目前，基于驾驶员头部和面部特征状态的疲劳驾驶检测方法主要通过标准摄像机获取图像，由于标准摄像机的帧速率为25到30赫兹，而眨眼持续时间可能非常短(最小约为150ms)，因此在一个眨眼持续时间内对视频信号的采样次数只不过是4到5，这不足以获得准确的眼睑移动特征从而导致判断疲劳驾驶状态精度不高且判断速度慢。
发明内容
针对上述问题，本发明的一种疲劳驾驶检测方法及装置，能够有效提高疲劳驾驶状态判断的精度和判断速度。
为解决上述技术问题，本发明的一种疲劳驾驶检测方法，包括如下步骤：
S1、通过近红外3D摄像机采集包含人脸的头部图像；
S2、采用LK光流法对连续两帧头部图像进行跟踪，并从跟踪到的头部图像中提取嘴部特征点、头部特征点和眼部特征点；所述眼部特征点包含眼部特征点的位置坐标；
S3、根据所述眼部特征点的位置坐标从近红外高速摄像机采集的图像中搜索眼部图像，以跟踪所述眼部图像的眼部特征点；
S4、根据预定采集次数内的所述眼部图像的眼部特征点、所述嘴部特征点和所述头部特征点一对一确定眼睑移动特征、嘴部移动特征及头部移动特征，并送入SVM分类器，使得所述SVM分类器判断疲劳驾驶状态，实现疲劳驾驶检测。
作为上述方案的改进，所述步骤S2包括如下步骤：
采用LK光流法计算连续两帧头部图像之间跟踪特征点的光流；其中，所述跟踪特征点为所述连续两帧头部图像的第一帧头部图像中位于预设的空心矩形内的多个像素点；
通过所述跟踪特征点的光流预测所述跟踪特征点在所述连续两帧头部图像的第二帧头部图像中的位置；
根据所述跟踪特征点在所述第一帧头部图像中的位置以及预测在所述第二帧头部图像中的位置，计算所述跟踪特征点的位移；
将所述位移按照从小到大的顺次进行排序，得到位移中值；
当所述位移满足预设条件时，从所述第二帧头部图像中提取嘴部特征点、头部特征点和眼部特征点；其中，所述预设条件为所述位移的位移量小于所述位移中值，且所述位移的数量大于或等于所述跟踪特征点数量的50％。
作为上述方案的改进，所述眼部特征点还包括眼部特征点的速度信息；所述步骤S3包括如下步骤：
根据所述位置坐标确定观测特征点；所述观测特征点用于指示所述连续两帧人眼图像中第一帧眼部图像的眼部特征点；
根据所述位置坐标和所述速度信息构建所述第一帧眼部图像的状态向量方程；
根据所述状态向量和预设的观测矩阵确定观测模型；
根据所述状态向量和所述观测模型确定所述连续两帧眼部图像中第二帧眼部图像的搜索范围；
当在所述搜索范围内搜索到所述观测特征点时，将搜索到的观测点设定为所述第二帧眼部图像的眼部特征点，实现对所述眼部图像的眼部特征点提取。
作为上述方案的改进，所述眼睑移动特征包括眼睛闭合比例、眨眼频率以及眼睛平均闭合速度；所述步骤S4中根据预定采集次数内的所述眼部图像的眼部特征点确定眼睑移动特征包括如下步骤：
当每次提取到所述眼部图像的眼部特征点时，从所述眼部图像的眼部特征点中获取眼角特征点、上眼睑特征点和下眼睑特征点；
根据所述眼角特征点、所述上眼睑特征点和所述下眼睑特征点，计算眼角的夹角以确定眼睛的闭合度；
当采集次数达到所述预定采集次数时，根据确定的全部闭合度计算所述眼睛闭合比例和眨眼频率，且根据全部上眼睑特征点的位移计算眼睛平均闭合速度。
作为上述方案的改进，所述嘴部移动特征包括打哈欠频率；所述步骤S4中根据嘴部特征点确定嘴部移动特征包括如下步骤：
当每次提取到所述嘴部特征点时，从所述嘴部特征点中获取嘴角特征点、上嘴唇最高特征点和下嘴唇最低特征点；
根据所述嘴角特征点、所述上嘴唇最高特征点和所述下嘴唇最低特征点，计算嘴角的夹角以确定嘴部闭合度；
当采集次数达到所述预定采集次数时，根据全部的嘴部闭合度确定打哈欠频率。
作为上述方案的改进，所述头部移动特征包括点头频率；所述步骤S4中根据预定采集次数内的头部特征点确定头部移动特征包括如下步骤：
当每次提取到所述头部特征点时，从所述头部特征点中获取头顶特征点，以绘制一条水平坐标为采集次数、垂直坐标为头顶特征点的垂直位置的曲线；
当采集次数达到所述预定采集次数时，确定所述曲线中出现波峰的次数，得到所述点头频率。
作为上述方案的改进，在步骤S4中，通过如下步骤检测疲劳驾驶状态：
根据所述眼睛闭合比例、所述眨眼频率、所述眼睛平均闭合速度、所述打哈欠频率和所述点头频率构建训练集和测试集；
通过所述训练集构建所述SVM分类器；
构建训练分类模型；
通过构建的训练分类模型对所述测试集进行模型预测，得到疲劳驾驶状态。
作为上述方案的改进，通过如下步骤构建所述训练集和所述测试集：
在预定的采样周期内分别收集N个眼睛闭合比例、N个眨眼频率、N个眼睛平均闭合速度、N个打哈欠频率和N个点头频率作为样本数据，并对所述样本数据进行归一化得到样本集P；其中，N≥2，且N为整数；
通过主成分分析对所述样本集P降维，得到样本集P1；
从所述样本集P1中选取70％的样本数据作为训练集，所述样本集P1中的其余30％的样本数据作为测试集。
为解决上述技术问题，本发明还提供一种疲劳驾驶检测装置，所述检测装置存储有计算机程序，所述计算机程序适于被执行以实现上述任意一种所述的疲劳驾驶检测方法。
为解决上述技术问题，本发明还提供一种疲劳驾驶检测装置，包括处理器、与所述处理器连接的存储器，所述存储器存储有计算机程序，所述计算机程序适于被执行以实现上述任意一种所述的疲劳驾驶检测方法；
所述处理器用于调用所述存储器中的计算机程序，以执行上述任意一种所述的疲劳驾驶检测方法。
与现有技术相比，本发明的疲劳驾驶检测方法及装置，一方面，通过近红外3D摄像机采集驾驶员的头部图像，进而获取嘴部运动特征、头部运动特征和眼部特征点的位置坐标；另一方面，通过近红外高速摄像机采集驾驶员的人眼图像，能有效避免标准摄像机采样次数不足的局限性，并且结合眼部特征点的位置坐标搜索驾驶员的眼部图像来跟踪眼睑运动特征，减少了对眼部图像的检测步骤，提高眼睑移动特征的获取速度，提升判断速度；另外，通过向SVM分类器送入眼睑移动特征、嘴部移动特征及头部移动特征多个特征来判断疲劳驾驶，实现疲劳驾驶检测，其样本类型多，使得检测的准确度高。
附图说明
图1是本发明实施例1的一种疲劳驾驶检测方法的流程示意图。
图2是本发明实施例1中步骤S2的流程示意图。
图3是本发明实施例1中步骤S3的流程示意图。
图4是本发明实施例3中疲劳检测装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
本发明的一种疲劳驾驶检测方法及装置中，将近红外3D摄像机对准驾驶员的脸部和头部来采集驾驶员的头部图像，将近红外高速摄像机对准驾驶员的眼部来采集驾驶员的眼部图像。由于近红外高速摄像机的采集频率大于标准摄像机的采集频率，因而在一个眨眼持续时间对眼部图像采样次数远大于标准摄像机的采样次数，使得获取的眼部移动特征更加准确，提升疲劳状态判断的精度。下面结合具体实施例和附图对本发明的技术方案进行清楚、完整的描述。
如图1所示，是本发明实施例1的一种疲劳驾驶检测方法的流程示意图。
该疲劳驾驶检测方法，包括如下步骤：
S1、通过近红外3D摄像机采集包含人脸的头部图像；
S2、采用LK光流法对连续两帧头部图像进行跟踪，并从跟踪到的头部图像中提取嘴部特征点、头部特征点和眼部特征点；该眼部特征点包含眼部特征点的位置坐标；
其中，如图2所示，步骤S2包括如下步骤：
S21、采用LK光流法计算连续两帧头部图像之间跟踪特征点的光流；其中，跟踪特征点为连续两帧头部图像的第一帧头部图像中位于预设的空心矩形内的多个像素点；
在对连续两帧头部图像进行跟踪之前，需通过一次人脸检测来确定感兴趣的人脸区域，以从人脸区域中提取跟踪特征点，其步骤包括：
S201、当获取初始的头部图像时，对初始头部图像依次进行灰度化处理、高通滤波、差分运算和中值滤波，得到预处理后的头部图像；
S202、采用基于Adaboost算法的Haar分类器对预处理后的头部图像进行人脸检测，以标出感兴趣的人脸区域；
S203、将检测到的人脸区域设为跟踪目标Orect，并设定一个空心矩阵Hrect；其中，Orect∈Hrect，该空心矩形Hrect的内框比跟踪目标Orect小20％，该空心矩形Hrect的外框比跟踪目标Orect大20％；
S203、将空心矩阵Hrect中的像素点作为初始的跟踪特征点。
接下来，对步骤S21进行详细说明。
由于头部图像采用红外3D摄像机采集，其采集频率高，因而跟踪特征点满足LK光流法的三种假设，即跟踪特征点在连续两帧头部图像之间亮度恒定、小运动且空间一致，下面以跟踪特征点中则跟踪特征点的亮度I(x,y,t)满足：
根据亮度恒定条件，I(x,y,t)＝I(x+Δx,y+Δy,t+Δt)；
根据小运动条件，
即，
其中，vx和vy是跟踪特征点的光流；
根据空间一致条件，假设空心矩阵Hrect内有一个大小为e×e的小窗，其内的跟踪特征点i运动是一致的，则得到超定方程组：
其中，
是跟踪特征点i在x方向上的偏导数，
数是跟踪特征点i在y方向上的偏导数，
是跟踪特征点i的时偏导数；其中i＝1，2，3，…e，e≥2且为整数，则采用最小二乘法求解，可解得连续两帧头部图像之间跟踪特征点的光流vx、vy。
S22、通过光流预测跟踪特征点在连续两帧头部图像的第二帧头部图像中的位置；
S23、根据跟踪特征点在所述第一帧头部图像中的位置以及预测在第二帧头部图像中的位置，计算跟踪特征点的位移；
S24、将位移按照从小到大的顺次进行排序，得到位移中值；
S25、当位移满足预设条件时，从第二帧头部图像中提取嘴部特征点、头部特征点和眼部特征点；其中，预设条件为位移的位移量小于位移中值，且位移的数量大于或等于跟踪特征点数量的50％。
在步骤S25中，当位移满足预设条件时，则对第二帧头部图像跟踪成功，确定位移量小于位移中值所对应的跟踪特征点为下一轮跟踪的跟踪特征点，实现跟踪特征点的动态更新。
在步骤S25中，当位移满足预设条件时，采用角点特征检测算法从第二帧头部图像中提取嘴部特征点、头部特征点和眼部特征点。
S3、根据位置坐标从近红外高速摄像机采集的人眼图像中搜索眼部图像，以提取并跟踪眼部图像的眼部特征点；
具体地，步骤S3采用卡尔曼滤波算法实现眼部图像的眼部特征点的跟踪，如图3所示，步骤S3包括如下步骤：
S31、根据眼部特征点的位置坐标确定观测特征点；该观测特征点用于指示所续两帧人眼图像中第一帧眼部图像的眼部特征点；
其中，在步骤S31中，由于头部图像中的眼部特征点通过LK光流法跟踪以及采用角点检测算法获取，因而该眼部特征点可用位置和速度表示，即设定该眼部特征点提取的时间t＝k，则可确定该眼部特征点的位置坐标为(xk,yk)，该眼部特征点在x轴和y轴上移动的速度分别为uk、vk，进而根据该眼部特征点的位置坐标(xk,yk)在第一帧眼部图像中搜索观测点，设定观测特征点在t时刻的状态向量为Xk＝[xk,yk,uk,uk]。
S32、根据位置坐标和速度信息构建第一帧眼部图像的状态向量方程；
在步骤S32中，由于在第一帧眼部图像之前无输入，则构建的状态向量方程为：Xk+1＝AkXk+Wk，其中，由于近红外高速摄像机的采集频率高，连续两帧图像的时间间隔较短，因而观测特征点可看作是匀速线性，则Ak可表示为
Wk为状态向量的过程噪声；
S33、根据状态向量和预设的观测矩阵确定观测模型；
在步骤S33中，确定的观测模型为：Zk＝HXk+Vk，其中，
Vk为观测噪声。
S34、根据状态向量和观测模型确定连续两帧眼部图像中第二帧眼部图像的搜索范围；
S35、当在搜索范围内搜索到观测特征点时，将搜索到的观测点设定为第二帧眼部图像的眼部特征点，实现对眼部图像的眼部特征点提取。
在步骤S35中，当在搜索范围内未搜索到观测特征点时，就出现目标丢失，此时需利用近红外3D摄像机采集的头部图像重新确定头部图像的眼部特征点，进而重新确定观测特征点。
S4、根据预定采集次数内的眼部图像的眼部特征点、嘴部特征点和头部特征点一对一确定眼睑移动特征、嘴部移动特征及头部移动特征，并送入SVM分类器，使得SVM分类器判断疲劳驾驶状态，实现疲劳驾驶检测。
在步骤S4中，眼睑移动特征包括眼睛闭合比例、眨眼频率以及眼睛平均闭合速度。
其中，步骤S4中根据预定采集次数内的眼部图像的眼部特征点确定眼睑移动特征包括如下步骤：
S411、当每次提取到眼部图像的眼部特征点时，从眼部图像的眼部特征点中获取眼角特征点、上眼睑特征点和下眼睑特征点；
S412、根据眼角特征点、上眼睑特征点和下眼睑特征点，计算眼角的夹角以确定眼睛的闭合度；
具体地，步骤S412包括：
根据眼角特征点、上眼睑特征点和下眼睑特征点的位置坐标计算得到眼角的夹角；
根据眼角的夹角确定眼睛的闭合度；例如，当眼角的夹角为0时，设定眼睛的闭合度为100％；当眼角的夹角达到预设的角度阈值时，设定眼睛的闭合度为0％。
S413、当采集次数达到预定采集次数时，根据确定的全部闭合度计算眼睛闭合比例和眨眼频率，且根据全部上眼睑特征点的位移计算眼睛平均闭合速度。
具体地，在步骤S413中，当采集次数达到预定采集次数时，则表示采集到了单位时间内每帧人眼图像中眼睛的闭合度，进而眼睛闭合比例由以下公式计算得到：
眼睛闭合比例＝眼睛闭合帧数/采集次数；
眨眼频率＝眼睛闭合帧数。
进一步地，在步骤S4中，嘴部移动特征包括打哈欠频率；步骤S4中根据嘴部特征点确定嘴部移动特征包括如下步骤：
S421、当每次提取到嘴部特征点时，从嘴部特征点中获取嘴角特征点、上嘴唇最高特征点和下嘴唇最低特征点；
S422、根据嘴角特征点、上嘴唇最高特征点和下嘴唇最低特征点，计算嘴角的夹角以确定嘴部闭合度；
具体地，步骤S422包括：
根据嘴角特征点、上嘴唇最高特征点和下嘴唇最低特征点的位置坐标计算得到嘴部的夹角；
根据嘴部的夹角确定嘴部的闭合度；例如，当嘴部的夹角小于第一夹角阈值时，设定嘴部的闭合度为100％；当嘴部的夹角达到第二角度阈值时，设定嘴角的闭合度为0％；其中，第一夹角阈值小于第二夹角阈值。
S423、当采集次数达到预定采集次数时，根据全部的嘴部闭合度确定打哈欠频率。
具体地，在步骤S423中，当采集次数达到预定采集次数时，则表示采集到了单位时间内每帧头部图像中嘴部的闭合度，当检测到嘴部闭合度超过嘴部闭合度阈值时，确定发生打哈欠；再通过公式：打哈欠频率＝发生打哈欠次数/采集次数，得到打哈欠频率。
进一步地，在步骤S4中，头部移动特征包括点头频率；步骤S4中根据预定采集次数内的头部特征点确定头部移动特征包括如下步骤：
S431、当每次提取到头部特征点时，从头部特征点中获取头顶特征点，以绘制一条水平坐标为采集次数、垂直坐标为头顶特征点的垂直位置的曲线；
S432、当采集次数达到预定采集次数时，确定曲线中出现波峰的次数，得到点头频率。
具体地，在步骤S4中，SVM分类器的构建具体如下：
S441、在预定的采样周期内分别收集N个眼睛闭合比例、N个眨眼频率、N个眼睛平均闭合速度、N个打哈欠频率和N个点头频率作为样本数据，并对该样本数据进行归一化得到样本集P；其中，N＝60，
a1,n表示归一化后的N个眼睛闭合比例，作为样本集P中的第一子样本；a2,n表示归一化后的N个眨眼频率，作为样本集P中的第二子样本；a3,n表示归一化后的N个眼睛平均闭合速度，作为样本集P中的第三子样本；a4,n表示归一化后的N个打哈欠频率，作为样本集P中的第四子样本；a5,n表示归一化后的N个点头频率，作为样本集P中的第五子样本；其中，n＝1,2,3,…，N；
其中，在步骤S441中，对每个子样本中的样本数据进行归一化具体为根据样本数据的值确定疲劳驾驶等级，疲劳驾驶等级分为完全警觉、轻微疲劳、中度疲劳、严重疲劳和极度疲劳5个等级。
S442、通过主成分分析对每个子样本进行降维，使得样本集P中的样本数据减少一半，得到样本集P1；
S443、从降维后的样本集P1中选取70％的样本数据作为SVM的训练集D，其余30％的样本数据作为测试集T；
S444、设定的训练集D＝{(x1,l1)，(x2,l2)，…，(xm,lm)}，其中，D∈P1li∈{-1,1}xi是样本数据，li是样本标记；
S445、假设该训练集可被一个超平面ωTx+b＝0线性划分，其中，ω是决定超平面的法向量，b是原点与超平面距离的位置，则问题转化为最优化超平面问题：
其中，ξi是0/1损失函数，c为惩罚参数；
S445、对于非线性可分情况，选用RBF径向基核函数
则SVM分类器的优化问题最终转化为参数(C，δ)的选择问题；其中，δ≥0为径向基核函数的宽度参数，用于控制径向基核函数的径向作用范围。
具体地，在步骤S4中，通过如下步骤构建训练分类模型：
S451、以2-10≤c≤27和2-10≤δ≤23为范围、步距为0.1构建取值范围内的所有c和δ组成的参数对；
S452、依次取参数对(C，δ)作为基于RBF径向基核函数的SVM分类器参数的初始值，利用交叉验证K-CV方法得到每组参数对(C，δ)下训练集D验证分类准确率；
S453、选取最高分类准确率所对应的参数对(Co，δo)作为最佳参数，得到所求SVM分类模型的模型参数。
进一步地，在步骤S4中通过如下步骤进行模型预测：
采用上述步骤得到的模型参数(Co，δo)对测试集T进行SVM分类预测，得到疲劳驾驶状态。
本发明实施例2提供一种疲劳驾驶检测装置，该检测装置存储有计算机程序，该计算机程序适于被执行以实现上述任意一种疲劳驾驶检测方法。
本发明实施例3提供一种疲劳检测装置，如图4所示该疲劳检测装置包括处理器1、与处理器1连接的存储器2，存储器2存储有计算机程序，计算机程序适于被执行以实现上述任意一种疲劳驾驶检测方法；该处理器1用于调用存储器1中的计算机程序，以执行上述任意一种疲劳驾驶检测方法。
与现有技术相比，本发明的疲劳检测方法及装置，具有以下有益效果：
(1)一方面，通过近红外3D摄像机采集驾驶员的头部图像，进而获取嘴部运动特征、头部运动特征和眼部特征点的位置坐标；另一方面，通过近红外高速摄像机采集驾驶员的人眼图像，能有效避免标准摄像机采样次数不足的局限性，并且结合眼部特征点的位置坐标搜索驾驶员的眼部图像来跟踪眼睑运动特征，减少了对眼部图像的检测步骤，提高眼睑移动特征的获取速度，提升判断速度；
(2)通过向SVM分类器送入眼睑移动特征、嘴部移动特征及头部移动特征多个特征来判断疲劳驾驶，实现疲劳驾驶检测，其样本类型多，使得检测的准确度高；
(3)在LK光流法中采用空心矩形对连续两帧头部图像进行跟踪，可大大减少计算量，进一步提升疲劳驾驶检测的速度；并且，结合卡尔曼滤波算法对近红外高速摄像机采集的人眼图像进行眼部图像搜索，也可以进一步减少计算量，提升检测速度；
(4)运用人工智能的机器学***均闭合速度、打哈欠频率和点头频率5个类型的样本数据进行疲劳驾驶状态的识别，使得疲劳驾驶状态的检测更加全面和准确。
以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，故凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (9)
1.一种疲劳驾驶检测方法，其特征在于，包括如下步骤：
S1、通过近红外3D摄像机采集包含人脸的头部图像；
S2、采用LK光流法对连续两帧所述头部图像进行跟踪，并从跟踪到的头部图像中提取嘴部特征点、头部特征点和眼部特征点；所述眼部特征点包含眼部特征点的位置坐标；
S3、根据所述眼部特征点的位置坐标从近红外高速摄像机采集的图像中搜索眼部图像，以跟踪所述眼部图像的眼部特征点；所述眼部特征点还包括眼部特征点的速度信息；
根据所述位置坐标确定观测特征点；所述观测特征点用于指示连续两帧人眼图像中第一帧眼部图像的眼部特征点；
根据所述位置坐标和所述速度信息构建所述第一帧眼部图像的状态向量方程；
根据所述状态向量和预设的观测矩阵确定观测模型；
根据所述状态向量和所述观测模型确定所述连续两帧眼部图像中第二帧眼部图像的搜索范围；
当在所述搜索范围内搜索到所述观测特征点时，将搜索到的观测点设定为所述第二帧眼部图像的眼部特征点，实现对所述眼部图像的眼部特征点提取；
S4、根据预定采集次数内的所述眼部图像的眼部特征点、所述嘴部特征点和所述头部特征点一对一确定眼睑移动特征、嘴部移动特征及头部移动特征，并送入SVM分类器，使得所述SVM分类器判断疲劳驾驶状态，实现疲劳驾驶检测。
2.如权利要求1所述的疲劳驾驶检测方法，其特征在于，步骤S2包括如下步骤：
采用LK光流法计算所述连续两帧头部图像之间跟踪特征点的光流；其中，所述跟踪特征点为所述连续两帧头部图像的第一帧头部图像中位于预设的空心矩形内的多个像素点；
通过所述跟踪特征点的光流预测所述跟踪特征点在所述连续两帧头部图像的第二帧头部图像中的位置；
根据所述跟踪特征点在所述第一帧头部图像中的位置以及预测在所述第二帧头部图像中的位置，计算所述跟踪特征点的位移；
将所述位移按照从小到大的顺次进行排序，得到位移中值；
当所述位移满足预设条件时，从所述第二帧头部图像中提取嘴部特征点、头部特征点和眼部特征点；其中，所述预设条件为所述位移的位移量小于所述位移中值，且所述位移的数量大于或等于所述跟踪特征点数量的50％。
3.如权利要求1所述的疲劳驾驶检测方法，其特征在于，所述眼睑移动特征包括眼睛闭合比例、眨眼频率以及眼睛平均闭合速度；所述步骤S4中根据预定采集次数内的所述眼部图像的眼部特征点确定眼睑移动特征包括如下步骤：
当每次提取到所述眼部图像的眼部特征点时，从所述眼部图像的眼部特征点中获取眼角特征点、上眼睑特征点和下眼睑特征点；
根据所述眼角特征点、所述上眼睑特征点和所述下眼睑特征点，计算眼角的夹角以确定眼睛的闭合度；
当采集次数达到所述预定采集次数时，根据确定的全部闭合度计算所述眼睛闭合比例和眨眼频率，且根据全部上眼睑特征点的位移计算眼睛平均闭合速度。
4.如权利要求3所述的疲劳驾驶检测方法，其特征在于，所述嘴部移动特征包括打哈欠频率；所述步骤S4中根据嘴部特征点确定嘴部移动特征包括如下步骤：
当每次提取到所述嘴部特征点时，从所述嘴部特征点中获取嘴角特征点、上嘴唇最高特征点和下嘴唇最低特征点；
根据所述嘴角特征点、所述上嘴唇最高特征点和所述下嘴唇最低特征点，计算嘴角的夹角以确定嘴部闭合度；
当采集次数达到所述预定采集次数时，根据全部的嘴部闭合度确定打哈欠频率。
5.如权利要求4所述的疲劳驾驶检测方法，其特征在于，所述头部移动特征包括点头频率；所述步骤S4中根据预定采集次数内的头部特征点确定头部移动特征包括如下步骤：
当每次提取到所述头部特征点时，从所述头部特征点中获取头顶特征点，以绘制一条水平坐标为采集次数、垂直坐标为头顶特征点的垂直位置的曲线；
当采集次数达到所述预定采集次数时，确定所述曲线中出现波峰的次数，得到所述点头频率。
6.如权利要求5所述的疲劳驾驶检测方法，其特征在于，在步骤S4中，通过如下步骤检测疲劳驾驶状态：
根据所述眼睛闭合比例、所述眨眼频率、所述眼睛平均闭合速度、所述打哈欠频率和所述点头频率构建训练集和测试集；
通过所述训练集构建所述SVM分类器；
构建训练分类模型；
通过构建的训练分类模型对所述测试集进行模型预测，得到疲劳驾驶状态。
7.如权利要求6所述的疲劳驾驶检测方法，其特征在于，通过如下步骤构建所述训练集和所述测试集：
在预定的采样周期内分别收集N个眼睛闭合比例、N个眨眼频率、N个眼睛平均闭合速度、N个打哈欠频率和N个点头频率作为样本数据，并对所述样本数据进行归一化得到样本集P；其中，N≥2，且N为整数；
通过主成分分析对所述样本集P降维，得到样本集P1；
从所述样本集P1中选取70％的样本数据作为训练集，所述样本集P1中的其余30％的样本数据作为测试集。
8.一种疲劳驾驶检测装置，其特征在于，所述检测装置存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1～7中任一项所述的疲劳驾驶检测方法。
9.一种疲劳驾驶检测装置，其特征在于，包括处理器、与所述处理器连接的存储器，所述存储器存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1～7中任一项所述的疲劳驾驶检测方法；
所述处理器用于调用所述存储器中的计算机程序，以执行如权利要求1～7中任一项所述的疲劳驾驶检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810607250.XA CN109063545B (zh) | 2018-06-13 | 2018-06-13 | 一种疲劳驾驶检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810607250.XA CN109063545B (zh) | 2018-06-13 | 2018-06-13 | 一种疲劳驾驶检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109063545A CN109063545A (zh) | 2018-12-21 |
| CN109063545B true CN109063545B (zh) | 2021-11-12 |
Family
ID=64820785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810607250.XA Expired - Fee Related CN109063545B (zh) | 2018-06-13 | 2018-06-13 | 一种疲劳驾驶检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109063545B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109664891A (zh) * | 2018-12-27 | 2019-04-23 | 北京七鑫易维信息技术有限公司 | 辅助驾驶方法、装置、设备及存储介质 |
| CN110532976B (zh) * | 2019-09-03 | 2021-12-31 | 湘潭大学 | 基于机器学习和多特征融合的疲劳驾驶检测方法及*** |
| CN111950371B (zh) * | 2020-07-10 | 2023-05-19 | 上海淇毓信息科技有限公司 | 疲劳驾驶预警方法及其装置、电子设备、存储介质 |
| CN112183220B (zh) * | 2020-09-04 | 2024-05-24 | 广州汽车集团股份有限公司 | 一种驾驶员疲劳检测方法及其***、计算机存储介质 |
| CN112528815A (zh) * | 2020-12-05 | 2021-03-19 | 西安电子科技大学 | 基于多模态信息融合的疲劳驾驶检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436715A (zh) * | 2011-11-25 | 2012-05-02 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
| CN103426184A (zh) * | 2013-08-01 | 2013-12-04 | 华为技术有限公司 | 一种光流跟踪方法和装置 |
| CN106372621A (zh) * | 2016-09-30 | 2017-02-01 | 防城港市港口区高创信息技术有限公司 | 基于人脸识别的疲劳驾驶检测方法 |
| CN106682603A (zh) * | 2016-12-19 | 2017-05-17 | 陕西科技大学 | 一种基于多源信息融合的实时驾驶员疲劳预警*** |
| CN107194346A (zh) * | 2017-05-19 | 2017-09-22 | 福建师范大学 | 一种汽车疲劳驾驶预测方法 |
| CN107704805A (zh) * | 2017-09-01 | 2018-02-16 | 深圳市爱培科技术股份有限公司 | 疲劳驾驶检测方法、行车记录仪及存储装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7720580B2 (en) * | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
-
2018
- 2018-06-13 CN CN201810607250.XA patent/CN109063545B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436715A (zh) * | 2011-11-25 | 2012-05-02 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
| CN103426184A (zh) * | 2013-08-01 | 2013-12-04 | 华为技术有限公司 | 一种光流跟踪方法和装置 |
| CN106372621A (zh) * | 2016-09-30 | 2017-02-01 | 防城港市港口区高创信息技术有限公司 | 基于人脸识别的疲劳驾驶检测方法 |
| CN106682603A (zh) * | 2016-12-19 | 2017-05-17 | 陕西科技大学 | 一种基于多源信息融合的实时驾驶员疲劳预警*** |
| CN107194346A (zh) * | 2017-05-19 | 2017-09-22 | 福建师范大学 | 一种汽车疲劳驾驶预测方法 |
| CN107704805A (zh) * | 2017-09-01 | 2018-02-16 | 深圳市爱培科技术股份有限公司 | 疲劳驾驶检测方法、行车记录仪及存储装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109063545A (zh) | 2018-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109063545B (zh) | 一种疲劳驾驶检测方法及装置 | |
| Ramzan et al. | A survey on state-of-the-art drowsiness detection techniques | |
| Wang et al. | Driver fatigue detection: a survey | |
| Devi et al. | Driver fatigue detection based on eye tracking | |
| CN113743471B (zh) | 一种驾驶评估方法及其*** | |
| CN104269028B (zh) | 一种疲劳驾驶检测方法及*** | |
| CN112434611B (zh) | 基于眼部运动细微特征的早期疲劳检测方法及*** | |
| CN106846734A (zh) | 一种疲劳驾驶检测装置及方法 | |
| Celona et al. | A multi-task CNN framework for driver face monitoring | |
| CN103340637A (zh) | 基于眼动与脑电融合的驾驶员警觉度智能监控***及方法 | |
| CN109145696B (zh) | 一种基于深度学习的老人跌倒检测方法及*** | |
| CN110495895B (zh) | 一种基于眼动跟踪的疲劳检测方法与*** | |
| CN105354985A (zh) | 疲劳驾驶监控装置及方法 | |
| CN105286802A (zh) | 基于视频信息的驾驶员疲劳检测方法 | |
| CN112818883B (zh) | 基于眼动信号的感兴趣目标深度学习检测与定位方法 | |
| CN101872419A (zh) | 一种汽车驾驶员疲劳检测的方法 | |
| Huda et al. | Mobile-based driver sleepiness detection using facial landmarks and analysis of EAR values | |
| CN104765959A (zh) | 基于计算机视觉的婴儿全身运动评估方法 | |
| CN101283905A (zh) | 一种眼震位移矢量的统计分析方法 | |
| CN107480635B (zh) | 一种基于双模态分类模型融合的扫视信号识别方法及*** | |
| Pandey et al. | Temporal and spatial feature based approaches in drowsiness detection using deep learning technique | |
| CN110097012B (zh) | 基于N-range图像处理算法的眼动参数监测的疲劳检测方法 | |
| Valsan et al. | Monitoring driver’s drowsiness status at night based on computer vision | |
| CN111134693B (zh) | 基于虚拟现实技术的自闭症儿童辅助检测方法、***及终端 | |
| Pachouly et al. | Driver Drowsiness Detection using Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211112 |