CN109409347A - 一种基于人脸特征检测疲劳驾驶的方法 - Google Patents

一种基于人脸特征检测疲劳驾驶的方法 Download PDF

Info

Publication number
CN109409347A
CN109409347A CN201811609791.2A CN201811609791A CN109409347A CN 109409347 A CN109409347 A CN 109409347A CN 201811609791 A CN201811609791 A CN 201811609791A CN 109409347 A CN109409347 A CN 109409347A
Authority
CN
China
Prior art keywords
mouth
eyes
image
face
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811609791.2A
Other languages
English (en)
Inventor
兰朝凤
毛秀欢
刘春东
赵宏运
刘岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201811609791.2A priority Critical patent/CN109409347A/zh
Publication of CN109409347A publication Critical patent/CN109409347A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于人脸特征检测疲劳驾驶的方法,涉及一种人工智能检测疲劳驾驶的方法。本发明对眼睛与嘴部特征联合检测可判断驾驶员的疲劳状态,避免了因佩戴眼镜而无法进行准确检测。检测方法:一、图像采集;二、图像处理;三、基于改进的Adboost算法分类器进行人脸定位;四、检测到人脸进行下一步,未检测到人脸进行步骤一;五、人脸特征识别;六、疲劳状态判定。本发明与传统监测方法相比联合运用眼睛与嘴部状态进行疲劳状态的特征提取,提高了判断的准确性、降低了疲劳驾驶检测的误判几率。

Description

一种基于人脸特征检测疲劳驾驶的方法
技术领域
本发明涉及一种人工智能检测疲劳驾驶的方法。
背景技术
交通安全是目前世界所面临的一个重要问题,相关研究表明,交通事故在人类非自然死亡中所占的比例最大,许多人因此而失去了宝贵的生命,并给国家的经济带来了很大的负面影响。为了解决由疲劳驾驶引发的一系列问题,在国内外许多专家和学者的努力下,出现了许多新颖有效的方法。如今,疲劳检测算法基本可以分为两大类,即客观和主观两类。主观方面大部分是由驾驶员自己感觉或者是由他人观察来对实时的状态进行判断,但由于个人体质差异以及观察的仔细程度等,没有统一的标准,无法保证正确率,通常只用作检测的辅助手段。客观方面的研究是疲劳检测算法研究的重点。客观方面的研究主要是对于驾驶员的一些内在及外在的指标进行测试,研究主要分为以下3种方法:(1)采用传感器对驾驶员的生理指标进行监视,如心电图,呼吸的频率,心脏跳动的频率等。(2)采用机器视觉技术对驾驶员的外部变化进行监测,比如打哈欠,眼睛闭合等。(3)采用车载传感器对车辆的行驶特征以及驾驶员的行为进行监测,例如车速,转向快慢,刹车速度等。这些方法虽均能达到一定的检测效果,但大多未考虑到驾驶员戴眼镜的情况,且一般仅针对眼睛或嘴部单一部位进行检测与识别,特别是采用机器视觉技术根据驾驶员的外部特征变化进行监测的技术手段,容易导致检测效果不如人意,存在误判、准确性低的缺陷。
发明内容
本发明对眼睛与嘴部特征联合检测可判断驾驶员的疲劳状态,避免了因佩戴眼镜而无法进行准确检测,本发明与传统监测方法相比联合运用眼睛与嘴部状态进行疲劳状态的特征提取,提高了判断的准确性、降低了疲劳驾驶检测的误判几率。
本发明基于人脸特征检测疲劳驾驶的方法按以下步骤进行:
一、图像采集;
二、图像处理:采用自适应中值滤波法对采集的图像进行去噪、并采用自适应阈值法对采集的图像进行光照均衡;
三、基于改进的Adboost算法分类器进行人脸定位;其中仅在样本的权值比此时的更新阈值小,并且此样本被分类不正确的情况下权值才会做出相应的调整,增加权重;除此之外,权重将会被缩小;
四、检测到人脸进行下一步,未检测到人脸进行步骤一;
五、人脸特征识别
5.1人眼定位:Gaboreye模型结合辐射对称算法定位眼睛所在位置;
5.2人眼状态判别:采用Ostu法将选取图像处理为灰度直方图,以背景和目标的类间方差的取值端点作为对阈值选取依据,以二值化后图像中白色像素的数目作为眼睛的面积,眼睛处于睁开状态,眼睛区域中白色像素的数目远远多于眼睛闭合时白色像素的数目;利用眼睛最大面积对驾驶员某一时刻的眼睛面积进行归一化,归一化公式为
其中,current_area为白色像素区域面积,max_area为眼睛最大面积;若A>0.6,眼睛是睁开的;若A≤0.6,则判定眼睛为闭合状态;
5.3嘴部粗检:以嘴巴在脸部区域中分布的几何规则,由公式选择矩形部分;其中(xface,yface)代表提取人脸的矩形的左上角的坐标,(xm0,ym0)代表提取的嘴巴部分的左上角的坐标,Wmouth代表嘴部粗检部分的宽度,Hmouth代表嘴部粗检部分的高度;
5.4嘴部状态判别:对图像进行二值化计算嘴部面积,公式为其中嘴巴部分的灰度值用fmouth(x,y)代表,经过二值化处理后得到图像用B(x,y)表示,阈值设定为0.2;
然后对二值化处理后的图像进行腐蚀:利用结构对图像中的所有元素,之后对被结构元素所处理过的二值化图像与结构元素进行逻辑中的“与”操作,若得到的结果都是1,则被处理的像素得到新的像素值255,否则被处理的像素得到新的像素值0;对处理后图像中的连通域进行提取,并通过相互比较,找到其中最大的面积,将最大面积所在地方作为嘴巴部分的连通域;
采用Sobel算子对图像中嘴巴部分的边缘进行提取;
采用似圆度的方法对嘴部所处的状态进行判定:计算出图像中最大的连通域中白色像素的个数,将此看作是嘴部的面积,利用所求的边缘,得到边缘上白色像素的数目,将此看作嘴部的周长;采用e代表似圆度,e∈[0,1],嘴部的面积采用S表示,嘴部周长采用P表示,采用公式计算嘴巴部分的似圆度;若e<0.4,则嘴巴是闭合的,若e≥0.4,则嘴巴是张开的;
六、疲劳状态判定
选用从视频中获得的连续的图片,如果检测到驾驶员眼睛闭合并打哈欠,认定为疲劳状态;检测到驾驶员眼睛闭合未打哈欠,认定为疲劳状态;检测到驾驶员打哈欠但眼睛不闭合,认定为非疲劳状态;检测到驾驶员眼睛不闭合且未打哈欠,认定为非疲劳状态。
本发明方法具有驾驶员疲劳状态检测准确性高的优点,本发明方法对于不同背景、光照强度、是否配戴眼镜都能作出准确的判断,提高了判断的准确性、降低了疲劳驾驶检测的误判几率,能够挽救更多驾驶员和行人的生命。
附图说明
图1是实施例1步骤二中用到的去噪原始图像;
图2是实施例1步骤二中椒盐噪声后图像;
图3是实施例1步骤二中椒盐噪声后采用中值滤波的图像;
图4是实施例1步骤二中椒盐噪声后采用高斯滤波的图像;
图5是实施例1步骤二中椒盐噪声后采用均值滤波的图像;
图6是实施例1步骤二中椒盐噪声后采用本发明自适应中值滤波的图像;
图7是实施例1步骤二中光照均衡实验用到的光照较强情况下的原始图像;
图8是实施例1步骤二中光照均衡实验中光照较强的光照分量图;
图9是实施例1步骤二中光照均衡实验中光照较强的自适应阈值法光照均衡图;
图10是实施例1步骤二中光照均衡实验用到的光照较暗情况下的原始图像;
图11是实施例1步骤二中光照均衡实验中光照较暗的光照分量图;
图12是实施例1步骤二中光照均衡实验中光照较暗的自适应阈值法光照均衡图;
图13是实施例1步骤三中在光照较暗的情况下采用本发明改进方法人脸定位效果图;
图14是实施例1步骤三中在光照较强的情况下采用本发明改进方法人脸定位效果图;
图15是实施例1步骤三中在光照强背景较杂乱的情况下采用本发明改进方法人脸定位效果图;
图16是实施例1步骤三中在光照好背景杂乱的情况下采用本发明改进方法人脸定位效果图;
图17是实施例1步骤三中在背景简单、光照强的情况下采用本发明改进方法人脸定位效果图;
图18是实施例1步骤三中在背景简单、光照暗的情况下采用本发明改进方法人脸定位效果图;
图19是实施例1步骤三中在背景复杂、光照强的情况下采用本发明改进方法人脸定位效果图;
图20是实施例1步骤三中在背景复杂、光照暗的情况下采用本发明改进方法人脸定位效果图;
图21~图28分别是图13~图20采用本发明人眼定位方法定位到的人眼睛位置图;
图29是眼睛闭合原始图及对应二值化图;
图30是眼睛睁开原始图及对应二值化图;
图31是眼睛半睁开原始图及对应二值化图;
图32是戴眼镜原始图及对应二值化图;
图33是实施例1中嘴部粗检图;
图34是实施例1中嘴部张开的二值化处理进行腐蚀的结果图;
图35是实施例1中嘴部半张开的二值化处理进行腐蚀的结果图;
图36是实施例1中嘴部闭合的二值化处理进行腐蚀的结果图。
具体实施方式
本发明技术方案不局限于以下所列举具体实施方式,还包括各具体实施方式间的任意组合。
具体实施方式一:本实施方式基于人脸特征检测疲劳驾驶的方法按以下步骤进行:
一、图像采集;
二、图像处理:采用自适应中值滤波法对采集的图像进行去噪、并采用自适应阈值法对采集的图像进行光照均衡;
三、基于改进的Adboost算法分类器进行人脸定位;其中仅在样本的权值比此时的更新阈值小,并且此样本被分类不正确的情况下权值才会做出相应的调整,增加权重;除此之外,权重都将被缩小;
四、检测到人脸进行下一步,未检测到人脸进行步骤一;
五、人脸特征识别
5.1人眼定位:Gaboreye模型结合辐射对称算法定位眼睛所在位置;
5.2人眼状态判别:采用Ostu法将选取图像处理为灰度直方图,以背景和目标的类间方差的取值端点作为对阈值选取依据,以二值化后图像中白色像素的数目作为眼睛的面积,眼睛处于睁开状态,眼睛区域中白色像素的数目远远多于眼睛闭合时白色像素的数目;利用眼睛最大面积对驾驶员某一时刻的眼睛面积进行归一化,归一化公式为
其中,current_area为白色像素区域面积,max_area为眼睛最大面积;若A>0.6,眼睛是睁开的;若A≤0.6,则判定眼睛为闭合状态;
5.3嘴部粗检:以嘴巴在脸部区域中分布的几何规则,由公式选择矩形部分;其中(xface,yface)代表提取人脸的矩形的左上角的坐标,(xm0,ym0)代表提取的嘴巴部分的左上角的坐标,Wmouth代表嘴部粗检部分的宽度,Hmouth代表嘴部粗检部分的高度;
5.4嘴部状态判别:对图像进行二值化计算嘴部面积,公式为其中嘴巴部分的灰度值用fmouth(x,y)代表,经过二值化处理后得到图像用B(x,y)表示,阈值设定为0.2;
然后对二值化处理后的图像进行腐蚀:利用结构对图像中的所有元素,之后对被结构元素所处理过的二值化图像与结构元素进行逻辑中的“与”操作,若得到的结果都是1,则被处理的像素得到新的像素值255,否则被处理的像素得到新的像素值0;对处理后图像中的连通域进行提取,并通过相互比较,找到其中最大的面积,将最大面积所在地方作为嘴巴部分的连通域;
采用Sobel算子对图像中嘴巴部分的边缘进行提取;
采用似圆度的方法对嘴部所处的状态进行判定:计算出图像中最大的连通域中白色像素的个数,将此看作是嘴部的面积,利用所求的边缘,得到边缘上白色像素的数目,将此看作嘴部的周长;采用e代表似圆度,e∈[0,1],嘴部的面积采用S表示,嘴部周长采用P表示,采用公式计算嘴巴部分的似圆度;若e<0.4,则嘴巴是闭合的,若e≥0.4,则嘴巴是张开的;
六、疲劳状态判定
选用从视频中获得的连续的图片,如果检测到驾驶员眼睛闭合并打哈欠,认定为疲劳状态;检测到驾驶员眼睛闭合未打哈欠,认定为疲劳状态;检测到驾驶员打哈欠但眼睛不闭合,认定为非疲劳状态;检测到驾驶员眼睛不闭合且未打哈欠,认定为非疲劳状态。
本实施方式步骤三对样本的权重进行更新效果明显,保证了若困难样本一直分类不正确,其权重也不会无限制的增大,从而提高了本发明方法分类器的准确度。
本实施方式方法为了排除说话对检测结果的影响,如果检测到驾驶员的眼睛持续处于闭合状态,***立刻得出驾驶员处于疲劳状态。
具体实施方式二:本实施方式与具体实施方式一的不同点是:步骤二中自适应中值滤波法采用3×3的中值滤波模板、δ=0.8、的高斯模板和的均值滤波模板。其它步骤及参数与实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一的不同点是:步骤二中自适应中值滤波法的最小窗口为3,最大窗口为19。其它步骤及参数与实施方式一相同。
实施例1
基于人脸特征检测疲劳驾驶的方法按以下步骤进行:
一、图像采集;
二、图像处理:采用自适应中值滤波法对采集的图像进行去噪、并采用自适应阈值法对采集的图像进行光照均衡;其中自适应中值滤波法采用3×3的中值滤波模板、δ=0.8、的高斯模板和的均值滤波模板;自适应中值滤波法的最小窗口为3,最大窗口为19;
将去噪原始图像(如图1所示)用噪声密度为0.4的椒盐噪声进行污染(椒盐噪声后图像如图2所示),分别采用中值滤波如图3所示,采用高斯滤波如图4所示,采用均值滤波图如图5所示,采用本发明自适应中值滤波如图6所示;去噪结果显示中值滤波和均值滤波能达到一定的去噪效果,但是不能很好地保留图像中的有用信息,高斯滤波不易造成模糊失真,但是由于其滤除效果与其中的参数δ有关,所以普遍适用性较差,本发明自适应均值滤波不但能较好的滤除图像中的噪声,还能很好的保留有用的信息,去噪效果好,使得本发明处理后的图像更适合于进行后续各种操作。
本实施例采用自适应阈值的方法给所采集到的图像进行光照均衡,先将所采集的图像变换至YCbCr空间,之后得到Cb、Cr的平均值Meb、Mer;计算Cb和Cr的均方差Db和Dr;对图像进行分割,若图像的某个部分的Db、Dr太小,即表明该部分的色差没有明显的变化,则对此部分不进行处理;采用图像中的最大亮度与各信道中参考点的平均值的比值,作为信道增益;然后对图像进行调整,使得图像在经过处理后,光照得以均衡;本发明方法无论是在强光下采集的图像还是在较暗情况下采集的图像,通过自适应的光照均衡算法都能对图像中的光照分量进行调整,使得图像的亮度和颜色得到均衡,排除了光照不均衡对后续图像处理的影响,解决了光的亮度对图像的影响。
三、基于改进的Adboost算法分类器进行人脸定位;其中仅在样本的权值比此时的更新阈值小,并且该样本被分类不正确的情况下权值才会做出相应的调整,增加权重;除此之外,权重都将被缩小;
Adboost算法是迭代算法中的一种,对于收集到的样本进行训练,得到不同的弱分类器,由这些分类器通过级联的方式形成强分类器,再将这些强分类器结合在一起,得到最终的分类器。在此基础上,本发明进行改进,只有当样本的权值比此时的更新阈值小,并且这个样本被分类不正确时,权值才会做出相应的调整,增加权重;除此之外,权重都将会被缩小;保证了若困难样本一直分类不正确,其权重也不会无限制的增大,从而提高了分类器的准确度。构建强分类器的过程使得被错误分类的样本获得更大的权重,加强了对这些样本的训练,使得准确率不断地提高。
图13是在光照较暗的情况下采用本发明改进方法人脸定位效果图,图14是在光照较强的情况下采用本发明改进方法人脸定位效果图,图15是在光照强背景较杂乱的情况下采用本发明改进方法人脸定位效果图,图16是在光照好背景杂乱的情况下采用本发明改进方法人脸定位效果图,图17是在背景简单、光照强的情况下采用本发明改进方法人脸定位效果图,图18是在背景简单、光照暗的情况下采用本发明改进方法人脸定位效果图,图19是在背景复杂、光照强的情况下采用本发明改进方法人脸定位效果图,图20是在背景复杂、光照暗的情况下采用本发明改进方法人脸定位效果图。本实施例在图13~图20情况下都能将无关区域排除并定位到人脸,结果准确。
四、检测到人脸进行下一步,未检测到人脸进行步骤一;
五、人脸特征识别
5.1人眼定位:Gaboreye模型结合辐射对称算法定位眼睛所在位置;
对眉毛的位置进行大致的估计,由眉毛的位置大致的确定眼睛的位置,并利用辐射对称变换迅速的找到特征点所在的位置,并利用模板对此特征点进行规整,由此得到眼睛的大致区域,重复该步骤,以达到对人眼的精确定位。本实施例对于人的面部图像,根据面部图像的尺寸,采用较为合适的Gabor核函数,经过卷积之后,将处理后的图像进行扩张,由此获得Gaboreye模型。图21~图28分别是图13~图20采用本发明人眼定位方法定位到的人眼睛位置图,由此可见,本发明方法在背景不同,光照不同以及样本不同的情况下都能够对人眼进行定位,精确的框选出人眼所在的位置,准确率高。而且即使实验者配戴眼镜也能定位出眼睛。
5.2人眼状态判别:采用Ostu法将选取图像处理为灰度直方图,以背景和目标的类间方差的取值端点作为对阈值选取依据,以二值化后图像中白色像素的数目作为眼睛的面积,眼睛处于睁开状态,眼睛区域中白色像素的数目远远多于眼睛闭合时白色像素的数目;利用眼睛最大面积对驾驶员某一时刻的眼睛面积进行归一化,归一化公式为
其中current_area为白色像素区域面积,max_area为眼睛最大面积;若A>0.6,眼睛是睁开的;若A≤0.6,则判定眼睛为闭合状态;
通过二值化能够得到人眼所在区域的白色像素,得到眼睛的面积,从而对眼睛所处的位置进行判别。由图29~图32可以看出,即使配戴眼镜二值化后也能得到眼睛的面积。由此分析,本发明方法的处理效果好。
5.3嘴部粗检:以嘴巴在脸部区域中分布的几何规则,由公式选择矩形部分;其中(xface,yface)代表提取人脸的矩形的左上角的坐标,(xm0,ym0)代表提取的嘴巴部分的左上角的坐标,Wmouth代表嘴部粗检部分的宽度,Hmouth代表嘴部粗检部分的高度,如图33所示。
5.4嘴部状态判别:对图像进行二值化计算嘴部面积,公式为其中嘴巴部分的灰度值用fmouth(x,y)代表,经过二值化处理后得到图像用B(x,y)表示,阈值设定为0.2;
然后对二值化处理后的图像进行腐蚀,以达到降低背景对检测嘴巴部分的影响。步骤是:利用结构对图像中的所有元素,之后对被结构元素所处理过的二值化图像与结构元素进行逻辑中的“与”操作,若得到的结果都是1,则被处理的像素得到新的像素值255,否则被处理的像素得到新的像素值0;对处理后图像中的连通域进行提取,并通过相互比较,找到其中最大的面积,将最大面积所在地方作为嘴巴部分的连通域;采用Sobel算子对图像中嘴巴部分的边缘进行提取(经过处理得到的结果如图34~图36所示);
采用似圆度的方法对嘴部所处的状态进行判定:计算出图像中最大的连通域中白色像素的个数,将此看作是嘴部的面积,利用所求的边缘,得到边缘上白色像素的数目,将此看作嘴部的周长;采用e代表似圆度,e∈[0,1],嘴部的面积采用S表示,嘴部周长采用P表示,采用公式计算嘴巴部分的似圆度;若e<0.4,则嘴巴是闭合的,若e≥0.4,则嘴巴是张开的。
经过5.4节方法处理不同嘴巴状态得到的结果如图34~图36所示,本发明通过对不同状态下嘴巴的图像进行采集,并对其进行二值化和边缘提取,检测嘴部状态。由图34~图36可以看出,经由二值化处理后能方便的得到嘴巴部分白色像素的数目,即嘴巴的面积,通过sobel边缘检测能检测到嘴巴的边缘,并得到边缘部分白色像素的数目,即嘴巴周长。
六、疲劳状态判定
选用从视频中获得的连续的图片,如果检测到驾驶员眼睛闭合并打哈欠,认定为疲劳状态;检测到驾驶员眼睛闭合未打哈欠,认定为疲劳状态;检测到驾驶员打哈欠但眼睛不闭合,认定为非疲劳状态;检测到驾驶员眼睛不闭合且未打哈欠,认定为非疲劳状态。
本实施方式步骤三对样本的权重进行更新效果明显,保证了若困难样本一直分类不正确,其权重也不会无限制的增大,从而提高了本发明方法分类器的准确度。
本实施例中采用混合核函数用于支持向量机,该混合核函数是K型核函数与logistic核函数的结合,混合核函数公式为K=n·Klogistic+(1-n)KK型,0≤n≤1。本发明混合核函数对n取不同值时(0≤n≤1),都在0处出现峰值,因此0领域内的测试点对结果具有较大的影响,并且在0之后也会出现峰值,也会有对结果影响较大的点。因此可以看出,混合函数不仅学习能力强,适用性也非常广泛。
本实施例支持向量机作用于疲劳驾驶的判定,即将所识别出的眼部与嘴部的状态作为数据输入,以此来对疲劳进行判别。
本实施方式方法为了排除说话对检测结果的影响,如果检测到驾驶员的眼睛持续处于闭合状态,***立刻得出驾驶员处于疲劳状态。
采用本实施例方法对四名实验者的图像进行采集,对本文所述的算法进行验证,统计结果如表1所示,其中实验者1光照较暗,背景简单,不戴眼镜;实验者2光线较亮,不戴眼镜,背景简单;实验者3光线较亮,配戴眼镜,背景复杂;实验者4光线适中,配戴眼镜,背景复杂。
表1疲劳判定统计
实验者 眼睛状态 嘴巴状态 疲劳判定 真实状态 结果
实验者1 闭合 打哈欠 疲劳 疲劳 准确
实验者2 闭合 紧闭 疲劳 疲劳 准确
实验者3 睁开 打哈欠 不疲劳 不疲劳 准确
实验者4 睁开 紧闭 不疲劳 不疲劳 准确
经实验证明,以上四种情况下都能准确的判断出实验者所处的状态。

Claims (3)

1.一种基于人脸特征检测疲劳驾驶的方法,其特征在于该基于人脸特征检测疲劳驾驶的方法按以下步骤进行:
一、图像采集;
二、图像处理:采用自适应中值滤波法对采集的图像进行去噪、并采用自适应阈值法对采集的图像进行光照均衡;
三、基于改进的Adboost算法分类器进行人脸定位;其中仅在样本的权值比此时的更新阈值小,并且此样本被分类不正确的情况下权值才会做出相应的调整,增加权重;除此之外,权重将会被缩小;
四、检测到人脸进行下一步,未检测到人脸进行步骤一;
五、人脸特征识别
5.1人眼定位:Gaboreye模型结合辐射对称算法定位眼睛所在位置;
5.2人眼状态判别:采用Ostu法将选取图像处理为灰度直方图,以背景和目标的类间方差的取值端点作为对阈值选取依据,以二值化后图像中白色像素的数目作为眼睛的面积,眼睛处于睁开状态,眼睛区域中白色像素的数目远远多于眼睛闭合时白色像素的数目;利用眼睛最大面积对驾驶员某一时刻的眼睛面积进行归一化,归一化公式为
其中current_area为白色像素区域面积,max_area为眼睛最大面积;若A>0.6,判定眼睛是睁开的;若A≤0.6,则判定眼睛为闭合状态;
5.3嘴部粗检:以嘴巴在脸部区域中分布的几何规则,由公式选择矩形部分;其中(xface,yface)代表提取人脸的矩形的左上角的坐标,(xm0,ym0)代表提取的嘴巴部分的左上角的坐标,Wmouth代表嘴部粗检部分的宽度,Hmouth代表嘴部粗检部分的高度;
5.4嘴部状态判别:对图像进行二值化计算嘴部面积,公式为其中嘴巴部分的灰度值用fmouth(x,y)代表,经过二值化处理后得到图像用B(x,y)表示,阈值设定为0.2;
然后对二值化处理后的图像进行腐蚀:利用结构对图像中的所有元素,之后对被结构元素所处理过的二值化图像与结构元素进行逻辑中的“与”操作,若得到的结果都是1,则被处理的像素得到新的像素值255,否则被处理的像素得到新的像素值0;对处理后图像中的连通域进行提取,并通过相互比较,找到其中最大的面积,将最大面积所在地方作为嘴巴部分的连通域;
采用Sobel算子对图像中嘴巴部分的边缘进行提取;
采用似圆度的方法对嘴部所处的状态进行判定:计算出图像中最大的连通域中白色像素的个数,将此看作是嘴部的面积,利用所求的边缘,得到边缘上白色像素的数目,将此看作嘴部的周长;采用e代表似圆度,e∈[0,1],嘴部的面积采用S表示,嘴部周长采用P表示,采用公式计算嘴巴部分的似圆度;若e<0.4,则嘴巴是闭合的,若e≥0.4,则嘴巴是张开的;
六、疲劳状态判定
选用从视频中获得的连续的图片,如果检测到驾驶员眼睛闭合并打哈欠,认定为疲劳状态;检测到驾驶员眼睛闭合未打哈欠,认定为疲劳状态;检测到驾驶员打哈欠但眼睛不闭合,认定为非疲劳状态;检测到驾驶员眼睛不闭合且未打哈欠,认定为非疲劳状态。
2.根据权利要求1所述的一种基于人脸特征检测疲劳驾驶的方法,其特征在于步骤二中自适应中值滤波法采用3×3的中值滤波模板、δ=0.8、的高斯模板和的均值滤波模板。
3.根据权利要求1或2所述的一种基于人脸特征检测疲劳驾驶的方法,其特征在于步骤二中自适应中值滤波法的最小窗口为3,最大窗口为19。
CN201811609791.2A 2018-12-27 2018-12-27 一种基于人脸特征检测疲劳驾驶的方法 Pending CN109409347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811609791.2A CN109409347A (zh) 2018-12-27 2018-12-27 一种基于人脸特征检测疲劳驾驶的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811609791.2A CN109409347A (zh) 2018-12-27 2018-12-27 一种基于人脸特征检测疲劳驾驶的方法

Publications (1)

Publication Number Publication Date
CN109409347A true CN109409347A (zh) 2019-03-01

Family

ID=65462221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811609791.2A Pending CN109409347A (zh) 2018-12-27 2018-12-27 一种基于人脸特征检测疲劳驾驶的方法

Country Status (1)

Country Link
CN (1) CN109409347A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188655A (zh) * 2019-05-27 2019-08-30 上海蔚来汽车有限公司 驾驶状态评价方法、***及计算机存储介质
CN110319544A (zh) * 2019-07-04 2019-10-11 珠海格力电器股份有限公司 环境管理方法、装置和空调

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
CN102436714A (zh) * 2011-10-13 2012-05-02 无锡大麦创意设计有限公司 疲劳监测***
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
CN102436714A (zh) * 2011-10-13 2012-05-02 无锡大麦创意设计有限公司 疲劳监测***
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐科 等: "《金属表面质量在线检测技术》", 31 October 2016 *
邹昕彤: "基于表情与头部状态识别的疲劳驾驶检测算法的研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑(月刊)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188655A (zh) * 2019-05-27 2019-08-30 上海蔚来汽车有限公司 驾驶状态评价方法、***及计算机存储介质
CN110319544A (zh) * 2019-07-04 2019-10-11 珠海格力电器股份有限公司 环境管理方法、装置和空调

Similar Documents

Publication Publication Date Title
CN106169081B (zh) 一种基于不同照度的图像分类及处理方法
CN107330465B (zh) 一种图像目标识别方法及装置
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN108053615B (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
CN100592322C (zh) 照片人脸与活体人脸的计算机自动鉴别方法
CN107292251B (zh) 一种基于人眼状态的驾驶员疲劳检测方法及***
EP1229493B1 (en) Multi-mode digital image processing method for detecting eyes
CN111582086A (zh) 基于多特征的疲劳驾驶识别方法及***
CN105447503B (zh) 基于稀疏表示lbp和hog融合的行人检测方法
CN108986106A (zh) 面向青光眼临床诊断的视网膜血管自动分割方法
CN107729820B (zh) 一种基于多尺度hog的手指静脉识别方法
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN103268479A (zh) 全天候疲劳驾驶检测方法
Rekhi et al. Automated classification of exudates from digital fundus images
Cornforth et al. Development of retinal blood vessel segmentation methodology using wavelet transforms for assessment of diabetic retinopathy
CN110728185B (zh) 一种判别驾驶人存在手持手机通话行为的检测方法
CN109242032B (zh) 一种基于深度学习的目标检测方法
CN107895157B (zh) 一种低分辨率图像虹膜中心精确定位的方法
CN109543518A (zh) 一种基于积分投影的人脸器官精确识别方法
Zhang et al. A SVM approach for detection of hemorrhages in background diabetic retinopathy
CN110348461A (zh) 一种工件表面缺陷特征提取方法
CN106203338B (zh) 基于网格区域分割和阈值自适应的人眼状态快速识别方法
CN110046565A (zh) 一种基于Adaboost算法的人脸检测方法
CN106557745A (zh) 基于最大类间方差及伽马变换的人体眼球检测方法及***
CN109409347A (zh) 一种基于人脸特征检测疲劳驾驶的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190301

WD01 Invention patent application deemed withdrawn after publication