CN101803928A - 基于视频的驾驶员疲劳检测装置 - Google Patents

基于视频的驾驶员疲劳检测装置 Download PDF

Info

Publication number
CN101803928A
CN101803928A CN 201010119431 CN201010119431A CN101803928A CN 101803928 A CN101803928 A CN 101803928A CN 201010119431 CN201010119431 CN 201010119431 CN 201010119431 A CN201010119431 A CN 201010119431A CN 101803928 A CN101803928 A CN 101803928A
Authority
CN
China
Prior art keywords
face
human eye
people
pixel
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201010119431
Other languages
English (en)
Inventor
王占宁
王�华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zanb Science & Technology Co Ltd
Original Assignee
Beijing Zanb Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zanb Science & Technology Co Ltd filed Critical Beijing Zanb Science & Technology Co Ltd
Priority to CN 201010119431 priority Critical patent/CN101803928A/zh
Publication of CN101803928A publication Critical patent/CN101803928A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种基于视频的驾驶员疲劳检测装置,该装置包括:红外照明元件,用于向监控场景提供红外照明;镜头,用于获取监控场景的红外光学图像信号;滤光元件,用于对接收的监控场景的红外光学图像信号进行滤光处理,以突出监控场景的红外光学图像信号中的人脸与人眼瞳孔部分;图像捕获元件,用于将经过滤光处理的红外光学图像信号转换为数字图像信号;图像处理单元,用于从获取的数字图像中提取人眼和瞳孔,并判断驾驶员是否处于疲劳状态。本发明的基于视频的驾驶员疲劳检测装置利用瞳孔来判断人眼的开闭有效地提高了人眼开闭状态判断的准确性,并进而准确快速地检测驾驶员是否处于疲劳状态。

Description

基于视频的驾驶员疲劳检测装置
技术领域
本发明涉及一种基于视频的驾驶员疲劳检测装置,属于图像处理、视频监控领域。
背景技术
驾驶员疲劳、睡眠不足是引发严重交通事故的重要诱因之一,因此有效地监督和防止驾驶员疲劳驾驶具有十分重要的意义。疲劳检测是对驾驶员在行车中出现的疲劳现象实时检测并施以适当警告的过程,它有以下几个要求:1)必须是无干扰的;2)必须是实时的;3)必须受光照的影响较小;4)不能有有害辐射;5)不能包括移动设备。在现有的各种检测方法中,能满足以上要求且效果较为理想的是用摄像机进行实时拍摄,然后通过图像处理来检测驾驶员眼部的物理反应。
申请号为200610012623.6的中国专利申请公开了一种同时利用Kalman滤波器和Mean Shift算法来检测疲劳程度的方法及装置。公开号为US2006/0132319A1的美国专利申请公开了一种驾驶员疲劳估计的设备和方法。上述两个专利都是先利用脸部特性(包括眉毛、眼睛、鼻子、嘴巴)对驾驶员的脸部图像进行图像处理,以定位眼睛的位置,再通过检测眼睛是否闭合来判断驾驶员是否处于疲劳状态。但由于实际场景中存在很多干扰,因此往往不能准确地定位眼睛的位置,这就影响了后期驾驶员疲劳状态的判断。
申请号为200510037771.9的中国专利申请公开了一种利用红外光线对驾驶员眼部进行照射来获取图像,并对获取的图像进行图像处理以检测疲劳程度的装置及方法。但该专利的方法提取驾驶员的眼睛的图像不精确,在光线比较亮的环境下,容易造成测量失败。
综上所述,目前迫切需要提出一种能准确快速地检测驾驶员疲劳状态的装置。
发明内容
有鉴于此,本发明的主要目的在于提供一种能实现准确快速地检测驾驶员疲劳状态的装置。为达到上述目的,本发明提供了一种基于视频的驾驶员疲劳检测装置,所述驾驶员疲劳检测装置包括:
至少一个红外照明元件,用于向监控场景提供红外照明;
镜头,用于获取监控场景的红外光学图像信号;
滤光元件,用于对接收的监控场景的红外光学图像信号进行滤光处理,以突出监控场景的红外光学图像信号中的人脸与人眼瞳孔部分;
图像捕获元件,其位于所述镜头的后面,用于将经过滤光处理的红外光学图像信号转换为数字图像信号;和
图像处理单元,用于从获取的数字图像中提取人眼和瞳孔,并判断驾驶员是否处于疲劳状态。
其中,所述红外照明元件单独地安装在用于驾驶区域照明的区域内或者安装在与面向驾驶区域的所述镜头相连接地安装在用于驾驶区域照明的区域内;所述滤光元件位于所述镜头前,或者位于图像捕获元件的后面、或者位于所述镜头后面且在所述图像捕获元件前;
优选地,所述红外照明元件和所述镜头可拆卸地紧密连接在一起,所述镜头、所述滤光元件和所述图像捕获元件相互之间可拆卸地紧密连接在一起。
优选地,所述红外照明元件包括至少一个红外照明装置。
优选地,所述滤光元件包括至少一个带通滤光元件和/或至少一个偏振滤光元件。
优选地,所述图像捕获元件是CCD传感器、CMOS传感器、CCD相机、CMOS相机、红外成像相机或红外热释电相机中的一种或多种。
优选地,所述图像处理单元包括:
候选人脸获取模块,用于从获取的数字图像中提取出候选人脸区域;
人眼获取模块,用于利用人眼检测方法,从接收的候选人脸区域中检测出人眼区域;
人眼开闭确定模块,用于根据人眼区域内是否存在瞳孔来确定人眼的开闭;和
驾驶员疲劳判断模块,用于根据人眼的开闭,利用PERCLOS值来判断驾驶员是否处于疲劳状态。
优选地,所述候选人脸获取模块通过以下步骤获取候选人脸区域:
步骤511:通过对获取的数字图像进行阈值分割提取出亮度值较高的像素点作为候选的人脸像素点,并获得相应的人脸阈值分割图像;
步骤512:以人脸阈值分割图像中的候选的人脸像素点为模板,在该模板上利用人脸检测方法获取候选人脸区域。
优选地,所述步骤511中的阈值分割通过以下方法实现:
假设数字图像中像素点(x,y)的亮度值为I(x,y),数字图像的人脸阈值分割图像中像素点(x,y)的亮度值为I1(x,y),其中I1的初始值为I,若I(x,y)≥第一阈值T1,则标记该像素点属于候选的人脸像素点,保留人脸阈值分割图像中该像素点的亮度值I1(x,y)不变,否则标记该像素点为非候选的人脸像素点,将人脸阈值分割图像中该像素点的亮度值I1(x,y)赋予0,其中,100≤T1≤200且T1为整数。
优选地,所述步骤512中的人脸检测方法为连通区域标记方法,所述连通区域标记方法为:首先以人脸阈值分割图像中的候选的人脸像素点为目标,对人脸阈值分割图像中所有的目标点进行连通区域标记,然后统计标记的连通区域内候选的人脸像素点的个数,若该个数大于第二阈值T2,则标记该连通区域为候选的人脸区域,否则将该连通区域内所有点标记为非候选的人脸像素点,将该连通区域内所有点的亮度值I1(x,y)赋予0,其中,300≤T2≤600且T2为整数。
优选地,所述人眼开闭确定模块通过以下步骤判断人眼开闭:
步骤531:从人眼区域内提取出瞳孔点,首先将人脸阈值分割图像中对应于人眼区域内的像素点的亮度值保留,将其他的像素点的亮度值赋予0,然后对该人脸阈值分割图像进行阈值分割,若I1(x,y)≥第三阈值T3,则认为该像素点属于瞳孔点,并将人眼区域内对应的像素点标记为瞳孔点;
步骤532:如果人眼区域内存在瞳孔点,则认为人眼处于睁开状态,否则认为人眼处于闭合状态。
优选地,所述驾驶员疲劳判断模块通过以下方法判断驾驶员是否处于疲劳状态:
统计单位时间内人眼闭合时间所占的比率f:
f = t 2 t 1 × 100 %
其中,t1为某一设定的特定时间,t2为人眼闭合的时间,当PERCLOS值f大于第四阈值T4时,则认为驾驶员处于疲劳状态,其中,65%≤T4≤80%。
与现有的驾驶员疲劳检测的技术相比,本发明所提供的基于视频的驾驶员疲劳检测装置有以下优点:1)由于采用滤光元件,图像捕获元件获取的数字图像中属于人脸部分的像素点的亮度值较高,因此可以简单地提取人脸区域,减少了人脸检测算法的计算量;2)传统的判断人眼开闭的方法是利用人眼区域的高度与宽度的比值来实现的,由于实际提取的人眼区域不够精确,因此严重影响了人眼开闭状态的判断,而本发明利用瞳孔来判断人眼的开闭有效地提高了人眼开闭状态判断的准确性。
附图说明
图1为按照本发明的基于视频的驾驶员疲劳检测装置的结构示意图;
图2为按照本发明的基于视频的驾驶员疲劳检测装置中的图像处理单元的示意性框图;
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的,现结合所附较佳实施例详细说明如下,所说明的较佳实施例仅用于说明本发明的技术方案,并非限定本发明。
按照本发明的基于视频的驾驶员疲劳检测装置1包括:至少一个红外照明元件1,用于向监控场景提供红外照明;镜头2,用于获取监控场景的红外光学图像信号;滤光元件3,用于对接收的监控场景的红外光学图像信号进行滤光处理,以突出监控场景的红外光学图像信号中的人脸与人眼瞳孔部分;图像捕获元件4,用于将经过滤光处理的红外光学图像信号转换为数字图像信号;和图像处理单元5,用于从获取的数字图像中提取人眼和瞳孔,并判断驾驶员是否处于疲劳状态。其中,红外照明元件1单独地安装在用于驾驶区域照明的区域内或者与面向驾驶区域的镜头2相连接地安装在用于驾驶区域照明的区域内;图像捕获元件4位于镜头2的后面;滤光元件3位于镜头2前,或者位于图像捕获元件4的后面、或者位于镜头2后面且在图像捕获元件4前。镜头2、滤光元件3和图像捕获元件4既可以是独立存在的,也可以可拆卸地紧密连接在一起。
优选地,红外照明元件1可以与镜头2可拆卸地紧密连接在一起,例如红外照明元件1可以分布在镜头2的四周,也可以单独地安装在某一可以用于驾驶区域照明的区域内,镜头2面向该驾驶区域。如图1所示,图1为按照本发明的基于视频的驾驶员疲劳检测装置的结构示意图。由图1可以看出,红外照明元件1与镜头2可拆卸地紧密连接在一起,镜头2面向驾驶区域,滤光元件3可拆卸地紧密连接在镜头2的后面,图像捕获元件4可拆卸地紧密连接在滤光元件3的后面。此外,在实际应用时,镜头2、滤光元件3和图像捕获元件4之间也可以采用如下连接方式:
连接方式一:滤光元件3可拆卸地紧密连接在镜头2前,用于对监控场景先进行红外滤光处理,镜头2用于直接获取经过滤光元件3红外滤光处理后的监控场景的红外光学图像信号,图像捕获元件4可拆卸地紧密连接在镜头2的后面,用于将经过滤光处理的红外光学图像信号转换为数字图像信号。
连接方式二:镜头2可拆卸地紧密连接在图像捕获元件4前,用于获取监控场景的红外光学图像信号,图像捕获元件4用于将获取的监控场景的红外光学图像信号转换为数字图像信号,滤光元件3可拆卸地紧密连接在图像捕获元件4的后面,用于对获取的监控场景的红外数字图像信号进行滤光处理。
其中,红外照明元件1提供某一波长的红外光,例如波长为850±20nm或者940±20nm的红外光,并将该红外光用于监控场景的照明。该红外照明元件1可以包括至少一个红外照明装置,该红外照明装置可以是红外照明灯。该红外照明元件1提供的红外光的波长在滤光元件3提供的滤光波段中。镜头2获取监控场景的红外光学图像信号后,将其提供给滤光元件3。
滤光元件3对接收的监控场景的红外光学图像信号进行滤光处理,以突出监控场景的红外光学图像信号中的人脸与人眼瞳孔部分,并将滤光处理后的红外光学图像信号提供给图像捕获元件4。按照本发明,所述滤光元件3可以包括至少一个带通滤光元件和/或至少一个偏振滤光元件。也就是说,滤光元件3可以由单独一个带通滤光元件或单独一个偏振滤光元件构成,也可以由多个带通滤光元件和/或多个偏振滤光元件组合构成。实施时,滤光元件3的滤光波段的红外波长与红外照明元件1提供的红外光的红外波长相对应。例如,滤光元件3可以由一个带通滤光元件构成,该带通滤光元件可以是中心波长处于850-950nm范围内的窄带滤光片,而红外照明元件1提供的红外光的波长在以上述中心波长为中心的红外波段内。优选地,滤光元件3的滤光波段的红外波长为850±20nm或者940±20nm。
图像捕获元件4将经过滤光处理的红外光学图像信号转换为数字图像信号,并且将该数字图像信号提供给图像处理单元5。按照本发明,图像捕获元件4可以是CCD传感器、CMOS传感器或者其它能够将光学图像信号转换为数字图像信号的装置,或者可以是CCD相机、CMOS相机、红外成像相机和红外热释电相机中的一种或多种。例如,所述图像捕获元件4为CCD相机。在这种情况下,在设置CCD相机时,为了使获取的图像更为稳定,可以将该CCD相机的一些自动功能关闭,如自动白平衡、自动增益、自动电子快门等,并手动调节电子快门,使该CCD相机的曝光时间处于0.1-2.5ms的范围内。
图像处理单元5根据接收的数字图像,提取人眼和瞳孔,并判断驾驶员是否处于疲劳状态。图2为按照本发明的基于视频的驾驶员疲劳检测装置中的图像处理单元的示意性框图,如图2所示,该图像处理单元5包括:
候选人脸获取模块51,用于从获取的数字图像中提取出候选人脸区域;
人眼获取模块52,用于利用人眼检测方法,从接收的候选人脸区域中检测出人眼区域;
人眼开闭确定模块53,用于根据人眼区域内是否存在瞳孔来确定人眼的开闭;
驾驶员疲劳判断模块54,用于根据人眼的开闭,利用PERCLOS值来判断驾驶员是否处于疲劳状态。
按照本发明,候选人脸获取模块51通过以下步骤获取候选人脸区域:
步骤511:利用阈值分割方法获取候选的人脸像素点。由于图像捕获元件4提供的数字图像中人脸部分的像素点的亮度值比较高,因此通过对获取的数字图像进行阈值分割可以提取出亮度值较高的像素点作为候选的人脸像素点,并获得相应的人脸阈值分割图像。其中,阈值分割的方法为:假设数字图像中像素点(x,y)的亮度值为I(x,y),数字图像的人脸阈值分割图像中像素点(x,y)的亮度值为I1(x,y)(其中I1的初始值为I1=I),若I(x,y)≥第一阈值T1,则标记该像素点属于候选的人脸像素点(即保留人脸阈值分割图像中该像素点的亮度值I1(x,y)不变),否则标记该像素点为非候选的人脸像素点(即将人脸阈值分割图像中该像素点的亮度值I1(x,y)赋予0)。其中,100≤T1≤200且T1为整数。实施时,为了避免将可能的人脸像素点滤除,可以将T1取小一点,例如T1=120。
步骤512:以人脸阈值分割图像中的候选的人脸像素点为模板,在该模板上利用人脸检测方法获取候选的人脸区域。其中,所述人脸检测方法可以采用连通区域标记方法,也可以使用申请号为200910077430.2的专利申请(由本申请的申请人所提交)中所提供的人脸检测方法,还可以采用目前较为流行的基于AdaBoost的人脸检测方法。在使用现有的人脸检测方法获取候选的人脸区域时,直接在人脸阈值分割图像中提取候选的人脸区域,由于人脸阈值分割图像中已经分割出候选的人脸像素点,因此大大减小了复杂的场景对人脸检测准确性的影响,也相对地减少了人脸检测的计算量。
实施中,为了减少人脸检测的计算量,可以采用简单的连通区域标记方法获取候选的人脸区域。首先以人脸阈值分割图像中的候选的人脸像素点(即人脸阈值分割图像中的亮度值非0的像素点)为目标点,对人脸阈值分割图像中所有的目标点进行连通区域标记。然后,统计标记的连通区域内候选的人脸像素点的个数,若该个数>第二阈值T2,则标记该连通区域为候选的人脸区域,否则将该连通区域内所有点标记为非候选的人脸像素点(即将人脸阈值分割图像中该连通区域内所有点的亮度值I1(x,y)赋予0)。其中,300≤T2≤600且T2为整数。
连通区域标记方法可以通过四连通域方法或八连通域方法实现。四连/八连通域的连通标记的方法是:首先,对人脸阈值分割图像实施逐行扫描,找到一个未标记区域的第一目标点,该第一目标点为未被标记的人脸像素点,标记该点;检查该标记点的四连/八连域点并标记满足连通性要求的、且尚未被标记的目标点,同时将新增的标记点记录下来作为“区域增长”的种子点。在后续的标记过程中,不断地从记录种子点的数组中取出一个种子点,实施上述的操作,如此循环,直到记录种子点的数组为空时,一个连通区域标记结束。接着再标记下一个未标记的区域,直到人脸阈值分割图像内所有连通区域都被标记。
人眼获取模块52以候选人脸获取模块51输出的候选的人脸区域为模板,在该模板上利用人眼检测方法获取人眼区域。其中,人眼检测方法可以利用现有的人眼检测算法实现,例如采用申请号为200910077436.X的专利申请(由本申请的申请人所提交)中所提供的人眼检测算法,也可以采用文献“钟威,刘智明,周激流.人脸检测中眼睛精确定位的研究,计算机工程与应用,2004,36:73-76”中所提供的方法。其中,申请号为200910077436.X的专利申请中所提供的人眼检测算法为:第一步:确定人眼搜索区域,在下一帧中预测的人眼位置,根据预测的人眼位置点左右各扩大两眼距离的阙值4,往上扩大两眼距离的阙值5,往下扩大两眼距离的阙值6,以形成一个矩形区域,选取该矩形区域作为人眼搜索区域;第二步,确定真实人眼区域,用FRST算法对所述人眼搜索区域进行FRST算法计算,以得到相应的映射图像,并获取该映射图像的最大像素值,然后将最大像素值的阙值7作为分割阙值,对所述人眼搜索区域进行分割,以得到二值图像区域,再判断该二值图像区域内是否存在一对垂直区域,若存在,则认为垂直区域的下面区域为真实人眼区域,垂直区域的上面区域为眉毛,若不存在,则认为该垂直区域为真实人眼区域。其中,上述方法中的阙值4-阙值7的具体数值可以参考申请号为200910077436.X的专利申请。
利用FRST算法,计算候选人脸区域内具有对称性特征的眼睛孔洞位置的各个连通区域,再辅以椭圆拟合以得到上述对称性特征的五个FRST特征参数,并根据所述五个FRST特征参数判定是否符合眼睛和鼻孔的几何分布关系,若符合,则记录人眼检测的结果;若不符合,则认为该区域是虚假区域并滤除,其中,所述五个FRST特征参数包括:孔洞的左端位置、孔洞的右端位置、孔洞的上端位置、孔洞的下端位置和孔洞的中心位置。
按照本发明,人眼开闭确定模块53通过以下步骤判断人眼开闭:
步骤531:从人眼区域内提取出瞳孔点。首先将人脸阈值分割图像(步骤511获得的)中对应于人眼区域(人眼获取模块52获得的)内的像素点的亮度值保留,将其他的像素点的亮度值I1(x,y)赋予0;然后对该人脸阈值分割图像进行阈值分割,若I1(x,y)≥第三阈值T3,则认为该像素点属于瞳孔点,并将人眼区域内对应的像素点标记为瞳孔点。其中,第三阈值T3可以通过计算人眼区域内像素点的最大类间方差的方法获得。最大类间方差的方法可以参考文献“OTSC N.Athreshold selection method from gray-level histogram[J].IEEE Trans,1979,SMC-9:62-69”。
步骤532:如果人眼区域内存在瞳孔点,则认为人眼处于睁开状态,否则认为人眼处于闭合状态。
驾驶员疲劳判断模块54根据人眼开闭确定模块53输出的人眼开闭的状态,利用PERCLOS值来判断驾驶员是否处于疲劳状态。利用PERCLOS值判断驾驶员疲劳状态的方法可以参考文献“D F Dinges,R Grace.PERCLOS:A Valid Psycho physiological Measure of Alertnessas Assessed by Psychomotor Vigilance[R].Report No FHWA2MCRT2982OO6.Federal Highway Administration.Office of MotorCarriers,1998”,或者参考文献“Laurence T,Nick M.Review of fatiguedetection and prediction technologies.http://www.nrtc.gov.au.2000-09”。作为一种优选的实施方式,申请人参考上述两篇参考文献中记载的方法的原理思想,采用下述公式统计单位时间内人眼闭合时间所占的比率f:
f = t 2 t 1 × 100 %
其中,t1为某一设定的特定时间,t2为人眼闭合的时间,f为PERCLOS值。当PERCLOS值f大于第四阈值T4时,则认为驾驶员处于疲劳状态。其中,65%≤T4≤80%,t2通过人眼开闭确定模块53统计在时间t1内属于人眼闭合状态的累积时间得到。
在本发明的一个实施例中以夜晚为场景,红外照明元件1提供的红外光的波长850nm,滤光元件3的滤光波段850nm,第一阈值T1=120,第二阈值T2=400,第四阈值T4=75%,t1=5s,并计算得到第三阈值T3、t2及f,并通过判断f是否大于第四阈值T4来判断驾驶员是否处于疲劳状态。
与现有的驾驶员疲劳检测的技术相比,本发明所提供的基于视频的驾驶员疲劳检测装置有以下优点:1)由于采用滤光元件,图像捕获元件获取的数字图像中属于人脸部分的像素点的亮度值较高,因此可以简单地提取人脸区域,减少了人脸检测算法的计算量;2)传统的判断人眼开闭的方法是利用人眼区域的高度与宽度的比值来实现的,由于实际提取的人眼区域不够精确,因此严重影响了人眼开闭状态的判断,而本发明利用瞳孔来判断人眼的开闭有效地提高了人眼开闭状态判断的准确性。
需要声明的是,上述发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用,不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理内,当可作各种修改、等同替换、或改进。本发明的保护范围以所附权利要求书为准。

Claims (11)

1.一种基于视频的驾驶员疲劳检测装置,其特征在于,所述驾驶员疲劳检测装置包括:
至少一个红外照明元件,用于向监控场景提供红外照明;
镜头,用于获取监控场景的红外光学图像信号;
滤光元件,用于对接收的监控场景的红外光学图像信号进行滤光处理,以突出监控场景的红外光学图像信号中的人脸与人眼瞳孔部分;
图像捕获元件,其位于所述镜头的后面,用于将经过滤光处理的红外光学图像信号转换为数字图像信号;和
图像处理单元,用于从获取的数字图像中提取人眼和瞳孔,并判断驾驶员是否处于疲劳状态;
其中,所述红外照明元件单独地安装在用于驾驶区域照明的区域内或者与面向驾驶区域的所述镜头相连接地安装在用于驾驶区域照明的区域内;所述滤光元件位于所述镜头前,或者位于图像捕获元件的后面、或者位于所述镜头后面且在所述图像捕获元件前。
2.根据权利要求1所述的驾驶员疲劳检测装置,其特征在于,所述红外照明元件和所述镜头可拆卸地紧密连接在一起,所述镜头、所述滤光元件和所述图像捕获元件相互之间可拆卸地紧密连接在一起。
3.根据权利要求1所述的驾驶员疲劳检测装置,其特征在于,所述红外照明元件包括至少一个红外照明装置。
4.根据权利要求1所述的驾驶员疲劳检测装置,其特征在于,所述滤光元件包括至少一个带通滤光元件和/或至少一个偏振滤光元件。
5.根据权利要求1所述的驾驶员疲劳检测装置,其特征在于,所述图像捕获元件是CCD传感器、CMOS传感器、CCD相机、CMOS相机、红外成像相机或红外热释电相机中的一种或多种。
6.根据权利要求1所述的驾驶员疲劳检测装置,其特征在于,所述图像处理单元包括:
候选人脸获取模块,用于从获取的数字图像中提取出候选人脸区域;
人眼获取模块,用于利用人眼检测方法,从接收的候选人脸区域中检测出人眼区域;
人眼开闭确定模块,用于根据人眼区域内是否存在瞳孔来确定人眼的开闭;和
驾驶员疲劳判断模块,用于根据人眼的开闭,利用PERCLOS值来判断驾驶员是否处于疲劳状态。
7.根据权利要求6所述的驾驶员疲劳检测装置,其特征在于,所述候选人脸获取模块通过以下步骤获取候选人脸区域:
步骤511:通过对获取的数字图像进行阈值分割提取出亮度值较高的像素点作为候选的人脸像素点,并获得相应的人脸阈值分割图像;
步骤512:以人脸阈值分割图像中的候选的人脸像素点为模板,在该模板上利用人脸检测方法获取候选人脸区域。
8.根据权利要求7所述的驾驶员疲劳检测装置,其特征在于,步骤511中所述阈值分割通过以下方法实现:
假设数字图像中像素点(x,y)的亮度值为I(x,y),数字图像的人脸阈值分割图像中像素点(x,y)的亮度值为I1(x,y),其中I1的初始值为I,若I(x,y)≥第一阈值T1,则标记该像素点属于候选的人脸像素点,保留人脸阈值分割图像中该像素点的亮度值I1(x,y)不变;否则标记该像素点为非候选的人脸像素点,将人脸阈值分割图像中该像素点的亮度值I1(x,y)赋予0,其中,100≤T1≤200且T1为整数。
9.根据权利要求7所述的驾驶员疲劳检测装置,其特征在于,步骤512中所述人脸检测方法为连通区域标记方法,所述连通区域标记方法包括:
首先以人脸阈值分割图像中的候选的人脸像素点为目标,对人脸阈值分割图像中所有的目标点进行连通区域标记;
然后统计标记的连通区域内候选的人脸像素点的个数,若该个数大于第二阈值T2,则标记该连通区域为候选的人脸区域,否则将该连通区域内所有点标记为非候选的人脸像素点,将该连通区域内所有点的亮度值I1(x,y)赋予0;
其中,300≤T2≤600且T2为整数。
10.根据权利要求6所述的驾驶员疲劳检测装置,其特征在于,所述人眼开闭确定模块通过以下步骤判断人眼开闭:
步骤531:从人眼区域内提取出瞳孔点,首先将人脸阈值分割图像中对应于人眼区域内的像素点的亮度值保留,将其他的像素点的亮度值赋予0;然后对该人脸阈值分割图像进行阈值分割,若I1(x,y)≥第三阈值T3,则认为该像素点属于瞳孔点,并将人眼区域内对应的像素点标记为瞳孔点;
步骤532:如果人眼区域内存在瞳孔点,则认为人眼处于睁开状态,否则认为人眼处于闭合状态。
11.根据权利要求6所述的驾驶员疲劳检测装置,其特征在于,所述驾驶员疲劳判断模块通过以下方法判断驾驶员是否处于疲劳状态:
统计单位时间内人眼闭合时间所占的比率f:
f = t 2 t 1 × 100 %
其中,t1为某一设定的特定时间,t2为人眼闭合的时间,当PERCLOS值f大于第四阈值T4时,则认为驾驶员处于疲劳状态,其中,65%≤T4≤80%。
CN 201010119431 2010-03-05 2010-03-05 基于视频的驾驶员疲劳检测装置 Pending CN101803928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010119431 CN101803928A (zh) 2010-03-05 2010-03-05 基于视频的驾驶员疲劳检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010119431 CN101803928A (zh) 2010-03-05 2010-03-05 基于视频的驾驶员疲劳检测装置

Publications (1)

Publication Number Publication Date
CN101803928A true CN101803928A (zh) 2010-08-18

Family

ID=42606005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010119431 Pending CN101803928A (zh) 2010-03-05 2010-03-05 基于视频的驾驶员疲劳检测装置

Country Status (1)

Country Link
CN (1) CN101803928A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324166A (zh) * 2011-09-19 2012-01-18 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测方法及装置
CN102657513A (zh) * 2012-04-10 2012-09-12 中国航空无线电电子研究所 一种人眼红外图像瞳孔位置检测方法
CN103077370A (zh) * 2011-08-25 2013-05-01 株式会社电装 面部图像检测设备
CN103211605A (zh) * 2013-05-14 2013-07-24 重庆大学 一种心理测试***及心理测试方法
CN103347446A (zh) * 2010-12-10 2013-10-09 Tk控股公司 用于监控车辆驾驶员的***
CN104013414A (zh) * 2014-04-30 2014-09-03 南京车锐信息科技有限公司 一种基于移动智能手机的驾驶员疲劳检测***
CN104382607A (zh) * 2014-11-26 2015-03-04 重庆科技学院 面向实车工况的驾驶人视频图像疲劳检测方法
CN105361851A (zh) * 2014-08-29 2016-03-02 阿尔卑斯电气株式会社 视线检测装置
CN105718844A (zh) * 2014-10-13 2016-06-29 由田新技股份有限公司 眨眼检测方法及装置
CN107847130A (zh) * 2015-07-17 2018-03-27 索尼公司 眼球观察装置、眼镜型终端、视线检测方法以及程序
CN109496309A (zh) * 2018-08-07 2019-03-19 深圳市汇顶科技股份有限公司 疲劳状态的检测方法、装置及设备
CN109767602A (zh) * 2019-03-14 2019-05-17 钧捷智能(深圳)有限公司 一种全天候疲劳驾驶预警***用摄像头
CN111493897A (zh) * 2020-06-01 2020-08-07 南京国科医工科技发展有限公司 一种汽车驾驶员智能健康监测及促进***
CN113302912A (zh) * 2018-12-19 2021-08-24 法雷奥舒适驾驶助手公司 用于监控驾驶员的图像捕获设备和相关***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830389A (zh) * 2006-04-21 2006-09-13 太原理工大学 疲劳驾驶状态监控装置及方法
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法
CN101599207A (zh) * 2009-05-06 2009-12-09 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测装置及汽车

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830389A (zh) * 2006-04-21 2006-09-13 太原理工大学 疲劳驾驶状态监控装置及方法
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法
CN101599207A (zh) * 2009-05-06 2009-12-09 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测装置及汽车

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347446A (zh) * 2010-12-10 2013-10-09 Tk控股公司 用于监控车辆驾驶员的***
CN103347446B (zh) * 2010-12-10 2016-10-26 Tk控股公司 用于监控车辆驾驶员的***
CN103077370A (zh) * 2011-08-25 2013-05-01 株式会社电装 面部图像检测设备
CN103077370B (zh) * 2011-08-25 2015-09-30 株式会社电装 面部图像检测设备
CN102324166A (zh) * 2011-09-19 2012-01-18 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测方法及装置
CN102657513A (zh) * 2012-04-10 2012-09-12 中国航空无线电电子研究所 一种人眼红外图像瞳孔位置检测方法
CN103211605A (zh) * 2013-05-14 2013-07-24 重庆大学 一种心理测试***及心理测试方法
CN103211605B (zh) * 2013-05-14 2015-02-18 重庆大学 一种心理测试***及心理测试方法
CN104013414A (zh) * 2014-04-30 2014-09-03 南京车锐信息科技有限公司 一种基于移动智能手机的驾驶员疲劳检测***
CN104013414B (zh) * 2014-04-30 2015-12-30 深圳佑驾创新科技有限公司 一种基于移动智能手机的驾驶员疲劳检测***
CN105361851A (zh) * 2014-08-29 2016-03-02 阿尔卑斯电气株式会社 视线检测装置
CN105718844A (zh) * 2014-10-13 2016-06-29 由田新技股份有限公司 眨眼检测方法及装置
CN105718844B (zh) * 2014-10-13 2019-11-26 由田新技股份有限公司 眨眼检测方法及装置
CN104382607B (zh) * 2014-11-26 2016-08-24 重庆科技学院 面向实车工况的驾驶人视频图像疲劳检测方法
CN104382607A (zh) * 2014-11-26 2015-03-04 重庆科技学院 面向实车工况的驾驶人视频图像疲劳检测方法
CN107847130A (zh) * 2015-07-17 2018-03-27 索尼公司 眼球观察装置、眼镜型终端、视线检测方法以及程序
CN109496309A (zh) * 2018-08-07 2019-03-19 深圳市汇顶科技股份有限公司 疲劳状态的检测方法、装置及设备
WO2020029093A1 (zh) * 2018-08-07 2020-02-13 深圳市汇顶科技股份有限公司 疲劳状态的检测方法、装置及设备
US10969864B2 (en) 2018-08-07 2021-04-06 Shenzhen GOODIX Technology Co., Ltd. Method, apparatus and device for detecting fatigue state
CN113302912A (zh) * 2018-12-19 2021-08-24 法雷奥舒适驾驶助手公司 用于监控驾驶员的图像捕获设备和相关***
US11845335B2 (en) 2018-12-19 2023-12-19 Valeo Comfort And Driving Assistance Image capture device and associated system for monitoring a driver
CN109767602A (zh) * 2019-03-14 2019-05-17 钧捷智能(深圳)有限公司 一种全天候疲劳驾驶预警***用摄像头
CN111493897A (zh) * 2020-06-01 2020-08-07 南京国科医工科技发展有限公司 一种汽车驾驶员智能健康监测及促进***

Similar Documents

Publication Publication Date Title
CN101803928A (zh) 基于视频的驾驶员疲劳检测装置
CN104091176B (zh) 人像比对在视频中的应用技术
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及***
CN102364496B (zh) 一种基于图像分析的汽车车牌自动识别方法及***
CN103646250B (zh) 基于距离图像头肩特征的行人监测方法及装置
CN106446926A (zh) 一种基于视频分析的变电站工人安全帽佩戴检测方法
CN102867417B (zh) 一种出租车防伪***及方法
CN105844245A (zh) 一种伪装人脸检测方法及***
CN102164270A (zh) 具有异常事件发掘功能的智能视频监控方法及***
CN108376246A (zh) 一种多人脸识别及跟踪***及方法
CN105243386A (zh) 人脸活体判断方法以及***
Almagambetov et al. Mobile standards-based traffic light detection in assistive devices for individuals with color-vision deficiency
CN105426828A (zh) 人脸检测方法、装置及***
CN102445453B (zh) 一种高速铁路线路护栏完整性自动检测装置及识别方法
CN109190475A (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN103914691A (zh) 基于人脸识别的目标群体分析***、方法及身高识别方法
CN110866479A (zh) 一种检测摩托车驾驶员未戴头盔的方法、装置及***
CN106331605A (zh) 一种基于视频的水灾检测装置及方法
CN102915433A (zh) 基于字符组合的车牌定位和识别方法
CN104504377A (zh) 一种公交车乘客拥挤程度识别***及方法
CN107948585A (zh) 录像标记方法、装置及计算机可读存储介质
CN102193918A (zh) 视频检索方法和装置
CN101178769B (zh) 健康保护装置及其实现方法
CN104463232A (zh) 一种基于hog特征和颜色直方图特征的密度人群计数的方法
CN104850841A (zh) 一种结合rfid与视频识别的老人异常行为监测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100818