CN103493100B - 眼睑检测装置、眼睑检测方法 - Google Patents
眼睑检测装置、眼睑检测方法 Download PDFInfo
- Publication number
- CN103493100B CN103493100B CN201180070289.9A CN201180070289A CN103493100B CN 103493100 B CN103493100 B CN 103493100B CN 201180070289 A CN201180070289 A CN 201180070289A CN 103493100 B CN103493100 B CN 103493100B
- Authority
- CN
- China
- Prior art keywords
- peak value
- eyelid
- peak
- eye
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 210000000744 eyelid Anatomy 0.000 title claims abstract description 195
- 238000001514 detection method Methods 0.000 title claims description 46
- 238000011156 evaluation Methods 0.000 claims abstract description 47
- 241000593989 Scardinius erythrophthalmus Species 0.000 claims abstract description 37
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 230000033228 biological regulation Effects 0.000 claims description 8
- 210000001508 eye Anatomy 0.000 description 81
- 210000004709 eyebrow Anatomy 0.000 description 16
- 238000012545 processing Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
依次规定两端与内眼角和外眼角一致的二次曲线,并计算出与该二次曲线重合的像素的边缘值总和,来作为评价值(S207)。接着,基于由特定直线与上述二次曲线间的交点Y坐标、计算出的评价值所构成的数据,生成特性曲线,特定直线穿过两端与内眼角和外眼角一致的线段中点(S208)。然后,在基于该特性曲线的峰值而规定出的探索区域内,根据尝试检测因红眼现象而产生的像素群的结果,来设定眼部的上眼睑及下眼睑的基准位置(S209)。因此,即使在利用拍摄装置进行拍摄时产生所谓的红眼现象等,导致在眼睑边缘的附近产生该眼睑边缘以外的边缘,也能够高精度地设定眼睑的基准位置。
Description
技术领域
本发明涉及一种眼睑检测装置、眼睑检测方法,更详细来说,涉及一种检测包含在眼部图像中的眼睑的检测装置、检测包含在眼部图像中的眼睑的眼睑检测方法。
背景技术
近年来,虽然因交通事故而死亡的人数有减少的倾向,但事故发生的案件数仍然处于很高的水平。事故的原因各种各样,打瞌睡驾驶等驾驶员在清醒度下降的状态下进行车辆的驾驶也是诱发事故的原因之一。
于是,提出了各种各样用于高精度地对驾驶员清醒度的下降进行检测的技术。(例如,参照专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2004-192552号公报
发明内容
发明要解决的问题
专利文献1公开的装置基于驾驶员脸部图像中包含的眼部在纵向上的大小、沿着上眼睑的曲线与连结该曲线的两端的线之间的距离、该曲线的曲率半径,综合地判断驾驶员的眼是否闭合。
为了基于眼部的图像,来判断驾驶员的眼是否闭合,需要根据图像准确地检测出眼睑的边缘。然而,若在拍摄时产生所谓的红眼现象,则有时在眼睑的边缘附近,也会因红眼现象而产生边缘。另外,在被拍摄者涂抹了眼影的情况下,有时构成眼部图像的像素亮度与眼部周围图像的像素亮度相同。在这种情况下,不能够准确地检测出眼睑的边缘,其结果,不能够高精度地判断驾驶员是否闭眼。
本发明是鉴于上述的情况而提出的,本发明的目的在于,基于驾驶员的眼部的图像,来高精度地判断驾驶员是否闭眼。
用于解决问题的手段
为了达成上述目的,本发明的第一技术方案的眼睑检测装置具有:
边缘值计算单元,其对构成包含有驾驶员的眼部的图像的像素进行边缘值计算;
评价值计算单元,其依次规定拟合曲线,并计算评价值,所述拟合曲线的一端与在所述图像中包含的所述眼部的内眼角一致,并且所述拟合曲线的另一端与在所述图像中包含的所述眼部的外眼角一致,所述评价值表示所述拟合曲线与所述眼部的眼睑边缘的一致程度;
特性曲线生成单元,其基于所述评价值计算单元的计算结果,生成表示所述评价值的变化的特性曲线;
判断单元,当检测出两个将所述特性曲线的极大点作为顶点的峰值时,或者当检测出两个将所述特性曲线的极小点作为顶点的峰值时,判断在所述图像上的由两个所述峰值规定的区域内,是否存在因红眼现象而产生的区域;
设定单元,其基于所述判断单元的判断结果,设定所述眼睑的基准位置。
本发明的第二技术方案的眼睑检测方法包括:
计算像素的边缘值的工序,所述像素为构成包含有驾驶员的眼部的图像的像素;
规定拟合曲线的工序,所述拟合曲线的一端与在所述图像中包含的所述眼部的内眼角一致,所述拟合曲线的另一端与在所述图像中包含的所述眼部的外眼角一致;
计算评价值的工序,所述评价值表示所述拟合曲线与所述眼部的眼睑边缘的一致程度;
生成特性曲线的工序,基于所述评价值的计算结果,生成表示所述评价值的变化的特性曲线;
判断工序,当检测出两个将所述特性曲线的极大点作为顶点的峰值时,或者当检测出两个将所述特性曲线的极小点作为顶点的峰值时,判断在所述图像上的由两个所述峰值规定的区域内,是否存在因红眼现象而产生的区域;
设定工序,基于所述判断的判断结果,设定所述眼睑的基准位置。
发明的效果
根据本发明,对以内眼角和外眼角为基准点依次规定的拟合曲线计算评价值。接着,在由表示该评价值的变化的特性曲线的峰值所规定的区域内,例如检测因红眼现象而产生的像素群。然后,在考虑该像素群的检测结果的前提下,设定眼睑的边缘的基准位置。因此,即使在拍摄时产生所谓的红眼现象等,导致在眼睑的边缘附近产生该眼睑边缘以外的边缘,也能够高精度地设定眼睑的基准位置。由此,能够高精度地判断驾驶员是否闭眼,或者能够高精度地检测出眼的开度。
附图说明
图1是第一实施方式的眼睑检测装置的框图。
图2是表示由拍摄装置拍摄的图像的图。
图3是表示由CPU执行的一连串的处理的流程图。
图4是表示脸部区域和探索区域的图。
图5A是表示水平边缘检测算子的图。
图5B是表示垂直边缘检测算子的图。
图6是表示构成上眼睑及下眼睑的边缘的像素的图。
图7是表示像素群和上眼睑探索窗口的图。
图8是表示在评价值为最大时的像素群与上眼睑探索窗口之间的位置关系的图。
图9是表示眼睑探索区域的图。
图10是表示图像与特性曲线之间的关系的图。
图11是用于说明基准位置的设定顺序的图。
图12是表示在产生红眼现象时的图像的一个例子的图。
图13是用于说明基准位置的设定顺序的图。
图14是表示探索区域的图。
图15是表示探索区域与特性曲线之间的关系的图。
图16是表示图像与特性曲线之间的关系的图。
图17是表示图像与特性曲线之间的关系的图。
图18是第二实施方式的眼睑检测装置的框图。
具体实施方式
《第一实施方式》
下面,参照附图,说明本发明的第一实施方式。图1是表示本实施方式的眼睑检测装置10的结构的概略框图。眼睑检测装置10为如下的装置:基于包含有驾驶员的脸部的图像来计算驾驶员的眼的开度。如图1所示,眼睑检测装置10具有运算装置20、拍摄装置30。
拍摄装置30为将通过拍摄拍摄对象而获取的图像转换成电信号并输出该电信号的装置。图2示出了由拍摄装置30拍摄的图像IM。参照图像IM可知,在调整了该拍摄装置30的安装角、视角,以使就座在车辆驾驶席上的驾驶员50的脸部位于视野的大致中心的情况下,安装于例如车辆的转向柱(Steeringcolumn)上或方向盘(Steering)。然后,拍摄装置30按照规定的周期拍摄驾驶员50的脸部,并向运算装置20输出与拍摄得到的图像相关的信息。
在此,为了方便说明,定义了以图像IM的左下角为原点的XY坐标系,下面,进行适当利用了XY坐标系的说明。
返回图1,运算装置20为具有CPU(CentralProcessingUnit:中央处理器)21、主存储部22、辅助存储部23、显示部24、输入部25及接口部26的计算机。
CPU21读取并执行存储在辅助存储部23内的程序。下面,针对CPU21的具体的动作进行说明。
主存储部22具有RAM(RandomAccessMemory:随机存储器)等的易失性存储器。主存储部22用来作为CPU21的工作区域。
辅助存储部23具有ROM(ReadOnlyMemory:只读存储器)、磁盘、半导体存储器等的非易失性存储器。辅助存储部23存储由CPU21所执行的程序及各种参数等。另外,依次存储与从拍摄装置30输出的图像相关的信息及包括CPU21的处理结果等的信息。
显示部24具有LCD(LiquidCrystalDisplay:液晶显示器)等的显示单元。显示部24显示CPU21的处理结果等。
输入部25具有输入键、触摸屏等的定点设备(pointingdevice)。通过输入部25输入操作员(operator)的指示,并经由***总线27通知给CPU21。
接口部26构成为包括串行接口(serialinterface)或LAN(LocalAreaNetwork:局域网)接口等。拍摄装置30经由接口部26与***总线27连接。
图3的流程图与由CPU21执行的程序的一连串处理算法相对应。下面,一边参照图3,一边针对眼睑检测装置10的动作进行说明。例如,当开启车辆的点火开关(ignitingswitch)时,执行图3的流程图示出的一连串的处理。另外,在此,设定为由拍摄装置30拍摄了图2示出的图像IM。
首先,在最初的步骤S201中,CPU21根据从拍摄装置30输出的图像IM,检测出包含有构成驾驶员脸部的眼、鼻等的脸部区域A1。
就该脸部区域A1的检测而言,首先,对图像IM进行利用了索贝尔滤波器(Sobelfilter)的图像处理,提取出图像IM所包含的边缘。接着,从提取出的边缘中,检测出表示驾驶员50脸部轮廓F的边缘。然后,从由驾驶员50脸部轮廓F包围的区域所包含的边缘中,检测出表示驾驶员50的眉毛和嘴部的边缘,来大致确定驾驶员50的眉毛和嘴部的位置。若确定了眉毛和嘴部的位置,则如图4所示,CPU21检测出X轴方向的大小与脸部轮廓大致一致并且包括驾驶员50的眉毛及嘴部的最小矩形区域,来作为脸部区域A1。
在下一个步骤S202中,CPU21规定实施眼睑检测处理的探索区域A2。虽然构成脸部的眉、目、鼻及口的位置关系多少有些个体差异,但能够以脸部的轮廓、眉毛或者眼部等的部位为基准,而能够大概进行确定。因此,在以眉毛位于上端,嘴部位于下端的方式规定的脸部区域A1中,能够在某种程度上准确地确定眼部所在的区域。于是,CPU21在脸部区域A1所包含的眉毛的图像的下方,规定将长度方向作为X轴方向的长方形的探索区域A2。
在下一个步骤S203中,CPU21对探索区域A2执行边缘检测处理。在进行边缘检测时,CPU21利用图5A示出的水平边缘检测算子(operator)和图5B示出的垂直边缘检测算子。
例如,首先,CPU21利用水平边缘检测算子,计算各像素的边缘值。在位于作为边缘值计算对象的像素上侧(+Y一侧)的像素亮度高、位于作为边缘值计算对象的像素下侧(-Y一侧)的像素亮度低的情况下,该边缘值为正(+)。在位于作为边缘值计算对象的像素上侧(+Y一侧)的像素亮度低、位于作为边缘值计算对象的像素下侧(-Y一侧)的像素亮度高的情况下,该边缘值为负(﹣)。于是,CPU21提取边缘值在第一阈值以上(规定的条件)的像素和边缘值在第二阈值以下的像素。
接着,CPU21利用垂直边缘检测算子,计算各像素的边缘值。在位于作为边缘值计算对象的像素左侧(-X一侧)的像素亮度高、位于作为边缘值计算对象的像素右侧(+X一侧)的像素亮度低的情况下,该边缘值为正(+)。在位于作为边缘值计算对象的像素左侧(-X一侧)的像素亮度低、位于作为边缘值计算对象的像素右侧(+X一侧)的像素亮度高的情况下,该边缘值为(-)。于是,CPU21提取边缘值在第一阈值以上的像素和边缘值在第二阈值以下的像素。
由此,如图6所示,提取构成眼部51、52的上眼睑及下眼睑的边缘的像素D。下面,将右眼51的上眼睑的边缘设为像素群G1,将下眼睑的边缘设为像素群G2。另外,将左眼52的上眼睑的边缘设为像素群G3,将下眼睑的边缘设为像素群G4。
在下一个步骤S204中,CPU21进行利用了上眼睑探索窗口的扫描,由此检测出上眼睑的位置。图7是表示像素群G1、G2和上眼睑探索窗口W1的图,该上眼睑探索窗口W1用于检测出由像素群G1表示的上眼睑。如图7所示,上眼睑探索窗口W1由将长度方向作为X轴方向的长方形水平边缘窗口P1、在水平边缘窗口P1的两端规定(设置)的垂直边缘窗口P2、P3。
CPU21使上眼睑探索窗口W1在探索区域A2内以例如相当于一个像素的距离为单位进行移动。同时,依次对第一边缘值加上第二边缘值减去第三边缘值的合计值进行计算,来作为评价值,其中,第一边缘值是指,与水平边缘窗口P1重合的像素D的边缘值总和,第二边缘值是指,与垂直边缘窗口P2重合的像素D的边缘值总和,第三边缘值是指,与垂直边缘窗口P3重合的像素的边缘值总和。然后,CPU21检测出评价值最大时的上眼睑探索窗口W1的位置,来作为右眼51的上眼睑的位置。
图8是表示在评价值最大时的像素群G1与上眼睑探索窗口W1之间的位置关系的图。如图8所示,在评价值为最大时,上眼睑探索窗口W1处于与像素群G1重合的状态。CPU21若检测出右眼51的上眼睑的位置,则以同样的顺序来检测出左眼52的上眼睑的位置。
在下一个步骤S205中,CPU21设定眼睑探索区域。下眼睑位于上眼睑的下方。于是,如图9所示,CPU21以构成上眼睑边缘的像素群G1为基准,设定包括上眼睑和下眼睑的眼睑探索区域A3。同样地,CPU21以像素群G3为基准,设定眼睑探索区域A4。
在下一个步骤S206中,CPU21在眼睑探索区域A3、A4内,确定眼部51、52的内眼角及外眼角的位置。具体来说,CPU21一边以例如相当于一个像素的距离为单位来移动用于探索内眼角的模板(template)TP1,一边计算模板TP1与重合于该模板TP1的部分的图像之间的相关值。然后,将相关值最大时的模板TP1的位置确定为眼部51、52的内眼角的位置。
同样地,CPU21一边使用于探索外眼角的模板TP2移动,一边计算模板TP2与重合于该模板TP2的部分的图像之间的相关值。然后,将相关值最大时的模板TP2的位置确定为眼部51、52的外眼角的位置。
在图10中,示出了位于与部分图像之间的相关值最大时的位置的模板TP1、TP2。参照图10可知,CPU21将与模板TP1、TP2的中心一致的点CP1、CP2在XY坐标系中的位置确定为眼部51、52的内眼角或外眼角的位置。
在下一个步骤S207中,如图10所示,CPU21一边依次规定两端与点CP1、CP2一致的二次曲线CV来作为拟合曲线,一边计算与该二次曲线CV重合的像素的边缘值总和来作为评价值V。同时,例如,计算直线CL与二次曲线CV间的交点位置,直线CL为穿过由点CP1和点CP2规定的线段的中点并且平行于Y轴的直线。然后,CPU21将计算出的评价值V和交点位置信息作为由评价值V和交点Y坐标PY构成的数据(PY,V),存储在辅助存储部23内。
在下一个步骤S208中,CPU21针对眼部51、52,生成由数据(PY,V)规定的特性曲线Sy。具体来说,参照图10可知,CPU21通过在将纵轴作为Y轴、将横轴作为表示评价值的轴的坐标系中,绘制由数据(PY,V)规定的点,来生成特性曲线Sy。
在下一个步骤S209中,CPU21基于在步骤S208中生成的特性曲线Sy,来设定上眼睑和下眼睑的基准位置。
上眼睑及下眼睑以向前方突出的方式弯曲,眼球处于从上眼睑与下眼睑之间露出的状态。因此,如图10中示意性地示出的那样,在图像IM中包含的上眼睑及下眼睑由亮度比较高的像素构成。另一方面,从上眼睑与下眼睑之间露出的虹膜和巩膜部分由亮度较低的像素构成。因此,在利用图5A及图5B示出的算子计算出边缘值的情况下,当二次曲线CV与直线CL间的交点Y坐标,与直线CL上的上眼睑边缘的坐标Y1一致时,用特性曲线Sy表示的评价值最大。然后,在二次曲线CV与直线CL间的交点Y坐标,与直线CL上的下眼睑边缘的坐标Y2一致时,用特性曲线Sy表示的评价值最小。
于是,如图11所示,CPU21将位于直线CL上并且Y坐标值为Y1的点SP1设定为上眼睑的基准位置。另外,将位于直线CL上并且Y坐标值为Y2的点SP2设定为下眼睑的基准位置。
如上所述,通常,特性曲线Sy具有与上眼睑的基准位置对应的峰值和与下眼睑的基准位置对应的峰值。然而,如图12的图像所示,在拍摄眼部图像时产生红眼现象的情况下,本来由亮度低的像素构成的瞳孔变为由亮度高的像素群HG(参照图13)构成。在产生红眼现象的情况下,若利用图5A及图5B示出的算子计算边缘值,则如图13所示,在像素群HG的上侧(+Y侧)的边缘值变小,在像素群HG的下侧(-Y侧)的边缘值变大。
因此,若按照上述的顺序生成特性曲线Sy,则如图13所示,正(+)侧的峰值出现在与上眼睑和眼部的边界相对应的位置、与像素群HG的下端部相对应的位置。另外,负(-)侧的峰值出现在与像素群HG的上端部相对应的位置、与眼部和下眼睑的边界相对应的位置。即,特性曲线Sy为如下的曲线:在Y坐标值为Y1、Y4的位置出现正(+)侧峰值,在Y坐标值为Y2、Y3的位置出现负(-)侧峰值。
就特性曲线Sy而言,在正(+)侧出现两个峰值的情况下,如图14所示,CPU21将由两个正(+)侧峰值规定的矩形探索区域A5规定为眼睑探索区域A3。该探索区域A5的上端Y坐标为Y1,下端Y坐标为Y4。中心位于直线CL上,在X轴方向上的大小等于Y1与Y2之差。
CPU21若规定探索区域A5,则利用例如图5B所示的垂直边缘检测算子,尝试检测探索区域A5所包含的垂直边缘。具体来说,参照图14可知,一边将垂直边缘检测算子沿着穿过探索区域A5的中心并且与X轴平行的直线HL进行移动,一边计算边缘值EV。然后,CPU21在将横轴作为X轴、将纵轴作为表示边缘值的轴的坐标系中,绘制由计算出的边缘值HV和在计算出该HV时的垂直边缘检测算子的X坐标PX规定的点(PX,EV)。由此,生成图15示出的特性曲线Sx。
若生成特性曲线Sx,则CPU21尝试检测特性曲线Sx的峰值。然后,在检测出特性曲线Sx的峰值的情况下,针对特性曲线Sy,将出现在Y坐标较大的位置上的正(+)侧峰值,作为与上眼睑的边缘相对应的峰值,设定上眼睑的基准位置。例如,如图14所示,在特性曲线Sy上,正(+)侧峰值出现在Y坐标为Y1、Y4的位置上的情况下,CPU21将位于直线CL上并且Y坐标值为Y1的点SP1设定为基准位置。
接着,CPU21针对特性曲线Sy,从负(-)侧峰值中选择出现在Y坐标最小的位置上的峰值,作为与下眼睑的边缘相对应的峰值,设定下眼睑的基准位置。例如,如图14所示,在特性曲线Sy上,负(-)侧峰值出现在Y坐标值为Y2、Y3的位置的情况下,CPU21将位于直线CL上并且Y坐标值为Y2的点SP2设定为基准位置。
CPU21针对眼睑探索区域A4也执行与上述的处理相同的处理。
另外,如图16所示,例如,即使在上眼睑上方存在表示眼影的低亮度像素群LG1,而使特性曲线Sy上出现两个正(+)侧峰值的情况下,CPU21同样也将探索区域A5规定为眼睑探索区域A3。然后,进行利用垂直边缘检测算子的运算,接着,生成特性曲线Sx。
当因存在表示眼影的低亮度像素群LG1,而使特性曲线Sy上出现两个峰值时,位于探索区域A5的像素具有相同的亮度。因此,在特性曲线Sx中不会出现峰值。首先,CPU21尝试检测出特性曲线Sx的峰值。其结果,在不能够检测出特性曲线Sx的峰值的情况下,针对特性曲线Sy,将出现在Y坐标较小的位置上的正(+)侧峰值,作为与上眼睑边缘相对应的峰值,设定上眼睑的基准位置。例如,如图16所示,在特性曲线Sy上,正(+)侧峰值出现在Y坐标为Y1、Y3的位置的情况下,CPU21将位于直线CL上并且Y坐标值为Y1的点SP1设定为上眼睑的基准位置。然后,基于与下眼睑边缘相对应的峰值,将位于直线CL上并且Y坐标值为Y2的点SP2设定为下眼睑的基准位置。
另外,如图17所示,例如,在因下眼睑下方存在表示镜框的低亮度像素群LG2,而使特性曲线Sy上出现两个负(-)侧峰值的情况下,CPU21将利用两个负(-)侧峰值而规定的探索区域A5,规定为眼睑探索区域A3。然后,进行利用垂直边缘检测算子的运算,接着,生成特性曲线Sx。
当因存在表示镜框的低亮度像素群LG2,而使特性曲线Sy上出现两个峰值时,位于探索区域A5的像素具有相同的亮度。因此,在特性曲线Sx中不会出现峰值。首先,CPU21尝试检测出特性曲线Sx的峰值。其结果,在不能够检测出特性曲线Sx的峰值的情况下,针对特性曲线Sy,将出现在Y坐标较大的位置上的负(-)侧峰值作为与下眼睑边缘相对应的峰值,设定下眼睑的基准位置。例如,如图17所示,在特性曲线Sy上,负(-)侧峰值出现在Y坐标为Y2、Y3的位置的情况下,CPU21将位于直线CL上并且Y坐标值为Y2的点SP2,设定为下眼睑的基准位置。然后,基于与上眼睑边缘相对应的峰值,将位于直线CL上并且Y坐标值为Y1的点SP1,设定为上眼睑的基准位置。
在下一个步骤S210中,例如,参照图11可知,CPU21计测作为上眼睑基准位置的点SP1与作为下眼睑基准位置的点SP2之间的距离。然后,输出该距离与规定阈值之间的比较结果,来作为开度。由此,能够将开度作为指标,进行对驾驶员50清醒度的判断。
若CPU21结束了步骤S210的处理,则返回步骤S201,此后,重复执行步骤S201~S210的处理。
如上所述,在本第一实施方式中,依次规定两端与内眼角和外眼角一致的二次曲线CV,计算与该二次曲线CV重合的像素的边缘值总和,来作为评价值V。接着,基于由直线CL与二次曲线CV间的交点Y坐标PY、与该二次曲线CV相对应的评价值V构成的数据(PY,V),生成特性曲线Sy(步骤S208)。接着,基于出现在特性曲线Sy上的峰值位置,来设定眼部51、52的上眼睑及下眼睑的基准位置(步骤S209)。
另外,当特性曲线Sy在正(+)侧具有两个峰值的情况下,在由两个峰值规定的区域中,检测因红眼现象而产生的像素群HG。具体来说,规定由两个峰值规定的探索区域A5,对该探索区域A5进行因像素群HG而出现的垂直边缘的检测处理。然后,当从探索区域A5中检测出因像素群HG而出现的垂直边缘的情况下,即在检测出出现在特性曲线Sx上的峰值的情况下,基于特性曲线Sy的正(+)侧峰值中的、出现在Y坐标值较大的位置上的峰值,设定上眼睑的基准位置(步骤S209)。
因此,即使在利用拍摄装置30进行拍摄时产生所谓的红眼现象等,导致在眼睑的边缘附近产生该眼睑边缘以外的边缘,也能够高精度地设定眼睑的基准位置。
在本实施方式中,当特性曲线Sy在正(+)侧具有两个峰值的情况下,在由两个峰值规定的区域中,检测因红眼现象而产生的像素群HG。具体来说,规定由两个峰值规定的探索区域A5,对该探索区域A5进行因像素群HG而出现的垂直边缘的检测处理。然后,当从探索区域A5中没有检测出因像素群HG而出现的垂直边缘的情况下,即在从特性曲线Sx上没有检测出峰值的情况下,基于特性曲线Sy的正(+)侧峰值中的、出现在Y坐标值较小的位置上的峰值,设定上眼睑的基准位置(步骤S209)。
因此,即使驾驶员50涂抹了眼影,导致特性曲线Sy上出现了多个用于设定眼睑基准位置的峰值,也能够高精度地设定眼睑的基准位置。
在本实施方式中,当特性曲线Sy在负(-)侧具有两个峰值的情况下,规定由两个峰值规定的探索区域A5,对该探索区域A5进行因像素群HG而出现的垂直边缘的检测处理。然后,当从探索区域A5中没有检测出因像素群HG而出现的垂直边缘的情况下,即在从特性曲线Sx上没有检测出峰值的情况下,基于特性曲线Sy的负(-)侧峰值中的、出现在Y坐标值较大的位置上的峰值,设定下眼睑的基准位置(步骤S209)。
因此,即使驾驶员50佩戴眼镜,导致特性曲线Sy上出现了多个用于设定眼睑基准位置的峰值,也能够高精度地设定眼睑的基准位置。
《第二实施方式》
接着,参照附图,说明本发明的第二实施方式。此外,针对与第一实施方式相同或者同等的结构,利用同等的附图标记,并且省略或者简略说明。
本实施方式的眼睑检测装置10A就运算装置20由硬件构成这一点而言,与第一实施方式的眼睑检测装置10不同。如图18所示,眼睑检测装置10A具有存储部20a、像素提取部20b、上眼睑位置检测部20c、眼睑探索区域设定部20d、评价值计算部20e、特性曲线生成部20f、基准位置设定部20g、及开度计算部20h。
存储部20a依次存储与从拍摄装置30输出的图像相关的信息及包括上述各部20b~20f的处理结果等的信息。
像素提取部20b对图像IM执行利用了索贝尔滤波器的图像处理,提取出图像IM所包含的边缘。接着,从提取出的边缘中,检测出表示驾驶员50脸部轮廓F的边缘。接着,从由驾驶员50脸部轮廓F包围的区域所包含的边缘中,检测出表示驾驶员50的眉毛和嘴部的边缘,大致确定驾驶员50的眉毛和嘴部的位置。若确定了眉毛和嘴部的位置,则如图4所示,像素提取部20b检测出X轴方向的大小与脸部轮廓大致一致并且包括驾驶员50的眉毛及嘴部的最小矩形区域,来作为脸部区域A1。
虽然构成脸部的眉、目、鼻及口的位置多少有些个体差异,但能够以脸部的轮廓、眉毛或者眼部等的某一个部位等为基准,而能够大概进行确定。因此,在以眉毛位于上端,嘴部位于下端的方式规定的脸部区域A1中,能够在某种程度上准确地确定眼部所在的区域。于是,像素提取部20b在脸部区域A1所包含的眉毛的图像的下方,规定将长度方向作为X轴方向的长方形的探索区域A2。
接着,像素提取部20b对探索区域A2执行边缘检测处理。在进行边缘检测时,利用图5A示出的水平边缘检测算子和图5B示出的垂直边缘检测算子。如图6所示,通过该边缘检测处理,提取构成眼部51、52的上眼睑及下眼睑的边缘的像素D。下面,将右眼51的上眼睑的边缘设为像素群G1,将下眼睑的边缘设为像素群G2。另外,将左眼52的上眼睑的边缘设为像素群G3,将下眼睑的边缘设为像素群G4。
上眼睑位置检测部20c进行利用了上眼睑探索窗口W1的扫描,由此检测出上眼睑的位置。具体来说,上眼睑位置检测部20c使上眼睑探索窗口W1在探索区域A2内以例如相当于一个像素的距离为单位进行移动。同时,依次对第一边缘值加上第二边缘值减去第三边缘值的值的合计值进行计算,来作为评价值,其中,第一边缘值是指,与水平边缘窗口P1重合的像素D的边缘值总和,第二边缘值是指,与垂直边缘窗口P2重合的像素D的边缘值总和,第三边缘值是指,与垂直边缘窗口P3重合的像素的边缘值总和。然后,上眼睑位置检测部20c检测出评价值最大时的上眼睑探索窗口W1的位置,来作为右眼51的上眼睑的位置。另外,以同样的顺序来检测出左眼52的上眼睑的位置。
眼睑探索区域设定部20d设定眼睑探索区域。下眼睑位于上眼睑的下方。于是,如图9所示,眼睑探索区域设定部20d以构成上眼睑边缘的像素群G1为基准,设定包括上眼睑和下眼睑的眼睑探索区域A3。同样地,眼睑探索区域设定部20d以像素群G3为基准,设定眼睑探索区域A4。
评价值计算部20e一边以例如相当于一个像素的距离为单位来移动用于探索内眼角的模板TP1,一边计算模板TP1和与重合于该模板TP1的部分的图像之间的相关值。然后,将相关值最大时的模板TP1的位置确定为眼部51、52的内眼角的位置。同样地,评价值计算部20e利用用于探索外眼角的模板TP2,来确定眼部51、52的外眼角的位置。
接着,如图10所示,评价值计算部20e一边依次规定两端与点CP1、CP2一致的二次曲线CV来作为拟合曲线,一边计算与该二次曲线CV重合的像素的边缘值总和来作为评价值V。同时,计算直线CL与二次曲线CV间的交点位置。然后,评价值计算部20e将评价值V和交点位置信息作为数据(PY,V)存储在存储部20a内。
参照图10可知,特性曲线生成部20f通过在将纵轴作为Y轴、将横轴作为表示评价值的轴的坐标系中,绘制由数据(PY,V)规定的点,来生成特性曲线Sy。
基准位置设定部20g基于特性曲线Sy,设定上眼睑和下眼睑的基准位置。具体来说,如图11所示,基准位置设定部20g将位于直线CL上并且Y坐标值为Y1的点SP1,设定为上眼睑的基准位置。另外,将位于直线CL上并且Y坐标值为Y2的点SP2,设定为下眼睑的基准位置。
通常,特性曲线Sy具有与上眼睑的基准位置对应的峰值和与下眼睑的基准位置对应的峰值。然而,如图12的图像所示,在拍摄眼部图像时产生红眼现象的情况下,本来由亮度低的像素构成的瞳孔变为由亮度高的像素群HG(参照图13)构成。在产生红眼现象的情况下,若利用图5A及图5B示出的算子计算边缘值,则如图13所示,在像素群HG的上侧(+Y侧)的边缘值变小,在像素群HG的下侧(-Y侧)的边缘值变大。在该情况下,特性曲线Sy为如下的曲线:在Y坐标值为Y1,Y4的位置出现正(+)侧峰值,在Y坐标值为Y2、Y3的位置出现负(-)侧峰值。
在这种情况下,如图14所示,基准位置设定部20g将由两个正(+)侧峰值规定的矩形探索区域A5规定为眼睑探索区域A3。接着,基准位置设定部20g利用如图5B示出的垂直边缘检测算子,尝试检测出探索区域A5所包含的垂直边缘。具体来说,参照图14可知,一边将垂直边缘检测算子沿着穿过探索区域A5的中心并且与X轴平行的直线HL移动,一边计算边缘值EV。然后,基准位置设定部20g在将横轴作为X轴、将纵轴作为表示边缘值的轴的坐标系中,绘制由计算出的边缘值HV和在计算出该HV时的垂直边缘检测算子的X坐标PX规定的点(PX,EV)。由此,生成图15示出的特性曲线Sx。
若生成特性曲线Sx,则基准位置设定部20g尝试检测出特性曲线Sx的峰值。然后,在检测出特性曲线Sx的峰值的情况下,针对特性曲线Sy,将出现在Y坐标较大的位置上的正(+)侧峰值,作为与上眼睑的边缘相对应的峰值,设定上眼睑的基准位置。例如,如图14所示,在特性曲线Sy上,正(+)侧峰值出现在Y坐标为Y1、Y4的位置上的情况下,基准位置设定部20g将位于直线CL上并且Y坐标值为Y1的点SP1设定为基准位置。
接着,基准位置设定部20g针对特性曲线Sy,从负(-)侧峰值中选择出现在Y坐标最小的位置上的峰值,作为与下眼睑的边缘相对应的峰值,设定下眼睑的基准位置。例如,如图14所示,在特性曲线Sy上,负(-)侧峰值出现在Y坐标值为Y2、Y3的位置的情况下,基准位置设定部20g将位于直线CL上并且Y坐标值为Y2的点SP2设定为基准位置。
基准位置设定部20g针对眼睑探索区域A4也执行与上述的处理相同的处理。
另外,如图16所示,例如,即使在上眼睑上方存在表示眼影的低亮度像素群LG1,而使特性曲线Sy上出现两个正(+)侧峰值的情况下,基准位置设定部20g也将探索区域A5规定为眼睑探索区域A3。然后,进行利用垂直边缘检测算子的运算,接着,生成特性曲线Sx。
接着,基准位置设定部20g尝试检测出特性曲线Sx的峰值。其结果,在不能够检测出特性曲线Sx的峰值的情况下,针对特性曲线Sy,将出现在Y坐标较小的位置上的正(+)侧峰值,作为与上眼睑边缘相对应的峰值,设定上眼睑的基准位置。例如,如图16所示,在特性曲线Sy上,正(+)侧峰值出现在Y坐标为Y1、Y3的位置的情况下,基准位置设定部20g将位于直线CL上并且Y坐标值为Y1的点SP1设定为上眼睑的基准位置。然后,基于与下眼睑边缘相对应的峰值,将位于直线CL上并且Y坐标值为Y2的点SP2设定为下眼睑的基准位置。
另外,如图17所示,例如,在因下眼睑下方存在表示镜框的低亮度像素群LG2,而使特性曲线Sy上出现两个负(-)侧峰值的情况下,基准位置设定部20g将利用两个负(-)侧峰值而规定的探索区域A5,规定为眼睑探索区域A3。然后,进行利用垂直边缘检测算子的运算,接着,生成特性曲线Sx。
接着,首先,基准位置设定部20g尝试检测出特性曲线Sx的峰值。其结果,在不能够检测出特性曲线Sx的峰值的情况下,针对特性曲线Sy,将出现在Y坐标较大的位置上的负(-)侧峰值作为与下眼睑边缘相对应的峰值,设定下眼睑的基准位置。例如,如图17所示,在特性曲线Sy上,负(-)侧峰值出现在Y坐标为Y2、Y3的位置的情况下,基准位置设定部20g将位于直线CL上并且Y坐标值为Y2的点SP2,设定为下眼睑的基准位置。然后,基于与上眼睑边缘相对应的峰值,将位于直线CL上并且Y坐标值为Y1的点SP1,设定为上眼睑的基准位置。
例如,参照图11可知,开度计算部20h计测作为上眼睑基准位置的点SP1与作为下眼睑基准位置的点SP2之间的距离。然后,输出该距离与规定阈值之间的比较结果,来作为开度。由此,能够将开度作为指标,进行对驾驶员50清醒度的判断。
如上所述,在本第二实施方式中,依次规定两端与内眼角和外眼角一致的二次曲线CV,计算与该二次曲线CV重合的像素的边缘值总和,来作为评价值V。接着,基于由直线CL与二次曲线CV间的交点Y坐标PY、与该二次曲线CV相对应的评价值V构成的数据(PY,V),生成特性曲线Sy。然后,基于出现在特性曲线Sy上的峰值位置,来设定眼部51、52的上眼睑及下眼睑的基准位置。
另外,当特性曲线Sy在正(+)侧具有两个峰值的情况下,在由两个峰值规定的探索区域A5中,检测因红眼现象而出现的垂直边缘。然后,在从探索区域A5中检测出垂直边缘的情况下,基于特性曲线Sy的峰值中的、在Y坐标值较大的位置上出现的峰值,设定上眼睑的基准位置。
因此,即使在利用拍摄装置30进行拍摄时产生所谓的红眼现象等,导致在眼睑的边缘附近产生该眼睑边缘以外的边缘,也能够高精度地设定眼睑的基准位置。
在本实施方式中,当特性曲线Sy在正(+)侧具有两个峰值的情况下,在由两个峰值规定的探索区域A5中,检测因红眼现象而出现的垂直边缘。然后,当从探索区域A5中没有检测出因像素群HG而出现的垂直边缘的情况下,基于特性曲线Sy的峰值中的、出现在Y坐标值较小的位置上的峰值,设定上眼睑的基准位置。
因此,即使驾驶员50涂抹了眼影,导致特性曲线Sy上出现了多个用于设定眼睑基准位置的峰值,也能够高精度地设定眼睑的基准位置。
在本实施方式中,当特性曲线Sy在负(-)侧具有两个峰值的情况下,在由两个峰值规定的探索区域A5中,进行垂直边缘的检测处理。然后,当从探索区域A5中没有检测出垂直边缘的情况下,基于特性曲线Sy的负(-)侧峰值中的、出现在Y坐标值较大的位置上的峰值,设定下眼睑的基准位置。
因此,即使驾驶员50佩戴眼镜,导致特性曲线Sy上出现了多个用于设定眼睑基准位置的峰值,也能够高精度地设定眼睑的基准位置。
以上,针对本发明的实施方式进行了说明,但本发明不限于上述实施方式。
例如,在上述实施方式中,特性曲线Sy在正(+)侧具有两个峰值的情况下,通过对由这两个峰值规定的探索区域A5执行垂直边缘的检测处理,来尝试检测出因红眼现象而产生的像素群HG。但不限于此,可以从探索区域A5中提取出由红眼现象引起的亮度变大的像素,基于像素的提取结果,来尝试检测出存在于探索区域A5内的像素群HG。在该情况下,能够从探索区域A5中提取出亮度在阈值以上的像素,当由提取出的像素所规定的区域在规定的基准值以上时,判断为存在像素群HG。
在上述实施方式中,如图14所示,针对基于特性曲线Sy的正(+)侧的峰值,来规定探索区域A5的情况进行了说明。但不限于此,还可以基于特性曲线Sy的负(-)侧的峰值,来规定探索区域A5。就该情况下的探索区域A5而言,上端的Y坐标为Y3,下端的Y坐标为Y2。因此,在从探索区域A5中检测出像素群HG的情况下,将位于直线CL上并且将Y坐标作为Y2的点,设定为下眼睑的基准位置。然后,将位于CL上并且与特性曲线Sy的峰值中的Y坐标值最大的峰值相对应的点,设定为上眼睑的基准位置。
在上述实施方式中,计算出具有与上眼睑基准位置对应的峰值和与下眼睑基准位置对应的峰值的特性曲线Sy,并基于该特性曲线Sy,设定了各基准位置。但不限于此,可以分别独立地执行上眼睑基准位置的设定和下眼睑基准位置的设定。
在上述实施方式中,依次规定二次曲线CV,基于与该二次曲线重合的像素的边缘值,来计算评价值。但不限于此,可以规定三阶以上的曲线来作为拟合曲线,并基于与该拟合曲线重合的像素的边缘值,计算评价值。另外,可以依次规定与眼睑的边缘相似的曲线,并基于与该曲线重合的像素的边缘值,计算评价值。
在上述实施方式中,基于直线CL与二次曲线CV间的交点Y坐标、与该二次曲线CV相对应的评价值V,来生成特性曲线,其中,直线CL穿过由点CP1、CP2规定的线段的中点。但不限于此,可以基于位于点CP1、CP2之间的任意直线与二次曲线CV间的交点Y坐标、与该二次曲线CV对应的评价值,来生成特性曲线。
在上述实施方式中,将边缘值的总和作为了评价值。但不限于此,例如,可以考虑像素位置和边缘值双方来计算评价值。除此以外,还能够利用各种指标来作为评价值。
上述实施方式的运算装置20的功能既能够通过专用的硬件也能够通过通常的计算机***来实现。
在上述第一实施方式中,存储在运算装置20的辅助存储部23的程序可以保存在软盘、CD-ROM(CompactDiskRead-OnlyMemory:只读光盘)、DVD(DigitalVersatileDisk:数字多功能光盘)、MO(Magneto-Opticaldisk:磁光盘)等的计算机能够读取的记录介质进行分发,通过将该程序安装到计算机上,来构成执行上述的处理的装置。
另外,还可以将程序保存在互联网等通信网络上的规定服务器装置所具有的磁盘设备等内,例如,使程序加载在载波上,下载到计算机等。
另外,可以一边经由通信网络传送程序,一边执行起动。
另外,可以使程序的全部或一部分在服务器装置上执行,一边经由通信网络发送/接收与所执行的处理相关的信息,一边执行上述的图像处理。
此外,在OS(OperatingSystem:操作***)分担实现上述功能的情况下或利用OS与应用程序的共同作用来实现上述功能的情况下等,可以仅将OS以外的部分保存在介质内进行分发,另外,也可以下载到计算机等。
此外,本发明在不脱离本发明的广义的精神和范围的前提下能够进行各种各样的实施方式及变形。另外,上述的实施方式用于说明本发明,但不限定本发明的范围。
工业上的可利用性
本发明的眼睑检测装置、眼睑检测方法及程序适合用于检测眼睑的基准位置。
附图标记说明
10、10A眼睑检测装置,
20运算装置,
20a存储部,
20b像素提取部,
20c上眼睑位置检测部,
20d眼睑探索区域设定部,
20e评价值计算部,
20f特性曲线生成部,
20g基准位置设定部,
20h开度计算部,
21CPU,
22主存储部,
23辅助存储部,
24显示部,
25输入部,
26接口部,
27***总线,
30拍摄装置,
50驾驶员,
51右眼,
52左眼,
A1脸部区域,
A2探索区域,
A3、A4眼睑探索区域,
A5探索区域,
CV二次曲线,
CP1、CP2点,
D像素,
F轮廓,
G1~G4、HG像素群,
HG像素群,
LG1、LG2低亮度像素群,
IM图像,
P1水平边缘窗口,
P2、P3垂直边缘窗口,
Sx、Sy特性曲线,
SP1、SP2点,
TP1、TP2模板,
W1上眼睑探索窗口,
CL、HL直线。
Claims (16)
1.一种眼睑检测装置,其特征在于,具有:
边缘值计算单元,其对构成包含有驾驶员的眼部的图像的像素进行边缘值计算;
评价值计算单元,其依次规定拟合曲线,并计算评价值,所述拟合曲线的一端与在所述图像中包含的所述眼部的内眼角一致,并且所述拟合曲线的另一端与在所述图像中包含的所述眼部的外眼角一致,所述评价值表示所述拟合曲线与所述眼部的眼睑边缘的一致程度;
特性曲线生成单元,其基于所述评价值计算单元的计算结果,生成表示所述评价值随穿过由内眼角与外眼角规定的线段的中点且平行于纵轴的直线与拟合曲线相交的交点的Y轴坐标值而变化的特性曲线;
判断单元,当检测出两个将所述特性曲线的极大点作为顶点的峰值时,或者当检测出两个将所述特性曲线的极小点作为顶点的峰值时,判断在所述图像上的由两个所述峰值规定的区域内,是否存在因红眼现象而产生的区域;
设定单元,其基于所述判断单元的判断结果,设定所述眼睑的基准位置。
2.如权利要求1所述的眼睑检测装置,其特征在于,
所述判断单元在所述图像上的由所述峰值规定的区域内,执行用于检测垂直边缘的处理,
在检测出所述垂直边缘的情况下,判断为存在因所述红眼现象而产生的区域。
3.如权利要求1所述的眼睑检测装置,其特征在于,所述判断单元基于所述图像上的由所述峰值规定的区域所包含的像素的亮度信息,来判断是否存在因所述红眼现象而产生的区域。
4.如权利要求1~3中任一项所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的上眼睑相对应的峰值,
在利用所述判断单元判断为存在因所述红眼现象而产生的区域的情况下,所述设定单元将所述图像上的与两个所述峰值中的位于高位置的峰值相对应的点,设定为上眼睑的基准位置。
5.如权利要求1~3中任一项所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的上眼睑相对应的峰值,
在利用所述判断单元判断为不存在因所述红眼现象而产生的区域的情况下,所述设定单元将所述图像上的与两个所述峰值中的位于低位置的峰值相对应的点,设定为上眼睑的基准位置。
6.如权利要求4所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的上眼睑相对应的峰值,
在利用所述判断单元判断为不存在因所述红眼现象而产生的区域的情况下,所述设定单元将所述图像上的与两个所述峰值中的位于低位置的峰值相对应的点,设定为上眼睑的基准位置。
7.如权利要求1~3中任一项所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的下眼睑相对应的峰值,
在利用所述判断单元判断为存在因所述红眼现象而产生的区域的情况下,所述设定单元将所述图像上的与两个所述峰值中的位于低位置的峰值相对应的点,设定为下眼睑的基准位置。
8.如权利要求1~3中任一项所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的下眼睑对应的峰值,
在利用所述判断单元判断为不存在因所述红眼现象而产生的区域的情况下,所述设定单元将所述图像上的与两个所述峰值中的位于高位置的峰值相对应的点,设定为下眼睑的基准位置。
9.如权利要求7所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的下眼睑对应的峰值,
在利用所述判断单元判断为不存在因所述红眼现象而产生的区域的情况下,所述设定单元将所述图像上的与两个所述峰值中的位于高位置的峰值相对应的点,设定为下眼睑的基准位置。
10.如权利要求1~3中任一项所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的下眼睑相对应的峰值,
在利用所述判断单元判断为存在因所述红眼现象而产生的区域,而且还检测出两个与所述驾驶员的上眼睑相对应的峰值的情况下,所述设定单元将所述图像上的与位于高位置的峰值相对应的点,设定为上眼睑的基准位置,所述位于高位置的峰值是指,在与所述驾驶员的上眼睑相对应的两个峰值中位于高位置的峰值。
11.如权利要求1~3中任一项所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的下眼睑相对应的峰值,
在利用所述判断单元判断为不存在因所述红眼现象而产生的区域,而且还检测出两个与所述驾驶员的上眼睑相对应的峰值的情况下,所述设定单元将所述图像上的与位于低位置的峰值相对应的点,设定为上眼睑的基准位置,所述位于低位置的峰值是指,在与所述驾驶员的上眼睑相对应的两个峰值中位于低位置的峰值。
12.如权利要求10所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的下眼睑相对应的峰值,
在利用所述判断单元判断为不存在因所述红眼现象而产生的区域,而且还检测出两个与所述驾驶员的上眼睑相对应的峰值的情况下,所述设定单元将所述图像上的与位于低位置的峰值相对应的点,设定为上眼睑的基准位置,所述位于低位置的峰值是指,在与所述驾驶员的上眼睑相对应的两个峰值中位于低位置的峰值。
13.如权利要求1~3中任一项所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的上眼睑相对应的峰值,
在利用所述判断单元判断为存在因所述红眼现象而产生的区域,而且还检测出两个与所述驾驶员的下眼睑相对应的峰值的情况下,所述设定单元将所述图像上的与位于低位置的峰值相对应的点,设定为下眼睑的基准位置,所述位于低位置的峰值是指,在与所述驾驶员的下眼睑相对应的两个峰值中位于低位置的峰值。
14.如权利要求1~3中任一项所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的上眼睑相对应的峰值,
在利用所述判断单元判断为不存在因所述红眼现象而产生的区域,而且还检测出两个与所述驾驶员的下眼睑相对应的峰值的情况下,所述设定单元将所述图像上的与位于高位置的峰值相对应的点,设定为下眼睑的基准位置,所述位于高位置的峰值是指,在与所述驾驶员的下眼睑相对应的两个峰值中位于高位置的峰值。
15.如权利要求13所述的眼睑检测装置,其特征在于,
两个所述峰值为与所述驾驶员的上眼睑相对应的峰值,
在利用所述判断单元判断为不存在因所述红眼现象而产生的区域,而且还检测出两个与所述驾驶员的下眼睑相对应的峰值的情况下,所述设定单元将所述图像上的与位于高位置的峰值相对应的点,设定为下眼睑的基准位置,所述位于高位置的峰值是指,在与所述驾驶员的下眼睑相对应的两个峰值中位于高位置的峰值。
16.一种眼睑检测方法,其特征在于,包括:
计算像素的边缘值的工序,所述像素为构成包含有驾驶员的眼部的图像的像素;
规定拟合曲线的工序,所述拟合曲线的一端与在所述图像中包含的所述眼部的内眼角一致,所述拟合曲线的另一端与在所述图像中包含的所述眼部的外眼角一致;
计算评价值的工序,所述评价值表示所述拟合曲线与所述眼部的眼睑边缘的一致程度;
生成特性曲线的工序,基于所述评价值的计算结果,生成表示所述评价值随穿过由内眼角与外眼角规定的线段的中点且平行于纵轴的直线与拟合曲线相交的交点的Y轴坐标值而变化的特性曲线;
判断工序,当检测出两个将所述特性曲线的极大点作为顶点的峰值时,或者当检测出两个将所述特性曲线的极小点作为顶点的峰值时,判断在所述图像上的由两个所述峰值规定的区域内,是否存在因红眼现象而产生的区域;
设定工序,基于所述判断的判断结果,设定所述眼睑的基准位置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2011/059663 WO2012144020A1 (ja) | 2011-04-19 | 2011-04-19 | 瞼検出装置、瞼検出方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103493100A CN103493100A (zh) | 2014-01-01 |
CN103493100B true CN103493100B (zh) | 2016-04-06 |
Family
ID=47041170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180070289.9A Expired - Fee Related CN103493100B (zh) | 2011-04-19 | 2011-04-19 | 眼睑检测装置、眼睑检测方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9020199B2 (zh) |
EP (1) | EP2701122B1 (zh) |
JP (1) | JP5728080B2 (zh) |
CN (1) | CN103493100B (zh) |
WO (1) | WO2012144020A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105809085B (zh) * | 2014-12-29 | 2019-07-26 | 深圳Tcl数字技术有限公司 | 人眼定位方法及装置 |
AU2016310452B2 (en) * | 2015-08-21 | 2021-04-22 | Magic Leap, Inc. | Eyelid shape estimation |
US10146997B2 (en) | 2015-08-21 | 2018-12-04 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
AU2016340222B2 (en) | 2015-10-16 | 2021-07-01 | Magic Leap, Inc. | Eye pose identification using eye features |
DE112017005233B4 (de) | 2017-01-17 | 2021-08-26 | Mitsubishi Electric Corporation | Augenliderkennungsvorrichtung, Schläfrigkeitsbestimmungsvorrichtung und Augenliderkennungsverfahren |
US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
US11430264B2 (en) * | 2018-07-16 | 2022-08-30 | Honor Device Co., Ltd. | Eye open or closed state detection method and electronic device |
US11877800B2 (en) * | 2018-07-27 | 2024-01-23 | Kaohsiung Medical University | Method and system for detecting blepharoptosis |
TWI697847B (zh) * | 2019-02-18 | 2020-07-01 | 奇美車電股份有限公司 | 閉眼偵測方法、電子裝置與電腦程式產品 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101593425A (zh) * | 2009-05-06 | 2009-12-02 | 深圳市汉华安道科技有限责任公司 | 一种基于机器视觉的疲劳驾驶监控方法及*** |
CN101692980A (zh) * | 2009-10-30 | 2010-04-14 | 吴泽俊 | 疲劳驾驶检测方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000137792A (ja) * | 1998-10-30 | 2000-05-16 | Toyota Motor Corp | 眼部検出装置 |
AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
JP3540290B2 (ja) | 2001-05-31 | 2004-07-07 | 株式会社Kptec | 食品加熱容器 |
JP2004192552A (ja) | 2002-12-13 | 2004-07-08 | Nissan Motor Co Ltd | 開閉眼判定装置 |
US7682026B2 (en) * | 2006-08-22 | 2010-03-23 | Southwest Research Institute | Eye location and gaze detection system and method |
JP4331197B2 (ja) | 2006-11-06 | 2009-09-16 | トヨタ自動車株式会社 | 眼開度検出装置及び方法 |
JP4895797B2 (ja) * | 2006-12-26 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
JP4840146B2 (ja) | 2007-01-09 | 2011-12-21 | 株式会社デンソー | 眠気検知装置 |
JP4793269B2 (ja) | 2007-01-09 | 2011-10-12 | 株式会社デンソー | 眠気検知装置 |
JP4309926B2 (ja) | 2007-03-13 | 2009-08-05 | アイシン精機株式会社 | 顔特徴点検出装置、顔特徴点検出方法及びプログラム |
EP2237237B1 (en) * | 2009-03-30 | 2013-03-20 | Tobii Technology AB | Eye closure detection using structured illumination |
JP5221436B2 (ja) * | 2009-04-02 | 2013-06-26 | トヨタ自動車株式会社 | 顔特徴点検出装置及びプログラム |
JP5180997B2 (ja) * | 2010-07-14 | 2013-04-10 | 株式会社豊田中央研究所 | まぶた検出装置及びプログラム |
JP4893863B1 (ja) * | 2011-03-11 | 2012-03-07 | オムロン株式会社 | 画像処理装置、および画像処理方法 |
JP4893862B1 (ja) * | 2011-03-11 | 2012-03-07 | オムロン株式会社 | 画像処理装置、および画像処理方法 |
-
2011
- 2011-04-19 WO PCT/JP2011/059663 patent/WO2012144020A1/ja active Application Filing
- 2011-04-19 US US14/112,461 patent/US9020199B2/en active Active
- 2011-04-19 CN CN201180070289.9A patent/CN103493100B/zh not_active Expired - Fee Related
- 2011-04-19 EP EP11863731.3A patent/EP2701122B1/en active Active
- 2011-04-19 JP JP2013510770A patent/JP5728080B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101593425A (zh) * | 2009-05-06 | 2009-12-02 | 深圳市汉华安道科技有限责任公司 | 一种基于机器视觉的疲劳驾驶监控方法及*** |
CN101692980A (zh) * | 2009-10-30 | 2010-04-14 | 吴泽俊 | 疲劳驾驶检测方法 |
Non-Patent Citations (1)
Title |
---|
眼部疲劳状态检测算法的研究与实现;沈永增等;《计算机应用与软件》;20110331;第28卷(第3期);106-109,118 * |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012144020A1 (ja) | 2014-07-28 |
WO2012144020A1 (ja) | 2012-10-26 |
US20140161317A1 (en) | 2014-06-12 |
EP2701122A4 (en) | 2016-03-16 |
JP5728080B2 (ja) | 2015-06-03 |
EP2701122A1 (en) | 2014-02-26 |
US9020199B2 (en) | 2015-04-28 |
CN103493100A (zh) | 2014-01-01 |
EP2701122B1 (en) | 2020-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103493100B (zh) | 眼睑检测装置、眼睑检测方法 | |
CN103493097B (zh) | 眼睑检测装置、眼睑检测方法 | |
JP5787024B2 (ja) | 立体物検出装置 | |
JP5482737B2 (ja) | 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム | |
US20210117704A1 (en) | Obstacle detection method, intelligent driving control method, electronic device, and non-transitory computer-readable storage medium | |
JP4416039B2 (ja) | 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム | |
CN112384127B (zh) | 眼睑下垂检测方法及*** | |
WO2014033936A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6753134B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム | |
CN112560584A (zh) | 一种人脸检测方法及装置、存储介质、终端 | |
CN103679121A (zh) | 采用视差图像检测路边的方法及*** | |
CN110458857B (zh) | 中心对称图元检测方法、装置、电子设备及可读存储介质 | |
CN112446830A (zh) | 一种图像色边的处理方法、装置、存储介质及电子设备 | |
CN108090425B (zh) | 一种车道线检测方法、装置及终端 | |
CN104252707B (zh) | 对象检测方法和装置 | |
JP5871069B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP6883199B2 (ja) | 画像処理装置、画像読み取り装置、および、プログラム | |
JP5035139B2 (ja) | 眼画像処理装置 | |
JP5999183B2 (ja) | 立体物検出装置および立体物検出方法 | |
US20230191998A1 (en) | Method for displaying a virtual view of the area surrounding a vehicle, computer program, control unit, and vehicle | |
JP7459151B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
WO2023017723A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
US20240177316A1 (en) | Method for segmenting roads in images, electronic device, and storage medium | |
CN117496472A (zh) | 一种车道边界确定方法、装置、设备及存储介质 | |
CN112580464A (zh) | 一种上眼睑遮挡虹膜的判断方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160406 |
|
CF01 | Termination of patent right due to non-payment of annual fee |