CN101523411B - 眼开度检测***及眼开度检测方法 - Google Patents

眼开度检测***及眼开度检测方法 Download PDF

Info

Publication number
CN101523411B
CN101523411B CN200780036658.6A CN200780036658A CN101523411B CN 101523411 B CN101523411 B CN 101523411B CN 200780036658 A CN200780036658 A CN 200780036658A CN 101523411 B CN101523411 B CN 101523411B
Authority
CN
China
Prior art keywords
upper eyelid
detected object
eye
imaging device
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200780036658.6A
Other languages
English (en)
Other versions
CN101523411A (zh
Inventor
大上健一
蜷川勇二
高桥健太郎
小岛真一
足立淳
铃木智晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Motor Corp filed Critical Aisin Seiki Co Ltd
Publication of CN101523411A publication Critical patent/CN101523411A/zh
Application granted granted Critical
Publication of CN101523411B publication Critical patent/CN101523411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Hospice & Palliative Care (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Geometry (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种眼开度检测***，包括成像装置(120)，其用于捕获被检测对象的脸部的图像；边缘提取装置，其用于提取获得的图像的边缘；以及上下眼睑检测装置，其用于根据提取到的边缘来检测被检测对象的上下眼睑，并且眼开度检测***参照检测到的上下眼睑之间的距离来检测被检测对象的眼开度，其特征在于，上下眼睑检测装置检测上眼睑并且参照检测到的上眼睑来检测下眼睑。

Description

眼开度检测***及眼开度检测方法
技术领域
本发明涉及一种用于检测被检测对象的眼开度的眼开度检测***及其方法。
背景技术
专利号为3383594的日本专利中描述的眼开度检测***使用用于检测对象的下眼睑的上边缘然后检测对象的上眼睑的下边缘的技术。专利号为3383594的日本专利中描述的***首先从获得用于虹膜边缘点检测的阈值的范围到下方向扫描测量线上的像素，并且检测作为密度超过用于虹膜边缘点检测的阈值的像素位置的下眼睑的上边缘。同样，***从瞳孔的上边缘到其上侧扫描测量线上的像素，并且检测作为密度超过用于虹膜边缘点检测的阈值的像素位置的上眼睑的下边缘。这里，基于通过从瞳孔的下边缘到下方向扫描而检测到的密度的最大值来设定用于虹膜边缘点检测的阈值。
尽管被检测对象的眼开度检测需要检测上下眼睑，但是下眼睑与上眼睑相比具有较少的形状特征，因此较难检测下眼睑。专利号为3383594的日本专利中描述的发明首先检测下眼睑然后检测上眼睑，因此其可能导致下眼睑的错误检测以及眼开度的检测精确度的恶化。
发明内容
本发明提供一种适当地防止下眼睑的错误检测并且精确地检测眼开度的眼开度检测***及其方法。
本发明的第一方案涉及一种眼开度检测***，其包括：成像装置，其用于捕获被检测对象的脸部的图像；边缘提取装置，其用于提取捕获到的图像的边缘；以及上下眼睑检测装置，其用于根据提取到的边缘来检测被检测对象的上下眼睑，并且该眼开度检测***参照检测到的上眼睑与下眼睑之间的距离来检测被检测对象的眼开度，其中，上下眼睑检测装置检测上眼睑，然后参照检测到的上眼睑来检测下眼睑。
根据第一方案，本发明集中在如下事实：与检测在眼睛的开闭中均具有线状的下眼睑相比，检测在眼睛睁开的过程中具有弧状的上眼睑时能够获得更好的检测率。因此，本发明适当地防止了下眼睑的错误检测，并且通过参照已经检测到的上眼睑来检测下眼睑而精确地检测眼开度。
成像装置可以被布置于在垂直方向上比被检测对象的眼部低的位置。
利用以上构造，当成像装置从下方捕获被检测对象的图像时，能够比检测下眼睑更明显地来检测上眼睑。因此，能够提高上眼睑的检测精确度。还能够参照已经精确检测到的上眼睑来提高下眼睑的检测精确度。
被检测对象可以为车辆的驾驶员，并且成像装置可以被布置于在垂直方向上比布置在驾驶员的座椅上的头枕低的位置。利用以上构造，成像装置能够从下方适当地捕获车辆的驾驶员的图像。
可以进一步设置照亮被检测对象的脸部的照明装置，并且照明装置可以布置于在垂直方向上比被检测对象的眼部低的位置。
利用以上构造，当照明装置从下方照亮被检测对象的脸部时，由光线产生的阴影朝上投影，并且因此能够比检测下眼睑更明显地来检测上眼睑。因此，能够提高上眼睑的检测精确度。还能够参照已经精确检测到的上眼睑来提高下眼睑的检测精确度。
被检测对象可以是车辆的驾驶员，并且照明装置可以被布置于在垂直方向上比布置在驾驶员的座椅上的头枕低的位置。利用以上构造，照明装置能够从下方朝上适当地照亮车辆的驾驶员。
除用作第一成像装置的上述照明装置以外，眼开度检测***还可以包括作为第二成像装置的另外的成像装置，其中，边缘提取装置提取由第一成像装置和第二成像装置这两者中的至少一个获得的图像的边缘，并且上下眼睑检测装置关于由第一成像装置与第二成像装置之间的至少第一成像装置获得的图像来检测上眼睑，并且还参照检测到的上眼睑来检测下眼睑。
本发明的第二方案涉及一种检测被检测对象的眼开度的眼开度检测方法，包括如下步骤：获得被检测对象的脸部的图像；提取获得的脸部的图像的边缘；根据提取到的边缘来检测被检测对象的上眼睑；以及参照检测到的上眼睑来检测被检测对象的下眼睑。
根据第二方案，因为与检测在眼睛的开闭中均具有线状的下眼睑相比，检测在眼睛睁开的过程中具有弧状的上眼睑时能够获得更好的检测率，所以第二方案能够适当地防止下眼睑的错误检测，并且通过参照已经检测到的上眼睑来检测下眼睑而精确地检测眼开度。
因此，本发明提供了一种适当地防止下眼睑的错误检测并且精确地检测眼开度的眼开度检测***及其方法。
附图说明
参照附图，通过对示范实施例的下列描述，本发明的上述以及进一步的特征和优点将变得明显，其中，附图中相同的附图标记用于表示相同的元件，并且其中：图1为示出了根据本发明的眼开度检测***的一个实施例的主要构造的示意图；以及图2为示出了由图像处理设备140执行的主要过程的流程图。
具体实施方式
以下将参照附图来描述本发明的一个示范实施例。
图1为示出了根据本发明的眼开度检测***的一个实施例的主要构造的示意图。本实施例的眼开度检测***100包括用于捕获被检测对象的脸部的图像的成像装置120，以及图像处理设备140。
成像装置120可以为包括传感器阵列的摄像机，该传感器阵列具有例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)作为图像拾取器件。成像装置120可以适于获得灰度图像(例如，256级灰度图像)。成像装置120被布置于车辆中适当的位置以便于捕获驾驶员的正面(例如，从前方看的驾驶员的脸部)。成像装置120可以被布置于在垂直方向上比驾驶员的眼部低的位置。即，当被检测对象为本实施例的驾驶员时，成像装置120可以被布置于在垂直方向上比设置在驾驶员的座椅上的头枕低的位置。另外，使该成像装置120的光轴朝上倾斜，并且例如成像装置120可以被布置在转向管柱上或布置在仪表组中以便捕获驾驶员的脸部，在捕获驾驶员脸部的过程中，所述光轴朝上。如稍后所述的，这种配置能够精确地检测驾驶员的上眼睑。成像装置120可以适于在车辆运行时实时获得驾驶员的脸部的图像(以下称为“脸部图像”)，并且示例性地以每秒30帧(fps)的速率将图像供给到图像处理设备140。
成像装置120可以具有用于照亮驾驶员的脸部的照明装置130。例如，照明装置130可以发射近红外光。照明装置130可以被布置于车辆中适当的位置以便于照亮驾驶员的正面(例如，从前方看的驾驶员的脸部)。照明装置130可以与照明装置120类似的方式被布置于在垂直方向上比驾驶员的眼部低的位置。即，当被检测对象为本实施例的驾驶员时，照明装置130可以被布置于在垂直方向上比布置在驾驶员的座椅上的头枕低的位置。另外，使照明装置130的光轴朝上倾斜，并且朝上布置以从下方照亮驾驶员的脸部。如稍后所述的，这种配置能够精确地识别驾驶员的上眼睑。如图1所示，照明装置130还可以与成像装置120结合，并且成像装置120和照明装置130的光轴可以被布置在相同的方向上。
图像处理设备140主要由适当的处理器(例如，数字信号处理器(DSP))或微电脑作为其硬件构造而构成，并且包括如稍后所述的用于执行各种图像处理的CPU、如稍后所述的用于存储用来执行各种图像处理的程序和数据的ROM、用于存储计算结果等等的可读/写RAM、计时器、输入接口、输出接口等等。
图2为示出了由图像处理设备140执行的主要操作的流程图。
在步骤S100中，在脸部图像中检测鼻部位置。例如，可以基于作为特征的鼻孔的位置来检测鼻部位置。在该实施例中，因为如上所述成像装置120从下方捕获驾驶员的脸部以获得脸部图像，所以可以在驾驶员保持正常姿势(例如，除非驾驶员过度低头)时检测鼻孔。
在步骤S110中，根据检测到的鼻部位置来确定眼部窗口(eyewindow)的位置。根据鼻部与眼部之间的几何位置关系来适当地确定眼部窗口的位置。例如，在鼻部位置周围的图像的上部中的两个位置处限定眼部窗口。尽管眼部窗口具有能够覆盖眼部的整个区域的尺寸，但是眼部窗口的尺寸由考虑到脸部中眼部与鼻部之间的相对位置存在个体差异或者特定驾驶员中眼部与鼻部之间的相对位置可能根据面向方向的变化而变化的情况下的边界来限定。
在步骤S120中，对眼部窗口中的区域执行边缘提取操作和特征量提取操作。例如，可以通过应用索贝尔(Sobel)的边缘检测算法来执行边缘提取操作。通过使用普通的3×3的索贝尔过滤器来提取眼部窗口中的横向边缘。以下，为了方便起见，在所有提取到的横向边缘中，由于在垂直线上从上到下的方向上密度从白到黑的转变而提取到的横向边缘称为“白-黑边缘”，而由于密度从黑到白的转变而提取到的横向边缘称为“黑-白边缘”。
例如，可以执行如下所述的特征量提取操作。首先，对每条水平线估计横向边缘的强度和(密度和)，并且提取横向边缘的密度和达到峰值的位置处的横向边缘(或者在横向边缘的直方图中构成峰值的横向边缘)。
在步骤S130中，在眼部窗口中移动搜索窗口，并且根据边缘提取处理和特征量提取处理的结果来确定上眼睑的位置。搜索窗口可以根据表示上眼睑的像素范围来限定并且从实验等等中预先导出。例如，搜索窗口可以为大约1×15像素(垂直方向上1像素而水平方向上15像素)并且对应于分辨率、缩放比例等等来适当地限定。更具体地，当在眼部窗口中移动搜索窗口时，计算出搜索窗口中的横向边缘的密度和，并且在搜索窗口中位于横向边缘的密度和等于或大于预定值的位置处的横向边缘(白-黑边缘)被认为是“候选上眼睑”。在该情况下，如果存在处于上下邻近的候选上眼睑，则选择最上方的候选上眼睑。此外，如果靠近眼部窗口的上部存在候选上眼睑，则同样将丢弃这种候选上眼睑。这是因为眼部窗口如上所述限定得大，并且在窗口的上部的周围存在表示眉毛的横向边缘的情况。然后，剩余的候选上眼睑被认为是表示上眼睑的横向边缘。
可选择地，可以基于当眼睛睁开时一般为弧状的上眼睑的形状特征来提取表示上眼睑的边缘。换句话说，以弧状在近似水平的方向上连续延伸的边缘(其颜色在垂直的方向上从上方从白变黑的边缘)可以被认为是表示上眼睑的边缘。能够通过利用这种特征形状来精确地检测到上眼睑的位置。可选择地，当使用多个连续的图像帧时，可以通过利用上眼睑在眨眼的过程中与眼部的其它部分(例如下眼睑、眉毛或眼镜框)相比移动较多的特征来检测上眼睑的位置。
在步骤S140中，根据以上在步骤S130中确定的上眼睑的位置来确定用于检测下眼睑的搜索窗口的位置。用于检测下眼睑的搜索窗口的位置可以参照如上所述检测到的上眼睑的位置而布置在上眼睑的下方，并且例如布置在上眼睑的与眼部的平均尺寸(在睁眼状态下，上眼睑与下眼睑之间的平均距离)相对应的像素数量的位置的下方。用于检测下眼睑的搜索窗口的尺寸可以与用于检测上眼睑的搜索窗口的尺寸相同，并且可以根据表示下眼睑的像素范围来限定并从实验等等中预先导出。
在步骤S150中，使搜索窗口移动到在步骤S140中确定的位置，并且确定下眼睑的位置。例如，如果在搜索窗口中存在横向边缘(黑-白边缘)，则这种横向边缘被认为是表示下眼睑的横向边缘。
在步骤S160中，在步骤S130中识别出的表示上眼睑的横向边缘与在步骤S150中识别出的表示下眼睑的横向边缘之间的垂直距离被计算出来作为眼开度并且根据该眼开度来判定驾驶员的眼睛是否闭合。判定结果可以用于各种警报控制。例如，可以通过检测驾驶员的眼睛闭合的时长以及当这种时间长度达到或超过预定时间时判定驾驶员的警觉度下降来输出警报。
根据如上所述的该实施例的眼开度检测***100，尤其能够证实下列效果。
如上所述，因为本发明检测上眼睑，参照上眼睑的检测结果来确定下眼睑的搜索范围，并且在搜索范围内检测下眼睑，所以与用于分别且独立检测上下眼睑的构造或用于在检测上眼睑之前检测下眼睑的构造相比，显著地提高了下眼睑的检测精确度。确切地，能够根据如上所述的上眼睑在睁眼时处于弧状的形状特征来检测上眼睑，因此，与具有贫乏形状特征的下眼睑相比，检测上眼睑更为容易。换句话说，由于下眼睑的贫乏特征，与上眼睑相比，检测下眼睑更困难。因此，首先检测上眼睑然后根据检测结果来检测下眼睑使得具有贫乏特征并且难以检测到的下眼睑更容易且更精确地被检测到。
根据以上描述，当成像装置120从下方捕获驾驶员的脸部以获得脸部图像时，上眼睑的睫毛不覆盖眼球。这样，能够容易地提取到表示上眼睑的横向边缘(即，能够明显地检测到表示上眼睑的横向边缘。)因此，显著地提高了上眼睑以及下眼睑的检测精确度。当成像装置120从下方向上捕获驾驶员的脸部以获得脸部图像时，存在下眼睑的睫毛可能覆盖眼球并且因此不能明显地检测到表示下眼睑的横向边缘的情况。然而，在这点上，因为如上所述的本发明的实施例首先检测上眼睑然后根据检测结果来检测下眼睑，所以即使表示下眼睑的横向边缘不明显它也能够被精确地检测到。
根据以上描述，照明装置130从下方照亮驾驶员的脸部以获得脸部图像，在上侧投下了阴影。这样，更容易提取到表示上眼睑的横向边缘(即，能够更明显地检测到表示上眼睑的横向边缘。)。因此，显著地提高了上眼睑以及下眼睑的检测精确度。当照明装置130从下方照亮驾驶员的脸部以获得脸部图像时，存在下眼睑的阴影覆盖眼球并且因此使得检测表示下眼睑的横向边缘更难的情况。然而，在这点上，因为如上所述的本发明的实施例首先检测上眼睑然后根据检测结果来检测下眼睑，所以即使不明显也能够精确地检测到表示下眼睑的横向边缘。
在以上描述的实施例中，可以考虑用执行图2的步骤S120中的过程的图像处理设备140来实现本发明的“边缘提取装置”并且用执行图2的步骤S130和S140中的过程的图像处理设备140来实现本发明的“上下眼睑检测装置”。
尽管已经提供了本发明的示范实施例的详细描述，但是本发明不限定于所描述的实施例，并且可以允许在不背离本发明的范围的情况下对所描述的实施例的各种改进和替换。
例如，本实施例的被检测对象为车辆的驾驶员；然而，摩托车、有轨车或飞机的驾驶员也可以是被检测对象。
另外，尽管在以上描述的实施例中将横向边缘的密度和或直方图中的峰值(横向边缘的峰值)用作估计值来检测眼睑，但是也可以利用模式匹配来检测上下眼睑。在该情况下，依照上眼睑的弧状特征来执行模式匹配不仅提高了上眼睑的检测精确度，也提高了参照上眼睑检测到的下眼睑的检测精确度。
此外，以上描述的实施例例证了使用单个成像装置120的应用；然而，第二成像装置可以与成像装置120分开地设置，并且两个或更多成像装置可以用于检测驾驶员的眼开度。在该情况下，例如，第二成像装置可以被布置在遮光板或后视镜中。图像处理设备140可以对至少由布置于在垂直方向上的下侧中的成像装置捕获到的图像应用如上所述的参照上眼睑来检测下眼睑的方法。此外，选择性地使用多个成像装置的构造可以判定成像装置的选择并且响应于成像装置的选择来适当地改变边缘提取方法(以及上下眼睑检测方法)。

Claims (7)

1.一种眼开度检测***，包括第一成像装置(120)，其用于获得被检测对象的脸部的图像；边缘提取装置(140)，其用于提取获得的所述图像的边缘；以及上下眼睑检测装置(140)，其用于根据提取到的所述边缘来检测所述被检测对象的上眼睑和下眼睑，其中，参照检测到的所述上眼睑与所述下眼睑之间的距离来判定所述被检测对象的眼开度，所述眼开度检测***的特征在于
所述上下眼睑检测装置(140)基于多个时间连续的图像帧通过利用所述上眼睑在眨眼的过程中与眼部的其它部分相比移动较多的特征来检测所述上眼睑，参照检测到的所述上眼睑的位置来确定用于检测所述下眼睑的搜索窗口的位置，然后在位于确定的所述位置处的所述搜索窗口内检测所述下眼睑。
2.根据权利要求1所述的眼开度检测***，其中
所述第一成像装置(120)被布置于在垂直方向上比所述被检测对象的眼部低的位置。
3.根据权利要求1所述的眼开度检测***，其中
所述被检测对象为车辆的驾驶员，并且所述第一成像装置(120)被布置于在垂直方向上比布置在驾驶员的座椅上的头枕低的位置。
4.根据权利要求1至3中任一项所述的眼开度检测***，其特征在于进一步包括
照明装置(130)，其用于将光线发射到所述被检测对象的脸部，其中
所述照明装置(130)被布置于在垂直方向上比所述被检测对象的眼部低的位置。
5.根据权利要求4所述的眼开度检测***，其中
所述被检测对象为车辆的驾驶员，并且所述照明装置(130)被布置于在垂直方向上比布置在驾驶员的座椅上的头枕低的位置。
6.根据权利要求1至3中任一项所述的眼开度检测***，其特征在于进一步包括
第二成像装置，其与所述第一成像装置(120)分开地设置，其中
所述边缘提取装置(140)提取由所述第一成像装置(120)和所述第二成像装置这两者中的至少一个获得的图像的边缘，以及
所述上下眼睑检测装置(140)关于由所述第一成像装置(120)与所述第二成像装置之间的至少所述第一成像装置(120)获得的图像来检测所述上眼睑，并且也参照检测到的所述上眼睑来检测所述下眼睑。
7.一种检测被检测对象的眼开度的眼开度检测方法，其特征在于包括
获得被检测对象的脸部的图像；
提取获得的所述脸部的图像的边缘(S120)；
根据提取到的所述边缘来检测所述被检测对象的上眼睑，其中，基于多个时间连续的图像帧通过利用所述上眼睑在眨眼的过程中与眼部的其它部分相比移动较多的特征来检测所述上眼睑(S130)；
参照检测到的所述上眼睑的位置来确定用于检测下眼睑的搜索窗口的位置，然后在位于确定的所述位置处的所述搜索窗口内检测所述被检测对象的下眼睑(S140)；以及
参照检测到的所述上眼睑与所述下眼睑之间的距离来检测所述被检测对象的眼开度。
CN200780036658.6A 2006-11-06 2007-11-06 眼开度检测***及眼开度检测方法 Active CN101523411B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP300951/2006 2006-11-06
JP2006300951A JP4331197B2 (ja) 2006-11-06 2006-11-06 眼開度検出装置及び方法
PCT/IB2007/003369 WO2008056229A2 (en) 2006-11-06 2007-11-06 Eye opening detection system and method of detecting eye opening

Publications (2)

Publication Number Publication Date
CN101523411A CN101523411A (zh) 2009-09-02
CN101523411B true CN101523411B (zh) 2015-04-29

Family

ID=39362542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780036658.6A Active CN101523411B (zh) 2006-11-06 2007-11-06 眼开度检测***及眼开度检测方法

Country Status (6)

Country Link
US (1) US8435188B2 (zh)
EP (2) EP2172871A3 (zh)
JP (1) JP4331197B2 (zh)
CN (1) CN101523411B (zh)
DE (1) DE602007008120D1 (zh)
WO (1) WO2008056229A2 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5262243B2 (ja) 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
JP5296458B2 (ja) * 2008-08-27 2013-09-25 安川情報システム株式会社 瞼開度検出装置、瞼開度検出方法および瞼開度検出プログラム
CN102034334B (zh) * 2009-09-28 2012-12-19 财团法人车辆研究测试中心 驾驶人监控方法及其监控***
CN101692980B (zh) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
JP5304944B2 (ja) * 2010-02-22 2013-10-02 トヨタ自動車株式会社 画像処理装置及び眠気判定装置
US20120002028A1 (en) * 2010-07-05 2012-01-05 Honda Motor Co., Ltd. Face image pick-up apparatus for vehicle
CN103493097B (zh) * 2011-04-15 2015-09-16 爱信精机株式会社 眼睑检测装置、眼睑检测方法
US9020199B2 (en) 2011-04-19 2015-04-28 Aisin Seiki Kabushiki Kaisha Eyelid detection device, eyelid detection method, and recording medium
TW201337847A (zh) * 2012-03-15 2013-09-16 Utechzone Co Ltd 具有照明光源之車用眼控裝置
JP6227996B2 (ja) * 2013-12-18 2017-11-08 浜松ホトニクス株式会社 計測装置及び計測方法
CN103950386A (zh) * 2014-04-07 2014-07-30 临颍县贝克电子科技有限公司 利用机动车驾驶员状态特征进行综合监控的***
TWI603293B (zh) * 2014-10-13 2017-10-21 由田新技股份有限公司 眨眼偵測方法及裝置
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
US9533687B2 (en) 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US10614328B2 (en) 2014-12-30 2020-04-07 Joyson Safety Acquisition LLC Occupant monitoring systems and methods
USD751437S1 (en) 2014-12-30 2016-03-15 Tk Holdings Inc. Vehicle occupant monitor
CN104794857B (zh) * 2015-04-16 2016-04-27 福建泰能能源发展有限公司 证卷交易人员状态电子检测***
CN105030244B (zh) * 2015-06-29 2018-05-11 杭州镜之镜科技有限公司 一种眨眼的检测方法和检测***
CN105138950B (zh) * 2015-07-03 2019-04-23 Oppo广东移动通信有限公司 一种拍照方法及用户终端
DE102015218306A1 (de) * 2015-09-23 2017-03-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers
US11117515B2 (en) * 2017-05-19 2021-09-14 Yazaki Corporation Monitoring system
JP6780616B2 (ja) * 2017-08-31 2020-11-04 トヨタ自動車株式会社 瞬き検出装置
CN108024412A (zh) * 2017-11-30 2018-05-11 西安科锐盛创新科技有限公司 自动调节亮度的护眼灯及自动调节亮度的方法
CN107977622B (zh) * 2017-11-30 2021-10-26 西安科锐盛创新科技有限公司 基于瞳孔特征的眼睛状态检测方法
CN107944406A (zh) * 2017-11-30 2018-04-20 西安科锐盛创新科技有限公司 基于眼睛状态识别技术的亮度自动调节***及方法
CN107767840A (zh) * 2017-11-30 2018-03-06 西安科锐盛创新科技有限公司 自动调节亮度的护眼型显示器及其亮度调节方法
US11200417B2 (en) * 2018-02-13 2021-12-14 Mitsubishi Electric Corporation Determination apparatus and method to enhance accuracy in determining the presence of an erroneously detected eyelid
CN109410293A (zh) * 2018-10-19 2019-03-01 北京市眼科研究所 眨眼波形图绘制方法及装置
JP7139908B2 (ja) * 2018-11-19 2022-09-21 トヨタ自動車株式会社 運転者監視装置の取付構造
CN113785258A (zh) * 2019-03-22 2021-12-10 惠普发展公司，有限责任合伙企业 检测眼睛测量

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319701A (ja) * 1993-05-11 1994-11-22 Fuji Xerox Co Ltd 視線認識装置
JP3383594B2 (ja) * 1998-09-29 2003-03-04 沖電気工業株式会社 眼の開度測定装置
US6393136B1 (en) * 1999-01-04 2002-05-21 International Business Machines Corporation Method and apparatus for determining eye contact
JP2001216515A (ja) * 2000-02-01 2001-08-10 Matsushita Electric Ind Co Ltd 人物の顔の検出方法およびその装置
US7460940B2 (en) * 2002-10-15 2008-12-02 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
JP4506250B2 (ja) * 2004-04-12 2010-07-21 日産自動車株式会社 上瞼検出装置
JP4529635B2 (ja) * 2004-10-22 2010-08-25 日産自動車株式会社 開閉眼判定装置
JP4552636B2 (ja) * 2004-12-08 2010-09-29 日産自動車株式会社 ドライバモニタシステムおよびその処理方法
JP4725096B2 (ja) * 2004-12-21 2011-07-13 日産自動車株式会社 覚醒度判断装置
JP4687150B2 (ja) * 2005-03-08 2011-05-25 日産自動車株式会社 直射光検出装置
US7253738B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method of detecting eye closure based on edge lines
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
US7746235B2 (en) * 2005-03-10 2010-06-29 Delphi Technologies, Inc. System and method of detecting eye closure based on line angles
JP4770218B2 (ja) * 2005-03-22 2011-09-14 日産自動車株式会社 視認行動判定装置
JP2006277192A (ja) * 2005-03-29 2006-10-12 Advanced Telecommunication Research Institute International 映像表示システム
JP2006285715A (ja) * 2005-04-01 2006-10-19 Konica Minolta Holdings Inc 視線検出システム
JP3905544B2 (ja) * 2005-04-08 2007-04-18 三菱電機株式会社 顔画像処理装置

Also Published As

Publication number Publication date
JP2008113902A (ja) 2008-05-22
EP2074550A2 (en) 2009-07-01
US20100094176A1 (en) 2010-04-15
US8435188B2 (en) 2013-05-07
CN101523411A (zh) 2009-09-02
WO2008056229A3 (en) 2008-07-17
EP2172871A2 (en) 2010-04-07
EP2074550B1 (en) 2010-07-28
EP2172871A3 (en) 2010-07-28
JP4331197B2 (ja) 2009-09-16
WO2008056229A2 (en) 2008-05-15
DE602007008120D1 (de) 2010-09-09

Similar Documents

Publication Publication Date Title
CN101523411B (zh) 眼开度检测***及眼开度检测方法
JP4307496B2 (ja) 顔部位検出装置及びプログラム
CN106774863B (zh) 一种基于瞳孔特征实现视线追踪的方法
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
KR101330772B1 (ko) 디지털 이미지에서의 적목 결함 탐지
US20100054548A1 (en) Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
CN103379279B (zh) 被摄体区域检测装置及其方法、图像摄取装置及显示装置
US7650034B2 (en) Method of locating a human eye in a video image
KR20160050755A (ko) 전자 장치 및 그의 홍채 인식 방법
JP2009116742A (ja) 車載用画像処理装置、画像処理方法、および、プログラム
JP2003150942A (ja) 目位置追跡方法
JP2008171108A (ja) 顔状況判定処理装置および撮像装置
CN115346197A (zh) 一种基于双向视频流的驾驶员分心行为识别方法
JP4623172B2 (ja) 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法
JP4107087B2 (ja) 開閉眼判定装置
CN112861588A (zh) 一种活体检测的方法、装置
JP4623171B2 (ja) 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法
JP5128454B2 (ja) 瞼検出装置、瞼検出方法及びプログラム
JP2008084109A (ja) 目開閉判定装置及び目開閉判定方法
CN109522868B (zh) 一种检测眨眼的方法和装置
JP6737213B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP4184133B2 (ja) 画像処理装置
JP2004030006A (ja) 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法
JP4831361B2 (ja) 目の位置の検出方法および検出システム
JP2002117408A (ja) 顔画像処理方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant