CN101520842B - 信息处理装置、眼睛开/合度确定方法及图像传感装置 - Google Patents

信息处理装置、眼睛开/合度确定方法及图像传感装置 Download PDF

Info

Publication number
CN101520842B
CN101520842B CN2009101186577A CN200910118657A CN101520842B CN 101520842 B CN101520842 B CN 101520842B CN 2009101186577 A CN2009101186577 A CN 2009101186577A CN 200910118657 A CN200910118657 A CN 200910118657A CN 101520842 B CN101520842 B CN 101520842B
Authority
CN
China
Prior art keywords
eyes
face
characteristic quantity
closed degree
eye open
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009101186577A
Other languages
English (en)
Other versions
CN101520842A (zh
Inventor
金田雄司
真继优和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101520842A publication Critical patent/CN101520842A/zh
Application granted granted Critical
Publication of CN101520842B publication Critical patent/CN101520842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0033—Operational features thereof characterised by user input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种信息处理装置、眼睛开/合度确定方法及图像传感装置。该信息处理装置输入图像，从所输入的图像中检测人的面部，并计算与所检测到的面部的眼睛的开/合状态相关联的特征量。此外，该信息处理装置计算所计算出的特征量与预定特征量之差作为特征改变量，并基于该特征量和该特征改变量来计算所检测到的面部的眼睛的眼睛开/合度。

Description

信息处理装置、眼睛开/合度确定方法及图像传感装置
技术领域
本发明涉及一种信息处理装置、眼睛开/合度确定方法及图像传感装置。
背景技术
从包含静态图像及动态图像的图像中检测面部的技术通常已为人们所知(Mitarai，Y.，Mori，K.，Matsugu，M.“Robust Face Detection System Based onConvolutional Neural Networks Using Selective Activation of Modules(基于利用模块选择性激活的卷积神经网络的稳健面部检测***)”，FIT(Forum ofInformation Technology，信息技术论坛)，L1-013，2003)。另外，已提出多种用于在被检测面部中确定眼睛开/合度的技术。
在这方面，日本专利特开平第09-044685号公报提出一种技术，其将眉毛与瞳孔间的距离或者眉毛与瞳孔的面积比与预定的参考值进行比较，并计算距离的改变量，从而确定出眼睛开/合度。
日本专利特开平第11-242744号公报提出一种技术，其将眼睛区域分为白色区域和黑色(瞳孔)区域，当黑色区域改变时，便确定目标眨动。
日本专利特开第2004-192551号公报提出一种技术，其准备多个处理来确定眼睛开/合度，以便将闭眼前瞬间的眼睛状态与诸如微笑等的表情改变时的眼睛状态区别开来，并基于利用各个确定结果的逻辑乘的结果来确定眼睛开/合度。
在眼睛完全睁开时的无表情状态下，眼睛尺寸(例如，上眼睑与下眼睑间的距离或瞳孔的外观)存在个体差异。例如，在眼睛完全睁开时的无表情状态(状态1)下，图19中所示的人A的瞳孔被全部看到。与此对比，在眼睛完全睁开时的无表情状态(状态4)下，图19中所示的人B的瞳孔被部分隐藏。
在这种方式下，无表情状态下的眼睛尺寸存在个体差异。如果只从一个图像中确定眼睛开/合度，则图19中所示的人A的状态2与图19中所示的人B的状态4被确定为具有相同的眼睛开/合度。例如，当图19中所示的人A的状态2被确定为图像传感装置在拍摄时的拍摄失败时，图19中所示的人B的状态4也被确定为拍摄失败。
当利用多个图像间的改变量来确定眼睛开/合度时，图19中所示的人A从状态1到状态2的改变量，等于图19中所示的人B从状态4到状态5的改变量。确定出人A的状态2与人B的状态5是相同的。例如，当图19中所示的人A的状态2被确定为图像传感装置在拍摄时的拍摄成功时，图19中所示的人B的状态5也被确定为拍摄成功。
确定由图像传感装置所拍摄的图像是失败还是成功，是依图像传感装置的用户而变化的。有必要在不考虑眼睛尺寸的个体差异的情况下，以高精度检测眼睛开/合度。例如，在日本专利特开第2004-192551号公报中所公开的上述技术通过利用眼睛开/合度确定结果的组合，来确定眼睛开/合度。然而，各个眼睛开/合度确定结果是表示眼睛睁开或闭合的二进制输出。由于这一原因，即使是这种技术也无法在不考虑眼睛尺寸的个体差异的情况下，以高精度检测眼睛开/合度。
后面将考查通过利用一个图像的方法来确定眼睛开/合度的情况，以及通过利用多个图像间的改变量的方法来确定眼睛开/合度的情况。以下将举例说明在眼睛开/合度从图20中所示的状态1改变到状态2时确定眼睛开/合度的情况，以及在眼睛开/合度从图20中所示的状态4改变到状态5时确定眼睛开/合度的情况。
当眼睛从图20中所示的状态1(黑色眼睛面积10)改变到状态2(黑色眼睛面积5)时，黑色眼睛面积的改变量是5，并且在状态2中黑色眼睛面积的绝对量是5。当将用于确定眼睛闭合的绝对量阈值设置为6(当绝对量小于6时确定眼睛是闭合的)并将用于确定眼睛闭合的改变量阈值设置为4(当改变量大于4时确定眼睛是闭合的)时，基于绝对量的确定结果和基于改变量的确定结果都表示眼睛是闭合的。当眼睛从图20中所示的状态4(黑色眼睛面积5)改变到状态5(黑色眼睛面积0)并进行与以上所述相同的确定时，获得相同的结果，并且基于绝对量的确定结果和基于改变量的确定结果都表示眼睛是闭合的。以这种方式，根据通常提出的眼睛开/合度确定方法，图20中所示的状态2与状态5被确定为具有相同的眼睛开/合度。
发明内容
本发明能够提供一种不用考虑眼睛尺寸的个体差异而以高精度检测眼睛开/合度的信息处理装置、眼睛开/合度确定方法及图像传感装置。
根据本发明的第一方面，提供一种信息处理装置，该信息处理装置包括：
输入单元，用于输入图像；
面部检测单元，用于从所述输入设备输入的所述图像中检测人的面部；
第一计算单元，用于根据由所述面部检测单元检测到的所述面部，来计算与眼睛开/合状态相关联的特征量；
第二计算单元，用于计算由所述第一计算单元计算出的所述特征量与根据从在预定时间之前输入的图像中检测到的面部计算出的特征量之差，作为特征改变量；以及
第三计算单元，用于基于所述特征量与所述特征改变量来计算由所述面部检测单元检测到的所述面部的眼睛的眼睛开/合度。
根据本发明的第二方面，提供一种眼睛开/合度确定方法，该方法包括：
输入图像；
从在上述图像输入中输入的所述图像中检测人的面部；
根据在上述面部检测中检测到的所述面部，来计算与眼睛开/合状态相关联的特征量；
计算在上述特征量计算中计算出的所述特征量与根据从在预定时间之前输入的图像中检测到的面部计算出的特征量之差，作为特征改变量；以及
基于所述特征量和所述特征改变量来计算在上述面部检测中检测到的所述面部的眼睛的眼睛开/合度。
根据本发明的第三方面，提供一种图像传感装置，该图像传感装置包括：
输入单元，用于输入图像；
面部检测单元，用于从所述输入单元输入的所述图像中检测人的面部；
第一计算单元，用于根据由所述面部检测单元检测到的所述面部，来计算与眼睛开/合状态相关联的特征量；
第二计算单元，用于计算由所述第一计算单元计算出的所述特征量与根据从在预定时间之前输入的图像中检测到的面部计算出的特征量之差，作为特征改变量；
第三计算单元，用于基于所述特征量和所述特征改变量来计算由所述面部检测单元检测到的所述面部的眼睛的眼睛开/合度；
确定单元，用于通过对由所述第三计算单元计算出的该眼睛开/合度进行阈值处理，来进行眼睛开/合确定；以及
图像传感单元，用于基于所述确定单元的眼睛开/合度确定的结果来进行拍摄。
通过下面参照附图对示例性实施例的描述，本发明的其他特征将变得更加清楚。
附图说明
图1是示出根据本发明的实施例的图像传感装置100的结构的示例的框图；
图2A及图2B是示出图1中所示的图像传感装置100中的处理序列的示例的流程图；
图3是示出在图2B中所示的步骤S113中的眼睛开/合度确定的序列的示例的流程图；
图4是示出图像标准化的概况的示例的图；
图5是示出在设置要经历瞳孔特征检测的区域时处理的概况的示例的图；
图6是示出瞳孔特征检测结果的示例的图；
图7是示出利用预定函数func1计算出的眼睛开/合度值的分布的示例的坐标图；
图8是示出利用预定函数func2计算出的眼睛开/合度值的分布的示例的坐标图；
图9是用于说明第一实施例的效果的示例的第一图。
图10是用于说明第一实施例的效果的示例的第二图。
图11是示出根据第二实施例的眼睛开/合度确定的序列的示例的流程图；
图12是示出瞳孔特征量在预定时间内的改变的示例的坐标图；
图13是用于说明第二实施例的效果的示例的第一图。
图14A和图14B是示出根据第三实施例的图像传感装置100中的处理序列的示例的流程图；
图15是示出在图14B中所示的步骤S416中的眼睛开/合度确定的序列的示例的流程图；
图16是示出在图15中所示的步骤S502中的权重确定的序列的示例的流程图；
图17是用于说明第三实施例的效果的示例的第一图。
图18是用于说明第三实施例的效果的示例的第二图。
图19是用于说明现存问题的第一图；以及
图20是用于说明现存问题的第二图。
具体实施方式
现在将参照附图来详细描述本发明的优选实施例。应当注意，除非另外具体说明，否则在这些实施例中提出的各组件的相对布置、数字表示及数值并不限定本发明的范围。
(第一实施例)
图1是示出根据本发明的实施例的图像传感装置100的结构的示例的框图。第一实施例将举例说明图像传感装置100是电子数码相机的情况。
图像传感装置100包括图像传感透镜单元101和具有光阑及快门的光量调节装置102。图像传感器103是例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器，用于将穿过图像传感透镜单元的对象图像的光束转换为电信号。模拟信号处理电路104对从图像传感器103输出的模拟信号进行箝位(clamp)和增益等。A/D转换器105将来自模拟信号处理电路104的输出转换为数字信号。
数字信号处理电路107对来自A/D转换器105的数据或来自存储器控制电路106的数据，进行预定的像素插值和色彩转换等。数字信号处理电路107还利用感测到图像数据进行预定的计算，以及基于所获得的计算结果进行TTLAWB(自动白平衡)处理。另外，数字信号处理电路107对感测到的图像数据执行特定对象面部检测及眼睛开/合度确定。特定对象面部检测及眼睛开/合度确定使用存储在存储器(后面要描述的存储器108)中的数据。
***控制电路112基于上述计算结果进行TTL(通过镜头)AF(自动聚焦)、AE(自动曝光)及EF(预电子闪光)，以控制曝光控制电路113及聚焦控制电路114。
存储器控制电路106控制模拟信号处理电路104、A/D转换器105、数字信号处理电路107、存储器108及数字/模拟(以下称为D/A)转换器109。由A/D转换器105进行A/D转换的数据经由数字信号处理电路107及存储器控制电路106被写入在存储器108中。由A/D转换器105进行A/D转换的数据有时直接经由存储器控制电路106被写入在存储器108中。
存储器108存储例如要显示在显示装置110上的数据。存储在存储器108中的数据经由D/A转换器109被输出到诸如TFT或LCD等的显示装置110中，并被显示在其上。存储器108存储包括感测到的静态图像及动态图像的图像。存储器108具有足以存储预定数量的静态图像及预定时间的动态图像的容量。即使在连续拍摄或相继拍摄多个静态图像的全景拍摄中，也能够以高速度将许多图像写入在存储器108中。存储器108也可以用作***控制电路112的工作区。通过利用接口(I/F)111，也可以将感测到的静态图像及动态图像写入在诸如CD-ROM、软盘
Figure G2009101186577D00061
硬盘、磁带、磁光盘或非易失性存储卡等的存储介质中。
显示装置110能够依次显示感测到的图像数据，并且在这种情况下充当电子取景器。显示装置110能够根据来自***控制电路112的指示任意地开关显示器。当显示器关闭时，图像传感装置100的电力消耗比显示器打开时的电力消耗降低很多。显示装置110根据***控制电路112中的程序的执行，利用文本和图像等来显示操作状态和消息等。
I/F 111将图像传感装置100与诸如存储卡或硬盘等的存储介质相连接。通过利用I/F 111，图像传感装置100能够与另一计算机或诸如打印机等的***设备交换图像数据及附属于该图像数据的管理信息。当I/F 111符合PCMCIA卡或CF(紧凑式闪存)卡等的标准时，I/F 111在连接各种通信卡时充当通信接口。这些通信卡包括LAN卡、调制解调器卡、USB卡、IEEE1394卡、P1284卡、SCSI卡及PHS通信卡。
***控制电路112控制图像传感装置100的整体操作。***控制电路112中的存储器存储用于操作***控制电路112或者识别特定对象的面部及眼睛开/合度的常量、变量和程序等。利用CD-ROM、软盘
Figure G2009101186577D00072
硬盘、磁带、磁光盘或非易失性存储卡等，能够改变存储在***控制电路112的内部存储器中的常量、变量和程序等。
曝光控制电路113控制光量调节设备102的光阑及快门。聚焦控制电路114控制图像传感透镜单元101的聚焦及变焦。曝光控制电路113及聚焦控制电路114由TTL进行控制。***控制电路112基于由数字信号处理电路107对感测到的图像数据执行计算的结果来控制曝光控制电路113及聚焦控制电路114。
以下将参照图2A及图2B，来说明图1中所示的图像传感装置100中的处理序列的示例。用于执行这一处理的程序被存储在例如***控制电路112的内部存储器中，并且该程序在***控制电路112的控制下被执行。
这一处理在开机等时开始。当处理开始时，***控制电路112对内部存储器中的各种标志和控制变量等进行初始化(步骤S100)。然后，***控制电路112检测图像传感装置100的模式设置状态。模式的示例有防闭眼拍摄模式。
如果***控制电路112检测到拍摄模式以外的模式(步骤S101中的另一模式)，则图像传感装置100执行与所选模式相对应的处理(步骤S102)，然后处理返回至步骤S101。如果***控制电路112检测到诸如防闭眼拍摄模式的拍摄模式(步骤S101中的拍摄模式)，则其确定在剩余的电池电量或操作状态下是否出现了错误。如果出现了错误(步骤S103中“否”)，则***控制电路112利用显示装置110以图像或声音发出预定警告(步骤S104)，然后处理返回至步骤S101。如果未出现错误(步骤S103中“是”)，则***控制电路112确定存储介质操作状态是否不适合于图像传感装置100的操作，特别是对存储介质的图像数据记录/重放操作。
如果存储介质操作状态不适合(步骤S105中“否”)，则与上述警告相类似地，***控制电路112利用显示装置110以图像或声音发出预定警告(步骤S104)，然后处理返回至步骤S101。如果存储介质是适合的(步骤S105中“是”)，则***控制电路112利用显示装置110，以图像或声音来显示表示图像传感装置100的各种设置状态的用户界面(以下称作UI)(步骤S106)。当显示装置110的图像显示器处于打开(ON)状态时，也可以利用显示装置110，以图像或声音来显示表示图像传感装置100的各种设置状态的UI。以这种方式，用户进行各种设置。
***控制电路112将显示装置110的图像显示器设置为打开(步骤S107)。***控制电路112设置透视显示(through display)状态，以依次显示感测到的图像数据(步骤S108)。在透视显示状态下，显示装置110依次显示写入在存储器108中的数据，从而实现了电子取景器的功能。
之后，图像传感装置100确定用户(例如摄影师)是否已按下快门开关。如果用户尚未按下快门开关(步骤S109中“否”)，则处理返回至步骤S101。如果用户已按下快门开关(步骤S109中“是”)，则***控制电路112执行面部检测(步骤S110)。在面部检测中，将从图像传感器103输入的图像数据压缩至低分辨率，并从压缩后的图像数据中检测人的面部。更具体地说，通过执行淡化(thinning)等将图像数据压缩至例如640×480像素的低分辨率，然后对面部进行检测。面部检测方法的已知示例是卷积神经网络(CNN)，其从诸如边缘等的低阶特征中分层检测诸如眼睛和嘴等的高阶特征，并最终检测面部的重心(Mitarai，Y.，Mori，K.，Matsugu，M.“Robust Face DetectionSystem Based on Convolutional Neural Networks Using Selective Activation ofModules(基于利用模块选择性激活的卷积神经网络的稳健面部检测***)”，FIT(Forum of Information Technology，信息技术论坛)，L1-013，2003)。通过利用CNN，可以获得眼睛或嘴的重心。
在以此种方式检测人的面部之后，***控制电路112对所检测的人的面部执行预定的AE/AF控制(步骤S111)，并透视显示感测到的图像(步骤S112)。此时，***控制电路112通过利用在步骤S110中检测到的眼睛/面部位置，来确定每个人的眼睛开/合度(步骤S113)。眼睛开/合度确定的细节将在后面予以说明。
***控制电路112基于眼睛开/合度确定的结果，确定是否由图像传感装置100进行拍摄。更具体地说，如果***控制电路112确定眼睛是闭合的，则其不促使图像传感装置100进行拍摄(步骤S114中“否”)，并确定是否强行终止拍摄。如果***控制电路112确定强行终止拍摄(步骤S119中“是”)，则处理结束。如果***控制电路112确定不强行终止拍摄(步骤S119中“否”)，则其再次进行面部检测(步骤S118)，并且处理返回至步骤S112。
如果***控制电路112确定眼睛是睁开的，则其促使图像传感装置100进行拍摄(步骤S114中“是”之后的步骤S115)。进行拍摄之后，***控制电路112显示感测到的图像的快速浏览(步骤S116)，对感测到的高分辨率图像进行编码，并将编码图像记录在诸如闪存等的存储介质上(步骤S117)。也就是说，通过淡化等压缩的低分辨率图像用于面部检测，而高分辨率图像用于记录。
将参照图3对图2B中所示的步骤S113中的眼睛开/合度确定的细节进行说明。
当该处理开始时，***控制电路112利用在步骤S110中检测到的眼睛或面部位置来执行图像标准化(步骤S200)。在标准化中，将被压缩至低分辨率的输入图像300中的各个面部的取向校准为直立，如图4所示。然后，进行仿射变换及提取，以将两眼间的宽度改变为预定像素数(例如，50像素)，并将所提取的图像的宽度及高度改变为预定像素数(例如，120×120像素)。在图4中所示的示例中，作为对输入图像300进行标准化的结果，获得面部图像301及面部图像302。
之后，***控制电路112在标准化的图像中设置如图5中所示的眼睛区域(步骤S201)。在图5中所示的示例中，眼睛区域303的左上角的坐标点被设置为(1，10)，眼睛区域303的右下角的坐标点被设置为(120，60)。
在对眼睛区域进行设置之后，***控制电路112对眼睛区域进行图像校正(例如，亮度校正)(步骤S202)。在亮度校正中，建立眼睛区域的亮度直方图并对该亮度直方图进行扩展以改变各像素的亮度值。
在亮度校正之后，***控制电路112从亮度校正后的图像的眼睛区域中检测瞳孔特征(步骤S203)。与面部检测相类似，利用预先知道的、用以检测瞳孔的瞳孔检测CNN来检测瞳孔特征。瞳孔检测CNN假定瞳孔区域作为正确答案，瞳孔区域以外的区域作为错误答案，并知道只在瞳孔存在的区域中从CNN的各神经元中输出大的数值。例如，如果将已在步骤S202中经历亮度校正的图像输入到瞳孔检测CNN中，则获得如图6中所示的神经元输出值。
然后，***控制电路112利用瞳孔特征检测量计算瞳孔特征量(步骤S204)。第一实施例中的瞳孔特征量用在时间t[s]时变为等于或大于预定阈值Ith的输出值Counter(t)来表示：
如果 I ( x , y ) ≥ I tn ⇒ Counter ( t ) + = 1 . . . ( 1 )
也可以使用与上、下眼睑相对应的边缘间的距离，替代瞳孔特征量。从要经历眼睛开/合度确定的一个图像中提取的瞳孔特征量，用Feature1(t)来表示：
Feature1(t)＝Counter(t)    ...(2)
在特征量计算之后，***控制电路112计算所算出的瞳孔特征量Feature1(t)的特征改变量Feature2(t)(步骤S205)。通过计算瞳孔特征量Feature1(t)与预定特征量(在这种情况下，是先前计算出的瞳孔特征量Feature1(tn))之差来计算特征改变量Feature2(t)：
Feature2(t)＝|Counter(tn)-Counter(t)|    ...(3)
先前计算出的瞳孔特征量Feature1(tn)是在计算瞳孔特征量Feature1(t)之前的预定时间(例如，500ms)计算的瞳孔特征量。在公式(3)中，n是人无意识地眨眼时的平均时间。例如，当人闭上睁开的眼睛时的平均时间是500ms时，设置n＝500ms。
在特征改变量计算之后，***控制电路112分别针对所计算出的瞳孔特征量Feature1(t)和特征改变量Feature2(t)，计算眼睛开/合度(步骤S206及步骤S207)。在第一实施例中，眼睛开/合度将用眼睛闭合度BlinkDegree(t)来说明。不过，眼睛开/合度还可以用眼睛睁开度来表示。
基于瞳孔特征量Feature1(t)的眼睛开/合度BlinkDegree1(t)，是通过将瞳孔特征量Feature1(t)代入预定函数func1来计算的：
BlinkDegree1(t)＝func1(Feature1(t))    ...(4)
基于特征改变量Feature2(t)的眼睛开/合度BlinkDegree2(t)，是通过将特征改变量Feature2(t)代入预定函数func2来计算的：
BlinkDegree2(t)＝func2(Feature2(t))    ...(5)
如公式(6)所表示的，***控制电路112将权重w1和权重w2添加到眼睛开/合度BlinkDegree1(t)和眼睛开/合度BlinkDegree2(t)上，然后将加权后的眼睛开/合度BlinkDegree1(t)与加权后的眼睛开/合度BlinkDegree2(t)相加(步骤S208)，从而计算出最终的眼睛开/合度BlinkDegree(t)(步骤S209)：
BlinkDegree(t)
＝w1×BlinkDegree1(t)+w2×BlinkDegree2(t)    ...(6)
其中，该实施例中的权重w1及权重w2是1∶1。
图7示出了利用预定函数func1计算的眼睛开/合度值的分布。如图7中所示，当从要经历眼睛开/合度确定的一个图像中计算出的瞳孔特征量Feature1(t)变大时，眼睛开/合度BlinkDegree1(t)变小。也就是说，随着瞳孔特征量Feature1(t)变大，确定眼睛睁开的可能性变大。
图8示出了利用预定函数func2计算的眼睛开/合度值的分布。如图8中所示，当特征改变量Feature2(t)变大时，眼睛开/合度BlinkDegree2(t)变大。也就是说，随着特征改变量Feature2(t)变大，确定眼睛保持闭合或正在睁开或闭合的可能性变大。
再参照图3，在执行最终的眼睛开/合度计算之后，***控制电路112进行眼睛是闭合还是睁开的二进制确定。该确定通过对眼睛开/合度BlinkDegree(t)执行阈值处理来实现(步骤S210)。***控制电路112基于BlinkDegree(t)与阈值间的关系(等于、大于或小于阈值)而发送回确定结果“眼睛睁开”或“眼睛闭合”(步骤S211)。然后，处理结束。
图9及图10是用于说明在确定眼睛开/合状态时利用从要经历眼睛开/合度确定的图像中计算出的瞳孔特征量Feature1(t)以及相应的特征改变量Feature2(t)而获得的效果的图。
图9是示出在具有大的眼睛开/合宽度的人A的各个状态下以及在具有小的眼睛开/合宽度的人B的各个状态下计算眼睛开/合度的结果的图。如上所述，眼睛开/合度BlinkDegree1(t)是基于要经历眼睛开/合度确定的图像的瞳孔特征量Feature1(t)来计算的。眼睛开/合度BlinkDegree2(t)是基于表示瞳孔特征量Feature1(t)与先前计算出的瞳孔特征量Feature1(tn)之差的特征改变量Feature2(t)来计算的。BlinkDegree(t)表示通过将加权后的BlinkDegree1(t)与加权后的BlinkDegree2(t)相加而计算出的最终眼睛开/合度。
下面将考查人A的眼睛从状态1(眼睛睁开状态)改变到状态1′(眼睛睁开状态)的情况。在这种情况下，瞳孔在状态1′(眼睛睁开状态)中被清楚地看到，因此瞳孔特征量Feature1(t)取大值。因而，眼睛开/合度BlinkDegree1(t)取小值。当人A的眼睛从状态1(眼睛睁开状态)改变到状态1′(眼睛睁开状态)时，瞳孔特征量Feature1(t)几乎没有改变。因此，基于瞳孔特征量Feature1(t)与先前计算出的瞳孔特征量Feature1(tn)之间的特征改变量Feature2(t)计算的眼睛开/合度BlinkDegree2(t)也取小值。结果，在添加权重＝1∶1之后最终计算出的眼睛开/合度BlinkDegree(t)变为“0.0”。
下面将考查人A的眼睛从状态1(眼睛睁开状态)改变到状态2(眼睛半睁状态)的情况。在这种情况下，瞳孔区域在状态2(眼睛半睁状态)中被部分看到，因此瞳孔特征量Feature1(t)取中间值(例如，0到1之间的值)。因而，眼睛开/合度BlinkDegree1(t)也取中间值。当人A的眼睛从状态1(眼睛睁开状态)改变到状态2(眼睛半睁状态)时，瞳孔特征量Feature1(t)略有改变。因此，基于瞳孔特征量Feature1(t)与先前计算出的瞳孔特征量Feature1(tn)之间的特征改变量Feature2(t)计算的眼睛开/合度BlinkDegree2(t)也取个中间值。在添加权重＝1∶1之后最终计算出的眼睛开/合度BlinkDegree(t)变为“1.0”。
类似地，下面将考查人A的眼睛从状态1(眼睛睁开状态)改变到状态3(眼睛闭合状态)的情况。在这种情况下，基于瞳孔特征量Feature1(t)计算的眼睛开/合度BlinkDegree1(t)取大值。另外，基于特征改变量Feature2(t)计算的眼睛开/合度BlinkDegree2(t)也取大值。在添加权重＝1∶1之后最终计算出的眼睛开/合度BlinkDegree(t)变为“2.0”。
作为对比，下面将考查人B的眼睛从状态4(眼睛睁开状态)改变到状态4′(眼睛睁开状态)的情况。在这种情况下，基于瞳孔特征量Feature1(t)计算的眼睛开/合度BlinkDegree1(t)取中间值。基于特征改变量Feature2(t)计算的眼睛开/合度BlinkDegree2(t)取小值。在添加权重＝1∶1之后最终计算出的眼睛开/合度BlinkDegree(t)变为“0.5”。
下面将考查人B的眼睛从状态4(眼睛睁开状态)改变到状态5(眼睛闭合状态)的情况。在这种情况下，基于瞳孔特征量Feature1(t)计算的眼睛开/合度BlinkDegree1(t)取大值。基于特征改变量Feature2(t)计算的眼睛开/合度BlinkDegree2(t)取中间值。在添加权重＝1∶1之后最终计算出的眼睛开/合度BlinkDegree(t)变为“1.5”。
图10示出了所计算出的眼睛开/合度BlinkDegree(t)的分布。如图10所示，在人A及人B的各个状态下计算出的眼睛开/合度取不同的值。换句话说，能够不用考虑眼睛尺寸的个体差异而以高精度检测眼睛开/合度。
如上所述，根据第一实施例，对基于从要确定的图像中获得的瞳孔特征量计算出的眼睛开/合度以及表示瞳孔特征量与先前计算出的瞳孔特征量之差的特征改变量进行加权和相加，以计算最终眼睛开/合度。结果，能够不用考虑眼睛尺寸的个体差异而以高精度检测眼睛开/合状态。
在上述第一实施例中，最终眼睛开/合度是在加权之后计算出的。然而，加权并非必不可少的，最终眼睛开/合度也可以在不进行加权的情况下计算出来。
(第二实施例)
现在将说明第二实施例。第二实施例中的装置结构及整体操作序列与在第一实施例中描述的图1及图2中的情形相同，以下将省略有关它们的描述，并且只说明与第一实施例的不同之处。第二实施例与第一实施例的不同在于参照图3描述的眼睛开/合度确定。
根据第二实施例的眼睛开/合度确定的序列将参照图11来进行说明。在第二实施例中，为了避免重复描述，将省略在第一实施例中描述的详细处理(例如，检测及计算瞳孔特征量的方法)的描述，并且只说明表示不同之处的大体序列。
当该处理开始时，***控制电路112估算在步骤S110(图2A)中检测到的面部的眼睛睁开的状态。更具体地说，***控制电路112估算眼睛睁开的状态，并检查该眼睛状态是否与预定的眼睛状态(第二实施例中的窄眼睛)相对应。即使当具有窄眼睛的人正常地睁开他的眼睛时，瞳孔区域的大部分也是被隐藏的。
为了估算眼睛睁开时的眼睛状态，***控制电路112利用与第一实施例中相同的方法，来计算瞳孔特征量Feature1(t)(步骤S300)。瞳孔特征量Feature1(t)被重复计算，直到预定时间经过(步骤S301中“否”)。也就是说，***控制电路112从在预定时间内依次输入的各帧图像中计算瞳孔特征量Feature1(t)。预定时间是眨眼花费的平均时间。其满足在预定时间内始终眨眼(例如，5秒)。
在预定时间经过时(步骤S301中“是”)，***控制电路112基于在步骤S300中从多帧图像中计算出的瞳孔特征量Feature1(t)来估算眼睛状态(步骤S302)。更具体地说，***控制电路112通过参考在预定时间(时间t＝t1[s]至时间t＝tn1[s])内计算出的瞳孔特征量Feature1(t1)、……、Feature1(tn1)，来估算眼睛睁开状态。
图12是示出从时间t＝t1[s]至时间t＝tn1[s]所计算出的瞳孔特征量Feature1(t1)、……、Feature1(tn1)的坐标图。
基于从时间t＝t1[s]至时间t＝tn1[s]所计算出的瞳孔特征量Feature1(t)的宽度L(＝Feature1Max-Feature1Min)，来确定眼睛是否与预定眼睛状态(窄眼睛)相对应。更具体地说，如果瞳孔特征量Feature1(t)的宽度L大于预定阈值Lth，则确定当眼睛睁开时瞳孔区域的大部分没被隐藏。如果瞳孔特征量Feature1(t)的宽度L等于或小于预定阈值Lth，则确定当眼睛睁开时瞳孔区域的大部分被隐藏。
如果眼睛未处于预定的眼睛状态(步骤S303中“否”)，则***控制电路112只利用在时间t＝tn1[s]时从一个图像中计算出的瞳孔特征量Feature1(tn1)来计算BlinkDegree(tn1)(步骤S304)。只利用瞳孔特征量Feature1(tn1)来计算眼睛开/合度BlinkDegree(tn1)相当于将权重w2设置为0。
如果***控制电路112确定眼睛处于预定的眼睛状态，即眼睛是窄的(步骤S303中“是”)，则***控制电路112以与第一实施例中相同的方法，通过利用瞳孔特征量及特征改变量两者，来计算眼睛开/合度(步骤S305)。更具体地说，***控制电路112通过利用在时间t＝tn1[s]时从一个图像中计算出的瞳孔特征量Feature1(tn1)及特征改变量Feature2(tn1)，来计算眼睛开/合度BlinkDegree(tn1)。特征改变量Feature2(tn1)表示瞳孔特征量Feature1(tn1)与从先前输入的图像中计算出的瞳孔特征量Feature1(tn1-n1′)(1≤n1′＜n1)之差。在这种情况下，权重w1及权重w2被设置为1∶1。
之后，***控制电路112通过对计算出的眼睛开/合度BlinkDegree(tn1)执行阈值处理来确定眼睛开/合度状态，并发送回确定结果(眼睛闭合或眼睛睁开)(步骤S306)。然后，处理结束。
如上所述，根据第二实施例，如果人的眼睛像图13中所示的人A一样，未处于预定的眼睛状态，即不是窄的，则只利用从一个图像中获得的特征量计算眼睛开/合度BlinkDegree(tn1)。如果人的眼睛像图13中所示的人B一样，处于预定眼睛状态，即是窄的，则利用从一个图像中获得的特征量及特征改变量计算眼睛开/合度BlinkDegree(tn1)。通过基于眼睛状态来变换眼睛开/合度计算方法，能够不用考虑眼睛尺寸的个体差异而以高精度确定眼睛开/合度。从而，能够以最低的处理成本实现眼睛开/合度的高精度检测。
(第三实施例)
下面将说明第三实施例。第三实施例中的装置的结构与在第一实施例中描述的图1中的结构相同，下面将省略有关它的描述，并且只说明与第一实施例的不同之处。
图14A及图14B示出了根据第三个实施例的图像传感装置100中的处理序列的示例。步骤S400至步骤S408中的处理与第一实施例的图2A中的步骤S100至步骤S108中的处理相同，因此有关它们的描述将被省略。
如果在步骤S409中用户按下第一开关(聚焦开关)(步骤S409中“是”)，则与第一实施相类似地，执行面部检测、AE/AF控制及透视显示(步骤S410至步骤S412)。在透视显示之后，在预定时间内计算瞳孔特征量(步骤S413)。更具体地说，利用与第二实施例中相同的方法，在预定时间(时间t＝t2[s]至时间t＝tn2[s])内从依次输入的多帧图像中计算瞳孔特征量。
如果用户按下第二开关(拍摄开关)(步骤S414中“是”)，则进行拍摄(步骤S415)。在这种情况下，不用考虑眼睛开/合状态进行拍摄。此时，感测到的图像被暂时地存储在图1中所示的存储器108中。除感测到的高分辨率图像之外，存储器108还存储有为在眼睛开/合确定中使用而压缩的低分辨率图像。
如果在步骤S414中用户未按下第二开关(步骤S414中“否”)，则再次执行面部检测(步骤S420)及透视显示(步骤S421)。然后，处理返回至步骤S413。
如果在步骤S415中进行了拍摄，则***控制电路112利用压缩的低分辨率图像来执行眼睛开/合确定(步骤S416)。眼睛开/合度确定的细节将在后面予以说明。
***控制电路112在图像传感装置100上显示快速浏览(步骤S417)。此时，如果在眼睛开/合度确定中确定眼睛是闭合的，则显示诸如“您希望再次拍摄？”的消息，以提示用户再次拍摄。也可以在不进行提示用户再次拍摄的任何显示的情况下强制用户拍摄。
如果用户不希望再次拍摄(步骤S418中“否”)，则***控制电路112将存储在存储器108中的高分辨率感测图像记录在闪存等中(步骤S419)。然后，处理结束。如果用户希望再次拍摄(步骤S418中“是”)，则***控制电路112针对下一帧图像进行面部检测(步骤S420)，并进行透视显示(步骤S421)。之后，处理返回至步骤S413。
图14B中所示的步骤S416中的眼睛开/合度确定的细节将参照图15来进行说明。在第三实施例中，为了避免重复描述，将省略第一实施例及第二实施例中描述的具体处理(例如，检测及计算瞳孔特征量的方法)的描述，并且只说明表示不同之处的大体序列。
当该处理开始时，***控制电路112参考在步骤S413(图14B)中从时间t＝t2[s]到时间t＝tn2[s]计算出的瞳孔特征量Feature1(t2)、……、Feature1(tn2)。***控制电路112估算在步骤S410(图14A)或步骤S420(图14B)中检测到的面部的眼睛的睁开的状态(步骤S500)。与第二实施例相类似，通过将预定时间内的瞳孔特征量Feature1(t)的最大值与最小值之间的宽度L，与预定阈值Lth进行比较，来确定眼睛是否处于预定眼睛状态。请注意，如上所述，从时间t＝t2[s]至时间t＝tn2[s]的瞳孔特征量Feature1(t2)、……、Feature1(tn2)被存储在图1中的存储器108中。
如果***控制电路112确定眼睛处于预定眼睛状态，即是窄的(步骤S501中“是”)，则***控制电路112执行权重确定(步骤S502)。权重确定的细节将在后面进行描述。在权重确定之后，与第一实施例相类似，***控制电路112进行诸如加权的处理，然后计算最终眼睛开/合度BlinkDegree(tn2)(步骤S503)。也就是说，***控制电路112利用瞳孔特征量及特征改变量两者来计算眼睛开/合度。
如果眼睛未处于预定眼睛状态，即不是窄的(步骤S501中“否”)，则与第一实施例相类似，***控制电路112进行诸如加权的处理，然后计算最终眼睛开/合度BlinkDegree(tn2)(步骤S503)。另外，在这种情况下，***控制电路112利用瞳孔特征量及特征改变量两者来计算眼睛开/合度。
之后，***控制电路112通过对计算出的眼睛开/合度BlinkDegree(tn2)执行阈值处理来确定眼睛开/合状态，并发送回确定结果(眼睛闭合或眼睛睁开)(步骤S504)。然后，处理结束。
图15中所示的步骤S502中的权重确定的细节将参照图16进行说明。在下面的描述中，利用满足关系“Lth1＞Lth2”的阈值来确定权重。请注意，权重是利用预先准备好的表格来确定的。
当该处理开始时，***控制电路112确定步骤S413(图14B)中在预定时间内计算出的瞳孔特征量Feature1(t)的宽度L是否满足L＞Lth1。如果L＞Lth1(步骤S600中“是”)，则权重w1及权重w2被确定为1∶1(步骤S601)，然后处理结束。
如果L≤Lth1(步骤S600中“否”)，则***控制电路112确定Lth1≥L＞Lth2是否保持。如果Lth1≥L＞Lth2(步骤S602中“是”)，则权重w1及权重w2被确定为1∶2(步骤S603)，然后处理结束。如果L≤Lth2(步骤S602中“否”)，则权重w1及权重w2被确定为1∶5(步骤S604)，然后处理结束。也就是说，当在预定时间内瞳孔特征量Feature1(t)的最大值与最小值之间的宽度L变小时，眼睛开/合度BlinkDegree2(tn2)的权重w2被设置得更大。
参照图15及图16描述的处理只在眼睛对应于预定眼睛状态(窄眼睛)时才改变设置的权重，但是本发明并不局限于此。例如，当人的眼睛未处于预定眼睛状态(例如眼睛是大的)时，也可以将权重w1设置得比权重w2大。
图17及图18是用于说明在检测预定眼睛状态时通过设置基于特征改变量Feature2(tn2)计算的眼睛开/合度BlinkDegree2(tn2)的权重w2所获得的效果的图。
对于眼睛未处于预定眼睛状态(即眼睛不是窄的)的人A，如图17所示，BlinkDegree1(tn2)的权重w1和眼睛开/合度BlinkDegree2(tn2)的权重w2被设置为1∶1。
作为对比，对于眼睛处于预定眼睛状态(即眼睛是窄的)的人，像图17中所示的人B，BlinkDegree1(tn2)的权重w1和眼睛开/合度BlinkDegree2(tn2)的权重w2被设置为1∶2。也就是说，权重w2被设置得更大。使用该设置，人A的状态2与人B的状态4′可以相互区别开来。另外，能够确定眼睛不是窄眼睛的人A的状态3与眼睛是窄眼睛的人B的状态5具有相同的眼睛开/合度。
对于眼睛非常窄的人，像图18中所示的人B，基于特征改变量Feature2(tn2)计算的眼睛开/合度BlinkDegree2(tn2)的权重w2被设置得非常大。使用该设置，能够不用考虑眼睛尺寸的个体差异确定眼睛开/合度。
如上所述，根据第三实施例，根据在预定时间内瞳孔特征量的改变，来确定要经历眼睛开/合状态确定的人的眼睛尺寸是否处于预定眼睛状态(窄眼睛)。基于确定结果来改变权重，然后确定眼睛开/合度。结果，能够不用考虑眼睛尺寸而以高精度检测眼睛状态。
以上描述了本发明的多个典型实施例。然而，本发明并不局限于上述实施例及附图中所示的实施例，可以在不偏离所附权利要求的范围的情况下对本发明进行适当修改。
例如，在第二实施例及第三实施例中，将眼睛是窄眼睛的状态确定为预定眼睛状态。然而，本发明并不局限于此，也可以将眼睛是大眼睛的状态确定为预定眼睛状态。另外，在这种情况下，可以采用与上面所述相同的处理。
在第二实施例及第三实施例中，通过将在预定时间内瞳孔特征量Feature1(t)的最大值与最小值之间的宽度L与预定阈值Lth进行比较，来估算预定眼睛状态。然而，本发明并不局限于此。例如，也可以通过将在预定时间内瞳孔特征量Feature1(t)的平均值与预定阈值进行比较，来估算预定眼睛状态。
也可以对在第一实施例至第三实施例中描述的一些或全部处理进行组合。例如，也可以将在第二实施例中描述的、用于变换确定眼睛开/合度的方法的处理与第三实施例中描述的权重确定组合起来执行。
本发明还包括如下情况：将软件程序直接或从远程地点提供给***或装置，并通过并入***或装置的计算机来读出并执行所提供的程序代码，来实现上述实施例的功能。在这种情况下，所提供的程序是与实施例中的附图中所示的流程图相对应的计算机程序。
因此，安装在计算机中的、用以通过计算机实现本发明的功能处理的程序代码也实现本发明。也就是说，本发明还包括用于实现本发明的功能处理的计算机程序。在这种情况下，程序可以采取目标代码、由解释器执行的程序或提供给OS(操作***)的脚本数据的形式，只要程序的功能能够被提供即可。
各种类型的计算机可读存储介质可用于提供计算机程序。
也可以通过将本发明的计算机程序从互联网主页下载到诸如硬盘的存储介质来提供程序：中。也可以通过如下方式提供程序：将构成本发明的程序的程序代码分组为多个文件，并从不同的主页上下载这些文件。
另外，基于所述程序的指令与在计算机上运行的OS等协作也实现上述实施例的功能。
虽然参照示例性实施例对本发明进行了描述，然而应理解，本发明并不局限于所公开的示例性实施例。应对所附权利要求的范围给予最宽泛的解释，以使其涵盖所有的这种变型例及等同结构和功能。

Claims (9)

1.一种信息处理装置，该信息处理装置包括：
输入单元(112、S109、S110)，用于输入图像；
面部检测单元(112、S110)，用于从所述输入单元输入的所述图像中检测人的面部；
第一计算单元(112、S204)，用于根据由所述面部检测单元检测到的所述面部，来计算与眼睛开/合状态相关联的特征量；
第二计算单元(112、S205)，用于计算由所述第一计算单元计算出的所述特征量与根据从在预定时间之前输入的图像中检测到的面部而计算出的特征量之差，作为特征改变量；以及
第三计算单元(112、S206、S207、S209、S210)，用于通过将基于所述特征量的眼睛开/合度和基于所述特征改变量的眼睛开/合度相加或加权相加，来计算由所述面部检测单元检测到的所述面部的眼睛的眼睛开/合度。
2.根据权利要求1所述的信息处理装置，该信息处理装置还包括：加权单元(112、S208)，用于为由所述第一计算单元计算出的所述特征量和由所述第二计算单元计算出的所述特征改变量设置权重，
其中，所述第三计算单元基于经所述加权单元设置了所述权重的所述特征量和所述特征改变量，来计算由所述面部检测单元检测到的所述面部的眼睛的所述眼睛开/合度。
3.根据权利要求2所述的信息处理装置，其中
所述第一计算单元根据在预定时间内从所述输入单元输入的多个图像中检测到的人的面部，来计算与所述人的眼睛开/合状态相关联的特征量，并且
当由所述第一计算单元根据所述多个图像而计算出的多个特征量中的最大值与最小值之差与预设阈值具有预定关系时，所述第三计算单元仅基于加权后的特征量，来计算由所述面部检测单元检测到的所述面部的眼睛的所述眼睛开/合度。
4.根据权利要求2所述的信息处理装置，其中
所述第一计算单元在预定时间内根据从所述输入单元输入的多个图像中检测到的人的面部，来计算与所述人的眼睛开/合状态相关联的特征量，并且
所述加权单元基于由所述第一计算单元根据所述多个图像而计算出的多个特征量，来改变为所述特征量和所述特征改变量设置的所述权重。
5.根据权利要求4所述的信息处理装置，其中
所述第一计算单元计算瞳孔特征量作为与所述眼睛开/合状态相关联的所述特征量，并且
当由所述第一计算单元根据所述多个图像而计算出的多个特征量中的最大值与最小值之差小于预定阈值时，所述加权单元将用于所述特征改变量的所述权重设置为大于为所述特征量设置的所述权重。
6.根据权利要求4所述的信息处理装置，其中
所述第一计算单元计算瞳孔特征量作为与所述眼睛开/合状态相关联的所述特征量，并且
当由所述第一计算单元根据所述多个图像而计算出的多个特征量中的最大值与最小值之差大于预定阈值时，所述加权单元将用于所述特征量的所述权重设置为大于为所述特征改变量设置的所述权重。
7.根据权利要求1所述的信息处理装置，该信息处理装置还包括：确定单元(112、S210、S211)，用于通过对由所述第三计算单元计算出的所述眼睛开/合度进行阈值处理，来进行眼睛开/合确定。
8.一种眼睛开/合度确定方法，该方法包括如下步骤：
输入图像(S109、S110)；
从在上述输入图像的步骤中输入的所述图像中检测人的面部(S110)；
根据在上述检测面部的步骤中检测到的所述面部，来计算与眼睛开/合状态相关联的特征量(S204)；
计算在上述计算特征量的步骤中计算出的所述特征量与根据从在预定时间之前输入的图像中检测到的面部而计算出的特征量之差，作为特征改变量(S205)；以及
通过将基于所述特征量的眼睛开/合度和基于所述特征改变量的眼睛开/合度相加或加权相加，来计算在上述检测面部的步骤中检测到的所述面部的眼睛的眼睛开/合度(S206、S207、S209、S210)。
9.一种图像传感装置(100)，该图像传感装置包括：
输入单元(112、S109、S110)，用于输入图像；
面部检测单元(112、S110)，用于从所述输入单元输入的所述图像中检测人的面部；
第一计算单元(112、S204)，用于根据由所述面部检测单元检测到的所述面部，来计算与眼睛开/合状态相关联的特征量；
第二计算单元(112、S205)，用于计算由所述第一计算单元计算出的所述特征量与根据从在预定时间之前输入的图像中检测到的面部而计算出的特征量之差，作为特征改变量；
第三计算单元(112、S206、S207、S209、S210)，用于通过将基于所述特征量的眼睛开/合度和基于所述特征改变量的眼睛开/合度相加或加权相加，来计算由所述面部检测单元检测到的所述面部的眼睛的眼睛开/合度；
确定单元(112、S210、S211)，用于通过对由所述第三计算单元计算出的所述眼睛开/合度进行阈值处理，来进行眼睛开/合确定；以及
图像传感单元(101、102、103、112、S114、S115)，用于基于所述确定单元的眼睛开/合度确定的结果来进行拍摄。
CN2009101186577A 2008-02-29 2009-02-27 信息处理装置、眼睛开/合度确定方法及图像传感装置 Active CN101520842B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008051121 2008-02-29
JP2008-051121 2008-02-29
JP2008051121A JP5055166B2 (ja) 2008-02-29 2008-02-29 眼の開閉度判定装置、方法及びプログラム、撮像装置

Publications (2)

Publication Number Publication Date
CN101520842A CN101520842A (zh) 2009-09-02
CN101520842B true CN101520842B (zh) 2013-05-08

Family

ID=40677684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101186577A Active CN101520842B (zh) 2008-02-29 2009-02-27 信息处理装置、眼睛开/合度确定方法及图像传感装置

Country Status (5)

Country Link
US (2) US8130281B2 (zh)
EP (1) EP2096577A3 (zh)
JP (1) JP5055166B2 (zh)
KR (1) KR101051001B1 (zh)
CN (1) CN101520842B (zh)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447976B (en) * 2007-03-30 2011-04-27 Sony Uk Ltd Apparatus and method of image capture
US8212870B2 (en) 2007-09-01 2012-07-03 Hanna Keith J Mirror system and method for acquiring biometric data
US9117119B2 (en) 2007-09-01 2015-08-25 Eyelock, Inc. Mobile identity platform
WO2009029757A1 (en) 2007-09-01 2009-03-05 Global Rainmakers, Inc. System and method for iris data acquisition for biometric identification
US9002073B2 (en) 2007-09-01 2015-04-07 Eyelock, Inc. Mobile identity platform
US9036871B2 (en) 2007-09-01 2015-05-19 Eyelock, Inc. Mobility identity platform
US8331655B2 (en) * 2008-06-30 2012-12-11 Canon Kabushiki Kaisha Learning apparatus for pattern detector, learning method and computer-readable storage medium
JP5361547B2 (ja) * 2008-08-07 2013-12-04 キヤノン株式会社 撮像装置及び撮影方法、プログラム
JP5538967B2 (ja) 2009-06-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP5588165B2 (ja) * 2009-12-24 2014-09-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US20110205383A1 (en) * 2010-02-24 2011-08-25 Research In Motion Limited Eye blink avoidance during image acquisition in a mobile communications device with digital camera functionality
JP5600478B2 (ja) * 2010-06-01 2014-10-01 キヤノン株式会社 眼科撮影装置及びその制御方法
JP2012038106A (ja) 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
JP5675214B2 (ja) 2010-08-18 2015-02-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20120076368A1 (en) * 2010-09-27 2012-03-29 David Staudacher Face identification based on facial feature changes
JP2012113621A (ja) * 2010-11-26 2012-06-14 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
BR112013021160B1 (pt) 2011-02-17 2021-06-22 Eyelock Llc Método e aparelho para processar imagens adquiridas usando um único sensor de imagens
JP5755012B2 (ja) 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
EP2546782B1 (en) 2011-07-11 2014-06-25 Accenture Global Services Limited Liveness detection
JP5848551B2 (ja) 2011-08-26 2016-01-27 キヤノン株式会社 学習装置、学習装置の制御方法、検出装置、検出装置の制御方法、およびプログラム
JP5896661B2 (ja) 2011-09-14 2016-03-30 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5886616B2 (ja) 2011-11-30 2016-03-16 キヤノン株式会社 物体検出装置、物体検出装置の制御方法、およびプログラム
JP5913940B2 (ja) 2011-12-01 2016-05-11 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム
JP5836095B2 (ja) 2011-12-05 2015-12-24 キヤノン株式会社 画像処理装置、画像処理方法
WO2013160524A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Imaging
WO2013166477A2 (en) * 2012-05-04 2013-11-07 Tearscience, Inc. Apparatuses and methods for determining tear film break-up time and/or for detecting lid margin contact and blink rates, particularly for diagnosing, measuring, and/or analyzing dry eye conditions and symptoms
JP5999013B2 (ja) * 2013-04-12 2016-09-28 株式会社デンソー 開眼状態判定装置
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
US9305225B2 (en) * 2013-10-14 2016-04-05 Daon Holdings Limited Methods and systems for determining user liveness
CN110121030B (zh) * 2013-11-22 2020-11-24 华为终端有限公司 一种保存拍摄图像的方法以及电子设备
JP6351243B2 (ja) 2013-11-28 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法
CN104751114B (zh) * 2013-12-27 2018-09-18 由田新技股份有限公司 通过眼部开闭状态控制的验证***及其手持式控制装置
US9549118B2 (en) 2014-03-10 2017-01-17 Qualcomm Incorporated Blink and averted gaze avoidance in photographic images
JP6410450B2 (ja) 2014-03-31 2018-10-24 キヤノン株式会社 オブジェクト識別装置、オブジェクト識別方法及びプログラム
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9639742B2 (en) 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9460493B2 (en) 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override
US9373179B2 (en) 2014-06-23 2016-06-21 Microsoft Technology Licensing, Llc Saliency-preserving distinctive low-footprint photograph aging effect
US9717006B2 (en) 2014-06-23 2017-07-25 Microsoft Technology Licensing, Llc Device quarantine in a wireless network
US10007845B2 (en) 2015-07-06 2018-06-26 Pixart Imaging Inc. Eye state detecting method and eye state detecting system
CN110263749A (zh) * 2015-07-14 2019-09-20 原相科技股份有限公司 眼睛状态侦测方法以及眼睛状态侦测***
JP2017102748A (ja) * 2015-12-02 2017-06-08 日本放送協会 瞳画像学習装置、瞳位置検出装置及びそのプログラム
RU2731676C2 (ru) * 2016-01-19 2020-09-07 Ниссан Мотор Ко., Лтд. Способ управления устройством отображения и устройство отображения
CN105827969A (zh) * 2016-03-29 2016-08-03 乐视控股（北京）有限公司 一种智能拍照的方法、装置及移动设备
JP6853496B2 (ja) * 2016-09-21 2021-03-31 株式会社ニデック 検眼装置及び検眼プログラム
EP3354190B1 (de) * 2017-01-27 2018-12-05 Carl Zeiss Vision International GmbH Computerimplementiertes verfahren zur detektion eines hornhautscheitels
CN109508580B (zh) * 2017-09-15 2022-02-25 阿波罗智能技术(北京)有限公司 交通信号灯识别方法和装置
US10742399B2 (en) 2017-12-28 2020-08-11 Intel Corporation Context-aware image compression
CN108156387A (zh) * 2018-01-12 2018-06-12 深圳奥比中光科技有限公司 通过检测眼睛视线自动结束摄像的装置及方法
CN108200340A (zh) * 2018-01-12 2018-06-22 深圳奥比中光科技有限公司 能够检测眼睛视线的拍照装置及拍照方法
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US10275670B1 (en) 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions
US10776644B1 (en) * 2018-03-07 2020-09-15 State Farm Mutual Automobile Insurance Company Image analysis technologies for assessing safety of vehicle operation
CN110799986B (zh) * 2018-04-25 2020-09-18 北京嘀嘀无限科技发展有限公司 一种基于面部特征点的眨眼动作识别的***和方法
US11254270B1 (en) 2018-05-02 2022-02-22 State Farm Mutual Automobile Insurance Company Technologies for using image analysis to facilitate adjustments of vehicle components
US10684681B2 (en) 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
JP7183590B2 (ja) * 2018-06-29 2022-12-06 株式会社ニデック 眼科画像処理装置、ｏｃｔ装置、および眼科画像処理プログラム
KR102225002B1 (ko) * 2018-07-25 2021-03-10 홍익대학교 산학협력단 심층신경망 기반 객체 검출 장치 및 방법
CN111382648A (zh) * 2018-12-30 2020-07-07 广州市百果园信息技术有限公司 人脸动态表情的检测方法、装置、设备及存储介质
EP3912013A1 (en) 2019-01-16 2021-11-24 Pupil Labs GmbH Methods for generating calibration data for head-wearable devices and eye tracking system
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
USD963407S1 (en) 2019-06-24 2022-09-13 Accenture Global Solutions Limited Beverage dispensing machine
US10726246B1 (en) 2019-06-24 2020-07-28 Accenture Global Solutions Limited Automated vending machine with customer and identification authentication
CN110363135B (zh) * 2019-07-10 2022-09-27 广州市百果园信息技术有限公司 人眼闭合程度的确定方法、眼睛控制方法和装置
CN110688611B (zh) * 2019-10-13 2023-03-07 重庆交通大学 环境因素对在役隧道行车安全的评价方法及装置
EP3869395A1 (en) 2020-02-21 2021-08-25 Accenture Global Solutions Limited Identity and liveness verification

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818930A (zh) * 2006-03-23 2006-08-16 上海交通大学 基于识别模型的多神经网络结合的睁眼检测方法
CN1889093A (zh) * 2005-06-30 2007-01-03 上海市延安中学 一种用于人眼定位和人眼张开闭合的识别方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
JP3350296B2 (ja) 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JPH11242744A (ja) 1998-02-24 1999-09-07 Sharp Corp 瞬き検出方法及び瞬き促進装置
JP2000123188A (ja) * 1998-10-20 2000-04-28 Toyota Motor Corp 眼開閉判定装置
JP2000311238A (ja) * 1999-04-28 2000-11-07 Niles Parts Co Ltd 眼の開度検出装置
JP2001211377A (ja) * 2000-01-26 2001-08-03 Fuji Photo Film Co Ltd デジタルカメラ
US7054850B2 (en) 2000-06-16 2006-05-30 Canon Kabushiki Kaisha Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements
JP2002358523A (ja) 2001-05-31 2002-12-13 Canon Inc パターン認識処理装置及びその方法、画像入力装置
JP4846924B2 (ja) 2001-05-31 2011-12-28 キヤノン株式会社 パターン認識装置
JP4082203B2 (ja) * 2002-12-13 2008-04-30 日産自動車株式会社 開閉眼判定装置
AU2003289116A1 (en) 2002-12-16 2004-07-09 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
EP1650711B1 (en) * 2003-07-18 2015-03-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
WO2005059811A1 (en) 2003-12-16 2005-06-30 Canon Kabushiki Kaisha Pattern identification method, apparatus, and program
JP4217664B2 (ja) 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
JP4617121B2 (ja) * 2004-09-01 2011-01-19 学校法人東京理科大学 個人認証装置及び個人認証方法
ATE526866T1 (de) * 2005-03-04 2011-10-15 Sleep Diagnostics Pty Ltd Wachheitsmessung
JP5008269B2 (ja) 2005-04-08 2012-08-22 キヤノン株式会社 情報処理装置、情報処理方法
EP1748378B1 (en) * 2005-07-26 2009-09-16 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
JP4742921B2 (ja) 2006-03-13 2011-08-10 日産自動車株式会社 覚醒度推定装置
JP2008059197A (ja) 2006-08-30 2008-03-13 Canon Inc 画像照合装置、画像照合方法、コンピュータプログラム及び記憶媒体
JP2009086749A (ja) 2007-09-27 2009-04-23 Canon Inc パターン識別手法、識別用パラメータ学習方法、及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1889093A (zh) * 2005-06-30 2007-01-03 上海市延安中学 一种用于人眼定位和人眼张开闭合的识别方法
CN1818930A (zh) * 2006-03-23 2006-08-16 上海交通大学 基于识别模型的多神经网络结合的睁眼检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2004-192552A 2004.07.08
JP特开2007-34436A 2007.02.08
JP特开平11-66304A 1999.03.09

Also Published As

Publication number Publication date
KR101051001B1 (ko) 2011-07-26
EP2096577A2 (en) 2009-09-02
JP2009211180A (ja) 2009-09-17
CN101520842A (zh) 2009-09-02
US20120148159A1 (en) 2012-06-14
US8130281B2 (en) 2012-03-06
KR20090093902A (ko) 2009-09-02
US8624994B2 (en) 2014-01-07
US20090219405A1 (en) 2009-09-03
JP5055166B2 (ja) 2012-10-24
EP2096577A3 (en) 2013-11-06

Similar Documents

Publication Publication Date Title
CN101520842B (zh) 信息处理装置、眼睛开/合度确定方法及图像传感装置
US10956715B2 (en) Decreasing lighting-induced false facial recognition
KR100947990B1 (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
CN101783019B (zh) 被摄体跟踪设备及其控制方法、摄像设备以及显示设备
CN109670397A (zh) 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN108428214B (zh) 一种图像处理方法及装置
EP2336949B1 (en) Apparatus and method for registering plurality of facial images for face recognition
EP2866170A2 (en) Image processing device and image processing method
US20110241991A1 (en) Tracking object selection apparatus, method, program and circuit
US20100027853A1 (en) Image encryption system and method for automatically encrypting image of at least partially nude person and digital image capture device having same
JP4751776B2 (ja) 電子撮像装置及び個人特定システム
CN111242090B (zh) 基于人工智能的人脸识别方法、装置、设备及介质
CN102103754A (zh) 被摄体跟踪设备、被摄体区域提取设备及其控制方法
CN102014251A (zh) 图像处理装置和图像处理方法
CN103905727A (zh) 被摄体区域跟踪设备及其控制方法
CN112036331A (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN112560649A (zh) 一种行为动作检测方法、***、设备及介质
CN101860661B (zh) 图像处理设备和图像处理方法
CN114445864A (zh) 一种手势识别方法及装置、存储介质
JP2013210778A (ja) 撮像装置
US20230401894A1 (en) Behavior estimation device, behavior estimation method, and recording medium
WO2020217426A1 (ja) 教師データ生成装置
WO2020217425A1 (ja) 教師データ生成装置
CN111046696A (zh) 活体识别方法与电子装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant