JP5790762B2 - 瞼検出装置 - Google Patents

瞼検出装置 Download PDF

Info

Publication number
JP5790762B2
JP5790762B2 JP2013523729A JP2013523729A JP5790762B2 JP 5790762 B2 JP5790762 B2 JP 5790762B2 JP 2013523729 A JP2013523729 A JP 2013523729A JP 2013523729 A JP2013523729 A JP 2013523729A JP 5790762 B2 JP5790762 B2 JP 5790762B2
Authority
JP
Japan
Prior art keywords
face
eyelid
range
image
presence range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013523729A
Other languages
English (en)
Other versions
JPWO2013008305A1 (ja
Inventor
清人 埴田
清人 埴田
嘉修 竹前
嘉修 竹前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JPWO2013008305A1 publication Critical patent/JPWO2013008305A1/ja
Application granted granted Critical
Publication of JP5790762B2 publication Critical patent/JP5790762B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、顔画像から上下瞼の位置を検出する瞼検出に関する。
従来、開眼状態の検出などを行うために、顔画像から上下瞼の位置を検出する技術が知られている(例えば、特許文献1参照)。特許文献1には、記憶された顔の姿勢に対応する瞼形状と検出された瞼の形状とに基づいて、眼の開閉状態を検出することが記載されている。
特開2005−078311号公報
しかしながら、特許文献1に記載の技術は、赤目現象や眼鏡などによる外乱によっては、瞼を正確に検出することができないという問題がある。例えば、赤目の周囲にはエッジが発生するため、このエッジを上下瞼の位置として誤検出する可能性がある。また、顔画像に写り込んだ眼鏡フレームのエッジが強いと、この眼鏡フレームを上下瞼の位置として誤検出する可能性がある。
そこで、本発明は、赤目現象や眼鏡などによる外乱に対しても高い精度で上下瞼の位置を検出することができる瞼検出装置を提供することを課題とする。
本発明に係る瞼検出装置は、顔画像から上下瞼の位置を検出する瞼検出装置であって、顔画像から検出される顔の特徴点を三次元顔モデルに適合させることにより推定される顔向きに基づいて、上下瞼の位置を検出する。
本発明に係る瞼検出装置によれば、顔の特徴点を三次元顔モデルに適合させることにより顔向きを推定することができる。そして、顔向きに応じて上下瞼の存在し得る範囲が制限されることから、このように推定された顔向きに基づいて上下瞼の位置を検出することで、上下瞼の存在し得る範囲のみから上下瞼の位置を検出することができる。これにより、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱による影響を排除することができるため、高精度に上下瞼の位置を検出することができる。
また、顔向きから推定される上下瞼の曲線モデルを、顔画像のエッジが強調されたエッジ画像に照合させて上下瞼の位置を検出するものとすることができる。このように、顔向きから推定される上下瞼の曲線モデルをエッジ画像に照合させることで、上下瞼の位置を適切に検出することができる。
また、運転中は、顔向きに応じて上下瞼を検出する上下方向の角度範囲を制限するものとすることができる。運転中は顔向きに関わらず前方を注視しているため、上下瞼の存在する範囲が特定される。そこで、運転中は、顔向きに応じて上下瞼を検出する上下方向の角度範囲を制限することで、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱による影響を適切に排除することができる。
この場合、顔向きが上向きである場合は、顔向きが正面向きである場合よりも、上瞼の上限角度を低くすることが好ましい。このように、顔向きが上向きである場合は、視線を下に向けている可能性が高いため、顔向きが正面向きである場合よりも上瞼の上限角度を低くすることで、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱の影響を適切に排除することができる。
また、顔向きが下向きである場合は、顔向きが正面向きである場合よりも、上下瞼の下限角度を高くすることが好ましい。このように、顔向きが下向きである場合は、視線を上に向けている可能性が高いため、顔向きが正面向きである場合よりも上下瞼の下限角度を高くすることで、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱の影響を適切に排除することができる。
本発明によれば、赤目現象や眼鏡などによる外乱に対しても高い精度で上下瞼の位置を検出することができる。
実施形態に係る瞼検出装置のブロック構成を示した図である。 実施形態に係る瞼検出装置の赤目検出処理動作を示すフローチャートである。 画像センサが撮像した画像情報の一例を示した図である。 顔位置領域の一例を示した図である。 3D顔モデルの一例を示す概要図である。 顔向きが正面向きである場合の三次元眼球モデルを示した図である。 顔向きが上向きである場合の三次元眼球モデルを示した図である。 顔向きが下向きである場合の三次元眼球モデルを示した図である。 上下瞼の検出方法を説明するための概要図である。 上下瞼の位置の誤検出を説明するための概要図である。
以下、図面を参照して、本発明に係る瞼検出装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。
本実施形態に係る瞼検出装置は、上下瞼の位置から算出される開眼度からドライバの眠気度を推定して車両の運転支援制御を行う運転支援制御装置などに搭載されるものである。なお、上下瞼の位置とは、上瞼の位置及び下瞼の位置をいう。
図1は、実施形態に係る瞼検出装置のブロック構成を示した図である。図1に示すように、実施形態に係る瞼検出装置1は、画像センサ10と、車速センサ20と、ECU(Electronic Control Unit)30と、を備えている。
画像センサ10は、ドライバの顔を撮像するセンサである。画像センサ10としては、例えば、車両のステアリングコラムに固定されたCCDカメラ等が用いられる。画像センサ10が撮像した画像(顔画像)は、各画素の位置や色情報などを表す画像情報で構成されている。そして、画像センサ10は、撮像した画像の画像情報をECU30へ出力する。
車速センサ20は、車両の車速を計測するセンサである。車速センサ20は、例えば、車両の各車輪の回転速度を計測することで、車両の車速を計測する。そして、車速センサ20は、計測した車速をECU30へ出力する。
ECU30は、電子制御を行う自動車デバイスのコンピュータであり、CPU(Central Processing Unit)、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
このECU30は、画像センサ10及び車速センサ20に接続されており、車速判定部31、顔位置・顔特徴点検出部32、顔姿勢推定部33、瞼範囲設定部34及び瞼検出部35を備えている。
車速判定部31は、車両が走行しているか否かを判定する機能を有している。車速判定部31は、例えば、車速センサ20から出力された車速が0km/hよりも高い場合は、車両が走行していると判定する。
顔位置・顔特徴点検出部32は、画像センサ10が撮像した画像から、ドライバの顔の特徴点を検出する機能を有している。具体的に説明すると、顔位置・顔特徴点検出部32は、まず、画像センサ10が撮像した画像全体を探索範囲として、ニューラルネットワーク(Neural Network)やブースティング(Boosting)等の統計手法により顔位置を発見する。そして、顔位置・顔特徴点検出部32は、この発見した顔位置を含む顔位置領域を設定し、この設定した顔位置領域から、ニューラルネットワークやブースティング等の統計手法により顔の特徴点を検出する。顔の特徴点としては、例えば、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等が挙げられる。なお、顔の各特徴点の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
顔姿勢推定部33は、顔位置・顔特徴点検出部32が検出した顔の特徴点から、ドライバの顔姿勢(顔向き)を推定する機能を有している。具体的に説明すると、顔姿勢推定部33は、まず、顔位置・顔特徴点検出部32が検出した顔の特徴点の座標位置に三次元顔モデル(3D顔モデル)をフィッティングさせる。そして、顔姿勢推定部33は、このフィッティングさせた3D顔モデルの姿勢から、ドライバの顔姿勢(顔向き)を推定する。なお、3D顔モデルには三次元眼球モデルが含まれており、三次元眼球モデルの視線方向や三次元眼球モデルを覆う上下瞼の位置なども表すことが可能となっている。
瞼範囲設定部34は、顔姿勢推定部33が推定した顔姿勢に基づいて、上瞼の位置が存在し得る範囲である上瞼存在範囲と、下瞼の位置が存在し得る範囲である下瞼存在範囲と、を設定する機能を有している。運転中のドライバは、顔向きを上下方向の如何なる角度に向けていても、前方を注視していると考えられる。このため、運転中は、顔向きの上下方向の角度に対応して、上瞼存在範囲及び下瞼存在範囲が特定される。また、運転中は、顔を上方や下方に向けると、顔を正面に向けた場合に比べて、瞼の開く角度が狭くなる。そこで、瞼範囲設定部34は、顔姿勢推定部33が推定した顔姿勢(顔向き)に応じて、上瞼存在範囲及び下瞼存在範囲を設定する。この上瞼存在範囲及び下瞼存在範囲は、三次元眼球モデルにおける角度範囲で表される。そして、瞼範囲設定部34は、三次元眼球モデルにおける角度範囲で表された上瞼存在範囲及び下瞼存在範囲を、顔位置・顔特徴点検出部32が設定した二次元の顔位置領域に投影することで、二次元で表された上瞼存在範囲及び下瞼存在範囲を顔位置領域に設定する。
瞼検出部35は、瞼範囲設定部34が設定した上瞼存在範囲及び下瞼存在範囲において、上下瞼の位置を検出する機能を有している。具体的に説明すると、瞼検出部35は、顔位置・顔特徴点検出部32が設定した顔位置領域に、例えばソーベルフィルタを適用して、エッジを強調した画像であるエッジ画像を生成する。また、瞼検出部35は、瞼範囲設定部34が設定した上瞼存在範囲及び下瞼存在範囲において、顔位置・顔特徴点検出部32が検出した目尻及び目頭の特徴点を始点及び終点とする複数の曲線をエッジ画像に投影する。そして、瞼検出部35は、その曲線上のエッジの強度(エッジ画像の画素値)から、上下瞼の位置を検出する。すなわち、瞼検出部35は、上瞼存在範囲及び下瞼存在範囲に投影される複数の曲線(上下瞼の曲線モデル)をエッジ画像に照合させることで、上下瞼の位置を検出する。なお、上下瞼の位置の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
次に、実施形態に係る瞼検出装置1の動作について説明する。図2は、実施形態に係る瞼検出装置の瞼検出処理動作を示すフローチャートである。図2に示す処理は、ECU30の制御により行われ、例えば、イグニッションオンされたタイミングからイグニッションオフされるまでの間、所定の間隔で繰返し行われる。
図2に示すように、まず、ECU30は、画像センサ10が撮像したドライバの画像を入力する(ステップS1)。ステップS1では、画像センサ10が撮像した図3に示す画像F1を入力する。図3は、画像センサが撮像した画像の一例である。
次に、ECU30は、車両が走行中であるか否かを判定する(ステップS2)。ステップS2の処理は、車速判定部31が行う。車速判定部31は、車速センサ20から出力された車速が0km/hよりも大きい場合は、走行中であると判定し、車速センサ20から出力された車速が0km/hである場合は、走行中ではないと判定する。
そして、ECU30は、走行中ではないと判定すると(ステップS2:NO)、瞼検出処理を終了する。
一方、ECU30は、走行中であると判定すると(ステップS2:YES)、次に、顔位置・顔特徴点を検出する(ステップS3)。ステップS3の処理は、顔位置・顔特徴点検出部32が行う。顔位置・顔特徴点検出部32は、まず、ステップS1で入力した画像F1の全体を探索範囲として、ニューラルネットワークやブースティング等の統計手法により顔位置を発見する。次に、顔位置・顔特徴点検出部32は、顔位置領域G1を設定する。図4は、顔の特徴点検出方法を説明するための概要図であり、顔位置領域G1を示している。図4に示すように、顔位置領域G1は、この発見した顔位置を含む領域であり、画像F1の一領域である。そして、顔位置・顔特徴点検出部32は、この設定した顔位置領域G1を探索範囲として、ニューラルネットワークやブースティング等の統計手法により、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等の特徴点を検出する。
次に、ECU30は、ステップS3で検出した顔の特徴点から、ドライバの顔姿勢(顔向き)を推定する(ステップS4)。ステップS4は、顔姿勢推定部33が行う。顔姿勢推定部33は、まず、ステップS3において顔位置・顔特徴点検出部32が検出した顔の特徴点の座標位置に3D顔モデルをフィッティングさせる。
図5は、3D顔モデルの一例を示す概要図である。図5に示すように、3D顔モデルでは、顔の上下方向に沿ったYm方向、顔の左右方向に沿ったXm方向、顔の前後方向に沿ったZm方向とし、Ym軸周りの回転をヨー、Xm軸周りの回転をピッチ、Zm軸周りの回転をロールとしている。そして、3D顔モデルは、頭部回転中心からの距離を特徴点ごとに保持したものとなる。そこで、顔姿勢推定部33は、この3D顔モデルを顔の特徴点にフィッティングさせて、最も一致するときの位置及び回転(ヨー、ピッチ、ロール)をその時点での顔姿勢とする。なお、顔姿勢の推定方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。そして、顔姿勢推定部33は、このフィッティングさせた3D顔モデルの姿勢から、ドライバの顔姿勢(顔向き)を推定する。
次に、ECU30は、ステップS3で推定した顔姿勢(顔向き)に基づいて上瞼存在範囲及び下瞼存在範囲を設定する(ステップS5)。ステップS5は、瞼範囲設定部34が行う。瞼範囲設定部34は、まず、ステップS3で顔姿勢推定部33が推定した顔向きに応じて、三次元眼球モデルにおける角度範囲で表される上瞼存在範囲及び下瞼存在範囲を設定する。
ここで、図6〜図8を参照して、上瞼存在範囲及び下瞼存在範囲の設定例について説明する。図6は、顔向きが正面向きである場合の三次元眼球モデルを示した図である。図7は、顔向きが上向きである場合の三次元眼球モデルを示した図である。図8は、顔向きが下向きである場合の三次元眼球モデルを示した図である。図6〜図8において、Oは三次元眼球モデルの眼球中心を示しており、EUprは上瞼を示しており、ELwrは下瞼、φUprは上瞼の位置を示しており、φLwrは下瞼の位置を示している。なお、以下に説明する上瞼存在範囲及び下瞼存在範囲は、一例であり、他の値を採用しても良い。
瞼範囲設定部34は、まず、ステップS3で顔姿勢推定部33が推定した顔向きが、正面向き、上向き及び下向きの何れであるかを判定する。この判定は、顔向きが真正面を向いているときの上下方向の角度を0°とした場合に、顔向きの上下方向の角度が−10°以上10°以下の範囲にある場合を正面向きと判定し、顔向きの上下方向の角度が10°よりも大きい場合を上向きと判定し、顔向きの上下方向の角度が−10°よりも小さい場合を下向きと判定する。
そして、瞼範囲設定部34は、顔向きが正面向きであると判定すると、図6に示すように、上瞼の位置φUprが存在し得る上瞼存在範囲を、−45°以上55°以下(−45°≦φUpr≦55°)に設定し、下瞼の位置φLwrが存在し得る下瞼存在範囲を、−45°以上−15°以下(−45°≦φLwr≦−15°)に設定する。
また、瞼範囲設定部34は、顔向きが上向きであると判定すると、図7に示すように、上瞼の位置φUprが存在し得る上瞼存在範囲を、−45°以上30°以下(−45°≦φUpr≦30°)に設定し、下瞼の位置φLwrが存在し得る下瞼存在範囲を、−45°以上−15°以下(−45°≦φLwr≦−15°)に設定する。すなわち、顔向きが上向きであると判定した場合は、顔向きが正面向きであると判定した場合よりも、上瞼存在範囲の上限角度を25°小さくする。
また、瞼範囲設定部34は、顔向きが下向きであると判定すると、図8に示すように、上瞼の位置φUprが存在し得る上瞼存在範囲を、−30°以上55°以下(−30°≦φUpr≦55°)に設定し、下瞼の位置φLwrが存在し得る下瞼存在範囲を、−30°以上−15°以下(−30°≦φLwr≦−15°)に設定する。すなわち、顔向きが下向きであると判定した場合は、顔向きが正面向きであると判定した場合よりも、上瞼存在範囲及び下瞼存在範囲の下限角度を15°大きくする。
このようにして、顔向きに対応した上瞼存在範囲及び下瞼存在範囲を設定すると、瞼範囲設定部34は、次に、三次元眼球モデルにおける角度範囲で表された上瞼存在範囲及び下瞼存在範囲を、ステップS3において顔位置・顔特徴点検出部32が設定した二次元の顔位置領域に投影し、顔位置領域における上瞼存在範囲及び下瞼存在範囲を設定する。
次に、ECU30は、ステップS5において瞼範囲設定部34が設定した上瞼存在範囲及び下瞼存在範囲において、上瞼の位置及び下瞼の位置を検出する(ステップS6)。ステップS6の処理は、瞼検出部35が行う。
ここで、図9を参照して、ステップS4における上下瞼の検出方法について説明する。図9は、上下瞼の検出方法を説明するための概要図である。図9に示すように、瞼検出部35は、ステップS3において顔位置・顔特徴点検出部32が設定した顔位置領域G1に対して、例えばソーベルフィルタを適用して、エッジを強調した画像であるエッジ画像G3を生成する。次に、瞼検出部35は、ステップS5において瞼範囲設定部34が設定した上瞼存在範囲及び下瞼存在範囲において、ステップS3で検出した目尻及び目頭の特徴点を始点及び終点とする複数の曲線を投影する。曲線として、例えば、ベジェ曲線が用いられる。このとき、瞼検出部35は、瞼範囲設定部34が設定した下瞼存在範囲にのみ、下瞼の候補としての曲線を投影し、瞼範囲設定部34が設定した上瞼存在範囲にのみ、上瞼の候補としての曲線を投影する。すなわち、瞼検出部35は、瞼範囲設定部34が設定した下瞼存在範囲外に、下瞼の候補としての曲線を投影せず、瞼範囲設定部34が設定した上瞼存在範囲外に、上瞼の候補としての曲線を投影しない。例えば、図9に示した曲線q1は、瞼範囲設定部34が設定した下瞼存在範囲よりも上側に位置するため、下瞼の候補として投影しない。また、図9に示した曲線q2は、瞼範囲設定部34が設定した上瞼存在範囲及び下瞼存在範囲よりも下側に位置するため、上瞼及び下瞼の候補として投影しない。また、図9に示した曲線q3は、瞼範囲設定部34が設定した上瞼存在範囲及び下瞼存在範囲よりも上側に位置するため、上瞼及び下瞼の候補として投影しない。
このようにしてエッジ画像G3に複数の曲線を投影すると、瞼検出部35は、その曲線上のエッジの強度(エッジ画像の画素値)を算出し、エッジ強度の強い曲線を、上瞼の位置を示す上瞼曲線及び下瞼の位置を示す下瞼曲線として検出する。そして、瞼検出処理を終了する。
ここで、図10を参照して、瞼範囲設定部34が上瞼存在範囲及び下瞼存在範囲を設定せずに、瞼検出部35が上下瞼の位置を検出する場合について説明する。図10は、上下瞼の位置の誤検出を説明するための概要図である。図10(a)に示すように、夜間に赤目現象が発生すると、赤目付近に不要なエッジが発生するため、この赤目付近に発生した不要なエッジを上下瞼の位置として誤検出する可能性がある。また、図10(b)及び(c)に示すように、ドライバが眼鏡をかけていると、眼鏡フレームのエッジが強くなるため、この眼鏡フレームを上下瞼の位置として誤検出することがある。
しかしながら、本実施形態では、瞼範囲設定部34が設定した上瞼存在範囲及び下瞼存在範囲において瞼検出部35が上下瞼の位置を検出するため、図10に示すような上下瞼の位置の誤検出を防止することができる。例えば、図9に示す曲線q1は、瞼範囲設定部34が設定した下瞼存在範囲よりも上側に位置することから下瞼の候補として投影されないため、図10(a)に示すように、赤目付近に発生した不要なエッジを上下瞼の位置として誤検出することがない。また、図9に示す曲線q2は、瞼範囲設定部34が設定した下瞼存在範囲よりも下側に位置することから下瞼の候補として投影されないため、図10(b)に示すように、下側の眼鏡フレームを下瞼の位置として誤検出することがない。また、図9に示す曲線q3は、瞼範囲設定部34が設定した上瞼存在範囲よりも上側に位置することから上瞼の候補として投影されないため、図10(c)に示すように、上側の眼鏡フレームを上瞼の位置として誤検出することがない。
以上説明したように、本実施形態に係る瞼検出装置1によれば、運転中は、顔向きに応じて上下瞼の位置が存在し得る上瞼存在範囲及び下瞼存在範囲を設定し、この設定した上瞼存在範囲及び下瞼存在範囲において上下瞼の位置を検出するため、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱による影響を排除することができる。これにより、高精度に上下瞼の位置を検出することができる。
そして、上瞼存在範囲及び下瞼存在範囲において上下瞼の候補となる曲線をエッジ画像に照合させることで、上下瞼の位置を適切に検出することができる。
また、顔向きが上向きである場合は、顔向きが正面向きである場合よりも上瞼存在範囲における上瞼の上限角度を低くし、顔向きが下向きである場合は、顔向きが正面向きである場合よりも上瞼存在範囲及び下瞼存在範囲における上下瞼の下限角度を高くすることで、上下瞼の存在し得ない範囲に生じる赤目現象や眼鏡による外乱の影響を適切に排除することができる。
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、瞼範囲設定部34が上瞼存在範囲及び下瞼存在範囲を設定し、瞼検出部35が上瞼存在範囲及び下瞼存在範囲から上下瞼の位置を検出するものとして説明したが、顔向きに基づいて上下瞼の位置を検出することができれば、如何なる手段により上下瞼の位置を検出するものとしてもよい。例えば、上瞼存在範囲及び下瞼存在範囲を設定することなく、顔向きからエッジ画像における上下瞼の存在し得る範囲を算出し、この範囲において上下瞼の候補となる曲線を投影するものとしてもよい。
また、上記実施形態では、瞼範囲設定部34が、三次元眼球モデルにおける角度範囲で表される上瞼存在範囲及び下瞼存在範囲を設定した後、二次元の上瞼存在範囲及び下瞼存在範囲を顔位置領域に設定するものとして説明したが、直接、二次元の上瞼存在範囲及び下瞼存在範囲を顔位置領域に設定するものとしてもよい。
顔画像から上下瞼の位置を検出する瞼検出装置として利用可能である。
1…瞼検出装置、10…画像センサ、20…車速センサ、30…ECU、31…車速判定部、32…顔位置・顔特徴点検出部、33…顔姿勢推定部、34…瞼範囲設定部、35…瞼検出部、F1…画像、G1…顔位置領域、G3…エッジ画像。

Claims (3)

  1. 顔画像から上下瞼の位置を検出する瞼検出装置であって、
    前記顔画像から検出される顔の特徴点を三次元顔モデルに適合させることにより推定される顔向きから推定される上下瞼の曲線モデルを、前記顔画像のエッジが強調されたエッジ画像に照合させて、上下瞼の位置を検出し、
    運転中は、前記顔向きに応じて上下瞼を検出する上下方向の角度範囲を制限する、瞼検出装置。
  2. 前記顔向きが上向きである場合は、前記顔向きが正面向きである場合よりも、上瞼の上限角度を低くする、請求項に記載の瞼検出装置。
  3. 前記顔向きが下向きである場合は、前記顔向きが正面向きである場合よりも、上下瞼の下限角度を高くする、請求項に記載の瞼検出装置。
JP2013523729A 2011-07-11 2011-07-11 瞼検出装置 Active JP5790762B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/065825 WO2013008305A1 (ja) 2011-07-11 2011-07-11 瞼検出装置

Publications (2)

Publication Number Publication Date
JPWO2013008305A1 JPWO2013008305A1 (ja) 2015-02-23
JP5790762B2 true JP5790762B2 (ja) 2015-10-07

Family

ID=47505624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013523729A Active JP5790762B2 (ja) 2011-07-11 2011-07-11 瞼検出装置

Country Status (4)

Country Link
US (1) US9202106B2 (ja)
JP (1) JP5790762B2 (ja)
DE (1) DE112011105441B4 (ja)
WO (1) WO2013008305A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105164999B (zh) * 2013-04-17 2018-08-10 松下知识产权经营株式会社 图像处理方法及图像处理装置
KR101613091B1 (ko) * 2014-04-24 2016-04-20 한국과학기술연구원 시선 추적 장치 및 방법
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
EP3259734A4 (en) * 2015-02-20 2019-02-20 Seeing Machines Limited GLARE REDUCTION
CN105125174A (zh) * 2015-08-03 2015-12-09 刘天键 一种可重构眼镜式疲劳检测设备及软件处理方法
CN108135469B (zh) * 2015-08-21 2021-03-09 奇跃公司 使用眼睛姿态测量的眼睑形状估计
AU2016340222B2 (en) 2015-10-16 2021-07-01 Magic Leap, Inc. Eye pose identification using eye features
CN105662407A (zh) * 2015-12-31 2016-06-15 清华大学苏州汽车研究院(吴江) 一种基于表面肌电技术的驾驶员疲劳检测***
CN105726046B (zh) * 2016-01-29 2018-06-19 西南交通大学 一种驾驶员警觉度状态检测方法
CN106446766A (zh) * 2016-07-25 2017-02-22 浙江工业大学 一种视频中人脸特征点的稳定检测方法
CN107862732B (zh) * 2017-11-08 2020-06-19 清华大学 实时的三维眼皮重建方法及装置
CN109886697B (zh) * 2018-12-26 2023-09-08 巽腾(广东)科技有限公司 基于表情组别的操作确定方法、装置及电子设备
JP2021026420A (ja) * 2019-08-02 2021-02-22 オムロン株式会社 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びコンピュータプログラム
CN111559382B (zh) * 2020-05-09 2021-11-02 Oppo广东移动通信有限公司 车辆行驶控制方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3293308B2 (ja) * 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US6664956B1 (en) * 2000-10-12 2003-12-16 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. Method for generating a personalized 3-D face model
JP4471607B2 (ja) 2003-08-29 2010-06-02 富士通株式会社 眼の追跡装置、眼の状態判定装置及びコンピュータプログラム
JP2006260397A (ja) * 2005-03-18 2006-09-28 Konica Minolta Holdings Inc 開眼度推定装置
US20070127787A1 (en) * 2005-10-24 2007-06-07 Castleman Kenneth R Face recognition system and method
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4895797B2 (ja) * 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP4895847B2 (ja) * 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
US8045766B2 (en) * 2007-02-16 2011-10-25 Denso Corporation Device, program, and method for determining sleepiness
JP4375420B2 (ja) * 2007-03-26 2009-12-02 株式会社デンソー 眠気警報装置、及びプログラム
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
JP2009245338A (ja) 2008-03-31 2009-10-22 Secom Co Ltd 顔画像照合装置
JP2010033305A (ja) * 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置
JP2011125620A (ja) * 2009-12-21 2011-06-30 Toyota Motor Corp 生体状態検出装置
EP2550918A1 (en) * 2010-03-23 2013-01-30 Aisin Seiki Kabushiki Kaisha Alertness determination device, alertness determination method, and program
JP4893862B1 (ja) * 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
CN103493097B (zh) * 2011-04-15 2015-09-16 爱信精机株式会社 眼睑检测装置、眼睑检测方法

Also Published As

Publication number Publication date
US9202106B2 (en) 2015-12-01
US20140140577A1 (en) 2014-05-22
DE112011105441B4 (de) 2019-11-14
DE112011105441T5 (de) 2014-03-27
WO2013008305A1 (ja) 2013-01-17
JPWO2013008305A1 (ja) 2015-02-23

Similar Documents

Publication Publication Date Title
JP5790762B2 (ja) 瞼検出装置
JP6350145B2 (ja) 顔向き検出装置及び車両用警告システム
JP5737400B2 (ja) 赤目検出装置
EP3113073A1 (en) Determination device, determination method, and non-transitory storage medium
JP5737401B2 (ja) 瞼検出装置
JP5737399B2 (ja) 赤目判定装置
US10664712B2 (en) Eyelid opening/closing determination apparatus and drowsiness detection apparatus
JP2009294753A (ja) 画像処理装置および画像処理方法
US11161470B2 (en) Occupant observation device
JP4978574B2 (ja) 眼検出装置
JP5035139B2 (ja) 眼画像処理装置
JP4883013B2 (ja) 顔画像処理装置
JP2005081101A (ja) 視線方向検出装置及び視線方向検出方法
WO2020255238A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP5655491B2 (ja) 開眼状態検出装置
JP4623044B2 (ja) 眼の開閉状態検出装置
US20230394702A1 (en) Device, method, and computer program for estimating seat position
JP2022161318A (ja) 顔認識装置
JP2022166702A (ja) 顔認識装置
JP2011095827A (ja) 眼部検出装置
JP2009037560A (ja) 顔画像処理装置
JP2021019943A (ja) サッカード検出装置、サッカード検出方法、サッカード検出プログラム
JP2010009140A (ja) 眼画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150720

R151 Written notification of patent or utility model registration

Ref document number: 5790762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151