JP4082203B2

JP4082203B2 - 開閉眼判定装置

Info

Publication number: JP4082203B2
Application number: JP2002362638A
Authority: JP
Inventors: 雅之金田; 欣也岩本; 治夫松尾
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-12-13
Filing date: 2002-12-13
Publication date: 2008-04-30
Anticipated expiration: 2022-12-13
Also published as: JP2004192551A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両を運転する運転者の脇見や居眠りなどを報知するに際して行う開閉眼判定処理をする開閉眼判定装置に関する。
【０００２】
【従来の技術】
従来により、下記の特許文献１や特許文献２、特許文献３に記載されているように、例えば車両の運転者の顔画像を撮像し、当該顔画像から眼の縦幅の変化量を用いたり、上瞼のピーク点と眉の間隔変化量を用いたり、上瞼の形状を用いたりして開閉眼の判定を行うものが知られている。
【０００３】
【特許文献１】
特開平９−４４６８５号公報
【０００４】
【特許文献２】
特開平１０−１４３６６９号公報
【０００５】
【特許文献３】
特開２０００−１２３１８８号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術では、顔画像を撮影する光環境条件が変化した場合に開閉眼の判定精度が悪化するという問題点があった。
【０００７】
また、上述の開閉眼判定装置を、居眠りの検出に使用した場合には、撮影対象者が眼を細めた状況が、眠くて眼を細めたのか、眩しくて眼を細めたのか、又は微笑んで眼を細めたのかなどの状況判定が行えない場合がある。また、従来の開閉眼判定装置は、上瞼と眉の間隔変化だけによる開閉眼の判定をすると、眼を細めていなくても眼が閉状態であるとの誤判定するという問題点もあった。
【０００８】
【課題を解決するための手段】
本発明では、顔を撮像して得た画像データを処理して眼の開閉状態を判定するに際して、画像撮影手段により顔を撮影して画像データを生成し、当該画像データの全体から眼位置検出手段により眼の位置を検出し、当該眼の位置を基準として、眼追跡手段により眼の追跡領域となる眼を含む所定領域を設定し、眼を追跡する。
【０００９】
そして、本発明では、時系列にて追跡している眼を対象として、開閉状態判定手段により、少なくとも二つ以上の手法を用いて眼の開閉状態を示す判定結果を複数生成すると、当該複数の判定結果の論理積を用いて、総合的な開閉判定を行い、開閉眼総合判定手段が、上瞼の形状を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果は、上瞼の形状を表す画像特徴量を演算対象として異なる手法で生成した眼の開閉状態を示す各判定結果の間で、何れかの判定結果が閉状態である場合には、上瞼の形状に基づく眼の開閉状態を示す判定結果を閉状態とし、眼の縦幅を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果と、上瞼のピーク点と眉との間隔を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果と、前記上瞼の形状に基づく眼の開閉状態を示す判定結果との間で、全ての判定結果が閉状態である場合には総合的な開閉判定として閉状態であるとする。
【００１０】
【発明の効果】
本発明によれば、複数の手法の優れている所を有効に活用し、判定結果の論理積をもって総合的な開閉眼判定を行うようにすることで、多様な光環境の違いを許容した精度の高い開閉眼判定が実現できる。具体的には、運転者の顔の一部が影となっていたり、顔の一部に直射日光が当たっているような場合、運転者の表情が変化した場合であっても、各状態に応じて各手法の判定結果を用いて、総合判定処理を行うことができる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００１２】
本発明は、例えば図１に示すように構成された開閉眼判定装置に適用される。この開閉眼判定装置は、例えば車両を運転している運転者の脇見や居眠りといった複数の状態の判定を行って報知などをする装置と接続され、当該装置に運転者の眼の開閉状態を示す情報を送るものである。
【００１３】
［開閉眼判定装置の構成］
この開閉眼判定装置は、例えば図示しないＲＯＭ（Read Only Memory）等に開閉眼判定プログラムを格納しておき、当該開閉眼判定プログラムを図示しないＣＰＵ（Central Processing Unit）等により必要に応じてＲＡＭ（Random Access Memory等）を使用して実行することにより、図１に示すような各部を実現する。
【００１４】
この開閉眼判定装置は、運転者の顔画像をステアリング近傍のコラムモジュール等に取り付けられた撮像装置を有し、運転者の顔画像（画像データ）を生成する画像撮影部（画像撮影手段）１を備える。この画像撮影部１は、例えば所定期間毎に顔画像を生成して、眼位置検出部（眼位置検出手段）２に送る。眼位置検出部２は、画像撮影部１からの顔画像が送られると、当該顔画像を用いて、運転者の眼の画像領域を抽出して、眼座標値を検出して眼追跡部（眼追跡手段）３に送る。この眼追跡部３は、時系列にて送られる眼位置検出部２からの眼座標値を蓄積して、運転者の眼位置を追跡し、眼画像を含む画像を開閉状態判定部（開閉状態判定手段）４に送る。
【００１５】
開閉状態判定部４は、眼の縦幅、上瞼のピーク点と眉の間隔、３点法や曲率半径法を使用した上瞼の形状変化による開閉眼判定処理を行う。この開閉状態判定部４は、複数種類の開閉眼判定処理を行うことで、複数の判定結果を生成して開閉眼総合判定部（開閉眼総合判定手段）５に送る。
【００１６】
また、この開閉状態判定部４では、必要に応じて単独の手法による判定結果を開閉眼総合判定部５に送るようにしても良い。このとき、開閉状態判定部４は、単独の判定結果に開閉眼総合判定部５に送る場合に判定結果を生成するための基準値と比較して、複数の判定結果を開閉眼総合判定部５に送る場合に眼の開閉状態を判定する基準値を緩和しても良い。
【００１７】
開閉眼総合判定部５は、開閉状態判定部４からの複数の判定結果と、予め用意しておいた開閉眼総合判定テーブルとを比較して、複数の判定結果を総合した開閉眼総合判定結果を生成する開閉眼総合判定処理を行い、報知装置などに出力する。
【００１８】
［開閉眼判定装置による開閉眼判定結果生成処理］
つぎに、上述したように構成された開閉眼判定装置により運転者の眼の開閉状態を判定する開閉眼判定結果生成処理について図２のフローチャートを参照して説明する。
【００１９】
開閉眼判定装置では、先ず、ステップＳ１においては、画像撮影部１にて画像データを入力することに応じて、顔画像を生成して、ステップＳ２以降に処理を進める。
【００２０】
ステップＳ２〜ステップＳ５においては、眼位置検出部２により顔画像から眼座標値を検出し、眼追跡部３による眼の追跡に移行するまでの前処理を行う。すなわち、先ず、ステップＳ２においては、眼位置検出部２により、連続的に生成されるデータである顔画像から、濃度特徴量の抽出を行う。
【００２１】
このとき、眼位置検出部２では、図３中の縦ラインにて示すような顔画像１１中の縦方向（Ｙ方向）における画素の濃度値を検出し、当該濃度値が黒の変極点となり、且つその変極点に至るまで濃度変化率が所定の閾値を越えた画素（抽出点）を抽出する。このような処理を顔画像１１の全体に亘って実行することで、眼位置検出部２では、図４に示すように、右眉部分、左眉部分、右眼部分、左眼部分、鼻部分、口部分に相当する抽出点を得る。
【００２２】
そして、眼位置検出部２では、Ｘ方向にて隣接する抽出点であって、Ｙ方向において接近している抽出点をグループ化して、濃度的な特徴を示すＸ方向に連続した連続データを得る。すなわち、眼位置検出部２では、図５に示すように、右眉部分に相当する連続データ１２Ａ、左眉部分に相当する連続データ１２Ｂ、右眼部分に相当する連続データ１２Ｃ、左眼部分に相当する連続データ１２Ｄ、鼻部分に相当する連続データ１２Ｅ、口部分に相当する連続データ１２Ｆを得る。
【００２３】
次のステップＳ３においては、眼位置検出部２により、右目及び左目に相当する連続データ１２を選択して、眼の位置を検出する。このとき、眼位置検出部２では、各特徴量からなる連続データ１２が出現する画像領域をＹ方向にゾーン化し、各連続データ１２の相対位置関係から眼の位置検出を行う。
【００２４】
具体的には、眼位置検出部２では、図６に示すように、連続データ１２Ａ，１２Ｃを含むようにゾーン１３を設定し、連続データ１２Ｅ，１２Ｆを含むようにゾーン１４を設定し、連続データ１２Ｂ，１２Ｄを含むようにゾーン１５を設定する。そして、眼位置検出部２では、ゾーン１３，ゾーン１４，ゾーン１５のうち最もＸ軸座標値が小さいゾーン１３に含まれてＹ軸座標値が小さい連続データ１２ＣのＸ軸方向における中央値を右目座標値１６Ｃとし、連続データ１２ＣよりもＹ軸座標値が大きい連続データ１２ＡのＸ軸方向における中央値を右眉座標値１６Ａとする。また、眼位置検出部２では、ゾーン１３よりもＸ軸座標値が大きいゾーン１４に含まれてＹ軸座標値が小さい連続データ１２ＥのＸ軸方向における中央値を鼻座標値１６Ｅとし、連続データ１２ＥよりもＹ軸座標値が大きい連続データ１２ＦのＸ軸方向における中央値を口座標値１６Ｆとする。更に、眼位置検出部２では、ゾーン１３，ゾーン１４，ゾーン１５のうち最もＸ軸座標値が大きいゾーン１５に含まれてＹ軸座標値が小さい連続データ１２ＤのＸ軸方向における中央値を左目座標値１６Ｄとし、連続データ１２ＤよりもＹ軸座標値が大きい連続データ１２ＢのＸ軸方向における中央値を左眉座標値１６Ｂとする。
【００２５】
次のステップＳ４においては、眼位置検出部２により、ステップＳ３にて得た右目座標値１６Ｃ及び左目座標値１６Ｄを、眼の基準座標値として図示しないメモリに記憶することで、眼追跡部３により使用可能とする。
【００２６】
次のステップＳ５においては、眼追跡部３により、ステップＳ４にて記憶された右目座標値１６Ｃを含む小領域及び左目座標値１６Ｄを含む小領域を設定し、当該各小領域を眼の追跡領域として設定する。これにより、開閉眼判定装置では、眼の追跡に移行するまでの前処理を完了して、眼の開閉状態を判定するためにステップＳ６のループ処理に移行する。
【００２７】
ステップＳ６では、画像撮影部１により、新たに顔画像１１を入力して、ステップＳ７に処理を進める。
【００２８】
ステップＳ７においては、眼追跡部３により、ステップＳ２にて連続データを抽出した処理と同様の処理を、ステップＳ６にて入力した顔画像１１を使用してステップＳ５にて設定した各追跡領域に限定して行って連続データを抽出してステップＳ８に処理を進める。
【００２９】
このステップＳ７において、眼追跡部３では、図７（ａ）に示すように追跡領域１７の全体について、縦方向（Ｙ方向）における画素の濃度値を検出し抽出点を抽出する処理をすることで、眼画像１８Ａについての連続データを作成する。ここで、眼追跡部３では、連続データの検出精度を向上させるために、ステップＳ２にて顔画像１１から抽出点を検出する場合と比較して、Ｘ軸方向及びＹ軸方向における走査間隔密度を高くする。
【００３０】
次のステップＳ８においては、眼追跡部３により、ステップＳ７にて抽出された連続データを使用して、眼の基準座標を求めてステップＳ９に処理を進める。
【００３１】
このステップＳ８において、眼追跡部３では、顔画像１１全体からの眼の位置を検出する場合と比較して追跡領域１７が非常に小さいので、追跡領域１７に殆ど眼画像１８Ａしか存在せず、連続データの代表座標点を求めることで眼の中心座標１９Ａを特定する。また、眼追跡部３では、例えば追跡領域１７内に複数の連続データが出現した場合は、該当する連続データを構成する各抽出点の平均濃度値や、連続データの形状特徴から眼の中心座標１９Ａの特定をする。
【００３２】
ステップＳ９では、眼追跡部３により、ステップＳ８にて特定された中心座標１９Ａを基準座標としてメモリに記憶して、ステップＳ１０に処理を進める。
【００３３】
ステップＳ１０では、眼追跡部３により、ステップＳ９にて記憶された中心座標１９Ａを追跡領域１７の中心位置となるように追跡領域１７の位置を更新して、ステップＳ１１に処理を進める。
【００３４】
このステップＳ１０において、眼追跡部３では、ステップＳ５にて図７（ａ）に示す追跡領域１７が設定された場合、中心座標１９と追跡領域１７の中心位置は一致している。その後、ステップＳ６にて新たな顔画像１１が取り込まれ、図７（ｂ）に示すように眼画像１８Ａから眼画像１８Ｂのように位置が変化した場合、図７（ｃ）に示すように眼画像１８Ｂの中心座標１９Ｂを追跡領域１７の中心位置に近づけ、図７（ｄ）に示すように眼画像１８Ｂの中心座標１９Ｂを追跡領域１７の中心位置に更に近づける。このような処理をすることにより、追跡領域１７内にて検出した中心座標１９Ｂを基に追跡領域１７の位置の更新を続ける。
【００３５】
ここで、眼追跡部３では、顔画像１１の取り込み間隔に対する眼の移動量に応じて必要最小の画像領域となるように追跡領域１７を設定することで、ステップＳ７及びステップＳ８の処理時間を短くすると共に、眼の追従性を向上させることが望ましい。
【００３６】
ステップＳ１１においては、開閉状態判定部４により、眼の縦幅による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップＳ１２に処理を進める。なお、このステップＳ１１における眼の縦幅による開閉眼判定処理の処理内容については後述する。
【００３７】
ステップＳ１２においては、開閉状態判定部４により、上瞼のピーク点と眉の間隔による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップＳ１３に処理を進める。なお、このステップＳ１３における上瞼のピーク点と眉の間隔による開閉眼判定処理の処理内容については後述する。
【００３８】
ステップＳ１３においては、開閉状態判定部４により、３点法を使用した上瞼の形状変化による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップＳ１４に処理を進める。なお、このステップＳ１３における３点法を使用した上瞼の形状変化による開閉眼判定処理の処理内容については後述する。
【００３９】
ステップＳ１４においては、開閉状態判定部４により、曲率半径法を使用した上瞼の形状変化による開閉眼判定処理を行い、当該開閉眼判定処理により得られた判定結果を記憶しておいて、ステップＳ１５に処理を進める。なお、このステップＳ１４における曲率半径法を使用した上瞼の形状変化による開閉眼判定処理の処理内容については後述する。
【００４０】
ステップＳ１５においては、開閉眼総合判定部５により、ステップＳ１１、ステップＳ１２、ステップＳ１３、及びステップＳ１４にて得られた各開閉眼判定処理の判定結果を用いて開閉眼総合判定処理を行い、当該開閉眼総合判定処理により得られた総合判定結果を図示しない報知装置などに出力して、ステップＳ６に処理を戻す。なお、このステップＳ１５における開閉眼総合判定処理の処理内容については後述する。
【００４１】
［開閉眼判定結果生成処理における開閉眼判定処理］
つぎに、上述したステップＳ１１〜ステップＳ１４にて行う各開閉眼判定処理の処理内容について説明する。
【００４２】
「眼の縦幅による開閉眼判定処理」
眼の縦幅による開閉眼判定処理においては、開閉状態判定部４は、先ず、ステップＳ９にて記憶しておいた基準座標を基準として、顔画像１１を撮像する撮像装置の画角と、運転者の顔面と撮像装置との距離とから相場値的に求められる眼の大きさ相当の追跡領域１７を設定する。次に開閉状態判定部４は、設定した追跡領域１７内で濃度値別のヒストグラムを作成することで、抽出点の生成に適している二値化閾値を算出する。次に開閉状態判定部４は、算出した二値化閾値を用いて、二値化された眼画像１８の縦幅が最大となる画像部分を眼の開度値とする。
【００４３】
これにより、開閉状態判定部４では、図８（ａ）に示すように開眼時に縦幅が大きくなった場合の開度値ｈを大きくする。一方、開閉状態判定部４は、図８（ｂ）に示すように閉眼時に縦幅が小さくなった場合の開度値ｈを小さくする。そして、開閉状態判定部４では、開度値ｈと予め設定しておいた開度閾値（基準値）とを比較し、開度値ｈが開度閾値よりも大きい場合には開眼状態であるとの判定結果を生成し、開度値ｈが開度閾値よりも小さい場合には閉眼状態であるとの判定結果を生成する。
【００４４】
ここで、開閉状態判定部４は、眼の開閉状態を判定するに際して、開眼時や閉眼時の眼画像１８の縦幅を個人データとして記憶して開度閾値を変化させる学習処理をすることで、個人ごとに眼の大きさが異なる場合に対応可能となる。
【００４５】
ところが、この眼の縦幅による開閉眼判定処理は、眼を閉じていても開眼と判定する場合や、眼を細めただけで閉眼と判定する場合があり、開閉閾値を変化させるだけでは対応できないことがある。眼を閉じていても開眼状態であると判定される原因としては、図９（ａ）に示すように、眼を含む追跡領域１７が日影にある場合や、眼を含む追跡領域１７が夜間の近赤外光照明下にある場合が挙げられる。このような状態となると、追跡領域１７のコントラストが弱くなり、特に、閉眼時は眼の下の影と眼の形状を濃度に基づいて分離することが困難となる。
【００４６】
すなわち、図９（ｂ）に示す目尻下の影２０に相当する画像部分を二値化した場合、図９（ｃ）に示すように影２０に相当する画像部分と眼に相当する画像部分とが分離しきれずに一体となってしまう。このような状態となると、眼を閉じている状態にも関わらず、開度値ｈに相当する眼の縦幅ＣＬ＿ｈが大きくなって開眼状態であると判定してしまう。また、眼を細めただけで閉眼状態であると判定される原因は、微笑んだ時や眩しそうに眼を細めた時でである。すなわち、図１０（ａ）に示すように前方を注視している状態の眼の縦幅ＯＰ＿ｈから、運転者が微笑んだ場合には図１０（ｂ）に示すように眼の縦幅ＯＰ＿ｈよりも小さい眼の縦幅ＳＭＩＬＥ＿ｈとなってしまう。これにより、前方を注視しているにも拘わらず閉眼状態であるとの判定結果となってしまう。
【００４７】
「上瞼のピーク点と眉との間隔による開閉眼判定処理」
上瞼のピーク点と眉の間隔による開閉眼判定処理においては、開閉状態判定部４は、先ず、追跡領域１７に含まれる顔画像１１を二値化した状態で眼の形状を切り出し、その形状から上瞼のピーク点を求める。また、開閉状態判定部４は、ステップＳ７にて生成された眉に相当する連続データから、上瞼のピーク点とＸ軸方向の座標値が同じ抽出点を代表座標点として求める。これにより、開閉状態判定部４では、上瞼のピーク点のＹ軸座標から眉の代表座標点のＹ軸座標を減算して、上瞼のピーク点と眉と上下間隔を算出する。
【００４８】
このような開閉眼判定処理を行うことにより、図１１に示すように、開眼時は上瞼と眉との間隔ｈ１が小さくなり、閉眼時は上瞼と眉との間隔ｈ２が大きくなる。そして、開閉状態判定部４では、求めた上瞼の眉との間隔と予め設定しておいた開度閾値とを比較し、上瞼の眉との間隔が開度閾値よりも小さい場合には開眼状態であるとの判定結果を生成し、上瞼の眉との間隔が開度閾値よりも大きい場合には閉眼状態であるとの判定結果を生成する。
【００４９】
ところが、上瞼のピーク点と眉との間隔による開閉眼判定処理では、眼を開けていても閉眼と判定される場合がある。眼を開けていても閉眼と判定される原因としては、図１２（ａ）に示すように、例えばある程度の緊張感を以て運転している場合に上瞼と眉との間隔がｈ３であった場合に、運転者の緊張感が低くなって顔面の筋肉が緩み眉の位置が上がり、図１２（ｂ）に示すように上瞼と眉の間隔が広がって上瞼と眉との間隔がｈ４となってしまうことが挙げられる。このような場合、上瞼と眉との間隔ｈ３と、上瞼と眉との間隔ｈ４との差ＥＢｕｐ＿ｈによって開度閾値を超えて大きくなると、運転者が前方注視状態であるにも拘わらず閉眼状態であるとの判定結果を生成してしまう。ここで、この眉の動きには、個人差があるものの動きの大きい運転者の場合は、眼の開閉のストローク量を越えることもある。
【００５０】
「上瞼の形状変化による開閉眼判定処理」
上瞼の形状変化による開閉眼判定処理においては、開閉状態判定部４は、ステップＳ９にて記憶しておいた基準座標を基準として、顔画像１１を撮像する撮像装置の画角と、運転者の顔面と撮像装置との距離とから相場値的に求められる眼の大きさ相当の追跡領域１７を設定する。次に開閉状態判定部４は、設定した追跡領域１７内でエッジ検出処理を行うことで上瞼ラインを示すデータを生成する。次に開閉状態判定部４は、３点法を使用する場合、図１３に示すように、上瞼ラインを示すデータの左端点を目頭ポイント２１Ａ、右端点を目尻ポイント２１Ｃとし、両端点を結ぶ直線に対する上瞼のピーク点２１Ｂの垂線長さを求める。これにより、開閉状態判定部４では、図１３（ａ）に示す開眼時には垂線長さｈ５が長くなり、図１３（ｂ）に示す閉眼時には垂線長さｈ６が短くなる演算結果を得る。そして、開閉状態判定部４では、求めた垂線長さと予め設定しておいた開度閾値とを比較し、垂線長さが開度閾値よりも大きい場合には開眼状態であるとの判定結果を生成し、垂線長さが開度閾値よりも小さい場合には閉眼状態であるとの判定結果を生成する。
【００５１】
一方、開閉状態判定部４は、曲率半径法を使用する場合、図１４に示すように、上瞼の各エッジ抽出点２２を対象として二次曲線の近似式を演算し、上瞼の曲率半径を求める。これにより、開閉状態判定部４では、図１４（ａ）に示す開眼時には曲率半径が小さくなり、図１４（ｂ）に示す閉眼時には曲率半径が大きくなる演算結果を得る。そして、求めた曲率半径と予め設定しておいた開度閾値とを比較し、曲率半径が開度閾値よりも小さい場合には開眼状態であるとの判定結果を生成し、曲率半径が開度閾値よりも大きい場合には閉眼状態であるとの判定結果を生成する。
【００５２】
ところが、３点法及び曲率半径法を使用した上瞼の形状変化による開閉眼判定処理では、眼を開けていても閉眼と判定される場合がある。眼を開けていても閉眼と判定される原因としては、眼の一部に太陽の直射光を受けた場合に、目頭や目尻の画像部分が白飛びしてしまうことによる。すなわち、図１５（ａ）に示す平常時の眼画像２３に対し、目頭部分が白飛びした場合には図１５（ｂ）に示すように眼画像２３の目頭が白飛び部分２４となり、目尻部分が白飛びした場合には図１５（ｃ）に示すように眼画像２３の目尻が白飛び部分２４となる。これにより、白飛び部分２４のエッジ検出処理が困難となり、正確な目頭ポイント２１Ａ、ピーク点２１Ｂ及び目尻ポイント２１Ｃが検出できなくなったり、エッジ抽出点２２が検出できなくなる。
【００５３】
［開閉眼判定結果生成処理における開閉眼総合判定処理］
つぎに、上述したステップＳ１５にて行う開閉眼判定総合処理の処理内容について説明する。この開閉眼総合判定処理では、上述した各開閉眼判定処理の問題点を考慮して作成された図１６に示す開閉眼総合判定テーブルを使用する。
【００５４】
すなわち、開閉眼総合判定テーブルは、以下に示すような各開閉眼判定処理の利点を考慮して作成されている。
【００５５】
先ず、眼の縦幅による開閉眼判定処理の利点は、眼の一部に太陽の直射光が当たっているなどの状況においても、図１７に示すように眼画像２３の眼球部が白飛びしない限り、眼の縦幅ＯＰ＿ｈを認識して正しい開閉眼判定結果を得ることが可能であることにある。
【００５６】
また、上瞼のピーク点と眉との間隔による開閉眼判定処理の利点は、図１８（ａ）に示すように微笑んだり眩しかったりして眼を細めている状態と、図１８（ｂ）に示すように眠くて眼を閉じている状態とを区別して、正しい開閉眼判定結果を得ることが可能であることにある。すなわち、微笑んだ場合や眩しくて眼を細めた場合、眼の下の筋肉が上に持ち上がっている状態なので、上瞼と眉との間隔Ｄは広がらないのに対し、眠くて眼を閉じた場合は、上瞼位置が下がる分、上瞼と眉の間隔は広がる。したがって、この開閉眼判定処理では、眼を細める状態が、微笑んでいるのか、眩しいのか、眠いのかの区別が可能である。
【００５７】
また、上瞼の形状変化による開閉眼判定処理の利点は、３点法及び曲率半径法の共に、図１９（ａ）に示すように眼が日影となっている場合や、夜間近赤外光下における眼でコントラストが低い状態でも、閉眼時（図１９（ｂ））や開眼時（図１９（ｃ））に示す画像を使用して３点法や曲率半径法を使用した精度が高い開閉眼判定ができることにある。ここで、眼のコントラストが低い場合、眼の縦幅を正しく求めるために二値化閾値を設定することが困難となる。特に、閉眼時において眼部分と眼の下の影部分との濃度階調が近い値であるため、濃度的に分離できなくなり眼の縦幅が小さくならない。しかし、このような状況においても上瞼のエッジラインの形状は、その影響を受け難いため、正しい開閉眼判定が可能である。
【００５８】
開閉眼総合判定部５では、このような各開閉眼判定処理の利点を生かした開閉眼総合判定を行う。
【００５９】
具体的には、開閉眼総合判定部５では、開眼時に眼の一部に直射光が当たっている場合、上瞼の形状変化による開閉眼判定では、目頭または目尻部分が白飛びすることによってエッジラインが短くなり閉眼と判定されることになる。これに対し、開閉眼総合判定部５では、眼の縦幅による開閉眼判定処理、及び上瞼と眉の間隔による開閉眼判定処理が開眼であるとの正しい判定結果を得ているとして、開眼との総合判定結果を生成する。
【００６０】
また、開閉眼総合判定部５では、眼の一部に直射光が当たっていることより、運転者が眩しくて眼を細めたとしても、上瞼と眉との間隔による開閉眼判定処理にて正しい判定が行えるので、総合的な開閉眼判定を誤ることはない。
【００６１】
更に、開閉眼総合判定部５では、閉眼時に眼の一部に直射光が当たっている場合、眼の縦幅による開閉眼判定処理、上瞼と眉の間隔による開閉眼判定処理、上瞼の形状変化による開閉眼判定処理の全てにおいて閉眼との判定結果を得るので、閉眼との総合判定結果を生成する。
【００６２】
更にまた、開閉眼総合判定部５では、開眼時に眼のコントラストが弱い場合、眼の縦幅による開閉眼判定処理では、閉眼時に確実に閉眼と判定できるようにするために、閉眼と判定する基準を緩和する。これにより眼の縦幅による開閉眼判定処理により閉眼と判定されることもあるが、開閉眼総合判定部５では、上瞼と眉の間隔による開閉眼判定処理、上瞼の形状変化による開閉眼判定処理が開眼であるとの正しい判定結果を得ているとして、開眼であるとの総合判定結果を生成する。
【００６３】
更にまた、開閉眼総合判定部５では、閉眼時に眼のコントラストが弱い場合、眼の縦幅による開閉眼判定処理での閉眼と判定する基準を緩和している。これにより、開閉眼総合判定部５では、眼の縦幅による開閉眼判定処理にて正しく閉眼との判定結果を生成可能として、閉眼との総合判定結果を生成する。
【００６４】
更にまた、開閉眼総合判定部５では、微笑んで眼を細めた場合、眼の縦幅による開閉眼判定で閉眼判定となり、また上瞼の形状変化（３点法）でも、その判定解像度の低さから閉眼と判定されることがあるが、上瞼と眉の間隔、上瞼の形状変化（曲率半径法）による開閉眼判定が開眼であると正しい判定を行っているので総合的な開閉眼判定を誤ることはない。
【００６５】
更にまた、開閉眼総合判定部５では、眩しくて眼を細めた場合、微笑んで眼を細めた場合と類似した眼の開度変化であるため、同様の判定を行うことで正しい開閉眼総合判定を行うことができる。
【００６６】
更にまた、緊張度の低下により、顔の表情が緩んだ場合、上瞼と眉の間隔による開閉眼判定処理で閉眼との判定結果が生成されることがある。これに対し、開閉眼総合判定部５では、眼の縦幅による開閉眼判定処理、上瞼の形状変化による開閉眼判定処理の判定結果が共に開眼であるとの正しい判定を行っているので、総合的な開閉眼判定を誤ることはない。
【００６７】
更にまた、眼の上に皺の多い人の閉眼時の場合、上瞼のエッジラインが皺によるノイズの影響で相関が高い状態で二次曲線近似ができない。また、曲率半径法を使用した上瞼の形状変化による開閉眼判定処理で求めている曲率半径の精度が落ち、開眼と判定されることがある。これに対し、３点法を使用した上瞼の形状変化による開閉眼判定処理の判定処理がシンプルであり、ノイズには強く正しい判定を行うことができる。したがって、開閉眼総合判定部５では、相互に関連する画像特徴量を演算対象としている場合は、判定結果の論理和を取ることで閉眼との総合判定結果を得る。
【００６８】
開閉眼を判定する各手法は、これまで説明してきたような不利点がある反面、利点も存在し、これらの判定処理を有効に機能するように組み合わせることで、総合的な開閉眼判定精度を向上させることができる。
【００６９】
すなわち、開閉眼総合判定部５では、各開閉眼判定処理に対象がそれぞれ関連しない画像の特徴量を演算対象としている場合に限定して、各開閉眼判定処理の判定結果の論理積を演算して、総合判定結果を得る。具体的には、開閉眼総合判定部５は、眼の縦幅による開閉眼判定処理での判定結果と、上瞼のピーク点と眉との間隔による開閉眼判定処理での判定結果と、上瞼の形状変化による開閉眼判定処理での判定結果との間で論理積を取って総合判定結果を得る。また、開閉眼総合判定部５では、３点法を使用した上瞼の形状変化による開閉眼判定処理での判定結果と、曲率半径法を使用した上瞼の形状変化による開閉眼判定処理での判定結果との間では、双方の判定結果の論理和を取る。
【００７０】
［実施形態の効果］
以上詳細に説明したように、開閉眼判定装置によれば、複数の開閉眼判定処理の優れている所を有効に活用し、判定結果の論理積をもって総合的な開閉眼判定を行うようにすることで、多様な光環境の違いを許容した精度の高い開閉眼判定が実現できる。具体的には、運転者の顔の一部が影となっていたり、顔の一部に直射日光が当たっているような場合、運転者の表情が変化した場合であっても、各状態に応じて各開閉眼判定処理の判定結果を用いて、総合判定処理を行うことができる。
【００７１】
また、この開閉眼判定装置によれば、各々が相互に関連しない画像特徴量を演算対象とした複数の判定結果について論理積をとって総合判定処理を行うので、精度の高い総合判定結果を得ることができる。
【００７２】
更に、この開閉眼判定装置によれば、各々が相互に関連する画像特徴量を演算対象とした複数の判定結果について論理和をとって総合判定処理を行うので、画像条件が良い場合の総合判定結果の精度を更に向上させると共に、画像条件が悪い場合に総合判定処理を不能とせずに精度の高い開閉眼判定を行うことができる。
【００７３】
更にまた、この開閉眼判定装置によれば、例えば眼の縦幅による開閉眼判定処理において、各開閉眼判定処理の基準値を単独で判定する場合に比べて緩和して設定することによって、撮影対象となる人が眠気を催して眼を閉じたのか、微笑んで眼を細めたのか、眩しくて眼を細めたのかなど、各々の判定手法において厳しい判定基準をもって判定する必要がなくなるので、精度の高い総合判定処理を行うことができる。
【００７４】
更にまた、この開閉眼判定装置によれば、前記複数の眼の開閉状態判定手段の一つを、画像特徴量の演算対象を眼の縦幅としているので、眼の一部に太陽の直射光が当たるような光環境条件においても精度の高い開閉眼判定を行うことができる。
【００７５】
更にまた、この開閉眼判定装置によれば、開閉状態判定部４にて行う開閉眼判定処理の一つを、画像特徴量の演算対象を上瞼のピーク点と眉の間隔としているので、撮影対象者が眠くて眼を細めている状況と、微笑んで眼を細めている状況や眩しくて眼を細めている状況を区別した開閉眼判定処理を行うことができる。
【００７６】
更にまた、この開閉眼判定装置によれば、開閉状態判定部４にて行う開閉眼判定処理の一つを、画像特徴量の演算対象を上瞼の形状としているので、撮影画像が暗い場合や夜間の近赤外光環境下で、眼のコントラストが低い場合においても精度の高い開閉眼判定処理を行うことができる。
【００７７】
更にまた、この開閉眼判定装置によれば、開閉状態判定部４にて行う開閉眼判定処理の一つを、画像特徴量の演算対象を上瞼の形状とし、当該形状を濃度変化で求められる目頭と目尻の両端点を結ぶ直線に対する上瞼のピーク点との垂線距離を求めるとしているので、顔画像１１が暗い場合や夜間の近赤外光環境下で、眼のコントラストが低い状態で且つ、個人差に対するロバスト性を更に向上させた状態で精度が高い開閉眼判定処理を行うことができる。
【００７８】
更にまた、この開閉眼判定装置によれば、開閉状態判定部４にて行う開閉眼判定処理の一つを、画像特徴量の演算対象を上瞼の形状とし、当該形状を上瞼エッジ抽出点を対象として二次曲線の近似式の曲率半径の大きさで求めるようにしているので、顔画像１１が暗い場合や夜間の近赤外光環境下で、眼のコントラストが低い状態であっても精度が高い開閉眼判定処理を行うことができる。
【００７９】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明を適用した開閉眼判定装置の機能的な構成を示すブロック図である。
【図２】本発明を適用した開閉眼判定装置により運転者の眼の開閉状態を判定する開閉眼判定結果生成処理を示すフローチャートである。
【図３】顔画像の抽出点を求める処理を説明するための図である。
【図４】顔画像から求めた抽出点を示す図である。
【図５】抽出点から連続データを求める処理を説明するための図である。
【図６】各連続データから顔の各部に相当する各座標値を求める処理を説明するための図である。
【図７】眼追跡部により追跡領域を設定して眼画像及び中心座標を追跡する処理を説明するための図である。
【図８】眼の縦幅による開閉眼判定処理において、開眼時（ａ）と閉眼時（ｂ）との開度値の変化を説明するための図である。
【図９】顔画像から追跡領域を切り出し（ａ）、追跡領域内に影が存在することで（ｂ）、眼の縦幅が変化すること（ｃ）を説明するための図である。
【図１０】前方を注視している状態（ａ）と、微笑んだ状態（ｂ）との眼の縦幅の変化について説明するための図である。
【図１１】上瞼のピーク点と眉の間隔による開閉眼判定処理において、開眼時と閉眼時との変化を説明するための図である。
【図１２】ある程度の緊張感を以て運転している場合に上瞼と眉との間隔（ａ）と、運転者の緊張感が低くなって顔面の筋肉が緩み眉の位置が上がったときの上瞼と眉との間隔（ｂ）とについて説明するための図である。
【図１３】３点法を使用した上瞼の形状変化による開閉眼判定処理において、開眼時（ａ）と閉眼時（ｂ）との変化を説明するための図である。
【図１４】曲率半径法を使用した上瞼の形状変化による開閉眼判定処理において、開眼時（ａ）と閉眼時（ｂ）との変化を説明するための図である。
【図１５】平常時の眼画像（ａ）、目頭部分が白飛びした場合の眼画像（ｂ）、目尻部分が白飛びした場合の眼画像（ｃ）を示す図である。
【図１６】開閉眼総合判定部にて使用する開閉眼総合判定テーブルを示す図である。
【図１７】眼画像の一部が白飛びした場合における眼の縦幅による開閉眼判定処理を説明するための図である。
【図１８】上瞼のピーク点と眉との間隔による開閉眼判定処理において、微笑んだり眩しかったりして眼を細めている状態（ａ）と、眠くて眼を閉じている状態（ｂ）とを区別することを説明するための図である。
【図１９】上瞼の形状変化による開閉眼判定処理において、閉眼時（ａ）や開眼時（ｂ）に示す画像を使用して３点法や曲率半径法を使用した開閉眼判定をすることを説明するための図である。
【符号の説明】
１画像撮影部
２眼位置検出部
３眼追跡部
４開閉状態判定部
５開閉眼総合判定部
１１顔画像
１２連続データ
１３，１４，１５ゾーン
１６座標値
１７追跡領域
１８，２３眼画像
１９中心座標
２２エッジ抽出点

Claims

顔を撮像して得た画像データを処理して眼の開閉状態を判定する開閉眼判定装置において、
顔を撮影して前記画像データを生成する画像撮影手段と、
上記画像撮影手段にて生成された画像データの全体から、眼の位置を検出する眼位置検出手段と、
前記眼位置検出手段により検出された眼の位置を基準として、眼の追跡領域となる眼を含む所定領域を設定し、眼を追跡する眼追跡手段と、
前記眼追跡手段により追跡している眼を対象として、少なくとも二つ以上の手法を用いて、眼の開閉状態を示す判定結果を複数生成する開閉状態判定手段と、
前記開閉状態判定手段による複数の判定結果を用いて、総合的な開閉判定を行う開閉眼総合判定手段とを備え、
前記開閉眼総合判定手段は、
上瞼の形状を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果は、上瞼の形状を表す画像特徴量を演算対象として異なる手法で生成した眼の開閉状態を示す各判定結果の間で、何れかの判定結果が閉状態である場合には、上瞼の形状に基づく眼の開閉状態を示す判定結果を閉状態とし、
眼の縦幅を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果と、上瞼のピーク点と眉との間隔を表す画像特徴量を演算対象として生成した眼の開閉状態を示す判定結果と、前記上瞼の形状に基づく眼の開閉状態を示す判定結果との間で、全ての判定結果が閉状態である場合には総合的な開閉判定として閉状態であるとすること
を特徴とする開閉眼判定装置。
前記開閉眼総合判定手段は、前記開閉状態判定手段により判定結果を生成する各手法にて判定結果を生成するに際しての判定基準値を、前記各手法にて単独で判定結果を生成する場合の判定基準値と比較して閉眼と判定しやすくするように設定することを特徴とする請求項１に記載の開閉眼判定装置。
前記開閉状態判定手段は、前記上瞼の形状に基づく判定結果を生成する手法として、濃度変化に基づく目頭と目尻の両端点を結ぶ直線に対する上瞼のピーク点との垂線距離に基づいて判定結果を生成する処理をすることを特徴とする請求項１に記載の開閉眼判定装置。
前記開閉状態判定手段は、前記上瞼の形状に基づく判定結果を生成する手法として、上瞼のエッジを抽出して、当該抽出点を対象として二次曲線の近似式を演算し上瞼の曲率半径の大きさに基づいて判定結果を生成する処理をすることを特徴とする請求項１に記載の開閉眼判定装置。