JP2006120006A - 開閉眼判定装置 - Google Patents

Abstract

【課題】 開眼時に閉眼であると誤判定しないようにすることが可能な開閉眼判定装置を提供する。
【解決手段】 開閉眼判定装置１は、上瞼の座標群とこの座標群に近似された二次以上の曲線との相関値を求める。そして、開閉眼判定装置１は、相関値が基準値よりも高い場合、基準値以下の場合よりも、開閉眼判定閾値を大きく設定する。次いで、開閉眼判定装置１は、上瞼の曲率を求めて、この曲率が開閉眼判定閾値より大きいときに開眼と判定し、開閉眼判定閾値以下のときに、閉眼と判定する。ここで、相関値が小さい場合には、上瞼の曲率の検出精度が落ちる。このため、開眼時にあっては上瞼の曲率を小さく検出してしまうことがあるが、開閉眼判定閾値についても小さくしているため、開眼時に閉眼と誤判定してしまう可能性を減じることができる。
【選択図】 図１

Description

本発明は、開閉眼判定装置に関する。

従来、ＣＣＤカメラによって取得された顔画像から上瞼部分を検出し、上瞼の両端点を結ぶ直線を求め、この直線に対して上側に位置する部分の面積と眼の面積との比に基づい眼の開閉を判定する開閉眼判定装置が知られている。

さらに、この装置は、上瞼が上に凸形状か否かで眼の開閉を判定する構成となっている。さらには、この装置は、上瞼の両端点を結ぶ直線と上瞼の重心との位置関係に基づいて眼の開閉を判定する構成となっている（例えば特許文献１参照）。
特開２０００−１２３１８８号公報

しかしながら、従来装置では、眼の回りにノイズ（皺など）が存在する場合、画像処理で求めた上瞼のラインが乱れて正常な曲率が算出できない場合がある。この傾向は、特に開眼時に強く起こり、開眼を閉眼と誤判定しやすくなってしまう。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、開眼時に閉眼であると誤判定しないようにすることが可能な開閉眼判定装置を提供することにある。

本発明によれば、開閉眼判定装置は、眼画像取得手段、上瞼検出手段、上瞼座標抽出手段、曲線近似手段、相関値検出手段、開閉眼判定閾値設定手段、上瞼曲率検出手段、及び開閉眼判定手段を備えている。眼画像取得手段は、被検出者の眼を含む眼画像を取得するものである。上瞼検出手段は、眼画像取得手段により取得された眼画像から、上瞼を検出するものである。また、上瞼座標抽出手段は、上瞼検出手段によって検出された上瞼から、上瞼を構成する座標群を抽出するものであり、曲線近似手段は、上瞼座標抽出手段により抽出された上瞼の座標群から上瞼を二次以上の曲線に近似するものである。また、相関値検出手段は、上瞼座標抽出手段により抽出された上瞼の座標群と前記曲線近似手段によって近似された二次以上の曲線との相関値を検出するものである。開閉眼判定閾値設定手段は、相関値検出手段により検出された相関値が基準値よりも高い場合、前記相関値検出手段により検出された相関値が基準値以下の場合よりも、開閉眼判定閾値を大きく設定するものである。上瞼曲率検出手段は、上瞼座標抽出手段により抽出された座標群から、上瞼の曲率を検出するものである。開閉眼判定手段は、上瞼曲率検出手段により検出された上瞼の曲率が、開閉眼判定閾値設定手段により設定された開閉眼判定閾値以上の場合に開眼と判定し、開閉眼判定閾値に満たない場合に閉眼と判定するものである。

本発明によれば、開閉眼判定装置は、上瞼の座標群とこの座標群に近似された二次以上の曲線との相関値を求めている。ここで、相関値が高い場合とは、眼の周りにノイズが少ないなどの事情により、開閉眼について正確に判定し易い状態であることを示している。他方、相関値が低い場合、眼の周りにノイズが多いなどの事情により、開閉眼について誤判定し易い状態であることを示している。

また、相関値が基準値よりも高い場合、基準値以下の場合よりも、開閉眼判定閾値を大きく設定している。このため、相関値が基準値よりも高い場合、すなわち開閉眼について正確に判定し易い場合には、開閉眼判定閾値を大きくすることとなる。一方、相関値が基準値以下である場合、すなわち開閉眼について誤判定し易い場合には、開閉眼判定閾値を小さくすることとなる。

また、上瞼の曲率を求めて、この曲率が開閉眼判定閾値より大きいときに開眼と判定し、開閉眼判定閾値以下のときに、閉眼と判定するようにしている。ここで、眼の回りにノイズが多いなどの場合には、上瞼の曲率についても検出の精度が落ちる。すなわち、上記相関値が小さい場合には、上瞼の曲率についても検出の精度が落ちる。このため、開眼時にあっては上瞼の曲率を小さく検出してしまうことがある。ところが、本発明では、相関値が基準値以下の場合、開閉眼判定閾値を小さくしている。故に、開眼時に上瞼の曲率を小さく検出してしまっても、開閉眼判定閾値を小さくしているため、開眼時に閉眼と誤判定してしまう可能性を減じることができる。

従って、開眼時に閉眼であると誤判定しないようにすることができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。

図１は、本発明の実施形態に係る開閉眼判定装置の構成を示す機能ブロック図である。同図に示すように、開閉眼判定装置１は、被検出者の眼が開眼状態にあるか又は閉眼状態にあるかを判定するものであって、眼画像取得手段ＣＬ１、上瞼検出手段ＣＬ２、及び上瞼座標抽出手段ＣＬ３とを備えている。また、開閉眼判定装置１は、曲線近似手段ＣＬ４、相関値検出手段ＣＬ５、及び開閉眼判定閾値設定手段ＣＬ６を具備している。さらに、開閉眼判定装置１は、上瞼曲率検出手段ＣＬ７、及び開閉眼判定手段ＣＬ８を有している。

眼画像取得手段ＣＬ１は、被検出者の眼を含む眼画像を取得するものである。また、眼画像取得手段ＣＬ１は、入力した眼画像のデータを、上瞼検出手段ＣＬ２に送信する構成とされている。

上瞼検出手段ＣＬ２は、眼画像取得手段ＣＬ１により取得された眼画像から、上瞼を検出するものである。また、上瞼検出手段ＣＬ２は、検出した上瞼のデータを上瞼座標抽出手段ＣＬ３に送信する構成となっている。

上瞼座標抽出手段ＣＬ３は、上瞼検出手段ＣＬ２によって検出された上瞼から、上瞼を構成する座標群を抽出するものである。また、上瞼座標抽出手段ＣＬ３は、検出した抽出した上瞼を構成する座標群のデータを曲線近似手段ＣＬ４、相関値検出手段ＣＬ５及び上瞼曲率検出手段ＣＬ７に送信する構成となっている。

曲線近似手段ＣＬ４は、上瞼座標抽出手段ＣＬ３により抽出された上瞼の座標群から上瞼を二次以上の曲線に近似するものである。この曲線近似手段ＣＬ４は、例えば上瞼座標抽出手段ＣＬ３により抽出された上瞼の座標群から最小二乗法によって、二次の線形多項式に近似する。また、曲線近似手段ＣＬ４は、近似した曲線近似線の情報を相関値検出手段ＣＬ５に送信する構成となっている。

相関値検出手段ＣＬ５は、上瞼座標抽出手段ＣＬ３により抽出された上瞼の座標群と、曲線近似手段ＣＬ４により近似された曲線近似線との相関値を検出するものである。この相関値検出手段ＣＬ５は、相関値を検出すると、このデータを開閉眼判定閾値設定手段ＣＬ６に送信する構成となっている。

開閉眼判定閾値設定手段ＣＬ６は、相関値検出手段ＣＬ５により検出された相関値が基準値よりも高い場合、相関値が基準値以下の場合よりも、開閉眼判定の基準となる開閉眼判定閾値を大きく設定するものである。また、開閉眼判定閾値設定手段ＣＬ６は、設定した開閉眼判定閾値の情報を、開閉眼判定手段ＣＬ８に送信する構成となっている。

上瞼曲率検出手段ＣＬ７は、上瞼座標抽出手段ＣＬ３により抽出された座標群から、上瞼の曲率を検出するものである。上瞼曲率検出手段ＣＬ７は、検出した上瞼の曲率のデータを開閉眼判定閾値設定手段ＣＬ６及び開閉眼判定手段ＣＬ８に送信する構成となっている。

開閉眼判定手段ＣＬ８は、上瞼曲率検出手段ＣＬ７により検出された上瞼の曲率が、開閉眼判定閾値設定手段ＣＬ６により設定された開閉眼判定閾値以上の場合に開眼と判定し、開閉眼判定閾値に満たない場合に閉眼と判定するものである。また、開閉眼判定手段ＣＬ８は、居眠り検出装置などに接続されており、判定した開閉眼の結果を当該装置に送信する構成となっている。

ここで、眼画像取得手段ＣＬ１は、詳細には以下の構成となっている。すなわち、図１に示すように、眼画像取得手段ＣＬ１は、顔画像取得手段ＣＬ１１と眼検出手段ＣＬ１２とを有している。顔画像取得手段ＣＬ１１は、被検出者の前方略正面に設置され、被検出者の顔全体を撮像するものである。また、眼検出手段ＣＬ１２は、顔画像撮像手段ＣＬ１１によって撮像された顔全体を含む画像から被検出者の眼を検出するものである。そして、眼画像取得手段ＣＬ１は、眼検出手段ＣＬ１２によって検出された眼を含み顔画像よりも小さくされた微小画像を、顔画像から抽出して眼画像とする構成となっている。

また、開閉眼判定閾値設定手段ＣＬ６は詳細には以下のようになっている。すなわち、図１に示すように、開閉眼判定閾値設定手段ＣＬ６は、第１算出手段ＣＬ６１と第２算出手段ＣＬ６２とを備えている。第１算出手段ＣＬ６１は、開眼時の上瞼の曲率の代表値から設定される第１判定閾値を算出するものである。また、第２算出手段ＣＬ６２は、閉眼時の上瞼の曲率の代表値から設定される第２判定閾値を算出するものである。

さらに、図１に示すように第１算出手段ＣＬ６１は、第１サンプリング手段ＣＬ６１１と、第１代表値算出手段ＣＬ６１２とを有している。第１サンプリング手段ＣＬ６１１は、上瞼の曲率を所定数サンプリングするものである。第１代表値算出手段ＣＬ６１２は、第１サンプリング手段ＣＬ６１１によってサンプリングされた所定数の曲率から、平均値、中央値又は最頻値のいずれか１つを算出し、算出した値を第１の統計的代表値とするものである。

また、図１に示すように第２算出手段ＣＬ６２は、第２サンプリング手段ＣＬ６２１と、第２代表値算出手段ＣＬ６２２とを有している。第２サンプリング手段ＣＬ６２１は、上瞼の曲率を所定数サンプリングするものである。第２代表値算出手段ＣＬ６２２は、第２サンプリング手段ＣＬ６２１によってサンプリングされた所定数の曲率から、平均値、中央値又は最頻値のいずれか１つを求めるものである。

なお、第１算出手段ＣＬ６１及び第２算出手段ＣＬ６２については、後述のフローチャートにて詳細に説明するものとする。

図２は、本発明の実施形態に係る開閉眼判定装置１のハード構成図である。同図に示すように、ＴＶカメラ２が自動車のインストルメント上に設けられている。ＴＶカメラ２は、運転者を略正面から撮像できる位置に設置されており、少なくとも運転者の顔全体を撮影するようにされている。すなわち、このＴＶカメラ２が図１を参照して説明した顔画像取得手段ＣＬ１１を構成している。

また、ＴＶカメラ２の入力画像は、本実施形態では、例えば横方向（Ｘ）６４０画素、縦方向（Ｙ）４８０画素からなる。ＴＶカメラ２で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ（以下、マイコンという）３に画像データとして入力される。

マイコン３には、眼検出手段ＣＬ１２、上瞼検出手段ＣＬ２、上瞼座標抽出手段ＣＬ３、曲線近似手段ＣＬ４、相関値検出手段ＣＬ５、開閉眼判定閾値設定手段ＣＬ６、上瞼曲率検出手段ＣＬ７、及び開閉眼判定手段ＣＬ８を構成するプログラムロジックがプログラミングされている。そして、マイコン３は、ＴＶカメラ２からの顔全体を含む画像のデータを入力すると、プログラムを実行して、運転者の開閉眼を判定していくこととなる。

また、ＴＶカメラ２等は、図３に示す構成であってもよい。図３は、顔画像取得手段ＣＬ１１の他の例を示すハード構成図である。この例の場合、顔画像取得手段ＣＬ１１としてのＴＶカメラ２は、運転者の頭部に取り付けられている。また、ＴＶカメラ２は、ミラー４を介して眼を撮像するように構成されている。このように、ミラー４を介して眼の周辺部のみを撮像することにより、図１に示した眼検出手段ＣＬ１２を不要にし、構成及び処理の簡素化を図ることができる。

なお、ＴＶカメラ２は、ミラー４の位置に設置され、直接に眼を撮像する構成とされてもよい。さらに、ＴＶカメラ２は、インストルメント上に設置されされ、運転者に視点の位置を自動追尾しながら眼を撮像する構成とされてもよい。

ここで、本実施形態に係る開閉眼判定装置１の動作の概略を、図１を参照して説明する。まず、眼画像取得手段ＣＬ１は、被検出者の顔を撮像して眼を含む眼画像を取得する。次いで、上瞼検出手段ＣＬ２は、被検出者の上瞼を検出する。

そして、上瞼座標抽出手段ＣＬ３は、上瞼検出手段ＣＬ２により検出された被検出者の上瞼について座標群を抽出する。また、曲線近似手段ＣＬ４は、上瞼座標抽出手段ＣＬ３により抽出された上瞼の座標群から、上瞼を二次以上の曲線に近似する。次いで、相関値検出手段ＣＬ５は、上瞼の座標群と近似された二次以上の曲線との相関値を検出する。

ここで、図４を参照して相関値検出手段ＣＬ５を詳細に説明する。図４は、上瞼の様子を示す説明図であり、（ａ）は眼の周りにノイズが少ない場合の例を示し、（ｂ）は眼の周りにノイズが多い場合の例を示している。なお、図４（ａ）及び（ｂ）ではそれぞれ眼部分を画像処理したときの様子についても図示している。

まず、図４（ａ）に示すように、眼の周りにノイズが少ない場合、画像処理の様子から明らかなように、上瞼座標抽出手段ＣＬ３により抽出される上瞼の座標群は上に凸の弧状となる。また、曲線近似手段ＣＬ４により近似される曲線近似線についても、後述の曲線近似手段ＣＬ４に係る説明から明らかなように、上に凸の弧状となる。従って、眼の周りにノイズが少ない場合、上瞼の座標群と曲線近似線との相関値は高くなる。

一方、図４（ｂ）に示すように、眼の周りにノイズが多い場合、画像処理の様子から明らかなように、上瞼の座標群は上に凸の弧状に検出されることはなく、途切れ途切れの線として検出される。そして、曲線近似線は上に凸の弧状となることから、眼の周りにノイズが多い場合、上瞼の座標群と曲線近似線との相関値は低くなる。

再度図１を参照する。上瞼曲率検出手段ＣＬ７は、上瞼座標抽出手段ＣＬ３により抽出された座標群から、上瞼の曲率を検出する。ここで、眼の周りにノイズが少ない場合、上瞼曲率検出手段ＣＬ７は曲率を正確に検出しやすく、眼の周りにノイズが多い場合、上瞼曲率検出手段ＣＬ７は曲率を正確に検出し難くなる。

ここで、曲率と相関値とは次のような関係がある。図５は、上瞼の曲率半径と相関値との関係を示す説明図であり、（ａ）は眼の周りにノイズが少ない場合の例を示し、（ｂ）は眼の周りにノイズが多い場合の例を示している。なお、図５において縦軸は曲率半径を示し、横軸は相関値を示している。

まず、眼の周りにノイズが少ない場合、図５（ａ）に示すように、相関値は高く「１」付近に集中している。すなわち、眼の周りにノイズが少ない場合、上瞼の座標群及び曲線近似線の双方を精度よく求めることができるため、相関値は高く「１」付近に集中している。また、ノイズが少ない場合、上瞼の曲率も正確に求められることから、開眼時と閉眼時との曲率の値は異なることとなる。すなわち、図５（ａ）に示すように、開眼時における曲率半径は「１００」以下の値を示し、閉眼時における曲率半径は「１００」より大きい値を示すこととなる。従って、開閉眼判定装置１は、曲率半径が「１００」となるように開閉眼判定閾値を設定することで、精度良く開閉眼判定できることとなる。

他方、眼の周りにノイズが多い場合、図５（ｂ）に示すように、相関値は約「０．４」から「１」までのばらついて検出されることとなる。すなわち、眼の周りにノイズが多い場合、ノイズの影響から相関値が「０．４」付近などの低い値となる場合がある。また、ノイズが多い場合、上瞼の曲率を正確に求め難い。よって、開眼時における曲率半径は相関値が約「０．８５」よりも高い場合に「１７０」以下の値を示しているが、相関値が約「０．８５」以下である場合、約「３５０」付近まで検出されることとなる。同様に、閉眼時における曲率半径は相関値が約「０．８５」より高い場合に「１７０」以上の値を示しているが、相関値が約「０．８５」以下である場合、約「３５０」付近まで検出されることとなる。

このため、開閉眼判定装置１は、曲率半径が「１７０」となるように開閉眼判定閾値を設定したとしても、開閉眼判定を精度良く行うことができず、被検出者が開眼状態であるにも関わらず、閉眼と誤判定してしまうことがある。

そこで、開閉眼判定閾値設定手段ＣＬ６は、相関値検出手段ＣＬ５により検出された相関値が基準値よりも高い場合、相関値が基準値以下の場合よりも、開閉眼判定閾値を大きく設定することとしている。

具体的に図５（ｂ）に示す例の場合、本装置１は、基準値を図６に示すようにし、開閉眼判定閾値を図７に示すようにする。図６は、基準値の説明図であり、図７は、開閉眼判定閾値の説明図である。なお、図６において縦軸は出現頻度を示し、横軸は相関値を示している。また、図７において縦軸は曲率半径を示し、横軸は相関値を示している。

まず、図６に示すように、眼の回りにノイズが多い場合であっても、相関値はほぼ「０．８５」を超えることとなる。また、相関値が「０．８５」を超える場合、図５（ｂ）に示すように、開眼と閉眼とは、曲率半径が約「１７０」を境として切り分けられることとなる。従って、相関値が「０．８５」を超える場合、図７に示すように開閉眼判定閾値を曲率半径「１７０」となるように設定すれば、開眼と閉眼とを正確に判定できることとなる。

一方、相関値が「０．８５」以下の場合、図５（ｂ）に示すように、開眼と閉眼との切り分けは困難であるが、開眼時において上瞼の曲率半径は「３５０」を超えることがない。従って、相関値が「０．８５」以下の場合、図７に示すように開閉眼判定閾値を曲率半径「３５０」となるように設定すれば、開眼を誤って閉眼と判定しないようにすることとなる。

以上から、開閉眼判定閾値設定手段ＣＬ６は、相関値が「０．８５」を超える場合、開閉眼判定閾値を曲率半径「１７０」で設定する。また、開閉眼判定閾値設定手段ＣＬ６は、相関値が「０．８５」以下の場合、開閉眼判定閾値を曲率半径「３５０」で設定する。これにより、本装置１は、開眼時に閉眼と誤判定してしまう可能性を減じている。

そして、開閉眼判定手段ＣＬ８は、上瞼曲率検出手段ＣＬ７により検出された上瞼の曲率が、開閉眼判定閾値設定手段ＣＬ６により開閉眼判定閾値以上の場合に開眼と判定し、開閉眼判定閾値に満たない場合に閉眼と判定する。

なお、上記の曲率半径「１７０」及び「３５０」という値は、図５（ｂ）に示す場合において好適な開閉眼判定閾値であって、他の被検出者を撮像した場合などには、値が異なることは言うまでもない。

次に、本実施形態に係る開閉眼判定装置１の詳細動作について説明する。なお、本装置１は、自動車、鉄道車両、船舶の運転者やプラントのオペレータ等の開閉眼検知に用いることができるが、以下の説明においては、自動車の運転者の開閉眼検知に用いることができる開閉眼判定装置１を例に説明することとする。

図８は、第１実施形態に係る開閉眼判定装置１の動作の概略を示すメインフローチャートである。同図に示すように、まず、処理が開始されると、マイコン３は、初期値入力処理を実行する（ＳＴ１０）。この初期値入力の処理では、サンプリング時間などの各種定数が読み込まれる。

その後、マイコン３は、処理フレームカウンタ「ｉ」を「０」に初期化する（ＳＴ１１）。初期化後、マイコン３は、終了判断処理を実行する（ＳＴ１２）。この際、マイコン３は、例えばエンジンが起動しているか等に基づいて判断を行う。

そして、マイコン３は、「ＳＴＯＰ」か否かを判断する（ＳＴ１３）。例えばエンジンが起動されていないと判断した場合、マイコン３は、「ＳＴＯＰ」であると判断し（ＳＴ１３：ＹＥＳ）、処理は終了することとなる。

一方、エンジンが起動され走行しているなどにより、「ＳＴＯＰ」でないと判断した場合（ＳＴ１３：ＮＯ）、マイコン３は、眼画像の取得処理を実行する（ＳＴ１４）。これにより、図２に示す構成例にあっては、ＴＶカメラ２が運転者の顔全体を撮像し、マイコン３が顔全体の画像から眼画像を取得する。また、図３に示す構成の場合、ＴＶカメラ２は直接に眼画像を取得することとなる。また、この処理は、マイコン３が眼画像取得手段ＣＬ１に相当するプログラムを実行することにより為される。

図９は、図８に示した眼画像取得処理（ＳＴ１４）の詳細な動作を示すフローチャートである。本装置１が図２に示す構成を採用している場合、以下の処理により眼画像が取得される。

まず、同図に示すように、ステップＳＴ１３にて「ＮＯ」と判断された場合、ＴＶカメラ２は、運転者の顔全体を撮像することにより顔画像を取得する（ＳＴ３０）。そして、マイコン３は、眼の候補位置の特定処理を実行する（ＳＴ３１）。この処理により、画像全体から眼の候補位置が１又は複数特定される。具体的には、画像全体から左眼及び右眼である可能性を有する候補の位置が１又は複数特定される。

その後、マイコン３は、眼判定処理を実行する（ＳＴ３２）。すなわち、ステップＳＴ３１により特定された候補のうち１つを対象とし、その１つが眼であるか否かを判断する。この処理において、マイコン３は、候補が眼であると判断した場合、この眼を含み顔画像よりも小さくされた微小画像を、顔画像から抽出して眼画像とする。

その後、マイコン３は、眼判定処理（ＳＴ３２）の結果に基づいて候補が眼であると判定されたか否かを判断する（ＳＴ３３）。ここで、ステップＳＴ３２において候補が眼であると判定されず、眼画像が取得できていない場合には、マイコン３は、候補が眼でなかったと判断する（ＳＴ３３：ＮＯ）。そして、マイコン３は、ステップＳＴ３１にて特定された候補のすべてについて判定したか否かを判断する（ＳＴ３４）。すべてについて判定した場合（ＳＴ３４：ＹＥＳ）、処理は図８のステップＳＴ１５に移行する。

一方、すべてに対して判定していない場合（ＳＴ３４：ＮＯ）、処理はステップＳＴ３２に戻る。そして、マイコン３は、ステップＳＴ３２にて、他の候補を選択し、再度、選択した候補が眼であるか否かを判断することとなる。

ところで、ステップＳＴ３２において候補が眼であると判断され、眼画像が抽出された場合、マイコン３は候補が眼であったと判断する（ＳＴ３３：ＹＥＳ）。そして、マイコン３はステップＳＴ３２において抽出された眼画像を取得し、処理はステップＳＴ１５に戻る。

以上のようにして、本装置１は眼画像を取得する。なお、眼である可能性を有する候補を特定する処理（ＳＴ３１）及び眼判定処理（ＳＴ３２）は、マイコン３が眼検出手段ＣＬ１２に相当するプログラムを実行することによって、以下のようにして行われる。

図１０は、図９に示した眼候補位置特定処理（ＳＴ３１）の詳細を示すフローチャートである。同図において、まず、マイコン３は、撮像した画像のデータ全体を、全体画像として画像メモリに保存する（ＳＴ４０）。

次に、マイコン３は、ステップＳＴ４１の判断を行う。この判断については後述する。ステップＳＴ４１において「ＮＯ」と判断された場合、マイコン３は、全体画像の縦方向（Ｙ軸方向）の画素列のうち１ラインのみに沿って濃度値の相加平均演算を行う（ＳＴ４２）。

この相加平均演算は、例えば縦方向に並ぶ所定数の画素について、濃度の平均値を求め、所定数の画素のうちの１画素の濃度値を平均値とする処理である。例えば、所定数が「５」である場合、画面上方から１〜５番目に位置する画素を選択して平均値を求め、この平均値を５番目の画素の濃度値とする。次に、画面上方から２〜６番目に位置する画素を選択して平均値を求め、この平均値を６番目の画素の濃度値とする。そして、これを順次繰り返し、１ラインすべての画素について濃度の平均値を求める。

このように相加平均演算することで、本装置１は、画像データ撮影時の濃度変化の小さなバラツキを無くすことができ、濃度値の大局的な変化を捉えることができる。

相加平均演算後、マイコン３は、縦方向に相加平均値の微分演算を行う（ＳＴ４３）。そして、マイコン３は、微分値に基づいてポイント抽出を行う（ＳＴ４４）。このポイント抽出とは、縦方向の画素列に沿って画素濃度の相加平均値の局所的な高まり毎に１個ずつの画素を定める処理であって、例えば相加平均値の微分値が負から正に変化する画素を定める処理である。

ポイントとなる画素を定めた後、マイコン３は、現在ポイント抽出していたラインを次ラインへ切り替える（ＳＴ４５）。

そして、マイコン３は、縦方向の全ラインでのポイント抽出が終了したか否かを判断する（ＳＴ４１）。全ラインでのポイント抽出が終了していないと判断した場合（ＳＴ４１：ＮＯ）、前述のステップＳＴ４２〜ＳＴ４５の処理を経て、再度ステップＳＴ４１に戻る。

一方、全ラインでのポイント抽出が終了したと判断した場合（ＳＴ４１：ＹＥＳ）、隣り合う各ラインの抽出ポイントのＹ座標値を比較する。そして、Ｙ座標値が所定値以内の場合、連続データとして、（i）連続データのグループ番号、（ii）連続開始ライン番号、（iii）連続データ数をメモリする。また、（iv）連続データを構成する各抽出ポイントの縦方向位置の平均値（その連続データの代表上下位置）、（v）連続開始ラインと終了ラインの横方向位置の平均値（その連続データの代表左右位置）をメモリする（ＳＴ３６）。

なお、本実施形態では、眼を検出対象としているため、連続データは横方向比較的長く延びるものとなる。このため、マイコン３は、連続データ形成後、横方向に所定値以上続くことを条件に連続データを選択することができる。

その後、マイコン３は、各連続データについて代表座標値Ｃを定め、これを基準として存在領域ＥＡを設定する（ＳＴ４７）。この代表座標値Ｃとは、ステップＳＴ４６の処理において、メモリされたＸ座標値の平均値及びＹ座標値の平均値により決定されるものである（上記iv，vに示す平均値）。

代表座標値Ｃを定めて存在領域ＥＡを設定した後、処理は、図５のステップＳＴ３２に移行する。以上が、眼候補位置特定処理（ＳＴ３１）である。以上のようにして、求められた連続データが眼の候補となり、連続データの代表座標値Ｃが眼の候補点の位置となる。

図１１は、図１０に示したステップＳＴ４６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。なお、眼候補位置特定処理（ＳＴ３１）は、１又は複数の眼の候補を特定するものであるが、図７では複数の眼の候補が特定された場合を例に説明する。

同図に示すように、マイコン３は、複数の連続データＧを形成している。これは、眼を検出対象としているため、眼と似た特徴量を示すもの（口、鼻、眉毛など）が検出されるためである。

連続データＧは、前述したように、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成されるものである。そして、この連続データを形成する横方向両端画素のＸ座標値の平均値と、連続データを形成する各画素のＹ座標値の平均値により、代表座標値Ｃが決定される。さらに、存在領域ＥＡは、この代表座標値Ｃを基準として設定される。

次に、存在領域ＥＡの設定方法を説明する。図１２は、図１１に示した存在領域ＥＡの大きさを示す説明図であり、図１３及び図１４は数人の眼の大きさを調べた横Ｘａ、縦Ｙａの長さの統計データを示す説明図であり、図１５は存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。

存在領域ＥＡの設定は、まず、存在領域ＥＡの大きさが決定され、その後、存在領域ＥＡの画像上における位置が定められることでなされる。

存在領域ＥＡの大きさは、ノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。本実施形態では、数人の眼の大きさを調べ、それに余裕分（例えば×１．５倍）を加味して、存在領域ＥＡの大きさを決定している。すなわち、図１３及び図１４のように、眼の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分を加味して決定している。

そして、存在領域ＥＡの大きさは、図１２にも示すように、上記９５％をカバーする寸法、すなわち横寸法ｘａ、縦寸法ｙａに余裕分（×１．５）を加味して決定している。なお、存在領域ＥＡの大きさについては、画像処理により眼の幅や高さを推定し、縦横の大きさに余裕分を加える大きさとしてもよい。

このように存在領域ＥＡの大きさが決定された後、図１５に示すように、例えば眼の座標値（ｘ１，ｙ１）を基準に、基準点Ｐを決める。基準点Ｐは、眼の座標値（ｘ１，ｙ１）から距離ｘ２，ｙ２だけ離れた位置に定められるものである。

そして、マイコン３は、点Ｐを基準に存在領域ＥＡの寸法ｘ３，ｙ３を描画する。これにより、存在領域ＥＡの位置が決定される。その後、画像全体で見つかった連続データＧすべてについて存在領域ＥＡを設定する。

なお、上記のｘ２及びｙ２はｘ３，ｙ３の１／２であって、予め存在領域ＥＡが眼の中心にくるような長さとすることが望ましい。

以上の図１０〜図１５の処理により、図９の眼候補位置特定処理（ＳＴ３１）がなされる。次に、図９に示した眼判定処理（ＳＴ３２）を説明する。図１６は、図９に示した眼判定処理（ＳＴ３２）の詳細を説明するフローチャートである。

まず、マイコン３は、図１０の処理にて求められた存在領域ＥＡの画像データを微少画像ＩＧとして画像メモリに保存する（ＳＴ５０）。全体画像と画像メモリに保存される微小画像ＩＧとの状態を図１７に示す。図１７は、微小画像を示す説明図である。図１３に示すように、マイコン３は、全体画像から存在領域ＥＡ内の画像を抽出し、微小画像ＩＧとしている。

再度、図１６を参照して説明する。マイコン３は、全体画像の代表座標値Ｃを微少画像ＩＧの代表座標値ＩＣとする。そして、マイコン３は、微少画像ＩＧの代表座標値ＩＣを基準とした範囲ＡＲを設定し、範囲ＡＲの濃度情報をもとに二値化閾値を設定する（ＳＴ５１）。

範囲ＡＲでの二値化閾値の算出方法の一例を、図１８を参照して説明する。図１８は、範囲ＡＲでの二値化閾値の算出方法の説明図である。まず、マイコン３は、範囲ＡＲにおいて縦方向に数ラインの濃度値を読み出す。

そして、マイコン３は、各ラインにおいて濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリしていく。全ラインのメモリが終了したら、マイコン３は、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求める。そして、その中央値を二値化閾値とする。

なお、上記した範囲ＡＲは、好適に二値化閾値を決定するため、眼の黒い部分と眼周囲の皮膚の白い部分が入るように設定される。また、範囲ＡＲは、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにされる。

さらに、二値化閾値は、範囲ＡＲ内の眼の一番低い（暗い）濃度値と、皮膚部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。

ここで、二値化閾値を決定するのに皮膚部分における一番低い（暗い）濃度値を用いている理由は、次の通りである。例えば、範囲ＡＲの一部に直射光が当たっている場合、皮膚部分は、眼球の黒色部分に比して、光を強く反射する傾向にある。このため、本装置１は、多くのノイズとも言える光を入力してしまうこととなる。

この場合、濃度値を読み出す範囲ＡＲを極力小さくしても、画像がノイズ光による影響を受け、本装置１は正確な二値化閾値を決定できなくなってしまう。このため、本実施形態では、強く反射している可能性がある濃度値の高い部分を用いず、皮膚の部分の濃度値の一番低い（暗い）濃度値を用いることで、より適切な二値化閾値を決定できるようにしている。

再度、図１６を参照して説明する。二値化閾値の決定後、マイコン３は、決定した二値化閾値を用いて微少画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリに保存する（ＳＴ５２）。

次に、マイコン３は、全体画像の代表座標値Ｃを二値画像ｂＧの位置ｂＣとし、この位置ｂＣを初期位置として設定する（ＳＴ５３）。その後、マイコン３は、設定位置が黒画素か否かを判断する（ＳＴ５４）。ここでは、まず、ステップＳＴ５３において設定された初期位置が黒画素か否か判断される。

そして、設定位置が黒画素でないと判断した場合（ＳＴ５４：ＮＯ）、マイコン３は、設定位置を上下左右に１画素ずつずらす（ＳＴ５５）。その後、マイコン３は、ステップＳＴ５５においてずらされた設定位置が黒画素か否かを判断する。そして、マイコン３は、設定位置が黒画素と判断されるまで、この処理を繰り返す。

一方、設定位置が黒画素であると判断した場合（ＳＴ５４：ＹＥＳ）、マイコン３は、その黒画素の連結成分を候補オブジェクトとして設定する（ＳＴ５６）。そして、マイコン３は、候補オブジェクトの幾何形状を算出する（ＳＴ５７）。

算出後、マイコン３は、予め記憶している眼のテンプレートの幾何形状と候補オブジェクトの幾何形状とを比較する（ＳＴ５８）。候補オブジェクトと眼のテンプレートとの幾何形状の比較方法の一例を、図１９を参照して説明する。

図１９は、候補オブジェクトと眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。

眼の画像を二値化した形状は光環境が良く安定した画像であれば図１９（ａ）に示すようなものになる。ところが、車室内に直射日光が一側から当たる等して光環境が悪化したときには、図１９（ｂ）及び（ｃ）に示すように、一部が欠けた形状になることもある。

マイコン３は、上記のような候補オブジェクトを正確に判断するために、３つの条件により比較判断を行う。まず、条件（i）としては、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることである。次に、条件（ii）としては、黒眼の左側の凹み形状があることである。また、条件（iii）としては、黒眼の右側の凹み形状があることである。

再度、図１６を参照して説明する。幾何形状の比較後、マイコン３は、上記３つの条件に基づき、比較判断を行い、候補オブジェクトと眼テンプレートとの幾何形状が一致するか否かを判断する（ＳＴ５９）。ここで、図１９（ｂ）及び（ｃ）のように眼の形状の一部が欠けている場合を考慮し、マイコン３は、条件（i）及び（ii）を満たすもの、並びに条件（ii）及び（iii）を満たすものを一致すると判断する。

一致しないと判断した場合（ＳＴ５９：ＮＯ）、マイコン３は、その候補オブジェクトが眼でないと判定し（ＳＴ６０）、その後、処理は、図９のステップＳＴ３３に移行する。

一方、一致すると判断した場合（ＳＴ５９：ＹＥＳ）、マイコン３は、その候補オブジェクトを眼であると判定する（ＳＴ６１）。そして、判定された候補オブジェクトの座標値（全体画像における代表座標値Ｃに相当する）を、画像上における眼の座標値としてメモリする（ＳＴ６２）。

その後、マイコン３は、一致と判断された候補オブジェクトを含む微小画像ＩＧを眼画像ＭＧ_ｉとして、画像メモリに保存する（ＳＴ６３）。そして、処理は、図９のステップＳＴ３３に移行する。

なお、図１６の処理では、二値化閾値を用いて二値化した候補オブジェクトを検出している。このため、本実施形態では、眼の部分と他の部分（背景や眼以外の顔部分）とを明確に区別し、眼を正確に捉えることができる。さらには、候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上させることができる。

以上、図１１〜図１９を参照して説明したように、マイコン３（眼検出手段ＣＬ１２）は、入力した画像全体から、眼画像を取得することとなる。そして、前述したように、図９のステップＳＴ３３において、眼画像が取得されている場合、「ＹＥＳ」と判断されて、処理は図８のステップＳＴ１５に移行することとなる。

再度、図８を参照する。ステップＳＴ１５において、マイコン３は、眼画像を取得できたか否かを判断する（ＳＴ１５）。ここで、眼画像が取得できなかったと判断した場合（ＳＴ１５：ＮＯ）、処理はステップＳＴ２７に移行する。一方、眼画像が取得できたと判断した場合（ＳＴ１５：ＹＥＳ）、マイコン３は、上瞼検出処理を実行する（ＳＴ１６）。この処理において、マイコン３は、上瞼検出手段ＣＬ２に相当するプログラムを実行して、眼画像内から上瞼を検出することとなる。

ここで、上瞼の検出については、種々の方法がある。マイコン３は、それら方法のうちいずれか１つ以上により、上瞼を検出する。具体例を挙げると、マイコン３は、眼画像について画像縦方向にエッジ検出し、検出されたエッジのうち画像縦方向において上に凸となるものを上瞼として検出する。

次いで、マイコン３は、上瞼を検出できたか否かを判断する（ＳＴ１７）。ここで、上瞼を検出できなかったと判断した場合（ＳＴ１７：ＮＯ）、処理はステップＳＴ２７に移行する。一方、上瞼を検出できたと判断した場合（ＳＴ１７：ＹＥＳ）、マイコン３は、上瞼の座標を抽出する（ＳＴ１８）。この処理において、マイコン３は、上瞼座標抽出手段ＣＬ３に相当するプログラムを実行して、上瞼座標群を抽出することとなる。

図２０は、図８に示した上瞼検出処理（ＳＴ１６）及び上瞼座標抽出処理（ＳＴ１８）の詳細な動作を示す説明図であり、（ａ）は取得された眼画像の一例を示し、（ｂ）は眼画像について画像縦方向にエッジ検出処理を施した画像例を示し、（ｃ）は（ｂ）に示す画像に画像処理を施したときの画像例を示し、（ｄ）は（ｃ）に示す画像に画像処理を施したときの画像例を示している。

まず、図２０（ａ）に示すような眼画像が取得された場合、マイコン３は、眼画像縦方向にエッジ検出する。これにより、マイコン３は、図２０（ｂ）に示すように、上瞼の上側部分のエッジラインと、上瞼の下側及び黒眼の結合からなるエッジラインとを検出する。

ここで、上瞼の上側部分のエッジラインが上に凸であるため、上瞼検出手段ＣＬ２は、このエッジラインを上瞼として検出することとなる。次いで、マイコン３は、上瞼の上側部分のエッジラインから、上瞼の座標を抽出する。これにより、マイコン３は、上瞼の座標群を抽出することとなる。

また、上瞼の上側部分のエッジラインから上瞼の座標を抽出する方法に代えて、以下の方法を採用してもよい。すなわち、マイコン３は、上瞼の下側と黒眼との結合からなるエッジラインについて、不連続点を見つける。不連続点とは、エッジラインを画像横方向（Ｘ軸方向）に走査していた場合に、画像縦方向についての座標値（Ｙ値）が増加から減少に転じる点、又は減少から増加に転じる点をいう。

ここで、上瞼の下側と黒眼との結合からなるエッジラインについては、不連続点は２つとなる。このため、マイコン３は、図２０（ｃ）に示すように、２つの不連続点を線で結ぶことにより補完する（図２０（ｃ）の補完線１）。これにより、マイコン３は、上瞼の下側部分についてエッジラインを得ることとなる。そして、マイコン３は、上瞼の下側部分のエッジラインから上瞼の座標群を抽出する。

さらに、マイコン３は、図２０（ｃ）に示すように、上瞼の上側エッジラインと下側エッジラインの端部を補完し（図２０（ｃ）の補完線２）、図２０（ｄ）に示すように、上側エッジラインと下側エッジラインとで閉空間を形成してもよい。この場合、マイコン３は、閉空間を上瞼の領域とし、この空間内の点を上瞼の座標群として抽出することとなる。

以上のようにして、マイコン３は、上瞼を検出して座標群を抽出する。次いで、マイコン３は、上瞼の曲線近似処理を実行する（図８：ＳＴ１９）。この処理においてマイコン３は、曲線近似手段ＣＬ４に相当するプログラムを実行して、上瞼の曲線近似線を得ることとなる。

次に、曲線近似処理（ＳＴ１９）について詳細に説明する。マイコン３は、ステップＳＴ１８において抽出した座標（ｘ，ｙ）の群を、所定の関数ｆ（ｘ，ｙ）＝ｃで表される曲線に近似する。ここで、（ｘ，ｙ）は、眼画像の左上端を原点とした座標系により表されるとする。また、関数ｆ（ｘ，ｙ）＝ｃは、二次以上の多項式で表される。この多項式は、近似された曲線の頂点部分が原点となるように変換された座標系においては、偶数次項のみで構成される式となる。これは、頂点部分が原点となる座標系において奇数次項が含まれる式では、曲線形状の左右対称性や単頂点性が損なわれてしまうためである。

なお、ここでは、二次曲線のうち計算が容易に行える放物線ｙ＝ａｘ２＋ｂｘ＋ｃに近似を行うとして説明するが、マイコン３は、円、楕円、双曲線といった円錐曲線や、ａｘ^２＋２ｈｘｙ＋ｂｙ^２＋２ｇｘ＋２ｆｙ＋ｃ＝０で表される一般の二次曲線や、二次以上の曲線であっても、同様の手順を踏むことによって曲線近似を行うことができることはいうまでもない。

次に、図２１を参照する。図２１は、曲線近似処理（ＳＴ１９）の詳細を示すフローチャートである。図２１に示すように、マイコン３は座標群を最小二乗法により近似する。すなわち、まず、マイコン３は座標群を構成する各点の座標値（ｘ，ｙ）の総和値を求める（ＳＴ７０）。このとき、マイコン３は、座標値ｘ、座標値ｙ及び座標値ｘを二乗した値について、総和を求める。具体的にマイコン３は以下の式により、これらの総和値を求める。

その後、マイコン３は、各総和値の平均値を求める（ＳＴ７２）。具体的にマイコン３は以下の式により、これらの平均値を求める。

そして、マイコン３は、求めた平均値から、以下の式により、分散値及び共分散値を求める（ＳＴ７３）。

その後、マイコン３は、求めた分散値及び共分散値から、以下の式により、回帰係数ａ，ｂ及び定数項ｃを求める（ＳＴ７４）。

これにより、マイコン３は、エッジラインを放物線ｙ＝ａｘ^２＋ｂｘ＋ｃに近似する。なお、図２１の説明において、マイコン３は、放物線ｙ＝ａｘ^２＋ｂｘ＋ｃにエッジラインを近似したが、円、楕円、双曲線といった円錐曲線やａｘ^２＋２ｈｘｙ＋ｂｙ^２＋２Ｇｘ＋２ｆｙ＋ｃ＝０で表される一般の二次曲線に近似するようにしてもよい。

再度、図８を参照する。曲線近似処理（ＳＴ１９）の後、マイコン３は、上瞼の曲率算出処理を実行する（ＳＴ２０）。すなわち、マイコン３は、上瞼曲率検出手段ＣＬ７に相当するプログラムを実行して、曲率を検出することとなる。

ここで、マイコン３は、上瞼座標抽出手段ＣＬ３により抽出された座標群から、上瞼の曲率を検出する。このとき、マイコン３は、上記と同様にして曲線近似線を得て、曲線近似線から曲率Ｒを検出する。

ここで、マイコン３が近似曲線線（放物線）から曲率Ｒを検出する処理の詳細を説明する。まず、曲線近似線が式ｙ＝ａｘ^２＋ｂｘ＋ｃの式により表される場合、曲率Ｒは二次項の回帰係数ａとなる。また、マイコン３が、エッジラインを円（ｘ−ａ）^２＋（ｙ−ｂ）^２＝ｒや楕円（ｘ−ａ）^２／ｒｘ＋（ｙ−ｂ）^２／ｒｙ＝１に近似していたとする。このとき、曲率Ｒは、円の場合、Ｒ＝１／ｒとなる。また、楕円場合、

となる。なお、マイコン３が、エッジラインを放物線、円及び楕円以外に近似した場合については説明を省略する。

このように、曲率を求めた後、マイコン３は、上瞼の座標群と曲線近似線との相関値を算出する処理を実行する（ＳＴ２１）。この処理において、マイコン３は、相関値検出手段ＣＬ５に相当するプログラムを実行して、相関値を検出することとなる。

具体的にマイコン３は、上瞼の座標群を構成する各点のＹ値の総平方和に対する曲線近似線のＹ値の総平方和の値を求め、この値を相関値として検出する。すなわち、

なる式から相関値を検出する。

その後、マイコン３は、開閉眼判定閾値設定処理を実行する（ＳＴ２２）。図２２は、図８に示した開閉眼判定閾値設定処理（ＳＴ２２）の詳細を示すフローチャートである。まず、マイコン３は、第１及び第２判定閾値が設定されているか否かを判断する（ＳＴ８０）。ここで、第１判定閾値とは相関値が基準値より高いときに設定される閾値である。すなわち、図５（ｂ）について言えば、基準値が「０．８５」より高いときに設定される曲率半径を「１７０」とする閾値である。また、第２判定閾値とは相関値が基準値以下のときに設定される閾値である。すなわち、図５（ｂ）について言えば、基準値が「０．８５」以下のときに設定される曲率半径を「３５０」とする閾値である。

そして、第１及び第２判定閾値が設定されていないと判断した場合（ＳＴ８０：ＮＯ）、マイコン３は、ステップＳＴ８１〜ＳＴ８６に示すように、第１及び第２判定閾値算出処理を実行する。従って、マイコン３は、ステップＳＴ８０において「ＮＯ」と判断されると、第１算出手段ＣＬ６１及び第２算出手段ＣＬ６２に相当するプログラムを実行することとなる。

次いで、マイコン３は、ステップＳＴ２１にて求められた上瞼の座標群と曲線近似線との相関値が高いか否かを判断する（ＳＴ８１）。すなわち、マイコン３は相関値が基準値「０．８５」よりも高いか否かを判断する。

相関値が基準値よりも高い場合（ＳＴ８１：ＹＥＳ）、マイコン３は上瞼の曲率の値を記憶する（ＳＴ８２）。すなわち、相関値が基準値よりも高い場合、精度良く上瞼の曲率が求められていると考えられるため、マイコン３は上瞼の曲率の値を記憶する。このとき、マイコン３は、第１サンプリング手段ＣＬ６１１及び第２サンプリング手段ＣＬ６２１に相当するプログラムを実行する。

次いで、マイコン３は上瞼の曲率の値が所定フレーム数分記憶されたか否かを判断する（ＳＴ８３）。所定フレーム数分記憶されていない場合（ＳＴ８３：ＮＯ）、処理は図８のステップＳＴ２３に移行する。一方、所定フレーム数分記憶されている場合（ＳＴ８３：ＹＥＳ）、マイコン３は第１及び第２判定閾値を算出する（ＳＴ８４）。このとき、マイコン３は、第１代表値算出手段ＣＬ６１２及び第２代表値算出手段ＣＬ６２２に相当するプログラムを実行する。そして、マイコン３は、以下の処理を行う。

まず、マイコン３は、第１判定閾値を求めるべく、所定フレーム数分記憶した上瞼の曲率から、開眼時の上瞼の曲率の代表値を求める。すなわち、マイコン３は、所定数サンプリングした上瞼の曲率について、曲率の平均値、中央値又は最頻値のいずれか１つを求める。そして、マイコン３は、曲率の代表値を第１の統計的代表値とし、この第１の統計的代表値を開眼時における曲率と認定する。

ここで、一般的に被検出者の眼を撮像した場合、被検出者は約９割以上開眼状態にある。このため、サンプリングされた曲率の平均値、中央値又は最頻値のいずれであっても、開眼時における曲率に近い値となる。よって、マイコン３は、第１の統計的代表値を開眼時における曲率と認定することができる。

次に、マイコン３は、認定した開眼時における上瞼の曲率、及び、予め求めておいた開眼時における上瞼の曲率と閉眼時における上瞼の最大曲率との相関関係から、閉眼時における被検出者個人の上瞼の最大曲率を求める。図２３は、被検出者毎の開眼時における上瞼の曲率を示す説明図であり、図２４は、開眼時における上瞼の曲率と閉眼時における上瞼の最大曲率との相関関係を示す説明図である。

まず、図２３に示すように、被検出者Ａ〜Ｙの２５名について開眼時における上瞼の曲率を検出した。このとき、被検出者毎に開眼時における上瞼の曲率は異なるが、曲率半径の値はおおよそ「５０」〜「１２０」の範囲に収まっている。また、これら被検出者について、閉眼時における上瞼の最大曲率（最小曲率半径）を検出した。すると、図２４に示すような関係を有することが明らかとなった。すなわち、図２４に示すように、開眼時における上瞼の曲率半径と閉眼時における上瞼の最小曲率半径とは、比例関係にあることが明らかとなった。

このため、マイコン３は、開眼時における上瞼の曲率と認定された第１の統計的代表値を、相関関係に当てはめることで、閉眼時における被検出者個人の上瞼の最大曲率を求めることができる。そして、マイコン３はこの最大曲率を第１判定閾値として算出する。

このように、マイコン３は、上瞼の曲率を所定フレーム数（所定数）記憶（サンプリング）して、被検出者個人の閉眼時における上瞼の最大曲率を求める。ここで、閉眼時における上瞼の最大曲率とは、言い換えれば、開眼時における上瞼の最小曲率とも言える。このため、閉眼時における上瞼の最大曲率とは、開眼と閉眼との判定が分かれる曲率とも言える。よって、第１判定閾値は、開眼と閉眼との境界を示す値となり、開閉眼判定をするにあたって適した値となる。

なお、図２４では一部の被検出者について曲率半径を図示し、他の被検出者について曲率半径の図示を省略している。

次に、マイコン３は、第２判定閾値を算出する。第２判定閾値を算出するにあたり、まず、マイコン３は、サンプリングされた所定数の曲率から、平均値、中央値又は最頻値のいずれか１つを第２の統計的代表値として求める。その後、マイコン３は、上瞼の曲率について再度サンプリングする。

そして、マイコン３は、再度サンプリングされた所定数の曲率のうち、算出しておいた第２の統計的代表値よりも小さい曲率について、曲率の平均値、中央値又は最頻値のいずれか１つを第３の統計的代表値として求める。すなわち、マイコン３は、上瞼の曲率が所定数記憶されると第２の統計的代表値を求め、さらに上瞼の曲率が所定数記憶されると第３の統計的代表値を求めることとなる。そして、マイコン３は、このサンプリングと統計的代表値の算出とをＮ回（Ｎは２以上の整数）繰り替えす（すなわち、第２判定閾値を算出するには、ステップＳＴ８１〜ＳＴ８６の処理を複数回繰り返す必要がある）。

上記動作についてまとめると、マイコン３は、１回目にサンプリングされた所定数の曲率から、曲率の平均値、中央値又は最頻値のいずれか１つを第２の統計的代表値として求める。そして、マイコン３は、ｎ回目（ｎは２以上Ｎ以下の整数）にサンプリングされた所定数の曲率のうち、ｎ−１回目に求めた第ｎの統計的代表値よりも小さい曲率について、曲率の平均値、中央値又は最頻値のいずれか１つを第ｎ＋１の統計的代表値として求めることとなる。その後、マイコン３は、求めた第Ｎ＋１の統計的代表値を第２判定閾値とする。

ここで、一般的に被検出者の眼を撮像した場合、被検出者は約９割以上開眼状態にあるため、サンプリングされた曲率の平均値、中央値又は最頻値のいずれであっても、開眼時における曲率に近い値となる。よって、再度サンプリングした曲率のうち、第２統計的代表値よりも小さい曲率について、曲率の平均値、中央値又は最頻値のいずれか１つを第３統計的代表値として求めることで、開眼時の曲率の多くを除いて平均値、中央値又は最頻値を求めることとなる。そして、これらを繰り返すことで、一層開眼時の曲率の多くを除いて平均値、中央値又は最頻値を求めることとなる。

故に、開眼時の曲率が多く除かれた曲率から平均値、中央値又は最頻値を求めることで、これらの値を閉眼時の曲率に近い値とすることができる。すなわち、開眼を誤って閉眼と判定しないように、第２判定閾値を小さい値（曲率半径を基準とすると高い値）とすることとができる。しかも、現在の運転者の眼の曲率をサンプリングしているため、現在の運転者にとって適切な範囲内で、第２判定閾値を小さくすることが可能となる。

なお、図７に示すように、第２判定閾値を曲率半径「３５０」などの値にして、開眼時に誤って閉眼と判定することがないように確実を期するためには、被検出者の撮影角度や用いられるシステムなどに合わせて、上記繰り返し回数Ｎを適切に設定すればよい。また、マイコン３は、第２統計的代表値を求めた後、再度サンプリングすることなく（すなわちＳＴ８１〜ＳＴ８６の処理をＮ回繰り返すのではなく）、既に記憶してある所定数の上瞼の曲率を対象に、統計的代表値の算出を繰り返し、第Ｎ＋１の統計的代表値を求めるようにしてもよい。

また、第２判定閾値については、以下のように算出されてもよい。すなわち、マイコン３は、上瞼の曲率を所定数サンプリングし、サンプリングした所定数の曲率のうち、先に算出された第１判定閾値よりも小さい曲率について、曲率の平均値、中央値又は最頻値のいずれか１つを第２の統計的代表値として求める。そして、マイコン３は、求めた第２の統計的代表値を第２判定閾値とする。

ここで、開眼時に誤って閉眼と判定してしまう可能性を減じるためには、第２判定閾値が少なくとも第１判定閾値よりも小さくなければならない。すなわち、図７に示すように、曲率半径を基準にして考えると、第２判定閾値が少なくとも第１判定閾値よりも大きくなければ、開眼時に誤って閉眼と判定してしまう可能性を減じることにならない。ところが、上記の方法によれば、第２判定閾値は必ず第１判定閾値よりも小さくなり、開眼時に誤って閉眼と判定してしまう可能性を減じることができる。さらには、複数回にわたってサンプリングすることなく、且つ、繰り返す回数（上記Ｎの数）について適切に設定する必要がない。

再度、図２２を参照する。上記の如く、第１及び第２判定閾値を算出した後、マイコン３は、第１判定閾値をメモリ等に設定する（ＳＴ８５）。次いで、マイコン３は第２判定閾値をメモリ等に設定する（ＳＴ８６）。そして、処理は図８のステップＳＴ２３に移行することとなる。

ところで、ステップＳＴ８０において、第１及び第２判定閾値が設定されていると判断した場合（ＳＴ８０：ＹＥＳ）、マイコン３は、上瞼の座標群と曲線近似線との相関値が高いか否かを判断する（ＳＴ８７）。すなわち、マイコン３は相関値が基準値よりも高いか否かを判断する。

そして、相関値が基準値よりも高い場合（ＳＴ８１：ＹＥＳ）、マイコン３は、第１判定閾値を開閉眼判定閾値として設定する（ＳＴ８８）。そして、処理は図８のステップＳＴ２３に移行する。また、相関値が基準値よりも高くない場合（ＳＴ８１：ＮＯ）、マイコン３は、第２判定閾値を開閉眼判定閾値として設定し（ＳＴ８９）、処理は図８のステップＳＴ２３に移行する。

再度、図８を参照する。上記の如く、開閉眼判定閾値設定処理（ＳＴ２２）の終了後、マイコン３は、開閉眼判定閾値が決定しているか否かを判断する（ＳＴ２３）。ここで、図２２に示したステップＳＴ８１〜ＳＴ８６のみの処理が実行され、図２２に示したステップＳＴ８８又はＳＴ８９の処理が実行されていなければ、マイコン３は、開閉眼判定閾値が決定していないと判断し（ＳＴ２３：ＮＯ）、処理はステップＳＴ２７に移行する。

一方、図２２に示したステップＳＴ８８又はＳＴ８９の処理が実行されていれば、マイコン３は、開閉眼判定閾値が決定していると判断し（ＳＴ２３：ＹＥＳ）、上瞼の曲率が開閉眼判定閾値以上か否かを判断する（ＳＴ２４）。このとき、マイコン３は、開閉眼判定手段ＣＬ８に相当するプログラムを実行する。

そして、上瞼の曲率が開閉眼判定閾値以上であると判断した場合（ＳＴ２４：ＹＥＳ）、マイコン３は、運転者が開眼状態であると判定する（ＳＴ２５）。その後、処理はステップＳＴ２７に移行する。一方、上瞼の曲率が開閉眼判定閾値以上でないと判断した場合（ＳＴ２４：ＮＯ）、マイコン３は、運転者が閉眼状態であると判定する（ＳＴ２６）。その後、処理はステップＳＴ２７に移行する。

ステップＳＴ２７においてマイコン３は、処理フレームカウンタ「ｉ」をインクリメントする（ＳＴ２７）。その後、処理は、ステップＳＴ１２に戻り、例えばエンジンが起動されていないと判断され、「ＳＴＯＰ」であると判断されるまで、上記の処理が繰り返されることとなる。

このようにして、開閉眼判定装置１は、上瞼の座標群とこの座標群に近似された二次以上の曲線との相関値を求めている。ここで、相関値が高い場合とは、眼の周りにノイズが少ないなどの事情により、開閉眼について正確に判定し易い状態であることを示している。他方、相関値が低い場合、眼の周りにノイズが多いなどの事情により、開閉眼について誤判定し易い状態であることを示している。

また、相関値が基準値よりも高い場合、基準値以下の場合よりも、開閉眼判定閾値を大きく設定している。このため、相関値が基準値よりも高い場合、すなわち開閉眼について正確に判定し易い場合には、開閉眼判定閾値を大きくすることとなる。一方、相関値が基準値以下である場合、すなわち開閉眼について誤判定し易い場合には、開閉眼判定閾値を小さくすることとなる。

また、上瞼の曲率を求めて、この曲率が開閉眼判定閾値より大きいときに開眼と判定し、開閉眼判定閾値以下のときに、閉眼と判定するようにしている。ここで、眼の回りにノイズが多いなどの場合には、上瞼の曲率についても検出の精度が落ちる。すなわち、上記相関値が小さい場合には、上瞼の曲率についても検出の精度が落ちる。このため、開眼時にあっては上瞼の曲率を小さく検出してしまうことがある。ところが、本実施形態では、相関値が基準値以下の場合、開閉眼判定閾値を小さくしている。故に、開眼時に上瞼の曲率を小さく検出してしまっても、開閉眼判定閾値を小さくしているため、開眼時に閉眼と誤判定してしまう可能性を減じることができる。

従って、開眼時に閉眼であると誤判定しないようにすることができる。

また、サンプリングされた曲率の平均値、中央値又は最頻値のいずれか１つを第１の統計的代表値として求め、第１の統計的代表値を開眼時における曲率と認定している。ここで、一般的に被検出者の眼を撮像した場合、被検出者は約９割以上開眼状態にある。このため、サンプリングされた曲率の平均値、中央値又は最頻値のいずれであっても、開眼時における曲率に近い値となる。よって、開眼時における曲率を認定することができる。

また、認定した開眼時における上瞼の曲率、及び、予め求めておいた開眼時における上瞼の曲率と閉眼時における上瞼の最大曲率との相関関係から、閉眼時における被検出者個人の上瞼の最大曲率を求めている。そして、この最大曲率を第１判定閾値として算出している。すなわち、開眼時における上瞼の曲率から、被検出者個人の閉眼時における上瞼の最大曲率を求めている。

このように、本実施形態では、上瞼の曲率をサンプリングして、被検出者個人の閉眼時における上瞼の最大曲率を求めることができる。ここで、被検出者個人の閉眼時における上瞼の最大曲率とは、言い換えれば、被検出者個人の開眼時における上瞼の最小曲率とも言える。すなわち、被検出者個人の閉眼時における上瞼の最大曲率とは、現在の被検出者にとって開眼と閉眼との判定が分かれる曲率とも言える。よって、第１判定閾値は、開閉眼判定をするにあたって適した値となる。

従って、開閉眼判定するにあたり、被検出者毎に適切な閾値を設定することができる。

また、サンプリングをＮ回繰り返し、１回目にサンプリングされた曲率について、曲率の平均値、中央値又は最頻値のいずれか１つを第２の統計的代表値として求め、Ｎ回目にサンプリングした曲率については、第Ｎの統計的代表値よりも小さい曲率について、曲率の平均値、中央値又は最頻値のいずれか１つを第Ｎ＋１統計的代表値として求め、この第Ｎ＋１の統計的代表値を第２判定閾値としている。

ここで、一般的に被検出者の眼を撮像した場合、被検出者は約９割以上開眼状態にある。このため、サンプリングされた曲率の平均値、中央値又は最頻値のいずれであっても、開眼時における曲率に近い値となる。よって、再度サンプリングした曲率のうち、第２統計的代表値よりも小さい曲率について、曲率の平均値、中央値又は最頻値のいずれか１つを第３統計的代表値として求めることで、開眼時の曲率の多くを除いて平均値、中央値又は最頻値を求めることとなる。そして、これらを繰り返すことで、一層開眼時の曲率の多くを除いて平均値、中央値又は最頻値を求めることとなる。

故に、開眼時の曲率が多く除かれた曲率から平均値、中央値又は最頻値を求めることで、これらの値を小さくすることができる。すなわち、開眼を誤って閉眼と判定しないように、第２判定閾値を小さい値（曲率半径を基準とすると高い値）とすることとができる。しかも、現在の運転者の眼の曲率をサンプリングしているため、現在の運転者にとって適切な範囲内で、第２判定閾値を小さくすることが可能となる。

従って、開閉眼判定するにあたり、被検出者毎に適切な閾値を設定することが可能となる。

ここで、開眼時に誤って閉眼と判定してしまう可能性を減じるためには、第２判定閾値が少なくとも第１判定閾値よりも小さくなければならない。すなわち、曲率半径を基準にして考えると、第２判定閾値が少なくとも第１判定閾値よりも大きくなければ、開眼時に誤って閉眼と判定してしまう可能性を減じることにならない。このため、上瞼の曲率を所定数サンプリングし、サンプリングした所定数の曲率のうち、先に算出された第１判定閾値よりも小さい曲率について、曲率の平均値、中央値又は最頻値のいずれか１つを第２の統計的代表値として求める。そして、求めた第２の統計的代表値を第２判定閾値とする。

このようにすれば、第２判定閾値は必ず第１判定閾値よりも小さくなり、開眼時に誤って閉眼と判定してしまう可能性を確実に減じることができる。さらには、複数回にわたってサンプリングする必要がなく、且つ、繰り返す回数（上記Ｎの数）について適切に設定する必要がない。

従って、簡易に、開眼時に閉眼であると誤判定しないようにすることができる。

また、被検出者の顔全体を撮像した顔画像から被検出者の眼を検出して、顔画像よりも小さくされた微小画像を眼画像として取得している。このため、後の上瞼の曲率検出などにおいても、微小な眼画像を対象に処理していくこととなり、顔画像全体から上瞼を検出する場合に比して、開閉眼を精度良く判定することができる。従って、開閉眼の判定精度を向上させることができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせてもよい。また、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

例えば、本実施形態では、第１及び第２判定閾値を求めていたが、特に２つに限らず、３段階以上に閾値を設定してもよい。さらには、図２５及び図２６に示すようにしてもよい。

図２５は閾値及び開閉眼の分布状況を示す説明図であり、図２６は閾値の説明図である。同図に示すように、相関値が例えば「０．６」〜「０．８５」の区間において閾値は一定値でなく一次式により表されるようにしてもよい。このような一次式を求める場合、マイコン３は、例えば、相関値「０．６０」〜「０．６１」の区間において得られた上瞼の曲率について、平均値、中央値又は最頻値を求め記憶する。また、マイコン３は、相関値「０．６１」以上の区間においても同様に約「０．０１」ずつの間隔で平均値、中央値又は最頻値を求め記憶していく。そして、得られた２５０個の値から近似線を求めることにより、一次式を求める。

本発明の実施形態に係る開閉眼判定装置の構成を示す機能ブロック図である。 本発明の実施形態に係る開閉眼判定装置１のハード構成図である。 顔画像取得手段ＣＬ１１の他の例を示すハード構成図である。 上瞼の様子を示す説明図であり、（ａ）は眼の周りにノイズが少ない場合の例を示し、（ｂ）は眼の周りにノイズが多い場合の例を示している。 上瞼の曲率半径と相関値との関係を示す説明図であり、（ａ）は眼の周りにノイズが少ない場合の例を示し、（ｂ）は眼の周りにノイズが多い場合の例を示している。 基準値の説明図である。 開閉眼判定閾値の説明図である。 第１実施形態に係る開閉眼判定装置１の動作の概略を示すメインフローチャートである。 図８に示した眼画像取得処理（ＳＴ１４）の詳細な動作を示すフローチャートである。 図９に示した眼候補位置特定処理（ＳＴ３１）の詳細を示すフローチャートである。 図１０に示したステップＳＴ４６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。 図１１に示した存在領域ＥＡの大きさを示す説明図であり、 数人の眼の大きさを調べた横Ｘａの長さの統計データを示す説明図である。 数人の眼の大きさを調べた縦Ｙａの長さの統計データを示す説明図である。 存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。 図９に示した眼判定処理（ＳＴ３２）の詳細を説明するフローチャートである。 微小画像を示す説明図である。 範囲ＡＲでの二値化閾値の算出方法の説明図である。 候補オブジェクトと眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。 図８に示した上瞼座標抽出処理（ＳＴ１８）の詳細な動作を示す説明図であり、（ａ）は取得された眼画像の一例を示し、（ｂ）は眼画像について画像縦方向にエッジ検出処理を施した画像例を示し、（ｃ）は（ｂ）に示す画像に画像処理を施したときの画像例を示し、（ｄ）は（ｃ）に示す画像に画像処理を施したときの画像例を示している。 曲線近似処理（ＳＴ１９）の詳細を示すフローチャートである。 図８に示した開閉眼判定閾値設定処理（ＳＴ２２）の詳細を示すフローチャートである。 被検出者毎の開眼時における上瞼の曲率を示す説明図である。 開眼時における上瞼の曲率と閉眼時における上瞼の最大曲率との相関関係を示す説明図である。 閾値及び開閉眼の分布状況を示す説明図である。 閾値の説明図である。

符号の説明

１…開閉眼判定装置
ＣＬ１…眼画像取得手段
ＣＬ１１…顔画像取得手段
ＣＬ１２…眼検出手段
ＣＬ２…上瞼検出手段
ＣＬ３…上瞼座標抽出手段
ＣＬ４…曲線近似手段
ＣＬ５…相関値検出手段
ＣＬ６…開閉眼判定閾値設定手段
ＣＬ６１…第１算出手段
ＣＬ６１１…第１サンプリング手段
ＣＬ６１２…第１代表値算出手段
ＣＬ６２…第２算出手段
ＣＬ６２１…第２サンプリング手段
ＣＬ６２２…第２代表値算出手段
ＣＬ７…上瞼曲率検出手段
ＣＬ８…開閉眼判定手段

Claims (7)

1. 被検出者の眼を含む眼画像を取得する眼画像取得手段と、
   前記眼画像取得手段により取得された眼画像から、上瞼を検出する上瞼検出手段と、
   前記上瞼検出手段によって検出された上瞼から、上瞼を構成する座標群を抽出する上瞼座標抽出手段と、
   前記上瞼座標抽出手段により抽出された上瞼の座標群から上瞼を二次以上の曲線に近似する曲線近似手段と、
   前記上瞼座標抽出手段により抽出された上瞼の座標群と前記曲線近似手段によって近似された二次以上の曲線との相関値を検出する相関値検出手段と、
   前記相関値検出手段により検出された相関値が基準値よりも高い場合、前記相関値検出手段により検出された相関値が基準値以下の場合よりも、開閉眼判定の基準となる開閉眼判定閾値を大きく設定する開閉眼判定閾値設定手段と、
   前記上瞼座標抽出手段により抽出された座標群から、上瞼の曲率を検出する上瞼曲率検出手段と、
   前記上瞼曲率検出手段により検出された上瞼の曲率が、前記開閉眼判定閾値設定手段により設定された開閉眼判定閾値以上の場合に開眼と判定し、開閉眼判定閾値に満たない場合に閉眼と判定する開閉眼判定手段と、
   を備えることを特徴とする開閉眼判定装置。
2. 前記開閉眼判定閾値設定手段は、
   開眼時の上瞼の曲率の代表値から設定される第１判定閾値を算出する第１算出手段と、
   閉眼時の上瞼の曲率の代表値から設定される第２判定閾値を算出する第２算出手段と、を有し、
   前記相関値検出手段から得られた相関値が所定の基準値よりも高い場合に、前記第１算出手段により算出された第１判定閾値を開閉眼判定閾値として設定し、
   前記相関値検出手段から得られた相関値が所定の基準値以下の場合に、前記第２算出手段により算出された第２判定閾値を開閉眼判定閾値として設定する
   ことを特徴とする請求項１に記載の開閉眼判定装置。
3. 前記第１算出手段は、
   上瞼の曲率を所定数サンプリングする第１サンプリング手段と、
   前記第１サンプリング手段によってサンプリングされた所定数の曲率から、平均値、中央値又は最頻値のいずれか１つを算出し、算出した値を第１の統計的代表値とする第１代表値算出手段と、を有し、
   前記第１代表値算出手段によって求められた第１の統計的代表値を開眼時における曲率と認定し、
   この認定した開眼時における上瞼の曲率、及び、予め求めておいた開眼時における上瞼の曲率と閉眼時における上瞼の最大曲率との相関関係から、閉眼時における被検出者個人の上瞼の最大曲率を求め、この最大曲率を前記第１判定閾値として算出する
   ことを特徴とする請求項２に記載の開閉眼判定装置。
4. 前記第２算出手段は、
   上瞼の曲率を所定数サンプリングする第２サンプリング手段と、
   前記第２サンプリング手段によってサンプリングされた所定数の曲率から、平均値、中央値又は最頻値のいずれか１つを求める第２代表値算出手段と、を有し、
   前記第２サンプリング手段は、上瞼の曲率について所定数のサンプリングをＮ回（Ｎは２以上の整数）繰り返し、
   前記第２代表値算出手段は、
   前記第２サンプリング手段によって１回目にサンプリングされた所定数の曲率から、曲率の平均値、中央値又は最頻値のいずれか１つを第２の統計的代表値として求め、
   前記第２サンプリング手段によってｎ回目（ｎは２以上Ｎ以下の整数）にサンプリングされた所定数の曲率のうち、第ｎの統計的代表値よりも小さい曲率について、曲率の平均値、中央値又は最頻値のいずれか１つを第ｎ＋１の統計的代表値として求め、
   前記第２代表値算出手段により求めた第Ｎ＋１の統計的代表値を前記第２判定閾値とする
   ことを特徴とする請求項２又は請求項３のいずれかに記載の開閉眼判定装置。
5. 前記第２算出手段は、
   上瞼の曲率を所定数サンプリングする第２サンプリング手段と、
   前記第２サンプリング手段によってサンプリングされた所定数の曲率のうち、前記第１算出手段により算出された第１判定閾値よりも小さい曲率について、曲率の平均値、中央値又は最頻値のいずれか１つを第２の統計的代表値として求める第２の代表値算出手段と、を有し、
   前記第２代表値算出手段により求めた第２の統計的代表値を前記第２判定閾値とする
   ことを特徴とする請求項３に記載の開閉眼判定装置。
6. 前記眼画像取得手段は、
   被検出者の前方略正面に設置され、被検出者の顔全体を撮像する顔画像撮像手段と、
   前記顔画像撮像手段によって撮像された顔全体を含む顔画像から被検出者の眼を検出する眼検出手段と、を有し、
   前記眼検出手段によって検出された眼を含み顔画像よりも小さくされた微小画像を、顔画像から抽出して眼画像とする
   ことを特徴とする請求項１〜請求項５のいずれか１項に記載の開閉眼判定装置。
7. 被検出者の眼を含む眼画像を取得して上瞼を検出し、検出した上瞼から、上瞼を構成する座標群を抽出し、抽出した上瞼の座標群から上瞼を二次以上の曲線に近似し、
   抽出した上瞼の座標群と、近似した二次以上の曲線との相関値を検出して、検出した相関値が基準値よりも高い場合、相関値が基準値以下の場合よりも、開閉眼判定閾値を大きく設定し、
   抽出した上瞼の座標群から、上瞼の曲率を検出して、検出した上瞼の曲率が、前記開閉眼判定閾値以上の場合に開眼と判定し、前記開閉眼判定閾値に満たない場合に閉眼と判定する
   ことを特徴とする開閉眼判定装置。