JP4743137B2 - 眠気判定装置及びプログラム - Google Patents

Description

本発明は、眠気判定装置及びプログラムに係り、特に、車両の運転者の眠気状態を判定する眠気判定装置及びプログラムに関する。

従来より、瞬目特徴量（瞬き回数、瞬き持続時間、瞬き間間隔）の重み付き加算値を求めて、眠気状態を判定する装置が知られている（例えば、特許文献１）。

また、瞬き頻度、瞬き速度、及び瞬き持続時間の各々に閾値を設定して、居眠りの検出を行う居眠り運転検出装置が知られている（例えば、特許文献２）。

また、所定時間内のある閾値以上の閉眼時間を積算した値を用いて居眠り検出を行う居眠り検出器が知られている（例えば、特許文献３）。
実開昭６２−２０３７３１号公報 特開平１１−３３９２００号公報 特開平６−２１９１８１号公報

しかしながら、上記の特許文献１に記載の技術では、半眼状態や顔特徴に関しては考慮されていないため、精度よく眠気状態を判定することができない、という問題がある。

また、上記特許文献２に記載の技術では、個人差が大きい瞬き頻度を用いて判定しているため、覚醒時でも瞬き頻度が非常に多い人には対応ができない、という問題がある。

また、上記特許文献３に記載の技術では、長時間閉眼を用いて眠気状態を判定しているため、眠気が非常に高い眠気状態の検出しか行えない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、精度よく眠気状態を判定することができる眠気判定装置及びプログラムを提供することを目的とする。

第１の発明に係る眠気判定装置は、車両の運転者の顔画像を撮像する撮像手段と、前記撮像手段により撮像された運転者の顔画像に基づいて、眼の開度の重み付け積算値、単位時間に対する半眼状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを含んで表される値の積算値、瞬目速度、瞬目頻度、単位時間に対する閉眼時間の割合、眠気状態で発生する運転者の口が半開している状態を表す物理量、眠気状態で発生する口をすぼめた状態を表す物理量、眠気状態で発生する運転者の頬の状態を表す物理量、眠気状態で発生する運転者の目尻が下がった状態を表す物理量、及び眠気状態で発生する運転者の眉間にしわを寄せた状態を表す物理量のうちの２つ以上を組み合わせた特徴量を抽出する抽出手段と、眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記特徴量の確率分布を記憶する記憶手段と、前記記憶手段に記憶された前記複数の眠気レベルの各々における前記特徴量の確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段とを含んで構成されている。

第２の発明に係るプログラムは、コンピュータを、車両の運転者の顔画像を撮像する撮像手段により撮像された運転者の顔画像に基づいて、眼の開度の重み付け積算値、単位時間に対する半眼状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを含んで表される値の積算値、瞬目速度、瞬目頻度、単位時間に対する閉眼時間の割合、眠気状態で発生する運転者の口が半開している状態を表す物理量、眠気状態で発生する口をすぼめた状態を表す物理量、眠気状態で発生する運転者の頬の状態を表す物理量、眠気状態で発生する運転者の目尻が下がった状態を表す物理量、及び眠気状態で発生する運転者の眉間にしわを寄せた状態を表す物理量のうちの２つ以上を組み合わせた特徴量を抽出する抽出手段、及び眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記特徴量の確率分布を記憶する記憶手段に記憶された前記複数の眠気レベルの各々における前記特徴量の確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段として機能させることを特徴としている。

第１の発明及び第２の発明によれば、撮像手段によって、車両の運転者の顔画像を撮像し、抽出手段によって、撮像手段により撮像された運転者の顔画像に基づいて、眼の開度の重み付け積算値、単位時間に対する半眼状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを含んで表される値の積算値、瞬目速度、瞬目頻度、単位時間に対する閉眼時間の割合、眠気状態で発生する運転者の口が半開している状態を表す物理量、眠気状態で発生する口をすぼめた状態を表す物理量、眠気状態で発生する運転者の頬の状態を表す物理量、眠気状態で発生する運転者の目尻が下がった状態を表す物理量、及び眠気状態で発生する運転者の眉間にしわを寄せた状態を表す物理量のうちの２つ以上を組み合わせた特徴量を抽出する。

そして、判定手段によって、記憶手段に記憶された複数の眠気レベルの各々における特徴量の確率分布と、抽出手段によって抽出された特徴量とに基づいて、運転者の眠気状態を判定する。

このように、眼の開度の重み付け積算値、単位時間に対する半眼状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを含んで表される値の積算値、瞬目速度、瞬目頻度、単位時間に対する閉眼時間の割合、眠気状態で発生する運転者の口が半開している状態を表す物理量、眠気状態で発生する口をすぼめた状態を表す物理量、眠気状態で発生する運転者の頬の状態を表す物理量、眠気状態で発生する運転者の目尻が下がった状態を表す物理量、及び眠気状態で発生する運転者の眉間にしわを寄せた状態を表す物理量のうちの２つ以上を組み合わせた特徴量を抽出し、運転者の眠気状態を判定しているため、精度よく運転者の眠気状態を判定することができる。

また、２つ以上組み合わせた特徴量の確率分布を用いるため、特徴量の個人差に対応することができ、精度よく運転者の眠気状態を判定することができる。

また、上記の判定手段は、眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた特徴量の確率分布と、抽出手段によって抽出された特徴量とに基づいて、運転者の眠気状態として、複数の眠気レベルの何れかであるかを判定する。これによって、特徴量の個人差に対応して、精度よく運転者の眠気レベルを判定することができる。

第３の発明に係る眠気判定装置は、車両の運転者の顔画像を撮像する撮像手段と、前記撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する瞬目の特徴量、及び眠気状態で発生する顔の状態を表す顔特徴量を抽出する抽出手段と、眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記瞬目の特徴量及び前記顔特徴量の確率分布を記憶する記憶手段と、前記記憶手段に記憶された前記複数の眠気レベルの各々における前記瞬目の特徴量及び前記顔特徴量の確率分布と、前記抽出手段によって抽出された前記瞬目の特徴量及び前記顔特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段と、を含んで構成されている。

第４の発明に係るプログラムは、コンピュータを、車両の運転者の顔画像を撮像する撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する瞬目の特徴量、及び眠気状態で発生する顔の状態を表す顔特徴量を抽出する抽出手段、及び眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記瞬目の特徴量及び前記顔特徴量の確率分布を記憶する記憶手段に記憶された前記複数の眠気レベルの各々における前記瞬目の特徴量及び前記顔特徴量の確率分布と、前記抽出手段によって抽出された前記瞬目の特徴量及び前記顔特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段として機能させることを特徴としている。

第３の発明及び第４の発明によれば、撮像手段によって、車両の運転者の顔画像を撮像し、抽出手段によって、撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する瞬目の特徴量、及び眠気状態で発生する顔の状態を表す顔特徴量を抽出する。

そして、判定手段によって、記憶手段に記憶された複数の眠気レベルの各々における瞬目の特徴量及び顔特徴量の確率分布と、抽出手段によって抽出された瞬目の特徴量及び顔特徴量とに基づいて、運転者の眠気状態を判定する。

このように、眠気状態で発生する瞬目の特徴量、及び眠気状態で発生する顔の状態を表す顔特徴量を抽出し、瞬目の特徴量と顔特徴量とを組み合わせて、運転者の眠気状態を判定するため、精度よく運転者の眠気状態を判定することができる。

また、瞬目の特徴量及び顔特徴量の組み合わせの確率分布を用いるため、特徴量の個人差に対応することができ、精度よく運転者の眠気状態を判定することができる。

また、上記の判定手段は、眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた瞬目の特徴量及び顔特徴量の確率分布と、抽出手段によって抽出された瞬目の特徴量及び顔特徴量とに基づいて、運転者の眠気状態として、複数の眠気レベルの何れかであるかを判定する。これによって、特徴量の個人差に対応して、精度よく運転者の眠気レベルを判定することができる。

第５の発明に係る眠気判定装置は、車両の運転者の顔画像を撮像する撮像手段と、前記撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する複数の瞬目の特徴量を抽出する抽出手段と、眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記複数の瞬目の特徴量の確率分布を記憶する記憶手段と、前記記憶手段に記憶された前記複数の眠気レベルの各々における前記複数の瞬目の特徴量の確率分布と、前記抽出手段によって抽出された前記複数の瞬目の特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段とを含んで構成されている。

第６の発明に係るプログラムは、コンピュータを、車両の運転者の顔画像を撮像する撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する複数の瞬目の特徴量を抽出する抽出手段、及び眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記複数の瞬目の特徴量の確率分布を記憶する記憶手段に記憶された前記複数の眠気レベルの各々における前記複数の瞬目の特徴量の確率分布と、前記抽出手段によって抽出された前記複数の瞬目の特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段として機能させることを特徴としている。

第５の発明及び第６の発明によれば、撮像手段によって、車両の運転者の顔画像を撮像し、抽出手段によって、車両の運転者の顔画像を撮像する撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する複数の瞬目の特徴量を抽出する。

そして、判定手段によって、記憶手段に記憶された前記複数の眠気レベルの各々における前記複数の瞬目の特徴量の確率分布と、前記抽出手段によって抽出された前記複数の瞬目の特徴量に基づいて、前記運転者の眠気状態を判定する。

このように、眠気状態で発生する複数の瞬目の特徴量を抽出し、複数の瞬目の特徴量の組み合わせの確率分布を用いて、運転者の眠気状態を判定するため、特徴量の個人差に対応することができ、精度よく運転者の眠気状態を判定することができる。

また、上記の判定手段は、眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた複数の瞬目の特徴量の確率分布と、抽出手段によって抽出された前記複数の瞬目の特徴量に基づいて、運転者の眠気状態として、複数の眠気レベルの何れかであるかを判定する。これによって、特徴量の個人差に対応して、精度よく運転者の眠気レベルを判定することができる。

第７の発明に係る眠気判定装置は、車両の運転者の顔画像を撮像する撮像手段と、前記撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する顔の状態を表す複数の顔特徴量を抽出する抽出手段と、眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記複数の顔特徴量の確率分布を記憶する記憶手段と、前記記憶手段に記憶された前記複数の眠気レベルの各々における前記複数の顔特徴量の確率分布と、前記抽出手段によって抽出された前記複数の顔特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段とを含んで構成されている。

第８の発明に係るプログラムは、コンピュータを、車両の運転者の顔画像を撮像する撮像手段撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する顔の状態を表す複数の顔特徴量を抽出する抽出手段、及び眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記複数の顔特徴量の確率分布を記憶する記憶手段に記憶された前記複数の眠気レベルの各々における前記複数の顔特徴量の確率分布と、前記抽出手段によって抽出された前記複数の顔特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段として機能させることを特徴としている。

第７の発明及び第８の発明によれば、撮像手段によって、車両の運転者の顔画像を撮像し、抽出手段によって、撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する顔の状態を表す複数の顔特徴量を抽出する。

そして、判定手段によって、記憶手段に記憶された前記複数の眠気レベルの各々における複数の顔特徴量の確率分布と、抽出手段によって抽出された複数の顔特徴量に基づいて、運転者の眠気状態を判定する。

このように、眠気状態で発生する複数の顔特徴量を抽出し、複数の顔特徴量の組み合わせの確率分布を用いて、運転者の眠気状態を判定するため、特徴量の個人差に対応することができ、精度よく運転者の眠気状態を判定することができる。

上記の判定手段は、眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた複数の顔特徴量の確率分布と、抽出手段によって抽出された複数の顔特徴量に基づいて、運転者の眠気状態として、複数の眠気レベルの何れかであるかを判定する。これによって、特徴量の個人差に対応して、精度よく運転者の眠気レベルを判定することができる。

以上説明したように、本発明の眠気判定装置及びプログラムによれば、精度よく運転者の眠気状態を判定することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された眠気判定装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る眠気判定装置１０は、例えば運転者の斜め前方に設置され、その運転者の顔を斜め上から撮像するカメラ１２と、カメラ１２で撮像された顔画像に基づいて、眠気状態の判定を行い、表示装置４０に判定結果を表示させるコンピュータ２０とを備えている。

コンピュータ２０は、画像処理や表示装置４０の制御を行うＣＰＵ２１と、データのワークエリアであるＲＡＭ２２と、後述する眠気判定処理ルーチンを実行するためのプログラムを含む各種制御プログラムが記憶されているＲＯＭ２３とを備えている。このように構成されたコンピュータ２０は、機能的には次に示すように構成されている。

図２は、コンピュータ２０の機能的な構成を示すブロック図である。コンピュータ２０は、顔画像から運転者の眼を表す眼領域を抽出する眼領域抽出部３１と、眼が開いている度合いを示す開眼度を判定する開眼度判定部３２と、開眼度に重み係数を乗算した重み付き開眼度を算出する重み付き算出部３３と、算出された重み付き開眼度を記憶する重み付き開眼度記憶部３４と、重み付き開眼度を積算する重み付き開眼度積算部３５と、眠気状態を判定する眠気判定部３６とを備えている
開眼度判定部３２では、図３（Ａ）に示すように、眼が全開であるときを１００％とし、閉眼時を０％とした場合の開眼度を判定し、半眼で眠気をこらえているような場合には、例えば約５０％の開眼度が判定される。また、重み付き算出部３３では、図３（Ｂ）に示すように、眼の開眼度に対して、シグモイド関数などで重み付けを行い、半眼の状態を考慮できる値として、重み付け開眼度を算出する。

眠気判定部３６では、眠気レベル０（眠気が低い状態、すなわち覚醒状態）、眠気レベル１（覚醒状態でも居眠り状態でもないが、浅い眠気が生じている状態）、眠気レベル２（眠気が高い状態、すなわち居眠り状態）の何れであるかを判定する。

次に、第１の実施の形態に係る眠気判定装置１０の作用について説明する。まず、カメラ１２によって運転者の顔を撮像し、コンピュータ２０において、図４に示す眠気判定処理ルーチンを実行する。

ステップ１００において、重み付き開眼度を算出した回数を示す変数ｉを初期値の０に設定し、ステップ１０２で、カメラ１２から顔画像を取得し、ステップ１０４で、取得した顔画像から、眼領域を抽出する。

そして、ステップ１０６で、抽出された眼領域の画像に基づいて、開眼度を算出する。たとえば、予め定められた全開時の上まぶたと下まぶたとの距離に対する眼領域の画像から検出される上まぶたと下まぶたとの距離の割合に基づいて、開眼度を算出する。

次のステップ１０８では、シグモイド関数に基づいて、算出された開眼度に対する重み係数を求め、この重み係数を開眼度に乗算して、重み付け開眼度を算出する。なお、重み係数は、例えば、０から１までの値であり、開眼度が０％に近づくほど重み係数は０に近づく値となり、開眼度が１００％に近づくほど重み係数は１に近づく値となる。

そして、ステップ１１０において、算出された重み付け開眼度を重み付け開眼度記憶部３４に記憶し、ステップ１１２で、変数ｉが予め定められた積算回数Ｎ未満であるか否かを判定し、重み付き開眼度を算出した回数が、積算回数Ｎに達していない場合には、ステップ１１４でｉをインクリメントして、ステップ１０２へ戻る。一方、重み付き開眼度を算出した回数ｉが、積算回数Ｎに達した場合には、ステップ１１６で、重み付け開眼度記憶部３４に記憶された重み付け開眼度を積算して、開眼度の重み付き積算値を算出する。

そして、ステップ１１８において、算出された開眼度の重み付き積算値と予め定められた第１しきい値及び第２しきい値（第１しきい値＞第２しきい値）とを比較して、第１しきい値以上である場合には、眠気レベル０であると判定し、第１しきい値未満であって第２しきい値以上である場合には、眠気レベル１であると判定し、第２しきい値未満である場合には、眠気レベル２であると判定する。

なお、第１しきい値については、統計的に又は実験的に、覚醒状態である場合と浅い眠気が生じている場合との境界となる開眼度の重み付き積算値を予め求めておき、第１しきい値として設定しておけばよく、第２しきい値については、統計的に又は実験的に、浅い眠気が生じている場合と居眠り状態である場合との境界となる開眼度の重み付き積算値を予め求めておき、第２しきい値として設定しておけばよい。

そして、ステップ１２０で、表示装置４０に判定結果を表示させて、眠気判定処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る眠気判定装置によれば、開眼度の重み付け積算値を、眠気が高い状態で発生する瞬目を表わす瞬目特徴量として抽出し、運転者の眠気状態を判定しているため、半眼状態を考慮して、精度よく運転者の眠気状態を判定することができる。

また、開眼度の重み付け積算値では、重み付けによって半眼のような状態に対しても、眠気への寄与を考慮することができるため、精度よく運転者の眠気状態を判定することができる。

また、半眼を扱える瞬目特徴量を用いることによって、眠気レベルをより詳細に判定することができる。

なお、上記の実施の形態では、３つの眠気レベルの何れかであるかを判定する場合を例に説明したが、これに限定されるものではなく、浅い眠気レベルから深い眠気レベルまで更に詳細に眠気レベルを分類し、眠気状態を詳細に判定するようにしてもよい。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第２の実施の形態では、連続する瞬目の閉眼時間及び開眼時間を用いて、眠気状態を判定している点が第１の実施の形態と異なっている。

図５に示すように、コンピュータ２２０は、眼領域抽出部３１と、連続している瞬目の各々の閉眼時間と連続している瞬目の間に存在する開眼時間とを検出する連続瞬目検出部２３２と、閉眼時間と開眼時間とを用いた瞬目特徴量を算出する瞬目特徴量算出部２３３と、算出された瞬目特徴量を記憶する瞬目特徴量記憶部２３４と、瞬目特徴量を積算する瞬目特徴量積算部２３５と、眠気状態を判定する眠気判定部２３６とを備えている
連続瞬目検出部２３２では、図６（Ａ）に示すように、連続した２つの瞬目の閉眼時間Ｍ_ｉ、Ｍ_ｉ＋１を検出すると共に、連続した２つの瞬目の間に存在する開眼時間Ｒを検出する。また、瞬目特徴量算出部２３３では、検出された閉眼時間Ｍｉ、Ｍｉ＋１と開眼時間Ｒとを用いて、以下の（１）式により、瞬目特徴量を算出する。
瞬目特徴量＝Ｍ_ｉ＊Ｍ_ｉ＋１＊Ｒ^−ａ ・・・（１）
ここで、ａは定数であり、正の実数である。

また、瞬目特徴量積算部２３５では、算出された所定個の瞬目特徴量を以下の（２）式により積算して、積算値を算出する。

上記の瞬目特徴量は、瞬目の間に存在する開眼時間が同じであれば（図６（Ａ）、（Ｂ）参照）、閉眼時間の長さに比例して大きくなる。一方、閉眼時間が同じであれば（図６（Ｂ）、（Ｃ）参照）、瞬目の間にある開眼時間のａ乗に反比例し、瞬目の間にある開眼時間が短いほど大きい値となる。図６（Ａ）〜（Ｃ）で比較すると、長時間の閉眼が短い間隔で生起している場合（図６（Ａ）参照）に算出される瞬目特徴量が、一番大きな値をとる。このように、上記の瞬目特徴量では、連続した瞬目の閉眼時間と瞬目間間隔とを同時に扱え、かつ眠気レベルが高くなるほど閉眼時間が長く、瞬目頻度が増える（開眼時間が短くなる）という特徴を捉えている。なお、瞬目間の開眼時間と閉眼時間とのどちらがより眠気に影響されるかに応じて、瞬目間の開眼時間の乗数ａの大きさを調節することができる。

次に、第２の実施の形態に係る眠気判定処理ルーチンについて、図７を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、算出回数を示す変数ｉを初期値の０に設定し、ステップ２５０で、カメラ１２から所定期間の連続した顔画像を取得し、ステップ２５２で、取得した顔画像から、眼領域を抽出する。

そして、ステップ２５４で、抽出された所定期間の眼領域の連続画像から、連続する２つの瞬目を表す期間の眼領域の連続画像を抽出する。たとえば、上まぶたと下まぶたとの距離の変化に基づいて、連続する２つの瞬目を表す期間の眼領域の連続画像を抽出する。

次のステップ２５６では、上記ステップ２５４で抽出された連続画像に基づいて、連続する２つの瞬目の各々の閉眼時間を検出し、ステップ２５８で、上記ステップ２５４で抽出された連続画像に基づいて、連続する２つの瞬目の間に存在する開眼時間を検出する。

なお、上記ステップ２５６、２５８では、上まぶたと下まぶたとの距離の変化に基づいて、閉眼時間及び開眼時間の各々を検出すればよい。

そして、ステップ２６０で、上記ステップ２５６で検出された閉眼時間及び上記ステップ２５８で検出された開眼時間を用いて、上記（１）式より瞬目特徴量を算出し、ステップ２６０において、算出された瞬目特徴量を瞬目特徴量記憶部２３４に記憶し、ステップ１１２で、変数ｉが予め定められた積算回数Ｎ未満であるか否かを判定し、積算回数Ｎに達していない場合には、ステップ１１４でｉをインクリメントして、ステップ２５０へ戻る。一方、瞬目特徴量を算出した回数ｉが、積算回数Ｎに達した場合には、ステップ２６４で、瞬目特徴量記憶部２３４に記憶された瞬目特徴量を積算して、上記（２）式で表される瞬目特徴量の積算値を算出する。

そして、ステップ２６６において、算出された瞬目特徴量の積算値と予め定められた第１しきい値及び第２しきい値（第１しきい値＜第２しきい値）とを比較して、第１しきい値未満である場合には、眠気レベル０であると判定し、第１しきい値以上であって第２しきい値未満である場合には、眠気レベル１であると判定し、第２しきい値以上である場合には、眠気レベル２であると判定する。

なお、第１しきい値については、統計的に又は実験的に、覚醒状態である場合と多少の眠気が生じている場合との境界となる瞬目特徴量の積算値を予め求めておき、第１しきい値として設定しておけばよく、第２しきい値については、統計的に又は実験的に、多少の眠気が生じている場合と居眠り状態である場合との境界となる瞬目特徴量の積算値を予め求めておき、第２しきい値として設定しておけばよい。

そして、ステップ１２０で、表示装置４０に判定結果を表示させて、眠気判定処理ルーチンを終了する。

以上説明したように、第２の実施の形態に係る眠気判定装置によれば、連続した瞬目の閉眼時間と開眼時間とを含んで表される瞬目特徴量の積算値を、眠気が高い状態で発生する瞬目を表わす瞬目特徴量として抽出し、運転者の眠気状態を判定しているため、精度よく運転者の眠気状態を判定することができる。

また、本実施の形態に係る瞬目特徴量では、長く閉眼した瞬目が短い間隔で生起するほど高い値をとるため、瞬き頻度のばらつき情報と閉眼時間を同時に考慮することができる。

また、瞬目間間隔を扱った従来特徴量である群発性瞬目の回数と本実施の形態の瞬目特徴量とを比較すると、従来特徴量の群発性瞬目の回数では、瞬目間間隔を閾値で切って離散値に変換するため、瞬目間間隔を定量的に扱うことが出来ない。例えば、閾値を１秒に設定した場合、１．２秒間隔で頻発するような瞬目が眠気に寄与する影響を無視することになる。一方、本実施の形態の瞬目特徴量は、連続した瞬目の各々の閉眼時間にも比例する量となっており、連続した瞬目の閉眼時間が長いものだったのか短いものであったのかを同時に考慮することができる。

なお、上記の第１の実施の形態及び第２の実施の形態では、開眼度の重み付き積算値や、連続した瞬目の閉眼時間及び開眼時間に基づく瞬目特徴量の積算値に基づいて、眠気状態を判定する場合を例に説明したが、これに限定されるものではなく、例えば、単位時間に対する半眼状態の時間の割合に基づいて、眠気状態を判定するようにしてもよい。この場合には、単位時間の連続した顔画像から、開眼度の変化を検出し、開眼度が半眼状態に相当する範囲内となる時間を積算して計測し、単位時間に対する半眼状態の時間の割合を算出すればよい。眠気が高い状態では、眠気を堪えて半眼状態となる傾向があるため、単位時間に対する半眼状態の時間の割合が予め定められたしきい値より大きい場合には、眠気レベルが高いと判定する。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第３の実施の形態では、眠気が高い状態で発生する口が半開となる状態を用いて、眠気状態を判定している点が第１の実施の形態と異なっている。

図８に示すように、コンピュータ３２０は、顔画像から運転者の口を表す口領域を抽出する口領域抽出部３３１と、口の上下の点を特徴点として検出する口特徴点検出部３３２と、口の上下の特徴点の距離に基づいて、口の半開状態が検出されたか否かを判定する口半開判定部３３３と、口の半開状態が検出された検出頻度を記憶する口半開頻度記憶部３３４と、眠気状態を判定する眠気判定部３３６とを備えている
口特徴点検出部３３２では、図９に示すように、画像認識処理により、口の上下の点を特徴点として検出する。また、口半開判定部３３３では、検出された口の上下の特徴点の距離が、予め定められた範囲内であると、口の半開状態が検出されたと判定する。

なお、この予め定められた範囲は、実験的又は統計的に、眠気によって口が半開状態となっているときの口の上下の特徴点の距離の範囲を予め求めておき、求められた範囲を、予め定められた範囲としておけばよい。

次に、第３の実施の形態に係る眠気判定処理ルーチンについて、図１０を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、判定回数を示す変数ｉを初期値の０に設定し、ステップ３５０で、口の半開状態が検出された回数を示す変数ｍを初期値の０に設定し、ステップ１０２で、カメラ１２から顔画像を取得し、ステップ３５２で、取得した顔画像から、口領域を抽出する。

そして、ステップ３５４で、抽出された口領域の画像に基づいて、口の上下を示す点を特徴点として検出し、ステップ３５６で、特徴点の間の距離を算出する。そして、ステップ３５８において、上記ステップ３５６で算出された距離が、口の半開状態に相当する予め定められた範囲内になるか否かを判定して、口の半開状態が検出されたか否かを判定し、算出された距離が、予め定められた範囲外であると、口が半開状態でないと判断して、ステップ１１２へ移行するが、一方、算出された距離が、予め定められた範囲内であると、口の半開状態が検出されたと判断して、ステップ３６０で、ｍをインクリメントして、ステップ１１２へ移行する。

ステップ１１２では、変数ｉが予め定められた判定回数Ｎ未満であるか否かを判定し、判定回数Ｎに達していない場合には、ステップ１１４でｉをインクリメントして、ステップ１０２へ戻る。一方、口の半開状態の判定を行った回数ｉが、判定回数Ｎに達した場合には、ステップ３６２で、検出回数ｍと、予め定められた第１しきい値及び第２しきい値（第１しきい値＜第２しきい値）とを比較して、第１しきい値未満である場合には、眠気レベル０であると判定し、第１しきい値以上であって第２しきい値未満である場合には、眠気レベル１であると判定し、第２しきい値以上である場合には、眠気レベル２であると判定する。

なお、第１しきい値については、統計的に又は実験的に、覚醒状態である場合と浅い眠気が生じている場合との境界となる口の半開状態の検出回数を予め求めておき、第１しきい値として設定しておけばよく、第２しきい値については、統計的に又は実験的に、浅い眠気が生じている場合と居眠り状態である場合との境界となる口の半開状態の検出回数を予め求めておき、第２しきい値として設定しておけばよい。

そして、ステップ１２０で、表示装置４０に判定結果を表示させて、眠気判定処理ルーチンを終了する。

以上説明したように、第３の実施の形態に係る眠気判定装置によれば、眠気が高くなったときに口元が緩み、口が半開した状態となるため、運転者の口が半開している状態の検出回数を、眠気が高い状態で発生する顔の特徴を表わす顔特徴量として抽出し、運転者の眠気状態を判定しているため、精度よく運転者の眠気状態を判定することができる。

なお、上記の実施の形態では、口の半開状態の検出回数に基づいて、眠気状態を判定する場合を例に説明したが、これに限定されるものではなく、例えば、口をすぼめた状態の検出回数に基づいて、眠気状態を判定するようにしてもよい。この場合には、顔画像から、口の上下左右の点を特徴点として検出し、特徴点間の距離に基づいて、口をすぼめた状態を検出し、口をすぼめた状態の検出回数を算出すればよい。眠気が高い状態では、口をすぼめる動きが増える傾向があるため、口をすぼめた状態の検出回数が予め定められたしきい値より大きい場合には、眠気レベルが高いと判定する。

また、あくびの検出回数に基づいて、眠気状態を判定するようにしてもよい。この場合には、所定期間の連続した顔画像から、口の上下左右の点を特徴点として検出し、特徴点間の距離の変化に基づいて、あくびを検出し、所定期間におけるあくびの検出回数を算出すればよい。

また、頬をすぼめて頬骨が出ている状態の検出回数に基づいて、眠気状態を判定するようにしてもよい。この場合には、所定期間の連続した顔画像から、頬、頬骨、及び顎を表す点を特徴点として検出し、特徴点間の距離の変化に基づいて、頬をすぼめて頬骨が出ている状態を検出し、所定期間における頬をすぼめて頬骨が出ている状態の検出回数を算出すればよい。眠気が高くなったとき、口周辺の筋肉をしきりに動かす状態がみられるため、頬をすぼめて頬骨が出ている状態の検出回数が予め定められたしきい値より大きい場合には、眠気レベルが高いと判定する。

次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第４の実施の形態では、眠気が高い状態で発生する眉間にしわを寄せた状態を用いて、眠気状態を判定している点が第１の実施の形態及び第３の実施の形態と異なっている。

図１１に示すように、コンピュータ４２０は、顔画像から運転者の目及び眉を表す目眉領域を抽出する目眉領域抽出部４３１と、両目の目頭及び眉頭を表す点を特徴点として検出する目眉特徴点検出部４３２と、両目の目頭及び眉頭の特徴点の距離に基づいて、眉間にしわを寄せた状態が検出されたか否かを判定するしわ寄せ状態判定部４３３と、眉間にしわを寄せた状態が検出された頻度を記憶するしわ寄せ状態頻度記憶部４３４と、眠気状態を判定する眠気判定部４３６とを備えている。

目眉特徴点検出部４３２では、図１２に示すように、画像認識処理により、両目の目頭及び眉頭を表す点を特徴点として検出する。また、しわ寄せ状態判定部４３３では、検出された両目の目頭の特徴点の距離が、予め定められたしきい値以下であって、かつ、検出された両目の眉頭の特徴点の距離が、予め定められたしきい値以下であると、眉間にしわを寄せた状態が検出されたと判定する。

次に、第４の実施の形態に係る眠気判定処理ルーチンについて、図１３を用いて説明する。なお、第１の実施の形態及び第３の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、判定回数を示す変数ｉを初期値の０に設定し、ステップ３５０で、眉間にしわを寄せた状態が検出された回数を示す変数ｍを初期値の０に設定し、ステップ１０２で、カメラ１２から顔画像を取得し、ステップ４５０で、取得した顔画像から、目と眉とを表す目眉領域を抽出する。

そして、ステップ４５２で、抽出された目眉領域の画像に基づいて、両目の目頭及び眉頭を表す点を特徴点として検出し、ステップ４５４で、両目の目頭を表す特徴点の間の距離と、両目の眉頭を表わす特徴点の間の距離とを算出する。そして、ステップ４５６において、上記ステップ４５４で算出された目頭間の距離が、眉間にしわを寄せた状態が発生した際の目頭間の距離に相当する予め定められた目頭しきい値以下になり、かつ、上記ステップ４５４で算出された眉頭間の距離が、眉間にしわを寄せた状態が発生した際の眉頭間の距離に相当する予め定められた眉頭しきい値以下になるか否かを判定して、眉間にしわを寄せた状態が検出されたか否かを判定し、目頭間の距離が、目頭しきい値より大きい場合や、眉頭間の距離が、眉頭しきい値より大きい場合には、眉間にしわを寄せた状態が発生していないと判断して、ステップ１１２へ移行するが、一方、目頭間の距離が、目頭しきい値以下であって、かつ、眉頭間の距離が、眉頭しきい値以下である場合には、眉間にしわを寄せた状態が検出されたと判断して、ステップ３６０で、ｍをインクリメントして、ステップ１１２へ移行する。

ステップ１１２では、変数ｉが予め定められた判定回数Ｎ未満であるか否かを判定し、判定回数Ｎに達していない場合には、ステップ１１４でｉをインクリメントして、ステップ１０２へ戻る。一方、眉間にしわを寄せた状態の判定を行った回数ｉが、判定回数Ｎに達した場合には、ステップ４５８で、検出回数ｍと、予め定められた第１しきい値及び第２しきい値（第１しきい値＜第２しきい値）とを比較して、第１しきい値未満である場合には、眠気レベル０であると判定し、第１しきい値以上であって第２しきい値未満である場合には、眠気レベル１であると判定し、第２しきい値以上である場合には、眠気レベル２であると判定する。

なお、第１しきい値については、統計的に又は実験的に、覚醒状態である場合と浅い眠気が生じている場合との境界となる眉間にしわを寄せた状態の検出回数を予め求めておき、第１しきい値として設定しておけばよく、第２しきい値については、統計的に又は実験的に、浅い眠気が生じている場合と居眠り状態である場合との境界となる眉間にしわを寄せた状態の検出回数を予め求めておき、第２しきい値として設定しておけばよい。

そして、ステップ１２０で、表示装置４０に判定結果を表示させて、眠気判定処理ルーチンを終了する。

以上説明したように、第４の実施の形態に係る眠気判定装置によれば、運転者の眉間にしわを寄せた状態を検出した検出回数を、眠気が高い状態で発生する顔の特徴を表わす顔特徴量として抽出し、運転者の眠気状態を判定しているため、精度よく運転者の眠気状態を判定することができる。

なお、上記の実施の形態では、眉間にしわを寄せた状態の検出回数に基づいて、眠気状態を判定する場合を例に説明したが、これに限定されるものではなく、例えば、目尻が下がった状態の検出回数に基づいて、眠気状態を判定するようにしてもよい。この場合には、図１４に示すように、顔画像から、両目の目尻を表わす点を特徴点として検出し、顔に対する特徴点の相対的位置に基づいて、目尻が下がった状態を検出し、目尻が下がった状態の検出回数を算出すればよい。眠気が高い状態では、目尻の下がった状態が増える傾向があるため、目尻が下がった状態の検出回数が予め定められたしきい値より大きい場合には、眠気レベルが高いと判定する。

次に、第５の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第５の実施の形態では、複数種類の瞬目特徴量を用いて、眠気状態を判定している点が第１の実施の形態と異なっている。

図１５に示すように、第５の実施の形態に係る眠気判定装置のコンピュータ５２０は、眼領域抽出部３１と、開眼度判定部３２と、重み付き算出部３３と、重み付き開眼度記憶部３４と、重み付き開眼度積算部３５と、瞬目の開眼時の速度である開眼速度を算出する開眼速度算出部５３３と、算出された開眼速度を記憶する開眼速度記憶部５３４と、開眼速度の平均速度を算出する平均速度算出部５３５と、各眠気レベルにおける開眼速度の平均速度及び開眼度の重み付き積算値の組み合わせの確率分布を生成する確率分布生成部５４０と、生成された各眠気レベルの確率分布を記憶する確率分布記憶部５４２と、眠気状態を判定する眠気判定部５３６とを備えている。

開眼速度算出部５３３では、上記図３（Ａ）に示すような開眼度の変化を検出し、検出された開眼度の変化から、図１６に示すような開眼速度を算出する。

また、確率分布生成部５４０では、複数種類の瞬目特徴量としての開眼速度の平均速度及び開眼度の重み付き積算値の組み合わせを学習用のデータセットとして複数用意し、各データセットについて、眠気レベル０、１、２の何れかを定める。そして、各眠気レベルに対して、学習対象の眠気レベルのデータセットを用いて、以下の（３）式で表わされるパラメータを学習する。

ここで、ｗｉは重み、μｉは平均、Σｉは分散の各々を表わしている。

上記の学習により、上記の（３）式で表される各眠気レベルのパラメータが、各眠気レベルについての開眼速度の平均速度及び重み付き積算値の組み合わせの確率分布を表している。また、確率分布として、図１７に示すように、ＧＭＭ（混合ガウス分布モデル）を用いる。ＧＭＭでは、各眠気レベルについて、複数の瞬目特徴量のデータ集合をガウス分布で近似し、近似するガウス分布は、複数のガウス分布とすることができるため、確率分布を複数のガウス分布で表わすことができる。従って、上記の確率分布を用いることにより、例えば、瞬目頻度が少ない人と多い人で、他の瞬目特徴量の出現パターンが異なる場合（瞬目が少ない人では、眠くなると、単位時間に対する閉眼時間の割合が増加するが、瞬目が多い人では、単位時間に対する閉眼時間の割合が減少するような場合）にも対応して、眠気レベルを判定することができる。

上記のように生成された各眠気レベルの確率分布が、確率分布記憶部５４２に記憶される。

また、眠気判定部５３６は、各眠気レベルの確率分布を用いて、算出された開眼度の重み付き積算値及び開眼速度の平均速度の組み合わせに対する確率密度値を、複数の眠気レベルの各々について求め、求められた確率密度値の中で、最大の尤度を持つ眠気レベルを、運転者の眠気状態として判定する。

なお、複数の瞬目特徴量の組み合わせを表わす特徴ベクトルをＸとすると、上記（３）式の各眠気レベルのパラメータを用いて、特徴ベクトルＸの確率密度値が、眠気レベル毎に以下の（４）式で求められる。

第５の実施の形態に係る眠気判定装置では、まず、顔画像から、開眼度の重み付き積算値を算出すると共に、開眼速度の平均速度を算出する。そして、算出された開眼度の重み付き積算値と開眼速度の平均速度との組み合わせについて、眠気レベル毎に、確率分布から確率密度値を求め、求めた各眠気レベルについての確率密度値に基づいて、運転者の眠気状態が眠気レベル０、１、２の何れかであるかを判定する。

以上説明したように、第５の実施の形態に係る眠気判定装置によれば、開眼度の重み付け積算値及び瞬目の開眼速度の平均速度を組み合わせた瞬目特徴量を抽出し、運転者の眠気状態を判定しているため、精度よく運転者の眠気状態を判定することができる。

また、２つの瞬目特徴量の組み合わせの確率分布を用いるため、瞬目特徴量の個人差を吸収することができ、不特定多数の運転者に対して、精度よく眠気状態を判定することができる。

また、確率分布を用いることにより、瞬目の多様な特徴を非線形なクラスに分割することができるため、複数の瞬目特徴量を用いた非線形な判定が可能となる。

なお、上記の実施の形態では、開眼度の重み付け積算値及び瞬目の開眼速度の平均速度の組み合わせを瞬目特徴量として抽出した場合を例に説明したが、これに限定されるものではなく、開眼度の重み付け積算値、瞬目の開眼速度の平均速度、単位時間に対する半眼状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを考慮した瞬目特徴量の積算値、瞬目頻度、及び単位時間に対する閉眼時間の割合（ＰＥＲＣＬＯＳ）のうちの２以上の組み合わせを瞬目特徴量として抽出してもよい。

また、瞬目頻度を用いて判定する場合に、判定対象者が、眠くない場合でも非常に高頻度の瞬目を行う特徴と有していると、誤判定してしまうが、瞬目頻度と他の瞬目特徴量を組み合わせた場合には、瞬目特徴量の組み合わせの確率分布を用いて、眠気レベルを判定するため、常時瞬きの多い人でも他の瞬目特徴量と組み合わせることによって精度よく眠気レベルを判定することが可能となる。

また、瞬目特徴量の組み合わせの中に、従来手法のＰＥＲＣＬＯＳや瞬目頻度などを採用してもよい。この場合には、瞬目特徴量の組み合わせの確率分布を生成し、各眠気レベルに対応した確率密度値の比較を行うことによって精度良く眠気レベルを判定することができる。

また、上記の実施の形態では、確率分布から、瞬目特徴量の組み合わせについて確率密度値を求めて比較し判定を行う場合を例に説明したが、確率分布から、瞬目特徴量の組み合わせについて確率値を求めて比較し判定を行うようにしてもよい。

また、上記の実施の形態では、瞬目特徴量の組み合わせの確率分布を用いて、眠気状態を判定する場合を例に説明したが、瞬目特徴量の組み合わせの各々について、しきい値を設定し、しきい値判断によって、眠気状態を判定するようにしてもよい。

また、上記の実施の形態では、瞬目の開眼速度の平均速度を算出する場合を例に説明したが、瞬目特徴量として瞬目の閉眼速度の平均速度を算出するようにしてもよい。また、瞬目の開眼及び閉眼時の速度の平均速度を算出するようにしてもよい。

次に、第６の実施の形態について説明する。なお、第１の実施の形態〜第５の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第６の実施の形態では、複数種類の顔特徴量を用いて、眠気状態を判定している点が第５の実施の形態と異なっている。

図１８に示すように、第６の実施の形態に係る眠気判定装置のコンピュータ６２０は、口領域抽出部３３１と、口特徴点検出部３３２と、口半開判定部３３３と、口半開頻度記憶部３３４と、目眉領域抽出部４３１と、目眉特徴点検出部４３２と、しわ寄せ状態判定部４３３と、しわ寄せ状態頻度記憶部４３４と、各眠気レベルにおける口の半開状態の検出頻度及び眉間にしわを寄せた状態の検出頻度の組み合わせの確率分布を生成する確率分布生成部６４０と、生成された各眠気レベルの確率分布を記憶する確率分布記憶部６４２と、眠気状態を判定する眠気判定部６３６とを備えている。

確率分布生成部６４０では、複数種類の瞬目特徴量としての口の半開状態の検出頻度及び眉間にしわを寄せた状態の検出頻度の組み合わせを学習用のデータセットとして複数用意し、各データセットについて、眠気レベル０、１、２を定めて学習し、学習結果から、各眠気レベルについて、口の半開状態の検出頻度及び眉間にしわを寄せた状態の検出頻度の組み合わせの確率分布を生成する。また、生成される確率分布は、複数のガウス分布で表わすことができるため、例えば、口の半開状態の出現パターンや眉間にしわを寄せた状態の出現パターンが、人によって異なっていても、個人差に対応して眠気レベルを判定することができる。

また、眠気判定部６３６は、各眠気レベルの確率分布を用いて、算出された口の半開状態の検出頻度及び眉間にしわを寄せた状態の検出頻度の組み合わせに対する確率密度値を、複数の眠気レベルの各々について求め、求められた確率密度値の中で、最大の尤度を持つ眠気レベルを、運転者の眠気状態として判定する。

第６の実施の形態に係る眠気判定装置では、まず、顔画像から、口の半開状態の検出頻度を算出すると共に、眉間にしわを寄せた状態の検出頻度を算出する。そして、算出された口の半開状態の検出頻度と眉間にしわを寄せた状態の検出頻度との組み合わせについて、眠気レベル毎に、確率分布から確率密度値を求め、求めた各眠気レベルについての確率密度値に基づいて、運転者の眠気状態が眠気レベル０、１、２の何れかであるかを判定する。

以上説明したように、第６の実施の形態に係る眠気判定装置によれば、口の半開状態の検出頻度及び眉間にしわを寄せた状態の検出頻度を組み合わせた顔特徴量を抽出し、運転者の眠気状態を判定しているため、精度よく運転者の眠気状態を判定することができる。

また、眠気が高い状態で発生する顔の特徴を表わす２つの顔特徴量の組み合わせの確率分布を用いるため、顔特徴量の個人差を吸収することができ、不特定多数の運転者に対して、精度よく眠気状態を判定することができる。

なお、上記の実施の形態では、顔特徴量の組み合わせとして、口の半開状態の検出頻度及び眉間にしわを寄せた状態の検出頻度を抽出する場合を例に説明したが、これに限定されるものではなく、口の半開状態の検出頻度、口をすぼめた状態の検出頻度、頬の状態の検出頻度、目尻が下がった状態の検出頻度、及び眉間にしわを寄せた状態の検出頻度のうちの２つ以上を組み合わせた顔特徴量を抽出して、眠気状態を判定してもよい。

また、上記の実施の形態では、顔特徴量の組み合わせの確率分布を用いて、眠気状態を判定する場合を例に説明したが、顔特徴量の組み合わせの各々についてしきい値を設定し、しきい値判断によって、眠気状態を判定するようにしてもよい。

次に、第７の実施の形態について説明する。なお、第１の実施の形態〜第６の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第７の実施の形態では、瞬目特徴量と顔特徴量とを用いて、眠気状態を判定している点が第５の実施の形態及び第６の実施の形態と異なっている。

図１９に示すように、第７の実施の形態に係る眠気判定装置のコンピュータ７２０は、眼領域抽出部３１と、開眼度判定部３２と、重み付き算出部３３と、重み付き開眼度記憶部３４と、重み付き開眼度積算部３５と、口領域抽出部３３１と、口特徴点検出部３３２と、口半開判定部３３３と、口半開頻度記憶部３３４と、各眠気レベルにおける開眼度の重み付け積算値及び口の半開状態の検出頻度の組み合わせの確率分布を生成する確率分布生成部７４０と、生成された各眠気レベルの確率分布を記憶する確率分布記憶部７４２と、眠気状態を判定する眠気判定部７３６とを備えている。

確率分布生成部７４０では、瞬目特徴量としての開眼度の重み付け積算値及び顔特徴量としての口の半開状態の検出頻度の組み合わせを学習用のデータセットとして複数用意し、各データセットについて、眠気レベル０、１、２を定めて学習し、学習結果から、各眠気レベルについて、開眼度の重み付け積算値及び口の半開状態の検出頻度の組み合わせの確率分布を生成する。

ここで、例えば、図２０（Ａ）に示すような被検出者は、眠くなるほど瞬きが多くなり閉眼時間も長いものが多くなっている。その一方、眠くなっても顔の特徴はほとんど変化しない。また、図２０（Ｂ）に示すような被検出者は、眠くない場合でも瞬目が多く、眠くなると図２０（Ａ）に示す被検出者とは異なり瞬き頻度が少なくなる。また、閉眼時間の変化量も小さい。確率分布生成部７４０で生成される確率分布は、複数のガウス分布で表わすことが可能であるため、上記のような眠気が高いときの瞬目特徴量及び顔特徴量の出現パターンが非線形となる場合であっても、確率分布を用いた判定することにより、非線形な判定が可能となる。

また、眠気判定部７３６は、各眠気レベルの確率分布を用いて、算出された開眼度の重み付け積算値及び口の半開状態の検出頻度の組み合わせに対する確率密度値を、複数の眠気レベルの各々について求め、求められた確率密度値の中で、最大の尤度を持つ眠気レベルを、運転者の眠気状態として判定する。

第７の実施の形態に係る眠気判定装置では、まず、顔画像から、開眼度の重み付き積算値を算出すると共に、口の半開状態の検出頻度を算出する。そして、算出された開眼度の重み付き積算値と口の半開状態の検出頻度との組み合わせについて、眠気レベル毎に、確率分布から確率密度値を求め、求めた各眠気レベルについての確率密度値に基づいて、運転者の眠気状態が眠気レベル０、１、２の何れかであるかを判定する。

以上説明したように、第７の実施の形態に係る眠気判定装置によれば、瞬目特徴量としての開眼度の重み付き積算値、及び顔特徴量としての口の半開状態の検出頻度の組み合わせを用いて眠気レベルの判定を行うことによって、不特定な運転者に対しても精度良く眠気レベルを判定することができる。また、眠気の浅いレベルをより詳細に判定することができる。

また、眠気が高くなるに従い、顔表情に現れる顔特徴量が、眠気レベルに比例した変化をするように、眠気というものは瞬目だけでなく顔特徴にも現れるため、瞬目特徴量だけでなく、顔表情を表わす顔特徴量も含めて非線形な判定を行うことによって、眠気の多様な表出パターンに対応することができ、より高精度な眠気の判定が可能となる。

なお、上記の実施の形態では、瞬目特徴量としての開眼度の重み付き積算値、及び顔特徴量としての口の半開状態の検出頻度の組み合わせを用いて眠気レベルの判定を行う場合を例に説明したが、これに限定されるものではなく、瞬目特徴量として、開眼度の重み付け積算値、単位時間に対する半眼状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを考慮した瞬目特徴量の積算値、瞬目速度、瞬目頻度、及び単位時間に対する閉眼時間の割合（ＰＥＲＣＬＯＳ）の少なくとも１つを用いてもよく、また、顔特徴量として、口の半開状態の検出頻度、口をすぼめた状態の検出頻度、運転者の頬の状態の検出頻度、目尻が下がった状態の検出頻度、及び眉間にしわを寄せた状態の検出頻度の少なくとも一つを用いてもよい。

また、上記の実施の形態では、瞬目特徴量と顔特徴量との組み合わせの確率分布を用いて、眠気状態を判定する場合を例に説明したが、瞬目特徴量と顔特徴量との組み合わせの各々についてしきい値を設定し、しきい値判断によって、眠気状態を判定するようにしてもよい。

本発明の第１の実施の形態に係る眠気判定装置の構成を示す概略図である。 本発明の第１の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 （Ａ）開眼度の変化を示すグラフ、及び（Ｂ）開眼度に重み係数を乗算した様子を示すグラフである。 本発明の第１の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 連続した瞬目の閉眼時間及び瞬目間に存在する開眼時間の例を示すグラフである。 本発明の第２の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。 本発明の第３の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 口の上下の点である特徴点を示すイメージ図である。 本発明の第３の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。 本発明の第４の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 眉頭及び目頭の点である特徴点を示すイメージ図である。 本発明の第４の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。 目尻の点である特徴点を示すイメージ図である。 本発明の第５の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 開眼速度の変化を示すグラフである。 開眼度の重み付き積算値及び開眼速度の平均速度の組み合わせの確率分布を説明するためのグラフである。 本発明の第６の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 本発明の第７の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 各眠気レベルにおける瞬目特徴量及び顔特徴量の出現パターンの例を示す図である。

符号の説明

１０ 眠気判定装置
１２ カメラ
２０、２２０、３２０、４２０、５２０、６２０、７２０ コンピュータ
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
３３ 重み付き算出部
３５ 開眼度積算部
３６、２３６、３３６、４３６、５３６、６３６、７３６ 眠気判定部
４０ 表示装置
２３３ 瞬目特徴量算出部
２３５ 瞬目特徴量積算部
３３３ 口半開判定部
３３４ 口半開頻度記憶部
４３３ しわ寄せ状態判定部
４３４ しわ寄せ状態頻度記憶部
５３５ 平均速度算出部
５４０、６４０、７４０ 確率分布生成部

Claims (13)

1. 車両の運転者の顔画像を撮像する撮像手段と、
   前記撮像手段により撮像された運転者の顔画像に基づいて、眼の開度の重み付け積算値、単位時間に対する半眼状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを含んで表される値の積算値、瞬目速度、瞬目頻度、単位時間に対する閉眼時間の割合、眠気状態で発生する運転者の口が半開している状態を表す物理量、眠気状態で発生する口をすぼめた状態を表す物理量、眠気状態で発生する運転者の頬の状態を表す物理量、眠気状態で発生する運転者の目尻が下がった状態を表す物理量、及び眠気状態で発生する運転者の眉間にしわを寄せた状態を表す物理量のうちの２つ以上を組み合わせた特徴量を抽出する抽出手段と、
   眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記特徴量の確率分布を記憶する記憶手段と、
   前記記憶手段に記憶された前記複数の眠気レベルの各々における前記特徴量の確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段と、
   を含む眠気判定装置。
2. 前記特徴量の確率分布を、複数のガウス分布で表した請求項１記載の眠気判定装置。
3. 車両の運転者の顔画像を撮像する撮像手段と、
   前記撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する瞬目の特徴量、及び眠気状態で発生する顔の状態を表す顔特徴量を抽出する抽出手段と、
   眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記瞬目の特徴量及び前記顔特徴量の確率分布を記憶する記憶手段と、
   前記記憶手段に記憶された前記複数の眠気レベルの各々における前記瞬目の特徴量及び前記顔特徴量の確率分布と、前記抽出手段によって抽出された前記瞬目の特徴量及び前記顔特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段と、
   を含む眠気判定装置。
4. 前記瞬目の特徴量及び前記顔特徴量の確率分布を、複数のガウス分布で表した請求項３記載の眠気判定装置。
5. 前記瞬目の特徴量は、眼の開度の重み付け積算値、単位時間に対する半眼状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを含んで表される値の積算値、瞬目速度、瞬目頻度、及び単位時間に対する閉眼時間の割合のうちの少なくとも一つであり、
   前記顔特徴量は、眠気状態で発生する運転者の口が半開している状態を表す物理量、眠気状態で発生する口をすぼめた状態を表す物理量、眠気状態で発生する運転者の頬の状態を表す物理量、眠気状態で発生する運転者の目尻が下がった状態を表す物理量、及び眠気状態で発生する運転者の眉間にしわを寄せた状態を表す物理量のうちの少なくとも一つである請求項３又は４記載の眠気判定装置。
6. 車両の運転者の顔画像を撮像する撮像手段と、
   前記撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する複数の瞬目の特徴量を抽出する抽出手段と、
   眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記複数の瞬目の特徴量の確率分布を記憶する記憶手段と、
   前記記憶手段に記憶された前記複数の眠気レベルの各々における前記複数の瞬目の特徴量の確率分布と、前記抽出手段によって抽出された前記複数の瞬目の特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段と、
   を含む眠気判定装置。
7. 前記複数の瞬目の特徴量の確率分布を、複数のガウス分布で表した請求項６記載の眠気判定装置。
8. 車両の運転者の顔画像を撮像する撮像手段と、
   前記撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する顔の状態を表す複数の顔特徴量を抽出する抽出手段と、
   眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記複数の顔特徴量の確率分布を記憶する記憶手段と、
   前記記憶手段に記憶された前記複数の眠気レベルの各々における前記複数の顔特徴量の確率分布と、前記抽出手段によって抽出された前記複数の顔特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段と、
   を含む眠気判定装置。
9. 前記複数の顔特徴量の確率分布を、複数のガウス分布で表した請求項８記載の眠気判定装置。
10. コンピュータを、
    車両の運転者の顔画像を撮像する撮像手段により撮像された運転者の顔画像に基づいて、眼の開度の重み付け積算値、単位時間に対する半眼状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを含んで表される値の積算値、瞬目速度、瞬目頻度、単位時間に対する閉眼時間の割合、眠気状態で発生する運転者の口が半開している状態を表す物理量、眠気状態で発生する口をすぼめた状態を表す物理量、眠気状態で発生する運転者の頬の状態を表す物理量、眠気状態で発生する運転者の目尻が下がった状態を表す物理量、及び眠気状態で発生する運転者の眉間にしわを寄せた状態を表す物理量のうちの２つ以上を組み合わせた特徴量を抽出する抽出手段、及び
    眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記特徴量の確率分布を記憶する記憶手段に記憶された前記複数の眠気レベルの各々における前記特徴量の確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段
    として機能させるためのプログラム。
11. コンピュータを、
    車両の運転者の顔画像を撮像する撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する瞬目の特徴量、及び眠気状態で発生する顔の状態を表す顔特徴量を抽出する抽出手段、及び
    眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記瞬目の特徴量及び前記顔特徴量の確率分布を記憶する記憶手段に記憶された前記複数の眠気レベルの各々における前記瞬目の特徴量及び前記顔特徴量の確率分布と、前記抽出手段によって抽出された前記瞬目の特徴量及び前記顔特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段
    として機能させるためのプログラム。
12. コンピュータを、
    車両の運転者の顔画像を撮像する撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する複数の瞬目の特徴量を抽出する抽出手段、及び
    眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記複数の瞬目の特徴量の確率分布を記憶する記憶手段に記憶された前記複数の眠気レベルの各々における前記複数の瞬目の特徴量の確率分布と、前記抽出手段によって抽出された前記複数の瞬目の特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段
    として機能させるためのプログラム。
13. コンピュータを、
    車両の運転者の顔画像を撮像する撮像手段撮像手段により撮像された運転者の顔画像に基づいて、眠気状態で発生する顔の状態を表す複数の顔特徴量を抽出する抽出手段、及び
    眠気状態を示す予め定められた複数の眠気レベルの各々における予め定められた前記複数の顔特徴量の確率分布を記憶する記憶手段に記憶された前記複数の眠気レベルの各々における前記複数の顔特徴量の確率分布と、前記抽出手段によって抽出された前記複数の顔特徴量とに基づいて、前記複数の眠気レベルの各々について確率密度値を求め、確率密度値が最も高い眠気レベルを、前記運転者の眠気状態として判定する判定手段
    として機能させるためのプログラム。