JP4742921B2 - 覚醒度推定装置 - Google Patents

Description

本発明は、覚醒度推定装置に関し、詳細には、車両の運転者等乗員の顔の画像のうち眼の開度状態に基づく覚醒度推定の改良に関するものである。

従来より、車両の乗員、特に運転者の覚醒状態を検出し、覚醒状態が低下しているときは、警告音を鳴らす等して、その運転者の覚醒度を強制的に高めることが試みられている。そして、そのような試みにおいては、覚醒度を検出するための覚醒度推定装置が用いられている。

この覚醒度推定装置は、乗員の眼の開度に基づいて覚醒度を検出するものであり、例えば、車室内に設置されたカメラ等で撮影された乗員の顔の画像に基づいて眼を検出し、その眼の開度を時系列的に追跡することによって、瞬きの時間（１回の瞬きに要する時間長さ等）に関するヒストグラムを作成し、運転開始直後の眠くない状態（覚醒度が高い状態）における瞬き時間ヒストグラムに基づいて、覚醒度が高い状態における標準的な瞬き時間を求め、その後の運転中の一定期間において検出された瞬きの全回数に占める、標準的な瞬き時間よりも長い瞬き時間の瞬き回数の比率を求め、この比率に基づいて、覚醒度を推定している（特許文献１）。
特開平９−２７７８４９号公報

ところで、車室内の環境光の状態は、車両走行中に大きく変化することがあり、この環境光の変化は、撮影される乗員の顔への照度変化として影響を与えたり、カメラへの直接の入射光として影響を与え、顔画像が適切な露光状態で撮影されなかったり、顔画像から眼の開度を検出する際のノイズとなったりする。

また、カメラから入力される画像信号の信号線や、覚醒度推定装置の内部の信号線に、ノイズが重畳した場合にも、顔画像についてのノイズとなり得る。

そして、そのようなノイズが重畳した顔画像に基づいて作成された瞬き時間ヒストグラムを用いて、全ての基準の根幹となる標準的な瞬き時間を設定しても、正しい覚醒度の推定結果を得ることはできず、そのような誤った推定の覚醒度を、外部の居眠り防止装置等に提供したのでは、居眠り防止装置等の誤作動を招き、却って信頼性を損なう虞がある。

本発明は上記事情に鑑みなされたものであって、覚醒度の判定結果とともに、眼の開度の検出に関する信頼度の判定結果も併せて提示することができる覚醒度推定装置を提供することを目的とするものである。

本発明に係る覚醒度推定装置は、信頼度判定手段が、眼の開度の時系列的推移の状態に応じて、眼の開度の検出結果に対する信頼度を判定することにより、覚醒度の判定結果とともに、眼の開度の検出に関する信頼度の判定結果を併せて提示するものである。

すなわち、本発明に係る覚醒度推定装置は、画像に含まれる眼の開度を検出する眼開度検出手段と、時系列的に連なる複数の画像を対象として、前記眼開度検出手段により検出された前記眼の開度の時系列的推移を検出する眼開度推移検出手段と、前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移に基づいて覚醒度を判定する覚醒度判定手段と、前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移に基づいて、前記眼開度検出手段による前記眼の開度の検出結果に対する信頼度を判定する信頼度判定手段と、を備え、前記信頼度判定手段は、前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移を時間微分し、得られた時系列的推移の時間微分値の分布について、前記時間微分値の絶対値が所定の閾値を上回る頻度を求め、得られた前記頻度に応じて、前記信頼度を判定するものであることを特徴とする。

ここで、信頼度判定手段が信頼度を判定するに際して用いる「眼の開度の時系列的推移」は、覚醒度判定手段が覚醒度を判定する際に用いる「眼の開度の時系列的推移」と同じであるが、信頼度判定手段が信頼度を判定するための処理と、覚醒度判定手段が覚醒度を判定するための処理とは、その目的が異なるため、互いに異なる処理となる。

このように構成された本発明に係る覚醒度推定装置によれば、眼開度検出手段が、時系列的に連なる複数の画像を対象として、各画像ごとに眼の開度を検出し、眼開度推移検出手段が、各画像ごとに得られた眼の開度に基づいて、眼の開度の時系列的な推移（眼の開度の時系列的な変化）を検出し、覚醒度判定手段が、眼の開度の時系列的な推移に基づいて覚醒度を判定する。

一方、信頼度判定手段が、眼開度推移検出手段により検出された眼の開度の時系列的推移に応じて、眼開度検出手段による眼の開度の検出結果に対する信頼度を判定する。

この結果、本発明に係る覚醒度推定装置は、覚醒度とともに、眼の開度の検出結果に対する信頼度を併せて提示することができる。

本発明に係る覚醒度推定装置によれば、覚醒度とともに、この覚醒度の使用可否の判断材料（信頼度）を提供することができる。

したがって、例えば車両乗員用の居眠り防止装置などの装置に、本発明の覚醒度推定装置から出力された覚醒度を用いるか否かを、その覚醒度を導き出すための基データである眼の開度について提示された信頼度に応じて、容易に判定することができる。

以下、本発明に係る覚醒度推定装置の最良の実施形態について、図面を用いて説明する。

図１は、本発明に係る覚醒度推定装置の一実施形態である覚醒度推定装置１００を示すブロック図、図２は、図１に示した覚醒度推定装置１００が車両２００に搭載された状態を示す模式図である。

図示の覚醒度推定装置１００は、車両２００の車室内に取り付けられたＣＣＤカメラ２０１によって撮影された、この車両２００の運転者１０の顔の画像に基づいて、当該顔の画像に含まれる眼の開度を検出する眼開度検出手段１０１と、時系列的に順次連なる複数の顔の画像を対象として、眼開度検出手段１０１により検出された眼の開度の時系列的推移を検出する眼開度推移検出手段１０４と、眼開度推移検出手段１０４により検出された眼の開度の時系列的推移に基づいて覚醒度を判定する覚醒度判定手段１０５と、眼開度推移検出手段１０４により検出された眼の開度の時系列的推移に基づいて、眼開度検出手段１０１による眼の開度の検出結果に対する信頼度を判定する信頼度判定手段１０６と、を備えた構成である。

ここで、カメラ２０１は、ＣＣＤの他、ＣＭＯＳなどの他の撮像素子であってもよく、時系列に順次撮影された画像を出力する。

なお、カメラ２０１は、覚醒度推定装置１００の構成要素として備えられたものではなく、他の用途のために予め車室内に設けられているものであるが、それらの予め備えられているカメラ２０１が存在しないときは、別途、カメラ２０１を覚醒度推定装置１００の構成要素として備えればよい。

眼開度検出手段１０１は、眼を検出する眼検出部１０２と、眼検出部１０２によって検出された眼に基づいて、眼の開度を検出する眼開度検出部１０３とを備えている。

眼検出部１０２は、ＣＣＤカメラ２０１から入力された顔の画像の濃度分布を、上下方向（縦方向）に主走査、左右方向（横方向）に副走査することにより、画像の全体について、上下方向の濃度変動が所定条件を満たす、相対的に暗くなる濃度部を抽出し、この相対的に暗くなる濃度部に基づいて、眼を検出する。

また、眼検出部１０２は、眼を検出する対象の画像に対して、検出対象の画像と時系列的に連なる直前の画像において検出された眼の位置の近傍範囲に対応する範囲を、検出対象範囲（追跡領域）として設定し、この設定された追跡領域について眼の検出を行う。

ただし、時系列的に連なる直前の画像が存在しないか、もしくは、設定された追跡領域について行った眼の検出処理によっては眼を検出することができないときは、検出対象の画像の全範囲について眼の検出を行う。

眼開度検出部１０３は、眼検出部１０２によって検出された眼の上下方向に沿った高さを求め、この求められた高さを、眼の開度として検出するものであるが、その他に、眼検出部１０２によって検出された眼に外接する矩形の縦横比を求め、この求められた縦横比を、眼の開度として検出するものであってもよいし、眼検出部によって検出された眼の上縁の曲率半径を求め、この求められた曲率半径を、眼の開度として検出するものであってもよい。

信頼度判定手段１０６は、眼開度推移検出手段１０４により検出された眼の開度Ｐの時系列的推移を時間微分し、得られた時系列的推移の時間微分値Ｋの分布に応じて、信頼度を判定し、その信頼度を出力するものである。

詳しくは、時系列的推移の時間微分値Ｋの分布について、時間微分値Ｋの絶対値｜Ｋ｜が所定の閾値を上回る頻度を求め、得られた前記頻度に応じて、信頼度を判定するものである。

また、この車両２００には、覚醒度推定装置１００の覚醒度判定手段１０５から出力された覚醒度と、信頼度判定手段１０６から出力された信頼度とに応じて、所定の警報音を発する車両乗員用の居眠り防止装置（警報ブザー等）２０２が備えられている。

次に、本実施形態の覚醒度推定装置１００の作用について、図３〜図６に示したフローチャートにしたがって説明する。

まず、図３に示すように、ＣＣＤカメラ２０１により撮影された画像が、眼開度検出手段１０１に入力される（ステップ３０１（以下、Ｓ３０１と標記する。））。

眼開度検出手段１０１の眼検出部１０２は、まず、眼の追跡領域が設定されているか否かを判定する（Ｓ３０２）。処理の起動直後（時系列的に最初に画像が入力されたとき）は、それ以前に入力された画像が存在しないため、眼の追跡領域が設定されておらず、眼検出部１０２は、画像の全体を眼の検出領域として、眼の検出を行う（Ｓ３０３）。

眼検出部１０２による眼の検出処理は、例えば図７に示すように、顔の画像の濃度分布を、上下方向（Ｙ軸方向、縦方向）に主走査、左右方向（Ｘ軸方向、横方向）に副走査することにより、画像の全体について、上下方向の濃度変動が所定条件を満たす点を、各縦ライン（主走査線）上に抽出する。そして、抽出された点を、図８に示すように２次元座標上に示す。

なお、図７，８において、符号Ｘａ，Ｘｂ，Ｘｃ，Ｘｄは、任意の縦ラインのＸ座標である。また、図８における符号Ａ１は、縦ライン上での走査（Ｙ座標を増加していく方向（座標（Ｘ，０）→座標（Ｘ，４７９））への走査）によって、各縦ライン上において最初に上記所定条件を満たした抽出点であり、符号Ａ２は、各縦ライン上において２番目に上記所定条件を満たした抽出点であり、以下、符号Ａ３は３番目、符号Ａ４は４番目をそれぞれ表している。

次いで、図９に示すように、隣接する縦ライン間で、抽出点同士が上下方向に近接して抽出点を、それらの縦ライン上の抽出点同士をグループ化する。

このグループ化は、濃度変動が大きく、横方向に延びた濃度的な特徴、すなわち横方向に延びた濃度エッジを検出する処理であり、比較的簡単な演算処理で、特徴Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５，Ｇ６を検出することができる。

その後、各特徴Ｇ１，Ｇ２，…，Ｇ６を、図１０に示した、横方向に３つに区分けされたゾーンＬ，Ｃ，Ｒに対応させ、各ゾーンＬ，Ｃ，Ｒの範囲内における各特徴Ｇ１，Ｇ２，…，Ｇ６（Ｇ１，Ｇ２，…，Ｇ６の中心（重心）座標を代表点として表示）間の相対的位置関係に基づいて、各特徴Ｇ１，Ｇ２，…，Ｇ６が、顔のどの要素に対応しているかを判定し、要素の一つである眼を特定するとともにその位置を検出する。本実施形態では、符号Ｇ１は乗員の右眉、符号Ｇ２は左眉、符号Ｇ３は右眼、符号Ｇ４は左眼、符号Ｇ５は鼻、符号Ｇ６は口、と特定することができ、各要素の位置を検出することができる。

眼Ｇ４（眼Ｇ３であってもよい。以下、同様。）の中心位置１１０１（座標（Ｘｋ，Ｙｋ））が検出される（Ｓ３０３）と、眼検出部１０２は、図１１（ａ）に示すように、眼Ｇ４の中心位置１１０１を中心座標（Ｘｋ，Ｙｋ））とする所定の矩形領域１１０３を設定する。

この矩形領域１１０３は、時系列的に連なって次回入力される画像（第（Ｎ＋１）フレーム）における眼の検出対象範囲（追跡領域）を小領域に限定するものであり、この第Ｎフレームの画像から検出された眼Ｇ３の中心１１０１を中心座標として、Ｘ軸方向±ｍ、Ｙ軸方向±ｎの矩形領域が追跡領域として設定される。

なお、矩形領域は、その左上隅の座標１１０２（Ｘｋ−ｍ，Ｙｋ−ｎ）を以て、特定される。

ステップ３０４（Ｓ３０４）において設定された追跡領域１１０３内で、眼の位置検出を行う（Ｓ３０５）。この処理は、本来は、時系列的に連なって次回入力される第（Ｎ＋１）フレームの画像における追跡領域として設定されたものであるが、全体領域が検出対象領域とされた（Ｓ３０２の判断において「Ｎ」が選択された場合の）第Ｎフレームの画像に対しても、この追跡領域１１０３で眼の検出処理を改めて行うことにより、図７における縦ラインの間隔を狭めて眼の中心位置の検出処理を行い、眼の中心位置の検出精度を更に向上させることができる。

そして、図１１（ｂ）に示すように、この追跡領域は、時系列的に連なって次回入力された第（Ｎ＋１）フレームの画像において眼Ｇ４が検出されると、その中心１１０４を中心座標（Ｘｋ−Δｘ，Ｙｋ−Δｙ）とする、Ｘ軸方向±ｍ、Ｙ軸方向±ｎの矩形領域が、新たな追跡領域１１０６として設定される。すなわち、追跡領域は、座標１１０５（Ｘｋ−Δｘ−ｍ，Ｙｋ−Δｙ−ｎ）に更新され、以下、順次入力された画像において検出される眼Ｇ４の中心位置（Ｓ３０５，Ｓ３０６）に応じて、追跡領域は同様の処理により順次更新される（Ｓ３０９）。

眼Ｇ４の追跡領域の更新（Ｓ３０９）を行う前に、眼Ｇ４の追跡領域内において眼Ｇ４の検出に成功したかどうかの判定を行ない（Ｓ３０６）、眼Ｇ４の検出に失敗したとき（Ｓ３０６）は、設定されている眼Ｇ４の追跡領域を一旦消去し、ステップ３０２に戻り、画像の全体領域を検出対象領域とした眼Ｇ４の検出処理（Ｓ３０３）を実行する。

なお、タイマー制御（Ｓ３０８）については、眼の開閉判定の信頼度の算出と、覚醒度の判定に用いる制御であるため、各々の判定フローの中で説明する。

眼Ｇ４の検出に成功したかどうかの判定（Ｓ３０６）において検出に成功したときは、追跡領域の更新（Ｓ３０９）後、眼開度検出部１０３が眼Ｇ４の開度の検出を行う（Ｓ３１０）。

ここで、眼Ｇ４の開度の検出処理の例として、以下に３種類の開度検出処理を説明する。

まず、第１の開度検出処理は、図１２（ａ），（ｂ）に示すように、検出された眼Ｇ４の上下方向に沿った高さ（縦幅）Ｈを求め、この縦幅Ｈを、眼の開度値として算出する処理である。

この処理においては、図１２に示すように、２値化処理を施して眼Ｇ４の輪郭形状を鮮明に浮き出させ、縦方向に沿って黒画素（２値化処理により、黒画素と白画素とに区分した場合における黒画素）が連続する数をカウントし、そのカウントの最大値を眼Ｇ４の開度値として算出する。

眼Ｇ４が開いているか否かは、上まぶたの下端縁と下まぶたの上端縁との間の間隔、すなわち眼Ｇ４の上下方向に沿った高さによって判断可能である一方、上まぶたの下端縁と下まぶたの上端縁とは、上述したように、顔の画像の濃度の分布を上下方向に沿って走査する簡単な演算処理で検出することができる。

したがって、眼Ｇ４の開度を、眼Ｇ４の上下方向に沿った高さとして規定することで、眼Ｇ４の開度を簡単な演算処理で求めることができる。なお、縦幅Ｈが大きいときは開眼している状態であり、そこから縦幅Ｈが小さくなるにしたがって、眼が閉じる方向に、開眼度が変化するものとする。

次に、第２の開度検出処理は、図１３（ａ），（ｂ）に示すように、検出された眼Ｇ４に外接する矩形の縦横比Ｈ／Ｗ（なお、Ｗは横幅を表す。）を求め、この求められた縦横比Ｈ／Ｗを、眼の開度として検出する処理である。縦横比Ｈ／Ｗが大きいときは開眼している状態であり、そこから縦横比Ｈ／Ｗが小さくなるにしたがって、眼が閉じる方向に、開眼度が変化する。

この処理は、２値化した眼Ｇ４の輪郭に外接する矩形の縦横比Ｈ／Ｗを眼Ｇ４の開度として規定しているため、画像間で像倍率が異なるとき、すなわち図１３（ａ），（ｂ）に示すように、画像間で撮影対象の乗員１０が同一であっても乗員１０とカメラ２０１との間の距離に差異があっても（（ａ）は（ｂ）よりも距離が近い）、その影響を排除することができ、眼Ｇ４の開度を精度よく検出することができる。

第３の開度検出処理は、図１４（ａ），（ｂ）に示すように、検出された眼Ｇ４の上縁（上まぶたの輪郭線）の曲率半径を求め、この求められた曲率半径を、眼Ｇ４の開度として検出する処理である。

ここでは、輪郭線（抽出点の集合）を放物線近似することにより、曲率半径を算出する。そして、この曲率半径の値が小さいときは開眼している状態（図１４（ａ））であり、そこから曲率半径の値が大きくなるにしたがって、眼が閉じる（図１４（ｂ））方向に、開眼度が変化するものとする。

図１４（ｃ）の写真に示すように、眼の部分（図示において矩形枠で囲まれた部分）が日陰になるなどしてコントラストが低下したとき、前出の眼Ｇ４の縦幅Ｈまたは縦横比Ｈ／Ｗに応じた検出処理によっては、眼Ｇ４の開度状態を正確に検出しにくいのに対し、曲率半径によるこの検出処理では、コントラストの低下による影響を受けにくく、画像のコントラストが低い場合にも、精度よく眼Ｇ４の開度を検出することができる。

上述した処理により眼Ｇ４の開度が検出された（Ｓ３１０）後、検出された眼Ｇ４の開度は、眼開度推移検出手段１０４に入力され、眼開度推移検出手段１０４は、時系列的に連続する複数の画像からそれぞれ得られた眼Ｇ４の開度を順次記憶し、この記憶された眼Ｇ４の開度の時系列的推移を検出する。

ここで、時系列的推移を求めるためには、時系列的に取得された眼Ｇ４の開度が複数個必要であり、また、後述する眼Ｇ４の開度の微分値を算出する上でも、時系列的に取得された眼Ｇ４の開度が複数個必要である。

したがって、次のステップ（Ｓ３１２）において、眼Ｇ４の開度の微分値を算出するための眼Ｇ４の開度値が眼開度推移検出手段１０４にメモリされているか否かの判定を行う。

メモリされていないと判定したときは、眼Ｇ４の開度を記憶させた上（Ｓ３１１）で、時系列的に連続する次の画像が入力され（Ｓ３０１）、以上の処理（Ｓ３１１〜Ｓ３１０）を繰り返す。なお、眼開度推移検出手段１０４は、以上の処理を繰り返している間に、眼開度推移検出手段１０に順次記憶されていく、時系列の眼Ｇ４の開度に基づいて、眼Ｇ４の開度の時系列的推移を求める。

一方、微分値の算出に必要なデータ数だけ、眼Ｇ４の開度が記憶されたと判定されたとき（Ｓ３１２）は、記憶されている複数の眼Ｇ４の開度のうち、最も記憶時期が古い眼Ｇ４の開度を、最新の画像による眼Ｇ４の開度で更新する（Ｓ３１３）。

その後、記憶された最新の眼Ｇ４の開度を含む複数の眼Ｇ４の開度による微分値を算出する（Ｓ３１４）。そして、以後、眼Ｇ４の開度の更新（Ｓ３１３）と微分値の算出（Ｓ３１４）とが繰り返されることにより、最新の眼Ｇ４の開度に対する微分値の算出が続けられる。

次に、図４に示したフローチャートにより、信頼度判定手段１０６による、眼Ｇ４の開度の検出結果に対する信頼度を判定する処理について説明する。

まず、信頼度判定用のタイマーＴＡと覚醒度判定用のタイマーＴＢとのうち、少なくとも一方が停止状態にあるかどうかを判定し（Ｓ４０１）、いずれか一方のタイマーＴＡまたはＴＢが停止状態のときは、その停止状態のタイマーＴＡまたはＴＢをそれぞれ作動させる（Ｓ４０２）。

次いで、信頼度判定用のタイマーＴＡが所定時間に達するのを待つ（Ｓ４０３，Ｓ４０４）。このタイマーＴＡと比較対照される所定時間は、眼Ｇ４の開度の検出結果に対する信頼度を判定するための時間であり、通常状態（覚醒度の高い状態）における瞬きの発生頻度に基づいて、眼Ｇ４の開度の時系列的推移の異常性を判定している。

具体的には、図１５および図１６を用いて説明する。図１５は、眼Ｇ４の縦幅Ｈを眼の開度Ｐとして出力するもので、（ａ）は、縦軸に眼Ｇ４の開度Ｐ（縦幅Ｈ）、横軸に時系列的に連なる画像のフレーム番号（フレーム数）を表した、眼Ｇ４の開度Ｐの時系列的推移を示すグラフ、（ｂ）は、（ａ）における眼Ｇ４の開度Ｐを時間微分して得られた眼Ｇ４の開度Ｐの時間微分値Ｋの時系列的推移を示すグラフである。

図１５（ａ）は、眼Ｇ４の開度の出力が、理想的になされている状態を示しており、開眼状態における眼Ｇ４の開度Ｐの変化幅が小さく、開度Ｐが下向きに大きく変化している３箇所が、瞬きによる開度推移を示している。

この図から明らかなように、眼Ｇ４の開度Ｐの検出状態が正常であるときは、被検体である乗員１０の個人差を考慮に入れても、所定時間内に発生する瞬きの数（頻度）は限定的である。

一方、上述した画像認識による眼Ｇ４の開度検出処理に対して悪影響を及ぼす要因として、環境光の変化等や、ＣＣＤカメラ２０１からの出力信号（画像信号）へのノイズの重畳、あるいは、この覚醒度推定装置１００の内部における画像信号へのノイズの重畳等があり、これらの要因によって信号処理の状態が不安定になると、眼Ｇ４の開度Ｐの時系列的推移、および眼Ｇ４の開度Ｐの時間微分値Ｋの時系列的推移は、図１５の理想的な検出状態とは全く異なる図１６（ａ），（ｂ）に示すものとなる。

すなわち、図１６（ａ）に示すように、眼Ｇ４の開度Ｐの変化幅が大きくなり、瞬きとノイズとの峻別が困難になる。したがって、所定時間内に発生する瞬きの数とノイズの数との合計数は、所定時間内に発生する瞬きの限定的な数（頻度）を超えたものとなる。

さらに、具体的な数値を例示すると、１０秒間に発生する瞬き数は１０回以下と定義付けることができる。そして、タイマーＴＡにより監視している所定時間は、この時間区間（＝１０秒間）を意味している。

この状態を判定するのに、信頼度判定手段１０６は、眼Ｇ４の開度Ｐの時間微分値Ｋの時系列的推移を求める。つまり、タイマーＴＡが所定時間に達していないとき（Ｓ４０３）、所定範囲（微分値Ｋの絶対値｜Ｋ｜が例えば５以下の範囲）を超える微分値Ｋの絶対値｜Ｋ｜の出力回数をカウントアップする（Ｓ４０４）。

つまり、図１５に示した正常状態における瞬きを検出対象とした場合は、時間微分値Ｋの絶対値｜Ｋ｜が所定範囲を超える回数は、瞬き１回当たり、対で発生する正負のピークによる６回であるのに対し、図１６（ａ）に示した眼Ｇ４の開度検出が不安定な状態では、瞬きに加えて、微分値Ｋの絶対値｜Ｋ｜が所定範囲（微分値Ｋの絶対値｜Ｋ｜が例えば５以下の範囲）を超える出力回数が極めて多く発生する状態となる（図１６（ｂ））。

したがって、タイマーＴＡによる所定時間の監視の結果（Ｓ４０３）、所定時間が経過したとき（Ｓ４０３→Ｓ４０５）、ステップ４０４においてカウントアップされた時間微分値Ｋの絶対値｜Ｋ｜が所定範囲を超える回数に応じて（Ｓ４０６）、眼Ｇ４の開度検出に対する信頼度が高い（Ｓ４０７）か、または低い（Ｓ４０８）かを判定することができる。

なお、信頼度の判定（Ｓ４０６）の前に、タイマーＴＡは停止してリセットされ（Ｓ４０５）、信頼度の判定（Ｓ４０６）の後に、カウントアップされたカウンタ値はリセットされる（Ｓ４０９）。

ここで、タイマーＴＡによって監視されている所定時間と、その所定時間内に発生する、時間微分値Ｋの絶対値｜Ｋ｜が所定範囲を超える回数の基準値（閾値）とを、どのような値に設定するのが好ましいかについて、図１７および図１８を用いて説明する。

図１７は、２６人の相異なる乗員Ａ〜Ｚについて、所定時間を３０秒間に設定したときと、所定時間を６０秒間に設定したときとにおける、各所定時間内の瞬きの発生頻度を調査して一覧表にまとめたものである。

この表に示された結果によれば、瞬き発生頻度は、個人差が大きいことが分かる。ただし、その頻度の最大値は乗員Ｅによるものであり、欄１７０１に示すように、３０秒区間で２７回、６０秒区間で５２回である。

したがって、これ以上の回数（３０秒区間で２７回を超える回数、または６０秒区間で５２回を超える回数）のとき、通常の瞬きの計測によるものでない（ノイズが重畳している→信頼度は低い）と判定することができる。

この判定処理の具体例を、図１８を参照して説明する。図１８（ａ），（ｂ）はいずれも、眼Ｇ４の開度Ｐの微分値Ｋの時系列的推移であり、例えば図１８（ａ）に示す状態は、約１０秒区間で、眼Ｇ４の開度Ｐの微分値Ｋの絶対値｜Ｋ｜が所定範囲（＝５）を超えるポイント１８０１の回数は６回であり、この回数は、図１７の一覧表に示した「３０秒区間で２７回」すなわち「１０秒に換算した区間では９回程度」という基準を下回っており、この結果、ノイズの重畳がなく、適正に瞬きが検出されていると判定することができる。

一方、図１８（ｂ）に示す状態は、約１０秒区間で、眼Ｇ４の開度Ｐの微分値Ｋの絶対値｜Ｋ｜が所定範囲（＝５）を超えるポイント１８０２の回数は４０回以上であり、この回数は、「１０秒に換算した区間では９回程度」という基準を大きく上回っており、この結果、ノイズの重畳がするなど、正常な眼Ｇ４の開度Ｐの検出が行われていないと判定する。

なお、図１８は、眼Ｇ４の開度Ｐの微分値Ｋを見易くするために、便宜上１０秒区間での説明を行ったが、実際の瞬きの発生状態の観点からは、短い時間区間においては、時間の長さと発生回数とは必ずしも正比例の関係にはない。

すなわち、３０秒区間での発生回数は、１０秒区間での発生回数の単純な３倍、ということはない。ただし、時間区間が長くなるにしたがって誤差が減少し、時間区間の長さと発生回数とは略正比例の関係を呈する。

したがって、この時間区間は、適宜変更出来るものとしてもよいし、個別の状況に応じて設定することができる。

次に、図５および図６に示したフローチャートを参照して、覚醒度判定手段１０５による覚醒度の判定処理について説明する。

ここで、図１９および図２０は、それぞれ（ａ）が眼Ｇ４の開度Ｐの時系列的推移を示すグラフ、（ｂ）が（ａ）における眼Ｇ４の開度Ｐを時間微分して得られた眼Ｇ４の開度Ｐの時間微分値Ｋの時系列的推移を示すグラフであり、図１９は、覚醒度が高い状態における通常の瞬き１回を正常に検出している場合、図２０は、覚醒度が低下し始めた状態における通常よりも長い瞬き１回を正常に検出している場合を示す。

次に、図５に示したフローチャートを参照して、図１９に示した通常状態（覚醒度が高い状態）における瞬きに対応した眼Ｇ４の開度Ｐの微分値Ｋの出力状態を例に説明する。

まず、覚醒度判定手段１０５が、眼開度推移検出手段１０４から出力された眼Ｇ４の開度Ｐの時系列的推移に基づいて、眼Ｇ４の開度Ｐの時間微分値Ｋの時系列的推移を求め、微分値Ｋの絶対値｜Ｋ｜が所定範囲内（≦Ｌ）にあるかどうかを判定する。

この所定範囲Ｌは、図１９における領域１９０１であり、具体的には例えば≦５の範囲である。

なお、この領域１９０１（絶対値｜Ｋ｜≦５）は、信頼度を判定する際の、ポイント１８０１等をカウントする範囲（絶対値｜Ｋ｜≧５）とは大小関係が反対の範囲として設定されているが、覚醒度を判定するための指標であるＬと、信頼度を判定する指標とは、そもそもその目的を異にするため、必ずしもその指標同士が同一値である必要はなく、領域１９０１を（絶対値｜Ｋ｜≦６）等とし、信頼度を判定する際のポイント１８０１等をカウントする範囲を（絶対値｜Ｋ｜≧４）等としてもよい。

図１９（ｂ）における初回の微分値Ｋは負値（−１）であり、かつ領域１９０１にあるので、正のフラグ（微分値Ｋが正であることを規定する）をＯＦＦに設定する（Ｓ５０２→Ｓ５０７→Ｓ５０８）。

なお、正フラグが既にＯＦＦになっている場合は、このステップ５０８の処理をスルーして、ステップ５０９に移行する。

次いで、微分値Ｋの時系列的推移のグラフ（図１９（ｂ））について、負の範囲の面積値の積算と正の範囲の面積値の積算とをそれぞれ別個に行う（Ｓ５０９）。

ただし、初回の微分値Ｋだけでは、時系列的推移のグラフ（区間）を構成しない、すなわち正の範囲も負の範囲も面積を構成しない（面積＝０）ので、積算処理（Ｓ５０９）をスルーして、次のステップ５１０に移行する。

そして、ステップ５１０では、微分値Ｋが正から負に切り替わったことをトリガーとして、それ以前の微分値Ｋの時系列的推移の正の範囲の面積の積算値が、所定の閾値を超えたか否かを判定する。

所定の閾値を超えている場合（Ｓ５１０）は、各正の範囲の面積を積算し、この正の積算値を記憶したうえで（Ｓ５１３）、微分値Ｋの時系列的推移の正の範囲の面積値をリセットする（Ｓ５１１）。なお、リセットするのは、積算する分の正の範囲の面積値であり、記憶された正の積算値はそのまま保持される。

また、所定の閾値を超えていない場合（Ｓ５１０）は、そのまま微分値Ｋの時系列的推移の正の範囲の面積値をリセットする（Ｓ５１１）。ここでも、リセットするのは、所定の閾値を超えていない正の範囲の面積値であり、既に記憶された正の積算値はそのまま保持される。

ここで、初回の微分値Ｋのみでは、前述したように時系列的推移のグラフを構成しないため、正の範囲の面積も負の範囲の面積も０であり、上述したステップ５１０，５１３，５１１の処理は、ステップ５１０→ステップ５１１の流れとなる。

なお、ステップ５１０において、微分値Ｋの時系列的推移の正の範囲の面積を、所定の閾値と比較するのは、微分値Ｋの時系列的推移の正の範囲の面積が、所定の閾値を超えるような大きな面積の場合は、ステップ５１３で積算の対象とするが、微分値Ｋの時系列的推移の正の範囲の面積が、所定の閾値を下回るような小さな面積の場合は、積算の対象とはせずに無視する（ステップ５１３を経由しない）ためである。

２回目の微分値Ｋも負値（−１）であり、かつ領域１９０１にあるので、正のフラグをオフに設定し（Ｓ５０２→Ｓ５０７→Ｓ５０８）、微分値Ｋの時系列的推移（図１９（ｂ））について、負の範囲の面積値の積算と正の範囲の面積値の積算とをそれぞれ別個に行う（Ｓ５０９）。

ここでも、正の範囲の面積値は０であるため、その積算された値も０のままである（Ｓ５０９）が、負の範囲の面積値は、初回の絶対値Ｋから２回目の絶対値Ｋまでの時系列推移のグラフ（区間）が構成されているため、この範囲の面積値（負値）を算出することができる（Ｓ５０９）。

そして、ここでも、微分値Ｋの時系列的推移の正の範囲の面積の積算値が、所定の閾値を超えていない（Ｓ５１０）ため、そのまま微分値Ｋの時系列的推移の正の範囲の面積値をリセットする（Ｓ５１１）。

３回目の微分値Ｋは正値（１）であり、かつ領域１９０１にあるため、正フラグをＯＮにする（Ｓ５０１→Ｓ５０２→Ｓ５０３）。

次いで、微分値Ｋの時系列的推移のグラフについて、負の範囲の面積値の積算と正の範囲の面積値の積算とをそれぞれ別個に行う（Ｓ５０４）。

この処理によって、図１９の負の範囲１９０２の面積が閉じられたため、微分値Ｋの負の範囲の面積の積算値が所定値を超えたか否かを判定する（Ｓ５０５）。

所定の閾値を超えている場合（Ｓ５０５）は、各負の範囲の面積を積算し、この負の積算値を記憶したうえで（Ｓ５１４）、微分値Ｋの時系列的推移の負の範囲の面積値をリセットする（Ｓ５０６）。なお、リセットするのは、積算する分の負の範囲の面積値であり、記憶された負の積算値はそのまま保持される。

また、所定の閾値を超えていない場合（Ｓ５０５）は、そのまま微分値Ｋの時系列的推移の負の範囲の面積値をリセットする（Ｓ５０６）。ここでも、リセットするのは、所定の閾値を超えていない負の範囲の面積値であり、既に記憶された負の積算値はそのまま保持される。

なお、ステップ５０５において、微分値Ｋの時系列的推移の負の範囲の面積を、所定の閾値と比較するのは、微分値Ｋの時系列的推移の負の範囲の面積が、所定の閾値を超えるような大きな面積の場合は、ステップ５１４で積算の対象とするが、微分値Ｋの時系列的推移の負の範囲の面積が、所定の閾値を下回るような小さな面積の場合は、積算の対象とはせずに無視する（ステップ５１４を経由しない）ためである。

４回目の微分値Ｋは０であり、かつ領域１９０１にあるため、正フラグがＯＮか否かを判定する（Ｓ５０１→Ｓ５０２→Ｓ５０７→Ｓ５１２）。

正フラグは、３回目の微分値Ｋに起因した処理の際に、ステップ５０３でＯＮに設定されているため、判定（Ｓ５１２）の結果、ステップ５０４に移行し、微分値Ｋの時系列的推移のグラフについて、負の範囲の面積値の積算と正の範囲の面積値の積算とをそれぞれ別個に行う（Ｓ５０４）。

ここで、４回目の微分値Ｋに起因した処理よりも以前に存在する負の範囲の面積は、３回目の微分値Ｋに起因した処理の際に、ステップ５０６でリセットされているため、ステップ５０５，５１４，５０６の処理は、実質的にはスルーされることになる。

以上のようにして、微分値Ｋの正負が入れ替わる毎に、その正の範囲の面積値が所定値を超えるものを、あるいはその負の範囲の面積値が所定値を超えるものを、対象として積算し、それぞれ記憶していく。

また、図１９に示す微分値Ｋの時系列的推移が正の範囲１９０５，１９０６の間に、微分値Ｋの時系列的推移が負となる範囲が存在しない状態では、微分値Ｋの時系列的推移が正の範囲１９０５の面積について積算した（Ｓ５０４）の後に、ステップ５０７を経由した正フラグの判定（Ｓ５１２）によって、微分値Ｋの時系列的推移が正の範囲１９０５の面積についての積算（Ｓ５０４）が続けて行われるため、正の範囲の面積の積算値は、正の範囲１９０５と、これに続く正の範囲１９０６の各面積が加算されたものとして扱われる。

図１９に示した覚醒度が低下していない状態であって、通常の瞬きだけが発生している状態では、開眼状態における開度の時系列的推移が比較的小さいため、ステップ５１３，５１４の処理を経由して、正負の面積の積算値が記憶されることは稀であり、偶発的に面積の積算値が記憶された場合であっても、図１９に示す瞬きによる負の微分値Ｋ（ＭＩＮ：−９）の範囲１９１０および正の微分値Ｋ（ＭＡＸ：６）の範囲１９１１は、それぞれ微分値Ｋの絶対値｜Ｋ｜が、ステップ５０１の分岐判定で所定範囲Ｌを超えるため、図６のステップ６０６に移行して、微分値Ｋの時系列的推移の正の範囲の面積の積算値と微分値Ｋの時系列的推移の負の範囲の面積の積算値との合算値がリセットされる。

また、負の微分値Ｋの範囲１９１０に達する以前には、ステップ５０６の処理またはステップ５１１の処理の後、図６に示したステップ６０１の処理に移行し、覚醒度の判定期間を計測しているタイマーＴＢが所定時間（覚醒度の判定のために設定された期間）に達するまでは、図３に示したステップ３０１に戻って、時系列的に連なる次の画像が入力される。

タイマーＴＢが所定時間に達すると（Ｓ６０１）、タイマーＴＢをストップおよびリセットした上で（Ｓ６０２）、各別に積算された正の範囲の面積の積算値（Ｓ５１３）と負の範囲の面積の積算値（Ｓ５１４）とが合算され、この合算により得られた合算値が所定の閾値を上回ったか否かが判定される（Ｓ６０３）。

ここで、覚醒度が低下していない状態であって、通常の瞬きだけが発生している状態では、この合算値は所定の閾値を上回ることがないため、覚醒度が高い状態にあると判定される（Ｓ６０４）。

そして、覚醒度判定期間の終了毎に微分値の正負の面積の積算値をクリアする（Ｓ６０６）。

これに対して、覚醒度が低下してくると、眼Ｇ４の開度Ｐの時系列的推移が図２０（ａ）に示すように、普通の瞬きに代わって長い瞬きの発生頻度が多くなるため、眼Ｇ４の開度Ｐの微分値Ｋがステップ５０１の処理（図５参照）におけるの指標Ｌを超えることがなく、しかも瞬き速度も遅くなるため、眼Ｇ４の開度Ｐの微分値Ｋの時系列的推移である図２０（ｂ）に示した、微分値Ｋが負の閉じられた範囲２００１の面積（積算値）は、図１９（ｂ）に示した、通常の瞬きで発生する微分値Ｋが負の閉じられた範囲１９０４，１９０７等の面積（積算値）に比べて十分大きく、また、図２０（ｂ）に示した、微分値Ｋが正の閉じられた範囲２００２の面積（積算値）は、図１９（ｂ）に示した、通常の瞬きで発生する微分値Ｋが正の閉じられた範囲１９０３，１９０５等の面積（積算値）に比べて十分大きいため、いずれも図５のステップ５０５の処理およびステップ５１０の処理における所定値を超える。

これにより、ステップ５１４，５１３の各処理で、大きな面積が閉じられた範囲として積算対象とされ、その当該面積は積算されて記憶される。

したがって、図６のステップ６０３の判定処理において、各別に積算された正の範囲の面積の積算値と負の範囲の面積の積算値との合算値は、所定の閾値を超え、覚醒度は低い状態にあると判定される（Ｓ６０５）。

そして、覚醒度判定期間の終了毎に微分値の正負の面積の積算値をクリアする（Ｓ６０６）。

なお、図３のフローチャートに示したステップ３０８の処理は、眼の追跡（検出）に失敗した場合（Ｓ３０６）に、画像の全範囲を検出対象としたうえでこの画像の全範囲から眼の位置検出を行うが、その全範囲からの眼の位置検出に要する時間は、追跡領域からの眼の位置検出に要する時間よりも当然長くなるため、画像の全範囲からの眼の位置検出に要する時間を、信頼度判定期間および覚醒度判定期間の時間から除外することを目的として、タイマーＴＡおよびタイマーＴＢを停止させるものである。

そして、その後、画像の全体範囲からの眼の検出処理により、眼の検出に成功し、改めて追跡領域が設定されたとき、タイマーＴＡおよびタイマーＴＢを再スタートさせる（図４のフローチャートにおいてステップ４０２）。

以上、説明したように、本実施形態に係る覚醒度推定装置１００によれば、眼開度検出手段１０１が、時系列的に連なる複数の画像を対象として、各画像ごとに眼の開度Ｐを検出し、眼開度推移検出手段１０４が、各画像ごとに得られた眼の開度Ｐに基づいて、眼の開度Ｐの時系列的な推移（眼の開度の時系列的な変化）を検出し、覚醒度判定手段１０５が、眼の開度Ｐの時系列的な推移に基づいて覚醒度を判定する。

一方、信頼度判定手段１０６が、眼開度推移検出手段１０４により検出された眼の開度Ｐの時系列的推移に応じて、眼開度検出手段１０１による眼の開度Ｐの検出結果に対する信頼度を判定する。

この結果、本発明に係る覚醒度推定装置１００は、覚醒度とともに、この覚醒度の使用可否の判断材料である、眼の開度Ｐの検出結果に対する信頼度を、併せて提示することができる。

したがって、例えば車両乗員用の居眠り防止装置２０２などの装置に、本実施形態の覚醒度推定装置１００から出力された覚醒度を用いるか否かを、その覚醒度を導き出すための基データである眼の開度Ｐについて提示された信頼度に応じて、容易に判定することができる。

図２１（ａ）は、いわゆる伏し目の状態（覚醒度は高いが、視線を下の方に向けた状態）における目の開度Ｐの時系列的推移、（ｂ）は（ａ）の時間微分を示す図である。伏し目の状態は、覚醒度が高い場合であっても、覚醒度が低下して長い瞬きが発生したものと誤検出する虞がある。

通常、いわゆる伏し目は、眼を完全に閉じていないため、完全な閉眼状態と区別することが可能である。

しかし、完全な閉眼状態ではないが、覚醒度の低下している状態も発生し得るため、完全な閉眼状態だけを、覚醒度の低下した状態と判定したのでは、伏し目の誤検出を防止することはできるものの、完全な閉眼状態ではないが覚醒度の低下している状態を検出洩れする虞がある。

従来は、このトレードオフの関係を解決することができなかったが、本発明に係る覚醒度推定装置は、この問題を解決することができ、以下、本実施形態の覚醒度推定装置１００が、この伏し目と覚醒度が実際に低下している状態とを確実に峻別する作用について説明する。

図２１は、覚醒度は高く、かつ伏し目の発生しうる状態であって、（ａ）は眼の開度Ｐの時系列的推移、（ｂ）は（ａ）の時間微分、をそれぞれ表す。

図２１によれば、伏し目状態になると、再び真正面を見た瞬間に、瞬きをしていることが分かる。これは、焦点距離が大きく変化した（伏し目状態（距離が近い部分を見ている状態）から真正面を見た状態（距離が遠い部分を見ている状態）に変化した等）際に、眼を一旦閉じるという人間の眼の習性が現れたものであり、特別に意識をすることなく、高い確率で発生する。

そして、上述した実施形態の覚醒度推定装置１００は、目の開度Ｐの微分値Ｋの時系列的推移により、この現象を、簡単かつ的確に捕らえることができる。

すなわち、図２１（ｂ）に示す眼の開度Ｐの微分値Ｋの時系列的推移の負の範囲２１０１，２１０２では、それらの微分値Ｋの絶対値｜Ｋ｜が大きいことにより、図５のステップ５０１の判定処理において絶対値｜Ｋ｜は所定範囲Ｌを上回り、覚醒度判定区間の終了毎に微分値の正負の面積の積算値がリセットされる（図６のステップ６０６）。

したがって、覚醒度が低い状態であるという誤った推定結果が出力されるのを回避することができる。すなわち、伏し目状態に起因した誤判定を排除することもできる。

また、本実施形態に係る覚醒度推定装置１００は、眼検出部１０２が、眼を検出する対象である第（Ｎ＋１）フレームの画像に対して、検出対象である第（Ｎ＋１）フレームの画像と時系列的に連なる直前の第Ｎフレームの画像において検出された眼の位置の近傍範囲に対応する範囲を、検出対象範囲１１０３，１１０６（図１１）として設定し、この設定された検出対象範囲について眼の検出を行う。

時系列的に連なる複数の画像においては、眼の位置は、相前後する画像間で大きく異なることはなく、任意の画像における眼の位置は、通常は、その時系列的に連なる直前の画像において検出された眼の位置の近傍範囲に存在する。

したがって、時系列的に連なる直前の画像（第（Ｎ＋１）フレームに対する第Ｎフレームなど）において検出された眼の位置の近傍範囲に対応する範囲を、眼を検出する対象範囲（追跡領域）として設定することで、画像全体を対象範囲として眼の検出処理を行う場合に比べて、処理時間を大幅に短縮することができる。

一方、時系列的に連なる直前の第Ｎフレームの画像が存在しないか、もしくは、設定された検出対象範囲１１０３，１１０６等について行った眼の検出操作により眼を検出することができないことが稀に起こりうる。

そのような場合に、設定された範囲のみを眼の検出対象として処理を行っただけでは、画像のいずれかの部分に存在する眼を検出することができない事態が生じる。

しかるに、本実施形態に係る覚醒度推定装置１００は、まず、時系列的に連なる直前の画像において検出された眼の位置の近傍範囲に対応する範囲について眼の検出を行い、その検出対象範囲について眼の検出ができないときは、画像の全範囲について眼の検出を行うことで、検出処理時間の短縮と検出の確率の向上とを両立することができる。

また、本実施形態に係る覚醒度検出装置１００は、信頼度判定手段１０６が、眼開度推移検出手段１０４により検出された眼の開度Ｐの時系列的推移を時間微分し、得られた時系列的推移の時間微分値Ｋの分布に応じて、信頼度を判定する。

車室内の環境光の状態の変化を始めとして画像信号にノイズが生じているときは、眼の開度Ｐの時系列的推移が短時間のうちに急激に変動する。

そこで、信頼度判定手段１０６が、眼の開度Ｐの時系列的推移の時間微分Ｋの分布を求めて、その分布に応じて信頼度を判定すると、画像信号にノイズが生じているときと、ノイズが生じていないときとを、明確に峻別することができ、簡単な演算処理で、かつ的確に信頼度を判定することができる。

さらに、本実施形態に係る覚醒度検出装置１００は、信頼度判定手段１０６が、時系列的推移の時間微分値Ｋの分布について、時間微分値Ｋの絶対値｜Ｋ｜が所定の閾値を上回る頻度を求め、得られた頻度に応じて、信頼度を判定するものである。

画像信号にノイズが生じているときは、眼の開度Ｐの時間微分値Ｋの絶対値｜Ｋ｜が大きくなるため、時間微分値Ｋの絶対値｜Ｋ｜が所定の閾値を上回ることを検出することにより、画像信号にノイズが生じているときを検出することができるが、画像信号にノイズが生じていないときにも、時間微分値Ｋの絶対値｜Ｋ｜が所定の閾値を上回ることはあり得る。

しかし、その時間微分値Ｋの絶対値｜Ｋ｜が所定の閾値を上回る回数は、画像信号にノイズが生じているときと、ノイズが生じていないときとで、明確に差異がある。

したがって、時間微分値Ｋの絶対値｜Ｋ｜が所定の閾値を上回る頻度に応じて信頼度を判定することにより、画像信号にノイズが生じているときと、ノイズが生じていないときとを、明確、かつ確実に信頼度を判定することができる。

なお、信頼度判定手段１０６は、信頼度を判定する基準となる頻度（閾値）を求めるための基準時間間隔、または該頻度に応じた信頼度の判定を行うための基準頻度の値に対して、検出対象となる画像に写る運転者１０（被検体）の個体差に応じた補正を施すようにしてもよい。

ここで、個体差に応じた補正量は、実験等により予め求めておけばよい。

このように構成された覚醒度推定装置１００によれば、被検体の個体差の影響を排除することができ、これにより、個体差に拘わらず信頼度を的確に判定することができる。

なお、眼の開度Ｐの微分値Ｋの時系列的推移に基づいた信頼度の判定と覚醒度の判定との組合わせ方は、一般的な誤警報を抑える傾向とする場合は、覚醒度が低いと判定されても信頼度が低い場合については、覚醒度が低いことに起因して、車両乗員用の居眠り防止装置（警報ブザー等）２０２が発報する警報の出力を制限したり、発報・報知の種類を変更する（音量や音程、音の種類やリズムを変更する）などを適用することもできる。

また、本実施形態に係る覚醒度検出装置１００は、（１）信頼度判定手段１０６による信頼度の判定結果が高く、（２）眼開度推移検出手段１０４により検出された眼の開度Ｈの時系列的推移を時間微分して得られた時系列的推移の時間微分値Ｋの分布について、時間微分値Ｋが負となる範囲のうち、または時間微分値Ｋが正となる範囲のうち、各範囲の面積の絶対値が所定値を上回り、かつ、時間微分値Ｋの絶対値が所定の基準範囲内（｜Ｋ｜≦Ｌ）である積算面積範囲の面積を逐次積算し、（３）積算面積範囲の面積を逐次積算して得られた積算値が、所定の期間（覚醒度判定期間）内に、所定値を超えたとき、覚醒度判定手段１０５は、覚醒度が低下していると判定するところ、覚醒度が高い状態における通常の瞬きは、時間微分値が負となる範囲のうち、または時間微分値Ｋが正となる範囲のうち、範囲の面積の絶対値が所定値を下回ることが多いか、または所定値を上回ったとしても、時間微分値Ｋが所定の基準範囲を超えるため、簡単な演算処理で、的確に覚醒度の低下状態を判定することができる。

本発明に係る覚醒度推定装置の一実施形態である覚醒度推定装置を示すブロック図である。 図１に示した覚醒度推定装置が車両に搭載された状態を示す模式図である。 図１に示した覚醒度推定装置の作用を説明するフローチャート（その１）である。 図１に示した覚醒度推定装置の作用を説明するフローチャート（その２）である。 図１に示した覚醒度推定装置の作用を説明するフローチャート（その３）である。 図１に示した覚醒度推定装置の作用を説明するフローチャート（その４）である。 眼検出部による眼の検出処理の一例を説明する図であり、２次元濃淡画像を縦方向に主走査、横方向に副走査して、所定条件の濃度変動部分（特徴）を検出する処理の説明図である。 図７における各特徴部分だけを抽出した図である。 図８における特徴のグループ化を説明する図である。 各特徴を顔の要素に対応させて特定する処理を説明する図である。 追跡領域を説明する図であり、（ａ）は第Ｎフレームの画像において設定された追跡領域、（ｂ）は第（Ｎ＋１）フレームの画像において設定される追跡領域、をそれぞれ示す。 眼の高さを開度と規定することの説明図であり、（ａ）は開眼状態における開度、（ｂ）は閉眼状態における開度、をそれぞれ示す。 眼の縦横比を開度と規定することの説明図であり、（ａ）は像倍率が大きい状態における開度、（ｂ）は像倍率が小さい状態における開度、をそれぞれ示す。 眼の上縁の曲率半径を開度Ｐと規定することの説明図であり、（ａ）は曲率半径が小さい状態、（ｂ）は曲率半径が大きい状態、（ｃ）閉眼状態の一例の画像、（ｄ）（ｃ）の画像から検出された閉眼状態の眼を表す図、（ｅ）図示しない画像から検出された開眼状態の眼を表す図、をそれぞれ表す。 信頼度が高い状態における、（ａ）は縦軸に眼の開度、横軸に時系列的に連なる画像のフレーム番号（フレーム数）を表した、眼の開度の時系列的推移を示すグラフ、（ｂ）は（ａ）における眼の開度を時間微分して得られた眼の開度の時間微分値の時系列的推移を示すグラフである。 信頼度が低い状態における、（ａ）は眼の開度の時系列的推移を示すグラフ、（ｂ）は眼の開度の時間微分値の時系列的推移を示すグラフである。 ２６人の乗員について、各所定時間内の瞬きの発生頻度を調査してまとめた一覧表を示す図である。 眼の開度の微分値の時系列的推移であり、（ａ）は瞬きの適正な検出状態を示す図、（ｂ）はノイズの重畳がするなど適正な検出が行われていない状態を示す図である。 覚醒度が高い状態における通常の瞬き１回を正常に検出している場合であって、（ａ）は眼の開度の時系列的推移を示すグラフ、（ｂ）は眼の開度の時間微分値の時系列的推移を示すグラフである。 覚醒度が低下し始めた状態における通常よりも長い瞬き１回を正常に検出している場合であって、（ａ）は眼の開度の時系列的推移を示すグラフ、（ｂ）は眼の開度の時間微分値の時系列的推移を示すグラフである。 いわゆる伏し目の状態であって、（ａ）は眼の開度の時系列的推移を示すグラフ、（ｂ）は眼の開度の時間微分値の時系列的推移を示すグラフである。

符号の説明

１００ 覚醒度推定装置
１０１ 眼開度検出手段
１０２ 眼検出部
１０３ 眼開度検出部
１０４ 眼開度推移検出部
１０５ 覚醒度判定手段
１０６ 信頼度判定手段
２００ 車両
２０１ ＣＣＤカメラ
２０２ 居眠り防止装置

Claims (8)

1. 画像に含まれる眼の開度を検出する眼開度検出手段と、
   時系列的に連なる複数の画像を対象として、前記眼開度検出手段により検出された前記眼の開度の時系列的推移を検出する眼開度推移検出手段と、
   前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移に基づいて覚醒度を判定する覚醒度判定手段と、
   前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移に基づいて、前記眼開度検出手段による前記眼の開度の検出結果に対する信頼度を判定する信頼度判定手段と、を備え、
   前記信頼度判定手段は、前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移を時間微分し、得られた時系列的推移の時間微分値の分布について、前記時間微分値の絶対値が所定の閾値を上回る頻度を求め、得られた前記頻度に応じて、前記信頼度を判定するものであることを特徴とする覚醒度推定装置。
2. 前記眼開度検出手段は、前記眼を検出する眼検出部と、前記眼検出部によって検出された眼に基づいて、前記眼の開度を検出する眼開度検出部とを備えたことを特徴とする請求項１に記載の覚醒度推定装置。
3. 前記眼検出部は、眼を検出する対象の画像に対して、該検出対象の画像と時系列的に連なる直前の画像において検出された眼の位置の近傍範囲に対応する範囲を、検出対象範囲として設定し、この設定された検出対象範囲について前記眼の検出を行い、または、前記時系列的に連なる直前の画像が存在しないか、もしくは、前記設定された検出対象範囲について行った前記眼の検出操作により前記眼を検出することができないときは、前記検出対象の画像の全範囲について前記眼の検出を行うものであることを特徴とする請求項２に記載の覚醒度推定装置。
4. 前記眼開度検出部は、前記眼検出部によって検出された眼の上下方向に沿った高さを求め、この求められた高さを、前記眼の開度として検出するものであることを特徴とする請求項２または３に記載の覚醒度推定装置。
5. 前記眼開度検出部は、前記眼検出部によって検出された眼に外接する矩形の縦横比を求め、この求められた縦横比を、前記眼の開度として検出するものであることを特徴とする請求項２または３に記載の覚醒度推定装置。
6. 前記眼開度検出部は、前記眼検出部によって検出された眼の上縁の曲率半径を求め、この求められた曲率半径を、前記眼の開度として検出するものであることを特徴とする請求項２または３に記載の覚醒度推定装置。
7. 前記信頼度判定手段は、
   前記信頼度を判定する基準となる前記頻度を求めるための基準時間間隔、または該頻度に応じた前記信頼度の判定を行うための基準頻度の値に対して、前記検出対象となる画像に写る被検体の個体差に応じた補正を施すことを特徴とする請求項１から６のうちいずれか１項に記載の覚醒度推定装置。
8. （１）前記信頼度判定手段による信頼度の判定結果が高く、
   （２）前記眼開度推移検出手段により検出された前記眼の開度の時系列的推移を時間微分して得られた時系列的推移の時間微分値の分布について、前記時間微分値が負となる範囲のうち、または前記時間微分値が正となる範囲のうち、該範囲の面積の絶対値が所定値を上回り、かつ、前記時間微分値が所定の基準範囲内である積算面積範囲の面積を逐次積算し、
   （３）前記積算面積範囲の面積を逐次積算して得られた積算値が、所定の期間内に、所定値を超えたとき、
   前記覚醒度判定手段は、覚醒度が低下していると判定することを特徴とする請求項１から７のうちいずれか１項に記載の覚醒度推定装置。

Images