JP5644414B2 - 覚醒度判定装置、覚醒度判定方法及びプログラム - Google Patents

Description

本発明は、覚醒度判定装置、覚醒度判定方法及びプログラムに関し、更に詳しくは、ドライバーの覚醒度を判定する覚醒度判定装置、ドライバーの覚醒度を判定するための覚醒度判定方法及びプログラムに関する。

近年、交通事故の死者数は減少傾向にあるものの、事故の発生件数は依然として高い水準にある。事故の原因は様々であるが、ドライバーが覚醒度が低下した状態で車両の運転を行うことも、事故を誘発する原因の１つである。

そこで、ドライバーの覚醒度が低下した場合に、警報を発令することで、交通事故を未然に回避するための装置が種々提案されている（例えば特許文献１参照）。特許文献１に開示された装置は、ドライバーの顔の画像に基づいて、ドライバーの眼の開度を算出する。そして、算出した眼の開度が閾値以下である状態が継続した場合に、ドライバーが居眠りしていると判定し、警報を発令する。

特開２０００−１４２１６４号公報

ドライバーが居眠りしているときには、ドライバーの眼の開度が閾値以下となることが多いのは統計的な事実である。しかしながら、眼の開度が閾値以下であっても、ドライバーは、運転に支障がない程度に覚醒している場合がある。このような場合に、ドライバーに対して警報が発令されると、ドライバーが不快感を覚え、運転に対する注意力が散漫になることが考えられる。

また、ドライバーの眼が大きく開いている場合であっても、ドライバーの覚醒度が低下していることがある。このような場合には、ドライバーの眼の開度以外の情報に基づいて、ドライバーの状態を判定する必要がある。

本発明は、上述の事情の下になされたもので、ドライバーの覚醒度の低下を正確に検出することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る覚醒度判定装置は、
ドライバーの顔を撮影することにより得られる画像に基づいて、前記ドライバーの右眼の視線と左眼の視線とによって規定される角度を算出する角度算出手段と、
算出された前記角度の標準偏差を算出する標準偏差算出手段と、
前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段と、
を備える。

前記角度は、前記右眼の視線と前記左眼の視線とによって規定される輻輳角であることとしてもよい。

前記角度は、水平面と前記右眼の視線とのなす角と、水平面と前記左眼の視線とのなす角との差であることとしてもよい。

前記判定手段は、
前記標準偏差が閾値未満のときには、算出された角度が所定の範囲にない場合に、前記ドライバーの覚醒度が低下していると判定することとしてもよい。

本発明の第２の観点に係る覚醒度判定方法は、
ドライバーの顔を撮影することにより得られる画像に基づいて、前記ドライバーの右眼の視線と左眼の視線とによって規定される角度を算出する角度算出手段によって、前記角度を算出する工程と、
算出された前記角度の標準偏差を算出する標準偏差算出手段によって、前記標準偏差を算出する工程と、
前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段によって、判定する工程と、
を含む。

本発明の第３の観点に係るプログラムは、
コンピュータに、
ドライバーの顔を撮影することにより得られる画像に基づいて、前記ドライバーの右眼の視線と左眼の視線とによって規定される角度を算出する角度算出手段によって、前記角度を算出する手順と、
算出された前記角度の標準偏差を算出する標準偏差算出手段によって、前記標準偏差を算出する手順と、
前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段によって、判定する手順と、
を実行させる。

本発明によれば、車両を運転するドライバーの顔が写る画像に基づいて、前記ドライバーの両眼の視線のなす角度が順次算出される。そして、算出された視線のなす角度の標準偏差に基づいて、ドライバーの覚醒度が低下した状態であるか否かが判定される。このため、眼の開度とドライバーの覚醒度とに相関がない場合であっても、ドライバーの覚醒度の低下を正確に検出することができる。

第１の実施形態に係る覚醒度判定装置のブロック図である。 撮影装置の配置を示す図である。 撮影装置によって撮影された画像を示す図である。 覚醒度判定装置の動作を説明するためのフローチャートである。 ドライバーの両眼の画像を示す図である。 ドライバーの両眼の画像を示す図である。 ドライバーの視線を示す図である。 輻輳角の時間的な変化を示す図である。 輻輳角に関する標準偏差の時間的な変化を示す図である。 第２の実施形態に係る覚醒度判定装置の動作を説明するためのフローチャートである。 ドライバーの両眼の画像を示す図である。 ドライバーの視線を示す図である。 ドライバーの視線を示す図である。 差角の時間的な変化を示す図である。 差角に関する標準偏差の時間的な変化を示す図である。 第３の実施形態に係る覚醒度判定装置のブロック図である。

《第１の実施形態》
以下、本発明の第１の実施形態を、図面を参照しつつ説明する。図１は本実施形態に係る覚醒度判定装置１０の概略的な構成を示すブロック図である。覚醒度判定装置１０は、車両を運転するドライバーの覚醒度が低下しているか否かを判定する装置である。この覚醒度判定装置１０は、図１に示されるように、演算装置２０、及び撮影装置３０を有している。

図２は、撮影装置３０の配置を示す図である。図２に示されるように、撮影装置３０は、車両のステアリング６２を支持するステアリングコラム、或いはダッシュボード等に取り付けられている。この撮影装置３０は、フレームレートが約３０のビデオカメラである。そして、シート６１に着座するドライバー５０の顔を撮影することにより取得した画像を電気信号に変換して、演算装置２０へ順次出力する。

図３には、撮影装置３０によって撮影された画像ＩＭが示されている。画像ＩＭを参照するとわかるように、撮影装置３０によって撮影された画像には、そのほぼ中心にシート６１に着座したドライバー５０の顔が写りこむ。ここで、説明の便宜上、画像ＩＭの左下のコーナーを原点とするＸＹ座標系を定義し、以下、適宜ＸＹ座標系を用いた説明を行う。

図１に戻り、演算装置２０は、ＣＰＵ（Central Processing Unit）２１、主記憶部２２、補助記憶部２３、表示部２４、入力部２５、及びインターフェイス部２６を有するコンピュータである。

ＣＰＵ２１は、補助記憶部２３に記憶されたプログラムを読み出して実行する。ＣＰＵ２１の具体的な動作については後述する。

主記憶部２２は、ＲＡＭ（Random Access Memory）等の揮発性メモリを有している。主記憶部２２は、ＣＰＵ２１の作業領域として用いられる。

補助記憶部２３は、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを有している。補助記憶部２３は、ＣＰＵ２１が実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置３０から出力される画像に関する情報、及びＣＰＵ２１による処理結果などを含む情報を順次記憶する。

表示部２４は、ＬＣＤ（Liquid Crystal Display）などの表示ユニットを有している。表示部２４は、ＣＰＵ２１の処理結果等を表示する。

入力部２５は、入力キーや、タッチパネル等のポインティングデバイスを有している。オペレータの指示は、入力部２５を介して入力され、システムバス２７を経由してＣＰＵ２１へ通知される。

インターフェイス部２６は、シリアルインターフェイス、パラレルインタフェース、ＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮影装置３０は、インターフェイス部２６を介してシステムバス２７に接続される。

図４のフローチャートは、ＣＰＵ２１によって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図４を参照しつつ、覚醒度判定装置１０の動作について説明する。図４のフローチャートに示される一連の処理は、車両のイグニッションスイッチがオンになると実行される。

まず、最初のステップＳ２０１では、ＣＰＵ２１は、ドライバー５０に遠方の目視を指示する。この指示は、例えば表示部２４に、遠方の目視を促すためのテキストを表示するか、或いは音声を出力することによって行われる。

次のステップＳ２０２では、ＣＰＵ２１は、ドライバー５０が遠方を目視していることを前提として、ドライバー５０の視線によって規定される輻輳角を算出するための第１基準値を計測する。

図５は画像ＩＭに写ったドライバー５０の両眼の画像を示す図である。ＣＰＵ２１は、例えばパターンマッチングや、画像上の特徴点の分布に基づく推定方法を実行して、画像ＩＭに含まれるドライバー５０の右眼５１の画像と、左眼５２の画像を特定する。そして、右眼５１の画像における目頭から瞳５１ａまでのＸ軸方向の距離Ｘ１を計測する。この距離は、例えば、右眼５１の目頭を構成する画素と、瞳５１ａを構成する画素の間に存在する画素の数で表すことができる。同様に、ＣＰＵ２１は、左眼５２の画像における目頭から瞳５２ａまでの距離Ｘ２を計測する。

ＣＰＵ２１は、距離Ｘ１，Ｘ２をそれぞれ計測すると、以降この距離Ｘ１，Ｘ２を基準値として用いて、ドライバー５０の両眼の視線によって規定される輻輳角を算出する。

次のステップＳ２０３では、ＣＰＵ２１は、ドライバー５０が遠方を目視していることを前提として、ドライバー５０の両眼５１，５２の俯角を算出するための第２基準値を計測する。

ＣＰＵ２１は、例えば、右眼５１の画像における目頭から瞳５１ａまでのＹ軸方向の距離Ｙ１と、左眼５２の画像における目頭から瞳５２ａまでのＹ軸方向の距離Ｙ２とを計測する。そして、ＣＰＵ２１は、距離Ｙ１，Ｙ２をそれぞれ計測すると、以降この距離Ｙ１，Ｙ２を基準値として用いて、ドライバー５０の右眼５１及び左眼５２の俯角を算出する。

次のステップＳ２０４では、ＣＰＵ２１は、ドライバー５０の両眼の視線の向きを測定する。具体的には、ＣＰＵ２１は、撮影装置３０によって撮影された最新の画像から、ドライバー５０の眼の画像を抽出する。そして、ステップＳ２０３での処理と同様の処理を実行することで、右眼５１の画像における目頭から瞳５１ａまでのＹ軸方向の距離ＹＹ１と、左眼５２の画像における目頭から瞳５２ａまでのＹ軸方向の距離ＹＹ２とを計測する。

次のステップＳ２０５では、ＣＰＵ２１は、ドライバー５０が車外前方を見ているか否かを判定する。上述したように、ステップＳ２０３での処理は、ドライバー５０が車外前方を目視していることが前提として行われている。そこで、ＣＰＵ２１は、ステップＳ２０２で算出された第２基準値としての距離Ｙ１，Ｙ２と、ステップＳ２０４で計測した距離ＹＹ１，ＹＹ２とを比較する。

そして、ＣＰＵ２１は、距離Ｙ１と距離ＹＹ１との差、又は距離Ｙ２と距離ＹＹ２との差が、所定の閾値以上である場合に、ドライバー５０は車外前方を目視していないと判定する（ステップＳ２０５；Ｎｏ）。一方、ＣＰＵ２１は、距離Ｙ１と距離ＹＹ１との差、及び距離Ｙ２と距離ＹＹ２との差それぞれが、所定の閾値未満である場合に、ドライバー５０は車外前方を目視していると判定する（ステップＳ２０５：Ｙｅｓ）。

ステップＳ２０５での判定が否定された場合には、ＣＰＵ２１は、ステップＳ２０４に戻り、ステップＳ２０５での判定が肯定されるまで、ステップＳ２０４及びステップＳ２０５の処理を繰り返し実行する。ステップＳ２０５での判定が肯定されると、ＣＰＵ２１は、ステップＳ２０６へ移行する。

ステップＳ２０６では、ＣＰＵ２１は、ドライバー５０の視線によって規定される輻輳角を算出する。具体的には、ＣＰＵ２１は、撮影装置３０によって撮影された最新の画像から、ドライバー５０の眼５１，５２の画像を抽出する。次に、ステップＳ２０２での処理と同様の処理を実行することで、右眼５１の画像における目頭から瞳５１ａまでのＸ軸方向の距離ＸＸ１と、左眼５２の画像における目頭から瞳５２ａまでのＸ軸方向の距離ＸＸ２とを計測する。そして、距離Ｘ１，Ｘ２と、距離ＸＸ１，ＸＸ２とからドライバー５０の両眼の視線によって規定される輻輳角を算出する。

例えば図６には、ドライバー５０が無限遠を目視しているときの両眼５１，５２の瞳５１ａ，５２ａが破線で示され、無限遠の手前に位置する注視点を目視しているときの両眼５１，５２の瞳５１ａ，５２ａが実線で示されている。無限遠を目視するドライバー５０が、無限遠よりも近くに位置する注視点を目視した場合には、図６に示されるように、ドライバー５０の右眼５１の瞳５１ａは、図中に破線で示される位置から実線で示される位置まで、＋Ｘ方向へ移動する。同時に、左眼５２の瞳５２ａは、図中の破線で示される位置から実線で示される位置まで、−Ｘ方向へ移動する。このため、距離ＸＸ１は、距離Ｘ１よりも小さくなり、距離ＸＸ２は、距離Ｘ２よりも小さくなる。

そこで、ＣＰＵ２１は、無限遠を目視したときの右眼５１の視線と、左眼５２の視線とがほぼ平行であることを前提として、距離Ｘ１，Ｘ２と、距離ＸＸ１，ＸＸ２との相違に基づいて、右眼５１の視線と、左眼５２の視線によって規定される輻輳角を算出する。

図７に示される直線ＬＨ１_１は、ドライバー５０が遠方を目視しているときの右眼５１の視線を示し、直線ＬＨ２_１は、左眼５２の視線を示している。そして、直線ＬＨ１_２は、ドライバー５０が、注視点を目視しているときの右眼５１の視線を示し、直線ＬＨ２_２は、左眼５２の視線を示している。また、直線ＬＨ１_１と直線ＬＨ２_１は平行である。

図７を参照するとわかるように、直線ＬＨ１_２と直線ＬＨ２_２とによって規定される輻輳角θｈは、直線ＬＨ１_１と直線ＬＨ１_２とによって規定される角度θｈ_１と、直線ＬＨ２_１と直線ＬＨ２_２とによって規定される角度θｈ_２とを足し合わせたものである。そこで、ＣＰＵ２１は、まず距離Ｘ１と距離ＸＸ１との差に基づいて、角度θｈ_１を算出する。例えば、角度θｈ_１は、眼球の半径をｒとすると次式を用いておおよそ算出することができる。

次に、ＣＰＵ２１は、同様の手順で角度θｈ_２を算出すると、角度θｈ_１とθｈ_２とを足し合わせて輻輳角θｈを算出する。

次のステップＳ２０７では、ＣＰＵ２１は、所定の時間ごとに、輻輳角θｈの標準偏差を算出する。例えばＣＰＵ２１は、過去１秒間に撮影された画像に基づいて算出された輻輳角の標準偏差を算出する。本実施形態に係る撮影装置３０のフレームレートは約３０である。このため、ＣＰＵ２１によって、最新の画像を含む３０枚の画像に基づいて算出された輻輳角θｈについての標準偏差が算出される。なお、図４に示される処理が開始されてから、１秒を経過していない場合には、ＣＰＵ２１は、既に算出された輻輳角θｈについての標準偏差を算出する。

次のステップＳ２０８では、算出した標準偏差が閾値以上であるか否かを判定する。図８は、覚醒度の低下が認められた後の輻輳角θｈの時間的な変化を示す図である。また、図９は、輻輳角θｈに関する標準偏差の時間的な変化を示す図である。輻輳角θｈは、ドライバーの覚醒度が高い場合には、変動が少なく０度近傍に落ち着く。しかしながら、図８に示されるように、輻輳角θｈは、ドライバーの覚醒度が低下し、前方の注視が困難な状態になるにつれて、０度から大きくはずれるようになる。この場合には、輻輳角θｈの標準偏差も、輻輳角θｈの変動にシンクロして大きくなる。そこで、ＣＰＵ２１は、算出した標準偏差が、閾値Ｎ１を超えた場合に（ステップＳ２０８：Ｙｅｓ）、ドライバー５０の覚醒度が低下していると判定し、ステップＳ２１０へ移行する。

ステップＳ２１０では、ＣＰＵ２１は、警報を発令する。警報の発令は、例えば、表示部２４に、覚醒度低下を示すテキストを表示するか、或いはアラーム音や音声を用いてドライバー５０に警告を発することが考えられる。また、ＣＰＵ２１は、覚醒度低下を示す信号を外部へ出力することとしてもよい。

一方、ステップＳ２０８において、算出した標準偏差が、閾値以下である場合には（ステップＳ２０８：Ｎｏ）、ＣＰＵ２１は、ステップＳ２０９へ移行する。

ステップＳ２０９では、ＣＰＵ２１は、ステップＳ２０６で算出した輻輳角θｈが、適正範囲に有るか否かを判定する。ドライバーの覚醒度が低下し、前方の注視が困難な状態になるにつれて、輻輳角θｈが０度から大きくはずれるようになるのは先に述べたとおりである。そこで、図８を参照するとわかるように、ＣＰＵ２１は、輻輳角θｈが零より小さい値ａ１から、零より大きい値ａ２までの範囲に含まれるか否かを判定する。そして、ＣＰＵ２１は、輻輳角が、値ａ１以上で値ａ２以下である場合に（ステップＳ２０９：Ｎｏ）は、ステップＳ２０４へ戻り、以下、ステップＳ２０９での判定が肯定されるまで、ステップＳ２０４〜ステップＳ２０９までの処理を繰り返し実行する。

一方、ステップＳ２０９において、輻輳角θｈが値ａ１未満、或いは値ａ２より大きい場合には（ステップＳ２０９：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ２１０へ移行し、警報を発令する。

ＣＰＵ２１は、ステップＳ２１０の処理が終了すると、ステップＳ２０４へ戻り、以降は、イグニッションスイッチがオフになるまで、ステップＳ２０４〜Ｓ２１０までの処理を繰り返し実行する。

以上説明したように、本実施形態では、車両を運転するドライバー５０の顔が写る画像に基づいて、前記ドライバー５０の両眼５１，５２の視線によって規定される輻輳角θｈが順次算出される。そして、算出された輻輳角θｈの標準偏差に基づいて、ドライバー５０の覚醒度が低下した状態であるか否かが判定される（ステップＳ２０８）。このため、ドライバー５０の眼５１，５２の開度と覚醒度との間に相関がない場合であっても、ドライバー５０の覚醒度の低下を正確に検出することができる。これにより、正確に、ドライバー５０に警報を発令することが可能となる。

また、輻輳角θｈの標準偏差が閾値以下である場合には、更に輻輳角θｈそれ自体が、一定の範囲にあるか否かが判定される。そして、この判定結果に基づいて、ドライバー５０の覚醒度が低下しているか否かが判定される。このため、ドライバー５０の眼５１，５２の開度と覚醒度との間に相関がない場合であっても、同様にドライバー５０の覚醒度の低下を正確に検出することができる。

ドライバーの覚醒度が低下すると、右眼５１の向きと、左眼５２の向きが相関なく変動する。このため、ドライバー５０は、前方を走行する車両等の対象物を注視することができなくなる。この場合には、図７における角度θｈ_１の値と、角度θｈ_２の値とがかけ離れることとなる。本実施形態では、角度θｈ_１と角度θｈ_２との和として算出される輻輳角θｈの標準偏差に基づいて、ドライバー５０の覚醒度の低下が検出される。したがって、覚醒度の低下に起因する視線のばらつきに基づいて、ドライバー５０の覚醒度の低下を正確に検出することが可能となる。

なお、本実施形態では、ドライバー５０が車外を目視している場合にのみ輻輳角を算出した（ステップＳ２０５，Ｓ２０６）。この輻輳角は、視線を車外から車内の計器等へ移動したときや、車外をぼんやり見ていた状態から、ある対象物に注意を向けたとき等にも大きく変化する。この場合には、輻輳角は比較的急峻に変化する。そこで、輻輳角が比較的緩やかに変化するときにのみ輻輳角の標準偏差を算出し、この標準偏差に基づいて、ドライバーの覚醒度を評価することとしてもよい。

《第２の実施形態》
次に、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いる。

本実施形態に係る覚醒度判定装置１０は、ドライバー５０の視線によって規定される輻輳角ではなくて、ドライバー５０の眼５１，５２の俯角に基づいて、覚醒度の低下を判定する点で、第１の実施形態に係る覚醒度判定装置１０と相違している。

以下、第２の実施形態に係る覚醒度判定装置１０の動作について、図１０を参照しつつ説明する。図１０のフローチャートは、ＣＰＵ２１によって実行されるプログラムの一連の処理アルゴリズムに対応している。

ステップＳ２０１〜ステップＳ２０５では、ＣＰＵ２１は、上述した第１の実施形態での処理と同様の処理を実行する。

ステップＳ３０６では、ＣＰＵ２１は、ドライバー５０の眼５１，５２の俯角を算出する。具体的には、ＣＰＵ２１は、撮影装置３０によって撮影された最新の画像から、ドライバー５０の眼５１，５２の画像を抽出する。そして、ステップＳ２０３での処理と同様の処理を実行することで、右眼５１の画像における目頭から瞳５１ａまでのＹ軸方向の距離ＹＹ１と、左眼５２の画像における目頭から瞳５２ａまでのＹ軸方向の距離ＹＹ２とを計測する。そして、距離Ｙ１，Ｙ２と、距離ＹＹ１，ＹＹ２とからドライバー５０の眼５１，５２の俯角をそれぞれ算出する。

例えば図１１には、ドライバー５０が無限遠を注視し、視線がほぼ水平であるときの両眼５１，５２の瞳５１ａ，５２ａが破線で示され、ドライバー５０が、例えば計器を視認するために視線を下方に移動させたときの両眼５１，５２の瞳５１ａ，５２ａが実線で示されている。ドライバー５０が視線を下方へ移動させた場合には、図１１に示されるように、ドライバー５０の両眼５１，５２の瞳５１ａ，５２ａは、図中に破線で示される位置から実線で示される位置まで、−Ｙ方向へ移動する。このため、距離ＹＹ１は、距離Ｙ１よりも小さくなり、距離ＹＹ２は、距離Ｙ２よりも小さくなる。

そこで、ＣＰＵ２１は、無限遠を目視したときには視線がほぼ水平であることを前提として、距離Ｙ１，Ｙ２と、距離ＹＹ１，ＹＹ２との相違に基づいて、右眼５１及び右眼５２の俯角をそれぞれ算出する。

図１２に示される直線ＬＶ１_１は、ドライバー５０が遠方を目視しているときの右眼５１の視線を示している。そして、直線ＬＶ１_２は、ドライバー５０が、下方を目視しているときの右眼５１の視線を示している。ＣＰＵ２１は、距離Ｙ１と距離ＹＹ１との差に基づいて、俯角θｖ_１を算出する。例えば、俯角θｖ_１は、眼球の半径をｒとすると次式を用いておおよそ算出することができる。

また、図１３に示される直線ＬＶ２_１は、ドライバー５０が遠方を目視しているときの左眼５２の視線を示している。そして、直線ＬＶ２_２は、ドライバー５０が、下方を目視しているときの左眼５２の視線を示している。ＣＰＵ２１は、距離Ｙ２と距離ＹＹ２との差に基づいて、同様に俯角θｖ_２を算出する。

次のステップＳ３０７では、ＣＰＵ２１は、所定の時間ごとに、右眼５１の俯角θｖ_１と、左眼５２の俯角θｖ_２との差角θｖ（＝θｖ_１−θｖ_２）の標準偏差を算出する。例えばＣＰＵ２１は、過去１秒間に撮影された画像に基づいて算出された差角θｖの標準偏差を算出する。本実施形態に係る撮影装置３０のフレームレートは約３０である。このため、ＣＰＵ２１によって、最新の画像を含む３０枚の画像に基づいて算出された差角θｖについての標準偏差が算出される。なお、図４に示される処理が開始されてから、１秒を経過していない場合には、ＣＰＵ２１は、既に算出された差角θｖについての標準偏差を算出する。

次のステップＳ３０８では、算出した標準偏差が閾値以上であるか否かを判定する。図１４は、覚醒度の低下が認められた後の差角θｖの時間的な変化を示す図である。また、図１５は、差角θｖに関する標準偏差の時間的な変化を示す図である。ドライバー５０の覚醒度が高い場合には、一般に右眼５１の俯角と、左眼５２の俯角とがほぼ一致する。このため、両眼の俯角の差である差角θｖは、ドライバーの覚醒度が高い場合には、変動が少なく０度近傍に落ち着く。しかしながら、図１４に示されるように、差角θｖは、ドライバーの覚醒度が低下し、前方の注視が困難な状態になるにつれて、０度から大きくはずれるようになる。この場合には、差角θｖの標準偏差も、差角θｖの変動にシンクロして大きくなる。そこで、ＣＰＵ２１は、算出した標準偏差が、閾値Ｎ２を超えた場合に（ステップＳ３０８：Ｙｅｓ）、ドライバー５０の覚醒度が低下していると判定し、ステップＳ２１０へ移行する。

一方、ステップＳ３０８において、算出した標準偏差が、閾値以下である場合には（ステップＳ３０８：Ｎｏ）、ＣＰＵ２１は、ステップＳ３０９へ移行する。

ステップＳ３０９では、ＣＰＵ２１は、ステップＳ３０７で算出した差角θｖが、適正範囲に有るか否かを判定する。ドライバーの覚醒度が低下し、前方の注視が困難な状態になるにつれて、差角θｖが０度から大きくはずれるようになるのは先に述べたとおりである。そこで、図１４を参照するとわかるように、ＣＰＵ２１は、差角θｖが零より小さい値ｂ１から、零より大きい値ｂ２までの範囲に含まれるか否かを判定する。そして、ＣＰＵ２１は、差角θｖが、値ｂ１以上で値ｂ２以下である場合に（ステップＳ３０９：Ｎｏ）は、ステップＳ２０４へ戻り、以下、ステップＳ３０９での判定が否定されるまで、ステップＳ２０４〜ステップＳ３０９までの処理を繰り返し実行する。

一方、ステップＳ３０９において、差角θｖが値ａ１未満、或いは値ａ２より大きい場合には（ステップＳ３０９：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ２１０へ移行し、警報を発令する。

ＣＰＵ２１は、ステップＳ２１０の処理が終了すると、ステップＳ２０４へ戻り、イグニッションスイッチがオフになるまで、ステップＳ２０４以降の処理を繰り返し実行する。

以上説明したように、本実施形態では、車両を運転するドライバー５０の顔が写る画像に基づいて、前記ドライバー５０の右眼５１の俯角θｖ_１と、左眼５２の俯角θｖ_２との差角θｖが順次算出される。そして、算出された差角θｖの標準偏差に基づいて、ドライバー５０の覚醒度が低下した状態であるか否かが判定される（ステップＳ３０８）。このため、ドライバー５０の眼５１，５２の開度と覚醒度との間に相関がない場合であっても、ドライバー５０の覚醒度の低下を正確に検出することができる。これにより、正確に、ドライバー５０に警報を発令することが可能となる。

また、差角θｖの標準偏差が閾値以下である場合には、更に差角θｖそれ自体が、一定の範囲にあるか否かが判定される。そして、この判定結果に基づいて、ドライバー５０の覚醒度が低下しているか否かが判定される。このため、ドライバー５０の眼５１，５２の開度と覚醒度との間に相関がない場合であっても、同様にドライバー５０の覚醒度の低下を正確に検出することができる。

ドライバー５０の覚醒度が低下すると、右眼５１の向きと、左眼５２の向きが相関なく変動する。このため、ドライバー５０は、前方を走行する車両等の対象物を注視することができなくなる。例えば、この場合には、図１２における俯角θｖ_１と、図１３における俯角θｖ_２との値がかけ離れることとなる。本実施形態では、俯角θｖ_１と俯角θｖ_２との差として算出される差角θｖの標準偏差に基づいて、ドライバー５０の覚醒度の低下が検出される。したがって、覚醒度低下に起因する視線のばらつきに基づいて、ドライバー５０の覚醒度の低下を正確に検出することができる。

なお、本実施形態では、右眼５１の俯角と左眼５２の俯角との差（差角θｖ）に基づいて、ドライバー５０の覚醒度を評価する。このため、必ずしも無限遠を目視したときの視線を基準にして、右眼５１の俯角及び左眼５２の俯角を算出しなくてもよい。例えば、計器を目視したときの視線に基づいて、右眼５１の俯角及び左眼５２の俯角との差を算出することとしてもよい。

《第３の実施形態》
次に、本発明の第３の実施形態について説明する。なお、上記実施形態と同一又は同等の構成については、同等の符号を用いる。

本実施形態に係る覚醒度判定装置１０Ａは、演算装置２０がハードウェアによって構成されている点で、上記実施形態に係る覚醒度判定装置１０と相違している。

図１６は、ハードウェアによって構成された覚醒度判定装置１０Ａのブロック図である。図１０に示されるように、覚醒度判定装置１０Ａを構成する演算装置２０は、記憶部２０ａ、基準値計測部２０ｂ、目視方向特定部２０ｃ、輻輳角算出部２０ｄ、標準偏差算出部２０ｅ、判定部２０ｆ、及び警報発令部２０ｇを備えている。

記憶部２０ａは、撮影装置３０から出力される画像に関する情報、及び上記各部２０ｂ〜２０ｆの処理結果などを含む情報を順次記憶する。

基準値計測部２０ｂは、ドライバー５０が遠方を目視していることを前提として、ドライバー５０の視線によって規定される輻輳角や、ドライバー５０の両眼５１，５２の俯角を算出するための基準値Ｘ１，Ｘ２，Ｙ１，Ｙ２を計測する。

目視方向特定部２０ｃは、ドライバー５０の両眼５１，５２の向きを測定する。具体的には、ＣＰＵ２１は、撮影装置３０によって撮影された最新の画像から、ドライバー５０の眼５１，５２の画像を抽出する。そして、右眼５１の画像における目頭から瞳５１ａまでのＹ軸方向の距離ＹＹ１と、左眼５２の画像における目頭から瞳５２ａまでのＹ軸方向の距離ＹＹ２とを計測する。

そして、目視方向特定部２０ｃは、距離Ｙ１，Ｙ２と、計測した距離ＹＹ１，ＹＹ２とを比較し、距離Ｙ１と距離ＹＹ１との差、又は距離Ｙ２と距離ＹＹ２との差が、所定の閾値未満である場合に、ドライバー５０は車外前方を目視していると判定する。

輻輳角算出部２０ｄは、ドライバー５０が車外前方を目視していると判定された場合に、ドライバー５０の視線によって規定される輻輳角を算出する。具体的には、ＣＰＵ２１は、撮影装置３０によって撮影された最新の画像から、ドライバー５０の眼の画像を抽出する。次に、右眼５１の画像における目頭から瞳５１ａまでのＸ軸方向の距離ＸＸ１と、左眼５２の画像における目頭から瞳５２ａまでのＸ軸方向の距離ＸＸ２とを計測する。そして、距離Ｘ１，Ｘ２と、距離ＸＸ１，ＸＸ２とからドライバー５０の両眼の視線によって規定される輻輳角θｈを算出する。

標準偏差算出部２０ｅは、輻輳角θｈの標準偏差を算出する。例えば標準偏差算出部２０ｅは、過去１秒間に撮影された画像に基づいて算出された輻輳角θｈの標準偏差を算出する。本実施形態に係る撮影装置３０のフレームレートは約３０である。このため、ＣＰＵ２１によって、最新の画像を含む３０枚の画像に基づいて算出された輻輳角θｈについての標準偏差が算出される。

判定部２０ｆは、算出された標準偏差が、閾値Ｎ１を超えた場合に、ドライバー５０の覚醒度が低下していると判定し、判定結果を警報発令部２０ｇへ通知する。また、判定部２０ｆは、算出された標準偏差が、閾値Ｎ１を超えていない場合であっても、輻輳角θｈが適正範囲にない場合には、ドライバー５０の覚醒度が低下していると判定し、判定結果を警報発令部２０ｇへ通知する。

警報発令部２０ｇは、判定部２０ｆから判定結果が通知されると、ドライバー５０に警報を発令する。この警報の発令は、例えば、不図示の液晶モニタ等に、覚醒度低下を示すテキストを表示するか、或いはアラーム音や音声を用いてドライバー５０に警告を発することが考えられる。また、ＣＰＵ２１は、覚醒度低下を示す信号を外部へ出力することとしてもよい。

以上説明したように、本実施形態では、算出された輻輳角θｈの標準偏差に基づいて、車両を運転するドライバー５０の覚醒度が低下した状態であるか否かが判定される。このため、ドライバー５０の眼５１，５２の開度と覚醒度との間に相関がない場合であっても、ドライバー５０の覚醒度の低下を正確に検出することができる。これにより、正確に、ドライバー５０に警報を発令することが可能となる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。例えば、上記実施形態では、目頭と瞳との距離に基づいて、輻輳角及び俯角を算出した。これに限らず、下瞼と瞳との距離に基づいて、輻輳角及び俯角を算出してもよい。その他、輻輳角及び俯角を算出する方法として、種々の公知技術を用いることが考えられる。

また、上記実施形態では、ＣＰＵ２１が補助記憶部に記憶されたプログラムを実行することにより、図４或いは図１０に示される一連の処理が実行される。これに限らず、演算装置２０の一部又は全部を、ハードウェアによって構成してもよい。

また、演算装置２０の補助記憶部２３に記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。

また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。

本発明の覚醒度判定装置、覚醒度判定方法及びプログラムは、ドライバーの覚醒度の低下を検出するのに適している。

１０，１０Ａ 覚醒度判定装置
２０ 演算装置
２０ａ 記憶部
２０ｂ 基準値計測部
２０ｃ 目視方向特定部
２０ｄ 輻輳角算出部
２０ｅ 標準偏差算出部
２０ｆ 判定部
２０ｇ 警報発令部
２１ ＣＰＵ
２２ 主記憶部
２３ 補助記憶部
２４ 表示部
２５ 入力部
２６ インターフェイス部
２７ システムバス
３０ 撮影装置
５０ ドライバー
５１ 右眼
５２ 左眼
５１ａ，５２ａ 瞳
６１ シート
６２ ステアリング
ＩＭ 画像

Claims (6)

1. ドライバーの顔を撮影することにより得られる画像に基づいて、前記ドライバーの右眼の視線と左眼の視線とによって規定される角度を算出する角度算出手段と、
   算出された前記角度の標準偏差を算出する標準偏差算出手段と、
   前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段と、
   を備える覚醒度判定装置。
2. 前記角度は、前記右眼の視線と前記左眼の視線とによって規定される輻輳角である請求項１に記載の覚醒度判定装置。
3. 前記角度は、水平面と前記右眼の視線とのなす角と、水平面と前記左眼の視線とのなす角との差である請求項１に記載の覚醒度判定装置。
4. 前記判定手段は、
   前記標準偏差が閾値未満のときには、算出された角度が所定の範囲にない場合に、前記ドライバーの覚醒度が低下していると判定する請求項１乃至３のいずれか一項に記載の覚醒度判定装置。
5. ドライバーの顔を撮影することにより得られる画像に基づいて、前記ドライバーの右眼の視線と左眼の視線とによって規定される角度を算出する角度算出手段によって、前記角度を算出する工程と、
   算出された前記角度の標準偏差を算出する標準偏差算出手段によって、前記標準偏差を算出する工程と、
   前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段によって、判定する工程と、
   を含む覚醒度判定方法。
6. コンピュータに、
   ドライバーの顔を撮影することにより得られる画像に基づいて、前記ドライバーの右眼の視線と左眼の視線とによって規定される角度を算出する角度算出手段によって、前記角度を算出する手順と、
   算出された前記角度の標準偏差を算出する標準偏差算出手段によって、前記標準偏差を算出する手順と、
   前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段によって、判定する手順と、
   を実行させるためのプログラム。

Images