JP5003705B2 - 開閉眼状態判定装置、前横向き状態判定装置、及びプログラム - Google Patents

Description

本発明は、開閉眼状態判定装置、前横向き状態判定装置、及びプログラムに係り、特に、車両の走行状態やドライバの操作状態に基づいて、ドライバの開閉眼状態を判定する開閉眼状態判定装置及びプログラム、並びに、ドライバの前向き状態及び横向き状態を判定する前横向き状態判定装置及びプログラムに関する。

従来より、カメラを用いて、ドライバの開閉眼状態を検知する技術が知られている（例えば、特許文献１）。また、ＥＯＧ（ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈ）法を用いて、ドライバの開閉眼状態を検出する技術が知られている。

また、操舵角検出信号における、所定の居眠り運転で変化する周波数成分（人間周波数成分）を抽出し、この抽出した周波数成分の絶対値を加算（積分）して、その加算値が所定値に達するまでの時間が所定範囲内であるときに、警報を発生する装置が知られている（例えば、特許文献２）。この装置では、居眠り時に多く発生するふらつきを捉えることにより、居眠り運転を検出している。

特開２００８−１７１１０７号公報 特開平８−２６８１９０号公報

しかしながら、上記の特許文献１に記載の技術では、ドライバを撮影するカメラを搭載する必要があるため、コストが高くなってしまう、という問題がある。

また、上記のＥＯＧを用いてドライバの開閉眼状態を検出する技術では、ドライバ自身にセンサを取り付ける必要があるため、自動車に搭載するには現実的ではない、という問題がある。

また、上記の特許文献２に記載の技術では、抽出するふらつき成分が、ドライバが初心者である場合や、風、轍、カーブなどの外乱影響によっても発生するため、誤検出が多く発生してしまう、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、簡易な構成で、ドライバの開閉眼状態を精度よく判定することができる開閉眼状態判定装置及びプログラムを提供することを第１の目的とする。

また、簡易な構成で、ドライバが前向き状態であるか横向き状態であるかを精度よく判定することができる前横向き状態判定装置及びプログラムを提供することを第２の目的とする。

上記の目的を達成するために第１の発明に係る開閉眼状態判定装置は、自車両の走行状態としてヨー角速度、横加速度、及び車速を検出し、ドライバが自車両を操作したときの操作状態として操舵角を検出する状態検出手段と、前記状態検出手段によって検出されたヨー角速度、横加速度、及び車速に基づいて、予め求められた前方注視時間後に自車両が到達されると推定される地点である前方注視点の車両位置と目標コースとの横位置のずれを推定し、前方注視点の車両位置と目標コースとの横位置のずれに基づき車両を制御するドライバをモデル化した前方注視モデルに従って、推定された前方注視点の車両位置と目標コースとの横位置のずれに基づいて開眼状態に対する操舵角を推定し、前方注視点の車両位置と目標コースとの横位置のずれを所定値として、閉眼状態に対する操舵角を推定する操作状態推定手段と、前記操作状態推定手段によって推定された前記開眼状態及び閉眼状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段と、
を含んで構成されている。

第２の発明に係るプログラムは、コンピュータを、自車両の走行状態としてヨー角速度、横加速度、及び車速を検出し、ドライバが自車両を操作したときの操作状態として操舵角を検出する状態検出手段によって検出されたヨー角速度、横加速度、及び車速に基づいて、予め求められた前方注視時間後に自車両が到達されると推定される地点である前方注視点の車両位置と目標コースとの横位置のずれを推定し、前方注視点の車両位置と目標コースとの横位置のずれに基づき車両を制御するドライバをモデル化した前方注視モデルに従って、推定された前方注視点の車両位置と目標コースとの横位置のずれに基づいて開眼状態に対する操舵角を推定し、前方注視点の車両位置と目標コースとの横位置のずれを所定値として、閉眼状態に対する操舵角を推定する操作状態推定手段、及び前記操作状態推定手段によって推定された前記開眼状態及び閉眼状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段として機能させるためのプログラムである。

第１の発明及び第２の発明によれば、状態検出手段によって、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する。操作状態推定手段によって、状態検出手段によって検出された走行状態、又は走行状態及び操作状態に基づいて、ドライバの開眼状態及び閉眼状態の各々に対する操作状態を推定する。

そして、開閉眼状態判定手段によって、操作状態推定手段によって推定された開眼状態及び閉眼状態に対する操作状態の各々と、状態検出手段によって検出された操作状態とを比較し、比較結果に基づいて、ドライバの開閉眼状態を判定する。

このように、推定された開眼状態及び閉眼状態に対する操作状態の各々と、検出された操作状態とを比較して、ドライバの開閉眼状態を判定することにより、簡易な構成で、ドライバの開閉眼状態を精度よく判定することができる。

第１の発明に係る開閉眼状態判定装置は、開閉眼状態判定手段によって判定された開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定する居眠り判定手段を更に含むことができる。これによって、簡易な構成で、ドライバが居眠り状態であるか否かを精度よく判定することができる。

第１の発明に係る開閉眼状態判定装置は、開閉眼状態判定手段によって判定された開閉眼状態の時系列データに基づいて、瞬目特徴量を算出する特徴量算出手段を更に含むことができる。これによって、簡易な構成で、瞬目特徴量を精度よく算出することができる。

第１の発明に係る状態検出手段は、自車両の走行状態として、ヨー角速度、横加速度、及び車速を検出し、操作状態として、操舵角を検出し、操作状態推定手段は、検出されたヨー角速度、横加速度、及び車速に基づいて、予め求められた前方注視時間後に自車両が到達されると推定される地点である前方注視点の車両位置と目標コースとの横位置のずれを推定し、前方注視点の車両位置と目標コースとの横位置のずれに基づき車両を制御するドライバをモデル化した前方注視モデルに従って、推定された前方注視点の車両位置と目標コースとの横位置のずれに基づいて開眼状態に対する操舵角を推定し、前方注視点における目標コースからのずれを所定値として、閉眼状態に対する操舵角を推定する。これによって、前方注視モデルを用いて、開眼状態及び閉眼状態に対する操舵角を推定することができる。

第３の発明に係る状態検出手段は、自車両の走行状態として、ヨー角速度、横加速度、及び車速を検出し、操作状態として、操舵角を検出し、操作状態推定手段は、検出されたヨー角速度、横加速度、及び車速に基づいて、目標コースに対する自車両の横位置を推定し、推定された目標コースに対する自車両の横位置に基づいて開眼状態に対する操舵角を推定し、目標コースに対する自車両の横位置を所定値として、閉眼状態に対する操舵角を推定する。これによって、目標コースに対する自車両の横位置を用いて、開眼状態及び閉眼状態に対する操舵角を推定することができる。

上記の開閉眼状態判定装置は、ドライバの眼を含む領域を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、ドライバの開閉眼状態を判定する第２開閉眼状態判定手段と、開閉眼状態判定手段による判定結果及び第２開閉眼状態判定手段による判定結果を統合して、ドライバの開閉眼状態を判定する判定結果統合手段とを更に含むことができる。これによって、ドライバの開閉眼状態をより精度よく判定することができる。

第４の発明に係る前横向き状態判定装置は、自車両の走行状態としてヨー角速度、横加速度、及び車速を検出し、ドライバが自車両を操作したときの操作状態として操舵角を検出する状態検出手段と、前記状態検出手段によって検出されたヨー角速度、横加速度、及び車速に基づいて、予め求められた前方注視時間後に自車両が到達されると推定される地点である前方注視点の車両位置と目標コースとの横位置のずれを推定し、前方注視点の車両位置と目標コースとの横位置のずれに基づき車両を制御するドライバをモデル化した前方注視モデルに従って、推定された前方注視点の車両位置と目標コースとの横位置のずれに基づいて前向き状態に対する操舵角を推定し、前方注視点の車両位置と目標コースとの横位置のずれを所定値として、横向き状態に対する操舵角を推定する操作状態推定手段と、前記操作状態推定手段によって推定された前記前向き状態及び横向き状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバが前向き状態であるか又は横向き状態であるかを判定する前横向き状態判定手段とを含んで構成されている。

第５の発明に係るプログラムは、コンピュータを、自車両の走行状態としてヨー角速度、横加速度、及び車速を検出し、ドライバが自車両を操作したときの操作状態として操舵角を検出する状態検出手段によって検出されたヨー角速度、横加速度、及び車速に基づいて、予め求められた前方注視時間後に自車両が到達されると推定される地点である前方注視点の車両位置と目標コースとの横位置のずれを推定し、前方注視点の車両位置と目標コースとの横位置のずれに基づき車両を制御するドライバをモデル化した前方注視モデルに従って、推定された前方注視点の車両位置と目標コースとの横位置のずれに基づいて前向き状態に対する操舵角を推定し、前方注視点の車両位置と目標コースとの横位置のずれを所定値として、横向き状態に対する操舵角を推定する操作状態推定手段、及び前記操作状態推定手段によって推定された前記前向き状態及び横向き状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバが前向き状態であるか又は横向き状態であるかを判定する前横向き状態判定手段として機能させるためのプログラムである。

第５の発明及び第６の発明によれば、状態検出手段によって、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する。操作状態推定手段によって、状態検出手段によって検出された走行状態、又は走行状態及び操作状態に基づいて、ドライバの前向き状態及び横向き状態の各々に対する操作状態を推定する。

そして、前横向き状態判定手段によって、操作状態推定手段によって推定された前向き状態及び横向き状態に対する操作状態の各々と、状態検出手段によって検出された操作状態とを比較し、比較結果に基づいて、ドライバが前向き状態であるか又は横向き状態であるかを判定する。

このように、推定された前向き状態及び横向き状態に対する操作状態の各々と、検出された操作状態とを比較して、ドライバの前向き状態及び横向き状態を判定することにより、簡易な構成で、ドライバが前向き状態であるか横向き状態であるかを精度よく判定することができる。

第５の発明に係る前横向き状態判定装置は、前横向き状態判定手段による判定結果の時系列データに基づいて、脇見状態であるか否かを判定する脇見判定手段を更に含むことができる。これによって、簡易な構成で、ドライバが脇見状態であるか否かを精度よく判定することができる。

以上説明したように、本発明の開閉眼状態判定装置及びプログラムによれば、推定された開眼状態及び閉眼状態に対する操作状態の各々と、検出された操作状態とを比較して、ドライバの開閉眼状態を判定することにより、簡易な構成で、ドライバの開閉眼状態を精度よく判定することができる、という効果が得られる。

本発明の前横向き状態判定装置及びプログラムによれば、推定された前向き状態及び横向き状態に対する操作状態の各々と、検出された操作状態とを比較して、ドライバの前向き状態及び横向き状態を判定することにより、簡易な構成で、ドライバが前向き状態であるか横向き状態であるかを精度よく判定することができる、という効果が得られる。

本発明の第１の実施の形態に係る居眠り判定装置の構成を示すブロック図である。 前方注視点における目標コースからのずれを説明するための図である。 前方注視点における目標コースからのずれの算出方法を説明するための図である。 開眼時操舵角推定部、閉眼時操舵角推定部、及び開眼状態判定部の処理の流れを説明するための図である。 本発明の第１の実施の形態に係る居眠り判定装置における居眠り判定処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る居眠り判定装置における開閉眼判定処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る居眠り判定装置の構成を示すブロック図である。 本発明の第２の実施の形態に係る居眠り判定装置における居眠り判定処理ルーチンの内容を示すフローチャートである。 本発明の第４の実施の形態に係る脇見状態判定装置の構成を示すブロック図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された居眠り判定装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る居眠り判定装置１０は、自車両の走行状態としてのヨー角速度を検出するヨー角速度センサ１２と、自車両の走行状態としての横加速度を検出する横加速度センサ１４と、自車両の走行状態としての車速を検出する車速センサ１６と、ドライバが自車両を操作したときの操作状態としてのハンドルの操舵角を検出する操舵角センサ１８と、ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８からの出力に基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させるコンピュータ２０とを備えている。

ヨー角速度センサ１２は、検出したヨー角速度を示すヨー角速度信号を出力し、横加速度センサ１４は、検出した横加速度を示す横加速度信号を出力する。車速センサ１６は、検出した自車両の車速を示す車速信号を出力し、操舵角センサ１８は、検出したハンドルの操舵角を示す操舵角信号を出力する。ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８は、ある一定間隔で（例えば、１００ｍｓ毎）で、各信号をコンピュータ２０に入力する。

コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する居眠り判定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ２０は、操舵角センサ１８からの操舵角信号を所定時間分取得してメモリ（図示省略）に記憶するセンサ値取得部２２と、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、及び車速センサ１６からの車速信号に基づいて、目標コースを推定する目標コース推定部２４と、推定された目標コースに基づいて、ドライバが開眼状態であるときの操舵角を所定時間分推定してメモリに記憶する開眼時操舵角推定部２６と、ドライバが閉眼状態であるときの操舵角を所定時間分推定してメモリに記憶する閉眼時操舵角推定部２８と、センサ値取得部２２によって取得された操舵角信号が示す操舵角と、推定された開眼状態の操舵角及び閉眼状態の操舵角の各々とを比較して、ドライバの開閉眼状態を判定する開眼状態判定部３０と、判定された開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させる居眠り状態判定部３２とを備えている。なお、居眠り状態判定部３２は、居眠り判定手段及び特徴量算出手段の一例である。

センサ値取得部２２は、操舵角センサ１８からの操舵角信号を所定時間ΔＴ分取得して、メモリ（図示省略）に記憶する。

目標コース推定部２４は、ヨー角速度センサ１２からのヨー角速度信号及び横加速度センサ１４からの横加速度信号に、例えば０．５Ｈｚ以下をカットオフ周波数とするフィルタを掛けて得られた、ヨー角速度及び横加速度に基づいて、横滑り角を算出する。目標コース推定部２４は、時刻ｔまでに算出された横滑り角、時刻ｔまでに得られたヨー角速度、及び時刻ｔまでに車速センサ１６から得られた車速信号が示す車速に基づいて、以下の（１）式〜（３）式から、時刻ｔにおける目標コースの位置を推定する。

ただし、Ｘ（ｔ）、Ｙ（ｔ）は、時刻ｔにおける前後位置及び横位置であり、θ（ｔ）は時刻ｔにおけるヨー角である。Ｖは車速であり、βは、横滑り角であり、ｒは、ヨー角速度である。また、Ｘ_０は、前後位置の初期値であり、Ｙ_０は、横位置の初期値であり、θ_０はヨー角の初期値であり、これらの初期値として、予め定めれた値を用いればよい。

目標コース推定部２４は、上記のように、各センサからの出力に基づいて、逐次、目標コースの位置を推定し、推定された目標コースの位置をメモリに記憶しておく。

また、コンピュータ２０では、ヨー角速度センサ１２からのヨー角速度信号及び横加速度センサ１４からの横加速度信号に基づいて、横滑り角を逐次算出し、時刻ｔまでに算出された横滑り角、時刻ｔまでに得られたヨー角速度、及び時刻ｔまでに車速センサ１６から得られた車速信号が示す車速に基づいて、上記（１）式〜（３）式に従って、時刻ｔにおける自車両の位置を逐次算出し、メモリに記憶する。

開眼時操舵角推定部２６は、以下に説明するように、時刻ｔ_０から時刻ｔ_０＋ΔＴまでの開眼状態における操舵角を各々推定する。

まず、時刻ｔ_０において、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、車速センサ１６からの車速信号、及び操舵角センサ１８からの操舵角信号を取得し、ヨー角速度及び横加速度に基づいて、時刻ｔ_０における横滑り角を算出する。

時刻ｔ_０における車両位置と時刻ｔ_０におけるヨー角速度、横滑り角、及び車速とに基づいて、上記（１）式〜（３）式に従い時刻ｔ_０＋Δｔの車両位置を算出する。なお、車速については、時刻ｔ_０において車速センサ１６から得られた車速信号が示す車速を用いる。

また、各種センサから得られた、ヨー角速度、車速、及び操舵角と、算出された横滑り角とに基づいて、以下の（４）式に示す車両モデルに従って、時刻ｔ_０におけるヨー角速度の微分値及び横滑り角の微分値を算出する。

ただし、Ｉは、慣性モーメントであり、ｌ_ｆ、ｌ_ｒは、前後車軸間距離であり、ｋ_ｆ、ｋ_ｒは、前後コーナリングパワーであり、δは、操舵角である。なお、上記（４）式で表される車両モデルは、非特許文献（安倍正人著、「自動車の運動と制御」）に記載された二輪操舵モデルである。

算出された時刻ｔ_０におけるヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ_０＋Δｔにおけるヨー角速度及び横滑り角を算出し、上記（１）式〜（３）式に従って算出された時刻ｔ_０＋Δｔの車両位置と、次の時刻ｔ_０＋Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ_０＋２・Δｔにおける車両の位置を算出する。

そして、次の時刻ｔ_０＋Δｔにおける、前方注視点での目標コースからのずれεを算出する。前方注視点での目標コースからのずれεは、図２に示すように、前方注視点（前方注視距離Ｌだけ前方に離れた位置）での目標コースと、前方注視点での車両位置との横位置のずれεを示している。

具体的には、図３に示すように、目標コース推定部２４により推定された時刻ｔ_０＋Δｔにおける目標コースの横位置と、上記のように算出された時刻ｔ_０＋Δｔにおける自車両の横位置との差ｙと、自車両の横位置の微分から得られる自車両の横位置速度ｖ_ｙと、予め求められた前方注視時間Ｔ_０とに基づいて、以下の（５）式に従って、前方注視点での目標コースからのずれεを算出する。

次に、非特許文献（安倍正人著、「自動車の運動と制御」）に記載されている前方注視モデルを用いて、前方注視点での目標コースからのずれεと操舵角δの伝達関数Ｈ（ｓ）を用いて、時刻ｔ_０＋Δｔにおける前方注視点での目標コースからのずれεから、時刻ｔ_０＋Δｔ操舵角δを推定する。伝達関数Ｈ（ｓ）は、以下の（６）式で表される。

ただし、ｈ、τ_Ｉ、τ_Ｌ、τ_Ｄは、伝達関数の定数である。

ここで、前方注視点での目標コースからのずれεを、開眼状態における前方注視点での目標コースからのずれとして、推定された操舵角を、開眼状態における操舵角の推定値とする。

また、推定された時刻ｔ_０＋Δｔにおける操舵角と、上記で算出された時刻ｔ_０＋Δｔにおけるヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出し、算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ_０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ_０＋２・Δｔにおける自車両の位置と、次の時刻ｔ_０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ_０＋３・Δｔにおける車両の位置を算出する。

開眼時操舵角推定部２６は、図４に示すように、上記の処理を繰り返すことにより、時刻ｔ_０から所定時間ΔＴ先までの開眼状態における操舵角を推定し、メモリに記憶する。

閉眼時操舵角推定部２８は、以下に説明するように、時刻ｔ_０〜ｔ_０＋ΔＴについて、開眼状態における操舵角を推定する。

まず、開眼時操舵角推定部２６と同様に、次の時刻ｔ_０＋Δｔにおける車両位置、ヨー角速度、及び横滑り角を算出し、次の時刻ｔ_０＋２・Δｔにおける車両の位置を算出する。

そして、閉眼状態における目標コースからのずれとして、前方注視点での目標コースからのずれεを０とし、上記（６）式の伝達関数Ｈ（ｓ）を用いて、時刻ｔ_０＋Δｔにおける閉眼状態に対する操舵角δを推定する。

また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出し、算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ_０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ_０＋２・Δｔにおける自車両の位置と、次の時刻ｔ_０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ_０＋３・Δｔにおける車両の位置を算出する。

閉眼時操舵角推定部２８は、上記図４に示すように、上記の処理を繰り返すことにより、時刻ｔ_０から所定時間ΔＴ先までの閉眼状態における操舵角を推定し、メモリに記憶する。

開眼状態判定部３０は、上記図４に示すように、時刻ｔ_０〜時刻ｔ_０＋ΔＴについて推定された開眼状態における操舵角と、センサ値取得部２２によって取得された時刻ｔ_０〜時刻ｔ_０＋ΔＴの操舵角とを、時刻毎に比較して差分を各々算出し、差分の移動平均を算出する。また、開眼状態判定部３０は、時刻ｔ_０〜時刻ｔ_０＋ΔＴについて推定された閉眼状態における操舵角と、センサ値取得部２２によって取得された時刻ｔ_０〜時刻ｔ_０＋ΔＴの操舵角とを、時刻毎に比較して差分を各々算出し、差分の移動平均を算出する。差分の移動平均を比較して、閉眼状態に対する差分の移動平均の方が大きい場合には、開眼状態であると判定され、開眼状態に対する差分の移動平均の方が大きい場合には、閉眼状態であると判定される。なお、操舵角の差分として、２乗誤差を算出するようにしてもよい。

居眠り状態判定部３２は、開眼状態判定部３０の判定結果の時系列データから、瞬目特徴量として、所定時間内の閉眼時間を算出し、算出された閉眼時間について閾値判断を行って、ドライバが居眠り状態であるか否かを判定する。また、居眠り状態判定部３２は、ドライバが居眠り状態であると判定すると、居眠り状態であることを示す警告メッセージを表示装置４０に表示させる。

次に、第１の実施の形態に係る居眠り判定装置１０の作用について説明する。居眠り判定装置１０を搭載した車両の走行中に、コンピュータ２０において、図５に示す居眠り判定処理ルーチンが実行される。

まず、ステップ１００で、開閉眼状態を判定する処理を行う。上記ステップ１００は、図６に示す開閉眼判定処理ルーチンによって実現される。以下、開閉眼判定処理ルーチンについて説明する。

ステップ１１８において、時刻を表わす変数ｔに、現在時刻ｔ_０を初期値として設定する。そして、ステップ１２０において、ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、操舵角センサ１８の各々から出力された信号を取得して、メモリに記憶する。そして、ステップ１２４で、所定時間ΔＴ経過したと判定されるまで、上記ステップ１２０を繰り返し、所定時間ΔＴ経過すると、ステップ１２８へ進む。これによって、所定時間ΔＴ分のヨー角速度信号、横加速度信号、車速信号、及び操舵角信号が、メモリに記憶される。

次のステップ１２８では、上記ステップ１２０で取得された時刻ｔ_０〜時刻ｔ_０＋ΔＴのヨー角速度センサ１２、横加速度センサ１４、車速センサ１６の出力の各々にフィルタを掛けて得られた値に基づいて、上記ステップ時刻ｔ_０〜時刻ｔ_０＋ΔＴまでの自車両の目標コースの位置を推定する。そして、ステップ１３０で、時刻ｔを次の時刻（ｔ＋Δｔ）に設定し、ステップ１３２において、コンピュータ２０で逐次算出されている自車両の位置から、時刻ｔ（＝ｔ_０＋Δｔ）における自車両の位置を取得する。

そして、ステップ１３４では、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。ｔ＝ｔ_０＋Δｔである場合には、上記ステップ１２０で取得した時刻ｔのセンサ値と、上記ステップ１３２で取得した時刻ｔの車両位置とに基づいて、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。それ以外の場合には、後述するステップ１４０で推定された時刻ｔの開眼状態における操舵角と、前回のステップ１３４で算出した時刻ｔの車両位置とに基づいて、車両モデルに従って、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。

ステップ１３６では、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。ｔ＝ｔ_０＋Δｔの場合には、上記ステップ１２０で取得した時刻ｔのセンサ値と、上記ステップ１３２で取得した時刻ｔの車両位置とに基づいて、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。それ以外の場合には、後述するステップ１４２で推定された時刻ｔの閉眼状態における操舵角と、前回のステップ１３６で算出した時刻ｔの車両位置とに基づいて、車両モデルに従って、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。

そして、ステップ１３８において、上記ステップ１２８で推定された時刻ｔにおける目標コースの位置と、上記ステップ１３２で取得した時刻ｔにおける自車両の位置、又は上記ステップ１３４で算出された自車両の位置とに基づいて、前方注視点における目標コースからのずれを算出する。

次のステップ１４０では、上記ステップ１３８で算出された前方注視点における目標コースからのずれに基づいて、時刻ｔの開眼状態における操舵角を推定して、メモリに記憶する。また、ステップ１４２では、目標コースからのずれを０として、時刻ｔの閉眼状態における操舵角を推定して、メモリに記憶する。

そして、ステップ１４４において、時刻ｔが、ｔ_０＋ΔＴに到達したか否かを判定し、ｔ_０＋ΔＴに達していない場合には、ステップ１４６において、時刻ｔを、次の時刻ｔ＋Δｔに設定し、ステップ１３４へ戻る。一方、時刻ｔが、ｔ_０＋ΔＴに到達した場合には、ステップ１４８へ進む。
ステップ１４８では、上記ステップ１２０で取得した時刻ｔ_０＋Δｔ〜ｔ_０＋ΔＴまでの操舵角信号が示す操舵角と、上記ステップ１４０で推定された時刻ｔ_０＋Δｔ〜ｔ_０＋ΔＴまでの開眼状態に対する操舵角とを、時刻毎に比較して差分を算出し、差分の合計値を算出する。

次のステップ１５０では、上記ステップ１２０で取得した時刻ｔ_０＋Δｔ〜ｔ_０＋ΔＴまでの操舵角信号が示す操舵角と、上記ステップ１４２で推定された時刻ｔ_０＋Δｔ〜ｔ_０＋ΔＴまでの閉眼状態に対する操舵角とを、時刻毎に比較して差分を算出し、差分の合計値を算出する。

そして、ステップ１５２において、上記ステップ１４８で算出された開眼状態に対する差分の合計値と、上記ステップ１５０で算出された閉眼状態に対する差分の合計値とを比較して、開眼状態に対する差分の合計値の方が小さい場合には、ドライバが開眼状態であると判定し、閉眼状態に対する差分の合計値の方が小さい場合には、ドライバが閉眼状態であると判定し、判定結果をメモリに記憶して、開閉眼判定処理ルーチンを終了する。

そして、上記図５の居眠り判定処理ルーチンのステップ１０２では、処理開始から所定時間経過したか否かを判定し、経過していない場合には、再びステップ１００で、開閉眼状態を判定する処理を行う。一方、処理開始から所定時間経過した場合には、ステップ１０４へ進む。このとき、所定時間分の開閉眼状態の判定結果がメモリに記憶されている。

ステップ１０４では、所定時間分の開閉眼状態の判定結果に基づいて、所定時間内における閉眼時間を計測する。そして、ステップ１０６において、上記ステップ１０４で計測された閉眼時間が、閾値以上であるか否かを判定する。閉眼時間が閾値以上であると判定された場合には、ドライバが居眠り状態であると判定されるため、ステップ１０８で、ドライバが居眠り状態であることを示す警告メッセージを表示装置４０に表示させて、居眠り判定処理ルーチンを終了する。一方、上記ステップ１０６において、閉眼時間が閾値未満である場合には、ドライバが居眠り状態ではないと判定されるため、ステップ１１０において、ドライバの状態が正常状態であることを示すメッセージを表示装置４０に表示させて、居眠り判定理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る居眠り判定装置によれば、推定された開眼状態及び閉眼状態に対する操舵角の各々と、センサから検出された操舵角とを比較して、ドライバの開閉眼状態を判定することにより、簡易な構成で、ドライバの開閉眼状態を精度よく判定することができる。また、簡易な構成で、ドライバが居眠り状態であるか否かを精度よく判定することができる。

また、センサによって検出された走行状態及び操作状態から、ドライバの前方注視モデル及び車両モデルを用いて、開眼状態か閉眼状態かを判定し、それに基づき居眠り状態を判定することによって、カメラやＥＯＧなどのドライバ自身を計測する装置を用いることなく判定したドライバの開閉眼を用いて、居眠り状態を判定することができる。

また、居眠り運転と相関の高い開閉眼状態を判定して、居眠り状態を精度よく判定することができる。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第２の実施の形態では、撮像装置で撮像された目画像に基づいて、ドライバの開閉眼状態を更に判定している点と、判定結果を統合している点とが、第１の実施の形態と主に異なっている。

図７に示すように、第２の実施の形態に係る居眠り判定装置２１０は、ヨー角速度センサ１２と、横加速度センサ１４と、車速センサ１６と、操舵角センサ１８と、ドライバの斜め前方に設置され、そのドライバの目を含む領域を斜め上から撮像する撮像装置２１２と、撮像装置２１２で撮像された目画像、並びにヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８からの出力に基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させるコンピュータ２２０とを備えている。

コンピュータ２２０は、センサ値取得部２２と、目標コース推定部２４と、開眼時操舵角推定部２６と、閉眼時操舵角推定部２８と、開眼状態判定部３０と、撮像装置２１２から所定時間分の目画像を取得する画像取得部２２６と、所定時間分の目画像から瞼開度を検出して開閉眼状態を判定する第２開眼状態判定部２２８と、開眼状態判定部３０の判定結果及び第２開眼状態判定部２２８の判定結果を統合して、ドライバの開閉眼状態を最終的に判定する結果統合部２３０と、最終的に判定された開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させる居眠り状態判定部２３２とを備えている。

第２開眼状態判定部２２８は、以下のように開閉眼状態を判定する。

まず、目画像から、ドライバの目を表す目領域を抽出し、各目領域から、瞼が開いている度合いを示す瞼開度を検出する。そして、検出された瞼開度が、閉眼閾値以下となる場合には、閉眼状態であると判定する。一方、検出された瞼開度が、閉眼閾値より大きい場合には、開眼状態であると判定する。

結果統合部２３０は、開眼状態判定部３０による判定結果及び第２開眼状態判定部２２８による判定結果に基づいて、少なくとも一方の判定結果が、閉眼状態であると判定している場合には、最終的に、閉眼状態であると判定する。また、両方の判定結果が、開眼状態であると判定した場合に、最終的に、開眼状態であると判定される。

居眠り状態判定部２３２は、結果統合部２３０による最終的な判定結果の時系列データから、所定時間内の閉眼時間を算出し、算出された閉眼時間について閾値判断を行って、ドライバが居眠り状態であるか否かを判定する。また、居眠り状態判定部２３２は、ドライバが居眠り状態であると判定すると、居眠り状態であることを示す警告メッセージを表示装置４０に表示させる。

次に、第２の実施の形態に係る居眠り判定処理ルーチンについて図８を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して説明を省略する。

まず、ステップ２５０において、撮像装置２１２によって撮像された目画像を取得し、ステップ１００において、第１の実施の形態と同様に開閉眼判定処理ルーチンを実行することにより、開閉眼状態を判定する。

そして、ステップ２５２において、上記ステップ２５０で取得した目画像から瞼開度を検出し、ステップ２５４において、上記ステップ２５２で検出された瞼開度と閉眼閾値とを比較して、ドライバの開閉眼状態を判定する。

次のステップ２５６では、上記ステップ１００で判定された判定結果と上記ステップ２５４で判定された判定結果とを統合して、最終的に開閉眼状態を判定して、メモリに記憶する。

そして、ステップ１０２では、処理開始から所定時間経過したか否かを判定し、経過していない場合には、上記ステップ２５０へ戻る。一方、処理開始から所定時間経過した場合には、ステップ１０４へ進む。

ステップ１０４では、上記ステップ２５６で得られた所定時間分の最終的な判定結果に基づいて、所定時間内における閉眼時間を計測する。そして、ステップ１０６において、計測された閉眼時間が、閾値以上であるか否かを判定する。閉眼時間が閾値以上であると判定された場合には、ステップ１０８で、ドライバが居眠り状態であることを示す警告メッセージを表示装置４０に表示させて、居眠り判定処理ルーチンを終了する。一方、上記ステップ１０６において、閉眼時間が閾値未満である場合には、ステップ１１０において、ドライバの状態が正常状態であることを示すメッセージを表示装置４０に表示させて、居眠り判定理ルーチンを終了する。

以上説明したように、第２の実施の形態に係る居眠り判定装置によれば、推定された開眼状態及び閉眼状態に対する操舵角の各々と、センサから検出された操舵角とを比較して、ドライバの開閉眼状態を判定すると共に、撮像装置により撮像された目画像からドライバの開閉眼状態を判定することにより、ドライバの開閉眼状態をより精度よく判定することができる。

なお、上記の実施の形態では、少なくとも一方の判定結果が閉眼状態である場合に、最終的に閉眼状態と判定するように、判定結果を統合している場合を例に説明したが、これに限定されるものではなく、他の方法により判定結果を統合してもよい。例えば、少なくとも一方の判定結果が開眼状態である場合に、最終的に開眼状態と判定するように、判定結果を統合してもよい。

次に、第３の実施の形態について説明する。第３の実施の形態に係る居眠り判定装置の構成は、第１の実施の形態と同様であるため、説明を省略する。

第３の実施の形態では、一般化予測制御理論を用いて、開眼状態における操舵角を推定している点が、第１の実施の形態と異なっている。

第３の実施の形態における、開眼状態に対する操舵角を推定する原理について説明する。本実施の形態では、非特許文献（堀内伸一郎、砂田圭、「車線追従のための操舵支援システムと多入力ドライバモデルを用いた評価」）に記載された、一般化予測制御理論を用いて、開眼状態における操舵角を推定する。

ドライバは、Ｍサンプル先までの横位置と操舵角の二乗和によって計算される、以下の（７）式で表される評価関数Ｊを最小にするように操舵すると仮定する。

時刻ｔにおける目標コースを基準とした、車両モデルから算出された時刻ｔの自車両位置の横位置ｙに対して、上記（７）式で表される評価関数Ｊを最小にする操舵角δを求めて、時刻ｔの開眼状態における操舵角の推定値とする。

なお、上記（７）式の評価関数Ｊを最小とする操舵角を解く場合には、以下の（８）式に示す横位置ｙと操舵角δとの関係式と、以下の（９）式に示すセンサ値ｚと横位置ｙとの関係式とを用いて、リッカチ方程式を解くことにより、解を求める。

ただし、Ａ、Ｂは、信号を１時刻遅らせる時間遅れ演算子ｑ^−１によって記述される多項式である。また、Ｃは、センサ値ｚと横位置ｙとの関係を表わす定数である。

また、上記（８）式は、以下の（１０）〜（１２）式から得られる関係式である。

上記（１０）式は、車両モデルに基づくヨー角速度ｒ、横位置速度ｖ_ｙ、及び操舵角δの関係を表わす関係式であり、上記（１１）式は、前方偏差εに関する関係式である。また、上記（１２）式は、前方偏差速度εのドットに関する関係式であり、上記（１３）式は、ヨー角速度θに関する関係式である。

開眼時操舵角推定部２６は、第１の実施の形態と同様に、次の時刻ｔ_０＋Δｔにおけるヨー角速度及び横滑り角を算出し、次の時刻ｔ_０＋２・Δｔにおける自車両の位置を算出する。

そして、次の時刻ｔ_０＋Δｔにおける目標コースと、算出された自車両の位置とに基づいて、目標誤差として、目標コースに対する自車両の横位置を算出する。

次に、時刻ｔ_０＋Δｔにおける自車両の横位置に基づいて、上記の評価関数Ｊを最小にする操舵角を算出し、次の時刻ｔ_０＋Δｔの開眼状態における操舵角として推定する。

また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出する。算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ_０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ_０＋２・Δｔにおける自車両の位置と、次の時刻ｔ_０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ_０＋３・Δｔにおける車両の位置を算出する。

開眼時操舵角推定部２６は、上記の処理を繰り返すことにより、時刻ｔ_０から所定時間ΔＴ先までの開眼状態における操舵角を推定し、メモリに記憶する。

閉眼時操舵角推定部２８は、第１の実施の形態と同様に、次の時刻ｔ_０＋Δｔにおけるヨー角速度及び横滑り角を算出し、次の時刻ｔ_０＋２・Δｔにおける自車両の位置を算出する。

そして、目標誤差が一定であると仮定して、時刻ｔ_０における目標コースと、時刻ｔ_０に算出された自車両の位置とに基づいて得られる目標コースに対する自車両の横位置（目標誤差）を、次の時刻ｔ_０＋Δｔ以降における横位置とする。

次に、自車両の横位置に基づいて、上記の評価関数Ｊを最小にする操舵角を算出し、次の時刻ｔ_０＋Δｔの閉眼状態における操舵角として推定する。

また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出する。算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ_０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ_０＋２・Δｔにおける自車両の位置と、次の時刻ｔ_０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ_０＋３・Δｔにおける車両の位置を算出する。

閉眼時操舵角推定部２８は、上記の処理を繰り返すことにより、時刻ｔ_０から所定時間ΔＴ先までの閉眼状態における操舵角を推定し、メモリに記憶する。

なお、第３の実施の形態に係る居眠り判定装置の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。

このように、センサによって検出された走行状態及び操作状態から、ドライバモデルとして一般化予測制御理論を用いて、開眼状態か閉眼状態かを判定し、それに基づき居眠り状態を判定することによって、カメラやＥＯＧなどのドライバ自身を計測する装置を用いることなく判定したドライバの開閉眼を用いて、居眠り状態を判定することができる。

なお、上記の第１の実施の形態〜第３の実施の形態では、計測された閉眼時間が閾値以上である場合に、居眠り状態であると判定する場合を例に説明したが、これに限定されるものではなく、複数の計測結果から得られる平均閉眼時間が閾値以上である場合に、居眠り状態であると判定するようにしてもよい。

また、瞬目特徴量として閉眼時間を求める場合を例に説明したが、これに限定されるものではなく、例えば、ＰＥＲＣＬＯＳ（単位時間に対する閉眼時間の割合）などを算出し、算出されたＰＥＲＣＬＯＳを用いて、居眠り状態であるか否かを判定してもよい。

次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第４の実施の形態では、ドライバの脇見状態を判定する脇見状態判定装置に本発明を適用した場合について説明する。

図９に示すように、第４の実施の形態に係る脇見状態判定装置４１０は、ヨー角速度センサ１２と、横加速度センサ１４と、車速センサ１６と、操舵角センサ１８と、ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８からの出力に基づいて、ドライバが脇見状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させるコンピュータ４２０とを備えている。

コンピュータ４２０は、ＣＰＵと、ＲＡＭと、後述する脇見状態判定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ４２０は、センサ値取得部２２と、目標コース推定部２４と、推定された目標コースに基づいて、ドライバが前向き状態であるときの操舵角を所定時間分推定してメモリに記憶する前向き時操舵角推定部４２６と、ドライバが横向き状態であるときの操舵角を所定時間分推定してメモリに記憶する横向き時操舵角推定部４２８と、センサ値取得部２２によって取得された操舵角信号が示す操舵角と、推定された前向き状態の操舵角及び横向き状態の操舵角の各々とを比較して、ドライバが前向き状態であるか横向き状態であるかを判定する前向き状態判定部４３０と、判定された判定結果の時系列データに基づいて、ドライバが脇見状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させる脇見状態判定部４３２とを備えている。

前向き時操舵角推定部４２６は、上記の第１の実施の形態で説明した開眼時操舵角推定部２６と同様に、前方注視点での目標コースからのずれを用いて、操舵角を推定して、前向き状態における操舵角の推定値とし、時刻ｔ_０から時刻ｔ_０＋ΔＴまでの前向き状態における操舵角を推定する。

横向き時操舵角推定部４２８は、上記の第１の実施の形態で説明した閉眼時操舵角推定部２８と同様に、前方注視点での目標コースからのずれを０として、操舵角を推定して、横向き状態における操舵角の推定値とし、時刻ｔ_０から時刻ｔ_０＋ΔＴまでの横向き状態における操舵角を推定する。

前向き状態判定部４３０は、時刻ｔ_０＋Δｔ〜ｔ_０＋ΔＴについて推定された前向き状態における操舵角と、センサ値取得部２２によって取得された時刻ｔ_０＋Δｔ〜ｔ_０＋ΔＴの操舵角とを時刻毎に比較して差分を各々算出し、差分の移動平均を算出する。また、前向き状態判定部４３０は、時刻ｔ_０＋Δｔ〜ｔ_０＋ΔＴについて推定された横向き状態における操舵角と、センサ値取得部２２によって取得された時刻ｔ_０＋Δｔ〜ｔ_０＋ΔＴの操舵角とを時刻毎に比較して差分を各々算出し、差分の移動平均を算出する。差分の移動平均を比較して、横向き状態に対する差分の移動平均の方が大きい場合には、前向き状態であると判定され、前向き状態に対する差分の移動平均の方が大きい場合には、横向き状態であると判定される。

脇見状態判定部４３２は、前向き状態判定部４３０の判定結果の時系列データから、所定時間内の横向き時間を算出し、算出された横向き時間について閾値判断を行って、ドライバが脇見状態であるか否かを判定する。また、脇見状態判定部４３２は、ドライバが脇見状態であると判定すると、脇見状態であることを示す警告メッセージを表示装置４０に表示させる。

次に、第４の実施の形態に係る脇見状態判定装置４１０の作用について説明する。脇見状態判定装置４１０を搭載した車両の走行中に、コンピュータ４２０において、以下に説明するように、脇見状態判定処理ルーチンが実行される。

まず、上記第１の実施の形態における開閉眼判定処理ルーチンと同様の処理を実行することにより、ドライバが前向き状態であるか横向き状態であるかを判定する処理を行う。

そして、処理開始から所定時間経過するまで、上記の判定処理を繰り返す。これによって、所定時間分の前向き状態か横向き状態かの判定結果がメモリに記憶される。

次に、メモリに記憶された所定時間分の判定結果に基づいて、所定時間内における横向き時間を計測し、計測された横向き時間が、閾値以上であるか否かを判定する。横向き時間が閾値以上であると判定された場合には、ドライバが脇見状態であると判定されるため、ドライバが脇見状態であることを示す警告メッセージを表示装置４０に表示させて、脇見判定処理ルーチンを終了する。一方、横向き時間が閾値未満である場合には、ドライバが脇見状態ではないと判定されるため、ドライバの状態が正常状態であることを示すメッセージを表示装置４０に表示させて、脇見状態判定処理ルーチンを終了する。

以上説明したように、第４の実施の形態に係る脇見状態判定装置によれば、推定された前向き状態及び横向き状態に対する操舵角の各々と、センサから検出された操舵角とを比較して、ドライバの前向き状態及び横向き状態を判定することにより、簡易な構成で、ドライバの前向き状態及び横向き状態を精度よく判定することができる。また、簡易な構成で、ドライバが脇見状態であるか否かを精度よく判定することができる。

また、センサによって検出された走行状態及び操作状態から、ドライバの前方注視モデル及び車両モデルを用いて、前向き状態か横向き状態かを判定し、それに基づき脇見状態を判定することによって、カメラやＥＯＧなどのドライバ自身を計測する装置を用いることなく判定したドライバの前向き状態及び横向き状態を用いて、脇見状態を判定することができる。

なお、上記の第１の実施の形態〜第４の実施の形態では、センサ値を用いて、目標コースの位置を推定する場合を例に説明したが、これに限定されるものではなく、自車両の前方を撮像するように設置された撮像装置からの前方画像に基づいて、目標コースの位置を推定するようにしてもよい。この場合には、前方画像から推定された目標コースの位置に基づいて、前方注視点における目標コースとの位置ずれや、目標コースに対する自車両の横位置を推定することができる。

また、閉眼状態のドライバモデルとして、前方注視点における目標コースとのずれを０とした場合や、目標コースに対する自車両の横位置を一定とした場合を例に説明したが、これに限定されるものではない。例えば、前方注視点における目標コースとのずれが一定となる（更新されない）と仮定して、閉眼状態における操舵角を推定するようにしてもよい。また、操舵角が一定となると仮定して、閉眼状態における操舵角を推定するようにしてもよい。また、操舵トルクが一定となると仮定して、閉眼状態における操舵角を推定するようにしてもよい。

また、検出する操作状態又は走行状態として、ヨー角速度、横加速度、車速、及び操舵角を採用した場合を例に説明したが、これに限定されるものではない。例えば、走行状態として、車速、ヨー角速度、横滑り角、横加速度、及びこれらの値に簡易に変換可能な走行状態量の少なくとも１種類以上を検出するようにしてもよい。また、操作状態として、操舵角、実舵角、操舵トルク、アクセルペダル操作量、及びブレーキペダル操作量の少なくとも１種類以上を検出するようにしてもよい。この場合には、検出された走行状態、又は検出された走行状態及び操作状態を用いて、開眼状態及び閉眼状態の各々における操作状態、又は前向き状態及び横向き状態の各々における操作状態を推定するようにすればよい。

なお、本発明のプログラムは、記憶媒体に格納して提供することができる。

１０、２１０ 居眠り状態判定装置
１２ ヨー角速度センサ
１４ 横加速度センサ
１６ 車速センサ
１８ 操舵角センサ
２０、２２０、４２０ コンピュータ
２２ センサ値取得部
２４ 目標コース推定部
２６ 開眼時操舵角推定部
２８ 閉眼時操舵角推定部
３０ 開眼状態判定部
３２、２３２ 居眠り状態判定部
２１２ 撮像装置
２２８ 第２開眼状態判定部
２３０ 結果統合部
４１０ 脇見状態判定装置
４２６ 前向き時操舵角推定部
４２８ 横向き時操舵角推定部
４３０ 前向き状態判定部
４３２ 脇見状態判定部

Claims (10)

1. 自車両の走行状態としてヨー角速度、横加速度、及び車速を検出し、ドライバが自車両を操作したときの操作状態として操舵角を検出する状態検出手段と、
   前記状態検出手段によって検出されたヨー角速度、横加速度、及び車速に基づいて、予め求められた前方注視時間後に自車両が到達されると推定される地点である前方注視点の車両位置と目標コースとの横位置のずれを推定し、前方注視点の車両位置と目標コースとの横位置のずれに基づき車両を制御するドライバをモデル化した前方注視モデルに従って、推定された前方注視点の車両位置と目標コースとの横位置のずれに基づいて開眼状態に対する操舵角を推定し、前方注視点の車両位置と目標コースとの横位置のずれを所定値として、閉眼状態に対する操舵角を推定する操作状態推定手段と、
   前記操作状態推定手段によって推定された前記開眼状態及び閉眼状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段と、
   を含む開閉眼状態判定装置。
2. 自車両の走行状態としてヨー角速度、横加速度、及び車速を検出し、ドライバが自車両を操作したときの操作状態として操舵角を検出する状態検出手段と、
   前記状態検出手段によって検出されたヨー角速度、横加速度、及び車速に基づいて、目標コースに対する自車両の横位置を推定し、推定された目標コースに対する自車両の横位置に基づいて開眼状態に対する操舵角を推定し、目標コースに対する自車両の横位置を所定値として、閉眼状態に対する操舵角を推定する操作状態推定手段と、
   前記操作状態推定手段によって推定された前記開眼状態及び閉眼状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段と、
   を含む開閉眼状態判定装置。
3. 前記開閉眼状態判定手段によって判定された開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定する居眠り判定手段を更に含む請求項１又は２記載の開閉眼状態判定装置。
4. 前記開閉眼状態判定手段によって判定された開閉眼状態の時系列データに基づいて、瞬目特徴量を算出する特徴量算出手段を更に含む請求項１〜請求項３の何れか１項記載の開閉眼状態判定装置。
5. ドライバの眼を含む領域を撮像する撮像手段と、
   前記撮像手段により撮像された画像に基づいて、前記ドライバの開閉眼状態を判定する第２開閉眼状態判定手段と、
   前記開閉眼状態判定手段による判定結果及び前記第２開閉眼状態判定手段による判定結果を統合して、前記ドライバの開閉眼状態を判定する判定結果統合手段とを更に含む請求項１〜請求項４の何れか１項記載の開閉眼状態判定装置。
6. 自車両の走行状態としてヨー角速度、横加速度、及び車速を検出し、ドライバが自車両を操作したときの操作状態として操舵角を検出する状態検出手段と、
   前記状態検出手段によって検出されたヨー角速度、横加速度、及び車速に基づいて、予め求められた前方注視時間後に自車両が到達されると推定される地点である前方注視点の車両位置と目標コースとの横位置のずれを推定し、前方注視点の車両位置と目標コースとの横位置のずれに基づき車両を制御するドライバをモデル化した前方注視モデルに従って、推定された前方注視点の車両位置と目標コースとの横位置のずれに基づいて前向き状態に対する操舵角を推定し、前方注視点の車両位置と目標コースとの横位置のずれを所定値として、横向き状態に対する操舵角を推定する操作状態推定手段と、
   前記操作状態推定手段によって推定された前記前向き状態及び横向き状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバが前向き状態であるか又は横向き状態であるかを判定する前横向き状態判定手段と、
   を含む前横向き状態判定装置。
7. 前記前横向き状態判定手段による判定結果の時系列データに基づいて、脇見状態であるか否かを判定する脇見判定手段を更に含む請求項６記載の前横向き状態判定装置。
8. コンピュータを、
   自車両の走行状態としてヨー角速度、横加速度、及び車速を検出し、ドライバが自車両を操作したときの操作状態として操舵角を検出する状態検出手段によって検出されたヨー角速度、横加速度、及び車速に基づいて、予め求められた前方注視時間後に自車両が到達されると推定される地点である前方注視点の車両位置と目標コースとの横位置のずれを推定し、前方注視点の車両位置と目標コースとの横位置のずれに基づき車両を制御するドライバをモデル化した前方注視モデルに従って、推定された前方注視点の車両位置と目標コースとの横位置のずれに基づいて開眼状態に対する操舵角を推定し、前方注視点の車両位置と目標コースとの横位置のずれを所定値として、閉眼状態に対する操舵角を推定する操作状態推定手段、及び
   前記操作状態推定手段によって推定された前記開眼状態及び閉眼状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段
   として機能させるためのプログラム。
9. コンピュータを、
   自車両の走行状態としてヨー角速度、横加速度、及び車速を検出し、ドライバが自車両を操作したときの操作状態として操舵角を検出する状態検出手段によって検出されたヨー角速度、横加速度、及び車速に基づいて、目標コースに対する自車両の横位置を推定し、推定された目標コースに対する自車両の横位置に基づいて開眼状態に対する操舵角を推定し、目標コースに対する自車両の横位置を所定値として、閉眼状態に対する操舵角を推定する操作状態推定手段、及び
   前記操作状態推定手段によって推定された前記開眼状態及び閉眼状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段
   として機能させるためのプログラム。
10. コンピュータを、
    自車両の走行状態としてヨー角速度、横加速度、及び車速を検出し、ドライバが自車両を操作したときの操作状態として操舵角を検出する状態検出手段によって検出されたヨー角速度、横加速度、及び車速に基づいて、予め求められた前方注視時間後に自車両が到達されると推定される地点である前方注視点の車両位置と目標コースとの横位置のずれを推定し、前方注視点の車両位置と目標コースとの横位置のずれに基づき車両を制御するドライバをモデル化した前方注視モデルに従って、推定された前方注視点の車両位置と目標コースとの横位置のずれに基づいて前向き状態に対する操舵角を推定し、前方注視点の車両位置と目標コースとの横位置のずれを所定値として、横向き状態に対する操舵角を推定する操作状態推定手段、及び
    前記操作状態推定手段によって推定された前記前向き状態及び横向き状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバが前向き状態であるか又は横向き状態であるかを判定する前横向き状態判定手段
    として機能させるためのプログラム。

Images