JP7276082B2 - 運転者状態推定装置 - Google Patents

Description

ここに開示された技術は、運転者状態推定装置に関する技術分野に属する。

昨今、国家的に自動運転システムの開発が推進されている。本願出願人は、現時点において、自動運転システムには、大きく分けると２つの方向性があると考えている。

第１の方向性は、自動車が主体となって運転者の操作を要することなく乗員を目的地まで運ぶシステムであり、いわゆる自動車の完全自動走行である。一方、第２の方向性は、自動車の運転を楽しみたいなど、あくまで人間が運転をすることを前提とした自動運転システムである。

第２の方向性の自動運転システムでは、例えば、運転者に疾患などが発生し正常な運転が困難な状況が発生した場合などに、自動車が自動的に乗員に変わって自動運転を行うことが想定される。このため、運転者に異常が発生したこと、特に、運転者に機能障害や疾患が発生したことをいかに早期にかつ精度良く発見できるかが、運転者の救命率の向上や周囲を含めた安全を確保する観点から極めて重要となる。

運転者の異常を推定する方法として、例えば、特許文献１のように、車両の運転者の視線移動に基づいて、該運転者の状態を推定する試みが行われている。具体的に、特許文献１には、運転者の視線方向、及び自車両周辺を撮像する撮像手段より撮像された画像を取得すると共に、自車両周辺に存在する物体上の複数の点の各々の自車両を基準とする位置を特定する３次元位置情報を取得する取得手段と、運転者の視線先の目立ち度を計算する目立ち度計算手段と、目立ち度計算手段により計算された目立ち度に基づいて、運転者が目立つ部分に視線を向けた度合いと予め定めた閾値時間とを比較して、運転者の状態を判定する判定手段とを有する運転者状態判定装置が開示されている。

また、特許文献２には、 前方に存在する障害物の自車両に対する相対的な位置関係を検出する障害物検出手段と、自車両のドライバの注視点を検出する注視点検出手段と、障害物検出手段で検出された障害物に対するドライバの視認行動に基づいて、そのドライバの運転技量を検出する運転技量検出手段と、を備える車両用情報提供装置が開示されている。

特許第５９６６６４０号公報 特許第４３８５３９２号公報

しかしながら、高速道路などの外部環境の変化が少ない場所を走行しているときには、運転者の視線の変化が少ない。このため、特許文献１のように、カメラにより撮像された外部環境と運転者の視線とを比較して運転者の状態を推定する場合、外部環境の変化が少ない場所では、推定精度が低下するおそれがある。

これに対して、ヘッドアップディスプレイ等で表示を行って、該表示に対する運転者の視線移動に基づいて運転者の状態を推定することが考えられる。しかしながら、本願発明者らが鋭意研究したところ、運転者が正常状態である場合でも表示の位置に応じて視線移動時間に大きな差が生じることが分かった。

ここに開示された技術は、外部環境の変化が少ない場所であっても、車両走行時における運転者の状態を推定する精度を出来る限り高くする。

前記課題を解決するために、ここに開示された技術では、車両の運転者の視線移動に基づいて、該運転者の状態を推定する運転者状態推定装置を対象として、前記運転者の視線方向を検知する視線検知装置と、前記車両の走行時における前記運転者の視線領域に、車両の走行シーンに応じた特定表示を行う表示装置と、前記運転者の視線方向が、前記表示装置が前記特定表示を表示してから、閾値時間以内に前記特定表示に向かなかったときに、前記運転者に異常が生じていると推定する推定部と、前記特定表示を表示する位置に応じて前記閾値時間を設定する閾値設定部とを備える、という構成とした。

すなわち、本願発明者らが鋭意研究したところ、例えば、特定表示をフロントピラートリムの近傍位置に表示したときには、運転者が正常な状態であっても、視線移動時間が比較的長くなることが分かった。そこで、閾値時間を、特定表示を表示する位置に応じて設定すれば、誤判定が抑制されて、運転者の状態を推定する精度を向上させることができる。

また、前記の構成によると、高速道路など外部環境の変化が少ない場所を走行しているときであっても、表示装置により特定表示を表示して、運転者が該特定表示を見る際の視線移動を利用して運転者の状態を推定することができる。したがって、外部環境の変化が少ない場所であっても、車両走行時における運転者の状態を推定する精度を出来る限り高くすることができる。

前記運転者状態推定装置の一実施形態において、前記閾値設定部は、前記閾値時間を、前記運転者の視線方向が正面を向いたときを基準位置として、該基準位置から水平方向に所定角度範囲内の領域に前記特定表示を表示したときよりも、該基準位置から水平方向に所定角度範囲外の領域に前記特定表示を表示したときの方が長くなるように設定する、という構成でもよい。

すなわち、所定角度範囲よりも内側であれば、運転者が見やすい位置に特定表示が表示されるため、視線移動時間は短くなりやすい。一方で、所定角度範囲よりも外側であれば、運転者の視界領域の端の方であって、運転者が見やすい位置に特定表示が表示されるため、視線移動時間は長くなりやすい。したがって、閾値時間を、所定角度範囲内の領域に特定表示を表示したときよりも、所定角度範囲外の領域に特定表示を表示したときの方が長く設定することで、運転者の状態を推定する精度をより向上させることができる。

前記一実施形態において、前記所定角度範囲は１０度であり、前記閾値設定部は、前記閾値時間を、該基準位置から水平方向に１０度未満の視野角の領域に前記特定表示を表示したときよりも、該基準位置から水平方向に１０度異常の視野角の領域に前記特定表示を表示したときの方が長くなるように設定する、という構成でもよい。

すなわち、本願発明者らが鋭意研究したところ、運転者の視線方向が正面を向いたときを基準位置として、該基準位置から水平方向に１０度以上の領域に特定表示を表示したときに、視線移動時間が長くなる傾向にあることが分かった。そこで、所定角度範囲を１０度に設定することで、運転者の状態を推定する精度を一層向上させることができる。

前記運転者状態推定装置において、前記表示装置は、前記特定表示を表示してから前記閾値時間の時間が経過するまで、又は前記運転者の視線方向が当該特定表示を向くまで、前記特定表示を徐々に目立つように変更する、という構成でもよい。

この構成によると、運転者の状態を推定するために要する時間を出来る限り短くすることができる。これにより、運転者の体調異常が生じているときなどにも、該運転者の体調異常を出来る限り早く推定することができ、車両を路肩に停止させるなどの対応を迅速にとることができるようになる。

前記運転者状態推定装置において、前記視線領域は、前記車両のフロントウィンドウガラスの領域であり、前記表示装置は、前記フロントウィンドウガラスの車両前側に虚像による画像を投影するヘッドアップディスプレイである、という構成であってもよい。

この構成によると、運転者の状態を推定するための装置類を容易に構成することができる。また、フロントウィンドウガラスの領域内に特定表示を表示するようにすれば、運転者による運転を出来る限り妨げずに、該運転者の状態を推定することができる。

以上説明したように、ここに開示された技術によると、外部環境の変化が少ない場所であっても、車両走行時における運転者の状態を推定する精度を出来る限り高くすることができる。

例示的な実施形態１に係る運転者状態推定装置を搭載した車両の車室内において、運転席側から車両前側を見た状態を示す概略図である。 車両の正面図である。 運転者状態推定装置の構成を示すブロック図である。 運転者の視界領域に特定表示が表示された状態を示す図である。 運転者の視界領域において、図５とは別の位置に特定表示が表示された状態を示す図である。 運転者が正常状態であるときの視線移動時間と運転者が漫然状態であるときの視線移動時間とを示すグラフである。 シミュレーターによる実験において運転者の視界領域に表示する特定表示の位置を示す図である。 運転者状態を推定する処理動作を示すフローチャートである。 実施形態２に係る運転者状態推定装置の構成を示すブロック図である。 実施形態２に係る運転者状態推定装置により運転者の状態を推定する処理動作を示すフローチャートである。

以下、例示的な実施形態について、図面を参照しながら詳細に説明する。尚、以下の説明において、車両の前進走行側を単に前側といい、後退走行側を単に後側という。また、後側から前側を見たときの左側を左側といい、その逆を右側という。

図１は、車両としての自動車の車室内を概略的に示す。この車両は、右ハンドル式の車両であって、右側にステアリングホイール８が配置されている。

車室内において、運転席から見て車両前側にはフロントウィンドウガラス１が配置されている。フロントウィンドウガラス１は、車室内側から見て、複数の車両構成部材により区画されている。具体的には、フロントウィンドウガラス１は、左右のフロントピラートリム２と、ルーフトリム３と、インストルメントパネル４とによって区画されている。

左右のフロントピラートリム２は、フロントウィンドウガラス１の車幅方向外側の境界をそれぞれ構成している。各フロントピラートリム２は、各フロントピラーに沿って配置されている。各フロントピラートリム２は、図１に示すように、上側に向かって互いに離間するように斜めに傾斜してそれぞれ配置されている。

ルーフトリム３は、フロントウィンドウガラス１の上側の境界を構成している。ルーフトリム３は、車両のルーフパネルの車室内側を覆っている。フロントウィンドウガラス１の車幅方向の中央でかつルーフトリム３のやや下側の部分には、バックミラー５が取り付けられている。ルーフトリム３におけるバックミラー５の近傍部分には、車室内、特に、運転者の顔面を撮影する車室内カメラ１０１が設けられている。

インストルメントパネル４は、フロントウィンドウガラス１の下側の境界を構成している。インストルメントパネル４には、メーターボックスやディスプレイ７が設けられている。

また、前記車両は、運転者の視界領域に画像を表示する表示装置としてのヘッドアップディスプレイ１０（以下、ＨＵＤ１０という）を有する。具体的には、ＨＵＤ１０は、フロントウィンドウガラス１の車両前側に虚像による画像を表示する。ＨＵＤ１０は、フロントウィンドウガラス１に下側から画像を投影することにより、フロントウィンドウガラス１上の所定領域に該画像の虚像を表示する。本実施形態１において、ＨＵＤ１０の表示範囲は、フロントウィンドウガラス１の全体に設定されている。

また、前記車両は、左右のフロントピラーよりも車幅方向外側に、サイドミラー６をそれぞれ有している。各サイドミラー６は、運転席に着座した運転手がサイドドアのウィンドウ越しに見ることが出来るように配置されている。

前記車両は、図２に示すように、外部環境を撮影するための複数のカメラ１００が設けられている（図２では１つだけ示す）。例えば、車両前側の外部環境を撮影するカメラ１００は、車両の前側端部であって、車両のボンネット９よりもやや下側に配置されている。複数のカメラ１００は、車両の周囲を水平方向に３６０°撮影できるように、車両の両側部及び車両後部にも設けられている。

（運転者状態推定装置の構成）
本実施形態１に係る車両は、運転者の視線移動に基づいて、該運転者の状態を推定する機能を有している。図３は、運転者状態推定装置２０の構成を示す。運転者状態推定装置２０は、実際に運転者状態を推定するための推定部５６を有するコントローラ５０を有する。このコントローラ５０は、周知のマイクロコンピュータをベースとするコントローラであって、プログラムを実行する中央演算処理装置（Central Processing Unit：ＣＰＵ）と、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）により構成されてプログラム及びデータを格納するメモリと、電気信号の入出力をする入出力バスと、を備えている。

コントローラ５０は、図３に示すように、各種のセンサと接続されている。センサは、例えば、車両前側の外部環境を撮影するカメラ１００と、運転者の顔面を撮影する車室内カメラ１０１と、車両の速度を検出する車速センサ１０２と、全地球測位システム（Global Positioning System：ＧＰＳ）を利用して、車両の位置（車両位置情報）を検出する位置センサ１０３とを含む。

コントローラ５０は、カメラ１００で取得された外部環境を示す画像、車速センサ１０２の検出結果、及び位置センサ１０３の検出結果から車両の走行シーンを判定する走行状態判定部５１を有する。走行状態判定部５１は、カメラ１００で取得された画像から走行の時間帯（日中か、夜間かなど）、道路状況（交通量など）を判定する。走行状態判定部５１は、車速センサ１０２の検出結果、及び位置センサ１０３の検出結果から高速道路を走行中であるか否かを検出する。走行状態判定部５１は、位置センサ１０３の検出結果から走行場所（市街地か、郊外かなど）を判定する。

また、走行状態判定部５１は、車両の周囲に危険対象物が存在するか否かを判定する。危険対象物とは、自車両の前側においてブレーキを踏んでいる他車両、隣の車線において自車両の後方から接近中の他車両、自車両の前側において自車両の近傍に位置する歩行者などである。また、例えば、自車両が路側帯を示す白線を踏んでいるときには、該白線も危険対象物と認定されるようになっている。

コントローラ５０は、ＨＵＤ１０の制御を行う表示制御部５２を有する。表示制御部５２は、ＨＵＤ１０に表示される情報を制御するための制御信号を出力する。詳しくは後述するが、表示制御部５２は、車外環境が変化しにくい走行シーンにおいて、危険対象物が存在するときには、危険対象物の存在を報知する特定表示を行うように、ＨＵＤ１０に制御信号を出力する。

コントローラ５０は、車室内カメラ１０１により撮影された運転者の顔面から、運転者の視線方向を算出する視線算出部５３を有する。視線算出部５３は、例えば、運転者が車室内カメラ１０１のレンズを覗いた状態を基準にして、そこからの運転者の瞳孔の変化を検知することで運転者の視線方向を算出する。視線方向の算出は、運転者の左目及び右目のどちらか一方から算出してもよいし、運転者の両目のそれぞれから求めた視線方向（視線ベクトル）の平均値としてもよい。また、運転者の瞳孔の変化からは運転者の視線方向を算出することが困難であるときには、運転者の顔の向きから視線方向を算出してもよい。車室内カメラ１０１及びコントローラ５０は、視線検知装置の一例である。

コントローラ５０は、表示制御部５２によりＨＵＤ１０に特定表示を表示させたときに、該特定表示の運転者の視線の惹きつけやすさを示す誘目度を算出する誘目度算出部５５を有する。誘目度算出部５５は、特定表示を表示した位置や、運転者の視線が特定表示を向いたときの車両の外部環境を考慮して誘目度を算出する。

本実施形態１では、誘目度算出部５５は、誘目度としてサリエンシー（視覚的顕著性）を算出する。サリエンシーとは、色、輝度、動きなどにより刻々と変化する顕著性からなる視覚特徴量である。すなわち、サリエンシーが高いとは、顕著性が高いことを表し、サリエンシーが高い領域とは周囲に対して目立つ領域のことである。より具体的には、周囲の領域に対して色差や輝度差が大きかったり、周囲に対して大きな動きをしていたりする領域は、サリエンシーが高くなる。例えば、特定表示として赤色の光を映し出したときには、夕暮れ時などには特定表示が周囲の景色に埋もれやすいため、サリエンシーが低くなる一方で、夜間は特定表示が周囲の景色に対して目立ちやすいため、サリエンシーが高くなる。尚、サリエンシーの算出自体は、インターネット上などで公開されている既知のコンピュータプログラムを用いることができる。

コントローラ５０は、運転者の視線移動に基づいて、該運転者の状態を推定する推定部５６を有する。推定部５６は、特に、運転者の視線移動時間、及び誘目度算出部５５により算出された誘目度に基づいて、運転者の状態を推定する。詳しくは後述するが、推定部５６は、運転者の視線移動時間が閾値時間以上であるときに、運転者に異常が生じていると推定する。尚、運転者の異常状態とは、運転者の漫然状態や、運転者に体調異常が発生している状態を含む。

コントローラ５０は、推定部５６により、運転者の状態を推定する際に用いる閾値時間を設定するための閾値設定部５７を有する。閾値設定部５７による閾値の算出については後述する。

コントローラ５０は、推定部５６の推定結果に基づいて、車両に搭載された各種アクチュエータＡ、ディスプレイ７、ブザーＢなどを制御する。尚各種アクチュエータＡとは、エンジンシステム、ブレーキシステム、及びステアリングシステムを構成するアクチュエータを含む。

（特定表示の表示）
表示制御部５２及びＨＵＤ１０による特定表示は、運転者に注意喚起を行うための表示である。表示制御部５２は、車両の走行状態が、高速道路などの外部環境の変化が少ない場所を走行している特定シーンときに特定表示を行う。これは、外部環境の変化が少ない場所では、運転者に刺激が少なく、運転者が漫然状態になりやすいためである。また、外部環境の変化が少ない場所では、運転者の視線移動が少ないため、運転者の視線移動により該運転者の状態を推定するには、特定表示により運転者の視線移動を積極的に促す必要があるためである。

特定表示は、危険対象物の種類によって変更される。例えば、自車両の前側を走行中の他車両が危険対象物と判定されたときには、図４に示すように、該他車両を囲む円環６０が特定表示として表示される。これにより、運転者に前側の他車両を中止するように喚起する。また、例えば、自車両の右後側から他車両が接近しているときには、図５に示すように、フロントウィンドウガラス１における右側縁部及びバックミラー５の周辺部に赤色の光６１を点灯させる。これにより、運転者に後側から接近中の車両をミラーにより確認するように促す。この特定表示の表示範囲は、運転者に注意喚起を行う一方で、運転者の運転の支障にならないような範囲である。

表示制御部５２は、特定表示を表示してから、閾値設定部５７が設定した閾値時間の時間が経過するまで、又は運転者の視線が特定表示を向くまで、特定表示を徐々に目立つように（サリエンシーが増加するように）変更する。表示制御部５２は、例えば、特定表示の色を徐々に濃くしたり、点灯表示させていた表示を点滅表示に変えたり、点滅表示の場合には点滅の間隔を早くしたりする。尚、特定表示は、時間の経過とともに連続的に変更させてもいいし、一定時間経過毎に変更させてもよい。

（閾値時間の算出）
本実施形態１において、閾値設定部５７は、ＨＵＤ１０により特定表示を表示する位置や、運転者の視線が特定表示を向いたときの該特定表示のサリエンシーに基づいて閾値時間を設定するように構成されている。以下、図６及び図７を参照して説明する。

図６は、運転者の視界領域に注視点を表示した際の、該運転者の視線移動時間を計測した結果である。図６に示すグラフは、ドライブシミュレータによる実験を行うことで作成した。

図７は、図６に示すグラフを作成する際に行った実験の条件を概略的に示す。実験は、被験者にドライブシミュレータによる動画Ｄを視聴させることで行った。まず、図７に示すように、運転席に座ったときの視界領域を表示する。次に、動画Ｄを進めながら、一定時間毎に、図７に数字でそれぞれ示す位置の１つに、注視点として白丸をランダムに表示する。そして、被験者の視線が該注視点を向くまでの時間を測定した。尚、ドライブシュミュレータに表示する動画Ｄは、被験者の視線方向が正面を向いたときを基準位置（０度）として、左右に３０度の視野角となる範囲を表示した。一般に、基準位置から車両右側（反助手席側）に２０度の位置にフロントピラートリムが位置する。

この実験において、正常状態を想定する場合には、被験者に別のタスク（暗算の問題を解かせる等）をさせずに動画Ｄに集中してもらい、漫然状態を想定する場合には、被験者に別のタスク（今回は暗算の問題を解かせた）を要求しながら動画Ｄを進めた。同一の被験者に対して、正常状態を想定した場合と漫然状態を想定した場合とのそれぞれの状況で実験を行った。

図６のグラフは、横軸が水平方向の視野角であり、被験者の視線方向が正面を向いたときを基準位置（０度）として、車両左側（助手席側）をマイナス側、車両右側をプラス側としている。この基準位置は、運転者が運転席に着座して正面を向いたときの視線の位置に相当する。左側の縦軸は、被験者の正常状態を想定したときの視線移動時間を示し、右側の縦軸は、被験者お漫然状態を想定したときの視線移動時間を示す。両縦軸の幅は同じに揃えている。正常状態と漫然状態とでは、基準位置においても視線移動時間が異なるが、図６のグラフでは、視線移動時間の差が水平方向の視野角に応じて変化することをわかりやすくするために、基準位置において両曲線が重なるように縦軸を調整している。

図６に示すように、被験者が正常状態であっても、漫然状態であっても、基準位置から離れるにつれて視線移動時間が長くなる傾向にあることが分かる。また、図６のグラフから、視野角が±１０度以上になると、正常状態での視線移動時間と漫然状態での視線移動時間との差が大きくなることが分かる。これは、視野角の大きな位置は、そもそも被験者に見にくい位置であり、被験者が気づきにくいためである。

本実施形態１では、この実験結果に基づき、閾値設定部５７は、特定表示を表示する位置に応じて閾値時間を設定するように構成されている。具体的には、閾値設定部５７は、閾値時間を、運転者の視線方向が正面を向いたときを基準位置として、該基準位置から水平方向に所定角度範囲内の領域に特定表示を表示したときよりも、該基準位置から水平方向に所定角度範囲外の領域に特定表示を表示したときの方が長くなるように設定する。特に、本実施形態１では、前述の実験結果に基づいて所定角度範囲を１０度に設定している。すなわち、本実施形態１において、閾値設定部５７は、閾値時間を、基準位置から水平方向に１０度未満の視野角の領域に特定表示を表示したときよりも、該基準位置から水平方向に１０度以上の視野角の領域に特定表示を表示したときの方が長くなるように設定する。より詳しくは、閾値設定部５７は、基準位置から水平方向に１０度未満の範囲においては、運転者が以上状態であると推定する閾値時間を一定の値にする一方で、基準位置から水平方向に１０度以上の範囲においては、視野角が大きくなるにつれて閾値時間を大きくする。

閾値設定部５７による閾値時間の設定は、種々の方法を採用することができる。例えば、閾値設定部５７に、特定表示の表示位置に基づいて閾値時間が設定されたマップを格納させておき、該マップを読み込んで閾値時間を設定してもよい。また、例えば、視野角が１０度未満の範囲における閾値時間を、表示位置に応じて補正することで、最終的な閾値時間としてもよい。尚、視野角が１０度未満の範囲における閾値時間は、例えば、０．４４ｓ～０．４６ｓに設定される。

（運転者状態の推定）
次に、運転者状態を推定する処理動作を図８のフローチャートに基づいて説明する。

まず、ステップＳ１０１において、コントローラ５０は、各種データを取得する。

次のステップＳ１０２において、コントローラ５０は、車両の走行シーンが特定状態でないか、特定シーンであるかを判定する。コントローラ５０は、走行シーンが特定シーンでないＹＥＳのときには、リターンする。一方、コントローラ５０は、走行シーンが特定シーンあるＮＯのときには、ステップＳ１０３に進む。

前記ステップＳ１０３において、コントローラ５０は、車両の周囲に危険対象物がないか否かを判定する。コントローラ５０は、車両の周囲に危険対象物がないＹＥＳのときには、リターンする。一方、コントローラ５０は、車両の周囲に危険対象物があるＮＯのときには、ステップＳ１０４に進む。

前記ステップＳ１０４では、コントローラ５０は、車両の運転者が危険対象物を見たか否かを判定する。この判定は、視線算出部５３により算出される運転者の視線方向が、予め設定された設定時間内に危険対象物に向いたか否かに基づいて判定される。コントローラ５０は、運転者が前記設定時間内に危険対象物を見たＹＥＳのときには、ステップＳ１１３に進む、一方、コントローラ５０は、運転者が前記設定時間内に危険対象物を見ていないＮＯのときには、ステップＳ１０５に進む。尚、危険対象物が自車両の後側にあるときには、コントローラ５０は、運転者の視線方向がバックミラー５やサイドミラー６を見たことをもって、運転者が危険対象物を見たとみなすようになっている。

前記ステップＳ１０５では、コントローラ５０は、ＨＵＤ１０によりフロントウィンドウガラス１に特定表示を表示させる。

次のステップＳ１０６では、コントローラ５０は、特定表示の表示位置に応じて閾値時間を設定する。

次のステップＳ１０７では、コントローラ５０は、運転者が特定表示を見たか否かを判定する。この判定は、視線算出部５３により算出される運転者の視線方向が、特定表示に向いているか否かに基づいて判定される。コントローラ５０は、運転者が特定表示を見ているＹＥＳのときには、ステップＳ１１０に進む、一方、コントローラ５０は、運転者が特定表示を見ていないＮＯのときには、ステップＳ１０８に進む。

前記ステップＳ１０８では、コントローラ５０は、特定表示のサリエンシーが増加するように、特定表示の表示方法を変更する。

次のステップＳ１０９では、コントローラ５０は、特定表示を表示してからの経過時間が閾値時間以内であるか否かを判定する。コントローラ５０は、経過時間が閾値時間以内であるＹＥＳのときには、ステップＳ１０７に戻る。一方で、コントローラ５０は、経過時間が閾値時間を超えているＮＯのときには、ステップＳ１１２に進む。

前記ステップＳ１０７の判定がＹＥＳであるときに進むステップＳ１１０では、コントローラ５０は、運転者が特定表示を見たときの、該特定表示のサリエンシーを算出する。

続くステップＳ１１１では、コントローラ５０は、前記ステップＳ１１０で算出したサリエンシーが表示位置に応じて設定された設定値以上であるか否かを判定する。コントローラ５０は、特定表示のサリエンシーが設定値以上であるＹＥＳのときには、ステップＳ１１２に進む。一方で、コントローラ５０は、特定表示のサリエンシーが設定値未満であるＮＯのときには、ステップＳ１１３に進む。

前記ステップＳ１１２では、コントローラ５０は、運転者が異常状態であると推定する。前記ステップＳ１１２の後はリターンする。

前記ステップＳ１１３では、コントローラ５０は、運転者が正常状態であると推定する。前記ステップＳ１１３の後はリターンする。

コントローラ５０は前述のように、仮に運転者が閾値時間以内に特定表示を見ていたとしても、特定表示のサリエンシー次第では、運転者が異常状態であると推定する。例えば、特定表示が赤色の光であるときには、夜間に特定表示を行うと目立つため、昼間よりも特定表示のサリエンシーが高い。つまり、運転者が正常な状態であれば、夜間の方が昼間よりも早く特定表示を見ると考えられる。運転者が異常状態であったとしても、夜間であれば、閾値時間以内に特定表示を見る可能性がある。そこで、仮に運転者が閾値時間以内に特定表示を見ていたとしても、運転者が見た時の特定表示のサリエンシーが高い状態であれば、運転者が異常状態と判断するようにする。これにより、運転者の状態の推定精度を向上させることができる。

コントローラ５０は、運転者が異常状態であると推定されたときには、異常状態の深度を推定する。例えば、コントローラ５０は、特定表示のサリエンシーが高い状態であるにも拘わらず、運転者が閾値時間以内に特定表示を見なかったときには、運転者に失陥が生じていると判定する。また、コントローラ５０は、特定表示のサリエンシーが低い状態で運転者が閾値時間以内に特定表示を見なかったときには、例えば、運転者の正面に別の表示を行って、運転者が該表示を見る時間までの時間により、漫然状態であるか、覚醒度が低下した状態であるか、或いは失陥が生じているかを推定することができる。

コントローラ５０は、運転者の覚醒度が低下していたり、運転者が漫然状態であったりと推定されたときには、例えば、ブザーＢを鳴らしたり、ディスプレイ７に表示したりする。これにより、コントローラ５０は、運転者の覚醒を促したり、運転に集中するように促したりする。また、コントローラ５０は、運転者に失陥が生じていると推定されたときには、例えば、各種アクチュエータＡに制御信号を出力して、車両を路肩等の安全な領域まで走行させるとともに、該安全な領域に車両を停止させる。

したがって、本実施形態１によると、運転者の視線方向を検知する視線検知装置（視線算出部５３及び車室内カメラ１０１）と、車両の走行時における運転者の視線領域に、車両の走行シーンに応じた特定表示を行う表示装置（ＨＵＤ１０及び表示制御部５２）と、運転者の視線方向が、前記表示装置が特定表示を表示してから、閾値時間以内に特定表示に向かなかったときに、運転者に異常が生じていると推定する推定部５６と、特定表示を表示する位置に応じて閾値時間を設定する閾値設定部５７とを備える。これにより、運転者の視線移動の特性を反映して閾値時間を設定することができる。この結果、誤判定が抑制されて、運転者の状態を推定する精度を向上させることができる。

また、高速道路など外部環境の変化が少ない場所を走行しているときであっても、表示装置により特定表示を表示して、運転者が該特定表示を見る際の視線移動を利用して運転者の状態を推定することができる。したがって、外部環境の変化が少ない場所であっても、車両走行時における運転者の状態を推定する精度を出来る限り高くすることができる。

また、本実施形態１において、閾値設定部５７は、閾値時間を、運転者の視線方向が正面を向いたときを基準位置として、該基準位置から水平方向に所定角度範囲内の領域に特定表示を表示したときよりも、該基準位置から水平方向に所定角度範囲外の領域に特定表示を表示したときの方が長くなるように設定する。特に、本実施形態では、所定角度範囲は１０度であり、閾値設定部５７は、閾値時間を、該基準位置から水平方向に１０度未満の視野角の領域に特定表示を表示したときよりも、該基準位置から水平方向に１０度異常の視野角の領域に特定表示を表示したときの方が長くなるように設定する。すなわち、所定角度範囲よりも内側であれば、運転者が見やすい位置に特定表示が表示されるため、視線移動時間は短くなりやすい。一方で、所定角度範囲よりも外側であれば、運転者の視界領域の端の方であって、運転者が見やすい位置に特定表示が表示されるため、視線移動時間は長くなりやすい。したがって、閾値時間を、所定角度範囲内の領域に特定表示を表示したときよりも、所定角度範囲外の領域に特定表示を表示したときの方が長く設定することで、運転者の状態を推定する精度をより向上させることができる。

また、本実施形態１において、前記表示装置は、特定表示を表示してから閾値時間の時間が経過するまで、又は運転者の視線方向が当該特定表示を向くまで、特定表示を徐々に目立つように変更する。これにより、運転者の状態を推定するために要する時間を出来る限り短くすることができる。これにより、運転者の体調異常が生じているときなどにも、該運転者の体調異常を出来る限り早く推定することができ、車両を路肩に停止させるなどの対応を迅速にとることができるようになる。

〈実施形態２〉
以下、実施形態２について、図面を参照しながら詳細に説明する。尚、以下の説明において前記実施形態１と共通の部分については、同じ符号を付して、その詳細な説明を省略する。

図９は、実施形態２に係る運転者状態推定装置２０の構成を示す。本実施形態２において、コントローラ５０は、運転者の視線移動時間を算出する視線移動時間算出部２５４を更に有する。視線移動時間算出部２５４は、表示制御部５２によりＨＵＤ１０に特定表示を表示させたときに、該特定表示を表示してから運転者の視線が特定表示に向くまでの時間を算出する。視線移動時間算出部２５４は、視線算出部５３の検出結果に基づいて運転者のサッケードを検出して視線移動時間を算出する。サッケードとは、運転者が意図的に視線を移動させる眼球運動（跳躍性眼球運動）のことであり、注視点から次の注視点へ視線を移動させる眼球運動のことである。

また、本実施形態２において、閾値設定部５７は、特定表示を表示した時の、該特定表示のサリエンシーを考慮して閾値時間を設定するように構成されている。前記実施形態１において説明したように、同じ特定表示であっても外部環境に応じて、該特定表示のサリエンシーが変動する。特定表示を表示した時に、該特定表示のサリエンシーが低いときには、特定表示が目立たないため、運転者が正常状態であっても該運転者の視線方向が特定表示を向くまでに時間がかかる。このため、特定表示の表示位置のみにより閾値時間を設定すると、運転者が正常状態であるにも拘わらず、運転者が異常状態であると誤って推定してしまうおそれがある。本実施形態２では、閾値設定部５７が、閾値時間を、特定表示を表示下時の、該特定表示のサリエンシーが低い方が、該特定表示のサリエンシーが高いときと比べて長くなるように設定することで誤判定を抑制する。

ここで、閾値設定部５７による閾値時間の設定は、種々の方法を採用することができる。例えば、閾値設定部５７に、特定表示の表示位置とサリエンシーとに基づいて閾値時間が設定されたマップを格納させておき、該マップを読み込んで閾値時間を設定してもよい。また、例えば、特定表示の表示位置に応じて仮の閾値時間を算出して、誘目度算出部５５により算出されたサリエンシーに基づいて仮の閾値時間を補正することで、最終的な閾値時間としてもよい。

次に、運転者状態を推定する処理動作を図１０のフローチャートに基づいて説明する。

まず、ステップＳ２０１において、コントローラ５０は、各種データを取得する。

次のステップＳ２０２において、コントローラ５０は、車両の走行シーンが特定状態でないか、特定シーンであるかを判定する。コントローラ５０は、走行シーンが特定シーンでないＹＥＳのときには、リターンする。一方、コントローラ５０は、走行シーンが特定シーンあるＮＯのときには、ステップＳ２０３に進む。

前記ステップＳ２０３において、コントローラ５０は、車両の周囲に危険対象物がないか否かを判定する。コントローラ５０は、車両の周囲に危険対象物がないＹＥＳのときには、リターンする。一方、コントローラ５０は、車両の周囲に危険対象物があるＮＯのときには、ステップＳ２０４に進む。

前記ステップＳ２０４では、コントローラ５０は、車両の運転者が危険対象物を見たか否かを判定する。この判定は、視線算出部５３により算出される運転者の視線方向が、予め設定された設定時間内に危険対象物に向いたか否かに基づいて判定される。コントローラ５０は、運転者が前記設定時間内に危険対象物を見たＹＥＳのときには、ステップＳ２１４に進む、一方、コントローラ５０は、運転者が前記設定時間内に危険対象物を見ていないＮＯのときには、ステップＳ２０５に進む。尚、危険対象物が自車両の後側にあるときには、コントローラ５０は、運転者の視線方向がバックミラー５やサイドミラー６を見たことをもって、運転者が危険対象物を見たとみなすようになっている。

前記ステップＳ２０５では、コントローラ５０は、ＨＵＤ１０によりフロントウィンドウガラス１に特定表示を表示させる。

次のステップＳ２０６では、コントローラ５０は、運転者が特定表示を見たか否かを判定する。この判定は、視線算出部５３により算出される運転者の視線方向が、特定表示に向いているか否かに基づいて判定される。コントローラ５０は、運転者が特定表示を見ているＹＥＳのときには、ステップＳ２０８に進む、一方、コントローラ５０は、運転者が特定表示を見ていないＮＯのときには、ステップＳ２０７に進む。

前記ステップＳ２０７では、コントローラ５０は、特定表示のサリエンシーが増加するように、特定表示の表示方法を変更する。

次のステップＳ２０８では、コントローラ５０は、特定表示を表示してからの経過時間が所定時間よりも前であるか否かを判定する。この所定時間は、後に設定される閾値時間よりも十分に大きい値であり、運転者が意識を失っていると判定できる程度の時間である。コントローラ５０は、経過時間が所定時間前であるＹＥＳのときには、ステップＳ１０６に戻る。一方で、コントローラ５０は、経過時間が所定時間を超えているＮＯのときには、ステップＳ２１３に進む。

前記ステップＳ２０６の判定がＹＥＳであるときに進むステップＳ２０９では、コントローラ５０は、運転者の視線方向が特定表示を向くまでの視線移動時間を算出する。

続くステップＳ２１０では、コントローラ５０は、特定表示を表示したときの、該特定表示のサリエンシーを算出する。

次のステップＳ２１１では、コントローラ５０は、前記ステップＳ２０５で表示した特定表示の位置、及び前記ステップＳ２１０で算出した特定表示のサリエンシーに基づいて、運転者の異常を推定するための閾値時間を算出する。

続くステップＳ２１２では、コントローラ５０は、前記ステップＳ２０９で算出した視線移動時間が、前記ステップＳ２１１で算出した閾値時間以上であるか否かを判定する。コントローラ５０は、視線移動時間が閾値時間以上であるＹＥＳのときには、ステップＳ２１３に進む。コントローラ５０は、視線移動時間が閾値時間未満であるＮＯのときには、ステップＳ２１４に進む。

前記ステップＳ２１３では、コントローラ５０は、運転者が異常状態であると推定する。前記ステップＳ２１３の後はリターンする。

前記ステップＳ２１４では、コントローラ５０は、運転者が正常状態であると推定する。前記ステップＳ２１４の後はリターンする。

本実施形態２においても、コントローラ５０は、運転者が異常状態であると推定されたときには、異常状態の深度を推定する。本実施形態２において、コントローラ５０は、例えば、視線移動時間が閾値時間を僅かに上回っているときには、運転者は漫然状態であると推定する。また、コントローラ５０は、視線移動時間が閾値時間を比較的大きく上回っている（前記所定時間よりは短い）ときには、運転者は覚醒度が低下した状態であると推定する。これは、運転者が漫然状態であれば、運転者の集中力が低下しているだけであって、運転者の意識ははっきりしており、特定表示に気づくまでにあまり時間がかからないためである。一方で、運転者の覚醒度が低下しているときには、運転者の集中力が低下していることに加えて、眠気によりまぶたが閉じ気味になって、特定表示に気づきにくくなるためである。また、コントローラ５０は、運転者が特定表示を見ないまま所定時間が経過したときには、運転者に失陥が生じていると推定する。これは、運転者が特定表示に気づくことができない状態であると推定されるためである。

〈その他の実施形態〉
ここに開示された技術は、前述の実施形態に限られるものではなく、請求の範囲の主旨を逸脱しない範囲で代用が可能である。

例えば、前述の実施形態では、閾値設定部５７は、特定表示のサリエンシーを考慮して閾値時間を設定していたが、特定表示のサリエンシーは必ずしも考慮しなくてもよい。

また、前述の実施形態では、車両の走行状態が特定シーンでありかつ危険対象物があるときに特定表示を行っていた。これに限らず、運転者に注意を促すために、特定シーンでなくても危険対象物があれば特定表示を行うようにしてもよいし、危険対象物がなくても特定シーンであれば特定表示を行うようにしてもよい。特に、車両の走行状態が特定シーンであるときには、運転者の状態を推定する対象が少ないため、積極的に特定表示を行って、運転者の状態を推定するようにしてもよい。

前述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均など範囲に属する変形や変更は、全て本開示の範囲内のものである。

ここに開示された技術は、車両の運転者の視線移動に基づいて、運転者の状態を推定する運転者状態推定装置として有用である。

１ フロントウィンドウガラス
１０ ヘッドアップディスプレイ（表示装置）
２０ 運転者状態推定装置
５０ コントローラ
５２ 表示制御部（表示装置）
５３ 視線算出部（視線検知装置）
５６ 推定部
５７ 閾値設定部
１０１ 車室内カメラ（視線検知装置）

Claims (5)

1. 車両の運転者の視線移動に基づいて、該運転者の状態を推定する運転者状態推定装置であって、
   前記運転者の視線方向を検知する視線検知装置と、
   前記車両の走行時における前記運転者の視線領域に、車両の走行シーンに応じた特定表示を行う表示装置と、
   前記運転者の視線方向が、前記表示装置が前記特定表示を表示してから、閾値時間以内に前記特定表示に向かなかったときに、前記運転者に異常が生じていると推定する推定部と、
   前記特定表示を表示する位置に応じて前記閾値時間を設定する閾値設定部とを備えることを特徴とする運転者状態推定装置。
2. 請求項１に記載の運転者状態推定装置において、
   前記閾値設定部は、前記閾値時間を、前記運転者の視線方向が正面を向いたときを基準位置として、該基準位置から水平方向に所定角度範囲内の領域に前記特定表示を表示したときよりも、該基準位置から水平方向に所定角度範囲外の領域に前記特定表示を表示したときの方が長くなるように設定することを特徴とする運転者状態推定装置。
3. 請求項２に記載の運転者状態推定装置において、
   前記所定角度範囲は１０度であり、
   前記閾値設定部は、前記閾値時間を、該基準位置から水平方向に１０度未満の視野角の領域に前記特定表示を表示したときよりも、該基準位置から水平方向に１０度異常の視野角の領域に前記特定表示を表示したときの方が長くなるように設定することを特徴とする運転者状態推定装置。
4. 請求項１～３のいずれか１つに記載の運転者状態推定装置において、
   前記表示装置は、前記特定表示を表示してから前記閾値時間の時間が経過するまで、又は前記運転者の視線方向が当該特定表示を向くまで、前記特定表示を徐々に目立つように変更することを特徴とする運転者状態推定装置。
5. 請求項１～４のいずれか１つに記載の運転者状態推定装置において、
   前記視線領域は、前記車両のフロントウィンドウガラスの領域であり、
   前記表示装置は、前記フロントウィンドウガラスの車両前側に虚像による画像を投影するヘッドアップディスプレイであることを特徴とする運転者状態推定装置。

Images