JP2008162550A - 外部環境表示装置 - Google Patents

Abstract

【課題】運転者の視線方向が不適切な方向である場合にも、運転者に、認識すべき外部環境を早期に把握させること。
【解決手段】本発明による外部環境表示装置１は、運転者の視線方向を検知する視線方向検知手段と、車両の外部環境を撮像する撮像手段と、前記視線方向検知手段により検知された視線方向が所定範囲内にあるか否かを判定する判定手段と、前記判定手段により運転者の視線方向が所定範囲内に無いと判定された場合に、前記撮像手段が撮像した画像を用いて、運転者の視線方向が前記所定範囲であると仮定したときに運転者の目に映る外部環境の画像を、運転者の視線方向に応じた方向に表示する表示位置制御手段とを備えることを特徴とする。
【選択図】図４

Description

本発明は、運転者の視覚を補助するために適切な位置に外部環境の画像を表示する外部環境表示装置に関する。

従来から、運転者の視線方向を検出する視線方向検出手段を更に備え、視線方向検出手段により検出された運転者の視線方向が脇見時における視線方向である場合に、視線方向検出手段により検出された視線方向近傍に表示領域を有する表示手段に、車両乗員の視線を表示手段の表示領域外に誘導する矢印のような誘導情報を表示させる車両用表示装置が知られている（例えば、特許文献１参照）。
特開２００５−５９６６０号公報

しかしながら、上記の特許文献１に記載の発明では、運転者が、誘導情報としての矢印の気付き、当該矢印の方向に従って視線を変化させるまでのタイムラグについて考慮されていない。即ち、上記の特許文献１に記載の発明では、誘導情報を表示してから、運転者が矢印の気付き当該矢印の方向に従って視線を変化させるまでの間、運転者が、認識すべき外部環境を把握できないという問題点がある。

そこで、本発明は、運転者の視線方向が不適切な方向である場合にも、運転者に、認識すべき外部環境を早期に把握させることができる外部環境表示装置の提供を目的とする。

上記目的を達成するため、第１の発明に係る外部環境表示装置は、運転者の視線方向を検知する視線方向検知手段と、
車両の外部環境を撮像する撮像手段と、
前記視線方向検知手段により検知された視線方向が所定範囲内にあるか否かを判定する判定手段と、
前記判定手段により運転者の視線方向が所定範囲内に無いと判定された場合に、前記撮像手段が撮像した画像を用いて、運転者の視線方向が前記所定範囲であると仮定したときに運転者の目に映る外部環境の画像を、運転者の視線方向に応じた方向に表示する表示位置制御手段とを備えることを特徴とする。

第２の発明は、第１の発明に係る外部環境表示装置において、
前記表示位置制御手段は、運転者の視線方向の先に、前記外部環境の画像を表示することを特徴とする。

第２の発明は、第１の発明に係る外部環境表示装置において、
前記表示位置制御手段は、運転者の視線方向近辺で前記所定範囲側の方向に、前記外部環境の画像を表示することを特徴とする。

本発明によれば、運転者の視線方向が不適切な方向である場合にも、運転者に、認識すべき外部環境を早期に把握させることができる外部環境表示装置が得られる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の実施例１による外部環境表示装置１の主要構成を示す図である。図２は、表示制御装置１０Ａの主要構成を示すブロック図である。

外部環境表示装置１は、表示制御装置１０Ａを中心に構成されている。表示制御装置１０Ａは、ハードウェア構成としては、適切なプロセッサないしマイクロコンピューターを中心に構成され、以下で説明する各種処理を行うＣＰＵや、以下で説明する各種処理を行うために用いられるプログラム及びデータが格納されたＲＯＭ、演算結果等を格納する読書き可能なＲＡＭ、タイマ、カウンタ、入力インターフェイス、及び出力インターフェイス等を有する。

表示制御装置１０Ａには、外部環境を撮像するカメラ３０，３１，３２を備える。各カメラ３０，３１，３２は、ルームミラー等の適切な位置に適切な視線方向（光軸方向）で配置され、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、外部環境を撮像する。カメラ３０は、車両左側側方の外部環境を撮像する。カメラ３１は、車両前方正面の外部環境を撮像する。カメラ３２は、車両右側側方の外部環境を撮像する。カメラ３０，３１，３２は、車両走行中にリアルタイムに外部環境画像を取得し、所定のフレーム周期のストリーム形式で表示制御装置１０Ａに供給するものであってよい。尚、カメラ３０，３１，３２は、魚眼レンズを備える１つの広角カメラにより置換されてもよいし、光軸方向が可変の１つのカメラにより置換されてもよい。また、車両後方の外部環境を撮像する第４のカメラを有してもよい。

表示制御装置１０Ａには、ドライバモニターＥＣＵ４２が接続される。ドライバモニターＥＣＵ４２には、ドライバモニターカメラ４０が接続される。ドライバモニターカメラ４０は、例えばカラー又は赤外線感応ＣＣＤセンサアレイを備える。ドライバモニターカメラ４０は、運転者の前面（例えば運転者の顔部を前方から）を捕捉可能なように、車両の適切な箇所に設けられる。例えば、ドライバモニターカメラ４０は、車両のインストルメントパネルのダッシュボード、ステアリングコラムやルームミラー等に設置される。ドライバモニターカメラ４０は、車両走行中にリアルタイムに運転者の顔部の画像（以下、「顔画像」という。）を取得し、典型的には３０fps(frame per second)のストリーム形式で、ドライバモニターＥＣＵ４２に供給するものであってよい。

ドライバモニターＥＣＵ４２は、ドライバモニターカメラ４０により取得された顔画像に対する画像処理により、運転者の顔の向きを認識し、当該認識した顔の向きに基づいて運転者の視線の向きに関する情報（以下、「視線情報」ともいう。）を生成する。ドライバモニターＥＣＵ４２は、車両走行中にリアルタイムに視線情報を生成し、生成した視線情報を表示制御装置１０Ａに供給する。

例えば、ドライバモニターＥＣＵ４２は、先ず、ドライバモニターカメラ４０により取得された顔画像から、顔の代表的なポイント（特徴点）を抽出する。この特徴抽出方法は、適切な任意の方法であってよく、例えばActive Appearance Model（AAM）をベースにした技術が用いられてよい。次いで、適切なエッジ検出アルゴリズム（例えばSobelのエッジ検出アルゴリズム）を適用して、顔と顔の特徴の境界を抽出する。次いで、上述の如く抽出されるエッジ及び特徴点を用いて、図３に示すように、顔のパーツが分離され、顔のパーツの形状を抽出する。尚、図３は、顔の一部のみを代表して示しており、顔の眉と目の部分がパーツとして抽出された画像を示している。ドライバモニターＥＣＵ４２は、抽出した顔のパーツの位置又は向きと、予め記憶しておいた各姿勢（例えば表示装置２１を注視しているときの姿勢や、左右前後を見ている姿勢等）における同パーツの位置又は向きとのマッチング度合いを比較することにより、現在の姿勢（顔の向き）を検出する。顔の向きは、例えば正規の姿勢であるときの顔の正面方向を１軸とする３軸まわりの回転角度で表されてよい。ドライバモニターＥＣＵ４２は、運転者の顔の向きが運転者の視線の向き（視線方向）に対応しているとの仮定の下で、運転者の視線方向を決定して視線情報を生成する。尚、ドライバモニターＥＣＵ４２における画像認識処理による視線方法検出方法は、多種多様でありえ、本発明は、上述したものに限定されることは無い。例えば、ドライバモニターＥＣＵ４２は、顔のパーツとして眼球の輪郭線を抽出し、目の輪郭内における眼球の位置と、上述の如く認識した運転者の顔向きとに基づいて、運転者の視線の向きを検出してもよい。

表示制御装置１０Ａには、表示装置群２０が接続される。表示装置群２０は、一例として、４つの表示装置２１乃至２６を含む。表示装置２１は、インパネ等に配置されるナビゲーション装置のディスプレイである。表示装置２２，２３は、左右のサイドミラーにそれぞれ設けられ、表示装置２４は、ルームミラーに設けられ、表示装置２５，２６は、左右の窓（サイドガラス）にそれぞれ設けられる。表示装置２２乃至２６は、ヘッドアップディスプレイ（ＨＵＤ）のような形態で、対応するミラーないしガラスに、映像（画像）を投影するものであってもよいし、又は、対応するミラーないしガラスに設けられ、画像非表示時に光透過性を有するタイプの表示体から構成されてもよく、或いは、対応するミラーないしガラスに設けられる透過型液晶表示パネルから構成されてもよい。尚、表示装置群２０は、例えばメーターに設けられる表示装置のような、第５の表示装置を含んでもよい。

表示制御装置１０Ａは、図２に示すように、その主要な機能を実現する機能ブロックとして、注意喚起方向決定部１２Ａ、視線方向評価部１４Ａ、表示位置決定部１６Ａ、表示画像生成部１８Ａ、及び、表示制御部１９Ａを備える。表示制御装置１０Ａの各部の機能は、図４を参照して、説明する。

図４は、本実施例による表示制御装置１０Ａに実現される主要処理の流れを示すフローチャートである。図４に示す処理は、イグニッションスイッチがオンとされた後、イグニッションスイッチがオフにされるまでの間、車両の走行中に繰り返し実行されるものであってよい。

ステップ１００では、注意喚起方向決定部１２Ａは、カメラ３０，３１，３２から得られる各外部環境画像に基づいて、運転者に注意を喚起すべき状況が検出されたか否かを判定する。運転者に注意を喚起すべき状況とは、例えば車両前方を横断しようとする歩行者が存在する状況や、車両前方の他車両が急減速等して車間距離が急減する状況等である。この種の状況は、カメラ３０，３１，３２から得られる各外部環境画像に代えて、若しくは、それに加えて、レーダー等の監視結果に基づいて検出されてもよい。運転者に注意を喚起すべき状況が検出された場合には、ステップ１０２に進み、それ以外の場合には、今回周期の処理ルーチンはそのまま終了する。

ステップ１０２では、注意喚起方向決定部１２Ａは、カメラ３０，３１，３２から得られる各外部環境画像に基づいて、運転者に注意を喚起すべき方向を決定する。即ち、注意喚起方向決定部１２Ａは、運転者の注意を喚起すべき物体が存在する方向を検出・決定する。例えば、注意喚起方向決定部１２Ａは、車両前方を横断しようとする歩行者が存在する状況では、歩行者が存在する方向を注意喚起方向として検出・決定し、車両前方の他車両が急減速等して車間距離が急減する状況では、当該他車両が存在する方向を注意喚起方向として検出・決定する。

ステップ１０４では、視線方向評価部１４Ａは、上記のステップ１０２で注意喚起方向決定部１２Ａにより決定された注意喚起方向に基づいて、運転者の視線方向として望ましい範囲（以下、「適正範囲」という。）を設定する。この視線方向の適正範囲は、注意喚起方向を中心とした所定範囲として設定されてよく、その範囲内に運転者の視線方向がある場合に、運転者が注意すべき外部環境（外部物体）を認識できるような範囲に設定される。

ステップ１０６では、視線方向評価部１４Ａは、ドライバモニターＥＣＵ４２からの視線情報を取得して、現在の運転者の視線方向を把握する。

ステップ１０８では、視線方向評価部１４Ａは、上記のステップ１０４で設定した適正範囲内に、上記のステップ１０６で得た現在の運転者の視線方向があるか否かを判定する。適正範囲内に運転者の視線方向がある場合には、特に運転者に注意を喚起すべき必要がないので、今回周期の処理ルーチンはそのまま終了する。一方、適正範囲内に運転者の視線方向が無い場合には、ステップ１１０に進む。

ステップ１１０では、表示位置決定部１６Ａは、上記のステップ１０６で得た現在の運転者の視線方向に基づいて、表示装置群２０の中から、運転者の視線方向の先にある一の表示装置を、出力対象の表示装置として選択する。ここで、運転者の視線方向の先の表示装置は、典型的には、運転者の視線方向に一致した方向にある表示装置である。この場合、運転者の視線方向は、水平面内の方向のみを考慮しても良く（図６（Ａ）参考）、或いは、鉛直面内の方向を補助的に考慮してもよい（図６（Ｂ）参考）。或いは、運転者の視線方向の先の表示装置は、運転者が現在の運転者の視線方向を維持した場合にも目視できる方向にある表示装置を含んでよい。尚、いずれの場合であっても、運転者の視線方向に一致した方向に表示装置が存在しない場合には、表示装置群２０の中から、運転者の視線方向に最も近い方向に存在する一の表示装置が、出力対象の表示装置として選択されてよい。本ステップ１１０において、例えば、運転者の視線方向の先に左のサイドミラーが存在する場合には、表示位置決定部１６Ａは、左のサイドミラーに設けられる表示装置２２を、出力対象の表示装置として選択する。

ステップ１２０では、表示画像生成部１８Ａは、カメラ３０，３１，３２から得られる各外部環境画像の中から、上記のステップ１０２で決定された注意喚起方向の外部環境画像を選択し、表示画像を生成する。即ち、注意喚起方向を運転者が見た際に運転者の目に映るだろう表示画像を生成する。例えば、注意喚起方向が正面方向である場合、表示画像生成部１８Ａは、カメラ３１が撮像した外部環境画像に基づいて、表示画像を生成する。この際、カメラ３１からの外部環境画像をそのまま表示画像としてしてもよいし、カメラ３１からの外部環境画像に適当な補正を加えて表示画像を生成してもよい。後者の場合、例えばカメラ３１からの外部環境画像を、運転者の目で見える風景のように補正して表示画像を生成してもよく、或いは、注意喚起すべき物体を含む一部画像（例えば、歩行者周辺の画像、信号機付近の画像、前方の他車両のブレーキランプ付近の画像）を切り出して、表示画像を生成してもよい。また、カメラ３１からの外部環境画像に、強調効果や色味等を重畳して、表示画像を生成してもよい。更に、カメラ３１からの外部環境画像に、「歩行者注意」といったようなメッセージを重畳して、表示画像を生成してもよい。更に、カメラ３１からの外部環境画像に、注意喚起すべき物体が存在する方向を表す矢印図形表示又はメッセージを重畳して、表示画像を生成してもよい。いずれにしても、表示画像は、注意喚起すべき物体を運転者が直ぐに把握できるような画像として生成され、カメラ３０，３１及び／又は３２から得られる各外部環境画像をベースに生成される。

ステップ１２２では、表示制御部１９Ａは、上記のステップ１２０にて表示画像生成部１８Ａにより生成された表示画像を、上記のステップ１１０にて選択された表示装置（表示装置２１乃至２６のうちの選択されたいずれか１つ）に出力する。これにより、運転者は、その視線方向の先にある表示装置に表示画像が出力されることに反応して、当該表示画像を見ることで、その視線方向を注意喚起方向に変化させる前に、注意喚起方向に存在する状況を把握することができる。

続くステップ１３０では、視線方向評価部１４Ａは、上記のステップ１２２で表示画像を出力した後の運転者の視線方向を監視し、運転者の視線方向が適性範囲内に変化したか否かを判定する。運転者の視線方向が適性範囲内に変化した場合には、ステップ１４０に進み、それ以外の場合には、ステップ１１０に戻る。この場合、ステップ１１０乃至１２２の処理が繰り返され、最新の運転者の視線方向に応じて選択された表示装置に、最新の外部環境画像に基づいて生成された表示画像が出力されることになる。

ステップ１４０では、表示制御部１９Ａは、上記のステップ１２２で実行した表示装置上の表示画像の出力を停止する。従って、運転者の視線方向が適性範囲内に変化するまで、外部環境画像に基づいて生成された表示画像が所定の表示装置上に出力され続けることになる。尚、表示制御部１９Ａは、車両の走行等に伴う環境変化により上記のステップ１００にて検出された状況が検出されなくなった場合にも、上記のステップ１２２で実行した表示装置上の表示画像の出力を停止する。

以上説明した本実施例によれば、運転者の視線方向が、注意すべき環境に向けられていない場合でも、運転者の視線方向の先にある表示装置に、注意すべき環境を撮像した画像が出力されるので、運転者は、その視線方向を、注意すべき環境の存在する方向（即ち注意喚起方向）に変化させる前に、当該出力された表示画像を見ることで、当該注意すべき環境を把握することができる。即ち、運転者は、タイムラグ無しに、注意すべき環境を把握することができる。

尚、本実施例においては、各種の変形例や追加的構成が考えられる。

例えば、上述の実施例においては、例えば交差点での出会い頭衝突等に備えて、注意すべき環境が、車両側方側にも存在することを考慮して、車両側方側を監視するカメラ３０，３２を設けているが、簡易的に、車両正面を監視するカメラ３１のみを設定してもよい。この場合、運転者の視線方向の望ましい範囲（＝適正範囲）は、正面方向を中心として設定された固定範囲であってよい。即ち、視線方向評価部１４Ａは、運転者の顔向きが正面を向いているか否かを検出する。そして、正面を向いていない場合には（即ち脇見をしている場合には）、表示制御部１９Ａは、表示位置決定部１６Ａにより同様に選択された運転者の視線方向の先の表示装置に、表示画像生成部１８Ａにより同様に生成された表示画像を出力することとしてよい。

また、上述の実施例において、運転者の視線方向が適性範囲内に無い場合に、追加的に、各種警報を前出しすること（通常時よりも早めに警報を出力すること）や、衝突予知制御やブレーキアシスト制御の実行用閾値を低めに設定することや、ブレーキアシスト量を通常時よりも増加させること等により、他の観点から安全を確保してもよい。その他、運転者の視線方向が適性範囲内に無い場合に、追加的に、ナビゲーション装置の音声案内の音量を大きくしたり、オーディオの音量を変化させること等により、必要な情報を提供しやすくしてもよい。

また、上述の実施例において、運転者の視線方向が適性範囲内に無い場合に、追加的に、自動的に車両を減速させる減速制御を実行してもよい。この場合、例えば後方からの追突回避の目的で、後続車両を検出し、後続車両と自車との相対距離や相対速度差又は相対化速度の差に応じて必要と判断できる場合には、ストップランプを点灯させることとしてよい。また、この場合、運転者の視線方向が適性範囲内に戻った時点で、減速を解除することとしてよく、運転者の視線方向が適性範囲内に戻らない場合には、危険状態（居眠りや急病等）と判断して、最終的には停止まで減速し（また、必要に応じて安全な路肩まで自動操舵制御を実行し）、ハザードランプを点滅させることとしてもよい。

実施例２は、上述した実施例１に対して、表示画像の表示位置の決定方法が主に異なる。その他の構成は、上述した実施例１と同様であって良く、以下では、実施例２に特有の構成について重点的に説明する。

図５は、本実施例による表示制御装置１０Ｂに実現される主要処理の流れを示すフローチャートである。尚、図５の説明に関して、上述の実施例１に係る図４と同様の処理については、同一の参照符号を付して説明を省略する。図５に示す処理は、イグニッションスイッチがオンとされた後、イグニッションスイッチがオフにされるまでの間、車両の走行中に繰り返し実行されるものであってよい。

ステップ１１２では、表示位置決定部１６Ｂは、上記のステップ１０６で得た現在の運転者の視線方向に基づいて、表示装置群２０の中から、現在の運転者の視線方向の近傍の適正範囲側の方向にある表示装置を、出力対象の表示装置として選択する。例えば、図６（Ａ）に示すように、運転者の視線方向の適正範囲が右斜め前方方向であるが、運転者の視線方向が助手席側のダッシュボードに向かう方向である場合を想定する。この場合、当該視線方向近傍に、左のサイドミラーに設けられる表示装置２２と、インパネ等に配置されるナビゲーション装置のディスプレイとしての表示装置２１と、ルームミラーに設けられる表示装置２４とが存在し、表示装置２２の方が他の表示装置２１，２４よりも運転者の視線方向に近いにも拘らず、表示位置決定部１６Ｂは、表示装置２１，２２，２４のうち、適正範囲側に存在する表示装置２１及び２４を、出力対象の表示装置として選択する。尚、図６（Ａ）に示す例のように、水平面内で見て、表示装置２１及び２４の方向に差異が実質的にない場合には、表示位置決定部１６Ｂは、表示装置２１及び２４の双方を選択してもよい。或いは、水平面に対する運転者の視線方向を考慮して、表示装置２１及び２４の何れか一方を選択してもよい。例えば、図６（Ｂ）に示す例のように、鉛直面内で見て、運転者の視線方向に近い方の表示装置２１が、出力対象の表示装置として選択されてよい。

ステップ１２２では、表示制御部１９Ｂは、上記のステップ１２０にて表示画像生成部１８Ｂにより生成された表示画像を、上記のステップ１１０にて選択された表示装置に出力する。これにより、運転者は、その視線方向の先にある表示装置に表示画像が出力されることに反応して、当該表示画像を見ることで、その視線方向を注意喚起方向に変化させる前に、注意喚起方向に存在する状況を把握することができる。

以上説明した本実施例によれば、運転者の視線方向が、注意すべき環境に向けられていない場合でも、運転者の視線方向近傍の表示装置に、注意すべき環境を撮像した画像が出力されるので、運転者は、その視線方向を、注意すべき環境の存在する方向（即ち注意喚起方向）に変化させる前に、当該出力された表示画像を見ることで、当該注意すべき環境を把握することができる。

特に、本実施例によれば、上述の如く、運転者の視線方向近傍で適性範囲側の方向にある表示装置に、注意すべき環境を撮像した画像が出力されるので、運転者の視線方向近傍で適性範囲とは反対側の方向にある表示装置（図６（Ａ）の例では表示装置２２）に、注意すべき環境を撮像した画像が出力される比較構成に比べて、運転者は、当該出力された表示画像を見てから、短時間で、その視線方向を、注意すべき環境を実際に目視できる方向（即ち適性範囲内）に変化させることができる。他言すると、運転者は、当該出力された表示画像を見る際に、視線方向を僅かに変化させるが、その変化方向と同一の方向に更に連続的に視線方向を変化させることで、注意すべき環境を実際に目視できる方向（即ち適性範囲内）に視線方向を変化させることができる。更に他言すると、運転者は、自然な流れで、表示画像を見る視線方向から、注意すべき環境を実際に目視できる視線方向へと視線方向を変化させることができる。これにより、注意すべき環境を実際に目視できる視線方向へと運転者の視線方向を効果的に誘導することができる。

尚、本実施例においても、上述の実施例１に関連して上述したような追加的構成の他、各種の変形例が考えられる。

例えば、出力対象の表示装置を選択する際に、運転者の特性を考慮してもよい。これは、上述の如く運転者の視線方向から適正範囲側にずらした方向の表示装置を選択する場合に、そのずらし量が大きいと、運転者によっては気が付かない場合が考えられるからである。運転者の特性は、過去の表示画像出力時の反応（例えば、視線方向の適正範囲への移動の有無、表示画像出力時から移動までの時間、表示画像出力時の視線方向の変化等）に基づいて判断され、かかる運転者の特性の表すデータは、例えば運転者データベースに運転者毎に蓄積されてもよい。かかる変形例では、例えば、図６に示す例で、運転者の特性上、表示装置２１を選択すると却って反応が遅くなる場合には、表示位置決定部１６Ｂは、表示装置２４を、出力対象の表示装置として選択することとしてもよい。

実施例３は、上述した実施例１に対して、適正範囲へと運転者の視線方向を誘導する方向に表示画像の表示位置を徐々に変化させる点が、主に異なる。その他の構成は、上述した実施例１と同様であって良く、以下では、実施例３に特有の構成について重点的に説明する。

本実施例３では、表示装置群２０Ｃは、上述の表示装置２１乃至２６に代えて、若しくはそれら全て又はそれらのうちの任意の表示装置に加えて、ウインドシールドガラス（フロントガラス）に設けられる表示装置２７を含む。表示装置２７は、図７に概略的に示すように、ウインドシールドガラス上に車両幅方向に沿って複数の表示領域２７ａ〜２７ｈを有する。この表示領域２７ａ〜２７ｈには、通常時には画像は表示されず、透明のままである。この表示領域２７ａ〜２７ｈにおける画像の表示は、例えば各表示領域２７ａ〜２７ｈに対応してそれぞれ設けられる複数個のヘッドアップディスプレイ装置により実現されてもよいし、或いは、表示領域２７ａ〜２７ｈをそれぞれ透過型液晶により構成することにより実現されてもよい。

図８は、本実施例による表示制御装置１０Ｃに実現される主要処理の流れを示すフローチャートである。尚、図８の説明に関して、上述の実施例１に係る図４と同様の処理については、同一の参照符号を付して説明を省略する。図８に示す処理は、イグニッションスイッチがオンとされた後、イグニッションスイッチがオフにされるまでの間、車両の走行中に繰り返し実行されるものであってよい。

ステップ１１６では、表示位置決定部１６Ｃは、上記のステップ１０６で得た現在の運転者の視線方向に基づいて、表示装置２７の表示領域２７ａ〜２７ｈのうち、現在の運転者の視線方向の近傍の適正範囲側の方向にある表示領域を、出力対象の表示領域として選択する。例えば、図９に示す例では、注意喚起方向が表示装置２７の領域２７ｇの方向に対応し、それに伴い適正範囲が表示装置２７の領域２７ｆ〜２７ｈの方向に対応する一方で、運転者の視線方向は、適正範囲から大きく逸脱した左のサイドミラー方向である。この場合、表示位置決定部１６Ｃは、現在の運転者の視線方向の近傍の適正範囲側の方向にある表示領域２７ａを、出力対象の表示領域として選択する。

ステップ１２３では、表示制御部１９Ｃは、上記のステップ１２０にて表示画像生成部１８Ｃにより生成された表示画像を、上記のステップ１１０にて選択された表示装置２７の表示領域に出力する。これにより、運転者は、その視線方向近傍にある表示装置２７の表示領域に表示画像が出力されることに反応して、当該表示画像を見ることで、その視線方向を注意喚起方向に変化させる前に、注意喚起方向に存在する状況を把握することができる。

ステップ１３０では、視線方向評価部１４Ｃは、上記のステップ１２３で表示画像を出力した後の運転者の視線方向を監視し、運転者の視線方向が適性範囲内に変化したか否かを判定する。運転者の視線方向が適性範囲内に変化した場合には、ステップ１４０に進み、それ以外の場合には、ステップ１３２に進む。

ステップ１３２では、視線方向評価部１４Ｃは、上記のステップ１２３で表示画像を出力した後の運転者の視線方向を監視し、運転者の視線方向が、表示画像が出力された表示装置２７の表示領域の方向に変化したか否かを判定する。運転者の視線方向が、表示画像が出力された表示装置２７の表示領域の方向に変化した場合には、ステップ１３４に進み、それ以外の場合には、ステップ１１６に戻る。ステップ１１６に戻る場合には、続くステップ１２０及び１２３において、最新の運転者の視線方向に応じて選択された表示装置の領域に、最新の外部環境画像に基づいて生成された表示画像が出力されることになる。

ステップ１３４では、表示位置決定部１６Ｃは、現在の表示装置２７の表示領域よりも更に適正範囲側の方向にある表示領域を、出力対象の表示領域として選択する。例えば、図９に示す例で、現在の表示装置２７の表示領域が表示領域２７ａの場合、表示領域２７ａの近傍の適正範囲側の方向にある表示領域２７ｂを、出力対象の表示領域として選択する。このようにして、運転者の視線方向が適性範囲内に変化するまで（ステップ１３０の肯定判定まで）、出力対象の表示装置２７の表示領域が、適正範囲に向けて徐々に変更される。即ち、図９に示す例では、出力対象の表示装置２７の表示領域が、表示領域２７ａから２７ｂ、２７ｃ、２７ｄ、２７ｅの順に徐々に変更される。

以上説明した本実施例によれば、運転者の視線方向が、注意すべき環境に向けられていない場合でも、運転者の視線方向近傍の表示装置２７の表示領域に、注意すべき環境を撮像した画像が出力されるので、運転者は、その視線方向を、注意すべき環境の存在する方向（即ち注意喚起方向）に変化させる前に、当該出力された表示画像を見ることで、当該注意すべき環境を把握することができる。

また、本実施例によれば、上述の如く、運転者の視線方向近傍で適性範囲側の方向にある表示装置２７の表示領域に、注意すべき環境を撮像した画像が出力されるので、運転者の視線方向近傍で適性範囲とは反対側の方向にある表示装置２７の表示領域に、注意すべき環境を撮像した画像が出力される比較構成に比べて、運転者は、当該出力された表示画像を見てから、短時間で、その視線方向を、注意すべき環境を実際に目視できる方向（即ち適性範囲内）に変化させることができる。

特に、本実施例によれば、上述の如く、表示画像が出力される表示装置２７の表示領域が、適性範囲側の方向に徐々に変化されるので、適性範囲内へと運転者の視線方向を効果的に誘導することができる。

尚、本実施例においても、上述の実施例１に関連して上述したような追加的構成の他、各種の変形例が考えられる。

例えば、本実施例では、最初の表示対象の表示装置２７の表示領域を、上述の実施例２の決定方法に従って、運転者の視線方向近傍で適性範囲側の方向にある表示装置２７の表示領域に設定しているが、上述の実施例１の決定方法に従って、運転者の視線方向の先にある表示装置２７の表示領域（又はその他の表示装置）に設定してもよい。例えば、図９に示す例で、最初の表示対象の表示装置は、運転者の視線方向の先にある表示装置２２（左のサイドミラーに設けられる表示装置）に設定されてもよい。この場合、出力対象の表示装置及び表示装置２７の表示領域が、表示装置２２から、表示装置２７の表示領域２７ａ、２７ｂ、２７ｃ、２７ｄ、２７ｅの順に徐々に変更される。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述した実施例では、表示画像は、所定位置に配置される表示装置上に表示されているが、例えばホログラフィ技術を用いて、任意の空間位置に結像させることにより出力されてもよい。この場合、運転者の視線方向の先に、表示画像を結像させる際には、運転者の見易さを考慮し（即ち焦点位置を変更が最小限に抑えられるように）、ある程度運転者の目の位置から遠い位置に、表示画像を結合させることしてもよい。

実施例１による外部環境表示装置１の主要構成を示す図である。 表示制御装置１０Ａの主要構成を示すブロック図である。 顔の眉と目の部分がパーツとして抽出された画像を示す図である。 実施例１による表示制御装置１０Ａに実現される主要処理の流れを示すフローチャートである。 実施例２による表示制御装置１０Ｂに実現される主要処理の流れを示すフローチャートである。 図６（Ａ）は、水平面内における運転者の視線方向と適正範囲との関係を概略的に示す図であり、図６（Ｂ）は、鉛直面内における運転者の視線方向と適正範囲との関係を概略的に示す図である。 ウインドシールドガラス上に設けられる複数の表示領域２７ａ〜２７ｈを概略的に示す図である。 実施例３による表示制御装置１０Ｃに実現される主要処理の流れを示すフローチャートである。 、水平面内における運転者の視線方向と適正範囲と表示領域２７ａ〜２７ｈとの関係を概略的に示す図である。

符号の説明

１ 外部環境表示装置
１０Ａ 表示制御装置
１２Ａ 注意喚起方向決定部
１４Ａ 視線方向評価部
１６Ａ 表示位置決定部
１８Ａ 表示画像生成部
１９Ａ 表示制御部
２０ 表示装置群
２２乃至２７ 表示装置
３０，３１，３２ カメラ
４０ ドライバモニターカメラ
４２ ドライバモニターＥＣＵ

Claims (3)

1. 運転者の視線方向を検知する視線方向検知手段と、
   車両の外部環境を撮像する撮像手段と、
   前記視線方向検知手段により検知された視線方向が所定範囲内にあるか否かを判定する判定手段と、
   前記判定手段により運転者の視線方向が所定範囲内に無いと判定された場合に、前記撮像手段が撮像した画像を用いて、運転者の視線方向が前記所定範囲であると仮定したときに運転者の目に映る外部環境の画像を、運転者の視線方向に応じた方向に表示する表示位置制御手段とを備えることを特徴とする、外部環境表示装置。
2. 前記表示位置制御手段は、運転者の視線方向の先に、前記外部環境の画像を表示する、請求項１に記載の外部環境表示装置。
3. 前記表示位置制御手段は、運転者の視線方向近辺で前記所定範囲側の方向に、前記外部環境の画像を表示する、請求項１に記載の外部環境表示装置。

Images