JP4668803B2 - 運転支援画像表示制御装置 - Google Patents

Description

本発明は、運転支援用の画像を車載モニタ等に表示させるための運転支援画像表示制御装置に関する。

従来知られている運転支援のための画像表示に係る技術では、車両周囲を撮像するための複数のカメラを車両の適当な箇所に搭載し、いずれか１台のカメラにより撮像された画像を車載モニタ等の画面に表示したり、又は２台以上のカメラにより撮像された画像を画面上で分割表示したり（例えば、左右に等分割表示したり、ナビゲーション画像等を表示中の画面（親画面）内に子画面を設定してこの子画面に表示したりするなど）、あるいは各画像を切り替えて表示している。

かかる従来技術に関連する技術としては、例えば、特許文献１に記載されるように、車両に搭載された車両周囲撮像用の複数のカメラのうち、車両の運転状況に関する車両情報に基づいて選択した少なくとも１つのカメラにより撮像された画像を表示装置に表示させるようにしたものがある。
特開２００５−１８６６４８号公報

上述したように従来の技術では、運転支援用画像を表示させる機能を備えた車載装置が提供されているが、運転者は、運転行動中に車外の複数の箇所を注視しながら運転することが多く、また、その運転行動中に注視している箇所や当該箇所を注視している時間的割合（注視割合）は、運転者の個人差や運転経験により各人毎に異なる。

このため、車載装置が提供する運転支援画像（注視箇所）と当該運転行動中に運転者が注視する箇所とは必ずしも一致するとは限らず、また、画面分割して２箇所の画像を表示する場合には、車載装置が提供する各画像の表示割合（面積比）と当該運転行動中に運転者が注視している各箇所の注視割合とは必ずしも一致しないといった問題があった。例えば、左折時には前方交差点の左コーナーや左後方など複数の箇所を注視するが、全ての運転者が必ず前方交差点の左コーナーと左後方を注視するとは限らず、運転者によっては、これら以外に別の箇所を注視している場合もあり得る。また、同じ複数の箇所を注視する場合でも、運転経験の浅い運転者と運転経験の豊富な運転者とでは、各々の箇所に対する注視割合が異なっているのが普通である。

本発明は、かかる従来技術における課題に鑑み創作されたもので、運転者の個人差や運転経験により各人毎に異なる運転行動時の注視箇所に応じた運転支援画像を表示することができる運転支援画像表示制御装置を提供することを目的とする。

上述した従来技術の課題を解決するため、本発明の一形態に係る運転支援画像表示制御装置は、自車両の周囲を撮像可能に設置された撮像手段と、前記撮像手段により取得された撮像画像を画面に表示する表示手段と、所定の各運転行動毎にそれぞれ当該運転行動中に注視する割合の高い複数の車外の注視箇所に関するデータを登録した記憶手段と、ユーザの指示を入力する入力手段と、自車両の運転状況に関する車両情報を出力する車両情報出力手段と、前記撮像手段、表示手段、記憶手段、入力手段及び車両情報出力手段に動作可能に接続された制御手段とを備え、前記制御手段は、前記車両情報に基づいて自車両の運転行動を特定したときに、前記記憶手段に登録されているデータを参照して、当該運転行動時における注視箇所の１つに対応する、前記撮像手段により撮像された画像を前記表示手段の画面に表示させ、さらに前記入力手段を介して画面表示切替に係るユーザ指示を検出した場合に、前記記憶手段に登録されているデータを参照して次の表示候補の注視箇所に対応する画像を前記表示手段の画面に表示させることを特徴とする。

この形態に係る運転支援画像表示制御装置によれば、あらかじめ記憶手段に所定の各運転行動毎に当該運転行動中に注視する割合の高い複数の車外の注視箇所に関するデータを登録しておき、制御手段により自車両の運転行動を特定したときに、このデータを参照して当該運転行動時における注視箇所の１つに対応する画像（撮像手段により撮像された画像）を表示手段の画面に表示するようにしている。そして、この表示された画像（注視箇所）がユーザの注視したい箇所でなければ、入力手段を介して画面表示切替に係る指示を与えることで、制御手段により次の表示候補（注視箇所）に対応する画像が画面に表示されるようになっている。

つまり、当該運転行動中に装置が運転支援のために表示した箇所（運転支援画像候補）とユーザが見たい注視箇所が異なっている場合に、入力手段を介して表示切替指示を与えることで、ユーザが見たい注視箇所に画面表示を切り替えることができる。これにより、運転者の個人差や運転経験により各人毎に異なる運転行動時の注視箇所に応じた運転支援画像を提供することが可能となる。

本発明に係る運転支援画像表示制御装置の他の構成上の特徴及びそれに基づく具体的な処理態様等については、後述する発明の実施の形態を参照しながら詳細に説明する。

以下、本発明の実施の形態について、添付の図面を参照しながら説明する。

図１は本発明の一実施形態に係る運転支援画像表示制御装置の構成をブロック図の形態で示したものである。

本実施形態に係る運転支援画像表示制御装置２０は、図示のように制御部１０と、注視箇所等データベース１１（以下、単に「ＤＢ」ともいう。）と、車両周囲を撮像するための４台の車載カメラ１２ａ，１２ｂ，１２ｃ及び１２ｄと、各車載カメラ１２ａ〜１２ｄに対応して設けられた画像処理部１３ａ，１３ｂ，１３ｃ及び１３ｄと、運転者の視線方向を検出するための視線検出用カメラ１４と、視線方向認識部１５と、操作部１６と、車両状態検出センサ１７と、表示装置１８とを備えて構成されている。

制御部１０はマイクロコンピュータ等により構成され、後述するように本装置２０において行う運転支援画像の表示に係る処理を制御するものである。表示される運転支援画像には、例えば、ナイトビジョン画像、サイドミラー拡大画像（ドアミラーに取り付けたカメラで撮像した左後方又は右後方の拡大画像）、前方対向車強調表示画像（前方カメラで撮像した対向車に四角い枠表示を付した画像）などが含まれる。また、制御部１０には、運転支援画像の表示制御に係る処理の過程で視線認識機能（視線検出用カメラ１４及び視線方向認識部１５）に基づいて計測される運転者の注視箇所（表示画面の注視を除く）及びその方位とその注視割合に関するデータを格納しておくためのバッファメモリが内蔵されている。

注視箇所等データベース（ＤＢ）１１は、書き換え可能な記憶媒体であり、例えば、ＨＤＤやＤＶＤ、ＣＤ等のディスクメモリ、ＳＤメモリやスティックメモリ等の半導体メモリなどからなる。例えば、本装置２０を搭載した車両にナビゲーションシステムが搭載されていてそのナビゲーション用の地図データを格納した記憶媒体にＨＤＤが用いられている場合には、そのＨＤＤ内の一部の記憶領域を注視箇所等データベース１１として割り当てることができる。

この注視箇所等データベース１１には、あらかじめ出荷時に初期値として、複数の被験者に試走行を行わせて求めた、左折、右折、直進等の「運転行動」毎の平均的な「注視箇所」のデータが格納されている。具体的には、当該運転行動中に各運転者（被験者）が注視した車外の複数の箇所（注視箇所）のうち、その運転行動中に注視した割合が高かった順に２〜３箇所抽出したデータが格納されている。さらに、各々の「注視箇所」に対応させて、当該注視箇所の「方位」（運転者の真正面の視線方向を基準にした方向又は角度）を指示するデータも併せて格納されている。さらに、各々の「注視箇所」に対応させて、当該運転行動中に当該箇所を注視していた時間的割合を示す「注視割合」のデータも格納されている。ただし、ＤＢ１１に格納される「注視割合」は、当該運転行動中に注視した箇所のうち、しきい値（例えば、２割）以上の割合で注視した箇所についてのみ抽出したものである。この「注視割合」のデータは、後述するように運転支援画像の分割表示に係る処理（第２の処理例）において書き替えの対象とされる。

図２は、注視箇所等データベース（ＤＢ）１１に初期値として格納されたデータの一例を示したものである。図中、「方位」のデータについては、320(deg)、210(deg)、……と表記されているが、これは、運転者の真正面の視線方向を基準にして時計回りに計測した角度（方位）を表している。このようにＤＢ１１に格納された初期値（「注視箇所」等のデータ）は、後述するように制御部１０が行う運転支援画像の表示制御の際に参照され、また、当該運転行動中に一定条件下で制御部１０が検出した新たな「注視箇所」等のデータに書き替えられる。

各車載カメラ１２ａ，１２ｂ，１２ｃ及び１２ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を取得するためのものであり、車両の適当な箇所に設置されている。特に図示はしないが、前方カメラ１２ａは車両の前部（例えば、車室内のルームミラーの近傍）に、後方カメラ１２ｂは車両の後部（リヤ側の後ろ側の天井部分の近傍）に、左方カメラ１２ｃ及び右方カメラ１２ｄはそれぞれ車両の左側部及び右側部（例えば、ドアミラーの下部）に設置されている。本実施形態では、各車載カメラ１２ａ〜１２ｄは、制御部１０からの制御に基づいて水平面内で左右方向に所定の角度範囲（理想的には１８０°に近い広角範囲）で回動し、撮像方向（レンズの向き）を変えられるようになっている。これにより、各車載カメラ１２ａ〜１２ｄは協働して自車両の全周囲を撮影できるようになっている。また、必要に応じてズーム機能も備えており、車両周囲の近傍を広角範囲で撮像するモード（ズーム機能を使用しない場合）と、車両から離れた遠方を狭角範囲で撮像するモード（ズーム機能を使用した場合）とを切り替えられるようになっている。

各画像処理部１３ａ〜１３ｄは、それぞれ対応する車載カメラ１２ａ〜１２ｄで撮影して得られた画像の信号を自車両の周辺の標識、他車両、路面状況等として認識するための機能ブロックであり、車載カメラ１２ａ〜１２ｄで取得された画像のアナログ信号を増幅し、デジタル化して出力する機能を有している。画像処理部１３ａ〜１３ｄでは、一般的な画像認識装置において行われている処理と同様の処理が行われ、例えば、取得された画像のノイズを除去したり、２値化や白線検出、エッジ検出等の手法を用いて、取得画像の中から特徴となる画像を識別し、その識別した画像を予め用意した複数のマッチング用パターン画像と照合し、一致した場合にその結果を出力する。

視線検出用カメラ１４は、車両の乗員（この場合、運転者）の顔の画像を取得するためのものであり、特に図示はしないが、車室内の適当な箇所（例えば、フロント席の前側の天井部分の近傍）に設置されている。この視線検出用カメラ１４により撮影された運転者の顔の画像（データ）は、視線方向認識部１５に入力される。

視線方向認識部１５では、この入力された画像（データ）から、当該画像に含まれる複数の特徴点（例えば、目頭、目尻、鼻孔等）の位置を検出し、その検出した位置に基づいて、画像上における顔面が向けられている方向を特定し、その方向を「視線方向」として認識する。すなわち、一般的に人の視野は、目で見たときに注目している領域（中心視）とその周辺（周辺視）とに大別され、中心視と周辺視とでは認知能力が異なる。言い換えると、人は、中心視で見ている対象は何であるかを認識することができるものの、周辺視では、何であるのかを認識することが難しくなり、その傾向は中心視から離れるほど強くなる。そのため、人は、対象物を認識する際、その対象物が中心視内に位置するように、その認識すべき対象物の方向へ顔を向ける。これにより、運転者が見ている対象物（本実施形態では、後述するように運転行動中に注視した「箇所」）の視線方向を特定することができる。視線方向は、例えば、車両の重心位置を中心とし、車両の前後（Ｘ軸）、左右（Ｙ軸）及び高さ（Ｚ軸）の各座標軸により構成される車両座標系に対する目の位置と、この目の位置における視線方向の各座標軸に対する角度とによって特定される。

操作部１６は、ユーザが指示した情報を入力するためのものであり、図３に模式的に示すようにハンドル（ステアリングホイール）に付設された手元スイッチの形態を有している。この手元スイッチ（操作部１６）は、本発明に関連する入力指示として、後述するように運転支援表示を行わせるための指示、画面に表示された運転支援画像を切り替えるための指示、運転支援画像を２分割表示するに際しその分割表示態様（各注視箇所をその注視割合に反比例した面積の表示割合で分割表示させるのか、又は比例した面積の表示割合で分割表示させるのか）を選択するための指示等を与えるものである。本実施形態では、操作部１６として「手元スイッチ」を使用しているが、これは、運転中でも安全に操作を行えるからである（操作性の向上）。この「手元スイッチ」以外にも、タッチパネルやリモコン送信機などを使用可能であることはもちろんである。

車両状態検出センサ１７は、車両の運転状況に関する車両情報を出力するものであり、特定的には、左折、右折、直進等の「運転行動」を特定する信号を出力するためのものである。車両状態検出センサ１７には、シフト位置センサ、ステアリング角（操舵角）センサ、車速センサ、距離センサ、アクセル／ブレーキ踏み込みストロークセンサ等が含まれる。また、出力される車両情報には、各シフト位置（ＡＴ車の場合、Ｄ、Ｎ、Ｒ、Ｐ）、ハンドル操作の回転量に応じた操舵角、自車の走行速度、自車周囲に存在する物体までの距離などが含まれる。さらに、イグニションキーのオン／オフ操作に基づいたエンジン起動／停止信号なども含まれる。

表示装置１８はＬＣＤモニタ等からなり、車室内のセンターコンソール（いわゆるダッシュボード）の中間位置の上方で運転者の運転中の視線の方向とほぼ同じ高さの位置に設置されている。この位置は、運転者の運転中の視線の直下であるメータパネル上やその内側でもよい。この表示装置１８の画面には、後述するように制御部１０からの制御に基づいて運転支援画像が表示される。

以上のように構成された運転支援画像表示制御装置２０において、制御部１０は「制御手段」に、注視箇所等データベース（ＤＢ）１１は「記憶手段」に、車載カメラ１２ａ〜１２ｄは「撮像手段」に、視線検出用カメラ１４及び視線方向認識部１５は協働して「視線方向特定手段」に、操作部１６は「入力手段」に、車両状態検出センサ１７は「車両情報出力手段」に、表示装置１８は「表示手段」に、それぞれ対応している。

以下、本実施形態に係る運転支援画像表示制御装置２０において行う運転支援画像の表示制御に係る処理について、図４〜図６を参照しながら説明する。

＜第１の処理例：図４参照＞
本処理フローでは、初期状態として、図２に例示したようにＤＢ１１にあらかじめ初期値が登録され、また、本装置２０を搭載した車両は道路上を走行しているものとする。

先ず最初のステップＳ１では、制御部１０において、操作部１６を介して入力された運転支援表示に係るユーザ指示（この場合、図３に示すように運転者による手元スイッチの操作）を検出する。

次のステップＳ２では、走行中の自車両の運転行動を特定する。すなわち、制御部１０において、車両状態検出センサ１７から出力される車両情報（シフト位置センサにより検出される「シフト位置」、ステアリング角センサにより検出される「操舵角」、車速センサにより検出される「走行速度」など）に基づいて、自車両は今「左折」しようとしているのか、「右折」しようとしているのか、「直進」しているのかなどを特定する。

次のステップＳ３では、制御部１０により、視線検出用カメラ１４を起動させ、特定された運転行動中の運転者の「視線記録」を開始する。すなわち、制御部１０が視線方向認識部１５と協働して、視線検出用カメラ１４で撮影された運転者の顔画像からその顔面が向けられている視線方向（この場合、当該運転行動中に運転者が注視した車外の箇所）を特定し、その注視した箇所（方位）と当該箇所を注視していた時間的割合を示す「注視割合」を計測し、その計測結果を「視線記録」として制御部１０内のバッファメモリにいったん格納する。

次のステップＳ４では、制御部１０において、ＤＢ１１に登録されている「注視箇所」等のデータ（図２）を参照し、当該運転行動時における「注視箇所」の１つに対応する画像（運転支援画像候補）を表示装置１８の画面に表示する。すなわち、制御部１０において、当該注視箇所（例えば、図２において「左折」時の「前方左コーナー」）に対応する「方位」から、各車載カメラ１２ａ〜１２ｄのうち運転支援表示に使用するいずれかのカメラを選択し、当該カメラを起動させてその撮像方向（レンズの向き）をその「方位」に指向させ、当該カメラにより撮像された画像を、対応する画像処理部１３ａ〜１３ｄを通して適宜画像処理したものを取得し、表示装置１８の画面に表示する。

次のステップＳ５では、制御部１０において、操作部１６（手元スイッチ）を介して運転支援画像の表示切替に係る操作を検出した（ＹＥＳ）か否（ＮＯ）かを判定する。すなわち、ユーザ（この場合、運転者）が表示装置１８の画面に表示されている注視箇所（運転支援画像候補）を視認し、その表示箇所は自分の見たい「運転支援画像」ではないと判断した場合は、手元スイッチ（図３）を操作して表示切替を指示し（判定結果がＹＥＳの場合）、次のステップＳ６に進む。

一方、画面に表示されている注視箇所は自分の見たい「運転支援画像」であると判断した場合は、手元スイッチを操作せずにそのままとし（判定結果がＮＯの場合）、本処理フローは「終了」となる。

次のステップＳ６では、制御部１０において、ＤＢ１１に登録されている「注視箇所」等のデータ（図２）を参照し、当該運転行動時における表示候補（「注視箇所」）はまだ有る（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ４に戻って上記の処理を繰り返し、判定結果がＮＯの場合にはステップＳ７に進む。例えば、この時点で画面に表示されている画像が、図２において「左折」時の「前方左コーナー」の「方位」に対応する画像であれば、ステップＳ４に戻って、次の表示候補である「左後方」に対応する画像を表示する。また、この時点で画面に表示されている画像が、図２において「左折」時の「左後方」の「方位」に対応する画像であれば、次の表示候補は無いので、ステップＳ７に進む。

ステップＳ７では（当該運転行動時における運転支援画像候補を全て表示したが表示切替の操作が行われた場合）、制御部１０において、当該運転行動中に運転者が見たかった注視箇所は表示されなかったと判断し、視線検出用カメラ１４を停止させて視線記録を終了する。そして、その「視線記録」から、当該運転行動中に運転者が最も注視した箇所を抽出し、その「注視箇所」に対応させて当該箇所の「方位」及び「注視割合」のデータと共に、新たな運転支援画像表示候補としてＤＢ１１に登録する。

例えば、ＤＢ１１にあらかじめ当該運転行動に対応させて注視割合が高い順に第１、第２優先の注視箇所が登録されていた場合、第２優先の注視箇所を破棄し、第１優先の注視箇所を第２優先とし、新たに抽出した注視箇所を第１優先の注視箇所としてデータを書き替えるようにする。あるいは、データの破棄を行わずに、第１、第２優先の注視箇所をそれぞれ第２、第３優先とし、新たに抽出した注視箇所を第１優先の注視箇所とするようにデータ登録を行ってもよい。また、新たに抽出した注視箇所は、必ずしも第１優先の注視箇所として登録する必要はなく、その抽出した箇所の注視割合とＤＢ１１内の初期値（各注視箇所の注視割合）との比較に基づいて適宜優先度を決定するようにしてもよい。

この後、ステップＳ２に戻って上記の処理を繰り返す。これにより、ステップＳ７の処理によりＤＢ１１に新たに登録されたデータは、次に同じ運転行動が開始されたときに利用することができる。

以上説明したように、本実施形態に係る運転支援画像表示制御装置２０（図１）において行う運転支援画像の表示制御に係る第１の処理例（図４）によれば、あらかじめ注視箇所等データベース（ＤＢ）１１に所定の各「運転行動」毎に当該運転行動中に注視する割合の高い複数の車外の「注視箇所」及びその「方位」のデータを登録しておき（図２）、制御部１０により自車両の運転行動を特定したときに、この「注視箇所」等のデータを参照して当該運転行動時における注視箇所の１つに対応する画像（車載カメラ１２ａ〜１２ｄのいずれかにより撮像された画像）を表示装置１８の画面に表示するようにしている。そして、この表示された注視箇所が運転者の見たい箇所でなければ、手元スイッチ（操作部１６）により表示切替操作を行うことで、制御部１０からの制御に基づき表示装置１８の画面に次の表示候補（注視箇所）に対応する画像が表示されるようになっている。

このように、当該運転行動中に装置２０が運転支援のために表示した箇所（運転支援画像候補）と運転者が見たい注視箇所が異なっている場合には、手元スイッチ１６を操作することで、画像表示を運転者が見たい注視箇所に簡単に切り替えることができる。これにより、運転者の個人差や運転経験により各人毎に異なる運転行動時の注視箇所に応じた運転支援画像を表示することができる。

また、運転者の個人差や運転経験によっては、当該運転行動中に運転支援画像候補として表示された全ての注視箇所が必ずしも運転者が見たかった箇所とは限らない。このような場合に、本処理例（図４）では、視線認識機能を利用して、当該運転行動中に運転者が最も注視した車外の箇所を計測し、ＤＢ１１に登録するようにしているので、次の同じ運転行動時にはこの注視箇所を運転支援画像候補として表示することができる。つまり、運転者の個人特性に合わせた最適な運転支援画像を提供することができる。

＜第２の処理例：図５、図６参照＞
この処理例では、運転支援画像を画面に２分割表示する場合を例にとっている。本処理フローでは、第１の処理例（図４）の場合と同様に、初期状態として、ＤＢ１１にあらかじめ初期値が登録され（図２参照）、本装置２０を搭載した車両は道路上を走行しているものとする。

先ず最初のステップＳ１１では、上記のステップＳ１（図４）で行った処理と同様にして、制御部１０により、操作部１６（図３の手元スイッチ）を介して入力された運転支援表示に係るユーザ指示を検出する。ただし、このユーザ指示には、運転支援画像を２分割表示するに際しその分割表示態様（各注視箇所をその注視割合に反比例した面積の表示割合で分割表示させるのか、又は比例した面積の表示割合で分割表示させるのか）を選択するための指示が含まれる。

次のステップＳ１２では、上記のステップＳ２（図４）で行った処理と同様にして、制御部１０により、車両状態検出センサ１７から出力される車両情報に基づいて、走行中の自車両の運転行動（左折、右折、直進等）を特定する。

次のステップＳ１３では、上記のステップＳ３（図４）で行った処理と同様にして、制御部１０により、視線検出用カメラ１４を起動させて、当該運転行動中の運転者の「視線記録」を開始する。すなわち、視線方向認識部１５と協働して、当該運転行動中に運転者が注視した車外の箇所を特定し、その注視した箇所（方位）と当該箇所の「注視割合」を計測し、その結果を「視線記録」としてバッファメモリにいったん格納する。

次のステップＳ１４では、制御部１０により、ＤＢ１１に登録されている「注視箇所」等のデータ（図２）を参照し、当該運転行動時における２箇所の「注視箇所」に対応する画像を、ステップＳ１１で選択指示された分割表示態様に応じて、表示装置１８の画面に左右２分割表示する。すなわち、制御部１０により、当該注視箇所（例えば、図２において「右折」時の「前方対向車」及び「進入横断歩道」）に対応する各「方位」から、各車載カメラ１２ａ〜１２ｄのうち運転支援表示に使用する２台のカメラを選択し、当該各カメラを起動させてその撮像方向（レンズの向き）を各々の「方位」に指向させ、当該各カメラにより撮像された画像を、それぞれ対応する画像処理部１３ａ〜１３ｄを通して適宜画像処理したものを取得し、表示装置１８の画面に分割表示する。

このとき、分割表示される各画像の表示面積は、指示された分割表示態様に応じて各々の注視割合に反比例（又は比例）している。図６はその分割表示に係る画面表示の一例を示したものであり、交差点を右折しようとする場合（図２の運転行動「右折」の場合）を例にとっている。

図６（ａ）に示す例では、「右折」時の２箇所の注視箇所（「前方対向車」と「進入横断歩道」）にそれぞれ対応する画像を画面に分割表示する際に、「前方対向車」の注視割合（５割）と「進入横断歩道」の注視割合（３割）に反比例させて、それぞれ「前方対向車」の方位に対応する画像の表示割合を（８−５）／８×１０割、「進入横断歩道」の方位に対応する画像の表示割合を（８−３）／８×１０割としている。

この表示態様とは逆に、図６（ｂ）に示す例では、「前方対向車」の注視割合（５割）と「進入横断歩道」の注視割合（３割）に比例させて、それぞれ「前方対向車」の方位に対応する画像の表示割合を５／８×１０割、「進入横断歩道」の方位に対応する画像の表示割合を３／８×１０割としている。

再び図５を参照すると、次のステップＳ１５では、制御部１０により、視線検出用カメラ１４を停止させて視線記録を終了し、その時点でバッファメモリに格納されている「視線記録」に基づいて、当該運転行動中に運転者が実際に注視した箇所（方位）の「注視割合」を、ＤＢ１１に登録されている「注視割合」の初期値と比較する。

次のステップＳ１６では、制御部１０において、その比較結果に基づき、当該注視割合が初期値に対して所定割合（例えば、２０％）以上ずれている（ＹＥＳ）か否（ＮＯ）かを判定する。すなわち、当該運転行動中に運転者が実際に注視した箇所の注視割合が元の注視割合（初期値）と比べて２０％以上ずれていれば、元の注視割合（初期値）に対応する注視箇所は、運転者が「運転支援画像」として見たい画像ではないと判断し（判定結果がＹＥＳの場合）、次のステップＳ１７に進む。

一方、当該運転行動中に運転者が実際に注視した箇所の注視割合が元の注視割合（初期値）と比べて２０％以内のずれの範囲内に収まっていれば、元の注視割合（初期値）に対応する注視箇所は、運転者が「運転支援画像」として見たい画像とほぼ一致していると判断し（判定結果がＮＯの場合）、本処理フローは「終了」となる。

次のステップＳ１７では、制御部１０からの制御に基づき注視箇所等データベース (ＤＢ) １１に対し、初期値（元の注視割合）に代えて、バッファメモリにいったん格納した計測結果（当該注視割合）を登録する。つまり、ＤＢ１１内の「注視割合」のデータを書き替える。この後、ステップＳ１２に戻って上記の処理を繰り返す。これにより、ステップＳ１７の処理により変更された「注視割合」のデータは、次に同じ運転行動が開始されたときに利用することができる。

以上説明したように、本実施形態に係る運転支援画像表示制御装置２０（図１）において行う運転支援画像の表示制御に係る第２の処理例（図５）によれば、あらかじめ注視箇所等データベース（ＤＢ）１１に所定の各「運転行動」毎に当該運転行動中に注視する割合の高い２箇所の車外の「注視箇所」及びその「方位」のデータと各注視箇所の「注視割合」のデータとを登録しておき（図２）、制御部１０により自車両の運転行動を特定したときに、この「注視箇所」等のデータを参照して当該運転行動時における２箇所の注視箇所に対応する画像（各車載カメラ１２ａ〜１２ｄのうちいずれか２台により撮像された各画像）を、あらかじめ選択指示された分割表示態様に応じて表示装置１８の画面に左右２分割表示するようにしている（図６参照）。

これにより、各々の注視割合に反比例した面積の表示割合で各注視箇所を分割表示した場合には、注視割合が低い方の注視箇所（どちらかと言えば、見落とし易い箇所）の画像が相対的に大きく表示されるので、その注視箇所における障害物等の存在の見落としを減らすことができる。また、この表示態様とは逆に、各々の注視割合に比例した面積の表示割合で各注視箇所を分割表示した場合には、注視割合が高い方の注視箇所（よく見る方の箇所）の画像が相対的に大きく表示されるので、特に夜間などナイトビジョン画像を表示させるような状況下では、運転者にとっては好ましい表示態様である。

また、ＤＢ１１に登録されている「注視割合」の初期値と当該運転行動中に運転者が注視した箇所の「注視割合」が大きくずれている場合には、ＤＢ内の初期値に代えて、当該運転行動中に計測された注視箇所の「注視割合」を登録するようにしているので、次の同じ運転行動時にはこの「注視割合」を利用して、運転者の個人特性に合わせた最適な運転支援分割画像を提供することができる。

上述した実施形態では、説明の簡単化のため、第１の処理例（図４）に係る実施の態様と第２の処理例（図５）に係る実施の態様とに分けて説明したが、本発明の要旨（運転者の個人差や運転経験により各人毎に異なる運転行動中の注視箇所／注視割合に応じた運転支援画像を提供すること）からも明らかなように、必要に応じて両者の実施の態様を適宜組み合わせてもよいことはもちろんである。

また、上述した実施形態では、注視箇所等データベース（ＤＢ）１１に初期値として左折、右折、直進等の「運転行動」毎に「注視箇所」、「方位」及び「注視割合」の各データを登録しておく場合を例にとって説明したが、さらに必要に応じて、ＤＢ１１を利用する各ユーザのＩＤ情報も登録しておき、各ユーザ毎に「注視箇所」等のデータ（初期値）を登録し、その初期値を書き替えるようにしてもよい。この場合、各ユーザの識別は、例えば、ハンドルに静脈検出機構を装備させ、これを利用することで行われ得る。

また、上述した実施形態では、運転支援画像候補として表示された注視箇所と、運転者が当該運転行動中に実際に注視した箇所が異なっていた場合に、制御部１０により当該運転行動中に検出された「最も注視した箇所」のデータをＤＢ１１に自動的に記録させる場合を例にとって説明したが、必ずしも「自動的に」記録させる必要がないことはもちろんである。例えば、当該運転行動中に運転者がその「箇所」を視認しながら手元スイッチを操作するなどして、マニュアル操作に基づきデータを記録させるようにしてもよい。

本発明の一実施形態に係る運転支援画像表示制御装置の構成を示すブロック図である。 図１の装置における注視箇所等データベースに初期値として格納されたデータの一例を示す図である。 図１の装置における操作部の一例を模式的に示す図である。 図１の装置において行う運転支援画像の表示制御に係る第１の処理例を示すフロー図である。 図１の装置において行う運転支援画像の表示制御に係る第２の処理例を示すフロー図である。 図５の処理に基づいた運転支援画像の分割表示に係る画面表示の一例を示す図である。

符号の説明

１０…制御部（制御手段）、
１１…注視箇所等データベース（記憶手段）、
１２ａ〜１２ｄ…車載カメラ（撮像手段）、
１３ａ〜１３ｄ…画像処理部、
１４…視線検出用カメラ（視線方向特定手段）、
１５…視線方向認識部（視線方向特定手段）、
１６…操作部（入力手段）、
１７…車両状態検出センサ（車両情報出力手段）、
１８…表示装置（表示手段）、
２０…運転支援画像表示制御装置。

Claims (2)

1. 自車両の周囲を撮像可能に設置された撮像手段と、
   前記撮像手段により取得された撮像画像を画面に表示する表示手段と、
   所定の各運転行動毎にそれぞれ当該運転行動中に注視する割合の高い複数の車外の注視箇所に関するデータを登録した記憶手段と、
   ユーザの指示を入力する入力手段と、
   自車両の運転状況に関する車両情報を出力する車両情報出力手段と、
   前記撮像手段、表示手段、記憶手段、入力手段及び車両情報出力手段に動作可能に接続された制御手段とを備え、
   前記制御手段は、前記車両情報に基づいて自車両の運転行動を特定したときに、前記記憶手段に登録されているデータを参照して、当該運転行動時における注視箇所の１つに対応する、前記撮像手段により撮像された画像を前記表示手段の画面に表示させ、
   さらに前記入力手段を介して画面表示切替に係るユーザ指示を検出した場合に、前記記憶手段に登録されているデータを参照して次の表示候補の注視箇所に対応する画像を前記表示手段の画面に表示させることを特徴とする運転支援画像表示制御装置。
2. 前記ユーザ指示を与える運転者の顔の画像を取得し、該画像から運転者の視線が向けられている方向を特定する視線方向特定手段を備え、
   前記制御手段は、前記車両情報に基づいて自車両の運転行動を特定したときに、前記視線方向特定手段と協働して、当該運転行動中に運転者が注視した車外の箇所及びその方位と当該箇所を注視していた時間的割合を示す注視割合とを計測し、該計測されたデータを視線記録として一時保存すると共に、
   前記画面表示切替に係るユーザ指示を検出した場合において当該運転行動時における次の表示候補が無いと判定したときに、前記視線記録から当該運転行動中に最も注視した箇所を抽出し、該抽出した注視箇所に関するデータを新たな表示候補として前記記憶手段に登録することを特徴とする請求項１に記載の運転支援画像表示制御装置。

Images