以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.第1の実施の形態>
<1−1.構成>
図1は、第1の実施の形態の画像表示システム10の構成を示す図である。この画像表示システム10は、車両(本実施の形態では、自動車)において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する機能を有している。画像表示システム10のユーザ(代表的にはドライバ)は、この画像表示システム10を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。以下、この画像表示システム10が搭載される車両を「自車両」という。
図1に示すように、画像表示システム10は、複数のカメラ5、画像生成装置2、メインディスプレイ3、サブディスプレイ6及び操作ボタン4を主に備えている。複数のカメラ5はそれぞれ、自車両の周辺を撮影して撮影画像を取得し、取得した撮影画像を画像生成装置2に入力する。画像生成装置2は、自車両の周辺を示す撮影画像を用いて、メインディスプレイ3に表示するための周辺画像を生成し、サブディスプレイ6に表示するための補助画像を生成する。メインディスプレイ3は、画像生成装置2で生成された周辺画像を表示し、サブディスプレイ6は、画像生成装置2で生成された補助画像を表示する。また、操作ボタン4は、ユーザの操作を受け付ける。
複数のカメラ5はそれぞれ、レンズと撮像素子とを備えており、自車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ5は、フロントカメラ5F、リアカメラ5B、左サイドカメラ5L、及び、右サイドカメラ5Rを含んでいる。これら4つのカメラ5F,5B,5L,5Rは、自車両9において互いに異なる位置に配置され、自車両の周辺の異なる方向を撮影する。
図2は、4つのカメラ5F,5B,5L,5Rがそれぞれ撮影する方向を示す図である。フロントカメラ5Fは、自車両9の前端に設けられ、その光軸5Faは自車両9の直進方向に向けられる。リアカメラ5Bは、自車両9の後端に設けられ、その光軸5Baは自車両9の直進方向の逆方向に向けられる。左サイドカメラ5Lは左側の左サイドミラー93Lに設けられ、その光軸5Laは自車両9の左側方(直進方向の直交方向)に向けられる。また、右サイドカメラ5Rは右側の右サイドミラー93Rに設けられ、その光軸5Raは自車両9の右側方(直進方向の直交方向)に向けられる。
これらのカメラ5F,5B,5L,5Rのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ5F,5B,5L,5Rは180度以上の画角θを有している。このため、4つのカメラ5F,5B,5L,5Rを利用することで、自車両9の全周囲を撮影することが可能である。
図1に戻り、メインディスプレイ3及びサブディスプレイ6は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。メインディスプレイ3及びサブディスプレイ6は、ユーザがその画面を視認できるように、自車両9のインストルメントパネルなどに配置される。メインディスプレイ3は、画像生成装置2と同一のハウジング内に配置されて画像生成装置2と一体化されていてもよく、画像生成装置2とは別体の装置であってもよい。サブディスプレイは、メインディスプレイとは別の位置であって、ユーザが自車両を運転中においてもメインディスプレイより視認し易い位置に配置されている。例えば、サブディスプレイ6は、ユーザ(ドライバ)が着座する運転席の正面にあるメータパネル内又は上部に設けられている。メインディスプレイ3及びサブディスプレイ6は、表示パネルに重ねてタッチパネル31・61を備えており、ユーザの操作を受け付けることが可能である。
操作ボタン4は、ユーザの操作を受け付ける操作部材である。操作ボタン4は、例えば、自車両9のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン4や、メインディスプレイ3及びサブディスプレイ6のタッチパネル31・61を介して画像表示システム10に対する各種の操作を行うことができる。操作ボタン4及びタッチパネル31・61のいずれかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置2に入力される。
画像生成装置2は、各種の画像処理が可能な電子装置であり、画像取得部21と、画像合成部22と、画像調整部23と、画像出力部24とを備えている。
画像取得部21は、4つのカメラ5F,5B,5L,5Rでそれぞれ得られた撮影画像を取得する。画像取得部21は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部21は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像合成部22及び画像調整部23に入力する。
画像合成部22は、合成画像を生成するための画像処理を行うハードウェア回路である。画像合成部22は、複数のカメラ5で取得された複数の撮影画像を合成して、仮想視点からみた自車両9の周辺を示す合成画像を生成する。画像合成部22は、自車両9の周辺に相当する仮想の投影面に複数の撮影画像のデータを投影し、該投影面上のデータを用いて合成画像を生成する。この合成画像を生成する手法の詳細については後述する。
画像調整部23は、メインディスプレイ3に表示するための周辺画像及びサブディスプレイ6で表示するための補助画像を生成する。画像調整部23は、画像合成部22で生成された合成画像を用いてメインディスプレイに表示する周辺画像を生成する。また、画像調整部23は、サブディスプレイ6に表示する画像として、メインディスプレイ3に表示する周辺画像に対応する補助画像を作成する。
画像出力部24は、画像調整部23で生成された周辺画像をメインディスプレイ3に出力して、周辺画像をメインディスプレイ3に表示させる。また、画像出力部24は、画像調整部23で生成された補助画像をサブディスプレイ6に出力して、補助画像をサブディスプレイ6に表示させる。これにより、仮想視点からみた自車両9の周辺を示す周辺画像がメインディスプレイ3に表示され、メインディスプレイ3に表示された周辺画像の領域を示す補助画像がサブディスプレイ6に表示される。
また、画像生成装置2は、制御部20と、操作受付部25と、信号受信部26と、記憶部27とをさらに備えている。制御部20は、例えば、CPU、RAM及びROMなどを備えたマイクロコンピュータであり、画像生成装置2の全体を統括的に制御する。
操作受付部25は、ユーザが操作を行った場合に操作ボタン4及びタッチパネル31・61から出力される操作信号を受信する。これにより、操作受付部25はユーザの操作を受け付ける。操作受付部25は、受信した操作信号を制御部20に入力する。
信号受信部26は、画像生成装置2とは別に自車両9に設けられる他の装置からの信号を受信して、制御部20に入力する。信号受信部26は、例えば、自車両9の変速装置のシフトレバーの位置であるシフトポジションを示す信号をシフトセンサ91から受信する。この信号に基づいて、制御部20は、自車両9の進行方向が前方あるいは後方のいずれであるかを判定することができる。
記憶部27は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部27は、ファームウェアとしてのプログラム27aや、画像合成部22が合成画像を生成するために用いる各種のデータや、画像調整部23が周辺画像及び補助画像を生成するために用いる各種のデータを記憶する。例えば、このような周辺画像や補助画像の生成に用いるデータとして仮想視点等を含む視点データ27bが含まれる。
制御部20の各種の機能は、記憶部27に記憶されたプログラム27aに従ってCPUが演算処理を行うことで実現される。図中に示す画像制御部20a、視点データ設定部20b及び登録部20cは、プログラム27aに従ってCPUが演算処理を行うことで実現される機能部の一部である。
画像制御部20aは、合成画像を生成する画像合成部22と、周辺画像及び補助画像を生成する画像調整部23とを制御する。画像制御部20aは、画像合成部22及び画像調整部23を制御して、自車両9の走行状態やユーザの操作に応じた合成画像、周辺画像及び補助画像を生成させる。また、視点データ設定部20bは、合成画像、周辺画像及び補助画像を生成する際に用いる視点データを設定する。視点データ設定部20bは、ユーザが操作ボタン4やタッチパネル31・61を操作して好みの視点データを設定する際に、仮想視点等の設定を行うものである。登録部20cは、設定された視点データをプリセットボタンに対応付けて登録し、記憶部27に記憶させるものである。
<1−2.合成画像の生成>
次に、画像合成部22が、仮想視点からみた自車両9の周辺の様子を示す合成画像を生成する手法について説明する。図3は、画像合成部22が合成画像を生成する手法を説明する図である。
フロントカメラ5F、リアカメラ5B、左サイドカメラ5L、及び、右サイドカメラ5Rのそれぞれで撮影が行われると、自車両9の前方、後方、左側方及び右側方をそれぞれ示す4つの撮影画像SF,SB,SL,SRが取得される。これら4つの撮影画像SF,SB,SL,SRには、自車両9の全周囲のデータが含まれている。
画像合成部22は、まず、これら4つの撮影画像SF,SB,SL,SRに含まれるデータ(各画素の値)を、仮想的な三次元空間における投影面TSに投影する。投影面TSは、自車両9の周辺の領域に相当する仮想の立体面である。投影面TSの中心領域は、自車両9の位置となる車両領域R0として定められている。
投影面TSでは、車両領域(自車両9の位置)R0には撮影画像のデータは投影されず、車両領域R0の外側の領域に撮影画像のデータが投影される。以下、投影面TSにおいて、撮影画像のデータが投影される領域(車両領域R0の外側の領域)を、「投影対象領域」という。
また、車両領域R0には自車両9の三次元形状を示すポリゴンモデルである車両像PGを仮想的に備えている。構成された車両像PGは、投影面TSが設定される三次元空間において、自車両9の位置と定められた略半球状の中心部分に配置される。
投影面TSの投影対象領域における各位置は、4つの撮影画像SF,SB,SL,SRのいずれかと、テーブルデータ等の対応情報によって対応付けられている。画像合成部22は、4つの撮影画像SF,SB,SL,SRのデータをそれぞれ投影対象領域の対応する部分に投影する。
画像合成部22は、投影対象領域において自車両9の前方に相当する部分PFに、フロントカメラ5Fの撮影画像SFのデータを投影する。また、画像合成部22は、投影対象領域において自車両9の後方に相当する部分PBに、リアカメラ5Bの撮影画像SBのデータを投影する。さらに、画像合成部22は、投影対象領域において自車両9の左側方に相当する部分PLに左サイドカメラ5Lの撮影画像SLのデータを投影し、投影対象領域において自車両9の右側方に相当する部分PRに右サイドカメラ5Rの撮影画像SRのデータを投影する。
このように投影面TSの投影対象領域の各部分に撮影画像のデータを投影すると、画像合成部22は、自車両9の三次元形状を示すポリゴンのモデルを仮想的に構成する。この自車両9のモデルは、投影面TSが設定される三次元空間における自車両9の位置である車両領域R0に配置される。
次に、画像合成部22は、画像制御部20aの制御により、三次元空間に対して仮想視点VPを設定する。画像合成部22は、三次元空間における任意の視点位置に任意の視線方向に向けて仮想視点VPを設定できる。そして、画像合成部22は、投影面TSのうち、設定した仮想視点VPからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、画像合成部22は、設定した仮想視点VPに応じて自車両9のモデルに関してレンダリングを行い、その結果となる二次元の車両像90を、切り出した画像に対して重畳する。これにより、画像合成部22は、仮想視点VPからみた自車両9及び自車両9の周辺を示す合成画像CPを生成する。
例えば図3に示すように、視点位置を自車両9の直上、視線方向を直下とした仮想視点VPaを設定した場合には、自車両9及び自車両9の周辺の領域を俯瞰する合成画像(俯瞰画像)CPaが生成される。また、視点位置を自車両9の内部、視線方向を左前方とした仮想視点VPbを設定した場合には、自車両9の左前方の周辺を表示する合成画像CPbが生成される。同様に、視点位置を自車両9の左側面、視線方向を左方向とした仮想視点VPcを設定した場合には、自車両9の左側の周辺を表示する合成画像CPcが生成される。
本実施の形態では、ユーザが予め仮想視点を設定し、設定した仮想視点を含む視点データ27bを記憶部27にプリセットデータとして登録している。そして、ユーザが登録されているプリセットデータの中からいずれかの視点データ27bを選択すると、画像合成部22は、その選択された視点データ27bに基づいて自車両9及び自車両9の周辺を表示する合成画像を生成するようになっている。
例えば、ユーザが自車両9の内部のドライバの視点付近を視点位置とし、自車両9の左前方を視線方向とする仮想視点を含む視点データ27bを選択した場合には、仮想視点VPbが設定され、画像合成部22は、該当する領域に投影されたデータを画像として切り出すことで、ドライバ視点で左前方を表示した合成画像CPbを作成する。
同様に、ユーザが自車両9の左側面を視点位置とし、左方向を視線方向とする仮想視点を含む視点データ27bを選択した場合には、仮想視点VPcが設定され、画像合成部22は、該当する領域に投影されたデータを画像として切り出すことで、車両の左側面から左方向を表示した合成画像CPcを作成する。また、視点データ27bに視点位置及び視線方向が複数含まれる場合には、画像合成部22は、それらに対応する複数の合成画像を作成する。なお、このユーザによる視点データの設定処理の詳細は後述する。
<1−3.周辺画像及び補助画像>
次に、画像調整部23が周辺画像及び補助画像を生成する処理と、画像出力部24が周辺画像及び補助画像を各々メインディスプレイ3及びサブディスプレイ6に表示する処理について説明する。図4は、画像調整部23が生成する周辺画像及び補助画像の例を示す図である。図4(a)はメインディスプレイ3に表示する周辺画像の例であり、図4(b)はサブディスプレイ6に表示する補助画像の例である。
図4(a)に示す周辺画像は、ユーザが自車両9のドライバの視点付近を視点位置とし、自車両の左前方を視線方向とする仮想視点を含む視点データ27bを選択した場合の周辺画像である。周辺画像は、画像合成部22が作成した合成画像に、車両内部の透過画像を重畳表示した画像である。これは、車両内部を視点位置としている場合に、視線方向に見える現実の光景に近い画像とするためであり、周囲の物体と自車両9との位置関係も理解しやすくなっている。ただし、自車両9の周辺の物体が車両内部の画像で隠れてしまうことがないように、車両内部の画像を透過画像にしている。なお、車両内部の透過画像は、予めCGで作成した画像を用いて作成することができ、図4(a)では、画像調整部23が視線方向に対応するCGを用いて透過画像を合成画像に重畳表示することで周辺画像を生成している。
図4(b)に示す補助画像は、メインディスプレイ3に表示されている周辺画像の領域を示す画像である。すなわち、補助画像と周辺画像とは対応付けられた画像である。図4(b)に示す補助画像では、自車両9を上方から俯瞰したイメージの画像に対して、メインディスプレイ3に表示されている周辺画像の領域が強調表示されている。このように、サブディスプレイ6には、補助画像として、メインディスプレイ3で表示されている周辺画像が自車両9から見てどの方向に当たるのかを示すスコープ画像が表示される。
画像調整部23は、メインディスプレイ3に表示する周辺画像を作成すると、その視点データに基づいて補助画像を作成する。具体的には、視点データの中には、仮想視点(すなわち視点位置及び視線方向)に関するデータが含まれており、画像調整部23は、この視線方向に相当する領域を強調表示することで補助画像を作成する。
図4の場合、メインディスプレイ3には自車両9のドライバの視点付近を視点位置とし、左前方を視線方向とする周辺画像が表示されており、同時にサブディスプレイ6には、視線方向が左前方であること(すなわち、周辺画像の領域が車両の左前方であること)を示す補助画像が表示されることになる。このようにして、ユーザは、メインディスプレイ3に表示されている画像がいずれの方向を見た画像であるかをサブディスプレイ6を見るだけで容易に把握することができる。
なお、図4(b)では、周辺画像の領域を示す扇形のスコープ画像を表示しているが、補助画像はこれに限定されるものではない。例えば、視点位置を始点として視線方向(周辺画像の中心軸方向)に延びる矢印を表示することもできる。また、視点位置と周辺画像の領域の中心に相当する位置との2点を表示することもできる。さらに、視点位置が固定の場合には、周辺画像の領域の中心に相当する位置の点だけを表示してもよい。
本実施の形態では、仮想視点を1点に設定して周辺画像を表示するのみならず、仮想視点を複数設定して周辺画像を表示することも可能である。例えば、仮想視点として、ドライバの視点付近を視点位置にして、自車両9の前方、後方、右側方、左側方の4方向を視線方向として設定した場合には、各仮想視点から見た周辺画像が作成される。
図5は、この場合における周辺画像及び補助画像の例を示す図である。図5(a)は、視点位置から自車両9の前方を視線方向とした際の周辺画像であり、図5(b)は自車両9の左側方を視線方向とした際の周辺画像であり、図5(c)は自車両9の後方を視線方向とした際の周辺画像であり、図5(d)は自車両9の右側方を視線方向とした際の周辺画像である。これら各周辺画像は、画像調整部23が上述した方法により合成画像及び透過画像を用いて作成される。また、図5(e)〜(h)は、図5(a)〜(d)に各々対応する補助画像である。これら各補助画像においても、画像調整部23が上述した方法により作成する。
なお、これら各周辺画像をメインディスプレイ3に表示する際には、各周辺画像を順番に切り替えて表示することができる。例えば、前方の周辺画像、左側方の周辺画像、後方の周辺画像、右側方の周辺画像の順に切り替えて表示する等である。また、この際には、サブディスプレイ6には、同じタイミングで各周辺画像に対応する補助画像を順に切り替えて表示することになる。すなわち、画像出力部24は、周辺画像及び補助画像を同じタイミングでメインディスプレイ3及びサブディスプレイ6に表示する。これにより、メインディスプレイ3に表示されている周辺画像と、サブディスプレイ6に表示されている補助画像とを対応付けて表示することができ、自車両9の周囲を表示する画像がどの方向から見た画像であるのかを容易に把握することが可能になる。なお、表示する順番は任意であり、適宜設定可能である。
また、仮想視点の数をさらに多く設定し、各仮想視点に対応する周辺画像を順に表示すれば、視線方向の少しだけ異なる周辺画像を連続的に表示することができ、動画のような表示が可能となる。このような表示にすると、ユーザは、自車両周辺の複数個所を断片的に確認するのではなく、自車両周辺の全領域を連続的に確認することができる。また、これに対応させて、補助画像も連続的に表示すれば、周辺画像の領域を連続的に把握することが可能になる。
図6〜図8は、メインディスプレイ3に連続的に周辺画像を表示する例を示す図である。図6〜図8(b)は、各々ドライバの視点付近を視点位置としている。また、図6(a)〜(c)は、各々自車両9の前方、左前方、左側方を視線方向とする周辺画像である。図7(a)〜(c)は、各々自車両9の左後方、後方、右後方を視線方向とする周辺画像である。図8(a)(b)は、各々自車両9の右側方、右前方を視線方向とする周辺画像であり、図8(c)は、自車両の直上を視点位置とし、直下を視線方向とする周辺画像である。なお、これら図6〜図8は、周辺画像の代表的な例として挙げているが、これら各周辺画像の間にも図示しない複数の周辺画像が生成されている。
これら各周辺画像と各周辺画像の間に生成されている周辺画像とを、図6(a)(b)(c)、図7(a)(b)(c)、図8(a)(b)(c)の順に表示していくと、自車両9の前方から左方向に視線方向を回転させ、最終的に上方から自車両9を見た画像を連続的に表示することができる。このため、ユーザは、自車両9の周辺の状況を動画像として確認することが可能になる。また、本実施の形態では、最後に自車両9の上方から見た周辺画像を表示しているため、ドライバの視点から周囲を見た画像と、自車両9の周囲の全域を見た画像との双方を確認することができ、車両周辺の状況がより把握し易くなる。
また、図9は、図6〜図8の周辺画像がメインディスプレイ3に表示される際に、サブディスプレイ6に表示される補助画像の例を示す図である。図9(a)〜(i)に示す補助画像は、図6(a)〜図8(c)に示す周辺画像に対応している。すなわち、メインディスプレイ3に図6(a)〜図8(c)に示す周辺画像を表示するに際して、サブディスプレイ6には図9(a)〜(i)の補助画像が、対応する周辺画像と同じタイミングで連続的に表示される。従って、この場合においても、メインディスプレイ3に表示されている周辺画像の領域を容易に把握することができる。
なお、ユーザが操作ボタン4やタッチパネル61を操作することで、周辺画像の表示を自由に変更することも可能である。この場合、サブディスプレイ6には、図10に示すような画像が表示される。図10に示す画像には、補助画像に加えて操作用画像が表示されている。操作用画像は、周辺画像の連続表示の停止や再生用のボタン、視線方向の回転用のボタンが表示された画像である。
ユーザがサブディスプレイ6に表示された操作用画像に対応する箇所のタッチパネル61を操作することにより周辺画像の表示の変更が可能になる。例えば、周辺画像の連続表示を行っている際に、停止ボタンを操作すると、周辺画像の連続表示は表示されている画像の状態で停止する。そして、「視点右回転」ボタンを操作すると、現在表示されている周辺画像の視線方向から右方向に視線方向を移動させた周辺画像が表示される。また、周辺画像の表示が停止した状態で「視点左回転」ボタンを操作すると、現在表示されている周辺画像の視線方向から左方向に視線方向を移動させた周辺画像が表示される。
例えば、図11(a)に示す周辺画像及び補助画像が表示されているときに、「視点右回転」ボタンを操作すると、視線方向を右方向に移動させた各周辺画像及び各補助画像が連続表示される。これにより、例えば、図11(b)に示す画像が表示される。また、同様に、図11(a)に示す周辺画像及び補助画像が表示されているときに、「視点左回転」ボタンを操作すると、視線方向を左方向に移動させた各周辺画像及び各補助画像が連続表示される。これにより、例えば、図11(c)に示す画像が表示される。
なお、タッチパネル61の操作の仕方(操作する時間の長さや力の大きさ等)に応じて周辺画像の移動速度を適宜変化させることも可能である。また、再生ボタンを操作すると、操作した時点で表示されている周辺画像の状態から、予め設定された移動方向及び移動速度での連続表示が開始する。また、例えば、操作ボタン4がステアリングホイールに設けられていて、操作ボタン4と操作用画像とが対応付けられている場合には、ステアリングホイールの操作ボタン4を操作することで、同様の操作を行うことができるようにしてもよい。
また、仮想視点の視点位置が車両外にある場合には、周辺画像には透過画像は表示されず合成画像のみとなる。この場合の周辺画像の例を図12(a)及び(b)に示す。図12(a)は、自車両9外部の左側を視点位置として、自車両9の左側方を視線方向とする仮想視点から見た周辺画像である。また、図12(b)は、自車両9外部の後方を視点位置として、自車両9の後方を視線方向とする仮想視点から見た周辺画像である。
なお、視点位置が自車両9外部にある場合の補助画像としては、上述した補助画像のほかに、視点位置を自車両9の外部にしたスコープ画像を用いることもできる。例えば、図12(c)及び(d)に示す補助画像である。図12(c)は図12(a)に対応する補助画像であり、図12(c)は図12(b)に対応する補助画像である。共に、視点位置が自車両9外部であるため、視点位置を車両の外部にしたスコープ画像を用いている。
<1−4.視点データの設定>
次に、ユーザが視点データを設定する処理について説明する。視点データは、一般的なデータが初期設定として登録されている場合のほか、ユーザが任意に設定して設定情報として登録することができる。視点データには、仮想視点、移動方向、移動速度、表示範囲に関するデータが含まれている。仮想視点とは、視点位置及び視線方向に関するデータである。また、移動方向とは、仮想視点を移動させる方向に関するデータである。また、移動速度とは、仮想視点を移動させる際の速度に関するデータである。また、表示範囲とは、表示する視野角に関するデータである。
なお、本実施の形態では、視点位置及び視線方向を設定すると、視線方向を車両の周囲に一周させることで仮想視点を移動させ、車両の周辺画像を連続的に表示する構成である。このため、仮想視点は1点のみ設定することになるが、移動方向及び移動速度も設定している。
仮想視点は、三次元空間上に配置されるため、任意の点を原点とした三次元座標を用いて表される。例えば、図13に示すように、自車両の略中心部分を原点として、水平面上の車両の左右方向をX軸、前後方向をY軸とし、鉛直方向をZ軸としたXYZ直交座標を用いることができる。
ここで、図14を用いて説明する。図14(a)は、視点データの選択画面であり、図14(b)及び(c)は、視点データの設定画面である。視点データの設定は、ユーザが設定画面を操作することで行われる。設定画面は、視点データの選択画面等において表示される設定ボタンを選択することで表示される。
ユーザが図14(a)に示す選択画面において設定ボタンを選択すると、図14(b)に示す設定画面に遷移する。図14(b)に示す選択画面では、視点位置及び視線方向の設定を行う。視点位置及び視線方向は、データ的には座標値(X、Y、Z)で表されているため、座標軸毎に座標値を変更することにより、新たな視点位置及び視線方向の設定が可能となる。なお、設定画面における最初の座標値は原点(0、0、0)であってもよいし、前回選択した座標値であってもよく、適宜設定可能である。また、視線方向の設定画面において設定する点は、視点位置から視線方向に向かって延びる直線上の任意の点(以下「視線上の点」という)とする。従って、視線上の点の座標値を設定することで、視線方向が設定されることになる。
図14(b)に示す設定画面において、視点位置を設定する際には、XYZの各座標軸に対応して表示されている右ボタン又は左ボタンを押すことで各座標値を変更することができる。例えば、X軸の右ボタンを押すとX座標が+側に移動し、左ボタンを押すと−側に移動する。Y軸の場合もZ軸の場合も同様である。また、視線方向(視線上の点)を設定する場合も同様である。
XYZの各座標の設定ボタンの横には、座標値に対応する数値が表示されている。視点位置及び視線方向を設定する際には、XYZの右ボタン又は左ボタンの操作に併せて座標値に対応する数値が変化する。例えば、右ボタンを押すと数値が増加し、左ボタンを押すと数値が減少する等である。これにより、ユーザは座標値を数値として認識できるため設定が容易になる。なお、この数値は、座標値に対応する数値であればどのような数値であってもよい。また、車両の擬似画像上に(X、Y、Z)の点を表示してボタンの操作に併せて点を移動させる表示としてもよい。この場合には、車両に対する視点位置等の場所を認識することができ設定が容易になる。
なお、視点位置及び視線方向が決まると、視線方向が車両の周囲を一周する際の移動経路が決まる。視線方向は、視点位置から視線上の点に向かう方向であるため、視線上の点が移動するとその移動に対応して視線方向が移動する。本実施の形態では、視線上の点は、自身が存在するXY平面上を、視点位置のXY点をそのXY平面に投影した点を中心とした円状に移動する。つまり、視線方向は、視点位置を基点としてこの円に向かった方向が視線方向となり、この視線方向が円状に移動することとなる。
具体的には、図14(d)に示すように、視点位置の座標値を(X1、Y1、Z1)とし、視線上の点の座標値を(X2、Y2、Z2)とすると、視線上の点は、(X2、Y2、Z2)が存在するXY平面上を、(X1、Y1、Z2)を中心として、(X1、Y1、Z2)と(X2、Y2、Z2)との距離を半径とする円状に移動する。そして、視線方向は、視点位置(X1、Y1、Z1)からこの円上の各点に向かう方向として視線上の点の移動に合わせて移動する。
視点位置及び視線方向の設定が完了すると、次に移動方向、移動速度及び表示範囲を設定する。図14(c)は、移動方向、移動速度及び表示範囲の設定画面である。移動方向は、周辺画像を連続表示する際に仮想視点を移動させる方向を設定するものであり、「右」方向又は「左」方向が選択可能になっている。「右」を選択すると、起点となる仮想視点から右回りで周辺画像が表示され、「左」を選択すると左回りで周辺画像が表示される。このように、ユーザによって選択された方向(右又は左)が移動方向として設定される。
移動速度は、周辺画像を連続表示する際に仮想視点の移動する速度を設定するものであり、「速」「普通」「遅」の3段階が選択可能になっている。すなわち、「速」を選択すると周辺画像が速く連続表示され、「遅」を選択するとゆっくり連続表示される。このように、ユーザによって選択された速度が移動速度として設定される。
なお、移動方向及び移動速度の設定画面においては、デフォルトの設定又は現在選択されている設定が強調表示されている。図14(c)に示す設定画面は、移動方向が「左」に設定されており、移動速度が「普通」に設定されている状態を示しており、「左」ボタンと「普通」ボタンとが強調表示されている。また、例えば、ユーザが移動方向として「右」を選択すると強調表示が「左」から「右」に変更される。
また、表示範囲は、上述のように視野角のことであり、本実施の形態では角度によって設定される。設定画面に角度を変更するボタンが表示されており、このボタンを操作することで希望する角度に設定する。このように、ユーザによって設定された角度が表示範囲として設定される。
表示範囲は、視点位置と視線上の点とを結ぶ直線を中心として左右均等に広がる範囲として設定することができる。例えば、表示範囲を20度と設定した際には、視点位置と視線上の点とを結ぶ直線を中心として、右側に10度、左側に10度とする等である。なお、上下の表示範囲は、表示する表示画面の縦横比と、設定された左右の表示範囲とに基づいて設定される。
なお、各データの設定の途中や全データを設定した後に、設定した視点データを確認するためのプレビューを表示することができるようにしてもよい。例えば、車両の擬似画像上に設定された視点位置や視線方向が表示され、設定された移動方向や移動速度等に従って、仮想視点を動かす等である。視点位置や視線方向の設定画面からプレビューを表示したい場合には、設定画面上に表示されている「プレビュー」ボタンを押せばよい。また、全データを設定した後にプレビューを表示したい場合には、移動方向等を設定する際の画面上に表示されている「プレビュー」ボタンを押せばよい。
また、プレビューの表示は、設定された視点データに従って実際に周辺画像を作成して表示する構成としてもよい。これらプレビューは、サブディスプレイ6に表示してもよいし、メインディスプレイ3に表示してもよい。これにより、ユーザは、自らが設定した視点データを確認することができるため、希望に合わない場合には再設定することも可能になる。希望に合う場合には、登録ボタンRBとプリセットボタンPBとを操作することにより、設定したデータが視点データとして当該プリセットボタンに対応付けて登録される。すなわち、登録ボタンRBを操作すると、プリセットボタンPBが表示された画面に遷移し、プリセットボタンPBの中から希望するプリセット番号を操作することによって、視点データと選択したプリセット番号とが対応付けられて登録される。この視点データは、選択したプリセットボタンPB(選択したプリセット番号)に対応付けられたメモリ領域に記憶される。また、登録された視点データは、次回以降にはプリセットボタンを押すだけで該当のメモリ領域から読み出されて設定され、所望の周辺画像を表示することができる。
<1−5.画像表示システムの処理>
次に、画像表示システム10の処理について説明する。図15は、画像表示システム10の処理の流れを示すフローチャートである。
画像表示システム10の処理は、例えば、システムの起動により周辺画像を表示するか否かを確認する画面が表示されることにより開始する。まず、ユーザが周辺画像を表示するか否かを選択する(ステップS1501)。周辺画像を表示しない場合には(ステップS1501でNo)、処理は終了する。一方、周辺画像を表示する場合には(ステップS1501でYes)、画像合成部22は視点データ27bを選択する(ステップS1502)。具体的には、ユーザは、周辺画像の表示を選択した際に視点データ27bも選択するようになっている。このため、画像合成部22は、ユーザがプリセットボタンPB等を操作して選択した視点データ27bを記憶部から読み出し、その視点データ27bを周辺画像等の作成に用いるデータとする。
次に、読み出された視点データ27bを用いて周辺画像を作成する(ステップS1503)。すなわち、画像合成部22が、仮想視点及び表示範囲に基づいて合成画像を生成し、また、画像調整部23が透過画像を合成画像に重畳した周辺画像を作成する。
具体的には、画像合成部22は、周辺画像を連続表示する際の表示間隔に応じて合成画像を複数作成する。例えば、連続表示の表示間隔が10msecである場合には、画像合成部22は、設定された移動速度に応じて仮想視点を移動させながら10msec毎にサンプリングし、サンプリングされた点を仮想視点とした合成画像を作成する。そして、画像調整部23は、作成された各合成画像に透過画像を重畳した周辺画像を作成する。
次に、画像調整部23は、補助画像を作成する(ステップS1504)。画像調整部23は、周辺画像を作成すると、それに対応する補助画像を作成する。具体的には、周辺画像の視線方向と表示範囲に基づいて、同じ方向で同じ範囲のスコープ画像を作成する。補助画像は、周辺画像毎に作成される。なお、補助画像の作成は、周辺画像を作成した後に作成してもよく、周辺画像の作成と同時に作成してもよい。
次に、画像出力部24は、作成した周辺画像及び補助画像を表示する(ステップS1505)。すなわち、画像出力部24は、周辺画像をメインディスプレイ3に表示し、補助画像をサブディスプレイ6に表示する。これら各画像は、対応する両画像を同期させて表示される。また、画像出力部24は、視点データ27bに含まれる移動方向及び移動速度に基づいて周辺画像を連続表示する。すなわち、画像出力部24は、周辺画像を移動方向の順番に、移動速度に従って切り替えて連続的に表示する。これにより、ユーザは、自身が設定した移動方向及び移動速度で自車両9の周囲を連続的に確認することができる。
次に、画像出力部24は、全ての周辺画像の表示が終了したか否かを判断する(ステップS1506)。全ての周辺画像の表示が終了したか否かとは、起点となる仮想視点から終点となる仮想視点までの周辺画像の表示が終了したか否か(車両全周の表示が終了したか否か)である。全ての周辺画像の表示が終了していない場合には(ステップS1506でNo)、まだ表示すべき周辺画像が存在するため、画像出力部24は、残りの周辺画像を表示する制御を行う(ステップS1505)。一方、全ての周辺画像の表示が終了した場合には(ステップS1506でYes)、周辺画像及び補助画像のデータをメモリから消去して(ステップS1507)、処理を終了する。
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態では、第1の実施の形態とは異なる方法で視点データを設定する方法について説明する。システム構成等は第1の実施の形態と同様であるため、以下、視点データの設定方法について説明する。
<2−1.視点データの設定>
第2の実施の形態は、ユーザがサブディスプレイ6のタッチパネル61を操作して視点データを設定する。視点データの設定画面では、サブディスプレイ6に自車両を上方から見た擬似画像及び横から見た擬似画像が表示され、視点位置や視線方向等を各々個別に設定する。サブディスプレイ6のタッチパネル61上の点は、第1の実施の形態で説明した三次元座標の座標値と対応付けられており、ユーザの操作した点と座標値を対応付けることで視点データを設定する。
視点位置を設定する方法について説明する。視点位置を設定するために、まず視点位置のXY座標値を導出する。視点位置の設定画面では、初めに図16(a)に示すように、自車両を上方から見た画像が表示される。ユーザが、サブディスプレイ6のタッチパネル61をドラッグ(タッチパネル上から指を離すことなく移動させる操作)すると、ドラッグした線が視点位置になる。すなわち、図16(a)の場合、視点位置は始点161から始まり、車両の後方に向かって周囲を回って終点162で終わる。
そして、ドラッグした線に基づいて視点位置のXY座標値を導出する。サブディスプレイ6のタッチパネル61上の点は、三次元座標のXY平面における座標値と対応付けられており、ユーザがドラッグした線は、XY座標値に変換される。また、始点161と終点162との間の点は、始点161と終点162との間を例えば10msec毎にサンプリングして抽出され、抽出された点に対応する座標値が導出される。これにより、始点161から終点162までの視点位置のXY座標値が導出される。
次に、視点位置のZ座標値を導出する。サブディスプレイ6には、自車両を横から見た画像が表示される。ユーザが、サブディスプレイ6のタッチパネル61をドラッグすると、ドラッグした線が視点位置になる。すなわち、図16(b)の場合、視点位置は始点163から始まり、終点164で終わる。
そして、ドラッグした線に基づいて視点位置のZ座標値を導出する。サブディスプレイ6のタッチパネル61上の点は、三次元座標のZ軸における座標値と対応付けられており、ユーザがドラッグした線は、Z座標値に変換される。また、始点163と終点164との間の点は、始点163と終点164との間を例えば10msec毎にサンプリングして抽出され、抽出された点に対応する座標値が導出される。これにより、始点163から終点164までの視点位置のZ座標値が導出される。
なお、図16に表示されている指の移動軌跡を示す実線と、視点161・163及び終点162・164を示す点とは、説明の便宜上画面に表示しているが、実際の設定画面においては、表示してもよいし、しなくてもよい。他の同様の操作においても同様である。
以上の操作によって、視点位置に関するXYZの各座標値が導出されたことになるが、XY座標値とZ座標値とは異なる操作によって導出された座標値であるため、これらを対応付ける必要がある。そこで、図17を用いて対応付ける方法について説明する。
図17は、視点位置を設定するために導出されたXY座標値とZ座標値とを対応付ける方法を説明する図である。図17(a)は、導出されたXY座標値及びZ座標値の各データを示している。XYデータは、各サンプリング点におけるXY座標値を示しており、Zデータは、各サンプリング点におけるZ座標値を示している。XYデータの場合、始点161に対応する座標値がa1であり、終点162に対応する座標値がanである。また、a2〜an−1は10msec毎にサンプリングされた点の座標値である。また、Zデータの場合も同様に、始点163に対応する座標値がb1であり、終点164に対応する座標値がbmであり、それらの間にサンプリングされた点の座標値がb2〜bm−1である。
ユーザがXYデータを導出する際にタッチパネル61を操作した時間とZデータを導出する際にタッチパネル61を操作した時間とが異なるため、座標値のデータ数が異なっている。このため、Zデータの操作時間をXYデータと同じ長さに変更すると共に、各座標値のデータ内におけるタイミングを変更する。そして、XYデータと変更後のZデータとを対応付ける。この例を図17(b)に示す。
例えば、XYデータを導出する際に操作した時間がnであり、Zデータを導出する際に操作した時間がmである場合に、Zデータの時間をn/m倍する。そして、始点の座標値b1と終点の座標値bmは、最初及び最後のタイミングに固定し、それらの間の各座標値を変更前のタイミングと同じ時間割合でのタイミングとなるように変更する。したがって、b1とb2との時間間隔はn/m倍になる。
そして、操作時間を同じにしたXYデータとZデータとを比較して、XYデータの各座標値の時間と同じ時間にあるZデータの座標値を対応付ける。すなわち、a1に対応する座標値はb1であり、a2に対応する座標値は、b1とb2との間にあってa2をサンプリングした時間と同じ時間の座標値となる。なお、ZデータはZ座標値であるため、b1の座標値とb2の座標値とを結んだ直線において対応する位置にある座標値を選択すればよい。これにより、XYZ座標値(c1〜cl)が決まり、視点位置が設定される。
なお、視点位置を設定する際には、Zデータの導出を行わず、XYデータのみで行ってもよい。この場合、Z座標は所定値を採用すればよく、例えば自車両の1/2の高さの座標値である。従って、この場合には、XYデータとZデータとの対応付けも、時間を合わせる等の処理は行わず、単に、XY座標値に所定のZ座標値を追加して視点位置を設定することになる。
次に、視線方向を設定する方法について説明する。視線方向は、視線上の点を導出し、その視線上の点と視点位置とを用いて設定される。まず視線上の点の導出について説明する。視線上の点の導出は、視点位置の設定と同様の方法で行うことができる。図18(a)に示すように、自車両を上方から見た画像に対してユーザがドラッグした線に基づいてXYデータを導出する。そして、図18(b)に示すように、自車両を横から見た画像に対してユーザがドラッグした線に基づいてZデータを導出する。
そして、XYデータとZデータとを対応付ける処理を行う。図19(a)は、導出されたXYデータ及びZデータを示す図であり、図19(b)は、これらを対応付けることによって導出された視線上の点を示す図である。この対応付けの処理においても、視点位置の設定処理の場合と同様に、XYデータとZデータとが同じ時間になるように変更し、各データのタイミング同士を組み合わせた座標値を導出すればよい。これにより、XYZ座標値(f1〜fi)が決まり、視線上の点が導出される。
視線上の点が導出されると、視点位置を用いて視線方向を設定する。視線方向は、視点位置から視線上の点に向かう方向であるから、視点位置に対応する視線上の点を導出する必要がある。ここでも、視点位置を設定する際にユーザがタッチパネル61を操作した時間と、視線上の点を導出する際にユーザがタッチパネル61を操作した時間とが異なることから、上述した視点位置や視線上の点の導出方法と同様に、各操作時間を合わせて対応する座標値を導出すればよい。図20は、この例を示す図である。そして、対応付けられた視点位置の座標値から視線上の点の座標値に向かう方向が視線方向となる。以上により、視点位置及び視線方向が設定され、仮想視点が設定される。なお、視線上の点を導出する際においても、視点位置と同様に、Zデータの導出を行わず、XYデータのみで行ってもよい。
次に、移動方向を設定する。移動方向は、ユーザが視点位置又は視線方向を設定する際に、操作した方向に基づいて設定すればよい。例えば、ユーザが車両の左前方から左方向にドラッグした場合には、移動方向も左方向とする。
次に、移動速度を設定する。移動速度においても、ユーザが視点位置又は視線方向を設定した際のドラッグの速度に基づいて設定することができる。例えば、ユーザがドラッグした速度と同じ速度としてもよいし、ユーザがドラッグした速度に所定の演算処理を行って導出した速度としてもよい。また、ユーザのドラッグの速度に基づく場合に限らず、ユーザが希望する速度を設定することもできる。例えば、自車両の周辺を複数の領域に分割して、各領域に対してユーザが希望する速度を設定するようにしてもよい。具体的には、図21に示すように、自車両を4つの領域に分割して、前方の移動速度は速くし、左側方及び右側方は普通にし、後方は遅くする等である。
次に、表示範囲を設定する。表示範囲の設定は、まず、図22(a)に示すように、自車両を上方から見た画像に対してユーザがドラッグした線に基づいてXYデータを導出する。これは、上述した視点位置及び視線方向の設定と同様の方法で行うことができる。そして、メインディスプレイ3のの縦横比は決まっているため、この縦横比と導出されたXYデータ(すなわち、左右方向の範囲)とに基づいて、上下方向の範囲が導出される。これにより、表示範囲が設定される。
なお、このように、メインディスプレイ3の縦横比に基づいて表示範囲を導出する場合にはZデータを導出する必要はないが、メインディスプレイ3の縦横比と異なる縦横比の周辺画像を表示する際には、Zデータを導出して表示範囲を設定する。例えば、図22(a)に示す方法でXYデータを導出した後に、図22(b)に示すように、自車両を横から見た画像に対してユーザがドラッグした線に基づいてZデータを導出する。そして、上述した視点位置等の設定と同様の方法で、XYデータとZデータとを対応付けることにより、表示範囲を設定する。
この場合、メインディスプレイ3の縦横比と周辺画像の縦横比とが異なるため、メインディスプレイ3に表示される周辺画像以外の部分は無表示(例えば黒色等)とする。また、XYデータとZデータとを導出して設定された表示範囲を、メインディスプレイ3の縦横比と同じ縦横比となるように拡縮等により変更する構成としてもよい。
以上により、仮想視点、移動方向、移動速度及び表示範囲の各データが設定され、これら各データを視点データとし、この視点データとプリセットボタンとを対応付けて登録して記憶部に記憶することで、視点データの設定が完了する。なお、ユーザがドラッグ等の操作により視点データを設定する際には、サブディスプレイ6のタッチパネル61を操作する場合に限定されず、メインディスプレイ3のタッチパネル31を操作して同様の処理を行ってもよい。さらには、操作もドラッグに限定されず、同様の処理が可能な操作であれば他の操作であってもよい。
<2−2.視点データの設定処理>
次に、第2の実施の形態における視点データの設定処理についてフローチャートを用いて説明する。図23及び図24は、視点データの設定処理を示すフローチャートである。
視点データの設定処理は、ユーザが設定ボタンを選択することによって開始する。視点データの設定処理が開始すると、まずサブディスプレイ6に視点位置の設定画面を表示する(ステップS2301)。そして、視点データ設定部20bは、視点位置を設定するためのユーザによるドラッグ操作の有無を判断する(ステップS2302)。この判断は、サブディスプレイ6のタッチパネル61の操作があったか否かに基づいて行われる。
ユーザによるドラッグ操作がない場合には(ステップS2302でNo)、設定画面が表示されてから所定時間が経過したか否かを判断する(ステップS2303)。所定時間が経過した場合には(ステップS2303でYes)、ユーザは視点データの設定処理を行わないものと判断して処理を終了する(図23のA)。一方、所定時間が経過していない場合には(ステップS2303でYes)、再度操作の有無を判断する処理を実行する(ステップS2302)。
また、ドラッグ操作の有無を判断するステップS2302において、ユーザによるドラッグ操作があったと判断した場合には(ステップS2302でYes)、操作により設定された視点位置を記憶部27に記憶する(ステップS2304)。なお、この視点位置の設定処理は、上述した方法で行うことができる。この場合、ステップS2302及びS2303は、XYデータの導出処理及びZデータの導出処理のいずれに対しても同様に行われる。
次に、サブディスプレイ6に視線方向の設定画面を表示する(ステップS2305)。そして、視点データ設定部20bは、視線方向を設定するためのユーザによるドラッグ操作の有無を判断する(ステップS2306)。この判断においても、サブディスプレイ6のタッチパネル61の操作があったか否かに基づいて行われる。
ユーザによるドラッグ操作がない場合には(ステップS2306でNo)、設定画面が表示されてから所定時間が経過したか否かを判断する(ステップS2307)。所定時間が経過していない場合には(ステップS2307でNo)、再度操作の有無を判断する処理を実行する(ステップS2305)。
一方、所定時間が経過した場合には(ステップS2307でYes)、所定値を視線方向として記憶部27に記憶する(ステップS2308)。このように、ユーザが視線方向の設定処理を実行しないまま所定時間が経過した際には、予め決められた値を視線方向とする。
また、ドラッグ操作の有無を判断するステップS2306において、ユーザによるドラッグ操作があったと判断した場合には(ステップS2306でYes)、操作により設定された視線方向を記憶部27に記憶する(ステップS2309)。この視線方向の設定処理についても、上述した方法で行うことができる。また、この場合、ステップS2306及びS2307は、XYデータの導出処理及びZデータの導出処理のいずれに対しても同様に行われる。
次に、サブディスプレイ6に表示範囲の設定画面を表示して(ステップS2310)、次の処理に進む(図23のB)。そして、視点データ設定部20bは、表示範囲を設定するためのユーザによるドラッグ操作の有無を判断する(ステップS2401)。この判断においても、サブディスプレイ6のタッチパネル61の操作があったか否かに基づいて行われる。
ユーザによるドラッグ操作がない場合には(ステップS2401でNo)、設定画面が表示されてから所定時間が経過したか否かを判断する(ステップS2402)。所定時間が経過していない場合には(ステップS2402でNo)、再度操作の有無を判断する処理を実行する(ステップS2401)。
一方、所定時間が経過した場合には(ステップS2402でYes)、所定値を表示範囲として記憶部27に記憶する(ステップS2403)。表示範囲の設定処理においても、ユーザが設定処理を実行しないまま所定時間が経過した際には、予め決められた値を表示範囲とする。
また、ドラッグ操作の有無を判断するステップS2401において、ユーザによるドラッグ操作があったと判断した場合には(ステップS2401でYes)、操作により設定された表示範囲を記憶部27に記憶する(ステップS2404)。そして、移動方向及び移動速度を記憶部27に記憶する(ステップS2405)。移動方向及び移動速度は、上述した方法で設定され、その内容が記憶される。
次に、プレビュー表示の指示の有無を判断する(ステップS2406)。視点データの各データの設定が終了した際に、ユーザが設定した各データに基づいて表示される周辺画像を確認することを希望する場合があるからである。プレビュー表示の指示がある場合には(ステップS2406でYes)、画像生成装置2は設定された各データに基づいてプレビューを表示する(ステップS2407)。この表示は、設定された各データに基づいて作成された周辺画像をメインディスプレイ3に表示することにより行うことができる。ただし、これ以外の方法でもよく、例えば、サブディスプレイ6に表示された車両の擬似画像上に、設定した各データに基づく仮想視点の移動経路等を表示することとしてもよい。
そして、プレビューを表示した後には、プレビューの内容で問題がないかを判断する(ステップS2408)。プレビューの内容で問題がある場合には(ステップS2408でNo)、各データの内容を変更する必要がある。したがって、視点データの設定処理を初めからやり直すために、再度視点位置を設定するための画面を表示する処理に戻る(図24のC)。
一方、プレビューの内容で問題がない場合には(ステップS2408でYes)、設定した各データを登録し視点データとして設定する(ステップS2409)。この登録は、プリセットボタンなどを用いて行われ、次回以降の周辺画像を表示する際の視点データの選択肢の一つとなる。そして、設定画面を消去して(ステップS2410)、視点データの設定処理を終了する。
<3.変形例>
なお、上記各実施の形態において、サブディスプレイ6に補助画像を表示する際に、車両の周辺に障害物等の注意すべき物体が存在する場合には、その旨を報知する構成を付加してもよい。
例えば、図25(a)に示すように、車両の右前方に障害物が存在する場合に、サブディスプレイ6に表示する補助画像の該当する箇所に障害物の存在を報知する表示251を付加する。これにより、ユーザは、自車両の周辺に障害物があることを把握することができる。また、メインディスプレイ3に表示する周辺画像上に、該当する方向に矢印252等を表示してもよい。この場合には、実際に障害物の存在する方向を車室内からの方向として把握することができる。
さらに、図25(c)及び(d)に示すように、サブディスプレイ6に表示する補助画像をメインディスプレイ3の一部に表示してもよい。この場合には、メインディスプレイ3を見るだけでサブディスプレイ6の表示内容も把握することができるため、障害物の存在を容易に認識することが可能になる。また、補助画像の表示に加えて、矢印等の方向を示す表示をメインディスプレイ3に表示する構成としてもよい。
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではない。また、上記実施の形態及び各変形例は、適宜に組み合わせ可能である。
また、上記各実施の形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。