JP2014069629A - 画像処理装置、及び画像処理システム - Google Patents

Abstract

【課題】車両周囲の画像を連続的に表示する場合であっても、どの位置をどの方向からどの範囲で見た画像であるかが容易に把握できる技術を提供する。
【解決手段】画像処理装置であって、自車両に搭載されたカメラの撮影画像を取得する画像取得手段と、前記撮影画像に基づいて、仮想視点から見た自車両の周辺を示す周辺画像、及び、前記周辺画像の領域を示す補助画像を生成する生成手段と、前記周辺画像及び補助画像を表示装置に出力して前記表示装置に表示させる出力手段と、を備えている。
【選択図】図１

Description

本発明は、車両に搭載されたカメラの画像を処理する技術に関する。

従来より、自動車などの車両の周辺を示す画像を取得し、この画像を車両に設けられる表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ（代表的には運転者）は、車両の周辺の様子を確認することができる。

例えば、車両の前後左右の各領域を示す画像を表示する画像表示システムを利用すれば、各画像を連続して表示することで、ユーザは車両の周囲の状況を把握することができる。車両の周囲の画像を連続的に表示する技術として、例えば特許文献１がある。

特開2011-66763号公報

しかしながら、車両の周囲の画像を連続的に表示すると、視覚方向が移動するため、どの位置をどの方向からどの範囲で見た画像であるかを把握しにくい場合がある。また、視点をユーザの好みに応じて設定することが望まれるが、容易に設定できる方法が実現されていない。

本発明は、上記課題に鑑みてなされたものであり、車両周囲の画像を連続的に表示する場合であっても、どの位置をどの方向からどの範囲で見た画像であるかが容易に把握できる技術、及び視点をユーザの好みに応じて容易に設定可能な技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、自車両に搭載されたカメラの撮影画像を取得する画像取得手段と、前記撮影画像に基づいて、仮想視点から見た自車両の周辺を示す周辺画像、及び、前記周辺画像の領域を示す補助画像を生成する生成手段と、前記周辺画像及び補助画像を表示装置に出力して前記表示装置に表示させる出力手段と、を備えている。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記出力手段は、前記周辺画像を第１の表示装置に出力して該第１の表示装置に表示させ、前記補助画像を第２の表示装置に出力して該第２の表示装置に表示させる。

また、請求項３の発明は、請求項２に記載の画像処理装置において、前記第２の表示装置がタッチパネルを有し、該タッチパネルの操作に基づいて前記仮想視点における視点位置及び視線方向を設定する設定手段をさらに備えている。

また、請求項４の発明は、請求項３に記載の画像処理装置において、前記設定手段は、前記視点位置を設定した後に、視線方向を設定する。

また、請求項５の発明は、請求項３又は４に記載の画像処理装置において、前記タッチパネルの操作が、タッチパネル上から指を離すことなく移動させる操作である場合には、前記設定手段は、視点位置及び視線方向の移動も設定する。

また、請求項６の発明は、請求項５に記載の画像処理装置において、前記設定手段は、前記視点位置の移動のタイミングと、前記視線方向の移動のタイミングとを同期させて、前記視点位置及び視線方向を設定する。

また、請求項７の発明は、請求項３ないし６のいずれか１項に記載の画像処理装置において、前記設定手段は、三次元空間上における視点位置及び視線方向を設定する。

また、請求項８の発明は、請求項７に記載の画像処理装置において、前記設定手段は、水平面上の視点位置及び視線方向を設定した後に、鉛直方向の視点位置及び視線方向を設定する。

また、請求項９の発明は、請求項５ないし８のいずれか１項に記載の画像処理装置において、前記設定手段は、前記視点位置及び視線方向の移動速度も設定する。

また、請求項１０の発明は、請求項９に記載の画像処理装置において、前記設定手段は、前記タッチパネルにおける操作位置の移動速度に応じて、前記視点位置及び視線方向の移動速度を設定する。

また、請求項１１の発明は、請求項９又は１０に記載の画像処理装置において、前記設定手段は、前記自車両の周辺を複数の領域に分割し、領域毎に視点位置及び視線方向の移動速度を設定する。

また、請求項１２の発明は、請求項３ないし１１のいずれか１項に記載の画像処理装置において、前記設定手段が設定した設定情報を記憶する記憶手段をさらに備え、前記記憶手段は、前記設定情報を、前記第１の表示装置又は第２の表示装置に表示されるボタンに対応付けて記憶する。

また、請求項１３の発明は、画像処理システムであって、請求項１ないし１２のいずれか１項に記載の画像処理装置と、画像を表示する表示装置と、を備えている。

請求項１ないし１３の発明によれば、周辺画像の領域を示す補助画像を生成し、表示することから、周辺画像がいずれの仮想視点から見た車両の周辺領域であるかを容易に把握することができる。

また、特に請求項２の発明によれば、補助画像と周辺画像を表示する第１の表示装置とは異なる第２の表示装置に表示するため、第２の表示装置を見るだけで周辺画像の領域を把握することができる。

また、特に請求項３及び４の発明によれば、タッチパネルを操作することにより、仮想視点における視点位置及び視線方向を設定することができるため、ユーザの好みに応じた周辺画像の表示が可能となる。

また、特に請求項５の発明によれば、タッチパネル上から指を離すことなく移動させる操作をした場合に、視点位置及び視線方向の移動も設定するため、ユーザが希望する位置や方向から見た周辺画像を動的に変化させながら表示させることが可能となり、より車両の周辺を把握し易くなる。

また、特に請求項６の発明によれば、異なる操作によって設定された視点位置及び視線方向を同期させることができる。また、特に請求項７及び８の発明によれば、視点位置及び視線方向を立体的に設定することができる。

また、特に請求項９ないし１１の発明によれば、周辺画像の表示速度をユーザの希望に応じた速度となるように簡単に設定することができる。

また、特に請求項１２の発明によれば、設定情報を第１又は第２の表示装置に表示されるボタンに対応付けられているため、当該ボタンを操作するだけ記憶された設定情報を読み出すことが可能となる。

図１は、画像表示システムの概要を示す図である。 図２は、４つのカメラが撮影する方向を示す図である。 図３は、画像合成部が合成画像を生成する手法を説明する図である。 図４は、周辺画像及び補助画像の例を示す図である。 図５は、周辺画像及び補助画像の例を示す図である。 図６は、連続的に表示された周辺画像の例を示す図である。 図７は、連続的に表示された周辺画像の例を示す図である。 図８は、連続的に表示された周辺画像の例を示す図である。 図９は、補助画像の例を示す図である。 図１０は、補助画像と操作用画像とが表示された例を示す図である。 図１１は、周辺画像及び補助画像の例を示す図である。 図１２は、周辺画像及び補助画像の例を示す図である。 図１３は、三次元座標を説明するための図である。 図１４は、視点データの設定画面を示す図である。 図１５は、画像表示システムの処理の流れを示すフローチャートである。 図１６は、視点位置の設定用画面の例を示す図である。 図１７は、座標値の対応付けを説明するための図である。 図１８は、視線方向の設定用画面の例を示す図である。 図１９は、座標値の対応付けを説明するための図である。 図２０は、座標値の対応付けを説明するための図である。 図２１は、移動速度の設定用画面の例を示す図である。 図２２は、表示範囲の設定用画面の例を示す図である。 図２３は、視点データの設定処理の流れを示すフローチャートである。 図２４は、視点データの設定処理の流れを示すフローチャートである。 図２５は、周辺画像及び補助画像の例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞

＜１−１．構成＞

図１は、第１の実施の形態の画像表示システム１０の構成を示す図である。この画像表示システム１０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。以下、この画像表示システム１０が搭載される車両を「自車両」という。

図１に示すように、画像表示システム１０は、複数のカメラ５、画像生成装置２、メインディスプレイ３、サブディスプレイ６及び操作ボタン４を主に備えている。複数のカメラ５はそれぞれ、自車両の周辺を撮影して撮影画像を取得し、取得した撮影画像を画像生成装置２に入力する。画像生成装置２は、自車両の周辺を示す撮影画像を用いて、メインディスプレイ３に表示するための周辺画像を生成し、サブディスプレイ６に表示するための補助画像を生成する。メインディスプレイ３は、画像生成装置２で生成された周辺画像を表示し、サブディスプレイ６は、画像生成装置２で生成された補助画像を表示する。また、操作ボタン４は、ユーザの操作を受け付ける。

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、自車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、自車両９において互いに異なる位置に配置され、自車両の周辺の異なる方向を撮影する。

図２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、自車両９の前端に設けられ、その光軸５Ｆａは自車両９の直進方向に向けられる。リアカメラ５Ｂは、自車両９の後端に設けられ、その光軸５Ｂａは自車両９の直進方向の逆方向に向けられる。左サイドカメラ５Ｌは左側の左サイドミラー９３Ｌに設けられ、その光軸５Ｌａは自車両９の左側方（直進方向の直交方向）に向けられる。また、右サイドカメラ５Ｒは右側の右サイドミラー９３Ｒに設けられ、その光軸５Ｒａは自車両９の右側方（直進方向の直交方向）に向けられる。

これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、自車両９の全周囲を撮影することが可能である。

図１に戻り、メインディスプレイ３及びサブディスプレイ６は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。メインディスプレイ３及びサブディスプレイ６は、ユーザがその画面を視認できるように、自車両９のインストルメントパネルなどに配置される。メインディスプレイ３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。サブディスプレイは、メインディスプレイとは別の位置であって、ユーザが自車両を運転中においてもメインディスプレイより視認し易い位置に配置されている。例えば、サブディスプレイ６は、ユーザ（ドライバ）が着座する運転席の正面にあるメータパネル内又は上部に設けられている。メインディスプレイ３及びサブディスプレイ６は、表示パネルに重ねてタッチパネル３１・６１を備えており、ユーザの操作を受け付けることが可能である。

操作ボタン４は、ユーザの操作を受け付ける操作部材である。操作ボタン４は、例えば、自車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン４や、メインディスプレイ３及びサブディスプレイ６のタッチパネル３１・６１を介して画像表示システム１０に対する各種の操作を行うことができる。操作ボタン４及びタッチパネル３１・６１のいずれかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入力される。

画像生成装置２は、各種の画像処理が可能な電子装置であり、画像取得部２１と、画像合成部２２と、画像調整部２３と、画像出力部２４とを備えている。

画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２１は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像合成部２２及び画像調整部２３に入力する。

画像合成部２２は、合成画像を生成するための画像処理を行うハードウェア回路である。画像合成部２２は、複数のカメラ５で取得された複数の撮影画像を合成して、仮想視点からみた自車両９の周辺を示す合成画像を生成する。画像合成部２２は、自車両９の周辺に相当する仮想の投影面に複数の撮影画像のデータを投影し、該投影面上のデータを用いて合成画像を生成する。この合成画像を生成する手法の詳細については後述する。

画像調整部２３は、メインディスプレイ３に表示するための周辺画像及びサブディスプレイ６で表示するための補助画像を生成する。画像調整部２３は、画像合成部２２で生成された合成画像を用いてメインディスプレイに表示する周辺画像を生成する。また、画像調整部２３は、サブディスプレイ６に表示する画像として、メインディスプレイ３に表示する周辺画像に対応する補助画像を作成する。

画像出力部２４は、画像調整部２３で生成された周辺画像をメインディスプレイ３に出力して、周辺画像をメインディスプレイ３に表示させる。また、画像出力部２４は、画像調整部２３で生成された補助画像をサブディスプレイ６に出力して、補助画像をサブディスプレイ６に表示させる。これにより、仮想視点からみた自車両９の周辺を示す周辺画像がメインディスプレイ３に表示され、メインディスプレイ３に表示された周辺画像の領域を示す補助画像がサブディスプレイ６に表示される。

また、画像生成装置２は、制御部２０と、操作受付部２５と、信号受信部２６と、記憶部２７とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像生成装置２の全体を統括的に制御する。

操作受付部２５は、ユーザが操作を行った場合に操作ボタン４及びタッチパネル３１・６１から出力される操作信号を受信する。これにより、操作受付部２５はユーザの操作を受け付ける。操作受付部２５は、受信した操作信号を制御部２０に入力する。

信号受信部２６は、画像生成装置２とは別に自車両９に設けられる他の装置からの信号を受信して、制御部２０に入力する。信号受信部２６は、例えば、自車両９の変速装置のシフトレバーの位置であるシフトポジションを示す信号をシフトセンサ９１から受信する。この信号に基づいて、制御部２０は、自車両９の進行方向が前方あるいは後方のいずれであるかを判定することができる。

記憶部２７は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２７は、ファームウェアとしてのプログラム２７ａや、画像合成部２２が合成画像を生成するために用いる各種のデータや、画像調整部２３が周辺画像及び補助画像を生成するために用いる各種のデータを記憶する。例えば、このような周辺画像や補助画像の生成に用いるデータとして仮想視点等を含む視点データ２７ｂが含まれる。

制御部２０の各種の機能は、記憶部２７に記憶されたプログラム２７ａに従ってＣＰＵが演算処理を行うことで実現される。図中に示す画像制御部２０ａ、視点データ設定部２０ｂ及び登録部２０ｃは、プログラム２７ａに従ってＣＰＵが演算処理を行うことで実現される機能部の一部である。

画像制御部２０ａは、合成画像を生成する画像合成部２２と、周辺画像及び補助画像を生成する画像調整部２３とを制御する。画像制御部２０ａは、画像合成部２２及び画像調整部２３を制御して、自車両９の走行状態やユーザの操作に応じた合成画像、周辺画像及び補助画像を生成させる。また、視点データ設定部２０ｂは、合成画像、周辺画像及び補助画像を生成する際に用いる視点データを設定する。視点データ設定部２０ｂは、ユーザが操作ボタン４やタッチパネル３１・６１を操作して好みの視点データを設定する際に、仮想視点等の設定を行うものである。登録部２０ｃは、設定された視点データをプリセットボタンに対応付けて登録し、記憶部２７に記憶させるものである。

＜１−２．合成画像の生成＞

次に、画像合成部２２が、仮想視点からみた自車両９の周辺の様子を示す合成画像を生成する手法について説明する。図３は、画像合成部２２が合成画像を生成する手法を説明する図である。

フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、自車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲが取得される。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、自車両９の全周囲のデータが含まれている。

画像合成部２２は、まず、これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における投影面ＴＳに投影する。投影面ＴＳは、自車両９の周辺の領域に相当する仮想の立体面である。投影面ＴＳの中心領域は、自車両９の位置となる車両領域Ｒ０として定められている。

投影面ＴＳでは、車両領域（自車両９の位置）Ｒ０には撮影画像のデータは投影されず、車両領域Ｒ０の外側の領域に撮影画像のデータが投影される。以下、投影面ＴＳにおいて、撮影画像のデータが投影される領域（車両領域Ｒ０の外側の領域）を、「投影対象領域」という。

また、車両領域Ｒ０には自車両９の三次元形状を示すポリゴンモデルである車両像ＰＧを仮想的に備えている。構成された車両像ＰＧは、投影面ＴＳが設定される三次元空間において、自車両９の位置と定められた略半球状の中心部分に配置される。

投影面ＴＳの投影対象領域における各位置は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのいずれかと、テーブルデータ等の対応情報によって対応付けられている。画像合成部２２は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのデータをそれぞれ投影対象領域の対応する部分に投影する。

画像合成部２２は、投影対象領域において自車両９の前方に相当する部分ＰＦに、フロントカメラ５Ｆの撮影画像ＳＦのデータを投影する。また、画像合成部２２は、投影対象領域において自車両９の後方に相当する部分ＰＢに、リアカメラ５Ｂの撮影画像ＳＢのデータを投影する。さらに、画像合成部２２は、投影対象領域において自車両９の左側方に相当する部分ＰＬに左サイドカメラ５Ｌの撮影画像ＳＬのデータを投影し、投影対象領域において自車両９の右側方に相当する部分ＰＲに右サイドカメラ５Ｒの撮影画像ＳＲのデータを投影する。

このように投影面ＴＳの投影対象領域の各部分に撮影画像のデータを投影すると、画像合成部２２は、自車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この自車両９のモデルは、投影面ＴＳが設定される三次元空間における自車両９の位置である車両領域Ｒ０に配置される。

次に、画像合成部２２は、画像制御部２０ａの制御により、三次元空間に対して仮想視点ＶＰを設定する。画像合成部２２は、三次元空間における任意の視点位置に任意の視線方向に向けて仮想視点ＶＰを設定できる。そして、画像合成部２２は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、画像合成部２２は、設定した仮想視点ＶＰに応じて自車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部２２は、仮想視点ＶＰからみた自車両９及び自車両９の周辺を示す合成画像ＣＰを生成する。

例えば図３に示すように、視点位置を自車両９の直上、視線方向を直下とした仮想視点ＶＰａを設定した場合には、自車両９及び自車両９の周辺の領域を俯瞰する合成画像（俯瞰画像）ＣＰａが生成される。また、視点位置を自車両９の内部、視線方向を左前方とした仮想視点ＶＰｂを設定した場合には、自車両９の左前方の周辺を表示する合成画像ＣＰｂが生成される。同様に、視点位置を自車両９の左側面、視線方向を左方向とした仮想視点ＶＰｃを設定した場合には、自車両９の左側の周辺を表示する合成画像ＣＰｃが生成される。

本実施の形態では、ユーザが予め仮想視点を設定し、設定した仮想視点を含む視点データ２７ｂを記憶部２７にプリセットデータとして登録している。そして、ユーザが登録されているプリセットデータの中からいずれかの視点データ２７ｂを選択すると、画像合成部２２は、その選択された視点データ２７ｂに基づいて自車両９及び自車両９の周辺を表示する合成画像を生成するようになっている。

例えば、ユーザが自車両９の内部のドライバの視点付近を視点位置とし、自車両９の左前方を視線方向とする仮想視点を含む視点データ２７ｂを選択した場合には、仮想視点ＶＰｂが設定され、画像合成部２２は、該当する領域に投影されたデータを画像として切り出すことで、ドライバ視点で左前方を表示した合成画像ＣＰｂを作成する。

同様に、ユーザが自車両９の左側面を視点位置とし、左方向を視線方向とする仮想視点を含む視点データ２７ｂを選択した場合には、仮想視点ＶＰｃが設定され、画像合成部２２は、該当する領域に投影されたデータを画像として切り出すことで、車両の左側面から左方向を表示した合成画像ＣＰｃを作成する。また、視点データ２７ｂに視点位置及び視線方向が複数含まれる場合には、画像合成部２２は、それらに対応する複数の合成画像を作成する。なお、このユーザによる視点データの設定処理の詳細は後述する。

＜１−３．周辺画像及び補助画像＞

次に、画像調整部２３が周辺画像及び補助画像を生成する処理と、画像出力部２４が周辺画像及び補助画像を各々メインディスプレイ３及びサブディスプレイ６に表示する処理について説明する。図４は、画像調整部２３が生成する周辺画像及び補助画像の例を示す図である。図４（ａ）はメインディスプレイ３に表示する周辺画像の例であり、図４（ｂ）はサブディスプレイ６に表示する補助画像の例である。

図４（ａ）に示す周辺画像は、ユーザが自車両９のドライバの視点付近を視点位置とし、自車両の左前方を視線方向とする仮想視点を含む視点データ２７ｂを選択した場合の周辺画像である。周辺画像は、画像合成部２２が作成した合成画像に、車両内部の透過画像を重畳表示した画像である。これは、車両内部を視点位置としている場合に、視線方向に見える現実の光景に近い画像とするためであり、周囲の物体と自車両９との位置関係も理解しやすくなっている。ただし、自車両９の周辺の物体が車両内部の画像で隠れてしまうことがないように、車両内部の画像を透過画像にしている。なお、車両内部の透過画像は、予めＣＧで作成した画像を用いて作成することができ、図４（ａ）では、画像調整部２３が視線方向に対応するＣＧを用いて透過画像を合成画像に重畳表示することで周辺画像を生成している。

図４（ｂ）に示す補助画像は、メインディスプレイ３に表示されている周辺画像の領域を示す画像である。すなわち、補助画像と周辺画像とは対応付けられた画像である。図４（ｂ）に示す補助画像では、自車両９を上方から俯瞰したイメージの画像に対して、メインディスプレイ３に表示されている周辺画像の領域が強調表示されている。このように、サブディスプレイ６には、補助画像として、メインディスプレイ３で表示されている周辺画像が自車両９から見てどの方向に当たるのかを示すスコープ画像が表示される。

画像調整部２３は、メインディスプレイ３に表示する周辺画像を作成すると、その視点データに基づいて補助画像を作成する。具体的には、視点データの中には、仮想視点（すなわち視点位置及び視線方向）に関するデータが含まれており、画像調整部２３は、この視線方向に相当する領域を強調表示することで補助画像を作成する。

図４の場合、メインディスプレイ３には自車両９のドライバの視点付近を視点位置とし、左前方を視線方向とする周辺画像が表示されており、同時にサブディスプレイ６には、視線方向が左前方であること（すなわち、周辺画像の領域が車両の左前方であること）を示す補助画像が表示されることになる。このようにして、ユーザは、メインディスプレイ３に表示されている画像がいずれの方向を見た画像であるかをサブディスプレイ６を見るだけで容易に把握することができる。

なお、図４（ｂ）では、周辺画像の領域を示す扇形のスコープ画像を表示しているが、補助画像はこれに限定されるものではない。例えば、視点位置を始点として視線方向（周辺画像の中心軸方向）に延びる矢印を表示することもできる。また、視点位置と周辺画像の領域の中心に相当する位置との２点を表示することもできる。さらに、視点位置が固定の場合には、周辺画像の領域の中心に相当する位置の点だけを表示してもよい。

本実施の形態では、仮想視点を１点に設定して周辺画像を表示するのみならず、仮想視点を複数設定して周辺画像を表示することも可能である。例えば、仮想視点として、ドライバの視点付近を視点位置にして、自車両９の前方、後方、右側方、左側方の４方向を視線方向として設定した場合には、各仮想視点から見た周辺画像が作成される。

図５は、この場合における周辺画像及び補助画像の例を示す図である。図５（ａ）は、視点位置から自車両９の前方を視線方向とした際の周辺画像であり、図５（ｂ）は自車両９の左側方を視線方向とした際の周辺画像であり、図５（ｃ）は自車両９の後方を視線方向とした際の周辺画像であり、図５（ｄ）は自車両９の右側方を視線方向とした際の周辺画像である。これら各周辺画像は、画像調整部２３が上述した方法により合成画像及び透過画像を用いて作成される。また、図５（ｅ）〜（ｈ）は、図５（ａ）〜（ｄ）に各々対応する補助画像である。これら各補助画像においても、画像調整部２３が上述した方法により作成する。

なお、これら各周辺画像をメインディスプレイ３に表示する際には、各周辺画像を順番に切り替えて表示することができる。例えば、前方の周辺画像、左側方の周辺画像、後方の周辺画像、右側方の周辺画像の順に切り替えて表示する等である。また、この際には、サブディスプレイ６には、同じタイミングで各周辺画像に対応する補助画像を順に切り替えて表示することになる。すなわち、画像出力部２４は、周辺画像及び補助画像を同じタイミングでメインディスプレイ３及びサブディスプレイ６に表示する。これにより、メインディスプレイ３に表示されている周辺画像と、サブディスプレイ６に表示されている補助画像とを対応付けて表示することができ、自車両９の周囲を表示する画像がどの方向から見た画像であるのかを容易に把握することが可能になる。なお、表示する順番は任意であり、適宜設定可能である。

また、仮想視点の数をさらに多く設定し、各仮想視点に対応する周辺画像を順に表示すれば、視線方向の少しだけ異なる周辺画像を連続的に表示することができ、動画のような表示が可能となる。このような表示にすると、ユーザは、自車両周辺の複数個所を断片的に確認するのではなく、自車両周辺の全領域を連続的に確認することができる。また、これに対応させて、補助画像も連続的に表示すれば、周辺画像の領域を連続的に把握することが可能になる。

図６〜図８は、メインディスプレイ３に連続的に周辺画像を表示する例を示す図である。図６〜図８（ｂ）は、各々ドライバの視点付近を視点位置としている。また、図６（ａ）〜（ｃ）は、各々自車両９の前方、左前方、左側方を視線方向とする周辺画像である。図７（ａ）〜（ｃ）は、各々自車両９の左後方、後方、右後方を視線方向とする周辺画像である。図８（ａ）（ｂ）は、各々自車両９の右側方、右前方を視線方向とする周辺画像であり、図８（ｃ）は、自車両の直上を視点位置とし、直下を視線方向とする周辺画像である。なお、これら図６〜図８は、周辺画像の代表的な例として挙げているが、これら各周辺画像の間にも図示しない複数の周辺画像が生成されている。

これら各周辺画像と各周辺画像の間に生成されている周辺画像とを、図６（ａ）（ｂ）（ｃ）、図７（ａ）（ｂ）（ｃ）、図８（ａ）（ｂ）（ｃ）の順に表示していくと、自車両９の前方から左方向に視線方向を回転させ、最終的に上方から自車両９を見た画像を連続的に表示することができる。このため、ユーザは、自車両９の周辺の状況を動画像として確認することが可能になる。また、本実施の形態では、最後に自車両９の上方から見た周辺画像を表示しているため、ドライバの視点から周囲を見た画像と、自車両９の周囲の全域を見た画像との双方を確認することができ、車両周辺の状況がより把握し易くなる。

また、図９は、図６〜図８の周辺画像がメインディスプレイ３に表示される際に、サブディスプレイ６に表示される補助画像の例を示す図である。図９（ａ）〜（ｉ）に示す補助画像は、図６（ａ）〜図８（ｃ）に示す周辺画像に対応している。すなわち、メインディスプレイ３に図６（ａ）〜図８（ｃ）に示す周辺画像を表示するに際して、サブディスプレイ６には図９（ａ）〜（ｉ）の補助画像が、対応する周辺画像と同じタイミングで連続的に表示される。従って、この場合においても、メインディスプレイ３に表示されている周辺画像の領域を容易に把握することができる。

なお、ユーザが操作ボタン４やタッチパネル６１を操作することで、周辺画像の表示を自由に変更することも可能である。この場合、サブディスプレイ６には、図１０に示すような画像が表示される。図１０に示す画像には、補助画像に加えて操作用画像が表示されている。操作用画像は、周辺画像の連続表示の停止や再生用のボタン、視線方向の回転用のボタンが表示された画像である。

ユーザがサブディスプレイ６に表示された操作用画像に対応する箇所のタッチパネル６１を操作することにより周辺画像の表示の変更が可能になる。例えば、周辺画像の連続表示を行っている際に、停止ボタンを操作すると、周辺画像の連続表示は表示されている画像の状態で停止する。そして、「視点右回転」ボタンを操作すると、現在表示されている周辺画像の視線方向から右方向に視線方向を移動させた周辺画像が表示される。また、周辺画像の表示が停止した状態で「視点左回転」ボタンを操作すると、現在表示されている周辺画像の視線方向から左方向に視線方向を移動させた周辺画像が表示される。

例えば、図１１（ａ）に示す周辺画像及び補助画像が表示されているときに、「視点右回転」ボタンを操作すると、視線方向を右方向に移動させた各周辺画像及び各補助画像が連続表示される。これにより、例えば、図１１（ｂ）に示す画像が表示される。また、同様に、図１１（ａ）に示す周辺画像及び補助画像が表示されているときに、「視点左回転」ボタンを操作すると、視線方向を左方向に移動させた各周辺画像及び各補助画像が連続表示される。これにより、例えば、図１１（ｃ）に示す画像が表示される。

なお、タッチパネル６１の操作の仕方（操作する時間の長さや力の大きさ等）に応じて周辺画像の移動速度を適宜変化させることも可能である。また、再生ボタンを操作すると、操作した時点で表示されている周辺画像の状態から、予め設定された移動方向及び移動速度での連続表示が開始する。また、例えば、操作ボタン４がステアリングホイールに設けられていて、操作ボタン４と操作用画像とが対応付けられている場合には、ステアリングホイールの操作ボタン４を操作することで、同様の操作を行うことができるようにしてもよい。

また、仮想視点の視点位置が車両外にある場合には、周辺画像には透過画像は表示されず合成画像のみとなる。この場合の周辺画像の例を図１２（ａ）及び（ｂ）に示す。図１２（ａ）は、自車両９外部の左側を視点位置として、自車両９の左側方を視線方向とする仮想視点から見た周辺画像である。また、図１２（ｂ）は、自車両９外部の後方を視点位置として、自車両９の後方を視線方向とする仮想視点から見た周辺画像である。

なお、視点位置が自車両９外部にある場合の補助画像としては、上述した補助画像のほかに、視点位置を自車両９の外部にしたスコープ画像を用いることもできる。例えば、図１２（ｃ）及び（ｄ）に示す補助画像である。図１２（ｃ）は図１２（ａ）に対応する補助画像であり、図１２（ｃ）は図１２（ｂ）に対応する補助画像である。共に、視点位置が自車両９外部であるため、視点位置を車両の外部にしたスコープ画像を用いている。

＜１−４．視点データの設定＞

次に、ユーザが視点データを設定する処理について説明する。視点データは、一般的なデータが初期設定として登録されている場合のほか、ユーザが任意に設定して設定情報として登録することができる。視点データには、仮想視点、移動方向、移動速度、表示範囲に関するデータが含まれている。仮想視点とは、視点位置及び視線方向に関するデータである。また、移動方向とは、仮想視点を移動させる方向に関するデータである。また、移動速度とは、仮想視点を移動させる際の速度に関するデータである。また、表示範囲とは、表示する視野角に関するデータである。

なお、本実施の形態では、視点位置及び視線方向を設定すると、視線方向を車両の周囲に一周させることで仮想視点を移動させ、車両の周辺画像を連続的に表示する構成である。このため、仮想視点は１点のみ設定することになるが、移動方向及び移動速度も設定している。

仮想視点は、三次元空間上に配置されるため、任意の点を原点とした三次元座標を用いて表される。例えば、図１３に示すように、自車両の略中心部分を原点として、水平面上の車両の左右方向をＸ軸、前後方向をＹ軸とし、鉛直方向をＺ軸としたＸＹＺ直交座標を用いることができる。

ここで、図１４を用いて説明する。図１４（ａ）は、視点データの選択画面であり、図１４（ｂ）及び（ｃ）は、視点データの設定画面である。視点データの設定は、ユーザが設定画面を操作することで行われる。設定画面は、視点データの選択画面等において表示される設定ボタンを選択することで表示される。

ユーザが図１４（ａ）に示す選択画面において設定ボタンを選択すると、図１４（ｂ）に示す設定画面に遷移する。図１４（ｂ）に示す選択画面では、視点位置及び視線方向の設定を行う。視点位置及び視線方向は、データ的には座標値（Ｘ、Ｙ、Ｚ）で表されているため、座標軸毎に座標値を変更することにより、新たな視点位置及び視線方向の設定が可能となる。なお、設定画面における最初の座標値は原点（０、０、０）であってもよいし、前回選択した座標値であってもよく、適宜設定可能である。また、視線方向の設定画面において設定する点は、視点位置から視線方向に向かって延びる直線上の任意の点（以下「視線上の点」という）とする。従って、視線上の点の座標値を設定することで、視線方向が設定されることになる。

図１４（ｂ）に示す設定画面において、視点位置を設定する際には、ＸＹＺの各座標軸に対応して表示されている右ボタン又は左ボタンを押すことで各座標値を変更することができる。例えば、Ｘ軸の右ボタンを押すとＸ座標が＋側に移動し、左ボタンを押すと−側に移動する。Ｙ軸の場合もＺ軸の場合も同様である。また、視線方向（視線上の点）を設定する場合も同様である。

ＸＹＺの各座標の設定ボタンの横には、座標値に対応する数値が表示されている。視点位置及び視線方向を設定する際には、ＸＹＺの右ボタン又は左ボタンの操作に併せて座標値に対応する数値が変化する。例えば、右ボタンを押すと数値が増加し、左ボタンを押すと数値が減少する等である。これにより、ユーザは座標値を数値として認識できるため設定が容易になる。なお、この数値は、座標値に対応する数値であればどのような数値であってもよい。また、車両の擬似画像上に（Ｘ、Ｙ、Ｚ）の点を表示してボタンの操作に併せて点を移動させる表示としてもよい。この場合には、車両に対する視点位置等の場所を認識することができ設定が容易になる。

なお、視点位置及び視線方向が決まると、視線方向が車両の周囲を一周する際の移動経路が決まる。視線方向は、視点位置から視線上の点に向かう方向であるため、視線上の点が移動するとその移動に対応して視線方向が移動する。本実施の形態では、視線上の点は、自身が存在するＸＹ平面上を、視点位置のＸＹ点をそのＸＹ平面に投影した点を中心とした円状に移動する。つまり、視線方向は、視点位置を基点としてこの円に向かった方向が視線方向となり、この視線方向が円状に移動することとなる。

具体的には、図１４（ｄ）に示すように、視点位置の座標値を（Ｘ１、Ｙ１、Ｚ１）とし、視線上の点の座標値を（Ｘ２、Ｙ２、Ｚ２）とすると、視線上の点は、（Ｘ２、Ｙ２、Ｚ２）が存在するＸＹ平面上を、（Ｘ１、Ｙ１、Ｚ２）を中心として、（Ｘ１、Ｙ１、Ｚ２）と（Ｘ２、Ｙ２、Ｚ２）との距離を半径とする円状に移動する。そして、視線方向は、視点位置（Ｘ１、Ｙ１、Ｚ１）からこの円上の各点に向かう方向として視線上の点の移動に合わせて移動する。

視点位置及び視線方向の設定が完了すると、次に移動方向、移動速度及び表示範囲を設定する。図１４（ｃ）は、移動方向、移動速度及び表示範囲の設定画面である。移動方向は、周辺画像を連続表示する際に仮想視点を移動させる方向を設定するものであり、「右」方向又は「左」方向が選択可能になっている。「右」を選択すると、起点となる仮想視点から右回りで周辺画像が表示され、「左」を選択すると左回りで周辺画像が表示される。このように、ユーザによって選択された方向（右又は左）が移動方向として設定される。

移動速度は、周辺画像を連続表示する際に仮想視点の移動する速度を設定するものであり、「速」「普通」「遅」の３段階が選択可能になっている。すなわち、「速」を選択すると周辺画像が速く連続表示され、「遅」を選択するとゆっくり連続表示される。このように、ユーザによって選択された速度が移動速度として設定される。

なお、移動方向及び移動速度の設定画面においては、デフォルトの設定又は現在選択されている設定が強調表示されている。図１４（ｃ）に示す設定画面は、移動方向が「左」に設定されており、移動速度が「普通」に設定されている状態を示しており、「左」ボタンと「普通」ボタンとが強調表示されている。また、例えば、ユーザが移動方向として「右」を選択すると強調表示が「左」から「右」に変更される。

また、表示範囲は、上述のように視野角のことであり、本実施の形態では角度によって設定される。設定画面に角度を変更するボタンが表示されており、このボタンを操作することで希望する角度に設定する。このように、ユーザによって設定された角度が表示範囲として設定される。

表示範囲は、視点位置と視線上の点とを結ぶ直線を中心として左右均等に広がる範囲として設定することができる。例えば、表示範囲を２０度と設定した際には、視点位置と視線上の点とを結ぶ直線を中心として、右側に１０度、左側に１０度とする等である。なお、上下の表示範囲は、表示する表示画面の縦横比と、設定された左右の表示範囲とに基づいて設定される。

なお、各データの設定の途中や全データを設定した後に、設定した視点データを確認するためのプレビューを表示することができるようにしてもよい。例えば、車両の擬似画像上に設定された視点位置や視線方向が表示され、設定された移動方向や移動速度等に従って、仮想視点を動かす等である。視点位置や視線方向の設定画面からプレビューを表示したい場合には、設定画面上に表示されている「プレビュー」ボタンを押せばよい。また、全データを設定した後にプレビューを表示したい場合には、移動方向等を設定する際の画面上に表示されている「プレビュー」ボタンを押せばよい。

また、プレビューの表示は、設定された視点データに従って実際に周辺画像を作成して表示する構成としてもよい。これらプレビューは、サブディスプレイ６に表示してもよいし、メインディスプレイ３に表示してもよい。これにより、ユーザは、自らが設定した視点データを確認することができるため、希望に合わない場合には再設定することも可能になる。希望に合う場合には、登録ボタンＲＢとプリセットボタンＰＢとを操作することにより、設定したデータが視点データとして当該プリセットボタンに対応付けて登録される。すなわち、登録ボタンＲＢを操作すると、プリセットボタンＰＢが表示された画面に遷移し、プリセットボタンＰＢの中から希望するプリセット番号を操作することによって、視点データと選択したプリセット番号とが対応付けられて登録される。この視点データは、選択したプリセットボタンＰＢ（選択したプリセット番号）に対応付けられたメモリ領域に記憶される。また、登録された視点データは、次回以降にはプリセットボタンを押すだけで該当のメモリ領域から読み出されて設定され、所望の周辺画像を表示することができる。

＜１−５．画像表示システムの処理＞

次に、画像表示システム１０の処理について説明する。図１５は、画像表示システム１０の処理の流れを示すフローチャートである。

画像表示システム１０の処理は、例えば、システムの起動により周辺画像を表示するか否かを確認する画面が表示されることにより開始する。まず、ユーザが周辺画像を表示するか否かを選択する（ステップＳ１５０１）。周辺画像を表示しない場合には（ステップＳ１５０１でＮｏ）、処理は終了する。一方、周辺画像を表示する場合には（ステップＳ１５０１でＹｅｓ）、画像合成部２２は視点データ２７ｂを選択する（ステップＳ１５０２）。具体的には、ユーザは、周辺画像の表示を選択した際に視点データ２７ｂも選択するようになっている。このため、画像合成部２２は、ユーザがプリセットボタンＰＢ等を操作して選択した視点データ２７ｂを記憶部から読み出し、その視点データ２７ｂを周辺画像等の作成に用いるデータとする。

次に、読み出された視点データ２７ｂを用いて周辺画像を作成する（ステップＳ１５０３）。すなわち、画像合成部２２が、仮想視点及び表示範囲に基づいて合成画像を生成し、また、画像調整部２３が透過画像を合成画像に重畳した周辺画像を作成する。

具体的には、画像合成部２２は、周辺画像を連続表示する際の表示間隔に応じて合成画像を複数作成する。例えば、連続表示の表示間隔が１０ｍｓｅｃである場合には、画像合成部２２は、設定された移動速度に応じて仮想視点を移動させながら１０ｍｓｅｃ毎にサンプリングし、サンプリングされた点を仮想視点とした合成画像を作成する。そして、画像調整部２３は、作成された各合成画像に透過画像を重畳した周辺画像を作成する。

次に、画像調整部２３は、補助画像を作成する（ステップＳ１５０４）。画像調整部２３は、周辺画像を作成すると、それに対応する補助画像を作成する。具体的には、周辺画像の視線方向と表示範囲に基づいて、同じ方向で同じ範囲のスコープ画像を作成する。補助画像は、周辺画像毎に作成される。なお、補助画像の作成は、周辺画像を作成した後に作成してもよく、周辺画像の作成と同時に作成してもよい。

次に、画像出力部２４は、作成した周辺画像及び補助画像を表示する（ステップＳ１５０５）。すなわち、画像出力部２４は、周辺画像をメインディスプレイ３に表示し、補助画像をサブディスプレイ６に表示する。これら各画像は、対応する両画像を同期させて表示される。また、画像出力部２４は、視点データ２７ｂに含まれる移動方向及び移動速度に基づいて周辺画像を連続表示する。すなわち、画像出力部２４は、周辺画像を移動方向の順番に、移動速度に従って切り替えて連続的に表示する。これにより、ユーザは、自身が設定した移動方向及び移動速度で自車両９の周囲を連続的に確認することができる。

次に、画像出力部２４は、全ての周辺画像の表示が終了したか否かを判断する（ステップＳ１５０６）。全ての周辺画像の表示が終了したか否かとは、起点となる仮想視点から終点となる仮想視点までの周辺画像の表示が終了したか否か（車両全周の表示が終了したか否か）である。全ての周辺画像の表示が終了していない場合には（ステップＳ１５０６でＮｏ）、まだ表示すべき周辺画像が存在するため、画像出力部２４は、残りの周辺画像を表示する制御を行う（ステップＳ１５０５）。一方、全ての周辺画像の表示が終了した場合には（ステップＳ１５０６でＹｅｓ）、周辺画像及び補助画像のデータをメモリから消去して（ステップＳ１５０７）、処理を終了する。

＜２．第２の実施の形態＞

次に、第２の実施の形態について説明する。第２の実施の形態では、第１の実施の形態とは異なる方法で視点データを設定する方法について説明する。システム構成等は第１の実施の形態と同様であるため、以下、視点データの設定方法について説明する。

＜２−１．視点データの設定＞

第２の実施の形態は、ユーザがサブディスプレイ６のタッチパネル６１を操作して視点データを設定する。視点データの設定画面では、サブディスプレイ６に自車両を上方から見た擬似画像及び横から見た擬似画像が表示され、視点位置や視線方向等を各々個別に設定する。サブディスプレイ６のタッチパネル６１上の点は、第１の実施の形態で説明した三次元座標の座標値と対応付けられており、ユーザの操作した点と座標値を対応付けることで視点データを設定する。

視点位置を設定する方法について説明する。視点位置を設定するために、まず視点位置のＸＹ座標値を導出する。視点位置の設定画面では、初めに図１６（ａ）に示すように、自車両を上方から見た画像が表示される。ユーザが、サブディスプレイ６のタッチパネル６１をドラッグ（タッチパネル上から指を離すことなく移動させる操作）すると、ドラッグした線が視点位置になる。すなわち、図１６（ａ）の場合、視点位置は始点１６１から始まり、車両の後方に向かって周囲を回って終点１６２で終わる。

そして、ドラッグした線に基づいて視点位置のＸＹ座標値を導出する。サブディスプレイ６のタッチパネル６１上の点は、三次元座標のＸＹ平面における座標値と対応付けられており、ユーザがドラッグした線は、ＸＹ座標値に変換される。また、始点１６１と終点１６２との間の点は、始点１６１と終点１６２との間を例えば１０ｍｓｅｃ毎にサンプリングして抽出され、抽出された点に対応する座標値が導出される。これにより、始点１６１から終点１６２までの視点位置のＸＹ座標値が導出される。

次に、視点位置のＺ座標値を導出する。サブディスプレイ６には、自車両を横から見た画像が表示される。ユーザが、サブディスプレイ６のタッチパネル６１をドラッグすると、ドラッグした線が視点位置になる。すなわち、図１６（ｂ）の場合、視点位置は始点１６３から始まり、終点１６４で終わる。

そして、ドラッグした線に基づいて視点位置のＺ座標値を導出する。サブディスプレイ６のタッチパネル６１上の点は、三次元座標のＺ軸における座標値と対応付けられており、ユーザがドラッグした線は、Ｚ座標値に変換される。また、始点１６３と終点１６４との間の点は、始点１６３と終点１６４との間を例えば１０ｍｓｅｃ毎にサンプリングして抽出され、抽出された点に対応する座標値が導出される。これにより、始点１６３から終点１６４までの視点位置のＺ座標値が導出される。

なお、図１６に表示されている指の移動軌跡を示す実線と、視点１６１・１６３及び終点１６２・１６４を示す点とは、説明の便宜上画面に表示しているが、実際の設定画面においては、表示してもよいし、しなくてもよい。他の同様の操作においても同様である。

以上の操作によって、視点位置に関するＸＹＺの各座標値が導出されたことになるが、ＸＹ座標値とＺ座標値とは異なる操作によって導出された座標値であるため、これらを対応付ける必要がある。そこで、図１７を用いて対応付ける方法について説明する。

図１７は、視点位置を設定するために導出されたＸＹ座標値とＺ座標値とを対応付ける方法を説明する図である。図１７（ａ）は、導出されたＸＹ座標値及びＺ座標値の各データを示している。ＸＹデータは、各サンプリング点におけるＸＹ座標値を示しており、Ｚデータは、各サンプリング点におけるＺ座標値を示している。ＸＹデータの場合、始点１６１に対応する座標値がａ１であり、終点１６２に対応する座標値がａｎである。また、ａ２〜ａｎ−１は１０ｍｓｅｃ毎にサンプリングされた点の座標値である。また、Ｚデータの場合も同様に、始点１６３に対応する座標値がｂ１であり、終点１６４に対応する座標値がｂｍであり、それらの間にサンプリングされた点の座標値がｂ２〜ｂｍ−１である。

ユーザがＸＹデータを導出する際にタッチパネル６１を操作した時間とＺデータを導出する際にタッチパネル６１を操作した時間とが異なるため、座標値のデータ数が異なっている。このため、Ｚデータの操作時間をＸＹデータと同じ長さに変更すると共に、各座標値のデータ内におけるタイミングを変更する。そして、ＸＹデータと変更後のＺデータとを対応付ける。この例を図１７（ｂ）に示す。

例えば、ＸＹデータを導出する際に操作した時間がｎであり、Ｚデータを導出する際に操作した時間がｍである場合に、Ｚデータの時間をｎ／ｍ倍する。そして、始点の座標値ｂ１と終点の座標値ｂｍは、最初及び最後のタイミングに固定し、それらの間の各座標値を変更前のタイミングと同じ時間割合でのタイミングとなるように変更する。したがって、ｂ１とｂ２との時間間隔はｎ／ｍ倍になる。

そして、操作時間を同じにしたＸＹデータとＺデータとを比較して、ＸＹデータの各座標値の時間と同じ時間にあるＺデータの座標値を対応付ける。すなわち、ａ１に対応する座標値はｂ１であり、ａ２に対応する座標値は、ｂ１とｂ２との間にあってａ２をサンプリングした時間と同じ時間の座標値となる。なお、ＺデータはＺ座標値であるため、ｂ１の座標値とｂ２の座標値とを結んだ直線において対応する位置にある座標値を選択すればよい。これにより、ＸＹＺ座標値（ｃ１〜ｃｌ）が決まり、視点位置が設定される。

なお、視点位置を設定する際には、Ｚデータの導出を行わず、ＸＹデータのみで行ってもよい。この場合、Ｚ座標は所定値を採用すればよく、例えば自車両の１／２の高さの座標値である。従って、この場合には、ＸＹデータとＺデータとの対応付けも、時間を合わせる等の処理は行わず、単に、ＸＹ座標値に所定のＺ座標値を追加して視点位置を設定することになる。

次に、視線方向を設定する方法について説明する。視線方向は、視線上の点を導出し、その視線上の点と視点位置とを用いて設定される。まず視線上の点の導出について説明する。視線上の点の導出は、視点位置の設定と同様の方法で行うことができる。図１８（ａ）に示すように、自車両を上方から見た画像に対してユーザがドラッグした線に基づいてＸＹデータを導出する。そして、図１８（ｂ）に示すように、自車両を横から見た画像に対してユーザがドラッグした線に基づいてＺデータを導出する。

そして、ＸＹデータとＺデータとを対応付ける処理を行う。図１９（ａ）は、導出されたＸＹデータ及びＺデータを示す図であり、図１９（ｂ）は、これらを対応付けることによって導出された視線上の点を示す図である。この対応付けの処理においても、視点位置の設定処理の場合と同様に、ＸＹデータとＺデータとが同じ時間になるように変更し、各データのタイミング同士を組み合わせた座標値を導出すればよい。これにより、ＸＹＺ座標値（ｆ１〜ｆｉ）が決まり、視線上の点が導出される。

視線上の点が導出されると、視点位置を用いて視線方向を設定する。視線方向は、視点位置から視線上の点に向かう方向であるから、視点位置に対応する視線上の点を導出する必要がある。ここでも、視点位置を設定する際にユーザがタッチパネル６１を操作した時間と、視線上の点を導出する際にユーザがタッチパネル６１を操作した時間とが異なることから、上述した視点位置や視線上の点の導出方法と同様に、各操作時間を合わせて対応する座標値を導出すればよい。図２０は、この例を示す図である。そして、対応付けられた視点位置の座標値から視線上の点の座標値に向かう方向が視線方向となる。以上により、視点位置及び視線方向が設定され、仮想視点が設定される。なお、視線上の点を導出する際においても、視点位置と同様に、Ｚデータの導出を行わず、ＸＹデータのみで行ってもよい。

次に、移動方向を設定する。移動方向は、ユーザが視点位置又は視線方向を設定する際に、操作した方向に基づいて設定すればよい。例えば、ユーザが車両の左前方から左方向にドラッグした場合には、移動方向も左方向とする。

次に、移動速度を設定する。移動速度においても、ユーザが視点位置又は視線方向を設定した際のドラッグの速度に基づいて設定することができる。例えば、ユーザがドラッグした速度と同じ速度としてもよいし、ユーザがドラッグした速度に所定の演算処理を行って導出した速度としてもよい。また、ユーザのドラッグの速度に基づく場合に限らず、ユーザが希望する速度を設定することもできる。例えば、自車両の周辺を複数の領域に分割して、各領域に対してユーザが希望する速度を設定するようにしてもよい。具体的には、図２１に示すように、自車両を４つの領域に分割して、前方の移動速度は速くし、左側方及び右側方は普通にし、後方は遅くする等である。

次に、表示範囲を設定する。表示範囲の設定は、まず、図２２（ａ）に示すように、自車両を上方から見た画像に対してユーザがドラッグした線に基づいてＸＹデータを導出する。これは、上述した視点位置及び視線方向の設定と同様の方法で行うことができる。そして、メインディスプレイ３のの縦横比は決まっているため、この縦横比と導出されたＸＹデータ（すなわち、左右方向の範囲）とに基づいて、上下方向の範囲が導出される。これにより、表示範囲が設定される。

なお、このように、メインディスプレイ３の縦横比に基づいて表示範囲を導出する場合にはＺデータを導出する必要はないが、メインディスプレイ３の縦横比と異なる縦横比の周辺画像を表示する際には、Ｚデータを導出して表示範囲を設定する。例えば、図２２（ａ）に示す方法でＸＹデータを導出した後に、図２２（ｂ）に示すように、自車両を横から見た画像に対してユーザがドラッグした線に基づいてＺデータを導出する。そして、上述した視点位置等の設定と同様の方法で、ＸＹデータとＺデータとを対応付けることにより、表示範囲を設定する。

この場合、メインディスプレイ３の縦横比と周辺画像の縦横比とが異なるため、メインディスプレイ３に表示される周辺画像以外の部分は無表示（例えば黒色等）とする。また、ＸＹデータとＺデータとを導出して設定された表示範囲を、メインディスプレイ３の縦横比と同じ縦横比となるように拡縮等により変更する構成としてもよい。

以上により、仮想視点、移動方向、移動速度及び表示範囲の各データが設定され、これら各データを視点データとし、この視点データとプリセットボタンとを対応付けて登録して記憶部に記憶することで、視点データの設定が完了する。なお、ユーザがドラッグ等の操作により視点データを設定する際には、サブディスプレイ６のタッチパネル６１を操作する場合に限定されず、メインディスプレイ３のタッチパネル３１を操作して同様の処理を行ってもよい。さらには、操作もドラッグに限定されず、同様の処理が可能な操作であれば他の操作であってもよい。

＜２−２．視点データの設定処理＞

次に、第２の実施の形態における視点データの設定処理についてフローチャートを用いて説明する。図２３及び図２４は、視点データの設定処理を示すフローチャートである。

視点データの設定処理は、ユーザが設定ボタンを選択することによって開始する。視点データの設定処理が開始すると、まずサブディスプレイ６に視点位置の設定画面を表示する（ステップＳ２３０１）。そして、視点データ設定部２０ｂは、視点位置を設定するためのユーザによるドラッグ操作の有無を判断する（ステップＳ２３０２）。この判断は、サブディスプレイ６のタッチパネル６１の操作があったか否かに基づいて行われる。

ユーザによるドラッグ操作がない場合には（ステップＳ２３０２でＮｏ）、設定画面が表示されてから所定時間が経過したか否かを判断する（ステップＳ２３０３）。所定時間が経過した場合には（ステップＳ２３０３でＹｅｓ）、ユーザは視点データの設定処理を行わないものと判断して処理を終了する（図２３のＡ）。一方、所定時間が経過していない場合には（ステップＳ２３０３でＹｅｓ）、再度操作の有無を判断する処理を実行する（ステップＳ２３０２）。

また、ドラッグ操作の有無を判断するステップＳ２３０２において、ユーザによるドラッグ操作があったと判断した場合には（ステップＳ２３０２でＹｅｓ）、操作により設定された視点位置を記憶部２７に記憶する（ステップＳ２３０４）。なお、この視点位置の設定処理は、上述した方法で行うことができる。この場合、ステップＳ２３０２及びＳ２３０３は、ＸＹデータの導出処理及びＺデータの導出処理のいずれに対しても同様に行われる。

次に、サブディスプレイ６に視線方向の設定画面を表示する（ステップＳ２３０５）。そして、視点データ設定部２０ｂは、視線方向を設定するためのユーザによるドラッグ操作の有無を判断する（ステップＳ２３０６）。この判断においても、サブディスプレイ６のタッチパネル６１の操作があったか否かに基づいて行われる。

ユーザによるドラッグ操作がない場合には（ステップＳ２３０６でＮｏ）、設定画面が表示されてから所定時間が経過したか否かを判断する（ステップＳ２３０７）。所定時間が経過していない場合には（ステップＳ２３０７でＮｏ）、再度操作の有無を判断する処理を実行する（ステップＳ２３０５）。

一方、所定時間が経過した場合には（ステップＳ２３０７でＹｅｓ）、所定値を視線方向として記憶部２７に記憶する（ステップＳ２３０８）。このように、ユーザが視線方向の設定処理を実行しないまま所定時間が経過した際には、予め決められた値を視線方向とする。

また、ドラッグ操作の有無を判断するステップＳ２３０６において、ユーザによるドラッグ操作があったと判断した場合には（ステップＳ２３０６でＹｅｓ）、操作により設定された視線方向を記憶部２７に記憶する（ステップＳ２３０９）。この視線方向の設定処理についても、上述した方法で行うことができる。また、この場合、ステップＳ２３０６及びＳ２３０７は、ＸＹデータの導出処理及びＺデータの導出処理のいずれに対しても同様に行われる。

次に、サブディスプレイ６に表示範囲の設定画面を表示して（ステップＳ２３１０）、次の処理に進む（図２３のＢ）。そして、視点データ設定部２０ｂは、表示範囲を設定するためのユーザによるドラッグ操作の有無を判断する（ステップＳ２４０１）。この判断においても、サブディスプレイ６のタッチパネル６１の操作があったか否かに基づいて行われる。

ユーザによるドラッグ操作がない場合には（ステップＳ２４０１でＮｏ）、設定画面が表示されてから所定時間が経過したか否かを判断する（ステップＳ２４０２）。所定時間が経過していない場合には（ステップＳ２４０２でＮｏ）、再度操作の有無を判断する処理を実行する（ステップＳ２４０１）。

一方、所定時間が経過した場合には（ステップＳ２４０２でＹｅｓ）、所定値を表示範囲として記憶部２７に記憶する（ステップＳ２４０３）。表示範囲の設定処理においても、ユーザが設定処理を実行しないまま所定時間が経過した際には、予め決められた値を表示範囲とする。

また、ドラッグ操作の有無を判断するステップＳ２４０１において、ユーザによるドラッグ操作があったと判断した場合には（ステップＳ２４０１でＹｅｓ）、操作により設定された表示範囲を記憶部２７に記憶する（ステップＳ２４０４）。そして、移動方向及び移動速度を記憶部２７に記憶する（ステップＳ２４０５）。移動方向及び移動速度は、上述した方法で設定され、その内容が記憶される。

次に、プレビュー表示の指示の有無を判断する（ステップＳ２４０６）。視点データの各データの設定が終了した際に、ユーザが設定した各データに基づいて表示される周辺画像を確認することを希望する場合があるからである。プレビュー表示の指示がある場合には（ステップＳ２４０６でＹｅｓ）、画像生成装置２は設定された各データに基づいてプレビューを表示する（ステップＳ２４０７）。この表示は、設定された各データに基づいて作成された周辺画像をメインディスプレイ３に表示することにより行うことができる。ただし、これ以外の方法でもよく、例えば、サブディスプレイ６に表示された車両の擬似画像上に、設定した各データに基づく仮想視点の移動経路等を表示することとしてもよい。

そして、プレビューを表示した後には、プレビューの内容で問題がないかを判断する（ステップＳ２４０８）。プレビューの内容で問題がある場合には（ステップＳ２４０８でＮｏ）、各データの内容を変更する必要がある。したがって、視点データの設定処理を初めからやり直すために、再度視点位置を設定するための画面を表示する処理に戻る（図２４のＣ）。

一方、プレビューの内容で問題がない場合には（ステップＳ２４０８でＹｅｓ）、設定した各データを登録し視点データとして設定する（ステップＳ２４０９）。この登録は、プリセットボタンなどを用いて行われ、次回以降の周辺画像を表示する際の視点データの選択肢の一つとなる。そして、設定画面を消去して（ステップＳ２４１０）、視点データの設定処理を終了する。

＜３．変形例＞

なお、上記各実施の形態において、サブディスプレイ６に補助画像を表示する際に、車両の周辺に障害物等の注意すべき物体が存在する場合には、その旨を報知する構成を付加してもよい。

例えば、図２５（ａ）に示すように、車両の右前方に障害物が存在する場合に、サブディスプレイ６に表示する補助画像の該当する箇所に障害物の存在を報知する表示２５１を付加する。これにより、ユーザは、自車両の周辺に障害物があることを把握することができる。また、メインディスプレイ３に表示する周辺画像上に、該当する方向に矢印２５２等を表示してもよい。この場合には、実際に障害物の存在する方向を車室内からの方向として把握することができる。

さらに、図２５（ｃ）及び（ｄ）に示すように、サブディスプレイ６に表示する補助画像をメインディスプレイ３の一部に表示してもよい。この場合には、メインディスプレイ３を見るだけでサブディスプレイ６の表示内容も把握することができるため、障害物の存在を容易に認識することが可能になる。また、補助画像の表示に加えて、矢印等の方向を示す表示をメインディスプレイ３に表示する構成としてもよい。

以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではない。また、上記実施の形態及び各変形例は、適宜に組み合わせ可能である。

また、上記各実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

２ 画像生成装置
３ メインディスプレイ
４ 操作ボタン
５ カメラ
６ サブディスプレイ
１０ 画像表示システム

Claims (13)

1. 画像を処理する画像処理装置であって、
   自車両に搭載されたカメラの撮影画像を取得する画像取得手段と、
   前記撮影画像に基づいて、仮想視点から見た自車両の周辺を示す周辺画像、及び、前記周辺画像の領域を示す補助画像を生成する生成手段と、
   前記周辺画像及び補助画像を表示装置に出力して前記表示装置に表示させる出力手段と、
   を備えていることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記出力手段は、前記周辺画像を第１の表示装置に出力して該第１の表示装置に表示させ、前記補助画像を第２の表示装置に出力して該第２の表示装置に表示させることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記第２の表示装置がタッチパネルを有し、該タッチパネルの操作に基づいて前記仮想視点における視点位置及び視線方向を設定する設定手段をさらに備えていることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記設定手段は、前記視点位置を設定した後に、視線方向を設定することを特徴とする画像処理装置。
5. 請求項３又は４に記載の画像処理装置において、
   前記タッチパネルの操作が、タッチパネル上から指を離すことなく移動させる操作である場合には、
   前記設定手段は、視点位置及び視線方向の移動も設定することを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記設定手段は、前記視点位置の移動のタイミングと、前記視線方向の移動のタイミングとを同期させて、前記視点位置及び視線方向を設定することを特徴とする画像処理装置。
7. 請求項３ないし６のいずれか１項に記載の画像処理装置において、
   前記設定手段は、三次元空間上における視点位置及び視線方向を設定することを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記設定手段は、水平面上の視点位置及び視線方向を設定した後に、鉛直方向の視点位置及び視線方向を設定することを特徴とする画像処理装置。
9. 請求項５ないし８のいずれか１項に記載の画像処理装置において、
   前記設定手段は、前記視点位置及び視線方向の移動速度も設定することを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記設定手段は、前記タッチパネルにおける操作位置の移動速度に応じて、前記視点位置及び視線方向の移動速度を設定することを特徴とする画像処理装置。
11. 請求項９又は１０に記載の画像処理装置において、
    前記設定手段は、前記自車両の周辺を複数の領域に分割し、領域毎に視点位置及び視線方向の移動速度を設定することを特徴とする画像処理装置。
12. 請求項３ないし１１のいずれか１項に記載の画像処理装置において、
    前記設定手段が設定した設定情報を記憶する記憶手段をさらに備え、
    前記記憶手段は、前記設定情報を、前記第１の表示装置又は第２の表示装置に表示されるボタンに対応付けて記憶することを特徴とする画像処理装置。
13. 画像処理システムであって、
    請求項１ないし１２のいずれか１項に記載の画像処理装置と、
    画像を表示する表示装置と、
    を備えていることを特徴とする画像処理システム。

Images