JP2005258792A - 画像生成装置、画像生成方法、および画像生成プログラム - Google Patents

Abstract

【課題】 車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を、３次元空間における任意の仮想視点から見た画像として表示する際、車両等と撮影した監視対象の画像との関係が直感的に分かるように表示することが可能な画像生成装置、画像生成方法、および画像生成プログラムを提供すること。
【解決手段】 視点変換手段によって生成された視点変換画像データ、撮像画像を表わす撮像画像データ、空間モデル、およびマッピングされた空間データの何れかに基づいて、カメラを搭載した車両等のモデルである撮像装置配置物体モデルと空間モデルとの距離を算出する距離算出手段を備え、３次元空間における任意の仮想視点から見た画像を表示する際、距離算出手段によって算出した距離に応じて、画像の表示形態を異ならせて表示する。
【選択図】 図３

Description

本発明は、車両等の物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づいて、上記撮影した各エリアに対応する画像データに基づいて合成した画像を表示するに際し、上記物体と撮影した画像との関係が直感的に分かるように表示するための画像データを生成する画像生成装置、画像生成方法、および画像生成プログラムに関する。

従来、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を監視する監視カメラ装置は、１台または複数台のカメラで監視対象を撮影し、その画像をモニタ装置に表示していた。このような監視カメラ装置において、カメラが複数台あるにも関わらずモニタ装置がカメラ台数よりも少ない場合、例えば、カメラが２台あるにも関わらずモニタ装置が１台の場合、撮影した複数のカメラ画像を統合して１台のモニタ装置に表示したり、順次切り替えて表示したりしていた。しかし、このような監視カメラ装置では、それぞれのカメラからの画像を監視するには、独立に表示されている画像の連続性を管理者が考慮する必要があるなどの問題があった。

この問題を解決する方法として、車両等に取り付けられた１台もしくは複数台のカメラからの入力画像を、３次元空間の予め定められた空間モデルにマッピングし、そのマッピングされた空間データを参照して、上記３次元空間における任意の仮想視点から見た画像を作成して表示することにより、あたかも仮想視点から実際に見ているような感覚を持つ合成画像を表示する監視カメラ装置に関する技術が開示されている（例えば、特許文献１参照。）。
特許第３２８６３０６号公報

しかしながら、上記のような従来の監視カメラ装置においては、カメラを取り付けた車両等の撮像手段配置物体とそのカメラが撮影した監視対象との関係が分かり難いという問題点があった。
本発明は、上記従来技術の欠点に鑑みてなされたもので、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を、３次元空間における任意の仮想視点から見た画像として表示する際、上記車両等の撮像手段配置物体と撮影した監視対象の画像との関係が直感的に分かるように表示することが可能な画像生成装置、画像生成方法、および画像生成プログラムを提供することを目的とする。

本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像手段と、上記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、上記空間再構成手段によってマッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、上記視点変換手段によって生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する表示手段とを備えた画像生成装置であって、上記視点変換手段によって生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの距離を算出する距離算出手段をさらに備え、上記表示手段が、上記距離算出手段によって算出した距離に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

また、本発明の画像生成装置は、上記表示手段が、上記距離算出手段によって算出した距離が所定値以上の場合、上記画像を一体化した背景モデルとして表示することが望ましい。
また、本発明の画像生成装置は、上記表示手段が、表示する画像中に上記距離算出手段によって算出した距離が所定値以上の部分が含まれている場合、上記画像の当該部分をぼかして表示することが望ましい。

また、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像手段と、上記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、上記空間再構成手段によってマッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、上記視点変換手段によって生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する表示手段とを備えた画像生成装置であって、異なる時刻に対応した、上記視点変換手段によって生成された２時刻における視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの相対速度を算出する相対速度算出手段をさらに備え、上記表示手段が、上記相対速度算出手段によって算出した相対速度に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

また、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像手段と、上記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、上記空間再構成手段によってマッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、上記視点変換手段によって生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する表示手段とを備えた画像生成装置であって、異なる時刻に対応した、上記視点変換手段によって生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとが衝突する可能性を算出する衝突可能性算出手段をさらに備え、上記表示手段が、上記衝突可能性算出手段によって算出した衝突可能性に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

また、本発明の画像生成装置は、上記表示手段が、上記衝突可能性算出手段によって算出した衝突可能性が所定値以下の場合、上記画像を一体化した背景モデルとして表示することが望ましい。
また、本発明の画像生成装置は、上記表示手段が、上記衝突可能性算出手段によって算出した衝突可能性が所定値以下の場合、上記画像をぼかして表示することが望ましい。

また、本発明の画像生成装置は、上記表示手段が、当該表示形態として色によって表示情報の意味が認識されるような形態をとりうるように構成されたものであることが望ましい。
また、本発明の画像生成装置は、上記表示手段が、上記距離算出手段によって算出された距離に応じて表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を取り得るように構成されたものであることが望ましい。

また、本発明の画像生成装置は、上記表示手段が、上記距離算出手段によって算出された距離がその値に応じて区分された複数の階層のうちの何れの階層に該当するかに応じて表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を取り得るように構成されたものであることが望ましい。

また、本発明の画像生成装置は、上記撮像手段が、車両に取り付けられたことが望ましい。
また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、上記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成し、上記生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、上記生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの距離をさらに算出し、上記表示が、上記算出した距離に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、上記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成し、上記生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、上記生成された異なる時刻に対応した、視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの相対速度をさらに算出し、上記表示が、上記算出した相対速度に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、上記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成し、上記生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、上記生成された異なる時刻に対応した、視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとが衝突する可能性をさらに算出し、上記表示が、上記算出した衝突する可能性に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに対して、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、上記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、上記生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する手順とを実行させるための画像生成プログラムであって、上記生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの距離を算出する手順をさらに備え、上記表示する手順が、上記算出した距離に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに対して、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、上記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、上記生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する手順とを実行させるための画像生成プログラムであって、上記生成された異なる時刻に対応した、視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間モデルとの相対速度を算出する手順をさらに備え、上記表示が、上記算出した相対速度に応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに対して、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、上記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、上記生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する手順とを実行させるための画像生成プログラムであって、上記生成された異なる時刻に対応した、視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと上記空間との衝突する可能性をさらに算出する手順をさらに備え、上記表示が、上記算出した衝突可能性応じて、上記画像の表示形態を異ならせて表示することを特徴とする。

本発明によれば、車両等の撮像手段配置物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づいて、あたかも仮想視点から実際見ているような感覚を持つことができる合成画像を生成し、この合成画像を表示するに際し、上記物体と撮影した画像との関係が直感的に分かるように表示することができる。

以下、図面を参照しながら本発明の実施の形態について述べる。
まず、図１および図２を用いて、複数台のカメラで撮影した画像データに基づいて仮想的な視点から見る画像を生成し、その仮想視点からの画像を表示する画像生成装置について説明する。なお、図示の例では複数台のカメラを用いているが、１台のカメラの設置位置を順次移動して複数台のカメラが備えられた場合と同様の撮像データを得るようにしてもよい。また、この乃至これらのカメラは、撮像手段配置物体としての車両、部屋（その特定の部位等）、建物等に設置される。この点は、以下に述べる各例について同様である。

図１は、測距装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。
図１において、画像生成装置１００は、測距装置１０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、および表示装置１１４を備える。

測距装置１０１は、距離を計測する距離センサを用いて目標物体（障害物）までの距離を計測する。例えば、車両に取り付けられた場合は、車両周囲の状況として、少なくとも車両周囲に存在する障害物までの距離を、上記距離センサを用いて計測する。
空間モデル生成装置１０３は、上記測距装置１０１が計測した距離画像データ１０２に基づいて、３次元空間の空間モデル１０４を生成し、それをデータベース（概念を実体の如く図示。以下同様。）に格納する。なお、空間モデル１０４は、上述のように別途のセンサによる計測データに基づいて生成されたもの、あるいは、予め決められた所定のもの、乃至は、その場で複数の入力画像から生成されたものであり、それらのデータがデータベースに格納される。

撮像装置１０７は、例えば、カメラであり、撮像装置配置物体に取り付けられ画像を撮像し、撮影画像データ１０８としてデータベースに格納する。撮像装置配置物体が車両であれば、撮像装置１０７は、車両周囲の画像を撮影する。
空間再構成装置１０９は、上記撮像装置１０７によって撮像された撮像画像データ１０８を、上記空間モデル生成装置１０３で生成した空間モデル１０４にマッピングする。そして、空間モデル１０４に撮影画像データ１０８をマッピングしたデータは、空間データ１１１としてデータベースに格納する。

キャリブレーション装置１０５は、例えば、温度によるレンズ歪みの補正を行うために、撮像装置１０７の取り付け位置、取り付け角度、レンズ歪み補正値、レンズの焦点距離などといったパラメータを、入力することによって、あるいは計算することによって得る。すなわち、撮像装置１０７がカメラであれば、カメラキャリブレーションを行う。カメラキャリブレーションとは、３次元実世界に配置されたカメラについての、その３次元実世界における、カメラの取り付け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、上記カメラ特性を表すカメラパラメータを決定、補正することである。

視点変換装置１１２は、上記空間再構成装置１０９によってマッピングされた空間データ１１１に基づいて、３次元空間における任意の仮想視点から見た視点変換画像データ１１３を生成し、それをデータベースに格納する。
表示装置１１４は、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する。

図２は、撮像装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。
図２において、画像生成装置２００は、測距装置２０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、および表示装置１１４を備える。

画像生成装置２００が、図１を用いて説明した画像生成装置１００と異なるのは、測距装置１０１の代わりに測距装置２０１を備えている点である。以下、測距装置２０１を中心とした説明をし、その他の構成要素については図１を用いた説明と同様であるので省略する。

測距装置２０１は、撮影装置１０７で撮影した撮影画像データ１０８に基づいて、障害物までの距離を計測する。また、測距装置１０１と同様、距離を計測する距離センサを用いて障害物までの距離を計測したデータと合わせて距離画像データ２０２としても良い。
そして、空間モデル生成装置１０３は、上記測距装置２０１が計測した距離画像データ２０２に基づいて、３次元空間の空間モデル１０４を生成し、それをデータベースに格納する。

次に、図３乃至図６を用いて、仮想視点からの画像を表示する際に、表示する物体の表示形態を、２物体間の相対的な距離に応じて異ならせることができる画像生成装置について説明する。この画像生成装置は、図１または図２を用いて説明した画像生成装置に適用することができる。

図３は、測距装置により空間モデルを生成し、視点変換画像において物体間の距離が分かるように表示するための画像生成装置のブロック図である。
図３において、画像生成装置３００は、測距装置１０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置３１４、および距離算出装置３１５を備える。

画像生成装置３００が、図１を用いて説明した画像生成装置１００と異なるのは、距離算出装置３１５を備えている点、および表示装置１１４の代わりに表示装置３１４を備えている点である。以下、距離算出装置３１５および表示装置３１４を中心とした説明をし、その他の構成要素については図１を用いた説明と同様であるので省略する。

距離算出装置３１５は、上記視点変換装置１１２によって生成された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、当該撮像装置配置物体のモデルである撮像装置配置物体モデル１１０と上記空間モデル１０４との距離を算出する。例えば、撮像画像データ１０８と撮像装置配置物体モデル１１０とを用いて、撮像装置配置物体モデル１１０と上記空間モデル１０４との距離を算出する場合は、複数の撮像装置１０７を用いてステレオ視することにより求めることができる。

そして、上記表示装置３１４は、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、３次元空間における任意の仮想視点から見た画像を表示する際に、上記距離算出装置３１５によって算出した距離に応じて、上記画像の表示形態を異ならせて表示する。

なお、表示装置１１４は、上記距離算出装置３１５によって算出した距離が所定値以上の場合、その画像を一体化した背景モデルとして表示してもよいし、表示する画像中に上記距離算出装置３１５によって算出した距離が所定値以上の部分が含まれている場合、その画像の当該部分をぼかして表示してもよい。

また、上記表示装置１１４は、上記距離算出装置３１５によって算出された距離に応じて、表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するようにしてもよいし、さらに、上記距離算出装置３１５によって算出された距離がその値に応じて区分された複数の階層のうちの何れの階層に該当するかに応じて、表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するようにしてもよい。

また、上記表示装置１１４は、当該表示形態として色によって表示情報の意味が認識されるような形態をとりうるようにしてもよい。
ここで、図４および図５を用いて、画像生成装置３００を車両の周辺を監視するシステムとして適用した場合について説明する。

図４は、車両を運転するドライバーから観察され得る視野の様子を示す図である。
ドライバーからは、道路上に車両Ａ、車両Ｂ、および車両Ｃの３台の車両が見えている。
車両には、車両周囲に存在する障害物までの距離を計測する距離センサ（測距装置１０１）と、車両周囲の画像を撮影する複数台のカメラ（撮像装置１０７）とが取り付けられている。

空間モデル生成装置１０３は、距離センサが計測した距離画像データ１０２に基づいて、３次元空間の空間モデル１０４を生成し、それをデータベースに格納する。そして、カメラは、車両周辺の画像を撮像し、撮影画像データ１０８としてデータベースに格納する。

空間再構成装置１０９は、カメラによって撮像された撮像画像データ１０８を、上記空間モデル生成装置１０３で生成した空間モデル１０４にマッピングし、空間データ１１１としてデータベースに格納する。
視点変換装置１１２は、上記空間再構成装置１０９によってマッピングされた空間データ１１１に基づいて、例えば、車両後方上空を仮想視点とし、その仮想視点から見た視点変換画像データ１１３を生成し、それをデータベースに格納する。

距離算出装置３１５は、上記視点変換装置１１２によって生成された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、当該車両をモデル化したデータである撮像装置配置物体モデル１１０と上記空間モデル１０４との距離を算出する。例えば、当該車両と前方の他の車両との距離を算出する。

そして、上記表示装置３１４は、通常車両内に設置され、例えば、カーナビゲーションシステムのモニタと共用して、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する際に、上記距離算出装置３１５によって算出した距離に応じて、上記画像の表示形態を異ならせて表示する。例えば、前方に他の車両が複数台ある場合には、当該車両（自車両）と他の車両との距離に応じて、異なる色で他の車両を表示したり、異なる点滅間隔で点滅表示したりする。

図５は、２物体間の相対距離に応じて画像の表示形態を異ならせて表示した表示例を示す図である。
図５において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両と、車両Ａ、車両Ｂおよび車両Ｃとの距離に応じて、物体Ａ、物体Ｂ、物体Ｃの表示形態が異なっている。例えば、自車両との距離が３台の他の車両の中で最も近い車両Ａの視点変換画像である物体Ａは赤色で表示され、次に近い車両Ｂの視点変換画像である物体Ｂは、黄色で表示され、最も遠い車両Ｃの視点変換画像である物体Ｃは緑色で表示される。

図６は、撮像装置により空間モデルを生成し、視点変換画像において物体間の距離が分かるように表示するための画像生成装置のブロック図である。
図６において、画像生成装置６００は、測距装置２０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置３１４、および距離算出装置３１５を備える。

画像生成装置６００が、図３を用いて説明した画像生成装置３００と異なるのは、測距装置１０１の代わりに測距装置２０１を備えている点である。なお、測距装置２０１については、図２を用いているので説明は省略する。
次に、図７乃至図９を用いて、仮想視点からの画像を表示する際に、表示する物体の表示形態を、２物体間の相対的な速度に応じて異ならせることができる画像生成装置について説明する。この画像生成装置は、図１または図２を用いて説明した画像生成装置に適用することができる。

図７は、測距装置により空間モデルを生成し、視点変換画像において物体間の相対速度が分かるように表示するための画像生成装置のブロック図である。
図７において、画像生成装置７００は、測距装置１０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置７１４、および相対速度算出装置７１５を備える。

画像生成装置７００が、図１を用いて説明した画像生成装置１００と異なるのは、相対速度算出装置７１５を備えている点、および表示装置１１４の代わりに表示装置７１４を備えている点である。以下、距離算出装置７１５および表示装置７１４を中心とした説明をし、その他の構成要素については図１を用いた説明と同様であるので省略する。

相対速度算出装置７１５は、異なる時刻に対応した、上記視点変換装置１１２によって生成された２時刻における視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、当該撮像装置配置物体のモデルである撮像装置配置物体モデル１１０と上記空間モデル１０４との相対速度を算出する。

そして、上記表示装置７１４は、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、３次元空間における任意の仮想視点から見た画像を表示する際に、上記相対速度算出装置７１５によって算出した相対速度に応じて、上記画像の表示形態を異ならせて表示する。

なお、表示装置７１４は、当該表示形態として色によって表示情報の意味が認識されるような形態をとりうるようにしてもよい。
ここで、図４および図８を用いて、画像生成装置７００を車両の周辺を監視するシステムとして適用した場合について説明する。

上述したように、図４は、車両を運転するドライバーから観察され得る視野の様子を示す図であり、ドライバーからは、道路上に車両Ａ、車両Ｂ、および車両Ｃの３台の車両が見えている。
車両には、車両周囲に存在する障害物までの距離を計測する距離センサ（測距装置１０１）と、車両周囲の画像を撮影する複数台のカメラ（撮像装置１０７）とが取り付けられており、空間モデル生成装置１０３、空間再構成装置１０９、および視点変換装置１１２によって、例えば、車両後方上空を仮想視点とし、その仮想視点から見た視点変換画像データ１１３を生成し、それをデータベースに格納する。

相対速度算出装置７１５は、異なる時刻に対応した、上記視点変換装置１１２によって生成された２時刻における視点変換画像データ１０８、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、当該撮像装置配置物体のモデルである撮像装置配置物体モデル１１０と上記空間モデル１０４との相対速度を算出する。例えば、当該車両と前方の他の車両との相対速度を算出する。

そして、上記表示装置７１４は、通常車両内に設置され、例えば、カーナビゲーションシステムのモニタと共用して、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する際に、上記相対速度算出装置７１５によって算出した相対速度に応じて、上記画像の表示形態を異ならせて表示する。例えば、前方に他の車両が複数台ある場合には、当該車両（自車両）と他の車両との相対速度に応じて、異なる色で他の車両を表示したり、異なる点滅間隔で点滅表示したりする。

図８は、２物体間の相対速度に応じて画像の表示形態を異ならせて表示した表示例を示す図である。
図８において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両と、車両Ａ、車両Ｂおよび車両Ｃとの相対速度に応じて、物体Ａ、物体Ｂ、物体Ｃの表示形態が異なっている。例えば、自車両との相対速度が３台の他の車両の中で最も速い（大きい）車両Ｂの視点変換画像である物体Ｂは赤色で表示され、次に早い車両Ａの視点変換画像である物体Ａは、黄色で表示され、最も遅い（小さい）車両Ｃの視点変換画像である物体Ｃは緑色で表示される。

図９は、撮像装置により空間モデルを生成し、視点変換画像において物体間の相対速度が分かるように表示するための画像生成装置のブロック図である。
図９において、画像生成装置９００は、測距装置２０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置７１４、および相対速度算出装置７１５を備える。

画像生成装置９００が、図７を用いて説明した画像生成装置７００と異なるのは、測距装置１０１の代わりに測距装置２０１を備えている点である。なお、測距装置２０１については、図２を用いているので説明は省略する。
次に、図１０乃至図１２を用いて、仮想視点からの画像を表示する際に、表示する物体の表示形態を、２物体が衝突する可能性に応じて異ならせることができる画像生成装置について説明する。この画像生成装置は、図１または図２を用いて説明した画像生成装置に適用することができる。

図１０は、測距装置により空間モデルを生成し、視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成装置のブロック図である。
図１０において、画像生成装置１０００は、測距装置１０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置１０１４、および衝突可能性算出装置１０１５を備える。

画像生成装置１０００が、図１を用いて説明した画像生成装置１００と異なるのは、衝突可能性算出装置１０１５を備えている点、および表示装置１１４の代わりに表示装置１０１４を備えている点である。以下、衝突可能性算出装置１０１５および表示装置１０１４を中心とした説明をし、その他の構成要素については図１を用いた説明と同様であるので省略する。

衝突可能性算出装置１０１５は、異なる時刻に対応した、上記視点変換装置１１２によって生成された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、当該撮像装置配置物体のモデルである撮像装置配置物体モデル１１０と上記空間モデル１０４とが衝突する可能性を算出する。衝突する可能性は、例えば、２つの物体のそれぞれの移動方向および移動速度から容易に求めることができる。

そして、上記表示装置１０１４は、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、３次元空間における任意の仮想視点から見た画像を表示する際に、上記衝突可能性算出装置１０１５によって算出した衝突可能性に応じて、上記画像の表示形態を異ならせて表示する。

なお、上記表示装置１０１４は、上記衝突可能性算出装置１０１５によって算出した衝突可能性が所定値以下の場合、その画像を一体化した背景モデルとして表示してもよいし、その画像をぼかして表示してもよい。
また、上記表示装置１０１４は、当該表示形態として色によって表示情報の意味が認識されるような形態をとりうるようにしてもよい。

ここで、図４および図１１を用いて、画像生成装置１０００を車両の周辺を監視するシステムとして適用した場合について説明する。
上述したように、図４は、車両を運転するドライバーから見える範囲の様子を示す図であり、ドライバーからは、道路上に車両Ａ、車両Ｂ、および車両Ｃの３台の車両が見えている。

車両には、車両周囲に存在する障害物までの距離を計測する距離センサ（測距装置１０１）と、車両周囲の画像を撮影する複数台のカメラ（撮像装置１０７）とが取り付けられており、空間モデル生成装置１０３、空間再構成装置１０９、および視点変換装置１１２によって、例えば、車両後方上空を仮想視点とし、その仮想視点から見た視点変換画像データ１１３を生成し、それをデータベースに格納する。

衝突可能性算出装置１０１５は、異なる時刻に対応した、上記視点変換装置１１２によって生成された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、当該撮像装置配置物体のモデルである撮像装置配置物体モデル１１０と上記空間モデル１０４とが衝突する可能性を算出する。例えば、当該車両と前方の他の車両との衝突の可能性を算出する。

そして、上記表示装置１０１４は、通常車両内に設置され、例えば、カーナビゲーションシステムのモニタと共用して、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、３次元空間における任意の仮想視点から見た画像を表示する際に、上記衝突可能性算出装置１０１５によって算出した衝突可能性に応じて、上記画像の表示形態を異ならせて表示する。例えば、前方に他の車両が複数台ある場合には、当該車両（自車両）と他の車両とが衝突する可能性に応じて、異なる色で他の車両を表示したり、異なる点滅間隔で点滅表示したりする。

図１１は、２物体が衝突する可能性に応じて画像の表示形態を異ならせて表示した表示例を示す図である。
図１１において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両と、車両Ａ、車両Ｂおよび車両Ｃのそれぞれとが衝突する可能性に応じて、物体Ａ、物体Ｂ、物体Ｃの表示形態が異なっている。例えば、自車両と衝突する可能性が３台の他の車両の中で最も高い車両Ｃの視点変換画像である物体Ｃは赤色で表示され、車両Ｃに比べて衝突の可能性がそれほど高くない車両Ａの視点変換画像である物体Ａ、および車両Ｂの視点変換画像である物体Ｂは黄色で表示される。上述した、図５、図８、図１１の各例において、表示色を異ならせて表示する場合、当該表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を採り得る。

図１２は、撮像装置により空間モデルを生成し、視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成装置のブロック図である。
図１２において、画像生成装置１２００は、測距装置２０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置１０１４、および相対速度算出装置１０１５を備える。

画像生成装置１２００が、図１０を用いて説明した画像生成装置１０００と異なるのは、測距装置１０１の代わりに測距装置２０１を備えている点である。なお、測距装置２０１については、図２を用いているので説明は省略する。
次に、図１３乃至図１５を用いて、視点変換された画像を表示する際に、カメラを搭載している物体とカメラで撮影した画像との関係が、直感的に分かるように表示するための画像生成処理の流れを説明する。

図１３は、視点変換画像において物体間の距離が分かるように表示するための画像生成処理の流れを示すフローチャートである。
まず、ステップＳ１３０１において、車両等に物体に取り付けられているカメラを用いて、当該車両の周囲の画像を撮像する。

ステップＳ１３０２において、ステップＳ１３０１で撮像した画像のデータである撮像画像データ１０８を、空間モデル１０４にマッピングして、空間データ１１１を生成する。
ステップＳ１３０３において、ステップＳ１３０２でマッピングされた空間データ１１１に基づいて、３次元空間における任意の仮想視点から見た視点変換画像データ１１３を生成する。

次に、ステップＳ１３０４において、上記生成された視点変換画像データ１１３、上記撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、当該車両のモデルである撮像装置配置物体モデル１１０と上記空間モデル１０４との距離を算出する。

そして、ステップＳ１３０５において、３次元空間における任意の仮想視点から見た画像を表示する際に、ステップＳ１３０４で算出した距離に応じて、上記撮影した画像の表示形態を異ならせて表示する。
図１４は、視点変換画像において物体間の相対速度が分かるように表示するための画像生成処理の流れを示すフローチャートである。

ステップＳ１３０１乃至ステップＳ１３０３は、図１３を用いて説明したステップＳ１３０１乃至ステップＳ１３０３と同様である。
ステップＳ１３０３で視点変換画像データ１１３を生成した後に、ステップＳ１４０４において、上記生成された視点変換画像データ１１３、上記撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、当該車両のモデルである撮像装置配置物体モデル１１０と上記空間モデル１０４との相対速度を算出する。

そして、ステップＳ１４０５において、３次元空間における任意の仮想視点から見た画像を表示する際に、ステップＳ１４０４で算出した相対速度に応じて、上記撮影した画像の表示形態を異ならせて表示する。
図１５は、視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成処理の流れを示すフローチャートである。

ステップＳ１３０１乃至ステップＳ１３０３は、図１３を用いて説明したステップＳ１３０１乃至ステップＳ１３０３と同様である。
ステップＳ１３０３で視点変換画像データ１１３を生成した後に、ステップＳ１５０４において、上記生成された視点変換画像データ１１３、上記撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、当該車両のモデルである撮像装置配置物体モデル１１０と上記空間モデル１０４とが衝突する可能性を算出する。

そして、ステップＳ１５０５において、３次元空間における任意の仮想視点から見た画像を表示する際に、ステップＳ１５０４で算出した衝突の可能性に応じて、上記撮影した画像の表示形態を異ならせて表示する。
また、これらの実施の形態は、次に述べるように拡張することが可能である。

これまで述べてきた実施の形態においては、車両を撮像装置配置物体とし、これに搭載された撮像装置１０７による画像を用いていたが、これは、カメラパラメータが既知、もしくは算出、計測可能である場合において、道路に面した構造物や、店舗内等に設置された監視カメラの画像を含めても同様に扱うことができる。測距装置１０１、１０２についてもカメラと同様に配置し、その位置、姿勢が既知もしくは算出、計測可能である場合において、道路に面した構造物や、店舗内等に設置された測距装置１０１、１０２からの距離情報（距離画像データ２０２）を用いることができる。

すなわち、視点変換画像を表示する表示装置１１４、３１４、７１４、１０１４と、撮像装置１０７が必ずしも同一の撮像装置配置物体上に設置されている必要はなく、相対的に移動している障害物が存在すればよい。
また、装置構成上、複数の画像生成装置１００、２００、３００、６００、７００、９００、１０００、１２００（同種の画像生成装置が複数で構成されていてもよいし、異種の画像生成装置が複数で構成されていてもよい。例えば画像生成装置１００が複数であってもよいし、画像生成装置１００と画像生成装置２００とにより構成されていてもよい。以下、同様。）が相互にデータのやり取りを実施するようにしてもよい。

これらの場合は、上述の実施形態の各データ、モデルを、各々の視点を利用する形態に応じて座標変換を実施する座標変換装置を備えた通信装置によりそれぞれの画像生成装置１００、２００、３００、６００、７００、９００、１０００、１２００との間を通信すると共に、その基準座標を算出する座標姿勢算出装置を有する。

座標姿勢算出装置は、視点変換画像を生成する位置姿勢を算出する装置であり、これは、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などによる緯度経度高度方位のデータを用いて仮想視点の座標を設定しても良く、他の画像生成装置１００、２００、３００、６００、７００、９００、１０００、１２００との相対位置座標を算出することにより、本画像生成装置１００、２００、３００、６００、７００、９００、１０００、１２００群内での相対位置座標を求めることにより、座標変換を実施し、所定の視点変換画像を生成するようにしても良い。それらの座標系内で、所望の仮想視点を設定することに相当する。

図１６は、屋内の監視カメラに適用した場合の実施の形態を説明するための図である。
図１６は、監視対象である部屋を上方（天井）から見た様子を示したものであり、監視カメラである４台の撮像装置１０７Ａ、１０７Ｂ、１０７Ｃ、および１０７Ｄは、屋内の任意の場所に設けられ、室内を撮像している。

例えば、撮像装置１０７Ａ、１０７Ｂ、１０７Ｃ、および１０７Ｄは、部屋の天井四隅に設置してもよく、また、天井中央付近に超広角のカメラを設置するようにしても良い。また、これらの撮像装置１０７Ａ、１０７Ｂ、１０７Ｃ、および１０７Ｄは、２眼、３眼、もしくはそれ以上の組み合わせを持つステレオカメラで構成しても良く、ステレオカメラの変わりに測距装置（レーザーレーダー、スリットスキャン測距装置、超音波センサ、ＣＡＤモデルによる屋内モデルなど）１０１、２０１を併用してももちろん良い。これらにより構成された空間モデルに、上記撮像装置１０７Ａ、１０７Ｂ、１０７Ｃ、および１０７Ｄで撮像した画像をマッピングし、任意の所望の仮想視点を設定し、視点変換画像を生成する。

また、上述してきた距離、相対速度、衝突可能性に関して、撮像装置配置物体を基準とするのではなく、視点変換された画像のうちの２物体間の距離、相対速度、衝突可能性を算出して、これらが認識できるように各物体を表示するようにしても良い。例えば、撮像装置１０７を屋内、街路などに設置し、屋内、街路などを歩行している人、屋内、屋外、部屋などのインテリア、他の移動体（車両、ロボット）間の距離、相対速度、衝突可能性を算出して、これらが認識できるように各物体を表示するようにしても良い。

また、観察者である人物は、例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などを装着しており視点変換画像を観察できると共に、撮像装置配置物体のカメラによって捉えられた観察者自らの位置、姿勢、方向が計測され得るようにしても良い。観察者である人物に装着するＧＰＳやジャイロセンサー、カメラ装置、人物の視線検出装置などで計測した座標姿勢情報を併用しても良い。

この観察者の視点を仮想視点として設定することにより、観察者にとっての距離、速度、衝突可能性を算出できる。これにより人物は、自らにとっての障害物をＨＭＤなどに表示された仮想視点画像上で把握することが出来、自らに対する脅威、例えば観察者の後方に潜む不審者、犬、車両などを認知することができ、さらには、遠方の物体であってもそれに近接した撮像装置配置物体や画像生成装置の画像と空間モデルを用いることによりより正確に、精度良く生成された多視点変換画像を用いることができる。

当然ながら、人物ではなくこれが車両などの移動物体の場合でも適応可能である。
また、上述した各実施の形態において、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等）。特に複数カメラを２方向の基線長を持つように配置すると、より複雑なシーンで３次元再構成が可能になることが知られている。また１つの基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ計測が可能となる。

上述のように、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用される画像生成装置は、その機能が実行されるのであれば、上述の各実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。

また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記録媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記録媒体を、画像生成装置に供給し、その画像生成装置のコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、可搬記録媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記録媒体等は本発明を構成することになる。
プログラムコードを供給するための可搬記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記録媒体などを用いることができる。

また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によっても前述した各実施の形態の機能が実現される。

さらに、可搬型記録媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した各実施の形態の機能が実現され得る。

すなわち、本発明は、以上に述べた各実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。

測距装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。 撮像装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。 測距装置により空間モデルを生成し、視点変換画像において物体間の距離が分かるように表示するための画像生成装置のブロック図である。 車両を運転するドライバーから観察され得る視野の様子を示す図である。 ２物体間の相対距離に応じて画像の表示形態を異ならせて表示した表示例を示す図である。 撮像装置により空間モデルを生成し、視点変換画像において物体間の距離が分かるように表示するための画像生成装置のブロック図である。 測距装置により空間モデルを生成し、視点変換画像において物体間の相対速度が分かるように表示するための画像生成装置のブロック図である。 ２物体間の相対速度に応じて画像の表示形態を異ならせて表示した表示例を示す図である。 撮像装置により空間モデルを生成し、視点変換画像において物体間の相対速度が分かるように表示するための画像生成装置のブロック図である。 測距装置により空間モデルを生成し、視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成装置のブロック図である。 ２物体が衝突する可能性に応じて画像の表示形態を異ならせて表示した表示例を示す図である。 撮像装置により空間モデルを生成し、視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成装置のブロック図である。 視点変換画像において物体間の距離が分かるように表示するための画像生成処理の流れを示すフローチャートである。 視点変換画像において物体間の相対速度が分かるように表示するための画像生成処理の流れを示すフローチャートである。 視点変換画像において物体間の衝突可能性が分かるように表示するための画像生成処理の流れを示すフローチャートである。 屋内の監視カメラに適用した場合の実施の形態を説明するための図である。

符号の説明

１００ 画像生成装置
１０１ 測距装置
１０２ 距離画像データ
１０３ 空間モデル生成装置
１０４ 空間モデル
１０５ キャリブレーション装置
１０６ キャリブレーションデータ
１０７ 撮像装置
１０８ 撮像画像データ
１０９ 空間再構成装置
１１０ 撮像装置配置物体モデル
１１１ 空間データ
１１２ 視点変換装置
１１３ 視点変換画像データ
１１４ 表示装置
２００ 画像生成装置
２０１ 測距装置
２０２ 距離画像データ
３００ 画像生成装置
３１４ 表示装置
３１５ 距離算出装置
６００ 画像生成装置
７００ 画像生成装置
７１４ 表示装置
７１５ 相対速度算出装置
９００ 画像生成装置
１０００ 画像生成装置
１０１４ 表示装置
１０１５ 衝突可能性算出装置
１２００ 画像生成装置

Claims (17)

1. 撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像手段と、
   前記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、
   前記空間再構成手段によってマッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、
   前記視点変換手段によって生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する表示手段と、
   を備えた画像生成装置において、
   前記視点変換手段によって生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとの距離を算出する距離算出手段をさらに備え、
   前記表示手段は、前記距離算出手段によって算出した距離に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成装置。
2. 前記表示手段は、前記距離算出手段によって算出した距離が所定値以上の場合、前記画像を一体化した背景モデルとして表示することを特徴とする請求項１に記載の画像生成装置。
3. 前記表示手段は、表示する画像中に前記距離算出手段によって算出した距離が所定値以上の部分が含まれている場合、前記画像の当該部分をぼかして表示することを特徴とする請求項１また２に記載の画像生成装置。
4. 撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像手段と、
   前記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、
   前記空間再構成手段によってマッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、
   前記視点変換手段によって生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する表示手段と、
   を備えた画像生成装置において、
   異なる時刻に対応した、前記視点変換手段によって生成された２時刻における視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとの相対速度を算出する相対速度算出手段をさらに備え、
   前記表示手段は、前記相対速度算出手段によって算出した相対速度に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成装置。
5. 撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像手段と、
   前記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、
   前記空間再構成手段によってマッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、
   前記視点変換手段によって生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する表示手段と、
   を備えた画像生成装置において、
   異なる時刻に対応した、前記視点変換手段によって生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとが衝突する可能性を算出する衝突可能性算出手段をさらに備え、
   前記表示手段は、前記衝突可能性算出手段によって算出した衝突可能性に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成装置。
6. 前記表示手段は、前記衝突可能性算出手段によって算出した衝突可能性が所定値以下の場合、前記画像を一体化した背景モデルとして表示することを特徴とする請求項５に記載の画像生成装置。
7. 前記表示手段は、前記衝突可能性算出手段によって算出した衝突可能性が所定値以下の場合、前記画像をぼかして表示することを特徴とする請求項５また６に記載の画像生成装置。
8. 前記表示手段は、当該表示形態として色によって表示情報の意味が認識されるような形態をとりうるように構成されたものであることを特徴とする請求項１乃至７の何れか１項に記載の画像生成装置。
9. 前記表示手段は、前記距離算出手段によって算出された距離に応じて表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を取り得るように構成されたものであることを特徴とする請求項１乃至３の何れか１項に記載の画像生成装置。
10. 前記表示手段は、前記距離算出手段によって算出された距離がその値に応じて区分された複数の階層のうちの何れの階層に該当するかに応じて表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を取り得るように構成されたものであることを特徴とする請求項１乃至３の何れか１項に記載の画像生成装置。
11. 前記撮像手段は、車両に取り付けられたことを特徴とする請求項１乃至１０の何れか１項に記載の画像生成装置。
12. 撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、
    前記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成し、
    前記生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、
    前記生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとの距離をさらに算出し、
    前記表示は、前記算出した距離に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成方法。
13. 撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、
    前記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成し、
    前記生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、
    前記生成された異なる時刻に対応した、視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとの相対速度をさらに算出し、
    前記表示は、前記算出した相対速度に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成方法。
14. 撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、
    前記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成し、
    前記生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、
    前記生成された異なる時刻に対応した、視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとが衝突する可能性をさらに算出し、
    前記表示は、前記算出した衝突する可能性に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成方法。
15. コンピュータに対して、
    撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、
    前記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、
    前記生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する手順と、
    を実行させるための画像生成プログラムであって、
    前記生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとの距離を算出する手順をさらに備え、
    前記表示する手順は、前記算出した距離に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成プログラム。
16. コンピュータに対して、
    撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、
    前記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、
    前記生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する手順と、
    を実行させるための画像生成プログラムであって、
    前記生成された異なる時刻に対応した、視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間モデルとの相対速度を算出する手順をさらに備え、
    前記表示は、前記算出した相対速度に応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成プログラム。
17. コンピュータに対して、
    撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、
    前記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、
    前記生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する手順と、
    を実行させるための画像生成プログラムであって、
    前記生成された異なる時刻に対応した、視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて当該撮像手段配置物体のモデルである撮像装置配置物体モデルと前記空間との衝突する可能性をさらに算出する手順をさらに備え、
    前記表示は、前記算出した衝突可能性応じて、前記画像の表示形態を異ならせて表示することを特徴とする画像生成プログラム。

Images