JP2006119843A - 画像生成方法およびその装置 - Google Patents

Abstract

【課題】 複数の撮像手段からの撮像画像による視点変換画像の生成において、認識度の高い視点変換画像を生成できる画像生成方法を提供する。
【解決手段】 車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法である。前記撮像手段をステレオカメラユニット１２で構成し、前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理して空間モデルに超解像補間画像をマッピングする。この場合において、特定領域とは視差量が１ピクセルより小さいサブピクセル領域である。
【選択図】 図１

Description

本発明は画像生成方法およびその装置に係り、特に複数の撮像手段で撮像した画像を元にして、仮想視点画像を生成して表示する場合に好適な画像生成方法およびその装置に関する。

ある特定エリアを監視等の目的のためモニタ画面上に表示するには、複数台のカメラで広範囲を撮影し得られた画像を１つの画面上に分割表示したり、時間毎に撮像した画像を順次切り替えて表示したりしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。

しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまう。広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗く表示画像が見にくく監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。

例えば、特許文献１には、車両周囲の状況表示に関して、車両に設置した複数台のカメラで車両周囲を撮影し、任意の視点による合成画像を表示するようにした技術が提案されている。これは各カメラの映像出力を画素単位で仮想視点から見た二次元平面上に座標変換して展開し、複数のカメラ画像を仮想視点から見た１つの画像に合成してモニタ画面に表示するようにしたものである。これにより、１枚の仮想視点画像から車両の全周囲にわたってどのような物体が存在するかを運転者が瞬時に把握することができるようになる。
特許第３２８６３０６号公報

しかしながら、視点変換画像を生成する過程で行う空間モデルを生成する際、遠方の空間モデルに貼り付ける画像データは撮像手段によっては画像の精細度が欠けることがある。特に、ステレオアダプタ式ステレオカメラで得られる画像は、解像度が低くなってしまい、これを用いた遠方画像は精細度に欠け、ぼけた画像となってしまうという問題があった。

そこで本発明は上記従来技術の問題点を解決すべく、複数の撮像手段からの画像による視点変換画像の生成において、遠方画像の認識度が高い視点変換画像を生成することができる画像生成方法及び装置を提供することを目的としている。

本発明に係る画像生成方法は、車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記撮像手段をステレオカメラユニットで構成し、前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理して空間モデルに超解像補間画像をマッピングすることを特徴としている。

本発明に係る画像生成装置は、車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段をステレオカメラユニットで構成するとともに前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理を行う超解像補間処理手段を設け、この補間処理手段により得られた超解像補間画像を空間モデルにマッピングするように構成されたことを特徴としている。

また、本発明に係る画像生成装置は、車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段をステレオカメラユニットで構成するとともに前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理を行う超解像補間処理手段を設け、この補間処理手段により得られた超解像補間画像と撮像されたままの画像を選択的にマッピングするマッピング選択手段を有することを特徴としている。

また、本発明に係る画像生成方法は、１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記撮像手段をステレオカメラユニットで構成し、前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理して空間モデルに超解像補間画像をマッピングすることを特徴としている。

さらに、本発明に係る画像生成装置は、１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段をステレオカメラユニットで構成するとともに前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理を行う超解像補間処理手段を設け、この補間処理手段により得られた超解像補間画像を空間モデルにマッピングするように構成されたことを特徴としている。

また、本発明に係る画像生成装置は、１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段をステレオカメラユニットで構成するとともに前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理を行う超解像補間処理手段を設け、この補間処理手段により得られた超解像補間画像と撮像されたままの画像を選択的にマッピングするマッピング選択手段を有することを特徴としている。

この場合において、前記撮像手段として撮像手段配置物体に所定の形態で配置されたものを適用するとよい。また、前記撮像手段は撮像手段配置物体に所定の形態で配置されたものであるとよい。さらに、前記撮像手段は撮像手段配置物体に所定の形態で配置されたものであるとよい。

前記特定領域とは視差量が１ピクセルより小さいサブピクセル領域であるとよい。また、前記特定領域とは視差量が１ピクセルより小さいサブピクセル領域であるとよい。さらに、前記ステレオカメラユニットとしてステレオアダプタと単眼カメラによる分割画像を取得可能なものを適用するとよい。また、前記ステレオカメラユニットはステレオアダプタと単眼カメラによる分割画像を取得可能なものを適用するとよい。

上記構成による画像生成方法およびその装置によれば、遠距離の空間モデルに対して貼り付ける画像を、ステレオカメラユニットで得られた画像より生成した超解像度補間画像をマッピングして生成することができる。このため、見かけの解像を良くした画像を提供することで視点変換画像中の遠方画像であっても、より臨場感のある視点変換画像を生成することが可能となる。

以下、本発明に係る画像生成方法およびその装置の実施形態を添付した図面に基づいて詳細に説明する。
図１は本実施形態に係る画像生成装置の構成を示したシステムブロック図である。このシステムの基本的な構成は、複数の撮像手段と、この撮像手段によって取得した画像データを処理して、カメラ視点とは異なる仮想の視点から見た合成画像として再生表示するための画像生成装置となる視点変換合成画像の生成／表示装置１０から構成されている。

視点変換合成画像の生成／表示装置１０における基本的な処理は、各撮像手段の視点で撮影された画像を入力し、車両などの撮像手段配置物体が置かれる三次元空間を設定し、この三次元空間を任意に設定した原点（仮想視点）によって特定し、当該特定された仮想視点から見た三次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される三次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができる。

視点変換合成画像の生成／表示装置１０構成要素について説明する。撮像手段であるステレオカメラユニット１２の構成概略を図２に示す。同図（１）は撮像素子を２台設置したステレオカメラユニットを示し、（２）はステレオアダプタを用いたステレオカメラユニットを示す。

まず、同図（１）に示すように、ケーシング４０の正面部左右に距離Ｌ１（基線長）だけ離して各々受光レンズ群を配設した左右一対の受光部４２Ｌ，４２Ｒを形成し、被写体４４をステレオ撮影できるようにしている。受光部４２Ｌ，４２Ｒを通じて入力した撮像光を撮像信号として受信する撮像素子４６Ｌ，４６Ｒがケーシング４０背面部左右に配置されている。受光部４２Ｌ，４２Ｒと撮像素子４６Ｌ，４６Ｒとの間の光路上に赤外カットフィルタ・ローパスフィルタ４８Ｌ，４８Ｒが配置されている。赤外カットフィルタは有害な赤外光をカットし、ローパスフィルタはモアレを防止するために用いている。

一方、同図（２）のステレオカメラユニットはステレオアダプタを用いている。ケーシング４０の正面部左右に距離Ｌ１だけ離して各々受光レンズ群を配設した左右一対の受光部４２Ｌ，４２Ｒを形成し、被写体４４をステレオ撮影できるようにしている。受光部４２Ｌ，４２Ｒを通じて入力した撮像光を撮像信号として受信する撮像素子４６がケーシング４０背面の中央部に配置されており、撮像素子４６の左右領域にて、それぞれ前記左右受光部４２Ｌ，４２Ｒからの被写体映像を結像させるようになっている。このため、撮像素子４６と左右受光部４２Ｌ，４２Ｒの間には、偏向プリズム５０などを含む導光用光学系５２が配設され、左側受光部４２Ｌで捉えた被写体映像が、撮像素子４６の左側領域に、右側受光部４２Ｒで捉えた被写体映像は撮像素子４６の右側領域に導かれて、それぞれ一つの撮像素子４６の受光面に左右分離された状態で同時に結像されるようになっている。

複数のステレオカメラユニット１２により撮影された画像データは画像選択装置３０にパケット送信するようになっている。各ステレオカメラユニット１２から取得すべき画像データは、設定される仮想視点によって決定するので、設定された仮想視点に対応する画像データを取得すべく画像選択装置３０を設けている。この画像選択装置３０によって任意のステレオカメラユニット１２に付帯したバッファ装置から入力してくる画像データパケットから、設定された仮想視点に対応する画像データパケットが選択され、後段の画像合成処理に利用される。

また、撮像手段は画像選択装置３０によって、複数のステレオカメラユニット１２の切り替えを行う。
測距手段となる測距装置１３は、本実施形態ではレーザレーダやミリ波レーダなどのレーダ１６による測距と、ステレオ撮像による測距とを併用している。

ステレオ撮像による測距は複数の異なる視点から同一の被写体を撮影し、これらの画像中における被写体の同一点の対応を求め、三角測量の原理によって被写体までの距離を算出している。より具体的にはステレオ撮像手段によって撮像された画像の右画像全体を小領域に分割してステレオ測距計算を行う範囲を決定して、ついで左画像の同一画像とされる画像の位置を検出して、それらの画像の位置差を算出して、左右カメラの取り付け位置の関係から対象物までの距離を演算するようにすればよい。このステレオカメラにより撮像された２またはそれ以上の画像間のステレオ測距で得られた距離情報により、距離画像が生成される。生成された距離画像は距離画像データ記憶装置２８に一時保管される。

キャリブレーション装置１８は三次元の実世界に配置された撮像手段についての、その三次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとしてキャリブレーションデータ記憶装置１７に一時格納される。

空間モデル更新手段となる空間モデル生成装置１５では測距装置１３による距離画像データが距離画像データ記憶装置２８から入力手段によって入力され、この距離画像を基に空間モデルを生成し、空間モデル記憶装置２２に一時保管している。これらを所望の距離で選択的に用いることにより、それぞれ良好な距離分解能を持ち、障害物などの被写体の形状まで取れた距離データを備えているので空間モデルの距離分解能および被写体形状の再現性が向上する。

空間再構成装置１４は、撮像手段から得られた画像を構成する各々の画素と、三次元座標系の点との対応関係を計算し、空間データを生成し空間データ記憶装置２４に一時保管している。前記計算は各々の撮像手段から得られた画像のすべての画素に対して実施する。

視点変換手段となる視点変換装置１９は、三次元空間の画像を任意の視点位置から見込んだ画像に変換可能とし、任意に設定した視点を指定できる。すなわち、前記三次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像をどの視点から、空間データとして記憶されている画像を視点変換画像として表示するかを視点変換画像表示装置に指定する。また、前記視点からの画像を、前記空間データから再現し、表示装置２０に表示する。

なお、視点変換画像生成／表示装置１０には、撮像装置配置物体モデルを記憶格納している撮像装置配置物体モデル記憶装置３４が設けられ、空間再構成する場合に自車モデルを同時に表示できるようにしている。

さらに、視点選択装置３１が設けられており、予め規定されている設定仮想視点に対応する画像データを仮想視点データ記憶装置３３に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて視点変換装置１９に送信し、選択された仮想視点に対応する画像を変換画像に表示させるようにしている。

ところで、遠距離すなわち視差の小さい地点の空間モデルに対して貼り付ける画像は、短基線長のステレオカメラで得られた画像により生成した超解像度補間画像を用いている。本実施形態に係る視点変換画像生成／表示装置１０では、高解像度画像を生成し補間する超解像補間処理装置２３を設けている。超解像補間処理装置２３には、空間モデルデータ、実写データ、空間データ、距離画像データが入力される。また、補間する視差の小さい特定領域は、視差量が１ピクセルより小さいサブピクセル領域としている。超解像補間処理は、２枚のステレオ画像間で視差方向にサブピクセルずれている領域において、その中間画素の値を最も近接する２画素間から直線補間する。得られた補間画像を空間モデルにマッピングして精細な空間モデルを生成することができる。本実施の形態では直線補間により超解像処理を実施したが、視差方向にのみ画素ずれが生じていることを拘束条件とした逆行列を算出する超解像度処理を用いてももちろんよい。また、サブピクセルマッチングで用いた、補間曲線の演算結果を用い、超解像度処理をしてもよい。

実施形態に係る画像生成方法の処理フローを図３に示す。複数のステレオカメラユニット１２による、画像撮像において短基線長あるいは長基線長かの基線長を選択する（ステップ１０２）。選択したステレオカメラユニット１２による撮像を行う（ステップ１０４）。選択したステレオカメラユニット１２の画像の選択を行う（ステップ１０６）。

また、あらかじめキャリブレーション装置１８によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成して選択する（ステップ１０８）。

得られたキャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。（ステップ１１０）。
空間モデル更新手段となる空間再構成装置１４には、ステレオ撮像の画像情報が入力される。これらを所望の距離で選択的に用いることにより、より詳細な空間モデルが生成される（ステップ１１２）。

次に、選択した撮像画像の超解像補間処理を行う（ステップ１１４）。実施形態に係る超解像補間処理を図４の処理フローに示す。超解像補間画像生成処理は、まず短基線長のステレオペアから得られた画像を左右それぞれ読み込み（ステップ２００、ステップ２０２）、ステレオ左画像データ（ステップ２０４）、ステレオ右画像データ（ステップ２０６）を得る。得られたステレオ画像データに空間モデルデータ、実写データ、空間データ、距離画像データ（ステップ２０８）を用いて領域分割を行う（ステップ２１０）。

そして距離画像データ、もしくは空間モデル、空間データから視差量がサブピクセルの領域、もしくはレーダ１６により測距されて当該ステレオペア画像上で、サブピクセルに相当する領域と判断できる領域か否かを判断する（ステップ２１２）。この視差量の検出はサブピクセル処理を実施していることを前提としている。通常、デジタル画像では、画素による処理を実施しているため、離散的な処理になるが、これを高次関数（線形、スプライン・ベジェなどの曲線）で補間処理し、算出した補間曲線間のマッチングを取ることで、１ピクセル以下のサブピクセルのマッチングが可能となることが一般に知られている。

図５は、ピクセル間のマッチングで算出された対応ウィンドの右画像と左画像のそれぞれについて算出した画素値（離散値）Ａ及びその補間曲線Ｂ、また、補間曲線間のマッチングで発生したサブピクセルの視差Ｃを示している。図示のように、ピクセルごとのマッチングでは、１ピクセルが最小のマッチングになっている場合でも、上記のようなサブピクセルマッチングを用いれば、１ピクセルの十分の一といった細かな視差量を精度良く算出することが可能となる。

なお、図５は便宜上、一次元軸上の輝度値のマッチングを示しているが、実際のウィンドはニ次元に輝度値が分布したものとなる。
このように、基本的にサブピクセルを算出するようにしておけば、サブピクセルの視差量を持った領域は容易に算出され、視差量が０以上、１よりも小さい領域が得られる。

なお、本実施形態では補間曲線を元にしたサブピクセルマッチングを示したが、これに限定するものではなく、その他のサブピクセルマッチング手法を用いても発明の本質に係ることなく、効果を得ることができる。

サブピクセルに相当する領域として判定した部分（Ｙｅｓ）は、超解像補間画像生成の処理を実施し（ステップ２１４）、それ以外の部分（Ｎｏ）に関しては、通常の補間（例えばバイキュービックや、直線補間）による画素数増加処理（ステップ２１６）を行う。超解像補間は、２枚のステレオ画像間で視差方向にサブピクセルずれている領域において、その中間画素の値を最も近接する２画素間から直線補間する。または、周辺画素から算出する変化率カーブから予測値を生成するなどして、生成する。また、カメラ位置が数画素程度異なる位置から撮影した複数枚の画像から、撮像過程のモデルに基づいた復元処理を行うことによって超解像度画像を生成する周知の方法を用いても良い。

これにより、画素分割を精細化した領域画像がそれぞれ生成される。
得られた領域画像を領域合成することにより（ステップ２１８）、超解像補間により２画像から生成した超解像画像の領域と、単純な補間により生成した、画素分割のみの領域を合成した超解像補間画像データが生成される（ステップ２２０）。

得られた超解像補間画像及び実写画像データをキャリブレーションデータに従って空間モデルの例えばポリゴンメッシュ上にマッピング選択手段によりテクスチャマッピングすることで（ステップ１１６）、距離画像の解像度よりもより精細なテクスチャが貼り付けられた空間データが生成され、より臨場感のある視点変換画像を生成するための空間データを得ることができる（ステップＳ１１８）。

このポリゴンデータを任意視点からの画像に変換することで、視点変換画像を生成する（ステップ１２０）。
生成した視点変換画像データを表示装置２０で表示する（ステップ１２２）。

本実施形態では、超解像補間画像の処理領域をサブピクセルに限定した場合について説明したが、視差算出が十分実施できている場合は、補間画素の生成において、数画素程度の視差を持つ領域に超解像処理を行うように拡張することも可能である。

以上説明したように画像生成方法によれば、車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記撮像手段をステレオカメラユニットで構成し、前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理して空間モデルに超解像補間画像をマッピングしているため、遠距離における撮像画像の解像度の低下を抑制し高解像の画像を生成して表示することができる。したがって視点変換画像の精度を上げることができる。

また、生成した仮想視点画像を車両のモニタ画面に表示すれば車両周辺状況を詳細に認識することが可能となり、信頼性と安全性を大幅に向上させることができる。

上述した各例において、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等）。特に複数カメラを２方向の基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ測距が可能となる。

なお、カメラなど撮像手段を所定の形態で設置する対象物は、車両に装着した例を示しているが、撮像装置配置物体として例えば、歩行者、街路、店舗や住居、オフィスなどの屋内などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適応が可能となる。

本実施形態に係る画像生成装置の構成を示したシステムブロック図である。 ステレオカメラユニットの構成概略を示す図である。 本発明に係る画像生成方法の処理手順を示すフローチャートである。 本発明に係る超解像補間画像の処理手順を示すフローチャートである。 本発明に係るサブピクセルマッチングを説明する図である。

符号の説明

１０………視点変換合成画像の生成／表示装置、１２………ステレオカメラユニット、１３………測距装置、１４………空間再構成装置、１５………空間モデル生成装置、１６………レーダ、１７………キャリブレーションデータ記憶装置、１８………キャリブレーション装置、１９………視点変換装置、２０………表示装置、２２………空間モデル記憶装置、２３………超解像補間処理装置、２４………空間データ記憶装置、２６………視点変換画像データ記憶装置、２８………距離画像データ記憶装置、３０………画像選択装置、３１………視点選択装置、３２………実写画像データ記憶装置、３３………仮想視点データ記憶装置、３４………撮像装置配置物体モデル記憶装置、４０………ケーシング、４２………受光部、４４………被写体、４６………撮像素子、４８………赤外カットフィルタ・ローパスフィルタ、５０………偏向プリズム、５２………導光用光学系。

Claims (13)

1. 車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、
   前記撮像手段をステレオカメラユニットで構成し、前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理して空間モデルに超解像補間画像をマッピングすることを特徴とする画像生成方法。
2. 車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
   前記撮像手段をステレオカメラユニットで構成するとともに前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理を行う超解像補間処理手段を設け、この補間処理手段により得られた超解像補間画像を空間モデルにマッピングするように構成されたことを特徴とする画像生成装置。
3. 車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
   前記撮像手段をステレオカメラユニットで構成するとともに前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理を行う超解像補間処理手段を設け、この補間処理手段により得られた超解像補間画像と撮像されたままの画像を選択的にマッピングするマッピング選択手段を有することを特徴とする画像生成装置。
4. １又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、
   前記撮像手段をステレオカメラユニットで構成し、前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理して空間モデルに超解像補間画像をマッピングすることを特徴とする画像生成方法。
5. １又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
   前記撮像手段をステレオカメラユニットで構成するとともに前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理を行う超解像補間処理手段を設け、この補間処理手段により得られた超解像補間画像を空間モデルにマッピングするように構成されたことを特徴とする画像生成装置。
6. １又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
   前記撮像手段をステレオカメラユニットで構成するとともに前記空間モデルに画像情報をマッピングするに際し、前記撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理を行う超解像補間処理手段を設け、この補間処理手段により得られた超解像補間画像と撮像されたままの画像を選択的にマッピングするマッピング選択手段を有することを特徴とする画像生成装置。
7. 前記撮像手段として撮像手段配置物体に所定の形態で配置されたものを適用することを特徴とする請求項４に記載の画像生成方法。
8. 前記撮像手段は撮像手段配置物体に所定の形態で配置されたものであることを特徴とする請求項５に記載の画像生成装置。
9. 前記撮像手段は撮像手段配置物体に所定の形態で配置されたものであることを特徴とする請求項６に記載の画像生成装置。
10. 前記特定領域とは視差量が１ピクセルより小さいサブピクセル領域であることを特徴とする請求項１又は４の何れかに記載の画像生成方法。
11. 前記特定領域とは視差量が１ピクセルより小さいサブピクセル領域であることを特徴とする請求項２，３，５又は６の何れかに記載の画像生成装置。
12. 前記ステレオカメラユニットとしてステレオアダプタと単眼カメラによる分割画像を取得可能なものを適用することを特徴とする請求項１又は４の何れかに記載の画像生成方法。
13. 前記ステレオカメラユニットはステレオアダプタと単眼カメラによる分割画像を取得可能なものを適用することを特徴とする請求項２，３，５又は６の何れかに記載の画像生成装置。

Images