JP2006171939A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】 画像同士の繋ぎ目に二重像が発生せず、かつ高解像度のパノラマ映像を容易に得ることを目的とする。
【解決手段】 複数の撮像部によって撮像される複数の画像を取得する第一の画像取得手段と、前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得手段と、前記第二の画像の解像度を調整する調整手段と、前記複数の画像、および前記調整手段によって解像度を調整された第二の画像の対応を探索する対応探索手段と、前記対応探索手段の探索結果をもとに、前記複数の画像および前記調整手段によって解像度を調整された第二の画像から、第三の画像を生成する生成手段とを備える。
【選択図】 図６

Description

本発明は、複数の画像に対して画像処理を施すものである。

移動体に搭載された撮像装置によって現実空間を撮像し、撮像された実写画像データをもとに、撮像した現実空間を計算機を用いて仮想空間として表現する試みが提案されている（非特許文献１、非特許文献２）。

移動体に搭載された撮像装置によって撮像された実写画像データをもとに、撮像した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するImage-Based Rendering（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は、複数の実写画像をもとに、任意の視点から見た画像を生成する技術である。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。

このようなＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、使用者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、使用者の仮想空間における位置と視線方向に基づいて対応するフレームを取得し、これを再生する。

現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているＧＰＳ（Global Positioning System）に代表される人工衛星を用いた測位システムを利用するのが一般的である。ＧＰＳなどから得られる位置データと、実写画像データを対応付ける手法としては、タイムコードを用いて対応付ける手法が提案されている（特開平11-168754）。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。

このような仮想空間内のウォークスルーにおいては、使用者が各視点位置で所望の方向を見ることができるようにする。このため、各視点位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ実写画像で保存しておき、使用者の仮想空間における視点位置と視線方向とに基づいてパノラマ実写画像から再生すべき部分画像を切り出し、これを表示することが考えられる。

従来パノラマ実写画像を得る一つの方法として、たとえば複数のカメラを用いる方法があった。一般にはまず所望の視界（たとえば全周方向の視界等）を複数のカメラの視界で網羅できるように夫々のカメラを放射状に配置する。この放射状型パノラマ撮像装置の例を図１に示す。そして夫々のカメラ（１０１〜１０８）で得られる画像をコンピュータなどの記憶装置に一時的に記憶しておく。そして夫々のカメラで撮像した画像を繋ぎ合わせることで、合成されたパノラマ実写画像を得ることができる。

また、パノラマ実写画像を得る他の方法として、一台のカメラと双曲面ミラーを組み合わせて用いる方法があった。この双曲面ミラー型パノラマ撮像装置の例を図２に示す。図２に示すように、双曲面ミラー型パノラマ撮像装置は、双曲面ミラー２０２とカメラ部２０１から構成され、カメラ部２０１は、双曲面ミラーに反射した周囲の情景を撮像する。
遠藤、片山、田村、廣瀬、渡辺、谷川："移動車輌搭載カメラを用いた都市空間の電脳映像化について"（信学ソサイエティ、PA-3-4、pp.276-277、1997年） 廣瀬、渡辺、谷川、遠藤、片山、田村："移動車輌搭載カメラを用いた電脳映像都市空間の構築(2)−実写画像を用いた広域仮想空間の生成−"（日本バーチャルリアリティ学会第2回大会論文集、pp.67-70、1997年）

しかしながら、上記に示す放射状型パノラマ撮像装置（図１）では、それぞれのカメラ（１０１〜１０８）のレンズ中心、すなわち光学的中心（以下「光心」という）の位置がカメラの内側にあるため、それぞれのカメラの光心位置を一致させることができない。それぞれのカメラ（１０１〜１０８）の光心位置がずれているため、各カメラから得られる画像は異なる視点からの画像になる。よって、画像を繋ぎ合せてパノラマ画像を合成しようとすると、画像同士の重なり部分が同じ映像にならず、二重増ができてしまう。図３には、画像３０１と画像３０２を繋ぎ合わせる際に、合成した画像３０３の重なり部分３０４において二重像が現れている様子が示されている。

一方、図２の双曲面ミラー型パノラマ撮像装置では、使用するカメラ２０１が１台のみであるため、繋ぎ合わせによる二重像は発生しない。ただし、放射状型パノラマ撮像装置に比べると全体の解像度は低くなり、用途によっては解像度が足りないという問題が起きる。

本発明は以上を鑑みてなされたものであり、画像同士の繋ぎ目に二重像が発生せず、かつ高解像度のパノラマ映像を容易に得ることを目的とする。

本発明の目的を達成するために、本願請求項１記載の発明は、複数の撮像部によって撮像される複数の画像を取得する第一の画像取得手段と、前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得手段と、前記第二の画像の解像度を調整する調整手段と、前記複数の画像、および前記調整手段によって解像度を調整された第二の画像の対応を探索する対応探索手段と、前記対応探索手段の探索結果をもとに、前記複数の画像および前記調整手段によって解像度を調整された第二の画像から、第三の画像を生成する生成手段とを備えることを特徴とする。

本発明によれば、画像同士の繋ぎ目に二重像が発生せず、かつ高解像度のパノラマ映像を容易に得ることができる。

以下、添付図面に従って、本発明の好適な実施形態について説明する。

（第１の実施形態）
本実施形態では、周囲のパノラマ画像を撮像する一台の広画角カメラと、周囲の部分画像を撮像する複数の参照用カメラを用いて、二重像が発生せず、かつ高解像度のパノラマ映像を得る。この方法を説明するために、周囲のパノラマ画像を撮像する一台の広画角カメラ（４０３）と、周囲の部分画像を撮像する複数の参照用カメラ（４０１、４０２）を用いた例を図４に示す。

ここで、参照用カメラ（４０１、４０２）は、図１に示す放射状型パノラマ撮像装置と同じく、すべてのカメラは同じ面かつ放射状に配置していて、各カメラの光心位置は一致していないものとする。

また、説明のためのカメラの例としてビデオカメラをあげるが、これに限らず、スチールカメラのようなものでも良い。

図４は上述の各カメラを上方から見た配置図である。４０１及び４０２は周囲の部分画像を撮像する複数の参照用カメラであり、それぞれ視界４１１及び４１２を有する。また、カメラ４０１及び４０２の視野角及び解像度は等しいものとする。４０３は周囲のパノラマ画像を撮像する一台の広画角カメラであり、視界４１３を有する。ここで、視界４１３は、視界４１１及び視界４１２のそれぞれと重なり部分を有する。さらに、カメラ４０３のレンズ中心は、カメラ４０１とカメラ４０２の光軸が交差する位置にある。また、カメラ４０３が撮像する画像の解像度（サイズ）は、カメラ４０１及びカメラ４０２が撮像する画像の解像度（サイズ）と比較して低いものとする。このように各カメラを配置して、カメラ４０１及びカメラ４０２の撮像する複数の画像をもとにカメラ４０３の位置から見た画像を得たい。

図５に、図４の各カメラから得られた画像を示す。画像５０１、５０２、５０３はそれぞれカメラ４０１、４０２、４０３から得られたと想定する。上記の説明のように、画像５０３の解像度（サイズ）は、画像５０１、５０２の解像度より低い（小さい）。

上述の各カメラの配置に基づいて、カメラ４０１及びカメラ４０２の撮像する複数の画像をもとにカメラ４０３の位置から見た画像を得る処理を、図６に示すフローチャートを用いて説明する。

まずステップS６０１では、図４に示すカメラ４０１、４０２、４０３それぞれによって、図５に示す画像５０１、５０２、５０３を取得する。画像を取得する際に、必要に応じてレンズ歪み補正などの処理の実施も行う。

ステップS６０２では、画像の解像度（サイズ）の調整（拡大、縮小）を行う。ここでは、ステップＳ６０１で撮影した画像５０１、５０２の像の密度と、画像５０３の像の密度が同じになるように画像の解像度を調整する。すなわち、画像５０１及び５０２に写っている対象物のサイズと、対応する画像５０３に写っている対象物のサイズが同じになるように画像の解像度を調整する。調整パラメータ（拡大、縮小の度合い）は、図４の各カメラの配置が固定であれば、あらかじめ定めたパラメータで固定となるため、本フローチャートの処理を始める前に手作業によって設定を行っておくことが望ましい。図５において調整を行うには、画像５０３の解像度を高くして画像５０１及び５０２の解像度と合わせるか、画像５０１及び５０２の解像度を低くして画像５０３の解像度と合わせるなど、いくつかパターンが考えられるが、本発明の本実施形態においては、前者のやり方（画像５０３の解像度を高くして画像５０１及び５０２の解像度と合わせる）を選択する。この場合、画像５０３は拡大されることになるため、拡大に伴い隙間が生じる画素に対しては、近傍の画素値をそのまま入力したり、補間処理などを施すことができる。また必要に応じて各種フィルタリング処理も行う。こうすることで、画像５０３から図７に示す画像７０３が生成される。なお、生成された画像７０３は、画像５０３を拡大したものであるため、画像５０１及び５０２と比較して見た目が粗い画像になっている。

ステップS６０３では、画像７０３中の各部分領域に対応する画像５０１、５０２の領域（対応領域）を探索する。（画像７０３中の部分領域とは、画像７０３をあらかじめ定めたサイズで分割した複数の領域である。）ここで、本実施形態における部分領域及び対応領域のサイズは、画素単位でも良いし、ｎｘｎ画素ブロックのような適当なサイズの領域でも良い。対応探索に用いる領域のサイズは、上述の対応領域のサイズより大きくすることも考えられる。図８に示す例では、探索領域は４ｘ４画素のブロックであるが、対応領域は真中の２ｘ２画素のブロック８０１である。対応領域の探索に用いる方法は、画像の輝度値を特徴量としたテンプレートマッチング法でも良いし、画像中の特徴点を検出してパターンマッチングを行う方法でもよい。さらに、探索を高速化かつもっと正確に行うために、探索領域のサイズを階層的に変えながら実行することも考えられる。このようにして、画像７０３の各部分領域と、画像５０１及び５０２両方の画像の各領域との誤差を計算し、誤差の一番小さい領域を対応領域とする。テンプレートマッチング法を利用して誤差を計算する例として式１を挙げることができるが、それに限定されるものではない。式１では、Nは探索領域のブロックのサイズ（）、は探索対象になっている領域の画素、は画像７０３の部分領域内の画素である。

ステップS６０３が終わると、画像７０３の各部分領域に対応する画像５０１もしくは５０２の対応領域が得られている。得られた部分領域と対応領域の対応情報は、例えば対応表として保存しておく。

ステップS６０４では、ステップS６０３で得られた対応表をもとに、画像７０３の各部分領域に、その領域に対応する画像５０１もしくは５０２の画素値（ＲＧＢ）を入れる。こうすることで、画像７０４のような、解像度の高いパノラマ画像を得ることが可能である。

ステップS６０５では、ステップS６０４で得られたパノラマ画像７０４を保存する。

ステップS６０２では、画像の解像度調整を行う時に、画像５０３の解像度を画像５０１及び５０２の解像度にあわせた場合の説明を行ったが、逆に、画像５０１及び５０２の解像度を画像５０３の解像度にあわせても良い。この場合は、ステップＳ６０３において、画像５０１、５０２の縮小画像中の各部分領域に対応する画像５０３の領域（対応領域）を探索する。ステップＳ６０３の処理が終わり、対応表が完成したら、対応表をもとにパノラマ画像７０４を合成する。ここで、合成に使われる画像は画像５０１と５０２の縮小画像ではなく、元の画像５０１と５０２である。

ステップS６０４では、S６０３で作成された対応表をもとに、画像７０４の合成を行っていたが、例えば対応表を作成しないで、対応領域が決まった時点で画像７０４への画素値（ＲＧＢ）書き込みを行っても良い。

以上の処理により、周囲のパノラマ画像を撮像する一台の広画角カメラ（４０３）と、周囲の部分画像を撮像する複数の参照用カメラ（４０１、４０２）を用いることで、周囲の広画角カメラ画像をもとにした二重像がない画像構成と、高解像度である複数の参照用カメラ画像の利点を合わせることができるため、二重像が発生せず、かつ高解像度のパノラマ映像を容易に得ることができる。

（第２の実施形態）
次に、全周方向のパノラマ画像を撮像する一台の双曲面ミラー型パノラマ撮像装置（以下、カメラ９０９と呼ぶ）と、周囲の部分画像を撮像する複数の参照用カメラ（９０１〜９０８）を用いた場合のカメラ配置例を図９に示す。（図９（ａ）はカメラ配置を上からみた図であり、図９（ｂ）はカメラ配置を横から見た図である。）図９に示したカメラの配置構成は、基本的には図４に示した配置構成を拡張したものである。図９に示した配置構成では、カメラ９０９を中心にして、カメラ９０１〜９０８を放射状に配置している。また、カメラ９０９と、カメラ９０１〜９０８それぞれの視界は重なり部分を有しているものとする。さらに、カメラ９０１〜９０８それぞれの視野角及び解像度は等しいものとする。

図１０の１００１は、カメラ９０９によって得られる広画角画像である。（撮像装置、或いは撮像装置の設置方法によっては、異なる画像が得られることもある。）ここで、画像１００１では双曲面ミラーを利用することによる歪みが生じていることが分かる。よって、画像１００１に対して幾何学変換を施し、歪み補正を行う必要がある。双曲面ミラー型パノラマ撮像装置を利用した際の画像歪み補正については公知の手法を適用すればよい。歪みを補正したあとの画像を図１０の１００２に示す。

図１１は、カメラ９０１〜９０８それぞれによって得られる画像である。カメラ９０１、９０２、９０３、９０４、９０５、９０６、９０７、９０８から得られる画像は、それぞれ画像１１０１、１１０２、１１０３、１１０４、１１０５、１１０６、１１０７、１１０８であると想定する。

図９のパノラマ撮影装置から、図１０の１００２に示す広画角画像、および図１１に示す複数の高解像度画像が得られる。これらの画像を元に、図１５に示すフローチャートの処理を行うことで、二重像が発生せず、かつ高解像度のパノラマ映像を得ることができる。

以下、図１５に示すフローチャートの説明を行う。

まずステップS１５０１では、図９に示すカメラ９０１、９０２、９０３、９０４、９０５、９０６、９０７、９０８それぞれによって、図１１に示す画像１１０１、１１０２、１１０３、１１０４、１１０５、１１０６、１１０７、１１０８を取得する。また、カメラ９０９によって撮像される画像１００１を取得して、幾何学変換式Ｈ１００３によって歪み補正を施した画像１００２を得る。幾何学変換式Ｈ１００３は、公知の技術によって求めることができ、数式や行列で表現することができる。画像を取得する際に、必要に応じてレンズ歪み補正などの処理の実施も行う。

ステップS１５０２では、画像の解像度（サイズ）の調整（拡大、縮小）を行う。ここでは、ステップS１５０１で撮影した画像１１０１〜１１０８それぞれの像の密度と、画像１００２の像の密度が同じになるように画像の解像度を調整する。すなわち、画像１１０１〜１１０８それぞれに写っている対象物のサイズと、対応する画像１００２に写っている対象物のサイズが同じになるように画像の解像度を調整する。調整パラメータ（拡大、縮小の度合い）は、図９の各カメラの配置が固定であれば、あらかじめ定めたパラメータで固定となるため、本フローチャートの処理を始める前に手作業によって設定を行っておくことが望ましい。ここで、説明のためにカメラ９０１〜９０８それぞれと、カメラ９０９は同じ種類のカメラであると想定し、得られる画像は全て同じ解像度の画像であるとする。画像１１０１〜１１０８それぞれは同じ視野角と解像度を有しているが、画像１００２は全周方向の広画角の視界を有するため、画像１００２の解像度は、画像１１０１〜１１０８それぞれの解像度よりも低くなる。解像度の調整を行うには、画像１００２の解像度を高くして画像１１０１〜１１０８それぞれの解像度と合わせるか、画像１１０１〜１１０８それぞれの解像度を低くして画像１００２の解像度と合わせるなど、いくつかパターンが考えられるが、ここでは前者のやり方（画像１００２の解像度を高くして画像１１０１〜１１０８それぞれの解像度と合わせる）を選択する。図１０に示すように、画像１００２に幾何学変換式Ｈ１００４を施して画像１００５を生成する。また変換の際には必要に応じて各種フィルタリング処理も行う。なお、生成された画像１００５は、画像１００２を拡大したものであるため、画像１１０１〜１１０８と比較して見た目が粗い画像になっている。

ステップS１５０３では、画像１００５中の各部分領域に対応する画像１１０１〜１１０８の領域（対応領域）を探索する。（画像１００５中の部分領域とは、画像１００５をあらかじめ定めたサイズで分割した複数の領域ある。）ここで、本実施形態における部分領域及び対応領域のサイズは、画素単位でも良いし、ｎｘｎ画素ブロックのような適当なサイズの領域でも良い。対応探索に用いる領域のサイズは、上述の対応領域のサイズより大きくすることも考えられる。図８に示す例では、探索領域は４ｘ４画素のブロックであるが、対応領域は真中の２ｘ２画素のブロック８０１である。対応領域の探索に用いる方法は、画像の輝度値を特徴量としたテンプレートマッチング法でも良いし、画像中の特徴点を検出してパターンマッチングを行う方法でもよい。さらに、探索を高速化かつもっと正確に行うために、探索領域のサイズを階層的に変えながら実行することも考えられる。

画像１００５の各部分領域と、画像１１０１〜１１０８全ての画像の各領域との誤差を計算し、誤差の一番小さい領域を対応領域とする。テンプレートマッチング法を利用して誤差を計算する例として式１を挙げることができるが、それに限定されるものではない。

ステップS１５０３が終わると、画像１００５の各部分領域に対応する画像１１０１〜１１０８の対応領域が得られている。得られた部分領域と対応領域の対応情報を、例えば図１２の変換式H１２０１〜H１２０８として保存する。変換式H１２０１〜H１２０８は、数式や行列で表現することができる。

ステップS１５０４では、ステップS１５０３で得られた変換式H１２０１〜H１２０８をもとに、画像１２０９の各部分領域に、その領域に対応する画像１１０１〜１１０８の画素値（ＲＧＢ）を入れる。こうすることで、画像１２０９のような、解像度の高いパノラマ画像を得ることが可能である。

ステップS１５０５では、ステップS１５０４で得られたパノラマ画像１２０９を保存する。

ステップS１５０２では、画像の解像度調整を行う時に、画像１００２の解像度を画像１１０１〜１１０８それぞれの解像度に合わせた場合の説明を行ったが、逆に、画像１１０１〜１１０８それぞれの解像度を画像１００２の解像度に合わせてもよい。この場合は、ステップS１５０３において、画像１１０１〜１１０８の縮小画像中の各部分領域に対応する画像１００２の領域（対応領域）を探索する。ステップＳ１５０３の処理が終わり、対応変換式H１２０１〜１２０８が完成したら、対応変換式をもとにパノラマ画像１２０９を合成する。ここで、合成に使われる画像は画像１１０１〜１１０８の縮小画像ではなく、元の画像１１０１〜１１０８である。

ステップS１５０３の探索処理時間を短縮するために、対応領域の探索範囲を狭くすることができる。図１３は、図９と同様の配置構成を持つ撮影装置である。ここで、カメラ９０５について説明を行うが、他のカメラについても同様な処理を行うものとする。直線１３０５は、カメラ９０９とカメラ９０５のレンズ中心を通過する直線である。この直線は、画像１００１と画像１１０５それぞれの画像中の各一点を通過する。同様に、図１３に示すように、カメラ９０９のレンズ中心と、カメラ９０１、９０２、９０３、９０４、９０６、９０７、９０８それぞれのレンズ中心を通過する直線１３０１、１３０２、１３０３、１３０４、１３０６、１３０７、１３０８が存在する。そしてこれらの直線は、画像１００１と、画像１１０１、１１０２、１１０３、１１０４、１１０６、１１０７、１１０８それぞれの画像中の各一点を通過する。図１４には、直線１３０５が（画像１００１を変換した）画像１００５を通過する点１３０５Ａと、直線１３０５が画像１１０５を通過する点１３０５Ｂを示す。そして、図１４が示すように、通過点１３０５Ａと通過点１３０５Ｂを中心に、対応領域の探索範囲を限定することができる。例えば、テンプレートになる部分領域が１３０５A付近にあるとすると、画像１１０５の１３０５B付近に対応領域の探索範囲を絞れば良い。同じく、テンプレートになる部分領域が１３０５Aの右上方向にあるとすると、画像１１０５の１３０５Bの右上方向付近に対応領域の探索範囲を絞れば良い。

ステップS１５０４では、対応領域が決まった時点で画像１２０９への画素値（ＲＧＢ）書き込みを行っても良い。

以上の処理により、全周方向のパノラマ画像を撮像する一台の双曲面ミラー型パノラマ撮像装置（９０９）と、周囲の部分画像を撮像する複数の参照用カメラ（９０１〜９０８）を用いることで、全周方向のパノラマ画像をもとにした二重像がない画像構成と、高解像度である複数の参照用カメラ画像の利点を合わせることができるため、二重像が発生せず、かつ高解像度のパノラマ映像を容易に得ることができる。

なお、双曲面ミラー型パノラマ撮像装置（９０９）には、双曲面ミラーの代わりに、たとえば魚眼レンズなどの、全周方向の情景を視界に入れることができる光学デバイスを取り付けてもよい。

（第３の実施例）
次に、本実施形態では、周囲のパノラマ画像を撮像する一台の広画角カメラと、周囲の部分画像を撮像する色合いにばらつきのある複数の参照用カメラを用いて、二重像が発生せず、かつ高解像度、さらには色合いが統一されたパノラマ映像を得るため方法の説明を行う。この方法を説明するために、例えば第２の実施形態における画像１００２の部分画像１００２'、および第２の実施形態における画像１１０１の部分画像１１０１'を図１６に示して説明を行う。ここで画像１００２は、周囲のパノラマ画像を撮像する一台の広画角カメラによって撮像された画像を変換した図１０に示す画像である。また画像１１０１は、周囲の部分画像を撮像する複数の参照用カメラのうち１台によって撮像された図１１に示す画像である。本実施形態においては、複数の参照用カメラによって撮像された画像のうち画像１１０１についてのみ説明を行うが、図１１に示す他の画像１１０２〜１１０８に対しても同様の処理を行う。

本実施形態においては、図１０の画像１００２を（画像１１０１の解像度に合わせるために）画像１００５に拡大する際の幾何学変換式Ｈ１００４として、例えば縦横それぞれ２倍に拡大する場合について説明を行う。すなわち、部分画像１００２'の１画像は、対応する部分画像１１０１'の４画素分に相当することになる。ここで、図１６に示す部分画像１００２'中の太線で囲った画素１６０２と、部分画像１１０１'中の太線で囲った画素１６０１ａ〜ｄが対応することとする。対応領域の探索については第２の実施形態において説明を行ったとおりである。また、部分画像１００２'の各画素、および部分画像１１０１'の各画素は、色情報として（Ｙ，Ｕ，Ｖ）情報を持つ。この色情報のうち、Ｙは輝度、Ｕは赤の色差、Ｖは青の色差を表す。またこの色情報は、デジタルビデオのデータフォーマットなどとして利用されている。

ここで、部分画像１００２'と部分画像１１０１'の色合いを統一するために、例えば部分画像１１０１'の各画素輝度成分（Ｙ）を部分画像１００２'の各画素輝度成分（Ｙ）に合わせるように調整する場合について説明を行う。画素１６０２の輝度値をＹ１６０２、画素１６０１ａの輝度値をＹ１６０１ａ、画素１６０１ｂの輝度値をＹ１６０１ｂ、画素１６０１ｃの輝度値をＹ１６０１ｃ、画素１６０１ｄの輝度値をＹ１６０１ｄとする。また、画素１６０１ａの輝度値調整後の輝度値をＹ１６０１ａ'、画素１６０１ｂの輝度値調整後の輝度値をＹ１６０１ｂ'、画素１６０１ｃの輝度値調整後の輝度値をＹ１６０１ｃ'、画素１６０１ｄの輝度値調整後の輝度値Ｙ１６０１ｄ'とする。

画素１６０１ａ〜ｄの輝度値調整後の輝度値Ｙ１６０１ａ'〜ｄ'を求めるには、式２〜５に示すように、輝度値Ｙ１６０１ａ〜ｄそれぞれに輝度値Ｙ１６０１ａ〜ｄの平均値の逆数と、輝度値Ｙ１６０２をスケールファクターとしてかけてやればよい。

以上の処理は、第２実施形態の処理手順のステップＳ１５０４に加えて行えばよい。

ここで、幾何学変換式Ｈ１００４として縦横２倍以外の変換式を用いても、色合い調整のための成分として輝度成分（Ｙ）以外を利用しても、さらには色合い調整のための色情報として（Ｙ，Ｕ，Ｖ）情報以外を利用してもよいことは言うまでもない。

以上のように、部分画像１１０１'の各画素の輝度成分を、対応する部分画像１００２'の各画素の輝度成分に合わせるように調整を行い、さらには画像１１０１〜１１０８の各画素の輝度成分を、対応する画像１００２の各画素の輝度成分に合わせるように調整を行うことで、色合いにばらつきがある画像１１０１〜１１０８の色合いと、画像１００２の色合いを統一することができる。また、色合い調整された画像１１０１〜１１０８の画素値を、拡大された画像１００５に入力することで、周囲のパノラマ画像を撮像する一台の広画角カメラと、周囲の部分画像を撮像する複数の参照用カメラを用いて、二重像が発生せず、かつ高解像度、さらには色合いが統一されたパノラマ映像を得ることができる。

また、本実施形態においては、画像１００２の各画素の輝度成分を、対応する画像１１０１〜１１０８の各画素の輝度成分に合わせるように調整を行い、色合いにばらつきがある画像１１０１〜１１０８の色合いと、画像１００２の色合いを統一して処理を行ってもよいことは言うまでもない。

（他の実施形態）
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

従来例である放射状型パノラマ撮像装置の構成を示す図である。 従来例である双曲面ミラー型パノラマ撮像装置の構成を示す図である。 放射状型パノラマ撮像装置を利用して複数の画像を合成する際に、重なり部分に生じる二重像を説明する図である。 第１の実施形態におけるカメラ配置を示す図である。 第１の実施形態におけるカメラによって得られる画像を示す図である。 第１の実施形態における処理手順を示すフローチャートである。 第１の実施形態における処理を説明する図である。 対応領域を探索する際の探索領域の例を示す図である。 第２の実施形態におけるカメラ配置を示す図である。 第２の実施形態における双曲面ミラー型パノラマ撮像装置（９０９）によって撮影された画像、および撮影された画像に対する処理を説明する図である。 第２の実施形態における周囲の部分画像を撮像する複数の参照用カメラ（９０１〜９０８）によって撮影された画像を示す図である。 第２の実施形態における周囲の部分画像を撮像する複数の参照用カメラ（９０１〜９０８）に対する処理を説明する図である。 第２の実施形態における探索範囲の限定を説明するための図である。 第２の実施形態における探索範囲の限定を説明するための図である。 第２の実施形態における処理手順を示すフローチャートである。 第３の実施形態における色合い調整を説明するための図である。

Claims (10)

1. 複数の撮像部によって撮像される複数の画像を取得する第一の画像取得手段と、
   前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得手段と、
   前記第二の画像の解像度を調整する調整手段と、
   前記複数の画像、および前記調整手段によって解像度を調整された第二の画像の対応を探索する対応探索手段と、
   前記対応探索手段の探索結果をもとに、前記複数の画像および前記調整手段によって解像度を調整された第二の画像から、第三の画像を生成する生成手段とを備えることを特徴とする画像処理装置。
2. 複数の撮像部によって撮像される複数の画像を取得する第一の画像取得手段と、
   前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得手段と、
   前記複数の画像の解像度を調整する調整手段と、
   前記調整手段によって解像度を調整された複数の画像、および前記第二の画像の対応を探索する対応探索手段と、
   前記対応探索手段の探索結果をもとに、前記調整手段によって解像度を調整された複数の画像および前記第二の画像から、第三の画像を生成する生成手段とを備えることを特徴とする画像処理装置。
3. 複数の撮像部によって撮像される複数の画像を取得する第一の画像取得手段と、
   前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得手段と、
   前記複数の画像、および前記第二の画像の解像度を調整する調整手段と、
   前記調整手段によって解像度を調整された複数の画像、および前記調整手段によって解像度を調整された第二の画像の対応を探索する対応探索手段と、
   前記対応探索手段の探索結果をもとに、前記調整手段によって解像度を調整された複数の画像および前記調整手段によって解像度を調整された第二の画像から、第三の画像を生成する生成手段とを備えることを特徴とする画像処理装置。
4. 前記第二の画像は、全周方向画像であることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. さらに、前記第一の画像、もしくは前記第二の画像の色合いを調整する色合い調整手段を備えることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 複数の撮像部によって撮像される複数の画像を取得する第一の画像取得工程と、
   前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得工程と、
   前記第二の画像の解像度を調整する調整工程と、
   前記複数の画像、および前記調整工程によって解像度を調整された第二の画像の対応を探索する対応探索工程と、
   前記対応探索工程の探索結果をもとに、前記複数の画像、および前記調整工程によって解像度を調整された第二の画像から、第三の画像を生成する生成工程とを備えることを特徴とする画像処理方法。
7. 複数の撮像部によって撮像される複数の画像を取得する第一の画像取得工程と、
   前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得工程と、
   前記複数の画像の解像度を調整する調整工程と、
   前記調整工程によって解像度を調整された複数の画像、および前記第二の画像の対応を探索する対応探索工程と、
   前記対応探索工程の探索結果をもとに、前記調整工程によって解像度を調整された複数の画像、および前記第二の画像から、第三の画像を生成する生成工程とを備えることを特徴とする画像処理方法。
8. 複数の撮像部によって撮像される複数の画像を取得する第一の画像取得工程と、
   前記複数の撮像部それぞれの撮像視界と重なりを有する撮像視界を持つ第二の撮像部によって撮像される第二の画像を取得する第二の画像取得工程と、
   前記複数の画像、および前記第二の画像の解像度を調整する調整工程と、
   前記調整工程によって解像度を調整された複数の画像、および前記調整工程によって解像度を調整された第二の画像の対応を探索する対応探索工程と、
   前記対応探索工程の探索結果をもとに、前記調整工程によって解像度を調整された複数の画像および前記調整工程によって解像度を調整された第二の画像から、第三の画像を生成する生成工程とを備えることを特徴とする画像処理方法。
9. 請求項６乃至８のいずれかに記載の画像処理方法をコンピュータを用いて実現するためのプログラムコード。
10. 請求項９に記載のプログラムを記録した記録媒体。

Images