JP2014010783A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】安定した処理でピントを合わせたい領域のぼけを低減して画像を合成すること。
【解決手段】実際の撮像部７０１および７０２のそれぞれの画像９０１および９０２にマスク１００３および１００４を適用し、合焦領域を抽出したものが、画像１００５および１００６である（処理（２））。こうして得られた画像を、合焦面上に投影し、多視点画像上の座標に変換したものが、画像１００７および１００８である（処理（３））。これを重ね合わせると仮想視点画像１００９が得られる（処理（４））。そのままでは、カメラパラメータのずれによって、各視点間で画像がずれている。これが重なるよう、一方の視点の画像を基準として位置を合わせ、補正画像１０１０のような位置ずれを記述する補正パラメータを算出する（処理（５））。この補正パラメータを、仮想視点画像合成時に基準ではない方の撮像部で得られた画像に補正画像１０１１のように画像全体に適用することにより、合焦領域にボケのない画像が得られる（処理（６））。
【選択図】図１５

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に複数の視点から撮像した画像を処理する画像処理装置、画像処理方法およびプログラムに関するものである。

通常のカメラにより撮影を行う場合、撮影時にピント合わせ（合焦）を行うため、ピント位置の調節を誤って撮影した場合、正しいピント位置の撮影画像を得るためには再撮影の必要がある。

近年、多視点から複数の画像を取得し、取得後、すなわち撮影後画像処理によってピント位置を調節するライトフィールドフォトグラフィという技術が発展している。この技術は撮影後にピント位置を調節できるため、撮影時のピント調節を失敗しても、その後の画像処理で正しいピント位置に調節することができるという利点がある。ライトフィールドフォトグラフィでは、多視点の画像から、空間中の複数の位置について、ある位置を通過する光線の方向と強度（ライトフィールド、以降ＬＦと略記）を取得する。取得したＬＦの情報を用いて任意の位置の仮想のセンサに結像した画像を計算する。ＬＦに関する数学的性質や数学的基礎などはＲ．ＮＧによって議論されている（例えば、非特許文献１参照）。

この仮想のセンサの位置を適宜設定し、所望の撮影対象にピントが合う位置に調節することにより、前述した撮影後のピント調節を可能とする。以降では多視点の画像から仮想のセンサの位置で取得する画像を計算する処理をリフォーカス処理と呼ぶ。また、このようにして取得した画像を仮想視点画像と呼ぶ。ＬＦを取得するための撮像装置としては小型のカメラを並べたカメラアレイや、メインレンズの後ろにマイクロレンズアレイを置いたＰｌｅｎｏｐｔｉｃ Ｃａｍｅｒａが知られている。いずれの撮像装置においても取得したＬＦから、仮想的にセンサを置いた時の画像を撮影後に合成することができる。ＬＦから仮想的なセンサ上の画像を合成する方法として、取得した複数枚の画像を仮想的なセンサ上に射影変換し加算して平均化する方法が提案されている（例えば、特許文献１参照）。このような画像合成手法を合成開口撮影法と呼ぶ。

合成開口撮影法による画像合成において、既知の情報として与えられるカメラパラメータ（カメラの位置、姿勢、画角、焦点距離など）に、実際の値との間でずれがあった場合、ピントを合わせたい領域がぼけてしまうという問題がある。このような、画質劣化を引き起こすカメラパラメータのずれを、カメラキャリブレーション技術を用いてカメラパラメータを推定することで補正する技術が提案されている（例えば、非特許文献２参照）。

国際公開第２００８／０５０９０４号パンフレット

Ｒ．ＮＧ， Ｍ．Ｌｅｖｏｙ， Ｍ．Ｂｒｅｄｉｆ， Ｇ．Ｄｕｖａｌ， Ｍ． Ｈｏｒｏｗｉｔｚ， Ｐ．Ｈａｎｒａｈａｎ 著「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」（Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２， ２００５） Ｒｉｃｈａｒｄ Ｓｚｅｌｉｓｋｉ， "Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ"， Ｓｐｒｉｎｇｅｒ， Ｎｅｗ Ｙｏｒｋ， ２０１０

しかしながら、例えば非特許文献２で用いられる従来のカメラキャリブレーション技術は、チャートを用いて行う場合、ユーザが煩雑な作業をする必要があるという点で問題がある。また、自然画像からキャリブレーションする場合は処理が不安定になるという点で問題がある。

本願の画像処理装置は、予め設定された異なる視点から撮像された複数の画像データの各々を、撮像された視点の位置に基づき合成変換して、仮想的に設定した視点から撮像した仮想視点画像として合成画像データを生成する画像合成手段と、合成画像データにおけるピントを合わせる領域に対応する領域を、複数の画像データの各々から抽出する合焦領域抽出手段と、複数の画像データの各々の領域の画素値の差が小さくなるよう画像データを変換し、予め設定された視点の位置に基づき合成変換された画像データとの差を算出する位置合わせ手段とを備え、算出された差を用い、複数の画像データの各々の合成変換された画像データ全体を変換して合成画像データを生成することを特徴とする。

多視点画像からリフォーカス処理により仮想視点画像を合成する際に、与えられたカメラパラメータに実際の値との間でずれがあった場合でも、安定した処理でピントを合わせたい領域のぼけを低減して画像を合成することが可能となる。

本発明を適用し得る撮像装置の概観の一例を表す図である。 実施例１の多視点撮像装置の構成例を表すブロック図である。 実施例１の多視点撮像部の構成例を表すブロック図である。 実施例１の撮像部の構成例を表すブロック図である。 撮像部の配置例を表す図である。 一実施例の各撮像部の配置を横から見た図である。 一実施例の各撮像部の配置を上部から見た図である。 一実施例の各撮像部の座標と多視点撮像部の座標との関係を説明するための図である。 一実施例の被写体、仮想撮像系、多視点撮像部の関係を示す図である。 理想光学系の性質を説明するための図である。 仮想視点画像合成の原理を説明するための図である。 仮想視点画像合成の原理を説明するための図である。 仮想視点画像合成の原理を説明するための図である。 仮想視点画像合成の原理を説明するための図である。 本発明における画像合成処理の一例の概要を中間生成データの側面から説明する図である。 実施例１における画像処理部の構成例を表すブロック図である。 実施例１における画像合成処理のフローを表す図である。 位置合わせ処理の流れの一例を示すフローチャートである。 実施例２における画像処理部の構成例を表すブロック図である。 実施例２における画像合成処理のフローを表す図である。 位置合わせの方法の一例の処理を示すフローチャートである。 有効ブロック判定方法の一例を示すフローチャートである。 有効動きベクトル判定方法の一例の処理を示すフローチャートである。

［実施例１］
＜撮像装置の全体構成＞
図１は、本発明を適用し得る多視点撮像装置の一例を示した模式図である。多視点撮像装置の筺体１０１には多視点画像を撮像するための部材や装置が取り付けられている。図１の多視点撮像装置の前面（ａ）には、撮像部１０５〜１１３が複数に配置されており、これにより多視点撮像装置は複数の視点の画像を取得する。図１の多視点撮像装置の背面（ｂ）には、撮影ボタン１０２、ディスプレイ１０３および操作ボタン１０４が配置されている。多視点撮像装置の種々の設定は、操作ボタン１０４とディスプレイ１０３とを用いて行われ、撮影ボタン１０２を押下することで、撮像部１０５〜１１３による撮像が行われる。取得した画像および合成した画像はディスプレイ１０３に表示される。

図２は、本発明の一実施例に係る多視点撮像装置の構成の一例を示すブロック図である。多視点撮像部２１３は、詳細は後述するが、複数の撮像部によって構成され、複数の視点から画像の取得を行う。多視点撮像部２１３を構成する各撮像部は、後述するように光学系によって結像した像を、イメージセンサにより画像データへと変換する。

画像処理部２１４は、詳細は後述するが、多視点撮像部２１３から取得した多視点画像データからリフォーカス処理を行って合成画像データを生成する。ＣＰＵ２０１は、各構成の処理全てに関わり、ＲＯＭ２０２やＲＡＭ２０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ２０２とＲＡＭ２０３は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ２０１に提供する。バス２１０は各構成間で、データや処理の指示をやり取りするための経路として機能する。

画像処理部２１４は、多視点撮像部を構成する複数の視点の位置となる各撮像部の配置の情報および特性の情報に基づいて画像合成を行う。これらの情報は、システムや装置の設定をもとに予め算出されてＲＯＭ２０２ないしはＲＡＭ２０３に格納されているものとする。操作部２０４は、例えばボタンやモードダイヤルなどであり、これらを介して入力されたユーザー指示を受け取る。キャラクタージェネレーション２０９は、文字やグラフィックなどを生成する。表示部２０６は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部２０９や表示制御部２０５から受け取った撮影画像、合成画像および文字などの表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、タッチスクリーンを用いたユーザー指示を操作部２０４の入力として使用することも可能である。

デジタル信号処理部２１２は、多視点撮像部２１３により取得された多視点画像データのγ調整や欠陥画素の補間などを行う。これらの処理は画像処理部２１４による本実施例の特徴である画像処理の前に行われる。エンコーダ部２１１は出力される多視点画像データのエンコード処理を行う。メディアインターフェース２０７は、ＰＣその他メディア（例えば、ＰＣ、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなど）２０８に装置を結合するためのインターフェースである。例えば、メディアインターフェース２０７を介して合成画像データ及び多視点画像データの出力が行われる。なお、通常、装置の構成要素は上記以外にも存在するが、本発明を説明するために特に必要ではないので説明を省略する。

＜多視点撮像部の構成＞
図３のブロック図を参照して多視点撮像部２１３の構成例を説明する。撮像部３０１〜３０９は各々が空間的に異なる配置された単一の視点から画像を撮像することにより複数の画像データからなる多視点画像データを取得する。撮像部３０１〜３０９は、図１の撮像部１０５〜１１３にそれぞれ対応するものとして説明する。

図４を参照して撮像部３０１〜３０９の各々の構成の一例を説明する。レンズ４０１及びレンズ４０２は結像光学系を構成する。被写体から発せられた光線はこの結像光学系により集光し、絞り４０３、ＩＲカットフィルタ４０４、ローパスフィルタ４０５およびカラーフィルタ４０６を通過した後に、撮像素子４０７上に結像する。光学系制御部４１０はレンズ４０１及びレンズ４０２を制御して、その結像光学系としての合焦距離や焦点距離を変化させる。また、絞り４０３を開閉して、Ｆ値の調整を行う。本実施例では、撮像部３０１〜３０９の各々の制御用の光学系制御部４１０は、各撮像部の光学系を制御するが、その制御値は撮像制御部３１０により一括して設定される。設定される制御値は、例えば合焦距離、焦点距離およびＦ値などであり、操作部２０４でユーザーにより入力された設定値、または別途設けられた自動露出装置およびオートフォーカス装置などにより算出された値に基づいて定められる。

なお、ここで示した光学系の構成は、説明のために単純化した例であり、撮像素子上に被写体の像を結像させる機能を有すればどのような構成でもかまわない。また、カラー画像を取得する構成について説明したが、取得する画像は白黒や４色以上の画素を持つ画像とすることができ、さらに画素毎に露出の異なる画像でもかまわない。

撮像素子４０７及びＡ／Ｄ変換部４０８として、ＣＭＯＳイメージセンサなどのイメージセンサを使用することができる。一般に、撮像素子４０７は２次元の格子状に画素が配列され、画素上の光量を検出して集約することにより結像された像を電気信号に変換する。Ａ／Ｄ変換部４０８は電気信号に変換された像の情報をデジタル信号に変換する。デジタル信号に変換された画像データはバッファ４０９内に格納される。撮像素子制御部４１１は撮像素子４０７及びＡ／Ｄ変換部４０８に対して、露光の開始と信号の読み出しの制御を行う。制御のタイミングなどの制御値は撮像制御部３１０により一括して設定される。

以上、一般的な撮像部の構成を図４を参照して説明したが、撮像部３０１〜３０９の各々は全く同じ構成である必要はなく、各々被写体の像を結像し、画像データを取得する機能を有すれば、どのような設計や構成でもかまわない。

図５および図６を参照して、本実施例の撮像部３０１〜３０９の配置について説明する。各撮像部はその結像光学系の光軸方向を軸に持つ円筒形の筺体に格納され、多視点撮像装置の筺体５０１上に格子状に配置されている。筺体５０１は図１の筺体１０１に対応する。本実施例で、各撮像部の結像光学系の光軸は同じ向きになるよう配置されている。図５は多視点撮像装置を正面から見た図である。図６は図５における左方から多視点撮像装置を見た図である。図７は図５における上方から多視点撮像装置を見た図である。各図の関係を明らかにするため、それぞれの図の中に右手系の座標軸５０２、５０３および５０４を記した。

なお、本実施例では撮像部が９つの場合について説明を行ったが、複数視点からの撮像が可能であれば、撮像部の数はいくつであっても構わない。また、図５の配置は一例に過ぎず、各視点の配置が設計ないしは計測結果から知ることができるならば、どのような配置でもかまわない。さらに、本実施例では、各撮像部は円筒形として示しているが、どのような形状の撮像素子でも用いることができる。

図８を参照して、以降の説明で用いる各撮像部の配置情報、すなわち各視点の位置情報を本実施例ではどのように記述するかについて説明する。ここでは各視点の画像を取得する撮像部を、単純な透視投影カメラとして考える。座標系として、撮像部座標系、多視点撮像部座標系を考え、それらの関係から視点の配置を表現する。各座標軸の関係は右手系とする。

多視点撮像部座標系は、多視点撮像装置に対応する座標系であり、各撮像部の視点の位置と向きの基準となる。撮像部座標系は各撮像部に対応する座標系であり、そのｚ軸方向は各撮像部の光軸方向を、その原点は光学中心を表している。ｎ番目の撮像部の撮像部座標系の原点は、多視点撮像部座標系を用いてｔ_nと表す。また、ｎ番目の撮像部の撮像部座標系のｘ軸、ｙ軸、ｚ軸は、それぞれ多視点撮像部座標系の単位ベクトルを用いてｖ_xn、ｖ_yn、ｖ_znと表す。

本実施例では、各撮像部は多視点撮像部座標系でｚ成分が０となるような平面に近い位置に配置されており、各撮像部の光軸はほぼ多視点撮像部座標系のｚ軸方向を向いているものとする。以上の撮像部配置情報は設計値ないしはキャリブレーションによって算出され、あらかじめＲＯＭ２０２またはＲＡＭ２０３に格納されているものとする。

多視点撮像部座標系はリフォーカス処理によって再現する仮想的な撮像系の配置の基準ともなる。仮想的な撮像系は、仮想的な光学系に対して仮想的なイメージセンサと共役の関係になるような面、すなわち像側のピントが合っている面を用いて表現される。このような面を以降、仮想合焦面と呼ぶ。本実施例では仮想合焦面は、多視点撮像部座標系のｚ軸に垂直であるものとし、仮想合焦面の位置は多視点撮像部座標系の原点から仮想合焦面までの距離ｄを用いて表す。

仮想合焦面を表す情報は、ユーザーインターフェースを介してユーザーが入力するなどしたパラメータから算出され、予めＲＡＭ２０３に格納されているものとする。具体的な算出手法は、本技術分野で知られたいずれの方法も用いることができる。

なお、以上説明した撮像部の配置と仮想的な撮像系の表現は一例であり、各撮像部と多視点撮像装置、仮想的な撮像系の配置についての情報を示すことができるものであるならば、どのような表現でも構わない。

＜画像合成処理の概要＞
本実施例の特徴的な構成である画像処理部２１４で行う画像合成処理の概要について説明する。画像処理部２１４では、多視点撮像部２１３を用いて取得した同一シーンを異なる視点から撮像した画像を処理することで、所望の仮想的な撮像系で撮像したかのような画像を合成することができる。図９は、画像合成処理における被写体、撮像部、仮想的な撮像系の配置を説明するための図である。図９に示すシーン中にはそれぞれ多視点撮像部２１３からの距離の異なる被写体７０４、７０５および７０６が存在し、これを互いに異なる視点に存在する実在の撮像部７０１および７０２で撮像する。撮像部７０１および７０２は空間内の光線情報を画像として取得しており、これを用いて仮想的な撮像系７０３で撮像したかのような画像を合成する。仮想的な撮像系で撮像したかのような合成画像を以降、仮想視点画像と呼ぶ。

図１０を参照して、仮想視点画像の合成方法の概要について説明する。画像処理部２１４において合成する仮想的な撮像系は、有限の被写界深度を有する撮像系である。すなわち図１０に示す撮像系７０３おいて、自然光や照明などの光を被写体が反射した光線を、光学系８０４によって集光し、センサ８０５上に結像させ、サンプリングすることで画像が取得されるものとする。このような仮想的な撮像系によって取得した画像を合成するためには、撮像部７０１および７０２で取得した光線を用いて、光学系８０４による結像およびセンサ８０５によるサンプリングの過程を再現すればよい。センサ８０５上の画素８０７の画素値は、画素８０７に入射する光線を足し合わせることで得られる。光学系８０４を理想光学系とするならば、センサ８０５上の画素８０７に入射する光線は、センサ８０５の共役面である合焦面８０６上の画素８０７に対する共役点８０８を必ず通る。従って、合焦面上に撮像部７０１および７０２によって取得した画像を投影したものを、合焦面８０６とセンサ８０５との関係に従って仮想視点画像の座標に合わせて変形し、これを全視点に渡って加算することにより、仮想視点画像が得られる。なお、実際には画像の明るさを維持するために、単純な加算ではなく全視点で平均化を行う。

図１１は被写体７０４が存在する距離に、仮想的な撮像系の合焦面９０３を設定し、撮像部７０１および７０２で取得した図１２に示す画像９０１および９０２を投影して得られる画像を示す図である。被写体７０４は、撮像部７０１および７０２のどちらにおいても、同じ位置に投影されるようにするため、ピントのあった絵となる。一方で、被写体７０５および７０６は合焦面９０３上には無いため、投影位置がずれてぼけた絵となる。図１１においてぼけた様子は、被写体７０５および７０６を二重にして示す。これが有限の被写界深度の再現であり、合焦面にある被写体にピントを合わせ、それ以外の面にある被写体はぼけるように画像処理されることとなる。

以上の仮想視点画像の合成方法では、撮像部７０１および７０２の配置や向き、画角などのカメラパラメータが既知であることを前提とする。しかし、実際にはこれらのカメラパラメータが何らかの原因で変化してしまうと、図１４に示すように、与えられた値と実際の値との間にずれが生じ、図１３に示すように合焦面上に投影した際に全視点の画像が重なるべき被写体７０４もぼけた絵となってしまう。従って、補正処理によりこのボケを低減することが、必要である。

本実施例の補正処理の概要を、図１５を参照して説明する。本実施例では多視点画像から被写体の距離を算出する。撮像部７０１および７０２のそれぞれに対応する被写体距離情報に基づいて得られた画像データの模式図が画像１００１および１００２である。距離情報から合焦面上に被写体、本実施例では被写体７０４が存在する画像上の領域を抽出する。撮像部７０１および７０２のそれぞれに対応する抽出された領域のマスクの模式図がマスク１００３および１００４である（処理（１））。ここでは被写体７０４上に合焦面があるものとする。

図１４に示すような実際の撮像部７０１および７０２のそれぞれの画像９０１および９０２に上記で得られたマスク１００３および１００４を適用し、合焦領域を抽出したものが、画像１００５および１００６である（処理（２））。こうして得られた画像を、合焦面上に投影し、多視点画像上の座標に変換したものが、画像１００７および１００８である（処理（３））。これを重ね合わせると仮想視点画像１００９が得られる（処理（４））。そのままでは、カメラパラメータのずれによって、各視点間で画像がずれている。これが重なるよう、一方の視点の画像を基準として位置を合わせ、補正画像１０１０のような位置ずれを記述する補正パラメータを算出する（処理（５））。この補正パラメータを、仮想視点画像合成時に基準ではない方の撮像部で得られた画像に補正画像１０１１のように画像全体に適用することにより、合焦領域にボケのない画像が得られる（処理（６））。なお、ここでは説明のために撮像部を２つとしたが、撮像部の数はいくつであってもかまわない。

＜画像処理部の構成＞
図１６を参照して、画像処理部２１４の構成例を説明する。多視点画像取得部１１０１は、多視点撮像部２１３によって撮像された多視点画像データを、バス２１０を介して取得する。視点情報取得部１１０２は、設計値や校正値に基づき設定された多視点撮像部２１３を構成する各撮像部の配置や特性についての情報をバス２１０を介して取得する。仮想撮像系情報取得部１１０３は、予めユーザーによって設定されている仮想撮像系についての情報をバス２１０を介して取得する。

画素位置変換パラメータ算出部１１０４は、詳細は後述するが、各視点から撮像された画像上の画素が、画像合成部１１０８で生成する画像上の、どの位置に対応するかを表すパラメータを、視点情報と仮想撮像系情報とから算出する。距離算出部１１０５は、詳細は後述するが、多視点画像と視点情報とから各視点から撮像された画像上の画素毎に被写体距離を算出する。合焦領域抽出部１１０６は、詳細は後述するが、距離算出部１１０５が算出した被写体距離と、仮想撮像系情報取得部が取得した仮想撮像系情報とから、仮想撮像系において各視点から撮像された画像上で合焦する領域を特定する。特定した領域の画像データを、多視点画像を構成する各視点から撮像された画像データから抽出する。

位置合わせ部１１０７は、合焦領域抽出部１１０６が抽出した各視点から撮像された画像上での合焦領域を画素位置変換パラメータ算出部が算出したパラメータに基づいて仮想視点画像上に変換する。変換した画像のうち１つの視点の画像を基準として、詳細は後述するが、他の画像と重なるような変換を表す位置合わせパラメータを算出する。画像合成部１１０８は、画素位置変換パラメータに基づいて各視点の画像を仮想視点画像上に変換し、さらに位置合わせパラメータを適用して補正を行う。詳細は後述するが、そのようにして得られた画像を全視点にわたって重ね合わせ、仮想視点画像を合成する。画像出力部１１０９は、画像合成部１１０８で合成された画像の画像データをバッファ２１０に出力する。

図１７を参照して、画像合成処理の流れの一例を説明する。ステップＳ１２０１では多視点画像として複数の画像データを取得する。ステップＳ１２０２では多視点画像データを取得した各撮像部に関する情報を取得する。ステップＳ１２０３では、ユーザーによって設定された仮想撮像系に関する情報を取得する。ステップＳ１２０４では、詳細は後述するが、ステップＳ１２０２で取得した視点情報と、ステップＳ１２０３で取得した仮想撮像系情報とから、各視点から撮像された画像の画素が、仮想視点画像上のどの位置に対応するかを判定する。判定された対応関係に従って、各視点から撮像した画像を変換（合成変換）するための画素位置変換パラメータを算出する。

ステップＳ１２０５では、詳細は後述するが、ステップＳ１２０１で取得した多視点画像と、ステップＳ１２０２で取得した視点情報とから、各視点から撮像された画像上の画素毎に被写体距離を算出する。ステップＳ１２０６では、詳細は後述するが、ステップＳ１２０３で取得した仮想撮像系情報と、ステップＳ１２０５で算出した被写体距離とに基づき、各視点から撮像された画像上の仮想撮像系が合焦する領域を抽出する。ステップＳ１２０７では、詳細は後述するが、ステップＳ１２０４で算出した画素位置変換パラメータに基づいて、ステップＳ１２０６で抽出した合焦領域を仮想視点画像上に変換する。変換した画像のうち１つの視点から撮像された画像を基準画像として、他の画像と重なるように変換するための位置合わせパラメータを算出する。

ステップＳ１２０８では、詳細は後述するが、ステップＳ１２０４で算出した画素位置変換パラメータに基づいて各視点の画像を仮想視点画像上に変換し、さらにステップＳ１２０７で算出して位置合わせパラメータを適用して補正を行う。そのようにして得られた全撮像部が撮像した画像を重ね合わせ、仮想視点画像データを合成する。ステップＳ１２０９では、ステップＳ１２０８で合成した仮想視点画像データを出力する。

なお、本実施例では多視点画像から被写体距離を算出するものとしたが、別の算出した被写体距離を外部から取得する構成とすることもできる。

＜画素位置変換パラメータ算出方法＞
画像処理部２１４では多視点撮像部２１３で撮像した多視点画像を用いて、仮想的な撮像系で撮像したかのような画像を合成する仮想視点画像合成処理を行うが、この際に必要となる画素位置変換パラメータの算出方法を以下に説明する。一般に、多視点画像はシーンの光線情報を持つので、これを仮想的な光学系で結像させ、仮想的なイメージセンサで画像化する過程を再現すれば、仮想的な撮像系で撮像したかのような画像が得られる。この再現に、画素位置変換パラメータが必要となる。

結像光学系の性質から、像側のある点を通る光線は、物体側の共役点を必ず通る。従って、仮想光学系に対する仮想センサの物体側の共役面を考え、この共役面上の各点を通る光線を足し合わせることで、仮想的な撮像系で撮像したかのような画像が得られる。この共役面は、仮想的な撮像系の物体側のピントが合っている面であり、ここでは仮想合焦面と呼ぶ。仮想合焦面上で足し合わせられた光線をサンプリングして得られるものが合成画像である。画素位置変換パラメータは、多視点画像の各画像上の座標を、仮想視点画像上の座標に変換するためのパラメータである。

画素位置変換パラメータ算出方法の一例を示す。まず、ｎ番目の撮像部の横画角をθ_{x n}、縦画角をθ_{y n}、横画素数をｓ_{x n}、縦画素数をｓ_{y n}、横画素数をｓ_{x n}、縦画素数をｓ_{y n}、画像上の光学中心位置を（ｃ_{x n}，ｃ_{y n}）とし、内部パラメータ行列Ａ_nを式（１）のように表す。

同様に仮想視点画像合成処理によって再現する仮想撮像系の内部パラメータ行列Ａ_vを定義する。横画角をθ_{x n}、縦画角をθ_{y v}、横画素数をｓ_{x v}、縦画素数をｓ_{y v}、横画素数をｓ_{x v}、縦画素数をｓ_yv、画像上の光学中心位置を（ｃ_{x v}，ｃ_{y v}）とすると、内部パラメータ行列Ａ_vは式（２）のように表される。

また、図６の記法を用いて、各撮像部座標系から多視点撮像部座標系への４行４列の座標変換行列Ｍ_nは式（３）のように表す。

また、３行３列の回転行列Ｒ_nを式（４）のように表す。

あるカメラにおけるある画素の座標を（ｘ，ｙ）としたとき、式（５）のような（ｘ，ｙ）の斉次座標ｘ_hを用いると、対応する光線ｒは式（６）のように表される。

ここで、ｋ_(x,y)は光線の軌跡を表すパラメータである。光線と仮想合焦面の交点に対応するｋ_(x,y)と、多視点撮像部座標系の原点から仮想合焦面までの距離ｄ、仮想合焦面の法線単位ベクトルであるｚ軸方向単位ベクトルをｅ_zの関係は式（７）のようになる。

これを、１／ ｋ_(x,y) について解いたものは、式（８）に示すＢ_nを用いて、式（９）のようになる。

式（６）に式（９）を代入し、Ａ_vを左側から適用すると、光線と仮想合焦面の交点を合成画像上の座標に射影した点を表す斉次座標が得られる。斉次座標は定数倍しても同値であるので、式（６）の両辺をｋ_(x,y)で割ったものに、式（９）を代入し、Ａ_vを左側から作用させても、光線と仮想合焦面の交点を合成画像上の座標に射影した点を表す斉次座標ｘ’_hが式（１０）のように得られる。

λは不定性を表す係数であり、あるスカラーである。式（１０）は画像の射影変換に相当する。本実施形態では式（１１）のような射影変換行列Ｈ_nを全撮像部について計算して得た、行列の集まりを画素配置パラメータとして扱う。

なお、本実施形態の画素配置パラメータと、その算出方法とは一例であり、多視点撮像部によって得た画像上の座標と、合成画像上の座標との対応関係を規定するものならばどのようなものでもよい。

＜距離算出方法＞
距離算出部１１０５では多視点画像から各視点から撮像された画像上の画素毎に被写体距離を算出する。異なる複数の視点から撮像された画像を用いて距離を推定する方法は、非特許文献２のＣｈａｐｔｅｒ１１などで詳述されており、システムの構成に合わせた適切な方法を用いれば良い。一例として、ｖｉｒｔｕａｌ ｃａｍｅｒａを、被写体距離を算出したい視点そのものと同一に設定し、Ｐｌａｎｅ Ｓｗｅｅｐ法を行うなどの方法がある。なお、無限遠方にある被写体の距離を取り扱えるよう、実際に求めるのは距離の逆数などにするとよい。

＜合焦領域抽出方法＞
合焦領域抽出部１１０６では、距離算出部１１０５で算出した被写体距離と、仮想撮像系情報とを用いて、各視点から撮像された画像上において仮想撮像系が合焦する領域を抽出する。すなわち、仮想撮像系情報として与えられる仮想合焦面を各撮像部座標系に変換し、各視点から撮像された画像上の画素毎に仮想合焦面までの距離を求め、被写体距離と比較することで、その画素が仮想撮像系の合焦する領域に属するか否か判定する。

仮想合焦面上の点の斉次座標をＸ_vとすると、仮想合焦面に相当する平面の斉次座標Ｌ_vを用いて式（１４）のように平面を表すことができる。

ここで、仮想合焦面が図８を参照して説明したように、ｚ軸に垂直で原点からの距離がｄならば、ｌ₁＝０，ｌ₂＝０， ｌ₃＝１，ｌ₄＝−ｄとなる。Ｌ_vをｎ番目の撮像部の撮像部座標系での仮想合焦面の斉次座標Ｌ_nに変換すると、式（３）を用いて式（１５）のようになる。

ｎ番目の撮像部の画像上のある点の斉次座標をｘ_nとおくと、合焦面までの距離がｄ_nならば合焦面と該点を通る光線の交点の撮像部座標系での斉次座標Ｘ_nは、式（１６）のようになる。

平面の斉次座標と平面上の点の関係から式（１７）が成り立つ。

１／ｄ_nについて解くと、式（１８）のようになり、合焦面までの距離情報が得られる。

合焦領域の判定は、距離算出部１１０５で算出したｎ番目の撮像系の画像上の点ｘ_nに対応する被写体の距離をｄ’_n（ｘ_n）とすると、閾値εを用いて式（１９）に基づくマスクｍ_nの生成として処理される。

抽出した合焦領域は、データとしては、各視点の画像及びそれぞれに対応付けられた合焦領域判定マスクのセットという形態で取り扱う。

＜位置合わせ方法＞
位置合わせ部１１０７は、合焦領域抽出部１１０６が抽出した各視点となる撮像部の合焦領域を、画素位置変換パラメータ算出部１１０４が算出したパラメータに基づいて仮想視点画像上に変換する。変換した画像のうち１つの視点から撮像された画像を基準画像として、他の画像と重なるように変換するための位置合わせパラメータを算出する。

図１８を参照して、位置合わせパラメータの算出方法を説明する。ステップＳ１３０１では多視点画像を構成する各視点から撮像された画像データと、それに対応する合焦領域判定マスクを取得する。ステップＳ１３０２では各視点から撮像された画像を仮想視点画像上に変換する画素位置変換パラメータを取得する。ステップＳ１３０３ではステップＳ１３０１で取得した各視点から撮像された画像データとそれに対応する合焦領域判定マスクとを、ステップＳ１３０２で取得した画素位置変換パラメータを用いて仮想視点画像上に変換する。ステップＳ１３０４では位置合わせパラメータを算出するにあたっての基準となる画像を撮像した撮像部、すなわち基準の視点を選択する。

ステップＳ１３０５からステップＳ１３０７は繰り返し処理であり、補正対象となる画像を撮像した撮像部、すなわち補正対象の視点を変えながら複数回処理を行って、全撮像部について撮像された画像の補正を行う。ステップＳ１３０５では未処理の視点から補正対象の視点を選択する。ステップＳ１３０６では、ステップＳ１３０３で仮想視点画像上に変換した基準視点画像の合焦領域が、補正対象画像の合焦領域上に重なるよう位置合わせを行う。位置合わせの方法については後述するが、その結果を表すパラメータが位置合わせパラメータである。ステップＳ１３０７では全ての視点について処理を行ったか判定し、未処理の視点があればステップＳ１３０５に戻る。全ての視点について処理済みであれば、ステップＳ１３０８において位置合わせパラメータを出力する。なお、基準の視点の画像に対する位置合わせパラメータとして、位置を動かさないような変換を表すパラメータを出力する。

以上により算出された各撮像部が撮像した画像に対する位置合わせパラメータを用いて、位置合わせを実行する方法について説明する。ここで位置合わせの対象となっている画像の合焦領域に対応する被写体は、被写体側の空間において合焦面という単一の平面上に存在する。したがって、このような位置合わせは、射影変換やアフィン変換や２次の多項式変換などの単純な変形モデルにより可能である。モデルベースの位置合わせには、疎な対応点探索を行い、その結果からモデルのパラメータを算出する方法や、画像全体のずれをパラメトリックに記述し、画像間の輝度差が小さくなるよう最適化する方法などがある。

前者の疎な対応点探索は非特許文献２のＣｈａｐｔｅｒ４に詳しい。また、モデルのパラメータを算出する方法は非特許文献２のＣｈａｐｔｅｒ６に詳しい。これらの組み合わせで位置合わせを行う場合、本実施例では合焦領域判定マスクを用いて、非合焦領域を対応点探索の対象から除外する。

また、後者の画像間の輝度差が小さくなるよう最適化する方法は、非特許文献２のＣｈａｐｔｅｒ８で述べられているＰａｒａｍｅｔｅｒｉｃ ｍｏｔｉｏｎがある。この方法で位置合わせを行う場合、本実施例では合焦領域判定マスクを用いて非合焦領域を画像間の輝度差の算出の対象から除外する。

以下、疎な対応点探索として差分絶対値和もしくは差分二乗和を用いたブロックマッチングによってブロック毎の動きベクトルを求め、アフィン変換を用いて画面全体の変形を求める場合の例を説明する。

図２１は、位置合わせの方法の一例の処理を示すフローチャートである。ブロック毎の動きベクトルを求める際にその前処理としてステップＳ１６０１の合焦領域ブロック判定と、ステップＳ１６０２の有効ブロック判定とを行う。合焦領域ブロック判定は、動きベクトルを求めようとするブロックが合焦領域に含まれるか否かの判定であり、以降の処理では合焦領域に含まれるブロックのみを使用する。有効ブロック判定は、詳細は後述するが、正しい動きベクトルが求まらない可能性のあるブロックを除外する処理である。ステップＳ１６０３では、ブロックの動きベクトルを算出する。ここでは一般的なブロックマッチング方法について説明する。

ブロックマッチング法では、マッチングの評価値としてブロック内の画素間の差分二乗和もしくは差分絶対値和を用いる。ベクトルを求める対象ブロックを基準画像のサーチ範囲内で順次動かしなら評価値を求めていく。サーチ範囲内で求めた全ての評価値の中から最小の評価値もつ位置が対称ブロックと最も相関の高い位置であり、その移動量が動きベクトルとなる。サーチ範囲を１画素ずつ求めていく方法はフルサーチと呼ばれている。これに対し、サーチ範囲を間引きながら最小の評価値を求め、次にその近傍に対して細かくサーチする方法は、ステップサーチと呼ばれている。ステップサーチは高速に動きベクトルを求める方法としてよく知られている。次にステップＳ１６０５にて、有効動きベクトル判定を行う。これは、詳細は後述するが、求めた動きベクトルのうち、算出結果が正しくないと判断されるものを除外する処理である。ステップＳ１６０４で、終了判定を行い、すべてのブロックの処理が終わると、ステップＳ１６０６にて、有効な動きベクトルから、アフィンパラメータの算出を行う。

次に、アフィンパラメータ算出の詳細を説明する。対象ブロックの中心座標が、（ｘ，ｙ）であり、動きベクトルの算出結果から基準画像におけるブロックの中心座標が（ｘ’，ｙ’）に移動したとすると、これらの関係は、式（２０）のように表すことができる。

ここで、３×３の行列がアフィン変換行列である。行列の各要素がアフィンパラメータであり、ａ＝１，ｂ＝０，ｄ＝０，ｅ＝１のとき、この変換は平行移動となり、ｃが水平方向の移動量、ｆが垂直方向の移動量となる。また、回転角θでの回転移動は、ａ＝ｃｏｓθ，ｂ＝−ｓｉｎθ，ｄ＝ｓｉｎθ，ｅ＝ｃｏｓθで表すことができる。式（２０）は一般化した行列の形式で式（２１）のように表現することができる。

ここでｘとｘ’は１×３の行列、Ａは３×３の行列である。有効な動きベクトルがｎ個であった場合、対象画像の座標値は、式（２２）のようにｎ×３の行列で表現できる。

同様に、移動後の座標値も式（２３）のようにｎ×３の行列で表現できる。

よって、ｎ個の動きベクトルに対しては、式（２４）のような表現となる。

すなわち、式（２４）におけるアフィン行列Ａを求めれば、それが画面全体の位置ずれ量になる。アフィン行列を、ｎ個の動きベクトルについての対象画像の座標値と移動後の座標値の誤差の最小二乗解として算出すると、式（２５）のように求まる。

ここで、有効ブロック判定方法を、図２２のフローチャートを参照して説明する。ブロックマッチングによりブロック間の相関を求めようとする場合、ブロック内の画像が何らかの特徴量を持っている必要がある。平坦でほとんど直流成分しか含んでいないブロックでは、正しい動きベクトルを求めることはできない。逆に水平方向や垂直方向にエッジを含んでいると、マッチングがとりやすくなると考えられる。図１７に示すフローチャートの判定処理は、このような平坦部のブロックを除外する一手法である。ここでは１つのブロックに対する処理で説明する。

まずステップＳ１７０１で、ブロック内にある水平方向の１つのラインに対し、最大値と最小値の差分値を算出する。例えば、ブロックのサイズが５０×５０の画素で構成されているとすると、ブロック内における水平方向の５０の画素から最大値と最小値を求め、その差分値を算出する。これを水平ライン数分、すなわち５０回繰り返す。そして、ステップＳ１７０３で５０の差分値の中から最大の差分値を求める。ステップＳ１７０４で、あらかじめ設定したＴｘと最大差分値の比較を行う。

最大差分値が閾値Ｔｘよりも小さければ、水平方向には特徴量を持たないブロックであるとみなし、ステップＳ１７０５にて、無効ブロックとする。水平方向に特徴量を持つとみなせる場合は、垂直方向で同様の検証を行う。まず、ステップＳ１７０６で、ブロック内にある垂直方向の１つのラインに対し、最大値と最小値の差分値を算出する。つまりブロック内における垂直方向の５０の画素から最大値と最小値を求め、その差分値を算出する。これを垂直ライン数分、すなわち５０回繰り返す。そして、ステップＳ１７０８で５０の差分値の中から最大の差分値を求める。ステップＳ１７０９で、あらかじめ設定したＴｙと最大差分値の比較を行う。最大差分値が閾値Ｔｙよりも小さければ、垂直方向には特徴量を持たないブロックであるとみなし、ステップＳ１７０５にて、無効ブロックとする。水平・垂直両方向に特徴を持つブロックならば、正確なブロックマッチングが行われることが期待できるので、ステップＳ１７１０にて、有効ブロックと判定する。

次に、有効動きベクトル判定方法を、図２３のフローチャートを参照して説明する。まずは、ステップＳ１８０１にて動きベクトルを入力し、ステップＳ１８０２にて、その発生頻度を算出する。ステップＳ１８０３にて、全ての動きベクトルの発生頻度が求まるまでこの処理を繰り返し、終了するとステップＳ１８０４にて、最大発生頻度の動きベクトルを求める。次に、ステップＳ１８０５にて、再度、動きベクトルを入力し、ステップＳ１８０６で、この動きベクトルが最大発生頻度の動きベクトル、もしくはその近傍の動きベクトルであるかどうかの判定を行う。

カメラ姿勢の誤差などに起因して位置ずれが生じている場合、一般に位置ずれは単純なモデルで表す事が出来るので、最大発生頻度の動きベクトルの近傍に多くの動きベクトルが発生すると考えられる。したがって、これらの値に含まれる動きベクトルは、ステップＳ１８０７にて、有効動きベクトルと判定し、これらの値から外れている動きベクトルは、ステップＳ１８０８にて無効動きベクトルと判定する。ステップＳ１８０９では、すべての動きベクトルに対して処理が終わったかどうかの判定を行い、終了までステップＳ１０１０からの処理を繰り返す。

＜仮想視点画像合成方法＞
画像合成部１１０８は、上述したように画素位置変換パラメータに基づいて各視点の位置に配置された撮像部により撮像された画像を仮想視点画像上に変換する。このようにして変換された画像データに、さらに位置合わせパラメータを作用させて補正を行って得られた画像データを、全視点にわたって重ね合わせることで仮想視点画像データを合成する。

ｎ番目の撮像部の画像上の座標から仮想視点画像上の座標への変換は式（１１）で記述される射影変換行列Ｈ_nを用いて表される。また、位置合わせ部１１０７で算出した、位置合わせによる補正後の仮想視点画像上の座標からｎ番目の撮像部に対応する位置合わせによる補正前の仮想視点画像上の座標への変換を、射影変換行列Ｃ_nを用いて表す。したがって、仮想視点画像上の座標からｎ番目の撮像部の画像上の座標への変換Ｈ’_n ^-1は式（２６）のようになる。

Ｈ’_n ^-1を用いて仮想視点画像上の各画素に対応する各撮像部により撮像された画像上の画素を特定し、バイリニアやバイキュービックなどの補間によって画素値を算出することにより、各撮像部により撮像された画像を仮想視点画像上に変換した画像が得られる。それらを全視点にわたって足し合わせて平均化することで仮想視点画像が得られる。なお、ここでは位置合わせパラメータを、射影変換行列を用いて記述するものとしたが、並進変換、アフィン変換、高次の多項式変換などどのようなモデルを用いても構わない。

以上、本実施例によれば、多視点画像から有限な被写界深度を有する仮想視点画像を合成する際に、与えられたカメラパラメータに実際の値との間でずれがあった場合でも、合焦領域のぼけを低減しながら合成が可能となる。

［実施例２］
実施例１では位置合わせ部１１０７において単一の変形モデルを用い、異なる視点から撮像された画像上の合焦領域が、仮想視点画像上で重なるように位置合わせを行うことで、位置合わせパラメータを算出した。しかし、合焦領域が画像上の極めて狭い領域に分布していた場合、モデルのパラメータの推定が不安定になり、特に画像上の合焦領域が存在する位置から離れた位置にある画素が、補正によって意図しない位置に変換されてしまう現象が起こり得る。そこで、本実施例２では合焦領域の画像上での分布に従って、位置合わせ部１１０７で用いる変形モデルを切り替えることにより柔軟な補正を可能とする。すなわち、狭い範囲に合焦点領域が分布している場合には安定性を重視した変形モデルを用い、広い範囲に合焦点領域が分布している場合にはより高い補正精度を期待できる変形モデルを採用し、いずれの場合にも適切な補正を可能にする。

図１９は本実施例の画像処理部２１４の構成例を表すブロック図である。本実施例の構成は、実施例１の画像処理部に対して、位置合わせ方法選択部１４０１を加えた構成となっている。位置合わせ方法選択部１４０１は、詳細は後述するが、合焦領域抽出部１１０６が抽出した、合焦領域の画像上での分布に従い、位置合わせ部１１０７で用いる変形モデルを選択する。

図２０は、本実施例における画像合成処理の手順を示すフローチャートである。このフローチャートは、図１７に示す実施例１のフローチャートに対してステップＳ１５０１を加えられている。ステップＳ１５０１ではステップＳ１２０６で抽出した合焦領域の画像上での分布に従い、ステップＳ１２０７で位置合わせに用いる変形モデルを選択する。

＜位置合わせ方法選択方法＞
位置合わせ方法選択部１４０１で行う、位置合わせの変形モデルの選択方法について説明する。一般に、位置合わせに用いる変形のモデルは、自由度が高いほど不安定であるが複雑なずれに対応でき、自由度が低いほど安定であるが単純なずれにしか対応できない。

並進変換の自由度は２、アフィン変換の自由度は６および射影変換の自由度は８であり、順に自由度が高くなる。本実施例では、この３つの変形モデルから選択を行うものとして説明する。なお、本実施例で用いる変形モデルは一例であり、変形モデルとしてはどのような変換を用いても構わない。

変形モデルは、合焦領域抽出部１１０６が抽出した合焦領域の分布に従って選択する。合焦領域抽出部１１０６が合焦領域の抽出結果として、合焦領域判定マスクｍ（ｘ，ｙ）を出力するものとする。ここでｘ，ｙは撮像部の画像上の座標である。ｍ（ｘ，ｙ）は合焦領域と判定された画素では１の値を持ち、それ以外の画素では０となっている。一般に、変形モデルの判定には１つの視点から撮像した画像の合焦領域抽出結果があれば良い。ここでは、位置合わせ部１１０７で基準視点として選択する視点を用いるものとする。合焦領域判定マスクｍ（ｘ，ｙ）を用いて、合焦領域の散らばりｐは式（２７）で算出できる。

ここで、Ｓ_x、Ｓ_yは撮像部の画像上のそれぞれｘ方向、ｙ方向の画素数であり、ｗ_x、ｗ_yはそれぞれ合焦領域の重心のｘ座標とｙ座標である。合焦領域の散らばりｐに対して閾値ε１、ε２を設定し、ｐ＜ε１ならば並進変換を、ε１≦ｐ＜ε２ならばアフィン変換を、ε２≦ｐならば射影変換を変形モデルとして選択するなどして切り替えを行う。

以上、本実施例によれば、多視点画像から有限な被写界深度を有する仮想視点画像を合成する際に、与えられたカメラパラメータに実際の値との間でずれがあった場合にも安定した処理で合焦領域のぼけを低減しながら合成が可能となる。

［その他の実施例］
実施例１及び実施例２においては、単一の視点を持つ撮像部を複数用いて多視点撮像部を構成する場合について説明した。しかしながら、撮像部が図４に示す単一の撮像素子４０７を複数の領域に分割し、その分割した領域に対応する光学系を設ける構成を採用してもよい。また、そのような撮像部を複数用いてもよい。

また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。

Claims (9)

1. 予め設定された異なる視点から撮像された複数の画像データの各々を、当該撮像された視点の位置に基づき合成変換して、仮想的に設定した視点から撮像した仮想視点画像として合成画像データを生成する画像合成手段と、
   前記合成画像データにおけるピントを合わせる領域に対応する領域を、前記複数の画像データの各々から抽出する合焦領域抽出手段と、
   前記複数の画像データの各々の領域の画素値の差が小さくなるよう前記画像データを変換し、前記予め設定された視点の位置に基づき合成変換された画像データとの差を算出する位置合わせ手段と
   を備え、
   前記算出された差を用い、前記複数の画像データの各々の合成変換された画像データの全体を変換して合成画像データを生成することを特徴とする画像処理装置。
2. 前記画像データの全体の変換は、画像データの射影変換もしくは多項式変換によって行われることを特徴とする請求項１記載の画像処理装置。
3. 前記画像データの全体の変換の方法は、前記合焦領域抽出手段が抽出した領域の形状によって異なることを特徴とする請求項１または２記載の画像処理装置。
4. 前記複数の画像データは、１つの撮像装置の配置を変えながら撮像した複数の画像データ、または配置の異なる複数の撮像部を備える多視点撮像装置で撮像した複数の画像データであることを特徴とする請求項１ないし３のいずれか１項記載の画像処理装置。
5. 予め設定された異なる視点から撮像された複数の画像データの各々を、当該撮像された視点の位置に基づき合成変換して、仮想的に設定した視点から撮像した仮想視点画像として合成画像データを生成する画像合成手ステップと、
   前記合成画像データにおけるピントを合わせる領域に対応する領域を、前記複数の画像データの各々から抽出する合焦領域抽出ステップと、
   前記複数の画像データの各々の領域の画素値の差が小さくなるよう前記画像データを変換し、前記予め設定された視点の位置に基づき合成変換された画像データとの差を算出する位置合わせステップとを
   備え、
   前記算出された差を用い、前記複数の画像データの各々の合成変換された画像データの全体を変換して合成画像データを生成することを特徴とする画像処理方法。
6. 前記画像データの全体の変換、画像データの射影変換もしくは多項式変換によって行われることを特徴とする請求項５記載の画像処理方法。
7. 前記画像データの全体の変換の方法は、
   前記合焦領域抽出手段が抽出した領域の形状によって異なることを特徴とする請求項５または６記載の画像処理方法。
8. 前記複数の画像データは、
   １つの撮像装置の配置を変えながら撮像した複数の画像データ、または
   配置の異なる複数の撮像部を備える多視点撮像装置で撮像した複数の画像データであることを特徴とする請求項５ないし７のいずれか１項記載の画像処理方法。
9. コンピュータを請求項１ないし４のいずれか１項記載の画像処理装置として機能させるためのプログラム。

Images