JP6702755B2 - 画像処理装置、撮像装置、画像処理方法、プログラム - Google Patents

Description

本発明は、３次元再構成技術による任意の視点位置での画像生成処理に関するものである。

従来、３次元再構成技術として、撮影時における複数の視点での画像から３次元データを再構成した後、３次元データに基づいて別の視点から撮影したかの様な画像を生成する技術がある。撮像後に設定される視点（以下、任意視点という）は、例えばユーザが任意に選択可能である。特許文献１に開示された技術では、複数の視点での画像から任意視点での画像を作成する際に、対象画像と時系列的に近い画像間の特徴量が算出される。特徴量の信頼度が低い場合、時系列前後の画像に基づいて３次元データを再構成する事で、精度の良い３次元データが作成可能である。

特開２００９−２１２７２８号公報 特開２０１３―２３９１１９号公報 特開２０１２−２２１１２８号公報

任意の視点位置での画像生成処理において、複数の視点による画像間で相関が取れない領域は、視点を変える事により隠れてしまう領域（被写体による遮蔽領域）、つまりオクルージョン領域である可能性がある。その為、時系列前後の画像情報から３次元データに再構成する場合、オクルージョン領域の変化量が画像間で小さいと、マッピング精度の向上に問題がある。また、全ての画像を一度３次元データにマッピングする一斉処理を行った上で任意視点での画像の生成が行われることが前提となる。この場合、一度に処理するデータ量が多くなってしまうという問題があった。
本発明の目的は、複数の画像データから任意の視点位置での画像を生成する逐次処理を可能にした画像処理装置、撮像装置、画像処理方法、プログラムを提供することである。

本発明に係る装置は、複数の画像データを取得する画像取得手段と、前記画像取得手段から取得される画像データの奥行き方向の距離情報を取得する距離情報取得手段と、前記画像取得手段から取得される画像データに、座標変換により画像の変形処理を行う画像変形手段と、前記距離情報取得手段により取得された距離情報に、前記画像データに行う座標変換に対応する座標変換により変形処理を行う距離情報変形手段と、前記距離情報変形手段により変形処理された複数の距離情報を合成する距離情報合成手段と、前記距離情報合成手段が出力する距離情報を記録する距離情報記録手段と、前記距離情報変形手段により変形処理された距離情報および前記距離情報記録手段に記録された距離情報に基づいて合成用の情報を生成する合成情報生成手段と、前記合成用の情報に基づいて前記画像変形手段により変形処理された複数の画像を合成することで任意視点画像を生成する画像合成手段と、を備える。

本発明によれば、複数の画像データから任意の視点位置での画像を生成する逐次処理を可能にした画像処理装置、撮像装置、画像処理方法、プログラムを提供することができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 第１実施形態に係る画像処理部１０４の構成例を示すブロック図である。 図２のαＭＡＰ生成部２０８内の構成例を示すブロック図である。 第１実施形態における画像処理の流れを示すフローチャートである。 図２のαＭＡＰ生成部２０８による処理例を示すフローチャートである。 第２実施形態に係る画像処理部６０４の構成例を示すブロック図である。 図６のαＭＡＰ生成部７１０の構成例を示すブロック図である。 第２実施形態における画像処理の流れを示すフローチャートである。 図６のαＭＡＰ生成部７１０による処理例を示すフローチャートである。 撮影画像と任意視点画像の関係を説明する図である。 各撮影位置での撮影画像と距離ＭＡＰを説明する図である。 各撮影位置での撮影画像と任意視点画像を例示する図である。 各撮影位置での距離ＭＡＰと任意視点距離ＭＡＰを例示する図である。 撮影１と撮影２との合成処理を説明する図である。 撮影１および撮影２の合成結果と撮影３との合成処理を説明する図である。 画像における２次元座標と実空間における３次元座標との関係を説明する模式図である。 第２実施形態に係る信頼度ＭＡＰに関する説明図である。

以下に、本発明の各実施形態を、添付図面に基づいて詳細に説明する。各実施形態では、視点位置を変更して撮影された画像から、任意視点の位置（以下、任意視点位置という）における画像を生成する処理が行われる。撮影画像が順次に入力される毎に前記処理が実行されて任意視点位置における画像データが更新されていく。以降の説明では、任意視点位置における画像を「任意視点画像」と称する。被写体については、撮像装置に近づく側を手前側と定義して位置関係を説明する。

［第１実施形態］
以下に、本発明の第１実施形態に係る画像処理装置を説明する。まず、本実施形態における画像処理の概要を説明すると、任意視点画像を生成する為に、視点位置を変えて撮影した画像に対し、視点を変更する為の画像の変形処理が行われるとともに、距離ＭＡＰに対する変形処理が実行される。距離ＭＡＰとは、各画素位置における被写体の撮影距離、すなわち距離分布を示す距離情報のことである。ここで、距離ＭＡＰとしては、距離分布に対応する、画像内の被写体間の距離の相対関係が判ればよい。例えば、対となる視差画像から得られる、視差画像間の像ずれ量の分布情報や、像ずれ量をデフォーカス量に換算したデフォーカス量の分布情報などの形態でも構わない。
本実施形態では、距離ＭＡＰに対しても視点変更の為の変形処理を行う点が特徴である。変形処理の後、視点の変更された距離ＭＡＰに基づいて合成用マップ（後述するαＭＡＰ）が生成される。合成用マップを用いて、視点変更後の複数の画像を合成する事により、任意視点画像のデータを更新する処理が逐次に実行される。以下、本実施形態について順を追って説明する。

図１は、本実施形態に係る画像処理装置を撮像装置に適用した場合の構成例を示したブロック図である。
光学系１０１は、ズームレンズやフォーカスレンズ等から構成されるレンズ群と、絞り調整装置、およびシャッター装置を備える。光学系１０１は、撮像素子１０２の受光面に結像される被写体像の倍率やピント位置、あるいは光量を調整する。撮像素子１０２は、光学系１０１を通過した被写体からの光束を光電変換して電気信号に変換する。撮像素子１０２はＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）を用いたイメージセンサ等の光電変換素子である。本実施形態では、撮像素子１０２の各画素は、ＲＧＢの色フィルタを有するＢａｙｅｒ配列で構成されており、各画素は１つのマイクロレンズに対して少なくとも２つの光電変換素子が対応する瞳分割型センサとなっている。しかし、撮像素子の形態としてはこれに限らない。Ａ（Ａｎａｌｏｇ）／Ｄ（Ｄｉｇｉｔａｌ）変換部１０３は撮像素子１０２の出力信号を取得し、映像信号をデジタル画像信号に変換する。

画像処理部１０４はＡ／Ｄ変換部１０３からの出力に対して公知の信号処理を行う他、入力された複数枚の画像から任意視点画像を生成する処理を行う。画像処理部１０４が行う処理については、後で詳細に説明する。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像データのみならず、記録部１０９から読み出された画像データに対しても画像処理を行う。駆動制御部１０５は、絞り値、感度、焦点距離、焦点位置の調整や、手振れ補正（像ブレ補正）を行う為に光学系１０１と撮像素子１０２の駆動制御を行う。

システム制御部１０６はＣＰＵ（中央演算処理装置）等を備え、撮像装置全体の動作を制御して統括する制御中枢部である。システム制御部１０６は、画像処理部１０４が処理した画像から得られる輝度値や、操作部１０７から送信される指示信号に基づいて、駆動制御信号を駆動制御部１０５に出力し、光学系１０１や撮像素子１０２の制御等を行う。

表示部１０８は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を備える。表示部１０８は、撮像素子１０２により取得される画像データや、記録部１０９から読み出された画像データにしたがって画像を表示する。画像データの記録機能を有する記録部１０９は情報記録媒体を備える。例えば、半導体メモリが搭載されたメモリカードや、光磁気ディスク等の回転記録体を収容したパッケージ等を用いる情報記録媒体が使用され、情報記録媒体は撮像装置に対して着脱可能である。
バス１１０は、画像処理部１０４、駆動制御部１０５、システム制御部１０６、表示部１０８、および記録部１０９を接続し、各部の間で画像データや信号等を送受するために用いられる。

次に、図２を参照して、画像処理部１０４内にて本実施形態に関わる構成について詳細に説明する。図２は画像処理部１０４内の一部を示したブロック図である。
画像取得部２０１はＡ／Ｄ変換部１０３から出力される画像データを逐次取得し、画像現像部２０２および距離ＭＡＰ生成部２０３にそれぞれ出力する。画像現像部２０２は現像処理を行った画像データを画像変形部２０４に出力する。画像記録部２０６は、任意視点画像のデータを記録し、画像合成部２０９は画像変形部２０４および画像記録部２０６から画像データを取得し、画像合成後の画像データを出力する。

距離ＭＡＰ生成部２０３は画像データに関する奥行き方向の距離情報として距離マップ（距離ＭＡＰとも記す）のデータを生成し、距離ＭＡＰ変形部２０５に出力する。距離ＭＡＰの生成処理では、撮像素子１０２より取得される撮像光学系の異なる瞳領域に対応する対をなす画像データに対して、相関演算を用いた公知の方法により距離情報が生成される。しかしこれに限らず、複数の撮像手段から得られる視差のある対の画像データから距離情報を取得する方法や、ピント位置の異なる画像データからＳＡＤなどの相関演算を用いてＤＦＤ法により距離情報を生成しても良い（特許文献２参照）。ＳＡＤは“Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ”の略号であり、ＤＦＤは“Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ”の略号である。距離ＭＡＰ変形部２０５は、任意視点位置での距離ＭＡＰの情報を生成し、距離ＭＡＰ合成部２１０に出力する。距離ＭＡＰ記録部２０７は、距離ＭＡＰ変形部２０５により変形処理された情報を記録する。距離ＭＡＰ記録部２０７から読み出された情報は、αＭＡＰ生成部２０８と距離ＭＡＰ合成部２１０にそれぞれ出力される。αＭＡＰ生成部２０８は、後述するように合成用のαマップ情報（αＭＡＰとも記す）を生成して、画像合成部２０９と距離ＭＡＰ合成部２１０に出力する。

図４のフローチャートを参照して、図２に示す画像処理部１０４の動作を説明する。以下の処理は、システム制御部１０６による制御指令にしたがって実行される。
撮影動作が開始するとＳ４０１で画像処理部１０４は、逐次処理で用いる変数（ｋと記す）の値を１に初期化する。Ｓ４０２で画像取得部２０１は、ｋ番目の撮影画像のデータ入力処理を行う。Ｓ４０３で距離ＭＡＰ生成部２０３は、Ｓ４０２で入力されたｋ番目の撮像画像に対応するｋ番目の距離ＭＡＰを生成する。本実施形態では、前述したように撮像素子１０２から得られるｋ番目の撮影画像に対応する対をなす視差画像データを用いて距離ＭＡＰを生成する。このとき、撮像素子１０２やその後の処理回路に起因するノイズや信号の減衰などを補正する補正処理が行われたRGBの色信号または輝度信号の状態の視差画像データを用いて距離MAPが生成される。Ｓ４０４で画像現像部２０２は、Ｓ４０２で入力されたｋ番目の画像データを現像処理し、画像出力装置に合わせて視認性の良い画像データに変換する。現像処理とは、シェーディング補正処理、撮像信号の補正処理、ホワイトバランス補正処理、ノイズ低減処理、エッジ強調処理、色マトリクス処理、ガンマ補正処理等の少なくとも一部を含む処理である。なお、Ｓ４０５以降の処理で扱うｋ番目の画像は、Ｓ４０４で現像処理が施された画像を指す。

Ｓ４０５で画像変形部２０４は、Ｓ４０３で生成されたｋ番目の距離ＭＡＰの情報を用いて、Ｓ４０４で現像されたｋ番目の画像の変形処理を行う。画像変形処理により、ｋ番目の任意視点画像のデータが生成される。任意視点画像の生成処理の詳細については後述する。Ｓ４０６で距離ＭＡＰ変形部２０５は、Ｓ４０３で生成されたｋ番目の距離ＭＡＰの情報を入力として、ｋ番目の任意視点位置での距離ＭＡＰの情報を生成する。任意視点位置での距離ＭＡＰを、以下では「任意視点距離ＭＡＰ」と称する。任意視点距離ＭＡＰの生成処理については後で詳細に説明する。

Ｓ４０７でαＭＡＰ生成部２０８は、１番目から“ｋ−１”番目まで処理されて距離ＭＡＰ記録部２０７に記録されている、任意視点距離ＭＡＰの情報を読み込む。Ｓ４０８でαＭＡＰ生成部２０８は、ｋ番目の任意視点距離ＭＡＰの情報と、距離ＭＡＰ記録部２０７に記録されている任意視点距離ＭＡＰの情報を入力として、合成用のαＭＡＰの情報を生成する。Ｓ４０８で生成されたαＭＡＰの情報は、後述のＳ４１０とＳ４１１で使用される。合成用のαＭＡＰの生成処理については後で詳細に説明する。

Ｓ４０９では、１番目から“ｋ−１”番目まで処理されて画像記録部２０６に記録されている、任意視点画像のデータを画像合成部２０９が読み込む。Ｓ４１０で画像合成部２０９は、ｋ番目の任意視点画像のデータを画像変形部２０４から取得し、画像記録部２０６に記録されている任意視点画像のデータを取得する。画像合成部２０９は、取得した画像データを、Ｓ４０８で生成されたαマップの情報に基づいて合成する。ここで画像に設定される２次元座標系において、ある点の位置座標（ｘ，ｙ）でのαマップ値をα（ｘ，ｙ）と記す。ｋ番目の任意視点画像の画素値をｐｉｘ＿ｋ（ｘ，ｙ）と記し、画像記録部２０６に記録されている任意視点画像の画素値をｐｉｘ＿ｍ（ｘ，ｙ）と記す。合成後の任意視点画像の画素値をｐｉｘ（ｘ，ｙ）と記すと、これは（式１）の様に算出される。
本実施形態では、α（ｘ，ｙ）の値を２値（０または１）とするが、必要に応じて０以上１以下の値をとる多値論理を採用してもよい。このことは以下の距離ＭＡＰ合成の演算でも同様である。

Ｓ４１１において、距離情報合成部である距離ＭＡＰ合成部２１０は、ｋ番目の任意視点距離ＭＡＰの情報を距離ＭＡＰ変形部２０５から取得し、距離ＭＡＰ記録部２０７に記録されている任意視点距離ＭＡＰの情報を取得する。これらの任意視点距離ＭＡＰに対し、距離ＭＡＰ合成部２１０は、Ｓ４０８で生成されたαマップの情報に基づいて距離情報合成処理を行う。画像に設定された２次元座標系において、ある座標（ｘ，ｙ）での、ｋ番目の任意視点距離ＭＡＰの値をＺ＿ｋ（ｘ，ｙ）と記し、距離ＭＡＰ記録部２０７に記録されている任意視点距離ＭＡＰの値をＺ＿ｍ （ｘ，ｙ）と記す。合成後の距離ＭＡＰの値をＺ （ｘ，ｙ）と記すと、αマップ値であるα（ｘ，ｙ）を用いてＺ （ｘ，ｙ）は（式２）の様に算出される。

Ｓ４１２で画像合成部２０９は、Ｓ４１０で合成した任意視点画像のデータを画像記録部２０６に出力し、任意視点画像のデータを更新する。Ｓ４１３で距離ＭＡＰ合成部２１０は、Ｓ４１１で合成した任意視点距離ＭＡＰを距離ＭＡＰ記録部２０７に出力し、記録されている任意視点距離ＭＡＰを更新する。Ｓ４１４は、撮像装置による撮影が終了したか否かの判断処理である。つまり画像処理部１０４は、次の“ｋ＋１”番目の画像が入力されるか否かを判断する。撮像装置による撮影が終了し、“ｋ＋１”番目の画像データが入力されない場合、Ｓ４１５に処理を進める。また、撮像装置による撮影が終了せず、“ｋ＋１”番目の画像データが入力される場合には、Ｓ４１６へ移行する。

Ｓ４１５で画像処理部１０４は、現時点までに処理したｋ枚の画像のデータから作成された任意視点画像のデータを、出力画像データとして出力して一連の処理を終了する。画像処理部１０４から出力された任意視点画像データは符号化され、対応する距離MAPを含めて同一画像ファイルに記録される。あるいは出力された任意視点画像データは、対応する距離MAPと関連付けられて別ファイルにてそれぞれ記録される。一方、Ｓ４１６では、“ｋ＋１”番目の画像データが入力されて変数ｋ値のインクリメント（ｋ＋＋）処理が実行される。つまり、変数ｋ がｋ＋１として更新された後、Ｓ４０２の処理へ戻る。
なお、本実施形態では、ｋ番目の画像データの処理が行われて、撮影が終了するまでの間に作成された任意視点画像のデータを出力しない例を説明した。このような例に限らず、逐次に作成される任意視点画像のデータを、画像処理部１０４の出力画像データとして出力してもよい。このことは、後述する実施形態でも同じである。

次に、図４のＳ４０５で説明した任意視点画像の生成処理について詳細に説明する。図１０は、撮影画像と任意視点画像との関係を例示する。図１０（Ａ）に示すように撮影位置１１０１から１１０３に関し、被写体として、人物と、その奥の木ＡからＣと、さらに奥に建物があるシーンを想定する。任意視点位置を位置１１０４に示す。図１０（Ｂ）は、撮影位置１１０１にて、建物と木、人物を被写体として撮影された撮影画像１１１１を示す。図１０（Ｃ）は任意視点位置１１０４における任意視点画像１１１４を示す。

図１０（Ｂ）に示す撮影画像１１１１に対応する撮影位置を実空間で表すと、図１０（Ａ）の撮影位置１１０１である。撮影位置１１０１で撮影された画像に基づいて任意視点位置１１０４で撮影したかの如き画像を任意視点画像１１１４として作成する場合を想定する。この場合、撮影位置１１０１で撮影した画像の情報のみでは、任意視点画像の生成に必要な被写体情報が不足する。つまり撮影位置１１０１だけでなく、撮影位置１１０２および撮影位置１１０３を含めた、複数の位置から撮影した画像の情報を入力として、任意視点画像を作成する必要がある。以下では、撮影位置１１０１での撮影を「撮影１」とし、撮影位置１１０２での撮影を「撮影２」とし、撮影位置１１０３での撮影を「撮影３」とする。本実施形態では、３枚の画像に基づいて任意視点画像を生成する処理例を説明する。

図１１を参照して、撮影画像から任意視点画像を作成する処理について説明する。図１１（Ａ）は、撮影１から撮影３のそれぞれの撮影位置にて得られる撮影画像を表した図である。図１１（Ｂ）は、任意視点画像を表した図である。撮影１、撮影２、撮影３の各撮影位置にて撮影される画像から、任意視点画像の位置に対応させる様に画像変形を行う必要がある。撮影画像を任意視点位置での画像に変形する為には、図１１（Ｃ）に示す撮影１から撮影３での各距離ＭＡＰが必要となる。すなわち、撮影画像の各画素に結像する被写体の撮影距離を表した距離ＭＡＰがそれぞれの撮影１から撮影３において必要である。

複数の撮影画像に基づいて、任意視点位置での画像に変形する処理では、まず、撮影画像の座標（ｘ，ｙ）を実空間座標（Ｘ，Ｙ，Ｚ）に変換する処理が行われる。座標（ｘ，ｙ）は２次元直交座標を表し、実空間座標（Ｘ，Ｙ，Ｚ）は３次元直交座標を表す。撮影画像の位置座標を（ｘ，ｙ）とし、位置座標（ｘ，ｙ）に対応する距離ＭＡＰの距離値をＺと記すと、実空間座標（Ｘ，Ｙ，Ｚ）は下記の（式３）で表される。“ｐｐ”は撮影画像の画素ピッチを表し、“ｆ”は撮影時の焦点距離を表す。なお、位置座標（ｘ，ｙ）は、画像中心を原点（０，０）として示した座標である。

図１６を参照して、（式３）の演算処理について説明する。図１６（Ａ）は、撮影画像上の座標（ｘ，ｙ）と実空間上の座標（Ｘ，Ｙ，Ｚ）との対応関係を示した図である。撮影画像である投影面１５０１を線分で示す。（式３）は、図１６（Ａ）で示した三角形の相似関係に基づいて算出される。（式３）と同じ変数を用いて、三角形の相似関係を下記の（式４）の様に表す事ができる。
θは頂点を同じくする相似三角形同士の頂角を表す。図１６（Ａ）では、撮影画像である投影面１５０１をカメラ側に示すが、図１６（Ｂ）では、撮影画像である投影面１５０２が実空間側（カメラの前側）にある場合を示す。この場合にも考え方は前記と同じである。以降、前記（式３）による座標変換処理を「逆投影変換処理」と称する。しかし、本実施形態に適用可能な逆投影変換処理としては、上記に限らない。

次に、実空間座標（Ｘ，Ｙ，Ｚ）を、任意視点位置からの実空間座標（Ｘ^＊，Ｙ^＊，Ｚ^＊）に変換する処理が実行される。具体的には撮影位置から任意視点位置までのｘ，ｙ，ｚ軸を中心とした回転成分と、ｘ，ｙ，ｚ方向のシフト成分を加味して座標変換が行われる。ｘ，ｙ，ｚ軸を中心とした回転成分による行列要素をｒ_１１からｒ_３３と記す。回転前のｘ，ｙ，ｚ方向のシフト成分をｔ_１からｔ_３と記し、回転後のｘ，ｙ，ｚ方向のシフト成分をｔ^＊ _１からｔ^＊ _３と記す。実空間座標（Ｘ，Ｙ，Ｚ）を、任意視点位置からの実空間座標（Ｘ^＊，Ｙ^＊，Ｚ^＊）に変換する処理では、下記の（式５）に示す計算が行われる。

以降、（式５）による座標変換処理を、「実空間移動変換処理」と称する。ただし、本実施形態に適用出来る実空間移動変換処理は、これに限らない。撮影画像から任意視点位置での画像への回転成分およびシフト成分の算出処理については、本実施形態にて、画像間の対応点探索を用いた撮影時の姿勢推定等の公知技術を用いて行われる。この処理により撮影位置が算出され、撮影位置から任意視点位置までの移動量が算出される（特許文献３参照）。

最後に、実空間座標（Ｘ^＊，Ｙ^＊，Ｚ^＊）を任意視点画像上の座標（ｘ^＊，ｙ^＊）に変換する処理が実行される。この変換は下記の（式６）を用いて行われる。ここで、座標（ｘ^＊，ｙ^＊）は画像中心を原点位置（０，０）として示した２次元座標である。“ｐｐ^＊”は任意視点画像の画素ピッチを表し、“ｆ^＊”は任意視点画像の焦点距離を表す。
以降、（式６）による座標変換処理を「投影変換処理」と称する。ただし、本実施形態に適用出来る投影変換処理はこれに限らない。（式３）から（式６）までの演算によって示した、撮影画像を任意視点位置での画像に変形する処理を図示したものが図１６（Ｃ）である。

以上のように、撮影画像の座標（ｘ，ｙ）は（式３）の逆投影変換処理によって、実空間座標（Ｘ，Ｙ，Ｚ）に変換され、その後、（式５）の実空間移動変換処理により、任意視点位置の実空間座標（Ｘ^＊，Ｙ^＊，Ｚ^＊）に変換される。最後に（式６）の投影変換処理により、任意視点画像の座標（ｘ^＊，ｙ^＊）への変換処理が実行される。こうして、撮影画像を任意視点位置での画像に変形する処理が終了する。なお、前記座標変換により、撮影画像の画素値から任意視点画像の画素値を生成する処理においては、一般的なバイリニア補間やバイキュービック補間が用いられる。以上で図４のＳ４０５での任意視点画像の生成処理についての説明を終了する。

次に、図４のＳ４０６の任意視点距離ＭＡＰの生成処理を詳細に説明する。図１２、図１３を参照して、任意視点画像と任意視点距離ＭＡＰとの関係について説明する。図１２（Ａ）には、図１１（Ａ）と同様に撮影１から撮影３までの各撮影画像を示す。まず、撮影画像の各位置に対応する距離ＭＡＰが、図１３（Ａ）に示す様に生成される。図１３（Ａ）は撮影１から撮影３での各距離ＭＡＰを示している。

図１２（Ｂ）は、図１２（Ａ）に示す各撮影画像と、図１３（Ａ）に示す距離ＭＡＰから生成される、それぞれの任意視点画像を示す。黒色で示す領域１３０１は、撮影画像から情報が得られなかった任意視点画像の領域を表している。このような領域を「オクルージョン領域」と称する。

図１２（Ｃ）は、オクルージョン領域の無い任意視点画像を例示する。このような任意視点画像を得るためには、各撮影画像から生成した複数の任意視点画像を合成して画像を生成する必要がある。その際、図１３（Ｂ）に示すように、任意視点画像にそれぞれ対応した距離ＭＡＰ、つまり任意視点距離ＭＡＰが必要となる。図１３（Ｂ）にて、網掛けのハッチングを付して示す領域１３０２は、オクルージョン領域である。図１３（Ｃ）は、オクルージョン領域を無くした任意視点距離ＭＡＰを示す。このような任意視点距離ＭＡＰを得るためには、任意視点画像の場合と同じく、各撮影画像から生成した任意視点距離ＭＡＰを合成して距離ＭＡＰを生成する必要がある。また、任意視点距離ＭＡＰの合成についても、記録済みの任意視点距離ＭＡＰを必要とする。

ここで撮影画像から生成した距離ＭＡＰを用いて、任意視点距離ＭＡＰを生成する処理について説明する。
距離ＭＡＰの座標を（ｘ，ｙ）とし、任意視点距離ＭＡＰの座標を（ｘ^＊，ｙ^＊）とする。座標変換処理については、任意視点画像の生成方法で説明した前記（式３）、（式５）、（式６）の場合と同様の方法で行われる。よって、それらの詳細な説明は省略し、任意視点画像の場合との相違点を説明すると、任意視点距離ＭＡＰの値を、前記（式５）のＺ^＊の値に変換する処理を行う点である。この処理を行う理由は、任意視点距離ＭＡＰとして任意視点位置からの撮影距離に変換する必要があることによる。

次に図４のＳ４０８に示した、合成用のαＭＡＰの生成処理について詳細に説明する。
各撮影画像から生成した任意視点画像、任意視点距離ＭＡＰを合成する目的は、前述した様にオクルージョン領域を無くした任意視点画像、任意視点距離ＭＡＰを生成することである。図１４を参照して合成処理全体の流れについて説明する。

図１４は逐次合成処理を実行することにより、オクルージョン領域を無くした任意視点画像、任意視点距離ＭＡＰを生成する処理の流れを示した図である。図１４は、撮影１と撮影２との、任意視点画像および任意視点距離ＭＡＰの合成処理をそれぞれ示す。図１５はさらに、撮影１と撮影２との合成結果である任意視点画像および任意視点距離ＭＡＰと、撮影３の任意視点画像および任意視点距離ＭＡＰとの合成処理をそれぞれ示す。

図１４に示すように、撮影１と撮影２との間で任意視点画像が合成される。これにより、黒色領域で示したオクルージョン領域の大きさを減らすことができる。合成は、撮影１と撮影２との各任意視点距離ＭＡＰから生成した合成用のαＭＡＰに基づいて行われる。合成用のαＭＡＰにおいて白色で示した領域はαＭＡＰ値を１としている領域であり、撮影１の任意視点画像に対し、撮影２の任意視点画像が合成される領域を示している。αＭＡＰ値を１としている領域において、撮影１の任意視点距離ＭＡＰでのオクルージョン領域は、撮影２の任意視点距離ＭＡＰではオクルージョン領域でない領域である。また、任意視点距離ＭＡＰ内に点線枠で示した領域１４０１では、撮影１に比べて撮影２の任意視点距離ＭＡＰの値が小さい。つまり任意視点位置から見た場合、撮影１に比べて撮影２の方が近い距離、短い距離に位置していることを示す領域についても、αＭＡＰ値が１に設定される。

次に図１５に示すように、撮影１と撮影２とで合成した結果と、撮影３との合成処理が同様に行われる。これにより、図１４に比較して、さらにオクルージョン領域の大きさが低減された、任意視点画像および任意視点距離ＭＡＰを生成する事ができる。

図３を参照して、合成用のαＭＡＰの生成処理について説明する。図３は、αＭＡＰ生成部２０８の構成例を示したブロック図である。αＭＡＰ生成部２０８は、距離ＭＡＰ値比較部３０１、オクルージョン判断部３０２、αＭＡＰ値生成部３０３を備える。
距離ＭＡＰ値比較部３０１は、ｋ番目の任意視点距離ＭＡＰの情報と、距離ＭＡＰ記録部２０７に記録されている任意視点距離ＭＡＰの情報を取得し、両情報を比較して比較結果をαＭＡＰ値生成部３０３に出力する。オクルージョン判断部３０２は、距離ＭＡＰ記録部２０７に記録されている任意視点距離ＭＡＰの情報を取得し、オクルージョン判断結果をαＭＡＰ値生成部３０３に出力する。αＭＡＰ値生成部３０３は、距離ＭＡＰ値比較部３０１とオクルージョン判断部３０２の各出力を取得し、合成用のαＭＡＰを出力する。

図５のフローチャートを参照して、合成用のαＭＡＰの生成処理について説明する。
Ｓ５０１でαＭＡＰ生成部２０８は、αＭＡＰを生成する上でＳ５０２以降の生成処理を行う際に用いる座標（ｘ，ｙ）を（０，０）に初期化する。Ｓ５０２では、ｋ番目の任意視点距離ＭＡＰの値であるＺ＿ｋ（ｘ，ｙ）を読み込む処理が実行される。距離ＭＡＰ値比較部３０１はＺ＿ｋ（ｘ，ｙ）を取得する。Ｓ５０３では、距離ＭＡＰ記録部２０７に記録されている任意視点距離ＭＡＰの値であるＺ＿ｍ（ｘ，ｙ）を読み込む処理が実行される。Ｚ＿ｍ（ｘ，ｙ）は、距離ＭＡＰ値比較部３０１およびオクルージョン判断部３０２が取得する。

Ｓ５０４でオクルージョン判断部３０２は、Ｚ＿ｍ（ｘ，ｙ）の値がＥＲ値であるか否かを判断する。ＥＲ値とはオクルージョン領域であることを示す値である。Ｚ＿ｍ（ｘ，ｙ）がＥＲ値である場合、記録されている任意視点画像の座標（ｘ，ｙ）はオクルージョン領域に属すると判断され、Ｓ５０５へ進む。また、Ｚ＿ｍ（ｘ，ｙ）がＥＲ値でない場合には、記録されている任意視点画像の座標（ｘ，ｙ）はオクルージョン領域に属さないと判断され、Ｓ５０６へ進む。なお、本実施形態にてＥＲ値については、数値表現が可能な範囲内において最大値として設定される。
Ｓ５０５でαＭＡＰ値生成部３０３はαマップ値を決定する。本例ではα（ｘ，ｙ）に１が代入される。αＭＡＰ値生成部３０３は、座標（ｘ，ｙ）に関してＺ＿ｋ（ｘ，ｙ）の値を出力すると判断した上で、Ｓ５０８へ進む。

Ｓ５０６で距離ＭＡＰ値比較部３０１は、Ｚ＿ｍ（ｘ，ｙ）とＺ＿ｋ（ｘ，ｙ）の各値について大小を比較し、ｋ番目の任意視点画像の座標（ｘ，ｙ）における被写体が、記録されている任意視点画像に比べて、手前に位置しているか否かを判断する。Ｚ＿ｋ（ｘ，ｙ）の値がＺ＿ｍ（ｘ，ｙ）の値よりも小さい場合、つまりｋ番目の任意視点画像の座標（ｘ，ｙ）における被写体が、記録されている任意視点画像に比べて手前に位置していると判断された場合、Ｓ５０５へ進む。反対にＺ＿ｋ（ｘ，ｙ）の値がＺ＿ｍ（ｘ，ｙ）の値以上である場合には、Ｓ５０７へ進む。

Ｓ５０７でαＭＡＰ値生成部３０３はαマップ値を決定する。本例ではα（ｘ，ｙ）に０が代入される。αＭＡＰ値生成部３０３は、座標（ｘ，ｙ）に関してＺ＿ｋ（ｘ，ｙ）の値を出力しないと判断した上で、Ｓ５０８へ進む。Ｓ５０８は、任意視点画像に関する全ての座標に対し、Ｓ５０２からＳ５０７までの処理が行われたか否かの判断処理である。αＭＡＰ生成部２０８は、全ての座標に対して処理を行ったと判断した場合、前記した一連の処理を終了する。未処理の座標がある場合には、Ｓ５０９へ移行する。Ｓ５０９でαＭＡＰ生成部２０８は、処理対象となる座標（ｘ，ｙ）の値を更新し、Ｓ５０２へ移行して処理を続行する。

本実施形態では、距離情報取得部である距離ＭＡＰ生成部２０３が画像取得部２０１から画像データを取得して奥行き方向の距離情報を生成し、画像変形部２０４は座標変換により画像の変形処理を行って任意視点画像を生成する。距離情報変形部である距離ＭＡＰ変形部２０５は、距離情報取得部から距離情報を取得して座標変換により変形処理を行って任意視点距離ＭＡＰを生成する。合成情報生成部であるαＭＡＰ生成部２０８は、変形処理された距離情報を取得して合成用のαＭＡＰの情報を生成する。合成用のαＭＡＰの情報は、例えば、図５（Ｓ５０５、Ｓ５０７参照）に示すように１または０の２値である。画像合成部２０９は、合成用のαＭＡＰの情報を用いて、変形処理された複数の画像を合成する。本実施形態によれば、任意視点画像および任意視点距離ＭＡＰに係る逐次処理により、オクルージョン領域を適切に補間し、オクルージョン領域の大きさが低減された任意視点画像および任意視点距離ＭＡＰを生成することができる。

本実施形態では、合成用のαＭＡＰの情報を２値に設定した例を説明したが、このような例に限定されない。例えば、距離情報記録部である距離ＭＡＰ記録部２０７に記録された距離情報の座標（ｘ，ｙ）がオクルージョン領域に属すると合成情報生成部が判断した場合、α（ｘ，ｙ）の値を相対的に大きく設定する。つまり当該座標での、変形処理された画像の画素値や変形処理された第１の距離情報の示す距離値の合成時の割合が大きくなる。また合成情報生成部は、前記座標（ｘ，ｙ）がオクルージョン領域に属さない場合において、変形処理された第１の距離情報の示す距離値と、距離情報記録部に記録された第２の距離情報の示す距離値を比較し、比較結果からα（ｘ，ｙ）の値を決定する。この場合、第１の距離情報の示す距離値が第２の距離情報の示す距離値よりも小さいときには、α（ｘ，ｙ）の値が相対的に大きく設定される。また第１の距離情報の示す距離値が、第２の距離情報の示す距離値以上であるときには、α（ｘ，ｙ）の値が相対的に小さく設定される。このような合成時の割合の設定処理に関する変更については後述の実施形態でも同じである。
本実施形態では、画像データから視点変更後の画像データを生成するために行われた座標変換（幾何変形）を当該画像データに対応する距離ＭＡＰにも反映させた。しかし、これに限らず、画像データに対して行う歪み補正、ノイズリダクション処理、他の座標変換処理等、種々の画像処理を当該画像データに対応する距離ＭＡＰにも反映させて、距離ＭＡＰをより画像データに精度良く対応づけてもよい。このような種々の画像処理は、本実施形態では、例えば図４のＳ４０６にて、座標変換に代わって、あるいは加えて行われる。特に、撮像光学系や撮像素子、各処理回路等の装置や撮像条件に起因したノイズ、歪み、欠陥などを補正する補正処理は、現像される画像データだけでなく、距離ＭＡＰにも行われることが好ましい。
また、観賞用の画像データ及び距離ＭＡＰ両方に対して幾何変形や補正処理を行うことは、視点変更後の画像データを生成させるために限らず、種々の用途に応用できる。例えば、観賞用の画像データへ前述したような装置や撮像条件に起因した幾何変形や補正処理を行い、現像処理を行って表示、記録する場合、同様の幾何変形や補正処理を距離ＭＡＰにも行い、該画像データに対応する距離ＭＡＰとして記録することが有効である。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、第１実施形態で説明した構成に加え、距離ＭＡＰ生成時の信頼度に関する構成部を備える。撮影画像から距離ＭＡＰを生成する際に、距離ＭＡＰに対応する信頼度情報として信頼度ＭＡＰが同時に生成される。信頼度ＭＡＰは、距離ＭＡＰや撮影画像と同様に、任意視点位置に関して変形処理および合成処理が行われる。以下では、第１実施形態の場合と同様の構成要素については既に使用した符号を用いることでそれらの詳細な説明を省略し、第１実施形態との相違点を中心に説明する。

図１７を参照して、信頼度ＭＡＰについて説明する。図１７（Ａ）は、撮影画像から生成される距離ＭＡＰを例示する。距離ＭＡＰの生成方法としては、例えば瞳分割された複数の画像や視点の異なる画像同士のＳＡＤ値による相関演算を用いた公知の方法とする。図１７（Ａ）には、撮像装置からの距離が近い被写体領域１７０１、および撮像装置からの距離が遠い被写体領域１７０２に係る距離ＭＡＰを例示する。前記方法を用いた場合、図１７（Ｂ）に示す斜線部の境界領域１６０１における相関演算の結果が問題となる。つまり、撮像装置からの距離が近い被写体領域１７０１と、距離が遠い被写体領域１７０２との境界領域１６０１では、相関演算の結果が正確でない場合があり得る。そこで、本実施形態では、距離ＭＡＰ値として信頼できるか否かを示す信頼度ＭＡＰを使用する。図１７（Ｃ）は信頼度ＭＡＰを例示する。例えば、図１７（Ｃ）に示す領域１６０２は、図１７（Ｂ）で示した斜線部の境界領域１６０１に対応する。領域１６０２ではその周辺に比べ、信頼度ＭＡＰの値が小さく設定される。相関演算の結果が正確でない領域としては、前記のような境界領域だけでなく、低コントラストや同じテクスチャーが画像内にいくつも存在する繰り返しパターンの被写体領域等がある。このような領域についても同様に、信頼度ＭＡＰの値が小さく設定される。信頼度の値が大きいほど、対応する距離マップの値をより信頼できることを意味する。信頼度ＭＡＰの生成方法については、相関演算によるＳＡＤ値から判断する方法等がある。例えば、ＤＦＤ方法では、信頼度とは、デフォーカスの影響を表す値である。デフォーカスの影響が出にくい領域は、ＤＦＤ法で距離を算出するための手がかりに乏しい領域であることを意味するので、信頼度の値が小さい領域は、算出された距離値が正確ではない領域である。

図６のブロック図を参照して、本実施形態に係る画像処理部６０４（図１参照）内の構成について詳細に説明する。図２に示す構成との相違点は、距離ＭＡＰ・信頼度ＭＡＰ生成部７０３、信頼度ＭＡＰ変形部７０８、信頼度ＭＡＰ記録部７０９、αＭＡＰ生成部７１０、距離ＭＡＰ合成部７１２、信頼度ＭＡＰ合成部７１３である。その他の構成要素については、図２に示す各部に付した符号と同じ符号を使用することで、それらの詳細な説明を割愛する。

距離ＭＡＰ・信頼度ＭＡＰ生成部７０３は、画像取得部２０１の出力する画像データを取得し、距離ＭＡＰおよび信頼度ＭＡＰを生成する。距離ＭＡＰのデータは画像変形部２０４、距離ＭＡＰ変形部２０５に出力され、信頼度ＭＡＰのデータは信頼度ＭＡＰ変形部７０８に出力される。信頼度ＭＡＰ変形部７０８は変形処理後の信頼度ＭＡＰのデータを信頼度ＭＡＰ合成部７１３に出力する。信頼度ＭＡＰ合成部７１３は、信頼度ＭＡＰ変形部７０８、信頼度ＭＡＰ記録部７０９、αＭＡＰ生成部７１０の各出力を取得し、信頼度合成処理後の信頼度ＭＡＰのデータを信頼度ＭＡＰ記録部７０９に出力する。

図８のフローチャートを参照して、各部の処理について説明する。
撮影が開始するとＳ９０１で画像処理部６０４は、逐次処理で用いる変数ｋに１を代入して初期化する。Ｓ９０２で画像取得部２０１は、ｋ番目の撮影画像の取得処理を行う。Ｓ９０３で距離ＭＡＰ・信頼度ＭＡＰ生成部７０３は、Ｓ９０２で取得されたｋ番目の画像に対応するｋ番目の距離ＭＡＰ、およびｋ番目の距離ＭＡＰに対応する信頼度ＭＡＰの各データを生成する。距離ＭＡＰと信頼度ＭＡＰの生成処理については公知の方法を用いる（特許文献２）。

Ｓ９０４で画像現像部２０２は、Ｓ９０２で入力されたｋ番目の画像データに対して現像処理を行う。Ｓ９０５で画像変形部２０４は、Ｓ９０３で生成されたｋ番目の距離ＭＡＰを用いて、Ｓ９０４で現像されたｋ番目の画像に対する変形処理を行い、ｋ番目の任意視点画像のデータを生成する。Ｓ９０６で距離ＭＡＰ・信頼度ＭＡＰ生成部７０３は、Ｓ９０３で生成されたｋ番目の距離ＭＡＰを入力として、ｋ番目の任意視点距離ＭＡＰを生成する。なお、現像処理、任意視点画像データの生成処理、任意視点距離ＭＡＰの生成処理については、第１実施形態の場合と同様である。

Ｓ９０７で信頼度ＭＡＰ変形部７０８は、Ｓ９０３で生成されたｋ番目の信頼度ＭＡＰを入力として、ｋ番目の任意視点位置での信頼度ＭＡＰを生成する。任意視点位置での信頼度ＭＡＰを「任意視点信頼度ＭＡＰ」と称する。任意視点信頼度ＭＡＰの生成方法については、Ｓ９０５の任意視点画像の生成方法と同様であるため説明を割愛する。

Ｓ９０８で距離ＭＡＰ合成部７１２は、既に“ｋ−１”番目まで処理して距離ＭＡＰ記録部２０７に記録されている任意視点距離ＭＡＰのデータを読み込む。Ｓ９０９で信頼度ＭＡＰ合成部７１３は、既に“ｋ−１”番目まで処理して信頼度ＭＡＰ記録部７０９に記録されている任意視点信頼度ＭＡＰのデータを読み込む。

Ｓ９１０でαＭＡＰ生成部７１０は、ｋ番目の任意視点距離ＭＡＰおよび記録済みの任意視点距離ＭＡＰ、並びにｋ番目の任意視点信頼度ＭＡＰおよび記録済の任意視点信頼度ＭＡＰの各データを入力として、合成用のαＭＡＰを生成する。αＭＡＰ生成部７１０が生成した合成用のαＭＡＰは、後述のＳ９１２とＳ９１３とＳ９１４で使用する。なお、合成用のαＭＡＰの生成処理については後で詳細に説明する。

Ｓ９１１では、既にｋ−１番目まで処理して記録済みの任意視点画像を読み込む処理を行われた後、Ｓ９１２では、ｋ番目の任意視点画像と、記録済みの任意視点画像を、Ｓ９１０で生成されたαＭＡＰに基づいて合成する処理が実行される。Ｓ９１３では、ｋ番目の任意視点距離ＭＡＰと、記録済みの任意視点距離ＭＡＰを、Ｓ９１０で生成されたαＭＡＰに基づいて合成する処理が行われる。なお、Ｓ９１１からＳ９１３の処理は第１実施形態の場合と同様である。

Ｓ９１４で信頼度ＭＡＰ合成部７１３は、ｋ番目の任意視点信頼度ＭＡＰと、信頼度ＭＡＰ記録部７０９に記録されている任意視点信頼度ＭＡＰを、Ｓ９１０で生成されたαＭＡＰに基づいて合成する。合成方法についてはＳ９１２、Ｓ９１３の場合と同様である。Ｓ９１５では、Ｓ９１２で合成された任意視点画像を、画像記録部２０６に記録される任意視点画像として更新する処理が行われる。Ｓ９１６では、Ｓ９１３で合成された任意視点距離ＭＡＰを、距離ＭＡＰ記録部２０７に記録される任意視点距離ＭＡＰとして更新する処理が行われる。Ｓ９１７で信頼度ＭＡＰ合成部７１３は、Ｓ９１４で合成された任意視点信頼度ＭＡＰを、信頼度ＭＡＰ記録部７０９に記録される任意視点信頼度ＭＡＰとして更新する。

Ｓ９１８は、撮像装置による撮影が終了したか否かの判断処理であり、画像処理部６０４は“ｋ＋１”番目の画像が入力されるか否かを判断する。撮像装置による撮影が終了し、“ｋ＋１”番目の画像が入力されない場合には、Ｓ９１９の処理へ進む。また、撮像装置による撮影が終了せず、“ｋ＋１”番目の画像が入力される場合には、Ｓ９２０へ移行する。Ｓ９１９で画像処理部６０４は、これまでのｋ枚の画像により作成された任意視点画像を出力画像として出力し、一連の処理を終了する。画像処理部１０４から出力された任意視点画像データは符号化され、対応する距離ＭＡＰ、信頼度ＭＡＰを含めて同一画像ファイルに記録される。画像ファイルはたとえばＥＸＩＦのファイルフォーマットに準拠し、距離ＭＡＰ、信頼度ＭＡＰはメタデータとして記録される。あるいは出力された任意視点画像データは、対応する距離ＭＡＰ、信頼度ＭＡＰと関連付けられて別ファイルにてそれぞれ記録される。
Ｓ９２０では、“ｋ＋１”番目の画像が入力され、変数ｋのインクリメントによりｋ値に１が加算されることで更新され、Ｓ９０２へ移行する。

次に、図８のＳ９１０におけるαＭＡＰの生成処理について詳細に説明する。図７は、αＭＡＰ生成部７１０の構成例を示したブロック図である。αＭＡＰ生成部７１０は、信頼度ＭＡＰ値比較部８０１、距離ＭＡＰ値比較部８０２、オクルージョン判断部８０３、αＭＡＰ値生成部８０４を備える。αＭＡＰ生成部７１０は、以下の各データが入力され、合成用のαＭＡＰを出力する。
・ｋ番目の任意視点距離ＭＡＰ、および距離ＭＡＰ記録部２０７に記録されている任意視点距離ＭＡＰ。
・ｋ番目の任意視点信頼度ＭＡＰ、および信頼度ＭＡＰ記録部７０９に記録されている任意視点信頼度ＭＡＰ。

信頼度ＭＡＰ値比較部８０１は、ｋ番目の任意視点信頼度ＭＡＰ、および信頼度ＭＡＰ記録部７０９の記録されている任意視点信頼度ＭＡＰの各値を比較し、比較結果を距離ＭＡＰ値比較部８０２に出力する。

図９のフローチャートを参照し、合成用のαＭＡＰの生成処理について説明する。
Ｓ１００１でαＭＡＰ生成部７１０は、αＭＡＰを生成する上でＳ１００２以降の生成処理に使用する座標（ｘ，ｙ）を（０，０）に初期化する。Ｓ１００２で距離ＭＡＰ値比較部８０２は、ｋ番目の任意視点距離ＭＡＰの値であるＺ＿ｋ（ｘ，ｙ）を読み込む。Ｓ１００３で距離ＭＡＰ値比較部８０２およびオクルージョン判断部８０３は、距離ＭＡＰ記録部２０７に記録されている任意視点距離ＭＡＰの値であるＺ＿ｍ（ｘ，ｙ）を読み込む。Ｓ１００４で信頼度ＭＡＰ値比較部８０１は、ｋ番目の任意視点信頼度ＭＡＰの値であるＲ＿ｋ（ｘ，ｙ）を読み込む。Ｓ１００５で信頼度ＭＡＰ値比較部８０１は、信頼度ＭＡＰ記録部７０９に記録されている任意視点信頼度ＭＡＰの値であるＲ＿ｍ（ｘ，ｙ）を読み込む。

Ｓ１００６でオクルージョン判断部８０３は、Ｚ＿ｍ（ｘ，ｙ）の値がＥＲ値であるか否かを判断する。ＥＲ値は前述のオクルージョン領域を表す。Ｚ＿ｍ（ｘ，ｙ）の値がＥＲ値である場合、記録されている任意視点画像の座標（ｘ，ｙ）はオクルージョン領域に属すると判断され、Ｓ１００７へ進む。一方、Ｚ＿ｍ（ｘ，ｙ）の値がＥＲ値でない場合には、記録されている任意視点画像の座標（ｘ，ｙ）はオクルージョン領域に属さないと判断され、Ｓ１００８へ進む。

Ｓ１００７でαＭＡＰ値生成部８０４は、αＭＡＰの値α（ｘ，ｙ）に１を代入し、座標（ｘ，ｙ）に関してＺ＿ｋ（ｘ，ｙ）の値を出力すると判断した上で、Ｓ１０１２へ進む。Ｓ１００８で距離ＭＡＰ値比較部８０２は、Ｚ＿ｍ（ｘ，ｙ）とＺ＿ｋ（ｘ，ｙ）の各値を比較し、ｋ番目の任意視点画像の座標（ｘ，ｙ）の被写体が、記録されている任意視点画像での当該被写体に比べ、手前に位置しているか否かを判断する。Ｚ＿ｋ（ｘ，ｙ）の値がＺ＿ｍ（ｘ，ｙ）の値よりも小さい場合、つまり、ｋ番目の任意視点画像の座標（ｘ，ｙ）の被写体が、記録されている任意視点画像での当該被写体に比べ、手前に位置していると判断された場合、Ｓ１００９へ進む。またＺ＿ｋ（ｘ，ｙ）の値がＺ＿ｍ（ｘ，ｙ）の値よりも大きい場合には、Ｓ１０１０へ進む。

Ｓ１００９で信頼度ＭＡＰ値比較部８０１は、ｋ番目の任意視点信頼度ＭＡＰの値Ｒ＿ｋ（ｘ，ｙ）と、記録されている任意視点信頼度ＭＡＰの値Ｒ＿ｍ（ｘ，ｙ）との差分値を算出し、差分値を第１閾値（ＴＨ１と記す）と比較する。第１閾値ＴＨ１については、予め決められた固定値、または信頼度ＭＡＰの値に応じて変化する可変値を用いる。Ｒ＿ｋ（ｘ，ｙ）とＲ＿ｍ（ｘ，ｙ）の差分値が第１閾値ＴＨ１よりも大きい場合、信頼度ＭＡＰ値比較部８０１は、Ｒ＿ｋ（ｘ，ｙ）がＲ＿ｍ（ｘ，ｙ）に比べて信頼度が充分に高いと判断し、Ｓ１００７へ処理を進める。Ｒ＿ｋ（ｘ，ｙ）とＲ＿ｍ（ｘ，ｙ）の差分値が第１閾値ＴＨ１以下である場合には、Ｓ１０１１へ移行する。

Ｓ１０１０で信頼度ＭＡＰ値比較部８０１は、Ｒ＿ｋ（ｘ，ｙ）とＲ＿ｍ（ｘ，ｙ）との差分値を第２閾値（ＴＨ２と記す）と比較し、差分値が第２閾値ＴＨ２よりも大きいか否かを判断する。第２閾値ＴＨ２については、予め決められた固定値、または信頼度ＭＡＰの値に応じて変化する可変値を用いる。本実施形態にて第２閾値ＴＨ２は、第１閾値ＴＨ１とは異なる値とするが、必要に応じて同じ閾値を用いてもよい。Ｒ＿ｋ（ｘ，ｙ）とＲ＿ｍ（ｘ，ｙ）との差分値が第２閾値ＴＨ２よりも大きい場合、Ｒ＿ｋ（ｘ，ｙ）はＲ＿ｍ（ｘ，ｙ）に比べて信頼度が充分に高いと判断され、Ｓ１００７へ進む。Ｒ＿ｋ（ｘ，ｙ）とＲ＿ｍ（ｘ，ｙ）の差分値が閾値ＴＨ２以下である場合には、Ｓ１０１１へ移行する。Ｓ１０１１でαＭＡＰ値生成部８０４は、αＭＡＰの値α（ｘ，ｙ）に０を代入し、座標（ｘ，ｙ）に関してＺ＿ｋ（ｘ，ｙ）の値を出力しないと判断した上で、Ｓ１０１２へ進む。

Ｓ１０１２でαＭＡＰ生成部７１０は、任意視点画像に対応する全ての座標に対し、Ｓ１００２からＳ１０１１までの処理を行ったか否かを判断する。全ての座標に対する処理が行われたと判断した場合、αＭＡＰ生成部７１０は処理を終了する。当該処理が未終了の場合には、Ｓ１０１３へ進む。Ｓ１０１３でαＭＡＰ生成部７１０は、処理対象となる座標（ｘ，ｙ）を更新し、Ｓ１００２へ進んで処理を続行する。

本実施形態では、画像データから算出される距離情報の信頼度を示す信頼度情報を生成する信頼度情報生成部を備える。距離情報の生成時に信頼度情報を生成する実施形態に限らず、距離情報生成部とは別の信頼度情報生成部が生成する実施形態でもよい。信頼度情報合成部である信頼度ＭＡＰ合成部７１３は、信頼度情報変形部である信頼度ＭＡＰ変形部７０８により変形処理された信頼度情報、および信頼度情報記録部である信頼度ＭＡＰ記録部７０９に記録された信頼度情報を取得する。信頼度ＭＡＰ合成部７１３は、合成用のαＭＡＰの情報を用いて信頼度情報を合成する。本実施形態によれば、オクルージョン領域を適切に補間する事により任意視点画像を生成する逐次処理を可能にした画像処理装置を提供できる。距離ＭＡＰに対応する信頼度情報として信頼度ＭＡＰを用いることで、正確な距離情報を任意視点画像の生成処理に反映させることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４ 画像処理部
２０３ 距離ＭＡＰ生成部
２０４ 画像変形部
２０５ 距離ＭＡＰ変形部
２０８ αＭＡＰ生成部
２０９ 画像合成部
２１０ 距離ＭＡＰ合成部

Claims (19)

1. 複数の画像データを取得する画像取得手段と、
   前記画像取得手段から取得される画像データの奥行き方向の距離情報を取得する距離情報取得手段と、
   前記画像取得手段から取得される画像データに、座標変換により画像の変形処理を行う画像変形手段と、
   前記距離情報取得手段により取得された距離情報に、前記画像データに行う座標変換に対応する座標変換により変形処理を行う距離情報変形手段と、
   前記距離情報変形手段により変形処理された複数の距離情報を合成する距離情報合成手段と、
   前記距離情報合成手段が出力する距離情報を記録する距離情報記録手段と、
   前記距離情報変形手段により変形処理された距離情報および前記距離情報記録手段に記録された距離情報に基づいて合成用の情報を生成する合成情報生成手段と、
   前記合成用の情報に基づいて、前記画像変形手段により変形処理された複数の画像を合成することで任意視点画像を生成する画像合成手段と、を備えることを特徴とする画像処理装置。
2. 前記複数の画像データに行われる座標変換は、前記複数の画像の撮影位置から前記任意視点画像の視点位置までの移動量に基づく移動変換処理であることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像データに行われる座標変換は、前記複数の画像の撮影位置から前記任意視点画像の視点位置までの移動量に基づいて並進及び回転の少なくとも１つが行われる座標変換であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像取得手段は、前記複数の画像データを逐次取得し、
   前記距離情報合成手段は、前記複数の画像データに対応し、前記距離情報変形手段により変形処理が行われた複数の距離情報を逐次合成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記合成情報生成手段は、前記距離情報変形手段により変形処理された距離情報および前記距離情報記録手段に記録された距離情報の中で、より近い距離に被写体が存在することを示す距離情報を選択して前記合成用の情報を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 複数の画像データに対応する、前記距離情報変形手段により変形処理された複数の距離情報を取得して合成する距離情報合成手段を備え、
   前記距離情報合成手段は、前記合成情報生成手段から取得した前記合成用の情報を用いて、前記距離情報変形手段により変形処理された距離情報および前記距離情報記録手段に記録された距離情報を合成することを特徴とする請求項５に記載の画像処理装置。
7. 前記画像変形手段は、前記画像データに対して視点を変更した画像データを生成するための座標変換により変形処理を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記距離情報変形手段は、前記距離情報取得手段により取得された距離情報に対して視点の変更に伴う距離情報の変換を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記距離情報取得手段は、瞳分割された複数の画像または視点の異なる複数の画像のデータから生成される前記距離情報を取得することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記距離情報取得手段が取得した距離情報の信頼度を示す信頼度情報を生成する信頼度情報生成手段を備え、
    前記合成情報生成手段は、前記距離情報変形手段により変形処理された距離情報および前記信頼度情報を用いて前記合成用の情報を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記信頼度情報生成手段により生成された信頼度情報を取得して座標変換により変形処理を行う信頼度情報変形手段と、
    前記信頼度情報変形手段により変形処理された複数の信頼度情報を取得して逐次に合成する信頼度情報合成手段をさらに備えることを特徴とする請求項１０に記載の画像処理装置。
12. 前記信頼度情報合成手段が出力する信頼度情報を記録する信頼度情報記録手段を備え、
    前記信頼度情報合成手段は、前記合成情報生成手段から取得した前記合成用の情報を用いて、前記信頼度情報変形手段により変形処理された信頼度情報および前記信頼度情報記録手段に記録された信頼度情報を合成することを特徴とする請求項１１に記載の画像処理装置。
13. 前記合成情報生成手段は、前記距離情報変形手段により変形処理された第１の距離情報と、前記距離情報記録手段に記録された第２の距離情報とを比較することにより、合成の割合を表す前記合成用の情報を決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
14. 前記合成情報生成手段は、画像から情報が得られない視点での領域であるオクルージョン領域を判断し、前記第２の距離情報の座標がオクルージョン領域に属する場合、当該座標での、前記変形処理された画像の画素値および前記第１の距離情報の示す距離値をそれぞれ合成する際の割合を相対的に大きく設定することを特徴とする請求項１３に記載の画像処理装置。
15. 前記合成情報生成手段は、前記第２の距離情報の座標が前記オクルージョン領域に属さない場合において、前記第１の距離情報の示す距離値が、前記第２の距離情報の示す距離値よりも小さいときに、前記座標での、前記変形処理された画像の画素値および前記第１の距離情報の示す距離値をそれぞれ合成する際の割合を相対的に大きく設定し、また前記第１の距離情報の示す距離値が、前記第２の距離情報の示す距離値以上であるときに、前記座標での、前記変形処理された画像の画素値および前記第１の距離情報の示す距離値をそれぞれ合成する際の割合を相対的に小さく設定することを特徴とする請求項１４に記載の画像処理装置。
16. 前記合成情報生成手段は、前記距離情報変形手段により変形処理された複数の距離情報と、前記信頼度情報生成手段が生成した複数の信頼度情報を取得して合成の割合を表す前記合成用の情報を生成することを特徴とする請求項１０に記載の画像処理装置。
17. 請求項１乃至１６のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
18. 画像データを処理する画像処理装置が実行する画像処理方法であって、
    複数の画像データを取得する画像取得ステップと、
    前記画像取得ステップで取得される画像データの奥行き方向の距離情報を取得する距離情報取得ステップと、
    前記画像取得ステップで取得された画像データに、座標変換により画像の変形処理を行う画像変形ステップと、
    前記距離情報取得ステップで取得された距離情報に対し、前記画像データに行う座標変換に対応する座標変換により変形処理を行う距離情報変形ステップと、
    前記距離情報変形ステップで変形処理された複数の距離情報を合成する距離情報合成ステップと、
    前記距離情報合成ステップで合成された距離情報を記録する距離情報記録ステップと、
    前記距離情報変形ステップで変形処理された距離情報および前記距離情報記録ステップで記録された距離情報に基づいて合成用の情報を生成する合成情報生成ステップと、
    前記合成用の情報に基づいて、前記画像変形ステップにより変形処理された複数の画像を合成することで任意視点画像を生成する画像合成ステップと、を有することを特徴とする画像処理方法。
19. 請求項１８に記載の各ステップを前記画像処理装置のコンピュータに実行させることを特徴とするプログラム。