JP6604502B2 - デプスマップ生成装置、デプスマップ生成方法及びプログラム - Google Patents

Description

本発明は、画像のデプスマップを生成するデプスマップ生成装置、デプスマップ生成方法及びプログラムに関する。

多視点画像に基づく３次元復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている（特許文献１参照）。

特開２０１３−０１９８０１号公報

上述した多視点画像に基づく３次元復元技術は、三角測量の技術を用いており、最終的に、各視点におけるデプスマップを統合することによって、３次元点群を生成する。
しかしながら、各視点におけるデプスマップから算出される３次元点群を世界座標系（以下、世界座標とも言う）に変換するだけでは、最終的に得られる３次元復元結果に多くの誤対応点が残ってしまう。これは、統合に用いた視点のデプスマップにおいて、誤対応点が存在し、３次元復元結果に影響を与えるためである。

本発明は、このような状況に鑑みてなされたもので、３次元点群を生成する際、統合に用いるデプスマップにおける誤対応点を低減させ、３次元復元結果における誤対応点の発生を抑制させるデプスマップ生成装置、デプスマップ生成方法及びプログラムを提供する。

上述した課題を解決するために、本発明のデプスマップ生成装置は、多視点ステレオアルゴリズムに基づき、位相限定相関法を用いて複数の異なる視点の画像からデプスマップを生成するデプスマップ生成部と、正対応点のラベルの正対応点ノード及び誤対応点のラベルの誤対応点ノードの各々に対し、誤対応点の検出を行う対象である対象視点のピクセルに対応するノードから接続させるエッジ各々に対し、当該ピクセルと当該対象視点の近傍の他の視点である参照視点の対応するピクセルとの比較による第１重み付け数の付与を行い、また、当該対象視点におけるピクセルのノードと当該ピクセルに隣接する他の隣接ピクセルのノードとを接続するエッジに対し、前記対象視点におけるピクセル及び前記隣接ピクセル間の奥行きの差分に対応する第２重み付け数を付与して生成したグラフに対し、当該グラフを切断するグラフカットの切断線が通る前記エッジの各重み付け数の積算値が最小となるように行い、前記グラフにおける前記ノードの各々を前記正対応点あるいは前記誤対応点の前記ラベルに振り分け、誤対応点を除去する誤対応点除去部と、を備え、前記第１重み付け数が、前記正対応点のノード及び前記ピクセルに対応するノード間を接続するエッジに対する第１Ａ重み付け数と、前記ピクセルに対応するノード及び前記誤対応点のノードを接続するエッジに対する第１Ｂ重み付け数とから構成され、前記第１Ａ重み付け数が、前記他の視点との間における位相限定相関関数のピーク値に対応した数値とし、相関値が高いほど数値が高く設定され、前記第１Ｂ重み付け数が、近傍の他の視点である参照視点とにおける同一のピクセルの奥行きの差分に対応した数値とし、差分が大きくなるほど数値が高く設定され、前記第２重み付け数が同一の前記視点における隣接するピクセルのノードとの奥行きの差分が小さいほど数値が高く設定されていることを特徴とする。

本発明のデプスマップ生成装置は、前記誤対応点除去部が誤対応点除去を行った後に、異なった前記視点間におけるアーチファクトを除去するアーチファクト除去部をさらに備え、前記アーチファクト除去部が、前記対象視点における前記ピクセルの奥行きと、当該対象視点と所定の距離で離間された視点である比較視点における前記ピクセルを前記対象視点の座標系に変換した奥行きとの差分を求め、当該差分が予め設定された閾値と比較して、前記対象視点のピクセルをアーチファクトとするか否かの判定を行うことを特徴とする。

本発明のデプスマップ生成装置は、前記閾値が第１閾値及び第２閾値の各々からなり、前記アーチファクト除去部が、前記差分が前記第１閾値以下の場合、前記対象視点及び前記比較視点の各々において同一の前記ピクセルが同様の奥行きで復元されているため、前記対象視点の前記ピクセルをアーチファクトではないと判定し、前記差分が前記第１閾値を超え、かつ前記第２閾値未満である場合、前記対象視点及び前記比較視点の各々において同一の前記ピクセルが異なった奥行きで復元されているため、前記対象視点の前記ピクセルをアーチファクトであると判定し、前記差分が前記第２閾値以上である場合、前記対象視点の前記ピクセルが前記対象視点の前記ピクセルと異なる領域の前記ピクセルであるとして、前記対象視点の前記ピクセルをアーチファクトでないと判定することを特徴とする。

本発明のデプスマップ生成装置は、前記アーチファクト除去部が、前記対象視点と前記比較視点との復元された前記ピクセルに対する視差角が予め設定した第３閾値未満の場合、前記比較視点を前記対象視点との比較に用いないと判定することを特徴とする。

本発明のデプスマップ生成装置は、複数の異なる前記視点の前記画像からのデプスマップを生成する際、前記画像間のピクセルのマッチング処理が前記ピクセルの分解能を徐々に上げる階層的探索により行われており、前記階層的探索における各階層の前記マッチング処理の終了後の前記デプスマップに対し、重み付きメディアンフィルタを用いて前記デプスマップにおける前記ピクセル毎の奥行きの数値を補正することを特徴とする。

本発明のデプスマップ生成装置は、前記重み付きメディアンフィルタのウインドウにおける前記ピクセルの各々の重み数値が、対象とするピクセルとの距離、前記階層の画像における前記ピクセルの輝度値及び位相限定相関関数のピーク値に対応して設定されていることを特徴とする。

本発明のデプスマップ生成方法は、デプスマップ生成部が、多視点ステレオアルゴリズムに基づき、位相限定相関法を用いて複数の異なる視点の画像からデプスマップを生成するデプスマップ生成過程と、誤対応点除去部が、正対応点のラベルの正対応点ノード及び誤対応点のラベルの誤対応点ノードの各々に対し、誤対応点の検出を行う対象である対象視点のピクセルに対応するノードから接続させるエッジ各々に対し、当該ピクセルと当該対象視点の近傍の他の視点である参照視点の対応するピクセルとの比較による第１重み付け数の付与を行い、また、当該対象視点におけるピクセルのノードと当該ピクセルに隣接する他の隣接ピクセルのノードとを接続するエッジに対し、前記対象視点におけるピクセル及び前記隣接ピクセル間の奥行きの差分に対応する第２重み付け数を付与して生成したグラフに対し、当該グラフを切断するグラフカットの切断線が通る前記エッジの各重み付け数の積算値が最小となるように行い、前記グラフにおける前記ノードの各々を前記正対応点あるいは前記誤対応点の前記ラベルに振り分け、誤対応点を除去する誤対応点除去過程と、を含み、前記第１重み付け数が、前記正対応点のノード及び前記ピクセルに対応するノード間を接続するエッジに対する第１Ａ重み付け数と、前記ピクセルに対応するノード及び前記誤対応点のノードを接続するエッジに対する第１Ｂ重み付け数とから構成され、前記第１Ａ重み付け数が、前記他の視点との間における位相限定相関関数のピーク値に対応した数値とし、相関値が高いほど数値が高く設定され、前記第１Ｂ重み付け数が、近傍の他の視点である参照視点とにおける同一のピクセルの奥行きの差分に対応した数値とし、差分が大きくなるほど数値が高く設定され、前記第２重み付け数が同一の前記視点における隣接するピクセルのノードとの奥行きの差分が小さいほど数値が高く設定されていることを特徴とする。

本発明のプログラムは、コンピュータを、多視点ステレオアルゴリズムに基づき、位相限定相関法を用いて複数の異なる視点の画像からデプスマップを生成するデプスマップ生成手段、正対応点のラベルの正対応点ノード及び誤対応点のラベルの誤対応点ノードの各々に対し、誤対応点の検出を行う対象である対象視点のピクセルに対応するノードから接続させるエッジ各々に対し、当該ピクセルと当該対象視点の近傍の他の視点である参照視点の対応するピクセルとの比較による第１重み付け数の付与を行い、また、当該対象視点におけるピクセルのノードと当該ピクセルに隣接する他の隣接ピクセルのノードとを接続するエッジに対し、前記対象視点におけるピクセル及び前記隣接ピクセル間の奥行きの差分に対応する第２重み付け数を付与して生成したグラフに対し、当該グラフを切断するグラフカットの切断線が通る前記エッジの各重み付け数の積算値が最小となるように行い、前記グラフにおける前記ノードの各々を前記正対応点あるいは前記誤対応点の前記ラベルに振り分け、誤対応点を除去する誤対応点除去手段、として動作させるためのプログラムであり、前記第１重み付け数が、前記正対応点のノード及び前記ピクセルに対応するノード間を接続するエッジに対する第１Ａ重み付け数と、前記ピクセルに対応するノード及び前記誤対応点のノードを接続するエッジに対する第１Ｂ重み付け数とから構成され、前記第１Ａ重み付け数が、前記他の視点との間における位相限定相関関数のピーク値に対応した数値とし、相関値が高いほど数値が高く設定され、前記第１Ｂ重み付け数が、近傍の他の視点である参照視点とにおける同一のピクセルの奥行きの差分に対応した数値とし、差分が大きくなるほど数値が高く設定され、前記第２重み付け数が同一の前記視点における隣接するピクセルのノードとの奥行きの差分が小さいほど数値が高く設定されているプログラムである。

以上説明したように、本発明によれば、３次元点群を生成する際、統合に用いるデプスマップにおける誤対応点を低減させ、３次元復元結果における誤対応点の発生を抑制させるデプスマップ生成装置、デプスマップ生成方法及びプログラムを提供することができる。

本発明の一実施形態における、演算処理装置の構成を表す図である。 本発明の一実施形態における、１次元位相限定相関法の概要を表す図である。 本発明の一実施形態における、３次元点と視差との関係を表す図である。 本発明の一実施形態における、１次元位相限定相関法による相関関数をステレオペア毎に表す図である。 本発明の一実施形態における、演算処理装置のメッシュモデルの生成の動作手順を表すフローチャートである。 本発明の一実施形態における、画像ピラミッドの各階層での関数算出装置の動作手順を表す図である。 本発明の一実施形態における、奥行きの探索手順を表すフローチャートである。 本発明の一実施形態における、ステレオペアのそれぞれに定められたマッチングウィンドウを表す図である。 本発明の一実施形態における、画像ピラミッドの各階層での関数算出装置の動作手順を表すフローチャートである。 画像ピラミッドにおける上層、中層、下層のデプスマップの関係を説明する図である。 デプスマップにおける座標系とウィンドウにおける座標系の関係を示す図である。 デプスマップにおける誤対応点を除去するグラフカットの処理を説明する図である。 デプスマップにおけるグラフカットの処理による誤対応点の除去を示す図である。 アーチファクトが発生した際における複数の視点のデプスマップ間の整合性を説明する図である。 対象の視点のピクセルが正対応点であるかアーチファクトであるかの判定処理を説明する図である。

本発明の一実施形態について図面を参照して詳細に説明する。図１には、演算処理装置の構成が表されている。演算処理装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、バス４００を介して記憶装置２００及び出力装置３００に接続されている。

演算処理装置１００は、多視点画像を記憶装置２００から読み込み、これら多視点画像を構成するステレオペアの視差を正規化する。ここで、正規化とは、例えば、同一平面上に設置されていない複数のカメラから物体が撮像されたステレオペアの視差を、参照視点と、参照視点の近傍に仮想的に設置されたカメラからの視点（近傍視点）との視差となるように、カメラパラメータ（例えば、座標系、焦点距離）を用いて、視差を変換することである。正規化の詳細については、図３を用いて後述する。

また、演算処理装置１００は、視差が正規化されたステレオペアからマッチングウィンドウを定めて切り出し、切り出したマッチングウィンドウ毎にステレオペアの相関関数を算出する。また、演算処理装置１００は、マッチングウィンドウ毎に算出した相関関数のうち、相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆが高い相関関数のみを統合し、統合した相関関数に基づいてデプスマップｄｅｐを生成する。ここで、デプスマップとは、多視点画像に撮像されている物体の表面形状の奥行きを表すマップ情報である。また、演算処理装置１００は、生成したデプスマップｄｅｐに基づいて、物体の表面形状が復元されたメッシュモデルを生成し、生成したメッシュモデルを表すデータを出力装置３００に出力する。

以下では、画像信号の位相成分に着目した画像マッチング手法である位置限定相関法（Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ: ＰＯＣ）に基づく相関関数（以下、「ＰＯＣ関数」という。）が、相関関数の一例として用いられるものとして説明を続ける。

まず、マッチングウィンドウの平行移動量、及び、マッチングウィンドウの視差の倍率を用いて、ステレオペア間の画像変形を表現する場合について説明する。

１次元位相限定相関法（１次元ＰＯＣ）に基づく画像マッチング手法について説明する。
平行化したステレオペアでは、ステレオペアの一方の画像（以下、「参照視点画像」という。）から切り出されたマッチングウィンドウの幅方向と、ステレオペアの他方の画像（以下、「近傍視点画像」という。）から切り出されたマッチングウィンドウの幅方向とが一致する。この場合、切り出された各マッチングウィンドウが１次元方向に並ぶので、演算処理装置１００は、１次元ＰＯＣ関数に基づいて、物体表面の注目点が撮像されたマッチングウィンドウにおける対応点の平行移動量を、高精度に算出することができる。

図２には、１次元位相限定相関法の概要が表されている。１次元画像におけるＮ（Ｎは、正の整数）個の点について、１次元画像信号ｆ(ｎ)、及び１次元画像信号ｇ（ｎ）が与えられた場合、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ（ｎ）間の平行移動量は、１次元ＰＯＣに基づいて算出される。ここで、１次元画像信号の離散時間インデックスｎは、ｎ＝−Ｍ，…，Ｍ（Ｍは、正の整数）であるとする。また、Ｎ＝２Ｍ＋１とする。

１次元画像信号ｆ(ｎ)の１次元離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ: ＤＦＴ) 結果は、式（１）により表される。また、１次元画像信号ｇ(ｎ) の１次元離散フーリエ変換結果は、式（２）により表される。

ここで、ｋ＝−Ｍ，…，Ｍは、離散周波数インデックスである。また、ＷＮ＝ｅ−ｊ２π／Ｎは、回転因子である。また、ＡＦ (ｋ) 及びＡＧ(ｋ) は、振幅スペクトルである
。また、θＦ（ｋ）及びθＧ（ｋ）は、位相スペクトルである。また、正規化相互パワースペクトルＲ（ｋ）は、式（３）により表される。

ここで、上付き線が付いているＧ（ｋ）は、Ｇ（ｋ）の複素共役である。また、θＦ（ｋ）−θＧ（ｋ）は、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ（ｎ）間の位相差ス
ペクトルである。

また、１次元ＰＯＣ関数ｒ（ｎ）は、正規化相互パワースペクトルＲ（ｋ）の１次元逆離散フーリエ変換(Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ: ＩＤＦＴ) として、式（４）により表される。

ステレオペアである１次元画像信号ｆ（ｎ）及び１次元画像信号ｇ（ｎ）が、微小な平行移動量δだけ互いに平行移動した関係にある場合、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ) のＰＯＣ関数ｒ(ｎ) は、式（５）により表される。

式（５）は、１次元画像信号が平行移動量δだけ微小に平行移動した場合のＰＯＣ関数の一般形を表している。ここで、αは、相関ピークの高さ（ピーク値）を表現するために導入されたパラメータである。無相関なノイズが画像に加わると、相関ピークの高さαの値が減少するため、実際にはα≦１となる。この場合、ＰＯＣ関数の相関ピークの高さαは、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ)の類似度の指標に相当する。また、相関ピークの位置座標は、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ) の平行移動量δに相当する。

したがって、１次元画像信号間の類似度は、相関ピークの高さαに基づいて算出される。また、１次元画像信号間の平行移動量δは、相関ピークの位置座標に基づいて、サブピクセル精度で算出される。

実際の多視点画像では、視点の基線長の変化に伴う歪み、及びデジタル画像に生じるノイズの影響により、平行移動量δに推定誤差が生じることがある。そこで、１次元ＰＯＣ関数を用いて平行移動量δを算出する際に重要となる各種の高精度化手法について、以下に説明する。

１次元離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＤＦＴ）では、信号波形が周期的に循環することを仮定するため、信号波形の端点での不連続性が問題となる。この不連続性の影響を軽減するため、１次元画像信号ｆ(ｎ) 及びｇ(ｎ) に対して窓関数ｗ（ｎ）を適用する。以下では、窓関数として、式（６）に示す１次元ハニング窓を用いるものとする。

また、自然画像では一般に低周波数成分にエネルギーが集中し、高周波数成分のエネルギーは低周波数成分と比較して小さくなることが知られている。このため、エイリアシング（周波数成分の折り返し）、雑音（ノイズ）、歪みなどの外乱が画像に加わった場合、高周波数成分の信号対雑音比（ＳＮ比）は大幅に低下する。

そこで、演算処理装置１００（図１を参照）は、信頼性の低い高周波数成分の影響を抑制するため、正規化相互パワースペクトルＲ（ｋ）を算出する際に、低域通過型のスペクトル重み付け関数Ｈ(ｋ)を適用する。以下では、スペクトル重み付け関数として、式（７）に表されるガウス関数を用いるものとする。

ここで、σは、ガウス関数の幅を表す定数である。以下では、一例として、σ＝√（０．５）とする。この場合、相関ピークモデルは、式（８）に表されるガウス型になる。

平行移動量δは一般に実数値であるため、ＰＯＣ関数の相関ピークの位置座標は、サンプリング格子点の間、すなわち、画像のピクセル間に存在する。そこで、演算処理装置１００は、相関ピークモデルを表す式（８）を、実際に算出されたＰＯＣ関数の数値データに対してフィッティングすることにより、画像のピクセル間に存在する相関ピークの位置座標を推定する。この場合、相関ピークの高さα、及び平行移動量δが、フィッティングパラメータとなる。以下では、フィッティング手法の一例として、非線型最小２乗問題の解法の一つである「Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法」を用いるものとする。

演算処理装置１００は、ＰＯＣ関数に基づく画像マッチング手法をステレオペア間の対応付けに適用する場合、物体表面の注目点が撮像された画像における対応点の座標を中心にマッチングウィンドウを定めて切り出し、切り出したウィンドウ間のＰＯＣ関数を算出する。この場合、わずか１組のウィンドウに基づいてＰＯＣ関数の相関ピークの位置座標を高精度に算出することは、ノイズの影響もあることから困難である。

そこで、演算処理装置１００は、注目点が撮像された複数のステレオペアからマッチングウィンドウをそれぞれ定めて切り出し、切り出した複数のマッチングウィンドウから１次元画像信号を抽出する。また、１次元画像信号に基づく１次元ＰＯＣ関数は、複数のステレオペアに基づいて平均化されることで統合される。以下、平均化されたＰＯＣ関数を「平均ＰＯＣ関数」という。相関ピークα及び平行移動量δの算出に平均ＰＯＣ関数を用いることで、ノイズの影響を抑えることが可能となる。
以上が、１次元位相限定相関法（１次元ＰＯＣ）に基づく画像マッチング手法についての説明である。

図１に戻り、演算処理装置１００の構成の説明を続ける。演算処理装置１００は、関数算出装置１１０と、デプスマップ生成装置１２０と、メッシュモデル生成装置１３０とを備える。関数算出装置１１０は、ＰＯＣ関数の相関ピークの位置座標、すなわち、マッチングウィンドウの平行移動量δに基づいて、画像に撮像された３次元点（注目点）の座標を算出する。関数算出装置１１０は、正規化部１１１と、ウィンドウ設定部１１２と、関数算出部１１３と、関数統合部１１４とを備える。

正規化部１１１は、ステレオペアを構成する参照視点画像及び近傍視点画像を平行化する。また、正規化部１１１は、注目ピクセル及びカメラパラメータに基づいて、複数のステレオペアの視差を正規化する。複数のステレオペアの視差を正規化することにより、関数算出装置１１０は、カメラが同一平面上に設置されていない場合でも、相関関数を統合することができる。

正規化部１１１は、カメラパラメータ（例えば、座標系、焦点距離）が既知である多視点画像Ｖ＝｛Ｖ_０，…，Ｖ_Ｆ−１｝のうち、参照視点画像Ｖ_Ｒ∈Ｖと、その近傍の視点から撮像された近傍視点画像Ｃ＝｛Ｃ_０，…，Ｃ_Ｋ−１｝⊂Ｖ−｛Ｖ_Ｒ｝とを、記憶装置２００から読み込む。ここで、Ｆは、多視点画像の枚数である。また、Ｋは、近傍視点画像Ｃの枚数である。

正規化部１１１は、近傍視点画像Ｃのいずれかと参照視点画像Ｖ_Ｒとの組から成るＫ組のステレオペアを、カメラパラメータにより平行化する。また、関数算出装置１１０は、平行化したステレオペアを構成する参照視点画像及び近傍視点画像からマッチングウィンドウを定めて切り出し、切り出したマッチングウィンドウの視差を正規化する。

正規化部１１１は、ステレオペアから切り出されたマッチングウィンドウの視差を、次のように正規化する。ここで、予め定められた世界座標と一致するように、参照視点画像Ｖ_Ｒのカメラ座標が予め定められる。

正規化部１１１は、平行化したステレオペアＶ_Ｒ-Ｃ_ｉ（Ｃ_ｉ∈Ｃ）におけるマッチングウィンドウの視差を、３次元点Ｍ＝（Ｘ，Ｙ，Ｚ）について算出する場合、参照視点画像Ｖ_Ｒ及び近傍視点画像Ｃ_ｉを、カメラパラメータにより平行化する。ここで、参照視点画像Ｖ_Ｒのカメラ座標に対する回転行列Ｒｉは、式（９）により表される。

この場合、平行化したステレオペアにおける３次元点Ｍｉ＝（Ｘｉ，Ｙｉ，Ｚｉ）と、３次元点Ｍとの関係は、式（１０）により表される。

また、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける３次元点Ｍｉ＝（Ｘｉ，Ｙｉ，Ｚｉ）と、視差ｄ_ｉとの関係は、式（１１）により表される。

ここで、（ｕｉ，ｖｉ）は、平行化した参照視点画像Ｖ_Ｒにおける、３次元点Ｍｉの対応点のピクセル座標を表す。また、（ｕ０ｉ，ｖ０ｉ）は、平行化した参照視点画像Ｖ_Ｒにおける画角中心を表す。また、βｉは焦点距離を表す。また、Ｂ_ｉは、ステレオペア間の基線長を表す。

３次元点Ｍと視差ｄ_ｉとの関係は、式（１０）及び式（１１）に基づいて、式（１２）により表される。

また、参照視点画像Ｖ_Ｒと近傍視点画像Ｃ_ｊ∈Ｃ−｛Ｃ_ｉ｝との間には、式（１３）により示される関係が成り立つ。

また、予め定められた世界座標における３次元点Ｍの座標は、式（１２）及び式（１３）に基づいて、式（１４）〜（１６）により表される。

平行化したステレオペアＶ_Ｒ-Ｃｉの視差ｄ_ｉと、平行化したステレオペアＶ_Ｒ-Ｃ_ｊの視差ｄ_ｊとには、式（１７）により表される関係が成り立つ。

したがって、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける視差ｄ_ｉと、平行化したステレオペアＶ_Ｒ-Ｃ_ｊにおける視差ｄ_ｊとは、参照視点画像Ｖ_Ｒにおける対応点のピクセル座標と、カメラパラメータとに依存する視差の倍率ｓにより関係付けられる。ここで、カメラパラメータは、焦点距離βｉ、及びステレオペア間の基線長Ｂ_ｉである。

つまり、正規化された視差ｄは、各ステレオペアの視差の倍率ｓが考慮されることにより定められる。平行化したステレオペアＶ_Ｒ-Ｃ_ｉ(ｉ＝０，…，Ｋ−１) が与えられた場合、平行化した各ステレオペアの視差ｄ_ｉと、正規化された視差ｄとには、式（１８）により表される関係が成り立つ。式（１８）により、正規化部１１１は、平行化したステレオペアの視差を正規化する。

ここで、ｓｉは、平行化した各ステレオペアの視差の倍率である。また、平行化していない参照視点画像Ｖ_Ｒにおける対応点のピクセル座標（ｕ，ｖ）について、平行化した各ステレオペアの視差の倍率ｓｉは、式（１７）に基づいて式（１９）により表される。

ここで、｜ｓ｜は、式（２０）により表される。

この場合、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける３次元点Ｍｉは、式（２１）により表される。

また、ウィンドウ設定部１１２は、視差を正規化したステレオペアについて、物体表面の注目点が撮像された画像における対応点を中心に、マッチングウィンドウを定める。また、関数算出部１１３は、ウィンドウ設定部１１２が定めたマッチングウィンドウの間のＰＯＣ関数を算出する。また、関数統合部１１４は、関数算出部１１３が算出した複数のＰＯＣ関数を統合する。

図３には、３次元点と視差との関係が表されている。平行化したステレオペアＶ_Ｒ-Ｃ_ｉ（Ｃ_ｉ∈Ｃ）における視差は、３次元点Ｍ及び参照視点画像Ｖ_Ｒを通る視線方向に、３次元点Ｍから微小量ΔＭ＝（ΔＸ，ΔＹ，ΔＺ）だけずれた位置に在る点Ｍ’（＝Ｍ＋ΔＭ）に基づいて定められる。

この場合、３次元点Ｍ’は、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける視差ｄ_ｉと、式（１２）とに基づいて、式（２２）により表される。

ここで、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける、真の位置に在る３次元点Ｍの視差ｄ_ｉに対して、３次元点Ｍの視差ｄ_ｉに誤差δ_ｉが生じた場合、３次元点Ｍの視差ｄ_ｉと、３次元点Ｍ’の視差ｄ’_ｉとには、式（２３）により表される関係が成り立つ。

局所的な画像変形は平行移動による画像変形のみであると仮定した場合、参照視点画像Ｖ_Ｒにおける対応点を中心に定めて切り出したマッチングウィンドウｆ_ｉと、近傍視点画像Ｃ_ｉにおける対応点を中心に定めて切り出したマッチングウィンドウｇ_ｉとの平行移動量δ_ｉは、マッチングウィンドウｆ_ｉ及びマッチングウィンドウｇ_ｉ間の１次元ＰＯＣ関数の相関ピークの位置座標に基づいて算出される。

ここで、平行化したステレオペアＶ_Ｒ-Ｃ_ｉにおける平行移動量δ_iと、平行化したステレオペアＶ_Ｒ-Ｃ_ｊ（Ｃ_ｊ∈Ｃ−｛Ｃ_ｉ}) における平行移動量δ_j とが一致しない場合には、平行化したステレオペアＶ_Ｒ-Ｃ_ｉに基づく相関ピークの位置座標と、平行化したステレオペアＶ_Ｒ-Ｃ_ｊに基づく相関ピークの位置座標とは、一致しない。

例えば、図３では、平行化したステレオペアＶ_Ｒ‐Ｃ_０の基線長Ｂ_０よりも、平行化したステレオペアＶ_Ｒ‐Ｃ_１の基線長Ｂ１の方が長い。このため、奥行き方向への同じ変化量ΔＺに対しては、平行化したステレオペアＶ_Ｒ‐Ｃ_１における対応点の平行移動量δ_１は、平行化したステレオペアＶ_Ｒ‐Ｃ_０における対応点の平行移動量δ０より大きい。

図１に戻り、演算処理装置１００の構成の説明を続ける。ウィンドウ設定部１１２は、平行化した各ステレオペアから定めて切り出したマッチングウィンドウを、正規化された視差に基づいて拡大又は縮小する。関数算出部１１３は、ウィンドウ設定部１１２が定めて切り出したマッチングウィンドウの間の１次元ＰＯＣ関数を算出する。

関数統合部１１４は、関数算出部１１３が算出した１次元ＰＯＣ関数をステレオペア間で平均化することにより、１次元ＰＯＣ関数を統合する。これにより、マッチングウィンドウ毎に算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で統一される。ここで、３次元点Ｍについて正規化された視差ｄと、３次元点Ｍ’について正規化された視差ｄ’（＝ｄ＋δ）とに基づいて、３次元点Ｍ’は、式（２４）により表される。

したがって、平行化したステレオペアＶ_Ｒ‐Ｃ_iにおける対応点を中心に切り出したマッチングウィンドウｆ_ｉと、近傍視点画像Ｃ_ｉにおける対応点を中心に切り出したマッチングウィンドウｇ_ｉとの平行移動量は、ｓｉδとなる。そこで、マッチングウィンドウｆ_ｉ及びマッチングウィンドウｇ_ｉのウィンドウサイズは、それぞれｓｉｗと定められる。ウィンドウサイズｗは、予め定められた基準サイズである。

また、ウィンドウサイズｓｉｗが（１／ｓｉ）倍に拡大又は縮小されることで、１次元画像信号のマッチングウィンドウのウィンドウサイズは、ウィンドウサイズｗに共通化される。以下、ウィンドウサイズｓｉｗが（１／ｓｉ）倍に拡大又は縮小されたマッチングウィンドウｆ_ｉを、マッチングウィンドウｆｉ’と表記する。同様に、ウィンドウサイズｓｉｗが（１／ｓｉ）倍に拡大又は縮小されたマッチングウィンドウｇ_ｉを、マッチングウィンドウｇｉ’と表記する。

マッチングウィンドウｆ_ｉ’及びマッチングウィンドウｇ_ｉ’に基づいて算出された１次元ＰＯＣ関数の相関ピークの位置座標は、マッチングウィンドウｆ_ｉ’及びマッチングウィンドウｇ_ｉ’間の平行移動量δに相当する。ここで、平行化したステレオペアＶ_Ｒ‐Ｃ_ｊ（Ｃ_ｊ∈Ｃ−｛Ｃ_ｉ｝）から切り出したマッチングウィンドウのサイズは、ウィンドウサイズｓｊｗである。平行化したステレオペアＶ_Ｒ‐Ｃ_ｊの１次元ＰＯＣ関数の相関ピークは、ウィンドウサイズｓｉｗとは異なるウィンドウサイズｓｊｗが（１／ｓｊ）倍に拡大又は縮小されることで、平行化したステレオペアＶ_Ｒ‐Ｃ_ｉの１次元ＰＯＣ関数の相関ピークと一致するようになる。

また、ウィンドウ設定部１１２は、上記に説明したマッチングウィンドウの拡大又は縮小に加えて、対象物体の表面形状に応じたウィンドウサイズとなるように、マッチングウィンドウをさらに拡大又は縮小してもよい。

また、ウィンドウ設定部１１２は、上記に説明したマッチングウィンドウの拡大又は縮小の倍率を決定する際に、ウィンドウサイズ（倍率）を変化させた複数のマッチングウィンドウ毎に画像マッチングを実行し、１次元ＰＯＣ関数の相関ピークが最も高くなるウィンドウサイズを採用してもよい。

なお、多視点画像に基づいて３次元復元することを考慮すれば、複数のステレオペアにおいて、それぞれの左右の画像から切り出されたマッチングウィンドウのウィンドウサイズには、ステレオペア間で互いに関係性がある（例えば、近い位置に在るステレオペア同士では、同じようなウィンドウサイズとなる）。そこで、ウィンドウ設定部１１２は、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、マッチングウィンドウのサイズに制約を加えてもよい。

図４には、１次元位相限定相関法による相関関数（１次元ＰＯＣ関数）が、ステレオペア毎に表されている。図４（ａ）には、正規化された視差の倍率ｓが考慮されず、平行化したすべてのステレオペアから、同じウィンドウサイズｗでマッチングウィンドウを切り出した場合における、１次元ＰＯＣ関数が表されている。この場合、マッチングウィンドウの間の平行移動量δ_ｉは、ステレオペア毎に異なる。すなわち、算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で一致しない。

一方、図４（ｂ）には、正規化された視差の倍率ｓが考慮され、平行化した各ステレオペアから、同じウィンドウサイズｓｉｗでマッチングウィンドウを切り出した場合における、１次元ＰＯＣ関数が表されている。この場合、正規化された視差の倍率ｓが考慮されたことで、マッチングウィンドウの間の平行移動量δ_ｉは、ステレオペア毎で同じになる。すなわち、算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で一致する。したがって、平行化した各ステレオペアに基づいて算出された１次元ＰＯＣ関数は、位置座標がステレオペア間で一致しているので統合可能である。

関数統合部１１４は、ステレオペア毎に算出された１次元ＰＯＣ関数を、複数のステレオペア間で平均化することにより統合する。予め定められた世界座標における３次元点Ｍ（注目点）の座標は、統合した１次元ＰＯＣ関数の相関ピークの位置座標に基づく平行移動量δを用いて、式（２５）により表される。

ここで、オクルージョン（手前に在る物体が、背後に在る物体を隠す状態）により、３次元点Ｍが近傍視点画像Ｃ_ｉ∈Ｃに写っていない場合、又は、物体境界において複数の視差を持つ領域からマッチングウィンドウが切り出された場合、そのマッチングウィンドウから算出される１次元ＰＯＣ関数の相関ピークの位置座標に、非常に大きい誤差が生じることが予想される。また、マッチングウィンドウの間の画像変形が平行移動のみによって近似できない場合、そのマッチングウィンドウから算出されるＰＯＣ関数の相関ピークの高さαが低くなることが、実験的に知られている。

そこで、関数統合部１１４は、平均ＰＯＣ関数（統合した１次元ＰＯＣ関数）のうち、相関ピークの高さαが閾値ｔｈｃｏｒｒ以上である（画像の類似度が高い）平均ＰＯＣ関数のみを、デプスマップ生成装置１２０に出力する。

デプスマップ生成装置１２０は、関数統合部１１４が出力した平均ＰＯＣ関数に基づいて、デプスマップを生成する。これにより、デプスマップ生成装置は、オクルージョン及び物体境界などの影響を抑えながら、デプスマップを生成することができる。デプスマップ生成装置１２０は、デプスマップ生成部１２１と、フィルタ部１２２と、誤対応点除去部１２３と、アーチファクト除去部１２４との各々を備えている。

メッシュモデル生成装置１３０は、デプスマップ生成装置１２０が算出したデプスマップに基づいてメッシュモデルを生成し、生成したメッシュモデルを表すデータを記憶装置２００及び出力装置３００に出力する。

記憶装置２００は、参照視点画像Ｖ_Ｒと、近傍視点画像Ｃと、デプスマップを表すデータと、メッシュモデルを表すデータとを記憶する。また、記憶装置２００は、処理に用いられる各種パラメータ、及びプログラムを記憶する。

出力装置３００には、メッシュモデルを表すデータが入力される。出力装置３００は、メッシュモデルを表すデータに基づいて、復元された物体の表面形状を表示する。出力装置３００は、例えば、液晶ディスプレイ装置である。

次に、関数算出装置の動作手順について説明する。
図５は、演算処理装置のメッシュモデルの生成の動作手順を表すフローチャートである。関数算出装置１１０の正規化部１１１（図１を参照）は、参照視点画像Ｖ_Ｒ及び近傍視点画像Ｃを、記憶装置２００から読み込む（ステップＳ１）。正規化部１１１は、ステレオペアを構成する参照視点画像Ｖ_Ｒ及び近傍視点画像Ｃを平行化し、平行化したステレオペアの視差を正規化する（ステップＳ２）。

ウィンドウ設定部１１２（図１を参照）は、ステレオペアから切り出すマッチングウィンドウのウィンドウサイズを、視差の倍率に基づいて拡大又は縮小する（ステップＳ３）。関数算出部１１３は（図１を参照）、拡大又は縮小されたマッチングウィンドウの間の１次元ＰＯＣ関数を算出する（ステップＳ４）。

関数統合部１１４（図１を参照）は、算出された１次元ＰＯＣ関数のうち、相関ピークの高さが閾値以上である１次元ＰＯＣ関数を統合する（ステップＳ５）。デプスマップ生成部１２１（図１を参照）は、統合された１次元ＰＯＣ関数に基づいて、デプスマップを生成する（ステップＳ６）。メッシュモデル生成装置１３０は、デプスマップに基づいて、メッシュモデルを生成する（ステップＳ７）。

＜画像ピラミッドを用いて奥行きを探索する方法について＞
関数算出装置１１０は、３次元点Ｍの奥行きを探索する（座標を算出する）場合、画像ピラミッドを用いた粗密探索を組み合わせてもよい。これにより、デプスマップ生成装置１２０は、画像ピラミッドを用いない場合と比較して少ないマッチング回数で、３次元点Ｍ群の世界座標を表すデプスマップを算出することができる。

奥行き探索処理への入力情報は、参照視点画像Ｖ_Ｒと、その近傍視点画像Ｃ＝{Ｃ０，…，ＣＫ−１} である。また、奥行き探索処理からの出力情報は、デプスマップｄｅｐ（後述するＩ_Ｚ（ｕ，ｖ））と、相関値マップｃｏｒｒ（後述するＩ_α（ｕ，ｖ））と、信頼値マップｃｏｎｆである。また、デプスマップ算出処理に用いられる各パラメータは、相関ピークの高さの閾値ｔｈｃｏｒｒと、画像ピラミッドの階層数Ｈと、基準サイズであるウィンドウサイズｗと、平均ＰＯＣ関数を算出する処理に用いるライン数Ｌである。

図６には、画像ピラミッドの各階層での関数算出装置の動作手順が表されている。正規化部１１１（図１を参照）は、参照視点画像Ｖ_Ｒと、その近傍の視点から撮像された近傍視点画像Ｃとを、記憶装置２００から読み込む。そして、正規化部１１１は、ステレオペアＶ_Ｒ-Ｃ_ｉ（ｉ＝０，…，Ｋ−１）を平行化する。さらに、関数算出部１１３は、平行化したステレオペアＶ_Ｒ-Ｃ_ｉの画像ピラミッド（階層画像）を生成する。

以下、平行化したステレオペアＶ_Ｒ-Ｃ_ｉを構成する参照視点画像をＶｒｅｃｔ，ｉ，０と、近傍視点画像をＣｒｅｃｔ，ｉ，０と表記する。また、画像ピラミッドの階層ｈ＝１，…，Ｈ−１について、参照視点画像Ｖｒｅｃｔ，ｉ，０を（２−ｈ）倍した画像を、参照視点画像Ｖｒｅｃｔ，ｉ，ｈと表記する。また、画像ピラミッドの階層ｈ＝１，…，Ｈ−１について、近傍視点画像Ｃｒｅｃｔ，ｉ，０を（２−ｈ）倍した画像を、近傍視点画像Ｃｒｅｃｔ，ｉ，ｈと表記する。

関数算出部１１３（図１を参照）は、画像ピラミッドの最上層Ｈ−１に対して、画像全体のマッチングを実行することにより、奥行きを探索する開始座標Ｚｉｎｉｔを定める。
この開始座標Ｚｉｎｉｔは、参照視点画像Ｖｒｅｃｔ，ｉ，Ｈ−１と、近傍視点画像Ｃｒｅｃｔ，ｉ，Ｈ−１との１次元ＰＯＣ関数の相関ピークの位置座標に基づいて、各ステレオペア（ｉ＝０，…，Ｋ−１）について視差が算出されることにより定められる。

関数算出部１１３は、参照視点画像Ｖ_Ｒにおける任意の点ｍ＝ (ｕ，ｖ）について、奥行き（デプス）、相関値及び信頼値を算出し、デプスマップｄｅｐ(ｍ)と、相関値マップｃｏｒｒ(ｍ)と、信頼値マップｃｏｎｆ(ｍ)とを、記憶装置２００に記憶させる。ここで、関数算出部１１３は、参照視点画像Ｖ_Ｒにおける任意の点ｍの座標を、参照視点画像Ｖ_Ｒ上で変化させながら処理を繰り返すことで、デプスマップｄｅｐ(ｍ)と、相関値マップｃｏｒｒ(ｍ)と、信頼値マップｃｏｎｆ(ｍ)とを算出する。

以下、ステレオペアの一方を構成する参照視点画像Ｖｒｅｃｔ，ｉ，ｈ（ｉ＝０，…，Ｋ−１）に３次元点Ｍｉが投影された対応点を、ｍｉ，ｈ＝ (ｕｉ，ｈ， ｖｉ，ｈ)と表記する。また、ステレオペアの他方を構成する近傍視点画像Ｃｒｅｃｔ，ｉ，ｈ（ｉ＝０，…，Ｋ−１）に３次元点Ｍｉが投影された対応点を、ｍ’ｉ，ｈ＝ (ｕ’ｉ，ｈ，ｖ’ｉ，ｈ) と表記する。

図７は、奥行きの探索手順を表すフローチャートである。正規化部１１１は、参照視点画像Ｖ_Ｒ上の任意の点ｍにおける視差の倍率ｓｉ（ｉ＝０，…，Ｋ−１）を、式（１９）に基づいて算出する。この場合、平行化した参照視点画像Ｖｒｅｃｔ，ｉ，０における対応点ｍｉ＝ (ｕｉ，ｖｉ）は、平行化したステレオペアを構成する画像の変形に用いられる射影行列に基づいて算出される（ステップＳａ１）。

関数算出部１１３は、画像ピラミッドの階層ｈ＝Ｈ−１、及び３次元点Ｍ＝Ｍｉｎｉｔと初期設定し、世界座標における３次元点Ｍの座標の探索を、画像ピラミッドの最上層Ｈ−１から開始する。ここで、Ｍｉｎｉｔは、参照視点画像Ｖ_Ｒにおいて、任意の点ｍの座標を通る視線上で奥行きがＺｉｎｉｔの位置に在る３次元点である（ステップＳａ２）。

ウィンドウ設定部１１２は、ウィンドウサイズｓｉｗ×ライン数Ｌの大きさで、対応点ｍｉ，ｈを中心に参照視点画像Ｖｒｅｃｔ，ｉ，ｈからマッチングウィンドウｆ_ｉ，ｈを定めて切り出す。また、ウィンドウ設定部１１２は、ウィンドウサイズｓｉｗ×ライン数Ｌの大きさで、対応点ｍｉ，ｈを中心に近傍視点画像Ｖｒｅｃｔ，ｉ，ｈからマッチングウィンドウｇ_ｉ，ｈを定めて切り出す。関数算出部１１３は、切り出されたマッチングウィンドウｆ_ｉ，ｈ及びマッチングウィンドウｇｉ，ｈに基づいて、1次元ＰＯＣ関数ｒｉ，ｈを算出する（ステップＳａ３）。

関数統合部１１４は、1次元ＰＯＣ関数ｒｉ，ｈのうち、相関ピークの高さαi≧閾値ｔｈｃｏｒｒである1次元ＰＯＣ関数を平均化することにより、平均ＰＯＣ関数ｒａｖｅ，ｈを算出する（ステップＳａ４）。以下、相関ピークの高さαｉ≧閾値ｔｈｃｏｒｒとなる1次元ＰＯＣ関数の個数を、Ｋ’と表記する。

関数統合部１１４は、平均ＰＯＣ関数ｒａｖｅ，ｈに対して関数フィッティングを実行することにより、平均ＰＯＣ関数の相関ピークの高さαと、平均ＰＯＣ関数の相関ピークの位置座標（平行移動量δに相当）とを算出する。関数統合部１１４は、平行移動量δ及び式（２５）に基づいて、世界座標（参照視点画像のカメラ座標）における３次元点Ｍの座標を更新する（ステップＳａ５）。

関数統合部１１４は、画像ピラミッドの階層が最下層であるか否かを判定する（ステップＳａ６）。画像ピラミッドの階層が最下層である場合（ステップＳａ６：Ｙｅｓ）、デプスマップ生成部１２１は、相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆが閾値以上である３次元点Ｍ群のデプスマップを生成する（ステップＳａ７）。

ここで、デプスマップｄｅｐ(ｍ)は、階層ｈ＝０（最下層）である場合における１次元ＰＯＣ関数ｒａｖｅ，０と、３次元点Ｍ＝ (Ｘ，Ｙ，Ｚ) とを用いて、式（２６）のように予め定義される。同様に、相関値マップｃｏｒｒ(ｍ)は、式（２７）のように予め定義される。また、同様に、信頼値マップｃｏｎｆ(ｍ)は、式（２８）のように予め定義される。

一方、ステップＳａ６において、画像ピラミッドの階層が最下層でない場合（ステップＳａ６：Ｎｏ）、関数統合部１１４は、階層ｈから値１を減算し、ステップＳａ３に処理を戻す（ステップＳａ８）。

以上により、デプスマップ生成部１２１は、閾値以上である相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆに基づいてデプスマップｄｅｐを生成することにより、３次元点Ｍ群について信頼性が高い座標を算出することができる。

以上が、マッチングウィンドウの平行移動量、及び、マッチングウィンドウの視差の倍率を用いて、ステレオペア間の画像変形を表現する場合についての説明である。

次に、マッチングウィンドウの平行移動量、及び、マッチングウィンドウの視差の倍率のみならず、マッチングウィンドウの拡大縮小率、及び、マッチングウィンドウのスキュー（歪み）を用いて、ステレオペア間の画像変形を表現する場合について説明する。

ステレオペア間の画像は、撮影された３次元復元対象の物体の表面形状と、カメラの位置関係とに応じて、非線形に変形する。関数算出装置１１０のウィンドウ設定部１１２（図１を参照）は、ステレオペア間の画像変形を軽減するように、マッチングウィンドウを定める。より具体的には、ウィンドウ設定部１１２は、線分に基づく拡大縮小率、及び、法線ベクトルに基づく傾きの少なくとも一方に基づいて、マッチングウィンドウを定める。

これにより、関数算出装置１１０は、ステレオペア間の基線長が長い場合、又は、３次元復元対象の物体がカメラに対して大きく傾いている場合など、ステレオペア間の画像変形が大きい場合でも、ステレオペアの相関関数を精度良く算出することができる。関数算出装置１１０は、画像に撮像された３次元点（注目点）の座標を、高精度に算出することができる。また、デプスマップ生成装置１２０は、高精度な画像マッチングを実行して、デプスマップを生成することができる。

平行化したステレオペア間では、垂直座標軸又は水平座標軸と、エピポーラ線とが平行になっているので、ステレオペア間の画像変形は、１次元方向に限定されている。したがって、３次元復元対象の物体が局所的には平面であると仮定された場合、平行化したステレオペアの参照視点画像Ｖｒｅｃｔ，ｉと、近傍視点画像Ｃｒｅｃｔ，ｉ とのマッチングウィンドウの間の画像変形は、マッチングウィンドウの拡大縮小率、及び、マッチングウィンドウのスキュー（例えば、スキューの傾き）を用いて、表現することができる。

以下では、平行化したステレオペアＶ_Ｒ-Ｃ_ｉ、すなわち、平行化したステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉにおいて、３次元点Ｍｉ＝ [Ｘｉ，Ｙｉ，Ｚｉ]と、３次元点Ｍｉの法線ベクトルｎｉ＝ [ｎＸ，ｉ， ｎＹ，ｉ， ｎＺ，ｉ] とが与えられた場合について、拡大縮小率ξi と、傾きκi とを算出する方法について説明する。

なお、３次元点Ｍｉの座標系は、平行化した参照視点画像Ｖｒｅｃｔ，ｉのカメラ座標系により表現されている。また、法線ベクトルｎｉの座標系も、平行化した参照視点画像Ｖｒｅｃｔ，ｉのカメラ座標系により表現されている。これら参照視点画像Ｖｒｅｃｔ，ｉのカメラ座標は、ステレオペアの参照視点画像Ｖｒｅｃｔ，ｉ及び近傍視点画像Ｃｒｅｃｔ，ｉが平行化される際に、その近傍視点画像Ｃｒｅｃｔ，ｉのカメラパラメータに基づいて回転されている。

図８には、ステレオペアのそれぞれに定められたマッチングウィンドウが表されている。図８では、ステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉは、エピポーラ線が水平座標軸と平行になるように、平行化されているものとする。また、３次元平面（物体表面）は、カメラに対して大きく傾いているものとする。

まず、拡大縮小率ξiに基づいて画像変形を軽減する場合について、図８を用いて説明する。３次元点Ｍｉ及び法線ベクトルｎｉにより定まる３次元平面（物体表面）と、エピポーラ平面との交線上に、３次元点Ｍｉを中心とする単位線分が仮定されたとする。

当該単位線分が参照視点画像Ｖｒｅｃｔ，ｉに投影された線分の長さｗ１，ｉは、式（２９）により表される。また、当該単位線分が近傍視点画像Ｃｒｅｃｔ，ｉに投影された線分の長さｗ２，ｉは、式（３０）により表される。

ここで，ψ１，ｉは、参照視点画像Ｖｒｅｃｔ，ｉにおける光軸と、視線とが成す角を表す。また、ψ２，ｉは、近傍視点画像Ｃｒｅｃｔ，ｉにおける光軸と、視線とが成す角を表す。また、φ１，ｉは、法線ベクトルｎｉがエピポーラ平面に投影された投影ベクトルと、視線とが成す角を表す。また、φ２，ｉは、法線ベクトルｎｉがエピポーラ平面に投影された投影ベクトルと、視線とが成す角を表す。

当該単位線分が参照視点画像Ｖｒｅｃｔ，ｉに投影された線分の長さｗ１，ｉと、当該単位線分が近傍視点画像Ｃｒｅｃｔ，ｉに投影された線分の長さｗ２，ｉとの関係は、式（２９）及び式（３０）に基づいて、式（３１）又は式（３２）により表される。

また、マッチングウィンドウの拡大縮小率ξi は、式（３３）により表される。なお、エピポーラ線が垂直座標軸と平行になるように、ステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉが平行化された場合でも、マッチングウィンドウの拡大縮小率ξi は、式（３３）により表される。

ウィンドウ設定部１１２（図１を参照）は、視差の倍率ｓｉと、ウィンドウサイズｗとに基づいて、近傍視点画像Ｃｒｅｃｔ，ｉの水平方向（幅方向）のウィンドウサイズをｓｉｗピクセルに、近傍視点画像Ｃｒｅｃｔ，ｉの垂直方向のウィンドウサイズをＬピクセルに定める（図８の右下に示すマッチングウィンドウを参照）。

一方、ウィンドウ設定部１１２は、視差の倍率ｓｉと、ウィンドウサイズｗと、拡大縮小率ξiとに基づいて、参照視点画像Ｖｒｅｃｔ，ｉの水平方向（幅方向）のウィンドウサイズをξiｓｉｗピクセルに、参照視点画像Ｖｒｅｃｔ，ｉの垂直方向のウィンドウサイズをＬピクセルに定める（図８の左下に示すマッチングウィンドウを参照）。このように、ウィンドウ設定部１１２は、拡大縮小率ξiに基づいて、ステレオペア間の局所的な画像変形を軽減させることができる。

なお、参照視点画像Ｖｒｅｃｔ，ｉの水平方向のウィンドウサイズをξi倍する代わりに、近傍視点画像Ｃｒｅｃｔ，ｉの水平方向のウィンドウサイズを１／ξi倍した場合には、1次元ＰＯＣ関数ｒｉ，ｈの相関ピークの位置座標は、ξi倍されることになる。このため、他のステレオペアＶｒｅｃｔ，ｊ‐Ｃｒｅｃｔ，ｊ(ｊ∈｛１，…，Ｋ−１｝−{ｉ｝）に基づいて算出された１次元ＰＯＣ関数ｒｊ，ｈの相関ピークの位置座標は、１次元ＰＯＣ関数ｒｉ，ｈの相関ピークの位置座標と一致しなくなる。

次に、傾きκiに基づいて画像変形を軽減する場合について、図８を用いて説明する。
３次元点Ｍｉ及び法線ベクトルｎｉにより定まる３次元平面（物体表面）上に、直線を仮定する。この直線は、参照視点画像Ｖｒｅｃｔ，ｉに投影された場合に、参照視点画像Ｖｒｅｃｔ，ｉにおける３次元点Ｍｉの対応点ｍｉ＝ [ｕｉ，ｖｉ] を通り、垂直座標軸に平行となるように、３次元平面（物体表面）上に仮定される。

このように３次元平面上に仮定された直線は、近傍視点画像Ｃｒｅｃｔ，ｉにおける３次元点Ｍｉの対応点ｍＣ_ｉ＝ [ｕＣ_ｉ，ｖｉ] を通り、傾きκiを有する直線として、近
傍視点画像Ｃｒｅｃｔ，ｉに投影されることになる。この３次元平面上に仮定された直線は，式（３４）を満たす[Ｘ，Ｙ，Ｚ] により表される。

ここで、座標（ｕ０ｉ，ｖ０ｉ）は、参照視点画像Ｖｒｅｃｔ，ｉの中心座標を表す。
また、βiは、参照視点画像Ｖｒｅｃｔ，ｉの焦点距離を表す。また、｜｜ｔｃａｍ，ｉ｜｜は、ステレオペア間の基線長を表す。また、ｖ’ｉは、参照視点画像Ｖｒｅｃｔ，ｉ上の任意の垂直座標を表す。

図８に示されているように、近傍視点画像Ｃｒｅｃｔ，ｉが参照視点画像Ｖｒｅｃｔ，ｉに対してＸ軸正方向にある場合、傾きκiについて式（３４）を解くことにより、式（３５）が得られる。

一方、近傍視点画像Ｃｒｅｃｔ，ｉが参照視点画像Ｖｒｅｃｔ，ｉに対してＸ軸負方向にある場合、傾きκiの正負が逆転する。したがって、式（３５）は、より一般的に、式（３６）により表される。なお、エピポーラ線が垂直座標軸と平行になるように、ステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉが平行化された場合でも、傾きκiは、式（３３）により表される。

ウィンドウ設定部１１２は、近傍視点画像Ｃｒｅｃｔ，ｉにおけるマッチングウィンドウを、例えば、スキューの傾きがκiとなるように定める。また、ウィンドウ設定部１１２は、エピポーラ線と直交する座標軸と、マッチングウィンドウの中心座標との位置ずれに基づいて、マッチングウィンドウを構成する各ラインの中心座標を定める。このように、ウィンドウ設定部１１２は、ステレオペア間の局所的な画像変形を軽減させるように、傾きκiに基づいて、マッチングウィンドウを定める。

関数統合部１１４（図１を参照）は、拡大縮小率ξi及び傾きκiに基づいてステレオペア毎に算出された１次元ＰＯＣ関数を、複数のステレオペア間で平均化することにより統合する。関数統合部１１４は、平均ＰＯＣ関数（統合した１次元ＰＯＣ関数）のうち、相関ピークの高さαが閾値ｔｈｃｏｒｒ以上である（画像の類似度が高い）平均ＰＯＣ関数のみを、デプスマップ生成装置１２０（図１を参照）に出力する。

デプスマップ生成装置１２０は、関数統合部１１４が出力した平均ＰＯＣ関数に基づいて、プレーンスイーピングを用いた奥行き探索と、画像ピラミッドを用いた階層的探索とにより、多視点画像からデプスマップ（後述するＩ_Ｚ（ｕ，ｖ））を生成する。

＜画像ピラミッドを用いて奥行きを探索する方法について＞
図９は、画像ピラミッドの各階層での関数算出装置の動作手順を表すフローチャートである。
（ステップＳｂ１）正規化部１１１（図１を参照）は、カメラパラメータが既知である参照視点画像Ｖｒｅｃｔ，ｉと、カメラパラメータが既知である近傍視点画像Ｃｒｅｃｔ，ｉとを、記憶装置２００から読み込む。正規化部１１１は、Ｋ組の平行化したステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉ（ｉ＝０，…，Ｋ−１）を生成する。ここで、正規化部１１１は、Ｋ組の平行化したステレオペアＶｒｅｃｔ，ｉ‐Ｃｒｅｃｔ，ｉ（ｉ＝０，…，Ｋ−１）について、階層毎に２分の１ずつ画像を縮小した階層数Ｈの画像ピラミッドを生成する。

（ステップＳｂ２）正規化部１１１は、参照視点画像Ｖｒｅｃｔ，ｉ上の座標ｍi＝ [ｕi，ｖi] について、各ステレオペアにおける視差の倍率ｓｉを算出する。

（ステップＳｂ３）３次元復元対象の３次元平面（物体表面）の法線ベクトルｎｉが算出されていないため、関数統合部１１４（図１を参照）は、画像ピラミッドの最上層Ｈ−１で、３次元点Ｍiの奥行きと、法線ベクトルｎｉとを変化させながら、平均ＰＯＣ関数ｒａｖｅ，ｈを算出する（画像マッチング）。

ここで、３次元点Ｍiの奥行きを変化させる刻み幅は、ウィンドウサイズｗの４分の１に相当する長さでもよい。また、参照視点画像Ｖｒｅｃｔ，ｉに正対する法線ベクトルｎiを基準に、Ｘ軸及びＹ軸回りに±（π／８）の範囲で回転させた９個の法線ベクトルｎについて、平均ＰＯＣ関数ｒａｖｅ，ｈが算出されてもよい。

（ステップＳｂ４）関数統合部１１４は、平均ＰＯＣ関数の相関ピークの高さαｉが最も高くなる３次元点Ｍiの奥行き、及び法線ベクトルｎiを選択する。また、関数統合部１１４は、平均ＰＯＣ関数ｒａｖｅ，ｈの相関ピークの位置座標に基づいて、３次元点Ｍiの奥行きを更新する。なお、法線ベクトルｎiは、選択された法線ベクトルｎiを基準にして、より精度良く定められてもよい。

（ステップＳｂ５）関数統合部１１４は、最上層Ｈ−１で選択した法線ベクトルｎiに基づいて、ステレオペア間の平均ＰＯＣ関数ｒａｖｅ，ｈを算出し、平均ＰＯＣ関数の相関ピークの高さαｉが最も高くなる３次元点Ｍiの奥行きを更新する。また、関数統合部１１４は、平均ＰＯＣ関数ｒａｖｅ，ｈの相関ピークの位置座標に基づいて、３次元点Ｍiの奥行きを更新する。

（ステップＳｂ６）関数統合部１１４は、画像ピラミッドの階層が最下層ｈ＝０であるか否かを判定するを判定する。画像ピラミッドの階層が最下層である場合（ステップＳｂ６：Ｙｅｓ）、関数統合部１１４は、ステップＳｂ８に処理を進める。一方、画像ピラミッドの階層が最下層でない場合（ステップＳｂ６：Ｎｏ）、関数算出部１１３は、ステップＳｂ７に処理を進める。

（ステップＳｂ７）関数統合部１１４は、階層ｈから値１を減算し（一つ下の階層に処理を移動させ）、ステップＳｂ５に処理を戻す。
（ステップＳｂ８）関数統合部１１４は、更新された３次元点Ｍiの奥行きを、座標ｍiに対応する３次元点Ｍiの奥行きと定める。

（ステップＳｂ９）関数統合部１１４は、参照視点画像Ｖｒｅｃｔ，ｉ上の全ての座標ｍiについて、３次元点Ｍiの奥行きを定めたか否かを判定する。参照視点画像Ｖｒｅｃｔ，ｉ上の全ての座標ｍiについて、３次元点Ｍiの奥行きを定めた場合（ステップＳｂ９：Ｙｅｓ）、関数統合部１１４は、平均ＰＯＣ関数（統合した１次元ＰＯＣ関数）のうち、相関ピークの高さαが閾値ｔｈｃｏｒｒ以上である（画像の類似度が高い）平均ＰＯＣ関数のみを、デプスマップ生成装置１２０に出力し、処理を終了する。一方、参照視点画像Ｖｒｅｃｔ，ｉ上のいずれかの座標ｍiについて、３次元点Ｍiの奥行きを定めていない場合（ステップＳｂ９：Ｎｏ）、関数統合部１１４は、ステップＳｂ２に処理を戻す。

関数算出装置１１０は、奥行きを探索する参照視点画像Ｖｒｅｃｔ，ｉを変更し、その参照視点画像Ｖｒｅｃｔ，ｉについても、同様に処理を実行する。デプスマップ生成装置１２０（デプスマップ生成部１２１）は、関数統合部１１４が出力した平均ＰＯＣ関数に基づいて、デプスマップを生成する。

＜重み付けメディアンフィルタを用いた欠如したピクセルの修復＞
上述した画像ピラミッドを用いた階層的探索においては、上層の１個のピクセルのマッチング結果が、下層の複数個のピクセルに対して影響を与える。このため、上層におけるピクセルの誤対応が最終的なデプスマップの多くのピクセルの誤対応の原因となってしまう。また、上位の層ほど相対的に、画像サイズに対するウィンドウサイズが大きくなっていくため，物体境界やオクルージョン境界の影響うける範囲が大きくなる。この問題に対して、本実施形態においては、重み付きメディアンフィルタを用いることで、デプスマップの高精度化を行う。これにより、本実施形態においては、重み付きメディアンフィルタを用いることで、孤立した誤対応点と、物体境界及びオクルージョン境界におけるアーチファクトとの修正を行っている。

すなわち、本実施形態においては、上層のマッチングにおけるピクセルの欠如に対応して、上述した重み付きメディアンフィルタによる修復処理を行うことにより、上層において突発的に発生した誤対応や、物体境界及びオクルージョン境界付近で発生するアーチファクトの影響が下層に伝搬することを抑制する。
また、本実施形態においては、最終的なデプスマップに対し、ＭＶＳ（Multi View Stereo；多視点ステレオ）のためのＰＯＣ（Phase Only Correlation；位相限定相関法）に基づき、ウィンドウマッチングによる奥行き推定結果そのものを用いるため、重み付きメディアンフィルタを使用したマップ値の更新を行わない。

画像ピラミッドにおける各階層毎に、デプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）（デプスマップｄｅｐ）、相関値マップＩ_α ^ｈ（ｕ，ｖ）（相関値マップｃｏｒｒ）、法線ベクトルマップＩ_Ψ ^ｈ（ｕ，ｖ）、法線ベクトルマップＩ_φ ^ｈ（ｕ，ｖ）の各々が生成される毎に、重み付きメディアンフィルタを用いて、デプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）、相関値マップＩ_α ^ｈ（ｕ，ｖ）、法線ベクトルマップＩ_Ψ ^ｈ（ｕ，ｖ）の各々において、マッチング処理において欠如したピクセルの修復を行う。デプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）、相関値マップＩ_α ^ｈ（ｕ，ｖ）、法線ベクトルマップＩ_Ψ ^ｈ（ｕ，ｖ）の各々において、符号ｈが画像ピラミッドにおける対応する階層を示している。ここで、ｕ及びｖの各々は、Ｘ軸、Ｙ軸及びＺ軸からなる３次元空間における２次元平面を形成するＸ軸及びＹ軸上の座標値を示している。

図１０は、画像ピラミッドにおける上層、中層、下層のデプスマップの関係を説明する図である。図１０において、上層のデプスマップＩ_Ｚ ^Ｈ−１（ｕ，ｖ）、中層のデプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）、下層のデプスマップＩ_Ｚ ^０（ｕ，ｖ）の各々は、画像ピラミッドを構成している。上層のデプスマップＩ_Ｚ ^Ｈ−１（ｕ，ｖ）でマッチングした１個のピクセルが、中層のデプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）では４個のピクセルとなる。また、中層のデプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）でマッチングした１個のピクセルが、下層のデプスマップＩ_Ｚ ^０（ｕ，ｖ）では４個のピクセルとなる。このため、上層のデプスマップＩ_Ｚ ^Ｈ−１（ｕ，ｖ）でマッチングした１個のピクセルが、下層のデプスマップＩ_Ｚ ^０（ｕ，ｖ）では１６個のピクセルとなる。図１０における例では、元の画像データである下層を、上位になるに従って縦横２ピクセルずつの縮小を行い、ピクセル毎のマッチング処理を行っている。縦横ｎピクセルずつの縮小の場合、下位に行くに従い、ｎ２単位でピクセル数が増加するため、上位の層の１個のピクセルの欠如が、下層に伝搬するに従って、多数のピクセルの欠如となる。他の相関値マップＩ_α ^ｈ（ｕ，ｖ）及び法線ベクトルマップＩ_Ψ ^ｈ（ｕ，ｖ）も、画像ピラミッドにおいて同様である。

本実施形態においては、重み付きメディアンフィルタにおける重み関数としては、原画像におけるバイラテラル重み（ガウシアンフィルタのカーネルに輝度差に基づいた重み）と、相関値マップの対応するピクセルの相関値との積を用いる。
以下においては、階層ｈにおけるデプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）を例として、本実施形態における重み付きメディアンフィルタについて説明する。
本実施形態における重み付きメディアンフィルタは、フィルタリングを行う対象のピクセルである対象ピクセルの数値（デプスマップの奥行きの数値）を、この対象ピクセルを中心とした周辺領域における他のピクセルの数値（デプスマップの奥行きの数値）の重み付け中央値で決定するフィルタである。

重み付き中央値の算出において、小さいあるいは大きい順にソートされた数列（ａ_ｋ）_{ｋ＝０，１，…，Ｎ−１}と、各要素（ピクセルの位置に対応）の重み（ω_ｋ）_{ｋ＝０，１，…，Ｎ−１}との各々が与えられた際に、数列（ａｋ）の重み付き中央値ａ_ｍｅｄは、以下の（３７）式により求める。（３７）式において、ｎ及びｌの各々は数列の項の番号を示している。ここで、ｌは対象となるピクセルの数列における項の番号を示す。

重み付きメディアンフィルタでは、欠如してデータを修復する対象ピクセルに対し、この対象ピクセル周辺（予め設定された対象ピクセルを中心とする他のピクセルを含む範囲の領域）の他のピクセルのマップ値Ｉ_ｍｅｄ（ｉ，ｊ）とその重みｗ_ｍｅｄ（ｉ，ｊ）との各々を、小さい順番あるいは大きい順番にソートする。そして、ソートした数列及び各要素の重み（ｗ_ｋ）として、重み付き中央値ａ_ｍｅｄを求める。ここで、（ｉ，ｊ）はメディアンフィルタのウィンドウ内の座標であり、ｉ＝−Ｍ_ω、…、Ｍ_ωであり、ｊ＝−Ｍ_ω、…、Ｍ_ωであり、ウィンドウサイズはＮ_ω×Ｎ_ω（Ｎ_ω＝２Ｍ_ω＋１）ピクセルである。

図１１は、デプスマップにおける座標系とウィンドウにおける座標系の関係を示す図である。図１１において、中層のデプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）は、縦ｕピクセル×横ｖピクセルの各々のピクセルの奥行きを示している。ここで、重み付けメディアンフィルタのウィンドウ（Window）は、マップ値Ｉ_ｍｅｄ（ｉ，ｊ）に対応している。マップ値Ｉ_ｍｅｄ（ｉ，ｊ）において、上述したように、ｉ＝−Ｍ_ω、…、Ｍ_ωであり、ｊ＝−Ｍ_ω、…、Ｍ_ωである。ウィンドウのウィンドウサイズ（ピクセル数）はＮ_ω×Ｎ_ω（Ｎ_ω＝２Ｍ_ω＋１）である。
ここで、階層ｈ（中層）のデプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）の座標系における対象ピクセルのピクセル座標（ｕ’，ｖ’）とウィンドウ内の座標系におけるマップ値Ｉ_ｍｅｄ（ｉ，ｊ）との対応関係は、以下の（３８）式により表す。

また、重みω_ｍｅｄ（ｉ，ｊ）は、以下の（３９）式により表す。

（３９）式において、対象ピクセルのピクセル座標（ｕ’，ｖ’）は、デプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）の座標系における重み付きメディアンフィルタのウィンドウ中心のピクセルを示している。Ｉ_Ｖ ^ｈ（ｕ，ｖ）は、画像ピラミッドの階層ｈにおける対象視点のカメラで撮像された画像データの各ピクセルの輝度値を示している。また、σ_ω１及びσ_ω２の各々は、それぞれ任意のパラメータである。
上述した（３２）式は、以下に示す３個の仮定を元に形成されている。
・同一画像データ内において対象ピクセル近傍（所定の範囲内の座標値）の他のピクセル値はデプスマップにおける奥行きが近い数値である。
・同一画像データ内において対象ピクセルの輝度値と近い輝度値を有する他のピクセルとは、デプスマップにおける奥行きの数値が近い。
・ＰＯＣ関数のピーク値が低いピクセルほど、デプスマップにおける奥行きの数値の信頼性が低い。

上記（３８）式及び（３９）式の各々において、デプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）及び輝度値Ｉ_Ｖ ^ｈ（ｕ，ｖ）それぞれの画像外の奥行き、輝度値の値を０とする。
上述したウィンドウ内の各ピクセルのマップ値Ｉ_ｍｅｄ（ｉ，ｊ）を用いて、マップ値（例えば奥行きの数値）をソートして、数列（ａ_ｋ）を生成する。ウィンドウ内の各ピクセルの重みω_ｍｅｄ（ｉ，ｊ）を用いて、重みω_ｍｅｄ（ｉ，ｊ）をソートして、重み数列（ω_ｋ）を生成する。そして、数列（ａ_ｋ）及び重み数列（ω_ｋ）を（３７）式に代入し、重み付き中央値ａ_ｍｅｄを算出し、重み付きメディアンフィルタのフィルタリングによるデプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）におけるピクセル座標（ｕ’，ｖ’）の対象ピクセルの奥行きの数値とする。以下に示す（４０）式による代入処理を行う。

上述した重み付きメディアンフィルタを用いたデプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）の更新処理、すなわち、対象ピクセルとしてのピクセル座標（ｕ’，ｖ’）を順次変化させ、デプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）における全てのピクセルの重み付き中央値ａ_ｍｅｄを算出し、ピクセル各々のマップ値を算出した重み付き中央値に更新する。
また、上述の説明としては、デプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）を例として行ったが、相関値マップＩ_α ^ｈ（ｕ，ｖ）、法線ベクトルマップＩ_Ψ ^ｈ（ｕ，ｖ）の各々についても、重み付きメディアンフィルタを用い、デプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）に対してと同様なマップ値の更新処理、ずなわち、それぞれのマップを更新する処理を行う。このとき、重み付きメディアンフィルタにおいて、ウィンドウ内のマップ値Ｉ_ｍｅｄ（ｉ，ｊ）はそれぞれのマップの数値、例えば相関値マップＩ_α ^ｈ（ｕ，ｖ）の場合、マップ値として相関値を、（３８）式に対応する式に代入する。同様に、法線ベクトルマップＩ_Ψ ^ｈ（ｕ，ｖ）の場合、マップ値として法線ベクトルを、（３８）式に対応する式に代入する。

上述したように、本実施形態によれば、画像ピラミッドにおける最下層以外、全ての階層において、重み付きメディアンフィルタにより、デプスマップＩ_Ｚ ^ｈ（ｕ，ｖ）、相関値マップＩ_α ^ｈ（ｕ，ｖ）及び法線ベクトルマップＩ_Ψ ^ｈ（ｕ，ｖ）の各々のマップのマップ値を更新するため、ウィンドウマッチングによって発生したピクセルの欠如を修復することができ、上層のマップにおけるピクセルの欠如の影響を、下層のマップに対して伝搬させることを抑制することが可能となる。

＜デプスマップにおける誤対応点の除去＞
ここで、デプスマップ生成装置１２０における誤対応点除去部１２３は、以下に示す誤対応点除去処理及びアーチファクト除去処理により、各視点のデプスマップ（デプスマップ生成部１２１が生成したデプスマップｄｅｐ）における誤対応点の除去と、各視点のデプスマップにおけるアーチファクトの除去を行う（提案手法）。上述したデプスマップ生成部１２１が生成したデプスマップｄｅｐを、デプスマップＩ_Ｚ（ｕ，ｖ）として以下において説明する。

・誤対応点除去処理
本処理方法においては、グラフカットの手法を用いて誤対応点の除去を行う。ある視点のデプスマップにおいて誤対応点であっても、同一の３次元座標（世界座標）の座標点を復元する別の視点（近傍にある他の視点）のデプスマップにおいては、誤対応点とならない可能性がある。このため、本実施形態における誤対応点除去処理は、誤対応点の評価対象の対象視点のデプスマップについて、カメラ位置の近い近傍の他の視点である参照視点のデプスマップとの整合性を取ることにより、対象視点におけるデプスマップの誤対応点を除去する処理を行っている。特に、上述したような画像ピラミッドの階層における階層的探索を用いるデプスマップ生成は、誤対応点が画像ピラミッドの上層から下層となるに従って広がり、下層のデプスマップ上でクラスタ状に発生し易い。
したがって、本実施形態においては、画像ピラミッドの下層においてクラスタ状に発生した誤対応点について、誤対応点の発生した視点（対象視点）と、近傍の他の視点（参照視点）との整合性を取るため、グラフ理論におけるグラフカットを用いた誤対応点除去を行う。

グラフカットは、Ｓノード（Source node:lnlier）とＴノード（Sink node:Outlier）とを含む重み付き有向グラフにおいて、Ｓ−Ｔカットを求めて、Ｓノード及びＴノードの各々の２値のラベリングを行う手法である。ここで、Ｓ−Ｔ カットとは、Ｓノードからピクセルに対応するノードに向かうエッジ、あるいは各ピクセルに対応するノードからＴノードに向かうエッジの重みが最小となるカットラインを求めて、ＳまたはＴの２値のラベリングを行う。
このとき、上記有向グラフのエッジの重みに対して、エネルギー関数の各項を割り当てて、エネルギー最小化問題を解くことにより、Ｓ−Ｔカットを行っている。また、Ｓ−Ｔカットを画像処理に適用する場合、対象のノードであるピクセルの近傍にある他のピクセルとの連結関係を考慮する必要もある。

図１２は、デプスマップＩ_Ｚ（ｕ，ｖ）における誤対応点を除去するグラフカットの処理を説明する図である。図１２においては、グラフカットするグラフが示されている。すなわち、対象となる視点Ｖ_Ｒ∈Ｖにおいて、デプスマップＩ_Ｚ（ｕ，ｖ）上の各々のピクセル座標（ｕ，ｖ）のピクセルｍのノード（Node：each pixel）が正対応点（正しい３次元復元点）であるか、または誤対応点であるか（誤った３次元復元点）かであるかの２値のラベリング問題をグラフカットにより解く。図１２において、各ノードがピクセルｍを示しており、Ｓノード（Source node）が正対応（Inlier）のラベルとし、Ｔノード（Sink node）が誤対応（Outlier）のラベルとしている。各ノードであるピクセルに対してＳノードから延びるエッジ（edge1）と、各ピクセルからＴノードに延びるエッジ（edge2）が示されている。

また、隣接する他のピクセルとの連結関係のため、対象とするピクセルと、この対象のピクセルに対して隣接する近傍の４つのピクセルの各々の４個のピクセル）との間について対応するノード間に双方向のエッジ（edge3）を加える。上述した４つのピクセルは、例えば、３次元座標において、対象のピクセルのピクセル座標（ｕ，ｖ）に対して、上下左右に隣接するピクセルのピクセル座標（ｕ−１，ｖ）、ピクセル座標（ｕ，ｖ−１）、ピクセル座標（ｕ＋１，ｖ）及びピクセル座標（ｕ，ｖ＋１）である。そして、全てのピクセルのノードを表す集合をＮとし、全てのピクセル間のエッジを表す集合をＥとする。この各エッジに対して重みを追加し、Ｓノードからピクセルのノード（edge1）の各々に向かうエッジの重みをＥ_{ｄａｔａ１}（ｍ）とし、ピクセルのノードの各々からＴノードに向かうエッジ（edge2）の重みをＥ_{ｄａｔａ２}（ｍ）とし、隣接するピクセル（例えば、ｍ_１−ｍ_２）のノード間の関係を表すエッジ（edge3）の重みをＥ_{ｓｍｏｏｔｈ}（ｍ_１−ｍ_２）とする。このとき、グラフカットとしては、以下の（４１）式の全エネルギＥ_ａｌｌ（Ｎ，Ｅ）を最小化する問題となる。

重みＥ_{ｄａｔａ１}（ｍ）は、ラベルＳからピクセルのノードに対する各々のエッジ（edge1）の重みであり、そのノードに対応するピクセルの正対応点らしさの程度を表す数値である。すなわち、ピクセルｍが正対応点であることを示す重みＥ_{ｄａｔａ１}（ｍ）が大きいほど、Ｓノードからピクセルｍのノードに向かうエッジがＳ−Ｔカットに含まれにくくなる。本実施形態において、ＰＯＣ関数のピーク値が高いピクセルは、正対応点である可能性が高いと仮定している。このため、重みＥ_{ｄａｔａ１}（ｍ）は、本実施形態において以下の（４２）式により表している。（４２）式において、λ_Ｅ１はコストの優先度を表しており、σ_Ｅ１はパラメータを示している。Ｉ_α（ｍ）は各ピクセルの相関値を示す相関値マップである。

一方、重みＥ_{ｄａｔａ２}（ｍ）は、ピクセルのノードからラベルＴに対する各々のエッジ（edge2）の重みであり、そのノードに対応するピクセルの誤対応点らしさの程度を表す数値である。すなわち、ピクセルｍが誤対応点であることを示す重みＥ_{ｄａｔａ２}（ｍ）が大きいほど、ピクセルｍのノードからＴノードに向かうエッジがＳ−Ｔカットに含まれにくくなる。本実施形態において、対象となるピクセルの奥行きと、このピクセルを近傍の視点に対して再投影したピクセルの奥行きとの差分が大きいほど、対象となるピクセルは誤対応点である可能性が高いと仮定している。このため、重みＥ_{ｄａｔａ２}（ｍ）は、本実施形態において以下の（４３）式により表している。（４３）式において、λ_Ｅ２はコストの優先度を表しており、σ_Ｅ２はパラメータを示している。Ｃは、Ｖ_Ｒの作成時における近傍の視点群である。Ｚ’は、参照視点Ｖ_Ｒのピクセルの３次元点を近傍の他の視点Ｃ_ｋの３次元点に変換した際のこのピクセルの奥行きを示している。Ｉ_Ｚ、Ｃｋ（ｍ’）は、対象となる視点のピクセルｍに対応する、この対象の視点の近傍の視点Ｃ_ｋにおけるピクセルｍ’の奥行きを表している。

また、上記（４３）式において、奥行きＺ’及びピクセルｍ’の各々は、以下の（４４）式に示す関係を満たしている。この（４４）式において、Ｒ_Ｃｋは、対象の視点Ｖ_Ｒにおけるカメラ座標から、この対象の視点Ｖ_Ｒの近傍の他の視点Ｃ_ｋのカメラ座標への回転を示している。また、ｔ_Ｃｋは、対象の視点Ｖ_Ｒにおけるカメラ座標から、この対象の視点Ｖ_Ｒの近傍の他の視点Ｃ_ｋのカメラ座標への並行移動量を示している。また、Ａ及びＡ_Ｃｋの各々は、参照の視点Ｖ_Ｒ及び参照の視点Ｖ_Ｒの近傍の視点Ｃ_ｋそれぞれのカメラの内部パラメータ示している。ｓは拡大率あるいは縮小率を示している。また、Ｉ_Ｚ（ｍ）は、対象の視点のデプスマップＩ_Ｚ（ｕ，ｖ）における対象のピクセルｍの奥行きを示している。

一方、重みＥ_{ｓｍｏｏｔｈ}（ｍ_１−ｍ_２）は、対象のピクセルと隣接するピクセルとのラベルの一致し易さを示している。すなわち、重みＥ_{ｓｍｏｏｔｈ}（ｍ_１−ｍ_２）が大きくなるほど、ｍ_１及びｍ_２の各々の間のエッジ（edge3）がＳ−Ｔカットに含まれ難くくなる。本実施形態においては、対象のピクセルの奥行きが、この対象のピクセルに隣接する他のピクセルの奥行きとの差が大きくなるエッジ（edge3）において、正対応点及び誤対応点の各々のラベルが変化し易いと仮定している。このため、重みＥ_{ｓｍｏｏｔｈ}（ｍ）は、本実施形態において以下の（４５）式により表している。（４５）式において、λ_Ｅ３はコストの優先度を表しており、σ_Ｅ２はパラメータを示している。Ｉ_Ｚ（ｍ_１）及びＩ_Ｚ（ｍ_２）の各々は、対象の視点のデプスマップＩ_Ｚ（ｕ，ｖ）における対象のピクセルｍ_１とこのピクセルｍ_１に隣接するピクセルｍ_２との各々の奥行きを示している。

そして、誤対応点除去部１２３は、上述したように定義された図１２に示すグラフ、及び（４１）式から（４５）式の各々を用いて、グラフカットの手法によって対象となる視点のデプスマップにおいてＳ−Ｔカットを求め、誤対応点除去処理を行う。また、誤対応点除去部１２３は、求めたＳ−Ｔカットによって、Ｓノードと同じラベルのノードに対応するピクセルを正対応点と判定し、一方、Ｔノードと同じラベルのノードに対応するピクセルを誤対応点と判定する。誤対応点除去部１２３は、誤対応点と判定したピクセルをデプスマップから除去するため、デプスマップＩ_Ｚ（ｕ，ｖ）及び相関値マップＩ_α（ｕ，ｖ）の各々における、誤対応点と判定されたピクセルの値を０とする。誤対応点除去部１２３は、多視点画像Ｖに含まれる全ての視点に対して、上述したＳ−Ｔカットを求めて、各視点のデプスマップにおける誤対応点を除去する処理を行う。

本実施形態によれば、上述したように、ＰＯＣ関数の相関値を重み付けに用い、Ｓ−Ｔカットを求めてグラフカットによって、各ピクセルが正対応点であるか誤対応点であるかのラベリングを行い、誤対応点と判定されたピクセルの除去を行うことにより、３次元座標の座標点群を世界座標に座標変換した際に残される誤対応点を効果的に除去することができ、各視点のデプスマップから復元される３次元形状の画像の形状の復元精度を向上させることができる。

図１３は、デプスマップにおけるグラフカットの処理による誤対応点の除去を示す図である。図１３（ａ）は、対象視点Ｖ_Ｒに配置されたカメラで撮像された画像データを示している。図１３（ｂ）は、図１３（ａ）の画像データから生成されたデプスマップを示している。図１３（ｃ）及び図１３（ｄ）の各々は、それぞれ近傍の他の視点である参照視点Ｃ_ｋに配置されたカメラの画像データから生成されたデプスマップを示している。図１３（ｂ）から図１２に示すようなグラフを作成し，図１３（ｃ）、図１３（ｄ）から各エッジに対する重みを計算し、Ｔノードとのエッジを残したピクセルｍを誤対応点とする。図１３（ｅ）は、上記誤対応点のピクセルｍの部分を白抜きとして示している。図１３（ｆ）は、図１３（ｅ）において白抜きとなった部分のピクセルを、図１３（ｂ）から削除したデプスマップを示している。

・アーチファクト除去処理
本処理方法においては、閾値処理の手法を用いてアーチファクトの除去を行う。このアーチファクトは、多視点ステレオのアルゴリズムによって復元される、撮像した３次元形状の物体において現実には存在しない物体表面上に生成される構造物である。また、アーチファクトは、対象の視点において物体境界及びオクルージョン境界の各々となる領域で復元される傾向がある。多視点ステレオのアルゴリズムにおいては、マッチングウィンドウという小領域毎に、３次元座標の座標点の奥行きを推定しているため、物体境界で背景となるピクセルにおいても、このマッチングウィンドウ内に含まれる前景の奥行きを推定するため、アーチファクトとして復元される。

また、すでに説明した誤対応点の除去と異なり、これから説明する除去処理の対象となるアーチファクトは、対象となる視点のカメラの位置の近傍の他の視点のデプスマップにおける奥行きの差分としては差が現れ難い。このため、アーチファクトについては、すでに述べた誤対応点除去処理においては効果的な除去が行うことができない。このため、対象となる視点のカメラ位置のデプスマップと、この対象となる地点に対して大きく異なる位置の他の視点のカメラ位置におけるデプスマップとの整合性を取る必要がある。

しかしながら、カメラ位置が大きく異なる視点間においては、３次元形状を復元する対象である対象物体における復元領域の範囲も変わり易くなる。このため、対象となる視点と、比較する視点との各々におけるデプスマップ間に差分が認められる場合、その差分がアーチファクトを原因とするものか、あるいは異なる視点間において異なる領域を３次元形状に復元して異なっているのかを判断することが困難である。
このため、本実施形態においては、アーチファクトのピクセルを含む複数枚のデプスマップを用いて、これらデプスマップ同士の整合性が取れなくなる状態を場合分けすることで、アーチファクトのピクセルを以下に説明する閾値処理によって除去する。

図１４は、アーチファクトが発生した際における複数の視点のデプスマップ間の整合性を説明する図である。図１４（ａ）においては、カメラ位置の各々が異なる位置である視点Ｖｉｅｗ１、視点Ｖｉｅｗ２及び視点Ｖｉｅｗ３のデプスマップで再生した３次元形状にアーチファクトが発生している。視点Ｖｉｅｗ１から物体境界やオクルージョン境界（例えば、形状Ｏｂｊｅｃｔ２の突起部による境界５０２）として観察される領域においても、他の視点Ｖｉｅｗ２及び視点Ｖｉｅｗ３の各々からは物体境界やオクルージョン境界として観察されない。

同様に、視点Ｖｉｅｗ３から物体境界やオクルージョン境界（例えば、形状Ｏｂｊｅｃｔ２の突起部による境界５０１）として観察される領域においても、他の視点Ｖｉｅｗ１及び視点Ｖｉｅｗ２の各々からは物体境界やオクルージョン境界として観察されない。また、アーチファクトは、図１４（ａ）のように、形状の外側に発生し易い特性を有している。このため、視点Ｖｉｅｗ１のデプスマップから再生されたアーチファクトは、他の視点Ｖｉｅｗ２及び視点Ｖｉｅｗ３の各々のデプスマップから再生された形状に対してより手前に観察される。ここで、手前とは、各視点における奥行き方向に対し、視点により近い距離を示している。

図１４（ｂ）においては、視点Ｖｉｅｗ１、視点Ｖｉｅｗ２及び視点Ｖｉｅｗ３の各々のデプスマップの整合性と、再生された３次元座標におけるピクセルの関係とを示している。以下に、座標点Ａ、座標点Ａ’、座標点Ｂ、座標点Ｂ’、座標点Ｃ、座標点Ｃ’及び座標点Ｄ各々の座標点の整合性と関係性とを以下に示す。
座標点Ａと座標点Ａ’との各々においては、視点Ｖｉｅｗ１、視点Ｖｉｅｗ２それぞれによるデプスマップよって、座標点間の整合性を取ることはできない。しかしながら、視点Ｖｉｅｗのデプスマップから復元される形状Ｏｂｊｅｃｔ１の座標点Ａと、視点Ｖｉｅｗ２から復元される形状Ｏｂｊｅｃｔ２の座標点Ａ’とのいずれも正対応点のピクセルである。座標点Ａ及び座標点Ａ’の各々においては、視点Ｖｉｅｗ１のデプスマップと視点Ｖｉｅｗ２のデプスマップとの各々から復元される領域が異なっている例である。この座標点Ａと座標点Ａ’との再生に用いたデプスマップの各々における奥行きの差分は大きくなる。

また、座標点Ｂ及び座標点Ｂ’の各々と、座標点Ｃ及び座標点Ｃ’の各々とにおいては、視点Ｖｉｅｗ１及び視点Ｖｉｅｗ２間の整合性が取れていない。すなわち、視点Ｖｉｅｗ１のデプスマップから復元された座標点Ｂは正対応点のピクセルであり、視点Ｖｉｅｗ３のデプスマップから復元された座標点Ｂ’はアーチファクトのピクセルである。同様に、視点Ｖｉｅｗ１のデプスマップから復元された座標点Ｃ’はアーチファクトのピクセルであり、視点Ｖｉｅｗ３のデプスマップから復元された座標点Ｃは正対応点のピクセルである。座標点Ｃ’及び座標点Ｂ’の各々は、視点Ｖｉｅｗ１、視点Ｖｉｅｗ３それぞれにおけるオクルージョン境界において発生している。

ここで、座標点Ｂ及び座標点Ｂ’の各々と、座標点Ｃ及び座標点Ｃ’の各々とにおいては、視点Ｖｉｅｗ１のデプスマップと視点Ｖｉｅｗ３のデプスマップとの各々から復元される領域が同様である例である。この座標点Ｂ及び座標点Ｂ’と座標点Ｃ及び座標点Ｃ’との再生に用いたデプスマップの各々における奥行きの差分は小さくなる。また、アーチファクトである座標点Ｂ’の奥行きは、正対応点である座標点Ｂを復元した視点Ｖｉｅｗ１から観察した際、座標点Ｂに対してより視点Ｖｉｅｗ１に近い位置に復元される。アーチファクトである座標点Ｃ’の奥行きは、正対応点である座標点Ｃを復元した視点Ｖｉｅｗ３から観察した際、座標点Ｃに対してより視点Ｖｉｅｗ３に近い位置に復元される。

また、座標点Ｄにおいては、視点Ｖｉｅｗ２のデプスマップと視点Ｖｉｅｗ３のデプスマップにおける奥行きの差分が小さく、所定の範囲内であるとして整合性が取れている。この結果から、座標点Ｄの位置においては、視点Ｖｉｅｗ２のデプスマップと、視点Ｖｉｅｗ３のデプスマップとから対象物の同様の領域における同一の座標点Ｄが復元されている。

上述した図１４におけるデプスマップの整合性と座標点の対応とから、アーチファクトとするかあるいは正対応点とするかを判定する閾値を設定する。そして、アーチファクト除去部１２４は、設定した閾値を用いた閾値処理により、対象の視点Ｖ_ＲのデプスマップＩ_Ｚ（ｕ，ｖ）において、全てのピクセルを正対応点またはアーチファクトのいずれかであるかの判定を行う。設定される閾値は、以下の（４６）式により示す。アーチファクト除去部１２４は、以下の（４６）式を満たすピクセルｍをアーチファクトと判定する。

上記（４６）式において、ｔｈ_１及びｔｈ_２の各々は、任意に設定されるパラメータである。Ｚ’は、対象の視点Ｖ_Ｒの３次元座標における座標点を、近傍の他の視点Ｃ_ｋの座標系に対して座標変換した３次元座標における奥行きを示している。Ｉ_Ｚ，Ｃｋ（ｍ’）は、近傍の他の視点Ｃ_ｋのデプスマップにおけるピクセルｍに対応するピクセルｍ’の奥行きを示している。
また、奥行きＺ’及びピクセルｍ’の各々は、すでに説明した（４４）式の関係を満たす。また、上記（４６）式における視点Ｃ_ｋは、以下の（４７）式を満たす視点である。

上記（４７）式において、ｔｈ_３は、任意に設定されるパラメータである。ｄｅｇ（Ｖ_Ｒ，Ｃ_ｋ）は、視点Ｖ_Ｒと視点Ｖ_Ｒの近傍の他の視点Ｃ_ｋとの視差角を示している。
アーチファクト除去部１２３は、対象とする視点Ｖ_Ｒに対して隣接する他の視点Ｃ_ｋが複数存在する場合、隣接する全ての他の視点を候補とし、各候補について上記（４６）式により評価する。そして、アーチファクト除去部１２３は、候補の１個以上が（４６）式を満たす場合、対象のデプスマップにおけるピクセルをアーチファクトと判定する。
このとき、アーチファクト除去部１２３は、（４６）において、奥行きＩ_Ｚ，Ｃｋ（ｍ’）と奥行きＺ’との差分を奥行きＩ_Ｚ，Ｃｋ（ｍ’）により除算して正規化して正規化差分が、パラメータである閾値ｔｈ_１以下のピクセルｍが、ピクセルｍ’と同一のピクセルとして復元された座標点であるとして、正対応点と判定して除去しない。

一方、アーチファクト除去部１２３は、正規化差分がパラメータである閾値ｔｈ_２以上のピクセルｍが異なる領域の異なる座標点を復元したものであるとし、正対応点と判定して除去しない。そして、アーチファクト除去部１２３は、閾値ｔｈ_１を超えて、かつ閾値ｔｈ_２未満であるピクセルｍが、同様の領域における対応するピクセルｍ’と異なるピクセルとして復元されたとし、アーチファクトとして除去する。
また、アーチファクト除去部１２３は、対象の視点に対して、視野角が（４７）式においてパラメータである閾値ｔｈ_３以下の他の視点を、対象とする視点の近傍に位置し、アーチファクトの判定に適さないため対象の視点と比較する他の視点として用いない。

アーチファクト除去部１２３は、多視点画像における全て視点ＶのデプスマップＩ_Ｚ（ｕ，ｖ）上の全てのピクセルを、（４６）式及び（４７）式の各々により評価する。そして、アーチファクト除去部１２３は、（４６）式及び（４７）式の各々の条件を満たすピクセルｍを、デプスマップＩ_Ｚ（ｕ，ｖ）及び相関値マップＩ_α（ｕ，ｖ）において０とする処理を行いアーチファクトの除去を行う。

図１５は、対象の視点のピクセルが正対応点であるかアーチファクトであるかの判定処理を説明する図である。
図１５（ａ）は、対象の視点Ｖｉｅｗ２（Ｖ_Ｒ）のデプスマップから復元された座標点Ａ（ピクセルｍ）と、他の視点Ｖｉｅｗ１（Ｃ_ｋ）のデプスマップから復元された座標点Ａ’との比較を示している。図１５（ａ）において、アーチファクト除去部１２３は、視点Ｖｉｅｗ２の座標点Ａを視差角ｄｅｇ（Ｖ_Ｒ，Ｃ_ｋ）分回転させて、視点Ｖｉｅｗ１の座標系に座標変換している。そして、アーチファクト除去部１２３は、この座標変換した座標点Ａの視点Ｖｉｅｗ１からの奥行きＺ’と、対応する座標点Ａ’（ピクセルｍ’）の視点Ｖｉｅｗ１からの奥行きＩ_Ｚ，Ｃｋ（ｕ，ｖ）との差分（Ｉ_Ｚ，Ｃｋ（ｕ，ｖ）−Ｚ’）を求める。

そして、アーチファクト除去部１２３は、求めた差分（Ｉ_Ｚ，Ｃｋ（ｕ，ｖ）−Ｚ’）をＩ_Ｚ，Ｃｋ（ｕ，ｖ）で除算して正規化差分を求める。アーチファクト除去部１２３は、求めた正規化差分が上記（４６）式を満たすか否かの判定を行い、正規化差分が閾値ｔｈ_２を超えているため、座標点Ａのピクセルｍを正対応点と判定する。このとき、アーチファクト除去部１２３は、視点Ｖｉｅｗ１（Ｃ_ｋ）が（４７）式を満たすか否かの判定を行い、視点Ｖｉｅｗ２と視点Ｖｉｅｗ１とのなす視差角ｄｅｇ（Ｖ_Ｒ，Ｃ_ｋ）が閾値ｔｈ３を超えており、視点Ｖｉｅｗ１が視点Ｖｉｅｗ２との比較に用いるアーチファクトの判定に適していると判定している。

一方、図１５（ｂ）は、対象の視点Ｖｉｅｗ３（Ｖ_Ｒ）のデプスマップから復元された座標点Ｂ（ピクセルｍ）と、他の視点Ｖｉｅｗ１（Ｃ_ｋ）のデプスマップから復元された座標点Ｂ’との比較を示している。図１５（ｂ）において、アーチファクト除去部１２３は、視点Ｖｉｅｗ３の座標点Ｂを視差角ｄｅｇ（Ｖ_Ｒ，Ｃ_ｋ）分回転させて、視点Ｖｉｅｗ１の座標系に座標変換している。そして、アーチファクト除去部１２３は、この座標変換した座標点Ｂの視点Ｖｉｅｗ１からの奥行きＺ’と、対応する座標点Ｂ’（ピクセルｍ’）の視点Ｖｉｅｗ１からの奥行きＩ_Ｚ，Ｃｋ（ｕ，ｖ）との差分（Ｉ_Ｚ，Ｃｋ（ｕ，ｖ）−Ｚ’）を求める。

そして、アーチファクト除去部１２３は、求めた差分（Ｉ_Ｚ，Ｃｋ（ｕ，ｖ）−Ｚ’）をＩ_Ｚ，Ｃｋ（ｕ，ｖ）で除算して正規化差分を求める。アーチファクト除去部１２３は、求めた正規化差分が上記（４６）式を満たすか否かの判定を行い、正規化差分が閾値ｔｈ_１以上であり、かつ閾値ｔｈ_２以下であるため、座標点Ｂのピクセルｍをアーチファクトと判定する。このとき、アーチファクト除去部１２３は、視点Ｖｉｅｗ１（Ｃ_ｋ）が（４７）式を満たすか否かの判定を行い、視点Ｖｉｅｗ３と視点Ｖｉｅｗ１とのなす視差角ｄｅｇ（Ｖ_Ｒ，Ｃ_ｋ）が閾値ｔｈ_３を超えており、視点Ｖｉｅｗ１が視点Ｖｉｅｗ３と比較に用いるアーチファクトの判定に適していると判定している。

本実施形態によれば、上述したように、（４７）式によって得られる程度距離の離れた参照視点を用いて、対象視点の各ピクセルに対して閾値処理を用いたアーチファクト除去処理を行うことにより、すでに説明した誤対応点除去処理では取り除くことができないアーチファクトを効果的に除去することができ、各視点のデプスマップから復元される３次元形状の画像の形状の復元精度を向上させることができる。
また、本実施形態においては、複数の参照視点のうち１個でもアーチファクトと判定したピクセルを除去しているが、参照視点の対応するピクセルがアーチファクトである可能性を考慮し、複数の参照視点の多数決により、アーチファクトの判定を行うように、アーチファクト除去部１２４を構成しても良い。

メッシュモデル生成装置１３０は、デプスマップ生成装置１２０が算出したデプスマップに基づいてメッシュモデルを生成し、生成したメッシュモデルを表すデータを記憶装置２００及び出力装置３００に出力する。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

また、上記に説明した各装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…演算処理装置、１１０…関数算出装置、１１１…正規化部（受信部、平行化部）、１１２…ウィンドウ設定部、１１３…関数算出部、１１４…関数統合部、１２０…デプスマップ生成装置、１２１…デプスマップ生成部、１２２…フィルタ部、１２３…誤対応点除去部、１２４…アーチファクト除去部、１３０…メッシュモデル生成装置、２００…記憶装置、３００…出力装置、４００…バス、１１０…記憶部

Claims (8)

1. 多視点ステレオアルゴリズムに基づき、位相限定相関法を用いて複数の異なる視点の画像からデプスマップを生成するデプスマップ生成部と、
   正対応点のラベルの正対応点ノード及び誤対応点のラベルの誤対応点ノードの各々に対し、誤対応点の検出を行う対象である対象視点のピクセルに対応するノードから接続させるエッジ各々に対し、当該ピクセルと当該対象視点の近傍の他の視点である参照視点の対応するピクセルとの比較による第１重み付け数の付与を行い、また、当該対象視点におけるピクセルのノードと当該ピクセルに隣接する他の隣接ピクセルのノードとを接続するエッジに対し、前記対象視点におけるピクセル及び前記隣接ピクセル間の奥行きの差分に対応する第２重み付け数を付与して生成したグラフに対し、当該グラフを切断するグラフカットの切断線が通る前記エッジの各重み付け数の積算値が最小となるように行い、前記グラフにおける前記ノードの各々を前記正対応点あるいは前記誤対応点の前記ラベルに振り分け、誤対応点を除去する誤対応点除去部と、
   を備え、
   前記第１重み付け数が、
   前記正対応点のノード及び前記ピクセルに対応するノード間を接続するエッジに対する第１Ａ重み付け数と、前記ピクセルに対応するノード及び前記誤対応点のノードを接続するエッジに対する第１Ｂ重み付け数とから構成され、
   前記第１Ａ重み付け数が、前記他の視点との間における位相限定相関関数のピーク値に対応した数値とし、相関値が高いほど数値が高く設定され、
   前記第１Ｂ重み付け数が、近傍の他の視点である参照視点とにおける同一のピクセルの奥行きの差分に対応した数値とし、差分が大きくなるほど数値が高く設定され、
   前記第２重み付け数が同一の前記視点における隣接するピクセルのノードとの奥行きの差分が小さいほど数値が高く設定されている
   ことを特徴とするデプスマップ生成装置。
2. 前記誤対応点除去部が誤対応点除去を行った後に、異なった前記視点間におけるアーチファクトを除去するアーチファクト除去部をさらに備え、
   前記アーチファクト除去部が、前記対象視点における前記ピクセルの奥行きと、当該対象視点と所定の距離で離間された視点である比較視点における前記ピクセルを前記対象視点の座標系に変換した奥行きとの差分を求め、当該差分が予め設定された閾値と比較して、前記対象視点のピクセルをアーチファクトとするか否かの判定を行う
   ことを特徴とする請求項１に記載のデプスマップ生成装置。
3. 前記閾値が第１閾値及び第２閾値の各々からなり、
   前記アーチファクト除去部が、
   前記差分が前記第１閾値以下の場合、前記対象視点及び前記比較視点の各々において同一の前記ピクセルが同様の奥行きで復元されているため、前記対象視点の前記ピクセルをアーチファクトではないと判定し、
   前記差分が前記第１閾値を超え、かつ前記第２閾値未満である場合、前記対象視点及び前記比較視点の各々において同一の前記ピクセルが異なった奥行きで復元されているため、前記対象視点の前記ピクセルをアーチファクトであると判定し、
   前記差分が前記第２閾値以上である場合、前記対象視点の前記ピクセルが前記対象視点の前記ピクセルと異なる領域の前記ピクセルであるとして、前記対象視点の前記ピクセルをアーチファクトでないと判定する
   ことを特徴とする請求項２に記載のデプスマップ生成装置。
4. 前記アーチファクト除去部が、
   前記対象視点と前記比較視点との復元された前記ピクセルに対する視差角が予め設定した第３閾値未満の場合、前記比較視点を前記対象視点との比較に用いないと判定する
   ことを特徴とする請求項２または請求項３に記載のデプスマップ生成装置。
5. 複数の異なる前記視点の前記画像からのデプスマップを生成する際、前記画像間のピクセルのマッチング処理が前記ピクセルの分解能を徐々に上げる階層的探索により行われており、
   前記階層的探索における各階層の前記マッチング処理の終了後の前記デプスマップに対し、重み付きメディアンフィルタを用いて前記デプスマップにおける前記ピクセル毎の奥行きの数値を補正する
   ことを特徴とする請求項１から請求項４のいずれか一項に記載のデプスマップ生成装置。
6. 前記重み付きメディアンフィルタのウインドウにおける前記ピクセルの各々の重み数値が、対象とするピクセルとの距離、前記階層の画像における前記ピクセルの輝度値及び位相限定相関関数のピーク値に対応して設定されている
   ことを特徴とする請求項５に記載のデプスマップ生成装置。
7. デプスマップ生成部が、多視点ステレオアルゴリズムに基づき、位相限定相関法を用いて複数の異なる視点の画像からデプスマップを生成するデプスマップ生成過程と、
   誤対応点除去部が、正対応点のラベルの正対応点ノード及び誤対応点のラベルの誤対応点ノードの各々に対し、誤対応点の検出を行う対象である対象視点のピクセルに対応するノードから接続させるエッジ各々に対し、当該ピクセルと当該対象視点の近傍の他の視点である参照視点の対応するピクセルとの比較による第１重み付け数の付与を行い、また、当該対象視点におけるピクセルのノードと当該ピクセルに隣接する他の隣接ピクセルのノードとを接続するエッジに対し、前記対象視点におけるピクセル及び前記隣接ピクセル間の奥行きの差分に対応する第２重み付け数を付与して生成したグラフに対し、当該グラフを切断するグラフカットの切断線が通る前記エッジの各重み付け数の積算値が最小となるように行い、前記グラフにおける前記ノードの各々を前記正対応点あるいは前記誤対応点の前記ラベルに振り分け、誤対応点を除去する誤対応点除去過程と、
   を含み、
   前記第１重み付け数が、
   前記正対応点のノード及び前記ピクセルに対応するノード間を接続するエッジに対する第１Ａ重み付け数と、前記ピクセルに対応するノード及び前記誤対応点のノードを接続するエッジに対する第１Ｂ重み付け数とから構成され、
   前記第１Ａ重み付け数が、前記他の視点との間における位相限定相関関数のピーク値に対応した数値とし、相関値が高いほど数値が高く設定され、
   前記第１Ｂ重み付け数が、近傍の他の視点である参照視点とにおける同一のピクセルの奥行きの差分に対応した数値とし、差分が大きくなるほど数値が高く設定され、
   前記第２重み付け数が同一の前記視点における隣接するピクセルのノードとの奥行きの差分が小さいほど数値が高く設定されている
   ことを特徴とするデプスマップ生成方法。
8. コンピュータを、
   多視点ステレオアルゴリズムに基づき、位相限定相関法を用いて複数の異なる視点の画像からデプスマップを生成するデプスマップ生成手段、
   正対応点のラベルの正対応点ノード及び誤対応点のラベルの誤対応点ノードの各々に対し、誤対応点の検出を行う対象である対象視点のピクセルに対応するノードから接続させるエッジ各々に対し、当該ピクセルと当該対象視点の近傍の他の視点である参照視点の対応するピクセルとの比較による第１重み付け数の付与を行い、また、当該対象視点におけるピクセルのノードと当該ピクセルに隣接する他の隣接ピクセルのノードとを接続するエッジに対し、前記対象視点におけるピクセル及び前記隣接ピクセル間の奥行きの差分に対応する第２重み付け数を付与して生成したグラフに対し、当該グラフを切断するグラフカットの切断線が通る前記エッジの各重み付け数の積算値が最小となるように行い、前記グラフにおける前記ノードの各々を前記正対応点あるいは前記誤対応点の前記ラベルに振り分け、誤対応点を除去する誤対応点除去手段、
   として動作させるためのプログラムであり、
   前記第１重み付け数が、
   前記正対応点のノード及び前記ピクセルに対応するノード間を接続するエッジに対する第１Ａ重み付け数と、前記ピクセルに対応するノード及び前記誤対応点のノードを接続するエッジに対する第１Ｂ重み付け数とから構成され、
   前記第１Ａ重み付け数が、前記他の視点との間における位相限定相関関数のピーク値に対応した数値とし、相関値が高いほど数値が高く設定され、
   前記第１Ｂ重み付け数が、近傍の他の視点である参照視点とにおける同一のピクセルの奥行きの差分に対応した数値とし、差分が大きくなるほど数値が高く設定され、
   前記第２重み付け数が同一の前記視点における隣接するピクセルのノードとの奥行きの差分が小さいほど数値が高く設定されている
   プログラム。