JP2006509211A

JP2006509211A - 多重同期ビデオストリームからの動的奥行き復元

Info

Publication number: JP2006509211A
Application number: JP2004558654A
Authority: JP
Inventors: ハイタオ，; ハープリートシンソーニー，; ラケッシュクマール，
Original assignee: サーノフ・コーポレーション
Priority date: 2002-12-09
Filing date: 2003-12-09
Publication date: 2006-03-16
Also published as: WO2004054228A3; WO2004054228A2; US20040109585A1; EP1570642A2; US6847728B2

Abstract

複数台のカメラからの画像のシーケンスの動的奥行きマップを生成する方法は、カラーに基づく画像セグメンテーションによって誘起された３次元区分的に平坦な表面パッチの集合によってシーンをモデル化する。この表現は、３次元幾何、運動、及び大域的な可視性制約が空間と時間に亘って実施される増分解析を使用して連続的に評価される。提案されたアルゴリズムは、空間カラー整合性制約を組み込むコスト関数と、滑らかなシーン運動モデルとを最適化する。

Description

[0001]本発明は、奥行き情報を復元する画像処理アルゴリズムに関し、特に、簡易化された客観的な関数によって最適化されたカラーセグメンテーションとオプティカルフローとを用いて奥行きマップを生成する増分アルゴリズムに関する。

背景

[0002]多視点から同時に撮影された画像を使用して奥行き情報を復元する問題は広く研究されている。近年、コンピューティングテクノロジー及びイメージングテクノロジーの進歩に伴って、多重同期高品質ビデオストリームの撮影は容易化し、同期撮影を使用して動的シーンの奥行きマップを復元する問題が徐々に注目されている。以下の内容では、この問題は動的奥行き復元と呼ばれる。動的奥行き復元は、奥行き解法が、望ましくは、複数の視野だけでなく、異なる時刻に亘る画像の整合性を取る従来のステレオ計算問題の拡張であるとみなされる。

[0003]動的奥行き復元の簡単なアプローチは標準的なステレオ推定アルゴリズムを各時刻で適用することである。初期のステレオアルゴリズムに関する包括的な調査は、論文：Ｕ．Ｒ．Ｄｈｏｎｄら著、「ＳｔｒｕｃｔｕｒｅＦｒｏｍＳｔｅｒｅｏ：ａＲｅｖｉｅｗ」、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｙｓｔｅｍ，ＭａｎａｎｄＣｙｂｅｒｎｅｔｉｃｓ、ｖｏｌ．１９、Ｎｏ．６、ｐｐ．１４８９−１５１０、１９８９に記載されている。二つの画像シーケンスから奥行き情報を見つける１つの新しいアプローチは、論文：Ｈ．Ｔａｏら著、「ＧｌｏｂａｌＭａｔｃｈｉｎｇＣｒｉｔｅｒｉｏｎａｎｄＣｏｌｏｒＳｅｇｍｅｎｔａｔｉｏｎＢａｓｅｄＳｔｅｒｅｏ」、Ｐｒｏｃ．ＷｏｒｋｓｈｏｐｏｎｔｈｅＡｐｐｌｉｃａｔｉｏｎｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ（ＷＡＣＶ２０００）、ｐｐ．２４６−２５３、２０００年１２月に記載されている。これらのアルゴリズムの基礎となる原理は、全視野に亘って画像一致指標を最適化する奥行き解法を見つけることである。この指標は空間一致指標と称される。しかし、この簡単な解法は多重視野画像シーケンスに存在する二つの制約を無視する。

[0004]第１の制約は、シーン点の３次元運動と、多重同期画像内のその２次元投影との間の幾何学的な関係を符号化する。この関係はシーンフロー制約と称される。この制約を適用することにより、時間的な２次元画像の対応は、３次元シーン運動を推論するため、したがって、長時間に亘る奥行き情報を制約するため使用される。オプティカルフロー技術を使用して処理されたステレオ画像に関して、正確なオプティカルフロー計算は、シーンフロー制約を奥行き推定に巧く直接適用するために重要である。これらの計算が重要であるのは、物体境界とテクスチャのない領域における不確実なフローの影響が最終的な奥行きマップに波及するからである。

[0005]第２の制約は、シーン内の物体が一般に滑らかに変形又は移動するという観察から生じる。この制約を適用することは、時間的に整合性のある奥行き解法を獲得し、単一の時刻で解明することが容易ではない曖昧さを除去するために役立つ。この制約は、論文：Ｋ．Ｈａｎｎａら著、「ＣｏｍｂｉｎｉｎｇＳｔｅｒｅｏａｎｄＭｏｔｉｏｎＡｎａｌｙｓｉｓｆｏｒＤｉｒｅｃｔＥｓｔｉｍａｔｉｏｎｏｆＳｃｅｎｅＳｔｒｕｃｔｕｒｅ」、Ｐｒｏｃ．Ｉｎｔ．Ｃｏｎｆ．ｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ、ｐｐ．３５７−３６５、１９９３に記載されているような剛体パラメトリック運動モデルを使用して適用されている。この制約はまた、論文：Ｙ．Ｚｈａｎｇら著、「Ｉｎｔｅｇｒａｔｅｄ３ＤＳｃｅｎｅＦｌｏｗａｎｄＳｔｒｕｃｔｕｒｅＲｅｃｏｖｅｒｙｆｒｏｍＭｕｌｔｉｖｉｅｗＩｍａｇｅＳｅｑｕｅｎｃｅｓ」、Ｐｒｏｃ．ＩＥＥＥＣｏｎｆ．ｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ ’００）、ｐｐ．ＩＩ−６７４−６８１、２０００に記載されているような非剛体パラメトリック運動モデルを使用して適用されている。

発明の概要

[0006]本発明は、各組が様々な視点から得られた画像を含む、シーンの分割された画像の組のシーケンスからシーンの動的奥行きマップを生成する方法に具現化される。この方法は、現在の分割された画像の組内の各セグメントに対する時間的奥行き予測値を得るため、現在の組内の１つの画像におけるセグメントと前の画像の組における画像内の対応するセグメントとの間に時間的な対応を定める。この方法は、次に、現在の画像の組の１つの画像内の各セグメントに対する空間的奥行き予測値を得るため、現在の分割された画像の組内のセグメント間に空間的な対応を定める。この方法は、次に、セグメントのそれぞれに対する初期奥行き推定値として時間的奥行き予測値又は空間的奥行き予測値を選択し、ワープ画像を作成するため現在画像を現在の画像の組における他の各画像の座標系に歪ませる。この方法は、次に、ワープ画像と現在の画像の組内の他の画像のそれぞれとの間の差の指標を生成する。奥行き値を選択するステップ、画像を歪ませるステップ及び差の指標を生成するステップは、差の最小指標が見つけられるまで繰り返される。

詳細説明

概要
[0007]本発明は、以下の詳細な説明を添付図面と共に読むときに最もよく理解される。なお、慣行に従って、図面の種々の特徴は縮尺が正しくないことを強調しておく。これに対して、種々の特徴の寸法は明確にするため任意に拡大又は縮小される。図面には後述の図が含まれる。

[0017]本発明は、区分的に平坦な表面パッチにより構成されたシーン表現が増分解析の範囲内で推定される動的奥行き復元方法を対象とする。典型的なアルゴリズムでは、この表現は、１つには入力画像のカラーセグメンテーションに基づいて、もう１つにはオプティカルフローに基づいて導出される。提案された解析は、空間と時間の両方に亘る幾何、運動、及び可視性に関する制約を統合する。より詳細には、画像内の各均一色領域と各テクスチャ領域に対応するシーン表面は、３次元平面としてモデル化される。この平面の運動は定速度モデルを使用して記述される。この表現のための空間一致指標及びシーンフロー制約が解析される。典型的な動的奥行き復元アルゴリズムは、空間一致指標が各平坦な表面の平面外運動だけに依存するという観察に基づいて開発された。この典型的な方法は、シーンフロー制約を明示的に使用することなく運動モデルを実施し、したがって、オプティカルフロー計算における誤差の奥行き推定への伝播を回避する。上記のＴａｏらによる論文で提案された大域的マッチングフレームワークは、可視性制約を実施し、同時に、奥行き解法を初期化し改良するため採用される。その結果として、可視性制約は様々な視野と様々な時刻の両方に亘って実施される。

[0018]図１Ａ及び１Ｂは、マルチカメラビデオ撮影システムの構成を示す。簡潔にするため、また、一般性を失わないように、単一の平坦な構造体の運動に関する解析を最初に説明する。この解析は区分的に平坦なシーンの記述を取り扱うためにそのまま適用される。本明細書において説明される実施形態のすべてにおいて、多重画像を復元するカメラの固有パラメータ及び外部パラメータの両方は既知であると仮定する。カメラ外部パラメータ、すなわち、カメラの相対的位置及び方向は、基準視野のカメラ座標系に関して表現される。平坦なシーン表面はまたこの座標系で表現される。Ｍ＋１台のカメラの較正マトリックスは、Ｋ_Ｖ，ν＝０，．．．，Ｍである。回転と並進のペア（Ｒ_０，Ｔ_０）＝（Ｉ，０）は基準カメラ０のカメラ姿勢を表現し、ペア（Ｒ_ν，Ｔ_ν）は検査カメラν∈｛１，．．．，Ｍ｝の姿勢を表現する。本発明は以下で単一の基準カメラ及び単一の検査カメラの点から説明されているが、複数台の検査カメラを使用して実施することが考慮されている。これは、時刻ｔにおけるセグメントｓ１００と、時刻ｔ＋１におけるセグメントｓ１０２を表す図１Ａに示されている。時刻ｔとｔ＋１との間のセグメントｓの運動は、回転と並進のペア
Ｒ_ｓ，ｔ→_ｔ＋１、Ｔ_ｓ，ｔ→_ｔ＋１によって表現される。

[0019]時刻ｔの間に、基準視野内の奥行きマップだけが推定される。この表現において、基準視野内のＳ個の均一色セグメントのそれぞれはワールド内の平坦な表面に対応する。したがって、奥行きマップは、平面パラメータ

から導出され、式中、ｎ_{ｓ，ｔ，０}は時刻ｔにおけるセグメントｓ内の平坦な表面の法線ベクトルであり、ｄ_{ｓ，ｔ，０}はその平面から基準カメラの中心までの距離である。

[0020]いかなる時刻でも、シーン平面の関係する複数の視野は空間マッチング制約の原因となる。これらの視野の中で同じシーン平面上の一致した画像点は平面の幾何を過度に制約する。他方で、時間経過中にシーン平面の関係する複数の視野は平坦なシーンフロー制約の原因となる。時間経過中に同じシーン平面上の一致した画像点は、平面の３次元運動を過剰に制約し、次に、平面の幾何を過剰に制約する。典型的な動的奥行き復元アルゴリズムは、運動の滑らかさによる事前制約を受ける空間一致指標及び時間一致指標を最適化する区分的に平坦な奥行きマップを提供する。

空間一致指標
[0021]Ｔａｏらによる上記の論文に記載された大域的マッチングフレームワークを採用して、典型的な方法は、実際の検査視野と、基準画像及びその奥行きマップに基づいて予測された検査視野との間の差の関数である一致指標を計算する。予測は、大域的可視性がｚバッファリングを使用して取り扱われる奥行きに基づく前方ワーピングによって行われる。各セグメントのワーピング関数は、その平面パラメータによって決まるホモグラフィである。簡潔に言うと、本発明の典型的な実施形態において、大域的一致指標は、実際の検査画像と、ホモグラフィを使用して基準画像を前方ワーピングすることにより得られた予測された検査画像との間の平方差の合計の、全画像セグメントと全検査画像に関する合計である。図１Ｂに示されているように、

[0022]より詳細に説明すると、時刻ｔにおいて、基準視野Ｉ_ｔ，０と、検査視野Ｉ_ｔ，ｖ，ν＝１，．．．，Ｍに関して、大域的一致指標は式（１）によって与えられる。

式中、

であり、ｇ（）は平方差を合計する関数である。なお、検査視野内で可視的な画素だけが考慮されることに注意すべきである。セグメントｓに関して、前方ワーピング関数は、平面モデルによって導入されたホモグラフィＨ_{ｓ，ｔ，０→ｓ，ｔ，ｖ}によって、セグメントＩ_{ｓ，ｔ，０}の画像１００を検査視野ν １００’へ歪ませる。このホモグラフィは式（２）に示されるように計算される。

式中、Ｒ_０→ν及びＴ_０→νは、基準視野０と検査視野νとの間の相対的回転及び並進である。このホモグラフィは、セグメントｓの平面に対する法線であるベクトルと、カメラ中心から平面までの距離だけによって決定される。したがって、ホモグラフィは平面外運動だけによる影響を受け、その理由は平面内運動が平面法線と距離を変わらない状態のままにするからである。

シーンフロー制約
[0023]図１Ｂは、基準画像１１０と検査画像１１２の二つの画像を表す。これらの画像のそれぞれにおいて、平面セグメントｓは並進と回転を行う。画像１１０において、セグメントの初期位置はセグメント１００として示され、その並進及び回転させられた位置はセグメント１０２として示される。基準画像１１２において、初期位置はセグメント１００’によって表現され、並進及び回転させられた位置はセグメント１０２’によって表現される。これらのシーンフロー制約は、平面の３次元運動と、得られた２次元オプティカルフロー場又は画像対応を関係づける。図１Ｂを参照すると、セグメントｓの平面１００は、平面１０２を作成するため、回転／並進ペア
（Ｒ_{ｓ，ｔ→ｔ＋１，}Ｔ_{ｓ，ｔ→ｔ＋１}）によって記述された運動をさせられる。時刻ｔとｔ＋１の間の基準視野内の平面１００の画像投影は式（３）のホモグラフィによって関係づけられる。

また、時刻ｔにおける基準視野内の平面１００と、時刻ｔ＋１における検査視野内の並進及び回転させられた平面１０２’との間のホモグラフィは式（４）によって与えられる。

式中、第１項は二つの時刻の間のセグメントｓの視野νにおけるホモグラフィであり、視野νのカメラ座標系において式（３）を用いて計算可能である。第２項は前のセクションで定義された空間ホモグラフィである。したがって、式（４）は、検査画像１１２内の平面１０２’と一致させることを試みるべく基準画像１１０内の平面１００を前方ワープするため使用される。

[0024]平面の３次元運動によって誘導されたセグメントｓの時間一致指標

は式（５）によって与えられる。

この誤差関数は、運動前の視野０と運動後の視野νとの間の一致指標を計算する。なお、ちょうど１つの視野に対する時間ホモグラフィ制約は平面運動パラメータの解法のために十分であることに注意すべきである。したがって、誤差関数は平面の運動パラメータを過剰に制約する。時間一致指標が平面内運動及び平面外運動の両方による影響を受けることは明らかである。

運動の滑らかさ制約
[0025]定速度モデル又は定加速度モデルのような種々の運動モデルは、奥行き推定プロセスを制約するため利用される。本発明の典型的な実施形態は、各セグメントの局所座標系における一定並進／回転速度モデルを使用する。この座標系は基準カメラ座標系の原点を画像セグメントの重心に対応する平面上の点に並進させることにより得られる。後述の瞬時的な運動定式化を使用して、このモデルはまた法線ベクトルｎ及び平面距離

に一定速度を生じさせることがわかる。すなわち、平面の運動に対する定速度モデルによってその平面外運動パラメータに対する定速度モデルが生じる。このモデルからの逸脱は、奥行き推定プロセスに統合された運動の滑らかさコスト関数によってペナルティが科される。

[0026]本発明の典型的な実施形態で使用される瞬時的な運動定式化が平面とそのパラメータｎ及びｄの両方に関して一定である運動を生じさせることは次のように明らかにされる。平坦なシーンが、ω及びτがそれぞれ回転及び並進であるとき、
Ｐ’＝ω×Ｐ＋τによって記述される運動を行うならば、平面ｎ^ＴＰ＝ｄの平面外運動は、ｎ’＝ω×ｎ及びｄ’＝ｎ^Ｔτによって与えられる。その結果、定速度ω及びτに対し、平面パラメータｎ及びｄに対して誘導される速度も一定である。

[0027]セグメントｓに対し、運動の滑らかさコスト関数は式（６）によって与えられる。

式中、κは第２項の重みであり、δは割り算のオーバーフローを避けるため式に加えられる小さい正の数である。

バッチ解析及び増分推定
[0028]上記の幾何制約及び運動モデルが定義されると、時刻１からＴまでの奥行きマップを推定することは、式（７）で与えられるコスト関数を最小にする平面パラメータを見つけることと等価である。

式中、定数α、β、γ、λ∈［０，１］は各項の重みである。理想的には、上記関数のすべての項が最適奥行きマップを見つけるため利用されるべきである。しかし、第２項、すなわち、シーンフロー制約は、長時間に亘るホモグラフィに依拠し、次に、このホモグラフィがフロー又は区分的にパラメトリックである運動推定の精度に依存する。この項はテクスチャのない領域又は小さい空間サポートを備えたセグメントに対して不確実になるかもしれない。したがって、この項は本発明の典型的な実施形態で使用するアルゴリズムのためのコスト関数から削除される。したがって、１つの典型的なコスト関数は、奥行きマップを計算するため空間一致指標と運動の時間的な滑らかさだけに依存する。

[0029]平面内運動の滑らかさ項Ｅ_ｉもまた同じ理由から落とされる。このモードでは、オプティカルフローの項における運動推定は依然として利用されるが、画素又はセグメント間の時間的対応関係を設定することだけを目的とする。この対応関係は、運動の滑らかさ制約を使用して平面パラメータを予測するために続いて利用される。このような簡単化はオプティカルフローの精度の必要条件を下げるが、その理由は、対応する画素が正しいセグメント内にある限り、フロー場の誤差が平面パラメータの予測に影響を与えないからである。この簡単化の利点はさらに後述される。したがって、式（７）のコスト関数は式（８）に示されたコスト関数に簡単化される。

[0030]時刻ｔより前の奥行き情報が与えられるか、又は既に推定されているとき、時刻ｔの奥行きは増分解析を使用して計算できる。コスト関数は、時刻ｔにおける空間一致指標と、運動の滑らかさ指標とにより構成される。より詳細には、増分解析のためのコスト関数は式（９）によって与えられる。

式中、

は滑らかな運動モデルに基づく予測された平面パラメータを表す。関数

は２組の平面パラメータ

と

との間の差を表す。この関数はセグメントの内部の点間の平均距離として計算される。

[0031]上記の解析は、本発明の典型的な実施形態によって使用されるアルゴリズムを定式化する。上記の増分解析に基づく典型的なアルゴリズムの基本フローチャートは図２に示される。

[0032]このアルゴリズムの第１のステップであるステップ２００は初期基準画像及び検査画像を取得する。次に、ステップ２０５において、このプロセスはこれらの画像を使用して初期奥行きマップを生成する。この奥行きマップは、初期基準視野及び１つ以上の初期検査視野を二つのステレオ画像として使用して、上記のステレオマッチングアルゴリズムの何れにより生成してもよい。これらの画像の時刻パラメータはｔ＝０である。初期奥行きマップを見つける１つの方法は、後述するように、カラーセグメンテーションアルゴリズムを初期基準視野及び検査視野に適用することである。

[0033]ここに説明するカラーセグメンテーションアルゴリズムは画像の組に対する初期奥行きマップを取得するため使用される。このアルゴリズムは、しかし、後述のように、各時刻における画像に対する奥行きマップを生成する増分解析においても使用される。

[0034]ステレオマッチングは、曖昧さ、シーン構造の変化を原因とする画像歪み、シャープな表面境界の描写、及び二つの画像のオクルージョン／オクルージョン解消を原因とする不一致領域のマッチングの問題を取り扱う。典型的に、マッチングの曖昧さを取り扱うため、ウィンドウ操作が実行され、画素よりも広い領域に亘って情報が統合される。これにより、伝統的なマッチング曖昧性除去と奥行き精度は両立しなくなる。十分なディテールを含むエリアでは、小さいウィンドウが十分なマッチング情報を与えるが、より広い奥行き変動（視差）の範囲に亘るマッチングは曖昧な一致が原因となって不可能である。

[0035]多数の既存のステレオアルゴリズムにおける困難なタスクの１つは、テクスチャ無しの領域において正確な奥行きを見つけることである。小さいウィンドウは本質的にこれらの領域において曖昧であるため、最良マッチングスコアを選ぶことにより作成される奥行きマップは一般にノイズを含む。

[0036]典型的なカラーセグメンテーションアプローチに重要である観察は、均一色の領域の範囲内では一般に大きい奥行き不連続が存在しないことである。この観察は基準画像の均一色領域への分割に基づく奥行き表現が有用であることを示唆する。各カラーセグメントに対する平面と残存視差による表現は、典型的な局所奥行きマッピングのカラーセグメンテーション方法を作成するため使用されている。より詳細には、各カラーセグメントにおいて、奥行き表面は、平坦な表面に画素ごとの小さい奥行き変動を加えたものとしてモデル化される。この表現を用いることにより、テクスチャのない領域における奥行きは滑らかであることが保証される。さらに、近傍領域に基づく所定の領域の奥行きを仮定することにより、一致しない領域に対しても合理的な奥行き推定値を得る方法が利用される。

[0037]このモデルはテクスチャのない領域に滑らかさを保証する。滑らかではあるが、多数の小さいセグメントが存在し、テクスチャのある領域の場合、滑らかさはセグメントを越えて適用されない。しかし、奥行き推定は、滑らかさ制約が無くてもこれらのエリアにおいて信頼できる傾向がある。

[0038]本発明の典型的な実施形態は、奥行き境界がカラーセグメンテーション境界と一致するという一般的に有効なヒューリスティックに基づいている。カラーセグメントと意味的／物体領域との関連付けは、一般には、カラーセグメンテーション作業として試行しなくてもよい。各セグメントの表現を初期化する方法は、画像視差に基づく局所マッチングスコアを計算することである。次に、セグメント内の各画素に対する最良一致を見つけ出し、平面をそのセグメントに当てはめる。簡単な帰納的アルゴリズムが平面を調整するため使用される。

[0039]さらにまた、局所マッチングスコアに基づく、又は走査線だけに沿った大域的可視性を実施しようとするのではなく、より基本的な大域的マッチング規準が利用される。この規準は、奥行きが正確であるならば、奥行きに従って第２の視点へ描写された画像はその視点からの実際の視野に類似するに違いないことを主張する。この規準は、合成による解析のパラダイムに追随し、究極的なマッチング規準である。それは、大域的可視性を適用することにより、あらゆる奥行きマップの優秀性をチェックする方法を提供する。精密な奥行き境界及び薄い構造もまたこの規準に基づいて取得される。

[0040]このアプローチに関する二つの当面の関心事は、解空間が膨大であること、並びに、合成プロセスがコスト高であることである。Ｎ画素を含む画像に対して、各画素がｄ個の異なる量子化された奥行き値を有するならば、種々の考えられる奥行きマップの総数はｄ^N個である。徹底的な探索は、これらのコンフィギュレーションのそれぞれをワープし、解として最良のコンフィギュレーションを見つける。

[0041]提案されたアプローチに関する第２の問題点はあらゆる反復における合成のコストである。たとえ解空間が画素の個数に線形であるとしても、例えば、０．５Ｎであるとしても、最良奥行きマップを見つけるために基準画像を０．５Ｎ回ワープさせることは計算能力の点で依然として非現実的である。

[0042]第１の問題点を解決するため、カラーセグメンテーションに基づく表現及び近傍奥行き仮定方法は局所探索アルゴリズムにおいて組み合わされる。計算能力の考慮よりも重要なことは、このアプローチが均一色領域内で奥行き滑らかさを課し、また一致しない領域に対して合理的な奥行きを推論できるようにすることである。

[0043]簡単な局所貪欲（ｇｒｅｅｄｙ）探索アルゴリズムが使用される。典型的なアルゴリズムでは、所定のセグメントのすべての近傍奥行き仮説は、すべての他のセグメントが固定されている間に検証される。最良一致マッチングスコアを生成する近傍奥行き仮説は記録される。すべてのセグメントが検証された後、それらの奥行きは、初期奥行きと、マッチングスコアによる最良近傍仮説から選択することにより更新される。このプロセスは、奥行きが変化するセグメントの総数が少なくなるか、又は反復の回数がある値を超えるまで反復的に実行される。

[0044]このプロセスは正確な奥行きが伝播することを可能にさせるが、その理由は、正確な奥行きを仮定することにより、ワープされた画像がより良いマッチングを生じるからである。例えば、背景セグメントの奥行きは、近隣のテクスチャ付きの背景領域からの奥行きの伝播のため、背景奥行きとして誤って計算されることがある。しかし、その誤差は、背景セグメントが正確な近傍背景セグメントの奥行きを有することが仮定され、その仮説が成り立つならば、訂正可能である。このプロセスは大きい初期奥行き誤差を許容することが判明した。

[0045]近傍における奥行きを仮定することの別の利点は、それが一致しない領域に対して合理的な奥行きを導き出すために役立つことである。一致しない領域に対し、奥行きは、図５に示されるように、近傍背景セグメントの拡張である可能性が高い。図５の図面は、基準画像内の３個のセグメント、すなわち、背景のセグメント５００と、前景のセグメント５０４と、第２の画像（図示しない）の隠蔽されたセグメント５０２とを例示する。点線５０６は第２の画像内のセグメント５０４の位置を示す。セグメント５０２は画像の一方だけに現れるので、ステレオマッチングアルゴリズムを使用してある種の奥行きを取得することは不可能である。本発明の典型的なカラーセグメンテーション方法において、セグメントの奥行きは、未定義のままにされるのではなく、セグメント５００と同じ奥行きであると仮定される。この推定は付加的な画像からの情報によって改良される。

[0046]初期奥行きマップが図２のステップ２０５で生成された後、プロセスは、奥行きマップが基準画像及び検査画像の新しい組ごとに徐々に更新されるループに入る。このプロセスの次のステップであるステップ２１０は、前の時刻から平面パラメータ

を予測する。このステップは、３個のタスク、すなわち、（１）セグメントごとに、前の時刻で対応する領域を見つけるタスクと、（２）それらの領域内で平面パラメータを検出又は推定するタスクと、（３）現在時刻で対応する平面パラメータを予測するタスクとにより構成される。これらのタスクはより詳細に後述される。時間的奥行き予測プロセスが実行された後、ステップ２１２は、空間一致指標

だけを使用して、基準視野内の区分的に平坦な奥行き表現

の空間的奥行き初期化を実行する。次に、ステップ２１４において、このプロセスは大域的奥行き仮説検証を実行する。セグメントｓごとに、プロセスは、その奥行き表現として、

又は初期奥行き推定における平面パラメータのいずれかを選択する。次に、局所探索を使用して、式（９）におけるコスト関数の局所最適解が見つけられる。上記の貪欲仮説検証アルゴリズムはこの目的のため適当である。

平面パラメータ予測
[0047]セグメントの平面パラメータを予測するため、このプロセスは、最初に、前の画像内の平面の対応する位置を決定する。前の画像内のこれらの領域の奥行き情報に基づいて、現在時刻における奥行き表現が予測される。本発明の典型的な実施形態において、二つの補完的な方法がこの時間的画像対応関係を見つけるため使用される。第１の方法は時間的カラーセグメンテーションに基づき、比較的大きい均一色領域に対して優れ、第２の方法はオプティカルフローに基づき、テクスチャ付きの領域に対して巧く働く。

[0048]後述のように、カラーセグメンテーション奥行きマッピング技術は、大型のテクスチャ無しのシーン表面のため使用され、オプティカルフロー奥行きマッピング技術はテクスチャ付きの表面（例えば、スレッショルドよりも大きい空間的変動を有するセグメント、又は隣接する小さいセグメントのグループ）と、前の画像内に対応するセグメントをもたない現在画像内の表面のため使用される。最初に、画像は、ステップ３１０で、カラーセグメントに分割される。画像を均一色領域に分解するアルゴリズムであれば、どのようなものでもその目的のため機能する。アルゴリズムにおける最重要パラメータは、領域を多数のサブ領域に分割するスレッショルドとして選択された画素値の範囲（又はサブピクセル値の結合範囲）である。この範囲が小さい場合、画像は過剰に分割される可能性がある。この範囲が大きい場合、画像は不十分に分割される。典型的なアルゴリズムは各セグメント内で完全に奥行き連続性を適用するので、不十分な分割は回避されるであろう。Ｄ．ＣｏｍａｎｉｃｉｕとＰ．Ｍｅｅｒによる論文、ＲｏｂｕｓｔＡｎａｌｙｓｉｓｏｆＦｅａｔｕｒｅＳｐａｃｅｓ：ＣｏｌｏｒＩｍａｇｅＳｅｇｍｅｎｔａｔｉｏｎ、ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、１９９７において提案された方法は使用される方法の１つである。

[0049]次に、ステップ３１２において、このプロセスは前の画像からセグメントを選択する。ステップ３１４において、そのセグメントがスレッショルド値よりも小さいか、又はテクスチャ付きであるならば、そのセグメントはカラーセグメンテーションアルゴリズムによっては処理されず、したがって、制御はステップ３１８へ移動し、次のセグメントを選択する。セグメントがスレッショルド値よりも大きく、かつ、テクスチャ無しであるならば、後述のように、現在フレーム内でそのセグメントに対応した１個又は複数のセグメントがステップ３１６において識別される。ステップ３１６の後、ステップ３１８が実行され、画像内の最後のセグメントが処理されたかどうかを判定する。処理されていないならば、制御はステップ３１２へ戻り、次のセグメントを選択する。ステップ３１８において、すべてのセグメントがカラーセグメンテーションアルゴリズムを介して処理済みであることが判定されるならば、前のフレームからの対応するセグメントが関連付けられなかったセグメントが処理される。この処理は、現在画像からセグメントを選択するステップ３２０で始まる。ステップ３２２は、次に、選択されたセグメントが前の画像内に対応するセグメントを有するか否かを判定する。対応するセグメントがあるならば、制御はステップ３２６へ移動し、さもなければ、プロセスは、ステップ３２４において、オプティカルフロー技術を使用して、前のフレームから対応するセグメントを見つける。ステップ３２６において、このプロセスは、最後のセグメントが処理されたかどうかを判定する。まだ処理されていないならば、制御はステップ３２０へ移動し、次のセグメントを選択する。ステップ３２６において、画像内の最後のセグメントが処理済みであるならば、セグメントのすべては前のフレームからの対応するセグメントへの割り当てが完了し、プロセスはステップ３２８で終了する。ステップ３２０から３２８の間に、隣接する小さいセグメントのグループはオプティカルフロー技術によって処理される単一のセグメントに結合される。

[0050]ステップ３１６のカラーセグメンテーションプロセスは以下のように動作する。大きいテクスチャ無しの表面に対し、異なる時刻における対応するカラーセグメントは、それらの運動が比較的小さいときには、大きいオーバーラップエリアを有する傾向がある。この特性は、対応するセグメントを長時間に亘って追跡するため、本発明の典型的な実施形態によって利用される。簡潔に、かつ、図６Ａを参照して、このアルゴリズムのステップを次に説明する。時刻ｔ−１における前の画像６１０内のあらゆる大きいセグメントｓに関して、このプロセスはそのセグメントを時刻ｔにおける現在画像に投影する。この投影されたセグメントは図６Ａの画像６１２内にセグメントＳ_ｆとして表されている。時刻ｔにおいて、このプロセスは以下の規準、すなわち、１）面積の８５％がＳ_ｆによって覆われたセグメント、及び２）セグメントｓの色と類似した色を有するセグメント、を満たすセグメントを見つける。時刻ｔにおけるこれらのセグメントは時刻ｔ−１における画像セグメントｓに対応すると考えられ、セグメントｓと同じ初期奥行き値が割り当てられる。

[0051]ステップ３２４のオプティカルフロー方法の動作はやや異なる。前の画像内のセグメントを現在画像内の１つ以上のセグメントに適合させるのではなく、オプティカルフロー方法は現在の画像内のセグメントを複数の前の画像内の対応するセグメントに適合させる。時刻ｔにおけるセグメントｓ内のあらゆる画素に関して、オプティカルフローが利用可能であるならば、前のフレーム内のその画素の対応する位置が見つけられる。このプロセスは、図６Ｂに示されるように、３個の隣接する画像６２０、６２２及び６２４の間のフロー場を連結することにより、複数の前のフレーム内のその画像対応関係を見つけるためにも使用される。対応するセグメントが見つけられたとき、現在画像内のセグメントｓに対する初期奥行き値は前のフレームからの奥行き値にセットされる。典型的なオプティカルフロー技術は、Ａｄｉｖによる論文：「ＤｅｔｅｒｍｉｎｉｎｇＴｈｒｅｅ−ＤｉｍｅｎｓｉｏｎａｌＭｏｔｉｏｎａｎｄＳｔｒｕｃｔｕｒｅｆｒｏｍＯｐｔｉｃａｌＦｌｏｗＧｅｎｅｒａｔｅｄｂｙＳｅｖｅｒａｌＭｏｖｉｎｇＯｂｊｅｃｔｓ」、ＩＥＥＥＴｒａｎｓｌａｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．７、ｎｏ．４、１９８５に記載されている。

[0052]オプティカルフローは、平面モデルを当てはめるべく前のフレーム内のセグメントの対応する領域を見つけるためだけに使用されるので、画像対応関係が正しい領域にある限り、誤差は得られる平面パラメータに影響を与えない。その上、オプティカルフローの誤差は時間的平面予測だけに影響を与え、時間的平面予測は多数の異なる仮説の中で検証される。したがって、誤った奥行き値は一般に残らない。

[0053]セグメントが現在画像内に初めて出現したならば、それは前の画像からの対応するセグメントが割り当てられない。上記のように、図５を参照すると、これらのセグメントは隣接するセグメントの奥行きが割り当てられる。この場合も、各セグメントの奥行きは多数の仮説の中で検証されるので、誤った初期奥行き値は訂正される。

平面パラメータ予測
[0054]セグメンテーションに基づく方法又はオプティカルフローに基づく方オフのいずれかによって、各セグメントの前のフレーム内のセグメントへの画像対応関係が見つけられると、関連した平面パラメータは対応するセグメントの平面パラメータをコピーするだけで取得される。或いは、これらのパラメータは現在画像内の平面を前の画像からの追跡された画素の奥行き値に当てはめることによって取得される。前の画像内の平面パラメータに基づいて、現在時刻の平面パラメータは滑らかな運動モデルを使用して予測される。例えば、２個の前のフレームｔ−１及びｔ−２から平面パラメータを予測するため、これらの２フレームにおける平面パラメータが、

及び

として表されるならば、時刻ｔにおける法線ベクトルは、

の解として計算され、それは、

である。平面距離パラメータは次に、

として計算される。

初期奥行き推定
[0055]Ｔａｏらによる上記の引用文献に記載されたカラーセグメンテーションに基づくステレオアルゴリズムは現在時刻の奥行き解を初期化するため実施された。このアルゴリズムは、空間一致指標

を最小化し、大域的マッチング規準において可視性を内在的に考慮する。このアルゴリズムにおける４ステップは、（１）カラーセグメンテーション、（２）相関に基づく初期奥行き計算、（３）初期奥行きに基づく各セグメント内の平面当てはめ、並びに、（４）各セグメントに対する、初期奥行き表現とその近傍セグメントからの奥行き仮説との比較及び解としての

を改善する１つの選択である。セグメントｓに対して推定された初期奥行き表現は、

のように表される。

[0056]このアルゴリズムは図４を参照して説明される。上記のように画像が分割された後、ステップ４０２は各セグメントの初期奥行き推定値を推定する。初期奥行き表現のための３ステップは、（i）画像視差ボリューム内のマッチングスコアの計算、（ii）各セグメント内の平面当てはめ、及び（iii）各セグメント内の残存視差計算である。

[0057]標準的な（平行）ステレオセットアップの場合、第２の視野内の点の対応は基準視野と同じ走査線上にある。対応点の水平位置ずれは視差と称される。同様に、任意の二つの視野に関して、マッチング点は第２の画像のエピポーラ線上にある。標準的なステレオセットアップの場合、稠密な点対応を計算するため、画像視差ボリューム内のマッチングスコアが最初に計算される。より詳細には、（ある範囲内に収まり、一定の位置ずれ間隔をもつ）考えられるすべての水平位置ずれに対するマッチングスコアが最初に計算される。これは３次元マッチングスコア配列を形成し、それは本明細書中で画像視差マッチングボリュームと称される。各セル（ｘ，ｙ，ｄ）は基準画像内の画素（ｘ，ｙ）と第２の画像内の画素（ｘ＋ｄ，ｙ）との間の相関に対するマッチングスコアを保持する。次に、画素ごとに、最良スコアが選ばれ、対応する位置ずれが奥行きに変換される。同じ考え方は、定式化がより複雑である点を除いて、任意の視野に適用される。両方のケースにおいて、等視差表面は基準視野内の前面である。

[0058]画像視差マッチングボリュームが計算されると、平面がカラーセグメントごとに当てはめられる。最初に、セグメント内の画素ごとに最良奥行き値を見つけ、次に、その奥行き値への最良適合平面を計算する。より詳細には、各セグメント内の平面方程式は式（１０）によって与えられる。

式中、（ｘ，ｙ）は画像点であり、Ｚは基準カメラ座標系におけるその奥行きである。このとき、ａ，ｂ，ｃは式（１１）に示された線形システムの最小自乗解である。

式中、Ａの各行は画素の［ｘ，ｙ，１］ベクトルであり、Ｂの各行はその対応する１／Ｚである。

[0059]反復当てはめプロセスは異常値の影響を低減するため採用される。この考え方は図７ａ〜７ｃに示されている。最初に、画像内のすべての画素の奥行きが最良マッチングスコアを選ぶことにより決定される。マッチングスコアは、点の周りの中間調又はカラーウィンドウの正規化相関マッチング（又は絶対差の合計）スコア、近傍画素間の運動の類似性などのような多数の指標によって計算される。アライメント品質をチェックする様々なアプローチは、Ｋ．Ｈａｎｎａらによる米国特許第６，６２９，１７５号明細書、「ＭＥＴＨＯＤＡＮＤＡＰＰＡＲＡＴＵＳＦＯＲＥＮＨＡＮＣＩＮＧＲＥＧＩＯＮＳＯＦＡＬＩＧＮＥＤＩＭＡＧＥＳＵＳＩＮＧＦＬＯＷＥＳＴＩＭＡＴＩＯＮ」に記載されている。

[0060]最良マッチングスコアが決定されると、平面７００がセグメント内で当てはめられる。次の反復において、各画素の奥行きが、範囲内の最良マッチングスコアを見つけることにより、当てはめられた平面の所定の範囲７０８内で選択される。図７ｂにおいて、範囲外にある画素７０４及び７０６は範囲７０８の内部に当てはまるように変更されている。平面パラメータはしたがってこれらの奥行きに基づいて更新される。図７Ｃは、新平面７０２及び新範囲７１０を示している。このプロセスは、平面パラメータが有意に変化しなくなるまで複数回反復する。このプロセスは、マッチング曖昧性が生じる大きいテクスチャ無しの領域内で平面を当てはめるため特に有用である。より一般的には、Ｍ−推定、最小メジアン自乗（ＬｅａｓｔＭｅｄｉａｎＳｑｕａｒｅｓ）、又はＲＡＮＳＡＣのような任意のその他のロバスト平面当てはめ方法が利用される。

[0061]この典型的な表現は各セグメント内の平面モデルからの小さい変動を許容する。各画素の実際の奥行きは式（１２）に示されている。

[0062]平面パラメータが決定されると、画素ごとに、Ｚ_ｐは既知である。Ｚ_ｒはＺ_ｐの小さい範囲内で画像視差ボリュームにおける最良マッチを見つけることによって計算される。残存視差Ｚ_rは、初期カラーセグメンテーションに基づく奥行き表現を取得するため各セグメント内で平滑化される。

[0063]図４を参照すると、このプロセスの次のステップであるステップ４０８は、最良積極改善に関する仮説を使用して各セグメントの奥行きを更新する。積極改善を与える仮説が無い場合、そのセグメントに対する初期奥行きを維持する。

時間的奥行き仮説検証
[0064]各セグメントｓの仮説は、予測された平面パラメータ

初期平面パラメータ

及びｓの近傍セグメントの初期平面パラメータである。他のセグメントの平面パラメータを固定して、これらの仮説が式（９）のコスト関数を使用して比較される。このプロセスは以下の通り要約される。時刻ｔにおいて、基準視野内の各セグメントｓに対し、式（９）のコスト関数が、ｓの近傍セグメントの要素としてのｋと、

と、

に関して計算される。次に、平面パラメータ

が最低コスト値をもつものになるようにセットされる。これらのステップは図４及び８に詳細に示されている。

[0065]図４において、ステップ４０４で、このプロセスはカラーセグメントごとに多数の奥行き仮説を作成する。各セグメントのための仮説は各近傍セグメントから生成される。所定のセグメントの平面パラメータは、仮説を作成するため近傍セグメントの平面パラメータを用いて置換される。次に、各画素の残存視差が平面の周りを探索し、所定のセグメント内で平滑化を行うことにより見つけられる。

[0066]次に、ステップ４０６で、単一セグメントの奥行き仮説が検証され、その間に他のすべてのセグメントは初期奥行きに維持される。奥行き表現は検証がすべてのセグメントに対して実行された後に更新される。１回につき１つのセグメントの奥行きだけが変更されるので、画像の一部分だけが検証される。この事実を巧く利用する典型的なアルゴリズムが開発された。このアルゴリズムは図８ａ〜８ｄに示されている。図８ａの基準画像は、最初に、初期奥行き（例えば、セグメントごとの初期奥行き仮説）を使用して第２の視野へワープされる。この画像は図８ｂのベースワープと称される。

[0067]セグメント８００の奥行きがそのマッチング指標を計算するためにその近傍仮説のうちの１つによって置換されるならば、奥行き変更による影響を受ける画素だけが考慮される。例えば、図８ｃにおいて、セグメント８００の奥行きは変更される。ワープ画像、すなわち、図８ｄにおいて、セグメント８０２の領域８０６は可視的になり、一方、セグメント８００は不可視的になる。新しい奥行きマップのマッチングスコアは、領域８０６のマッチングスコアをベースワープスコアに加算し、セグメント８００のマッチングスコアを減算することにより計算される。この実施例はこれらの仮説を検証する典型的なアルゴリズムを示唆する。

[0068]この典型的なアルゴリズムにおいて、ベースワープに対して、画素ごとに、ワープさせられた奥行き、セグメンテーションＩＤ、及び最上層の２層のマッチングスコアが保存される。ベースワープ全域のマッチングスコアの変化が可視的になる画素のマッチングスコアを加算し、不可視的になる画素のスコアを減算することにより計算される。検証ごとに、１つのセグメントの奥行きだけが変更されるので、最上層の２層だけが可視的になり、これらの２層に関する情報が記録されるべきである。３番目の層は最初にその層の前方にある２層のうちの少なくとも一方によって遮られ、常に不可視的であるので、マッチングスコアに影響を与えない。

[0069]図４に関して、ステップ４１０において、局所奥行きマップを改善するプロセスは所定の最大反復回数に到達したかどうかが判定される。この回数に到達したならば、今の奥行きマップがステップ４１４において最終的な局所奥行きマップとして選択される。この回数に到達していないならば、最新の奥行き変化の組がステップ４１２で解析される。変化が所定のスレッショルド未満であるならば、今の奥行きマップがステップ４１４で最終的な局所奥行きマップとして選択される。そうでなければ、このプロセスはステップ４０４へ戻り、別の奥行き仮説の反復が開始される。なお、ステップ４１０は計算能力の点であまり不利ではないので、ステップ４１０及び４１２の典型的な順序が選ばれているが、これらのステップは逆転させてもよく、或いは、一方を省いてもよいことに注意すべきである。

[0070]平面と、さらにその上の小さい残存視差による表現は、非常に湾曲した表面をもつ物体に対して十分でないかもしれない。この問題を解決するためより柔軟性のある奥行き表現を使用することが検討される。また、奥行き境界が均一色セグメントに出現することもある。問題のあるセグメント内での分割、又はインターナショナル過剰セグメンテーションを仮定する方法は、これらの問題点を解決するため使用される。

[0071]さらに、カラーセグメンテーションはオプティカルフロー計算のためにも使用されることに注意する必要がある。奥行きに基づく前方ワープをオクルージョン互換性のある横ワープで置き換えることにより、これらの方法が組み合わされる。エピポーラの位置のようなある種の情報が大まかにわかっているとき、これは有利なアプローチであることがわかる。

[0072]区分的に平坦なシーン表現に基づいて、本発明は、適用可能な３個の制約を動的奥行き復元の問題に適用する。平面の定速度運動が平面外運動パラメータに一定の変化を生じさせるという観察は、３次元仮説の推定における２次元オプティカルフロー場と得られた平面的な速度とを使用することなく、長時間に亘って運動の滑らかさを実施する簡単なアルゴリズムを可能にする。オプティカルフローは、平面パラメータを予測する目的のためフレーム間の時間的対応を見つけるためだけに使用される。平面内運動は予測された平面パラメータを変化させないので、オプティカルフロー場におけるより大きい誤差が許容される。

[0073]大域的マッチングフレームワークに基づくアルゴリズムが提案される。実験的な結果は、奥行き推定における時間的整合性が達成され、シャープな奥行き境界が保たれることを明らかにする。

[0074]本発明は典型的な実施形態に関して説明されているが、本発明は特許請求の範囲に記載された事項の範囲内で変更を加えて実施されることが考えられる。

本発明の操作を説明するため有用なイメージ図である。本発明の操作を説明するため有用なイメージ図である。本発明による典型的な動的奥行き復元方法のフローチャートである。図２に示されたフローチャートの時間的奥行き予測ステップを説明するため有用なフローチャートである。図３に示されたフローチャートのカラーに基づくセグメンテーションステップを説明するため有用なフローチャートである。カラーセグメンテーションを説明するため有用な一対のイメージ図である。図３及び４に示されたカラーに基づくセグメンテーションプロセスを説明するため有用なイメージ図である。図３に示されたオプティカルフローステップを説明するため有用なイメージ図である。図４に示された反復平坦化プロセスを説明するため有用な画像座標に対する奥行きのグラフである。図４に示された反復平坦化プロセスを説明するため有用な画像座標に対する奥行きのグラフである。図４に示された反復平坦化プロセスを説明するため有用な画像座標に対する奥行きのグラフである。図４に示された仮説検証を説明するため有用な画像座標に対する視差のグラフである。図４に示された仮説検証を説明するため有用な画像座標に対する視差のグラフである。図４に示された仮説検証を説明するため有用な画像座標に対する視差のグラフである。図４に示された仮説検証を説明するため有用な画像座標に対する視差のグラフである。

Claims

シーンの分割画像の組のシーケンスが現在の分割画像の組及び前の分割画像の組を含み、分割画像の各組がそれぞれの時刻における前記シーンの複数の様々な視野を表現し、分割画像の各組の中の各画像がそれぞれの座標の組を含み、前記シーンの分割画像の組のシーケンスから前記シーンの動的奥行きマップを生成する方法であって、
ａ）前記現在の分割画像の組の中のセグメントごとに時間的奥行き予測値を得るため、前記現在の分割画像の組の中の少なくとも１つの画像内のセグメントと前記前の分割画像の組の中の少なくとも１つの画像内の対応するセグメントとの間で時間的対応を判定するステップと、
ｂ）前記現在の画像の組の中の少なくとも１つの画像内のセグメントごとに空間的奥行き予測値を得るため、前記現在の分割画像の組の中のセグメントの間で空間的対応を判定するステップと、
ｃ）前記現在の分割画像の組の中の少なくとも１つの画像内のセグメントごとに、前記セグメントの初期奥行き推定値として前記時間的奥行き予測値と前記空間的奥行き予測値のうちの一方を選択するステップと、
ｄ）前記現在の分割画像の組の中の前記少なくとも１つの画像と前記現在の分割画像の組の中の他の各画像との間の差の指標を生成するステップと、
ｅ）ステップｃ）及びステップｄ）を繰り返し、差の指標の最小値がステップｄ）で生成されるまで異なる初期奥行き値を選択するステップと、
を含む方法。
前記現在の分割画像の組の中の前記少なくとも１つの画像と前記現在の分割画像の組の中の他の各画像との間の差の指標を生成するステップが、
それぞれのワープ画像の組を得るため、前記現在の分割画像の組の中の前記少なくとも１つの画像を前記現在の分割画像の組の中の前記他の各画像の座標系に歪ませるステップと、
第１項を得るため、前記ワープ画像と前記現在の分割画像の組の中のそれぞれの前記他の各画像との間の差を測定し、その結果を加算するステップと、
第２項を得るため、前記ワープ画像の対応するセグメント内の点と前記現在の分割画像の組の中のそれぞれの前記他の各画像内の点との間の平均距離を測定し、その結果を加算するステップと、
前記差の指標を得るため、前記第１項と前記第２項を加算するステップと、を含む、請求項１記載の方法。
前記時間的奥行き予測値と前記空間的奥行き予測値のうちの一方を選択するステップが、前記少なくとも１つの画像内の１つのセグメントに対する値を選択し、同時に他の隣接するセグメントの前記奥行き値を変化しない状態に保ち、
前記現在の画像の組の中の前記少なくとも１つの画像と前記現在の画像の組の中の他の各画像との間の差の指標を生成するステップが、前記１つのセグメントと、前記１つのセグメントに隣接する前記少なくとも１つの画像内のセグメントとの差だけを生成する、請求項１記載の方法。
前記現在の分割画像の組の中の前記少なくとも１つの画像内のセグメントと前記前の分割画像の組の中の前記少なくとも１つの画像内の対応するセグメントとの間で時間的対応を判定するステップが、
前記前の分割画像の組の中の前記少なくとも１つの画像内の各セグメントをテクスチャ付きセグメント又はテクスチャ無しセグメントとして分類するステップと、
テクスチャ無しセグメントごとに、前記現在の分割画像の組の中の前記少なくとも１つの画像内の少なくとも１つの対応するセグメントを関連付けるステップと、
前記テクスチャ無しセグメントの１つが関連付けられていない前記現在の分割画像の組の中の前記少なくとも１つの画像内のセグメントごとに、前記セグメントをテクスチャ付きセグメントとして識別し、オプティカルフロー技術を使用して前記前の画像の組の中の前記少なくとも１つの画像からの対応するセグメントと一体として前記現在の画像の組の中の前記少なくとも１つの画像内の各テクスチャ付きセグメントを識別するステップと、
前記現在の分割画像の組の中の前記少なくとも１つの画像内のセグメントごとに、前記前の画像の組の中の前記少なくとも１つの画像の前記対応するセグメントの奥行き値を前記時間的奥行き予測値として割り当てるステップと、
を含む、請求項１記載の方法。
前記時間的奥行き予測値と前記空間的奥行き予測値のうちの一方を選択するステップが、前記少なくとも１つの画像内の１つのセグメントに対する値を選択し、同時に他の隣接するセグメントの前記奥行き値を変化しない状態に保ち、
前記現在の画像の組の中の前記少なくとも１つの画像と前記現在の画像の組の中の他の各画像との間の差の指標を生成するステップが、前記１つのセグメントと、前記１つのセグメントに隣接する前記少なくとも１つの画像内のセグメントとの差だけを生成する、請求項２記載の方法。
前記現在の分割画像の組の中の前記少なくとも１つの画像内のセグメントと前記前の分割画像の組の中の前記少なくとも１つの画像内の対応するセグメントとの間で時間的対応を判定するステップが、
前記前の分割画像の組の中の前記少なくとも１つの画像内の各セグメントをテクスチャ付きセグメント又はテクスチャ無しセグメントとして分類するステップと、
テクスチャ無しセグメントごとに、前記現在の分割画像の組の中の前記少なくとも１つの画像内の少なくとも１つの対応するセグメントを関連付けるステップと、
前記テクスチャ無しセグメントの１つが関連付けられていない前記現在の分割画像の組の中の前記少なくとも１つの画像内のセグメントごとに、前記セグメントをテクスチャ付きセグメントとして識別し、オプティカルフロー技術を使用して前記前の画像の組の中の前記少なくとも１つの画像からの対応するセグメントと一体として前記現在の画像の組の中の前記少なくとも１つの画像内の各テクスチャ付きセグメントを識別するステップと、
前記現在の分割画像の組の中の前記少なくとも１つの画像内のセグメントごとに、前記前の画像の組の中の前記少なくとも１つの画像の前記対応するセグメントの奥行き値を前記時間的奥行き予測値として割り当てるステップと、を含む、請求項５記載の方法。