JP2018521414A - 画像処理装置および画像処理方法 - Google Patents

Abstract

本発明は、現在のデジタル画像の現在のフラグメントの奥行き情報値（d_best）を選択するための画像処理装置（100）に関する。画像処理装置（100）は、以前に処理されたフラグメントに対して選択された以前に選択された奥行き情報値（d_prev）を格納するように構成されたメモリ（101）と、信号処理ロジック（103）とを含む。信号処理ロジック（103）は、デジタル基準画像の基準フラグメント候補を定義する奥行き情報値候補に基づいて、現在のフラグメントの類似度を計算し、奥行き情報値候補を以前に選択された奥行き情報値（d_prev）と比較し、計算された類似度に重み関数を適用して、奥行き情報値候補と以前に選択された奥行き情報値（d_prev）との比較に基づいて、現在のフラグメントの重み付き類似度を取得し、奥行き情報値候補の重み付き類似度に応じて、現在のフラグメントの奥行き情報値（d_best）として奥行き情報値候補を選択するか否かを決定するように構成される。

Description

本発明は、画像処理装置および画像処理方法に関する。特に、本発明は、デジタル画像のフラグメントの奥行き情報値を選択するための画像処理装置および画像処理方法に関する。

デジタル画像の所与のフラグメント、例えばデジタル画像の画素または画素群の視差（本明細書では奥行き情報値と総称される）を推定するための多くの公知のアルゴリズムでは、奥行き情報値は、選択される考慮中の奥行き情報値の集合から最良のものとして選択される。しばしば、この選択は、現在処理されているフラグメントの奥行き情報値dに対するコスト関数C_current（d）を最小化することによって行われる。

このコスト関数は、例えばD． ScharsteinおよびR． Szeliski の“A taxonomy and evaluation of dense two−frame stereo correspondence algorithms”，International Journal of Computer Vision 47， 7−42， 2002に記載されている周知の「Winner−Takes−All（WTA）アルゴリズム」のような純局所的フラグメントマッチング誤差またはマッチングコストM_current（d）であってもよい。このようなアルゴリズムでは、各フラグメントの奥行き情報値は、他のフラグメントの奥行き情報値から独立して次式のように選択される。
（1）
ここで、
は、角括弧内の表式が最小になる奥行き情報値dの選択を示す。

画像内のフラグメントの位置（x、y）に対するマッチング誤差またはマッチングコストM_current（d）およびそのフラグメントに関連する奥行き情報値dは、通常、誤差関数を使用して計算され、誤差関数は、位置（x、y）にある画像Iと、位置（x＋d、y）にある（1つまたは複数の）基準画像I_refの値と、の差分を決定する。通常、画像の用語の値は、テクスチャ画像のカラーチャネルまたは輝度値を意味するが、水平および垂直の勾配と組み合わせることもできる。一般的に使用される誤差関数は、以下の式（2）で与えられる絶対差の和（SAD）または以下の式（3）によって与えられる二乗差の和（SSD）である（例えば、H． Hirschmueller and D． Scharstein，“Evaluation of Cost Functions for Stereo Matching”，IEEE Conference on Computer Vision and Pattern Recognition， 2007を参照されたい）：
M_current（d）＝SAD（I（x，y），I_ref（x＋d，y））＝｜I（x，y）−I_ref（x＋d，y）｜ （2）
M_current（d）＝SSD（I（x，y），I_ref（x＋d，y））＝（I（x，y）−I_ref（x＋d，y））² （3）

高度なアルゴリズム（D． ScharsteinおよびR． Szeliskiによる上記の文献にも記載されているビタビ、フォワードまたは確率伝搬アルゴリズムなど）では、より洗練されたコスト関数C_current（d）が結果として得られる奥行き情報値の最小化および選択のために使用される。このような場合には、C_current（d）は、典型的には、遷移コスト関数Tの最小畳み込みを伴うM_current（d）と、隣接フラグメント内のすべての考慮される奥行き情報値に関連するコストとの和であり、すなわち、さらに平滑化項を含む。フォワードおよびビタビアルゴリズムでは、隣接フラグメントは既に奥行き情報値dを得るために処理されたものであり、したがって所与の奥行き情報値dに対するC_current（d）は、現在処理されているフラグメント（指標「current」で示す）の奥行き情報値推定のために考慮されるすべての以前に処理されたフラグメント（指標「prev」で示す）からのコストを累算する。
（4）
ここでM_current（d）は、前述したように奥行き情報値dに対する局所的フラグメントマッチング誤差であり、C_prev（d）は奥行き情報値dに対する以前に処理されたフラグメントのコストであり、T（q、d）は2引数遷移コスト関数（奥行き情報値qから奥行き情報値dへの変更コスト）であり、演算子
は最小畳み込みを表し、以下のように定義される。
（5）
ここで、min_qは、qに関する最小値を表し、qおよびdの両方は、考慮される奥行き情報値の範囲（これは、通常、考慮中の視覚シーンのパラメータ、すなわちカメラへの物体距離に基づいて先験的に設定される）に属する。文献から知られている例示的な遷移コスト関数は、Pottsモデルである。
（6）

現在のフラグメントC_current（d）のコストは、現在処理されているフラグメントの奥行き情報値推定のために考慮されるすべての奥行き情報値dについて計算される。

確率伝搬アルゴリズムでは、フラグメントの奥行き情報値の最終的な選択は、アルゴリズムの複数の反復の後に行うことができる。

フォワードアルゴリズムでは、奥行き情報値の選択に関する決定は、累算されたコスト
に基づいて、オンザフライで行われる。

ビタビアルゴリズムでは、奥行き情報値の最終選択は、すべてのコスト値が分かっているときに実行されるバックトラッキングの追加パスまで延期される。

推定された奥行き情報値、特に視差値または奥行き値の高忠実度を提供する現在知られているアルゴリズムは、計算上複雑であり、例えばモバイルデバイスでのリアルタイム処理には適していない。一方、現在知られている単純な奥行き情報値推定アルゴリズムは、例えばモバイルデバイス上でリアルタイムで奥行き情報値を推定することができるが、得られた結果の忠実度は限定的なものである。

したがって、改良された画像処理装置および方法、特に計算上効率的な方法で推定された奥行き情報値の高忠実度を提供する画像処理装置および方法が必要とされている。

本発明の目的は、改良された画像処理装置および方法、特に計算上効率的な方法で推定された奥行き情報値の高忠実度を提供する画像処理装置および方法を提供することである。

この目的は、独立請求項の主題によって達成される。更なる実施形式は、従属請求項、明細書および図面に提供される。

第1の態様によれば、本発明は、現在のデジタル画像の現在のフラグメントの奥行き情報値を選択するための画像処理装置に関し、画像処理装置は、同じ現在のデジタル画像の、あるいは同じもしくは異なる視点の、および／または同じもしくは以前の時点の以前に処理されたデジタル画像の、以前に処理されたフラグメントに対して選択された以前に選択された奥行き情報値を格納するように構成されたメモリを含む。

さらに、画像処理装置は信号処理ロジックを含む。信号処理ロジックは、デジタル基準画像の基準フラグメント候補を定義する奥行き情報値候補に基づいて、現在のフラグメントの類似度を計算し、奥行き情報値候補を以前に選択された奥行き情報値と比較し、計算された類似度に重み関数を適用して、奥行き情報値候補と以前に選択された奥行き情報値との比較の結果に基づいて、現在のフラグメントの重み付き類似度を取得し、奥行き情報値候補の重み付き類似度に応じて、現在のフラグメントの奥行き情報値として現在の奥行き情報値候補を選択するか否かを決定するように構成される。

現在のフラグメントに対する現在の奥行き情報値候補と以前のフラグメントに対する以前に選択／決定された奥行き情報値との比較に基づいて、類似度、例えばマッチングコストに重み付けすることによって、本発明の第1の態様は、現在処理されているフラグメントの奥行き情報値を強力かつ計算上効率的な方法で決定するように構成された画像処理装置を提供する。

現在のフラグメントという用語は、現在処理されているフラグメントとも呼ばれ、現在のデジタル画像という用語は、現在処理されているデジタル画像などとも呼ばれる。

信号処理ロジックは、プロセッサ、例えば、多目的プロセッサまたはデジタル信号プロセッサ（DSP）、ASIC、FPGA、CPU、GPUなどであってもよい。奥行き情報値は、例えば、奥行き値、視差値、または奥行き値または視差値を表す指標またはラベルであってもよい。フラグメントは、例えば、現在のデジタル画像および／またはデジタル基準画像の画素または画素群であってもよい。類似度は、例えばマッチングコストまたはマッチング確率であってもよく、マッチングコストは、現在のフラグメントと基準フラグメントとの差を示す尺度であり、差が大きくなるにつれて増加する。マッチング確率は、現在のフラグメントと基準フラグメントが一致する尤度／確率を示す尺度であり、差が大きくなるにつれて減少する。以前に処理されたフラグメントは、同一の現在のデジタル画像のものであってもよいし、同じまたは以前の時点の同じビューまたは異なるビューの以前に処理されたデジタル画像、すなわち時間的に先行するデジタル画像のものであってもよい。

信号処理ロジックは、フォワードアルゴリズムまたは畳み込みステップが以前の奥行き情報値に基づいて提案された重み付けによって置き換えられることができる任意の他の最適化アルゴリズムにおいて、フラグメントをそれぞれ連続的または並行的にシリアルに処理するように構成することができる。

本発明の第1の態様による画像処理装置の第1の可能な実施形式では、類似度はマッチングコストであり、重み付き類似度は重み付きマッチングコストであり、重み関数は、
奥行き情報値候補が以前に選択された奥行き情報値と異なる場合には、マッチングコストは増加され、および／または、
奥行き情報値候補が以前に選択された奥行き情報値と同一である場合には、マッチングコストは、維持されるか、または奥行き情報値候補が以前に選択された奥行き情報値と異なる場合と比較して、より小さい程度に増加されるだけである
ように構成される。

したがって、奥行き情報値の変化は、遷移とも呼ばれ、ペナルティを課せられるか、または少なくとも非変化（例えば、非遷移）の場合よりも多くのペナルティを課せられる。

本発明の第1の態様の第1の実施形式による画像処理装置の第2の可能な実施形式では、重み関数は、
奥行き情報値候補が以前に選択された奥行き情報値と異なる場合には、マッチングコストは、重み付きマッチングコストを得るためにマッチングコストに第1のマッチングコストペナルティを加えることによって増加されるか、または、重み付きマッチングコストを得るためにマッチングコストに第1のマッチングコストペナルティを乗算することによって増加され、および／または、
奥行き情報値候補が以前に選択された奥行き情報値と同一である場合には、マッチングコストは、維持されるか、もしくは例えば重み付きマッチングコストを得るためにマッチングコストに第2のマッチングコストペナルティを加えることによって増加されるか、または、重み付きマッチングコストを得るためにマッチングコストに第2のマッチングコストペナルティを乗算することによって増加されるように構成され、第2のマッチングコストペナルティは、第1のマッチングコストペナルティより小さい。

したがって、奥行き情報値の変化は、遷移とも呼ばれ、ペナルティを課せられるか、または少なくとも非変化（例えば、非遷移）の場合よりも多くのペナルティを課せられる。

本発明の第1の態様による画像処理装置の第3の可能な実施形式では、類似度はマッチング確率であり、重み付き類似度は重み付きマッチング確率であり、重み関数は、
奥行き情報値候補が以前に選択された奥行き情報値と異なる場合には、マッチング確率は減少されるように、および／または、
奥行き情報値候補が以前に選択された奥行き情報値と同一である場合には、マッチング確率は、維持されるか、または奥行き情報値候補が以前に選択された奥行き情報値と異なる場合と比較して、より小さい程度に減少されるだけである
ように構成される。

したがって、奥行き情報値の変化は、遷移とも呼ばれ、ペナルティを課せられるか、または少なくとも非変化（例えば、非遷移）の場合よりも多くのペナルティを課せられる。

本発明の第1の態様の第3の実施形式による画像処理装置の第4の可能な実施形式では、重み関数は、
奥行き情報値候補が以前に選択された奥行き情報値と異なる場合には、マッチング確率は、重み付きマッチング確率を得るためにマッチング確率から第1のマッチング確率ペナルティを減ずることによって減少されるか、または、重み付きマッチング確率を得るためにマッチング確率を第1のマッチング確率ペナルティで除算することによって減少されるように、および／または、
奥行き情報値候補が以前に選択された奥行き情報値と同一である場合には、マッチング確率は、維持されるか、もしくは重み付きマッチング確率を得るためにマッチング確率から第2のマッチング確率ペナルティを減ずることによって減少されるか、または、重み付きマッチング確率を得るためにマッチング確率を第2のマッチング確率ペナルティで除算することによって減少されるように構成され、第1のマッチング確率ペナルティは、第2のマッチング確率ペナルティより大きい。

したがって、奥行き情報値の変化は、遷移とも呼ばれ、ペナルティを課せられるか、または少なくとも非変化（例えば、非遷移）の場合よりも多くのペナルティを課せられる。

本発明の第1の態様またはその第1〜第4の実施形式のいずれか1つによる画像処理装置の第5の可能な実施形式では、信号処理ロジックは、
奥行き情報値候補の集合の各奥行き情報値候補について類似度を計算し、各奥行き情報値候補は、同一または異なるデジタル基準画像の異なる基準フラグメント候補を定義し、
奥行き情報値候補の集合の奥行き情報値候補の各々を以前に選択された奥行き情報値と比較し、
奥行き情報値候補の各々について、対応する計算された類似度に重み関数を適用して、奥行き情報値候補の各々について、現在のフラグメントについての対応する重み付き類似度を取得し、奥行き情報値候補の各々について、比較の対応する結果に基づいて重み関数が適用され、
重み付き類似度に基づいて、奥行き情報値候補の集合の奥行き情報値候補から、現在のフラグメントの奥行き情報値を選択する
ように構成される。

したがって、奥行き情報値は、効率的（低複雑度）であるが同時に（推定品質に関して）改善された方法で推定される。

本発明の第1の態様の第5の実施形式による画像処理装置の第6の可能な実施形式では、
類似度はマッチングコストであり、信号処理ロジックは、最小の重み付きマッチングコストを有する、奥行き情報値候補の集合の奥行き情報値候補から奥行き情報値を選択するように構成され、または、
類似度はマッチング確率であり、信号処理ロジックは、最大の重み付きマッチング確率を有する、奥行き情報値候補の集合の奥行き情報値候補から奥行き情報値を選択するように構成される。

したがって、奥行き情報値は、効率的（低複雑度）であるが同時に（推定品質に関して）改善された方法で推定される。

本発明の第1の態様またはその第1〜第5の実施形式のいずれか1つによる画像処理装置の第7の可能な実施形式では、信号処理ロジックは、奥行き情報値候補の集合の奥行き情報値候補を順次処理することにより、現在のフラグメントの奥行き情報値を決定するように構成され、信号処理ロジックは、
奥行き情報値候補の集合の現在の奥行き情報値候補に対する類似度を計算し、
現在の奥行き情報値候補を以前に選択された奥行き情報値と比較し、
比較に応じて重み付き類似度を得るために、奥行き情報値候補の集合の現在の奥行き情報値候補の類似度に重み関数を適用し、
現在の奥行き情報値候補の重み付き類似度を、現在の最良の奥行き情報値に関連する現在の最良の類似度と比較し、
現在の奥行き情報値候補の重み付き類似度が、現在の最良の類似度に関する更新条件を満たしていない場合、例えば、重み付きマッチングコストが現在の最良のマッチングコストより大きい場合（マッチングコストが類似度として用いられる場合）には、現在の最良の奥行き情報値を現在の最良の奥行き情報値として維持し、現在の最良の重み付き類似度を現在の最良の類似度として維持し、または、
現在の奥行き情報値候補の重み付き類似度が現在の最良の類似度に関する更新条件を満たす場合、例えば、重み付きマッチングコストが現在の最良のマッチングコストより小さいかまたはそれ以下である場合（マッチングコストが類似度として用いられる場合）には、現在の奥行き情報値候補を現在の最良の奥行き情報値としてメモリに書き込み、現在の奥行き情報値候補の、またはそれに関連する重み付き類似度を現在の最良の類似度としてメモリに書き込み、
すべての奥行き情報値候補が処理された後に、すなわち評価された後に、現在の最良の奥行き情報値を現在のデジタル画像の現在のフラグメントの奥行き情報値として選択し、出力する
ように構成される。

したがって、奥行き情報値は、逐次的処理を用いて効率的（低複雑度）であるが同時に（推定品質に関して）改善された方法で推定される。

本発明の第1の態様の第7の実施形式による画像処理装置の第8の可能な実施形式では、類似度はマッチングコストであり、重み付き類似度は重み付きマッチングコストであり、更新条件は、重み付きマッチングコストが、現在の最良のマッチングコストよりも小さいか、またはそれ以下であることであり、または、
類似度はマッチング確率であり、重み付き類似度は重み付きマッチング確率であり、更新条件は、重み付きマッチング確率が、現在の最良のマッチング確率よりも大きいか、またはそれ以上であることである。

したがって、奥行き情報値は、逐次的処理を用いて効率的（低複雑度）であるが同時に（推定品質に関して）改善された方法で推定される。

本発明の第1の態様またはその第1〜第8の実施形式のいずれか1つによる画像処理装置の第9の可能な実施形式では、メモリは、以前に処理されたフラグメントの集合の以前に選択された奥行き情報値の集合を格納するように構成され、信号処理ロジックは、
現在の奥行き情報値候補を、以前に選択された奥行き情報値の集合の奥行き情報値のうちの少なくとも1つと比較し、
現在の奥行き情報値候補の計算された類似度に重み関数を適用して、以前に選択された奥行き情報値の集合の奥行き情報値のうちのいずれかが現在の奥行き情報値候補と同一であるか否かに応じて、現在の奥行き情報値候補に対する重み付き類似度を取得する
ようにさらに構成される。

したがって、奥行き情報値は、以前に選択された奥行き情報値の集合に基づいて、効率的（低複雑度）であるが同時に（推定品質に関して）改善された方法で推定される。

本発明の第1の態様またはその第1〜第9の実施形式のいずれか1つによる画像処理装置の第10の可能な実施形式では、信号処理ロジックは、
現在の奥行き情報値候補を以前に選択された奥行き情報値の周囲の範囲内の奥行き情報値の集合と比較し、
現在の奥行き情報値候補の計算された類似度に重み関数を適用して、以前に選択された奥行き情報値の周囲の範囲内の奥行き情報値の集合の奥行き情報値のうちのいずれかが現在の奥行き情報値候補と同一であるか否かに応じて、現在の奥行き情報値候補に対する重み付き類似度を取得するように構成される。

したがって、奥行き情報値は、以前に選択された奥行き情報値の周囲の範囲内の奥行き情報値の集合に基づいて、効率的（低複雑度）であるが同時に（推定品質に関して）改善された方法で推定される。

本発明またはその第1〜第10の実施形式のいずれか1つによる画像処理装置の第1の態様の第11の可能な実施形式では、信号処理ロジックは、
以前に選択された奥行き情報値に基づいて、現在のフラグメントの類似度を最初に計算し、
類似度をしきい値と比較し、
比較の結果がスキップ条件を満たす場合には、以前に選択された奥行き情報値を現在のデジタル画像の現在のフラグメントの奥行き情報値として選択し、および／または、
比較の結果がスキップ条件を満たさない場合には、
更なるデジタル基準画像の基準フラグメント候補を定義する更なる奥行き情報値候補に基づいて、現在のフラグメントの類似度を計算し、
更なる奥行き情報値候補を以前に選択された奥行き情報値と比較し、
計算された類似度に重み関数を適用して、更なる奥行き情報値候補と以前に選択された奥行き情報値との比較の結果に基づいて、現在のフラグメントの重み付き類似度を取得し、
奥行き情報値候補の重み付きマッチングコストに応じて、現在のフラグメントの奥行き情報値として更なる現在の奥行き情報値候補を選択するか否かを決定する
ように構成される。

しきい値は、例えば、重み関数で使用されるペナルティ値、または、例えば、実験データおよび／または現在処理されているデジタル画像の既知のもしくは仮定された特性に基づいて導き出される他の値であってもよい。

したがって、奥行き情報値は、効率的（低複雑度）であるが同時に（推定品質に関して）改善された方法で推定され、スキップ条件が満たされた場合には多くの処理ステップをスキップまたは回避することを可能にする。

本発明の第1の態様の第11の実施形式による画像処理装置の第12の可能な実施形式では、類似度はマッチングコストであり、スキップ条件は、マッチングコストがしきい値よりも小さいかまたはそれ以下であることであり、あるいは、
類似度はマッチングコストであり、スキップ条件は、マッチングコストがしきい値よりも小さいかまたはそれ以下であることであり、
しきい値は、奥行き情報値候補が以前に選択された奥行き情報値と異なるか、または基準もしくは以前に選択された奥行き情報値候補の集合に含まれる任意の奥行き情報値と異なる場合に、マッチングコストに適用される重み関数のペナルティに等しく、あるいは、
類似度はマッチング確率であり、スキップ条件は、マッチング確率がしきい値よりも大きいかまたはそれ以上であることである。

しきい値は、例えば、重み関数で使用されるペナルティ値、または、例えば、実験データおよび／または現在処理されているデジタル画像の既知のもしくは仮定された特性に基づいて導き出される他の値であってもよい。

したがって、奥行き情報値は、効率的（低複雑度）であるが同時に（推定品質に関して）改善された方法で推定され、スキップ条件が満たされた場合には多くの処理ステップをスキップまたは回避することを可能にする。

第2の態様によれば、本発明は、現在のデジタル画像の現在のフラグメントの奥行き情報値を選択するための画像処理装置に関し、画像処理装置は、メモリおよび信号処理ロジックを含み、
メモリは、同一の現在のデジタル画像、または同じもしくは異なるビューおよび／または同じもしくは以前の時点の以前に処理されたデジタル画像の以前に処理されたフラグメントに対して選択された以前に選択された奥行き情報値を格納するように構成され、
信号処理ロジックは、
以前に選択された奥行き情報値に基づいて、現在のフラグメントの類似度を最初に計算し、
類似度をしきい値と比較し、
比較の結果がスキップ条件を満たす場合には、以前に選択された奥行き情報値を現在のデジタル画像の現在のフラグメントの奥行き情報値として選択する
ように構成される。

本発明の第2の態様による画像処理装置の第1の可能な実施形式では、信号処理ロジックは、
比較の結果がスキップ条件を満たさない場合には、
信号処理ロジックは、デジタル基準画像の更なる基準フラグメント候補を定義する更なる奥行き情報値候補に基づいて、現在のフラグメントの類似度を計算し、
更なる奥行き情報値候補を以前に選択された奥行き情報値と比較し、
計算された類似度に重み関数を適用して、更なる奥行き情報値候補と以前に選択された奥行き情報値との比較の結果に基づいて、現在のフラグメントの重み付き類似度を取得し、
奥行き情報値候補の重み付きマッチングコストに応じて、現在のフラグメントの奥行き情報値として更なる現在の奥行き情報値候補を選択するか否かを決定する
ように構成される。

しきい値は、例えば、重み関数で使用されるペナルティ値、または、例えば、実験データおよび／または現在処理されているデジタル画像の既知のもしくは仮定された特性に基づいて導き出される他の値であってもよい。

したがって、奥行き情報値は、効率的（低複雑度）であるが同時に（推定品質に関して）改善された方法で推定され、スキップ条件が満たされた場合には多くの処理ステップをスキップまたは回避することを可能にする。

第2の態様または第1の態様の第1の実施形式による画像処理装置の第2の可能な実施形式では、類似度はマッチングコストであり、スキップ条件は、マッチングコストがしきい値よりも小さいかまたはそれ以下であることであり、あるいは、類似度はマッチングコストであり、スキップ条件は、マッチングコストがしきい値よりも小さいかまたはそれ以下であることであり、しきい値は、奥行き情報値候補が以前に選択された奥行き情報値と異なるか、または基準もしくは以前に選択された奥行き情報値候補の集合に含まれる任意の奥行き情報値と異なる場合に、マッチングコストに適用される重み関数のペナルティに等しく、あるいは、類似度はマッチング確率であり、スキップ条件は、マッチング確率がしきい値よりも大きいかまたはそれ以上であることである。

しきい値は、例えば、重み関数で使用されるペナルティ値、または、例えば、実験データおよび／または現在処理されているデジタル画像の既知のもしくは仮定された特性に基づいて導き出される他の値であってもよい。

したがって、奥行き情報値は、効率的（低複雑度）であるが同時に（推定品質に関して）改善された方法で推定され、スキップ条件が満たされた場合には多くの処理ステップをスキップまたは回避することを可能にする。

第2の態様による更なる実施形式は、第1の態様に関して（および以下の実施形式の実施形態の詳細な説明から）先に説明した更なる説明および実施形式から直接導き出され、それは第2の態様による実施形式に同様に適用する。

第3の態様によれば、本発明は、現在のデジタル画像の現在のフラグメントの奥行き情報値を選択するための画像処理方法に関する。画像処理方法は、同一の現在のデジタル画像、または同じもしくは異なるビューの以前に処理されたデジタル画像の以前に処理されたフラグメントに対して選択された以前に選択された奥行き情報値を格納するステップと、デジタル基準画像の基準フラグメント候補を定義する奥行き情報値候補に基づいて、現在のフラグメントの類似度を計算するステップと、奥行き情報値候補を以前に処理されたフラグメントに対して選択された、以前に選択された奥行き情報値と比較するステップと、奥行き情報値候補と以前に選択された奥行き情報値との比較の結果に基づいて、現在のフラグメントの重み付き類似度を取得するために、計算された類似度に重み関数を適用するステップと、奥行き情報値候補の重み付き類似度に応じて、現在のフラグメントの奥行き情報値として現在の奥行き情報値候補を選択するか否かを決定するステップと、を含む。

本発明の第3の態様による画像処理方法は、本発明の第1または第2の態様による画像処理装置によって実行することができる。本発明の第3の態様による画像処理方法の更なる特徴は、本発明の第1および第2の態様による画像処理装置およびその異なる実施形式の機能から直接的に生じる。

第4の態様によれば、本発明は、コンピュータ上で実行された場合に本発明の第3の態様による方法またはその実施形式のいずれか1つを実行するためのプログラムコード含むコンピュータプログラムに関する。

本発明は、ハードウェアおよび／またはソフトウェアで実施することができる。

本発明の更なる実施形態を、以下の図面に関して説明する。

一実施形態による画像処理装置の概略図である。 一実施形態による画像処理方法の概略図である。 一実施形態による画像処理装置に実装されたアルゴリズムの流れ図である。 別の実施形態による画像処理装置に実装されたアルゴリズムの流れ図である。 異なる実施形態による画像処理装置に実装された異なるアルゴリズムの基本概念を示す概略図である。 さらに別の実施形態による画像処理装置に実装されたアルゴリズムの流れ図である。

様々な図において、同一または少なくとも機能的に等価な特徴については、同一の符号が使用される。

以下の詳細な説明では、本開示の一部を形成する添付の図面を参照し、図面には、本開示が実施され得る特定の態様が例示として示されている。本開示の範囲から逸脱することなく、他の態様を利用することができ、構造的または論理的変更を行うことができることが理解される。したがって、以下の詳細な説明は、限定的な意味で解釈するべきではなく、本開示の範囲は、添付の特許請求の範囲によって規定される。

記載した方法に関連する開示はまた、その方法を実施するように構成された対応する装置、デバイスまたはシステムについても当てはまり、逆もまた同様であることが理解される。例えば、特定の方法ステップが記載されている場合には、対応する装置は、説明された方法ステップを実行するユニットを含むことができ、そのようなユニットが明示的に記載されていないまたは図面に示されていない場合であってもそれを含むことができる。さらに、特に断らない限り、本明細書に記載された様々な例示的な態様の特徴は、互いに組み合わせてもよいことが理解される。

図1は、一実施形態による画像処理装置100の概略図を示す。画像処理装置100は、現在処理されているデジタル画像の現在処理されているフラグメントに対する奥行き情報値d_bestを選択するように構成される。奥行き情報値d_bestは、例えば、奥行き値、視差値、または奥行き値または視差値を表す指標またはラベルであってもよい。現在処理されているフラグメントは、例えば、デジタル画像の現在処理されている画素または現在処理されている画素群であってもよい。

画像処理装置100は、メモリは、同一の現在のデジタル画像、または同じもしくは異なるビューの以前に処理されたデジタル画像の以前に処理されたフラグメントに対して選択された以前に選択された奥行き情報値d_prevを格納するように構成されたメモリ101を含む。

さらに、画像処理装置100は、信号処理ロジック103を含む。信号処理ロジック103は、デジタル基準画像の基準フラグメント候補を定義する奥行き情報値候補d_iに基づいて、現在のフラグメントの類似度を計算し、奥行き情報値候補d_iを以前に選択された奥行き情報値d_prevと比較し、計算された類似度に重み関数を適用して、奥行き情報値候補d_iと以前に選択された奥行き情報値d_prevとの比較の結果に基づいて、現在のフラグメントの重み付き類似度を取得し、奥行き情報値候補d_iの重み付き類似度に応じて、現在のフラグメントの奥行き情報値d_bestとして現在の奥行き情報値候補d_iを選択するか否かを決定するように構成される。

信号処理ロジック103は、プロセッサ、例えば、多目的プロセッサまたはデジタル信号プロセッサ（DSP）、ASIC、FPGA、CPU、GPUなどであってもよい。

メモリ101は、信号処理ロジック103の一部、例えば集積化されたメモリであってもよいし、別個のメモリであってもよい。

奥行き情報値は、例えば、奥行き値、視差値、または奥行き値または視差値を表す指標またはラベルであってもよい。フラグメントは、例えば、現在のデジタル画像および／またはデジタル基準画像の画素または画素群であってもよい。

さらに以下で詳細に説明するように、類似度は、例えばマッチングコストまたはマッチング確率であってもよく、マッチングコストは、現在のフラグメントと基準フラグメントとの差を示す尺度であり、差が大きくなるにつれて増加し、マッチング確率は、現在のフラグメントと基準フラグメントが一致する尤度または確率を示す尺度であり、差が大きくなるにつれて減少する。

以前に処理されたフラグメントは、同一の現在のデジタル画像のものであってもよいし、同じまたは以前の時点の同じビューまたは異なるビューの以前に処理されたデジタル画像、すなわち時間的に先行するデジタル画像のものであってもよい。

現在のフラグメントに対する現在の奥行き情報値候補と以前のフラグメントに対する以前に選択または決定された奥行き情報値との比較に基づいて、類似度、例えばマッチングコストに重み付けすることによって、本発明の実施形態は、現在処理されているフラグメントの奥行き情報値を強力かつ計算上効率的な方法で決定するように構成された画像処理装置を提供する。重み関数は、現在処理されているフラグメントの奥行き情報値を決定する際に、奥行き情報値の遷移にペナルティを課すように構成される。

信号処理ロジック103は、フォワードアルゴリズムまたは畳み込みステップが以前の奥行き情報値に基づいて提案された重み付けによって置き換えられることができる任意の他の最適化アルゴリズムにおいて、フラグメントをシリアル／シーケンシャルに並行して処理するように構成することができる。

信号処理ロジックは、現在のフラグメントに対する異なる奥行き情報値候補、例えば、dまたはd_iをそれぞれシーケンシャルにシリアルに、例えばループで、または並行して処理するように特に構成することができる。

図2は、一実施形態による、現在のデジタル画像の現在のフラグメントに対する奥行き情報値d_bestを選択するための画像処理方法200の概略図を示す。

方法200のステップ201では、以前に処理されたフラグメントに対して選択された以前に選択された奥行き情報値が格納される。方法200のステップ203では、デジタル基準画像の基準フラグメント候補を定義する奥行き情報値候補に基づいて、現在のフラグメントに対する類似度が計算される。方法200のステップ205では、奥行き情報値候補d_iが、以前に処理されたフラグメントに対して選択された以前に選択された奥行き情報値と比較される。方法200のステップ207では、奥行き情報値候補と以前に選択された奥行き情報値との比較の結果に基づいて、現在のフラグメントの重み付き類似度を取得するために、重み関数が計算された類似度に適用される。方法200のステップ209では、奥行き情報値候補の重み付き類似度に応じて、現在のフラグメントの奥行き情報値として現在の奥行き情報値候補を選択するか否かが決定される。

信号処理ロジック103は、メモリ101と組み合わせて画像処理方法200（すなわち、本明細書に記載されたその実施形態および実施形式のいずれか）を実行するように構成することができる。

以下では、画像処理装置100および画像処理方法200の更なる実施形式および実施形態について説明する。

本明細書ではPREV−BEST−1とも呼ばれる実施形態では、類似度はマッチングコストであって、短くコストと呼ばれることもあり、重み付き類似度は重み付きマッチングコストであり、短く重み付きコストと呼ばれることもある。より具体的には、重み関数は、条件付きペナルティ関数であり、所与の画像フラグメントおよび奥行き情報値候補dに対する重み付きマッチングコストC_current（d）は、所与の奥行き情報値候補が、以前に処理されたフラグメントに対して選択された奥行き情報値d_prevと異なる場合には、条件付きで、画像フラグメントマッチングコストM_current（d）と一定のペナルティ値との和として定義される。すなわち、
（7）

当業者が理解するように、上記の式（7）は、以下のように表すこともできる。
C_current（d）＝M_current（d）＋T_Potts（d，d_prev） （8）

一実施形態では、マッチングコストM_current（d）は、例えば、上記の式（2）によって与えられる絶対差の和（SAD）または上記の式（3）によって与えられる二乗差の和（SSD）であってもよい。マッチングコストM_current（d）は、例えば現在処理されているフラグメントの近傍の以前に処理されたフラグメントに対して選択された奥行き情報値を考慮しないため、局所的マッチングコストとも呼ばれ、したがって、以前に処理されたフラグメントの奥行き情報値と現在処理されているフラグメントとの間の変化または遷移もない。

このような実施形態は、式（7）および式（8）で説明したように、奥行き情報値候補d（またはd_i）が以前に選択した奥行き情報値d_prevと異なる場合（例えば、以前に処理されたフラグメント、例えば現在処理されているフラグメントの近傍のフラグメントに関する奥行き情報値の遷移または変化がある場合）には、マッチングコストM_current（d）にペナルティ値「ペナルティ」のペナルティを課す重み関数を含み、奥行き情報値候補d（またはd_i）が以前選択された奥行き情報値d_prevと等しいか同一である場合（例えば、以前に処理されたフラグメント、例えば、現在処理されているフラグメントの近傍のフラグメントに関する奥行き情報値の遷移または変化がない場合）には、マッチングコスト（M_current（d）＝C_current（d））を維持する。

一般に、以前に選択された奥行き情報値d_prevは、以前に処理された任意のフラグメントに関連することができる。一実施形態では、現在処理されているフラグメントは、図5の文脈でさらに詳細に後述するように、以前に処理されたフラグメントの近傍にある。例えば、d_prevは、現在処理されている画素または画素群に直接隣接する画素または画素群の推定された奥行き情報値とすることができ、それに対して重み付きマッチングコストC_current（d）が計算される。

一実施形態では、上記の式（7）で定義されたペナルティ値は「実験的に」決定することができる。経験則として、その値は処理される画像の類似度、例えばマッチングコストM_current（d）に存在する雑音のレベルと同程度であるべきである。

図3は、図2の画像処理方法200の実施を形成するPREV−BEST−1アルゴリズムの流れ図を示し、それは、一実施形態による画像処理装置、例えば図1に示す画像処理装置100で実施することができ、このアルゴリズムまたは方法は、メモリ101と組み合わせて信号処理ロジック103によって実行することができる。

この実施形態では、N個の適格な奥行き情報値候補の集合d_i∈｛d₀，d₁，．．．，d（_N−1）｝が考慮され、ここで、iはそれぞれの奥行き情報値候補の指標であり、i＝0、．．．、N−1である。図3の初期化ステップ301（cost_best変数を最大値、例えば「infinity」に設定する）およびステップ303（反復カウンタiを0に設定する）の後に、適格な奥行き情報値候補d_iごとに（図3のステップ307）、重み付きマッチングコストC_current（d_i）が（局所的フラグメントマッチングコストM_current（d）の形式の類似度を用いて）計算され、コスト変数に割り当てられる（図3のステップ307）。奥行き情報値候補d_iは、以前のフラグメントの奥行き情報値d_prevと比較される（図3のステップ309）。以前のフラグメントの奥行き情報値候補d_iと奥行き情報値d_prevとが等しい場合には、cost変数の値、すなわち奥行き情報値候補d_iのコストはcost_best変数の値と直接比較され、cost_best変数の値は、以前に処理された奥行き情報値の候補に関して、現在のフラグメントに対して今までに決定された最良のまたは最小のコストを表す。以前のフラグメントの奥行き情報値候補d_iと奥行き情報値d_prevとが等しくない場合には、cost変数の値にペナルティ値を加えてペナルティを課したコスト値を求め、ペナルティを課したコスト値をcost変数に割り当てて（図3のステップ311）、cost_best変数の値と比較する。cost変数の値がcost_best変数の値より小さいかまたは等しい場合（図3のステップ313）には、現在の奥行き情報値候補d_iが変数d_bestに割り当てられ、変数d_bestは、以前に処理された奥行き情報値の候補に関して現在のフラグメントに対してこれまでに決定された最良の奥行き情報値を表しており、cost変数の値がcost_best変数に割り当てられる（図3のステップ315）。cost変数の値がcost_best変数の値より大きい場合には、変数d_bestおよび変数cost_bestは維持される、すなわち変更または更新されない。その後に、奥行き情報値候補の指標iがインクリメントされ（図3のステップ317）、新しい現在の奥行き情報値候補の指標iに対して上記のステップが実行される。

一実施形態では、第1の反復、すなわちi＝0については、例えば、cost変数の値とcost_best変数の値の比較を省略することができ、cost_best変数の値を奥行き情報値候補d₀に対して計算されたコスト値に設定すればよく、d_best変数の値を奥行き情報値候補d₀に設定すればよい。換言すれば、図3に示す探索ループ300aでは、すべての奥行き情報値候補d_iの中で最小の重み付きマッチングコストC_current（d_i）が見いだされ、cost_best変数に書き込まれる。対応する最良の奥行き情報値dは、d_bestに格納され、出力に供給される。

すべての奥行き情報値候補d_iがループ300a内で処理されると、最終的なd_bestが奥行き情報値として出力される（図3のステップ319）。

図1および図2に基づいて説明した実施形態に戻ると、図3は本発明の実施形態を示しており、類似度はマッチングコストであり、重み付き類似度は重み付きマッチングコストであり、現在の最良の類似度は現在の最良のマッチングコストであり、重み関数は、（局所的）マッチングコストが遷移の場合（すなわち、現在処理されている奥行き情報値候補d_iと以前に選択された奥行き情報値d_prevとの間の奥行き情報値の差がある場合）にのみペナルティが課せられるように構成された遷移関数であり、現在の最良の候補値（現在最良の奥行き情報値d_bestおよび対応する現在の最良のマッチングコストcost_best）を格納し、かつ、より良い候補が見つかった場合にはそれらを更新しつつ、異なる奥行き情報値候補d_iがシーケンシャルに（ループで）処理される。

したがって、図3のステップ307は図2のステップ203に対応し、図3のステップ309は図2のステップ205に対応し、図3のステップ309およびステップ311から離れる矢印「はい」および「いいえ」は、図2のステップ207に対応し、例えばステップ303、305および317（すべての奥行き情報候補を処理するループに関連する）と組み合わせたステップ313、315および319は、図2のステップ209に対応する。

同じマッピングが、図1に基づいて説明した画像処理装置に適用される。メモリ101は、例えば、以前に選択された奥行き情報値d_prev、図3による実施形態を実行するために必要な他の値および指標、例えば、現在の最良の奥行き情報候補d_best、現在の最良のマッチングコストcost_best、奥行き情報値候補の指標i、現在処理されているフラグメントの奥行き情報d（またはd_best）を選択するために処理される奥行き情報値候補の数を示す値N、ペナルティ値penalty、現在処理されている奥行き情報値候補d_iに対するコスト変数cost（マッチングコストM_current（d_i）および／または重み付きマッチングコストC_current（d_i）を格納するため）をさらに格納するように構成されてもよい。更なる実施形態では、他の値および指標は、別のメモリ、例えば、信号処理ロジック103に集積化されたメモリまたは別個のメモリに格納されてもよい。これは、これに対応して、以下に説明する他のすべての実施形態にも当てはまる

図4は、本明細書ではPREV−BEST−2と呼ばれ、図2の画像処理方法200の実施を形成する更なるアルゴリズムの流れ図を示し、それは、一実施形態による画像処理装置、例えば図1に示す画像処理装置100で実施することができ、このアルゴリズムまたは方法は、メモリ101と組み合わせて信号処理ロジック103によって実行することができる。

図3の文脈で説明されたアルゴリズム、すなわちPREV−BEST−1アルゴリズムでは、すべての適格な奥行き情報値候補が等しく考慮され、したがって、例えば、特定の順序なしに（例えば、0〜N−1のそれらの指標iに従って）処理される。

図4に示すアルゴリズムでは、以前に処理されたフラグメントに対して選択された以前の奥行き情報値d_prevが最初に処理される（図4のステップ401）ように、奥行き情報値の探索が部分400aで再順序付けされる（「評価部分をスキップする」）。以前の奥行き情報値d_prevに関連するマッチングコストにペナルティが加えられないので、その重み付きマッチングコストC_current（d_prev）が計算され、それはマッチングコストM_current（d_prev）に等しい（図4のステップ401）。図4のステップ403は、計算されたマッチングコストM_current（d_prev）がペナルティ値よりも小さい（または以下である）場合には、奥行き情報値探索ループ400bがスキップされるという更新条件を定義する。そのような場合、d_prev（d_prevにも割り当てられる）がすぐに出力に供給される（図4のステップ421）。このような奥行き情報値探索ループ400bのスキップは、計算の複雑さを大幅に低減することを可能にする。

ループ400bは、図3に示すアルゴリズムのループ300aと同一であるので、図4のステップ405〜413に対応するループ300aのステップ303〜311の詳細な説明を参照する。

言い換えると、図4に基づいて説明した実施形態400は、図3の初期化301を図4のスキップ評価400aに置き換えたこと以外は、図3に基づいて説明した実施形態300と同一である。図3に提供される更なる説明は、図4にも等しく適用される。

当業者であれば分かるように、図3および図4に示すアルゴリズムでは、以前に処理されたフラグメントに対して選択された単一の奥行き情報値d_prevのみが、奥行き情報値候補に対する重み付き類似度を計算するために使用され、それは図5のボックス501に概略的に示されている。図5では、xおよびyは水平（x）および垂直（y）方向のフラグメントの座標を示し、tはフラグメントの時刻を示し、矢印は以前に処理されたフラグメントから現在処理されているフラグメントの方に向いている。図5に示す例は、フラグメントが左から右に水平に処理される典型的なアプリケーションに関連する。したがって、ボックス501は、奥行き情報値候補の重み付き類似度を計算するために、同一時刻（すなわち、同じ現在のデジタル画像）の水平左隣のフラグメントの奥行き情報値d_prevのみが使用される実施形態を示す。同一時刻の水平左隣のフラグメントの代わりに、他の以前に処理されたフラグメントが使用されてもよく、例えば、同一時刻の左上隣または左下隣、以前の時刻の（すなわち、例えば同じビューの以前のデジタル画像の）対応するフラグメント（すなわち、デジタル画像内の同じx、y座標を有するフラグメント）、異なるビュー（すなわち、同じ3Dシーンとは異なるビューまたはパースペクティブを表すデジタル画像）の対応するフラグメント（すなわち、デジタル画像内の同じx、y座標を有するフラグメント）、あるいは、同じもしくは異なる（例えば、前の）時刻および／または同じもしくは異なるビューの隣接するフラグメントを使用することができる。

典型的には、隣接するフラグメントまたは対応するフラグメント（すなわち、異なるデジタル画像における同じ位置／x、y座標）は、現在処理されているフラグメントとのそれらの空間的関係により最も有意義である。しかし、更なる実施形態では、他の以前に処理されたフラグメントの奥行き情報値が使用されてもよく、例えばデジタル画像の空間特性が既知である場合には、以前に処理された他のフラグメントの奥行き情報値が奥行き情報値推定を改善するのに適している。

図4に基づいて説明したPREV−BEST−2の実施形態についても同様の考察が適用される。

さらに、本発明の実施形態は、以前に処理されたフラグメントの複数の奥行き情報値が考慮され、重み付き類似度を計算するために、例えば類似度にペナルティを課すか否かを決定するために用いられる。

例えば、本発明の実施形態では、重み付き類似度（ここでは重み付きマッチングコスト）は、P個の以前に推定された奥行き情報値
の集合を使用して、以下のように計算することができる。
（9）

図5のボックス503に概略的に示すように、一実施形態では、
は、現在処理されているフラグメントに隣接するフラグメントに対して推定／選択された3つの例示的な奥行き情報値とすることができ、重み付きマッチングコストC_current（d）が現在計算される（PREV−BEST−3と呼ばれる）。これらの隣接するフラグメントは、現在処理されているフラグメントと様々な空間的関係にあることができ、図5のボックス505には更なる1つが示されており、4つの例示的な奥行き情報値
が考慮される（PREV−BEST−4と呼ばれる）。

ボックス503は、重み付き類似度を計算するために、同一時刻（すなわち、同じ現在のデジタル画像）の3つの左隣のフラグメントの奥行き情報値d_prev1〜d_prev3、すなわち左上隣（d_prev1）、水平左隣（d_prev2）、および左下隣（d_prev3）が使用される実施形態を示す。

ボックス505は、ボックス503の3つの左隣のフラグメントの奥行き情報値d_prev1〜d_prev3に加えて、同一時刻（例えば、同じ現在のデジタル画像）の垂直上隣の奥行き情報値d_prev4が重み付き類似度を計算するために用いられる実施形態を示す。

前に述べたように、実施形態では、以前に選択された奥行き情報値
の集合は、現在処理されているフラグメントとは異なる時刻に関連する、以前の（時間における）画像フレームに関連する奥行き情報値を含むこともできる。図5のボックス507に概略的に示す例示的なPREV−BEST−3−T1の実施形態では、4つの奥行き情報値
の集合が使用され、
は、同じ画像内の処理されたフラグメントに空間的に隣接するものであり（ボックス503と同じ）、
は、同一位置のフラグメント（すなわち、デジタル画像内の同じ位置またはx、y座標を有するフラグメント）であり、処理されたフラグメントに時間的に隣接する（すなわち直前のデジタル画像に含まれる）。

更なる実施形態では、以前に選択された奥行き情報値
の集合は、他の隣接関係、あるいは同じデジタル画像内の、または同じもしくは以前の時刻のデジタル画像内の、および／または同じもしくは異なるビューのデジタル画像内の他の空間的関係を有する奥行き情報値を含むことができ、例えば処理順序が異なる場合（例えば、右から左へ、または上から下へなど）、および／またはデジタル画像の空間的もしくは時間的特性が既知である場合には、以前に処理された他のフラグメントの奥行き情報値が奥行き情報値の推定を改善するのにより適している。

一実施形態では、P個の選択された奥行き情報値
の集合は、以前に処理された1つまたは複数のフラグメントに対して選択された奥行き情報値に類似するが、必ずしも同一でなくてもよい奥行き情報値によって拡張される。例えば、図3に示す実施形態の場合、すなわちPREV−BEST−1（および対応する図4：PREV−BEST−2）の場合には、奥行き情報値d_prevを有する以前に処理された単一のフラグメントのみが考慮され、P個の選択された奥行き情報値の集合は以下のように拡張される。
｛d_prev−m，．．．，d_prev−1，d_prev，d_prev＋1，．．．，d_prev＋n｝ （10）
ここで、値mおよびnは予め定義または適合させることができる。

図6は、図2の画像処理方法200の実施を形成する更なるアルゴリズムの流れ図を示し、それは、一実施形態による画像処理装置、例えば図1に示す画像処理装置100で実施することができ、このアルゴリズムまたは方法は、メモリ101と組み合わせて信号処理ロジック103によって実行することができる。

図6に示す実施形態は、例えば上記の式9または式10、またはそれらの組み合わせによって定義されるような、奥行き情報値
の拡張された集合についての図4に示す実施形態の変形である。そのような実施形態では、以前に処理されたフラグメントからのP個の選択された奥行き情報値
の集合が最初に考慮される（図6の評価ループ600aをスキップすることを参照）。最小の重み付きマッチングコスト
を有する最良の
が見いだされ（図6のステップ601〜613を参照）、その重み付きマッチングコストがペナルティ値よりも小さい（または以下である）場合には、図6のステップ615で定義されたスキップ条件の結果として、更なる奥行き情報値探索ループ600bがスキップされる。

最小の重み付きマッチングコストがペナルティ値より小さくない（またはそれ以下でない）場合には、以前に処理されたフラグメントから所定の順序で選択されたP個の奥行き情報値
の集合に関してN個の奥行き情報値候補d_iを処理することにより、図6のループ600bが実行される。例えば、ステップ623およびステップ625は、式9または式10（またはそれらの組み合わせ）に基づいて、奥行き情報値候補d_iごとに実行される。

ループ600aの代替的な実施形態では、以前に処理されたフラグメントから選択されたP個の奥行き情報値
の集合が所定の順序で処理される。ペナルティ値より小さい（または以下の）重み付きマッチングコスト
を有する第1の奥行き情報値
が、現在のフラグメントに対するd_bestとして出力され、更なる奥行き情報検索がスキップされる。P個の選択された奥行き情報値
のいずれもがペナルティ値よりも小さい（または以下の）重み付きマッチングコストを有していない場合には、ループ600bが、現在処理されているフラグメントに対するd_bestを決定するために使用される。

ループ600bは、図3に示す実施形態のループ300aと本質的に同一である（すなわち、ステップ623、625が式9または式10またはそれらの組み合わせに基づいて奥行き情報値候補d_iごとに実行されることを除いて同一である）ので、図6のステップ617〜631に対応するループ300aのステップ303〜311の詳細な説明を参照する。

画像処理装置100および画像処理方法200の実施形態は、主に、類似度および重み関数としてマッチングコストを使用する実施に基づいて説明され、それは、奥行き情報値候補d_iが以前に選択された奥行き情報値に等しい場合にはマッチングコストを維持し、奥行き情報候補d_iが以前選択された奥行き情報値と異なる場合にはペナルティ値penaltyを加えるが、本発明の実施形態はこれらに限定されないことに留意されたい。

類似度としてマッチングコストを使用する更なる実施形態では、奥行き情報値候補が以前に選択された奥行き情報値と同一である場合には、奥行き情報値候補が以前に選択された奥行き情報値と異なる場合と比較して、マッチングコストをより小さい程度に増加させる（第2のペナルティ値を加える）ように重み関数を構成することができる。したがって、遷移は、非遷移と比較してさらに（より多くの）ペナルティが課せられる。しかしながら、式（7）〜式（9）および図3、図4および図6に基づいて説明したようにマッチングコストを単純に維持することは、処理労力を低減する。

類似度としてマッチングコストを使用する更なる実施形態では、重み関数は、ペナルティ値を加えることとは異なる方法で遷移にペナルティを課す、例えばマッチングコストに例えば1より大きいペナルティ係数を乗じるように構成することができる。したがって、遷移はまた非遷移と比較してペナルティが課せられる。さらに別の実施形態では、非遷移の場合もペナルティが課せられるが、遷移の場合よりも小さく、例えば遷移の場合に使用される第1のペナルティ係数よりも小さい第2のペナルティ係数により課せられ、例えば両方とも1より大きい。したがって、遷移は、非遷移と比較してさらに（より多くの）ペナルティが課せられる。しかし、単純にペナルティ値を加えることは、一般に、乗算よりも計算的に複雑ではない。したがって式（7）〜式（9）および図3、図4および図6に基づいて説明したようにマッチングコストに重み付けすることは、処理労力を低減する。

更なる実施形態では、マッチング確率が（マッチングコストの代わりに）類似度として使用される。マッチング確率値は、奥行き情報値がより類似するほど高くなるので、マッチング確率を用いる実施形態は、関連するマッチング確率が最も高い奥行き情報値を選択するように構成される。このように、マッチング確率のための重み関数は、例えば、マッチングコストのための重み関数と比較して逆特性を有する。例えば、遷移の場合にペナルティ値を加える代わりに（マッチングコストのように、式（7）〜式（9）を参照）、重み関数は、遷移の場合はペナルティ値を減算し、非遷移の場合はマッチング確率を維持することができる。

さらに、マッチングコストを使用する実施形態について提供される説明に対応して、マッチング確率を使用する実施形態は、例えば第1のペナルティ値（遷移の場合に使用される）よりも小さい第2のペナルティ値を減算することによって、非遷移の場合にペナルティを課すように構成することができ、あるいはマッチング確率を1より大きいペナルティ値で除算するように構成することができる。

一実施形態では、類似度は、Bhattacharayya係数に基づくマッチング確率であり、2つの分布が類似する確率であって、当業者には公知である。代替的な実施形態では、類似度はマッチング確率であり、マッチング確率を例えばexp（−「マッチングコスト」）または類似の式に比例するように定義することによってマッチングコストから導出される。一実施形態では、マッチング確率は［0，1］の範囲内で正規化される。

本発明の実施形態は、主にシーケンシャル処理（例えば、図3、図4および図6のループ）に基づいて説明されているが、本発明の更なる実施形態は、異なる奥行き情報値候補d_iを完全にまたは部分的に並列に処理する実施を含む。

図3を参照すると、装置100および方法200の並列実施形態は、ステップ307〜311を並列に実行し、重み付きコストを比較し、最も低いマッチングコスト（または最も高いマッチング確率）を有する奥行き情報値候補d_iを選択するように構成することができる。

同様に、図4を参照すると、装置100および方法200の並列実施形態は、以前に選択された奥行き情報d_prev（ステップ401、403に類似）のマッチングコスト（またはマッチング確率）に基づいてスキップ評価を最初に実行し、スキップ基準が満たされない場合にのみ、異なる奥行き情報値候補d_iの並列処理を実行するように構成することができる。

同様に、図6を参照すると、ループ600aを使用する代わりに、マッチングコスト（またはマッチング確率）を並列に計算してスキップ基準が満たされているかどうかを判定し、そうでない場合には、ループ600bを使用する代わりに、（異なる選択された奥行き情報値d_prevkに基づいて）異なる奥行き情報値候補d_iについて重み付きマッチングコストを並列に決定することができる。

本発明の実施形態は、とりわけ、以下の利点を提供する。

本発明の実施形態では、ビタビまたは確率伝搬アルゴリズムのような最小畳み込み計算を必要とせず、奥行き情報値推定に必要とされる動作上の複雑性（サイクル数またはシリコン面積）を低減する。

本発明の実施形態では、コスト関数値などの中間データのための更なる格納が不要であり（最良の選択された奥行き情報値のみが使用され、それは奥行き情報値推定の結果として既に格納されている）、したがって奥行き情報値推定のメモリ消費は、ビタビまたは確率伝搬アルゴリズムと比較して低減される。

本発明の実施形態では、奥行き情報値は、シングルパス手順で推定することができる。したがって、必要な計算時間が短くなり、奥行き情報値マップをオンザフライで計算することができる。

本発明の実施形態では、計算された奥行き情報値マップの規則性は、WTAアルゴリズムと比較して非常に良好であり、計算上より複雑なビタビアルゴリズムの場合よりわずかに悪いだけである。

本発明の実施形態では、WTAアルゴリズムと比較すると、実質的に同じアルゴリズム実装の複雑さを有しながら、生成された奥行き情報値マップの品質は実質的に改善される。

本発明の実施形態では、自然画像のフラグメントの大部分について、完全な奥行き情報値検索の必要はない。したがって、実施の速度を大幅に向上させることができる。Middleburyデータセットの場合には、RGB画素マッチングでは、本発明の実施形態は、アルゴリズムスループット、すなわち処理フレーム／秒の増加をもたらす複雑さの実質的な低減を可能にする。WTAアルゴリズムに対して例示的に達成されたスループットの向上は、PCコンピュータでは240％、Huawei Ascend P6携帯電話（1÷4スレッド）では200％、Samsung Galaxy S4ミニ（スレッド1）では220％である。

本発明の実施形態は、コンピュータシステム上で実行するためのコンピュータプログラムで実施することができ、それは、コンピュータシステムなどの、またはプログラム可能な装置が本発明によるデバイスもしくはシステムの機能を実行することを可能にすることができるプログラム可能な装置上で実行される場合に本発明による方法のステップを実行するためのコード部分を少なくとも含む。

コンピュータプログラムは、特定のアプリケーションプログラムおよび／またはオペレーティングシステムなどの命令のリストである。コンピュータプログラムは、例えば、サブルーチン、関数、プロシージャ、オブジェクトメソッド、オブジェクトインプリメンテーション、実行可能アプリケーション、アプレット、サーブレット、ソースコード、オブジェクトコード、共有ライブラリ／動的ロードライブラリおよび／またはコンピュータシステム上で実行するように設計された他の命令シーケンスのうちの1つまたは複数を含む。

コンピュータプログラムは、コンピュータ可読記憶媒体の内部に格納されてもよく、コンピュータ可読伝送媒体を介してコンピュータシステムに送信されてもよい。コンピュータプログラムの全部または一部は、一時的または非一時的なコンピュータ可読媒体上に永続的に、取り外し可能に提供されてもよく、または情報処理システムに遠隔的に結合されて提供されてもよい。コンピュータ可読媒体は、例えば、限定ではないが、以下の任意の数を含むことができる。すなわち、ディスクおよびテープ記憶媒体を含む磁気記憶媒体、コンパクトディスク媒体（例えば、CD−ROM、CD−Rなど）およびデジタルビデオディスク記憶媒体などの光記憶媒体、フラッシュメモリ、EEPROM、EPROM、ROMなどの半導体ベースのメモリユニットを含む不揮発性メモリ記憶媒体、強磁性デジタルメモリ、MRAM、レジスタ、バッファもしくはキャッシュ、メインメモリ、RAMなどを含む揮発性記憶媒体、コンピュータネットワーク、ポイントツーポイント通信機器、および搬送波伝送媒体を含むデータ伝送媒体を含むが、これらに限定されない。

コンピュータプロセスは、典型的には、実行中の（実行している）プログラムまたはプログラムの一部、現在のプログラム値および状態情報、ならびにプロセスの実行を管理するためにオペレーティングシステムによって使用されるリソースを含む。オペレーティングシステム（OS）は、コンピュータのリソースの共有を管理し、プログラマにこれらのリソースにアクセスするためのインターフェースを提供するソフトウェアである。オペレーティングシステムは、システムデータとユーザ入力を処理し、システムのユーザとプログラムにサービスとしてタスクと内部システムリソースを割り当て、管理することによって対応する。

コンピュータシステムは、例えば、少なくとも1つの処理ユニット、付随するメモリ、およびいくつかの入出力（I／O）デバイスを含むことができる。コンピュータプログラムを実行する際に、コンピュータシステムは、コンピュータプログラムに従って情報を処理し、I／Oデバイスを介して得られた出力情報を生成する。

当業者であれば、論理ブロック間の境界は単に例示的なものであり、代替的な実施形態は論理ブロックまたは回路要素を併合するか、または様々な論理ブロックまたは回路要素に代替的な機能分解を課すことができることを認識するであろう。したがって、本明細書に示すアーキテクチャは単なる例示であり、実際には同じ機能を実現する多くの他のアーキテクチャを実装できることを理解されたい。

したがって、同じ機能性を達成するための構成要素の任意の構成は、所望の機能が達成されるように効果的に「関連付け」られる。したがって、特定の機能を達成するために本明細書で組み合わされる任意の2つの構成要素は、アーキテクチャまたは中間構成要素に関係なく、所望の機能が達成されるように互いに「関連付け」られるとみなすことができる。同様に、そのように関連付けられた任意の2つの構成要素は、所望の機能を達成するために、互いに「動作可能に接続される」または「動作可能に結合される」とみなすこともできる。

さらに、当業者であれば、上述の動作間の境界は単なる例示であることを認識するであろう。複数のオペレーションは、単一のオペレーションに結合されてもよく、単一のオペレーションは、更なるオペレーションに分散されてもよく、オペレーションは、少なくとも部分的に時間的に重なり合って実行されてもよい。さらに、代替的な実施形態は、特定の動作の複数のインスタンスを含むことができ、動作の順序は、様々な他の実施形態で変更することができる。

また、例えば、実施例またはその一部は、任意の適切なタイプのハードウェア記述言語などの、物理回路または物理回路に変換可能な論理表現のソフトまたはコード表現として実施されてもよい。

また、本発明は、プログラマブルではないハードウェアに実装された物理デバイスまたはユニットに限定されず、適切なプログラムコードに従って動作することによって所望のデバイス機能を実行できるプログラマブルデバイスまたはユニットに適用することもでき、それは例えば、メインフレーム、ミニコンピュータ、サーバー、ワークステーション、パーソナルコンピュータ、ノートパッド、パーソナルデジタルアシスタント、電子ゲーム、自動車および他の組み込みシステム、携帯電話、および様々な他の無線デバイスなどであり、このアプリケーションでは一般に「コンピュータシステム」と呼ばれる。

しかしながら、他の変更、変形および代替も可能である。したがって、明細書および図面は、限定的ではなく例示的なものとみなすべきである。

100 画像処理装置
101 メモリ
103 信号処理ロジック
200 画像処理方法
300a 探索ループ
301 初期化ステップ
400a スキップ評価
400b 探索ループ
600a 評価ループ
600b 探索ループ

Claims (15)

1. 現在のデジタル画像の現在のフラグメントの奥行き情報値（d_best）を選択するための画像処理装置（100）であって、
   以前に処理されたフラグメントに対して選択された、以前に選択された奥行き情報値（d_prev；d_prevk）を格納するように構成されたメモリ（101）と、
   信号処理ロジック（103）と、
   を含み、前記信号処理ロジック（103）は、
   デジタル基準画像の基準フラグメント候補を定義する奥行き情報値候補（d_i）に基づいて、前記現在のフラグメントの類似度（コスト、M_Current（d_i））を計算し、
   前記奥行き情報値候補（d_i）を前記以前に選択された奥行き情報値（d_prev；d_prev，k）と比較し、
   前記計算された類似度に重み関数を適用して、前記奥行き情報値候補（d_i）と前記以前に選択された奥行き情報値（d_prev；d_prev，k）との比較に基づいて、前記現在のフラグメントの重み付き類似度（コスト、C_Current（d_i））を取得し、
   前記奥行き情報値候補（d_i）の前記重み付き類似度に応じて、前記現在のフラグメントの前記奥行き情報値（d_best）として前記奥行き情報値候補（d_i）を選択するか否かを決定する
   ように構成される、画像処理装置（100）。
2. 前記類似度はマッチングコストであり、前記重み付き類似度は重み付きマッチングコストであり、前記重み関数は、
   前記奥行き情報値候補（d_i）が前記以前に選択された奥行き情報値（d_prev；d_prev，k）と異なる場合には、前記マッチングコストは増加される（ペナルティ）ように、および／または、
   前記奥行き情報値候補（d_i）が前記以前に選択された奥行き情報値（d_prev；d_prev，k）と同一である場合には、前記マッチングコストは、維持されるか、または前記奥行き情報値候補（d_i）が前記以前に選択された奥行き情報値（d_prev；d_prev，k）と異なる場合と比較して、より小さい程度に増加される
   ように構成される、請求項1に記載の画像処理装置（100）。
3. 前記重み関数は、
   前記奥行き情報値候補（d_i）が前記以前に選択された奥行き情報値（d_prev；d_prev，k）と異なる場合には、前記マッチングコストは、前記重み付きマッチングコストを得るために前記マッチングコストに第1のマッチングコストペナルティを加えることによって増加されるか、または、前記重み付きマッチングコストを得るために前記マッチングコストに第1のマッチングコストペナルティを乗算することによって増加されるように、および／または、
   前記奥行き情報値候補（d_i）が前記以前に選択された奥行き情報値（d_prev；d_prev，k）と同一である場合には、前記マッチングコストは、維持されるか、もしくは前記重み付きマッチングコストを得るために前記マッチングコストに第2のマッチングコストペナルティを加えることによって増加されるか、または、前記重み付きマッチングコストを得るために前記マッチングコストに第2のマッチングコストペナルティを乗算することによって増加されるように構成され、前記第2のマッチングコストペナルティは、前記第1のマッチングコストペナルティより小さい、
   請求項2に記載の画像処理装置（100）。
4. 前記類似度はマッチング確率であり、前記重み付き類似度は重み付きマッチング確率であり、前記重み関数は、
   前記奥行き情報値候補（d_i）が前記以前に選択された奥行き情報値（d_prev；d_prev，k）と異なる場合には、前記マッチング確率は減少されるように、および／または、
   前記奥行き情報値候補（d_i）が前記以前に選択された奥行き情報値（d_prev；d_prev，k）と同一である場合には、前記マッチング確率は、維持されるか、または前記奥行き情報値候補（d_i）が前記以前に選択された奥行き情報値（d_prev；d_prev，k）と異なる場合と比較して、より小さい程度に減少される
   ように構成される、請求項1に記載の画像処理装置（100）。
5. 前記重み関数は、
   前記奥行き情報値候補（d_i）が前記以前に選択された奥行き情報値（d_prev；d_prev，k）と異なる場合には、前記マッチング確率は、前記重み付きマッチング確率を得るために前記マッチング確率から第1のマッチング確率ペナルティを減ずることによって減少されるか、または、前記重み付きマッチング確率を得るために前記マッチング確率を第1のマッチング確率ペナルティで除算することによって減少されるように、および／または、
   前記奥行き情報値候補（d_i）が前記以前に選択された奥行き情報値（d_prev；d_prev，k）と同一である場合には、前記マッチング確率は、維持されるか、もしくは前記重み付きマッチング確率を得るために前記マッチング確率から第2のマッチング確率ペナルティを減ずることによって減少されるか、または、前記重み付きマッチング確率を得るために前記マッチング確率を第2のマッチング確率ペナルティで除算することによって減少されるように構成され、前記第1のマッチング確率ペナルティは、前記第2のマッチング確率ペナルティより大きい、
   請求項4に記載の画像処理装置（100）。
6. 前記信号処理ロジック（103）は、
   奥行き情報値候補の集合の各奥行き情報値候補について類似度を計算し、各奥行き情報値候補（d_i）は、前記デジタル基準画像の基準フラグメント候補を定義し、
   奥行き情報値候補の前記集合の前記奥行き情報値候補（d_i）の各々を前記以前に選択された奥行き情報値（d_prev；d_prev，k）と比較し、
   前記奥行き情報値候補（d_i）の各々について、前記計算された類似度に重み関数を適用して、前記奥行き情報値候補（d_i）の各々について、前記現在のフラグメントについての対応する重み付き類似度を取得し、前記奥行き情報値候補（d_i）の各々について、前記比較の対応する結果に基づいて前記重み関数が適用され、
   前記重み付き類似度に基づいて、奥行き情報値候補の前記集合の前記奥行き情報値候補（d_i）から、前記現在のフラグメントの前記奥行き情報値（d_best）を選択する
   ように構成される、請求項1から5のいずれか一項に記載の画像処理装置（100）。
7. 前記類似度はマッチングコストであり、前記信号処理ロジック（103）は、最小の前記重み付きマッチングコストを有する、奥行き情報値候補の前記集合の前記奥行き情報値候補（d_i）から前記奥行き情報値（d_best）を選択するように構成され、または、
   前記類似度はマッチング確率であり、前記信号処理ロジック（103）は、最大の前記重み付きマッチング確率を有する、奥行き情報値候補の前記集合の前記奥行き情報値候補（d_i）から前記奥行き情報値（d_best）を選択する
   ように構成される、請求項6に記載の画像処理装置（100）。
8. 前記信号処理ロジック（103）は、奥行き情報値候補の集合の奥行き情報値候補（d_i）を順次処理することにより、前記現在のフラグメントの前記奥行き情報値（d_best）を決定するように構成され、
   前記信号処理ロジック（103）は、
   奥行き情報値候補の前記集合の現在の奥行き情報値候補（d_i）に対する類似度を計算し、
   前記現在の奥行き情報値候補（d_i）を前記以前に選択された奥行き情報値（d_prev；d_prev，k）と比較し、
   前記比較に応じて重み付き類似度を得るために、奥行き情報値候補の前記集合の前記現在の奥行き情報値候補（d_i）の前記類似度に前記重み関数を適用し、
   前記現在の奥行き情報値候補の前記重み付き類似度を、現在の最良の奥行き情報値（d_best）に関連する現在の最良の類似度（cost_best）と比較し
   前記現在の奥行き情報値候補の前記重み付き類似度が、前記現在の最良の類似度（cost_best）に関する更新条件を満たしていない場合には、前記現在の最良の奥行き情報値（d_best）を現在の最良の奥行き情報値として維持し、前記現在の最良の類似度を前記現在の最良の類似度として維持し、および／または、
   前記現在の奥行き情報値候補の前記重み付き類似度が前記現在の最良の類似度（cost_best）に関する更新条件を満たす場合には、前記現在の奥行き情報値候補（d_i）を現在の最良の奥行き情報値（d_best）として前記メモリに書き込み、前記現在の奥行き情報値候補（d_i）の前記重み付き類似度を現在の最良の類似度（cost_best）として前記メモリ（101）に書き込み、
   すべての奥行き情報値候補（d_i）が処理された後に、前記現在の最良の奥行き情報値（d_best）を前記現在のデジタル画像の前記現在のフラグメントの奥行き情報値（d_best）として選択する
   ように構成される、請求項1から6のいずれか一項に記載の画像処理装置（100）。
9. 前記類似度はマッチングコストであり、前記重み付き類似度は重み付きマッチングコストであり、前記更新条件は、前記重み付きマッチングコストが、前記現在の最良のマッチングコスト（cost_best）よりも小さいか、またはそれ以下であることであり、または、
   前記類似度はマッチング確率であり、前記重み付き類似度は重み付きマッチング確率であり、前記更新条件は、前記重み付きマッチング確率が、前記現在の最良のマッチング確率よりも大きいか、またはそれ以上であることである、
   請求項8に記載の画像処理装置（100）。
10. 前記メモリ（101）は、以前に処理されたフラグメントの集合の以前に選択された奥行き情報値（d_prev，k）の集合を格納するように構成され、
    前記信号処理ロジック（103）は、
    前記現在の奥行き情報値候補（d_i）を、以前に選択された奥行き情報値（d_best）の前記集合の前記奥行き情報値（d_prev，k）のうちの少なくとも1つと比較し、
    前記奥行き情報値候補（d_i）の前記計算された類似度に重み関数を適用して、以前に選択された奥行き情報値（d_prev，k）の前記集合の前記奥行き情報値（d_prev，k）のうちのいずれかが前記現在の奥行き情報値候補（d_i）と同一であるか否かに応じて、前記現在の奥行き情報値候補（d_i）に対する前記重み付き類似度を取得する
    ようにさらに構成される、請求項1から9のいずれか一項に記載の画像処理装置（100）。
11. 前記信号処理ロジック（103）は、
    前記現在の奥行き情報値候補（d_i）を前記以前に選択された奥行き情報値（d_prev）の周囲の範囲内の奥行き情報値の集合と比較し、
    前記奥行き情報値候補（d_i）の前記計算された類似度に重み関数を適用して、前記以前に選択された奥行き情報値（d_prev）の周囲の前記範囲内の奥行き情報値の前記集合の前記奥行き情報値（d_prev，k）のうちのいずれかが前記現在の奥行き情報値候補（d_i）と同一であるか否かに応じて、前記現在の奥行き情報値候補（d_i）に対する前記重み付き類似度を取得する
    ように構成される、請求項1から10のいずれか一項に記載の画像処理装置（100）。
12. 前記信号処理ロジック（103）は、
    前記以前に選択された奥行き情報値（d_prev；d_prev，k）に基づいて、前記現在のフラグメントの前記類似度（コスト，M_Current（d_i））を計算し、
    前記類似度をしきい値と比較し、
    前記比較の結果がスキップ条件を満たす場合には、前記以前に選択された奥行き情報値（d_prev；d_prev，k）を前記現在のデジタル画像の前記現在のフラグメントの前記奥行き情報値（d_best）として選択し、および／または、
    前記比較の結果が前記スキップ条件を満たさない場合には、
    更なるデジタル基準画像の基準フラグメント候補を定義する更なる奥行き情報値候補（d_i）に基づいて、前記現在のフラグメントの類似度（コスト、M_Current（d_i））を計算し、
    前記更なる奥行き情報値候補（d_i）を前記以前に選択された奥行き情報値（d_prev；d_prev，k）と比較し、
    前記計算された類似度に重み関数を適用して、前記更なる奥行き情報値候補（d_i）と前記以前に選択された奥行き情報値（d_prev；d_prev，k）との前記比較に基づいて、前記現在のフラグメントの重み付き類似度（コスト、C_Current（d_i））を取得し、
    前記奥行き情報値候補（d_i）の前記重み付きマッチングコストに応じて、前記現在のフラグメントの前記奥行き情報値（d_best）として前記更なる奥行き情報値候補（d_i）を選択するか否かを決定する
    ように構成される、請求項1から11のいずれか一項に記載の画像処理装置（100）。
13. 前記類似度はマッチングコストであり、前記スキップ条件は、前記マッチングコストが前記しきい値よりも小さいかまたはそれ以下であることであり、あるいは、
    前記類似度はマッチングコストであり、前記スキップ条件は、前記マッチングコストが前記しきい値よりも小さいかまたはそれ以下であることであり、
    前記しきい値は、前記奥行き情報値候補が前記以前に選択された奥行き情報値と異なるか、または基準もしくは以前に選択された奥行き情報値候補の集合に含まれる任意の奥行き情報値と異なる場合に、前記マッチングコストに適用される前記重み関数のペナルティに等しく、あるいは、
    前記類似度はマッチング確率であり、前記スキップ条件は、前記マッチング確率が前記しきい値よりも大きいかまたはそれ以上であることである、請求項12に記載の画像処理装置（100）。
14. 現在のデジタル画像の現在のフラグメントの奥行き情報値（d_best）を選択するための画像処理方法（200）であって、
    以前に処理されたフラグメントに対して選択された、以前に選択された奥行き情報値（d_prev；d_previ）を格納するステップ（201）と、
    デジタル基準画像の基準フラグメント候補を定義する奥行き情報値候補（d_i）に基づいて、前記現在のフラグメントの類似度（コスト、M_Current（d_i））を計算するステップ（203）と、
    前記奥行き情報値候補（d_i）を以前に処理されたフラグメントに対して選択された、以前に選択された奥行き情報値（d_prev；d_previ）と比較するステップ（205）と、
    前記奥行き情報値候補（d_i）と前記以前に選択された奥行き情報値（d_prev；d_prev，k）との前記比較に基づいて、前記現在のフラグメントの重み付き類似度（コスト、C_Current（d_i））を取得するために、前記計算された類似度に重み関数を適用するステップ（207）と、
    前記奥行き情報値候補（d_i）の前記重み付き類似度に応じて、前記現在のフラグメントの前記奥行き情報値（d_best）として前記奥行き情報値候補（d_i）を選択するか否かを決定するステップ（209）と、
    を含む、画像処理方法（200）。
15. コンピュータ上で実行された場合に請求項14に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。