JP5587894B2

JP5587894B2 - 深さマップを生成するための方法及び装置

Info

Publication number: JP5587894B2
Application number: JP2011533916A
Authority: JP
Inventors: バルトジービーバレンブルグ
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2008-11-04
Filing date: 2009-11-02
Publication date: 2014-09-10
Anticipated expiration: 2029-11-02
Also published as: EP2347386A1; US20110210969A1; KR20110093829A; TWI524734B; WO2010052632A1; TW201029443A; CN102203829A; EP2184713A1; CN102203829B; KR101625830B1; JP2012507907A; US8447141B2

Description

本発明は、単眼情報を用いて画像の深さマップを生成するための方法及び装置、並びに、単眼情報を用いて画像の深さマップを生成するためのコンピュータ可読媒体上のコンピュータプログラムに関する。

最近の十年にわたって、相当な量の研究が家庭用三次元ディスプレイ技術の実現に向けられた。結果として、立体視ディスプレイ及び自動立体視ディスプレイの両方が相次いだ。

立体視ディスプレイでは、観察者の目は、時間多重で又は（例えばスペクトル分離によって）同時に、左眼画像を観察者の左眼に導き、右眼画像を観察者の右眼に導くために、例えば観察者の眼とディスプレイとの間に配置される眼鏡又はホイルによって一般に補助される。一般にユーザは眼鏡を着用することを面倒に思うので、自動立体視ディスプレイが同様に相当な注目を集めている。自動立体視ディスプレイ（多くの場合マルチ・ビュー・ディスプレイ）は、一般に、観察者に向けられる観察コーン中に多重化される複数の（例えば5-9以上の）画像又はビューの視覚化を可能にする。それぞれ左及び右眼によってコーンからの別々のビューを観察することによって、立体視効果が肉眼によって得られる。

立体視ディスプレイ及び自動立体視ディスプレイの両方に対する重要な問題は、コンテンツの供給である。三次元コンテンツをディスプレイに供給するためのさまざまなアプローチが知られている。これらのアプローチのうちのいくつかは、全てのビューを明示的に符号化し、一方、他のアプローチは、１つ又はいくつかのビューと、これらのビューの１つ又は全てのための追加の深さ及び/又は視差情報とを符号化する。深さ情報を提供する利点は、例えば、提供された画像に基づいて追加的なビューをレンダリングするときに、三次元コンテンツの操作を容易にすることである。

そのような深さ情報は、例えばステレオ画像の視差の分析によって、又は距離計を使用して取得されることができるが、これは一般的に、新たに取得されるコンテンツに対してのみ可能である。さらに、ステレオ又はマルチビュー取得は、一般に、よりコストが高い。結果として、相当な研究が、単眼画像又は単眼画像のシーケンスからの深さ情報の取得に向けられてきた。完全に自動化された変換から高品質なコンテンツのためのユーザ支援2D-3D変換に及ぶ、そのようなアルゴリズムの様々なアプリケーションが構想されることができる。ユーザ支援2D-3D変換の場合、コンピュータ支援深さマップ生成が時間を相当節約することができる。

単眼画像から深さマップを得るアプローチの例は、"Depth Map Generation by Image Classification", by S. Battiato, et al, Proceedings of SPIE Electronic Imaging 2004, Three-Dimensional Image Capture and Applications VI - Vol. 5302-13に示される。

上記の論文において、深さマップは、画像の推定されたグローバル深さプロファイルに基づく深さマップを、画像構造を含む更なる深さマップと組み合わせることによって生成される。しかしながら、結果として生じる組み合わせは、結果として生じる画像において満足な奥行感を必ずしも提供しない。

したがって、本発明の目的は、代わりの深さマップを提供する別の方法を提供することである。

上記は、単眼情報を用いて画像の深さマップを生成する方法によって達成され、当該方法は、前記画像のための第１深さマップを生成し、第１深さマップは、画像中に示されるシーンのグローバル深さプロファイルの推定値に対応し、当該方法はさらに、前記画像のための第２深さマップを生成し、第２深さマップ中のピクセルに関連付けられる深さ値は、当該ピクセルに空間的に隣接した領域内の第１深さマップの深さ値並びに前記領域内の画像の色及び輝度値のうちの少なくとも１つに基づき、当該方法はさらに、第１深さマップ及び第２深さマップからの深さ値を用いて前記画像のための第３深さマップを生成し、当該生成は、第３及び第１深さマップの深さ値の間の差が、第２及び第１深さマップの深さ値の間の対応する差と比べてスケーリングされるように、深さ差をスケーリングする。

第３深さマップの生成は、２つの基礎をなす深さマップ成分、第１及び第２深さマップに基づき、両方とも、この第１深さマップの根底にある推定されたグローバル深さプロファイルに基づく。特に、画像が画像シーケンスからの画像であるとき、このグローバル深さプロファイルは、シーケンス中の隣接する画像に対して同様である可能性あり、したがって第３深さマップの時間的安定性に寄与する。

第２深さマップ生成は、次に、局所的構造をグローバル深さプロファイルに効果的に組み込む。第２深さマップの生成の間、画像中の輝度及び/又は色の類似性が、深さ値を割り当てるために使用される。結果として、画像において同様の色及び/又は輝度を持つオブジェクトの深さ値は、局所的により同様にされ、それにより、画像中で類似性を持つ構造が、一般的により同様であり、多くの場合グローバル深さプロファイルと異なる深さ値を得る。

なお、上述の類似性は、色及び/又は輝度値の予め定められた変動の範囲内であるとして定量化されることができる。

最後に、第３ステップは、第１及び第２深さマップの間のいくつかの差を効果的にスケーリングするように、生成された第１及び第２深さマップを組み合わせる。本発明による１つの実施の形態において、これは、局所的構造とグローバル深さプロファイルとの間のより顕著な差の導入を可能にする。このようにして、多くの場合幾分微妙な第１及び第２深さマップの間の差は、オブジェクトに対して強調されることができ、よりダイナミックな深さマップをもたらす。あるいは、第２深さマップ中の局所的構造が顕著すぎる場合もあり、その場合、０と１との間の係数によるスケーリングが、三次元観察経験を改善することができる。

なお、第２深さマップ中のピクセルのための深さ値を生成するときに、第１深さマップ中の対応するピクセルのまわりの領域における第１深さマップからの深さ値が用いられる。好ましくは、そのような隣接した深さ値の深さ値は、色及び/又は輝度類似性に基づいて重み付けされるが、例えば画像動き、局所的な輪郭の明瞭さ及び/又は付近のテクスチャの量のような、他の画像属性も同様に用いられることができる。このようにして、同様の色及び/又は輝度のピクセルに関連付けられた深さ値は、あまり似ていないピクセルより第２深さマップ中のピクセルの深さ値に寄与する。

なお、ここで「隣接」は、グローバルではなく局所的であることを意味することが意図され、すなわち、全体としての画像に基づかない。実際には、「隣接」は、多くの場合、ある開口内のピクセルに関する。開口は予め定められた形状及び/又はサイズであることができるが、例えば更なる画像情報に基づいて開口を動的に適応させることも可能である。

実施の形態において、第１深さマップは、深さマップ・テンプレートに基づく。そのようなテンプレートは、傾斜(すなわち、シーンの下部の前景から上部の背景への勾配)のような、単純な一般的なテンプレートであることができる。別の傾斜は、背景の出発点を定義する特定の垂直位置における水平線を含むことができる。あるいは、上で引用した"Depth Map Generation by Image Classification", by S. Battiato（この文献を参照として本願明細書に組み込む）に開示されるような、より複雑にパラメータ化可能なテンプレートが構成されることができる。ここで、パラメータ化可能なグローバル深さプロファイルが画像分析に基づいてどのように構成されることができるかに関する例が示される。一般的に言うと、深さマップ・テンプレートは、特定の種類のシーンの深さプロファイルの推定から成り、したがって、相当なバリエーションを示す可能性がある。例えば、室内の会話シーン又は魚眼クローズアップの典型的な深さプロファイルの差を考慮する。

好ましい実施の形態において、第２深さマップの生成は、画像中の色及び輝度値のうちの一方並びに第１深さマップ中の深さ値への双方向フィルタの適用を含む。結果として、画像のセグメント化は不要であり、さらに同時に、画像内の色及び/又は輝度変動は、色遷移の片側からの深さ値が、色遷移の反対側のピクセルの深さ値に関与することを防止するために利用されることができる。結果として、特定の色及び/又は輝度類似性を有する領域に対応する第２深さマップ中の深さ値は、第１深さマップ中の対応する領域よりも類似した深さ値を一般に持つ。結果として、オブジェクトは、グローバル深さプロファイルから更に異なるようにされる。

さらに好ましい実施の形態において、第３深さマップのための深さ値は、シーンの視点に最も近い深さに対応する深さ値に設定され、
-第１深さマップ中の対応する深さ値、又は
-第２深さマップからの対応する深さ値に基づく候補深さ値、
である。実際には、一般的に、第３深さマップのための深さ値は、第１深さマップ中の深さ値及び第２深さマップからの対応する深さ値に基づく候補深さ値のうちの最大値に設定される。この特定の手段の結果として、第３深さマップ中の深さ値は、グローバル深さプロファイルの後ろに配置されない。結果的に、第２深さマップにおいてグローバル深さプロファイルの後ろに配置されたオブジェクト（の一部）は、グローバル深さプロファイルに設定される。更なる候補深さ値が想定される。

有利な実施の形態における上述の候補値は、第１深さマップからの深さ値と第２深さマップからの対応する深さ値との加重差に加えて、第１深さマップからの深さ値を含む。結果として、例えばユーザ/観察者の制御の下でも、強調は調整されることができる。あるいは、候補値は、第１深さマップからの深さ値に空間的に隣接した１つ以上の深さ値に基づく閾値深さ値を含むことができる。このようにして、特定の色又は輝度を有するオブジェクトのための深さ値は、さらに改善されることができる。

実施の形態において、深さマップが生成される画像は、画像シーケンスの一部である。一次近似として、画像シーケンスがショットに分割されることができ、続いて、グローバル深さプロファイルがショット中の画像に基づいて選択されることができる。このようにして、生成される深さマップの時間整合性が、さらに改善されることができる。

例えばパラメータ化可能な深さマップ・テンプレートと、特に有利に組み合わせられることができる、より高度な方法において、グローバル深さプロファイルは、より多数の画像/フレームに関してショット内で更なる変動が存在するならば、ショットの複数の画像(例えばショット中の最初の画像及び最後の画像)に基づいて決定される。

上記実施例が特に有利であるが、これは、グローバル深さプロファイルが、画像シーケンスの個別の画像/フレームごとに基づいて、又は更にオプションとして、使用された最近のグローバル深さプロファイルと同様に現在の画像/フレームの評価によって選択される実施の形態のような、更なる実施の形態を除外しない。

本発明は、代わりの深さマップを提供する別の装置を提供することを更なる目的とする。

上記は、単眼情報を用いて画像のための深さマップを生成するための装置によって達成され、当該装置は、画像を受信するように配置される受信手段、及び処理手段を有し、前記処理手段は、前記画像のための第１深さマップを生成し、第１深さマップは、画像中に示されるシーンのグローバル深さプロファイルの推定値に対応し、前記処理手段はさらに、前記画像のための第２深さマップを生成し、第２深さマップ中のピクセルに関連付けられる深さ値は、当該ピクセルに空間的に隣接した領域内の第１深さマップの深さ値並びに前記領域内の画像の色及び輝度値のうちの少なくとも１つに基づき、前記処理手段はさらに、第１深さマップ及び第２深さマップからの深さ値を用いて前記画像のための第３深さマップを生成し、当該生成は、第３及び第１深さマップの深さ値の間の差が、第２及び第１深さマップの深さ値の間の対応する差と比べてスケーリングされるように、深さ差をスケーリングするように配置される。

上記は、単眼情報を用いて画像のための深さマップを生成するためのコンピュータ可読媒体上のコンピュータプログラムによってさらに達成される。

本発明のこれらの及び他の態様、特徴及び利点は、以下に説明される実施の形態から明らかであり、それらを参照して説明される。

本発明の実施の形態は、単に一例として、図面を参照して説明される。

本発明による方法のフローチャート。本発明による装置のブロック図。第１及び第２深さマップの垂直断面図。２つの深さマップの垂直断面図。３つの深さマップの垂直断面図。３つの深さマップの垂直断面図。シーンのグローバル深さプロファイルのいくつかの推定値を示す図。本発明による方法のいくつかのステップの出力を示す図。

上で示されるように、単眼情報を用いた画像のための深さマップの生成は、ステレオ画像を用いる場合よりも複雑である。ステレオ又はマルチビュー画像の場合には、多くの場合、ビュー中に表されるシーンに関する深さ情報を得るために、シーンのそれぞれのビュー間の視差を用いることが可能である。

ステレオ及びより少ない程度でマルチビュー取得手段が利用可能になっているが、一般的に、単眼の取得手段と比べて、そのような手段を用いる際に必要とされる追加的なコストが依然として存在する。さらに、既存の単眼のコンテンツに対して、ダブル・ビューすなわちステレオ又はマルチビューフォーマットで再現することは、多くの場合、可能ではない。

結果として、単眼情報を用いて画像の深さマップを生成するための方法の必要性が存在する。

図1は、本発明による方法100のフローチャートを示す。方法100は、単眼情報を用いて画像のための深さマップを生成する方法を表す。この方法は、画像のための第１深さマップを生成する第１ステップ110を含む。この第１ステップの間、深さマップ、一般に画像中の全てのピクセルのための深さマップが生成され、第１深さマップ中の深さ値は、画像中に表されるシーンのグローバル深さプロファイルの推定値に対応する。

"Depth Information by Stage Classification" by V. Nedovic, et al, IEEE 11th International Conference on Computer Vision, 2007, ICCV 2007（この文献は参照として本願明細書に組み込まれる）において、５個のグローバル深さステージ及び１１個の更に詳細な深さステージへの画像の分類、並びに、そのような深さステージ上へ画像をマッピングする方法が示される。グローバル・ステージは、空、背景及び地面から成る第１ステージに対応する（例えば風景ショット）。第２ステージはボックスを含み、一般的に室内のシーンに適している。第３ステージはコーナ・ステージと呼ばれ、一般的に室内のシーンに適している。第４ステージは背景の前の一以上の人のためであり、最後に、第５ステージは深さを持たないシーンを含む。

上記の論文中に使用される分類は、特に有利であるが、網羅的ではなく、当業者によって容易に拡張されることができることが留意されるべきである。例えば、この論文中に示されるモデルは、魚眼レンズを用いて作成されるマクロ・ショットに対応するグローバル深さプロファイルを提供しない。

図4は、特定の画像のために用いられることができるグローバル深さプロファイルの深さマップのいくつかの例を提供する。ここで、画像410は、画像の最下部の前景から最上部の背景までの勾配を提供する。一般に、そのようなプロファイルを用いるときに、水平線を検出して、続いて背景中の水平線より上に全てのピクセルを配置することによって、このプロファイルを改良することが有益であることは、当業者にとって明らかである。あるいは、より前兆の雲を有する風景を生成することが有利である。後者の場合、２つの垂直勾配を含む画像420が用いられることができる。結果として、画像の最上部に位置する雲は、水平線におけるそれらより観察者の近くに位置づけられる。

画像440は次に、魚眼のマクロ・ショットのためのグローバル深さプロファイルのための深さマップを示し、白い中央及び画像の端に向かうより暗いリングを有する円形勾配から成る。結果として、画像の中央は最も近く、画像の端は画像が観察された視点から最も遠い。最後に、画像450は、単純なボックスのような正面から見たシーンのための深さマップを提供する。

もう一度図1を参照して、第１深さマップの生成に続いて、次のステップは、画像のための第２深さマップを生成すること（120）に対応する。第２深さマップにおいて、あるピクセルに関連付けられる深さ値は、
-このピクセルに空間的に隣接した領域内の第１深さマップ中の深さ値、並びに
-この領域内の画像の色及び/又は輝度値、
の両方に基づく。

なお、第２深さマップは、第１深さマップ並びに画像中の色及び/又は輝度情報に明示的に基づく。結果として、第２深さマップは、一般的に、異なる色及び/又は輝度を持つオブジェクトをグローバル深さプロファイルから区別することを可能にする。

好ましい実施の形態において、第２深さマップの生成は、例えば、一方では第１画像中の深さ値、他方では画像の色情報にわたる双方向フィルタを伴う。

深さマップに局所的構造を追加するために、クロス又はジョイント双方向フィルタが用いられることができる。

双方向フィルタは、（空間）領域及び（強度）範囲特性の両方を利用する非線形フィルタである。下記の式(1)は基本的な双方向フィルタを示す。出力画像O_pは、位置pの近傍Sにおける入力画像I_qからの位置qのピクセルの加重平均によって決定される。重み計算は、空間距離関数s及び強度範囲関数rによって決まる。ここで関数sは、従来の二次元たたみ込みフィルタ・カーネルである。次に、関数rは、エッジ保存特性をもたらすために、強度差が大きくなるとともに減少する。

好ましくは、関数s及びrは、以下で式(2)及び(3)に示されるように実施される。

上で述べたように、第２画像の色及び/又は輝度情報からの範囲情報に基づく局所的な深さ情報を導入するための特に有利な方法は、クロス又はジョイント双方向フィルタを使用することである。本発明の実施の形態において、第２深さマップは、そのようなジョイント双方向フィルタを用いて生成される。ジョイント双方向フィルタは、入力画像からの範囲情報（色又は輝度）を用いて、シーンのグローバル深さプロファイルの推定値を表す第１深さマップをフィルタリングするために用いられる。

式(4)は、第２深さマップD2_pが、シーンの深さプロファイルの推定値を表す第１深さマップD1_p及び画像Iからの画像コンテンツを用いてどのように生成されることができるかを示す。

上記が第２深さマップを生成する特に有効な方法を提供するが、第２深さマップは、当業者に知られている他の方法で生成されることができる。

双方向フィルタは、好ましくは、"A Fast Approximation of the Bilateral Filter using a Signal Processing Approach" by Sylvain Paris and Fredo Durand, Proceedings of European Conference on Computer Vision (ECCV'06), 2006（この文献は参照として本明細書に組み込まれる）において説明されるように、より高次元の双方向グリッド領域で定式化されることができる。この定式化は、データをダウンサンプリングするために、粗い三次元グリッドを用い、したがって、非常に効率的に実施されることができる。第３深さマップを生成するスケーリング操作が、好ましい実施の形態において、アップサンプリングの前に、ダウンサンプリングされた三次元グリッドにおいて実行されることができるので、このアプローチは、本願明細書において開示される方法と有利に組み合わせられることができる。上記の論文において、Paris及びDurandは、ダウンサンプリングが双方向フィルタ自体に実行されることができることを示す。本発明に適用されるときに、これは、第１及び第２深さマップの両方が、より低い解像度で生成されることができることを意味する。

再度図1を参照して、第２深さマップの生成に続いて、本方法は、第１深さマップ及び第２深さマップからの深さ値を用いて画像のための第３深さマップを生成するステップ130に進み、当該生成は、第３及び第１深さマップの深さ値の間の差が、第２及び第１深さマップの深さ値の間の対応する差と比較してスケーリングされるように、深さ差をスケーリングする。

上記は、図3A-3Dにおいて、もう一度視覚的に示される。図3Aは、第１深さマップの垂直断面10及び第２深さマップ20の垂直断面を示す。分かるように、第１深さマップは傾斜に対応する。次に、第２断面は、第１深さマップに幾分追従する曲線に対応するが、そこから局所的にそれる。この第２曲線は、例えば上述の双方向フィルタを用いて生成されることができる曲線の例である。

双方向フィルタが特に有利であるが、例えば入力画像のセグメント化を用いて、その後にＴジャンクション検出が続くような、他のアプローチも想定され、Ｔジャンクションによって提供されるまばらな局所的配列は、第１グローバル深さマップからの値を用いる密な深さプロファイルに組み込まれることができる。図3Bは、断面10及び20にわたる（z方向における）最大に対応する本発明による第３垂直断面30と共に、垂直断面10を再び示す。ここで、深さ値d3(y)は、

に対応する垂直断面30のそれぞれの深さ値と対応し、ここで、d1(y)は断面10のそれぞれの深さ値に対応し、d2(y)は断面20のそれぞれの深さ値と対応する。

次に図3Cは、断面30に基づく、本発明による第４の垂直断面40を示す。断面40は、傾斜（断面10）の前にある断面40上のポイントが、断面30上の対応するポイントよりも、この傾斜から２倍遠くに位置することを説明するために、断面30と共に示される。

ωのための適切な値を選択することによって、深さの差は、さらに強調されるか又は低減されることができる。深さマップを生成するときに、このパラメータは、局所的な色及び/又は輝度変動に基づいて、ユーザが深さマップ変動を強調することを可能にする。結果として、画像の深さマップは、画像情報に関する適切な相関を示す可能性がより高く、そして結果として、より活発な外観を提供して、一方、より小さいωの値は、主として、シーンの一般的な深さプロファイルを反映する深さマップをもたらす。

差を増幅するか否か又は差を減衰させるか否かの選択が第２深さマップの性質に大いに依存することは、当業者にとって明らかである。第２深さマップが第１深さマップとの相当な差を示す場合には、差を減衰させることが必要である場合がある。一方、差が概して小さいときには、差の増幅が必要である場合がある。

次に図3Dは、同様に本発明による第５の垂直断面50を示す。第５の断面は、傾斜の前にある断面40上のポイントのための深さ値が閾値d2_T(y)に設定されることを示す。ここで閾値は、色及び/又は輝度類似性に基づく垂直スキャンによって決定される。そのような垂直スキャン（ここでは下から上）の間、色及び/又は輝度において背景から目立っており、実質的により高い深さ値を持つセクションに遭遇する場合には、閾値は、スキャン中に遭遇した深さ値に基づいてこのセクションのために選択されることができる。次に、（スキャン方向において）このセクションの下及び上の深さ値は、すなわち他のセクションが存在しない限り、概して第１深さマップに存在するグローバル深さプロファイルを反映する。この処理は、右上隅において断面50のために背景傾斜に沿って深さ値を拡張することによって、図3D中に視覚化される。ここで、深さ値の「不連続」が表されており、それは画像中の色及び/又は輝度の不連続に対応する。

上に示されるように、より高次元の双方向グリッド領域において第２深さマップを生成するために使用される双方向フィルタを定式化することによって、深さマップ生成は、より効率的になる。しかしながら、この特定の実施態様はさらに、双方向フィルタのこの特定の定式化が追加の輝度（又は色）次元における追加的な分離を提供するので、更なる利点を提供する。次にこれは、図3Dにおいて例証されるように、単一のスキャンが用いられることができ、輝度（又は色）類似性を有する各々のそれぞれのセクションが、個別に処理されることができることを意味する。結果として、この特定の実施態様は、不連続を明示的に検出する必要性がもはや存在しないというボーナス効果を提供する。

図1の方法は、図5にさらに示される。図5は、本発明による方法を用いて処理された一連の画像セクションを示す。画像510は入力画像のセクションからなり、この特定のセクションは、いくつかの氷山の景色のビューに対応し、画像510の最下部は前景に対応し、画像の最上部は背景に対応する。

傾斜に基づく第２深さマップが画像520に提供され、この傾斜は続いて、第１深さマップ及び画像の輝度の両方を用いた双方向フィルタを用いてフィルタリングされる。続いて、画像530は、第１及び第２深さマップの最大と対応する中間値に対応する画像を提供する。

深さ印象をさらに強調するために、本発明は、図3Cに示される例に沿って、第１深さマップと第２深さマップとの間の差を、ここでは係数２によって強調することを提案する。結果として生じる画像540は、特に、氷山の一部が、その後ろの空と比べて前方に移動される点において、画像530にわたる若干の改善を示す。

画像550は、ここでは係数4によって強調される同じ手順を示す。結果として、前景オブジェクトについての深さ印象は、さらに改善される。

図2は、本発明による単眼情報を用いて画像205のための深さマップを生成するための装置200を示す。装置200は、画像を受信するために配置される受信手段210を含む。明確性のために、例は単一画像だけのための深さマップの生成を参照して議論されるが、これは、画像シーケンスのための深さマップの生成のために変更されることができることは、当業者にとって明らかである。実際、本発明による装置は、好ましくは、例えば画像情報及び深さ情報の並列ストリームを含む三次元ビデオ信号への単眼画像シーケンスの2D-3D変換に適した装置である。

装置200はさらに、処理手段220を含む。そのような処理手段は一般に、例えば、汎用処理プラットフォーム、デジタル・シグナル・プロセッサ及び/又は特定用途向け集積回路を用いた、様々な態様において実施されることができる。処理手段200は、画像205のための第１深さマップを生成するように構成される。第１深さマップは、画像中に表されるシーンのグローバル深さプロファイルの推定値に対応する。

処理手段はさらに、画像のための第２深さマップを生成するように構成される。第２深さマップ中の深さ値は、典型的に、画像中の単一のピクセルと関連しているが、深さマップの解像度は、本発明の特定の実施の形態において、画像205の解像度と比較してサブサンプリングされることができる。

特定の画像ピクセルに関連する第２深さマップ中の深さ値は、その画像ピクセルに空間的に隣接した領域内の第１深さマップの深さ値に基づく。加えてそれは、その領域内の画像ピクセルの色又は輝度値に基づく。結果として、第２深さマップは、第１深さマップに存在するグローバル深さ情報に比べて局所的な深さ情報を含むことができる。

処理手段はさらに、第１深さマップ及び第２深さマップからの深さ値を用いて画像205のための第３深さマップ215を生成するように構成される。第３深さマップ中の深さ値を生成するときに、第１及び第２深さマップの間の多くの場合微妙な深さの差はスケーリングされる。結果として、第３深さマップの特定の深さ値と第１深さマップの対応する深さ値との間の特定の差は、第２深さマップの深さ値と第１深さマップの深さ値との間の対応する差と比べてスケーリングされる。

オプションとして、装置200は、第３深さマップを取り扱うための追加的なソフトウェア/ハードウェア手段をさらに有することができる。

例えば、第３深さマップ215は、その後、装置200中でさらに処理されることができ、あるいは、後の使用のために記憶手段230に記憶されることができる。あるいは、第３深さマップは、好ましくは画像205と共に、符号化手段240によって三次元画像信号へと符号化されることができる。そして、そのような符号化された画像信号は、記憶手段230に記憶されることができ、又は、例えばIPプロトコルのようなプロトコルを用いて、例えばケーブル若しくはRFによる伝送のための送信手段250によって、送信されることができる。

更にあるいは、第３深さマップは、レンダリング手段260による１つ以上のビューのレンダリングのために、好ましくは画像205と共に入力として機能することができる。次に、レンダリングされたビューは、三次元（自動）立体視ディスプレイ手段270に出力されることができる。

いうまでもなく、明確性のための前記説明は、さまざまな機能ユニットを参照して本発明の実施の形態を説明した。しかしながら、それぞれの機能ユニット（又はプロセッサ）間での任意の適切な機能の分配が本発明を損なわずに用いられることができることは明らかである。例えば、別々のプロセッサ又はコントローラによって実行されるとして説明された機能が、同じプロセッサ又はコントローラによって実行されることができる。したがって、特定の機能ユニットへの参照は、単に説明された機能を提供するための適切な手段への参照として考えられ、厳密な論理的若しくは物理的構造又は機構を示すのではない。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形式で実施されることができる。本発明は、オプションとして、少なくとも部分的に、１つ以上のデータプロセッサ及び/又はデジタル・シグナル・プロセッサ上で動作しているコンピュータ・ソフトウェアとして実施されることができる。本発明の実施の形態の要素及びコンポーネントは、任意の適切な態様で、物理的に、機能的に及び論理的に実施されることができる。実際、機能は、単一のユニットにおいて、複数のユニットにおいて、又は他の機能ユニットの一部として、実施されることができる。このように、本発明は、単一のユニットで実施されることができて、又は異なるユニット及びプロセッサの間で物理的に及び機能的に分配されることができる。

本発明がいくつかの実施の形態に関連して説明されたが、本願明細書において述べられた特定の形式に制限されることは意図されない。むしろ、本発明の範囲は、添付の請求の範囲によってのみ制限される。加えて、ある特徴が特定の実施の形態に関連して説明されると思われるかもしれないが、当業者は、説明された実施の形態のさまざまな特徴が本発明に従って組み合わせられることができることを認識する。請求の範囲において、「有する」「含む」などの用語は、他の要素又はステップの存在を除外しない。

さらに、個別に記載されるが、複数の手段、要素又は方法ステップは、例えば単一のユニット又はプロセッサによって実施されることができる。さらに、個々の特徴が異なる請求項中に含まれる場合があるが、これらは有利に組み合わせられることができ、異なる請求項中に包含されることは、特徴の組み合わせが利用できない及び/又は有利ではないことを意味しない。また、請求項の１つのカテゴリ中にある特徴が含まれることは、このカテゴリへの限定を意味せず、この特徴が必要に応じて他の請求項カテゴリにも等しく適用可能であることを示す。さらに、請求項中の特徴の順序は、その特徴が動作しなければならない任意の特定の順序を意味せず、特に、方法クレーム中の個々のステップの順序は、ステップがこの順序で実行される必要があることを意味しない。むしろ、ステップは、任意の適切な順序で実行されることができる。加えて、単数形の参照は、複数を除外しない。"a"、 "an"といった冠詞、"第１", "第２"などは、複数を除外しない。請求の範囲中の参照符号は、単に明確な例として提供され、如何なる態様においても、請求の範囲を制限するものとして解釈されてはならない。

Claims

単眼情報を用いて画像の深さマップを生成する方法であって、当該方法は、
前記画像の第１深さマップを生成し、前記第１深さマップは、前記画像中に表されるシーンのグローバル深さプロファイルの推定値に対応し、
当該方法はさらに、前記画像の第２深さマップを生成し、前記第２深さマップ中のピクセルに関連付けられる深さ値は、当該ピクセルに空間的に隣接する領域内の前記第１深さマップの深さ値並びに前記領域内の前記画像の色及び輝度値のうちの少なくとも一方に基づき、
当該方法はさらに、前記第１深さマップ及び前記第２深さマップからの深さ値を用いて前記画像の第３深さマップを生成し、当該生成は、第３及び第１深さマップの深さ値の間の差が、第２及び第１深さマップの深さ値の間の対応する差に比べてスケーリングされるように、深さ差をスケーリングし、
前記第３深さマップの深さ値が、前記シーンの視点に最も近い深さに対応する深さ値に設定され、
前記第１深さマップ中の対応する深さ値、及び
前記第２深さマップからの対応する深さ値に基づく候補深さ値、
のうちの１つから選択される、方法。
色及び輝度類似性のうちの少なくとも一方を有する空間領域中の複数のピクセルに対して深さ差がスケーリングされる、請求項１に記載の方法。
前記生成に伴う前記スケーリングが、深さ差を拡大する、請求項１に記載の方法。
前記第２深さマップの生成が、前記画像中の色及び輝度値の一方並びに前記第１深さマップの深さ値への双方向フィルタの適用を含む、請求項１に記載の方法。
前記候補深さ値は、前記第１深さマップからの深さ値に、前記第１深さマップからの深さ値及び前記第２深さマップからの対応する深さ値の加重差を加えたものである、請求項１に記載の方法。
前記候補深さ値は、前記第１深さマップからの深さ値に空間的に近い深さ値に基づく閾深さ値である、請求項５に記載の方法。
前記画像が画像シーケンスの一部であり、前記グローバル深さプロファイルの推定値が、ショット中の全ての画像に対して同一である、請求項１から請求項６のいずれか一項に記載の方法。
前記画像が画像シーケンスの一部であり、前記グローバル深さプロファイルの推定値が、ショットの複数の画像に基づいて決定される、請求項１から請求項６のいずれか一項に記載の方法。
単眼情報を用いて画像の深さマップを生成する装置であって、当該装置は、
前記画像を受信する受信手段、及び処理手段を有し、当該処理手段は、
前記画像の第１深さマップを生成し、前記第１深さマップは、前記画像中に表されるシーンのグローバル深さプロファイルの推定値に対応し、
当該処理手段はさらに、前記画像の第２深さマップを生成し、前記第２深さマップ中のピクセルに関連付けられる深さ値は、当該ピクセルに空間的に隣接する領域内の前記第１深さマップの深さ値並びに前記領域内の前記画像の色及び輝度値のうちの少なくとも一方に基づき、
当該処理手段はさらに、前記第１深さマップ及び前記第２深さマップからの深さ値を用いて前記画像の第３深さマップを生成し、当該生成は、第３及び第１深さマップの深さ値の間の差が、第２及び第１深さマップの深さ値の間の対応する差に比べてスケーリングされるように、深さ差をスケーリングし、
前記第３深さマップの深さ値が、前記シーンの視点に最も近い深さに対応する深さ値に設定され、少なくとも、
前記第１深さマップ中の対応する深さ値、及び
前記第２深さマップからの対応する深さ値に基づく候補深さ値、
から選択されるように、前記処理手段が構成される、装置。
色及び輝度類似性のうちの少なくとも一方を有する空間領域中の複数のピクセルに対して深さ差がスケーリングされるように前記処理手段が構成される、請求項９に記載の装置。
前記候補深さ値は、前記第１深さマップからの深さ値に、前記第１深さマップからの深さ値及び前記第２深さマップからの対応する深さ値の加重差を加えたものであるように、前記処理手段が構成される、請求項９に記載の装置。
前記画像が画像シーケンスの一部であり、前記グローバル深さプロファイルの推定値が、ショット中の全ての画像に対して同一である、請求項９から請求項１１のいずれか一項に記載の装置。
前記画像が画像シーケンスの一部であり、前記グローバル深さプロファイルの推定値が、ショットの複数の画像に基づいて決定される、請求項９から請求項１１のいずれか一項に記載の装置。
単眼情報を用いて画像の深さマップを生成するための、コンピュータ可読媒体上のコンピュータプログラムであって、請求項１から請求項８のいずれか一項に記載の方法を実行するための命令を含むコンピュータプログラム。
単眼情報を用いて画像の深さマップを生成する方法であって、当該方法は、
前記画像の第１深さマップを生成し、前記第１深さマップは、前記画像中に表されるシーンのグローバル深さプロファイルの推定値に対応し、
当該方法はさらに、前記画像の第２深さマップを生成し、前記第２深さマップ中のピクセルに関連付けられる深さ値は、当該ピクセルに空間的に隣接する領域内の前記第１深さマップの深さ値並びに前記領域内の前記画像の色及び輝度値のうちの少なくとも一方に基づき、
当該方法はさらに、前記第１深さマップ及び前記第２深さマップからの深さ値を用いて、第３深さマップの深さ値と第１深さマップの深さ値との間の差が、第２深さマップの深さ値と第１深さマップの深さ値との間の対応する差のスケーリングされた大きさとなるように、前記画像の前記第３深さマップを生成する、方法。
単眼情報を用いて画像の深さマップを生成する装置であって、当該装置は、
前記画像を受信する受信手段、及び処理手段を有し、当該処理手段は、
前記画像の第１深さマップを生成し、前記第１深さマップは、前記画像中に表されるシーンのグローバル深さプロファイルの推定値に対応し、
当該処理手段はさらに、前記画像の第２深さマップを生成し、前記第２深さマップ中のピクセルに関連付けられる深さ値は、当該ピクセルに空間的に隣接する領域内の前記第１深さマップの深さ値並びに前記領域内の前記画像の色及び輝度値のうちの少なくとも一方に基づき、
当該処理手段はさらに、前記第１深さマップ及び前記第２深さマップからの深さ値を用いて、第３深さマップの深さ値と第１深さマップの深さ値との間の差が、第２深さマップの深さ値と第１深さマップの深さ値との間の対応する差のスケーリングされた大きさとなるように、前記画像の前記第３深さマップを生成する、装置。