JP2022522504A - 画像の奥行きマップの処理 - Google Patents

画像の奥行きマップの処理 Download PDF

Info

Publication number
JP2022522504A
JP2022522504A JP2021551897A JP2021551897A JP2022522504A JP 2022522504 A JP2022522504 A JP 2022522504A JP 2021551897 A JP2021551897 A JP 2021551897A JP 2021551897 A JP2021551897 A JP 2021551897A JP 2022522504 A JP2022522504 A JP 2022522504A
Authority
JP
Japan
Prior art keywords
depth
depth map
image
value
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021551897A
Other languages
English (en)
Other versions
JP7480163B2 (ja
Inventor
クリスティアーン ファレカムプ
ヘースト バルトロメウス ウィルヘルムス ダミアヌス ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2022522504A publication Critical patent/JP2022522504A/ja
Application granted granted Critical
Publication of JP7480163B2 publication Critical patent/JP7480163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

奥行きマップを処理する方法は、画像および対応する奥行きマップを受信すること（301）を含む。対応する奥行きマップのうちの第1奥行きマップの奥行き値は、対応する奥行きマップのうちの少なくとも第2奥行きマップの奥行き値に基づいて更新される（303）。更新は、他のマップから決定された候補奥行き値の重み付け結合に基づく。第2奥行きマップからの候補奥行き値に対する重みは、更新されている奥行きに対応する第1画像中のピクセル値と、候補奥行き値を用いて更新されている奥行き値の位置を第3画像に投影することによって決定された位置における第3画像中のピクセル値との間の類似性に基づいて決定される。このようにして、より一貫した奥行きマップを生成することができる。

Description

本発明は、画像のための奥行きマップの処理に関し、特に、仮想現実アプリケーションのためのビュー合成をサポートする奥行きマップの処理に関するが、これに限定されるものではない。
近年、画像およびビデオアプリケーションの多様性および範囲が大幅に増加しており、ビデオを利用し消費する新しいサービスおよび方法が、継続的に開発され、導入されている。
例えば、人気が高まっている1つのサービスは、観察者が能動的にシステムと対話してレンダリングのパラメータを変更できるような方法で画像シーケンスを提供することである。多くのアプリケーションにおいて非常に魅力的な特徴は、例えば、観察者が、提示されているシーン内で動き回って「見回る」ことを可能にするなど、観察者の有効な視聴位置および視聴方向を変更する能力である。
そのような特徴は、特に、仮想現実体験がユーザに提供されることを可能にすることができる。これにより、ユーザは、例えば、(比較的)自由に仮想環境内で動き回ることができ、自分の位置および自分が見ている場所を動的に変更することができる。典型的にはこのような仮想現実アプリケーションがシーンの3次元モデルに基づいており、このモデルは特定の要求されたビューを提供するために動的に評価される。このアプローチは例えば、コンピュータ及びコンソール用の一人称シューティングゲームのカテゴリにおけるようなゲームアプリケーションから周知である。
また、特に仮想現実アプリケーションでは、提示される画像が三次元画像であることが望ましい。実際、観察者の没入感を最適化するために、ユーザは、典型的には提示されたシーンを三次元シーンとして体験することが好ましい。実際、仮想現実体験は、好ましくはユーザが自分の位置、カメラ視点、および仮想世界に対する時間の瞬間を選択することを可能にするはずである。
多くの仮想現実アプリケーションは、シーンの所定のモデルに基づいており、典型的には、仮想世界の人工モデルに基づいている。多くの場合、仮想現実体験は、現実世界のキャプチャに基づいて提供されることが望ましい。
特に現実世界シーンに基づく場合のような多くのシステムでは、シーンの画像表現が提供され、画像表現は、シーン内の1つまたは複数のキャプチャ点/視点に対する画像および奥行きを含む。画像+奥行き表現は、特に、現実世界シーンの非常に効率的な特徴付けを提供し、特徴付けは、現実世界シーンのキャプチャによって比較的容易に生成されるだけでなく、キャプチャされたもの以外の視点のビューを合成するレンダラにも非常に適している。例えば、レンダラは、現在のローカル観察者ポーズに一致するビューを動的に生成するように構成されることができる。例えば、観察者ポーズが動的に決定され、この観察者ポーズにマッチングするようにに、画像および、例えば提供される奥行きマップに基づいて、ビューを動的に生成することができる。
多くの実用的なシステムでは、キャリブレーションされたマルチビューカメラリグを使用して、キャプチャされたシーンに対して異なる視点をとるユーザのための再生を可能にすることができる。アプリケーションは、スポーツ試合中に個々の視点を選択すること、すなわち、拡張または仮想現実ヘッドセット上でキャプチャされた3Dシーンを再生することを含む。
"You Yang ET AL., Cross-View Multi-Lateral Filter for Compressed MultiView Depth Video", IEEE TRANSACTIONS ON IMAGE PROCESSING., vol. 28, no. 1, 1 January 2019 (2019-01-01), pages 302-315, XP055614403, US ISSN: 1057-7149, DOI: 10.1109/TIP.2018.2867740"は、奥行き圧縮を伴う非対称マルチビュービデオの枠組みの中で、圧縮された奥行きマップ/ビデオの品質を改善するためのビュー間マルチラテラルフィルタリングスキームを開示している。このスキームにより、歪んだ奥行きマップは、異なるタイムスロットの現在の視点及び隣接する視点から選択された非ローカル候補を介して強化される。具体的には、これらの候補は、ビュー間、空間および時間プリアの物理的および意味的相互関係を示すマクロスーパーピクセルにクラスタ化される。
"WOLFF KATJA ET AL., Point Cloud Noise and Outlier Removal for ImageBased 3D Reconstruction, 2016 FOURTH INTERNATIONAL CONFERENCE ON 3D VISION (3DV), IEEE, 25 October 2016 (2016-10-25), pages 118-127, XP033027617, DOI: 10.1109/3DV.2016.20" は、入力画像と対応する奥行きマップとを使用して、入力によって暗示される色付きの表面と幾何学的または写真的に矛盾するピクセルを除去するアルゴリズムを開示する。これにより、標準的な表面再構成法は、より少ない平滑化を実行し、従ってより高い品質を達成することができる。
離散的にキャプチャされた視点とキャプチャされた視点を超える幾つかの外挿との間の円滑な移行を提供するために、奥行きマップがしばしば提供され、これらの他の視点からのビューを予測/合成するために使用される。
奥行きマップは、一般的に、撮影されたカメラ間の（マルチビュー）ステレオマッチングを使用して生成されるか、奥行きセンサ（構造化光または飛行時間ベース）を使用することによって、より直接的に生成される。しかしながら、奥行きセンサまたは視差推定プロセスから得られるそのような奥行きマップは。本質的に、合成されたビューに誤差をもたらす可能性のある誤差および不正確さを有する。これは、観察者の体験を低下させる。
したがって、奥行きマップを生成し、処理するための改善されたアプローチが有利であろう。特に、改善された動作、増加された柔軟性、改善された仮想現実体験、減少された複雑さ、容易にされた実施、改善された奥行きマップ、増加された合成画像品質、改善されたレンダリング、改善されたユーザ体験、ならびに/または改善された性能および/もしくは動作を可能にするシステムおよび/またはアプローチは有利である。
したがって、本発明は、好ましくは上記の欠点の1つ以上を単独でまたは任意の組み合わせで軽減、低減または排除しようとするものである。
本発明の一側面によれば、奥行きマップを処理する方法が提供され、当該方法は、異なるビューポーズからのシーンを表す複数の画像および対応する奥行きマップを受信するステップと、対応する奥行きマップのうちの第1奥行きマップの奥行き値を、対応する奥行きマップのうちの少なくとも第2奥行きマップの奥行き値に基づいて更新するステップであって、前記第1奥行きマップは第1画像に対するものであり、前記第2奥行きマップは第2画像に対するものである、ステップと、を有し、前記更新するステップは、前記第1奥行きマップ中の第1奥行きマップ位置における前記第1奥行きマップの第1奥行きピクセルについて第1候補奥行き値を決定するステップであって、前記第1候補奥行き値が、前記第2奥行きマップ中の第2奥行きマップ位置における前記第2奥行きマップの第2奥行きピクセルの少なくとも1つの第2奥行き値に応じて決定される、ステップと、前記第1奥行きマップ位置のための複数の奥行き候補値の重み付け結合により、前記第1奥行きピクセルの第1奥行き値を決定するステップであって、前記重み付け結合は、第1重みで重み付けされた前記第1候補奥行き値を含む、ステップと、を有し、前記第1奥行き値を決定するステップは、前記第1奥行きマップ位置に対する前記第1画像中の第1画像位置を決定するステップと、前記複数の画像のうちの第3画像中の第3画像位置を決定するステップであって、前記第3画像位置は、前記第1候補奥行き値に基づく前記第1画像位置の前記第3画像への投影に対応する、ステップと、前記第3画像位置に対する前記第3画像中の画像ピクセル値と、前記第1画像位置に対する前記第1画像中の画像ピクセル値との間の差を示す第1マッチ誤差指標を決定するステップと、前記第1マッチ誤差指標に応じて前記第1重みを決定するステップと、を有する。
このアプローチは、多くの実施形態において、改善された奥行きマップを提供することができ、特に、増加した一貫性を有する奥行きマップのセットを提供することができる。このアプローチは、画像及び更新された奥行きマップに基づいて画像が合成されるときに、改善されたビュー一貫性を可能にすることができる。
本発明者らは、奥行きマップ間の不一致が、奥行きマップ間で一貫性のある誤差またはノイズよりも知覚可能であることが多く、特定のアプローチはより一貫性のある更新された奥行きマップを提供することができるという洞察を得た。この方法は、シーンのマルチビュー画像のセットに対する奥行きマップの品質を改善する奥行き精緻化アルゴリズムとして使用されることができる。
このアプローチは、多くの実施形態における実施を容易にすることができ、比較的低い複雑さおよびリソース要件で実施されることができる。
画像中の位置は、対応する奥行きマップ中の位置に直接対応することができ、逆もまた同様である。画像中の位置と、対応する奥行きマップ中の位置との間には、1対1の対応があってもよい。多くの実施形態において、ピクセル位置は画像中で同じであり得、対応する奥行きマップは、画像中の各ピクセルに対して1つのピクセルを含み得る。
いくつかの実施形態では、重みはバイナリ（例えば、1または0）であってもよく、重み付け結合は選択であってもよい。
投影という用語はしばしば、シーン中の三次元空間座標の、画像または奥行きマップ中の二次元画像座標（u, v）への投影を指し得ることが理解されるであろう。ただし、投影は、ある画像または奥行きマップから他へのシーン点の次元画像座標（u, v） 間のマッピング、つまり、あるポーズの画像座標（u1, v1） のセットから別のポーズの画像座標（u2, v2） のセットへのマッピングを指す場合もある。異なるビューポーズ/視点に対応する画像に対する画像座標間のこのような投影は、典型的には対応する空間シーン点を考慮して、特にシーン点の奥行きを考慮して実行される。
いくつかの実施形態では、前記第1奥行き値を決定するステップは、前記第1奥行きマップ位置を、対応する奥行きマップのうちの第3奥行きマップ中の第3奥行きマップ位置に投影するステップであって、前記第3奥行きマップは第3画像に対するものであり、前記投影は、前記第1候補奥行き値に基づいて行われる、ステップと、前記第3奥行きマップ位置に対する前記第3画像中の画像ピクセル値と、前記第1奥行きマップ位置に対する前記第1画像中の画像ピクセル値との間の差を示す第1マッチ誤差指標を決定するステップと、前記第1マッチ誤差指標に応じて前記第1重みを決定するステップと、を有する。
本発明のオプションの特徴によれば、第1候補奥行き値を決定するステップは、第2の値および前記第1奥行きマップの第1の元の奥行き値のうちの少なくとも1つに基づく、前記第1画像の第1ビューポーズと前記第2画像の第2ビューポーズとの間の投影によって、前記第1奥行きマップ位置に対する第2奥行きマップ位置を決定するステップ、を有する。
これは、多くの実施形態において特に有利な性能を提供することができ、特に、多くのシナリオにおいて改善された一貫性を有する改善された奥行きマップを可能にすることができる。
投影は、第1の元の奥行き値に基づいて、第2奥行きマップ位置から第1奥行きマップ位置まで、したがって、第2ビューポーズから第1ビューポーズまでであってもよい。
投影は、第2奥行き値に基づいて、第2奥行きマップ位置から第1奥行きマップ位置まで、したって、第2ビューポーズから第1ビューポーズまでであってもよい。
元の奥行き値は、第1奥行きマップの更新されていない奥行き値であってもよい。
元の奥行き値は、受信機によって受信された第1奥行きマップの奥行き値であってもよい。
いくつかの実施形態では、第1奥行き値を決定するステップは、前記第1奥行きマップ位置を、対応する奥行きマップのうちの第3奥行きマップ中の第3奥行きマップ位置に投影するステップであって、前記第3奥行きマップは第3画像に対するものであり、前記投影は前記第1候補奥行き値に基づいて行われる、ステップと、前記第3奥行きマップ位置に対する前記第3画像中の画像ピクセル値と、前記第1奥行きマップ位置に対する前記第1画像中の画像ピクセル値との間の差を示す第1マッチ誤差指標を決定するステップと、前記第1マッチ誤差指標に応じて前記第1重みを決定するステップと、を有する。
本発明のオプションの特徴によれば、重み付け結合は、第1奥行きマップ位置に応じて決定された第2奥行きマップの領域から決定された候補奥行き値を含む。
これは、多くの実施形態において、増加した奥行きマップ一貫性を提供することができる。第1候補奥行き値は、この領域の1つまたは複数の奥行き値から導出されることができる。
本発明のオプションの特徴によれば、第2奥行きマップの領域は、第2奥行きマップ位置の周囲の領域として決定され、第2奥行きマップ位置は、第1奥行きマップ中の第1奥行きマップ位置に等しい第2奥行きマップ中の奥行きマップ位置として決定される。
これは、低い複雑さ及び低いリソースによる、考慮すべき適切な奥行き値の効率的な決定を可能にする。
本発明のオプションの特徴によれば、第2奥行きマップの領域は、第1奥行きマップ位置における第1奥行きマップ中の元の奥行き値に基づく第1奥行きマップ位置からの投影によって決定される第2奥行きマップ中の位置の周りの領域として決定される。
これは、多くの実施形態において、増加した奥行きマップの一貫性を提供することができる。元の奥行き値は、受信機によって受信された第1奥行きマップの奥行き値であってもよい。
本発明のオプションの特徴によれば、前記方法はさらに、前記第2奥行きマップ位置に対する前記第2画像中の画像ピクセル値と、前記第1奥行きマップ位置に対する前記第1画像中の画像ピクセル値との間の差を示す第2マッチ誤差指標を決定するステップを有し、前記第1重みの決定は、さらに前記第2マッチ誤差指標に応じて行われる。
これは、多くの実施形態において、改善された奥行きマップを提供することができる。
本発明の任意の特徴によれば、前記方法はさらに、前記第1奥行きマップ位置に対応する奥行きマップ位置に対する他の画像中の画像ピクセル値と、前記第1奥行きマップ位置に対する前記第1画像中の画像ピクセル値との間の差を示す追加のマッチ誤差指標を決定するステップを有し、前記第1重みの決定は、さらに前記追加のマッチ誤差指標に応じて行われる。
これは、多くの実施形態において、改善された奥行きマップを提供することができる。
本発明のオプションの特徴によれば、重み付け結合は、第1奥行きマップ位置の周りの領域における第1奥行きマップの奥行き値を含む。
これは、多くの実施形態において、改善された奥行きマップを提供することができる。
本発明のオプションの特徴によれば、第1重みは、第1候補奥行き値の信頼値に依存する。
これは、多くのシナリオにおいて改善された奥行きマップを提供することができる。
本発明のオプションの特徴によれば、信頼値が閾値未満である第1奥行きマップの奥行き値のみが更新される。
これは、多くのシナリオにおいて改善された奥行きマップを提供することができ、特に、正確な奥行き値があまり正確でない奥行き値によって更新されるリスクを低減することができる。
本発明の任意の特徴によれば、前記方法はさらに、前記重み付け結合に含めるために、前記第2奥行きマップの奥行き値のセットを、当該奥行き値のセットの奥行き値が閾値以上の信頼値を有していなければならないという要件に従って、選択するステップを有する。
これは、多くのシナリオにおいて改善された奥行きマップを提供することができる。
本発明の任意の特徴によれば、前記方法はさらに、所与の奥行きマップにおける所与の奥行き値に対する所与の奥行きマップ位置を、複数の対応する奥行きマップにおける対応する位置に投影するステップと、前記所与の奥行き値と、前記複数の対応する奥行きマップにおける前記対応する位置の奥行き値を有する奥行き値のセットに対する変動尺度を決定するステップと、前記変動尺度に応じて、前記所与の奥行きマップ位置に対する信頼値を決定するステップと、を有する。
これは、改善された奥行きマップをもたらすことができる信頼値の特に有利な決定を提供することができる。
本発明のオプションの特徴によれば、前記方法はさらに 所与の奥行きマップにおける所与の奥行き値に対する所与の奥行きマップ位置を、前記所与の奥行き値に基づいて、別の奥行きマップにおける対応する位置に投影するステップと、前記別の奥行きマップ中の前記対応する位置を、前記別の奥行きマップ中の前記対応する位置における奥行き値に基づいて、前記所与の奥行きマップ中のテスト位置に投影するステップと、前記所与の奥行きマップ位置と前記テスト位置との間の距離に応じて、前記所与の奥行きマップ位置に対する信頼値を決定するステップと、を有する。
これは、改善された奥行きマップをもたらすことができる信頼値の特に有利な決定を提供することができる。
本発明の一態様によれば、奥行きマップを処理するための装置が提供され、当該装置は、異なるビューポーズからのシーンを表す複数の画像と対応する奥行きマップとを受信するための受信機と、対応する奥行きマップのうちの少なくとも第2奥行きマップの奥行き値に基づいて、対応する奥行きマップのうちの第1奥行きマップの奥行き値を更新するステップを実行するための更新器であって、前記第1奥行きマップは第1画像に対するものであり、前記第2奥行きマップは第2画像に対するものである、更新器を有し、前記更新するステップは、前記第1奥行きマップ中の第1奥行きマップ位置における前記第1奥行きマップの第1奥行きピクセルについて第1候補奥行き値を決定するステップであって、前記第1候補奥行き値が、前記第2奥行きマップ中の第2奥行きマップ位置における前記第2奥行きマップの第2奥行きピクセルの少なくとも1つの第2奥行き値に応じて決定される、ステップと、前記第1奥行きマップ位置のための複数の候補奥行き値の重み付け結合により、前記第1奥行きピクセルの第1奥行き値を決定するステップであって、前記重み付け結合は、第1重みで重み付けされた前記第1候補奥行き値を含む、ステップと、を有し、前記第1奥行き値を決定するステップは、前記第1奥行きマップ位置に対する前記第1画像中の第1画像位置を決定するステップと、前記複数の画像のうちの第3画像中の第3画像位置を決定するステップであって、前記第3画像位置は、前記第1候補奥行き値に基づく前記第1画像位置の前記第3画像への投影に対応する、ステップと、前記第3画像位置に対する前記第3画像中の画像ピクセル値と、前記第1画像位置に対する前記第1画像中の画像ピクセル値との間の差を示す第1マッチ誤差指標を決定するステップと、前記第1マッチ誤差指標に応じて前記第1重みを決定するステップと、を有する。
本発明のこれらおよび他の態様、特徴および利点は以下に記載される実施形態から明らかになり、それを参照して説明される。
本発明の実施形態は単なる例として、図面を参照して説明される。
仮想現実体験を提供するための構成の例を示す図。 本発明のいくつかの実施形態による、奥行きマップを処理するための装置の要素の一例を示す図。 本発明のいくつかの実施形態による奥行きマップを処理する方法の要素の例を示す図。 シーンをキャプチャするためのカメラ構成の一例を示す図。 本発明のいくつかの実施形態による奥行きマップを更新する方法の要素の例を示す図。 本発明のいくつかの実施形態による重みを決定する方法の要素の例を示す図。 本発明のいくつかの実施形態による、奥行きマップおよび画像の処理の例を示す図。
以下の説明は仮想現実体験に適用可能な本発明の実施形態に焦点を当てているが、本発明はこの用途に限定されず、ビュー合成を含む特定のアプリケーションなど、多くの他のシステムおよびアプリけしょんに適用することができることを理解されたい。
ユーザが仮想世界で動き回ることを可能にする仮想体験はますます人気が高まっており、そのような要求を満たすためにサービスが開発されている。しかしながら、効率的な仮想現実サービスの提供は、特に、体験が完全に仮想的に生成された人工世界ではなく、現実世界環境のキャプチャに基づくものである場合には、非常に困難である。
多くの仮想現実アプリケーションでは、観察者ポーズ入力がシーン内のバーチャル観察者のポーズを反映して決定される。次に、仮想現実装置/システム/アプリケーションは、観察者ポーズに対応する観察者のために、シーンのビューとビューポートに対応する1つ以上の画像を生成する。
典型的には、仮想現実アプリケーションは、左目及び右目のための別々のビュー画像の形で三次元出力を生成する。次いで、これらは、典型的にはVRヘッドセットの個々の左目ディスプレイおよび右目ディスプレイなどの適切な手段によってユーザに提示され得る。他の実施形態では、画像が例えば、自動立体ディスプレイ上で提示されてもよく(この場合、より多数のビュー画像が観察者ポーズのために生成されてもよい)、または実際に、いくつかの実施形態では、単一の2次元画像のみが生成されてもよい(例えば、従来の2次元ディスプレイを使用して)。
観察者ポーズ入力は、異なるアプリケーションで異なる方法で決定される場合がある。多くの実施形態では、ユーザの物理的な動きを直接追跡することができる。例えば、ユーザエリアを測量するカメラがユーザの頭部(または目)を検出し、追跡することができる。多くの実施形態では、ユーザは、外部および/または内部手段によって追跡することができるVRヘッドセットを装着することができる。例えば、ヘッドセットは、ヘッドセット、したがって頭部の移動および回転に関する情報を提供する加速度計およびジャイロスコープを備えることができる。いくつかの例では、VRヘッドセットは、信号を送信することができ、または外部センサがVRヘッドセットの動きを決定することを可能にする(例えば視覚的な)識別子を備えることができる。
いくつかのシステムでは、観察者ポーズは、マニュアルの手段によって、例えば、ユーザがジョイスティックまたは同様のマニュアル入力を手動で制御することによって、提供されてもよい。例えば、ユーザは、一方の手で第1のアナログジョイスティックを制御することによってシーン内で仮想観察者を手動で動かし、他方の手で第2のアナログジョイスティックを手動で動かすことによって仮想観察者が見ている方向を手動で制御することができる。
いくつかのアプリケーションでは、手動アプローチと自動アプローチとの組み合わせを使用して、入力される観察者ポーズを生成することができる。例えば、ヘッドセットが頭部の向きを追跡することができ、シーン内の観察者の動き/位置は、ジョイスティックを使用してユーザによって制御されることができる。
画像の生成は、仮想世界/環境/シーンの適切な表現に基づく。いくつかのアプリケーションでは、シーンについて完全な三次元モデルを提供することができ、特定の観察者ポーズからのシーンのビューを、このモデルを評価することによって決定することができる。
多くの実用的なシステムでは、シーンは、画像データを含む画像表現によって表されることができる。画像データは、典型的には、1つ以上のキャプチャポーズまたはアンカーポーズに関連する1つ以上の画像を含んでもよく、具体的には、1つ以上のビューポートについての画像が含まれてもよく、各ビューポートは特定のポーズに対応する。1つまたは複数の画像を含む画像表現を使用することができ、各画像は、所与のビューポーズに対する所与のビューポートのビューを表す。画像データが提供されるそのようなビューポーズまたは位置は、アンカーポーズまたは位置、あるいはキャプチャポーズまたは位置とも呼ばれることが多い（画像データが、典型的には、キャプチャポーズに対応する位置及び向きを有するシーン内に配置されたカメラによってキャプチャされるかまたはキャプチャされるであろう画像に対応し得るため）。
画像は、典型的には、奥行き情報に関連付けられ、具体的には奥行き画像又はマップが典型的に提供される。そのような奥行きマップは、対応する画像中の各ピクセルに対する奥行き値を提供することができ、奥行き値は、カメラ/アンカー/キャプチャ位置から、ピクセルによって描写されるオブジェクト/シーン点までの距離を示す。したがって、ピクセル値は、シーン内のオブジェクト/点からカメラのキャプチャ装置への光線を表すと考えられてもよく、ピクセルに対する奥行き値はこの光線の長さを反映することができる。
多くの実施形態において、画像及び対応する奥行きマップの解像度は同じであり得、従って、画像内の各ピクセルに関する個々の奥行き値が含まれ得、即ち、奥行きマップは、画像の各ピクセルに対して一つの奥行き値を含み得る。他の実施形態では、解像度は異なる場合があり、例えば、奥行きマップは、1つの奥行き値が複数の画像ピクセルに適用され得るように、より低い解像度を有することがある。以下の説明は、画像の解像度と対応する奥行きマップが同じであり、従って、各画像ピクセル（画像のピクセル）に対して、別個の奥行きマップピクセル（奥行きマップのピクセル）が存在する実施形態に焦点を当てる。
奥行き値は、ピクセルに対する奥行きを示す任意の値であってよく、従って、それは、カメラ位置から、所与のピクセルによって描写されるシーンのオブジェクトまでの距離を示す任意の値であってよい。奥行き値は例えば、視差値、z座標、距離測度などであってもよい。
多くの典型的なVRアプリケーションは、このような画像+奥行き表現に基づいて、現在の観察者ポーズのためのビューポートに対応するビュー画像を提供するように進行することができ、画像は、ビューアポーズの変化を反映するように動的に更新され、（場合によっては）仮想シーン/環境/世界を表す画像データに基づいて生成される。アプリケーションは、当業者に知られているように、ビュー合成およびビューシフトアルゴリズムを実行することによってこれを実行することができる。
この分野では、配置およびポーズという用語が位置および/または方向/向きに関する一般的な用語として使用される。例えばオブジェクト、カメラ、頭部またはビューの位置および方向/向きの組み合わせを、ポーズまたは配置と呼ぶ場合がある。したがって、配置またはポーズ指標は、6つの値/成分/自由度を含むことができ、各値/成分は、典型的には、対応するオブジェクトの位置/場所または向き/方向の個々の特性を記述する。もちろん、多くの状況において、例えば、1つ以上の成分が固定または無関係であると考えられる場合(例えば、全てのオブジェクトが同じ高さにあり、水平方向を有すると考えられる場合、4つの成分がオブジェクトのポーズの完全な表現を提供することができる)、配置またはポーズはより少ない成分で考慮または表現されてもよい。以下では、ポーズという用語は、1乃至6つの値(可能な最大自由度に対応する)によって表すことができる位置および/または向きを指すために使用される。
多くのVRアプリケーションは、最大自由度、すなわち、位置および向きのそれぞれの3つの自由度を有するポーズに基づいており、その結果、合計6つの自由度が得られる。したがって、ポーズは6つの自由度を表す6つの値のセットまたはベクトルによって表すことができ、したがって、ポーズベクトルは、三次元位置および/または三次元方向表示を与えることができる。しかしながら、他の実施形態では、ポーズがより少ない値によって表されてもよいことが理解されるであろう。
ポーズは、方位および位置のうちの少なくとも1つとすることができる。ポーズ値は、方位値および位置値のうちの少なくとも1つを示すことができる。
観察者に最大自由度を提供することに基づくシステムまたはエンティティは、通常、6自由度(6DoF)を有すると呼ばれる。多くのシステムおよびエンティティは、方向または位置のみを提供し、これらは、典型的には3自由度（3DoF）を有するものとして知られている。
システムによっては、VRアプリケーションは、例えば、いかなる遠隔VRデータまたは処理を使用せず、何らアクセスしないスタンドアロン装置によって、観察者にローカルで提供されてもよい。例えば、ゲームコンソールのような装置が、シーンデータを記憶するための記憶装置と、観察者ポーズを受信/生成するための入力と、シーンデータから対応する画像を生成するためのプロセッサとを備えることができる。
他のシステムでは、VRアプリケーションは、観察者から遠隔で実装され、実行されることができる。例えば、ユーザにローカルな装置は、観察者ポーズを生成するためにデータを処理する遠隔装置に送信される動き/ポーズデータを検出/受信することができる。次いで、遠隔装置は、シーンを記述するシーンデータに基づいて、観察者ポーズのための適切なビュー画像を生成することができる。次に、ビュー画像は、それらが提示される観察者に対してローカルな装置に送信される。例えば、遠隔装置は、ローカル装置によって直接提示されるビデオストリーム(典型的にはステレオ/3Dビデオストリーム)を直接生成することができる。したがって、このような例では、ローカル装置は、移動データを送信し、受信したビデオデータを提示することを除いて、いかなるVR処理も実行しないことがある。
多くのシステムでは、機能がローカル装置および遠隔装置にわたって分散され得る。例えば、ローカル装置は、受信した入力およびセンサデータを処理して、遠隔VR装置に連続的に送信される観察者ポーズを生成することができる。次いで、遠隔VR装置は、対応するビュー画像を生成し、これらを提示のためにローカル装置に送信することができる。他のシステムでは、遠隔VR装置がビュー画像を直接生成しなくてもよいが、関連するシーンデータを選択し、これをローカル装置に送信してもよく、そしてローカル装置が、提示されるビュー画像を生成してもよい。例えば、リモートVR装置は最も近いキャプチャポイントを識別し、対応するシーンデータ(例えば、キャプチャポイントからの球面画像および奥行きデータ)を抽出し、これをローカル装置に送信することができる。次いで、ローカル装置は、受信したシーンデータを処理して、特定の現在のビューポーズのための画像を生成することができる。ビューポーズは典型的には頭部ポーズに対応し、ビューポーズへの参照は、典型的には頭部ポーズへの参照に対応すると同等に考えることができる。
多くのアプリケーション、特に放送サービスの場合、ソースは、観察者ポーズに依存しないシーンの画像(ビデオを含む)表現の形でシーンデータを送信してもよい。例えば、単一のキャプチャ位置に対する単一のビュー球に対する画像表現が複数のクライアントに送信されることができる。次に、個々のクライアントは、現在の観察者ポーズに対応するビュー画像をローカルで合成することができる。
特に興味を引いているアプリケーションは、限定された量の動きがサポートされ、頭部の小さな動き及び回転のみを行う実質的に静的な観察者に対応する小さな動き及び回転に追従するように提示されるビューが更新される。例えば、座っている観察者は頭を回し、それをわずかに動かすことができ、提示されるビュー/画像は、これらのポーズ変化に追従するように適合される。そのようなアプローチは、非常に没入型の、例えばビデオ体験を提供することができる。たとえば、スポーツイベントを見ている観察者は、自分がアリーナの特定のスポットにいると感じることができる。
このような制限された自由度のアプリケーションは、多くの異なる位置からのシーンの正確な表現を必要とせずに、改善された経験を提供し、それによってキャプチャ要件を大幅に低減するという利点を有する。同様に、レンダラに提供される必要があるデータの量を大幅に低減することができる。実際、多くのシナリオでは、単一の視点のための画像及び典型的には奥行きデータのみが、これから所望のビューを生成することができるローカルレンダラに提供される必要がある。
このアプローチは例えば、ブロードキャストまたはクライアント・サーバ・アプリケーションのような、データが、帯域制限された通信チャネルを介してソースから宛先へ通信される必要があるアプリケーションに特に適している。
図1は、遠隔VRクライアント装置101が例えばインターネットのようなネットワーク105を介してVRサーバ103と連携するVRシステムのこのような例を示す。サーバ103は、潜在的に多数のクライアント装置101を同時にサポートするように構成されてもよい。
VRサーバ103は、例えば、適切なポーズに対応するビュー画像をローカルで合成するためにクライアント装置によって使用され得る画像データの形の画像表現を有する画像信号を送信することによって、ブロードキャスト体験をサポートし得る。
図2は、奥行きマップを処理するための装置の例示的な実装形態の例示的な要素を示す。この装置は、具体的には、VRサーバ103に実装されてもよく、これを参照して説明する。図3は、図2の装置によって実行される奥行きマップを処理する方法のためのフローチャートを示す。
装置/VRサーバ103は、異なるビューポーズからのシーンを表す複数の画像及び対応する奥行きマップが受信されるステップ301を実行する受信機201を備える。
画像は光強度情報を含み、画像のピクセル値は光強度値を反映する。いくつかの例では、ピクセル値は、グレースケール画像の輝度のような単一の値であってもよいが、多くの実施例では、ピクセル値は、例えばカラー画像に対するカラーチャネル値のような（サブ）値の集合またはベクトルであってもよい（例えば、RGBまたはYuv値が提供されてもよい）。
画像の奥行きマップは、同じビューポートの奥行き値を含むことができる。例えば、所与のビュー/キャプチャ/アンカーポーズに対する画像の各ピクセルに対して、対応する奥行きマップは奥行き値を有するピクセルを含む。したがって、画像およびその対応する奥行きマップ内の同じ位置は、ピクセルに対応する光線の光強度および奥行きをそれぞれ提供する。幾つかの実施形態において、奥行きマップは、より低い解像度を有し得、例えば、1つの奥行きマップピクセルが複数の画像ピクセルに対応し得る。しかしながら、そのような場合、奥行きマップ内の位置と奥行きマップ内の位置（サブピクセル位置を含む）との間には、依然として直接的な一対位置の対応があり得る。
簡潔さおよび複雑さのために、以下の説明は、3つの画像および対応する奥行きマップのみが提供される例に焦点を当てる。さらに、3つの異なる視点位置からのシーンをキャプチャし、図4に示されているのと同じ向きを有するカメラの直線配置によって、これらの画像が提供されるものと仮定される。
多くの実施形態では、かなり多数の画像が受信されることが多く、シーンはかなり多数のキャプチャポーズからキャプチャされることが多いことが理解されよう。
受信機は、以下では簡潔にするために単に更新器203と呼ばれる奥行きマップ更新器に供給される。更新器203は、ステップ303を実行し、ここで、受信された奥行きマップのうちの1つ以上（および典型的には全て）が更新される。更新は、少なくとも第2の受信された奥行きマップの奥行き値に基づいて、第1の受信された奥行きマップの奥行き値を更新することを含む。したがって、改良された奥行きマップを生成するために、奥行きマップ間およびビューポーズ間の更新が実行される。
この例では、更新器203は、ステップ305を実行する画像信号発生器205に結合され、このステップでは、更新された奥行きマップと共に受信された画像を含む画像信号を生成する。次いで、画像信号は、例えば、VRクライアント装置101に送信され得、そこで、現在の観察者ポーズのためのビュー画像を合成するための基礎として使用され得る。
この例では、奥行きマップ更新はVRサーバ103内で実行され、更新された奥行きマップは、VRクライアント装置101に配信される。しかしながら、他の実施形態では、奥行きマップ更新は、例えば、VRクライアント装置101において実行されてもよい。例えば、受信機201は、VRクライアント装置101の一部であってもよく、VRサーバ103から画像および対応する奥行きマップを受信する。次に、受信された奥行きマップは、更新器203によって更新されてもよく、画像信号生成器205の代わりに、装置は、画像および更新された奥行きマップに基づいて新しいビューを生成するように構成されたレンダラまたはビュー画像合成器を備えてもよい。
さらに他の実施形態では、すべての処理を単一の装置で実行することができる。例えば、同じ装置が、直接キャプチャされた情報を受信し、例えば、視差推定によって、初期の奥行きマップを生成することができる。結果として得られる奥行きマップが更新されることができ、装置の合成器は、新しいビューを動的に生成することができる。
したがって、説明された機能の位置および更新された奥行きマップの特定の使用は、個々の実施形態の選好および要件に依存する。
したがって、奥行きマップの更新は、異なる空間位置からの異なる画像についての奥行きを表す他の奥行きマップのうちの1つまたは複数に基づいて行われる。このアプローチは、奥行きマップの場合、結果として得られる知覚品質にとって重要なのは、個々の奥行き値または奥行きマップの絶対的な精度または信頼性だけでなく、異なる奥行きマップ間の一貫性も非常に重要であるという認識を利用する。
実際、ヒューリスティックに得られる洞察は、誤差または不正確さが奥行きマップ間で一貫性がないとき、すなわち、それらがソースビューにわたって変化するとき、それらは、視聴者が位置を変えたときに仮想シーンが振動するように知覚されるので、特に有害であると知覚されることである。
このようなビュー一貫性は、奥行きマップ推定処理中に常に十分に遵守されるとは限らない。例えば、これは、各ビューの奥行きマップを取得するために別個の奥行きセンサ使用する場合である。その場合、奥行きデータは完全に独立して取り込まれる。（例えば、平面掃引アルゴリズムを使用して）奥行きを推定するためにすべてのビューが使用される他の極端な場合、結果は、使用される特定のマルチビュー視差アルゴリズムおよびそのパラメータ設定に依存するため、依然として一貫性がない可能性がある。以下に説明する特定のアプローチは、多くのシナリオにおいて、そのような問題を軽減し、奥行きマップ間の整合性を改善し、したがって、知覚される画像品質を改善するように奥行きマップを更新することができる。このアプローチは、シーンのマルチビュー画像のセットに対する奥行きマップの品質を改善することができる。
図5は、1つの奥行きマップの1つのピクセルに対して実行される更新のためのフローチャートを示す。このアプローチは、更新された第1奥行きマップを生成するために、奥行きマップピクセルのいくつかまたはすべてについて繰り返されてもよい。次いで、このプロセスは、他の奥行きマップについてさらに繰り返されることができる。
以下で第1奥行きマップと呼ばれる奥行きマップ中の、以下で第1奥行きピクセルと呼ばれるピクセルの更新は、ステップ501において開始し、第1候補奥行き値が第1奥行きピクセルに対して決定される。第1奥行きマップの第1奥行きピクセルの位置は、第1奥行きマップ位置と呼ばれる。対応する用語は、数字ラベルのみを変更して、他の図に使用される。
第1候補奥行き値は、第2奥行きマップ中の第2奥行きマップ位置における第2奥行きピクセルの奥行き値である少なくとも1つの第2奥行き値に応じて決定される。したがって、第1候補奥行き値は、別の1つの奥行きマップの1つまたは複数の奥行き値から決定される。第1候補奥行き値は、特に、第2奥行きマップに含まれる情報に基づく、第1奥行きピクセルに対する正しい奥行き値の推定値であり得る。
ステップ501に続くステップ503において、更新された第1奥行き値が、第1奥行きマップ位置に対する複数の候補奥行き値の重み付け結合によって、第1奥行きピクセルについて決定される。ステップ503で決定された第1候補奥行き値は、重み付け結合に含まれる。
したがって、ステップ501では、後続の結合のための複数の候補奥行き値のうちの1つが決定される。大部分の実施態様において、複数の候補奥行き値は、ステップ501において、第2奥行きマップ中の他の奥行き値及び/又は他の奥行きマップ中の奥行き値に対して、第1候補奥行き値について記載されたプロセスを繰り返すことにより、決定されることができる。
多くの実施形態では、候補奥行き値の1つまたは複数は、他の方法で、または他のソースから、決定されることができる。多くの実施形態では、候補奥行き値の1つまたは複数は、第1奥行きピクセルの近傍の奥行き値など、第1奥行きマップからの奥行き値であり得る。多くの実施形態において、元の第1奥行き値、すなわち、受信機201によって受信された第1奥行きマップ中の第1奥行きピクセルに対する奥行き値が、候補奥行き値の1つとして含まれてもよい。
したがって、更新器205は、上述のように決定された少なくとも1つの候補奥行き値を含む候補奥行き値の重み付け結合を実行することができる。任意の他の候補奥行き値の数、特性、起源などは、個々の実施形態の選好および要件、ならびに所望される実際の奥行き更新動作に依存する。
例えば、いくつかの実施形態では、重み付け結合は、ステップ501で決定された第1候補奥行き値および元の奥行き値のみを含むことができる。そのような場合、第1候補奥行き値に対する単一の重みのみが、例えば、決定されてもよく、元の奥行き値に対する重みは一定であってもよい。
別の例として、幾つかの実施例では、重み付け結合は、他の奥行きマップ及び/又は位置から決定された値、元の奥行き値、第1奥行きマップ中の近傍における奥行き値、又は、実際には、例えば異なる奥行き推定アルゴリズムを使用する奥行きマップのような代替の奥行きマップにおける奥行き値に基づくものも含む、多数の候補奥行き値の結合であり得る。そのような、より複雑な実施形態では、重みは例えば、各候補奥行き値について決定されてもよい。
例えば、非線形結合または（1つの候補奥行き値に1の重みが与えられ、他のすべての候補奥行き値に0の重みが与えられる）選択結合を含む、任意の適切な形の重み付け結合を使用することができることが理解されるであろう。しかし、多くの実施形態では、線形結合、具体的には加重平均を使用することができる。
したがって、特定の例として、奥行きマップ/ビューｋにおける画像座標（u,v）に対する更新された奥行き値
Figure 2022522504000002
は、ステップ501について説明されたように少なくとも1つが生成される候補奥行き値ｚi
Figure 2022522504000003
のセットの加重平均であってもよい。この場合、重み付け結合は、以下のように与えられるフィルタ関数に対応し得る。
Figure 2022522504000004
ここで、
Figure 2022522504000005
はビューｋのピクセル位置（u, v）における更新された奥行き値であり、ziはi番目の入力候補奥行き値であり、wiは i番目の入力候補奥行き値の重みである。
この方法は、第1候補奥行き値の重み、すなわち第1重みを決定するための特定のアプローチを使用する。このアプローチは、図6のフローチャート及び図7の画像及び奥行きマップの例を参照して説明される。
図7は、3つの画像および3つの対応する奥行きマップが提供/考慮される例を示す。第1画像701は第1奥行きマップ703と共に提供される。同様に、第2画像705は第2奥行きマップ707と共に提供され、第3画像709は第3奥行きマップ711と共に提供される。以下の説明は、第2奥行きマップ707からの奥行き値に基づく、第1奥行きマップ703の第1奥行き値に対する第1重みの決定に焦点を当て、さらに第3画像709を考慮する。
したがって、（第1候補奥行き値に対する）第1重みの決定は、第2奥行きマップ707中の第2奥行きマップ位置における第2奥行きピクセルに対する1つ以上の第2奥行き値に基づいて、第1奥行きピクセル/第1奥行きマップ位置に対して決定される。具体的には、第1候補奥行き値は、図7の矢印713によって示されるように、第2奥行きマップ707中の対応する位置にある第2奥行き値として決定され得る。
第1重みの決定は、ステップ601で開始し、ここで、更新器は、矢印715によって示されるように、第1奥行きマップ位置に対応する第1画像701中の第1画像位置を決定する。典型的には、これは単に、同じ位置及び画像座標であってもよい。この第1画像位置に対応する第1画像701中のピクセルは、第1画像ピクセルと呼ばれる。
そして、更新器203はステップ603に進み、複数の画像のうちの第3画像709中の第3画像位置を決定し、ここで、第3画像位置は、第1候補奥行き値に基づいた、第1画像位置の第3画像への投影に対応する。第3画像位置は、矢印717によって示されるように、第1画像701の画像座標からの直接投影によって決定されることができる。
したがって、更新器203は、第1画像位置を第3画像709中の第3画像位置に投影することに進む。投影は、第1候補奥行き値に基づく。したがって、第3画像709への第1画像位置の投影は、第2奥行きマップ707に基づいて決定された第1奥行き値の推定値とみなされることができる奥行き値に基づく。
いくつかの実施形態では、第3画像位置の決定は、奥行きマップ位置の投影に基づくことができる。例えば、更新器203は、矢印719によって示されるように、第3奥行きマップ711中の第3奥行きマップ位置に第1奥行きマップ位置（第1奥行きピクセルの位置）を投影するように進むことができる。投影は、第1候補奥行き値に基づく。したがって、第1奥行きマップ位置の第3奥行きマップ711への投影は、第2奥行きマップ707に基づいて決定された第1奥行き値の推定値とみなされることができる奥行き値に基づく。
次いで、第3画像位置は、矢印721によって示されるように、第3奥行きマップ位置に対応する第3画像709中の画像位置として決定され得る。
2つのアプローチは同等であることが理解されるであろう。
1つの奥行きマップ/画像から異なる奥行きマップ/画像への投影は、当該1つの奥行きマップ/画像中の奥行きマップ/画像位置と同じシーン点を表す異なる奥行きマップ/画像内の奥行きマップ/画像位置の決定であってもよい。奥行きマップ/画像は異なるビュー/キャプチャポーズを表すので、視差効果はシーン内の所与の点に対する画像位置のシフトをもたらす。このシフトは、ビューポーズの変化及びシーン内の点の奥行きに依存する。1つの画像/奥行きマップから別の画像/奥行きマップへの投影は、したがって、画像/奥行きマップ位置シフトまたは決定とも呼ばれ得る。
一例として、あるビュー（l）の画像座標（u,v）lとその奥行き値zl（u,v）を、隣接するビュー（k）の対応する画像座標（u,v）kに投影することは、例えば、透視カメラの場合、以下のステップで行うことができる：
１．画像座標(u,v)lは、カメラ(l)のカメラ固有のパラメータ(焦点距離、主点)を用いて、3D空間(x,y,z)l中のz_lを用いて投影解除される。
２．カメラ(l)の座標系(x,y,z)lにある未投影の点は、それらの相対的な外部パラメータ(カメラ回転行列Rと並進ベクトルt)を用いて、カメラ(k)の座標系(x,y,z)kに変換される。
３．最後に、(kのカメラ固有値を使用して)点(x,y,z)kがカメラ(k)の画像平面に投影され、画像座標(u,v)kが得られる。
他のカメラ投影タイプ、例えば、類似投影（ERP）の場合、同様のメカニズムを使用することができる。
記述されたアプローチにおいて、第1候補奥行き値に基づく投影は、第1候補奥行き値の奥行きを有する第1奥行きマップ／画像位置のシーン点に対する（および第1ビューポーズと第3ビューポーズとの間のビューポーズの変化に対する）第3奥行きマップ／画像位置の決定に対応すると考えられてもよい。
異なる奥行きは異なるシフトをもたらし、この場合、第1奥行きマップ703および第1画像701に対する第1ビューポーズと、第3奥行きマップ711および第3画像709に対する第3ビューポーズとの間の画像および奥行きマップ位置のシフトは、第2奥行きマップ707における少なくとも1つの奥行き値に基づく。
ステップ603において、更新器203は、実際に第1候補奥行き値が第1奥行き値および第1画像ピクセルについての正しい値である場合には、第1画像701中の第1画像ピクセルと同じシーン点を反映するであろう第3奥行きマップ711および第3画像709内の位置をそれに応じて決定する。正しい値からの第1候補奥行き値のいかなる偏差も、第3画像709において決定される誤った位置をもたらし得る。ここで、シーン点とは、ピクセルに関連する光線上にあるシーン点を指すが、必ずしも両方のビューポーズに対して最前方のシーン点である必要はないことに留意されたい。例えば、第1ビューポーズから見られるシーン点が、第2ビューポーズから見られるときよりも（より）前景のオブジェクトによって遮蔽される場合、奥行きマップおよび画像の奥行き値は異なるシーン点を表す場合があり、したがって、潜在的に非常に異なる値を有する場合がある。
ステップ603の後にステップ605が続き、第1画像位置および第3画像位置それぞれにおける第1画像701および第3画像709の内容に基づいて、第1マッチング誤差指標が生成される。具体的には、第3画像位置における第3画像中の画像ピクセル値が検索される。幾つかの実施形態において、この画像ピクセル値は、第3奥行きマップ711中の第3奥行きマップ位置が奥行き値を提供する第3画像709中の画像ピクセル値として決定可能である。すなわち、同じ解像度が第3奥行きマップ711および第3画像709に使用される多くの実施形態では、第1奥行きマップ位置に対応する第3画像709中の位置の直接的な決定（矢印719）は、第3奥行きマップ711中の位置を決定して対応する画像ピクセル取り出すことに等しいことが理解されよう。
同様に、更新器203は、第1画像位置における第1画像701中のピクセル値を抽出するように進む。次いで、これらの2つの画像ピクセル値の間の差を示す第1マッチ誤差指標を決定するように進む。例えば、単純な絶対差、例えば複数のカラーチャネルのピクセル値成分に適用される根二乗和差のような、任意の適切な差分尺度が使用できることが理解されよう。
したがって、更新器203は、第3画像位置に対する第3画像中の画像ピクセル値と、第1画像位置に対する第1画像中の画像ピクセル値との差を示す第1マッチ誤差指標を605に決定する。
次に、更新器203は、ステップ607に進み、第1マッチ誤差指標に応じて第1重みが決定される。第1マッチ誤差指標から第1重みを決定するための特定のアプローチは、個々の実施形態に依存し得ることが理解されるであろう。多くの実施形態では、例えば、他のマッチ誤差指標を含む複雑な考慮事項を使用することができ、さらなる例を後に提供する。
低複雑度の例として、いくつかの実施形態では、第1重みは第1マッチ誤差指標の単調減少関数として決定されてもよく、多くの実施形態では他のパラメータを考慮することなく決定されてもよい。
例えば、重み付け結合が第1候補奥行き値と第1奥行きピクセルの元の奥行き値のみを含む例では、結合は、固定された重みを元の奥行き値に適用し、第1マッチ誤差指標が低いほど増加する第1重みを適用することができる（通常、重み正規化がさらに含まれる）。
第1マッチ誤差指標は、所与のシーン点を表す際に第1画像と第3画像とがどの程度良好に一致するかを反映すると考えることができる。第1画像と第3画像との間に遮蔽の違いが存在せず、第1候補奥行き値が正しい値である場合、画像ピクセル値は同じであるはずであり、第1マッチ誤差指標はゼロであるはずである。第1候補奥行き値が正しい値から逸脱する場合、第3画像内の画像ピクセルは同じシーン点に直接対応しない可能性があり、したがって、第1マッチ誤差指標が増加する可能性がある。遮蔽に変化がある場合、誤差は非常に高くなる可能性が高い。したがって、第1マッチ誤差指標は、第1候補奥行き値が第1奥行きピクセルに対してどれだけ正確かつ適切であるかの良好な指標を提供し得る。
異なる実施形態では、異なるアプローチを使用して、第2奥行きマップの奥行き値のうちの1つまたは複数から第1候補奥行き値を決定することができる。同様に、異なるアプローチを使用して、どの候補値が重み付け結合に対して生成されるかを決定することができる。具体的には、複数の候補値が第2奥行きマップの奥行き値から生成されてもよく、重みは、図6に関して説明されたアプローチに従って、これらのそれぞれについて個別に計算されてもよい。
多くの実施形態では、第1候補奥行き値を導出するためにどの第2奥行き値を使用するかの決定は、2つの奥行きマップ中の対応する位置が決定されるように、第1奥行きマップと第2奥行きマップとの間の投影に依存する。具体的には、多くの実施形態では、第1候補奥行き値は、第1奥行きマップ位置に対応すると考えられる第2奥行きマップ位置における第2奥行き値として決定されてもよく、すなわち、第2奥行き値は同じシーン点を表すと考えられる奥行き値として選択される。
対応する第1奥行きマップ位置および第2奥行きマップ位置の決定は、第1奥行きマップから第2奥行きマップへの投影に基づくことができ、すなわち、元の第1奥行き値に基づくか、または、第2奥行きマップから第1奥行きマップへの投影に基づくこと、すなわち、第2奥行き値に基づくことができる。いくつかの実施形態では、両方向の投影が実行されてもよく、例えば、これらの平均が使用されてもよい。
従って、第1候補奥行き値を決定することは、第2の値と第1奥行きマップの第1の元の奥行き値のうちの少なくとも1つに基づいて、第1画像の第1ビューポーズと第2画像の第2ビューポーズとの間の投影によって、第1奥行きマップ位置に対する第2奥行きマップ位置を決定することを含み得る。
例えば、第1奥行きマップ中の所与の第1ピクセルに対して、更新器203は、奥行き値を抽出し、これを使用して、対応する第1奥行きマップ位置を、第2奥行きマップ中の対応する第2奥行きマップ位置に投影することができる。次に、この位置における第2奥行き値を抽出し、それを第1候補奥行き値として使用することができる。
別の例として、第2奥行きマップ中の所与の第2ピクセルに対して、更新器203は、奥行き値を抽出し、これを使用して、対応する第2奥行きマップ位置を、第1奥行きマップ中の対応する第1奥行きマップ位置に投影することができる。その後、第2奥行き値を抽出し、これを、第1奥行きマップ位置における第1奥行きピクセルに対する第1候補奥行き値として使用することができる。
そのような実施形態では、第2奥行きマップ中の奥行き値が第1候補奥行き値として直接使用される。しかしながら、2つの奥行きマップピクセルは同じシーン点への（遮蔽がない場合の）距離を表すが、異なる視点からの距離を表すので、奥行き値は異なる場合がある。多くの実際の実施形態では、異なる位置におけるカメラ/ビューポーズからの同じシーン点に対する距離のこの差は重要ではなく、無視できる。したがって、多くの実施形態では、カメラが完全に位置合わせされ、同じ方向を見て、同じ位置を有すると仮定することができる。その場合、オブジェクトが平坦でイメージセンサに対して平行であれば、奥行きは、2つの対応する奥行きマップにおいて実際に同じであり得る。このシナリオからの逸脱は、多くの場合、無視できるほど十分に小さい。
しかしながら、いくつかの実施形態では、第2奥行き値からの第1候補奥行き値の決定は、奥行き値を修正する投影を含むことができる。これは、両方のビューの射影幾何学を考慮することを含む、より詳細な幾何計算に基づくことができる。
いくつかの実施形態では、2つ以上の第2奥行き値を使用して第1候補奥行き値を生成することができる。例えば、異なる奥行き値の間で空間補間を実行して、ピクセルの中心と位置合わせされていない投影を補償してもよい。
別の例として、いくつかの実施形態では、第1候補奥行き値は、第2奥行きマップ位置を中心とするカーネルが第2奥行きマップに適用される空間フィルタリングの結果として決定されてもよい。
以下の説明は、各候補奥行き値が単一の第2奥行き値のみに依存し、さらに第2奥行き値に等しい実施形態に焦点を当てる。
多くの実施形態では、重み付け結合は、異なる第2奥行き値から決定された複数の候補奥行き値をさらに含むことができる。
具体的には、多くの実施形態では、重み付け結合は、第2奥行きマップの或る領域からの候補奥行き値を含むことができる。この領域は、典型的には、第1奥行きマップ位置に基づいて決定されてもよい。具体的には、第2奥行きマップ位置は、前述したように投影（いずれかまたは両方向）によって決定されてもよく、領域は、この第2奥行きマップ位置の周囲の領域（例えば、所定の輪郭を有する）として決定されてもよい。
このアプローチは、それに応じて、第1奥行きマップ中の第1奥行きピクセルのための候補奥行き値のセットを提供し得る。候補奥行き値のそれぞれについて、更新器203は、図6の方法を実行して、重み付け結合の重みを決定することができる。
このアプローチの特別な利点は、後続の重み決定が良好な候補と不良な候補とを適切に重み付けするので、候補奥行き値のための第2奥行き値の選択が過度に重要ではないことである。したがって、多くの実施形態では、候補を選択するために、比較的複雑性の低いアプローチを使用することができる
多くの実施形態では、領域は、例えば、元の第1奥行き値に基づく第1奥行きマップから第2奥行きマップへの投影によって決定される第2奥行きマップ中の位置の周囲の所定の領域として単に決定されてもよい。実際、多くの実施形態では、投影は、第1奥行きマップ中の奥行きマップ位置と同じ第2奥行きマップ中の奥行きマップ位置の周囲の領域として領域を単に選択することに置き換えることさえ可能である。したがって、アプローチは、第1奥行きマップ中の第1ピクセル位置と第2奥行きマップ中の同じ位置の周りの領域内で第2奥行き値を選択することによって、奥行き値の候補セットを単に選択することができる。
このようなアプローチは、リソース使用量を低減しつつ、実際に効率的な動作を提供することができる。このアプローチは、奥行きマップ間で生じる位置/視差シフトと比較して領域のサイズが比較的大きい場合に、特に適している可能性がある。
前述のように、多くの異なるアプローチを使用して、重み付け結合における個々の候補奥行き値の重みを決定することができる。
多くの実施形態では、第1重みはさらに、第3画像以外の他の画像について決定された追加のマッチ誤差指標に応じて、決定されてもよい。多くの実施形態では、説明したアプローチを使用して、第1画像以外のすべての画像についてマッチ誤差指標を生成することができる。次に、例えば、これらの平均として、組み合わされたマッチ誤差指標を生成することができ、これに基づいて第1重みを決定することができる。
具体的には、第1重みは、フィルタリングされているビューから他のすべてのビュー（l≠k）への別個のマッチ誤差の関数であるマッチ誤差メトリックに依存し得る。候補ziのための重みを決定するためのメトリックの一例は以下である:
Figure 2022522504000006
ここで、ekl(zi)は、候補ziを所与としたビューkとビューlとの間のマッチ誤差である。マッチ誤差は、例えば、単一ピクセルに対する色差に依存し得るか、あるいは、ピクセル位置（u,v）の周りの空間平均として計算され得る。ビュー（l≠k）にわたる最小のマッチ誤差を計算する代わりに、平均値や中央値などを使用してもよい。多くの実施形態では、この評価関数は、好ましくは、遮蔽によって引き起こされるマッチ誤差異常値に対してロバストである。
多くの実施形態では、第2画像について、すなわち、第1候補奥行き値が生成されたビューについて、第2マッチ誤差指標を決定することができる。この第2マッチ誤差指標の決定は、第1マッチ誤差指標について説明したものと同じアプローチを使用することができ、第2マッチ誤差指標は、第2奥行きマップ位置に関する第2画像中の画像ピクセル値と第1奥行きマップ位置に関する第1画像中の画像ピクセル値との間の差を示すように生成されることができる。
そして、第1重みは、第1マッチ誤差指標および第2マッチ誤差指標の両方（ならびに、おそらく他のマッチ誤差指標またはパラメータ）に応じて決定され得る。
いくつかの実施形態では、この重み決定は、例えば、平均マッチ誤差指標を考慮するだけでなく、マッチ指標間の相対的な差を考慮することもできる。例えば、第1マッチ誤差指標が比較的小さいが、第2マッチ誤差指標が比較的大きい場合、これは第1画像に関して第2画像に生じる（しかし、第3の画像には生じない）遮蔽に起因する可能性がある。したがって、第1重みは、低減されるか、ゼロに設定されてもよい。
重み考慮の他の例は、例えば、中央値マッチ誤差または別の変位値などの統計的尺度を使用することができる。上記と同様の論拠がここで適用される。たとえば、全て同じ方向を見ている9台のカメラの直線状のカメラアレイがある場合、中央のカメラに対して、オブジェクトエッジの周囲において、左にある4つのアンカー、または右にある4つのアンカーは、常に遮蔽されていない領域を見ることになる。この場合、或る候補に対する良好なトータルの重みは、全8つのマッチ誤差のうちの4つの最も低いもののみの関数であることができる。
多くの実施形態では、重み付け結合は、第1奥行きマップ自体の他の奥行き値を含むことができる。具体的には、第1奥行き位置の周りの第1奥行きマップ中の奥行きピクセルのセットが重み付け結合に含まれ得る。例えば、所定の空間カーネルを第1奥行きマップに適用して、第1奥行きマップのローパスフィルタリングを行うことができる。空間的にローパスフィルタリングされた第1奥行きマップ値および他のビューからの候補奥行き値の重み付けは、例えば、ローパスフィルタリングされた奥行き値に固定の重みを適用し、第1候補奥行き値に対して可変の第1重みを適用することによって、適合されてもよい。
多くの実施形態では、重み、具体的には第1重みの決定は、奥行き値の信頼値にも依存する。
奥行きの推定と測定値は、本質的にノイズが多く、さまざまな誤差や変動が存在する可能性がある。多くの奥行き推定および測定アルゴリズムは、奥行き推定に加えて、提供された奥行き推定がどの程度信頼できるかを示す信頼値も生成することができる。例えば、視差推定は、異なる画像における一致領域を検出することに基づくことができ、信頼値は、一致領域がどの程度類似しているかを反映するように生成されることができる。
信頼値は、異なる態様で使用されることができる。例えば、多くの実施形態では、第1候補奥行き値に対する第1重みは、第1候補奥行き値に対する信頼値、特に、第1候補奥行き値を生成するために使用された第2奥行き値に対する信頼値に依存し得る。第1重みは、第2奥行き値に対する信頼値の単調増加関数であってもよく、したがって、第1重みは、第1候補奥行き値を生成するために使用された基礎となる奥行き値（複数可）の信頼性が増加するにつれて増加することができる。従って、重み付け結合は、信頼性があり且つ正確であると考えられる奥行き値に向かってバイアスされ得る。
実施形態では、奥行きマップに対する信頼値を用いて、どの奥行き値/ピクセルが更新され、どの奥行きピクセルに対して奥行き値が変わらないように維持されるかを選択することができる。具体的には、更新器203は、信頼値が閾値未満である第1奥行きマップの奥行き値/ピクセルのみを更新されるべきものとして選択するように構成されてもよい。
したがって、第1奥行きマップ中のすべてのピクセルを更新するのではなく、更新器203は、信頼できないと考えられる奥行き値を具体的に識別し、これらの値のみを更新する。これは、多くの実施形態において、例えば、非常に正確で信頼できる奥行き推定値が、他の視点からの奥行き値から生成されたより不確実な値に置き換えられることを防止することができるので、全体的な奥行きマップが改善される結果となり得る。
いくつかの実施形態では、重み付け結合に含まれる第2奥行きマップの奥行き値のセットは、異なる候補奥行き値または同じ候補奥行き値に寄与することによって、奥行き値の信頼値に依存し得る。具体的には、所与の閾値を超える信頼値を有する奥行き値のみを含めることができ、他のすべての奥行き値を処理から除外することができる。
例えば、更新器203は、最初に、第2奥行きマップをスキャンし、信頼値が閾値未満であるすべての奥行き値を除去することによって、修正された第2奥行きマップを生成することができる。次に、修正された第2奥行きマップを使用して前述の処理を実行することができ、そのような第2奥行き値が第2奥行きマップに存在しない場合、第2奥行き値を必要とするすべての動作はバイパスされる。例えば、そのような値が存在しない場合、第2奥行き値に対する候補奥行き値は生成されない。
いくつかの実施形態では、更新器203が奥行き値に対する信頼値を生成するように構成されてもよい。
いくつかの実施形態では、所与の奥行きマップ中の所与の奥行き値に対する信頼値がこれらの奥行きマップ中の対応する位置に対する他の奥行きマップ中の奥行き値の変動に応じて決定されることができる。
更新器203は、最初に、信頼値が決定された所与の奥行き値についての奥行きマップ位置を、複数の他の奥行きマップ中の対応する位置に、典型的にはこれらのすべてに、投影することができる。
具体的には、奥行きマップk中の画像座標（u, v）kにおける所与の奥行き値について、（典型的には隣接するビューのための）他の奥行きマップのセットＬが決定される。これらの奥行きマップの各々（l∈L）について、対応する画像座標(u, v)l（l∈L）が再投影によって計算される。
次に、更新器203は、これらの対応する位置におけるこれらの他の奥行きマップ中の奥行き値を考慮することができる。対応する位置におけるこれらの奥行き値の変動尺度を決定することに進むことができる。変動の任意の適切な尺度（例えば、分散尺度）が使用され得る。
次いで、更新器203は、この変動尺度から所与の奥行きマップ位置の信頼値を決定することに進むことができ、具体的には、変動の程度の増加が信頼値の減少を示すことができる。したがって、信頼値は、変動尺度の単調減少関数であってもよい。
具体的には、奥行き値zkと、（u, v）lにおける対応する隣接する奥行き値zl(l∈L)のセットとが与えられると、これらの奥行き値の一貫性に基づいて信頼メトリックを計算することができる。例えば、これらの奥行き値の分散を信頼度メトリックとして使用することができる。この場合、分散が小さいことは、信頼度が高いことを意味する。
この決定を、対応する画像座標（u, v）kがシーン内のオブジェクトまたはカメラ境界によって遮蔽される可能性があることから生じる可能性がある外れ値に対して、よりロバストにすることが望ましいことが多い。これを実現する1 つの具体的な方法は、カメラビュー（k）の両側の2つの隣接するビューl0とl1を選択し、奥行きの差の最小値を使用することである ：
Figure 2022522504000007
いくつかの実施形態では、所与の奥行きマップ中の所与の奥行き値に対する信頼値は、対応する所与の奥行き位置を別の奥行きマップに投影し、次いで2つの奥行きマップの2つの奥行き値を使用してそれを投影し戻すことから生じる誤差を評価することによって、決定されることができる。
したがって、更新器203は、最初に、所与の奥行き値に基づいて、所与の奥行きマップ位置を別の奥行きマップに投影することができる。次に、この投影された位置における奥行き値が検索され、他方の奥行きマップ中の位置が、この他方の奥行き値に基づいて元の奥行きマップに再投影される。これは、（例えば、カメラ及びキャプチャの特性及びジオメトリを考慮に入れて）投影に対する2つの奥行き値が完全に一致した場合、元の奥行きマップ位置と正確に同じであるテスト位置をもたらす。ただし、ノイズや誤差があると、2 つの位置の間に差が生じる。
したがって、更新器203は、所与の奥行きマップ位置とテスト位置との間の距離に応じて、所与の奥行きマップ位置の信頼値を決定することに進むことができる。距離が小さいほど信頼値は高くなり、したがって、信頼値は距離の単調減少関数として決定され得る。多くの実施形態では、複数の他の奥行きマップ、したがって距離を考慮に入れることができる。
したがって、いくつかの実施形態では、信頼値は、動きベクトルの幾何学的一貫性に基づいて決定され得る。dklを、奥行きzkが与えられたピクセル(u, v)kを隣接ビューlに移す二次元動きベクトルとする。隣接するビューl中の各々の対応するピクセル位置(u, v)lは、それぞれの奥行きzlを持ち、その結果、ビューkに戻るベクトルdlkが得られる。理想的な場合、誤差がゼロであれば、これらのベクトルは全て、元の点(u, v)kに正確にマッピングして戻る。しかし、一般には、これは当てはまらず、確かに信頼性の低い領域については当てはまらない。したがって、信頼性の欠如についての良好な尺度は、逆投影位置における平均誤差である。この誤差メトリックは、以下のように定式化することができる:
Figure 2022522504000008
ここで、f((u,v)l; zl)は、奥行き値zlを用いた隣接するビューlからビューkへ逆投影された画像座標を示す。ノルム
Figure 2022522504000009
は、L1またはL2、あるいは任意の他のノルムであってもよい。信頼値は、この値の単調減少関数として決定されることができる。
用語「候補」は、奥行き値に関するいかなる制限も意味せず、用語「候補奥行き値」は重み付け結合に含まれる任意の奥行き値を指し得ることが理解されるであろう。
明確にするための上記の説明は、異なる機能回路、ユニットおよびプロセッサを参照して本発明の実施形態を説明したことが理解されるであろう。しかしながら、本発明から逸脱することなく、異なる機能回路、ユニットまたはプロセッサ間での機能の任意の適切な分散を使用できることは明らかであろう。例えば、別個のプロセッサまたはコントローラによって実行されることが示されている機能が同じプロセッサまたはコントローラによって実行されてもよい。したがって、特定の機能ユニットまたは回路への言及は、厳密な論理的または物理的構造または編成を示すのではなく、説明された機能を提供するための適切な手段への言及としてのみ見なされるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合せを含む任意の適切な形態で実施することができる。本発明は、オプションで、1つまたは複数のデータプロセッサおよび/またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実装され得る。本発明の実施形態の要素およびコンポーネントは、任意の適切な方法で物理的、機能的および論理的に実装され得る。実際、機能は、単一のユニットで、複数のユニットで、または他の機能ユニットの一部として実装されてもよい。したがって、本発明は、単一のユニットで実施されてもよく、または異なるユニット、回路およびプロセッサの間で物理的および機能的に分散されてもよい。
本発明はいくつかの実施形態に関連して説明されてきたが、本明細書に記載された特定の形態に限定されることは意図されていない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。さらに、或る特徴が特定の実施形態に関連して説明されるように見えるかもしれないが、当業者は説明された実施形態の様々な特徴が本発明に従って組み合わされ得ることを認識するであろう。請求項において、「有する(comprising)」という用語は、他の要素又はステップの存在を排除するものではない。
さらに、個別に列挙されているが、複数の手段、素子、回路または方法ステップが、例えば単一の回路、ユニットまたはプロセッサによって実装され得る。さらに、個々の特徴が異なる請求項に含まれている場合があるが、これらは場合によっては有利に組み合わされてもよく、異なる請求項に含まれることは特徴の組み合わせが実現可能ではない及び/又は有利ではないことを意味しない。また、或る特徴を請求項の1つのカテゴリに含めることは、このカテゴリへの限定を意味するものではなく、むしろ、その特徴が必要に応じて他の請求項カテゴリに等しく適用可能であることを示す。さらに、請求項における特徴の順序は、当該特徴が動作しなければならない特定の順序を意味するものではなく、特に、方法の請求項における個々のステップの順序は、当該ステップがこの順序で実行されなければならないことを意味するものではない。むしろ、ステップは任意の適切な順序で実行されることができる。さらに、単数への言及は複数を除外しない。したがって、「a」、「an」、「第1」、「第2」等という用語は複数を排除するものではなく、「第1」、「第2」、「第3」等という用語はラベルとして使用されるため、対応する特徴を明確に特定するため以外の制限を意味するものではなく、いかなる方法によってもクレームの範囲を制限するものと解釈されるべきではない。請求項中の参照符号は、単に明確な例として提供されているにすぎず、請求の範囲を何らかの態様で限定するものと解釈してはならない。

Claims (15)

  1. 奥行きマップを処理する方法であって、
    異なるビューポーズからのシーンを表す複数の画像および対応する奥行きマップを受信するステップと、
    前記対応する奥行きマップのうちの第1奥行きマップの奥行き値を、前記対応する奥行きマップのうちの少なくとも第2奥行きマップの奥行き値に基づいて更新するステップであって、前記第1奥行きマップは第1画像に対するものであり、前記第2奥行きマップは第2画像に対するものである、ステップと、
    を有し、
    前記更新するステップは、
    前記第1奥行きマップ中の第1奥行きマップ位置における前記第1奥行きマップの第1奥行きピクセルについて第1候補奥行き値を決定するステップであって、前記第1候補奥行き値が、前記第2奥行きマップ中の第2奥行きマップ位置における前記第2奥行きマップの第2奥行きピクセルの少なくとも1つの第2奥行き値に応じて決定される、ステップと、
    前記第1奥行きマップ位置のための複数の奥行き候補値の重み付け結合により、前記第1奥行きピクセルの第1奥行き値を決定するステップであって、前記重み付け結合は、第1重みで重み付けされた前記第1候補奥行き値を含む、ステップと、
    を有し、
    前記第1奥行き値を決定するステップは、
    前記第1奥行きマップ位置に対する前記第1画像中の第1画像位置を決定するステップと、
    前記複数の画像のうちの第3画像中の第3画像位置を決定するステップであって、前記第3画像位置は、前記第1候補奥行き値に基づく前記第1画像位置の前記第3画像への投影に対応する、ステップと、
    前記第3画像位置に対する前記第3画像中の画像ピクセル値と、前記第1画像位置に対する前記第1画像中の画像ピクセル値との間の差を示す第1マッチ誤差指標を決定するステップと、
    前記第1マッチ誤差指標に応じて前記第1重みを決定するステップと、
    を有する、方法。
  2. 前記第1候補奥行き値を決定するステップが、前記第2値および前記第1奥行きマップの第1の元の奥行き値のうちの少なくとも１つに基づく前記第１画像の第1ビューポーズと前記第2画像の第2ビューポーズとの間の投影により、前記第1奥行きマップ位置に対する前記第2奥行きマップ位置を決定することを含む、請求項１に記載の方法。
  3. 前記重み付け結合が、前記第1奥行きマップ位置に応じて決定された前記第2奥行きマップの領域から決定された候補奥行き値を含む、請求項１または２に記載の方法。
  4. 前記第2奥行きマップの前記領域が前記第2奥行きマップ位置の周りの領域として決定され、前記第2奥行きマップ位置が、前記第1奥行きマップ中の前記第1奥行きマップ位置に等しい前記第2奥行きマップ中の奥行きマップ位置として決定される、請求項３に記載の方法。
  5. 前記第2奥行きマップの前記領域が、前記第1奥行きマップ位置における前記第1奥行きマップ中の元の奥行き値に基づく前記第1奥行きマップ位置からの投影により決定される前記第2奥行きマップ中の位置の周りの領域として決定される
    請求項３に記載の方法。
  6. 前記第2奥行きマップ位置に対する前記第2画像中の画像ピクセル値と前記第1奥行きマップ位置に対する前記第1画像中の前記画像ピクセル値との間の差を示す第2マッチ誤差指標を決定するステップをさらに有し、前記第1重みを決定するステップが、前記第2マッチ誤差指標にも応じて行われる、請求項１から請求項５のいずれか一項に記載の方法。
  7. 前記第1奥行きマップ位置に対応する奥行きマップ位置に対する他の画像中の画像ピクセル値と前記第1奥行きマップ位置に対する前記第1画像中の前記画像ピクセル値との間の差を示す追加のマッチ誤差指標を決定するステップをさらに有し、前記第1重みを決定するステップが、前記追加のマッチ誤差指標にも応じて行われる、請求項１から請求項６のいずれか一項に記載の方法。
  8. 前記重み付け結合が、前記第1奥行きマップ位置の周りの領域における前記第1奥行きマップの奥行き値を含む、請求項１から請求項7のいずれか一項に記載の方法。
  9. 前記第1重みが、前記第1候補奥行き値の信頼値に依存する、請求項１から請求項８のいずれか一項に記載の方法。
  10. 信頼値が閾値を下回る前記第1奥行きマップの奥行き値のみが更新される、請求項１から請求項９のいずれか一項に記載の方法。
  11. 前記重み付け結合に含めるために、前記第2奥行きマップの奥行き値のセットを、当該奥行き値のセットの奥行き値が閾値以上の信頼値を有していなければならないという要件に従って、選択するステップをさらに有する、請求項１から請求項１０のいずれか一項に記載の方法。
  12. 所与の奥行きマップ中の所与の奥行き値に対する所与の奥行きマップ位置を、複数の前記対応する奥行きマップ中の対応する位置に投影するステップと、
    前記所与の奥行き値と前記複数の前記対応する奥行きマップ中の前記対応する位置における奥行き値とを有する奥行き値のセットに対する変動尺度を決定するステップと、
    前記変動尺度に応じて前記所与の奥行きマップ位置に対する信頼値を決定するステップと、
    をさらに有する、請求項１から請求項１１のいずれか一項に記載の方法。
  13. 所与の奥行きマップ中の所与の奥行き値に対する所与の奥行きマップ位置を、他の奥行きマップ中の対応する位置に投影するステップであって、当該投影が、前記所与の奥行き値に基づく、ステップと、
    前記他の奥行きマップ中の前記対応する位置を、前記所与の奥行きマップ中のテスト位置に投影するステップであって、当該投影が、前記他の奥行きマップ中の前記対応する位置における奥行き値に基づくステップと、
    前記所与の奥行きマップ位置と前記テスト位置との間の距離に応じて前記所与の奥行きマップ位置に対する信頼値を決定するステップと、
    をさらに有する、請求項１から請求項１２のいずれか一項に記載の方法。
  14. 奥行きマップを処理するための装置であって、
    異なるビューポーズからのシーンを表す複数の画像と対応する奥行きマップとを受信するための受信機と、
    前記対応する奥行きマップのうちの少なくとも第2奥行きマップの奥行き値に基づいて、前記対応する奥行きマップのうちの第1奥行きマップの奥行き値を更新するステップを実行するための更新器であって、前記第1奥行きマップは第1画像に対するものであり、前記第2奥行きマップは第2画像に対するものである、更新器と、
    を有し、
    前記更新するステップは、前記第1奥行きマップ中の第1奥行きマップ位置における前記第1奥行きマップの第1奥行きピクセルについて第1候補奥行き値を決定するステップであって、前記第1候補奥行き値が、前記第2奥行きマップ中の第2奥行きマップ位置における前記第2奥行きマップの第2奥行きピクセルの少なくとも1つの第2奥行き値に応じて決定される、ステップと、
    前記第1奥行きマップ位置のための複数の候補奥行き値の重み付け結合により、前記第1奥行きピクセルの第1奥行き値を決定するステップであって、前記重み付け結合は、第1重みで重み付けされた前記第1候補奥行き値を含む、ステップと、
    を有し、
    前記第1奥行き値を決定するステップは、
    前記第1奥行きマップ位置に対する前記第1画像中の第1画像位置を決定するステップと、
    前記複数の画像のうちの第3画像中の第3画像位置を決定するステップであって、前記第3画像位置は、前記第1候補奥行き値に基づく前記第1画像位置の前記第3画像への投影に対応する、ステップと、
    前記第3画像位置に対する前記第3画像中の画像ピクセル値と、前記第1画像位置に対する前記第1画像中の画像ピクセル値との間の差を示す第1マッチ誤差指標を決定するステップと、
    前記第1マッチ誤差指標に応じて前記第1重みを決定するステップと、
    を有する装置。
  15. コンピュータにより実行され、当該コンピュータに請求項１から請求項１３のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
JP2021551897A 2019-03-05 2020-03-03 画像の奥行きマップの処理 Active JP7480163B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19160805.8 2019-03-05
EP19160805.8A EP3706070A1 (en) 2019-03-05 2019-03-05 Processing of depth maps for images
PCT/EP2020/055565 WO2020178289A1 (en) 2019-03-05 2020-03-03 Processing of depth maps for images

Publications (2)

Publication Number Publication Date
JP2022522504A true JP2022522504A (ja) 2022-04-19
JP7480163B2 JP7480163B2 (ja) 2024-05-09

Family

ID=65729098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021551897A Active JP7480163B2 (ja) 2019-03-05 2020-03-03 画像の奥行きマップの処理

Country Status (9)

Country Link
US (1) US12026903B2 (ja)
EP (2) EP3706070A1 (ja)
JP (1) JP7480163B2 (ja)
KR (1) KR20210134956A (ja)
CN (1) CN113795863A (ja)
BR (1) BR112021017545A2 (ja)
CA (1) CA3131980A1 (ja)
TW (1) TW202101374A (ja)
WO (1) WO2020178289A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4013049A1 (en) 2020-12-09 2022-06-15 Koninklijke Philips N.V. Apparatus and method for processing a depth map
US20230083014A1 (en) * 2021-09-14 2023-03-16 Black Sesame Technologies Inc. Depth estimation based on data fusion of image sensor and depth sensor frames
EP4344237A1 (en) * 2022-09-21 2024-03-27 Koninklijke Philips N.V. Generation of depth maps for images
CN117805607B (zh) * 2024-02-29 2024-05-07 山西漳电科学技术研究院(有限公司) 发电厂直流***直流级差配合试验方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087955A1 (en) 2009-01-30 2010-08-05 Thomson Licensing Coding of depth maps
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
JP5949314B2 (ja) 2012-08-20 2016-07-06 株式会社日本自動車部品総合研究所 視差マップ生成装置および視差マップ生成装置用のプログラム
SG11201500910RA (en) * 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
GB2524478A (en) * 2014-03-20 2015-09-30 Nokia Technologies Oy Method, apparatus and computer program product for filtering of media content
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
JP7054803B2 (ja) 2017-07-21 2022-04-15 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
US11024046B2 (en) * 2018-02-07 2021-06-01 Fotonation Limited Systems and methods for depth estimation using generative models
FR3088510A1 (fr) * 2018-11-09 2020-05-15 Orange Synthese de vues

Also Published As

Publication number Publication date
BR112021017545A2 (pt) 2021-11-09
KR20210134956A (ko) 2021-11-11
US20220148207A1 (en) 2022-05-12
JP7480163B2 (ja) 2024-05-09
EP3706070A1 (en) 2020-09-09
WO2020178289A1 (en) 2020-09-10
EP3935602A1 (en) 2022-01-12
CN113795863A (zh) 2021-12-14
US12026903B2 (en) 2024-07-02
TW202101374A (zh) 2021-01-01
CA3131980A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
JP7480163B2 (ja) 画像の奥行きマップの処理
JP7480065B2 (ja) 画像データストリームを生成するための装置および方法
KR102546358B1 (ko) 장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법
US11694390B2 (en) Apparatus and method for generating images of a scene
CN113170213A (zh) 图像合成
CN113366825B (zh) 用于生成表示场景的图像信号的装置和方法
EP3932081B1 (en) Apparatus and method of generating an image signal
JP7471307B2 (ja) シーンの画像表現
TWI846808B (zh) 表示場景之影像信號
EP4114008A1 (en) Image generation
US20220174259A1 (en) Image signal representing a scene
JP2022504883A (ja) 画像生成装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240424

R150 Certificate of patent or registration of utility model

Ref document number: 7480163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150