JP2018506797A - 環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置 - Google Patents

Abstract

環境測定を行うための方法及び装置が記述される。いくつかの実施形態において、異なる時間、レート及び／又は解像度で環境情報をキャプチャするために、異なる装置が使用される。さまざまな装置を使用してキャプチャされた複数のソースからの環境情報、例えば深度情報は、処理されて結合される。いくつかの環境情報は、イベントの間にキャプチャされる。このような情報は、いくつかの実施形態において、イベントの前にキャプチャされた環境情報と結合される。環境深度モデルは、いくつかの実施形態において、ｉ）静的なマップから取得された深度情報、ｉｉ）光領域カメラによってキャプチャされた画像から取得された深度情報、及び、ｉｉｉ）カメラの立体的な対によってキャプチャされた画像から取得された深度情報を含む、少なくとも２つの異なる深度情報のソースからの深度情報を結合すること、例えば、調和させることによって生成される。調和プロセスは、異なる深度情報ソースの利点と、このような情報の利用可能性を考慮に入れて、さまざまな情報重み付け動作を伴い得る。

Description

分野

[0001] 本発明は、３Ｄ体験の一部として使用され得る立体的な画像の生成及び／又は表示を含むさまざまなアプリケーションをサポートするために、環境情報、例えば、測定及び画像をキャプチャして使用するための方法及び装置に関連する。

背景

[0002] ３Ｄ環境の正確な表示は、環境の信頼できるモデルを要求することが多い。このようなモデルは、利用可能であるとき、画像再生の間に使用され得る。このようなモデルは、利用可能であるとき、シーンの画像においてキャプチャされた対象が、正しいサイズであるようにビューアに見えるように、画像再生の間に使用され得る。環境マップはまた、異なるカメラによってキャプチャされた画像の配列を促進するために、画像の異なる小片を縫い合わせる際に使用され得る。

[0003] 環境マップは、利用可能であるとき、環境の単純な範囲のモデルが仮定されるときよりも、はるかにより実際的なビューイング体験を促進し得るが、後の再生のためにフィルムに収められ得るイベントの間に、正確な環境情報を取得することに関係付けられた多数の困難がある。例えば、ＬＩＤＡＲ測定技術は、イベントをキャプチャするために、１つ以上のカメラ、例えば、立体カメラ又は他のカメラを配備する前に、カメラ位置に関連する距離の環境測定を行うのに使用され得るが、ＬＩＤＡＲ測定のために使用されるレーザは、人々がコンサートや試合や他の活動を見ようと試みるとき、実際のイベントの間の使用のためには迷惑あるいは適切でないかもしれない。さらに、イベントをキャプチャするのに使用されるカメラリグの配置は、イベントの間に同じ位置に置かれるＬＩＤＡＲ装置を妨げ得る。

[0004] したがって、ＬＩＤＡＲは、イベントの前にスタジアムや他のイベント位置の正確な測定を行うのに使用され得るが、ＬＡＳＥＲ光やエリアのＬＩＤＡＲ測定を行うことに関係付けられた時間を使用するために、ＬＩＤＡＲは、イベント設置されて作動された１つ以上のカメラによって、進行中のイベントの間にカメラ位置からキャプチャされることになるイベントの間に、カメラ位置のロケーションから環境の測定を行うのにあまり適していない。

[0005] ＬＩＤＡＲは、上で議論された理由のために、非常に正確な距離測定を行うのに使用され得るが、スタジアムや他のイベントエリアが進行中のイベントを有さないとき、例えば、実際のイベントの前に通常使用される。結果として、ＬＩＤＡＲ距離測定は普通、人々が存在することのない空のスタジアムやイベントエリアを測定する。さらに、ＬＩＤＡＲ測定は普通、任意の修正又は表示が特定のイベントのために準備する前に行われる。ＬＩＤＡＲ又は他の測定システムによって提供される静的な環境マップは、多くのケースにおいて測定の時間における環境に関して非常に正確である一方、スポーツの試合や、コンサートやファッションショーのようなイベントの間、環境の状況と形状を正確に反映しないことが多い。

[0006] 上の議論の観点から、環境測定、特に、イベントの間の環境の形状を測定する新しくて改善された方法に対する必要性があることが正しく認識されるべきである。必ずしも全ての実施形態についてではないが、イベントの３Ｄ環境をシミュレートすることの一部として、後の再生のために立体的な画像がキャプチャされたカメラ位置に関して、イベントの間に環境が正しく測定され得ることが望ましい。

概要

[0007] 環境の測定を行うための方法及び装置が記述される。さまざまな装置を使用してキャプチャされた環境情報は、処理されて結合される。いくつかの実施形態において、異なる時間、レート及び／又は解像度で環境情報をキャプチャするために、異なる装置が使用される。環境をマップするのに使用される環境情報の少なくともいくらかが、イベントの間にキャプチャされる。このような情報は、必ずしも全ての実施形態においてではないが、イベントの前にキャプチャされた環境情報と結合される。しかしながら、実施形態に依存して、単一の環境測定技術が使用され得るが、多くの実施形態において、環境情報、例えば、カメラ位置に対する深度情報とともに複数の環境測定技術が使用され、これは、環境情報の単一のソースが深度マップを生成するのに使用された場合に可能であり得るよりも、より信頼できてタイムリーな環境マップを生成するために結合される。

[0008] さまざまな実施形態において、環境情報は、１つ以上のソースから取得される。いくつかの実施形態において、イベントが使用される前に、ＬＩＤＡＲ測定から作成されたもののような静的な環境マップ又はモデルが使用される。ＬＩＤＡＲは、レーダの原理で動作するが、距離測定のために、レーザからの光を使用する検出システムである。実際のイベントの間に画像をキャプチャするためにカメラが置かれたカメラ位置について使用されることになるロケーションから行われたＬＩＤＡＲ測定から、又は、別のロケーションに基づいて行われるが既知のカメラ位置のロケーションについての情報を有する環境のモデルから、カメラ位置に対する環境の静的なマップが生成される。環境が占有されていない、又は、静的なマップを作るのに測定が使用された時から違ったふうに変更されていないと仮定すると、静的なマップは、多くのケースにおいて環境についての正確な距離情報を提供する。静的なマップは普通、空の（empty）環境に対応し、人、サイン、小道具等のようなオブジェクトがイベントのための環境に付加されることが多く、静的なマップにおいて示される構造がイベントのために除去されることは稀であるので、静的な深度マップにおいて示された距離は、最大距離であることが多い。したがって、静的なマップは、最大の距離情報を提供するために、及び、環境のスケール／サイズ全体に関する情報を提供するために時々使用され得る。

[0009] 静的なモデル情報に加えて、いくつかの実施形態において、環境測定は、イベントの間にキャプチャされた情報を使用して行われる。イベントの間の環境情報のキャプチャは、いくつかの実施形態において、深度情報が既知の技術を使用して取得され得る画像をキャプチャする１つ以上の光領域カメラの使用を伴う。いくつかの実施形態において、光領域カメラによってキャプチャされた画像から生成された画像と深度マップの両方を提供する光領域カメラが使用される。カメラはおそらく、いくつかの実施形態において、立体カメラの１つ以上の対も含むカメラリグに据え付けられ、又は組み込まれる。光領域カメラからの深度情報を生成する方法は知られており、いくつかの実施形態において使用される。例えば、光領域マイクロアレイの異なるレンズに対応するセンサ部分によってキャプチャされたエリア又はポイントに対応する画像データは、ポイント又はエリアに対する距離に関する情報を提供するように処理され得る。

[0010] 光領域カメラは、距離情報を提供するのに使用され得るイベントの間に画像を受動的に収集することができるという利点を有する。光領域カメラの使用の欠点は、これが普通、個々のキャプチャされた画像の解像度を効果的に低くするセンサ上のレンズアレイの使用により、標準のカメラのものよりも低い解像度を有することである。

[0011] 光領域カメラ又はカメラの画像に加えて、例えば、立体カメラ対を含む他のカメラによってキャプチャされた画像は、深度情報を提供するために処理されて使用され得る。これは、立体的な対のカメラが既知の距離で離れて間隔を空けられているので可能であり、キャプチャされた画像とともに、この情報は、いくつかの実施形態において、立体カメラ対におけるカメラによってキャプチャされた環境においてカメラからポイントへの距離を決定するのに使用され得る。カメラが、カメラのセンサ上のマイクロレンズアレイを使用しないので、深度情報は、深度が推定され得る環境のポイント又はロケーションの数に関して、立体的な対の個々のカメラによってキャプチャされた画像の画素数とおそらく同じ高さであるか、又は、ほぼ同じ高さである。

[0012] 立体カメラの出力は、いくつかの実施形態において、深度情報を生成するように処理される一方、多くのケースにおいて、光領域カメラの出力から取得された深度情報よりも信頼性が低いかもしれない。

[0013] いくつかの実施形態において、環境の静的なモデルは、最大距離情報を提供し、光領域カメラからの深度情報は、普通、静的モデルによって示される深度と等しい又はより低いが、さらにタイムリーであり、環境条件が変化するにつれてイベントの間に変わり得るような深度を示すより最新の深度情報を提供する。同様に、立体カメラ対又は複数の対によってキャプチャされた画像からの深度情報は、イベントの間にキャプチャされたタイムリーで利用可能な形態画像である傾向がある。

[0014] さまざまな実施形態において、異なるソースからの深度情報、例えば、イベントの前のＬＩＤＡＲ測定に基づき得る静的なモデル、１つ以上の光領域カメラからの深度情報、及び、立体的な画像から生成された深度情報は、結合され、例えば、調和される。調和プロセスは、異なる深度情報ソースの利点と、このような情報の利用可能性を考慮に入れて、さまざまな技術又は情報重み付け動作を伴い得る。

[0015] 例えば、１つの例示的な解決プロセスにおいて、イベントの前に環境の測定から取得されたＬＩＤＡＲベースの深度情報は、カメラ位置からの最大深度、例えば距離を決定するのに使用され、環境をモデリングするための付加的な深度情報の不在において使用される。

[0016] 深度情報が光領域カメラ又は光領域カメラのアレイから利用可能であるとき、それが進行中のイベントの間の環境における変化を反映できるように、環境深度マップを改良するために、深度情報は使用される。いくつかの実施形態において、光領域カメラによってキャプチャされた画像から取得された深度マップ情報を調和させることは、イベントの間の環境における対象の存在を反映するより短い深度を含むために、ＬＩＤＡＲベースの深度マップを改良することを含む。いくつかのケースにおいて、光領域深度測定単独に、あるいは、静的な又はＬＩＤＡＲ深度マップからの情報との組み合わせに基づいた環境深度マップを調和させることは、光領域カメラの出力からの深度情報が知られているポイント間の深度における変化をさらに明確化するために、深度情報を使用することを含む。この方法において、光領域からの利用可能な情報のより高い数のポイント及び／又は立体的な画像が、光領域カメラ又はカメラアレイの出力に基づいた深度マップを改良するのに使用され得る。

[0017] 深度マップに基づいて、環境の３Ｄモデルは生成され得る。モデルは、キャプチャされた画像が適用され得る環境の格子マップの形態であり得る。このようなマップへの画像の用途は、画像を、それが環境モデルのほうにラップされたかのように適用する効果を用途が有するので、時々、ラッピングと呼ばれる。

[0018] ここで記述された深度マップ生成技術を使用することによって、環境におけるアイテムがイベントの間に動く又は変更されるかもしれない進行中のコンサート、スポーツイベント、演劇等のような動的な環境の比較的正確な深度マップが生成され得る。更新された深度情報を通信することによって、例えば、環境の３Ｄモデル、又は、環境モデルに対する更新の形態において、改善された３Ｄシミュレーションは、達成されることができ、これは、次に、向上された３Ｄ再生及び／又はビューイング体験のために使用されることができる。環境においてキャプチャされた画像がシミュレートされることになる環境モデルは、環境モデルが静的であるケースにおけるよりも、実際の環境をさらに正確に反映するので、３Ｄ環境シミュレーションにおける改善は、静的な深度マップを使用するシステムを通して達成されることができる。

[0019] 立体カメラによって画像がキャプチャされる環境に対する変化が生じるにつれて、このような変化は、キャプチャされた画像を表示するための再生装置によって使用される環境のモデルにおいて容易に、及びタイムリーに反映され得ることが正しく認識されるべきである。

[0020] 図１は、カメラリグを較正するために使用され得る較正ターゲットとともに１つの実施形態にしたがって実現された例示的なカメラリグを図示する。 [0021] 図２は、例えば、三対のカメラを有するカメラリグを図示し、例えば、３対のカメラは、立体的な画像データをキャプチャし、カメラ装具において据え付けられる。 [0022] 図３は、いくつかの例示的な実施形態により実現された例示的な保護カバーを有する例示的なカメラリグを図示する。 [0023] 図４は、部分的に分解された形態において、明確性のために示された、カメラリグのさまざまな構成要素を有する例示的な実施形態により実現された、別の例示的なカメラリグを図示する。 [0024] 図５は、立体オーディオをキャプチャするために使用されるマイクロフォンを含む耳形状の装置を含む、音声キャプチャ装置とともに、その上に据え付けられたカメラを有する図４のカメラリグを示す。 [0025] 図６は、いくつかの例示的な実施形態により実現された、例示的なカメラリグのさまざまなビューを図示する。 [0025] 図７は、いくつかの例示的な実施形態により実現された、例示的なカメラリグのさまざまなビューを図示する。 [0025] 図８は、いくつかの例示的な実施形態により実現された、例示的なカメラリグのさまざまなビューを図示する。 [0026] 図９は、いくつかの例示的な実施形態により実現された、さらに別の例示的なカメラリグを図示する。 [0027] 図１０は、いくつかの実施形態による、図１〜図９において示されるカメラリグのような本発明の例示的なカメラリグにおいて使用され得る、カメラのアレイの例示的な配置の正面図を図示する。 [0028] 図１１は、本発明のカメラリグのいずれかにおいて使用され得るカメラのアレイのまた別の例示的な配置の正面図を図示する。 [0029] 図１２Ａは、例示的な実施形態による、画像システムを作動する例示的な方法のフローチャートを図示する、図１２の第１の部分である。 [0030] 図１２Ｂは、画像システムを作動する例示的な方法のフローチャートを図示する、図１２の第２の部分である。 [0031] 図１２Ａと図１２Ｂが組み合わせにおいて、図１２をどのように備えるかを示す。 [0032] 図１３は、図１〜図９において示されたカメラリグにおいて使用され得る例示的な光領域カメラを図示する。 [0033] 図１４は、本発明により実現される例示的な処理システムを図示する。

詳細な説明

[0034] 本発明は、パノラマイメージの分野に関するものであり、より詳細には、幅広い範囲の用途のための重さと電力要件を満たしながら、小さなサイズの装置においてリーズナブルな費用で最小数のカメラを使用する、高解像度、高ダイナミックレンジ、高フレームレートステレオスコープ、３６０度パノラマビデオをキャプチャするのに適した装置に関するものである。

[0035] ステレオスコープ、３６０度パノラマビデオコンテンツは、仮想現実表示における使用のために、益々需要がある。最終画像明確性のために重要である、ステレオスコープ、４Ｋ又はより高い解像度を有する３６０度パノラマビデオコンテンツ、低光コンテンツを記録するために重要である高ダイナミックレンジ、（スポーツのような）速く動くコンテンツを詳細に記録するために重要である高フレームレートを作成するために、プロフェッショナル級のアレイ、大きなセンサ、適切な品質の映画カメラ又は他のカメラが必要とされることが多い。

[0036] ステレオスコープ仮想現実表示においてビューするためのステレオスコープコンテンツをキャプチャするために、カメラアレイが有用であるために、ビューアの頭部がカメラとともに同じ場所に配置された場合、カメラアレイは、ビューアが見たものに結果が近似するようにコンテンツを得るべきである。特に、ステレオスコープカメラの対は、それらの軸間（inter-axial）間の間隔が、６３ｍｍの受容された人間モデル平均からの受容可能なデルタ内にあるように構成されるべきである。さらに、カメラレンズの入射瞳に対するパノラマアレイの中心ポイントからの距離（別称ノーダルオフセット）は、１０１ｍｍの受容された人間モデル平均からの受け入れ可能なデルタ内にあるように構成されるべきである。

[0037] カメラアレイが、それがコンパクトであって邪魔にならないようにイベントと多くの観客を集めるスポーツをキャプチャするのに使用されるために、それは、幅広いさまざまなロケーションにおいて配備され、輸送が要求されるときに程よいサイズの容器で輸送されるのを可能にする、比較的小さな物理的低面積で構築されるべきである。

[0038] カメラアレイは、アレイの最小画像距離が小さくなるよう、例えば、可能な限り小さくなるように設計されるべきであり、これは、「デッドゾーン」を最小限にする。このとき、シーン構成要素は、それらが隣接するカメラのビューの領域外にあるので、キャプチャされない。

[0039] 較正ターゲットを位置付けることによって光学的配列によってカメラアレイが較正されれば、これは有利であるが、最も高い光学的歪みが生じる傾向がある（ビューのレンズ角は交差し、レンズの最大の歪みが生じる）。最も効果的な較正ターゲット位置付けを促進するために、ターゲットロケーションは、いくつかの実施形態において、リグ設計から形式的に決定される。

[0040] 図１は、いくつかの実施形態において使用される例示的なカメラコンフィギュレーション１００を示す。いくつかの実施形態において使用されるように示されたカメラ対配置のより良い理解を可能にするため、図４及び図５において示されるサポート構造は図１において示されない。

[0041] 全てではないがいくつかの実施形態において、図１の例のように、３つのカメラ対が使用されるが、カメラアレイ、例えば、リグのカメラ位置は、同時の３６０度の立体的なビデオをサポートするのに使用されるかもしれない合計６つのカメラのうちの２つのみで占められる。カメラリグ又はアセンブリが、リグにおいて据え付けられ得る６つのカメラ全てよりも少ないもので構成されたとき、リグは、依然として高い値、リアルタイムでの前景１８０度のシーン構成要素をキャプチャすることが可能であり、一方、例えば、前景画像がキャプチャされないときには、リグを回転することによって、低い値の静的な画像、背景１８０度のシーン要素を手動でキャプチャすることができる。例えば、いくつかの実施形態において、２つのカメラアレイが、カメラに対して０度位置におけるプレイの領域でサッカーの試合をキャプチャするのに使用される場合、アレイは、ノーダルポイントの周囲を、１２０度と２４０度位置に手動で回転される。これは、スポーツの試合又はマッチのフィールド上のアクション、例えば、前景が、リアルタイムでキャプチャされることを可能にし、また、サイドライン及び外野席、例えば、背景エリアが、正面部分に対するリアルタイムの立体ビデオと左及び右後方位置に対する静的画像を含むハイブリッドパノラマを生成するのに使用されるために、立体的な静的画像としてキャプチャされることを可能にする。この方法において、リグは、３６０のシーンエリアの異なるビューがキャプチャされたときに、そのノーダル軸、例えば、時間において異なるポイント間の垂直な中心ポイントの周囲を回転されるカメラリグに合わせて、時間において異なるポイントでキャプチャされた３６０度のビューのいくつかの部分で、３６０度ビューをキャプチャするのに使用され得る。代替的に、単一のカメラは、第２及び第３のカメラ対据え付け位置において据え付けられ得、モノ（非立体的）画像コンテンツは、これらのエリアについてキャプチャされる。

[0042] カメラ費用が問題ではない他のケースにおいて、２つよりも多いカメラが、図１の例において６つまでカメラを保持するリグで、リグにおける各位置で据え付けられ得る。この方法で、費用効果カメラ配置は、キャプチャされることになる性能、あるいは、例えば６つといった多数のカメラを輸送するためのユーザの必要性又は能力、又は６よりも少ない、例えば２つのように６つよりも少ないカメラを輸送するためのユーザの能力に依存して達成され得る。いくつかの実施形態において、環境深度マップは、カメラリグ１００においてカメラによってキャプチャされる画像から生成される。

[0043] 図１は、較正ターゲット１１５とともに、時々、リグ又はカメラアレイとも呼ばれる６つのカメラアセンブリ１００を図示する。図１において図示されたカメラリグ１００は、カメラを示された位置において保つ（図４と図５において示された）サポート構造、合計で６つのカメラ（１０１、１０３）、（１０５、１０７）、（１０９、１１１）からなる立体カメラの３対１０２、１０４、１０６を含む。サポート構造は、カメラをサポートして板の上でカメラが据え付けられる板が安全にされ得る据え付け板と呼ばれるベース７２０も含む（図４において示される構成要素７２０を参照）。サポート構造は、プラスチック、金属、又は、グラファイトやファイバーグラスのような複合材料からできていてもよく、カメラ間の間隔と関係性を示すのにも使用される三角形を形成する線によって表される。点線が交差する中心ポイントは、必ずしも全てではないがいくつかの実施形態において、カメラ対１０２、１０４、１０６が周囲を回転する中心ノーダルポイントを表わす。中心ノーダルポイントは、いくつかの実施形態において、例えば、三角線によって表されるカメラサポートフレームが周囲を回転する三脚ベースの鋼バー又はスレッデッド中心マウントに対応する。サポートフレームは、図４及び図５において示されるように、カメラが据え付けられる又は三脚構造である、プラスチックハウジングであり得る。

[0044] 図１において、カメラ１０２、１０４、１０６の各対は、異なるカメラ対位置に対応する。第１のカメラ対１０２は、前向き位置に向けて０度に対応し、メインアクションが起こる前面をカバーするように普通意図される。この位置は、普通、関心があるメインエリア、例えば、スポーツの試合が行われるフィールド、舞台、又は、メインアクション／パフォーマンスが起こりそうである他の何らかのエリアに対応する。第２のカメラ対１０４は、１２０度のカメラ位置に対応する（前向きからおおよそ１２０度の）右後方ビューイングエリアをキャプチャするのに使用される。第３のカメラ対１０６は、２４０度ビューイング位置（前向きからおおよそ２４０度の）と、左後方ビューイングエリアに対応する。３つのカメラ位置は、１２０度離れていることに着目されたい。

[0045] 各カメラビューイング位置は画像をキャプチャするのに使用される左カメラと、右カメラを含む各カメラ対で、図１の実施形態における１つのカメラ対を含む。左カメラは、左目画像として呼ばれることがあるものをキャプチャし、右カメラは、右目画像として呼ばれることがあるものをキャプチャする。画像は、ビューシーケンスの一部であったり、１回以上でキャプチャされる静止画であり得る。普通、カメラ対１０２に対応する少なくとも正面カメラ位置は、高品質ビデオカメラで占められる。他のカメラ位置は、高品質ビデオカメラで占められてもよく、低品質ビデオカメラ又は単一のカメラは、スチール又はモノ画像をキャプチャするのに使用される。いくつかの実施形態において、第２及び第３のカメラ実施形態は、左が未実装であり、カメラが据え付けられたサポート板は、第１のカメラ対１０２が異なる時間に３つのカメラ位置全てに対応する画像をキャプチャするのを可能にするように、回転される。いくつかのこのような実施形態において、左と右後方の画像は、キャプチャされて保管され、その後、前方のカメラ位置のビデオは、イベントの間にキャプチャされる。キャプチャされた画像は、例えば、１つ以上の再生装置に対してイベントがまだ進行中である間に、リアルタイムで符号化されてストリームされる。

[0046] 図１において示される第１のカメラ対１０２は、左カメラ１０１と右カメラ１０３を含む。左カメラは、第１のカメラに固定された第１のレンズアセンブリ１２０を有し、右カメラ１０３は、右カメラ１０３に固定された第２のレンズアセンブリを有する。レンズアセンブリ１２０、１２０’は、キャプチャされることになるビューの幅広い角度の領域を可能にするレンズを含む。いくつかの実施形態において、各レンズアセンブリ１２０、１２０’は、魚眼レンズを含む。したがって、カメラ１０２、１０３のそれぞれ、ビューの１８０度領域又はおおよそ１８０度をキャプチャできる。いくつかの実施形態において、１８０度未満がキャプチャされるが、いくつかの実施形態において、隣接するカメラ対からキャプチャされた画像には、依然として少なくともいくらかのオーバーラップがある。図１の実施形態において、カメラ対は、第１（０度）、第２（１２０度）、及び、第３（２４０度）のカメラ据え付け位置のそれぞれに位置付けられ、各対は、環境の少なくとも１２０度又はより多くをキャプチャするが、多くのケースにおいて、各カメラ対は、環境の１８０度又は、おおよそ１８０度をキャプチャする。

[0047] 第２及び第３のカメラ対１０４、１０６は、前面０度に関して、第１のカメラ対１０２と同じ又は同様であるが、１２０度と２４０度のカメラ据え付け位置で位置付けられる。第２のカメラ対１０４は、左カメラ１０５と左レンズアセンブリ１２２と、右カメラ１０７と、右カメラレンズアセンブリ１２２’とを含む。第３のカメラ対１０６は、左カメラ１０９と、左レンズアセンブリ１２４と、右カメラ１１１と、右カメラレンズアセンブリ１２４’とを含む。

[0048] 図１において、Ｄは、カメラ１０１、１０３の第１の１０２の立体的な対の軸間の距離を表わす。図１例において、Ｄは、平均的な人間の左目と右目の瞳孔間の距離と同じ又は同様である１１７ｍｍである。図１における破線１５０は、右カメラレンズ１２０’の入射瞳に対するパノラマアレイの中心ポイントからの距離（別称ノーダルオフセット）を図示する。図１に対応する１つの実施形態において、参照番号１５０によって示される例示的な距離は、３１５ｍｍであるが、他の距離が可能である。

[0049] １つの特定の実施形態において、カメラリグ１００の低面積は、比較的小さい。このような小さなサイズは、カメラリグが聴衆の中、例えば、ファンや観客が普通位置付けられるか位置されるかもしれない着席位置に置かれることになるのを可能にする。したがって、いくつかの実施形態において、ビューアが聴衆の一員である感覚を有することができるように、このような効果が望まれる場合、カメラリグは、聴衆エリア中に置かれる。いくつかの実施形態の底面積は、いくつかの実施形態において中心サポートロッドを含むサポート構造が据え付けられるか又はサポートタワーが位置付けられるベースのサイズに対応する。いくつかの実施形態におけるカメラリグは、カメラの３対間の中心ポイントに対応するベースの中心ポイントの周囲を回転できることが正しく認識されるべきである。他の実施形態において、カメラは固定されて、カメラアレイの中心の周囲を回転しない。

[0050] カメラリグ１００は、比較的近い対象とともに、異なる対象をキャプチャすることができる。１つの特有の実施形態において、カメラアレイの最小の画像距離は６４９ｍｍであるが、他の距離が可能であり、この距離は、決して重要ではない。

[0051] カメラアセンブリの中心から第１の及び第３のカメラ部分のビューの交差ポイント１５１への距離は、第１及び第２のカメラ対によってキャプチャされた画像を較正するために使用され得る例示的な較正距離を表わす。１つの特有の例示的な実施形態において、ビュー交差のレンズ角と、レンズの最大の歪みが生じる最適な較正距離は、７４３ｍｍである。ターゲット１１５は、最大の歪みのエリアにおいて、又は、わずかにそこを超えて位置付けられたカメラ対からの既知の距離に置かれ得ることに着目されたい。較正ターゲットは、既知の固定された較正パターンを含む。較正ターゲットが、カメラ対のカメラによってキャプチャされた画像のサイズを較正するために使用されるか使用されてもよい。較正ターゲット１１５の画像をキャプチャするカメラに対して較正ターゲットのサイズと位置が知られているので、このような較正は可能である。

[0052] 図２は、図１において示されたカメラアレイ１００のさらに詳細なダイヤグラム２００である。カメラリグ１００は、６つのカメラで再び示されるが、いくつかの実施形態において、カメラリグ１００は、２つのカメラ、例えば、カメラ１０１と１０３を含むカメラ対１０２のみで占められる。示されるように、カメラ対据え付け位置のそれぞれの間に１２０度の間隔がある。各カメラ対の間の中心が、カメラ据え付け位置の方向に対応する場合の例を考慮する。このようなケースにおいて、第１のカメラ据え付け位置は０度に対応し、第２のカメラ据え付け位置は１２０度に対応し、第３のカメラ据え付け位置は２４０度に対応する。したがって、各カメラ据え付け位置は、１２０度離される。これは、各カメラ対１０２、１０４、１０６の中心を通して延長する中心線が延長されたか、線の間の角が測定された場合に見られ得る。

[0053] 図２の例において、カメラの対１０２、１０４、１０６は、いくつかの実施形態において、カメラリグベースの位置を変える必要なく、異なる時間でキャプチャされることになる異なるビューを可能にするように、カメラリグの中心ポイントの周囲を回転できる。すなわち、カメラは、リグの中心サポートの周囲を回転され得、そして、カメラは２つのカメラのみで占められるが、図２において示されるリグを使用した３６０度のシーンキャプチャを考慮して、カメラは異なる時間異なるシーンをキャプチャすることができるようにされ得る。このようなコンフィギュレーションは、特に、立体カメラの費用を考慮すると、費用の観点から望ましい。スポーツイベントや他のイベントの間のメインアクションを含む正面シーンが生じ得る時間とは異なる時間で、同じビューのポイントからキャプチャされた背景を示すことが所望され得るような多くのアプリケーションに対してうまく適する。例えば、イベントの間に、メインイベントの間に示さないようにすることが好ましい対象がカメラの後ろに置かれ得ることを考慮するイベント。このようなシナリオにおいて、後方画像は、時々、メインイベントの前にキャプチャされ、画像データの３６０度セットを提供するために、メインイベントのリアルタイムでキャプチャされた画像とともに入手可能にされる。

[0054] 図３は、図１及び図２のリグと同じか又は同様であるがサポート三脚はなく、カメラ対に渡って置かれたプラスチックカバー３５０を有する例示的なカメラリグ３００を示す。プラスチックカバー３５０は、例えば、三脚上に置かれたときに、カメラリグ３００を持ち上げる又は回転するのに使用され得るハンドル３１０、３１２、３１４を含む。カメラリグ３００は、３対のカメラで示され、レンズアセンブリ３２０、３２０’を有するカメラ３０１、３０３を含む第１のカメラ対３０２、レンズアセンブリ３２２、３２２’を有するカメラを含む第２のカメラ対３０４、及び、レンズアセンブリ３２４、３２４’を有するカメラを含む第３のカメラ対３０６を含む。プラスチックカバー３５０は、図４において示されるように、１つ以上のスロットとねじ穴を有する平板として実現され得る据え付けプラットフォーム３１６に固定される。プラスチックカバー３５０は、カバー３５０の容易な取り外し又は取り付けと、カメラ対のカメラへの容易なアクセスを可能にするために、手によって取り除かれるか又は締められ得るナット又はねじ３３０、３３１でベースに固定される。図３に示されるリグ３００中は、６つのカメラが含まれるが、単一のカメラ対が含まれてもよく、及び／又は、カメラ対が据え付けられない他のカメラ据え付け位置に位置付けられた１つ以上の個々のカメラを有する単一のカメラ対が使用されてもよい。

[0055] 図４は、どのようにコンポーネントがアセンブルされるかについてのよりよいビューを可能にするために、部分的に分解された形態で示されたカメラリグアセンブリ４００の詳細なダイヤグラムである。カメラリグ４００は、１つの例示的な実施形態により実現され、図１及び図２において示されるカメラコンフィギュレーションを有し得る。図４において示される例において、カメラリグ４００のさまざまな構成要素が、明確性と詳細のために、分解された形態で示される。図４から正しく認識され得るように、カメラリグ４００は、カメラ７０２、７０４及び７０６の３対、例えば、立体カメラを含み、これらは、カメラリグ４００のサポート構造７２０上に据え付けられ得る。カメラ７０２の第１の対は、カメラ７５０と７５０’を含む。カメラ７０４の第２の対は、カメラ７５２、７５２’を含み、カメラ７０６の第３の対は、カメラ７５４、７５４’を含む。カメラ７５０、７５０’のレンズ７０１、７０１’は、図７において見られる。構成要素７０１と７０１’がレンズとして記述されたが、いくつかの実施形態において、これらは、カメラ７５０、７５０に固定されるレンズアセンブリであり、各レンズアセンブリは、摩擦ばめ（friction fit）又はツイストロック接続（twist lock connection）を介して、カメラ７５０、７５０’に固定される鏡胴（lens barrel）に位置付けられた複数のレンズを含む。

[0056] いくつかの実施形態において、カメラ７０２、７０４及び７０６の３つの対（６つのカメラ）は、それぞれのカメラ対据え付け板７１０、７１２及び７１４を介して、サポート構造７２０上に据え付けられる。サポート構造７２０は、スロット付き据え付け板７２０の形態にあってもよい。スロット７３８は、板７２０中のスロットのうちのいくつかの例である。スロットは、重みを低減するが、カメラ対を、又は、いくつかのケースにおいて単一のカメラをサポートするのに使用されるカメラ据え付け板７１０、７１２、７１４の位置の調節も可能にする。

[0057] サポート構造７２０は、隣接する据え付け位置の方向から異なる方向オフセット１２０度に対応する各据え付け位置を有する立体カメラ対７０２、７０４、７０６を据え付けるための３つの異なる据え付け位置を含む。説明された図７の実施形態において、立体カメラ７０２の第１の対は、３つの据え付け位置のうちの第１のもの、例えば、前向き位置に据え付けられ、正面ビューイングエリアに対応する。立体カメラ７０４の第２の対７０４は、３つの据え付け位置の第２のもの、例えば、正面位置に関して１２０度時計回りで回転する背景右位置に据え付けられ、異なる右後方ビューイングエリアに対応する。立体カメラの第３の対７０６は、３つの据え付け位置の第３のもの、例えば、正面位置に関して２４０度時計回りに回転する背景左位置に据え付けられ、左後方ビューイングエリアに対応する。各カメラ位置におけるカメラは、少なくとも１２０のビューイングエリアをキャプチャするが、多くのケースにおいて、少なくとも１８０度ビューイングエリアをキャプチャしてもよく、その結果、いくつかの実施形態では切り取られるようなオーバーラップ部分のうちのいくらかを使って、３６０度ビューへの画像の結合を可能にする、キャプチャされた画像のオーバーラップを生ずる。

[0058] 第１のカメラ対据え付け板７１０は、スレッデッドねじ穴７４１、７４１’、７４１’’、及び、７４１’’を含み、これらを通して、ねじ７０４、７４０’、７４０’’、７４０’’は、それぞれロット７３８及び７３８’を通して、サポート構造７２０に対する板７１０を固定するために挿入され得る。スロットは、サポート板７１０の位置の調節を可能にする。

[0059] 第１のカメラ対のカメラ７５０、７５０’は、板７０３、７０３’の底を通過してカメラ７５０、７５０’の底におけるスレッデッド穴（threaded holes）に延長するねじを使用して、個々の対応するカメラ据え付け板７０３、７０３’に固定される。いったん個々の据え付け板７０３、７０３’に固定されると、カメラ７５０、７５０’と据え付け板７９３、７０３’は、ねじを使用してカメラ対据え付け板７１０に固定され得る。ねじ７２５、７２５’、７２５’’ （完全に見えていない）及び７２５’’’は、カメラ板７０３とカメラ７５０をカメラ対据え付け板７１０に固定するために、対応するスロット７２４を通って、カメラ対据え付け板７１０のスレッデッド穴７４５、７４５’、７４５’’及び７４５’’’に通過する。同様にカメラ板７０３’とカメラ７５０’をカメラ対据え付け板７１０に固定するために、ねじ７２７、７２７’（完全に見えていない）、７２７’’及び７２７’’は、対応するスロット７２６、７２６’、７２６’’及び７２６’’’を通って、対応するカメラ対据え付け板７１０のスレッデッド穴７４６、７４６’、７４６’’及び７４６’’’に通過する。

[0060] サポート構造７２０は、サポート構造を通過する物（object）が、近くを動くときにサポート構造上で捉えられるリスクを低減するために据え付けられたスタンドオフ・ローラ７３２、７３２’を有する。これは、サポート構造７２０へのダメージのリスクを低減する。さらに、ローラ後ろの内側の空洞エリア(hollow area)を有することによって、ローラへの衝撃は、サポート構造のメイン部分にあまり伝わらないようになる。すなわち、ローラ７３２、７３２’の後ろの空間は、カメラ据え付け板を固定するために使用されるスロットを含むサポート構造のメイン部分にダメージを与えることなく、スタンドオフ・ローラ７３２’が据え付けられるサポート構造のバー部分の変形を可能にする。

[0061] さまざまな実施形態において、カメラリグ４００は、例えば、ベースの中心からサポート板７２０に延長するシャフトやスレッデッドロッドによって、サポート構造７２０が回転可能に据え付けられたベース７２２を含む。したがって、さまざまな実施形態において、サポート構造７２０上のカメラアセンブリは、ベース７２２の中心を通過する軸の周囲を３６０度回転され得る。いくつかの実施形態において、ベース７２２は、三脚や別の据え付け装置の一部であり得る。三脚は、チューブの対（７４２、７４２’）、（７４２’’及び７４２’’）によって形成された脚とともに、ビューイング角度に起因して、図４において見えない付加的な脚を含む。脚は、ヒンジによってベース７２２に固定され、輸送のために保持され得る。サポート構造は、プラスチック、金属、又は、グラファイトやファイバーグラスのような複合材料、又は、これらのいくつかの組み合わせからできていてもよい。カメラ対は、中心ポイントの周囲を回転され、いくつかの実施形態において、中心ノーダルポイントと呼ばれることもある。

[0062] 図４において示されるアセンブリ４００は、個々のカメラ据え付け板をカメラ対に固定するねじを緩めて、その後、ねじを再び締める前にカメラ位置を調節することによって、個々のカメラの位置がトップから調節されるのを可能にする。カメラ対の位置は、サポート構造７２０の底側からアクセス可能なねじを緩めた後にカメラ対据え付け板を動かすことと、板を動かして、その後ねじを再び締めることによって、調節され得る。したがって、カメラ対の一般的な位置と方向は、サポート板７２０におけるスロットによって規定され、位置と方向は、カメラリグが使用されることになる領域においてサポート構造７２０にカメラが固定される間、所望のカメラ配列を達成するためのカメラ較正プロセスの一部として細かく調節され得る。

[0063] 図５において、図４において使用されたのと同じ参照番号は、同じ構成要素を指す。図５は、カメラが所望の位置に調節された後に、カメラの剛性と安定性を増加するために、カメラ対のトップに付加された、付加的な安定化板５０２、５０２’、５０４、５０４’、５０６と、安定化板接合バー５０３、５０５、５０７、５０９、５１１、５１３を有するアセンブリされた形態の、例示的なカメラリグ４００を示す図５００を図示する。

[0064] 図５００において、カメラ対７０２、７０４、７０６は、図示された図面において見えているカメラ対据え付け板７１０の少なくとも１つを有するサポート構造７２０上に据え付けられているのがわかる。図４に関してすでに上述したカメラリグ４００の構成要素に加えて、図５００において、カメラ表面上に据え付けられた、２つのシミュレートされた耳７３０、７３２も見られる。これらのシミュレートされた耳７３０、７３２は、人間の耳を模倣しており、いくつかの実施形態において、人間の耳の形状で成形されたシリコンやプラスチックからできている。模倣された耳７３０、７３２は、平均的な人の人間の耳の間の間隔と等しい距離で、又は、おおよそ等しい距離で、互いに離された２つの耳を有するマイクロフォンを含む。模倣された耳７３０、７３２において据え付けられたマイクロフォンは、前向きカメラ対７０２上に据え付けられるが、代替的に、サポート構造、例えば、プラットフォーム７２０上に据え付けられ得る。人間の耳が、人間の頭部における目の前面と直角をなして位置されるのと同様の方法で、模倣された耳７３０、７３２は、カメラ対７０２の前面と直角をなして位置される。模倣された耳７３０、７３２の側面における穴は、模倣された耳に対するオーディオ／音声エントリポイントとして動作し、模倣された耳と穴は、人間の耳が人間の耳に含まれる鼓膜にオーディオ音声を方向付けるのと同様に、模倣された耳のそれぞれの中に据え付けられたマイクロフォンに向けてオーディオを方向付けるために協働して動作する。左及び右の模倣された耳７３０、７３２におけるマイクロフォンは、もし、人間がカメラリグの位置に位置付けられた場合、カメラリグ５００のロケーションにいる人間が、人間の左及び右耳を介して知覚するものと同様の立体音声キャプチャを提供する。模倣耳において据え付けられたマイクロフォンのオーディオ入力は、人間の耳のセンサ部分が人間の顔とやや直角をなしているのと同じように、前向きカメラ７５０、７５０’の外側レンズの面と直角をなす。模倣耳は、ちょうど人間の耳が人間の鼓膜に向けて音波を方向付けるように、音声をマイクロフォンに向けて方向付ける。

[0065] 模倣された耳７３０、７３０は、サポートバー５１０上に据え付けられ、これは、音声をキャプチャするためのマイクロフォンを含む。オーディオキャプチャシステム７３０、７３２、８１０は、ハンドル５１５を介して動かされ得る移動可能なアーム５１３によってサポートされる。

[0066] 図４と図５は、３つの立体カメラ対を有する例示的なカメラリグの１つのコンフィギュレーションを図示するものであるが、他の変形も可能であることが正しく認識されるべきである。例えば、１つのインプリメンテーションにおいて、カメラリグ４００は、異なる時間にキャプチャされるための異なる１２０度のビューを可能にするように、カメラリグの中心ポイントの周囲を回転できる立体カメラの単一の対を含む。したがって、単一のカメラ対は、サポート構造上に据え付けられて、リグの中心サポートの周囲を回転され、そして、３６０度シーンキャプチャを可能にする異なる時間で異なるシーンをキャプチャするのを可能にされ得る。

[0067] 他の実施形態において、カメラリグ４００は、単一の立体カメラ対７０２と、立体カメラの対のために普通使用される第２及び第３の位置のそれぞれにおいて据え付けられた１つのカメラを含む。このような実施形態において、単一のカメラは、第２のカメラ対７０４の代わりにリグに据え付けられ、別の単一のカメラがカメラ対７０６の代わりにカメラリグに据え付けられる。したがって、このような実施形態において、第２のカメラ対７０４は、単一のカメラを代表しているとして考えられ得、カメラ対７０６は、付加的な単一のカメラを説明するとして考えられ得る。

[0068] 図６〜図９は、いくつかの例示的な実施形態により実現される他の例示的なカメラリグのさまざまなビューを図示する。

[0069] 図６は、いくつかの例示的な実施形態により実現される例示的なカメラリグ８０１の１つのビューを示す図８００を図示する。カメラのアレイは、これらのうちのいくつかが立体カメラであるカメラリグ８０１中に含まれる。図８００における、カメラリグ８０１の図示されたビューにおいて、カメラの同様の配列が、図面８００において完全に見えないカメラリグ８０１の（異なる面としても呼ばれる）他の側面上に存在するが、カメラリグ８０１の一部分のみは見えている。全てではないがいくつかの実施形態において、カメラリグ８０１は、トッププラスチックボディ又はカバー８０５と、底ベースカバー８４２によって固定された１３のカメラを含む。いくつかの実施形態８において、これらの１３のカメラは、対におけるカメラ８０４、８０６、８１２及び８１４のような立体カメラである一方、他の多くのカメラは、図面８００において見えているカメラ８０２と８１０、及び、図面８００において完全ではないが部分的に見えているカメラ８１５と８２０のような光領域カメラである。さまざまな他のカメラの組み合わせが可能である。いくつかの実施形態において、カメラ８２５はまた、関心がある環境のトップ範囲の画像をキャプチャするために、カメラリグ８０１のトップ部分、例えば、カメラリグ８０１のトップ面８４０に据え付けられる。プラスチックボディ／カバー８０５は、カメラリグ８０１を持ち上げる又は回転するのに使用され得るハンドル８１１、８１３、８１７を含む。

[0070] いくつかの実施形態において、カメラリグ８０１は、カメラリグ８０１の各より長い側面上で立体カメラ対を形成する１つの光領域カメラ(例えば、カメラ８０２）と、２つの他のカメラ（例えば、カメラ８０４、８０６）を含む。いくつかのこのような実施形態において、４つのより長い各側面（４つの側面８３０、８３２、８３４及び８３６としても呼ばれる）があり、より長い側面のそれぞれは１つの光領域カメラと１つの立体カメラを有しており、例えば、図８００において、左側に１つのより長い側面８３６上に光領域カメラ８０２と立体カメラ対８０４、８０６がある一方、右側に別のより長い側面８３０上に別の光領域カメラ８１０と立体カメラ対８１２、８１４があることが見られる。他の２つの側面は、図面８００には完全に示されていないが、それらは、図８においてさらに詳細に示される。いくつかの実施形態において、カメラの少なくともいくつか、例えば、立体カメラと光領域カメラは、カメラリグ８０１において魚眼レンズを使用する。さまざまな実施形態において、カメラリグ８０１におけるカメラのそれぞれは、対象によって引き起こされ得る物理的衝撃及び／又はダメージに対して、カメラ及び／又はレンズを保護するために対応するレンズ／カメラガードによって保護される。例えば、カメラ８０２、８０４及び８０６は、ガード８４５、８４７及び８４９によってそれぞれ保護される。同様に、カメラ８１０、８１２及び８１４は、ガード８５０、８５２及び８５４によってそれぞれ保護される。

[0071] ４つのそれぞれの側面８３０、８３２、８３４及び８３６上の立体カメラ対と光領域カメラに加えて、いくつかの実施形態において、カメラリグ８０１は、例えば、カメラリグ８０１のトップ面８４０上で、閉じられた環境のケースにおいて、例えば空又は別の天井内張り表面に向かうように、上向きに垂直の方向に面しているカメラ８２５をさらに含む。いくつかのこのような実施形態において、カメラリグ８０１のトップ面上でのカメラ８２５は、光領域カメラである。図面８００において示されないが、他のいくつかの実施形態において、カメラリグ８０１のトップ面８４０はまた、カメラ８２５に加えて、左及び右目画像をキャプチャするための別の立体カメラ対を含む。通常の状況において、カメラ８２５によってキャプチャされた、例えば、スタジアム、劇場、コンサートホール等の３６０度環境の上部半球（top hemisphere）（空部分としても呼ばれる）は、いくつかのケースにおいてアクションを含み得ない、及び／又は、静的であるままであり得、他の環境部分がリグ８０１上で他のカメラによってキャプチャされるのと同じレートで、空部分をキャプチャすることが重要である、又は、望ましいかもしれない。

[0072] １つの例示的なカメラアレイ配置が示され、カメラリグ８０１に関して上で議論されたが、いくつかの他のインプリメンテーションにおいて、カメラリグ８０１の４つの面８３０、８３２、８３４、８３６上の立体カメラの対（例えば、カメラ８０４、８０６、及び、８１２、８１４）のトップ上に配置された（例えば、カメラ８０２と８１０のような）ただ単一の光領域カメラの代わりに、カメラリグ８０１は、立体カメラ対で配置された光領域カメラのアレイを含む。例えば、いくつかの実施形態において、カメラリグ８０１のより長い側面のそれぞれの上に、立体カメラ対のトップ上に配置された３つの光領域カメラがある。別の実施形態において、カメラリグ８０１のより長い側面のそれぞれの上に、例えば、立体カメラ対のトップ上に配置された３つの光領域カメラの２つの列で、立体カメラ対のトップに配置された６つの光領域カメラがある。このような変形のいくつかは、図１２〜図１３に関して議論される。さらに別の変形において、図面８００において示されたタイプのカメラリグはまた、図８において示された水平方向においてポイントされたカメラを有する４つの面８３０、８３２、８３４、８３６の代わりに、水平方向においてポイントするカメラを有するカメラリグの３つの面があるように実現され得る。

[0073] いくつかの実施形態において、カメラリグ８０１は、これが垂直軸の周囲を回転され得るように、サポート構造上に据え付けられ得る。さまざまな実施形態において、カメラリグ８０１は、例えば、スタジアム、観客席、又は、キャプチャされるためのイベントが開催されている別の場所のような関心がある環境において配備され得る。いくつかの実施形態において、カメラリグ８０１の光領域カメラは、関心がある環境の画像、例えば、関心がある３６０度のシーンエリアをキャプチャして、３Ｄ環境をシミュレートして立体的な画像コンテンツを表示する際に使用され得る深度マップを生成するのに使用される。

[0074] 図７は、さらなる明確性及び詳細のために分解された形態においてカメラリグ８０１のいくつかの構成要素を有する例示的なカメラリグ８０１を示す図面９００を図示する。図面８００において示された図において見えなかったカメラリグ８０１のさまざまな付加的な構成要素は、図７において示される。図７において、同じ参照番号が、図６において示されて識別されたカメラリグ８０１の構成要素を識別するのに使用された。図面９００において、少なくとも２つの側面８３０と８３６とともに、カメラリグ８０１のトップ面８４０と低面８４２は、目に見える。

[0075] 図面９００において、カメラリグ８０１の４つの側面８３０、８３２、８３４、８３６のうちの２つ以上のカメラのさまざまなコンポーネントが示される。レンズアセンブリ９０２、９０４及び９０６は、カメラリグ８０１の側面８３６のカメラ８０２、８０４及び８０６にそれぞれ対応する。レンズアセンブリ９２５が、カメラリグ８０１のトップ面上のカメラ８２５に対応する一方、レンズアセンブリ９１０、９１２及び９１４は、側面８３０のカメラ８１０、８１２及び８１４にそれぞれ対応する。図面９００において、３つの側面サポート板８０８、８０８’及び８０８’’’も示され、これらは、カメラリグ８０１のトップ及び低面カバー板８０５と８４２をサポートする。側面サポート板８０８、８０８’及び８０８’’’は、図において示されたねじの対応する対を介して、トップカバー８０５と低面ベースカバー８４２に固定される。例えば、側面サポート板８０８は、ねじ対９５１と９５６を介して、トップ及び底面カバー板８０５、８４２に固定され、側面サポート板８０８’は、ねじ対９５２と９５４を介して、トップ及び底面カバー板８０５、８４２に固定され、側面サポート板８０８’’’は、ねじ対９５０と９５８を介して、トップ及び底面カバー板８０５、８４２に固定される。いくつかの実施形態において、カメラリグ８０１は、複数のねじ９６０を介して、底面カバー板８４２に固定されたベースサポート９６０を含む。ベースサポート９６０を介したいくつかの実施形態において、カメラリグは、これが垂直軸、例えば、ベース９６０の中心を通っていく軸の周囲を回転されるように、サポート構造上に据え付けられ得る。外部サポート構造は、三脚又は別のプラットフォームであり得る。

[0076] 図８は、カメラリグ８０１のさらなる構成要素を有する、例示的なカメラリグ８０１の上面図を示す図面１０００をさらに詳細に図示する。カメラリグ８０１の上面図において、図面８００〜９００において完全には目に見えなかった他の２つの側面８３２と８３４が、さらに明確に示される。レンズアセンブリ９１５、９１６、及び９１８は、カメラリグ８０１の側面８３２上のカメラ８１５と立体カメラ対に対応する。レンズアセンブリ９２０、９２２及び９２４は、カメラリグ８０１の側面８３４上のカメラ９２０と立体カメラ対に対応する。

[0077] 図面１０００において見られ得るように、（小さな矢印が面に向かってポイントしている）４つの側面８３０、８３２、８３４、８３６のそれぞれの上のカメラのアセンブリと、異なる方向におけるカメラリグ８０１のトップ面８４０が見られる。カメラリグ８０１の側面８３０、８３２、８３４、８３６上のカメラは、（例えば、対応する面と垂直である）水平でポイントされる一方、トップ面８４０上のカメラは上向きの垂直方向においてポイントされる。例えば、図８において示されるように、カメラリグ８０１の面８３６上のカメラ（レンズアセンブリ９０２、９０４、９０６に対応するカメラ）は、矢印１００２によって示される第１の方向に面している。矢印１００４は、カメラリグ８０１の面８３０上のカメラ（レンズアセンブリ９１０、９１２、９１４に対応するカメラ）が面している第２の方向を示し、矢印１００６は、カメラリグ８０１の面８３２上のカメラ（レンズアセンブリ９１５、９１６、９１８に対応するカメラ）が面している第３の方向を示し、矢印１００８は、カメラリグ８０１の面８３４上のカメラ（レンズアセンブリ９２０、９２２、９２４に対応するカメラ）が面している第４の方向を示し、矢印１０１０は、カメラリグ８０１のトップ面８４０上のカメラ（レンズアセンブリ９２５に対応するカメラ８２５）が面している第５の（垂直）方向を示す。さまざまな実施形態において、第１、第２、第２及び第４の方向は、一般的に水平方向であるが、第５の方向は垂直方向である。いくつかの実施形態において、異なる側面８３０、８３２、８３４及び８３６上のカメラは、均等に間隔を空けられている。いくつかの実施形態において、第１、第２、第３及び第４の方向間の角度は同じである。いくつかの実施形態において、第１、第２、第３及び第４の方向は異なり、９０度離れている。いくつかの他の実施形態において、カメラリグは、図面８００〜１０００において示される同じ又は同様のカメラアセンブリとともに、カメラリグが、４つの側面の代わりに３つの側面を有するように実現される。このような実施形態において、カメラリグ８０１の側面上のカメラは、３つの異なる方向、例えば、１２０度離れている第１、第２及び第３の方向で、第１、第２及び第３の方向にポイントする。

[0078] 図９は、いくつかの例示的な実施形態により実現される、また別の例示的なカメラリグ１１０１のビューを示す図面１１００を図示する。例示的なカメラリグ１１０１は、殆どの及び多くの態様において、カメラリグ８０１と同様であり、カメラリグ８０１に関して先に議論されたカメラの同じ又は同様のコンフィギュレーションを含む。カメラリグ１１０１は、カメラリグ８０１と同様の、４つの側面１１３０、１１３２、１１３４、１１３６及び、トップ面１１４０を含む。カメラリグ１１０１の４つの側面１１３０、１１３２、１１３４、１１３６のそれぞれは、光領域カメラと立体カメラ対の対を含むカメラのアレイを含む一方、カメラリグのトップ面１１４０は、カメラリグ８０１に関して示されて議論されたものと同様の少なくとも１つのカメラ装置１１２５を含む。しかしながら、カメラリグ１１０１は、５つの面１１３０、１１３２、１１３４、１１３６及び１１４０のそれぞれ上のカメラアレイに加えて、例えば、グラウンドに向けて、垂直に下向きに面している少なくとも１つのカメラ１１２６を含む６番目の底面１１４２をさらに含む。いくつかのこのような実施形態において、垂直に下向きに面しているボトム面カメラ１１２６と、上向きに垂直に面しているトップ面カメラ１１２５は、光領域カメラである。いくつかの実施形態において、カメラ１１２５と１１２６のそれぞれは、カメラ領域１１０１のトップ及びボトム面１１４０、１１４２上の対応する立体カメラ対の一部である。

[0079] カメラリグ８０１と１１０１の立体カメラは、例えばイベントの間に、立体的な画像コンテンツをキャプチャするのに使用される一方、光領域カメラの使用は、関心があるシーンエリアをスキャンすることを可能にし、（例えば、関心があるシーンのこれらの部分に対応するキャプチャされた画像から）光領域カメラによってキャプチャされたシーンエリアのさまざまな部分の深度マップを生成する。いくつかの実施形態において、シーンエリアのさまざまな部分の深度マップは、シーンエリアの複合深度マップを生成するために結合され得る。このような深度マップ、及び／又は、複合深度マップは、いくつかの実施形態において、立体的な画像コンテンツを表示して、ビューアによって体験され得る３Ｄ環境をシミュレートする際の使用のために、再生装置に提供される。

[0080] 図１０は、いくつかの実施形態による、カメラリグ３００、カメラリグ４００、及び／又は、カメラリグ８０１と１１０１のような、本発明により実現される例示的なカメラリグにおいて使用され得る、カメラのアレイの例示的な配置１２００の正面図を図示する。カメラリグ８０１のそれぞれの面の上の立体カメラの対の上に配置された単一の光領域カメラを有する、図面８００において示される配置との比較において、例示的な配置１２００は、立体カメラ対１２０８、１２１０とともに配置された光領域カメラ１２０２、１２０４及び１２０６のアレイを使用する。例示的な配置１２００は、いくつかの実施形態において、本発明により実現される（カメラリグ８０１のような）カメラリグにおいて使用され得る。このような実施形態において、カメラのリグの各面は、立体カメラの単一の対（例えば、１２０８、１２１０）で配置された３つの光領域カメラ（例えば、１２０２、１２０４及び１２０６）を有する例示的な配置１２００を使用する。配置における多くの変形が可能であり、本発明の範囲内にあることが正しく認識されるべきである。

[0081] 図１１は、いくつかの実施形態による、カメラリグ８０１、又は、以前に議論された他のカメラリグのいずれかのような例示的なカメラリグにおいて使用され得るカメラのアレイのまた別の例示的な配置１３００の正面図を図示する。立体カメラの対の上に配置された単一の光領域カメラを有する図面８００において示される配置との比較において、例示的な配置１３００は、立体カメラ対１３２０、１３２２とともに配置された６つの光領域カメラ１３０２、１３０４、１３０６、１３０８、１３１０及び１３１２のアレイを使用する。光領域カメラは、示される３つの光領域カメラのグループを含む各列で他方の上に１つの列を配置するように、３つの光領域カメラの２列で積み重ねられる。例示的な配置１３００は、いくつかの実施形態において、配置１３００を使用するカメラリグの各面を有する本発明により実現される（カメラリグ８０１のような）カメラリグにおいて使用され得る。

[0082] 上述のように、カメラリグの立体カメラが、例えばイベントの間に立体的な画像コンテンツをイベントキャプチャするのに使用される一方、光領域カメラの使用は、関心のあるシーンエリアをスキャンするのを可能にし、（関心のあるシーンのこれらの部分に対応するキャプチャされた画像から）光領域カメラによってキャプチャされたシーンエリアのさまざまな部分の深度マップを生成する。いくつかの実施形態において、シーンエリアのさまざまな部分の深度マップは、シーンエリアの複合深度マップを生成するように結合され得る。このような深度マップ及び／又は複合深度マップは、いくつかの実施形態において、立体的な画像コンテンツを表示して、ビューアによって体験され得る３Ｄ環境をシミュレートする際の使用のために、再生装置に提供され得る。

[0083] 立体カメラとの組み合わせ上での光領域カメラの使用は、環境測定とリアルタイムで、例えば、シュートがあるイベントの間に環境深度マップの生成を可能にし、したがって、例えば、サッカーの試合のようなイベントの開始の前に時間的に先だって、オフラインで実行されるための環境測定の配備に対する必要性を不要にする。

[0084] 各画像から生成された深度マップが、マップされるための環境の一部分に対応する一方、いくつかの実施形態において、個々の画像から生成された深度マップは処理され、例えば、光領域カメラを使用してスキャンされた完全な環境の複合マップを形成するように、縫い合わされる。したがって、光領域カメラを使用することによって、比較的完全な環境マップは、いくつかの実施形態において、生成され得る。

[0085] 光領域カメラのケースにおいて、マイクロレンズのアレイは、人が取得の後に画像に再焦点をあてるのに十分な情報をキャプチャする。画像キャプチャの後、メインレンズのサブアパチャ内の１つの視点をシフトし、効果的に複数のビューを取得することも可能である。光領域カメラのケースにおいて、焦点外れと一致の両方からの深度キューが単一のキャプチャにおいて同時に利用可能である。立体カメラによってキャプチャされない、遮られた情報／シーン部分中に埋めるように試行するときに、これは有用であり得る。

[0086] 光領域カメラ出力から生成された深度マップは、特定のイベント、例えば、立体カメラによってキャプチャされるためのコンサート又は試合のためのスタジアム又は関心ある他の環境における変化を正確に測定しやすい。さらに、立体カメラが据え付けられた同じロケーション又は近いロケーションから環境を測定することによって、環境マップは、少なくともいくつかの実施形態において、イベントをキャプチャするのに使用される立体カメラの観点から知覚されやすいので環境を正確に反映する。

[0087] いくつかの実施形態において、例えば、立体カメラ対のビューの位置及び／又は領域がわずかに光領域カメラのものとは異なるので、ならびに／あるいは、立体カメラからのビューの妨害に起因して光領域カメラによってキャプチャされた画像は、処理されて、立体カメラ対によってキャプチャされない環境の部分について埋めるのに使用される。例えば、光領域カメラが、立体対の位置に対して後方に面しているとき、これは、前方に面する立体カメラ対に対して目に見えない後方に面するビューをキャプチャし得る。いくつかの実施形態において、光領域カメラの出力は、立体カメラ対によってキャプチャされた画像データとは別に、又は、一緒に、再生装置に対して提供される。再生装置は、立体カメラ対によって十分キャプチャされなかったシーンエリアが表示されることになるとき、光領域カメラによってキャプチャされた画像の全て又は一部分を使用し得る。さらに、光領域カメラによってキャプチャされた画像の一部分は、立体的な画像の一部分中に埋めるように使用されてもよく、これは、立体カメラ対の位置からのビューから遮られたが、ユーザは、彼又は彼女が、立体カメラ対のロケーションに対応するデフォルトビューイング位置に対して、彼又は彼女の頭部を左又は右にシフトするとき、見ることが可能であることを予期する。例えば、ユーザが、彼の／彼女のビューを遮断する柱の周囲をじっと見ようとする試行の際に、左又は右に傾く場合、いくつかの実施形態において、光領域カメラによってキャプチャされた１つ以上の画像からのコンテンツは、立体カメラに対して目に見えないが、ユーザが左又は右に傾くことによって再生の間に達成するシフトされた頭部位置から、ユーザに対して目に見えることが予期される画像コンテンツを提供するために使用される。

[0088] 図１２Ａと図１２Ｂの組み合わせを備える図１２は、いくつかの実施形態により、画像システムを作動する例示的な方法のフローチャート１４００を図示する。フローチャート１４００の方法は、画像キャプチャ装置を含む画像システムと処理システムを使用して、いくつかの実施形態において実現される。システム中の画像キャプチャ装置、例えば、光領域カメラ及び／又は立体カメラは、図面において示されて、上で詳細に議論された、さまざまなカメラリグ中に含まれ得る、及び／又は、その上に据え付けられ得る。

[0089] 方法は、例えば、画像システムが電力を入れられて、初期化されることにより、ステップ１４０２において開始する。方法は、開始ステップ１４０２からステップ１４０３に進む。ステップ１４０３において、例えば、環境深度マップの利用可能性、及び／又は、使用されるべき深度マップが既存の又はデフォルト深度マップに設定されたかどうかを示す現在の環境深度マップ状況は、現在の環境深度マップが設定されていないことを示すために初期化される。したがって、このようなケースにおいて、使用されるべき及び／又は別の装置に提供されるべき深度マップが、使用される及び／又は提供される前に、選択される必要がある。

[0090] 動作は、ステップ１４０３からステップ１４０４と１４１０に進む。ステップ１４０４における処理結果は、以下に議論されるステップ１４１０、１４１８及び１４３０において実行される決定のための入力として使用される。ステップ１４０４において、環境深度情報は、１つ以上のソースから得られる。ステップ１４０４の一部として、ステップ１４０５、１４０６、１４０８、１４１４、１４１６、１４２６及び１４２８のうちの１つ以上が、いくつかの実施形態において実行される。ステップ１４０５、１４０６、１４０８は、画像システムの異なる構成要素、例えば、１つ以上のカメラと処理システムによって並行して実行され得る。ステップ１４０６と１４０８に沿った２つの別々の経路における画像キャプチャステップは、いくつかの実施形態において、異なるレートで並行して実行される。

[0091] ステップ１４０５において、処理システムは、関心がある環境に対応する静的な環境深度マップを、例えば、システム上でダウンロードすることによって、及び／又は、処理システム上でアップロードすることによって記録媒体に環境深度マップを含ませることにより、得る。関心がある環境は、例えば、関心があるイベントが開催されるスタジアム、観客席、フィールド等であり得る。さまざまな実施形態において、イベントはキャプチャされ、例えば、立体カメラと光領域カメラを含む１つ以上のカメラ装置によって記録される。静的な環境深度マップは、例えば、イベントの前であり、したがって静的と呼ばれる、以前に行われた関心がある環境の環境測定を含む。関心があるさまざまな有名な環境、例えば、イベントが起こる既知のスタジアム、観客席等についての静的な環境の深度マップは、容易に利用可能であるが、しかしながら、このような環境深度マップは、イベントの間に生じるかもしれない環境に対する動的な変化、及び／又は、環境測定が行われたときから生じたかもしれない他の変化を考慮に入れていない。関心がある環境の静的な深度マップは、例えば、ＬＩＤＡＲ及び／又は他の方法を使用して、さまざまな測定技術を使用して生成され得る。ステップ１４０５からの出力、例えば、静的な深度マップは、利用可能である場合、ステップ１４１０に対するデータ入力としてサーブする。

[0092] ステップ１４１０において、例えば、処理システムに対して、静的な深度マップが利用可能であるかどうかがチェックされる。静的な深度マップが利用可能である場合、動作は、ステップ１４１０からステップ１４１２に進み、そうでなければ、動作は、ステップ１４１８に進む。ステップ１４１２において、処理システムは、静的な深度マップになるように、現在の深度マップ（例えば、使用されることになるベース環境深度マップ）を設定する。いくつかの実施形態において、システムが初期化されて、他のソースからの深度マップが利用可能でないとき、その後処理システムは、静的な深度マップが利用可能である場合、最初に、静的な深度マップになるように現在の深度マップを設定する。動作は、ステップ１４１８に対するデータ入力である（入手可能であるとき）静的なマップで、ステップ１４１２からステップ１４１８に進む。

[0093] ステップ１４１８と、続くステップにおける処理を議論する前に、ステップ１４０６、１４１４及び１４１６の結果としてのデータ出力は、ステップ１４１８への入力としてサーブするので、まず、ステップ１４０６に対応する経路とともに、画像入手ステップ１４０４のステップを考慮する。ステップ１４０６において、関心がある環境の部分の立体的な画像対、例えば、左及び右目画像は、１つ以上の立体カメラ対を使用してキャプチャされる。いくつかの実施形態において、画像をキャプチャする立体カメラ対は、上で議論されたさまざまな実施形態により実現されたカメラリグ上に据え付けられる。動作は、ステップ１４０６からステップ１４１４に進む。ステップ１４１４において、キャプチャされた立体的な画像対は、処理システムにおいて受信される。さまざまな実施形態において、立体的な画像対は、１つ以上の光領域カメラによってキャプチャされた画像から生成された環境深度情報によって提供されるものよりも多い、ある時点についての（a point in time）環境の深度測定を提供する環境深度情報を生成するために、処理される。動作は、ステップ１４１４からステップ１４１６に進む。ステップ１４１６において、環境深度情報は１つ以上の立体的な画像対から生成され、例えば、関心がある環境についての複合深度情報が生成される。いくつかの実施形態において、立体的な画像対から生成された複合深度情報は、環境深度マップの形態にある。いくつかの実施形態ステップ１４０６、１４１４及び１４１６は、選択されたレートで実行される立体カメラ対による画像キャプチャとともに、第１のレートで実行される。いくつかの実施形態において、ステップ１４０６、１４１４及び１４１６は、決定されたレートで、進行中のベース上で実行される。ステップ１４１６からの出力、例えば、立体画像から生成された深度情報は、利用可能である場合、ステップ１４１８へのデータ入力としてサーブする。

[0094] ここで、ステップ１４１８を参照する。ステップ１４１８において、処理システムは、１つ以上の立体的な画像対から生成された環境深度情報が利用可能であるかどうかを決定する。例えば、いくつかのケースにおいて、立体カメラ対が立体的な画像をキャプチャすることを開始しなかったとき、及び／又は、環境深度情報マップがまだ生成されなかったとき、立体的な画像に基づいた環境深度情報は、処理システムに対して利用可能でないかもしれない。ステップ１４１８において、１つ以上の立体的な画像対から生成された環境深度情報が利用可能であると決定された場合、動作はステップ１４１８からステップ１４２０に進み、そうでなければ、動作はステップ１４３０に進む。

[0095] ステップ１４２０において、現在の深度マップが既に設定されたかどうかが決定される。現在の環境深度マップが設定されなかったと決定された場合、動作はステップ１４２２に進み、ここにおいて、処理システムは、現在の環境深度マップを、１つ以上の立体的な画像対から生成された環境深度マップとなるように設定する。動作は、ステップ１４２２からステップ１４３０に進む。ステップ１４２０において、現在の環境深度マップが、既に設定されたと決定された（例えば、静的な深度マップが、それが利用可能であった場合、現在の環境深度マップとして設定され得た）場合、動作はステップ１４２４に進む。ステップ１４２４において、深度情報の複数のソースが利用可能であるとき、処理システムは（ステップ１４１６において取得された）１つ以上の立体的な画像対から生成された環境深度情報を、例えば、静的な深度マップのように現在の深度マップとして設定された深度マップと調和させることで、関心がある環境の環境深度マップは、深度情報の少なくとも２つの異なるソースから生成される（ステップ１４１２）。したがって、環境深度マップの初期化及び／又は第１の反復の間は、環境深度マップを生成するために、生成は、（利用可能であるとき）少なくとも２つの異なるソースからの深度情報を調和させることを含む。環境深度マップを生成するためのその後の反復は、複数のソースから取得された深度情報を調和させることの一部として、動的に生成されたさらに最近の深度情報を使用して、深度マップを更新することを含む。いくつかの実施形態において、深度情報ソースの１つは、（静的な深度モデルとしても呼ばれる）静的な深度マップである。したがって、いくつかの実施形態において、環境深度マップは、環境が観客によって占められなかったときに行われたＬＩＤＡＲ測定に基づいて、静的深度モデルから生成される。いくつかの実施形態において、ＬＩＤＡＲ測定は、最大距離情報を提供する。いくつかの実施形態において、立体的画像対から取得された深度情報は、例えば、実際のイベントの前に行われたＬＩＤＡＲ測定の時間ではないイベントの間に存在する、人、小道具、舞台装置及び／又はサインの効果を含む深度情報を提供する。

[0096] 動作は、ステップ１４２５に進む。動作を調和させることが完了した後、２つの異なるソースからの深度情報を調和させることによって生成された環境深度マップは、ステップ１４２５において示される現在の深度マップとして設定される。さまざまな実施形態において、調和された環境深度マップは、調和のために使用される２つの個々の深度マップのうちのいずれか１つと比較されて、より多くの向上された深度情報を有する。いくつかの実施形態において議論されるように、深度情報の少なくとも２つの異なるソースは、ｉ）イベントの前に生成された環境の静的深度マップ、ｉｉ）立体的な画像対から取得された深度情報、又は、ｉｉｉ）１つ以上の光領域カメラによってキャプチャされた画像から取得された深度情報、のうちの少なくとも２つからの深度情報を含む。動作は、ステップ１４２５からステップ１４３０に進む。

[0097] ステップ１４３０と、続くステップにおける処理を議論する前に、ステップ１４０８、１４２６及び１４２８の結果としてのデータ出力は、ステップ１４３０への入力としてサーブするので、ステップ１４０８に対応する経路に沿ったステップをまず考慮する。ステップ１４０８において、関心がある環境の部分の画像は、１つ以上の光領域カメラを使用してキャプチャされる。いくつかの実施形態において、画像をキャプチャする１つ以上の光領域カメラは、上で議論されたさまざまな実施形態により実現されるカメラリグ上に据え付けられる。動作はステップ１４０８からステップ１４２６に進む。ステップ１４２６において、光領域カメラによってキャプチャされた画像は、オプション的に、関心がある環境の部分の深度マップととともに処理システムで受信される。したがって、いくつかの実施形態において、１つ以上の光領域カメラは、例えば、オンボードの深度マップ生成ユニットを使用して、キャプチャされた画像から環境の部分の深度マップを生成し、それらを処理システムに提供する。他のいくつかの実施形態において、光領域カメラによってキャプチャされた実際の画像が提供され、処理システムは、関心がある環境の部分の深度マップを生成する。動作は、ステップ１４２６からステップ１４２８に進む。ステップ１４２８において、環境深度情報は、光領域カメラによってキャプチャされた１つ以上の受信された画像から、及び／又は、関心のある環境の部分の深度マップから生成され、例えば、光領域カメラ画像から生成された複合深度情報は、関心のある環境の環境深度マップの形態となる。いくつかの実施形態において、ステップ１４０８、１４２６及び１４２８は第２のレートで実行され、光領域カメラによる画像キャプチャは、選択されたレートで実行される。いくつかの実施形態において、ステップ１４０８、１４２６及び１４２８は、決定されたレートで、進行中のベース上で実行される。いくつかの実施形態において、光領域カメラによって画像がキャプチャされるレートは、立体カメラ対によって画像がキャプチャされるレートとは異なる。いくつかの実施形態において、立体的な画像から取得された深度情報は、測定が対応するが、１つ以上の光領域カメラによってキャプチャされた画像から取得された深度情報より低い正確性を有する空間的位置の数に関して、より高い解像度のものである。動作は、ステップ１４２８からステップ１４３０に進む。

[0098] ここで、ステップ１４３０に戻る。ステップ１４３０において、処理システムは、光領域カメラによってキャプチャされた画像から、又は、関心がある環境の１つ以上の部分の深度情報から生成された環境深度情報が、処理システムに対して利用可能であるかどうかを決定する。ステップ１４３０において、このような環境深度情報が利用可能であると決定された場合、動作は、ステップ１４３０からステップ１４３２に進み、そうでなければ、動作は、接続ノードＢ１４４０を介して、ステップ１４４２に進む。

[0099] ステップ１４３２において、現在の深度マップが既に設定されたかどうかが決定される。例えば、他のソースからの環境深度情報が処理システムに対して利用可能でなく、設定されなかったことを示す場合のように、現在の深度マップが設定されなかったと決定された場合、動作は、ステップ１４３２からステップ１４３４に進み、ここにおいて、処理システムは、現在の深度マップが、光領域カメラによってキャプチャされた１つ以上の画像及び／又は関心がある環境の部分に対応する深度情報から生成された環境深度マップとなるように設定する。動作は、接続ノードＡ１４３８を介して、ステップ１４３４からステップ１４４６に進む。ステップ１４３２において、現在の深度マップが既に設定されたと決定された（例えば、静的な深度及び／又は立体的な画像から生成された環境深度マップ及び／又は調和された深度マップが利用可能であるときに、現在の深度マップとして設定された）場合、動作は、ステップ１４３６に進み、ここにおいて、処理システムは、調和させること、例えば、光領域カメラによってキャプチャされた１つ以上の画像からステップ１４２８において生成された環境深度情報を、現在の環境深度マップ情報に結合することによって、既存の現在のマップを更新する。この段階において、入力された深度マップは、立体的な画像から生成された深度マップであり得ること（ステップ１４２２）、又は、立体的な画像から取得された深度情報を静的な深度マップで調和させること（１４２４）によって生成された深度マップであり得ること、あるいは、調和は、静的な深度マップを光領域カメラから取得された深度情報と調和させることを伴い得ることが正しく認識されるべきである。したがって、ステップ１４３６において動作を調和させることは、例えば、１つ以上の光領域カメラを使用してキャプチャされた画像から取得された深度情報をＬＩＤＡＲ及び／又は立体カメラによってキャプチャされた画像から生成された深度情報と結合する、といった調和を含み得る。

[0100] 一般的に、特に、イベントが進行中である間の深度マップのリアルタイム更新のように処理時間が制限された場合、光領域深度情報は立体的な深度情報よりも正確であるかもしれない。したがって、光領域深度情報を立体深度情報と結合するとき、光領域深度情報は、いくつかの実施形態において、情報の両方のソースが同じロケーションについて利用可能であるとき、さらに信頼できるとして取り扱われて、立体的な決定された深度情報よりもさらに重く重み付けられるかもしれない。

[0101] いくつかの実施形態において、ステップ１４３６において実行される、１つ以上の光領域カメラによってキャプチャされた画像から生成された深度情報と立体的な画像から取得された深度情報とを調和させることは、深度情報を提供する光領域カメラが利用可能な環境のポイント間で位置付けられた環境のポイントについての深度を決定するために、立体的な画像から取得された深度情報を使用することを含む。このようなケースにおいて、深度情報を提供された立体（stereo）は、別の測定技術、例えば、光領域ベースの深度測定技術を使用して、深度が知られている又は測定された環境ロケーションの間の深度における変化についての情報を提供するのに使用されることもありうる。

[0102] いくつかの実施形態において、イベントエリアが空であり、立体的な深度情報が使用中に、環境がどのように変化するかを決定するのに使用されるとき、最大の深度はＬＩＤＡＲ又は他の測定を使用して決定される。立体的な深度情報は、比較的速いレート、例えば、深度モデルと表面の比較的迅速な改善を可能にするフレームレートで取得されることもあり得る。一方、光領域カメラ又はカメラは、より低いレート及び／又はより低い解像度で深度情報をキャプチャし得る。したがって、光領域カメラが多数のロケーションについての正確な情報を提供し得る一方、立体的な深度情報は、環境におけるより多数のロケーションについての測定、例えば、いくつかの実施形態におけるキャプチャされた画像の各画素についての深度推定を提供し得る。

[0103] 動作は、ステップ１４３６からステップ１４３７に進む。調和動作が完了した後、複数のソースからの調和された深度情報から生成された調和された環境深度マップは、ステップ１４３７において示される現在の深度マップとして設定される。動作は、接続ノードＡ１４３８を介して、ステップ１４３７からステップ１４４６に進む。

[0104] ステップ１４３０において、環境深度情報が利用可能でないと決定された場合、動作は、ステップ１４３０からステップ１４４２に、接続ノードＢ１４４０を介して進む。ステップ１４４２において、現在の深度マップが既に設定されたかどうかが決定される。現在の深度マップが設定されなかった場合、動作はステップ１４４２からステップ１４４４に進み、ここにおいて、環境深度マップを生成するのに使用され得る他の環境深度マップ及び／又は深度情報は処理システムに対して利用可能でないので、処理システムは、現在の深度マップを半球に対応するデフォルト深度マップに設定する。動作は、ステップ１４４４からステップ１４４６に進む。

[0105] ステップ１４４２において、現在の深度マップがすでに設定された（例えば、調和された環境深度マップ又は静的な深度マップのうちの１つに設定された）かどうか決定された場合、動作は、ステップ１４４２からステップ１４４６に進む。

[0106] ステップ１４４６に戻る。ステップ１４４６において、処理システムは現在の環境深度マップを出力し、例えば、再生装置に通信する。現在の環境深度マップを出力することは、表示装置に出力すること、外部記憶装置に出力すること、及び／又は、例えば送信機を介して１つ以上の顧客装置に送信すること、を含み得る。現在の環境深度マップは、さまざまな実施形態において、例えば、３Ｄ画像コンテンツを表示する際の使用のために１つ以上の顧客レンダリング及び再生装置に送信するなどして提供されてもよい。物事がイベントの間に動的に変化するかもしれないので、環境深度マップは、イベント、例えば試合及び／又は他のパフォーマンスの間に生成され、及び／又は、複数回更新されてもよい。これは、イベントの間に関心がある環境に影響を与えるものが動的に変化するかもしれず、したがって、システムが、ビューアに実生活の３Ｄ体験を提供するのに使用され得る情報と画像コンテンツを提供することになっている場合、それを最新に保つために環境深度マップを更新することは有用であるからである。いくつかの実施形態において、環境深度マップは、画像がキャプチャされる環境の３Ｄモデルの形態にある。さまざまな実施形態において、このような３Ｄモデルは、３Ｄ画像コンテンツをレンダリングする際に、レンダリング及び再生装置によって使用される。フローチャート１４００に関して議論された方法は、複数のソース、例えば、静的な深度マップ、１つ以上の立体カメラ対及び／又は深度マップによってキャプチャされた画像を使用して生成された深度マップ、及び／又は、１つ以上の光領域カメラによってキャプチャされた画像を使用して生成された深度マップからの深度情報に基づいて、向上された改善された環境深度マップを生成するのを可能にする。

[0107] 動作は、ステップ１４４６からステップ１４４７に進み、ここにおいて、生成された現在の深度マップが対応する関心がある環境においてキャプチャされた画像は、深度測定から作成された３Ｄモデル上に画像をラッピングすることによって表示される。いくつかの実施形態において、画像は、表示装置上に表示され、これは、処理システムの一部であり得る。３Ｄモデル上にラップされた画像は、処理システムのオペレータに表示され得る。いくつかの他の実施形態において、画像表示動作は、顧客レンダリング及び再生装置に関係付けられた表示装置上で実行され得る。

[0108] 現在の環境深度マップの出力に続いて、動作はまた、ステップ１４４６からステップ１４４８に進む。ステップ１４４８において、処理システムは、新たな可変の最新出力環境深度マップを、これを（ステップ１４４６において出力された）現在の環境深度マップに設定することによって、初期化する。以下で詳細に議論されたように、最新出力環境深度マップの値及び／又は状況は、顧客装置への更新された現在の深度マップの送信を要求し得る深度マップへの顕著な変化及び／又は更新があったか否かを決定する際に使用される。動作は、ステップ１４４８からステップ１４５０に進む。ステップ１４５０において、付加的な及び／又は新たにキャプチャされた立体的な画像から生成された任意の新たな深度情報が利用可能であるか否かが決定される（立体的な画像キャプチャと、立体的な画像からの深度情報の生成（ステップ１４０６、１４１４、１４１６）が、イベントの間に進行中であることを思い起こされたい）。したがって、処理システムは、立体的な画像からの付加的な／新たな深度情報が利用可能であるかどうかを検出するように監視する。付加的な／新たな深度情報が、キャプチャされた立体的な画像から利用可能であると決定された場合、動作は、ステップ１４５０からステップ１４５２に進み、さもなければ、動作は、ステップ１４５０からステップ１４６０に進む。

[0109] ステップ１４５２において、立体的な画像から最近生成された深度情報は、イベントの間にキャプチャされた立体的な画像から生成されたより最近の深度情報に基づいて現在の環境深度マップを更新するために、現在の深度マップと調和される。したがって、イベントの間にキャプチャされた新たな付加的な立体画像対から生成された付加的な深度情報は、立体的な画像から生成された最近の深度情報で現在のマップを調和させることによって環境深度マップを更新することを促進する。動作は、ステップ１４５２からステップ１４５４に進む。ステップ１４５４において、更新された深度マップは、現在の深度マップに設定される。動作は、ステップ１４５４からステップ１４５６に進む。動作はまた、ステップ１４５６と１４６０に入力されたデータである、（利用可能であるとき）更新された深度マップにより、ステップ１４６０に進む。

[0110] ステップ１４５６において、システムは、例えば、深度情報における顕著な変化があったかどうかをチェックするために、現在の深度マップと最新の出力深度マップとの間の差を決定する（更新された深度マップが、ステップ１４５４において現在の環境深度マップに設定される。）。動作は、ステップ１４５６からステップ１４５８に進み、ここにおいて、現在の（例えば、更新された）深度マップと最新の出力深度マップの間の深度情報における差が顕著であるかどうかが決定される。いくつかの実施形態において、任意の変化は、顕著であると見なされるかもしれない。他の実施形態において、環境の特定のエリア、例えばステージにおける深度における変化は、顕著であると見なされるが、環境の別のエリア、例えば、カメラ位置の後ろの背面エリアにおける変化は、いくらかの予め決定された又は動的に決定された量を変化が超えない限り顕著ではないと見なされる。

[0111] したがって、いくつかの実施形態において、深度の変化が顕著であるか否かは、環境における検出された深度の変化のロケーションのみに依存するのではなく、変化の量にも依存する。したがって、ステップ１４５８において深度の変化が顕著であるか否かを決定することは、深度の変化のロケーションが高い優先エリア又は顕著であると考えられるエリアに対応するか否かを決定すること、及び／又は、検出された深度の変化の量がしきい値量を上回るかどうかを決定することを含むことがあり、しきい値量は、全てではないがいくつかの実施形態において、しきい値がロケーション、例えば、深度マップが対応するカメラ位置に関して正面、背面、側面のエリアに依存する場合に、変化が顕著であるかどうかを決定するために使用される。

[0112] 深度情報における差が顕著でない、例えば、新たな深度マップ情報の再生装置への通信又は使用に値するほど十分重要でない、と決定された場合、動作は、ステップ１４５０に戻るように進み、付加的なキャプチャされた立体画像からの新たな付加的な深度情報が利用可能になるとき継続する。しかしながら、ステップ１４５８において、深度情報における差が顕著であると決定された場合、動作は、ステップ１４５８からステップ１４６６に進み、ここにおいて、検出された環境における変化を反映する現在の更新された環境深度マップが通信され、例えば、サーバ、処理装置、及び／又は、再生装置に送信される。

[0113] ステップ１４５０に戻る。ステップ１４５０において、キャプチャされた立体的な画像から、付加的な／新たな深度情報が利用可能でないと決定された場合、動作は、ステップ１４５０からステップ１４６０に進む。ステップ１４６０において、光領域カメラによってキャプチャされた付加的な及び／又は新たな画像から生成された付加的な／新たな深度情報が利用可能であるかどうかが決定される（光領域カメラ画像キャプチャと、光領域カメラによってキャプチャされた画像からの深度情報の生成（ステップ１４０８、１４２６、１４２８）が、イベントの間に進行中であることを思い起こされたい）。したがって、処理システムは、付加的な／新たな深度情報が、領域カメラがキャプチャした画像から利用可能であるかどうかを検出するために監視する。領域カメラがキャプチャした画像からの付加的な／新たな深度情報が利用可能であることが決定された場合、動作は、ステップ１４６０からステップ１４６２に進み、さもなければ、動作は、ステップ１４６０からステップ１４５０に戻るように進む。

[0114] ステップ１４６２において、光領域カメラ画像から生成された深度情報は、イベントの間にキャプチャされた光領域カメラ画像生成された、さらに最近の深度情報に基づいた現在の環境深度マップを更新するために、現在の深度マップで調和される。このような更新は、イベントが進行中、例えば、ショーが演じられている間に生じ得ることが正しく認識されるべきである。したがって、イベントの間にキャプチャされた新たな付加的な光領域カメラ画像から生成された付加的な深度情報は、最近の深度情報で現在のマップを調和させることによって、環境深度マップを更新することを促進する。この方法で、ステージ、小道具、及び／又は、個人のロケーションにおける変化は、リアルタイム又はほぼリアルタイムで深度マップに反映され得る。動作は、ステップ１４６２からステップ１４６４に進む。ステップ１４６４において、更新された深度マップは、現在の深度マップとなるように設定される。動作は、ステップ１４６４からステップ１４５６に進み、ステップ１４５６と１４５８に関して議論された動作は、画像をキャプチャした光領域カメラから生成された新たな深度情報を調和させることによって、ステップ１４６２において生成された更新された環境深度マップである現在の深度マップで実行される。再び、現在の（更新された）環境深度マップと最新の出力された深度マップの間の差が顕著でない場合、動作は、ステップ１４５０に戻るように進み、新たな付加的な深度情報が利用可能となる場合、継続する。深度情報における差が顕著であると決定された場合、動作は、ステップ１４５８からステップ１４６６に進む。

[0115] ステップ１４６６において、システムは、深度マップ差情報又は実際の現在の環境深度マップを、１つ以上の顧客レンダリング及び再生装置、及び／又は、サーバや画像処理システムのような他のシステムに送信する。

[0116] 深度マップ差情報は、深度マップにおける変化が比較的小さい場合、送信されるかもしれない、及び、時々送信され、これにより、より早い、例えば、以前に通信された環境の深度マップを有する装置に、完全な深度マップを再送信する必要性を避ける。

[0117] いくつかの実施形態において、システムは、現在の例えば更新された深度マップと最新の出力環境深度マップの間の深度情報における差を示す深度マップ差情報を送信する。差情報を使用して、受信する顧客レンダリング及び再生装置は、使用中のそれらの環境深度マップを更新できる。単純に再情報を送ることは、深度マップ全体の送信と比較して、比較的少ない情報が送信されるので非常に帯域幅効率がよく、無駄が少ないことが正しく認識されるべきである。いくつかの他の実施形態において、更新された環境深度マップ全体が送信される。動作は、ループ・バックによって示されるように、ステップ１４６６からステップ１４４８に戻るように進む。

[0118] 図１３は、本発明の１つの例示的な実施形態により実現される、例示的な光領域カメラ１５００を説明しており、上で議論された先行する図面において示されたカメラリグにおいて使用され得る。例示的なカメラ装置１５００は、表示装置１５０２、入力装置１５０４、Ｉ／Ｏインターフェース１５０６、プロセッサ１５０８、メモリ１５１０及びバス１５０９を含み、これらは、参照番号１５００からの線によって示された矩形の箱によって表されたハウジング内に実装される。カメラ装置１５００は、光学的なチェーン１５１２と、ネットワークインターフェース１５１４をさらに含む。さまざまなコンポーネントは、バス１５０９を介してともに結合され、これは、信号と情報がカメラ１５００のコンポーネント間で通信されるのを可能にする。

[0119] 表示装置１５０２は、いくつかの実施形態において、タッチスクリーンであり、画像、ビデオ、カメラ装置のコンフィギュレーションに関する情報、及び／又は、カメラ装置上で実行されるデータ処理の状況を表示するのに使用され得る。表示装置１５０２がタッチスクリーンであるケースにおいて、表示装置１５０２は、付加的な入力装置及び／又は代替として別の入力装置、例えば、ボタン１５０４をサーブする。入力装置１５０４は、いくつかの実施形態において、例えば、キーパッド、タッチスクリーン、又は、同様のデバイスであって、情報、データ及び／又は命令を入力するために使用され得るデバイスであり得る。

[00120] Ｉ／Ｏインターフェース１５０６を介して、カメラ装置１５００は外部装置に結合されて、このような外部装置と情報やシグナリングを交換し得る。カメラ１５００は、いくつかの実施形態において、Ｉ／Ｏインターフェース１５０６を介して処理システム１６００とのインターフェースを行うこともあり得る。いくつかのこのような実施形態において、処理システム１６００は、カメラ１５００を構成及び／又は制御するのに使用され得る。

[00121] ネットワークインターフェース１５１４は、カメラ装置１５００が通信ネットワークを介して外部装置に情報を受信及び／又は通信できるようにする。いくつかの実施形態において、ネットワークインターフェース１５１４を介して、カメラ１５００は、キャプチャされた画像及び／又は生成された深度マップを他の装置及び／又はシステムに通信ネットワーク、例えばインターネット及び／又は他のネットワークを介して通信する。

[00122] オプティカルチェーン１５１０は、マイクロレンズアレイ１５２４と画像センサ１５２６を含む。カメラ１５００は、カメラ１５００によって画像キャプチャ動作が実行されたとき、１つ以上の方向から到来する関心があるシーンの光情報をキャプチャするためにマイクロレンズアレイ１５２４を使用する。

[00123] メモリ１５１２は、さまざまなモジュールとルーティンを含み、これはプロセッサ１５０８によって実行されたとき、本発明によるカメラ１５００の動作を制御する。メモリ１５１２は、制御ルーティン１５２０とデータ／情報１５２２を含む。プロセッサ１５０８例えばＣＰＵは、本発明により動作して、フローチャート１４００の方法の１つ以上のステップを実現するように制御ルーティンを実行して、カメラ１５００を制御するためのデータ／情報１５２２を使用する。いくつかの実施形態において、プロセッサ１５０８はオン・チップ深度マップ生成回路１５０７を含み、オン・チップ深度マップ生成回路１５０７は、本発明によるカメラ１５００の動作の間にキャプチャされた関心がある環境のこれらの部分に対応するキャプチャされた画像から、関心がある環境のさまざまな部分についての深度情報を生成する。いくつかの他の実施形態において、カメラ１５００は、キャプチャされた画像１５２８を処理システム１６００に提供し、これは、光領域カメラ１５００によってキャプチャされた画像を使用して、深度情報を生成する。カメラ１５００によって生成された関心がある環境のさまざまな部分の深度情報は深度情報１５３０としてメモリ１５１２中に記憶されるが、関心がある環境の１つ以上の部分に対応する画像はキャプチャされた画像１５２８として記憶される。環境のさまざまな部分の深度情報１５３０は、環境の深度マップを構成する。キャプチャされた画像と深度マップは、将来の使用、例えば、付加的な処理及び／又は別の装置への送信のためにメモリ１５１２中に記憶される。さまざまな実施形態において、カメラ１５００によって生成された深度情報１５３０と、カメラ１５００によってキャプチャされた関心がある環境の部分の１つ以上のキャプチャされた画像１５２８は、例えば、インターフェース１５０６及び／又は１５１４を介して、本発明の特徴によるさらなる処理とアクションのために、処理システムに提供される。いくつかの実施形態において、深度情報及び／又はキャプチャされた画像が提供され、例えば、カメラ１５００によって、１つ以上の顧客装置に通信される。

[00124] 図１４は、本発明の特徴により、例示的な処理システム１６００を説明する。処理システム１６００は、図１２のフローチャート１４００の方法のうちの１つ以上のステップを実現するのに使用され得る。処理システム１６００は、立体的な画像コンテンツをストリームして符号化するのに使用され得るマルチレート符号化能力を含む。

[00125] 処理システム１６００は、本発明の特徴による個々の深度マップ及び／又は複合環境深度マップ生成動作、符号化動作、記憶装置、及び、送信及び／又はコンテンツ出力動作であり得、いくつかの実施形態において、これらを実行するのに使用される。処理システム１６００は、例えば、オペレータに対して、処理された及び／又は符号化された画像データを復号して表示する能力も含み得る。

[00126] システム１６００は、ディスプレイ１６０２、入力装置１６０４、入力／出力（Ｉ／Ｏ）インターフェース１６０６、プロセッサ１６０８、ネットワークインターフェース１６１０、及びメモリ１６１２を含む。システム１６００のさまざまなコンポーネントは、バス１６０９を介してともに結合され、これは、データが、システム１６００のコンポーネントの間で通信されるのを可能にする。

[00127] メモリ１６１２は、さまざまなルーティンとモジュールを含み、これらは、プロセッサ１６０８によって実行されたとき、システム１６００を制御し、本発明による複合環境深度マップ生成、環境深度マップ調和、符号化、記憶装置、及び、ストリーミング／送信、及び／又は、出力動作を実現する。

[00128] 表示装置１６０２は、いくつかの実施形態において、処理システム１６００のコンフィギュレーションに関して、画像、ビデオ、情報を表示し、及び／又は、処理装置上で実行される処理の状況を示すのに使用されるタッチスクリーンであり得る。表示装置１６０２がタッチスクリーンであるケースにおいて、表示装置１６０２は、付加的な入力装置として及び／又は別の入力装置、例えば、ボタン１６０４に対する代替としてサーブする。入力装置１６０４は、いくつかの実施形態において、例えば、キーパッド、タッチスクリーン、あるいは、同様のデバイスであって、情報、データ及び／又は命令を入力するために使用され得るデバイスであり得る。

[00129] Ｉ／Ｏインターフェース１６０６を介して処理システム１６００は外部装置に結合されて、例えば、カメラリグ８０１、光領域カメラ１５００、及び／又は、立体カメラと光領域カメラの両方を含み得るような、他の図面のいずれかにおいて示されたカメラリグのような外部装置と情報及びシグナリングを交換し得る。Ｉ／Ｏインターフェース１６０６は、送信機と受信機を含む。いくつかの実施形態において、Ｉ／Ｏインターフェース１６０６を介して、処理システム１６００は、さまざまなカメラ、例えば、カメラリグ８０１のようなカメラリグの一部であるような立体カメラ対及び／又は光領域カメラ（例えば、カメラ１５００）によってキャプチャされた画像を受信する。

[00130] ネットワークインターフェース１６１０は、処理システム１６００が、通信ネットワーク、例えば、インターネット及び／他の通信ネットワークを通して外部装置に対して情報を受信及び／又は通信するのを可能にする。ネットワークインターフェース１６１０は、いくつかの実施形態において、送信機１６４０と受信機１６４２を含む。いくつかの実施形態において、送信機１６４０を介して、処理システム１６００は複数の符号化された立体データストリームをブロードキャストし、それぞれの立体データストリームはさまざまな顧客装置に対して異なるビットレートをサポートする。いくつかの実施形態において、処理システム１６００は、シーンの異なる部分、例えば、１８０度正面部分、左近くの部分、右後方部分等をマルチポートブロードキャスト送信機１６４０を介して顧客装置に送信する。さらに、いくつかの実施形態において、送信機１６４０を介して、処理システム１６００は、現在の環境深度マップを１つ以上の顧客装置にブロードキャストする。コンテンツストリーム及び／又は環境深度マップをブロードキャストするためのいくつかの実施形態において、送信機１６４０が使用される一方、さらに他のいくつかの実施形態においては依然として、送信機１６４０は複合環境深度マップ及び／又は画像コンテンツを個々の顧客装置に送信、例えば、ユニキャストする。したがって、いくつかの実施形態において、プロセッサ１６０８は、現在の環境深度マップを１つ以上の顧客レンダリングと再生装置に出力する、例えば、送信機１６４０を介して送信するように処理システム１６００を制御するように構成される。いくつかの実施形態において、プロセッサ１６０８は、例えば、処理システム１６００が出力するように制御するように構成され、現在生成された環境深度、例えば、送信機１６４０を介して、更新された深度マップと最新の出力環境深度マップの間の深度情報における差を示す差深度情報を１つ以上の顧客レンダリングと再生装置に送信する。

[00131] メモリ１６１２は、さまざまなモジュールとルーティンを含み、これは、プロセッサ１６０８によって実行されたとき、本発明によるシステム１６００の動作を制御する。本発明によって動作するためのシステム１６００を制御するために、そして、フローチャート１４００の方法の１つ以上のステップを実現するために、プロセッサ１６０８例えばＣＰＵは制御ルーティンを実行して、メモリ１６１２中で記憶されたデータ／情報を使用する。メモリ１６１２は、制御ルーティン１６１４、画像エンコーダ１６１６、深度マップ生成モジュール１６１７、深度マップ利用可能性決定モジュール１６１８、現在の深度マップ決定モジュール１６１９、ストリーミング制御装置１６２０、画像生成モジュール１６２１、深度マップ差決定モジュール１６２６、１つ以上の光領域カメラによってキャプチャされた関心がある環境の受信された画像１６２３、関心がある環境の付加的な受信された深度マップ１６２５、受信された立体的な画像データ１６２４、符号化された立体的な画像データ１６２８、得られた静的な深度マップ１６３０、立体的な画像対から生成された環境深度情報１６３２、１つ以上の光領域カメラによってキャプチャされた画像から生成された環境深度情報１６３４、範囲に対応するデフォルト深度マップ１６３８を含む。

[00132] いくつかの実施形態において、モジュールは、ソフトウェアモジュールとして実現される。他の実施形態において、モジュールは、ハードウェア、例えば、モジュールが対応する機能を実行するための回路として実現される各モジュールを有する個々の回路として、メモリ１６１２の外側で実現される。さらに他の実施形態において、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実現される。１つ以上のモジュールがソフトウェアモジュール又はルーティンとして実現される実施形態において、モジュール及び／又はルーティンは、本発明によって動作して、フローチャート１４００に関して議論された１つ以上の動作を実現するためのシステム１６００を制御するために、プロセッサ１６０８によって実行される。

[00133] 制御ルーティン１６１４は、処理システム１６００の動作を制御するための、装置制御ルーティンと通信ルーティンを含む。エンコーダ１６１６は、いくつかの実施形態において、本発明の特徴による、受信された画像コンテンツ、シーンの立体的な画像、及び／又は、１つ以上のシーン部分を符号化するように構成された複数のエンコーダを含む。いくつかの実施形態において、エンコーダは複数のエンコーダを含み、各エンコーダは、所定のビットレートストリームをサポートするために、立体シーン及び／又は仕切られたシーン部分を符号化するように構成される。したがって、いくつかの実施形態において、各シーン部分は、各シーンに対して複数の異なるビットレートストリームをサポートするために、複数のエンコーダを使用して符号化され得る。エンコーダ１６１６の出力は、顧客装置、例えば再生装置にストリーミングするために、メモリ中に記憶された符号化された立体的な画像データ１６２８である。符号化されたコンテンツは、例えば、顧客レンダリングと再生装置のような１つ又は複数の異なる装置に、ネットワークインターフェース１６１０を介してストリームされ得る。いくつかの実施形態におけるエンコーダ１６１６は、ハードウェア中で実現される。

[00134] （いくつかの実施形態において、深度マップ発生器１６１７として実現される）深度マップ生成モジュール１６１７は、深度情報の（例えば、利用可能であるとき）少なくとも２つの異なるソースから、関心がある環境の複合環境深度マップを生成するように構成される。上で議論されたように、関心がある環境の深度測定を提供する深度情報の複数の異なるソースは、利用可能であり得る。さまざまな実施形態において、深度マップ生成モジュール１６１７は、環境深度マップを生成することの一部として、ｉ）静的なマップから取得された深度情報、ｉｉ）光領域カメラによってキャプチャされた画像から取得された深度情報、及び、ｉｉｉ）カメラの立体的な対によってキャプチャされた画像から取得された深度情報を含む、少なくとも２つの異なる深度情報のソースからの深度情報を結合するように構成される。いくつかの実施形態において、処理システム１６００は、複合環境深度マップを生成する前に、各個々の深度情報ソースから深度情報を生成するために、さまざまなカメラ、例えば、立体カメラ対と、１つ以上の光領域カメラによってキャプチャされた画像を使用する。したがって、いくつかの実施形態において、深度マップ生成モジュール１６１７は、例えば、立体カメラ対と１つ以上の光領域カメラのようなさまざまなカメラによってキャプチャされた画像からの深度情報を生成するように構成される。いくつかの実施形態において、深度マップ生成モジュール１６１７は、１つ以上の立体的な画像対１６２４から深度情報を生成し、処理システム１６００によって受信された光領域カメラによってキャプチャされた環境の画像１６２３から深度情報を生成する。いくつかの実施形態において、光領域カメラ画像１６２３に加えて、又は、代替として、深度マップ生成モジュール１６１７は、光領域カメラによってキャプチャされた画像から、光領域カメラによって生成された環境のさまざまな部分に対応する深度情報１６２５を受信する。したがって、いくつかの実施形態において、複数のソースからの関心がある環境の深度情報は、結合された深度マップを生成する深度マップ生成モジュール１６１７の前に集約される。

[00135] いくつかの実施形態において、深度マップ生成モジュール１６１７は、深度情報調和モジュール１６２２を含む。深度情報調和モジュール１６２２は、環境深度マップを生成するために少なくとも２つの異なる深度情報のソースから深度情報を結合することの一部として、イベントの間に、立体カメラによってキャプチャされた画像から生成された深度情報１６３２及び／又は光領域カメラによってキャプチャされた画像から生成された深度情報１６３４と所定の時間における現在の環境深度マップを調和させるように構成された立体カメラによってキャプチャされた画像から生成された深度情報１６３２は、立体的な画像から生成された深度マップを形成し、光領域カメラ画像から生成された深度情報１６３４は、光領域カメラ画像から生成された深度マップを形成する。いくつかの実施形態において、処理システム１６００は、最も最近生成された深度マップを現在の深度マップとして設定する。初期化の間のいくつかの実施形態において、例えば、立体及び／又は光領域カメラからの深度情報がまだ利用可能でないとき、ＬＩＤＡＲ測定から生成された静的な深度マップは、それが利用可能である場合、現在の深度マップとして設定され得る。いくつかの実施形態において、深度情報調和モジュール１６２２は、環境深度マップを生成するために、少なくとも２つの異なる深度情報のソースからの深度情報を結合するように構成されることの一部として、光領域カメラによってキャプチャされた画像から生成された深度情報１６３４を立体的なカメラの対によってキャプチャされた立体的な画像から生成された深度情報１６３２と調和させるように構成される。いくつかの実施形態において、深度情報調和モジュール１６２２は、光領域カメラによってキャプチャされた画像から生成された深度情報と立体的な画像から取得された深度情報を調和させるように構成されることの一部として、光領域カメラによってキャプチャされた画像から取得された深度情報が利用可能な環境ポイント間に位置付けられた環境ポイントについての深度を決定するために、立体的な画像から取得された深度情報１６３２を使用するようにさらに構成される。さまざまな実施形態において、例えば、光領域カメラ及び／又は立体カメラによってキャプチャされた新たな／付加的な画像が取得され、新たな／付加的な深度情報が利用可能となるとき、深度マップ生成モジュール１６１７は、新たな利用可能な深度情報を使用して、更新された環境深度マップを生成する。いくつかの実施形態において、深度マップ生成モジュール１６１７は、イベントが進行中である間、光領域カメラによってキャプチャされた画像の処理から取得された深度情報に基づいて、生成された環境深度マップを更新するようにさらに構成される。いくつかの実施形態において、深度マップ生成モジュール１６１７は、イベントの間に立体カメラの対によってキャプチャされた画像から生成された深度情報に基づいて、環境深度マップを更新するようにさらに構成される。したがって、深度マップ調和モジュール１６２２は、例えば、フローチャート１４００の対応するステップにおいて議論された調和動作を実行することによって、本発明による深度マップ調和動作を実行するように構成される。環境深度マップ１６３２は、深度マップ生成モジュール１６１７の出力である。

[00136] いくつかの実施形態における静的な深度マップ１６３０は、環境が観客によって占められなかったときに行われたＬＩＤＡＲを使用して、深度測定に基づいて生成された静的なモデルである。このような静的な深度マップは、関心がある所定の環境について利用可能であるとき、本発明による例えば、３Ｄモデルのような拡張された複合環境深度マップを生成する際の使用のために、処理システム１６００に提供され得る。

[00137] 深度マップ利用可能性決定モジュール１６１８は、所定のソースからの深度マップ又は深度情報が所定の時間において利用可能であるか否か、例えば、静的な深度マップが利用可能であるか否か、及び／又は、光領域カメラによってキャプチャされた画像から生成された環境深度情報が利用可能であるか否か、及び／又は、立体カメラ対によってキャプチャされた画像から生成された環境深度情報が利用可能であるか否かを決定するように構成される。

[00138] 現在の深度マップ決定モジュール１６１９は、現在の深度マップが所定の時間において処理システムによって設定されたかどうかを決定するように構成される。さまざまな実施形態において、さまざまな異なるソースからの深度情報の利用可能性と、決定のタイミングに依存して、現在の深度マップ決定モジュール１６１９は、ステップ１４１２、１４２２、１４２５、１４３４、１４３７、１４４４、１４５４及び１４６４に関して詳細に議論したように、本発明の特徴にしたがって、使用されるべき及び／又は出力されるべき現在の環境深度マップとして環境深度マップを設定するようにさらに構成される。

[00139] ストリーミング制御装置１６２０は、例えば、通信ネットワークを通して、符号化された画像コンテンツ（例えば、符号化された立体的な画像データ１６２８の少なくとも一部分）を１つ以上の顧客再生装置に運ぶために、符号化されたコンテンツのストリーミングを制御するように構成される。さまざまな実施形態において、ストリーミング制御装置１６２０は、例えば、ネットワークインターフェース１６１０を介して、１つ以上の顧客再生装置に現在の深度マップとして設定された環境深度マップを通信例えば送信機１６４０を介して送信するようにさらに構成される。ベースの環境マップが顧客再生装置に通信された後、いくつかの実施形態において、更新された環境深度マップを頻繁に送るよりもむしろ、プロセッサ１６０８は、例えば、送信機１６４０を介して深度マップ差情報を顧客再生装置に送信するための処理システムを制御する。

[00140] 画像生成モジュール１６２１は、光領域カメラによってキャプチャされた少なくとも１つの画像、例えば、受信された画像１６２３から第１の画像を生成するように構成され、生成された第１の画像は、立体カメラによってキャプチャされた立体的な画像（例えば、立体的な画像コンテンツ１６２４）の少なくともいくつか中に含まれない関心がある画像の一部分を含む。いくつかの実施形態において、ストリーミング制御装置１６２０は、例えば、ネットワークインターフェース１６１０を介して、生成された第１の画像の少なくとも一部分を１つ以上の顧客再生装置に送信するようにさらに構成される。

[00141] いくつかの実施形態において、環境の深度マップは、画像がキャプチャされる環境の３Ｄモデルを形成するのに使用される。いくつかの実施形態において、画像生成モジュール１６２１は、関心がある環境においてキャプチャされた画像を３Ｄモデル上にラップするようにさらに構成される。いくつかの実施形態において、処理システムは、例えば、表示装置１６０２を通して、３Ｄモデル上にラップされた画像を表示する。したがって、いくつかの実施形態において、例えば、深度測定が実行され、生成された環境深度マップが対応する関心がある環境においてキャプチャされたシーンに対応する１つ以上の画像は、深度測定から作成された３Ｄ環境モデル上にラップされて、例えば、処理システム１６００のオペレータ又は管理者に表示され得る。

[00142] 深度マップ差決定モジュール１６２６は、現在の環境深度マップ１６３３（現在の環境深度マップとして設定された深度マップ）と最新の出力環境深度マップ１６３５（出力された最新の深度マップ）との間の差を決定するように構成される。深度マップ差決定モジュール１６２６は、現在の深度マップ（例えば、更新された現在の深度マップ）と最新の出力深度マップの間の深度情報における差が顕著であるどうかを決定するようにさらに構成される。深度マップ差情報１６３９は、深度マップ差決定モジュール１６２６の出力である。いくつかの実施形態において、深度マップ差情報１６３９は、現在の（例えば、更新された）環境深度マップ全体を送るよりもむしろ、顧客装置に通信される。

[00143] 受信された立体的な画像データ１６２４は、例えば、リグ８０１中に含まれるもののような、１つ以上の立体カメラから受信されたキャプチャされた立体的な画像対を含む。符号化された立体的な画像データ１６２８は、複数の異なるビットレートストリームをサポートするために、エンコーダ１６１６によって符号化された立体的な画像データの複数のセットを含む。

[00144] 静的な深度マップ１６３０は、例えば、ダウンロードにより得られた関心がある環境の深度マップである。立体カメラ対１６３２によってキャプチャされた画像から生成された環境深度マップと、１つ以上の光領域カメラ１６３４によってキャプチャされた画像から生成された環境深度マップは、いくつかの実施形態において、受信されたキャプチャされた画像１６２３と１６２４を使用して、環境深度マップ生成モジュール１６１７によって生成される。範囲１６３８に対応するデフォルト深度マップはまた、他のソースからの環境深度マップが利用可能でないとき、例えば、静的な深度マップ１６３０、環境深度マップ１６３２、及び環境深度マップ１６３４のいずれも使用のために利用可能でないときにおいてさえ使用するために、メモリ１６１２中にも記憶される。現在の環境深度マップ１６３３は、本発明の特徴により、深度マップ生成モジュール（深度マップ発生器）１６１７によって生成された環境の深度マップである。

[00145] いくつかの実施形態において、図１３と図１４において示されるさまざまなモジュールは、プロセッサ１５０８及び１６０８内のハードウェアにおいて、例えば、個々の回路として完全に実現される。他の実施形態において、例えば、プロセッサ１５０８、１６０８内で、例えば、回路としてモジュールの一部が実現され、例えば、プロセッサ１５０８、１６０８の外部及びこれらに結合された回路として他のモジュールが実現される。代替的に、回路として実現されるよりもむしろ、他のいくつかの実施形態において、モジュールの全て又はいくつかはソフトウェアにおいて実現され、装置における対応するプロセッサ、例えば、プロセッサ１５０６又は１６０８によってモジュールが実行されるとき、モジュールに対応する機能を実現するために、対応する装置１５００、１６００の動作を制御するそれぞれの装置におけるモジュールとして装置１５００と１６００のメモリ中に記憶され得る。

[00146] さらなる他の実施形態において、さまざまなモジュールは、ハードウェアとソフトウェアの組み合わせとして実現され、例えば、プロセッサ１５０８、１６０８の外部の回路が、ソフトウェア制御下でモジュールの機能の一部分を実行するように動作するプロセッサ１５０８、１６０８に入力を提供する。

[00147] 図１３と図１４のそれぞれにおいて、実施形態は、それぞれの装置１５００、１６００内で例えばコンピュータのような単一のプロセッサ１５０８、１６０８としての実施形態が示されているが、プロセッサ１５０８とプロセッサ１６０８は、１つ以上のプロセッサ、例えば、複数のコンピュータとして実現され得ることが正しく認識されるべきである。ソフトウェアにおいて実現されたとき、モジュールはコードを含み、プロセッサ１５０８、１６０８によって実行されたとき、プロセッサ例えばコンピュータをモジュールに対応する機能を実現するように構成する。いくつかの実施形態において、プロセッサ１５０８、１６０８は、対応する装置におけるモジュールのそれぞれを実現するように構成される。完全にハードウェアベースの又は完全にソフトウェアベースのモジュールは、装置１５００と１６００において使用され得る。しかしながら、ソフトウェアとハードウェアの任意の組み合わせ（例えば、回路が実現される）モジュールは、機能を実現するのに使用され得ることが正しく認識されるべきである。図１３と図１４において示されるモジュールは、そこにおいて、本発明によるプロセッサ１５０８、１６０８がさまざまな動作を実行するように、それぞれの装置１５００と１６００又は構成要素を制御及び／又は構成することが正しく認識されるべきである。

[00148] 画像システムを作動する例示的な方法は、少なくとも２つの異なる深度情報のソースから関心がある環境の環境深度マップを生成することと、生成された環境深度マップを出力することを備える。さまざまな実施形態において、少なくとも２つの異なる深度情報のソースは、ｉ）イベントの前に生成された環境の静的深度マップ、ｉｉ）立体的な画像対から取得された深度情報、又は、ｉｉｉ）１つ以上の光領域カメラによってキャプチャされた画像から取得された深度情報のうちの少なくとも２つからの深度情報を含む。

[00149] いくつかの実施形態において、イベントが進行中である間、方法は、１つ以上の光領域カメラによってキャプチャされた画像の処理から取得された深度情報に基づいて環境深度マップを更新することをさらに備える。いくつかの実施形態において、方法は、イベントの間に立体的な画像対をキャプチャするのに使用されるカメラの対によってキャプチャされた立体的な画像から生成された深度情報に基づいて、環境深度マップを更新することをさらに備える。

[00150] いくつかの実施形態において、立体的な画像対は、１つ以上の光領域カメラによってキャプチャされた画像から生成された環境深度情報によって提供されるものよりも、時間におけるポイントについてより多くの環境の深度測定を提供する環境深度情報を生成するために処理される。いくつかの実施形態において、環境深度マップは、環境が観客によって占められなかったときに行われたＬＩＤＡＲ測定に基づいて静的深度モデルから生成される。いくつかの実施形態において、ＬＩＤＡＲ測定は最大距離情報を提供する。いくつかの実施形態において、立体的な画像対から取得された深度情報は、ＬＩＤＡＲ測定の時間ではないイベントの間に存在する人、小道具、舞台装置及び／又はサインの効果を含む深度情報を提供する。いくつかの実施形態において、光領域カメラによってキャプチャされた画像から取得された深度マップ情報は、立体的な対によってキャプチャされた画像から取得された深度情報より正確な深度情報を提供する。

[00151] いくつかの実施形態において、１つ以上の深度のＬＩＤＡＲ測定は、環境における最大深度を決定して、非ＬＩＤＡＲ測定技術から取得された深度測定を較正又はスケールするのに使用される。例えば、所定のロケーションについて、ＬＩＤＡＲ深度は、光領域測定技術及び／又は立体測定技術によって決定された同じロケーションについての深度と比較されるかもしれない。深度の光領域測定がＬＩＤＡＲ深度測定よりも広い場合、測定における差は、時々、同じロケーションでＬＩＤＡＲ測定された深度に一致するように要求される量によって、光領域測定された深度をスケーリングすることによって調和されることもあり得る。例えば、ＬＩＤＡＲ測定深度が第１の距離Ｄ１であった場合、Ｄ１は光領域ベースの測定された深度Ｄ２よりも小さく、光領域測定された深度は、光領域測定を非常に正確なＬＩＤＡＲ測定と調和させるために、ファクタＤ２／Ｄ１によってスケールされるかもしれない。立体深度測定は、同じ方法で、Ｌｉｄａｒ及び／又は光領域測定と調和されるかもしれない。スケーリングファクタのこのような決定は、例えば、それらが壁や他の固定された構造に対応するために、最も外側の距離が固定されたおり、光領域又は立体的な測定がＬＩＤＡＲ測定が利用可能であるエリアにおける距離を、過大に見積もるような環境におけるロケーションに対して特に有用である。

[00152] 光領域又は立体深度測定が、所定のロケーションについてＬＩＤＡＲ測定よりも低いとき、より短い深度は、光領域又は立体深度測定エラーの環境又は何らかの種類に付加された対象に起因するかもしれない。このようなケースにおいて、調和は、深度測定が信頼できる方法で結合され得るように、スケーリングファクタが系統的な非ＬＩＤＡＲ測定エラーについて埋め合わせるように決定されるかもしれないＬＩＤＡＲ測定と比較して、光領域及び／又は立体深度測定が、環境の複数の異なるロケーションに関して一貫した不一致を示すか否かを決定することを伴い得る。

[00153] 光領域及び／又は立体カメラがカメラ位置から測定されたより短い深度に対する深度における短期の変化を示すとき、深度における変化は、環境中に置かれた又は移動された対象に起因することが仮定されるかもしれない。例えば、フレーム時間に対応する極端に短期の変化のケースにおいて、このような深度における変化は、極端に一過性の条件又は測定エラーに起因するかもしれない。

[00154] いくつかの実施形態において、複数のフレーム時間期間のために使用されることを意図された深度マップを変えることを避けるために、例えば、１つ以上のピクチャのグループに対応して、異なる深度測定を調和させることは、深度測定のソースのみではなく、以前に測定された深度及び／又は深度測定における変化の期間よりも低い深度の変化を測定が示すか否かを考慮する。例えば、立体的な深度測定は、複数のフレーム時間期間、例えば、数秒又は数分でキャプチャされた多数のフレーム及び／又はピクチャのグループ（group of picture）のようなビデオ符号化ユニット中に含まれているフレームの数に対応する時間期間に渡って平均化され得る。深度の変化が検出された時間量は、深度測定変化を、本来非常に一過性であり、あるいは、短期測定エラーに起因するような、画像をレンダリングするために使用される深度マップに導入することを避けるように考慮される。

[00155] いくつかの実施形態において、環境深度マップを更新することは、立体カメラの対による立体的な画像対によってキャプチャされた深度情報、及び／又は、立体カメラ対からではないが、深度情報が決定され得る既知の関係性を有し得る異なるカメラからの複数の画像に基づいている。深度マップを更新することは、いくつかの実施形態において、１つ以上の光領域カメラによってキャプチャされた画像から生成された深度情報を、立体カメラ対によってキャプチャされた立体的な画像から生成された深度情報と調和させることの一部として実行される。

[00156] いくつかの実施形態において、立体的な画像から取得された深度情報は、測定が対応するが低い正確性を有する空間的位置の数に関して、１つ以上の光領域カメラによってキャプチャされた画像から取得された深度情報よりも高い解像度のものである。したがって、さらなるデータポイント、例えば、異なる環境ロケーションについての深度測定は、いくつかの実施形態における光領域カメラからよりも、立体的な画像情報から取得されるかもしれない。いくつかの実施形態において、１つ以上の光領域カメラによってキャプチャされた画像から生成された深度情報と立体的な画像から取得された深度情報を調和させることは、深度情報が提供された光領域カメラが利用可能である環境ポイント間に位置付けられた環境ポイントについての深度を決定するために、立体的な画像から取得された深度情報を使用することを含む。

[00157] いくつかの実施形態において、環境深度マップは、画像がキャプチャされる環境の３Ｄモデルの形態にある。いくつかの実施形態において、方法は、深度測定から作成された環境の３Ｄモデル上に画像をラップすることによって、環境深度マップが一致する関心がある環境においてキャプチャされた画像を表示することをさらに備える。

[00158] いくつかの実施形態により実現される例示的な画像システムは、少なくとも２つの異なる深度情報のソースから関心がある環境の環境深度マップを生成し、生成された環境深度マップを出力するように構成されたプロセッサを備える。いくつかの実施形態において、システムは、環境の静的なマップを受信するように構成されたインターフェースと、環境の画像をキャプチャするように構成された光領域カメラと、環境の画像の対をキャプチャするためのカメラの立体的な対をさらに備える。さまざまな実施形態において、光領域カメラと立体カメラの対によってキャプチャされた画像は、画像がキャプチャされた環境の深度情報を生成して提供するのに使用される。

[00159] いくつかの実施形態において、プロセッサは、ｉ）静的なマップから取得された深度情報、ｉｉ）光領域カメラによってキャプチャされた画像から取得された深度情報、及び、ｉｉｉ）カメラの立体的な対によってキャプチャされた画像から取得された深度情報を含む、少なくとも２つの異なるソースからの深度情報を結合するように、環境深度マップを生成するように構成されることの一部として構成される。

[00160] いくつかの実施形態において、プロセッサは、イベント、例えば、ショー、コンサート、レース、スポーツの試合等が進行中である間、光領域カメラによってキャプチャされた画像の処理から取得された深度情報に基づいて、環境深度マップを更新するように構成される。したがって、例えば、リアルタイム又はほぼリアルタイムでの画像のレンダリングを促進するために、イベントが依然として進行中である間に、環境の深度モデルのリアルタイムの更新が行われることがあり、１つ以上の他の装置に提供され得る。いくつかの実施形態において、プロセッサは、イベントの間に立体カメラの対によってキャプチャされた画像から生成された深度情報に基づいて、環境深度マップを更新するようにさらに構成される。

[00161] いくつかの実施形態において、プロセッサは、少なくとも２つの異なる深度情報のソースからの深度情報を結合するように構成されることの一部として、光領域カメラによってキャプチャされた画像から生成された深度情報を立体カメラの対によってキャプチャされた立体的な画像から生成された深度情報と調和させるようにさらに構成される。

[00162] いくつかの実施形態において、プロセッサは、光領域カメラによってキャプチャされた画像から生成された深度情報と立体的な画像から取得された深度情報を調和させるように構成されることの一部として、光領域カメラによってキャプチャされた画像から取得された深度情報が利用可能である環境ポイント間に位置付けられた環境ポイントについての深度を決定するために、立体的な画像から取得された深度情報を使用するようにさらに構成される。

[00163] いくつかの実施形態において、環境の深度マップは、画像がキャプチャされる環境の３Ｄモデルを形成するように使用される。いくつかの実施形態において、システムは、３Ｄモデル上にラップされた関心がある環境においてキャプチャされた画像を表示するように構成された表示装置をさらに備える。

[00164] ステップが例示的な順序において示される一方、多くのケースにおいて、ステップの順序は、悪影響を与える作動無しで変えられ得ることが正しく認識されるべきである。したがって、適切な動作についてステップの例示的な順序が要求されない限り、ステップの順序は例示的であり、限定的ではないと考えられるものである。

[00165] さまざまな実施形態が議論されたが、必ずしも全ての実施形態が同じ特徴を含むのではないことが正しく認識されるべきである。記述された特徴のいくつかは、必須ではないが、いくつかの実施形態において望ましいことがあることが正しく認識されるべきである。

[00166] さまざまな範囲と例示的な値が記述されたが、範囲と値は例示的なものである。いくつかの実施形態において、値の範囲は上述された範囲よりも２０％広い。他の実施形態において、範囲は、上述された例示的な範囲よりも２０％小さい。同様に、特定の値は、時々、上で特定された値よりも２０％まで広いかもしれない一方、他の実施形態において、値は、上で特定された値よりも２０％まで小さい。さらなる他の実施形態において、他の値が使用される。

[00167] いくつかの実施形態は、立体的なビデオを符号化して圧縮するために、コンピュータ又は他の装置を制御するためのソフトウェア命令、例えば、コンピュータ実行可能な命令のセットを具現化する一時的でないコンピュータ読み取り可能な媒体に向けられる。他の実施形態は、プレーヤー端上のビデオを複合して伸長（decompress)するために、コンピュータ又は他の装置を制御するためのソフトウェア命令、例えば、コンピュータ実行可能な命令のセットを具現化するコンピュータ読み取り可能な媒体に向けられた実施形態である。符号化及び圧縮は可能性ある別の動作として言及されたが、符号化は圧縮を実行するのに使用されてもよく、したがって、符号化はいくらか圧縮を含み得ることが正しく認識されるべきである。同様に、復号は伸長も伴い得る。

[00168] さまざまな実施形態の技術は、ソフトウェア、ハードウェア、及び／又は、ソフトウェアとハードウェアの組み合わせを使用して実現され得る。さまざまな実施形態は、装置、例えば、画像データキャプチャと処理システムに向けられる。さまざまな実施形態はまた、例えば、画像キャプチャの方法、及び／又は、画像データを処理する方法に向けられる。さまざまな実施形態は、一時的でない機械、例えば、コンピュータ、読み取り可能な媒体、例えば、ＲＯＭ、ＲＡＭ、ＣＤ、ハードディスク等にも向けられ、これらは、方法の１つ以上のステップを実現するために機会を制御するための、機械読み取り可能な命令を含む。

[00169] 本発明のさまざまな特徴は、モジュールを使用して実現される。このようなモジュールは、いくつかの実施形態において、ソフトウェアモジュールとして実現される。他の実施形態において、モジュールはハードウェア中で実現される。さらに他の実施形態において、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実現される。いくつかの実施形態において、モジュールは、モジュールが対応する機能を実行するための回路として実現される各モジュールを有する個々の回路として実現される。幅広いさまざまな実施形態は、例えば、ハードウェア中のいくつか、ソフトウェア中のいくつか、及び、ハードウェアとソフトウェアの組み合わせを使用するいくつかで、異なるモジュールが異なって実現されるいくつかの実施形態を含むことが意図される。ルーティン及び／又はサブルーティン、又は、このようなルーティンによって実行されるステップのいくつかは、汎用プロセッサ上で実行されるソフトウェアに対向した専用ハードウェアにおいて実現され得ることにも着目されたい。このような実施形態は、本発明の範囲内にとどまる。上述された方法及び方法ステップの多くは、上述された方法の全て、又は一部分を実現するために、機械、例えば、付加的なハードウェアを有する又は無しの汎用コンピュータを制御するために、メモリ装置、例えば、ＲＡＭやフロッピー（登録商標）ディスク等のような機械読み取り可能な媒体中に含まれる、ソフトウェアのような、機械により実行可能な命令を使用して実現され得る。したがって、他のものの中でも、本発明は、機械、例えば、プロセッサ及び関係付けられたハードウェアに、上述された方法の１つ以上のステップを実行させるための、機械により実行可能な命令を含む機械読み取り可能な媒体に向けられる。

[00170] 上述されたさまざまな実施形態の方法及び装置上の多くの付加的な変形は、上記の観点から、当業者にとって明確となろう。このような変形は、範囲内にあると見なされる。

Claims (20)

1. 画像システムの作動方法であって、
   深度情報の少なくとも２つの異なるソースから、関心がある環境の環境深度マップを生成することと、
   前記生成された環境深度マップを出力することと、を備える、
   方法。
2. 前記深度情報の少なくとも２つの異なるソースは、ｉ）イベントの前に生成された環境の静的な深度マップ、ｉｉ）立体的な画像対から取得された深度情報、又は、ｉｉｉ）１つ以上の光領域カメラによってキャプチャされた画像から取得された深度情報、のうちの少なくとも２つからの深度情報を含む、請求項１に記載の方法。
3. 前記イベントが進行中である間、前記１つ以上の光領域カメラによってキャプチャされた画像の処理から取得された深度情報に基づいて、前記環境深度マップを更新することをさらに備える、請求項２に記載の方法。
4. 前記イベントの間に、立体的な画像対をキャプチャするのに使用されるカメラの対によってキャプチャされた立体的な画像から生成された深度情報に基づいて、前記環境深度マップを更新することをさらに備える、請求項３に記載の方法。
5. 前記立体的な画像対は、前記１つ以上の光領域カメラによってキャプチャされた画像から生成された環境深度情報によって提供されるものよりも、ある時点について、より多くの前記環境の深度測定を提供する前記環境深度情報を生成するように処理される、請求項４に記載の方法。
6. 前記環境深度マップは、前記環境がスペクテータによって占められなかったときに行われたＬＩＤＡＲ測定に基づいて、静的な深度モデルから生成される、請求項５に記載の方法。
7. 立体的画像対から取得された深度情報は、現在の、人、小道具、舞台装置、及び／又は、前記ＬＩＤＡＲ測定の時間ではない前記イベントの間に提示されるサインの効果を含む深度情報を提供する、請求項７に記載の方法。
8. 前記光領域カメラによってキャプチャされた画像から取得された前記深度マップ情報は、前記立体的な対によってキャプチャされた前記画像から取得された前記深度情報よりも正確な深度情報を提供する、請求項８に記載の方法。
9. 立体的な画像対によってキャプチャされた深度情報に基づいて前記環境深度マップを更新することは、前記１つ以上の光領域カメラによってキャプチャされた画像から生成された深度情報を、立体的なカメラ対によってキャプチャされた前記立体的な画像から生成された深度情報と調和させることの一部として実行される、請求項４に記載の方法。
10. 前記立体的な画像から取得された前記深度情報は、測定は対応するが、前記１つ以上の光領域カメラによってキャプチャされた前記画像から取得された前記深度情報よりも低い正確性を有する、空間的位置の数に関してより高い解像度のものである、請求項１０に記載の方法。
11. 前記１つ以上の光領域カメラによってキャプチャされた画像から生成された深度情報を、立体的な画像から取得された深度情報と調和させることは、光領域カメラが深度情報を提供した環境のポイント間で位置付けられた環境のポイントについての深度が利用可能であると決定するために、立体的な画像から取得された前記深度情報を使用することを含む、請求項９に記載の方法。
12. 前記環境深度マップは、画像がキャプチャされる前記環境の３Ｄモデルの形態である、請求項１に記載の方法。
13. 深度測定から作成された前記環境の前記３Ｄモデル上に前記画像をラップすることによって前記環境深度マップが対応する、前記関心がある環境においてキャプチャされた画像を表示することをさらに備える、請求項１に記載の方法。
14. 画像システムであって、
    深度情報の少なくとも２つの異なるソースから、関心がある環境の環境深度マップを生成し、
    前記生成された環境深度マップを出力するように構成されたプロセッサを備える、
    システム。
15. 前記環境の静的なマップを受信するように構成されたインターフェースと、
    前記環境の画像をキャプチャするための光領域カメラと、
    前記環境の画像の対をキャプチャするためのカメラの立体的な対と、をさらに備える、請求項１４に記載のシステム。
16. 前記プロセッサは、前記環境深度マップを生成するように構成されたことの一部として、
    ｉ）前記静的なマップから取得された深度情報、ｉｉ）前記光領域カメラによってキャプチャされた画像から取得された深度情報、及び、ｉｉｉ）前記カメラの立体的な対によってキャプチャされた画像から取得された深度情報を含む、前記深度情報の少なくとも２つの異なるソースからの深度情報を結合するように構成された、請求項１５に記載のシステム。
17. 前記プロセッサは、
    前記イベントが進行中である間、前記光領域カメラによってキャプチャされた画像の処理から取得された深度情報に基づいて、前記環境深度マップを更新するようにさらに構成された、請求項１６に記載のシステム。
18. 前記プロセッサは、前記深度情報の少なくとも２つの異なるソースからの深度情報を結合するように構成されたことの一部として、前記光領域カメラによってキャプチャされた画像から生成された深度情報を、前記カメラの立体的な対によってキャプチャされた前記立体的な画像から生成された深度情報と調和させるようにさらに構成された、請求項１６に記載のシステム。
19. 前記環境の深度マップは、画像がキャプチャされる前記環境の３Ｄモデルを形成するのに使用され、前記システムは、
    前記３Ｄモデル上にラップされた前記関心がある環境においてキャプチャされた画像を表示するように構成された表示装置をさらに備える、請求項１４に記載のシステム。
20. コンピュータ実行可能な命令を含む一時的でないコンピュータ読み取り可能な媒体であって、コンピュータによって実行されたとき、前記コンピュータが、
    深度情報の少なくとも２つの異なるソースから、関心がある環境の環境深度マップを生成し、
    前記生成された環境深度マップを出力するように制御する、
    一時的でないコンピュータ読み取り可能な媒体。

Images