JP2016511850A - プレノプティックライトフィールドに対しアノテーションを付加するための方法および装置 - Google Patents

Abstract

【課題】既存の拡張現実システムに関する問題を解決、軽減する。【解決手段】プレノプティックキャプチャデバイス（４）を用いてライトフィールドを表わすデータをリトリーブするステップ（１００）と；対応する基準データとリトリーブしたデータをマッチングするためにプログラムコードを実行するステップ（１０１）と；前記基準データの一要素に結びつけられたプレノプティックフォーマットの少なくとも１つのアノテーション（６１、６３、６４）をリトリーブするためにプログラムコードを実行するステップ（１０２）と；前記リトリーブされたデータおよび前記アノテーションからプレノプティックフォーマットでアノテート済みデータを生成するためにプログラムコードを実行するステップ（１０３）と、を含む方法。【選択図】図８

Description

本発明は、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）の方法および装置、詳細には、１つのシーンに対応するデータにアノテーションを付加するための方法およびさまざまな装置に関する。

スマートフォン、パームトップコンピュータ、ポータブルメディアプレーヤー、携帯情報端末（ＰＤＡ）デバイスなどのハンドヘルドポータブルデバイスの開発が急速に進歩したことにより、画像処理が関与する新規のフィーチャおよびアプリケーションが内含されるに至った。例えば、ユーザーが１つのシーン、例えば景色、建物、ポスターまたは美術館内の絵画に携帯デバイスを向けると、ディスプレイがそのシーンに関するスーパーインポーズされた情報と共に画像を示す
拡張現実アプリケーションが公知である。このような情報は、例えば山や居住地についての名称、人物の名前、建物の歴史的情報および例えばレストランのメニューなどの広告といった商業的情報が含み得る。このようなシステムの一例が、欧州特許第１２４６０８０号明細書および欧州特許出願公開第２２０７１１３号明細書の中に記載されている。

無線通信ネットワーク内でサーバーによりポータブルデバイスに対してアノテーション情報を供給することは公知である。サーバーおよびポータブルデバイスを伴う通信ネットワークを含むアノテーションシステムならびにアノテーション方法も同様に公知である。

多くのアノテーション方法は、標準的ＣＣＤまたはＣＭＯＳセンサーを伴う標準的なピンホールカメラにより生成される２Ｄ画像またはコンピュータ生成画像などの画像を、データベース内に記憶された一組の基準画像と比較するステップを含む。実際の視角および照明条件は、データベース内に記憶された画像に対して異なっている可能性があることから、比較アルゴリズムのねらいは、これらのパラメータの影響を除去することにある。

例えば、国際公開第２００８／１３４９０１号は、通信端末と結びつけられたデジタルカメラを使用して第１の画像を撮影する方法について記載している。第１の画像に関係するクエリーデータが、通信ネットワークを介してリモートの認識サーバーに伝達され、ここで整合する基準画像が識別される。第１の画像の一部をアノテート済み画像の少なくとも一部で置換することによって、拡張画像が生成され、通信端末において表示される。カメラを用いて撮影した第１の画像の拡張（ａｕｇｍｅｎｔａｔｉｏｎ）は、平面空間内で発生し、２次元の画像およびオブジェクトのみを処理する。

光線（ｌｉｇｈｔ ｒａｙ）情報、例えば空間の各点内の光線の方向などは、従来の画像アノテーションシステムでは廃棄される。光線情報の無いアノテーションは、アノテート済みシーンの現実的なビューをより困難なものにする。例えば、１つのオブジェクトの表面上のテクスチャをキャプチャまたは表示するには、光線情報が求められる。各オブジェクトはその表面上に異なるテクスチャを有しているが、現在のアノテーションシステム内にテクスチャ情報を付加することは不可能である。その結果、シーン内に現実的に組込まれていないアノテーションが添付されることになる。

その上、拡張現実アプリケーションの急速な成長は、将来においてアノテーションの氾濫をひき起こしかねない。例えば都市におけるいくつかのシーンは、異なるアノテーションに結びつけられる多くの要素を含み、結果として、背景画像の大きな部分を網羅する非常に多数のアノテーションを伴うアノテート済み画像がもたらされる。多くの状況において、ユーザーは、これらのアノテーションのうち限定数のもののみに関心があり、他のアノテーションは単に気が散るものでしかない。したがって、多くの場合、アノテーションの数を制限し、表示すべきアノテーションを選択する方法を提供することが望ましい。

その上、計算時間（ｃｏｍｐｕｔａｔｉｏｎａｌ ｅｘｐｅｎｓｅ）は、アノテート済みシーンのビューイングにとって重大な問題である。計算時間の削減が求められるものと考えられる。

したがって、本発明の目的は、既存の拡張現実システムに関する上述の問題を解決するかまたは少なくとも軽減することにある。

本発明によると、これらの目的は、
− プレノプティックキャプチャデバイスを用いてライトフィールドを表わすデータをリトリーブするステップと；
− キャプチャしたデータと対応する基準データとをマッチングするためにプログラムコードを実行するステップと；
− 前記基準データの一要素に結びつけられたプレノプティックフォーマットのアノテーションをリトリーブするためにプログラムコードを実行するステップと；
− 前記キャプチャされたデータおよび前記アノテーションからアノテート済みデータをプレノプティックフォーマットで生成するためにプログラムコードを実行するステップと；
を含む方法によって達成される。

本発明は同様に、１つのシーンに対応するデータをキャプチャしアノテートするための装置であって、
− ライトフィールドを表わすデータをキャプチャするためのプレノプティックキャプチャデバイスと；
− プロセッサーと；
− ディスプレイと；
− プログラムコードが実行された時点で、前記プレノプティックキャプチャデバイスを用いてキャプチャされたデータの一要素と結びつけられたプレノプティックフォーマットの少なくとも１つのアノテーションを前記プロセッサにリトリーブさせるための、および、キャプチャされたデータから生成され前記少なくとも１つのアノテーションを含むビューを前記ディスプレイ上にレンダリングするための前記プログラムコードと；
を含む装置によって達成される。

本発明は同様に、アノテーションを決定するための装置であって：
− プロセッサと；
− 記憶装置（ｓｔｏｒｅ）と；
− プログラムコードが実行された時点で前記プロセッサにライトフィールドを表わすデータを受信させ、前記データを１つの基準データとマッチさせ、前記基準データと結びつけられたプレノプティックフォーマットの前記記憶装置からのアノテーションを決定させ、かつプレノプティックフォーマットの前記アノテーションかまたはプレノプティックフォーマットのアノテート済み画像に対応するデータのいずれかをリモートデバイスに対して送信させるための前記プログラムコードと；
を含む装置をも提供する。

請求対象であるプレノプティックフォーマットのアノテーションの付加により、プレノプティックフォーマットでの画像内のアノテーションのより現実的な組込みが可能になる。アノテーションは、１つの画像上にスーパーインポーズされた単なるテキストではなく、キャプチャされたシーンの１つの要素であるように見える。プレノプティックフォーマットのアノテーション（本出願では「プレノプティックアノテーション」とも呼ばれる）は、光線がいかに修正されるかの情報を含めた、従来のアノテーションよりもさらに完全なライトフィールドの記述を含んでいる。

プレノプティックフォーマットでのアノテーションの提供によって同様に、画像のレンダリングの間にユーザーが選択するかまたは例えばユーザーの関心などに基づいて自動的に選択される視点および／またはフォーカス距離に応じて、表示すべきアノテーションを選択することが可能となる。

アノテーションは、キャプチャされたデータと同じ空間（すなわちプレノプティック空間）内にあることから、アノテーションプロセスのための計算時間は削減される。

詳細には、人間が理解できるフォーマットのプレノプティックデータをレンダリングするための計算時間は削減される。実際には、プレノプティックフォーマットの画像およびプレノプティックアノテーションは同じ空間内にあることから、レンダリングプロセスは、両方について同様である。一実施形態では、画像および結び付けられたアノテーションをレンダリングするために、単一のレンダリングプロセスを使用することができる。この場合、プレノプティックレンダリングプロセスのために選択される投影パラメータ（例えば焦点、深度、視点変更…の選択）は、プレノプティックアノテーションにも当てはまる。例えば、プレノプティック画像の焦点または視点を変更する場合、さまざまな距離でプレノプティックアノテーションを表示するために同じ変換を使用することができる。別の実施形態では、アノテーションのエフェクトはキャプチャされたプレノプティック画像にも適用され、修正されたプレノプティック画像のレンダリングが実施される。

したがって、プレノプティックアノテーションすなわちプレノプティックフォーマットのアノテーションは、現実的なアノテーション表示方法を提供し、テクスチャリングされたアノテーションを含めたより多くのタイプのアノテーションを可能にし、計算効率を高める。

従来のアノテーションとは異なり、プレノプティックアノテーションは、プレノプティックキャプチャデバイスによりキャプチャされた画像と同じだけの光線に関する情報を含み得る。したがって、２Ｄ画像上への投影によりひき起こされる光線情報の喪失無く、キャプチャされたライトフィールド内で直接アノテーションを合成することが可能である。例えば、アノテーションは、アノテートされたオブジェクトの表面上の光反射特性を保持することができるが、これは従来のアノテーションシステムでは不可能である。この意味において、アノテートされたビューはより現実的であるように見える。

光線の直接的修正は、多数の視点からのアノテートされたシーンの同時生成など、計算を容易にすることができる。アノテートされたシーン生成の例においては、各視点について生成された２Ｄ画像上にアノテーションを添付し追加処理を適用する代りに、アノテーション処理およびシーンについての例えばぼかしまたは鮮明化などの他の追加処理が、プレノプティックフォーマットで一回、直接適用される。したがって、直接プレノプティックフォーマットでプレノプティック画像およびプレノプティックアノテーションを合成することが、計算時間の削減を結果としてもたらし得る。

本発明は同様に、プレノプティックフォーマットの基準画像に対しアノテーションを添付するための方法であって、
− ビューワを用いてプレノプティックフォーマットの前記基準画像を提示するステップと；
− アノテーションを選択するステップと；
− 前記ビューワを用いて、前記アノテーションのための位置を選択し、かつ前記アノテーションを見ることのできる１つまたは複数の方向を選択するステップと；
− メモリー内で、前記アノテーションおよび前記プレノプティックフォーマットの基準画像と前記位置および前記方向とを結びつけるステップと；
を含む方法にも関する。

本方法は、好適なソフトウェアアプリケーションまたはウェブサイトなどの好適なオーサリングシステムを用いて実施されてよい。

本発明は、一例として提供され図中に示されている一実施形態の説明を用いてより良く理解されるものである。

第１の距離にある１つのオブジェクトを伴うシーンのライトフィールドを表わすデータをキャプチャするためのプレノプティックキャプチャデバイスを概略的に示す。 第２の距離にある１つのオブジェクトを伴うシーンのライトフィールドを表わすデータをキャプチャするためのプレノプティックキャプチャデバイスを概略的に示す。 第３の距離にある１つのオブジェクトを伴うシーンのライトフィールドを表わすデータをキャプチャするためのプレノプティックキャプチャデバイスを概略的に示す。 共に本発明を実施するさまざまな装置を含むシステムを概略的に示す。 同じプレノプティックデータからレンダリングされたアノテート済みビューを示し、ここでレンダリング中にユーザーが選択した視点は２つのビューの間で変化し、その結果同じアノテーションが異なる形でレンダリングされる。 同じプレノプティックデータからレンダリングされたアノテート済みビューを示し、ここでレンダリング中にユーザーが選択した視点は２つのビューの間で変化し、その結果同じアノテーションが異なる形でレンダリングされる。 同じプレノプティックデータからレンダリングされたアノテート済みビューを示し、ここでレンダリング中にユーザーが選択した視点は２つのビューの間で変化し、その結果第１のビュー上には第１のアノテーションが見えるようになっており、第２のビュー上には第２のアノテーションが見えるようになっている。 同じプレノプティックデータからレンダリングされたアノテート済みビューを示し、ここでレンダリング中にユーザーが選択した視点は２つのビューの間で変化し、その結果第１のビュー上には第１のアノテーションが見えるようになっており、第２のビュー上には第２のアノテーションが見えるようになっている。 同じプレノプティックデータからレンダリングされたアノテート済みビューを示し、ここでレンダリング中にユーザーが選択したフォーカス距離は２つのビューの間で変化し、その結果第１のビュー上には第１のアノテーションが見えるようになっており、第２のビュー上には第２のアノテーションが見えるようになっている。 同じプレノプティックデータからレンダリングされたアノテート済みビューを示し、ここでレンダリング中にユーザーが選択したフォーカス距離は２つのビューの間で変化し、その結果第１のビュー上には第１のアノテーションが見えるようになっており、第２のビュー上には第２のアノテーションが見えるようになっている。 プレノプティックフォーマットのアノテーションを伴うビューを生成しレンダリングするための方法のブロック図である。 ビューワが異なるビューイング方向および／またはビュー上の異なるフォーカス距離を選択した場合にアノテーションのレンダリングを修正するための方法のブロック図である。 プレノプティックフォーマットのアノテーションと基準データを結びつけるための方法のブロック図である。 一連のプレノプティック画像、例えばビデオプレノプティック画像または移動中のユーザーがキャプチャするプレノプティック画像の連続的アノテーション方法のブロック図である。

従来のカメラは、センサー上で１シーンの２Ｄ投影をキャプチャし、有色または無色の各ピクセル上の光強度を表わすデータを生成する。一方で、そのようなものとして公知であるプレノプティックキャプチャデバイスは、ライトフィールドを表わすデータを、すなわち光の強度のみならず光の方向を含めたライトフィールドについてのより完全な情報を示すマトリクスをキャプチャする。

完全なライトフィールドは、各光線を記述するため（あるいは所与の位置における光線を記述するため）に最大で７つのパラメータ、すなわち位置について３つ、方向について２つ、波長について１つそして（ビデオの場合）時間について１つのパラメータを含んでいてよい。現在のプレノプティックカメラの一部のものは、位置について２つ、方向について２つそして波長について１つのパラメータを含むプレノプティックデータを送出する。センサーは、いわゆるプレノプティックライトフィールド、すなわち少なくとも光線の位置および方向を示すマトリクスを表わすプレノプティックデータを生成する。このことはすなわち、プレノプティックキャプチャデバイスにより生成されるプレノプティックデータが、従来の２Ｄカメラにより生成される従来の２Ｄ画像データよりも多くのライトフィールドに関する情報を含んでいるということを意味している。

今日現在、少なくとも２つの会社、すなわちＬｙｔｒｏとＲａｙｔｒｉｘが、このようなプレノプティックライトフィールドを記録できるプレノプティックセンサーを提案している。２社のカメラは、設計に関してわずかに異なっているものの、主たる考え方は、標準的なカメラセンサー内の単一のフォトサイト（またはピクセル）に当たると推定される光の種々の方向を分解することにある。その目的のため、図１に示されている通り、マイクロレンズ２０のアレイが、メインレンズ１の後方に、従来のカメラのセンサーの代りに設置されている。

このようにして、マイクロレンズ２０は、その入射角に応じて光線の方向を変え、方向の変えられた光線はセンサー２１の異なるピクセル２１０に到達する。サブイメージを構成するＮ×Ｍ個のピクセル２１０の各々によって測定される光の量は、このサブイメージの前でマイクロレンズ２０をヒットする光ビームの方向により左右される。

図１〜３は、ｎ＝９個のサブイメージを含む単純な１次元センサーを示しており、各サブイメージはＮ×Ｍ個のピクセル（またはフォトサイト）２１０の１本の横列を有し、この例では、Ｎは３に等しくＭは１に等しい。多くのプレノプティックセンサーは、より多くのサブイメージおよび各サブイメージについてより多くのピクセル、例えば９×９個のピクセルを有し、マイクロレンズ２０上でＮ×Ｍ＝８１個の異なる光配向の間での区別を可能にしている。シーンの全てのオブジェクトの焦点が合っていると仮定すると、こうして各サブイメージは、そのサブイメージ上へのさまざまな方向に由来する光の量を表わす明度値のパッチを含む。

この構造では、マイクロレンズ２０のアレイは、プレノプティックキャプチャデバイスのメインレンズ１により形成される画像平面上に位置設定され、センサー２１は、マイクロレンズから距離ｆのところに位置設定され、ここでｆはマイクロレンズの焦点距離である。この設計は、高い角度分解能を可能にするが、空間分解能が比較的低い（レンダリングされた画像１つあたりの有効ピクセル数はマイクロレンズの数に等しい）。この問題はマイクロレンズがメインレンズの画像平面上に焦点を合わせこうしてマイクロレンズと画像平面の間の空隙を作り出す他のプレノプティックキャプチャデバイスによって対処される。このような設計において支払うべき代償は、角度分解能がより低いということである。

図１〜３に見られるように、この実施例中の単一の点３を伴うシーンに対応するプレノプティックライトフィールドは、点３からメインレンズ１までの距離によって左右される。図１では、このオブジェクトに由来する全ての光ビームは同じマイクロレンズ２０に到達し、こうしてこのマイクロレンズに対応するサブイメージ内の全てのピクセルが第１の正の光強度を記録しその一方で他のレンズに対応する他の全てのピクセルが異なるヌル（ｎｕｌｌ）の光強度を記録するプレノプティックライトフィールドが結果としてもたらされる。オブジェクト３がレンズ１により近い図２では、点３に由来する一部の光ビームが、他のサブイメージすなわち前述でヒットされたマイクロレンズに隣接する２つのマイクロレンズに付随するサブイメージの複数のピクセルに到達する。オブジェクト３がレンズ１からより大きい距離のところにある図３では、点３に由来する一部の光ビームは、前述でヒットされたマイクロレンズに隣接する２つのマイクロレンズと結びつけられた異なる複数のピクセルに到達する。したがって、センサー２１により送出されるデジタルデータ２２は、オブジェクト３までの距離によって左右される。

プレノプティックセンサー２１はこうして、マイクロレンズ２０に対応する各サブイメージについて、このサブイメージの上方のレンズ上のさまざまな方向に由来する光の量を示す（Ｎ×Ｍ）個の値のセットを含むプレノプティックデータ２２を送出する。所与の焦点合せされたオブジェクト点について、サブイメージの各ピクセルは、一定の入射角ファイ（頁の平面内）およびシータ（頁の平面に対し垂直）でセンサーをヒットする光線強度の測度に対応する。

図４は、本発明を実施するアノテーションシステムのブロック図を概略的に示す。システムは、ユーザーデバイス４を、例えばハンドヘルドデバイス、スマートフォン、タブレット、カメラ、メガネ、ゴーグル、コンタクトレンズなどを含む。デバイス４は、プレノプティックキャプチャデバイス４１、例えば、シーン３上のライトフィールドを表わすデータをキャプチャするための、図１〜３に示されたカメラなどのプレノプティックキャプチャデバイスと、好適なプログラムコードを伴うマイクロプロセッサ４００などのプロセッサと、インターネット６などのネットワークを介して例えばクラウドサーバーなどのリモートサーバー５に対してデバイス４を接続するためのＷＩＦＩおよび／またはセルラーインターフェースなどの通信モジュール４０１を含む。サーバー５は、ＳＱＬデータベースなどのデータベース、１組のＸＭＬ文書、１組のプレノプティックフォーマットなどの画像を伴い、１つまたは複数のグローバルモデルおよび／または画像を表わす基準プレノプティックデータのコレクションを記憶するためのストレージ５０を含み、また、アノテーション方法において必要とされるオペレーションをマイクロプロセッサに実施させるためのコンピュータコードを伴うマイクロプロセッサを含むプロセッサ５１を含む。アノテーションおよび対応する位置はまた、基準プレノプティックデータと共にストレージ５０内に記憶され得る。

ユーザーデバイス４により実行されるプログラムコードは、例えば、ユーザーデバイス４内でユーザーがダウンロードおよびインストールできるアプリケーションソフトウェアつまりａｐｐを含むことができる。プログラムコードはまた、ユーザーデバイス４のオペレーティングコードの一部を含むこともできる。プログラムコードはまた、例えばＪａｖａ（登録商標）、Ｊａｖａｓｃｒｉｐｔ、ＨＴＭＬ５コードなどを含めた、ウェブページ内に埋め込まれるかまたはブラウザ内で実行されるコードをも含むことができる。プログラムコードは、例えばフラッシュメモリー、ハードディスクまたは、任意のタイプの永久または半永久メモリなどの有形装置可読媒体内にコンピュータプログラム製品として記憶されてよい。

プログラムコードは、ユーザーデバイス４内でマイクロプロセッサ４００により実行されて、ライトフィールドに対応するキャプチャされたデータセット、またはこれらのデータセットのフィーチャのうちの少なくとも一部をこのマイクロプロセッサがリモートサーバー５に送るようにする。プログラムコードは「プレノプティックフォーマット」で、すなわち光線の方向に関する情報を喪失することなくデータを送信するように構成される。プログラムコードはまた、マイクロプロセッサ４００に、サーバー５から、プレノプティックフォーマットのアノテート済みデータ、またはアノテート済み画像、または先に送信されたプレノプティックデータに関係するアノテーションを受信させ、アノテーションを伴うキャプチャデータ（ｃａｐｔｕｒｅｄ ｄａｔａ）に対応するビューをレンダリングすることもできる。

プレノプティックアノテーション方法は、オフラインプロセスとオンラインプロセスの２つの部分を含んでいてよい。概して、オフラインプロセスの主要な目的は、プレノプティックフォーマットの基準画像または他の２Ｄ、立体または３Ｄ基準画像とアノテーションを結びつけることにある。

オフラインフェーズ
プレノプティックフォーマットの基準画像の場合、オフラインプロセスは例えば以下のステップを含んでいてよい：
１．プレノプティックフォーマットの基準データをデバイス４から受けとり、ライトフィールドを表現するステップ；
２．例えばプレノプティックビューワを用いて、プレノプティック基準画像のレンダリングされたビューを提示するステップ；
３．プレノプティックアノテーションを選択するステップ；
４．レンダリングされたビュー内のアノテーションのための位置および配向を選択するステップ；
５．アノテーションの１つまたは複数のライトフィールドパラメータを選択するステップ；
６．（任意）１つのアクションをアノテーションに帰属させる（ａｔｔｒｉｂｕｔｉｎｇ）ステップ；
７．メモリー内で基準画像光線を、その位置および配向に基づいてアノテーション光線と結びつけるステップ。

このオフラインプロセスは、サーバー５上、ユーザーデバイス４内、またはさらに別の機器、例えばパーソナルコンピュータ、タブレットなどにおいて実施され得る。典型的には、このオフラインプロセスは、基準画像と結びつけられた各アノテーションについて一回だけ実行される。選択されたアノテーションが当初プレノプティックフォーマットで利用可能でない場合、それをプレノプティックフォーマットへとコンバートしてよい。

オンラインプロセスの主要な目的は、プレノプティック画像に対しプレノプティックアノテーションを付加することにある。オンラインプロセスは、２つの段階を含んでいてよい。第１の段階は、実行可能なプログラムを含んでいてよいサーバー５内のマイクロプロセッサによって実行されるプログラムコードあるいはサーバー５に以下のタスクのうちの少なくとも一部を実施させるための他のコードによって実施されてよい：
１．プレノプティックフォーマットのデータをデバイス４から受信し、ライトフィールドを表現すること；
２．前に記憶されたモデル（基準画像）および／または複数の基準データをデータベース５０からリトリーブすること；
３．ユーザーデバイスから受信したデータを、基準画像の一部と、または複数の基準画像のうちの１つとそれぞれ、マッチングすること；
４．マッチした基準画像と結びつけられたアノテーションを決定すること、
５．デバイス４に対して、プレノプティックフォーマットのアノテーションまたはプレノプティックフォーマットのアノテート済み画像を送信すること。

さまざまな実施形態において、サーバー内の基準画像とマッチングするためにリモートサーバー５にキャプチャデータを送信する代りに、このマッチングを、ローカル的に記憶された基準画像セットまたはデバイス内にローカル的に記憶されたモデルと、ユーザーのデバイス内でローカル的に行なうことができる。この実施形態では、サーバー５はユーザーのデバイス４上に搭載される。オンラインプロセスは、ユーザーのリクエストに応じて数回実行することができる。

オンラインプロセスの第２段階は、実行可能なプログラムを含んでいてよいデバイス４内のマイクロプロセッサにより実行されるプログラムコードによって、あるいはデバイス４に以下のタスクのうちの少なくとも一部を実施させるための他のコードによって、実施されてよい：
１．場合によっては結びつけられたアクションと共に、プレノプティックフォーマットのアノテーションデータをサーバー５から受信すること；
２．キャプチャされたプレノプティックライトフィールドに対して、受信したアノテーションデータを適用すること；
３．アノテート済みライトフィールドをユーザー可視ビューにレンダリングすること；
４．ユーザーインタラクションを解釈し、結びつけられたアノテーションアクションを実行すること。

さまざまな実施形態において、デバイス４上でキャプチャされたプレノプティックライトフィールドに対し受信したアノテーションを適用する代りに、このステップをサーバー５の側で行なうことができる。この場合、最終的なレンダリングされたビュー、またはアノテート済みライトフィールド全体のいずれかがデバイス４に伝送し戻される。

したがって、ユーザーは、プレノプティック基準画像のレンダリングされたビューとの関係における特定の位置および配向とアノテーションを結びつけることができ、また、アノテーションがこの特定のビュー内で使用すべき１つまたは複数のライトフィールドパラメータを指示（ｉｎｄｉｃａｔｅ）することができる。同じアノテーションを、ビューのレンダリング中ビューワによって選択された視点に応じて異なる形でレンダリングしてもよい。アノテーションのライトフィールドパラメータは変化する場合があることから、ビューワが異なる視点を選択した場合、同じロケーションで第１のアノテーションを第２のアノテーションに置換してよい。

オフラインプロセスのフローチャートの一例が、図１０に示されている。このフローチャートは、ユーザーが基準画像と結びつけられるべきアノテーションおよびこのアノテーションを伴う位置、配向およびライトフィールドパラメータを選択でき、こうしてこのアノテーションが、このプレノプティック基準画像とマッチするキャプチャされたプレノプティック画像に適用されるようにする方法を示している。

この方法は、ユーザーのデバイス４内でローカル的に実行されてよいアノテーションオーサリングシステムを使用することができる。アノテーションオーサリングシステムはまた、サーバー５上でホスティングされてよく、ここで、ウェブプラットフォームがいくつかのツールを提示してアノテーションを管理しそれらをプレノプティック基準画像に関係づけする。拡張現実使用統計（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｕｓａｇｅ ｓｔａｔｉｓｔｉｃｓ）などのサービスはまた、ウェブプラットフォームから利用可能である。アノテーションオーサリングシステムはまた、ユーザーのパーソナルコンピュータ、タブレットなどを含めた異なるサーバーまたは機器において実行されてよい。

ステップ１５０において、ユーザーは、基準画像、例えばプレノプティックフォーマットの画像を選択する。画像はプレノプティックオーサリングシステム上にアップロードされ、アノテーションのためのサポート画像として役立つ。

プレノプティックオーサリングシステムの一部として、ビューワは、ユーザーがそれを視覚化できるような形でユーザーに対しアップロード済みデータをレンダリングする。データが、人間が容易にそのようなものとして理解することのできないプレノプティックフォーマットである場合、これには、ユーザーにより理解可能な空間内でプレノプティックモデルをレンダリングするためのプレノプティックレンダリングモジュールを使用するステップが含まれる可能性がある。ビューワは、プレノプティックデータを操作し所与のビューとの関係において所望の位置および配向でアノテーションを設置するためのツールを構成するが、プレノプティックアノテーションを用いた全ての処理および組合せは、プレノプティック空間内で直接行なわれる。

一実施形態において、プレノプティックモデルは２Ｄビューとしてレンダリングされ得、こうしてユーザーは一度に１つの視点からかつ一度に１つのフォーカス距離でそれを視覚化できるようになり、こうして、ユーザーはプレノプティックモデルを理解し編集することができるようになる。一方の２Ｄビューから他方の２Ｄビューへとナビゲートするためにはリクエストがあった時点で別の２Ｄビューを表示できるように制御機構が利用可能である。

別の実施形態においては、光線の異なる方向を視覚化することのできる、部分的３Ｄシーンとしてプレノプティックモデルをレンダリングしてよい。標準的な完全な３Ｄシーンとの主たる差異は、プレノプティックモデルからレンダリングされた時点で３Ｄシーンの探索が制限されるということにある。例えば、ビュー方向ならびにビュー位置は、プレノプティックキャプチャデバイスによってキャプチャされていたものに限定される。

ステップ１５１において、ユーザーは、プレノプティックモデルの特定の要素またはロケーションと結びつけたいプレノプティックアノテーションを選択する。すでに言及した通り、プレノプティックアノテーションはプレノプティック空間内で定義づけされ、したがって光線により記述される。これらの光線は、例えばテキスト、画像、ビデオまたはプレノプティック画像光線に対して直接作用する他の要素を記述することができる。プレノプティックアノテーションは、データベース内またはファイルエクスプローラなどの中のプレノプティックアノテーションライブラリからリトリーブされてよい。プレノプティックアノテーションはまた、例えばプレノプティックキャプチャデバイスでそれをキャプチャすることによって、テキストエディタを用いてテキストを入力することによって、画像を描画することによって、および／または音声またはビデオを記録することによって、オンザフライで作り出すこともできる。

一実施形態において、プレノプティックアノテーションを、プレビューとしてオーサリングシステム上のリストまたはライブラリ内に提示することができる。プレノプティックアノテーションプレビューは、デフォルトビューのためのアノテーションのレンダリングに対応する。このデフォルトビューは、ランダムに取ることができ、あるいは好ましい実施形態においては、位置および方向のプレノプティックアノテーション範囲に関してセンタービューに対応するものとして取ることができる。プレビューにより、ユーザーは、プレノプティックアノテーションが何に対応しているかについて迅速かつ明確に認識することができる。モデルの波長に作用しないアノテーションの一般的タイプのアノテーションすなわち、そのままで視覚化できないアノテーションについて、プレビューは、オーサリングシステムによりレンダリングされた現在のモデルビューのセンターに適用されるアノテーションを示す。したがって、このタイプのアノテーションが単に全てのモデル光線を１０°回転させる効果しか有さない場合、プレビューは現在のモデルレンダリングされたビューの、各光線が１０°回転させられているセンター部分で構成されることになる。

ステップ１５２では、ユーザーは、自らプレノプティックアノテーションを付加したい選択された基準モデルの、レンダリングされたビューの座標系内の１つの位置を、プレノプティックアノテーションオーサリングシステムを用いて選択する。これは、例えば、所望のロケーションで、表示されたビューのトップにあるアノテーションプレビューリストからアノテーションをドラッグすることによって、および場合によって、アノテーションを移動（ｔｒａｎｓｌａｔｉｎｇ）、回転、サイズ変更、クロッピングおよび／または他の形で編集することによって行なうことができる。代替的には、ユーザーはまた、制御パネル内に数値として座標を入力してもよい。

ステップ１５２’において、ユーザーは、アノテーション光線のパラメータを調整してアノテーションの別のビューを生成することができる。ユーザーが、例えばアノテーションの配向を変更するためにコンピュータマウスポインタなどを用いてアノテーションのパラメータを変更するにつれて、アノテーションの光線はプレノプティックモデルの光線と組合わされ、各々の新しい位置または新しい配向について新しい２Ｄビューがビューワ内で生成される。これは、ユーザーのマウスポインタおよびその動きがプレノプティック空間に対し投影されることから可能になっている。ポインタの動きは、このとき、２Ｄのレンダリング済みビューに対応する仮想平面に対し平行な平面内でアノテーションに適用される。

プレノプティックモデルおよびアノテーションの光線がひとたび組合わされると、アノテーションの効果は基準画像の光線に適用される。プレノプティックアノテーションをスーパーインポーズするプロセスは、光線を修正するプロセスとして考えることができる。キャプチャされたプレノプティックデータは、各光線についての光線方向、波長（すなわち色）に関する情報を含むことができ、したがって、アノテーションをこれらのパラメータの修正とみなすことができる。例えば、オブジェクトの表面上にテキストを添付することは、表面上の特定のエリアにおける光線の波長の修正と考えることができる。

アノテーションにより生成される効果のタイプは、アノテーション自体により決定される。一実施形態において、プレノプティックアノテーションは例えば、不透明テキストでのみ構成される。この場合、モデル光線の波長は、マッピングされた光線についてのアノテーション光線波長により完全に置換される。他のアノテーションについては、モデルのテクスチャを変更するアノテーションを考慮に入れることによって、モデルの光線は、新しいテクスチャを反映するため、その方向がアノテーションによって変更されるかもしれない。さらに別の実施例では、モデル光線の位置をアノテーションによって変更してもよい。

プレノプティックアノテーションを、光線を修正するフィルターと考えることが可能である。こうして、アノテート済みシーンを表示するより多くの可能性が提供される。この処理のさらなる１つの例は、光線の方向を改変することである。一実施形態として、光線の方向に対しランダム性を付加することによって、キャプチャされたプレノプティック画像内の特定のオブジェクトから入射する光線に対し、グロー効果（ｇｌｏｗ ｅｆｆｅｃｔ）を適用することができる。アノテート済みオブジェクトには、反射性が付与され得る。別の例は、テクスチャ情報の修正などの表面特性の修正である。プレノプティックアノテーションは、方向および波長などの光線の変数の修正を可能にすることから、変数の修正を組合わせることによりあたかもテクスチャがその上に付加されるかのようにオブジェクトの表面を修正することが可能である。例えば、プレノプティックアノテーションは、方向および波長を修正することによって、赤色の平担な表面を黄色のでこぼこした（ｌｕｍｐｙ）表面に変えることを可能にする。

モデル光線に対するアノテーションの効果を記述する情報は、ステップ１５４に記載の通り、プレノプティックアノテーションアレイ内に記憶されてよい。

ステップ１５３において、ユーザーは、１つまたは複数のアノテーションライトフィールドパラメータを選択する。これは、例えば、その色を変更する目的で、アノテーションの波長であり得る。ユーザーは同様に、異なる方向から見た同じアノテーションについての異なる外観、さらには異なる方向から見た同じ要素に結びつけられた異なるアノテーションを定義づけしてもよい。

代替的には、レンダリングされたプレノプティックモデル上でひとたびうまく調整された時点で、ユーザーは、プレノプティックビューワーの別のビューまでナビゲートすることを選択できる。プレノプティックアノテーションは、プレノプティックモデルの新しいビュー上で自動的に報告される。ユーザーはこのとき、アノテーションを編集し、この特定のビューについてそのライトフィールドパラメータまたは外観を変更することを決定できる。ユーザーは、プレノプティックモデルの利用可能なビュー全てについて同じ様に続行することができる。

ユーザーがプレノプティックモデルの全てのビューを通ってナビゲートする必要がないようにするため、プレノプティックアノテーションの第１および第２のビューの間で、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）プロセスを行なってもよい。プレノプティックアノテーションのこれら２つのビューは、連続したものである必要はない。ユーザーは、２つのビューの中のアノテーションの外観を特定しなければならず、プレノプティックオーサリングシステムは、プレノプティックアノテーションの中間ビューを自動的に生成する。アノテーションと結びつけられなかったプレノプティックモデルの他のビューは、それを表示せず、その結果、シーンの特定の視点または焦平面（ｆｏｃａｌ ｐｌａｎｅｓ）についてのアノテーションをレンダリングしない可能性が出てくる。

プレノプティックアノテーションは、光線に対応し１組のパラメータと共に記述されるデータを含んでいてよい。第１の特定のビューのためにプレノプティックアノテーションをレンダリングする場合、ビューワはいくつかのパラメータを設定し、他のパラメータはユーザーが修正できるようにしておく。このビューから第２のビューへナビゲートして、ユーザーは、ビューワが定めなければならないパラメータを変更し、その一方で他のパラメータは修正できる。補間プロセスは、これら２つのビューの間でプレノプティックアノテーションの光線パラメータを自動的に計算する。

一実施形態において、各プレノプティックアノテーションのパラメータは、以下の通りであってよい：空間内の光線位置について３つ（あるいは場合によっては２つ）のパラメータ、その方向についての２つのパラメータ、その波長についての１つのパラメータ、そして場合によっては時間についての１つのパラメータ。プレノプティックビューワによりレンダリングされる特定のビューについては、例えば位置、方向および時間のパラメータをビューワが設定してよい。このときユーザーは、ビューワによって定められていないパラメータを変更することができ、これは、この例では光線の波長に対応している。ここで、ユーザーがそれを第１の値ｖ１に設定するものと仮定しよう。ここで、アノテーションの別のビューについて、すなわち位置、方向および時間パラメータの異なる値について、ユーザーが第２のビューについての波長値を変更し、それを例えばｖ２に設定すると仮定しよう。補間プロセスは、第１および第２のビューと結びつけられた位置、方向および時間パラメータの中間において、ビューについてｖ１とｖ２の間のアノテーション値を計算することを目的とする。他の実施形態においては、補間にはまた、位置、方向、波長および／または時間を含めたプレノプティックデータの他のパラメータについての値を計算することも考慮されてよい。

補間の具体例としては、例えば、オレンジ色からより赤味がかった色などへと移行するプレノプティックアノテーションの色の変更、特定のビューについてアノテーションが可視的である一方で別のビューについては不可視である場合のアノテーションの可視性の変更、が含まれる。

例えば、アノテーションの２つのビューの間の線形補間、二次補間またはより大きい次数の補間を含めた、異なる補間方法が可能である。同様に、より高度の補間方法では、アノテーションの新しい光線を生成するために、シーンまたはアノテーションそれ自体の他の特性が考慮に入れられる可能性がある。

ステップ１５３’では、キャプチャされた画像上にアノテーションが表示された時に、アノテーションの全てまたは一部に１つのアクションを結びつけることもできる。これらのアクションは、ユーザーがトリガーすることができ、あるいは例えばタイマーなどを用いて自動的に実行することもできる。アクションには、特定のＵＲＬでウェブブラウザを起動させること、１つのアノテーションを移動させる、出現させるまたは消滅させるなど、アノテーションをアニメーションさせること、ビデオを再生すること、考えられるさらなるアクションを提示するメニューを起動させること、スライドショーを起動すること、またはオーディオファイルを再生すること、が含まれる。ユーザーに提供されるプレノプティックデータのビューを修正できるようにするアクション、例えば、所与の焦点距離においてプレノプティックデータのビューを焦点合せできるようにするアクションも同様に可能である。

ステップ１５４において、プレノプティックアノテーションはメモリー、例えばデータベース５１またはユーザーデバイス内に記憶され、対応する位置、配向および選択された基準プレノプティックモデルと結びつけられる。必要とされているアノテーションがわかっているため、各々の基準プレノプティックモデルに添付されたアノテーションをプレノプティックフォーマットに記憶することが可能である。各アノテーションは、別個のプレノプティックファイルとして記憶される。

プレノプティックアノテート済み基準データは、プレノプティック基準データおよび対応する１つまたは複数のプレノプティックアノテーションから生成される。この拡張現実モデルは、その付随するアノテーションと共にプレノプティックモデルをレンダリングし戻すのに必要とされる情報を全て含むファイルの形をとる。したがって、それは、プレノプティック基準データとそのアノテーションの間の関係を記述する。プレノプティックアノテート済み基準データは、プレノプティックアノテーションオーサリングシステム上で直接レンダリングされて結果を予め視覚化することができるだけでなく、クライアント側でレンダリングされて、一部のプレノプティック拡張現実をレンダリングすることもできる。

モデル光線に対するアノテーションの効果を記述する情報は、プレノプティックアノテーションデータ内に記憶される。アノテーションにより定義される修正は、モデル光線パラメータに作用する。結果として、アノテーションは、例えば、モデル光線の方向、位置、時間または波長の修正を記述することができる。換言すると、この情報は、モデル光線の一関数を記述する。

アノテーションのクリエイト時に、アノテーションの各光線に対して一意的識別子が割当てられる。オーサリングシステム上でアノテーションを適用する場合、アノテーション光線の一意的識別子は、モデルのそれらの対応する光線にマッチされる。その結果、モデルの各光線にはアノテーション光線識別子が割当てられ、この識別子はその後、例えば主としてオンラインフェーズの場合そうであるようにシステムがモデル上にアノテーションを光線毎に適用しなければならない場合にシステムによって使用される。

アノテーション情報は、２次元アレイ内に記憶され得、ここで各光線は、各パラメータについてモデルに対するその効果に関する情報を含む。アノテーション光線の一意的識別子は、このとき、各パラメータについてのアレイ内の対応する光線効果を定義するために使用される。換言すると、アレイの第１の次元は、その識別子で参照される光線に対応し、第２の次元はそれらのパラメータ、すなわちライトフィールドパラメータに対応する。任意のパラメータについてのモデル光線のいかなる修正もアレイ内で表現され得ることからこのフォーマットを用いて、いかなるアノテーションでも完全に表現することができる。

一実施形態において、アノテーションは例えば、１つの角度について１０°全てのモデル光線方向を修正することができる。以下の表１で示されている通り、このとき２次元アレイは、方向角度に対応するパラメータの縦列（ｃｏｌｕｍｎ）内に１０°を含む。光線は全て同じ形で作用するものと仮定されていることから、縦列には全ての光線について１０°と記される。その対応するモデル光線に対するアノテーションの効果を適用したい場合、システムは第１にアノテーションとモデル光線の対を識別し、アノテーション光線に対応する一意的識別子を抽出し、アノテーションテーブルを詳しく調べて、このアノテーション光線がどのような効果を有しているかを見、こうして最終的にこの変更をモデル光線に適用する。この例において、アノテーションによる影響を受けた全てのモデル光線の角度は、１０°回転させられる。

オフラインフェーズの一例として、ユーザーは、建物を含むシーンに対してテキストアノテーションを付加したいと考えるかもしれない。その上、テキストアノテーションの色は、１つの視点と別の視点の間で変動する必要がある。このとき、ユーザーは以下のステップを行なう：
１．建物のプレノプティックキャプチャが、プレノプティックアノテーションオーサリングシステムにアップロードされる。
２．キャプチャされたプレノプティック画像から２Ｄビューがレンダリングされ、ユーザーに提示される。
３．ユーザーは、アノテーションタイプリストからテキストアノテーションタイプを選択し、自らのテキストを入力し、テキストアノテーションを、レンダリングされた２Ｄビュー上にドラッグする。
４．ユーザーは、レンダリングされた２Ｄビューの視点またはアノテーションの位置および配向を移動させて、アノテーションが正にユーザーの望むように見えるようにすることができる。
５．ユーザーは、現在のレンダリングされた視点についてテキストの色を設定する。
６．ユーザーは、レンダリングされたプレノプティック画像の視点を別の位置まで移動させる。
７．ユーザーは、この他の視点について別の値にテキストの色を設定する。
８．プレノプティックアノテーションモデルがセーブされ、アノテーションプロセスのオンラインフェーズのために使用できる状態になる。

プレノプティックアノテーションオーサリングシステムは、以下のタスクを実施して、テキストアノテーションについての先に記述したユーザーアクションステップに基づいて、適正なアノテーションモデルを生成する。
１．デフォルト値に当初設定された視点設定値に基づいて、２Ｄビューがユーザーに対してレンダリングされる。
２．テキストオブジェクトから仮想視点まで光線を追跡することにより、テキストアノテーションのプレノプティックバージョンが生成される。これにより、各々一意的識別子により記述される１組の光線が創出される。この光線セットがテキストを記述する。これらの光線は、メモリー内で基準プレノプティック画像に適用されなければならない修正に対応するアレイにより表現される。この場合、アレイは、アノテーション光線とマッチングされる光線がとらなければならない波長の値を含む。
３．アノテーションは当初、オーサリングツール内で予め定義されたデフォルト位置にある。アノテーション光線は、基準プレノプティック画像光線と組合わされる。基準画像の光線とアノテーションの間のこれらの関係は、光線の一意的識別子を使用することにより、将来の使用のために記憶される。
４．ユーザーが、例えばコンピュータのマウスポインタを用いてアノテーションの配向を移動／変更するにつれて、アノテーションの異なる光線が、キャプチャされたプレノプティック画像の他の光線と組合わされ、各位置または配向修正について新しい２Ｄビューが生成される。これは、ユーザーのマウスポインタがプレノプティック空間内に投影されるので可能となる。このとき、ポインタの移動が、２Ｄのレンダリングされたビューに対応する仮想平面に平行な平面内でアノテーションに対し適用される。アノテーションが移動させられるにつれて、基準画像とアノテーションの間の光線の関係は、アノテーションの位置または配向の変更にしたがって変更され更新される。
５．ユーザーが、現在の視点についてテキスト用の色を選択した時点で、アノテーションアレイの波長値は選択された色と整合するように変更される。
６．新しい視点が選択され、新しいテキストの色が選択された時点で、この新しいレンダリングされたビューを生成するために使用される光線に対応するアノテーションアレイの波長値は変更される。第１の視点と第２の視点の中間の波長値は、標準のまたは特別な補間方法を用いて補間される。
７．ユーザーがモデルをセーブした時点で、プレノプティックアノテーションアレイは、アップロードされたプレノプティック基準モデルと共にセーブされ、オンラインフェーズ内で使用可能となる。

オンラインフェーズ
先に説明した通り、アノテーションプロセス全体におけるオンラインフェーズは、プレノプティック画像をキャプチャするユーザーが、その画像がアノテートされることを望む場合に発生する。

アノテーションプロセスのオンラインフェーズは、最終的プレノプティックアノテート済み画像を得るために、入力されたプレノプティック画像に対して適用される。これは、入力画像をいくつかの基準モデルとマッチングすること、マッチした基準モデルのアノテーションをリトリーブすること、アノテーションを入力プレノプティック画像と組合わせること、理解可能な形態でユーザーに対しアノテート済みビューをレンダリングすること、そして場合によっては、ユーザーのインタラクションを処理してアノテーションに対する定義された異なるアクションを生成することからなる。

光線で構成されたアノテーションコンテンツは、プレノプティックフォーマットであり、キャプチャされた画像も同様にプレノプティックフォーマットであることから、これら２つのデータセットは同じ空間内に存在する。こうしてアノテーションは、さらなる投影を必要とせずにプレノプティック画像に直接適用可能である。アノテーションが適用された修正済みプレノプティック空間はこのとき、例えば２Ｄビュー内に投影され得る。このことはまた、プレノプティックレンダリングプロセスのために選択された投影パラメータ（例えば焦点、深度、視点変更などの選択）が暗にプレノプティックアノテーションにもあてはまるということを意味している。例えば、レンダリングプロセスの焦点または視点を変更する場合、アノテーションはそれらに適用される効果をもつ。

図８に例示されるオンラインプレノプティックアノテーションプロセスは、プレノプティックフォーマットのライトフィールドを表わすデータ（プレノプティックデータ）がリトリーブされる第１のステップ１００を含む。プレノプティックデータは、プレノプティックキャプチャデバイスを用いてデータをキャプチャするデバイス４によってリトリーブされるか、または通信リンク上でデバイス４からプレノプティックデータを受信するサーバー５などの装置によってリトリーブされる可能性がある。

ステップ１０１において、リトリーブされたデータは、基準データとマッチングさせられる。このステップはデバイス４および／またはサーバー５内で実施されてよい。このステップには、例えばＵＳ１３６４５７６２に記載の通り、キャプチャデータ内のフィーチャセットを決定すること、マッチするフィーチャを伴う基準画像を表わすマッチする基準データを発見すること、およびキャプチャデータと基準データとをレジストレーションする（ｒｅｇｉｓｔｅｒｉｎｇ）ことが関与する可能性がある。基準データは、プレノプティックフォーマットの画像または他の画像を表わしていてよく、複数のデバイスからアクセス可能なデータベースなどのメモリー５１の中に記憶される可能性がある。マッチする基準データの識別は、ユーザーのロケーション、時間、時刻、シーンの要素から受信した信号、ユーザーおよび／または画像の類似性により提供される指標（ｉｎｄｉｃａｔｉｏｎ）に基づくものである可能性がある。レジストレーション（ｒｅｇｉｓｔｒａｔｉｏｎ）プロセスの目的は、キャプチャされたプレノプティック画像の光線と、マッチされたプレノプティック基準画像由来の光線との間の変換を推定できるように、ユーザーの位置と基準データの間の幾何学的関係を発見することにある。

ステップ１０２では、マッチする基準データと結びつけられたプレノプティックアノテーションが、例えばメモリー５１からリトリーブされる。このアノテーションは、プレノプティックフォーマットである。すなわち光線により記述される。これらのアノテーション光線は、例えばテキスト、静止画像、ビデオ画像、ロゴ、および／またはプレノプティック画像光線上に直接作用する他の要素を表わしてよい。

アノテーションは、プレノプティック空間内の音声、例えばプレノプティック基準画像の特定の光線群に添付される音声を含み、こうして選択された光線がプレノプティック画像内でも可視的でかつ／または焦点が合っている一部の方向についてのみ、音声が再生されるようになっていてよい。

ステップ１０３では、プレノプティックフォーマットのリトリーブ済みアノテーションは、キャプチャされたプレノプティックデータと組合わされて、プレノプティックフォーマットでアノテート済み画像を表わすアノテート済みデータを生成する。この組合せは、サーバー５内またはデバイス４内で行われるかもしれない。後者の場合、サーバー５は、アノテートされたデータをデバイス４に対して送信してよく、デバイス４は次に組合せを行なう。このアノテーション組合せは、キャプチャされたプレノプティック画像に対して基準画像の光線を投影する変換がマッチングステップ（ステップ１０１）から既知であるがゆえに、可能になっている。したがってアノテーションは、キャプチャプレノプティック画像（ｃａｐｔｕｒｅｄ ｐｌｅｎｏｐｔｉｃ ｉｍａｇｅ）に対しても適用され得る。

プレノプティックアノテーションは、以下の方法を用いて、キャプチャプレノプティック画像に適用され得る：
１．図８のステップ１００でリトリーブされたオンラインプレノプティック画像光線上に基準プレノプティック画像光線を投影するための変換を発見する；
２．オフラインフェーズ内で定義された基準プレノプティック画像の各々のリトリーブされたアノテーションについて：
１．オフラインフェーズ内で定義されたアノテーションアレイを読取ることにより、アノテーションにしたがって、基準プレノプティック画像のどの光線を修正しなければならないかを識別し選択する。
２．項目（１）で識別された光線をオンラインプレノプティック画像上に投影する。これにより、基準プレノプティック画像の選択された光線とキャプチャプレノプティック画像由来の光線の間の対応関係が作り出される。
３．項目（２）で選択されたキャプチャプレノプティック画像の各光線について、プレノプティックアノテーションアレイ内に定義された通りに光線に対し変換を適用する。アレイはルックアップテーブルとして使用され、そこではステップ（１）および（２）の選択プロセスによって識別可能である光線および変換のパラメータ（例えば波長、方向、．．．）がルックアップキーとして使用される。

一例として、アノテーション光線がテキストを表わす場合、アノテーションアレイは、テキストの色に対応する波長である単一のｎｕｌｌではないライトフィールドパラメータを含む。こうして、キャプチャプレノプティック画像光線は、光線の波長をアノテーションアレイ内に記憶された係数（ｆａｃｔｏｒ）だけ増減させることによって修正される。この係数は、レジストレーションプロセス中に計算された光線間の変換を使用することによってアレイ内でルックアップされる。

ステップ１０４では、ビューが、例えば２Ｄまたは立体ビューなど、アノテーションデータからレンダリングされ、例えばディスプレー４０上または別の装置を用いて表示されて、ユーザー／ビューワに対し提示される。このビューレンダリングプロセスは、図９と併せて以下でさらに詳述されている。

ステップ１０５では、アノテーションとのインタラクションが可能にされる。システムは、アノテーションプロセスのオフライン部分の中で先に定義した特定のアクションを実行するために異なるイベントに対し反応することができる。このようなイベントは、アノテーションとのユーザーインタラクションであり得る。タッチスクリーン、ハンドトラッキングセンサーまたは任意の他の入力デバイスを用いて、ユーザーは所与のアノテーションをポイントしそれとインタラクトすることができる。このインタラクションは、アノテーションプロセスのオフラインフェーズにおいて定義される特定のアクションをトリガーできるインタラクションイベントを生成するであろう。

考えられる別のタイプのイベントは、シーン内の特定の変更が検出された場合にトリガーされるイベントである。本節中で後で説明する通り、キャプチャプレノプティック画像内の基準モデルのオブジェクトによる閉塞（ｏｃｃｌｕｓｉｏｎ）が検出される可能性がある。この閉塞イベントは、アノテーションプロセスのオフラインフェーズの中で先に定義されたアクションをトリガーし得る。アノテーションアクションをトリガーする考えられるイベントの別の例として、検出された音声の一定のタイプに基づいて一定のアクションをトリガーするために、音声認識モジュールを使用することができる。

図９は、ビューのレンダリングおよびビューワーがその後レンダリングを修正するさまざまな可能性を示している。先に指摘した通り、キャプチャされたビューから生成されたアノテート済みデータから、そして先に図８を用いて記述した通り、プレノプティックフォーマットのアノテーションデータから、ステップ１０４において、拡張現実ビューがレンダリングされる。レンダリングされたビューは、ピンホールカメラにより生成されるような標準的２Ｄビュー、立体ビュー、ビデオ、プレノプティックデータのホログラフィ投影、または好ましくは視点を再度焦点合せしかつ／または変更するためのいくつかのコマンドを用いて画像を提示する動画像モジュール（ｄｙｎａｍｉｃ ｉｍａｇｅ ｍｏｄｕｌｅ）であってよい。動画像モジュールは、コマンド値の一関数としてかまたはフラッシュオブジェクトとしてプレノプティック画像をレンダリングできるＨＴＭＬ５／Ｊａｖａｓｃｒｉｐｔウェブページ、あるいは複数の画像の動的提示を可能にする他の技術であり得る。ステップ１０４の間にレンダリングされてよいビューの例は、図５Ａ、６Ａおよび７Ａに示されている。図５Ａおよび６Ａ上のビューは、アノテーション６１を伴うオブジェクト６０を含む。図７Ａのビューには、異なる深度で、したがって焦点外で、追加のオブジェクト６２も見られる。再焦点合せまたは視点変更は、ユーザーによって手動で（例えば画像上またはその周りのオブジェクトまたは位置を選択することにより）、あるいは自動で（例えばユーザーが移動した場合）トリガーされ得る。

ステップ１０５では、ユーザーは、異なる視点から観察した同じシーンに対応する同じプレノプティックデータからの新規ビューをステップ１０７中に生成する目的で視点を修正するためにコマンドを入力する。異なる視点またはビューイング方向から見たシーンのさまざまな２Ｄ画像をプレノプティックデータから生成するためのアルゴリズムが、そのようなものとして公知であり、例えば米国特許第６２２２９３７号中に記載されている。このコマンドにより生成され視点選択モジュール４０３によって実行される修正済み２Ｄ画像の一例が、図５Ｂに示されている。ここでわかるように、オブジェクト６０の見え方（ｐｅｒｓｐｅｃｔｉｖｅ）のみならずアノテーション６１の見え方も同様にこのコマンドによって修正されている。実際、アノテーションは入力されたプレノプティックデータにより表わされるプレノプティック空間上に直接適用されることから、プレノプティック空間からビューが生成された時点で、アノテーションはプレノプティック画像と同じように変換された状態で現われる。こうして、より現実的なアノテーションが生み出される。

一部のアノテーションは、第１のビューイング方向セットのみから見え、他の方向からは見えないかもしれない。したがって、図６Ｂに示されている通り、ステップ１０５中の視点の変更は結果として、１つのアノテーション６１が見えなくされるものの同じオブジェクトに結びつけられた新しいアノテーション６４が明らかになっている新しいビューをもたらす可能性がある。複数のアノテーションを基準画像の単一のロケーションと結びつけてよいが、この場合ビューイング方向は異なるものである。アノテーション自体は、また、アノテーションプロセスのオフラインフェーズで設定された異なるアノテーションライトフィールドパラメータに起因して、第２の異なるビュー方向に比べて第１のビューイング方向からレンダリングされた場合、異なって見える可能性がある。外観の変化は、アノテーション自体により定義され得るが、入力されたプレノプティック画像の一関数である可能性もある。

図９のステップ１０６では、ユーザーは、画像を再焦点合せし、異なる距離に焦点合せされた新しい画像をプレノプティックフォーマットのデータから生成するためのコマンドを入力する。このコマンドは、再焦点合せモジュール４０２により実行されてよい。図７Ａおよび７Ｂを見ればわかるように、こうして、第１のフォーカス距離で可視的な第１のアノテーション６１が図７Ｂに示された第２のフォーカス距離では消滅するかまたはより不鮮明になり、一方で第２のアノテーション６３のみがこの第２のフォーカス距離で現われる結果となる可能性がある。

レンダリングされたビューを変更するためにステップ１０５および１０６において使用される異なるコマンドはまた、ユーザーの移動との関係において自動的に発出され得る。一実施形態では、ユーザーの移動は、プレノプティックキャプチャデバイス内に埋め込まれた慣性計測装置（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：ＩＭＵ）を用いて追跡される。このモジュールを使用することによって、レンダリングされたビューは、ユーザーが移動するにつれて自動的に更新される。例えば、ユーザーが左に移動した場合、ビューイング方向はわずかに左へと移動させられる。同じ原理は、ユーザーが前方に移動する場合にも適用され、ここでは、焦点合せ範囲も同様に前方に移動させられ、先にレンダリングされたビューに比べて、背景平面内でより鮮明なオブジェクトを、そして前景平面内でよりソフトなオブジェクトを生み出す。本発明は、ユーザーの移動を追跡するのにＩＭＵの使用に限定されていない。ユーザーの移動を追跡するために直接プレノプティック画像のコンテンツを使用することなどの他の手段を用いることも可能である。

別の実施形態では、移動中のユーザーのプレノプティックキャプチャデバイスにより生成されるプレノプティック画像ストリームに対しオンラインプレノプティックアノテーションプロセスが連続的に適用される。この連続的処理によって、ユーザーは連続的に移動するかまたは自らのプレノプティックキャプチャデバイスを移動させ、リアルタイムでプレノプティックアノテーションを更新させることができる。プレノプティック画像ストリームは、ビューのレンダリング（図８のステップ１０４）と同様、リアルタイムで処理されなければならず、こうしてユーザーは、あたかもシーンの一部であるかのようにアノテーションを知覚することになる。この実施形態では、別のプレノプティックキャプチャを有する必要なく後でビューイング方向を修正することができるという事実により、ストリームから処理される必要のあるプレノプティック画像の数がはるかに少ない状態で同じ効果を達成することが可能になる。実際、単一のプレノプティックキャプチャが一定のビューイング方向範囲内でのビューのレンダリングを可能にすると仮定した場合、そして、ユーザーがこの範囲の外側へ移動しないかぎり、ストリームからのいかなるプレノプティック画像も処理される必要はなく、図８のステップ１０４を再び実施する必要しかない。これにより、ユーザーがビューイング範囲の境界に近づいた時新しいプレノプティック画像フレームを非同期的に処理することによって計算効率のより優れたリアルタイム追跡を行なう新たな可能性が広がり、こうして新しいフレームを処理しなければならない場合にユーザーが待ち時間を知覚することは無くなる。

プレノプティック動画をアノテートするための方法の例が、図１１に示されている。

図１１のステップ２００、２０１、２０２、２０３は、図８のステップ１００、１０１、１０２、１０３と類似であるかまたは等価である。

ステップ２０４では、ステップ２０１のレジストレーションプロセスの結果としてビューイング方向パラメータが計算される。

ステップ２０５では、先行するステップ中で計算されたビューイング方向に基づいてビューがレンダリングされる。

ステップ２０６では、慣性計測装置（ＩＭＵ）を使用して、ステップ２００が計算されていた時間との関係においてユーザーの移動を決定する。このとき、新しいプレノプティック画像を処理するためにステップ２００に戻るか、直接ステップ２０４に進んでＩＭＵ移動推定に基づいてビューイング方向パラメータを更新するかのいずれかの決定が下される。移動量を用いて、新規ビューを生成するのに、先にキャプチャされたプレノプティックデータを使用できるか否かを決定する。これは典型的に、プレノプティックキャプチャデバイスの視野により左右される。

プレノプティックアノテーションのレンダリングには、可能性ある閉塞が考慮されるかもしれない。アノテートすべきターゲット要素が入力プレノプティック画像の中に存在する別のオブジェクトによってキャプチャデバイスの視界から隠蔽されている場合、プレノプティックアノテーションが閉塞される可能性がある。

一実施形態において、レンダリングモジュールは、キャプチャデータのプレノプティックフォーマットを利用して、アノテーションを無関係のオブジェクトの後ろに視覚的に隠蔽する。レンダリングモジュールは、プレノプティック基準データから、キャプチャプレノプティック画像の各要素に由来するはずのキャプチャされた光線の特性を認識している。キャプチャされた光線がその要素の予想された光線と異なる特性を有する場合には、それはすなわち、閉塞オブジェクトがその要素の前にあること、したがって、アノテーションはこの要素について表示される必要がないことを意味する可能性がある。

同様にして、キャプチャ画像中の一要素に対応する光線が、基準画像中の対応する方向とは異なる方向を有する場合、これはすなわち、要素が異なる深度にあることを意味する可能性がある。レンダリングモジュールはこの情報を用いて閉塞を検出することができる。さらに、光線の色情報を用いて、キャプチャ要素が閉塞されているか否かを決定することもできる。ただし、閉塞するオブジェクトがターゲット要素と同じ色を有する可能性があることから、色情報では充分ではない。

利用分野
プレノプティックフォーマットでのアノテーションの提供およびアノテーションと同じ空間内でプレノプティック画像をアノテートするプロセスは、拡張現実のための新たな利用分野をもたらす。

第１の利用分野例としては、ソーシャルコンテキスト内でのプレノプティックアノテーションシステムの使用がある。実際、オブジェクト／シーンのプレノプティック画像は、ユーザーがそのプレノプティックキャプチャデバイスを用いてキャプチャ可能である。このとき、キャプチャプレノプティック画像は、先にキャプチャされアノテーションとして使用されたプレノプティック画像を含め、全ての種類のアノテーションを用いてユーザーによりアノテートされ得る。そのアノテート済みシーンは次にソーシャルネットワークを用いてユーザーの友人と共有され得、こうしてこれらの友人は、自らのプレノプティックキャプチャデバイスを用いてそれをキャプチャしている時にアノテート済みシーンを経験できるようになっている。この場合プレノプティックアノテーションプロセスを使用することの利点は、アノテーションがプレノプティック画像であるためにプレノプティック空間内にすでに存在しているという事実によって強化されている。したがって、同じプレノプティック空間においてアノテーションプロセスを行なうことは、より計算効率が良く、かつより現実的なアノテート済みシーンを生み出す。

プレノプティック空間の異なる情報を活用する第２の利用分野例としては、建築設計の分野における特別に設計されたプレノプティックアノテーションの使用がある。本発明の先行する部分で記述した通り、プレノプティックアノテーションは、オンラインフェーズ内でプレノプティック画像光線と組合わされる光線で構成される。この光線が組合わされる方法は、アノテーションプロセスのオフライン部分において定義される。この組合せは、プレノプティック画像からの光線がアノテーションからの他の光線によって置換されず、しかし例えばそれらの方向だけが変更されるようになものであり得る。プレノプティック画像の光線の波長のみならず、例えばそれらの方向をも修正するアノテーションを定義することによって、キャプチャされたシーンのテクスチャまたは材料の変化をシミュレートすることが可能になる。この建築設計の場合、有利には、例えば壁に対し異なる材料を適用した場合に特定の部屋または特定の建物がどのように見えるかをシミュレートするために、プレノプティックアノテーションを使用することができる。別の実施形態では、天候条件のシミュレーションを、キャプチャプレノプティック画像に適用することができる。雨をシミュレートするアノテーションをシーンに適用することができる。こうして、雨の効果が適用された状態のアノテート済み画像が生み出され、こうしてユーザーは、雨または他の異なる気候条件の場合にシーンがどのように見えるかを視覚的に見ることができ、ここで異なる光反射および屈折はプレノプティック情報のおかげで現実的な形で適切に処理され計算される。

別の例としては、従来の２次元拡張現実ソリューションにおいて、トレジャーハントがよく知られたアプリケーションである。それは、物理的オブジェクトに対してアノテーションを添付し、友人または他の人々にヒントを与えることによって彼らにこれらのアノテーション（トレジャーと呼ぶ）を探させることからなる。換言すると、誰かが隠されたオブジェクトに近づいた時、彼は自らのプレノプティックキャプチャデバイスを用いて周囲のオブジェクトを走査して、それらが１つのアノテーションと結びつけられているか否かを決定することができる。プレノプティックアノテーションを使用することによって、我々は一部のビューイング方向またはフォーカス距離にアノテーション可視性を制限できることから、トレジャーハントはよりエキサイティングなものとなる。例えば、ユーザーは、１つの塑像にアノテーションを添付し、将来のハンターが塑像の前に立ちしたがってその塑像をその角度から見ている場合にのみ、このアノテーションを可視的なものにするように決定することができる。同様にして、プレノプティック空間の再焦点合せ特性を使用して、ハンターが塑像自体の上で焦点合わせされ、したがってこの場合にのみアノテーションを表示することを保証することができる。そのため、ユーザーが周囲をランダムに走査しながら宝物を発見することは回避され、ナゾを真に解決するように強いられることから、トレジャーハントはさらに興味をそそるものとなる。

別の利用分野は、都市環境におけるシティガイドに関するものである。例えば、ユーザーが訪問中の都市の中に居り、歴史的モニュメント、観光ポイント、像、美術館、現地のレストランなどの観光スポットを探しているところを考えてみよう。ユーザーは、自らの拡張現実システムを用いて、自らのスクリーン上に一度に全ての情報が現われることをもちろん望んでいない。スクリーン上で視覚的に重複するこの全コンテンツによって混乱させられるだけであろう。その代り、ユーザーの視点および焦点に応じてプレノプティックアノテーションを作製することができる。例えば、特定の視野角で（または特定の視野角範囲内で）ユーザーがキャプチャした画像の要素は、ユーザーが直面する要素よりも低い重要度で表示され得る。一実施形態において、低重要度のアノテーションは、スクリーン上にタイトルまたはポイントとしてのみ表示され得（これはユーザーがそれらをクリックした時点で拡大可能である）、一方、より重要度の高い関心の的であるポイントは、さらなる詳細を提示するか、またはより大きなサイズまたは画像上の強調を有する。

アノテーションが見えないビューイング方向を選択する能力は、たとえばナビゲータディスプレイ上に拡張現実画像を得たいと思うものの交通に関係のない広告、店舗などの要素に添付されたアノテーションによって気を散らされることを望まない車両のドライバーにとっては魅力あるものである。この場合、これらの気を散らすアノテーションは、道路からキャプチャされる画像上に表示されないように選択された１つの配向範囲と結びつけられてよい。

用語と定義
上述の方法のさまざまなオペレーションは、オペレーションを実施できる任意の好適な手段、例えばさまざまなハードウェアおよび／またはソフトウェアコンポーネント（単複）、回路、および／またはモジュール（単複）によって実施されてよい。概して、本出願中に記載のいずれのオペレーションも、オペレーションを実施できる対応する機能的手段によって実施されてよい。さまざまな手段、論理ブロックおよびモジュールが、回路、特定用途向け集積回路（ＡＳＩＣ）または汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、離散的ゲートまたはトランジスタ論理、離散的ハードウェアコンポーネントまたは本明細書中に記載の機能を実施するように設計されたそれらの任意の組合せを含めた（ただしこれらに限定されない）、さまざまなハードウェアおよび／またはソフトウェアコンポーネント（単複）および／またはモジュール（単複）を含んでいてよい。汎用プロセッサは、マイクロプロセッサであってよいが、代替的には、プロセッサは任意の市販のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であってよい。プロセッサはまた、計算デバイスの組合せ、例えばＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと併わせた１つ以上のマイクロプロセッサ、または他の任意のこのような構成の組合せとして実装されてもよい。サーバーは、単一のマシンとして、一組のマシンとして、仮想サーバーとして、あるいはクラウドサーバーとして実装されてよい。

本明細書で使用される「プレノプティックデータ」という表現は、プレノプティックキャプチャデバイスを用いて生成、または他のタイプのデータから計算され、１シーンのライトフィールド画像、すなわち光の明度および色だけでなくこの光の方向も記憶されている画像を記述するあらゆるデータを意味する。このようなプレノプティックデータからレンダリングされた２Ｄまたは立体投影は、この光の方向が喪失されることから、プレノプティック画像とはみなされない。

本明細書中で使用される「プレノプティック空間」という表現は、ライトフィールドすなわち空間内の全ての方向における光の量を記述する一関数を記述することのできる多次元空間を表わし得る。プレノプティック空間は、光の位置についての少なくとも２つのパラメータ、その配向について２つ、その波長について１つ、そして場合によっては時間について１つ（ビデオの場合）のパラメータによって記述されてよい。

本明細書中で使用される「アノテーション」という用語は、例えばテキスト、静止画像、ビデオ画像、ロゴ、音声および／またはプレノプティックデータにより表わされるプレノプティック空間内にスーパーインポーズされ得るまたは他の形でマージされ得る他の要素を含めた、多様な考えられる要素を包含している。より一般的には、アノテーションという用語は、プレノプティックデータにより表わされるプレノプティック空間光線の種々のパラメータを改変するための種々の方法を包含する。アノテーションは動的で、そして経時的にその位置および／または外観を変えてもよい。さらに、アノテーションはユーザー対話型で、ユーザーのオペレーションに反応してよい（例えばユーザーのインタラクションの時点で移動または変換する）。

本明細書で使用される「ピクセル」という用語は、単一の白黒フォトサイト、または異なる色で光を検出するための複数の隣接するフォトサイトを表わし得る。例えば、赤、緑および青色光を検出するための３つの隣接するフォトサイトが単一のピクセルを形成できる。

本明細書中で使用される「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」という用語は、多様なアクションを包含する。例えば、「決定する」には、計算する（ｃａｌｃｕｌａｔｉｎｇ、ｃｏｍｐｕｔｉｎｇ）、処理する、演繹する（ｄｅｒｉｖｉｎｇ）、調査する（ｉｎｖｅｓｔｉｇａｔｉｎｇ）、ルックアップ（ｌｏｏｋｉｎｇ ｕｐ）する（例えばテーブル、データベースまたは別のデータ構造内をルックアップする）、確定する（ａｓｃｅｒｔａｉｎｉｎｇ）、推定する（ｅｓｔｉｍａｔｉｎｇ）などが含まれてよい。同様に、「決定する」には、受信する（例えば情報を受信する）、アクセスする（例えばメモリー内のデータにアクセスする）なども含んでいてよい。また、「決定する」には、決定する（ｒｅｓｏｌｖｉｎｇ）、選択する（ｓｅｌｅｃｔｉｎｇ、ｃｈｏｏｓｉｎｇ）、確立する（ｅｓｔａｂｌｉｓｈｉｎｇ）なども含まれていてよい。

シーンの画像のキャプチャには、カメラの画像センサーに到達する光の明度を測定するためにデジタルピンホールカメラを使用することが関与する。プレノプティックデータのキャプチャには、プレノプティックキャプチャデバイスを使用することが関与してよく、あるいは、仮想３Ｄモデルからのライトフィールドデータまたはシーンおよび光源の他の記述を生成することが関与してもよい。画像のリトリーブには、画像をキャプチャすること、または異なるデバイスから通信リンク上で画像をリトリーブすることが関与していてよい。

例えば「プレノプティックデータから２Ｄビューをレンダリングする」などの「ビューをレンダリングする」という表現は、画像を計算または生成するという、例えばプレノプティックデータ内に含まれた情報から２Ｄ画像またはホログラフィ画像を計算するというアクションを包含する。

本開示に関連して記述された方法またはアルゴリズムのステップは、直接ハードウェア内、プロセッサにより実行されるソフトウェアモジュール内、またはこれら２つを組合せた形で実施されてよい。ソフトウェアモジュールは、当該技術分野において公知である任意のフォームの記憶媒体内に存在していてよい。使用可能な記憶媒体の一部の例としては、ランダムアクセスメモリー（ＲＡＭ）、読取り専用メモリー（ＲＯＭ）、フラッシュメモリー、ＥＰＲＯＭメモリー、ＥＥＰＲＯＭメモリー、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどが含まれる。ソフトウェアモジュールは、単一の命令、または多くの命令を含んでいてよく、複数の異なるコードセグメント上、異なるプログラム間で、そして多数の記憶媒体を横断して分散していてよい。ソフトウェアモジュールは、実行可能なプログラム、完全なプログラム内で使用される一つの部分またはルーティンまたはライブラリ、複数の相互接続されたプログラム、多数のスマートフォン、タブレットまたはコンピュータにより実行される「ａｐｐｓ」、ウィジェット、Ｆｌａｓｈアプリケーション、ＨＴＭＬコードの一部分などで構成されていてよい。記憶媒体は、プロセッサに結合されていてよく、こうしてプロセッサは記憶媒体から情報を読取り、そこに情報を書込むことができる。代替的には、記憶媒体は、プロセッサと一体化されていてよい。データベースは、ＳＱＬデータベース、ＸＭＬ文書セット、セマンティックデータベース、またはＩＰネットワーク上で入手可能な情報セットを含む任意の構造化されたデータコレクション、または他の任意の好適な構造として実装されてよい。

こうして、一部の態様は、本明細書中で提示されたオペレーションを実施するためのコンピュータプログラム製品を含んでいてよい。例えばこのようなコンピュータプログラム製品は、その上に命令が記憶（および／またはコード化）されているコンピュータ可読媒体を含んでいてよく、命令は、本明細書中に記載のオペレーションを実施するために、１つ以上のプロセッサにより実行可能である。一部の態様については、コンピュータプログラム製品は、パッケージング材料を含んでいてよい。

クレームは以上で示された厳密な構成および構成要素に限定されるものではないということを理解すべきである。クレームの範囲から逸脱することなく、以上で記述した方法および装置の配置、動作および詳細においてさまざまな修正、変更およびバリエーションを加えることが可能である。

１ メインレンズ
４ ユーザーデバイス
５ サーバー
６ インターネット
２０ マイクロレンズ
２１ センサー
４０ ディスプレイ
４１ プレノプティックキャプチャデバイス
５０ ストレージ
５１ プロセッサ
６０、６２ オブジェクト
６１、６３、６４ アノテーション
２１０ ピクセル
４００ マイクロプロセッサ
４０１ 通信モジュール
４０２ 再焦点合せモジュール

欧州特許第１２４６０８０号明細書 欧州特許出願公開第２２０７１１３号明細書 国際公開第２００８／１３４９０１号

Claims (28)

1. − プレノプティックキャプチャデバイス（４）を用いてライトフィールドを表わすデータをリトリーブするステップ（１００）と；
   − 対応する基準データと、リトリーブされたデータとをマッチングするためにプログラムコードを実行するステップ（１０１）と；
   − 前記基準データの一要素に結びつけられたプレノプティックフォーマットの少なくとも１つのアノテーション（６１、６３、６４）をリトリーブするためにプログラムコードを実行するステップ（１０２）と；
   − 前記リトリーブされたデータおよび前記アノテーションからプレノプティックフォーマットでアノテート済みのデータを生成するためにプログラムコードを実行するステップ（１０３）と；
   を含む方法。
2. − ビューイング方向を選択するステップ（１０５）と；
   − 前記ビューイング方向からの前記アノテート済みデータに対応するビューをレンダリングするステップ（１０７）と；
   をさらに含み、前記アノテーション（６１）の表現が前記ビューイング方向によって左右される、請求項１に記載の方法。
3. − 第１のビューイング方向からの前記アノテート済みデータに対応する第１のビューをレンダリングするステップ（１０４）と；
   − 第２のビューイング方向を選択するステップ（１０５）と；
   − 前記第２のビューイング方向からの前記アノテート済みデータに対応する第２のビューをレンダリングするステップ（１０７）と；
   をさらに含み、前記アノテーション（６１、６１’）の表現が前記第１のビューと前記第２のビューの間で変更される、請求項１に記載の方法。
4. − 第１のアノテーション（６１）を第１のロケーションおよび第１の方向と結びつけるステップと；
   − 第２のアノテーション（６４）を前記第１のロケーションおよび第２の方向と結びつけるステップと；
   − 前記アノテート済みデータに対応するビューをレンダリングするステップと；
   − 第１または第２のビューイング方向の間で選択を行なうステップ（１０５）と；
   − 第１のビューイング方向が選択された場合、前記第１のアノテーションを含むものの前記第２のアノテーションは含まないビューをレンダリングするか、または、第２のビューイング方向が選択された場合、前記第２のアノテーションを含むものの前記第１のアノテーションは含まないビューをレンダリングするステップと；
   をさらに含む、請求項１〜３のいずれか一つに記載の方法。
5. − プレノプティックフォーマットの基準データおよび第１のビューイング方向に対応する第１のビューをレンダリングするステップと；
   − 前記第１のビュー内の１要素に対しアノテーションを結びつけるステップと；
   − プレノプティックフォーマットの前記基準データおよび第２のビューイング方向に対応する第２のビューをレンダリングするステップと；
   − 前記第２のビュー内の前記要素に対してアノテーションを結びつけるステップと；
   − 前記第１および前記第２のビューイング方向の間の中間ビュー内で前記要素のアノテーションを補間するステップと；
   をさらに含む、請求項１〜４のいずれか一つに記載の方法。
6. 前記第１、第２および中間ビューからプレノプティックフォーマットのアノテーションを計算するステップをさらに含む、請求項５に記載の方法。
7. − 前記アノテート済みデータおよび第１のフォーカス距離に対応する第１のビューをレンダリングするステップ（１０４）と；
   − フォーカス距離を修正するステップ（１０６）と；
   − 前記アノテート済みデータおよび修正済みフォーカス距離に対応する第２のビューをレンダリングするステップ（１０７）と；
   をさらに含み、前記アノテーション（６１）の表現が、前記第１のビューと前記第２のビューの間で変更される、請求項１〜６のいずれか一つに記載の方法。
8. − 第１のアノテーション（６１）を第１のロケーションおよび第１の深度と結びつけるステップと；
   − 第２のアノテーション（６３）を前記第１のロケーションおよび第２の深度と結びつけるステップと；
   − 前記アノテート済みデータに対応する第１のビューをレンダリングするステップ（１０４）と；
   − 第１または第２のフォーカス距離の間で選択を行なうステップ（１０６）と；
   − 第１のフォーカス距離が選択された場合、前記第１のアノテーション（６１）を含むものの前記第２のアノテーション（６３）は含まない第２のビューをレンダリングするか、または、第２のフォーカス距離が選択された場合、前記第２のアノテーションを含むものの前記第１のアノテーションは含まないビューをレンダリングするステップ（１０７）と；
   をさらに含む、請求項７に記載の方法。
9. 前記アノテーションの少なくとも１つが、座標に添付され特定の方向に結びつけられた音声である、請求項１〜８のいずれか一つに記載の方法。
10. 前記アノテーションの少なくとも１つがビデオである、請求項１〜９のいずれか一つに記載の方法。
11. アノテーションの少なくとも１つが、プレノプティック空間内の特定のロケーションにおいて光線の方向を改変するためのフィルターとして作用している、請求項１〜１０のいずれか一つに記載の方法。
12. １つの前記アノテーションが光線の方向を修正する、請求項１１に記載の方法。
13. １つの前記アノテーションが、オブジェクトの表面またはテクスチャの特性を修正する、請求項１２に記載の方法。
14. 前記アノテーションがプレノプティック空間の異なる点における光線の方向または光線の方向の修正を定義するアレイによって定義される、請求項１〜１３のいずれか一つに記載の方法。
15. レンダリングには、アノテーションがリトリーブされたライトフィールドの一要素によって閉塞されている場合、またはアノテーションがリトリーブされたライトフィールドの一要素を閉塞している場合を、前記要素に対応する光線の方向から決定される前記要素の深度に応じて決定することが含まれる、請求項２〜１４のいずれか一つに記載の方法。
16. レンダリングには、プレノプティックフォーマットの１つのアノテーションをリトリーブすること、およびこのアノテーションをリトリーブされたライトフィールドのストリーム中の複数の連続するリトリーブされたライトフィールドに対し適用することが含まれる、請求項２〜１５のいずれか一つに記載の方法。
17. レンダリングには、リトリーブされたデータに対応する光線とアノテーションの光線とをマージすることが含まれる、請求項２〜１６のいずれか一つに記載の方法。
18. シーンに対応するデータをキャプチャしアノテートするための装置であって、
    − ライトフィールドを表わすデータをキャプチャするためのプレノプティックキャプチャデバイス（４１）と；
    − プロセッサー（４００）と；
    − ディスプレイ（４０）と；
    − プログラムコードが実行された時点で、前記プレノプティックキャプチャデバイス（４１）を用いてキャプチャされたデータの一要素と結びつけられたプレノプティックフォーマットの少なくとも１つのアノテーション（６１、６３、６４）を前記プロセッサにリトリーブさせ、キャプチャデータから生成され前記少なくとも１つのアノテーションを含むビューを前記ディスプレイ（４０）上にレンダリングするための前記プログラムコードと；
    を含む装置（４）。
19. 前記プログラムコードがさらに、ユーザーが前記ビューを再度焦点合せできるようにしかつ選択されたフォーカス距離に応じて前記アノテーションの提示を変更するための再焦点合せモジュール（４０２）を含んでいる、請求項１８に記載の装置。
20. 前記プログラムコードがさらに、ユーザーが前記レンダリングのために使用される視点を変更できるようにしかつ選択された視点に応じて前記アノテーションの提示を変更するための視点選択モジュール（４０３）を含む、請求項１８または１９に記載の装置。
21. アノテーションを決定するための装置（５）であって：
    − プロセッサ（５１）と；
    − 記憶装置（５０）と；
    − プログラムコードが実行された時点で前記プロセッサに、ライトフィールドを表わすデータを受信させ、前記データを１つの基準データとマッチさせ、前記記憶装置から前記基準データと結びつけられたプレノプティックフォーマットのアノテーション（６１、６３、６４）を決定させ、かつプレノプティックフォーマットの前記アノテーションかまたはプレノプティックフォーマットのアノテート済み画像のいずれかをリモートデバイス（４）に対して送信させるための前記プログラムコードと；
    を含む装置。
22. 前記プログラムコードには、プレノプティックフォーマットのアノテーションを付加し、それらを前記基準データ内の位置および視角と結びつけるためのモジュール（５１０）がさらに含まれる、請求項２１に記載の装置。
23. プレノプティック空間の異なる点において光線方向または光線方向の修正のアレイとしてアノテーションを記憶するメモリーをさらに含む、請求項２２に記載の装置。
24. プレノプティックフォーマットの基準画像に対しアノテーションを添付するための方法であって、
    − ビューワを用いてプレノプティックフォーマットの前記基準画像を提示するステップ（１５０）と；
    − アノテーションを選択するステップ（１５１）と；
    − 前記ビューワを用いて、前記アノテーションのための位置を選択し（１５２）、かつ前記アノテーションを見ることのできる１つまたは複数の方向を選択する（１５３）ステップと；
    − メモリー内で、プレノプティックフォーマットの前記アノテーションおよび前記基準画像と前記位置および前記方向とを結びつけるステップ（１５４）と；
    を含む方法。
25. 複数のアノテーションを単一の位置、ただし複数の異なる方向を持つものと結びつけるステップを含む、請求項２４に記載の方法。
26. − プレノプティックフォーマットの基準データおよび第１のビューイング方向に対応する第１のビューをレンダリングするステップと；
    − 前記第１のビュー内の一要素に第１のアノテーションを結びつけるステップと；
    − プレノプティックフォーマットの前記基準データおよび第２のビューイング方向に対応する第２のビューをレンダリングするステップと；
    − 前記第１のアノテーションとは異なる第２のアノテーションを前記第２のビュー内の前記要素に結びつけるステップと；
    をさらに含む、請求項２４または２５に記載の方法。
27. − プレノプティックフォーマットの基準データおよび第１のビューイング方向に対応する第１のビューをレンダリングするステップと；
    − 前記第１のビュー内の一要素にアノテーションを結びつけるステップと；
    − プレノプティックフォーマットの前記基準データおよび第２のビューイング方向に対応する第２のビューをレンダリングするステップと；
    − 前記第２のビュー内の前記要素にアノテーションを結びつけるステップと；
    − 前記第１のビューイング方向と前記第２のビューイング方向の間の中間ビュー内で前記要素のアノテーションを補間するステップと；
    をさらに含む、請求項２４〜２６のいずれか一つに記載の方法。
28. プレノプティックフォーマットの基準画像にアノテーションを添付するための装置であって、
    − プロセッサと；
    − 前記プロセッサに、ビューワを用いてプレノプティックフォーマットの前記基準画像を提示させ（１５０）；ユーザーがアノテーションを選択できるようにさせ（１５１）かつ前記アノテーションのための位置を選択できるようにさせ（１５２）、さらに前記アノテーションを見ることのできる一または複数の方向を選択できるようにさせる（１５３）ためのプログラムコードと；
    − 前記アノテーション、前記位置および前記方向を記憶するメモリーと；
    を含む装置。

Images