JP6847718B6 - ライトフィールドデータを処理する方法およびデバイス - Google Patents

Description

１．技術分野
本開示は、概して、ライトフィールド（ｌｉｇｈｔ−ｆｉｅｌｄ）イメージングに関し、より詳細には、ライトフィールドデータを編集および処理する技法に関する。

２．背景技術
本セクションは、以下で説明および／または特許請求される本開示の様々な態様に関連し得る様々な技術態様を読者に案内することを意図されている。本説明は、本発明の様々な態様のよりよい理解を促進する背景情報を読者に提供する一助になると考えられる。したがって、これらの陳述はこの観点から読まれるべきであり、従来技術の承認として読まれるべきではないことを理解されたい。

従来の画像キャプチャデバイスは、３次元のシーンを２次元のセンサ上に描画する。動作中、従来のキャプチャデバイスは、デバイス内の光センサ（または光検出器）に到達する光の量を反映する２次元（２−Ｄ）画像を捕捉する。しかし、この２−Ｄ画像は、光センサに到達する光線の方向分布に関する情報（ライトフィールドとも呼ばれ得る）を包まない。深度は、例えば、取得中に失われる。そのため、従来のキャプチャデバイスは、シーンからの光の分布に関する情報のほとんどを記憶しない。

ライトフィールドキャプチャデバイス（「ライトフィールドデータ取得デバイス」とも呼ばれる）はシーンの異なる視点または角度からの光を捕捉することによって、そのシーンの４次元（４Ｄ）ライトフィールドを測定するように設計されている。そのため、光センサと交差する光の各ビームに沿って進行する光の量を測定することによって、これらのデバイスは、後処理によって新たなイメージングアプリケーションをもたらすために、追加の光学情報（光線束の方向分布に関する情報）を捕捉することができる。ライトフィールドキャプチャデバイスによって取得された／得られた情報はライトフィールドデータと呼ばれる。ライトフィールドキャプチャデバイスは、本明細書において、ライトフィールドデータを捕捉することができる任意のデバイスとして定義される。いくつかの種類のライトフィールドキャプチャデバイスが存在する。その中には、画像センサとメインレンズとの間に配置されたマイクロレンズアレイおよびカメラアレイを使用し、全てのカメラが単一の共有画像センサ上に結像する、プレノプティックデバイスがある。

ライトフィールドデータの処理は、特に限定するものではないが、シーンの画像をセグメント化すること、シーンの利フォーカスされた画像を生成すること、シーンの斜視図を生成すること、シーンの深度マップを生成すること、拡張被写界深度（ＥＤＯＦ）画像を生成すること、立体画像を生成すること、（異なる焦点距離において各々合焦された画像の集合を含む）焦点スタックを生成すること、および／またはこれらの任意の組み合わせを含む。

ライトフィールドデータ取得デバイスを用いて大量のデータが取得されるので、ライトフィールドデータの処理は困難な作業である。

Hae-Gon Jeon Jaesik Park Gyeongmin Choe Jinsun Park,Yunsu Bok Yu-Wing Tai In So Kweon、"Accurate Depth Map Estimation from a Lenslet Light Field Camera" Li, Gunturk and Zhang、"Image demosaicing: a systematic survey"、Proc. SPIE、vol. 6822、p. 68221J (2008） Wanner, Sven, Christoph Straehle, and Bastian Goldluecke 、"Globally consistent multi-label assignment on the ray space of 4d light fields"、Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition、2013 Wanner, Sven, and Bastian Goldluecke、"Variational light field analysis for disparity estimation and super-resolution."、Pattern Analysis and Machine Intelligence、IEEE Transactions on 36.3 (2014): 606-619 Bastian Goldluecke, Sven Wanner、"The Variational Structure of Disparity and Regularization of 4D Light Fields"、In Proc. International Conference on Computer Vision and Pattern Recognition、2013 Drazic, Valter, and Neus Sabater、"A precise real-time stereo algorithm"、Proceedings of the 27th Conference on Image and Vision Computing New Zealand、ACM、2012 Boykov Yuri, Olga Veksler and Ramin Zabih、"Fast approximate energy minimization via graph cuts"、Pattern Analysis and Machine Intelligence、IEEE Transactions on 23.11.2001: 1222-1239

３．概要
本開示は、シーンを表すライトフィールドデータを処理する方法であって、ライトフィールドデータが複数の要素を含み、４次元座標が複数の要素の各要素に関連付けられ、本方法は、
− 光線を各要素に関連付けることであって、光線は、各要素に関連付けられた４次元座標から得られる、関連付けることと、
− 要素毎に深度情報を決定することと、
− 深度情報に従ってシーン内における各前記光線の起点を決定することと、
− シーンにおいて同じ起点を有する光線をグループ化して、複数のグループを形成することと、
− ライトフィールドデータを複数のグループに従って処理することと
を含む、方法に関する。

ある特徴によれば、４次元座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）を用いて表現された第１の光線、および４次元座標（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）を用いて表現された第２の光線は、以下：
ｘ_ｉ＋（ｓ_ｉ−ｓ_ｊ）×Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）−ｘ_ｊ＜Ｅ１、かつ
ｙ_ｉ＋（ｔ_ｉ−ｔ_ｊ）×Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）−ｙ_ｊ＜Ｅ２
の場合に、複数のグループのうちの同じ第１のグループにグループ化され、ここで、Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）は、第１の光線に関連付けられた深度情報に対応し、Ｅ１は、第１の決定値に対応し、およびＥ２は、第２の決定値に対応する。

具体的な特徴によれば、第１の光線および第２の光線は、以下の場合：
ｘ_ｊ＋（ｓ_ｊ−ｓ_ｉ）×Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）−ｘ_ｉ＜Ｅ１、かつ
ｙ_ｊ＋（ｔ_ｊ−ｔ_ｉ）×Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）−ｙ_ｉ＜Ｅ２
の場合に、同じ第１のグループにグループ化され、ここで、Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）は、第２の光線に関連付けられた深度情報に対応する。

特定の特徴によれば、少なくとも１つの光線が前記複数のグループのうちのグループに割り当てられない。

別の特徴によれば、複数のグループのうちのグループの少なくとも１つの対について、本方法は、少なくとも１つの対を形成する第２の光線グループと第３の光線グループとの間の関係を確立することであって、重みが関係に関連付けられ、重みは、
− 第２のグループの第４の光線毎に、第３のグループの第３の光線が第４の光線の近傍内に含まれる場合に、第３の光線と前記第４の光線との差を算出し、
− その差を合計することによって重みを決定する
ことによって決定される、確立することをさらに含む。

別の特徴によれば、処理は、ライトフィールドデータを関係に従ってセグメント化することを含む。

本開示は、ライトフィールドデータを処理する方法を遂行するように構成および／または適合された装置に関する。

本開示はまた、プログラムコードの命令であって、プログラムがコンピューティングデバイス上で実行されると、ライトフィールドデータを処理する方法のステップを実行するプログラムコードの命令を含むコンピュータプログラム製品に関する。

本開示はまた、プロセッサ可読媒体であって、プロセッサに、ライトフィールドデータを処理する方法の少なくともステップを遂行させるための命令をその中に記憶したプロセッサ可読媒体に関する。

本開示はまた、ライトフィールドカメラ、および／またはライトフィールドデータを処理する方法を実施するように構成された処理ユニットを含む通信端末に関連する。

４．図面の一覧
以下の説明を読むことで、本開示はよりよく理解され、他の特定の特徴および利点が明らかになるであろう。説明は添付の図面を参照する。

本原理の一実施形態に係る、ライトフィールドカメラのブロック図である。 本原理の一実施形態に係る、ライトフィールドカメラの例を示す図である。 本原理の一実施形態に係る、ライトフィールドカメラの例を示す図である。 図１または図２Ａおよび図２Ｂならびに図８の実施形態によるライトフィールドカメラによって与えられたデータを処理するように構成された処理ユニットを示す一実施形態の例を示す図である。 図１または図２Ａおよび図２Ｂと関連して示される実施形態と関連して提供されるものなど、例示的なライトフィールドカメラによって捕捉されるライトフィールドデータを示す図である。 図１の実施形態と関連して示される例示的なライトフィールドカメラを用いて得られるライトフィールドデータの例を示す図である。 一実施形態に係る、図４のライトフィールドデータに関連付けられる光線のグループ化を示す図である。 図４の例示的な実施形態において与えられているものなど、ライトフィールドデータの一部に関連付けられた２つの光線グループ間に与えられる関係の存在を示す図である。 図４の例示的な実施形態において与えられているものなど、ライトフィールドデータの一部に関連付けられた２つの光線グループ間に与えられる関係の存在を示す図である。 図４または図５に示される実施形態によるライトフィールドデータの処理を示すフローチャートである。 本原理の一実施形態に係る、図９に示される処理フローチャートなどとともに用いられるテレコミュニケーションデバイスを示す例示的なデバイスのブロック図である。

５．実施形態の詳細な説明
次に、図面を参照しながら本主題を説明する。全体を通じて、同様の要素を指すために同様の参照符号が用いられている。以下の説明では、説明の目的上、本主題の完全な理解を与えるために多くの特定の細部が説明される。しかし、本主題の実施形態は、これらの特定の細部を有することなく実施し得ることが明らかになり得る。

図１は、一実施形態に係る例示的なライトフィールド取得デバイスのブロック図である。図１は、レンズユニット１０１（光学的構造体（ｏｐｔｉｃａｌ ａｓｓｅｍｂｌｙ）に対応する）およびカメラ本体１０２を有するプレノプティックカメラ１を示す。

レンズユニット１０１は、カメラ本体１０２に結合されるように有利に構成されている。カメラ本体１０２は光センサアレイ１３を備えており、この光センサアレイ１３は複数のｍ個の光センサ１３１、１３２、１３３〜１３ｍを備えている。各光センサは、光センサアレイを用いて取得されたシーンの生画像のピクセルに対応し、各ピクセルは、シーンの１つの部分（点とも呼ばれる）を包含する。各光センサを用いて得られたシーンを表すデータはライトフィールドデータのセットを形成する。ライトフィールドデータは、最終的にライトフィールド画像を形成する。一実施形態によれば、生画像を処理する前（多重分離前および／またはデモザイク化前において）、ライトフィールド画像はまた生画像に対応してもよい。本実施形態では、生画像の多重分離後、ライトフィールド画像は、次にそれがサブアパチャビュー（ｓｕｂ−ａｐｅｒｔｕｒｅ ｖｉｅｗ）に対応するように与えられてもよい。デモザイク化後、ライトフィールド画像はそれに応じてシーンのビューのセットに対応することになる。図解の目的のために、図示のとおりの光センサアレイ１３は、比較的少数の光センサ１３１〜１３ｍのみを設けている。しかし、代替的な実施形態では、図１の光センサの数は、変更し、増加または減少させることができる。例えば、代替的な一実施形態では、数千個または数百万個の光センサを利用することができる。別の例では、１２．４メガピクセルのカメラにおいて、ピクセルを、それが各光センサに対応する（例えば、４０８８×３０４０ピクセル／光センサのアレイに対応する）ように設けることができる。一実施形態では、色フィルタアレイ（ＣＦＡ）１２を光センサアレイ１３と関連して用いることができる。ＣＦＡ１２は一般的に、光センサアレイ上にＲＧＢ（赤色、緑色および青色）の色フィルタを提供し、ＲＧＢ配列は、本例のためにベイヤーフィルタモザイクの形態を取っている。代替的な一実施形態によれば、ＣＦＡが（ＣＦＡ１２に加えて、またはＣＦＡ１２の代わりに）レンズレットアレイ１１上に配列される。レンズユニット１０１をカメラ本体１０２に結合させるために、レンズユニット１０１は第１の取り付け部分を備え、カメラ本体１０２は第２の取り付け部分を備え、第１および第２の取り付け部分は互いに適合している。第１および第２の取り付け部分により、レンズユニット１０１はカメラ本体１０２上にクリップで取り付けられてもよく、またはレンズユニット１０１はカメラ本体１０２にねじで取り付けられてもよい。第１および第２の取り付け部分は、レンズユニット１０１とカメラ本体１０２とが合体させられると、レンズユニット１０１およびカメラ本体１０２が、シーンの取得毎にシーンの複数のビューを取得するように構成されたプレノプティックカメラを形成するように構成されている。この目的を達成するために、カメラ本体１０２はまた、ｎ個のマイクロレンズ１１１、１１２、１１３、１１ｎから成るレンズレットアレイ１１を備えており、ｎは２以上の整数である。レンズレットアレイ１１はマイクロレンズアレイとも呼ばれる。説明の目的のために、レンズレットアレイ１１は、比較的少数のマイクロレンズを有するように示されているが、マイクロレンズの数は、数千個またはさらには百万個もしくは数百万個のマイクロレンズにまで及んでもよい。光センサアレイ１３の光センサのグループは、レンズレットアレイ１１の各マイクロレンズ１１１〜１１ｎに光学的に関連付けられている。例えば、レンズレットアレイ１１の各マイクロレンズ１１１〜１１ｎは、２×１、４×４または１０×１０個の光センサのアレイに対応するようにサイズが設定されている。マイクロレンズに関連付けられた光センサのグループ（または換言すれば、マイクロレンズの配下の光センサのグループ）は、このマイクロレンズに関連付けられたマイクロ画像を形成し、光センサのグループの各光センサはマイクロ画像のピクセルを形成している。１つの単一のマイクロレンズに光学的に関連付けられた複数の光センサのうちの各光センサによって、１つの位置に係るシーンのピクセルを表す生データを取得すること（ピクセルと同数の視差の取得）が可能になる。異なる実施形態によれば、レンズユニット１０１およびカメラ本体１０２は、集合的に１つの単一の本体を形成し、着脱不可能であるように組み立てられる。

レンズユニット１０１は、メインレンズまたは１次レンズとも呼ばれる、カメラレンズ１０を備えており、このカメラレンズ１０は、１つ以上のレンズ要素で有利に形成される。分かりやすくする目的のために、図１には１つのレンズ要素１０のみが示されている。

プレノプティックカメラ１は、レンズレットアレイ１１と光センサアレイ１３との間の距離がマイクロレンズの焦点距離と等しいプレノプティックカメラに相当するタイプ１．０であっても、またはそうでないタイプ２．０（フォーカストプレノプティックカメラ（ｆｏｃｕｓｅｄ ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ）とも呼ばれる）であっても、同様である。

図２Ａおよび図２Ｂは、ライトフィールド取得デバイスの他の実施例を提供する。より具体的には、図２Ａおよび図２Ｂは各々、本原理の２つの特定の実施形態に係る、カメラアレイ２Ａ、２Ｂ（マルチカメラアレイとも呼ばれる）を示す。

カメラアレイ２Ａは、符号２０により参照される、レンズまたはマイクロレンズのアレイと、符号２１により参照される、１つまたはいくつかのセンサアレイとを備え、レンズまたはマイクロレンズのアレイは、ｐをマイクロレンズの数に対応する整数として、符号２０１、２０２〜２０ｐにより参照されるいくつかのマイクロレンズを備える。カメラアレイ２Ａはメインレンズを有しない。レンズのアレイ２０は、一般にマイクロレンズアレイという名称の、小さいデバイスであってもよい。単一のセンサを有するカメラアレイは、メインレンズが無限焦点を有するプレノプティックカメラの特別な場合と考え得ることは注目に値する。光センサの数がマイクロレンズの数に等しい、すなわち、１つの光センサが１つのマイクロレンズに光学的に関連付けられている特定の配列によれば、カメラアレイ２０は、例えば、（図２Ａに示されるような）正方形配列または五の目形配列など、互いに接近して離間された、いくつかの個々のカメラ（例えば、マイクロカメラ）の配列と見なされてもよい。

カメラアレイ２Ｂは、レンズおよび光センサアレイを各々備える個々のカメラのリグに対応する。カメラは、例えば、数センチメートル以下、例えば、５、７または１０ｃｍに等しい距離で互いに離間されている。

このようなカメラアレイ２Ａまたは２Ｂを用いて得られた（いわゆるライトフィールド画像を形成する）ライトフィールドデータは、シーンの複数のビュー、すなわち、図１のプレノプティックカメラなどのプレノプティックカメラを用いて得られた生画像の多重分離およびデモザイク化によって得られた最終ビューに対応する。カメラアレイのカメラは任意の周知の方法に従って校正される。すなわち、カメラの内部パラメータおよび外部パラメータは既知である。

図３は、ライトフィールドデータを処理する装置３の一実施例を示す概略ブロック図を示す。ライトフィールドデータは、例えば、図１または図２Ａ、図２Ｂのライトフィールド取得デバイスから受信される。別の実施例によれば、ライトフィールドデータは、ライトフィールドデータが記憶された記憶デバイスから受信される。

装置３は、バス３６によって接続されたプロセッサ３１、記憶ユニット３２、入力デバイス３３、表示デバイス３４、およびインターフェースユニット３５を含む。当然のことながら、コンピュータ装置３の構成要素は、バス３６を用いたバス接続以外の接続によって接続されてもよい。

プロセッサ３１は装置３の動作を制御する。記憶ユニット３２は、プロセッサ３１によって実行されるべき少なくとも１つのプログラム、およびライトフィールドカメラによって捕捉され、与えられた４Ｄライトフィールド画像のデータ（ライトフィールドデータ）、プロセッサ３１によって遂行される計算によって用いられるパラメータ、プロセッサ３１によって遂行される計算の中間データなどを含む、様々なデータを記憶する。プロセッサ３１は、任意の周知の好適なハードウェアもしくはソフトウェア、またはハードウェアとソフトウェアとの組み合わせによって形成され得る。例えば、プロセッサ３１は、処理回路などの専用ハードウェアによって形成されるか、または中央処理装置（ＣＰＵ）および／もしくはグラフィック処理ユニット（ＧＰＵ）などのプログラム可能処理ユニットであって、そのメモリ内に記憶されたプログラムを実行する、プログラム可能処理ユニットによって形成されてもよい。

記憶ユニット３２は、プログラム、データ、または同様のものをコンピュータ読み取り可能な方法で記憶する能力を有する任意の好適な記憶装置または手段によって形成され得る。記憶ユニット３２の例としては、半導体メモリデバイス、ならびに読み出しおよび書き込みユニット内に挿入される磁気、光学、または磁気光学記録媒体などの非一時的コンピュータ可読記憶媒体が挙げられる。プログラムは、プロセッサ３１に、ライトフィールドデータを、以下で図９を参照して説明されているとおりの本開示の一実施形態に従って処理する（例えば、それを編集またはセグメント化する）プロセスを遂行させる。

入力デバイス３３は、ユーザが、シーン内の関心のあるオブジェクトのユーザの選択を行うためにコマンドを入力するために使用するキーボード、マウスなどのポインティングデバイスまたは同様のものによって形成されてもよい。出力デバイス３４は、例えば、グラフィカルユーザインターフェース（ＧＵＩ）、焦点スタックの画像、または深度マップ画像を表示する表示デバイスによって形成されてもよい。入力デバイス３３および出力デバイス３４は、例えば、タッチスクリーンパネルによって一体的に形成されてもよい。

インターフェースユニット３５は、装置３と外部装置との間のインターフェースを提供する。インターフェースユニット３５は、ケーブルまたは無線通信を介して外部装置と通信可能であってもよい。本実施形態では、外部装置は、ライトフィールド取得デバイス、例えばライトフィールドカメラであってもよい。この場合、ライトフィールド取得デバイスによって捕捉された４Ｄライトフィールド画像のデータは、インターフェースユニット３５を通じてライトフィールド取得デバイスから装置３へ入力され得、その後、記憶ユニット３２内に記憶される。

本実施形態では、装置３は、一実施形態においてケーブルまたは無線通信を介して互いに通信することができる、ライトフィールド取得デバイスから独立しているように例示的に説明されている。一実施形態では、装置３は、ライトフィールド取得デバイスと一体化されていてもよい。

図３には１つのプロセッサ３１のみが示されているが、このようなプロセッサは、本開示の実施形態に係る装置３によって実行される機能を組み込んだ、以下のものなどの異なるモジュールおよびユニットを含み得ることが理解されなければならない：
− ライトフィールドデータをセグメント化する、すなわち、ライトフィールドデータの要素を、それらが表すシーンのオブジェクトに従ってグループ化するモジュール；
− シーン内の関心のあるオブジェクトを識別するモジュール；
− 関心のあるオブジェクトの深度を推定するモジュール；
− 関心のある各オブジェクトに関連付けられるべき焦点画像の数を決定するモジュール；
− ライトフィールドデータセットから、またはライトフィールドデータセットから生成されたビューのマトリックスから深度を算出する深度計算モジュール；
− 算出された深度からシーン内の関心のあるオブジェクトの位置を計算する計算ユニット。

代替的な実施形態では、これに応じて、モジュールおよびユニットは、互いに通信および協働するいくつかのプロセッサ３１内に組み込まれていることができる。

図４は、本原理の一実施形態に係る、ライトフィールドカメラ１または２を用いて得られるライトフィールドデータ４の第１の実施例を示す。図４の実施例では、ライトフィールドデータは、図示のように、４行および４列のマトリックス４によって表現されるビュー４００〜４０３、４１０〜４１３、４２０〜４２３および４３０〜４３３の集合によって表現される。各ビューのための各参照符号の２つの最後の桁は、ビューに関連付けられた対応する行および列を指示する。例えば、符号４００により参照されるビューは、０を標識として有する１番目の行および０を標識として有する１番目の列に属し、符号４２１が付されたビューは、２を標識として有する３番目の行および１を標識として有する２番目の列に属する。行は０〜３のインデックスが付けられ、列は０〜３のインデックスが付けられている。

各ビュー４００〜４０３、４１０〜４１３、４２０〜４２３および４３０〜４３３は特定の視点に係るシーンの画像であり、各ビューは異なる視点に関連付けられている。各ビューは、複数のピクセル、例えば、Ｎ行×Ｍ列のピクセル（要素とも呼ばれる）を含み、各ピクセル／要素は、例えば、ＲＧＢ色情報またはＣＭＹ（シアン、マゼンタおよび黄色）色情報に関連付けられた色情報を有する。

ビューは、例えば、ライトフィールドカメラ２から直接得られ、１個のビューがレンズのアレイ２０の１つのレンズを通して直接取得されるか、またはビューは、ライトフィールドカメラ１を用いて取得された生画像を処理することによって、すなわち、生画像を、（非特許文献１に記載されているように）多重分離し、（非特許文献２に記載されているように）デモザイク化することによって取得される。デモザイク化により、フルカラー生画像を回復すること、すなわち、生画像のピクセルのためのフルカラー情報（例えば、ＲＧＢ情報）を回復することができる。その一方で、プレノプティック画像を用いて取得された生画像は１つの色成分（例えば、Ｒ、ＧまたはＢ）のみを各ピクセルに関連付ける。多重分離は、生画像特定の入射角度によって光線を捕捉する全てのピクセルが、いわゆるサブアパチャ画像を作り出す同じ画像内に記憶されるように、生画像のピクセルを再編成することに依拠する。各サブアパチャ画像は、異なる角度の下におけるシーンの投影像である。サブアパチャ画像のセットは、中心画像が光センサアレイと垂直な光線を捕捉するピクセルを記憶する、ブロックマトリックスを作り出す。

ビューの数は１６個に限定されず、したがって、代替的な実施形態では、４個のビュー、１０個のビュー、１００個のビューまたはｎ個のビューなどの任意の整数に及ぶことができる。ビューの配列は長方形マトリックス配列にも限定されず、円形マトリックス配列、五の目形マトリックス配列またはその他のものなどの任意の幾何形状のものとすることができる。

ライトフィールドデータは複数の要素（またはピクセル）を含む。各要素は４次元座標（すなわち、要素が属するビューを識別する２つの座標、および、２つの他の座標は、それが表現するビュー内の要素のロケーションを識別するように与えられる）を用いて表現される。例えば、ライトフィールドデータの要素‘ｉ’は４つの座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）によって表現される。ｓ_ｉおよびｔ_ｉは、要素‘ｉ’が属するビューのインデックスに対応する（例えば、ｓ_ｉはビューの行標識に対応し、ｔ_ｉはビューのマトリックス内のビューの列標識に対応する）。ｘ_ｉおよびｙ_ｉは、例えば、ビュー（ｓ_ｉ，ｔ_ｉ）内の要素‘ｉ’の行標識および列標識に対応し、０≦ｘ≦Ｎ−１および０≦ｙ≦Ｍ−１である。

光線ｒ_ｉが要素‘ｉ’に関連付けられてもよい。光線ｒ_ｉは要素‘ｉ’の４次元座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）を用いて表現される。ライトフィールドデータは、座標（ｓ，ｔ）を第１の平面のためのものとし、座標（ｘ，ｙ）を第２の平面のためのものとする２平面パラメータ化を用いて、光線（ライトフィールドデータの１つの要素につき１つの光線）のセットによって表現される。第１の平面および第２の平面は、基底ベクトルが平行であり、かつ原点が第１の平面および第２の平面の両方と直交する線上にあるという意味で適合した２Ｄ座標系を備える。

図５は、一実施形態に係る、ライトフィールドカメラ１に用いるために得られるライトフィールドデータ５の第２の実施例を示す。図５の実施例では、ライトフィールドデータ５は、図１上に示されるものなどのプレノプティックカメラを用いて取得された生画像に対応し得るピクセル（ライトフィールドデータ要素とも呼ばれる）のマトリックスである。マイクロレンズアレイのマイクロレンズは要素のセットに各々関連付けられ、マイクロ画像５１〜５８のセットを形成する。各マイクロ画像は、例えば赤色、緑色または青色の色情報に関連付けられた色情報を有する複数の要素を含む。

当然のことながら、マイクロレンズの数（または同等にマイクロ画像の数）は８個に限定されず、任意の整数、例えば４個、１０個、１００個のマイクロレンズまたはそれを超える数に及ぶ。マイクロレンズの配列は五の目形マトリックス配列に限定されず、任意の配列、例えば、長方形マトリックス配列に及ぶ。

ライトフィールドデータは複数の要素（またはピクセル）を含む。各要素は４次元座標、すなわち、要素が関連付けられている（それぞれ属する）マイクロレンズ（またはマイクロ画像）を識別する２つの座標、および、それが属するマイクロ画像内の要素のロケーションを識別する２つの他の座標、を用いて表現される。例えば、ライトフィールドデータの要素‘ｉ’は４つの座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）によって表現される。ｓ_ｉおよびｔ_ｉは、要素‘ｉ’が属するマイクロ画像のインデックス（すなわち、マイクロ画像の配列内のマイクロ画像のロケーション）に対応する（例えば、ｓ_ｉはマイクロ画像／マイクロレンズの行標識に対応し、ｔ_ｉはマイクロ画像／マイクロレンズのマトリックス内のマイクロ画像／マイクロレンズの列標識に対応する）。ｘ_ｉおよびｙ_ｉは、例えば、マイクロ画像（ｓ_ｉ，ｔ_ｉ）内の要素‘ｉ’の行標識および列標識に対応する。ｘ_ｉおよびｙ_ｉは、例えば、マイクロ画像の中心に対して表される。

光線ｒ_ｉが要素‘ｉ’に関連付けられてもよい。光線ｒ_ｉは要素‘ｉ’の４次元座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）を用いて表現される。ライトフィールドデータは、座標（ｓ，ｔ）を第１の平面のためのものとし、座標（ｘ，ｙ）を第２の平面のためのものとする２平面パラメータ化を用いて、光線（ライトフィールドデータの１つの要素につき１つの光線）のセットによって表現されてもよい。第１の平面および第２の平面は、基底ベクトルが平行であり、かつ原点が第１の平面および第２の平面の両方と直交する線上にあるという意味で適合した２Ｄ座標系を備える。

図６は、一実施形態に係る、ライトフィールドデータ４に関連付けられる光線のグループ化を示す。図６は、第１の光線グループ６００（光線束とも呼ばれる）を示す。第１のグループ６００の各光線の起点はシーンの同じ３Ｄ点６０であり、各光線はライトフィールドデータの要素、すなわち、要素６１〜６８に関連付けられる。要素６１、６２、６３、６４、６５、６６、６７および６８はビュー４００、４０１、４０２、４１０、４１１、４１２、４２０および４２１内にそれぞれ含まれる。要素６１〜６８は全て、シーンの同じ点６０を参照するので、対応要素と呼ばれる。

ライトフィールドデータ４の所与の要素‘ｉ’に関連付けられた光線ｒ_ｉの起点は、前記所与の要素に関連付けられた深度値の形式で表された、深度情報Ｄ（ｒ_ｉ）（Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）とも表される）を用いることによって決定される。光線は、要素‘ｉ’に関連付けられた４次元座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）を用いて定義される。光線ｒ_ｉの起点は、要素‘ｉ’から出発し、光線ｒ_ｉに沿って進行することによって、Ｄ（ｒ_ｉ）に対応する距離上で得られる。光線ｒ_ｉの起点は、光線ｒ_ｉに属し、光線ｒ_ｉに沿って要素‘ｉ’から距離Ｄ（ｒ_ｉ）に位置するシーンの点に対応する。

光線グループは、例えば、座標ｓ_ｉ，ｔ_ｉの参照ビュー（例えば、行インデックス０および列インデックス０を有するビュー４００）内の座標ｘ_ｉ，ｙ_ｉを有する１つの要素６１を取ることによって得られる。要素６１は、要素６１の投影像に対応する他のビュー内の要素を見つけるために、他のビュー内に投影される。例えば、ビュー４００の要素６１の投影像は、ビュー４０１内の要素６２、ビュー４０２内の要素６３、ビュー４１０内の要素６４、ビュー４１１内の要素６５、ビュー４１２内の要素６６、ビュー４２０内の要素６７、およびビュー４２１内の要素６８である。他のビュー内の要素６１の投影像は、例えば、（例えば、ピクセルの数で表される）視差値の形式で表された要素６１に関連付けられた深度情報を用いることによって得られる。例えば、要素６２（ビュー４０１内の要素６１の投影像に対応する）が、座標（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）、関連付けられた光線ｒ_ｊおよび関連付けられた深度情報Ｄ（ｒ_ｊ）（Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）とも表される）を有する場合、光線ｒ_ｉおよびｒ_ｊは、以下：
ｘ_ｉ＋（ｓ_ｉ−ｓ_ｊ）×Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）−ｘ_ｊ≦Ｅ１、かつ
ｙ_ｉ＋（ｔ_ｉ−ｔ_ｊ）×Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）−ｙ_ｊ≦Ｅ２
の場合に、同じグループに属すると見なされる。ここで、Ｅ１およびＥ２は、例えば、投影要素を決定する際の不正確性を考慮する決定値（例えば、閾値）である。Ｅ１およびＥ２は同じ値または異なる値であってもよく、例えば、０に近い値、例えば、０．０１、０．０２または０．５に等しくてもよい。

一変形形態によれば、
ｘ_ｊ＋（ｓ_ｊ−ｓ_ｉ）×Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）−ｘ_ｉ≦Ｅ１、かつ
ｙ_ｊ＋（ｔ_ｊ−ｔ_ｉ）×Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）−ｙ_ｉ≦Ｅ２
であるかどうかが、光線ｒ_ｉおよびｒ_ｊを同じグループに割り当てる前にさらにチェックされる。この第２のチェックにより、要素６２も要素６１上に投影することをチェックすることができる。そうでない場合、それは、オクルージョン（ｏｃｃｌｕｓｉｏｎ）が検出されたことを意味し、それはまた、２つの一貫しない深度値が同じ光線グループに誤って割り当てられることを防止する。

代替的な一実施形態によれば、Ｅ１＝Ｅ２＝０である場合、光線ｒ_ｉおよびｒ_ｊは、以下：
ｘ_ｉ＋（ｓ_ｉ−ｓ_ｊ）×Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）−ｘ_ｊ＝０、かつ
ｙ_ｉ＋（ｔ_ｉ−ｔ_ｊ）×Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）−ｙ_ｊ＝０、
および／または
ｘ_ｊ＋（ｓ_ｊ−ｓ_ｉ）×Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）−ｘ_ｉ＝０、かつ
ｙ_ｊ＋（ｔ_ｊ−ｔ_ｉ）×Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）−ｙ_ｉ＝０
の場合に、同じグループに属すると見なされる。

要素６１の投影要素に関連付けられた全ての光線が同じ第１の光線グループに属するかどうか、すなわち、シーンの同じ点に対応するかどうかをチェックするために、要素６１の投影要素ごとに同じ操作が遂行される。

参照ビュー（例えば、ビュー４００）の要素が１つずつ考慮され、上述された操作が要素ごとに遂行され、異なる光線グループを生成する。参照ビューのそれぞれの全ての要素が処理されると、他のビューの残りの要素（すなわち、関連付けられた光線が光線グループに割り当てられていない要素）を１つずつ処理して、ライトフィールドデータの全ての要素を試験してもよい。

別の実施形態では、代替的に、他のビュー内の要素６１の投影像は、シーン内の要素６１の投影像を（ビュー４００を取得するために用いられているカメラの内部パラメータおよび外部パラメータ、ならびに要素６１に関連付けられた深度値を用いて）決定し、その後、要素６１の投影像に対応するシーンの点が、（他のビューを取得するために用いられているカメラの内部パラメータおよび外部パラメータを用いることにより）他のビューの１つ１つの内部へ再投影されることによって得られる。潜在するオクルージョンをチェックするめに、カメラの内部パラメータおよび外部パラメータ、ならびに投影要素に関連付けられた深度情報を用いることによって、要素６１の投影像に対応する要素が要素６１上に投影するかどうかもチェックされる。

さらに別の実施形態によれば、ライトフィールドデータの要素に関連付けられたアレイの起点が、シーンの空間内におけるそれらの３次元座標に従って分類される。決められた数の３Ｄ点のクラスタが得られる。各クラスタは光線グループに対応する。

いずれのグループにも割り当てられない光線は、単一の光線の起点である（またはライトフィールドデータの単一の要素に関連付けられている）シーンの点に各々対応するので、自由光線と呼ばれる。

図７および図８は、一実施形態に係る、２つの光線グループ間の関係を示す。図７は、特に、ライトフィールドデータ４の部分７、例えば、４つの左上のビュー４００、４０１、４１０および４１１、ならびに関連付けられた要素を示す。要素６１、６２、６４および６５、ならびに関連付けられた光線６０１、６０２、６０３および６０４はそれぞれ、シーンの同じ３Ｄ点６０に関連付けられている。光線６０１〜６０４は、図６に関して説明された第１のグループ６００の一部であり、破線で示されている。ビュー４００、４０１および４１０にそれぞれ属する要素７１、７２および７３は光線７０１、７０２および７０３にそれぞれ関連付けられ、シーンの同じ３Ｄ点７０を参照する。光線７０１、７０２および７０３は、第２の光線グループまたはその一部を形成し、実線で示されている。

一実施形態では、グループ同士が近傍であるときに、２つの異なるグループ間の関係が決定される。２つの異なるグループは、それらが互いの要素の近傍内に少なくとも１つの要素を有するときに、近傍であると見なされる。第１のグループの光線、例えば、光線６０１を考慮すると、第１のグループの考慮されている光線６１に関連付けられた要素６１に関連付けられた要素の近傍内に位置する第２のグループの光線に関連付けられた要素が存在するかどうかが探索される。

図８は、要素６１の近傍を示す一実施形態である。図８には、黒いセルで示されたライトフィールド要素６１を含むビュー４００が示されている。要素８１〜８８は、それらが同じビュー４００に対応し、要素６１に隣接しているため、要素６１の近傍内に属するように定義される。代替的な一実施形態では、要素８１〜８８の一部のみ、この場合、特に、要素８２、８４、８６および８８（すなわち、要素６１と同じ行または同じ列に属し、要素６１に隣接した要素）が要素６１の近傍内に属すると見なされる。さらに別の実施形態によれば、要素６１の近傍は、要素８１〜８８および要素８１〜８８に隣接した要素を含むことができる。要素７１は要素６１のものと同じビュー４００に属し、その要素の近傍内に同様に属する第２のグループの光線７０１に関連付けられている。その結果、第１の光線グループおよび第２の光線グループは近傍同士であると見なされ、それらの間に関係が確立される。その目的を達成するために、第１のグループの各光線について、要素を、第１のグループの各光線に関連付けられた要素の近傍内に位置する第２のグループの光線に関連付ける関係が確立される。図７の実施例によれば、要素７１、７２および７３は第２のグループの光線７０１、７０２および７０３にそれぞれ関連付けられている。これらは、今度はそれぞれ、第１のグループの光線６０１、６０２および６０３に関連付けられた要素６１、６２および６４の近傍内にある。図７の実施例では、第１のグループの光線６０４に関連付けられた要素６５は、第２のグループの光線に関連付けられたいかなる要素もその近傍内に有しない。第１の光線グループと第２の光線グループとの間の関係は、第１のグループの各光線と、第１のグループの各光線の近傍内に位置する第２のグループの光線との差を算出し、それらの算出された差を全て合計することによって確立される。

第１のグループおよび第２のグループの近傍光線の差は、近傍光線に関連付けられた要素間に存在する色差情報に従って決定される。例えば、光線６０１および７０１の差は要素６１および要素７１の色情報の差に対応し、光線６０２および７０２の差は要素６２および要素７２の色情報の差に対応し、光線６０３および７０３の差は要素６４および要素７３の色情報の差に対応する。一変形形態によれば、差は、第１および第２のグループの近傍光線の近傍要素に関連付けられた深度情報に従って決定される。一変形形態によれば、差は、色情報の差および深度情報の差を考慮に入れることによって決定される。

一実施形態によれば、決定された光線グループと、決定された光線グループの近傍内に位置する自由光線との間の関係がさらに確立される。すなわち、自由光線が、決定された光線グループの光線のうちの１つの近傍内にある場合に確立される。一変形形態によれば、任意の光線グループと、光線グループの近傍内に位置する任意の自由光線との間の関係が確立される。

光線を複数のグループにグループ化し、異なる光線グループ間および異なる光線グループと自由光線との間の関係を確立することで、ライトフィールドの各要素を個々に考慮してライトフィールドデータが表現される場合に必要とされるデータ量よりも少ない量のデータを有する、ライトフィールドの単純化された（例えば、グラフの形式の）表現を得ることが可能になる。

図９は、一実施形態による、例えば、ライトフィールドデータ４または５に対応するライトフィールドデータ９１を処理するフローチャートを示す。本実施形態では、ライトフィールドデータは、ライトフィールド取得デバイスから、記憶デバイスから、または遠隔に配置されたサーバから、例えば、インターネットを介して受信される。ライトフィールドデータは、例えば、要素（またはピクセル）のマトリックスの形式で配列された複数のライトフィールド要素を含む。

ステップ９２において、光線をライトフィールドデータ９１の要素に関連付ける。光線は、ライトフィールドデータの要素の４次元座標を用いることによって得られる。このとき、ライトフィールドデータは、２平面パラメータ化を用いて光線のセット（ライトフィールドデータの１つの要素につき１つの光線）によって表現されてもよい。ライトフィールドの所与の要素に関連付けられた４次元座標は、例えば、所与の要素が属するビューまたはマイクロレンズを識別するために用いられる２つのインデックス、およびビュー／マイクロレンズ内の所与の要素のロケーションを識別する２つの座標に対応する。一変形形態によれば、４次元座標は、（ライトフィールドデータに対応する）要素のマトリックス内の所与の要素の位置を特定する２つの座標および２つの角度座標を含む。

ステップ９３において、ライトフィールドデータの要素に関連付けられた深度情報を決定する。深度情報は、例えば、深度値（例えば、メートル単位で表される）または視差値（例えば、ピクセル数で表される）に対応する。深度情報は、例えば、非特許文献３、または非特許文献４、または非特許文献５、または非特許文献６に記載されているとおりに決定される。

ステップ９４において、各光線の起点を決定する。起点は、ライトフィールドデータによって表現されたシーンの３Ｄ点に対応する。ライトフィールドデータの要素から出発し、この要素に関連付けられた深度情報が分かっていると、光線の起点は、光線上において、光線に沿って、要素に関連付けられた深度に対応する距離に位置するシーンの３Ｄ点に対応する。換言すれば、所与の要素から光線が追跡され、起点は、所与の要素に関連付けられた光線に沿って、所与の要素に関連付けられた深度に対応する距離にある、光線とシーンとの交点になる。同じ操作がライトフィールドデータ９１の一部または全体の要素ごとに遂行される。

ステップ９４において、ライトフィールドデータ９１の要素に関連付けられた光線をグループ化する。シーンにおいて同じ起点を有する光線は、同じグループに属する。２平面パラメータ化を用いてパラメータ化されたライトフィールドを所与として、ｒ_ｉを、その４−Ｄ座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）によって表現された光線とする。そのローカル深度測定値を、座標（ｓ，ｔ）の１個のビューから、隣接したビュー（ｓ＋δ_ｓ，ｔ＋δ_ｔ）へのピクセルシフトを表現するＤ（ｒ_ｉ）として表す。ここで、δは小さい。光線グループ（光線束とも呼ばれる）ｂ_ｉは、それらの深度測定値Ｄ（ｒ_ｉ）に従い、同じ３Ｄシーン点を記述する全ての光線のセットとして定義される。形式的には，ｘ_ｉ＋（ｓ_ｉ−ｓ_ｊ）×Ｄ（ｓ_ｉ，ｓ_ｉ，ｘ_ｉ，ｙ_ｉ）＝ｘ_ｊ（かつｔ−ｙ方向についても同様）、またはｘ_ｉ＋（ｓ_ｉ−ｓ_ｊ）×Ｄ（ｓ_ｉ，ｓ_ｉ，ｘ_ｉ，ｙ_ｉ）−ｘ_ｊ≦ε１の場合にのみ、２つの光線ｒ_ｉおよびｒ_ｊは同じグループに属する。ここで、ε１は、０に近いか、または０に等しい決定値に対応する。

代替的な一実施形態では、２つの光線を同じ光線グループに割り当てる前に、同じ等式ｘ_ｊ＋（ｓ_ｊ−ｓ_ｉ）×Ｄ（ｓ_ｊ，ｙ_ｊ，ｘ_ｊ，ｙ_ｊ）＝ｘ_ｉ（またはｘ_ｊ＋（ｓ_ｊ−ｓ_ｉ）×Ｄ（ｓ_ｊ，ｙ_ｊ，ｘ_ｊ，ｙ_ｊ）−ｘ_ｉ≦ε１）が逆方向に成立するかどうかをチェックする。等式が逆方向に成立しないときには、オクルージョンを検出することができるため、このチェックはオクルージョンの検出を可能にする。光線のグループ化の操作の終了時に、光線がいずれの光線グループにも割り当てられていなければ、光線は自由と呼ばれる。各光線グループは、例えば、一意の識別子を用いて識別され、各自由光線も一意の識別子を用いて識別される。

ステップ９５において、光線グループに関する情報、および／または自由光線（自由光線は、１つの単一の光線を含むグループと見なされてもよい）に関する情報を用いることによって、ライトフィールドデータを処理する。処理は、例えば、（自由光線に対応する）オクルージョンの検出に対応してもよい。

代替的な一実施形態によれば、処理はライトフィールドデータのセグメント化に対応してもよい。セグメント化のその目的を達成するために、光線グループと自由光線との間の関係を決定してもよい。セットＲを、全ての自由光線を包含するものと定義し、スーパーセットＢを、光線の全てのグループを包含するものと定義する。この条件において、ＬＦが全ての光線のセット（すなわち、ライトフィールド）を表す場合、それらが自由であるか否かにかかわらず、このとき、ＬＦ＝Ｒ∪Ｂである。自由光線と光線束との間の近傍関係を定義するために、Ｎ（ｒ_ｉ）を、各ビュー上のｒ_ｉの４連結近傍
・座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ−１，ｙ_ｉ）のｒ_ｊ
・座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ＋１，ｙ_ｉ）のｒ_ｋ
・座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ−１）のｒ_ｌ
・座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ＋１）のｒ_ｍ
を有する光線｛ｒ_ｊ，ｒ_ｋ，ｒ_ｌ，ｒ_ｍ｝のセットとする。

１つの自由光線ｒ_ｉは、ｂ_ｉの１つの光線要素がｒ_ｉの近傍にある場合にのみ、光線束ｂ_ｉの近傍である（すなわち、ｒ_ｉ∈Ｎ（ｂ_ｉ）⇔ｂ_ｉ∩Ｎ（ｒ_ｉ）≠φ）。同様に、２つの光線グループｂ_ｉおよびｂ_ｊは、それらが互いの要素の近傍内に少なくとも１つの要素を有する場合に近傍である（すなわち、ｂ_ｊ∈Ｎ（ｂ_ｉ）⇔∃ｒ_ｉ∈ｂ_ｉ｜ｒ_ｉ∈Ｎ（ｂ_ｊ））。グラフＧ＝｛Ｖ，Ｅ｝は、グラフの各頂点がＲおよびＢの１つの要素に対応するように構築されてもよく（表記Ｖ＝Ｂ∪Ｒの濫用）、辺は、２つの光線、２つのグループ間、および光線およびグループ間の近傍関係によって定義される（Ｅ＝（ｒ_ｉ，ｒ_ｊ）｜ｒ_ｊ∈Ｎ（ｒ_ｉ）∪（ｂ_ｉ，ｒ_ｉ）｜ｒ_ｉ∈Ｎ（ｂ_ｉ）∪（ｂ＿ｉ，ｂ＿ｊ）｜ｂ_ｉ∈Ｎ（ｂ_ｊ））。このようなアプローチは、例えば、ランダムマルコフ場（ＲＭＦ）アルゴリズムの入力におけるデータ量を大幅に低減することができる。実際に、最大フローを用いた周知のグラフカットアルゴリズムを用いると、典型的な解決の複雑さはＯ（ｆ｜Ｅ｜）またはＯ（｜Ｖ｜｜Ｅ｜^２）である。ここで、ｆは最大フローであり、｜Ｖ｜、｜Ｅ｜は頂点および辺の数である。自由光線の決定は、オクルージョンに関連する問題を回避し、深度マップ内のアーチファクトを回避する。

頂点（すなわち、光線および自由光線のグループ）ならびに辺（頂点のグループおよび自由光線の間の関係）によるライトフィールドデータの表現の１つの可能な利用法は、グラフカットを用いた画像マルチラベルセグメント化である。Ｌが、各自由光線および光線グループにラベルαを付与するラベル付け関数に対応する場合、最小化されるよう求められるエネルギーは、形式：

のものであり、ここで、Ｕはデータ項を表し、Ｐは平滑化項を表す。従来の非反復的グラフカットの場合のように、ｍは、近傍自由光線または光線グループ間のラベル一貫性をより強化する、ユーザによって調整される係数である。自由光線および色グループのためのデータ項は、例えば、混合ガウスモデル（ＧＭＭ）を用いて定義されてもよい。ライトフィールドを所与として、スクリブル（ｓｃｒｉｂｂｌｅ）画像がユーザ対話によって得られる。ユーザは、セグメント化しようとするオブジェクトの上に異なる色を与える。従来のグラフカットの場合のように、スクリブルは各オブジェクトの異なる色の異なる部分を覆う必要がある。光線の色はＬ_ｆ（ｒ_ｉ）と表され、光線グループの色は、それが含む光線の平均である。

Ｓを、編集のために用いられる座標（ｓ，ｔ）のビューと同じサイズのスクリブル画像と呼ぶ。スクリブルの下の各要素／ピクセル値は、ラベルコード（１〜スクリブルの数）およびその他の場合０を表現する。

Πが、光線または束が学習ＧＭＭおよびその色に従ってオブジェクトαに属する確率を表す場合、ラベルαのための光線ｒ＿ｉのデータ項は、光線色の前方確率の負のログ尤度として定義される。入力スクリブルは、スクリブルの下の自由光線の１変数項を０および∞に設定することにより、厳しい制約条件として用いられる。

同様に、グループ／束データ項を次式のように定義する。

ペアワイズ確率を、従来の色の連続性の場合のように、自由光線の対のためにおよび自由光線と光線グループとの間に定義する。

ここで、σは局所的な色の分散であり、ΔＥはＣＩＥＬａｂ色距離である。光線グループの対のために、互いに近傍にある各束の光線の合計からペアワイズ項を定義する。

次に、例えば、非特許文献７に記載されているとおりのアルファ拡張を用いて、エネルギーを効率的に最小化する。

図１０には、例えば、一実施形態では、一実施形態によるライトフィールドカメラを組み込んだスマートフォン、タブレットまたはその他の同様のデバイスなどのモバイルデバイスに相当するテレコミュニケーションデバイス１００のハードウェアの一実施形態が概略的に例示されている。

図１０によって提供される実施形態には、クロック信号も送る、アドレスおよびデータのバス１００４によって互いに接続された、以下の要素を含むテレコミュニケーションデバイス１００が示されている：
− マイクロプロセッサ１００１（すなわちＣＰＵ）、
− ＲＯＭ（リードオンリーメモリ）タイプの不揮発性メモリ１００２、
− ランダムアクセスメモリ、すなわち、ＲＡＭ１００３、
− 無線インターフェース１００６、
− データの伝送のために適合されたインターフェース１００５、
− 例えば、図１のプレノプティックカメラ１または図２のマルチカメラアレイ２に相当するライトフィールドカメラ１００７、
− ユーザに情報を表示する、および／または、データもしくはパラメータを入力するように適合されたマンマシンインターフェース（ＭＭＩ）１００８。

メモリ１００２および１００３の説明において使用される単語「レジスタ」は、言及されているメモリの各々において、低容量の記憶領域および大容量の記憶領域（プログラム全体の記憶が可能な、または受信された、および復号されたデータを表すデータの全てもしくは一部の記憶が可能な）を意味することに留意されたい。

メモリのＲＯＭ１００２は、特に「prog」プログラムを備えている。

後述される、本開示に固有の方法のステップを実施するアルゴリズムは、これらのステップを実施するテレコミュニケーションデバイス１００に関連付けられたメモリであるＲＯＭ１００２に記憶されている。電源が投入されると、マイクロプロセッサ１００１が、これらのアルゴリズムの命令をロードして実行する。

ランダムアクセスメモリ１００３は、特に以下のものを含む：
− レジスタ内における、テレコミュニケーションデバイス１００を起動する役割を果たすマイクロプロセッサ１００１のオペレーティングプログラム、
− 受信パラメータ（例えば、変調、符号化、ＭＩＭＯ、フレームの反復のためのパラメータ）、
− 伝送パラメータ（例えば、変調、符号化、ＭＩＭＯ、フレームの反復のためのパラメータ）、
− 受信器１００６によって受信されて復号されるデータに対応する入力データ、
− インターフェース１００５からアプリケーションに伝送されるように形成された復号データ、
− ライトフィールドカメラのパラメータ、
− 生画像および／またはビューを形成するライトフィールドデータ、
− 光線グループおよび／または自由光線を表すデータ、
− 例えば、深度マップ内に含まれる、深度を表す情報。

図１００に関して説明された構成以外のテレコミュニケーションデバイス１００のその他の構成も本開示に適合する。特に、変形形態によれば、テレコミュニケーションデバイスは、例えば、専用構成部品（例えば、特定用途向け集積回路（ＡＳＩＣ）、もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、もしくは超大規模集積回路（ＶＬＳＩ）の形態で、または装置に組み込まれた複数の電子部品の形態で、純粋にハードウェアによる実現に従って実施してもよく、あるいはさらにハードウェア要素とソフトウェア要素との混合の形態で実施してもよい。

無線インターフェース１００６およびインターフェース１００５は、例えば、ＩＥＥＥ ８０２．１１（Wi-Fi（登録商標））、ＩＭＴ−２０００仕様（３Ｇとも呼ばれる）、３ＧＰＰ ＬＴＥ（４Ｇとも呼ばれる）、ＩＥＥＥ ８０２．１５．１（Bluetooth（登録商標）とも呼ばれる）などに準拠した規格のような１つまたはいくつかのテレコミュニケーション（電気通信）規格に従う信号の受信および伝送のために適合されている。

代替的な一実施形態では、テレコミュニケーションデバイスはいかなるＲＯＭも含まず、ＲＡＭのみを含む。図９に関して説明された、本開示に固有の方法のステップを実施するアルゴリズムはＲＡＭ内に記憶される。別の変形形態によれば、テレコミュニケーションデバイス１００は、ＲＯＭおよび／またはＲＡＭの代わりに、ソリッドステートドライブ（ＳＳＤ）メモリを含む。

当然のことながら、本開示は、上述された実施形態に限定されない。

特に、本開示は、ライトフィールドデータを処理するように構成された装置、またはライトフィールドデータを処理する方法に限定されず、さらにライトフィールドデータの表現を表示する、および／または前景オブジェクトを除去することにより、かつ光線グループに関する情報および／または深度マップ内に記憶された深度情報を用いることにより、シーンもしくはシーンの一部、例えば、シーンの背景部分の１つ以上のビューを再構築する方法／装置、あるいはこのような装置を含むか、またはこのような方法を実施する任意のデバイス、例えばテレコミュニケーションデバイスにも適用される。

テレコミュニケーションデバイスは、例えば、スマートフォン、スマートウォッチ、タブレット、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、シースルーグラス、ヘッドマウントディスプレイ（ＨＭＤ）、およびエンドユーザ間、さらにまたセットトップボックス間の情報の通信を容易にするその他のデバイスを含む。

本明細書において説明されている深度マップを得る方法は、命令がプロセッサによって遂行されることによって実施されてもよく、このような命令（および／または実施によって生成されたデータ値）は、例えば、集積回路、ソフトウェアキャリア、または例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光学ディスク（例えば、デジタル多用途ディスクもしくはデジタルビデオディスクとしばしば呼ばれるＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）、またはリードオンリーメモリ（「ＲＯＭ」）などのその他の記憶デバイスなどのプロセッサ可読媒体上に記憶されてもよい。命令は、プロセッサ可読媒体上に有形に組み込まれたアプリケーションプログラムを形成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせの形態のものであってもよい。命令は、例えば、オペレーティングシステム、独立したアプリケーション、または両方の組み合わせ内に存在してもよい。したがって、プロセッサは、例えば、プロセスを実行するように構成されたデバイス、およびプロセスを実行する命令を有するプロセッサ可読媒体（記憶デバイスなど）を含むデバイスの両方として特徴付けられてもよい。さらに、プロセッサ可読媒体は、命令に加えてまたはそれらの代わりに、実施によって生成されたデータ値を記憶してもよい。

当業者には明らかであろうように、実装形態は、例えば、記憶または伝送され得る情報を伝達するようにフォーマットされた種々の信号を生成してもよい。情報は、例えば、方法を遂行する命令、または上述の実装形態のうちの１つによって生成されたデータを含んでもよい。例えば、信号は、上述の実施形態の構文を記述するかもしくは読み取るための規則をデータとして伝達するか、または上述の実施形態によって記述された実際の構文値をデータとして伝達するようにフォーマットされてもよい。このような信号は、例えば、（例えばスペクトルの無線周波数部分を使用する）電磁波として、またはベースバンド信号としてフォーマットされてもよい。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームを用いて搬送波を変調することを含んでもよい。信号が伝達する情報は、例えば、アナログまたはデジタル情報であってもよい。信号は、周知のように、種々の異なる有線または無線リンクを通じて伝送されてもよい。信号はプロセッサ可読媒体上に記憶されてもよい。

多数の実装形態が説明された。それにもかかわらず、様々な変更形態がなされ得ることが理解されるであろう。例えば、異なる実装形態の要素が、他の実装形態をもたらすために、結合、補足、変更または除去されてもよい。加えて、当業者は、他の構造およびプロセスが、開示されているものの代わりに用いられてもよく、その結果得られる実装形態は、開示されている実装形態と少なくとも実質的に同じ機能を少なくとも実質的に同じ様態で遂行し、少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これらおよび他の実装形態が本出願によって企図されている。
また、上記実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限定されない。
（付記１）
シーンを表すライトフィールドデータを処理する方法であって、前記ライトフィールドデータが複数の要素を含み、４次元座標が前記複数の要素の各要素に関連付けられ、前記方法は、
光線を各要素に関連付けることであって、前記光線は、各前記要素に関連付けられた前記４次元座標から得られる、関連付けることと、
前記要素毎に深度情報を決定することと、
前記深度情報に従って前記シーン内における各前記光線の起点を決定することと、
前記シーンにおいて同じ起点を有する光線をグループ化して、複数のグループを形成することと、
前記複数のグループのうちのグループの少なくとも１つの対について、前記少なくとも１つの対を形成する第１の光線グループと第２の光線グループとの間の関係を確立することであって、重みが前記関係に関連付けられ、
前記第１のグループの前記光線の少なくとも一部の光線毎に、前記第２のグループの光線が前記第１のグループの前記光線の近傍内に含まれる場合に、前記第２のグループの前記光線と前記第１のグループの前記光線との差を算出し、
前記差を合計することによって前記重みを決定する
ことによって決定される、確立することと、
前記ライトフィールドデータを前記複数のグループおよび前記関係に従って処理することと
を含む、方法。
（付記２）
‘ｉ’により参照され、４次元座標（ｓｉ，ｔｉ，ｘｉ，ｙｉ）を用いて表現された第１の光線、および‘ｊ’により参照され、４次元座標（ｓｊ，ｔｊ，ｘｊ，ｙｊ）を用いて表現された第２の光線は、以下：
ｘｉ＋（ｓｉ−ｓｊ）×Ｄ（ｓｉ，ｔｉ，ｘｉ，ｙｉ）−ｘｊ＜Ｅ１、かつ
ｙｉ＋（ｔｉ−ｔｊ）×Ｄ（ｓｉ，ｔｉ，ｘｉ，ｙｉ）−ｙｊ＜Ｅ２
の場合に、前記複数のグループのうちの同じグループにグループ化され、ここで、Ｄ（ｓｉ，ｔｉ，ｘｉ，ｙｉ）は、前記第１の光線に関連付けられた前記深度情報に対応し、Ｅ１は、第１の決定値に対応し、およびＥ２は、第２の決定値に対応する、付記１に記載の方法。
（付記３）
前記第１の光線および前記第２の光線は、以下の条件：
ｘｊ＋（ｓｊ−ｓｉ）×Ｄ（ｓｊ，ｔｊ，ｘｊ，ｙｊ）−ｘｉ＜Ｅ１、かつ
ｙｊ＋（ｔｊ−ｔｉ）×Ｄ（ｓｊ，ｔｊ，ｘｊ，ｙｊ）−ｙｉ＜Ｅ２
がさらに満たされる場合に、前記同じグループにグループ化され、ここで、Ｄ（ｓｊ，ｔｊ，ｘｊ，ｙｊ）は、前記第２の光線に関連付けられた前記深度情報に対応する、付記２に記載の方法。
（付記４）
少なくとも１つの光線が前記複数のグループのうちのグループに割り当てられない、付記１〜３のいずれかに記載の方法。
（付記５）
前記処理は、前記ライトフィールドデータを前記関係に従ってセグメント化することを含む、付記１に記載の方法。
（付記６）
シーンを表すライトフィールドデータを処理するように適合されたデバイスであって、前記ライトフィールドデータが複数の要素を含み、４次元座標が前記複数の要素の各要素に関連付けられ、前記デバイスは、
光線を各要素に関連付けることであって、前記光線は、前記各要素に関連付けられた前記４次元座標から得られる、関連付けることと、
前記要素毎に深度情報を決定することと、
前記深度情報に従って前記シーン内における各前記光線の起点を決定することと、
前記シーンにおいて同じ起点を有する光線をグループ化して、複数のグループを形成することと、
前記複数のグループのうちのグループの少なくとも１つの対について、前記少なくとも１つの対を形成する第１の光線グループと第２の光線グループとの間の関係を確立することであって、重みが前記関係に関連付けられ、
前記第１のグループの前記光線の少なくとも一部の光線毎に、前記第２のグループの光線が前記第１のグループの前記光線の近傍内に含まれる場合に、前記第２のグループの前記光線と前記第１のグループの前記光線との差を算出し、
前記差を合計することによって前記重みを決定する
ことによって決定される、確立することと、
前記ライトフィールドデータを前記複数のグループおよび前記関係に従って処理することと
を行うように構成された少なくとも１つのプロセッサを含む、デバイス。
（付記７）
前記少なくとも１つのプロセッサは、‘ｉ’により参照され、４次元座標（ｓｉ，ｔｉ，ｘｉ，ｙｉ）を用いて表現された第１の光線、および‘ｊ’により参照され、４次元座標（ｓｊ，ｔｊ，ｘｊ，ｙｊ）を用いて表現された第２の光線を、以下：
ｘｉ＋（ｓｉ−ｓｊ）×Ｄ（ｓｉ，ｔｉ，ｘｉ，ｙｉ）−ｘｊ＜Ｅ１、かつ
ｙｉ＋（ｔｉ−ｔｊ）×Ｄ（ｓｉ，ｔｉ，ｘｉ，ｙｉ）−ｙｊ＜Ｅ２
の場合に、前記複数のグループのうちの同じグループにグループ化するように構成され、ここで、Ｄ（ｓｉ，ｔｉ，ｘｉ，ｙｉ）は、前記第１の光線に関連付けられた前記深度情報に対応し、Ｅ１は、第１の決定値に対応し、およびＥ２は、第２の決定値に対応する、付記６に記載のデバイス。
（付記８）
前記少なくとも１つのプロセッサは、以下の条件：
ｘｊ＋（ｓｊ−ｓｉ）×Ｄ（ｓｊ，ｔｊ，ｘｊ，ｙｊ）−ｘｉ＜Ｅ１、かつ
ｙｊ＋（ｔｊ−ｔｉ）×Ｄ（ｓｊ，ｔｊ，ｘｊ，ｙｊ）−ｙｉ＜Ｅ２
がさらに満たされる場合に、前記第１の光線および前記第２の光線を前記同じグループにグループ化するように構成され、ここで、Ｄ（ｓｊ，ｔｊ，ｘｊ，ｙｊ）は、前記第２の光線に関連付けられた前記深度情報に対応する、付記７に記載のデバイス。
（付記９）
少なくとも１つの光線が前記複数のグループのうちのグループに割り当てられない、付記６〜８のいずれかに記載のデバイス。
（付記１０）
前記少なくとも１つのプロセッサは、前記ライトフィールドデータを前記関係に従ってセグメント化するようにさらに構成されている、付記６に記載のデバイス。
（付記１１）
ライトフィールド取得デバイスと、請求項６〜１０のいずれか一項に記載のデバイスとを含むマルチメディア端末。
（付記１２）
プログラムコードの命令であって、プログラムがコンピュータ上で実行されると、付記１〜５のいずれかに記載の方法を実行するプログラムコードの命令を含むコンピュータプログラム製品。
（付記１３）
プロセッサ可読媒体であって、プロセッサに、付記１〜５のいずれかに記載の方法の操作を遂行させるための命令をその中に記憶したプロセッサ可読媒体。

Claims (13)

1. シーンを表すライトフィールドデータを処理する方法であって、前記ライトフィールドデータが複数の要素を含み、４次元座標が前記複数の要素の各要素に関連付けられ、前記方法は、
   光線を各要素に関連付けることであって、前記光線は、各前記要素に関連付けられた前記４次元座標から得られる、関連付けることと、
   前記要素毎に深度情報を決定することと、
   前記深度情報に従って前記シーン内における各前記光線の起点を決定することと、
   前記シーンにおいて同じ起点を有する光線をグループ化して、複数のグループを形成することと、
   前記複数のグループのうちのグループの少なくとも１つの対について、前記少なくとも１つの対を形成する第１の光線グループと第２の光線グループとの間の関係を確立することであって、重みが前記関係に関連付けられ、
   前記第１のグループの前記光線の少なくとも一部の光線毎に、前記第２のグループの光線が前記第１のグループの前記光線の近傍内に含まれる場合に、前記第２のグループの前記光線と前記第１のグループの前記光線との差を算出し、
   前記差を合計することによって前記重みを決定する
   ことによって決定される、確立することと、
   前記ライトフィールドデータを前記複数のグループおよび前記関係に従って処理することと
   を含む、方法。
2. ‘ｉ’により参照され、４次元座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）を用いて表現された第１の光線、および‘ｊ’により参照され、４次元座標（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）を用いて表現された第２の光線は、以下：
   ｘ_ｉ＋（ｓ_ｉ−ｓ_ｊ）×Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）−ｘ_ｊ＜Ｅ１、かつ
   ｙ_ｉ＋（ｔ_ｉ−ｔ_ｊ）×Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）−ｙ_ｊ＜Ｅ２
   の場合に、前記複数のグループのうちの同じグループにグループ化され、ここで、Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）は、前記第１の光線に関連付けられた前記深度情報に対応し、Ｅ１は、第１の決定値に対応し、およびＥ２は、第２の決定値に対応する、請求項１に記載の方法。
3. 前記第１の光線および前記第２の光線は、以下の条件：
   ｘ_ｊ＋（ｓ_ｊ−ｓ_ｉ）×Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）−ｘ_ｉ＜Ｅ１、かつ
   ｙ_ｊ＋（ｔ_ｊ−ｔ_ｉ）×Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）−ｙ_ｉ＜Ｅ２
   がさらに満たされる場合に、前記同じグループにグループ化され、ここで、Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）は、前記第２の光線に関連付けられた前記深度情報に対応する、請求項２に記載の方法。
4. 少なくとも１つの光線が前記複数のグループのうちのグループに割り当てられない、請求項１〜３のいずれか一項に記載の方法。
5. 前記処理は、前記ライトフィールドデータを前記関係に従ってセグメント化することを含む、請求項１に記載の方法。
6. シーンを表すライトフィールドデータを処理するように適合されたデバイスであって、前記ライトフィールドデータが複数の要素を含み、４次元座標が前記複数の要素の各要素に関連付けられ、前記デバイスは、
   光線を各要素に関連付けることであって、前記光線は、前記各要素に関連付けられた前記４次元座標から得られる、関連付けることと、
   前記要素毎に深度情報を決定することと、
   前記深度情報に従って前記シーン内における各前記光線の起点を決定することと、
   前記シーンにおいて同じ起点を有する光線をグループ化して、複数のグループを形成することと、
   前記複数のグループのうちのグループの少なくとも１つの対について、前記少なくとも１つの対を形成する第１の光線グループと第２の光線グループとの間の関係を確立することであって、重みが前記関係に関連付けられ、
   前記第１のグループの前記光線の少なくとも一部の光線毎に、前記第２のグループの光線が前記第１のグループの前記光線の近傍内に含まれる場合に、前記第２のグループの前記光線と前記第１のグループの前記光線との差を算出し、
   前記差を合計することによって前記重みを決定する
   ことによって決定される、確立することと、
   前記ライトフィールドデータを前記複数のグループおよび前記関係に従って処理することと
   を行うように構成された少なくとも１つのプロセッサを含む、デバイス。
7. 前記少なくとも１つのプロセッサは、‘ｉ’により参照され、４次元座標（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）を用いて表現された第１の光線、および‘ｊ’により参照され、４次元座標（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）を用いて表現された第２の光線を、以下：
   ｘ_ｉ＋（ｓ_ｉ−ｓ_ｊ）×Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）−ｘ_ｊ＜Ｅ１、かつ
   ｙ_ｉ＋（ｔ_ｉ−ｔ_ｊ）×Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）−ｙ_ｊ＜Ｅ２
   の場合に、前記複数のグループのうちの同じグループにグループ化するように構成され、ここで、Ｄ（ｓ_ｉ，ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）は、前記第１の光線に関連付けられた前記深度情報に対応し、Ｅ１は、第１の決定値に対応し、およびＥ２は、第２の決定値に対応する、請求項６に記載のデバイス。
8. 前記少なくとも１つのプロセッサは、以下の条件：
   ｘ_ｊ＋（ｓ_ｊ−ｓ_ｉ）×Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）−ｘ_ｉ＜Ｅ１、かつ
   ｙ_ｊ＋（ｔ_ｊ−ｔ_ｉ）×Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）−ｙ_ｉ＜Ｅ２
   がさらに満たされる場合に、前記第１の光線および前記第２の光線を前記同じグループにグループ化するように構成され、ここで、Ｄ（ｓ_ｊ，ｔ_ｊ，ｘ_ｊ，ｙ_ｊ）は、前記第２の光線に関連付けられた前記深度情報に対応する、請求項７に記載のデバイス。
9. 少なくとも１つの光線が前記複数のグループのうちのグループに割り当てられない、請求項６〜８のいずれか一項に記載のデバイス。
10. 前記少なくとも１つのプロセッサは、前記ライトフィールドデータを前記関係に従ってセグメント化するようにさらに構成されている、請求項６に記載のデバイス。
11. ライトフィールド取得デバイスと、請求項６〜１０のいずれか一項に記載のデバイスとを含むマルチメディア端末。
12. プログラムコードの命令であって、プログラムがコンピュータ上で実行されると、請求項１〜５のいずれか一項に記載の方法を実行するプログラムコードの命令を含むコンピュータプログラム製品。
13. プロセッサ可読媒体であって、プロセッサに、請求項１〜５のいずれか一項に記載の方法の操作を遂行させるための命令をその中に記憶したプロセッサ可読媒体。
    

Images