JP2016224948A - ４ｄローライトフィールドデータからリフォーカシングされた画像を得る方法 - Google Patents

Abstract

【課題】所与のフォーカスプレーン値ｇについての４Ｄローライトフィールドデータからリフォーカシングされた画像を得る方法が提案される。【解決手段】方法は、電子デバイスによって実行され、少なくとも１つの色成分について、座標（ｋ，ｌ）∈Ｎ２でのリフォーカシングされた画像の少なくとも１つのピクセル値を決定するステップを有することを特徴とする。決定するステップは、少なくとも１つの色成分について、座標（ｋ，ｌ）の近傍に含まれる座標を有する少なくとも１つの投影ピクセル値を得るステップと、関数に基づき少なくとも１つの投影ピクセル値に重み付けし、加重値を出力するステップと、少なくとも１つの色成分について、座標（ｋ，ｌ）でのリフォーカシングされた画像の少なくとも１つのピクセル値を加重値により更新するステップとを有する。【選択図】図７ｃ

Description

本開示は、４Ｄライトフィールドデータの処理に関する。もっと正確に言えば、本開示は、４Ｄローライトフィールドデータのデマルチプレキシングを実行することなしに、４Ｄローライトフィールドデータから直接に２Ｄのリフォーカシングされた画像を得る技術（すなわち、４Ｄローライトフィールドデータから導出／取得されたサブアパーチャ画像を使用せずに、リフォーカシングされた画像を得ること）に関する。

本項目は、以下で記載及び／又は請求される本開示の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする。この議論は、本開示の様々な態様のより良い理解を助けるよう読者に背景情報を提供するのに有用であると信じられている。然るに、それらの記述は、この観点から読まれるべきであり、先行技術の承認としてではないことが理解されるべきである。

４Ｄライトフィールドのサンプリングとして見られ得る４Ｄライトフィールドデータの取得（すなわち、Anat Levin et al.，“Understanding camera trade-offs through a Bayesian analysis of light field projections”，the Conference Proceedings of ECCV 2008（非特許文献１）の図１で説明されている光線の記録）は、非常に大変な研究テーマである。

実際に、カメラにより捕捉される古典的な２Ｄ画像と比較して、４Ｄライトフィールドデータは、ユーザが、画像のレンダリング及び／又はユーザとの双方向性を向上させる、より多くの後処理機能へのアクセスを有することを可能にする。例えば、４Ｄライトフィールドデータによれば、後天的な画像のリフォーカシング（すなわち、フォーカスプレーンのポジションが後天的に指定／選択され得ることを意味する、焦点調整の自由に選択された距離によるリフォーカシング）と、画像のシーンにおける視点をわずかに変更することとを容易に行うことが可能である。４Ｄライトフィールドデータを取得するために、幾つかの技術が使用され得る。特に、国際公開第２０１３／１８０１９２号パンフレット（特許文献１）において又は英国特許出願公開第２４８８９０５号明細書（特許文献２）において表されているプレンオプティックカメラは、４Ｄライトフィールドデータを取得することができる。プレンオプティックカメラのアーキテクチャの詳細は、本願の図１、２、３、４及び５において与えられている。

最新の技術では、４Ｄライトフィールドデータを提示（又は定義）するための方法が幾つか存在する。実際に、Ren Ng，“Digital Light Field Photography”，Phd dissertation thesis，２００６年７月（非特許文献２）のチャプター３．３には、４Ｄライトフィールドデータを表すための３通りの異なる方法が記載されている。第１に、４Ｄライトフィールドデータは、例えば、図１に表されているようなプレンオプティックカメラによって記録される場合に、マイクロレンズ画像の収集によって表され得る（本願の図２の記載を参照。）。この表現における４Ｄライトフィールドデータは、ロー（raw）画像（又は４Ｄローライトフィールドデータ）と称される。第２に、４Ｄライトフィールドデータは、サブアパーチャ（sub-aperture）画像の組によって表され得る。サブアパーチャ画像は、ある視点からのシーンの捕捉画像に対応し、視点は、２つのサブアパーチャ画像間でわずかに異なる。それらのサブアパーチャ画像は、撮像されたシーンのパララックス及びデプスに関する情報を与える。第３に、４Ｄライトフィールドデータは、エピポーラ画像の組によって表され得る（例えば、S. Wanner et al.，“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”，the conference proceedings of ISVC 2011（非特許文献３）を参照。）。

４Ｄライトフィールドデータからリフォーカシングを実行するために使用される一般的な技術は、国際公開第２０１３／１６７７５８号パンフレット（特許文献３）で（セクション“image refocusing method”において）説明されるように、マイクロレンズ画像の（すなわち、直接に、Ｉ_ＲＡＷと示される４Ｄローライトフィールドデータからの）シフト及び付加に基づく。本願の図６は、２Ｄ画像を得るために４Ｄローライトフィールドデータにおいて座標（ｘ，ｙ）にあるピクセルを如何にして投影すべきかを大まかに表す。４Ｄローライトフィールドピクセル（すなわち、ミクロ画像のピクセル）は、リフォーカシングされた画像内に投影され、一方、重みマップは、積み重ねられた投影ピクセルの数を記録する。重みマップは、投影座標が非整数座標である場合に補間も記録する。全ての４Ｄローライトフィールドピクセルがリフォーカシングされた画像内に投影され、重みマップが決定されると、リフォーカシングされた画像は重みマップによって分けられ、それにより、夫々のリフォーカシングされたピクセルは、同じ平均寄与を受ける。結果として現れる２Ｄ画像は、例えば、ディスプレイ上で出力されるか、あるいは、記憶され及び／又は他のデバイスへ送信され得る。

２Ｄのリフォーカシングされた画像の品質（特にシャープネス）を改善するために、Juliet Fiss et al.，“Refocusing Plenoptic Images using Depth-Adaptive Splatting”（非特許文献４）に記載されている技術は、補間を目的として使用される。実際に、このアプローチに基づく補間は、２Ｄのリフォーカシングされた画像に対する４Ｄローライトフィールドピクセルの影響を広げることにある（座標（ｘ，ｙ）での４Ｄローライトフィールドピクセルが、スプラット（splat）カーネルの関数として定義される値を有する位置ｓへ投影される当該文献の図５を参照。）。この文献で記載されるように、「スプラッティングは、放射基底関数を用いる散乱データ補間の形としてみられ得る」。しかし、このアプローチの１つの欠点は、４Ｄローライトフィールドデータが、２Ｄのリフォーカシングされた画像上に４Ｄローライトフィールドピクセルを投影する前に、デモザイキングされるべき点である。このアプローチの他の欠点は、スプラットカーネルが（ｘ，ｙ）で等方性であり、シーンのデプスにのみ依存する点である。最後に、このアプローチの他の欠点は、スプラットカーネルが多焦点プレンオプティックカメラ（例えば、Todor Georgiev and Andrew Lumsdaine，“The Multi-Focus Plenoptic Camera”（非特許文献５））において表されているもの）又はシーンのジオメトリを考慮しない点である。

従って、それらの欠点を解消することができる技術を提供する必要がある。

国際公開第２０１３／１８０１９２号パンフレット 英国特許出願公開第２４８８９０５号明細書 国際公開第２０１３／１６７７５８号パンフレット

Anat Levin et al.，"Understanding camera trade-offs through a Bayesian analysis of light field projections"，the Conference Proceedings of ECCV 2008 Ren Ng，"Digital Light Field Photography"，Phd dissertation thesis，２００６年７月 S. Wanner et al.，"Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera"，the conference proceedings of ISVC 2011 Juliet Fiss et al.，"Refocusing Plenoptic Images using Depth-Adaptive Splatting" Todor Georgiev and Andrew Lumsdaine，"The Multi-Focus Plenoptic Camera"

「一実施形態」、「実施形態」、「例となる実施形態」との明細書での言及は、記載されている実施形態が特定の機構、構造、又は特性を有してよいが、あらゆる実施形態が必ずしもその特定の機構、構造又は特性を有さなくてよいことを示す。更には、そのようなフレーズは、必ずしも同じ実施形態に言及しているわけではない。更には、特定の機構、構造、又は特性が実施形態に関連して記載される場合に、明示的に記載されていようとなかろうと、他の実施形態に関連してそのような機構、構造、又は特性に作用することは、当業者の知識範囲内にあることが提示される。

本開示は、所与のフォーカスプレーン値ｇについての４Ｄローライトフィールドデータからリフォーカシングされた画像を得る方法を対象とする。方法は、電子デバイスによって実行され、少なくとも１つの色成分について、座標（ｋ，ｌ）∈Ｎ^２での前記リフォーカシングされた画像の少なくとも１つのピクセル値を決定するステップを有することを特徴とする。前記決定するステップは、
前記少なくとも１つの色成分について、前記座標（ｋ，ｌ）の近傍に含まれる座標を有する少なくとも１つの投影ピクセル値を得るステップと、
関数に基づき前記少なくとも１つの投影ピクセル値に重み付けし、加重値を出力するステップと、
前記少なくとも１つの色成分について、座標（ｋ，ｌ）での前記リフォーカシングされた画像の前記少なくとも１つのピクセル値を前記加重値により更新するステップと
を有する。

従って、本技術は、リフォーカシングされた画像におけるピクセル値を色成分ごとに決定するよう行われる処理に関する。従って、本技術は、４Ｄローライトフィールドデータに対してデモザイキング法を使用する必要がない（デモザイキング法に関する更なる詳細は、Zhan Yu et al.による“An Analysis of Color Demosaicing in Plenoptic Cameras”と題された文献において見つけられ得る。）。そのため、本技術は、リフォーカシングされた画像におけるカラーアーチファクトの低減を可能にする。実際に、本技術が夫々の色について適用されると、リフォーカシングされた画像（色成分ごとに１つ）の結合は、カラー画像を得るために行われる。本技術では、デモザイキング法は使用されない。

好適な実施形態において、当該得る方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）を有し、前記関数が、次（数１）のように定義される、ことを特徴とする：

このとき、ｈ_１は
［外１］

に属する値に対応し、関数
［外２］

はノルム関数である。

好適な実施形態において、当該得る方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）を有し、前記関数が次（数２）のように定義される、ことを特徴とする：

このとき、ｈ_２は
［外３］

に属する値に対応し、ｇ_ｒｅａｌ（Ｘ，Ｙ）の値は、前記４Ｄローライトフィールドデータと関連したシーンにおけるｇの実際の値に対応する。もっと正確に言えば、ｇ_ｒｅａｌ（Ｘ，Ｙ）は、前記４Ｄローライトフィールドデータを取得したライトフィールド取得デバイスからの前記４Ｄローライトフィールドデータと関連したシーンにおける実際の距離に対応する。

好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）を有し、前記関数が次（数３）のように定義される、ことを特徴とする：

このとき、ｈ_３及びｈ_３′は
［外４］

に属する値に対応し、値ａ、ｂ、ｃ及びｄが、前記リフォーカシングされた画像のテンソル構造に従って決定される平滑化値に対応する。

好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）を有し、前記関数がＷ_６（ｋ，ｌ，Ｘ，Ｙ）＝χ（（ｋ，ｌ）は（［Ｘ］，［Ｙ］）のＫ近傍ピクセルに属する）であるよう定義される、ことを特徴とする。このとき、χ（．）は、ステートメントが真である場合に１に等しく、それ以外の場合に０に等しい特性関数であり、［．］は端数処理関数であり、Ｋ．は２以上の整数である。

好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃ_ｘ）＋Ｃ_ｘ］，ｓ［ｇ（ｙ−Ｃ_ｙ）＋Ｃ_ｙ］）を有し、ｓが２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）が前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃ_ｘ，Ｃ_ｙ）が、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応し、前記関数がＷ_７（ｋ，ｌ，Ｘ，Ｙ）＝ＰＳＦ（ｘ，ｙ）であるよう定義され、ＰＳＦがプレンオプティックカメラの点拡がり関数の推定である、ことを特徴とする。

好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃ_ｘ）＋Ｃ_ｘ］，ｓ［ｇ（ｙ−Ｃ_ｙ）＋Ｃ_ｙ］）を有し、前記関数が次（数４）のように定義される、ことを特徴とする：

このとき、ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃ_ｘ，Ｃ_ｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応する。また、χ（．）は、ステートメントが真である場合に１に等しく、それ以外の場合に０に等しい特性関数であり、ρは閾値であり、
［外５］

は、ノルム関数である。

好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃ_ｘ）＋Ｃ_ｘ］，ｓ［ｇ（ｙ−Ｃ_ｙ）＋Ｃ_ｙ］）を有し、前記関数が次（数５）のように定義される、ことを特徴とする：

このとき、ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃ_ｘ，Ｃ_ｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応する。また、ｈ_８は、
［外６］

に属する値に対応し、
［外７］

は、ノルム関数である。

好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃ_ｘ）＋Ｃ_ｘ］，ｓ［ｇ（ｙ−Ｃ_ｙ）＋Ｃ_ｙ］）を有し、前記関数が、ｉ≠４として、次（数６）に等しいように定義される、ことを特徴とする：

このとき、ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃ_ｘ，Ｃ_ｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応する。また、Ｓ（ｘ，ｙ）は、（ｘ，ｙ）が属するマイクロレンズのシャープネスの尺度であり、Ｓ_ｍａｘは、前記４Ｄローライトフィールドデータの全てのマイクロレンズにわたる最大シャープネス値に対応する。

好適な実施形態において、当該方法は、前記関数が、可分であるよう定義される、ことを特徴とする。

好適な実施形態において、前記関数は、ｈ_１が
［外８］

に属する値に対応し、関数
［外９］

がノルム関数であるとして、次の数（数７）と他の関数との積であるよう定義される、ことを特徴とする：

好適な実施形態において、当該方法は、前記更新するステップが、前記加重値を前記少なくとも１つのピクセル値に加えることを含む、ことを特徴とする。

一実施形態において、前記少なくとも１つのピクセル値の初期化が存在する。例えば、前記少なくとも１つのピクセル値の前記初期化は、前記電子デバイス内のレジスタにおけるヌル値への初期化を含むことができる。

例となる実施に従って、当該方法の異なるステップは、１つ以上のコンピュータソフトウェアプログラムによって実施される。このソフトウェアプログラムは、本開示に従うリレーモジュールのデータプロセッサによって実行されるよう設計されたソフトウェアプログラムを含み、当該方法の異なるステップの実行を制御するよう設計される。

結果として、本開示の態様は、コンピュータによって又はデータプロセッサによって実行されるべきプログラムにも関係がある。このプログラムは、ここで上述された方法のステップの実行を命じる命令を含む。

このプログラムは、どんなものであれ如何なるプログラミング言語も使用し、例えば、部分的にコンパイルされた形で、又は何らかの他の望ましい形で、ソースコード、オブジェクトコード、又はソースコードとオブジェクトコードとの間の中間であるコードの形をとることができる。

本開示は、データプロセッサによって読み出し可能であって、ここで上述されたプログラムの命令を含む情報媒体にも関係がある。

情報媒体は、プログラムを記憶することが可能な如何なるエンティティ又はデバイスであることもできる。例えば、媒体は、ＲＯＭ（“Read Only Memory”の略語である。）、例えば、ＣＤ−ＲＯＭ（“Compact Disc − Read Only Memory”の略語である。）又は超小型電子回路ＲＯＭ、あるいは、先と同じく、磁気記録手段、例えば、フロッピー（登録商標）ディスク又はハードディスクのような記憶手段を有することができる。

更に、情報媒体は、無線によって又は他の手段によって電気又は光ケーブルを通じて運ばれ得る電気又は光信号のような、伝送可能なキャリアであってよい。プログラムは、特に、インターネット型ネットワークにダウンロードされ得る。

代替的に、情報媒体は、プログラムが組み込まれている集積回路であることができる。回路は、問題となっている方法を実行するよう構成されるか、又はその実行において使用される。

一実施形態に従って、本開示の実施形態は、ソフトウェア及び／又はハードウェアコンポーネントを用いて実施される。この観点から、語「モジュール」は、本願では、ソフトウェアコンポーネント及びハードウェアコンポーネントの両方に、あるいは、ハードウェア及びソフトウェアコンポーネントの組に、対応することができる。

ソフトウェアコンポーネントは、関連するモジュールについて以下ここで記載されるものに従って機能又は機能の組を実施することが可能な１つ以上のコンピュータプログラム、プログラムの１つ以上のサブプログラム、あるいは、より一般的には、プログラム又はソフトウェアプログラムのいずれかの要素、に対応する。１つのそのようなソフトウェアコンポーネントは、物理エンティティ（端末、サーバ、など）のデータプロセッサによって実行され、この物理エンティティのハードウェアリソース（メモリ、記録媒体、通信バス、入出力電子基板、ユーザインターフェイス、など）にアクセスすることが可能である。

同様に、ハードウェアコンポーネントは、関連するモジュールについて以下ここで記載されるものに従って機能又は機能の組を実施することが可能なハードウェアユニットのいずれかの要素に対応する。それは、プログラム可能なハードウェアコンポーネント、あるいは、ソフトウェアの実行のための集積回路、例えば、集積回路、スマートカード、メモリカード、ファームウェアを実行するための電子基板、などを備えたコンポーネントであってよい。変形例において、ハードウェアコンポーネントは、中央演算処理装置のような集積回路であるプロセッサ、及び／又はマイクロプロセッサ、及び／又は特定用途向け集積回路（ＡＳＩＣ）、及び／又は特定用途向け命令セットプロセッサ（ＡＳＩＰ）、及び／又はグラフィクス処理ユニット（ＧＰＵ）、及び／又は物理処理ユニット（ＰＰＵ）、及び／又はデジタル信号プロセッサ（ＤＳＰ）、及び／又は画像プロセッサ、及び／又はコプロセッサ、及び／又は浮動小数点ユニット、及び／又はネットワークプロセッサ、及び／又はオーディオプロセッサ、及び／又はマルチコアプロセッサを有する。更には、ハードウェアコンポーネントは、ベースバンドプロセッサ（例えば、メモリユニット及びファームウェアを有する。）、及び／又は無線信号を送信若しくは受信する無線電子回路（アンテナを有することができる。）を更に有することができる。一実施形態において、ハードウェアコンポーネントは、ＩＳＯ／ＩＥＣ１８０９２／ＥＣＭＡ−３４０、ＩＳＯ／ＩＥＣ２１４８１／ＥＣＭＡ−３５２、ＧＳＭＡ、ＳｔｏＬＰａＮ、ＥＴＳＩ／ＳＣＰ（スマートカードプラットフォーム）、グローバルプラットフォーム（すなわち、セキュアエレメント）のような１つ以上の標準に従う。変形例において、ハードウェアコンポーネントは、無線周波数識別（ＲＦＩＤ）タグである。一実施形態において、ハードウェアコンポーネントは、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、及び／又はＷｉ−Ｆｉ（登録商標）通信、及び／又はＺｉｇｂｅｅ（登録商標）通信、及び／又はＵＳＢ通信、及び／又はファイアワイヤ通信、及び／又はＮＦＣ（近距離）通信を可能にする回路を有する。

また、留意すべきは、本願における要素／値を得るステップは、電子デバイスのメモリユニットにおいてそのような要素／値を読み出すステップ、又は通信手段を介して他の電子デバイスからそのような要素／値を受信するステップのいずれかと見なされ得る。

他の実施形態において、所与のフォーカスプレーン値ｇについての４Ｄローライトフィールドデータからリフォーカシングされた画像を得る電子デバイスが提案される。当該電子デバイスは、少なくとも１つの色成分について、座標（ｋ，ｌ）∈Ｎ^２での前記リフォーカシングされた画像の少なくとも１つのピクセル値を決定するよう構成される回路を有する、ことを特徴とする。前記回路は、
前記少なくとも１つの色成分について、前記座標（ｋ，ｌ）の近傍に含まれる座標を有する少なくとも１つの投影ピクセル値を得るよう構成される取得回路と、
関数に基づき前記少なくとも１つの投影ピクセル値に重み付けし、加重値を出力するよう構成される重み付け回路と、
前記少なくとも１つの色成分について、座標（ｋ，ｌ）での前記リフォーカシングされた画像の前記少なくとも１つのピクセル値を前記加重値により更新するよう構成される更新回路と
を有する。

好適な実施形態において、当該電子デバイスは、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）を有し、前記関数が次（数８）のように定義される、ことを特徴とする：

このとき、ｈ_１は
［外１０］

に属する値に対応し、関数
［外１１］

は、ノルム関数である。

本発明の上記及び他の態様は、添付の図面を参照して、その例となる実施形態の以下の詳細な説明によって、より明らかとなるであろう。
本技術が適用され得るライトフィールドデータの取得を可能にするプレンオプティックカメラに含まれる主要なコンポーネントを図式的に示す。 図１のセンサアレイによって捕捉される画像を示す。 完ぺきな薄レンズモデルを仮定して、図式的なプレンオプティック・タイプＩＩカメラを表す。 完ぺきな薄レンズモデルを仮定して、図式的なプレンオプティック・タイプＩＩカメラを表す。 タイプＩのプレンオプティックカメラを示す。 ４Ｄローライトフィールドピクセルの投影を示す。 本開示の一実施形態に従うスプラッティングプロセスを表す。 本開示の一実施形態に従うスプラッティングプロセスを表す。 本開示の一実施形態に従うスプラッティングプロセスを表す。 ピクセル周囲のテンソル解析に基づく本開示の一実施形態を表す。 ピクセル周囲のテンソル解析に基づく本開示の一実施形態を表す。 マイクロレンズが異なる焦点長さを有するマイクロレンズアレイを有するプレンオプティックカメラから得られる画像及び該画像の部分を表す。 マイクロレンズが異なる焦点長さを有するマイクロレンズアレイを有するプレンオプティックカメラから得られる画像及び該画像の部分を表す。 色チャネルごとに少なくとも１つの値が受け取られる座標（ｋ，ｌ）を有する投影ピクセルを示す。 座標（ｘ，ｙ）にある４Ｄローライトフィールドデータのピクセル値が投影座標（Ｘ，Ｙ）の周囲でＫ近傍（この場合に、Ｋ＝６）に如何にしてスプラッティング／拡散されるかを表す。 ４Ｄローライトフィールドデータからの画像をリフォーカシングする方法の幾つかのステップを表す。 本願で開示される方法の１つ以上のステップを実行するために使用され得るデバイスの例を示す。

図１は、本技術が適用され得るライトフィールドデータの取得を可能にするプレンオプティックカメラに含まれる主要なコンポーネントを図式的に示す。

もっと正確に言えば、プレンオプティックカメラは、符号１０１により参照されるメインレンズと、符号１０４により参照されるセンサアレイ（すなわち、ピクセルセンサ（例えば、ＣＭＯＳテクノロジに基づくセンサ）のアレイ）とを有する。メインレンズ１０１とセンサアレイ１０４との間には、符号１０２により参照されるマイクロレンズアレイが位置し、マイクロレンズアレイ１０２は、符号１０３により参照される極小レンズのアレイを有する。留意すべきは、任意に幾つかのスペーサが、夫々のレンズの周囲でマイクロレンズアレイとセンサとの間に置かれ、１つのレンズからの光がセンサ側で他のレンズの光と重なり合うことを防ぐ。留意すべきは、メインレンズ１０１は、図１に表されているものよりも複雑な光学系であることができる（例えば、英国特許出願公開第２４８８９０５号明細書の図１２及び１３に記載される光学系）。従って、プレンオプティックカメラは、図１で表されるようにちょうどセンサの前に設置されたマイクロレンズアレイを従来のカメラに付加したものと見なされ得る。マイクロレンズを通過する光線は、それらの光線の放射を記録するセンサアレイの部分を覆う。センサのこの部分による記録は、マイクロレンズ画像を定義する。

図２は、センサアレイ１０４によって捕捉される画像を示す。実際に、そのようなビューにおいて、センサアレイ１０４は、符号２０１により参照されるピクセルの組を有するように見える。マイクロレンズを通過する光線は多数のピクセル２０１をカバーし、それらのピクセルは、入射する／受光される光線のエネルギ値を記録する。

従って、プレンオプティックカメラのセンサアレイ１０４は、２Ｄ画像（ロー４Ｄライトフィールド画像とも称される。）内に配置された２Ｄ小画像（すなわち、符号２０２により参照されるマイクロレンズ画像）の集合を有する画像を記録する。実際に、夫々の小画像（すなわち、マイクロレンズ画像）は、マイクロレンズによって生成される（マイクロレンズは、レンズのアレイの中で座標（ｉ，ｊ）によって識別され得る。）。従って、ライトフィールドのピクセルは、４座標（ｘ，ｙ，ｉ，ｊ）に関連する。センサによって記録される４ＤライトフィールドであるＬ（ｘ，ｙ，ｉ，ｊ）は、センサによって記録される画像を表す。夫々のマイクロレンズは、円によって表されるミクロ画像を生成する（小画像の形状は、通常円形であるマイクロレンズの形状に依存する。）。ピクセル座標（センサアレイにおける）は、（ｘ，ｙ）と標示される。ｐは、２つの連続したミクロ画像間の距離であり、ｐは整数である必要はない。マイクロレンズは、ｐがピクセルサイズδよりも大きいように選択される。マイクロレンズ画像は、それらの座標（ｉ，ｊ）によって参照される。夫々のマイクロレンズは、（ｕ，ｖ）座標系を用いてマイクロレンズの瞳をサンプリングする。幾つかのピクセルは、特に、マイクロレンズの形状が円形である場合に、如何なるマイクロレンズからの如何なる光子も受け取らないことがある。この場合に、マイクロレンズ間のスペースは、光子がマイクロレンズから外に出ないようにマスクされ、マイクロレンズにおいて幾つかの暗領域をもたらす。マイクロレンズが正方形状である場合には、マスキングは不要である。マイクロレンズ画像の中心（ｉ，ｊ）は、座標（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）でセンサ上に置かれる。θは、ピクセルの正方格子とマイクロレンズの正方格子との間の角度であり、図２ではθ＝０である。正方格子に従ってマイクロレンズが配置されているとすると、（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）は、マイクロレンズイメージ（０，０）のピクセル座標を（ｘ_０，０，ｙ_０，０）として、次の式１（数９）によって計算され得る：

図２は、幾つかの連続したマイクロレンズ画像（黒点）においてシーンからのオブジェクトが可視的であることを表す。オブジェクトの２つの連続したビュー間の距離はｗであり、この距離は“レプリケーション（replication）”距離と呼ばれる。従って、対象は、次の式（数１０）により、ｒ個の連続したマイクロレンズ画像において可視的である：

ｒは、一次元における連続したマイクロレンズ画像の数である。オブジェクトは、ｒ^２個のマイクロレンズ画像において可視的である。マイクロレンズ画像の形状に応じて、オブジェクトのｒ^２個のビューのうちの幾つかは不可視である。

プレンオプティックカメラに関する更なる詳細は、Tom E. Bishop and Paolo Favaro，“The Light Field Camera: Extended Depth of Field, Aliasing, and Superresolution”，IEEE Transactions on Pattern Analysis and Machine Intelligence，vol.34，No.5，２０１２年５月におけるセクション４“Image formation of a Light field camera”において見つけられ得る。

留意すべきは、本技術は、従来のカメラのピクセルの少なくとも一部が米国特許公開第２０１３／２５８０９８号公報において記載されているのと同じ方法（又は類似した方法）において設計される場合に、そのような“従来のカメラ”（追加のマイクロレンズアレイが、メインレンズとピクセルのアレイとの間に位置付けられないという意味における。）に対しても適用され得る。実際に、この米国特許公開第２０１３／２５８０９８号公報は、幾つかの受光セクション（例えば、米国特許公開第２０１３／２５８０９８号公報における１１６及び１１７を参照されたい。）の使用によりライトフィールドデータを記録することができるピクセルを開示する。従って、当業者であれば、夫々のマイクロレンズがセンサ１０４に含まれている２つのピクセル上に光線を集中させる図１で表されたプレンオプティックカメラの一種として米国特許公開第２０１３／２５８０９８号公報の技術を解釈して、ピクセルのアレイを備えたそのような従来のカメラを理解する。留意すべきは、米国特許公開第２０１３／２５８０９８号公報の技術は、より多くの受光セクションがピクセルのアーキテクチャに組み込まれる場合に、ピクセルが２つよりも多いデータ情報（２つのロー及びハイ受光セクションによって得られる。）を記録することができるという意味において、一般化され得る。本開示は、上述されたようにライトフィールドデータを記録することができるピクセルを組み込む“従来のカメラ”のロー画像に対して使用され得る。実際に、それらのロー画像は、マイクロレンズ画像の組と同化され得る。

また、留意すべきは、本開示は、米国特許公開第２０１０／０２６５３８６号公報において、又はA. Levin et al.，“Image and depth from a conventional camera with a coded aperture”，the Proceedings of SIGGRAPH 2007において表されている符号アパーチャ要素（coded aperture elements）を有するか、あるいは、Edward R. Dowski, Jr. and W. Thomas Cathe，“Extended depth of field through wave-front coding”，Applied Optics，１９９５年４月１０日において記載されている波面符号化（wavefront coding）技術を使用するデバイスのような、４Ｄライトフィールドデータを捕捉する他のデバイスにも適用され得る。

図３及び図４は、完ぺきな薄レンズモデルを仮定して、概略のプレンオプティック・タイプＩＩカメラを表す。先に導入された距離ｐ及びｗは、ピクセル単位で与えられる。それらは、ピクセルサイズδを乗じることによって、夫々物理的な単位距離Ｐ及びＷ（メートル）に変換される：Ｗ＝δ・ｗ及びＰ＝δ・ｐ。それらの距離は、ライトフィールドカメラの特性に依存する。

メインレンズは焦点長さＦ及び開口Φを有する。マイクロレンズアレイは、焦点長さｆを有するマイクロレンズを有する。マイクロレンズアレイのピッチはφである。マイクロレンズアレイは、メインレンズからの距離Ｄ、及びセンサからの距離ｄに位置する。オブジェクト（図中見えない。）は、メインレンズ（左）からの距離ｚに位置する。このオブジェクトは、メインレンズ（右）からの距離ｚ′でメインレンズによってフォーカシングされる。

図３及び図４は、夫々、Ｄ＞ｚ′及びＤ＜ｚ′の場合を表す。いずれの場合にも、マイクロレンズ画像は、ｄ及びｆに応じて焦点が合うことができる。この設計は、いわゆるタイプＩＩプレンオプティックカメラ（プレンオプティックカメラ２．０とも称される。）を指す。

図５は、ｆ＝ｄであるタイプＩプレンオプティックカメラ（プレンオプティックカメラ１．０とも称される。）を表す。

図５において、設計は、メインレンズが、マイクロレンズアレイの近くに画像の焦点を合わせているようになされる。メインレンズがまさにマイクロレンズアレイ上に焦点を合わせている場合に、Ｗ＝∞である。また、マイクロレンズ画像は、全く焦点外であり、定数に等しい（ノイズを考慮せず。）。

レプリケーション距離Ｗは、オブジェクトの距離ｚとともに変化する。Ｗとｚとの間の関係を確立するよう、薄レンズの公式：

１／ｚ＋１／ｚ′＝１／Ｆ

及びタレス法：

（Ｄ−ｚ′）／φ＝（Ｄ−ｚ′＋ｄ）／Ｗ

に依存して、先の２つの式を混合することで、次（数１１）が演繹される：

Ｗとｚとの間の関係は、マイクロレンズ画像の焦点が合っていることを仮定しない。マイクロレンズ画像は、薄レンズの公式に従って、完全に焦点が合っている：

１／（Ｄ−ｚ′）＋１／ｄ＝１／ｆ

また、タレス法から、次のように、Ｐが導出される：

ｅ＝（Ｄ＋ｄ）／Ｄ

Ｐ＝φｅ

比ｅは、マイクロレンズのピッチとマイクロレンズ画像のピッチとの間の拡大を定義する。この比は、Ｄ≫ｄであるから、極めて１に近い。

同様の所見は、国際公開第２０１３／１６７７５８号パンフレットにおいて見出され得る。

図６は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃ_ｘ）＋Ｃ_ｘ］，ｓ［ｇ（ｙ−Ｃ_ｙ）＋Ｃ_ｙ］）にあるピクセル（２Ｄのリフォーカシングされた画像における。）上への４Ｄローライトフィールドピクセル（すなわち、座標（Ｃ_ｘ，Ｃ_ｙ）に中心を有する、符号６００により参照されるマイクロレンズ画像に属する、座標（ｘ，ｙ）でのピクセル）の投影を示す。ここで、ｇは、リフォーカスプレーンを決定し、ｓは、２Ｄのリフォーカシングされた画像の画像サイズを定義する（従って、Ｉ_ｇが２Ｄのリフォーカシングされた画像に対応するとして、ｓｉｚｅ（Ｉ_ｇ）＝ｓ・ｓｉｚｅ（Ｉ_ＲＡＷ））。図６の例では、我々はｓ＝１を有する。リフォーカシングプロセスに関する更なる詳細は、国際公開第２０１３／１６７７５８号パンフレットにおいて詳述されている。

従って、一定の画像サイズｓ及びフォーカスプレーンｇを考えると、リフォーカシングされた画像Ｉ_ｇは、４ＤローライトフィールドデータＩ_ＲＡＷの全てのピクセル（ｘ，ｙ）を投影して推定される。留意すべきは、投影された座標（Ｘ，Ｙ）は、一様に分布したグリッド上に、又は規則的なグリッド上に必ずしも置かれない。実際に、実数値ポジション（Ｘ，Ｙ）の画像平面における分布は、値ｇに大いに依存する。

留意すべきは、画像のマイクロレンズ中心（Ｃ_ｘ，Ｃ_ｙ）は、いずれかの最新技術（例えば、Dansereau et al.，“Decoding, calibration and rectification for lenselet-based plenoptic cameras”，the conference proceedings of Computer Vision and Pattern Recognition (CVPR)，2013 IEEE Conference on IEEEにおいて記載されるもの）によって推定されると仮定される。

提案される技術は、所与のフォーカスについて４Ｄローライトフィールドデータからリフォーカシングされた画像を（ｇの値に基づき）得る方法であって、（ｋ，ｌ）の近傍において投影されるピクセル値の加重和の決定を介して、ポジション（ｋ，ｌ）∈Ｎ^２でのリフォーカシングされた画像におけるピクセルの値を決定することを含む方法に関する。そのため、リフォーカシングされた画像は、次（数１２）のように定義される：

このとき、Ｚ_ｋｌ＝Σ_{（Ｘ，Ｙ）∈Ｂｋｌ}Ｗ（ｋ，ｌ，Ｘ，Ｙ）は、正規化係数であり、Ｂ_ｋｌは、（ｋ，ｌ）に中心がある近傍であり、ポジション（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃ_ｘ）＋Ｃ_ｘ］，ｓ［ｇ（ｙ−Ｃ_ｙ）＋Ｃ_ｙ］）であり、ｃ＝｛Ｒ，Ｇ，Ｂ｝は色チャネルである（Ｒは赤色（Red）であり、Ｇは緑色（Green）であり、Ｂは青色（Blue）である。）。留意すべきは、Ｉ_ＲＡＷはベイヤーパターンを有するので、Ｉ_ＲＡＷ ^ｃ（ｘ，ｙ）は、ただ１つの色チャネルについて非ゼロである。

図７ａ及び７ｂは、本開示の一実施形態に従うスプラッティングプロセスを表す。この定義によれば、スプラットカーネルはブラー（blur）の量を調整する点に留意されたい。カーネルが大きければ大きいほど、２Ｄのリフォーカシングされた画像はますますぼやける。

図７ａは、強度値Ｉ_ＲＡＷ ^ｃ（ｘ，ｙ）がリフォーカシング面に投影されてポジション（Ｘ，Ｙ）の周りで拡げられる（スプラッティングされる）ことを表す。拡がり値は、スプラットカーネルＷによって重み付けされる。これは、（Ｘ，Ｙ）の周りの全てのピクセルが同じピクセル値を受けるわけではないことを意味する。

図７ｂは、リフォーカシングされた画像をレンダリングするために、画像グリッドの夫々のピクセルポジション（ｋ，ｌ）について、このポジションでの全ての受け取られたピクセル値の（加重）和が決定されることを示す。この例では、ピクセル（ｋ，ｌ）は２つの値を受ける。例示のために、スプラッティングカーネルの形状はこの図では円形であるが、他の形状が可能である。

図７ｃは、ポジション（ｋ，ｌ）∈Ｎ^２でのリフォーカシングされた画像におけるピクセルの値の決定の例を示す。第１のステップで、座標（ｋ，ｌ）∈Ｎ^２に位置するピクセルの近傍Ｂ_ｋｌが選択される。本開示の実施形態において、そのような近傍は、座標（ｋ，ｌ）∈Ｎ^２に中心が置かれ得る。変形例において、そのような近傍は、座標（ｋ，ｌ）∈Ｎ^２に中心が置かれないが、近傍は座標（ｋ，ｌ）∈Ｎ^２を有する。近傍のジオメトリは、（円から、図７ｃで表されているような、より複雑なジオメトリ構造まで）様々であることができる。図７ｃの例では、赤色成分を有する４ＤローライトフィールドデータＩ_ＲＡＷからのただ３つのピクセルが、近傍Ｂ_ｋｌにおける投影を有する。そのため、一実施形態において、我々は、赤色成分について、Ｉ_ｇ ^ｃ（ｋ，ｌ）＝［Ｗ^（１）（ｋ，ｌ，Ｘ_１，Ｙ_１）Ｉ_ＲＡＷ ^ｃ（ｘ_１，ｙ_１）＋Ｗ^（２）（ｋ，ｌ，Ｘ_２，Ｙ_２）Ｉ_ＲＡＷ ^ｃ（ｘ_２，ｙ_２）＋Ｗ^（３）（ｋ，ｌ，Ｘ_３，Ｙ_３）Ｉ_ＲＡＷ ^ｃ（ｘ_３，ｙ_３）］×正規化係数を有する。

この式において、重み係数（スプラットカーネルとも称される。）Ｗ^（１）、Ｗ^（２）及びＷ^（３）は、同じ関数又は異なる関数であることができる。

同じ近傍について、しかし、他の色成分について、他の投影されたピクセルはこの近傍に含まれる。これより、スプラットカーネルＷのとり得る定義の夫々を記述させてもらう。Ｗの最も簡単な定義は、一定の半径ｒの円であり、本願ではこれをＷ_０と呼ぶこととする。とは言っても、簡単なスプラットカーネルは、リフォーカシングされた画像を申し分なく回復することができないであろう。

本開示の第１の実施形態において、スプラットカーネルは、
［外１２］

に対して減少関数である。これは、Ｗ（ｋ，ｌ，Ｘ，Ｙ）がその最大値に達し、次いで、
［外１３］

が増大するにつれて比例的に減少することを意味する。そのようなスプラットカーネルの例は、次（数１３）のように定義される：

値ｈ_１は、４Ｄローライトフィールドデータの取得を実行したライトフィールドデバイスのパラメータの関数として定義されるか又はユーザによって入力され得るパラメータである。

本開示の第２の実施形態において、夫々の点（ｘ，ｙ）について、ｇの実際の値であるｇ_ｒｅａｌ（ｘ，ｙ）（すなわち、ライトフィールド取得デバイスからの場面における実際の距離）を知っているとする。これは、点（ｘ，ｙ）が焦点を合わせられているはずである面である（これは、シーンのデプスを知ることで推定され得る。）。その場合に、スプラットカーネルは、ｇ_ｒｅａｌに応じて夫々の点で適応され得る。ｇは、画像をリフォーカシングしようとしている所望のフォーカスプレーンであるとする。｜ｇ−ｇ_ｒｅａｌ｜が減少する場合に、スプラットカーネルは、減少関数であると定義される。この定義によれば、リフォーカシングされた面ｇでの点は鮮明なままでありながら、他の点はぼやけており、不鮮明さの程度は、フォーカスプレーンｇまでの距離に比例する。そのようなスプラットカーネルの例は、次（数１４）によって与えられる：

値ｈ_２は、４Ｄローライトフィールドデータの取得を実行したライトフィールドデバイスのパラメータの関数として定義されるか又はユーザによって入力され得るパラメータである。

本開示の第３の実施形態において、画像（画像境界）の構造及びジオメトリは、スプラットカーネルによって利用され得る重要な情報である。画像エッジを考えると、スプラットカーネルは、その形状を画像境界に適応させる。この場合に、スプラットカーネルは異方性であり、それ自身を画像のエッジに適応させる。例えば、Ｉ_ｘ、Ｉ_ｙが画像Ｉの偏導関数であるとして、
［外１４］

と定義される画像のテンソル構造は、画像の局所ジオメトリに関する重要な情報を提供し、固有ベクトルｖ_１、ｖ_２は、画像こう配の主方向（接線ベクトル及び法線ベクトルの方向）を提供し、対応する固有値λ_１、λ_２は、夫々の主方向の大きさを提供する、ことが知られる。特に、固有ベクトルは、シーンの局所ジオメトリを特徴付ける（小さいλ_１、λ_２は一様なエリアに対応し、大きいλ_１、λ_２は画像の角に対応し、大きいλ_１及び小さいλ_２は接線ｖ_１を有する画像エッジに対応する。）。図８ａは、接線ベクトル及び法線ベクトルが、黒点において計算されたテンソル行列の固有ベクトル及び固有値により推定される画像境界の場合を表す。テンソル解析のおかげで、スプラットカーネルは、画像エッジがある場合にその形状が適応的であるように定義され得る（図８ｂを参照）。

テンソル構造によって提供される画像のジオメトリを考慮するスプラットカーネルの例は、次（数１５）のように定義される：

ガウシアンカーネルは、方向
［外１５］

において値ｈ_３により平滑化し、方向
［外１６］

において値ｈ_３′により平滑化する。

値ｈ_３及びｈ_３′は、４Ｄローライトフィールドデータの取得を実行したライトフィールドデバイスのパラメータの関数として定義されるか又はユーザによって入力され得るパラメータである。

実際上、リフォーカシングされた画像のテンソルを推定することは、投影点（Ｘ，Ｙ）の変則的なサンプリングに起因して容易でない点に留意されたい。しかし、テンソルは局所変数であり、それは、ロー（RAW）画像において推定されて、画像色値と同じように投影され得る。

第４の実施形態において、スプラットカーネルは、多焦点プレンオプティックカメラにおけるマイクロレンズタイプを考慮する。例えば、Raytrix社のカメラは、３つの異なった焦点長さを有する３種類のマイクロレンズが存在するプレンオプティックカメラである。図９ａは、Raytrix社のＲ５カメラにより捕捉された４Ｄローライトフィールドデータを示す。

図９ｂは、同じ画像の異なる部分の３つの異なるクロップ（crop）を示す。マイクロレンズアレイは、焦点長さに関して３つの異なる種類のマイクロレンズによって形成される点に留意されたい。故に、異なるマイクロレンズは、焦点が異なるシーンの３つの部分を有する。左のクロップは、中央にあるクロップと比べて、焦点が合っている同じマイクロレンズを有さず、最後のクロップは、３つのマイクロレンズが焦点外であるシーンの部分を示す。

この実施形態において、我々は、我々のスプラットカーネルが、スプラッティングされる値に応じて変化するという事実を考える。そのような値が、焦点が合っているマイクロレンズに由来する場合に、スプラットカーネルは、焦点が合っていないマイクロレンズの値を拡げるスプラットカーネルと比べて、大きい重みを有すべきである。その考えは、焦点が合っていないマイクロレンズを、焦点が合わせられているマイクロレンズに対して不利にすることである。そのようなスプラットカーネルの例は、次（数１６）のように定義される：

このとき、Ｗ_ｉ≠４は、本願において定義されるスプラットカーネルのいずれかであり、Ｓ（ｘ，ｙ）は、（ｘ，ｙ）が属するマイクロレンズのシャープネスの尺度であり、Ｓ_ｍａｘは、ロー画像の全てのマイクロレンズにわたる最大シャープネスである。幾つかのシャープネスの尺度が使用されてよい。例えば、Pertuz, Said et al.，“Analysis of focus measure operators for shape-from-focus”，Pattern Recognition 46.5 (2013): 1415-1432において定義されているシャープネスの尺度がある。

本開示の第５の実施形態において、画像サイズｓ及び所望のフォーカスプレーンｇを考えると、リフォーカシングされた面における投影点（Ｘ，Ｙ）の分布が決定される。ｓはスケールのみに責任を負い、一方、ｇの選択は分布自体を変える。

本技術において、スプラットカーネルは、２Ｄのリフォーカシングされた画像のレンダリングプロセスが色“ホール”を生成しないように、この分布を考慮する。言い換えると、本技術は、２Ｄのリフォーカシングされた画像Ｉ_ｇの夫々のピクセルポジション（ｋ，ｌ）が、夫々の色の少なくとも１つの強度値をスプラッティングプロセスの間に得ていることを保証する。

実際に、このことは、最大サンプリングステップＨによって与えられる最小サイズをスプラットカーネルのサポートが有することを意味する。

そのようなスプラットカーネルの例はＷ_５＝Ｗ_０であり、円は半径ｒ＝Ｈを有する。

図１０は、色チャネルごとに少なくとも１つの値を受けるピクセルポジション（ｋ，ｌ）を示す。スプラットカーネルは、最小サイズ（“ホール”を生じさせないために必要なサイズ）が保証されると直ぐに、異なる形状及びサイズを有することができる。

スプラットカーネルの全ての上記の定義は、ピクセル値Ｉ_ＲＡＷ ^ｃ（ｘ，ｙ）を最も近いピクセルまで拡げるよう提案する。なお、本開示の第６の実施形態において、我々は、同じピクセル値を、所与の基準に関して、Ｋ近傍（Ｋ−ＮＮ；K-Nearest Neighbors）ピクセル（色、こう配、などに関する最近傍）まで拡げることができる。形式上：

Ｗ_６（ｋ，ｌ，Ｘ，Ｙ）＝χ（（ｋ，ｌ）は（［Ｘ］，［Ｙ］）のＫ−ＮＮに属する）

このとき、χ（．）は、特性関数であり（ステートメントが真である場合に１に等しく、それ以外の場合に０に等しい。）、［．］は端数処理関数である。

図１１は、Ｋ近傍にスプラッティングされる値Ｉ_ＲＡＷ ^ｃ（ｘ，ｙ）を示す。この例では、Ｋ＝６である。Ｋ−ＮＮは、必ずしもユークリッド距離における最も近いピクセルではなく、色、デプス又は何らかの他の基準にして最も近いものである。

本発明の第７の実施形態において、プレンオプティックカメラのＰＳＦ（点拡がり関数；Point Spread Function）（又はマイクロレンズアレイのＰＳＦ）は、推定され、スプラットカーネルの定義において考慮され得る。そのようなカーネルの１つのとり得る定義は、

Ｗ_７（ｋ，ｌ，Ｘ，Ｙ）＝ＰＳＦ（ｘ，ｙ）

である。夫々の色チャネルは異なるＰＳＦを有するので、スプラットカーネルの定義も、スプラッティングされる色チャネルに応じて適応され得る点に留意されたい。

本開示の第８の実施形態において、プレンオプティックカメラは、口径食（vignetting）、特に、マイクロレンズの口径食に悩むことがよく知られている。我々は、スプラッティングプロセスの間に、マイクロレンズの中心からのピクセルと比べて口径食に見舞われるピクセルを不利にすることを提案する。ここで、口径食補正は、常に完ぺきであるわけでなく、補正されたピクセルは、信号対雑音比が悪いと考えられるので、口径食補正アルゴリズムがあっても、そのようなピクセルを不利にすることは有用である。そのようなスプラットカーネルの１つのとり得る定義は、次（数１７）を定義すべきである：

それは、マイクロレンズの境界に位置する全てのピクセルが無視され、半径ρの円内のピクセルのみが考慮されることを意味する。他のとり得る定義は、次（数１８）によって与えられる：

値ｈ_８は、４Ｄローライトフィールドデータの取得を実行したライトフィールドデバイスのパラメータの関数として定義されるか又はユーザによって入力され得るパラメータである。

メインレンズの口径食を考慮に入れる特定のカーネルも可能である点に留意されたい。

第９の実施形態において、スプラットカーネルは、少なくとも２つの先に定義されたスプラットカーネルの積として計算され得る（例えば、Ｗ_９＝Ｗ_１Ｗ_７又はＷ_９＝Ｗ_２Ｗ_３Ｗ_６Ｗ_８）。

図１２は、本発明の一実施形態に従うフローチャートを示す。

もっと正確に言えば、図１２は、取得された４Ｄローライトフィールドデータから画像をリフォーカシングする方法の幾つかのステップを表す。

１２０１で参照されるステップにおいて、電子デバイスは４Ｄローライトフィールドデータを受ける。更に、幾つかのパラメータが、焦点合わせが行われるべきフォーカスプレーンを定義する前記電子デバイスによって取得される。一実施形態において、それらのパラメータは、ユーザによるユーザインターフェイスとのインタラクション（例えば、焦点合わせが行われるべきオブジェクトを選択するためのインタラクション）を介して得られる。それらのパラメータは、リフォーカシングされた画像のサイズを更に含むことができる。

次いで、１２０２で参照されるステップで、電子デバイスは、投影されたピクセル（例えば、図６で投影されたピクセル）の全ての座標を決定するために、４Ｄローライトフィールドデータの全てのピクセル座標を処理する。次いで、２Ｄのリフォーカシングされた画像における座標を定義するために規則的なグリッド（
［外１７］

において定義された有限グリッド）を使用することによって、この規則的なグリッドにおけるピクセル値を決定するプロセスが行われる。座標（ｋ，ｌ）∈Ｎ^２でのピクセル値を決定するために、上記のプロセスが実行され得る。

変形例において、４Ｄローライトフィールドデータの全てのピクセルが“投影”されるわけではない。実際に、マイクロレンズ画像のエッジにあるピクセルは捨てられ、従って、リフォーカシングプロセスにおいて投影及び使用されない。

変形例において、２Ｄのリフォーカシングされた画像におけるピクセルの値の投影及び更新は、同時に行われる。

ステップ１２０２の終わりに、２Ｄのリフォーカシングされた画像が得られる。この２Ｄのリフォーカシングされた画像は、次いで、表示デバイスによって表示され得る。

図１３は、本願で開示される方法の１つ以上のステップを実行するために使用され得るデバイスの例を示す。

１３００で参照されるそのようなデバイスは、１３０１で参照されるコンピューティングユニット（例えば、ＣＰＵ（Central Processing Unit））と、１３０２で参照される１つ以上のメモリユニット（例えば、中間結果がコンピュータプログラムの命令の実行中に一時的に記憶され得るＲＡＭ（Random Access memory）ブロック、又はとりわけ、コンピュータプログラムが記憶されるＲＯＭブロック、又はＥＥＰＲＯＭ（Electrically-Erasable Programmable Read-Only Memory）ブロック、又はフラッシュブロック）とを有する。コンピュータプログラムは、コンピューティングユニットによって実行され得る命令から成る。そのようなデバイス１３００は、デバイス１３００が他のデバイスと通信することを可能にする入出力インターフェイスを構成する、１３０３で参照される専用ユニットを更に有することができる。特に、この専用ユニット１３０３は、アンテナと（接触なしに通信を実行するため。）、あるいは、シリアルポートと（“接触”により通信を運ぶため。）接続され得る。留意すべきは、図１３中の矢印は、リンクされたユニットが例えば一緒にバスを通じてデータを交換することができることを示す。

代替の実施形態において、上記の方法のステップの一部又は全ては、プログラム可能ＦＰＧＡ（Field Programmable Gate Array）コンポーネント又はＡＳＩＣ（Application―Specific Integrated Circuit）コンポーネントにおいてハードウェアで実装され得る。

代替の実施形態において、上記の方法のステップの一部又は全ては、図１３において開示されているデバイスのような、メモリユニット及びプロセッシングユニットを有する電子デバイスで実行され得る。

本開示の一実施形態において、図１３で表されている電子デバイスは、画像（すなわち、ライトフィールドのサンプリング）を捕捉するよう構成されるカメラデバイスに含まれ得る。それらの画像は、１つ以上のメモリユニットにおいて記憶される。従って、それらの画像は、ビットストリームデータ（すなわち、ビットのシーケンス）と見なされ得る。明らかに、ビットストリームは、バイトストリームにおいても変換され得、その逆も同様である。

Claims (15)

1. 所与のフォーカスプレーン値ｇについての４Ｄローライトフィールドデータからリフォーカシングされた画像を得る方法であって、電子デバイスによって実行される方法において、
   少なくとも１つの色成分について、座標（ｋ，ｌ）∈Ｎ^２での前記リフォーカシングされた画像の少なくとも１つのピクセル値を決定するステップを有し、
   前記決定するステップは、
   前記少なくとも１つの色成分について、前記座標（ｋ，ｌ）の近傍に含まれる座標を有する少なくとも１つの投影ピクセル値を得るステップと、
   関数に基づき前記少なくとも１つの投影ピクセル値に重み付けし、加重値を出力するステップと、
   前記少なくとも１つの色成分について、座標（ｋ，ｌ）での前記リフォーカシングされた画像の前記少なくとも１つのピクセル値を前記加重値により更新するステップと
   を有する、ことを特徴とする方法。
2. 前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）を有し、
   前記関数は、ｈ_１が
   

   

   に属する値に対応し、関数
   

   

   がノルム関数であるとして、
   

   

   であるよう定義される、請求項１に記載の方法。
3. 前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）を有し、
   前記関数は、ｈ_２が
   

   

   に属する値に対応し、ｇ_ｒｅａｌ（Ｘ，Ｙ）の値が、前記４Ｄローライトフィールドデータを取得したライトフィールド取得デバイスからの前記４Ｄローライトフィールドデータと関連したシーンにおける実際の距離に対応するとして、
   

   

   であるよう定義される、請求項１に記載の方法。
4. 前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）を有し、
   前記関数は、ｈ_３及びｈ_３′が
   

   

   に属する値に対応し、値ａ、ｂ、ｃ及びｄが、前記リフォーカシングされた画像のテンソル構造に従って決定される平滑化値に対応するとして、
   

   

   であるよう定義される、請求項１に記載の方法。
5. 前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）を有し、
   前記関数は、χ（．）が、ステートメントが真である場合に１に等しく、それ以外の場合に０に等しい特性関数であり、［．］が端数処理関数であり、Ｋ．が２以上の整数であるとして、
   Ｗ_６（ｋ，ｌ，Ｘ，Ｙ）＝χ（（ｋ，ｌ）は（［Ｘ］，［Ｙ］）のＫ近傍ピクセルに属する）
   であるよう定義される、請求項１に記載の方法。
6. 前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃ_ｘ）＋Ｃ_ｘ］，ｓ［ｇ（ｙ−Ｃ_ｙ）＋Ｃ_ｙ］）を有し、
   ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃ_ｘ，Ｃ_ｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応し、
   前記関数は、Ｗ_７（ｋ，ｌ，Ｘ，Ｙ）＝ＰＳＦ（ｘ，ｙ）であるよう定義され、
   ＰＳＦは、プレンオプティックカメラの点拡がり関数の推定である、
   請求項１に記載の方法。
7. 前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃ_ｘ）＋Ｃ_ｘ］，ｓ［ｇ（ｙ−Ｃ_ｙ）＋Ｃ_ｙ］）を有し、
   ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃ_ｘ，Ｃ_ｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応し、
   前記関数は、
   

   

   であるよう定義され、
   χ（．）は、ステートメントが真である場合に１に等しく、それ以外の場合に０に等しい特性関数であり、ρは閾値であり、
   

   

   は、ノルム関数である、
   請求項１に記載の方法。
8. 前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃ_ｘ）＋Ｃ_ｘ］，ｓ［ｇ（ｙ−Ｃ_ｙ）＋Ｃ_ｙ］）を有し、
   ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃ_ｘ，Ｃ_ｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応し、
   前記関数は、
   

   

   であるよう定義され、
   ｈ_８は、
   

   

   に属する値に対応し、関数
   

   

   は、ノルム関数である、
   請求項１に記載の方法。
9. 前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃ_ｘ）＋Ｃ_ｘ］，ｓ［ｇ（ｙ−Ｃ_ｙ）＋Ｃ_ｙ］）を有し、
   ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃ_ｘ，Ｃ_ｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応し、
   前記関数は、ｉ≠４として、
   

   

   に等しいよう定義され、
   Ｓ（ｘ，ｙ）は、（ｘ，ｙ）が属するマイクロレンズのシャープネスの尺度であり、Ｓ_ｍａｘは、前記４Ｄローライトフィールドデータの全てのマイクロレンズにわたる最大シャープネス値に対応する、
   請求項２乃至８のうちいずれか一項に記載の方法。
10. 前記関数は、可分であるよう定義される、
    請求項２乃至９のうちいずれか一項に記載の方法。
11. 前記関数は、
    

    

    と他の関数との積であるよう定義され、
    ｈ_１は、
    

    

    に属する値に対応し、関数
    

    

    はノルム関数である、
    請求項２乃至９のうちいずれか一項に記載の方法。
12. 前記更新するステップは、前記加重値を前記少なくとも１つのピクセル値に加えることを含む、
    請求項１乃至１１のうちいずれか一項に記載の方法。
13. コンピュータによって実行される場合に４Ｄローライトフィールドデータを処理する方法を実施するコンピュータ実行可能命令の組を有するコンピュータプログラムを記憶しているコンピュータ読出可能な非一時的記憶媒体であって、
    前記命令は、実行される場合に、前記コンピュータを、請求項１乃至１２のうちいずれか一項に記載の方法を実行するよう構成する命令を含む、
    コンピュータ読出可能な非一時的記憶媒体。
14. 所与のフォーカスプレーン値ｇについての４Ｄローライトフィールドデータからリフォーカシングされた画像を得る電子デバイスであって、
    少なくとも１つの色成分について、座標（ｋ，ｌ）∈Ｎ^２での前記リフォーカシングされた画像の少なくとも１つのピクセル値を決定するよう構成される回路を有し、
    前記回路は、
    前記少なくとも１つの色成分について、前記座標（ｋ，ｌ）の近傍に含まれる座標を有する少なくとも１つの投影ピクセル値を得るよう構成される取得回路と、
    関数に基づき前記少なくとも１つの投影ピクセル値に重み付けし、加重値を出力するよう構成される重み付け回路と、
    前記少なくとも１つの色成分について、座標（ｋ，ｌ）での前記リフォーカシングされた画像の前記少なくとも１つのピクセル値を前記加重値により更新するよう構成される更新回路と
    を有する、ことを特徴とする電子デバイス。
15. 前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）を有し、
    前記関数は、ｈ_１が
    

    

    に属する値に対応し、関数
    

    

    がノルム関数であるとして、
    

    

    であるよう定義される、請求項１４に記載の電子デバイス。

Images