JP2017229067A - 少なくとも１つのライトフィールドカメラにより一対の立体画像を生成する方法及び装置 - Google Patents

Abstract

【課題】ライトフィールドカメラにより一対の立体画像を生成する方法を提供する。
【解決手段】方法は、左ビュー及び右ビューについての、理論上のステレオ画像対を定義する夫々の必要とされるカメラパラメータを受け取り、ライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像４１１、４２１の実際のカメラパラメータを取得し、左ビューについて必要とされるカメラパラメータをサブアパーチャ画像についての実際のカメラパラメータと比較することによって左ビューについてのベストマッチングのサブアパーチャ画像を、右ビューについて必要とされるカメラパラメータをサブアパーチャ画像についての実際のカメラパラメータと比較することによって右ビューについてのベストマッチングのサブアパーチャ画像を決定し、左ビュー及び右ビューについてのベストマッチングのサブアパーチャ画像を立体画像の対として関連付ける。
【選択図】図７

Description

本開示は、イメージングの分野に概して関係があり、より具体的には、プレノプティック（plenoptic）カメラを使用するライトフィールドイメージング技術に関係がある。

本項目は、以下で記載及び／又は請求される本開示の様々な態様に関係があり得る技術の様々な態様を読者に紹介することを目的とする。この議論は、本開示の様々な態様のより良い理解を助けるよう背景情報を読者に提供するのに有用であると信じられる。然るに、それらの記述は、この観点で読まれるべきであり、先行技術の承認としてではないことが理解されるべきである。

ステレオ（又は複数ビュー）イメージングのフレームワークにおいて、ステレオ（又は複数ビュー）ビデオコンテンツは、３Ｄ対応スクリーンにおいて生成され、処理され、再生される必要がある。ステレオビデオコンテンツの処理は、３Ｄ情報の生成又は強化（例えば、視差推定）を可能にする。それはまた、３Ｄ情報を使用した２Ｄ画像の強化（例えば、ビュー補間）を可能にする。

通常、ステレオビデオコンテンツは、２つ（以上）の捕捉された２Ｄ画像から生成される。２Ｄビデオは、時系列のフレームを有している古典的なシーン内のビデオであり、夫々のフレームは、夫ピクセルのラインから成る古典的な２Ｄ画像である。夫々のピクセルは、色空間における色座標によって定義される色を有している。一般に、ステレオイメージングは、２つよりも多い２Ｄビデオがシーンから捕捉される多重ビューイメージングである。ステレオイメージングはまた、３Ｄモデル及びコンピュータグラフィクスから合成により生成され得る。このように、アニメーションは、立体画像及び複数のビューを有している他の関連画像を生じさせるよう生成され得る。

図１は、複数のビューを生成する従来のプロセスを示す。いくつかの従来の２Ｄカメラ２２が示されており、それらは、ロー（raw）画像ビュー３３を生成するようリグ・アウトプット（rig output）上に固定されている。一実施形態において、カメラ較正モジュール４４は、カメラの較正を実施する。この較正は、捕捉されたロー画像ビュー３３に基づき外部及び内部のカメラパラメータの推定を提供する。その後に、ビュー生成モジュール５５は、較正されたビュー６６を生成する。

夫々のカメラは、外部及び内部のパラメータによって定義される。外部パラメータは、世界座標系において表され、カメラの位置及び向きを定義する。外部パラメータは、３Ｄ回転行列Ｒ及び３Ｄ並進ベクトルｔを含む。内部カメラパラメータは、画像面における主点の座標ｐ_ｘ、ｐ_ｙ及び焦点長さｆを含む。

例えば、ピンホールカメラについて、一様なシーンワールド座標（scene-world-coordinates）における点Ｘ＝（Ｘ Ｙ Ｚ １）^Ｔは、ｘ＝ＰＸに従って画像位置ｘ（ｘ ｙ）^Ｔ上に投影される。このとき、Ｐは、Ｐ＝Ｋ［Ｒ／Ｒｔ］に従うカメラ行列であり、Ｒは３×３の回転行列であり、ｔは３Ｄ並進ベクトルであり、Ｋは、

に従って定義されるカメラ較正行列である。

カメラの較正は、例えば、較正のためのオブジェクトを用いて、一様なシーンワールド座標内の位置（ｆ_Ｘ，ｉ ｆ_Ｙ，ｉ ｆ_Ｚ，ｉ １）^Ｔでの既知の特徴点及び一様な座標（ｆ_ｘ，ｉ ｆ_ｙ，ｉ １）^Ｔを有する位置での画像面内へのそれらの投影により、実施され得る。カメラパラメータは、Richard Hartley及びAndrew Zissermannによって、２００４年３月２４日付けでCambridge pressで公開された“Multiple view geometry in computer vision”と題された彼らの文献中で記載された方法に従って、推定され得る。

多重ビューイメージングにおける既知の処理の次なるステップは、ビュー調整である。調整は、ステレオ・リグ上のカメラによって撮影されたビュー（２つ以上のビュー）を、ジオメトリが補正されているビューへ変換するための必要なステップである。ビューの調整を実施することによって、同じ画像面を有しているカメラによって各ビューが撮影されたように見えるように、ビューのジオメトリは補正される。しかし、調整にはいくつかの制限がある。例えば、垂直視差は、ビューを回転することなしに容易には補正され得ない。ビューを回転することは、ほとんどの場合に受け入れられない。垂直視差は、例えば、カメラの光心が水平方向にアライメントされない、すなわち、異なった垂直位置を有している場合に、現れる。

垂直視差に関連したこの問題は、例えば、Simon Reeve等によって、２０１０年に、BskyBからの白書としての彼の文献“Basic principles of stereoscopic 3D”において説明されている。垂直視差は、垂直方向において同じ位置又はビューイング方向を有さないカメラによって引き起こされる。たとえステレオカメラのリグが機械的に較正されるとしても、未解決の垂直ミスアライメントがしばしば残る。垂直ミスアライメントは、ステレオコンテンツを見る際に問題を生じさせる。

Richard Hartley及びAndrew Zissermann，"Multiple view geometry in computer vision"，Cambridge press，２００４年３月２４日 Simon Reeve等，"Basic principles of stereoscopic 3D"，BskyB，２０１０年

本原理に従って、少なくとも１つのライトフィールドカメラにより一対の立体画像を生成する方法であって、左ビュー及び右ビューについての夫々の必要とされるカメラパラメータを受け取り、該必要とされるカメラパラメータは、理論上のステレオ画像対を定義し、前記ライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータを取得し、前記左ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、前記右ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記右ビューについてのベストマッチングのサブアパーチャ画像を決定し、前記左ビューについてのベストマッチングのサブアパーチャ画像及び前記右ビューについてのベストマッチングのサブアパーチャ画像を立体画像の対として関連付けることを有する方法が提供される。

本原理はまた、一対の立体画像を生成するデバイスであって、左ビュー及び右ビューについての夫々の必要とされるカメラパラメータを取得し、該必要とされるカメラパラメータは、理論上のステレオ画像対を定義し、ライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータを取得し、前記左ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、前記右ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記右ビューについてのベストマッチングのサブアパーチャ画像を決定し、前記左ビューについてのベストマッチングのサブアパーチャ画像及び前記右ビューについてのベストマッチングのサブアパーチャ画像を立体画像の対として関連付けることを実施するデバイスに関係がある。

先行技術における多重ビューイメージングの処理を示す。 本開示の実施形態に従うライトフィールドカメラのための構成を表す。 本開示の実施形態に従う、捕捉されたライトフィールド画像と、一連のサブアパーチャ画像との間の変換を表す。 本開示の実施形態に従う、捕捉されたライトフィールド画像と、一連のサブアパーチャ画像との間の変換を表す。 本開示の実施形態に従うデバイスのハイレベル機能ブロック図を示す。 本開示の実施形態に従うデバイスのハードウェア構成を説明するブロック図を表す。 本開示の実施形態に従って、回転行列Ｒパラメータ及び並進ベクトルｔパラメータを含む必要とされるカメラパラメータの例を表す。 本開示の実施形態に従って、必要とされるカメラパラメータと実際のカメラパラメータとの間の比較に基づくサブアパーチャ画像の関連付けを表す。 本開示の実施形態に従って、実際のカメラパラメータを計算し、サブアパーチャ画像を関連付けるステップを実施するフローチャート説明図を表す。 本開示の実施形態に従って、左ビューについての残りのサブアパーチャ画像と右ビューについての残りのサブアパーチャ画像との関連付けについてのフローチャート説明図を示す。 本開示の実施形態に従って、２つのライトフィールドカメラが使用される場合において、左ビューについての残りのサブアパーチャ画像と右ビューについての残りのサブアパーチャ画像との関連付けを示す。 本開示の実施形態に従って、ステレオ対を生成するために単一のライトフィールドカメラが使用される場合に、サブアパーチャ画像を関連付ける実施形態の例を示す。 本開示の実施形態に従って、単一のライトフィールドカメラが使用される場合に、サブアパーチャ画像を異なる分類に分類する実施形態の例を示す。 本開示の実施形態に従って、単一のライトフィールドカメラによるサブアパーチャ画像の分類についてのフローチャート説明図を示す。

本開示の一実施形態に従って、一対の立体画像を生成する方法であって、特に、１つ以上のプレノプティックカメラ（以降、同義的に、ライトフィールドカメラとも呼ばれる。）によって複数のビューが生成される場合に、先行技術に付随した較正の問題の一部を解消する方法が提供される。ライトフィールドカメラは、従来、特定のビューイング方向についての一連の異なったサブアパーチャ画像を出力する。較正ステップにおいて、夫々のカメラパラメータは、サブアパーチャ画像に関して推定される（以降、このパラメータは、“実際のカメラパラメータ”と称される。）。その後に、実際のカメラパラメータは、立体画像対についての理想値を示す理論上の必要とされるカメラパラメータ（以降、このパラメータは、“必要とされるカメラパラメータ”と称される。）と比較される。

立体画像対についての理想的な又は理論上の値を定義するそれらの必要とされるカメラパラメータはまた、内部及び／又は外部のカメラパラメータを含む。必要とされるカメラパラメータは、標準化団体においてテーブルを囲んで理論的検討を経て用意されてよく、あるいは、（例えば、カメラの製造ラインにおける）基準となるステレオカメラについての平均化されたパラメータであってよい。必要とされるカメラパラメータは、一対の立体画像を生成するためにどのようなカメラが期待されるかを記述する。例えば、ステレオイメージングシステムにおいて、必要とされるカメラパラメータは、カメラ間の特定の距離、平行ビューイング、特定の焦点距離、及び画像中心である主点を含み得る。

必要とされるカメラパラメータの値は、視差及び何らかの他の様々な要件といった、ステレオ対画像に関する要件に応じて様々であり得る。必要とされるカメラパラメータの値はまた、ライトフィールドカメラ１の設定又は構成に応じて変更され得る。ステレオ対画像についての要件が変化すると、必要とされるカメラパラメータは変更又は更新され得る。必要とされるカメラパラメータは、例えば、前もって外部のソースから、取得され、実際のカメラパラメータとの比較のために、デバイスのメモリに記憶され得る。

一実施形態において、方法は、少なくとも１つ以上のライトフィールドカメラに由来するサブアパーチャ画像からステレオ対画像を生成するよう、説明されるように提供される。夫々のライトフィールドカメラは、一連のサブアパーチャ画像を出力する。夫々のサブアパーチャ画像は、サブカメラパラメータ（実際のカメラパラメータ）によって記述される個々のビューイング方向を有している。

本開示以外に、図示される要素は、よく知られており、詳細には説明されない。例えば、本開示以外に、プロセッサに基づくデバイスは、よく知られており、本明細書では詳細には説明されない。プロセッサに基づくデバイスのいくつかの例は、携帯電話機、タブレット、デジタル静止カメラ、ラップトップコンピュータ、デスクトップコンピュータ、デジタルテレビジョン、などである。また、発明概念は、従来のプログラミング技術、例えば、ＡＰＩ（Application Programming Interfaces）を用いて実装され得、そのようなものとして、本明細書では説明されない点が留意されるべきである。最後に、図中の同じ参照符号は、同様の要素を表す。

図２は、本開示の実施形態に従うライトフィールドカメラのための構成を表す。ライトフィールドカメラ１は、画像センサアレイ１３に関連したレンズ配置を有する。画像センサアレイ１３は、Ｎｘ個の列及びＮｙ個の行のグリッドの形で配置されている多数（ｍ個）のピクセル１３１、１３２、１３３乃至１３ｍを有する。ｍはＮｘ×Ｎｙに対応する。レンズ配置は、メインレンズとも呼ばれるプライマリレンズ１０と、複数（ｎ個）のマイクロレンズ１１１、１１２、１１ｎを有するレンズレットアレイ１１とを有する。ｎは、１以上の正の整数である。マイクロレンズ１１１、１１２、１１ｎは、複数のピクセルと光学的に夫々が関連付けられるように配置されている。１つのマイクロレンズと光学的に関連付けられるｐ×ｐのピクセルの数は、ライトフィールドカメラにより捕捉されるシーンのビューの数に対応する。図２において、夫々のマイクロレンズ１１１、１１２、１１ｎは（ｉ，ｊ）によって参照され、プライマリレンズ１０における座標は（ｕ，ｖ）によって参照される。センサアレイ１３は、２Ｄ画像内に配置された２Ｄの小画像の集合から成る画像を記録する。

図３Ａ及び３Ｂは、本開示の実施形態に従う、捕捉されたライトフィールド画像と、サブアパーチャ画像の連続との間の変換を表す。捕捉されたライトフィールド画像の座標Ｌ（ｘ，ｙ，ｉ，ｊ）は、サブアパーチャ画像の連続Ｓ（α，β，ｕ，ｖ）に変換される。ここで、（ｕ，ｖ）はサブアパーチャ画像座標を特定し、（α，β）は、座標（ｕ，ｖ）のサブアパーチャ画像内のピクセル座標である。そのようなサブアパーチャ画像の数はｐ×ｐに等しい。センサアレイ１３をカバーするマイクロレンズ１１１、１１２、１１ｎの数は（Ｉ，Ｊ）によって参照される。定義により、Ｉ＝Ｎｘ／ｐ且つＪ＝Ｎｙ／ｐ。サブアパーチャ画像の軸は、（α，β）∈［０，Ｉ／ｐ］×［０，Ｊ／ｐ］であるように、（α，β）によって標記される。サブアパーチャ画像は、（ｕ，ｖ）∈［０，ｐ］^２であるように定義される（ｕ，ｖ）座標によって識別される。異なったサブアパーチャ画像を得るよう、ロー画像（すなわち、画像センサアレイ１３により捕捉されたカラーセンサデータ）は、デモザイク処理され、次いで、逆多重化される。デモザイク処理ステップの後、ＲＧＢ画像データが、ビューごとに夫々のピクセル位置で得られる。サブアパーチャ画像は、プライマリレンズ１０において座標ｕ及びｖに相関している同じ（ｕ，ｖ）座標を有している、すなわち、同じビューイング方向を有している全ての４Ｄライトフィールドピクセルを集める。

逆多重化プロセスは、特定の入射角により光線を捕捉する全てのピクセルが、サブアパーチャ画像を生成する同じ画像において保持されるように、ロー画像のピクセルの再編成を有する。

図４は、本開示の実施形態に従うデバイスのハイレベル機能ブロック図を示す。発明概念に関連する部分のみが示されている。そのようなものとして、デバイス５は他の機能を実施することができる。

システムは、少なくとも１つのライトフィールドカメラ１及びデバイス５を有する。当業者に理解されるように、デバイス５内に表されている機能は、ライトフィールドカメラ１内で実装されるか、あるいは、ライトフィールドカメラ１とは別個に実装され得る。図４では、左ビューのためのライトフィールドカメラ１Ｌ及び右ビューのためのライトフィールドカメラ１Ｒが記載されているが、本開示の実施は、単一のライトフィールドカメラを使用することによって実現され得る。左ビューのためのライトフィールドカメラ１Ｌ及び右ビューのためのライトフィールドカメラ１Ｒを使用する場合に、それらのライトフィールドカメラ１Ｌ及び１Ｒは、相対画像を捕捉するようリグ上に固定される必要がある。夫々のサブアパーチャ画像について実際のカメラパラメータを推定するために、ライトフィールドカメラ１はオブジェクト２を捕捉する。オブジェクト２は、チェッカーボード・パターンのような既知のサイズ又はジオメトリを有するオブジェクトであり得る。言うまでもなく、特徴が既知のサイズ又はジオメトリを有している、較正のための他のオブジェクトが、使用され得る。オブジェクト（例えば、チェッカーボード・パターン）２の白黒の正方形の角は、サブアパーチャ画像Ｓ（α，β，ｕ，ｖ）のピクセル座標（α，β）において検出される。

オブジェクト２の特徴点の一様なシーンワールド座標及びサブアパーチャ画像Ｓ（α，β，ｕ，ｖ）内の対応するピクセル座標に基づき、パラメータ推定ユニット３２は、最小二乗推定値を用いて回転行列Ｒ及び並進ベクトルｔを計算することが可能である。よく知られているチェッカーボード・パターンを用いて回転行列Ｒ及び並進ベクトルｔを推定することは、Barbara Frank、Cyrill Stachniss、Giorgio Grisetti、Kai Arras、Wolfram Burgardによる文献“Robotics 2 Camera Calibration”において説明されている。本開示に従って、“実際のカメラパラメータ”は、ライトフィールドカメラ１によるオブジェクト２の“実際に捕捉された”画像と、オブジェクト２の上記の対応する一様なシーンワールド座標とに基づき計算されたサブアパーチャ画像についてのカメラパラメータ（回転行列Ｒ及び並進ベクトルｔ）を意味する。

ライトフィールドカメラ１がオブジェクト２の画像を捕捉した後、この捕捉された画像は、サブアパーチャ画像生成ユニット３１へ送られ、次いで、ロー画像は、サブアパーチャ画像生成ユニット３１によってデモザイク処理され逆多重化される。ｉ×ｊのマイクロレンズ１１１、１１２、１１ｎのアレイ及び１つのマイクロレンズに光学的に関連付けられる複数（ｐ×ｐ）のピクセルが存在する場合に、ｐ×ｐのサブアパーチャ画像が夫々のライトフィールドカメラ１から生成される。

パラメータ推定ユニット３２は、サブアパーチャ画像生成ユニット３１によって逆多重化された夫々のサブアパーチャ画像についてＲ行列及びｔ並進ベクトルを計算するためのものである。上述されたように、パラメータ推定ユニット３２は、オブジェクト２の既知の特徴点の既知のシーンワールド座標とサブアパーチャ画像Ｓ（α、β、ｕ，ｖ）内の既知の特徴点のピクセル座標との間の対応に基づき、夫々のサブアパーチャ画像について回転行列Ｒ及び並進ベクトルｔを計算する。例えば、較正行列Ｋが知られている場合には、回転行列Ｒ及び並進ベクトルｔは、例えば、Barbara Frank等による“Robotics 2 Camera Calibration”において記載されている方法を用いて、サブアパーチャ画像ごとに決定され得る。他の例において、ライトフィールドカメラが、３×３のピクセル（ｐ＝３）をカバーするマイクロレンズから成る場合に、全部で９個のサブアパーチャ画像が抽出される。

パラメータ推定ユニット３２は、３×３（全部で９個）のサブアパーチャ画像（ｕ，ｖ）∈［０，ｐ］^２についてのＲ_ｕｖ、ｔ_ｕｖ及びＫ_ｕｖ（Ｒ、ｔ及びｋは、夫々のサブアパーチャ画像についての回転行列、並進ベクトル及び較正行列を夫々表す。）の全部で８乃至１０のパラメータ（例えば、ｔについての３つのパラメータ、Ｒについての３つのパラメータ、及びＫについての２又は３又は４つのパラメータ）をサブアパーチャ画像の夫々について推定する。マイクロレンズごとに３×３のピクセル、よって、３×３のサブアパーチャ画像（ｕ，ｖ）∈［０，ｐ］^２を夫々が有している左ライトフィールドカメラ１Ｌ及び右ライトフィールドカメラ１Ｒを使用する場合に、パラメータ推定ユニット３２は、全部で１８組のカメラパラメータを推定する。９組のＡｃｔＲ_Ｌ，ｕｖ，ｔ_Ｌ，ｕｖ，Ｋ_Ｌ，ｕｖ（左ビューのためのライトフィールドカメラ１Ｌによって捕捉された夫々のサブアパーチャ画像についての夫々のカメラパラメータ）及び９組のＡｃｔＲ_Ｒ，ｕｖ，ｔ_Ｒ，ｕｖ，Ｋ_Ｒ，ｕｖ（右ビューのためのライトフィールドカメラ１Ｒによって捕捉された夫々のサブアパーチャ画像についての夫々のカメラパラメータ）が存在する。パラメータ推定ユニット３２は、上述されたように既知の方法に従って実際のカメラパラメータを推定する。カメラパラメータの組は、いくつかの異なるアプローチにより推定され得ることが理解されるだろう。

パラメータ解析ユニット３３は、夫々の実際のカメラパラメータを、必要とされるカメラパラメータと比較することによって、ベストマッチングのサブアパーチャ画像を見つけることに関与する。パラメータ解析ユニット３３は、夫々のサブアパーチャ画像についての計算された夫々の実際のカメラパラメータ（例えば、回転行列Ｒ及び並進ベクトルｔ）を、Ｒ行列及びｔを含む必要とされるカメラパラメータと比較して、ベストマッチを見つける。パラメータ解析ユニット３３は、１つのライトフィールドカメラの場合に、ＡｃｔＲ_ｕｖｔ_ｕｖから検索する。左右のライトフィールドカメラ対１Ｌ及び１Ｒについて、パラメータ解析ユニット３３は、Ｒｅｑ＿Ｒ_Ｌｔ_Ｌ（左ビューについての必要とされるカメラパラメータ）を、左ビューのためのライトフィールドカメラ１Ｌによって捕捉されたサブアパーチャ画像の（ｕ，ｖ）∈［０，ｐ］^２によるＡｃｔＲ_Ｌ，ｕｖｔ_Ｌ，ｕｖと比較し、Ｒｅｑ＿Ｒ_Ｒｔ_Ｒ（右ビューについての必要とされるカメラパラメータ）を、右ビューのためのライトフィールドカメラ１Ｒによって捕捉されたサブアパーチャ画像の（ｕ，ｖ）∈［０，ｐ］^２によるＡｃｔＲ_Ｒ，ｕｖｔ_Ｒ，ｕｖと比較する。正確にベストマッチングのサブアパーチャ画像が存在しない場合に、パラメータ解析ユニット３３は、必要とされるカメラパラメータに最も近い実際のカメラパラメータのサブアパーチャ画像がベストマッチングのサブアパーチャ画像であると決定し得る。全てのサブアパーチャ画像について、パラメータ解析ユニット３３は、サブアパーチャ画像の実際のカメラパラメータと必要とされるカメラパラメータとの間の差が閾範囲内であるかどうかを判定し得る。必要とされるカメラパラメータからの実際のカメラパラメータの差が閾範囲内にあるところのサブアパーチャ画像がない場合には、パラメータ解析ユニット３３は、“適合しているサブアパーチャ画像は見つけられなかった”として結果を返し得る。閾値未満内で必要とされるカメラパラメータと値が異なる実際のカメラパラメータを有しているいくつかのサブアパーチャ画像をパラメータ解析ユニット３３が見つけることができる場合があり得る。パラメータ解析ユニット３３は、必要とされるカメラパラメータに最も近い実際のカメラパラメータのサブアパーチャ画像がベストマッチングのサブアパーチャ画像であると決定し得る。他のマッチング方法が使用されてよく、例えば、予め定義された３Ｄ位置を２Ｄ位置上に投影して、２Ｄ位置における差を評価する方法がある。他のマッチング方法は、予め定義された２Ｄ位置を３Ｄ位置上に再投影し、３Ｄ位置における差を評価することであってよい。

ビュー関連付けユニット３４は、パラメータ解析ユニット３３によって提供された比較の結果に基づき、夫々のサブアパーチャ画像を関連付けるために使用される。関連付けステップは、図５乃至７及び以下の記載において十分に説明される。

図５は、本開示の実施形態に従うデバイスのハードウェア構成を説明するブロック図を表す。図５に表されているように、デバイス５はライトフィールドカメラ１を含むが、ライトフィールドカメラ１は、デバイス５とは別個に構成され得る。デバイス５は、例えば、スマートフォン、スマートウォッチ、タブレット、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及びライトフィールドカメラ１のみならずエンドユーザ間の情報のやり取りを助ける他のデバイスのような、如何なるデバイスであることもできる。

デバイス５は、クロック信号も運ぶ、アドレス及びデータのバスによって、互いへ接続されている次の要素、すなわち、プロセッサ５１（又はＣＰＵ）、ＲＯＭタイプの不揮発性メモリ５２、ランダムアクセスメモリ、すなわちＲＡＭ５３、ラジオインターフェイス５６、データの送信のために適応されたインターフェイス５５、ライトフィールドカメラ１、ユーザのために情報を表示し及び／又はデータ若しくはパラメータを入力するよう適応されたＭＭＩ（Man Machine Interface）５８を有する。

メモリ５２及び５３の記載において使用される語“レジスタ”又は“ストア”は、上記のメモリの夫々において、低容量のメモリ区間、及び大容量のメモリ区間（プログラム全体が記憶されることを可能にするもの又は受信及び復号されたデータを表すデータの全て若しくは部分）を表す。

ＲＯＭ５２は、特に、プログラム“Ｐｒｏｇ”を有する。本開示に特有であって、以下で記載される方法のステップを実施するアルゴリズムは、それらのステップを実装するデバイスに関連したＲＯＭ５２のメモリに記憶されている。起動されるとき、プロセッサ５１は、それらのアルゴリズムの命令をロードして実行する。

ＲＡＭ５３は、レジスタにおいて、デバイス５をオンすることに関与するプロセッサ５１の動作プログラム、受信パラメータ（例えば、変調、符号化、ＭＩＭＯ、フレームの再現のためのパラメータ）、送信パラメータ（例えば、変調、符号化、ＭＩＭＯ、フレームの再現のためのパラメータ）、ラジオインターフェイス５６によって受信及び復号されるデータに対応する入来データ、インターフェイスでアプリケーション５８へ送信されるよう形成される復号されたデータ、プライマリレンズ１０のパラメータ、及び／又はマイクロレンズアレイのマイクロレンズによって形成されるマイクロ画像の中心を表す情報を特に有する。

図５に関して記載されている以外のデバイス５の構造は、本開示に適合する。特に、変形例に従って、デバイス５は、純粋にハードウェアによる実現に従って、例えば、専用の部品（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）若しくはＦＰＧＡ（Field-Programmable Gate Array）若しくはＶＬＳＩ（Very Large Scale Integration）又は装置に埋め込まれたいくつかの電子部品の形で、あるいは、ハードウェア要素とソフトウェア要素との混成の形でさえ、実施され得る。

ラジオインターフェイス５６及びインターフェイス５５は、例えば、ＩＥＥＥ８０２．１１（Ｗｉ−Ｆｉ）、ＩＭＴ−２０００仕様（３Ｇとも呼ばれる。）、３ＧＰＰ ＬＴＥ（４Ｇとも呼ばれる）、ＩＥＥＥ８０２．１５．１（Ｂｌｕｅｔｏｏｔｈ（登録商標）と呼ばれる。）のような１つ以上の電気通信標準に従う信号の送受信のために適応される。

変形例に従って、デバイス５は、如何なるＲＯＭも含まずＲＡＭのみを含み、本開示に特有の方法のステップを実施するアルゴリズムは、ＲＡＭにおいて記憶される。

図６は、本開示の実施形態に従って、理論上の立体画像対を定義する回転行列Ｒパラメータ及び並進ベクトルｔパラメータを含む必要とされるカメラパラメータの例を示す。この場合における必要とされるカメラパラメータは、本開示の実施形態に従って、回転行列Ｒ及び並進ベクトルｔのパラメータの組を有する。左ビュー及び右ビューについての必要とされるカメラパラメータの対が準備され、メモリに記憶される。左ビューについての必要とされるカメラパラメータ４１はＲｅｑ＿Ｒ_Ｌｔ_Ｌと示され、右ビューについての必要とされるカメラパラメータ４２はＲｅｑ＿Ｒ_Ｒｔ_Ｒと示される。

［第１実施形態］
本発明の第１の態様の好適な実施形態は、２つのライトフィールドカメラ（１Ｌ及び１Ｒ）がステレオ対を生成するために使用されている場合に関係がある。

図７は、本開示の実施形態に従って、必要とされるカメラパラメータと実際のカメラパラメータとの間の比較に基づくサブアパーチャ画像の関連付けを示す。左ビュー４１１についての夫々のサブアパーチャ画像の実際のカメラパラメータ及び右ビュー４２１についての夫々のサブアパーチャ画像の実際のカメラパラメータは推定される。この例では、３×３（全部で９個）のサブアパーチャ画像が生成され、それにより、左右夫々のサブアパーチャ画像について、９組の実際のカメラパラメータが推定される。この図で、左ビュー４１１についてのサブアパーチャ画像の実際のカメラパラメータはＡｃｔ＿Ｒ_Ｌｔ_Ｌと示され、一方、右ビュー４２１についてのサブアパーチャ画像の実際のカメラパラメータはＡｃｔ＿Ｒ_Ｒｔ_Ｒと示される。左ビューについての必要とされるカメラパラメータ４１（Ｒｅｑ＿Ｒ_Ｌｔ_Ｌ）は、左ビュー４１１についてのサブアパーチャ画像の夫々の実際のカメラパラメータ（Ａｃｔ＿Ｒ_Ｌｔ_Ｌ）と比較され得る。右ビューについての必要とされるカメラパラメータ４２（Ｒｅｑ＿Ｒ_Ｒｔ_Ｒ）は、右ビュー４２１についてのサブアパーチャ画像の夫々の実際のカメラパラメータ（Ａｃｔ＿Ｒ_Ｒｔ_Ｒ）と比較され得る。比較は、例えば、Ｒｅｑ＿Ｒ_Ｌｔ_Ｌ及びＡｃｔ＿Ｒ_Ｌｔ_Ｌの行列間の距離、又はＲｅｑ＿Ｒ_Ｒｔ_Ｒ及びＡｃｔ＿Ｒ_Ｒｔ_Ｒの行列間の距離の計算である。

この例となる実施形態において、パラメータ解析ユニット３３は、図７における中央のサブアパーチャ画像（ｕ，ｖ）＝（１，１）Ｌ４の実際のカメラパラメータＡｃｔＲ_{Ｌ，１，１}ｔ_{Ｌ，１，１}が、（左ビュー４１１についてのサブアパーチャ画像の全ての実際のカメラパラメータの中で）左ビューについての必要とされるカメラパラメータ４１（Ｒｅｑ＿Ｒ_Ｌｔ_Ｌ）に最も近いと決定し得る。その場合に、パラメータ解析ユニット３３は、図７における中央のサブアパーチャ画像（ｕ，ｖ）＝（１，１）Ｌ４が、左ビュー４１１についてのベストマッチングのサブアパーチャ画像であると決定し得る。

パラメータ解析ユニット３３は、図７における中央のサブアパーチャ画像（ｕ，ｖ）＝（１，１）Ｌ４の実際のカメラパラメータＡｃｔＲ_{Ｌ，１，１}ｔ_{Ｌ，１，１}が、（左ビュー４１１についてのサブアパーチャ画像の全ての実際のカメラパラメータの中で）左ビューについての必要とされるカメラパラメータ４１（Ｒｅｑ＿Ｒ_Ｌｔ_Ｌ）に最も近いと決定し得る。その場合に、パラメータ解析ユニット３３は、図７における中央のサブアパーチャ画像（ｕ，ｖ）＝（１，１）Ｌ４が、左ビュー４１１についてのベストマッチングのサブアパーチャ画像であると決定し得る。

パラメータ解析ユニット３３はまた、図７における中央左端のサブアパーチャ画像（ｕ，ｖ）＝（１，０）Ｒ４の実際のカメラパラメータＡｃｔＲ_{Ｒ，１，０}ｔ_{Ｒ，１，０}が、（右ビュー４２１についてのサブアパーチャ画像の全ての実際のカメラパラメータの中で）右ビューについての必要とされるカメラパラメータ４２（Ｒｅｑ＿Ｒ_Ｒｔ_Ｒ）に最も近いと決定し得る。その場合に、パラメータ解析ユニット３３は、図７における中央左端のサブアパーチャ画像（ｕ，ｖ）＝（１，０）Ｒ４が、右ビュー４２１についてのベストマッチングのサブアパーチャ画像であると決定し得る。

ビュー関連付けユニット３４は、左ビューについてのベストマッチングのサブアパーチャ画像（図７におけるＬ４）を、右ビューについてのベストマッチングのサブアパーチャ画像（図７におけるＲ４）と関連付ける。図７に示されるように、ビュー関連付けユニット３４は、左ビューについての残りのサブアパーチャ画像を、右ビューについての残りのサブアパーチャ画像と関連付ける。本開示において、“残りのサブアパーチャ画像”は、ベストマッチングのサブアパーチャ画像以外の夫々のサブアパーチャ画像を指す。１つの例となる実施形態において、図７に表されているように、ビュー関連付けユニット３４は、左ビューについての夫々のサブアパーチャ画像を、ベストマッチングのサブアパーチャ画像（図７におけるＬ４又はＲ４）から相対的に同じ位置にある右ビューについての夫々のサブアパーチャ画像と関連付けることができる。左ビューについての残りのサブアパーチャ画像を右ビューについての残りのサブアパーチャ画像と関連付ける詳細なステップは、本明細書中の以降の項で説明される。

図７に表されているように、いくつかのサブアパーチャ画像（図７におけるＮ４）は、他のビューのサブアパーチャ画像と関連付けられ得ず、それらのサブアパーチャ画像は無視されるか、又は適合するビューでないとして記録され得る。ビュー関連付けユニット３４は、その関連付け結果をメモリに記憶する。

図８は、本開示の実施形態に従って、実際のカメラパラメータを計算し、サブアパーチャ画像を関連付けるステップを実施するための、実例となるフローチャートを示す。この例となるフローチャートにおいて、それは、２つのライトフィールドカメラ１Ｌ及び１Ｒが使用されている構成に従って説明されるが、言うまでもなく、それらのステップは、単一のライトフィールドカメラを用いて実施され得る。

ステップＳ１で、ライトフィールドカメラ１Ｌ及び１Ｒは、ライトフィールドカメラ１Ｌ及び１Ｒの前に置かれているシーン内のオブジェクト２の画像を捕捉する。オブジェクト２は、シーン内のオブジェクト２の世界座標を測定し又は適切に設定するために、所定の位置に位置付けられ得る。このステップで、又は続くステップで、オブジェクト２の夫々の特徴点のシーンワールド座標は取得され得る。オブジェクト２の夫々の特徴点のシーンワールド座標は、例えば、タイム・オブ・フライト（ＴｏＦ；Time-of-Flight）カメラ、ステレオ三角測量、又は当該技術で知られている何らかの他の方法を用いて、取得され得る。オブジェクト２の夫々の特徴点のシーンワールド座標はまた、ユーザによって入力又は登録され、システムに予め登録され得る。捕捉された画像信号及びオブジェクト２の夫々の特徴点の取得されたシーンワールド座標は、デバイス５へ送られ得る。言うまでもなく、ライトフィールドカメラ１Ｌ及び１Ｒは、ほとんど同じ画像面を有しているカメラによって各ビューが撮影されたように見えるように、ステレオ・リグに機械的に設置される。２つのカメラをアライメントする際の不完全さは、提案される開示によって対処される。

ステップＳ２で、サブアパーチャ画像生成ユニット３１は、ステップＳ１で取得された画像からサブアパーチャ画像を生成する。上述されたように、続くステップは、ライトフィールドカメラ１又はデバイス５のいずれかによって実施され得る。ライトフィールドカメラ１の外にあるデバイス５がそれらのステップを実施する場合に、捕捉された画像信号は、通信ネットワークインターフェイスを介してデバイス５へ送られ得る。全てのステップがライトフィールドカメラ１において実施される場合に、捕捉された画像信号は、ライトフィールドカメラ１において、デモザイク処理され、次いで、逆多重化される。

ステップＳ３で、パラメータ推定ユニット３２は、夫々のサブアパーチャ画像について夫々の実際のカメラパラメータを推定する。上述されたように、パラメータ推定ユニット３２は、先の項で説明された既知の方法を用いて、実際のカメラパラメータを推定する。例えば、パラメータ推定ユニット３２は、サブアパーチャ画像における夫々の特徴点のピクセル座標Ｓ_ｉ（α_ｉ，β_ｉ，０，０）と、対応する特徴点のシーンワールド座標（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）（ｉは、ｉ＝１・・・ｎのような正の整数であることができる。）とに基づき、サブアパーチャ画像（ｕ，ｖ）＝（０，０）についての実際のカメラパラメータを推定する。画像における夫々の特徴点のピクセル座標の組がα_１，β_１，・・・，α_ｎ，β_ｎであるとすると、対応するシーンワールド座標はＸ_１，Ｙ_１，Ｚ_１，・・・，Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎと表され得る（［αｉ，βｉ，１］＝Ｐ［Ｘｉ，Ｙｉ，Ｚｉ，１］）。

実際のカメラパラメータの計算のためのステップは、ライトフィールドカメラの前にオブジェクト２を置いた後、起動信号（例えば、“実際のカメラパラメータを計算し始めよ”といった開始ボタン（図示せず。）を押すことによって受信される信号、又は起動コマンド）を受信した後に自動化され得る。実際のカメラパラメータの計算のための起動信号又はコマンドが与えられると、ステップＳ１からＳ３は、実際のカメラパラメータが成功裏に導出されたとステップＳ４で決定されるまで、繰り返し実施され得る。

夫々のサブアパーチャ画像についての実際のカメラパラメータが導出されると、プロセスはステップＳ５へ移る。ステップＳ５で、パラメータ解析ユニット３３は、ベストマッチングのサブアパーチャ画像を決定する。ステップＳ５で、パラメータ解析ユニット３３は、メモリに記憶されているか又はユーザによって指定されている必要とされるカメラパラメータ（左ビューについてのＲｅｑ＿Ｒ_Ｌｔ_Ｌ４１及び右ビューについてのＲｅｑ＿Ｒ_Ｒｔ_Ｒ４２）にアクセスし、次いで、必要とされるカメラパラメータ（Ｒｅｑ＿Ｒ_Ｌｔ_Ｌ又はＲｅｑ＿Ｒ_Ｒｔ_Ｒ）を、夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータと比較する。２つのライトフィールドカメラ１Ｌ及び１Ｒが使用される場合に、パラメータ解析ユニット３３は、左ビューについての必要とされるカメラパラメータ４１を、左ビュー４１１についての夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータ（Ａｃｔ＿Ｒ_Ｌｔ_Ｌ）と比較し、更に、右ビューについての必要とされるカメラパラメータ４２を、右ビュー４２１についての夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータ（Ａｃｔ＿Ｒ_Ｒｔ_Ｒ）と比較する。

ステップＳ６で、ビュー関連付けユニット３４は、左ビューについてのサブアパーチャ画像を、右ビューについての夫々のサブアパーチャ画像と関連付ける。このステップは、図９を参照して本明細書の以降の項で念入りに説明される。

ステップＳ７で、ビュー関連付けユニット３４は、関連付け結果をメモリに記録する。

図９は、本開示の実施形態に従って、左ビューについての残りのサブアパーチャ画像と右ビューについての残りのサブアパーチャ画像との関連付けについてのフローチャート説明図を示す。それは、２つのライトフィールドカメラ１Ｌ及び１Ｒが使用される場合に従って説明されているが、それらのステップは、単一のライトフィールドカメラが使用される場合において実施され得る。

ステップＳ１１で、左ビューについての（ｕ，ｖ）番目の残りのサブアパーチャ画像について、ビュー関連付けユニット３４は、実際のカメラパラメータＡｃｔ＿Ｒ_{Ｌｒｅｍ，ｕｖ}ｔ_{Ｌｒｅｍ，ｕｖ}を左ビューについての上述されたベストマッチングのサブアパーチャ画像の実際のカメラパラメータＡｃｔ＿Ｒ_{Ｌｂｅｓｔ}ｔ_{Ｌｂｅｓｔ}に移すことができる伝達行列Ｄ_{Ｌｒｅｍ，ｕｖ}を計算する。伝達行列は、例えば、次の式：

D_Lrem=(R_LDrem|t_LDrem)=(R_Lrem ^-1R_Lbest|R_Lrem ^-1(t_Lbest-t_Lrem))

によって計算され得る。

ステップＳ１１で、ビュー関連付けユニット３４は、左ビューについての（ｕ，ｖ）番目の残りのサブアパーチャ画像の実際のカメラパラメータＡｃｔ＿Ｒ_{Ｌｒｅｍ，ｕｖ}ｔ_{Ｌｒｅｍ，ｕｖ}と、左ビューについての上述されたベストマッチングのサブアパーチャ画像の実際のカメラパラメータＡｃｔ＿Ｒ_{Ｌｂｅｓｔ}ｔ_{Ｌｂｅｓｔ}とから、伝達行列Ｄ_{Ｌｒｅｍ，ｕｖ}を計算する。

ステップＳ１２で、右ビューについての（ｕ，ｖ）番目の残りのサブアパーチャ画像について、ビュー関連付けユニット３４は、実際のカメラパラメータＡｃｔ＿Ｒ_{Ｒｒｅｍ，ｕｖ}ｔ_{Ｒｒｅｍ，ｕｖ}を右ビューについての上述されたベストマッチングのサブアパーチャ画像の実際のカメラパラメータＡｃｔ＿Ｒ_{Ｒｂｅｓｔ}ｔ_{Ｒｂｅｓｔ}に移すことができる伝達行列Ｄ_{Ｒｒｅｍ，ｕｖ}を計算する。伝達行列は、例えば、次の式：

D_Rem=(R_RDrem|t_RDrem)=(R_Rrem ^-1R_Rbest|R_Rrem ^-1(t_Rbest-t_Rrem))

によって計算され得る。

ステップＳ１２で、ビュー関連付けユニット３４は、右ビューについての（ｕ，ｖ）番目の残りのサブアパーチャ画像の実際のカメラパラメータＡｃｔ＿Ｒ_{Ｒｒｅｍ，ｕｖ}ｔ_{Ｒｒｅｍ，ｕｖ}と、右ビューについての上述されたベストマッチングのサブアパーチャ画像の実際のカメラパラメータＡｃｔ＿Ｒ_{Ｒｂｅｓｔ}ｔ_{Ｒｂｅｓｔ}とから、伝達行列Ｄ_{Ｒｒｅｍ，ｕｖ}を計算する。

ステップＳ１３で、左ビューについての全ての残りのサブアパーチャ画像についての全てのＤ_Ｌｒｅｍ及び右ビューについての全ての残りのサブアパーチャ画像についての全てのＤ_Ｒｒｅｍが計算されているかどうかが判定される。ステップＳ１１及びＳ１２は、左ビューについての全ての残りのサブアパーチャ画像についての全てのＤ_Ｌｒｅｍ及び右ビューについての全ての残りのサブアパーチャ画像についての全てのＤ_Ｒｒｅｍが計算されるまで、繰り返される。ライトフィールドカメラ１Ｌ及び１Ｒが９組のサブアパーチャ画像を生成することができる場合に、８組のＤ_Ｌｒｅｍ及びＤ_Ｒｒｅｍが計算され得る。左ビューについての全ての残りのサブアパーチャ画像についての全てのＤ_Ｌｒｅｍ及び右ビューについての全ての残りのサブアパーチャ画像についての全てのＤ_Ｒｒｅｍが計算されていないと決定される場合には、プロセスはステップＳ１１に戻る。

ステップＳ１４で、ビュー関連付けユニット３４は、左ビューについての残りのサブアパーチャ画像のＤ_Ｌｒｅｍに最も近い（又は最も類似している）Ｄ_Ｒｒｅｍを有している右ビューについての残りのサブアパーチャ画像を決定する。例えば、ビュー関連付けユニット３４は、Ｄ_Ｌｒｅｍ（（ｕ，ｖ）番目についての伝達行列）と右ビューについての全ての残りのサブアパーチャ画像の夫々のＤ_Ｒｒｅｍとの間の距離を計算し、Ｄ_Ｌｒｅｍ（（ｕ，ｖ）番目についての伝達行列）に最も近いＤ_Ｒｒｅｍを有している右ビューについての残りのサブアパーチャ画像を決定する。

Ｄ_ＲｒｅｍとＤ_Ｌｒｅｍとの間の距離は、次の式：

D_Rrem-D_Lrem=(R_LDrem ^-1R_RDrem|t_RDrem-t_LDrem)

を用いて計算され得る。

ステップＳ１５で、ビュー関連付けユニット３４は、左ビューについての（ｕ，ｖ）番目の残りのサブアパーチャ画像のＤ_Ｌｒｅｍと右ビューについての決定された残りのサブアパーチャ画像のＤ_Ｒｒｅｍとの間の距離が閾値以下であることを決定する。左ビューについての（ｕ，ｖ）番目の残りのサブアパーチャ画像のＤ_Ｌｒｅｍと、左ビューについての（ｕ，ｖ）番目の残りのサブアパーチャ画像のＤ_Ｌｒｅｍに最も近いＤ_Ｒｒｅｍとの間の距離が閾値以下でないと決定される場合には、プロセスはステップＳ１７へ進み、そうでない場合には、ステップＳ１６へ進む。

距離が閾値以下でないとビュー関連付けユニット３４が決定する場合に、ステップＳ１７で、ビュー関連付けユニット３４は、左ビューについての（ｕ，ｖ）番目の残りのサブアパーチャ画像に関連付けられ得る右ビューについての残りのサブアパーチャ画像が存在しないと決定し、その結果（関連付けなし）をメモリに記録する。

ステップＳ１６で、（ｕ，ｖ）番目のＤ_ＬｒｅｍとＤ_Ｒｒｅｍ（（ｕ，ｖ）番目のＤ_Ｌｒｅｍに最も近いもの）との間の距離が閾値以下であるとビュー関連付けユニット３４が決定する場合に、ビュー関連付けユニット３４は、左ビューについての（ｕ，ｖ）番目の残りのサブアパーチャ画像を、左ビューについての（ｕ，ｖ）番目の残りのサブアパーチャ画像のＤ_Ｌｒｅｍに最も近いＤ_Ｒｒｅｍを有する右ビューについての残りのサブアパーチャ画像と関連付ける。

ステップＳ１８で、ビュー関連付けユニット３４は、左ビューについての全ての残りのサブアパーチャ画像のための関連付けが完了しているかどうかを判定する。全ての計算及び関連付けが完了していると決定される場合には、プロセスは終了する。そうでない場合には、プロセスはステップＳ１４へ戻り、左ビューについての次の（ｕ，ｖ）番目の残りの左サブアパーチャ画像のための関連付けのステップを繰り返す。

図１０は、本開示の実施形態に従って、２つのライトフィールドカメラが使用される場合において、左ビューについての残りのサブアパーチャ画像と右ビューについての残りのサブアパーチャ画像との関連付けを示す。左ビュー又は右ビューについての夫々の残りのサブアパーチャ画像ＲＭ４１１又はＲＭ４２１は、左ビュー４１１についての又は右ビュー４２１についてのベストマッチングのサブアパーチャ画像からの夫々の距離に従って、関連付けられ得る。図１０において、左ビューについての残りのサブアパーチャ画像ＲＭ４１１は、点模様で表され、一方、右ビューについての残りのサブアパーチャ画像ＲＭ４２１は、縞模様で表される。左ビューについての残りのサブアパーチャ画像ＲＭ４１１は、左ビューについての残りのサブアパーチャ画像ＲＭ４１１の伝達行列（Ｄ_Ｌｒｅｍ）に最も近い伝達行列（Ｄ_Ｒｒｅｍ）を有している右ビューについての残りのサブアパーチャ画像ＲＭ４２１と関連付けられ得る。

［第２実施形態］
本発明の第２の態様の好適な実施形態は、単一のライトフィールドカメラがステレオ対を生成するために使用されている場合に関係がある。第１実施形態において記載された配置及びプロセスと重複する説明は、ここでは省略される。

図１１は、本開示の実施形態に従って、単一のライトフィールドカメラがステレオ対を生成するために使用される場合に、サブアパーチャ画像を関連付ける実施形態の例を示す。この例となる実施形態は、ライトフィールドカメラが多くのマイクロレンズ（及び比較的大きいサイズのセンサ面）を有しており、単一のライトフィールドカメラによって撮影されたサブアパーチャ画像からステレオ対を見つけるのに十分な異なったビューを含む多くのサブアパーチャ画像４００を生成する場合に、適用される。

代替の実施形態において、パラメータ解析ユニット３３は、左ビューについての必要とされるカメラパラメータ４１（Ｒｅｑ＿Ｒ_Ｌｔ_Ｌ）を、夫々のサブアパーチャ画像４００についての夫々の実際のカメラパラメータと比較することによって、図１１におけるＬ４（ｕ，ｖ）＝（２，１）が左ビューについてのベストマッチングのサブアパーチャ画像であると決定し得る。パラメータ解析ユニット３３はまた、右ビューについての必要とされるカメラパラメータ４２（Ｒｅｑ＿Ｒ_Ｒｔ_Ｒ）を、夫々のサブアパーチャ画像４００についての夫々の実際のカメラパラメータと比較することによって、図１１におけるＲ４（ｕ，ｖ）＝（２，５）が右ビューについてのベストマッチングのサブアパーチャ画像であると決定し得る。

（マッチング）結果に基づき、ビュー関連付けユニット３４は、左ビューについてのベストマッチングのサブアパーチャ画像Ｌ４及び右ビューについてのベストマッチングのサブアパーチャ画像Ｒ４に従って、残りのサブアパーチャ画像ＲＭ４を関連付ける。図１１に表されているように、対応を有さないサブアパーチャ画像が存在し得る（図１１におけるＮ４）。図１１において、関連付けられるサブアパーチャ画像は、同じ塗りつぶしタイプにより表されている。残りのサブアパーチャ画像ＲＭ４は、ベストマッチングのサブアパーチャ画像を除く全てのサブアパーチャ画像を指す。

図１２は、本開示の実施形態に従って、単一のライトフィールドカメラが使用される場合において、夫々のサブアパーチャ画像が２つの分類に分けられるところの分類技術の一例を示し、１つの分類は、左ビューについての残りのサブアパーチャ画像のそれであり、第２の分類は、右ビューについての残りのサブアパーチャ画像である。１つのライトフィールドカメラが使用されている場合において、夫々のサブアパーチャ画像４００は、（ｕ，ｖ）番目の残りのサブアパーチャ画像の実際のカメラパラメータ（Ａｃｔ＿Ｒ_{Ｒｒｅｍ，ｕｖ}ｔ_{Ｒｒｅｍ，ｕｖ}）と、左ビューについてのベストマッチングのサブアパーチャ画像Ｌ４の実際のカメラパラメータ（Ａｃｔ＿Ｒ_{Ｌｂｅｓｔ}ｔ_{Ｌｂｅｓｔ}）との間の距離、及び（ｕ，ｖ）番目の残りのサブアパーチャ画像の実際のカメラパラメータ（Ａｃｔ＿Ｒ_{Ｒｒｅｍ，ｕｖ}ｔ_{Ｒｒｅｍ，ｕｖ}）と、右ビューについてのベストマッチングのサブアパーチャ画像Ｒ４の実際のカメラパラメータ（Ａｃｔ＿Ｒ_{Ｒｂｅｓｔ}ｔ_{Ｒｂｅｓｔ}）との間の距離を考慮して、分類されるべきである。図１２において、左ビューについての残りのサブアパーチャ画像ＲＭ４１１に分類される残りのサブアパーチャ画像は、点模様により表され、一方、右ビューについての残りのサブアパーチャ画像ＲＭ４２１に分類される残りのサブアパーチャ画像は、縞模様により表される。図１２において、残りのサブアパーチャ画像（０，０）は、Ｄ_{Ｌｒｅｍ，００}＜Ｄ_{Ｒｒｅｍ，００}を考慮して、左ビューについてのサブアパーチャ画像ＲＭ４１１に分類され得、一方、残りのサブアパーチャ画像（０，４）は、Ｄ_{Ｌｒｅｍ，０４}＞Ｄ_{Ｒｒｅｍ，０４}を考慮して、右ビューについてのサブアパーチャ画像ＲＭ４２１に分類され得る。

図１３は、本開示の実施形態に従って、単一のライトフィールドカメラを用いて夫々のサブアパーチャ画像を左ビューについての残りのサブアパーチャ画像又は右ビューについての残りのサブアパーチャ画像に分類するフローチャート説明図を示す。

ステップＳ１１１で、（ｕ，ｖ）番目の残りのサブアパーチャ画像について、ビュー関連付けユニット３４は、（ｕ，ｖ）番目の残りのサブアパーチャ画像の実際のカメラパラメータＡｃｔ＿Ｒ_{Ｒｒｅｍ，ｕｖ}ｔ_{Ｒｒｅｍ，ｕｖ}と、左ビューについての前述のベストマッチングのサブアパーチャ画像Ｌ４の実際のカメラパラメータＡｃｔ＿Ｒ_{Ｌｂｅｓｔ}ｔ_{Ｌｂｅｓｔ}との間の伝達行列を表す伝達行列Ｄ_{Ｌｒｅｍ，ｕｖ}を計算する。

ステップＳ１１２で、（ｕ，ｖ）番目の残りのサブアパーチャ画像について、ビュー関連付けユニット３４は、（ｕ，ｖ）番目の残りのサブアパーチャ画像の実際のカメラパラメータＡｃｔ＿Ｒ_{Ｒｒｅｍ，ｕｖ}ｔ_{Ｒｒｅｍ，ｕｖ}と、右ビューについての前述のベストマッチングのサブアパーチャ画像Ｒ４の実際のカメラパラメータＡｃｔ＿Ｒ_{Ｒｂｅｓｔ}ｔ_{Ｒｂｅｓｔ}との間の伝達行列を表す伝達行列Ｄ_{Ｒｒｅｍ，ｕｖ}を計算する。

ステップＳ１１３で、ビュー関連付けユニット３４は、（ｕ，ｖ）番目の残りのサブアパーチャ画像のＤ_{Ｌｒｅｍ，ｕｖ}及びＤ_{Ｒｒｅｍ，ｕｖ}を比較し、次いで、（ｕ，ｖ）番目の残りのサブアパーチャ画像が左ビュー４１１についての残りのサブアパーチャ画像又は右ビュー４２１についての残りのサブアパーチャ画像のいずれかに属することを決定する。例えば、Ｄ_{Ｌｒｅｍ，ｕｖ}＜Ｄ_{Ｒｒｅｍ，ｕｖ}と決定される場合に、この（ｕ，ｖ）番目の残りのサブアパーチャ画像は、左ビューについての残りのサブアパーチャ画像ＲＭ４１１に属すると決定される。Ｄ_{Ｌｒｅｍ，ｕｖ}＝Ｄ_{Ｒｒｅｍ，ｕｖ}と決定される場合に、この（ｕ，ｖ）番目の残りのサブアパーチャ画像は、対応なしと登録され得る。

例えば、場合Ｄ_Ｌｒｅｍ＜Ｄ_Ｒｒｅｍは、ｅが３次元のテストベクトルであって、例えばｅ^Ｔ＝（１ １ １）であるとして、｜Ｒ_{ＬＤｒｅｍ}ｅ＋ｔ_{ＬＤｒｅｍ}｜＜｜Ｒ_{ＲＤｒｅｍ}ｅ＋ｔ_{ＲＤｒｅｍ}｜を検証することによって、確認され得る。他の例において、場合Ｄ_Ｌｒｅｍ＜Ｄ_Ｒｒｅｍは、｜Ｒ_{ＬＤｒｅｍ}｜＜｜Ｒ_{ＲＤｒｅｍ}｜∧｜ｔ_{ＬＤｒｅｍ}｜＜｜ｔ_{ＲＤｒｅｍ}｜を検証することによって、確認され得る。この後者の例において、場合は、Ｄ_Ｌｒｅｍ＜Ｄ_ＲｒｅｍもＤ_Ｌｒｅｍ＜Ｄ_Ｒｒｅｍも真でない場合に起こり得る。それらのサブアパーチャ画像は、更なる処理のために使用されない。

ステップＳ１１４で、ビュー関連付けユニット３４は、全てのサブアパーチャ画像が分類されているかどうかを判定する。これが分類されるべき最後のサブアパーチャ画像でない場合には、プロセスはステップＳ１１１に戻り、そうでない場合には、プロセスは終了する。

全ての残りのサブアパーチャ画像を左ビューについての又は右ビューについてのサブアパーチャ画像に分類した後、前述のステップＳ１１からステップＳ１８は関連付けのために実施され得る。それらは、単に、例となるフローチャートである。計算及びプロセスフローの順序は、この例に制限される必要はない。

本開示の実施形態に従って、夫々のサブアパーチャ画像の夫々の実際のパラメータは、左ビュー又は右ビューについての必要とされるカメラパラメータと比較される。左ビュー又は右ビューについての必要とされるカメラパラメータは、立体画像対のための理論上の理想的なカメラパラメータである。本開示に従って、サブアパーチャ画像は、夫々のサブアパーチャ画像の実際のパラメータと左又は右ビューについての必要とされるカメラパラメータとの間の関係を考慮して、互いに関連付けられ得る。

当然、本開示は、前述の実施形態に制限されない。

特に、本開示は、ライトフィールドカメラに制限されず、ライトフィールドカメラの制御及び／又は較正の方法、並びに制御／較正方法を実装するハードウェア回路にも及ぶ。

当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマット化された様々な信号を生じさせ得る。情報は、例えば、方法を実施するための命令、又は記載される実施のうちの１つによって生成されたデータを含んでよい。例えば、信号は、記載される実施形態のシンタックスを読み出す又は書き込むための規則をデータとして運ぶよう、あるいは、記載される実施形態によって書き込まれる実際のシンタックス値をデータとして運ぶようフォーマット化され得る。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用する。）、あるいは、ベースバンド信号としてフォーマット化され得る。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタル情報であってよい。信号は、知られているように、多種多様な有線又は無線リンクを介して送信され得る。信号は、プロセッサ読み出し可能な媒体に記憶され得る。

多数の実施が記載されてきた。それでもなお、様々な変更が行われ得ることが理解されるだろう。例えば、異なる実施の要素は、他の実施をもたらすよう結合、補完、変更、又は削除され得る。その上、当業者は、他の構造及びプロセスが、開示されているものに代用されてよく、結果として現れる実施が、開示されている実施と少なくとも実質的に同じ結果を実現するよう、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を実行することを理解するだろう。然るに、それら及び他の実施は、本願によって考えられている。

以上より、前述の説明は、本開示の原理を説明し、よって、当業者は、たとえ本明細書中で明示的に記載されていなくても、本開示の原理を具現化し且つその主旨及び適用範囲の中にある多数の代替の配置を思い付くことができると認識されるだろう。従って、多数の変更は、実例となる実施形態に対して行われ、他の配置は、本開示の適用範囲から逸脱することなしに想到され得ることが理解されるべきである。

１，１Ｌ，１Ｒ ライトフィールドカメラ
２ オブジェクト
５ デバイス
１０ プライマリレンズ
１１ レンズレットアレイ
１３ 画像センサアレイ
３１ サブアパーチャ画像生成ユニット
３２ パラメータ推定ユニット
３３ パラメータ解析ユニット
３４ ビュー関連付けユニット
４１，４２ 必要とされるカメラパラメータ
５１ プロセッサ
５２ 不揮発性メモリ（ＲＯＭ）
５３ ＲＡＭ
５５ インターフェイス
５６ ラジオインターフェイス
５８ ＭＭＩ
４００ サブアパーチャ画像
４１１ 左ビュー
４２１ 右ビュー

Claims (13)

1. 少なくとも１つのライトフィールドカメラにより一対の立体画像を生成する方法であって、
   左ビュー及び右ビューについての夫々の必要とされるカメラパラメータを受け取り、該必要とされるカメラパラメータは、理論上のステレオ画像対を定義し、
   前記ライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータを取得し、
   前記左ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、前記右ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記右ビューについてのベストマッチングのサブアパーチャ画像を決定し、
   前記左ビューについてのベストマッチングのサブアパーチャ画像及び前記右ビューについてのベストマッチングのサブアパーチャ画像を立体画像の対として関連付ける
   ことを有する方法。
2. 前記サブアパーチャ画像についての前記実際のカメラパラメータは、
   前記ライトフィールドカメラによって捕捉された前記画像におけるシーン内のオブジェクトの画像を受け取り、該オブジェクトの夫々の特徴点のシーンワールド座標を取得し、
   前記オブジェクトの前記受け取られた画像から複数のサブアパーチャ画像を生成し、
   前記オブジェクトの夫々の特徴点の前記シーンワールド座標と、夫々の特徴点の前記シーンワールド座標に対応する前記サブアパーチャ画像内のピクセル座標とに基づき、前記実際のカメラパラメータを推定する
   ことによって推定される、
   請求項１に記載の方法。
3. 前記実際のカメラパラメータ及び前記必要とされるカメラパラメータは、回転行列Ｒ及び並進ベクトルｔを夫々有する、
   請求項１に記載の方法。
4. 前記左ビューについての決定されたベストマッチングのサブアパーチャ画像の実際のカメラパラメータは、前記左ビューについての必要とされるカメラパラメータに対して最も近い値を有し、前記右ビューについての決定されたベストマッチングのサブアパーチャ画像の実際のカメラパラメータは、前記右ビューについての必要とされるカメラパラメータに対して最も近い値を有する、
   請求項１に記載の方法。
5. 前記ライトフィールドカメラは、左ビューのためのライトフィールドカメラ及び右ビューのためのライトフィールドカメラを含み、
   前記決定することは、
   前記左ビューについての必要とされるカメラパラメータを、前記左ビューのためのライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータと比較することによって、前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、
   前記右ビューについての必要とされるカメラパラメータを、前記右ビューのためのライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータと比較することによって、前記右ビューについてのベストマッチングのサブアパーチャ画像を決定する
   ことを更に含む、
   請求項１に記載の方法。
6. 前記関連付けることは、
   前記左ビューについてのベストマッチングのサブアパーチャ画像以外のサブアパーチャ画像である前記左ビューについての残りのサブアパーチャ画像の実際のカメラパラメータを前記左ビューについてのベストマッチングのサブアパーチャ画像の実際のカメラパラメータに移すことができる伝達行列Ｄ_Ｌｒｅｍを計算し、該伝達行列Ｄ_Ｌｒｅｍは、左ビューについての夫々のサブアパーチャ画像について計算され、
   前記右ビューについてのベストマッチングのサブアパーチャ画像以外のサブアパーチャ画像である前記右ビューについての残りのサブアパーチャ画像の実際のカメラパラメータを前記右ビューについてのベストマッチングのサブアパーチャ画像の実際のカメラパラメータに移すことができる伝達行列Ｄ_Ｒｒｅｍを計算し、該伝達行列Ｄ_Ｒｒｅｍは、右ビューについての夫々のサブアパーチャ画像について計算され、
   前記左ビューについての残りのサブアパーチャ画像を、前記Ｄ_Ｒｒｅｍが前記Ｄ_Ｌｒｅｍに対して最も近い値を有するところの前記右ビューについての残りのサブアパーチャ画像と関連付ける
   ことを更に有する、
   請求項４に記載の方法。
7. 前記ベストマッチングのサブアパーチャ画像以外である残りのサブアパーチャ画像を、左ビューについての残りのサブアパーチャ画像又は右ビューについての残りのサブアパーチャ画像のいずれかに分類することを更に有し、
   前記分類することは、
   前記残りのサブアパーチャ画像の実際のカメラパラメータを前記左ビューについてのベストマッチングのサブアパーチャ画像の実際のカメラパラメータに移すことができるＤ_Ｌｒｅｍを計算し、
   前記残りのサブアパーチャ画像の実際のカメラパラメータを前記右ビューについてのベストマッチングのサブアパーチャ画像の実際のカメラパラメータに移すことができるＤ_Ｒｒｅｍを計算し、
   前記Ｄ_Ｌｒｅｍ及び前記Ｄ_Ｒｒｅｍを比較し、前記残りのサブアパーチャ画像を、前記Ｄ_Ｌｒｅｍが前記Ｄ_Ｒｒｅｍよりも小さい場合には、前記左ビューについての残りのサブアパーチャ画像に分類し、前記Ｄ_Ｌｒｅｍが前記Ｄ_Ｒｒｅｍよりも小さくない場合には、前記右ビューについての残りのサブアパーチャ画像に分類する
   ことを有する、
   請求項１に記載の方法。
8. 前記Ｄ_Ｌｒｅｍ及び前記Ｄ_Ｒｒｅｍを比較し、前記Ｄ_Ｌｒｅｍが前記Ｄ_Ｒｒｅｍに等しい場合には、前記左ビューについての残りのサブアパーチャ画像にも、前記右ビューについての残りのサブアパーチャ画像にも分類しないことを更に有する
   請求項７に記載の方法。
9. 前記左ビューについての残りのサブアパーチャ画像に分類された前記残りのサブアパーチャ画像を、前記Ｄ_Ｒｒｅｍが、前記左ビューについての残りのサブアパーチャ画像に分類された前記残りのサブアパーチャ画像の前記Ｄ_Ｌｒｅｍに対して最も近い値を有するところの、前記右ビューについての残りのサブアパーチャ画像に分類された前記残りのサブアパーチャ画像と関連付けることを更に有する
   請求項７に記載の方法。
10. 一対の立体画像を生成するデバイスであって、
    プロセッサを有し、該プロセッサは、
    左ビュー及び右ビューについての夫々の必要とされるカメラパラメータを受け取り、該必要とされるカメラパラメータは、理論上のステレオ画像対を定義し、
    ライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータを取得し、
    前記左ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、前記右ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記右ビューについてのベストマッチングのサブアパーチャ画像を決定し、
    前記左ビューについてのベストマッチングのサブアパーチャ画像及び前記右ビューについてのベストマッチングのサブアパーチャ画像を立体画像の対として関連付ける
    よう構成される、デバイス。
11. 前記サブアパーチャ画像についての前記実際のカメラパラメータは、
    前記ライトフィールドカメラによって捕捉されたシーン内のオブジェクトの画像を受け取り、該オブジェクトの夫々の特徴点のシーンワールド座標を取得し、
    前記オブジェクトの前記受け取られた画像から複数のサブアパーチャ画像を生成し、
    前記オブジェクトの夫々の特徴点の前記シーンワールド座標と、夫々の特徴点の前記シーンワールド座標に対応する前記サブアパーチャ画像内のピクセル座標とに基づき、前記実際のカメラパラメータを推定する
    ことによって推定される、
    請求項１０に記載のデバイス。
12. コンピュータによって読み出し可能な及び／又はプロセッサによって実行可能な媒体に記録され且つ／あるいは通信ネットワークからダウンロードされるコンピュータプログラムであって、
    請求項１乃至９のうちいずれか一項に記載の方法を実施するプログラムコード命令を有する
    コンピュータプログラム。
13. 請求項１乃至９のうちいずれか一項に記載の方法を実施するプログラムコード命令を含む、プロセッサによって実行されることが可能なコンピュータプログラムが記録されている非一時的なコンピュータ可読媒体。