JP6655379B2 - 焦点スタックから適応スライス画像を生成する方法および装置 - Google Patents

Description

本開示は、概ね、画像の焦点スタックから適応スライス画像を生成する方法および装置に関する。

プレノプティック・カメラは、主レンズとセンサとの間にマイクロレンズ・アレイを配置することによって、センサを横切る各光束に沿って進行する光の量を測定することができる。光照射野（ライトフィールド）を後処理して、１つのシーンの異なる視点からの複数の画像を再構築することができる。光照射野画像を使用して、異なる奥行きを有する複数の画像を含む焦点スタックを生成することができる。その結果として、ユーザは、画像の焦点を変化させることができる。従来のカメラと比較すると、プレノプティック・カメラは、後処理による上記の異なる視点および奥行きからのシーンの複数の画像の再構築を実現するための追加の光学情報構成要素を得ることができる。

Ｌｙｔｒｏ社から入手可能なＬｙｔｒｏライトフィールド・カメラなどのプレノプティック・タイプ１では、マイクロレンズのアレイは、センサの前に配置される。マイクロレンズ・アレイの全てのマイクロレンズは、同じ焦点距離を有し、マイクロレンズ・アレイは、センサから焦点距離１つ分離れたところに配置される。この構成により、最大の角度分解能と、低い空間分解能とを得ることができる。

（例えばプレノプティック・カメラまたはカメラ・アレイによって取得した、あるいはコンピュータ生成画像（ＣＧＩ）でシミュレートした）ライトフィールド画像またはビデオのデータセットを再編成して、その焦点面の近傍のレンズによって生成されるライトフィールドと同様のフロント・レンズの焦点面の近傍の光データ・ボリュームを形成する。このような焦点スタックを、図１に概略的に示す。

カメラを用いた従来の合焦は、焦点スタック内の画像のうちの１つを選択することによってシミュレートされ、これは、カメラの主光学軸に対して直交する方向に焦点面を移動させることに対応する。これに対して、ライトフィールド・カメラでは、異なる視点および異なる焦点からのピクチャを探索することができる。従って、ライトフィールド・カメラのユーザは、通常とは異なる方法で合焦を制御することができ、例えば、図１に示すように、焦点スタックを横切る交差平面を定義して、焦点スタック内のスライス画像を抽出することができる。そのようなスライス画像は、交差平面に沿った「全焦点」画像を提供することができる。

非特許文献１は、ライトフィールド画像を使用して焦点スタックを生成することができることに言及しており、プレノプティック・カメラから全焦点画像を生成することを提案している。

ただし、被写体が焦点スタックの焦点面上に位置するときには、交差平面が図２に示すように被写体を横切る場合には、被写体の左端の前面は、距離ｄ１だけ交差平面より後方にあり、被写体の右端の前面は、距離ｄ２だけ交差平面より前方にある。焦点面上の被写体と交差平面との間のこれらの距離により、スライス画像の再合焦プロセスが行われた後でスライス画像上に合焦した画像では、被写体の両端がぼやけることになる。

Ｊ.Ｐ.Ｌｕｋｅ他、「Ｎｅａｒ Ｒｅａｌ−Ｔｉｍｅ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｓｕｐｅｒ−Ｒｅｓｏｌｖｅｄ Ｄｅｐｔｈ ａｎｄ Ａｌｌ−ｉｎ−Ｆｏｃｕｓ Ｉｍａｇｅｓ ｆｒｏｍ ａ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ Ｕｓｉｎｇ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ Ｖｏｌｕｍｅ ２０１０ Ｗｉｋｉｐｅｄｉａ、「Ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ」のページ Ｎ.Ｓａｂａｔｅｒ他、「Ａｃｃｕｒａｔｅ Ｄｉｓｐａｒｉｔｙ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｐｌｅｎｏｐｔｉｃ Ｉｍａｇｅｓ」、ＩＣＣＰ ２０１４ Ｎａｔｈａｎ Ｓｉｌｂｅｒｍａｎ他、「Ｉｎｄｏｏｒ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｓｕｐｐｏｒｔ Ｉｎｆｅｒｅｎｃｅ ｆｒｏｍ ＲＧＢＤ Ｉｍａｇｅｓ」、ＥＣＣＶ−１２

本開示の一態様によれば、再合焦画像の焦点スタックから、この焦点スタックから導出した全焦点画像を使用して適応スライス画像を生成する装置は、焦点スタック中においてスライス画像を選択し、適応スライス画像中に合焦させる、全焦点画像中の少なくとも１つの被写体を選択し、全焦点画像中の選択した少なくとも１つの被写体を選択したスライス画像に合成することによって適応スライス画像を生成するように構成されたプロセッサを有することができる。

本開示の別の態様によれば、再合焦画像の焦点スタックから、被写体が合焦して見えるこの焦点スタックから導出した全焦点画像を使用して適応スライス画像を生成する方法は、焦点スタック中においてスライス画像を選択することと、適応スライス画像中に合焦させる、全焦点画像中の少なくとも１つの被写体を選択することと、全焦点画像中の選択した少なくとも１つの被写体を選択したスライス画像に合成することによって適応スライス画像を生成することとを含むことができる。

本開示の別の態様によれば、通信ネットワークからダウンロード可能であり、コンピュータによって可読な媒体に記録され、かつ／またはプロセッサによって実行可能なコンピュータ・プログラム製品は、本開示による方法を実施するプログラム・コード命令を含むことができる。

本開示のさらに別の態様によれば、非一時的なコンピュータ可読媒体は、本開示による方法を実施するプログラム・コード命令を含む、その媒体に記録されてプロセッサによって実行することができるコンピュータ・プログラム製品を含むことができる。

本開示の目的および利点は、特許請求の範囲に特に指摘する要素およびその組合せによって実現および達成される。

以上の大まかな説明および以下の詳細な説明は、ともに例示および説明のためのものであり、請求する本発明を制限するものではないことを理解されたい。

焦点スタック内のスライス画像の一例を示す図である。 焦点スタック内の焦点面上に位置する被写体と、被写体を横切るスライス画像とを示す図である。 プレノプティック・カメラおよびマルチアレイ・カメラの例を示す図である。 画像センサの感知表面上に配置されたセンサ領域の一例を概略的に示す平面図である。 理想的な完璧な薄肉レンズ・モデルを含む概略的なライトフィールド・カメラを示す図である。 本開示の実施形態による焦点スタックから適応スライス画像を生成する装置の一例を示す概略ブロック図である。 本開示の実施形態による焦点スタックから適応スライス画像を得るプロセスを説明するためのフローチャートである。 本開示の実施形態による焦点スタックから生成された適応スライス画像の一例を示す図である。

本開示の実施形態について、添付の図面を参照して説明する。

以下、本開示による各実施形態における焦点スタックから適応スライス画像を得る方法、装置、およびコンピュータ可読記憶媒体について説明する。

１）ライトフィールド・カメラ
図３は、プレノプティック・カメラおよびマルチアレイ・カメラの例を示す図である。ライトフィールド・カメラは、４Ｄライトフィールド・データを記録することができる。例えば、４Ｄライトフィールド・カメラは、主レンズ３０５と、マイクロレンズ・アレイ３１０と、画像センサ３１５とを備えるプレノプティック・カメラ３００（図３（ａ））、またはレンズ・アレイ３５５と、単一の画像センサ３６０とを備えるマルチアレイ・カメラ３５０（図３（ｂ））とすることができる。

図３（ａ）に示すプレノプティック・カメラ３００の例では、主レンズ３０５は、主レンズ３０５の被写体視野内の被写体（図示せず）からの光を受光し、この光を主レンズ３０５の画像フィールドを通過させる。マイクロレンズ・アレイ３１０は、２次元アレイ状に配列された複数のマイクロレンズ３１５を含む。

図４は、画像センサの感知表面上に配列されるセンサ領域の一例を概略的に示す平面図である。図４に示すように、画像センサ４００は、２次元アレイ状に配列された複数のピクセル４０５を含み、マイクロレンズ・アレイ４１０を通して被写体からの光を受光する。マイクロレンズ・アレイ４１０の各マイクロレンズ４１１は、この光を画像センサ４００上の円形領域４１５に向けるレンズ特性を有する。円形領域４１５の外側輪郭は、画像センサ４００上に形成されて取り込まれるマイクロレンズ画像の形状を表すことができ、この形状は、マイクロレンズ４１１の形状によって決まる。画像センサ４００上の全てのピクセル４０５のうちで、円形領域４１５の実質的に内側に位置するピクセル４０５のみが、撮像に寄与する。換言すれば、撮像に寄与する各ピクセル４０５のピクセル領域（または感知領域）は、円形領域４１５の実質的に内側に位置する。

ライトフィールド・カメラの画像センサ４００は、２Ｄ画像内に配列された２Ｄマイクロレンズ画像の集合を含む画像を記録する。マイクロレンズ・アレイ４１０の各マイクロレンズ４１１は、円形領域４１５で表されるマイクロレンズ画像を形成する。センサ４００上のピクセル４０５の座標は、図４に示すように、画像センサ４００の表面上のｘ−ｙ座標系内の（ｘ，ｙ）で示される。図４に示す距離ｐは、２つの連続するマイクロレンズ画像の間の距離である。マイクロレンズ４１１は、距離ｐがピクセル４０５のサイズより大きくなるように選択される。図４に示す距離ｗは、２つの連続するマイクロレンズ画像の間のずれ距離である。マイクロレンズ画像は、図４に示すように、画像センサ４００の表面上のｉ−ｊ座標系内のそれぞれの座標（ｉ，ｊ）で参照される。

上述のように、円形領域４１５の実質的に内側に位置するピクセル４０５のみが、マイクロレンズ４１１を通して光を受光する。マイクロレンズ間の空間を遮蔽して、光子（フォトン）がマイクロレンズ４１１の外側を通過するのを防止することができる（マイクロレンズ４１１が正方形で、マイクロレンズ間の空間が形成されない場合には、このような遮蔽は不要である）。

マイクロレンズ画像（ｉ，ｊ）の中心は、画像センサ４００上の座標（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）に位置する。図４中のθは、ピクセル４０５の正方格子とマイクロレンズ４１１の正方格子の間の角度を表す。座標（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）は、マイクロレンズ画像（０，０）のピクセル座標である（ｘ_０，０，ｙ_０，０）を考慮した以下の数式（１）によって演繹することができる。

距離ｐおよびｗは、ピクセルの単位で与えられる。これらの距離は、ピクセル・サイズδを乗算することによって、物理的な距離単位（メートル）ＰおよびＷにそれぞれ変換される。すなわち、Ｗ＝δｗ、Ｐ＝δｐである。これらの距離は、ライトフィールド・カメラの特徴によって決まる。

２）ライトフィールド・カメラの光学特性
ここで、ライトフィールド・カメラの例示的な光学特性について、理想的な完璧な薄肉レンズ・モデルを含む概略的なライトフィールド・カメラを示す図５を参照して説明する。

主レンズは、焦点距離Ｆおよび口径Φを有する。マイクロレンズ・アレイは、焦点距離ｆを有するマイクロレンズを含む。マイクロレンズ・アレイのピッチは、φである。マイクロレンズ・アレイは、主レンズから距離Ｄであり、且つセンサから距離ｄのところに位置する。被写体（図示せず）は、主レンズから距離ｚのところに位置する。この被写体は、主レンズによって、主レンズから距離ｚ’のところに合焦される。図５は、Ｄ＞ｚ’である場合を示している。この場合には、マイクロレンズ画像は、ｄおよびｆに応じてセンサ上に合焦することができる。

ずれＷは、被写体（図示せず）と主レンズとの間の距離ｚとともに変化する。Ｗとｚとの間の関係を確立するためには、薄肉レンズの数式（２）、およびタレスの法則の数式（３）に依拠することができる。

次いで、数式（２）と（３）を混合することにより、以下の数式（４）を演繹する。

Ｗとｚとの間の関係では、マイクロレンズ画像が合焦していることを前提とはしていない。マイクロレンズ画像は、以下の薄肉レンズの数式によれば、厳密に合焦している。

３）画像の再合焦
ライトフィールド・カメラの重要な特性は、画像の撮影後に再合焦距離が自由に調節可能である場合に、２Ｄ再合焦画像を計算することができることである。単にマイクロレンズ画像をシフトおよびズームし、その後それらを合計して２Ｄ画像にすることによって、サイズ［Ｎ_ｘ，Ｎ_ｙ］を有する４Ｄライトフィールド画像Ｌが、２Ｄ画像に投影される。マイクロレンズ画像のシフトの量によって、再合焦距離を制御する。４Ｄライトフィールド・ピクセルＬ（ｘ，ｙ，ｉ，ｊ）の再合焦２Ｄ画像座標（Ｘ，Ｙ）への投影は、以下の数式によって定義される。

ここで、ｓは、２Ｄ再合焦画像のサイズを調節し、ｇは、再合焦画像の合焦距離を調節する。この数式（６）は、数式（１）を考慮することによって、数式（７）に書き換えることができる。

パラメータｇは、数式（８）のようにｐおよびｗの関数として表現することができる。パラメータｇは、同じ被写体の様々なズーム・ビューが重なり合うように、マイクロレンズ画像のそれぞれの中心を基準として使用して、マイクロレンズ画像上で実行されるべきズームを表す。

数式（７）は、以下のようになる。

４Ｄライトフィールド・ピクセル（ｘ，ｙ，ｉ，ｊ）は、２Ｄ再合焦画像に投影される。事前に、再合焦画像Ｒおよび再合焦画像重みＲ_{ｗｅｉｇｈｔ}を０に設定する。再合焦画像のサイズ［Ｎ_Ｘ，Ｎ_Ｙ］は、４Ｄライトフィールド画像のサイズのｓ倍に設定される（［Ｎ_Ｘ，Ｎ_Ｙ］＝［ｓＮ_ｘ，ｓＮ_ｙ］）。この投影は、座標（Ｘ，Ｙ）の投影ピクセルを合計して再合焦画像にすることによって実行される。投影された４Ｄライトフィールド・ピクセルのそれぞれについて、ピクセル座標（Ｘ，Ｙ）で１を追加することによって再合焦画像重みを更新する。
Ｒ（Ｘ，Ｙ）＋＝Ｌ（ｘ，ｙ，ｉ，ｊ）
Ｗ（Ｘ，Ｙ）＋＝１ （１０）

再合焦画像重みは、座標（Ｘ，Ｙ）について、これまでにいくつの４Ｄライトフィールド・ピクセルが投影されたかを表している。Ｌの全ての４Ｄライトフィールド・ピクセルを投影した後で、再合焦画像Ｒを、再合焦画像重みＲ_{ｗｅｉｇｈｔ}で割る。この最後のステップで、座標（Ｘ，Ｙ）について受け取ったピクセルの数を調和させる。

投影座標（Ｘ，Ｙ）は、必ずしも整数座標であるとは限らないので、必要に応じて補間技術を使用して、非整数のピクセル座標（Ｘ，Ｙ）を再合焦画像Ｒおよび再合焦画像重みＲ_{ｗｅｉｇｈｔ}のグリッドにマッピングすることができる。補間技術は、一般的に使用されており、例示的な説明は、例えば非特許文献２に見ることができる。従って、本明細書では、補間技術についての詳細な説明は省略する。

４）焦点スタック（ｆｏｃａｌ ｓｔａｃｋ）
焦点スタックは、画像の立方体を定義するＮ個の再合焦画像Ｒ_ｎ（ｎ∈［１，Ｎ］）の集合である。ここで、Ｎは、ユーザが選択する画像の数である。Ｎ個の再合焦画像を、数式（４）および（８）によって定義されるｚ_ｍｉｎとｚ_ｍａｘの間の合焦距離の範囲に対応するｇ_ｍｉｎからｇ_ｍａｘの間で線形に変化するｇについて計算する。別の選択肢は、数式（４）によって定義されるｚ_ｍｉｎとｚ_ｍａｘの間の合焦距離の範囲に対応するｗ_ｍｉｎからｗ_ｍａｘの間で線形に変化するｗを用いて焦点スタックを計算するものである。ｇまたはｗのｍｉｎおよびｍａｘの境界は、ｚ_ｍｉｎおよびｚ_ｍａｘの範囲内の合焦距離で再合焦画像を包含するようにユーザによって定義される。

本実施形態で説明する焦点スタックの計算は、４Ｄライトフィールドがレンズ・アレイと必要に応じて主レンズとを備える単一の画像センサによって記録されることを前提としている。ただし、焦点スタックの計算は、このようなタイプのライトフィールド・カメラによって記録される４Ｄライトフィールドに限定されるわけではなく、従って、任意のタイプのライトフィールド・カメラで記録される４Ｄライトフィールドに基づいて、再合焦画像の焦点スタックを計算することができることに留意されたい。

５）奥行きマップの推定
焦点スタックを使用して、画像中で観察されている被写体の距離を推定することができる。奥行きマップ画像Ｚは、再合焦画像Ｒ_ｎのサイズを有する。奥行きマップ画像Ｚは、焦点スタックを用いて、再合焦画像Ｒ_ｎ（Ｘ，Ｙ）のピクセル（ｘ，ｙ）の鮮鋭度を、直前の再合焦画像Ｒ_ｎ−１および次の再合焦画像Ｒ_ｎ＋１と比較することによって推定される。例えば、ピクセルＲ_ｎ（Ｘ，Ｙ）が直前の再合焦画像Ｒ_ｎ−１および次の再合焦画像Ｒ_ｎ＋１より鮮鋭である場合には、奥行きマップ画像は、再合焦画像Ｒ_ｎ（Ｘ，Ｙ）のピクセル（ｘ，ｙ）に基づいて、Ｚ（Ｘ，Ｙ）＝ｎによって実現される。奥行きマップは、（Ｎ_Ｘ，Ｎ_Ｙ）に属する全てのピクセル（Ｘ，Ｙ）について推定される。

ピクセルＲ_ｎ（Ｘ，Ｙ）の鮮鋭度Ｓ_ｎ（Ｘ，Ｙ）は、例えば、Ｒ_ｎ（Ｘ，Ｙ）の周りのピクセルについて高周波数でのエネルギーの量を計算することによって推定される。鮮鋭度Ｓ_ｎ（Ｘ，Ｙ）は、以下のように表現することができる。
Ｓ_ｎ（Ｘ，Ｙ）＝（−Ｒ_ｎ（Ｘ−１，Ｙ）−Ｒ_ｎ（Ｘ＋１，Ｙ）−Ｒ_ｎ（Ｘ，Ｙ−１）−Ｒ_ｎ（Ｘ，Ｙ＋１）＋４Ｒ_ｎ（Ｘ，Ｙ））^２ （１１）

６）全焦点画像（ａｌｌ−ｉｎ−ｆｏｃｕｓ ｉｍａｇｅ）
全焦点画像Ｒ_ａｌｌは、奥行きマップ画像Ｚによって得ることができる。全焦点画像Ｒ_ａｌｌは、全ての被写体が合焦して見える再合焦画像に対応する。全焦点画像Ｒａｌｌは、所与のピクセル位置（ｘ，ｙ）で奥行きマップ画像Ｚによって与えられる指標を考慮することにより、焦点スタック内のピクセルを集めることによって得られる。すなわち、Ｒ_ａｌｌ（Ｘ，Ｙ）＝Ｒ_{Ｚ（Ｘ，Ｙ）}（Ｘ，Ｙ）である。

７）スライス画像
再合焦する２Ｄスライス画像Ｒ_{ｓｌｉｃｅ}は、焦点スタック内の少なくとも２つの画像を横切る交差平面を定義することによって得ることができる。スライス画像の座標は、焦点スタックの座標系内のその法線によって指定され、その法線は、再合焦スライス画像Ｒ_{ｓｌｉｃｅ}を選択するためにユーザによって与えられる。

８）スライス画像および全焦点画像からの、合焦させる（１つまたは複数の）被写体の選択
本開示の実施形態によれば、再合焦適応スライス画像を得る手法がユーザに提供される。この再合焦画像は、装置のディスプレイのグラフィカル・ユーザ・インタフェース（ＧＵＩ）を使用して、全焦点画像Ｒ_ａｌｌから少なくとも１つの合焦させる被写体を選択することによって作成される。

図６は、本開示の実施形態による、焦点スタックから適応スライス画像を生成する装置の一例を示す概略ブロック図である。

図６に示す装置６０は、プロセッサ６１と、記憶ユニット６２と、入力デバイス６３と、ディスプレイ・デバイス６４と、インタフェース・ユニット６５とを含み、これらの構成要素は、バス６６で接続されている。もちろん、コンピュータ装置６０の構成要素は、バス６６を使用するバス接続以外の接続で接続されていてもよい。

プロセッサ６１は、装置６０の動作を制御する。記憶ユニット６２は、プロセッサ６１によって実行される少なくとも１つのプログラム、ならびにライトフィールド・カメラによって取り込まれて提供される４Ｄライトフィールド画像のデータ、プロセッサ６１によって実行される計算で使用されるパラメータ、およびプロセッサ６１によって実行される計算の中間データなどを含む様々なデータを記憶する。プロセッサ６１は、任意の既知の適当なハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組合せによって構成することができる。例えば、プロセッサ６１は、処理回路などの専用ハードウェアによって、またはそのメモリに記憶されたプログラムを実行するＣＰＵ（中央処理装置）などのプログラマブル処理ユニットによって構成することができる。

記憶ユニット６２は、プログラムまたはデータなどをコンピュータ可読的に記憶することができる任意の適当な記憶装置または手段によって構成することができる。記憶ユニット６２の例としては、半導体メモリ・デバイス、ならびに読取りおよび書込みユニットにロードされる磁気的、光学的または光磁気的な記録媒体など、非一時的なコンピュータ可読記憶媒体が挙げられる。プログラムによって、プロセッサ６１は、図７を参照して後述する本開示の実施形態による焦点スタックから適応スライス画像を得るプロセスを実行する。

入力デバイス６３は、ユーザがコマンドを入力し、画像内の合焦させる部分をユーザが選択するために使用する、キーボード、またはマウスなどのポインティング・デバイスなどによって構成することができる。出力デバイス６４は、例えばグラフィカル・ユーザ・インタフェース（ＧＵＩ）、焦点スタックの画像、スライス画像、および奥行きマップ画像を表示するディスプレイ・デバイスによって構成することができる。入力デバイス６３と出力デバイス６４は、例えばタッチスクリーン・パネルによって一体的に構成することもできる。

インタフェース・ユニット６５は、装置６０と外部装置との間のインタフェースとなる。インタフェース・ユニット６５は、ケーブルまたは無線通信を介して外部装置と通信可能であることもある。本実施形態では、外部装置は、ライトフィールド・カメラとすることができる。この場合には、ライトフィールド・カメラによって取り込まれた４Ｄライトフィールド画像のデータを、ライトフィールド・カメラからインタフェース・ユニット６５を介して装置６０に入力し、次いで記憶ユニット６２に記憶することができる。

本実施形態では、一例として、装置６０がライトフィールド・カメラから分離しており、両者がケーブルまたは無線通信を介して互いに通信可能であるものとして説明しているが、装置６０は、このようなライトフィールド・カメラと一体化することもできることに留意されたい。

図７は、本開示の実施形態による焦点スタックから適応スライス画像を生成するプロセスを説明するフローチャートである。

図７に示すステップＳ７０５で、ユーザは、ライトフィールド・カメラを用いてシーンの４Ｄライトフィールド画像を取り込む。取り込まれた４Ｄライトフィールド画像のデータは、インタフェース・ユニット６５を介してライトフィールド・カメラから装置６０（図６）に転送され、この装置の記憶ユニット６２に記憶される。このデータ転送は、装置６０のプロセッサ６１によって制御することができる。装置６０がライトフィールド・カメラと一体化されている場合には、取り込まれたライトフィールド画像のデータは、記憶ユニット６２に直接記憶することができる。

ステップＳ７１０で、装置６０のプロセッサ６１は、４Ｄライトフィールド画像データに基づいて、シーン内の異なる再合焦距離を有する２Ｄ再合焦画像Ｒ_ｎを計算して、Ｎ個の再合焦画像Ｒの焦点スタックを構築する。２Ｄ再合焦画像Ｒおよび再合焦画像Ｒ_ｎの焦点スタックの生成は、「３）画像の再合焦」および「４）焦点スタック」の項で上述したように実行することができる。生成した焦点スタックのデータは、記憶ユニット６２に記憶される。

ステップＳ７１５で、プロセッサ６１は、「５）奥行きマップの推定」の項で上述したように再合焦画像Ｒｎの焦点スタックを使用してシーンの奥行きマップ画像Ｚを生成する。奥行きマップの計算は、非特許文献３でも既知である。奥行きマップ画像Ｚにおける被写体のセグメント化も、このステップＳ７１５で実行されることに留意されたい。このセグメント化プロセスによれば、奥行きマップ画像Ｚ中でそれぞれの奥行きを有する被写体がセグメント化される。各被写体に属するピクセルＧのグループをグループ化して、それぞれの被写体と関連付けることができる。このような被写体のセグメント化プロセスは、非特許文献４で既知であるので、本開示では、セグメント化プロセスの詳細について説明しない。奥行きマップ画像Ｚのデータおよび被写体のセグメント化情報は、記憶ユニット６２に記憶される。

ステップＳ７２０で、プロセッサ６１は、「６）全焦点画像」の項で説明したように奥行きマップ画像Ｚに基づいて全焦点画像Ｒ_ａｌｌを生成する。全焦点画像Ｒ_ａｌｌでは、画像内の全ての被写体が合焦して見え、これらの被写体は、上述のようにセグメント化されている。生成した全焦点画像Ｒ_ａｌｌのデータは、記憶ユニット６２に記憶される。

ステップＳ７０５からＳ７２０は、４Ｄライトフィールド画像データが装置６０に供給された後に、プロセッサ６１によって自動的に実行することができる。

ステップＳ７２５で、プロセッサ６１は、ディスプレイ６４上で第１のＧＵＩ（グラフィカル・ユーザ・インタフェース）機能を実行し、さらに、再合焦画像の焦点スタックを表示し得る。第１のＧＵＩ機能により、ユーザは、焦点スタックと交差するスライス画像Ｒ_{ｓｌｉｃｅ}を選択することができる。スライス画像Ｒ_{ｓｌｉｃｅ}は、ＧＵＩ上で焦点スタック中の少なくとも２つの画像を横切る交差平面を設定することによって選択することができる。「７）スライス画像」の項で説明したように、スライス画像Ｒ_{ｓｌｉｃｅ}の座標は、焦点スタックの座標系内のその法線によって指定され、この法線は、再合焦スライス画像Ｒ_{ｓｌｉｃｅ}を選択するためにユーザによって定められる。選択したスライス画像Ｒ_{ｓｌｉｃｅ}のデータは、記憶ユニット６２に記憶される。

ステップＳ７３０で、プロセッサ６１は、ディスプレイ６４上で第２のＧＵＩ機能を実行し、ディスプレイ６４に全焦点画像Ｒ_ａｌｌを表示する。第２のＧＵＩ機能により、ユーザは、再合焦スライス画像Ｒ_{ｓｌｉｃｅ}上に合焦させる、表示された全焦点画像Ｒ_ａｌｌ中の（１つまたは複数の）被写体を選択することができる。ステップＳ７１５に関連して上述したように、これらの被写体はセグメント化されており、それぞれの被写体に属するピクセルはグループ化され、それぞれの被写体と関連付けられているので、ディスプレイ６４のＧＵＩにおけるユーザによる被写体の選択は、入力デバイス６３を使用して、その被写体と関連付けられたピクセルＧのグループ内の任意のピクセルを指すことによって行うことができる。（１つまたは複数の）被写体の選択の情報は、記憶ユニット６２に記憶される。

ステップＳ７３５で、プロセッサ６１は、ステップＳ７３０で選択した（１つまたは複数の）被写体の合焦画像を、ステップＳ７２５で選択したスライス画像Ｒｓｌｉｃｅに合成することによって、再合焦適応スライス画像Ｒ_ｕｓｅｒを生成する。再合焦適応スライス画像Ｒ_Ｕｓｅｒは、ピクセルＧに属さないピクセル（Ｘ，Ｙ）については、スライス画像Ｒ_{ｓｌｉｃｅ}に対応し得る。

図８は、本開示の実施形態による焦点スタックから生成された適応スライス画像の一例を示す図である。図８に示すように、選択した被写体が適応スライス画像上で合焦して見えるように、最初に選択したスライス画像を修正して適応スライス画像を生成する。この点で、本開示で使用する「適応スライス画像」という用語は、選択した被写体が合焦して見える、最初に選択したスライス画像の修正画像として解釈することができることに留意されたい。

本明細書に記載する全ての例および条件に関する表現は、本発明と当技術分野をさらに進歩させるために発明者らが与える概念とを読者が理解するのを助けるという教育的な目的を有するものであって、これらの具体的に列挙した例および条件に限定するものではないと解釈されたい。また、本明細書のこれらの例の構成は、本発明の原理の優劣を示すものではない。本開示の実施形態について詳細に説明したが、本開示の範囲を逸脱することなく、様々な変更、置換および改変をこれらの実施形態に加えることができることを理解されたい。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
再合焦画像の焦点スタックから、該焦点スタックから導出した全焦点画像を使用して適応スライス画像を生成する装置であって、
前記焦点スタック中においてスライス画像を選択し、
前記適応スライス画像中に合焦させる、前記全焦点画像中の少なくとも１つの被写体を選択し、
前記全焦点画像中の前記選択した少なくとも１つの被写体を前記選択したスライス画像に合成することによって前記適応スライス画像を生成するように構成されたプロセッサを有する、前記装置。
（付記２）
前記プロセッサは、前記焦点スタックを使用して奥行きマップ画像を推定し、該奥行きマップ画像に基づいて前記全焦点画像を生成することによって、前記全焦点画像を生成するようにさらに構成されている、付記１に記載の装置。
（付記３）
前記プロセッサは、前記奥行きマップ画像中の前記少なくとも１つの被写体をセグメント化するようにさらに構成されており、前記少なくとも１つの被写体は前記奥行きマップ画像中においてそれぞれの奥行きを有する、付記２に記載の装置。
（付記４）
前記プロセッサは、被写体に属するピクセルをグループ化して、前記ピクセルのグループを前記被写体と関連付けるようにさらに構成されている、付記３に記載の装置。
（付記５）
前記プロセッサは、前記被写体に属する前記ピクセルのグループ中の任意のピクセルを選択することによって、前記少なくとも１つの被写体を選択するようにさらに構成されている、付記４に記載の装置。
（付記６）
再合焦画像の焦点スタックから、該焦点スタックから導出した全焦点画像を使用して適応スライス画像を生成する方法であって、
前記焦点スタック中においてスライス画像を選択することと、
前記適応スライス画像中に合焦させる、前記全焦点画像中の少なくとも１つの被写体を選択することと、
前記全焦点画像中の前記選択した少なくとも１つの被写体を前記選択したスライス画像に合成することによって前記適応スライス画像を生成することと、
を含む、前記方法。
（付記７）
前記焦点スタックを使用して奥行きマップ画像を推定することと、前記奥行きマップ画像に基づいて前記全焦点画像を生成することとをさらに含む、付記６に記載の方法。
（付記８）
前記推定することは、前記奥行きマップ画像中の前記少なくとも１つの被写体をセグメント化することをさらに含み、前記少なくとも１つの被写体は前記奥行きマップ画像中においてそれぞれの奥行きを有する、付記７に記載の方法。
（付記９）
前記セグメント化することは、被写体に属するピクセルをグループ化して、前記ピクセルのグループを前記被写体と関連付けることをさらに含む、付記８に記載の方法。
（付記１０）
前記全焦点画像中の少なくとも１つの被写体を選択することは、前記少なくとも１つの被写体に属する前記ピクセルのグループ中の任意のピクセルを選択することをさらに含む、付記９に記載の方法。
（付記１１）
通信ネットワークからダウンロード可能であり、かつ／またはコンピュータによって可読な媒体に記録され、かつ／またはプロセッサによって実行可能な、コンピュータ・プログラム製品であって、付記６から１０のいずれか１つに記載の方法を実施するプログラム・コード命令を含む、前記コンピュータ・プログラム製品。
（付記１２）
非一時的なコンピュータ可読媒体であって、付記６から１０のいずれか１つに記載の方法を実施するプログラム・コード命令を含む、前記媒体に記録され、プロセッサによって実行することができるコンピュータ・プログラム製品を含む、前記非一時的なコンピュータ可読媒体。

Claims (12)

1. 再合焦画像の焦点スタックから、該焦点スタックから導出した全焦点画像を使用して適応スライス画像を生成する装置であって、
   前記焦点スタック中においてスライス画像を選択し、
   前記適応スライス画像中に合焦させる、前記全焦点画像中の少なくとも１つの被写体を選択し、
   前記全焦点画像中の前記選択した少なくとも１つの被写体を前記選択したスライス画像に合成することによって前記適応スライス画像を生成するように構成されたプロセッサを有する、前記装置。
2. 前記プロセッサは、前記焦点スタックを使用して奥行きマップ画像を推定し、該奥行きマップ画像に基づいて前記全焦点画像を生成することによって、前記全焦点画像を生成するようにさらに構成されている、請求項１に記載の装置。
3. 前記プロセッサは、前記奥行きマップ画像中の前記少なくとも１つの被写体をセグメント化するようにさらに構成されており、前記少なくとも１つの被写体は前記奥行きマップ画像中においてそれぞれの奥行きを有する、請求項２に記載の装置。
4. 前記プロセッサは、被写体に属するピクセルをグループ化して、前記ピクセルのグループを前記被写体と関連付けるようにさらに構成されている、請求項３に記載の装置。
5. 前記プロセッサは、前記被写体に属する前記ピクセルのグループ中の任意のピクセルを選択することによって、前記少なくとも１つの被写体を選択するようにさらに構成されている、請求項４に記載の装置。
6. 再合焦画像の焦点スタックから、該焦点スタックから導出した全焦点画像を使用して適応スライス画像を生成する方法であって、
   前記焦点スタック中においてスライス画像を選択することと、
   前記適応スライス画像中に合焦させる、前記全焦点画像中の少なくとも１つの被写体を選択することと、
   前記全焦点画像中の前記選択した少なくとも１つの被写体を前記選択したスライス画像に合成することによって前記適応スライス画像を生成することと、
   を含む、前記方法。
7. 前記焦点スタックを使用して奥行きマップ画像を推定することと、前記奥行きマップ画像に基づいて前記全焦点画像を生成することとをさらに含む、請求項６に記載の方法。
8. 前記推定することは、前記奥行きマップ画像中の前記少なくとも１つの被写体をセグメント化することをさらに含み、前記少なくとも１つの被写体は前記奥行きマップ画像中においてそれぞれの奥行きを有する、請求項７に記載の方法。
9. 前記セグメント化することは、被写体に属するピクセルをグループ化して、前記ピクセルのグループを前記被写体と関連付けることをさらに含む、請求項８に記載の方法。
10. 前記全焦点画像中の少なくとも１つの被写体を選択することは、前記少なくとも１つの被写体に属する前記ピクセルのグループ中の任意のピクセルを選択することをさらに含む、請求項９に記載の方法。
11. 通信ネットワークからダウンロード可能であり、かつ／またはコンピュータによって可読な媒体に記録され、かつ／またはプロセッサによって実行可能な、コンピュータ・プログラムであって、請求項６から１０のいずれか１項に記載の方法を実施するプログラム・コード命令を含む、前記コンピュータ・プログラム。
12. 非一時的なコンピュータ可読媒体であって、請求項６から１０のいずれか１項に記載の方法を実施するプログラム・コード命令を含む、前記媒体に記録され、プロセッサによって実行することができるコンピュータ・プログラムを含む、前記非一時的なコンピュータ可読媒体。
    

Images