JP6106026B2 - 画像処理装置、撮像装置、再生装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に出力データから任意の被写体距離に合焦した画像を生成する技術に関する。

デジタルカメラ等の撮像装置により撮像された画像のデジタルデータは、各種画像編集ツール等を用いることで、ユーザが所望する調整を行うことができる。ユーザが所望する画像編集機能の１つに撮影後に画像の合焦状態を調整する機能があるが、従来、撮影後の１枚の画像について合焦状態を変更することは困難である。このため、特許文献１のようにフォーカスレンズを駆動させながら焦点状態の異なる画像を複数撮影して記録し、撮影後に所望の合焦状態の画像を選択して使用可能にするものがある。

一方、近年ではデジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。

このような技術の１つにマイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法（Light Field Photography）がある。得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。ＬＦデータからは、また、任意の被写体距離を設定し、該被写体距離に対応する焦点面における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成（再構成）することができる。

特開２００５−２７７８１３号公報

しかしながら、上述したようにＬＦデータから任意の焦点面に対応した画像を再構成する場合、焦点面に応じて加算する画素を特定し、各画素について加算処理を行って画像を生成する必要がある。つまり、選択した被写体距離に対応する焦点面における再構成画像を生成するには、都度、演算処理に係る時間が必要となる。

例えば１つの被写体に合焦した再構成画像を生成する場合、ユーザは生成する被写体距離を選択する必要があるが、このとき必ずしも該被写体に合焦する被写体距離を選択できない可能性がある。即ち、再構成画像が生成されるまで、ユーザは、選択した被写体距離が該被写体に合焦する被写体距離であるかを判断できないため、繰り返し被写体距離を選択して再構成画像を生成する必要があり、結果的に所望の焦点状態の再構成画像が得られるまでに時間を要する可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、所望の被写体に対して好適に合焦する被写体距離を容易に特定可能な画像信号を生成する画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、被写体の光線空間情報であるライトフィールドデータを取得する取得手段と、取得手段により取得されたライトフィールドデータから特定の被写体距離に合焦した再構成画像を生成する生成手段であって、ライトフィールドデータから生成可能な再構成画像における所定の領域について、焦点状態の異なる複数の再構成画像を生成する生成手段と、生成手段により生成された複数の再構成画像を、ライトフィールドデータに関連付けて記憶する記憶手段と、を有することを特徴とする。

このような構成により本発明によれば、所望の被写体に対して好適に合焦する被写体距離を容易に特定可能な画像信号を生成することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０５と撮像部１０６の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域と、各マイクロレンズに対応付けられた光電変換素子との対応を示した図 本発明の実施形態に係るデジタルカメラ１００で実行される撮影処理を例示したフローチャート 本発明の実施形態に係る撮影処理において、領域について生成される参照用画像を説明するための図 本発明の実施形態に係る撮影処理において、ＬＦデータに関連付けられる参照用画像についての詳細情報を示した図 本発明の実施形態に係るデジタルカメラ１００で実行される再生処理を例示したフローチャート 本発明の実施形態に係る再生処理における表示態様を例示した図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にＬＦデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。

・「ライトフィールドデータ（ＬＦデータ：Light Field Data）」
被写体空間の３次元的な情報を示すデータ。本実施形態では、デジタルカメラ１００が有する撮像部１０６から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系１０４の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。なお、本実施形態では、図１〜４に示すような光学系によってＬＦデータを取得しているが、撮像手段としてはこれに限らない。例えば特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像部１０６とみなす構成でもよい。また、図３の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

・「再構成画像」
ＬＦデータから生成される、任意の被写体距離に合焦した画像。具体的には生成する被写体距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定される。該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されている、後述する撮影処理あるいはリフォーカス動画生成処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０４と撮像素子との間にマイクロレンズアレイ１０５を有する。

〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０４と撮像素子との間に設けられたマイクロレンズアレイ１０５について、図を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図２では、撮像光学系１０４の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は６行６列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。

また図２では、撮像部１０６を構成する撮像素子の光電変換素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の光電変換素子２０２が対応づけられており、図２の例では１つのマイクロレンズ２０１に対して６×６＝３６画素の光電変換素子２０２が対応づけられている。１つのマイクロレンズ２０１を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０２に結像される。

図３は、１つのマイクロレンズ２０１に対応する光電変換素子２０２ｐ_１乃至ｐ_６に入射する光束を図示している。図３において、上方向は鉛直上向き方向に対応している。図では、デジタルカメラ１００が横位置にある状態における、横方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０２ｐ_１乃至ｐ_６には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を垂直方向に６分割した領域ａ_１乃至ａ_６を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０２との対応関係を示している。

なお、図３の例では横方向から見た、各光電変換素子２０２に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０４の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０２のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。

ＡＦＥ１０７及びＤＦＥ１０８は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０７は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、ＬＦデータをＤＦＥ１０８に出力する。ＤＦＥ１０８は、入力されたＬＦデータに対して微少な基準レベルのずれ等を補正する。

画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部１０９は、ＬＦデータから任意の被写体距離に合焦する画像（再構成画像）の生成する処理も行う。また本実施形態では画像処理部１０９は、顔検出部１２１、顔認識部１２２、及び距離検出部１２３を有する。

顔検出部１２１は、画像処理部１０９によりＬＦデータから生成された再構成画像から、人物の顔のパターンに相当する領域を検出する。顔検出処理では、例えば眼、鼻、口の各端点、顔の輪郭点等の特徴点を再構成画像から抽出し、これらの特徴点に基づいて被写体の顔領域の大きさが取得される。なお、ＬＦデータの撮影時において、撮影範囲にはデジタルカメラ１００との距離が様々な位置に人物被写体が存在することが考えられるため、顔検出処理は様々な被写体距離について生成された再構成画像について行われてよい。あるいは、例えばマイクロレンズ２０１により分離された光束のうち、１つの分割瞳領域を通過した光束に対応した画素のみで生成した再構成画像は、絞り状態で撮影した画像と等価であるため、これを顔検出処理に利用してもよい。即ち、このような再構成画像は絞り状態と同様に被写界深度が深い画像であるため、デジタルカメラ１００との距離が様々である人物被写体の各々を同時に検出可能である。

顔認識部１２２は、顔検出部１２１により検出された顔領域について、予め特徴量が登録されている人物の顔領域であるかを認識する顔認識処理を行う。顔認識処理には、上述した特徴点の配置情報と顔領域の大きさとを用いて、予め登録されている人物の特徴量との類似度を算出し、同一人物の顔領域であるか否かが判断される。

距離検出部１２３は、ＬＦデータの撮影時に撮影範囲に存在していた各人物被写体とデジタルカメラ１００との距離を検出する。距離検出部１２３は、例えば不図示のラインセンサを利用して位相差検出方式により各人物被写体の距離を検出する。あるいは、本実施形態のようにＬＦデータを取得する場合、例えば異なる２つの分割瞳領域を通過した光束を用いて生成された２種類の画像を用いて、位相差検出方式により各人物被写体の距離を検出するものであってもよい。また、上述したように被写体距離を変更しながら再構成画像を生成して顔検出部１２１による顔検出処理が行われる場合、顔領域の各々についてコントラスト評価値が最も高くなる被写体距離を特定することで、距離検出部１２３は各人物被写体の距離を検出してもよい。

表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１０は、画像処理部１０９により生成された、任意の被写体距離に合焦した画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。

記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の被写体距離に合焦する画像が記録される。

操作入力部１１２は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１２は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。なお、本実施形態では表示部１１０は、タッチパネルセンサを備えるタッチパネルディスプレイであり、タッチパネルセンサにより検出されたタッチ操作は、操作入力部１１２により検出され、制御部１０１に伝達される。

《撮影処理》
このような構成をもつ本実施形態のデジタルカメラ１００において実行されるＬＦデータの撮影処理について、図５のフローチャートを用いて具体的な処理を説明する。なお、本撮影処理は、例えばデジタルカメラ１００においてＬＦデータの撮影指示がなされた際に開始されるものとして説明する。

Ｓ５０１で、制御部１０１は、撮像部１０６に受光した光束の撮影を行わせ、ＡＦＥ１０７、ＤＦＥ１０８、及び画像処理部１０９によるＬＦデータ生成に係る処理が適用されたＬＦデータを取得し、例えばＲＡＭ１０３に格納する。

Ｓ５０２で、顔検出部１２１は制御部１０１の制御の下、ＬＦデータに含まれる人物被写体の顔領域を検出する。また距離検出部１２３は制御部１０１の制御の下、各顔領域に合焦する被写体距離の情報を取得する。得られた顔領域の位置及びサイズの情報と、該顔領域に合焦する被写体距離の情報とは、例えばＲＡＭ１０３に格納される。

Ｓ５０３で、画像処理部１０９は制御部１０１の制御の下、ＬＦデータの代表画像となる再構成画像を生成する。代表画像となる再構成画像は、例えば撮影時の撮像光学系１０４のフォーカスレンズの設定に対応する被写体距離に合焦する画像であってよい。具体的には画像処理部１０９は、各マイクロレンズ２０１を通過した光束に対応している画素を加算することで代表画像となる再構成画像の各画素の画素値を取得する。

Ｓ５０４で、制御部１０１は、焦点状態の異なる再構成画像を参照可能にする領域の設定がユーザによりなされているか否かを判断する。

本実施形態のデジタルカメラ１００では、ＬＦデータから再構成画像を生成する被写体距離を決定するための指標になるよう、所定の領域について複数の異なる被写体距離について合焦するように生成された再構成画像（参照用画像）をＬＦデータに関連付けて記録する。即ち、記録されたＬＦデータは、撮影範囲の全体に対応した再構成画像を生成することなく、該領域について焦点状態の異なる参照用画像を参照可能なように構成されて記録される。該領域は、ユーザにより表示部１１０の表面へのタッチ操作がなされることでＬＦデータの撮影前に予め設定されてよく、本ステップではこのような領域の設定がなされているか否かを判断する。なお、本実施形態のデジタルカメラ１００では、このような領域はユーザにより設定される領域の他に、
・人物の認識用の特徴量の情報が登録されている人物の顔領域
・主被写体が存在すると想定される撮影画角の中央領域に存在する顔領域
の２種類が使用されうる。以下の説明では、これらの領域は「ユーザにより設定された領域」、「特徴量が登録されている人物の顔領域」、「中央領域に存在する顔領域」の順番に優先度が設定され、いずれか１つの基準により選択された領域について参照用画像の生成が行われる。しかしながら、本発明の実施はこれに限られるものではなく、任意の条件により選択された所定の領域について、焦点状態の異なる複数の参照用画像が生成され、ＬＦデータに関連付けて記録されるものであれば適用可能である。

制御部１０１は、参照用画像を参照可能にする領域の設定がなされていると判断した場合は処理をＳ５０５に移し、なされていないと判断した場合は処理をＳ５０６に移す。

Ｓ５０５で、制御部１０１は、ユーザにより設定された領域について、焦点状態の異なる複数の参照用画像を生成する被写体距離を決定する。本実施形態では領域について生成される複数の参照用画像には、少なくとも該領域の被写体に合焦する被写体距離に対応する焦点面について再構成された再構成画像を含むものとする。領域が人物の顔領域に対応する領域でない場合は、本ステップにおいて該領域の被写体とデジタルカメラ１００との距離の情報が取得されたのち、該被写体に合焦する被写体距離が再構成画像を生成する被写体距離の１つとして決定される。また本実施形態のデジタルカメラ１００では、設定された領域について、該領域の被写体に合焦する被写体距離の他に、６種類の被写体距離が再構成画像の生成用に決定される。６種類の被写体距離は、例えば図６に示されるようにＬＦデータから合焦した再構成画像を生成可能な被写体距離の範囲について、均等な分布となるように選択されてよい。図６は、領域の被写体に合焦する被写体距離が６ｍであり、ＬＦデータから再構成画像を生成可能な被写体距離の範囲が１ｍ〜１１ｍの範囲である例を示しており、この場合１ｍ、３ｍ、５ｍ、７ｍ、９ｍ、１１ｍが再構成画像の生成用に決定される。

また制御部１０１は、ユーザによる設定がなされていない領域であるＳ５０２で検出された顔領域については、重要度が低いと考え、例えば生成可能な被写体距離の範囲のうちの最も短い被写体距離を、参照用画像を生成する被写体距離として決定する。

一方、Ｓ５０４において領域の設定がなされていないと判断した場合、制御部１０１はＳ５０６で、検出された顔領域について顔認識部１２２に顔認識処理を実行させ、該顔領域の中に予め特徴量の登録がなされている人物の顔領域が存在するか否かを判断する。制御部１０１は、検出された顔領域に予め特徴量の登録がなされている人物の顔領域が存在すると判断した場合は処理をＳ５０７に移し、存在しないと判断した場合は処理をＳ５０８に移す。

Ｓ５０７で、制御部１０１は、Ｓ５０５と同様に、予め特徴量の登録がなされている人物の顔領域については、該人物に合焦する被写体距離を含む７種類の被写体距離を、参照用画像の生成用に決定する。また制御部１０１は、特徴量の登録がなされていない人物の顔領域については、例えば生成可能な被写体距離の範囲のうちの最も短い被写体距離を、参照用画像の生成用に決定する。

さらに、Ｓ５０６において検出された顔領域の中に予め特徴量の登録がなされている人物の顔領域が存在しないと判断した場合、制御部１０１はＳ５０８で、ＬＦデータから生成可能な再構成画像の中央領域に位置する顔領域が存在するか否かを判断する。制御部１０１は、中央領域に位置する顔領域が存在すると判断した場合は処理をＳ５０９に移し、存在しないと判断した場合は処理をＳ５１１に移す。

Ｓ５０９で、制御部１０１は、Ｓ５０５と同様に、中央領域に存在する顔領域については、該顔領域の人物に合焦する被写体距離を含む７種類の被写体距離を参照用画像の生成用に決定する。また制御部１０１は、中央領域に存在しない顔領域については、例えば生成可能な被写体距離の範囲のうちの最も短い被写体距離を参照用画像の生成用に決定する。

Ｓ５１０で、画像処理部１０９は制御部１０１の制御の下、参照用画像を生成する各領域について、決定した被写体距離に合焦する参照用画像を生成する。そして制御部１０１は、ＬＦデータ及び代表画像に関連付けて、参照用画像及び参照用画像の詳細情報を記録媒体１１１に記録し、本撮影処理を完了する。なお、参照用画像の各々には、該画像が生成された被写体距離の情報が含まれているものとする。

詳細情報は、例えば図７に示されるような情報であってよい。図７の例では詳細情報は、１つのＬＦデータについて、参照用画像が生成された領域ごとにその情報を管理する。具体的には、AREA_IDは領域ごとに設定される識別情報、AREA_Rectは領域の代表座標（例えば左上座標）及び領域の水平方向及び垂直方向のサイズが列挙された情報、AREA_Filesが領域について生成された参照用画像のファイル名の情報である。またJPEG_FileはＬＦデータの代表画像を特定する情報である。AREA_Flagは、複数の異なる焦点状態の参照用画像が生成された領域を示す情報であり、本実施形態では「ユーザにより設定された領域」、「特徴量が登録されている人物の顔領域」、「中央領域に存在する顔領域」について「１」が入力される。

一方、Ｓ５０８で中央領域に位置する顔領域が存在しないと判断した場合、制御部１０１はＳ５１１で、参照用画像を関連付けることなく、ＬＦデータと代表画像とを関連付けて記録し、本撮影処理を完了する。

このように本実施形態の撮影処理を実行することで、ＬＦデータから再構成画像を生成する際の焦点状態の指標となる参照用画像を、ＬＦデータとともに記録することができる。

《再生処理》
次に、上述の撮影処理により記録されたＬＦデータを閲覧モードで閲覧する際の再生処理について、図８を用いて詳細を説明する。なお、本再生処理は、例えばデジタルカメラ１００が記録媒体１１１に記録されたＬＦデータあるいはＪＰＥＧデータを閲覧する閲覧モードに設定されて起動された際に開始されるものとして説明する。また以下の説明では簡単のため、ＬＦデータの閲覧指示があった場合の処理についてのみ説明する。その他の画像データの閲覧指示があった場合は、例えば従前の撮像装置において行われている再生処理と同様の処理が行われればよいため、本明細書ではその詳細を省略する。

Ｓ８０１で、制御部１０１は、ＬＦデータの閲覧指示がなされたか否かを判断する。制御部１０１は、ＬＦデータの閲覧指示がなされたと判断した場合は処理をＳ８０２に移し、なされていないと判断した場合は本ステップの処理を繰り返す。

Ｓ８０２で、制御部１０１は、ＬＦデータに関連付けられた代表画像を読み出し、表示部１１０に表示させる。具体的には制御部１０１は、代表画像の表示に係る復号処理や映像信号への変換処理を画像処理部１０９に適用させた後、得られた映像信号を表示部１１０に出力することで代表画像の表示を行う。

Ｓ８０３で、制御部１０１は、表示部１１０に表示されている画像について領域を選択するタッチ操作がなされたか否かを判断する。本実施形態のデジタルカメラ１００では、ユーザは、ＬＦデータの閲覧時に図９（ａ）に示されるように画像へのタッチ操作を行うことで、タッチした領域について生成された参照用画像を閲覧することができる。このとき参照用画像は図９（ｂ）に示されるようにタッチした領域の周囲に選択可能に表示され、ユーザは表示されたいずれかの参照用画像を選択することで、選択した参照用画像が生成された被写体距離についての再構成画像を閲覧することができる。即ち、参照用画像は再構成画像を生成する被写体距離の選択に使用されるものであり、ユーザは所望の領域の焦点状態を確認した上で再構成画像の生成を指示することができる。つまり、このような構成によりユーザは、所望の焦点状態となる再構成画像を表示させるために、被写体距離の選択のトライアンドエラーを行う必要がなくなり、所望の焦点状態の再構成画像を表示させるまでに要する時間の短縮することができる。

制御部１０１は、領域を選択するタッチ操作がなされたと判断した場合は処理をＳ８０４に移し、なされていないと判断した場合は本ステップの処理を繰り返す。

Ｓ８０４で、制御部１０１は、ＬＦデータに関連付けられた詳細情報を参照し、タッチ操作がなされた領域に対応する参照用画像を表示部１１０に表示されている画像に重畳して表示させる。このとき参照用画像は、上述したようにタッチ操作がなされた領域の周囲に配置されるものとする。なお、本再生処理ではＬＦデータに詳細情報が関連付けられ、タッチ操作がなされた領域について参照用画像が存在するものとして説明するが、これに該当しない場合は、本ステップの処理を行わずに制御部１０１は処理をＳ８０３に戻せばよい。

Ｓ８０５で、制御部１０１は、表示部１１０に表示された参照用画像のうち、いずれかの参照用画像がユーザにより選択されたか否かを判断する。制御部１０１は、表示された参照用画像のうち、いずれかの参照用画像が選択されたと判断した場合は、選択された参照用画像に対応する被写体距離の情報をＲＡＭ１０３に格納した後、処理をＳ８０６に移す。また制御部１０１は、表示された参照用画像がいずれも選択されていないと判断した場合は本ステップの処理を繰り返す。なお、参照用画像の選択は、該当の参照用画像へのタッチ操作がなされたことにより行われてよい。

Ｓ８０６で、画像処理部１０９は制御部１０１の制御の下、ＲＡＭ１０３に格納された、Ｓ８０５において選択された参照用画像に対応する被写体距離の情報を参照し、該被写体距離に合焦する再構成画像をＬＦデータから生成する。そして制御部１０１は、生成された再構成画像を表示部１１０に表示させ、処理をＳ８０３に戻す。

このようにすることで、ユーザは所望の領域の焦点状態を確認した上で再構成画像の生成を指示することができる。

以上説明したように、本実施形態の画像処理装置は、所望の被写体に対して好適に合焦する被写体距離を容易に特定可能な画像信号を生成することができる。具体的には画像処理装置は、画素の各々が、撮像装置の撮像光学系において通過した分割瞳領域及び入射方向の組み合わせが異なる光束に対応した画像信号について、該画像信号から生成可能な再構成画像における所定の領域を選択する。そして画像処理装置は、該領域について焦点状態の異なる複数の再構成画像を生成し、画像信号に関連付けて記憶する。また該画像信号の再生時には、画像処理装置は該画像信号について再構成画像を生成する指標となるように、領域に関連付けられた焦点状態の異なる複数の再構成画像を選択可能に表示する。そして再構成画像の選択がなされた場合に、該再構成画像に対応する被写体距離について、画像信号から撮影範囲の全域について再構成画像を生成する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 被写体の光線空間情報であるライトフィールドデータを取得する取得手段と、
   前記取得手段により取得された前記ライトフィールドデータから特定の被写体距離に合焦した再構成画像を生成する生成手段であって、前記ライトフィールドデータから生成可能な再構成画像における所定の領域について、焦点状態の異なる複数の再構成画像を生成する生成手段と、
   前記生成手段により生成された前記複数の再構成画像を、前記ライトフィールドデータに関連付けて記憶する記憶手段と、を有する
   ことを特徴とする画像処理装置。
2. 前記ライトフィールドデータから生成可能な再構成画像から、人物を検出する検出手段と、
   前記検出手段により検出された人物が、予め定められた人物であるか否かを認識する認識手段と、を有し、
   前記所定の領域は、前記認識手段により予め定められた人物であると認識された人物に対応する領域である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記認識手段により予め定められた人物であると認識された人物に対応する領域が存在しない場合に、前記ライトフィールドデータから生成可能な再構成画像の中央領域に存在する人物に対応する領域を前記所定の領域として、前記複数の再構成画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の領域を設定する指示を受け付ける入力手段をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記複数の再構成画像は、少なくとも前記所定の領域の被写体に合焦した焦点状態の再構成画像を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記ライトフィールドデータは、撮像装置により撮像された画像信号であって、画素の各々が、前記撮像装置の撮像光学系において通過した分割瞳領域及び入射方向の組み合わせが異なる光束に対応した画像信号であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 画素の各々が、撮像光学系において通過した分割瞳領域及び入射方向の組み合わせが異なる光束に対応している画像信号を出力する撮像手段と、
   請求項１乃至６のいずれか１項に記載の画像処理装置と、
   を有することを特徴とする撮像装置。
8. 被写体の光線空間情報であるライトフィールドデータを選択する選択手段と、
   前記選択手段により選択された前記ライトフィールドデータに対応する画像を表示手段に表示する制御手段と、
   前記表示手段に表示された前記画像について、異なる焦点状態に変更する領域を決定する決定手段と、
   前記ライトフィールドデータから特定の被写体距離に合焦した再構成画像を生成する生成手段と、を有し、
   前記制御手段は、
   前記決定手段により決定された前記領域について、焦点状態の異なる該領域の再構成画像が前記ライトフィールドデータに関連付けられている場合に、前記画像とともに該領域の再構成画像を選択可能に前記表示手段に表示し、
   前記表示手段に表示された前記領域の再構成画像のうちの１つの再構成画像が選択された場合に、前記生成手段により生成された、該１つの再構成画像に対応する被写体距離に合焦した再構成画像を前記表示手段に表示する
   ことを特徴とする再生装置。
9. 画像処理装置の取得手段が、被写体の光線空間情報であるライトフィールドデータを取得する取得工程と、
   前記画像処理装置の生成手段が、前記取得工程において取得された前記ライトフィールドデータから特定の被写体距離に合焦した再構成画像を生成する生成工程であって、前記ライトフィールドデータから生成可能な再構成画像における所定の領域について、焦点状態の異なる複数の再構成画像を生成する生成工程と、
   前記画像処理装置の記憶手段が、前記生成工程において生成された前記複数の再構成画像を、前記ライトフィールドデータに関連付けて記憶する記憶工程と、を有する
   ことを特徴とする画像処理装置の制御方法。
10. 再生装置の選択手段が、被写体の光線空間情報であるライトフィールドデータを選択する選択工程と、
    前記再生装置の制御手段が、前記選択工程において選択された前記ライトフィールドデータに対応する画像を表示手段に表示する制御工程と、
    前記再生装置の決定手段が、前記表示手段に表示された前記画像について、異なる焦点状態に変更する領域を決定する決定工程と、
    前記再生装置の生成手段が、前記ライトフィールドデータから特定の被写体距離に合焦した再構成画像を生成する生成工程と、を有し、
    前記制御手段は前記制御工程において、
    前記決定工程において決定された前記領域について、焦点状態の異なる該領域の再構成画像が前記ライトフィールドデータに関連付けられている場合に、前記画像とともに該領域の再構成画像を選択可能に前記表示手段に表示し、
    前記表示手段に表示された前記領域の再構成画像のうちの１つの再構成画像が選択された場合に、前記生成工程において生成された、該１つの再構成画像に対応する被写体距離に合焦した再構成画像を前記表示手段に表示する
    ことを特徴とする再生装置の制御方法。
11. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
12. コンピュータを、請求項８に記載の再生装置の各手段として機能させるためのプログラム。

Images