JP2017092992A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】ライトフィールドカメラで撮影された画像を再生する際にユーザがリフォーカス対象を決定する際の操作の負荷を低減させる。【解決手段】焦点位置に応じた画素信号の合成を行うことでリフォーカス画像を生成可能なデータを取得するデータ取得部と、データに対応する被写体の距離情報を取得する距離情報取得部と、距離情報に基づいて決定される複数の焦点位置、あるいは距離情報に基づいて決定される複数の範囲に対して、それぞれデータを用いてリフォーカス画像を生成する生成部と、生成部により生成された複数のリフォーカス画像を表示部に表示させる制御部と、を備え、制御部は、表示部に複数のリフォーカス画像を表示させた状態で、ユーザ操作に基づくリフォーカス画像の選択を受け付ける。【選択図】 図１

Description

本発明は、リフォーカス画像を再構成することが可能な画像処理装置に関するものである。

近年、デジタルカメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。

例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される。このように取得された画素信号（ライトフィールド）に対して、通常の撮影画像を生成するほかに、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。

ユーザがリフォーカスによる画像の再構成を必要とするケースとして、撮影後に画像を確認したときに所望の被写体にピントがあっていなかった場合が考えられる。また、あるときは手前の被写体、またあるときは奥にある被写体にピントを合わせた画像を再構成して楽しむといったケースも挙げられる。これらのケースについて、従来のカメラであれば画像を撮影し直したり、ピント位置をずらして複数画像をあらかじめ撮影したりする必要があった。しかし、ライトフィールドカメラを用いて撮影することで任意の被写体にピントを合わせたリフォーカス画像を再構成でき、撮影し直すことなく所望の画像が得られる。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

しかし、リフォーカスによる画像の再構成をするにあたっては、ユーザがピントを合わせる対象を決定するための操作が必要となる。これについてはデジタルカメラ等の限られた操作部材で細かな対象を選択するのは困難であるし、再生の度にいちいちリフォーカス対象を決定するのは煩雑である。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ライトフィールドカメラで撮影された画像を再生する際にユーザがリフォーカス対象を決定する際の操作の負荷を低減させることである。

本発明に係わる画像処理装置は、焦点位置に応じた画素信号の合成を行うことでリフォーカス画像を生成可能なデータを取得するデータ取得手段と、前記データに対応する被写体の距離情報を取得する距離情報取得手段と、前記距離情報に基づいて決定される複数の焦点位置、あるいは前記距離情報に基づいて決定される複数の範囲に対して、それぞれ前記データを用いてリフォーカス画像を生成する生成手段と、前記生成手段により生成された複数のリフォーカス画像を表示手段に表示させる制御手段と、を備え、前記制御手段は、前記表示手段に前記複数のリフォーカス画像を表示させた状態で、ユーザ操作に基づく前記リフォーカス画像の選択を受け付けることを特徴とする。

本発明によれば、ライトフィールドカメラで撮影された画像を再生する際にユーザがリフォーカス対象を決定する際の操作の負荷を低減させることが可能となる。

本発明の画像再生装置の第１の実施形態である撮像装置の構成を示すブロック図。 撮像素子とマイクロレンズアレイの構成を説明する図。 撮影レンズ、マイクロレンズアレイ、撮像素子の構成を説明する図。 撮影レンズの瞳領域と受光画素の対応関係を説明する図。 リフォーカス画像生成光線の通過領域を説明する図。 本発明の第１の実施形態における画像処理回路の画像表示動作を説明するフローチャート。 第１の実施形態における距離情報の取得方法を説明する図。 第１の実施形態における距離情報の取得方法を説明する図。 第１の実施形態におけるリフォーカス面の選択方法を説明する図。 第１の実施形態におけるリフォーカス面の選択方法を説明する図。 第１の実施形態における候補画像表示方法を説明する図。 本発明の第２の実施形態における画像処理回路の画像表示動作を説明するフローチャート。 第２の実施形態における距離情報の取得方法を説明する図。 第２の実施形態におけるリフォーカス面の選択方法を説明する図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の画像再生装置の第１の実施形態である撮像装置１００の構成を示すブロック図である。図１において、１０１は撮影レンズ、１０２はマイクロレンズアレイ、１０３は撮像素子である。撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は複数のマイクロレンズ１０２０から構成されており、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。

撮像素子１０３はＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される光電変換素子である。複数のマイクロレンズ１０２０ひとつに対して複数の画素が対応するように配置されることで、マイクロレンズ１０２０で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する機能を有する。なお、撮像部１００２としては、特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像部１００２とみなす構成もライトフィールドデータを得られる撮像光学系として本発明にも有効であり、被写体空間の３次元的な情報であるライトフィールドデータを取得できる撮像光学系であれば、上記に限定されない。

１０４はアナログ信号処理回路（ＡＦＥ）、１０５はデジタル信号処理回路（ＤＦＥ）である。アナログ信号処理回路１０４は、撮像素子１０３から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路１０５は、アナログ信号処理回路１０４から出力される画像信号に対して基準レベル調整等のデジタル画像処理を行う。

１０６は画像処理回路、１０７はメモリ回路、１０８は記録回路である。画像処理回路１０６はデジタル信号処理回路１０５から出力された画像信号に対して所定の画像処理や本実施形態の特徴であるリフォーカス演算を施す。また顔検出機能を備え、画像信号から被写体の顔領域を検出することが可能である。

メモリ回路１０７は、画像処理回路１０６から出力された画像信号を一時的に保持したり演算用データを格納したりする揮発性メモリである。記録回路１０８は画像処理回路１０６から出力された画像信号等を記録する不揮発性メモリあるいはメモリカード等の記録媒体である。

１０９は制御回路、１１０は操作回路、１１１は表示回路である。制御回路１０９は撮像素子１０３や画像処理回路１０６等の撮像装置全体を統括的に駆動・制御する。操作回路１１０は撮像装置１００に備え付けられた操作部材からの信号を受け付け、制御回路１０９に対してユーザの命令を反映する。表示回路１１１は撮影後の画像やライブビュー画像、各種設定画面等を表示する。

次に、本実施形態の撮像装置における撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成について説明する。

図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。複数の単位画素２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。

１つのマイクロレンズ後方にある複数の単位画素２０１をまとめて画素配列２０と定義する。なお、本実施形態では画素配列２０には、単位画素２０１が５行５列の計２５個、さらに撮像素子１０３は画素配列２０が５行５列の２５個あるものとする。

図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から観察した図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１０２０を通過した光は、後方の対応する単位画素ｐ１〜ｐ５にそれぞれ結像する。

図４（ａ）は撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は１つのマイクロレンズ１０２０とその後方に配置された画素配列２０を光軸Ｚ方向から見た図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光はマイクロレンズ後方にある画素配列２０のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズ後方にある画素配列２０の中の画素ｐ１１に結像する。

ここで、画面内（画像中）の任意の被写***置に対応した焦点位置（リフォーカス面）を算出する方法について説明する。

図４で説明したように、画素配列２０の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（１）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１１〜ａ５１、ａ１２〜ａ５２）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（２）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５４、ａ１５〜ａ５５）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を行い、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写***置に対応した焦点位置を算出することができる。

次に、上記の撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成によって取得された撮像データ（画像データ）に対して、任意に設定した焦点位置（リフォーカス面）で画像を再構成する処理（リフォーカス可能とする処理）について説明する。

図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Ｚに対して垂直方向から見て示した図である。図５において、撮影レンズの瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ上のマイクロレンズの位置を座標（ｘ’，ｙ’）、撮影レンズからマイクロレンズアレイまでの距離をＦ、撮影レンズからリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが任意に設定できる。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（３）のように表すことができる。

そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（４）のようになる。

式（４）において、リフォーカス係数αはユーザーによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２０から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。

次に、本実施形態の画像表示動作について、図６、図７、図８、図９、図１０、図１１を参照して説明する。

図６は本実施形態での画像表示動作について示したフローチャートである。図６において、ステップＳ６０１では、撮像素子１０３から得られた撮像データを取得する。

ステップＳ６０２では、入力された撮像データをあらかじめ決められた距離情報取得エリア（以下、Ｄエリアとする）に分割する。ここで、Ｄエリア（分割領域）の分割数は再構成時の合焦精度に反映されるため、最小位置分解能である画素配列２０ごとに分割されることが望ましい。しかし、複数の画素配列２０をまとめてひとつのＤエリアを構成する等、画像処理回路１０６の演算能力やフレームレート等の制限に応じて適宜決められる。すなわち、フレームレートが高い、あるいは画像処理回路１０６の演算能力が低いほど、Ｄエリアの分割数を少なくするようにしてもよい。本実施形態では、Ｄエリアの構成を５×５の画素配列２０とする。

ステップＳ６０３では、Ｄエリアに分割された撮像データに対して前述の式（１）、式（２）を適用し、各Ｄエリアを代表する被写体距離を算出する。ここで、中心の画素配列２０のみの結果で代用してもよいし、５×５の画素配列２０の平均値を用いてもよい。このようにして得られたＤエリアごとの被写体の距離情報を距離情報マップとする。

ステップＳ６０４では、前述の距離情報マップに応じてリフォーカス面を選択する。このとき、選択されるリフォーカス面は距離情報マップの頻度分布（以下、距離情報ヒストグラムとする）から、最頻値を取得する方法、あるいはあらかじめ決められた関数形によるカーブフィッティングを適用する方法等によって選択される。

なお、本実施形態では所定の距離領域毎にリフォーカス面を選択する例を示す。ここでの距離領域とは、撮像装置からの距離について、例えば近距離（〜数十ｃｍ）、中距離（〜数ｍ）、遠距離（〜数十ｍから無限遠）に分類した、それぞれの領域のことを指す。近距離、中距離、遠距離の各範囲の設定は画像や撮影条件によらず固定の範囲でも良いし、リフォーカス可能範囲に基づいて例えば等分して設定されてもよい。リフォーカス範囲は以下のようにして求められる。角度分解能Δθ、角度分割数Ｎθ、画素ピッチΔｘとすると、最大リフォーカス量ｄｍａｘ、次の式（５）で計算される。

ｄｍａｘ＝Ｎθ ・Δｘ／ｔａｎ（Δθ） …（５）
つまりリフォーカス可能データを撮影した時のフォーカスした距離を中心とし光軸方向前後にそれぞれ距離ｄｍａｘの範囲内はリフォーカス可能範囲であり、範囲内の被写体にフォーカスが可能である。

ステップＳ６０５では、各リフォーカス面において前述した再構成処理を行い、リフォーカス画像を生成する（リフォーカス画像生成）。ステップＳ６０６では、ステップＳ６０４で選択したリフォーカス面の数を判別する。リフォーカス面を複数面選択した場合はステップＳ６０７へ、単面選択した場合はステップＳ６０９へ進む。ステップＳ６０７では、ステップＳ６０５で生成された複数の各リフォーカス画像を表示回路１１１で表示する。

ステップＳ６０８では、表示した複数のリフォーカス画像のうちのいずれかをユーザが選択したかどうかを判別する。選択された場合はステップＳ６０９へ、選択されない場合はステップＳ６０８へ戻り、選択操作を待つ。ステップＳ６０９では、あるリフォーカス面でのリフォーカス画像を表示回路１１１で表示する。

次に、ステップＳ６０２とステップＳ６０３における距離情報の取得方法について図７、図８の２つのケースを参照して説明する。図７（ａ）は取得された撮像データであり、画像を撮影した際に、近距離に被写体の人物７０１、中距離に被写体の人物７０２、遠距離に被写体の建物７０３のように、３つの距離領域に被写体が存在する例を示している。この撮像データにおいて、Ｄエリアごとに被写体距離を算出する。これら被写体距離をコントラスト図として表現した模式図が図７（ｂ）である。

また、図８（ａ）は取得された撮像データであり、近距離にのみ被写体の人物８０１が存在する例を示している。この撮像データにおいて、Ｄエリアごとに被写体距離を算出する。これら被写体距離をコントラスト図として表現した模式図が図８（ｂ）である。

次に、ステップＳ６０４におけるリフォーカス面の選択方法について説明する。図９、図１０は、ステップＳ６０３で得られたＤエリアごとの被写体距離情報を、横軸を被写体距離、縦軸を頻度として表した距離情報ヒストグラムの模式図である。図９は図７の画像の距離情報ヒストグラムの模式図、図１０は図８の画像の距離情報ヒストグラムの模式図である。このうち、各距離領域においてある閾値以上の頻度を持つ箇所をリフォーカス面として選択する。

図９では、近距離、中距離、遠距離の３つの距離領域で閾値を超えた箇所（リフォーカス面（ａ）、リフォーカス面（ｂ）、リフォーカス面（ｃ））が現れる例を示している。この場合はリフォーカス面が３つ選択されたことになる。

図１０では、近距離の距離領域に閾値を超えた箇所（リフォーカス面（ａ））が現れる例を示している。この場合は、リフォーカス面が１つ選択されたことになる。ここでは、近距離・中距離・遠距離の３つの距離領域においてそれぞれ閾値を超えた箇所の最頻値を選択する例を示しているが、これに限らず、例えばユーザが距離の範囲・領域の数を任意の値で指定できるようにしてもよい。

一般に、代表的な被写体の存在する位置に距離情報ヒストグラムの最頻値が対応すると考えることは妥当である。この最頻値を検出することで、代表的な被写体の存在するリフォーカス面を選択することができる。また、検出する方法は最頻値に限らず、あらかじめ決められた関数形によるカーブフィッティング等、既知の方法が適用可能である。

次に、ステップＳ６０７、Ｓ６０８、Ｓ６０９における画像表示動作について説明する。図１１は、リフォーカス画像を表示回路１１１でユーザに提示する例である。図１１（ａ）では図９のリフォーカス面（ａ）、リフォーカス面（ｂ）、リフォーカス面（ｃ）で再構成したリフォーカス画像をそれぞれ表示した例を示している。ここでは、ユーザが複数のリフォーカス画像を確認し、そのうち自分が見たい画像を選択可能になっている。選択後の動作については、例えばユーザが詳細を確認し易いように、図１１（ｂ）のように選択した画像のみを表示するように表示回路１１１の動作を切り替えてもよいし、図１１（ｃ）のように選択した画像が強調されるように他の画像よりも大きく表示してもよい。さらに、撮像データとステップＳ６０９で行った表示動作とを対応付けて記憶しておき、次回同じ撮像データを再生するときはユーザの操作無しで同様の表示動作を行うようにしてもよい。

また、図６のフローチャート中には図示しないが、ステップＳ６０６でリフォーカス面の数が複数あると判断された場合は、次のようにしてもよい。すなわち、ステップＳ６０９で選択した画像を表示する動作をした後でユーザの指示に基づいてステップＳ６０７に戻り、複数の各リフォーカス画像を表示して再び画像の選択が行えるようにする。

以上のように、画像の距離情報からリフォーカス面を決定し、リフォーカス画像の候補をユーザに提示することで、ユーザの操作負荷を低減させることが可能となる。

（第２の実施形態）
以下、図１２、図１３、図１４を用いて本発明の第２の実施形態について説明する。第２の実施形態ではリフォーカス画像の候補を決める際に、被写体の情報を加味する点が第１の実施形態とは異なる。なお、第２の実施形態における撮像装置１００の構成は、第１の実施形態と同様であるため、同じ説明符号を用いてその説明は省略する。

次に、本実施形態の画像表示動作について、図１２のフローチャートを参照して説明する。ステップＳ１２０１からＳ１２０６までの動作は、第１の実施形態の図６におけるステップＳ６０１からＳ６０６と同様の動作であるため、説明を省略する。

次に、ステップＳ１２０２とステップＳ１２０３における距離情報の取得方法について図１３を参照して説明する。図１３（ａ）は取得された撮像データであり、画像を撮影した際に、近距離、中距離、遠距離の３つの距離領域に被写体が存在する例を示している。この撮像データにおいて、Ｄエリアごとに被写体距離を算出する。これら被写体距離をコントラスト図として表現した模式図が図１３（ｂ）である。近距離には、人物１３０１と植物１３０２の被写体が含まれている。また、中距離には自動車１３０３、遠距離には建物１３０４の被写体が含まれている。

次に、ステップＳ１２０４におけるリフォーカス面の選択方法について説明する。図１４は、ステップＳ１２０３で得られたＤエリアごとの被写体距離情報を、横軸を被写体距離、縦軸を頻度として表した距離情報ヒストグラムの模式図である。このうち、ある閾値以上の頻度を持つ箇所をリフォーカス面として選択する。

図１４では、図１３のような画像を撮影した際に、近距離、中距離、遠距離の３つの距離領域で閾値を超えた箇所（リフォーカス面（ｅ）、リフォーカス面（ｆ）、リフォーカス面（ｇ）、リフォーカス面（ｈ））が現れる例を示している。この場合はリフォーカス面が４つ選択されたことになる。

ステップＳ１２０７では、ステップＳ１２０４で選択されたリフォーカス面について、同じ距離範囲に複数のリフォーカス面があるかどうかを判別する。図１４の例では近距離に複数のリフォーカス面（リフォーカス面（ｅ）、リフォーカス面（ｆ））があるため、ステップＳ１２０８へ進む。同じ距離範囲に複数のリフォーカス面が無い場合はステップＳ１２１１へ進む。

ステップＳ１２０８では、同じ距離範囲にあるリフォーカス画像について、リフォーカス画像に被写体情報が含まれるかどうかを判断する。ここでは、被写体情報として人物の顔を検出するものとする。例えば、リフォーカス面（ｅ）で再構成されたリフォーカス画像は、人物に対してピントが合っており、リフォーカス面（ｆ）に対して再構成されたリフォーカス画像は植物に対してピントがあっているものだとする。この場合、画像処理装置１０６によって顔検出を行うと、リフォーカス面（ｅ）で再構成されたリフォーカス画像が被写体情報を含んだ画像だと判断できる。この場合は、ステップＳ１２０９へ進み、近距離のリフォーカス面として、被写体情報を含むリフォーカス面（ｅ）を選択する。被写体情報が含まれていない場合は、ステップＳ１２１０へ進み、近距離のリフォーカス面として、距離情報ヒストグラムの中で最頻値を示すリフォーカス面を選択する。また、同じ距離範囲にある複数のリフォーカス画像が全て人物の顔を含んでいた場合は、その中でより大きな割合の面積で顔が表示されているリフォーカス画像を優先してもよい。また、任意の方法で既知の人物の顔と他人の顔を区別して、既知の人物が含まれるリフォーカス画像を優先するなどしてもよい。

ステップＳ１２１１からＳ１２１３では、第１の実施形態のステップＳ６０７からＳ６０９と同様に画像表示動作を行う。また、ステップＳ１２１１の画像表示においては、ユーザが被写体の画像を判別し易くなるように、被写体情報を含むリフォーカス画像をその他のリフォーカス画像より大きな面積で表示するなどの優先処理をしてもよい。

なお、本実施形態ではある距離領域に複数のリフォーカス画像の候補がある場合に、その中で被写体の情報を含むリフォーカス画像を優先して表示する例を示した。しかし、これに限らず、全ての距離領域のリフォーカス画像に対して被写体の情報を含むリフォーカス画像を優先し、例えば被写体の情報を含むリフォーカス画像だけを候補としてユーザに提示しても良い。

以上のように、画像の距離情報に加えて被写体の検出情報を加味してリフォーカス面を決定することで、より適したリフォーカス画像の候補をユーザに提示することができ、ユーザの操作負荷を低減させることができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。

１００：撮像装置、１０１：撮影レンズ、１０２：マイクロレンズアレイ、１０３：撮像素子、１０２０：マイクロレンズ

Claims (17)

1. 焦点位置に応じた画素信号の合成を行うことでリフォーカス画像を生成可能なデータを取得するデータ取得手段と、
   前記データに対応する被写体の距離情報を取得する距離情報取得手段と、
   前記距離情報に基づいて決定される複数の焦点位置、あるいは前記距離情報に基づいて決定される複数の範囲に対して、それぞれ前記データを用いてリフォーカス画像を生成する生成手段と、
   前記生成手段により生成された複数のリフォーカス画像を表示手段に表示させる制御手段と、を備え、
   前記制御手段は、前記表示手段に前記複数のリフォーカス画像を表示させた状態で、ユーザ操作に基づく前記リフォーカス画像の選択を受け付けることを特徴とする画像処理装置。
2. 前記生成手段は、距離情報において所定の範囲ごとに前記焦点位置を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の範囲を設定する設定手段をさらに備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記所定の範囲を前記データのリフォーカス可能範囲に基づいて設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記距離情報に基づいて、前記データ中に占める割合が所定の割合より大きな被写体の距離情報に対応する位置を前記焦点位置として前記リフォーカス画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記生成手段は、前記データの各領域に対応する前記距離情報のヒストグラムを生成し、該ヒストグラムに基づいて前記リフォーカス画像を生成する焦点位置を決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記リフォーカス画像に特定の被写体情報が含まれているかを判別する判別手段をさらに備え、
   前記制御手段は、前記判別手段で前記被写体情報が含まれていると判断されたリフォーカス画像を優先して前記表示手段に表示させることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、ユーザ操作によって選択されたリフォーカス画像を強調して前記表示手段に表示させることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記制御手段は、前記生成手段が前記距離情報に基づいてリフォーカス画像を生成する焦点位置が１つである場合と、複数である場合とで、前記表示手段での前記リフォーカス画像の表示方法を切り替えることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記データは、互いに視差を有する複数の視差画像データであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記データは、ライトフィールドカメラで撮像されたデータであることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記データは、１つのマイクロレンズに複数の光電変換素子が対応づけられた撮像素子から得られる画像データであることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記データは、複数の視点の異なる撮像素子によって撮像されたデータであることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記距離情報は、前記データを撮像した撮像装置から被写体までの距離を示す被写体距離の情報であることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記生成手段は、リフォーカスの対象の焦点位置における各画素に対応する前記データの画素信号を合成することにより前記リフォーカス画像を生成することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記データを用いて位相差に基づく焦点検出を行う焦点検出手段を有することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 焦点位置に応じた画素信号の合成を行うことでリフォーカス画像を生成可能なデータを取得するデータ取得工程と、
    前記データにおける被写体の距離情報を取得する取得工程と、
    前記距離情報に基づいて決定される複数の焦点位置、あるいは前記距離情報に基づいて決定される複数の範囲に対して、それぞれ前記データを用いてリフォーカス画像を生成する生成工程と、
    前記生成工程において生成された複数のリフォーカス画像を表示手段に表示させる制御工程と、を備え、
    前記制御工程では、前記表示手段に前記複数のリフォーカス画像を表示させた状態で、ユーザ操作に基づく前記リフォーカス画像の選択を受け付けることを特徴とする画像処理装置の制御方法。

Images