JP6285639B2 - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に任意の被写体距離に合焦した画像を生成する技術に関する。

近年、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置がある。このような撮像装置では、撮像素子内の複数の光電変換素子に対してマイクロレンズが割り当てられ、１つのマイクロレンズに対応付けられた光電変換素子の各々に対して、撮影光学系の異なる瞳領域を通過した光束が結像される。該撮像装置により得られた撮像素子の各画素の出力信号を、合焦させる焦点面での光束の通過位置に応じて並べ替えて瞳分割数分の画素値を加算することで、任意の被写体距離に合焦した画像の各画素は生成される（特許文献１）。

特開２００７-００４４７１号公報

しかしながら、特許文献１のように合焦させる焦点面での光束の通過位置に応じて並べ替えを行う場合、生成する画像の各画素の画素値算出のために加算される画素数が異なることがある。即ち、合成させる焦点面における通過位置と光学系との関係で、特定の入射方向で通過位置に入射した光束が撮影により取得されていないことがあるため、加算に用いることができない。このような参照不可能な入射方向の光束の不足は、焦点面における像高の高い位置で特に発生する。このため、生成した画像内で画質むらが生じる可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、用途に応じた好適な画質の再構成画像を生成可能な画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得手段と、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、取得手段により取得された画像信号から、決定手段により決定された評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、生成手段は、生成する再構成画像の所定の領域内の画素について、所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な画像信号の画素に応じて、画素値を合算する画像信号の画素を異ならせ、合算可能な画像信号の画素は、該画像信号が取得された際の撮像光学系を基準に定まる各画素の像高の情報、及び該画像信号の画素の状態の少なくともいずれかに基づいて決定されることを特徴とする。

このような構成により本発明によれば、用途に応じた好適な画質の再構成画像を生成することが可能となる。

本発明の実施形態に係るカメラシステムの機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０８と撮像素子との対応関係を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行される、合焦評価処理を例示したフローチャート 本発明の実施形態に係る再構成画像の生成における画素列の並び替えを説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行される、再構成画像生成処理及びコントラスト評価処理を例示したフローチャート 本発明の実施形態に係る再構成画像の生成における画素列の並び替えを説明するための別の図 本発明の実施形態に係る再構成画像の生成における画素列の並び替えを説明するためのさらに別の図 本発明の変形例１に係る再構成画像の生成における画素列の並び替えを説明するための図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後に任意の被写体距離に合焦した画像を生成可能なカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、任意の被写体距離に合焦した画像を生成可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。
・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０２から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系２０２の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。
・「再構成画像」
ＬＦデータから生成される、任意の被写体距離に合焦した画像。具体的には生成する被写体距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。通常画素値を合算する画素数は、瞳分割数になる。ＬＦデータの撮影時の合焦面、即ち撮像素子上（撮像面）の画素配置が図４のようである場合、再構成画像を生成する再構成面が決定されると、該再構成面における各画素は、撮像面における各画素に入射する光束の入射方向を考慮して決定される。具体的には、再構成面における画素配置は再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定し、該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。

《カメラシステムの構成》
図１は、本発明の実施形態に係るカメラシステムに含まれる、デジタルカメラ１００及びレンズ２００の機能構成を示すブロック図である。

〈デジタルカメラ１００の構成〉
カメラ制御部１０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。カメラ制御部１０１は、デジタルカメラ１００が有する各ブロックの動作プログラムをＲＯＭから読み出し、ＲＡＭに展開して実行することにより各ブロックの動作制御を行う。またカメラ制御部１０１は、撮像部１０２から出力される画像信号の解析により決定した合焦位置の情報や、決定した露出設定に対応する絞り値等の情報を、電気接点１０７を介してレンズ２００に送信する。

撮像部１０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０２は、設定された露出設定に基づいて、カメラ制御部１０１により生成されたタイミング信号に基づいて撮像素子が有する各光電変換素子の露光及び読み出しを行い、得られたＬＦデータのアナログ画像信号を画像処理部１０３に出力する。具体的には撮像部１０２は、レンズ２００の撮像光学系２０２により撮像素子の受光面に結像された光学像を光電変換し、アナログ画像信号を出力する。

また本実施形態のデジタルカメラ１００では、撮像素子１０９１０９の表面には、図２（ａ）に示されるようにマイクロレンズ２０が格子状に配列されたマイクロレンズアレイ１０８が配設される。マイクロレンズアレイ１０８の１つのマイクロレンズ２０は、図２（ｂ）に示されるように撮像素子１０９の複数の光電変換素子（画素）に対応付けられる。レンズ２００の撮像光学系２０２を介して入射した光束は、各マイクロレンズ２０により、対応付けられた撮像素子１０９の画素に結像されることで瞳分割される。即ち、対応付けられた撮像素子１０９の各画素には、対応付けられた画素位置に対応する撮像光学系２０２の瞳領域を通過した光束が結像される。図２（ｂ）の例では、１つのマイクロレンズ２０には５×５＝２５個の画素が対応付けられており、撮像光学系２０２の瞳分割数は２５となる。

図２（ｃ）は、１つのマイクロレンズに対応付けられた画素と、各画素に結像される光束が通過する撮像光学系２０２の射出瞳の瞳領域の対応関係を示した図である。なお、図２（ｃ）の例では簡単のため、１つのマイクロレンズ２０に対して水平方向５つの画素２１乃至２５がマイクロレンズ２０の中心を通る水平線上に並んで配置されているものとする。このとき、マイクロレンズ２０により各画素は、射出瞳面上における瞳領域３１乃至３５と共役関係になるように設計される。図２（ｃ）の例では、画素２１は瞳領域３１と、画素２２は瞳領域３２と、画素２３は瞳領域３３と、画素２４は瞳領域３４と、そして画素２５は瞳領域３５とそれぞれ共役関係にある。

画像処理部１０３は、撮像部１０２から出力されたＬＦデータの画像信号に対して、所定の画像処理を実行する。具体的には画像処理部１０３は、入力されたアナログ画像信号に対するＡ／Ｄ変換処理、ホワイトバランス調整処理、ガンマ補正処理、補間演算処理等を行い、記録用の画像（ＬＦデータ）を生成する。なお、本実施形態では画像処理部１０３は、得られたＬＦデータから再構成画像を生成する処理も行う。また画像処理部１０３は、予め定められた符号化方式に応じて、画像、動画、音声等のデータの圧縮処理を実行する。各種画像処理は、専用回路等により実現されてよい。

メモリ１０４は、記憶素子及び該記憶素子への読み書きを行う処理回路を有する。メモリ１０４は、記憶素子への出力を行うとともに、表示部１０５に出力する画像を保存する。またメモリ１０４は、符号化された画像、動画、音声データ等を保存する。

表示部１０５は、例えばＬＣＤ等のデジタルカメラ１００が備える表示装置である。表示部１０５には、撮像により得られたＬＦデータから生成された再構成画像等が表示される。

操作検出部１０６は、デジタルカメラ１００が有するレリーズボタン等のユーザインタフェースになされた操作を検出する。具体的には操作検出部１０６は、ユーザにより例えばレリーズボタンが操作されたことを検出すると、該操作に対応する制御信号をカメラ制御部１０１に出力する。

〈レンズ２００の構成〉
レンズ制御部２０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。レンズ制御部２０１は、ＲＯＭに格納されているレンズ２００が有する各ブロックの動作プログラムを読み出し、ＲＡＭに展開して実行することにより、各ブロックの動作を制御する。レンズ制御部２０１は、電気接点１０７を介してカメラ制御部１０１より合焦位置や絞り値の情報を受信すると、該情報をレンズ駆動部２０３に伝送し、撮像光学系２０２の対応する光学部材を駆動させる。

撮像光学系２０２は、レンズ２００が有するレンズ群や絞り等で構成される。本実施形態では撮像光学系２０２は、少なくともフォーカスレンズ、シフトレンズ、及び絞りを含む。レンズ駆動部２０３は、レンズ制御部２０１から入力された情報に従い、撮像光学系２０２のフォーカスレンズ、シフトレンズ、及び絞りの駆動制御を行う。なお、本実施形態のレンズ制御部２０１には不図示の手振れ検出センサが接続されており、レンズ駆動部２０３はレンズ制御部２０１より入力された該センサの出力に応じてシフトレンズを駆動する。

《合焦評価処理》
以下、任意の被写体距離に合焦した再構成画像を生成する例として、このような構成をもつ本実施形態のデジタルカメラ１００の、被写体に合焦する合焦位置を探索して評価する合焦評価処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、カメラ制御部１０１が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。なお、本合焦評価処理は、例えばデジタルカメラ１００が撮影モードで起動中にレリーズボタンの半押し操作がなされたことに応じて実行されるオートフォーカス（ＡＦ）処理の過程でＬＦデータの取得命令がなされた際に開始されるものとして説明する。本合焦評価処理は、ＡＦ処理の過程でフォーカスレンズの１つの位置について撮像されたＬＦデータから複数の被写体距離について再構成画像を生成し、その各々についてコントラスト評価を行う。そして、該コントラスト評価の結果から、次にＬＦデータを取得する被写体距離の決定がなされる。

Ｓ３０１で、カメラ制御部１０１は、撮像部１０２に被写体を撮像させ、撮像時のフォーカスレンズの位置に係るＬＦデータを取得する。具体的にはカメラ制御部１０１は、所定の露出設定で撮像部１０２が出力したＬＦデータに係るアナログ画像信号に対して、画像処理部１０３にＡ／Ｄ変換処理を適用させ、ＬＦデータを取得する。

そしてカメラ制御部１０１は、以下のＳ３０２乃至Ｓ３０７で、再構成画像を生成してコントラスト評価を行う被写体距離の範囲について、所定の刻み幅で評価を行う被写体距離を選択しながらループ処理を行い、各被写体距離についてコントラスト評価を行う。コントラスト評価を行う被写体距離の範囲は、例えばＬＦデータを取得した際のフォーカスレンズの位置に対応する被写体距離を中心とした、所定の範囲であってよい。

Ｓ３０２で、カメラ制御部１０１は、コントラスト評価を行う被写体距離の範囲のうち、予め定められた全ての被写体距離についてＳ３０２乃至Ｓ３０７のループ処理が実行されたか否かを判断する。カメラ制御部１０１は、全ての被写体距離についてコントラスト評価が行われていない場合は処理をＳ３０４に移し、行われている場合は処理をＳ３０８に移す。

Ｓ３０３で、カメラ制御部１０１は、コントラスト評価を行う被写体距離（評価対象距離）を決定する。評価対象距離の決定は、例えば評価対象の被写体距離の範囲のうちの最小距離を初期値とし、順次、所定の距離を加えて得られた被写体距離に決定するものであってよい。

Ｓ３０４で、カメラ制御部１０１は、評価対象距離に対応する再構成面での画素配置にＬＦデータの画素列を並び替える。例えば、図４（ａ）に示されるように、垂直方向に並んだ画素についての画素列は、図４（ｂ）に示されるように再構成画像を生成する再構成面に応じて、光束の入射方向を考慮して決定される。図４（ｂ）では、撮像面が撮像時のフォーカスレンズに係る被写体距離に対応しており、該撮像面での配置が取得したＬＦデータの画素配列となっている。なお、再構成面における画素列の並び替えの情報は、予めフォーカスレンズの位置及びそのとき設定される再構成面の被写体距離に関連付けられてテーブルとしてＲＯＭに格納されていてもよいし、本ステップで所定の関係式を用いて決定されるものであってもよい。

Ｓ３０５で、カメラ制御部１０１は、再構成画像生成処理を実行し、取得したＬＦデータから、評価対象距離に対応する撮像面についての再構成画像を画像処理部１０３に生成させる。なお、再構成画像生成処理にて処理されるＬＦデータは、Ｓ３０４における画素配列の並び替えがなされたＬＦデータである。

〈再構成画像生成処理〉
ここで、本実施形態の再構成画像生成処理について、図５（ａ）のフローチャートを用いて詳細を説明する。

Ｓ５０１で、画像処理部１０３は、生成する再構成画像の各画素の画素値を格納する領域をメモリ１０４に確保し、該領域のデータを初期化（０で埋める）する。このとき、データ領域の容量はマイクロレンズアレイ１０８を構成するマイクロレンズの数に対応した容量であればよい。

そして画像処理部１０３は、Ｓ５０２乃至Ｓ５０７のループ処理を、マイクロレンズアレイ１０８を構成するマイクロレンズの数と同じ回数実行することで、合焦評価に用いる再構成画像を生成する。なお、マイクロレンズアレイ１０８のマイクロレンズには例えば左上から始まる水平走査順に整理番号が割り当てられており、ループ処理の実行回数に対応するマイクロレンズが、処理対象となる。

Ｓ５０２で、画像処理部１０３は、Ｓ５０２乃至Ｓ５０７のループ処理の実行回数が、マイクロレンズの数と同じ回数実行されたか否かを判断する。画像処理部１０３は、マイクロレンズの数と同じ回数実行されていない場合は処理をＳ５０３に移し、実行されている場合は本再構成画像生成処理を完了する。なお、マイクロレンズの数は、予めＲＯＭに格納される情報であってもよいし、撮像素子１０９の画素数を瞳分割数で割ることで取得してもよい。

また画像処理部１０３は、Ｓ５０３乃至Ｓ５０６のループ処理を撮像光学系２０２の射出瞳の瞳分割数と同じ回数実行することで、１つのマイクロレンズに対応付けられた位置に存在するＬＦデータの画素について画素値を合算する。なお、１つのマイクロレンズアレイに対応付けられた位置に存在するＬＦデータの画素については、例えば左上から始まる水平走査順に整理番号が割り当てられており、ループ処理の実行回数に対応する整理番号を有するＬＦデータの画素が、処理対象となる。

Ｓ５０３で、画像処理部１０３は、Ｓ５０３乃至Ｓ５０６のループ処理の実行回数が、瞳分割数と同じ回数実行されたか否かを判断する。実行されていない場合は処理をＳ５０４に移し、実行されている場合はループ処理を抜け、処理をＳ５０２に戻す。

Ｓ５０４で、画像処理部１０３は、処理対象のＬＦデータの画素が、加算対象の画素であるか否かを判断する。本実施形態のデジタルカメラ１００では、コントラスト評価を行う際に画質むらにより精度が低下することを回避するために、再構成画像の生成に使用するＬＦデータの画素（加算対象の画素）を、次のように制御する。

本実施形態のデジタルカメラ１００では、生成した再構成画像についてのコントラスト評価は水平ラインごとに行われる。即ち、図２（ａ）に示した評価対象領域４０内に含まれるマイクロレンズ群の水平方向に並んだマイクロレンズ２０に対応する画素について、コントラスト評価を行う。後述する本実施形態のコントラスト評価処理では、水平ラインの最大値の画素値が評価に用いられるため、最大値の画素値の生成条件を被写体距離の範囲で均一にしておく必要がある。つまり、１つの水平ラインについて画質むらによる評価精度の低下を回避するために、１つの水平ラインの画素についての実質的なＦ値が均一であり、かつ異なる再構成面においても該水平ラインの実質的なＦ値が均一であるように生成する必要がある。即ち、被写体距離の範囲について生成される複数の再構成画像において、同一の垂直位置に存在する水平ラインは、被写体距離によらずライン上の全画素について加算されたＬＦデータの画素数を同数にする必要がある。

例えば、再構成画像において図４（ｃ）に示されるような像高の低い位置では、図４（ｂ）のように水平ラインの各々はいずれの再構成面でも参照可能なＬＦデータの画素が存在する。このため、被写体距離の範囲について生成する複数の再構成画像において、像高が低い位置にある水平ラインでは、被写体距離によらず垂直方向の全ての画素を加算対象としてよい。

一方、再構成画像において図６（ｂ）に示されるような像高の高い位置では、図６（ａ）のように水平ラインは再構成面が異なった場合に、参照できない画素（図においてハッチングして示した画素）をその範囲に含む。例えば画素６０１については、再構成面６１１で図７（ｂ）、再構成面６１２で図７（ｃ）、再構成面６１３で図７（ｄ）のように、参照不可能な画素を１つのマイクロレンズ２０について、その垂直方向に含む。このような場合、再構成面６１３について生成する再構成画像において生成された再構成画像の画素６０１と、その他の再構成面について生成された再構成画像の画素６０１とは画素値を合算可能なＬＦデータの画素が異なるため、Ｆ値が異なることになる。

本実施形態のデジタルカメラ１００では、このような再構成画像における像高によって合算可能なＬＦデータの画素数が変化することに基づいて、同一の条件で画素を生成する再構成画像の領域（水平ライン）について、加算対象の画素数が均一となるように制御する。具体的にはコントラスト評価を行う被写体距離の範囲において生成される全ての再構成画像において、同一の水平ラインに含まれる画素の生成時に合算可能なＬＦデータの画素の数が最も少ない画素に合わせて、加算対象とする画素を決定する。例えば図６（ａ）の画素６０１については、再構成面６１３において生成時に合算可能な画素数が最小の３となるため、他の再構成面においても画素６０１については合算可能な画素列のうち３つの画素を加算対象とする。また、均一なＦ値の実現の観点では、再構成面における画素配列において同一の位置に存在する画素が加算対象とされることが好ましい。即ち、図７（ｂ）、（ｃ）、及び（ｄ）の例では、上から３画素が加算対象の画素とし、各再構成面において対応位置に存在する画素を生成時に合算すればよい。つまり、コントラスト評価において比較対象となる画素のＦ値を均一にすることで、コントラストＡＦの制度をより向上させることができる。

また、このような加算対象の画素の情報は、予めフォーカスレンズの位置及びそのとき設定される再構成面の被写体距離に関連付けられてテーブルとしてＲＯＭに格納されていればよい。また、その他にも、本ステップの実行前に所定の関係式を用いて合算可能な画素数が最も少ない画素を特定し、該画素の情報に応じて決定されるものであってもよい。

なお、図４、図６、及び図７の例では、説明を簡単にするために各マイクロレンズ２０の水平方向の中央に縦に並んだ画素列について、再構成画像の生成時に合算可能な画素を説明した。しかしながら、実際は図７（ａ）に示すように水平方向も配置された２次元配列の全ての画素について加算対象の画素であるか否かを判断することは容易に理解されよう。このとき、再構成画像の水平ライン内の画素によっては、生成時に該画素について合算可能なＬＦデータの画素が１以下になる場合も考えられる。それ故に、本実施形態では図２（ａ）に示したように、水平方向の両端のマイクロレンズ２０に対応する画素については、コントラスト評価に用いないものとしてしている。しかしながら、コントラスト評価に用いる再構成画像の領域についてはこれに限られるものではない。例えば、画素列の並べ替えにおける移動量に応じて決定される、再構成画像の生成時に合算可能なＬＦデータの画素数が予め定めた数に満たない画素については、再構成画像の生成範囲から除外するように調整してもよい。

画像処理部１０３は、処理対象のＬＦデータの画素が、加算対象の画素であると判断した場合は処理をＳ５０５に移し、加算対象の画素ではないと判断した場合は処理をＳ５０６に移す。

Ｓ５０５で、画像処理部１０３は、処理対象のＬＦデータの画素の画素値を、メモリ１０４上の対応する画素の格納領域の値に加算する。

このように本再構成画像生成処理を実行することにより、画像処理部１０３は評価対象距離に対応した再構成画像を生成することができる。カメラ制御部１０１は、再構成画像生成処理が完了した後、合焦評価処理をＳ３０５に移す。

Ｓ３０６で、カメラ制御部１０１は、生成した再構成画像の合焦度合いを示すコントラスト評価値を取得するコントラスト評価処理を画像処理部１０３に実行させる。

〈コントラスト評価処理〉
ここで、本実施形態のコントラスト評価処理について、図５（ｂ）のフローチャートを用いて詳細を説明する。

Ｓ５１１で、画像処理部１０３は、コントラスト評価を行う評価点の数及び評価枠の大きさを設定する。なお、評価点数や評価枠の大きさは、例えばユーザにより予め設定されていればよい。評価点数が多くなると、より再構成画像の広範囲を評価対象としてカバーすることが可能になるが、コントラスト評価に要する時間は長くなる。また評価枠の大きさが大きくなると、局所的にはパターンを有していないテクスチャであってもコントラスト評価を行うことが可能になるが、距離の異なる被写体の像を同時に評価する所謂遠近競合の発生確率が増加する。本実施形態では、このような問題を考慮した評価点数や評価枠の大きさが設定されているものとする。

Ｓ５１２で、画像処理部１０３は、再構成画像の各水平ラインの画素値についてフィルタ処理を適用する。該フィルタ処理では、例えばＤＣ成分のカット、及び水平１ラインの差分値変化の検出を行うバンドパスフィルタを適用する。

画像処理部１０３は、Ｓ５１３乃至Ｓ５１６のループ処理を、評価点数分実行することで、評価点数分の評価枠の各々についてコントラスト評価値を得ることができる。なお、本ループ処理では画像処理部１０３は、評価を行う評価枠を、予め設定された評価順に従って選択して以下の演算を行う。

Ｓ５１３で、画像処理部１０３は、Ｓ５１３乃至Ｓ５１６のループ処理の実行回数が、評価点数に達したか否かを判断する。画像処理部１０３は、ループ処理の実行回数が評価点数に達したと判断した場合は処理をＳ５１７に移し、達していないと判断した場合は処理をＳ５１４に移す。

Ｓ５１４で、画像処理部１０３は、評価枠内の再構成画像の全ての水平ラインについて、画素値の最大値をピークホールドする。

Ｓ５１５で、画像処理部１０３は、全ての水平ラインについてピークホールドした最大値を合算することで、コントラスト評価値を算出する。

Ｓ５１７で、画像処理部１０３は、各評価枠について算出したコントラスト評価値をカメラ制御部１０１に出力して、本コントラスト評価処理を完了する。

本実施形態では、このように評価枠内の全ての水平ラインについての最大画素値の合計値をコントラスト評価値として出力するものとして説明するが、対象被写体距離の変動に伴うコントラスト評価値の算出については他の計算方法を用いてもよい。例えば、隣接画素出力差の二乗和である二次コントラスト評価値を、隣接画素出力差の絶対和である一次コントラストの二乗で除すことで得られる、輝度値を無次元化した評価値を用いる方法が使用可能である。

このようにして合焦評価を行う再構成画像についてのコントラスト評価値を画像処理部１０３に出力させた後、カメラ制御部１０１は該評価値を対象被写体距離の情報に関連付けてＲＡＭに蓄積し、合焦評価処理をＳ３０７に移す。

Ｓ３０８で、カメラ制御部１０１は、撮影範囲の被写体に合焦する合焦位置を推定し、次にフォーカスレンズを駆動させる位置を決定し、本合焦評価処理を完了する。

このように、本合焦評価処理を行うことで、再構成画像の像高が高い位置においても、比較対象の他の再構成画像と画質を均一にすることができるため、好適なコントラスト評価を行うことができる。また、ＬＦデータから合焦位置の推定値をより詳細に取得することができるため、ＡＦ処理におけるフォーカスレンズの駆動時間を短縮することができ、結果的に高速なＡＦ処理を実現することができる。

以上説明したように、本実施形態の画像処理装置は、用途に応じた好適な画質の再構成画像を生成することができる。具体的には画像処理装置は、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像から、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離の被写体に合焦する再構成画像を生成する。具体的には再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する。画像処理装置は、生成する再構成画像の所定の領域内の画素について、所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な画像信号の画素に応じて、画素値を合算する画像信号の画素を異ならせる。

[変形例１]
上述した実施形態では、コントラスト評価を行う再構成画像の画素の生成時に合算可能な画素を、ＬＦデータに対応する光束が含まれているか否かに応じて判断するものとして説明したが、本発明の実施はこれに限られない。

図８（ｂ）に示されるように、撮像素子１０９の像高が高い位置では、マイクロレンズ２０内に撮像光学系２０２による口径食が生じうる。このような場合、口径食により光束が結像されなかった画素は、ＬＦデータに対応する光束が含まれていないことと等価である。図８（ａ）に示されるような画素８０１については、再構成面８１１では口径食により光束が結像されなかった画素、再構成面８１３においてはもともとＬＦデータに含まれない光束に対応する画素が含まれる。このような場合は、図８（ｃ）に示されるように垂直方向の上から３画素のみを画素８０１の生成に用いるように制御してもよい。

また撮像素子１０９には、撮像素子１０９の製造工程において生じる、あるいはデジタルカメラ１００の経年変化によって生じる欠陥画素が含まれる。このような欠陥画素である光電変換素子は、光学像に対応する画素値を出力することができず、コントラスト評価において精度を低減させる要因となりうるため、合算可能なＬＦデータの画素として取り扱わなくてよい。また露光条件によっては、撮像素子１０９の光電変換素子において、光電変換後の電子量が蓄積部の許容量を超えた（飽和した）飽和画素が生じることもある。該飽和画素は、画素値の最大値でハイカットされた値を示す画素となり、本来光学像について出力される画素値とは異なるため、合算可能なＬＦデータの画素から除外してよい。

［変形例２］
上述した実施形態及び変形例１では、コントラスト評価用の再構成画像について、加算対象のＬＦデータの画素を制御するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、コントラスト評価に限らず、観賞用の再構成画像を生成する際にも本発明は適用可能である。

観賞用の再構成画像は、上述したコントラスト評価用とは異なり、水平ラインだけでなく、画像全体で画質が均一であることが好ましい。このため、観賞用の再構成画像を生成する場合は、再構成画像を生成する全範囲の画素について、異なる被写体距離における合算可能なＬＦデータの画素の数を把握し、該画素数が最も少ない画素に合わせて、再構成画像の生成を行えばよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (17)

1. 画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得手段と、
   所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、
   前記取得手段により取得された画像信号から、前記決定手段により決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、
   前記生成手段は、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
   前記合算可能な前記画像信号の画素は、該画像信号が取得された際の前記撮像光学系を基準に定まる各画素の像高の情報、及び該画像信号の画素の状態の少なくともいずれかに基づいて決定される
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記所定の被写体距離の範囲について生成可能な再構成画像の中から、前記所定の領域内の画素の生成時に合算可能な前記画像信号の画素数が最も少ない画素を特定し、生成する再構成画像の前記所定の領域内の画素の生成時に、該最も少ない画素と同数の前記画像信号の画素の画素値を合算することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記最も少ない画素についての前記生成時に合算可能な前記画像信号の画素の位置の対応位置に存在する画素の画素値を、生成する再構成画像の前記所定の領域内の画素の生成時に合算することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記所定の被写体距離の範囲について生成可能な全ての再構成画像において、前記所定の領域内の画素の生成時に常に合算可能な前記画像信号の画素の位置の対応位置に存在する画素の画素値を、生成する再構成画像の前記所定の領域内の画素の生成時に合算することを特徴とする請求項１に記載の画像処理装置。
5. 前記生成手段は、生成する再構成画像の前記所定の領域内の画素の生成時に画素値を合算する前記画像信号の画素数が所定の数に満たない場合に、前記所定の領域を生成する再構成画像に含めないことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記合算可能な前記画像信号の画素は、前記画像信号を撮像した撮像素子に含まれる、光学像に対応しない画素値を出力する光電変換素子から出力された画素を含まないことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記合算可能な前記画像信号の画素は、前記画像信号を撮像した際に、前記撮像光学系に生じた口径食により光学像が結像されなかった画素を含まないことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記合算可能な前記画像信号の画素は、前記画像信号のうちの画素値が飽和している画素を含まないことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得手段と、
   所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、
   前記取得手段により取得された画像信号から、前記決定手段により決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、
   前記生成手段は、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
   前記合算可能な前記画像信号の画素は、前記画像信号のうちの画素値が飽和している画素を含まない
   ことを特徴とする画像処理装置。
10. 画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を撮像する撮像手段と、
    所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、
    前記撮像手段により撮像された画像信号から、前記決定手段により決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、
    前記生成手段は、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
    前記合算可能な前記画像信号の画素は、該画像信号が取得された際の前記撮像光学系を基準に定まる各画素の像高の情報、及び該画像信号の画素の状態の少なくともいずれかに基づいて決定される
    ことを特徴とする撮像装置。
11. 画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を撮像する撮像手段と、
    所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、
    前記撮像手段により撮像された画像信号から、前記決定手段により決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、
    前記生成手段は、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
    前記合算可能な前記画像信号の画素は、前記画像信号のうちの画素値が飽和している画素を含まない
    ことを特徴とする撮像装置。
12. 画像処理装置の取得手段が、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得工程と、
    前記画像処理装置の決定手段が、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定工程と、
    前記画像処理装置の生成手段が、前記取得工程において取得された画像信号から、前記決定工程において決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成工程であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成工程と、を有し、
    前記生成手段は前記生成工程において、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
    前記合算可能な前記画像信号の画素は、該画像信号が取得された際の前記撮像光学系を基準に定まる各画素の像高の情報、及び該画像信号の画素の状態の少なくともいずれかに基づいて決定される
    ことを特徴とする画像処理装置の制御方法。
13. 画像処理装置の取得手段が、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得工程と、
    前記画像処理装置の決定手段が、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定工程と、
    前記画像処理装置の生成手段が、前記取得工程において取得された画像信号から、前記決定工程において決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成工程であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成工程と、を有し、
    前記生成手段は前記生成工程において、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
    前記合算可能な前記画像信号の画素は、前記画像信号のうちの画素値が飽和している画素を含まない
    ことを特徴とする画像処理装置の制御方法。
14. 撮像装置の撮像手段が、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を撮像する撮像工程と、
    前記撮像装置の決定手段が、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定工程と、
    前記撮像装置の生成手段が、前記撮像工程において撮像された画像信号から、前記決定工程において決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成工程であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成工程と、を有し、
    前記生成手段は前記生成工程において、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
    前記合算可能な前記画像信号の画素は、該画像信号が取得された際の前記撮像光学系を基準に定まる各画素の像高の情報、及び該画像信号の画素の状態の少なくともいずれかに基づいて決定される
    ことを特徴とする撮像装置の制御方法。
15. 撮像装置の撮像手段が、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を撮像する撮像工程と、
    前記撮像装置の決定手段が、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定工程と、
    前記撮像装置の生成手段が、前記撮像工程において撮像された画像信号から、前記決定工程において決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成工程であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成工程と、を有し、
    前記生成手段は前記生成工程において、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な１つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
    前記合算可能な前記画像信号の画素は、前記画像信号のうちの画素値が飽和している画素を含まない
    ことを特徴とする撮像装置の制御方法。
16. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. コンピュータに、請求項１４または１５に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。

Images