JP2011109310A - 画像合成装置および撮像装置 - Google Patents

Abstract

【課題】被写体について焦点の合った画像信号を適切に合成可能な画像合成装置を提供する。
【解決手段】複数のマイクロレンズ１１１ａを二次元状に配列したマイクロレンズアレイ１１１と、複数のマイクロレンズに対して設けられた複数の光電変換素子１１２ａとを有し、マイクロレンズアレイを介して光学系からの光束を受光して得られる複数の受光信号を出力する受光手段１１０と、複数の受光信号の一部を、第１の選択形態により選択して得られる第１画像信号と、第１の選択形態とは異なる第２の選択形態により選択して得られる第２画像信号と、を生成するとともに、第１画像信号のコントラストに関する評価値と、第２画像信号のコントラストに関する評価値とに基づいて、評価値が最大となる画像信号を生成する画像生成手段１２０と、画像生成手段により評価値が最大となる画像信号を生成できない場合に、光学系の焦点状態を変更する変更手段２３０と、を備える。
【選択図】図１

Description

本発明は、画像合成装置および撮像装置に関するものである。

従来より、撮像素子の撮像面に結像した被写体像を撮像信号として出力する撮像装置が知られている。このような撮像装置において、１回の撮影で得られた撮像信号に基づいて、光学系の任意の像面に焦点の合った画像を合成する技術が開示されている（特許文献１）。

特開２００７−４４７１号公報

しかしながら、１回の撮影で得られる撮像信号に基づいて合成可能な像面の範囲（以下、「画像合成範囲」という）は限られており、従来技術では、所定の被写体に合焦する像面が画像合成範囲内にない場合に、該被写体について焦点の合った画像を合成できない場合があった。

本発明が解決しようとする課題は、所定の被写体について焦点の合った画像を適切に得ることができる画像合成装置を提供することである。

この発明は、以下の解決手段によって上記課題を解決する。なお、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。

［１］本発明に係る画像合成装置は、複数のマイクロレンズ（１１１ａ）を二次元状に配列したマイクロレンズアレイ（１１１）と、前記複数のマイクロレンズに対して設けられた複数の光電変換素子（１１２ａ）とを有し、前記マイクロレンズアレイを介して光学系からの光束を受光して得られる複数の受光信号を出力する受光手段（１１０）と、前記複数の受光信号の一部を、第１の選択形態により選択して得られる第１画像信号と、前記第１の選択形態とは異なる第２の選択形態により選択して得られる第２画像信号と、を生成するとともに、前記第１画像信号のコントラストに関する評価値と、前記第２画像信号のコントラストに関する評価値とに基づいて、前記評価値が最大となる画像信号を生成する画像生成手段（１２０）と、前記画像生成手段により前記評価値が最大となる画像信号を生成できない場合に、前記光学系の焦点状態を変更する変更手段（２３０）と、を備えることを特徴とする。

［２］上記画像合成装置に係る発明において、前記画像生成手段（１２０）は、少なくとも３つの画像信号の評価値を求めることにより、前記評価値が最大となる画像信号に対応する前記受光信号の選択形態を決定するように構成することができる。

［３］上記画像合成装置に係る発明において、前記画像生成手段（１２０）は、前記受光信号に基づく画像のうちの所定の部分領域に対応する受光信号に基づいて、前記第１画像信号および前記第２画像信号を生成するように構成することができる。

［４］上記画像合成装置に係る発明において、前記受光信号に基づく画像内の前記部分領域の位置を選択するための領域選択手段（１２０）をさらに備え、前記画像生成手段（１２０）は、前記領域選択手段による選択結果に応じて、前記所定の部分領域を決定するように構成することができる。

［５］上記画像合成装置に係る発明において、前記領域選択手段（１２０）は、前記受光信号に基づく画像のシーンを認識する認識手段（１２０）を備え、前記画像生成手段（１２０）は、前記認識手段により認識されたシーンに応じて、前記所定の部分領域を決定するように構成することができる。

［６］本発明に係る撮像装置は、上記画像合成装置を備えることを特徴とする。

［７］上記撮像装置に係る発明において、前記画像生成手段（１２０）により生成された画像信号に対応する前記光学系の像面が、前記受光手段（１１０）の受光面と一致するように、前記変更手段（２３０）を制御する制御手段（２５０）をさらに備えるように構成することができる。

本発明によれば、所定の被写体について焦点の合った画像を適切に得ることができる。

図１は、本実施形態に係るカメラ１を示すブロック図である。 図２は、図１に示す撮像素子１１０を構成する画素配列の一例を示す平面図である。 図３は、図２に示すIII部分の拡大図である。 図４は、撮像素子１１０の構成を説明するための図である。 図５は、本実施形態に係るカメラ１の動作を示すフローチャートである。 図６は、マイクロレンズ１１１ａを介して、光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａのうち、特定の光電変換素子ｃ_１に入射する光束の一例を示す図である。 図７は、本実施形態に係るカメラ１の動作を説明するための図である。 図８は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝０）であるときの画像合成方法の一例を説明するための図である。 図９は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ_１）であるときの画像合成方法の一例を説明するための図である。 図１０は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ_２）であるときの画像合成方法の一例を説明するための図である。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の実施形態に係るカメラ１を示すブロック図である。本実施形態のカメラ１は、カメラボディ１００とレンズ鏡筒２００とを備えている。

レンズ鏡筒２００には、レンズ２１１，２１２，２１３、および絞り２２０を含む撮影光学系が内蔵されている。

フォーカスレンズ２１２は、レンズ鏡筒２００の光軸Ｌ１に沿って移動可能に設けられ、エンコーダ２６０によってその位置が検出されつつレンズ駆動モータ２３０によってその位置が調節される。

このフォーカスレンズ２１２の光軸Ｌ１に沿う移動機構の具体的構成は特に限定されない。一例を挙げれば、レンズ鏡筒２００に固定された固定筒に回転可能に回転筒を挿入し、この回転筒の内周面にヘリコイド溝（螺旋溝）を形成するとともに、フォーカスレンズ２１２を固定するレンズ枠の端部をヘリコイド溝に嵌合させる。そして、レンズ駆動モータ２３０によって回転筒を回転させることで、レンズ枠に固定されたフォーカスレンズ２１２が光軸Ｌ１に沿って直進移動することになる。なお、レンズ鏡筒２００にはフォーカスレンズ２１２以外のレンズ２１１，２１３が設けられているが、ここではフォーカスレンズ２１２を例に挙げて本実施形態を説明する。

上述したようにレンズ鏡筒２００に対して回転筒を回転させることによりレンズ枠に固定されたフォーカスレンズ２１２は光軸Ｌ１方向に直進移動するが、その駆動源としてのレンズ駆動モータ２３０がレンズ鏡筒２００に設けられている。レンズ駆動モータ２３０と回転筒とは、たとえば複数の歯車からなる変速機で連結され、レンズ駆動モータ２３０の駆動軸を何れか一方向へ回転駆動すると所定のギヤ比で回転筒に伝達され、そして、回転筒が何れか一方向へ回転することで、レンズ枠に固定されたフォーカスレンズ２１２が光軸Ｌ１の何れかの方向へ直進移動することになる。なお、レンズ駆動モータ２３０の駆動軸が逆方向に回転駆動すると、変速機を構成する複数の歯車も逆方向に回転し、フォーカスレンズ２１２は光軸Ｌ１の逆方向へ直進移動することになる。

フォーカスレンズ２１２の位置はエンコーダ２６０によって検出される。既述したとおり、フォーカスレンズ２１２の光軸Ｌ１方向の位置は回転筒の回転角に相関するので、たとえばレンズ鏡筒２００に対する回転筒の相対的な回転角を検出すれば、その位置を求めることができる。

本実施形態のエンコーダ２６０としては、回転筒の回転駆動に連結された回転円板の回転をフォトインタラプタなどの光センサで検出して、回転数に応じたパルス信号を出力するものや、固定筒と回転筒の何れか一方に設けられたフレキシブルプリント配線板の表面のエンコーダパターンに、何れか他方に設けられたブラシ接点を接触させ、回転筒の移動量（回転方向でも光軸方向の何れでもよい）に応じた接触位置の変化を検出回路で検出するものなどを用いることができる。

フォーカスレンズ２１２は、上述した回転筒の回転によってカメラボディ１００側の端部（至近端ともいう）から被写体側の端部（無限端ともいう）までの間を光軸Ｌ１方向に移動することができる。ちなみに、このフォーカスレンズ２１２の移動は、レンズ制御部２５０からの指令によって制御される。

絞り２２０は、上記撮影光学系を通過して、カメラボディ１００に備えられた撮像素子１１０に至る光束の光量を制限するとともにボケ量を調整するために、光軸Ｌ１を中心にした開口径が調節可能に構成されている。絞り２２０による開口径の調節は、たとえば自動露出モードにおいて演算された適切な開口径が、カメラ制御部１２０からレンズ制御部２５０を介して絞り駆動部２４０へ送信されることにより行われる。また、開口径の調節は、カメラボディ１００に設けられた操作部１３０を介したマニュアル操作により、設定された開口径がカメラ制御部１２０からレンズ制御部２５０を介して絞り駆動部２４０へ送信されることによっても行われる。なお、絞り２２０の開口径は図示しない絞り開口センサにより検出され、レンズ制御部２５０で現在の開口径が認識される。

一方、カメラボディ１００には、被写体からの光束を受光する撮像素子１１０が、光軸Ｌ１上であって、撮影光学系の予定焦点面に設けられている。撮像素子１１０は二次元ＣＣＤイメージセンサ、ＭＯＳセンサまたはＣＩＤなどのデバイスから構成され、受光した光信号を受光信号に変換する。ここで、図２は撮像素子１１０を構成する画素配列の一例を示す平面図であり、図３は図２に示すIII部分の拡大図である。図２に示すように、撮像素子１１０は、複数のマイクロレンズ１１１ａを二次元状に稠密に配列したマイクロレンズアレイ１１１を備えている。また、図３に示すように、撮像素子１１０は、各マイクロレンズ１１１ａに対して、複数の光電変換素子１１２ａから構成される各光電変換素子アレイ１１２を有している。なお、図３において、光電変換素子アレイ１１２を構成する光電変換素子１１２ａの数（画素密度）は、縦方向および横方向ともに５個となっているが、これらの数は、特に限定されるものではない。

さらに、図４は、撮像素子１１０の構成を説明するための図であり、図３と同様に、図２のIII部分を拡大した斜視図である。図４に示すように、光電変換素子アレイ１１２は、マイクロレンズアレイ１１１の後方に配置されおり、マイクロレンズアレイ１１１と光電変換素子アレイ１１２との間には、マイクロレンズ１１１ａの焦点距離に対応する間隔が設けられている。そして、被写体からの光束（光軸Ｌ１）は、まずマイクロレンズ１１１ａへと入射され、マイクロレンズ１１１ａを通過して光電変換素子１１２ａで受光される。各光電変換素子１１２ａは、受光した光の強度に応じた受光信号を出力し、複数の光電変換素子１１２ａから出力された受光信号は、カメラ制御部１２０に送信される。

操作部１３０は、例えば、シャッターレリーズボタン、カメラ１の各種動作モードを設定するためのモード設定スイッチ、および、撮影者が焦点を合わせたい被写体を選択するためのスイッチなどを備えている。シャッターレリーズボタンは、ボタンの半押しでＯＮとなる第１スイッチＳＷ１と、ボタンの全押しでＯＮとなる第２スイッチＳＷ２とを含む。また、モード設定スイッチは、オートフォーカスモード／マニュアルフォーカスモードの切換が行える。操作部１３０により設定されたシャッターレリーズボタンのスイッチＳＷ１，ＳＷ２、各種モードの情報は、カメラ制御部１２０へ送信される。また、撮影者により選択された被写体に対応する撮影画像中の領域の情報は、同様に、カメラ制御部１２０へ送信され、後述する被写体領域として設定される。

カメラ制御部１２０は、メモリ、ＣＰＵその他の周辺部品から構成され、撮像素子１１０から送信された受光信号を取得し、取得した受光信号に基づき、焦点評価値の算出および評価を行う。さらに、カメラ制御部１２０は、焦点評価値の評価の結果に基づき、レンズ制御部２５０を介して、フォーカスレンズ２１２の駆動を制御する。

また、操作部１３０を介して、撮影者により、撮影画像中の被写体のうち焦点を合わせたい被写体が選択された場合には、カメラ制御部１２０は、撮影者により選択された被写体に対応する撮影画像中の領域を、被写体領域として設定する。

次に、本実施形態に係るカメラ１の動作例を説明する。図５は、本実施形態に係るカメラ１の動作を示すフローチャートである。

まず、ステップＳ１０１では、カメラ制御部１２０により、撮像素子１１０を構成する複数の光電変換素子１１２ａから受光信号の読み出が行われ、読み出された受光信号が、スルー画像として表示される。

ステップＳ１０２では、カメラ制御部１２０により、操作部１３０を介して、スルー画像上の被写体のうち焦点を合わせたい被写体の位置が撮影者により選択されたか判断される。操作部１３０を介して、撮影者により、撮影画像中の被写体のうち焦点を合わせたい被写体が選択された場合、ステップＳ１０３に進み、選択された被写体に対応する撮影画像中の領域が、被写体領域として設定される。一方、撮影者により焦点を合わせたい被写体が選択されていない場合は、ステップＳ１０１に戻り、撮影者により被写体が選択されるまで、スルー画像の表示が繰り返し行われる。

ステップＳ１０４では、カメラ制御部１２０により、シャッターレリーズボタンの半押し（第１スイッチＳＷ１のオン）がされたか否か判断される。第１スイッチＳＷ１がオンである場合はステップＳ１０５へ進み、一方、第１スイッチＳＷ１がオンでない場合は、第１スイッチＳＷ１が押されるまで、待機する。

ステップＳ１０５では、カメラ制御部１２０により、再度、撮像素子１１０を構成する複数の光電変換素子１１２ａから受光信号が読み出される。

そして、ステップＳ１０６では、カメラ制御部１２０は、読み出した受光信号に基づいて、画像合成範囲（合成画像信号を合成可能な範囲。詳細は後述する。）内の複数の像面位置に対応する像面の異なる複数の画像信号を、それぞれ合成画像信号として合成する。

ここで、本実施形態で合成される複数の合成画像信号は、後述するステップＳ１０７で、焦点評価値を算出する際に、画像合成範囲内における焦点評価値のピークを検出するための信号として用いられる。本実施形態においては、画像合成範囲内において合成される合成画像信号の数は、特に限定されないが、焦点評価値のピークを検出できる数であればよく、通常、３点以上である。

また、合成画像信号は、撮影画像中の全ての領域ではなく、撮影画像中の全ての領域のうちステップＳ１０３で設定された被写体領域、すなわち、撮影画像中の一部の領域に対応する受光信号に基づいて合成される。例えば、図２を参照して説明すると、ステップＳ１０３において、図２中のIII部分に対応する領域を被写体領域として設定した場合、ステップＳ１０６では、図２中のIII部分に対応する受光信号に基づいて、図２中のIII部分に対応する被写体領域についての合成画像信号を合成する。

続いて、合成画像信号を合成可能な範囲である画像合成範囲について説明する。図６は、光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａのうちの特定の光電変換素子ｃ_１に対してマイクロレンズ１１１ａを介して入射する光束を示す図である。なお、図６においては、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａをａ_１，ｂ_１，ｃ_１，ｄ_１，ｅ_１で示した。本実施形態に係る撮像装置によって得られる像の分解能は、画素の単位であるマイクロレンズ１つ分に相当する。そのため、分解能を保ったまま像を合成できる像面の範囲は、図６に示すように、光電変換素子１１２ａのマイクロレンズ１１１ａによる逆投影像の大きさが、マイクロレンズ１１１ａの有効径Ｄとほぼ同じになるマイクロレンズ１１１ａからの距離Ｌとすることができる。すなわち、マイクロレンズ１１１ａの有効径Ｄ（配列ピッチＰ＞Ｄ）と同じ大きさの範囲からの光がマイクロレンズ１１１ａを通過して１つの光電変換素子ｃ_１に入射すれば、画素の単位であるマイクロレンズの大きさに相当する分解能を得ることができる。よって、この距離Ｌが画像合成範囲となり、この画像合成範囲内の像面位置であれば、合成画像信号を合成することが可能となる。

例えば、図７に示す例において、フォーカスレンズ２１２が像面位置ａ_０に対応する位置にある場合、合成画像信号を合成可能な範囲は、画像合成範囲Ａとなり、そのため、カメラ制御部１２０は、画像合成範囲Ａ内の複数の像面位置について、像面の異なる複数の合成画像信号を合成することができる。なお、図７は、カメラ１の動作を説明するための図である。

次に、各像面位置に対応する合成画像信号の具体的な合成方法について、図８〜図１０を参照しながら説明する。図８〜図１０は、本実施形態における画像合成方法の一例を説明するための図である。

図８に示す場面例では、マイクロレンズアレイ１１１からの像面の高さ（マイクロレンズアレイ１１１から距離）をＺとした場合に、像面の高さＺ＝０である位置に画像合成の対象となる被写体が存在する場合である。図８においては、撮像素子１１０の各光電変換素子アレイ１１２について、各光電変換素子アレイ１１２を構成する光電変換素子１１２ａのうち、５つの光電変換素子１１２ａに入射する各光線（マイクロレンズアレイ１１１を構成するマイクロレンズ１１１ａの中心を通る主光線のみ）を示した。また、図８中においては、各光電変換素子１１２ａを識別するために、それぞれの光電変換素子１１２ａを、ａ_１〜ｅ_１、ａ_２〜ｅ_２、ａ_３〜ｅ_３、ａ_４〜ｅ_４、ａ_５〜ｅ_５で示すとともに、像面の高さＺ＝０における各座標Ｘ_１、Ｘ_２、Ｘ_３、Ｘ_４、Ｘ_５のうち、Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）を実線で示し、それ以外のＸ_１、Ｘ_２、Ｘ_４、Ｘ_５からの射出光束を点線で示した（以下、図９、図１０においても同様。）。

図８に示すように、像面の高さＺ＝０における座標Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）は、各光電変換素子ａ_３、ｂ_３、ｃ_３、ｄ_３、ｅ_３、にそれぞれ入射する。そのため、像面の高さＺ＝０における座標Ｘ_３における画素値Ｌ（Ｚ＝０、Ｘ_３）は、これら光電変換素子ａ_３、ｂ_３、ｃ_３、ｄ_３、ｅ_３における出力を合成することにより求めることができる（下記式（１）参照）。
Ｌ（Ｚ＝０、Ｘ_３）＝Ｏｕｔ（ａ_３）＋Ｏｕｔ（ｂ_３）＋Ｏｕｔ（ｃ_３）＋Ｏｕｔ（ｄ_３）＋Ｏｕｔ（ｅ_３） …（１）

また、同様に、座標Ｘ_３に隣接する座標Ｘ_４における画素値Ｌ（Ｚ＝０、Ｘ_４）は、下記式（２）に従って求めることができる。
Ｌ（Ｚ＝０、Ｘ_４）＝Ｏｕｔ（ａ_４）＋Ｏｕｔ（ｂ_４）＋Ｏｕｔ（ｃ_４）＋Ｏｕｔ（ｄ_４）＋Ｏｕｔ（ｅ_４） …（２）

したがって、座標Ｘ_ｉにおける画素値Ｌ（Ｚ＝０、Ｘ_ｉ）は、下記式（３）に従って、それぞれ求めることができる。
Ｌ（Ｚ＝０、Ｘ_ｉ）＝Ｏｕｔ（ａ_ｉ）＋Ｏｕｔ（ｂ_ｉ）＋Ｏｕｔ（ｃ_ｉ）＋Ｏｕｔ（ｄ_ｉ）＋Ｏｕｔ（ｅ_ｉ） …（３）

なお、上記式（３）は、撮影者による指定絞り値が開放（開口サイズ最大）であったときに採用される式である。そのため、仮に、撮影者による指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５からなる光束を、光線ｒ_３のみからなる光束に制限すればよいので、上記式（３）に代えて下記式（４）を採用すればよい（後述する図９、図１０に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘ_ｉ）＝Ｏｕｔ（ｃ_ｉ） …（４）

また、撮影者による指定絞り値が中間値（開口サイズ中間）であったときには、光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５からなる光束を、光線ｒ_２、ｒ_３、ｒ_４のみからなる光束に制限すればよいので、上記式（３）に代えて下記式（５）を採用すればよい（後述する図９、図１０に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘ_ｉ）＝Ｏｕｔ（ｂ_ｉ）＋Ｏｕｔ（ｃ_ｉ）＋Ｏｕｔ（ｄ_ｉ） …（５）

なお、上記説明においては、或る１方向に並ぶ５つの光電変換素子ａ_３、ｂ_３、ｃ_３、ｄ_３、ｅ_３のみに着目し、それら５つの光電変換素子の出力値の和をとったが、実際は、２方向に並ぶ２５個の光電変換素子の出力値の和をとる必要がある（後述する図９、図１０に示す場合においても同様。）。

次いで、図９に示すように、像面の高さＺ＝ｈ_１である位置に画像合成の対象となる被写体が存在する場合について説明する。図９に示すように、像面の高さＺ＝ｈ_１における座標Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）は、図８の場合と異なり、各光電変換素子ａ_１、ｂ_２、ｃ_３、ｄ_４、ｅ_５にそれぞれ入射する。そのため、像面の高さＺ＝ｈ_１における座標Ｘ_３における画素値Ｌ（Ｚ＝ｈ_１、Ｘ_３）は、これら光電変換素子ａ_１、ｂ_２、ｃ_３、ｄ_４、ｅ_５における出力を合成することにより求めることができる（下記式（６）参照）。
Ｌ（Ｚ＝ｈ_１、Ｘ_３）＝Ｏｕｔ（ａ_１）＋Ｏｕｔ（ｂ_２）＋Ｏｕｔ（ｃ_３）＋Ｏｕｔ（ｄ_４）＋Ｏｕｔ（ｅ_５） …（６）

さらに、図１０に示すように、像面の高さＺ＝ｈ_２である位置に合成対象となる被写体が存在する場合について説明する。図１０に示すように、像面の高さＺ＝ｈ_２における座標Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）は、図８、図９の場合と異なり、複数の光電変換素子にまたがって入射することとなる。具体的には、図１０に示すように、光線ｒ_１は光電変換素子ａ_１、ｂ_１に、光線ｒ_２は光電変換素子ｂ_２、ｃ_２に、光線ｒ_４は光電変換素子ｃ_４、ｄ_４に、光線ｒ_５は光電変換素子ｄ_５、ｅ_５に、それぞれまたがって入射する。なお、光線ｒ_３は、図１０に示すように光電変換素子ｃ_３にのみ入射する。そのため、光線ｒ_１に着目すると、光線ｒ_１の光量は、光電変換素子ａ_１の出力値Ｏｕｔ（ａ_１）と、光電変換素子ｂ_１の出力値Ｏｕｔ（ｂ_１）との重み付け和によって求めることができる（下記式（７）参照）。ここで、下記式（７）において、ｗ_１１、ｗ_１２は、重み係数であり、マイクロレンズアレイ１１１からの像面の高さＺに応じて決まる係数である。
Ｏｕｔ（ａ_１）×ｗ_１１＋Ｏｕｔ（ｂ_１）×ｗ_１２ …（７）

そして、光線ｒ_２、光線ｒ_４、光線ｒ_５の光量も、同様に重み付け和によって求めることができるため、像面の高さＺ＝ｈ_２における座標Ｘ_３における画素値Ｌ（Ｚ＝ｈ_２、Ｘ_３）は、下記式（８）に従って求めることができる。なお、下記式（８）において、Ｗ_２１、Ｗ_２２、Ｗ_４１、Ｗ_４２、Ｗ_５１、Ｗ_５２は、重み係数であり、マイクロレンズアレイ１１１からの像面の高さＺに応じて決まる係数である。
Ｌ（Ｚ＝ｈ_２、Ｘ_３）＝〔Ｏｕｔ（ａ_１）×ｗ_１１＋Ｏｕｔ（ｂ_１）×ｗ_１２〕＋〔Ｏｕｔ（ｂ_２）×Ｗ_２１＋Ｏｕｔ（ｃ_２）×ｗ_２２〕＋Ｏｕｔ（ｃ_３）＋〔Ｏｕｔ（ｃ_４）×Ｗ_４１＋Ｏｕｔ（ｄ_４）×Ｗ_４２〕＋〔Ｏｕｔ（ｄ_５）×Ｗ_５１＋Ｏｕｔ（ｅ_５）×Ｗ_５２〕 …（８）

このように、画像合成の対象となる被写体が存在する像面位置Ｚに応じて、被写体からの光束の入射する光電変換素子１１２ａ、および画像合成に必要な重み付け係数の値が決まってくることとなる。なお、各像面位置Ｚに対応する、被写体からの光束の入射する光電変換素子１１２ａ、および画像合成に必要な重み付け係数の値は、たとえば、カメラ制御部１２０の備えるメモリなどに予め記憶させておき、これを利用するような構成とすればよい。

以上のように、カメラ制御部１２０は、複数の光電変換素子１１２ａから得られた受光信号に基づいて、所定の像面位置Ｚに対応する合成画像信号を合成することができる。

次に、ステップＳ１０７では、カメラ制御部１２０により、ステップＳ１０６で合成された複数の合成画像信号のそれぞれについて、合成画像信号のコントラストに関する焦点評価値が算出される。焦点評価値は、例えば、合成した合成画像信号の空間周波数から高周波成分を、高周波透過フィルタを用いて抽出し、抽出された高周波成分の絶対値を積算することで求められる。また、焦点評価値は、遮断周波数が異なる２つの高周波透過フィルタを用いて高周波成分を抽出し、抽出された高周波成分の絶対値のそれぞれを積算することで求めてもよい。

ステップＳ１０８では、カメラ制御部１２０により、画像合成範囲内において焦点評価値のピークが検出されたか否か判断される。具体的には、ステップＳ１０８において、カメラ制御部１２０は、ステップＳ１０７で算出した少なくても３つの焦点評価値に基づいて、３点内挿法により、焦点評価値のピークの検出を行う。そして、画像合成範囲内において焦点評価値のピークを検出できた場合は、画像合成範囲内に被写体に対応する像面位置が存在すると判断し、ステップＳ１０９に進み、一方、画像合成範囲内において焦点評価値のピークを検出できなかった場合は、画像合成範囲内に被写体に対応する像面位置が存在しないと判断（焦点評価値が最大となる合成画像信号を生成できないと判断）し、ステップＳ１１０に進む。例えば、図７に示す例において、フォーカスレンズ２１２が像面位置ａ_０に対応する位置にあり、かつ、被写体に対応する像面位置が画像合成範囲Ａに存在する場合、画像合成範囲Ａ内において焦点評価値のピークを検出することができるため、ステップＳ１０９に進む。一方、例えば、フォーカスレンズ２１２が像面位置ａ_０に対応する位置にあり、かつ、被写体に対応する像面位置が画像合成範囲Ｂまたは画像合成範囲Ｃに存在し、画像合成範囲Ａに存在しない場合、画像合成範囲Ａにおいて、焦点評価値のピークを検出することができないため、ステップＳ１１０に進む。

ステップＳ１０９では、ステップＳ１０８で検出された焦点評価値のピークに基づいて、フォーカスレンズ２１２が駆動される。例えば、図７に示す例において、画像合成範囲Ａにおいて焦点評価値のピークが検出され、かつ、フォーカスレンズ２１２が画像合成範囲Ｂの像面位置ｂ_０に対応する位置にある場合、カメラ制御部１２０からレンズ制御部２５０に対して、フォーカスレンズ２１２を画像合成範囲Ａ内の像面位置ａ_０まで駆動させるように指令が送出される。これにより、レンズ駆動モータ２２６を介して、フォーカスレンズ２１２が像面位置ａ_０に対応する位置に駆動される。

一方、ステップＳ１０８で焦点評価値のピークを検出できない場合はステップＳ１１０に進む。ステップＳ１１０では、カメラ制御部１２０により、焦点評価値のピークの探索を終了するか否か判断され、焦点評価値のピークの探索を終了する場合は、ステップＳ１１２に進み、焦点評価値のピークの探索を終了しない場合は、ステップＳ１１１に進む。ステップＳ１１１では、所定の距離だけ、フォーカスレンズ２１２が駆動される。

例えば、図７に示す例において、フォーカスレンズ２１２が像面位置ａ_０に対応する位置にあり、画像合成範囲Ａにおいて焦点評価値のピークを検出できなかった場合（ステップＳ１０８＝ＮＯ）に、画像合成範囲Ｂにおいて焦点評価値のピークの検出をまだ行っていない場合は、焦点評価値のピークの検索を終了することなく（ステップＳ１１０＝ＮＯ）、画像合成範囲Ｂにおいて焦点評価値のピークの検出を行うために、フォーカスレンズ２１２を像面位置ａ_０に対応する位置から像面位置ｂ_０に対応する位置まで駆動する（ステップＳ１１１）。一方、例えば、被写体像が低コントラストであり、フォーカスレンズ２１２の駆動可能範囲において、焦点評価値のピークを検出できない場合には、焦点評価値のピークの検索を終了し（ステップＳ１１０＝ＹＥＳ）、ステップＳ１１２へ進む。

ステップＳ１１１でフォーカスレンズ２１２が所定の距離だけ駆動された後は、ステップＳ１０４に戻り、駆動後のフォーカスレンズ２１２のレンズ位置において受光した受光信号が読み出され（ステップＳ１０５）、この受光信号に基づく画像合成範囲内の複数の像面位置に対応する複数の合成画像信号が合成され（ステップＳ１０６）、合成された合成画像信号から算出された焦点評価値に基づいて、焦点評価値のピークの検出が行われる（ステップＳ１０８）。

例えば、図７に示す例において、画像合成範囲Ａにおいて焦点評価値のピークを検出できなかった場合（ステップＳ１０８＝ＮＯ）、フォーカスレンズ２１２を像面位置ａ_０に対応する位置から像面位置ｂ_０に対応する位置まで駆動する（ステップＳ１１１）。そして、駆動後の像面位置ｂ_０に対応するレンズ位置において受光された受光信号を読み出す（ステップＳ１０５）。この場合、この受光信号に基づいて、合成可能な像面な範囲は画像合成範囲Ｂとなる。そのため、画像合成範囲Ｂ内の複数の像面位置に対応する複数の合成画像信号を合成し（ステップＳ１０６）、これら合成画像信号についての焦点評価値を算出し（ステップＳ１０７）、焦点評価値のピークの検出を行う（ステップＳ１０８）。このように、本実施形態では、画像合成範囲内において焦点評価値のピークが検出されるか、焦点評価値のピークの探索が終了するまで、フォーカスレンズ２１２の駆動と、新たな画像合成範囲内における焦点評価値のピークの検出が行われる。

そして、ステップＳ１０８で焦点評価値のピークが検出され、ステップＳ１０９で焦点評価値のピークに基づいて、フォーカスレンズ２１２の駆動が行われた後は、ステップＳ１１２に進む。ステップＳ１１２では、カメラ制御部１２０により、シャッターレリーズボタンの全押し（第２スイッチＳＷ２のオン）がされたか否か判断される。第２スイッチＳＷ２がオンの場合には、ステップＳ１１３に進む。一方、第２スイッチＳＷ２がオンではない場合には、ステップＳ１０４に戻る。

ステップＳ１１３では、撮像素子１１０による画像の撮影が行われる。そして、撮像素子１１０から各光電変換素子１１２ａに応じた受光信号が、カメラ制御部１２０に送信される。

そして、ステップＳ１１４では、カメラ制御部１２０により、撮像素子１１０から送信された受光信号に基づいて、撮影画像の合成が行われる。具体的には、まず、カメラ制御部１２０により、ステップＳ１１３で撮像素子１１０により受光された受光信号に基づき、複数の合成画像信号（被写体領域に対応する合成画像信号）が合成される。この場合においては、焦点評価値が最大となる像面位置に対応する画像を得るため、ステップＳ１０６で合成した合成画像信号よりも多くの像面位置に対応する合成画像信号が合成される。そして、合成された合成画像信号の焦点評価値に基づいて、焦点評価値が最大となる像面位置の検出が行われ、検出された像面位置における画像が、撮影画像として合成される。

以上のように、本実施形態によれば、撮像素子１１０から得られた受光信号に基づいて、画像合成範囲内の複数の像面位置に対応する像面の異なる複数の合成画像信号を合成し、合成したそれぞれの合成画像信号の焦点評価値に基づいて、焦点評価値のピークの検出を行い、その検出結果に基づき、フォーカスレンズ２１２の駆動を制御する。具体的には、画像合成範囲内において焦点評価値のピークが検出されない場合は、フォーカスレンズ２１２を所定の距離だけ駆動させ、駆動後のフォーカスレンズ２１２の位置で得られた受光信号に基づく画像合成範囲内において、焦点評価値のピークの検出を行い、焦点評価値のピークが検出されるまで、フォーカスレンズ２１２の駆動と、新たな画像合成範囲内における焦点評価値のピークの検出とを繰り返す。このように、本実施形態では、複数の像面範囲に対応する焦点評価値の評価結果に応じて、フォーカスレンズ２１２の駆動を制御することで、所定の被写体について焦点の合った画像を適切に得ることができる。

さらに、本実施形態では、撮影者により選択された被写体に対応する撮影画像中の領域を、被写体領域として設定し、この被写体領域に対応する受光信号に基づいて、合成画像信号を合成する。そして、この被写体領域において焦点評価値のピークを検出することで、撮影者が焦点を合わせたい被写体について焦点の合った画像を得ることができる。また、撮影画像中の領域のうち被写体領域について合成画像信号を合成することで、撮影画像中の全ての領域について合成画像信号を合成する場合と比べて、焦点評価値のピークを検出する際の処理負担を軽減し、撮影者により選択された被写体に焦点が合った画像を迅速に合成することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

例えば、本実施形態では、操作部１３０を介して、撮影者により選択された被写体に対応する画像内の領域を、被写体領域として設定しているが、この被写体領域を設定する方法は特に限定されず、例えば、カメラ制御部１２０が、受光信号に基づいてシーンを認識し、認識したシーンに応じた所定の領域を被写体領域として設定してもよい。具体的には、フォーカスレンズ２１２の絞り値を最大（開口サイズ最小）にして、焦点深度の深いパンフォーカス画像を取得する。そして、このパンフォーカス画像に基づいて、例えば、人物を撮影しているシーンと認識された場合、テンプレートマッチングなどにより、その人物の顔部分を認識し、認識した顔部分を被写体領域として設定することができる。また、操作部１３０を介して撮影者がシーンを設定可能な場合は、撮影者により入力されたシーンに応じて、被写体領域を設定してもよい。

また、本実施形態のステップＳ１０９では、ステップＳ１０８で検出された焦点評価値のピークに基づいて、フォーカスレンズ２１２を駆動しているが、例えば、焦点評価値が最大となる像面位置を求めるために、焦点評価値のピークが検出された画像合成範囲において、再度、ステップＳ１０６で算出した合成画像信号よりも多くの像面位置に対応する合成画像信号を算出し、焦点評価値が最大となる像面位置に対応する位置にフォーカスレンズ２１２を駆動するような構成としてもよい。これにより、焦点評価値が最大となる像面位置を適切に求めることができ、所定の被写体について焦点の合った画像をより適切に得ることができる。

さらに、上述した実施形態のステップＳ１０７〜ステップＳ１１１において、偽合焦を防止するための処理やフィルタ処理などの焦点評価値を用いた焦点検出処理において行われる公知の処理を、適宜行ってもよい。

なお、本実施形態のカメラ１は特に限定されず、例えば、一眼レフデジタルカメラ、レンズ一体型のデジタルカメラ、デジタルビデオカメラ、携帯電話用のカメラなどのその他の光学機器に本発明を適用してもよい。

１…カメラ
１００…カメラボディ
１１０…撮像素子
１１１…マイクロレンズアレイ
１１１ａ…マイクロレンズ
１１２…光電変換素子アレイ
１１２ａ…光電変換素子
１２０…カメラ制御部
１３０…操作部
２００…鏡筒
２１２…フォーカスレンズ
２２０…絞り
２３０…レンズ駆動モータ
２４０…絞り駆動部
２５０…レンズ制御部

Claims (7)

1. 複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、前記複数のマイクロレンズに対して設けられた複数の光電変換素子とを有し、前記マイクロレンズアレイを介して光学系からの光束を受光して得られる複数の受光信号を出力する受光手段と、
   前記複数の受光信号の一部を、第１の選択形態により選択して得られる第１画像信号と、前記第１の選択形態とは異なる第２の選択形態により選択して得られる第２画像信号と、を生成するとともに、
   前記第１画像信号のコントラストに関する評価値と、前記第２画像信号のコントラストに関する評価値とに基づいて、前記評価値が最大となる画像信号を生成する画像生成手段と、
   前記画像生成手段により前記評価値が最大となる画像信号を生成できない場合に、前記光学系の焦点状態を変更する変更手段と、を備えることを特徴とする画像合成装置。
2. 請求項１に記載の画像合成装置において、
   前記画像生成手段は、少なくとも３つの画像信号の評価値を求めることにより、前記評価値が最大となる画像信号に対応する前記受光信号の選択形態を決定することを特徴とする画像合成装置。
3. 請求項１または２に記載の画像合成装置において、
   前記画像生成手段は、前記受光信号に基づく画像のうちの所定の部分領域に対応する受光信号に基づいて、前記第１画像信号および前記第２画像信号を生成することを特徴とする画像合成装置。
4. 請求項３に記載の画像合成装置において、
   前記受光信号に基づく画像内の前記部分領域の位置を選択するための領域選択手段をさらに備え、
   前記画像生成手段は、前記領域選択手段による選択結果に応じて、前記所定の部分領域を決定することを特徴とする画像合成装置。
5. 請求項４に記載の画像合成装置において、
   前記領域選択手段は、前記受光信号に基づく画像のシーンを認識する認識手段を備え、
   前記画像生成手段は、前記認識手段により認識されたシーンに応じて、前記所定の部分領域を決定することを特徴とする画像合成装置。
6. 請求項１〜５のいずれかに記載の画像合成装置を備えることを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記画像生成手段により生成された画像信号に対応する前記光学系の像面が、前記受光手段の受光面と一致するように、前記変更手段を制御する制御手段をさらに備えることを特徴とする撮像装置。

Images