JP5973784B2 - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、撮像装置におけるオートフォーカス制御に関するものである。

デジタルカメラに搭載されるオートフォーカス（以下、ＡＦ）機能のうち、位相差ＡＦは主にデジタル一眼レフカメラ、コントラストＡＦは主にコンパクトカメラに搭載されることが多い。各ＡＦ機能の特徴として位相差ＡＦは高速なピント調整が可能、コントラストＡＦは厳密なピント合わせが可能という点が挙げられる。

例えば、特許文献１にはコントラスト評価を行うための像取得の際に同時に絞りを動作させる方法が記載されている。特許文献２には異なる瞳領域を通過した光束を個別に受光可能な撮像装置であって、撮像後にピント調整を行った画像を生成する手法が記載されている。

特開２００３−２７９８３８号公報 特開２００７−００４４７１号公報

しかしながら、上記特許文献では、焦点調節を高精度に行うことが困難な場合がある。すなわち、特許文献１では、撮影レンズの絞り形状に合わせて焦点調節のサンプリングピッチを変化させることにより、焦点調節の高精度化を実現している。しかし、撮影レンズの絞り形状は、光軸を中心とした同心円状に開口面積を大小するため、必ずしもコントラスト評価を行うための最適な像を取得しておらず、高精度な焦点調節ができない場合がある。

特許文献２では、撮影後にピント位置を変化させた像を得ることができるが、いわゆるピント合わせのための信号の活用方法に関しては十分に記述されていない。また、撮影後にピント調整するための演算負荷は大きく、カメラ内で、この演算を実現する場合、低コストと高速な演算処理の両立は困難である。

本発明は、上記課題に鑑みてなされ、その目的は、撮像素子において異なる瞳領域を通過した光束の情報に基づいて、より高精度な焦点調節を行うことができるオートフォーカス制御を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、複数のマイクロレンズと画素群を有し、少なくとも一部のマイクロレンズに対して前記画素群に含まれる複数の画素が設定され、撮影レンズにより結像された被写体像を撮像する撮像素子と、前記画素群を構成する各画素の出力を重みづけ加算し、前記画素群に対応する出力信号を生成する信号生成手段と、前記信号生成手段により生成された出力信号に基づいて、前記被写体像のコントラスト評価値を算出する算出手段と、前記撮影レンズに含まれるフォーカスレンズを複数の位置に駆動し、前記複数の位置のそれぞれにおいて算出された前記コントラスト評価値を比較した結果に基づいて、前記撮影レンズの焦点調節を行う焦点調節手段と、を有する。

本発明によれば、撮像素子において異なる瞳領域を通過した光束の情報に基づいて、より高精度な焦点調節を行うことができる。

本実施形態の撮像装置の構成を示すブロック図。 本実施形態の撮像装置の光学系の模式図。 本実施形態の撮影動作を示すフローチャート。 図３の焦点調節処理を示すフローチャート。 図４のコントラストＡＦ評価値算出処理を示すフローチャート。 本実施形態のコントラストＡＦ制御を説明する図。 画素出力の重みづけ係数を説明する図。 本発明を適用可能な別の光学系の模式図。 実施形態２のコントラストＡＦ評価値算出処理を示すフローチャート。 実施形態２の画素出力を構成する画素を説明する図 実施形態３の焦点調節処理を示すフローチャート。 焦点調節補正値を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明を、例えば、コントラストＡＦ機能を有するデジタルカメラなどの撮像装置に適用した実施形態について説明する。

＜装置構成＞先ず、図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１において、カメラ１およびレンズ２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、絞りやフォーカスレンズなどからなる撮影光学系３および撮像素子６を含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ部８および表示部９を含み、制御系は、カメラシステム制御部５、操作検出部１０、およびレンズシステム制御部１２、レンズ駆動部１３を含む。レンズ駆動部１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。本実施形態では、レンズ２は撮影レンズに対応する。

撮像系は、撮影光学系３を透過した光束を撮像素子６の撮像面に結像する光学処理を行う。撮影素子６の受光面にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ（以下、ＭＬＡ）を形成している。本実施形態では、ＭＬＡは本発明の瞳分割手段を構成する。ＭＬＡの機能や配置の詳細については図５を参照して後述する。撮影素子６で光電変換された電気信号から得られるコントラスト評価値と測光値に基づいて撮影光学系３を適切に調節することにより、適正な光量の被写体像が撮像素子６の撮像面に結像され露光を行う。

画像処理部７は、Ａ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成する。また、本発明のコントラスト評価手段を含めることもできるが、本実施形態ではカメラシステム制御部５内部に配置する場合を説明する。

メモリ部８はデータ記録部に加えて記録に必要な処理回路を備えている。メモリ部８は、記録部へ出力を行うとともに、表示部９に出力する像を生成、保存する。また、メモリ部８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。

カメラシステム制御部５は撮像素子６を駆動する際のタイミング信号などを生成し出力する。また、カメラシステム制御部５は、ユーザ操作などの操作入力に応じて撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、カメラシステム制御部５は、不図示のシャッターボタンの押下を操作検出部１０が検出すると、撮像素子６の駆動、画像処理部７の動作、メモリ部８の圧縮処理などの制御を行う。さらに、カメラシステム制御部５は、ＬＣＤパネルなどの表示部９に画像や各種情報などの表示を行うために各セグメントの状態を制御する。

カメラシステム制御部５の画像処理部７は、撮像素子６からの出力信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御部５は、電気接点１１を介してレンズシステム制御部１２に制御指令を出力し、レンズシステム制御部１２はレンズ駆動部１３を適切に制御する。さらにレンズシステム制御部１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にレンズ駆動部１３を介してブレ補正レンズを適切に制御する。

図２は、本実施形態における光学系を模式的に示している。本発明を適用するためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施形態では、角度情報の取得のために撮影光学系３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのレンズに対して複数の画素を対応させている。

図２（ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示す図である。図２（ｂ）は撮像素子の画素とＭＬＡとの対応を示す模式図である。図２（ｃ）はＭＬＡ後段に設けられた画素と特定の瞳領域との対応を示している。

図２（ａ）に示すように、撮像素子６前段にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系３の結像面近傍になるように配置されている。図２（ａ）は撮影装置の横からと、正面からＭＬＡを見た状態を示しており、装置正面から見るとＭＬＡのレンズが撮像素子６の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡを構成する各マイクロレンズを見やすくするために拡大しているが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。実際の大きさについては図２（ｂ）で後述する。

図２（ｂ）は、図２（ａ）のＭＬＡの一部を拡大している。図２（ｂ）に示す格子状の枠は、撮像素子６の各画素を示している。一方、ＭＬＡを構成する各マイクロレンズは太い円２０ａ，２０ｂ，２０ｃ，２０ｄで示している。図２（ｂ）から明らかなように１つのマイクロレンズに対して複数の画素が割り当てられており、図２（ｂ）の例では、５行ｘ５列＝２５個の画素が１つのマイクロレンズに割り当てられている。すなわち各マイクロレンズの大きさは画素の５倍ｘ５倍の大きさである。本実施形態のマイクロレンズ１つに対して割り当てられた複数の画素は、本発明の画素群に対応している。

図２（ｃ）は、マイクロレンズの光軸を含み、撮像素子６をＸ−Ｚ平面で切断して見た断面図である。図５（ｃ）の２１、２２、２３、２４、２５は撮像素子６の画素（１つの光電変換部）を示している。一方、図２（ｃ）の上方の図は撮影光学系３の射出瞳面を示している。実際には、図２（ｃ）の下方のセンサの図と方向を合わせると、射出瞳面は図２（ｃ）の紙面垂直方向になるが、説明の便宜のために投影方向を変えている。また、図２（ｃ）の説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図２（ｃ）の画素２１、２２、２３、２４、２５は、図２（ｂ）の２１ａ、２２ａ、２３ａ、２４ａ、２５ａとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、マイクロレンズ２０によって各画素は撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４が、画素２５と領域３５がそれぞれ対応している。すなわち画素２１には撮影光学系３の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、射出瞳面上での通過領域と撮像素子６の位置関係とから角度の情報を取得することが可能となる。

［撮影動作］次に、図３及び図４を参照して、本実施形態の撮影動作について説明する。なお、図３及び図４の処理は、カメラシステム制御部５が、メモリ部８に格納された制御プログラムを、ＲＡＭなどのワークエリアに展開し、実行することで実現される。

図３において、ステップＳ３０１では、カメラシステム制御部５は、電源オンもしくはモード切替操作に伴い、ライブビューを開始する。

ステップＳ３０２では、カメラシステム制御部５は、操作検出部１０により、シャッターボタンが半押しされてスイッチＳＷ１がオンされたか否かを判定する。スイッチＳＷ１がオンされない間は、スイッチＳＷ１の状況を監視し続ける。その後、スイッチＳＷ１がオンされるとステップＳ３０３へ進み、図４で後述する焦点調節を行う。

ステップＳ３０４では、カメラシステム制御部５は、最終的に得られた画像データを用いて、画像処理部７によりＡＥ処理、ＡＷＢ（オートホワイトバランス）処理を行う。なお、ＡＥ処理やＡＷＢ処理は公知であるため説明を省略する。

ステップＳ３０５では、カメラシステム制御部５は、所定時間内にシャッターボタンが全押しされてスイッチＳＷ２がオンしたか否かを判定する。所定時間内にスイッチＳＷ２がオンされなかった場合はステップＳ３０２に戻り、再びスイッチＳＷ１がオンになるまで待機する。

その後、所定時間内にシャッターボタンが全押しされてスイッチＳＷ２がオンされたと判定するとステップＳ３０６へ進み、撮影処理を行うためにライブビューを停止する。そして、ステップＳ３０７にて、カメラシステム制御部５は、撮像素子６への記録用画像（撮影画像）の露光を行う。露光時間は、撮像素子６の蓄積電荷をリセットしてから不図示のシャッターを閉じるまでの時間となる。露光を終了するとステップＳ３０８へ進み、撮像素子６の露光により発生した電荷から、画像処理部７により画像データを作成する。画像処理部７は、所定の画素補間処理、色変換処理、ホワイトバランス処理、γ処理、カラーマトリックス処理等を行う。

ステップＳ３０９では、カメラシステム制御部５は画像データをメモリ部８に転送し、記録する。その後、画像処理部７は、一連の撮影画像に関する処理を終え、ライブビュー表示や撮像を再開することが可能な状態となる。

図３では連続撮影ではなく単一撮影を説明しているため、ステップＳ３０１に戻り、ライブビューを再開する。但し、連続撮影時にはステップＳ３０３に戻り、再び撮影を行うように構成してもよい。

次に、図３のステップＳ３０３にて行われる焦点調節処理について、図４を参照して説明する。図４の処理において、カメラシステム制御部５は本発明のコントラスト評価手段に対応している。

図６は、本実施形態のコントラストＡＦ制御を説明する図であり、横軸は撮影光学系３に含まれるフォーカスレンズの位置、縦軸はコントラストＡＦの評価値である。予め決められたフォーカスレンズ駆動量のステップ幅を、１回のレンズ駆動のパルス数としてＴ８として表している。

図４において、ステップＳ４０１では、カメラシステム制御部５は、駆動間隔Ｔ８を設定し、開始位置Ｔ７からフォーカスレンズを駆動する。

ステップＳ４０２では、カメラシステム制御部５は、撮像素子６を適当な時間露光して、読み出す（Ａ／Ｄ変換する）ことによりデータを取得し、そのデータから、コントラストＡＦの評価値を算出する。コントラストＡＦの評価値の算出方法については、後述する。

ステップＳ４０３では、カメラシステム制御部５は、ピークが検出されたか否か、即ち、コントラストＡＦの評価値が増加から減少に切り替わり、ピーク判定閾値Ｔ９以上の減少がされたか否かを判定する。ピークが検出されない場合（Ｓ４０３でＮＯ）、ステップＳ４０１に戻り、ピークが検出された場合（Ｓ４０３のＹＥＳ）、ステップＳ４０４に進む。ステップＳ４０４では、カメラシステム制御部５は、現在の駆動間隔Ｔ８を閾値Ｐｔｈと比較して、現在の駆動間隔Ｔ８が狭いか否かを判定する。

カメラシステム制御部５は、狭い駆動間隔Ｔ８でピークを検出していると判定した場合（Ｓ４０４のＹＥＳ）、ステップＳ４０５に進み、ピーク位置へフォーカスレンズを駆動する。

一方、カメラシステム制御部５は、広い駆動間隔Ｔ８でピークを検出していると判定した場合（Ｓ４０４のＮＯ）、ステップＳ４０６に進み、駆動間隔Ｔ８を狭く設定する。その後、ステップＳ４０７で、コントラストＡＦ合焦位置Ｔ１１に向けて、フォーカスレンズを駆動間隔Ｔ８で山登り駆動を行う。

ステップＳ４０８では、Ｓ４０２と同様に、撮像素子６を適当な時間露光して、読み出す（Ａ／Ｄ変換する）ことによりデータを取得し、そのデータからコントラストＡＦの評価値を算出する。

ステップＳ４０９で、カメラシステム制御部５は、ピークが検出されたか否か、即ち、コントラストＡＦの評価値が増加から減少に切り替わり、ピーク判定閾値Ｔ９以上の減少がされたか否かを判定する。ピークが検出されていないと判定した場合（Ｓ４０９のＮＯ）、ステップＳ４０７に戻り、ピークが検出されたと判定した場合（Ｓ４０９のＹＥＳ）、ステップＳ４０５に進み、ピーク位置へフォーカスレンズを駆動する。

Ｓ４０５でフォーカスレンズの駆動を終えるとコントラストＡＦ制御による焦点調節処理を終了する。

次に、図４のステップＳ４０２、Ｓ４０８で行われるコントラストＡＦ評価値算出処理について、図５を参照して説明する。

ステップＳ５０１では、カメラシステム制御部５は、コントラスト評価を行う評価点の数と、評価枠の大きさを設定する。評価点数は多くなると画面全体を覆うことが可能となるが評価に時間がかかるので、ユーザ操作などにより適宜設定する。一方評価枠の大きさは、大きくすると局所的にはあまりパターンを有していないテクスチャであってもピントを合わせることが可能となるが、あまりにも大きくなると距離の異なる被写体の像を同時に評価するいわゆる遠近競合が発生してしまう。これらの問題を解決できるように評価枠の大きさを適当に設定する。

ステップＳ５０２では、カメラシステム制御部５は、現在のカメラ設定に応じた各画素出力の重みづけ係数の取得を行う。ここで図７を参照して重みづけ係数について説明する。

図７（ａ）は、図２（ｂ）に示された複数のマイクロレンズ２０ａ，２０ｂ，２０ｃ，２０のうちの１つである２０ａを拡大表示したものである。図２（ｂ）と同様に、５行ｘ５列＝２５個の画素が１つのマイクロレンズに対して設けられている。

画素グループ２００ａ、２００ｂ、２００ｃは、マイクロレンズ２０ａに割り当てられた２５個の画素群を細分化したグループにまとめたものである。図２（ｃ）で示した通り、マイクロレンズ２０ａによって各画素は撮影光学系３の射出瞳面上の特定の領域と共役になっており、画素グループ２００ａは、射出瞳上で中心近傍の領域外である外周近傍の領域を通過した光束を受光している。同様に、画素グループ２００ｃは、射出瞳上で中心近傍の領域を通過した光束を受光し、画素グループ２００ｂは、射出瞳上で画素グループ２００ａと２００ｃの中間の領域を通過した光束を受光している。

図７（ｂ）は、図７（ａ）の各画素グループに対する重みづけ係数を示した表である。図７（ｂ）では、事前に設定されたフォーカスレンズの駆動量のステップ幅Ｔ８が、所定の閾値Ｐｔｈに対して、大きいか小さいかによって、係数が異なっている。これは、フォーカスレンズのステップ幅Ｔ８の大小によって、期待されるコントラストＡＦ評価値の変化が異なるためである。フォーカスレンズのステップ幅Ｔ８が小さい場合には、より精度よくコントラストＡＦ評価値のピークを算出したい。
高精度にピーク位置を算出するためには、合焦近傍で、より大きなコントラストＡＦ評価値の変化が望まれる。よって、複数の画素グループ２００ａから２００ｃの中で、射出瞳上で、より外周近傍の領域を通過した光束を受光する画素グループの重みづけを大きくすることで、それを実現することができる。

一方、フォーカスレンズのステップ幅Ｔ８が大きい場合は、コントラストＡＦ評価値のばらつきに影響されずフォーカスレンズの進むべき方向、すなわちフォーカスレンズ駆動前後のコントラストＡＦ評価値の大小を判定し、誤ったピーク位置の検出を避けたい。誤ったピーク位置の検出を避けるためには、フォーカスレンズ駆動範囲のより広い範囲で、コントラストＡＦ評価値が変化することが望まれる。よって、複数の画素グループ２００ａから２００ｃの中で、射出瞳上で、より中心近傍の領域を通過した光束を受光する画素グループの重みづけを大きくすることで、それを実現することができる。

このように、コントラストＡＦ評価値の変化を合焦近傍で急峻にしたり、コントラスト評価範囲内で、コンスタントに評価値を変化させたりすることにより、焦点調節にかかる時間を犠牲にせずに、高精度な焦点調節を行うことができる。ここで、本発明の第１の重みづけによる第１の出力信号及び第２の重みづけによる第２の出力信号は、フォーカスレンズのステップ幅Ｔ８の大小により選択される重みづけ係数と、その係数により算出される出力信号に対応している。また、第１の出力信号を用いて算出されるコントラスト評価値は、本発明の第１のコントラスト評価値、第２の出力信号を用いて算出されるコントラスト評価値は、本発明の第２のコントラスト評価値にそれぞれ対応している。

また、図７（ｂ）では、各画素グループに対する重みづけ係数が、レンズ２のＦ値によって、異なる値を持つことができるよう構成されている。これは、焦点調節時のレンズ２のＦ値によっては、レンズ２の絞りによって、光束が遮られ、出力が減ってしまう画素があるため、Ｆ値に応じて、異なる重みづけ係数を持つことができるよう構成されている。

本実施形態では、焦点調節時のレンズ２のＦ値に応じて、異なる重みづけ係数を持つよう構成したが、撮影時のＦ値に応じて、異なる重みづけ係数をもつよう構成してもよい。これにより、撮影時と焦点調節時で異なる光束を受光することに起因して発生する焦点調節誤差を低減させることができる。例えば、焦点調節時に対して、撮影時の方がＦ値が大きく、絞りの開口が小さい場合には、レンズ２の射出瞳上で、より中心近傍の領域を通過した光束を受光する画素グループの重みづけを大きくすることで、それを実現することができる。

図５に戻り、ステップＳ５０２では、カメラシステム制御部５は、フォーカスレンズのステップ幅とＦ値に応じて、各画素グループ（２００ａ〜２００ｃ）の出力の重みづけ係数の取得を行う。

本実施形態では、マイクロレンズ２０ａに割り当てられた２５個の画素群を、さらに細分化したグループ（画素グループ２００ａ、２００ｂ、２００ｃ）とし、各グループに対して、重みづけ係数を持つよう構成したが、各画素の重みづけはこの方法に限らない。重みづけ係数は、画素ごとに、持つように構成してもよい。本実施形態では、レンズ２の射出瞳の中心からの距離に応じたグルーピングを行うことにより、コントラストＡＦ評価値の変化に関して、類似の特性を持つ複数の画素に対して、１つの重みづけ係数を記憶しておけばよい。そのため、画素ごとに重みづけ係数を記憶する方法に比べて、記憶容量を小さくすることができる。

ステップＳ５０３では、カメラシステム制御部５は、露光、及びコントラスト評価を行うための画素信号出力を生成する。コントラスト評価を行う画素出力を得るために、撮像素子６への露光を行う。この際に得られる画像は、ライブビュー表示用と兼用してもよい。撮像素子６での露光により発生した電荷から、画像処理部７により画像データを作成する。画像処理部７は、所定の画素補間処理、色変換処理、ホワイトバランス処理、γ処理、カラーマトリックス処理等を行う。コントラスト評価を行う画像として、上記処理の幾つかを省略し、処理の高速化を図ってもよい。

ステップＳ５０４では、カメラシステム制御部５は、露光、画像処理を終えた各画素の信号出力に対して、コントラスト評価を行うための画素信号を生成する。ここでの処理は、本発明の信号生成手段に対応する。本実施形態では、ＭＬＡを構成する各マイクロレンズに対して複数の画素が対応しているが、コントラスト評価を行うための画素信号は、各マイクロレンズに対して１つの出力を生成する。図７（ａ）のマイクロレンズ２０ａの出力信号であるＯ（２０ａ）は、下記式１で表される。
Ｏ（２０ａ）＝Ａ×Ｏ（２００ａ）＋Ｂ×Ｏ（２００ｂ）＋Ｃ×Ｏ（２００ｃ）・・・（１）
上記式１で、Ｏ（２００ａ）、Ｏ（２００ｂ）、Ｏ（２００ｃ）は、図７（ａ）の画素グループ２００ａ、２００ｂ、２００ｃを構成する各画素の出力の和である。また、Ａ、Ｂ、Ｃは、図７（ｂ）で示された重みづけ係数で、画素グループ２００ａ、２００ｂ、２００ｃに対応して、重みづけ係数Ａ、Ｂ、Ｃとしている。上述した通り、重みづけ係数は、フォーカスレンズのステップ幅とレンズ２のＦ値によって選択される。例えば、フォーカスレンズステップ幅Ｔ８が閾値Ｐｔｈより大きく、レンズ２のＦ値が２．８の場合、画素グループ２００ａ、２００ｂ、２００ｃに対応して、重みづけ係数Ａ１、Ｂ１、Ｃ１が用いられる。ＭＬＡを構成するマイクロレンズごとに、上記式１により重みづけ加算した出力が得られる。

ステップＳ５０５では、カメラシステム制御部５は、画像処理部７により適当なフィルタリングを行う。適当なフィルタリングとしては、フォーカスレンズステップ幅Ｔ８が大きい場合には、より低周波に着目したフィルタリングを行い、フォーカスレンズステップ幅Ｔ８が小さい場合にはＴ８が大きい場合に比べて高周波に着目したフィルタリングを行うとよい。そのようにすることで、フォーカスレンズステップ幅Ｔ８が大きい場合には、コントラストＡＦ評価値のばらつきに左右されず、フォーカスレンズステップ幅Ｔ８が小さい場合には、より高精度に焦点調節を行うことができる。

最後に、ステップＳ５０６で、カメラシステム制御部５は、コントラストＡＦ評価値の算出を行う。カメラシステム制御部５は、Ｓ５０５でフィルタリング処理を行ったマイクロレンズごとの出力の積算を行い、コントラストＡＦ評価値を生成する。コントラストＡＦ評価値の算出方法の詳細は、例えば、特開２００９−１５９５９３に記載されている。

本実施形態では上記のような方法でコントラストＡＦ評価値を得たが、ピント変動に伴うコントラストＡＦ評価値であれば他の算出方法も活用できる。例えば異なる通過帯域を持つ帯域通過フィルタを用意しておき、その出力の比を用いる方法などが考えられる。

ステップＳ５０６で、コントラストＡＦ評価値を得ると、コントラストＡＦ評価値算出処理を終了する。

図８を参照して、本発明を適用可能な別の光学系について説明する。図８は物体（被写体）からの光線が撮像素子６上に結像する状態を模式的に示している。図８（ａ）は図２の光学系と対応しており、撮影光学系３の結像面近傍にＭＬＡ２０を配置した例である。図８（ｂ）は撮影光学系３の結像面よりも物体寄りにＭＬＡ２０を配置した例である。図８（ｃ）は撮影光学系３の結像面よりも物体から遠い側にＭＬＡ２０を配置した例である。

図８において、６は撮像素子、２０はＭＬＡ、３１〜３５は図２の瞳領域、５１は物体平面、５１ａ，５１ｂは物体上の適当な点、５２は撮影光学系の瞳平面を示している。また、６１，６２，７１，７２，７３，８１，８２，８３，８４はＭＬＡ上の特定のマイクロレンズをそれぞれ示している。図８（ｂ）および（ｃ）に示した６ａは仮想的な撮像素子を示し、２０ａは仮想的なＭＬＡを示している。これらは、図８（ａ）との対応関係を明確にするために参考に示したものである。また、物体上の点５１ａから出て瞳平面上の領域３１および３３を通過する光束を実線で、物体上の点５１ｂから出て瞳平面上の領域３１および３３を通過する光束を破線で図示している。

図８（ａ）の例では、図２でも説明したように、撮影光学系３の結像面近傍にＭＬＡ２０を配置することで、撮像素子６と撮影光学系の瞳平面５２が共役の関係にある。さらに物体平面５１とＭＬＡ２０が共役の関係にある。このため物体上の点５１ａから出た光束はマイクロレンズ６１に、５１ｂを出た光束はマイクロレンズ６２に到達し、領域３１から３５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。

図８（ｂ）の例では、マイクロレンズ２０で撮影光学系３からの光束を結像させ、その結像面に撮像素子６を設ける。このように配置することで、物体平面５１と撮像素子６は共役の関係にある。物体上の点５１ａから出で瞳平面上の領域３１を通過した光束はマイクロレンズ７１に到達し、物体上の点５１ａから出で瞳平面上の領域３３を通過した光束はマイクロレンズ７２に到達する。物体上の点５１ｂから出で瞳平面上の領域３１を通過した光束はマイクロレンズ７２に到達し、物体上の点５１ｂから出で瞳平面上の領域３３を通過した光束はマイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、仮想的な撮像面６ａ上の位置に並べなおすことで、図８（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図８（ｃ）の例では、マイクロレンズ２０で撮影光学系３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子６を設ける。このように配置することで、物体平面５１と撮像素子６は共役の関係にある。物体上の点５１ａから出で瞳平面上の領域３１を通過した光束はマイクロレンズ８２に到達し、物体上の点５１ａから出で瞳平面上の領域３３を通過した光束はマイクロレンズ８１に到達する。物体上の点５１ｂから出で瞳平面上の領域３１を通過した光束はマイクロレンズ８４に到達し、物体上の点５１ｂから出で瞳平面上の領域３３を通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図８（ｂ）と同様に、仮想的な撮像面６ａ上の位置に並べなおすことで、図８（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図８ではＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

以上に説明したように、撮像素子において異なる瞳領域を通過した光束の情報をもとに、高精度なコントラストＡＦを実現するために最適な情報を用いることで、より高精度な焦点調節を行うことが可能となる。

［実施形態２］次に、図９及び図１０を参照して、実施形態２について説明する。

実施形態１との違いは、撮像素子上に形成される被写体像のコントラストが高い方向によって、コントラストＡＦに用いる画素出力を変更する点である。この実施形態２によれば、被写体像のパターン、向きによらず、高精度に焦点調節を行うことができる。

なお、実施形態２における撮像装置の構成（図１）、撮像素子の要部（図２、図８）、焦点調節、撮影動作（図３〜図５）は、実施形態１と同様であるため、説明は省略する。また、図９に示すコントラストＡＦ評価値算出処理において、図５と同様の処理に関しては、同じ符号を付している。すなわち、図９において、ステップＳ５０１〜Ｓ５０３は、図５と同様である。

ステップＳ９０１では、カメラシステム制御部５は、コントラスト評価方向が設定済であるか否かを判定する。設定済であった場合（Ｓ９０１でＮＯ）、ステップＳ９０２を行わずに、ステップＳ５０４に進み、未設定であった場合（Ｓ９０１でＹＥＳ）、ステップＳ９０２に進む。

ステップＳ９０２では、カメラシステム制御部５は、ステップＳ５０３で得られた画像信号を用いて、コントラスト評価方向の設定を行う。コントラスト評価枠内の水平・垂直方向それぞれの隣接画素の出力差の２乗和を算出し、その大小を比較する。これにより、露光した画像データで、被写体像の高周波成分が多い方向が、水平、垂直方向のどちらであるかを判定できる。ここで、コントラスト評価方向は、水平、垂直に限る必要はなく、斜め方向の評価を行ってもよい。一般に、被写体のコントラストが高い方向は、水平、垂直である場合が多いため、それを利用して、斜め方向に対して水平、垂直方向を優先的に、コントラスト評価方向として設定するよう構成してもよい。

ステップＳ５０４では、カメラシステム制御部５は、露光、画像処理を終えた各画素の信号出力に対して、コントラスト評価を行うための画素信号を生成する。本実施形態では、ＭＬＡを構成する各マイクロレンズに対して複数の画素が対応しているが、コントラスト評価を行うための画素信号は、各マイクロレンズに対して１つの出力を生成する。図７（ａ）のマイクロレンズ２０ａの出力信号であるＯ（２０ａ）は、下記式２で表される。
Ｏ（２０ａ）＝Ａ×Ｏ（３００ａ）＋Ｂ×Ｏ（３００ｂ）＋Ｃ×Ｏ（３００ｃ）・・・（２）
上記式２で、Ｏ（３００ａ）、Ｏ（３００ｂ）、Ｏ（３００ｃ）は、図７（ａ）の画素グループ２００ａ、２００ｂ、２００ｃを構成する各画素で、ステップＳ９０２で設定されたコントラスト評価方向に位置がずれている画素の出力の和である。図１０に、ステップＳ９０２で、コントラスト評価方向として、水平方向が選択された場合のマイクロレンズごとの画素出力を構成する画素を示している。この例では、Ｏ（３００ａ）は、２箇所に分かれた斜線部３００ａを構成する画素の出力和となり、Ｏ（３００ｂ）は、２箇所に分かれた格子部３００ｂを構成する画素の出力和となり、Ｏ（３００ｃ）は、中央画素の出力となる。このように、被写体のコントラストが比較的高い方向の画素の出力のみを用いて、コントラストＡＦの評価値を生成することにより、合焦位置近傍で、より急峻なコントラストＡＦの評価値変化を得ることができ、より高精度な焦点調節を行うことができる。式２において、Ａ、Ｂ、Ｃは、図７（ｂ）で示された重みづけ係数で、画素グループ２００ａ、２００ｂ、２００ｃに対応して、重みづけ係数Ａ、Ｂ、Ｃとしている。上述した通り、重みづけ係数は、フォーカスレンズのステップ幅とレンズ２のＦ値によって選択される。例えば、フォーカスレンズステップ幅Ｔ８が閾値Ｐｔｈより大きく、レンズ２のＦ値が２．８の場合、画素グループ２００ａ、２００ｂ、２００ｃに対応して、重みづけ係数Ａ１、Ｂ１、Ｃ１が用いられる。ＭＬＡを構成するマイクロレンズごとに、上記式２により重みづけ加算した出力が得られる。

実施形態２を実現する上では、画素グループと重みづけ係数を、水平、垂直などコントラスト評価方向に合わせて、撮像装置が記録しておくことも考えられる。しかし、本実施形態のように、画素グループは、レンズ２の瞳領域の中心からの距離でグルーピングし、コントラスト評価に用いる画素の設定は、別途行うことにより、記録容量の低減を行うことができる。

ステップＳ５０５およびＳ５０６では、図５と同様に、適当なフィルタリングおよびコントラストＡＦ評価値の算出を行う。

以上のように、実施形態２によれば、被写体像のパターン、向きによらず、高精度に焦点調節を行うことができる。

［実施形態３］次に、図１１及び図１２を参照して、実施形態３について説明する。

実施形態１との違いは、マイクロレンズごとに対応した複数画素の出力の重みづけに応じて、焦点調節結果を補正する点である。実施形態３によれば、撮影時の光束と焦点調節に用いる光束が異なる場合でも、高精度に焦点調節を行うことができる。

なお、実施形態３における撮像装置の構成（図１）、撮影光学系の要部（図２、図８）、焦点調節、撮影動作（図３〜図５）は、実施形態１と同様であるため、説明は省略する。また、図１１に示す焦点調節処理において、図４と同様の処理に関しては、同じ符号を付している。すなわち、図１１において、ステップＳ４０１〜Ｓ４０９は、図４と同様である。

図１１において、ステップＳ４０４で狭い駆動間隔Ｔ８でピークを検出している場合（Ｓ４０４のＹＥＳ）、あるいはステップＳ４０９でピークが検出された場合（Ｓ４０９のＹＥＳ）、ステップＳ１１０１に進む。

ステップＳ１１０１では、カメラシステム制御部５は、焦点調節補正値を算出する。この焦点調節補正値は、ステップＳ４０２やＳ４０８で得られるコントラストＡＦ評価値を用いて、ステップＳ４０３やＳ４０９でピーク検出を行う際に、検出されるピーク位置の有する誤差を補正するものである。この誤差は、撮影光学系３のもつ収差などにより、記録画像用の光束の合焦位置と焦点調節時に用いる光束の合焦位置がずれてしまうために、発生する。一般に、球面収差による合焦位置の差は、光軸に対する光の通過位置の距離によって発生する。本実施形態では、マイクロレンズごとに複数の画素が対応し、画素ごとに、レンズ２の特定の瞳領域を通過した光束を受光する。そのため、レンズ２の瞳の中心近傍の領域に対応した画素の出力で算出されたコントラストＡＦ評価値のピーク位置と、レンズ２の瞳領域の外周近傍に対応した画素の出力で算出されたコントラストＡＦ評価値のピーク位置とにずれが生じる。本実施形態の撮像装置は、このピーク位置のずれ量を記憶している。記憶の形式については、撮影光学系３の所定のＦ値の時のピント位置を基準として、撮影光学系３のＦ値に応じたピント補正値を記憶する。さらに、図７（ａ）の画素グループごとにピント補正値を記憶する。これらの記憶されたピント補正値を用いて、撮影時のＦ値と焦点調節時の重みづけ係数に応じたピント補正値を算出する。

ピント補正値の算出方法の例を、図１２を参照して説明する。図１２は、撮影光学系３の光軸４上における各光束の最良結像位置を示している。４００は、撮影光学系３の所定のＦ値の光束の最良結像位置である。４０１は、画像記録時の条件として設定された撮影光学系３のＦ値の光束の最良結像位置である。４００と４０１の最良結像位置の差Ｅは、撮影時のＦ値変化によるピント補正値である。また、４０２、４０３、４０４は、図７（ａ）の画素グループ２００ａ、２００ｂ、２００ｃが受光する光束の最良像面位置を示している。各画素グループの最良像面位置４０２、４０３、４０４と４００との差Ｄ１、Ｄ２、Ｄ３は、画素グループ２００ａ、２００ｂ、２００ｃのピント補正値である。ステップＳ１１０１で算出される焦点調節補正値Ｈは、下記式３で算出される。
Ｈ＝Ｅ−（Ａ×Ｄ１＋Ｂ×Ｄ２＋Ｃ×Ｄ３）・・・（３）
ここで、Ａ、Ｂ、Ｃは、図７（ｂ）で示された重みづけ係数で、画素グループ２００ａ、２００ｂ、２００ｃに対応して、重みづけ係数Ａ、Ｂ、Ｃとしている。上記式３のように、各画素グループのピント補正値は、各画素グループの信号出力の焦点調節に用いられる割合に応じて算出される。このように、焦点調節時と撮影時のＦ値の違いによるピント位置の違いと焦点調節に用いる光束のピント位置の違いを考慮した補正値を算出することにより、より高精度な焦点調節を行うことができる。

最後に、ステップＳ４０５では、カメラシステム制御部５は、ステップＳ１１０１で算出された補正値に応じた合焦位置にフォーカスレンズを駆動し、焦点調節処理を終了する。

以上のように、実施形態３によれば、撮影時の光束と焦点調節に用いる光束が異なる場合でも、高精度に焦点調節を行うことができる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (13)

1. 複数のマイクロレンズと画素群を有し、少なくとも一部のマイクロレンズに対して前記画素群に含まれる複数の画素が設定され、撮影レンズにより結像された被写体像を撮像する撮像素子と、
   前記画素群を構成する各画素の出力を重みづけ加算し、前記画素群に対応する出力信号を生成する信号生成手段と、
   前記信号生成手段により生成された出力信号に基づいて、前記被写体像のコントラスト評価値を算出する算出手段と、
   前記撮影レンズに含まれるフォーカスレンズを複数の位置に駆動し、前記複数の位置のそれぞれにおいて算出された前記コントラスト評価値を比較した結果に基づいて、前記撮影レンズの焦点調節を行う焦点調節手段と、を有することを特徴とする撮像装置。
2. 前記算出手段は、前記信号生成手段により生成された出力信号にフィルタリング処理を行うことで、前記コントラスト評価値を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記信号生成手段は、１つのマイクロレンズに対する各画素の出力を重み付け加算することを特徴とする請求項１または２に記載の撮像装置。
4. 前記信号生成手段は、前記撮影レンズの瞳の中心近傍の領域に対応した前記画素群に含まれる画素よりも、前記撮影レンズの瞳の中心近傍の領域外に対応した前記画素群に含まれる画素に対して大きな重みづけをすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記信号生成手段は、前記フォーカスレンズを駆動する幅に応じて、前記重みづけの値を変更することを特徴することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記信号生成手段は、前記フォーカスレンズを駆動する幅が閾値より大きい場合には、閾値以下である場合に比べ、前記撮影レンズの瞳の中心近傍の領域に対応した前記画素群に含まれる画素よりも、前記撮影レンズの瞳の中心近傍の領域外に対応した前記画素群に含まれる画素に対して大きな重みづけをすることを特徴とする請求項５に記載の撮像装置。
7. 前記信号生成手段は、前記撮影レンズに含まれる絞りの開口に応じて、前記重みづけの値を変更することを特徴することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記信号生成手段は、前記絞りの開口が閾値より大きい場合には、閾値以下である場合に比べ、前記撮影レンズの瞳の中心近傍の領域に対応した前記画素群に含まれる画素よりも、前記撮影レンズの瞳の中心近傍の領域外に対応した前記画素群に含まれる画素に対して大きな重みづけをすることを特徴とする請求項７に記載の撮像装置。
9. 前記被写体像のコントラストに応じてコントラストの評価方向を設定する設定手段をさらに有し、
   前記信号生成手段は、前記画素群の他の画素よりも、前記評価方向に、前記撮影レンズの瞳の中心から離れた瞳領域に対応する画素の出力に対して大きな重みづけをすることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記信号生成手段による重みづけに応じて、前記コントラスト評価値に基づく焦点調節の結果を補正する補正手段をさらに有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 複数のマイクロレンズと画素群を有し、少なくとも一部のマイクロレンズに対して前記画素群に含まれる複数の画素が設定され、撮影レンズにより結像された被写体像を撮像する撮像素子を有する撮像装置の制御方法であって、
    前記画素群を構成する各画素の出力を重みづけ加算し、前記画素群に対応する出力信号を生成する信号生成工程と、
    前記信号生成工程により生成された出力信号に基づいて、前記被写体像のコントラスト評価値を算出する算出工程と、
    前記撮影レンズに含まれるフォーカスレンズを複数の位置に駆動し、前記複数の位置のそれぞれにおいて算出された前記コントラスト評価値を比較した結果に基づいて、前記撮影レンズの焦点調節を行う焦点調節工程と、を有することを特徴とする制御方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載された撮像装置の各手段として機能させるプログラム。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。

Images