JP6271952B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルカメラやビデオカメラなどの撮像装置に関する。

カメラ等の撮像装置に搭載されるオートフォーカス（ＡＦ）方式の一つとして、位相差検出方式（以下、位相差ＡＦという）がある。位相差ＡＦでは、撮影レンズの射出瞳を通過した光束を２分割し、２分割した光束を一組の焦点検出用センサによりそれぞれ受光する。そして、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量（以下、像ずれ量という）を検出することで撮影レンズのピント方向のずれ量（以下、デフォーカス量という）を求める。

特許文献１には、撮像素子に位相差検出機能を付与することで、専用の焦点検出用センサを不要とするとともに、高速の位相差ＡＦを実現する構成が開示されている。特許文献１の構成では、撮像素子の画素の光電変換部を２分割して瞳分割機能を付与し、２分割された光電変換部の出力を個別に処理することで焦点検出を行うとともに、２分割された光電変換部の合算出力を画像信号として用いる。

また、特許文献２には、瞳分割機能を付与された光電変換部による焦点検出において、被写体が暗い場合のノイズの影響を低減させる構成が開示されている。特許文献２の構成では、撮像素子の１ライン毎の明るさを検出し、予め設定された明るさよりも暗い場合には、ライン加算を行っている。

特開２００１−３０５４１５号公報 特開２０１０−２７１４１９号公報

しかしながら、特許文献１の構成では、焦点検出機能と撮像機能をともに撮像素子上で行うため、撮像素子の制御を行う露出設定値は撮像に合わせて決めることにより、焦点検出にとって適した設定値にならないという課題がある。また、操作者が任意に露出設定値を切り替えることにより、設定値によっては、焦点検出が難しくなる場合がある。特許文献２の構成では、画像信号に基づいてライン加算を行うことで焦点検出に用いる画像信号のノイズを低減しているが、ライン加算による被写体縦方向の分解能の低下については考慮されていない。

そこで、本発明は、瞳分割機能を付与された光電変換部を有する撮像素子における焦点検出において、撮影条件に応じて、焦点検出領域のライン加算範囲を制御する。よって、画像信号のノイズと縦方向の分解能の低下を抑えた高精度な焦点検出を実現した撮像装置を提供する。

上記目的を達成するために、本発明では、撮像素子と、前記撮像素子にて検出された撮影光学系の異なる射出瞳を通過した一対の光束を用いて位相差検出による焦点検出を行う焦点検出手段と、前記撮像素子内で選択された焦点検出領域の内側にある複数の画素からの出力を加算する加算手段と、
前記焦点検出領域の内側にある複数の画素の加算範囲を設定する加算範囲設定手段と、前記加算手段によって得られる像ずれ量に基づいてデフォーカス量を算出するデフォーカス量算出手段と、前記デフォーカス量を用いて焦点調節を行う焦点調節手段と、を有する撮像装置であって、
前記加算範囲設定手段は、前記撮影光学系のＦ値を含む露出設定値に基づいて、前記加算範囲を変更することを特徴とする構成とした。

本発明によれば、ノイズを抑えた画像信号を用いた焦点検出を行うことができ、高精度な焦点検出を実現した撮像装置を提供することができる。

本実施例における撮像装置の構成を示すブロック図である。 本実施例における撮像装置の動作を示すフローチャートである。 本実施例における撮像素子の説明図である。 本実施例における撮影レンズの瞳を示す図である。 本実施例における焦点検出領域を示す図である。 本実施例における焦点検出領域のライン加算を示す図である。 本実施例におけるライン加算数設定方法を示すフローチャートである。 本実施例における像信号の説明図である。 本実施例における光学系および像信号の説明図である。 本実施例における焦点検出方法を示すフローチャートである。 本実施例における焦点制御方法を示すフローチャートである。 実施例２におけるライン加算数設定方法を示すフローチャートである。 焦点検出用画素を部分的に配置した撮像素子の説明図である。 実施例３におけるライン加算数設定方法を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

（撮像装置の構成の説明）
まず、図１を参照して、本実施例における撮像装置の構成について説明する。図１は、撮像装置１００の構成を示すブロック図である。撮像装置１００は、被写体を撮影して、動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録可能なビデオカメラやデジタルスチルカメラなどであるが、これらに限定されるものではない。撮像装置１００内の各ユニットは、バス１６０を介して接続されている。また各ユニットは、メインＣＰＵ１５１（中央演算処理装置）により制御される。

撮像装置１００は、一つのマイクロレンズを共有する複数の光電変換素子（第１の光電変換素子および第２の光電変換素子）を備えた撮像素子を用いて位相差検出方式の焦点検出を行う焦点検出装置を搭載している。なお、本実施例の焦点検出装置は、撮影光学系（撮影レンズ）を介して得られた光学像を取得可能に構成された撮像装置（撮像装置本体）と、撮像装置本体に着脱可能な撮影光学系とを備えて構成された撮像システムに適用される。ただし、本実施例はこれに限定されるものではなく、撮影光学系が一体的に設けられた撮像装置にも適用可能である。

撮影光学系としての撮影レンズ１０１（レンズユニット）は、撮影光学系内に固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、および、フォーカスレンズ１３１を備えて構成される。絞り制御部１０５は、メインＣＰＵ１５１の指令に従い、絞りモータ１０４を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。

ズーム制御部１１３は、ズームモータ１１２を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。また、フォーカス制御部１３３は、フォーカスモータ１３２を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカスレンズ１３１は、焦点調節用レンズであり、図１には単レンズで簡略的に示されているが、通常、複数のレンズで構成される。

これらの光学部材（撮影レンズ１０１）を介して撮像素子１４１上に結像する被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、被写体像（光学像）を電気信号に光電変換を行う光電変換素子である。撮像素子１４１は、横方向にｍ画素、縦方向にｎ画素の受光素子のそれぞれに、後述のように２つの光電変換素子（受光領域）が配置されている。撮像素子１４１上に結像されて光電変換された画像は、撮像信号処理部１４２により画像信号（画像データ）として整えられる。

位相差ＡＦ処理部１３５は、一対の光電変換素子（第１の光電変換素子、第２の光電変換素子）から個別に（それぞれ独立して）出力された画像信号（出力信号値）を用い、被写体からの光を分割して得られた像の分割方向における像ずれ量を検出（算出）する。すなわち、位相差ＡＦ処理部１３５は、第１の光電変換素子および第２の光電変換素子のそれぞれから独立して得られた信号値を用いた相関演算を行って像ずれ量を算出する像ずれ量算出手段である。

また、位相差ＡＦ処理部１３５は、検出した像ずれ量に基づいて撮影レンズ１０１のピント方向のずれ量（デフォーカス量）を算出するデフォーカス量算出手段である。デフォーカス量は、像ずれ量に係数（換算係数）を掛けることにより算出される。なお、像ずれ量算出手段、デフォーカス量算出手段の各動作は、メインＣＰＵ１５１の指令に基づいて行われる。また、これらの動作の少なくとも一部をメインＣＰＵ１５１またはフォーカス制御部１３３で実行するように構成してもよい。

メインＣＰＵ１５１は、撮像素子内で選択された焦点検出領域の内側にある複数の画素からの出力を加算する加算手段としての機能を有する。

位相差ＡＦ処理部１３５は、算出された像ずれ量（デフォーカス量）をフォーカス制御部１３３へ出力する。フォーカス制御部１３３は、撮影レンズ１０１のピント方向のずれ量に基づいてフォーカスモータ１３２を駆動する駆動量を決定する。フォーカス制御部１３３およびフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、位相差検出方式のＡＦ制御が実現される。

撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４（ランダム・アクセス・メモリ）に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３にて圧縮された後、画像記録媒体１５７に記録される。これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。画像処理部１５２（画像処理手段）は、第１の光電変換素子および第２の光電変換素子の加算信号を用いて得られた画像信号を処理する。

画像処理部１５２は、例えば、画像データに対して最適なサイズへの縮小・拡大処理を行う。最適なサイズに処理された画像データは、モニタディスプレイ１５０に送られて画像表示される。このため、操作者は、リアルタイムで撮影画像を観察することができる。なお、画像の撮影直後にはモニタディスプレイ１５０が所定時間だけ撮影画像を表示することで、操作者は撮影画像を確認することができる。

操作部１５６（操作スイッチ）は、操作者が撮像装置１００への指示を行うために用いられる。操作部１５６から入力された操作指示信号は、バス１６０を介してメインＣＰＵ１５１に送られる。

撮像制御部１４３は、メインＣＰＵ１５１からの命令に基づき、撮像素子の制御を行う。これに先立ち、メインＣＰＵ１５１は、操作部１５６から入力された操作者からの指示、あるいは、一時的にＲＡＭ１５４に蓄積された画像データの画素信号の大きさに基づき、以下のモードを決定する。

つまり、撮像素子１４１の蓄積時間、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値、レンズユニットの絞り値、画素信号の読み出しモードを決定する。撮像制御部１４３は、メインＣＰＵから蓄積時間、ゲインの設定値、画素信号の読み出しモードの指示を受け取り、撮像素子１４１を制御する。

バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムを記憶している。操作者の操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラムがＲＡＭ１５４の一部に読み込まれる（ロードされる）。メインＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムに従って撮像装置１００の動作を制御する。

（焦点制御動作の説明）
次に、図２を参照して、撮像装置１００の焦点制御（焦点調節）を含む動作について説明する。図２は、撮像装置１００の動作を示すフローチャートである。図２の各ステップは、メインＣＰＵ１５１の指令に基づいて行われる。

まず、ステップＳ２０１において、撮像装置１００の電源がＯＮにされると、メインＣＰＵ１５１は演算（制御）を開始する。続いてステップＳ２０２において、撮像装置１００のフラグや制御変数などを初期化する。そしてステップＳ２０３において、フォーカスレンズ１３１などの光学部材を初期位置に移動させる。

次に、ステップＳ２０４において、メインＣＰＵ１５１は操作者により電源ＯＦＦ操作が行われたか否か（電源ＯＦＦ操作の有無）を検出する。ステップＳ２０４にて電源ＯＦＦ操作が検出された場合、ステップＳ２０５に進む。ステップＳ２０５において、メインＣＰＵ１５１は、撮像装置１００の電源をＯＦＦにするため、光学部材を初期位置へ移動し、各種フラグや制御変数のクリアなどの後処理を行う。そして、ステップＳ２０６において、撮像装置１００の処理（制御）を終了する。

一方、ステップＳ２０４にて電源ＯＦＦ操作が検出されない場合、ステップＳ２０７に進む。ステップＳ２０７において、メインＣＰＵ１５１は、焦点検出処理を行う。続いてステップＳ２０８において、フォーカス制御部１３３は、ステップＳ２０７にて決定された駆動方向、駆動速度、および、位置でフォーカスレンズ１３１を駆動し、フォーカスレンズ１３１を所望の位置に移動させる。

続いて、ステップＳ２０９において、撮像素子１４１は被写体像を光電変換する（撮像処理）。また、撮像信号処理部１４２は、光電変換された被写体像に所定の処理（画像処理）を施して画像信号を出力する。そして、ステップＳ２１０において、メインＣＰＵ１５１は、操作者により記録ボタン（操作部１５６）の押下がなされたか否かを検出し、記録中であるか否かを確認する。記録中でない場合には、ステップＳ２０４へ戻る。

一方、記録中である場合には、ステップＳ２１１に進む。ステップＳ２１１において、撮像信号処理部１４２から出力された画像信号（画像データ）は、画像圧縮解凍部１５３により圧縮処理され、画像記録媒体１５７に記録される。そしてステップＳ２０４へ戻り、上述の各ステップを繰り返す。

（位相差検出方法の説明）
次に、本実施例における撮像面位相差ＡＦである位相差検出方法について説明する。まず、図３を参照して、撮像素子１４１の構成について説明する。図３（ａ）は、瞳分割機能を有する撮像素子１４１の画素の構成図（断面図）である。光電変換素子３０は、一画素につき２つの光電変換素子３０−１（第１の光電変換素子）および光電変換素子３０−２（第２の光電変換素子）に分割されており、瞳分割機能を有する。マイクロレンズ３１（オンチップマイクロレンズ）は、光電変換素子３０に効率よく光を集める機能を有し、光電変換素子３０−１、３０−２の境界に光軸が合うように配置されている。また、一つの画素の内部には、平坦化膜３２、カラーフィルタ３３、配線３４、および、層間絶縁膜３５が設けられている。

図３（ｂ）は、撮像素子１４１の一部の構成図（平面図）である。撮像素子１４１は、図３（ａ）に示される構成を有する一画素を複数配列することで形成される。また、撮像を行うため、各画素にはＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタ３３が交互に配置され、四画素で一組の画素ブロック４０、４１、４２を配列することで、所謂ベイヤー配列が構成されている。なお、図３（ｂ）において、Ｒ、Ｇ、Ｂのそれぞれの下に示される「１」または「２」は、光電変換素子３０−１、３０−２のそれぞれを表す数値である。

図３（ｃ）は、撮像素子１４１の光学原理図であり、図３（ｂ）中のＡ−Ａ線で切断して得られた断面図の一部を示す。撮像素子１４１は、撮影レンズ１０１の予定結像面に配置されている。マイクロレンズ３１の作用により、光電変換素子３０−１、３０−２はそれぞれ、撮影レンズ１０１の瞳（射出瞳）の異なる位置（領域）を通過した一対の光束を受光するように構成されている。光電変換素子３０−１は、主に、撮影レンズ１０１の瞳のうち図３（ｃ）中の右側位置を透過する光束を受光する。一方、光電変換素子３０−２は、主に、撮影レンズ１０１の瞳の図３（ｃ）中の左側位置を透過する光束を受光する。

（撮像素子１４１の瞳の説明）
続いて、図４を参照して、撮像素子１４１の瞳について説明する。図４は、撮像素子１４１から見た場合の、撮影光学系としての撮影レンズ１０１の瞳５０を示す図である。５１−１は光電変換素子３０−１の感度領域（以下、「Ａ像瞳」という。）、５１−２は光電変換素子３０−２の感度領域（以下、「Ｂ像瞳」という。）である。５２−１、５２−２は、それぞれ、Ａ像瞳およびＢ像瞳の重心位置である。

本実施例の撮像処理を行う場合、同一画素において同一色のカラーフィルタが配置された２つの光電変換素子の出力を加算することにより、画像信号を生成することが可能である。一方、本実施例の焦点検出処理を行う場合、一画素ブロック内における光電変換素子３０−１に対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。

そして、この信号を画素ブロック４０、４１、４２のように横方向に連続して取得することによりＡ像信号を生成することが可能である。同様に、一画素ブロック内における光電変換素子３０−２に対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。そして、この信号を横方向に連続して取得することによりＢ像信号を生成することが可能である。Ａ像信号およびＢ像信号により、一対の位相差検出用信号が生成される。

（焦点検出領域の説明）
続いて、図５を参照して、本実施例の焦点検出方法にて用いられる焦点検出領域について説明する。図５は、焦点検出領域を示す図である。図５に示されるように、撮像画角６０に対して、適切な位置に焦点検出領域６１が設けられる。位相差ＡＦ処理部１３５は、焦点検出領域６１に対して上述の一対の位相差検出用信号を生成し、焦点検出を行う。なお、撮像画角６０上において、複数の焦点検出領域を設定することも可能である。本実施例は、撮像素子１４１を構成する全画素において２つの光電変換素子を設け、焦点検出領域から位相差検出用信号を生成する方法について説明したが、これに限定されるものではない。例えば、焦点検出領域にのみ図３（ａ）に示される構造（分割画素構造）を有する撮像素子１４１を用いてもよい。

（露出設定値の説明）
本実施例における撮像素子は、焦点検出手段と撮像手段に用いる信号をともに出力するため、自動露出補正を行う場合には、撮像に適した露出設定値に基づいて、撮像素子が制御される。そのため、露出設定値が焦点検出にとって適した設定にならない場合がある。特に、撮像素子の出力ゲイン値を高く設定している場合や、ガンマ補正の設定によって、画素のダイナミックレンジに対する露出目標値が小さくなる場合では、焦点検出に用いる画像信号は小さくなり、ノイズが増える場合がある。

その結果、焦点検出の結果のばらつきも大きくなる。また、操作者が露出をマニュアルで設定した場合においても、撮像素子の蓄積時間やレンズの絞りを変えることにより、焦点検出に用いる画像信号は影響を受けるため、設定値によっては、焦点検出が難しくなる場合がある。そのため、焦点検出領域の一画素を生成する際には、図６に示すように、適度な範囲で図中縦方向にライン加算したものを用いる。図６の例では、縦方向にベイヤー配列における２画素分を用いて、加算平均することにより、焦点検出に用いる画像信号を生成（以下、２ライン加算という）している。なお、ライン加算数は、任意に設定可能である。ライン加算数が多いほど、焦点検出領域６１が画角に対して、縦方向に大きくなる。

ライン加算により焦点検出に用いる画像信号のノイズの低減が可能である。しかし一方で、被写体が焦点検出領域に対して斜めにかかるような場合に、ライン加算の数を増やしてしまうと、分解能が低下してしまう場合がある。

本実施例では、撮像条件に応じた、焦点検出領域のライン加算範囲制御について説明する。ガンマ補正の設定や、撮像素子の出力ゲイン値の設定によって変わる、画素のダイナミックレンジに対する露出目標値に応じて、ライン加算数を増加させることで、ノイズの低減を実現する。また、レンズの絞りに応じて、ライン加算数を変化させることで、被写界深度を考慮した縦方向の分解能を確保する。

（ライン加算数設定方法の説明）
図７は、本実施例における焦点検出領域のライン加算数設定方法を示すフローチャートである。図７の各ステップは、メインＣＰＵ１５１により実施される。まず、ステップＳ７０１において、焦点検出領域６１のライン加算数設定が開始される。ステップＳ７０２において、ライン加算数の初期設定を行う。本実施例では、初期設定としてライン加算数を８ラインとする。続いてステップＳ７０３において、自動露出であるか否かを判定する。

自動露出でない場合にはステップＳ７０９へ進む。自動露出である場合には、ステップＳ７０４において、ガンマ補正の設定を取得し、露出目標値を算出する。ステップＳ７０５において、ガンマ補正の設定により、露出の目標値が、一画素のダイナミックレンジの１０％以下か判別する。１０％以下となる場合には、ステップＳ７０６において、ライン加算数を４倍にする。それ以外の場合には、ステップＳ７０７において、ガンマ補正の設定により、露出の目標値が、一画素のダイナミックレンジの３０％以下となるか否か判別する。３０％以下となる場合には、ステップＳ７０８において、ライン加算数を２倍に設定する。

ステップＳ７０９において、撮像素子１４１の出力ゲイン値の設定を取得する。ステップＳ７１０において、ゲイン設定が所定値以上の場合、高感度設定となっている場合には、ステップＳ７１１において、ライン加算数を２倍に設定する。高感度設定でない場合、ステップＳ７１２において、ゲイン設定が所定値よりも小さく、低感度設定となっているかを判定し、低感度設定となっている場合には、ステップＳ７１３において、ライン加算数を１／２倍にする。

ステップＳ７１４において、Ｆ値（Ｆナンバー）を取得し、ステップＳ７１５において、取得したＦ値が８より大きいか否かを判定する。８より大きい場合には、ステップＳ７１６において、ライン加算数を１／２倍にし、８より小さい場合には、ステップＳ７１７において、取得したＦ値が２より小さいか否かを判定する。２より小さい場合には、ステップＳ７１８において、ライン加算数を２倍にする。

そして、ステップＳ７１９において、本フローの処理を終了する。Ｆ値が小さい場合には、被写界深度が浅いため、精度を上げて焦点検出を行うためにライン加算数を増加する。また、焦点が合焦位置から離れている場合に、撮像素子１４１が捉える像は低コントラストになりやすいためである。一方、Ｆ値が大きい場合には、被写界深度が深いため、縦分解能を確保するために、ライン加算数を減少させる。

なお、本実施例中の数値は一例であり、ライン加算数を２倍、１／２倍とすることで増減する設定について述べたが、例えば５ライン増やすなどの加減によって、ライン加算数を増減させても良い。また、初期値は任意であり、撮像素子の構造あるいは搭載するカメラの機種に応じて、任意に設定可能である。また、ガンマ設定による露出目標値、ゲイン値の設定、Ｆ値に対してそれぞれライン加算数の変更を２倍、１倍、１／２倍の３段階ずつ設定したが、より細かく設定しても良い。また、ステップＳ７１５からステップＳ７１８の代わりに、表１に示すように、Ｆ値と蓄積時間との組み合わせでライン加算数を変更するようにしても良い。

蓄積時間とは、撮影光学系の異なる射出瞳を通過した一対の光束を受光した撮像素子１４１の電荷蓄積時間を意味する。

本実施例では、蓄積時間が１／３００ｓ未満の場合、焦点検出に用いる画像信号のノイズが問題が顕著になる。よって、ライン加算数を増加させ、蓄積時間が１／３００ｓ以上の場合、焦点検出に用いる画像信号のノイズが問題とならないので、縦分解能を確保するために、ライン加算数を減少させる。

（像信号の説明）
続いて、図８を参照して、Ａ像信号およびＢ像信号（以下、まとめて「像信号」という。）について説明する。図８は、像信号の説明図である。図８において、縦軸は像信号のレベル、横軸は画素位置をそれぞれ示している。また、図８中のグラフ曲線Ｗ１はＡ像信号、グラフ曲線Ｗ２はＢ像信号をそれぞれ示している。生成した一対の位相差検出用信号の像ずれ量Ｘは、撮影レンズ１０１の結像状態（合焦状態、前ピン状態、または、後ピン状態）に応じて変化する。撮影レンズ１０１が合焦状態の場合、２つの像信号の像ずれ量は無くなる。一方、前ピン状態または後ピン状態の場合、異なる方向の像ずれ量が生じる。また像ずれ量は、撮影レンズ１０１により被写体像が結像している位置とマイクロレンズ上面との距離、いわゆるデフォーカス量と一定の関係を有する。

（デフォーカス量への変換の説明）
続いて、図９を参照して、相関演算により算出された像ずれ量からデフォーカス量への変換について説明する。図９（ａ）は、撮影レンズ１０１および撮像素子１４１を含む光学系を示す図である。被写体８０に対する予定結像面の位置ｐ０の光軸ＯＡ上に焦点検出面の位置ｐ１がある。図９（ｂ）は、焦点検出面の位置ｐ１での像信号である。像ずれ量とデフォーカス量との関係は、光学系に応じて決定される。デフォーカス量は、像ずれ量Ｘに所定の係数Ｋ（換算係数）を掛けることにより算出することができる。係数Ｋは、Ａ像瞳とＢ像瞳との重心位置に基づいて算出される。焦点検出面の位置ｐ１が位置ｐ２に移動した場合、位置ｐ０、ｑ２、ｑ３の三角形と位置ｐ０、ｑ２’、ｑ３’との三角形の相似に従って、像ずれ量が変化する。このため、焦点検出面の位置ｐ２でのデフォーカス量を算出することが可能である。メインＣＰＵ１５１は、デフォーカス量に基づいて、被写体に対して合焦状態を得るためのフォーカスレンズ１３１の位置を算出する。

（焦点検出方法の説明）
続いて、図１０を参照して、本実施例における焦点検出方法について説明する。図１０は、焦点検出方法を示すフローチャートである。図１０の各ステップは、メインＣＰＵ１５１、位相差ＡＦ処理部１３５、および、フォーカス制御部１３３により実施され、図２中のステップＳ２０７に相当する。

まず、ステップＳ１００１において、焦点検出が開始される。Ｓ１００２において、図７で示したライン加算数設定を行う。続いてステップＳ１００３において、撮像素子１４１は電荷を蓄積する。そして、ステップＳ１００４において、メインＣＰＵ１５１は、電荷の蓄積が完了したか否かを判定する。撮像素子１４１の電荷蓄積終了時間に達していない場合、ステップＳ１００３に戻り、撮像素子１４１は電荷の蓄積を継続する。一方、ステップＳ１００４において、電荷の蓄積が完了している場合、ステップＳ１００５において、焦点検出領域での画像信号の画素値読み出しを行う。

ステップＳ１００６において、メインＣＰＵ１５１は、焦点検出領域にある所定画素数分の読み出しが完了したか否かを判定する。所定画素数分の読み出しが完了していない場合、ステップＳ１００５に戻り、所定画素数分の読み出しが終了するまでステップＳ１００５〜Ｓ１００６を繰り返す。なお、指定したライン加算数分の画素が加算された状態で、所定画素の読み出しは行われる。

続いて、ステップＳ１００７において、フォーカス制御部１３３は、取得した像信号に対して前補正処理を行う。この前補正処理は、読み出した像信号に対する補正処理と、平均化フィルタ、エッジ強調フィルタなどの像信号のフィルタ処理とを含む。そしてステップＳ１００８において、メインＣＰＵ１５１（フォーカス制御部１３３または位相差ＡＦ処理部１３５）は相関演算を行い、相関が最も高くなるシフト量を算出する。相関演算では、焦点検出領域の内側のＡ像信号およびＢ像信号の画素をシフトさせながら相関値が演算され、相関値が最大になる位置同士の差が像ずれ量として算出される。

相関値を算出する際、２つの像信号を重ねて、それぞれ対応する信号同士を比較し、小さい方の値の累積を取得する。なお、大きい方の値の累積を取得してもよい。また、これらの値の差分を取得してもよい。累積は、相関を指し示す指標となり、小さい方の値の累積を取得した場合には、この値が最も大きいときが相関の高いときである。なお、大きい方の値の累積を取得した場合、または差分を取得した場合、この値が最も小さいときが相関の高いときとなる。

相関が最も高くなるシフト量を算出した後、そのシフト量と前後のシフト量での相関値を用いて、補間演算を行い、１シフト以内の補間値を算出する。このシフト量と補間値との和が像ずれ量Ｘとなる。このように、像ずれ量算出手段としてのメインＣＰＵ１５１、フォーカス制御部１３３、または、位相差ＡＦ処理部１３５は、第１の光電変換素子および第２の光電変換素子のそれぞれから独立して得られた信号値を用いた相関演算を行って像ずれ量を算出する。

続いて、ステップＳ１００９において、メインＣＰＵ１５１（フォーカス制御部１３３または位相差ＡＦ処理部１３５）は、算出した像ずれ量Ｘの信頼性を評価する。この信頼性は、像信号のコントラストや２つの像信号の一致度などに基づいて算出される。

続いて、ステップＳ１０１０において、メインＣＰＵ１５１（フォーカス制御部１３３または位相差ＡＦ処理部１３５）は、信頼性が所定の閾値よりも大きいか（信頼性できる像ずれ量Ｘが得られたか）否かを判定する。

信頼性が所定の閾値よりも大きい場合、ステップＳ１０１１において、メインＣＰＵ１５１は、算出された像ずれ量Ｘに補正後の係数Ｋを掛けることにより（Ｄｅｆ＝Ｋ×Ｘの関係式により）、デフォーカス量Ｄｅｆを算出する。メインＣＰＵ１５１は、フォーカス制御部１３３または位相差ＡＦ処理部１３５示す。

ＣＰＵ１５１は、焦点検出領域の内側にある複数の画素の加算範囲を設定する加算範囲設定手段としての機能を有する。

そして、ステップＳ１０１３において本フローに示される焦点検出処理を終了する。一方、ステップＳ１０１０において信頼性が所定の閾値以下である場合（信頼性のある像ずれ量を検出できなかった場合）、ステップＳ１０１２において焦点検出を行わない（焦点検出ＮＧ）。そして、ステップＳ１０１３において、本フローの処理を終了する。

（焦点制御方法の説明）
次に、図１１を参照して、本発明における焦点制御方法（焦点調節方法）について説明する。図１１は、本実施例における焦点制御方法を示すフローチャートである。本実施例の焦点制御方法が開始されると、メインＣＰＵ１５１は所定の演算を行う。そして、フォーカス制御部１３３は、メインＣＰＵ１５１の指令に基づいて、フォーカスモータ１３２の制御を行う。図１１に示される各ステップは、メインＣＰＵ１５１およびフォーカス制御部１３３により実施され、図２中のステップＳ２０８に相当する。

まず、ステップＳ１１０１にて焦点制御が開始されると、ステップＳ１１０２において、フォーカス制御部１３３は、図１０に示される焦点検出方法で算出されたデフォーカス量を取得する。そしてステップＳ１１０３において、フォーカス制御部１３３は、デフォーカス量に基づいてフォーカスレンズ１３１の駆動量（レンズ駆動量）を算出する。また、このレンズ駆動量の算出には、レンズ駆動方向と速度の算出も含まれる。続いてステップＳ１１０４において、メインＣＰＵ１５１（フォーカス制御部１３３）は、デフォーカス量の絶対値が所定値以下であるか否かを判定する。

ステップＳ１１０４にてデフォーカス量の絶対値が所定値以下ではない場合、ステップＳ１１０５に進む。ステップＳ１１０５において、フォーカスレンズ１３１の位置は合焦位置（合焦点）でないと見なされるため、ステップＳ１１０３にて算出されたレンズ駆動量に従って、フォーカスレンズ１３１を駆動し、ステップＳ１１０７に進む。以後、図２に示されるフローに従って、焦点検出とフォーカスレンズ駆動を繰り返す。

一方、ステップＳ１１０４にてデフォーカス量の絶対値が所定値以下である場合、ステップＳ１１０６に進む。このとき、フォーカスレンズ位置は合焦点にあると見なされるため、ステップＳ１１０６にてレンズ駆動を停止し、ステップＳ１１０７に進む。以後、図２に示されるフローに従って焦点検出を行い、デフォーカス量が再び所定値を超えた場合にはフォーカスレンズ１３１を駆動する。

以上のように、焦点検出装置において、ガンマ補正値の設定や、撮像素子の出力ゲイン値の設定によって変わる画素のダイナミックレンジに対する露出目標値に応じて、ライン加算数を増加させる。これにより、ノイズの低減を実現し、焦点検出結果のばらつきを抑制することが可能となる。また、レンズの絞りに応じて、ライン加算数を変化させる。これにより、縦方向の分解能を確保し、特に被写体が焦点検出領域に対して斜めにかかるような場合において、検出精度の低下を抑制することが可能である。

次に、本発明の実施例２におけるライン加算数設定方法について説明する。実施例１では、露出設定値に基づいて焦点検出領域のライン加算数を設定する方法について説明した。本実施例では、デフォーカス量に基づいて焦点検出領域のライン加算数を設定する方法について説明する。なお、本実施例において、実施例１と同一の内容については、同一の符号を用いてその説明を省略する。

メインＣＰＵ１５１は、デフォーカス量に基づいて得られた焦点検出結果の焦点状態を判定する合焦状態判定手段としての機能を有する。

加算範囲設定手段により、焦点状態が合焦状態に近い場合の加算範囲は、焦点状態が合焦状態に遠い場合の前記加算範囲に比べて、小さく設定されている。

図１２は、本実施例における焦点検出領域のライン加算数設定方法を示すフローチャートである。図１２の各ステップは、メインＣＰＵ１５１により実施される。図１２において、ステップＳ１２０１〜Ｓ１２０２およびステップＳ１２０３〜Ｓ１２１２は、図７を参照して説明した実施例１におけるステップＳ７０１〜Ｓ７０２、ステップＳ７０９〜Ｓ７１８とそれぞれ同様である。

ＣＰＵ１５１は、焦点検出領域の内側にある複数の画素の加算範囲を設定する加算範囲設定手段としての機能を有する。

ステップＳ１２１３において、デフォーカス量を取得する。動画撮影やライブビュー撮影において、図２で示すステップＳ２０７の焦点検出は繰り返し行われているため、前回の焦点検出結果であるデフォーカス量を取得する。ステップＳ１２１４において、取得したデフォーカス量の絶対値が１ｍｍ以下、つまり、現在のフォーカスレンズの位置が合焦位置に近いか否かを判別する。デフォーカス量の絶対値が１ｍｍ以下である場合には、Ｓ１２１５において、ライン加算数を１／２倍する。

一方、デフォーカス量の絶対値が１ｍｍ以上の場合には、ステップＳ１２１６において、ライン加算数を２倍にする。そしてステップＳ１２１７において、本フローの処理を終了する。現在のフォーカスレンズの位置が合焦位置に近い場合には、被写体の分解能を上げて焦点検出を行い、現在のフォーカスレンズの位置が合焦位置に遠い場合には、コントラストが小さくなりやすく、ライン加算数を増やすことでノイズを抑制する。

加算範囲設定手段により、焦点状態が合焦状態に近い場合の加算範囲は、焦点状態が合焦状態に遠い場合の前記加算範囲に比べて、小さく設定されている。

以上のように、本実施例では、実施例１の露出設定値に基づいて焦点検出領域のライン加算数を設定する方法に加え、焦点検出の結果に基づいてライン加算数を設定することにより、焦点検出の精度を向上させることが可能である。

上記各実施例において、撮像素子１４１の画素の受光部を２分割することで瞳分割機能を付与させた場合について説明したが、これに限定されるものではない。標準画素の一部に瞳の異なる焦点検出用画素を部分的に配置して、離散的な焦点検出画像を元に焦点検出を行う構造のものに対しても同様の効果を得ることができる。

図１３を参照して、標準画素の一部に瞳の異なる焦点検出用画素を部分的に配置した撮像素子１４１の構成について説明する。図３と同一の内容については、同一の符号を用いてその説明を省略する。

図１３（ａ）は、マスクにより、受光感度が右方向に感度ピークを持つ焦点検出用画素の構成図（断面図）を示す図である。オンチップマイクロレンズ３１は、光電変換素子３０に効率よく光を集める機能を有する。図１３（ａ）では、配線３４の最下部の開口を左側にシフトすることにより、右方向に感度ピークを持つよう瞳分割機能を持たせている。焦点検出用画素のカラーフィルタ３３は、光量拡大を図るため、透明層となっている。また、同様に配線３４の最下部の開口を右側にシフトすることで、左方向に感度ピークを持つよう瞳分割機能を持たせた画素を構成することも可能である。

図１３（ｂ）は、撮像素子１４１の一部の構成図（平面図）である。撮像素子１４１は、撮像を行うための標準画素（撮像用画素）の一部に、図１３（ａ）に示される構成の右方向に感度ピークを持つ焦点検出用画素Ａ、および左方向に感度ピークを持つ焦点検出用画素Ｂを離散的に配置することで形成される。標準画素部には、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタが交互に配置され、ベイヤー配列が構成されている。

焦点検出処理を行う場合、焦点検出用画素Ａに対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。そして、この信号を横方向に連続して取得することによりＡ像信号を生成することが可能である。同様に、焦点検出用画素Ｂに対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。そして、この信号を横方向に連続して取得することによりＢ像信号を生成することが可能である。Ａ像信号およびＢ像信号により、一対の位相差検出用信号が生成される。本発明は、標準画素（撮像用画素）の一部に瞳の異なる焦点検出用画素を部分的に配置した構成をとる撮像素子に対しても、９０、９１、９２で示した画素ブロック内に含まれる焦点検出画像Ａ、Ｂをそれぞれ加算することにより実施することが可能である。

次に、本発明の実施例３におけるライン加算数設定方法について説明する。前述の実施例では、露出設定値あるいはデフォーカス量に基づいて焦点検出領域のライン加算数を設定する方法について説明した。本実施例では、画素信号の読み出しモードによる焦点検出領域のライン加算数を設定する方法について説明する。なお、本実施例において前述の実施例と同一の内容については、同一の符号を用いてその説明を省略する。

本実施例における撮像装置は、画素信号の読み出しモードを備える。画素信号の読み出しモードは、操作者が操作部１５６を操作することにより切替が可能であり、映像出力機器の走査方式に合わせた、所謂プログレッシブモードとインタレースモードを備える。プログレッシブモードは、全てのラインを個別に読みだし、垂直方向に非加算に読み出すモードであり、解像度は高いが、処理負荷を抑えるためにフレームレートが低くなる方式である。インタレースモードは、１ラインおき、あるいは垂直方向に２ライン加算して画素信号を読み出す方式であり、プログレッシブモードに比べ、解像度は低くなるが、フレームレートを上げられる方式である。

本実施例における撮像素子は、焦点検出手段と撮像手段に用いる信号をともに出力するため、焦点検出手段で得る像信号も、この読み出しモードの影響を受ける。プログレッシブモードとインタレースモードでライン加算数を同じにした場合、インタレースモードで２ラインを１ラインとして扱っているために、実質的な焦点検出領域が縦に倍となる。被写体が焦点検出領域に対して斜めにかかるような場合に、分解能が低下してしまう場合がある。画素信号の読み出しモードに応じて、ライン加算数を制御することで、焦点検出領域の大きさを一定に保ち、縦方向の分解能を確保する。

図１４は、本実施例における焦点検出領域のライン加算数設定方法を示すフローチャートである。図１４の各ステップは、メインＣＰＵ１５１により実施される。図１４において、ステップＳ１４０１〜Ｓ１４０２およびステップＳ１４０３〜Ｓ１４１２は、図７を参照して説明した実施例１におけるステップＳ７０１〜Ｓ７０２、ステップＳ７０９〜Ｓ７１８とそれぞれ同様である。

ＣＰＵ１５１は、焦点検出領域内にある複数の画素の加算範囲を設定する加算範囲設定手段としての機能を有する。

ステップＳ１４１３において、画素信号の読み出しモードを取得する。ステップＳ１４１４において、画素信号の読み出しモードがプログレッシブモードか否かを確認し、プログレッシブモードである場合には、Ｓ１４１６へ進む。プログレッシブモードでない場合には、ステップＳ１４１５へ進み、ライン加算数を１／２倍する。そしてステップＳ１２１７において、本フローの処理を終了する。

以上のように、本実施例では、実施例１の露出設定値に基づいて焦点検出領域のライン加算数を設定する方法に加え、画素信号の読み出しモードに基づいてライン加算数を設定する。よって、焦点検出領域の大きさを一定に保ち、縦方向の分解能を確保することが可能である。

なお、プログレッシブモードとインタレースモードに基づいて説明したが、これに限定されるものではなく、画素信号の読み出しにおいて、垂直方向に間引きあるいは加算される数に応じて、焦点検出領域に設定するライン加算数を変更しても良い。

なお、ライン加算は加算平均を用いる方法について説明したが、これに限定されるものではなく、加算手段によって得られる信号が所定値未満の場合は、単純加算を用いても良い。

上記各実施例によれば、瞳分割機能を付与された光電変換部を用いて撮像および焦点検出が可能な焦点検出装置において、露出設定値および焦点検出結果に基づいて焦点検出領域のライン加算数を設定する。これにより、ノイズの低減を実現し、焦点検出結果のばらつきを抑制するとともに、縦方向の分解能を確保し、検出精度の低下を抑制することが可能である。このため上記各実施例によれば、ノイズを抑えた画像信号を用いた焦点検出を行うことができ、高精度な焦点検出装置、撮像装置、撮像システム、および、焦点検出方法を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

３０ 光電変換素子
３１ マイクロレンズ
１０１ 撮影レンズ
１０３ 絞り
１３１ フォーカスレンズ
１３３ フォーカス制御部
１３５ 位相差ＡＦ処理部
１４１ 撮像素子
１４３ 撮像部制御部
１５１ ＣＰＵ

Claims (9)

1. 撮像素子と、前記撮像素子にて検出された撮影光学系の異なる射出瞳を通過した一対の光束を用いて位相差検出による焦点検出を行う焦点検出手段と、前記撮像素子内で選択された焦点検出領域の内側にある複数の画素からの出力を加算する加算手段と、
   前記焦点検出領域の内側にある複数の画素の加算範囲を設定する加算範囲設定手段と、
   前記加算手段によって得られる像ずれ量に基づいてデフォーカス量を算出するデフォーカス量算出手段と、前記デフォーカス量を用いて焦点調節を行う焦点調節手段と、を有する撮像装置であって、
   前記加算範囲設定手段は、前記撮影光学系のＦ値を含む露出設定値に基づいて、前記加算範囲を変更することを特徴とする撮像装置。
2. 前記加算範囲設定手段は、前記Ｆ値が小さい場合、前記加算範囲を大きく設定し、前記Ｆ値が大きい場合、前記加算範囲を小さく設定することを特徴とする請求項１に記載の撮像装置。
3. 前記露出設定値は、前記撮像素子の蓄積時間を含み、
   前記加算範囲設定手段は、前記撮像素子の蓄積時間が小さい場合、前記加算範囲を大きく設定し、前記撮像素子の蓄積時間が大きい場合、前記加算範囲を小さく設定することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記露出設定値は、前記撮像素子の出力ゲイン値を含み、
   前記加算範囲設定手段は、前記出力ゲイン値が大きい場合、前記加算範囲を大きく設定し、前記出力ゲイン値が小さい場合、前記加算範囲を小さく設定することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
5. 前記露出設定値は、前記ガンマ補正に基づく露出目標値を含み、
   前記加算範囲設定手段は、前記露出目標値が大きい場合、前記加算範囲を小さく設定し、前記露出目標値が小さい場合、前記加算範囲を大きく設定することを特徴とする請求項１乃至４の何れか一項に記載の撮像装置。
6. 前記加算範囲設定手段は、更に前記デフォーカス量に基づいて、前記加算範囲を変更することを特徴とする請求項１乃至５の何れか一項に記載の撮像装置。
7. 前記デフォーカス量に基づいて得られた焦点検出結果の焦点状態を判定する合焦状態判定手段を有し、
   前記加算範囲設定手段により、前記焦点状態が合焦状態に近い場合の前記加算範囲は、前記焦点状態が合焦状態に遠い場合の前記加算範囲に比べて、小さく設定されていることを特徴とする請求項６に記載の撮像装置。
8. 前記加算範囲設定手段は、更に前記撮像素子の画素信号の読み出しモードに基づいて、前記加算範囲を変更することを特徴とする請求項１乃至７の何れか一項に記載の撮像装置。
9. 前記加算範囲設定手段により、前記画素信号の読み出しモードが前記撮像素子における垂直方向に間引き又は加算を伴う場合の加算範囲は、前記画素信号の読み出しモードが前記撮像素子における垂直方向に非加算の場合の加算範囲に比べて小さく設定されていることを特徴とする請求項８に記載の撮像装置。