JP2015210489A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】 瞳分割機能を付与された光電変換部を有する撮像素子における焦点検出において、検出精度を向上させた撮像装置を提供する。【解決手段】 被写体情報に応じて、焦点検出領域の画素ライン加算、相関量加算の比率を制御することにより、被写体が焦点検出領域に対して斜めにかかるような場合の分解能の低下を抑え、かつノイズを抑えた画像信号を用いた焦点検出を行う高精度な撮像装置とした。【選択図】 図１０

Description

本発明は、デジタルスチルカメラやビデオカメラなどの撮像装置に関し、特に撮像面位相差方式の自動焦点調整機能を有する撮像装置に関する。

カメラ等の撮像装置に搭載されるオートフォーカス（ＡＦ）方式の一つとして、位相差検出方式（以下、位相差ＡＦという）がある。位相差ＡＦでは、撮影レンズの射出瞳を通過した光束を二分割し、二分割した光束を一組の焦点検出用センサによりそれぞれ受光する。

そして、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量（以下、像ずれ量という）を検出することで撮影レンズのピント方向のずれ量（以下、デフォーカス量という）を求める。

特許文献１には、撮像素子に位相差検出機能を付与することで、専用の焦点検出用センサを不要とするとともに、高速の位相差ＡＦを実現する構成が開示されている。

特許文献１の構成では、撮像素子の画素の光電変換部を二分割して瞳分割機能を付与し、二分割された光電変換部の出力を個別に処理することで焦点検出を行うとともに、二分割された光電変換部の合算出力を画像信号として用いる。

また、特許文献２には、瞳分割機能を付与された光電変換部による焦点検出において、被写体が暗い場合のノイズの影響を低減させる構成が開示されている。特許文献２の構成では、撮像素子の１ライン毎の明るさを検出し、予め設定された明るさよりも暗い場合には、ライン加算を行っている。

また、特許文献３には、瞳分割機能を付与された光電変換部による焦点検出における焦点検出結果のばらつきを抑える開示がある。そのために、撮像素子の１ライン毎に相関演算を行うことを、撮像素子中の複数のラインで行い、得られた複数の相関量波形を加算する構成が開示されている。

特開２００１−３０５４１５号公報 特開２０１０−２７１４１９号公報 特開２０１３−０７２９０６号公報

しかしながら、特許文献１の構成では、焦点検出機能と撮像機能をともに撮像素子上で行うため、撮像素子の制御を行う露出設定値は撮像に合わせて決めることにより、焦点検出にとって適した設定値にならず、焦点検出結果がばらつくという課題がある。

特許文献２の構成では、画像信号に基づいてライン加算を行うことで焦点検出に用いる画像信号のノイズを低減しているが、ライン加算による被写体縦方向の分解能の低下については考慮されていない。

特許文献３の構成では、コントラストのない被写体や、画像信号中のノイズが大きい場合に、焦点検出結果のばらつきを抑えるために、相関演算を繰り返し行う必要があり、演算時間が増大してしまう場合がある。

そこで、本発明は、瞳分割機能を付与された光電変換部を有する撮像素子における焦点検出において、演算時間の増大を抑えつつ、画像信号のノイズと縦方向の分解能の低下を抑えた高精度な撮像装置、撮像方法を提供する。

本発明は、撮像光学系の異なる瞳領域を透過した一対の光束を複数の光電変換部で受光する焦点検出画素を複数有する撮像素子と、前記撮像素子から出力される焦点検出信号を用いて位相差方式の焦点調整を行う焦点調整手段と、前記撮像素子を構成する複数の焦点検出画素のうち第１の方向に配列された複数の焦点検出画素ラインを前記第１の方向と異なる方向である第２の方向に加算する画素加算手段と、前記第２の方向に加算された複数の焦点検出画素毎に相関演算を行って相関量を算出する相関量算出手段と、前記相関量算出手段で算出された複数の相関量を加算する相関量加算手段と、前記第２の方向に加算する焦点検出画素ラインの数と前記複数の相関量の数の比率を可変する加算比率可変手段と、前記相関量加算手段から出力される出力信号を用いて像ずれ量を算出する像ずれ量算出手段と、前記像ずれ量に基づいてデフォーカス量を算出するデフォーカス量算出手段と、を有する撮像装置であって、
前記加算比率可変手段は、被写体に関する情報に基づいて前記比率を可変することを特徴とする。

本発明によれば、被写体が焦点検出領域に対して斜めにかかる場合の分解能の低下を抑え、かつノイズを抑えた画像信号を用いた焦点検出を行うことができ、高精度な焦点検出装置、撮像装置、撮像システム、および、焦点検出方法を提供することができる。

本実施例における撮像装置の構成を示すブロック図である。 本実施例における撮像装置の動作を示すフローチャートである。 本実施例における撮像素子の説明図である。 本実施例における撮影レンズの瞳を示す図である。 本実施例における焦点検出領域の画素ライン加算を示す図である。 本実施例における像信号および相関演算の説明図である。 本実施例における焦点検出領域を示す図である。 本実施例における光学系の説明図である。 焦点検出領域に対して斜めにかかる被写体の例を示す図である。 本実施例における加算数設定方法を示すフローチャートである。 本実施例における焦点検出方法を示すフローチャートである。 本実施例における焦点制御方法を示すフローチャートである。 実施例２における加算数設定方法を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

＜実施例１＞
まず、図１を参照して、本実施例における撮像装置の構成について説明する。図１は、撮像装置１００の構成を示すブロック図である。

撮像装置１００は、被写体を撮影して、動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録可能なビデオカメラやデジタルスチルカメラなどであるが、これらに限定されるものではない。

撮像装置１００内の各ユニットは、バス１６０を介して接続されている。また各ユニットは、メインＣＰＵ１５１（中央演算処理装置）により制御される。

撮像装置１００は、一つのマイクロレンズを共有する複数の光電変換素子（第１の光電変換素子および第２の光電変換素子）を備えた撮像素子を用いて位相差方式の焦点検出を行う焦点検出装置を搭載している。

撮像素子は、撮像光学系の異なる瞳領域を透過した一対の光束を複数の光電変換部で受光する焦点検出画素を複数有する。

なお、本実施例の焦点検出装置は、撮像光学系（撮影レンズ）を介して得られた光学像を取得可能に構成された撮像装置（撮像装置本体）と、撮像装置本体に着脱可能な撮像光学系とを備えて構成された撮像システムに適用される。

ただし、本実施例はこれに限定されるものではなく、撮像光学系が一体的に設けられた撮像装置にも適用可能である。

撮影レンズ１０１（レンズユニット）は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、および、フォーカスレンズ１３１を備えて構成される。

絞り制御部１０５は、メインＣＰＵ１５１の指令に従い、絞りモータ１０４を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。

ズーム制御部１１３は、ズームモータ１１２を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。また、フォーカス制御部１３３は、フォーカスモータ１３２を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。

フォーカスレンズ１３１は、焦点調節用レンズであり、図１には単レンズで簡略的に示されているが、通常複数のレンズで構成される。

これらの光学部材（撮影レンズ１０１）を介して撮像素子１４１上に結像する被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、被写体像（光学像）を電気信号に光電変換を行う光電変換素子である。

撮像素子１４１は、横方向にｍ個の焦点検出画素、縦方向にｎ個の焦点検出画素の受光素子のそれぞれに、後述のように二つの光電変換素子（受光領域）が配置されている。撮像素子１４１上に結像されて光電変換された画像は、撮像信号処理部１４２により画像信号（画像データ）として整えられる。

位相差ＡＦ処理部１３５は、二つの光電変換素子（第１の光電変換素子、第２の光電変換素子）から個別に（それぞれ独立して）出力された画像信号（信号値）を用い、被写体からの光を分割して得られた像の分割方向における像ずれ量を検出（算出）する。

すなわち、位相差ＡＦ処理部１３５は、第１の光電変換素子および第２の光電変換素子のそれぞれから独立して得られた信号値を用いた相関演算を行って像ずれ量を算出する像ずれ量算出手段である。

また、位相差ＡＦ処理部１３５は、検出した像ずれ量に基づいて撮影レンズ１０１のピント方向のずれ量（デフォーカス量）を算出するデフォーカス量算出手段である。デフォーカス量は、像ずれ量に係数（換算係数）を掛けることにより算出される。なお、像ずれ量算出手段、デフォーカス量算出手段の各動作は、メインＣＰＵ１５１の指令に基づいて行われる。

また、これらの動作の少なくとも一部をメインＣＰＵ１５１またはフォーカス制御部１３３で実行するように構成してもよい。

位相差ＡＦ処理部１３５は、算出されたずれ量（デフォーカス量）をフォーカス制御部１３３へ出力する。フォーカス制御部１３３は、撮影レンズ１０１のピント方向のずれ量に基づいてフォーカスモータ１３２を駆動する駆動量を決定する。

フォーカス制御部１３３およびフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ制御が実現される。

撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４（ランダム・アクセス・メモリ）に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３にて圧縮された後、画像記録媒体１５７に記録される。

これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。画像処理部１５２（画像処理手段）は、第１の光電変換素子および第２の光電変換素子の加算信号を用いて得られた画像信号を処理する。

画像処理部１５２は、例えば、画像データに対して最適なサイズへの縮小・拡大処理を行う。最適なサイズに処理された画像データは、モニタディスプレイ１５０に送られて画像表示される。

このため、操作者は、リアルタイムで撮影画像を観察することができる。なお、画像の撮影直後にはモニタディスプレイ１５０が所定時間だけ撮影画像を表示することで、操作者は撮影画像を確認することができる。

操作部１５６（操作スイッチ）は、操作者が撮像装置１００への指示を行うために用いられる。操作部１５６から入力された操作指示信号は、バス１６０を介してメインＣＰＵ１５１に送られる。

撮像制御部１４３は、メインＣＰＵ１５１からの命令に基づき、撮像素子の制御を行う。

これに先立ち、メインＣＰＵ１５１は、２つの情報に基づき、撮像素子１４１の蓄積時間、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値、レンズユニットの絞り値を決定する。

上記２つの情報とは、操作部１５６から入力された操作者からの指示、あるいは、一時的にＲＡＭ１５４に蓄積された画像データの画素信号の大きさである。

撮像制御部１４３は、メインＣＰＵから蓄積時間、ゲインの設定値の指示を受け取り、撮像素子１４１を制御する。

バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムを記憶している。

操作者の操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラムがＲＡＭ１５４の一部に読み込まれる（ロードされる）。

メインＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムに従って撮像装置１００の動作を制御する。

次に、図２を参照して、撮像装置１００の焦点制御（焦点調節）を含む動作について説明する。図２は、撮像装置１００の動作を示すフローチャートである。図２の各ステップは、メインＣＰＵ１５１の指令に基づいて行われる。

まずステップＳ２０１において、撮像装置１００の電源がＯＮにされると、メインＣＰＵ１５１は演算（制御）を開始する。

続いてステップＳ２０２において、撮像装置１００のフラグや制御変数などを初期化する。そしてステップＳ２０３において、フォーカスレンズ１３１などの光学部材を初期位置に移動させる。

次に、ステップＳ２０４において、メインＣＰＵ１５１は操作者により電源ＯＦＦ操作が行われたか否か（電源ＯＦＦ操作の有無）を検出する。ステップＳ２０４にて電源ＯＦＦ操作が検出された場合、ステップＳ２０５に進む。

ステップＳ２０５において、メインＣＰＵ１５１は、撮像装置１００の電源をＯＦＦにするため、光学部材を初期位置へ移動し、各種フラグや制御変数のクリアなどの後処理を行う。そしてステップＳ２０６において、撮像装置１００の処理（制御）を終了する。

一方、ステップＳ２０４にて電源ＯＦＦ操作が検出されない場合、ステップＳ２０７に進む。ステップＳ２０７において、メインＣＰＵ１５１は、焦点検出処理を行う。

続いてステップＳ２０８において、フォーカス制御部１３３は、ステップＳ２０７にて決定された駆動方向、速度、および、位置でフォーカスレンズ１３１を駆動し、フォーカスレンズ１３１を所望の位置に移動させる。

続いてステップＳ２０９において、撮像素子１４１は被写体像を光電変換する（撮像処理）。また撮像信号処理部１４２は、光電変換された被写体像に所定の処理（画像処理）を施して画像信号を出力する。

そして、ステップＳ２１０において、メインＣＰＵ１５１は、操作者により記録ボタン（操作部１５６）の押下がなされたか否かを検出し、記録中であるか否かを確認する。記録中でない場合には、ステップＳ２０４へ戻る。

一方、記録中である場合には、ステップＳ２１１に進む。ステップＳ２１１において、撮像信号処理部１４２から出力された画像信号（画像データ）は、画像圧縮解凍部１５３により圧縮処理され、画像記録媒体１５７に記録される。そしてステップＳ２０４へ戻り、上述の各ステップを繰り返す。

次に、本実施例における位相差検出方法について説明する。まず、図３を参照して、撮像素子１４１の構成について説明する。図３（ａ）は、瞳分割機能を有する撮像素子１４１の画素の構成図（断面図）である。

光電変換素子３０は、一画素につき二つの光電変換素子３０−１（第１の光電変換素子）および光電変換素子３０−２（第２の光電変換素子）に分割されており、瞳分割機能を有する。

マイクロレンズ３１（オンチップマイクロレンズ）は、光電変換素子３０に効率よく光を集める機能を有し、光電変換素子３０−１、３０−２の境界に光軸が合うように配置されている。また、一つの画素の内部には、平坦化膜３２、カラーフィルタ３３、配線３４、および、層間絶縁膜３５が設けられている。

図３（ｂ）は、撮像素子１４１の一部の構成図（平面図）である。撮像素子１４１は、図３（ａ）に示される構成を有する一画素を複数配列することで形成される。

また、撮像を行うため、各焦点検出画素にはＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタ３３が交互に配置され、四画素で一組の画素ブロック４０、４１、４２を配列することで、所謂ベイヤー配列が構成されている。

なお、図３（ｂ）において、Ｒ、Ｇ、Ｂのそれぞれの下に示される「１」または「２」は、光電変換素子３０−１、３０−２のそれぞれを表す数値である。

図３（ｃ）は、撮像素子１４１の光学原理図であり、図３（ｂ）中のＡ−Ａ線で切断して得られた断面図の一部を示す。撮像素子１４１は、撮影レンズ１０１の予定結像面に配置されている。

マイクロレンズ３１の作用により、光電変換素子３０−１、３０−２はそれぞれ、撮影レンズ１０１の瞳（射出瞳）の異なる位置（領域）を通過した一対の光束を受光するように構成されている。

光電変換素子３０−１は、主に、撮影レンズ１０１の瞳のうち図３（ｃ）中の右側位置を透過する光束を受光する。一方、光電変換素子３０−２は、主に、撮影レンズ１０１の瞳の図３（ｃ）中の左側位置を透過する光束を受光する。

続いて、図４を参照して、撮像素子１４１の瞳について説明する。図４は、撮像素子１４１から見た場合の、撮影レンズ１０１の瞳５０を示す図である。

５１−１は光電変換素子３０−１の感度領域（以下、「Ａ像瞳」という。）、５１−２は光電変換素子３０−２の感度領域（以下、「Ｂ像瞳」という。）である。５２−１、５２−２は、それぞれ、Ａ像瞳およびＢ像瞳の重心位置である。

本実施例の撮像処理を行う場合、同一画素において同一色のカラーフィルタが配置された二つの光電変換素子の出力を加算することにより、画像信号を生成することが可能である。

一方、本実施例の焦点検出処理を行う場合、一画素ブロック内における光電変換素子３０−１に対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。

そして、この信号を画素ブロック４０、４１、４２のように横方向に連続して取得することによりＡ像信号を生成することが可能である。同様に、一画素ブロック内における光電変換素子３０−２に対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。

そして、この信号を横方向に連続して取得することによりＢ像信号を生成することが可能である。Ａ像信号およびＢ像信号により、一対の位相差検出用信号が生成される。

なお、本実施例では図５に示すように、適度な範囲で図中縦方向に画素加算（以下、画素ライン加算とする）を行ったものをＡ像信号、Ｂ像信号の一画素信号として取得する。

図５の例では、縦方向にベイヤー配列における２画素分を用いて、加算平均することにより、焦点検出に用いる画像信号を生成（以下、この場合を２ライン加算とする）している。画素ライン加算数の設定方法については、詳細を後述する。

続いて、図６を参照して、Ａ像信号およびＢ像信号（以下、まとめて「像信号」という。）について説明する。図６（ａ）は、像信号の説明図であり、縦軸は像信号のレベル、横軸は画素位置をそれぞれ示している。

生成した一対の位相差検出用信号の像ずれ量Ｘは、撮影レンズ１０１の結像状態（合焦状態、前ピン状態、または、後ピン状態）に応じて変化する。撮影レンズ１０１が合焦状態の場合、二つの像信号の像ずれ量は無くなる。一方、前ピン状態または後ピン状態の場合、異なる方向の像ずれ量が生じる。

また、像ずれ量は、撮影レンズ１０１により被写体像が結像している位置とマイクロレンズ上面との距離、いわゆるデフォーカス量と一定の関係を有する。

この像ずれ量Ｘを算出するため、相関演算を行う。相関演算では、Ａ像信号およびＢ像信号の画素をシフトさせながら相関量が演算される。図６（ｂ）は、像信号の画素をシフトさせていった時の相関量（以下、相関量波形という）を示す図である。

図６（ｂ）において、横軸は画素のシフト量、縦軸はその時のＡ像信号とＢ像信号の相関量それぞれ示している。相関量が最大になる位置同士の差が像ずれ量として算出される。相関量を算出する際、二つの像信号を重ねて、それぞれ対応する信号同士を比較し、小さい方の値の累積を取得する。

なお、大きい方の値の累積を取得しても良い。また、これらの値の差分を取得しても良い。累積は、相関を指し示す指標となり、小さい方の値の累積を取得した場合には、この値が最も大きいときが相関の高い時である。

なお、大きい方の値の累積を取得した場合、または差分を取得した場合、この値が最も小さい時が相関の高い時となる。

続いて、図７を参照して、本実施例の焦点検出方法にて用いられる焦点検出領域について説明する。図７は、焦点検出領域を示す図である。図７に示されるように、撮像画角６０に対して、適切な位置に、適切な大きさにて焦点検出領域６１が設けられる。

また、焦点検出領域６１内には、それぞれ焦点検出領域６１を図中縦方向に分割した焦点検出小エリア６２〜６６を有する。分割された焦点検出小エリア６２〜６６それぞれにおいて、領域分の画素ライン加算がなされ、相関演算がなされる。

全ての小エリアの相関演算がなされることにより、分割数分の図６（ｂ）に示したような相関量波形を得る。この分割数分の相関量波形を加算（以下、相関量加算という）することにより、最終的な焦点検出領域６１における相関量波形を取得する。この焦点検出領域６１における相関量波形から相関量が最大になる像ずれ量Ｘを算出する。

分割数は最も多い場合で、焦点検出領域６１内に含まれる画素ライン数分であり、分割数によって、焦点検出領域６１内の画素ライン加算数と相関量加算数の比率を制御することが可能である。画素ライン加算数と相関量加算数の比率制御方法については、詳細を後述する。

図８を参照して、相関演算により算出された像ずれ量からデフォーカス量への変換について説明する。図８は、撮影レンズ１０１および撮像素子１４１を含む光学系を示す図である。被写体７０に対する予定結像面の位置ｐ０の光軸ＯＡ上に焦点検出面の位置ｐ１がある。像ずれ量とデフォーカス量との関係は、光学系に応じて決定される。

デフォーカス量は、像ずれ量Ｘに所定の係数Ｋ（換算係数）を掛けることにより算出することができる。

係数Ｋは、Ａ像瞳とＢ像瞳との重心位置に基づいて算出される。焦点検出面の位置ｐ１が位置ｐ２に移動した場合、位置ｐ０、ｑ２、ｑ３の三角形と位置ｐ０、ｑ２’、ｑ３’との三角形の相似に従って、像ずれ量が変化する。このため、焦点検出面の位置ｐ２でのデフォーカス量を算出することが可能である。

メインＣＰＵ１５１は、デフォーカス量に基づいて、被写体に対して合焦状態を得るためのフォーカスレンズ１３１の位置を算出する。

メインＣＰＵ１５１は、撮像素子から出力される焦点検出信号を用いて位相差方式の焦点調整を行う焦点調整手段として機能する。

本実施例における、焦点検出画素ライン加算数と相関量加算数の詳細について説明する。本実施例における撮像素子は、焦点検出手段と撮像手段に用いる信号をともに出力するため、撮像に適した露出設定値に基づいて、撮像素子が制御される。

画素のダイナミックレンジに対する露出目標値が小さくなる場合では、焦点検出に用いる画像信号は小さくなり、ノイズが増える場合がある。その結果、焦点検出の結果のばらつきも大きくなる。また、操作者が露出をマニュアルで設定した場合においても、撮像素子の蓄積時間やレンズの絞りを変えることにより、焦点検出に用いる画像信号は影響を受け、焦点検出が難しくなる場合がある。

そのため、焦点検出領域の一画素を生成する際には、画素ライン加算により焦点検出に用いる画像信号のノイズの低減が可能である。しかし一方で、図９に示すように、被写体が焦点検出領域に対して斜めにかかるような場合に、画素ライン加算の数を増やしてしまうと、分解能が低下してしまう場合がある。

一方、相関量加算によっても、焦点検出結果のばらつきを抑えることが可能であり、縦方向に狭い範囲で相関演算することにより、図９に示すような被写体が焦点検出領域に対して斜めにかかるような場合においても、分解能の低下を抑えられる。

しかし、コントラストのない被写体や、画像信号中のノイズが大きい場合に、焦点検出結果のばらつきを抑えるために、相関演算を繰り返し行う必要があり、演算時間が増大してしまう場合がある。

本実施例では、被写体に応じた、焦点検出領域の焦点検出画素ライン加算、相関量加算の比率制御を行う。被写体のコントラストや斜め線であるか否かを検出し、ノイズの低減、演算時間と分解能低下の抑制のバランスを、画素ライン加算、相関量加算の比率制御によって実現する。

図１０は、本実施例における焦点検出領域の画素ライン加算数、相関量加算数の設定方法を示すフローチャートである。図１０の各ステップは、メインＣＰＵ１５１により実施される。まず、ステップＳ１００１において、画素ライン加算数、相関量加算数の設定が開始される。

ステップＳ１００２において、焦点検出領域６１内の画素値が読みだされる。読みだされる画素値は、焦点検出を行う今回のフレームの蓄積が完了したものでも良いし、前回のフレームの画素値を記憶しておいたものを用いても良い。

ステップＳ１００３において、取得した画素値の内、最初の１ライン分についてコントラスト（以下、コントラストａとする）を算出する。コントラストは、画素値の隣接差分の二乗を算出し、これを焦点検出領域内の１ライン分について累積を算出したものがコントラストの指標となる。

なお、算出するコントラストは、画素値の隣接差分の絶対値の総和であっても良い。

続いて、ステップＳ１００４において、最初の１ライン分に対して、次の１ラインを画素ライン加算平均し、ステップＳ１００５において、画素ライン加算後のコントラスト（以下、コントラストｂとする）を算出する。

なお、本実施例では１ラインずつ加算していく方法について説明したが、加算するライン数は所定の数であれば、２ラインでも、３ラインでも良い。ステップＳ１００６において、コントラストｂとコントラストａを比較し、加算後のコントラストｂが加算前のコントラストａより、値が大きいか否かを判別する。

値が大きい場合にはステップＳ１００３へ戻り、以後、コントラストｂがコントラストａより低下するまで、ステップＳ１００３からステップＳ１００６の処理を繰り返し、画素ライン加算を行う。コントラストｂがコントラストａより低下した場合には、ステップＳ１００７へ進み、現在画素ライン加算した数を、画素ライン加算数として決定する。

図９のような焦点検出領域に対して斜めにかかる被写体の場合、画素ライン加算とともに、得られる像信号がなまるため、コントラスト算出によって、判別が可能である。

画素ライン加算後のコントラストが画素ライン加算前のコントラストより低下しない場合には、被写体が斜めにかかっておらず、画素ライン加算数を大きくするように設定する。低下する場合には、被写体が斜めに傾いているため、画素ライン加算を小さくするように設定する。

なお、Ｓ１００６において、コントラストｂがコントラストａより低下する幅に許容値を持たせても良い。また、画素ライン加算数に上限または下限を設定しても良い。

ステップＳ１００８において、焦点検出領域６１に含まれる画素ライン数をステップＳ１００７で決定した画素ライン加算数で除算することにより、焦点検出領域６１の分割数、相関量加算数を決定する。

そして、ステップＳ１００９において、本フローの処理を終了する。このように、現フレームあるいは前フレームの画像情報より、画素ライン加算数および相関量加算数、つまりはその比率を被写体に応じて設定することが可能である。

続いて、図１１を参照して、本実施例における焦点検出方法について説明する。図１１は、焦点検出方法を示すフローチャートである。図１１の各ステップは、メインＣＰＵ１５１、位相差ＡＦ処理部１３５、および、フォーカス制御部１３３により実施され、図２中のステップＳ２０７に相当する。

まず、ステップＳ１１０１において、焦点検出が開始される。ステップＳ１１０２において、撮像素子１４１は電荷を蓄積する。そして、ステップＳ１１０３において、メインＣＰＵ１５１は、電荷の蓄積が完了したか否かを判定する。

撮像素子１４１の電荷蓄積終了時間に達していない場合、ステップＳ１１０２に戻り、撮像素子１４１は電荷の蓄積を継続する。一方、ステップＳ１１０３において、電荷の蓄積が完了している場合、ステップＳ１１０４において、焦点検出領域での画像信号の画素値読み出しを行う。

ステップＳ１１０５において、メインＣＰＵ１５１は、焦点検出領域にある所定画素数分の読み出しが完了したか否かを判定する。所定画素数分の読み出しが完了していない場合、ステップＳ１１０４に戻り、所定画素数分の読み出しが終了するまでステップＳ１１０４〜Ｓ１１０５を繰り返す。

続いてステップＳ１１０６において、図１０に示した分割数の設定を行う。ステップＳ１１０７において、図７に示した焦点検出小エリアの内の最初の１つ分について、設定された分割数に基づいて、画素ライン加算を行う。ステップＳ１１０８において、フォーカス制御部１３３は、取得した像信号に対して前補正処理を行う。

この前補正処理は、読み出した像信号に対する補正処理と、平均化フィルタ、エッジ強調フィルタなどの像信号のフィルタ処理とを含む。そしてステップＳ１１０９において、メインＣＰＵ１５１（フォーカス制御部１３３または位相差ＡＦ処理部１３５）は相関演算を行い、図６に示したような相関量波形を算出する。

ステップＳ１１１０において、分割数分の相関演算を行ったか否かを判定し、分割数分の相関演算が完了していない場合、ステップＳ１１０７に戻り、次の焦点検出小エリアにおける相関演算を行う。以後、焦点検出領域６１に含まれる全焦点検出小エリアの相関演算が完了するまでステップＳ１１０７〜ステップＳ１１１０を繰り返す。

ステップＳ１１１０において、分割数分の相関演算を行ったと判定される場合、ステップＳ１１１１において、相関量加算を行う。続いてステップＳ１１１２において、加算された相関量から、相関が最も高くなるシフト量を算出し、像ずれ量の算出を行う。

なお、ここでの像ずれ量算出には、相関が最も高くなるシフト量と前後のシフト量での相関値を用いて、補間演算を行い、１シフト以内の補間値の算出を含む。このシフト量と補間値との和が像ずれ量Ｘとなる。

このように、像ずれ量算出手段としてのメインＣＰＵ１５１、フォーカス制御部１３３、または、位相差ＡＦ処理部１３５は、第１の光電変換素子および第２の光電変換素子のそれぞれから独立して得られた信号値を用いた相関演算を行って像ずれ量を算出する。

続いてステップＳ１１１３において、メインＣＰＵ１５１（フォーカス制御部１３３または位相差ＡＦ処理部１３５）は、算出した像ずれ量Ｘの信頼性を評価する。この信頼性は、像信号のコントラストや二つの像信号の一致度などに基づいて算出される。

続いてステップＳ１１１４において、メインＣＰＵ１５１（フォーカス制御部１３３または位相差ＡＦ処理部１３５）は、信頼性が所定の閾値よりも大きいか（信頼性できる像ずれ量Ｘが得られたか）否かを判定する。

信頼性が所定の閾値よりも大きい場合、ステップＳ１１１５において、メインＣＰＵ１５１は、算出された像ずれ量Ｘに補正後の係数Ｋを掛けることにより（Ｄｅｆ＝Ｋ×Ｘの関係式により）、デフォーカス量Ｄｅｆを算出する。

そして、ステップＳ１１１７において本フローに示される焦点検出処理を終了する。一方、ステップＳ１１１４において信頼性が所定の閾値以下である場合（信頼性のある像ずれ量を検出できなかった場合）、ステップＳ１１１６において焦点検出を行わない（焦点検出ＮＧ）。そしてステップＳ１１１７において、本フローの処理を終了する。

次に、図１２を参照して、本発明における焦点制御方法（焦点調節方法）について説明する。図１２は、本実施例における焦点制御方法を示すフローチャートである。本実施例の焦点制御方法が開始されると、メインＣＰＵ１５１は所定の演算を行う。

そして、フォーカス制御部１３３は、メインＣＰＵ１５１の指令に基づいて、フォーカスモータ１３２の制御を行う。図１２に示される各ステップは、メインＣＰＵ１５１およびフォーカス制御部１３３により実施され、図２中のステップＳ２０８に相当する。

まず、ステップＳ１２０１にて焦点制御が開始されると、ステップＳ１２０２において、フォーカス制御部１３３は、図１１に示される焦点検出方法で算出されたデフォーカス量を取得する。

そして、ステップＳ１２０３において、フォーカス制御部１３３は、デフォーカス量に基づいてフォーカスレンズ１３１の駆動量（レンズ駆動量）を算出する。また、このレンズ駆動量の算出には、レンズ駆動方向と速度の算出も含まれる。続いてステップＳ１２０４において、メインＣＰＵ１５１（フォーカス制御部１３３）は、デフォーカス量の絶対値が所定値以下であるか否かを判定する。

メインＣＰＵ１５１は、焦点検出画素ラインの数と複数の相関量の数の比率を可変する加算比率可変手段として機能する。

メインＣＰＵ１５１は、複数の焦点検出画素毎に相関演算を行って相関量を算出する相関量算出手段として機能する。

メインＣＰＵ１５１は、相関量算出手段で算出された複数の相関量を加算する相関量加算手段として機能する。

メインＣＰＵ１５１は、相関量加算手段から出力される出力信号を用いて像ずれ量を算出する像ずれ量算出手段として機能する。

メインＣＰＵ１５１は、像ずれ量に基づいてデフォーカス量を算出するデフォーカス量算出手段として機能する。

メインＣＰＵ１５１は、撮像素子の出力信号に基づいて被写体に関する情報を検出する被写体認識手段として機能する。

メインＣＰＵ１５１は、撮像素子から出力される焦点検出信号を用いた前回の焦点検出結果に基づいて、前記比率を可変する。

ステップＳ１２０４にてデフォーカス量の絶対値が所定値以下ではない場合、ステップＳ１２０５に進む。ステップＳ１２０５において、フォーカスレンズ１３１の位置は合焦位置（合焦点）でないと見なされるため、ステップＳ１２０３にて算出されたレンズ駆動量に従って、フォーカスレンズ１３１を駆動し、ステップＳ１２０７に進む。

以後、図２に示されるフローに従って、焦点検出とフォーカスレンズ駆動を繰り返す。

一方、ステップＳ１２０４にてデフォーカス量の絶対値が所定値以下である場合、ステップＳ１２０６に進む。このとき、フォーカスレンズ位置は合焦点にあると見なされるため、ステップＳ１２０６にてレンズ駆動を停止し、ステップＳ１２０７に進む。

以後、図２に示されるフローに従って焦点検出を行い、デフォーカス量が再び所定値を超えた場合にはフォーカスレンズ１３１を駆動する。

なお、撮像装置１００の動作は、図２のフローに示される通り、電源をＯＦＦにされるまで、図７、図１０、図１１のフローを繰り返すことで、被写体に合焦するまで複数回の焦点検出を行う。複数回の焦点検出の内、２回目以降の焦点検出に関しては、前回の焦点検出における被写体情報に基づいて画素ライン加算と相関量加算の比率を制御することが可能である。

また、フォーカスレンズ位置が合焦位置に近づくに従い、撮像素子１４１が得られる被写体像は明瞭になっていくため、画素ライン加算と相関量加算の比率の設定もより被写体に適したものへと追い込むことが可能である。

また、本実施例では、撮像素子１４１から得られる画素値に基づいて、画素ライン加算と相関量加算の比率の設定を行うためのコントラストの算出方法を説明したが、図１に不図示の露出センサ（ＡＥ）から得られる画素値に基づいて同様の演算を行ってもよい。

メインＣＰＵ１５１は、露出センサから出力される出力信号に基づいて被写体に関する情報を検出する被写体認識手段として機能する。

以上のように、本実施例は、被写体情報に応じて、焦点検出領域の画素ライン加算、相関量加算の比率を制御する。よって、被写体が焦点検出領域に対して斜めにかかるような場合の分解能の低下を抑え、かつノイズを抑えた画像信号を用いた焦点検出を行うことができる。

＜実施例２＞
次に、本発明の実施例２における焦点検出領域の焦点検出画素ライン加算、相関量加算の比率制御方法について説明する。実施例１では、現フレームあるいは前フレームの画像情報より、１ラインずつ画素ライン加算していった時のコントラストを比較する方法について説明した。本実施例では、エッジ検出および被写体のコントラストに基づいて焦点検出領域の焦点検出画素ライン加算数、相関量加算数を設定する方法について説明する。

なお、本実施例において、実施例１と同一の内容については、同一の符号を用いてその説明を省略する。

メインＣＰＵ１５１は、露出センサから出力される出力信号に基づいて被写体に関する情報を検出する被写体認識手段として機能する。

メインＣＰＵ１５１は、撮像素子の撮像面に設定された焦点検出領域内にある少なくとも２本以上の任意の焦点検出画素ラインの相対的位置ずれ量が所定値よりも大きい場合、焦点検出領域に対して斜めに傾いていると判断する。

メインＣＰＵ１５１は、被写体が前記焦点検出領域に対して斜めに傾いていると判断される場合、複数の相関量の数を大きく設定する。

図１３は、本実施例における焦点検出領域の焦点検出画素ライン加算数、相関量加算数の設定方法を示すフローチャートである。図１３の各ステップは、メインＣＰＵ１５１により実施される。

まず、ステップＳ１３０１において、画素ライン加算数、相関量加算数の設定が開始される。ステップＳ１３０２において、焦点検出領域６１内の画素値が読みだされる。読みだされる画素値は、焦点検出を行う今回のフレームの蓄積が完了したものでも良いし、前回のフレームの画素値を記憶しておいたものを用いても良い。

また、撮像素子１４１とは別に設けられる、複数の画素を有するＡＥセンサの出力を用いても良い。ステップＳ１３０３において、画素ライン加算数の初期設定を行う。本実施例では、初期設定としてライン加算数を８ラインとする。

ステップＳ１３０４において、エッジ検出を行う。エッジ検出は、焦点検出領域６１内の任意の２ラインを選択し、その２ラインの画像信号間にて相関演算を行い、２ライン間の相対的位置ずれ量を算出することで求めることが可能である。

被写体が、焦点検出領域６１に対して、垂直にかかっている場合、この２ライン間の相対的位置ずれ量は０となる。一方、焦点検出領域６１に対して、被写体が斜めにかかっている場合、この２ライン間に相対的位置ずれ量が生じる。

続いてステップＳ１３０５において、算出した相対的位置ずれ量が所定値より大きいか否かを判別し、被写体が焦点検出領域６１に対して斜めにかかっているか否かを判別する。被写体が斜めにかかっている場合には、ステップＳ１３０６において、画素ライン加算数を１／２にし、ステップＳ１３０７に進む。

被写体が斜めにかかっていない場合には、画素ライン加算数を変えず、ステップＳ１３０７に進む。

ステップＳ１３０７において、焦点検出領域６１内のコントラストを算出し、コントラストが所定値より大きいか否かを判別し、被写体が低輝度か否かを判別する。被写体が低輝度である場合には、ステップＳ１３０８において、画素ライン加算数を２倍にし、ステップＳ１３０９に進む。

被写体が低輝度でない場合には、画素ライン加算数を変えず、ステップＳ１３０９に進む。ステップＳ１３０９より先の処理は、図１０を参照して説明した実施例１におけるステップＳ１００７より先の処理と同様である。

以上のように、本実施例では、エッジ検出および被写体のコントラストを判別することで、焦点検出領域の画素ライン加算、相関量加算の比率を制御する。よって、被写体が焦点検出領域に対して斜めにかかるような場合の分解能の低下を抑え、かつノイズを抑えた画像信号を用いた焦点検出を行うことができる。

なお、Ｓ１３０４における、エッジ検出手段は焦点検出領域６１内の任意のラインにおける相関演算に限られず、簡易的に各ラインのピークを示す画素位置を比較する方法でも良い。また、焦点検出領域６１にとどまらず、撮像画角６０に対する被写体認識手段の結果を用いても良い。

なお、本実施例中の数値は一例であり、画素ライン加算数を２倍、１／２倍とすることで増減する設定について述べたが、例えば５ライン増やすなどの加減によって、画素ライン加算数を増減させても良い。

また、初期値は任意であり、撮像素子の構造あるいは搭載する撮像装置の機種に応じて、任意に設定可能である。また、Ｓ１３０６において、エッジ検出結果である相対的位置ずれ量に応じて、画素ライン加算数を増減させるようにしても良い。

なお、ライン加算は加算平均を用いる方法について説明したが、これに限定されるものではなく、加算手段によって得られる信号が所定値未満の場合は、単純加算を用いても良い。

上記各実施例によれば、被写体情報に応じて、焦点検出領域の画素ライン加算、相関量加算の比率を制御する。よって、被写体が焦点検出領域に対して斜めにかかるような場合の分解能の低下を抑え、かつノイズを抑えた画像信号を用いた焦点検出を行うことができ、高精度な焦点検出装置、撮像装置、撮像システム、および、焦点検出方法を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

３０ 光電変換素子
３１ マイクロレンズ
１０１ 撮影レンズ
１０３ 絞り
１３１ フォーカスレンズ
１３３ フォーカス制御部
１３５ 位相差ＡＦ処理部
１４１ 撮像素子
１４３ 撮像部制御部
１５１ ＣＰＵ

Claims (9)

1. 撮像光学系の異なる瞳領域を透過した一対の光束を複数の光電変換部で受光する焦点検出画素を複数有する撮像素子と、前記撮像素子から出力される焦点検出信号を用いて位相差方式の焦点調整を行う焦点調整手段と、前記撮像素子を構成する複数の焦点検出画素のうち第１の方向に配列された複数の焦点検出画素ラインを前記第１の方向と異なる方向である第２の方向に加算する画素加算手段と、前記第２の方向に加算された複数の焦点検出画素毎に相関演算を行って相関量を算出する相関量算出手段と、前記相関量算出手段で算出された複数の相関量を加算する相関量加算手段と、前記第２の方向に加算する焦点検出画素ラインの数と前記複数の相関量の数の比率を可変する加算比率可変手段と、前記相関量加算手段から出力される出力信号を用いて像ずれ量を算出する像ずれ量算出手段と、前記像ずれ量に基づいてデフォーカス量を算出するデフォーカス量算出手段と、を有する撮像装置であって、
   前記加算比率可変手段は、被写体に関する情報に基づいて前記比率を可変することを特徴とする撮像装置。
2. 前記撮像素子の出力信号に基づいて前記被写体に関する情報を検出する被写体認識手段を備え、前記加算比率可変手段は、前記被写体認識手段から出力される出力信号に基づいて前記比率を可変することを特徴とする請求項１に記載の撮像装置。
3. 露出センサから出力される出力信号に基づいて前記被写体に関する情報を検出する被写体認識手段を備え、前記加算比率可変手段は、前記被写体認識手段から出力される出力信号に基づいて前記比率を可変することを特徴とする請求項１に記載の撮像装置。
4. 前記被写体認識手段は、前記画素加算手段にて加算された焦点検出画素ラインの加算数が所定値よりも多い場合のコントラストが前記画素加算手段にて加算された焦点検出画素ラインの加算数が所定値以下の場合のコントラストより小さいと判断されたとき、前記被写体が前記撮像素子の撮像面に設定された焦点検出領域に対して斜めに傾いていると判断することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
5. 前記被写体認識手段は、前記撮像素子の撮像面に設定された焦点検出領域内にある少なくとも２本以上の任意の焦点検出画素ラインの相対的位置ずれ量が所定値よりも大きい場合、前記焦点検出領域に対して斜めに傾いていると判断することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
6. 前記被写体認識手段により、前記被写体が前記焦点検出領域に対して斜めに傾いていると判断される場合、前記複数の相関量の数を大きく設定することを特徴とする請求項２乃至５の何れか一項に記載の撮像装置。
7. 前記加算比率可変手段は、前記撮像素子の撮像面に設定された焦点検出領域の輝度が所定値よりも低い場合、前記第２の方向に加算する焦点検出画素ラインの数を大きく設定することを特徴とする請求項１乃至６の何れか一項に記載の撮像装置。
8. 前記加算比率可変手段は、前記撮像素子から出力される焦点検出信号を用いた前回の焦点検出結果に基づいて、前記比率を可変することを特徴とする請求項１乃至７の何れか一項に記載の撮像装置。
9. 撮像光学系の異なる瞳領域を透過した一対の光束を複数の光電変換部で受光する焦点検出画素を複数有する撮像素子から出力される焦点検出信号を用いて位相差方式の焦点調整を行う焦点調整工程と、前記撮像素子を構成する複数の焦点検出画素のうち第１の方向に配列された複数の焦点検出画素ラインを前記第１の方向と異なる方向である第２の方向に加算する画素加算工程と、前記第２の方向に加算された複数の焦点検出画素毎に相関演算を行って相関量を算出する相関量算出工程と、前記相関量算出工程で算出された複数の相関量を加算する相関量加算工程と、前記第２の方向に加算する焦点検出画素ラインの数と前記複数の相関量の数の比率を可変する加算比率可変工程と、前記相関量加算工程から出力される出力信号を用いて像ずれ量を算出する像ずれ量算出工程と、前記像ずれ量に基づいてデフォーカス量を算出するデフォーカス量算出工程と、を有する撮像方法であって、
   前記加算比率可変工程は、被写体に関する情報に基づいて前記比率を可変することを特徴とする撮像方法。

Images