JP5355252B2

JP5355252B2 - 撮像装置及びその制御方法

Info

Publication number: JP5355252B2
Application number: JP2009155603A
Authority: JP
Inventors: 稔坂井田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-06-30
Filing date: 2009-06-30
Publication date: 2013-11-27
Anticipated expiration: 2029-06-30
Also published as: JP2011013324A

Description

本発明は、ビデオカメラ等の撮像装置に関し、特にコントラスト検出方式と位相差検出方式でのフォーカス制御が可能な撮像装置及びその制御方法に関する。

撮像装置のフォーカス制御（オートフォーカス：ＡＦ）方式には、撮像により生成された画像の高周波成分から得られたコントラスト情報を用いるコントラスト検出方式（ＴＶ−ＡＦ方式ともいう）がある。また、位相差検出光学系により形成された２つの被写体像の位相差を用いる位相差検出方式もある。さらに、コントラスト検出方式と位相差検出方式を組み合わせたハイブリッド方式もある。

位相差検出方式では、原理的に被写体までの距離情報を得ることができるためにフォーカス制御を短時間で行うことが可能であるが、撮影光学系とは別の位相差検出光学系を用いるためにフォーカス制御の精度が若干低い。一方、コントラスト検出方式では、原理的に被写体までの距離情報を得ることができないためにフォーカス制御に多少の時間を要するが、高精度なフォーカス制御が可能である。

ハイブリッド方式では、位相差検出方式によって高速に合焦近傍位置を求め、コントラスト検出方式で高精度な合焦状態へとフォーカス制御を行えるので、高速かつ高精度なフォーカス制御を可能とする。また、ハイブリッド方式を用いると、位相差検出方式では対応できないマクロ撮影等の極端な至近距離での撮影を行う場合でも、コントラスト検出方式で対応することができるというメリットもある。

さらに、特許文献１には、画像中から人物の顔等の特定被写体を検出し、該特定被写体を合焦対象としてハイブリッド方式により高速かつ高精度のフォーカス制御を行う撮像装置が開示されている。

特開２００５−０１２３０７号公報

しかしながら、特許文献１にて開示された撮像装置では、特定被写体に対して位相差検出方式によってフォーカス制御を行っている（フォーカスレンズを移動させている）間は、特定被写体に対するコントラスト検出方式での評価を行っていない。このため、特定被写体を追尾しながら該特定被写体に対する位相差検出方式でのフォーカス制御からコントラスト検出方式でのフォーカス制御に移行したときに、改めて特定被写体のコントラスト情報を取得しなければならず、合焦状態を得るまでの時間が長くなる。

本発明は、ハイブリッド方式により特定被写体に対する高精度なフォーカス制御をより高速で行えるようにした撮像装置及びその制御方法を提供する。

本発明の一側面としての撮像装置は、フォーカスレンズを含む撮影光学系により形成された被写体像を光電変換する撮像手段と、該撮像手段の出力を用いて生成された画像において特定被写体を検出する被写体検出手段と、位相差検出光学系により形成された２つの被写体像の位相差を検出する位相差検出手段と、前記画像中の焦点検出領域におけるコントラスト情報を生成するコントラスト情報生成手段と、前記コントラスト情報生成手段により生成された前記コントラスト情報と前記位相差検出手段により検出された前記位相差とに基づいて、前記フォーカスレンズを移動させてフォーカス制御を行う制御手段とを有し、前記制御手段は、前記コントラスト情報生成手段により生成されたコントラスト情報を用いたフォーカス制御を継続して繰り返し行うフォーカス制御中において、前記被写体検出手段により特定被写体が検出された場合であって、現在の前記フォーカスレンズの位置と前記位相差検出手段により検出された位相差に基づく合焦位置との差が第１の値より大きく大ボケと判定された場合に、前記特定被写体に対応する前記２つの被写体像の前記位相差に基づいて前記フォーカスレンズの移動を開始させ、該位相差に基づくフォーカス制御中に前記フォーカスレンズの移動速度を減速させるとともに前記特定被写体が検出された領域に対応する前記焦点検出領域における前記コントラスト情報を生成させながら前記位相差検出手段により検出された位相差に基づく合焦位置まで前記フォーカスレンズを移動させた後、前記位相差検出手段により検出された位相差に基づく合焦位置への前記フォーカスレンズの移動中に生成された前記コントラスト情報、および前記位相差検出手段により検出された位相差に基づく合焦位置への前記フォーカスレンズの移動後に生成された前記コントラスト情報を用いてフォーカス制御を行うことを特徴とする。
本発明の他の側面としての撮像装置の制御方法は、フォーカスレンズを含む撮影光学系により形成された被写体像を光電変換する撮像手段を有する撮像装置の制御方法であって、前記撮像手段の出力を用いて生成された画像において特定被写体を検出する被写体検出ステップと、位相差検出光学系により形成された２つの被写体像の位相差を検出する位相差検出ステップと、前記画像中の焦点検出領域におけるコントラスト情報を生成するコントラスト情報生成ステップと、前記コントラスト情報生成ステップで生成された前記コントラスト情報と前記位相差検出ステップで検出された前記位相差とに基づいて、前記フォーカスレンズを移動させてフォーカス制御を行う制御ステップとを有し、前記制御ステップでは、前記コントラスト情報を用いたフォーカス制御を継続して繰り返し行うフォーカス制御中において、前記特定被写体が検出された場合であって、現在の前記フォーカスレンズの位置と前記位相差に基づく合焦位置との差が第１の値より大きく大ボケと判定された場合に、前記特定被写体に対応する前記２つの被写体像の前記位相差に基づいて前記フォーカスレンズの移動を開始させ、該位相差に基づくフォーカス制御中に前記フォーカスレンズの移動速度を減速させるとともに前記特定被写体が検出された領域に対応する前記焦点検出領域における前記コントラスト情報を生成させながら前記位相差に基づく合焦位置まで前記フォーカスレンズを移動させた後、当該合焦位置への前記フォーカスレンズの移動中に生成された前記コントラスト情報、および当該合焦位置への前記フォーカスレンズの移動後に生成された前記コントラスト情報を用いてフォーカス制御を行うことを特徴とする。

より具体的には、例えば、制御手段は、コントラストフォーカス制御として、画像において特定被写体の検出に関係なく設定された第１の画像領域のコントラスト情報を用いる第１のコントラストフォーカス制御と、画像において特定被写体の検出位置に対応する第２の画像領域のコントラスト情報を用いる第２のコントラストフォーカス制御とを行う。また、位相差フォーカス制御として、位相差検出手段の検出視野内において画像における特定被写体の検出に関係なく設定された第１の検出領域で検出された位相差を用いる第１の位相差フォーカス制御と、該検出視野内において画像における特定被写体の検出位置に対応する第２の検出領域で検出された位相差を用いる第２の位相差フォーカス制御とを行う。制御手段は、第１のコントラストフォーカス制御を行っている状態で画像において特定被写体が検出されることに応じて、第２の位相差フォーカス制御を行い、該第２の位相差フォーカス制御が終了した後に第２のコントラストフォーカス制御を行う。そして、制御手段は、第２の位相差フォーカス制御が終了する前に、第２の画像領域のコントラスト情報の取得を開始することを特徴とする。

本発明では、特定被写体に対する高速かつ高精度なフォーカス制御を行うことができる。

本発明の実施例１であるビデオカメラの構成を示すブロック図。実施例１のビデオカメラにおけるＴＶ−ＡＦ評価部の構成を示すブロック図。ＴＶ−ＡＦの原理を説明する図。外測位相差ＡＦの原理を説明する図。外測位相差ＡＦでの演算について説明する図。実施例１のビデオカメラにおけるＡＦ制御の流れを示すタイムチャート。本発明の実施例２であるビデオカメラにおけるＡＦ制御の流れを示すタイムチャート。本発明の実施例３であるビデオカメラにおけるＴＶ−ＡＦ評価部の構成を示すブロック図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である撮像装置としてのビデオカメラの構成を示している。ビデオカメラは、撮影レンズ（撮影光学系）１０１と、撮像素子１０２と、撮像ＡＦＥ（ＡＦＥ１）１０３と、位相差レンズ（位相差検出光学系）１０４と、位相差センサ１０５と、位相差ＡＦＥ（ＡＦＥ２）１０６とを有する。また、ビデオカメラは、ＴＶ−ＡＦ評価値演算部（コントラスト情報生成手段）１０７と、顔検出処理部（被写体検出手段）１０８と、位相差枠設定部１０９と、位相差演算部１１０と、レンズ位置制御部（フォーカス制御手段）１１１とを有する。さらに、ビデオカメラは、画像処理部１１２と、表示・記録部１１３とを有する。

撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサにより構成されており、撮影レンズ１０１により形成された被写体像を光電変換する。撮像ＡＦＥ１０３は、撮像素子１０２から出力されたアナログ信号の増幅やデジタル信号への変換を行い、撮像データ（以下、画像データ又は撮影画像という）を生成する。

位相差レンズ１０４は、撮影レンズ１０１とは別の光学系として設けられている。位相差センサ１０５は、位相差レンズ１０４により形成された同一被写体の２像（２つの被写体像）を２つの受光素子（ラインセンサ）により光電変換し、該２像に対応する２つの像信号を出力する。位相差ＡＦＥ１０６は、位相差センサ１０５から出力された２つの像信号（アナログ信号）の増幅やデジタル信号への変換を行う。位相差演算部１１０は、該２つの像信号間の位相差、つまりは上記２つの被写体像間の位相差を算出し、さらに該位相差に基づいて被写体までの距離を算出する。位相差センサ１０５と位相差演算部１１０により、位相差検出手段が構成される。

なお、位相差レンズ１０４が、撮影レンズ１０１とは全く別の光学系として設けられていることから、本実施例にいう位相差検出方式は、外測位相差検出方式とも称される。ただし、本発明は、外測位相差検出方式に限らず、撮影レンズ１０１の一部を用いて位相差検出光学系を用いた内測位相差検出方式を用いる場合にも適用することが可能である。

ＴＶ−ＡＦ評価値演算部１０７は、撮像ＡＦＥ１０３からの画像データから高周波成分を抽出して所定の処理を行うことで、該画像データのコントラスト情報であるＴＶ−ＡＦ評価値を生成する。ＴＶ−ＡＦ評価値は、撮像素子１０２上に形成された被写体像の焦点状態に対応した値である。

顔検出処理部１０８は、撮像ＡＦＥ１０３からの画像データ（撮影画像）から、パターンマッチング等の画像処理技術を用いて特定被写体としての人物の顔を検出する。

ＴＶ−ＡＦ評価値演算部１０７は、顔検出処理部１０８にて顔が検出された場合には、撮影画像中における該顔検出位置に対応する画像領域であるＴＶ−ＡＦ枠（焦点検出領域）を選択し、このＴＶ−ＡＦ枠内でＴＶ−ＡＦ評価値を算出（生成）する。

また、位相差枠設定部１０９は、顔検出処理部１０８にて顔が検出された場合には、位相差センサ１０５の検出視野内において、画像内での顔の検出位置に対応する位相差検出領域である位相差枠を選択する。そして、位相差センサ１０５及び位相差演算部１１０は、該位相差枠内の特定被写体の２像間の位相差を検出する。

レンズ位置制御部１１１は、位相差演算部１１０にて算出された被写体距離の情報を用いる位相差検出方式のフォーカス制御と、ＴＶ−ＡＦ評価値演算部１０７にて算出されたＴＶ−ＡＦ評価値を用いるコントラスト検出方式のフォーカス制御とを行う。フォーカス制御は、具体的には、撮影レンズ１０１に含まれる不図示のフォーカスレンズの位置の制御である。なお、以下の説明において、位相差検出方式のフォーカス制御を位相差ＡＦ（位相差フォーカス制御）といい、コントラスト検出方式のフォーカス制御をＴＶ−ＡＦ（コントラストフォーカス制御）という。

画像処理部１１２は、撮像ＡＦＥ１０３からの画像データに対して所定の画像処理を行うことで、表示や記録に適した画像信号（映像信号）を生成する。表示・記録部１１３は、画像処理部１１２にて生成された画像信号を不図示のモニタに表示したり、不図示の記録媒体に記録したりする。

次に、本実施例で行われるＴＶ−ＡＦについて説明する。

図２には、ＴＶ−ＡＦ評価値演算部１０７の構成を示している。本実施例では、図２の右下に示すように、ＴＶ−ＡＦ枠として、画面中央のＴＶ−ＡＦ枠と画面左側のＴＶ−ＡＦ枠と画面右側のＴＶ−ＡＦ枠（以下、これらを中央枠、左枠および右枠ともいう）のうちいずれか１つを選択できる。ＴＶ−ＡＦ評価値演算部１０７は、選択されたＴＶ−ＡＦ枠でＴＶ−ＡＦ評価値を算出し、該算出したＴＶ−ＡＦ評価値をレンズ位置制御部１１１に出力する。

ＴＶ−ＡＦ評価値演算部１０７に入力された画像データ（ここでは、入力映像ともいう）は、ＴＥバンドパスフィルタ２０１とＦＥバンドパスフィルタ２１１を通過して、ＡＢＳ２０２，２１２にて絶対値化される。ＡＢＳ２０２，２１２のそれぞれから出力された絶対値信号は、ＴＥラインピークホールド２０３とＦＥラインピークホールド２１３に入力される。

各ラインピークホールドは、入力映像の水平１ラインの中で、ＡＢＳから出力された最も大きな絶対値信号の値（絶対値）を保持する。そして、垂直枠信号発生器２３１は、入力映像の垂直座標の変化に応じて、ＴＥラインピークホールド２０３とＦＥラインピークホールド２１３を制御する。これにより、ＴＥラインピークホールド２０３とＦＥラインピークホールド２１３にて保持されている絶対値がそれぞれ、ＴＥ積分計算部２０４及びＦＥ積分計算部２１４に入力される。

水平枠信号発生器２２１は、入力映像の水平座標が上記３つのＴＶ−ＡＦ枠のうちどのＴＶ−ＡＦ枠に対応するかを確認しながら、ＡＢＳ２０１，２０２から出力される絶対値信号を、対応するＴＶ−ＡＦ枠のラインピークホールドに入力させる。入力映像の１フレームでのＴＶ−ＡＦ評価値の算出が終わると、ＴＶ−ＡＦ枠ごとにＴＥ積分計算部２０４とＦＥ積分計算部２１４からＴＥ積分値とＦＥ積分値が出力される。

ＴＥ積分値とＦＥ積分値はそれぞれ、合焦状態、合焦近傍状態および大ボケ状態で異なる値を示す。ＴＥ積分値とＦＥ積分値の和の値は、図３に示すように、フォーカスレンズの位置の変化に対して合焦状態（合焦位置）でピークを示すように変化する。レンズ位置制御部１１１は、ＴＥ積分値とＦＥ積分値の和の値をピーク値に近づけるようにフォーカスレンズの位置を移動（シフト）させることで、ＴＶ−ＡＦによる合焦状態を得る。

ＴＶ−ＡＦ評価値演算部１０７は、顔検出処理部１０８にて顔が検出されない場合は、上述した３つのＴＶ−ＡＦ枠のうち中央枠（第１の画像領域）を選択し、該中央枠のＴＶ−ＡＦ評価値を算出する。すなわち、中央枠は、画像内において特定被写体の検出に関係なく設定されるＴＶ−ＡＦ枠である。この場合のＴＶ−ＡＦを、以下の説明において、通常ＴＶ−ＡＦ（第１のコントラストフォーカス制御）という。

一方、顔検出処理部１０８にて顔が検出された場合は、ＴＶ−ＡＦ評価値演算部１０７は、該顔の検出位置に基づいて、該顔が含まれるＴＶ−ＡＦ枠（中央枠、左枠および右枠のうち顔の検出位置に対応するＴＶ−ＡＦ枠）を選択してＴＶ−ＡＦ評価値を算出する。この場合のＴＶ−ＡＦを、以下の説明において、顔優先ＴＶ−ＡＦ（第２のコントラストフォーカス制御）という。

次に、本実施例で行われる位相差ＡＦについて説明する。

図４には、図１に示した位相差レンズ１０４と位相差センサ１０５とを示している。位相差レンズ１０４は、それぞれの光軸が平行になるように配置された２つのレンズＡ，Ｂにより構成されている。該２つのレンズＡ，Ｂは、同一の被写体ＯＢＪの２つの像を位相差センサ１０５上に形成する。位相差センサ１０５から出力される２つの像信号は、被写体距離Ｄに対応する位相差を有し、これらを重ね合わせると図５に示すような信号が得られる。図５において、横軸は位相差センサ１０５における受光素子（画素）の位置を示し、縦軸は位相差センサ１０５からの出力信号のレベルを示している。

位相差演算部１１０は、該２つの像信号間の位相差ｄ１やｄ２を算出し、該位相差を用いた三角測量法にて被写体距離Ｄを算出する。レンズ位置制御部１１１は、被写体距離Ｄに基づいて、合焦状態が得られるフォーカスレンズの位置（駆動量）を算出し、その位置にフォーカスレンズを移動（シフト）させるよう制御する。

位相差枠設定部１０９は、顔検出処理部１０８にて顔が検出されない場合は、位相差センサ１０５の検出視野の全域において２像の位相差を検出する。この場合の位相差ＡＦを、以下の説明において、通常位相差ＡＦ（第１の位相差フォーカス制御）という。

一方、顔検出処理部１０８にて顔が検出された場合は、位相差センサ１０５の検出視野内のうち顔の検出位置に対応する（顔が含まれる）位相差枠を選択して位相差及び被写体距離を算出する。なお、ここでは、位相差枠として、図２に示したＴＶ−ＡＦ枠と同様に、中央枠、左枠および右枠が選択可能であるとする。例えば、選択された左枠で検出された位相差が図５のｄ１であるとすると、顔までの距離Ｄは、ｄ１に基づいて算出される。この場合の位相差ＡＦを、以下の説明において、顔優先位相差ＡＦ（第２の位相差フォーカス制御）という。

そして、本実施例では、通常ＴＶ−ＡＦ、顔優先ＴＶ−ＡＦ、通常位相差ＡＦおよび顔優先位相差ＡＦを組み合わせたハイブリットＡＦを行う。

次に、図６のタイムチャートを用いて、本実施例でのハイブリットＡＦの流れについて説明する。
（通常ＴＶ−ＡＦ：時間Ｔ０−Ｔ１）
顔の検出がされていない時間Ｔ０では、通常ＴＶ−ＡＦが行われる。前述したように、通常ＴＶ−ＡＦでは、ＴＶ−ＡＦ評価値は中央枠で算出され、位相差（被写体距離）は検出視野の全域で検出される。

時間Ｔ１で、顔検出処理部１０８により顔が左枠において検出されたものとする。このとき、位相差枠が顔の検出位置に合わせて左枠に設定される。ここでは、顔までの距離として３ｍが検出されたものとする。時間Ｔ１では、フォーカスレンズの移動（以下、レンズシフトともいう）は行わず、ＴＶ−ＡＦ枠が中央枠から左枠に変更される。
（顔優先位相差ＡＦ：時間Ｔ２−Ｔ４）
時間Ｔ２では、通常ＴＶ−ＡＦから、左枠での位相差を検出する顔優先位相差ＡＦに移行する。また、時間Ｔ２では、顔優先位相差ＡＦ中であるが、左枠で算出されたＴＶ−ＡＦ評価値の取得も開始し、入力映像の大ボケ判定を行う。このとき、フォーカスレンズ位置は無限遠位置（∞）であり、顔までの距離は３ｍであるので、大ボケと判定される。

時間Ｔ３では、無限遠位置にあるフォーカスレンズを、顔までの距離３ｍに対してある程度合焦する位置（誤差１ｍ程度）まで高速でシフトさせる。レンズシフトが高速で行われている間は、左枠で算出されたＴＶ−ＡＦ評価値は利用できないが、レンズシフトは被写体距離に基づいて行われているので、何ら問題はない。

このように、本実施例では、顔優先ＴＶ−ＡＦの開始前に、ＴＶ−ＡＦ評価値の取得対象を顔が検出された左枠に変更する。

時間Ｔ３の間にある程度合焦する位置までのレンズシフトが完了すると、時間Ｔ４では、左枠で算出されたＴＶ−ＡＦ評価値の利用を可能とするため、レンズシフトの速度が時間Ｔ３よりも遅い速度（中速）に減速される。
（顔優先ＴＶ−ＡＦ：時間Ｔ５）
時間Ｔ５の開始時点では、左枠で算出されたＴＶ−ＡＦ評価値の取得が既に開始されているので、ただちに左枠で算出されたＴＶ−ＡＦ評価値を用いた顔優先ＴＶ−ＡＦを開始することができる。ここでは、時間Ｔ５において、顔までの距離が３ｍから４ｍに変化するものとする。顔優先ＴＶ−ＡＦでは、該移動する顔を追尾しながら、時間Ｔ４よりもさらに遅いレンズシフト速度によって、顔への合焦状態を維持する。

このように、本実施例では、顔優先位相差ＡＦの終了前（顔優先位相差ＡＦによるフォーカス制御中又は顔優先ＴＶ−ＡＦによるフォーカス制御の開始前）から、顔の検出位置に対応する左枠で算出されたＴＶ−ＡＦ評価値を取得する。これにより、顔優先位相差ＡＦから顔優先ＴＶ−ＡＦに移行したときに、顔のＴＶ−ＡＦ評価値を改めて取得し直す必要がない。また、TV−AF評価値により合焦位置を取得できた場合には、その取得結果に基づいて焦点調節を行うことができる。したがって、顔優先位相差ＡＦの終了後に顔のＴＶ−ＡＦ評価値を改めて取得し直す場合に比べて、顔優先ＴＶ−ＡＦ、つまりは顔を追尾しながらのハイブリッドＡＦをより高速で行うことができる。
（顔優先ＴＶ−ＡＦ：時間Ｔ６）
時間Ｔ６では、顔優先ＴＶ−ＡＦ中に追尾していた顔が消失したり（検出されなくなったり）、ユーザの選択操作等によって追尾する顔（主顔）が変更されたりした場合を想定している。この時間Ｔ６では、顔優先ＴＶ−ＡＦは保持されるが、ＴＶ−ＡＦ評価値の取得対象が中央枠に変更される。そして、フォーカスレンズも、無限遠位置に低速でシフトされる。

次に、本発明の実施例２であるビデオカメラにおけるハイブリットＡＦの流れについて、図７のタイムチャートを用いて説明する。本実施例のビデオカメラの構成は、実施例１と同じである。

図７において、時間Ｔ０−Ｔ１での通常ＴＶ−ＡＦ、時間Ｔ２−Ｔ４での顔優先位相差ＡＦおよび時間Ｔ５での顔優先ＴＶ−ＡＦについては、実施例１と同じである。もちろん、時間Ｔ２−Ｔ４において顔優先位相差ＡＦの終了前（顔優先位相差ＡＦの動作中又は顔優先ＴＶ−ＡＦの開始前）から、顔の検出位置に対応するＴＶ−ＡＦ枠（左枠）で算出されたＴＶ−ＡＦ評価値の取得を開始する点も同じである。
（顔優先ＴＶ−ＡＦ：時間Ｔ６）
時間Ｔ６では、顔優先ＴＶ−ＡＦ中に追尾していた顔が消失したり、ユーザの選択操作等によって追尾する顔（主顔）が変更されたりした場合を想定している。この時間Ｔ６では、通常ＴＶ−ＡＦに移行し、ＴＶ−ＡＦ評価値の取得対象も中央枠に変更される。ここでは、レンズシフトは行われない。
（通常位相差ＡＦ：時間Ｔ７−Ｔ８）
時間Ｔ７では、通常位相差ＡＦに移行する。また、時間Ｔ７から、中央枠で算出されたＴＶ−ＡＦ評価値の取得を開始し、入力映像の大ボケ判定を行う。

大ボケ判定後の時間Ｔ８では、フォーカスレンズを高速で無限遠位置にシフトする。レンズシフトが高速で行われている間は、左枠で算出されたＴＶ−ＡＦ評価値は利用できないが、レンズシフトは被写体距離に基づいて行われているので、何ら問題はない。

このように、本実施例では、顔優先ＴＶ−ＡＦ中に追尾していた顔が消失する等した場合には、通常ＴＶ−ＡＦに移行する。このため、実施例１のように顔優先ＴＶ−ＡＦを続行する場合に比べて、スムーズに通常のハイブリッドＡＦを継続（再開）することができる。

また、本実施例では、顔優先ＴＶ−ＡＦ中に追尾していた顔が消失する等した場合には、通常ＴＶ−ＡＦを経て通常位相差ＡＦに移行する。そして、通常位相差ＡＦを行っている間に、中央枠のＴＶ−ＡＦ評価値の取得を開始する。これにより、通常位相差ＡＦの後に、中央枠のＴＶ−ＡＦ評価値を用いた通常ＴＶ−ＡＦを迅速に開始することができる。

次に、本発明の実施例３であるビデオカメラについて説明する。本実施例のビデオカメラの構成は、基本的に実施例１と同じであるが、ＴＶ−ＡＦ評価値演算部１０７でのＴＶ−ＡＦ評価値の算出方法が異なる。

図８には、本実施例でのＴＶ−ＡＦ評価値演算部１０７の構成を示している。ここでは、ＴＶ−ＡＦ評価値として、３つのＴＶ−ＡＦ枠（中央枠、左枠および右枠）で算出されるＴＶ−ＡＦ評価値に重み付け係数（Ｗ＿Ｌ，Ｗ＿Ｃ，Ｗ＿Ｒ）を乗じたものを用いる。

通常ＴＶ−ＡＦにおいては、中央枠に対する重み付け係数Ｗ＿Ｃの値を他のＴＶ−ＡＦ枠に対する重み付け係数Ｗ＿Ｌ，Ｗ＿Ｒよりも大きくして、中央重点のＴＶ−ＡＦ評価を行う。また、顔優先ＴＶ−ＡＦでは、顔が含まれるＴＶ−ＡＦ枠に対する重み付け係数を他のＴＶ−ＡＦ枠に対する重み付け係数よりも大きくする。

次に、実施例１で用いた図６のタイムチャートを用いて、本実施例におけるハイブリットＡＦの流れについて説明する。
（通常ＴＶ−ＡＦ：時間Ｔ０−Ｔ１）
顔の検出がされていない時間Ｔ０では、通常ＴＶ−ＡＦが行われる。前述したように、通常ＴＶ−ＡＦでは、ＴＶ−ＡＦ評価値は中央枠に対する重み付けを最も大きくして算出される。位相差（被写体距離）は検出視野の全域で検出される。

時間Ｔ１で、顔検出処理部１０８により顔が左枠において検出されたものとする。このとき、位相差枠が顔の検出位置に合わせて左枠に設定される。ここでは、顔までの距離として３ｍが検出されたものとする。時間Ｔ１では、レンズシフトは行わず、ＴＶ−ＡＦ評価値については中央枠の重み付けを小さくし、左枠の重み付けを大きくする。
（顔優先位相差ＡＦ：時間Ｔ２−Ｔ４）
時間Ｔ２では、通常ＴＶ−ＡＦから、左枠での位相差を検出する顔優先位相差ＡＦに移行する。また、時間Ｔ２では、顔優先位相差ＡＦ中であるが、左枠で算出されたＴＶ−ＡＦ評価値の取得も開始し、入力映像の大ボケ判定を行う。このとき、フォーカスレンズ位置は無限遠位置（∞）であり、顔までの距離は３ｍであるので、大ボケと判定される。

このように、本実施例では、顔優先ＴＶ−ＡＦの開始前に、ＴＶ−ＡＦ評価値について顔が検出された左枠の重み付けを大きくする。そして、顔優先ＴＶ−ＡＦによってフォーカスレンズを顔に対して合焦が得られるようにシフトさせ、時間Ｔ４以降で左枠のＴＶ−ＡＦ評価値に重みをおいた顔優先ＴＶ−ＡＦに移行するための準備を行う。

時間Ｔ３の間にある程度合焦する位置までのレンズシフトが完了すると、時間Ｔ４では、左枠で算出されたＴＶ−ＡＦ評価値の利用を可能とするため、レンズシフトの速度が時間Ｔ３よりも遅い速度（中速）に減速される。そして、顔までの距離３ｍに対して位相差ＡＦにより合焦が得られる位置までレンズシフトが行われる。
（顔優先ＴＶ−ＡＦ：時間Ｔ５）
時間Ｔ５の開始時点では、重みをおいた左枠のＴＶ−ＡＦ評価値の取得が既に開始されているので、ただちに左枠のＴＶ−ＡＦ評価値を用いた顔優先ＴＶ−ＡＦを開始することができる。ここでは、時間Ｔ５において、顔までの距離が３ｍから４ｍに変化するものとする。顔優先ＴＶ−ＡＦでは、該移動する顔を追尾しながら、時間Ｔ４よりもさらに遅いレンズシフト速度によって、顔への合焦状態を維持する。

本実施例では、顔優先ＴＶ−ＡＦにおいて、顔が検出されないＴＶ−ＡＦ枠のＴＶ−ＡＦ評価値も、顔が検出されたＴＶ−ＡＦ枠に比べて低い重み付けではあるが参照する。このため、画像内で顔の位置が頻繁に変動するような場合でも、顔優先ＴＶ−ＡＦをスムーズに継続することができる。
（顔優先ＴＶ−ＡＦ時間Ｔ６）
時間Ｔ６では、顔優先ＴＶ−ＡＦ中に追尾していた顔が消失したり、ユーザの選択操作等によって追尾する顔（主顔）が変更されたりした場合を想定している。この時間Ｔ６では、顔優先ＴＶ−ＡＦは保持されるが、中央枠のＴＶ−ＡＦ評価値の重み付けを大きくし、左枠のＴＶ−ＡＦ評価値の重み付けを小さくする。そして、フォーカスレンズも、無限遠位置に低速でシフトされる。

以上説明したように、上記各実施例では、画像において特定被写体が検出されると、該特定被写体に対して位相差フォーカス制御を行い、該位相差フォーカス制御の終了後に該特定被写体に対するコントラストフォーカス制御を行う。これにより、特定被写体に対する高速かつ高精度なフォーカス制御を行うことができる。

しかも、特定被写体に対する位相差フォーカス制御が終了する前から特定被写体のコントラスト情報の取得を開始する。このため、特定被写体に対する位相差フォーカス制御から特定被写体に対するコントラストフォーカス制御に移行したときに、コントラスト情報を改めて取得し直す必要がない。したがって、特定被写体に対するコントラストフォーカス制御、つまりは特定被写体を追尾しながらのハイブリッド方式によるフォーカス制御をより高速で行うことができる。なお、特定被写体のコントラスト情報の取得を、位相差フォーカス制御の終了後に行ってもよい。

ハイブリッド方式により特定被写体に対する高精度なフォーカス制御をより高速で行える撮像装置を実現できる。

１０１撮影レンズ
１０２撮像素子
１０４位相差検出レンズ
１０５位相差センサ
１０７ＴＶ−ＡＦ評価値演算部
１０８顔検出処理部
１０９位相差枠設定部
１１０位相差演算部
１１１レンズ位置制御部

Claims

フォーカスレンズを含む撮影光学系により形成された被写体像を光電変換する撮像手段と、
該撮像手段の出力を用いて生成された画像において特定被写体を検出する被写体検出手段と、
位相差検出光学系により形成された２つの被写体像の位相差を検出する位相差検出手段と、
前記画像中の焦点検出領域におけるコントラスト情報を生成するコントラスト情報生成手段と、
前記コントラスト情報生成手段により生成された前記コントラスト情報と前記位相差検出手段により検出された前記位相差とに基づいて、前記フォーカスレンズを移動させてフォーカス制御を行う制御手段とを有し、
前記制御手段は、前記コントラスト情報生成手段により生成されたコントラスト情報を用いたフォーカス制御を継続して繰り返し行うフォーカス制御中において、前記被写体検出手段により特定被写体が検出された場合であって、現在の前記フォーカスレンズの位置と前記位相差検出手段により検出された位相差に基づく合焦位置との差が第１の値より大きく大ボケと判定された場合に、前記特定被写体に対応する前記２つの被写体像の前記位相差に基づいて前記フォーカスレンズの移動を開始させ、該位相差に基づくフォーカス制御中に前記フォーカスレンズの移動速度を減速させるとともに前記特定被写体が検出された領域に対応する前記焦点検出領域における前記コントラスト情報を生成させながら前記位相差検出手段により検出された位相差に基づく合焦位置まで前記フォーカスレンズを移動させた後、前記位相差検出手段により検出された位相差に基づく合焦位置への前記フォーカスレンズの移動中に生成された前記コントラスト情報、および前記位相差検出手段により検出された位相差に基づく合焦位置への前記フォーカスレンズの移動後に生成された前記コントラスト情報を用いてフォーカス制御を行うことを特徴とする撮像装置。
前記制御手段は、前記位相差検出手段により検出された位相差に基づく合焦位置まで前記フォーカスレンズを移動させた後、前記フォーカスレンズの移動速度を更に減速させて前記コントラスト情報生成手段により前記コントラスト情報を取得させることを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記被写体検出手段により特定被写体が検出された場合に、前記特定被写体が検出された領域に対応する前記焦点検出領域における前記コントラスト情報と、前記特定被写体が検出された領域に対応しない前記焦点検出領域における前記コントラスト情報とに重み付けをしてフォーカス制御に用いることを特徴とする請求項１または請求項２に記載の撮像装置。
フォーカスレンズを含む撮影光学系により形成された被写体像を光電変換する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段の出力を用いて生成された画像において特定被写体を検出する被写体検出ステップと、
位相差検出光学系により形成された２つの被写体像の位相差を検出する位相差検出ステップと、
前記画像中の焦点検出領域におけるコントラスト情報を生成するコントラスト情報生成ステップと、
前記コントラスト情報生成ステップで生成された前記コントラスト情報と前記位相差検出ステップで検出された前記位相差とに基づいて、前記フォーカスレンズを移動させてフォーカス制御を行う制御ステップとを有し、
前記制御ステップでは、前記コントラスト情報を用いたフォーカス制御を継続して繰り返し行うフォーカス制御中において、前記特定被写体が検出された場合であって、現在の前記フォーカスレンズの位置と前記位相差に基づく合焦位置との差が第１の値より大きく大ボケと判定された場合に、前記特定被写体に対応する前記２つの被写体像の前記位相差に基づいて前記フォーカスレンズの移動を開始させ、該位相差に基づくフォーカス制御中に前記フォーカスレンズの移動速度を減速させるとともに前記特定被写体が検出された領域に対応する前記焦点検出領域における前記コントラスト情報を生成させながら前記位相差に基づく合焦位置まで前記フォーカスレンズを移動させた後、当該合焦位置への前記フォーカスレンズの移動中に生成された前記コントラスト情報、および当該合焦位置への前記フォーカスレンズの移動後に生成された前記コントラスト情報を用いてフォーカス制御を行うことを特徴とする撮像装置の制御方法。