JP5322593B2 - 焦点調節装置及び方法 - Google Patents

Description

本発明は、ビデオカメラ等の撮像装置に用いられる焦点調節方法及び方法に関し、特に顔検出機能を利用して、コントラストＡＦと位相差ＡＦとを併用する焦点調節方法及び方法に関する。

ビデオカメラ等の撮像装置に搭載されるオートフォーカス（ＡＦ）方式としては、コントラストＡＦ方式が一般的に用いられている。コントラストＡＦ方式では、撮像素子を用いて得られた映像信号のから高周波成分を抽出して、焦点状態を示す信号である、いわゆるＡＦ評価値信号を生成し、このＡＦ評価値信号が最大になるようにフォーカスレンズの位置を制御する。

また、このようなコントラストＡＦ方式と、いわゆる外測位相差検出（以下「位相差ＡＦ」と呼ぶ。）方式とを組み合わせた、いわゆるハイブリッドＡＦ方式を採用した撮像装置も提案されている（例えば、特許文献１参照）。外測位相差ＡＦ方式は、撮像光学系を通らない光を２つの光束に分割してそれぞれセンサにより受光し、被写体までの距離に応じて変化する受光した光の位相差に基づいて、フォーカスレンズの位置を制御するものである。ハイブリッドＡＦ方式では、コントラストＡＦ方式による高精度の合焦性能と、外測位相差ＡＦ方式による高速な合焦性能とを併せ持つことができる。

一方で、顔検出機能を搭載したカメラの開発も活発に行われており、例えば、特許文献２にあるように、検出された顔にフォーカスを合わせるように、検出された顔の領域に基づいてＡＦ検出領域を指定する技術も紹介されている。

特開２００２−２５８１４７号公報（段落００８５、図２、図３等） 特開２００７−２７９１８８号公報

検出された顔の領域にフォーカスを合わせる顔優先ＡＦでは、顔が写っている画像では顔にフォーカスを合わせるようにＡＦ動作が働くが、顔が新たに検出された直後や、逆に顔が検出されなくなった直後にはＡＦ動作が不安定になり得る。特に位相差ＡＦ方式では、被写体までの距離に応じて変化する被写体像の位相差をセンサによって直接検出し、その検出した位相差から求めた合焦位置にフォーカスレンズを移動させるので、被写体に素早く反応して、高速でＡＦ動作を行うことができる。しかしながら、撮像した画像から顔検出するには各種の画像処理を行うため少なからず時間がかかり、位相差ＡＦにかかる数倍以上の時間後に、撮像した画像内に顔があるのか無いのか、顔があるならばどの位置にあるのか、といった顔の検出結果が分かる。

このような時間遅延のある中で位相差ＡＦ１を伴うハイブリッドＡＦ方式を用いて顔優先ＡＦを行うと、例えば、顔が検出されていない状態においてカメラをパンニングさせて画角を変更していった場合に、次のような問題が発生する。まず、人（顔）ではない被写体が位相差ＡＦの検出領域にあり、更に、位相差ＡＦの検出領域外の、被写体までの距離とは異なる距離に人（顔）がある場合を想定する。この場合、先ず、顔検出を行っている間に位相差ＡＦによって検出領域内の被写体に焦点が合うようにＡＦ動作する。そして顔検出により少しディレイのあった後に、顔と判定された領域に対してコントラストＡＦなどの他方式によって顔に対してフォーカス動作が行われる。このような動作はユーザーからすると、顔の検出前後において、フォーカスのハンチングが起こるように見えて、非常に不愉快なものであるという問題点があった。

本発明は上記問題点を鑑みてなされたものであり、位相差ＡＦを伴うハイブリッドＡＦ方式を用いて、予め設定された被写体を検出して、検出した被写体にフォーカスを合わせる場合に、ハンチングを回避することを目的とする。

また、被写体を検出して、検出した被写体にフォーカスを合わせる場合に、より素早くフォーカスを合わせることができるようにすることを別の目的とする。

上記目的を達成するために、本発明の焦点調節装置は、撮像素子から入力される入力画像のコントラストに基づいて、合焦位置の方向にフォーカスレンズを駆動するように制御する第１の焦点調節方式と、被写体からの光により形成された一対の像の位相差に基づいて、前記フォーカスレンズを合焦位置に駆動するように制御する第２の焦点調節方式と、を選択的に用いて合焦制御する焦点調節手段と、前記撮像素子から入力される入力画像から求められた被写体検出位置と前記位相差の検出領域である位相差検出領域の位置関係を判定する判定手段とを有し、前記焦点調節手段は、前記判定手段にて前記位相差検出領域の上側に前記被写体検出位置があると判定され、前記入力画像における前記被写体の大きさが所定値以上である場合、前記第２の焦点調節方式により前記フォーカスレンズを駆動し、前記判定手段にて前記位相差検出領域の上側に前記被写体検出位置があると判定され、前記入力画像における前記被写体の大きさが所定値よりも小さい場合、前記第１の焦点調節方式により前記フォーカスレンズを駆動し、前記判定手段にて前記位相差検出領域の下側に前記被写体検出位置があると判定された場合、前記第１の焦点調節方式により前記フォーカスレンズを駆動する。

また、撮像素子から入力される入力画像のコントラストに基づいて、合焦位置の方向にフォーカスレンズを駆動するように制御する第１の焦点調節方式と、被写体からの光により形成された一対の像の位相差に基づいて、前記フォーカスレンズを合焦位置に駆動するように制御する第２の焦点調節方式と、を選択的に用いて合焦制御する本発明の焦点調節方法は、判定手段が、前記撮像素子から入力される入力画像から求められた被写体検出位置と前記位相差の検出領域である位相差検出領域の位置関係を判定する判定工程と、焦点調節手段が、前記判定工程にて前記位相差検出領域の上側に前記被写体検出位置があると判定され、前記入力画像における前記被写体の大きさが所定値以上である場合、前記第２の焦点調節方式により前記フォーカスレンズを駆動し、前記判定工程にて前記位相差検出領域の上側に前記被写体検出位置があると判定され、前記入力画像における前記被写体の大きさが所定値よりも小さい場合、前記第１の焦点調節方式により前記フォーカスレンズを駆動し、前記判定工程にて前記位相差検出領域の下側に前記被写体検出位置があると判定された場合、前記第１の焦点調節方式により前記フォーカスレンズを駆動する駆動工程とを有する。

本発明によれば、位相差ＡＦを伴うハイブリッドＡＦ方式を用いて、予め設定された被写体を検出して、検出した被写体にフォーカスを合わせる場合に、ハンチングを回避することができる。

また、被写体を検出して、検出した被写体にフォーカスを合わせる場合に、より素早くフォーカスを合わせることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
●装置構成
図１は、本発明の焦点調節装置を備える第１の実施形態における撮像装置として、ビデオカメラの構成を示すブロック図である。

同図において、１００はレンズユニットであり、物体側（被写体側）から順に、固定レンズ１０１、変倍レンズ１０２、絞り１０３、固定レンズ１０４及びフォーカスレンズ１０５により構成される撮像光学系を収容している。１０８は変倍レンズ１０２、絞り１０３及びフォーカスレンズ１０５の位置を検出する位置エンコーダである。

変倍レンズ１０２はズームモータ１０６により光軸方向に駆動され、フォーカスレンズ１０５はフォーカスモータ１０７により光軸方向に駆動される。これらズームモータ１０６及びフォーカスモータ１０７はそれぞれ、ズーム駆動回路１２０及びフォーカス駆動回路１２１からの駆動信号を受けて動作する。

１０９はＣＣＤセンサ、ＣＭＯＳセンサ等により構成された撮像素子である。撮像素子１０９は、撮像光学系に入射した光によって形成された、撮像範囲内の物体の像を光電変換する。撮像信号処理回路１１９は、撮像素子１０９からの出力信号に対して、増幅処理、ガンマ補正処理、ホワイトバランス処理等の各種信号処理を施し、所定の映像フォーマットの画像信号に変換する。得られた画像信号は、モニタディスプレイ１１４に出力されたり、半導体メモリ、光ディスク、ハードディスク等の画像記録用メディア１１６に記録されたりする。

１１０はメインＣＰＵで、ビデオカメラの各種動作や機能を制御する。操作スイッチ群１１５には、電源スイッチや、録画動作や再生動作を開始及び停止させるスイッチ、ビデオカメラの動作モードを選択するためのスイッチ、変倍レンズ１０２のズーム状態を変化させるズームスイッチ等が設けられている。また、後述するＡＦ動作モードを選択するために用いられるスイッチも設けられている。これらのスイッチが操作されると、フラッシュメモリ１１３に格納されていたコンピュータプログラムの一部がＲＡＭ１１２にロードされ、メインＣＰＵ１１０はＲＡＭ１１２にロードされたプログラムに従って各部の動作を制御する。

１１１は顔検出処理回路であり、撮像信号処理回路１１９から出力される画像信号に対して画像処理を行い、顔の有無判定を行い、顔がある場合には画像内における顔の位置や顔の大きさ等を検出する。顔検出処理回路１１１が行う画像処理には、元の画像信号を演算のためにサイズを小さくするリサイズ処理や、顔の輪郭検出処理、顔であることの信頼度判定処理等が含まれる。このため、後述するように画像信号を受け取ってから、検出結果が出るまでに、数十ｍｓ〜数百ｍｓの時間がかかる。

一方、１３１は位相差ＡＦ用のラインセンサであり、複数の受光素子が一列に並べられて構成されている。ラインセンサ１３１には、被写体からの光が撮像光学系とは別に設けられた外測位相差ＡＦ用の結像レンズ１３０を通って、すなわちレンズユニット１００を通らずに到達する。なお、レンズユニット１００を透過した光を二分して、撮像素子１０９とラインセンサ１３１とにそれぞれ光を振り分けることの可能な光学素子を光路に挿入することで、カメラ内部に構成することもできる。

●位相差ＡＦ方式（第２の焦点調節方式）の原理
本第１の実施形態におけるラインセンサ１３１は、図２に示すように、結像レンズ１３０の光軸上の位置を中心として左右に合計２００個の受光素子が並べられて構成されている。また、図２（ａ）、（ｂ）に示すように、ズーム倍率に応じて、カメラの画角に対する、ラインセンサ１３１の受光領域の大きさの割合は変化する。なお、図２では、中心の受光エリアＣと、その左右に配置された受光エリアＬ１、Ｌ２、Ｒ１、Ｒ２とに分けて示している。各受光エリアは４０個ずつの受光素子で構成されている。

このように２００個の受光素子により構成されたラインセンサ１３１は、左右に２つ設けられている。そして、これら２つのラインセンサ１３１において対応する受光エリアに形成された１対の画像のずれ量（位相差）を検出する。このずれ量は、被写体までの距離に応じて変化するため、ラインセンサ１３１から出力される信号は、被写体（又は物体）までの距離に応じた信号である。なお、ラインセンサ１３１を構成する受光素子の数は、２００個に限られるものではないことは言うまでもない。

図３に、ラインセンサを用いた位相差ＡＦ方式の原理を示す。図３において、２０１は被写体、２０２は第１の結像レンズ、２０３は第１のラインセンサである。２０４は第２の結像レンズ、２０５は第２のラインセンサである。これら一対の第１及び第２の結像レンズ２０２、２０４は図１に示した結像レンズ１３０に、一対の第１及び第２のラインセンサ２０３、２０５は図１に示したラインセンサ１３１にそれぞれ相当する。第１及び第２のラインセンサ２０３、２０５は、基線長Ｂだけ互いに離れて設置されている。被写体２０１からの光のうち、第１の結像レンズ２０２を通った光は、第１のラインセンサ２０３上に結像し、第２の結像レンズ２０４を通った光は第２のラインセンサ２０５上に結像する。

ここで、第１及び第２のラインセンサ２０３、２０５からの出力信号（像信号）の例を図４に示す。第１及び第２のラインセンサ２０３、２０５は基線長Ｂだけ離れているため、第１のラインセンサ２０３からの像信号と第２のラインセンサ２０５からの像信号とは、画素数Ｘだけずれた信号となる。そこで、２つの像信号の相関を画素をずらしながら演算し、相関が最大になる画素ずらし量を求めることで位相差Ｘを演算できる。この位相差Ｘと、基線長Ｂと、結像レンズ２０２、２０４の焦点距離ｆと、被写体までの距離Ｌは、三角測量の原理により以下の式（１）の関係を有する。
Ｌ＝Ｂ・ｆ／Ｘ …（１）

即ち、基線長Ｂと結像レンズ２０２、２０４は各ビデオカメラにおいては固定値であるため、被写体までの距離Ｌに応じて位相差Ｘが変化する。従って、求めた位相差Ｘに基づいて、メインＣＰＵ１１０は、被写体までの距離Ｌを求め、求めた距離Ｌに応じて被写体に合焦するためのフォーカスレンズの位置（位置エンコーダ１０８により検出された現在のフォーカスレンズ位置からの駆動量）を算出する。なお、この「算出」は、計算式を用いた演算だけでなく、予め不図示のメモリに記憶された、位相差Ｘまたは位相差Ｘに基づいて算出された被写体までの距離Ｌに対する、フォーカスレンズの位置（合焦位置）のデータを読み出すことも含む。従って、以下の説明では「位相差に基づいてフォーカスレンズ位置を求める」等と記載するが、「位相差」を、「位相差から算出された被写体までの距離」と読み替えることができる。

このようにして求めたフォーカスレンズの位置に、フォーカス駆動回路１２１を通じてフォーカスレンズ１０５を駆動することに、合焦状態を得ることができる。

●コントラストＡＦ方式（第１の焦点調節方式）の原理
撮像信号処理回路１１９は、撮像素子１０９の出力から得られた画像信号からバンドパスフィルタを用いて高周波成分を抽出し、ＡＦ評価値を算出する。ＡＦ評価値は、メインＣＰＵ１１０に出力される。ＡＦ評価値は、撮像素子１０９からの出力信号に基づいて生成される画像信号の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す値となる。

図５は、フォーカスレンズ位置とＡＦ評価値との関係を示している。特定の距離の被写体を撮像してフォーカスレンズ１０５を至近位置から無限位置に移動させた場合、評価値は図５に示すように変化する。そして、ＡＦ評価値が最大になるフォーカスレンズ位置が、その被写体に対する合焦位置（合焦点）となる。

従って、メインＣＰＵ１１０は、フォーカスレンズ１０５を移動させてＡＦ評価値の変化をモニタし、ＡＦ評価値が最大となるフォーカスレンズ位置を検出することで、合焦状態を得ることができる。具体的には、読み出した画像信号からＡＦ評価値を算出する毎に、過去に算出されたＡＦ評価値と比較し、その値の大小によって、フォーカスレンズ１０５の駆動方向を判断する。そして、判断した方向にフォーカスレンズ１０５を駆動した後、再び画像信号を読み出してＡＦ評価値を算出し、判断した方向にフォーカスレンズ１０５を駆動する処理を繰り返す。これによりＡＦ評価値が最大となる位置にフォーカスレンズ１０５を駆動し、合焦状態を得ることができる。

●ＡＦ処理
本第１の実施形態では、顔検出結果を用いずにＡＦ処理を行うか、もしくは顔検出結果を用いてＡＦ処理を行うかを、操作スイッチ群１１５を用いて選択することができる。本第１の実施形態では、顔検出結果を用いずに行うＡＦ処理として、コントラストＡＦ方式と位相差ＡＦ方式とを選択的に利用したハイブリッドＡＦ方式によりＡＦ処理を行う。この顔検出結果を用いないＡＦ処理をここでは「ノーマルモード」と呼ぶ。また、本第１の実施形態では後述するように、顔検出結果を用いるＡＦ処理として、「顔優先ＡＦモード１」と「顔優先ＡＦモード２」とを具備しており、同様に操作スイッチ群１１５を用いて選択することができるものとする。先ず、ノーマルモードについて説明し、次に、「顔優先ＡＦモード１」と「顔優先ＡＦモード２」とを順に説明する。

（ｉ）ノーマルモード
本第１の実施形態におけるビデオカメラでは、図６に示すように、大きくぼけた状態から合焦位置の近傍までは位相差ＡＦを用いて高速でフォーカスレンズ１０５を駆動する。そして、さらに高精度の合焦状態を得るために、合焦位置の近傍から合焦位置まではコントラストＡＦを用いて、フォーカスレンズ１０５を駆動する。

図７は、メインＣＰＵ１１０で行われる、顔検出結果とは無関係なノーマルモードでのＡＦ処理のフローチャートを示す。なお、このフローチャートに示す処理は、例えば、１フィールド画像を生成するための撮像素子１０９からの画像信号（入力画像）の読み出し周期で繰り返し実行される。以下、この周期を「Ｖ周期」と呼ぶ。

まず、ステップＳ３０１では、ビデオカメラの電源スイッチの投入等をトリガとして、メインＣＰＵ１１０はノーマルモードによるＡＦ処理を開始する。

ステップＳ３０２では、上述したコントラストＡＦ方式によるＡＦ制御（以下、「コントラストＡＦ制御」と呼ぶ。）を行い、読み出された撮像信号（入力画像）からＡＦ評価値を算出して、算出したＡＦ評価値に基づいてフォーカスレンズを駆動する。このコントラストＡＦ制御では、今回算出したＡＦ評価値と、過去に算出したＡＦ評価値とを比較することで得られた方向にフォーカスレンズ１０５を所定量移動する。また、コントラストＡＦ制御には、合焦している状態において、フォーカスレンズ再駆動の必要性の有無を判断するために、ＡＦ評価値が低下したか否かを判定する等、合焦を維持するための処理も含まれる。

ステップＳ３０３では、上述した位相差ＡＦ方式によるＡＦ制御（位相差ＡＦ）のために、一対のラインセンサ１３１から出力される一対の像信号を取り込んで、像信号間の位相差を求める。次にステップＳ３０４で、求めた位相差に基づいて、フォーカスレンズ１０５の合焦位置を算出する。

ステップＳ３０５では、変倍レンズ１０２の位置（撮像光学系の焦点距離）に応じて、次のステップＳ３０６で用いる移動量の閾値ｔｈ１を設定する。ここでいう移動量とは、位置エンコーダ１０８により検出された現在のフォーカスレンズ１０５の位置と、ステップＳ３０４で求めた合焦位置との差である。なお、閾値ｔｈ１は、テレ側ではワイド側よりも大きく設定する。

ステップＳ３０６では、現在のフォーカスレンズ位置とステップＳ３０４で求めた合焦位置との差を、閾値ｔｈ１と比較する。この閾値ｔｈ１との比較により、フォーカスレンズ１０５の焦点状態のレベルを判断することができる。現在のフォーカスレンズ位置と合焦位置との差が閾値ｔｈ１よりも大きければ（即ち、焦点状態が予め設定されたレベル以下の場合）ステップＳ３０７へ進み、ステップＳ３０４で位相差から求めた合焦位置にフォーカスレンズ１０５を移動させる。そして、ステップＳ３０２のコントラストＡＦ制御に戻る。

なお、ステップＳ３０６において、現在のフォーカスレンズ位置とステップＳ３０４で求めた合焦位置との差が閾値ｔｈ１よりも小さければ、そのままステップＳ３０２のコントラストＡＦ制御に戻る。

このように、コントラストＡＦ制御が繰り返し行われるＡＦ処理中において、現在のフォーカスレンズ位置と位相差ＡＦ制御で求めた合焦位置とが閾値ｔｈ１よりも大きく離れた場合、すなわち、大ボケ状態時に位相差ＡＦによるフォーカスレンズ駆動を行う。これにより、フォーカスレンズが頻繁にかつ不連続的に移動することを回避できるとともに、位相差ＡＦの良好な応答性と高速動作という特長を生かすことができる。さらに、その後はコントラストＡＦ制御によって高精度な合焦状態を得ることができる。

（ｉｉ）顔優先ＡＦ処理
上述したように、本第１の実施形態のビデオカメラは顔検出処理回路１１１を備えており、撮像素子１０９により取り込んだ画像から人物の顔を検出する。具体的には、撮像素子１０９からの画像読み出し後、画像を記録画像よりも小さい画像にリサイズして、パターンマッチングによる顔検出を行い易くするための前処理を行う。次に、顔の輪郭や目の間隔などをもとにパターンマッチングを行い、画像中の顔検出結果として、顔の位置、顔の大きさ、目の間隔、顔である可能性の高さを示す評価値を算出する。一枚の画像中に顔が検出された場合には、その後も相関性が高い顔が時間的に連続して検出されるかどうかを評価する。これらの演算や評価の結果、誤検出を減らした顔検出結果を得ることができる。上述のように撮像素子１０９から画像を読み出した後、様々な処理を行ってから顔検出結果が出るため、顔を検出した画像を撮影した時間からは少なからず遅延が発生することになる。この遅延時間はシステムスペックにもよるが、ここではＶ周期の５倍（複数回）、５Ｖ程度の時間がかかるものとして、以下説明する。

（ｉｉ−１）顔優先ＡＦモード１
図８は、顔優先ＡＦモード１におけるＡＦ処理の手順を示すフローチャートである。なお、このフローチャートに示す処理は、例えば、１フィールド画像を生成するための撮像素子１０９からの画像信号（入力画像）の読み出し周期（Ｖ周期）で繰り返し実行される。

例えば、操作スイッチ群１１５を用いたユーザー選択により顔優先ＡＦモード１が選択されると、この処理が開始される（ステップＳ４０１）。

ステップＳ４０２において、読み出した画像から顔が検出されたかどうかを判断し、顔が検出されなければ、ステップＳ４０３に進んで、上述した通常のコントラストＡＦ制御行う。一方、顔が検出されると、ステップＳ４０６に進んで顔枠コントラストＡＦ制御を行う。ステップＳ４０６で行われる顔枠コントラストＡＦ制御とは、撮像素子１０９から読み出した画像信号の内、顔が検出された領域の部分画像信号からＡＦ評価値を算出し、ＡＦ動作させることで顔付近への合焦を行う制御である。

ステップＳ４０６で顔枠コントラストＡＦ制御によりＡＦ処理を行うと、ステップＳ４０２に戻って上述した処理を繰り返す。

一方、顔が検出されず、ステップＳ４０３で通常のコントラストＡＦ制御を行った場合には、ステップＳ４０４に進み、得られたＡＦ評価値を用いてボケ判定を行う。そして、大ボケと判定された場合（例えば、ＡＦ評価値が予め設定された閾値以下（レベル以下）の場合）、ステップＳ４０５へ進み、位相差ＡＦを行う。

以上のように、顔優先ＡＦモード１では、顔が検出されたときには位相差ＡＦを用いずに、顔枠コントラストＡＦ制御のみでＡＦ処理を行う。このように制御することで、ハンチングを低減することができる。

（ｉｉ−１）顔優先ＡＦモード２
次に、顔優先ＡＦモード２について図９のフローチャートを参照して説明する。顔優先ＡＦモード２は、顔が検出されたときでも位相差ＡＦ制御を用いる方式である。なお、このフローチャートに示す処理は、例えば、１フィールド画像を生成するための撮像素子１０９からの画像信号（入力画像）の読み出し周期（Ｖ周期）で繰り返し実行される。

まず、図１０および図１１を用いて顔枠とカメラの画角、ラインセンサ１３１による焦点検出枠について説明する。

図１０において、太線の点線枠Ａはカメラの画角、Ｂは顔を検出した時の枠（被写体領域を示す枠）であり、被写体の位置やカメラの向きなどによりさまざまな位置および大きさで検出される。また、Ｃで示される縦線の入った枠が、カメラの画角に対するラインセンサ１３１による位相差検出枠（位相差検出領域）にあたり、この範囲の被写体光により得られた一対の像信号を用いて位相差を検出する。この位相差検出枠は図２でも示したとおり、ズーム倍率に応じてカメラの画角に対する相対的な大きさが変化するものであるが、ズーム倍率に応じた枠の変化量は簡単な計算で求めることができる。

図１１は図１０に示すカメラの画角Ａと位相差検出枠Ｃとの関係において、４パターンの顔の検出位置を示したものである。図１１（ａ）は、顔検出位置がラインセンサ１３１の位相差検出枠Ｃ内にある場合であり、このような状態では、ラインセンサ１３１を用いた位相差ＡＦを行って顔に合焦制御することが可能である。また、図１１（ｂ）は、顔検出位置が位相差検出枠Ｃの上側にあり、この場合、位相差ＡＦでは、顔ではなく、図示しない、顔の下方にあるはずの胴体に合焦制御することができると考えられる状態である。よってこのような位置関係にある場合も、ラインセンサ１３１を用いた位相差ＡＦ制御を利用して顔にほぼ合焦させることが可能な状態といえる。

しかしながら、図１１（ｃ）のように、位相差検出枠Ｃの上側に顔検出位置がある場合でも顔の大きさが小さい場合、胴体が位相差検出枠Ｃ内にある可能性が著しく減ることになる。従って、このときに得られる位相差は、顔に合焦制御するために位相差ＡＦを用いるには信頼できない。本第１の実施形態では人は五頭身程度が一般的であるということを踏まえて、顔検出枠Ｂの一辺の長さをＬとしたときに、顔検出枠Ｂの下端からラインセンサ１３１の位相差検出枠Ｃの下端までの長さＫが４Ｌ以上（所定倍以上）の時には、位相差ＡＦを行わない。一方で、図１１（ｄ）の状態では、顔検出位置は位相差検出枠Ｃよりも下側にあるため、位相差ＡＦにより合焦制御するのは難しい状態である。

次に、図９Ａ及び図９Ｂのフローチャートを用いて、顔優先ＡＦモード２の処理の流れについて説明する。なお、このフローチャートに示す処理は、例えば、１フィールド画像を生成するための撮像素子１０９からの画像信号（入力画像）の読み出し周期（Ｖ周期）で繰り返し実行される。

例えば、操作スイッチ群１１５を用いたユーザー選択により顔優先ＡＦモード２が選択されると、この処理が開始される（ステップＳ５０１）。ステップＳ５０２では位相差ＡＦのためのラインセンサ１３１から出力される一対の像信号を取り込んで、像信号間の位相差Ｌを求める。この位相差Ｌの算出にかかる時間は明るさにより異なり、また、記録される画像や顔検出処理などの周期と同期をとるために、次のステップＳ５０３で、Ｖ周期のタイミングを待つ。Ｖ周期のタイミングになるとステップＳ５０４に進み、ステップＳ５０２で求めた位相差Ｌを保持する。ここでは、画像信号からの顔検出にかかる最新の５Ｖ周期分と、画像信号の蓄積に係る１Ｖ周期分の、合計６周期分の値を保持する（即ち、６Ｖ周期分の間保持する）ため、６つのメモリ空間に順次格納していく。すなわち時間Ｔ_ｎの時に得られた位相差をＬ_ｎとすれば、６つのメモリにはそれぞれ、Ｌ_ｎ〜Ｌ_ｎー５の値が保持される。位相差Ｌの算出はＶ周期とは非同期で行われるが、Ｖ周期のタイミングと同期して、位相差Ｌが６Ｖ分保持されることになる。

その後、ステップＳ５０５へ進み、顔が検出されたかどうかを判断する。顔が検出されないときには、ステップＳ５０６へ移行して、通常のコントラストＡＦ制御を行う。次のステップＳ５０７では、５Ｖ周期前にステップＳ５０２で求めた位相差Ｌ_ｎー５をメモリから読み出す。そして、ステップＳ５０８において、この読み出した位相差Ｌ_ｎー５に対応するフォーカスレンズの合焦位置と、コントラストＡＦ制御により制御された現在のフォーカスレンズ位置との差を予め設定された閾値ｔｈ２と比較することでボケ判定を行う。この閾値ｔｈ２との比較により、フォーカスレンズ１０５の焦点状態のレベルを判断することができる。差が閾値ｔｈ２内であればステップＳ５０２に戻り、大ボケ（差が閾値ｔｈ２以上）と判定されると（即ち、焦点状態が予め設定されたレベル以下の場合）ステップＳ５０９に移行する。そして、ステップＳ５０２で求めた最新の位相差Ｌ_ｎに基づいて合焦位置を求め、求めた合焦位置にフォーカスレンズを移動する。

一方、ステップＳ５０５において顔が検出された場合には、図９ＢのステップＳ５１０へ遷移する。ここでは前回顔が検出された時間から今回顔が検出された時間までの時間差Ｔ１を算出する。ステップＳ５１１では時間差Ｔ１が５Ｖ周期以内であればステップＳ５１５へ、５Ｖ周期を超えるのであればステップＳ５１２へ処理を分岐する。これは所定時間内に顔が検出されている状態であれば、安定して連続的に顔が検出され、顔枠コントラストＡＦ制御のみで十分にフォーカスを追従できるものであると考えられるからである（ステップＳ５１５）。

逆に、所定時間を超えた間隔で顔検出されたという状態は、カメラの電源を入れてから初めて顔が検出された時や、撮影中に突発的に顔が検出された状態が考えられる。例えば、画角に大きな変更が加わったり、突然人が現れたときなど被写体への距離が大きく変わる可能性が高い状態であると考えられる。よって、このようなときにはステップＳ５１２に移行して、検出された顔の位置及び大きさがカメラの画角において、所定の選択条件を満たしているかどうかを判断する。これは図１１を用いて前述した通り、顔の検出位置および顔の大きさと、ラインセンサ１３１の位相差検出枠Ｃとの関係から、顔または被写体の胴体がラインセンサ１３１の位相差検出枠に含まれているかどうかを判断するものである。ステップＳ５１２で、所定の選択条件を満たしていない、即ち、顔及び被写体の胴体が図１１（ｃ）や（ｄ）のようにラインセンサ１３１の位相差検出枠Ｃ外にあると判断された場合には、ステップＳ５１５に移行し、顔枠コントラストＡＦ制御を行う。

一方、ステップＳ５１２で、所定の選択条件を満たしている、即ち、顔または被写体の胴体が図１１（ａ）や（ｂ）のようにラインセンサ１３１の位相差検出枠Ｃ内にあると判断された場合には、ステップＳ５１３へ移行する。そして、顔が検出された時刻から５Ｖ周期前にステップＳ５０２で求めた位相差Ｌ_ｎー５をメモリから読み出す。そして、ステップＳ５１４において、この読み出した位相差Ｌ_ｎー５に基づいてフォーカスレンズの合焦位置を求め、求めた合焦位置へフォーカスレンズ１０５を移動する。これにより顔が検出された場合にも、位相差ＡＦを利用して、より確実に素早く合焦することが可能となる。

以上のように、顔優先モード２によるＡＦ処理では、ラインセンサ１３１を用いて常に位相差を求めて、顔の検出結果が出るまでの５Ｖ周期の間、求めた位相差を保持しておく。そして、検出された顔の位置及び大きさが予め設定された条件を満たす場合に、５Ｖ周期前に求めた位相差を用いてフォーカス制御を行う。これにより、顔優先ＡＦ時にも不適切な顔へのＡＦ動作を回避しながら位相差ＡＦを行うことが可能となり、ハンチングを軽減することができる。また、顔の検出結果が分かった後に位相差を測定するのではなく、事前に算出しておいた値を用いるため、素早い顔へのフォーカスが可能となる。

上記の通り本第１の実施形態によれば、顔検出処理回路１１１による顔検出結果がでる前に、位相差を用いた位相差ＡＦを行うことに制限を加えることで、顔優先ＡＦ処理時に、ハンチングを軽減することができる。また、顔検出処理回路による顔検出結果が出ると同時に、予め取得しておいた位相差を即座に使用して位相差ＡＦすることによって、すばやく適切な顔優先ＡＦを実行することができる。これにより、ユーザーの顔優先ＡＦ処理時の不快感を軽減し、利便性が向上する。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

本第２の実施形態では、顔優先ＡＦ処理における静止画撮影モード時のカメラのＡＦ動作について説明する。なお、ビデオカメラの構成や各種のＡＦ動作については第１の実施形態と同様であるため説明を省略し、ここでは、静止画撮影モード時のＡＦ動作についてのみ、図１２及び図１３を参照して説明する。

本第２の実施形態では、図１３に示すラインセンサ１３１を用いた位相差ＡＦ制御が、予め設定された周期で常に行われるが、後述するメインの顔優先ＡＦ処理とは非同期に行われる。

図１３において、ステップＳ６２０で処理が開始されると、ステップＳ６２１ではラインセンサ１３１から得られた一対の像信号から位相差を求め、ステップＳ６２２において、求めた位相差をメモリに保存する。例えば、位相差の取得が１Ｖ周期で行われる場合には、５Ｖ周期分すなわち５個の位相差を保存することになり、位相差の取得が２Ｖ周期で行われていれば、３個の位相差が保存される。この位相差を求めるためにかかる時間は、被写体の明るさやシステム構成によって様々に変化する。

図１２は静止画撮影モード時の顔優先ＡＦ処理を示すフローチャートである。例えば、静止画撮影モードの選択などにより、ステップＳ６０１で処理が開始されると、ステップＳ６０２でシャッターが半押しされたかどうかを判断する。半押しされるまでの間、ステップＳ６０３において、図１３のステップＳ６２１で求めた最新の位相差に基づいて、合焦位置を求めてフォーカスレンズ１０５を駆動する。更に、ステップＳ６０４においてコントラストＡＦ制御を行う。

ステップＳ６０２でシャッターが半押しされて、画像の記録準備が指示されると、ステップＳ６０５に移行して次のタイミングで得られた撮像素子１０９からの画像信号を用いて顔検出処理が開始される。次のステップＳ６０６では、第１の実施形態で説明した手順でコントラストＡＦ制御を行う。

ステップＳ６０７においてシャッターが全押しされると、ステップＳ６０８に移行してその時のフォーカスレンズ位置で撮影・記録が行われる。撮影後は、ステップＳ６０２に戻る。

一方でシャッターが全押しされなければ、ステップＳ６１０へ移行して、シャッター半押し直後に顔検出処理の結果が出力されたかどうかを判断する。ここでは、上述した第１の実施形態と同様に、顔検出処理に５Ｖ周期分の時間がかかるものとする。顔検出結果が出力されていなければ、ステップＳ６０２に戻る。このように、シャッター半押しにより撮影準備が指示されてから顔検出結果が出るまでの間は、位相差に基づくフォーカスレンズ１０５の駆動は行わずに、コントラストＡＦ制御のみによりＡＦ動作を行う。

顔検出結果が出力された場合には（ステップＳ６１０でＹＥＳ）、ステップＳ６１１に移行して、顔が検出されたかどうかを判断する。顔が検出された場合にはステップＳ６１２へ移行して、検出された顔の位置及び大きさがカメラの画角において、所定の選択条件を満たしているかどうかを判断する。なお、この判断は、第１の実施形態において図９ＢのステップＳ５１２で図１１を参照して説明した判断と同様である。

ステップＳ６１２で所定の選択条件を満たしていると判断されると、ステップＳ６１３へ移行する。そして、図１３のステップＳ６２２で保持しておいた５Ｖ周期前の位相差を読み出し、次のステップＳ６１６において５Ｖ周期前の位相差に対応するフォーカスレンズ１０５の合焦位置と現在のフォーカスレンズ位置との差分からボケ判定を行う。このボケ判定では、例えば、求めた差分を予め設定しておいた閾値と比較して、閾値よりも大きい場合に、ボケが大きいと判断する。ボケが大きいと判断されると、ステップＳ６１７において、読み出した５Ｖ周期前の位相差に対応する合焦位置に、フォーカスレンズ１０５を駆動する。

一方で、上記以外、即ち、ステップＳ６１１で顔が検出されなかった場合、及び、ステップＳ６１２で検出された顔の位置及び大きさがカメラの画角において所定の選択条件を満たしていない場合には、ステップＳ６１４へと移行する。このときステップＳ６１４では、図１３の処理により保持されている位相差の内、最新の位相差を読み出し、読み出した位相差を用いて、ステップＳ６１６と同様のボケ判定を行う。このときボケが大きいと判断されると、この最新の位相差に対応する合焦位置に、フォーカスレンズ１０５を駆動する。

また、ステップＳ６１５またはステップＳ６１６においてボケが小さいと判定されるとステップＳ６０６へ戻り、シャッター操作を待ちながら上述した動作を繰り返す。

上記のように本発明の第２の実施形態によれば、静止画撮影時には、シャッター半押しをトリガーとして、コントラストＡＦ制御のみによるＡＦ動作を行いながら、顔検出結果を待つ。そして、顔検出結果に応じて、予め算出されて保持されていた位相差の内、どの時点の位相差を使用するかを適宜決定することによって、ハンチング動作や顔にフォーカスが合わない、などの現象を抑えることができる。

なお、以上説明した第１及び第２の実施形態は例に過ぎず、特に周期などの時間設定などのパラメータは、システムにより異ならせて本発明を実施することが可能である。

また人物の顔を検出した場合の顔優先ＡＦ処理について説明してきたが、本発明は人物の顔に限るものではない。つまり、優先してフォーカスを合わせたい場合に検出可能な、予め設定された検出条件を満たす様々な被写体（例えば、犬・猫などの動物、特定の文字など）に検出対象を置き換えられても本発明を実施することが可能であることは言うまでもない。

さらにラインセンサ１３１を用いて説明したが、２像を比較して焦点を検出する他の方法を代わりに用いることも可能である。

本発明の実施の形態におけるビデオカメラの概略構成を示すブロック図である。 本発明の実施の形態におけるカメラの画角と、ラインセンサの受光領域との関係を示す模式図である。 位相差ＡＦ方式の原理を示す図である。 位相差ＡＦ方式での像信号の位相差を示す図である。 コントラストＡＦ方式の原理を説明するための図である。 本発明の実施の形態におけるコントラストＡＦと位相差ＡＦとの動作の区分を示す概念図である。 本発明の第１の実施形態におけるノーマルモードのＡＦ処理を示すフローチャートである。 本発明の第１の実施形態における顔優先ＡＦモード１のＡＦ処理を示すフローチャートである。 本発明の第１の実施形態における顔優先ＡＦモード２のＡＦ処理を示すフローチャートである。 本発明の第１の実施形態における顔優先ＡＦモード２のＡＦ処理を示すフローチャートである。 本発明の第１の実施形態における、画角と、ラインセンサの位相差検出枠と、顔検出枠の一例を示す図である。 本発明の第１の実施形態における、画角と、ラインセンサの位相差検出枠と、顔検出枠の関係を示す図である。 本発明の第２の実施形態における静止画撮影モードでの顔優先ＡＦ処理を示すフローチャートである。 本発明の第２の実施形態における位相差の手順を示すフローチャートである。

符号の説明

１００レンズユニット
１０１、１０４ 固定レンズ
１０２ 変倍レンズ
１０３ 絞り
１０５ フォーカスレンズ
１０６ ズームモータ
１０７ フォーカスモータ
１０８ 位置エンコーダ
１０９ 撮像素子
１１０ メインＣＰＵ
１１１ 顔検出処理回路
１１２ ＲＡＭ
１１３ フラッシュメモリ
１１４ モニタディスプレイ
１１５ 操作スイッチ群
１１６ 画像記録用メディア
１１９ 撮像信号処理回路
１２０ ズーム駆動回路
１２１ フォーカス駆動回路
１３１ ラインセンサ
１３０ 結像レンズ

Claims (6)

1. 撮像素子から入力される入力画像のコントラストに基づいて、合焦位置の方向にフォーカスレンズを駆動するように制御する第１の焦点調節方式と、被写体からの光により形成された一対の像の位相差に基づいて、前記フォーカスレンズを合焦位置に駆動するように制御する第２の焦点調節方式と、を選択的に用いて合焦制御する焦点調節手段と、
   前記撮像素子から入力される入力画像から求められた被写体検出位置と前記位相差の検出領域である位相差検出領域の位置関係を判定する判定手段とを有し、
   前記焦点調節手段は、前記判定手段にて前記位相差検出領域の上側に前記被写体検出位置があると判定され、前記入力画像における前記被写体の大きさが所定値以上である場合、前記第２の焦点調節方式により前記フォーカスレンズを駆動し、前記判定手段にて前記位相差検出領域の上側に前記被写体検出位置があると判定され、前記入力画像における前記被写体の大きさが所定値よりも小さい場合、前記第１の焦点調節方式により前記フォーカスレンズを駆動し、前記判定手段にて前記位相差検出領域の下側に前記被写体検出位置があると判定された場合、前記第１の焦点調節方式により前記フォーカスレンズを駆動することを特徴とする焦点調節装置。
2. 前記判定手段にて前記位相差検出領域の上側に前記被写体検出位置があると判定され、前記入力画像における前記被写体の大きさが所定値以上である場合、前記被写体検出位置を検出した時間より所定期間前に検出された位相差に基づく合焦位置と、現在のフォーカスレンズの位置とのずれ量が閾値よりも大きければ、前記位相差に基づいて前記第２の焦点調節方式により前記フォーカスレンズを駆動することを特徴とする請求項１に記載の焦点調節装置。
3. 前記判定手段にて前記位相差検出領域の下側に前記被写体検出位置があると判定された場合、または、前記判定手段にて前記位相差検出領域の上側に前記被写体検出位置があると判定され、前記入力画像における前記被写体の大きさが所定値よりも小さい場合であっても、前記第２の焦点調節方式により検出された最新の位相差に基づく合焦位置と、前記フォーカスレンズの現在の位置とのずれ量が閾値よりも大きければ、当該最新の位相差に基づいて前記第２の焦点調節方式により前記フォーカスレンズを駆動することを特徴とする請求項１又は２に記載の焦点調節装置。
4. 前記撮像素子から入力される入力画像から被写体が検出されなかった場合に、前記第１の焦点調節方式または前記第２の焦点調節方式により検出された焦点状態が予め設定されたレベルを超える場合に前記第１の焦点調節方式により前記フォーカスレンズを駆動し、前記焦点状態が前記レベル以下の場合に前記第２の焦点調節方式により前記フォーカスレンズを駆動することを特徴とする請求項１乃至３のいずれか１項に記載の焦点調節装置。
5. 前記撮像素子から入力される入力画像から被写体として人の顔を検出することを特徴とする請求項１乃至４のいずれか１項に記載の焦点調節装置。
6. 撮像素子から入力される入力画像のコントラストに基づいて、合焦位置の方向にフォーカスレンズを駆動するように制御する第１の焦点調節方式と、被写体からの光により形成された一対の像の位相差に基づいて、前記フォーカスレンズを合焦位置に駆動するように制御する第２の焦点調節方式と、を選択的に用いて合焦制御する焦点調節方法であって、 判定手段が、前記撮像素子から入力される入力画像から求められた被写体検出位置と前記位相差の検出領域である位相差検出領域の位置関係を判定する判定工程と、
   焦点調節手段が、前記判定工程にて前記位相差検出領域の上側に前記被写体検出位置があると判定され、前記入力画像における前記被写体の大きさが所定値以上である場合、前記第２の焦点調節方式により前記フォーカスレンズを駆動し、前記判定工程にて前記位相差検出領域の上側に前記被写体検出位置があると判定され、前記入力画像における前記被写体の大きさが所定値よりも小さい場合、前記第１の焦点調節方式により前記フォーカスレンズを駆動し、前記判定工程にて前記位相差検出領域の下側に前記被写体検出位置があると判定された場合、前記第１の焦点調節方式により前記フォーカスレンズを駆動する駆動工程と
   を有することを特徴とする焦点調節方法。

Images