JP5451869B2 - 焦点調節装置及び方法 - Google Patents

Description

本発明は、撮像装置等で用いられる焦点調節装置及び焦点調節方法に関し、更に詳しくは、撮影して得られた画像に基づいて自動焦点調節を行う焦点調節装置及び焦点調節方法に関する。

従来のビデオカメラ等の焦点調節制御では、撮像素子により被写体像を光電変換して得られた画像信号中より鮮鋭度（コントラスト状態）を表す焦点信号を検出し、その焦点信号に基づいてフォーカスレンズ位置を制御するＴＶ−ＡＦ方式が主流である。

しかしながら、このＴＶ−ＡＦ方式によって人物を撮影した場合、撮影条件や被写体条件によってはピントが主被写体である人物ではなく、コントラストの高い背景に合ってしまうという問題点があった。このような問題を解決するために、顔検出機能を有する撮像装置が知られている。近年では、検出された顔領域が含まれるように焦点検出領域（ＡＦエリア）を設定し、焦点検出を行う手法（例えば、特許文献１参照）や、人物の目を検出し、その結果に基づいて焦点検出を行う手法（例えば、特許文献２参照）などが提案されている。

上述した顔認識機能を用いた焦点検出の場合、顔検出機能により検出された顔に対して合焦させるために、検出された顔の位置に対応してＡＦエリアを設定する。一方、顔が検出されていない場合には、例えば撮影画面の中央位置といった撮影画面内の所定の固定位置にＡＦエリアを設定する。そして、設定されたＡＦエリア内の画像信号から生成された焦点信号に基づき、合焦制御を行う。

ところで、上述した顔検出機能では、人物である主被写体（以下、主人物被写体と呼ぶ）の映像の変化による影響や、撮影者の手振れの影響などによって、顔の認識が困難になることがあるために、常に顔が検出されるとは限らない。特に動画撮影の場合には、主人物被写体は動いていることが多く、主人物被写体が横を向いた状態になったり、一時的に他の被写体が主人物被写体を覆った場合などは、主人物被写体が直前まで検出されていても、顔検出に失敗してしまうことになる。

このような条件下では、顔が検出された場合とそうでない場合で、ＡＦ枠や、ＡＦ枠内の被写体距離が頻繁に変化することから、焦点信号が大きく変動してしまい、安定したピント合わせを行うことができない。このような問題を回避するため、顔が検出されなくなった場合でも、一定期間はフォーカスレンズ位置を保持してピントが変動しないようにする焦点調節制御などが行われている。

特開２００６−２２７０８０号公報 特開２００１−２１５４０３号公報

しかしながら、上記の従来技術には以下のような問題があった。

上記のように、顔が検出されなくなった場合に一定期間フォーカスレンズ位置を保持する制御は、画面内に主人物被写体があるにも関わらず一時的に顔認識に失敗した場合には有効である。

しかし一方で、動画撮影においては、撮影中に主人物被写体が移動して完全に画面外に出てしまったり、撮影者がカメラの方向を変える（パンニング）ことでそれまでの主人物被写体が画面外となるような撮影状況も頻繁に生じる。この場合、それまで合焦していた主人物被写体が画面からいなくなったにも関わらずフォーカスレンズ位置が保持される結果、合焦していない背景のみの映像が一定期間に持続し、画面全体がボケた、見苦しい動画像が記録されてしまうという問題があった。

本発明は上記問題点を鑑みてなされたものであり、被写体検出機能を用いた焦点検出において、主被写体が検出できている状態から検出できない状態になった場合に、ピント合わせを安定的に行いつつ、画面全体がボケた見苦しい動画像が記録されることを防止することを目的とする。

上記目的を達成するために、本発明の焦点調節装置は、被写体を撮影して画像信号を出力する撮像手段と、前記撮像手段から得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出手段と、前記被写体検出手段により前記被写体が検出された場合に、前記被写体検出手段により検出された前記被写体の領域を焦点検出領域として設定し、前記被写体検出手段により前記被写体が検出されなかった場合に、予め設定された所定領域を焦点検出領域として設定する設定手段と、前記設定手段により設定された前記焦点検出領域の画像信号から、焦点信号を生成する生成手段と、前記生成手段により生成された前記焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節手段とを有し、前記焦点調節手段は、前記被写体検出手段により前記被写体が検出された状態から、検出されない状態に遷移した場合に、前記所定領域の合焦度が予め設定された閾値以上のとき、前記被写体が検出されなくなってから予め設定された時間、前記所定領域の合焦度が予め設定された閾値よりも小さい場合に比べて、前記焦点調節部材の駆動量及び駆動速度の少なくとも一方を小さくするように制御する。

また、本発明の焦点調節方法は、撮影手段が、被写体を撮影して画像信号を出力する撮像工程と、被写体検出手段が、前記撮像工程で得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出工程と、設定手段が、前記被写体検出工程により前記被写体が検出された場合に、前記被写体検出工程により検出された前記被写体の領域を焦点検出領域として設定し、前記被写体検出工程により前記被写体が検出されなかった場合に、予め設定された所定領域を焦点検出領域として設定する設定工程と、生成手段が、前記設定工程により設定された前記焦点検出領域の画像信号から、焦点信号を生成する生成工程と、焦点調節手段が、前記生成工程により生成された前記焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節工程とを有し、前記焦点調節工程では、前記被写体検出工程により前記被写体が検出された状態から、検出されない状態に遷移した場合に、前記所定領域の合焦度が予め設定された閾値以上のとき、前記被写体が検出されなくなってから予め設定された時間、前記所定領域の合焦度が予め設定された閾値よりも小さい場合に比べて、前記焦点調節部材の駆動量及び駆動速度の少なくとも一方を小さくするように制御する。

本発明によれば、被写体検出機能を用いた焦点検出において、主被写体が検出できている状態から検出できない状態になった場合に、ピント合わせを安定的に行いつつ、画面全体がボケた見苦しい動画像が記録されることを防止することができる。

本発明の実施の形態におけるビデオカメラの構成を示すブロック図である。 本発明の第１の実施形態における焦点調節制御の全体の流れを示すフローチャートである。 図２で行われるＴＶ−ＡＦ制御の詳細を示すフローチャートである。 図３で行われる微小駆動動作の詳細を示すフローチャートである。 図３で行われる山登り駆動動作の詳細を示すのフローチャートである。 本発明の第１の実施形態における微小駆動モードにおけるフォーカスレンズの動きを示した図である。 山登り駆動モードにおけるフォーカスレンズの動きを示した図である。 本発明の第２の実施形態における焦点調節制御の全体の流れを示すフローチャートである。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、本発明の実施の形態における撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、本実施の形態では、ビデオカメラについて説明するが、本発明は、、デジタルスチルカメラ等、動画像を取得することのできる他の撮像装置にも適用することができる。

図１において、１０１は第１固定レンズ、１０２は光軸方向に移動して変倍を行う変倍レンズ、１０３は絞りである。また、１０４は第２固定レンズ、１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、「フォーカスレンズ」という。）である（焦点調節部材）。第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により撮像光学系が構成される。

１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される、光電変換部を有する画素を複数備えた撮像素子である。この画素において、被写体像を光電変換し撮像画像を得ることができる。１０７は撮像素子１０６の出力をサンプリングし、ゲイン調整し、デジタル化するＣＤＳ／ＡＧＣ／ＡＤ変換回路である。１０８はカメラ信号処理回路であり、ＣＤＳ／ＡＧＣ／ＡＤ変換回路１０７からの出力信号に対して各種の画像処理を施し、画像信号を生成する。

１０９はＬＣＤ等により構成される表示装置であり、カメラ信号処理回路１０８からの画像信号を表示する表示装置、１１０は記録装置であり、カメラ信号処理回路１０８からの画像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

１１１はＣＤＳ／ＡＧＣ／ＡＤ変換回路１０７からの全画素の出力信号のうち、焦点検出に用いられる領域（焦点検出領域）の信号のみを通すＡＦゲートである。焦点信号処理回路１１２は、ＡＦゲート１１１を通過した画像信号から高周波成分や、高周波信号から生成した輝度差成分（ＡＦゲート１１１を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出して、焦点信号を生成する。焦点信号は、カメラ／ＡＦマイコン１１４に出力される。なお、焦点信号は、撮像素子１０６からの出力信号に基づいて生成される画像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。

１１３は画像信号に対して顔検出処理を施し、被写体情報（撮影画面内の人物の顔の大きさ、位置、顔の確からしさを示す信頼性）を検出する顔検出処理回路（被写体検出手段）である。顔検出処理回路１１３は、その検出結果を後述のカメラ／ＡＦマイコン１１４に送信する。カメラ／ＡＦマイコン１１４は、送信された検出結果に基づき、焦点検出領域が検出された顔領域を含むように焦点検出領域を設定し、ＡＦゲート１１１へ情報を送信する。なお、顔認識処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等があるが、本願発明は顔認識処理により限定されるものではなく、どのような方法を用いても構わない。

１１４は、焦点信号処理回路１１２の出力信号に基づいて、後述のフォーカスレンズ駆動源１１６を制御しフォーカスレンズ１０５を駆動するとともに、記録装置１１０へ画像記録命令を出力するカメラ／ＡＦマイコンである。

１１５は変倍レンズ１０２を移動させるためのアクチュエータおよびそのドライバを含む変倍レンズ駆動源、１１６はフォーカスレンズ１０５を移動させるためのアクチュエータおよびそのドライバを含むフォーカスレンズ駆動源である。変倍レンズ駆動源１１５およびフォーカスレンズ駆動源１１６は、ステッピングモータ、ＤＣモータ、振動型モータおよびボイスコイルモータ等のアクチュエータにより構成される。

＜第１の実施形態＞
次に、本発明の第１の実施形態においてカメラ／ＡＦマイコン１１４で行われる焦点調節制御の概要について、図２〜図５を用いて説明する。このＡＦ制御は、カメラ／ＡＦマイコン１１４内に格納されたコンピュータプログラムに従って実行される。なお、以下の説明では顔検出処理回路１１３で検出された顔の領域に設定する焦点検出領域を示すＡＦ枠を「顔枠」、画面上の所定領域に設定する焦点検出領域を示すＡＦ枠を「通常枠」と呼ぶ。

図２において、ステップＳ１１では、まず通常枠の焦点信号を取得する。次にステップＳ１２では、顔検出処理回路１１３から顔検出処理結果の情報（顔検出結果）を取得する。ステップＳ１３では、ステップＳ１２で取得した顔検出結果から顔が検出されたか否かを判別し、検出されなかった場合はステップＳ２３へ、検出された場合はステップＳ１４へ遷移する。

ステップＳ１４では、ステップＳ１３で検出された顔領域に焦点信号を取得するための顔枠を設定する。ステップＳ１５では、ステップＳ１４で設定した顔枠の焦点信号を取得する。ステップＳ１６では、現在顔が検出されていることから、後述するＴＶ−ＡＦ制御用のＡＦ枠として顔枠を設定する。なお、ＴＶ−ＡＦ制御用のＡＦ枠としてはこの顔枠に加えて、ＡＦ動作を安定させるためにより大きな領域を含むＡＦ枠を重ね合わせて設定し、それぞれの焦点信号を重み付け加算して用いるなどの手法を用いても良い。

ステップＳ１７では、現在顔が検出されていることを示す顔枠設定中フラグをセットすると共に、ステップＳ１８にて、フォーカス位置を保持するかどうかの判定に用いるフォーカス位置保持フラグをクリアする。これは、顔が検出できている間はフォーカス位置を保持せずに、ＴＶ−ＡＦ制御による焦点調節を実行させるためである。その後、ステップＳ１９に進む。

一方、ステップＳ１３で顔が検出されていないと判別された場合は、ステップＳ２３において顔枠設定中フラグがセットされているかどうかを判別する。セットされている場合は、直前まで顔が検出されていたことになるので、顔が検出できている状態から検出できない状態になったとしてステップＳ２４に進む。

ステップＳ２４では、まず、顔が検出されていないことから顔枠設定中フラグをクリアする。次にステップＳ２５にて、画面全体がボケているかを判別するために、ステップＳ１１で取得した通常枠の焦点信号の合焦度を演算する。合焦度としては、焦点信号のレベルの大小で判別することも考えられるが、焦点信号のレベルは撮影された画像のコントラストの大小によっても変わることに注意する必要がある。従って、合焦度をより適切に判別するには、例えば焦点信号と、焦点信号処理回路１１２で抽出された輝度差成分の最大値との比を用いるなどの手法を用いることがより望ましい。この輝度差成分の最大値は、撮影された画像のコントラストの最大値に相当する。このことから、焦点信号を輝度差成分の最大値で割ることで、焦点信号を、撮影された画像のコントラストの大小に対して正規化することができ、簡易的な合焦度の指標として用いることができる。そしてこの簡易合焦度が高いほど合焦に近いことから、その大小で合焦度を判別することができる。さらに、合焦度を演算する通常枠を、画面の大部分を含むように大きく設定しておくことで、画面全体がボケている状態かどうかを判別することが可能である。

ステップＳ２６では、通常枠の合焦度が所定の閾値以上かどうかを判別する。閾値以上の場合は、画面はあまりボケていないことから、顔が検出できない状態になったものの、主人物被写体はまだ画面内に存在するか、存在しなくとも、合焦に近い別の被写体が画面内に存在することになる。このような場合は、フォーカスレンズ１０５を急に動かさずに焦点状態を維持した方が動画としての見栄えが良い。そこでこの場合は、ステップＳ２７にて、フォーカスレンズ位置を保持するためのフォーカス位置保持フラグをセットする。さらにステップＳ２８にて、フォーカス位置を保持している時間をカウントするためのフォーカス位置保持時間カウンタを０にリセットして、ステップＳ１９に進む。

一方、ステップＳ２６で通常枠の合焦度が所定の閾値より小さいと判別された場合には、画面がボケてしまっている状態であるので、すぐに焦点調節を開始し、見苦しい動画像が記録されることを防ぐ必要がある。このためステップＳ３２に進んでフォーカス位置保持フラグをクリアし、さらにステップＳ３３にて、ＴＶ−ＡＦ制御用のＡＦ枠として通常枠を設定し、ステップＳ１９に進む。なお、ステップＳ３３で設定する通常枠は画面上の所定領域に設定するものであるが、必ずしもステップＳ１１で用いた画面の大部分を含む枠でなくともよく、画面の中央付近のみの枠としたり、これらの枠を重ね合わせたものであっても良い。このように複数の枠を用いる場合、それぞれの焦点信号を重み付け加算して用いるなどの手法を用いても良い。

また、ステップＳ２３で顔枠設定中フラグがセットされていないと判別された場合は、それ以前から顔が検出されていない状態であったことになるので、ステップＳ２９に進む。ステップＳ２９ではフォーカス位置保持フラグがセットされているかを判別する。セットされていない場合は通常枠でのＴＶ−ＡＦ制御を行うため、ステップＳ３３に進み通常枠を設定してステップＳ１９に進む。一方、ステップＳ２９でフォーカス位置保持フラグがセットされていると判別された場合は、ステップＳ３０にてフォーカス位置保持時間カウンタをカウントアップする（１増やす）。ステップＳ３１にて、フォーカス位置を保持する時間が所定時間継続したかどうかを、カウンタと所定の閾値とを比較することで判別する。閾値より小さい場合は、そのままフォーカス位置を保持するためステップＳ１９に進む。一方、閾値以上の場合はステップＳ３２に進んでフォーカス位置保持フラグをクリアし、さらにステップＳ３３にて、通常枠でのＴＶ−ＡＦ制御が行われるようにＡＦ枠として通常枠を設定し、ステップＳ１９に進む。

ステップＳ１９では、フォーカス位置保持フラグがセットされているかを判別する。上述したように、フォーカス位置保持フラグがセットされる（ステップＳ２７）のは、顔が検出できている状態から検出できない状態になった場合であって、通常枠の合焦度が閾値以上の場合である。フォーカス位置保持フラグがセットされている場合には、ステップＳ２２においてフォーカスレンズ位置を保持し、ステップＳ１１へ戻る。

一方、フォーカス位置保持フラグがセットされていない場合はフォーカス位置を保持しないので、ステップＳ２０にて、ここまでの処理で設定されたＴＶ−ＡＦ用のＡＦ枠の焦点信号を取得する。即ち、ステップＳ１３で顔が検出されていると判別された場合には、ステップＳ１６で設定された顔枠がＴＶ−ＡＦ制御に用いられる。一方、顔が検出できている状態から検出できない状態になり、且つ、通常枠の合焦度が閾値より低い場合には、ステップＳ３３で設定された通常枠がＴＶ−ＡＦ制御に用いられる。更に、顔が検出されなくなってから所定時間経過した場合にも、ステップＳ３３で設定された通常枠がＴＶ−ＡＦ制御に用いられる。そしてステップＳ２１では、取得した焦点信号を用いてＴＶ−ＡＦ制御により焦点調節を行う。なお、ステップＳ２１におけるＴＶ−ＡＦ制御の詳細な動作は図３を参照して後述する。その後、ステップＳ１１へ戻る。

上記の通り本第１の実施形態によれば、顔が検出できている状態から検出できない状態になった場合に、画面上の所定領域に設定する通常枠の合焦度に応じてフォーカスレンズ１０５の動作を変更する。このような制御を行うことで、動画撮影時においてピント合わせを安定的に行いつつ、画面全体がボケないような焦点調節制御を行うことができる。

図３は、ステップＳ２１で行われるＴＶ−ＡＦ制御を示すフローチャートである。

図３において、ステップＳ１０１では、フォーカスレンズ１０５を微小量駆動する微小駆動モードであるか否かを判別し、微小駆動モードでない場合はステップＳ１０８へ遷移する。

一方、微小駆動モードである場合はステップＳ１０２へ遷移し、フォーカスレンズ１０５を微少量移動させる微小駆動動作を行う。なお、ステップＳ１０２における微小駆動動作の詳細は、図４を参照して後述する。ステップＳ１０３では、ステップＳ１０２の微小駆動動作によって合焦判別が行われたか否かを判別し、微小駆動動作によって合焦判別が行われた場合はステップＳ１０６へ、そうでない場合はステップＳ１０４へ遷移する。ステップＳ１０４では、ステップＳ１０２の微小駆動動作によって方向判別ができたか否かを判別する。方向判別ができた場合はステップＳ１０５へ進み、焦点信号が大きくなる方向へ高速でフォーカスレンズ１０５を移動させる山登り動作モードへ移行し、方向判別ができなかった場合には微小駆動モードを継続する。また、ステップＳ１０６では、合焦時の焦点信号レベルをメモリに格納した後、ステップＳ１０７へ遷移して再起動判定モードへ移行する。ここで、再起動判定モードとは、後述するステップＳ１１６及びＳ１１７で行われる、再び方向判別のために微小駆動を行うか否かを判定する処理のことである。

ステップＳ１０８では、山登り駆動モードであるか否かを判別し、山登り駆動モードでない場合はステップＳ１１３へ遷移する。

一方、山登り駆動モードである場合はステップＳ１０９へ遷移し、焦点信号が大きくなる方向へ微小駆動動作時よりも高速でフォーカスレンズを移動させる、山登り駆動動作を行う。なお、ステップＳ１０９における山登り駆動動作の詳細な動作は図５を参照して後述する。ステップＳ１１０では、ステップＳ１０９の山登り駆動動作によって焦点信号のピークが発見されたか否かを判別し、焦点信号のピークが発見された場合はステップＳ１１１へ遷移し、発見されなかった場合は山登り駆動モードを継続する。ステップＳ１１１では、焦点信号がピークとなったフォーカスレンズ位置を目標位置に設定した後、設定した目標位置に向けてフォーカスレンズ１０５を移動し、ステップＳ１１２へ遷移して停止モードへ移行する。

ステップＳ１１３では、停止モードであるか否かを判別し、停止モードでない場合はステップＳ１１６へ遷移し、停止モードである場合はステップＳ１１４へ遷移する。ステップＳ１１４では、フォーカスレンズ１０５がステップＳ１１１で設定された焦点信号がピークとなる目標位置に戻ったか否かを判別し、戻っていない場合にはステップＳ１０１へ戻って停止モードを継続する。また、目標位置に戻った場合には、ステップＳ１１５へ遷移して合焦判別のために微小駆動モードへ移行する。

再起動判定モードの場合はステップＳ１１６に進み、現在の焦点信号レベルとステップＳ１０６で保持した焦点信号レベルとを比較し、その変動量が所定値より大きいか否かを判別する。ここで、変動量が大きいと判断された場合はステップＳ１１７へ遷移して方向判別のために微小駆動モードへ移行し、そうでない場合は再起動判定モードを継続する。

次に、図６および図４を参照してステップＳ１０２で行われる微小駆動動作について説明する。

微小駆動動作においては、まずフォーカスレンズ１０５を至近側、無限側に交互に微小に駆動する。至近側・無限側に駆動する基準となる位置を振動中心と呼び、振動中心に対して至近側・無限側に駆動する駆動量を振動振幅と呼ぶ。そして至近側と無限側の焦点信号を比較して、至近側の焦点信号レベルが高ければ至近側に、逆であれば無限側に振動中心を移動する。このときの移動量を中心移動振幅と呼ぶ。

この微小駆動におけるフォーカスレンズ動作の時間経過を図６に示す。同図上部は映像信号の垂直同期信号を表しており、同図下部の横軸は時間、縦軸はフォーカスレンズ１０５の位置を表している。

ラベルＡの時刻に撮像素子１０６に蓄積された電荷に対する焦点信号ＥＶ_Ａは、時刻Ｔ_Ａでカメラ／ＡＦマイコン１１４に取り込まれる。またラベルＢの時刻に撮像素子１０６に蓄積された電荷に対する焦点信号ＥＶ_Ｂは、時刻Ｔ_Ｂでカメラ／ＡＦマイコン１１４に取り込まれる。時刻ＴＣでは焦点信号ＥＶ_ＡとＥＶ_Ｂを比較し、ＥＶ_Ｂが大きい場合のみ振動中心を移動する。なお、ここでのフォーカスレンズ１０５の移動は焦点深度を基準とし、画面で認識できない移動量に設定する。

図４において、ステップＳ２０１では、微小駆動の動作状態を示すカウンタが現在０であるかを判別し、そうである場合はステップＳ２０２へ、そうでない場合はステップＳ２０３へ遷移する。ステップＳ２０２では現在の焦点信号レベルを保持するが、ステップＳ２０２は図６におけるＴ_Ａのタイミングに当たる。従って、ここで保持される焦点信号は図６のラベルＡの時刻に撮像素子１０６に蓄積された電荷に対する焦点信号ＥＶ_Ａであり、フォーカスレンズ１０５が無限側にあるときに撮像素子１０６に蓄積された電荷から生成された映像信号によるものである。

ステップＳ２０３では、現在のカウンタが１であるかを判別し、そうである場合はステップＳ２０４へ、そうでない場合はステップＳ２０９へ遷移する。ステップＳ２０４では、後述のステップＳ２０８でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。ステップＳ２０５では、ステップＳ２０２で保持した無限側の焦点信号レベルと後述のステップＳ２１０で保持した至近側の焦点信号レベルを比較し、前者が大きい場合はステップＳ２０６へ、後者が大きい場合はステップＳ２０７へ遷移する。

ステップＳ２０６では、振動振幅と中心移動振幅を加算し、駆動振幅とする。ステップＳ２０７では、振動振幅を駆動振幅とする。ステップＳ２０８では、ステップＳ２０６またはステップＳ２０７で求めた駆動振幅に基づき、無限方向へ駆動する。

ステップＳ２０９では、現在のカウンタが２であるかを判別し、そうである場合はステップＳ２１０へ、そうでない場合はステップＳ２１１へ遷移する。ステップＳ２１０では現在の焦点信号レベルを保持するが、ステップＳ２１０は図６におけるＴ_Ｂのタイミングに当たる。従って、ここで保持される焦点信号は、図６のラベルＢの時刻に撮像素子１０６に蓄積された電荷に対する焦点信号ＥＶ_Ｂであり、フォーカスレンズ１０５が至近側にあるときに撮像素子１０６に蓄積された電荷から生成された映像信号によるものである。

ステップＳ２１１では、後述のステップＳ２１５でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。ステップＳ２１２では、ステップＳ２１０で保持した至近側の焦点信号レベルと後述のステップＳ２０２で保持した無限側の焦点信号レベルを比較し、前者が大きい場合はステップＳ２１３へ、後者が大きい場合はステップＳ２１４へ遷移する。ステップＳ２１３では、振動振幅と中心移動振幅を加算し、駆動振幅とする。ステップＳ２１４では、振動振幅を駆動振幅とする。ステップＳ２１５では、ステップＳ２１３またはステップＳ２１４で求めた駆動振幅に基づき、至近方向へ駆動する。

ステップＳ２１６では、現在方向判別モードであるかを判別し、そうである場合はステップＳ２１７へ、そうでない場合はステップＳ２１９へ遷移する。

ステップＳ２１７では、所定回数連続して同一方向に合焦点が存在しているかを判別し、そうである場合はステップＳ２１８へ、そうでない場合はステップＳ２２１へ遷移する。ステップＳ２１８では、方向判別ができたものと判断する。

ステップＳ２１９ではフォーカスレンズが所定回数同一エリアで往復しているかを判別し、そうである場合はステップＳ２２０へ、そうでない場合はステップＳ２２１へ遷移する。ステップＳ２２０では合焦判別できたものと判断する。

ステップＳ２２１では、微小駆動の動作状態を示すカウンタが３であれば０に戻し、その他の値であればカウンタを加算する。

次に、図５を参照して、図３のステップＳ１０９で行われる山登り駆動動作について説明する。

ステップＳ３０１では、フォーカスレンズ１０５の駆動速度を設定する。ステップＳ３０２では、現在の焦点信号のレベルが前回より増加しているかを判別し、増加している場合はステップＳ３０３へ、そうでない場合はステップＳ３０４へ遷移する。ステップＳ３０３では、ステップＳ３０１で設定した速度に基づき、フォーカスレンズ１０５を前回と同じ方向に山登り駆動する。焦点信号のレベルが増加していない場合、ステップＳ３０４では、焦点信号のレベルがピークを越えて減少しているかどうかを判別し、ピークを越えて減少している場合はステップＳ３０５へ、そうでない場合はステップＳ３０６へ遷移する。ステップＳ３０５では、ピーク位置を発見したものと判断する。また、ステップＳ３０６では、ステップＳ３０１で設定した速度に基づき、フォーカスレンズ１０５を前回と逆の方向に山登り駆動する。なお、山登り駆動モードでこのステップＳ３０６を繰り返している場合、被写体の焦点信号の変化量が十分に得られないためにフォーカスレンズ１０５がハンチング状態にあることを意味する。

この山登り駆動におけるフォーカスレンズ１０５の動作を図７に示す。同図において、フォーカスレンズ１０５がＡのように駆動している場合は焦点信号が増加しているため、同じ方向への山登り駆動を継続する。ここで、フォーカスレンズ１０５をＢの範囲で駆動すると焦点信号はピーク位置を越えて減少する。このとき、合焦点が存在するとして山登り駆動動作を終了し、フォーカスレンズ１０５をピーク位置まで戻した後、微小駆動動作に移行する。一方、Ｃのようにピーク位置を越えずに焦点信号のレベルが減少した場合は駆動すべき方向が逆方向であるとして反転し、山登り駆動動作を継続する。

このように、ＴＶ−ＡＦ方式による焦点調節制御では、再起動判定→微小駆動→山登り駆動→停止→微小駆動→再起動判定を繰り返しながらフォーカスレンズ１０５を移動させることで、焦点信号が常に最大となるように合焦状態を維持する。

さらに、上記焦点調節制御に使用される焦点信号は、顔検出状態に応じて効果的に生成することができる。そのため、特に動画撮影時において、常に撮影者の意図する主被写体の人物に安定した焦点調節動作を提供することが可能となる。

なお、どの顔エリアの情報に従って焦点調節動作を行っているかを示す情報を表示装置１０９によって表示するようにしてもよい。

また、本第１の実施形態では、メインＡＦエリアは、撮像画面内で検出された顔の領域（顔が検出された場合）にしているが、顔以外に、画像検出により特定の被写体を検出しても構わない。例えば、背景から被写体像を切り出して検出したりすることも考えられる。その他、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定しても構わない。

＜第２の実施形態＞
次に、カメラ／ＡＦマイコン１１４で行われる本発明の第２の実施形態における焦点調節制御の概要について、図８を用いて説明する。なお、図８において図２と同様の処理には同じ参照番号を付し、説明を適宜省略する。

第１の実施形態においては、図２のステップＳ２６で通常枠の合焦度が閾値以上である場合には、フォーカスレンズ位置を所定時間保持していた。このようにすることで、主人物被写体がまだ画面内に存在したり、合焦に近い別の被写体が画面内に存在する場合の動画の見栄えをよくしていた。これに対し、本第２の実施形態においては、通常枠の合焦度が閾値以上である場合に、フォーカスレンズ位置を保持する代わりに、ＴＶ−ＡＦ制御の微小駆動モード時の駆動量、駆動量の中心までの距離や、山登りモード時の駆動速度を小さくする。このようにすることで、フォーカスレンズ１０５の急激な動きを抑制する点が第１の実施形態と異なる。

図８において、顔が検出され（ステップＳ１３でＹＥＳ）、ステップＳ１７で顔枠設定中フラグをセットした後、ステップＳ５０１においてＴＶ−ＡＦ制御におけるフォーカスレンズ１０５の動きを抑制するためにフォーカス移動抑制フラグをクリアする。これのステップＳ５０１の処理は、図２のステップＳ１８でフォーカス位置を保持するためのフォーカス位置保持フラグをクリアしていた代わりに行われる。その後、ステップＳ５０５に進む。

一方、顔が検出されず（ステップＳ１３でＮＯ）、通常枠の合焦度が閾値以上である場合（ステップＳ２６でＹＥＳ）、ステップＳ５０２でフォーカス移動抑制フラグをセットする。さらにステップＳ５０３にて、フォーカスの移動を抑制する時間をカウントするためのフォーカス移動抑制保持時間カウンタを０にリセットして、ステップＳ５０５に進む。

また、通常枠の合焦度が閾値より小さいと判別された場合（ステップＳ２６でＮＯ）、ステップＳ５０４においてフォーカス移動抑制フラグをクリアする。さらにステップＳ３３にて、ＴＶ−ＡＦ制御用のＡＦ枠として通常枠を設定し、ステップＳ５０５に進む。

また、ステップＳ２３で顔枠設定中フラグがセットされていないと判別された場合（以前から顔が検出されていない状態）、フォーカス移動抑制時間経過後（ステップＳ３１でＹＥＳ）にも、ステップＳ５０４においてフォーカス移動抑制フラグをクリアする。さらにステップＳ３３にて、ＴＶ−ＡＦ制御用のＡＦ枠として通常枠を設定し、ステップＳ５０５に進む。

ステップＳ５０５では、ステップＳ１６またはステップＳ３３で設定されたＴＶ−ＡＦ用のＡＦ枠の焦点信号を取得する。次にステップＳ５０６において、フォーカス移動抑制フラグがセットされているかどうかを判別する。セットされている場合、ステップＳ５０８に進み、フォーカス移動抑制モード用のＴＶ−ＡＦ制御パラメータをセットする。これによりフォーカスレンズ１０５の動きを抑制する。なお、ＴＶ−ＡＦ制御パラメータとは、例えば微小駆動モード時の駆動量、駆動量までの中心や、山登りモード時の駆動速度等である。フォーカス移動抑制モード時はこれらＴＶ−ＡＦ制御パラメータの少なくとも１つを通常のＴＶ−ＡＦ制御時よりも小さくし、フォーカスレンズ１０５の動きを抑制する。なお、ＴＶ−ＡＦ制御パラメータはステップＳ２５で演算された合焦度に応じて連続的に変化させたり、複数の水準で段階的に変化させたりしても良い。この場合、合焦度が高いほど駆動量や速度のパラメータが小さくなるように設定する。

一方、ステップＳ５０６でフォーカス移動抑制フラグがセットされていないと判別された場合は、フォーカスレンズの動きを抑制しなくて良いので、ステップＳ５０７で通常のＴＶ−ＡＦ制御で用いられるＴＶ−ＡＦ制御パラメータをセットする。

ステップＳ５０７またはＳ５０８でＴＶ−ＡＦ制御パラメータをセット後、ステップＳ２１に進む。ステップＳ２１ではステップＳ５０５で取得した焦点信号と、ステップＳ５０７またはＳ５０８で設定されたＴＶ−ＡＦ制御パラメータとを用いて、上述したようにＴＶ−ＡＦ制御により焦点調節を行った後、ステップＳ１１に戻る。

上記の通り本第２の実施形態によれば、顔が検出できている状態から検出できない状態になった場合に、画面上の所定領域に設定する通常枠の合焦度に応じてフォーカスレンズ１０５の動きを抑制するかどうかを変更する。このような制御を行うことで、動画撮影時においてピント合わせを安定的に行いつつ、画面全体がボケないような焦点調節制御を行うことができる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルビデオカメラ、デジタルスチルカメラなど）に適用してもよい。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

１０１ 第１固定レンズ
１０２ 変倍レンズ
１０３ 絞り
１０４ 第２固定レンズ
１０５ フォーカスコンペンセータレンズ
１０６ 撮像素子
１０７ ＣＤＳ／ＡＧＣ／ＡＤ変換回路
１０８ カメラ信号処理回路
１０９ 表示装置
１１０ 記録装置
１１１ ＡＦゲート
１１２ 焦点信号処理回路
１１３ 顔検出処理回路
１１４ カメラＡＦマイコン
１１５ 変倍レンズ駆動源
１１６ フォーカスレンズ駆動源

Claims (6)

1. 被写体を撮影して画像信号を出力する撮像手段と、
   前記撮像手段から得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出手段と、
   前記被写体検出手段により前記被写体が検出された場合に、前記被写体検出手段により検出された前記被写体の領域を焦点検出領域として設定し、前記被写体検出手段により前記被写体が検出されなかった場合に、予め設定された所定領域を焦点検出領域として設定する設定手段と、
   前記設定手段により設定された前記焦点検出領域の画像信号から、焦点信号を生成する生成手段と、
   前記生成手段により生成された前記焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節手段とを有し、
   前記焦点調節手段は、前記被写体検出手段により前記被写体が検出された状態から、検出されない状態に遷移した場合に、前記所定領域の合焦度が予め設定された閾値以上のとき、前記被写体が検出されなくなってから予め設定された時間、前記所定領域の合焦度が前記閾値よりも小さい場合に比べて、前記焦点調節部材の駆動量及び駆動速度の少なくとも一方を小さくするように制御することを特徴とする焦点調節装置。
2. 前記焦点調節手段は、前記被写体検出手段により被写体が検出された状態から検出されない状態に遷移した場合に、前記所定領域の合焦度が高いほど、前記焦点調節部材の移動量がより小さくなるように制御することを特徴とする請求項１に記載の焦点調節装置。
3. 前記焦点調節手段は、前記被写体検出手段により被写体が検出された状態から、検出されない状態に遷移した場合に、前記所定領域の合焦度が高いほど、前記焦点調節部材の駆動速度がより遅くなるように制御することを特徴とする請求項１または２に記載の焦点調節装置。
4. 撮影手段が、被写体を撮影して画像信号を出力する撮像工程と、
   被写体検出手段が、前記撮像工程で得られる画像信号に基づいて撮影画面内の特定の被写体を検出する被写体検出工程と、
   設定手段が、前記被写体検出工程により前記被写体が検出された場合に、前記被写体検出工程により検出された前記被写体の領域を焦点検出領域として設定し、前記被写体検出工程により前記被写体が検出されなかった場合に、予め設定された所定領域を焦点検出領域として設定する設定工程と、
   生成手段が、前記設定工程により設定された前記焦点検出領域の画像信号から、焦点信号を生成する生成工程と、
   焦点調節手段が、前記生成工程により生成された前記焦点信号に基づいて焦点調節部材を移動して焦点調節制御を行う焦点調節工程とを有し、
   前記焦点調節工程では、前記被写体検出工程により前記被写体が検出された状態から、検出されない状態に遷移した場合に、前記所定領域の合焦度が予め設定された閾値以上のとき、前記被写体が検出されなくなってから予め設定された時間、前記所定領域の合焦度が前記閾値よりも小さい場合に比べて、前記焦点調節部材の駆動量及び駆動速度の少なくとも一方を小さくするように制御することを特徴とする焦点調節方法。
5. コンピュータに、請求項４に記載の焦点調節方法の各工程を実行させるためのプログラム。
6. 請求項５に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images