JP2007328214A - 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】まばたきによるエラーの発生を防止した正確なフォーカス制御を行う構成を実現する。
【解決手段】撮像装置における入力画像に含まれる目を含む画像領域を被写体距離算出用の測距エリアとして設定し、測距エリアのコントラストに基づく評価値を取得して合焦位置を検出するフォーカス制御処理において、まばたき検出情報を入力し、まばたき実行期間と非実行期間の評価値データを識別して、まばたき非実行期間と判定された期間の評価値のみに基づいて合焦位置の検出処理を実行する。本構成により、まばたきに基づくコントラスト変化に起因するフォーカスエラーの発生を防止することができる。
【選択図】図１６

Description

本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、目的とする被写体に対する迅速で正確なオートフォーカス処理を行なうことを可能とし、特に、まばたきによるフォーカス制御エラーを防止した撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。

昨今の多くのスチルカメラやビデオカメラなどの撮像装置には、被写体に対するフォーカスを自動的に合わせるオートフォーカス（ＡＦ）機構が搭載されている。一般的なカメラの撮影においては人間が主要被写体になるケースが非常に多いが、撮影画像における人物の位置は多様であり様々な構図がある。そもそも撮像装置における測距エリアが設定されていない位置に目的被写体がいるケースもある。このような問題に対応するため、撮像装置において画像から顔を認識し、測距エリアを認識された顔の位置に設定することで、どのような構図でも顔にピントを合わせることを可能とした構成が提案されている。例えば、特許文献１にこのような顔認識に基づくフォーカス制御構成が開示されている。この顔認識に基づくフォーカス制御によって様々な構図の撮影において適切なフォーカス制御（ピント合わせ）が可能になる。

また、人物撮影においてはピント合わせには目を狙うのが定石とされており、人物の目を測距エリアとして特定して、被写体の目の領域を基準としてピント合わせを自動的にカメラで実施する装置が特許文献２に記載されている。

フォーカス制御の手法として、レンズを介して取得された撮像データのコントラストの高低を判断する手法が知られている。撮像画像の特定領域をフォーカス制御用の信号取得領域（空間周波数抽出エリア）として設定し、この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。このようなフォーカス制御処理構成については、例えば特許文献３に記載されている。

具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。オートフォーカスを行なうためには、上述の評価値を指針としてレンズを駆動させることが必要となる。レンズ駆動機構としては例えばボイスコイルモータなどが利用される。

しかしながら、上述の画像コントラスト信号を用いたオートフォーカスにおいて、コントラストの高低判定のために特定領域として目を含む領域を設定すると、オートフォーカス動作中、まばたきを行なうとコントラストが大きく変化してしまい、正確な距離測定や、フォーカス制御が行えなくなるという問題が発生する。

コントラスト信号を用いたオートフォーカスではコントラストの変動がピントの変化のみに依存するということを前提としているが、まばたきがあると、それだけでコントラスト信号の変化が生じるため、フォーカスの移動によるコントラスト信号変化が判断できなくなり、ピントが合うフォーカス位置を判定できなくなってしまう。

具体的な例について図１を参照して説明する。図１は、オートフォーカス制御においてフォーカスレンズを至近側から無限側に移動させて、人物の目を含む特定領域のコントラストの大きさを示す評価値を計測した例を示しており、（ａ）はまばたきが行われなかった場合、（ｂ）はまばたきが行われた場合の例を示している。

図１（ａ）のまばたきが行われなかった場合のオートフォーカス処理では、コントラストの変動がピントの変化のみに依存して発生し、評価値のピーク位置が合焦位置に対応する正確なフォーカス制御が行われる。一方、（ｂ）のまばたきが行われた場合には、目を含む特定領域における画像自体の変化が発生し、コントラストの変化が、ピントの変化ではなくまばたきによる画像変化に基づいて発生してしまい、評価値のピーク位置が合焦位置と異なる位置となり、正確なフォーカス制御が行われないことになる。
特開２００３−１０７３３５号公報 特開２００５−１２８１５６号公報 特開平１０−２１３７３７号公報

本発明は、このような状況に鑑みてなされたものであり、目的とする被写体に対する迅速で正確なオートフォーカス処理を行なうことを可能とし、特に、まばたきによるフォーカス制御エラーを防止した撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。

人間のまばたきは不随意的な運動であり、かつ心理的影響を受けるものであることから、まばたきのタイミングを予測することは難しい。本発明では、オートフォーカス制御中のまばたきの発生を監視し、その監視情報に従った処理を行なうことで、まばたきによるフォーカス制御エラーを防止した撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
撮像装置において入力する入力画像に含まれる目を含む画像領域を被写体距離算出用の測距エリアとして設定し、該測距エリアのコントラストに基づく評価値を取得して合焦位置を検出するフォーカス制御部と、
前記測距エリア内の画像解析に基づいてまばたきの有無を検出するまばたき検出部とを有し、
前記フォーカス制御部は、
前記まばたき検出部におけるまばたき検出情報を入力し、まばたき実行期間と非実行期間の評価値データを識別し、まばたき非実行期間と判定された期間の評価値のみに基づいて合焦位置の検出処理を実行する構成であることを特徴とする撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、評価値取得のためのフォーカスレンズの駆動開始前に、前記まばたき検出部からまばたき実行中との検出情報を入力した場合、まばたきの終了を待機して、まばたきが終了したことが確認された後に、評価値取得のためのフォーカスレンズの駆動を開始する制御を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたことのまばたき検出情報を入力した場合、フォーカスレンズの駆動を停止して評価値取得を中断するとともに、まばたきが実行される前のフォーカスレンズ設定位置に戻す処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、まばたきが実行される前のフォーカスレンズ設定位置に戻す処理を、まばたき検出処理と、評価値算出処理との時間差を考慮して実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたとのまばたき検出情報を入力した場合、すでに評価値のピークを検出されているか否かを判定し、ピーク検出済みである場合は、そのピークに基づいて合焦位置を決定し、合焦位置検出処理を終了する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたことのまばたき検出情報を入力した場合、すでに評価値のピークを検出されているか否かを判定し、ピーク検出がなされていない場合は、まばたきの終了を確認した後、まばたきが実行される前のフォーカスレンズ設定位置からの評価値取得を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、前記入力画像に含まれる顔の大きさに基づいて被写体距離を算出する被写体距離算出部を有し、前記フォーカス制御部は、コントラストに対応する評価値に基づく被写体距離と、顔の大きさに基づいて算出される被写体距離との比較を実行し、両距離に予め設定した閾値以上の差がある場合、コントラストに基づく評価値取得処理を再度実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記被写体距離算出部は、顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置において入力する入力画像の画像解析部における解析結果として前記被写体距離算出部に入力される情報であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置におけるユーザ入力部を介して前記被写体距離算出部に入力される情報であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、前記測距エリアのコントラストに基づく評価値取得処理を複数回、繰り返し実行して、取得した複数の結果データを比較し、同様の評価値データが取得された場合に、その評価値データを正当なものとする多数決処理によって合焦位置を決定する構成であることを特徴とする。

さらに、本発明の第２の側面は、
撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
フォーカス制御部において、撮像装置の入力画像に含まれる目を含む画像領域を被写体距離算出用の測距エリアとして設定し、該測距エリアのコントラストに基づく評価値を取得して合焦位置を検出するフォーカス制御ステップと、
まばたき検出部において、前記測距エリア内の画像解析に基づいてまばたきの有無を検出するまばたき検出ステップとを有し、
前記フォーカス制御ステップは、
前記まばたき検出部におけるまばたき検出情報を入力し、まばたき実行期間と非実行期間の評価値データを識別し、まばたき非実行期間と判定された期間の評価値のみに基づいて合焦位置の検出処理を実行するステップであることを特徴とする撮像装置制御方法にある。

さらに、本発明の撮像装置制御方法の一実施態様において、前記フォーカス制御ステップは、評価値取得のためのフォーカスレンズの駆動開始前に、前記まばたき検出部からまばたき実行中との検出情報を入力した場合、まばたきの終了を待機して、まばたきが終了したことが確認された後に、評価値取得のためのフォーカスレンズの駆動を開始する制御を実行するステップを含むことを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記フォーカス制御ステップは、評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたことのまばたき検出情報を入力した場合、フォーカスレンズの駆動を停止して評価値取得を中断するとともに、まばたきが実行される前のフォーカスレンズ設定位置に戻す処理を実行するステップを含むことを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記フォーカス制御ステップは、まばたきが実行される前のフォーカスレンズ設定位置に戻す処理を、まばたき検出処理と、評価値算出処理との時間差を考慮して実行することを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記フォーカス制御ステップは、評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたとのまばたき検出情報を入力した場合、すでに評価値のピークを検出されているか否かを判定し、ピーク検出済みである場合は、そのピークに基づいて合焦位置を決定し、合焦位置検出処理を終了するステップを含むことを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記フォーカス制御ステップは、評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたことのまばたき検出情報を入力した場合、すでに評価値のピークを検出されているか否かを判定し、ピーク検出がなされていない場合は、まばたきの終了を確認した後、まばたきが実行される前のフォーカスレンズ設定位置からの評価値取得を実行するステップを含むことを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記撮像装置制御方法は、さらに、被写体距離算出部において、前記入力画像に含まれる顔の大きさに基づいて被写体距離を算出する被写体距離算出ステップを有し、前記フォーカス制御ステップは、コントラストに対応する評価値に基づく被写体距離と、顔の大きさに基づいて算出される被写体距離との比較を実行し、両距離に予め設定した閾値以上の差がある場合、コントラストに基づく評価値取得処理を再度実行するステップを含むことを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記被写体距離算出ステップは、顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップを含むことを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記フォーカス制御ステップは、前記測距エリアのコントラストに基づく評価値取得処理を複数回、繰り返し実行して、取得した複数の結果データを比較し、同様の評価値データが取得された場合に、その評価値データを正当なものとする多数決処理によって合焦位置を決定するステップを含むことを特徴とする。

さらに、本発明の第３の側面は、
撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
フォーカス制御部において、撮像装置の入力画像に含まれる目を含む画像領域を被写体距離算出用の測距エリアとして設定し、該測距エリアのコントラストに基づく評価値を取得して合焦位置を検出させるフォーカス制御ステップと、
まばたき検出部において、前記測距エリア内の画像解析に基づいてまばたきの有無を検出させるまばたき検出ステップとを有し、
前記フォーカス制御ステップは、
前記まばたき検出部におけるまばたき検出情報を入力し、まばたき実行期間と非実行期間の評価値データを識別し、まばたき非実行期間と判定された期間の評価値のみに基づいて合焦位置の検出処理を実行させるステップであることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成では、撮像装置における入力画像に含まれる目を含む画像領域を被写体距離算出用の測距エリアとして設定し、測距エリアのコントラストに基づく評価値を取得して合焦位置を検出するフォーカス制御処理において、まばたき検出情報を入力し、まばたき実行期間と非実行期間の評価値データを識別して、まばたき非実行期間と判定された期間の評価値のみに基づいて合焦位置の検出処理を実行する構成としたので、まばたきに基づくコントラスト変化に起因するフォーカスエラーの発生を防止することができる。

また、本発明の一実施例の構成では、まばたきの検出がうまく行われなかった場合においても、例えば顔の大きさに基づく被写体距離情報と、評価値から算出した被写体距離との比較を実行して、正しい評価値取得が実行されたか否かを判別する処理や、複数回の評価値取得データを比較して、多数決によって正しい評価値データを取得する構成としたので、まばたきの検出がうまく行われなかった場合でも正確な評価値に基づくフォーカス制御が実現される。

以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。

本発明は、目的とする被写体に対する迅速で正確なオートフォーカスを可能とした構成を開示するものである。本発明の撮像装置では、フォーカス制御の手法として、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いる。撮像画像に含まれる人物の顔の目を含む特定領域をフォーカス制御用の信号取得領域（空間周波数抽出エリア）として設定し、この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くするようにレンズを駆動して調整する。

具体的には、目を含む特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する。すなわち、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。オートフォーカスを行なうためには、上述の評価値を指針としてレンズを駆動させることが必要となる。レンズ駆動機構としては例えばボイスコイルモータなどが利用される。

本発明の構成では、さらにこのオートフォーカス処理において、まばたきの有無を検出し、検出情報に基づいて処理を変更して、正確なフォーカスポイント（合焦位置）を決定する。

まず、図を参照して、本発明の撮像装置の構成について説明する。図２は、本発明の撮像装置１０の外観を示す図である。図２（ａ）は、撮像装置１０の上面図、（ｂ）は正面図、（ｃ）は背面図である。（ａ）上面図のレンズ部分は断面図として示してある。撮像装置１０は、電源スイッチ１１、画像取り込みタイミングを設定するトリガ手段、すなわちシャッターとして機能するレリーズスイッチ１２、撮像装置によって撮影される画像（スルー画像）や操作情報などを表示するモニタ１３、撮像素子（ＣＣＤ）としてのイメージャ１４、ズーム制御を行うためのズームボタン１５、各種の操作情報を入力する操作ボタン１６、撮像装置によって撮影される画像（スルー画像）を確認するためのビューファインダ１７、フォーカス調整において駆動されるフォーカスレンズ１８、ズーム調整に際して駆動されるズームレンズ１９、撮影モードを設定するためのモードダイアル２０、フォーカスレンズ１８を駆動するためのフォーカスレンズモータ（Ｍ１）２１、ズームレンズ１９を駆動するためのズームレンズモータ（Ｍ２）２２を有する。

被写体画像は、ビューファインダ１７およびモニタ１３に表示される。ビューファインダ１７およびモニタ１３は例えばＬＣＤによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ１７またはモニタ１３を確認して、撮影する目標被写体を確認して、シャッターとしてのレリーズスイッチ１２を押すことで画像の記録処理が実行されることになる。

図３を参照して本発明の撮像装置１００の内部構成について説明する。本発明の撮像装置は、オートフォーカス機能を持つ撮像装置である。フォーカスレンズ１０１、ズームレンズ１０２を介する入射光は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子１０３に入力し、撮像素子１０３において光電変換される。光電変換データは、アナログ信号処理部１０４に入力され、アナログ信号処理部１０４においてノイズ除去等の処理がなされ、Ａ／Ｄ変換部１０５においてデジタル信号に変換される。Ａ／Ｄ変換部１０５においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス１１５に記録される。さらに、モニタ１１７、ビューファインダ（ＥＶＦ）１１６に表示される。モニタ１１７、ビューファインダ（ＥＶＦ）１１６には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。

操作部１１８は、図２を参照して説明したカメラ本体にあるレリーズスイッチ１２、ズームボタン１５、各種の操作情報を入力する操作ボタン１６、撮影モードを設定するためのモードダイアル２０等を含む操作部である。制御部１１０は、ＣＰＵを有し、撮像装置の実行する各種の処理の制御を予めメモリ（ＲＯＭ）１２０などに格納されたプログラムに従って実行する。メモリ（ＥＥＰＲＯＭ）１１９は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ（ＲＯＭ）１２０は、制御部（ＣＰＵ）１１０が使用するプログラムや演算パラメータ等を格納する。メモリ（ＲＡＭ）１２１は、制御部（ＣＰＵ）１１０において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。ジャイロ１１１は、撮像装置の傾き、揺れなどを検出する。検出情報は、制御部（ＣＰＵ）１１０に入力され手ぶれ防止などの処理が実行される。

モータドライバ１１２は、フォーカスレンズ１０１に対応して設定されたフォーカスレンズ駆動モータ１１３、ズームレンズ１０２に対応して設定されたズームレンズ駆動モータ１１４を駆動する。垂直ドラバ１０７は、撮像素子（ＣＣＤ）１０３を駆動する。タイミングジェネレータ１０６は、撮像素子１０３およびアナログ信号処理部１０４の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。

顔検出部１３０は、レンズを介して入力される画像データの解析を行い、画像データ中の人物の顔および目の領域を検出する。検出情報は、制御部１１０に送られ、制御部１１０では、検出情報に基づいて、目的被写体としての人物の顔の目の領域を特定し、この特定領域に基づいて被写体の距離を測定する。

本発明の撮像装置では、前述したように、フォーカス制御において、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いるが、このコントラスト識別処理を用いたフォーカス制御において、さらに、まばたきの有無を検出し、検出情報に基づいて処理を変更して、正確なフォーカスポイント（合焦位置）を決定する。

コントラストに基づくフォーカス位置の判定処理においては、特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。具体的なオートフォーカス制御処理には、ＡＦ評価値が頂点をキープするようにフォーカスレンズにサーボをかける方法（山登り法）や、特定の領域を特定の間隔の評価値データを取ってそれらの評価値の最大値をとったフォーカス位置にフォーカスレンズを移動させる方法（候補範囲サーチ法）などがある。

本発明の撮像装置では、撮像装置によって撮影される画像データから目的被写体の人物の顔および目の領域を特定し、その目を含む特定領域に基づく距離推定を実行する。以下、この処理の具体的な処理構成について説明する。説明は、以下の項目順に行なう。
（１）顔および目の認識処理
（２）まばたきの検出および対応処理
（３）顔の大きさに基づく被写体距離算出処理
（４）多数決法に基づく処理

（１）顔および目の認識処理
まず、撮像装置によって取得される画像データから人物の顔および目の領域を特定する手法について説明する。顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開２００４−１３３６３７に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔３次元直交座標系のＸＹＺ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。

縮小された画像に対して２次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。またそのときに用いたテンプレートから直交３軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。このようにして得られた、顔のデータから、目の領域を推定し、推定領域の輝度分布から目の領域を特定する。このようにして求められた目の画像エリアに距離測定用の特定領域である測距エリアを設定する。具体的な測距エリアの設定例を図４に示す。

図４（ａ）は正面向きの顔画像から２つの目の各々の領域に測距エリアを設定した例であり、図４（ｂ）は、横むきの顔画像から１つの目の領域に測距エリアを設定した例である。

この測距エリアの画像を、レンズを介して取得し、フォーカスレンズを移動させてコントラストの高低を判断して最もコントラストが高くなる位置、すなわちＡＦ評価値の高い位置を合焦位置とする制御を基本として実行する。さらに、本発明の撮像装置では、まばたきの有無を検出し、検出情報に基づいて処理を変更して、正確なフォーカスポイント（合焦位置）を決定する。

（２）まばたきの検出および対応処理
本発明の撮像装置においては、フォーカスレンズを移動させてコントラストの高低を判断するフォーカス制御処理中に、設定した測距エリアにおける目のまばたきが行われたか否かを判定する。まばたきの有無についての判定処理は、目と判定した位置の色変動を監視することで行われる。すなわち、目であると判定される画像領域の解析を実行し、白領域が減少している、または、白領域がなくなっている時にまばたき中と判断するまばたき判定処理を実行する。

オートフォーカス処理においては、例えば、図５に示すようにフォーカスレンズ２０１を至近側から無限側に順次移動させ、各移動ポイントにおいて、目を含む測距エリアにおけるコントラストの高低に相当するＡＦ評価値を測定して、ＡＦ評価値のピーク位置をフォーカスポイント（合焦位置）とする処理を基本とする。

本発明に従った、まばたき検出およびその対応処理を含むオートフォーカス処理のシーケンスについて説明する。本発明の撮像装置では、目を含む測距エリアの検波データと、まばたき判定を併せて実行して、次のような処理手法を適用してまばたきによるピントのずれを回避する。

（処理ａ）評価値サーチ開始前の処理
シャッター半押しに基づいて、コントラスト信号取得のための評価値サーチ、すなわち、フォーカスレンズの移動に対応するコントラストの測定値に対応するＡＦ評価値のサーチ処理の準備処理を実行中、まばたきを検出した場合、フォーカスレンズをサーチ開始位置まで移動させてオートフォーカスの準備を完了させて、まばたきが終了するのを待機する。その後、まばたきの終了確認の後、評価値サーチを開始する。
（処理ｂ）評価値サーチ開始後の処理１
評価値サーチの最中にまばたきを検出した場合、まばたきの検出が、評価値が山を形成する前ならば、まばたきが終了するまでそこで待機する。ここで、目のまばたき検出に時間差「遅れ」：Ｔｄがある場合、この時間：Ｔｄ間にレンズが移動した距離分戻って待機して、まばたきが終了し次第、その地点からサーチを再開する。
（処理ｃ）評価値サーチ開始後の処理２
まばたき検出に対して輝度差評価値取得に時間差（Ｄｅｌａｙ）がある場合、まばたき終了待ちをしている間に、Ｄｅｌａｙした評価値が山を形成することを確認できれば、この山（ピーク）を合焦点と判断してサーチを終了する。
（処理ｄ）評価値サーチ開始後の処理３
まばたき終了待ちを一定時間継続しても、まばたきが終了しない場合は、目をつぶったものと判断し、それまでのサーチ結果をクリアし、そこから新たなサーチを開始する。

上述の処理を含む、本発明の一実施例に従ったまばたき検出およびその対応処理を含むオートフォーカス処理のシーケンスについて、図６に示すフローチャートを参照して説明する。図６に示すフローチャートは、図３に示す撮像装置の制御部１１０の制御の下に実行される。なお、この処理は、顔検出部１３０においてレンズを介する入力画像の解析に基づいて画像中の人物の目の領域が検出され、目の領域を含む画像領域をＡＦ評価値算出のための特定領域（測距エリア）として設定した後に実行される。

まず、ステップＳ１０１において、フォーカスレンズをサーチ開始位置に移動する。これは、上述の（処理ａ）に対応する。すなわち、シャッター半押しに基づいて、ＡＦ評価値としてのコントラスト信号取得のための評価値サーチの開始のために、フォーカスレンズをサーチ開始位置、例えば、至近側リミットに移動させる。

ステップＳ１０２において、まばたき中であるか否かの判定がなされる。この処理は、前述したように目と判定した位置を含む画像領域における色の変化を検出することで行われる。すなわち、目であると判定される画像領域、すなわち特定領域（測距エリア）の解析を実行し、この画像領域における白領域の割合の変化を検出する。具体的には、白領域が減少している、または、白領域がなくなっている時にまばたき中と判断する。

ステップＳ１０２において、まばたき中であると判定されると、ステップＳ１０１に戻る。すなわち、フォーカスレンズをサーチ開始位置まで移動させた状態で待機することになる。ステップＳ１０２において、まばたき中でないとの判定がなされると、ステップＳ１０３に進み、評価値サーチを開始する。すなわち、ステップＳ１０４においてフォーカスレンズを移動させて評価値を取得する処理を開始する。

評価値取得処理中においても、まばたきの有無を監視する。ステップＳ１０５においてまばたきが検出されず、さらに、ステップＳ１０６において評価値が山、すなわちピークを形成したと判定した場合は、そのピーク形成点が合焦位置であると判断して処理を終了する。ステップＳ１０６において評価値の山が検出されない場合は、サーチの端点（例えば無限側リミット）まで到達したことを確認して処理を終了する。

一方、評価値取得処理としてのサーチの実行中、ステップＳ１０５においてまばたきが検出されると、ステップＳ１０８に進み、まばたき検出の時間的な「遅れ（Ｄｅｌａｙ）」に相当するレンズの移動分、レンズを戻す処理を実行する。これは、上記（処理ｂ）に相当し、まばたき検出の遅れの時間：Ｔｄ間にレンズが移動した距離分戻って待機して、まばたきが終了し次第、その地点からサーチを再開するための処理である。

次に、ステップＳ１０９において、評価値が山（ピーク）を形成したか否かを判定する。この評価値の山（ピーク）形成判定処理は、評価値検出の遅れがある場合の対応であり、上記（処理ｃ）に相当し、まばたき検出に対して輝度差評価値取得に時間差（Ｄｅｌａｙ）がある場合、まばたき終了待ちをしている間に、Ｄｅｌａｙした評価値が山を形成することを確認できれば、この山（ピーク）を合焦点と判断してサーチを終了（Ｓ１０９でＹｅｓ）する。

ステップＳ１０９において、評価値が山を形成することを確認できない場合は、ステップＳ１１０に進み、まばたきが終了したことの確認に基づいて、ステップＳ１０４に戻り、サーチを再開する。この場合のレンズの位置は、ステップＳ１０８において設定されたレンズ位置からの処理として実行され、それまでに実行され取得済みの評価値データはそのまま利用される。

ステップＳ１１０に進み、まばたきが終了せず、ステップＳ１１１において待機し、予め定めた一定時間が経過した場合（ステップＳ１１２：Ｙｅｓ）は、目をつぶったものと判断し、ステップＳ１１３において、それまでのサーチ結果をクリアし、そこから新たなサーチを開始する。この処理は上述の（処理ｄ）に対応する処理である。

このように、本発明の構成では、ＡＦ評価値取得のためのサーチ開始前、実行中においてまばたきの有無を検出し、サーチ開始前においてはまばたきの終了を待機してサーチを開始し、サーチ実行中は、評価値のピーク検出に応じて処理態様を変更し、無駄な動きのない効率的なＡＦ評価値の取得を実現し、まばたきの発生によるフォーカスエラーの発生を防止する構成としている。

（３）顔の大きさに基づく被写体距離算出処理
次に、まばたきの検出が正確に実行されなかった場合の対応として、顔の大きさに基づく被写体距離算出処理を併用する処理例について説明する。被写体の人物の目を含む領域を測距エリアとして設定し、そのエリアの画像の変化、すなわち白領域の増減に基づいてまばたきを検出する場合、まばたきの検出に失敗する場合が考えられる。このような場合、フォーカス移動位置が合焦させるべき位置に対して、かなりずれてしまうことが懸念される。それを回避するために合焦位置が示す合焦位置と距離と、顔の大きさ情報から物理学的に求めた距離との関係を比較し、一定値以上ずれていたら再度、サーチをやり直すことで、ピントのずれを回避する処理構成について、以下説明する。

本処理例では、撮像装置によって撮影される画像に含まれる顔の大きさによって顔までの距離を求める。この処理について、図７を参照して説明する。図７には、被写***置３０１、フォーカスレンズ３０２、撮像素子３０３を示している。被写***置３０１には人物の顔が存在する。顔の大きさ（顔の幅）はＷｆである。

顔の実際の大きさ（Ｗｆ）が分ればレンズの基本的な物理法則から、顔までの距離、すなわち被写体距離（Ｄｆ）、すなわち、フォーカスレンズ３０２から被写***置３０１までの被写体距離（Ｄｆ）は以下の式で求めることができる。 Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値：Ｗｒｅｆ
撮像素子の幅：Ｗｉ
焦点距離：ｆ
撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）：Ｗｆ
人の顔検出に使用した画像の大きさのピクセル数（撮像素子検出値）：Ｗｗ

人間の顔の大きさ基準値（Ｗｒｅｆ）は、予め定めた固定値を利用することができる。なお、この顔大きさ基準値（Ｗｒｅｆ）を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離推定を実現することが可能となる。

この処理構成について、図８以下を参照して説明する。すなわち、顔の大きさ基準値：Ｗｒｅｆを、被写体に対応する人種、性別、年齢、体格に応じた適切な値に設定して、被写体に対応する正確な被写体距離（Ｄｆ）を求めるための処理構成である。この処理のために、様々な人種、性別、年齢、体格に対応する基準値Ｗｒｅｆを算出して利用する。例えば、様々な人種、性別、年齢、体格に対応する基準値Ｗｒｅｆを算出するためのテーブルデータを保持し、画像解析結果またはユーザ入力情報に基づいて被写体に対応する人種、性別、年齢、体格情報を取得して、これらの取得情報に基づいてテーブルから、被写体に応じた顔大きさ基準値：Ｗｒｅｆを求める構成である。

撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定することが可能である。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定する。あるいは、撮影者などのユーザが、被写体情報として人種、性別、年齢、体格に関する被写体情報を入力し、この入力情報を適用する構成としてもよい。

このように画像解析またはユーザ入力情報として被写体の人種、性別、年齢、体格情報を取得して、被写体に応じた適正な顔大きさ基準値：Ｗｒｅｆを求める。図８を参照して、この処理例について説明する。

図８に示すように、撮像装置は、顔の大きさ基準値（Ｗｒｅｆ）算出部３１０を有し、顔の大きさ基準値（Ｗｒｅｆ）算出部３１０は、人種別基準値算出テーブル３１１、性別基準値算出テーブル３１２、年齢別基準値算出テーブル３１３、体格別基準値算出テーブル３１４と、データ処理部３２０を有する。

画像解析部３３１は、撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定する。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定し、その推定情報を顔の大きさ基準値（Ｗｒｅｆ）算出部３１０に入力する。あるいは、ユーザ入力部３３２を介して撮影者などのユーザが、被写体情報としての人種、性別、年齢、体格に関する被写体情報を入力し、この入力情報を顔の大きさ基準値（Ｗｒｅｆ）算出部３１０に入力する。

顔の大きさ基準値（Ｗｒｅｆ）算出部３１０は、画像解析部３３１または、ユーザ入力部３３２を介して入力した被写体情報に基づいて、被写体に応じた最適な基準値（Ｗｒｅｆ）を、各テーブルを適用して算出する。なお、実際の出力としては、ある程度のばらつきを考慮した基準値範囲Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を算出する構成としてもよい。想定される大きい方へのずれをΔＷｒｅｆｂ、想定される小さい方へのずれをΔＷｒｅｆｓとして考慮した結果を出力する。

テーブルのデータ構成例を図９〜図１１を参照して説明する。図９（ａ）は、人種別基準値算出テーブル、図９（ｂ）は、人種、性別基準値算出テーブル、図１０（ｃ）は、人種、性別、年齢別基準値算出テーブル、図１１（ｄ）は人種、性別、年齢、体格別基準値算出テーブルである。図８に示す構成例においては、人種、性別、年齢、体格の個別のテーブルを設定した例を説明したが、テーブル構成は、個別のテーブルとするばかりでなく、図９〜図１１に示す態様のような各種の設定が可能である。

例えば、画像解析部３３１または、ユーザ入力部３３２を介して入力した被写体情報に基づいて、人種のみが推定／断定できる時には、図９（ａ）に示す人種別基準値算出テーブルを用いる。仮に人種の判断ができない場合。「共通」のデータが用いられることとなる。

画像解析部３３１または、ユーザ入力部３３２を介して入力した被写体情報に基づいて、人種と性別が推定／判断できる場合には、図９（ｂ）に示す人種、性別基準値算出テーブルが用いられる。仮にアジア系人種であり、男性ということになれば、図９（ｂ）に示すＡ列のデータが用いられることになる。一方で、例えば人種は判別できないが性別は女性と推定／断定できる場合、人種は共通、性別は女性という図９（ｂ）に示すＢ列のデータを用いることとなる。

同様にして、年代まで推定／断定できるならば、図１０（ｃ）に示す人種、性別、年齢別基準値算出テーブルが用いられることになり、仮にアジア系人種の男性であり、１２歳以上ということが分れば、図１０（ｃ）に示すＣ列のデータを用いればよいし、何らかの理由で年代が推定できなかった場合は、図１０（ｃ）に示すＤ列のデータを用いればよい。同様にして、体格まで推定／断定できるならば、図１１（ｄ）に示す人種、性別、年齢、体格別基準値算出テーブルを用いて最適な基準値Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を算出する。

このように、画像解析またはユーザ入力情報として被写体の人種、性別、年齢、体格情報を取得して、被写体に応じた適正な顔大きさ基準値：Ｗｒｅｆを求めることが可能であり、算出した基準値：Ｗｒｅｆを適用することで、より正確な被写体までの距離（Ｄｆ）を算出することが可能となる。なお、基準値：Ｗｒｅｆの適用処理および被写体までの距離（Ｄｆ）の算出処理に際しては、顔の横幅、顔の縦の長さのいずれかを適用する構成、さらに、両者を併用する処理構成が可能である。さらに、傾きを考慮した処理構成としてもよい。

このようにして被写体の顔の大きさに基づいて算出した被写体までの距離（Ｄｆ）と、コントラストに基づくＡＦ評価値の山（ピーク）検出による合焦位置との比較を実行し、そのずれが予め定めた閾値より大きい場合は、ＡＦ評価値の山（ピーク）検出にエラーがある可能性があると判断してサーチをやり直す。この処理シーケンスについて、図１２に示すフローチャートを参照して説明する。

図１２に示すフローチャートは、図３に示す撮像装置の制御部１１０の制御の下に実行される。なお、この処理も、顔検出部１３０においてレンズを介する入力画像の解析に基づいて画像中の顔領域および人物の目の領域が検出され、目の領域を含む画像領域をＡＦ評価値算出のための特定領域（測距エリア）として設定した後に実行される。

まず、ステップＳ２０１において、ＡＦ評価値のためのサーチ処理を実行する。すなわち、フォーカスレンズを至近側から無限側に順次、移動させて特定領域（測距エリア）のコントラストに対応する評価値を取得する。ステップＳ２０２において、このサーチ処理において評価値が山（ピーク）を形成した点における被写体距離（Ｄｓ）を算出する。さらに、ステップＳ２０３において、図７〜図１１を参照して説明した処理によって、顔の大きさに基づいて被写体までの距離（Ｄｆ）を算出する。

次に、ステップＳ２０４において、ＡＦ評価値のピークに基づいて算出された被写体距離（Ｄｓ）と、顔の大きさに基づいて算出した被写体距離（Ｄｆ）とを比較し、その差分が予め定めた閾値以内か否かを判定する。差分が予め定めた閾値以内であると判定した場合は、ステップＳ２０５において評価値サーチが正確に実行されたと判断して、評価値サーチに基づいて得られたピーク位置を合焦位置とする。

一方、ステップＳ２０４において、ＡＦ評価値のピークに基づいて算出された被写体距離（Ｄｓ）と、顔の大きさに基づいて算出した被写体距離（Ｄｆ）とを比較し、その差分が予め定めた閾値より大きいと判定されると、ステップＳ２０６において評価値サーチが正確に実行されなかったと判断して、ステップＳ２０１に戻り、再度、評価値サーチをやり直す。

この処理構成によれば、評価値サーチにおいてまばたき検出に失敗して、正確な評価値に基づく合焦ポイントが得られなかった場合でも、顔の大きさに基づく被写体距離に基づくエラー発生を検出することができ、誤ったフォーカスレンズの位置設定を防止することができる。

（４）多数決法に基づく処理
次に、上述の（３）と同様、サーチの実行中にまばたき検出が正確に実行できなかった場合の対処として、複数回のサーチ結果の多数決によって、正確なピーク位置を判断してフォーカスレンズを正しい合焦ポイントに設定する処理例について説明する。

例えば、ホワイトバランスがずれている場合や、露出が合っていない時などには、上述したまばたき検出、すなわち目を含む領域の白領域の変化を検出する処理では、正しく「まばたき検出」ができないことがある。それを回避しようとするのが、この多数決方法である。

具体的には、以下の処理を実行する。
まばたき検出の精度が確保できない時は、同じＡＦ範囲のサーチを、繰り返して２回実行する。
繰り返して実行した２回のサーチ結果が同じ合焦位置を示しているならば、その結果を信頼する。
繰り返して実行した２回の結果がずれている場合、同じ範囲で３回目のサーチを実施する。その結果、３回目と同じ位置が１回目か２回目に存在するならば、その３回目の位置を合焦位置とする。
繰り返して実行した３回のサーチ結果の合焦位置がいずれも一致しないならば、被写体に対する合焦はできないと判断し、警告を出力するか、もしくは、３回目のサーチ以後、さらに、サーチを繰り返し、過去のサーチ結果と重複した結果がえられるまでサーチを繰り返す。

１〜３回目のＡＦ評価値のサーチ例について、図１３を参照して説明する。これらは、すべて同一の被写体の同一の測距エリア、すなわち目を含む画像領域を測距エリアとして設定してコントラストデータによるＡＦ評価値を取得したものであり、山（ピーク）の位置が最もコントラストが高いＡＦ評価値の高い位置であり合焦点と推定されるポイントである。

しかし、１回目のサーチのピークＰ１と２回目のサーチのピークＰ２はその位置が異なり、いずれかのサーチにおいて計測エラーが発生したことが推定される。このような場合、３回目のサーチを実行し、３回目のサーチによって得られたピークＰ３と１回目のサーチのピークＰ１と２回目のサーチのピークＰ２との比較を実行する。ピークＰ３は、ほぼピークＰ２と一致している。このような場合、ピークＰ２，Ｐ３が正しいサーチの結果として得られたピークであると判断して、この位置を合焦位置とする。

このように、本処理例では、複数回のサーチの結果に基づく多数決によって、合焦ポイントを決定し、フォーカスレンズの設定位置を決定する。この処理を実行するシーケンスについて、図１４に示すフローチャートを参照して説明する。図１４に示すフローチャートは、図３に示す撮像装置の制御部１１０の制御の下に実行される。なお、この処理も、顔検出部１３０においてレンズを介する入力画像の解析に基づいて画像中の顔領域および人物の目の領域が検出され、目の領域を含む画像領域をＡＦ評価値算出のための特定領域（測距エリア）として設定した後に実行される。

まず、ステップＳ３０１において、ＡＦ評価値のためのサーチ処理を実行する。すなわち、フォーカスレンズを至近側から無限側に順次、移動させて特定領域（測距エリア）のコントラストに対応する評価値を取得する。次にステップＳ３０２において、１回目のサーチ処理において実行されたまばたき検出の信頼性を判定する。前述したように、撮像装置において取得されている画像のホワイトバランスがずれている場合や、露出が合っていない場合には、まばたき検出の信頼性が落ちていると推定される。従って、撮像装置の制御部は、取得画像のホワイトバランスや、露出の調整の精度を判定し、この判定情報に基づいてまばたき検出の信頼性を判定する。

ステップＳ３０２においてまばたき検出の信頼性が高いと判断された場合は、ステップＳ３１２に進み、１回目のＡＦ評価値を適用して、その１回目のＡＦ評価値におけるピーク位置を合焦位置と判断して、フォーカスレンズを設定して処理を終了する。

ステップＳ３０２においてまばたき検出の信頼性が低いと判断された場合は、ステップＳ３０３に進み、２回目のサーチを実行する。再度、フォーカスレンズを至近側から無限側に順次、移動させて特定領域（測距エリア）のコントラストに対応する評価値を取得する。

次に、ステップＳ３０４において、１回目のサーチによるＡＦ評価値と２回目のサーチによるＡＦ評価値の比較を実行し、両者がほぼ同一の結果であれば、いずれも正しくサーチが実行されたと判断し、ステップＳ３１２に進み、１回目または２回目のＡＦ評価値を適用して、そのＡＦ評価値におけるピーク位置を合焦位置と判断して、フォーカスレンズを設定して処理を終了する。

ステップＳ３０４において、１回目のサーチによるＡＦ評価値と２回目のサーチによるＡＦ評価値が異なると判定された場合は、ステップＳ３０５に進み、３回目のサーチを実行する。再度、フォーカスレンズを至近側から無限側に順次、移動させて特定領域（測距エリア）のコントラストに対応する評価値を取得する。

次に、ステップＳ３０６において、３回目のサーチによるＡＦ評価値と、１回目および２回目のサーチによるＡＦ評価値の比較を実行する。３回目のサーチによるＡＦ評価値と、１回目または２回目のサーチ結果とが同じであれば、ステップＳ３１１に進み、３回目のサーチによるＡＦ評価値は正しい評価値であると判断し、ステップＳ３１２に進み、３回目のＡＦ評価値を適用して、そのＡＦ評価値におけるピーク位置を合焦位置と判断して、フォーカスレンズを設定して処理を終了する。

ステップＳ３０６において、３回目のサーチによるＡＦ評価値が、１回目および２回目のサーチによるＡＦ評価値のいずれとも異なると判定された場合、ステップＳ３０７においてリトライするか否かを判定し、リトライしない場合は、ステップＳ３０８に進み、合焦処理に失敗したことの警告やメッセージを出力して処理を終了する。ステップＳ３０７においてリトライすると判定した場合は、ステップＳ３１３に進み、３回目のサーチを１回目のサーチに置き換えて、ステップＳ３０３以下の処理、すなわち、２回目のサーチ処理以下の処理を繰り返し実行する。なお、ステップＳ３０７のリトライの有無の判定処理は、機器に予め設定された情報を適用してもよいし、あるいはリトライするか否かをユーザに判断させてユーザの入力に基づいて実行する構成としてもよい。

このように、本処理例においては、複数回のサーチ結果に基づく多数決によって、評価値のピーク位置の確からしさを判断して最終的な合焦ポイント、すなわちフォーカスレンズの設定位置を決定する構成としたので、まばたき検出のエラーによって正しいＡＦ評価値が得られなかった場合においても、誤った合焦位置にフォーカスレンズを設定してしまうといったミスを防止することができる。

なお、上述の処理によって、フォーカスレンズの位置が決定され、合焦に成功した場合は、撮像装置のモニタの表示画像に合焦が成功したことを示す合焦枠を提示してユーサに通知する。例えば特定の顔に合焦表示を行なう。合焦表示とは、モニタやビューファインダに表示される画像中に提示する合焦が完了したことを示す識別情報であり、ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。

合焦表示の例を図１５に示す。図１５に示す例は、撮像装置のカメラのモニタに表示される画像に合焦表示を行なった例である。たとえば上述したＡＦ評価値算出によるオートフォーカス処理を図１に示す顔４２１の目を含む領域に基づいて実行して合焦に成功した場合、顔４２１に、合焦枠４３１が設定されて表示される。さらに、このフォーカスポイントにおいて、顔４２２、顔４２３についても、予め設定された許容焦点深度内にあると判定されれば、その顔に合焦枠４３２，４３３の表示を行なう。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。

最後に、図１６を参照して本発明の撮像装置において実行される処理を行なうための機能構成について説明する。上述した処理は、先に図３を参照して説明したハードウェア構成を適用して、主に制御部１１０の制御の下に実行されるプログラムに従って実行される。図１６は、この処理を実行する際に適用する機能を中心として説明するためのブロック図である。

撮像装置において取得された画像情報５００は、図３を参照して説明した撮像素子、デジタル信号処理部等を介して顔検出部５０２に入力される。顔検出部５０２では、前述したように、画像情報５００の解析を行い、画像中の人物の顔および目の領域を検出する。

顔検出部５０２の検出した顔検出情報を含む画像情報は、測距エリア設定部５０３、画像解析部５０４、顔の大きさ基準値［Ｗｒｅｆ］算出部５０５、顔の推定距離［Ｄｆ］算出部５０６に出力される。測距エリア設定部５０３は、顔検出部５０２の検出した顔の目を含む領域をＡＦ評価値算出のための特定領域、すなわち測距エリアを設定する。

測距エリア設定部５０３の設定した人物の目を含む測距エリア情報は、フォーカス制御部５０７に入力され、フォーカスレンズ駆動部５１０に対する駆動コマンドを出力して、フォーカスレンズの動作範囲においてフォーカスレンズが移動され、各移動ポイントにおいて、コントラスト信号制生成部５０８の生成するコントラスト情報からＡＦ評価値を取得する。すなわち、フォーカス制御部５０７は、撮像装置において入力する入力画像５００に含まれる目を含む画像領域を被写体距離算出用の測距エリアとして設定し、測距エリアのコントラストに基づく評価値を取得して合焦位置を検出する。

フォーカス制御部５０７はこのＡＦ評価値取得処理において、まばたき検出部５０９の検出するまばたき検出情報を入力して、まばたきが検出されたか否かによって処理を変更する。すなわち、まばたき検出部５０９におけるまばたき検出情報を入力し、まばたき実行期間と非実行期間の評価値データを識別し、まばたき非実行期間と判定された期間の評価値のみに基づいて合焦位置の検出処理を実行する。具体的には、先に、図６のフローを参照して説明した処理を実行する。このフォーカス制御によって合焦がなされた被写体には、図１５を参照して説明した合焦枠を表示するように表示制御部５１１が処理を行なう。

例えば、評価値取得のためのフォーカスレンズの駆動開始前に、まばたき検出部５０９からまばたき実行中との検出情報を入力した場合、まばたきの終了を待機して、まばたきが終了したことが確認された後に、評価値取得のためのフォーカスレンズの駆動を開始する。また、評価値取得のためのフォーカスレンズの駆動開始後に、まばたき検出部５０９からのまばたきが実行されたことのまばたき検出情報を入力した場合、フォーカスレンズの駆動を停止して評価値取得を中断するとともに、まばたきが実行される前のフォーカスレンズ設定位置に戻して評価値取得を再開する。

ただし、フォーカス制御部５０７は、まばたき検出部５０９から、まばたきが実行されたとのまばたき検出情報を入力した場合、すでに評価値のピークを検出されているか否かを判定し、ピーク検出済みである場合は、そのピークに基づいて合焦位置を決定し、合焦位置検出処理を終了する。

さらに、先に、図１２のフローを参照して説明した処理、すなわち、顔の大きさに基づく距離算出を併用して実行する場合は、画像解析部５０４は、先に、図７を参照して説明した画像解析処理を実行する。すなわち、画像解析部５０４は、撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定する。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定し、その推定情報を顔の大きさ基準値［Ｗｒｅｆ］算出部５０５に入力する。なお、これらの被写体情報は、ユーザ入力部５０１を介してユーザが入力する構成としてもよい。

顔の大きさ基準値［Ｗｒｅｆ］算出部５０４は、画像解析部５０３または、ユーザ入力部５０１を介して入力された被写体情報に基づいて、被写体に応じた最適な基準値（Ｗｒｅｆ）を、各テーブルを適用して算出する。算出処理は、先に、図８〜図１１を参照して説明したように、テーブルを参照して被写体に応じた基準値Ｗｒｅｆを算出する。

顔の推定距離［Ｄｆ］算出部５０５では、顔の大きさ基準値（Ｗｒｅｆ）を適用して、被写体距離Ｄｆを算出する。この被写体距離の算出の基本式は、先に説明した式、すなわち、
Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
である。上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値：Ｗｒｅｆ
撮像素子の幅：Ｗｉ
焦点距離：ｆ
撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）：Ｗｆ
人の顔検出に使用した画像の大きさのピクセル数（撮像素子検出値）：Ｗｗ

この顔の大きさに基づいて算出された被写体距離情報は、フォーカス制御部５０７に出力され、フォーカス制御部５０７では、ＡＦ評価値のピークに基づいて算出された被写体距離（Ｄｓ）と、顔の大きさに基づいて算出した被写体距離（Ｄｆ）とを比較し、その差分が予め定めた閾値より大きいと判定すると、評価値サーチが正確に実行されなかったと判断して、再度、評価値サーチをやり直す。この処理は、先に、図１２のフローを参照して説明した処理に相当する。

また、先に、図１３、図１４を参照して説明した多数決処理を実行する場合、フォーカス制御部５０７は、同一の測距エリアを適用したサーチを実行してＡＦ評価値取得を繰り返し、取得した複数の結果データを比較し、同様の評価値データが取得された場合に、その評価値データを正当なものとする多数決処理によって、正しいピークを決定して合焦位置およびフォーカスレンズの設定位置を決定する。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成では、撮像装置における入力画像に含まれる目を含む画像領域を被写体距離算出用の測距エリアとして設定し、測距エリアのコントラストに基づく評価値を取得して合焦位置を検出するフォーカス制御処理において、まばたき検出情報を入力し、まばたき実行期間と非実行期間の評価値データを識別して、まばたき非実行期間と判定された期間の評価値のみに基づいて合焦位置の検出処理を実行する構成としたので、まばたきに基づくコントラスト変化に起因するフォーカスエラーの発生を防止することができる。

また、本発明の一実施例の構成では、まばたきの検出がうまく行われなかった場合においても、例えば顔の大きさに基づく被写体距離情報と、評価値から算出した被写体距離との比較を実行して、正しい評価値取得が実行されたか否かを判別する処理や、複数回の評価値取得データを比較して、多数決によって正しい評価値データを取得する構成としたので、まばたきの検出がうまく行われなかった場合でも正確な評価値に基づくフォーカス制御が実現される。

オートフォーカス処理におけるＡＦ評価値算出およびまばたきの影響について説明する図である。 本発明の撮像装置の外観構成例について説明する図である。 本発明の撮像装置のハードウェア構成例について説明する図である。 測距エリアの設定例について説明する図である。 本発明の撮像装置のフォーカス制御におけるレンズ駆動、ＡＦ評価値計測例について説明する図である。 本発明の撮像装置のオートフォーカス制御シーケンスについて説明するフローチャートを示す図である。 顔の大きさに基づく被写体距離算出処理について説明する図である。 顔の大きさ基準値算出部の構成および処理について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 本発明の撮像装置のオートフォーカス制御シーケンスについて説明するフローチャートを示す図である。 多数決処理を適用した処理について説明するフローチャートを示す図である。 多数決処理を適用したオートフォーカス制御シーケンスについて説明するフローチャートを示す図である。 合焦表示例について説明する図である。 本発明の撮像装置における処理および機能を説明するブロック図である。

符号の説明

１０ 撮像装置
１１ 電源スイッチ
１２ レリーズスイッチ
１３ モニタ
１４ イメージャ
１５ ズームボタン
１６ 操作ボタン
１７ ビューファインダ
１８ フォーカスレンズ
１９ ズームレンズ
２０ モードダイアル
２１ フォーカスレンズモータ（Ｍ１）
２２ ズームレンズモータ（Ｍ２）
１００ 撮像装置
１０１ フォーカスレンズ
１０２ ズームレンズ
１０３ 撮像素子
１０４ アナログ信号処理部
１０５ Ａ／Ｄ変換部
１０６ タイミングジェネレータ（ＴＡ）
１０７ 垂直ドライバ
１０８ デジタル信号処理部
１１０ 制御部
１１１ ジャイロ
１１２ モータドライバ
１１３，１１４ モータ
１１５記録デバイス１１５
１１６ ビューファインダ（ＥＶＦ）
１１７ モニタ
１１８ 操作部
１１９ メモリ（ＥＥＰＲＯＭ）
１２０ メモリ（ＲＯＭ）
１２１ メモリ（ＲＡＭ）
２０１ フォーカスレンズ
３０１ 被写***置
３０２ フォーカスレンズ
３０３ 撮像素子
３１０ 顔の大きさ基準値（Ｗｒｅｆ）算出部
３１１ 人種別基準値算出テーブル
３１２ 性別基準値算出テーブル
３１３ 年齢別基準値算出テーブル
３１４ 体格別基準値算出テーブル
３２０ データ処理部
３３１ 画像解析部
３３２ ユーザ入力部
４２１，４２２，４２３ 顔（画像）
４３１，４３２，４３３ 合焦枠
５００ 画像情報
５０１ ユーザ入力部
５０２ 顔検出部
５０３ 測距エリア設定部
５０４ 画像解析部
５０５ 顔の大きさ基準値［Ｗｒｅｆ］算出部
５０６ 顔の推定距離［Ｄｆ］算出部
５０７ フォーカス制御部
５０８ コントラスト信号生成部
５０９ まばたき検出部
５１０ コントラスレンズ駆動部
５１１ 表示制御部

Claims (21)

1. 撮像装置において入力する入力画像に含まれる目を含む画像領域を被写体距離算出用の測距エリアとして設定し、該測距エリアのコントラストに基づく評価値を取得して合焦位置を検出するフォーカス制御部と、
   前記測距エリア内の画像解析に基づいてまばたきの有無を検出するまばたき検出部とを有し、
   前記フォーカス制御部は、
   前記まばたき検出部におけるまばたき検出情報を入力し、まばたき実行期間と非実行期間の評価値データを識別し、まばたき非実行期間と判定された期間の評価値のみに基づいて合焦位置の検出処理を実行する構成であることを特徴とする撮像装置。
2. 前記フォーカス制御部は、
   評価値取得のためのフォーカスレンズの駆動開始前に、前記まばたき検出部からまばたき実行中との検出情報を入力した場合、まばたきの終了を待機して、まばたきが終了したことが確認された後に、評価値取得のためのフォーカスレンズの駆動を開始する制御を実行する構成であることを特徴とする請求項１に記載の撮像装置。
3. 前記フォーカス制御部は、
   評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたことのまばたき検出情報を入力した場合、フォーカスレンズの駆動を停止して評価値取得を中断するとともに、まばたきが実行される前のフォーカスレンズ設定位置に戻す処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
4. 前記フォーカス制御部は、
   まばたきが実行される前のフォーカスレンズ設定位置に戻す処理を、まばたき検出処理と、評価値算出処理との時間差を考慮して実行する構成であることを特徴とする請求項３に記載の撮像装置。
5. 前記フォーカス制御部は、
   評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたとのまばたき検出情報を入力した場合、すでに評価値のピークを検出されているか否かを判定し、ピーク検出済みである場合は、そのピークに基づいて合焦位置を決定し、合焦位置検出処理を終了する構成であることを特徴とする請求項１に記載の撮像装置。
6. 前記フォーカス制御部は、
   評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたことのまばたき検出情報を入力した場合、すでに評価値のピークを検出されているか否かを判定し、ピーク検出がなされていない場合は、まばたきの終了を確認した後、まばたきが実行される前のフォーカスレンズ設定位置からの評価値取得を実行する構成であることを特徴とする請求項１に記載の撮像装置。
7. 前記撮像装置は、さらに、
   前記入力画像に含まれる顔の大きさに基づいて被写体距離を算出する被写体距離算出部を有し、
   前記フォーカス制御部は、
   コントラストに対応する評価値に基づく被写体距離と、顔の大きさに基づいて算出される被写体距離との比較を実行し、両距離に予め設定した閾値以上の差がある場合、コントラストに基づく評価値取得処理を再度実行する構成であることを特徴とする請求項１に記載の撮像装置。
8. 前記被写体距離算出部は、
   顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であることを特徴とする請求項７に記載の撮像装置。
9. 前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置において入力する入力画像の画像解析部における解析結果として前記被写体距離算出部に入力される情報であることを特徴とする請求項８に記載の撮像装置。
10. 前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置におけるユーザ入力部を介して前記被写体距離算出部に入力される情報であることを特徴とする請求項８に記載の撮像装置。
11. 前記フォーカス制御部は、
    前記測距エリアのコントラストに基づく評価値取得処理を複数回、繰り返し実行して、取得した複数の結果データを比較し、同様の評価値データが取得された場合に、その評価値データを正当なものとする多数決処理によって合焦位置を決定する構成であることを特徴とする請求項１に記載の撮像装置。
12. 撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
    フォーカス制御部において、撮像装置の入力画像に含まれる目を含む画像領域を被写体距離算出用の測距エリアとして設定し、該測距エリアのコントラストに基づく評価値を取得して合焦位置を検出するフォーカス制御ステップと、
    まばたき検出部において、前記測距エリア内の画像解析に基づいてまばたきの有無を検出するまばたき検出ステップとを有し、
    前記フォーカス制御ステップは、
    前記まばたき検出部におけるまばたき検出情報を入力し、まばたき実行期間と非実行期間の評価値データを識別し、まばたき非実行期間と判定された期間の評価値のみに基づいて合焦位置の検出処理を実行するステップであることを特徴とする撮像装置制御方法。
13. 前記フォーカス制御ステップは、
    評価値取得のためのフォーカスレンズの駆動開始前に、前記まばたき検出部からまばたき実行中との検出情報を入力した場合、まばたきの終了を待機して、まばたきが終了したことが確認された後に、評価値取得のためのフォーカスレンズの駆動を開始する制御を実行するステップを含むことを特徴とする請求項１２に記載の撮像装置制御方法。
14. 前記フォーカス制御ステップは、
    評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたことのまばたき検出情報を入力した場合、フォーカスレンズの駆動を停止して評価値取得を中断するとともに、まばたきが実行される前のフォーカスレンズ設定位置に戻す処理を実行するステップを含むことを特徴とする請求項１２に記載の撮像装置制御方法。
15. 前記フォーカス制御ステップは、
    まばたきが実行される前のフォーカスレンズ設定位置に戻す処理を、まばたき検出処理と、評価値算出処理との時間差を考慮して実行することを特徴とする請求項１４に記載の撮像装置制御方法。
16. 前記フォーカス制御ステップは、
    評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたとのまばたき検出情報を入力した場合、すでに評価値のピークを検出されているか否かを判定し、ピーク検出済みである場合は、そのピークに基づいて合焦位置を決定し、合焦位置検出処理を終了するステップを含むことを特徴とする請求項１２に記載の撮像装置制御方法。
17. 前記フォーカス制御ステップは、
    評価値取得のためのフォーカスレンズの駆動開始後に、前記まばたき検出部からのまばたきが実行されたことのまばたき検出情報を入力した場合、すでに評価値のピークを検出されているか否かを判定し、ピーク検出がなされていない場合は、まばたきの終了を確認した後、まばたきが実行される前のフォーカスレンズ設定位置からの評価値取得を実行するステップを含むことを特徴とする請求項１２に記載の撮像装置制御方法。
18. 前記撮像装置制御方法は、さらに、
    被写体距離算出部において、前記入力画像に含まれる顔の大きさに基づいて被写体距離を算出する被写体距離算出ステップを有し、
    前記フォーカス制御ステップは、
    コントラストに対応する評価値に基づく被写体距離と、顔の大きさに基づいて算出される被写体距離との比較を実行し、両距離に予め設定した閾値以上の差がある場合、コントラストに基づく評価値取得処理を再度実行するステップを含むことを特徴とする請求項１２に記載の撮像装置制御方法。
19. 前記被写体距離算出ステップは、
    顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップを含むことを特徴とする請求項１８に記載の撮像装置制御方法。
20. 前記フォーカス制御ステップは、
    前記測距エリアのコントラストに基づく評価値取得処理を複数回、繰り返し実行して、取得した複数の結果データを比較し、同様の評価値データが取得された場合に、その評価値データを正当なものとする多数決処理によって合焦位置を決定するステップを含むことを特徴とする請求項１２に記載の撮像装置制御方法。
21. 撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
    フォーカス制御部において、撮像装置の入力画像に含まれる目を含む画像領域を被写体距離算出用の測距エリアとして設定し、該測距エリアのコントラストに基づく評価値を取得して合焦位置を検出させるフォーカス制御ステップと、
    まばたき検出部において、前記測距エリア内の画像解析に基づいてまばたきの有無を検出させるまばたき検出ステップとを有し、
    前記フォーカス制御ステップは、
    前記まばたき検出部におけるまばたき検出情報を入力し、まばたき実行期間と非実行期間の評価値データを識別し、まばたき非実行期間と判定された期間の評価値のみに基づいて合焦位置の検出処理を実行させるステップであることを特徴とするコンピュータ・プログラム。