JP4925168B2 - 撮像方法および装置 - Google Patents

Description

本発明は、ピント位置を変更するためのフォーカス用レンズ群、および焦点距離を変更するためのズーム用レンズ群を有する撮像レンズを通して撮像面上に結像させた被写体の像を撮像する撮像方法および装置に関するものである。

従来より、撮像レンズを通して撮像面上に結像させた被写体の像を撮像する撮像装置が知られている。このような撮像装置としては、撮像レンズの焦点距離（倍率）を変更して撮像面に結像させる被写体の像を拡大あるいは縮小させるズーム機能、および自動的に撮像レンズのピント位置を被写体の位置に合わせるオートフォーカス機能を備えたデジタルスチルカメラが知られている。なお、上記ピント位置は、撮像面上に正しく結像される像に対応する被写体（物点）の位置であり、撮像レンズのピント位置に位置する被写体の像は撮像面上にピントが合った状態で結像される。

上記のような撮像装置においては、被写体に対してピント位置を合わせた状態で、ズーム機能による撮像レンズの倍率（以後、ズーム倍率ともいう）の変更を行なうと、ピント位置が上記被写体からずれるため、そのずれ分をオートフォーカス機能により補正している。

上記オートフォーカスの動作は瞬時に完了するわけではなく、すなわち、例えば撮像された被写体の画像のコントラストを判定してピント位置を求めるコントラスト法等によるピント位置の検出等は瞬時に行えるわけではなく、ズーム機能の動作中およびズーム機能の動作終了直後は撮像面上における被写体の像は一旦ボケた状態となり、ズーム機能の動作終了後しばらくしてから撮像面上にピントの合った被写体の像が結像される。

このようなズーム機能の動作の遅れに伴うピント位置のずれを補正する方式として、位置が固定された被写体を主に撮像する監視カメラで採用された方式が知られている（特許文献１参照）。この方式を採用した監視カメラは、壁面等に固定された状態で使用され、例えば監視対象となる窓までの距離をこの監視カメラのオートフォーカス機能により測定してその距離を予め記憶させておく。そして、窓を監視しつつ監視カメラのズーム機能を動作させるときには、上記予め記憶された窓までの距離を用いて監視カメラのフォーカス用レンズ群を上記窓にピントが合うように移動させ、上記ズーム倍率変更に伴うピント位置のずれを補正している。

より具体的には、監視カメラを上記窓に向け、監視カメラのズーム倍率を設定するとともに、オートフォーカス機能により窓にピントを合わせる。そして、上記監視カメラの向き、監視カメラのズーム用レンズ群の位置およびフォーカス用レンズ群の位置をプリセット情報としてこの監視カメラに記憶させる。これにより、監視カメラで上記窓を監視する状態がプリセットされる。

ここで、監視対象となる窓までの距離は、上記プリセットしたフォーカス用レンズ群の位置（すなわち、監視カメラのズーム倍率、あるいは焦点距離）に対応させて記憶される。この距離情報を用いて、上記窓にピント位置が合った状態とするためのズーム用レンズ群の位置とフォーカス用レンズ群の位置との関係を予めトラッキング曲線として求めておく。これにより、ズーム用レンズ群がどのような位置にあっても、上記ズーム用レンズ群の位置に対応するトラッキング曲線上の点に対応せしめるようにフォーカス用レンズ群の位置を移動させれば、監視カメラのピント位置を上記窓に合わせた状態とすることができる。

上記のように設定した後、監視カメラで上記監視対象となる窓以外の領域についてズーム倍率を変更したりピント位置を変更したりして監視している最中に、その監視カメラに対して上記プリセットされた監視状態に戻るように命令すると、監視カメラが上記窓に向けられ、上記トラッキング曲線を利用してピント位置を上記窓に合わせつつズーム倍率が変更され、自動的に上記プリセット状態に戻る。このとき、監視カメラのズーム倍率変更中には上記トラッキング曲線を利用したピント位置の補正が行なわれる。

上記予め記憶された被写体までの距離とトラッキング曲線を用いてピント位置を窓に合わせる方式は、オートフォーカス機能によりピント位置をリアルタイムで窓に合わせる方式に比して演算量を少なくすることができるので、ズーム倍率の変更に伴うピント位置のずれの補正をより早く完了させることができ、上記ズーム倍率変更中に生じる画像のボケの度合いをより小さくすることができる。
特開２００３−５７５２６号公報

ところで、上記ズーム倍率変更中に生じるピント位置のずれをトラッキング曲線を利用して補正する方式は、予め定められた被写体、例えば窓に対して適用されるものであるが、任意の顔を被写体としてズーム倍率を変更する場合にも、上記と同様にトラッキング曲線を利用してズーム倍率変更中に生じるピント位置のずれの補正を行ないたいという要請がある。

また、上記のように、監視対象となる被写体までの距離をオートフォーカス機能を用いて測定する場合においては、ズーム倍率を低倍側（広角側）にしたときの被写界深度は、ズーム倍率を高倍側（望遠側）にしたときの被写界深度より深くなるため、広角側での測距精度は望遠側での測距精度より低くなる。そのため、広角側で被写体までの距離を測定した場合には、正確なトラッキング曲線を得ることができず、ズーム倍率変更中のピント位置のずれを補正する効果を享受しにくい場合がある。例えば、被写界深度が深く測距精度の低い広角側で監視対象となる被写体までの距離情報を得、その被写体を監視しながらズーム倍率を被写界深度の浅い望遠側に変更するときには、正確なトラッキングング曲線を求めることができず広角側では目立たなかったピント位置のずれが望遠側では目立つようになるため、上記補正による効果がほとんど得られない場合もある。なお、広角側ほどではないが望遠側においても被写界深度による測距精度の低下は生じる。そのため、被写界深度の影響によって上記補正精度を低下させることなくズーム倍率変更中に生じるピント位置のずれを補正したいという要請もある。

本発明は、上記事情に鑑みてなされたものであり、ピント位置を被写体となる任意の顔に合わせた状態でズーム倍率を変更するときに生じるピント位置のずれをより正確に補正することができる撮像方法および装置を提供することを目的とする。

本発明の撮像装置は、ピント位置を変更するためのフォーカス用レンズ群、および焦点距離を変更するためのズーム用レンズ群を有する撮像レンズを備え、該撮像レンズを通して撮像面上に結像させた被写体の像を撮像する撮像装置において、予め定められた標準顔寸法情報を記憶させた標準顔寸法記憶手段と、顔であるか否かを判別するための判別情報を記憶させた判別情報記憶手段と、撮像レンズを通して撮像された画像中から顔を表す画像を前記判別情報に基づいて検出する検出手段と、前記画像中から顔を表す画像が検出されたときに、前記標準顔寸法情報、前記顔を撮像したときの撮像レンズの焦点距離を示す焦点距離情報、および前記顔を撮像したときの前記撮像面上での前記顔の大きさを示す撮像寸法情報を得、前記各情報を用いて前記撮像レンズから前記顔までの実際の距離を求める距離演算手段と、前記ズーム用レンズ群による焦点距離の変更中に、前記撮像レンズから前記実際の距離だけ離れた位置を常に前記撮像レンズのピント位置にせしめるように前記フォーカス用レンズ群を制御する制御手段とを備えたことを特徴とするものである。

本発明の撮像方法は、ピント位置を変更するためのフォーカス用レンズ群、および焦点距離を変更するためのズーム用レンズ群を有する撮像レンズを通して撮像面上に結像させた被写体の像を撮像する撮像方法において、予め定められた標準顔寸法情報および顔であるか否かを判別するための判別情報を記憶させておき、前記撮像レンズを通して撮像された画像中から顔を表す画像を前記判別情報に基づいて検出し、前記画像中から顔を表す画像が検出されたときに、前記標準顔寸法情報、前記顔を撮像したときの撮像レンズの焦点距離を示す焦点距離情報、および前記顔を撮像したときの前記撮像面上での前記顔の大きさを示す撮像寸法情報を得、前記各情報を用いて前記撮像レンズから前記顔までの実際の距離を求め、前記ズーム用レンズ群による焦点距離の変更中に、前記撮像レンズから前記実際の距離だけ離れた位置を常に前記撮像レンズのピント位置にせしめるように前記フォーカス用レンズ群を制御することを特徴とするものである。

前記ピント位置は、撮像面上に正しく結像される像に対応する物点の位置であり、撮像レンズのピント位置に位置する被写体の像は撮像面上にピントが合った状態で結像される。

前記標準顔寸法記憶手段に記憶させる顔の大きさは、人の顔の幅としたり、人の顔の長さとすることができる。前記人の顔の幅は、大人の顔の幅の平均値を採用することができる。また、前記人の顔の長さは、大人の顔の長さの平均値を採用することができる。

前記制御手段は、前記制御を、前記ズーム用レンズ群の焦点距離を広角側から望遠側へ変更するときにのみに行なうものとすることができる。

前記検出手段により顔の検出を行なうときに撮像される画像はスルー画とすることができる。

前記距離演算手段は、顔に対してピントを合わせた状態でこの顔を撮像したときに得た焦点距離情報および撮像寸法情報を用いて前記演算を行なうものとしたり、撮像レンズの焦点距離が広角側に設定されているときにのみ前記演算を行なうものとすることができる。なお、焦点距離が広角側に設定されているとは、撮像レンズの焦点距離が、その焦点距離の変更可能範囲の最大値と最小値との間の中間値（中間値＝（最大値+最小値）／２）よりも小さい値に設定されていることを意味する。

本発明の撮像方法および装置は、予め定められた標準顔寸法情報、および顔であるか否かを判別するための判別情報を記憶させておき、撮像レンズを通して撮像された画像中から顔を表す画像を前記判別情報に基づいて検出し、その画像中から顔を表す画像が検出されたときに、標準顔寸法情報、前記顔を撮像したときの撮像レンズの焦点距離を示す焦点距離情報、および前記顔を撮像したときの撮像面上での前記顔の大きさを示す撮像寸法情報を得、前記各情報を用いて撮像レンズから顔までの実際の距離を求め、ズーム用レンズ群による焦点距離の変更中に、撮像レンズから前記実際の距離だけ離れた位置を常に撮像レンズのピント位置にせしめるようにフォーカス用レンズ群を制御するようにしたので、ピント位置を任意の顔に合わせた状態でズーム倍率を変更するときに生じるピント位置のずれをより正確に補正することができる。

すなわち、従来の補正方式では、被写体までの距離を予めプリセット情報として記憶させておくことにより、ズーム倍率を変更するときに生じる被写体からのピント位置のずれをトラッキング曲線を用いて補正していたが、本発明の撮像方法および装置では、標準顔寸法情報を記憶させておくことにより、従来のように被写体までの距離を予めプリセット情報として記憶させておくことなく、任意の被写体である顔までの距離を測距することができる。これにより、ピント位置を任意の顔に合わせてズーム倍率を変更するときにも上記トラッキング曲線を用いた補正を適用することができる。

また、従来のオートフォーカス機能を用いた補正方式では、被写界深度の影響による測距精度の低下により、上記ピント位置の補正精度が低下することがあったが、本発明の撮像方法および装置では、上記被写界深度の影響を受けることなく被写体となる顔までの距離を測距することができ、ズーム倍率変更中に生じるピント位置のずれをより正確に補正ることが可能である。

なお、上記顔の大きさを、人の顔の幅としたり、人の顔の長さとすれば、顔までの実際の距離をより確実に求めることができ、ピント位置を任意の顔に合わせてズーム倍率を変更するときに生じるピント位置のずれの正確な補正をより確実に行なうことができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。図１および図２は、本発明の実施形態による撮像方法を実施する撮像装置の１例であるデジタルスチルカメラ（以下、単にデジタルカメラという）を示すものであり、図１はデジタルスチルカメラを前面側から見た様子を示す図、図２は上記デジタルスチルカメラを背面側から見た様子を示す図、図３は上記デジタルカメラの主に電気的な構成を示すブロック図、図４は上記ブロック図中の顔検出ズーム時ピント補正部の構成を詳しく示すブロック図、図５は上記デジタルカメラによる処理の全体の流れを示すフロー図、図６は顔を検出してズーム時のピントを補正する顔検出処理の流れを示すフロー図、図７は被写体となった顔と撮像レンズと撮像面との位置関係を示す図である。

上記デジタルカメラ１は、ピント位置を変更させるためのフォーカス用レンズ群２０ａ、および焦点距離を変更させるためのズーム用レンズ群２０ｂを有する撮像レンズ２０を備え、その撮像レンズ２０を通してＣＣＤ５８の光電変換面である撮像面５８ａ上に結像させた被写体の像を撮像するものである。

上記デジタルカメラ１は、上記図４のブロック図等に示すように、顔であるか否かを判別するための判別情報Ｈｊを記憶させておく判別情報記憶部８１と、撮像レンズ２０を通して撮像された画像中から被写体となった顔を表す画像を判別情報Ｈｊに基づいて検出する検出部８２と、顔の大きさを示すための予め定められた標準顔寸法情報を記憶させておく標準顔寸法記憶部８３と、上記撮像された画像中から被写体となった顔Ｋを示す画像が検出されたときに、上記標準顔寸法情報、上記被写体となった顔Ｋを撮像したときの撮像レンズ２０の焦点距離を示す焦点距離情報、および上記被写体となった顔Ｋを撮像したときの撮像面５８ａ上での上記被写体となった顔Ｋの大きさを示す撮像寸法情報を得、上記各情報を用いて撮像レンズ２０から上記被写体となった顔Ｋまでの実際の距離Ｌを求める距離演算部８４と、ズーム用レンズ群２０ｂによる焦点距離の変更中に、撮像レンズ２０から上記実際の距離Ｌだけ離れた位置を常に撮像レンズ２０のピント位置にせしめるようにフォーカス用レンズ群２０ａを制御する制御部８５とを備えている。

上記、顔の大きさを示すための予め定められた標準顔寸法情報としては、大人の顔の幅の標準寸法の１例である１５０ｍｍ、大人の顔の長さの標準寸法の１例である２２０ｍｍ、あるいは、大人の顔の目の間隔の１例である８０ｍｍ等の値を示す情報を採用することができる。ここでは、上記大人の顔の幅の標準寸法である１５０ｍｍを標準顔寸法情報として標準顔寸法記憶部８３に記憶させておく。

なお、上記判別情報記憶部８１、検出部８２、標準顔寸法記憶部８３、距離演算部８４、制御部８５等が、顔検出ズーム時ピント補正部６５を構成している。

以下、上記デジタルカメラ１について、さらに詳しく説明する。

図２に示す通りこのデジタルカメラ１のボディ本体１０の背面には、ユーザによる操作のためのインターフェースとして、動作モードスイッチ１１Ｄ、撮像モードスイッチ１１Ｓ、メニュー切替操作ボタン１２、ズームレバー１３が設けられている。また、上記インターフェースとして、表示カーソル移動ボタン、表示戻しボタン、表示切替ボタン等（図示は省略）も設けられている。

さらに、上記背面には、被写体を確認するためのファインダ１７および、撮像および再生された画像を表示させるための液晶モニタ１８が設けられている。またボディ本体１０の上面には、シャッタボタン１９が設けられている。

また図１に示すようにボディ本体１０の前面には、撮像レンズ２０、電源スイッチを兼ねた横方向にスライドするレンズカバー２１、ファインダ窓２３、フラッシュ２４、およびセルフタイマーランプ２５が設けられている。

動作モードスイッチ１１Ｄは、撮像モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。メニュー切替操作ボタン１２は、押下したり回転させたりすることによって、撮像モードの詳細設定、フラッシュ発光モードの詳細設定、記録画素数や感度等の設定等を行うための各種メニューを液晶モニタ１８に表示させ、液晶モニタ１８に表示されたメニューに基づく選択・設定等を行なうためのボタンである。

ズームレバー１３は、上下方向に移動させることによって、撮像レンズの焦点距離を望遠側／広角側に調節するためのレバーである。

なお、上記表示カーソル移動ボタンは各種設定時に液晶モニタ１８に表示されるメニュー画面中のカーソルを左右に移動させるためのボタン、表示戻しボタンは各種設定操作を中止させてメニュー画面を１つ前の画面に戻すためのボタンである。また、表示切替ボタンは、液晶モニタ１８の表示のＯＮ／ＯＦＦ、各種ガイド表示、文字表示のＯＮ／ＯＦＦ等を切り替えるためのボタンである。

以上説明した各ボタンおよびレバーの操作による設定内容等は、液晶モニタ１８中の表示や、ファインダ内のランプ、スライドレバーの位置等によって確認可能となっている。また液晶モニタ１８は、撮像の際に被写体確認用の後述するスルー画を表示させることにより、電子ビューファインダとして機能する他、撮像後の静止画や動画の再生表示、各種設定メニューの表示を行う。

上記スルー画は、上記撮像モードが選択されている間、シャッタボタンを押すことなく所定時間間隔で撮像され液晶モニタ１８に表示される画像である。スルー画として撮像された画像を構成する画素数は、本画像を構成する画素数の１／１６程度である。上記本画像は、シャッタボタンを全押し状態にして本撮像したときに得られる記録に残すための画像であり、本画像を示す画像データは外部記録メディア７０へ記録される。なお、スルー画および後述するプレ画像として撮像され取得された画像は記録されない。

図２および図３に示される通りこのデジタルカメラ１は、撮像した画像の画像データを、例えばＥｘｉｆ形式の画像ファイルに変換して、本体に着脱可能な外部記録メディア７０へ記録する。画像ファイルには、画像データの他に付帯情報が格納される。

このデジタルカメラ１には、前述の動作モードスイッチ１１Ｄ、撮像モードスイッチ１１Ｓ、メニュー切替操作ボタン１２、ズームレバー１３、シャッタボタン１９、電源スイッチを兼ねるレンズカバー２１等のスイッチ類、および、その他の表示カーソル移動ボタン、表示戻しボタン、表示切替ボタン等のスイッチ類の操作内容をＣＰＵ（中央演算装置）７５に伝えるためのインターフェース部である操作系制御部７４が設けられている。

また、撮像レンズ２０の構成要素として、フォーカス用レンズ群２０ａおよびズーム用レンズ群２０ｂが設けられている。それらのレンズは各々、モータとモータドライバからなるフォーカスレンズ駆動部５１、同様のズームレンズ駆動部５２によって駆動され、光軸方向に移動可能である。フォーカスレンズ駆動部５１はＡＦ処理部６２から出力されるフォーカス駆動量データに基づいてフォーカス用レンズ群２０ａを移動させ、そしてズームレンズ駆動部５２はズームレバー１３の操作量データに基づいてズーム用レンズ群２０ｂを移動させる。

上記オートフォーカス部は、フォーカス用レンズ群２０ａ、フォーカスレンズ駆動部５１、ＡＦ処理部６２、ＣＰＵ７５等から構成されている。

また絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。この絞り駆動部５５は、ＡＥ（自動露出）／ＡＷＢ（オートホワイトバランス）処理部６３から出力される絞り値データに基づいて絞り径の調整を行う。

シャッター５６はメカニカルシャッタであり、モータとモータドライバとからなるシャッター駆動部５７によって駆動される。シャッター駆動部５７は、シャッタボタン１９の押下により発生する信号と、ＡＥ／ＡＷＢ処理部６３から出力されるシャッター速度データとに応じて、シャッター５６の開閉の制御を行う。

上記フォーカス用レンズ群２０ａ、ズーム用レンズ群２０ｂ、絞り５４、およびシャッター５６等からなる光学系の後方には、撮像素子であるＣＣＤ５８が備えられている。ＣＣＤ５８は、多数の受光素子が２次元的に配列されてなる撮像面５８ａを有しており、光学系を通過した被写体光がこの撮像面５８ａに結像され光電変換される。撮像面５８ａの前方には、撮像面５８ａ上の各画素に光を集光させるためのマイクロレンズアレイ（図示せず）と、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されてなるカラーフィルタレイ（図示せず）とが配置されている。ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロック及び水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルのアナログ画像信号として出力する。各画素において電荷を蓄積する時間、すなわち露出時間は、ＣＣＤ制御部５９から与えられる電子シャッター駆動信号によって決定される。

ＣＣＤ５８が出力するアナログ画像信号は、アナログ信号処理部６０に入力される。このアナログ信号処理部６０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ７２はタイミング信号を発生させるものであり、このタイミング信号がシャッター駆動部５７、ＣＣＤ制御部５９、アナログ信号処理部６０に入力されて、シャッタボタン１９の操作と、シャッター５６の開閉、ＣＣＤ５８の電荷の取込み、アナログ信号処理部６０の処理の同期が取られる。フラッシュ制御部７３は、フラッシュ２４の発光動作を制御する。

画像入力コントローラ６１は、上記アナログ信号処理部６０から入力された画像データ（ＣＣＤ−ＲＡＷデータ）をフレームメモリ６８に書き込む。このフレームメモリ６８は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)から構成されている。

表示制御部７１は、例えばフレームメモリ６８に格納された画像データをスルー画として液晶モニタ１８に表示させるためのものであり、輝度（Y）信号と色（C）信号を一緒にして1つの信号としたコンポジット信号に変換して、液晶モニタ１８に出力する。

ＡＦ処理部６２及びＡＥ／ＡＷＢ処理部６３は、プレ画像に基づいて撮像条件を決定する。このプレ画像は、撮影条件を設定するために取得される画像であり、例えば、シャッタボタン１９が半押し状態にされることによって発生した半押し信号を検出したＣＰＵ７５がＣＣＤ５８に被写体の撮像を実行させた結果、フレームメモリ６８に格納された画像データによる画像である。なお、このプレ画像を構成する画素数はスルー画を構成する画素数と同等である。

上記ＡＦ処理部６２は、上記プレ画像あるいは上記スルー画に基づいて画像のコントラストが最大となるピント位置を検出し、フォーカス駆動量データを出力する。

本実施形態においては、通常のピント位置の検出方式として、撮像された画像中のピントが合った被写体についてはコントラストが高くなるという特徴を利用してピント位置を検出するパッシブ方式が適用されている。なおこの点については、後にさらに詳しく説明する。

ＡＥ／ＡＷＢ処理部６３は、上記プレ画像に基づいて被写体の明るさを測定し、絞り値やシャッター速度等を決定し、絞り値データやシャッター速度データを出力するとともに（ＡＥ）、撮像時のホワイトバランスを自動調整する（ＡＷＢ）。

画像処理部６４は、上記本撮像で得られた本画像の画像データに対してガンマ補正，シャープネス補正，コントラスト補正などの画質補正処理を施すとともに、ＣＣＤ−ＲＡＷデータを、輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。

上記本画像は、シャッタボタン１９が全押しされることによって実行される撮像においてＣＣＤ５８から取り込まれる画像であり、アナログ信号処理部６０、画像入力コントローラ６１経由でフレームメモリに格納される画像データによる画像である。本画像の画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、ファイン、ノーマルなどの設定により、記録画素数を変更することができる。一方、スルー画やプレ画像を構成する画素数は、本画像を構成する画素数よりも少なく、例えば、スルー画やプレ画像を構成する画素数は、本画像を構成する画素数の１／１６程度の画素数である。

圧縮／伸長処理部６７は、画像処理部６４によって補正・変換処理が行われた本画像のデータに対して、例えばＪＰＥＧなどの圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて付帯情報が格納されたタグが付加される。また、この圧縮／伸長処理部６７は、再生モードにおいて、外部記録メディア７０から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは液晶モニタ１８に出力される。

メディア制御部６９は、外部記録メディア７０にアクセスして画像ファイルの書き込みと読み込みの制御を行う。

ＣＰＵ７５は、動作モードスイッチ１１Ｄ等の操作系やＡＦ処理部６２等の各種処理部からの信号に応じて、デジタルカメラ１の本体各部を制御する。またデータバス７６は、画像入力コントローラ６１、各種処理部６２〜６７、フレームメモリ６８、各種制御部６９、７１、およびＣＰＵ７５に接続されており、このデータバス７６を介してデジタル画像データ等のやり取り、および撮像条件を設定するための情報伝達や制御等が行われる。

以下、上記構成のデジタルカメラ１によって撮像がなされるとき、ＣＰＵ７５によって制御される処理について、図５に示すフローチャートを参照して説明する。なお、この撮像がなされるときＡＦ処理部６２やＡＥ／ＡＷＢ処理部６３等が行う基本的な処理は上に説明した通りであり、ここでは、特に各部の処理については必要の無い限り省略して、ＣＰＵ７５によって制御される処理の流れを中心に説明する。

まず、図５に示すようにステップＰ１から処理がスタートし、ステップＰ２移行して動作モードが撮像モードであるか再生モードであるかが判別される。ここで、動作モードスイッチ１１Ｄで指定された動作モードが再生モードであると判別された場合、再生処理がなされる。この再生処理は、前述のように外部記録メディア７０から画像ファイルを読み出し、それが示す画像を液晶モニタ１８に出力させる処理である。この再生処理が終了すると、処理の流れは後述するステップＰ１１に移行する。

一方、上記ステップＰ２において動作モードが撮像モードであると判別された場合、次のステップＰ３において撮像モードの種類が判別される。

ここで、撮像モードスイッチ１１Ｓで指定された撮像モードが顔検出ズーム時ピント補正モードである場合にはステップＰ４の顔を検出してズーム時にピント補正する顔検出処理が実行され、撮像モードが通常モードである場合には上記ステップＰ４の処理は実行されることなく通常の撮像モードに移行する。

以下、上記顔検出処理について、上記図４、図６、図７、および、被写体となった顔の大きさと撮像レンズの焦点距離と撮像面上に結像された上記顔の大きさとの関係を示す図８、顔検出に基づくトラッキング曲線を示す図９等を参照して顔検出について説明する。

フローチャートのステップＰ４０１から顔検出処理をスタートし、ステップＰ４０２の顔を検出する検出処理に移行する。ステップＰ４０２では、撮像レンズ２０を通して撮像されたスルー画がデータバス７６を通して検出部８２に入力されるとともに、判別情報記憶部８１から顔であるか否かを判別する判別情報Ｈｊが検出部８２に入力され、検出部８２がスルー画中から上記判別情報Ｈｊに基づいて顔を表す画像を検出する。なお、上記顔検出処理には、例えば前述の特許文献１や特開２００５−２４２６４０号公報等に記載されている従来公知の手法を適用することができる。

次に、ステップＰ４０３の処理に移行し、検出部８２によって顔が検出された場合には、被写体となった顔の大きさを求めるステップＰ４０４の処理に移行し、顔が検出されなかった場合には、ステップＰ４０７の顔検出を行なわない通常のオートフォーカス制御に移行する。

ステップＰ４０４では、撮像レンズ２０から被写体となった顔Ｋまでの距離を求める。このステップＰ４０４では、距離演算部８４は、標準顔寸法記憶部８３から、大人の顔の幅Ｗ１の標準寸法の値、例えば１５０ｍｍを標準顔寸法情報として得るとともに、ＣＰＵ７５から、上記被写体となった顔Ｋを撮像したときの撮像レンズ２０の焦点距離の値Ｆを焦点距離情報として得る。

さらに、上記距離演算部８４は、画像処理部６４から、上記被写体となった顔Ｋを撮像したときの撮像面５８ａ上での上記顔Ｋの大きさを示す撮像寸法情報を得る。ここでは、画像処理部６４により、撮像面５８ａ上での顔Ｋの幅Ｗ２に対応する受光素子数に基づいて上記顔Ｋの撮像面５８ａ上での幅Ｗ２の値、例えば３ｍｍが求められ、この値が上記撮像寸法情報として距離演算部８４へ入力される。

距離演算部８４は、上記標準顔寸法情報である大人の顔の幅Ｗ１の標準寸法の値１５０ｍｍと、撮像レンズ２０の焦点距離の値Ｆと、撮像面５８ａ上での顔Ｋの幅Ｗ１の値３ｍｍとから、撮像レンズ２０から被写体となった顔Ｋまでの実際の距離Ｌを求める。

そして、ズーム用レンズ群２０ｂが移動したか否かを判断するステップＰ４０５の処理に移行する。ズームレンズ駆動部５２を駆動させるための処理を行うＣＰＵ７５が、ズーム用レンズ群２０ｂが移動したと判断したときには、顔検出ズームトラッキングによるフォーカス制御を行なうステップＰ４０６に移行する。一方、上記ＣＰＵ７５が、ズーム用レンズ群２０ｂが移動していないと判断したときには、ステップＰ３１０のリターン処理へ移行する。

上記ステップＰ４０６では、制御部８５のトラッキング曲線取得部８５ａが取得した上記距離演算部８４で求められた実際の距離Ｌに対応するトラッキング曲線Ｔｋを用いて、制御部８５のトラッキング制御部８５ｂがズーム倍率変更時のピント位置のずれを補正する。上記顔検出に基づいて取得されたトラッキング曲線Ｔｋは、上記被写体となった顔Ｋにピント位置が合った状態とするためのズーム用レンズ群の位置Ｐｚとフォーカス用レンズ群の位置Ｐｆとの関係を示すものである。

そして、制御部８５のトラッキング制御部８５ｂが、ズーム用レンズ群２０ｂによるズーム倍率（焦点距離）の変更中に、撮像レンズ２０から上記実際の距離Ｌだけ離れた位置を常に撮像レンズ２０のピント位置にせしめるようにフォーカス用レンズ群２０ａを制御する。

例えば、実際距離Ｌが５ｍの場合には、図９中のトラッキング曲線Ｔｋ３で示される関係を満たすように、トラッキング制御部８５ｂが、ズーム用レンズ群２０ｂの移動に応じてフォーカス用レンズ群２０ａを制御する。

なお、トラッキング曲線取得部８５ａは、距離演算部８４で求められた実際の距離Ｌに対応するトラッキング曲線Ｔｋを、予め入力され記憶された撮像レンズ２０の設計値データ等に基づいて求めるようにしてもよい。

また、予め想定される複数種類の実際の距離、例えば、Ｌ＝１ｍ、２ｍ、５ｍ、無限大に対応する各トラッキング曲線Ｔｋ１、Ｔｋ２、Ｔｋ５、Ｔｋｚを関数の形式でトラッキング曲線取得部８５ａに記憶させておき、このトラッキング曲線取得部８５ａが、上記距離演算部８４で求められた実際の距離Ｌに対応するトラッキング曲線Ｔｋを、上記予め記憶された各トラッキング曲線Ｔｋ１、Ｔｋ２、Ｔｋ５、Ｔｋｚを補完して求めるようにしてもよい。なお上記トラッキング曲線を補完して求める手法については特開２００３−５７５２６号公報等を参照することができる。

そして、ズーム用レンズ群２０ｂの移動が停止するとステップＰ３１０に移行しリターン処理が実行される。

一方、上記ステップＰ４０３の処理で顔が検出されずに、ステップＰ４０７のピント位置を初期設定位置に設定する処理に移行すると、通常のオートフォーカス手法によるピント合わせが実行される。すなわち、顔を検出することなく行なわれる従来より知られているオートフォーカス処理が実行される。

その後、ステップＰ４０８のズーム用レンズ群２０ｂが移動したか否かを判断するの処理に移行する。ステップＰ４０８では、ズームレンズ駆動部５２を駆動させるための処理を行うＣＰＵ７５が、ズーム用レンズ群２０ｂが移動したと判断したときには、顔検出を行なうことなく通常のズームトラッキングによるフォーカス制御を行なうステップＰ４０９に移行する。上記ＣＰＵ７５が、ズーム用レンズ群２０ｂが移動していないと判断したときには、ステップＰ３１０のリターン処理へ移行する。

なお、従来より知られている上記通常のズームトラッキングによるフォーカス制御については、特開２００３−５７５２６号公報等を参照することができる。

上記ステップＰ３１０のリターン処理により、上記ステップＰ４の顔検出処理からステップＰ５に移行する。

ステップＰ５では、シャッタボタン１９が全押しまたは半押しされている状態であると判定された場合に、ピント合わせが実行されるステップＰ６の処理へ移行する。一方、シャッタボタン１９が押されていない状態の場合、すなわちシャッタボタン１９の全押しまたは半押し状態が解除された状態の場合には、再度、顔検出処理を行うステップＰ４の処理に移行する。

上記ステップＰ６の合焦処理では、ＡＦ処理部６２にＡＦ処理の指示が出され、合焦処理がなされる。

合焦処理がなされると、次にステップＰ７の処理において、ＡＥ／ＡＷＢ処理部６３による露出決定の指示が出され、露出決定がなされる。

露出決定がなされると、次にステップＰ８において、シャッタボタン１９が全押し状態か、半押し状態か、押されていない状態かが判別される。

シャッタボタン１９が押されていない状態、すなわち全押しおよび半押し状態の両方が解除された状態の場合には、再度、顔検出処理を行うステップＰ４に戻る。

また、シャッタボタン１９が半押し状態と判別された場合には、再度、ステップＰ７の露出合わせ処理が実行される。

ここで、シャッタボタン１９が全押しされたと判別された場合には、被写体の本撮像を行うステップＰ９の処理に移行する。

ステップＰ９における本撮像が終了すると、次にステップＰ１０において、本撮像で撮像された画像を液晶モニタ１８に表示し、その画像を外部記録メディア７０に記録する処理がなされる。次にステップＰ１１において、レンズカバー２１が閉められて電源がオフにされたか否かが判別される。電源オフになっていない場合、処理はステップＰ２に戻って、次の被写体を撮像するための処理が開始される。電源オフになっている場合は、ステップＰ１３において処理が終了する。

上記のような本発明の手法によれば、従来、予め定められた被写体に対して焦点距離（ズーム倍率）を変更するときに生じるピント位置のずれをトラッキング曲線を用いて補正していたが、本発明の撮像方法および装置では、標準顔寸法情報を記憶させておくことにより、任意の顔を撮像する場合にも上記ズーム倍率を変更するときに生じるピント位置のずれをトラッキング曲線を用いて補正することができる。さらに、被写体となった顔の大きさと、撮像レンズの焦点距離と、撮像面上での上記顔の大きさとに基づいて上記顔までの距離を求めるので、被写界深度の影響を受けることなく顔までの距離を測定することができ、従来に比して、ズーム倍率変更中に生じるピント位置のずれをより正確に補正することができる。

従来のオートフォーカス機能により被写体までの距離を求める方式は、被写界深度の影響により測距精度が低下、特に広角側の測距精度が低下していたが、上記本発明によれば、被写界深度にかかわらず、すなわち広角側でも望遠側でも略同じ測距精度を得ることができ、より正確なピント位置の補正が可能となる。

なお、上記ステップＰ６では、被写体となる顔の領域に対し、互に異なる複数のピント位置において求めた合焦評価値に基づく合焦評価分布を得、この合焦評価値分布中における合焦評価値のピーク値に対応する位置にフォーカス用レンズ群を位置させる。以下、この処理について合焦評価値分布を示す図１０を参照し詳しく説明する。

ステップＰ６の処理ではまず、フォーカスレンズ駆動部５１が、ＡＦ処理部６２から出力される駆動データに基づいてフォーカス用レンズ群２０ａを動作範囲内の全域で光軸方向に移動させる。本実施形態においては、この合焦動作範囲（サーチ範囲）は、一例として最至近側で６０ｃｍ、最遠方側で無限遠に有る物体にそれぞれ合焦させる範囲である。このようにフォーカス用レンズ群２０ａを移動させるときに前述のプレ撮像が複数回実行され撮像された画像データがフレームメモリ６８に格納される。このプレ撮像はフォーカス用レンズ群２０ａを１方向へ段階的に移動させつつ実施され、ＡＦ処理部６２は各位置毎に撮像された画像のコントラストに対応する合焦評価値を求める。そのためにＡＦ処理部６２は、上記プレ画像を示す画像データをフィルタリング処理してその高周波成分を求め、その高周波成分の絶対値を積分した値を合焦評価値とする。ここで、そのためにＡＦ処理部６２は、上記プレ画像を示す画像データをフィルタリング処理してその高周波成分を求め、その高周波成分の絶対値を積分した値を合焦評価値とする。上記のように、撮像レンズ２０のピント位置を１方向に移動させて（フォーカス用レンズ群２０ａを１方向へ移動させて）連続的に求められた合焦評価値を、フォーカス用レンズ群２０ａの位置に応じて示した合焦評価値分布Ｈを図１０に示す。

次に、本撮像に適したピント位置の決定がなされる。ここではＡＦ処理部６２が、図１０に示す、ピント位置を移動させながら連続的求められた合焦評価値分布のピーク値を示す位置Ｌｐを補間処理等によって求め、その位置Ｌｐを本撮像において設定するフォーカス用レンズ群２０ａの位置とする。

なお上述の補間処理等によってフォーカス用レンズ群２０ａの位置Ｌｐを決定する他、実際に求められた合焦評価値の中で最大値を取った位置（図１０の例ならば位置Ｌo）をピーク位置としたり、そのような最大値が２つ存在した場合はそれらの中でより至近側にある位置をピーク位置とする、等の手法を採用してもよい。

また、フォーカス用レンズ群２０ａを動作範囲内全域に移動させることは必ずしも必要ではなく、例えば特開２００４−４８４４６号公報に示されるような「山登り合焦動作」を採用すれば、フォーカス用レンズ群２０ａを動作範囲中の一部の範囲内に移動させれば済む。そのようにすれば、合焦動作の高速化が実現される。

上記のようにして合焦処理が終了すると上記説明済みのステップ７の露出合わせ処理に移行する。

なお、制御部８５は、上記制御を、前記ズーム用レンズ群２０ｂの焦点距離を広角側から望遠側へ変更するときにのみに行なうものとすることができる。

また、検出部８２により顔の検出を行なうときに撮像される画像はスルー画でなく、プレ画像等であってもよい。

また、距離演算部８４は、顔に対してピントを合わせた状態でこの顔を撮像したときに得た焦点距離情報および撮像寸法情報を用いて演算を行なうものとしたり、撮像レンズの焦点距離が広角側に設定されているときにのみ演算を行なうものとすることができる。

以上のように、上記実施形態は本発明をデジタルスチルカメラに適用したものであるが、本発明は静止画を撮像し記録するデジタルスチルカメラに限らず、動画を撮像し記録するビデオカメラ、あるいは長時間に亘って予め定められた場所の動画あるいは静止画を撮像し記録する監視用カメラ等の撮像装置全般に適用可能である。

本発明の実施形態による撮像装置であるデジタルカメラの外観を前面側から見た図 本発明の実施形態による撮像装置であるデジタルカメラの外観を背面側から見た図 デジタルカメラの電気的な構成を示すブロック図 図３のブロック図中の顔検出ズーム時ピント補正部の構成を詳しく示すブロック図 デジタルカメラによる撮像処理の全体の流れを示すフロー図 顔を検出してズーム時のピントを補正する顔検出処理の流れを示すフロー図 被写体となった顔と撮像レンズと撮像面との位置関係を示す図 被写体となった顔の大きさと撮像レンズの焦点距離と撮像面上に結像された上記顔の大きさとの関係を示す図 顔検出に基づくトラッキング曲線を示す図 ピント位置を移動させながら連続的求めた合焦評価値を示す図

符号の説明

１ デジタルカメラ
２０ 撮像レンズ
２０ａ フォーカ用スレンズ
２０ｂ ズーム用スレンズ
５１ フォーカス用レンズ駆動部
５２ ズーム用スレンズ駆動部
５８ ＣＣＤ
５８ａ 撮像面
６５ 顔検出ズーム時ピント補正部
７５ ＣＰＵ
８１ 判別情報記憶部
８２ 検出部
８３ 標準顔寸法記憶部
８４ 距離演算部
８５ 制御部
Ｈｊ 判別情報

Claims (5)

1. ピント位置を変更するためのフォーカス用レンズ群、および焦点距離を変更するためのズーム用レンズ群を有する撮像レンズを備え、該撮像レンズを通して撮像面上に結像させた被写体の像を撮像する撮像装置において、
   予め定められた標準顔寸法情報を記憶させた標準顔寸法記憶手段と、
   顔であるか否かを判別するための判別情報を記憶させた判別情報記憶手段と、
   前記撮像レンズを通して撮像された画像中から顔を表す画像を前記判別情報に基づいて検出する検出手段と、
   前記画像中から顔を表す画像が検出されたときに、前記標準顔寸法情報、前記顔を撮像したときの撮像レンズの焦点距離を示す焦点距離情報、および前記顔を撮像したときの前記撮像面上での前記顔の大きさを示す撮像寸法情報を得、前記各情報を用いて前記撮像レンズから前記顔までの実際の距離を求める距離演算手段と、
   前記ズーム用レンズ群による焦点距離の変更中に、前記検出手段および前記距離演算手段により前記撮像レンズから前記顔までの実際の距離を求めて、該実際の距離だけ離れた位置を常に前記撮像レンズのピント位置にせしめるように前記フォーカス用レンズ群を制御する、顔検出ズームトラッキングによるフォーカス制御を行う制御手段とを備えたことを特徴とする撮像装置。
2. 前記顔の大きさが、人の顔の幅であることを特徴とする請求項１記載の撮像装置。
3. 前記顔の大きさが、人の顔の長さであることを特徴とする請求項１記載の撮像装置。
4. 前記制御手段が、前記制御を、前記ズーム用レンズ群の焦点距離を広角側から望遠側へ変更するときにのみに行なうものであることを特徴とする請求項１から３のいずれか１項記載の撮像装置。
5. ピント位置を変更するためのフォーカス用レンズ群、および焦点距離を変更するためのズーム用レンズ群を有する撮像レンズを通して撮像面上に結像させた被写体の像を撮像する撮像方法において、
   予め定められた標準顔寸法情報、および顔であるか否かを判別するための判別情報を記憶させておき、
   （ａ）前記撮像レンズを通して撮像された画像中から顔を表す画像を前記判別情報に基づいて検出する工程と、
   （ｂ）前記画像中から顔を表す画像が検出されたときに、前記標準顔寸法情報、前記顔を撮像したときの撮像レンズの焦点距離を示す焦点距離情報、および前記顔を撮像したときの前記撮像面上での前記顔の大きさを示す撮像寸法情報を得、前記各情報を用いて前記撮像レンズから前記顔までの実際の距離を求める工程と、
   （ｃ）前記ズーム用レンズ群が移動したことを検出したときに、前記撮像レンズから前記顔までの実際の距離を求めて、該実際の距離だけ離れた位置を常に前記撮像レンズのピント位置にせしめるように前記フォーカス用レンズ群を制御する、顔検出ズームトラッキングによるフォーカス制御を行う工程と、
   （ｄ）前記ズーム用レンズ群による焦点距離の変更中に、工程（ａ）〜（ｃ）の繰り返しを可能とする工程と、
   を有することを特徴とする撮像方法。

Images