JP6735583B2 - ズーム制御装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体 - Google Patents

Description

本発明は、ズーム制御装置を備えた撮像装置に関する。

デジタルカメラ等の撮像装置には、ズームレンズを駆動して光学的な変倍（以下、光学ズーム）を行う機能、及び、画像の一部を拡大して電子的な変倍（以下、電子ズームという）を行う機能を備えたものがある。さらに、被写体検出を行い、特定の被写体に対して自動でズーム倍率を変更するオートズーム（自動変倍）機能を備えた撮像装置もある。このような光学ズーム機能や電子ズーム機能によるズーム動作を制御する技術が特許文献１や特許文献２に記載されている。

特許文献１では、被写体のフレームアウトを防止するオートズーム機能や被写体像の大きさを一定に維持するオートズーム機能について記載されている。特許文献１では、人物の顔の形状や人物以外の被写体の特徴色を検出し、検出した被写体が画角外の方向へ移動して画角からフレームアウトしそうな場合には、ズームレンズをズームアウトさせることでフレームアウトを防止している。また、特許文献１では、検出した被写体が前後方向に移動することで被写体像の大きさが変化する場合には、元の大きさを維持するようにズームレンズを駆動する。

また、特許文献２では、フォーカスレンズのピント位置に基づいて被写体像の大きさを略一定に保つオートズーム機能について記載されている。特許文献２では、オートフォーカス（ＡＦ）制御でピントが合ったときのフォーカス位置から被写体距離を計測し、被写体がカメラに対して前後方向に移動して被写体距離が変化したことを検出する。そして、被写体距離の変化量に相当する被写体像の大きさが変化した分だけズームレンズを駆動することで、被写体像の大きさを略一定に維持している。

特開２０１５−４３５５７号公報 特開平７−１３５５９３号公報

しかしながら、上記特許文献１において人物以外の被写体の特徴色を被写体領域として検出する場合、背景や人物以外の被写体に同系色の領域がある場合や光源が変化する場合には、被写体領域の位置やサイズの検出誤差が大きくなる可能性がある。また、上記特許文献２では、ＡＦによるピント合わせの途中や、被写界深度が深く一意のフォーカス位置に対して広範囲の距離でピントが合うような領域で被写体距離が計測された場合、被写体距離の計測誤差が大きくなる可能性がある。このように人物以外の被写体を対象としてオートズームを行う場合、被写体像の位置やサイズの検出誤差や被写体距離の計測誤差によってオートズームが誤動作したり、正常に動作しない可能性がある。

本発明は、上記課題に鑑みてなされ、その目的は、検出された被写体に応じて適切なズーム制御を行うことができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明のズーム制御装置は、画像から被写体を検出する被写体検出手段と、被写体までの距離を計測する計測手段と、前記被写体検出手段により検出された被写体のサイズに関する情報を含む第１の情報と、前記計測手段により得られた被写体までの距離に関する第２の情報の少なくともいずれかに応じて自動でズーム倍率を変更するズーム制御を行うズーム制御手段と、を有し、前記被写体検出手段により検出された被写体が顔である場合、前記ズーム制御手段は、前記第１の情報を前記第２の情報に対して優先したズーム制御を実行する。

本発明によれば、検出された被写体に応じて適切なズーム制御を行うことができる。

本実施形態の装置構成を示すブロック図。 焦点距離と、被写体距離ごとのフォーカスレンズ位置との関係を例示する図。 被写体検出部の構成を示すブロック図。 フォーカス位置とコントラスト評価値の関係を示す図。 コンティニュアスＡＦモードの状態遷移を示す図。 被写体距離と、焦点距離ごとのフォーカスレンズ位置との関係を例示する図。 人物以外の被写体のフレームアウトを防止する処理の説明図。 人物である被写体のフレームアウトを防止する処理の説明図。 人物である被写体のサイズ変化を防止する処理の説明図。 人物以外の被写体のサイズ変化を防止する処理の説明図。 本実施形態のオートズーム制御の処理手順を示すフローチャート。 図１１の被写体指定処理の詳細を示すフローチャート。 図１１の基準距離設定処理の詳細を示すフローチャート。 図１１のオートズーム制御処理の詳細を示すフローチャート。 図１４のフレームアウト防止制御処理の詳細を示すフローチャート。 図１４のサイズ保持制御処理の詳細であって、実施形態１の処理を示すフローチャート。 図１４のサイズ保持制御処理の詳細であって、実施形態２の処理を示すフローチャート。 本実施形態のズーム動作時の処理手順を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本実施形態に係るズーム制御装置を備えた撮像装置の一例として、オートズーム機能を有するデジタルカメラ１００について説明する。

なお、本実施形態では、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を想定しているが、他のカメラ付き携帯電話やその一種であるスマートフォン、タブレット端末などの情報処理装置であってもよい。

＜装置構成＞
まず、図１を参照して、本実施形態の撮像装置の構成および機能について説明する。

レンズ鏡筒１０１は、その内部にレンズ群を保持している。レンズ鏡筒１０１内のズームレンズ１０２を光軸方向に移動することで焦点距離を調節し、光学的に画角が変更（ズーム位置が移動）される。また、レンズ鏡筒１０１内のフォーカスレンズ１０３を光軸方向に移動することでピントが調節される。防振レンズ１０４は、手ぶれに起因する像ブレを補正するための補正用レンズである。光量を調節する絞り及びシャッタ１０５は露出制御に使用される。なお、本実施形態のデジタルカメラ１００は、レンズ鏡筒１０１とカメラボディとが一体的に構成されているが、これに限らず、レンズユニットがカメラ本体に対して着脱可能なレンズ交換式のカメラ等にも適用可能である。

撮像素子１０６は、レンズ鏡筒１０１を通過した光を受光し、光電変換によって被写体像を電気信号に変換することで撮像信号を生成する。撮像素子１０６はＣＣＤ（電荷結合素子）型またはＣＭＯＳ（相補型金属酸化膜半導体）型のイメージセンサ等である。撮像素子１０６により生成された撮像信号は、画像処理部１０７に入力されて、画素補間処理や色変換処理等の各種画像処理が施され、画像データとして画像メモリ１０８に記憶される。画像メモリ１０８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。

表示部１０９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）等で構成され、撮影された画像データと共に、特定の情報（例えば、撮影情報や追尾枠等）を表示する。このような撮影画像のライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ（ＥＶＦ）機能を実現している。

絞りシャッタ駆動部１１０は、画像処理部１０７での画像処理によって得られた輝度情報に基づいて露出制御値（絞り値及びシャッタ速度）を演算し、演算結果に基づいて絞り及びシャッタ１０５を駆動する。これにより、自動露出（ＡＥ）制御が行われる。防振レンズ駆動部１１１は、ジャイロセンサ等の角速度センサからの情報に基づいてデジタルカメラ１００に加わるぶれ量を演算し、ぶれを打ち消す（または低減する）ように防振レンズ１０４を駆動する。

フォーカスレンズ駆動部１１２は、自動焦点調節（オートフォーカス（ＡＦ））制御に基づきフォーカスレンズ１０３を駆動する。例えばコントラスト方式のＡＦ制御を行う場合、フォーカスレンズ駆動部１１２は、画像処理部１０７での画像処理により得られた撮影光学系の焦点調節情報（コントラスト評価値）に基づいて、被写体にピントが合うようにフォーカスレンズ１０３を駆動する。なお、本実施形態では、コントラスト方式のＡＦ制御に限らず、それ以外のＡＦ制御として位相差ＡＦ方式を適用してもよいし、コントラスト方式と他の方式とを組み合わせた複数の方式によりＡＦ制御を行ってもよい。

ズームレンズ駆動部１１３は、撮影者からのズーム操作指示に従ってズームレンズ１０２を駆動する。操作部１１７は、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等を含む。システム制御部１１４は、ズーム操作部材の操作量及び操作方向に基づいて、ズーム駆動速度やズーム駆動方向を演算し、演算結果に従ってズームレンズ１０２を光軸に沿って移動する制御を行う。

撮影動作によって生成された画像データは、インターフェース（Ｉ／Ｆ）部１１５を介して記録部１１６に出力されて記録される。画像データは、外部記録媒体、または不揮発性のメモリ１１８、あるいはそれらの両方に記録される。外部記録媒体は、デジタルカメラ１００に装着して使用されるメモリカード等である。不揮発性のメモリ１１８は、デジタルカメラ１００に内蔵されている記憶媒体である。メモリ１１８は、プログラムデータや画像データの他に、デジタルカメラ１００の設定情報や、後述するオートズーム機能におけるズームイン位置等の情報を記憶する。

操作部１１７は、上記ズーム操作部材の他、撮影開始を指示するレリーズスイッチ、オートズーム機能の開始や終了を指示するオートズームスイッチ等を含む。操作部１１７からの操作信号はシステム制御部１１４に送られる。

システム制御部１１４は、ＣＰＵ（中央演算処理装置）等の演算装置を含む。システム制御部１１４は、撮影者の操作に応じて各部に制御命令を送ることによりカメラ全体を制御する。また、システム制御部１１４は、メモリ１１８に記憶されている各種の制御プログラム、例えば撮像素子１０６の制御やＡＥ／ＡＦ制御、ズーム制御（オートズーム処理を含む）等を行うためのプログラムを実行する。

＜オートズーム制御＞
次に、システム制御部１１４によるオートズーム機能に関連する制御について説明する。なお、図１にはシステム制御部１１４の内部処理を１１９乃至１２３の各機能ブロックで表している。

光学ズームによる画角変更時に合焦状態を維持するには、レンズ鏡筒１０１がリアフォーカスタイプである場合、ズームレンズ１０２の位置に応じてフォーカスレンズ１０３を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム（ＣＺ）制御という。このＣＺ制御は、システム制御部１１４におけるＣＺ制御部１１９が行う。

図２は、ズームレンズの焦点距離と、ピントが合うフォーカス位置との関係を、被写体までの距離ごとに示すデータテーブルとしてグラフ化して示している。このテーブルをフォーカスカムテーブルと称する。図２において、横軸はズーム位置に対応する焦点距離（Ｆｏｃａｌｌｅｎｇｔｈ）を示し、縦軸はフォーカス位置（Ｆｏｃｕｓ Ｐｏｓｉｔｉｏｎ）を示し、各グラフ線の横には、カメラから被写体までの距離（被写体距離）を示している。システム制御部１１４は、ＡＦ動作時にフォーカスレンズ駆動部１１２を制御してフォーカスレンズ１０３を所定の範囲で移動させることでスキャン動作を行う。このスキャン動作によりコントラスト評価値を取得することで、既知の方法により合焦点であるフォーカス位置が検出される。また、その時のズーム位置とフォーカス位置から、フォーカスカムテーブルを参照することで被写体距離が計測可能である。

次に、システム制御部１１４のうち、オートズーム機能に関連する機能ブロックについて説明する。図１に示すように、システム制御部１１４は、ＣＺ制御部１１９、電子ズーム制御部１２０、追尾枠制御部１２１、オートズーム（ＡＺ）制御部１２２、被写体検出部１２３、ＡＦ制御部１２４を備える。

デジタルカメラ１００は、光学ズーム機能及び電子ズーム機能を有する。ＣＺ制御部１１９及びズームレンズ駆動部１１３は光学ズーム機能に係るレンズの駆動制御を担当する。ＣＺ制御部１１９は、ズーム動作時に所定の制御周期ごとにズームレンズ１０２のズーム位置を検出し、検出したズーム位置に応じて、後述するＡＦ制御部１２４にて計測された被写体距離でのフォーカスカムテーブルに追従するように、ズームレンズ駆動部１１３を制御してフォーカスレンズ１０３を駆動する。これにより、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。

一方、電子ズーム制御部１２０及び画像メモリ１０８は、電子ズーム機能に係る制御を担当する。電子ズーム制御部１２０は、画像メモリ１０８に転送された画像データから対象領域のデータを切り出すことにより、電子ズーム機能を実現する。また、電子ズーム制御部１２０は、撮像素子１０６に取り込む画像のフレームレート周期で切り出す範囲を徐々に大きくしながら表示部１０９に表示させることにより、滑らかな電子ズーム表示を実現する。

被写体検出部１２３は、画像メモリ１０８に記憶された画像データの画像領域から所望の被写体領域を検出する。ここで、画像データに含まれる人物の顔情報または色情報に基づいて被写体（人物等の顔や人物以外の物体）を検出する被写体検出方法としての顔検出処理及び色検出処理について説明する。図３は、本実施形態の被写体検出処理を行う被写体検出部１２３の構成を示している。被写体検出部１２３は、特徴領域検出部３００、追尾部３０１、信頼度算出部３０２を含む。特徴領域検出部３００は、被写体が人物の顔である場合には顔の特徴量を、被写体が人物の顔以外の物体である場合には物体の特徴色を画像から検出して被写体領域（画像内の被写体の位置やサイズ）を推定する。追尾部３０１は、複数の連続したフレーム画像間で移動する被写体を判定し、同一の被写体領域を追尾する。信頼度算出部３０２は、特徴領域検出部３００により検出された被写体領域の被写体としての確からしさを被写体の尤度として算出する。

枠制御部１２１は、表示部１０９に撮影者による被写体指定の目安となる被写体指定枠を表示する。また、枠制御部１２１は、撮影者が指定した被写体を視認できるように、表示部１０９に被写体像を囲むように被写体追尾枠を表示する。枠の画面上での位置やサイズは、顔情報及び色情報に基づいて追尾部３０１が算出し、フレームレート周期で更新される。

まず、特徴領域検出部３００における顔検出処理と色検出処理について説明する。

顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、特徴領域検出部３００は、画像データ上での正方形の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較する。そして特徴領域検出部３００は、両者の相関値が所定の閾値を超える場合、その部分領域を顔領域であると判定する。この判定処理は、部分領域のサイズ、配置位置、配置角度の組み合わせを変更しながら繰り返されることにより、画像中に存在する種々の顔領域を検出できる。また、顔認証機能を有する場合には、予め登録されている顔画像の特徴量と、検出した顔領域の特徴量とで公知のアルゴリズムによりパターンマッチングを実行し、相関値が最も高い登録顔画像を検出している顔として認証する。また、全ての登録顔画像に対する相関値が所定値未満である場合には、検出した顔領域は登録されていない顔であると判定する。

色検出処理では、後述の被写体指定方法に従って指定された被写体領域の色情報を特徴色として記憶する。色検出処理は、検出された被写体が人物の顔以外の物体である場合に実行される。色情報には、画像処理部１０７からの出力信号であるＲＧＢ信号や輝度信号（Ｙ）及び色差信号（Ｒ−Ｙ、Ｂ−Ｙ）等を用いる。被写体検出時に、特徴領域検出部３００は、画像データを複数の部分領域に分割し、部分領域ごとの輝度及び色差の平均値を算出する。また、特徴領域検出部３００は、予め記憶されている特徴色情報と被写体検出時の各領域の色情報を比較し、輝度及び色差の差分が所定量以下の部分領域を被写体領域の候補とする。この被写体領域の候補で隣り合う部分領域の一群を同一色領域として、同一色領域が所定のサイズ範囲となる領域を最終的な被写体領域とする。被写体が人物の顔以外の物体である場合、物体によって被写体領域の形状が異なる可能性がある。そこで、同一色領域が全て包含される最小の四角形の領域を物体領域とする。したがって、物体領域は、水平方向と垂直方向の大きさが異なる長方形の領域となる場合もある。また、物体領域の位置としては、四角形状の領域の中心位置とする。

次に、追尾部３０１における被写体追尾処理について説明する。被写体追尾処理とは、連続するフレーム画像の間で移動する被写体領域をピントを合わせる対象として追い続ける処理である。オートズーム機能が開始されると後述の被写体指定方法に従って主被写体とする人物もしくは物体領域が指定される。指定された被写体が人物、すなわち顔である場合、フレーム画像中の全ての顔を検出する。同一の画像で複数の顔を検出した場合には、追尾部３０１によって直前のフレーム画像での顔の位置に最も近い顔を追尾する人物と判定する。また、検出した顔が顔認証機能によって登録されている顔であった場合には、フレーム画像間の位置関係によらず認証された顔を優先して追尾する人物と判定する。一方、指定された被写体が人物の顔以外の物体である場合、特徴色情報の比較処理の開始位置を直前のフレーム画像の物体領域の位置から開始する。移動する物体の速度よりもフレームレートが十分に高い場合には、前後のフレーム画像間で近傍の領域に同一の物体が検出される可能性が高い。そこで、追尾部３０１によって直前の物体領域の位置を起点として左右上下に比較する部分領域をずらしながら同一色領域のマッチング処理を行うことで、移動する物体領域を追尾することが可能となる。

次に、信頼度算出部３０２における被写体の信頼度の算出処理について説明する。検出した被写体が顔領域である場合には、顔の構成要素（口や目、鼻など）から成る領域と相関値が高い領域であることから、実際の顔のサイズに対して検出した顔領域のサイズとの誤差は比較的少ない。これに対して、被写体が人物の顔以外の物体、すなわち同一色領域を検出する場合には、背景や主被写体以外の被写体で同系色の領域がある場合や光源の変化の影響などによって物体領域の位置やサイズの誤差が顔領域と比較すると大きくなる可能性がある。そこで、本実施形態では、被写体が人物の顔以外の物体である場合には、被写体の尤度、すなわち、被写体としての確からしさをズーム動作の開始判定に用いることでオートズームが誤作動することを防止する。被写体の確からしさを妨げる要因としては、被写体の変化、類似の被写体の存在、追尾誤差の蓄積があげられる。これらの要因をマッチング処理や被写体領域の推定から取得される各種評価値を乗じることで被写体の尤度を算出する。

被写体領域が指定されたときに記憶する被写体の特徴色の輝度及び色差と、フレーム画像ごとに検出される部分領域の輝度及び色差との差分が大きいほど被写体の変化が大きいことを示す。そこで、信頼度算出部３０２において、被写体の特徴色と物体領域を構成する部分領域の輝度及び色差の差分の絶対和を部分領域数で正規化した値を算出し、この値が大きくなるほど被写体の尤度が小さくなるようにする。

また、追尾部３０１によって判定された追尾する被写体領域とは別の領域に被写体の特徴色と同一色領域を検出した場合、類似の被写体領域が存在する可能性が高い。類似の被写体領域の位置と追尾している被写体領域の位置が近い場合には違う被写体に乗り移った可能性がある。また、部分領域ごとの輝度及び色差のヒストグラムを算出し、特定の範囲に偏った分布となっている場合には被写体と背景とが同一系統色であるか、識別が難しい被写体が指定された可能性が高い。そこで、信頼度算出部３０２において被写体領域間の距離が所定値よりも小さい場合やヒストグラムの特定のビンが所定値より大きい場合には、被写体の尤度が小さくなるようにする。

さらに、被写体の確からしさが一度低くなると、その後の被写体追尾の信頼度も低くなる。そのため、被写体の尤度の算出において被写体の尤度の履歴を加味する。例えば、所定期間の被写体の尤度の平均値を現在のフレーム画像の被写体の尤度として扱う。以上のようにして信頼度算出部３０２は被写体の尤度を算出する。

ＡＦ制御部１２４は、ＡＦ制御を行う際にフォーカスレンズ駆動部１１２を制御して、フォーカスレンズ１０３を所定の範囲で移動させることによりスキャン動作を行う。スキャン動作中に得られるコントラスト評価値等を用いて、合焦点であるフォーカス位置が検出される。そのときのズーム位置及びフォーカス位置を用い、フォーカスカムテーブルを参照することによって、被写体距離を計測することができる。

＜オートフォーカス制御＞
次に、図４から図６を参照して、本実施形態のＡＦ制御部１２４によるＡＦ制御の詳細と被写体距離の計測方法について説明する。

図４は、コントラスト方式のＡＦ制御におけるフォーカス位置（Ｆｏｃｕｓ Ｐｏｓｉｔｉｏｎ）とコントラスト評価値（Ｃｏｎｔｒａｓｔ Ｅｖａｌｕａｔｉｏｎ Ｖａｌｕｅ）の関係を例示している。コントラスト評価値は、ハイパスフィルタ等によって画像の高周波成分を数値化した値である。コントラスト評価値が高いほど、合焦度が高いことを示している。また、ＡＦ制御には、静止画撮影でレリーズスイッチを半押ししたときに動作するシングルＡＦモードと、被写体をフレーミングするＥＶＦ画面や動画撮影中にピントを常時合わせ続けるコンティニュアスＡＦモードの二つの制御モードがある。シングルＡＦモードは、被写体距離を無限から至近になるまで一気にフォーカスレンズ１０３を移動させることでコントラスト評価値の山のピークとなるフォーカス位置を高速に検出するモードである。シングルＡＦモードは、高速でピント位置を見つけることができる反面、スキャン動作中には画面が一瞬大ぼけとなる場合もある。そのため、出来るだけレリーズタイムラグを短縮したい静止画撮影時のＡＦ制御に適している。一方、コンティニュアスＡＦモードは、動いている被写体などを追い続ける場合に、ピントの変動が目立たない程度の範囲でフォーカスレンズ１０３を反転させるなどしてピントを合わせ続けるモードである。コンティニュアスＡＦモードは、大ぼけの状態から合焦状態となるまでには時間がかかる反面、一旦合焦状態となると被写体が動いていてもピントを合わせ続けることができる。そのため、被写体をフレーミングするＥＶＦ画面や、動いている被写体であっても常にピントを合わせ続ける動画撮影時のＡＦ制御に適している。ＡＺ制御部１２２は、コンティニュアスＡＦモードで被写体にピントを合わせ続けているときの被写体距離の変化量に基づいてズームレンズ１０２を動かすことで、オートズーム機能を実現する。

次に、図５を用いて、コンティニュアスＡＦモードによるピント追従処理について説明する。図５は、コンティニュアスＡＦモードの状態遷移を例示している。コンティニュアスＡＦモードの状態は、微小駆動状態５００、山登り駆動状態５０１、停止状態５０２の３つの状態によって構成される。コンティニュアスＡＦモードが開始されると、初期状態として微小駆動状態５００に遷移する。微小駆動では、無限方向と至近方向へピント変動が目立たない程度の狭い範囲でフォーカスレンズ１０３の反転動作を行う。コントラスト評価値が低い場合、すなわち、フォーカス位置が評価値の山の裾野である場合には、反転動作によって評価値が増加する方向を判定して、山のピーク位置が至近方向にあるか無限方向にあるかの判定を行うことができる。微小駆動で山のピークの方向が判定されると、山登り駆動状態５０１に遷移する。山登り駆動では、山のピークの方向に向かって大きくフォーカスレンズ１０３を移動させ、評価値が増加から減少に反転する山のピーク位置の検出を行う。山登り駆動でピーク位置を検出すると、再び微小駆動状態５００に遷移する。微小駆動では、評価値が高い場合、すなわち、フォーカス位置が評価値の山のピーク位置付近である場合には、山登り駆動よりも細かくフォーカスレンズ１０３を反転動作させながら評価値の変化を判定することで、さらに細かく山のピーク位置を追い込むことができる。山のピーク位置付近での微小駆動によってピント位置を検出すると、停止状態５０２に遷移すると共にフォーカスレンズ１０３を停止させて、合焦状態を示す合焦フラグをＯＮにする。また、微小駆動で所定回数反転動作を繰り返しても詳細なピーク位置を検出できなかった場合には、再度、山登り駆動によってフォーカスレンズ１０３を大きく動かしてピーク位置を検出する。山登り駆動でフォーカスレンズ１０３を無限端もしくは至近端まで動作させても山のピーク位置を検出できない場合には、被写体が合焦可能な範囲外に存在している可能性がある。したがって、この場合、停止状態５０２に遷移すると共にフォーカスレンズ１０３を無限端もしくは至近端で停止させて、合焦フラグをＯＦＦにする。停止状態５０２では、評価値が変動したか否か定期的に判定する。停止状態５０２で評価値が変動すると、被写体が移動したと判定して再度微小駆動状態５００に遷移して、被写体が移動した方向を判定する。以上のように、コンティニュアスＡＦモードでは、微小駆動、山登り駆動、停止を繰り返すことで、動いている被写体にピントを追従させ続けることができる。

次に、図６を用いて、オートズーム制御で参照される被写体距離の計測方法と、計測した被写体距離の信頼度について説明する。図６（Ａ）は、図２で示すフォーカスカムテーブルを、被写体距離（Ｄｉｓｔａｎｃｅ）と、その被写体距離でピントが合うフォーカス位置（Ｆｏｃｕｓ Ｐｏｓｉｔｉｏｎ）との関係として、特定の焦点距離ごとにグラフ化して示している。図６（Ａ）において、横軸は被写体距離を対数目盛で示し、縦軸はフォーカス位置を示す。各グラフ線の横に示す数値は、ズーム位置に対応する焦点距離である。フォーカスカムテーブルは、特定の焦点距離や被写体距離に対応するフォーカス位置を示すデータ群であり、メモリ１１８に記憶している。ＡＦ制御部１２４は、フォーカスレンズ駆動部１１２からフォーカス位置を、ＣＺ制御部１１９を介してズームレンズ駆動部１１３からズーム位置を取得する。取得したズーム位置に対応する焦点距離のフォーカスカムテーブルを参照して、取得したフォーカス位置に対応する被写体距離を検索する。取得したフォーカス位置やズーム位置と同じ値がフォーカスカムテーブル上にない場合には、フォーカスカムテーブルに存在する近傍の値から補間演算を行って被写体距離を算出する。また、予め既知の距離の被写体にピントを合わせたフォーカス位置を計測してフォーカスカムテーブルのデータを個体ごとに調整することで、より正確に被写体距離を計測することが可能となる。

図６（Ｂ）は、ピントが合うフォーカス位置を被写体距離で微分したグラフ、すなわち、図６（Ａ）のグラフの傾き（被写体距離１ｍあたりのフォーカス位置の変化量（以下、フォーカス変化率（Ｆｏｃｕｓ Ｐｏｓｉｔｉｏｎ Ｒａｔｅ））を示している。図６（Ｂ）において、横軸は被写体距離を対数目盛で示し、縦軸は被写体距離に対するフォーカス変化率を対数目盛で示す。各グラフ線の横に示す数値は、ズーム位置に対応する焦点距離である。図６（Ｂ）に示すように、フォーカス変化率は、焦点距離が望遠側または被写体距離が至近側になるほど大きく、焦点距離が広角側または被写体距離が無限側になるほど小さい。フォーカス変化率が小さい範囲では、被写体距離の変化に対してピントの変化が少ないため、実際に被写体が移動してもＡＦ制御によってフォーカス位置が変更されない可能性がある。したがって、フォーカス変化率が小さい範囲では、被写体距離の計測精度、すなわち、信頼度が低いと考えられる。そこで、本実施形態では、被写体距離の変化に応じてオートズームを行う場合、フォーカス変化率が所定値よりも小さい範囲では被写体距離によるオートズームを実行しないようにしてオートズームが誤作動することを防止している。

また、フォーカス変化率は、被写界深度と同様の傾向を示す値である。すなわち、フォーカス変化率が小さい範囲では、被写体距離が変化してもピントの変化が小さく、被写界深度が深いことを示している。フォーカス変化率が大きい範囲では、少しの被写体距離の変化でもピントが変化し、被写界深度が浅いことを示している。一般的に被写界深度は、焦点距離が望遠側または被写体距離が至近側になるほど浅くなり、焦点距離が広角側または被写体距離が無限側になるほど深くなる特徴があり、図６（Ｂ）に示したフォーカス変化率と同様の傾向を示す。そこで、被写体距離の信頼度としてフォーカス変化率の代わりに被写界深度を算出して、被写界深度に応じてオートズームの実行／非実行を判定してもよい。被写界深度は以下の式によって算出することができる。

前方被写界深度＝（許容錯乱円径×絞り値×被写体距離²）／（焦点距離²＋許容錯乱円径×絞り値×被写体距離）
後方被写界深度＝（許容錯乱円径×絞り値×被写体距離²）／（焦点距離²−許容錯乱円径×絞り値×被写体距離）
被写界深度＝前方被写界深度＋後方被写界深度
なお、許容錯乱円径は、撮像素子１０６の画素サイズによって決まる値である。また、被写界深度を算出するのではなく、被写界深度算出式を構成する項である焦点距離や被写体距離、絞り値を個別に被写体距離の信頼度として判定してもよい。

姿勢検出部１２５は、加速度センサの情報に基づいてカメラの姿勢（例えば正位置／グリップ上／グリップ下）を検出する。揺れ検出部１２６は、ジャイロセンサによる角速度情報等に基づいてカメラのぶれ状態を判定により検出する。揺れ検出部１２６は、ジャイロセンサ等に加わるぶれ量（検出値）が所定量（閾値）以上である場合にカメラが手持ち状態であると判定し、所定量未満である場合には三脚等に固定された状態であると判定する。姿勢検出及び揺れ検出に用いる加速度センサ及びジャイロセンサについては、防振レンズ駆動部１１１の制御情報を取得するための検出センサと兼用する構成でもよい。

次に、本実施形態におけるオートズーム機能の概要と、ＡＺ制御部１２２について説明する。オートズーム機能を搭載していないカメラでは、撮影者が望遠状態でフレーミングしてシャッタチャンスを待っている間に被写体が動いてフレームアウトした場合等において、以下の操作が必要であった。

まず撮影者は、操作部１１７に含まれるズームレバー等によりズームアウト操作を行ってから被写体を探索する。被写体の探索後、撮影者は再び所望の画角になるまでズーム操作を行って画角調整する。また、被写体が動いたために被写体像のサイズが変わった場合等においても、撮影者はズームレバー等を操作して被写体像のサイズを調整する必要があった。

一方、オートズーム機能を搭載しているカメラでは、撮影者がオートズーム機能を設定した後、タッチパネル等で被写体を指定する操作を行い、撮影したい被写体を指定しておけばよい。オートズーム機能が設定されると、指定された被写体を画像の中央付近で所定のサイズに収めるように、自動でズーム動作が行われる。なお、被写体の指定方法としてはタッチパネル操作以外に、撮影者が特定のボタンを操作したときに画面中央付近にいる被写体を指定する方法や、カメラが検出した被写体の中から自動的に主被写体を選択する方法等がある。

被写体検出部１２３は、画像メモリ１０８から指定された被写体領域の画像データ上での位置やサイズを算出する。この処理を、ライブビューとして画像表示するごとに、サンプリングの画像データに対して連続的に行うことにより、被写体の動きを追尾可能となる。追尾している被写体の画像が後述するズームアウト領域で検出された場合や、検出した被写体像が所定のサイズよりも大きくなった場合、ＡＺ制御部１２２はズームアウト動作を開始する。すなわち、ＡＺ制御部１２２はＣＺ制御部１１９または電子ズーム制御部１２０に対して、広角方向へのズームアウト指示を行う。被写体をズームイン領域内に検出し、かつ、被写体像が所定のサイズの範囲内に収まった場合には、望遠側へズームイン動作が行われる。このような処理により、撮影者はズーム操作を気にせず、所望の被写体の画像を画面内に収めるようにカメラを動かすだけでよい。仮に、被写体がフレームアウトしそうになった場合でも、自動的にズーム倍率が変更されるため、より簡単に画角合わせを行うことができる。

＜ズーム動作の開始判定条件＞
次に、図７から図１０を参照して、ズームアウト動作やズームイン動作の開始判定条件について説明する。図７は、人物以外の被写体が画面外へフレームアウトすることを防止する処理を示している。図８は、人物が画面外へフレームアウトすることを防止する処理を示している。

図７及び図８において、枠７００ａ及び枠７００ｂは人物以外の被写体（モノ）を追尾する第１の追尾枠（以下、モノ追尾枠）であり、枠８００ａ〜ｆは被写体（人物の顔）を追尾する第２の追尾枠（以下、顔追尾枠）である。以下では、被写体が人物の顔と人物の顔以外の物体のいずれにも適用可能な場合、モノ追尾枠及び顔追尾枠を総称して被写体追尾枠ということもある。被写体追尾枠は、撮影者が指定した被写体を判別できるように、表示部１０９のＥＶＦ画面にて被写体像を囲むように表示される。被写体追尾枠の画面上での位置及びサイズは、顔情報及び色情報に基づいて被写体検出部１２３の追尾部３０１が算出し、フレームレート周期で更新される。

図７を参照して、被写体（飛行機）が画面外にフレームアウトすることを防止する処理について説明する。図７（Ａ）にてズームアウト（ＺＯ）領域は、ＥＶＦ画面に表示される画角全体（画面全体）に対して所定の比率よりも外側の領域を示している。例えば、画面の中心点を０％、画面全体を１００％とし、画面全体に対して８０％となる位置をＺＯ領域の境界として設定する場合を想定する。この場合、画面全体における８０〜１００％の領域がＺＯ領域となる。ＺＯ領域にモノ追尾枠７００ａの一部が進入すると、ＡＺ制御部１２２は、ズームアウト動作を開始させる制御を行う。また、ＡＺ制御部１２２は、ズーム移動前のズーム倍率（ズームイン画角に相当）をメモリ１１８に記憶する。ズームアウト動作中の目標ズーム倍率やズーム速度は、被写体像のサイズや移動速度に応じて予め設定される。また、目標ズーム倍率やズーム速度を被写体像のサイズや移動速度に応じて適宜算出してもよい。ズームアウト動作は、その目標ズーム倍率やズーム速度に従って実行される。これにより、被写体のフレームアウトを効果的に防止することができる。

図７（Ｂ）は、図７（Ａ）の画角から、所定のズーム変化量分に相当するズームアウト動作が行われたときの画角を示している。図７（Ｂ）に示すズームイン（ＺＩ）領域は、被写体探索状態においてズームイン画角（ズームアウト前の画角）７０１に対して所定の比率よりも内側の領域を示している。例えば、画面の中心点を０％とし、ズームイン画角７０１を１００％とし、ズームイン画角７０１に対して７０％となる位置をＺＩ領域の境界として設定する場合を想定する。この場合、ズームイン画角７０１の全体における０〜７０％の領域がＺＩ領域となる。このとき、例えばズームアウト倍率が１／２倍である場合、ズームイン画角７０１は画面全体に対して５０％の大きさとなる。よって、ＺＩ領域の境界は画面全体に対して７０％×（１／２）＝３５％であり、ＺＩ領域は、画面全体に対して０〜３５％の領域であるとも言える。撮影者が、ＺＩ領域の内部にモノ追尾枠７００ｂが収まるようにカメラの向きを変更すると、ＡＺ制御部１２２は、ズームイン動作を開始させる制御を行う。

次に、図８を参照して、本実施形態のズーム動作において被写体（人物）が画面外にフレームアウトすることを防止するためのフレームアウト防止制御について説明する。被写体が人物の顔である場合に、顔追尾枠の一部がＺＯ領域に進入するとズームアウト動作が開始し、また顔追尾枠がＺＩ領域の内部に収まるとズームイン動作が行われる。被写体が人物の顔である場合には人物の顔以外の物体の場合とは異なり、被写体の移動方向をある程度予測できるため、予測される移動方向の領域に応じてＺＯ領域及びＺＩ領域が設定される。また、手持ちでの撮影では、手ぶれ等の影響によって被写体がフレームアウトしてしまう場合がある。しかし、手ぶれ等によって被写体がフレームアウトした場合には、撮影者が被写体をフレームインさせようとする動作によってフレームインし直すことが可能である。ここで、画面の上部にＺＯ領域を設定した場合、人物を中央付近に配置して撮影するときにもＺＯ領域に顔追尾枠が進入してしまい、意図せずズームアウトする場合がある。そこで、被写体が人物の顔であって、かつ手持ち状態（撮影者がカメラを把持した状態）である場合には、撮影者のフレーミング操作を考慮して、画面の上部にはＺＯ領域が設定されない。

このように、本実施形態では、被写体検出部１２３で顔が検出された場合、ＡＺ制御部１２２は、カメラの姿勢や揺れ状態に応じてＺＯ領域及びＺＩ領域を変更する。カメラの姿勢（縦位置や横（正）位置等）は姿勢検出部１２５により検出され、また、カメラの揺れ状態は揺れ検出部１２６による検出結果から判定される。揺れ検出部１２６による検出結果とは、カメラが手持ち状態であるか否かを示す情報である。以下、図８（Ａ）から（Ｃ）を参照して、本実施形態によるズームアウト領域及びズームイン領域の設定処理について具体的に説明する。

図８（Ａ）は、撮影者が手持ちでカメラを正位置に構えたときに設定されるＺＯ領域及びＺＩ領域を示している。このような撮影シーンで、被写体が水平方向に移動してフレームアウトする場合、画面内での被写体の位置は正位置の画面に対して水平方向（長手方向）に移動する。そこで、ＺＯ領域及びＺＩ領域はいずれも、正位置の画面に対して垂直方向（短手方向）の縦帯状に配置される。ＺＯ領域は、横長の長方形の画面にて水平方向の両端寄りに位置する縦帯状に設定され、ＺＩ領域は、画面の中央部に位置する縦帯状に設定される。この場合、顔追尾枠８００ａがＺＯ領域内に進入すると、ＡＺ制御部１２２はズームアウト開始を判定し、所定のズーム倍率分に対応するズームアウト動作を行う。また、顔追尾枠８００ｂがＺＩ領域内に包含されると、ＡＺ制御部１２２はズームイン開始を判定し、ズーム戻り位置まで所定のズーム倍率分に対応するズームイン動作を行う。このようにＺＯ領域及びＺＩ領域を設定することで、被写体（人物）のフレームアウトを効果的に防止できる。

図８（Ｂ）は、図８（Ａ）と同様の撮影シーンにてカメラ姿勢が変更され、撮影者がグリップ下もしくはグリップ上の縦位置状態にカメラを構えたときに設定されるＺＯ領域及びＺＩ領域を示している。この場合、縦位置の画面に対して垂直方向（長手方向）の縦帯状にＺＯ領域及びＺＩ領域が配置される。つまり、ＺＯ領域は、縦長の長方形の画面にて水平方向の両端寄りに位置する縦帯状に設定され、ＺＩ領域は、画面の中央部に位置する縦帯状に設定される。この場合、顔追尾枠８００ｃがＺＯ領域内に進入すると、ＡＺ制御部１２２はズームアウト開始を判定し、所定のズーム倍率分に対応するズームアウト動作を行う。また、顔追尾枠８００ｄがＺＩ領域内に包含されると、ＡＺ制御部１２２はズームイン開始を判定し、ズーム戻り位置まで所定のズーム倍率分に対応するズームイン動作を行う。このようにＺＯ領域及びＺＩ領域を設定することで、水平方向への被写体の動きを検出し、フレームアウトを効果的に防止できる。

図８（Ｃ）は、揺れ検出部１２６での検出状態が固定状態のときに設定されるＺＯ領域及びＺＩ領域を示している。固定状態とは、三脚等によってカメラが固定されている状態であり、手ぶれによるフレームアウトの可能性はない。さらには、画面の中央付近に被写体がフレームインしていないときにズームイン動作を行うとフレームアウトしてしまう可能性がある。そこで、画面の周辺部全体にＺＯ領域が設定され、ズームイン画角よりも内側にＺＩ領域が設定される。つまり、ＺＯ領域は、画面の縦方向及び横方向の端寄りに位置する矩形帯状に設定され、ＺＩ領域は、画面の中央部に位置する矩形状に設定される。この場合、顔追尾枠８００ｅがＺＯ領域内に進入すると、ＡＺ制御部１２２はズームアウト動作の開始を判定し、所定のズーム倍率分に対応するズームアウト動作を行う。また、顔追尾枠８００ｆがＺＩ領域内に包含されると、ＡＺ制御部１２２はズームイン動作の開始を判定し、ズーム戻り位置まで所定のズーム倍率分に対応するズームイン動作を行う。

以上のように、本実施形態によれば、カメラの姿勢（縦位置／正位置）や撮影状態（手持ち状態／固定状態）の変化に応じてＺＯ領域及びＺＩ領域の各範囲が動的に変更されるので、手ぶれ等による誤作動を防止しながら、被写体のフレームアウトを効果的に防止できる。なお、カメラの姿勢（縦位置／正位置）と撮影状態（手持ち状態／固定状態）のうちいずれかに応じてＺＯ領域やＺＩ領域を変更してもよく、ＺＯ領域とＺＩ領域のいずれか一方のみを変更してもよい。

次に、図９及び図１０を参照して、本実施形態のズーム動作において被写体像が画面に占める割合を所定の範囲内に保つためのサイズ保持制御について説明する。

本実施形態では、検出された被写体像のサイズが基準サイズの所定倍より大きく変化した場合に自動でズーム動作を行うことで、被写体像のサイズを基準サイズから所定の範囲内に保つように制御（サイズ保持制御）が行われる。図９は人物である被写体のサイズ保持制御を示し、図１０は人物以外の被写体のサイズ保持制御を示している。

まず、図９を用いて、人物である被写体のサイズ保持制御に係るズーム動作を説明する。図９（Ａ）〜図９（Ｃ）は、被写体（人物）がカメラに近づいてきた場合に、カメラが自動的に行うズーム動作を示している。これは、被写体像が画面に占める割合を所定の比率内に収めるためのズームアウト動作である。なお、図９では、顔追尾枠９００ａ〜９００ｆが、被写体である人物の特徴領域として顔領域を囲むように表示されている。したがって、以下では顔追尾枠の大きさを、被写体のサイズとして説明する。

図９（Ａ）は、後述する被写体指定方法に従って被写体が指定されたときの画角を示している。被写体指定時に、指定された被写体のサイズに基づいて顔追尾枠９００ａが決定され、顔追尾枠９００ａの大きさは、基準の被写体サイズ（基準サイズ）としてメモリ１１８に記憶される。図９（Ｂ）は、図９（Ａ）の状態からズーム倍率を変更しない状態で、被写体がカメラに向かって近づいてきたときの画角を示している。例えば、基準の被写体サイズである顔追尾枠９００ａの大きさに対して１５０％となる大きさをズームアウト動作の開始サイズとする。被写体追尾枠（顔追尾枠）の関係が、「顔追尾枠９００ｂ＞顔追尾枠９００ａ×１５０％」となったとき、つまり、基準サイズに対して所定の変化量を超えて追尾枠が変化したときに、ＡＺ制御部１２２はズームアウト動作の開始を判定する。

図９（Ｃ）は、図９（Ｂ）の画角から所定のズーム倍率分だけズームアウトした画角と、顔追尾枠９００ｃを示している。ここでは、ズームアウト動作を開始するときの顔追尾枠サイズの基準被写体サイズに対する変化率（１５０％）を考慮して、所定のズーム倍率を１／１．５倍としている。その後、さらに被写体がカメラに近づいてくる場合、さらに広角側へズームアウトを行うことにより、被写体像を所定の比率内に収め続けることができる。したがって、撮影者はレリーズスイッチの操作だけに集中することが可能である。

一方、図９（Ｄ）から図９（Ｆ）は、被写体である人物がカメラから遠ざかる場合に、カメラが自動的に行うズーム動作を示している。これは、被写体像が画面に占める割合を所定の範囲内に収めるためのズームイン動作である。図９（Ｄ）は、後述する被写体指定方法に従って被写体が指定されたときの画角を示している。被写体指定時の顔追尾枠９００ｄの大きさは、基準の被写体サイズとしてメモリ１１８に記憶される。

図９（Ｅ）は、図９（Ｄ）の状態からズーム倍率を変更しない状態で、被写体がカメラから遠ざかったときの画角を示している。例えば、基準の被写体サイズである顔追尾枠９００ｄの大きさに対して５０％となる大きさをズームイン動作の開始サイズとする。顔追尾枠の関係が、「顔追尾枠９００ｅ＜顔追尾枠９００ｄ×５０％」となったときに、基準サイズに対して所定の変化量を超えて追尾枠が変化したと判定される。この判定条件を満たし、かつ、顔追尾枠９００ｅがＺＩ領域内に包含されると、ＡＺ制御部１２２はズームイン動作の開始を判定する。ここで、図９（Ｅ）の画角に対して所定のズーム倍率分だけズームインした画角よりも内側にＺＩ領域が設定される。

図９（Ｆ）は、図９（Ｅ）の画角から所定のズーム倍率分だけズームインした画角と、顔追尾枠９００ｆを示している。ここでは、ズームイン動作を開始するときの顔追尾枠サイズの基準被写体サイズに対する変化率（５０％）を考慮して、所定のズーム倍率を１／０．５倍としている。

次に、図１０を用いて、人物以外の被写体のサイズ保持制御に係るズーム動作を説明する。被写体が人物の顔以外の物体（飛行機）である場合には、同一色となる領域を被写体のサイズとして検出するため、被写体が人物の顔である場合の顔領域よりも検出誤差が大きくなる。そこで、本実施形態では、ズーム動作の開始判定条件にＡＦ制御部１２４で計測する被写体距離も併用することでオートズーム制御の精度を高めている。被写体距離と被写体サイズの関係は、反比例の関係にある。例えば、デジタルカメラ１００から１０ｍの距離にいる被写体が５ｍの距離まで１／２倍だけ近づいた場合、被写体サイズは約２倍だけ大きさが変化する。したがって、被写体サイズの変化倍率の逆数、すなわち、被写体距離の変化倍率だけズーム倍率を変更することで、被写体が画面に占める割合を所定の範囲内に保つことが可能となる。以下、図１０（Ａ）から（Ｆ）を参照して、本実施形態のズーム動作によるサイズ保持制御について具体的に説明する。なお、被写体サイズに応じたズーム動作については、被写体が人物の顔の場合と同様であるため、説明を省略する。

図１０（Ａ）〜図１０（Ｃ）は、被写体（飛行機）がカメラに近づいてきた場合に、カメラが自動的に行うズーム動作を示している。これは、被写体像が画面に占める割合を所定の比率内に収めるためのズームアウト動作である。なお、図１０では、モノ追尾枠１０００ａ〜１０００ｆを、被写体である飛行機の特徴領域として物体領域を囲むように表示している。

図１０（Ａ）は、後述する被写体指定方法により被写体が指定されたときの画角を示している。被写体指定時に、指定された被写体までの距離がＡＦ制御部１２４によって計測され、計測された被写体距離が基準の被写体距離（基準距離）として決定されて、メモリ１１８に記憶される。図１０（Ｂ）は、図１０（Ａ）の状態からズーム倍率を変更しない状態で、被写体がカメラに向かって近づいてきたときの画角を示している。例えば、基準の被写体距離に対して１／２倍となる距離をズームアウト動作の開始距離とする。ＡＦ制御部１２４によって計測された被写体距離の関係が、「被写体距離＜基準距離／２」となったときに、ＡＺ制御部１２２はズームアウト動作の開始を判定する。

図１０（Ｃ）は、図１０（Ｂ）の画角から所定のズーム倍率分だけズームアウトした画角と、モノ追尾枠１０００ｃを示している。ここでは、ズームアウト動作を開始するときの基準距離に対する変化率（１／２倍）を考慮して、所定のズーム倍率を１／２倍としている。その後、さらに被写体がカメラに近づいてくる場合、さらに広角側へズームアウトを行うことにより、被写体像を所定の比率内に収め続けることができる。したがって、撮影者はレリーズスイッチの操作だけに集中することが可能である。

一方、図１０（Ｄ）〜図１０（Ｆ）は、被写体である飛行機がカメラから遠ざかる場合に、カメラが自動的に行うズーム動作を示している。これは、被写体像が画面に占める割合を所定の範囲内に収めるためのズームイン動作である。図１０（Ｄ）は、後述する被写体指定方法に従って被写体が指定されたときの画角を示している。被写体指定時の被写体距離は、基準の被写体距離としてメモリ１１８に記憶される。

図１０（Ｅ）は、図１０（Ｄ）の状態からズーム倍率を変更しない状態で、被写体がカメラから遠ざかったときの画角を示している。例えば、基準の被写体距離に対して２倍となる距離をズームイン動作の開始サイズとする。ＡＦ制御部１２４によって計測された被写体距離の関係が、「被写体距離＞基準距離×２」となったときに、基準距離に対して所定の変化量を超えて距離が変化したと判定される。この判定条件を満たし、かつ、モノ追尾枠１０００ｅがＺＩ領域内に包含されると、ＡＺ制御部１２２はズームイン動作の開始を判定する。ここで、図１０（Ｅ）の画角に対して所定のズーム倍率分だけズームインした画角よりも内側にＺＩ領域が設定される。

図１０（Ｆ）は、図１０（Ｅ）の画角から所定のズーム倍率分だけズームインした画角と、モノ追尾枠１０００ｆを示している。ここでは、ズームイン動作を開始するときの被写体距離の基準距離に対する変化率（２倍）を考慮して、所定のズーム倍率を２倍としている。

以上のように、本実施形態によれば、被写体が人物の顔以外の場合には、被写体距離と被写体サイズの一方、もしくは、両方が変化した倍率に応じてズーム倍率を変更することで、画面内におけるサイズを保つことができる。

＜オートズーム制御の処理手順＞
次に、図１１から図１７のフローチャートを参照して、本実施形態のオートズーム制御の処理手順について説明する。なお、図１１から図１７の処理は、システム制御部１１４がメモリ１１８から読み出した制御プログラムを実行することで実現される。また、本実施形態のオートズーム機能は、特に明示的な記載がない限り、システム制御部１１４（ＡＺ制御部１２２）が制御指令に基づいて各部を制御することで実現される。

まず、図１１を用いてオートズーム制御全体の処理手順を説明する。

Ｓ１１００では、ＡＺ制御部１２２は、操作部１１７に含まれるオートズームスイッチの操作状態を監視しながらオートズーム機能がＯＮされるのを待ち、オートズーム機能がＯＮされるとＳ１１０１に進む。その後、ＡＺ制御部１２２は、被写体指定処理（Ｓ１１０１）、基準サイズ設定処理（Ｓ１１０２）、基準距離設定処理（Ｓ１１０３）、オートズーム制御（Ｓ１１０４）を順次実行する。

Ｓ１１０１からＳ１１０４での処理が終了するとＳ１１０５に進む。Ｓ１１０５では、ＡＺ制御部１２２は、追尾する被写体が変更されたか否かを判定し、変更された場合にはＳ１１０１に戻り、変更されていない場合にはＳ１１０６に進む。

Ｓ１１０６では、ＡＺ制御部１２２は、操作部１１７に含まれるオートズームスイッチの操作状態を監視しながらオートズーム機能がＯＮされているか否かを判定し、ＯＮされていない場合には処理を終了し、ＯＮされている場合にはＳ１１０４に戻り、オートズーム制御を継続する。

＜被写体指定処理＞
ここで、図１２を用いて、Ｓ１１０２の被写体指定処理について説明する。図１２（Ａ）は、操作部１１７に含まれるタッチパネルを用いて撮影者が所望の被写体を指定する処理を示している。本実施形態では、撮影者が表示部１０９に表示された被写体像をタッチして指定する操作を行うものとする。Ｓ１２００では、ＡＺ制御部１２２は、タッチパネルがタッチされたか否かを判定し、タッチされた場合はＳ１２０１に進み、タッチされない場合にはタッチされるまで判定処理を繰り返す。Ｓ１２０１では、ＡＺ制御部１２２は、撮影者がタッチした位置（タッチ位置）の情報を取得する。Ｓ１２０２では、ＡＺ制御部１２２は、タッチ位置を被写体検出部１２３に通知し、被写体検出部１２３はタッチ位置付近で顔検出を行う。Ｓ１２０２でタッチ位置付近に顔が検出された場合、ＡＺ制御部１２２は、主被写体は人物であると判定し、Ｓ１２０３に進む。また、Ｓ１２０２にてタッチ位置付近に顔が検出されなかった場合、ＡＺ制御部１２２は、主被写体は人物以外の物体であると判定し、Ｓ１２０４に進む。

Ｓ１２０３では、ＡＺ制御部１２２は、自動追尾の対象である人物の顔情報をメモリ１１８に記憶する。顔情報としては、例えば、被写体指定時の顔のサイズと顔の検出位置、顔の向き等の情報がある。また、顔認証機能を有するカメラでは、認証ＩＤ等の識別情報もメモリ１１８に記憶される。

Ｓ１２０４では、ＡＺ制御部１２２は、タッチ位置付近の特徴色を自動追尾対象の色情報としてメモリ１１８に記憶する。色情報としては、例えば、被写体指定時の特徴色とその輝度、色差の値や同一色領域のサイズ、同一色領域の重心位置等の情報がある。また、モノ認証機能を有するカメラでは、認証ＩＤ等の識別情報もメモリ１１８に記憶される。以下では、顔情報及び色情報を総称して、被写体情報（被写体の位置やサイズ等を含む）ともいう。

Ｓ１２０５では、ＡＺ制御部１２２は、被写体追尾枠を表示する。ＡＺ制御部１２２は、被写体検出位置を中心にて、被写体サイズに対応した大きさの被写体追尾枠（モノ追尾枠または顔追尾枠）を表示部１０９に表示し、被写体指定処理が終了する。

このようにシステム制御部１１４にて、被写体検出部１２３は、表示部１０９において撮影者により指定された位置、または指定された位置の近傍で被写体を検出する。そしてＡＺ制御部１２２は、被写体追尾枠を表示部１０９に表示させる。図１２（Ａ）の処理によれば、撮影者が追尾したい被写体を、直感的な方法で簡単に指定可能となる。ただし、被写体の指定方法は上述した方法に限定されない。図１２（Ｂ）は、図１２（Ａ）とは別の指定方法として、操作部１１７を構成する操作部材として、オートズームスイッチとは別のスイッチ（被写体指定用スイッチ）を用いて、撮影者が被写体を指定する場合の処理を示している。

Ｓ１２０６では、ＡＺ制御部１２２は、表示部１０９の画面中央付近に被写体指定の目安となる被写体指定枠を表示する。撮影者は、この被写体指定枠を目安として追尾したい被写体像を画面中央付近に収めるようにカメラの向きを調整する。

Ｓ１２０７では、ＡＺ制御部１２２は、被写体指定用スイッチが押下されたか否かを判定し、押下された場合はＳ１２０８に進み、押下されない場合には押下されるまで判定処理を繰り返す。

Ｓ１２０８では、被写体検出部１２３は、画面中央付近で顔検出を行う。ＡＺ制御部１２２は、顔が検出された場合、主被写体は人物であると判定し、Ｓ１２０９に進む。一方、ＡＺ制御部１２２は、顔が検出されなかった場合、主被写体は人物以外の物体であると判定し、Ｓ１２１０に進む。

図１２（Ｂ）のＳ１２０９からＳ１２１１では、図１２（Ａ）のＳ１２０３からＳ１２０５と同様の処理を行う。

このように図１２（Ｂ）の処理では、被写体検出部１２３が表示部１０９の画面中央位置または画面中央位置の近傍で被写体を検出する。ＡＺ制御部１２２は、被写体の位置を示す被写体追尾枠を表示部１０９に表示させる。タッチパネル等の操作手段を搭載しないカメラにおいても、撮影者は被写体を簡単に指定可能となる。

図１２（Ｃ）は、図１２（Ａ）とは別の方法として、操作部１１７に含まれるオートズームスイッチが押下されたときに検出された顔の中から、追尾する被写体を自動的に選択する処理を示している。

Ｓ１２１２では、被写体検出部１２３は、画面全体で顔検出を行い、人物の顔が検出されたか否かを判定する。被写体検出部１２３は、画面全体でひとつでも顔が検出された場合、主被写体は人物であると判定し、Ｓ１２１３に進む。また、被写体検出部１２３は、画面内にひとつも顔が検出されない場合にはＳ１２１７に進む。

Ｓ１２１３では、被写体検出部１２３は、検出した顔の人物がひとりの場合、その顔を主顔として選択する。被写体検出部１２３は、検出した顔が複数の場合、その顔の中から追尾する被写体とする主顔を選択する。主顔選択の判定基準として、例えば、顔検出位置がより画面中央付近に位置する顔を優先して選択する方法がある。また、画面中央から同程度の位置に複数の顔がある場合、サイズのより大きい顔を主顔として選択する方法がある。また、顔認証機能を有するカメラの場合には、認証登録されている顔がある場合、その顔を優先して主顔とする方法がある。

Ｓ１２１４では、ＡＺ制御部１２２は、Ｓ１２０３と同様に、選択された主顔の顔情報をメモリ１１８に記憶し、Ｓ１２１５に進む。Ｓ１２１５では、ＡＺ制御部１２２は、Ｓ１２０５と同様に、顔追尾枠を画面上に表示させる。Ｓ１２１６では、ＡＺ制御部１２２は、顔の変更判定を行う。つまり、複数の顔が検出された場合に自動で選択された主顔が撮影者の意図する顔であるとは限らない。そのために、撮影者が主顔を変更することが可能である。このとき、撮影者が操作部１１７（オートズームスイッチ等）を押下して所望の顔を指定すると、顔追尾枠が検出された顔の中から主顔として選択されなかった別の顔に主顔を変更する処理を行う。Ｓ１２１６にて主顔が変更された場合は、Ｓ１２１４に戻り、ＡＺ制御部１２２は、メモリ１１８に記憶すべき顔情報を更新し、Ｓ１２１５にて顔追尾枠が、新たに選択された主顔のサイズ及び検出位置に変更される。

一方、Ｓ１２１２からＳ１２１７に進んだ場合、被写体検出部１２３は、主被写体は人物以外の物体であると判定し、ＡＺ制御部１２２は、Ｓ１２０４と同様に、画面中央付近の特徴色を自動追尾対象の色情報としてメモリ１１８に記憶する。Ｓ１２１８では、ＡＺ制御部１２２は、Ｓ１２０５と同様に、モノ追尾枠を画面上に表示し、処理を終了する。

このように図１２（Ｃ）の処理では、システム制御部１１４の被写体検出部１２３が表示部１０９の画面全体において顔検出を行う。ＡＺ制御部１２２は、複数の顔が検出された場合、複数の顔の中から被写体として第１の顔の位置を示す被写体追尾枠を表示部１０９に表示する。また、ＡＺ制御部１２２は、被写体として第１の顔が第２の顔に変更された場合、第２の顔の位置を示す被写体追尾枠を表示部１０９に表示する。これにより、撮影者は、より少ない操作回数で所望の被写体を簡単に指定できる。

なお、被写体指定処理については、カメラが操作部１１７に含まれるタッチパネルと被写体指定用スイッチの両方を備える場合には、図１２（Ａ）の方法と図１２（Ｂ）の方法との両方を同時に適用してもよい。また、処理フローに応じて適用する被写体指定処理を変更してもよい。

＜基準距離設定処理＞
次に、図１３を用いて、Ｓ１１０３の基準距離設定処理について説明する。

ＡＺ制御部１２２は、図１１のＳ１１０２の被写体指定処理で指定された被写体までの被写体距離を基準距離としてメモリ１１８に記憶し、後述するオートズーム制御において参照する。

Ｓ１３００では、ＡＺ制御部１２２は、被写体指定処理にて指定された被写体が人物の顔であるか否かを判定する。Ｓ１３００で、被写体が人物の顔であると判定された場合は、処理を終了する。ＡＺ制御部１２２は、被写体が人物の顔の場合、顔領域の検出サイズの信頼度は比較的高いため、被写体距離の情報は参照せずに被写体サイズのみに基づいてオートズーム制御を実行する。Ｓ１３００で被写体が物体であると判定された場合はＳ１３０１に進む。ＡＺ制御部１２２は、被写体が人物の顔以外の物体の場合、特徴色領域の被写体サイズと被写体距離の情報を併用してオートズーム制御を実行する。

Ｓ１３０１では、ＡＺ制御部１２２は、ＡＦ制御部１２４によるコンティニュアスＡＦモードでのＡＦ制御状態が図５の停止状態５０２で、かつ、合焦フラグがＯＮである状態、すなわち、ピントが合っている状態か否かの判定を行う。そして、ＡＺ制御部１２２は、ピントが合っていない場合には、ＡＦ制御によってピントが合う状態となるまで判定処理を繰り返し、ピントが合っている状態であると判定されると、Ｓ１３０２に進む。

Ｓ１３０２では、ＡＺ制御部１２２は、フォーカス変化率が所定値以上であるか否かを判定する。フォーカス変化率の算出方法としては、ＡＦ制御部１２４によって合焦状態でのフォーカス位置と、ズーム位置に対応する焦点距離から図６（Ａ）で示すフォーカスカムテーブルを参照することで被写体距離を計測する。さらに、図６（Ａ）で示すフォーカスカムテーブルの当該する焦点距離のデータにおいて、計測した被写体距離近傍での傾きを算出してフォーカス変化率とする。ＡＺ制御部１２２は、算出したフォーカス変化率が所定値未満である場合には、計測した被写体距離の信頼度が低いため、被写体距離を基準距離としてメモリ１１８に記憶せずに処理を終了し、フォーカス変化率が所定値以上である場合には、Ｓ１３０３に進む。

Ｓ１３０３では、ＡＺ制御部１２２は、計測した被写体距離を基準距離としてメモリ１１８に記憶して処理を終了する。

＜オートズーム制御＞
次に、図１４を用いて、図１１のＳ１１０４でのオートズーム制御について説明する。

Ｓ１４００では、ＡＺ制御部１２２は、被写体検出部１２３で被写体が検出されたか否かを判定し、被写体が検出されなかった場合には処理を終了し、被写体が検出された場合にはＳ１４０１へ進む。

Ｓ１４０１では、ＡＺ制御部１２２は、Ｓ１４００で検出された被写体が人物の顔であるか否かを判定する。そして、被写体が人物の顔であると判定された場合はＳ１４０３に進み、被写体が物体であると判定された場合はＳ１４０２に進む。

Ｓ１４０２では、ＡＺ制御部１２２は、被写体が物体であるので、被写体検出部１２３で検出した被写体の特徴色に基づいて、オートズーム制御の対象とする被写体の領域としての確からしさを判定する。被写体検出部１２３は、検出した特徴色の被写体としての確からしさを示す被写体の尤度を算出する。被写体の尤度は、図１２（Ａ）、（Ｂ）、（Ｃ）のＳ１２０４、Ｓ１２１０、Ｓ１２１７でメモリ１１８に記憶された指定被写体の特徴色と検出した特徴色との差分、画像内での類似の特徴色の有無、画像全体の色の分布（被写体の色と背景色の識別可否）などに基づいて算出される。そして、被写体の尤度が所定値未満である場合には、ＡＺ制御部１２２は、検出した被写体の位置やサイズの信頼度が低いことによって誤作動することを防止するため、オートズーム制御を終了する。この場合、表示部１０９にオートズーム制御が実行できないことを通知する表示を行ってもよい。例えば、オートズーム機能がＯＮであることをアイコンで表示している場合にはアイコンの色をグレーアウトする方法やモノ追尾枠の色をグレーアウトする方法、「被写体を検出できません」等の文字列を表示する方法などがある。また、被写体の尤度が所定値以上である場合には、Ｓ１４０３に進む。すなわち、被写体が人物の顔であるか、被写体検出の信頼度が高い物体であると判定されると、Ｓ１４０３でフレームアウト防止制御が実行される。

＜フレームアウト防止制御＞
ここで、図１５を用いて、Ｓ１４０３のフレームアウト防止制御について説明する。フレームアウト防止制御は、図７及び図８で説明したように、被写体が画面外にフレームアウトすることを防止するために実行される。

Ｓ１５００では、ＡＺ制御部１２２は、追尾対象とする被写体に係る被写体追尾枠がＺＯ領域に進入したか否かを判定する。ＺＯ領域は、図７（Ａ）、図８（Ａ）〜（Ｃ）で説明したＺＯ領域に相当する。Ｓ１５００にて被写体追尾枠がＺＯ領域に進入した場合、すなわち、被写体がフレームアウトする可能性が高い場合、Ｓ１５０３に進み、ズームアウト動作を開始する。ここでのズームアウト動作は、フレームアウト防止制御によるズームアウト動作に相当する。ズームアウト動作の後、フレームアウト防止制御を終了する。一方、Ｓ１５００にて被写体追尾枠がＺＯ領域に進入していない場合、すなわち、画面中央付近でカメラが被写体を捉えている場合、Ｓ１５０１に進む。

Ｓ１５０１では、ＡＺ制御部１２２は、直前のズーム動作がＳ１５００でＺＯ領域に進入したことによるズームアウト動作であるか否か、すなわち、フレームアウト防止制御によるズームアウト動作であるか否かを判定する。Ｓ１５０１でフレームアウト防止制御によるズームアウト動作後であると判定された場合、Ｓ１５０２に進み、Ｓ１５０１でフレームアウト防止制御によるズームアウト動作後ではないと判定された場合は処理を終了する。

Ｓ１５０２では、ＡＺ制御部１２２は、追尾対象とする被写体に係る被写体追尾枠がＺＩ領域の内部に収まっているか否か（包含されているか否か）を判定する。ＺＩ領域は、図７（Ｂ）、図８（Ａ）〜（Ｃ）で説明したＺＩ領域に相当する。Ｓ１５０２にて被写体追尾枠がＺＩ領域に収まっていないと判定された場合は処理を終了し、被写体追尾枠がＺＩ領域に収まっていると判定された場合は、Ｓ１５０４に進む。すなわち、画面中央付近であって、かつズーム戻り位置の画角内の被写体サイズとなるようにカメラが被写体を捉えている場合、Ｓ１５０４でズームイン動作を開始する。ここでのズームイン動作は、フレームアウト防止制御によるズームイン動作に相当する。

Ｓ１５０５では、ＡＺ制御部１２２は、被写体が移動したことによってフレームアウト防止制御が実行されたことが想定されるため、図１３の基準距離設定処理によって基準距離を更新して、処理を終了する。

図１４の説明に戻り、Ｓ１４０３のフレームアウト防止制御が終了すると、Ｓ１４０４に進む。Ｓ１４０４では、ＡＺ制御部１２２は、直前のズーム動作が図１５のＳ１５００でＺＯ領域に進入したことによるズームアウト動作であるか否か、すなわち、フレームアウト防止制御によるズームアウト動作であるか否かを判定する。ＡＺ制御部１２２は、Ｓ１４０４でフレームアウト防止制御によるズームアウト動作後であると判定された場合は処理を終了し、フレームアウト防止制御によるズームアウト動作後でないと判定された場合は、Ｓ１４０５に進み、サイズ保持制御を行う。本実施形態では、オートズーム機能におけるフレームアウト防止制御とサイズ保持制御とを両立させるために、まずフレームアウト防止制御により被写体を画面中央付近に収めてからサイズ保持制御を実行できるようにする。そのため、フレームアウト防止制御によるズームアウト動作後は、後述する被写体サイズを一定に維持するサイズ保持制御を実行しないようにしている。換言すると、フレームアウト防止制御が実行された場合には、フレームアウト防止制御によるズームイン動作が完了するまでサイズ保持制御の実行が制限される。

＜実施形態１のサイズ保持制御＞
次に、図１６及び図１７を用いて、図１４のＳ１４０５のサイズ保持制御について説明する。サイズ保持制御は、図９及び図１０で説明したように、被写体像のサイズを基準サイズから所定の範囲内に保つために行われる。図１６は実施形態１のサイズ保持制御を示している。実施形態１では、被写体が人物の顔以外の物体であって被写体距離の信頼度が高い場合には被写体距離（第２の情報）のみでオートズーム制御を実行し、被写体距離の信頼度が低い場合には被写体サイズ（第１のの情報）のみでオートズーム制御を実行する。Ｓ１６００からＳ１６０５までの処理は、ズーム動作の開始判定条件を設定する処理である。

Ｓ１６００では、ＡＺ制御部１２２は、Ｓ１４００で検出された被写体が人物の顔であるか否かを判定する。そして、被写体が人物の顔であると判定された場合はＳ１６０１に進み、被写体が人物の顔以外の物体であると判定された場合はＳ１６０２に進む。

Ｓ１６０１では、ＡＺ制御部１２２は、被写体サイズの信頼度が比較的高いので、ズーム動作の開始判定に用いる被写体サイズの変化倍率を人物以外の物体の変化倍率よりも小さい１．４倍に設定し、被写体サイズの変化に対する応答性を高くしている。

Ｓ１６０２では、ＡＺ制御部１２２は、ＡＦ制御部１２４によるコンティニュアスＡＦモードでのＡＦ制御状態が図５の停止状態５０２で、かつ、合焦フラグがＯＮである状態、すなわち、ピントが合っている状態か否かの判定を行う。Ｓ１６０２でピントが合っていると判定されるとＳ１６０３に進み、ピントが合っていないと判定されるとＳ１６０４に進む。

Ｓ１６０３では、ＡＺ制御部１２２は、図１３の基準距離設定処理でフォーカス変化率が所定値以上となって基準距離が設定されているか否かの判定を行う。Ｓ１６０３で基準距離が設定されていないと判定されるとＳ１６０４に進み、基準距離が設定されていると判定されるとＳ１６０５に進む。すなわち、Ｓ１６０２でピントが合っていない、もしくは、Ｓ１６０３で基準距離が設定されていない場合は、計測した被写体距離の信頼度が低いので、被写体サイズの情報のみでオートズーム制御を実行する。

Ｓ１６０４では、ＡＺ制御部１２２は、ズーム動作開始の判定に用いる被写体サイズの変化倍率を人物の変化倍率よりも大きい２倍に設定する。すなわち、Ｓ１６０２でピントが合っていて、かつ、Ｓ１６０３で基準距離が設定されていると判定されると、被写体距離の情報のみでオートズーム制御を実行する。Ｓ１６０５では、ＡＺ制御部１２２は、ズーム動作の開始判定に用いる被写体距離の変化倍率を１．６倍に設定する。

Ｓ１６０６からＳ１６１２までの処理は、被写体サイズや被写体距離の変化倍率に基づいてズーム動作開始を判定し、ズーム動作を実行する。Ｓ１６００で被写体が人物の顔であると判定された場合や、Ｓ１６０２およびＳ１６０３で被写体が人物の顔以外の物体であって計測した被写体距離の信頼度が低いと判定された場合には、Ｓ１６０６に進む。Ｓ１６０６では、ＡＺ制御部１２２は、図１４のＳ１４００にて検出された被写体の検出サイズと、基準サイズに対してＳ１６０１またはＳ１６０４で設定された倍率Ｎを乗算（Ｎ倍）したサイズとを比較する。被写体の検出サイズが、基準サイズに対してＮ倍より大きい場合、すなわち被写体像が画面に占める比率が所定値を超える場合、Ｓ１６１１に進む。

Ｓ１６１１では、ＡＺ制御部１２２は、ズームアウト動作を開始する。このズームアウト動作は、サイズ保持制御用のズームアウト動作に相当する。一方、Ｓ１６０６において、被写体の検出サイズが、基準サイズに対してＮ倍以下である場合、Ｓ１６０７に進む。

Ｓ１６０７では、ＡＺ制御部１２２は、被写体の検出サイズと、基準サイズとを比較する。被写体の検出サイズが、基準サイズに対してＳ１６０１またはＳ１６０４で設定された倍率Ｎで除算（１／Ｎ倍）したサイズより小さい場合、すなわち被写体像が画面に占める比率が所定値未満である場合、Ｓ１６１０に進む。一方、被写体の検出サイズが、基準サイズに対して１／Ｎ倍以上である場合、オートズーム制御を終了する。

Ｓ１６１０では、ＡＺ制御部１２２は、追尾対象とする被写体に係る被写体追尾枠がＺＩ領域の内部に収まっているか否か（包含されているか否か）を判定する。これは、被写体が画面の周辺にある場合にズームイン動作によってフレームアウトしてしまうことを防ぐためである。このＺＩ領域は、図９（Ｅ）及び図１０（Ｅ）で説明したＺＩ領域に相当する。Ｓ１６１０で被写体追尾枠がＺＩ領域に収まっていないと判定された場合には、オートズーム制御を終了し、被写体追尾枠がＺＩ領域に収まっていると判定された場合はＳ１６１２に進む。

Ｓ１６１２では、ＡＺ制御部１２２は、ズームイン動作を開始する。このズームイン動作は、サイズ保持制御用のズームイン動作に相当する。このように、本実施形態では、サイズ保持制御用のズームイン動作においても被写体のフレームアウトを防ぐために、被写体像がＺＩ領域の内部に収まってからズームイン動作を開始する。ズームイン動作の後、Ｓ１６１３に進む。

Ｓ１６１３では、ＡＺ制御部１２２は、図１３の基準距離設定処理によって基準距離を更新して、処理を終了する。

一方、Ｓ１６０２からＳ１６０３の判定で、被写体が人物の顔以外の物体であって計測した被写体距離の信頼度が高いと判定された場合には、Ｓ１６０８に進む。Ｓ１６０８では、ＡＺ制御部１２２は、計測した被写体距離と、基準距離に対してＳ１６０５で設定された倍率を除算（１／Ｍ倍）した距離とを比較する。ＡＦ制御部１２４にて計測した被写体距離が、基準距離に対して１／Ｍ倍より小さい場合、すなわち被写体が所定距離より近づいた場合、Ｓ１６１１に進む。

Ｓ１６１１では、ＡＺ制御部１２２は、ズームアウト動作を開始する。一方、Ｓ１６０８において、計測した被写体距離が、基準距離に対して１／Ｍ倍以上である場合、Ｓ１６０９に進む。Ｓ１６０９では、ＡＺ制御部１２２は、計測した被写体距離と、基準距離とを比較する。計測した被写体距離が、基準距離に対してＳ１６０５で設定された倍率を乗算（Ｍ倍）したサイズより大きい場合、すなわち被写体が所定距離より遠ざかった場合、Ｓ１６１０に進む。一方、計測した被写体距離が、基準距離に対してＭ倍以下である場合、オートズーム制御を終了する。

＜実施形態２のサイズ保持制御＞
次に、図１７を用いて、実施形態２のサイズ保持制御について説明する。実施形態２では、被写体が人物の顔以外の物体であって被写体距離の信頼度が高い場合には被写体距離（第２の情報）と被写体サイズ（第１の情報）の両方を用いてオートズーム制御を実行し、被写体距離の信頼度が低い場合には被写体サイズ（第１の情報）のみでオートズーム制御を実行する。実施形態１と実施形態２とでは、被写体が人物の顔以外の物体であって計測された被写体距離の信頼度が高い場合のズーム動作の開始判定処理が異なっている。以下では相違点を中心に説明を行う。

Ｓ１７００からＳ１７０４の処理は、図１６の１６００からＳ１６０４の処理と同様である。Ｓ１７００、Ｓ１７０２およびＳ１７０３で、被写体が人物の顔以外の物体であって計測した被写体距離の信頼度が高いと判定されると、Ｓ１７０５に進む。Ｓ１７０５では、ＡＺ制御部１２２は、被写体サイズの変化倍率である基準サイズ／検出サイズの除算値と、被写体距離の変化倍率である計測距離／基準距離の除算値を比較し、被写体サイズと被写体距離の変化倍率の差が所定値未満であるか否かの判定を行う。すなわち、被写体サイズの変化と被写体距離の変化が同程度の変化倍率である場合、被写体の検出サイズや計測距離の信頼度が高いと推定できる。そこで、被写体サイズの変化倍率と被写体距離の変化倍率の比較結果によって、ズーム動作の開始判定条件を変更する。Ｓ１７０５で被写体サイズの変化倍率と被写体距離の変化倍率との差が所定値未満であると判定された場合はＳ１７０６に進む。Ｓ１７０６およびＳ１７０７では、被写体サイズと被写体距離の変化倍率の差が小さいので、ＡＺ制御部１２２は、ズーム動作の開始判定条件である被写体距離及び被写体サイズの変化倍率を１．６倍に設定する。一方、Ｓ１７０５で被写体サイズの変化倍率と被写体距離の変化倍率の差が所定値以上であると判定されるとＳ１７０８に進む。Ｓ１７０８及びＳ１７０９では、ＡＺ制御部１２２は、被写体サイズと被写体距離の変化倍率の差が大きいので、ズーム動作の開始判定条件である被写体距離及び被写体サイズの変化倍率を２倍に設定する。

Ｓ１７１３では、ＡＺ制御部１２２は、計測した被写体距離と、基準距離に対してＳ１７０６またはＳ１７０８で設定された倍率を除算（１／Ｍ倍）した距離とを比較する。計測した被写体距離が、基準距離に対して１／Ｍ倍より小さい場合、すなわち被写体が所定距離よりも近づいたと判定された場合、Ｓ１７１５に進む。Ｓ１７１５では、ＡＺ制御部１２２は、ズームアウト動作を開始する。一方、計測した被写体距離が、基準距離に対して１／Ｍ倍以上である場合は、Ｓ１７１４に進む。

Ｓ１７１４では、ＡＺ制御部１２２は、計測した被写体距離と、基準距離に対してＳ１７０６またはＳ１７０８で設定された倍率を乗算（Ｍ倍）した距離とを比較する。計測した被写体距離が、基準距離のＭ倍より大きい場合、すなわち被写体が所定距離よりも遠ざかったと判定された場合、Ｓ１７１２に進む。一方、計測した被写体距離が、基準距離のＭ倍以下である場合、Ｓ１７１０に進む。実施形態２のサイズ保持制御では、被写体距離によって被写体の移動が判定されなかった場合、引き続き、被写体サイズによって被写体の移動の判定を行う。Ｓ１７１０からＳ１７１７では、図１６のＳ１６０６からＳ１６１３の処理と同様に、Ｓ１７０７もしくはＳ１７０９で設定された倍率によって被写体サイズの変化判定を行う。

＜ズーム動作＞
次に、図１８を用いて、図１５のＳ１５０３およびＳ１５０４、図１６のＳ１６１１およびＳ１６１２、図１７のＳ１７１５およびＳ１７１６でのズームアウト動作またはズームイン動作について説明する。

Ｓ１８００では、ＡＺ制御部１２２は、メモリ１１８からズーム変化量（ズーム倍率の変化量）を取得する。フレームアウト防止制御によるズームアウト動作の場合、ズームアウト変化量は検出された被写体情報に応じて設定される。具体的には、フレームアウト防止制御によるズームアウト動作（図１５のＳ１５０３）では、被写体のサイズが小さいほどズームアウト変化量が小さく設定される。このようにすることで、ズームアウト動作によって被写体のサイズが小さくなりすぎたことにより被写体が検出できなくなる状態を回避することができる。なお、被写体検出可能な最小サイズを考慮して、被写体のサイズが所定のサイズより小さい場合は、ズームアウト動作を行わないようにしてもよい。また、フレームアウト防止制御によるズームイン動作では、ズームアウト動作の開始前のズーム倍率がメモリ１１８に記憶され、ズームアウト動作の開始前と同じズーム倍率となるようにズームイン変化量が設定される。

また、サイズ保持制御での被写体サイズに基づくズームアウト動作（図１６のＳ１６１１、図１７のＳ１７１５）では、Ｓ１６０６または１７１０の判定に用いる所定のＮ倍に対応するズームアウト変化量（１／Ｎ倍）が設定される。それにより、被写体が検出できない場合でも、被写体のサイズが基準被写体のサイズとなるまでの最低限のズームアウト動作を行うことができる。サイズ保持制御での被写体サイズに基づくズームイン動作（図１６のＳ１６１２、図１７のＳ１７１６）の場合にも同様に、Ｓ１６０７またはＳ１７１１の判定に用いる所定の１／Ｎ倍に対応するズームイン変化量（Ｎ倍）が設定される。さらに、サイズ保持制御での被写体距離に基づくズームアウト動作（図１６のＳ１６０８、図１７のＳ１７１３）においては、Ｓ１６０８または１７１３の判定に用いる所定の１／Ｍ倍に対応するズームアウト変化量（１／Ｍ倍）が設定される。これにより、被写体サイズを判定しない場合でも、被写体のサイズがほぼ同じになるようなズームアウト動作を行うことができる。サイズ保持制御での被写体距離に基づくズームイン動作（図１６のＳ１６０９、図１７のＳ１７１４）の場合にも同様に、Ｓ１６０９またはＳ１７１４の判定に用いる所定のＭ倍に対応するズームイン変化量（Ｍ倍）が設定される。

Ｓ１８０１では、ＡＺ制御部１２２は、Ｓ１８００にて取得したズーム変化量をＣＺ制御部１１９または電子ズーム制御部１２０に設定し、変倍処理を開始する。

Ｓ１８０２では、ＡＺ制御部１２２は、フレームアウト防止制御とサイズ保持制御のいずれのズーム動作中であるかを判定する。現時点でのズーム動作がフレームアウト防止制御によるズーム動作である場合（図１５のＳ１５０３、Ｓ１５０４）にはＳ１８０６に進む。また、現時点でのズーム動作がサイズ保持制御用のズーム動作である場合（図１６のＳ１６１１、Ｓ１６１２、図１７のＳ１７１５、Ｓ１７１６）にはＳ１８０３に進む。

Ｓ１８０３では、ＡＺ制御部１２２は、被写体サイズに基づくサイズ保持制御であるか、被写体距離に基づくサイズ保持制御であるか否かを判定する。被写体サイズに基づくサイズ保持制御である場合にはＳ１８０４に進み、被写体距離に基づくサイズ保持制御である場合にはＳ１８０６に進む。Ｓ１８０４では、ＡＺ制御部１２２は、被写体検出部１２３によって被写体が検出されているか否かを判定する。被写体が検出されている場合にはＳ１８０５に進み、被写体が検出されていない場合にはＳ１８０６に進む。

Ｓ１８０５では、ＡＺ制御部１２２は、基準の被写体情報が示す基準の被写体のサイズと、Ｓ１８０４で検出された被写体のサイズとを比較する。Ｓ１８０４にて検出された被写体のサイズと、基準の被写体のサイズとが所定比率の範囲内（所定の変化量以内）に収まらない場合には、Ｓ１８０２に戻り、ズーム動作の判定を継続する。ズーム動作によって、Ｓ１８０４にて検出された被写体のサイズと、基準の被写体のサイズとが、所定比率の範囲内となった場合には、Ｓ１８０７に進む。Ｓ１８０７では、ＡＺ制御部１２２は、ズーム動作を停止した後、処理を終了する。

Ｓ１８０２にてフレームアウト防止制御によるズーム動作中と判定された場合、または、Ｓ１８０３にてサイズ保持制御の被写体距離に基づくズーム動作中と判定された場合、または、Ｓ１８０４にてサイズ保持制御の被写体サイズに基づくズーム動作中で被写体が検出されない場合にはＳ１８０６に進む。Ｓ１８０６では、ＡＺ制御部１２２は、Ｓ１８００で取得したズーム変化量に基づき、各ズーム動作に応じた所定量分のズーム変化量に相当する変倍処理を行ったか否かを判定する。所定のズーム変化量の変倍処理が行われていない場合には、Ｓ１８０２に戻って処理を継続する。また、所定のズーム変化量の変倍処理が行われた場合には、Ｓ１８０７に進み、ＡＺ制御部１２２はズーム動作を停止して処理を終了する。

以上のように、本実施形態によれば、被写体検出部１２３によって算出された被写体の位置やサイズやＡＦ制御部１２４によって計測された被写体まで距離に基づいてオートズーム制御を実行する。また、被写体の位置やサイズの信頼度、被写体までの距離の信頼度に基づいてズーム制御を変更することでオートズームが誤動作することを防止している。これにより、人物以外の被写体であっても適切なオートズーム制御を行うことができる。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０９…表示部、１１９…コンピュータズーム（ＣＺ）制御部、１２０…電子ズーム制御部、１２２…オートズーム（ＡＺ）制御部、１２３…被写体検出部、１２４…ＡＦ制御部

Claims (25)

1. 画像から被写体を検出する被写体検出手段と、
   被写体までの距離を計測する計測手段と、
   前記被写体検出手段により検出された被写体のサイズに関する情報を含む第１の情報と、前記計測手段により得られた被写体までの距離に関する第２の情報の少なくともいずれかに応じて自動でズーム倍率を変更するズーム制御を行うズーム制御手段と、を有し、
   前記被写体検出手段により検出された被写体が顔である場合、前記ズーム制御手段は、前記第１の情報を前記第２の情報に対して優先したズーム制御を実行することを特徴とするズーム制御装置。
2. 前記ズーム制御手段は、前記被写体検出手段により検出された被写体が顔でない場合、前記第２の情報の信頼度が所定の基準を満たすか否かを判定することを特徴とする請求項１に記載のズーム制御装置。
3. 前記ズーム制御手段は、前記被写体検出手段により検出された被写体が顔でなく、かつ前記第２の情報の信頼度が所定の基準を満たす場合、前記第２の情報に応じてズーム制御を実行することを特徴とする請求項２に記載のズーム制御装置。
4. 前記ズーム制御手段は、前記被写体検出手段により検出された被写体が顔でなく、かつ前記第２の情報の信頼度が前記所定の基準を満たさない場合、前記第１の情報に応じてズーム制御を実行することを特徴とする請求項３に記載のズーム制御装置。
5. 前記被写体検出手段により検出された被写体が顔である場合に実行される前記第１の情報に応じた前記ズーム制御は、前記被写体検出手段により検出された被写体が顔でなく、かつ前記第２の情報の信頼度が前記所定の基準を満たさない場合に実行される前記第１の情報に応じた前記ズーム制御と比較して、前記被写体検出手段により検出された被写体のサイズの変化に対する応答性が高いことを特徴とする請求項４に記載のズーム制御装置。
6. 前記ズーム制御手段は、前記被写体検出手段により検出された被写体が顔である場合は前記第１の情報に応じたズーム動作の開始判定条件を設定し、前記被写体検出手段により検出された被写体が顔でなく、かつ前記第２の情報の信頼度が前記所定の基準を満たす場合は前記第１の情報と前記第２の情報に応じたズーム動作の開始判定条件を設定することを特徴とする請求項３ないし５のいずれか１項に記載のズーム制御装置。
7. 前記ズーム制御手段は、前記被写体検出手段により検出された被写体が顔である場合は、前記被写体検出手段により検出された被写体が顔でない場合よりも前記第１の情報に応じたズーム動作が開始されやすくなるようにズーム動作の開始判定条件を設定することを特徴とする請求項６に記載のズーム制御装置。
8. 前記ズーム制御手段は、前記第２の情報の信頼度が所定の基準を満たす場合に、前記第１の情報の変化量と前記第２の情報の変化量がほぼ同じならば、いずれか一方の情報が変化した場合よりもズーム動作が開始されやすくなるように開始判定条件を設定することを特徴とする請求項６または７に記載のズーム制御装置。
9. 前記ズーム制御手段は、前記第１の情報の信頼度が第２の基準を満たす場合、前記被写体検出手段により検出された被写体が画面外にフレームアウトしないようにズーム倍率を制御することを特徴とする請求項６ないし８のいずれか１項に記載のズーム制御装置。
10. 前記被写体検出手段により検出された被写体が所定の被写体顔である場合、または当該被写体としての確からしさを示す値が所定の値以上の場合、前記第１の情報の信頼度が前記第２の基準を満たすことを特徴とする請求項９に記載のズーム制御装置。
11. 前記所定の被写体は、人物の顔であることを特徴とする請求項１０に記載のズーム制御装置。
12. 前記第１の情報は、前記被写体検出手段により検出された被写体の位置とサイズに関する情報を含み、
    前記第１の情報の信頼度は、画像中の被写体を指定する被写体指定手段により指定された被写体の特徴色と前記被写体検出手段で検出された被写体の特徴色との差分、画像内での類似の色の有無、画像全体の色の分布に基づいて求められることを特徴とする請求項９に記載のズーム制御装置。
13. 前記ズーム制御手段は、前記被写体検出手段により検出された被写体が画面外にフレームアウトしないようにズーム倍率を制御する第１のズーム制御を、前記被写体が画面に占める割合を所定の範囲内に保つようにズーム倍率を制御する第２のズーム制御よりも優先して実行することを特徴とする請求項９ないし１２のいずれか１項に記載のズーム制御装置。
14. 前記ズーム制御手段は、直前のズーム動作が前記第１のズーム制御によるズームアウト動作ではない場合に前記第２のズーム制御を実行することを特徴とする請求項１３に記載のズーム制御装置。
15. 前記ズーム制御手段は、前記第１の情報に応じたズーム制御を行う場合、基準サイズと前記被写体検出手段で検出された被写体のサイズとの比率に基づいてズーム倍率を制御することを特徴とする請求項１ないし１４のいずれか１項に記載のズーム制御装置。
16. 画像中の被写体を指定する被写体指定手段を有し、
    前記基準サイズは、前記被写体指定手段により指定された被写体のサイズに基づいて決定されることを特徴とする請求項１５に記載のズーム制御装置。
17. 前記ズーム制御手段は、前記第２の情報に応じたズーム制御を行う場合、基準距離と前記被写体検出手段で検出された被写体までの距離との比率に基づいてズーム倍率を制御することを特徴とする請求項１ないし１６のいずれか１項に記載のズーム制御装置。
18. 画像中の被写体を指定する被写体指定手段を有し、
    前記基準距離は、前記被写体指定手段により指定された被写体までの距離に基づいて決定されることを特徴とする請求項１７に記載のズーム制御装置。
19. ズーム倍率に対応した焦点距離を取得する第１の取得手段と、
    ピントが合っているフォーカス位置を取得する第２の取得手段と、
    前記焦点距離と前記フォーカス位置に対応する被写体までの距離のデータを記憶する記憶手段と、をさらに有し、
    前記計測手段は、前記第１の取得手段により取得した焦点距離と前記第２の取得手段により取得したフォーカス位置から、前記記憶手段に記憶されている前記データを参照することにより前記第２の情報を取得することを特徴とする請求項１ないし１８のいずれか１項に記載のズーム制御装置。
20. 前記第２の情報の信頼度は、前記計測手段により得られた被写体までの距離と、前記記憶手段に記憶されたデータに基づいて求められることを特徴とする請求項１９に記載のズーム制御装置。
21. 前記第２の情報の信頼度は、被写界深度、焦点距離、被写体までの距離、および絞り値の少なくともいずれかに基づいて求められることを特徴とする請求項２０に記載のズーム制御装置。
22. 請求項１ないし２１のいずれか１項に記載のズーム制御装置と、
    被写体を撮像して画像データを生成する撮像手段と、
    前記画像を表示する表示手段と、を有し、
    前記ズーム制御手段が、前記表示手段に表示された画像中の被写体のズーム倍率を制御することを特徴とする撮像装置。
23. 画像から被写体を検出するステップと、
    被写体までの距離を計測するステップと、
    検出された被写体のサイズに関する情報を含む第１の情報と、被写体までの距離に関する第２の情報の少なくともいずれかに応じて自動でズーム倍率を変更するズーム制御を行うステップと、を有し、
    検出された被写体が顔である場合、前記ズーム制御を行うステップでは、前記第１の情報を前記第２の情報に対して優先したズーム制御を実行することを特徴とするズーム制御装置の制御方法。
24. 請求項２３に記載されたズーム制御装置の制御方法をコンピュータに実行させるためのプログラム。
25. 請求項２３に記載されたズーム制御装置の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。

Images