以下に、本発明の一実施形態を添付図面に基づいて詳細に説明する。なお、本実施形態によって実現される機能は、ユーザによるフレーミングを支援するフレーミング支援ズーム機能であり、便宜上、フレーミングアシストズーム機能(以下、FAズーム機能と略記する)と呼ぶこととする。
図1は、本実施形態における撮像装置の一例としての、デジタルカメラ100の構成例を示すブロック図である。デジタルカメラ100は、FAズーム機能を実行可能に構成されている。
レンズ鏡筒101は、その内部にレンズ群を保持している。ズームレンズ102は、光軸方向に移動することで焦点距離を調節し、光学的に画角を変更(ズーム位置を移動)する。フォーカスレンズ103は、光軸方向に移動することでピントを調節する。防振レンズ104は、手ぶれに起因する像振れを補正する補正用レンズである。絞り及びシャッタ105は、光量を調節可能に構成されており、露出制御に用いられる。なお、本実施形態において、デジタルカメラ100は、レンズ鏡筒101とカメラ本体とが一体的に構成された撮像装置であるが、これに限定されるものではない。本実施形態は、カメラ本体と、カメラ本体に着脱可能な交換レンズとを備えて構成される撮像システムにも適用可能である。
レンズ鏡筒101を通過した光は、CCD(電荷結合素子)またはCMOS(相補型金属酸化膜半導体)等を備えて構成される撮像素子106により受光される。撮像素子106は、光電変換によって被写体像を電気信号に変換することで、撮像信号を生成する。撮像信号は、画像処理回路107に入力される。画像処理回路107は、入力された撮像信号に対して画素補間処理や色変換処理等の各種処理を行い、画像データ(各種処理後の画像データ)を画像メモリ108に出力する。画像メモリ108は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等を備えて構成される記憶手段である。
表示部109は、TFT型LCD(薄膜トランジスタ駆動型液晶表示器)等を備えて構成され、撮影画像(画像データ)を表示する。また表示部109は、撮影画像とともに、特定の情報(例えば、撮影情報や後述するFAズーム枠等)を表示する。このようなライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ(EVF)機能を実現している。
絞りシャッタ駆動部110は、画像処理回路107での画像処理によって得られた輝度情報に基づいて露出制御値(絞り値及びシャッタ速度)を演算し、この演算結果に基づいて絞り及びシャッタ105を駆動する。これにより、AE(自動露出)制御が行われる。防振レンズ駆動部111は、ジャイロセンサ等の角速度センサの情報に基づいてデジタルカメラ100に加わる振れ量を演算し、この振れ量を打ち消す(低減する)ように防振レンズ104を駆動する。
フォーカスレンズ駆動部112は、フォーカスレンズ103を駆動する。本実施形態において、デジタルカメラ100は、コントラスト方式でAF(オートフォーカス)制御を行う。このためフォーカスレンズ駆動部112は、画像処理回路107の画像処理により得られた撮影光学系の焦点調節情報(コントラスト評価値)に基づいて、被写体にピントが合うようにフォーカスレンズ103を駆動する。ただし、本実施形態はこれに限定されるものではなく、位相差AF方式等のコントラスト方式以外のAF制御や、コントラスト方式と他の方式との組み合わせ等複数の方式を用いたAF制御を行うように構成してもよい。
ズームレンズ駆動部113は、ズーム操作指示に従ってズームレンズ102を駆動する。操作部117は、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等を備えて構成される。ズーム指示操作に用いるズーム操作部材の操作量及び操作方向に基づいて、システム制御部114によりズーム駆動速度や駆動方向が演算され、その演算結果に従ってズームレンズ102が光軸に沿って移動される。
撮影動作によって生成された画像データは、インターフェース部(以下I/F部と呼ぶ)115を介して記録部116に送られて記録される。画像データは、デジタルカメラ100に装着して使用されるメモリカード等の外部記録媒体またはデジタルカメラ100に内蔵されている不揮発性のメモリ118、あるいはそれらの両方に記録される。
操作部117は、前記ズーム操作部材に加えて、撮影開始を指示するレリーズスイッチ、FAズーム機能の開始や終了を指示するFAズーム操作スイッチ等を含む。操作部117からの信号は、後述のシステム制御部114に送られる。メモリ118は、プログラムデータや画像データの他に、デジタルカメラ100の設定情報や、後述するFAズーム機能におけるズームイン位置等の情報を記憶する。ここで、ズームイン位置とは、FAズームの終了時にズームインする際の目標となるズーム戻り位置であり、その詳細については後述する。
システム制御部114は、CPU(中央演算処理装置)等の演算装置を備えて構成され、撮影者の操作に応じて各部に制御命令を送ることによりデジタルカメラ100全体を制御する。システム制御部114は、メモリ118に記憶されている各種の制御プログラム、例えば撮像素子106の制御やAE/AF制御、ズーム制御(FAズーム処理を含む)等を行うためのプログラムを実行する。
次に、システム制御部114において、FAズーム機能に関連する制御について説明する。図1に示されるように、システム制御部114は、CZ制御部119、電子ズーム制御部120、FAズーム枠制御部121、FAズーム制御部122、および、被写体検出部123を備えて構成される。
光学ズームによる画角変更時に合焦状態を維持するには、レンズ鏡筒101のようなリアフォーカスタイプのレンズ鏡筒の場合、ズームレンズ102の位置に応じてフォーカスレンズ103を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム(CZ)制御という。図2は、ズームレンズの焦点距離と被写体距離ごとのフォーカス位置との関係図である。図2では、ズームレンズの焦点距離とピントが合うフォーカス位置との関係を、被写体までの距離ごとに示すデータデーブルとしてグラフ化している。本実施形態において、このテーブルはフォーカスカムテーブルと称する。図2において、横軸はズーム位置に対応する焦点距離を示し、縦軸はフォーカス位置を示している。各グラフ線の横には、デジタルカメラ100から被写体までの距離(被写体距離)を示している。
システム制御部114は、AF制御を行う際にフォーカスレンズ駆動部112を制御して、フォーカスレンズ103を所定の範囲において移動させることによりスキャン動作を行う。この動作中に得られるコントラスト評価値等を用いて既知の方法により、合焦点であるフォーカス位置が検出される。そのときのズーム位置およびフォーカス位置を用い、フォーカスカムテーブルを参照することにより、被写体距離を計測することができる。
デジタルカメラ100は、光学ズーム機能及び電子ズーム機能を有する。CZ制御部119及びズームレンズ駆動部113は、光学ズームを行う。CZ制御部119は、ズーム動作時に、所定の制御周期ごとにズームレンズ102のズーム位置を検出する。そしてCZ制御部119は、そのズーム位置に応じたAF制御にて計測された被写体距離でのフォーカスカムテーブルに追従するように、フォーカスレンズ103を駆動させる。これにより、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。
一方、電子ズーム制御部120及び画像メモリ108は、電子ズームを行う。電子ズーム制御部120は、画像メモリ108に転送された画像データから対象領域を切り出すことにより、電子ズーム機能を実現する。また、電子ズーム制御部120は、撮像素子106に取り込む画像のフレームレート周期で切り出す範囲を徐々に大きくしながら表示部109に表示させることにより、滑らかな電子ズーム表示を実現する。
被写体検出部123は、画像メモリ108に記憶された画像データから所望の被写体領域を検出する。本実施形態では、画像データに含まれる顔情報または色情報に基づいて被写体(顔または物体)を検出する被写体検出方法(顔検出処理、色検出処理)について説明する。
顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部123は、画像データ上の正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較する。そして被写体検出部123は、両者の相関が所定の閾値を超える場合、その部分領域を顔領域であると判定する。この判定を、部分領域のサイズ、配置位置、配置角度の組み合わせを変更しながら繰り返すことにより、画像データ中に存在する種々の顔領域を検出することができる。また、目や鼻、髪などの特徴量を示す領域が顔領域のどの位置にあるかを判定することによって、顔の向きを検出することができる。
色検出処理では、後述の被写体指定方法に従って指定された被写体領域の色情報を特徴色として記憶する。色検出処理は、検出対象の被写体が物体(人物以外の「モノ」)である場合に実行される。色情報としては、画像処理回路107からの出力信号であるRGBや輝度Y及び色差R−Y、B−Y等が用いられる。被写体検出時において、被写体検出部123は、画像データを複数の部分領域に分割し、部分領域ごとの輝度及び色差の平均値を算出する。また、被写体検出部123は、予め記憶された特徴色情報と被写体検出時の各領域の色情報を比較し、輝度及び色差の差分が所定量以下の部分領域を被写体領域の候補とする。この領域候補で隣り合う部分領域の塊を同一色領域として、同一色領域が所定のサイズ範囲となる領域を最終的な被写体領域とする。
被写体検出部123は、顔情報及び色情報とともに、CZ制御部119で計測された被写体距離情報及びズームレンズ102の焦点距離情報を用いることにより、画像データ上での被写体領域の大きさを推定することができる。
姿勢検出部124は、加速度センサの情報に基づいて、デジタルカメラ100の姿勢(正位置/グリップ上/グリップ下)を検出する。揺れ検出部125は、ジャイロセンサ等の情報に基づいて、デジタルカメラ100の振れ状態を検出する。揺れ検出部125は、ジャイロセンサ等に加わる振れ量が所定量以上である場合には手持ち状態であることを検出し、所定量未満である場合には三脚等に固定された状態であることを検出する。姿勢検出及び揺れ検出に用いる加速度センサ及びジャイロセンサは、防振レンズ駆動部111の制御情報として用いるセンサと兼用する構成でもよい。
次に、FAズーム機能の概要と、FAズーム枠制御部121及びFAズーム制御部122について説明する。本実施形態のデジタルカメラ100は、FAズームを実行するモードとして、手動探索モードおよび自動追尾モードの二つのモードを備えている。これらの二つのモードは、被写体がフレームアウトしたときに撮影者がFAズーム操作スイッチを操作して被写体を捉え直すモードであるか、カメラが自動で被写体を検出して画角合わせを支援するモードであるかという点で異なる。以下、各モードの機能の概要について説明する。
FAズーム機能が非搭載のカメラでは、撮影者が望遠状態でフレーミングしてシャッタチャンスを待っている間に被写体が動いてフレームアウトした場合等において、撮影者は以下の操作が必要であった。すなわち、まず、ズーム操作部材の操作によりズームアウトを行ってから被写体を探索する。そして被写体を探索した後、再び所望の画角になるまでズーム操作を行って画角調整する。
一方、FAズーム機能の手動探索モードを有するデジタルカメラ100では、撮影前に画角合わせ等を行う状態(以下、撮影準備状態という)で被写体を見失ってしまった場合、撮影者はFAズーム操作スイッチを操作すればよい。このFAズーム操作スイッチは、FAズーム機能のために割り当てられたスイッチであり、ズーム操作部材とは別の部材である。FAズーム操作スイッチの押下により、FAズーム機能の開始をカメラに指示する。FAズーム制御部122は、FAズーム操作スイッチからのFAズーム開始指示により、電子ズーム及び光学ズームの各ズーム位置をメモリ118に記憶させる。またFAズーム制御部122は、後述の処理手順に従って、CZ制御部119または電子ズーム制御部120に対して広角方向にズームアウトの指示を行い、撮影準備状態よりも画角がズームアウトされた状態(以下、被写体探索状態という)にする。
続いて、図3を参照して、撮影準備状態および被写体探索状態のそれぞれの画角について説明する。図3は、被写体探索状態での画角および撮影準備状態での画角の説明図である。図3(A)及び図3(D)はズームイン状態(撮影準備状態)での画角を示し、図3(B)及び図3(C)はズームアウト状態(被写体探索状態)での画角を示している。
図3(A)に示されるように被写体がフレームアウトした(しそうな)場合、撮影者は被写体を探索するためにFAズーム操作スイッチを押下する。FAズーム操作スイッチの押下中、ズームアウト状態が保持されるとともに、ズームイン位置を示すFAズーム枠300が画像に重畳して表示部109に表示される。
図3(B)に示されるようにズームアウト状態(被写体探索状態)で所望の被写体を発見した場合、図3(C)に示されるようにFAズーム枠300の内側に被写体が収まるように撮影者がフレーミングを行う。その後、撮影者がFAズーム操作スイッチを開放することにより、FAズーム終了がFAズーム制御部122に指示される。このとき、FAズーム制御部122は、記憶された撮影準備状態のズーム位置(ズームイン位置)まで電子ズームまたは光学ズームによるズームイン動作を行う。これにより、図3(D)に示されるような最適なフレーミング状態が得られる。
FAズーム枠制御部121は、図3(B)及び図3(C)に示されるように、記憶された撮影準備状態での画角を示す大きさを算出し、表示部109のEVFの中心部にFAズーム枠300を表示させる。FAズーム枠300の大きさは、ズームアウトした時点でのズーム倍率を元に計算される。例えば、撮影準備状態から2倍の電子ズーム倍率および3倍の光学ズーム倍率でズームアウトして被写体探索状態となった場合、被写体探索状態でEVFに表示される画角に対して、(1/2)×(1/3)=1/6倍の大きさのFAズーム枠が表示される。このような処理により、撮影者は簡単な操作で、フレームアウトした被写体を再度フレームインさせながら所望の画角で撮影することができる。
また、動いている被写体を撮影する場合など被写体がフレームアウトしやすいシーンを撮影する場合、カメラが自動的にズーム位置を変更する自動追尾モードにより、より簡単にフレームアウトを防止することができる。特に望遠状態での撮影においては、画角が狭いため、手ぶれ等に起因する微少なカメラの動きでも被写体がフレームアウトする場合がある。
本実施形態のデジタルカメラ100は、FAズーム機能の自動追尾モードを有する。このため、自動追尾モードを設定した後、タッチパネル等で被写体を指定する操作を実施することにより、撮影したい被写体を指定しておけばよい。被写体の指定方法としては、タッチパネル操作以外でも、特定のボタンを押下したときに中央付近にいる被写体を指定する方法や、カメラが検出した被写体の中から自動的に主被写体を選択する方法などが考えられる。
被写体検出部123は、画像メモリ108から指定された被写体領域の画像データ上での位置や大きさを算出する。これをライブビューとして表示する毎サンプリングの画像データに対して連続的に行なうことにより、被写体の動きを追尾することが可能となる。追尾している被写体を後述するズームアウト領域で検出した場合や所定の大きさよりも大きくなった場合、CZ制御部119または電子ズーム制御部120に対してFAズーム制御部122が広角方向にズームアウトの指示を行う。被写体をFAズーム枠300のズームイン領域内に検出し、かつ、所定の大きさの範囲内に収まった場合、FAズーム枠300が示す望遠側のズーム位置までズームイン動作を行う。このような処理により、撮影者はズーム操作を気にせず被写体を画面に収めるようにカメラを動かすだけでよい。仮に、被写体がフレームアウトしそうになった場合でも、自動的にズーム位置が変更されるため、より簡単に画角合わせを行うことが可能となる。本実施形態は、このような自動追尾モードにおけるズームアウト動作及びズームイン動作を最適なタイミングで実施することにより、撮影者が容易にフレーミングすることが可能となる。
次に、図4乃至図6を参照して、ズームアウト動作やズームイン動作の開始条件について説明する。図4は、被写体(モノ)の画面外へのフレームアウトを防止する処理の説明図である。図5は、被写体(人物)の画面外へのフレームアウトを防止する処理の説明図である。
図4および図5において、400は被写体(人物以外のモノ)を追尾するモノ追尾枠、500は被写体(人物の顔)を追尾する顔追尾枠である。本実施形態において、被写体が人物とモノのいずれにも適用可能な場合、モノ追尾枠400および顔追尾枠500をまとめて被写体追尾枠ということもある。被写体追尾枠は、撮影者が指定した被写体が分かるように、表示部109のEVF上に被写体を囲むように表示される。被写体追尾枠の画面上での位置及び大きさは、顔情報及び色情報に基づいて被写体検出部123により算出され、フレームレート周期で更新される。
図4は、被写体(飛行機)の画面外へのフレームアウトを防止する処理の説明図であり、図4(A)はEVFで表示される画角全体(画面全体)に対して所定の比率よりも外側の領域をズームアウト領域ZO(第1の領域外)として示している。例えば、画面の中心点を0%、画面全体を100%とし、画面全体に対して80%となる位置をズームアウト領域ZOの境界として設定する場合、画面全体における80〜100%の領域がズームアウト領域ZOとなる。画像内のズームアウト領域ZOにモノ追尾枠400aの一部が進入すると、ズームアウト動作を開始する。また、ズーム移動前のズーム位置(第2のズーム位置、ズームイン画角に相当)をメモリ118に記憶する。ズームアウト動作中のズーム倍率やズーム速度は、被写体のサイズや移動速度に応じて予め設定される。また、ズーム倍率やズーム速度を被写体のサイズや移動速度に応じて適宜算出してもよい。ズームアウト動作は、その倍率やズーム速度に従って実行される。これにより、被写体のフレームアウトを効果的に防止することができる。
図4(B)は、図4(A)の画角から所定のズーム駆動量分ズームアウトした画角(第1のズーム位置)を示している。図4(B)において、被写体探索状態においてFAズーム枠300で示されるズームイン画角に対して所定の比率よりも内側の領域をズームイン領域ZI(第2の領域)として示している。例えば、画面の中心点を0%、FAズーム枠300(ズームイン画角)を100%とし、ズームイン画角に対して70%となる位置をズームイン領域ZIの境界として設定する場合、FAズーム枠300の全体における0〜70%の領域がズームイン領域ZIとなる。このとき、ズームアウト倍率が例えば1/2倍である場合、FAズーム枠300は画面全体に対して50%の大きさとなる。したがって、ズームイン領域ZIは、画面全体に対して0〜35%(=70%×(1/2))の領域であるとも言える。撮影者が、ズームイン領域ZIの内部にモノ追尾枠400bが収まるようにカメラの向きを変更すると、ズームイン動作が開始する。
図5は、被写体(人物)の画面外へのフレームアウトを防止する処理の説明図である。被写体が人物である場合にも、顔追尾枠500の一部がズームアウト領域ZOに進入するとズームアウト動作を開始し、顔追尾枠500がズームイン領域ZIの内部に収まるとズームイン動作を行う。被写体が人物である場合とモノである場合との違いは、被写体が人物である場合には移動する方向がある程度予測できるため、予測される移動方向の領域にのみズームアウト領域ZO及びズームイン領域ZIを設定することである。
また、手持ちで撮影している場合には、手ぶれ等の影響によって被写体がフレームアウトしてしまう恐れがある。しかしながら、手ぶれによってフレームアウトした場合には、撮影者が被写体をフレームインさせようとする動作によってフレームインし直すことが可能である。ここで、画面の上部にズームアウト領域ZOを設定した場合、人物を中央付近に配置して撮影するときにもズームアウト領域ZOに顔追尾枠500が進入してしまい、意図せずズームアウトする場合がある。そこで、被写体が人物であり、かつ手持ち状態である場合には、撮影者のフレーミング操作を考慮して、画面の上部にはズームアウト領域ZOを設定しない。
このように、本実施形態では、被写体検出部123で顔が検出された場合、姿勢検出部124により検出されたカメラの姿勢や揺れ検出部125による検出結果に応じて、ズームアウト領域ZO及びズームイン領域ZIの領域を動的に変更する。ここでの揺れ検出部125による検出結果とは、手持ち状態か否かの検出である。
図5(A)は、手持ちでカメラを正位置に構えたときに設定されるズームアウト領域ZO及びズームイン領域ZIを示している。このような撮影シーンで、被写体が水平方向に移動してフレームアウトする場合、画面内での被写体の位置は正位置の画面に対して水平方向(長手方向)に移動する。そこで、図5(A)に示すように、正位置の画面に対して垂直方向(短手方向)の縦帯状にズームアウト領域ZO及びズームイン領域ZIを配置する。そして、顔追尾枠500aがズームアウト領域ZO内に進入すると、ズームアウト開始を判定し、所定ズーム倍率分のズームアウトを行う。また、顔追尾枠500bがズームイン領域ZI内に包含されると、ズームイン開始を判定し、ズーム戻り位置501まで所定ズーム倍率分のズームインを行う。このようにズームアウト領域ZO及びズームイン領域ZIを設定することで、フレームアウトを効果的に防止することができる。
図5(B)は、同様の撮影シーンに置いて、グリップ下もしくはグリップ上の縦位置状態にカメラを構えたときに設定されるズームアウト領域ZO及びズームイン領域ZIを示している。この場合、縦位置の画面に対して垂直方向(長手方向)の縦帯状にズームアウト領域ZO及びズームイン領域ZIを配置する。そして、顔追尾枠500cがズームアウト領域ZO内に進入すると、ズームアウト開始を判定し、所定ズーム倍率分のズームアウトを行う。また、顔追尾枠500dがズームイン領域ZI内に包含されると、ズームイン開始を判定し、ズーム戻り位置502まで所定ズーム倍率分のズームインを行う。このようにズームアウト領域ZO及びズームイン領域ZIを設定することで、水平方向への被写体の動きを検出し、フレームアウトを効果的に防止することができる。
図5(C)は、揺れ検出部125での検出状態が固定状態のときに設定されるズームアウト領域ZO及びズームイン領域ZIを示している。三脚等によって固定されているときには、手ぶれによるフレームアウトの恐れがない。さらに、画面の中央付近に被写体がフレームインしていないときにズームインすると、その動作によってフレームアウトしてしまう恐れがある。したがって、画面周辺部全体にズームアウト領域ZOを、ズームイン画角よりも内側にズームイン領域ZIを設定する。そして、顔追尾枠500eがズームアウト領域ZO内に進入すると、ズームアウト開始を判定し、所定ズーム倍率分のズームアウトを行う。また、顔追尾枠500fがズームイン領域ZI内に包含されると、ズームイン開始を判定し、ズーム戻り位置503まで所定ズーム倍率分のズームインを行う。
このように、カメラの姿勢や撮影状態(手持ち状態/固定状態)の変化に応じてズームアウト領域ZO及びズームイン領域ZIの領域を動的に変更することにより、手ぶれ等による誤作動を防止しながら、被写体のフレームアウトを効果的に防ぐことができる。なお、カメラの姿勢と撮影状態(手持ち状態/固定状態)のいずれか一方に応じてズームアウト領域ZO又はズームイン領域ZIの領域を変更するようにしてもよい。また、ズームアウト領域ZOとズームイン領域ZIの領域のいずれか一方のみを変更するようにしてもよい。
図6(A)〜(C)は、被写体である人物がカメラに近づいてきた場合に、カメラが自動的に被写体が画面に占める割合を所定の比率内に収めるようにズーム動作させる例を示している。顔追尾枠500は、被写体である人物の特徴領域として顔領域を囲むように表示している。したがって、ここでは顔追尾枠500の大きさ=被写体サイズとして説明する。
図6(A)は、後述する被写体指定方法に従って被写体を指定されたときの画角を示している。被写体指定時の顔追尾枠600aの大きさは、基準の被写体サイズ(基準サイズ)としてメモリ118に記憶される。
図6(B)は、図6(A)の状態からズーム位置を変更しない状態で、被写体がカメラに向かって近づいてきたときの画角を示している。例えば、基準の被写体サイズである顔追尾枠600aの大きさに対して150%となる大きさをズームアウト動作の開始サイズとする。被写体追尾枠(顔追尾枠)の関係が、顔追尾枠600b>顔追尾枠600a×150%となったとき(基準サイズに対して所定の変化量を超えて変化)、FAズーム制御部122は、ズームアウト動作の開始を判定する。
図6(C)は、図6(B)の画角601から所定ズーム倍率分ズームアウトした画角と、顔追尾枠600cを示している。ここでは、ズームアウト動作を開始するときの顔追尾枠サイズの基準被写体サイズからの変化率(150%)を考慮して、所定ズーム倍率を1/1.5倍としている。この後、さらに被写体が近づいてくる場合、さらに広角側へズームアウトを行うことにより、被写体を所定の比率内に収め続けることができる。そのため、撮影者は、レリーズスイッチの操作だけに集中することが可能である。
一方、図6(D)〜(F)は、被写体である人物がカメラから遠ざかる場合に、カメラが自動的に被写体が画面に占める割合を所定の比率内に収めるようにズーム動作させる例を示している。
図6(D)は、後述する被写体指定方法に従って被写体を指定されたときの画角を示している。被写体指定時の顔追尾枠600dの大きさは、基準の被写体サイズとしてメモリ118に記憶される。
図6(E)は、図6(D)の状態からズーム位置を変更しない状態で、被写体がカメラから遠ざかったときの画角を示している。例えば、基準の被写体サイズである顔追尾枠600dの大きさに対して50%となる大きさをズームイン動作の開始サイズとする。被写体追尾枠(顔追尾枠)の関係が、顔追尾枠600e<顔追尾枠600d×50%となり(基準サイズに対して所定の変化量を超えて変化)、かつ、顔追尾枠600eがズームイン領域ZI内に包含されると判定したとき、FAズーム制御部122はズームイン動作の開始を判定する。ここで、図6(E)の画角に対して所定のズーム倍率分ズームインした画角602より内側に、ズームイン領域ZIが設定される。
図6(F)は、図6(E)の画角から所定ズーム倍率分ズームインした画角(画角602に対応)と、顔追尾枠600fを示している。ここでは、ズームイン動作を開始するときの顔追尾枠サイズの基準被写体サイズからの変化率(50%)を考慮して、所定ズーム倍率を1/0.5倍としている。
図12(A)〜(C)は、被写体である人物が顔の向きを変えた場合に、被写体が画面に占める割合が変わってしまうことや、被写体が移動していないときにズームが誤動作してしまうことを防止する例を示している。
図12(A)は、被写体がカメラに対して正面向きで、後述する被写体指定方法に従って被写体を指定されたときの画角と、顔追尾枠1200aを示している。被写体指定時の顔追尾枠1200aの大きさは、基準の被写体サイズとしてメモリ118に記憶される。
図12(B)は、図12(A)の状態から被写体の顔が斜め向きとなったときの顔追尾枠1200bを示している。被写体検出部123では、前述のアルゴリズムに基づいて顔の向きを検出することができる。また、被写体検出部123で検出される顔追尾枠の大きさは、正面向きの顔追尾枠1200aに対して斜め向きとなった顔追尾枠1200bの方が小さくなる。例えば、顔追尾枠1200aの向きを0°とすると、顔追尾枠1200bでは45°という検出結果が得られるとする。さらに、顔追尾枠1200aと顔追尾枠1200bとのサイズの関係は、顔追尾枠1200a=顔追尾枠1200b×120%という関係が得られるとする。このとき、図12(B)の状態から被写体がカメラに近づく、もしくは、カメラから遠ざかる場合に、基準サイズである顔追尾枠1200aの大きさを保つようにズーム動作を行うと、顔の向きが変わったことによる顔追尾枠の大きさの変化量(この場合、120%)だけズームインしすぎた大きさとなってしまう。
そこで、本実施形態では、検出された顔の向きに応じて、顔追尾枠の大きさに所定の倍率をかけて顔追尾枠の大きさを補正する。例えば図12(B)の例では、顔の向きが斜めに45°変化したので、顔追尾枠1200bのサイズに1.2をかけることで、顔追尾枠のサイズを補正することができる。
このように顔追尾枠のサイズを補正することで、基準サイズを記憶したときと顔の向きが違っていても被写体が画面に占める割合が同じ大きさとなるようにする。なお、顔追尾枠の表示は変えずにズーム動作開始の判定に用いる被写体の大きさのみを補正する構成や、顔の向きに応じてメモリ118に記憶した基準の被写体サイズを補正する構成としてもよい。
図12(C)は、図12(B)の状態から被写体の顔がさらに横向きとなったときの顔追尾枠1200cを示している。被写体検出部123で検出される顔追尾枠の大きさは、斜め向きの顔追尾枠1200bよりも横向きとなった顔追尾枠1200cの方がさらに小さくなる。例えば、被写体検出部123によって、顔追尾枠1200cの顔の向きが90°という検出結果が得られるとする。さらに、顔追尾枠1200aと顔追尾枠1200cとのサイズの関係は、顔追尾枠1200a=顔追尾枠1200c×150%という関係が得られるとする。ここで、基準サイズである顔追尾枠1200aの大きさに対して67%(1/1.5倍)となる大きさをズームイン動作の開始サイズとする。すると、顔追尾枠の大きさの補正を行わない場合、図12(C)のように顔の向きが変わって顔追尾枠1200cの状態となっただけでズームイン動作が誤動作してしまう。また、横向きの顔では顔領域の特徴量が正面向きの顔と違うことなどによって、被写体検出部123で検出する被写体サイズのばらつきが大きい。したがって、正面向きの顔追尾枠の大きさに対する横向きの顔追尾枠の大きさの補正精度が低くなってしまう。
そこで、本実施形態では、検出された顔の向きが所定角度よりも大きい場合にはサイズ変化防止のズーム動作を禁止する。これにより、検出精度の低い向きの顔が検出された場合に、被写体が移動していないにもかかわらずズームが誤動作することを防止することができる。
図4及び図5では、被写体がモノまたは人物である場合にフレームアウトを防止する処理について説明した。また、図6では、被写体が人物である場合に被写体の大きさを所定の比率に収める処理について説明した。なお、追尾する被写体がモノの場合においても、被写体が人物の場合と同様に図6で示した被写体サイズ保持制御のためのズーム動作開始判定を行ってもよい。さらに、図12では、被写体が人物である場合に顔の向きが変わったときの誤動作を防止する処理について説明した。
次に図7乃至図11を用いて、FAズーム機能の処理について説明する。図7及び図8は、FAズーム機能の全体の処理を示すフローチャートである。図7及び図8のFAズーム機能は、特に記載がない限りFAズーム制御部122の指令に基づいて行われるものとする。
まずステップS100において、FAズーム制御部122は、操作部117のFAズーム操作スイッチが押下されたか否かを判定する。FAズーム操作スイッチが押下されると、ステップS101に進み、FAズーム制御部122は、FAズーム操作スイッチの押下時間を測定する。
ステップS101において、FAズーム制御部122は、FAズーム操作スイッチの押下された後、FAズーム操作スイッチが所定の時間内に開放されたか否かを判定する。すなわちFAズーム制御部122は、FAズーム操作スイッチの長押し(第2の操作)または短押し(第1の操作)の判定を行い、押下時間によって実行するモードを変更する。FAズーム操作スイッチの長押し時には、図8のステップS121に進み、FAズーム制御部122は手動探索モード(第3のモード)を選択し、選択されたモードをメモリ118に記憶する。一方、FAズーム操作スイッチの短押し時には、ステップS106に進み、FAズーム制御部122は自動追尾モードを選択し、選択されたモードをメモリ118に記憶する。
手動探索モードが記憶された場合、ステップS122において、FAズーム制御部122は、ズームアウト開始時の光学ズーム位置及び電子ズーム位置を記憶する。さらにFAズーム制御部122は、所定の駆動量をCZ制御部119または電子ズーム制御部120に指令して図10(A)で後述するFAズームアウト動作を行う。FAズームアウト動作が終了すると、ステップS123に進む。
ステップS123において、FAズーム制御部122は、FAズーム操作スイッチが長押し状態から開放されたか否かを判定する。FAズーム操作スイッチが開放された(第3の操作)場合、FAズームの終了が判定される。すなわちFAズーム制御部122は、手動探索モードにおいて、操作部117を押下(操作)している間、フレーミング支援ズームを継続する。そして操作部117の押下が終了した場合、ステップS124に進む。ステップS124において、FAズーム制御部122は、記憶した光学ズーム位置および電子ズーム位置(ズームイン位置)まで駆動を行うようにCZ制御部119または電子ズーム制御部120に指令して、図10(B)で後述するFAズームイン動作を行う。これにより、手動探索モードによるFAズーム機能は終了する。
一方、自動追尾モードが選択された場合には、ステップS106で自動追尾モードをメモリ118に記憶した後、ステップS107において被写体指定処理を行う。
ここで、図9を参照して、ステップS107の被写体指定処理について説明する。図9(A)は、操作部117を構成する部材であるタッチパネルを用いて表示部109に表示された被写体をタッチして指定する操作例のフローチャートを示している。ステップS200において、FAズーム制御部122は、タッチパネルが押下されたか否かを判定する。タッチパネルが押下された場合、ステップS201に進み、FAズーム制御部122は、タッチされた位置(タッチ位置)の情報を取得する。
続いてステップS202において、FAズーム制御部122は、タッチ位置を被写体検出部123に通知し、被写体検出部123はタッチ位置付近で顔検出を行う。タッチ位置付近に顔を検出した場合、主被写体は人物であると判定し、ステップS203に進む。ステップS203において、FAズーム制御部122は、自動追尾の対象である人物の顔情報をメモリ118に記憶する。具体的な顔情報としては、被写体指定時の顔のサイズや顔の検出位置、顔の向きなどがある。また、顔認証機能を有するカメラにおいては、認証IDなども記憶する。
一方、ステップS202にてタッチ位置付近に顔を検出しなかった場合、主被写体は人物以外のモノであると判定し、ステップS204に進む。ステップS204において、FAズーム制御部122は、タッチ位置付近の特徴色を自動追尾対象の色情報としてメモリ118に記憶する。具体的な色情報としては、被写体指定時の特徴色の色や輝度、色差の値や同一色領域のサイズ、同一色領域の重心位置などがある。顔情報および色情報を、以下の説明ではまとめて被写体情報(被写体サイズ、被写体検出位置など)という。
ステップS203またはS204にて被写体情報が記憶されると、ステップS205に進む。ステップS205において、FAズーム制御部122は、被写体検出位置を中心に被写体サイズに対応した大きさの被写体追尾枠(モノ追尾枠400または顔追尾枠500)を表示部109に表示する。これにより、被写体指定処理は終了する。
このようにシステム制御部114(被写体検出部123)は、モードが自動追尾モードである場合、表示部109において撮影者により指定された位置または指定された位置の近傍で被写体を検出する。そしてシステム制御部114(FAズーム制御部122)は被写体追尾枠を表示部109に表示する。図9(A)のフローチャートによれば、撮影者が追尾したい被写体を直感的な指定方法で簡単に指定することが可能となる。
図9(B)は、操作部117を構成する部材であるFAズーム操作スイッチとは別のスイッチ(被写体指定用スイッチ)によって被写体を指定する操作例のフローチャートを示している。まずステップS206において、FAズーム制御部122は、表示部109の画面中央付近に被写体指定の目安となる枠を表示する。撮影者は、この枠を目安として追尾したい被写体を中央付近に収めるようにカメラの向きを調整する。続いてステップS207において、FAズーム制御部122は、被写体指定用スイッチが押下されたか否かを判定する。被写体指定用スイッチが押下された場合、ステップS208に進む。
ステップS208において、被写体検出部123は、画面中央付近で顔検出を行う。画面中央付近に顔を検出した場合、主被写体は人物であると判定し、ステップS209に進む。一方、画面中央付近に顔を検出しなかった場合、主被写体は人物以外のモノであると判定し、ステップS210に進む。ステップS209またはS210にて被写体情報を記憶すると、ステップS211に進む。ステップS211において、被写体追尾枠(モノ追尾枠400または顔追尾枠500)が表示され、被写体指定処理は終了となる。図9(B)のステップS209、S210、S211の基本的な処理は、図9(A)のステップS203、S204、S205とそれぞれ同様である。
このようにシステム制御部114(被写体検出部123)は、モードが自動追尾モードである場合、表示部109の画面中央位置または画面中央位置の近傍で被写体を検出する。そしてシステム制御部114(FAズーム制御部122)は、被写体の位置を示す被写体追尾枠を表示部109に表示する。図9(B)のフローチャートによれば、タッチパネルなどの操作部材を搭載しないカメラにおいても、被写体を簡単に指定することが可能となる。
図9(C)は、操作部117を構成する部材であるFAズーム操作スイッチが短押しされた時点で検出された顔の中から追尾する被写体を自動的に選択する例のフローチャートを示している。まずステップS212において、被写体検出部123は、画面全体で顔検出を行う。画面全体で一人でも顔を検出した場合には、主被写体は人物であると判定し、ステップS213に進む。ステップS213において、被写体検出部123は、検出した顔が一人の場合、その顔を主顔とする。被写体検出部123は、検出した顔が複数の場合、その顔の中から追尾する被写体とする主顔を選択する。主顔選択の判定基準としては、例えば、顔検出位置がより画面中央付近に位置する顔を選択する方法がある。また、同程度の位置に複数の顔がある場合、サイズのより大きい顔を主顔として選択する方法がある。また、顔認証機能を有するカメラにおいては、認証登録されている顔がある場合、その顔を優先して主顔とする方法がある。そしてステップS213において、FAズーム制御部122は、選択された主顔の顔情報をメモリ118に記憶する。ステップS214にて顔情報を記憶すると、ステップS215に進み、FAズーム制御部122は、顔追尾枠500を表示する。
続いてステップS216において、複数の顔が検出された場合に自動で選択された主顔が撮影者の意図しない顔である場合、撮影者が主顔を変更することが可能である。このとき、操作部117のスイッチ(FAズーム操作スイッチでも他のスイッチでもよい)を押下すると、顔追尾枠500が検出された顔の中から主顔として選択されなかった顔に主顔を変更する。主顔が変更された場合、再度、ステップS214に進み、FAズーム制御部122は、記憶する顔情報を更新する。また、ステップS215にて顔追尾枠500を新たに選択された主顔のサイズおよび検出位置に変更する。
一方、ステップS212にて画面全体で顔が検出されない場合、主被写体は人物以外のモノであると判定し、ステップS217に進む。ステップS217において、FAズーム制御部122は、画面中央付近の特徴色を自動追尾対象の色情報として、メモリ118に記憶する。ステップS217にてモノ情報を記憶すると、ステップS218に進み、モノ追尾枠400を表示する。これにより、被写体指定処理は終了する。図9(C)のステップS214、S217、S215(S218)における基本的な処理は、図9(A)のステップS203、S204、S205とそれぞれ同様である。
このようにシステム制御部114(被写体検出部123)は、モードが自動追尾モードである場合、表示部109の画面全体において顔検出を行う。システム制御部114(FAズーム制御部122)は、複数の顔が検出された場合、複数の顔の中から被写体として第1の顔の位置を示す被写体追尾枠を表示部109に表示する。またシステム制御部114(FAズーム制御部122)は、被写体として第1の顔が第2の顔に変更された場合、第2の顔の位置を示す被写体追尾枠を表示部109に表示する。図9(C)のフローチャートによれば、より少ない操作回数で被写体を簡単に指定することが可能となる。
図9に示される被写体指定処理を終了すると、図7のステップS108に進む。ステップS108からの処理において、FAズーム制御部122は、被写体指定時の基準被写体情報および周期的に検出する被写体情報に基づいて、FAズーム動作を開始するか否かを判定する。この判定は、FAズーム開始の条件を満たすまで所定の制御周期で繰り返される。
ステップS108において、被写体検出部123は、画面全体の中から基準被写体情報と同じ特徴を持つ被写体、すなわち、基準被写体が人物である場合には顔が、モノである場合には同一の特徴色が検出されるか否かを判定する。追尾する被写体が検出されなかった場合、ステップS111に進む。一方、追尾する被写体が検出された場合、ステップS109に進む。
ステップS109、S113、S114の判定は、被写体がフレームアウトすることを防止するための(フレームアウト防止制御の)FAズームの開始判定である。ステップS109において、FAズーム制御部122は、追尾する被写体の被写体追尾枠がズームアウト領域ZOに進入したか否かを判定する。ステップS109にて追尾枠がズームアウト領域ZOに進入した場合、すなわち、被写体がフレームアウトする可能性が大きい場合、ステップS110に進み、FAズームアウト動作を開始する。ここでのFAズームアウト動作は、フレームアウト防止制御のズームアウト動作に相当する。
一方、ステップS109にて被写体追尾枠がズームアウト領域ZOに進入していない場合、すなわち、画面中央付近で被写体を捉えられている場合、ステップS113に進む。ステップS113では、直前のズーム動作がステップS109でズームアウト領域ZOに進入したことによるズームアウト動作、すなわち、フレームアウト防止制御のズームアウト動作であるか否かを判定する。フレームアウト防止制御のズームアウト動作後である場合には、ステップS114に進む。
ステップS114において、追尾する被写体の被写体追尾枠がズームイン領域ZIの内部に収まっている(包含されている)か否かを判定する。ここでのズームイン領域ZIは、図4(B)、図5(A)〜(C)で説明したズームイン領域ZIに相当する。ステップS114にて追尾枠(被写体)がズームイン領域ZIに収まっていない場合、ステップS111に進む。一方、追尾枠がズームイン領域ZIに収まっている場合、すなわち、画面中央付近でかつズーム戻り位置の画角内の被写体サイズとなるように被写体を捉えられている場合、ステップS115に進み、FAズームイン動作を開始する。ここでのFAズームイン動作は、フレームアウト防止制御のズームイン動作に相当する。
本実施形態では、自動追尾モードにおけるフレームアウト防止制御(第1のモード)とサイズ保持制御(第2のモード)を両立させることを目的としている。そこで、まずフレームアウト防止制御により被写体を画面中央付近に捉えたうえで、サイズ保持制御を実行可能にしている。そのため、フレームアウト防止制御のズームアウト動作後の状態では、以降で説明する被写体サイズを一定に維持する(サイズ保持制御の)FAズーム処理(ステップS116〜S120)を行わないようにしている。換言すると、フレームアウト防止制御を行った場合は、フレームアウト防止制御のズームイン動作が完了するまでサイズ保持制御が制限される。
ステップS113でフレームアウト防止制御のズームアウト動作後でないと判断された場合、ステップS116に進む。ステップS116において、FAズーム制御部122は、基準被写体情報の被写体サイズとステップS108にて検出された被写体サイズとの比較を行う。ステップS108にて検出された被写体のサイズが基準被写体のサイズに対して所定のN1倍より大きい場合(N1>1)、すなわち被写体が画面に占める比率が所定値を超える場合、ステップS117に進み、FAズームアウト動作を開始する。ここでのFAズームアウト動作は、サイズ保持制御のズームアウト動作に相当する。
一方、ステップS116において、ステップS108にて検出された被写体のサイズが基準被写体のサイズに対してN1倍以下である場合、ステップS118に進む。ステップS118において、FAズーム制御部122は、基準被写体情報の被写体サイズとステップS108にて検出された被写体のサイズとの比較を行う。検出された被写体のサイズが基準被写体のサイズに対して所定のN2倍未満である場合(N2<1)、すなわち被写体が画面に占める比率が所定値未満である場合、ステップS119に進む。一方、検出された被写体のサイズが基準被写体のサイズに対してN2倍以上である場合、ステップS111に進む。
ステップS119において、FAズーム制御部122は、追尾する被写体の被写体追尾枠がズームイン領域ZIの内部に収まっている(包含されている)か否かを判定する。これは、被写体が画面の周辺にいる場合にズームイン動作によってフレームアウトしてしまうことを防ぐためである。ここでのズームイン領域ZIは、図6(E)で説明したズームイン領域ZIに相当する。ステップS119で被写体追尾枠がズームイン領域ZIに収まっていないと判定された場合、ステップS111に進む。一方、被写体追尾枠がズームイン領域ZIに収まっていると判定された場合、ステップS120に進む。ステップS120において、FAズーム制御部122は、FAズームイン動作を開始する。ここでのFAズームイン動作は、サイズ保持制御のズームイン動作に相当する。このように、本実施形態では、サイズ保持制御のズームイン動作においても被写体のフレームアウトを防ぐため、被写体がズームイン領域ZIの内部に収まってからズームイン動作を開始する。
ステップS111にて、FAズーム制御部122は、操作部117のFAズーム操作スイッチが押下されたか否かを判定する。FAズーム操作スイッチが押下されていない場合には、再度、ステップS108に進み、FAズーム開始判定を継続する。
一方、FAズーム操作スイッチが押下されると、ステップS112に進み、FAズーム制御部122は、FAズーム操作スイッチの押下時間を測定する。自動追尾モード実行中であっても、その後FAズーム操作スイッチの長押しが判定されると、モードは手動探索モードに変更され、図8のS121へ進んで手動探索モードによるFAズームを開始する。これにより、FAズーム制御部122が被写体を検出できない場合であっても、撮影者が被写体のフレームアウトを認識すると即座に手動探索モードによってズームアウト動作の指示を行い、フレームアウトを防止することができる。ステップS112でFAズーム操作スイッチの短押しが判定されると、自動追尾モードによるFAズーム機能は終了する。
次に、図10を参照して、FAズーム動作について説明する。図10(A)は、図7のステップS110、S117、および図8のステップS122で行われるFAズームアウト動作のフローチャートである。まずS300において、FAズーム制御部122は、光学ズーム位置をCZ制御部119から取得し、電子ズーム位置を電子ズーム制御部120から取得する。またFAズーム制御部122は、光学ズーム位置および電子ズーム位置のデータをメモリ118に記憶する。光学ズーム位置は、光学ズーム機能によって変更可能なズーム倍率に相当するズームレンズの位置を表す。また、電子ズーム位置は、電子ズーム機能によって変更可能な画像拡大および縮小の倍率に相当する制御位置を表す。手動探索モードの場合、ここで記憶したズーム位置がズーム戻り位置(第3のズーム位置)に設定される。
続いてS301において、FAズーム制御部122は、ズームアウト駆動量を取得する。FAズーム機能のモードが手動探索モード(図8のステップS122)の場合、ズームアウト駆動量はメモリ118に記憶された所定の駆動量とする。また、この駆動量は、撮影者が設定メニューからの操作によって変更可能にしてもよい。FAズーム機能のモードが自動追尾モード(図7のステップS110、S117)の場合、ズームアウト駆動量は検出された被写体情報に応じて設定される。具体的には、フレームアウト防止のズームアウト動作(図7のステップS110)においては、被写体のサイズが小さいほどズームアウト駆動量は小さく設定される。それにより、ズームアウト動作によって被写体のサイズが小さくなりすぎるために被写体が検出できなくなるのを防ぐことができる。なお、被写体検出可能な最小サイズを考慮して、被写体のサイズが所定のサイズより小さい場合は、ズームアウトを行わないようにしてもよい。また、サイズを維持するためのズームアウト動作(図7のステップS117)においては、ステップS116の判定に用いる所定のN1倍に相当するズームアウト駆動量(1/N1倍)に設定する。それにより、被写体が検出できない場合でも、被写体のサイズが基準被写体のサイズとなるまでの最低限のズームアウト動作を行うことができる。ただし、ズームアウト動作中に被写体がカメラに向かって近寄り続けている場合に一定のサイズに維持するためには、所定倍相当のズームアウト駆動量以上ズームを動作させる必要があるが、その詳細は図11を用いて後述する。
そしてステップS302において、FAズーム制御部122は、ズーム状態が電子ズーム状態であるか否かを判定する。一般的なズーム操作では、操作部117のズーム操作スイッチが押下されると、光学ズーム位置がワイド端からテレ端の間である場合、CZ制御部119により光学ズームを駆動させる。光学ズーム位置がテレ端であって、さらに望遠方向への操作指示がなされた場合、電子ズーム制御部120が電子ズームを駆動させることで超望遠撮影が可能となる。ズーム操作スイッチの操作によるズーム動作とFAズーム動作との整合性を取るため、FAズーム動作においても、ズーム状態が電子ズーム状態の場合には電子ズームを先に駆動させる。すなわち、メモリ118に記憶した時点のズーム位置が優先すべきズーム状態でのズーム領域内にあるか否かが判定される。本実施形態では電子ズームが優先されるため、S302では、ズーム位置が電子ズーム領域にあるか否かが判定される。FAズーム開始時のズーム状態が電子ズーム状態である場合、ステップS303に進む。
ステップS303において、FAズーム制御部122は、ステップS300にて取得された電子ズーム位置とステップS301にて取得されたズームアウト駆動量に基づいて電子ズームのズームアウト位置を算出し、電子ズーム制御部120に設定する。FAズーム制御部122は、電子ズーム制御部120に対して、設定された電子ズームのズームアウト位置まで変倍処理を行うように指示する。そして電子ズーム制御部120は、電子ズームによるズームアウト動作を開始し、ステップS304へ進む。
ステップS304でFAズーム制御部122は、設定されているモードや自動追尾モードでの制御状態、被写体の検出状態など、図11で後述するズーム停止の判定条件にしたがって、電子ズーム制御部120を停止させる。ステップS302にてズーム位置が光学ズーム領域にあると判定された場合、または、ステップS304にて電子ズームのズームアウト動作が停止された場合、ステップS305に進む。
ステップS305において、FAズーム制御部122は、さらに光学ズームによるズームアウトが必要であるか否かを判定する。すなわち、電子ズームだけでは、設定したズームアウト駆動量のズーム駆動に十分でない場合、残りのズームアウト駆動量を光学ズームで補う必要がある。光学ズームによるズームアウトが必要と判定された場合、ステップS306に進む。ステップS306において、FAズーム制御部122は、光学ズーム位置およびズームアウト駆動量に基づいて光学ズームのズームアウト位置を算出し、CZ制御部119に設定する。FAズーム制御部122は、CZ制御部119に対して、設定された光学ズームのズームアウト位置までズーム駆動するように指示する。そしてCZ制御部119は、ズームレンズ駆動部113を制御し、光学ズームのズームアウト動作を開始し、ステップS307へ進む。
ステップS307でFAズームアウト制御部122は、図11で後述するズーム停止の判定条件にしたがってCZ制御部119を停止させる。ステップS305にて光学ズームによるズームアウトが不要と判定された場合、または、ステップS307にて光学ズームのズームアウト動作が停止された場合、ズームアウト動作を終了する。
図10(B)は、図7のステップS115、S120、および図8のステップS124で行われるFAズームイン動作のフローチャートである。まず、ステップS308において、FAズーム制御部122は、ズームイン駆動量を取得する。モードが手動追尾モード(図8のステップS124)の場合、または、自動追尾モードのフレームアウト防止のズームイン動作(図7のステップS115)の場合、ズームイン駆動量は図10(A)のステップS300にてメモリ118に記憶したズーム戻り位置までズームインする駆動量とする。また、自動追尾モードのサイズ保持制御のズームイン動作(図7のステップS120)の場合には、ステップS118の判定に用いる所定のN2倍に相当するズームイン駆動量(1/N2倍)とする。
続いてステップS309において、FAズーム制御部122は、ズーム状態が光学ズーム状態であるか否かを判定する。ズーム状態が光学ズーム状態である場合、光学ズームを優先してズームインを行うため、ステップS310に進む。一方、ズーム状態が電子ズーム状態である場合、電子ズームのみでズームインを行うため、ステップS312に進む。
ステップS310において、FAズーム制御部122は、光学ズーム位置とステップS308にて取得されたズームイン駆動量に基づいて光学ズームのズームイン位置を算出し、CZ制御部119に設定する。ステップS310にてFAズーム制御部122は、CZ制御部119に対して、設定された光学ズームのズームイン位置までズーム駆動するように指示する。そしてCZ制御部119は、ズームレンズ駆動部113を制御し、光学ズームのズームイン動作を開始し、ステップS311へ進む。ステップS311では、図11で後述するズーム停止の判定条件にしたがってCZ制御部119を停止させる。
ステップS309にてズーム位置が電子ズーム領域内であると判定された場合や、ステップS311で光学ズームのズームイン動作を停止した場合、ステップS312に進む。ステップS312において、FAズーム制御部122は、さらに電子ズームによるズームインが必要か否かを判定する。電子ズームによるズームインが必要な場合、ステップS313に進む。一方、電子ズームによるズームインが不要な場合には、ズームイン動作を終了する。
ステップS313において、FAズーム制御部122は、ステップS308にて取得したズームイン駆動量に基づいて電子ズームのズームイン位置を算出し、電子ズーム制御部120に設定する。FAズーム制御部122は、電子ズーム制御部120に対して、設定された電子ズームのズームイン位置まで変倍処理を行うように指示する。そして電子ズーム制御部120は、電子ズームによるズームイン動作を開始し、ステップS314へ進む。ステップS314では、図11で後述するズーム停止の判定条件にしたがって電子ズーム制御部120を停止させる。ステップS312にて電子ズームによるズームインが不要と判定された場合、または、ステップS314にて電子ズームのズームイン動作が停止された場合、ズームイン動作を終了する。
次に図11を参照して、図10(A)のステップS304、S307、および図10(B)のステップS311、S314で行うズーム停止処理について説明する。まずステップS400にて、FAズーム制御部122は、動作中のズームが光学ズームである場合(図10(A)のステップS307、図10(B)のステップS311)、CZ制御部119から光学ズーム位置を取得する。一方、動作中のズームが電子ズームである場合(図10(A)のステップS304、図10(B)のステップS314)、電子ズーム位置を電子ズーム制御部120から取得する。取得したズーム位置が光学ズームワイド端(ズームアウト動作の場合)または電子ズームテレ端(ズームイン動作の場合)に到達した場合にはステップS407に進み、当該ズームを停止させる。取得したズーム位置がズーム端に到達していない場合には、ステップS401に進む。
ステップS401では、FAズーム制御部122は、図7のステップS106または図8のステップS121でメモリ118に記憶したモード情報を取得し、現在のモードが手動探索モードであるか、自動追尾モードであるかの判定を行う。現在のモードが手動探索モードである場合(図8のステップS122、S124)はステップS405に進む。一方、現在のモードが自動追尾モードである場合(図7のステップS110、S115、S117、S120)はステップS402に進む。
次にステップS402にて、FAズーム制御部122は、自動追尾モードにおいて何れのズーム動作中であるかの判定を行う。動作中のズームがフレームアウト防止制御のズームアウト動作である場合(図7のステップS110)はステップS405に進み、それ以外の場合はステップS403に進む。
さらにステップS403では、FAズーム制御部122は、被写体検出部123によって被写体が検出されているか否かの判定を行う。被写体が検出されている場合にはステップS404に進み、被写体が検出されていない場合にはステップS405に進む。
ステップS404では、基準被写体情報の被写体のサイズとステップS403で検出された被写体のサイズとの比較を行う。比較の結果、ステップS403にて検出された被写体のサイズと基準被写体のサイズとの差が所定の範囲内(所定の変化量以内)に収まらない場合には、再度、ステップS400に進み、ズーム停止の判定を継続する。ズーム動作によって、その差が所定の範囲内となった場合、ステップS406に進み、残ズーム駆動量をクリアする(無とする)。これは、図10(A)のステップS301または図10(B)のステップS308で取得したズーム駆動量を駆動していない場合でも、残ズーム駆動量をクリアすることで、図10(A)のステップS305または図10(B)のステップS312の判定をnoに進め、ズーム動作を終了させるためである。ステップS406で残ズーム駆動量のクリア処理が終わるとステップS407に進み、実際に動作中のズームを停止させる。
ステップS401〜S403の判定によって、FAズーム機能の現在のモードが手動探索モードの場合、または、自動追尾モードのフレームアウト防止制御のズームアウト動作中の場合、または、サイズ保持制御のズーム動作中で被写体が検出されない場合にはステップS405に進む。
ステップS405にて、FAズーム制御部122は、図10(A)のステップS301または図10(B)のステップS308で取得したズーム駆動量に基づき、各ズーム動作に応じた所定量分のズーム駆動量を駆動したか否かを判定する。所定のズーム駆動量を駆動していない場合には、再度ステップS400に進み、ズーム停止の判定を継続する。所定のズーム駆動量を駆動した場合には、ステップS407に進み、動作中のズームを停止させる。
以上説明したように、本実施形態では、FAズーム機能のモードや、自動追尾モードにおける制御状態、被写体の検出状態等に基づいてズーム動作の開始及び停止判定を行う。これにより、被写体のフレームアウト防止制御と被写体のサイズ維持制御を両立させることができ、撮影者の画角合わせを容易にすることが可能となる。
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。
また、本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ(ラップトップ型、デスクトップ型、タブレット型など)、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。適用するシーンとして、静止画撮影のための画角合わせ中のみでなく、動画記録中の画角合わせの際に実施しても構わない。