以下に、本発明の一実施形態について、添付図面を参照して詳細に説明する。なお、本実施形態によって実現される機能は、撮影者によるフレーミングを支援するフレーミング支援ズーム機能であり、便宜上、フレーミングアシストズーム機能(以下、FAズーム機能と略記する)と呼ぶこととする。
図1は、本発明の撮像装置の一実施形態としての、デジタルカメラ100の構成を示すブロック図である。レンズ鏡筒101は、その内部にレンズ群を保持している。ズームレンズ102は、光軸方向に移動することで焦点距離を調節し、光学的に画角を変更する。フォーカスレンズ103は、光軸方向に移動することでピントを調節する。防振レンズ104は、手ぶれに起因する像振れを補正する補正用レンズである。光量を調節する絞り及びシャッタ105は、露出制御に使用される。
レンズ鏡筒101を通過した光は、CCD(電荷結合素子)やCMOS(相補型金属酸化膜半導体)等を用いた撮像素子106にて受光され、光電変換されて撮像信号が生成される。撮像信号は、画像処理回路107に入力されて、画素補間処理や色変換処理等が施された後、画像データとして画像メモリ108に送られる。画像メモリ108は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等で構成される。
表示手段としての表示部109は、TFT型LCD(薄膜トランジスタ駆動型液晶表示器)等で構成され、撮影した画像データとともに、特定の情報(例えば、撮影情報や後述するFAズーム枠等)を表示する。このようなライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ(EVF)機能を実現している。
絞りシャッタ駆動部110は、画像処理回路107での画像処理によって得られた輝度情報に基づいて露出制御値(絞り値及びシャッタ速度)を演算し、この演算結果に基づき絞り及びシャッタ105を駆動する。これによって、自動露出(AE)制御が行われる。防振レンズ駆動部111は、ジャイロセンサ等の角速度センサから構成される振れ検出部124の情報に基づいてデジタルカメラ100に加わる振れ量を演算し、振れを打ち消すように防振レンズ104を駆動する。
フォーカスレンズ駆動部112は、フォーカスレンズ103を駆動する。例えば、コントラストAF(オートフォーカス)方式の制御では、画像処理回路107の画像処理によって得られた撮影光学系の焦点調節情報(コントラスト評価値)に基づき、被写体にピントが合うようにフォーカスレンズ103が駆動される。なお、本実施形態においては、焦点調節制御の如何は問わないので、位相差AF方式や他の方式と組み合わせた方式が採用可能である。
ズームレンズ駆動部113は、ズーム操作指示に従ってズームレンズ102を駆動する。操作部117には、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等が設けられている。ズーム指示操作に用いるズーム操作部材の操作量及び操作方向に基づいて、システム制御部114によりズーム駆動速度や駆動方向が演算され、演算結果に従ってズームレンズ102が光軸に沿って移動する。
撮影動作によって生成された画像データは、インターフェース部(以下I/F部と呼ぶ)115を介して記録部116に送られて記録される。画像データは、カメラに装着して使用するメモリカード等の外部記録媒体や、デジタルカメラ100に内蔵されている不揮発性のメモリ118、あるいは両方に記録される。
操作部117は前記ズーム操作部材の他、撮影開始を指示するレリーズスイッチ、各種撮影モードを切り替えるための撮影モード切り替えスイッチ、FAズーム機能の開始や終了を指示するFAズーム操作スイッチ、表示部109に設けられたタッチパネル等を含む。操作信号は後述のシステム制御部114に送られる。メモリ118は、プログラムデータや画像データの他に、デジタルカメラ100の設定情報や、後述するFAズーム機能におけるズームイン位置等の情報を記憶する。
制御手段としてのシステム制御部114は、CPU(中央演算処理装置)等の演算装置を用いて構成され、撮影者の操作に応じて各部に制御命令を送ることでカメラ全体を制御する。システム制御部114は、メモリ118に記憶されている各種の制御プログラム、例えば撮像素子106の制御やAE/AF制御、ズーム制御(FAズーム処理を含む)等を行うためのプログラムを実行する。
次に、システム制御部114のうち、FAズーム機能に関連する制御について説明する。なお、図1にはシステム制御部114の内部処理を119乃至122の各機能ブロックで表している。
光学ズームによる画角変更時でも合焦状態を維持するためには、レンズ鏡筒101に示すリアフォーカスタイプの鏡筒の場合、ズームレンズ102の位置に応じてフォーカスレンズ103を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム(CZ)制御という。CZ制御を行うに当たって、ズームレンズの焦点距離と、ピントが合うフォーカス位置との関係についての被写体距離ごとの情報(フォーカスカム情報)がデジタルカメラ100に記憶されている。
デジタルカメラ100は、光学ズーム機能と電子ズーム機能を有する。CZ制御部119とズームレンズ駆動部113は、光学ズーム駆動を担当する。CZ制御部119は、ズーム動作時にて所定の制御周期ごとにズームレンズ102のズーム位置を検出し、フォーカスカム情報に基づいて、ズーム位置に応じたフォーカスレンズ位置にフォーカスレンズ103を駆動させる。これによって、合焦状態を維持したまま光学ズーム動作を行うことが可能になる。
一方、電子ズーム制御部120及び画像メモリ108は、電子ズーム駆動を担当する。電子ズーム制御部120は、画像メモリ108に転送された画像データから対象領域を切り出すことによって電子ズーム機能を実現する。また、撮像素子106に取り込む映像のフレームレート周期で切り出す範囲を徐々に大きくし、表示部109に表示させることで滑らかな電子ズーム表示が実現される。
被写体検出部123は、画像メモリ108の画像データから所望の被写体領域を検出する。本実施形態では顔情報を元に被写体を検出(顔検出)する被写体検出方法について説明する。顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部123は、画像データ上の正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較し、両者の相関が一定の閾値を超えるときに、その部分領域を顔領域と判定する。この判定を、部分領域のサイズ、配置位置、配置角度の組み合わせを様々に変更しながら繰り返せば、画像データ中に存在する様々な顔領域が検出される。被写体検出部123は、検出結果に基づき、画像データ上での被写体領域の大きさや位置・速度を求めることができる。
次に、FAズーム機能の概要と、FAズーム枠制御部121及びFAズーム制御部122について説明する。本実施形態のデジタルカメラ100は、FAズーム機能として自動FAモードを備えている。自動FAモードは、カメラが被写体を検出して自動的に画角合わせを支援するモードである。
本実施形態のデジタルカメラ100の自動FAモードでは、追尾している被写体の位置や大きさに応じて、自動でズームアウト動作やズームイン動作を行う。まず、モードを自動FAモードとした後、タッチパネル等から被写体を指定する操作を実施することにより撮影したい被写体を指定する。被写体の指定方法としては、タッチパネル操作以外に、特定のボタンを押下したときに中央付近にいる被写体を指定する方法や、カメラが検出した被写体の中から自動で主被写体を選択する方法なども考えられる。被写体検出部123では、画像メモリ108から指定された被写体領域の画像データ上での位置や大きさを算出する。これをライブビューとして表示するサンプリングごとの画像データに対して連続的に行なうことで被写体の動きを追尾することが可能となる。
図11(A)〜(D)を用いて、自動FAモードにおけるズームアウト動作やズームイン動作の開始条件について説明する。まず、図11(A)では、表示部109に示される画面内に被写体601が検出されている様子を示している。図11(A)では、表示部109に示される画面において、点線602よりも外側の領域をズームアウト領域(ZO)としている。ZOは画面全体に対して所定の比率のサイズで設定される。例えば、画面の中心点を0%、画面全体を100%とし、画面全体に対して80%となる位置をZOの境界とした場合、80〜100%の領域をZOとする。このZOに被写体の一部が進入した場合や、被写体のサイズが所定の大きさより大きくなった場合、ズームアウト動作を開始する。被写体のサイズや移動速度に応じてズームアウトするズーム倍率やズーム速度を算出しておき、その倍率や速度に従ってズームアウト動作を行うことで、被写体のフレームアウトを防止することができる。また、ズームアウト開始時のズーム位置を後述するズーム戻り位置として記憶しておく。
図11(B)は、ズームアウト動作中の状態を示している。算出したズーム倍率分のズームアウト動作が完了すると、図11(C)のようにズーム戻り位置を示すFAズーム枠603が表示される。ユーザーがカメラの方向を変更してFAズーム枠603内に被写体601が収まると、記憶していたズーム戻り位置までズームイン動作を行い、図11(D)のように被写体601を画角内に捉えることができる。
次に、図12を用いて自動FAモードにおける電子ズーム及び光学ズームの目標ズームアウト位置もしくはズームイン位置の例について説明する。図12では、光学ズームの焦点距離が24〜840mmの範囲で光学ズーム倍率を最大35倍とし、電子ズーム倍率を最大4倍としており、目標ズームアウト駆動量はズーム倍率に換算して1/8倍、ズームイン駆動量は8倍とする。なお、図中の「光学ワイド端」、「光学テレ端」は光学ズーム動作におけるワイド端(焦点距離24mm)、テレ端(焦点距離840mm)をそれぞれ示し、光学ズーム領域の境界を表す。「電子ワイド端」、「電子テレ端」は電子ズーム動作におけるワイド端(焦点距離840mm相当)、テレ端(焦点距離3360mm相当)をそれぞれ示し、電子ズーム領域の境界を表す。なお、光学テレ端位置と電子ワイド端位置は一致している。
パターン1は、撮影準備状態でのズーム位置が、電子テレ端位置の場合を示している。電子ズーム倍率は最大4倍であるため、電子ズームのズームアウト位置は電子ワイド端位置とし、残りの2倍分については光学ズームでのズームアウト動作が行われる。したがって、光学ズームによるズームアウト位置は840mm×(1/2倍)=420mmの焦点距離に対応する位置となる。
パターン2は、撮影準備状態でのズーム位置が、光学テレ端位置で焦点距離840mmの場合を示している。撮影準備状態でのズーム状態は光学ズーム状態であるため、電子ズーム位置は電子ワイド端位置のままである。ズーム倍率1/8倍に対応するズームアウト駆動量で光学ズーム位置を変更した場合、840mm×(1/8倍)=105mmの焦点距離に対応する位置がズームアウト位置となる。
パターン3は、撮影準備状態でのズーム位置が、光学ミドル位置で焦点距離192mmの場合を示している。このときの光学ズームのズームアウト位置は、192mm×(1/8倍)=24mmの焦点距離に対応する位置(光学ワイド端位置)となる。
パターン4は、撮影準備状態でのズーム位置が、光学ミドル位置で焦点距離72mmの場合を示している。光学ズームのズームアウト位置の算出結果は、72mm×(1/8倍)=9mmとなり、光学ワイド端位置よりも広角側の位置となる。この場合、光学ワイド端位置である焦点距離24mmをズームアウト位置とする。
ここで、自動FAモードでFAズーム機能を使用する場合の問題点として、必要以上にズームアウトを行ってしまうケースを説明する。上述した図11(B)の状態において、表示部109に表示される被写体601の位置を確認しながら撮影者がカメラを動かしてフレーミングを行い、被写体601がすでに画角内に十分捉えられているとする。その場合、撮影者はこれ以上ズームアウトをして被写体を探索する必要はない。しかしながら、撮像装置は予め設定されたズームアウト位置までズームアウト動作を行ってしまい、必要以上のズームアウト動作を行うこととなる。そして、所定のズームアウト位置までズームアウトした状態で、被写体がFAズーム枠603内に入ったかを判定し、ズームインを行う。つまり、所定のズームアウト駆動量だけズームアウト動作を完了してからズームイン動作の判定を行うため、被写体を画角内に捉えてから実際に所望の画角で撮影できるようになるまでに必要以上の時間を要する。そのため、場合によっては決定的な撮影タイミングを逃してしまうことも考えられる。
上述の問題点を解決するために、本実施形態の自動FAモードでは、ズームアウト動作中に被写体が十分画角内に捉えられていると判断された場合は、目標ズームアウト位置に到達していなくても、途中でズームアウト動作を停止する。そのため、画面内にズームアウト停止検出領域を設定し、ズームアウト動作中に検出された被写体と該領域との位置関係に応じて、ズームアウト動作を途中で停止するか否かの判定(ズームアウト停止判定)を行う。FAズーム制御部122は、ズームアウト開始時のズーム位置を基準として所定倍率分だけズームアウトしたら、ズームアウト停止判定有効ズーム位置に達したとして、ズームアウト停止判定を有効にする。ズームアウト停止判定が有効になると、所定時間内に画面内に被写体が検出され、かつズームアウト停止検出領域内に入った場合に、目標ズームアウト位置に到達していなくてもズームアウト動作を停止する。また、上記所定時間は、振れ検出部124によって検出された振れ情報に応じて設定する。
次に、本実施形態における自動FAモードでのズームアウト停止判定の詳細について説明する。
まず、本実施形態の自動FAモードの処理の流れを、図4のフローチャートを用いて説明する。S401にて、FAズーム制御部122は、FAズームを開始するか否かを判定する。ここでは、被写体検出結果を元にFAズーム開始の判定を行う。S401のFAズーム開始判定にてFAズームの開始判定がなされると、S402に進む。
S402でFAズーム制御部122は、ズームアウト開始時の光学ズーム位置及び電子ズーム位置を記憶するとともに、所定の駆動量だけCZ制御部119もしくは電子ズーム制御部120に指令してFAズームアウト動作を行う。
FAズームアウト動作が終了するとS403に進み、FAズーム枠制御部121は、表示部109に記憶したズーム位置を示すFAズーム枠を表示する。FAズーム枠を目安として、撮影者は撮影したい被写体を画面中央付近に収めるようにフレーミング操作を行う。
S404でFAズーム制御部122は、FAズームを終了するか否かを判定し、FAズームイン動作を行う。ここでは、まず、被写体検出結果を元にFAズーム終了の判定を行う。FAズーム終了の判定がなされると、FAズーム制御部122は、記憶した光学ズーム位置及び電子ズーム位置まで駆動するようにCZ制御部119もしくは電子ズーム制御部120に指令してFAズームイン動作を行い、処理を終了する。
次に、図5乃至図9を用いて、図4で示したFAズーム機能の処理の流れに従って各処理の詳細を説明する。
図5は、図4のS401で示されるFAズーム開始判定処理を説明するフローチャートである。S501でFAズーム制御部122は、操作部117のFAズーム操作スイッチが押下されて自動FAズームモードがONになったか否かの判定を行う。FAズーム操作スイッチが押下されるとS502に進み、追尾する被写体(基準被写体)の被写体指定処理を行う。なお、本実施形態では、FAズーム機能として自動FAモードのみを説明しているが、上述した特許文献1のように手動でFAズーム動作を指示するモードを選択可能にしてもよい。
ここで、図6を用いてS502の被写体指定処理について説明する。図6(A)は操作部117の部材であるタッチパネルを用いて、表示部109に表示された被写体をタッチして指定する操作例のフローチャートを示している。S601では、タッチパネルが押下されたか否かの判定を行う。タッチパネルが押下された場合にはS602に進み、FAズーム制御部122はタッチされた位置の座標を取得する。
S603では、FAズーム制御部122はタッチ位置を被写体検出部123に通知し、被写体検出部123はタッチ位置付近で顔検出を行う。タッチ位置付近に顔を検出した場合には主被写体は人物であると判定しS604へと進む。S604では、自動追尾の対象である人物の顔情報をメモリ118に記憶する。具体的な顔情報としては、被写体指定時の顔のサイズや顔の検出位置、顔の向き等がある。また、顔認証機能を有するカメラにおいては認証ID等も記憶する。
S603でタッチ位置付近に顔を検出しなかった場合には、主被写体は人物以外のモノであると判定しS605へと進む。S605では、タッチ位置付近の特徴色を自動追尾対象の色情報としてメモリ118に記憶する。具体的な色情報としては、被写体指定時の特徴色の色や輝度、色差の値や同一色領域のサイズ、同一色領域の重心位置等がある。顔情報及び色情報のことを以降の説明ではまとめて被写体情報(被写体サイズ/被写体検出位置)として説明に用いることとする。
S604又はS605で被写体情報を記憶するとS606に進む。S606では、被写体検出位置を中心に被写体サイズに対応した大きさの被写体追尾枠(モノ追尾枠もしくは顔追尾枠)を表示部109に表示すると被写体指定処理が終了となる。図6(A)の方法を用いると、撮影者が追尾したい被写体を直感的な指定方法で簡単に指定することが可能となる。
一方、図6(B)は、操作部117の部材であるFAズーム操作スイッチとは別のスイッチによって被写体を指定する操作例のフローチャートを示している。S607でFAズーム制御部122は、表示部109の画面中央付近に被写体指定の目安となる枠を表示する。撮影者はこの枠を目安として追尾したい被写体を中央付近に収めるようにカメラの向きを調整する。S608では、被写体指定用のスイッチが押下されたか否かの判定を行い、被写体指定用スイッチが押下された場合にはS609に進む。S609で被写体検出部123は、画面中央付近で顔検出を行う。
画面中央付近に顔を検出した場合には主被写体は人物であると判定しS610へと進み、画面中央付近に顔を検出しなかった場合には主被写体は人物以外のモノであると判定しS611へと進む。S610乃至S612の処理については被写体検出を行う領域が画面中央付近となること以外は図6(A)と同様であるため説明を省略する。S610又はS611で被写体情報を記憶すると、S612に進み、被写体追尾枠(モノ追尾枠もしくは顔追尾枠)を表示して被写体指定処理が終了となる。このように、図6(B)の方法を用いると、タッチパネルのような操作部材を搭載しないカメラにおいても被写体を簡単に指定することが可能となる。
図6(C)は、操作部117の部材であるFAズーム操作スイッチが短時間押された時点で検出された顔の中から追尾する被写体を自動で選択する例のフローチャートを示している。S613で被写体検出部123は、画面全体で顔検出を行う。画面全体で一つでも顔を検出した場合には、主被写体は人物であると判定しS614に進む。
S614で被写体検出部123は、検出した顔が一人の場合にはその顔を主顔とし、複数の場合にはその顔の中から追尾する被写体とする主顔を選択する。主顔選択の判定基準としては、例えば、顔検出位置がより画面中央付近にいるものを選択する方法や、同程度の位置であれば顔サイズが大きいものを主顔として選択する方法がある。また、顔認証機能を有するカメラにおいては認証登録されている顔がある場合には、その顔を優先して主顔としてもよい。
S615では、選択された主顔の顔情報をメモリ118に記憶する。S615で顔情報を記憶するとS616に進み、顔追尾枠を表示する。S617では、複数の顔から自動で選択された主顔が撮影者の意図しない顔である場合に撮影者が主顔を変更することが可能である。このとき、操作部117のスイッチ(FAズーム操作スイッチでも他のスイッチでもよい)を押下すると、検出された顔の中から主顔として選択されなかった顔に主顔を変更する。主顔が変更された場合には再度S615に進み、記憶する顔情報を更新するとともに、S616で顔追尾枠を新たに選択された主顔のサイズ及び検出位置に変更する。
S613にて画面全体で顔を検出しない場合には、主被写体は人物以外のモノであると判定しS618へと進む。S618では、画面中央付近の特徴色を自動追尾対象の色情報としてメモリ118に記憶する。さらに、S618でモノ情報を記憶するとS619に進み、モノ追尾枠400を表示して被写体指定処理が終了となる。S615、616、618、619の処理については、被写体検出を行う領域が顔の場合には画面全体、色の場合には画面中央付近となること以外は図6(A)と同様であるため説明を省略する。図6(C)の方法を用いると、より少ない操作回数で被写体を簡単に指定することが可能となる。
被写体指定処理を終了すると図5のS503へと進む。S503乃至S505では、被写体指定時に指定した基準となる被写体情報と、周期的に検出する被写体情報とを元にFAズームを開始するか否かの判定を行う。FAズーム開始の条件を満たすまで所定の制御周期でこの判定は繰り返される。
S503で被写体検出部123は、画面全体の中から基準被写体情報と同じ特徴を持つ被写体、すなわち、基準被写体が人物である場合には顔が、モノである場合には同一の特徴色が検出されたか否かを判定する。追尾する被写体が検出されなかった場合にはS502へ戻り、再度被写体指定処理を行う。一方、追尾する被写体が検出された場合にはS504に進む。S504では、追尾する被写体の被写体追尾枠が上述したズームアウト領域(ZO)に含まれるか否かを判定する。S504で追尾枠がズームアウト領域に含まれる、すなわち、被写体が画面周辺付近にありフレームアウトする恐れがある場合にはS506に進み、FAズームの開始をすべきことが判定される。
図3(A)は、S504でyesとなってS506でFAズームが開始される状態を示したもので、望遠側にズームインした状態の画角を示している。ここで、被写体検出部123によって取得された被写体201が画面内において点線202よりも外側のZO(第2の領域外)に含まれているため(S504でyes)、S506でFAズーム制御部122はズームアウト動作の開始を判定する。ズームアウトする際の目標ズームアウト駆動量(ズームアウト倍率)は、図12で説明したのと同様に予め設定されているが、メニュー画面などでユーザーが設定することも可能である。
一方、S504で被写体追尾枠がズームアウト領域に含まれていない、すなわち、画面中央付近で被写体を捉えられている場合には、S505に進む。S505では、基準被写体情報の被写体サイズとS503で検出した被写体サイズとの比較を行う。S503で検出した被写体サイズが基準の被写体サイズに対して所定倍以上となって被写体が画面に占める比率が大きくなってしまう場合にはS506に進み、FAズームの開始をすべきことが判定される。S506でFAズームの開始判定がなされると、図4のS402に進み、FAズームアウト動作を開始する。一方、S503で検出した被写体が画面中央付近でかつ被写体サイズが基準の被写体サイズに対して所定サイズ以内である場合には、再度S503に進み、被写体の検出を判定する。
図7は、図4のS402で示されるFAズームアウト動作の処理を説明するフローチャートである。S701でFAズーム制御部122は、撮影準備状態での光学ズーム位置をCZ制御部119から取得し、電子ズーム位置を電子ズーム制御部120から取得する。さらにFAズーム制御部122は光学ズーム位置及び電子ズーム位置のデータをメモリ118に記憶する。なお、光学ズーム位置は、光学ズーム機能によって変更可能なズーム倍率に相当するズームレンズの位置を表し、電子ズーム位置は電子ズーム機能によって変更可能な画像拡大及び縮小の倍率に相当する制御位置を表す。
次に、S702でFAズーム制御部122は、被写体の大きさや速度についての情報をメモリ118に記憶する。そして、S703でFAズーム制御部122は、ズームアウト駆動量を算出する。ここで算出するズームアウト駆動量は、途中でズームアウト停止が判定されなかった場合の駆動量であり、駆動量の上限値に相当する。また、ズームアウト駆動量は、検出された被写体のサイズに応じて設定される。具体的には、被写体のサイズが小さいほどズームアウト駆動量は小さく設定される。なお、被写体検出可能な最小サイズを考慮して、被写体のサイズが所定のサイズより小さい場合は、ズームアウトを行わないようにする。また、ズームアウト駆動量は、撮影者が設定メニューからの操作によって変更可能にしてもよい。
次に、S704でFAズーム制御部122は、ズームアウト停止検出領域を算出する。ズームアウト停止検出領域は、後述するズームアウト停止判定が有効の状態で被写体が画面内のズームアウト停止検出領域内に含まれると、ズームアウト動作を停止する領域である。そして、S705でFAズーム制御部122は、ズームアウト停止判定が有効となるズーム位置を算出する。すなわち、ズームアウトを行って、ズーム位置が所定のズームアウト停止判定有効ズーム位置に達すると、ズームアウト停止判定が有効になる。
S703〜S705で算出される数値と各種情報との関係性を示したのが図10である。図10では、カメラ撮影モード、被写体の大きさ、被写体の速さに応じて、ズームアウト駆動量、ズームアウト停止検出領域、ズームアウト停止判定有効ズーム位置をどのように変更するのかを示している。例えば、被写体の動く速度が小さい場合には、画角の端付近に被写体が位置しているときにズームアウトを停止させたとしても、急に画角からフレームアウトする可能性は少ない。その一方で、被写体の動く速度が大きい場合には、画角の端付近でズームアウトを停止してしまうと、再びフレームアウトして被写体を見失ってしまう可能性がある。そこで被写体の動く速度が大きい場合には、より確実に被写体を画角内に捉えるため、速度が小さいときと比べて「ズームアウト駆動量」を大きく設定する。また、「ズームアウト停止検出領域」は、速度が小さいときと比べて小さく(内側に)設定する。また、「ズームアウト停止検出有効ズーム位置」については、被写体の速度が小さい場合には、より望遠側でズームアウト停止判定を有効にすることで、早い段階でズームアウトを停止できるようになり、フレーミングの時間を短縮できる場合がある。また、被写体の大きさが大きい場合や、スポーツモードのように動きの速い被写体を撮影する撮影モードが設定されている場合も、被写体の速度が大きい場合と同様の設定を行う。なお、図10に示したのは一例であり、被写体のフレームアウトしやすさに影響するものに対して本実施形態のような設定値の変更を適用できる。また、ズームアウト駆動量、ズームアウト停止検出領域、ズームアウト停止判定有効ズーム位置の全てを変更するようにしてもよいし、一部のみ変更するようにしてもよい。
図7に戻り、S706でFAズーム制御部122は、停止判定有りズームアウト動作を行い、FAズームアウト動作を終了する。停止判定有りズームアウト動作の詳細については、図8を用いて後述する。FAズームアウト動作が終了すると、図4のS403に進む。
ここで、停止判定有りズームアウト動作について、図8を用いて説明する。S801でFAズーム制御部122は、S703で取得したズームアウト駆動量からズームアウト位置を算出し、電子ズーム制御部120またはCZ制御部119に設定する。一般的なズーム操作では、操作部117のズーム操作スイッチが押下されると、光学ズーム位置がワイド端からテレ端の間である場合には、CZ制御部119の制御下で光学ズームを駆動させる。光学ズーム位置がテレ端であって、さらに望遠方向への操作指示がなされた場合には電子ズーム制御部120が電子ズームを駆動させることで超望遠撮影が可能となる。ズーム操作スイッチの操作によるズーム動作とFAズーム動作との整合性を取るために、FAズーム動作においても、撮影準備状態でのズーム状態が電子ズーム状態の場合には電子ズームを先に駆動させる。
S802でFAズーム制御部122は、電子ズーム制御部120またはCZ制御部119に対して、S801で設定したズームアウト位置まで変倍処理を行うように指示する。電子ズーム制御部120またはCZ制御部119はズームアウト動作を行う。
S803でFAズーム制御部122は、ズーム位置が図7のS705で算出したズームアウト停止判定有効ズーム位置に達しているか否かを判定する。ズームアウト停止判定有効ズーム位置に達したらS804に進む。
S804でFAズーム制御部122は、振れ検出部124の検出結果に基づいて、時間T1(第1の所定時間)を設定する。ここで、撮影者が被写体を探索している状態においては、振れ量が大きくなることが予測される。そこで、振れ量が大きくなるほど時間T1を長く設定することで、撮影者が被写体を探索している際に十分な判定時間を設けるとともに、必要以上にズームアウトを中断するのを防ぐことができる。
S805でFAズーム制御部122は、被写体検出部123により画面内に被写体が検出されているか否かを判定する。ズームアウト停止判定有効ズーム位置に達してから時間T1以内に被写体が検出された場合、S810に処理を進める。一方、被写体が検出されないまま時間T1が経過した場合(S806でyes)、S807に処理を進める。
S807でFAズーム制御部122は、電子ズーム制御部120またはCZ制御部119に対して、S801で設定したズームアウト位置まで変倍処理を行うように指示する。電子ズーム制御部120またはCZ制御部119は、残りのズームアウト移動量分のズームアウト動作を行う。S808でFAズーム制御部122は、図7のS703で取得したズームアウト移動量分のズームアウトが完了したか否かを判定し、完了したらS809に処理を進める。
S809でFAズーム制御部122は、被写体検出部123により画面内に被写体が検出されているか否かを判定する。なお、S804乃至S806と同様に、ここでも時間T1を設定し、目標ズーム位置に達してから時間T1以内に被写体が検出されたか否かを判定するようにしてもよい。被写体が検出された場合、S811に進み、被写体が検出されなかった場合、FAズーム機能を終了する。
一方、S805で時間T1以内に被写体が検出された場合、S810でFAズーム制御部122は、検出された被写体が図7のS704で算出したズームアウト停止検出領域内に含まれるか否かを判定する。被写体が検出されてから時間T1の間に被写体がズームアウト停止検出領域内に含まれると判定された場合は、S811に進む。
S811でFAズーム制御部は、振れ検出部124の検出結果に基づいて、時間T2(第2の所定時間)を設定する。ここでも、時間T1と同様に、振れ量が大きくなるほど時間T2を長く設定する。時間T2を設定すると、停止判定有りズームアウト動作を終了し、図4のS403のFAズーム枠表示処理に進む。
図3(B)は、図3(A)のズーム位置から所定倍率ズームアウトして、ズーム停止判定が有効になったときの状態を示しており、画面内にズームアウト停止検出領域203が設定されている。ズーム停止判定が有効の場合、被写体201がズームアウト停止検出領域203の内側に検出されていれば、被写体を十分に画角内にとらえることができていると判断する。そして、予め設定されたズームアウト駆動量に到達する前であってもズームアウト動作を停止させる。なお、本実施形態では、被写体領域の一部でもズームアウト停止検出領域203に含まれればズームアウトを停止するが、被写体領域の全部、または所定比率以上の領域がズームアウト停止検出領域に含まれた場合に停止させてもよい。
以上、図7および図8で説明したFAズームアウト動作が終了すると、図4のS403で示されるFAズーム枠表示処理に進む。S403でFAズーム制御部122は、ズーム戻り位置に対応するFAズーム枠の表示をFAズーム枠制御部121に指示する。ここでは、図7のS701で記憶したFAズームアウト開始時のズーム位置に対応する画角をFAズーム枠として、撮影画像に重畳して表示する。なお、本実施形態では、撮影者にとってフレーミングの目安となるFAズーム枠は表示するが、カメラ内部の判定処理に用いるZO領域およびズームアウト停止検出領域は表示しなくてもよい。FAズーム枠を表示すると、S404のFAズームイン動作に進む。
FAズームアウト動作後のズーム位置にて、撮影者は被写体201がFAズーム枠204内に収まるように撮像装置を動かしてフレーミングを行う(図3(C))。被写体201がFAズーム枠204内に収まると、FAズーム制御部122は自動的にFAズーム枠204に対応するズーム位置までズームイン動作を行う。
図9は、図4のS404で示されるFAズームイン動作の処理を説明するフローチャートである。S901でFAズーム制御部122は、撮影者により自動FAモードをキャンセルする操作が行われたか否かを判定する。なお、本実施形態では、自動FAモード中にFAズーム操作スイッチが押下されると自動FAモードがキャンセルされたと判定し、その時点のズーム位置でFAズーム機能が終了となる。自動FAモードがキャンセルされなければ、S902に進む。
S902でFAズーム制御部122は、被写体がFAズーム枠内に包含されているか否かを判定する。被写体がFAズーム枠内に包含されている場合はS903へ進み、包含されていない場合はS906へ進む。本実施形態では、被写体追尾枠がFAズーム枠に完全に含まれる場合にズームイン動作を行うが、被写体追尾枠のうち所定比率以上の領域がFAズーム枠に含まれる場合にズームイン動作を行ってもよい。
S906でFAズーム制御部は、図8のS805またはS809で被写体が検出されてから時間T2が経過したか否かを判定する。時間T2は図8のS811で設定された時間である。被写体がFAズーム枠内に包含されずに時間T2が経過した場合(S906でyes)、FAズーム機能を終了する。一方、時間T2以内に被写体がFAズーム枠内に包含された場合、S903に進む。
S903でFAズーム制御部122は、図7のS701で記憶したズーム位置(ズーム戻り位置)のデータをメモリ118から読み込む。
S904でFAズーム制御部122は、S903で読み込んだズーム戻り位置に基づいて、ズームイン位置をCZ制御部119または電子ズーム制御部120に設定する。本実施形態では、光学ズームを優先してズームインを行う。S905でFAズーム制御部122は、CZ制御部119または電子ズーム制御部120に対して、S904で設定したズームイン位置までズームイン動作を行うように指示する。これによってズーム戻り位置へと復帰し、FAズームイン動作を終了する。
図3(D)は、ズームイン動作が完了した状態を示している。図3(D)で示されるように、FAズーム枠204が表示部109の画角全体に一致するまでズームインが行われる。このように、自動FAモードを用いることで、望遠状態で被写体201を画角内に捉えた画像を簡単な操作で撮影することができる。
次に、図2を用いて、本実施形態の自動FAモードにおけるズームアウトもしくはズームイン位置について説明する。図2の例では、図12と同様に、光学ズームの焦点距離が24〜840mmの範囲で光学ズーム倍率を最大35倍とし、電子ズーム倍率を最大4倍としており、目標ズームアウト駆動量はズーム倍率に換算して1/8倍、ズームイン駆動量は8倍とする。なお、図中の「光学ワイド端」、「光学テレ端」は光学ズーム動作におけるワイド端(焦点距離24mm)、テレ端(焦点距離840mm)をそれぞれ示し、光学ズーム領域の境界を表す。「電子ワイド端」、「電子テレ端」は電子ズーム動作におけるワイド端(焦点距離840mm相当)、テレ端(焦点距離3360mm相当)をそれぞれ示し、電子ズーム領域の境界を表す。なお、光学テレ端位置と電子ワイド端位置は一致している。
また、ズームアウト開始時からズームアウト停止判定有効ズーム位置までのズーム駆動量は、自動FAモードで設定されるズームアウト駆動量より小さい。図2では、ズームアウト停止判定有効ズーム位置を、ズームアウト開始時のズーム位置からズーム倍率に換算して1/2倍とする。なお、これらの数値は一例であり、本実施形態の適用は上記の値に限定されない。
図2では、ズームアウト開始位置が焦点距離840mmの場合を例に説明する。この場合のズームアウト駆動量は、焦点距離が840mm×(1/8倍)=105mmのズーム位置までの駆動量となる。また、840mm×(1/2倍)=420mmより、焦点距離840〜420mmの間はズームアウト停止判定が無効、焦点距離420mmより広角側においてズームアウト停止判定が有効となる。
パターン1は、ズームアウト駆動量の焦点距離105mmまで駆動する間に、被写体がズームアウト停止検出領域203内に含まれなかった場合である。すなわち、ズームアウト動作の完了までズームアウト停止が判定されなかったケースである。この場合、設定されたズームアウト駆動量に対応する焦点距離105mmのズーム位置でズームアウト動作が停止し、その状態で被写体をFAズーム枠内にフレーミングし、被写体がFAズーム枠内に包含されれば、焦点距離840mmまでズームイン動作を行う。
一方、パターン2は、ズームアウト駆動量の焦点距離105mmまで駆動する前に、ズームアウト停止判定された場合である。この例では、焦点距離210mmの時点でズームアウト停止検出領域203内に被写体が含まれたことを判定している。そのため、ズームアウト動作を焦点距離210mmで停止し、停止したズーム位置で被写体がFAズーム枠204に入ったか否かの判定を行う。その後、FAズーム枠204に入ったという判定がされると、焦点距離840mmのズーム位置までズームイン動作を行う。
本実施形態では、FAズームアウト動作中にズームアウト停止判定有効ズーム位置に達したら、ズームアウト停止検出領域203と被写体との位置関係に基づくズームアウト停止判定を有効にする。自動FAズームモードが設定される場合、撮影者は被写体がフレームアウトしそうな状況で被写体を画角内に捉えようとしていることが想定されるため、ある程度ズームアウトを行う必要がある。そのため、本実施形態では、ズームアウト開始時からズームアウト停止判定を有効にするのではなく、所定量ズームアウトを行ってズームアウト停止判定有効ズーム位置に達してからズームアウト停止判定を有効にしている。
以上説明したように、本実施形態では、画面内にズームアウト停止検出領域を設定することにより、FAズームアウト動作中に検出された被写体と該領域との位置関係に応じて、ズームアウト動作を停止させるか否かの判定を行う。より具体的には、ズームアウト停止判定有効ズーム位置において被写体がズームアウト停止検出領域内に検出された場合、ズームアウト動作を停止させる。これにより、被写体がある程度画角内に捉えられている場合は、ズームアウト動作を途中で停止させることができるため、必要以上のズームアウト動作を抑制することができる。
さらに、本実施形態では、カメラの振れ量に応じて所定時間を設定し、ズームアウト停止判定有効ズーム位置に達してから所定時間内に被写体が検出されたどうかを判定している。そのため、撮影者が被写体を探索している場合には十分な判定時間を確保するとともに、必要以上にズームアウト動作を中断するのを防ぐことができる。
以上より、本実施形態によれば、フレーミングを支援するための機能として被写体の検出結果に応じて自動的にズーム動作を行う撮像装置において、必要以上のズームアウト動作を効果的に抑制することで、撮影タイミングを逃すのを防ぐことが可能になる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、適用するシーンとしても、静止画撮影のための画角合わせ中のみでなく、動画記録中の画角合わせの際に実施しても構わない。
また、本発明は、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理を含む。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。