JP5067047B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5067047B2 JP5067047B2 JP2007177233A JP2007177233A JP5067047B2 JP 5067047 B2 JP5067047 B2 JP 5067047B2 JP 2007177233 A JP2007177233 A JP 2007177233A JP 2007177233 A JP2007177233 A JP 2007177233A JP 5067047 B2 JP5067047 B2 JP 5067047B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- cpu
- main subject
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、被写体の追尾機能を備えた撮像装置に関する。
従来から、動きのある主要被写体に追従してフォーカス調整や露光条件の演算などを行うために、被写体追尾機能を備えた撮像装置が種々提案されている。一例として、特許文献１には、複数のテンプレートを用いて入力画像にテンプレートマッチング処理を施して被写体追尾を行う撮像装置が開示されている。
特開２００１−６０２６９号公報
しかし、従来の撮像装置では、被写体追尾中に主要被写体が認識できなくなると被写体追尾の処理が終了する。そのため、例えばフレームアウトなどで主要被写体を一時的に認識できなくなった場合には主要被写体の追尾を最初からやり直す必要があるので、被写体追尾機能の精度が低いというのが実情であった。
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、主要被写体を一時的に認識できなくなる状況でも、比較的に高い精度での被写体追尾を可能とする手段を提供することである。
本発明の一態様である撮像装置は、撮像部と、メモリと、被写体認識部と、認識状態判定部と、被写体追尾部とを備える。撮像部は、被写体を撮像して画像のデータを生成する。メモリは、主要被写体に関する参照データを記憶する。被写体認識部は、画像のうちの部分領域を探索範囲に指定するとともに、探索範囲内の被写体の特徴と参照データが示す特徴との相関に基づいて主要被写体を認識する。認識状態判定部は、被写体認識部による認識が成功している第１状態と認識が失敗している第２状態とを判定する。被写体追尾部は、第１状態のときに、被写体認識部が認識した主要被写体の位置を撮影画面内で継続的に指定する。そして、被写体認識部は、第１状態から第２状態に移行して被写体追尾部による指定が中断された後に、探索範囲のサイズを拡大して主要被写体を再探索する。また、被写体追尾部は、第１状態から第２状態に移行して指定が中断したときに、認識した主要被写体の最後の位置が撮影画面の中心部と周辺部とのいずれに属するかを判定する。また、被写体認識部は、最後の位置が中心部に属する第１の場合と最後の位置が周辺部に属する第２の場合とで、探索範囲を拡大するときのアルゴリズムを変化させる。
主要被写体を一時的に認識できなくなる状況でも、比較的に高い精度での被写体追尾が可能となる。
＜電子カメラの構成の説明＞
図１は、本実施形態の電子カメラの構成を説明するブロック図である。本実施形態の電子カメラは、被写体認識に基づく被写体追尾機能を備えている。
図１は、本実施形態の電子カメラの構成を説明するブロック図である。本実施形態の電子カメラは、被写体認識に基づく被写体追尾機能を備えている。
電子カメラは、撮像光学系１１およびレンズ駆動部１２と、撮像素子１３と、ＡＦＥ１４と、画像処理部１５と、第１メモリ１６と、記録Ｉ／Ｆ１７と、モニタ１８と、操作部材１９と、レリーズ釦２０と、第２メモリ２１と、振動センサ２２と、姿勢センサ２３と、ＣＰＵ２４およびバス２５とを有している。ここで、画像処理部１５、第１メモリ１６、記録Ｉ／Ｆ１７、モニタ１８、第２メモリ２１およびＣＰＵ２４は、バス２５を介してそれぞれ接続されている。また、レンズ駆動部１２、操作部材１９、レリーズ釦２０、振動センサ２２および姿勢センサ２３はそれぞれＣＰＵ２４に接続されている。
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のフォーカシングレンズのレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
撮像素子１３は、撮像光学系１１の像空間側に配置されており、その受光面には受光素子が２次元配列されている。そして、撮像素子１３は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。なお、撮像素子１３の出力はＡＦＥ１４に接続されている。
ここで、電子カメラの動作モードの一つである撮影モードにおいて、撮像素子１３はレリーズ釦２０の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１３は、撮影待機時にも所定間隔毎にスルー画像を撮像する。このスルー画像のデータは撮像素子１３から間引き読み出しされて、モニタ１８での画像表示やＣＰＵ２４による各種の演算処理に使用される。
ＡＦＥ１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。なお、ＡＦＥ１４の出力は画像処理部１５に接続されている。
画像処理部１５は、１フレーム分のデジタル画像信号に対して、各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部１５は、画像の解像度変換処理や、本画像のデータの圧縮伸長処理も実行する。なお、画像処理部１５は、撮影モードでの撮影待機時において、スルー画像からモニタ１８表示用のビュー画像を生成して出力する。
第１メモリ１６は、画像処理部１５による画像処理の前工程や後工程で画像のデータを一時的に記憶するバッファメモリである。
記録Ｉ／Ｆ１７には、記憶媒体２６を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体２６に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２６は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２６の一例としてメモリカードを図示する。
モニタ１８は、ＣＰＵ２４の指示に応じて各種画像を表示する。なお、本実施形態でのモニタ１８は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれで構成されていてもよい。このモニタ１８には、撮影モードでの撮影待機時において、ＣＰＵ２４の制御により上記のビュー画像が動画表示される。このとき、ＣＰＵ２４は、撮影に必要となる各種情報をモニタ１８のビュー画像上にオーバーレイ表示させることもできる。また、ＣＰＵ２４は、モニタ１８に、各種の設定項目の入力が可能なメニュー画面を表示させることもできる。
操作部材１９は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材１９は電子カメラの各種入力をユーザーから受け付ける。例えば、操作部材１９は、上記のメニュー画面での入力操作や、電子カメラの動作モードの切替操作などに用いられる。
レリーズ釦２０は、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。なお、本実施形態でのレリーズ釦２０は、主要被写体の登録処理の開始指示をユーザーが行うときにも使用される。
第２メモリ２１は、フラッシュメモリ等の不揮発性の記憶媒体である。この第２メモリ２１には、被写体認識の対象となる主要被写体の特徴を示す参照データや、被写体追尾処理時の各種データが記憶される。なお、本実施形態の電子カメラでは、人間、動物、建築物、乗物などを含むあらゆる物を主要被写体として登録することが可能である。
ここで、本実施形態の参照データは、主要被写体を撮像した画像から生成されたテンプレート画像のデータで構成される。そして、第２メモリ２１には、１つの主要被写体に対して複数の参照データを記憶することが可能である。
一例として、本実施形態の電子カメラでは、１つの主要被写体に対する参照データとして、オールドテンプレート（ＯＴ）画像、カレントテンプレート（ＣＴ）画像、ニューテンプレート（ＮＴ）画像、イニシャルテンプレート（ＩＴ）画像の４種類のデータが被写体認識のときに使用される。
そして、第２メモリ２１には、４つのテンプレート画像（ＯＴ画像、ＣＴ画像、ＮＴ画像、ＩＴ画像）のデータを保持しておくために４つの記憶領域がそれぞれ確保されている。第２メモリ２１においてＯＴ画像用の記憶領域およびＣＴ画像用の記憶領域には、主要被写体の認識が成功したときに適用されたテンプレート画像のデータがそれぞれ保持される。また、第２メモリ２１のＮＴ画像用の記憶領域には、スルー画像から認識された主要被写体に基づいて所定のタイミングで生成されるテンプレート画像のデータが保持される。さらに、第２メモリ２１のＩＴ画像用の記憶領域には、被写体追尾を行うモードで主要被写体を登録したときに、スルー画像から生成された初期状態のテンプレート画像のデータが保持される。
さらに、第２メモリ２１には、被写体追尾処理で適用されたテンプレート画像の種類と、ＯＴ画像の連続適用回数とを示す判定フラグを記憶することもできる。
振動センサ２２は、電子カメラに対する振動を検知する。本実施形態での振動センサ２２は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。上記の各々の角速度センサには、例えば回転によるコリオリ力を検出する圧電振動式角速度センサなどが用いられる。
姿勢センサ２３は、電子カメラを正位置（または正位置と上下逆の状態）に構えた横位置の撮影姿勢と、電子カメラの右手側または左手側を上にして構えた縦位置の撮影姿勢とを判別する。この姿勢センサ２３の出力により、ＣＰＵ２４は、撮影姿勢の変化を検出することができる。
ＣＰＵ２４は、電子カメラの動作を統括的に制御するプロセッサである。一例として、ＣＰＵ２４は、撮影モードにおいてスルー画像のデータを用いてコントラスト検出方式によるＡＦを実行する。また、ＣＰＵ２４は、スルー画像のデータを用いて撮影画面内の被写体輝度を求め、この被写体輝度に基づいてＡＥ演算を実行する。なお、本実施形態では、ＣＰＵが上記のテンプレート画像のデータを生成する。
また、ＣＰＵ２４は不図示のＲＯＭに格納されたプログラムの実行により、被写体認識部２７、認識状態判定部２８、被写体追尾部２９として機能する。
被写体認識部２７は、上記の参照データ（テンプレート画像）を用いてスルー画像から主要被写体を認識する。具体的には、被写体認識部２７は、上記のテンプレート画像に基づいてスルー画像内の被写体を解析するマッチング処理を実行する。そして、被写体認識部２７は、上記のマッチング処理の結果に基づいて、スルー画像の被写体とテンプレート画像の主要被写体との類似度を求める。
認識状態判定部２８は、主要被写体の認識が成功している第１状態か、あるいは主要被写体の認識が失敗している第２状態かを判定する。具体的には、認識状態判定部２８は、被写体認識部２７の求めた類似度の値や、振動センサ２２および姿勢センサ２３の出力や、スルー画像による分割測光結果に基づいて上記の判定を行う。
被写体追尾部２９は、主要被写体の認識が成功している第１状態のときに、撮影画面内において主要被写体の対応位置を継続的に指定する。これにより、ＣＰＵ２４は、主要被写体を追尾して合焦制御を行うことや、主要被写体の位置を基準としたスポット測光によるＡＥ演算を行うことが可能となる。また、ＣＰＵ２４は、指定された主要被写体の位置を示すマークをモニタ１８のビュー画像上に重畳表示させることもできる。
また、被写体追尾部２９は、主要被写体がロストした場合（第１状態から第２状態に移行して指定が中断したとき）には、最後に指定された主要被写体の位置が撮影画面の中心部と周辺部とのいずれに属するかの判定処理も行う。
＜電子カメラの動作説明＞
次に、図２から図５の流れ図を参照しつつ、本実施形態における電子カメラの撮影モードでの動作例を説明する。なお、以下の動作例では、被写体追尾機能がオンに設定されている状態を前提として説明を行う。
次に、図２から図５の流れ図を参照しつつ、本実施形態における電子カメラの撮影モードでの動作例を説明する。なお、以下の動作例では、被写体追尾機能がオンに設定されている状態を前提として説明を行う。
（ステップＳ１０１）
ＣＰＵ２４は、撮像素子１３を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。また、ＣＰＵ２４は、スルー画像から生成されたビュー画像をモニタ１８に動画表示させる。したがって、ユーザーは、モニタ１８のビュー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。
ＣＰＵ２４は、撮像素子１３を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。また、ＣＰＵ２４は、スルー画像から生成されたビュー画像をモニタ１８に動画表示させる。したがって、ユーザーは、モニタ１８のビュー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。
（ステップＳ１０２）
ＣＰＵ２４は、レリーズ釦２０が半押しされたか否かを判定する。レリーズ釦２０が半押しされた場合（ＹＥＳ側）にはＳ１０３に移行する。一方、レリーズ釦２０が半押しされていない場合（ＮＯ側）には、ＣＰＵ２４はレリーズ釦２０の半押しを待機する。
ＣＰＵ２４は、レリーズ釦２０が半押しされたか否かを判定する。レリーズ釦２０が半押しされた場合（ＹＥＳ側）にはＳ１０３に移行する。一方、レリーズ釦２０が半押しされていない場合（ＮＯ側）には、ＣＰＵ２４はレリーズ釦２０の半押しを待機する。
（ステップＳ１０３）
ＣＰＵ２４は、認識対象となる主要被写体の登録処理を開始する。具体的には、ＣＰＵ２４は、主要被写体として登録する範囲を示す矩形の緑色の枠表示をビュー画像に重畳させる（図６参照）。上記の枠表示は、ＣＰＵ２４の制御によってモニタ１８の中央部に点滅状態で表示される。そして、ＣＰＵ２４は、上記の枠表示に対応する範囲のスルー画像からテンプレート画像を生成する。したがって、ユーザーは、上記の枠表示の中に認識対象の被写体を収めるようにフレーミングを行うことで、電子カメラに主要被写体を登録させることができる。
ＣＰＵ２４は、認識対象となる主要被写体の登録処理を開始する。具体的には、ＣＰＵ２４は、主要被写体として登録する範囲を示す矩形の緑色の枠表示をビュー画像に重畳させる（図６参照）。上記の枠表示は、ＣＰＵ２４の制御によってモニタ１８の中央部に点滅状態で表示される。そして、ＣＰＵ２４は、上記の枠表示に対応する範囲のスルー画像からテンプレート画像を生成する。したがって、ユーザーは、上記の枠表示の中に認識対象の被写体を収めるようにフレーミングを行うことで、電子カメラに主要被写体を登録させることができる。
（ステップＳ１０４）
ＣＰＵ２４は、レリーズ釦２０の半押しが解除されたか否かを判定する。レリーズ釦２０の半押しが解除されたとき（ＹＥＳ側）はＳ１０５に移行する。一方、レリーズ釦２０の半押しが継続しているとき（ＮＯ側）にはＳ１０７に移行する。
ＣＰＵ２４は、レリーズ釦２０の半押しが解除されたか否かを判定する。レリーズ釦２０の半押しが解除されたとき（ＹＥＳ側）はＳ１０５に移行する。一方、レリーズ釦２０の半押しが継続しているとき（ＮＯ側）にはＳ１０７に移行する。
（ステップＳ１０５）
ＣＰＵ２４は、モニタ１８上での主要被写体の位置を示す枠表示の出力を終了する。
ＣＰＵ２４は、モニタ１８上での主要被写体の位置を示す枠表示の出力を終了する。
（ステップＳ１０６）
ＣＰＵ２４は、第２メモリ２１に記憶されているテンプレート画像を消去し、その後に一連の処理を終了する。なお、ＣＰＵ２４は、さらに撮影を継続する場合にはＳ１０２に戻って上記動作を繰り返す（流れ図ではこの場合のループの図示を省略する）。
ＣＰＵ２４は、第２メモリ２１に記憶されているテンプレート画像を消去し、その後に一連の処理を終了する。なお、ＣＰＵ２４は、さらに撮影を継続する場合にはＳ１０２に戻って上記動作を繰り返す（流れ図ではこの場合のループの図示を省略する）。
（ステップＳ１０７）
ＣＰＵ２４は、適正なテンプレート画像が生成できないと考えられる所定の撮影条件に該当しないか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１０に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０８に移行する。
ＣＰＵ２４は、適正なテンプレート画像が生成できないと考えられる所定の撮影条件に該当しないか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１０に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０８に移行する。
ここで、Ｓ１０７では、（１）被写界輝度が閾値以下の場合、（２）撮像感度が高くスルー画像の出力にノイズ成分が多い場合、（３）振動センサ２２の検出する振動の大きさが閾値以上である場合、のいずれかに該当する場合には、ＣＰＵ２４は適正なテンプレート画像が生成できない撮影条件である（Ｓ１０７のＮＯ側）と判定する。
（ステップＳ１０８）
ＣＰＵ２４は、主要被写体の登録処理の開始から所定時間が経過したか否かを判定する。所定時間が経過した場合（ＹＥＳ側）にはＳ１０９に移行する。一方、所定時間が経過していない場合（ＮＯ側）にはＳ１０４に戻って、ＣＰＵ２４は上記動作を繰り返す。
ＣＰＵ２４は、主要被写体の登録処理の開始から所定時間が経過したか否かを判定する。所定時間が経過した場合（ＹＥＳ側）にはＳ１０９に移行する。一方、所定時間が経過していない場合（ＮＯ側）にはＳ１０４に戻って、ＣＰＵ２４は上記動作を繰り返す。
（ステップＳ１０９）
ＣＰＵ２４は、テンプレート画像が生成できないことを示すエラー表示をモニタ１８に出力し、その後にＳ１０５に移行する。なお、上記のエラー表示の内容は、文字またはアイコン等のキャラクタ表示や、上記の枠表示の表示色を変更するもの（例えば、緑色から赤色への変更）のいずれでもよい。
ＣＰＵ２４は、テンプレート画像が生成できないことを示すエラー表示をモニタ１８に出力し、その後にＳ１０５に移行する。なお、上記のエラー表示の内容は、文字またはアイコン等のキャラクタ表示や、上記の枠表示の表示色を変更するもの（例えば、緑色から赤色への変更）のいずれでもよい。
（ステップＳ１１０）
ＣＰＵ２４は、ＯＴ画像、ＣＴ画像、ＮＴ画像、ＩＴ画像のデータを生成するとともに、第２メモリ２１の所定の記憶領域に各々のテンプレート画像のデータを記録する。
ＣＰＵ２４は、ＯＴ画像、ＣＴ画像、ＮＴ画像、ＩＴ画像のデータを生成するとともに、第２メモリ２１の所定の記憶領域に各々のテンプレート画像のデータを記録する。
具体的には、第１に、ＣＰＵ２４は、スルー画像のうちから上記の枠表示に対応する範囲の画像を切り出して初期状態のテンプレート画像を生成する。そして、ＣＰＵ２４は、この初期状態のテンプレート画像を、第２メモリ２１上のＣＴ画像用の記憶領域とＩＴ画像用の記憶領域とにそれぞれ記録する。したがって、主要被写体の登録処理の段階では、初期状態のテンプレート画像がＣＴ画像およびＩＴ画像として第２メモリ２１に登録された状態となる。
第２に、ＣＰＵ２４は、上記の初期状態のテンプレート画像を０．９倍に縮小するとともに、この縮小画像を第２メモリ２１上のＯＴ画像用の記憶領域に記録する。したがって、主要被写体の登録処理の段階では、初期状態のテンプレート画像の縮小画像がＯＴ画像として第２メモリ２１に登録された状態となる。
第３に、ＣＰＵ２４は、上記の初期状態のテンプレート画像を１．１倍に拡大するとともに、この拡大画像を第２メモリ２１上のＮＴ画像用の記憶領域に記録する。したがって、主要被写体の登録処理の段階では、初期状態のテンプレート画像の拡大画像がＮＴ画像として第２メモリ２１に登録された状態となる。
（ステップＳ１１１）
ＣＰＵ２４の被写体認識部２７は、撮影画面内で主要被写体の認識を行う探索範囲（被写体追尾エリア）を指定する。図７（ａ）は、本実施形態の被写体追尾エリアの初期状態を示した図である。Ｓ１１１での被写体認識部２７は、３×３の配列をなすように撮影画面を９つに等分割した部分領域のうちで、画面中央に位置する部分領域を被写体追尾エリアに指定する。
ＣＰＵ２４の被写体認識部２７は、撮影画面内で主要被写体の認識を行う探索範囲（被写体追尾エリア）を指定する。図７（ａ）は、本実施形態の被写体追尾エリアの初期状態を示した図である。Ｓ１１１での被写体認識部２７は、３×３の配列をなすように撮影画面を９つに等分割した部分領域のうちで、画面中央に位置する部分領域を被写体追尾エリアに指定する。
（ステップＳ１１２）
ＣＰＵ２４の被写体追尾部２９は、被写体追尾の実行状態を示す表示（被写体追尾マーク）をモニタ１８に出力する。具体的には、ＣＰＵ２４は、主要被写体の位置を示す緑色の矩形の枠表示（Ｓ１０３）を点滅状態から点灯状態に変更する。これにより、ユーザーは主要被写体の登録処理と、被写体追尾が開始されたこととをモニタ１８で確認できる。
ＣＰＵ２４の被写体追尾部２９は、被写体追尾の実行状態を示す表示（被写体追尾マーク）をモニタ１８に出力する。具体的には、ＣＰＵ２４は、主要被写体の位置を示す緑色の矩形の枠表示（Ｓ１０３）を点滅状態から点灯状態に変更する。これにより、ユーザーは主要被写体の登録処理と、被写体追尾が開始されたこととをモニタ１８で確認できる。
（ステップＳ１１３）
ＣＰＵ２４は、姿勢センサ２３の出力に基づいて、電子カメラの撮影姿勢に変化があったか否かを判定する。撮影姿勢に変化がある場合（ＹＥＳ側）にはＳ１１４に移行する。一方、撮影姿勢に変化がない場合（ＮＯ側）にはＳ１１５に移行する。
ＣＰＵ２４は、姿勢センサ２３の出力に基づいて、電子カメラの撮影姿勢に変化があったか否かを判定する。撮影姿勢に変化がある場合（ＹＥＳ側）にはＳ１１４に移行する。一方、撮影姿勢に変化がない場合（ＮＯ側）にはＳ１１５に移行する。
（ステップＳ１１４）
ＣＰＵ２４の被写体認識部２７は、変更前後の撮影姿勢に応じて、各々のテンプレート画像の向きを変換する。例えば、電子カメラの撮影姿勢が正位置から縦位置に変化した場合には、被写体認識部２７は、第２メモリ２１の全てのテンプレート画像の向きを右方向または左方向に９０°回転させてマッチング処理に適用する。
ＣＰＵ２４の被写体認識部２７は、変更前後の撮影姿勢に応じて、各々のテンプレート画像の向きを変換する。例えば、電子カメラの撮影姿勢が正位置から縦位置に変化した場合には、被写体認識部２７は、第２メモリ２１の全てのテンプレート画像の向きを右方向または左方向に９０°回転させてマッチング処理に適用する。
（ステップＳ１１５）
ＣＰＵ２４は、スルー画像のうちで被写体認識を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１１６に移行する。一方、判定フレームが撮像されていない場合にはＳ１１３に戻って、ＣＰＵ２４は上記動作を繰り返す。なお、スルー画像から被写体認識処理を行う間隔（判定フレームのフレームレート）は、ユーザーの設定操作などに応じてＣＰＵ２４が適宜調整できる。
ＣＰＵ２４は、スルー画像のうちで被写体認識を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１１６に移行する。一方、判定フレームが撮像されていない場合にはＳ１１３に戻って、ＣＰＵ２４は上記動作を繰り返す。なお、スルー画像から被写体認識処理を行う間隔（判定フレームのフレームレート）は、ユーザーの設定操作などに応じてＣＰＵ２４が適宜調整できる。
（ステップＳ１１６）
ＣＰＵ２４は、判定フレーム（Ｓ１１５）の被写体輝度値を求め、その値を第２メモリ２１に記録する。なお、第２メモリ２１に既に被写体輝度値が記憶されている場合には、ＣＰＵ２４は今回の判定フレームから求めた被写体輝度値を上書きして更新する。
ＣＰＵ２４は、判定フレーム（Ｓ１１５）の被写体輝度値を求め、その値を第２メモリ２１に記録する。なお、第２メモリ２１に既に被写体輝度値が記憶されている場合には、ＣＰＵ２４は今回の判定フレームから求めた被写体輝度値を上書きして更新する。
（ステップＳ１１７）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１１５）と、ＯＴ画像とのマッチング処理を行って、最大類似度ＳｉＯを求める。具体的には、ＣＰＵ２４の被写体認識部２７は、Ｓ１１７において以下の（イ）から（ホ）の処理を実行する。
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１１５）と、ＯＴ画像とのマッチング処理を行って、最大類似度ＳｉＯを求める。具体的には、ＣＰＵ２４の被写体認識部２７は、Ｓ１１７において以下の（イ）から（ホ）の処理を実行する。
（イ）被写体認識部２７は、判定フレームのうちの被写体追尾エリアに対応する範囲から、ＯＴ画像とマッチング処理を行う対象領域を決定する。この対象領域のサイズは、ＯＴ画像のサイズと同じサイズに設定される。
（ロ）次に、被写体認識部２７は、上記の対象領域の画像とＯＴ画像とでそれぞれ対応位置にある注目画素間の階調差を求めるマッチング処理を行う。そして、被写体認識部２７は、上記の対象領域の画像とＯＴ画像との類似度を以下の式（１）で求める。
すなわち、上記の式（１）では、対応画素の階調差の絶対値を合計して類似度を求めている。そして、式（１）では、階調差の絶対値の総和が大きくなるほど類似度の値が小さくなる。なお、被写体認識部２７は、画像がＲＧＢデータのときにＲＧＢの各階調値ごとに類似度を求めてもよく、あるいはＧの階調値のみ類似度を求めてもよい。また、被写体認識部２７は、画像がＹＵＶデータのときにはＹの階調値で類似度を求めるようにしてもよい。
（ハ）被写体認識部２７は、上記の（ロ）の処理で求めた類似度の値を第２メモリ２１に記録する。
（ニ）被写体認識部２７は、対象領域の位置をシフトさせて上記の（ロ）および（ハ）の処理を繰り返す。そして、被写体認識部２７は、被写体追尾エリア内のすべてを対象領域としてマッチング処理を実行し、被写体追尾エリア内の各位置でのＯＴ画像との類似度をそれぞれ求める。
（ホ）被写体認識部２７は、第２メモリ２１に記憶されているＯＴ画像との類似度のうちで最高値を抽出し、抽出された類似度の値を最大類似度ＳｉＯに設定する。また、被写体認識部２７は、最大類似度を示す対象領域の位置を第２メモリ２１に記録する。
（ステップＳ１１８）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１１５）と、ＣＴ画像とのマッチング処理を行って、最大類似度ＳｉＣを求める。なお、Ｓ１１８での処理は、ＯＴ画像の代わりにＣＴ画像を適用する点を除いてはＳ１１７と共通するため、重複説明を省略する。
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１１５）と、ＣＴ画像とのマッチング処理を行って、最大類似度ＳｉＣを求める。なお、Ｓ１１８での処理は、ＯＴ画像の代わりにＣＴ画像を適用する点を除いてはＳ１１７と共通するため、重複説明を省略する。
（ステップＳ１１９）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１１５）と、ＮＴ画像とのマッチング処理を行って、最大類似度ＳｉＮを求める。なお、Ｓ１１９での処理は、ＯＴ画像の代わりにＮＴ画像を適用する点を除いてはＳ１１７と共通するため、重複説明を省略する。
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１１５）と、ＮＴ画像とのマッチング処理を行って、最大類似度ＳｉＮを求める。なお、Ｓ１１９での処理は、ＯＴ画像の代わりにＮＴ画像を適用する点を除いてはＳ１１７と共通するため、重複説明を省略する。
（ステップＳ１２０）
ＣＰＵ２４の認識状態判定部２８は、Ｓ１１７からＳ１１９で求めた最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ）の値のいずれかが５０％以上であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１２１に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１２８に移行する。
ＣＰＵ２４の認識状態判定部２８は、Ｓ１１７からＳ１１９で求めた最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ）の値のいずれかが５０％以上であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１２１に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１２８に移行する。
（ステップＳ１２１）
ＣＰＵ２４の認識状態判定部２８は、対応する最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ）の値が一番大きなテンプレート画像を選択する。
ＣＰＵ２４の認識状態判定部２８は、対応する最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ）の値が一番大きなテンプレート画像を選択する。
ＯＴ画像に関する最大類似度ＳｉＯが最も大きい場合（ＣＡＳＥ１）にはＳ１２２に移行する。ＣＴ画像に関する最大類似度ＳｉＣが最も大きい場合（ＣＡＳＥ２）にはＳ１２３に移行する。ＮＴ画像に関する最大類似度ＳｉＮが最も大きい場合（ＣＡＳＥ３）にはＳ１２４に移行する。
（ステップＳ１２２）
ＣＰＵ２４は、ＯＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１２５に処理を移行する。
ＣＰＵ２４は、ＯＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１２５に処理を移行する。
ここで、図８を参照しつつ、ＯＴ画像を適用した被写体追尾処理のサブルーチンを説明する。
ステップＳ２０１：ＣＰＵ２４の被写体追尾部２９は、最大類似度ＳｉＯに対応する対象領域の位置を主要被写体の位置として指定する。
ステップＳ２０２：ＣＰＵ２４は、指定された主要被写体の位置（Ｓ２０１）を焦点検出エリアとしてＡＦを実行するとともに、公知のＡＥ演算を実行する。なお、ＣＰＵ２４は、指定された主要被写体の位置（Ｓ２０１）を基準としてスポット測光によるＡＥ演算を実行してもよい。
ステップＳ２０３：ＣＰＵ２４の被写体追尾部２９は、指定された主要被写体の位置（Ｓ２０１）に基づいて、ビュー画像に重畳される被写体追尾マークを更新する。これにより、モニタ１８上で上記の枠表示の位置が、認識されている主要被写体の位置に合わせてシフトすることとなる。
ステップＳ２０４：ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の位置（Ｓ２０１）に基づいて、サイズを変更することなく被写体追尾エリアの位置を更新する。図７（ｂ）は、主要被写体の動きに伴う被写体追尾エリアのシフトを示す図である。被写体認識部２７は、主要被写体の位置が被写体追尾エリアの中央と重なるように、撮影画面に対して被写体追尾エリアをシフトさせる。これにより、主要被写体の動きに合わせて被写体追尾エリアが移動するため、電子カメラにおいて主要被写体をロストする確率が低減する。
ステップＳ２０５：ＣＰＵ２４は、第２メモリ２１から判定フラグを読み出して、前回の被写体追尾処理でＯＴ画像以外のテンプレート画像が適用されたか否かを判定する。
上記要件を満たす場合（ＹＥＳ側）にはＳ２０６に移行する。なお、この場合（Ｓ２０５のＹＥＳ側）には、被写体追尾処理を初めて行う場合も含まれる。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２０７に移行する。なお、この場合（Ｓ２０５のＮＯ側）は、ＯＴ画像を適用した被写体追尾処理が連続して行われている状態である。
ステップＳ２０６：ＣＰＵ２４は、判定フラグの示すテンプレート画像の種類をＯＴ画像に設定するとともに、判定フラグの連続適用回数の値を「１」に設定する。その後、ＣＰＵ２４はＳ２１０に処理を移行する。
ステップＳ２０７：ＣＰＵ２４は、判定フラグの連続適用回数の値をインクリメントする。
ステップＳ２０８：ＣＰＵ２４は、判定フラグの連続適用回数の値を参照して、ＯＴ画像を適用した被写体追尾処理が３回連続しているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０９に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２１０に移行する。
ステップＳ２０９：ＣＰＵ２４は、現在のＯＴ画像を第２メモリ２１のＣＴ画像用の記憶領域に記録するとともに、現在のＣＴ画像を第２メモリ２１のＯＴ画像用の記憶領域に記録する。これにより、第２メモリ２１に保持されたＯＴ画像とＣＴ画像とが相互に入れ替わることとなる。
ステップＳ２１０：ＣＰＵ２４は、最大類似度ＳｉＯに対応する対象領域のスルー画像を切り出してテンプレート画像を新たに生成する。そして、ＣＰＵ２４は、新たに生成されたテンプレート画像を第２メモリ２１のＮＴ画像用の記憶領域に上書きして記録する。これにより、被写体追尾処理のときには、ＣＰＵ２４によって第２メモリ２１のＮＴ画像が更新されることとなる。以上で、図８のサブルーチンの説明を終了する。
（ステップＳ１２３）
ＣＰＵ２４は、ＣＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１２５に処理を移行する。
ＣＰＵ２４は、ＣＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１２５に処理を移行する。
ここで、図９を参照しつつ、ＣＴ画像を適用した被写体追尾処理のサブルーチンを説明する。なお、図９のＳ３０１からＳ３０４は、図８のＳ２０１からＳ２０４に対応するので重複説明を一部省略する。
ステップＳ３０１：ＣＰＵ２４の被写体追尾部２９は、最大類似度ＳｉＣに対応する対象領域の位置を主要被写体の位置として指定する。
ステップＳ３０２：ＣＰＵ２４は、指定された主要被写体の位置（Ｓ３０１）を焦点検出エリアとしてＡＦを実行するとともに、公知のＡＥ演算を実行する。
ステップＳ３０３：ＣＰＵ２４の被写体追尾部２９は、指定された主要被写体の位置（Ｓ３０１）に基づいて、ビュー画像に重畳される被写体追尾マークを更新する。
ステップＳ３０４：ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の位置（Ｓ３０１）に基づいて、サイズを変更することなく被写体追尾エリアの位置を更新する。
ステップＳ３０５：ＣＰＵ２４は、最大類似度ＳｉＣに対応する対象領域のスルー画像を切り出してテンプレート画像を新たに生成する。そして、ＣＰＵ２４は、新たに生成されたテンプレート画像を第２メモリ２１のＮＴ画像用の記憶領域に上書きして記録する。これにより、被写体追尾処理のときには、ＣＰＵ２４によって第２メモリ２１のＮＴ画像が更新されることとなる。
ステップＳ３０６：ＣＰＵ２４は、判定フラグの示すテンプレート画像の種類をＣＴ画像に設定するとともに、判定フラグの連続適用回数の値を「０」に変更する。以上で、図９のサブルーチンの説明を終了する。
（ステップＳ１２４）
ＣＰＵ２４は、ＮＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１２５に処理を移行する。
ＣＰＵ２４は、ＮＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１２５に処理を移行する。
ここで、図１０を参照しつつ、ＮＴ画像を適用した被写体追尾処理のサブルーチンを説明する。なお、図１０のＳ４０１からＳ４０４は、図８のＳ２０１からＳ２０４に対応するので重複説明を一部省略する。
ステップＳ４０１：ＣＰＵ２４の被写体追尾部２９は、最大類似度ＳｉＮに対応する対象領域の位置を主要被写体の位置として指定する。
ステップＳ４０２：ＣＰＵ２４は、指定された主要被写体の位置（Ｓ４０１）を焦点検出エリアとしてＡＦを実行するとともに、公知のＡＥ演算を実行する。
ステップＳ４０３：ＣＰＵ２４の被写体追尾部２９は、指定された主要被写体の位置（Ｓ４０１）に基づいて、ビュー画像に重畳される被写体追尾マークを更新する。
ステップＳ４０４：ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の位置（Ｓ４０１）に基づいて、サイズを変更することなく被写体追尾エリアの位置を更新する。
ステップＳ４０５：ＣＰＵ２４は、現在のＮＴ画像を第２メモリ２１のＣＴ画像用の記憶領域に記録するとともに、現在のＣＴ画像を第２メモリ２１のＯＴ画像用の記憶領域に記録する。これにより、今までのＮＴ画像が入れ替わりによってＣＴ画像となる。また今までのＣＴ画像が入れ替わりによってＯＴ画像となる。
ステップＳ４０６：ＣＰＵ２４は、最大類似度ＳｉＮに対応する対象領域のスルー画像を切り出してテンプレート画像を新たに生成する。そして、ＣＰＵ２４は、新たに生成されたテンプレート画像を第２メモリ２１のＮＴ画像用の記憶領域に上書きして記録する。これにより、被写体追尾処理のときには、ＣＰＵ２４によって第２メモリ２１のＮＴ画像が更新されることとなる。
ステップＳ４０７：ＣＰＵ２４は、判定フラグの示すテンプレート画像の種類をＮＴ画像に設定するとともに、判定フラグの連続適用回数の値を「０」に変更する。以上で、図１０のサブルーチンの説明を終了する。
（ステップＳ１２５）
ＣＰＵ２４は、レリーズ釦２０が全押しされたか否かを判定する。レリーズ釦２０が全押しされた場合（ＹＥＳ側）にはＳ１２６に移行する。一方、レリーズ釦２０が全押しされていない場合（ＮＯ側）にはＳ１２７に移行する。
ＣＰＵ２４は、レリーズ釦２０が全押しされたか否かを判定する。レリーズ釦２０が全押しされた場合（ＹＥＳ側）にはＳ１２６に移行する。一方、レリーズ釦２０が全押しされていない場合（ＮＯ側）にはＳ１２７に移行する。
（ステップＳ１２６）
ＣＰＵ２４は、撮像素子１３を駆動させて本画像の撮像処理を実行する。本画像のデータは、ＡＦＥ１４および画像処理部１５で所定の処理が施された後に、記録Ｉ／Ｆ１７によって記憶媒体２６に記録される。その後、ＣＰＵ２４はＳ１０５に処理を移行する。
ＣＰＵ２４は、撮像素子１３を駆動させて本画像の撮像処理を実行する。本画像のデータは、ＡＦＥ１４および画像処理部１５で所定の処理が施された後に、記録Ｉ／Ｆ１７によって記憶媒体２６に記録される。その後、ＣＰＵ２４はＳ１０５に処理を移行する。
（ステップＳ１２７）
ＣＰＵ２４は、レリーズ釦２０の半押しが解除されたか否かを判定する。レリーズ釦２０の半押しが解除されたとき（ＹＥＳ側）はＳ１０５に移行する。一方、レリーズ釦２０の半押しが継続しているとき（ＮＯ側）にはＳ１１３に戻って、ＣＰＵ２４は上記動作を繰り返す。
ＣＰＵ２４は、レリーズ釦２０の半押しが解除されたか否かを判定する。レリーズ釦２０の半押しが解除されたとき（ＹＥＳ側）はＳ１０５に移行する。一方、レリーズ釦２０の半押しが継続しているとき（ＮＯ側）にはＳ１１３に戻って、ＣＰＵ２４は上記動作を繰り返す。
（ステップＳ１２８）
ＣＰＵ２４は、判定フレームより後に撮像されたスルー画像から、現在の被写体輝度値を求める。そして、ＣＰＵ２４は、第２メモリ２１に記憶されている被写体輝度値を読み出して、現在の被写体輝度値と判定フレームの被写体輝度値との差分から被写体輝度の変化量を求める。
ＣＰＵ２４は、判定フレームより後に撮像されたスルー画像から、現在の被写体輝度値を求める。そして、ＣＰＵ２４は、第２メモリ２１に記憶されている被写体輝度値を読み出して、現在の被写体輝度値と判定フレームの被写体輝度値との差分から被写体輝度の変化量を求める。
（ステップＳ１２９）
ＣＰＵ２４の認識状態判定部２８は、Ｓ１２８で求めた被写体輝度の変化量が所定の範囲内に収まるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１３０に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１３２に移行する。なお、この場合（Ｓ１２９のＮＯ側）は被写体輝度の変化が大きく、かつ最大類似度の値がいずれも低い状態に相当する。そのため、認識状態判定部２８は主要被写体の認識が失敗したものとして処理を行う。
ＣＰＵ２４の認識状態判定部２８は、Ｓ１２８で求めた被写体輝度の変化量が所定の範囲内に収まるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１３０に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１３２に移行する。なお、この場合（Ｓ１２９のＮＯ側）は被写体輝度の変化が大きく、かつ最大類似度の値がいずれも低い状態に相当する。そのため、認識状態判定部２８は主要被写体の認識が失敗したものとして処理を行う。
（ステップＳ１３０）
ＣＰＵ２４の認識状態判定部２８は、振動センサ２２によって検出された振動の大きさが閾値以下であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１３１に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１３２に移行する。なお、この場合（Ｓ１３０のＮＯ側）は電子カメラに大きな振動が加わって画像に大きなブレが生じている可能性が高い。そのため、認識状態判定部２８は主要被写体の認識が失敗したものとして処理を行う。
ＣＰＵ２４の認識状態判定部２８は、振動センサ２２によって検出された振動の大きさが閾値以下であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１３１に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１３２に移行する。なお、この場合（Ｓ１３０のＮＯ側）は電子カメラに大きな振動が加わって画像に大きなブレが生じている可能性が高い。そのため、認識状態判定部２８は主要被写体の認識が失敗したものとして処理を行う。
（ステップＳ１３１）
ＣＰＵ２４の認識状態判定部２８は、姿勢センサ２３の出力に基づいて、Ｓ１１３の判定後から判定フレームの取得前までの期間で電子カメラの撮影姿勢が維持されているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１２１に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１３２に移行する。なお、この場合（Ｓ１３１のＮＯ側）は電子カメラの撮影姿勢が急に変化した状態に相当する。そのため、認識状態判定部２８は主要被写体の認識が失敗したものとして処理を行う。
ＣＰＵ２４の認識状態判定部２８は、姿勢センサ２３の出力に基づいて、Ｓ１１３の判定後から判定フレームの取得前までの期間で電子カメラの撮影姿勢が維持されているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１２１に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１３２に移行する。なお、この場合（Ｓ１３１のＮＯ側）は電子カメラの撮影姿勢が急に変化した状態に相当する。そのため、認識状態判定部２８は主要被写体の認識が失敗したものとして処理を行う。
（ステップＳ１３２）
ＣＰＵ２４の被写体追尾部２９は、被写体追尾マークの表示を停止するとともに、ロスト表示（主要被写体の認識が失敗してロスト状態にあることを示す表示）をビュー画像に重畳させて出力する。例えば、被写体追尾部２９は、ビュー画像に重畳された上記の枠表示を点灯状態から再び点滅状態に変更にしてロスト表示を行う。これにより、ユーザーは主要被写体がロストした状態にあることをモニタ１８で確認できる。
ＣＰＵ２４の被写体追尾部２９は、被写体追尾マークの表示を停止するとともに、ロスト表示（主要被写体の認識が失敗してロスト状態にあることを示す表示）をビュー画像に重畳させて出力する。例えば、被写体追尾部２９は、ビュー画像に重畳された上記の枠表示を点灯状態から再び点滅状態に変更にしてロスト表示を行う。これにより、ユーザーは主要被写体がロストした状態にあることをモニタ１８で確認できる。
（ステップＳ１３３）
ＣＰＵ２４の被写体追尾部２９は、指定された主要被写体の最後の位置が撮影画面の中心部に属するか否かを判定する。
ＣＰＵ２４の被写体追尾部２９は、指定された主要被写体の最後の位置が撮影画面の中心部に属するか否かを判定する。
ここで、図１１に、Ｓ１３３で主要被写体の最後の位置を判定するときの画面の分割例を示す。被写体追尾部２９は、図１１に示すように撮影画面を５分割して、主要被写体中央部の最後の位置が、撮影画面の中央の第１領域と、この第１領域の上下左右を囲むように配置された４つの第２領域とのいずれに属するかを判定する。なお、上記の第１領域は撮影画面の約７０％程度のサイズに設定される。
そして、被写体追尾部２９は、主要被写体中央部の最後の位置が第１領域（画面中央部）に属する場合（ＹＥＳ側）にはＳ１３４に移行する。一方、被写体追尾部２９は、主要被写体中央部の最後の位置が第２領域に属する場合（ＮＯ側）にはＳ１４９に移行する。
（ステップＳ１３４）
ＣＰＵ２４の被写体認識部２７は、被写体追尾エリアのサイズを上下左右にそれぞれ１０％ずつ拡大する。これにより、主要被写体の再探索の成功確率がより向上する。
ＣＰＵ２４の被写体認識部２７は、被写体追尾エリアのサイズを上下左右にそれぞれ１０％ずつ拡大する。これにより、主要被写体の再探索の成功確率がより向上する。
（ステップＳ１３５）
ＣＰＵ２４は、スルー画像のうちで被写体認識を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１３６に移行する。一方、判定フレームが撮像されていない場合には、ＣＰＵ２４は判定フレームが撮像されるまで待機する。
ＣＰＵ２４は、スルー画像のうちで被写体認識を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１３６に移行する。一方、判定フレームが撮像されていない場合には、ＣＰＵ２４は判定フレームが撮像されるまで待機する。
（ステップＳ１３６）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＯＴ画像とのマッチング処理を行って、最大類似度ＳｉＯを求める。なお、Ｓ１３６での処理はＳ１１７と共通するため、重複説明を省略する。
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＯＴ画像とのマッチング処理を行って、最大類似度ＳｉＯを求める。なお、Ｓ１３６での処理はＳ１１７と共通するため、重複説明を省略する。
（ステップＳ１３７）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＣＴ画像とのマッチング処理を行って、最大類似度ＳｉＣを求める。なお、Ｓ１３７での処理はＳ１１８と共通するため、重複説明を省略する。
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＣＴ画像とのマッチング処理を行って、最大類似度ＳｉＣを求める。なお、Ｓ１３７での処理はＳ１１８と共通するため、重複説明を省略する。
（ステップＳ１３８）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＮＴ画像とのマッチング処理を行って、最大類似度ＳｉＮを求める。なお、Ｓ１３８での処理はＳ１１９と共通するため、重複説明を省略する。
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＮＴ画像とのマッチング処理を行って、最大類似度ＳｉＮを求める。なお、Ｓ１３８での処理はＳ１１９と共通するため、重複説明を省略する。
（ステップＳ１３９）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＩＴ画像とのマッチング処理を行って、最大類似度ＳｉＩを求める。なお、Ｓ１３９での処理は、ＯＴ画像の代わりにＩＴ画像を適用する点を除いてはＳ１１７と共通するため、重複説明を省略する。
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１３５）と、ＩＴ画像とのマッチング処理を行って、最大類似度ＳｉＩを求める。なお、Ｓ１３９での処理は、ＯＴ画像の代わりにＩＴ画像を適用する点を除いてはＳ１１７と共通するため、重複説明を省略する。
（ステップＳ１４０）
ＣＰＵ２４の認識状態判定部２８は、Ｓ１３６からＳ１３９で求めた最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ、ＳｉＩ）の値のいずれかが５０％以上であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１４３に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１４１に移行する。
ＣＰＵ２４の認識状態判定部２８は、Ｓ１３６からＳ１３９で求めた最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ、ＳｉＩ）の値のいずれかが５０％以上であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１４３に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１４１に移行する。
（ステップＳ１４１）
ＣＰＵ２４の被写体認識部２７は、主要被写体の認識に失敗してから所定の探索時間Ｔ1が経過したか否かを判定する。探索時間Ｔ1が経過した場合（ＹＥＳ側）にはＳ１４２に移行する。一方、探索時間Ｔ1が経過していない場合（ＮＯ側）にはＳ１３５に戻って、ＣＰＵ２４は上記動作を繰り返す。
ＣＰＵ２４の被写体認識部２７は、主要被写体の認識に失敗してから所定の探索時間Ｔ1が経過したか否かを判定する。探索時間Ｔ1が経過した場合（ＹＥＳ側）にはＳ１４２に移行する。一方、探索時間Ｔ1が経過していない場合（ＮＯ側）にはＳ１３５に戻って、ＣＰＵ２４は上記動作を繰り返す。
（ステップＳ１４２）
ＣＰＵ２４の被写体追尾部２９は、主要被写体の再探索に失敗した旨のエラー表示をモニタ１８に出力する。そして、被写体追尾部２９は、モニタ１８へのロスト表示（Ｓ１３２）の出力を停止する。その後、ＣＰＵ２４はＳ１０６に処理を移行する。
ＣＰＵ２４の被写体追尾部２９は、主要被写体の再探索に失敗した旨のエラー表示をモニタ１８に出力する。そして、被写体追尾部２９は、モニタ１８へのロスト表示（Ｓ１３２）の出力を停止する。その後、ＣＰＵ２４はＳ１０６に処理を移行する。
（ステップＳ１４３）
ＣＰＵ２４の認識状態判定部２８は、対応する最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ、ＳｉＩ）の値が一番大きなテンプレート画像を選択する。
ＣＰＵ２４の認識状態判定部２８は、対応する最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ、ＳｉＩ）の値が一番大きなテンプレート画像を選択する。
ＯＴ画像に関する最大類似度ＳｉＯが最も大きい場合（ＣＡＳＥ１）にはＳ１４４に移行する。ＣＴ画像に関する最大類似度ＳｉＣが最も大きい場合（ＣＡＳＥ２）にはＳ１４５に移行する。ＮＴ画像に関する最大類似度ＳｉＮが最も大きい場合（ＣＡＳＥ３）にはＳ１４６に移行する。ＩＴ画像に関する最大類似度ＳｉＩが最も大きい場合（ＣＡＳＥ４）にはＳ１４７に移行する。
（ステップＳ１４４）
ＣＰＵ２４は、ＯＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。なお、Ｓ１４４での被写体追尾処理の内容は、上記のＳ１２２で説明した図８の被写体追尾処理とほぼ共通するので重複説明は省略する。ただし、Ｓ１４４では、被写体追尾エリアの位置を更新する処理（Ｓ２０４）が省略される。
ＣＰＵ２４は、ＯＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。なお、Ｓ１４４での被写体追尾処理の内容は、上記のＳ１２２で説明した図８の被写体追尾処理とほぼ共通するので重複説明は省略する。ただし、Ｓ１４４では、被写体追尾エリアの位置を更新する処理（Ｓ２０４）が省略される。
（ステップＳ１４５）
ＣＰＵ２４は、ＣＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。なお、Ｓ１４５での被写体追尾処理の内容は、上記のＳ１２３で説明した図９の被写体追尾処理とほぼ共通するので重複説明は省略する。ただし、Ｓ１４５では、被写体追尾エリアの位置を更新する処理（Ｓ３０４）が省略される。
ＣＰＵ２４は、ＣＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。なお、Ｓ１４５での被写体追尾処理の内容は、上記のＳ１２３で説明した図９の被写体追尾処理とほぼ共通するので重複説明は省略する。ただし、Ｓ１４５では、被写体追尾エリアの位置を更新する処理（Ｓ３０４）が省略される。
（ステップＳ１４６）
ＣＰＵ２４は、ＮＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。なお、Ｓ１４６での被写体追尾処理の内容は、上記のＳ１２４で説明した図１０の被写体追尾処理とほぼ共通するので重複説明は省略する。ただし、Ｓ１４６では、被写体追尾エリアの位置を更新する処理（Ｓ４０４）が省略される。
ＣＰＵ２４は、ＮＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。なお、Ｓ１４６での被写体追尾処理の内容は、上記のＳ１２４で説明した図１０の被写体追尾処理とほぼ共通するので重複説明は省略する。ただし、Ｓ１４６では、被写体追尾エリアの位置を更新する処理（Ｓ４０４）が省略される。
（ステップＳ１４７）
ＣＰＵ２４は、ＩＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。
ＣＰＵ２４は、ＩＴ画像を適用して被写体追尾処理を実行する。その後、ＣＰＵ２４はＳ１４８に処理を移行する。
ここで、図１２を参照しつつ、ＩＴ画像を適用した被写体追尾処理のサブルーチンを説明する。なお、図１２のＳ５０１からＳ５０４は、図８のＳ２０１からＳ２０４に対応するので重複説明を一部省略する。
ステップＳ５０１：ＣＰＵ２４の被写体追尾部２９は、最大類似度ＳｉＩに対応する対象領域の位置を主要被写体の位置として指定する。
ステップＳ５０２：ＣＰＵ２４は、指定された主要被写体の位置（Ｓ５０１）を焦点検出エリアとしてＡＦを実行するとともに、公知のＡＥ演算を実行する。
ステップＳ５０３：ＣＰＵ２４の被写体追尾部２９は、指定された主要被写体の位置（Ｓ５０１）に基づいて、ビュー画像に重畳される被写体追尾マークを更新する。
ステップＳ５０４：ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の位置（Ｓ５０１）に基づいて、サイズを変更することなく被写体追尾エリアの位置を更新する。なお、Ｓ１４７での被写体追尾処理では、このＳ５０４の処理は省略される。
ステップＳ５０５：ＣＰＵ２４は、ＩＴ画像を第２メモリ２１のＣＴ画像用の記憶領域に記録するとともに、現在のＣＴ画像を第２メモリ２１のＯＴ画像用の記憶領域に記録する。これにより、ＣＴ画像としてＩＴ画像と同じ画像が保持される。また今までのＣＴ画像が入れ替わりによってＯＴ画像となる。
ステップＳ５０６：ＣＰＵ２４は、最大類似度ＳｉＩに対応する対象領域のスルー画像を切り出してテンプレート画像を新たに生成する。そして、ＣＰＵ２４は、新たに生成されたテンプレート画像を第２メモリ２１のＮＴ画像用の記憶領域に上書きして記録する。これにより、被写体追尾処理のときには、ＣＰＵ２４によって第２メモリ２１のＮＴ画像が更新されることとなる。
ステップＳ５０７：ＣＰＵ２４は、判定フラグの示すテンプレート画像の種類をＩＴ画像に設定するとともに、判定フラグの連続適用回数の値を「０」に変更する。以上で、図１２のサブルーチンの説明を終了する。
（ステップＳ１４８）
ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の位置に基づいて、被写体追尾エリアの位置を再設定する。このとき、被写体認識部２７は、被写体追尾エリアのサイズを初期化して撮影画面の１／９のサイズに戻す。そして、被写体認識部２７は、主要被写体の位置が被写体追尾エリアの中央と重なるように、被写体追尾エリアを再設定する。その後、ＣＰＵはＳ１２５に移行する。
ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の位置に基づいて、被写体追尾エリアの位置を再設定する。このとき、被写体認識部２７は、被写体追尾エリアのサイズを初期化して撮影画面の１／９のサイズに戻す。そして、被写体認識部２７は、主要被写体の位置が被写体追尾エリアの中央と重なるように、被写体追尾エリアを再設定する。その後、ＣＰＵはＳ１２５に移行する。
（ステップＳ１４９）
ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の最後の位置に応じて被写体追尾エリアを変更する。
ＣＰＵ２４の被写体認識部２７は、指定された主要被写体の最後の位置に応じて被写体追尾エリアを変更する。
具体的には、主要被写体の最後の位置が上部の第２領域に属する場合には、被写体認識部２７は撮影画面を水平に３分割したうちの一番上の領域を被写体追尾エリアとする（図１３（ａ）参照）。また、主要被写体の最後の位置が下部の第２領域に属する場合には、被写体認識部２７は撮影画面を水平に３分割したうちの一番下の領域を被写体追尾エリアとする（図１３（ｂ）参照）。また、主要被写体の最後の位置が右部の第２領域に属する場合には、被写体認識部２７は撮影画面を垂直に３分割したうちの一番右の領域を被写体追尾エリアとする（図１３（ｃ）参照）。また、主要被写体の最後の位置が左部の第２領域に属する場合には、被写体認識部２７は撮影画面を垂直に３分割したうちの一番左の領域を被写体追尾エリアとする（図１３（ｄ）参照）。
ここで、主要被写体の最後の位置が撮影画面の周辺部に属するときは、一般的にフレームアウトで主要被写体が認識できなくなった可能性が高い。そして、この場合には、主要被写体がロストした方向から再びフレームインする可能性が高いと考えられる。そのため、Ｓ１４９での被写体認識部２７は、主要被写体がロストした方向の撮影画面の端部に隣接する領域を含むように被写体追尾エリアを拡大している。これにより、主要被写体の再探索の成功確率がより向上する。
（ステップＳ１５０）
ＣＰＵ２４は、スルー画像のうちで被写体認識を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１５１に移行する。一方、判定フレームが撮像されていない場合には、ＣＰＵ２４は判定フレームが撮像されるまで待機する。
ＣＰＵ２４は、スルー画像のうちで被写体認識を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１５１に移行する。一方、判定フレームが撮像されていない場合には、ＣＰＵ２４は判定フレームが撮像されるまで待機する。
（ステップＳ１５１）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＯＴ画像とのマッチング処理を行って、最大類似度ＳｉＯを求める。なお、Ｓ１５１での処理はＳ１１７と共通するため、重複説明を省略する。
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＯＴ画像とのマッチング処理を行って、最大類似度ＳｉＯを求める。なお、Ｓ１５１での処理はＳ１１７と共通するため、重複説明を省略する。
（ステップＳ１５２）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＣＴ画像とのマッチング処理を行って、最大類似度ＳｉＣを求める。なお、Ｓ１５２での処理はＳ１１８と共通するため、重複説明を省略する。
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＣＴ画像とのマッチング処理を行って、最大類似度ＳｉＣを求める。なお、Ｓ１５２での処理はＳ１１８と共通するため、重複説明を省略する。
（ステップＳ１５３）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＮＴ画像とのマッチング処理を行って、最大類似度ＳｉＮを求める。なお、Ｓ１５３での処理はＳ１１９と共通するため、重複説明を省略する。
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＮＴ画像とのマッチング処理を行って、最大類似度ＳｉＮを求める。なお、Ｓ１５３での処理はＳ１１９と共通するため、重複説明を省略する。
（ステップＳ１５４）
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＩＴ画像とのマッチング処理を行って、最大類似度ＳｉＩを求める。なお、Ｓ１５４での処理はＳ１３９と共通するため、重複説明を省略する。
ＣＰＵ２４の被写体認識部２７は、スルー画像の判定フレーム（Ｓ１５０）と、ＩＴ画像とのマッチング処理を行って、最大類似度ＳｉＩを求める。なお、Ｓ１５４での処理はＳ１３９と共通するため、重複説明を省略する。
（ステップＳ１５５）
ＣＰＵ２４の認識状態判定部２８は、Ｓ１５１からＳ１５４で求めた最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ、ＳｉＩ）の値のいずれかが５０％以上であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１４３に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１５６に移行する。
ＣＰＵ２４の認識状態判定部２８は、Ｓ１５１からＳ１５４で求めた最大類似度（ＳｉＯ、ＳｉＣ、ＳｉＮ、ＳｉＩ）の値のいずれかが５０％以上であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１４３に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１５６に移行する。
（ステップＳ１５６）
ＣＰＵ２４の被写体認識部２７は、主要被写体の認識に失敗してから所定の探索時間Ｔ2が経過したか否かを判定する。探索時間Ｔ2が経過した場合（ＹＥＳ側）にはＳ１４２に移行する。一方、探索時間Ｔ1が経過していない場合（ＮＯ側）にはＳ１５０に戻って、ＣＰＵ２４は上記動作を繰り返す。
ＣＰＵ２４の被写体認識部２７は、主要被写体の認識に失敗してから所定の探索時間Ｔ2が経過したか否かを判定する。探索時間Ｔ2が経過した場合（ＹＥＳ側）にはＳ１４２に移行する。一方、探索時間Ｔ1が経過していない場合（ＮＯ側）にはＳ１５０に戻って、ＣＰＵ２４は上記動作を繰り返す。
ここで、撮影画面の周辺部で主要被写体がロストする場合は単にフレームアウトした可能性が高い。一方で、撮影画面の中央部で主要被写体がロストする場合は、主要被写体の向きや形状が急激に変わるなど電子カメラの被写体追尾能力を超える事態が原因となることもあり、長時間の探索を行っても実効性が低い場合がある。そのため、本実施形態では、撮影画面の周辺部で主要被写体がロストしたときの探索時間Ｔ2（Ｓ１５６）は、撮影画面の中央部で主要被写体がロストしたときの探索時間Ｔ1（Ｓ１４１）よりも長く設定されている（Ｔ1＜Ｔ2）。以上で、本実施形態における電子カメラの動作例の説明を終了する。
本実施形態の電子カメラでは、被写体追尾中に主要被写体の認識が失敗したと判定されたときに主要被写体を再探索する。そして、主要被写体を再認識できた場合には被写体追尾を再開する。そのため、被写体追尾の精度をより向上させることができる。
特に、本実施形態の電子カメラでは、被写体追尾中に主要被写体の認識が失敗したと判定されたときに、被写体追尾エリアのサイズを拡大して主要被写体を再探索する（Ｓ１３４、Ｓ１４９）。また、本実施形態の電子カメラでは、被写体追尾中に主要被写体の認識が失敗したと判定されたときに、テンプレート画像の数を増やして主要被写体を再探索する（Ｓ１３９、Ｓ１５４）。さらに、本実施形態の電子カメラでは、被写体追尾中に主要被写体の認識が失敗したと判定されたときに、認識した主要被写体の最後の位置に応じて異なるアルゴリズムで主要被写体を再探索する（Ｓ１３４、Ｓ１４９、Ｓ１４１、Ｓ１５６）。これらの構成により、本実施形態では主要被写体を再認識できる確率が高まるので上記の効果が一層顕著となる。
＜実施形態の補足事項＞
（１）上記実施形態では、テンプレート画像を用いて被写体認識を行う例を説明したが、本発明の参照データは画像のデータに限定されない。例えば、参照データとして、画像の輝度成分、色差成分、輪郭成分、コントラスト比などのパターンを示す特徴データを使用して、被写体認識部２７がマッチング処理を実行する構成であってもよい。
（１）上記実施形態では、テンプレート画像を用いて被写体認識を行う例を説明したが、本発明の参照データは画像のデータに限定されない。例えば、参照データとして、画像の輝度成分、色差成分、輪郭成分、コントラスト比などのパターンを示す特徴データを使用して、被写体認識部２７がマッチング処理を実行する構成であってもよい。
（２）上記実施形態でのテンプレート画像の組み合わせはあくまで一例にすぎない。例えば、通常の被写体追尾のときには、電子カメラはＯＴ画像およびＣＴ画像を適用して被写体認識を行ってもよい。そして、主要被写体をロストしたときには、ＯＴ画像およびＣＴ画像に加えて、ＮＴ画像、ＩＴ画像の少なくとも一方をさらに適用して電子カメラが主要被写体を再探索してもよい。
また、本発明では、撮影画面の中央部で被写体をロストしたときと、撮影画面の周辺部で被写体をロストしたときとで、再探索時に適用するテンプレート画像の数を変化させてもよい。例えば、撮影画面の周辺部で被写体をロストしたときには、ユーザーがすぐに電子カメラの構図を調整する可能性が高いので、迅速に被写体の再探索を行える方が好ましい。そのため、主要被写体の最後の位置が第１領域に属するときは、ＯＴ画像、ＣＴ画像、ＮＴ画像、ＩＴ画像の全てを適用して電子カメラが主要被写体を再探索する。一方、主要被写体の最後の位置が第２領域に属するときは、ＯＴ画像、ＣＴ画像、ＮＴ画像を適用して電子カメラが主要被写体を再探索するようにしてもよい。
（３）上記実施形態では、被写体認識部２７、認識状態判定部２８、被写体追尾部２９をプログラムによってソフトウエア的に実現する例を説明したが、これらの構成をＡＳＩＣなどでハードウエア的に実現しても勿論かまわない。
（４）上記実施形態で主要被写体を再探索する場合には、被写体認識部２７は被写体追尾エリアのサイズを段階的に拡大してもよい。例えば、主要被写体の最後の位置が第１領域に属するとき（Ｓ１３４）には、被写体認識部２７は全てのテンプレート画像で主要被写体の認識が失敗するたびに、被写体追尾エリアのサイズを段階的に拡大することもできる。なお、この場合には、被写体追尾エリアのサイズを拡大した上で、被写体認識部２７は同じ判定フレームに対してマッチング処理を行ってもよい。
（５）上記実施形態では探索時間Ｔ2を探索時間Ｔ1よりも長く設定した例を説明した。しかし、本発明では、逆に探索時間Ｔ2を探索時間Ｔ1よりも短く設定してもよい。例えば、フレームアウトで主要被写体がロストした場合に、ユーザーが被写体の追尾を断念することも想定できるからである。なお、上記のような事情を考慮して、ＣＰＵ２４はメニュー画面に基づくユーザーの操作部材１９の操作を受け付けて、探索時間Ｔ1と探索時間Ｔ2とを自由に設定できるようにしてもよい。
（６）上記実施形態のＳ１２０でＮＯ側の場合には、認識状態判定部２８は主要被写体の認識が失敗するものと判定し、Ｓ１２８からＳ１３１の各ステップを省略してもよい。
（７）上記実施形態でＯＴ画像を適用して被写体追尾処理を実行する場合には、ＯＴ画像およびＣＴ画像のテンプレート画像の入れ替えを行う場合のみ、ＣＰＵ２４がＮＴ画像を生成するようにしてもよい。
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
１３…撮像素子、１８…モニタ、２１…第２メモリ、２２…振動センサ、２３…姿勢センサ、２４…ＣＰＵ、２７…被写体認識部、２８…認識状態判定部、２９…被写体追尾部
Claims (9)
- 被写体を撮像して画像のデータを生成する撮像部と、
主要被写体に関する参照データを記憶するメモリと、
前記画像のうちの部分領域を探索範囲に指定するとともに、前記探索範囲内の被写体の特徴と前記参照データが示す特徴との相関に基づいて前記主要被写体を認識する被写体認識部と、
前記被写体認識部による前記認識が成功している第１状態と前記認識が失敗している第２状態とを判定する認識状態判定部と、
前記第１状態のときに、前記被写体認識部が認識した前記主要被写体の位置を撮影画面内で継続的に指定する被写体追尾部と、を備え、
前記被写体追尾部は、前記第１状態から前記第２状態に移行して前記指定が中断したときに、認識した前記主要被写体の最後の位置が前記撮影画面の中心部と周辺部とのいずれに属するかを判定し、
前記被写体認識部は、前記第１状態から前記第２状態に移行して前記被写体追尾部による前記指定が中断された後に、前記探索範囲のサイズを拡大して前記主要被写体を再探索し、前記最後の位置が前記中心部に属する第１の場合と前記最後の位置が前記周辺部に属する第２の場合とで、前記探索範囲を拡大するときのアルゴリズムを変化させることを特徴とする撮像装置。 - 請求項１に記載の撮像装置において、
前記メモリには、１つの前記主要被写体に対して複数の前記参照データが記憶されており、
前記被写体認識部は、前記第１の場合と前記第２の場合とで前記再探索に適用する前記参照データの数を変化させることを特徴とする撮像装置。 - 請求項２に記載の撮像装置において、
前記被写体認識部は、前記第１の場合と前記第２の場合とで前記再探索のときに前記主要被写体の探索時間を変化させることを特徴とする撮像装置。 - 請求項１に記載の撮像装置において、
前記メモリには、１つの前記主要被写体に対して複数の前記参照データが記憶されており、
前記被写体認識部は、前記再探索に適用する前記参照データの数を、前記第１状態で適用される前記参照データの数よりも増加させることを特徴とする撮像装置。 - 請求項１に記載の撮像装置において、
前記被写体認識部は、前記再探索のときに前記探索範囲のサイズを段階的に拡大することを特徴とする撮像装置。 - 請求項１から請求項５のいずれか１項に記載の撮像装置において、
前記画像に対応するビュー画像を表示するモニタをさらに備え、
前記被写体追尾部は、前記主要被写体の位置を示す表示と、前記主要被写体の位置の指定が中断された状態を示す表示と、前記再探索の失敗を示す表示とのいずれかを前記ビュー画像とともに前記モニタに表示させることを特徴とする撮像装置。 - 請求項１から請求項５のいずれか１項に記載の撮像装置において、
装置の保持姿勢を検出する第１センサをさらに備え、
前記被写体認識部は、前記保持姿勢に応じて前記参照データの示す特徴の向きを調整することを特徴とする撮像装置。 - 請求項１から請求項５のいずれか１項に記載の撮像装置において、
装置に加わる振動および装置の保持姿勢の少なくとも一方を検出する第２センサをさらに備え、
前記認識状態判定部は、前記振動の大きさが閾値を超える場合または前記保持姿勢に変化のある場合に、前記第２状態と判定することを特徴とする撮像装置。 - 請求項１から請求項５のいずれか１項に記載の撮像装置において、
被写体輝度を検出する測光部をさらに備え、
前記認識状態判定部は、前記被写体輝度の変化量が所定の範囲よりも大きい場合に、前記第２状態と判定することを特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007177233A JP5067047B2 (ja) | 2007-07-05 | 2007-07-05 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007177233A JP5067047B2 (ja) | 2007-07-05 | 2007-07-05 | 撮像装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012011335A Division JP5246355B2 (ja) | 2012-01-23 | 2012-01-23 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009017271A JP2009017271A (ja) | 2009-01-22 |
| JP5067047B2 true JP5067047B2 (ja) | 2012-11-07 |
Family
ID=40357600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007177233A Expired - Fee Related JP5067047B2 (ja) | 2007-07-05 | 2007-07-05 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5067047B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5205337B2 (ja) | 2009-06-18 | 2013-06-05 | 富士フイルム株式会社 | ターゲット追跡装置および画像追跡装置ならびにそれらの動作制御方法ならびにディジタル・カメラ |
| JP2011022499A (ja) * | 2009-07-17 | 2011-02-03 | Fujifilm Corp | オートフォーカスシステム |
| JP5449980B2 (ja) * | 2009-10-28 | 2014-03-19 | 京セラ株式会社 | 動き補正装置およびその方法 |
| JP5888069B2 (ja) * | 2012-03-30 | 2016-03-16 | 株式会社ニコン | 領域判定装置、撮像装置、及び領域判定プログラム |
| CN103376616B (zh) * | 2012-04-26 | 2016-01-13 | 华晶科技股份有限公司 | 图像获取装置及自动对焦的方法与自动对焦*** |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3505872B2 (ja) * | 1995-08-28 | 2004-03-15 | 日本ビクター株式会社 | 画像内動体追尾装置 |
| JPH09114962A (ja) * | 1995-10-18 | 1997-05-02 | Nikon Corp | 二次元撮像式スキャナ |
| JP3487045B2 (ja) * | 1995-10-30 | 2004-01-13 | 松下電工株式会社 | 自動追尾装置 |
| JP2001060265A (ja) * | 1999-08-24 | 2001-03-06 | Sony Corp | 画像処理装置および方法、並びに媒体 |
| JP3704045B2 (ja) * | 2001-01-15 | 2005-10-05 | 株式会社ニコン | 目標物体追尾装置 |
| JP2006258943A (ja) * | 2005-03-15 | 2006-09-28 | Fujinon Corp | オートフォーカスシステム |
| JP4594197B2 (ja) * | 2005-09-01 | 2010-12-08 | パナソニック株式会社 | 自動追尾装置 |
-
2007
- 2007-07-05 JP JP2007177233A patent/JP5067047B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009017271A (ja) | 2009-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4457358B2 (ja) | 顔検出枠の表示方法、文字情報の表示方法及び撮像装置 | |
| US10419675B2 (en) | Image pickup apparatus for detecting a moving amount of one of a main subject and a background, and related method and storage medium | |
| JP6539091B2 (ja) | 撮像装置およびその制御方法 | |
| JP5699432B2 (ja) | 画像処理装置 | |
| JP5115210B2 (ja) | 撮像装置 | |
| JP2007279601A (ja) | カメラ | |
| JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
| JP5067047B2 (ja) | 撮像装置 | |
| JP2009111716A (ja) | 撮像装置、プログラムおよびテンプレート生成方法 | |
| JP2009141475A (ja) | カメラ | |
| JP5217451B2 (ja) | 撮像装置 | |
| JP5499531B2 (ja) | 電子カメラ | |
| JP2008288797A (ja) | 撮像装置 | |
| JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
| JP2019008706A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
| JP4716266B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
| JP5246355B2 (ja) | 撮像装置 | |
| JP2007259004A (ja) | デジタルカメラ、画像処理装置及び画像処理プログラム | |
| JP2022036153A (ja) | 撮像装置 | |
| JP6545229B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
| JP5383207B2 (ja) | 情報処理装置、制御方法、コンピュータプログラム、および記憶媒体 | |
| JP2010016693A (ja) | 電子カメラ | |
| JP2008187332A (ja) | 画像追尾装置および撮像装置 | |
| US20220292692A1 (en) | Image processing apparatus and method of processing image | |
| JP5040669B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100625 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120717 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120730 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5067047 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |