JP4935380B2

JP4935380B2 - 画像追尾装置および撮像装置

Info

Publication number: JP4935380B2
Application number: JP2007017527A
Authority: JP
Inventors: 宏之岩崎
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-01-29
Filing date: 2007-01-29
Publication date: 2012-05-23
Anticipated expiration: 2027-01-29
Also published as: JP2008187331A

Description

本発明は、画像追尾装置と撮像装置に関する。

撮影した画像内において追尾対象の被写体を囲む枠（追尾枠）を設定し、追尾枠内の輝度情報をテンプレート（基準画像）として記憶するとともに、繰り返し撮影される画像の中からテンプレートと類似度の高い領域を検索し、その領域へ追尾枠を移動して被写体を追尾するようにした画像追尾装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開平０７−０９２２４８号公報

しかしながら、従来の画像追尾装置では、テンプレートマッチング途中で追尾対象でない被写体を誤って捕捉してしまうと、当初の追尾対象の被写体に復帰することが困難になるという問題がある。

請求項１に記載の画像追尾装置は、光学系により結像される像を撮像する撮像素子と、前記撮像素子によって撮像した画像のうち、対象とする部分を基準画像として設定する基準画像設定手段と、前記撮像素子により撮像された画像内の複数の部分領域と前記基準画像との類似度をそれぞれ求め、前記複数の部分領域のうち前記類似度の高い順に選択した複数の部分領域の位置を、前記対象の新たな位置の複数の候補として抽出する候補抽出手段と、前記複数の候補のうちの１つを前記対象の新たな位置として認識する認識手段と、前記撮像素子によって新たに撮像される次画像のうちの前記複数の候補に対応する位置を基にして、前記候補抽出手段によって前記次画像から新たに前記複数の候補を抽出して次画像用の候補とするとともに、該次画像用の候補の中から前記認識手段によって前記次画像における前記対象の新たな位置を認識する制御手段とを備え、前記制御手段は、類似度の高い順に所定個数の前記候補を設定し、その内のいずれかが前記候補から外れた場合には、前記候補抽出手段による前回の抽出において最高の類似度とされた候補の画像と類似度が高い部分領域を検索し、当該部分領域を新しい前記候補に設定することを特徴とする。
請求項２に記載の画像追尾装置は、光学系により結像される像を撮像する撮像素子と、前記撮像素子によって撮像した画像のうち、対象とする部分を基準画像として設定する基準画像設定手段と、前記撮像素子により撮像された画像内の複数の部分領域と前記基準画像との類似度をそれぞれ求め、前記複数の部分領域のうち前記類似度の高い順に選択した複数の部分領域の位置を、前記対象の新たな位置の複数の候補として抽出する候補抽出手段と、前記複数の候補のうちの１つを前記対象の新たな位置として認識する認識手段と、前記複数のそれぞれの候補に対応する位置を基にして、前記撮像素子により新たに撮像される次画像から、前記候補抽出手段によって新たに前記複数の候補を抽出することにより前記それぞれの候補を更新するとともに、該更新された候補の中から前記認識手段によって前記次画像における前記対象の新たな位置を認識する制御手段とを備えることを特徴とする。

本発明によれば、誤って他の被写体を追尾する対象と認識した場合でも、当初の追尾対象の被写体に復帰させることができる。

本発明の画像追尾装置を搭載した撮像装置として、一眼レフレックス・ディジタルカメラを例に上げて説明する。なお、本発明の画像追尾装置を搭載する撮像装置は一眼レフレックス・ディジタルカメラに限定されず、コンパクトディジタルカメラや一眼レフレックス・フィルムカメラにも搭載することができる。

図１は一実施の形態の一眼レフレックス・ディジタルカメラの電気回路を示すブロック図、図２は一実施の形態の一眼レフレックス・ディジタルカメラの機構を示す横断面図である。図１および図２において、本発明に直接関係のないカメラの機器および回路については図示と説明を省略する。図１、図２により、一実施の形態の一眼レフレックス・ディジタルカメラの構成を説明する。

測光素子１は、被写体輝度を検出するためのセンサーであると同時に、被写体追尾を行うために被写体状況を解析するためのセンサーであり、被写界を図３(ａ)に示すように２２行１５列の二次元状に分割して各分割測光エリアごとに測光を行う。測光素子１はＣＣＤやＣＭＯＳなどから構成され、複数の画素が図３(ａ)に示すように２２行１５列の二次元状に配列されている。さらに、各画素は、図３(ｂ)に示すようにＢ、Ｇ、Ｒの三原色フィルターを備えた画素に分割されている。測光回路２は、測光素子１から出力された測光信号に対しノイズ除去、感度補正、Ａ／Ｄ変換などの信号処理を施し、画素ごとのＢＧＲ輝度信号を出力する。

焦点検出素子３は図２に示すＡＦモジュール２１に内蔵され、図４に示すように被写界の５１カ所に設定された焦点検出エリアにおいて、撮影レンズ２２の射出瞳面の一対の領域を通過した一対の光束によって結像される一対の被写体像のズレ量を検出し、各焦点検出エリアごとの焦点検出信号を出力する。なお、図４は測光素子１の分割測光エリアと焦点検出素子３の焦点検出エリアとの対応関係を示しており、５１カ所の焦点検出エリアは２２行１５列の分割測光エリアの範囲内に設定されている。焦点検出回路４は、焦点検出素子３から出力される各焦点検出エリアごとの焦点検出信号に基づいて、位相差検出方式により各焦点検出エリアごとのデフォーカス量を検出する。

撮像素子５はＣＣＤやＣＭＯＳから構成され、撮影レンズ２２により結像される被写体像を撮像して撮像信号を出力する。信号処理回路６は、撮像素子５から出力された撮像信号に対しサンプリング、ノイズ除去、感度補正、Ａ／Ｄ変換などの処理を施す。バッファー７は画像データやデフォーカス量などを一時的に記憶するメモリである。画像処理回路８は、信号処理回路６による処理後の画像データに対し画素補間、解像度変換、ホワイトバランス制御、ガンマ補正、マトリクス演算、画像圧縮などの処理を施す。メモリカード９は撮像画像を記録する記録媒体である。

レンズ駆動回路１０は焦点検出結果にしたがって撮影レンズ２２のフォーカシングレンズ（不図示）を駆動し、撮影レンズ２２の焦点調節を行う。絞り駆動回路１１は露出演算結果にしたがって絞り２３を駆動し、絞りを調節する。シャッター駆動回路１２は露出演算結果にしたがってシャッター２４を駆動し、撮像素子５を露光する。ミラー駆動回路１３はメインミラー２５およびサブミラー２６を駆動し、ミラー２５，２６の上昇と下降を行う。表示駆動回路１４は、ファインダー光学系のスクリーン２７（図２参照）の上に設けられる拡散型液晶表示器（以下、ファインダー表示器という）１５を制御し、スクリーン２７の被写体像に追尾対象領域（追尾枠ともいう）や焦点検出エリアを重畳して表示する。

操作スイッチ類１６は、カメラを操作するための各種操作部材の操作にともなってオンまたはオフするスイッチ類である。この操作スイッチ類１６には、シャッターボタンの半押し操作でオンする半押しスイッチ、シャッターボタンの全押し操作でオンする全押しスイッチ、追尾撮影モードなどの撮影モードを選択するモードセレクター、焦点検出エリアを選択するための方向キーなどが含まれる。

制御回路１７はＣＰＵ１７ａとメモリ１７ｂなどの周辺部品を備え、バス１８を介して上述したカメラの各回路および機器と接続され、カメラの各種の制御と演算を行う。また、制御回路１７は、マイクロコンピューターのソフトウエア形態により被写体追尾機能、類似度算出機能、距離算出機能などを有する。これらの機能については詳細を後述する。

図２において、非撮影時にはメインミラー２５とサブミラー２６が撮影レンズ２２の光路中に置かれる。この状態で、撮影レンズ２２を透過した被写体光束の一部はメインミラー２５で反射され、拡散スクリーン２７に導かれて被写体像（以下、ファインダー像という）を結像する。このファインダー像はコンデンサーレンズ２８、ペンタプリズム２９、ビームスプリッター３０、接眼レンズ３１を介して撮影者の目へ導かれるとともに、ビームスプリッター３０で一部が上方へ分割され、回折格子３２、測光レンズ３３を介して測光素子１へ導かれる。

回折格子３２は光の回折現象を利用して光束を波長ごとに分光する。図５に示すように、回折格子３２により被写体の１点から出た光を測光素子１上に分光して入射させることによって、図３に示す測光素子１の各ＲＧＢ画素上にそれぞれの波長の光が入射する。これにより、偽色補正を行うことができ、追尾対象の被写体の色情報に基づいて被写体を追尾する場合に正しい色情報を検出することができる。

非撮影時にはまた、被写体光束の一部がメインミラー２５を透過し、サブミラー２６で反射されてＡＦモジュール２１へ導かれ、ＡＦモジュール２１の焦点検出素子３で各焦点検出エリアごとの一対の被写体像のズレ量が検出される。

撮影時には、メインミラー２５とサブミラー２６が２５’の位置まで跳ね上げられ、撮影レンズ２２の撮影光路から退避される。この状態で、絞り２３が所定の絞り値まで絞り込まれ、シャッター２４が所定のシャッター秒時だけ開放されて、撮像素子５による撮像が行われる。シャッター秒時が経過した後、シャッター２４が閉じられてメインミラー２５とサブミラー２６が撮影光路に戻され、絞り２３が開放される。

次に、被写体追尾方法について説明する。この一実施の形態では、撮影した画像の中の、撮影者が指定した追尾対象領域（追尾枠）あるいはカメラが自動で設定した追尾対象領域の画像データをテンプレート画像データ（基準画像データ）としてバッファー７に記憶し、その後に繰り返し撮影される画像の中からパターンマッチング法によりテンプレート画像データと一致する画像データの領域を検索し、テンプレート画像データと一致する画像データの領域を撮影者の意図する被写体領域と見なし、追尾枠をその領域へ移動して被写体を追尾する。この一実施の形態では、テンプレート画像データとして追尾対象領域（追尾枠）内の各画素のＲＧＢ出力を記憶する。

上記パターンマッチングに際しては、追尾枠を囲むように演算領域を定め、演算領域内でテンプレートを上下左右に少しずつずらしながら、テンプレート画像データの各画素のＲＧＢ出力と、演算領域内の比較対象領域の画像データのＲＧＢ出力とを比較する。そして、対応する画素どうしの出力の差を求め、全画素の差の総和を残差量として算出する。演算領域内においてテンプレートを上下左右にずらしながら残差量算出処理を行い、残差量が最も小さい比較対象領域を類似度が最も高い被写体、すなわち追尾対象の被写体であるとする。なお、被写体追尾方法は上述した方法に限定されるものではなく、すでに周知の多くの方法を用いることができる。

この一実施の形態では、基本的には上述した被写体追尾方法により残差量が小さい、すなわち類似度が高いとされた領域の被写体を追尾被写体とするが、追尾被写体を類似度が最も高いものだけに限定せず、類似度の高い順に複数の追肥被写体候補を設定する。つまり、類似度が最高の領域の被写体を追尾被写体の第１候補に、次に類似度が高い領域の被写体を追尾被写体の第２候補に、その次に類似度が高い領域の被写体を追尾被写体の第３候補にそれぞれ設定する。そして、これらの第１候補から第３候補までの追尾被写体を同時に追尾する。

図６および図７は一実施の形態の複数の追尾被写体候補による追尾方法を説明するための図であり、図６は追尾被写体候補の遷移を示し、図７は画面内における追尾被写体候補の追尾枠の移動を示す。なお、図中の記号Phase１、Phase２、・・は残差量算出ごとの被写体追尾の場面を表す。また、図７において、円形領域は画面内の複数の被写体を表し、四角形の領域は追尾被写体候補の領域を表す。まず、Phase１で、測光素子１により撮影した画像上で追尾対象領域（追尾枠）の初期位置を手動で指定、または自動で設定する。図７のPhase１では、画面中央の円形領域で示す被写体に対して太線の四角形の追尾枠が設定されている。

Phase２において、次の撮影画像上で上述した被写体追尾処理を行い、類似度の高い順に追尾被写体の第１候補２−１、第２候補２−２、第３候補２−３を算出する。図７のPhase２では、第１候補の追尾枠を太線の四角形で示し、第２候補と第３候補の追尾枠を細線の四角形で示す。なお、以下では上述した被写体追尾処理を行うたびに、第１候補から第３候補までの追尾枠内の画像データをバッファー７に記憶しておく。

Phase３では、次の撮影画像に対する被写体追尾処理行って類似度の高い順に追尾被写体の第１候補３−１、第２候補３−２、第３候補３−３を算出する。そして、各候補どうしの類似度の差を求め、各候補どうしの類似度の差が予め定めたしきい値以下であれば、前回の追尾枠を今回の追尾枠で更新する。もし、いずれかの候補の類似度と他の候補の類似度との差が予め定めたしきい値より大きい場合には、当該候補を追尾被写体の候補から外す。Phase４において、次の撮影画像に対する被写体追尾処理を行って類似度の高い順に３つの追尾被写体を算出したところ、従来の第１候補と第２候補との類似度が逆転したので、第１候補４−２、第２候補４−１、第３候補４−３とし、各追尾枠を更新する。

続くPhase５で、次の撮影画像に対する上記被写体追尾処理を行って類似度の高い順に３つの追尾被写体を算出したところ、前回の第３候補４−３に対応する追尾枠で検出された類似度が、予め設定した追尾被写体と判定するためのしきい値よりも低いために（この一実施の形態では、残差量が予め設定した追尾被写体判定しきい値より高い）、前回の第３候補４−３に対応する追尾枠を無効とし、その追尾枠で囲まれた被写体を追尾被写体候補としない。図７のPhase５では、類似度がしきい値より低いために無効とされた追尾枠を破線の四角形で示す。追尾被写体候補が１つ減ったため、前回のPhase４で第１候補４−２に採用した追尾枠の画像をテンプレート画像として上述した被写体追尾処理を行い、第１候補５−２−１と第２候補５−２−２を算出するとともに、前回の第２候補４−１に対応する追尾枠を第３候補５−１として算出する。この結果、１つの追尾枠が無効とされてもふたたび３つの追尾被写体候補を設定することができる。

Phase６において、次の撮影画像に対する上記被写体追尾処理を行って類似度の高い順に３つの追尾被写体を算出すると、従来の第１候補と第２候補との類似度が逆転したので、第１候補６−２−２−１、第２候補６−２−１として追尾枠を更新する。さらに、前回のPhase５の第３候補５−１に対応する追尾枠は、新しい第１候補６−２−２−１と第２候補６−２−１の追尾枠までの画面上の距離が、追尾被写体と判定するためのしきい値より大きいため、前回の第３候補５−１に対応する追尾枠を無効とし、その追尾枠で囲まれた被写体を追尾被写体候補としない。図７のPhase６では、距離が離れてしまって無効とされた追尾枠を破線の四角形で示す。追尾被写体候補が１つ減ったため、今回の第１候補６−２−２−１の前回の追尾枠５−２−２の画像をテンプレート画像として上述した被写体追尾処理を行い、第３候補６−２−２−２として算出する。この結果、１つの追尾枠が無効とされてもふたたび３つの追尾被写体候補を設定することができる。

Phase７において、次の撮影画像上で上述した被写体追尾処理を行い、類似度の高い順に追尾被写体の第１候補７−２−２−１、第２候補７−２−１、第３候補７−２−２−２を算出し、上述したように各候補どうしの類似度の差を求め、各候補どうしの類似度の差が予め定めたしきい値以下であれば、前回の追尾枠を今回の追尾枠で更新する。

図８は一実施の形態の被写体追尾撮影処理を示すフローチャートである。制御回路１７は、操作スイッチ類１６に含まれる撮影モードセレクターにより追尾撮影モードが選択されるとこの処理を実行する。ステップ１において、測光素子１と測光回路２により被写界の測光を行い、測光結果の画像データをバッファー７に記憶する。また、焦点検出素子３と焦点検出回路４により各焦点検出エリアごとにデフォーカス量を検出し、ここでは例えば最至近を示すデフォーカス量にしたがってレンズ駆動回路１１により焦点調節を行う。

ステップ２では、操作スイッチ類１６に含まれる方向キーで撮影者が選択した焦点検出エリアを入力し、選択エリアに対応する測光素子１の複数の分割測光エリアの領域を撮影者が選択した追尾対象領域（追尾枠）として認識し、その追尾枠をファインダー表示器１５によりファインダー像に重畳して表示する。ステップ３で操作スイッチ類１６のレリーズ半押しスイッチによりレリーズ半押し操作を確認し、レリーズ半押し操作が行われたらステップ４へ進み、そうでなければステップ１へ戻って上述した処理を繰り返す。レリーズ半押し操作があると、ステップ４で撮影者が選択した追尾枠を初期追尾枠に決定する。

なお、この一実施の形態では方向キーで焦点検出エリアを選択して初期追尾枠を設定する例を示すが、画面中央に追尾対象の被写体を捕捉した状態でレリーズ半押し操作があったら、画面中央に初期追尾枠を設定する方法や、焦点検出の結果、最至近のデフォーカス量を示す焦点検出エリアの位置に追尾枠を自動的に設定する方法など、初期追尾枠の設定方法は種々の方法を採用することができる。また、この一実施の形態では追尾枠の大きさを、２行２列の分割測光エリアとするが、さらに大きな領域としてもよい。

ステップ５において測光素子１と測光回路２により被写界の測光を行い、測光結果の画像データをバッファー７に記憶する。また、焦点検出素子３と焦点検出回路４により各焦点検出エリアごとにデフォーカス量を検出し、検出結果の各エリアのデフォーカス量をバッファー７に記憶する。続くステップ６では、測光結果の画像上で上述した被写体追尾処理を行い(図６〜図７参照）、追尾被写体の第１候補から第３候補を算出し、各候補の追尾枠をファインダー表示器１５によりファインダー像に重畳して表示する。ステップ７では、追尾被写体の第１候補の追尾枠に対応する焦点検出エリアで検出されたデフォーカス量をバッファー７から読み出し、そのデフォーカス量にしたがってレンズ駆動回路１０により撮影レンズ２２の焦点調節を行う。

ステップ８において操作スイッチ類１６のレリーズ全押しスイッチによりレリーズ全押し操作を確認し、レリーズ全押し操作が行われたらステップ９へ進み、そうでなければステップ５へ戻って上述した処理を繰り返す。レリーズ全押し操作が行われたら、ステップ９でバッファー７から最新の測光結果（ステップ５における測光結果）を読み出し、被写体輝度を検出して露出演算を行う。そして、露出演算結果の絞り値で絞り駆動回路１１により絞り調節を行うとともに、露出演算結果のシャッター秒時でシャッター駆動回路１２によりシャッター２４を駆動する。次に、ステップ１０でミラー駆動回路１３によりミラーアップを行って撮像素子５により撮像を行う。撮像後のステップ１１で画像処理回路８で撮像画像を処理し、メモリカード９に画像を記録する。

上述した一実施の形態では、初期追尾枠のテンプレート画像データの更新を行わないことを前提に説明したが、上述した被写体追尾処理ごとにテンプレート画像データを更新してもよい。例えば、追尾被写体の第１候補の追尾枠の画像データを新しいテンプレート画像データとしてもよいし、第１候補から第３候補の追尾枠の画像データの平均値もしくは加重加算平均値を新しいテンプレート画像データとしてもよい。あるいは、初期追尾枠のテンプレート画像データと、被写体追尾処理ごとに算出される第１候補の追尾枠の画像データとの加重加算平均値を新しいテンプレート画像データとしてもよい。

また、上述した一実施の形態では、測光素子１により撮像した画像を用いて被写体追尾を行う例を示したが、非撮影時に撮像素子５で撮像した画像を用いて被写体追尾を行うようにしてもよい。さらに、上述した一実施の形態では、３個の追尾被写体候補を追尾する例を示したが、追尾する被写体候補の個数は３個に限定されず、２個または４個以上であってもよい。

一実施の形態によれば、測光素子１によって撮像した画像のうち、被写体追尾の対象とする部分を基準画像（テンプレート画像）として設定する。次に、測光素子１により撮像された画像内の複数の部分領域と基準画像との類似度をそれぞれ求め、複数の部分領域のうち類似度の高い順に選択した複数の部分領域の位置を、対象の新たな位置の複数の候補として抽出するとともに、複数の候補のうちの１つを対象の新たな位置として認識する。そして、測光素子１によって新たに撮像される次画像のうちの複数の候補に対応する位置を基にして、次画像から新たに複数の候補を抽出して次画像用候補とするとともに、これらの次画像用候補の中から次画像における対象の新たな位置を認識するようにした。これにより、追尾対象の被写体を誤って他の被写体を追尾する対象と認識した場合でも、当初の追尾対象の被写体に復帰させることができる。例えば、同じユニフォームを着た複数のサッカー選手の一人を追尾している際に、選手の向きによって別の選手を追尾対象として認識してしまった場合でも、後のタイミングで本来の追尾対象である選手の向きが変わった時点で復帰するようになる。

また、一実施の形態によれば、抽出された候補の類似度が所定値より低下した場合には、当該候補を候補から外すようにしたので、追尾対象の被写体を含む可能性が高い複数の候補を正確に捕捉し続けることができる。

一実施の形態によれば、抽出された候補どうしの類似度の差を算出し、いずれかの候補と他の複数の候補との類似度の差が所定値より大きくなった場合には、当該候補を候補から外すようにしたので、追尾対象の被写体を含む可能性が高い複数の候補を正確に捕捉し続けることができる。

一実施の形態によれば、抽出された候補どうしの画像上における距離を算出し、いずれかの候補と他の複数の候補との距離が所定値より大きくなった場合には、当該候補を候補から外すようにしたので、追尾対象の被写体を含む可能性が高い複数の候補を正確に捕捉し続けることができる。

一実施の形態によれば、類似度の高い順に所定個数の候補を設定し、その内のいずれかが候補から外れた場合には、前回の抽出において最高の類似度とされた候補の画像と類似度が高い部分領域を検索し、当該部分領域を新しい候補に設定するようにしたので、追尾対象の被写体を含む可能性が高い複数の候補領域を正確に捕捉し続けることができる。

一実施の形態の一眼レフレックス・ディジタルカメラの電気回路を示すブロック図一実施の形態の一眼レフレックス・ディジタルカメラの機構を示す横断面図一実施の形態の測光素子の構成を示す図測光素子の分割測光エリアと焦点検出素子の焦点検出エリアとの対応関係を示す図回折格子の作用を説明する図一実施の形態の複数の追尾被写体候補による追尾方法を説明するための図一実施の形態の複数の追尾被写体候補による追尾方法を説明するための図一実施の形態の被写体追尾撮影処理を示すフローチャート

符号の説明

１測光素子
４焦点検出回路
７バッファー
９メモリカード
１０レンズ駆動回路
１６操作スイッチ類
１７制御回路
２２撮影レンズ

Claims

光学系により結像される像を撮像する撮像素子と、
前記撮像素子によって撮像した画像のうち、対象とする部分を基準画像として設定する基準画像設定手段と、
前記撮像素子により撮像された画像内の複数の部分領域と前記基準画像との類似度をそれぞれ求め、前記複数の部分領域のうち前記類似度の高い順に選択した複数の部分領域の位置を、前記対象の新たな位置の複数の候補として抽出する候補抽出手段と、
前記複数の候補のうちの１つを前記対象の新たな位置として認識する認識手段と、
前記撮像素子によって新たに撮像される次画像のうちの前記複数の候補に対応する位置を基にして、前記候補抽出手段によって前記次画像から新たに前記複数の候補を抽出して次画像用の候補とするとともに、該次画像用の候補の中から前記認識手段によって前記次画像における前記対象の新たな位置を認識する制御手段とを備え、
前記制御手段は、類似度の高い順に所定個数の前記候補を設定し、その内のいずれかが前記候補から外れた場合には、前記候補抽出手段による前回の抽出において最高の類似度とされた候補の画像と類似度が高い部分領域を検索し、当該部分領域を新しい前記候補に設定することを特徴とする画像追尾装置。
光学系により結像される像を撮像する撮像素子と、
前記撮像素子によって撮像した画像のうち、対象とする部分を基準画像として設定する基準画像設定手段と、
前記撮像素子により撮像された画像内の複数の部分領域と前記基準画像との類似度をそれぞれ求め、前記複数の部分領域のうち前記類似度の高い順に選択した複数の部分領域の位置を、前記対象の新たな位置の複数の候補として抽出する候補抽出手段と、
前記複数の候補のうちの１つを前記対象の新たな位置として認識する認識手段と、
前記複数のそれぞれの候補に対応する位置を基にして、前記撮像素子により新たに撮像される次画像から、前記候補抽出手段によって新たに前記複数の候補を抽出することにより前記それぞれの候補を更新するとともに、該更新された候補の中から前記認識手段によって前記次画像における前記対象の新たな位置を認識する制御手段とを備えることを特徴とする画像追尾装置。
請求項１または請求項２に記載の画像追尾装置において、
前記制御手段は、前記候補抽出手段により抽出された前記候補の類似度が所定値より低下した場合には、当該候補を候補から外すことを特徴とする画像追尾装置。
請求項１または請求項２に記載の画像追尾装置において、
前記制御手段は、前記候補抽出手段により抽出された前記候補どうしの類似度の差を算出し、いずれかの候補と他の複数の候補との類似度の差が所定値より大きくなった場合には、当該候補を候補から外すことを特徴とする画像追尾装置。
請求項１または請求項２に記載の画像追尾装置において、
前記制御手段は、前記候補抽出手段により抽出された前記候補どうしの画像上における距離を算出し、いずれかの候補と他の複数の候補との距離が所定値より大きくなった場合には、当該候補を候補から外すことを特徴とする画像追尾装置。
請求項１〜５のいずれか１項に記載の画像追尾装置において、
前記基準画像設定手段は、前記認識手段によって前記対象の新たな位置として認識された位置の画像に基づいて更新された前記基準画像を設定することを特徴とする画像追尾装置。
請求項１〜６のいずれか１項に記載の画像追尾装置を備えた撮像装置であって、
前記撮像素子により撮像した画像を記録する記録手段を備えることを特徴とする撮像装置。
請求項７に記載の撮像装置において、
前記光学系の撮影画面内の複数の焦点検出領域で前記光学系の焦点調節状態を検出する焦点検出手段と、
前記認識手段により認識された位置に対応する前記焦点検出領域で検出された焦点調節状態に基づいて、前記光学系の焦点調節を行う焦点調節手段とを備えることを特徴とする撮像装置。
請求項８に記載の撮像装置において、
前記光学系の撮影画面内の前記複数の焦点検出領域の中から、撮影者がいずれかを選択するための選択部材を備え、
前記基準画像設定手段は、前記撮像素子による撮像画像のうち、前記選択部材により選択された前記焦点検出領域に対応する領域を前記対象とすることを特徴とする撮像装置。