JP2007274543A - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】追尾を継続しながら、追尾対象を容易に再設定することができるようにする。
【解決手段】撮像装置１１は、監視する領域を撮像し、侵入者Ｂが撮像された画像３１を追尾装置１２に入力する。追尾装置１２は、入力された画像３１を用い、ユーザＡの指示に対応して、侵入者Ｂを追尾対象として追尾を行ったり、追尾対象からずれてしまった侵入者Ｂを、再度、ユーザＡの指示に対応して、追尾対象と再設定して追尾を行い、その追尾結果に基づいて、例えばズームされた画像３２を生成し、表示部２１に表示させる。本発明は、撮像された画像上の移動するオブジェクトを追尾して監視する監視システムに適用できる。
【選択図】図１

Description

本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、追尾対象を、容易に再設定することができるようにした画像処理装置および方法、プログラム、並びに記録媒体に関する。

動画像中でユーザが指定した対象を追尾する技術は、従来から多くあり、本出願人も先に出願した特許文献１において提案を行っている。そして、それらの殆どは、最初に追尾対象を指定した後、全自動で追尾処理を行うというものである。

しかしながら、実際には、こうした追尾対象の多くは、激しい変形を伴ったり、比較的長時間のオクルージョンを受けたり、あるいは、画像自体にノイズが乗るなど、様々な外乱を受けることがあり、全自動処理で所望の追尾結果を得ることは、困難であった。

これに対して、特許文献２においては、予め追尾アルゴリズムを選択可能にし、各シーンに最適なアルゴリズムを選択することや、再生を停止、または一時停止して対象を設定し直すことで、所望の追尾結果を得ることが提案されている。

特開２００５−３０３９８３号公報 特開２００１−１１１９５７号公報

しかしながら、特許文献２に記載の提案では、予め追尾アルゴリズムを選択する場合、最適なアルゴリズムが見つかるまで、繰り返し試行しなければならないため、ユーザに多大な負荷を強いることになってしまっていた。

また、再生を停止または一時停止して対象を設定し直すためには、膨大な蓄積装置が必要であるためコストが増大してしまうだけでなく、さらに、入力動画像に同期して追尾結果を出力するアプリケーションには、適用することが難しく、汎用的ではなかった。

本発明は、このような状況に鑑みてなされたものであり、再生を停止または一時停止することなく、追尾対象を容易に再設定することができるようにするものである。

本発明の一側面の画像処理装置は、移動するオブジェクトを表示させる画像処理装置において、ユーザの操作に対応して、画像上の移動するオブジェクトを追尾対象として追尾を行う追尾手段と、前記追尾手段による前記追尾対象の候補としての候補位置を算出する候補算出手段と、前記候補算出手段により算出された前記候補位置の表示を制御する表示制御手段と、ユーザの操作に対応して、表示される前記候補位置を、前記追尾手段の次のフレームにおける前記追尾対象として設定する対象設定手段とを備える。

前記候補算出手段は、予め記憶される画面内の所定の位置を読み出して、前記候補位置を算出することができる。

前記候補算出手段は、前記画像の特徴量に基づいて、前記候補位置を算出することができる。

前記候補算出手段は、複数の前記追尾手段による追尾結果に基づいて、前記候補位置を算出することができる。

前記複数の追尾手段は、複数の異なる種類の追尾方式を用いて、それぞれ追尾を行うことができる。

前記対象設定手段は、ユーザの操作に対応して、表示される前記候補位置を、前記複数の追尾手段の次のフレームにおける前記追尾対象としてそれぞれ設定することができる。

前記複数の追尾手段は、前記オブジェクト上の複数の異なる近傍位置をそれぞれ追尾対象として追尾を行うことができる。

前記対象設定手段は、ユーザの操作に対応して、表示される前記候補位置に基づいて、前記候補位置を含む複数の異なる近傍位置を、前記複数の追尾手段の次のフレームにおける前記追尾対象としてそれぞれ設定することができる。

前記複数の追尾手段の中の１の追尾手段による追尾結果に基づいて、前記複数の追尾手段のうちの一部または全部の追尾手段による追尾結果を更新する更新手段をさらに備えることができる。

前記更新手段は、所定の時間が経過する毎に、前記複数の追尾手段の中の１の追尾手段による追尾結果に基づいて、前記複数の追尾手段のうちの一部または全部の追尾手段による追尾結果を更新することができる。

前記更新手段は、所定時間が経過した第１のタイミング毎に、前記複数の追尾手段の中の１の追尾手段による追尾結果に基づいて、前記複数の追尾手段のうちの一部の追尾手段による追尾結果を更新し、前記第１のタイミングとは異なる、前記所定時間が経過した第２のタイミング毎に、前記複数の追尾手段の中の１の追尾手段による追尾結果で、前記複数の追尾手段のうちの他の一部の追尾手段による追尾結果を更新することができる。

前記更新手段は、前記複数の追尾手段の追尾結果が大きく異なるときに、前記複数の追尾手段の中の１の追尾手段による追尾結果に基づいて、前記複数の追尾手段のうちの一部または全部の追尾手段による追尾結果を更新することができる。

前記表示制御手段は、ユーザの操作による選択中の候補位置が、他の候補位置と区別されて前記画像上に示される前記候補位置の一覧表示を制御することができる。

前記表示制御手段は、前記画像上の前記選択中の候補位置の上に第１の小画像を重畳し、前記画像上の前記他の候補位置の上に前記第１の小画像とは異なる第２の小画像を重畳して、前記候補位置の一覧表示を制御することができる。

前記表示制御手段は、前記候補位置を中心としたズーム画像を生成する画像生成手段をさらに備え、前記画像生成手段により生成された前記候補位置を中心としたズーム画像の表示を制御することができる。

前記表示制御手段は、前記画像生成手段により生成された複数の前記候補位置をそれぞれ中心とした複数のズーム画像の表示を制御することができる。

前記表示制御手段は、前記画像生成手段により生成された前記候補位置を中心としたズーム画像に、ユーザの操作による選択中の候補位置が、他の候補位置と区別されて前記画像上に示される前記候補位置の一覧表示が重畳された表示を制御することができる。

前記表示制御手段は、ユーザの操作による選択中の候補位置が、他の候補位置と区別されて前記画像上に示される前記候補位置の一覧表示上に、前記画像生成手段により生成された前記候補位置を中心としたズーム画像が重畳された表示を制御することができる。

本発明の一側面の画像処理方法は、移動する対象を表示させる画像処理装置の画像処理方法において、ユーザの操作に対応して、画像上の移動するオブジェクトを追尾対象として追尾を行う追尾手段の前記追尾対象の候補としての候補位置を算出し、算出された前記候補位置の表示を制御し、ユーザの操作に対応して、表示される前記候補位置を、前記追尾手段の次のフレームにおける前記追尾対象として設定するステップを含む。

本発明の一側面のプログラムは、移動する対象を表示させる処理をコンピュータに行わせるプログラムであって、ユーザの操作に対応して、画像上の移動するオブジェクトを追尾対象として追尾を行う追尾手段の前記追尾対象の候補としての候補位置を算出し、算出された前記候補位置の表示を制御し、ユーザの操作に対応して、表示される前記候補位置を、前記追尾手段の次のフレームにおける前記追尾対象として設定するステップを含む。

本発明の一側面の記録媒体に記録されているプログラムは、移動する対象を表示させる処理をコンピュータに行わせるプログラムであって、ユーザの操作に対応して、画像上の移動するオブジェクトを追尾対象として追尾を行う追尾手段の前記追尾対象の候補としての候補位置を算出し、算出された前記候補位置の表示を制御し、ユーザの操作に対応して、表示される前記候補位置を、前記追尾手段の次のフレームにおける前記追尾対象として設定するステップを含む。

本発明の一側面においては、ユーザの操作に対応して、画像上の移動するオブジェクトを追尾対象として追尾を行う追尾手段の前記追尾対象の候補としての候補位置が算出され、算出された前記候補位置の表示が制御される。そして、ユーザの操作に対応して、表示される前記候補位置が、前記追尾手段の次のフレームにおける前記追尾対象として設定される。

本発明によれば、追尾を継続しながら、追尾対象を容易に再設定することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、移動するオブジェクトを表示させる画像処理装置（例えば、図１の追尾装置１２）において、ユーザの操作に対応して、画像上の移動するオブジェクトを追尾対象として追尾を行う追尾手段（例えば、図３の追尾処理部７１）と、前記追尾手段による前記追尾対象の候補としての候補位置を算出する候補算出手段（例えば、図３の位置算出部８２）と、前記候補算出手段により算出された前記候補位置の表示を制御する表示制御手段（例えば、図２の表示画像生成部５４）と、ユーザの操作に対応して、表示される前記候補位置を、前記追尾手段の次のフレームにおける前記追尾対象として設定する対象設定手段（例えば、図３の対象位置設定部８３）とを備える。

前記候補算出手段（例えば、図５のステップＳ３２の処理を行う図３の位置算出部８２）は、予め記憶される画面内の所定の位置を読み出して、前記候補位置を算出することができる。

前記候補算出手段（例えば、図８のステップＳ５２の処理を行う図７の画像特徴量算出部１３１）は、前記画像の特徴量に基づいて、前記候補位置を算出することができる。

前記候補算出手段（例えば、図１０のステップＳ７２の処理を行う図９の位置算出部８２）は、複数の前記追尾手段（例えば、図９の追尾処理部７１−１乃至７１−ｎ）による追尾結果に基づいて、前記候補位置を算出することができる。

前記複数の追尾手段の中の１の追尾手段による追尾結果に基づいて、前記複数の追尾手段のうちの一部または全部の追尾手段による追尾結果を更新する更新手段（例えば、図１２の追尾結果更新部１６１）をさらに備えることができる。

前記表示制御手段は、ユーザの操作による選択中の候補位置が、他の候補位置と区別されて前記画像上に示される前記候補位置の一覧表示（例えば、図２５の候補一覧画像２４１の表示）を制御することができる。

前記表示制御手段は、前記画像上の前記選択中の候補位置の上に第１の小画像（例えば、図２５のカーソルＰ）を重畳し、前記画像上の前記他の候補位置の上に前記第１の小画像とは異なる第２の小画像（例えば、図２５の点Ｒ）を重畳して、前記候補位置の一覧表示を制御することができる。

前記表示制御手段は、前記候補位置を中心としたズーム画像を生成する画像生成手段（例えば、図２７の拡大信号処理部３０１）をさらに備え、前記画像生成手段により生成された前記候補位置を中心としたズーム画像（例えば、図３０のズーム画像３５１−１）の表示を制御することができる。

前記表示制御手段は、前記画像生成手段により生成された複数の前記候補位置をそれぞれ中心とした複数のズーム画像（例えば、図３２の複数ズーム画像３７１−１）の表示を制御することができる。

前記表示制御手段は、前記画像生成手段により生成された前記候補位置を中心としたズーム画像に、ユーザの操作による選択中の候補位置が、他の候補位置と区別されて前記画像上に示される前記候補位置の一覧表示が重畳された表示（図３１の表示画像３６１−１の表示）を制御することができる。

前記表示制御手段は、ユーザの操作による選択中の候補位置が、他の候補位置と区別されて前記画像上に示される前記候補位置の一覧表示上に、前記画像生成手段により生成された前記候補位置を中心としたズーム画像が重畳された表示（図３３の表示画像３９１−１の表示）を制御することができる。

本発明の一側面の画像処理方法またはプログラムは、移動する対象を表示させる画像処理装置の画像処理方法またはプログラムにおいて、ユーザの操作に対応して、画像上の移動するオブジェクトを追尾対象として追尾を行う追尾手段の前記追尾対象の候補としての候補位置を算出し（例えば、図４のステップＳ３）、算出された前記候補位置の表示を制御し（例えば、図４のステップＳ９）、ユーザの操作に対応して、表示される前記候補位置を、前記追尾手段の次のフレームにおける前記追尾対象として設定する（例えば、図４のステップＳ７またはＳ８）ステップを含む。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明を監視システムに適用した場合の構成例を表している。この監視システムにおいては、CCD（Charge Coupled Devices）ビデオカメラ等よりなる撮像装置１１と、撮像装置１１と接続され、LCD（Liquid Crystal Display）などからなる表示部２１を有する追尾装置１２を用いて、撮像装置１１により撮像され、表示部２１に表示される画像を見ながら、監視者であるユーザＡにより所定の空間内に不審者がいないかが監視される。

撮像装置１１は、設置された空間において、監視する領域を撮像し、その画像３１を追尾装置１２に入力する。例えば、監視する領域内に侵入者Ｂがいれば、その侵入者Ｂが撮像された画像３１が追尾装置１２に入力される。

追尾装置１２は、入力された画像３１を用い、ユーザＡの指示に対応して、侵入者Ｂを追尾対象として追尾を行ったり、追尾対象からずれてしまった侵入者Ｂを、再度、ユーザＡの指示に対応して、追尾対象と再設定して追尾を行い、その追尾結果に基づいて、例えばズームされた画像３２を生成し、表示部２１に表示させる。

表示部２１は、追尾装置１２により追尾結果に基づいて生成された画像３２を表示する。

なお、図１の監視システムに、追尾装置１２からの制御に基づいて、撮像装置１１が追尾対象を中心とする画像を撮像するように撮像装置１１を駆動するカメラ駆動部などを構成することも可能である。

図２は、図１の追尾装置１２の構成例を示すブロック図である。この追尾装置１２は、入力端子５１、オブジェクト追尾部５２、全体システム制御部５３、表示画像生成部５４、表示部２１、リモートコントローラ５５、およびリムーバブルメディア５６により構成される。

撮像装置１１により撮像された画像は、入力端子５１を介して、入力画像として、オブジェクト追尾部５２および表示画像生成部５４に入力される。オブジェクト追尾部５２は、入力画像から、ユーザにより追尾対象として指定されたオブジェクトを追尾する処理を実行し、その追尾結果に基づく表示用追尾情報を、全体システム制御部５３を介して表示画像生成部５４に出力する。

全体システム制御部５３は、例えば、マイクロコンピュータなどにより構成され、リモートコントローラ５５を介して入力されるユーザ操作情報を受け取り、オブジェクト追尾部５２および表示画像生成部５４に供給することで、ユーザの指示に基づいて各部を制御する。また、全体システム制御部５３は、オブジェクト追尾部５２からの表示用追尾情報を、表示画像生成部５４に供給する。

表示画像生成部５４は、入力画像を用いて、全体システム制御部５３からのユーザ操作情報と、オブジェクト追尾部５２の追尾処理により得られる表示用追尾情報に応じて、表示画像を生成し、表示画像を、表示部２１に表示させる。

リモートコントローラ５５は、ユーザにより操作され、ユーザの操作に対応するユーザ操作情報（例えば、座標位置や候補選択の情報）を、赤外線などの光や電波を用いて、全体システム制御部５３に送信する。なお、リモートコントローラ５５を、例えば、キーボードやマウスなどで構成することもできる。

リムーバブルメディア５６は、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどにより構成され、必要に応じて装着され、全体システム制御部５３に、プログラム、その他各種のデータを提供する。

図３は、オブジェクト追尾部５２の詳細な構成例を示すブロック図である。図３のオブジェクト追尾部５２は、追尾処理部７１および追尾処理制御部７２で構成される。

追尾処理部７１は、追尾処理制御部７２により生成された設定情報に基づいて追尾を行い、追尾結果を追尾処理制御部７２に出力する。追尾処理の詳細は、後述するが、例えば、追尾処理部７１による追尾方式としては、輝度波形ブロックマッチング方式、色波形ブロックマッチング方式、特許文献１に記載の乗り換え付き点追尾方式、動き領域重心追尾方式、または、過去動きで一定時間外挿を行う方式などが挙げられる。

追尾処理制御部７２は、例えば、追尾結果記憶部８１、位置算出部８２、および対象位置設定部８３により構成され、ユーザ操作情報に基づいて、追尾処理部７１を制御するとともに、追尾処理部７１による追尾結果に基づいて、表示用追尾情報を生成し、表示用追尾時情報を、全体システム制御部５３に出力する処理を行う。表示用追尾情報は、例えば、追尾中の追尾対象の領域または点の位置情報、および少なくとも１つの追尾対象候補の領域または点の位置情報などで構成される。

追尾結果記憶部８１は、追尾処理部７１の追尾結果を記憶する。位置算出部８２は、追尾結果記憶部８１の追尾結果に基づいて、現在のフレーム（現フレーム）より時間的に後に入力される、次のフレーム（次フレーム）の追尾対象の位置と、追尾対象の候補となる位置（以下、適宜、候補位置とも称する）を算出して、表示用追尾情報を生成し、その表示追尾情報を、全体システム制御部５３に出力する。

また、位置算出部８２は、生成した表示用追尾情報とユーザ操作情報に基づいて、ユーザにより選択され、変更が指示された候補位置情報を、対象位置設定部８３に供給する。対象位置設定部８３は、ユーザ操作情報が示す位置、または位置算出部８２からの候補位置または追尾対象の位置を、次のフレームの追尾対象の位置として設定し、その設定情報を、追尾処理部７１に出力する。

なお、変更が指示されていない場合、位置算出部８２からは、追尾結果に基づいて算出された追尾対象の位置情報が対象位置設定部８３に供給される。すなわち、対象位置設定部８３においては、追尾処理部７１の追尾結果が、そのまま次のフレームの追尾対象の位置として設定される。

次に、追尾装置１２の処理について、図４のフローチャートを参照して説明する。図１の監視システムの電源がオンされているとき、撮像装置１１は監視する領域を撮像する。その撮像して得られた画像は、追尾装置１２に入力され、表示画像生成部５４を介して表示部２１に表示される。

ユーザＡは、表示部２１に表示される画像を参照して、リモートコントローラ５５を操作することで、画像上の追尾をしたいオブジェクトを追尾対象として指定し、追尾開始を指示する。この操作がなされたとき、全体システム制御部５３は、図４の処理を開始する。すなわち、全体システム制御部５３は、ユーザ操作情報を、追尾処理制御部７２に供給する。

追尾処理制御部７２の対象位置設定部８３は、ステップＳ１において、ユーザ操作情報が示す位置を、追尾対象の位置に設定し、その設定情報を追尾処理部７１に出力する。ステップＳ２において、追尾処理部７１は、次フレームの入力を待ち、入力される次フレームと現フレームとの間で、対象位置設定部８３からの設定情報に基づいて、ユーザにより指定された追尾対象の追尾処理を開始する。

追尾処理の詳細については、図３５または図３９を参照して後述するが、この処理により、ユーザにより指定された追尾対象、すなわち、画像の中の追尾対象となるオブジェクト（例えば、人、動物など）の追尾点（または追尾領域）が追尾され、その追尾結果が、追尾処理制御部７２に出力されて、追尾結果記憶部８１に記憶される。

ステップＳ３において、追尾処理制御部７２の位置算出部８２は、追尾処理部７１による追尾結果に基づいて、追尾対象および追尾対象候補の位置を算出する位置算出処理を行う。位置算出処理の詳細については、図５を参照して後述するが、この処理により、追尾対象の位置および追尾対象候補の位置が算出されて、表示用追尾情報が生成され、表示用追尾情報が、全体システム制御部５３を介して、表示画像生成部５４に供給される。

位置算出部８２は、ステップＳ４において、ユーザから候補位置選択表示の指示があるか否かを判定し、候補位置選択表示の指示があると判定した場合、すなわち、候補位置選択表示が指示されているとして、ステップＳ５において、ユーザから候補位置選択の指示があるか否かを判定する。

ステップＳ５において、候補位置選択の指示があると判定された場合、処理は、ステップＳ６に進み、ステップＳ６において、位置算出部８２は、ユーザから候補位置への変更の指示があるか否かを判定する。ステップＳ６において、ユーザから候補位置への変更の指示があると判定された場合、ステップＳ７において、対象位置設定部８３は、候補位置を、次フレームの追尾対象の位置と設定する。

すなわち、ユーザの候補位置選択表示の指示により、現在、表示部２１においては、候補位置を選択するための表示である候補位置選択表示が行われており、さらに、ユーザにより１つの候補位置が選択されている。位置算出部８２は、選択されている候補位置情報を、対象位置設定部８３に供給してくるので、対象位置設定部８３は、選択されている候補位置を、次フレームの追尾対象の位置として設定し、その設定情報を、追尾処理部７１に出力する。

一方、ステップＳ４において、ユーザから候補位置選択表示の指示はないと判定された場合、ステップＳ５において、ユーザから候補位置選択の指示はないと判定された場合、または、ステップＳ６において、ユーザから候補位置への更新指示がないと判定された場合、処理は、ステップＳ８に進む。

ステップＳ８において、対象位置設定部８３は、追尾対象の位置を、そのまま次フレームの追尾対象の位置として設定する。

すなわち、現在、表示部２１に、候補位置選択表示が行われてなかったり、仮に、表示部２１に、候補位置選択表示が行われていても、候補位置が選択されていなかったり、また、仮に、候補位置が選択されていても、その候補位置への更新指示がない場合、位置算出部８２は、ステップＳ３において算出された追尾対象の位置情報を、対象位置設定部８３に供給してくる。これに対応して、ステップＳ８において、対象位置設定部８３は、ステップＳ３において算出された追尾対象の位置を、そのまま次フレームの追尾対象の位置として設定し、その設定情報を、追尾処理部７１に出力する。

ステップＳ９において、表示画像生成部５４は、ユーザの指示に応じた表示画像を生成し、表示部２１に出力する。

すなわち、表示画像生成部５４は、ユーザから候補位置選択表示の指示がない場合には、入力画像を用いて、追尾対象の位置のみを示した表示画像を生成し、ユーザから候補位置選択表示の指示がある場合には、入力画像を用いて、追尾対象の位置とともに、候補位置を示した表示画像を生成する。また、表示画像生成部５４は、ユーザから候補位置選択の指示がある場合には、入力画像を用いて、例えば、選択された候補位置上に、選択を示すマークなどを重畳させて、追尾対象の位置と候補位置を示した表示画像を生成する。表示画像の詳細は、ユーザによるリモートコントローラ５５の操作方法とともに、図２４乃至図２６を参照して説明する。

ステップＳ１０において、全体システム制御部５３は、ユーザからの指示に基づいて処理を終了するか否かを判定し、ユーザから追尾終了が指示されていない場合には、ステップＳ２に戻り、それ以降の処理を繰り返し実行する。すなわち、ステップＳ２において、入力される次フレームと現フレームとの間で、ステップＳ７またはＳ８において設定された追尾対象の位置を設定した設定情報に基づいて、ユーザにより指定された追尾対象の追尾処理が開始される。ユーザから追尾終了が指示された場合、ステップＳ１０において終了すると判定され、全体システム制御部５３は処理を終了する。

次に、図５のフローチャートを参照して、図４のステップＳ３の位置算出処理を説明する。図５の例においては、画面内の固定位置が候補位置として算出される例を説明する。

なお、この場合、図３の位置算出部８２に内蔵されるレジスタ（図示せぬ）には、予め、候補位置として、画面内の固定位置の座標が記憶されている。具体的には、例えば、画面内の中央の座標や、画面がｎ個（例えば、４個）に分割されたものである各分割画面内の中心の座標などが候補位置として記憶されている。そして、ユーザにより候補位置選択および変更指示がある場合、これらの固定位置のいずれか（選択されたもの）が、追尾対象の位置に設定される。

ステップＳ３１において、位置算出部８２は、追尾結果記憶部８１に記憶される追尾結果をそのまま用いて、追尾対象の位置を算出する。ステップＳ３２において、位置算出部８２は、図示せぬレジスタから固定位置の座標を読み出すことで、候補位置を算出する。

ステップＳ３３において、位置算出部８２は、ステップＳ３１において算出された追尾対象の位置、およびステップＳ３２において算出された候補位置を用いて、表示用追尾情報を生成し、全体システム制御部５３に出力する。ステップＳ３３において出力された表示用追尾情報は、全体システム制御部５３を介して、表示画像生成部５４に出力される。

これにより、上述した図４のステップＳ９において、ユーザにより候補位置選択表示が指示されている場合には、表示画像生成部５４によりステップＳ３３において出力された表示用追尾情報に応じて生成された表示画像１０２が表示部２１に表示される。

図６は、表示部２１に表示される表示画像の例を示している。図６の例においては、追尾処理開始時に表示される表示画像１０１と、追尾処理中に表示される表示画像１０２が示されている。

表示画像１０１の左下部には、追尾の対象位置を示すカーソルＰが、ユーザが追尾対象として指示した人物のオブジェクト（以下、単に人物と称する）１１１上に表示されている。

一方、表示画像１０２の左上部、左下部、右上部、および右下部には、木のオブジェクト（以下、単に木と称する）１２１、球のオブジェクト（以下、単に球と称する）１２２、人物１１１、および犬のオブジェクト（以下、単に犬と称する）１２３がそれぞれ表示されている。すなわち、表示画像１０２において、ユーザが追尾対象として指示した人物１１１は、右上部に移動して表示されており、追尾の対象位置を示すカーソルＰは、人物１１１とは離れて、表示画像１０２の左上部に表示されている。

また、表示画像１０２には、それぞれ候補位置を示す点Ｑ１乃至Ｑ５が、位置算出部８２に内蔵されるレジスタから読み出されることで算出された候補位置である、画面内の中心の位置、並びに、画面が４等分された、各左上、右上、左下、および右下の分割画面の中心の位置上に表示されている。なお、表示画像１０２においては、各点Ｑ１乃至点Ｑ５と共に、点Ｑ１乃至点Ｑ５が候補位置を示していることをユーザに認識させるため、「候補１」乃至「候補５」の文字が表示されている。これらの文字の表示は、非表示にすることも可能である。

すなわち、追尾処理開始時には、表示画像１０１に示されるように、ユーザが追尾対象として指示した人物１１１上のカーソルＰの位置が、追尾対象の位置として設定されて処理が開始されるが、所定の時間が経過した後の追尾処理中には、表示画像１０２に示されるように、オクルージョンなどの何かしらの外乱により、追尾対象の位置は、ユーザが追尾対象として指示した人物１１１から外れてしまい、その結果、木１２１および犬１２３の間のカーソルＰが示す位置が追尾対象の位置になってしまっている。

このとき、追尾対象１１１上には、ちょうど、候補位置を示す点Ｑ３が表示されているので、ユーザは、点Ｑ３が示している候補位置を選択し、変更を指示する。これに対応して、位置算出部８２は、点Ｑ３が示している候補位置、すなわち、レジスタから読み出されたものである右上の分割画面の中心の位置を、追尾対象の位置として、対象位置設定部８３に設定させる。これにより、次フレームからは、点Ｑ３が示している位置が含まれるオブジェクト、すなわち、人物１１１が追尾対象として追尾が再開され、表示部２１には、追尾が行われた追尾結果を用いて算出された追尾対象の位置が、カーソルＰにより示される。

以上のように、追尾対象の候補となる候補位置を予め算出して表示させることにより、追尾対象の位置が、処理開始時に設定された追尾対象から外れたとしても、ちょうど、ユーザが追尾対象としたいオブジェクト上に候補位置が示されている場合には、ユーザは、表示部２１に表示される表示画像の候補位置を選択し、変更するだけで、細かい調整などを行わなくても、容易に、追尾対象の再設定を行うことができる。

すなわち、追尾対象の位置として信頼性がある候補位置が算出できれば、その候補位置は、必然的に、ユーザが追尾対象として所望するオブジェクト上に表示されるようになる。次に、より信頼性のある候補位置の算出方法について説明する。

図７は、図３のオブジェクト追尾部５２の他の構成例を示している。図７のオブジェクト追尾部５２は、追尾処理部７１および追尾処理制御部７２を備えている点は、図３のオブジェクト追尾部５２と共通しているが、画像特徴量算出部１３１が追加された点が異なっている。

すなわち、図７の例において、候補位置は、画像特徴量算出部１３１により算出されるので、位置算出部８２は、追尾結果記憶部８１の追尾結果に基づいて、次フレームの追尾対象の位置を算出し、算出した追尾対象の位置と、画像特徴量算出部１３１により算出された候補位置を用いて、表示用追尾情報を生成し、その表示追尾情報を、全体システム制御部５３に出力する。

画像特徴量算出部１３１は、入力画像を用いて画像特徴量を求め、画像特徴量に基づいて、候補位置を算出し、その位置情報を、位置算出部８２に出力する。

具体的には、例えば、画像特徴として、色で領域分割が行われ、画像内の代表的な色で、かつ、ある程度面積が大きい領域が抽出される。そして、抽出された各領域の重心が、対象候補の位置とされる。なお、領域分割を行う上で、領域の数が多くなりすぎる恐れがあるため、候補数に制限を設けるなどの考慮が必要となる。

このとき、さらに、ディテイルや、動きの大きさなどの特徴量も抽出し、それらの条件を追加することで、よりユーザが選択しやすそうな、すなわち、追尾対象としてより信頼性のある候補位置を算出することができる。

次に、図８のフローチャートを参照して、図７の追尾処理制御部７２が実行する位置算出処理を説明する。

ステップＳ５１において、位置算出部８２は、追尾結果記憶部８１に記憶される追尾結果をそのまま用いて、追尾対象の位置を算出する。ステップＳ５２において、画像特徴量算出部１３１は、入力画像を用いて画像特徴量を求め、画像特徴量に基づいて、候補位置を算出する。すなわち、画像特徴量に基づいて抽出される領域から、候補位置が算出されて、その位置情報が位置算出部８２に出力される。

ステップＳ５３において、位置算出部８２は、ステップＳ５１において算出された追尾対象の位置、およびステップＳ５２において画像特徴量算出部１３１により算出された候補位置を用いて、表示用追尾情報を生成し、全体システム制御部５３に出力する。ステップＳ５３において出力された表示用追尾情報は、全体システム制御部５３を介して、表示画像生成部５４に出力される。

これにより、上述した図４のステップＳ９において、ユーザにより候補位置選択表示が指示されている場合には、表示画像生成部５４によりステップＳ５３において出力された表示用追尾情報に応じて生成された表示画像が表示部２１に表示される。

以上のように、入力される画像の特徴量に基づいて候補位置が算出されるので、画面の固定位置の場合よりもさらに、ユーザにより選択され得る、すなわち、追尾対象として信頼性のある候補位置を表示することができる。

図９は、図３のオブジェクト追尾部５２のさらに他の構成例を示している。図９のオブジェクト追尾部５２は、追尾処理部７１および追尾処理制御部７２を備えている点は、図３のオブジェクト追尾部５２と共通しているが、図９の追尾処理部７１が、複数の追尾処理部７１−１乃至７１−ｎ（ｎ＞１）により構成されていることが異なっている。

すなわち、ｎ個の追尾処理部７１−１乃至７１−ｎは、追尾処理制御部７２により生成された設定情報に基づいて、図３を参照して上述した追尾方式のうちの、それぞれ、種類の異なる追尾方式（例えば、簡単のために、追尾方式Ａ、追尾方式Ｂ、…とする）で、それぞれ追尾を行い、追尾結果を追尾処理制御部７２に出力する。これらの追尾処理部７１の詳細は、図３４または図３８を参照して後述する。

追尾結果記憶部８１には、追尾処理部７１−１乃至７１−ｎからのｎ個の追尾結果が記憶されるので、位置算出部８２は、ユーザ操作情報に基づいて、追尾結果記憶部８１の追尾結果の中から、１つの追尾結果を用いて、次のフレームの追尾対象の位置を求め、その他の追尾結果を用いて、候補位置を算出して、表示用追尾情報を生成し、その表示追尾情報を、全体システム制御部５３に出力する。また、位置算出部８２は、生成した表示用追尾情報とユーザ操作情報に基づいて、ユーザにより選択され、変更が指示された候補位置情報を、対象位置設定部８３に供給する。

対象位置設定部８３は、ユーザ操作情報が示す位置、または位置算出部８２からの候補位置または追尾対象の位置を、次のフレームの追尾対象の位置として設定し、その設定情報を、各追尾処理部７１−１乃至７１−ｎにそれぞれ出力する。

なお、変更が指示されていない場合、位置算出部８２からは、算出した追尾対象の位置情報が、対応する１の追尾処理部に対するものとして、対象位置設定部８３に供給され、算出された候補位置情報が、対応するその他の追尾処理部に対するものとして、対象位置設定部８３に供給される。すなわち、対象位置設定部８３においては、各追尾処理部７１の追尾結果が、そのまま次のフレームの追尾対象の位置としてそれぞれ設定される。

次に、図１０のフローチャートを参照して、図９の追尾処理制御部７２が実行する位置算出処理を説明する。

ステップＳ７１において、位置算出部８２は、追尾結果記憶部８１に記憶される追尾結果の中から、１つの追尾結果（すなわち、ユーザにより指定された候補位置が対応する追尾結果）を用いて、追尾対象の位置を算出する。なお、初回には、ユーザ、または追尾装置１２内において予め設定されている追尾方式での追尾処理を行う追尾処理部７１による追尾結果が用いられて、追尾対象の位置が算出される。

ステップＳ７２において、位置算出部８２は、追尾結果記憶部８１に記憶される追尾結果の中から、残りの追尾結果を用いて、候補位置を算出する。

ステップＳ７３において、位置算出部８２は、ステップＳ７１において算出された追尾対象の位置、およびステップＳ７２において算出された候補位置を用いて、表示用追尾情報を生成し、全体システム制御部５３に出力する。ステップＳ７３において出力された表示用追尾情報は、全体システム制御部５３を介して、表示画像生成部５４に出力される。

これにより、上述した図４のステップＳ９において、ユーザにより候補位置選択表示が指示されている場合には、表示画像生成部５４によりステップＳ７３において出力された表示用追尾情報に応じて生成された表示画像が表示部２１に表示される。

図１１は、表示部２１に表示される表示画像の例を示している。図１１の例においては、図６の例の場合と同様に、例えば、追尾処理開始時に表示される表示画像１０１と、追尾処理中に表示される表示画像１５１が示されている。

例えば、図１１の表示画像１０１に示されるように、追尾処理開始時に、ユーザが人物１１１上のカーソルＰが示す位置を追尾対象として指示した場合、対象位置設定部８３は、カーソルＰの位置を、追尾対象の位置として設定し、設定情報を、各追尾方式Ａ乃至追尾方式Ｅでの追尾処理をそれぞれ行う追尾処理部７１−１乃至７１−ｎに供給する。これに対応して、追尾処理部７１−１乃至７１−ｎは、カーソルＰが示す位置を追尾の対象位置として、追尾方式Ａ乃至Ｅによる追尾を行っていく。

なお、図１１の例の場合、追尾方式Ａでの追尾処理を行う追尾処理部７１−１の追尾結果から、追尾対象の位置が算出され、他の追尾処理部７１−２乃至７１−５の追尾結果から、候補位置が算出される。

処理開始から所定の時間の経過後の表示画像１５１においては、表示画像１０２の場合と同様に、ユーザが追尾対象として指示した人物１１１は、右上部に移動しており、左上部、左下部、および右下部には、木１２１、球１２２、および犬１２３がそれぞれ表示されている。

そして、表示画像１５１において、追尾方式Ａ（追尾処理部７１−１）の追尾結果から算出される追尾対象の位置を示すカーソルＰは、ユーザが追尾対象として指示した人物１１１から外れた位置である、木１２１および犬１２３の間の位置に表示されている。追尾方式Ｂ（追尾処理部７１−２）の追尾結果から算出される候補位置を示す点Ｑ２は、ユーザが追尾対象として指示した人物１１１上の位置に表示されている。追尾方式Ｃ（追尾処理部７１−３）の追尾結果から算出される候補位置を示す点Ｑ３は、ユーザが追尾対象として指示した人物１１１から外れた位置である、木１２１および球１２２の間の位置に表示されている。

追尾方式Ｄ（追尾処理部７１−４）の追尾結果から算出される候補位置を示す点Ｑ４は、ユーザが追尾対象として指示した人物１１１から外れた位置である、犬１２３上の位置に表示されている。追尾方式Ｅ（追尾処理部７１−５）の追尾結果から算出される候補位置を示す点Ｑ５は、ユーザが追尾対象として指示した人物１１１から外れた位置である、球１２２上の位置に表示されている。

すなわち、追尾処理開始時から、所定の時間が経過した後の追尾処理中には、追尾方式Ａによる追尾は、表示画像１５１中のカーソルＰの位置に示されるように、例えば、変形やオクルージョンなどの原因により、ユーザが追尾対象として指示した人物１１１から外れてしまっている。

同様に、その他の追尾方式Ｃ乃至Ｅによる追尾も、表示画像１５１中の点Ｑ３乃至Ｑ５の位置に示されるように、例えば、変形やオクルージョンなどの原因により、ユーザが追尾対象として指示した人物１１１から外れてしまっている。

このとき、追尾方式Ｂを用いての追尾処理が正しく行われており、ユーザが追尾対象として指示した人物１１１上には、追尾方式Ｂを用いての追尾結果から算出された候補位置を示す点Ｑ２が表示されている。これにより、ユーザは、点Ｑ２が示している候補位置を選択し、変更を指示することができる。

そして、位置算出部８２は、ユーザの指示に応じて、点Ｑ２が示している候補位置、すなわち、追尾方式Ｂの追尾結果から算出された候補位置を、追尾方式Ａ乃至Ｅの追尾対象の位置として、対象位置設定部８３に設定させる。これにより、次フレームからは、点Ｑ２の位置が含まれるオブジェクト、すなわち、人物１１１が追尾対象として、再度、追尾方式Ａ乃至Ｅを用いての各追尾が開始され、表示部２１には、そのうちの追尾方式Ｂの追尾結果を用いて算出された追尾対象の位置がカーソルＰにより示される。

なお、図１１の例の表示画像１５１には、カーソルＰと共に、カーソルＰが示す位置を追尾した追尾方式Ａを示す「方式Ａ」の文字が表示されており、各点Ｑ２乃至点Ｑ５と共に、点Ｑ２乃至点Ｑ５が示す位置を追尾した追尾方式Ｂ乃至Ｅを示す「方式Ｂ」乃至「方式Ｅ」の文字が表示されているが、これらの文字の表示は、非表示にすることも可能である。

以上のように、例えば、方式Ａで追尾を行ったときに、何らかの外乱により、追尾対象が外れてしまった場合であっても、他の方式で求められた追尾結果が候補位置として示されている。

すなわち、追尾結果の傾向が互いに異なる複数の追尾方式により追尾を行う場合、１つの追尾方式の追尾ができなくなったとしても、他の追尾方式で正確な追尾ができている可能性が高い。したがって、追尾結果の傾向が互いに異なる複数の追尾方式の追尾結果を、候補位置として表示させることにより、ユーザが追尾対象としたいオブジェクト上にその候補位置が表示される可能性が高い。

これにより、ユーザは、表示部２１に表示される表示画像の候補位置を選択し、変更するだけで、細かい調整などを行わなくても、容易に、追尾対象の再設定を行うことができる

ここで、上述した図９のオブジェクト追尾部５２においては、基本的にユーザから候補位置の変更指示があるときには、全ｎ個の追尾方式は、それぞれ、ユーザが選択する候補位置を追尾対象として追尾を再開することで、追尾対象の位置の変更が行われているが、各追尾方式の追尾結果を完全に独立に制御した場合、長く時間が経過すると、実際には、追尾対象の変形やオクルージョンを受けるなどの理由で、それぞれの追尾方式による追尾では、すでに追尾対象の位置が、ユーザが指示した追尾対象から外れている恐れがある。すなわち、ユーザが所望する追尾対象に、どの候補位置も表示されない恐れがある。

そこで、次に、追尾方式毎に独立して追尾を行わせるのではなく、追尾結果に所定の拘束条件を与えて、所定の拘束条件で拘束される追尾結果に基づいて、次フレームの追尾対象の位置を更新する例を説明する。

図１２は、図９のオブジェクト追尾部５２の他の構成例を示している。図１２の例においては、追尾処理部７１は共通しているが、追尾処理制御部７２の詳細な構成が異なっている。すなわち、図１２の追尾処理制御部７２には、追尾結果記憶部８１、位置算出部８２、および位置対象設定部８３の他に、追尾結果更新部１６１が追加されている。

追尾結果更新部１６１は、追尾結果記憶部８１に記憶される複数の追尾結果のうち、１つを基本追尾方式の追尾結果として設定し、所定の拘束条件を満たしたとき、基本追尾方式の追尾結果の位置で、他の追尾方式の一部、または全部の追尾結果の位置を更新する。

追尾結果更新部１６１における、所定の拘束条件としては、例えば、時間の経過や、基本追尾方式の追尾結果と他の全ての追尾結果の差異の大きさなどが用いられる。

位置算出部８２は、ユーザ操作情報に基づいて、追尾結果記憶部８１の追尾結果の中から、１つの追尾結果を用いて、次のフレームの追尾対象の位置を求め、その他の追尾結果を用いて、候補位置を算出して、表示用追尾情報を生成し、その表示追尾情報を、全体システム制御部５３に出力する。すなわち、図１２の位置算出部８２は、少なくとも他の追尾方式の一部の追尾結果の位置が更新されている追尾結果を用いて候補位置を算出することとなる。

次に、図１３のフローチャートを参照して、図１２の追尾処理制御部７２が実行する位置算出処理を説明する。なお、以降のステップＳ９２乃至Ｓ９４の処理は、図１０のステップＳ７１乃至Ｓ７３と基本的に同様の処理を行うため繰り返しになるので、その説明は適宜省略する。

図４のステップＳ２の追尾処理により、追尾結果記憶部８１には、各追尾処理部７１−１乃至７１−ｎによる追尾結果が記憶されている。ステップＳ９１において、追尾結果更新部１６１は、追尾結果更新処理を実行する。この追尾結果更新処理は、図１４のフローチャートに示されている。

ステップＳ１１１において、追尾結果更新部１６１は、内蔵するタイマで計時動作を行い、所定の時間が経過したか否かを判定する。ステップＳ１１１において、所定の時間が経過したと判定された場合、ステップＳ１１２において、追尾結果更新部１６１は、追尾結果記憶部８１に記憶される、少なくとも一部の他の追尾方式の追尾結果の位置を、基本追尾方式の追尾結果に基づいて更新させる。すなわち、少なくとも一部の他の追尾方式の追尾結果の位置が、基本追尾方式の追尾結果の位置で更新される。

ステップＳ１１１において、所定の時間が経過していないと判定された場合、ステップＳ１１２の処理はスキップされ、処理は、図１３のステップＳ９１に戻り、ステップＳ９２に進む。

ステップＳ９２において、位置算出部８２は、追尾結果記憶部８１に記憶される追尾結果の中から、１つの追尾結果（すなわち、ユーザにより指定された候補位置に対応する追尾結果を追尾した追尾処理部７１の次フレームの追尾結果）を用いて、追尾対象の位置を算出する。

ステップＳ９３において、位置算出部８２は、追尾結果記憶部８１に記憶される追尾結果の中から、残りの追尾結果を用いて、候補位置を算出する。なお、ステップＳ９１において、所定の時間が経過した場合には、少なくとも一部の他の追尾方式の追尾結果の位置が、基本追尾方式の追尾結果の位置で更新されているため、更新時のフレームにおいては、更新された追尾結果から算出される候補位置は、基本追尾方式の追尾結果から算出される候補位置と同じ位置を示すこととなる。

ステップＳ９４において、位置算出部８２は、ステップＳ９２において算出された追尾対象の位置、およびステップＳ９３において算出された候補位置を用いて、表示用追尾情報を生成し、全体システム制御部５３に出力する。ステップＳ９４において出力された表示用追尾情報は、全体システム制御部５３を介して、表示画像生成部５４に出力される。

上述した図１４の追尾結果の更新処理を、図１５を参照して詳しく説明する。

図１５の例においては、時刻Ｔにおける２つの追尾方式（追尾方式Ａおよび追尾方式Ｂ）による追尾結果が、説明の便宜上、１次元で示されている。すなわち、横軸は時間ｔの経過を表し、縦軸は、位置ｘを表している。ここでは、追尾方式Ａを基本追尾方式として、時刻Ｔ毎に、他の追尾方式Ｂの追尾結果を更新する例を説明する。

まず、ユーザが指示する追尾対象の位置で、追尾方式Ａおよび追尾方式Ｂによる追尾が共に開始されるが、時間の経過に伴って、実線で示される追尾方式Ａと、点線で示される追尾方式Ｂの追尾結果の各位置は、異なる種類の追尾方式での追尾を行っていることから、離れていってしまうことがある。

そこで、追尾開始から時間Ｔが経過した時刻Ｔにおいて、追尾方式Ｂによる追尾結果の位置を、追尾方式Ａによる追尾結果の位置で更新するようにする。時刻２Ｔおよび時刻３Ｔにおいても、同様に、追尾方式Ｂによる追尾結果の位置が、追尾方式Ａによる追尾結果の位置で更新される。

以上のように、ユーザが追尾対象を変更しようとしなければ、時間の経過に伴って、どんどん離れていってしまう追尾結果（軌跡）を、ある追尾方式の追尾結果に拘束させる、換言するに、一致させることにより、常に信頼できる候補位置を得ることができる。

なお、図１５の例においては、追尾方式Ａを基本追尾方式に固定した例が示されているが、例えば、図１６の例に示されるように、基本追尾方式を、途中で、他の追尾方式に切り替えることも可能である。

すなわち、図１６の例においては、時刻２Ｔの直後に、基本追尾方式を、追尾方式Ａから、追尾方式Ｂに切り替えている例が示されている。

これにより、時刻Ｔおよび時刻２Ｔにおいては、点線に示される追尾方式Ｂによる追尾結果の位置が、実線に示される追尾方式Ａによる追尾結果の位置で更新されているが、基本追尾方式が追尾方式Ｂに切り替えられた後の時刻３Ｔにおいては、実線に示される追尾方式Ａによる追尾結果の位置が、点線に示される追尾方式Ｂによる追尾結果の位置で更新されている。

なお、図１５および図１６の例においては、更新間隔が一定の例が示されているが、一定ではなく、可変にすることも可能である。

さらに、図１７のフローチャートを参照して、図１３のステップＳ９１の追尾結果更新処理の例を説明する。すなわち、図１７の処理は、図１４の追尾結果更新処理の他の例である。

図４のステップＳ２の追尾処理により、追尾結果記憶部８１には、各追尾処理部７１−１乃至７１−ｎによる追尾結果が記憶されている。ステップＳ１３１において、追尾結果更新部１６１は、基本追尾方式の追尾結果の位置と他の追尾方式の追尾結果の位置の距離を求め、その距離が所定の閾値以上であるか否かを判定する。

ステップＳ１３１において、基本追尾方式の追尾結果の位置との距離が所定の閾値以上であると判定された場合、ステップＳ１３２において、追尾結果更新部１６１は、追尾結果記憶部８１に記憶される、少なくとも一部の他の追尾方式の追尾結果の位置を、基本追尾方式の追尾結果に基づいて更新させる。

ステップＳ１３１において、基本追尾方式の追尾結果との距離が所定の閾値以上ではないと判定された場合、ステップＳ１３２の処理はスキップされ、処理は、図１３のステップＳ９１に戻る。

上述した図１７の追尾結果の更新処理を、図１８を参照して詳しく説明する。

図１８の例においては、時刻Ｔにおける３つの追尾方式（追尾方式Ａ乃至Ｃ）による追尾結果が、説明の便宜上、１次元で示されている。すなわち、横軸は時間ｔの経過を表し、縦軸は、位置ｘを表している。ここでは、追尾方式Ａを基本追尾方式として、他の追尾方式との追尾結果との追尾結果の距離が大きく離れた場合に、他の追尾方式ＢおよびＣを更新する例を説明する。

まず、ユーザが指示する追尾対象の位置で、追尾方式Ａ乃至Ｃによる追尾が共に開始されるが、時間の経過に伴って、実線で示される追尾方式Ａ、点線で示される追尾方式Ｂ、および一点鎖線で示される追尾方式Ｃの追尾結果の各位置は離れていってしまう。

そこで、時刻tにおける、各追尾方式Ａ乃至Ｃの追尾結果の位置をそれぞれxa(t)，xb(t)，xc(t)として、他の追尾方式ＢおよびＣの各位置と、追尾方式Ａの位置との距離の平均Ｄを求める。

他の追尾方式ＢおよびＣの各位置と、追尾方式Ａの位置との距離の平均Ｄが、図１９に示されるように、所定の閾値（Ｄth）以上になったとき（すなわち、時刻Ｔ）で、追尾方式ＢおよびＣの追尾結果の位置を、追尾方式Ａの追尾結果の位置で更新するようにする。これにより、図１９の例においては、距離の平均Ｄが、所定の閾値（Ｄth）以上になった時刻Ｔにおいて、その距離の平均Ｄが一旦０になり（すなわち、リセットされ）、再度、距離の平均Ｄは、その０から時間の経過に伴い加算されていく。

なお、この判定式は、次の式（１）で表すことができる。

この場合も、図１６の例の場合と同様に、基本追尾方式を途中で切り替えることができる。なお、他には、他の追尾方式ＢおよびＣの追尾結果の各位置と、追尾方式Ａの追尾結果の位置との距離の分散を計算し、分散が大きくなったときに更新するようにすることもできる。

なお、以上においては、追尾結果を拘束する条件として、図１５および図１６を参照して時間を用いる例、並びに、図１８を参照して追尾結果の差の大きさを用いる例を説明したが、拘束条件は、どちらか一方でもよいし、両方を用いることもできる。

また、例えば、追尾処理部７１−１において、基本追尾方式としての追尾方式Ａが行われる場合に、追尾処理部７１−２と追尾処理部７１−３に、同じ追尾方式Ｂによる追尾を行わせ、図２０に示されるように、追尾処理部７１−２については、第１のタイミング（例えば、時刻Ｔ，３Ｔ，５Ｔ，…）で２Ｔ時間毎に、追尾方式Ａの追尾結果で更新を行わせ、追尾処理部７１−３については、第１のタイミングとは異なる第２のタイミング（例えば、時刻２Ｔ，４Ｔ，６Ｔ，…）で２Ｔ時間毎に、追尾方式Ａの追尾結果で更新を行わせることもできる。

図２０の例においては、時刻Ｔにおける２つの追尾方式（追尾方式ＡおよびＢ）による追尾結果が、説明の便宜上、１次元で示されている。すなわち、横軸は時間ｔの経過を表し、縦軸は、位置ｘを表している。ここでは、追尾方式Ａを基本追尾方式として、時刻２Ｔ毎に、他の追尾方式Ｂの更新タイミングの異なるもの２つ（以下、追尾方式Ｂ−１および追尾方式Ｂ−２とする）を、それぞれタイミングをずらして更新する例を説明する。

まず、ユーザが指示する追尾対象の位置で、追尾方式Ａおよび追尾方式Ｂ−１による追尾が共に開始され、追尾方式Ａの追尾が開始してから時間Ｔが経過した時刻Ｔにおいて、追尾方式Ａの追尾結果の位置から追尾方式Ｂ−２による追尾も開始される。

そして、追尾方式ＡおよびＢ−１の追尾が開始されてから時間２Ｔが経過した時刻２Ｔにおいて、点線で示される追尾方式Ｂ−１による追尾結果の位置を、実線で示される追尾方式Ａによる追尾結果の位置で更新するようにする。このとき、一点鎖線で示される追尾方式Ｂ−２による追尾結果の位置は、更新されず、更新されない追尾方式Ｂ−２による追尾結果の位置が、候補位置として算出される。

さらに、追尾方式Ａの追尾が開始されてから時間３Ｔ（追尾方式Ｂ−２による追尾が更新されてから時間２Ｔ）が経過した時刻３Ｔにおいて、一点鎖線で示される追尾方式Ｂ−２による追尾結果の位置を、実線で示される追尾方式Ａによる追尾結果の位置で更新するようにする。このとき、点線で示される追尾方式Ｂ−１による追尾結果の位置は、更新されず、更新されない追尾方式Ｂ−１による追尾結果の位置が、候補位置として算出される。

ここで、例えば、時刻２Ｔにおける追尾方式Ｂ−２の更新直後に、基本追尾方式である追尾方式Ａで所望の追尾結果が得られなくなってしまった場合、次に、時刻３Ｔにおいて追尾方式Ａの追尾結果で更新される追尾方式Ｂ−１は、所望の追尾結果を得られなくなった基本追尾方式に合わせられてしまう。これに対して、このとき更新されない追尾方式Ｂ−２は、所望の追尾結果が得られなくなってしまう前の追尾方式Ａの追尾結果で更新されており、正しく追尾できている可能性が高い。したがって、この追尾方式Ｂ−２の追尾結果を候補位置として算出することで、信頼性の高い候補位置を表示させることができる。

以上のように、更新タイミングがすべて同じであると、他の追尾方式が、例えば、更新直後に所望の追尾結果を得られなくなってしまった場合の基本追尾方式にすべて合わせられてしまうことが起こり得るが、それを回避することができる。

これにより、より信頼できる候補位置を得ることができる。なお、以上の効果を得るためには、複数の追尾処理部７１−１乃至７１−ｎで用いられる追尾方式を限定するものではなく、互いに追尾結果の傾向が異なる追尾方式を複数用意することが必要である。

例えば、追尾方式としては、輝度波形に基づいてブロックマッチングを行う輝度波形ブロックマッチング方式、色波形に基づいてブロックマッチングを行う色波形ブロックマッチング方式、特許文献１に記載の乗り換え付き点追尾方式、動き領域重心追尾方式、または、過去動きで一定時間外挿を行う方式などが挙げられる。

色波形ブロックマッチング方式は、用いる情報が輝度の代わりに色である以外は、輝度波形ブロックマッチング方式と同様の処理を行う。輝度波形ブロックマッチング方式では、追尾対象に輝度変化があった場合、対象から外れてしまう恐れが多かったが、色波形ブロックマッチング方式においては、輝度の成分を排除した色情報を用いることで、輝度変化があった場合であっても、正しく追尾できている可能性が高い。

乗り換え付き点追尾方式は、図３８を参照して詳しく後述するが、予め前フレームにおいて追尾点の乗り換え候補を求めておき、例えば、ブロックマッチングにより追尾点に動きが求められなくなったとき、追尾点を、その乗り換え候補に乗り換えさせることで、追尾対象が回転したり、オクルージョンが発生したり、シーンチェンジが発生する等、追尾点が一時的に見えなくなる場合に対応させるようにしたものである。

動き領域重心追尾方式は、図３４を参照して詳しく後述するが、固定領域内のあるサンプリング間隔毎に動き検出（例えば、ブロックマッチング）を行い、領域内で多数を占める動きと類似する動きを示す領域を追尾対象の領域と定義し、領域の重心を追尾対象の位置として追尾するものである。

過去動きで一定時間外挿を行う方式は、上述した追尾方式のうちの、ある追尾方式の過去の動きに基づいて、対象の動きを予測するものである。例えば、輝度波形ブロックマッチング方式などで追尾された追尾結果が、オクルージョンで前景に追尾対象が移ったときなどには、図２１に示されるような軌跡を示すことがある。

図２１の例においては、時刻t-5乃至時刻t+4における追尾結果の軌跡が示されている。追尾位置x(t-5)乃至追尾位置x(t+4)は、時刻t-5乃至時刻t+4における追尾結果をそれぞれ表しており、各追尾位置間の矢印は、各時刻間の動きを表している。追尾位置x(t-5)乃至追尾位置x(t)に示されるように、時刻t-5乃至時刻tでは、なだらかな動きが連続しているが、時刻t+1において、オクルージョンで前景に追尾対象が移ったなどの原因により、追尾位置x(t)から追尾位置x(t+1)への動きが不連続になってしまっている。

そこで、このような場合に、図２２に示されるように、時刻t-5乃至時刻t間の実線に示される過去の動きの履歴に基づいて、一点鎖線に示される外挿動きと、外挿するタイミングを決定し、決定されたタイミング（いまの場合、時刻tの後）から、過去の動きの履歴に基づいて求められた外挿動きを、点線で示される実際に求められる動き（図２１）の代わりに、一定時間代用し続けさせるという方式である。

このとき決定される外挿するタイミングとしては、例えば、ユーザが追尾対象を指示してから、一定時間毎（例えば、120フレーム毎など）としたり、あるいは、過去の動きの履歴を見て、動きが不連続になるとき（例えば、過去、数フレームの平均動きから大きく異なるとき）などが挙げられる。

また、このとき決定される外挿動きとしては、外挿するタイミングの数フレーム前の動きや、過去、数フレームの平均動きなどが挙げられる。なお、外挿するタイミングの数フレーム前でなくても、直前動きも考えられるが、直前の動きはオブジェクトの境界での動きになっている可能性があり、適切ではない場合もある。

なお、輝度波形ブロックマッチング方式を用いて追尾する場合を説明したが、追尾方式は限定されず、どの追尾方式であってもよい。

以上のように、追尾結果の傾向が相互に異なる複数の追尾方式を用いて追尾を行い、それらの追尾結果を候補位置とするようにしたので、さまざまな外乱に対応した信頼性のある候補を表示させることができる。これにより、ユーザは、表示部２１に表示される表示画像の候補位置を選択し、変更するだけで、細かい調整などを行わなくても、容易に、追尾対象の再設定を行うことができる。

なお、上記説明においては、複数の追尾処理部７１−１乃至７１−ｎにそれぞれ異なる追尾方式での追尾を行わせるようにしたが、例えば、追尾方式は同じとして、それぞれの追尾処理部７１−１乃至７１−ｎに、初期設定の位置として、異なる追尾対象の位置で追尾処理を行わせることもできる。なお、追尾方式は、すべてが同じであってもよいし、少なくとも１以上異なっていてもよい。

例えば、図２３の表示画像１０１に示されるように、追尾処理開始時に、ユーザが人物１１１上のカーソルＰが示す位置を追尾対象として指示した場合、対象位置設定部８３は、カーソルＰの位置と、カーソルＰと同じオブジェクトに含まれ、カーソルＰを中心とする近傍の異なる位置を、それぞれの追尾処理部７１−１乃至７１−ｎの追尾対象の位置として設定し、設定情報を、対応する追尾処理部７１−１乃至７１−ｎに供給する。

なお、図２３の例においては、ｎ＝５の場合の例を説明する。

例えば、人物１１１上のカーソルＰの位置が、追尾処理部７１−１の追尾対象の位置として設定され、人物１１１上のカーソルＰの上部近傍に位置する点Ｑ２の位置が、追尾処理部７１−２の追尾対象の位置として設定され、人物１１１上のカーソルＰの右側近傍に位置する点Ｑ３の位置が、追尾処理部７１−３の追尾対象の位置として設定され、人物１１１上のカーソルＰの下部近傍に位置する点Ｑ４の位置が、追尾処理部７１−４の追尾対象の位置として設定され、人物１１１上のカーソルＰの左側近傍に位置する点Ｑ５の位置が、追尾処理部７１−５の追尾対象の位置として設定される。

これに対応して、追尾処理部７１−１乃至７１−５は、カーソルＰ、点Ｑ２乃至点Ｑ５が示す位置を追尾の対象位置として、それぞれ、追尾を行っていく。

なお、図２３の例の場合、カーソルＰの位置について追尾処理を行う追尾処理部７１−１の追尾結果から、追尾対象の位置が算出され、他の追尾処理部７１−２乃至７１−５の追尾結果から、候補位置が算出される。

処理開始から所定の時間の経過後には、表示画像１８１において、表示画像１５１の場合と同様に、ユーザが追尾対象として指示した人物１１１は、右上部に移動しており、左上部、左下部、右上部、および右下部には、木１２１、球１２２、人物１１１、および犬１２３がそれぞれ表示されている。

そして、表示画像１０１におけるカーソルＰの位置を所定時間追尾した（追尾処理部７１−１の）追尾結果から算出される、表示画像１８１上の追尾対象の位置を示すカーソルＰは、ユーザが追尾対象として指示した人物１１１から外れ、木１２１および犬１２３の間の位置に表示されている。表示画像１０１における点Ｑ２の位置を所定時間追尾した（追尾処理部７１−２）の追尾結果から算出される、表示画像１８１上の候補位置を示す点Ｑ２は、ユーザが追尾対象として指示した人物１１１上の位置に表示されている。表示画像１０１における点Ｑ３の位置を所定時間追尾した（追尾処理部７１−３）の追尾結果から算出される、表示画像１８１上の候補位置を示す点Ｑ３は、ユーザが追尾対象として指示した人物１１１から外れて、犬１２３上の位置に表示されている。

表示画像１０１における点Ｑ４の位置を所定時間追尾した（追尾処理部７１−４）の追尾結果から算出される、表示画像１８１上の候補位置を示す点Ｑ４は、ユーザが追尾対象として指示した人物１１１から外れて、球１２２の境界上の位置に表示されている。表示画像１０１における点Ｑ５の位置を所定時間追尾した（追尾処理部７１−５）の追尾結果から算出される、表示画像１８１上の候補位置を示す点Ｑ５は、ユーザが追尾対象として指示した人物１１１から外れて、木１２１および球１２２の間の位置に表示されている。

すなわち、追尾処理開始時から、所定の時間が経過した後の追尾処理中には、カーソルＰの位置についての追尾は、表示画像１８１中のカーソルＰの位置に示されるように、例えば、変形やオクルージョンなどの原因により、ユーザが追尾対象として指示した人物１１１から外れてしまっている。

同様に、その他の点Ｑ３乃至点Ｑ５の位置についての追尾も、表示画像１８１中の点Ｑ３乃至点Ｑ５の位置に示されるように、例えば、変形やオクルージョンなどの原因により、ユーザが追尾対象として指示した人物１１１から外れてしまっている。

このとき、点Ｑ２の位置についての追尾処理が略正しく行われており、表示画像１８１中の追尾対象１１１上には、点Ｑ２の位置についての追尾結果から算出された候補位置を示す点Ｑ２が表示されているので、ユーザは、表示画像１８１において、点Ｑ２が示している候補位置を選択し、変更を指示する。

これに対応して、位置算出部８２は、点Ｑ２が示している候補位置、すなわち、追尾方式Ｂの追尾結果から算出された候補位置を、追尾対象の位置として、対象位置設定部８３に出力する。対象位置設定部８３は、点Ｑ２が示している候補位置を、追尾処理部７１−１の追尾対象の位置として設定し、人物１１１上の点Ｑ２の上部、右側、下部、および左側の各近傍に位置する図示せぬ位置を、追尾処理部７１−２乃至７２−５の追尾対象の位置として設定する。

これにより、次のフレームからは、点Ｑ２の位置が含まれるオブジェクト、すなわち、人物１１１が追尾対象として、追尾処理部７１−１により追尾が開始され、表示部２１には、その追尾結果を用いて算出された追尾対象の位置がカーソルＰにより示される。

なお、図２３の例の表示画像１０１および１８１には、カーソルＰおよび各点Ｑ２乃至点Ｑ５と共に、カーソルＰおよび点Ｑ２乃至点Ｑ５が示す位置と、カーソルＰの位置との位置関係を示す「中心」、「上」、「右」、「下」、および「左」の文字が表示されているが、これらの文字の表示は、非表示にすることも可能である。

以上のように、ユーザの指示した追尾対象の位置を含めたその近傍の異なる複数の位置を、各追尾対象位置として、複数の追尾を行い、それらの追尾結果を候補位置とすることでも、さまざまな外乱に対応した信頼性のある候補を表示させることができる。これにより、ユーザは、表示部２１に表示される表示画像の候補位置を選択し、変更するだけで、細かい調整などを行わなくても、容易に、追尾対象の再設定を行うことができる。

次に、上述したようにして求められる複数の候補位置の表示例とその操作方法について詳しく説明する。図４のステップＳ４乃至Ｓ６を参照して上述した位置算出部８２の判定処理に示されるように、ユーザは、所望の追尾結果が得られていないと判断したときに、追尾装置１２に対して、図２４に示されるようなリモートコントローラ５５を用いて、候補位置選択表示を指示し、対応する候補位置を選択して決定することで、追尾対象の位置を、所望の候補位置に変更するように、指示を入力することができる。

図２４は、図２のリモートコントローラ５５の構成例を示している。図２４の例においては、リモートコントローラ５５には、上から順に９個の候補選択ボタン２２１−１乃至２２１−９、機能選択ボタン２２２−１乃至２２２−４、および決定ボタン２２３が備えられている。

機能選択ボタン２２２−１乃至２２２−４は、追尾装置１２に所定の機能を指示するためのボタンである。例えば、機能選択ボタン２２２−４は、候補位置選択表示を指示するためのボタンであり、ユーザにより機能選択ボタン２２２−４が指示された場合には、上述した図４のステップＳ９において、表示画像生成部５４により、追尾対象の位置とともに、候補位置を示した表示画像、すなわち、図２５に示される、候補位置が一覧できる候補一覧画像２４１が生成され、表示部２１に表示される。

図２５の候補一覧画像２４１は、図６の表示画像１０２と同様に、左上部に木１２１、左下部に球１２２、右上部に人物１１１、および右下部に犬１２３が撮像されて入力された画像に、追尾対象の位置および複数の候補位置を示すため、候補名を示す文字とともにカーソルＰと点Ｒなどの小画像（アイコン）が重畳されて構成されている。

木１２１および球１２２の間に位置する候補位置には、「候補１」の文字と点Ｒが重畳されており、木１２１および犬１２３の間に位置する候補位置には、「候補２」の文字とカーソルＰが重畳されており、人物１１１上に位置する候補位置には、「候補３」の文字と点Ｒが重畳されており、球１２２の境界上に位置する候補位置には、「候補４」の文字と点Ｒが重畳されており、犬１２３上に位置する候補位置には、「候補５」の文字と点Ｒが重畳されている。

すなわち、図２５の例においては、ユーザによる選択中の候補位置と他の候補位置の判別可能を目的として、選択中の候補位置には、候補名を示す文字とともに十字のカーソルＰ、他の候補位置には、候補名を示す文字とともに点Ｒが表示されるように、マークの形状を変えて表示させている。例えば、マークの形状を変える以外に、例えば、マークの大きさや、色などを変えて、選択中の候補位置との判別を可能にさせることもできる。

なお、図２５の例の場合、候補一覧画像２４１が表示された直後（すなわち、ユーザによる選択の指示がまだないとき）が示されているので、追尾対象の位置が選択されていることとして、追尾対象である「候補２」の位置に、カーソルＰが表示されており、その他の候補位置（「候補１」、および「候補３」乃至「候補５」の位置）には、点Ｒがそれぞれ表示されている。

図２４に戻って、候補選択ボタン２２１−１乃至２２１−９は、候補一覧画像２４１に表示される候補位置に１対１で対応するボタンであり、例えば、候補選択ボタン２２１−１乃至２２１−５は、それぞれ、「候補１」乃至「候補５」の文字で示される各候補位置に対応している。

したがって、ユーザが候補選択ボタン２２１−３を押下した場合、「候補３」の文字で示される候補位置にカーソルＰが表示され、「候補３」の文字で示される候補位置が選択される。このとき、「候補２」の文字で示される候補位置には、他の候補位置と同様の点Ｒが表示される。ユーザが他の候補選択ボタン２２１−１，２２１−２，２２１−４，および２２１−５を押下した場合にも同様に、対応する候補位置にカーソルＰが表示され、いままでカーソルＰが表示されていた候補位置には、点Ｒが表示される。

なお、図２４の例の場合、候補選択ボタン２２１−６乃至２２１−９は、対応する候補位置がないので、押下されたとしても追尾装置１２に対しての指示は送信されない。

決定ボタン２２３は、候補選択ボタン２２１−１乃至２２１−９が押下されることで選択されている候補位置を、追尾対象として決定するためのボタンである。

したがって、例えば、「候補３」の文字で示される候補位置にカーソルＰが表示されている場合、すなわち、「候補３」の文字で示される候補位置が選択されている場合に、ユーザにより、リモートコントローラ５５の決定ボタン２２３が押下されると、追尾装置１２においては、「候補３」の文字で示されている候補位置が、追尾対象の位置として設定される。

これにより、例えば、「候補３」の文字で示されている候補位置またはその位置が含まれる候補領域が、追尾対象の位置として設定されるので、候補位置または候補領域を含んで構成されるオブジェクトである人物１１１が追尾対象として追尾される。

なお、候補位置の選択については、候補位置に１対１に対応する候補選択ボタン２２１−１乃至２２１−９を押下する場合を説明したが、候補選択ボタン２２１−１乃至２２１−９を設けずに、例えば、図２４の機能選択ボタン２２２−３を、候補を選択するためのボタンとして構成し、機能選択ボタン２２２−３を押下する度に、例えば、図２６に示されるように、選択される候補位置が順番に切り替わるようにすることもできる。

また、これらの候補選択ボタン２２１−１乃至２２１−９と機能選択ボタン２２２−３とを両方装備してリモートコントローラ５５を構成することもできるし、候補選択ボタン２２１−１乃至２２１−９または機能選択ボタン２２２−３のどちらか一方だけを装備してリモートコントローラ５５を構成することも可能である。

図２６の例においては、５つの候補位置が選択されることによる候補一覧画像２５１−１乃至２５１−５の遷移の例が示されている。

まず、表示部２１には、候補一覧画像２５１−１が表示画像として表示されている。候補一覧画像２５１−１においては、「候補１」の文字で示される候補位置には、図２５で上述したように、選択中を示すカーソルＰが表示され、その他の候補位置には点Ｒが表示されている。

例えば、「候補１」の文字で示される候補位置が選択中である候補一覧画像２５１−１が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、表示部２１には、矢印に示されるように、「候補１」の文字で示される候補位置に点Ｒが表示され、「候補２」の文字で示される候補位置にカーソルＰが表示される、すなわち、「候補２」の文字で示される候補位置が選択中である候補一覧画像２５１−２が、表示画像として表示される。

候補一覧画像２５１−２が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、表示部２１には、矢印に示されるように、「候補２」の文字で示される候補位置に点Ｒが表示され、「候補３」の文字で示される候補位置にカーソルＰが表示される、すなわち、「候補３」の文字で示される候補位置が選択中である候補一覧画像２５１−３が、表示画像として表示される。候補一覧画像２５１−３が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、表示部２１には、矢印に示されるように、「候補３」の文字で示される候補位置に点Ｒが表示され、「候補４」の文字で示される候補位置にカーソルＰが表示される、すなわち、「候補４」の文字で示される候補位置が選択中である候補一覧画像２５１−４が、表示画像として表示される。

候補一覧画像２５１−４が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、表示部２１には、矢印に示されるように、「候補４」の文字で示される候補位置に点Ｒが表示され、「候補５」の文字で示される候補位置にカーソルＰが表示される、すなわち、「候補５」の文字で示される候補位置が選択中である候補一覧画像２５１−５が、表示画像として表示される。候補一覧画像２５１−５が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、表示部２１には、矢印に示されるように、「候補５」の文字で示される候補位置に点Ｒが表示され、「候補１」の文字で示される候補位置にカーソルＰが表示される、すなわち、再度、「候補１」の文字で示される候補位置が選択中である候補一覧画像２５１−１が、表示画像として表示される。

したがって、「候補１」の文字で示される候補位置が選択中である候補一覧画像２５１−１が表示されているときに、例えば、人物１１１を追尾対象としたいときには、ユーザは、機能選択ボタン２２２−３を２度押下すればよい。

これにより、「候補３」の文字で示される候補位置が選択中である候補一覧画像２５１−３が表示画像として表示される。ここで、ユーザによりリモートコントローラ５５の決定ボタン２２３が押下されれば、追尾装置１２においては、「候補３」の文字で示されている候補位置が、追尾対象の位置として設定される。

すなわち、ユーザは、リモートコントローラ５５の機能選択ボタン２２２−３を押下して、所望の候補位置を選択し、その後、リモートコントローラ５５の決定ボタン２２３を押下するだけで、「候補３」の文字で示されている候補位置または候補領域を含んで構成されるオブジェクトである人物１１１を追尾対象として追尾させることができる。

次に、図２の表示画像生成部５４の他の構成例とその動作について説明する。図２７は、ズーム画像を生成する表示画像生成部５４の詳細な構成例である。

図２７の表示画像生成部５４は、拡大信号処理部３０１および追尾結果選択候補表示制御部３０２により構成される。

拡大信号処理部３０１は、入力画像を用いて、全体システム制御部５３からのユーザ操作情報と、オブジェクト追尾部５２の追尾処理により得られる表示用追尾情報に応じて、ズーム画像を生成し、生成したズーム画像を、追尾結果選択候補表示部３０２に出力する。

追尾結果選択候補表示部３０２は、拡大信号処理部３０１からのズーム画像を用いて、必要に応じて、入力画像も用いて、表示画像を生成し、生成した表示画像を、表示部２１に表示させる。例えば、追尾結果選択候補表示部３０２は、ズーム画像に、必要に応じて、入力画像を用いて、全体システム制御部５３からのユーザ操作情報と、オブジェクト追尾部５２の追尾処理により得られる表示用追尾情報に応じて生成した追尾対象の位置と候補位置を示した縮小画像（すなわち、図２５を参照して上述した候補一覧画像を縮小したもの）を重畳して、表示画像を生成し、生成した表示画像を、表示部２１に表示させる。

次に、図２７の表示画像生成部５４の動作について説明する。図２８は、図２７の表示画像生成部５４の表示画像生成処理の詳細を説明するフローチャートである。なお、この表示画像生成処理は、図４のステップＳ９の表示画像生成処理の他の例である。

ステップＳ３０１において、拡大信号処理部３０１は、入力画像を用いて、全体システム制御部５３からのユーザ操作情報と、オブジェクト追尾部５２の追尾処理により得られる表示用追尾情報に応じて、ズーム画像を生成する。

例えば、ユーザにより候補位置選択表示が指示されていない場合には、図２９の表示画像１０１に示されるように、追尾処理開始時に、ユーザが人物１１１上のカーソルＰが示す位置を追尾対象として指示した場合、対象位置設定部８３により、カーソルＰの位置が、追尾対象の位置として設定されるとともに、位置算出部８２は、追尾対象の位置および候補位置の情報を、表示用追尾情報として、表示画像生成部５４に送信してくる。

したがって、拡大信号処理部３０１は、追尾対象の位置（すなわち、ユーザが追尾対象として指示した人物１１１）、を中心としたズーム画像３２１を生成し、生成したズーム画像３２１を、追尾結果選択候補表示部３０２に出力する。

このズーム画像生成処理は、本出願人が先に提案しているクラス分類適応処理を利用して行うことができる。例えば、特開２００２−１９６７３７公報には、予め学習して得た係数を用いて、５２５ｉ信号を１０８０ｉ信号に変換する処理が開示されている。この処理は、垂直方向と水平方向の両方に９／４倍に画像を拡大する処理と実質的に同様の処理である。ただし、表示部２１は、画素数が一定であるため、拡大信号処理部３０１は、例えば９／４倍の画像を作成する場合、５２５ｉ信号を１０８０ｉ信号に変換した後、追尾点を中心とする所定の数の画素（表示部２１に対応する数の画素）を選択することでズーム画像を生成することができる。

この原理に基づいて、任意の倍率のズーム画像を生成することができる。

ステップＳ３０２において、追尾結果選択候補表示部３０２は、拡大信号処理部３０１からのズーム画像を用いて、表示画像を生成し、生成した表示画像を、表示部２１に表示させる。すなわち、追尾結果選択候補表示部３０２は、ズーム画像に、必要に応じて、入力画像を用いて、全体システム制御部５３からのユーザ操作情報と、オブジェクト追尾部５２の追尾処理により得られる表示用追尾情報に応じて生成した追尾対象の位置と候補位置を示した候補一覧画像を縮小したものを重畳して、表示画像を生成する。

なお、いまの場合、ユーザにより候補位置選択表示が指示されていないので、図２９に示されるように、追尾対象である人物１１１の位置を中心に生成されたズーム画像３２１が、表示画像として表示部２１に表示される。

一方、ユーザにより候補位置選択表示が指示されている場合には、例えば、選択中の候補位置を中心に生成されたズーム画像が生成されて、図３０に示されるように、表示画像として表示部２１に表示することもできる。

例えば、図２５の候補一覧画像２４１を参照して説明すると、図２５の候補一覧画像２４１において、「候補１」の文字で示される候補位置（すなわち、木１２１および球１２２の間に位置する候補位置）が選択されている場合、拡大信号処理部３０１においては、木１２１および球１２２の間に位置する候補位置を中心としたズーム画像３５１−１が生成されて、表示部２１には、図３０に示されるように、生成されたズーム画像３５１−１が表示画像として表示される。

ここで、例えば、図２６の例の場合と同様に、ユーザにより、リモートコントローラ５５に備えられた、押下する度に選択される候補位置が順番に切り替わる機能を有する機能選択ボタン２２２−３が用いられるとする。

すなわち、図３０のズーム画像３５１−１が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補１」の文字で示される候補位置から、例えば、「候補２」の文字で示される候補位置（すなわち、木１２１および犬１２３の間に位置する候補位置）に選択が切り替わり、拡大信号処理部３０１においては、木１２１および犬１２３の間に位置する候補位置を中心としたズーム画像３５１−２が生成されて、表示部２１には、矢印に示されるように、生成されたズーム画像３５１−２が表示画像として表示される。

図３０のズーム画像３５１−２が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補２」の文字で示される候補位置から、例えば、「候補３」の文字で示される候補位置（すなわち、人物１１１上に位置する候補位置）に選択が切り替わり、拡大信号処理部３０１においては、人物１１１上に位置する候補位置を中心としたズーム画像３５１−３が生成されて、表示部２１には、矢印に示されるように、生成されたズーム画像３５１−３が表示画像として表示される。

図３０のズーム画像３５１−３が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補３」の文字で示される候補位置から、例えば、「候補４」の文字で示される候補位置（すなわち、球１２２の境界上に位置する候補位置）に選択が切り替わり、拡大信号処理部３０１においては、球１２２の境界上に位置する候補位置を中心としたズーム画像３５１−４が生成されて、表示部２１には、矢印に示されるように、生成されたズーム画像３５１−４が表示画像として表示される。

図３０のズーム画像３５１−４が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補４」の文字で示される候補位置から、例えば、「候補５」の文字で示される候補位置（すなわち、犬１２３上に位置する候補位置）に選択が切り替わり、拡大信号処理部３０１においては、犬１２３上に位置する候補位置を中心としたズーム画像３５１−５が生成されて、表示部２１には、矢印に示されるように、生成されたズーム画像３５１−５が表示画像として表示される。

図３０のズーム画像３５１−５が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補５」の文字で示される候補位置から、例えば、「候補１」の文字で示される候補位置（すなわち、木１２１および球１２２の間に位置する候補位置）に選択が切り替わり、拡大信号処理部３０１においては、木１２１および球１２２の間に位置する候補位置を中心としたズーム画像３５１−１が生成されて、表示部２１には、矢印に示されるように、生成されたズーム画像３５１−１が表示画像として表示される。

なお、上述したようなズーム画像だけでは、選択中の候補位置がわかりにくくなることも考えられるので、図３１に示されるように、図３０の各ズーム画像に、例えば、図２６を参照して説明した候補一覧画像を縮小して重畳し、選択中の候補位置を中心としたズーム画像と、選択中の候補位置にカーソルＰが重畳される候補一覧画像を同時に表示させるようにすることもできる。

例えば、図２５の候補一覧画像２４１を参照して説明すると、図２５の候補一覧画像２４１において、「候補１」の文字で示される候補位置（すなわち、木１２１および球１２２の間に位置する候補位置）が選択されている場合、表示部２１には、木１２１および球１２２の間に位置する候補位置を中心としたズーム画像３５１−１に、木１２１および球１２２の間に位置する候補位置にカーソルＰが表示される図２６の候補一覧画像２５１−１が縮小されて、重畳された表示画像３６１−１が表示される。

これにより、ユーザは、ズーム画像３５１−１が、候補一覧画像２５１−１上のカーソルＰの位置を中心として拡大されたものであることを認識することができる。

ここで、例えば、図２６の例の場合と同様に、ユーザにより、リモートコントローラ５５に備えられた、押下する度に選択される候補位置が順番に切り替わる機能を有する機能選択ボタン２２２−３が用いられるとする。

すなわち、図３１の表示画像３６１−１が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補１」の文字で示される候補位置から、例えば、「候補２」の文字で示される候補位置（すなわち、木１２１および犬１２３の間に位置する候補位置）に選択が切り替わる。これに対応して、矢印に示されるように、表示部２１には、木１２１および犬１２３の間に位置する候補位置を中心としたズーム画像３５１−２に、木１２１および犬１２３の間に位置する候補位置にカーソルＰが表示される図２６の候補一覧画像２５１−２が縮小されて、重畳された表示画像３６１−２が表示される。

図３１の表示画像３６１−２が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補２」の文字で示される候補位置から、例えば、「候補３」の文字で示される候補位置（すなわち、人物１１１上に位置する候補位置）に選択が切り替わる。これに対応して、矢印に示されるように、表示部２１には、人物１１１上に位置する候補位置を中心としたズーム画像３５１−３に、人物１１１上に位置する候補位置にカーソルＰが表示される図２６の候補一覧画像２５１−３が縮小されて、重畳された表示画像３６１−３が表示される。

図３１の表示画像３６１−３が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補３」の文字で示される候補位置から、例えば、「候補４」の文字で示される候補位置（すなわち、球１２２の境界上に位置する候補位置）に選択が切り替わる。これに対応して、矢印に示されるように、表示部２１には、球１２２の境界上に位置する候補位置を中心としたズーム画像３５１−４に、球１２２の境界上に位置する候補位置にカーソルＰが表示される図２６の候補一覧画像２５１−４が縮小されて、重畳された表示画像３６１−４が表示される。

図３１のズーム画像３６１−４が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補４」の文字で示される候補位置から、例えば、「候補５」の文字で示される候補位置（すなわち、犬１２３上に位置する候補位置）に選択が切り替わる。これに対応して、矢印に示されるように、表示部２１には、犬１２３上に位置する候補位置を中心としたズーム画像３５１−５に、犬１２３上に位置する候補位置にカーソルＰが表示される図２６の候補一覧画像２５１−５が縮小されて、重畳された表示画像３６１−５が表示される。

図３１のズーム画像３６１−５が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補５」の文字で示される候補位置から、例えば、「候補１」の文字で示される候補位置（すなわち、木１２１および球１２２の間に位置する候補位置）に選択が切り替わる。これに対応して、矢印に示されるように、表示部２１には、木１２１および球１２２の間に位置する候補位置を中心としたズーム画像３５１−１に、木１２１および球１２２の間に位置する候補位置にカーソルＰが表示される図２６の候補一覧画像２５１−１が縮小されて、重畳された表示画像３６１−１が再度表示される。

なお、図３１の例においては、ズーム画像３５１−１に、候補一覧画像２５１−１を縮小させて重畳させる場合を説明したが、例えば、候補一覧画像２５１−１を大きく表示させ、ズーム画像３５１−１を縮小させて、重畳表示させることも可能である。

また、図３２に示されるように、各候補位置を中心とした図３０のズーム画像を同時に表示させることもできる。

図３２は、候補位置が４つの場合、すなわち、図２５の候補一覧画像２４１における「候補２」乃至「候補５」で示される４つの候補位置で構成される場合の例を示している。

図３２の例においては、図２５の候補一覧画像２４１における「候補２」の文字で示される候補位置（すなわち、木１２１および犬１２３の間に位置する候補位置）を中心に生成されたズーム画像３５１−２、図２５の候補一覧画像２４１における「候補３」の文字で示される候補位置（すなわち、人物１１１上に位置する候補位置）を中心に生成されたズーム画像３５１−３、図２５の候補一覧画像２４１における「候補４」の文字で示される候補位置（すなわち、球１２２の境界上に位置する候補位置）を中心に生成されたズーム画像３５１−４、並びに、図２５の候補一覧画像２４１における「候補５」の文字で示される候補位置（すなわち、犬１２３上に位置する候補位置）を中心に生成されたズーム画像３５１−５により構成される複数ズーム画像３７１−１乃至３７１−４が示されている。

例えば、ユーザにより、リモートコントローラ５５における、「候補２」の文字に対応している候補選択ボタン２２１−２が押下された場合、表示部２１には、例えば、枠３８１が重畳されることで、「候補２」の文字で示される候補位置を中心として生成されたズーム画像３５１−２がフォーカスされた複数ズーム画像３７１−１が表示画像として表示される。

ユーザにより、リモートコントローラ５５における、「候補３」の文字に対応している候補選択ボタン２２１−３が押下された場合、表示部２１には、例えば、枠３８１が重畳されることで、「候補３」の文字で示される候補位置を中心として生成されたズーム画像３５１−３がフォーカスされた複数ズーム画像３７１−２が表示画像として表示される。

ユーザにより、リモートコントローラ５５における、「候補４」の文字に対応している候補選択ボタン２２１−４が押下された場合、表示部２１には、例えば、枠３８１が重畳されることで、「候補４」の文字で示される候補位置を中心として生成されたズーム画像３５１−４がフォーカスされた複数ズーム画像３７１−３が表示画像として表示される。

同様に、ユーザにより、リモートコントローラ５５における、「候補５」の文字に対応している候補選択ボタン２２１−５が押下された場合、表示部２１には、例えば、枠３８１が重畳されることで、「候補５」の文字で示される候補位置を中心として生成されたズーム画像３５１−５がフォーカスされた複数ズーム画像３７１−４が表示画像として表示される。

以上のように、リモートコントローラ５５を操作し、枠３８１でフォーカスされるズーム画像を切り替えて見ることで、ユーザは、自分が選択する候補位置を確認することができる。

さらに、図３３に示されるように、図３２の複数ズーム画像を縮小して、図２６の候補一覧画像に重畳して表示させることもできる。

例えば、図２５の候補一覧画像２４１において、「候補２」の文字で示される候補位置（すなわち、木１２１および犬１２３の間に位置する候補位置）が選択されている場合、表示部２１には、木１２１および球１２２の間に位置する候補位置にカーソルＰが表示される図２６の候補一覧画像２５１−１に、枠３８１が重畳されることで、木１２１および球１２２の間に位置する候補位置を中心として生成されたズーム画像３５１−２がフォーカスされた図３２の複数ズーム画像３７１−１が縮小して重畳された表示画像３９１−１が表示される。

ここで、例えば、図２６の例の場合と同様に、ユーザにより、リモートコントローラ５５に備えられた、押下する度に選択される候補位置が順番に切り替わる機能を有する機能選択ボタン２２２−３が用いられるとする。

図３３の表示画像３９１−１が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補２」の文字で示される候補位置から、例えば、「候補３」の文字で示される候補位置（すなわち、人物１１１上に位置する候補位置）に選択が切り替わる。これに対応して、矢印に示されるように、表示部２１には、人物１１１上に位置する候補位置にカーソルＰが表示される図２６の候補一覧画像２５１−３に、人物１１１上に位置する候補位置を中心としたズーム画像３５１−３がフォーカスされた図３２の複数ズーム画像３７１−２が縮小して重畳された表示画像３９１−２が表示される。

図３３の表示画像３６１−２が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補３」の文字で示される候補位置から、例えば、「候補４」の文字で示される候補位置（すなわち、球１２２の境界上に位置する候補位置）に選択が切り替わる。これに対応して、矢印に示されるように、表示部２１には、球１２２の境界上に位置する候補位置にカーソルＰが表示される図２６の候補一覧画像２５１−４に、球１２２の境界上に位置する候補位置を中心としたズーム画像３５１−４がフォーカスされた図３２の複数ズーム画像３７１−３が縮小して重畳された表示画像３９１−３が表示される。

図３３のズーム画像３９１−３が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補４」の文字で示される候補位置から、例えば、「候補５」の文字で示される候補位置（すなわち、犬１２３上に位置する候補位置）に選択が切り替わる。これに対応して、矢印に示されるように、表示部２１には、犬１２３上に位置する候補位置にカーソルＰが表示される図２６の候補一覧画像２５１−５に、犬１２３上に位置する候補位置を中心としたズーム画像３５１−５がフォーカスされた図３２の複数ズーム画像３７１−４が縮小して重畳された表示画像３９１−４が表示される。

そして、図３３のズーム画像３９１−４が表示されているときに、ユーザにより機能選択ボタン２２２−３が１度押下されると、図２５の候補一覧画像２４１における「候補５」の文字で示される候補位置から、例えば、「候補２」の文字で示される候補位置（すなわち、木１２１および犬１２３の間に位置する候補位置）に選択が切り替わる。これに対応して、矢印に示されるように、表示部２１には、木１２１および犬１２３の間に位置する候補位置にカーソルＰが表示される図２６の候補一覧画像２５１−２に、木１２１および犬１２３の間に位置する候補位置を中心としたズーム画像３５１−２がフォーカスされた図３２の複数ズーム画像３７１−１が縮小して重畳された表示画像３９１−４に表示が戻る。

なお、図３０、図３１、および図３３においては、機能選択ボタン２２２−３を用いて操作する例を説明し、図３２においては、候補選択ボタン２２１−１乃至２２１−９を用いて操作する例を説明したが、図３０、図３１、および図３３における表示は、候補選択ボタン２２１−１乃至２２１−９を用いて操作することもできるし、図３２における表示も、機能選択ボタン２２２−３を用いて操作することができる。

以上のように、候補位置を明確に表示することで、ユーザは、所望の候補位置を簡単に選択することができる。

なお、上記説明においては、追尾対象の候補位置を表示させるタイミングとして、ユーザにより、図２４のリモートコントローラ５５の機能ボタン２２２−４が押下されることで、追尾対象の候補位置を表示する例を説明したが、例えば、追尾開始と共に、常に、追尾対象の候補位置（すなわち、図９のオブジェクト追尾部５２の場合には、全追尾結果）を表示させたり、あるいは、ユーザに候補選択を促すために、所定時間（例えば、１０秒）毎に、追尾対象の候補位置を表示させることもできる。

さらに、追尾装置１２においては、ユーザが所望した追尾結果ではないと推定されたタイミングで、追尾対象の候補位置を表示させることもできる。

この推定は、以下に説明するようにして、図２の全体システム制御部５３で実行される。まず、例えば、図９のオブジェクト追尾部５２において、基本追尾方式をブロックマッチングで行う場合に、ブロックマッチング方式で追尾する追尾処理部７１−１において検出された動きベクトルの信頼性の数値が低いと判定されたとき（例えば、後述する図４３のステップＳ１１２４における判定がＮｏの場合）、全体システム制御部５３は、追尾結果がユーザの所望した追尾結果ではないと推定し、表示画像生成部５４を制御して、追尾対象の候補位置を表示させることができる。

また、追尾処理部７１に、図３８を参照して後述するシーンチェンジを検出するシーンチェンジ検出部１０５３を構成させて、そのシーンチェンジ検出部１０５３によりシーンチェンジが検出されたときに、全体システム制御部５３は、例えば、追尾結果がユーザの所望した追尾結果ではないと推定し、表示画像生成部５４を制御し、追尾対象の候補位置を表示させることができる。

さらに、図９のオブジェクト追尾部５２の場合に、図１８を参照して上述したように、基本追尾方式とその他の追尾方式の追尾結果の平均距離が大きいと判定されたり、あるいは、全追尾結果の分散が大きいと判定されるなど、複数の追尾方式による追尾結果が大きく異なると判定されたときに、全体システム制御部５３は、例えば、追尾結果がユーザの所望した追尾結果ではないと推定して、表示画像生成部５４を制御し、追尾対象の候補位置を表示させることができる。

また、図９のオブジェクト追尾部５２において、図２３を参照して上述したように、各追尾処理部７１−１乃至７１−ｎに、複数の異なる追尾対象の位置で追尾処理を行わせる場合に、その追尾結果が大きく異なると判定されたときに、全体システム制御部５３は、例えば、追尾結果がユーザの所望した追尾結果ではないと推定して、表示画像生成部５４を制御し、追尾対象の候補位置を表示させることができる。

これにより、ユーザは、所望した追尾対象から追尾が外れていることをすぐに認識することができる。そして、ユーザは、候補位置を選択するだけの容易な操作で、すぐに、追尾対象を修正することができる。

次に、図３の追尾処理部７１の詳細な構成例と、その動作について説明する。図３４は、動き領域重心追尾方式による追尾処理部７１の機能的構成例を示すブロック図である。この例では、追尾処理部７１は、動きベクトル検出部５０１、頻度分布算出部５０２、サンプル点抽出部５０３、重心算出部５０４、および追尾点更新部５０５により構成されている。

入力端子５１からの入力画像は、動きベクトル検出部５０１およびサンプル点抽出部５０３に入力される。動きベクトル検出部５０１は、入力画像における追尾点を中心とした領域内で動きベクトルを検出する。頻度分布算出部５０２は、動きベクトル検出部５０１により検出された動きベクトルを用いて、その領域内の動きベクトルの頻度分布を算出する。

サンプル点抽出部５０３は、動きベクトルの頻度分布に基づいて、入力画像における追尾点を中心とした領域内で、多数を占める動きと類似する動きを示すサンプル点を抽出し、それを追尾対象上の点とする。重心算出部５０４は、領域内の点が、サンプル点抽出部５０３により抽出された追尾対象のサンプル点であるか否かに基づいて、サンプル点の重心を算出する。

追尾点更新部５０５は、重心算出部５０４により算出された重心に、頻度最大の動きを加算して、追尾点を更新し、更新された追尾点の情報を、追尾結果として、追尾処理制御部７２に出力する。

次に、図３４の追尾処理部７１の動作について説明する。図３５は、図２のステップＳ３において、追尾処理部７１が実行する追尾処理の詳細を説明するフローチャートである。

ステップＳ５０１において、動きベクトル検出部５０１は、次のフレームの画像の入力を待機し、ステップＳ５０２において、入力画像における追尾点を中心とした領域内で動きベクトルを検出する。

すなわち、その追尾点を含むフレーム（前フレーム）より時間的に次（後）のフレーム（次フレーム）をステップＳ５０１の処理で取り込むことで、結局連続する２フレームの画像が得られたことになる。

動きベクトル検出部５０１は、図４のステップＳ７またはＳ８において対象位置設定部８３により設定された追尾対象の位置（例えば、ユーザが追尾対象として指定した人物のオブジェクト５２２上の位置）を、追尾点Ｐとし、図３６に示されるように、時間的に前に入力された前フレームの入力画像５１１における追尾点Ｐを中心とした領域５２１内で、サンプリング間隔（Sx,Sy）のサンプル点毎に、対応する後フレームのサンプル点を推定することで、動きベクトルを検出する。領域５２１の大きさは、サンプル数をm,nとすると、m*Sx×n*Sy（*は乗算を表す）となる。

ステップＳ５０３において、頻度分布算出部５０２は、動きベクトル検出部５０１により検出された動きベクトルを用いて、領域５２１内の動きベクトルの頻度分布を算出する。

例えば、領域５２１内の動きの候補を、Vx（水平動き：-16≦Vx≦16）、Vy（垂直動き：-16≦Vy≦16）とすると、33×33＝1089の箱、すなわち動きベクトルがとり得る値に対応する座標分の箱を用意しておき、動きベクトルが発生した場合、その動きベクトルに対応する座標に１を加算する。例えば、あるサンプル点で(Vx,Vy)＝（２,２）のとき、（２,２）の箱に１を足しこむ。これを、領域５２１内の全サンプル点に対して行うことで、領域５２１内の動きベクトルの頻度分布が算出される。

ステップＳ５０４において、サンプル点抽出部５０３は、頻度分布算出部５０２により算出された動きベクトルの頻度分布に基づいて、入力画像における追尾点Ｐを中心とした領域５２１内で、多数を占める動きと類似する動きを示すサンプル点を抽出し、それを追尾対象上の点とする。

すなわち、図３６の領域５２１を拡大して図３７に示すように、前フレームの入力画像５１１における人物のオブジェクト５２２を追尾対象とするように設定された追尾対象の位置である、追尾点Ｐを中心とした領域５２１内においては、人物のオブジェクト５２２が占める割合が多いので、人物のオブジェクト５２２上のサンプル点から検出される動きベクトル（太線矢印）が多数を占める。

したがって、サンプル点抽出部５０３は、追尾点Ｐを中心とした領域５２１内で、多数を占める動きと類似する動きを示すサンプル点を抽出し、追尾対象上の点とする。

ステップＳ５０５において、重心算出部５０４は、領域５２１内の点が、サンプル点抽出部５０３により抽出された追尾対象のサンプル点であるか否かに基づいて、サンプル点Sa(x,y)の重心Ｇ(x,y)を算出する。この算出式は、次の式（２）で表される。

ここで、flag(i,j)(1≦i≦m,1≦j≦n)は、追尾対象のサンプル点であるか否かを示すフラグであり、サンプル点である場合には、１となり、サンプル点でない場合には、０となる。

ステップＳ５０６において、追尾点更新部５０５は、重心算出部５０４により算出された重心Ｇ(x,y)に、頻度最大の動きを加算して、追尾点を更新する。

そして、更新された追尾点の情報は、追尾結果として、追尾処理制御部７２に出力され、追尾処理は終了し、処理は、図４のステップＳ２に戻り、その後、ステップＳ３において、追尾結果記憶部８１に記憶される追尾結果に基づいて、追尾処理制御部７２による位置算出処理が実行される。

次に、図３の追尾処理部７１の詳細な他の構成例と、その動作について説明する。図３８は、乗り換え付き点追尾方式による追尾処理を行う追尾処理部７１の機能的構成例を示すブロック図である。この例では、追尾処理部７１は、テンプレートマッチング部１０５１、動き推定部１０５２、シーンチェンジ検出部１０５３、背景動き推定部１０５４、領域推定関連処理部１０５５、乗り換え候補保持部１０５６、追尾点決定部１０５７、テンプレート保持部１０５８、および制御部１０５９により構成されている。

テンプレートマッチング部１０５１は、入力画像と、テンプレート保持部１０５８に保持されているテンプレート画像のマッチング処理を行う。動き推定部１０５２は、入力画像の動きを推定し、推定の結果得られた動きベクトルと、その動きベクトルの確度を、シーンチェンジ検出部１０５３、背景動き推定部１０５４、領域推定関連処理部１０５５、および追尾点決定部１０５７に出力する。シーンチェンジ検出部１０５３は、動き推定部１０５２より供給された確度に基づいて、シーンチェンジを検出する。

背景動き推定部１０５４は、動き推定部１０５２より供給された動きベクトルと確度に基づいて背景動きを推定する処理を実行し、推定結果を領域推定関連処理部１０５５に供給する。領域推定関連処理部１０５５は、動き推定部１０５２より供給された動きベクトルと確度、背景動き推定部１０５４より供給された背景動き、並びに追尾点決定部１０５７より供給された追尾点情報に基づいて、領域推定処理を行う。また、領域推定関連処理部１０５５は、入力された情報に基づいて乗り換え候補を生成し、乗り換え候補保持部１０５６へ供給し、保持させる。さらに、領域推定関連処理部１０５５は、入力画像に基づいてテンプレートを作成し、テンプレート保持部１０５８に供給し、保持させる。

追尾点決定部１０５７は、動き推定部１０５２より供給された動きベクトルと確度、並びに乗り換え候補保持部１０５６より供給された乗り換え候補に基づいて、追尾点を決定し、決定された追尾点に関する情報を領域推定関連処理部１０５５に出力する。

制御部１０５９は、追尾処理制御部７２からの設定情報（すなわち、追尾対象の位置情報）に基づいて、テンプレートマッチング部１０５１乃至テンプレート保持部１０５８の各部を制御して、設定された追尾対象を追尾させるとともに、追尾により求められた追尾点の画面上での位置の情報などの追尾結果を、追尾処理制御部７２に出力する。

次に、追尾処理部７１の動作について説明する。図３９は、図４のステップＳ２において、追尾処理部７１が実行する追尾処理の詳細を説明するフローチャートである。

図３９に示されるように、追尾処理部７１は、基本的に通常処理と例外処理を実行する。すなわち、ステップＳ１０５１で通常処理が行われる。この通常処理の詳細は、図４３を参照して後述するが、この処理により追尾処理制御部７２により設定された追尾対象の位置情報に基づく、追尾点を追尾する処理が実行される。

ステップＳ１０５１の通常処理において追尾点の乗り換えができなくなったとき、ステップＳ１０５２において、例外処理が実行される。この例外処理の詳細は、図５８のフローチャートを参照して後述するが、この例外処理により、追尾点が画像から見えなくなったとき、テンプレートマッチングにより通常処理への復帰処理が実行される。例外処理によって追尾処理を継続することができなくなった（通常処理へ復帰することができなくなった）と判定された場合には処理が終了されるが、テンプレートによる復帰処理の結果、通常処理への復帰が可能と判定された場合には、処理は再びステップＳ１０５１に戻る。このようにして、ステップＳ１０５１の通常処理とステップＳ１０５２の例外処理が、フレーム毎に順次繰り返し実行される。

図３８の追尾処理部７１においては、この通常処理と例外処理により、図４０乃至図４２に示されるように、追尾対象が回転したり、オクルージョンが発生したり、シーンチェンジが発生する等、追尾点が一時的に見えなくなった場合においても、追尾が可能となる。

すなわち、例えば、図４０に示されるように、フレームｎ−１には追尾対象（オブジェクト）としての人の顔１１０４が表示されており、この人の顔１１０４は、右目１１０２と左目１１０３を有している。ユーザが、このうちの、例えば右目１１０２（正確には、その中の１つの画素）を追尾点１１０１として指定したとする。図４０の例においては、次のフレームｎにおいて、人が図中左方向に移動しており、さらに次のフレームｎ＋１においては、人の顔１１０４が時計方向に回動している。その結果、今まで見えていた右目１１０２が表示されなくなり、いままでの方法では、追尾ができなくなる。そこで、上述したステップＳ１０５１の通常処理においては、右目１１０２と同一の対象物としての顔１１０４上の左目１１０３が選択され、追尾点が左目１１０３に乗り換えられる（設定される）。これにより追尾が可能となる。

図４１の表示例では、フレームｎ−１において、顔１１０４の図中左側からボール１１２１が移動してきて、次のフレームｎにおいては、ボール１１２１がちょうど顔１１０４を覆う状態となっている。この状態において、追尾点１１０１として指定されていた右目１１０２を含む顔１１０４が表示されていない。このようなオクルージョンが起きると、対象物としての顔１１０４が表示されていないので、追尾点１１０１に代えて追尾する乗り換え点もなくなり、以後、追尾点を追尾することが困難になる。しかし、本発明においては、追尾点１１０１としての右目１１０２をフレームｎ−１（実際には時間的にもっと前のフレーム）の画像がテンプレートとして予め保存されており、ボール１１２１がさらに右側に移動し、フレームｎ＋１において、追尾点１１０１として指定された右目１１０２が再び現れると、上述したステップＳ１０５２の例外処理により、追尾点１１０１としての右目１１０２が再び表示されたことが確認され、右目１１０２が再び追尾点１１０１として追尾されることになる。

図４２の例では、フレームｎ−１においては、顔１１０４が表示されているが、次のフレームｎにおいては、自動車１１１１が人の顔を含む全体を覆い隠している。すなわち、この場合、シーンチェンジが起きたことになる。本発明では、このようにシーンチェンジが起きて追尾点１１０１が画像から存在しなくなっても、自動車１１１１が移動して、フレームｎ＋１において再び右目１１０２が表示されると、ステップＳ１０５２の例外処理で、追尾点１１０１としての右目１１０２が再び出現したことがテンプレートに基づいて確認され、この右目１１０２を再び追尾点１１０１として追尾することが可能となる。

次に、図４３のフローチャートを参照して、図３９のステップＳ１０５１の通常処理の詳細について説明する。ステップＳ１１２１において、追尾点決定部１０５７により通常処理の初期化処理が実行される。その詳細は、図４４を参照して後述するが、この処理により、図４のステップＳ７またはＳ８で設定された追尾対象制御部７２からの設定情報に基づく、ユーザから追尾するように指定された追尾点を基準とする領域推定範囲が指定される。この領域推定範囲は、ユーザにより指定された追尾点と同一の対象物（例えば、追尾点が人の目である場合、目と同様の動きをする剛体としての人の顔、または人の体など）に属する点の範囲を推定する際に参照する範囲である。乗り換え点は、この領域推定範囲の中の点から選択される。

次に、ステップＳ１１２２において、制御部１０５９は、次のフレームの画像の入力を待機するように各部を制御する。ステップＳ１１２３において、動き推定部１０５２は、追尾点の動きを推定する。すなわち、追尾対象制御部７２からの設定情報に基づく、ユーザにより指定された追尾点を含むフレーム（前フレーム）より時間的に後のフレーム（後フレーム）をステップＳ１１２２の処理で取り込むことで、結局連続する２フレームの画像が得られたことになるので、ステップＳ１１２３において、前フレームの追尾点に対応する後フレームの追尾点の位置を推定することで、追尾点の動きが推定される。

なお、時間的に前とは、処理の順番（入力の順番）をいう。通常、撮像の順番に各フレームの画像が入力されるので、その場合、より時間的に前に撮像されたフレームが前フレームとなるが、時間的に後に撮像されたフレームが先に処理（入力）される場合には、時間的に後に撮像されたフレームが前フレームとなる。

ステップＳ１１２４において、動き推定部１０５２は、ステップＳ１１２３の処理の結果、追尾点が推定可能であったか否かを判定する。追尾点が推定可能であったか否かは、例えば、動き推定部１０５２が生成、出力する動きベクトル（後述）の確度の値を、予め設定されている閾値と比較することで判定される。具体的には、動きベクトルの確度が閾値以上であれば推定が可能であり、閾値より小さければ推定が不可能であると判定される。すなわち、ここにおける可能性は比較的厳格に判定され、実際には推定が不可能ではなくても確度が低い場合には、不可能と判定される。これにより、より確実な追尾処理が可能となる。

なお、ステップＳ１１２４では、追尾点での動き推定結果と追尾点の近傍の点での動き推定結果が、多数を占める動きと一致する場合には推定可能、一致しない場合には推定不可能と判定するようにすることも可能である。

追尾点の動きが推定可能であると判定された場合（追尾点が同一対象物上の対応する点上に正しく設定されている確率（右目１１０２が追尾点１１０１として指定された場合、右目１１０２が正しく追尾されている確率）が比較的高い場合）、ステップＳ１１２５に進み、追尾点決定部１０５７は、ステップＳ１１２３の処理で得られた推定動き（動きベクトル）の分だけ追尾点をシフトする。すなわち、これにより、前フレームの追尾点の追尾後の後フレームにおける追尾の位置が決定されることになる。ステップＳ１１２５において決定された追尾の位置情報は、追尾結果として、追尾処理制御部７２に出力される。

ステップＳ１１２５の処理の後、ステップＳ１１２６において、領域推定関連処理が実行される。この領域推定関連処理の詳細は、図４７を参照して後述するが、この処理により、ステップＳ１１２１の通常処理の初期化処理で指定された領域推定範囲が更新される。さらに、対象物体が回転するなどして、追尾点が表示されない状態になった場合に、追尾点を乗り換えるべき点としての乗り換え点としての候補（乗り換え候補）が、この状態（まだ追尾が可能な状態）において、予め抽出（作成）される。また、乗り換え候補への乗り換えもできなくなった場合、追尾は一旦中断されるが、再び追尾が可能になった（追尾点が再び出現した）ことを確認するために、テンプレートが予め作成される。

ステップＳ１１２６の領域推定関連処理が終了した後、処理は再びステップＳ１１２１に戻り、それ以降の処理が繰り返し実行される。

すなわち、図４のステップＳ７またはＳ８で設定された追尾対象制御部７２からの設定情報に基づく、通常処理の初期化処理が行われ、ユーザから指定された追尾点の動きが推定可能である限り、ステップＳ１１２１乃至ステップＳ１１２６の処理がフレーム毎に繰り返し実行され、追尾が行われることになる。

これに対して、ステップＳ１１２４において、追尾点の動きが推定可能ではない（不可能である）と判定された場合、すなわち、上述したように、例えば動きベクトルの確度が閾値以下であるような場合、処理はステップＳ１１２７に進む。ステップＳ１１２７において、追尾点決定部１０５７は、ステップＳ１１２６の領域推定関連処理で生成された乗り換え候補が乗り換え候補保持部１０５６に保持されているので、その中から、元の追尾点に最も近い乗り換え候補を１つ選択する。追尾点決定部１０５７は、ステップＳ１１２８で乗り換え候補が選択できたか否かを判定し、乗り換え候補が選択できた場合には、ステップＳ１１２９に進み、追尾点をステップＳ１１２７の処理で選択した乗り換え候補に乗り換える（変更する）。すなわち、乗り換え候補の点が新たな追尾点として設定される。その後、処理はステップＳ１１２３に戻り、乗り換え候補の中から選ばれた追尾点の動きを推定する処理が実行される。

ステップＳ１１２４において新たに設定された追尾点の動きが推定可能であるか否かが再び判定され、推定可能であれば、ステップＳ１１２５において追尾点を推定動き分だけシフトする処理が行われ、ステップＳ１１２６において、領域推定関連処理が実行される。その後、処理は再びステップＳ１１２１に戻り、それ以降の処理が繰り返し実行される。

ステップＳ１１２４において、新たに設定された追尾点も推定不可能であると判定された場合には、再びステップＳ１１２７に戻り、乗り換え候補の中から、元の追尾点に次に最も近い乗り換え候補が選択され、ステップＳ１１２９において、その乗り換え候補が新たな追尾点とされる。その新たな追尾点について、再びステップＳ１１２３以降の処理が繰り返される。

用意されているすべての乗り換え候補を新たな追尾点としても、追尾点の動きを推定することができなかった場合には、ステップＳ１１２８において、乗り換え候補が選択できなかったと判定され、この通常処理は終了される。そして、図３９のステップＳ１０５２の例外処理に処理が進むことになる。

次に、図４４のフローチャートを参照して、図４３のステップＳ１１２１の通常処理の初期化処理の詳細について説明する。

ステップＳ１１４１において、制御部１０５９は、今の処理は例外処理からの復帰の処理であるのか否かを判定する。すなわち、ステップＳ１０５２の例外処理を終了した後、再びステップＳ１０５１の通常処理に戻ってきたのか否かが判定される。最初のフレームの処理においては、まだステップＳ１０５２の例外処理は実行されていないので、例外処理からの復帰ではないと判定され、処理はステップＳ１１４２に進む。ステップＳ１１４２において、追尾点決定部１０５７は、追尾点を追尾点指示の位置に設定する処理を実行する。追尾点決定部１０５７は、設定した追尾点の情報を領域推定関連処理部１０５５に供給する。

ステップＳ１１４３において、領域推定関連処理部１０５５は、ステップＳ１１４２の処理で設定された追尾点の位置に基づき、領域推定範囲を設定する。この領域推定範囲は、追尾点と同じ剛体上の点を推定する際の参照範囲であり、予め追尾点と同じ剛体部分が領域推定範囲の大部分を占めるように、より具体的には、追尾点と同じ剛体部分に推定領域範囲の位置や大きさが追随するように設定することで、領域推定範囲の中で最も多数を占める動きを示す部分を追尾点と同じ剛体部分であると推定できるようにするためのものである。ステップＳ１１４３では初期値として、例えば、追尾点を中心とする予め設定された一定の範囲が領域推定範囲とされる。

その後処理は、図４３のステップＳ１１２２に進むことになる。

一方、ステップＳ１１４１において、現在の処理が、ステップＳ１０５２の例外処理からの復帰の処理であると判定された場合、ステップＳ１１４４に進み、追尾点決定部１０５７は、後述する図５８を参照して後述する例外処理により、テンプレートにマッチした位置に基づき追尾点と領域推定範囲を設定する。例えば、テンプレート上の追尾点とマッチした現フレーム上の点が追尾点とされ、その点から予め設定されている一定の範囲が領域推定範囲とされる。その後、処理は図４３のステップＳ１１２２に進む。

以上の処理を、図４５を参照して説明すると次のようになる。すなわち、図４４のステップＳ１１４２において、例えば、図４５に示されるように、フレームｎ−１の人の目１０２が追尾点１１０１として指定されると、ステップＳ１１４３において、追尾点１１０１を含む所定の領域が領域推定範囲１１３３として指定される。ステップＳ１１２４において、領域推定範囲１１３３の範囲内のサンプル点が次のフレームにおいて推定可能であるか否かが判定される。図４５の例の場合、フレームｎの次のフレームｎ＋１においては、領域推定範囲１１３３のうち、左目１１０２を含む図中左側半分の領域１１３４がボール１１２１で隠されているため、フレームｎの追尾点１１０１の動きを、次のフレームｎ＋１において推定することができない。そこで、このような場合においては、時間的に前のフレームｎ−１で乗り換え候補として予め用意されていた領域指定範囲１１３３内（右目１１０２を含む剛体としての顔１１０４内）の点の中から１つの点（例えば、顔１１０４に含まれる左目１１０３（正確には、その中の１つの画素））が選択され、その点がフレームｎ＋１における、追尾点とされる。

領域推定関連処理部１０５５は、図４３のステップＳ１１２６における領域推定関連処理を実行するために、図４６に示されるような構成を有している。すなわち、領域推定関連処理部１０５５の領域推定部１１６１には、動き推定部１０５２より動きベクトルと確度が入力され、背景動き推定部１０５４より背景動きが入力され、そして追尾点決定部１０５７より追尾点の位置情報が入力される。乗り換え候補抽出部１１６２には、動き推定部１０５２より動きベクトルと確度が供給される他、領域推定部１１６１の出力が供給される。テンプレート作成部１１６３には、入力画像が入力される他、領域推定部１１６１の出力が入力される。

領域推定部１１６１は、入力に基づいて、追尾点を含む剛体の領域を推定し、推定結果を乗り換え候補抽出部１１６２とテンプレート作成部１１６３に出力する。乗り換え候補抽出部１１６２は入力に基づき乗り換え候補を抽出し、抽出した乗り換え候補を乗り換え候補保持部１０５６へ供給する。テンプレート作成部１１６３は入力に基づきテンプレートを作成し、作成したテンプレートをテンプレート保持部１０５８へ供給する。

図４７は、領域推定関連処理部１０５５により実行される領域推定関連処理（図４３のステップＳ１１２６の処理）の詳細を表している。最初にステップＳ１１６１において、領域推定部１１６１により領域推定処理が実行される。その詳細は、図４８を参照して後述するが、この処理により、追尾点が属する対象と同一の対象（追尾点と同期した動きをする剛体）に属すると推定される画像上の領域の点が領域推定範囲の点として抽出される。

ステップＳ１１６２において、乗り換え候補抽出部１１６２により乗り換え候補抽出処理が実行される。その処理の詳細は、図５３を参照して後述するが、領域推定部１１６１により領域推定範囲として推定された範囲の点から乗り換え候補の点が抽出され、乗り換え候補保持部１０５６に保持される。

ステップＳ１１６３においてテンプレート作成部１１６３によりテンプレート作成処理が実行される。その詳細は、図５４を参照して後述するが、この処理によりテンプレートが作成される。

次に、図４８のフローチャートを参照して、図４７のステップＳ１１６１の領域推定処理の詳細について説明する。

最初に、ステップＳ１１８１において、領域推定部１１６１は、追尾点と同一の対象に属すると推定される点の候補の点としてのサンプル点を決定する。

このサンプル点は、例えば図４９に示されるように、図中、白い四角形で示されるフレームの全画面における画素のうち、固定された基準点１２０１を基準として、水平方向および垂直方向に、所定の画素数ずつ離れた位置の画素をサンプル点（図中、黒い四角形で表されている）とすることができる。図４９の例においては、各フレームの左上の画素が基準点１２０１とされ（図中基準点１２０１は×印で示されている）、水平方向に５個、並びに垂直方向に５個ずつ離れた位置の画素がサンプル点とされる。すなわち、この例の場合、全画面中に分散した位置の画素がサンプル点とされる。また、この例の場合、基準点は、各フレームｎ，ｎ＋１において固定された同一の位置の点とされる。

なお、基準点１２０１は、各フレームｎ，ｎ＋１毎に異なる位置の点となるように、動的に変化させることもできる。

また、図４９の例においては、サンプル点の間隔が各フレームにおいて固定された値とされているが、フレーム毎にサンプル点の間隔を、例えば、フレームｎにおいては５画素、フレームｎ＋１においては８画素と可変とすることもできる。このときの間隔の基準としては、追尾点と同一の対象に属すると推定される領域の面積を用いることができる。具体的には、領域推定範囲の面積が狭くなれば間隔も短くなる。

あるいはまた、１つのフレーム内においてサンプル点の間隔を可変とすることもできる。このときの間隔の基準としては、追尾点からの距離を用いることができる。すなわち、追尾点に近いサンプル点ほど間隔が小さく、追尾点から遠くなるほど間隔が大きくなる。

以上のようにしてサンプル点が決定されると、次にステップＳ１１８２において、領域推定部１１６１は、領域推定範囲（図４４のステップＳ１１４３，Ｓ１１４４の処理、または、後述する図５０のステップＳ１２０６，Ｓ１２０８の処理で決定されている）内のサンプル点の動きを推定する処理を実行する。すなわち、領域推定部１１６１は、動き推定部１０５２より供給された動きベクトルに基づいて、領域推定範囲内のサンプル点に対応する次のフレームの対応する点を抽出する。

ステップＳ１１８３において、領域推定部１１６１は、ステップＳ１１８２の処理で推定したサンプル点のうち、確度が予め設定されている閾値より低い動きベクトルに基づく点を対象外とする処理を実行する。この処理に必要な動きベクトルの確度は、動き推定部１０５２より供給される。これにより、領域推定範囲内のサンプル点のうち、確度が高い動きベクトルに基づいて推定された点だけが抽出される。

ステップＳ１１８４において、領域推定部１１６１は、領域推定範囲内の動き推定結果での全画面動きを抽出する。全画面動きとは、同一の動きに対応する領域を考え、その面積が最大となる動きのことを意味する。具体的には、各サンプル点の動きに、そのサンプル点におけるサンプル点間隔に比例する重みを付けて動きのヒストグラムを生成し、この重み付け頻度が最大となる１つの動き（１つの動きベクトル）が全画面動きとして抽出される。なお、ヒストグラムを生成する場合、例えば、動きの代表値を画素精度で準備し、画素精度で１個となる値を持つ動きについてもヒストグラムへの加算を行うようにすることもできる。

ステップＳ１１８５において、領域推定部１１６１は、全画面動きを持つ領域推定範囲内のサンプル点を領域推定の結果として抽出する。この場合における全画面動きを持つサンプル点としては、全画面動きと同一の動きを持つサンプル点はもちろんのこと、全画面動きとの動きの差が予め設定されている所定の閾値以下である場合には、そのサンプル点もここにおける全画面動きを持つサンプル点とすることも可能である。

このようにして、ステップＳ１１４３，Ｓ１１４４，Ｓ１２０６，Ｓ１２０８の処理で決定された領域推定範囲内のサンプル点のうち、全画面動きを有するサンプル点が、追尾点と同一対象に属すると推定される点として最終的に抽出（生成）される。

次に、ステップＳ１１８６において、領域推定部１１６１は、領域推定範囲の更新処理を実行する。その後、処理は、図４３のステップＳ１２２に進む。

図５０は、図４８のステップＳ１１８６の領域推定範囲の更新処理の詳細を表している。ステップＳ１２０１において、領域推定部１１６１は、領域の重心を算出する。この領域とは、図４８のステップＳ１１８５の処理で抽出されたサンプル点で構成される領域（追尾点と同一対象に属すると推定される点で構成される領域）を意味する。すなわち、この領域には１つの動きベクトル（全画面動き）が対応している。例えば、図５１Ａに示されるように、図中白い四角形で示されるサンプル点のうち、領域推定範囲１２２１内のサンプル点の中から、図４８のステップＳ１１８５の処理で全画面動きを持つサンプル点として、図５１Ａにおいて黒い四角形で示されるサンプル点が抽出され、そのサンプル点で構成される領域が、領域１２２２として抽出（推定）される。そして、領域１２２２の重心１２２４がさらに算出される。具体的には、各サンプル点にサンプル点間隔の重みを付けたサンプル点重心が領域の重心として求められる。この処理は、現フレームにおける領域の位置を求めるという意味を有する。

次にステップＳ２０２において、領域推定部１１６１は、領域の重心を全画面動きによりシフトする処理を実行する。この処理は、領域推定範囲１２２１を領域の位置の動きに追従させ、次フレームにおける推定位置に移動させるという意味を有する。図５１Ｂに示されるように、現フレームにおける追尾点１２２３が、その動きベクトル１２３８に基づいて次フレームにおいて追尾点１２３３として出現する場合、全画面動きベクトル１２３０が、追尾点の動きベクトル１２３８にほぼ対応しているので、現フレームにおける重心１２２４を動きベクトル１２３０（全画面動き）に基づいてシフトすることで、追尾点１２３３と同一のフレーム（次フレーム）上の点１２３４が求められる。この点１２３４を中心として領域推定範囲１２３１を設定すれば、領域推定範囲１２２１を領域１２２２の位置の動きに追従させて、次のフレームにおける推定位置に移動させることになる。

ステップＳ１２０３において、領域推定部１１６１は、領域推定結果に基づき、次の領域推定範囲の大きさを決定する。具体的には、領域と推定された全てのサンプル点に関するサンプル点の間隔（図５１Ａにおける領域１２２２の中の黒い四角形で示される点の間隔）の２乗和を領域１２２２の面積と見なし、この面積よりも少し大きめの大きさとなるように、次フレームにおける領域推定範囲１２３１の大きさが決定される。すなわち、領域推定範囲１２３１の大きさは、領域１２２２の中のサンプル点の数が多ければ広くなり、少なければ狭くなる。このようにすることで、領域１２２２の拡大縮小に追従することができるばかりでなく、領域推定範囲１２２１内の全画面領域が追尾対象の周辺領域となるのを防ぐことができる。

図４８のステップＳ１１８４で抽出された全画面動きが、背景動きと一致する場合には、動きにより背景と追尾対象を区別することができない。そこで、背景動き推定部１０５４は背景動き推定処理を常に行っており、ステップＳ１２０４において、領域推定部１１６１は、背景動き推定部１０５４より供給される背景動きと、図４８のステップＳ１１８４の処理で抽出された全画面動きとが一致するか否かを判定する。全画面動きと背景動きが一致する場合には、ステップＳ１２０５において、領域推定部１１６１は、次の領域推定範囲の大きさを、今の領域推定範囲の大きさが最大となるように制限する。これにより、背景が追尾対象として誤認識され、領域推定範囲の大きさが拡大してしまうようなことが抑制される。

ステップＳ１２０４において、全画面動きと背景動きが一致しないと判定された場合には、ステップＳ１２０５の処理は必要がないのでスキップされる。

次に、ステップＳ１２０６において、領域推定部１１６１は、シフト後の領域重心を中心として次の領域推定範囲の大きさを決定する。これにより、領域推定範囲が、その重心が既に求めたシフト後の領域重心と一致し、かつ、その大きさが領域の広さに比例するように決定される。

図５１Ｂの例では、領域推定範囲１２３１が、動きベクトル（全画面動き）１２３０に基づくシフト後の重心１２３４を中心として、領域１２２２の面積に応じた広さに決定されている。

領域推定範囲１２３１内での全画面動きを有する領域が追尾対象（例えば、図４５の顔１１０４）の領域であることを担保する（確実にする）必要がある。そこで、ステップＳ１２０７において、領域推定部１１６１は、追尾点が次の領域推定範囲に含まれるか否かを判定し、含まれていない場合には、ステップＳ１２０８において、追尾点を含むように次の領域推定範囲をシフトする処理を実行する。追尾点が次の領域推定範囲に含まれている場合には、ステップＳ１２０８の処理は必要がないのでスキップされる。

この場合における具体的なシフトの方法としては、移動距離が最小となるようにする方法、シフト前の領域推定範囲の重心から追尾点に向かうベクトルに沿って追尾点が含まれるようになる最小距離だけ移動する方法などが考えられる。

なお、追尾のロバスト性を重視するために、領域に追尾点を含むようにするためのシフトを行わない方法も考えられる。

図５１Ｃの例においては、領域推定範囲１２３１が追尾点１２３３を含んでいないので、領域推定範囲１２４１として示される位置（追尾点１２３３をその左上に含む位置）に領域推定範囲１２４１がシフトされる。

図５１Ａ乃至図５１Ｃは、ステップＳ１２０８のシフト処理が必要な場合を示しているが、図５２Ａ乃至図５２Ｃは、ステップＳ１２０８のシフト処理が必要でない場合（ステップＳ１２０７において追尾点が次の領域推定範囲に含まれると判定された場合）の例を表している。

図５２Ａ乃至図５２Ｃに示されるように、領域推定範囲１２２１内のすべてのサンプル点が領域の点である場合には、図５０のステップＳ１２０８のシフト処理が必要なくなることになる。

図５１Ａ乃至図５１Ｃと図５２Ａ乃至図５２Ｃは、領域推定範囲が矩形である例を示したが、領域推定範囲は円形とすることも可能である。

以上のようにして、図５０（図４８のステップＳ１１８６）の領域推定範囲の更新処理により、次フレームのための領域推定範囲の位置と大きさが追尾点を含むように決定される。

図５０の領域推定範囲の更新処理においては、領域推定範囲を矩形（または円形）の固定形状としたが、可変形状とすることも可能である。

次に図４７のステップＳ１１６２における乗り換え候補抽出処理について、図５３のフローチャートを参照して説明する。

ステップＳ１２６１において、乗り換え候補抽出部１１６２は、全画面動きの領域と推定されたすべての点につき、それぞれに対応する推定動きでの点のシフト結果を乗り換え候補として保持する。すなわち、領域推定結果として得られた点をそのまま用いるのではなく、それらを次のフレームでの使用のために、それぞれの動き推定結果に基づきシフトされた結果を抽出する処理が行われ、その抽出された乗り換え候補が、乗り換え候保持部５６に供給され、保持される。

この処理を、図４５を参照して説明すると、次のようになる。すなわち、図４５の例において、フレームｎ−１，ｎでは追尾点１１０１が存在するが、フレームｎ＋１においては、図中左側から飛んできたボール１１２１により隠されてしまい、追尾点１１０１が存在しない。そこでフレームｎ＋１において、追尾点を追尾対象としての顔１１０４上の他の点（例えば、左目１１０３（実際には右目１１０２にもっと近接した点））に乗り換える必要が生じる。そこで、乗り換えが実際に必要になる前のフレームで、乗り換え候補を予め用意しておくのである。

具体的には、図４５の例の場合、フレームｎからフレームｎ＋１への領域推定範囲１１３３内での動き推定結果は、領域推定範囲１１３３において乗り換えが必要なことから、正しく推定できない確率が高いことが予想される。すなわち、図４５の例では、乗り換えが追尾点と、それと同一の対象物の一部が隠れることに起因して起きる。その結果、フレームｎでの領域推定範囲１１３３のうち、フレームｎ＋１で対象が隠れる部分（図４５において影を付した部分）１１３４については、動きが正しく推定されず、動きの確度が低いことが推定されるか、または確度が低くないと推定され、かつ、動き推定結果としては意味のないものが得られることになる。

このような場合には、領域推定の際に用いることが可能な動き推定結果が減少する、あるいは誤った動き推定結果が混入するなどの理由で、領域推定が誤る可能性が高まる。一方、このような可能性は、一般的に、より時間的に前のフレームｎ−１からフレームｎの間での領域推定においては、フレームｎからフレームｎ＋１での間での推定に比較して低くなることが予想される。

そこで、リスク低減のため、領域推定結果をそのまま用いるのではなく、前のフレームｎ−１（あるいは、時間的にもっと前のフレーム）で求めた領域推定結果を、その次のフレームでの移動先の乗り換え候補として用いるのが性能向上の上で望ましい。

ただし、領域推定結果をそのまま用いることも可能である。

図５４は、図４７のステップＳ１１６３におけるテンプレート作成処理の詳細を表している。ステップＳ１２８１においてテンプレート作成部１１６３は、領域（全画面動きの領域）と推定されたすべての点につき、それぞれに対応する小領域を決定する。図５５の例においては、領域の点１３２１に対応して小領域１３２２が決定されている。

ステップＳ１２８２において、テンプレート作成部１１６３は、ステップＳ１２８１の処理で決定された小領域の和の領域をテンプレート範囲に設定する。図５５の例においては、小領域１３２２の和の領域がテンプレート範囲１３３１とされている。

次にステップＳ１２８３において、テンプレート作成部１１６３は、ステップＳ１２８２において設定したテンプレート範囲の情報と画像情報からテンプレートを作成し、テンプレート保持部１０５８に供給し、保持させる。具体的には、テンプレート範囲１３３１内の画素データがテンプレートとされる。

図５６は、領域の点１３２１に対応する小領域１３４１が、図５５における小領域１３２２に較べてより大きな面積とされている。その結果、小領域１３４１の和の領域のテンプレート範囲１３５１も、図５５のテンプレート範囲１３３１に較べてより広くなっている。

小領域の大きさは、サンプル点の間隔に比例させることが考えられるが、その際の比例定数は、面積がサンプル点間隔の自乗になるように決めることもできるし、それより大きくまたは小さく決めることも可能である。

なお、領域推定結果を用いず、例えば追尾点を中心とする固定の大きさや形状の範囲をテンプレート範囲として用いることも可能である。

図５７は、テンプレートと領域推定範囲の位置関係を表している。テンプレート範囲１４０３には、追尾点１４０５が含まれている。テンプレート範囲１４０３に外接する外接矩形１４０１の図中左上の点がテンプレート基準点１４０４とされている。テンプレート基準点１４０４から追尾点１４０５に向かうベクトル１４０６、並びにテンプレート基準点１４０４から領域推定範囲１４０２の図中左上の基準点１４０８に向かうベクトル１４０７が、テンプレート範囲１４０３の情報とされる。テンプレートは、テンプレート範囲１４０３に含まれる画素で構成される。ベクトル１４０６，１４０７は、テンプレートと同じ画像が検出された際の通常処理への復帰に用いられる。

以上の処理においては、乗り換え候補の場合と異なり、範囲、画素ともに、現フレームに対応するものをテンプレートとする例を説明したが、乗り換え候補の場合と同様に、次フレームでの移動先をテンプレートとして用いることも可能である。

以上のようにして、追尾点を含む画素データからなるテンプレートが乗り換え候補と同様に、通常処理中に、予め作成される。

以上に説明した図３９のステップＳ１０５１の通常処理に続いて行われるステップＳ１０５２の例外処理の詳細について、図５８のフローチャートを参照して説明する。この処理は、上述したように、図４３のステップＳ１１２４において追尾点の動きを推定することが不可能と判定され、さらにステップＳ１１２８において追尾点を乗り換える乗り換え候補が選択できなかったと判定された場合に実行されることになる。

ステップＳ１４０１において、制御部１０５９は、例外処理の初期化処理を実行する。この処理の詳細は図５９のフローチャートに示されている。

ステップＳ１４２１において、制御部１０５９は、追尾点の追尾ができなくなった際（追尾点の動きを推定することが不可能かつ、追尾点を乗り換える乗り換え候補が選択できなかった際）にシーンチェンジが起きていたか否かを判定する。シーンチェンジ検出部１０５３は、動き推定部１０５２の推定結果に基づいてシーンチェンがあったか否かを常に監視しており、制御部１０５９は、そのシーンチェンジ検出部１０５３の検出結果に基づいて、ステップＳ１４２１の判定を実行する。シーンチェンジ検出部１０５３の具体的処理については、図７１と図７２を参照して後述する。

シーンチェンジが起きている場合、追尾ができなくなった理由が、シーンチェンジが発生したことによるものと推定して、ステップＳ１４２２において制御部１０５９は、モードをシーンチェンジに設定する。これに対して、ステップＳ１４２１においてシーンチェンジが発生していないと判定された場合には、制御部１０５９は、ステップＳ１４２３においてモードをその他のモードに設定する。

ステップＳ１４２２またはステップＳ１４２３の処理の後、ステップＳ１４２４においてテンプレートマッチング部１０５１は、時間的に最も古いテンプレートを選択する処理を実行する。具体的には、図６０に示されるように、例えばフレームｎからフレームｎ＋１に移行するとき、例外処理が実行されるものとすると、フレームｎ−ｍ＋１からフレームｎに関して生成され、テンプレート保持部１０５８に保持されているｍ個のフレームのテンプレートの中から、時間的に最も古いテンプレートであるフレームｎ−ｍ＋１に関して生成されたテンプレートが選択される。

このように例外処理への移行直前のテンプレート（図６０の例の場合フレームｎに関して生成されたテンプレート）を用いずに、時間的に少し前のテンプレートを選択するのは、追尾対象のオクルージョンなどで例外処理への移行が発生した場合には、移行の直前には追尾対象が既にかなり隠れており、その時点のテンプレートでは、追尾対象を充分に大きく捉えることができない可能性が高いからである。従って、このように時間的に若干前のフレームにおけるテンプレートを選択することで、確実な追尾が可能となる。

次に、ステップＳ１４２５において、テンプレートマッチング部１０５１は、テンプレート探索範囲を設定する処理を実行する。テンプレート探索範囲は、例えば、例外処理に移行する直前の追尾点の位置がテンプレート探索範囲の中心となるように設定される。

すなわち、図６１に示されるように、フレームｎにおいて被写体の顔１１０４の右目１１０２が追尾点１１０１として指定されている場合において、図中左方向からボール１１２１が飛んできて、フレームｎ＋１において追尾点１１０１を含む顔１１０４が隠れ、フレームｎ＋２において、再び追尾点１１０１が現れる場合を想定する。この場合において、追尾点１１０１（テンプレート範囲１４１１に含まれる）を中心とする領域がテンプレート探索範囲１４１２として設定される。

ステップＳ１４２６において、テンプレートマッチング部１０５１は、例外処理への移行後の経過フレーム数およびシーンチェンジ数を０にリセットする。このフレーム数とシーンチェンジ数は、後述する図５８のステップＳ１４０５における継続判定処理（図６３のステップＳ１４６１，Ｓ１４６３，Ｓ１４６５，Ｓ１４６７）において使用される。

以上のようにして、例外処理の初期化処理が終了した後、図５８のステップＳ１４０２において、制御部１０５９は次のフレームを待つ処理を実行する。ステップＳ１４０３において、テンプレートマッチング部１０５１は、テンプレート探索範囲内においてテンプレートマッチング処理を行う。ステップＳ１４０４においてテンプレートマッチング部１０５１は、通常処理への復帰が可能であるか否かを判定する。

具体的には、テンプレートマッチング処理により、数フレーム前のテンプレート（図６１のテンプレート範囲１４１１内の画素）と、テンプレート探索範囲内のマッチング対象の画素の差分の絶対値和が演算される。より詳細には、テンプレート範囲１４１１内の所定のブロックと、テンプレート探索範囲内の所定のブロックにおけるそれぞれの画素の差分の絶対値和が演算される。ブロックの位置がテンプレート範囲１４１１内で順次移動され、各ブロックの差分の絶対値和が加算され、そのテンプレートの位置における値とされる。そして、テンプレートをテンプレート探索範囲内で順次移動させた場合における差分の絶対値和が最も小さくなる位置とその値が検索される。ステップＳ１４０４において、最小の差分の絶対値和が、予め設定されている所定の閾値と比較される。差分の絶対値和が閾値以下である場合には、追尾点（テンプレートに含まれている）を含む画像が再び出現したことになるので、通常処理への復帰が可能であると判定され、処理は図３９のステップＳ１０５１の通常処理に戻る。

そして上述したように、図４４のステップＳ１１４１において、例外処理からの復帰であると判定され、ステップＳ１１４４において、差分絶対値和が最小となる位置をテンプレートのマッチした位置として、このマッチした位置とテンプレートに対応して保持してあったテンプレート位置と追尾点領域推定範囲の位置関係から、追尾点と領域推定範囲の設定が行われる。すなわち、図５７を参照して上述したように、追尾点１４０５を基準とするベクトル１４０６，１４０７に基づいて、領域推定範囲１４０２が設定される。

ただし、図４７のステップＳ１１６１の領域推定処理において、領域推定範囲を用いない手法を用いる場合には、領域推定範囲の設定は行われない。

図５８のステップＳ１４０４における通常処理への復帰が可能であるか否かの判定は、最小の差分絶対値和をテンプレートのアクティビティで除算して得られる値を閾値と比較することで行うようにしてもよい。この場合におけるアクティビティは、後述する図６４のアクティビティ算出部１６０２により、図６５のステップＳ１６０３において算出された値を用いることができる。

あるいはまた、今回の最小の差分絶対値和を１フレーム前における最小の差分絶対値和で除算することで得られた値を所定の閾値と比較することで、通常処理への復帰が可能であるか否かを判定するようにしてもよい。この場合、アクティビティの計算が不要となる。すなわち、ステップＳ１４０４では、テンプレートとテンプレート探索範囲の相関が演算され、相関値と閾値の比較に基づいて判定が行われる。

ステップＳ１４０４において、通常処理への復帰が可能ではないと判定された場合、ステップＳ１４０５に進み、継続判定処理が実行される。継続判定処理の詳細は、図６３のフローチャートを参照して後述するが、これにより、例外処理が継続可能であるか否かの判定が行われる。

ステップＳ１４０６において、制御部１０５９は、例外処理（例外処理での追尾点の追尾）が継続可能であるか否かを継続判定処理の結果に基づいて（後述する図６３のステップＳ１４６６，Ｓ１４６８で設定されたフラグに基づいて）判定する。例外処理が継続可能である場合には、処理はステップＳ１４０２に戻り、それ以降の処理が繰り返し実行される。すなわち、追尾点が再び出現するまで待機する処理が繰り返し実行される。

これに対して、ステップＳ１４０６において、例外処理が継続可能ではないと判定された場合（後述する図６３のステップＳ１４６５で、追尾点が消失した後の経過フレーム数が閾値THfr以上と判定されるか、または、ステップＳ１４６７でシーンチェンジ数が閾値THsc以上と判定された場合）、最早、例外処理は不可能として、追尾処理は終了される。なお、追尾処理を終了するのではなく、保持しておいた追尾点を用いて再度通常処理に戻るようにすることも考えられる。この場合の例外処理は、図６２に示されている。なお、図６２のステップＳ１４４１乃至Ｓ１４４５の処理は、図５８のステップＳ１４０１乃至Ｓ１４０５と同様の処理であるので、その説明を省略する。

すなわち、ステップＳ１４４５の継続判定処理により、例外処理が継続可能であるか否かの判定が行われると、その後、ステップＳ１４４６において、制御部１０５９は、例外処理（例外処理での追尾点の追尾）が継続可能であるか否かを継続判定処理の結果に基づいて（後述する図６３のステップＳ１４６６，Ｓ１４６８で設定されたフラグに基づいて）判定する。例外処理が継続可能である場合には、処理はステップＳ１４４２に戻り、それ以降の処理が繰り返し実行される。すなわち、追尾点が再び出現するまで待機する処理が繰り返し実行される。

これに対して、ステップＳ１４４６において、例外処理が継続可能ではないと判定された場合（後述する図６３のステップＳ１４６５で、追尾点が消失した後の経過フレーム数が閾値THfr以上と判定されるか、または、ステップＳ１４６７でシーンチェンジ数が閾値THsc以上と判定された場合）、最早、例外処理は不可能として、処理は図３９のステップＳ１０５１の通常処理に戻る。

そして、この場合、上述したように、図４４のステップＳ１１４１において、例外処理からの復帰であると判定され、ステップＳ１１４４において、保持しておいた例外処理に移行する直前の追尾点の位置に基づき、追尾点と領域推定範囲が設定される。

図６３は、図５８のステップＳ１４０５（または図６２のステップＳ１４４５）における継続判定処理の詳細を表している。ステップＳ１４６１において、制御部１０５９は、変数としての経過フレーム数に１を加算する処理を実行する。経過フレーム数は、図５８のステップＳ１４０１の例外処理の初期化処理（図５９のステップＳ１４２６）において、予め０にリセットされている。

次にステップＳ１４６２において、制御部１０５９は、シーンチェンジがあるか否かを判定する。シーンチェンジがあるか否かは、シーンチェンジ検出部１０５３が、常にその検出処理を実行しており、その検出結果に基づいて判定が可能である。シーンチェンジがある場合には、ステップＳ１４６３に進み、制御部１０５９は変数としてのシーンチェンジ数に１を加算する。このシーンチェンジ数も、図５９のステップＳ１４２６の初期化処理において０にリセットされている。通常処理から例外処理への移行時にシーンチェンジが発生していない場合には、ステップＳ１４６３の処理はスキップされる。

次に、ステップＳ１４６４において、制御部１０５９は、現在設定されているモードがシーンチェンジであるか否かを判定する。このモードは、図５９のステップＳ１４２２，Ｓ１４２３において設定されたものである。現在設定されているモードがシーンチェンジである場合には、ステップＳ１４６７に進み、制御部１０５９は、シーンチェンジ数が予め設定されている閾値THscより小さいか否かを判定する。シーンチェンジ数が閾値THscより小さい場合には、ステップＳ１４６６に進み、制御部１０５９は継続可のフラグを設定し、シーンチェンジ数が閾値THsc以上である場合には、ステップＳ１４６８に進み、継続不可のフラグを設定する。

一方、ステップＳ１４６４において、モードがシーンチェンジではないと判定された場合（モードがその他であると判定された場合）、ステップＳ１４６５に進み、制御部１０５９は、経過フレーム数が閾値THfrより小さいか否かを判定する。この経過フレーム数も、図５９の例外処理の初期化処理のステップＳ１４２６において、予め０にリセットされている。経過フレーム数が閾値THfrより小さいと判定された場合には、ステップＳ１４６６において、継続可のフラグが設定され、経過フレーム数が閾値THfr以上であると判定された場合には、ステップＳ１４６８において、継続不可のフラグが設定される。

このように、テンプレートマッチング処理時におけるシーンチェンジ数が閾値THsc以上になるか、または経過フレーム数が閾値THfr以上になった場合には、それ以上の例外処理は不可能とされる。

なお、モードがその他である場合には、シーンチェンジ数が０であるという条件も加えて、継続が可能であるか否かを判定するようにしてもよい。

以上においては、画像のフレームを処理単位とし、すべてのフレームを用いることを前提としたが、フィールド単位で処理したり、すべてのフレームまたはフィールドを利用するのではなく、所定の間隔で間引いて抽出されたフレームまたはフィールドを用いるようにすることも可能である。

また、以上においては、乗り換え候補として、推定した領域内の点の移動先を用いるようにしたが、この場合、全画面動きが（０，０）であったとしても、領域内の各点が、（−１，１）、（１，０）等の動きを持っているときは、それぞれの動きの分だけシフトされる。移動先の点をそのまま乗り換え候補として用いるのではなく、予め求められたサンプル点のうち、最も近い点を乗り換え候補とすることも可能である。勿論、処理負荷軽減のため、各点を、全画面動きの分だけシフトしてもよい。

さらに、乗り換え候補として、推定した領域内の点の移動先を用いるのではなく、領域内の点をそのまま用いるようにすることも可能である。

次に、図６４を参照して、図３８の動き推定部１０５２の構成例について説明する。この実施の形態においては、入力画像が、評価値算出部１６０１、アクティビティ算出部１６０２、および動きベクトル検出部１６０６に供給されている。評価値算出部１６０１は、動きベクトルにより対応付けられる両対象の一致度に関する評価値を算出し、正規化処理部１６０４に供給する。アクティビティ算出部１６０２は、入力画像のアクティビティを算出し、閾値判定部１６０３と正規化処理部１６０４に供給する。動きベクトル検出部１６０６は、入力画像から動きベクトルを検出し、評価値算出部１６０１と統合処理部１６０５に供給する。

正規化処理部１６０４は、評価値算出部１６０１より供給された評価値を、アクティビティ算出部１６０２より供給されたアクティビティに基づいて正規化し、得られた値を統合処理部１６０５に供給する。閾値判定部１６０３は、アクティビティ算出部１６０２より供給されたアクティビティを所定の閾値と比較し、その判定結果を統合処理部１６０５に供給する。統合処理部１６０５は、正規化処理部１６０４から供給された正規化情報と、閾値判定部１６０３より供給された判定結果に基づいて、動きベクトルの確度を演算し、得られた確度を動きベクトル検出部１６０６より供給された動きベクトルとともに出力する。

次に、図６５のフローチャートを参照して、動き推定部１０５２の動き推定処理について説明する。動きベクトルは、点に対するものとして求められているが、その確度は、動きベクトルにより対応付けられる２つの点の近傍の、例えば点を中心とする、小ブロックの画像データを用いて計算される。ステップＳ１６０１において、動きベクトル検出部１１６０６は、入力画像から動きベクトルを検出する。この検出には、例えばブロックマッチング方式や勾配法が用いられる。検出された動きベクトルは、評価値算出部１６０１と統合処理部１６０５に供給される。

ステップＳ１６０２において、評価値算出部１６０１は評価値を算出する。具体的には、例えば、動きベクトルで対応付けられる２つの点を中心とする２つのブロックの画素値の差分絶対値和が算出される。すなわち、ステップＳ１６０１で動きベクトル検出部１６０６により検出された動きベクトルＶ（ｖｘ，ｖｙ）と、それに基づく時間的に前のフレームの画像Ｆｉ上の点Ｐ（Ｘｐ，Ｙｐ）、並びに時間的に後のフレームの画像Ｆｊ上の点Ｑ（Ｘｑ，Ｙｑ）の関係は次式で表される。

評価値算出部１６０１は点Ｐを中心とするブロックと、点Ｑを中心とするブロックについて、次式に基づいて評価値Ｅｖａｌ（Ｐ，Ｑ，ｉ，ｊ）を演算する。

各ブロックは、１辺が２Ｌ＋１画素の正方形とされている。上記式における総和ΣΣは、ｘが−ＬからＬについて、ｙが−ＬからＬについて、対応する画素同士で行われる。従って、例えば、Ｌ＝２である場合、９個の差分が得られ、その絶対値の総和が演算される。評価値は、その値が０に近づくほど、２つのブロックがよく一致していることを表している。

評価値算出部１６０１は、生成した評価値を正規化処理部１６０４に供給する。

ステップＳ１６０３において、アクティビティ算出部１６０２は、入力画像からアクティビティを算出する。アクティビティは、画像の複雑さを表す特徴量であり、図６６に示されるように、各画素毎に注目画素Ｙ（ｘ，ｙ）と、それに隣接する８画素Ｙ（ｘ＋ｉ，ｙ＋ｊ）との差分絶対値和の平均値が、注目画素位置のアクティビティActivity(x,y)として次式に基づいて演算される。

図６６の例の場合、３×３画素のうち、中央に位置する注目画素Ｙ（ｘ，ｙ）の値は１１０であり、それに隣接する８個の画素の値は、それぞれ８０，７０，７５，１００，１００，１００，８０，８０であるから、アクティビティActivity(x,y)は次式で表される。

Activity(x,y) ＝｛｜８０−１１０｜＋｜７０−１１０｜＋｜７５−１１０｜＋｜１００−１１０｜＋｜１００−１１０｜＋｜１００−１１０｜＋｜８０−１１０｜＋｜８０−１１０｜｝／８ ＝２４．３７５となる。

同様の処理が、そのフレームのすべての画素について実行される。

ブロック単位で動きベクトル確度を算出するため、次式で表されるブロック内の全画素のアクティビティの総和が、そのブロックのアクティビティ（ブロックアクティビティ）Blockactivity(i,j)と定義される。

なお、アクティビティとしては、この他、分散値、ダイナミックレンジなどとすることも可能である。

閾値判定部１６０３は、ステップＳ１６０４において、アクティビティ算出部１６０２により算出されたブロックアクティビティを予め設定されている所定の閾値と比較する。そして、入力されたブロックアクティビティが閾値より大きいか否かを表すフラグを統合処理部１６０５に出力する。

具体的には、実験の結果、ブロックアクティビティと評価値は、動きベクトルをパラメータとして、図６７に示される関係を有する。図６７において、横軸はブロックアクティビティBlockactivity(i,j)を表し、縦軸は評価値Evalを表している。動きが正しく検出されている場合（正しい動きベクトルが与えられている場合）、そのブロックアクティビティと評価値の値は、曲線１６２１より図中下側の領域Ｒ１に分布する。これに対して誤った動き（不正解の動きベクトル）が与えられた場合、そのブロックアクティビティと評価値の値は、曲線１６２２より、図中左側の領域Ｒ２に分布する（曲線１６２２より上側の領域Ｒ２以外の領域と曲線１６２１より下側の領域Ｒ１以外の領域には殆ど分布がない）。曲線１６２１と曲線１６２２は、点Ｐにおいて交差する。この点Ｐにおけるブロックアクティビティの値が閾値THaとされる。閾値THaは、ブロックアクティビティの値がそれより小さい場合には、対応する動きベクトルが正しくない可能性があることを意味する（この点については後に詳述する）。閾値判定部１６０３は、アクティビティ算出部１６０２より入力されたブロックアクティビティの値が、この閾値THaより大きいか否かを表すフラグを統合処理ブロック１６０５に出力する。

ステップＳ１６０５において、正規化処理部１６０４は、正規化処理を実行する。具体的には、正規化処理部１６０４は、次式に従って動きベクトル確度VCを演算する。

但し、動きベクトル確度VCの値が０未満となる場合にはその値を０に置き換える。動きベクトル確度VCのうち、評価値をブロックアクティビティで割り算して得られた値は、その値によって規定される図６７のグラフ上の位置が、原点Ｏと点Ｐを結ぶ傾きが１の直線１６２３より、図中下側の領域内であるのか、図中上側の領域内であるのかを表す。すなわち、直線１６２３の傾きは１であり、評価値をブロックアクティビティで割り算して得られた値が１より大きければ、その値に対応する点は、直線１６２３の上側の領域に分布する点であることを意味する。そしてこの値を１から減算して得られる動きベクトル確度VCは、その値が小さい程、対応する点が領域Ｒ２に分布する可能性が高いことを意味する。

これに対して、評価値をブロックアクティビティで割り算して得られた値が１より小さければ、その値に対応する点は、直線１６２３の図中下側の領域に分布することを意味する。そして、そのときの動きベクトル確度VCは、その値が大きい程（０に近い程）、対応する点が領域Ｒ１に分布することを意味する。正規化処理部１６０４は、このようにして演算して得られた動きベクトル確度VCを統合処理部１６０５に出力する。

ステップＳ１６０６において、統合処理部１６０５は、統合処理を実行する。この統合処理の詳細は、図６８のフローチャートに示されている。

統合処理部１６０５は、ステップＳ１６３１において、ブロックアクティビティが閾値THa以下か否かを判定する。この判定は、閾値判定部１６０３より供給されたフラグに基づいて行われる。ブロックアクティビティが閾値THa以下である場合には、ステップＳ１６３２において統合処理部１６０５は、正規化処理部１６０４が算出した動きベクトル確度VCの値を０に設定する。ステップＳ１６３１において、アクティビティの値が閾値THaより大きいと判定された場合には、ステップＳ１６３２の処理はスキップされ、正規化処理部１６０４で生成された動きベクトル確度VCの値が、そのまま動きベクトルとともに出力される。

これは、正規化処理部１６０４において演算された動きベクトルの確度VCの値が正であったとしても、ブロックアクティビティの値が閾値THaより小さい場合には、正しい動きベクトルが得られていない可能性があるからである。すなわち、図６７に示されるように、原点Ｏと点Ｐの間においては、曲線１６２２が、曲線１６２１より図中下側に（直線１６２３より下側に）突出することになる。ブロックアクティビティの値が閾値Thaより小さい区間であって、曲線１６２１と曲線１６２２において囲まれる領域Ｒ３においては、評価値をブロックアクティビティで割り算して得られる値は、領域Ｒ１とＲ２の両方に分布し、正しい動きベクトルが得られていない可能性が高い。

そこで、このような分布状態である場合には、動きベクトルの確度は低いものとして処理するようにする。このため、ステップＳ１６３２において、動きベクトル確度VCは、その値が正であったとしても、閾値Thaより小さい場合には、０に設定される。このようにすることで、動きベクトル確度VCの値が正である場合には、正しい動きベクトルが得られている場合であることを確実に表すことが可能となる。しかも、動きベクトル確度VCの値が大きい程、正しい動きベクトルが得られている確率が高くなる（分布が領域Ｒ１に含まれる確率が高くなる）。

このことは、一般的に、輝度変化が少ない領域（アクティビティが小さい領域）では信頼性が高い動きベクトルを検出することが困難であるとの経験上の法則とも一致する。

図６９は，図３８の背景動き推定部１０５４の構成例を表している。この構成例においては、背景動き推定部１０５４は、頻度分布算出部１６５１と背景動き決定部１６５２により構成されている。

頻度分布算出部１６５１は、動きベクトルの頻度分布を算出する。ただし、この頻度には、動き推定部１０５２より供給される動きベクトル確度VCを用いることで、確からしい動きに重みが与えられるように、重み付けが行われる。背景動き決定部１６５２は、頻度分布算出部１６５１により算出された頻度分布に基づいて、頻度が最大となる動きを背景動きとして決定する処理を行い、領域推定関連処理部１０５５へ出力する。

図７０を参照して、背景動き推定部５４の背景動き推定処理について説明する。

ステップＳ１６５１において、頻度分布算出部１６５１は、動き頻度分布を算出する。具体的には、頻度分布算出部１６５１は、背景動きの候補としての動きベクトルのｘ座標とｙ座標がそれぞれ基準点から±１６画素分の範囲で表されるとすると、１０８９個（＝１６×２＋１）×（１６×２＋１））の箱、すなわち動きベクトルがとり得る値に対応する座標分の箱を用意し、動きベクトルが発生した場合、その動きベクトルに対応する座標に１を加算する。このようにすることで、動きベクトルの頻度分布を算出することができる。

ただし、１個の動きベクトルが発生した場合、１を加算していくと、確度が低い動きベクトルの発生頻度が多い場合、その確実性が低い動きベクトルが背景動きとして決定されてしまう恐れがある。そこで、頻度分布算出部１６５１は、動きベクトルが発生した場合、その動きベクトルに対応する箱（座標）に、値１を加算するのではなく、値１に動きベクトル確度VCを乗算した値（＝動きベクトル確度VCの値）を加算する。動きベクトル確度VCの値は、０から１の間の値として正規化されており、その値が１に近いほど確度が高い値である。従って、このようにして得られた頻度分布は、動きベクトルをその確度に基づいて重み付けした頻度分布となる。これにより、確度の低い動きが背景動きとして決定される恐れが少なくなる。

次に、ステップＳ１６５２において、頻度分布算出部１６５１は、動き頻度分布を算出する処理を全ブロックについて終了したか否かを判定する。まだ処理していないブロックが存在する場合には、ステップＳ１６５１に戻り、次のブロックについてステップＳ１６５１の処理が実行される。

以上のようにして、全画面に対して動き頻度分布算出処理が行われ、ステップＳ１６５２において、全ブロックの処理が終了したと判定された場合、ステップＳ１６５３に進み、背景動き決定部１６５２は、頻度分布の最大値を検索する処理を実行する。すなわち、背景動き決定部１６５２は、頻度分布算出部１６５１により算出された頻度の中から最大の頻度のものを選択し、その頻度に対応する動きベクトルを背景動きの動きベクトルとして決定する。この背景動きの動きベクトルは、領域推定関連処理部１０５５に供給され、例えば、図５０のステップＳ１２０４の全画面動きと背景動きが一致するか否かの判定処理に用いられる。

図７１は、図３８のシーンチェンジ検出部１０５３の詳細な構成例を表している。この例においては、動きベクトル確度平均算出部１６７１と閾値判定部１６７２によりシーンチェンジ検出部１０５３が構成されている。

動きベクトル確度平均算出部１６７１は、動き推定部１０５２より供給された動きベクトル確度VCの全画面の平均値を算出し、閾値判定部１６７２に出力する。閾値判定部１６７２は、動きベクトル確度平均算出部１６７１より供給された平均値を、予め定められている閾値と比較し、その比較結果に基づいて、シーンチェンジであるか否かを判定し、判定結果を制御部１０５９に出力する。

次に、図７２のフローチャートを参照して、シーンチェンジ検出部１０５３の動作について説明する。ステップＳ１６８１において、動きベクトル確度平均算出部１６７１は、ベクトル確度の総和を算出する。具体的には、動きベクトル確度平均算出部１６７１は、動き推定部１０５２の統合処理部１６０５より出力された各ブロック毎に算出された動きベクトル確度VCの値を加算する処理を実行する。

ステップＳ１６８２において、動きベクトル確度平均算出部１６７１は、ベクトル確度VCの総和を算出する処理が全ブロックについて終了したか否かを判定し、まだ終了していない場合には、ステップＳ１６８１の処理を繰り返す。この処理を繰り返すことで、１画面分の各ブロックの動きベクトル確度VCの総和が算出される。ステップＳ１６８２において１画面全部についての動きベクトル確度VCの総和の算出処理が終了したと判定された場合、ステップＳ１６８３に進み、動きベクトル確度平均算出部１６７１は、ベクトル確度VCの平均値を算出する処理を実行する。具体的には、ステップＳ１６８１の処理で算出された１画面分のベクトル確度VCの総和を、足し込まれたブロック数で除算して得られた値が平均値として算出される。

ステップＳ１６８４において、閾値判定部１６７２は、ステップＳ１６８３の処理で動きベクトル確度平均算出部１６７１により算出された動きベクトル確度VCの平均値を、予め設定されている閾値と比較し、閾値より小さいか否かを判定する。一般的に、動画中の時刻が異なる２フレーム間でシーンチェンジが発生すると、対応する画像が存在しないため、動きベクトルを算出しても、その動きベクトルは確からしくないことになる。

そこで、ベクトル確度VCの平均値が閾値より小さい場合には、ステップＳ１６８５において、閾値判定部１６７２はシーンチェンジフラグをオンし、閾値より小さくない場合（閾値以上である場合）、ステップＳ１５８６において、シーンチェンジフラグをオフにする。シーンチェンジフラグのオンは、シーンチェンジがあったことを表し、そのオフは、シーンチェンジが無いことを表す。

このシーンチェンジフラグは、制御部１０５９へ供給され、図５９のステップＳ１４２１におけるシーンチェンジの有無の判定に利用される。

以上のように、図３の追尾処理部７１を構成することにより、追尾すべきオブジェクトが回転したり（図４０）、オクルージョンが発生したり（図４１）、あるいはシーンチェンジにより、オブジェクトの追尾点が一時的に表示されなくなる（図４２）ような場合でも、画像の中で移動するオブジェクト（追尾点）を正確に追尾することができる。

このようにして追尾されるオブジェクトの追尾点の位置情報が、図１の追尾処理部７１による追尾結果として追尾処理制御部７２に出力される。そして、追尾処理制御部７２により、図４のステップＳ３において、追尾結果記憶部８１に記憶される追尾結果に基づいて、追尾処理制御部７２による位置算出処理が実行される。

以上のように、表示画面上の固定点、画像特徴量に基づく画像上の点、または複数の追尾処理により得られた追尾結果などから、追尾処理の対象となる候補位置が算出されるので、信頼性の高い候補位置を、表示部２１に表示させることができる。

これにより、実行されている追尾方式がオクルージョンなどの発生により正確に追尾を行うことができないものであったり、あるいは、比較的長時間のオクルージョンなどの発生により、所望の追尾が行われていない場合であっても、ユーザは、表示部２１に表示される候補位置を選んで指示するだけで、容易に、所望の追尾対象を再設定することができる。

したがって、図１の監視システムにおいて、撮像装置１１が光学的なズーム機能を持たない非常に安価なカメラであり、仮に、侵入者Ｂが追尾対象から外れてしまったとしても、従来のように、再生を停止または一時停止することなく、追尾を継続させたまま、監視者であるユーザＡは、すばやく追尾対象の位置を修正することが可能となるので、簡単な操作で侵入者Ｂが追尾されてズームされた画像３２を見ることができる。

これにより、従来に較べて安価で、かつ、安全性の高い監視システムを提供することが可能になる。

図７３は、本発明を動物鑑賞システムに適用した場合の構成例を表している。この動物鑑賞システムにおいては、撮像装置１１と、撮像装置１１と接続され、表示部２１を有する追尾装置１２を用いて、撮像装置１１により撮像され、表示部２１に表示される画像を見ながら、鑑賞者であるユーザＣにより動物園の所定の領域を動き回る猿２００１がじっくり鑑賞される。

撮像装置１１は、動物園の所定の領域を撮像し、その画像２００２を追尾装置１２に入力する。すなわち、所定の領域内を動き回る猿２００１が撮像された画像２００２が追尾装置１２に入力される。

追尾装置１２は、入力された画像２００２を用い、ユーザＣの指示に対応して、猿２００１を追尾対象として追尾を行い、その追尾結果に基づいて、例えばズームされた画像２００３を生成し、表示部２１に表示させる。猿２００１が動き回るため、長時間、正確な追尾を行うことは困難である。そして、猿２００１が追尾対象からずれてしまった場合には、追尾装置１２に、追尾対象の候補位置の表示を指示する。

追尾装置１２においては、上述したように、表示画面上の固定点、画像特徴量に基づく画像上の点、または複数の追尾処理により得られた追尾結果などから、追尾処理の対象となる候補位置が算出されるので、信頼性の高い候補位置を、表示部２１に表示させることができる。これにより、ユーザは、表示部２１に表示された候補位置を選択指示するだけで、容易に、所望の猿２００１を、追尾対象として再設定することができる。

このように、追尾装置１２においては、追尾対象が外れた場合にも、その修正がすぐに可能であるので、ユーザＣは、貴重な機会を逃すことなく、猿２００１の鑑賞を楽しむことができる。

予め撮像装置により撮像された映像を記録しておき、その後、追尾ズームを行うことも可能ではあるが、リアルタイム（現実世界）でしか体験できないその場の雰囲気が失われてしまうので、楽しさは、激減する恐れがある。

すなわち、本発明は、リアルタイムにユーザの操作結果が追尾結果に反映されるシステムに、特に効果を発揮する。

なお、本発明は、監視システムや、動物鑑賞システムに限らず、テレビジョン受像機や、各種の画像処理装置に適応することが可能である。

また、以上においては、画像の処理単位をフレームとしたが、フィールドを処理単位とする場合にも本発明は適用が可能である。

なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、汎用のパーソナルコンピュータなどに、ネットワークやリムーバブルメディアなどの記録媒体からインストールされる。

また、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明を適用した監視システムの構成例を示す図である。 図１の追尾装置の構成例を示すブロック図である。 図２のオブジェクト追尾部の構成例を示すブロック図である。 追尾装置の処理を説明するフローチャートである。 図４のステップＳ３の位置算出処理を説明するフローチャートである。 表示画像の例を示す図である。 図２のオブジェクト追尾部の他の構成例を示すブロック図である。 位置算出処理の他の例を説明するフローチャートである。 図２のオブジェクト追尾部のさらに他の構成例を示すブロック図である。 位置算出処理のさらに他の例を説明するフローチャートである。 表示画像の例を示す図である。 図９のオブジェクト追尾部の他の構成例を示している。 位置算出処理の他の例を説明するフローチャートである。 追尾結果更新処理を説明するフローチャートである。 図１４の追尾結果更新処理を説明する図である。 図１４の追尾結果更新処理を説明する図である。 追尾結果更新処理を説明するフローチャートである。 図１７の追尾結果更新処理を説明する図である。 図１７の追尾結果更新処理を説明する図である。 追尾結果更新処理の他の例を説明する図である。 過去動きで一定時間外挿を行う方式を説明する図である。 過去動きで一定時間外挿を行う方式を説明する図である。 表示画像の例を示す図である。 図２のリモートコントローラの構成例を示す図である。 表示画像の例を示す図である。 表示画像の遷移例を示す図である。 図２の表示画像生成部の他の構成例を示す図である。 表示画像生成処理を説明するフローチャートである。 表示画像の例を示す図である。 表示画像の例を示す図である。 表示画像の遷移例を示す図である。 表示画像の遷移例を示す図である。 表示画像の例を示す図である。 図３の追尾処理部の構成例を示すブロック図である。 追尾処理を説明するフローチャートである。 動きベクトル検出する領域を説明する図である。 動きベクトルの頻度を説明する図である。 図３の追尾処理部の構成例を示すブロック図である。 追尾処理を説明するフローチャートである。 追尾対象が回転する場合の追尾を説明する図である。 オクルージョンが起きる場合の追尾を説明する図である。 シーンチェンジが起きる場合の追尾を説明する図である。 通常処理を説明するフローチャートである。 通常処理の初期化処理を説明するフローチャートである。 乗り換え候補抽出処理を説明する図である。 領域推定関連処理部の構成例を示すブロック図である。 領域推定関連処理を説明するフローチャートである。 領域推定処理を説明するフローチャートである。 サンプル点を決定する処理を説明する図である。 領域推定範囲の更新処理を説明するフローチャートである。 領域推定範囲の更新を説明する図である。 領域推定範囲の更新を説明する図である。 乗り換え候補抽出処理を説明するフローチャートである。 テンプレート作成処理を説明するフローチャートである。 テンプレート作成を説明する図である。 テンプレート作成を説明する図である。 テンプレートと追尾点の位置関係を説明する図である。 例外処理を説明するフローチャートである。 例外処理の初期化処理を説明するフローチャートである。 テンプレートの選択を説明する図である。 探索範囲の設定を説明する図である。 例外処理の他の例を説明するフローチャートである。 継続判定処理を説明するフローチャートである。 動き推定部の構成例を示すブロック図である。 動き推定処理を説明するフローチャートである。 アクティビティの算出を説明する図である。 評価値とアクティビティの関係を説明する図である。 統合処理を説明するフローチャートである。 背景動き推定部の構成例を示すブロック図である。 背景動き推定処理を説明するフローチャートである。 シーンチェンジ検出部の構成例を示すブロック図である。 シーンチェンジ検出処理を説明するフローチャートである。 本発明を適用した動物鑑賞システムの構成例を示す図である。

符号の説明

１１ 撮像装置， １２ 追尾装置， ２１ 表示部， ５２ オブジェクト追尾部， ５３ 全体システム制御部， ５４ 表示画像生成部， ５５ リモートコントローラ， ７１，７１−１乃至７１−ｎ 追尾処理部， ７２ 追尾処理制御部， ８１ 追尾結果記憶部， ８２ 位置算出部， ８３ 対象位置設定部， １３１ 画像特徴量算出部， １６１ 追尾結果更新部， ３０１ 拡大信号処理部， ３０２ 追尾結果選択候補表示部

Claims (21)

1. 移動するオブジェクトを表示させる画像処理装置において、
   ユーザの操作に対応して、画像上の移動するオブジェクトを追尾対象として追尾を行う追尾手段と、
   前記追尾手段による前記追尾対象の候補としての候補位置を算出する候補算出手段と、
   前記候補算出手段により算出された前記候補位置の表示を制御する表示制御手段と、
   ユーザの操作に対応して、表示される前記候補位置を、前記追尾手段の次のフレームにおける前記追尾対象として設定する対象設定手段と
   を備える画像処理装置。
2. 前記候補算出手段は、
   予め記憶される画面内の所定の位置を読み出して、前記候補位置を算出する
   請求項１に記載の画像処理装置。
3. 前記候補算出手段は、
   前記画像の特徴量に基づいて、前記候補位置を算出する
   請求項１に記載の画像処理装置。
4. 前記候補算出手段は、
   複数の前記追尾手段による追尾結果に基づいて、前記候補位置を算出する
   請求項１に記載の画像処理装置。
5. 前記複数の追尾手段は、複数の異なる種類の追尾方式を用いて、それぞれ追尾を行う
   請求項４に記載の画像処理装置。
6. 前記対象設定手段は、
   ユーザの操作に対応して、表示される前記候補位置を、前記複数の追尾手段の次のフレームにおける前記追尾対象としてそれぞれ設定する
   請求項５に記載の画像処理装置。
7. 前記複数の追尾手段は、前記オブジェクト上の複数の異なる近傍位置をそれぞれ追尾対象として追尾を行う
   請求項４に記載の画像処理装置。
8. 前記対象設定手段は、
   ユーザの操作に対応して、表示される前記候補位置に基づいて、前記候補位置を含む複数の異なる近傍位置を、前記複数の追尾手段の次のフレームにおける前記追尾対象としてそれぞれ設定する
   請求項７に記載の画像処理装置。
9. 前記複数の追尾手段の中の１の追尾手段による追尾結果に基づいて、前記複数の追尾手段のうちの一部または全部の追尾手段による追尾結果を更新する更新手段をさらに備える
   請求項４に記載の画像処理装置。
10. 前記更新手段は、所定の時間が経過する毎に、前記複数の追尾手段の中の１の追尾手段による追尾結果に基づいて、前記複数の追尾手段のうちの一部または全部の追尾手段による追尾結果を更新する
    請求項９に記載の画像処理装置。
11. 前記更新手段は、所定時間が経過した第１のタイミング毎に、前記複数の追尾手段の中の１の追尾手段による追尾結果に基づいて、前記複数の追尾手段のうちの一部の追尾手段による追尾結果を更新し、
    前記第１のタイミングとは異なる、前記所定時間が経過した第２のタイミング毎に、前記複数の追尾手段の中の１の追尾手段による追尾結果で、前記複数の追尾手段のうちの他の一部の追尾手段による追尾結果を更新する
    請求項９に記載の画像処理装置。
12. 前記更新手段は、前記複数の追尾手段の追尾結果が大きく異なるときに、前記複数の追尾手段の中の１の追尾手段による追尾結果に基づいて、前記複数の追尾手段のうちの一部または全部の追尾手段による追尾結果を更新する
    請求項９に記載の画像処理装置。
13. 前記表示制御手段は、ユーザの操作による選択中の候補位置が、他の候補位置と区別されて前記画像上に示される前記候補位置の一覧表示を制御する
    請求項１に記載の画像処理装置。
14. 前記表示制御手段は、前記画像上の前記選択中の候補位置の上に第１の小画像を重畳し、前記画像上の前記他の候補位置の上に前記第１の小画像とは異なる第２の小画像を重畳して、前記候補位置の一覧表示を制御する
    請求項１３に記載の画像処理装置。
15. 前記表示制御手段は、
    前記候補位置を中心としたズーム画像を生成する画像生成手段をさらに備え、
    前記画像生成手段により生成された前記候補位置を中心としたズーム画像の表示を制御する
    請求項１に記載の画像処理装置。
16. 前記表示制御手段は、
    前記画像生成手段により生成された複数の前記候補位置をそれぞれ中心とした複数のズーム画像の表示を制御する
    請求項１５に記載の画像処理装置。
17. 前記表示制御手段は、
    前記画像生成手段により生成された前記候補位置を中心としたズーム画像に、ユーザの操作による選択中の候補位置が、他の候補位置と区別されて前記画像上に示される前記候補位置の一覧表示が重畳された表示を制御する
    請求項１５に記載の画像処理装置。
18. 前記表示制御手段は、
    ユーザの操作による選択中の候補位置が、他の候補位置と区別されて前記画像上に示される前記候補位置の一覧表示上に、前記画像生成手段により生成された前記候補位置を中心としたズーム画像が重畳された表示を制御する
    請求項１５に記載の画像処理装置。
19. 移動する対象を表示させる画像処理装置の画像処理方法において、
    ユーザの操作に対応して、画像上の移動するオブジェクトを追尾対象として追尾を行う追尾手段の前記追尾対象の候補としての候補位置を算出し、
    算出された前記候補位置の表示を制御し、
    ユーザの操作に対応して、表示される前記候補位置を、前記追尾手段の次のフレームにおける前記追尾対象として設定するステップ
    を含む画像処理方法。
20. 移動する対象を表示させる処理をコンピュータに行わせるプログラムであって、
    ユーザの操作に対応して、画像上の移動するオブジェクトを追尾対象として追尾を行う追尾手段の前記追尾対象の候補としての候補位置を算出し、
    算出された前記候補位置の表示を制御し、
    ユーザの操作に対応して、表示される前記候補位置を、前記追尾手段の次のフレームにおける前記追尾対象として設定するステップ
    を含むプログラム。
21. 請求項２０に記載のプログラムが記録されている記録媒体。

Images