JP4382597B2 - 推定装置、推定方法および推定プログラム - Google Patents

Description

この発明は、対象物に関連する物理量の観測値に基づいて、対象物の物理量の真の値を推定する推定装置、推定方法および推定プログラムに関し、より特定的には、カメラ等からの実画像を処理する画像処理に関連して、画像中の対象物を視覚追跡するための画像認識の分野に関する。

撮影された実動画像中において、対象物や対象人物を時間の経過とともに追跡することは、画像認識における中心的な課題の１つである。

ここで、近年、非ガウス性雑音が加算された信号の時系列解析手法として、パーティクルフィルタが様々な分野から注目を集めている（たとえば、非特許文献１を参照）。実時間ビジョンの分野でも、カルマンフィルタでは行う事ができないノイズや障害物などの非ガウス性雑音で汚れた実画像上での物体運動の推定や予測を統計的に行う事ができるため、パーティクルフィルタによる応用研究が盛んになってきている（たとえば、非特許文献２および非特許文献３を参照）。

パーティクルフィルタはベイズフィルタの近似計算法であり、有限のパーティクルによって分布関数を表現し、それを用いて時系列推定や予測を行うものである。

すなわち、パーティクルフィルタはサンプリングに基づいたモンテカルロ法の一種であり、対象物体の推定位置の分布をパーティクルの位置と重みによる集合表現で近似するため、非ガウスな分布でも扱う事が可能である。
Ｎ．Ｊ．ゴールドン、Ｊ．Ｊ．サーモンド、Ａ．Ｆ．Ｍ．スミス：「非線形で非ガウシアンのベイズ状態評価への新たなアプローチ」、ＩＥＥＥプロシーディング レーダーシグナルプロセッシング、第１４０巻、頁１０７−１１３（１９９３）（Gordon, N.J., Salmond, J.J. and Smith, A.F.M. : Novel approach to nonlinear non-Gaussian Bayesian state estimation, IEEE Proc Radar Signal Processing, vol.140, pp.107-113(1993)） Ｍ．イザード、Ａ．ブレイク：「コンデンセーション−ビジュアルトラッキングに対する条件密度伝播」、インターナショナル ジャーナル オブ コンピュータ ビジョン、第２８巻、Ｎｏ．１、ｐｐ．５−２８（１９９８）（M. Isard and A. Blake: CONDASATION - Conditional Density Propagation for Visual Tracking, Int’l J. Computer Vision, vol. 28, no. 1, pp. 5-28(1998)） Ｍ．Ｊ．ブラック、Ａ．Ｄ．ジェプソン ：「コンデンセーションアルゴリズムを用いた時間軸上の軌跡認識」、ＩＥＥＥ インターナショナル カンファレンス オートマティック フェイス ジェスチャー、ｐｐ．１６−２１（１９９８）（Black, M.J. and Jepson, A.D. : Recognizing temporal trajectories using the condensation algorithm, IEEE Int’l Conf Automat Face Gesture, pp. 16-21 (1998)）

しかし、パーティクルの数を無限とすることはできず、それゆえにパーティクルフィルタの性質、正確さはサンプリング手法に大きく依存する。このことについては、パーティクルフィルタの中心的な問題点として活発な議論が行われている。

特に、対象物体（対象人物）の視覚追跡においては、有限計算資源、実時間計算という拘束条件、複雑な実環境における視覚追跡において、パーティクルフィルタを用いた視覚追跡を、以下のような条件に適合させつつ、実現すればよいかは、必ずしも明らかではない。

すなわち、まず第１には、追跡対象についての事前知識に基づき、パーティクル位置でのみ観測を行う事で、周辺の雑音（良く似た物体など）に影響されにくいロバストな追跡を行う必要がある。

さらに、第２には、計算量を少なく抑制しつつ、有限計算資源で実時間処理を行う必要がある。

それゆえに本発明の目的は、実環境における対象物に関連する物理量の観測値に基づいて、対象物の物理量の真の値を実時間で推定する推定装置、推定方法および推定プログラムを提供することである。

この発明の他の目的は、実環境で撮影された動画像に対して、計算量を抑制しつつ、ロバストな視覚追跡を行うことが可能な視覚追跡装置、視覚追跡方法および視覚追跡プログラムを提供することである。

この発明のある局面に従う推定装置は、対象物に関連する物理量の観測データを準備する手段と、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡する手段と、コンデンセーション法による対象物の物理量の推定値の分散が所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡する手段と、オーグジリアリ パーティクルフィルター法による対象物の物理量の推定値の分散が所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡する手段とを備える。

この発明の他の局面に従う推定装置は、対象物を含む対象画像領域内の各画素の値のデジタルデータを準備する手段と、対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を実時間で推定して抽出し追跡する手段と、コンデンセーション法による対象物の位置の推定値の分散が所定値を越えることに応じて、対象となる画像領域内において、コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により重みを用いて、対象物の位置を実時間で推定して抽出し追跡する手段と、オーグジリアリ パーティクルフィルター法による対象物の位置の推定値の分散が所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の位置を実時間で推定して抽出し追跡する手段とを備える。

好ましくは、対象物の特徴量は、対象物の色である。

この発明のさらに他の局面に従う推定方法は、観測装置が、対象物の物理量に関連する特徴量の観測データを取得するステップと、演算装置が、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡するステップと、演算装置が、コンデンセーション法による対象物の物理量の推定値の分散が所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡するステップと、演算装置が、オーグジリアリ パーティクルフィルター法による対象物の物理量の推定値の分散が所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡するステップとを備える。

この発明のさらに他の局面に従うと、推定方法であって、撮像装置が、対象物を含む対象画像領域内の各画素の値のデジタルデータを取得するステップと、演算装置が、対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を実時間で推定して抽出し追跡するステップと、演算装置が、コンデンセーション法による対象物の位置の推定値の分散が所定値を越えることに応じて、対象となる画像領域内において、コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により重みを用いて、対象物の位置を実時間で推定して抽出し追跡するステップと、演算装置が、オーグジリアリ パーティクルフィルター法による対象物の位置の推定値の分散が所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の位置を実時間で推定して抽出し追跡するステップとを備える。

好ましくは、対象物の特徴量は、対象物の色である。

この発明のさらに他の局面に従うと、コンピュータに、対象物に関連する物理量を推定させる方法を実行させるためのプログラムであって、プログラムは、対象物に関連する物理量の観測データを準備するステップと、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡するステップと、コンデンセーション法による対象物の物理量の推定値の分散が所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡するステップと、オーグジリアリ パーティクルフィルター法による対象物の物理量の推定値の分散が所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡するステップとを備える。

この発明のさらに他の局面に従うと、対象物の物理量に関連する特徴量の観測データを準備する手段と、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡する手段と、コンデンセーション法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡する手段と、オーグジリアリ パーティクルフィルター法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡する手段とを備える。

この発明のさらに他の局面に従うと、対象物を含む対象画像領域内の各画素の値のデジタルデータを準備する手段と、対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を実時間で推定して抽出し追跡する手段と、コンデンセーション法による対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、対象となる画像領域内において、コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により重みを用いて、対象物の位置を実時間で推定して抽出し追跡する手段と、オーグジリアリ パーティクルフィルター法による対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の位置を実時間で推定して抽出し追跡する手段とを備える。

この発明のさらに他の局面に従うと、推定方法であって、観測装置が、対象物の物理量に関連する特徴量の観測データを取得するステップと、演算装置が、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡するステップと、演算装置が、コンデンセーション法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡するステップと、演算装置が、オーグジリアリ パーティクルフィルター法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡するステップとを備える。

この発明のさらに他の局面に従うと、推定方法であって、撮像装置が、対象物を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、演算装置が、対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を実時間で推定して抽出し追跡するステップと、演算装置が、コンデンセーション法による対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、対象となる画像領域内において、コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により重みを用いて、対象物の位置を実時間で推定して抽出し追跡するステップと、演算装置が、オーグジリアリ パーティクルフィルター法による対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の位置を実時間で推定して抽出し追跡するステップとを備える。

この発明のさらに他の局面に従うと、コンピュータに、対象物に関連する物理量を推定させる方法を実行させるためのプログラムであって、プログラムは、対象物の物理量に関連する特徴量の観測データを準備するステップと、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡するステップと、コンデンセーション法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡するステップと、オーグジリアリ パーティクルフィルター法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡するステップとを備える。

本発明によれば、実時間、実環境における複雑な状況においても、予測を主としたコンデンセーションのロバスト性と観測を重視したオーグジリアリ パーティクルフィルター法の収束の速さをうまく融合し、安定した追跡を行うことが可能となる。

［実施の形態１］
［ハードウェア構成］
以下、本発明にかかる視覚追跡装置について説明する。この視覚追跡装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象実動画像から対象物（あるいは対象人物）を抽出し、実時間で追跡するためのものである。

ただし、以下の説明でも明らかとなるように、本発明は、具体例として説明する視覚追跡に限らず、より一般的に、対象物に関連する物理量の観測データに基づいて、この物理量の真の値を実時間で推定する場合に適用可能なものである。

図１に、この視覚追跡装置の外観を示す。

図１を参照してこのシステム２０は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブ５０およびＦＤ（Flexible Disk ）ドライブ５２を備えたコンピュータ本体４０と、コンピュータ本体４０に接続された表示装置としてのディスプレイ４２と、同じくコンピュータ本体４０に接続された入力装置としてのキーボード４６およびマウス４８と、コンピュータ本体４０に接続された、画像を取込むためのカメラ３０とを含む。この実施の形態の装置では、カメラ３０としてはＣＣＤ（固体撮像素子）を含むビデオカメラを用い、カメラ３０で撮影された動画像に対して、対象となる物体または対象となる人物を検出し、実時間で追跡する処理を行うものとする。

すなわち、カメラ３０により、対象物（対象人物）を含む動画像であって対象となる画像領域内の各画素の値のデジタルデータが準備される。

図２に、このシステム２０の構成をブロック図形式で示す。図２に示されるようにこのシステム２０を構成するコンピュータ本体４０は、ＣＤ−ＲＯＭドライブ５０およびＦＤドライブ５２に加えて、それぞれバス６６に接続されたＣＰＵ（Central Processing Unit ）５６と、ＲＯＭ（Read Only Memory) ５８と、RAM （Random Access Memory）６０と、ハードディスク５４と、カメラ３０からの画像を取込むための画像取込装置６８とを含んでいる。ＣＤ−ＲＯＭドライブ５０にはＣＤ−ＲＯＭ６２が装着される。ＦＤドライブ５２にはＦＤ６４が装着される。

既に述べたようにこの視覚追跡装置の主要部は、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより構成される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ６２、ＦＤ６４等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ５０またはＦＤドライブ５２等により記憶媒体から読取られてハードディスク５４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク５４にコピーされる。そうしてさらにハードディスク５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される。なお、ネットワーク接続されている場合には、ハードディスク５４に格納することなくＲＡＭ６０に直接ロードして実行するようにしてもよい。

図１および図２に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＦＤ６４、ハードディスク５４等の記憶媒体に記憶されたソフトウェアである。

なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該視覚追跡装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて視覚追跡装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。

［本発明による視覚追跡の基本的原理］
まず、本発明の手続きの概略をまとめると、本発明では、視覚追跡において基本的なアルゴリズムの一つであるコンデンセーション（CONDENSATION）法と、その問題点の一部を改善したオーグジリアリ パーティクルフィルター（Auxiliary Particle Filter、以下「ＡＰＦ」と呼ぶ）法とを視覚追跡に特有な状況の下で、適切な条件下で切換えて処理を実施する。コンデンセーションは、遮蔽などにロバストだが精度良く追跡ができない。それに対して、ＡＰＦ法は観測結果を重視し追跡対象に精度良く正確な追跡を行う事はできるが、遮蔽がある場合は、雑音に収束してしまう事が多い。そこで、この二つを、以下に説明するような条件で切り替えることで、各アルゴリズムの長所を生かし、実環境におけるより多くの状況においてロバストな実時間追跡を実施する。

以下では、まず、動画像中での視覚追跡という具体例を説明する前提として、コンデンセーション法とＡＰＦ法とを切り替える構成について、より一般的に説明した後に、それを動画像中での視覚追跡に適用するための構成について説明する。

（コンデンセーション法）
時刻ｔにおける追跡対象の連続値状態変数ベクトルｘ_tを以下のとおりと定義する。ここで、連続値状態変数ベクトルｘ_tは、本発明を視覚追跡に適用する場合は、たとえば、対象物の真の位置座標を示す。

さらに、連続値状態変数ベクトルｘ_tの履歴を以下のとおりとする。

同様に、観測変数ベクトルｚ_tを以下のとおりに定義する。ここで、観測変数ベクトルｚ_tは、本発明を視覚追跡に適用する場合は、たとえば、観測された対象物の位置座標を示す。

観測変数ベクトルｚ_tの履歴を以下のとおりとする。

以下の式（０）のような時刻ｔにおけるパーティクルと重みのセットを用いて、状態変数ベクトルｘ_tの観測値に対する事後分布を式（１）以下のように近似する。

ただし、δ（…）はディラックのデルタ関数を示す。すなわち、π_t ⁽ⁿ⁾は、重みを示し、ｓ_t ⁽ⁿ⁾は、パーティクルの位置を示す。そして、π_t ⁽ⁿ⁾は、以下の式（２）を満たすものとする。

この時、追跡対象のダイナミクスが、以下の式（３）で表される一次のマルコフ性を持つ事と、式（４）で表される観測の条件付き独立性を満たすことを仮定する。

このとき、状態変数ベクトルｘ_tの事前分布は、以下の式（５）により近似することができる。

観測変数ベクトルｚ_tからベイズの定理により推定される事後分布は、以下の式（６）のように書くことができる。

ここで、ｋ_tは正規化のための定数である。式（５）と式（６）とを繰り返し用いる事で、任意の時刻ｔにおける状態変数ベクトルｘ_tの推定を行う事が出来る。

コンデンセーション法のようなサンプリング／インポータンス リサンプリング（Sampling／Importance Resampling：以下、「ＳＩＲ」と呼ぶ）を用いたフィルタに特有の問題として、以下のような時刻（ｔ−１）におけるパーティクル｛ｓ_t-1 ⁽ⁿ⁾，ｎ＝１，…，Ｎ｝から再サンプリングを行い、時刻ｔにおける新たなパーティクル｛ｓ_t ^(j)，ｊ＝１，…，Ｎ｝を得る際の重みとなるπ_t-1 ⁽ⁿ⁾が各時刻の観測変数ベクトルｚ_tとは独立であるため、観測とは無関係に状態空間が探索される点がある。それ故にＳＩＲフィルタは外れ値に大きく影響され、しばしば追跡が非効率的になる。

（ＡＰＦ法）
コンデンセーション法の様なＳＩＲフィルタにおいて、外れ値をいかにして扱うかという問題に対する効果的な手法として、上述したＡＰＦ法がある。このＡＰＦ法については、文献：M.Pitt and N. Shephard: Filtering via Simulations: Auxiliary Particle Filters, Journal of American Statistical Association, (1999)に詳しく開示されているので、以下では、その大略について述べる。

このＡＰＦ法では平均値、モードなどの代表点を用いてダイナミクスを近似し、代表点での尤度をダイナミクスを用いて計算し、それを重みとして再びサンプリングを行う。代表点に注目することで外れ値にあまり影響されずに目標点に速やかに収束させることができる。

図３は、コンデンセーション法とＡＰＦ法のサンプリング法の違いによるパーティクルの分布の違いを示す図である。図３において、白丸は、コンデンセーションによって、白いひし形はＡＰＦ法によってサンプリングされたパーティクルの位置を表わす。

また、図４は、パーティクルの分布の違いから生じるターゲットへの収束速度の違いを示す図である。図４では、ある一つのパーティクルが対象を見付けてから推定値が対象の位置と一致するまでにかかるフレーム数とパーティクルの数の関係を示している。

今、ｍ＝１，…，Ｍがパーティクルのインデックスを表わすとすると、式（６）より各パーティクルについて、以下の式（７）が成り立つ。

この時、μ_t ^(m)を以下のような式の代表点とする。

このとき、上式の近似を行うと、以下の式（８）となる。

この式（８）が、以下のように一段目の重みλ_t ^(m)となる。

次のステップとして一段目の重みλ_t ^(m)に基づいてＮ回サンプリングを行い、新たに二段目の重みπ_t ⁽ⁿ⁾を以下の式（９）のように決定する。

ここで、式（９）において、以下の式で表されている値は、ｓ_t ⁽ⁿ⁾と関連付けられるμ_t ^(m)である。

（再サンプリング法の動的な切替え）
ＡＰＦ法が観測重視で追跡対象の状態を推定しているのに比べて、コンデンセーションは事前知識重視で追跡対象の状態推定を行う。ＡＰＦ法は追跡対象に精度良く正確な追跡を行うことができるが、遮蔽や追跡対象によく似た特徴が複数存在するような複雑な状況における視覚追跡においては観測結果よりも事前知識を重視した方が安定した追跡を行うことができると考えられる。

まず、以下の式で、時刻ｔにおけるｘの期待値を表すとする。

このとき、以下のとおり、推定値の分散σ_estのｉ成分を式（１０）で表す。なお、本発明を視覚追跡に適用する場合は、ｉ成分とは、座標軸成分を示す。

この推定値の分散σ_estを推定の精度を示す値として、再サンプリングアルゴリズムを以下のとおり、動的に切替える。

このようにアルゴリズムを動的に切り替えることで、コンデンセーションの予測を主とした遮蔽に強い性質と、ＡＰＦ法の追跡対象への収束の速さをうまく融合できる。

ここで、切替えの判断のためのしきい値は、以下のとおり各成分に対するしきい値のベクトルとして表される。

このようなしきい値ベクトルは、特に限定されないが、たとえば、実験的に所定の値を予め定めておくことができる。

また、推定値の分散σ_estは、各成分ごとにしきい値と比較するものとしたが、推定値の分散σ_estのベクトルの大きさそのものをしきい値γと比較することとしてもよい。

図５は、以上説明した本発明の切替えアルゴリズムを説明するためのフローチャートである。なお、図５では、本発明を視覚追跡に適用する場合について説明している。

なお、ここで、視覚追跡の場合に重みとして、何を採用するかについては、後に詳しく説明する。

図５を参照して、カメラ３０により準備された、対象物（対象人物）を含む動画像であって対象となる画像領域内の各画素の値のデジタルデータに基づいて、視覚追跡が開始されると（ステップＳ１００）、システム２０は、コンデンセーション法による視覚追跡を実施する（ステップＳ１０２）。

続いて、システム２０は、少なくとも１つの空間軸で、推定値の分散が所定値を超えるか否かを判断する（ステップＳ１０４）。いずれの空間軸でも推定値の分散が所定値を超えていない場合、処理は、ステップＳ１０２に復帰する。

一方、少なくとも１つの空間軸で、推定値の分散が所定値を超える場合、システム２０は、ＡＰＦ法による視覚追跡を行う（ステップＳ１０６）。

続いて、システム２０は、すべての空間軸で、推定値の分散が所定値を超えるか否かを判断する（ステップＳ１０８）。いずれの空間軸でも推定値の分散が所定値以下である場合、処理は、ステップＳ１０２に復帰する。

一方、少なくとも１つの空間軸で、推定値の分散が所定値を超える場合、システム２０は、ＡＰＦ法による視覚追跡を継続する（ステップＳ１０６）。

（最尤推定によるダイナミクスの学習）
より多くの状況においてロバストな追跡を行うためには、追跡対象のダイナミクスを画像列より学習する事が必要である。追跡対象のダイナミクスとしてバイアス項を持つ以下の二次の線形方程式（１１）を仮定する。

式（１１）のパラメータをまとめて、以下のとおりθで表し、さらに、ｗ_tを白色ガウスノイズとする。

このとき、以下のＲ_tが平均０、分散Ｃのガウス分布に従う。

このため、θの対数尤度は、以下の式（１２）となる。

パラメータβの最尤推定値はこれを最大にする点を∂Ｌ／∂θ＝０を解くことにより求めればよい。これを直接求めることは困難であるが、以下のスムージング推定値をｘ_tの期待値とすることで求めることができる。

このとき、各パラメータについて以下の式（１３）〜（１６）が成り立つ。

但しここで、以下のとおりとする。

式（１３）〜（１６）により更新したパラメータを用いて再びフィルタリングを繰り返す。これをパラメータが収束するまで繰り返す。

以上はバッチ学習であり、観測結果が全て得られた後にモデルパラメータの更新を行う場合の手続きである。

しかし、実際の環境においてダイナミクスの学習を行いながら追跡を行うには、ダイナミクスの学習をオンラインで行う必要がある．そこで、時刻ｔにおけるフィルタリング推定値に固定ラグのカルマンスムージングをかけ、窓枠内で上記バッチ学習を一回適用して得られたＳi，Ｓijに学習係数ηを用いて、以下の式（１９）および（２０）とおりに書き直す。

視覚追跡の場合、たとえば、窓の大きさを６０フレームとすればよいが、ある程度の大きさを持った密であれば安定した学習を行うことができる。

システム２０は、式（１３）〜（１６）によるパラメータの更新を行う。これにより、ダイナミクスの学習をオンラインで行うことができる。

なお、特に限定されないが、たとえば、以下の説明では、η＝０．０１とすることができる。

（実画像を用いた実験）
状態変数として画像面上での追跡対象の位置（ｘ，ｙ）をとり、実画像を用いた実験結果について以下に説明する。

以下の実験では、たとえば、パーティクルの個数Ｎ＝８００としている。この時１フレームの処理時間は、２ＧＨｚのクロックで動作するＣＰＵを搭載したパーソナルコンピュータでも、約８ｍｓｅｃであり、十分実時間で処理を行うことができる。以下の実験では、デジタルビデオカメラを用いて撮影した画像をパーソナルコンピュータに取り込み、得られた連続画像に対してパーティクルフィルタによる追跡とダイナミクスのオンライン学習を実行した。

（カラーモデル）
視覚追跡の対象が人間である場合は、肌色を対象物の特徴量として、画像中の肌色らしさを重みとして推定を行えばよい。ただし、以下では、肌色そのものではなく、赤らしさ（「赤色度」）を重みとする例について説明する。

もちろん、対象物の色に応じて、他の色を重みとして採用することも可能である。また、画像中で対象物（または対象人物）を特定できる特徴量であれば、必ずしも色に限定されるものでなく、たとえば、明るさ、形、模様、大きさのような特徴量を用いることもできる。

時刻ｔにおける画像中の画素ｚ_tの赤緑青成分をそれぞれ、Ｒ（ｚ_t），Ｇ（ｚ_t），Ｂ（ｚ_t）とする。この時、画素ｚ_tの赤色度は、以下の式（２１）のように定義される。

事前に得ておいた追跡対象の赤色度のヒストグラムの平均値μ_hと分散σ_h ²を用いて、以下の式（２２）および（２３）のとおり正規分布を用いて表現する。

但し、ｒ（ｘ_t）〜μ_hとし、ｒ（ｘ_t）は追跡対象の位置に依存しないとしている。

（実験結果）
（実画像からのダイナミクスのオンライン学習）
先に述べたダイナミクスのオンライン学習を適用し、人間が左右に振るボール（画像面で直径約１６ピクセル（pixel））の追跡を行う。

図６は、このようなオンライン学習の実験を行った環境下での画像の例を示す図である。

なお、追跡アルゴリズムにはコンデンセーションを用いた。

図７は、図６で示した実験で得られた推定値の軌跡を示す図である。

図７には、ダイナミクスを ｘ_t+2＝２ｘ_t+1―ｘ_t＋Ｂｗ_tと仮定した時の結果も合わせて示す（学習なし）。

ダイナミクスのオンライン学習を行った場合、学習初期には追跡対象を見失う事もあるが、学習が進むにつれて速度方向が変わる部分においても安定した追跡ができるようになっている。

図８は、学習の進行と推定値の標準偏差σ_estの関係を示す図である。

学習が進むにつれてσ_estは小さくなり、確信を持って追跡を行うことができるようになっている。図８では、しきい値をγ＝（８８）^Tとして切り替えアルゴリズム（図中、ＳＷＩＴＣＨ）を適用した時の結果も合わせて示している。学習初期においても追跡対象を見失うことなく安定し、追跡が可能である。

また、図９は、この時の学習の進行とコンデンセーションとＡＰＦ法の切り替えの様子を示す図である。学習が進むにつれＡＰＦ法の選択されるフレーム数が減少し、観測を重視した追跡から事前知識を重視した追跡に変化している。

（遮蔽がある場合の視覚追跡）
次に、赤いボール（画像中で直径約１６pixel）を単振動させたものの追跡を行った結果について説明する。なお、この実験では、ボールは遮蔽板（ボード）の後ろを通るため、一時ボールの観測は不可能になる。

図１０は、実験環境を示す図であり、図１１は、推定値の軌跡を示す図である。切り替えアルゴリズムのしきい値は事前に同じ画像列にコンデンセーションを適用し、得られた結果によりγ＝（５５）^Tとした。図１１中で色が付いている部分は、追跡対象が遮蔽板の後ろに隠れてしまう範囲を示す。

コンデンセーションでは遮蔽を超えた後、追跡対象にパーティクルが収束する前に追跡対象が動いてしまい、見失ってしまう場合が多く見られたが、逆にＡＰＦ法の場合は遮蔽が越えられず雑音に誤って収束してしまうことが多かった。

一方、本発明の切り替えアルゴリズムを用いると、両者の性質をうまく融合させ安定した追跡を行うことができている。

表１は、このようなタスクを５０回繰り返し、遮蔽板を越えて正確にボールを追跡できた回数を示す。

以上説明したとおり、再サンプリング法を動的に切り替えることで、実時間、実環境における複雑な状況においても、予測を主としたコンデンセーションのロバスト性と観測を重視したＡＰＦ法の収束の速さをうまく融合し、安定した追跡を行うことが可能となる。本発明では二つのアルゴリズムを切り替えることで、計算量の増大を抑えて実時間での処理を十分に可能にしている。また、追跡対象のダイナミクスをオンラインで学習することにより、一定のダイナミクスを仮定するよりもロバストな追跡を行うことができる。

［実施の形態１の変形例］
上述した実施の形態１の図５においては、切替えアルゴリズムにおける判断基準として、「少なくとも１つの空間軸で、推定値の分散が所定値を超えるか否か」（ステップＳ１０４）ということと、「すべての空間軸で、推定値の分散が所定値を超えるか否か」（ステップＳ１０８）とを用いていた。

しかしながら、切替アルゴリズムとしては、式（１０）に示した推定値の分散σ_estのｉ成分に代えて、より一般に、推定値の共分散行列を判断基準として用いることができる。

すなわち、推定値の共分散行列の（ｉ，ｊ）成分であるσ_est,i,j（ｔ）を用いて、共分散行列Ｖ_est（ｔ）が以下のように表されるものとする。なお、このときも、本発明を視覚追跡に適用する場合は、（ｉ，ｊ）成分において、ｉ，ｊはそれぞれ座標軸を示す。

このとき、実施の形態１の変形例としては、以下の規則に従って、再サンプリングアルゴリズムを動的に切替える構成とする。ここで、γ_i,jは、σ_est,i,j（ｔ）に対応するしきい値であって、たとえば、事前に実験により定められた所定の定数とする。

図１２は、実施の形態１の変形例の切替えアルゴリズムを説明するためのフローチャートであり、図５と対比される図である。なお、図１２でも、本発明を視覚追跡に適用する場合について説明している。

図１２を参照して、カメラ３０により準備された、対象物（対象人物）を含む動画像であって対象となる画像領域内の各画素の値のデジタルデータに基づいて、視覚追跡が開始されると（ステップＳ１００）、システム２０は、コンデンセーション法による視覚追跡を実施する（ステップＳ１０２）。

続いて、システム２０は、Ｖ_est（ｔ）の少なくとも１つの成分が対応する所定値γ_i,jを超えるか否かを判断する（ステップＳ１０４´）。いずれの成分も所定値を超えていない場合、処理は、ステップＳ１０２に復帰する。

一方、少なくとも１つの成分が所定値を超える場合、システム２０は、ＡＰＦ法による視覚追跡を行う（ステップＳ１０６）。

続いて、システム２０は、Ｖ_est（ｔ）のすべての成分が対応する所定値γ_i,jを超えるか否かを判断する（ステップＳ１０８´）。いずれの成分も対応する所定値γ_i,j以下である場合、処理は、ステップＳ１０２に復帰する。

一方、少なくとも成分が、対応する所定値γ_i,jを超える場合、システム２０は、ＡＰＦ法による視覚追跡を継続する（ステップＳ１０６）。

以上のような構成によっても、実施の形態１と同様の効果を奏することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態にかかるシステムの外観図である。 本発明の実施の形態にかかるシステムのハードウェア的構成を示すブロック図である。 コンデンセーション法とＡＰＦ法のサンプリング法の違いによるパーティクルの分布の違いを示す図である。 パーティクルの分布の違いから生じるターゲットへの収束速度の違いを示す図である。 本発明の切替えアルゴリズムを説明するためのフローチャートである。 オンライン学習の実験を行った環境下での画像の例を示す図である。 図６で示した実験で得られた推定値の軌跡を示す図である。 学習の進行と推定値の標準偏差σ_estの関係を示す図である。 学習の進行とコンデンセーション法とＡＰＦ法の切り替えの様子を示す図である。 実験環境を示す図である。 推定値の軌跡を示す図である。 本発明の切替えアルゴリズムの変形例を説明するためのフローチャートである。

符号の説明

２０ システム（視覚追跡装置）、３０ カメラ、４０ コンピュータ本体、４２ モニタ。

Claims (12)

1. 対象物の物理量に関連する特徴量の観測データを準備する手段と、
   コンデンセーション法により前記対象物の前記特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡する手段と、
   前記コンデンセーション法による前記対象物の物理量の推定値の分散が所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡する手段と、
   前記オーグジリアリ パーティクルフィルター法による前記対象物の物理量の推定値の分散が所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡する手段とを備える、推定装置。
2. 対象物を含む対象画像領域内の各画素の値のデジタルデータを準備する手段と、
   前記対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして前記対象物の位置を実時間で推定して抽出し追跡する手段と、
   前記コンデンセーション法による前記対象物の位置の推定値の分散が所定値を越えることに応じて、前記対象となる画像領域内において、前記コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により前記重みを用いて、前記対象物の位置を実時間で推定して抽出し追跡する手段と、
   前記オーグジリアリ パーティクルフィルター法による前記対象物の位置の推定値の分散が所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の位置を実時間で推定して抽出し追跡する手段とを備える、推定装置。
3. 前記対象物の特徴量は、前記対象物の色である、請求項２記載の推定装置。
4. 観測装置が、対象物の物理量に関連する特徴量の観測データを取得するステップと、
   演算装置が、コンデンセーション法により前記対象物の前記特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
   前記演算装置が、前記コンデンセーション法による前記対象物の物理量の推定値の分散が所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
   前記演算装置が、前記オーグジリアリ パーティクルフィルター法による前記対象物の物理量の推定値の分散が所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡するステップとを備える、推定方法。
5. 撮像装置が、対象物を含む対象画像領域内の各画素の値のデジタルデータを取得するステップと、
   演算装置が、前記対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして前記対象物の位置を実時間で推定して抽出し追跡するステップと、
   前記演算装置が、前記コンデンセーション法による前記対象物の位置の推定値の分散が所定値を越えることに応じて、前記対象となる画像領域内において、前記コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により前記重みを用いて、前記対象物の位置を実時間で推定して抽出し追跡するステップと、
   前記演算装置が、前記オーグジリアリ パーティクルフィルター法による前記対象物の位置の推定値の分散が所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の位置を実時間で推定して抽出し追跡するステップとを備える、推定方法。
6. 前記対象物の特徴量は、前記対象物の色である、請求項５記載の推定方法。
7. コンピュータに、対象物に関連する物理量を推定させる方法を実行させるためのプログラムであって、前記プログラムは、
   前記対象物の前記物理量に関連する特徴量の観測データを準備するステップと、
   コンデンセーション法により前記対象物の特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
   前記コンデンセーション法による前記対象物の物理量の推定値の分散が所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
   前記オーグジリアリ パーティクルフィルター法による前記対象物の物理量の推定値の分散が所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡するステップとを備える、プログラム。
8. 対象物の物理量に関連する特徴量の観測データを準備する手段と、
   コンデンセーション法により前記対象物の前記特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡する手段と、
   前記コンデンセーション法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡する手段と、
   前記オーグジリアリ パーティクルフィルター法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡する手段とを備える、推定装置。
9. 対象物を含む対象画像領域内の各画素の値のデジタルデータを準備する手段と、
   前記対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして前記対象物の位置を実時間で推定して抽出し追跡する手段と、
   前記コンデンセーション法による前記対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、前記対象となる画像領域内において、前記コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により前記重みを用いて、前記対象物の位置を実時間で推定して抽出し追跡する手段と、
   前記オーグジリアリ パーティクルフィルター法による前記対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の位置を実時間で推定して抽出し追跡する手段とを備える、推定装置。
10. 観測装置が、対象物の物理量に関連する特徴量の観測データを取得するステップと、
    演算装置が、コンデンセーション法により前記対象物の前記特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
    前記演算装置が、前記コンデンセーション法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
    前記演算装置が、前記オーグジリアリ パーティクルフィルター法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡するステップとを備える、推定方法。
11. 撮像装置が、対象物を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、
    演算装置が、前記対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして前記対象物の位置を実時間で推定して抽出し追跡するステップと、
    前記演算装置が、前記コンデンセーション法による前記対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、前記対象となる画像領域内において、前記コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により前記重みを用いて、前記対象物の位置を実時間で推定して抽出し追跡するステップと、
    前記演算装置が、前記オーグジリアリ パーティクルフィルター法による前記対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の位置を実時間で推定して抽出し追跡するステップとを備える、推定方法。
12. コンピュータに、対象物に関連する物理量を推定させる方法を実行させるためのプログラムであって、前記プログラムは、
    前記対象物の前記物理量に関連する特徴量の観測データを準備するステップと、
    コンデンセーション法により前記対象物の特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
    前記コンデンセーション法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
    前記オーグジリアリ パーティクルフィルター法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡するステップとを備える、プログラム。

Images