JP6792195B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置にかかり、特に、画像内のオブジェクトを追跡する画像処理装置に関する。

カメラを用いたオブジェクト追跡として、特許文献１の技術が知られている。特許文献１では、画像中から移動物体と一時的な静止物体とを検出し、これまでの追跡結果と対応付けて物体を追跡する方法を開示している。そして、特許文献１の方法では、状態予測の際に、場所に応じて、静止状態あるいは移動状態のいずれかの状態を優先させて物体を追跡している。

特開２０１６−１８３７４号公報

しかしながら、上述した特許文献１の方法では、すれ違い等の状況で、複数のオブジェクト間で対応付けを一度誤ってしまうと、その後で修正して追跡することができない、という問題があった。これは、オブジェクトはそれぞれ状態を持っているが、個別のオブジェクトの状態を１つに決定し、状態の更新を実施しているためである。つまり、移動物体検出結果か静止物体検出結果のいずれかを選択し、それに応じてオブジェクトの状態の更新を行っているため、上述した問題が生じる。

このように、上述した技術では、仮に移動物体検出あるいは静止物体検出の選択に誤りがあった場合には、それに応じて状態が更新されてしまい、その後の追跡を誤ってしまうという問題があった。従って、オブジェクトの追跡精度が低下する、という問題が生じる。

このため、本発明の目的は、上述した課題である、オブジェクトの追跡精度が低下する、ことを解決することができる画像処理装置を提供することにある。

本発明の一形態である画像処理装置は、
映像を構成する画像からオブジェクトを検出する検出部と、
追跡対象であるオブジェクトが取り得る複数の状態毎に、当該オブジェクトの変数を予測する予測部と、
画像から検出されたオブジェクトと、追跡対象であるオブジェクトの予測した変数と、に基づいて、追跡対象であるオブジェクトと画像から検出されたオブジェクトとの対応づけ及びオブジェクトの状態の選択を含む対応付け処理を行う対応付け部と、
前記対応付け処理の結果に基づいて、追跡対象であるオブジェクトの追跡を行うと共に、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する更新部と、を備え、
前記予測部は、さらに、更新された複数の状態毎のオブジェクトの変数に基づいて、当該状態毎に追跡対象であるオブジェクトの変数を予測する、
という構成をとる。

また、本発明の一形態であるプログラムは、
情報処理装置に、
映像を構成する画像からオブジェクトを検出する検出部と、
追跡対象であるオブジェクトが取り得る複数の状態毎に、当該オブジェクトの変数を予測する予測部と、
画像から検出されたオブジェクトと、追跡対象であるオブジェクトの予測した変数と、に基づいて、追跡対象であるオブジェクトと画像から検出されたオブジェクトとの対応づけ及びオブジェクトの状態の選択を含む対応付け処理を行う対応付け部と、
前記対応付け処理の結果に基づいて、追跡対象であるオブジェクトの追跡を行うと共に、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する更新部と、
を実現させ、
前記予測部は、さらに、更新された複数の状態毎のオブジェクトの変数に基づいて、当該状態毎に追跡対象であるオブジェクトの変数を予測する、
という構成をとる。

また、本発明の一形態である画像処理方法は、
映像を構成する画像からオブジェクトを検出し、
追跡対象であるオブジェクトが取り得る複数の状態毎に、当該オブジェクトの変数を予測し、
画像から検出されたオブジェクトと、追跡対象であるオブジェクトの予測した変数と、に基づいて、追跡対象であるオブジェクトと画像から検出されたオブジェクトとの対応づけ及びオブジェクトの状態の選択を含む対応付け処理を行い、
前記対応付け処理の結果に基づいて、追跡対象であるオブジェクトの追跡を行うと共に、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新し、
さらに、更新された複数の状態毎のオブジェクトの変数に基づいて、当該状態毎に追跡対象であるオブジェクトの変数を予測する、
という構成をとる。

本発明は、以上のように構成されることにより、映像中のオブジェクトの追跡精度の向上を図ることができる。

本発明の第１の実施形態における情報処理装置の構成を示すブロック図である。 図１に開示した情報処理装置による画像処理の内容を示す図である。 図１に開示した情報処理装置による画像処理の内容を示す図である。 図１に開示した情報処理装置による画像処理の内容を示す図である。 図１に開示した情報処理装置の動作を示すフローチャートである。 図１に開示した情報処理装置による画像処理に用いられるモデルの一例を示す図である。 図１に開示した情報処理装置による画像処理に用いられるモデルの一例を示す図である。 図１に開示した情報処理装置による画像処理に用いられるモデルの一例を示す図である。 本発明の第２の実施形態における画像処理装置の構成を示すブロック図である。

［実施形態１］
本発明の第１の実施形態を、図１乃至図８を参照して説明する。図１は、実施形態１における情報処理装置の構成を説明するための図である。図２乃至図４は、画像処理の内容を説明するための図である。図５は、画像処理の様子を示すフローチャートである。図６乃至図８は、画像処理に用いられるモデルの一例を説明するための図である。

本発明は、カメラと言った撮像装置を用いて所定場所の映像を撮影し、かかる映像を構成する画像に写っている人物や車などのオブジェクトを検出して、追跡する目的で利用するものである。このため、本発明は、映像を構成する画像を処理する画像処理装置としての情報処理装置１００を備えて構成されている。

本実施形態における情報処理装置１００は、演算装置や記憶装置を備えた一般的な情報処理装置である。情報処理装置１００は、撮像装置とは別個に存在するパーソナルコンピュータやサーバコンピュータであってもよく、撮像装置に組み込まれた演算装置及び記憶装置からなるコンピュータで構成されていてもよい。

また、撮像装置は、ネットワークに接続されたいわゆるＩＰ（Internet Protocol）カメラであってもよい。この場合、ＩＰカメラは、撮影した映像を構成する画像を、ネットワークを介して画像処理を行うコンピュータに送信する。あるいは、ＩＰカメラは、当該ＩＰカメラに搭載されたコンピュータによって追跡処理を行い、その追跡処理結果をネットワークを介して他のコンピュータ等に出力してもよい。

情報処理装置１００は、図１に示すように、演算装置がプログラムを実行することで構築された、オブジェクト検出部１０１（検出部）、状態毎オブジェクト記述変数予測部１０２（予測部）、検出・追跡結果対応付け部１０３（対応付け部）、追跡対象状態・オブジェクト記述変数更新部１０４（更新部）、を備えている。

上記オブジェクト検出部１０１は、映像を構成する個々の画像（フレーム画像）の入力を受け付けて、入力された画像に対してオブジェクト検出を行い、オブジェクト検出結果を検出・追跡結果対応付け部１０３へ出力する。状態毎オブジェクト記述変数予測部１０２は、追跡対象状態・オブジェクト記述変数更新部１０４から出力される、今までに求まっている各追跡対象に対する状態毎のオブジェクト記述変数情報に基づいて各追跡対象オブジェクトのオブジェクト記述変数の現在の値を状態毎に予測し、状態毎のオブジェクト記述変数予測結果を検出・追跡結果対応付け部１０３へ出力する。

検出・追跡結果対応付け部１０３は、状態毎オブジェクト記述変数予測部１０２から出力される状態毎のオブジェクト記述変数予測結果と、オブジェクト検出部１０１から出力されるオブジェクト検出結果とを用いて、両者の対応関係を求め、検出・追跡対応付け結果として追跡対象状態・オブジェクト記述変数更新部１０４へ出力する。追跡対象状態・オブジェクト記述変数更新部１０４は、入力される画像と、検出・追跡結果対応付け部１０３から出力される検出・追跡対応付け結果とから、追跡結果を求めるとともに、追跡対象オブジェクトの状態とオブジェクト記述変数の値を更新し、状態毎オブジェクト記述変数予測部１０２へ状態毎のオブジェクト記述変数情報を出力する。

次に、上述した情報処理装置１００の構成及び動作の詳細を説明する。

＜オブジェクトの状態とオブジェクト記述変数＞
まず、以下では、「状態」と「オブジェクト記述変数」という言葉を区別して用いる。ここで「状態」とは、各オブジェクトがとりえる離散的な有限数の状態のことを指す。例えば、静止状態、移動状態、といったものが状態に相当し、特許文献１で述べている動作状態に相当する。ただし、状態はこれに限らず、それ以外の状態も定義し得る。

一方、オブジェクトの位置や速度、明るさや、各状態をとりえる尤度などの情報（通常連続値をとりえる）は、「オブジェクト記述変数」と述べることとし、上述の状態とは区別して用いる（詳細は後述）。

また、「オブジェクト」は、車や荷物などの物体だけでなく、人物や人物が乗った物体なども含むものとする。そして、画面内の少なくとも１つのエリアで、オブジェクトは少なくとも２つ以上の状態をとりえるものとする。なお、オブジェクトのとりえる状態の数、種類は、オブジェクトの種別、画面内の領域によって変わってもよい。

＜オブジェクト検出部１０１＞
オブジェクト検出部１０１は、入力される画像に対してオブジェクト検出を行い、結果をオブジェクト検出結果として出力する。例えば、映像を構成する連続するフレーム画像が入力される度に、順次、オブジェクト検出を行い、検出結果を検出・追跡結果対応付け部１０３に出力する。

ここで、オブジェクトが人物の場合、人物の画像特徴を学習した検出器を用いて、人物領域を検出する。例えば、HOG（Histograms of Oriented Gradients）特徴に基づいて検出する検出器や、CNN（Convolutional Neural Network）を用いて画像から直接検出する検出器を用いてもよい。あるいは、人全体ではなく、人の一部の領域（例えば頭部など）を学習させた検出器を用いて人物を検出するようにしてもよい。オブジェクトが車の場合も同様に、車両の画像特徴を学習させた検出器を用いて検出することが可能である。オブジェクトがそれ以外の特定物体の場合も、その特定物体の画像特徴を学習させた検出器を構築し、用いるようにすればよい。

検出されたオブジェクトの情報は、オブジェクト検出結果として出力される。オブジェクト検出結果には、検出された「オブジェクトの数」と、検出された個々の「オブジェクトの情報」を含む。

上記検出された個々の「オブジェクトの情報」は、そのオブジェクトの検出位置を含む。ここで、検出位置は、オブジェクトの接地位置であってもよいし、オブジェクトの中心位置であってもよい。また、位置情報は、画面上の二次元の座標であってもよいし、カメラの姿勢パラメータを用いて、実世界上の座標（例えばフロア上の位置）に変換したものであってもよい。カメラの姿勢パラメータは、既知の方法で事前にキャリブレーションを行うことによって求めることができる。

また、上記オブジェクトの情報は、オブジェクトの大きさを表す情報を含んでいてもよい。具体的には、画像上でのオブジェクト領域の外接矩形の情報であったり、オブジェクトの幅、高さ情報であったりする。また、オブジェクトの形状を表す情報を含んでいてもよい。たとえば、オブジェクト領域を表すシルエット情報やＭＰＥＧ−７のシェイプディスクリプタを抽出した値などを含んでいてもよい。ここで、シルエット情報とは、オブジェクト領域の内部の画素と外部の画素を区別する情報であり、例えば、内部の画素値を255、外部の画素値を0に設定した画像情報である。

また、オブジェクトの情報は、オブジェクトの外見の特徴量を含んでいてもよい。例えば、オブジェクトの色や模様、形状などの特徴量も含んでいてもよい。さらに、オブジェクトの情報は、検出の確からしさを表す尤度を記述する情報も含んでいてもよい。尤度情報とは、尤度の算出に用いる情報であり、オブジェクト検出時のスコアの値や、検出されたオブジェクトのカメラからの距離、大きさなど、検出の確からしさに関連する情報である。あるいは、オブジェクトの尤度自体を算出し、尤度情報としてもよい。求まったオブジェクト検出結果は、検出・追跡結果対応付け部１０３へ出力される。

＜状態毎オブジェクト記述変数予測部１０２＞
状態毎オブジェクト記述変数予測部１０２は、追跡対象状態・オブジェクト記述変数更新部１０４から出力される、今までに求まっている各追跡対象オブジェクトに対する状態毎のオブジェクト記述変数情報に基づいて、各追跡対象オブジェクトのオブジェクト記述変数の現在の値を状態毎に予測する。

状態毎のオブジェクト記述変数情報とは、オブジェクトがとりえる各状態に対して求まるオブジェクト記述変数情報である。例えば、取りえるオブジェクトの状態が、移動状態と静止状態の場合には、それぞれの状態に対して求められたオブジェクト記述変数を含んでいる。そして、オブジェクト記述変数がオブジェクトの位置である場合には、そのオブジェクトが移動状態であると仮定したときの位置情報と、静止状態であると仮定したときの位置情報を含む。

＜オブジェクト記述変数の説明＞
ここで、上述した「オブジェクト記述変数」について詳述する。オブジェクト記述変数は、追跡中のオブジェクトの外見や位置など、オブジェクトの動作状況を記述する変数であり、位置や動きモデルのパラメータなどが含まれる。位置は、オブジェクトの画面内での座標であってもよいし、あるいは、オブジェクトの実空間上での座標であってもよい。

動きモデルのパラメータとしては、等速直線運動モデルの場合には、オブジェクトのその時点での速度を含む。オブジェクトの短時間での動きは等速直線運動で記述できることが多いため、よく用いられる。一方、加速度まで含んだ動きモデルを用いてもよい。この場合、さらに、加速度情報が追加される。なお、速度の情報も、画面上の座標系での速度情報であってもよいし、実空間座標系での情報であってもよい。あるいは、行列のように、ある一定の規則に従ってオブジェクトが並んで一次元的に動く場合には、その位置を表す一次元のパラメータを動きモデルパラメータとしてもよい。例えば、図２に示すように、先頭から行列の並びに沿った座標軸を定義し、人物の位置をその座標上の数値として表すようにしてもよい。この場合は、行列に沿った座標系での位置の予測値になり、一定の速度で行列が前に動いている場合には、一定の速度で座標値が減少するように予測する。

また、オブジェクト記述変数には、外見の変化を表す情報が含まれていてもよい。例えば、明滅して飛行する飛翔体がオブジェクトの場合には、オブジェクトの平均輝度を記述する変数をさらに含んでいてもよい。また、外見を記述する色や模様，形状などの視覚特徴量をオブジェクト記述変数として保持していてもよい。また、オブジェクトの姿勢の変化を表す量をオブジェクト記述変数として保持していてもよい。例えば、オブジェクトが人物の場合には、人物の見かけの高さ情報や、身長に対する見かけの高さの比率、あるいは、人物外接矩形の縦横比などが該当する。

また、オブジェクト記述変数に、各状態の尤度情報も含まれていてもよい。例えば、状態として静止状態、移動状態の２状態を含み、ある時点でオブジェクトが静止状態、移動状態である確からしさがそれぞれ0.8，0.2であった場合、この0.8と0.2という数値を尤度情報として含んでいてもよい。

このようなオブジェクト記述変数の値は、後述する追跡対象状態・オブジェクト記述変数更新部１０４で追跡結果とともに以前の時刻（以前の画像）に対して状態毎に求まっている。状態毎オブジェクト記述変数予測部１０２では、以前の時刻における状態毎の値に基づいて、現在のオブジェクト記述変数の値をオブジェクトのとりえる状態ごとに予測する。これを追跡中のオブジェクトのそれぞれに対して行う。

例えば、オブジェクト記述変数のうちの位置については、前回からの経過時間を考慮して、前回まで位置の値から現在の予測位置が算出される。この予測は、状態毎に定められた動きモデルに従って算出される。時刻tにおけるk番目のオブジェクトのs番目の状態に対する位置を［数１］とし、速度を［数２］とすると、時刻(t-Δt)前の状態からの時刻tにおける予測値［数３］は、［数４］となる。

ここで、［数５］は、k番目のオブジェクトのs番目の状態に対して、時刻(t-Δt)から時刻tにおける移動量の予測値を表しており、動きモデルによって定まる。

例えば、取りえる状態を静止状態と移動状態の２つとし、s=0を静止状態、s=1を移動状態とし、移動状態の動きモデルは等速直線運動であるとすると、s=0のときは移動しないため、［数６］となる。

一方、移動状態であるs=1のときは、［数７］となる。

ここで、［数７］中の項である［数８］は、実際の動きの運動モデルからのずれを表す項であり、例えば、ガウシアン分布を持つ乱数を発生させて得られる値を用いることができる。

また、位置が実空間の座標系の値の場合には、予測も実空間座標系で行うようにすればよい。これを画像上の座標値に戻すには、カメラの姿勢情報を表すカメラパラメータを用いれば変換可能である。

また、オブジェクト記述変数の中に輝度など、外見に関連する情報を含んでいる場合、その情報の時間に対する変動をモデル化しておき、モデルに基づいて時刻tの値を予測してもよい。例えば、輝度Iが正弦関数に従って変化する場合には、［数９］のように表すことができる。この場合、この式を用いて時刻tの輝度Iを予測してもよい。

また、オブジェクト自体の輝度がオブジェクト自体の明度の変化ではなく、環境にある照明の影響によって変わる場合には、画面内の各場所における照明の状態を記述した情報を別途用意しておき、その情報を用いて、オブジェクトが移動する移動先の位置を求め、その位置におけるオブジェクトの明るさを予測するようにしてもよい。

また、特徴量についても位置によって変化する場合には、位置に応じて値を予測するようにしてもよい。例えば、物体のテクスチャ情報は、カメラから遠ざかるにつれ、不鮮明になるため、それに応じて特徴量も変化する。このため、カメラからの距離や、あるいは、オブジェクトの画面上のサイズに応じて、特徴量の変化を予測し、用いるようにしてもよい。

また、オブジェクト記述変数に姿勢に関する情報が含まれる場合には、その変化をモデル化し、予測するようにする。例えば、オブジェクトが人物であり、見かけの高さをオブジェクト記述情報に含み、人物の状態がしゃがみ・屈み状態を含む場合、しゃがみ・屈み状態に対しては、人物がしゃがんでいく過程において、人物の見かけの高さが一定の割合で減少していくように予測してもよい。

状態毎オブジェクト記述変数予測部１０２は、上述のようにして求まった状態毎のオブジェクト記述変数予測結果を、検出・追跡結果対応付け部１０３へ出力する。

＜検出・追跡結果対応付け部１０３＞
検出・追跡結果対応付け部１０３は、状態毎オブジェクト記述変数予測部１０２から出力される状態毎のオブジェクト記述変数予測結果と、オブジェクト検出部１０１から出力されるオブジェクト検出結果とを用いて、両者の対応関係を求める。

現在追跡中のオブジェクトの数をＫ個、検出されたオブジェクトの数をM個とし、K個の追跡オブジェクトとM個の検出オブジェクトとの間で対応付けを行う。まず、k番目の追跡オブジェクトとm番目の検出オブジェクトとが対応づく尤度（これをq_k,mとする）を算出する。k番目の追跡オブジェクトのとりえる状態がS_k個であるとし、k番目の追跡オブジェクトの状態がsであると仮定したときの両者が対応づく尤度を［数１０］で表すとすると、最も値が大きくなる尤度を、k番目の追跡オブジェクトとm番目の検出オブジェクトの対応付け尤度とする（図３参照）。すなわち、［数１１］により、q_k,mを求める。また、尤度が最大となる状態を選択し、「選択された状態」とする。

ここで、尤度［数１０］は、両者の距離の近さに基づいて、近いほど大きくなる値とすればよい。すなわち、［数１２］のベクトルの長さが小さいほど大きくなる値とする。

具体的には、例えば、距離に関する単調非増加関数により、距離と尤度の関係をモデル化し、モデルに基づいて距離から尤度を求めるようにすればよい。例えば、負の指数分布を用いてモデル化することが考えらえる。この尤度を［数１３］で表すことにすると、［数１４］となる。

また、オブジェクトの検出結果と、追跡オブジェクトのオブジェクト記述変数予測情報がともに視覚特徴量などの外見情報を含む場合には、それらの類似度も一緒に考慮して、尤度を決定してもよい。すなわち、類似度に関する単調非減少関数を用いて、類似度を尤度に変換し（これを［数１５］とする）、得られた値と前述の距離による尤度を掛け合わせて全体の尤度としてもよい。この場合は、［数１６］となる。なお、類似度による尤度とオブジェクト位置の近さによる尤度の統合方法としては、単純に掛け算する以外にも様々な方法が適用可能である。

さらに、検出オブジェクトmの検出の確からしさを表す尤度（これを［数１７］とする）や、追跡オブジェクトkの追跡の確からしさを表す尤度（これを［数１８］とする）も考慮して、尤度q_k,mを算出してもよい。この場合は、さらにこれらの尤度を掛け合わせたものがq_k,mとなる。すなわち、［数１９］となる。

このようにして各追跡オブジェクトk=1,...,Kと、各検出オブジェクトm=1,...,Mの間の対応付けの尤度が求まるため、これに基づいて例えば、単調非増加関数によって尤度をコストに変換したのち、ハンガリアン法などのアルゴリズムによって対応関係を求めることができる。

なお、検出オブジェクトの中には、新規に現れたオブジェクトやオブジェクトの誤検出により、追跡オブジェクトと対応づかないオブジェクトが含まれる可能性がある。一方、追跡オブジェクトの中には、カメラの画角外に消えたり、未検知のオブジェクトだったりといった理由で、検出オブジェクトと対応づかないオブジェクトが含まれる場合がある。これらの存在を考慮し，追跡オブジェクト側にM個のダミーノードを追加し、検出オブジェクト側にK個のダミーノードを追加してハンガリアン法を行うようにしてもよい。

ダミーノードを追加した場合の対応づけについて、図４を用いて説明する。図４は、追跡対象オブジェクトの数K=2、検出オブジェクトの数M=3の時を示している。このため、追跡側に３個のダミーノードを追加し、検出側に２個のダミーノードを追加している。このようにしてから、ハンガリアン法で対応づけを求めるようにしてもよい。この際、追跡対象オブジェクトとダミーノードとの間の対応づけの尤度は、ダミーノードが誤検出である確率や追跡対象オブジェクトが画面外に消失した確率に基づいて算出できる。一方、検出オブジェクトとダミーノードとの対応づけの尤度は、検出オブジェクトが未検出である確率や新規追跡対象オブジェクトが画面内に入ってくる確率に基づいて算出できる。

ダミーノードと対応づいたものについては、実際には対応づかなかったものとして扱う。すなわち、検出オブジェクトのダミーノードと対応づいた追跡オブジェクトについては、対応づく検出オブジェクトがなかったものとして扱う。逆に、追跡オブジェクトのダミーノードと対応づいた検出オブジェクトについては、対応づく追跡オブジェクトがなかったものとして扱う。

得られた対応付けの結果は、検出・追跡対応付け結果として追跡対象状態・オブジェクト記述変数更新部１０４へ出力される。このとき、検出・追跡対応付け結果には、オブジェクト検出部１０１で検出されたオブジェクトの情報や、状態毎オブジェクト記述変数予測部１０２で算出された状態毎のオブジェクト記述変数の予測値も含められて、追跡対象状態・オブジェクト記述変数更新部１０４へ出力される。

＜追跡対象状態・オブジェクト記述変数更新部１０４＞
追跡対象状態・オブジェクト記述変数更新部１０４では、入力される画像と、検出・追跡結果対応付け部１０３から出力される検出・追跡対応付け結果とから、追跡結果を求めるとともに、追跡対象オブジェクトの状態と、状態毎におけるオブジェクト記述変数の値を更新する。

ここでは、各追跡オブジェクトに対応づいた検出オブジェクトの情報と、そのときに選択されたオブジェクトの状態に応じて、オブジェクト記述変数の値を更新する。また、各追跡オブジェクトが各状態をとっている確率を状態の尤度を［数２０］で表し、その中で最も尤度が高い状態をそのオブジェクトの最尤状態（あるいは単に状態）と呼ぶことにする。なお、各状態の尤度は、例えば、はじめは全て同一の値に設定されており、後述するように、検出・追跡結果対応付け部１０３で「選択された状態」に応じて算出されてもよく、あるいは、他の方法で算出されてもよい。

各追跡オブジェクトのオブジェクト記述変数の更新方法は、その追跡オブジェクトの各状態の尤度に応じて切り替える。ここで、各状態の尤度に基づいて総合的に定まる状態を、オブジェクトの「総合状態」と呼ぶこととする。そして、各状態の尤度に基づいて「総合状態」を決定し、決定した総合状態に応じて、更新方法を切り替える。例えば、最尤状態を総合状態とし、最尤状態が何であるかによって更新方法を切り替える。あるいは、最尤状態だけでなく、他の状態との尤度の差を用いて総合状態を決定し、更新するようにしてもよい。例えば、最尤状態と他の状態との差がある一定の閾値以上で十分大きいと見做せる場合に、最尤状態を総合状態とし、更新を実施する。ある一定の閾値より小さい場合には、総合状態が最尤状態と２番目に尤度が大きい状態の中間に位置すると捉え、例えば、２番目に尤度が大きい状態も考慮して更新を実施する。なお、オブジェクト記述変数の更新方法を表す算出式が複数用意されており、予め各総合状態と対応づけて記憶されている。

以下では、最尤状態を総合状態として決定する場合について述べる。そして、取り得る状態が静止状態と移動状態の２つである場合に、オブジェクトの最尤状態に基づいて、静止状態と移動状態の２つの状態毎に、オブジェクト記述変数を更新する場合について述べる。

最尤状態が静止状態、つまり総合状態が静止状態である場合、そのオブジェクトは静止している可能性が高いと考えられ、このことに基づいてオブジェクト記述変数の更新を行う。具体的に、対応付けにおいて選択された状態が静止状態の場合には、静止状態の位置は更新せず、移動状態の位置も、静止状態の位置によって更新する。例えば、カルマンフィルタを用いている場合には、カルマンフィルタの更新を、対応づいた検出オブジェクトの位置によって更新する。一方、対応付けにおいて選択された状態が移動状態の場合には、すれ違い等で対応付けが誤っている可能性もあるため、静止状態に対する位置は更新せず、移動状態の位置のみ検出オブジェクトの位置によって更新する。

最尤状態が移動状態、つまり総合状態が移動状態である場合、そのオブジェクトは移動している可能性が高いと考えられ、このことに基づいて更新を行う。具体的に、対応付けにおいて選択された状態が静止状態の場合には、すれ違い等で対応付けが誤っている可能性もあるため、静止状態の位置は、検出オブジェクトの位置情報によって更新するが、移動状態の位置は、検出オブジェクトの位置では更新せず、予測した値のままとする。一方、選択された状態が移動状態の場合には、静止状態の位置は、検出オブジェクトの位置で更新する。ただし、静止状態であるため、速度は0のままとする。移動状態については、検出オブジェクトの位置によって更新を行う。

各追跡オブジェクトのオブジェクト記述変数の更新が完了したら、状態の尤度も更新する。基本的には、選択された状態の尤度が高くなるようにし、それ以外の状態の尤度は下がるように更新する。例えば、選択された状態の尤度をΔPだけ増加させ、それ以外の状態の尤度を少しずつ下げ、選択状態以外の状態に対する尤度減少量の総和がΔPになるようにすればよい。尤度の減少分の各状態への配分方法についてはいろいろ考えるが、均等に配分するようにしてもよい。あるいは、減じると尤度がマイナスになってしまう状態がある場合には、その状態の尤度の減少分を減らし、マイナスにならないようにして、他の状態の減少分を増やすようにしてもよい。そして、全状態の尤度の和は1になるようにする。

そして、最尤状態が他の状態に変わった時点で、このオブジェクトの状態が遷移したとみなす。すなわち、最尤状態が静止状態だった状態から、何回か移動状態が選択され、更新の結果、移動状態の尤度の方が静止状態の尤度より高くなった場合に、オブジェクトの状態が静止状態から移動状態に変化したとみなす。

２状態の場合は、互いの状態に遷移可能であるが、３状態以上の場合には、特定の状態間の遷移のみを許可するようにすることもできる。この場合、現時点での最尤状態に応じて、次の状態として選べる状態を限定するようにすればよい。すなわち、状態毎オブジェクト記述変数情報に含める状態を、そのオブジェクトが遷移可能な状態に限定すればよい。

例えば、オブジェクトが人物で、状態として移動状態、直立静止状態、しゃがみ・屈み状態の３状態を考える場合、移動状態から直接しゃがみ・屈み状態には遷移しないようにし、移動状態からは直立静止状態のみに遷移可能なようにしてもよい。逆に、しゃがみ・屈み状態からも移動状態には直接遷移せず、しゃがみ・屈み状態からは、直立静止状態にのみ遷移するようにしてもよい。これは、店舗等での顧客行動で、移動状態から立ち止まって、さらにしゃがんだり、屈んだりして品物を見るといった行動のモデル化に適している。

また、追跡オブジェクトの中で、検出オブジェクトと対応づかないものがあったり、検出オブジェクトの中で、追跡オブジェクトと対応づかないものがあったりした場合には、新規追加、削除処理を行う。

追跡オブジェクトと対応づかない検知オブジェクトが存在する場合には、そのオブジェクトが新規に現れたオブジェクトとみなせるかどうかを評価し、新規に現れた可能性が高い場合に、新規に追跡オブジェクトを追加する。例えば、検知オブジェクトの尤度（検出スコア）が高く、かつ、近くには対応づく追跡結果が存在しない場合に、新規に現れたとみなし、追跡オブジェクトを生成してもよい。あるいは、画面の縁の部分や、出入口がある領域の近くで検知された場合には、新たにカメラの視界に入ってきたオブジェクトである可能性が高い。このような場合も、新規に現れたオブジェクトとみなして、対応する追跡オブジェクトを生成してもよい。

一方、検出オブジェクトと対応づかない追跡オブジェクトが存在する場合には、そのオブジェクトが消えたオブジェクトとみなせるかどうかを評価し、消えた可能性が高い場合には、その追跡オブジェクトを削除する。例えば、過去の少し前のフレームから連続して対応づいていない追跡オブジェクトの場合は、追跡の確からしさを表す尤度を徐々に下げていき、尤度がある一定値以下になったときに削除するようにしてもよい。あるいは直前のフレームで画面の縁の近くの位置にあったり、あるいは出入口近くにあったりした追跡オブジェクトについては、尤度の下げ幅を大きくしてもよい。

最終的に得られた各追跡オブジェクトのオブジェクト記述情報のうち、追跡結果として必要な情報を抜き出して、あるいは、変換してオブジェクト追跡結果として出力する。追跡結果は、少なくとも各追跡オブジェクトの位置情報を対応する時刻情報と関連させて含むが、それ以外に、オブジェクトの外接矩形など、画面に情報を重畳させて結果を表示するのに必要な情報も一緒に出力するようにしてもよい。あるいは、地図上にマッピングする必要がある場合には、各オブジェクトの位置情報を地図上の座標に変換して追跡結果に含めるようにしてもよい。

一方、追跡結果に含まれない情報も含め、各オブジェクトのオブジェクト記述変数情報は、各状態に対して記録される。また、状態毎オブジェクト記述変数予測部１０２へ状態毎のオブジェクト記述変数情報として出力され、次の状態毎のオブジェクト記述変数の予測に使用される。

次に、上述の動作のうち、状態毎オブジェクト記述変数予測部１０２、検出・追跡結果対応付け部１０３、追跡対象状態・オブジェクト記述変数更新部１０４において実行される追跡の部分の動作について、図フローチャートを用いて説明する。オブジェクト検出部１０１で実行されるオブジェクトの検出は、これとは別に行われ、その結果がフレーム画像毎に検出・追跡結果対応付け部１０３に入力されるものとする。

ステップＳ１では、状態毎オブジェクト記述変数予測部１０２において、前のフレームで算出された各追跡オブジェクトに対して、状態別に現時刻におけるオブジェクト記述変数の値を予測する。最初のフレームでは、追跡オブジェクトが存在しないため、ここでは何もしない。また、前のフレームの処理の結果、追跡オブジェクトが存在しない場合も同様である。

ステップＳ２では、オブジェクト検出部１０１で算出されたオブジェクト検出結果が検出・追跡結果対応付け部１０３に入力され、各追跡オブジェクトと各検出オブジェクトの対応付け尤度を状態別に算出する。そして、追跡オブジェクトと検出オブジェクトの各ペアにたいして、最も尤度が高くなる状態とその時の尤度を算出する。

ステップＳ３では、検出・追跡結果対応付け部１０３において、追跡オブジェクトと検出オブジェクトの対応付けが行われる。

ステップＳ４では、追跡対象状態・オブジェクト記述変数更新部１０４において、各追跡オブジェクトの状態を更新する。

ステップＳ５では、追跡対象状態・オブジェクト記述変数更新部１０４において、対応づかなかった追跡オブジェクト、検出オブジェクトの結果に基づいて、追跡オブジェクトの新規生成、削除を行い、追跡結果を生成する。最初のフレーム等で追跡オブジェクトが存在しない場合には、全ての検出オブジェクトが未対応状態となるため、各検出オブジェクトに対応する追跡オブジェクトを生成する。

ステップＳ６では、処理したフレームが最後のフレームかどうかを確認し、最後のフレームの場合には処理を終了し、そうでない場合には、ステップＳ１に戻り、次に処理対象となるフレームの処理に移る。

＜効果＞
以上のように、本発明によると、オブジェクトの各状態の尤度を考慮しつつ、オブジェクトの変数の更新を行うことで、すれ違い等で誤って追跡対象と検出対象とが対応づいてしまった場合であっても、状態が遷移する間であれば、以前の状態を保持しつつ状態の更新が行われる。このため、その後、正しい対応付けの方が全体としての尤度が高くなれば、正しい対応関係に復旧することができる。

具体的に、本発明では、追跡対象であるオブジェクトの変数を、複数の状態毎に予測し、かつ、複数の状態毎に更新している。このように、追跡対象であるオブジェクトの変数を、状態毎に更新して予測することで、取り得る可能性のある状態毎の変数を以後の画像に利用することができる。このため、仮に追跡対象であるオブジェクトと検出したオブジェクトとの対応付けを誤ってしまった場合であっても、その後正しい対応付けを行うことができる。その結果、映像を構成する画像内のオブジェクトの追跡精度の向上を図ることができる。

次に，状態モデルの例について、図６乃至図８を参照して説明する。

＜２状態モデルの例＞
以下では、オブジェクトの状態が「移動状態」、「静止状態」の場合について述べる。移動状態は、オブジェクトが移動している状態、静止状態は、オブジェクトが静止している状態である。この場合の状態遷移を図６に示す。

このような状態モデルは、例えば、行列内で待っている人物の追跡に用いることができる。あるいは、店舗等でも、顧客が移動しているか、止まっているかの大きく２つの状態に分けて顧客の行動を捉えることができるため、２状態のモデルを用いて追跡することができる。あるいは、オブジェクトが車の場合にも、移動状態、静止状態の２状態のモデルを用いることができる。あるいは、交差点での人と車の動きなど、異なる種類のオブジェクトが存在する場合にも適用できる。この場合は、オブジェクトごとに、各状態で用いる予測モデルを変えてもよい。

＜３状態モデルの例＞
以下では、３状態モデルの例として、オブジェクトが人物で、状態が「移動状態」、「直立静止状態」、「しゃがみ・屈み状態」の場合について述べる。移動状態は上述の２状態モデルの場合と同様である。直立静止状態は、静止して立っている状態である。一方、しゃがみ・屈み状態は、静止した状態で、かつ、体を斜めにかがめたり、しゃがんだりしている状態である。位置は静止したままだが、姿勢が変動し、例えば見かけの高さ等が大きく変わるのが特徴である。この場合の状態遷移を図７に示す。

図７に示すように、移動状態と直立静止状態間、および、直立静止状態としゃがみ・屈み状態間は、互いに遷移し得るが、移動状態としゃがみ・屈み状態間では直接は遷移しない。これは、これらの状態間の遷移では、その間に直立静止状態を伴うのが通常であると考えられるためである。

このような状態モデルは、例えば、店舗において、顧客の行動を、移動状態、立ち止まって商品等を見る直立静止状態、棚の下の方にある商品を見たり、商品に手を伸ばしたりする際のしゃがみ・屈み状態の３つに分けて捉え、顧客を追跡するときに用いることができる。あるいは、物流倉庫等で、オーダーに応じて商品を棚から集めてくる場所の従業員の動線の抽出等に用いることができる。

＜４状態モデルの例＞
以下では、オブジェクトが人物で状態が「移動状態」、「直立静止状態」、「しゃがみ・屈み状態」、「座り状態」の場合について述べる。座り状態以外は、３状態モデルの場合と同様である。座り状態は、椅子などに座った状態を示す。しゃがみ・屈み状態とは異なり、長時間にわたって位置や姿勢があまり変化しない状況が続くため、別の状態として定義し、予測モデルや追跡尤度の更新モデル等を制御したほうが追跡の精度が向上する。この場合の状態遷移を図８に示す。

この場合も、座り状態と移動状態間は直接は遷移させず、直立静止状態を経由して遷移するようにする。一方、直立静止状態、しゃがみ・屈み状態と座り状態の間は遷移可能とする。ただし、上述の通り、座り状態は、ある特定の場所でしか発生しないため、オブジェクトがそれ以外の場所にある場合には、座り状態に遷移させないようにしてもよい。すなわち、オブジェクトの位置に応じて、座り状態が取り得ない場所の場合には、上述の３状態モデルと同様に制御し、オブジェクトの位置が座り状態を取り得る場所においては、座り状態も含めて制御を行う。

このような状態モデルは、上述の３状態モデルの場合に加え、例えば、イートインコーナーやカウンター前に椅子があり、そこで座る動作が生じ得るような店舗で用いることができる。

＜実施形態２＞
次に、本発明の第２の実施形態を、図１０を参照して説明する。図１０は、本発明における情報処理装置の構成を示すブロック図である。

図１０に示すように、画像処理装置１０は、装備された演算装置にプログラムが実行されることで構築された、検出部１１と、予測部１２と、対応付け部１３と、更新部１４と、を備える。また、画像処理装置１０は、これら各部１１，１２，１３，１４で処理する情報あるいは処理された情報を一時的に記憶する記憶装置（図示せず）を備える。

上記検出部１１は、映像を構成する画像からオブジェクトを検出する。上記予測部１２は、追跡対象であるオブジェクトが取り得る複数の状態毎に、当該オブジェクトの変数を予測する。上記対応付け部１３は、画像から検出されたオブジェクトと、追跡対象であるオブジェクトの予測した変数と、に基づいて、追跡対象であるオブジェクトと画像から検出されたオブジェクトとの対応づけ及びオブジェクトの状態の選択を含む対応付け処理を行う。上記更新部１４は、対応付け処理の結果に基づいて、追跡対象であるオブジェクトの追跡を行うと共に、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する。そして、上記予測部１２は、さらに、更新された複数の状態毎のオブジェクトの変数に基づいて、当該状態毎に追跡対象であるオブジェクトの変数を予測する。

上記構成の画像処理装置１０によると、追跡対象であるオブジェクトの変数を、複数の状態毎に予測し、かつ、複数の状態毎に更新している。このように、追跡対象であるオブジェクトの変数を、状態毎に更新して予測することで、取り得る可能性のある状態毎の変数を以後の画像に利用することができる。このため、仮に追跡対象であるオブジェクトと検出したオブジェクトとの対応付けを誤ってしまった場合であっても、その後正しい対応付けを行うことができる。その結果、映像を構成する画像内のオブジェクトの追跡精度の向上を図ることができる。

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における画像処理装置、プログラム、画像処理方法の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。

（付記１）
映像を構成する画像からオブジェクトを検出する検出部と、
追跡対象であるオブジェクトが取り得る複数の状態毎に、当該オブジェクトの変数を予測する予測部と、
画像から検出されたオブジェクトと、追跡対象であるオブジェクトの予測した変数と、に基づいて、追跡対象であるオブジェクトと画像から検出されたオブジェクトとの対応づけ及びオブジェクトの状態の選択を含む対応付け処理を行う対応付け部と、
前記対応付け処理の結果に基づいて、追跡対象であるオブジェクトの追跡を行うと共に、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する更新部と、を備え、
前記予測部は、さらに、更新された複数の状態毎のオブジェクトの変数に基づいて、当該状態毎に追跡対象であるオブジェクトの変数を予測する、
画像処理装置。

（付記２）
付記１に記載の画像処理装置であって、
前記更新部は、追跡対象であるオブジェクトの状態毎の尤度に基づいて当該オブジェクトの状態を決定し、決定した状態に対応する方法を用いて、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する、
画像処理装置。

（付記３）
付記２に記載の画像処理装置であって、
前記更新部は、追跡対象であるオブジェクトの状態毎の尤度を、前記選択された状態に基づいて算出する、
画像処理装置。

（付記４）
付記２又は３に記載の画像処理装置であって、
前記更新部は、追跡対象であるオブジェクトの状態毎の尤度が最大である状態を、当該オブジェクトの状態として決定する、
画像処理装置。

（付記５）
付記１乃至４のいずれかに記載の画像処理装置であって、
前記更新部は、画像から検出されたオブジェクトの変数と、前記予測したオブジェクトの変数と、に基づいて、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する、
画像処理装置。

（付記６）
付記１乃至５のいずれかに記載の画像処理装置であって、
前記対応付け部は、画像から検出されたオブジェクトの変数と、追跡対象であるオブジェクトの予測した変数と、に基づいて、前記対応付け及び前記状態の選択を行う、
画像処理装置。

（付記７）
付記６に記載の画像処理装置であって、
前記対応付け部は、画像から検出されたオブジェクトの変数と、追跡対象であるオブジェクトの予測した変数と、に基づいて、状態毎に、追跡対象であるオブジェクトと検出されたオブジェクトとが対応付く尤度を算出し、当該算出した尤度に基づいて前記対応付け及び前記状態の選択を行う、
画像処理装置。

（付記８）
付記１乃至７のいずれかに記載の画像処理装置であって、
前記オブジェクトの変数は、オブジェクトの位置情報、オブジェクトの外見の変化を表す情報、オブジェクトの姿勢の変動を表す情報、および、オブジェクトの状態別の尤度情報、の少なくとも1つを含む、
画像処理装置。

（付記９）
付記１乃至８のいずれかに記載の画像処理装置であって、
前記オブジェクトが取り得る複数の状態は、オブジェクトの現在の状態に基づいて設定される、
画像処理装置。

（付記１０）
付記１乃至９のいずれかに記載の画像処理装置であって、
前記オブジェクトが取り得る複数の状態は、検出されたオブジェクトの位置情報に基づいて設定される、
画像処理装置。

（付記１１）
付記１乃至１０のいずれかに記載の画像処理装置であって、
前記状態は、静止状態及び移動状態を含む、
画像処理装置。

（付記１２）
付記１乃至１１のいずれかに記載の画像処理装置であって、
前記オブジェクトは、人物であり、
前記状態は、静止直立状態、移動状態、及び、しゃがみ・屈み状態、を含む、
画像処理装置。

（付記１３）
付記１２に記載の画像処理装置であって、
前記状態は、さらに、座り状態も含む、
画像処理装置。

（付記１４）
付記１３に記載の画像処理装置であって、
前記座り状態は、特定の場所においてのみ前記状態として取り得る、
画像処理装置。

（付記Ａ１）
情報処理装置に、
映像を構成する画像からオブジェクトを検出する検出部と、
追跡対象であるオブジェクトが取り得る複数の状態毎に、当該オブジェクトの変数を予測する予測部と、
画像から検出されたオブジェクトと、追跡対象であるオブジェクトの予測した変数と、に基づいて、追跡対象であるオブジェクトと画像から検出されたオブジェクトとの対応づけ及びオブジェクトの状態の選択を含む対応付け処理を行う対応付け部と、
前記対応付け処理の結果に基づいて、追跡対象であるオブジェクトの追跡を行うと共に、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する更新部と、
を実現させ、
前記予測部は、さらに、更新された複数の状態毎のオブジェクトの変数に基づいて、当該状態毎に追跡対象であるオブジェクトの変数を予測する、
プログラム。

（付記Ａ２）
付記Ａ１に記載のプログラムであって、
前記更新部は、追跡対象であるオブジェクトの状態毎の尤度に基づいて当該オブジェクトの状態を決定し、決定した状態に対応する方法を用いて、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する、
プログラム。

（付記Ａ３）
付記Ａ１又はＡ２に記載のプログラムであって、
前記更新部は、画像から検出されたオブジェクトの変数と、前記予測したオブジェクトの変数と、に基づいて、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する、
プログラム。

（付記Ａ４）
付記Ａ１乃至Ａ３のいずれかに記載のプログラムであって、
前記対応付け部は、画像から検出されたオブジェクトの変数と、追跡対象であるオブジェクトの予測した変数と、に基づいて、前記対応付け及び前記状態の選択を行う、
プログラム。

（付記Ｂ１）
映像を構成する画像からオブジェクトを検出し、
追跡対象であるオブジェクトが取り得る複数の状態毎に、当該オブジェクトの変数を予測し、
画像から検出されたオブジェクトと、追跡対象であるオブジェクトの予測した変数と、に基づいて、追跡対象であるオブジェクトと画像から検出されたオブジェクトとの対応づけ及びオブジェクトの状態の選択を含む対応付け処理を行い、
前記対応付け処理の結果に基づいて、追跡対象であるオブジェクトの追跡を行うと共に、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新し、
さらに、更新された複数の状態毎のオブジェクトの変数に基づいて、当該状態毎に追跡対象であるオブジェクトの変数を予測する、
画像処理方法。

（付記Ｂ２）
付記Ｂ１に記載の画像処理方法であって、
追跡対象であるオブジェクトの状態毎の尤度に基づいて当該オブジェクトの状態を決定し、決定した状態に対応する方法を用いて、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する、
画像処理方法。

（付記Ｂ３）
付記Ｂ１又はＢ２に記載の画像処理方法であって、
画像から検出されたオブジェクトの変数と、前記予測したオブジェクトの変数と、に基づいて、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する、
画像処理方法。

（付記Ｂ４）
付記Ｂ１乃至Ｂ３のいずれかに記載の画像処理方法であって、
画像から検出されたオブジェクトの変数と、追跡対象であるオブジェクトの予測した変数と、に基づいて、前記対応付け及び前記状態の選択を行う、
画像処理方法。

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

本発明によれば、例えばカメラを使って人物の動線を抽出することが可能になる。これにより、例えば店舗内を回遊する顧客の行動を分析し、マーケティングや店舗のレイアウト変更の基礎情報としたり、セキュリティ目的で、エリア間をうろつく人物を検出したりする目的で利用することができる。

１０ 画像処理装置
１１ 検出部
１２ 予測部
１３ 対応付け部
１４ 更新部
１００ 情報処理装置
１０１ オブジェクト検出部
１０２ 状態毎オブジェクト記述変数予測部
１０３ 検出・追跡結果対応づけ部
１０４ 追跡対象状態・オブジェクト記述変数更新部

Claims (10)

1. 映像を構成する画像からオブジェクトを検出する検出部と、
   追跡対象であるオブジェクトが取り得る複数の状態毎に、当該オブジェクトの変数を予測する予測部と、
   画像から検出されたオブジェクトと、追跡対象であるオブジェクトの予測した変数と、に基づいて、追跡対象であるオブジェクトと画像から検出されたオブジェクトとの対応づけ及びオブジェクトの状態の選択を含む対応付け処理を行う対応付け部と、
   前記対応付け処理の結果に基づいて、追跡対象であるオブジェクトの追跡を行うと共に、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する更新部と、を備え、
   前記予測部は、さらに、更新された複数の状態毎のオブジェクトの変数に基づいて、当該状態毎に追跡対象であるオブジェクトの変数を予測する、
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記更新部は、追跡対象であるオブジェクトの状態毎の尤度に基づいて当該オブジェクトの状態を決定し、決定した状態に対応する方法を用いて、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する、
   画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記更新部は、追跡対象であるオブジェクトの状態毎の尤度を、前記選択された状態に基づいて算出する、
   画像処理装置。
4. 請求項２又は３に記載の画像処理装置であって、
   前記更新部は、追跡対象であるオブジェクトの状態毎の尤度が最大である状態を、当該オブジェクトの状態として決定する、
   画像処理装置。
5. 請求項１乃至４のいずれかに記載の画像処理装置であって、
   前記更新部は、画像から検出されたオブジェクトの変数と、前記予測したオブジェクトの変数と、に基づいて、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する、
   画像処理装置。
6. 請求項１乃至５のいずれかに記載の画像処理装置であって、
   前記対応付け部は、画像から検出されたオブジェクトの変数と、追跡対象であるオブジェクトの予測した変数と、に基づいて、前記対応付け及び前記状態の選択を行う、
   画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記対応付け部は、画像から検出されたオブジェクトの変数と、追跡対象であるオブジェクトの予測した変数と、に基づいて、状態毎に、追跡対象であるオブジェクトと検出されたオブジェクトとが対応付く尤度を算出し、当該算出した尤度に基づいて前記対応付け及び前記状態の選択を行う、
   画像処理装置。
8. 請求項１乃至７のいずれかに記載の画像処理装置であって、
   前記オブジェクトの変数は、オブジェクトの位置情報、オブジェクトの外見の変化を表す情報、オブジェクトの姿勢の変動を表す情報、および、オブジェクトの状態別の尤度情報、の少なくとも１つを含む、
   画像処理装置。
9. 情報処理装置に、
   映像を構成する画像からオブジェクトを検出する検出部と、
   追跡対象であるオブジェクトが取り得る複数の状態毎に、当該オブジェクトの変数を予測する予測部と、
   画像から検出されたオブジェクトと、追跡対象であるオブジェクトの予測した変数と、に基づいて、追跡対象であるオブジェクトと画像から検出されたオブジェクトとの対応づけ及びオブジェクトの状態の選択を含む対応付け処理を行う対応付け部と、
   前記対応付け処理の結果に基づいて、追跡対象であるオブジェクトの追跡を行うと共に、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新する更新部と、
   を実現させ、
   前記予測部は、さらに、更新された複数の状態毎のオブジェクトの変数に基づいて、当該状態毎に追跡対象であるオブジェクトの変数を予測する、
   プログラム。
10. 映像を構成する画像からオブジェクトを検出し、
    追跡対象であるオブジェクトが取り得る複数の状態毎に、当該オブジェクトの変数を予測し、
    画像から検出されたオブジェクトと、追跡対象であるオブジェクトの予測した変数と、に基づいて、追跡対象であるオブジェクトと画像から検出されたオブジェクトとの対応づけ及びオブジェクトの状態の選択を含む対応付け処理を行い、
    前記対応付け処理の結果に基づいて、追跡対象であるオブジェクトの追跡を行うと共に、当該オブジェクトが取り得る複数の状態毎に当該オブジェクトの変数を更新し、
    さらに、更新された複数の状態毎のオブジェクトの変数に基づいて、当該状態毎に追跡対象であるオブジェクトの変数を予測する、
    画像処理方法。