JP4650669B2

JP4650669B2 - 動体認識装置

Info

Publication number: JP4650669B2
Application number: JP2004320240A
Authority: JP
Inventors: 典司加藤; 正浩前田
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-11-04
Filing date: 2004-11-04
Publication date: 2011-03-16
Anticipated expiration: 2024-11-04
Also published as: US7693310B2; US20060093185A1; JP2006133946A

Description

本発明は、動画像中に映されている人物や自動車等の動体を認識する技術に関し、特に、複数の動体の混同を回避して動体を正確に追尾認識することができる技術に関する。

カメラで撮影される動画像は、セキュリティー管理といった用途の他にも、店舗での顧客の動きを追跡して効率的な商品配置を管理するため等といった種々な用途に利用されている。
このような動画像の利用形態には、画像を単に監視したり記録するといった形態の他に、画像中に映されている人物等の動体を認識して追跡し、当該動体の動きを監視したり記録するといった形態がある。例えば、天井に設けたビデオカメラで、何らかの動きのある領域を検出して撮影し、撮影された動画像に映されている人物を追跡する。
例えば、前後左右の人の重なりに影響されずに正確に人数を計測できるように、複数のカメラで撮影した画像から人物を抽出して追跡し、所定の判定ラインを通過した人数を計数する技術が知られている（特許文献１参照。）。

このような動画像中の人物追跡に利用することができる技術として、例えば、次のような技術が知られている。
画像中の肌色領域を検出することにより、人物の顔等の所要部分を認識する技術が知られており、当該技術を利用することによって、画像中の人物や人物の顔を検出することができる（特許文献２参照。）。

また、人物の顔等の対象画像を認識する処理は対象画像と予め用意された参照画像との類似度を判定することにより行うことができるが、動画像フレームから顔が一旦検出されると、当該顔の位置から平行移動や回転移動を施した顔画像を生成して、当該生成した顔画像と参照画像との類似度を判定する技術が知られており、当該技術を利用することによって、画像中の人物の顔（更には人物）を検出することができる（特許文献３参照。）。
また、対象となる画像を予め定められた条件で幾何学的に変換する正規化処理を行っておくことで、比較する参照画像の数を少なくすることができるが、この正規化処理に関して、処理対象の画像を濃淡パターンに基づいて正規化後の画像とのずれを検出し、検出結果を用いて正規化処理を行う技術が知られている（非特許文献１参照。）。

また、顔画像から個人認証を行うために、顔画像から特徴点を抽出して、この特徴点に基づいて予め用意されているテンプレートとの照合を行う技術が知られており、当該技術を利用することによって、２つの顔画像の同一性を判定することができる（非特許文献２参照。）。
また、顔画像から個人認証を行うために、顔を表すパターン情報を個人差を増大させるように規定の空間に写像して、この空間で予め用意されているテンプレートとの照合を行う技術が知られており、当該技術を利用することによって、２つの顔画像の同一性を判定することができる（非特許文献３参照。）。
また、顔の目、鼻、口等といった特徴的な部分の形状や配置に基づく個人認証を行うのではなく、顔の三次元的形状の個人差を用いて個人を識別する技術が知られており、当該技術を利用することによって、２つの顔画像の同一性を判定することができる（特許文献４参照。）。
特開平１０―４９７１８号公報特開２０００―１０５８１９号公報特開２００２―２６９５４６号公報特開平２‐３１１９６２号公報 Rotation Invariant Neural Network - Based Face Detection, H.A.Rowly, S.Baluja, and T.Kanade, Proceedings of IEEE Conference on Comp-44 Laurenz Wiskott, Jean-Marc Fellous, Norbert Krouger and Christoph von der Malsburg, 擢ace Recognition by Elastic Bunch Matching・ Proc. 7th Intern. Conf. on Computer Analysys of Image and Patterns 1997 Matthew A. Turk and Alex P. Pentland, 摘igenfaces for Recognition・ Journal of Cognitive Neuroscience Vol.3, No.1, pp.71-86(1991)

カメラで撮影される動画像を用いて人物等の動体を追跡する場合、例えば、当該動画像フレーム中に複数の動体が映されて、これら動体が互いに接近したり、或いは、すれ違った場合には、検出領域が重なってしまうため、画像中の動き領域がいずれの動体のものか判別できなくなり、すなわち、動体間での混同が生じて、同一の動体の追跡ができなくなってしまうという課題があった。

本発明は、上記従来の事情に鑑みなされたもので、動画像中に映された人物等の動体をその同一性を保持して追跡することができる動体認識技術を提供することを目的としている。

本発明は、典型的には、カメラにより撮影された動画像に基づいて動体を認識追跡する動体認識装置として実施されるが、動体認識装置をコンピュータにより構成するためのコンピュータプログラムや、動体認識装置により実行される動体認識方法としても実施される。

本発明に係る動体認識装置では、特徴画像抽出手段が動画像から動体を特定し得る特徴画像部分（例えば、動体である人物の顔部の画像）を抽出し、位置検出手段が特徴画像部分が抽出される動体の位置情報を動画像中から時系列に検出し、判定手段が動画像から抽出された特徴画像部分の同一性を判定して、追跡情報保持手段が、この判定に基づいて、同一性のある特徴画像部分を有する動体（例えば、動体を識別する名称やＩＤ）と時系列位置情報とを対応付けて保持する。
したがって、特徴画像部分に基づいて同一性が保持された動体について、当該動体が移動した位置情報が時系列に記録され、動画像中に複数の動体が映されている場合でも各動体を識別した追跡情報を得ることができる。

本発明では、例えば、特徴画像抽出手段が、動画像からフレーム間で動きのある画像部分を動体画像部分として追跡し、当該動体画像部分から特徴画像部分を抽出する。
また、本発明では、例えば、認識対象の動体を人物として、特徴画像部分は人物の顔部の画像部分とする。
また、本発明では、例えば、認識対象の動体を人物として、特徴画像部分は動画像中の肌色画像部分とする。

また、本発明は、典型的には、人物を認識対象の動体とするが、その他、自動車、ロボット、搬送される物品等といった種々な移動物体を認識対象の動体とすることもできる。
また、本発明では、人物を追跡対象の動体とする場合には、例えば、人物の顔画像部分、人物の目、鼻、口等といった部分的な画像部分等の人物に固有の身体的特徴を表す部分の画像部分を特徴画像部分とすればよい。更には、本発明では、例えば、或る程度閉鎖的な環境では人物の髪型や被服の色や形を表す画像部分をもって特徴画像部分とすることもでき、また、人物に取り付けたバーコード等の識別標識を表す画像部分をもって特徴画像部分とすることもできる。
また、本発明では、例えば、自動車を認識対象の動体とする場合にはナンバプレートを特徴画像部分とすることができ、物品を追跡対象の動体とする場合には物品に取り付けた識別標識を表す画像部分を特徴画像部分とすることができる。

また、本発明に係る動体認識装置では、追跡情報保持手段が、動体を特定し得る識別子（例えば、動体ＩＤ）に対応付けて時系列位置情報を保持し、探索手段が検出された時系列位置情報を対応付ける動体識別子を既に保持した情報から探索して、特徴画像部分の同一性がある位置情報を同一の動体識別子に対応付けるようにする。
したがって、同一な動体に係る位置情報は時系列に同じ動体識別子で記録され、例えば、撮影領域から外へ移動した動体が再び撮影領域に戻ってきて動画像中に再度現われた場合でも、当該動体の追跡情報は一貫して記録される。
なお、本発明に係る動体認識装置では、特徴画像部分が上記同一性がなく新規の場合には、識別子付与手段が検出された時系列位置情報を対応付ける動体識別子を新規に付与する。

また、本発明に係る動体認識装置では、追跡情報保持手段が動画像から抽出された特徴画像部分を抽出元の動体（例えば、動体ＩＤ）に対応付けて管理する。この管理方法は、特徴画像部分の実データを動体識別子や時系列位置情報と共に記録するようにしてもよく、或いは、特徴画像部分の実データは動体識別子や時系列位置情報とは別のメモリに記録しておき、特徴画像部分の実データと動体識別子や時系列位置情報とをリンク付して、特徴画像部分の実データを何時でも取得できるようにしてもよい。

また、本発明に係る動体認識装置では、１台のカメラで撮影された動画像を処理する他に、撮影領域を重ねて配置した複数台のカメラで撮影された複数の動画像を処理するようにしてもよく、この場合には、特徴画像抽出手段が複数の動画像から動体を特定し得る特徴画像部分をそれぞれ抽出し、統合手段が位置検出手段が検出する特徴画像部分の位置情報を同一座標系で統合する。
これにより、多方向から撮影した特徴画像部分により動体の同一性を判定することができるため動体の追跡精度を高めることができ、更には、動体の時系列位置情報を三次元位置情報として記録することもできる。

本発明によると、動画像中から検出した動体の位置情報を記録するに際して、動体の特徴画像部分の同一性判定に基づいて、同じ動体に係る位置情報は同じ動体に対応付けて記録するように修正するようにしたため、時系列な位置情報が動体の同一性をもって記録され、動体をその同一性を保持して追跡することができる。

本発明を、動画像に映された人物を追跡する実施例に基づいて具体的に説明する。
図１には本発明に係る動体認識装置の構成の一例を示してあり、本例は図２に示すように１台のビデオカメラＣで撮影された動画像を認識装置１に入力して処理するものである。
なお、図２には撮影領域に動体としての二人の人物Ｐ１、Ｐ２が存在する状態を示している。

動体認識装置１は、ビデオカメラＣで撮影された動画像から人物Ｐ１、Ｐ２を特定し得る特徴画像部分（本例では、人物の顔画像部分Ｔ１、Ｔ２）を抽出する特徴画像抽出手段２、特徴画像抽出手段２によって特徴画像部分Ｔ１、Ｔ２が抽出される人物Ｐ１、Ｐ２の位置情報をビデオカメラＣで撮影された動画像中から時系列に検出する位置検出手段３、特徴画像抽出手段２によって抽出された各特徴画像部分Ｔ１、Ｔ２について動画像フレームＦ間での同一性を判定する判定手段４、判定手段４による判定結果に基づいて動画像フレームＦ間で同一性のある特徴画像部分を有する人物（本例では各人物に付した人物ＩＤ）と位置検出手段３によって順次検出された時系列の位置情報とを対応付けてデータベース６に保持する追跡情報保持手段５を備えている。
なお、本例では、ビデオカメラＣで撮影された動画像をリアルタイムに処理するようにしているが、動画像入力手段Ｃを動画像メモリとして、メモリに蓄積された動画像を後処理するようにしてもよい。

特徴画像抽出手段２は、図３に示すように時系列に複数の画像フレームＦが連続する動画像から、動体としての人物Ｐ１、Ｐ２にそれぞれ対応する人物画像領域Ｍ１、Ｍ２を特定する処理と、特定した人物画像領域Ｍ１、Ｍ２からそれぞれの人物の顔部の画像部分Ｔ１、Ｔ２を抽出する処理とを行う。

上記の人物画像領域Ｍ１、Ｍ２を特定する処理は、公知の種々な方法で実施することができるが、例えば、動画像フレームＦ中の動きの大きな領域を人物画像領域Ｍ１、Ｍ２として特定する公知のオプティカルフロー計算の方法を用いて行われ、動画像中の第１のフレームＦにおいて人物画像領域Ｍ１、Ｍ２を特定し、更に、連続する第２のフレームＦにおいても同様に人物画像領域Ｍ１、Ｍ２を特定し、これらフレームＦ間で特定された対応する人物画像領域Ｍ１、Ｍ２の位置が所定の距離以内で接近している時には、人物画像領域Ｍ１とＭ２とはそれぞれ同一人物Ｐ１、Ｐ２の画像とする処理を行う。すなわち、動画像中に映されている各人物Ｐ１、Ｐ２をそれぞれ追跡する処理が行われ、後述するように、各人物Ｐ１、Ｐ２にはそれぞれを識別するためのＩＤが付与されて識別管理される。
なお、動画像フレームから人物画像領域を特定する方法として、特許文献３や非特許文献１に記載される顔検出により人物領域を特定する方法や、特許文献２に記載される顔の特徴を表す肌色情報の検出により人物領域を特定する方法を用いることもできる。

上記の顔画像部分Ｔ１、Ｔ２を抽出する処理は、公知の種々な方法で実施することができるが、例えば、特許文献３や非特許文献１に記載される顔検出の方法を用いて行われ、画像領域のピクセルの輝度パターンと予め用意された顔パターンの参照集合とを比較して、輝度パターンが参照集合に属する時には当該画像領域を顔画像部分Ｔ１、Ｔ２として抽出する処理を行う。すなわち、動画像中から特定された人物Ｐ１、Ｐ２の顔画像部分がそれぞれ抽出される処理が行われ、後述するように、各顔画像部分Ｔ１、Ｔ２は抽出元の人物Ｐ１、Ｐ２にそれぞれ対応付けて管理される。

位置検出手段３は、図３に示すようにフレームＦ中で特定された人物Ｐ１、Ｐ２（人物画像領域或いは顔画像部分）のそれぞれの位置情報を各フレームＦ毎に検出し、これら検出した位置情報を時系列に順次出力する。
このような位置情報の検出処理は、公知の種々な方法で実施することができるが、例えば、人物画像領域Ｍ１、Ｍ２や顔画像部分Ｔ１、Ｔ２のフレームＦ中における位置や大きさにより位置情報を検出することができる。なお、１台のカメラからの動画像を処理する本例では、図３に示すように、フレームＦ中での位置を（ｘ、ｙ）座標値で検出している。

上記のように特徴画像抽出手段２によって各顔画像部分Ｔ１、Ｔ２が順次抽出されるが、判定手段４は、処理する顔画像部分が既に処理されてデータベース６に記録されている顔画像部分と同一性を有するかを判定する。すなわち、フレームＦ間で顔画像部分の同一性を判定することで、当該同一性がある場合には上記の処理により同一人物を追跡してその時系列位置情報を検出できていることを保障している。
このような顔画像の同一性を判定する処理は、公知の種々な方法で実施することができるが、例えば、特許文献４、非特許文献２、非特許文献３に記載される方法を用いて、顔を構成する面要素の特徴比較により対比する２つの顔画像が同一性を有するか否かを判定することができる。

追跡情報保持手段５は、人物ＩＤに基づいてデータベース６から該当する情報を探索する探索手段７と、該当する情報がデータベース６から見付けれらない（すなわち、新規の顔画像部分が抽出された）場合に当該新規の顔画像部分及びこれに対応して検出された位置情報を対応付けて記録するための新規な人物ＩＤを付与するＩＤ付与手段８を有している。
なお、データベース６に記録される顔画像部分及びこれに対応して検出された位置情報は、初期的には、ＩＤ付与手段８によって新規の人物ＩＤが付与されて、当該人物ＩＤに対応付けてデータベース６に記録される。

すなわち、判定手段４が処理対象の顔画像部分が既処理の顔画像部分と同一性があると判定した場合には、探索手段７が既処理の顔画像部分が対応付けられている記録情報をデータベース６から探索して、処理対象の顔画像に対応して検出された位置情報を探索された情報中に記録する。一方、判定手段４が処理対象の顔画像部分が既処理の顔画像部分と同一性がないと判定した場合には、ＩＤ付与手段８が新規な人物ＩＤを付与して、処理対象の顔画像に対応して検出された位置情報を当該人物ＩＤに対応付けてデータベース６に記録する。

データベース６は、図４に示すように、それぞれの人物ごとに付与されたＩＤに対応付けて、現在の人物の座標値、顔画像部分へのリンク、人物座標の履歴といった情報を含む追跡情報を記録しており、これら追跡情報は上記のような処理に伴って逐次更新される。
例えば、人物ＩＤ：「１」で識別される人物は、動画像中の現在位置が（ｘ1、ｙ2）、その顔画像部分へのリンク情報が「Img01.bmp」、その移動履歴である位置情報履歴が当該データベース６へ記録した時間情報（ｔ）を各位置情報に付加して（ｔ0、ｘ1（ｔ0）、ｙ1（ｔ0）））、（ｔ1、ｘ1（ｔ1）、ｙ1（ｔ1）））…といったように記録され、各人物毎の時系列な位置情報が記録されている。
なお、動体認識装置１にデータベース６の追跡情報を出力する手段を設けてもよく、例えば、追跡情報に基づいて、人物の移動軌跡を画面表示するようにしてもよい。

ここで、上記の特徴画像抽出手段２、位置検出手段３、判定手段４、追跡情報保持手段５は、それぞれ専用のハードウエア構成とすることができるが、本例では、動体認識装置１を構成するコンピュータで本発明に係るプログラムを実行することにより構成されている。
なお、後述する統合手段９も専用のハードウエア構成とする以外に、コンピュータで本発明に係るプログラムを実行することにより構成することができる。

図５には上記の動体認識装置１による処理手順を示してあり、処理内容を詳しく説明する。
本例ではカメラＣから入力される動画像を１フレームずつ順次処理しており、カメラＣから動画像フレームＦが入力されると（ステップＳ１）、特徴画像抽出手段２が当該フレームＦから全ての人物画像領域Ｍ１、Ｍ２を特定する（ステップＳ２）。また、これら特定された各人物画像領域Ｍ１、Ｍ２について、位置検出手段３が各々の位置情報を検出する。
そして、これら特定された各人物画像領域Ｍ１、Ｍ２について、人物画像領域毎にステップＳ３〜Ｓ１２の処理を順次繰り返して行う。

特徴画像抽出手段２が、まず人物画像領域Ｍ１について追跡し（ステップＳ３）、その顔画像部分Ｔ１を抽出し（ステップＳ４）、この顔画像部分Ｔ１の検出が成功した場合には（ステップＳ５）、当該人物画像領域Ｍ１が新規であるかを判定する（ステップＳ６）。
この判定処理では、対象としている人物画像領域Ｍ１と当該動画像中の前のフレームＦで特定された人物画像領域とに基づいて、両人物画像領域がフレーム中で所定の距離以内か（すなわち、近いか）を判定し、遠い場合にはフレーム間での連続性がないので、新たに（或いは再び）動画像フレーム中に映し出された人物の画像として新規と判定する。すなわち、或る人物の画像がフレーム間で連続性を有するか否かで同一人物であるか新規（或いは再現）人物であるかを判定して、同一人物を追跡している。

上記の判定により新規でない場合には、探索手段７が、前のフレームＦにおいて特定された人物画像領域に対して付与されている人物ＩＤとリンク情報に基づいて顔画像部分をデータベース６から取得し、判定手段４が、当該前フレームの顔画像部分と人物画像領域Ｍ１から抽出された顔画像部分Ｔ１とを比較して同一性を判定する（ステップＳ７）。
この判定の結果で同一性がある場合には、その人物ＩＤで識別されるデータベース６のエントリーに上記検出した位置情報を記録する（ステップＳ１１）。

上記の判定の結果で同一性がない場合、または、上記処理（ステップＳ６）で新規の人物画像領域と判定された場合には、探索手段７がデータベース６から顔画像部分Ｔ１と同一性を有する顔画像部分を記録したエントリー（人物ＩＤ）を探索し（ステップＳ８）、見付かった場合には当該エントリーの人物ＩＤを人物画像領域Ｍ１のＩＤとして（ステップＳ９）、当該エントリーに人物画像領域Ｍ１（すなわち、人物画像領域Ｍ１）について上記検出した位置情報を記録する（ステップＳ１１）。

一方、該当するエントリーの人物ＩＤが見付からない場合には、ＩＤ付与手段８が新規の人物ＩＤを付与し（ステップＳ１０）、データベース６の当該人物ＩＤで識別する新規エントリーに顔画像部分Ｔ１のリンク情報と共に上記検出した位置情報を記録する（ステップＳ１１）。
そして、上記一連の処理（ステップＳ３〜Ｓ１１）をフレームＦから特定された次の人物画像領域Ｍ２について行う（ステップＳ１２）。、また、上記一連の処理（ステップＳ１〜Ｓ１２）を動画像中の各フレームに対して順次行って、データベース６に各人物（人物ＩＤ）毎の位置情報を時間情報を伴った時系列情報として蓄積記録し、ユーザから終了指示が入力されたところで処理動作を終了する（ステップＳ１３）。

フレームに映された複数の人物が移動してこれら人物の画像領域がフレーム中で重なる交差状態がある場合には、これら人物を取り違えてしまう混同が生ずる可能性があるが、上記のような判断処理を行うことにより、混同を生ずることなく、人物の同一性を保って当該人物の位置情報履歴をデータベース６に記録することができる。
また、上記のような判断処理を行うことにより、フレームから一旦外に出た人物がフレーム中に再び映された場合にも、人物の同一性を保って当該人物の位置情報履歴をデータベース６に記録することができる。
また、上記のような判断処理を行うことにより、フレーム中に新規な人物が映された場合には、当該人物の追跡情報を追加して記録することができる。

本発明は、対象を人物以外の動体としたり、同一性を顔以外に服装や標識等とするといったように、様々な態様で実施することができる。
また、本発明は、例えば図６及び図７に示すように、撮影角を変えて配置した複数台のカメラＣ１、Ｃ２・・で撮影領域を重ねて撮影し、得られた複数の動画像を処理するようにしてもよい。

このように複数の動画像を処理する場合には、特徴画像抽出手段２が複数の動画像から動体を特定し得る人物画像領域や顔画像部分（特徴画像部分）をそれぞれ抽出し、位置検出手段３が各動画像の座標系で人物の位置情報を検出し、統合手段９が検出された各座標系の位置情報を同一座標系に変換して統合すればよい。
このように複数の動画像を用いることにより、多方向から撮影した画像により動体の同一性を判定することができて動体の追跡精度を高めることができ、更には、動体の時系列位置情報を三次元位置情報として記録することもできる。

本発明の一例に係る動体認識装置の構成図である。本発明の一例に係る撮影状況を説明する図である。本発明の一例に係る動画像フレームを説明する図である。本発明の一例に係る追跡情報を説明する図である。本発明の一例に係る動体認識装置の処理手順を説明する図である。本発明の他の一例に係る動体認識装置の構成図である。本発明の他の一例に係る撮影状況を説明する図である。

符号の説明

１：認識装置、２：特徴画像抽出手段、
３：位置検出手段、４：判定手段、
５：情報保持手段、６：データベース、
７：探索手段、８：ＩＤ付与手段、
９：統合手段、Ｃ，Ｃ１、Ｃ２：カメラ、
Ｆ：フレーム、Ｍ１、Ｍ２：人物画像領域、
Ｐ１、Ｐ２：人物、Ｔ１、Ｔ２：顔画像部分、

Claims

カメラにより撮影された動画像に基づいて動体を認識追跡する動体認識装置において、
前記動画像における対象フレームとその前フレームとの間で動きのある画像部分を前記動体に対応する動体画像部分として特定する特定手段と、
前記特定手段により特定された動体画像部分から前記動体を特定し得る特徴画像部分を抽出する抽出手段と、
前記対象フレーム中の動体画像部分又は特徴画像部分に基づいて、前記対象フレームにおける前記動体の位置情報を検出する位置検出手段と、
前記動体の特徴画像部分と当該動体についてフレーム毎に検出された位置情報とを対応付けて記録した追跡情報を記憶する記憶手段と、を有し、
前記記憶手段は、
前記特定手段により特定された前記対象フレーム中の動体画像部分と前記前フレーム中の動体画像部分との距離が所定値以下である場合であって、かつ、前記対象フレーム中の動体画像部分から抽出された特徴画像部分と前記前フレーム中の動体画像部分に係る動体の位置情報が記録された追跡情報に係る特徴画像部分とが同一性を有すると判定された場合には、前記前フレーム中の動体画像部分に係る動体の位置情報が記録された追跡情報に、前記対象フレーム中の動体画像部分に係る動体の位置情報を記録し、
前記特定手段により特定された前記対象フレーム中の動体画像部分と前記前フレーム中の動体画像部分との距離が所定値以下でない場合、又は、前記判定において同一性を有しないと判定された場合には、前記対象フレーム中の動体画像部分から抽出された特徴画像部分と同一性を有する特徴画像部分に係る追跡情報を探索し、当該探索により見付かった追跡情報に、前記対象フレーム中の動体画像部分に係る動体の位置情報を記録する、
ことを特徴とする動体認識装置。
請求項１に記載の動体認識装置において、
前記追跡情報は、動体を特定し得る識別子と当該動体の特徴画像部分と当該動体についてフレーム毎に検出された位置情報とを対応付けて記録しており、
前記記憶手段は、
前記特定手段により特定された前記対象フレーム中の動体画像部分と前記前フレーム中の動体画像部分との距離が所定値以下でない場合、又は、前記判定において同一性を有しないと判定された場合であって、前記対象フレーム中の動体画像部分から抽出された特徴画像部分と同一性を有する特徴画像部分に係る追跡情報を探索したものの該当する追跡情報が見付からなかった場合に、その動体を特定し得る識別子を新規に付与し、当該動体について新規に付与された識別子と前記対象フレーム中の動体画像部分から抽出された特徴画像部分と前記対象フレーム中の動体画像部分に係る動体の位置情報とを対応付けて記録した追跡情報を新規に記憶する、
ことを特徴とする動体認識装置。
コンピュータに、
カメラにより撮影された動画像に基づいて、対象フレームとその前フレームとの間で動きのある画像部分を前記動体に対応する動体画像部分として特定する特定機能と、
前記特定機能により特定された動体画像部分から前記動体を特定し得る特徴画像部分を抽出する抽出機能と、
前記対象フレーム中の動体画像部分又は特徴画像部分に基づいて、前記対象フレームにおける前記動体の位置情報を検出する位置検出機能と、
前記動体の特徴画像部分と当該動体についてフレーム毎に検出された位置情報とを対応付けて記録した追跡情報を記憶する記憶機能と、
を実現させるためのプログラムであり、
前記記憶機能は、
前記特定機能により特定された前記対象フレーム中の動体画像部分と前記前フレーム中の動体画像部分との距離が所定値以下である場合であって、かつ、前記対象フレーム中の動体画像部分から抽出された特徴画像部分と前記前フレーム中の動体画像部分に係る動体の位置情報が記録された追跡情報に係る特徴画像部分とが同一性を有すると判定された場合には、前記前フレーム中の動体画像部分に係る動体の位置情報が記録された追跡情報に、前記対象フレーム中の動体画像部分に係る動体の位置情報を記録し、
前記特定機能により特定された前記対象フレーム中の動体画像部分と前記前フレーム中の動体画像部分との距離が所定値以下でない場合、又は、前記判定において同一性を有しないと判定された場合には、前記対象フレーム中の動体画像部分から抽出された特徴画像部分と同一性を有する特徴画像部分に係る追跡情報を探索し、当該探索により見付かった追跡情報に、前記対象フレーム中の動体画像部分に係る動体の位置情報を記録する、
ことを特徴とするプログラム。