JP2010063001A - 人物追跡装置および人物追跡プログラム - Google Patents

Abstract

【課題】カメラの監視対象領域の混雑状況下においても個々の人物を正確に追跡することを可能にする。
【解決手段】複数のカメラにより撮影されたそれぞれの映像の各フレーム画像に写っている人物を検出し、検出された個々の人物を画像上で追跡して対応する２次元移動軌跡を求め、対応する複数の２次元移動軌跡同士をオーバーラップする時間にわたってステレオ視することで移動する個々の人物の３次元移動軌跡を求め、求めた３次元移動軌跡の断片を連結して個々の人物の完全な移動軌跡を算出する。
【選択図】図１

Description

この発明は、例えばカメラにより撮影された映像に写っている個々の人物を検出して、各人物を追跡する人物追跡装置および人物追跡プログラムに関するものである。

高層ビルには非常に多数のエレベータが設置されているが、朝の通勤ラッシュ時や昼休みの混雑時などには、乗客を効率的に輸送するためにこれら多数のエレベータを連携させて運転する群管理が必要となる。このような多数のエレベータの群管理を効率的に行うためには、“誰がどの階で乗って、どの階で降りたか”という乗客の移動履歴を計測して、その移動履歴を群管理システムに提供することが必要となる。従来、乗客の人数カウントや人物移動の計測を、カメラを用いて行う人物追跡技術についてはいろいろな提案がなされてきた。その一つとして、予め記憶している背景画像と、カメラから随時取り込む入力画像との差分の画像（背景差分画像）を求めることにより、エレベータ内の乗客を検出して、エレベータ内における乗客数を検知する方法がある（例えば特許文献１参照）。しかし、非常に混み合っているエレベータでは、約２５ｃｍ四方に一人の乗客が存在し、乗客が重なり合う状況が発生するので、背景差分画像が一塊のシルエットになる。このため、背景差分画像から個々の人物を分離することは極めて困難である。

また、別の技術として、エレベータのかご内上部にカメラを設置し、予め記憶している頭部画像参照パターンとカメラの撮影画像とを対比することにより、エレベータ内の乗客を検出して、エレベータ内で乗客数を検知する方法がある（例えば特許文献２参照）。しかし、このような単純なパターンマッチングによる人物検出方法によると、例えばカメラから見て、ある人物が他の人物に隠れてしまっているなど、遮蔽が生じている場合には、誤って人数をカウントしてしまうことがある。また、エレベータのかご内に鏡が設置されている場合には、鏡に映っている人物を誤検出してしまうということがある。

また、エレベータのかご内の上部にステレオカメラを設置し、画像から検出した人物をステレオ視して人物の３次元位置を求める手法がある（例えば特許文献２参照）。しかし、この方法によると実際の人数よりも多く人物が検出されてしまうという問題がある。すなわち、この方法によると、例えば図１５に示すように、人物Ｘの３次元位置を知りたい場合、カメラから検出人物までのベクトルＶＡ１とベクトルＶＢ１が交差する点を人物の位置として算出する。しかし、ベクトルＶＡ１とＶＢ２が交わる点にも人物が存在すると推定されてしまうことがあり、実際の人物が二人しか存在しない場合でも誤って３人存在すると計算されてしまうことがある。

さらに、多視点カメラを利用した複数人物の検出手法として、背景差分で得た人物のシルエットを基に、動的計画法を用いて人物の移動軌跡を求める手法（非特許文献１）やＰａｒｔｉｃｌｅ Ｆｉｌｔｅｒを用いて人物の移動軌跡を求める手法（非特許文献２）がある。これらの手法は、ある視点において人物が遮蔽されている状況でも、他の視点のシルエット情報や時系列情報を用いて人数と人物の移動軌跡を求めることが可能である。しかしながら、混雑しているエレベータ内や電車では、どの視点から撮影しても常にシルエットが重なり合うため、これらの手法を適用することができない。

特開平８−２６６１１号公報（段落［００１６］、図１） 特開２００６−１６８９３０号公報（段落［００２７］、図１） 特開平１１−６６３１９号公報 Berclaz, J. , Fleuret, F. , Fua, P. , "Robust People Tracking with Global Trajectory Optimization," Proc. CVPR, Vol1, pp 744-750, Jun. 2006. Otsuka, K. ,Mukawa, N. , "A particle filter for tracking densely populated objects based on explicit multiview occlusion analysis," Proc. of the 17th International Conf. on Pattern Recognition, Vol.4, pp. 745 −750, Aug. 2004.

人物追跡装置に用いる従来の複数人物の検出技術は、以上説明したように、エレベータが非常に混雑している状況などでは、エレベータ内の乗客を正確に検出することができないという問題があった。

この発明は、上記のような課題を解決するためになされたもので、カメラの監視対象領域の混雑状況下においても個々の人物を正確に追跡することを可能にする人物追跡装置および人物追跡プログラムを得ることを目的とする。

この発明に係る人物追跡装置は、異なる位置に設置され監視対象領域をそれぞれ撮影して映像を取り出す複数の映像撮影手段と、複数の映像撮影手段により取り出された映像毎の各フレーム画像に写っている人体の特徴箇所を人物として検出し、この検出した人物の画像座標を算出する人物検出手段と、人物検出手段により時々刻々到来するフレーム画像から算出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の２次元移動軌跡として算出する２次元移動軌跡算出手段と、２次元移動軌跡算出手段で複数の映像撮影手段の各映像から算出された対応する個々の人物の２次元移動軌跡に対して、監視対象領域内の基準点に対する前記複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいてステレオマッチングを行うことにより個々の人物の３次元移動軌跡を算出する軌跡ステレオ手段と、軌跡ステレオ手段で算出された個々の人物の３次元移動軌跡の断片の前後を対応付けて連結することにより各人物の全３次元移動軌跡を生成する３次元移動軌跡算出手段とを備えたものである。

この発明によれば、複数のカメラにより撮影されたそれぞれの映像の各フレーム画像に写っている人物を検出し、検出された個々の人物を画像上で追跡して対応する２次元移動軌跡を求め、対応する複数の２次元移動軌跡同士をオーバーラップする時間にわたってステレオ視することで移動する個々の人物の３次元移動軌跡を求め、求めた３次元移動軌跡の断片を連結して個々の人物の完全な移動軌跡を算出するようにしているので、ステレオ視の曖昧さをなくし、かつ遮蔽がある場合でも的確に個々の人物の３次元移動軌跡を求めることができる。その結果、監視対象領域が非常に混雑している状況であっても、監視対象領域内の個々の人物を正確に検出することができるとともに、個々の人物を正確に追跡することができる。

実施の形態１．
図１は、この発明の実施の形態１による人物追跡装置の機能構成を示すブロック図である。
図において、複数のカメラ１は、エレベータのかご内の上部の異なる位置に設置され、かご内を監視対象領域として同時に異なる角度からその領域を撮影する映像撮影手段である。なお、ここで使用されるカメラ１の種類については特に問わない。一般的な監視カメラは勿論のこと、可視カメラ、近赤外線領域まで撮影可能な高感度カメラ、熱源を撮影することが可能な遠赤外線カメラなどでもよい。また、距離計測が可能な赤外線距離センサや、レーザーレンジファインダなどで代用してもよい。映像取得部２は、各カメラ１から出力される映像を取得する映像入力インタフェースである。

カメラキャリブレーション部３は、人物追跡処理が開始される前に、予め複数のカメラ１により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、複数のカメラ１それぞれのカメラパラメータ、すなわちレンズの歪み、焦点距離、光軸、画像中心（principal point）に関するパラメータを算出する手段である。また、カメラキャリブレーション部３は、複数のカメラ１により撮影されたキャリブレーションパターンの映像から、エレベータのかご内の基準点に対する複数のカメラ１の設置位置および設置角度の算出を行う手段でもある。

映像解析部４は、人物の検出処理や移動軌跡の解析処理などを実施する手段で、映像補正部５、人物検出部６、２次元移動軌跡算出部７、軌跡ステレオ部８および３次元移動軌跡算出部９から構成されている。これらの部分５〜９の機能の要点は次のようになる。
映像補正部５は、カメラキャリブレーション部３により算出されたカメラパラメータを用いて、映像取得部２により取得された複数のカメラ１からの映像の歪みを補正する手段である。人物検出部６は、映像取得部２により取得された各映像に写っている人物を検出する手段である。２次元移動軌跡算出部７は、人物検出部６で検出された人物を画像上で追跡し、個々の人物の２次元移動軌跡を算出する手段である。軌跡ステレオ部８は、複数のカメラ１の各映像から算出された２次元移動軌跡に対してステレオマッチングを行い、個々の人物の３次元移動軌跡を算出する手段である。３次元移動軌跡算出部９は、３次元移動軌跡の個片を連結して個々の人物の完全な移動軌跡を算出する手段である。

図１に示された構成において、映像取得部２、カメラキャリブレーション部３、映像補正部５、人物検出部６、２次元移動軌跡算出部７、軌跡ステレオ部８および３次元移動軌跡算出部９は、それぞれ専用のハードウェア（例えば、ＭＰＵを実装している半導体集積回路基板）による構成とすることができるが、人物追跡装置をコンピュータで構成する場合には、各部の処理内容を記述している人物追跡プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵにより当該格納されている人物追跡プログラムが実行される構成としてもよい。

次に、動作について説明する。
最初に、人物追跡動作の前処理の手順について図２のフローチャートに従って説明する。
カメラキャリブレーション部３がカメラパラメータを算出するに先立ち、個々のカメラ１によりキャリブレーションパターンを撮影する（ステップＳＴ１）。映像取得部２では、個々のカメラ１により撮影されたキャリブレーションパターンの映像を取得して、そのキャリブレーションパターンの映像をカメラキャリブレーション部３に出力する。ここで使用するキャリブレーションパターンとしては、例えば、大きさが既知の白黒のチェッカーフラグパターン（図４を参照）などが該当する。なお、キャリブレーションパターンは、１０〜２０通りの異なる位置や角度からカメラ１により撮影される。カメラキャリブレーション部３では、映像取得部２からキャリブレーションパターンの映像を受けると、そのキャリブレーションパターンの映像の歪み具合を解析して、各カメラ１のカメラパラメータを算出する（ステップＳＴ２）。なお、カメラパラメータの算出方法は周知の技術であるので、ここでは詳細説明を省略する。

次に、カメラキャリブレーション部３が複数のカメラ１の設置位置および設置角度を算出するに際して、複数のカメラ１がエレベータのかご内の上部に設置されたのち、複数のカメラ１により、既知の大きさのカメラキャリブレーションパターンを同時に撮影する（ステップＳＴ３）。例えば、図４に示すように、キャリブレーションパターンとしてチェッカーフラグパターンをかご内の床に敷き、そのチェッカーフラグパターンが複数のカメラ１で同時に写るようにして撮影する。このとき、かご内の床に敷かれたキャリブレーションパターンに対して、かご内の基準点（例えば、かごの入口）からの位置と角度をオフセットとして計測し、また、かごの内寸を計測しておくようにする。なお、図４の例では、キャリブレーションパターンは、かご内の床に敷かれたチェッカーフラグパターンとしているが、これに限るものではなく、例えば、かご内の床に直接描かれた模様であってもよい。その場合、床に描かれた模様の大きさを予め計測しておくようにする。
また、図５に示すように、キャリブレーションパターンとして、無人のかご内を撮影し、かご内の床と天井の四隅（角部）を選択したものでもよい。この場合、かごの内寸を計測しておくようにする。

次に、カメラキャリブレーション部３は、複数のカメラ１により撮影されたキャリブレーションパターンの映像と、ステップＳＴ２で算出されたカメラパラメータを用いて、エレベータのかご内の基準点に対する複数のカメラ１の設置位置および設置角度を算出する（ステップＳＴ４）。具体的には、キャリブレーションパターンとして、例えば、白黒のチェッカーフラグパターンが用いられた場合、まず、複数のカメラ１により撮影されたチェッカーパターンに対するカメラ１の相対位置と相対角度を算出する。そして、予め計測しているチェッカーパターンのオフセット（かご内の基準点であるかごの入口からの位置と角度）を複数のカメラ１の相対位置と相対角度に足し合わせることで、かご内の基準点に対する複数のカメラ１の設置位置と設置角度を求める。
一方、キャリブレーションパターンとして、図５に示すように、例えばかご内の床の四隅と天井の三隅が用いられる場合、予め計測しているかごの内寸から、かご内の基準点に対する複数のカメラ１の設置位置と設置角度を算出してもよい。この場合、かご内にカメラ１を設置するだけで、カメラ１の設置位置と設置角度を自動的に求めることが可能である。

次に、人物追跡動作の後処理の手順について図３のフローチャートに従って説明する。
映像解析部４で人物の検出処理や移動軌跡の解析処理などを実施するに際して、複数のカメラ１により、実際に運行中のエレベータのかご内の領域を繰り返し撮影する。映像取得部２は、複数のカメラ１により撮影されたかご内の映像を時々刻々と取得する（ステップＳＴ１１）。映像補正部５では、映像取得部２が複数のカメラ１により撮影された映像を取得する毎に、カメラキャリブレーション部３により算出されたカメラパラメータを用いて、複数の映像の歪みを補正し、歪みの無い映像である正規化画像を生成する（ステップＳＴ１２）。なお、映像の歪みを補正する方法は周知の技術であるため、ここでは説明を省略する。

人物検出部６は、映像補正部５が複数のカメラ１により撮影された映像の正規化画像をそれぞれ生成すると、各正規化画像に存在している人体の特徴箇所を人物として検出し、この検出した人物（人体の特徴箇所）の画像座標と確信度を算出する（ステップＳＴ１３）。ここで、人物の画像座標とは、例えば人物検出部６が人体の特徴箇所として頭部を検出する場合、その検出した頭部の領域を囲む矩形の中心座標のことである。また、確信度とは、人物検出部６の検出物がどの程度人間（ここでは、頭部であること）に近いかを表現する指標であり、確信度が高いほど人間である確率が高く、確信度が低いほど人間である確率が低いことを表す。
人物検出部６における人物の頭部の検出処理の状況について図６により説明する。図６（ａ）は、かご内の天井の対角位置に設置された２台のカメラ１₁ ，１₂ によりかご内の３人の乗客（人物）を撮影している状況を表している。図６（ｂ）は、カメラ１₁ で顔方向を撮影した画像から頭部が検出され、検出結果である頭部の領域に確信度を添付した状態を表わしている。一方、図６（ｃ）は、カメラ１₂ で後頭部方向を撮影した画像から頭部が検出され、検出結果である頭部の領域に確信度を添付した状態を表わしている。しかし、図６（ｃ）の場合、脚部６０１が誤検出されており、そのため誤検出部分の確信度は低く算出されている。

ここで、頭部の検出方法としては、例えば、Viola, P. , Jones, M. , “Rapid Object Detection Using a Boosted Cascade of Simple Features”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001（参考文献１）に開示されている顔検出手法を使用すればよい。すなわち、“Ｒｅｃｔａｎｇｌｅ Ｆｅａｔｕｒｅ”と呼ばれるハール基底状のパターンをＡｄａｂｏｏｓｔにより選択して多数の弱判別機を取得し、これら弱判別機の出力と適当な閾値をすべて加算した値を確信度として利用することができる。また、人間の頭部検出方法として、田口進也、神田準史郎、島嘉宏、瀧口純一、“特徴量ベクトルの相関係数行列を用いた少ないサンプルでの高精度画像認識 道路標識認識への適用”電子情報通信学会技術研究報告 ＩＥ、 画像工学、Ｖｏｌ．１０６，Ｎｏ．５３７（２００７０２１６），ｐｐ．５５−６０，ＩＥ２００６−２７０（参考文献２）に開示されている道路標識検出方法を応用して、その画像座標と確信度を算出するようにしてもよい。
なお、図６では、人物検出部６が人物を検出するにあたって人体の特徴箇所である頭部を検出対象とした場合を示しているが、この検出対象は、例えば肩や胴体などとしてもよい。

次に、２次元移動軌跡算出部７は、人物検出部６により時々刻々到来するフレーム画像から検出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の２次元移動軌跡として算出する（ステップＳＴ１４）。２次元移動軌跡算出部７の詳細動作を図７のフローチャートに従って説明する。
まず、２次元移動軌跡算出部７は、人物検出部６で算出された人物検出結果（人物の画像座標）を取得し、それぞれの人物検出結果にカウンタを割り当てる（ステップＳＴ１４１）。例えば、図８（ａ）に示すように、人物の追跡を時刻ｔから始める場合、時刻ｔの画像フレームにおける人物検出結果を取得する。ここで、人物検出結果にはそれぞれカウンタが割り当てられており、カウンタは追跡を開始するときに０として初期化される。

次に、２次元移動軌跡算出部７は、ステップＳＴ１４１で取得した人物検出結果を用いて次の時刻における画像フレーム上の人物の画像座標を求めて探索結果として出力する（ステップＳＴ１４２）。例えば、図８（ａ）に示す時刻ｔにおける人物検出結果（人物の画像座標）をテンプレート画像として、図８（ｂ）に示す次の時刻（ｔ＋１）における画像フレーム上の人物を探索する。
ここで、人物の画像座標を求める方法としては、例えば既知の技術である正規化相互相関法などを用いてもよい。その場合、時刻ｔにおける人物領域の画像をテンプレートとして、時刻（ｔ＋１）において最も相関値の高い矩形領域の画像座標を正規化相互相関法で求めて出力する。また、人物の画像座標を求める他の方法として、例えば、上記参考文献２に記載されている特徴量の相関係数を用いてもよい。その場合、時刻ｔの人物領域の内側に含まれる複数の部分領域において特徴量の相関係数を計算し、それらを成分とするベクトルを該当人物のテンプレートベクトルとする。そして、次に時刻（ｔ＋１）においてテンプレートベクトルとの距離が最小となるような領域を探索して、その領域の画像座標を人物探索結果として出力する。さらに、人物の画像座標を求める他の方法として、例えば、Porikli, F. Tuzel, O. Meer, P. ,“Covariance Tracking using Model Update Based on Lie Algebra”,Computer Vision and Pattern Recognition 2006, Volume 1, 17-22, June 2006, pp. 728-735（参考文献３）に記載されている特徴量の分散共分散行列を利用した方法により人物追跡を行い、時々刻々と人物の画像座標を求めてもよい。

次に、２次元移動軌跡算出部７は、次の時刻において人物検出部６が算出した人物検出結果を取得する（ステップＳＴ１４３）。例えば、図８（ｃ）に示すような、時刻（ｔ＋１）の画像フレーム上で人物検出部６が算出した人物検出結果人物の画像座標）を取得する。この人物検出結果である図８（ｃ）の画像では、人物Ａは検出されているが、人物Ｂは検出されていない状態を表しているものとする。

次に、２次元移動軌跡算出部７は、ステップＳＴ１４２で算出した人物探索結果（人物の画像座標）と、ステップＳＴ１４３で取得した人物検出結果（人物の画像座標）を用いて、追跡している人物の情報をアップデートする（ステップＳＴ１４４）。例えば、図８（ｂ）に示すように時刻（ｔ＋１）における人物Ａの探索結果の周辺には、図８（ｃ）に示すような人物Ａの人物検出結果が存在する。このため、図８（ｄ）に示すように人物Ａのカウンタを１から２に上げる。一方、図８（ｃ）に示すように時刻（ｔ＋１）における人物Ｂの人物検出が失敗している場合、図８（ｂ）に示すように人物Ｂの探索結果の周辺には人物Ｂの人物検出結果は存在しない。そこで、図８（ｄ）に示すように人物Ｂのカウンタを０から−１に下げる。このように、２次元移動軌跡算出部７は、探索結果の周辺に検出結果が存在する場合にはカウンタを一つ上げ、探索結果の周辺に検出結果が存在しない場合にはカウンタを一つ下げる。この結果、人物が検出される回数が多い場合には、そのカウンタは大きくなり、一方で人物が検出される回数が低い場合はカウンタの値は小さくなる。
また、上記ステップＳＴ１４４において、人物検出の確信度を累積するようにしてもよい。例えば、２次元移動軌跡算出部７は、探索結果の周辺に検出結果が存在する場合には、該当の検出結果の確信度を累積加算し、探索結果の周辺に検出結果が存在しない場合には確信度は加算しない。この結果、人物検出される回数が多い２次元移動軌跡の場合には、その累積確信度は大きくなる。

次に、２次元移動軌跡算出部７は、追跡の終了判定を実施する（ステップＳＴ１４５）。この場合の終了判定の基準としては、ステップＳＴ１４４で述べたカウンタを利用すればよい。例えば、ステップＳＴ１４４で求めたカウンタが一定の閾値よりも低いものは人物ではないとして追跡を終了する。また、終了判定の基準として、ステップＳＴ１４４で述べた確信度の累積値を閾値処理することで追跡終了判定を実施してもよい。このように追跡の終了判定を行うことで、人物でないものを誤って追跡してしまう現象を避けることが可能である。

２次元移動軌跡算出部７は、以上のようにステップＳＴ１４１からＳＴ１４５の画像テンプレートマッチング処理を時々刻々到来する人物を検出したフレーム画像に対して繰り返すことで、移動する個々の人物はその画像座標の連なり、すなわち点列として表わされる。得られたこの点列を移動する個々の人物の２次元移動軌跡として算出する。なお、ここで遮蔽などにより追跡が途中で終了してしまう場合には、遮蔽が無くなった時刻から人物の追跡を再開すればよい。
また、２次元移動軌跡算出部７では、人物検出部６で算出された人物の画像座標に対して時間的に前方（現在から未来）に向って追跡を行う処理を行っているが、この処理に加え、時間的に後方（現在から過去）に向って追跡を実施し、時間的に前後にわたる人物の２次元移動軌跡を算出してもよい。このように時間的に前後に追跡を行うことで、可能な限り漏れなく人物の追跡を実行し、２次元移動軌跡を算出することができる。例えば、ある人物の追跡において時間的に前方の追跡が失敗しても、時間的に後方の追跡が成功することがあれば、追跡の漏れを無くすことができる。

図３のフローチャートに戻り、軌跡ステレオ部８は、複数のカメラ１の各映像から２次元移動軌跡算出部７で算出された個々の人物の２次元移動軌跡に対して、先にカメラキャリブレーション部３により算出された複数のカメラ１の設置位置および設置角度に基づいてステレオマッチングを行い（ステップＳＴ１５）、個々の人物の３次元移動軌跡を算出する処理を実施する（ステップＳＴ１６）。軌跡ステレオ部８の詳細動作を図９のフローチャートに従って説明する。
まず、軌跡ステレオ部８は、２次元移動軌跡算出部７で異なるカメラ映像から求めた対応する各々一つの２次元移動軌跡を取得する（ステップＳＴ１５１）。この動作例を図１０で説明すると、図１０（ｂ）に示すようにエレベータの内部の異なる位置に設置された２台のカメラ１_α とカメラ１_β によりかご内部を撮影している。図１０（ａ）は、人物Ａと人物Ｂに対する２次元移動軌跡が計算された状況を仮想的に表しており、α１はカメラ１_α の映像における人物Ａの２次元移動軌跡であり、α２はカメラ１_α の映像における人物Ｂの２次元移動軌跡である。また、β１はカメラ１_β の映像における人物Ａの２次元移動軌跡であり、β２はカメラ１_β の映像における人物Ｂの２次元移動軌跡である。

例えば、図１０における２次元移動軌跡α１と２次元移動軌跡β１は次式のように定義される。
２次元移動軌跡α１≡
｛Ｘａ１（ｔ）｝ｔ＝Ｔ１，．．．，Ｔ２＝｛Ｘａ１（Ｔ１），Ｘａ１（Ｔ１＋１），．．．，Ｘａ１（Ｔ２）｝
２次元移動軌跡β１≡
｛Ｘｂ１（ｔ）｝ｔ＝Ｔ３，．．．，Ｔ４＝｛Ｘｂ１（Ｔ３），Ｘｂ１（Ｔ３＋１），．．．，Ｘｂ１（Ｔ４）｝
ここで、Ｘａ１（ｔ）、Ｘｂ１（ｔ）は時刻ｔにおける人物Ａの２次元画像座標である。２次元移動軌跡α１は画像座標が時刻Ｔ１からＴ２まで記録されており、２次元移動軌跡β１は画像座標が時刻Ｔ３からＴ４まで記録されていることを表している。

次に、軌跡ステレオ部８は、選択した対応する２次元移動軌跡α１とβ１同士でオーバーラップする時間を求める（ステップＳＴ１５２）。図１１はこの二つの２次元移動軌跡α１とβ１の記録時間を示したものであるが、２次元移動軌跡α１は画像座標が時刻Ｔ１からＴ２まで記録されており、一方、２次元移動軌跡β１は画像座標が時刻Ｔ３からＴ４まで記録されている。この場合、この二つの２次元移動軌跡α１とβ１がオーバーラップするのは時刻Ｔ２からＴ３までの間であるので、この時間を軌跡ステレオ部８で算出する。

次に、軌跡ステレオ部８では、カメラキャリブレーション部３により算出しておいた複数のカメラ１のそれぞれの設置位置および設置角度を用いて、オーバーラップする各時刻において対応する２次元移動軌跡を形成している点列同士のステレオマッチングを行い、点列同士の距離を算出する（ステップＳＴ１５３）。ここで、点列同士のステレオマッチング処理について図１０（ｂ）で説明する。軌跡ステレオ部８では、オーバーラップするすべての時間ｔにおいて、カメラキャリブレーション部３により算出された複数のカメラ１_α ，１_β のそれぞれの設置位置および設置角度を用いて、カメラ１_α の中心と画像座標Ｘａ１（ｔ）を通る直線Ｖａ１（ｔ）を求める。同様にカメラ１_β の中心と画像座標Ｘｂ１（ｔ）を通る直線Ｖｂ１（ｔ）を求める。そして、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）との交点を人物の３次元位置Ｚ（ｔ）として算出する。同時に、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）同士の距離ｄ（ｔ）を算出する。
例えば、軌跡ステレオ部８は、｛Ｘａ１（ｔ）｝ｔ＝Ｔ１，．．．，Ｔ２と｛Ｘｂ１（ｔ）｝ｔ＝Ｔ３，．．．，Ｔ４とから、オーバーラップする時間ｔ＝Ｔ３，．．．，Ｔ２における３次元位置ベクトルＺ（ｔ）と直線の距離ｄ（ｔ）の集合｛Ｚ（ｔ），ｄ（ｔ）｝ｔ＝Ｔ３，．．．，Ｔ２を得る。

図１０（ｂ）では、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）が交わる場合を示しているが、実際には、頭部の検出誤差やキャリブレーション誤差が原因で、直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）が近づいているだけで、交わらないことが多い。そのような場合には、二つの直線Ｖａ１（ｔ）と直線Ｖｂ１（ｔ）を最短距離で結ぶ線分の距離ｄ（ｔ）を求め、その中点を交点Ｚ（ｔ）として求めるようにしてもよい。あるいは、K. Kanatani, “Statistical Optimization for Geometric Computation: Theory and Practice, Elsevier Science”, Amsterdam, The Netherlands, April 1996.（参考文献４）に記載の「最適補正」の方法により、二つの直線の距離ｄ（ｔ）と交点Ｚ（ｔ）を算出してもよい。

次に、軌跡ステレオ部８は、点列同士のステレオマッチングの際に求めた点列同士の距離を用いて、２次元移動軌跡のマッチング率を算出する（ステップＳＴ１５４）。なお、オーバーラップ時間が０である場合には、マッチング率は０として算出する。ここでは、例えば、オーバーラップ時間内に直線が交わった回数をマッチング率として算出する。つまり、前述の図１０および図１１の例では、時刻ｔ＝Ｔ３，．．．，Ｔ２において距離ｄ（ｔ）が一定の閾値（たとえば１５ｃｍ）以下となる回数をマッチング率として算出する。

また、例えば、オーバーラップ時間内に二つの直線が交わった割合をマッチング率として算出してもよい。すなわち、図１０および図１１の例では、時刻ｔ＝Ｔ３，．．．，Ｔ２において距離ｄ（ｔ）が一定の閾値（たとえば１５ｃｍ）以下となる回数を算出し、これをオーバーラップ時間｜Ｔ３−Ｔ２｜で割った値をマッチング率として算出する。
また、例えば、オーバーラップ時間内の二つの直線の距離の平均をマッチング率として算出してもよい。すなわち、図１０（ｂ）の例では、時刻ｔ＝Ｔ３，．．．，Ｔ２における距離ｄ（ｔ）の平均の逆数をマッチング率として算出する。
また、例えば、オーバーラップ時間内の二つの直線の距離の合計をマッチング率として算出してもよい。すなわち、図１０（ｂ）の例では、時刻ｔ＝Ｔ３，．．．，Ｔ２における距離ｄ（ｔ）の合計の逆数をマッチング率として算出する。
さらにまた、上記の算出方法を組み合わせることで、マッチング率を算出してもよい。

ここで、この発明による２次元移動軌跡のステレオマッチングの効果について述べる。
例えば、図１０における２次元移動軌跡α２とβ２は同一人物Ｂの２次元移動軌跡であるため、各時刻における距離ｄ（ｔ）は小さい値をとる。このため、距離ｄ（ｔ）の平均の逆数は大きな値をとり、２次元移動軌跡α２とβ２のマッチング率は高いと算出される。一方、２次元移動軌跡α１とβ２をステレオマッチングした場合、これらは異なる人物ＡとＢの２次元移動軌跡であるため、ある時刻では偶然に直線が交わることもあるが、ほとんどの時刻において直線は交わらず、結果として距離ｄ（ｔ）の平均の逆数は小さな値をとる。このため、軌跡α１と軌跡β２のマッチング率は低いと判断できる。
従来は、図１５に示すように、ある瞬間の人物検出結果をステレオマッチングして人物の３次元位置を推定していたため、ステレオ視の曖昧さを回避できずに人物の位置を誤って推定してしまうことがあった。しかし、この発明によれば一定の時間にわたる２次元の移動軌跡同士をステレオマッチングすることで、ステレオ視の曖昧さを解消し、正確に人物の３次元移動軌跡を求めることが可能となる

次に、軌跡ステレオ部８は、２次元移動軌跡のマッチング率が一定の閾値を超えた場合には、算出した３次元移動軌跡に対して適切なフィルタリングをかけ（ステップＳＴ１５６）、誤って推定した３次元移動軌跡を取り除く。軌跡ステレオ部８では、人物検出部６が人物を誤検出することが原因で、人物の３次元移動軌跡を誤って算出することがある。そのため、例えば、人物の３次元位置Ｚ（ｔ）が以下の条件（ア）〜（ウ）に合致しない場合に、その３次元移動軌跡を本来の人物の軌跡でないものとして破棄する。
条件（ア）： 人物の身長が一定長（例えば、５０ｃｍ）以上である
条件（イ）： 人物が特定の領域内（例えば、エレベータかご内）に存在する
条件（ウ）： 人物の３次元移動履歴が滑らかである
したがって、条件（ア）により、極端に低い位置にあるものを誤検出されたものとして破棄する。また、条件（イ）により、例えば、かご内に設置された鏡に映っている人物像については誤検出された人物の３次元移動軌跡として破棄する。また、条件（ウ）により、３次元移動軌跡が例えば上下左右に急激に変化するような不自然なものは人物でないとして破棄する。

次に、軌跡ステレオ部８は、ステップＳＴ１５３のステレオマッチングの際にオーバーラップしている時間において推定した人物の３次元位置情報を用いて、オーバーラップしていない時刻における対応する二つの個々の人物の２次元移動軌跡を形成している点列の３次元位置を算出することにより個々の人物の３次元移動軌跡を推定する（ステップＳＴ１５７）。図１１の場合、２次元移動軌跡α１とβ１は時刻ｔ＝Ｔ３，．．．，Ｔ２ではオーバーラップしているものの、その他の時刻ではオーバーラップいない。このため、通常のステレオマッチングでは、オーバーラップしていない時間帯での人物の３次元移動軌跡を算出することができない。このような場合には、まずオーバーラップする時間内における人物の高さの平均を算出し、この高さ平均を用いてオーバーラップしていない時間帯における人物の３次元移動軌跡を推定すればよい。

図１１の例では、まず、｛Ｚ（ｔ），ｄ（ｔ）｝ｔ＝Ｔ３，．．．，Ｔ２における３次元位置ベクトルＺ（ｔ）の高さ成分に関する平均値ａｖｅＨを求める。次に、各時刻ｔにおいて、カメラ１_α の中心と画像座標Ｘａ１（ｔ）を通る直線Ｖａ１（ｔ）上の点のうち、床からの高さがａｖｅＨである点を求め、この点を人物の３次元位置Ｚ（ｔ）として推定するようにする。同様に各時刻ｔにおける画像座標Ｘｂ１（ｔ）から人物の３次元位置Ｚ（ｔ）を推定する。これにより、２次元移動軌跡α１とβ1が記録されたすべての時刻Ｔ１からＴ４にわたる３次元移動軌跡｛Ｚ（ｔ）｝ｔ＝Ｔ１，．．．，Ｔ４を得ることができる。
このことで、遮蔽などが理由で片方のカメラに一定期間人物が写らない場合があっても、もう一つのカメラで人物の２次元移動軌跡を算出し、かつ遮蔽の前後で２次元移動軌跡がオーバーラップしていれば、軌跡ステレオ部８は人物の３次元移動軌跡を算出することができる。次に、全ての軌跡のペアについてマッチング率が算出できていれば、３次元移動軌跡算出部９の処理に移る（ステップＳＴ１５８）。

再び図３のフローチャートに戻り、３次元移動軌跡算出部９は、軌跡ステレオ部８で求めた個々の人物の３次元移動軌跡の断片の前後を対応付けて連結することにより各人物の全３次元移動軌跡を生成する（ステップＳＴ１６）。軌跡ステレオ部８で求めた個々の人物の３次元移動軌跡は複数の断片からなる場合が多い。そのためこれらの断片から個々の人物の完全な３次元移動軌跡を求める必要がある。３次元移動軌跡算出部９の詳細動作について図１２のフローチャートに従って説明する。
まず、３次元移動軌跡算出部９は、監視対象領域となる場所において、人物の入退場エリアを設定し（ステップＳＴ１６１）、軌跡ステレオ部８で求めた３次元移動軌跡の中から、設定した入退場エリアに始点を持つ３次元移動軌跡の断片を取得する（ステップＳＴ１６２）。ここでは、例えば図１３（ａ）に示すように、エレベータ内部の入口付近に人物の入退場エリアを仮想的に設定する。例えば頭部の移動軌跡がエレベータの入口付近に設定した入退場エリアから開始していれば、該当階から乗っていると判断し、また、移動軌跡が上記入退場エリアで終了していれば、該当階で降りていると判断することができる。そこで、３次元移動軌跡算出部９は、始点ＳＰ１が入退場エリアにある３次元移動軌跡の断片Ｌ１を取得する。

次に、３次元移動軌跡算出部９は、取得した３次元移動軌跡の終点の近傍に存在する次の３次元移動軌跡を求めて連結する（ステップＳＴ１６３）。この状況を図１３（ｂ）に示すが、取得した３次元移動軌跡の断片Ｌ１の終点ＴＰ１の近傍に始点ＳＰ２を持つ３次元移動軌跡の断片Ｌ２を取得し、Ｌ１とＬ２を連結する。同様に、図１３（ｃ）に示すように、３次元移動軌跡の断片Ｌ２の終点ＴＰ２の近傍に始点ＳＰ３を持つ３次元移動軌跡の断片Ｌ３を取得し、Ｌ１と連結しているＬ２とＬ３を連結する。
次に、３次元移動軌跡算出部９は、連結した軌跡の終点が入退場エリアにあるか判定し、終点が入退場エリアに存在すれば連結処理を終了し、また終点が入退場エリアに存在しなければ連結処理を継続する（ステップＳＴ１６４）。

次に、３次元移動軌跡算出部９は、ステップＳＴ１６４で同じ時刻に同じ始点を持つ複数の３次元移動軌跡の候補が算出された場合には、所定の条件に基づいて各３次元移動軌跡のコストを算出し、算出されたコストが最小となる候補を３次元移動軌跡として選出する（ステップＳＴ１６５）。これを図１４で説明すると、ステップＳＴ１６４の処理では、同じ時刻に同じ始点ＳＰ１から開始しても異なる終点ＴＰ３とＴＰＸで終わる３次元移動軌跡の候補Ａと候補Ｂが得られることがある。この場合、例えば下記の条件に基づいて各３次元移動軌跡のコストを計算し、そのコストが最小となる候補を３次元移動軌跡を選出する。
条件（ａ）： 人物の３次元移動軌跡が滑らかであり、突然変化しない
条件（ｂ）： ３次元移動軌跡の総時間が短い
例えば、図１４の例では、候補Ｂに比べて候補Ａの方が移動軌跡が滑らかであり、また移動軌跡の総時間も短い。したがって、同じ時刻に始点ＳＰ１から開始する３次元移動軌跡は候補Ａとなるため、これを選出する。このように、連結した３次元移動軌跡に対して適切なフィルタリグをかけることで、不自然な動きの３次元移動軌跡を除去して、正確な人物の全３次元移動軌跡を求めることができる。

上記のようにして、入退場エリアから始まり、入退場エリアで終わる人物の３次元移動軌跡を求めた後、３次元移動軌跡算出部９は、エレベータの停止階を示す停止階情報を個々の人物の３次元移動軌跡に対応付ける（ステップＳＴ１６６）。ここでは、“どの人物がどの階で乗って、どの階で降りたか”を示す個々の人物の移動履歴を求めることになる。なお、停止階情報は、エレベータの制御機器から取得するようにしてもよいし、カメラ１により撮影された映像に写っているエレベータのコントローラの文字盤を認識して、画像処理によって停止階の情報を取得するようにしてもよい。
映像解析部４は、上述の処理を行って個々の人物の移動履歴を求めると、その移動履歴を複数台のエレベータの運行を管理する群管理システム（図示せず）に与える。これにより、群管理システムでは、各エレベータから得られる移動履歴に基づいて常に最適なエレベータの群管理を実施することが可能になる。

以上のように、この実施の形態１によれば、複数のカメラにより撮影されたそれぞれの映像の各フレーム画像に写っている人物を検出し、検出された個々の人物を画像上で追跡して対応する２次元移動軌跡を求め、対応する複数の２次元移動軌跡同士をオーバーラップする時間にわたってステレオ視することで移動する個々の人物の３次元移動軌跡を求め、求めた３次元移動軌跡の断片を連結して個々の人物の完全な移動軌跡を算出するようにしているので、ステレオ視の曖昧さをなくし、かつ遮蔽がある場合でも的確に個々の人物の３次元移動軌跡を求めることができる。その結果、監視対象領域が非常に混雑している状況であっても、監視対象領域内の個々の人物を正確に検出することができるとともに、個々の人物を正確に追跡することができる。

この実施の形態１によれば、軌跡ステレオ部８は、２次元移動軌跡のマッチング率が一定の閾値を超えた場合に、推定された３次元移動軌跡に対して適切なフィルタリングをかけて、誤って推定した３次元移動軌跡を取り除くことで、人物の誤検出を削減することができる。また軌跡ステレオ部８は、オーバーラップしている時間に推定した人物の高さ情報を用いて、二つの２次元移動軌跡がオーバーラップしていない時刻においても人物の３次元移動軌跡を推定することで、遮蔽などが理由で片方のカメラに一定期間人物が写らない場合でも、もう一方のカメラから人物の３次元移動軌跡を推定することができる。
さらに、この実施の形態１によれば、３次元移動軌跡算出部９は、複数の３次元移動軌跡の候補が算出された場合には、各３次元移動軌跡のコストを算出し、それらのコストが最小となる３次元移動軌跡を選出することで、人物のものではない不自然な動きの３次元移動軌跡を除去して、正確な人物の３次元移動軌跡を求めることができる。

なお、この実施の形態１では、監視対象領域がエレベータのかご内である場合について説明したが、この発明の適用はこれに限るものではない。例えば、電車の中を監視対象領域として適用し、電車の混雑度などを計測する場合にも利用できる。また、この発明を、セキュリティニーズの高い場所を監視対象領域として、人物の移動履歴を求めることに適用し、不審な人物の行動を監視することも可能である。また、この発明を、駅や店舗などに適用して人物の移動軌跡を解析することで、マーケティングなどに利用することも可能である。さらに、この発明を、エスカレータの踊り場を監視対象領域として適用し、踊り場に存在する人物の数をカウントして踊り場が混雑してきた場合に、例えば、エスカレータの徐行や停止など適切な制御を行うことで、エスカレータ上で人物が将棋倒しになるなどの事故を未然に回避することに利用することもできる。

この発明の実施の形態１による人物追跡装置の機能構成を示すブロック図である。 同実施の形態１に係る人物追跡動作の前処理の手順を示すフローチャートである。 同実施の形態１に係る人物追跡動作の後処理の手順を示すフローチャートである。 同実施の形態１に係るチェッカーフラグパターンの撮影状況を示す説明図である。 同実施の形態１に係るエレベータのかご内の隅をキャリブレーションパターンとして撮影する状況を示す説明図である。 同実施の形態１に係る人物検出部の人物の頭部の検出処理の状況例を示す説明図である。 同実施の形態１に係る２次元移動軌跡算出部の動作手順を示すフローチャートである。 同実施の形態１に係る２次元移動軌跡算出部の動作状況例を示す説明図である。 同実施の形態１に係る軌跡ステレオ部の動作手順を示すフローチャートである。 同実施の形態１に係る軌跡ステレオ部による２次元移動軌跡のマッチング率算出方法を示す説明図である。 同実施の形態１に係る軌跡ステレオ部で算出する２次元移動軌跡同士のオーバーラップ時間について示す説明図である。 同実施の形態１に係る３次元移動軌跡算出部の動作手順を示すフローチャートである。 同実施の形態１に係る３次元移動軌跡算出部による３次元移動軌跡の連結処理の例を示す説明図である。 同実施の形態１に係る連結処理で複数の３次元移動軌跡が存在する例について示す説明図である。 従来の人物検出手法に係る説明図である。

符号の説明

１ カメラ、２ 映像取得部、３ カメラキャリブレーション部、４ 映像解析部、５ 映像補正部、６ 人物検出部、７ ２次元移動軌跡算出部、８ 軌跡ステレオ部、９ ３次元移動軌跡算出部。

Claims (21)

1. 異なる位置に設置され監視対象領域をそれぞれ撮影して映像を取り出す複数の映像撮影手段と、
   前記複数の映像撮影手段により取り出された映像毎の各フレーム画像に写っている人体の特徴箇所を人物として検出し、この検出した人物の画像座標を算出する人物検出手段と、
   前記人物検出手段により時々刻々到来するフレーム画像から算出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の２次元移動軌跡として算出する２次元移動軌跡算出手段と、
   前記２次元移動軌跡算出手段で前記複数の映像撮影手段の各映像から算出された対応する個々の人物の２次元移動軌跡に対して、監視対象領域内の基準点に対する前記複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいてステレオマッチングを行うことにより個々の人物の３次元移動軌跡を算出する軌跡ステレオ手段と、
   前記軌跡ステレオ手段で算出された個々の人物の３次元移動軌跡の断片の前後を対応付けて連結することにより各人物の全３次元移動軌跡を生成する３次元移動軌跡算出手段とを備えたことを特徴とする人物追跡装置。
2. 複数の映像撮影手段により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、前記複数の映像撮影手段それぞれのカメラパラメータを算出するカメラキャリブレーション手段と、
   前記算出されたカメラパラメータに基づいて、前記複数の映像撮影手段により撮影された各映像の歪みをそれぞれ補正して人物検出手段に与える正規化画像を生成する映像補正手段とを備えたことを特徴とする請求項１記載の人物追跡装置。
3. カメラキャリブレーション手段は、複数の映像撮影手段により撮影されたキャリブレーションパターンの映像に基づいて、ステレオマッチングで用いる前記複数の映像撮影手段のそれぞれの設置位置および設置角度を算出することを特徴とする請求項２記載の人物追跡装置。
4. ２次元移動軌跡算出手段は、人物検出手段で算出された人物の画像座標に対して、時間的に前後に人物を追跡して画像上での２次元移動軌跡を算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の人物追跡装置。
5. 人物検出手段は、検出した人物の画像座標を算出する際に人物の確信度を算出し、
   ２次元移動軌跡算出手段は、２次元移動軌跡の算出中に、前記人物検出手段で求めた確信度の累積値を閾値処理することを特徴とする請求項１から請求項３のうちのいずれか１項記載の人物追跡装置。
6. ２次元移動軌跡算出手段は、２次元移動軌跡の算出中に、画像テンプレートマッチングにおける人物探索領域のアップデートの回数を閾値処理することを特徴とする請求項１から請求項３のうちのいずれか１項記載の人物追跡装置。
7. 軌跡ステレオ手段は、２次元移動軌跡算出手段で算出された対応する個々の人物の２次元移動軌跡のオーバーラップする各時刻において、複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいて当該２次元移動軌跡を形成している点列同士のステレオマッチングを行い、オーバーラップ時間に存在する個々の人物の３次元移動軌跡を求めることを特徴とする請求項１から請求項３のうちのいずれか１項記載の人物追跡装置。
8. 軌跡ステレオ手段は、ステレオマッチングによりオーバーラップ時間の個々の人物の３次元移動軌跡を求める際に、対応する２次元移動軌跡を形成している点列同士の距離を算出して当該距離に基づいて２次元移動軌跡のマッチング率を算出し、当該マッチング率が一定の閾値を超えた場合に、算出された３次元移動軌跡に対して所定の条件のフィルタリングをかけることを特徴とする請求項７記載の人物追跡装置。
9. 軌跡ステレオ手段は、ステレオマッチングの際にオーバーラップ時間において推定した人物の３次元位置情報に基づいて、オーバーラップしていない時刻における個々の人物の２次元移動軌跡を形成している点列の３次元位置を算出することにより個々の人物の３次元移動軌跡を推定することを特徴とする請求項７記載の人物追跡装置。
10. ３次元移動軌跡推定手段は、複数の３次元移動軌跡の候補が算出された場合には、所定の条件に基づいて各３次元移動軌跡のコストを算出し、算出されたコストが最小となる候補を３次元移動軌跡として選出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の人物追跡装置。
11. ３次元移動軌跡算出手段は、複数の映像撮影手段の監視対象領域がエレベータのかご内である場合、前記エレベータの停止階情報と個々の人物の３次元移動軌跡を対応付けた移動履歴を求めること特徴とする請求項１から請求項１０のうちのいずれか１項記載の人物追跡装置。
12. 複数の映像撮影手段により異なる位置から監視対象領域を撮影して取り出されるそれぞれの映像の各フレーム画像から人体の特徴箇所を人物として検出し、当該検出した人物の画像座標を算出する人物検出処理と、
    時々刻々到来するフレーム画像から算出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の２次元移動軌跡として算出する２次元移動軌跡算出処理と、
    前記複数の映像撮影手段の各映像から算出された対応する個々の人物の２次元移動軌跡に対して、監視対象領域内の基準点に対する前記複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいてステレオマッチングを行って個々の人物の３次元移動軌跡を算出する軌跡ステレオ処理と、
    前記算出された個々の人物の３次元移動軌跡の断片の前後を対応付けて連結して各人物の全３次元移動軌跡を生成する３次元移動軌跡算出処理とをコンピュータ上で実行する人物追跡プログラム。
13. 複数の映像撮影手段により撮影されたキャリブレーションパターンの映像から算出された前記複数の映像撮影手段のカメラパラメータに基づいて、前記複数の映像撮影手段により撮影された映像の歪みをそれぞれ補正して人物の検出処理に用いる正規化画像を生成する処理を実行する映像補正処理を実行することを特徴とする請求項１２記載の人物追跡プログラム。
14. ２次元移動軌跡算出処理は、人物検出処理で算出された人物の画像座標に対して、時間的に前後に人物を追跡して画像上での２次元移動軌跡を算出することを特徴とする請求項１２または請求項１３記載の人物追跡プログラム。
15. 人物検出処理では、検出した人物の画像座標を算出する際に人物の確信度を算出し、
    ２次元移動軌跡算出処理では、２次元移動軌跡の算出中に、前記確信度の累積値を閾値処理することを特徴とする請求項１２または請求項１３記載の人物追跡プログラム。
16. ２次元移動軌跡算出処理では、２次元移動軌跡の算出中に、画像テンプレートマッチングにおける人物探索領域のアップデートの回数を閾値処理することを特徴とする請求項１２または請求項１３記載の人物追跡プログラム。
17. 軌跡ステレオ処理では、２次元移動軌跡算出処理で算出された対応する個々の人物の２次元移動軌跡のオーバーラップする各時刻において、複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいて当該２次元移動軌跡を形成している点列同士のステレオマッチングを行い、オーバーラップ時間に存在する個々の人物の３次元移動軌跡を求めることを特徴とする請求項１２または請求項１３記載の人物追跡プログラム。
18. 軌跡ステレオ処理では、ステレオマッチングによりオーバーラップ時間の個々の人物の３次元移動軌跡を求める際に、対応する２次元移動軌跡を形成している点列同士の距離を算出して当該距離に基づいて２次元移動軌跡のマッチング率を算出し、当該マッチング率が一定の閾値を超えた場合に、算出された３次元移動軌跡に対して所定の条件のフィルタリングをかけることを特徴とする請求項１７記載の人物追跡プログラム。
19. 軌跡ステレオ処理では、ステレオマッチングの際にオーバーラップ時間において推定した人物の３次元位置情報に基づいて、オーバーラップしていない時刻における個々の人物の２次元移動軌跡を形成している点列の３次元位置を算出することにより個々の人物の３次元移動軌跡を推定することを特徴とする請求項１７記載の人物追跡プログラム。
20. ３次元移動軌跡推定処理では、複数の３次元移動軌跡の候補が算出された場合には、所定の条件に基づいて各３次元移動軌跡のコストを算出し、算出されたコストが最小となる候補を３次元移動軌跡として選出することを特徴とする請求項１２または請求項１３記載の人物追跡プログラム。
21. ３次元移動軌跡算出処理では、複数の映像撮影手段の監視対象領域がエレベータのかご内である場合、前記エレベータの停止階情報と個々の人物の３次元移動軌跡を対応付けた移動履歴を求めること特徴とする請求項１２から請求項２０のうちのいずれか１項記載の人物追跡プログラム。

Images