JP2010063001A - 人物追跡装置および人物追跡プログラム - Google Patents
人物追跡装置および人物追跡プログラム Download PDFInfo
- Publication number
- JP2010063001A JP2010063001A JP2008228582A JP2008228582A JP2010063001A JP 2010063001 A JP2010063001 A JP 2010063001A JP 2008228582 A JP2008228582 A JP 2008228582A JP 2008228582 A JP2008228582 A JP 2008228582A JP 2010063001 A JP2010063001 A JP 2010063001A
- Authority
- JP
- Japan
- Prior art keywords
- person
- dimensional movement
- movement trajectory
- calculated
- trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
【課題】カメラの監視対象領域の混雑状況下においても個々の人物を正確に追跡することを可能にする。
【解決手段】複数のカメラにより撮影されたそれぞれの映像の各フレーム画像に写っている人物を検出し、検出された個々の人物を画像上で追跡して対応する2次元移動軌跡を求め、対応する複数の2次元移動軌跡同士をオーバーラップする時間にわたってステレオ視することで移動する個々の人物の3次元移動軌跡を求め、求めた3次元移動軌跡の断片を連結して個々の人物の完全な移動軌跡を算出する。
【選択図】図1
【解決手段】複数のカメラにより撮影されたそれぞれの映像の各フレーム画像に写っている人物を検出し、検出された個々の人物を画像上で追跡して対応する2次元移動軌跡を求め、対応する複数の2次元移動軌跡同士をオーバーラップする時間にわたってステレオ視することで移動する個々の人物の3次元移動軌跡を求め、求めた3次元移動軌跡の断片を連結して個々の人物の完全な移動軌跡を算出する。
【選択図】図1
Description
この発明は、例えばカメラにより撮影された映像に写っている個々の人物を検出して、各人物を追跡する人物追跡装置および人物追跡プログラムに関するものである。
高層ビルには非常に多数のエレベータが設置されているが、朝の通勤ラッシュ時や昼休みの混雑時などには、乗客を効率的に輸送するためにこれら多数のエレベータを連携させて運転する群管理が必要となる。このような多数のエレベータの群管理を効率的に行うためには、“誰がどの階で乗って、どの階で降りたか”という乗客の移動履歴を計測して、その移動履歴を群管理システムに提供することが必要となる。従来、乗客の人数カウントや人物移動の計測を、カメラを用いて行う人物追跡技術についてはいろいろな提案がなされてきた。その一つとして、予め記憶している背景画像と、カメラから随時取り込む入力画像との差分の画像(背景差分画像)を求めることにより、エレベータ内の乗客を検出して、エレベータ内における乗客数を検知する方法がある(例えば特許文献1参照)。しかし、非常に混み合っているエレベータでは、約25cm四方に一人の乗客が存在し、乗客が重なり合う状況が発生するので、背景差分画像が一塊のシルエットになる。このため、背景差分画像から個々の人物を分離することは極めて困難である。
また、別の技術として、エレベータのかご内上部にカメラを設置し、予め記憶している頭部画像参照パターンとカメラの撮影画像とを対比することにより、エレベータ内の乗客を検出して、エレベータ内で乗客数を検知する方法がある(例えば特許文献2参照)。しかし、このような単純なパターンマッチングによる人物検出方法によると、例えばカメラから見て、ある人物が他の人物に隠れてしまっているなど、遮蔽が生じている場合には、誤って人数をカウントしてしまうことがある。また、エレベータのかご内に鏡が設置されている場合には、鏡に映っている人物を誤検出してしまうということがある。
また、エレベータのかご内の上部にステレオカメラを設置し、画像から検出した人物をステレオ視して人物の3次元位置を求める手法がある(例えば特許文献2参照)。しかし、この方法によると実際の人数よりも多く人物が検出されてしまうという問題がある。すなわち、この方法によると、例えば図15に示すように、人物Xの3次元位置を知りたい場合、カメラから検出人物までのベクトルVA1とベクトルVB1が交差する点を人物の位置として算出する。しかし、ベクトルVA1とVB2が交わる点にも人物が存在すると推定されてしまうことがあり、実際の人物が二人しか存在しない場合でも誤って3人存在すると計算されてしまうことがある。
さらに、多視点カメラを利用した複数人物の検出手法として、背景差分で得た人物のシルエットを基に、動的計画法を用いて人物の移動軌跡を求める手法(非特許文献1)やParticle Filterを用いて人物の移動軌跡を求める手法(非特許文献2)がある。これらの手法は、ある視点において人物が遮蔽されている状況でも、他の視点のシルエット情報や時系列情報を用いて人数と人物の移動軌跡を求めることが可能である。しかしながら、混雑しているエレベータ内や電車では、どの視点から撮影しても常にシルエットが重なり合うため、これらの手法を適用することができない。
人物追跡装置に用いる従来の複数人物の検出技術は、以上説明したように、エレベータが非常に混雑している状況などでは、エレベータ内の乗客を正確に検出することができないという問題があった。
この発明は、上記のような課題を解決するためになされたもので、カメラの監視対象領域の混雑状況下においても個々の人物を正確に追跡することを可能にする人物追跡装置および人物追跡プログラムを得ることを目的とする。
この発明に係る人物追跡装置は、異なる位置に設置され監視対象領域をそれぞれ撮影して映像を取り出す複数の映像撮影手段と、複数の映像撮影手段により取り出された映像毎の各フレーム画像に写っている人体の特徴箇所を人物として検出し、この検出した人物の画像座標を算出する人物検出手段と、人物検出手段により時々刻々到来するフレーム画像から算出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の2次元移動軌跡として算出する2次元移動軌跡算出手段と、2次元移動軌跡算出手段で複数の映像撮影手段の各映像から算出された対応する個々の人物の2次元移動軌跡に対して、監視対象領域内の基準点に対する前記複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいてステレオマッチングを行うことにより個々の人物の3次元移動軌跡を算出する軌跡ステレオ手段と、軌跡ステレオ手段で算出された個々の人物の3次元移動軌跡の断片の前後を対応付けて連結することにより各人物の全3次元移動軌跡を生成する3次元移動軌跡算出手段とを備えたものである。
この発明によれば、複数のカメラにより撮影されたそれぞれの映像の各フレーム画像に写っている人物を検出し、検出された個々の人物を画像上で追跡して対応する2次元移動軌跡を求め、対応する複数の2次元移動軌跡同士をオーバーラップする時間にわたってステレオ視することで移動する個々の人物の3次元移動軌跡を求め、求めた3次元移動軌跡の断片を連結して個々の人物の完全な移動軌跡を算出するようにしているので、ステレオ視の曖昧さをなくし、かつ遮蔽がある場合でも的確に個々の人物の3次元移動軌跡を求めることができる。その結果、監視対象領域が非常に混雑している状況であっても、監視対象領域内の個々の人物を正確に検出することができるとともに、個々の人物を正確に追跡することができる。
実施の形態1.
図1は、この発明の実施の形態1による人物追跡装置の機能構成を示すブロック図である。
図において、複数のカメラ1は、エレベータのかご内の上部の異なる位置に設置され、かご内を監視対象領域として同時に異なる角度からその領域を撮影する映像撮影手段である。なお、ここで使用されるカメラ1の種類については特に問わない。一般的な監視カメラは勿論のこと、可視カメラ、近赤外線領域まで撮影可能な高感度カメラ、熱源を撮影することが可能な遠赤外線カメラなどでもよい。また、距離計測が可能な赤外線距離センサや、レーザーレンジファインダなどで代用してもよい。映像取得部2は、各カメラ1から出力される映像を取得する映像入力インタフェースである。
図1は、この発明の実施の形態1による人物追跡装置の機能構成を示すブロック図である。
図において、複数のカメラ1は、エレベータのかご内の上部の異なる位置に設置され、かご内を監視対象領域として同時に異なる角度からその領域を撮影する映像撮影手段である。なお、ここで使用されるカメラ1の種類については特に問わない。一般的な監視カメラは勿論のこと、可視カメラ、近赤外線領域まで撮影可能な高感度カメラ、熱源を撮影することが可能な遠赤外線カメラなどでもよい。また、距離計測が可能な赤外線距離センサや、レーザーレンジファインダなどで代用してもよい。映像取得部2は、各カメラ1から出力される映像を取得する映像入力インタフェースである。
カメラキャリブレーション部3は、人物追跡処理が開始される前に、予め複数のカメラ1により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、複数のカメラ1それぞれのカメラパラメータ、すなわちレンズの歪み、焦点距離、光軸、画像中心(principal point)に関するパラメータを算出する手段である。また、カメラキャリブレーション部3は、複数のカメラ1により撮影されたキャリブレーションパターンの映像から、エレベータのかご内の基準点に対する複数のカメラ1の設置位置および設置角度の算出を行う手段でもある。
映像解析部4は、人物の検出処理や移動軌跡の解析処理などを実施する手段で、映像補正部5、人物検出部6、2次元移動軌跡算出部7、軌跡ステレオ部8および3次元移動軌跡算出部9から構成されている。これらの部分5〜9の機能の要点は次のようになる。
映像補正部5は、カメラキャリブレーション部3により算出されたカメラパラメータを用いて、映像取得部2により取得された複数のカメラ1からの映像の歪みを補正する手段である。人物検出部6は、映像取得部2により取得された各映像に写っている人物を検出する手段である。2次元移動軌跡算出部7は、人物検出部6で検出された人物を画像上で追跡し、個々の人物の2次元移動軌跡を算出する手段である。軌跡ステレオ部8は、複数のカメラ1の各映像から算出された2次元移動軌跡に対してステレオマッチングを行い、個々の人物の3次元移動軌跡を算出する手段である。3次元移動軌跡算出部9は、3次元移動軌跡の個片を連結して個々の人物の完全な移動軌跡を算出する手段である。
映像補正部5は、カメラキャリブレーション部3により算出されたカメラパラメータを用いて、映像取得部2により取得された複数のカメラ1からの映像の歪みを補正する手段である。人物検出部6は、映像取得部2により取得された各映像に写っている人物を検出する手段である。2次元移動軌跡算出部7は、人物検出部6で検出された人物を画像上で追跡し、個々の人物の2次元移動軌跡を算出する手段である。軌跡ステレオ部8は、複数のカメラ1の各映像から算出された2次元移動軌跡に対してステレオマッチングを行い、個々の人物の3次元移動軌跡を算出する手段である。3次元移動軌跡算出部9は、3次元移動軌跡の個片を連結して個々の人物の完全な移動軌跡を算出する手段である。
図1に示された構成において、映像取得部2、カメラキャリブレーション部3、映像補正部5、人物検出部6、2次元移動軌跡算出部7、軌跡ステレオ部8および3次元移動軌跡算出部9は、それぞれ専用のハードウェア(例えば、MPUを実装している半導体集積回路基板)による構成とすることができるが、人物追跡装置をコンピュータで構成する場合には、各部の処理内容を記述している人物追跡プログラムをコンピュータのメモリに格納し、コンピュータのCPUにより当該格納されている人物追跡プログラムが実行される構成としてもよい。
次に、動作について説明する。
最初に、人物追跡動作の前処理の手順について図2のフローチャートに従って説明する。
カメラキャリブレーション部3がカメラパラメータを算出するに先立ち、個々のカメラ1によりキャリブレーションパターンを撮影する(ステップST1)。映像取得部2では、個々のカメラ1により撮影されたキャリブレーションパターンの映像を取得して、そのキャリブレーションパターンの映像をカメラキャリブレーション部3に出力する。ここで使用するキャリブレーションパターンとしては、例えば、大きさが既知の白黒のチェッカーフラグパターン(図4を参照)などが該当する。なお、キャリブレーションパターンは、10〜20通りの異なる位置や角度からカメラ1により撮影される。カメラキャリブレーション部3では、映像取得部2からキャリブレーションパターンの映像を受けると、そのキャリブレーションパターンの映像の歪み具合を解析して、各カメラ1のカメラパラメータを算出する(ステップST2)。なお、カメラパラメータの算出方法は周知の技術であるので、ここでは詳細説明を省略する。
最初に、人物追跡動作の前処理の手順について図2のフローチャートに従って説明する。
カメラキャリブレーション部3がカメラパラメータを算出するに先立ち、個々のカメラ1によりキャリブレーションパターンを撮影する(ステップST1)。映像取得部2では、個々のカメラ1により撮影されたキャリブレーションパターンの映像を取得して、そのキャリブレーションパターンの映像をカメラキャリブレーション部3に出力する。ここで使用するキャリブレーションパターンとしては、例えば、大きさが既知の白黒のチェッカーフラグパターン(図4を参照)などが該当する。なお、キャリブレーションパターンは、10〜20通りの異なる位置や角度からカメラ1により撮影される。カメラキャリブレーション部3では、映像取得部2からキャリブレーションパターンの映像を受けると、そのキャリブレーションパターンの映像の歪み具合を解析して、各カメラ1のカメラパラメータを算出する(ステップST2)。なお、カメラパラメータの算出方法は周知の技術であるので、ここでは詳細説明を省略する。
次に、カメラキャリブレーション部3が複数のカメラ1の設置位置および設置角度を算出するに際して、複数のカメラ1がエレベータのかご内の上部に設置されたのち、複数のカメラ1により、既知の大きさのカメラキャリブレーションパターンを同時に撮影する(ステップST3)。例えば、図4に示すように、キャリブレーションパターンとしてチェッカーフラグパターンをかご内の床に敷き、そのチェッカーフラグパターンが複数のカメラ1で同時に写るようにして撮影する。このとき、かご内の床に敷かれたキャリブレーションパターンに対して、かご内の基準点(例えば、かごの入口)からの位置と角度をオフセットとして計測し、また、かごの内寸を計測しておくようにする。なお、図4の例では、キャリブレーションパターンは、かご内の床に敷かれたチェッカーフラグパターンとしているが、これに限るものではなく、例えば、かご内の床に直接描かれた模様であってもよい。その場合、床に描かれた模様の大きさを予め計測しておくようにする。
また、図5に示すように、キャリブレーションパターンとして、無人のかご内を撮影し、かご内の床と天井の四隅(角部)を選択したものでもよい。この場合、かごの内寸を計測しておくようにする。
また、図5に示すように、キャリブレーションパターンとして、無人のかご内を撮影し、かご内の床と天井の四隅(角部)を選択したものでもよい。この場合、かごの内寸を計測しておくようにする。
次に、カメラキャリブレーション部3は、複数のカメラ1により撮影されたキャリブレーションパターンの映像と、ステップST2で算出されたカメラパラメータを用いて、エレベータのかご内の基準点に対する複数のカメラ1の設置位置および設置角度を算出する(ステップST4)。具体的には、キャリブレーションパターンとして、例えば、白黒のチェッカーフラグパターンが用いられた場合、まず、複数のカメラ1により撮影されたチェッカーパターンに対するカメラ1の相対位置と相対角度を算出する。そして、予め計測しているチェッカーパターンのオフセット(かご内の基準点であるかごの入口からの位置と角度)を複数のカメラ1の相対位置と相対角度に足し合わせることで、かご内の基準点に対する複数のカメラ1の設置位置と設置角度を求める。
一方、キャリブレーションパターンとして、図5に示すように、例えばかご内の床の四隅と天井の三隅が用いられる場合、予め計測しているかごの内寸から、かご内の基準点に対する複数のカメラ1の設置位置と設置角度を算出してもよい。この場合、かご内にカメラ1を設置するだけで、カメラ1の設置位置と設置角度を自動的に求めることが可能である。
一方、キャリブレーションパターンとして、図5に示すように、例えばかご内の床の四隅と天井の三隅が用いられる場合、予め計測しているかごの内寸から、かご内の基準点に対する複数のカメラ1の設置位置と設置角度を算出してもよい。この場合、かご内にカメラ1を設置するだけで、カメラ1の設置位置と設置角度を自動的に求めることが可能である。
次に、人物追跡動作の後処理の手順について図3のフローチャートに従って説明する。
映像解析部4で人物の検出処理や移動軌跡の解析処理などを実施するに際して、複数のカメラ1により、実際に運行中のエレベータのかご内の領域を繰り返し撮影する。映像取得部2は、複数のカメラ1により撮影されたかご内の映像を時々刻々と取得する(ステップST11)。映像補正部5では、映像取得部2が複数のカメラ1により撮影された映像を取得する毎に、カメラキャリブレーション部3により算出されたカメラパラメータを用いて、複数の映像の歪みを補正し、歪みの無い映像である正規化画像を生成する(ステップST12)。なお、映像の歪みを補正する方法は周知の技術であるため、ここでは説明を省略する。
映像解析部4で人物の検出処理や移動軌跡の解析処理などを実施するに際して、複数のカメラ1により、実際に運行中のエレベータのかご内の領域を繰り返し撮影する。映像取得部2は、複数のカメラ1により撮影されたかご内の映像を時々刻々と取得する(ステップST11)。映像補正部5では、映像取得部2が複数のカメラ1により撮影された映像を取得する毎に、カメラキャリブレーション部3により算出されたカメラパラメータを用いて、複数の映像の歪みを補正し、歪みの無い映像である正規化画像を生成する(ステップST12)。なお、映像の歪みを補正する方法は周知の技術であるため、ここでは説明を省略する。
人物検出部6は、映像補正部5が複数のカメラ1により撮影された映像の正規化画像をそれぞれ生成すると、各正規化画像に存在している人体の特徴箇所を人物として検出し、この検出した人物(人体の特徴箇所)の画像座標と確信度を算出する(ステップST13)。ここで、人物の画像座標とは、例えば人物検出部6が人体の特徴箇所として頭部を検出する場合、その検出した頭部の領域を囲む矩形の中心座標のことである。また、確信度とは、人物検出部6の検出物がどの程度人間(ここでは、頭部であること)に近いかを表現する指標であり、確信度が高いほど人間である確率が高く、確信度が低いほど人間である確率が低いことを表す。
人物検出部6における人物の頭部の検出処理の状況について図6により説明する。図6(a)は、かご内の天井の対角位置に設置された2台のカメラ11 ,12 によりかご内の3人の乗客(人物)を撮影している状況を表している。図6(b)は、カメラ11 で顔方向を撮影した画像から頭部が検出され、検出結果である頭部の領域に確信度を添付した状態を表わしている。一方、図6(c)は、カメラ12 で後頭部方向を撮影した画像から頭部が検出され、検出結果である頭部の領域に確信度を添付した状態を表わしている。しかし、図6(c)の場合、脚部601が誤検出されており、そのため誤検出部分の確信度は低く算出されている。
人物検出部6における人物の頭部の検出処理の状況について図6により説明する。図6(a)は、かご内の天井の対角位置に設置された2台のカメラ11 ,12 によりかご内の3人の乗客(人物)を撮影している状況を表している。図6(b)は、カメラ11 で顔方向を撮影した画像から頭部が検出され、検出結果である頭部の領域に確信度を添付した状態を表わしている。一方、図6(c)は、カメラ12 で後頭部方向を撮影した画像から頭部が検出され、検出結果である頭部の領域に確信度を添付した状態を表わしている。しかし、図6(c)の場合、脚部601が誤検出されており、そのため誤検出部分の確信度は低く算出されている。
ここで、頭部の検出方法としては、例えば、Viola, P. , Jones, M. , “Rapid Object Detection Using a Boosted Cascade of Simple Features”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001(参考文献1)に開示されている顔検出手法を使用すればよい。すなわち、“Rectangle Feature”と呼ばれるハール基底状のパターンをAdaboostにより選択して多数の弱判別機を取得し、これら弱判別機の出力と適当な閾値をすべて加算した値を確信度として利用することができる。また、人間の頭部検出方法として、田口進也、神田準史郎、島嘉宏、瀧口純一、“特徴量ベクトルの相関係数行列を用いた少ないサンプルでの高精度画像認識 道路標識認識への適用”電子情報通信学会技術研究報告 IE、 画像工学、Vol.106,No.537(20070216),pp.55−60,IE2006−270(参考文献2)に開示されている道路標識検出方法を応用して、その画像座標と確信度を算出するようにしてもよい。
なお、図6では、人物検出部6が人物を検出するにあたって人体の特徴箇所である頭部を検出対象とした場合を示しているが、この検出対象は、例えば肩や胴体などとしてもよい。
なお、図6では、人物検出部6が人物を検出するにあたって人体の特徴箇所である頭部を検出対象とした場合を示しているが、この検出対象は、例えば肩や胴体などとしてもよい。
次に、2次元移動軌跡算出部7は、人物検出部6により時々刻々到来するフレーム画像から検出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の2次元移動軌跡として算出する(ステップST14)。2次元移動軌跡算出部7の詳細動作を図7のフローチャートに従って説明する。
まず、2次元移動軌跡算出部7は、人物検出部6で算出された人物検出結果(人物の画像座標)を取得し、それぞれの人物検出結果にカウンタを割り当てる(ステップST141)。例えば、図8(a)に示すように、人物の追跡を時刻tから始める場合、時刻tの画像フレームにおける人物検出結果を取得する。ここで、人物検出結果にはそれぞれカウンタが割り当てられており、カウンタは追跡を開始するときに0として初期化される。
まず、2次元移動軌跡算出部7は、人物検出部6で算出された人物検出結果(人物の画像座標)を取得し、それぞれの人物検出結果にカウンタを割り当てる(ステップST141)。例えば、図8(a)に示すように、人物の追跡を時刻tから始める場合、時刻tの画像フレームにおける人物検出結果を取得する。ここで、人物検出結果にはそれぞれカウンタが割り当てられており、カウンタは追跡を開始するときに0として初期化される。
次に、2次元移動軌跡算出部7は、ステップST141で取得した人物検出結果を用いて次の時刻における画像フレーム上の人物の画像座標を求めて探索結果として出力する(ステップST142)。例えば、図8(a)に示す時刻tにおける人物検出結果(人物の画像座標)をテンプレート画像として、図8(b)に示す次の時刻(t+1)における画像フレーム上の人物を探索する。
ここで、人物の画像座標を求める方法としては、例えば既知の技術である正規化相互相関法などを用いてもよい。その場合、時刻tにおける人物領域の画像をテンプレートとして、時刻(t+1)において最も相関値の高い矩形領域の画像座標を正規化相互相関法で求めて出力する。また、人物の画像座標を求める他の方法として、例えば、上記参考文献2に記載されている特徴量の相関係数を用いてもよい。その場合、時刻tの人物領域の内側に含まれる複数の部分領域において特徴量の相関係数を計算し、それらを成分とするベクトルを該当人物のテンプレートベクトルとする。そして、次に時刻(t+1)においてテンプレートベクトルとの距離が最小となるような領域を探索して、その領域の画像座標を人物探索結果として出力する。さらに、人物の画像座標を求める他の方法として、例えば、Porikli, F. Tuzel, O. Meer, P. ,“Covariance Tracking using Model Update Based on Lie Algebra”,Computer Vision and Pattern Recognition 2006, Volume 1, 17-22, June 2006, pp. 728-735(参考文献3)に記載されている特徴量の分散共分散行列を利用した方法により人物追跡を行い、時々刻々と人物の画像座標を求めてもよい。
ここで、人物の画像座標を求める方法としては、例えば既知の技術である正規化相互相関法などを用いてもよい。その場合、時刻tにおける人物領域の画像をテンプレートとして、時刻(t+1)において最も相関値の高い矩形領域の画像座標を正規化相互相関法で求めて出力する。また、人物の画像座標を求める他の方法として、例えば、上記参考文献2に記載されている特徴量の相関係数を用いてもよい。その場合、時刻tの人物領域の内側に含まれる複数の部分領域において特徴量の相関係数を計算し、それらを成分とするベクトルを該当人物のテンプレートベクトルとする。そして、次に時刻(t+1)においてテンプレートベクトルとの距離が最小となるような領域を探索して、その領域の画像座標を人物探索結果として出力する。さらに、人物の画像座標を求める他の方法として、例えば、Porikli, F. Tuzel, O. Meer, P. ,“Covariance Tracking using Model Update Based on Lie Algebra”,Computer Vision and Pattern Recognition 2006, Volume 1, 17-22, June 2006, pp. 728-735(参考文献3)に記載されている特徴量の分散共分散行列を利用した方法により人物追跡を行い、時々刻々と人物の画像座標を求めてもよい。
次に、2次元移動軌跡算出部7は、次の時刻において人物検出部6が算出した人物検出結果を取得する(ステップST143)。例えば、図8(c)に示すような、時刻(t+1)の画像フレーム上で人物検出部6が算出した人物検出結果人物の画像座標)を取得する。この人物検出結果である図8(c)の画像では、人物Aは検出されているが、人物Bは検出されていない状態を表しているものとする。
次に、2次元移動軌跡算出部7は、ステップST142で算出した人物探索結果(人物の画像座標)と、ステップST143で取得した人物検出結果(人物の画像座標)を用いて、追跡している人物の情報をアップデートする(ステップST144)。例えば、図8(b)に示すように時刻(t+1)における人物Aの探索結果の周辺には、図8(c)に示すような人物Aの人物検出結果が存在する。このため、図8(d)に示すように人物Aのカウンタを1から2に上げる。一方、図8(c)に示すように時刻(t+1)における人物Bの人物検出が失敗している場合、図8(b)に示すように人物Bの探索結果の周辺には人物Bの人物検出結果は存在しない。そこで、図8(d)に示すように人物Bのカウンタを0から−1に下げる。このように、2次元移動軌跡算出部7は、探索結果の周辺に検出結果が存在する場合にはカウンタを一つ上げ、探索結果の周辺に検出結果が存在しない場合にはカウンタを一つ下げる。この結果、人物が検出される回数が多い場合には、そのカウンタは大きくなり、一方で人物が検出される回数が低い場合はカウンタの値は小さくなる。
また、上記ステップST144において、人物検出の確信度を累積するようにしてもよい。例えば、2次元移動軌跡算出部7は、探索結果の周辺に検出結果が存在する場合には、該当の検出結果の確信度を累積加算し、探索結果の周辺に検出結果が存在しない場合には確信度は加算しない。この結果、人物検出される回数が多い2次元移動軌跡の場合には、その累積確信度は大きくなる。
また、上記ステップST144において、人物検出の確信度を累積するようにしてもよい。例えば、2次元移動軌跡算出部7は、探索結果の周辺に検出結果が存在する場合には、該当の検出結果の確信度を累積加算し、探索結果の周辺に検出結果が存在しない場合には確信度は加算しない。この結果、人物検出される回数が多い2次元移動軌跡の場合には、その累積確信度は大きくなる。
次に、2次元移動軌跡算出部7は、追跡の終了判定を実施する(ステップST145)。この場合の終了判定の基準としては、ステップST144で述べたカウンタを利用すればよい。例えば、ステップST144で求めたカウンタが一定の閾値よりも低いものは人物ではないとして追跡を終了する。また、終了判定の基準として、ステップST144で述べた確信度の累積値を閾値処理することで追跡終了判定を実施してもよい。このように追跡の終了判定を行うことで、人物でないものを誤って追跡してしまう現象を避けることが可能である。
2次元移動軌跡算出部7は、以上のようにステップST141からST145の画像テンプレートマッチング処理を時々刻々到来する人物を検出したフレーム画像に対して繰り返すことで、移動する個々の人物はその画像座標の連なり、すなわち点列として表わされる。得られたこの点列を移動する個々の人物の2次元移動軌跡として算出する。なお、ここで遮蔽などにより追跡が途中で終了してしまう場合には、遮蔽が無くなった時刻から人物の追跡を再開すればよい。
また、2次元移動軌跡算出部7では、人物検出部6で算出された人物の画像座標に対して時間的に前方(現在から未来)に向って追跡を行う処理を行っているが、この処理に加え、時間的に後方(現在から過去)に向って追跡を実施し、時間的に前後にわたる人物の2次元移動軌跡を算出してもよい。このように時間的に前後に追跡を行うことで、可能な限り漏れなく人物の追跡を実行し、2次元移動軌跡を算出することができる。例えば、ある人物の追跡において時間的に前方の追跡が失敗しても、時間的に後方の追跡が成功することがあれば、追跡の漏れを無くすことができる。
また、2次元移動軌跡算出部7では、人物検出部6で算出された人物の画像座標に対して時間的に前方(現在から未来)に向って追跡を行う処理を行っているが、この処理に加え、時間的に後方(現在から過去)に向って追跡を実施し、時間的に前後にわたる人物の2次元移動軌跡を算出してもよい。このように時間的に前後に追跡を行うことで、可能な限り漏れなく人物の追跡を実行し、2次元移動軌跡を算出することができる。例えば、ある人物の追跡において時間的に前方の追跡が失敗しても、時間的に後方の追跡が成功することがあれば、追跡の漏れを無くすことができる。
図3のフローチャートに戻り、軌跡ステレオ部8は、複数のカメラ1の各映像から2次元移動軌跡算出部7で算出された個々の人物の2次元移動軌跡に対して、先にカメラキャリブレーション部3により算出された複数のカメラ1の設置位置および設置角度に基づいてステレオマッチングを行い(ステップST15)、個々の人物の3次元移動軌跡を算出する処理を実施する(ステップST16)。軌跡ステレオ部8の詳細動作を図9のフローチャートに従って説明する。
まず、軌跡ステレオ部8は、2次元移動軌跡算出部7で異なるカメラ映像から求めた対応する各々一つの2次元移動軌跡を取得する(ステップST151)。この動作例を図10で説明すると、図10(b)に示すようにエレベータの内部の異なる位置に設置された2台のカメラ1α とカメラ1β によりかご内部を撮影している。図10(a)は、人物Aと人物Bに対する2次元移動軌跡が計算された状況を仮想的に表しており、α1はカメラ1α の映像における人物Aの2次元移動軌跡であり、α2はカメラ1α の映像における人物Bの2次元移動軌跡である。また、β1はカメラ1β の映像における人物Aの2次元移動軌跡であり、β2はカメラ1β の映像における人物Bの2次元移動軌跡である。
まず、軌跡ステレオ部8は、2次元移動軌跡算出部7で異なるカメラ映像から求めた対応する各々一つの2次元移動軌跡を取得する(ステップST151)。この動作例を図10で説明すると、図10(b)に示すようにエレベータの内部の異なる位置に設置された2台のカメラ1α とカメラ1β によりかご内部を撮影している。図10(a)は、人物Aと人物Bに対する2次元移動軌跡が計算された状況を仮想的に表しており、α1はカメラ1α の映像における人物Aの2次元移動軌跡であり、α2はカメラ1α の映像における人物Bの2次元移動軌跡である。また、β1はカメラ1β の映像における人物Aの2次元移動軌跡であり、β2はカメラ1β の映像における人物Bの2次元移動軌跡である。
例えば、図10における2次元移動軌跡α1と2次元移動軌跡β1は次式のように定義される。
2次元移動軌跡α1≡
{Xa1(t)}t=T1,...,T2={Xa1(T1),Xa1(T1+1),...,Xa1(T2)}
2次元移動軌跡β1≡
{Xb1(t)}t=T3,...,T4={Xb1(T3),Xb1(T3+1),...,Xb1(T4)}
ここで、Xa1(t)、Xb1(t)は時刻tにおける人物Aの2次元画像座標である。2次元移動軌跡α1は画像座標が時刻T1からT2まで記録されており、2次元移動軌跡β1は画像座標が時刻T3からT4まで記録されていることを表している。
2次元移動軌跡α1≡
{Xa1(t)}t=T1,...,T2={Xa1(T1),Xa1(T1+1),...,Xa1(T2)}
2次元移動軌跡β1≡
{Xb1(t)}t=T3,...,T4={Xb1(T3),Xb1(T3+1),...,Xb1(T4)}
ここで、Xa1(t)、Xb1(t)は時刻tにおける人物Aの2次元画像座標である。2次元移動軌跡α1は画像座標が時刻T1からT2まで記録されており、2次元移動軌跡β1は画像座標が時刻T3からT4まで記録されていることを表している。
次に、軌跡ステレオ部8は、選択した対応する2次元移動軌跡α1とβ1同士でオーバーラップする時間を求める(ステップST152)。図11はこの二つの2次元移動軌跡α1とβ1の記録時間を示したものであるが、2次元移動軌跡α1は画像座標が時刻T1からT2まで記録されており、一方、2次元移動軌跡β1は画像座標が時刻T3からT4まで記録されている。この場合、この二つの2次元移動軌跡α1とβ1がオーバーラップするのは時刻T2からT3までの間であるので、この時間を軌跡ステレオ部8で算出する。
次に、軌跡ステレオ部8では、カメラキャリブレーション部3により算出しておいた複数のカメラ1のそれぞれの設置位置および設置角度を用いて、オーバーラップする各時刻において対応する2次元移動軌跡を形成している点列同士のステレオマッチングを行い、点列同士の距離を算出する(ステップST153)。ここで、点列同士のステレオマッチング処理について図10(b)で説明する。軌跡ステレオ部8では、オーバーラップするすべての時間tにおいて、カメラキャリブレーション部3により算出された複数のカメラ1α ,1β のそれぞれの設置位置および設置角度を用いて、カメラ1α の中心と画像座標Xa1(t)を通る直線Va1(t)を求める。同様にカメラ1β の中心と画像座標Xb1(t)を通る直線Vb1(t)を求める。そして、直線Va1(t)と直線Vb1(t)との交点を人物の3次元位置Z(t)として算出する。同時に、直線Va1(t)と直線Vb1(t)同士の距離d(t)を算出する。
例えば、軌跡ステレオ部8は、{Xa1(t)}t=T1,...,T2と{Xb1(t)}t=T3,...,T4とから、オーバーラップする時間t=T3,...,T2における3次元位置ベクトルZ(t)と直線の距離d(t)の集合{Z(t),d(t)}t=T3,...,T2を得る。
例えば、軌跡ステレオ部8は、{Xa1(t)}t=T1,...,T2と{Xb1(t)}t=T3,...,T4とから、オーバーラップする時間t=T3,...,T2における3次元位置ベクトルZ(t)と直線の距離d(t)の集合{Z(t),d(t)}t=T3,...,T2を得る。
図10(b)では、直線Va1(t)と直線Vb1(t)が交わる場合を示しているが、実際には、頭部の検出誤差やキャリブレーション誤差が原因で、直線Va1(t)と直線Vb1(t)が近づいているだけで、交わらないことが多い。そのような場合には、二つの直線Va1(t)と直線Vb1(t)を最短距離で結ぶ線分の距離d(t)を求め、その中点を交点Z(t)として求めるようにしてもよい。あるいは、K. Kanatani, “Statistical Optimization for Geometric Computation: Theory and Practice, Elsevier Science”, Amsterdam, The Netherlands, April 1996.(参考文献4)に記載の「最適補正」の方法により、二つの直線の距離d(t)と交点Z(t)を算出してもよい。
次に、軌跡ステレオ部8は、点列同士のステレオマッチングの際に求めた点列同士の距離を用いて、2次元移動軌跡のマッチング率を算出する(ステップST154)。なお、オーバーラップ時間が0である場合には、マッチング率は0として算出する。ここでは、例えば、オーバーラップ時間内に直線が交わった回数をマッチング率として算出する。つまり、前述の図10および図11の例では、時刻t=T3,...,T2において距離d(t)が一定の閾値(たとえば15cm)以下となる回数をマッチング率として算出する。
また、例えば、オーバーラップ時間内に二つの直線が交わった割合をマッチング率として算出してもよい。すなわち、図10および図11の例では、時刻t=T3,...,T2において距離d(t)が一定の閾値(たとえば15cm)以下となる回数を算出し、これをオーバーラップ時間|T3−T2|で割った値をマッチング率として算出する。
また、例えば、オーバーラップ時間内の二つの直線の距離の平均をマッチング率として算出してもよい。すなわち、図10(b)の例では、時刻t=T3,...,T2における距離d(t)の平均の逆数をマッチング率として算出する。
また、例えば、オーバーラップ時間内の二つの直線の距離の合計をマッチング率として算出してもよい。すなわち、図10(b)の例では、時刻t=T3,...,T2における距離d(t)の合計の逆数をマッチング率として算出する。
さらにまた、上記の算出方法を組み合わせることで、マッチング率を算出してもよい。
また、例えば、オーバーラップ時間内の二つの直線の距離の平均をマッチング率として算出してもよい。すなわち、図10(b)の例では、時刻t=T3,...,T2における距離d(t)の平均の逆数をマッチング率として算出する。
また、例えば、オーバーラップ時間内の二つの直線の距離の合計をマッチング率として算出してもよい。すなわち、図10(b)の例では、時刻t=T3,...,T2における距離d(t)の合計の逆数をマッチング率として算出する。
さらにまた、上記の算出方法を組み合わせることで、マッチング率を算出してもよい。
ここで、この発明による2次元移動軌跡のステレオマッチングの効果について述べる。
例えば、図10における2次元移動軌跡α2とβ2は同一人物Bの2次元移動軌跡であるため、各時刻における距離d(t)は小さい値をとる。このため、距離d(t)の平均の逆数は大きな値をとり、2次元移動軌跡α2とβ2のマッチング率は高いと算出される。一方、2次元移動軌跡α1とβ2をステレオマッチングした場合、これらは異なる人物AとBの2次元移動軌跡であるため、ある時刻では偶然に直線が交わることもあるが、ほとんどの時刻において直線は交わらず、結果として距離d(t)の平均の逆数は小さな値をとる。このため、軌跡α1と軌跡β2のマッチング率は低いと判断できる。
従来は、図15に示すように、ある瞬間の人物検出結果をステレオマッチングして人物の3次元位置を推定していたため、ステレオ視の曖昧さを回避できずに人物の位置を誤って推定してしまうことがあった。しかし、この発明によれば一定の時間にわたる2次元の移動軌跡同士をステレオマッチングすることで、ステレオ視の曖昧さを解消し、正確に人物の3次元移動軌跡を求めることが可能となる
例えば、図10における2次元移動軌跡α2とβ2は同一人物Bの2次元移動軌跡であるため、各時刻における距離d(t)は小さい値をとる。このため、距離d(t)の平均の逆数は大きな値をとり、2次元移動軌跡α2とβ2のマッチング率は高いと算出される。一方、2次元移動軌跡α1とβ2をステレオマッチングした場合、これらは異なる人物AとBの2次元移動軌跡であるため、ある時刻では偶然に直線が交わることもあるが、ほとんどの時刻において直線は交わらず、結果として距離d(t)の平均の逆数は小さな値をとる。このため、軌跡α1と軌跡β2のマッチング率は低いと判断できる。
従来は、図15に示すように、ある瞬間の人物検出結果をステレオマッチングして人物の3次元位置を推定していたため、ステレオ視の曖昧さを回避できずに人物の位置を誤って推定してしまうことがあった。しかし、この発明によれば一定の時間にわたる2次元の移動軌跡同士をステレオマッチングすることで、ステレオ視の曖昧さを解消し、正確に人物の3次元移動軌跡を求めることが可能となる
次に、軌跡ステレオ部8は、2次元移動軌跡のマッチング率が一定の閾値を超えた場合には、算出した3次元移動軌跡に対して適切なフィルタリングをかけ(ステップST156)、誤って推定した3次元移動軌跡を取り除く。軌跡ステレオ部8では、人物検出部6が人物を誤検出することが原因で、人物の3次元移動軌跡を誤って算出することがある。そのため、例えば、人物の3次元位置Z(t)が以下の条件(ア)〜(ウ)に合致しない場合に、その3次元移動軌跡を本来の人物の軌跡でないものとして破棄する。
条件(ア): 人物の身長が一定長(例えば、50cm)以上である
条件(イ): 人物が特定の領域内(例えば、エレベータかご内)に存在する
条件(ウ): 人物の3次元移動履歴が滑らかである
したがって、条件(ア)により、極端に低い位置にあるものを誤検出されたものとして破棄する。また、条件(イ)により、例えば、かご内に設置された鏡に映っている人物像については誤検出された人物の3次元移動軌跡として破棄する。また、条件(ウ)により、3次元移動軌跡が例えば上下左右に急激に変化するような不自然なものは人物でないとして破棄する。
条件(ア): 人物の身長が一定長(例えば、50cm)以上である
条件(イ): 人物が特定の領域内(例えば、エレベータかご内)に存在する
条件(ウ): 人物の3次元移動履歴が滑らかである
したがって、条件(ア)により、極端に低い位置にあるものを誤検出されたものとして破棄する。また、条件(イ)により、例えば、かご内に設置された鏡に映っている人物像については誤検出された人物の3次元移動軌跡として破棄する。また、条件(ウ)により、3次元移動軌跡が例えば上下左右に急激に変化するような不自然なものは人物でないとして破棄する。
次に、軌跡ステレオ部8は、ステップST153のステレオマッチングの際にオーバーラップしている時間において推定した人物の3次元位置情報を用いて、オーバーラップしていない時刻における対応する二つの個々の人物の2次元移動軌跡を形成している点列の3次元位置を算出することにより個々の人物の3次元移動軌跡を推定する(ステップST157)。図11の場合、2次元移動軌跡α1とβ1は時刻t=T3,...,T2ではオーバーラップしているものの、その他の時刻ではオーバーラップいない。このため、通常のステレオマッチングでは、オーバーラップしていない時間帯での人物の3次元移動軌跡を算出することができない。このような場合には、まずオーバーラップする時間内における人物の高さの平均を算出し、この高さ平均を用いてオーバーラップしていない時間帯における人物の3次元移動軌跡を推定すればよい。
図11の例では、まず、{Z(t),d(t)}t=T3,...,T2における3次元位置ベクトルZ(t)の高さ成分に関する平均値aveHを求める。次に、各時刻tにおいて、カメラ1α の中心と画像座標Xa1(t)を通る直線Va1(t)上の点のうち、床からの高さがaveHである点を求め、この点を人物の3次元位置Z(t)として推定するようにする。同様に各時刻tにおける画像座標Xb1(t)から人物の3次元位置Z(t)を推定する。これにより、2次元移動軌跡α1とβ1が記録されたすべての時刻T1からT4にわたる3次元移動軌跡{Z(t)}t=T1,...,T4を得ることができる。
このことで、遮蔽などが理由で片方のカメラに一定期間人物が写らない場合があっても、もう一つのカメラで人物の2次元移動軌跡を算出し、かつ遮蔽の前後で2次元移動軌跡がオーバーラップしていれば、軌跡ステレオ部8は人物の3次元移動軌跡を算出することができる。次に、全ての軌跡のペアについてマッチング率が算出できていれば、3次元移動軌跡算出部9の処理に移る(ステップST158)。
このことで、遮蔽などが理由で片方のカメラに一定期間人物が写らない場合があっても、もう一つのカメラで人物の2次元移動軌跡を算出し、かつ遮蔽の前後で2次元移動軌跡がオーバーラップしていれば、軌跡ステレオ部8は人物の3次元移動軌跡を算出することができる。次に、全ての軌跡のペアについてマッチング率が算出できていれば、3次元移動軌跡算出部9の処理に移る(ステップST158)。
再び図3のフローチャートに戻り、3次元移動軌跡算出部9は、軌跡ステレオ部8で求めた個々の人物の3次元移動軌跡の断片の前後を対応付けて連結することにより各人物の全3次元移動軌跡を生成する(ステップST16)。軌跡ステレオ部8で求めた個々の人物の3次元移動軌跡は複数の断片からなる場合が多い。そのためこれらの断片から個々の人物の完全な3次元移動軌跡を求める必要がある。3次元移動軌跡算出部9の詳細動作について図12のフローチャートに従って説明する。
まず、3次元移動軌跡算出部9は、監視対象領域となる場所において、人物の入退場エリアを設定し(ステップST161)、軌跡ステレオ部8で求めた3次元移動軌跡の中から、設定した入退場エリアに始点を持つ3次元移動軌跡の断片を取得する(ステップST162)。ここでは、例えば図13(a)に示すように、エレベータ内部の入口付近に人物の入退場エリアを仮想的に設定する。例えば頭部の移動軌跡がエレベータの入口付近に設定した入退場エリアから開始していれば、該当階から乗っていると判断し、また、移動軌跡が上記入退場エリアで終了していれば、該当階で降りていると判断することができる。そこで、3次元移動軌跡算出部9は、始点SP1が入退場エリアにある3次元移動軌跡の断片L1を取得する。
まず、3次元移動軌跡算出部9は、監視対象領域となる場所において、人物の入退場エリアを設定し(ステップST161)、軌跡ステレオ部8で求めた3次元移動軌跡の中から、設定した入退場エリアに始点を持つ3次元移動軌跡の断片を取得する(ステップST162)。ここでは、例えば図13(a)に示すように、エレベータ内部の入口付近に人物の入退場エリアを仮想的に設定する。例えば頭部の移動軌跡がエレベータの入口付近に設定した入退場エリアから開始していれば、該当階から乗っていると判断し、また、移動軌跡が上記入退場エリアで終了していれば、該当階で降りていると判断することができる。そこで、3次元移動軌跡算出部9は、始点SP1が入退場エリアにある3次元移動軌跡の断片L1を取得する。
次に、3次元移動軌跡算出部9は、取得した3次元移動軌跡の終点の近傍に存在する次の3次元移動軌跡を求めて連結する(ステップST163)。この状況を図13(b)に示すが、取得した3次元移動軌跡の断片L1の終点TP1の近傍に始点SP2を持つ3次元移動軌跡の断片L2を取得し、L1とL2を連結する。同様に、図13(c)に示すように、3次元移動軌跡の断片L2の終点TP2の近傍に始点SP3を持つ3次元移動軌跡の断片L3を取得し、L1と連結しているL2とL3を連結する。
次に、3次元移動軌跡算出部9は、連結した軌跡の終点が入退場エリアにあるか判定し、終点が入退場エリアに存在すれば連結処理を終了し、また終点が入退場エリアに存在しなければ連結処理を継続する(ステップST164)。
次に、3次元移動軌跡算出部9は、連結した軌跡の終点が入退場エリアにあるか判定し、終点が入退場エリアに存在すれば連結処理を終了し、また終点が入退場エリアに存在しなければ連結処理を継続する(ステップST164)。
次に、3次元移動軌跡算出部9は、ステップST164で同じ時刻に同じ始点を持つ複数の3次元移動軌跡の候補が算出された場合には、所定の条件に基づいて各3次元移動軌跡のコストを算出し、算出されたコストが最小となる候補を3次元移動軌跡として選出する(ステップST165)。これを図14で説明すると、ステップST164の処理では、同じ時刻に同じ始点SP1から開始しても異なる終点TP3とTPXで終わる3次元移動軌跡の候補Aと候補Bが得られることがある。この場合、例えば下記の条件に基づいて各3次元移動軌跡のコストを計算し、そのコストが最小となる候補を3次元移動軌跡を選出する。
条件(a): 人物の3次元移動軌跡が滑らかであり、突然変化しない
条件(b): 3次元移動軌跡の総時間が短い
例えば、図14の例では、候補Bに比べて候補Aの方が移動軌跡が滑らかであり、また移動軌跡の総時間も短い。したがって、同じ時刻に始点SP1から開始する3次元移動軌跡は候補Aとなるため、これを選出する。このように、連結した3次元移動軌跡に対して適切なフィルタリグをかけることで、不自然な動きの3次元移動軌跡を除去して、正確な人物の全3次元移動軌跡を求めることができる。
条件(a): 人物の3次元移動軌跡が滑らかであり、突然変化しない
条件(b): 3次元移動軌跡の総時間が短い
例えば、図14の例では、候補Bに比べて候補Aの方が移動軌跡が滑らかであり、また移動軌跡の総時間も短い。したがって、同じ時刻に始点SP1から開始する3次元移動軌跡は候補Aとなるため、これを選出する。このように、連結した3次元移動軌跡に対して適切なフィルタリグをかけることで、不自然な動きの3次元移動軌跡を除去して、正確な人物の全3次元移動軌跡を求めることができる。
上記のようにして、入退場エリアから始まり、入退場エリアで終わる人物の3次元移動軌跡を求めた後、3次元移動軌跡算出部9は、エレベータの停止階を示す停止階情報を個々の人物の3次元移動軌跡に対応付ける(ステップST166)。ここでは、“どの人物がどの階で乗って、どの階で降りたか”を示す個々の人物の移動履歴を求めることになる。なお、停止階情報は、エレベータの制御機器から取得するようにしてもよいし、カメラ1により撮影された映像に写っているエレベータのコントローラの文字盤を認識して、画像処理によって停止階の情報を取得するようにしてもよい。
映像解析部4は、上述の処理を行って個々の人物の移動履歴を求めると、その移動履歴を複数台のエレベータの運行を管理する群管理システム(図示せず)に与える。これにより、群管理システムでは、各エレベータから得られる移動履歴に基づいて常に最適なエレベータの群管理を実施することが可能になる。
映像解析部4は、上述の処理を行って個々の人物の移動履歴を求めると、その移動履歴を複数台のエレベータの運行を管理する群管理システム(図示せず)に与える。これにより、群管理システムでは、各エレベータから得られる移動履歴に基づいて常に最適なエレベータの群管理を実施することが可能になる。
以上のように、この実施の形態1によれば、複数のカメラにより撮影されたそれぞれの映像の各フレーム画像に写っている人物を検出し、検出された個々の人物を画像上で追跡して対応する2次元移動軌跡を求め、対応する複数の2次元移動軌跡同士をオーバーラップする時間にわたってステレオ視することで移動する個々の人物の3次元移動軌跡を求め、求めた3次元移動軌跡の断片を連結して個々の人物の完全な移動軌跡を算出するようにしているので、ステレオ視の曖昧さをなくし、かつ遮蔽がある場合でも的確に個々の人物の3次元移動軌跡を求めることができる。その結果、監視対象領域が非常に混雑している状況であっても、監視対象領域内の個々の人物を正確に検出することができるとともに、個々の人物を正確に追跡することができる。
この実施の形態1によれば、軌跡ステレオ部8は、2次元移動軌跡のマッチング率が一定の閾値を超えた場合に、推定された3次元移動軌跡に対して適切なフィルタリングをかけて、誤って推定した3次元移動軌跡を取り除くことで、人物の誤検出を削減することができる。また軌跡ステレオ部8は、オーバーラップしている時間に推定した人物の高さ情報を用いて、二つの2次元移動軌跡がオーバーラップしていない時刻においても人物の3次元移動軌跡を推定することで、遮蔽などが理由で片方のカメラに一定期間人物が写らない場合でも、もう一方のカメラから人物の3次元移動軌跡を推定することができる。
さらに、この実施の形態1によれば、3次元移動軌跡算出部9は、複数の3次元移動軌跡の候補が算出された場合には、各3次元移動軌跡のコストを算出し、それらのコストが最小となる3次元移動軌跡を選出することで、人物のものではない不自然な動きの3次元移動軌跡を除去して、正確な人物の3次元移動軌跡を求めることができる。
さらに、この実施の形態1によれば、3次元移動軌跡算出部9は、複数の3次元移動軌跡の候補が算出された場合には、各3次元移動軌跡のコストを算出し、それらのコストが最小となる3次元移動軌跡を選出することで、人物のものではない不自然な動きの3次元移動軌跡を除去して、正確な人物の3次元移動軌跡を求めることができる。
なお、この実施の形態1では、監視対象領域がエレベータのかご内である場合について説明したが、この発明の適用はこれに限るものではない。例えば、電車の中を監視対象領域として適用し、電車の混雑度などを計測する場合にも利用できる。また、この発明を、セキュリティニーズの高い場所を監視対象領域として、人物の移動履歴を求めることに適用し、不審な人物の行動を監視することも可能である。また、この発明を、駅や店舗などに適用して人物の移動軌跡を解析することで、マーケティングなどに利用することも可能である。さらに、この発明を、エスカレータの踊り場を監視対象領域として適用し、踊り場に存在する人物の数をカウントして踊り場が混雑してきた場合に、例えば、エスカレータの徐行や停止など適切な制御を行うことで、エスカレータ上で人物が将棋倒しになるなどの事故を未然に回避することに利用することもできる。
1 カメラ、2 映像取得部、3 カメラキャリブレーション部、4 映像解析部、5 映像補正部、6 人物検出部、7 2次元移動軌跡算出部、8 軌跡ステレオ部、9 3次元移動軌跡算出部。
Claims (21)
- 異なる位置に設置され監視対象領域をそれぞれ撮影して映像を取り出す複数の映像撮影手段と、
前記複数の映像撮影手段により取り出された映像毎の各フレーム画像に写っている人体の特徴箇所を人物として検出し、この検出した人物の画像座標を算出する人物検出手段と、
前記人物検出手段により時々刻々到来するフレーム画像から算出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の2次元移動軌跡として算出する2次元移動軌跡算出手段と、
前記2次元移動軌跡算出手段で前記複数の映像撮影手段の各映像から算出された対応する個々の人物の2次元移動軌跡に対して、監視対象領域内の基準点に対する前記複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいてステレオマッチングを行うことにより個々の人物の3次元移動軌跡を算出する軌跡ステレオ手段と、
前記軌跡ステレオ手段で算出された個々の人物の3次元移動軌跡の断片の前後を対応付けて連結することにより各人物の全3次元移動軌跡を生成する3次元移動軌跡算出手段とを備えたことを特徴とする人物追跡装置。 - 複数の映像撮影手段により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、前記複数の映像撮影手段それぞれのカメラパラメータを算出するカメラキャリブレーション手段と、
前記算出されたカメラパラメータに基づいて、前記複数の映像撮影手段により撮影された各映像の歪みをそれぞれ補正して人物検出手段に与える正規化画像を生成する映像補正手段とを備えたことを特徴とする請求項1記載の人物追跡装置。 - カメラキャリブレーション手段は、複数の映像撮影手段により撮影されたキャリブレーションパターンの映像に基づいて、ステレオマッチングで用いる前記複数の映像撮影手段のそれぞれの設置位置および設置角度を算出することを特徴とする請求項2記載の人物追跡装置。
- 2次元移動軌跡算出手段は、人物検出手段で算出された人物の画像座標に対して、時間的に前後に人物を追跡して画像上での2次元移動軌跡を算出することを特徴とする請求項1から請求項3のうちのいずれか1項記載の人物追跡装置。
- 人物検出手段は、検出した人物の画像座標を算出する際に人物の確信度を算出し、
2次元移動軌跡算出手段は、2次元移動軌跡の算出中に、前記人物検出手段で求めた確信度の累積値を閾値処理することを特徴とする請求項1から請求項3のうちのいずれか1項記載の人物追跡装置。 - 2次元移動軌跡算出手段は、2次元移動軌跡の算出中に、画像テンプレートマッチングにおける人物探索領域のアップデートの回数を閾値処理することを特徴とする請求項1から請求項3のうちのいずれか1項記載の人物追跡装置。
- 軌跡ステレオ手段は、2次元移動軌跡算出手段で算出された対応する個々の人物の2次元移動軌跡のオーバーラップする各時刻において、複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいて当該2次元移動軌跡を形成している点列同士のステレオマッチングを行い、オーバーラップ時間に存在する個々の人物の3次元移動軌跡を求めることを特徴とする請求項1から請求項3のうちのいずれか1項記載の人物追跡装置。
- 軌跡ステレオ手段は、ステレオマッチングによりオーバーラップ時間の個々の人物の3次元移動軌跡を求める際に、対応する2次元移動軌跡を形成している点列同士の距離を算出して当該距離に基づいて2次元移動軌跡のマッチング率を算出し、当該マッチング率が一定の閾値を超えた場合に、算出された3次元移動軌跡に対して所定の条件のフィルタリングをかけることを特徴とする請求項7記載の人物追跡装置。
- 軌跡ステレオ手段は、ステレオマッチングの際にオーバーラップ時間において推定した人物の3次元位置情報に基づいて、オーバーラップしていない時刻における個々の人物の2次元移動軌跡を形成している点列の3次元位置を算出することにより個々の人物の3次元移動軌跡を推定することを特徴とする請求項7記載の人物追跡装置。
- 3次元移動軌跡推定手段は、複数の3次元移動軌跡の候補が算出された場合には、所定の条件に基づいて各3次元移動軌跡のコストを算出し、算出されたコストが最小となる候補を3次元移動軌跡として選出することを特徴とする請求項1から請求項3のうちのいずれか1項記載の人物追跡装置。
- 3次元移動軌跡算出手段は、複数の映像撮影手段の監視対象領域がエレベータのかご内である場合、前記エレベータの停止階情報と個々の人物の3次元移動軌跡を対応付けた移動履歴を求めること特徴とする請求項1から請求項10のうちのいずれか1項記載の人物追跡装置。
- 複数の映像撮影手段により異なる位置から監視対象領域を撮影して取り出されるそれぞれの映像の各フレーム画像から人体の特徴箇所を人物として検出し、当該検出した人物の画像座標を算出する人物検出処理と、
時々刻々到来するフレーム画像から算出された人物の画像座標に対して画像テンプレートマッチングを行って個々の人物の画像座標の点列を求め、当該点列を移動する個々の人物の2次元移動軌跡として算出する2次元移動軌跡算出処理と、
前記複数の映像撮影手段の各映像から算出された対応する個々の人物の2次元移動軌跡に対して、監視対象領域内の基準点に対する前記複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいてステレオマッチングを行って個々の人物の3次元移動軌跡を算出する軌跡ステレオ処理と、
前記算出された個々の人物の3次元移動軌跡の断片の前後を対応付けて連結して各人物の全3次元移動軌跡を生成する3次元移動軌跡算出処理とをコンピュータ上で実行する人物追跡プログラム。 - 複数の映像撮影手段により撮影されたキャリブレーションパターンの映像から算出された前記複数の映像撮影手段のカメラパラメータに基づいて、前記複数の映像撮影手段により撮影された映像の歪みをそれぞれ補正して人物の検出処理に用いる正規化画像を生成する処理を実行する映像補正処理を実行することを特徴とする請求項12記載の人物追跡プログラム。
- 2次元移動軌跡算出処理は、人物検出処理で算出された人物の画像座標に対して、時間的に前後に人物を追跡して画像上での2次元移動軌跡を算出することを特徴とする請求項12または請求項13記載の人物追跡プログラム。
- 人物検出処理では、検出した人物の画像座標を算出する際に人物の確信度を算出し、
2次元移動軌跡算出処理では、2次元移動軌跡の算出中に、前記確信度の累積値を閾値処理することを特徴とする請求項12または請求項13記載の人物追跡プログラム。 - 2次元移動軌跡算出処理では、2次元移動軌跡の算出中に、画像テンプレートマッチングにおける人物探索領域のアップデートの回数を閾値処理することを特徴とする請求項12または請求項13記載の人物追跡プログラム。
- 軌跡ステレオ処理では、2次元移動軌跡算出処理で算出された対応する個々の人物の2次元移動軌跡のオーバーラップする各時刻において、複数の映像撮影手段のそれぞれの設置位置および設置角度に基づいて当該2次元移動軌跡を形成している点列同士のステレオマッチングを行い、オーバーラップ時間に存在する個々の人物の3次元移動軌跡を求めることを特徴とする請求項12または請求項13記載の人物追跡プログラム。
- 軌跡ステレオ処理では、ステレオマッチングによりオーバーラップ時間の個々の人物の3次元移動軌跡を求める際に、対応する2次元移動軌跡を形成している点列同士の距離を算出して当該距離に基づいて2次元移動軌跡のマッチング率を算出し、当該マッチング率が一定の閾値を超えた場合に、算出された3次元移動軌跡に対して所定の条件のフィルタリングをかけることを特徴とする請求項17記載の人物追跡プログラム。
- 軌跡ステレオ処理では、ステレオマッチングの際にオーバーラップ時間において推定した人物の3次元位置情報に基づいて、オーバーラップしていない時刻における個々の人物の2次元移動軌跡を形成している点列の3次元位置を算出することにより個々の人物の3次元移動軌跡を推定することを特徴とする請求項17記載の人物追跡プログラム。
- 3次元移動軌跡推定処理では、複数の3次元移動軌跡の候補が算出された場合には、所定の条件に基づいて各3次元移動軌跡のコストを算出し、算出されたコストが最小となる候補を3次元移動軌跡として選出することを特徴とする請求項12または請求項13記載の人物追跡プログラム。
- 3次元移動軌跡算出処理では、複数の映像撮影手段の監視対象領域がエレベータのかご内である場合、前記エレベータの停止階情報と個々の人物の3次元移動軌跡を対応付けた移動履歴を求めること特徴とする請求項12から請求項20のうちのいずれか1項記載の人物追跡プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008228582A JP2010063001A (ja) | 2008-09-05 | 2008-09-05 | 人物追跡装置および人物追跡プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008228582A JP2010063001A (ja) | 2008-09-05 | 2008-09-05 | 人物追跡装置および人物追跡プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010063001A true JP2010063001A (ja) | 2010-03-18 |
Family
ID=42189287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008228582A Pending JP2010063001A (ja) | 2008-09-05 | 2008-09-05 | 人物追跡装置および人物追跡プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010063001A (ja) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101331877B1 (ko) | 2009-04-20 | 2013-11-21 | 오티스 엘리베이터 컴파니 | 수송기 안전 제어 |
JP2014511538A (ja) * | 2011-03-04 | 2014-05-15 | クゥアルコム・インコーポレイテッド | 動的テンプレート追跡 |
JP2014237521A (ja) * | 2013-06-10 | 2014-12-18 | 株式会社日立製作所 | 群管理エレベータシステム |
JP2015120573A (ja) * | 2013-12-24 | 2015-07-02 | 株式会社日立製作所 | 画像認識機能を備えたエレベータ |
CN104828664A (zh) * | 2015-04-03 | 2015-08-12 | 奥的斯电梯公司 | 自动调试***和方法 |
CN105480807A (zh) * | 2016-01-22 | 2016-04-13 | 浙江蒂尔森电梯有限公司 | 一种具有载客状态记载显示功能的电梯 |
US9489565B2 (en) | 2011-09-28 | 2016-11-08 | Oki Electric Industry Co., Ltd. | Image processing apparatus, image processing method, program, and image processing system |
JP2016194847A (ja) * | 2015-04-01 | 2016-11-17 | キヤノン株式会社 | 画像検出装置、画像検出方法およびプログラム |
JP2017016356A (ja) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN107285148A (zh) * | 2017-08-07 | 2017-10-24 | 浙江新再灵科技股份有限公司 | 基于电梯场景的兴趣区域判断***及方法 |
US9877012B2 (en) | 2015-04-01 | 2018-01-23 | Canon Kabushiki Kaisha | Image processing apparatus for estimating three-dimensional position of object and method therefor |
WO2018061926A1 (ja) * | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | 計数システムおよび計数方法 |
WO2018061928A1 (ja) * | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | 情報処理装置、計数システム、計数方法およびプログラム記憶媒体 |
US10212324B2 (en) | 2015-12-01 | 2019-02-19 | Canon Kabushiki Kaisha | Position detection device, position detection method, and storage medium |
WO2019044038A1 (ja) * | 2017-08-30 | 2019-03-07 | 三菱電機株式会社 | 撮影対象追跡装置及び撮影対象追跡方法 |
US10241486B2 (en) | 2015-04-03 | 2019-03-26 | Otis Elevator Company | System and method for passenger conveyance control and security via recognized user operations |
JP2019087925A (ja) * | 2017-11-08 | 2019-06-06 | 株式会社東芝 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
CN110059611A (zh) * | 2019-04-12 | 2019-07-26 | 中国石油大学(华东) | 一种智能化教室空余座位识别方法 |
US10479647B2 (en) | 2015-04-03 | 2019-11-19 | Otis Elevator Company | Depth sensor based sensing for special passenger conveyance loading conditions |
WO2019225547A1 (ja) * | 2018-05-23 | 2019-11-28 | 日本電信電話株式会社 | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム |
US10513416B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance door control |
US10513415B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance control |
US10572736B2 (en) | 2015-03-16 | 2020-02-25 | Canon Kabushiki Kaisha | Image processing apparatus, image processing system, method for image processing, and computer program |
CN112665592A (zh) * | 2020-12-16 | 2021-04-16 | 郑州大学 | 一种基于多智能体的时空路径规划方法 |
CN113610890A (zh) * | 2021-07-02 | 2021-11-05 | 河南橡树智能科技有限公司 | 一种基于多路摄像头的实时人员轨迹二维平面显示方法 |
US11232312B2 (en) | 2015-04-03 | 2022-01-25 | Otis Elevator Company | Traffic list generation for passenger conveyance |
CN115631464A (zh) * | 2022-11-17 | 2023-01-20 | 北京航空航天大学 | 面向大时空目标关联的行人立体表示方法 |
US11803972B2 (en) | 2018-01-12 | 2023-10-31 | Nec Corporation | Information processing apparatus, control method, and program for accurately linking fragmented trajectories of an object |
JP2023179121A (ja) * | 2022-06-07 | 2023-12-19 | 東芝エレベータ株式会社 | エレベータシステム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09269262A (ja) * | 1996-04-02 | 1997-10-14 | Toshiba Corp | 人数確認装置及びそれを用いた空調制御装置 |
JPH10208059A (ja) * | 1997-01-22 | 1998-08-07 | Matsushita Electric Ind Co Ltd | 移動物体抽出装置 |
JPH1166319A (ja) * | 1997-08-21 | 1999-03-09 | Omron Corp | 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置 |
JP2002157599A (ja) * | 2000-11-17 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | 物体検出認識方法,物体検出認識プログラムを記録した記録媒体および物体監視追跡装置 |
JP2003111063A (ja) * | 2001-10-02 | 2003-04-11 | Hitachi Kokusai Electric Inc | 侵入物体追跡方法及び侵入物体監視装置 |
JP2005353016A (ja) * | 2004-06-09 | 2005-12-22 | Cci:Kk | 動画像の行動パターン識別の評価と方法 |
JP2008085874A (ja) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | 人物監視システムおよび人物監視方法 |
JP2008177742A (ja) * | 2007-01-17 | 2008-07-31 | Alpine Electronics Inc | カメラパラメータ取得装置 |
-
2008
- 2008-09-05 JP JP2008228582A patent/JP2010063001A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09269262A (ja) * | 1996-04-02 | 1997-10-14 | Toshiba Corp | 人数確認装置及びそれを用いた空調制御装置 |
JPH10208059A (ja) * | 1997-01-22 | 1998-08-07 | Matsushita Electric Ind Co Ltd | 移動物体抽出装置 |
JPH1166319A (ja) * | 1997-08-21 | 1999-03-09 | Omron Corp | 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置 |
JP2002157599A (ja) * | 2000-11-17 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | 物体検出認識方法,物体検出認識プログラムを記録した記録媒体および物体監視追跡装置 |
JP2003111063A (ja) * | 2001-10-02 | 2003-04-11 | Hitachi Kokusai Electric Inc | 侵入物体追跡方法及び侵入物体監視装置 |
JP2005353016A (ja) * | 2004-06-09 | 2005-12-22 | Cci:Kk | 動画像の行動パターン識別の評価と方法 |
JP2008085874A (ja) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | 人物監視システムおよび人物監視方法 |
JP2008177742A (ja) * | 2007-01-17 | 2008-07-31 | Alpine Electronics Inc | カメラパラメータ取得装置 |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101331877B1 (ko) | 2009-04-20 | 2013-11-21 | 오티스 엘리베이터 컴파니 | 수송기 안전 제어 |
JP2014511538A (ja) * | 2011-03-04 | 2014-05-15 | クゥアルコム・インコーポレイテッド | 動的テンプレート追跡 |
US9489565B2 (en) | 2011-09-28 | 2016-11-08 | Oki Electric Industry Co., Ltd. | Image processing apparatus, image processing method, program, and image processing system |
JP2014237521A (ja) * | 2013-06-10 | 2014-12-18 | 株式会社日立製作所 | 群管理エレベータシステム |
JP2015120573A (ja) * | 2013-12-24 | 2015-07-02 | 株式会社日立製作所 | 画像認識機能を備えたエレベータ |
US10572736B2 (en) | 2015-03-16 | 2020-02-25 | Canon Kabushiki Kaisha | Image processing apparatus, image processing system, method for image processing, and computer program |
JP2016194847A (ja) * | 2015-04-01 | 2016-11-17 | キヤノン株式会社 | 画像検出装置、画像検出方法およびプログラム |
US9877012B2 (en) | 2015-04-01 | 2018-01-23 | Canon Kabushiki Kaisha | Image processing apparatus for estimating three-dimensional position of object and method therefor |
US11232312B2 (en) | 2015-04-03 | 2022-01-25 | Otis Elevator Company | Traffic list generation for passenger conveyance |
US10479647B2 (en) | 2015-04-03 | 2019-11-19 | Otis Elevator Company | Depth sensor based sensing for special passenger conveyance loading conditions |
EP3075695A1 (en) * | 2015-04-03 | 2016-10-05 | Otis Elevator Company | Auto commissioning system and method |
US10513415B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance control |
US11836995B2 (en) | 2015-04-03 | 2023-12-05 | Otis Elevator Company | Traffic list generation for passenger conveyance |
US10241486B2 (en) | 2015-04-03 | 2019-03-26 | Otis Elevator Company | System and method for passenger conveyance control and security via recognized user operations |
US10513416B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance door control |
CN104828664A (zh) * | 2015-04-03 | 2015-08-12 | 奥的斯电梯公司 | 自动调试***和方法 |
JP2017016356A (ja) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10212324B2 (en) | 2015-12-01 | 2019-02-19 | Canon Kabushiki Kaisha | Position detection device, position detection method, and storage medium |
CN105480807A (zh) * | 2016-01-22 | 2016-04-13 | 浙江蒂尔森电梯有限公司 | 一种具有载客状态记载显示功能的电梯 |
CN105480807B (zh) * | 2016-01-22 | 2018-05-22 | 浙江蒂尔森电梯有限公司 | 一种具有载客状态记载显示功能的电梯 |
WO2018061928A1 (ja) * | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | 情報処理装置、計数システム、計数方法およびプログラム記憶媒体 |
JP7007280B2 (ja) | 2016-09-30 | 2022-01-24 | 日本電気株式会社 | 情報処理装置、計数システム、計数方法およびコンピュータプログラム |
JPWO2018061928A1 (ja) * | 2016-09-30 | 2019-07-25 | 日本電気株式会社 | 情報処理装置、計数システム、計数方法およびコンピュータプログラム |
JPWO2018061926A1 (ja) * | 2016-09-30 | 2019-06-27 | 日本電気株式会社 | 計数システムおよび計数方法 |
WO2018061926A1 (ja) * | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | 計数システムおよび計数方法 |
CN107285148A (zh) * | 2017-08-07 | 2017-10-24 | 浙江新再灵科技股份有限公司 | 基于电梯场景的兴趣区域判断***及方法 |
CN111034189A (zh) * | 2017-08-30 | 2020-04-17 | 三菱电机株式会社 | 拍摄对象追踪装置以及拍摄对象追踪方法 |
JPWO2019044038A1 (ja) * | 2017-08-30 | 2020-05-28 | 三菱電機株式会社 | 撮影対象追跡装置及び撮影対象追跡方法 |
WO2019044038A1 (ja) * | 2017-08-30 | 2019-03-07 | 三菱電機株式会社 | 撮影対象追跡装置及び撮影対象追跡方法 |
US11145068B2 (en) | 2017-11-08 | 2021-10-12 | Kabushiki Kaisha Toshiba | Image-processing apparatus, image-processing system, image-processing method, and storage medium |
JP2019087925A (ja) * | 2017-11-08 | 2019-06-06 | 株式会社東芝 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
US11803972B2 (en) | 2018-01-12 | 2023-10-31 | Nec Corporation | Information processing apparatus, control method, and program for accurately linking fragmented trajectories of an object |
WO2019225547A1 (ja) * | 2018-05-23 | 2019-11-28 | 日本電信電話株式会社 | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム |
JP2019205060A (ja) * | 2018-05-23 | 2019-11-28 | 日本電信電話株式会社 | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム |
CN110059611B (zh) * | 2019-04-12 | 2023-05-05 | 中国石油大学(华东) | 一种智能化教室空余座位识别方法 |
CN110059611A (zh) * | 2019-04-12 | 2019-07-26 | 中国石油大学(华东) | 一种智能化教室空余座位识别方法 |
CN112665592A (zh) * | 2020-12-16 | 2021-04-16 | 郑州大学 | 一种基于多智能体的时空路径规划方法 |
CN113610890A (zh) * | 2021-07-02 | 2021-11-05 | 河南橡树智能科技有限公司 | 一种基于多路摄像头的实时人员轨迹二维平面显示方法 |
JP2023179121A (ja) * | 2022-06-07 | 2023-12-19 | 東芝エレベータ株式会社 | エレベータシステム |
CN115631464B (zh) * | 2022-11-17 | 2023-04-04 | 北京航空航天大学 | 面向大时空目标关联的行人立体表示方法 |
CN115631464A (zh) * | 2022-11-17 | 2023-01-20 | 北京航空航天大学 | 面向大时空目标关联的行人立体表示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010063001A (ja) | 人物追跡装置および人物追跡プログラム | |
JP2009143722A (ja) | 人物追跡装置、人物追跡方法及び人物追跡プログラム | |
US10417503B2 (en) | Image processing apparatus and image processing method | |
Hu et al. | Moving object detection and tracking from video captured by moving camera | |
KR102213328B1 (ko) | 영상 처리장치, 영상 처리방법 및 프로그램 | |
Kim | Real time object tracking based on dynamic feature grouping with background subtraction | |
KR101647370B1 (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
WO2016129403A1 (ja) | 物体検知装置 | |
US7729512B2 (en) | Stereo image processing to detect moving objects | |
JP5688456B2 (ja) | 熱画像座標を用いた保安用カメラ追跡監視システム及び方法 | |
US7321386B2 (en) | Robust stereo-driven video-based surveillance | |
JP6555906B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20180101732A1 (en) | Image processing apparatus, image processing system, method for image processing, and computer program | |
JP6453490B2 (ja) | 路面反射を認識し評価するための方法及び装置 | |
US20130215270A1 (en) | Object detection apparatus | |
CN111937036A (zh) | 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质 | |
JP2018516799A5 (ja) | ||
US20110069155A1 (en) | Apparatus and method for detecting motion | |
JP2020052647A (ja) | 物体検出装置、物体検出方法、物体検出用コンピュータプログラム及び車両制御システム | |
JP2018156408A (ja) | 画像認識撮像装置 | |
JPWO2008035411A1 (ja) | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム | |
JP2015210823A (ja) | 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム | |
KR101290517B1 (ko) | 촬영장치 및 이의 대상 추적방법 | |
JP2019121019A (ja) | 情報処理装置、3次元位置推定方法、コンピュータプログラム、及び記憶媒体 | |
JP2021149687A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121016 |