JP2009143722A - 人物追跡装置、人物追跡方法及び人物追跡プログラム - Google Patents
人物追跡装置、人物追跡方法及び人物追跡プログラム Download PDFInfo
- Publication number
- JP2009143722A JP2009143722A JP2007325910A JP2007325910A JP2009143722A JP 2009143722 A JP2009143722 A JP 2009143722A JP 2007325910 A JP2007325910 A JP 2007325910A JP 2007325910 A JP2007325910 A JP 2007325910A JP 2009143722 A JP2009143722 A JP 2009143722A
- Authority
- JP
- Japan
- Prior art keywords
- person
- dimensional position
- video
- movement trajectory
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】監視対象領域が非常に混雑している状況などでも、監視対象領域内の個々の人物を正確に検出することができるようにする。
【解決手段】複数のカメラ１により撮影された映像に写っている人物を検出する人物検出部８と、人物検出部８により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定部９とを設け、移動軌跡解析部１０が３次元位置推定部９により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析する。
【選択図】図１
【解決手段】複数のカメラ１により撮影された映像に写っている人物を検出する人物検出部８と、人物検出部８により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定部９とを設け、移動軌跡解析部１０が３次元位置推定部９により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析する。
【選択図】図１
Description
この発明は、例えば、カメラにより撮影された映像に写っている個々の人物を検出して、個々の人物を追跡する人物追跡装置、人物追跡方法及び人物追跡プログラムに関するものである。
例えば、高層ビルには非常に多数のエレベータが設置されており、早朝の通勤ラッシュ時や、お昼休みの混雑時などには、多数のエレベータをうまく連携させて、乗客を効率的に輸送しなければならない。
多数のエレベータの群管理を効率的に行うには、“誰がどの階で乗って、どの階で降りたか”という乗客の移動履歴を計測して、その移動履歴を群管理システムに提供する必要がある。
多数のエレベータの群管理を効率的に行うには、“誰がどの階で乗って、どの階で降りたか”という乗客の移動履歴を計測して、その移動履歴を群管理システムに提供する必要がある。
従来より、カメラを用いることで、乗客の人数カウントや人物移動を計測する人物追跡装置が多数提案されている。
例えば、以下の特許文献１には、予め記憶している背景画像と、カメラから随時取り込む入力画像との差分の画像（背景差分画像）を求めることにより、エレベータ内の乗客を検出して、エレベータ内で乗客数を検知する手法が開示されている。
しかし、非常に混み合っているエレベータでは、約２５ｃｍ四方に一人の乗客が存在し、乗客が重なり合う状況が発生するため、背景差分画像は一塊のシルエットになる。
このため、背景差分画像から個々の人物を分離することは極めて困難である。
例えば、以下の特許文献１には、予め記憶している背景画像と、カメラから随時取り込む入力画像との差分の画像（背景差分画像）を求めることにより、エレベータ内の乗客を検出して、エレベータ内で乗客数を検知する手法が開示されている。
しかし、非常に混み合っているエレベータでは、約２５ｃｍ四方に一人の乗客が存在し、乗客が重なり合う状況が発生するため、背景差分画像は一塊のシルエットになる。
このため、背景差分画像から個々の人物を分離することは極めて困難である。
また、以下の特許文献２には、エレベータのかご内の上部にカメラを設置し、予め記憶している頭部画像参照パターンとカメラの撮影画像とを対比することにより、エレベータ内の乗客を検出して、エレベータ内で乗客数を検知する手法が開示されている。
しかし、単純なパターンマッチングによる人物検出方法では、例えば、カメラから見て、ある人物が他の人物に隠れてしまっている場合など、遮蔽が生じている場合には、誤って人数をカウントしてしまうことがある。
また、エレベータのかご内に鏡が設置されている場合には、鏡に映っている人物を誤検出してしまうことがある。
しかし、単純なパターンマッチングによる人物検出方法では、例えば、カメラから見て、ある人物が他の人物に隠れてしまっている場合など、遮蔽が生じている場合には、誤って人数をカウントしてしまうことがある。
また、エレベータのかご内に鏡が設置されている場合には、鏡に映っている人物を誤検出してしまうことがある。
従来の人物追跡装置は以上のように構成されているので、エレベータが非常に混雑している状況などでは、エレベータ内の乗客を正確に検出することができないなどの課題があった。
この発明は上記のような課題を解決するためになされたもので、監視対象領域が非常に混雑している状況などでも、監視対象領域内の個々の人物を正確に検出することができる人物追跡装置、人物追跡方法及び人物追跡プログラムを得ることを目的とする。
この発明に係る人物追跡装置は、複数の映像撮影手段により撮影された映像に写っている人物を検出する人物検出手段と、人物検出手段により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定手段とを設け、移動軌跡解析手段が３次元位置推定手段により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するようにしたものである。
この発明によれば、複数の映像撮影手段により撮影された映像に写っている人物を検出する人物検出手段と、人物検出手段により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定手段とを設け、移動軌跡解析手段が３次元位置推定手段により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するように構成したので、監視対象領域が非常に混雑している状況などでも、監視対象領域内の個々の人物を正確に検出することができるとともに、個々の人物を追跡することができる効果がある。
実施の形態１．
図１はこの発明の実施の形態１による人物追跡装置を示す構成図であり、図において、カメラ１はエレベータのかご内（監視対象領域）の上部に複数台設置されており、複数のカメラ１はかご内の映像を撮影して、その映像を映像取得部２に出力する。なお、カメラ１は映像撮影手段を構成している。
ただし、カメラ１の種類は特に問わず、一般的な監視カメラのほかに、可視カメラ、近赤外線領域まで撮影可能な高感度カメラ、熱源を撮影することが可能な遠赤外線カメラなどでもよい。また、距離計測が可能な赤外線距離センサや、レーザーレンジファインダなどで代用してもよい。
映像取得部２はカメラ１により撮影された映像を取得する映像入力インタフェースである。
図１はこの発明の実施の形態１による人物追跡装置を示す構成図であり、図において、カメラ１はエレベータのかご内（監視対象領域）の上部に複数台設置されており、複数のカメラ１はかご内の映像を撮影して、その映像を映像取得部２に出力する。なお、カメラ１は映像撮影手段を構成している。
ただし、カメラ１の種類は特に問わず、一般的な監視カメラのほかに、可視カメラ、近赤外線領域まで撮影可能な高感度カメラ、熱源を撮影することが可能な遠赤外線カメラなどでもよい。また、距離計測が可能な赤外線距離センサや、レーザーレンジファインダなどで代用してもよい。
映像取得部２はカメラ１により撮影された映像を取得する映像入力インタフェースである。
カメラキャリブレーション部３はカメラパラメータ算出部４及び設置位置角度算出部５から構成されている。
カメラパラメータ算出部４は映像解析部６による人物の検出処理が開始される前に、複数のカメラ１により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、複数のカメラ１のカメラパラメータ（レンズの歪み、焦点距離、光軸、画像中心（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）に関するパラメータ）を算出する処理を実施する。なお、カメラパラメータ算出部４はパラメータ算出手段を構成している。
設置位置角度算出部５は映像解析部６による人物の３次元位置の推定処理が開始される前に、複数のカメラ１により撮影されたキャリブレーションパターンの映像から、エレベータのかご内の基準点に対する複数のカメラ１の設置位置及び設置角度を算出する処理を実施する。なお、設置位置角度算出部５は設置位置角度算出手段を構成している。
カメラパラメータ算出部４は映像解析部６による人物の検出処理が開始される前に、複数のカメラ１により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、複数のカメラ１のカメラパラメータ（レンズの歪み、焦点距離、光軸、画像中心（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）に関するパラメータ）を算出する処理を実施する。なお、カメラパラメータ算出部４はパラメータ算出手段を構成している。
設置位置角度算出部５は映像解析部６による人物の３次元位置の推定処理が開始される前に、複数のカメラ１により撮影されたキャリブレーションパターンの映像から、エレベータのかご内の基準点に対する複数のカメラ１の設置位置及び設置角度を算出する処理を実施する。なお、設置位置角度算出部５は設置位置角度算出手段を構成している。
映像解析部６は映像補正部７、人物検出部８、３次元位置推定部９及び移動軌跡解析部１０から構成されており、人物の検出処理や移動軌跡の解析処理などを実施する。
映像補正部７はカメラパラメータ算出部４により算出されたカメラパラメータを用いて、映像取得部２により取得された複数の映像の歪みを補正する処理を実施する。なお、映像補正部７は映像補正手段を構成している。
映像補正部７はカメラパラメータ算出部４により算出されたカメラパラメータを用いて、映像取得部２により取得された複数の映像の歪みを補正する処理を実施する。なお、映像補正部７は映像補正手段を構成している。
人物検出部８は映像取得部２により取得された複数の映像に写っている人物（例えば、人間の頭部、肩、胴体など）を検出する処理を実施する。なお、人物検出部８は人物検出手段を構成している。
３次元位置推定部９は設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、人物検出部８により検出された個々の人物をステレオ立体視することにより、個々の人物の３次元位置を推定する処理を実施する。なお、３次元位置推定部９は３次元位置推定手段を構成している。
移動軌跡解析部１０は３次元位置推定部９により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するなど処理を実施する。なお、移動軌跡解析部１０は移動軌跡解析手段を構成している。
３次元位置推定部９は設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、人物検出部８により検出された個々の人物をステレオ立体視することにより、個々の人物の３次元位置を推定する処理を実施する。なお、３次元位置推定部９は３次元位置推定手段を構成している。
移動軌跡解析部１０は３次元位置推定部９により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するなど処理を実施する。なお、移動軌跡解析部１０は移動軌跡解析手段を構成している。
図１の例では、人物追跡装置の構成要素である映像取得部２、カメラパラメータ算出部４、設置位置角度算出部５、映像補正部７、人物検出部８、３次元位置推定部９及び移動軌跡解析部１０のそれぞれが専用のハードウェア（例えば、ＭＰＵを実装している半導体集積回路基板）で構成されているものを想定しているが、人物追跡装置がコンピュータで構成される場合、映像取得部２、カメラパラメータ算出部４、設置位置角度算出部５、映像補正部７、人物検出部８、３次元位置推定部９及び移動軌跡解析部１０の処理内容を記述している人物追跡プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されている人物追跡プログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による人物追跡方法の一部（人物追跡装置の前処理部分）を示すフローチャートであり、図３はこの発明の実施の形態１による人物追跡方法の一部（人物追跡装置の後処理部分）を示すフローチャートである。
図２はこの発明の実施の形態１による人物追跡方法の一部（人物追跡装置の前処理部分）を示すフローチャートであり、図３はこの発明の実施の形態１による人物追跡方法の一部（人物追跡装置の後処理部分）を示すフローチャートである。
次に動作について説明する。
最初に、カメラキャリブレーション部３が実施する前処理について説明する。
カメラキャリブレーション部３のカメラパラメータ算出部４がカメラパラメータ（レンズの歪み、焦点距離、光軸、画像中心（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）に関するパラメータ）を算出するに際して、個々のカメラ１がキャリブレーションパターンを撮影する（図２のステップＳＴ１）。
最初に、カメラキャリブレーション部３が実施する前処理について説明する。
カメラキャリブレーション部３のカメラパラメータ算出部４がカメラパラメータ（レンズの歪み、焦点距離、光軸、画像中心（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）に関するパラメータ）を算出するに際して、個々のカメラ１がキャリブレーションパターンを撮影する（図２のステップＳＴ１）。
映像取得部２は、個々のカメラ１により撮影されたキャリブレーションパターンの映像を取得して、そのキャリブレーションパターンの映像をカメラキャリブレーション部３のカメラパラメータ算出部４に出力する。
キャリブレーションパターンとしては、例えば、大きさが既知の白黒のチェッカーフラグパターンなどが該当する（図４を参照）。
なお、キャリブレーションパターンは、１０〜２０通りの異なる角度からカメラ１により撮影される。
キャリブレーションパターンとしては、例えば、大きさが既知の白黒のチェッカーフラグパターンなどが該当する（図４を参照）。
なお、キャリブレーションパターンは、１０〜２０通りの異なる角度からカメラ１により撮影される。
カメラキャリブレーション部３のカメラパラメータ算出部４は、映像取得部２からキャリブレーションパターンの映像を受けると、そのキャリブレーションパターンの映像の歪み具合を解析して、各カメラ１のカメラパラメータを算出する（ステップＳＴ２）。
カメラパラメータの算出方法は、公知の技術であるため詳細な説明を省略する。
カメラパラメータの算出方法は、公知の技術であるため詳細な説明を省略する。
次に、カメラキャリブレーション部３の設置位置角度算出部５が複数のカメラ１の設置位置及び設置角度を算出するに際して、複数のカメラ１がエレベータのかご内の上部に設置されたのち、複数のカメラ１が既知の大きさのカメラキャリブレーションパターンを同時に撮影する（ステップＳＴ３）。
例えば、図４に示すように、キャリブレーションパターンとしてチェッカーフラグパターンをかご内の床に敷いて、チェッカーフラグパターンが複数のカメラ１で同時に写るように撮影する。
例えば、図４に示すように、キャリブレーションパターンとしてチェッカーフラグパターンをかご内の床に敷いて、チェッカーフラグパターンが複数のカメラ１で同時に写るように撮影する。
このとき、かご内の床に敷いているキャリブレーションパターンに対して、かご内の基準点（例えば、かごの入口）からの位置と角度をオフセットとして計測し、また、かごの内寸を計測しておくようにする。
図４の例では、キャリブレーションパターンとしてチェッカーフラグパターンをかご内の床に敷いているものを示しているが、これに限るものではなく、例えば、かご内の床に描かれた模様でもよい。この場合、床に描かれた模様の大きさを予め計測しておくようにする。
また、図５に示すように、キャリブレーションパターンとして、無人のかご内を撮影し、かご内の床と天井の四隅を選択したものでもよい。この場合、かごの内寸を計測しておくようにする。
図４の例では、キャリブレーションパターンとしてチェッカーフラグパターンをかご内の床に敷いているものを示しているが、これに限るものではなく、例えば、かご内の床に描かれた模様でもよい。この場合、床に描かれた模様の大きさを予め計測しておくようにする。
また、図５に示すように、キャリブレーションパターンとして、無人のかご内を撮影し、かご内の床と天井の四隅を選択したものでもよい。この場合、かごの内寸を計測しておくようにする。
カメラキャリブレーション部３の設置位置角度算出部５は、複数のカメラ１により撮影されたキャリブレーションパターンの映像と、カメラパラメータ算出部４により算出されたカメラパラメータを用いて、エレベータのかご内の基準点に対する複数のカメラ１の設置位置及び設置角度を算出する（ステップＳＴ４）。
具体的には、キャリブレーションパターンとして、例えば、白黒のチェッカーフラグパターンが用いられる場合、まず、複数のカメラ１により撮影されたチェッカーパターンに対するカメラ１の相対位置と相対角度を算出する。
次に、予め計測しているチェッカーパターンのオフセット（かご内の基準点であるかごの入口からの位置と角度）を複数のカメラ１の相対位置と相対角度に足し合わせることで、かご内の基準点に対する複数のカメラ１の設置位置と設置角度を求める。
具体的には、キャリブレーションパターンとして、例えば、白黒のチェッカーフラグパターンが用いられる場合、まず、複数のカメラ１により撮影されたチェッカーパターンに対するカメラ１の相対位置と相対角度を算出する。
次に、予め計測しているチェッカーパターンのオフセット（かご内の基準点であるかごの入口からの位置と角度）を複数のカメラ１の相対位置と相対角度に足し合わせることで、かご内の基準点に対する複数のカメラ１の設置位置と設置角度を求める。
また、キャリブレーションパターンとして、例えば、かご内の床の四隅と天井の三隅が用いられる場合、予め計測しているかごの内寸から、かご内の基準点に対する複数のカメラ１の設置位置と設置角度を算出する。
この場合、かご内にカメラ１を設置するだけで、カメラ１の設置位置と設置角度を自動的に求めることが可能である。
この場合、かご内にカメラ１を設置するだけで、カメラ１の設置位置と設置角度を自動的に求めることが可能である。
次に、映像解析部６が実施する後処理について説明する。
映像解析部６が人物の検出処理や移動軌跡の解析処理などを実施するに際して、複数のカメラ１が運行中のエレベータのかご内の映像を繰り返し撮影する。
映像取得部２は、複数のカメラ１により撮影されたかご内の映像を時々刻々と取得する（図３のステップＳＴ１１）。
映像解析部６が人物の検出処理や移動軌跡の解析処理などを実施するに際して、複数のカメラ１が運行中のエレベータのかご内の映像を繰り返し撮影する。
映像取得部２は、複数のカメラ１により撮影されたかご内の映像を時々刻々と取得する（図３のステップＳＴ１１）。
映像解析部６の映像補正部７は、映像取得部２が複数のカメラ１により撮影された映像を取得する毎に、カメラパラメータ算出部４により算出されたカメラパラメータを用いて、複数の映像の歪みを補正し、歪みの無い映像である正規化画像を生成する（ステップＳＴ１２）。
映像の歪みを補正する方法は、公知の技術であるため詳細な説明を省略する。
映像の歪みを補正する方法は、公知の技術であるため詳細な説明を省略する。
映像解析部６の人物検出部８は、映像補正部７が複数のカメラ１により撮影された映像から正規化画像をそれぞれ生成すると、複数の正規化画像に存在している人間の頭部を検出し、頭部の画像座標と確信度を算出する（ステップＳＴ１３）。
ここで、頭部の画像座標は、人間の頭部の領域を囲む矩形の中心座標のことである。
また、確信度は、人物検出部８の検出物が、どの程度、人間の頭部に近いかを表現する指標であり、確信度が高いほど、人間の頭部である確率が高く、確信度が低いほど、人間の頭部である確率が低いことを表している。
ここで、頭部の画像座標は、人間の頭部の領域を囲む矩形の中心座標のことである。
また、確信度は、人物検出部８の検出物が、どの程度、人間の頭部に近いかを表現する指標であり、確信度が高いほど、人間の頭部である確率が高く、確信度が低いほど、人間の頭部である確率が低いことを表している。
図６は人物検出部８による頭部の検出処理を示す説明図である。
図６の例では、かご内の天井に２台のカメラ１が設置されており、２台のカメラ１がかご内の乗客（人物）を撮影し、人物検出部８が２台のカメラ１の映像に係る正規化画像から乗客の頭部を検出している。頭部の検出結果には確信度が付随している。人物検出部８の検出結果には、図６に示すように、誤検出が存在していることがある。
乗客の頭部は、例えば、以下の非特許文献１に開示されている顔検出手法を利用して検出すればよい。
即ち、“Ｒｅｃｔａｎｇｌｅ Ｆｅａｔｕｒｅ”と呼ばれるハール基底状のパターンをＡｄａｂｏｏｓｔにより選択して多数の弱判別機を取得し、これら弱判別機の出力と適当な閾値をすべて加算した値を確信度として利用することができる。
「Viola, P.; Jones, M., "Rapid Object Detection Using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001」
図６の例では、かご内の天井に２台のカメラ１が設置されており、２台のカメラ１がかご内の乗客（人物）を撮影し、人物検出部８が２台のカメラ１の映像に係る正規化画像から乗客の頭部を検出している。頭部の検出結果には確信度が付随している。人物検出部８の検出結果には、図６に示すように、誤検出が存在していることがある。
乗客の頭部は、例えば、以下の非特許文献１に開示されている顔検出手法を利用して検出すればよい。
即ち、“Ｒｅｃｔａｎｇｌｅ Ｆｅａｔｕｒｅ”と呼ばれるハール基底状のパターンをＡｄａｂｏｏｓｔにより選択して多数の弱判別機を取得し、これら弱判別機の出力と適当な閾値をすべて加算した値を確信度として利用することができる。
「Viola, P.; Jones, M., "Rapid Object Detection Using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001」
また、人物検出部８は、例えば、以下の非特許文献２に開示されている道路標識検出方法を人間の頭部検出方法に応用して、その画像座標と確信度を算出するようにしてもよい。
「田口 進也、神田 準史郎、島 嘉宏、瀧口 純一、"特徴量ベクトルの相関係数行列を用いた少ないサンプルでの高精度画像認識 : 道路標識認識への適用"電子情報通信学会技術研究報告. IE, 画像工学,Vol.106, No.537(20070216) pp. 55-60,IE2006-270」 なお、この実施の形態１では、人物検出部８が人物の頭部を検出するものを示しているが、検出対象は人物の特徴的な箇所であれば頭部に限るものではなく、例えば、人物の顔、肩や胴体などを検出するようにしてもよい。
「田口 進也、神田 準史郎、島 嘉宏、瀧口 純一、"特徴量ベクトルの相関係数行列を用いた少ないサンプルでの高精度画像認識 : 道路標識認識への適用"電子情報通信学会技術研究報告. IE, 画像工学,Vol.106, No.537(20070216) pp. 55-60,IE2006-270」 なお、この実施の形態１では、人物検出部８が人物の頭部を検出するものを示しているが、検出対象は人物の特徴的な箇所であれば頭部に限るものではなく、例えば、人物の顔、肩や胴体などを検出するようにしてもよい。
映像解析部６の３次元位置推定部９は、人物検出部８が人物の頭部を検出すると、設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、人物検出部８により検出された個々の人物の頭部をステレオ立体視することにより、個々の人物の３次元位置を推定する（ステップＳＴ１４）。
即ち、３次元位置推定部９は、設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、複数のカメラ１の中心と人物検出部８により検出された頭部を通る直線を求め、二つ以上の直線の交点又は近似的な交点を求めることで、人物の頭部の３次元位置を算出する。また、各直線に付随する確信度を加算して、その加算結果を頭部の３次元位置の確信度として出力する。
即ち、３次元位置推定部９は、設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、複数のカメラ１の中心と人物検出部８により検出された頭部を通る直線を求め、二つ以上の直線の交点又は近似的な交点を求めることで、人物の頭部の３次元位置を算出する。また、各直線に付随する確信度を加算して、その加算結果を頭部の３次元位置の確信度として出力する。
ここで、図７は３次元位置推定部９による３次元位置の推定処理を示す説明図である。
図７の例では、３次元位置推定部９が設置位置角度算出部５により算出された２台のカメラ１の設置位置及び設置角度と、人物検出部８により算出された頭部の画像座標とを用いて、図中左側のカメラ１の中心から頭部に向かう直線Ｖ１と、図中右側のカメラ１の中心から頭部に向かう直線Ｖ２とを描いて、二つの直線Ｖ１，Ｖ２の交点を頭部の３次元位置として推定する。
図７の例では、３次元位置推定部９が設置位置角度算出部５により算出された２台のカメラ１の設置位置及び設置角度と、人物検出部８により算出された頭部の画像座標とを用いて、図中左側のカメラ１の中心から頭部に向かう直線Ｖ１と、図中右側のカメラ１の中心から頭部に向かう直線Ｖ２とを描いて、二つの直線Ｖ１，Ｖ２の交点を頭部の３次元位置として推定する。
また、３次元位置推定部９は、例えば、図中左側のカメラ１により撮影された映像に係る正規化画像から検出された頭部の確信度がｃｏｎｆ１＝２００であり、図中右側のカメラ１により撮影された映像に係る正規化画像から検出された頭部の確信度がｃｏｎｆ２＝１００である場合、これらの頭部の確信度を加算することにより、頭部の３次元位置の確信度ｃｏｎｆを算出する。
ｃｏｎｆ
＝ｃｏｎｆ１＋ｃｏｎｆ２
＝２００＋１００
＝３００
ｃｏｎｆ
＝ｃｏｎｆ１＋ｃｏｎｆ２
＝２００＋１００
＝３００
図７では、人物検出部８により一人の頭部が検出されている例を示しているが、複数の人物の頭部が検出される場合、図８（Ａ）に示すように、３次元位置推定部９が複数の直線の交点を求め、これらの交点を頭部の３次元位置として出力するようにする。なお、この段階では、誤って算出された頭部の３次元位置が含まれていることがある。
図７の例では、直線Ｖ１と直線Ｖ２が交わるものを示しているが、実際には、頭部の検出誤差やキャリブレーション誤差が原因で、直線Ｖ１と直線Ｖ２が近づいているだけで、交わらないこともある。
このような場合には、二つの直線Ｖ１，Ｖ２の距離を求め、この距離が一定範囲以内（例えば１５ｃｍ以内）であれば、二つの直線Ｖ１，Ｖ２が交わっているとみなして、その近似的な交点を求めるようにしてもよい。
以下、二つの直線Ｖ１，Ｖ２の距離と、その近似的な交点の算出法について説明する。
このような場合には、二つの直線Ｖ１，Ｖ２の距離を求め、この距離が一定範囲以内（例えば１５ｃｍ以内）であれば、二つの直線Ｖ１，Ｖ２が交わっているとみなして、その近似的な交点を求めるようにしてもよい。
以下、二つの直線Ｖ１，Ｖ２の距離と、その近似的な交点の算出法について説明する。
図９は近似的な交点の概念を示す説明図である。
ここでは説明の便宜上、二つの直線Ｖ１，Ｖ２上の点Ｘ１，Ｘ２の座標ｘ１，ｘ２が下記に示すように、パラメータ表示されるものとする。
ｘ１＝ａ１＋ｔ１＊ｂ１
ｘ２＝ａ２＋ｔ２＊ｂ２
ただし、ａ１，ａ２は原点から直線Ｖ１，Ｖ２までの３次元ベクトル、ｂ１，ｂ２は３次元の法線ベクトル、ｔ１，ｔ２はスカラーパラメータである。また、記号“＊”は掛け算を意味するものとする。
このとき、ユークリッド距離ｄ＝｜｜ｘ１−ｘ２｜｜の最小値を二つの直線Ｖ１，Ｖ２の距離と定義して、ユークリッド距離ｄが最小になるようなパラメータｔ１，ｔ２を求め、このときの点Ｘ１，Ｘ２の中間点を二つの直線Ｖ１，Ｖ２の近似的な交点と定義する。
ここでは説明の便宜上、二つの直線Ｖ１，Ｖ２上の点Ｘ１，Ｘ２の座標ｘ１，ｘ２が下記に示すように、パラメータ表示されるものとする。
ｘ１＝ａ１＋ｔ１＊ｂ１
ｘ２＝ａ２＋ｔ２＊ｂ２
ただし、ａ１，ａ２は原点から直線Ｖ１，Ｖ２までの３次元ベクトル、ｂ１，ｂ２は３次元の法線ベクトル、ｔ１，ｔ２はスカラーパラメータである。また、記号“＊”は掛け算を意味するものとする。
このとき、ユークリッド距離ｄ＝｜｜ｘ１−ｘ２｜｜の最小値を二つの直線Ｖ１，Ｖ２の距離と定義して、ユークリッド距離ｄが最小になるようなパラメータｔ１，ｔ２を求め、このときの点Ｘ１，Ｘ２の中間点を二つの直線Ｖ１，Ｖ２の近似的な交点と定義する。
次に、ユークリッド距離ｄが最小になるようなパラメータｔ１，ｔ２を求める方法について説明する。
ユークリッド距離ｄが最小になるための必要条件は、ｄ2のｔ１とｔ２に関する変微分が０になることである。即ち、下式を満たすことである。
∂ｄ2／∂ｔ１＝０
∂ｄ2／∂ｔ２＝０
このことから、下式が得られる。
ｂ１T＊（ａ１＋ｔ１＊ｂ１−ａ２−ｔ２＊ｂ２）＝０
ｂ２T＊（ａ１＋ｔ１＊ｂ１−ａ２−ｔ２＊ｂ２）＝０
ただし、Ｔは転置記号である。
ユークリッド距離ｄが最小になるための必要条件は、ｄ2のｔ１とｔ２に関する変微分が０になることである。即ち、下式を満たすことである。
∂ｄ2／∂ｔ１＝０
∂ｄ2／∂ｔ２＝０
このことから、下式が得られる。
ｂ１T＊（ａ１＋ｔ１＊ｂ１−ａ２−ｔ２＊ｂ２）＝０
ｂ２T＊（ａ１＋ｔ１＊ｂ１−ａ２−ｔ２＊ｂ２）＝０
ただし、Ｔは転置記号である。
上の二つの式をパラメータｔ１，ｔ２について解くと次式が得られる。
パラメータｔ１，ｔ２からｄ2の最小値が求まるので、このときの点Ｘ１，Ｘ２の中間点を算出すれば、二つの直線Ｖ１，Ｖ２の近似的な交点が求まる。
この実施の形態１では、３次元位置推定部９が、複数のカメラ１の中心と人物検出部８により検出された頭部を通る直線を求め、二つ以上の直線の交点又は近似的な交点を求めることで、人物の頭部の３次元位置を算出するものについて示したが、図１０に示すように、図中左側のカメラ１から見たとき、人物Ｂが人物Ａに隠れてしまって、図中左側のカメラ１の映像に人物Ｂが写らない場合がある。
このような場合には、図中左側のカメラ１の中心から人物Ｂの頭部に向かう直線を描くことができず、人物Ｂの頭部において、二つ以上の直線の交点又は近似的な交点を求めることができない。
このような場合には、図中左側のカメラ１の中心から人物Ｂの頭部に向かう直線を描くことができず、人物Ｂの頭部において、二つ以上の直線の交点又は近似的な交点を求めることができない。
そこで、このような場合には、確信度が高い頭部を通る直線（図１０の例では、図中右側のカメラ１の中心から人物Ｂの頭部に向かう直線Ｖ）上の点のうち、床からの高さが人間の平均身長である点を求め、この点の位置を人物Ｂの頭部の３次元位置として算出するようにする。
これにより、人物が一つのカメラにしか写らないような場合でも、その人物の頭部の３次元位置を暫定的に求めることが可能となる。
これにより、人物が一つのカメラにしか写らないような場合でも、その人物の頭部の３次元位置を暫定的に求めることが可能となる。
３次元位置推定部９は、人物検出部８により検出された個々の人物の頭部の３次元位置を算出したのち、誤って算出した３次元位置を破棄するため、個々の人物の頭部の３次元位置をフィルタリングする（ステップＳＴ１５）。
即ち、３次元位置推定部９は、人物検出部８が人物の頭部を誤検出することが原因で、頭部の３次元位置を誤って算出することがあるので、例えば、頭部の３次元位置が以下の条件（ア）〜（エ）に合致しない場合、その３次元位置の算出結果を破棄する。
条件（ア） 人物の身長が一定長（例えば、５０ｃｍ）以上である
条件（イ） 人物が特定の領域内（例えば、かご内）に存在する
条件（ウ） 特定の範囲（例えば、２５ｃｍ四方）には人物が一人しか存在できない
条件（エ） 頭部の確信度が一定値以上である
即ち、３次元位置推定部９は、人物検出部８が人物の頭部を誤検出することが原因で、頭部の３次元位置を誤って算出することがあるので、例えば、頭部の３次元位置が以下の条件（ア）〜（エ）に合致しない場合、その３次元位置の算出結果を破棄する。
条件（ア） 人物の身長が一定長（例えば、５０ｃｍ）以上である
条件（イ） 人物が特定の領域内（例えば、かご内）に存在する
条件（ウ） 特定の範囲（例えば、２５ｃｍ四方）には人物が一人しか存在できない
条件（エ） 頭部の確信度が一定値以上である
条件（ア）により、低い位置にある誤検出の頭部の３次元位置を破棄することができる。
条件（イ）により、例えば、かご内に設置された鏡に映っている人物像について誤検出された頭部の３次元位置を破棄することができる。
条件（ウ）により、特定の領域内に存在する複数の頭部の３次元位置を一つにまとめて出力することが可能になる。
条件（エ）により、頭部である確率が低い物体の３次元位置を破棄することができる。
このような３次元位置のフィルタリングにより、図８（Ｂ）に示すような正しい３次元位置を算出することが可能になる。
条件（イ）により、例えば、かご内に設置された鏡に映っている人物像について誤検出された頭部の３次元位置を破棄することができる。
条件（ウ）により、特定の領域内に存在する複数の頭部の３次元位置を一つにまとめて出力することが可能になる。
条件（エ）により、頭部である確率が低い物体の３次元位置を破棄することができる。
このような３次元位置のフィルタリングにより、図８（Ｂ）に示すような正しい３次元位置を算出することが可能になる。
映像解析部６の移動軌跡解析部１０は、３次元位置推定部９が個々の頭部の３次元位置を推定する毎に、個々の頭部の３次元位置の時間的変化を監視して、個々の頭部の３次元位置の移動軌跡を解析する（ステップＳＴ１６）。
以下、移動軌跡解析部１０による移動軌跡の解析処理を具体的に説明する。
図１１は移動軌跡解析部１０による移動軌跡の解析処理を示す説明図である。
以下、移動軌跡解析部１０による移動軌跡の解析処理を具体的に説明する。
図１１は移動軌跡解析部１０による移動軌跡の解析処理を示す説明図である。
例えば、図１１（Ａ）に示すように、３次元位置推定部９が時刻ｔ−１において、頭部の３次元位置Ｘ１t-1とＸ２t-1を算出するものとする。
ただし、Ｘ１t-1は、移動軌跡解析部１０が個々の人物を識別するために、移動軌跡解析部１０によって“１”とラベル付けされた頭部の３次元位置であり、Ｘ２t-1は移動軌跡解析部１０によって“２”とラベル付けされた頭部の３次元位置である。
また、３次元位置推定部９は、時刻ｔにおいて、未だラベル付けされていない３次元位置も算出する。
ただし、Ｘ１t-1は、移動軌跡解析部１０が個々の人物を識別するために、移動軌跡解析部１０によって“１”とラベル付けされた頭部の３次元位置であり、Ｘ２t-1は移動軌跡解析部１０によって“２”とラベル付けされた頭部の３次元位置である。
また、３次元位置推定部９は、時刻ｔにおいて、未だラベル付けされていない３次元位置も算出する。
移動軌跡解析部１０は、３次元位置推定部９が、時刻ｔにおいて、２つの３次元位置を算出すると、時刻ｔにおける２つの３次元位置の中で、時刻ｔ−１における３次元位置Ｘ１t-1に最近傍の３次元位置を探索して、その３次元位置に“１”のラベル付けを行うとともに、時刻ｔ−１における３次元位置Ｘ２t-1に最近傍の３次元位置を探索して、その３次元位置に“２”のラベル付けを行う。
図１１（Ｂ）の例では、時刻ｔにおける２つの３次元位置の中で、図中左側の３次元位置が時刻ｔ−１における３次元位置Ｘ１t-1と最近傍であるため、図中左側の３次元位置に“１”のラベルを付けて、その３次元位置をＸ１tとする。
また、図中右側の３次元位置が時刻ｔ−１における３次元位置Ｘ２t-1と最近傍であるため、図中右側の３次元位置に“２”のラベルを付けて、その３次元位置をＸ２tとする。
このように、時々刻々と最近傍に存在する頭部の３次元位置を探索し、同一のラベルを付けていくことにより、同一人物の頭部の３次元位置を時々刻々と追跡することができるようになる。
図１１（Ｂ）の例では、時刻ｔにおける２つの３次元位置の中で、図中左側の３次元位置が時刻ｔ−１における３次元位置Ｘ１t-1と最近傍であるため、図中左側の３次元位置に“１”のラベルを付けて、その３次元位置をＸ１tとする。
また、図中右側の３次元位置が時刻ｔ−１における３次元位置Ｘ２t-1と最近傍であるため、図中右側の３次元位置に“２”のラベルを付けて、その３次元位置をＸ２tとする。
このように、時々刻々と最近傍に存在する頭部の３次元位置を探索し、同一のラベルを付けていくことにより、同一人物の頭部の３次元位置を時々刻々と追跡することができるようになる。
ただし、移動軌跡解析部１０は、頭部の３次元位置を追跡する際、その頭部の３次元位置の確信度を時々刻々と累積して、その３次元位置の確信度を所定の閾値と比較し、確信度が閾値より低い３次元位置を破棄するようにする。
即ち、移動軌跡解析部１０は、時刻ｔ−１における３次元位置Ｘ１t-1の確信度がｃｏｎｆ１t-1であり、時刻ｔにおける３次元位置Ｘ１tの確信度がｃｏｎｆ１tであるとき、次式にしたがって時刻ｔにおける３次元位置Ｘ１tの確信度ｃｏｎｆ１tを更新する。
ｃｏｎｆ１t ← α＊ｃｏｎｆ１t＋β＊ｃｏｎｆ１t-1＋γ
ここで、α，β，γは確信度の更新程度を調整する適当なパラメータである。
即ち、移動軌跡解析部１０は、時刻ｔ−１における３次元位置Ｘ１t-1の確信度がｃｏｎｆ１t-1であり、時刻ｔにおける３次元位置Ｘ１tの確信度がｃｏｎｆ１tであるとき、次式にしたがって時刻ｔにおける３次元位置Ｘ１tの確信度ｃｏｎｆ１tを更新する。
ｃｏｎｆ１t ← α＊ｃｏｎｆ１t＋β＊ｃｏｎｆ１t-1＋γ
ここで、α，β，γは確信度の更新程度を調整する適当なパラメータである。
移動軌跡解析部１０は、時刻ｔにおける３次元位置Ｘ１tの確信度ｃｏｎｆ１tを更新して、更新後の確信度ｃｏｎｆ１tがある一定の閾値未満であれば、該当の３次元位置Ｘ１tは頭部の３次元位置ではないとして、その３次元位置を破棄する。
例えば、人物検出部８が、時刻ｔにおいて、一度だけ頭部を誤検出したとき、例えば、α＝０．５、β＝０．５、γ＝0と設定されていれば、その頭部の３次元位置の確信度が時間の経過と共に減衰していくので、確信度の閾値処理によって、その３次元位置を取り除くことが可能になる。
例えば、人物検出部８が、時刻ｔにおいて、一度だけ頭部を誤検出したとき、例えば、α＝０．５、β＝０．５、γ＝0と設定されていれば、その頭部の３次元位置の確信度が時間の経過と共に減衰していくので、確信度の閾値処理によって、その３次元位置を取り除くことが可能になる。
この実施の形態１では、移動軌跡解析部１０が時々刻々と最近傍に存在する頭部の３次元位置を探索し、同一のラベルを付けていくことで、頭部の３次元位置の移動軌跡を解析するものについて示したが、頭部の３次元位置の確率分布を時々刻々と推定して、頭部の３次元位置の移動軌跡を解析するようにしてもよい。
即ち、移動軌跡解析部１０は、例えば、次式にしたがって時々刻々と確率分布Ｐ（Ｘt｜Ｙt）を求める。
即ち、移動軌跡解析部１０は、例えば、次式にしたがって時々刻々と確率分布Ｐ（Ｘt｜Ｙt）を求める。
また、上式における尤度関数Ｐ（Ｙt｜Ｘt）と状態遷移確率Ｐ（Ｘt｜Ｘt-1）は次式で与えられる。
ここで、ａ，ｂ，ｃ，ｄ，δは適当な定数である。また、ｆkはかごの３次元座標系からｋ番目のカメラ１の正規化画像の座標系への射影関数である。
上記の確率分布Ｐ（Ｘt｜Ｙt）はカルマンフィルタや“Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ”によって計算することができ、最終的に確率分布Ｐ（Ｘt｜Ｙt）を最大化するＸtを求めて、このＸtを頭部の３次元位置の推定値とする。
また、ΠＰ（ｙt n，ｃｏｎｆt k,n｜ｘt m）は推定した３次元位置ｘt mが頭部である確からしさであり、この値が一定の閾値よりも低いものを削除することで、頭部の誤検出を削減することができる。
上記の確率分布Ｐ（Ｘt｜Ｙt）はカルマンフィルタや“Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ”によって計算することができ、最終的に確率分布Ｐ（Ｘt｜Ｙt）を最大化するＸtを求めて、このＸtを頭部の３次元位置の推定値とする。
また、ΠＰ（ｙt n，ｃｏｎｆt k,n｜ｘt m）は推定した３次元位置ｘt mが頭部である確からしさであり、この値が一定の閾値よりも低いものを削除することで、頭部の誤検出を削減することができる。
移動軌跡解析部１０は、上記のようにして、人物の頭部の３次元位置の移動軌跡を解析すると、エレベータの停止階を示す停止階情報と個々の人物の移動軌跡とを照らし合わせて、“どの人物がどの階で乗って、どの階で降りたか”を示す個々の人物の移動履歴を求める（ステップＳＴ１７）。
例えば、頭部の移動軌跡がエレベータの入口から開始していれば、該当の階から乗車していると判断し、また、移動軌跡がエレベータの出口で終了していれば、該当の階から降車していると判断する。
なお、停止階情報は、エレベータの制御機器から取得するようにしてもよいし、カメラ１により撮影された映像に写っているエレベータのコントローラの文字盤を認識して、画像処理によって停止階の情報を取得するようにしてもよい。
例えば、頭部の移動軌跡がエレベータの入口から開始していれば、該当の階から乗車していると判断し、また、移動軌跡がエレベータの出口で終了していれば、該当の階から降車していると判断する。
なお、停止階情報は、エレベータの制御機器から取得するようにしてもよいし、カメラ１により撮影された映像に写っているエレベータのコントローラの文字盤を認識して、画像処理によって停止階の情報を取得するようにしてもよい。
移動軌跡解析部１０は、上記のようにして、個々の人物の移動履歴を求めると、その移動履歴を複数台のエレベータの運行を管理する群管理システムに与えるようにする。
これにより、群管理システムでは、常に最適なエレベータの群管理を実施することが可能になる。
これにより、群管理システムでは、常に最適なエレベータの群管理を実施することが可能になる。
以上で明らかなように、この実施の形態１によれば、複数のカメラ１により撮影された映像に写っている人物を検出する人物検出部８と、人物検出部８により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定部９とを設け、移動軌跡解析部１０が３次元位置推定部９により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するように構成したので、エレベータのかご内が非常に混雑している状況などでも、かご内の個々の人物を正確に検出することができるとともに、個々の人物を追跡することができる効果を奏する。
また、この実施の形態１によれば、個々の人物の３次元位置の推定結果が所定の検出条件に合致しない場合、その３次元位置の推定結果を破棄するように構成したので、誤検出された人物の３次元位置が除かれて、人物の検出精度や追跡精度を高めることができる効果を奏する。
さらに、この実施の形態１によれば、３次元位置推定部９により算出された３次元位置の確信度を所定の閾値と比較して、確信度が所定の閾値より低い３次元位置を除いて、個々の人物の移動軌跡を解析するように構成したので、誤検出された人物の３次元位置が除かれて、人物の検出精度や追跡精度を高めることができる効果を奏する。
なお、この実施の形態１では、監視対象領域がエレベータのかご内であるものについて示したが、これに限るものではなく、例えば、電車の中を監視対象領域として、電車の混雑度などを計測するようにしてもよい。
また、セキュリティニーズの高い場所を監視対象領域として、人物の移動履歴を求めることにより、不審な行動を監視することも可能である。
あるいは、駅や店舗などで、人物の移動軌跡を解析することにより、マーケティングなどに利用することもできる。
また、セキュリティニーズの高い場所を監視対象領域として、人物の移動履歴を求めることにより、不審な行動を監視することも可能である。
あるいは、駅や店舗などで、人物の移動軌跡を解析することにより、マーケティングなどに利用することもできる。
また、エスカレータの踊り場を監視対象領域として、エスカレータの踊り場に存在する人物の数をカウントし、エスカレータの踊り場が混雑してくれば、例えば、エスカレータの運行を徐行や停止を行って、エスカレータで人物が将棋倒しになってしまうなどの事故を未然に回避することもできる。
実施の形態２．
図１２はこの発明の実施の形態２による人物追跡装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
感圧センサ１１は監視対象領域であるエレベータのかご内の床に敷かれており、人物の体重によって圧力が掛かっている位置を示すセンサ信号を足跡解析部１２に出力する。
足跡解析部１２は感圧センサ１１より出力されるセンサ信号から人物の足がある位置を特定する処理を実施する。
３次元位置推定部１３は足跡解析部１２により特定された人物の足がある位置を考慮して、個々の人物の３次元位置を推定する処理を実施する。なお、３次元位置推定部１３は３次元位置推定手段を構成している。
図１２はこの発明の実施の形態２による人物追跡装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
感圧センサ１１は監視対象領域であるエレベータのかご内の床に敷かれており、人物の体重によって圧力が掛かっている位置を示すセンサ信号を足跡解析部１２に出力する。
足跡解析部１２は感圧センサ１１より出力されるセンサ信号から人物の足がある位置を特定する処理を実施する。
３次元位置推定部１３は足跡解析部１２により特定された人物の足がある位置を考慮して、個々の人物の３次元位置を推定する処理を実施する。なお、３次元位置推定部１３は３次元位置推定手段を構成している。
上記実施の形態１では、３次元位置推定部９が設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、個々の人物の３次元位置を推定するものについて示したが、さらに、足跡解析部１２により特定された人物の足がある位置を考慮して、個々の人物の３次元位置を推定するようにしてもよい。
具体的には、以下の通りである。
図１３は３次元位置推定部１３による３次元位置の推定処理を示す説明図である。
具体的には、以下の通りである。
図１３は３次元位置推定部１３による３次元位置の推定処理を示す説明図である。
感圧センサ１１は、人物の体重によって圧力が掛かっている位置を示すセンサ信号を足跡解析部１２に出力する。
足跡解析部１２は、感圧センサ１１より出力されるセンサ信号から人物の足がある位置を特定する。
足跡解析部１２は、感圧センサ１１より出力されるセンサ信号から人物の足がある位置を特定する。
３次元位置推定部１３は、図１の３次元位置推定部９と同様に、複数のカメラ１の設置位置及び設置角度を利用して、複数のカメラ１の中心と人物検出部８により検出された頭部を通る直線を求めるとともに、足跡解析部１２により特定された人物の足がある位置から天井に向う直線を求めることで、人物の頭部の３次元位置を算出する。また、各直線に付随する確信度を加算して、その加算結果を頭部の３次元位置の確信度として出力する。
図１３の例では、図中左側のカメラ１の中心から頭部に向かう直線Ｖ１と、図中右側のカメラ１の中心から頭部に向かう直線Ｖ２と、足跡解析部１２により特定された人物の足がある位置から天井に向う直線Ｖ３とを描いて、三つの直線Ｖ１，Ｖ２，Ｖ３の交点又は近似的な交点を頭部の３次元位置として推定する。
その他の処理内容は、上記実施の形態１と同様であるため説明を省略する。
図１３の例では、図中左側のカメラ１の中心から頭部に向かう直線Ｖ１と、図中右側のカメラ１の中心から頭部に向かう直線Ｖ２と、足跡解析部１２により特定された人物の足がある位置から天井に向う直線Ｖ３とを描いて、三つの直線Ｖ１，Ｖ２，Ｖ３の交点又は近似的な交点を頭部の３次元位置として推定する。
その他の処理内容は、上記実施の形態１と同様であるため説明を省略する。
以上で明らかなように、この実施の形態２によれば、足跡解析部１２が感圧センサ１１より出力されるセンサ信号から人物の足がある位置を特定し、３次元位置推定部１３が足跡解析部１２により特定された人物の足がある位置を考慮して、個々の人物の３次元位置を推定するように構成したので、上記実施の形態１よりも更に、３次元位置の推定精度を高めることができる効果を奏する。
１ カメラ（映像撮影手段）、２ 映像取得部、３ カメラキャリブレーション部、４ カメラパラメータ算出部（パラメータ算出手段）、５ 設置位置角度算出部（設置位置角度算出手段）、６ 映像解析部、７ 映像補正部（映像補正手段）、８ 人物検出部（人物検出手段）、９，１３ ３次元位置推定部（３次元位置推定手段）、１０ 移動軌跡解析部（移動軌跡解析手段）、１１ 感圧センサ、１２ 足跡解析部。
Claims (10)
- 監視対象領域の映像を撮影する複数の映像撮影手段と、上記複数の映像撮影手段により撮影された映像に写っている人物を検出する人物検出手段と、上記人物検出手段により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定手段と、上記３次元位置推定手段により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析する移動軌跡解析手段とを備えた人物追跡装置。
- 複数の映像撮影手段により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、上記複数の映像撮影手段のカメラパラメータを算出するパラメータ算出手段と、上記パラメータ算出手段により算出されたカメラパラメータを用いて、上記映像撮影手段により撮影された複数の映像の歪みを補正し、補正後の映像を人物検出手段に出力する映像補正手段とを設けたことを特徴とする請求項１記載の人物追跡装置。
- 複数の映像撮影手段により撮影されたキャリブレーションパターンの映像から、監視対象領域内の基準点に対する上記複数の映像撮影手段の設置位置及び設置角度を算出する設置位置角度算出手段を設け、３次元位置推定手段が上記設置位置角度算出手段により算出された設置位置及び設置角度と上記人物検出手段により検出された個々の人物の映像座標を用いて、個々の人物の３次元位置を推定することを特徴とする請求項１または請求項２記載の人物追跡装置。
- ３次元位置推定手段は、個々の人物の３次元位置の推定結果が所定の検出条件に合致しない場合、上記３次元位置の推定結果を破棄することを特徴とする請求項１から請求項３のうちのいずれか１項記載の人物追跡装置。
- 移動軌跡解析手段は、３次元位置推定手段が個々の人物の３次元位置を推定する際、上記３次元位置の確からしさを示す確信度を算出する場合、確信度が所定の閾値より低い３次元位置を除いて、個々の人物の移動軌跡を解析することを特徴とする請求項１から請求項４のうちのいずれか１項記載の人物追跡装置。
- 移動軌跡解析手段は、監視対象領域がエレベータのかご内である場合、上記エレベータの停止階を示す停止階情報と個々の人物の移動軌跡とを照らし合わせて、どの人物がどの階で乗ってどの階で降りたかを示す移動履歴を求めることを特徴とする請求項１から請求項５のうちのいずれか１項記載の人物追跡装置。
- 移動軌跡解析手段は、移動履歴を複数台のエレベータの運行を管理する群管理システムに出力することを特徴とする請求項６記載の人物追跡装置。
- ３次元位置推定手段は、監視対象領域の床に敷かれている感圧センサのセンシング結果を収集し、上記感圧センサのセンシング結果を考慮して、個々の人物の３次元位置を推定することを特徴とする請求項１から請求項７のうちのいずれか１項記載の人物追跡装置。
- 映像撮影手段が監視対象領域の映像を撮影する複数の映像撮影ステップと、人物検出手段が上記複数の映像撮影手段により撮影された映像に写っている人物を検出する人物検出ステップと、３次元位置推定手段が上記人物検出手段により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定ステップと、移動軌跡解析手段が上記３次元位置推定手段により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析する移動軌跡解析ステップとを備えた人物追跡方法。
- 監視対象領域の映像を撮影する複数の映像撮影処理手順と、上記複数の映像撮影処理手順により撮影された映像に写っている人物を検出する人物検出処理手順と、上記人物検出処理手順により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定処理手順と、上記３次元位置推定処理手順により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析する移動軌跡解析処理手順とをコンピュータに実行させるための人物追跡プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007325910A JP2009143722A (ja) | 2007-12-18 | 2007-12-18 | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007325910A JP2009143722A (ja) | 2007-12-18 | 2007-12-18 | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009143722A true JP2009143722A (ja) | 2009-07-02 |
Family
ID=40914807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007325910A Pending JP2009143722A (ja) | 2007-12-18 | 2007-12-18 | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009143722A (ja) |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011069796A (ja) * | 2009-09-28 | 2011-04-07 | Saxa Inc | カメラキャリブレーション方法及び画像処理装置 |
| JP2011146762A (ja) * | 2010-01-12 | 2011-07-28 | Nippon Hoso Kyokai <Nhk> | 立体モデル生成装置 |
| JP2012212217A (ja) * | 2011-03-30 | 2012-11-01 | Secom Co Ltd | 画像監視装置 |
| JP2012212968A (ja) * | 2011-03-30 | 2012-11-01 | Secom Co Ltd | 画像監視装置 |
| JP2013079854A (ja) * | 2011-10-03 | 2013-05-02 | Topcon Corp | ３次元計測システム及び３次元計測方法 |
| JP2014144826A (ja) * | 2013-01-28 | 2014-08-14 | Hitachi Ltd | エレベータ監視装置及びエレベータ監視方法 |
| JP2016166066A (ja) * | 2015-03-10 | 2016-09-15 | 株式会社日立製作所 | エレベータシステム |
| EP3075693A1 (en) * | 2015-04-03 | 2016-10-05 | Otis Elevator Company | Traffic list generation for passenger conveyance |
| EP3075695A1 (en) * | 2015-04-03 | 2016-10-05 | Otis Elevator Company | Auto commissioning system and method |
| CN106032232A (zh) * | 2015-03-11 | 2016-10-19 | 上海三菱电梯有限公司 | 电梯轿厢空间占有物的识别装置及识别方法 |
| JP2017016356A (ja) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2017026533A (ja) * | 2015-07-27 | 2017-02-02 | 株式会社日立製作所 | 距離画像センサのパラメータ調整方法、パラメータ調整装置、およびエレベータシステム |
| JP2017054349A (ja) * | 2015-09-10 | 2017-03-16 | 株式会社東芝 | 改札監視システム |
| WO2017086058A1 (ja) * | 2015-11-20 | 2017-05-26 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
| US10063843B2 (en) | 2015-09-15 | 2018-08-28 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for estimating three-dimensional position of object in image |
| JP2018146363A (ja) * | 2017-03-03 | 2018-09-20 | 三菱航空機株式会社 | ３次元位置計測システム及び方法 |
| US10241486B2 (en) | 2015-04-03 | 2019-03-26 | Otis Elevator Company | System and method for passenger conveyance control and security via recognized user operations |
| US10479647B2 (en) | 2015-04-03 | 2019-11-19 | Otis Elevator Company | Depth sensor based sensing for special passenger conveyance loading conditions |
| US10513415B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance control |
| US10513416B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance door control |
| WO2020026630A1 (ja) * | 2018-08-03 | 2020-02-06 | Ｌｉｎｎｅ株式会社 | 画像情報表示装置 |
| JP2020026339A (ja) * | 2018-08-10 | 2020-02-20 | 株式会社豊田中央研究所 | 計測用カメラのキャリブレーション装置 |
| US10636153B2 (en) | 2016-11-22 | 2020-04-28 | Fujitsu Limited | Image processing system, image processing apparatus, and image processing method for object tracking |
| JP2020068495A (ja) * | 2018-10-26 | 2020-04-30 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP2020152545A (ja) * | 2019-03-20 | 2020-09-24 | 東芝エレベータ株式会社 | 画像処理装置 |
| JP2020528999A (ja) * | 2017-07-27 | 2020-10-01 | ウエスチングハウス・エレクトリック・カンパニー・エルエルシー | 作業空間内の遠隔操作車両の位置を特定する方法およびかかる方法を用いた遠隔検査システム |
| US10839532B2 (en) | 2017-11-13 | 2020-11-17 | Fujitsu Limited | Image processing method and information processing apparatus |
| CN111960206A (zh) * | 2019-05-20 | 2020-11-20 | 东芝电梯株式会社 | 图像处理装置及标记 |
| CN112686173A (zh) * | 2020-12-31 | 2021-04-20 | 深圳云天励飞技术股份有限公司 | 一种客流计数方法、装置、电子设备及存储介质 |
| CN113671513A (zh) * | 2020-05-14 | 2021-11-19 | 日立乐金光科技株式会社 | 测距***以及测距传感器的校准方法 |
| CN113739331A (zh) * | 2021-07-07 | 2021-12-03 | 青净光能科技股份有限公司 | 室内主动防疫监控*** |
| US11361466B2 (en) | 2018-11-30 | 2022-06-14 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
| WO2023062760A1 (ja) * | 2021-10-13 | 2023-04-20 | 富士通株式会社 | 領域検出プログラム、装置、及び方法 |
| JP7509320B2 (ja) | 2021-06-02 | 2024-07-02 | 三菱電機株式会社 | エレベーターのカメラの調整支援システム |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61229788A (ja) * | 1985-04-05 | 1986-10-14 | 三菱電機株式会社 | エレベ−タの運転装置 |
| JPH08127476A (ja) * | 1994-10-10 | 1996-05-21 | Lg Ind Syst Co Ltd | エレベータの待機乗客数の検出方法 |
| JPH1166319A (ja) * | 1997-08-21 | 1999-03-09 | Omron Corp | 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置 |
| JP2003503292A (ja) * | 1999-07-02 | 2003-01-28 | オーチス エレベータ カンパニー | 自動的なエレベータ呼びの行先階の登録及び処理 |
| JP2003329411A (ja) * | 2002-05-14 | 2003-11-19 | Matsushita Electric Ind Co Ltd | カメラ校正装置 |
| JP2004030408A (ja) * | 2002-06-27 | 2004-01-29 | Mitsubishi Research Institute Inc | 三次元画像表示装置及び表示方法 |
| JP2005126184A (ja) * | 2003-10-23 | 2005-05-19 | Mitsubishi Electric Corp | エレベーターの制御装置 |
| JP2007033205A (ja) * | 2005-07-26 | 2007-02-08 | Canon Inc | 複数物体の位置または位置姿勢計測装置および方法 |
| JP2007233523A (ja) * | 2006-02-28 | 2007-09-13 | Hitachi Ltd | 非同期カメラ映像を用いた人物位置推定方法及びそのシステム |
| JP2007264831A (ja) * | 2006-03-27 | 2007-10-11 | Sanyo Electric Co Ltd | 運転支援装置 |
-
2007
- 2007-12-18 JP JP2007325910A patent/JP2009143722A/ja active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61229788A (ja) * | 1985-04-05 | 1986-10-14 | 三菱電機株式会社 | エレベ−タの運転装置 |
| JPH08127476A (ja) * | 1994-10-10 | 1996-05-21 | Lg Ind Syst Co Ltd | エレベータの待機乗客数の検出方法 |
| JPH1166319A (ja) * | 1997-08-21 | 1999-03-09 | Omron Corp | 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置 |
| JP2003503292A (ja) * | 1999-07-02 | 2003-01-28 | オーチス エレベータ カンパニー | 自動的なエレベータ呼びの行先階の登録及び処理 |
| JP2003329411A (ja) * | 2002-05-14 | 2003-11-19 | Matsushita Electric Ind Co Ltd | カメラ校正装置 |
| JP2004030408A (ja) * | 2002-06-27 | 2004-01-29 | Mitsubishi Research Institute Inc | 三次元画像表示装置及び表示方法 |
| JP2005126184A (ja) * | 2003-10-23 | 2005-05-19 | Mitsubishi Electric Corp | エレベーターの制御装置 |
| JP2007033205A (ja) * | 2005-07-26 | 2007-02-08 | Canon Inc | 複数物体の位置または位置姿勢計測装置および方法 |
| JP2007233523A (ja) * | 2006-02-28 | 2007-09-13 | Hitachi Ltd | 非同期カメラ映像を用いた人物位置推定方法及びそのシステム |
| JP2007264831A (ja) * | 2006-03-27 | 2007-10-11 | Sanyo Electric Co Ltd | 運転支援装置 |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011069796A (ja) * | 2009-09-28 | 2011-04-07 | Saxa Inc | カメラキャリブレーション方法及び画像処理装置 |
| JP2011146762A (ja) * | 2010-01-12 | 2011-07-28 | Nippon Hoso Kyokai <Nhk> | 立体モデル生成装置 |
| JP2012212217A (ja) * | 2011-03-30 | 2012-11-01 | Secom Co Ltd | 画像監視装置 |
| JP2012212968A (ja) * | 2011-03-30 | 2012-11-01 | Secom Co Ltd | 画像監視装置 |
| JP2013079854A (ja) * | 2011-10-03 | 2013-05-02 | Topcon Corp | ３次元計測システム及び３次元計測方法 |
| JP2014144826A (ja) * | 2013-01-28 | 2014-08-14 | Hitachi Ltd | エレベータ監視装置及びエレベータ監視方法 |
| JP2016166066A (ja) * | 2015-03-10 | 2016-09-15 | 株式会社日立製作所 | エレベータシステム |
| CN106032232A (zh) * | 2015-03-11 | 2016-10-19 | 上海三菱电梯有限公司 | 电梯轿厢空间占有物的识别装置及识别方法 |
| EP3075695A1 (en) * | 2015-04-03 | 2016-10-05 | Otis Elevator Company | Auto commissioning system and method |
| US10479647B2 (en) | 2015-04-03 | 2019-11-19 | Otis Elevator Company | Depth sensor based sensing for special passenger conveyance loading conditions |
| EP3075693A1 (en) * | 2015-04-03 | 2016-10-05 | Otis Elevator Company | Traffic list generation for passenger conveyance |
| US11836995B2 (en) | 2015-04-03 | 2023-12-05 | Otis Elevator Company | Traffic list generation for passenger conveyance |
| US11232312B2 (en) | 2015-04-03 | 2022-01-25 | Otis Elevator Company | Traffic list generation for passenger conveyance |
| US10513416B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance door control |
| US10513415B2 (en) | 2015-04-03 | 2019-12-24 | Otis Elevator Company | Depth sensor based passenger sensing for passenger conveyance control |
| US10241486B2 (en) | 2015-04-03 | 2019-03-26 | Otis Elevator Company | System and method for passenger conveyance control and security via recognized user operations |
| JP2017016356A (ja) * | 2015-06-30 | 2017-01-19 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2017026533A (ja) * | 2015-07-27 | 2017-02-02 | 株式会社日立製作所 | 距離画像センサのパラメータ調整方法、パラメータ調整装置、およびエレベータシステム |
| JP2017054349A (ja) * | 2015-09-10 | 2017-03-16 | 株式会社東芝 | 改札監視システム |
| US10063843B2 (en) | 2015-09-15 | 2018-08-28 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for estimating three-dimensional position of object in image |
| WO2017086058A1 (ja) * | 2015-11-20 | 2017-05-26 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
| US10636153B2 (en) | 2016-11-22 | 2020-04-28 | Fujitsu Limited | Image processing system, image processing apparatus, and image processing method for object tracking |
| JP2018146363A (ja) * | 2017-03-03 | 2018-09-20 | 三菱航空機株式会社 | ３次元位置計測システム及び方法 |
| JP2020528999A (ja) * | 2017-07-27 | 2020-10-01 | ウエスチングハウス・エレクトリック・カンパニー・エルエルシー | 作業空間内の遠隔操作車両の位置を特定する方法およびかかる方法を用いた遠隔検査システム |
| JP7346308B2 (ja) | 2017-07-27 | 2023-09-19 | ウエスチングハウス・エレクトリック・カンパニー・エルエルシー | 作業空間内の遠隔操作ビークルの位置を特定する方法およびかかる方法を用いた遠隔検査システム |
| US10839532B2 (en) | 2017-11-13 | 2020-11-17 | Fujitsu Limited | Image processing method and information processing apparatus |
| WO2020026630A1 (ja) * | 2018-08-03 | 2020-02-06 | Ｌｉｎｎｅ株式会社 | 画像情報表示装置 |
| JP2020021429A (ja) * | 2018-08-03 | 2020-02-06 | Ｌｉｎｎｅ株式会社 | 画像情報表示装置 |
| JP2020026339A (ja) * | 2018-08-10 | 2020-02-20 | 株式会社豊田中央研究所 | 計測用カメラのキャリブレーション装置 |
| JP7100532B2 (ja) | 2018-08-10 | 2022-07-13 | 株式会社豊田中央研究所 | 計測用カメラのキャリブレーション装置 |
| JP2020068495A (ja) * | 2018-10-26 | 2020-04-30 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP7237520B2 (ja) | 2018-10-26 | 2023-03-13 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US11816861B2 (en) | 2018-11-30 | 2023-11-14 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
| US11361466B2 (en) | 2018-11-30 | 2022-06-14 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
| JP2020152545A (ja) * | 2019-03-20 | 2020-09-24 | 東芝エレベータ株式会社 | 画像処理装置 |
| CN111960206B (zh) * | 2019-05-20 | 2022-02-01 | 东芝电梯株式会社 | 图像处理装置及标记 |
| JP2020189713A (ja) * | 2019-05-20 | 2020-11-26 | 東芝エレベータ株式会社 | 画像処理装置およびマーカ |
| CN111960206A (zh) * | 2019-05-20 | 2020-11-20 | 东芝电梯株式会社 | 图像处理装置及标记 |
| CN113671513A (zh) * | 2020-05-14 | 2021-11-19 | 日立乐金光科技株式会社 | 测距***以及测距传感器的校准方法 |
| CN113671513B (zh) * | 2020-05-14 | 2024-02-23 | 日立乐金光科技株式会社 | 测距***以及测距传感器的校准方法 |
| CN112686173A (zh) * | 2020-12-31 | 2021-04-20 | 深圳云天励飞技术股份有限公司 | 一种客流计数方法、装置、电子设备及存储介质 |
| CN112686173B (zh) * | 2020-12-31 | 2024-05-03 | 深圳云天励飞技术股份有限公司 | 一种客流计数方法、装置、电子设备及存储介质 |
| JP7509320B2 (ja) | 2021-06-02 | 2024-07-02 | 三菱電機株式会社 | エレベーターのカメラの調整支援システム |
| CN113739331A (zh) * | 2021-07-07 | 2021-12-03 | 青净光能科技股份有限公司 | 室内主动防疫监控*** |
| WO2023062760A1 (ja) * | 2021-10-13 | 2023-04-20 | 富士通株式会社 | 領域検出プログラム、装置、及び方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009143722A (ja) | 人物追跡装置、人物追跡方法及び人物追跡プログラム | |
| JP2010063001A (ja) | 人物追跡装置および人物追跡プログラム | |
| US10417503B2 (en) | Image processing apparatus and image processing method | |
| JP6494253B2 (ja) | 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム | |
| US10572736B2 (en) | Image processing apparatus, image processing system, method for image processing, and computer program | |
| KR101647370B1 (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
| US7729512B2 (en) | Stereo image processing to detect moving objects | |
| US7965866B2 (en) | System and process for detecting, tracking and counting human objects of interest | |
| KR101030559B1 (ko) | 의심 행동 검지 시스템 및 방법 | |
| JP6555906B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US8995714B2 (en) | Information creation device for estimating object position and information creation method and program for estimating object position | |
| KR101634355B1 (ko) | 동작 검출 장치 및 방법 | |
| EP2824416A1 (en) | Distance calculation device and distance calculation method | |
| JP2009110152A (ja) | 混雑推定装置 | |
| KR101125233B1 (ko) | 융합기술기반 보안방법 및 융합기술기반 보안시스템 | |
| KR20170092662A (ko) | 이미지 처리 방법 | |
| CN111160220B (zh) | 一种基于深度学习的包裹检测方法、装置、存储介质 | |
| WO2019220589A1 (ja) | 映像解析装置、映像解析方法、及びプログラム | |
| Snidaro et al. | Automatic camera selection and fusion for outdoor surveillance under changing weather conditions | |
| JPWO2008035411A1 (ja) | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム | |
| JPH11257931A (ja) | 物体認識装置 | |
| KR101290517B1 (ko) | 촬영장치 및 이의 대상 추적방법 | |
| KR20120116699A (ko) | 클러스터링 기법을 이용한 이동물체 검출장치 및 방법 | |
| KR100844640B1 (ko) | 물체 인식 및 거리 계측 방법 | |
| KR20150091808A (ko) | 범죄 사건의 예측을 위한 영상 처리 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121211 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130125 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130409 |