JP3577895B2 - 広域監視装置及び広域監視システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビル、公共施設、店舗、駐車場、道路などの広域の監視エリアに存在する動物体を監視する広域監視装置および広域監視システムに関するものである。
【０００２】
【従来の技術】
従来、公共施設などの動物体を監視する装置としては、特開平６−３６０３１号公報、特開平７−４９９５２号公報、特開平８−２４１４８０号公報に開示されたものが知られている。
【０００３】
図９は、特開平６−３６０３１号公報に記載された従来の移動物体追跡システムの構成図である。図９において、移動物体検出装置４０１から４０３はそれぞれテレビカメラなどの画像撮像手段などにより撮像された映像から移動物体固有の大きさと形状及び色などの特徴量情報を計算し、更に移動物体の予測位置情報とから移動物体の特定を行い、もって移動物体の位置情報を検出する。追跡演算処理装置４０４から４０５は移動物体検出装置４０１から４０３で検出した移動物体の前時刻までの位置情報に基づき、該移動物体の予測位置情報を計算し、移動物体検出装置４０１から４０３に送信する。追跡管理装置４０６は、移動物体検出装置４０１から４０３で検出した移動物体をその位置情報に基づき画面表示するものである。
【０００４】
図１０は、特開平７−４９９５２号公報に記載された従来の移動物体監視装置の主要部分のブロック図である。ビデオカメラ４１０から４１２により撮像した映像はそれぞれ画像処理装置４１３から４１５に入力し、移動物体の特徴量を求め、インタフェース部４１８を介して統合プロセッサ４１６に入力する。統合プロセッサ４１６はＣＰＵ４１９を用いて前時刻の移動物体と現時刻の移動物体との間で対応付けを行い、メモリ４２０に作成済みの監視領域の平面図に移動物体の動きの状態をプロットし、表示装置４１７に表示するものである。
【０００５】
図１１は、特開平８−２４１４８０号公報に記載された従来の分散型監視装置の構成図である。動画像入力手段４３１及び４３７で撮像した動画像（映像）は、それぞれ動画像処理手段４３２及び４３８に入力し、動画像処理手段４３２及び４３８で動領域を抽出する。動画像処理手段４３２及び４３８で抽出した動領域は動物体検出手段４３３に入力し、動物体検出手段４３３では過去に検出した動物体の情報を動物体情報記憶手段４３４から読み出し、前記動領域と統合処理し、現時点での動物体を検出する。動物体検出結果は動物体検出評価手段４３５で評価し、動画像処理手段４３２及び４３８、動画像入力手段４３１及び４３７の調整に用いるものである。
【０００６】
【発明が解決しようとする課題】
従来の技術に記した各従来の監視装置は、映像のある１フレームにおける動物体もしくは動領域と過去に検出した動物体とをその特徴量や予測位置などで対応付けるものであるが、多数台のカメラを利用し、監視エリアに存在する動物体の数が多数になった場合には対応付け処理の数は急激に増え、実時間の処理が困難になるという課題があった。例えば、各カメラの監視エリアが重複していない場合でも動物体の数の二乗、監視エリアが重複している場合には重複している数をさらに掛けた対応付け処理回数が必要となる。
【０００７】
また、図９のシステムでは、複数の移動物体検出装置と複数の追跡演算処理装置とをそれぞれ別々のＣＰＵに割り当て処理の分散を図っているが、全ての移動物体検出装置と追跡演算処理装置が情報を交換するようになっているため、カメラの数が増えるにつれて通信量が急激に増加するとともに通信路の異常に対する頑健性に欠けるという課題があった。カメラの数につれて通信量が増加する点と頑健性の欠如に関しては、図１０及び図１１に示した監視装置でも同様である。
【０００８】
また、いずれの従来の監視装置でも移動物体の検出部とその統合部の２層構造となっているため、新たにカメラを追加する場合には既存の部分に与える影響が大きい。また、システムが均一で実際の監視対象の構造を反映したものではないため、カメラの台数が多くなるにつれてシステムの把握や修正が困難になるという課題があった。
【０００９】
本発明は上記従来の課題を解決するもので、第１に多数台のビデオカメラなどの映像入力装置を用いても処理時間と装置間の通信量が急激に増加しない広域監視装置を提供することを目的としている。
【００１０】
本発明は第２に、多数台の映像入力装置を階層的に管理し、システムの把握が容易でかつ修正に柔軟に対応できる広域監視装置を提供することを目的としている。
【００１１】
【課題を解決するための手段】
この課題を解決するために本発明は第１に、一つまたは複数の映像を取得しその映像から動物体を検出及び追跡するＮ台の動物体追跡装置と、前記Ｎ台の動物体追跡装置で検出した動物体を管理する動物体統合処理装置とからなり、前記動物体統合処理装置が、同一の動物体は検出した動物体追跡装置に関わらず同一の動物体であると同定する機能を有することを特徴とする構成により、動物体追跡装置で検出された動物体を統合することにより、一つまたは複数の映像から得られる動物体の情報を各動物体追跡装置内にとどめて処理の分散と通信量の削減を行い、もって多数台の映像入力装置を用いても処理時間と装置間の通信量が急激に増加しない広域監視装置を実現する。また、映像入力装置をＮ台の動物体追跡装置に分けて管理することにより、映像入力装置の追加等が影響を与える範囲を最小限にし、もって多数台の映像入力装置を階層的に管理し、システム全体の把握や修正に柔軟に対応できる広域監視装置を実現する。
【００１２】
本発明は第２にＬ台の映像入力装置と、前記Ｌ台の映像入力装置で取得した映像から第１の動物体及びその特徴量をそれぞれ計算するＬ台の画像処理装置と、前記Ｌ台の画像処理装置の出力である第１の動物体及びその特徴量と送信されてきた第２の動物体の情報とを対応付けるＬ台の対応付け装置と、前記Ｌ台の映像入力手段で撮像しているエリアを含む監視エリアに存在する動物体の情報を管理し必要に応じて第２の動物体の情報として出力する動物体管理装置と、前記動物体管理装置の出力である第２の動物体の情報からその第２の動物体を撮像している可能性のある前記映像入力装置に接続された前記対応付け装置を選択しそこに第２の動物体の情報を送信する動物体情報ルーティング装置とからなり、動物体管理装置が前記Ｌ台の対応付け装置からの対応付け結果と対応付けられた第１の動物体及びその特徴量とから第２の動物体の情報を更新することにより動物体の検出及び追跡を行うことを特徴とする構成により、撮像されている可能性のある映像入力装置に対応する対応付け装置にのみ第２の動物体の情報を送信することにより、通信量を削減するとともに無駄な対応付けを行わずかつ対応付け処理を分散し、もって多数台の映像入力装置を用いても処理時間と装置間の通信量が急激に増加しない広域監視装置を実現する。
【００１３】
本発明は第３に、複数の広域監視装置を階層的に組み合わせてより広域の監視エリアを持つ広域監視システムを実現することにより、多数台の映像入力装置を用いても処理時間と装置間の通信量が急激に増加しない広域監視システムを実現する。また、映像入力装置や広域監視装置の追加などによるシステム全体への影響を最小限にとどめ、もって多数台の映像入力装置及び広域監視装置を階層的に管理し、システム全体の把握や修正に柔軟に対応できる広域監視システムを実現する。
【００１７】
【発明の実施の形態】
本発明の請求項１に記載の発明は、Ｌ台の映像入力装置と、前記Ｌ台の映像入力装置で取得した映像から第１の動物体及びその特徴量をそれぞれ計算するＬ台の画像処理装置と、前記Ｌ台の画像処理装置の出力である第１の動物体及びその特徴量と送信されてきた第２の動物体の情報とを対応付けるＬ台の対応付け装置と、前記Ｌ台の映像入力手段で撮像しているエリアを含む監視エリアに存在する動物体の情報を管理し必要に応じて第２の動物体の情報として出力する動物体管理装置と、前記動物体管理装置の出力である第２の動物体の情報からその第２の動物体を撮像している可能性のある前記映像入力装置に接続された前記対応付け装置を選択しそこに第２の動物体の情報を送信する動物体情報ルーティング装置とからなり、動物体管理装置が前記Ｌ台の対応付け装置からの対応付け結果と対応付けられた第１の動物体及びその特徴量とから第２の動物体の情報を更新することにより動物体の検出及び追跡を行うことを特徴とする広域監視装置であり、撮像されている可能性のある映像入力装置に対応する対応付け装置にのみ第２の動物体の情報を送信することにより、通信量を削減するとともに、無駄な対応付けを行わずかつ対応付け処理を分散し、もって多数台の映像入力装置を用いても処理時間と装置間の通信量が急激に増加しないようにするという作用を有する。
【００１８】
本発明の請求項２に記載の発明は、一部もしくは全てが請求項１の広域監視装置である動物体追跡装置と、前記複数台の動物体追跡装置で検出した動物体を統合し同一の動物体を同定するとともに動物体を管理する動物体統合処理装置とを具備することを特徴とする広域監視システムであり、映像入力装置をいくつかのグループに分け、それぞれのグループにおいて広域監視装置により動物体の検出・追跡を行い、動物体統合処理装置によりグループ毎に検出された動物体のうち同一のものを同一と判断して全ての監視エリアの動物体を管理することにより、各映像入力装置の映像から得られる動物体の情報を広域監視装置内にとどめて処理の分散と通信量の削減を行い、もって多数台の映像入力装置を用いても処理時間と装置間の通信量が急激に増加しないようにするという作用を有する。また、広域監視システムを階層的に分けて管理することにより、映像入力装置の追加や広域監視装置の追加等が影響を与える範囲を最小限にし、もってシステムの把握や修正に柔軟に対応できるという作用を有する。
【００１９】
本発明の請求項３に記載の発明は、一部もしくは全てが請求項１または２に記載の広域監視装置である動物体追跡装置と、前記複数台の動物体追跡装置で検出した動物体を統合し同一の動物体を同定するとともに動物体を管理する動物体統合処理装置とを具備することを特徴とする広域監視システムであり、映像入力装置をいくつかのグループに分け、それぞれのグループにおいて広域監視装置により動物体の検出・追跡を行い、動物体統合処理装置によりグループ毎に検出された動物体のうち同一のものを同一と判断して全ての監視エリアの動物体を管理することにより、各映像入力装置の映像から得られる動物体の情報を広域監視装置内にとどめて処理の分散と通信量の削減を行い、もって多数台の映像入力装置を用いても処理時間と装置間の通信量が急激に増加しないようにするという作用を有する。また、広域監視システムを階層的に分けて管理することにより、映像入力装置の追加や広域監視装置の追加等が影響を与える範囲を最小限にし、もってシステムの把握や修正に柔軟に対応できるという作用を有する。
【００２０】
以下、本発明の実施の形態について図面を用いて説明する。
（実施の形態１）
図１は、本発明の実施の形態１による広域監視装置の構成図を示す。図１において、１、９、１０は映像を入力してその映像から動物体を検出及び追跡する動物体追跡装置である。動物体追跡装置１は、３台の映像入力装置２から４、そしてそれぞれ映像入力装置２から４に接続した画像処理装置５から７、そして画像処理装置５から７に接続した統合処理装置８から構成されている。なお、本実施の形態では、映像入力装置２から４は監視用カラーＴＶカメラにより実現し、統合処理装置８はパーソナルコンピュータで実現する。
【００２１】
動物体追跡装置９及び１０は動物体追跡装置１と同じ構成となっている。１１は動物体統合処理装置で、動物体追跡装置１、９、１０から検出した動物体に関する情報を取得し、同一の動物体は検出した動物体追跡装置に関わらず同一の動物体であると同定し、システム全体の動物体を管理する。本実施の形態では、この動物体統合処理装置１１はパーソナルコンピュータで実現し、動物体追跡装置１、９、１０と動物体統合処理装置１１との間の通信は３５のローカルエリアネットワーク（以下ネットワークと呼ぶ）を介して行う。
【００２２】
以下、画像処理装置５、統合処理装置８、動物体追跡装置１、動物体統合処理装置１１の動作を順に本実施の形態における広域監視装置の動作について説明する。なお、画像処理装置６及び７は画像処理装置５と、動物体追跡装置９及び１０は動物体追跡装置１と同様の動作を行うため、説明は省略する。
【００２３】
図２は、本実施の形態における画像処理装置５のブロック図である。以下、その画像フレーム毎の動作を説明する。映像入力装置２で撮像したカラー映像は、Ａ／Ｄ変換器２０に入力し、デジタル信号に変換して、フレーム画像として画像メモリ２１に記憶する。画像メモリ２１に記憶した内容は次のフレーム画像を入力する前に画像メモリ２２に複写する。つまり、画像メモリ２２には前のフレームのフレーム画像を記憶する。
【００２４】
次に差分計算部２３では、画像メモリ２１と画像メモリ２２の画像の各画素を比較し、あらかじめ定めた閾値を越える差分を生じた画素に１を、生じなかった画像に０を割り当てた差分二値画像を生成し、ラベリング部２４に入力する。
【００２５】
ラベリング部２４では、前記差分二値画像から連結成分毎に画素をラベリングしたラベリング画像を生成し、特徴量計算部２５に入力する。
【００２６】
特徴量計算部２５では、ラベリング画像のラベル毎に画像メモリ２１に格納されたフレーム画像から平均のＲＧＢ値を計算するとともに、各ラベル領域の中心にある画素から動物体の実空間での位置を計算し、通信Ｉ／Ｆ部２６を介して統合処理装置８に入力する。
【００２７】
以上のようにして本実施の形態における画像処理装置５では入力した映像から、動物体を抽出しその実空間位置と平均ＲＧＢ値を計算し、統合処理装置８に入力する。
【００２８】
図３は、本実施の形態における統合処理装置８のブロック図である。以下、その画像フレーム毎の動作を説明する。通信Ｉ／Ｆ部２６から入力した画像処理装置５から７で検出した動物体（以下、画像動物体と呼ぶ）の実空間位置と平均ＲＧＢ値は、対応付け決定部３２に入力する。
【００２９】
動物体情報予測部３１では、前フレームまで存在していた動物体（以下、管理動物体と呼ぶ）のリストを動物体情報管理部３０から読み出し、その動物体の現在推定位置と平均ＲＧＢ値を動物体の過去の位置から計算し、対応付け決定部３２に入力する。
【００３０】
対応付け決定部３２では管理動物体の現在推定位置と平均ＲＧＢ値と、画像動物体の実空間位置と平均ＲＧＢ値とを用いて、管理動物体と画像動物体とを画像処理装置毎に対応付ける。例えば、ある管理動物体の現在推定位置を（Ｘ、Ｙ）、平均ＲＧＢ値を（Ｒ、Ｇ、Ｂ）とし、ある画像動物体の実空間位置を（ｘ、ｙ）、平均ＲＧＢ値を（ｒ、ｇ、ｂ）とする時、
【００３１】
【数１】

【００３２】
によりまず類似度Ｓを計算する。ここでＳｍａｘ、ｗ１、ｗ２はあらかじめ設定する定数である。
【００３３】
対応付けは、管理動物体毎に最も類似度Ｓの大きい画像動物体を、各画像処理装置毎に最大一つずつ選択し、対応付けを決定する。なお、Ｓが負の場合には対応付けは行わず、ある画像処理装置においては画像動物体が対応しない場合もある。これは動物体が画像入力装置の撮像エリアの外に出た場合、動物体が静止した場合、管理動物体が誤って生成されたものである場合などに対応する。逆に、同じ画像動物体を複数の管理動物体に対応付けてもかまわないし、管理動物体に対応付けされない画像動物体が存在してもかまわない。前者の場合は動物体が画像入力装置から見て重なり合っている場合に相当し、後者は新たに動物体が発生した場合に相当する。
【００３４】
次に、対応付け決定部３２より、管理動物体とその管理動物体に対応付けされた画像動物体との実空間位置と平均ＲＧＢ値との組を動物体更新部３４に入力するとともに、管理動物体に対応付けされない画像動物体の実空間位置と平均ＲＧＢ値を動物体生成部３３に入力する。なお、一つも画像動物体が対応付けられなかった管理動物体に関する情報はどこにも入力しない。
【００３５】
動物体生成部３３では、管理動物体に対応付けされなかった画像動物体の実空間位置と平均ＲＧＢ値を持つ管理動物体を新たに生成し、動物体情報管理部３０に入力する。ただし、新たに生成する管理動物体は各フレームで一つに限定し、複数の画像動物体が入力された場合にはその他の画像動物体に関する情報は捨てる。これにより、画像入力装置２から４の重複する撮像エリアに新たに動物体が発生しても、複数の管理動物体が生成されることはない。複数の新たな動物体が同時に監視エリアに発生することは少なく、仮にその場合でも次のフレームで無視された動物体に対応する管理動物体は生成されるので、実用上の問題はない。
【００３６】
動物体更新部３４では、管理動物体とその管理動物体に対応付けされた画像動物体の実空間位置と平均ＲＧＢ値の組から現在の動物体の位置を計算して、動物体情報管理部３０に入力する。まず、対応付けられた画像動物体の位置、平均ＲＧＢ値を平均し、さらに、管理動物体の現在推定位置との重み付け平均を計算する。例えば、ある管理動物体に画像処理装置５から７毎に一つずつ画像動物体が対応付けられ、管理動物体の現在推定位置を（Ｘ、Ｙ）、平均ＲＧＢ値を（Ｒ、Ｇ、Ｂ）とし、対応付けられた画像動物体の実空間位置を（ｘｉ、ｙｉ）、平均ＲＧＢ値を（ｒｉ、ｇｉ、ｂｉ）（ｉは１から３でそれぞれ画像処理装置５から７に対応する）とすると、新しい管理動物体の位置Ｘｎｅｗは
【００３７】
【数２】

【００３８】
で計算する。ここでｗ１は０よりも大きく１よりも小さい定数である。同様に、Ｙｎｅｗ、Ｒｎｅｗ、Ｇｎｅｗ、Ｂｎｅｗも計算する。
【００３９】
動物体情報管理部３０は、動物体更新部３４より入力した管理動物体の新しい位置と平均ＲＧＢ値とを記憶する。この時、過去の複数フレームの管理動物体の位置を動物体の情報として管理しておき、動物体の予測位置を動物体情報予測部３１で計算できるようにする。また、管理動物体に画像動物体が一つも対応付けられなかった場合、つまり更新した管理動物体が動物体更新部３４より入力されなかった場合にはその管理動物体をリストから削除する。
【００４０】
また、動物体情報管理部３０は、新たに生成した動物体が動物体生成部３３から入力された場合には、その動物体を新たに動物体のリストに付け加える。
【００４１】
そして動物体管理部３０は、更新または新たに付け加えられた管理動物体のリストを通信ネットワーク３５を介して動物体統合処理装置１１に送信する。
【００４２】
以上のようにして、統合処理装置８は、画像処理装置５から７より入力した画像動物体の実空間位置と平均ＲＧＢ値から、管理動物体を更新、もしくは新たに生成する。
【００４３】
以上のようにして、動物体追跡装置１は、映像入力装置２から４で撮像される範囲に存在する動物体を検出・追跡し、各フレーム毎に現在の動物体の位置とその平均ＲＧＢ値を通信ネットワーク３５を介して動物体統合処理装置１１に送信する。
【００４４】
図４は本実施の形態における動物体統合処理装置１１のブロック図である。以下、その画像フレーム毎の動作を説明する。
【００４５】
動物体情報予測部４１では、各フレーム毎に動物体情報管理部４０より過去に存在した動物体（以下、広域管理動物体と呼ぶ）のリストを読み出し、広域管理動物体の現在の実空間位置を計算し、平均ＲＧＢ値とともに、対応付け決定部４２に入力する。
【００４６】
対応付け決定部４２では、通信ネットワーク３５を介して動物体追跡装置１、９、１０から送信された管理動物体と、動物体情報予測部４１で推定した広域管理動物体とを、動物体追跡装置毎に、実空間位置と平均ＲＧＢ値を用いて対応付ける。例えば、ある広域管理動物体の現在推定位置を（Ｘ、Ｙ）、平均ＲＧＢ値を（Ｒ、Ｇ、Ｂ）とし、ある管理動物体の実空間位置を（ｘ、ｙ）、平均ＲＧＢ値を（ｒ、ｇ、ｂ）とする時、（数１）により、まず類似度Ｓを計算する。ここでＳｍａｘ、ｗ１、ｗ２はあらかじめ設定する定数である。対応付けは、広域管理動物体毎に最も類似度の大きい管理動物体を各動物体追跡装置毎に最大一つずつ選択し、対応付けを決定する。この時、一度対応付けた管理動物体は二度は対応付けず、次に大きい類似度を持つ管理動物体を対応付ける。また、Ｓが負の場合には対応付けは行わず、ある動物体追跡装置では管理動物体が対応しない場合もある。また、広域管理動物体に対応付けされない管理動物体が存在してもよい。
【００４７】
そして対応付け決定部４２は、広域管理動物体と対応付けた管理動物体の実空間位置と平均ＲＧＢ値の組を動物体更新部４４に入力する。なお、一つも管理動物体が対応付けられなかった広域管理動物体も動物体更新部４４に入力する。また、広域管理動物体に対応付けられなかった管理動物体が存在した場合にはその管理動物体の実空間位置と平均ＲＧＢ値とを動物体生成部４３に入力する。
【００４８】
動物体更新部４４では、広域管理動物体とそれに対応付けられた一つまたは複数の管理動物体から現在の広域管理動物体の位置と平均ＲＧＢ値を計算し、動物体情報管理部４０に入力する。例えば、ある広域管理動物体に動物体追跡装置１、９、１０毎に一つずつ管理動物体が対応付けられ、広域管理動物体の現在推定位置を（Ｘ、Ｙ）、平均ＲＧＢ値を（Ｒ、Ｇ、Ｂ）とし、対応付けられた管理動物体の実空間位置を（ｘｉ、ｙｉ）、平均ＲＧＢ値を（ｒｉ、ｇｉ、ｂｉ）（ｉは１から３でそれぞれ動物体追跡装置１、９、１０に対応）とすると、新しい広域管理動物体の位置Ｘｎｅｗは、（数２）で計算する。ここで、ｗ１は０よりも大きく１よりも小さい定数である。同様に、Ｙｎｅｗ、Ｒｎｅｗ、Ｇｎｅｗ、Ｂｎｅｗも計算する。なお、一つの管理動物体にも対応付けられなかった広域管理動物体の実空間位置、平均ＲＧＢ値は動物体情報予測部４１で予測したそのままの値を用いる。
【００４９】
動物体生成部４３では、広域管理動物体に対応付けされなかった管理動物体の実空間位置と平均ＲＧＢ値を持つ広域管理動物体を新たに生成し、動物体情報管理部４０に入力する。まず、動物体追跡装置１に管理動物体が広域管理動物体に対応せずに残っている場合には、その管理動物体の位置と平均ＲＧＢ値を持つ広域管理動物体を新たに生成する。これを仮広域管理動物体と呼ぶ。次に、動物体追跡装置９に管理動物体が広域管理動物体に対応付けられずに残っている場合には、まず、その管理動物体と存在する仮広域管理動物体との間の類似度Ｓを（数１）に準じて計算し、類似度Ｓがあらかじめ設定した閾値を超えている場合には、その管理動物体と仮広域管理動物体との平均の実空間位置と平均ＲＧＢ値とを仮広域管理動物体に再設定する。類似度Ｓが閾値を越えていない場合には、その管理動物体から仮広域管理動物体を新たに生成する。
【００５０】
さらに、動物体追跡装置１０の管理動物体と仮広域管理動物体との対応付けを同様に調べ、対応付けられた場合には仮広域管理動物体の実空間位置と平均ＲＧＢ値を修正し、対応付けられない場合には仮広域管理動物体を新たに生成する。なお、動物体追跡装置１０の管理動物体に対応付けて修正する場合には、単に平均するのではなく、それまでに仮広域管理動物体に対応付けられた管理動物体の数に応じて重みを付けて平均する。そして、最終的に残った仮広域管理動物体を新たに生成した広域管理動物体として動物体情報管理部４０に入力する。
【００５１】
動物体情報管理部４０では、新たに生成した広域管理動物体を動物体生成部４３から受け取り、リストに加えるとともに、動物体変更部４４から入力した更新された広域管理動物体の情報で、既存の広域管理動物体を更新する。なお、広域管理動物体は過去の一定時間の動物体の位置やその他の特徴量を記憶し、動物体情報予測部４１で位置等の特徴量を予測できるようにする。
【００５２】
なお、動物体情報管理部４０で管理している動物体の情報は必要に応じて、表示装置や自動警告装置などの外部に出力する。
【００５３】
以上のようにして、動物体統合処理装置４１は、動物体追跡装置１、９、１０から入力した管理動物体を用いて、広域の監視エリアに存在する動物体を検出した動物体追跡装置に関わらず同一のものは同一のものと認識して、一元的に管理する。
【００５４】
以下、本実施の形態における広域監視装置の特徴について説明する。例えば、映像入力装置２から４は撮像エリアを共有しており、その撮像エリアに３つの動物体が存在し、また、その動物体を含め５つの動物体が広域管理動物体として検出されており、残りの２つの動物体はどの映像入力装置の撮像エリアにも入っていないとする。また、他の動物体追跡装置では全く動物体が検出されていないものとする。
【００５５】
この時、統合処理装置８の動物体情報管理部３０で管理している動物体の数は３つであるから、対応付けの類似度の計算は（画像動物体の数）＊（管理動物体の数）＊（カメラの数）の２７回であり、さらに、動物体統合処理装置１１では（管理動物体の数）＊（広域管理動物体の数）の１５回の類似度の計算が必要で、合計４２回の類似度の計算が必要となる。仮に、全ての画像動物体を広域管理動物体と対応付ける装置を考えると、（画像動物体の数）＊（広域管理動物体の数）＊（カメラの数）の４５回の類似度の計算を一つの計算機で行わなければならない。したがって、本発明によれば、類似度の計算の回数を減らせるだけではなく、類似度の計算を異なる計算機に分散するため、処理を軽減・分散し、もって高速に処理を行うことができる。
【００５６】
また、画像処理装置５から７から出力される９個の画像動物体の情報は、ネットワークに流れず、もって通信量を削減することもできる。さらに、仮に動物体追跡装置１とネットワークの間のインタフェースが故障しても、その他の動物体追跡装置９、１０は動作するため、一部の撮像エリアの監視は不能になるが、他の部分には影響がでない。
【００５７】
さらに、映像入力装置の追加や削除は該当する動物体追跡装置内にのみ影響を与えるため、映像入力装置の変更が容易である。例えば、動物体追跡装置１で新たに映像入力装置を追加したり、映像入力装置を取り除いても、統合処理装置８における処理を変更するだけでよく、動物体追跡装置９および１０、動物体統合処理装置１１の処理を変更する必要はない。
【００５８】
また、例えば３階建ての建物を監視する場合に、各動物体追跡装置を各階に対応させることにより、各映像入力装置を各階毎に階層的に管理し、把握しやすいシステムを構築することができる。
【００５９】
なお、本実施の形態では映像入力装置２から４にカラーＴＶカメラを用いたが、例えば赤外線カメラや、白黒のカメラを用いてもよいし、複数種類のカメラが混在してもよい。この場合にはカメラにより特徴量が異なり（数１）のような一律の類似度を用いることはできないが、例えば、管理動物体には全ての特徴量の属性を保持し、対応する特徴量が画像動物体及び管理動物体に設定されている場合にのみ各特徴量毎の類似度を計算し、その類似度に適当な重みを掛け加算するなどの処理を行い対応付けを行えばよい。
【００６０】
また、画像処理装置５では動物体の検出にフレーム間差分を用いているが、背景差分やオプティカルフロー等を利用して動物体を検出してもよい。
【００６１】
また、画像処理装置５では動物体の検出を動領域により行っているが、例えば人の頭、車のタイヤなど特徴的な部分を抽出したり、動物体を動領域で検出しそれからテンプレートを生成し、そのテンプレートとマッチングする領域を動物体として検出してもよい。
【００６２】
また、画像処理装置５で計算する動領域の特徴量としてＲＧＢ値を用いたが、その他の色の表示系や、領域の実空間での大きさや形状特徴、テクスチャなどの特徴量を用いてもよい。
【００６３】
また、画像処理装置５では各ラベル領域の中心画素から動物体の実空間での位置を計算しているが、その他の領域の特徴点を用いてもよいし、映像入力装置が撮像エリアを共有し、複数の映像入力装置で撮像した特徴点からステレオ計測により実空間位置を計算するなどの方法を用いてもよい。
【００６４】
また、統合処理装置８では、画像動物体と対応付けできなかった管理動物体を削除しているが、ある一定期間残しておき、静止した場合や一時的に検出できなかった場合に対応するようにしてもよい。
【００６５】
また、動物体生成部３３では１フレームに新たに生成する管理動物体は一つに限定していたが、動物体生成部４３で使用した処理のように、別々の画像処理装置から入力した複数の画像動物体がある場合にはそれらを対応付け、複数の管理動物体を同時に生成するようにしてもよい。
【００６６】
また、動物体追跡装置１では３台の映像入力装置を用いたが、１台以上の任意の台数でよく、また動物体追跡装置１、９、１０でそれぞれ異なる台数の映像入力装置を用いてもよい。
【００６７】
また、例えば映像入力装置２を動物体追跡装置９で用いるなど、同じ映像入力装置を異なる動物体追跡装置で共有してもよい。
【００６８】
また、映像入力装置２から４の撮像範囲は重複していても、重複していなくとも、それらが混在していてもよい。
【００６９】
（実施の形態２）
図５は、本発明の実施の形態２による広域監視装置の構成図である。図５において、１００から１０２は映像入力装置で、本実施の形態ではカラーＴＶカメラを用いる。１０３から１０５は、それぞれ映像入力装置１００から１０２により取得したカラー映像をフレーム画像毎に処理して第１の動物体とその特徴量を抽出する画像処理装置、１０６から１０８は、第２の動物体とそれぞれ画像処理装置１０３から１０５から入力した第１の動物体とをその特徴量を利用して対応付ける対応付け装置である。１０９は、映像入力装置１００から１０２の撮像エリアを含む監視エリアに存在する動物体を第２の動物体として管理する動物体管理装置、１１０は動物体管理装置１０９の出力である第２の動物体の情報からその第２の動物体を撮像している可能性のある映像入力装置を映像入力装置１００から１０２の中から選択し、選択した映像入力装置に接続した対応付け装置１０６から１０８に第２の動物体の情報を送信する動物体情報ルーティング装置である。
【００７０】
以下、画像処理装置１０３から１０５、対応付け装置１０６から１０８、動物体管理装置１０９の順に動作を説明した後に、本実施の形態における広域監視装置の動作を説明する。
【００７１】
画像処理装置１０３から１０５は、第１の実施の形態における画像処理装置５と同様の働きをするため、動作の説明は省略する。以降、第１の実施の形態と同様に第１の動物体を画像動物体と呼ぶ。
【００７２】
以下、図５を参照しながら本実施の形態における広域監視装置の動作を説明する。各映像入力装置１００から１０２から入力したカラー映像は画像処理装置１０３から１０５でフレーム毎に処理して、画像動物体を抽出し、各画像動物体の実空間位置と平均ＲＧＢ値を計算し、対応付け装置１０６から１０８にそれぞれ入力する。また、動物体管理装置では、現在管理している管理動物体の現在の時刻における実空間位置と平均ＲＧＢ値を計算して、動物体情報ルーティング装置１１０に入力する。そして動物体情報ルーティング装置１１０では、各管理動物体の予測実空間位置を含む撮像エリアを持つ映像入力装置を映像入力装置１００から１０２の中から選択し、選択した映像入力装置に対応する対応付け装置にのみ、管理動物体の情報を送信する。
【００７３】
対応付け装置１０６から１０８では、各画像処理装置１０３から１０５から入力した画像動物体と、動物体情報ルーティング装置１１０から送信されてきた管理動物体とを、その実空間位置と平均ＲＧＢ値を用いて対応付け、対応付けの結果と画像動物体の情報とを動物体管理装置１０９に送信する。そして動物体管理装置１０９では、対応付けられた画像動物体により管理動物体の現在位置と平均ＲＧＢ値を計算して管理動物体を更新するとともに、管理動物体に対応付けられなかった画像動物体から新たに管理動物体を生成するものである。
【００７４】
図６は本実施の形態における対応付け装置１０６のブロック図である。なお、対応付け装置１０７及び１０８は対応付け装置１０６と同様の動作を行うので説明は省略する。
【００７５】
図６において通信Ｉ／Ｆ部２６を介し、画像処理装置１０３から画像動物体の実空間位置と平均ＲＧＢ値を類似度計算部１２１に入力する。また、通信ネットワーク１２０からは第２の動物体（以降管理動物体と呼ぶ）の現フレームにおける予測実空間位置と平均ＲＧＢ値を類似度計算部１２１に入力する。
【００７６】
類似度計算部１２１では、各管理動物体と各画像動物体との間の類似度Ｓを計算する。類似度Ｓの計算は第１の実施の形態の画像動物体と管理動物体の類似度と同様に（数１）により計算する。そして計算した類似度と管理動物体、画像動物体の情報を対応付け決定部１２２に入力する。
【００７７】
対応付け決定部１２２では、各管理動物体毎に類似度Ｓが最大の画像動物体を最大一つ選択して対応付け、対応付けの結果と画像動物体の情報とを通信ネットワーク１２０を介して動物体管理装置１０９に送信する。この時、類似度Ｓが負の管理動物体と画像動物体は対応付けず、また、一つの画像動物体を複数の管理動物体に対応付けてもよい。
【００７８】
以上のようにして、本実施の形態における対応付け装置１０６は各管理動物体に最大１つの画像動物体をその特徴量により対応付け、その対応付け結果と画像動物体の情報を動物体管理装置１０９に入力する。
【００７９】
図７は本実施の形態における動物体管理装置１０９のブロック図である。対応付け装置１０６から１０８から入力した対応付け結果と管理動物体に対応付けられた画像動物体の情報は、通信ネットワーク１２０を介して動物体更新部１３１に入力する。また、管理動物体の予測実空間位置と平均ＲＧＢ値を動物体情報予測部１３０から動物体更新部１３１に入力する。また、管理動物体と対応付けできなかった画像動物体は動物体生成部１３２に入力する。
【００８０】
動物体更新部１３１では、各管理動物体に対応付けられた画像動物体の実空間位置及び平均ＲＧＢ値の平均を計算し、その平均値を用いて管理動物体の実空間位置と平均ＲＧＢ値の現在値を計算する。例えば、ある管理動物体の予測現在位置を（Ｘ、Ｙ）、平均ＲＧＢ値を（Ｒ、Ｇ、Ｂ）とし、その管理動物体には対応付け装置１０６と１０７から一つずつ画像動物体が対応付けられ、対応付け装置１０８では対応する画像動物体が無く、そして、対応付けられた画像動物体の実空間位置及び平均ＲＧＢ値をそれぞれ（ｘｉ、ｙｉ）、（ｒｉ、ｇｉ、ｂｉ）（ｉは１および２。それぞれ、対応付け装置１０６、１０７に対応する）とする時、管理動物体の実空間位置の現在値Ｘｎｅｗは、
【００８１】
【数３】

【００８２】
により計算する。ここでｗ１は、あらかじめ定めた定数である。同様に、Ｙｎｅｗ、Ｒｎｅｗ、Ｇｎｅｗ、Ｂｎｅｗを計算する。なお、一つも画像動物体が対応付けされなかった管理動物体の現在の実空間位置、平均ＲＧＢ値は、予測した実空間位置と平均ＲＧＢ値をそのまま用いる。動物体更新部１３１は以上のようにして管理動物体の現在の実空間位置と平均ＲＧＢ値を計算して動物体情報管理部１３３に入力する。
【００８３】
動物体生成部１３２では、管理動物体と対応付けされなかった画像動物体から新たに管理動物体を生成して動物体情報管理部１３３に入力する。まず、対応付け装置１０６に画像動物体が管理動物体に対応せずに残っている場合には、その画像動物体の位置と平均ＲＧＢ値を持つ管理動物体を新たに生成する。これを仮管理動物体と呼ぶ。次に、対応付け装置１０７に画像動物体が管理動物体に対応付けられずに残っている場合には、まず、その画像動物体と存在する仮管理動物体との間の類似度Ｓを（数１）に準じて計算し、類似度Ｓがあらかじめ設定した閾値を超えている場合には、その画像動物体と仮管理動物体との平均の実空間位置と平均ＲＧＢ値とを仮管理動物体に設定する。類似度Ｓが閾値を越えていない場合には、その画像動物体から仮管理動物体を新たに生成する。さらに、対応付け装置１０８の画像動物体と仮管理動物体との対応付けを同様に調べ、対応付けられた場合には仮管理動物体の実空間位置と平均ＲＧＢ値を修正し、対応付けられない場合には仮管理動物体を新たに生成する。なお、対応付け装置１０８の画像動物体と対応付けて修正する場合には、単に平均するのではなく、それまでに仮管理動物体に対応付けられた画像動物体の数に応じて重みを付けて平均する。そして、最終的に残った仮管理動物体を新たに生成した管理動物体として動物体情報管理部１３３に入力する。
【００８４】
動物体情報管理部１３３では、新たに生成した管理動物体を動物体生成部１３２から受け取り、リストに加えるとともに、動物体更新部１３１から入力した更新した管理動物体の情報で、既存の管理動物体を更新する。なお、管理動物体は過去の一定時間の動物体の位置を記憶し、動物体情報予測部１３０で位置を予測できるようにする。
【００８５】
なお、動物体情報管理部１３３で管理している動物体の情報は必要に応じて表示装置や自動警告装置などの外部に出力する。
【００８６】
動物体情報予測部１３０では、動物体情報管理部１３３から現在の管理動物体のリストを読み出し、それから次のフレームにおける動物体の実空間位置を予測し、平均ＲＧＢ値とともに動物体情報ルーティング装置１１０と動物体更新部１３１に入力する。
【００８７】
以上のようにして、動物体管理装置１０９は、対応付け装置１０６から１０８から入力した管理動物体と画像動物体との対応付け情報と画像動物体の情報を用いて、広域の監視エリアに存在する動物体を検出した対応付け装置に関わらず同一のものは同一のものと認識して、一元的に管理することができる。
【００８８】
以上、本実施の形態による広域監視装置では、管理動物体と画像動物体の対応付けの計算を対応付け装置１０６から１０８に分散し、動物体管理装置１０９では管理動物体の更新と新たな生成、及び管理動物体の現在位置の予測のみを行うため、処理の負荷が分散される。さらに、動物体情報ルーティング装置により管理動物体の予測現在位置に対応する対応付け装置にのみ管理動物体の情報を送信して対応付けを行うため、無駄な対応付け処理が行われないため処理の負荷が軽減されるとともに、通信量も削減される。
【００８９】
（実施の形態３）
図８は、本発明の実施の形態３による広域監視システムの構成図である。図８において、１４０から１４２は中域監視装置、１４４は中域監視装置１４０から１４２で検出した第１の動物体を統合し、同一の動物体は同一の動物体として第２の動物体として管理する動物体統合処理装置である。１４３は、中域監視装置１４０から１４２と動物体統合処理装置１４４の間の通信を仲介するローカルエリアネットワーク（ＬＡＮ）である。１４５は広域監視装置１４０から１４２と動物体統合処理装置１４４とからなる広域監視装置である。また、１４６及び１４７は広域監視装置１４５と同様の構成の広域監視装置である。１４９は広域監視装置１４５から１４７で検出した第２の動物体を統合し、同一の動物体は同一の動物体として第３の動物体として管理する動物体統合管理装置である。１４８は、広域監視装置１４５から１４７と動物体統合管理装置１４９の間の通信を仲介するワイドエリアネットワーク（ＷＡＮ）である。
【００９０】
以下、本実施の形態における広域監視システムの動作を説明する。中域監視装置１４０から１４２は、実施の形態２の広域監視装置と同様に動作し、多数台の映像入力装置から入力された映像から第１の動物体を抽出し、その第１の動物体の各フレーム時刻における実空間位置と平均ＲＧＢ値をＬＡＮ１４３を介して出力する。そして動物体統合処理装置１４４は、上記第１の動物体の実空間位置と平均ＲＧＢ値をＬＡＮ１４３を介して受け取り、実施の形態１の動物体統合処理装置１１と同様な処理で、中域監視装置１４０から１４２の監視エリアを含むより広域の監視エリアに存在する動物体を、同一の動物体は同一の動物体として同定し第２の動物体として管理する。さらに、動物体統合処理装置１４４は、第２の動物体の各フレーム時刻における実空間位置と平均ＲＧＢ値をＷＡＮ１４８を介して出力する。
【００９１】
次に、動物体統合管理装置１４９は、広域監視装置１４５から１４７からＷＡＮ１４８を介して第２の動物体の実空間位置と平均ＲＧＢ値を受け取り、実施の形態１の動物体統合処理装置１１と同様な処理で、広域監視装置１４５から１４７の監視エリアを含むさらに広域の監視エリアに存在する動物体を、同一の動物体は同一の動物体として同定し第３の動物体として管理する。
【００９２】
以上のようにして本実施の形態における広域監視システムでは、各監視エリアにおける情報を各広域監視装置の内部にとどめて処理の分散と通信量の削減を行い、もって多数台の映像入力装置を用いても処理時間と装置間の通信量が急激に増加しないようにしている。また、広域監視装置を階層的に分けて管理することにより、映像入力装置の追加や広域監視装置の追加等が影響を与える範囲を最小限にし、もってシステムの把握や修正に柔軟に対応できるようにしている。
【００９３】
なお、本実施の形態では、中域監視装置１４０から１４２に第２の実施の形態における広域監視装置を用いているが、第１の実施の形態の広域監視装置を用いてもよいし、その他の形態の広域監視装置を混在して用いてもよい。
【００９４】
また、本実施の形態では、広域監視システムを３層に分けて管理しているが、４層以上の構成としてもよい。
【００９５】
また、本実施の形態では、広域監視装置１４６、１４７を広域監視装置１４５と同様の構成としているが、例えば広域監視装置１４６は第１の実施の形態の広域監視装置にし、広域監視装置１４７は第２の実施の形態の広域監視装置にするという構成としてもよい。
【００９６】
【発明の効果】
以上のように本発明によれば第１に、多数台のビデオカメラなどの映像入力装置を用いても処理時間と装置間の通信量が急激に増加しないという有利な効果が得られる。
【００９７】
第２に、多数台の映像入力装置を階層的に管理し、システムの把握が容易でかつ修正に柔軟に対応できるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における広域監視装置の構成図
【図２】本発明の実施の形態１における広域監視装置の画像処理装置のブロック図
【図３】本発明の実施の形態１における広域監視装置の統合処理装置のブロック図
【図４】本発明の実施の形態１における広域監視装置の動物体統合処理装置のブロック図
【図５】本発明の実施の形態２における広域監視装置の構成図
【図６】本発明の実施の形態２における広域監視装置の対応付け装置のブロック図
【図７】本発明の実施の形態２における広域監視装置の動物体管理装置のブロック図
【図８】本発明の実施の形態３における広域監視システムの構成図
【図９】従来の移動物体追跡システムの構成図
【図１０】従来の移動物体物体監視装置の主要部分のブロック図
【図１１】従来の分散型監視装置の構成図
【符号の説明】
１ 動物体追跡装置
２、３、４ 映像入力装置
５、６、７ 画像処理装置
８ 統合処理装置
９ 動物体追跡装置
１０ 動物体追跡装置
１１ 動物体統合処理装置
２０ Ａ／Ｄ変換器
２１、２２ 画像メモリ
２３ 差分計算部
２４ ラベリング部
２５ 特徴量計算部
２６ 通信Ｉ／Ｆ
３０、４０ 動物体情報管理部
３１、４１ 動物体情報予測部
３２、４２ 対応付け決定部
３３、４３ 動物体生成部
３４、４４ 動物体更新部
３５ 通信ネットワーク
１００、１０１、１０２ 映像入力装置
１０３、１０４、１０５ 画像処理装置
１０６、１０７、１０８ 対応付け装置
１０９ 動物体管理装置
１１０ 動物体情報ルーティング装置
１２０ 通信ネットワーク
１２１ 類似度計算部
１２２ 対応付け決定部
１３０ 動物体情報予測部
１３１ 動物体更新部
１３２ 動物体生成部
１３３ 動物体情報管理部
１４０、１４１、１４２ 中域監視装置
１４３ ローカルエリアネットワーク
１４４ 動物体統合処理装置
１４５、１４６、１４７ 広域監視装置
１４８ ワイドエリアネットワーク
１４９ 動物体統合管理装置

Claims (3)

1. Ｌ台の映像入力装置と、前記Ｌ台の映像入力装置で取得した映像から第１の動物体及びその特徴量をそれぞれ計算するＬ台の画像処理装置と、前記Ｌ台の画像処理装置の出力である第１の動物体及びその特徴量と送信されてきた第２の動物体の情報とを対応付けるＬ台の対応付け装置と、前記Ｌ台の映像入力手段で撮像しているエリアを含む監視エリアに存在する動物体の情報を管理し必要に応じて第２の動物体の情報として出力する動物体管理装置と、前記動物体管理装置の出力である第２の動物体の情報からその第２の動物体を撮像している可能性のある前記映像入力装置に接続された前記対応付け装置を選択しそこに第２の動物体の情報を送信する動物体情報ルーティング装置とからなり、動物体管理装置が前記Ｌ台の対応付け装置からの対応付け結果と対応付けられた第１の動物体及びその特徴量とから第２の動物体の情報を更新することにより動物体の検出及び追跡を行うことを特徴とする広域監視装置。
2. 一部もしくは全てが請求項１の広域監視装置である動物体追跡装置と、前記複数台の動物体追跡装置で検出した動物体を統合し同一の動物体を同定するとともに動物体を管理する動物体統合処理装置とを具備することを特徴とする広域監視システム。
3. 一部もしくは全てが請求項１または２に記載の広域監視装置である動物体追跡装置と、前記複数台の動物体追跡装置で検出した動物体を統合し同一の動物体を同定するとともに動物体を管理する動物体統合処理装置とを具備することを特徴とする広域監視システム。

Images