JP4706535B2 - 複数カメラを用いた移動物体監視装置 - Google Patents

Description

本発明は、監視領域に設置された複数のカメラを用いて人間や自動車などの移動物体を監視する装置に関する。

犯罪発生率の増加など社会不安に対処するために、不審者や不審車両を監視することを目的としたカメラの設置台数が増加している。このように多数のカメラを用いた監視では、監視領域を限られた監視員リソースで効率的に監視するための監視支援技術が必要になる。

このような監視支援技術として、特許文献１に示されている「移動物体追跡装置」がある。ここでは、不審者等の追跡対象となる移動物体を追跡し、できるだけ追跡対象が画面に表示されるように、画像切替を自動的に行う技術が開示されている。この技術により、不審者発見後、監視員は多数の監視映像を注視することなく、容易に不審者を追跡監視できるようになる。

また、特許文献２に示されている「広域監視装置」では、監視領域のマップ上に移動物体の軌跡を表示し、監視映像と連携させて表示する技術が開示されている。これにより、移動物体の過去の位置と現在の位置を容易に把握できるようになる。

特開平６−３２５１８０号公報 特開２００５−８６６２６号公報

上記従来技術では、監視員または装置が追跡指示を出してから追跡を開始するので、監視員は追跡開始前の状況を把握できない。

また、上記従来技術では、監視領域のマップ上に移動物体の軌跡を表示するものであり、幾何学的な位置の履歴を確認することはできるが、監視対象の挙動などの過去の状況を知ることができない。

本発明は、上記の点を考慮してなされたものであり、監視対象の状況を容易に把握できる移動物体監視装置を提供する。

本発明による移動物体監視装置においては、複数のカメラで撮影した映像から算出される移動物体の特徴量から移動物体を追跡した結果を用いて、移動物体が映っているカメラ映像を選択すると共に移動物体の移動軌跡を生成し、選択されたカメラ映像と生成された移動軌跡とから監視画面を生成する。

本発明によれば、軌跡情報に加えて選択されたカメラ映像を表示することにより、追跡対象の状況を容易に把握できる。

実施例１
図１は、本発明の一実施例である移動物体監視装置の機能構成を示すブロック図である。

カメラ１００は、ネットワークカメラやビデオカメラなどの撮影装置である。監視領域全体を撮影できるように複数のカメラを設置する。カメラの設置密度は疎であっても密であっても構わない。

映像取得部１０２はカメラ１００で撮影した映像を取得する。カメラ１００がネットワークカメラの場合は、ネットワーク経由ですでにデジタル化された画像データを一定の時間間隔で取得する。ビデオカメラの場合にはカメラより出力されるアナログ信号を取得した後で、デジタル化する。

映像ＤＢ１０４は、映像取得部１０２で取得した画像データを蓄積するデータベース
（ＤＢ）である。画像データのフォーマットとしては、ＪＰＥＧ（Joint Photographic
Experts Group），ＰＮＧ（Portable Network Graphics）等一般的に利用されるものを利用すればよい。また、連続した静止画を動画データとして格納しても構わない。この場合、ＭＰＥＧ（Moving Picture Experts Group）などのフォーマットを利用すればよい。

特徴量算出部１０６は、映像ＤＢ１０４に格納された画像データに映っている移動物体の特徴量を算出する。特徴量は、移動物体固有の特徴を現すベクトル量であり、色やテクスチャの特徴，形状の特徴，動きの特徴など様々なものが有る。例えば、移動物体の色の特徴として、下半身と上半身の最頻輝度値を用いることができる。この場合、特徴量は二次元のベクトルとなる。

特徴量ＤＢ１０８は、特徴量算出部１０６で算出した移動物体の特徴量と関連情報を蓄積するデータベース（ＤＢ）である。

移動物体追跡部１１０は、特徴量ＤＢ１０８に格納された移動物体の特徴量を用いて、移動物体がカメラ間をどのように移動したのか追跡する。ここで、追跡対象は人物だけに限定するものではなく、移動物体であればどのようなものでも構わない。

映像選択部１１２は、移動物体追跡部１１０の追跡結果を用いて、映像ＤＢ１０４の中から移動物体が映っているカメラ映像を選択する。

軌跡生成部１１４は、移動物体追跡部１１０の追跡結果を用いて、移動物体の移動軌跡を生成する。移動軌跡とは移動物体の過去の移動履歴を表す線分である。

サムネイル生成部１１６は、軌跡生成部１１４が生成する軌跡を、本監視装置の利用者にとって分かりやすいものにするためにサムネイルを生成する。サムネイルとは、カメラ１００で撮影した映像を縮小した画像データである。過去の代表的な映像をサムネイルとして軌跡上に重ねて表示することで、移動軌跡を見るだけで過去の映像履歴を一覧することが可能になる。

監視画面生成部１１８は、映像ＤＢ１０４に蓄積された映像データと映像選択部１１２が選択した移動物体が映っている映像データと軌跡生成部１１４が生成した軌跡データから、本監視装置の利用者に提供する監視画面を生成する。

入力手段１２０は、マウス，キーボード等の入力装置であり、“追跡開始”，“追跡終了”等の本監視装置の利用者の操作を受け付ける。

出力手段１２２は、ディスプレイなどの出力装置であり、監視画面生成部１１８が生成する監視画面を利用者に対して表示する。

次に、図２および図３で、監視画面生成部１１８が生成し出力手段１２２に表示する監視画面の表示例を説明する。監視画面は、複数映像監視画面と追跡画面で構成される。以下順に説明する。

まず、図２で複数の映像を閲覧するための複数映像監視画面の例を説明する。

画面左部のマップ２００は、監視領域全体の概略を示すマップである。この例では、３階建てのビルが監視対象であることを表している。

アイコン２０２は、マップ２００上でのカメラの幾何学的な配置を示すものである。この例では、６台のカメラが監視領域内に配置されている。

映像監視領域２０４は、カメラ１００で撮影した映像を表示する領域である。この例では、監視映像２０６等、４台のカメラの映像を表示している。５台以上のカメラの映像を表示する場合には、映像監視領域２０４の分割数を大きくするか、または映像監視領域
２０４の一部を表示するようにしてスクロールバーで表示領域を変更できるようにすればよい。逆に、３台以下のカメラの映像を表示する場合には、映像監視領域２０４の分割数を小さくすればよい。

この複数映像監視画面によって、本装置の利用者は、カメラ１００で撮影した複数の映像を同時に閲覧することができる。画面上で不審人物を確認した場合には、映像監視領域２０４の監視映像をマウスでクリックすることで追跡開始を指示できる。追跡終了ボタン２０８をマウスでクリックすることで、現在実行中の追跡を停止できる。

なお、アイコン２０２と映像監視領域２０４内の映像との対応関係が明確になるように、例えば、両者をリンク２１０のようにアイコン２０２と監視映像２０６を線分で結んでもよい。また、映像監視領域２０４内の映像上に、アイコン２０２に対応するカメラの名称を表示してもよい。

次に、図３で特定の移動物体を監視するための追跡画面の例を説明する。

画面全体の構成は図２の複数映像監視画面と基本的に同じである。異なるのは、マップ２００上に、移動物体の軌跡３００を表示する点、および、追跡対象を追跡しているカメラの映像だけを監視領域２０４に表示する点である。

移動物体の軌跡３００は、サムネイル３０２と矢印３０６で構成される。サムネイル
３０２とは、カメラで撮影した映像を縮小した画像データである。追跡対象がアイコン
３０４に対応するカメラで撮影された画像データを過去の履歴として利用する。一方、矢印３０６は、サムネイル３０２からサムネイル３０８に移動したことを表す。軌跡の始点のサムネイル３０２は、このサムネイルに対応するカメラで追跡が始まったことを示し、軌跡の終点のサムネイル３１０は、このサムネイルに対応するカメラで現在移動物体を追跡中であることを示している。ここで、このように現在移動物体を追跡しているカメラを、カレントカメラと呼ぶことにする。

監視領域２０４上には、カレントカメラで撮影した監視映像２０６を表示する。この際、カレントカメラに対応するアイコン２０２を、ハイライト表示することで、監視映像
２０６を撮影したカメラを容易に把握できる。また、サムネイル３０２をマウスでクリックすると、サムネイルに対応する監視映像を監視領域２０４に表示するようにしてもよい。

このように、過去の代表的な映像をサムネイルとして軌跡上に重ねて表示することで、移動軌跡を見るだけで移動物体の過去の状況を容易に把握できる。

図３では追跡数が一つの場合の追跡画面の例を示したが、追跡数は複数であっても構わない。図１８には、追跡数が二つの場合の追跡画面の例を示す。この画面には、移動軌跡３００と移動軌跡１８００を表示している。移動軌跡３００については、図３に示したものと同じである。移動軌跡１８００は、移動軌跡３００と同じようにサムネイルと矢印で構成されている。また、移動軌跡１８００のカレントカメラに対応する監視映像１８０２を監視領域２０４の下部表示している。移動軌跡を表示する際には、移動軌跡が重なり合って見えなくなるのを防ぐために、移動軌跡３００に対して右方向と下方向にオフセットをかけて移動軌跡１８００を表示している。

次に、図４で移動物体追跡の基本原理を説明する。左側はカメラで撮影した監視映像であり、右側はその監視映像に対して特徴量算出部１０６で算出した特徴量をグラフ化したものである。また、特徴量をグラフ化する際には、特定の監視映像に対する特徴量だけではなく、その直前の監視映像数枚に対する特徴量も同時に表示してある。そのため、追跡対象一人に対して特徴量がプロットされている。これは、特徴量の算出誤差を考慮し、追跡精度を高めるためである。なお、監視映像の取得時刻は、上から下方向に、それぞれ
ｔ１，ｔ２，ｔ３（ｔ１＜ｔ２＜ｔ３）とする。

まず、時刻ｔ１の監視映像４００には、移動物体として人物４０２と人物４０４が存在しており、それぞれ、特徴量空間４０６では特徴量４０８と特徴量４１０に対応している。

次に、時刻ｔ２における監視映像４１２には、移動物体として人物４１４と人物４１６が存在しており、それぞれ、特徴量空間４１８では特徴量４２０と特徴量４２２に対応している。ここで、特徴量空間４０６の特徴量４０８と特徴量空間４１８の特徴量４２０が同じ場所に位置しているので、人物４０２は人物４１４と同じ可能性が高く、監視映像
４００から監視映像４１２に移動したと判定することができる。

ここで、特徴量４０８と特徴量４２０の同値判定には、それぞれの重心間のユークリッド距離を用る。この距離が、あらかじめ定めた所定の閾値よりも小さい場合には両者が十分近く同じであると判定する。ユークリッド距離以外にも、集団の分散を考慮したマハラノビス距離を用いても構わない。また、ウイルクスのΛ統計を用いて両集団に差があるのか否かを検定しても良い。マハラノビス距離およびウイルクスのΛ統計は多変量解析でよく利用される方法であり、例えば、刊行物「すぐわかる多変量解析」（石村貞夫著，東京図書，１９９２）に記載されている。

次に、時刻ｔ３における監視映像４２４には、移動物体として人物４２６が存在しており、特徴量空間４２８では特徴量４３０に対応している。ここで、特徴量空間４０６の特徴量４１０と特徴量空間４２８の特徴量４３０が同じ場所に位置しているので、人物404は人物４２６と同じ可能性が高く、監視映像４００から監視映像４２４に移動したと判定することができる。

このように、特徴量空間で同じような値を持つ特徴量を検索することで、特定の移動物体がカメラ間をどのように移動したのか追跡することが可能になる。

次に、図５を用いて、本実施例の監視装置における監視方法の処理の流れを説明する。

ステップ５００では、ステップ５０２からステップ５１８までの処理を、あらかじめ定めた所定の頻度で繰り返す。

ステップ５０２では、映像取得部１０２でカメラによって撮影した監視映像を取得する。

ステップ５０４では、特徴量算出部１０６によってステップ５０２で取得した映像中の移動物体の特徴量を算出する。

ステップ５０６では、監視画面生成部１１８によって本監視装置の利用者の操作を処理する。ここで、利用者の操作は入力手段１２０を用いて入力される。

ステップ５０８では、現在実行中の追跡について、ステップ５１０からステップ５１６の処理を繰り返す。

ステップ５１０では、処理対象の時刻ｔを現時刻に設定する。これにより、ステップ
５１２での追跡処理は現時刻を基準に実施される。

ステップ５１２では、ステップ５１０で設定した時刻ｔを基準にして、移動物体追跡部１１０によって人物追跡を実行する。

ステップ５１４では、ステップ５１２での人物追跡の結果、カメラ間の渡りが発生したかどうか判定し、発生した場合には、ステップ５１６を実行する。ここで、カメラ間の渡りとは、追跡対象が当初映っていたカメラから消えて、他のカメラに現れることである。

ステップ５１６では、軌跡生成部１１４によって人物の移動軌跡を生成する。

ステップ５１８では、監視画面生成部１１８によって監視画面を生成し出力手段１２２に表示する。

次に、図６のフローチャートを使って、図５のステップ５０６の入力処理の詳細を説明する。

ステップ６００では、入力手段１２０からの本監視装置の利用者の操作を受け付ける。

ステップ６０２では、ステップ６００での入力結果を判定する。“追跡開始”が指定された場合には、ステップ６０４からステップ６０８を実行する。“追跡開始”は、例えば、図２の複数映像監視画面の監視映像２０６をマウスでクリックすることで指定される。一方、“追跡終了”が指定された場合には、ステップ６１０を実行する。“追跡終了”は、例えば、図２の複数映像監視画面の追跡終了ボタン２０８をマウスでクリックすることで指定される。

ステップ６０４では、ステップ６００で指定されたカメラに映っている人物に対応する特徴量を、追跡対象の特徴量として特徴量ＤＢに記憶する。

ステップ６０６では、ステップ６００で指定されたカメラをカレントカメラとする。カレントカメラとは、前述のように人物追跡時に移動物体を現時点で追跡しているカメラのことである。

ステップ６０８では、図５のステップ５０８の処理対象に加えるために、ステップ604とステップ６０６で得た情報を基にして追跡を新規登録する。

ステップ６１０では、現在実行中の全ての追跡を停止する。この結果、図５のステップ５０８で処理対象となる追跡は一つも存在しなくなる。

次に、図７のフローチャートを使って、図５のステップ５１２の人物追跡の処理の詳細を説明する。

ステップ７００では、カレントカメラの映像に追跡人物が存在するかどうか判定する。追跡人物とは図５のステップ５０８で処理対象に指定した移動軌跡に対応する人物のことである。なお、ここで人物と表現しているが車両等移動物体全般のことを含むこととする。カレントカメラに追跡人物が存在するかどうかの判定は、図４に示したように、特徴量空間で行う。カレントカメラの映像に対応する特徴量空間に、追跡対象の特徴量が処理対象の時刻ｔにおいても存在する場合には、カレントカメラに追跡人物が存在しないと判定し、ステップ７０２から７０６を実行する。

ステップ７０２では、カレントカメラ以外に追跡人物が存在するのか検索する。この検索処理については図８にて詳細に説明する。

ステップ７０４では、ステップ７０２の追跡人物の検索処理の結果を判定し、他のカメラに追跡人物が存在した場合には、ステップ７０６を実行する。

ステップ７０６では、ステップ７０２での検索結果を基にして、追跡人物が存在するカメラを新たにカレントカメラとして設定する。

ステップ７０８では、処理開始から事前に指定した所定時間が経過したのか判定する。これは、追跡処理を時間で打ち切るための処理である。必要であれば所定時間に無限大を指定することで、追跡処理の打ち切りを回避することも可能である。判定の結果、所定時間を経過している場合には、ステップ７１０を実行する。

ステップ７１０では、現在の処理対象の追跡を打ち切るための停止処理を実行する。

次に、図８のフローチャートを使って、図７のステップ７０２の追跡人物の検索処理の詳細を説明する。

ステップ８００では、本実施例の監視装置の全てのカメラについてステップ８０２からステップ８０８を繰り返し実行する。

ステップ８０２では、ステップ８００で処理対象となったカメラがカレントカメラと同じかどうか判定する。同じ場合にはステップ８０４を実行する。

ステップ８０４では、処理の効率化のためにステップ８００の現在のループ処理をスキップして次のループ処理へと進む。カレントカメラには追跡対象の人物が存在しないことが、図７のステップ７００で確定しているためである。

ステップ８０６では、ステップ８００で処理対象となったカメラに追跡対象の人物が存在するかどうか判定する。処理対象のカメラに追跡人物が存在するかどうかの判定は、図４に示したように、特徴量空間で行う。判定の結果、存在する場合にはステップ８０８を実行する。

ステップ８０８では、現在処理対象のカメラを戻り値として返し処理を終了する。このフローの呼び側には、カメラの渡りが発生し、かつ現在処理対象のカメラに追跡対象が存在することが分かる。

ステップ８１０では、無効を意味するＮＵＬＬを戻り値として返し処理を終了する。このフローの呼び側には、カメラの渡りが発生していないことが分かる。

次に、図１の特徴量ＤＢ１１６に格納する特徴量のデータ構造の例を図９を使って説明する。特徴量データは、特徴量データ全体を表すテーブル９００と特徴量ベクトルを表すテーブル９１０で構成される。

テーブル９００は一つの特徴量データを表すテーブルである。このテーブルはデータ項目９０２〜データ項目９０８から構成される。データ項目９０２は、カメラを一意に表すＩＤである。このＩＤに対応するカメラで撮影した映像から特徴量を算出したことを示す。データ項目９０４は、追跡対象の人物を表すＩＤである。このＩＤは一つのカメラ内で人物を追跡する過程で定まるものである。あくまでも、一つのカメラ内で一意に定まるものであり、複数のカメラ間で同じ人物に対して一意に定まるものではない。データ項目
９０６は、特徴量を算出した映像の取得時刻である。データ項目９０８は、算出した特徴量ベクトルを格納する領域へのポインタであり、テーブル９１０を指し示している。

特徴量ベクトルを表すテーブル９１０は、データ項目９１２と可変長のデータ項目914から構成される。データ項目９１２は、ベクトルの次数である。特徴量ベクトルの次数は、特徴量として色やテクスチャの特徴，形状の特徴，動きの特徴など様々なものが有るため、一意には定まらない。ここでは、採用する特徴量を自由に変更できるように、特徴量ベクトルの次数をデータ項目９１２に保持することにする。例えば、移動物体の色の特徴として下半身と上半身の最頻輝度値を用いる場合には、次数は２となる。データ項目914は、特徴量ベクトルの要素であり、データ項目９１２で指定した次数の数だけ項目が存在する。

次に図１７に、図１の実施例の監視装置をネットワーク環境下でシステム構築する際の機能配置の一例を示す。このシステムは、ネットワーク１７００に、カメラ１００とノード１７０２〜ノード１７０８が接続される形で構築されている。

ネットワーク１７００は、ＬＡＮなど一般的に利用されているネットワークである。このネットワーク１７００を介して図１の機能ブロックを配置する。

カメラ１００はネットワークインタフェースをもったカメラであり、ネットワーク1700に接続する。このような構成を取ることで、ネットワークに接続された各種機器からカメラ１００の映像を取得できる。

映像を取得するノード１７０２には、映像取得部１０２と映像ＤＢ１０４を配置する。

特徴量を算出するノード１７０４には、特徴量算出部１０６と特徴量ＤＢ１０８を配置する。

人物追跡を行うノード１７０６には、移動物体追跡部１１０と軌跡生成部１１２とサムネイル生成部１１６を配置する。

監視画面を生成するノード１７０８には、映像選択部１１２と監視画面生成部１１４と入力手段１１６と出力手段１１８を配置する。

以上述べた実施例により、監視エリアのマップ上にサムネイル付きの移動軌跡を表示しながら、特定の人物などの移動物体を追跡表示することが可能になる。したがって、本実施例の監視装置の利用者は、移動物体をより少ない負荷で追跡監視できる。また、移動軌跡を確認することで、過去にどのような経路を通ってきて、現在どこにいるのか簡単に把握できる。またサムネイルを確認することで、追跡対象の過去の状況を画像で確認できる。また、利用者がサムネイルで確認することで、装置が異なる移動物体を同じ移動物体として追跡してしまう移動物体追跡のミスを早期に発見することも可能である。

実施例２
第１の実施例では、追跡対象を時間軸の正方向に追跡していたが、時間軸の逆方向、すなわち過去に遡って追跡するようにしてもよい。ここでは、このような追跡を逆追跡と呼ぶことにする。この場合の実施例を以下に示す。基本的には実施例１と大部分が同じ構成であるので、変更がある部分について説明する。

図１０は、逆追跡機能を持つ移動物体監視装置の機能構成を示すブロック図である。図１０中の移動物体逆追跡部１０００以外の機能ブロックは図１に示したものと同じである。

移動物体逆追跡部１０００は、特徴量ＤＢ１０８に格納された移動物体の特徴量を用いて、移動物体がカメラ間をどのように移動したのか過去に遡って追跡する。

図１１は、逆追跡機能を持つ移動物体監視装置の追跡画面の例を示している。追跡画面の大部分は、図３に示した追跡画面と基本的に同じであり、異なるのは移動軌跡１１００である。

軌跡１１００は、サムネイル１１０２と矢印１１０４で構成される。矢印１１０４は、サムネイル１１０２に移動する前にはサムネイル１１０６に存在していたことを表す。このように図３の軌跡３００とは逆方向に過去に遡って軌跡を表示する。軌跡の始点となるサムネイル１１０２は、このサムネイルに対応するカメラで逆追跡が始まったことを示している。一方、軌跡の終点となるサムネイル１１０８は、このサムネイルに対応するカメラ１００で逆追跡が終了したことを示している。逆追跡の終了条件としては、逆追跡の対象人物を見失った場合、逆追跡で遡る時間が所定の時間を越えた場合等が有る。

次に、図１２を用いて、逆追跡機能を持つ本実施例の監視装置における監視方法の処理の流れをフローチャートを使って説明する。基本的には、図５に示したフローチャートと同様であり、異なるのはステップ５１０がステップ１２００変更された点である。

ステップ１２００では、逆追跡の処理時刻ｔｂをあらかじめ与えておいたΔｔだけ減じる。これは追跡処理の対象時刻をΔｔだけ遡ることを意味する。その後で、追跡処理の対象時刻ｔをｔｂに設定する。これにより、ステップ５１２での追跡処理は、時刻ｔｂの情報を基にして実行される。

次に、図１３のフローチャートを使って、図１２のステップ５０６の入力処理の詳細を説明する。基本的には、図５に示したフローチャートと同様であり、異なるのはステップ１３００が追加された点である。

ステップ１３００では、逆追跡の処理時刻ｔｂに現時刻を設定する。これは、現時刻を起点にして過去に遡って追跡対象を逆追跡するためである。

本実施例によれば、監視エリアのマップ上にサムネイル付きの移動軌跡を表示しながら、特定の人物などの移動物体を過去に遡って逆追跡表示することが可能になる。したがって、本実施例の監視装置の利用者は、移動物体の過去の行動を容易に把握できる。つまり、移動軌跡を確認することで、過去にどのような経路を通ってきて、現在どこにいるのか簡単に把握できる。またサムネイルを確認することで、追跡対象の過去の状況を画像で確認できる。

実施例３
実施例１および実施例２では、追跡対象を時間軸の正方向または逆方向のどちらかに追跡していたが、両方向、つまり正方向と逆方向の双方に追跡するようにしてもよい。ここでは、このような追跡を正逆追跡と呼ぶことにする。この場合の実施例を以下に示す。基本的には実施例１および実施例２と大部分が同様の構成であるので、変更がある部分を説明する。

図１４は、正逆追跡機能を持つ移動物体監視装置の機能構成を示すブロック図である。図１４中の移動物体正逆追跡部１４００以外の機能ブロックは図１に示したものと同様である。

移動物体正逆追跡部１４００は、特徴量ＤＢ１０８に格納された移動物体の特徴量を用いて、移動物体がカメラ間をどのように移動したのか時間軸の正方向と逆方向の両方に向かって追跡する。

図１５は、正逆追跡機能を持つ移動物体監視装置の追跡画面の例を示している。追跡画面の大部分は、図３に示した追跡画面と基本的に同様であり、異なるのは移動軌跡1500と移動軌跡１５０２である。

移動軌跡１５００はサムネイル１５０４を始点とする正方向の追跡、移動軌跡１５０２は同じくサムネイル１５０４を始点とする逆方向の追跡である。それそれ、図３と図１１で説明した軌跡と同様である。このように、正方向と逆方向の両方の移動軌跡を表示する。

次に、図１６を用いて、正逆追跡機能を持つ本実施例の監視装置における監視方法の処理の流れを説明する。基本的には、図５に示したフローチャートと同様であり、異なるのはステップ１６００〜ステップ１６０６が追加された点である。ステップ５１０〜ステップ５１６は正方向の追跡処理であり、一方ステップ１６００〜ステップ１６０６では逆方向の追跡処理である。ステップ１６００〜ステップ１６０６は、図１２のステップ1200〜ステップ５１６と同様の処理である。

以上に述べた実施例によれば、監視エリアのマップ上にサムネイル付きの移動軌跡を表示しながら、特定の人物などの移動物体を追跡表示すると同時に、過去に遡って逆追跡表示することが可能になる。したがって、本実施例の監視装置の利用者は、移動物体を少ない負荷で追跡監視できると同時に、移動物体の過去の行動を容易に把握できる。

実施例４
実施例１〜３では、監視装置の利用者が、入力手段１２０を使って明示的に追跡指示を出すが、本装置で異常行動を自動検知するようにして、検知時に自動的に追跡指示を出すようにしてもよい。この場合の実施例を以下に示す。基本的には実施例１と大部分が同様の構成であるので、変更がある部分を説明する。

図１９は、異常検知機能を持つ移動物体監視装置の機能構成を示すブロック図である。異常行動検知部１９００が追加された以外は図１のブロック図と同様である。

異常行動検知部１９００は、画像ＤＢ１０４に格納された画像データを用いて異常行動を検知する。異常行動が検知された場合には、移動物体追跡部１１０に追跡開始の指示信号を出力し、新しく移動物体の追跡を開始する。

ここで、異常行動の検知方法としては、例えば、刊行物「複数人動画像からの異常動作検出」（情報処理学会研究報告，コンピュータビジョンとイメージメディア、２００４−ＣＶＩＭ−１４５）に記載されている立体高次局所自己相関特徴を用いた公知の異常行動判別方法を利用すればよい。立体高次局所自己相関特徴とは、顔画像認識などによく使われる高次局所自己相関特徴を時間方向に拡張した特徴であり、動画の特徴量を得ることができる。この特徴とは、画像を時系列に並べたボクセルデータ中の各点において２５１種類の局所的な自己相関特徴を計算し、ボクセルデータ全体にわたって積分することで得られる２５１次元のベクトル量である。そして、この手法で得られた動画の特徴量を判別分析にかけて異常行動であるかどうか判別する。

本実施例によれば、カメラで撮影した映像中の異常行動を検知し自動的に追跡を開始できる。したがって、監視員が追跡指示を出さなくても、不審人物などの移動物体の追跡が可能になり、結果として監視員の負担を低減することが可能になる。

本発明の一実施例である移動物体監視装置の機能構成を示すブロック図。 複数映像監視画面の例。 追跡監視画面の例。 移動物体追跡の基本原理の説明図。 実施例の監視装置における監視方法の処理流れ。 入力処理の詳細。 人物追跡の処理の詳細。 追跡人物の検索処理の詳細。 特徴量データの構造の例。 逆追跡機能を持った移動物体監視装置の機能構成を示すブロック図。 逆追跡機能を持つ移動物体監視装置の追跡画面の例。 逆追跡機能を持つ監視装置における監視方法の処理の流れ。 逆追跡機能を持った移動物体監視装置の入力処理の処理の詳細。 正逆追跡機能を持つ移動物体監視装置の機能構成を示すブロック図。 正逆追跡機能を持つ移動物体監視装置の監視画面の例。 正逆追跡機能を持つ監視装置における監視方法の処理の流れ。 図１の実施例の監視装置をネットワーク環境下でシステム構築する際の機能配置の一例。 複数追跡時の追跡監視画面の例。 異常行動検知機能を持った移動物体監視装置の機能構成を表すブロック図。

符号の説明

１００…カメラ、１０２…映像取得部、１０４…映像ＤＢ、１０６…特徴量算出部、
１０８…特徴量ＤＢ、１１０…移動物体追跡部、１１２…映像選択部、１１４…軌跡生成部、１１６…サムネイル生成部、１１８…監視画面生成部、１２０…入力手段、１２２…出力手段。

Claims (6)

1. 複数のカメラを用いて移動物体を監視する移動物体監視装置において、
   複数のカメラで撮影した映像から移動物体の特徴量を算出する特徴量算出部と、
   前記特徴量から前記移動物体を追跡する移動物体追跡部と、
   前記移動物体追跡部の追跡結果を用いて前記移動物体が映っているカメラ映像を選択する映像選択部と、
   前記追跡結果を用いて、前記移動物体の移動軌跡を生成する軌跡生成部と、
   前記映像選択部が選択した前記カメラ映像と前記軌跡生成部が生成した前記移動軌跡とから監視画面を生成する監視画面生成部と、
   前記複数のカメラで撮影した映像からサムネイルを生成するサムネイル生成部と、
   を備え、前記監視画面生成部は、前記移動軌跡上に前記サムネイルを重ねるように前記監視画面を生成することを特徴とする移動物体監視装置。
2. 請求項１において、前記移動物体追跡部は、前記移動物体を、過去に遡って追跡することを特徴とする移動物体監視装置。
3. 請求項１において、前記移動物体追跡部は、前記移動物体を、時間軸の正方向と逆方向の両方に向かって追跡することを特徴とする移動物体監視装置。
4. 請求項１ないし３のいずれか１項において、さらに、前記複数のカメラで撮影した映像から異常行動の発生を検知して、前記移動物体追跡部に追跡開始を指示する異常行動検知部を備えることを特徴とする移動物体監視装置。
5. 請求項１ないし４のいずれか１項において、前記監視画面生成部は、監視領域を表すマップを表示する監視画面を生成することを特徴とする移動物体監視装置。
6. 請求項１ないし５のいずれか１項において、前記移動物体追跡部は、重心間のユークリッド距離，重心間のマハラノビス距離，ウイルクスのΛ統計のいずれかを用いて前記特徴量を算出することを特徴とする移動物体監視装置。

Images