JP5479907B2 - ネットワーク監視システム - Google Patents

ネットワーク監視システム Download PDF

Info

Publication number
JP5479907B2
JP5479907B2 JP2009536563A JP2009536563A JP5479907B2 JP 5479907 B2 JP5479907 B2 JP 5479907B2 JP 2009536563 A JP2009536563 A JP 2009536563A JP 2009536563 A JP2009536563 A JP 2009536563A JP 5479907 B2 JP5479907 B2 JP 5479907B2
Authority
JP
Japan
Prior art keywords
detection data
occupancy
windows
window
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009536563A
Other languages
English (en)
Other versions
JP2010510697A (ja
Inventor
デン ヘンゲル アントン ジョン ファン
アンソニー ロバート ディック
ミシェル ジョン ブルックス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adelaide Research and Innovation Pty Ltd
Original Assignee
Adelaide Research and Innovation Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2006906433A external-priority patent/AU2006906433A0/en
Application filed by Adelaide Research and Innovation Pty Ltd filed Critical Adelaide Research and Innovation Pty Ltd
Publication of JP2010510697A publication Critical patent/JP2010510697A/ja
Application granted granted Critical
Publication of JP5479907B2 publication Critical patent/JP5479907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/19656Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

優先権の主張
本特許出願は、2006年11月20日に出願し、参照によりその全体が明示的に本明細書に組み込まれているオーストラリア仮特許出願第2006906433号「Network Surveillance System」による優先権を主張するものである。
本発明は、監視システムに関する。詳細には、本発明は、広大なエリアにわたって分散された多数のセンサからなるネットワークを伴う監視システムに関する。
私有エリア、公共エリアともに監視に対する注目が増すにつれて、こうした広大なエリアをモニタするのに使用されるカメラ及びセンサの数及び精巧さがかなり増している。このような監視作業の一例は、空港又は鉄道の駅をモニタすることであり、これは、人間のオペレータによって映像が閲覧される集中監視局にライブ映像をそれぞれが送ることができる数百台ものカメラを必要とし得る。オペレータは、顧客の挙動の観察や、公衆又はインフラストラクチャへの脅威の識別など、いくつかの可能な目標をもっている場合がある。
このように多数のカメラを利用することができることは、インターネットプロトコル(IP,Internet Protocol)などの標準ネットワークプロトコルを介してライブ画像情報を転送し、それによって、既存のネットワークにそれ以上のカメラを追加するのを、ワイヤレス手段によってであろうと直接ケーブルによってであろうと、中央ハブへのIPカメラの接続のように簡単にするリアルタイムデジタルビデオカメラの使用によって助けられている。したがってIPカメラは、動的又は静的な割振りIPアドレスを与えられ、極めて短い時間でのライブ映像データのストリーミングを開始することができる。
しかし、ネットワーク監視システム内のカメラの数をこのように簡単に増やせることは、より広大なエリアを高い解像度でモニタできることを意味するが、集中監視局にストリーミングされる大量の着信映像情報は、この情報が人間オペレータによって閲覧されているときただちに情報過負荷を引き起こす。したがって、この情報のモニタリングを担当するセキュリティ担当者は、こうした広大なエリアを効果的にモニタすることができない。
大規模ネットワーク監視システムのこうした欠点に対処するために、着信映像情報を分析して、表示される対象又は人々の挙動が「正常」からずれているかどうか判定することを試みるデータ分析方法が開発されている。この方法は、モニタリング担当者に、最初に異常と分類されている挙動の映像情報を提示することを目的としている。そのために、ハードウェア及びソフトウェアの組合せでよいこれらのシステムは、カメラそれぞれの視野の間で「ターゲット」がとり得る経路又は軌道を判断することを試みる。
したがって、この「活動トポロジ」情報は、ネットワークに渡る対象の追跡など、ネットワーク型監視における多くの根本的作業にとって基礎となるものである。カメラネットワークの活動トポロジを導き出すために、視野がオーバーラップする監視カメラの相対的な位置を推定することだけでなく、オーバーラップしないカメラペアの間のターゲットの動きの特徴を抽出することも目指す。原則として、活動トポロジは小さなカメラセットの場合は手作業で導き出すことができるが、この手法は、個々のカメラが頻繁に追加され、誤動作し、又は移動される可能性がある大型ネットワーク監視システムには当然ながら拡大されない。
従来技術では、カメラネットワークの活動トポロジを推定することを試みるいくつかの手法があった。通常、こうした手法は、事前に供給される、異なる画像又はカメラ表示における経路又は軌道の間の対応などのトレーニングデータを必要とするか、又はカメラネットワークによって表示されるエリアの中を移動する際の、長期間の間のターゲットの動きの観察に依拠する。これは、ターゲットがとる経路を推定する試みにおいて出現及び消失相関情報を蓄積するためのものである。
こうした方法はすべて、人間の介入又は活動トポロジを判定するための大量の映像データの観察及び分析に依拠する。この問題は、ネットワーク内のすべてのカメラペアの間で比較が行われなければならないことによって複雑になる。カメラペアの数がネットワーク内のカメラの数の二乗ずつ増大するので、大量のデータを徹底的にペアごとに比較することに基づくこうした技法は、すぐに実行不可能になる。
別のクラスの方法では、ネットワーク内のカメラそれぞれを、共通して見られる特徴に基づく、基準となる共通フレームに関連づける較正及び方向性情報を推定する。こうした方法は、活動トポロジの特徴を抽出せず、必要な数の共通画像特徴を発見するのに失敗しやすいものであり、視野の間の大幅なオーバーラップ及び完全な結合性に依拠する。
第1の態様において、本発明はしたがって、検知データウィンドウのセットの活動トポロジを推定する方法を提供し、検知データウィンドウはそれぞれ、対応する検知領域に関連し、この方法は、
結合していない検知データウィンドウのサブセットを判定するステップと、
検知データウィンドウのセットから検知データウィンドウのサブセットを除外するステップとを含む。
好ましくは、検知データウィンドウのサブセットを判定するステップは、検知データウィンドウのセットのうち、1ペアずつ検知データウィンドウを比較することを含む。
好ましくは、検知データウィンドウを1ペアずつ比較するステップは、検知データウィンドウのペアがオーバーラップする検知領域をもたないかどうか判定することを含む。
好ましくは、検知データウィンドウのペアがオーバーラップする検知領域をもたないかどうか判定するステップは、第1及び第2の検知データウィンドウが検知データウィンドウのペアを含む、第1の検知データウィンドウに対する第1の占有測度(occupancy measure)及び第2の検知データウィンドウに対する第2の占有測度を判定すること、並びに第1及び第2の占有測度を比較することを含む。
好ましくは、第1及び第2の占有測度を比較するステップは、第1の検知データウィンドウに関連づけられた第1の検知データウィンドウシーケンスに対応する占有ベクトルと、第2の検知データウィンドウに関連づけられた第2の検知データウィンドウシーケンスに対応する第2の占有ベクトルとを形成すること、並びに第1及び第2の占有ベクトルの対応する要素を比較することを含む。
好ましくは、第1及び第2の占有ベクトルの対応する要素を比較するステップは、関連づけられた第1及び第2の検知データウィンドウがオーバーラップしないと判定するために、第1及び第2の占有ベクトルに対してベクトルの排他的or演算を実施することを含む。
好ましくは、第2の検知データウィンドウシーケンスに対応する第2の占有ベクトルは、第2の検知データウィンドウ及びその最近傍の検知データウィンドウに基づき、そうすることによってパディングされた占有ベクトルを形成する。
好ましくは、第1及び第2の占有ベクトルの対応する要素を比較するステップは、関連づけられた第1及び第2の検知データウィンドウがオーバーラップしないと判定するために、第1の占有ベクトル及びパディングされた占有ベクトルに対してベクトルの排他的or演算を実施することを含む。
第1及び第2の占有ベクトルの対応する要素を比較するステップは、関連づけられた第1及び第2の検知データウィンドウがオーバーラップしないと判定するために、第1の占有ベクトル及びパディングされた占有ベクトルに対してベクトルの一方向排他的or演算を実施することを含んでもよい。
好ましくは、第1及び第2の占有ベクトルの対応する要素を比較するステップは、第1及び第2の占有ベクトルの一方又は両方の隣接要素にわたって比較を行うことを含む。
好ましくは、検知データウィンドウのペアがオーバーラップする検知領域をもたないと判定するステップは、検知データウィンドウのペアがオーバーラップするという誤指示の尤度を考慮することを含む。
好ましくは、検知データウィンドウのペアがオーバーラップするという誤指示の尤度を考慮するステップは、検知データウィンドウのペアに関連づけられた以前のデータに基づく。
好ましくは、検知データウィンドウのペアがオーバーラップするという誤指示の尤度を考慮するステップは、検知データウィンドウのペアに関連づけられた1つのセンサ又は複数のセンサのエラー率を考慮することを含む。
好ましくは、検知データウィンドウは画像ウィンドウであり、第1及び第2の検知データウィンドウシーケンスは、第1及び第2の画像ウィンドウシーケンスに対応する。
好ましくは、第1及び第2の画像ウィンドウシーケンスは、それぞれの時系列の画像に対応する。
好ましくは、時系列の画像は、ネットワーク監視システム内のカメラによって与えられる。
好ましくは、本方法は、結合しているセンサデータウィンドウのさらなるサブセットを判定するステップをさらに含む。
第2の態様において、本発明はしたがって、
それぞれが検知領域に対応し全体として検知データウィンドウのセットを形成する1又は複数の検知データウィンドウを各センサが提供するセンサネットワークと、
結合していない検知データウィンドウのサブセットを判定し、検知データウィンドウのセットから検知データウィンドウのサブセットを除外するデータ処理手段とを含むネットワーク監視システムを提供する。
第3の態様において、本発明はしたがって、活動トポロジを推定する方法ステップを実施するための命令からなるプログラムを有形に実施する、マシン可読なプログラム記憶装置を提供し、検知データウィンドウはそれぞれ、対応する検知領域に関連し、この方法ステップは、
結合していない検知データウィンドウのサブセットを判定すること、及び
検知データウィンドウのセットから検知データウィンドウのサブセットを除外することを含む。
第4の態様において、本発明はしたがって、エリアをモニタするセンサネットワーク内のセンサの場所を推定する方法を提供し、この方法は、
センサのサブセットを、対応する領域を各々が表示するそれぞれのゾーンに分割するステップと、
ゾーンによって表示される、表示がオーバーラップする対応する領域をセンサがもたないゾーンを判定するステップとを含む。
本発明の実施形態を、添付の図面を参照して論じる。
建物の所々に分散されたカメラネットワークを含むネットワーク監視システムを示す概略図である。 カメラ画像が画像ウィンドウのセットにどのように分割されるかを示す、図1に示したカメラネットワークに対応するカメラ画像を示す概略図である。 本発明の第1の例示的実施形態による、活動トポロジを判定する方法を示すフローチャートである。 所望の共通領域を表示するときに異なる方向性をもつカメラに対応する2つのカメラ画像のオーバーラップを示す図形表現である。 シミュレートされたカメラネットワークに対する、除外の数と、それに対する占有される画像ウィンドウの数とを示すグラフである。
以下の説明において、同じ参照文字は、いくつかの図面表示を通して同じ又は対応する部分を指し示す。
ここで図1を参照すると、建物200の内側及び外側両方にある広大なエリアのモニタリング用の、建物の所々に分散されたネットワーク監視システム100の概略図が示されている。例示的な本実施形態において、ネットワーク監視システム100は、集中モニタリングサイトにリアルタイムにその画像を伝える16台の個々のIPカメラ1、2....16を含むカメラネットワークを含む。各カメラは、カメラの場所から伸びる影付きエリアとして図形によって示される、対応する視野を有する。
ここで示されるネットワーク監視システム100は、ほぼ同様の特性をもつカメラを含むが、明らかに、本発明は、広範囲の解像度及び他の撮像特性をもつ多くの異なるタイプのカメラ又はセンサを含むカメラ又はセンサネットワークにも等しく応用することができる。図1に示すように、個々のカメラの視野の多くは、その位置づけによりオーバーラップする。この位置づけの変動は、建物200辺りの物理的な位置だけでなく、カメラの高さ及び方向性も含む。当業者には明らかであろうが、図示してある影付きエリアは、個々のカメラの光学系(optical setup)に依存する、視野の実際の範囲を示すわけではない。
例示的な本実施形態において、IPカメラは可視波長範囲内での情報の検出用に最適化されているが、本発明は、対応する検知領域に関する検知データウィンドウを生じるどの電磁気的撮像装置、画像取込み手段又はセンサ装置にも応用可能であることが当業者には明らかであろう。このような装置は、熱画像カメラ、X線カメラ、及びオーディオ又はソナーマッピングシステムなど、他のシステムを含むが、それに限定されない。さらに、個々の各カメラは、デジタル画像データを提供するために、フレーム取込み装置を併せもつ標準アナログカメラを含み得る。さらに、カメラは、たとえばオーディオ、化学、熱又は動きセンサなど、あるエリア内のターゲットの存在を検出することだけが可能であり、そうすることによって、ただ1「ピクセル」の情報のみを生じるセンサを備えてよい。
ここで図2を参照すると、図1に示した16台のカメラに対応するカメラ画像110、120、130、...、140の概略図が示されている。各カメラ画像は次いで、各行にN個の画像ウィンドウがあるM行を含むK個の画像ウィンドウwにさらに分割される。ただし、例示的な本実施形態において、カメラはそれぞれ、等しい数の画像ウィンドウを含む。同様に、異なるカメラは、異なるサイズの画像ウィンドウを有しても、ただ1つの画像ウィンドウを有してもよく、この場合、カメラ画像全体は、1つのウィンドウになるように撮影される。さらに、各画像は、必ずしも矩形でなくてよく、スプライン関数などによって簡単に書かれるような、曲線境界を有してもよい可変サイズの画像ウィンドウに分割することができる。
このようにして、ネットワーク監視システム100は、等価な画像又は検知データウィンドウのセットW={w...w16K}として扱うことができ、画像ウィンドウはそれぞれ、エリア又は検知領域の対応する表示に関連する。明らかに、いくつかの画像ウィンドウは、図1を見ればすぐに分かるように、オーバーラップするエリア表示をもつことになる。ネットワーク監視システム100がリアルタイムに画像を提供しているとき、カメラによって提供される時系列の画像に対応する、各画像ウィンドウごとの画像ウィンドウシーケンスが存在する。例示的な本実施形態では、画像ウィンドウシーケンスはリアルタイムに提供されるが、同様に、画像ウィンドウシーケンスは、呼び出し分析することができる格納されているカメラ又はセンサ画像情報に基づき得る。
ここで図3を参照すると、本発明の第1の例示的実施形態による、ネットワーク監視システム100の活動トポロジ又は同等には画像ウィンドウセットWを判定する方法を示すフローチャートが示されている。ステップ310で、カメラ1〜16の画像から、図2に示すような画像ウィンドウセットが形成される。上で述べたように、各画像ウィンドウは、カメラによって提供される時系列の個々の画像によって形成される、関連づけられた画像ウィンドウシーケンスをもつことになる。
ステップ320で、画像ウィンドウセットWに関わる各ウィンドウwごとに、各画像ウィンドウの占有が、時間tの関数として判定される。この例では、tが、0からある最大時間Tまで経過すると仮定する。この第1の例示的な実施形態では、各画像ウィンドウwの画像シーケンスに対応する占有ベクトルo=(oi1,...,oiT)が形成され、oitは、ウィンドウwが時間tのときに占有されている場合は1にセットされ、そうでない場合は0にセットされる。当業者には明らかであろうが、2つの画像ウィンドウが全く同じシーンを表示する場合、時間Tに渡るその対応する占有ベクトルはほぼ同一になる。
この第1の例示的な実施形態では、画像ウィンドウwは、人間の最低可視限度がそのウィンドウの境界内であるとき、占有されると定義される。人間の最低可視限度は、人間と地面との接触点、又は体の下方部が遮られる点であり得る。人間が建物200の辺りを動くと、カメラ1〜16によってモニタされ、人間の最低可視限度は、あるカメラから別のカメラに、したがって画像ウィンドウから画像ウィンドウに動くことになる。
当業者には明らかであろうが、占有測度は、ネットワークを通して追跡される対象及び配備されるカメラ及びセンサの特定の性質に依存するいく通りかのやり方で定義することができる。画像ウィンドウが占有されているときを判定する他のいくつかの例は、ボート又は車両の画像が、指定された画像ウィンドウに入るときの識別、ある特定の場所における対象の存在を示すソナー又はレーダ応答の検出、或いは受動赤外線、光線、重量、化学、音声又は静電容量センサの活性化を含む。
ステップ330で、表示がオーバーラップしない画像ウィンドウのサブセット
が、どのウィンドウが除外され、又はオーバーラップしないか判定するための、占有ベクトルoの間でのペア単位での比較を実施するプロセスに基づいて判定される。2つのバイナリ数a、bの排他的or演算
は、a又はbの一方が1であり他方が0であるときのみ1となると定義される。このことは、ベクトルの排他的or演算子
を、一度のペア単位での比較
が1である場合に2つのベクトルa、bの排他的orが1に等しくなるように定義することによって、ベクトルペアa=(a,...,a)’及びb=(b,...,b)’に一般化することができる。
本発明によると、対応する占有ベクトルo、oの排他的or
が1である場合、2つのウィンドウw、wは、オーバーラップもせず、結合もしていないと判定されることになる。したがって、非オーバーラップ画像ウィンドウのサブセット
は、排他的or演算によるペア単位での比較を実施することによって、判定することができる。次いで、ステップ340で、画像ウィンドウのサブセット
が画像ウィンドウセットWから除外され、そうすることによって活動トポロジを判定する。
本実施形態では、カメラ1〜16から取り出されるすべての新規フレームとともに、新規占有情報が生成され、この生成は、1秒あたり30回もの頻度で起こり得る。したがって、かなりの数の占有情報を、非常に短い期間内に獲得することができ、その結果活動トポロジについての情報は、わずかな時間の後に生成される。これは、活動トポロジを判定するために大量の映像の処理を必要とする、多くの従来技術方法、特に相関の確立に基づくものとの比較によるものである。したがって、この方法は、短い映像セグメントのみが利用可能である状況において応用することもできる。この状況は、たとえば、パン/チルト/ズームカメラのケースなど、カメラがある場所から別の場所へ移動しているときに成り立ち得る。
ベクトルの排他的or比較は、長いベクトルに対してさえも、わずかな算出時間しかかからないことが、当業者には理解されよう。さらに、上で述べたように、この比較の基になる占有ベクトルは、長期間にわたって収集する必要はなく、明らかにオーバーラップしないウィンドウを排除するのに必要な長さでよい。したがって、結合していない又はオーバーラップしない画像ウィンドウを排除し、したがってカメラネットワークの活動トポロジを判定する極めて効率的な手段である。
例示的な本実施形態は画像ウィンドウを対象としているが、同様に本発明は、検知領域に対応するどの検知データウィンドウも対象とし得る。一実施形態では、検知データウィンドウのセットは、既に示してあるカメラ(図1を参照)と同様に、建物200中に分散されたオーディオ検出装置のセットに関連し得る。こうしたオーディオセンサは、占有測度としても効果的に機能する1又は複数の検知データウィンドウ或いは単一の検知データウィンドウを含む、対応する検知領域のサウンドマッピングを生じ得る。
本発明の別の例示的実施形態では、オーバーラップの判定の堅牢性は、図4に示す状況を考慮するように設計された、パディングされた占有ベクトルpを採り入れることによって向上することができ、図4の状況では、カメラの方向性により、各カメラ表示410、420からオーバーラップするウィンドウが、w、wのように同時に占有されるとともに空いていることが可能である。この例では、カメラ画像410は、所望の領域への表示の前面にあると仮定され、カメラ画像420は、wと比較してウィンドウwにおいて相対的歪みをもたらす下に傾いた表示に対応する。当然ながら、2台のカメラが互いからオフセットされる場合は、同様の効果が起こることになる。このカメラセットアップでは、対応する占有ベクトルの排他的orは、ウィンドウw、wが実際には部分的にオーバーラップする場合は、それらのウィンドウがオーバーラップしないことを示すことができよう。
この潜在的問題に対処するために、所与のウィンドウwの、直接周りを囲む隣接ウィンドウを含む、パディングされた占有ベクトルpが定義される。このように、pは、ウィンドウw又は直接周りを囲むその隣接ウィンドウのいずれかが時間tのときに占有されている場合は1にセットされた要素pitをもつように定義される。本実施形態では、aが1でありbが0である場合にのみ
が1となるように、一方向バージョンの排他的orが定義される。同様に、2つのベクトルa、bに対する対応するベクトル一方向排他的or演算子は、以下のように定義される。
したがって、本実施形態において、2つの画像ウィンドウw、wがオーバーラップするかどうか判定する方法は、
の算出に基づき、すなわち、占有ベクトルo及びパディングされた占有ベクトルpに基づく。当業者には明らかであろうが、パディングされた占有ベクトルの使用により、空間ドメインにおける占有不均衡を調整することになる。
同様に、2台のカメラの間の時間同期における潜在的エラーを調整するために、時間領域において同様の技法を実施することができ、そうすることによって、tを囲む時間窓に対して画像ウィンドウ又は直接周りを囲むその隣接ウィンドウが占有されているときに、占有ベクトル又はパディングされた占有ベクトルどちらかの要素が1にセットされる。この時間窓のサイズは次いで、カメラの間の、予期される時間又は同期不整合によって変化し得る。
時間を経て占有ベクトルをパディングするプロセスにより、同じエリアの表示をもたない画像ウィンドウの活動トポロジも判定される。実際に同じ領域の表示をもつ2つの画像ウィンドウは、占有を同時に観察することになるので、除外を生じない。観察されたトラフィックを有し、除外されていないこうしたウィンドウは、オーバーラップする、又は結合していると言ってよい。このオーバーラップは、ゼロの時間オフセットに対して測定され、両方のウィンドウにおいて占有が測定される画像は、ほぼ同じ時間に撮られたことを意味する。
ただし、オーバーラップを測定するプロセスは、カメラの間の様々な時間オフセットに対して繰り返してよい。この繰返しには、あるペアの一方の画像ウィンドウに関する占有の統計が、一定の期間だけ遅らせられることが必要である。ある特定の時間オフセットを与えられるとオーバーラップするウィンドウは、ターゲットがカメラの視野の中でとる経路を示す。時間t=0での第1の画像ウィンドウから時間t=1での第2の画像ウィンドウまで移動するターゲットは、対応する占有統計を生成することになる。こうした統計は、第2の画像ウィンドウに対応する占有ベクトルの要素が1時間ステップだけ過去へ移動された場合、除外を調節することになり、したがって除外を生成することはない。
このように、第2の画像ウィンドウに対応する占有ベクトルを時間によってオフセットすることにより、あるウィンドウから別のウィンドウへのターゲットの動きを識別するのに除外プロセスが使われるようになる。したがって、オーバーラップは、表示されるシーンの部分の間の物理的対応より広い、ウィンドウの間の結合を示す。
このように、時間オフセットが検討されるときのオーバーラップは、とられる経路も示し、カメラネットワークの活動トポロジの推定のためのそれ以上の情報を提供することになる。ウィンドウの間の結合は、時間オフセットが増すとともに直接的でなくなり、このことは、推定プロセスにおいて考慮されなければならない。他の点では、オーバーラップを判定するプロセスは影響を受けない。
測度
は対称的でないので、
と等しくならない可能性があり、このことは、このパディングプロセスの保存性質を反映する。測度の非対称性への反応は、結論が導かれる前に除外される画像ウィンドウを識別するために、
及び
両方を必要とすることであろう。ただし、この手法は、カメラネットワーク全体に渡るすべてのウィンドウが除外を算出するのに必要な占有を呈することが予期される状況にのみ適している。ほとんどの現実のカメラネットワークでは、いくつかのウィンドウが一か所にあることによって決して占有されることがないということになり得る。
ウィンドウペアがオーバーラップしないことが認められる場合に、
又は
いずれかが除外又は非オーバーラップの事例を識別する場合は、ネットワーク内のすべてのウィンドウを処理してよい。可能なすべての画像ウィンドウペアを処理することはやはりできないが、ネットワーク内の他のすべての画像ウィンドウで占有され得るすべての画像ウィンドウのオーバーラップを算出することができる。
本発明の別の例示的実施形態では、画像ウィンドウのペアが本当にオーバーラップし、又は結合しているかどうか判定するのに、ただ1つの矛盾とは反対に、いくつかの測定値又は以前のデータに基づく確率的手法が利用される。この手法では、オーバーラップする又は結合していないと誤って分類された画像ウィンドウペアを潜在的に生じ得る、監視システムにおいて利用される占有測度又は検出プロセスに関連した固有エラー率があり得ることを考慮に入れる。
上で説明したように、観察データは、測定された占有及び対応する除外イベントのセットからなる。いくつかの占有が見られるがわずかな除外しか見られない画像ウィンドウペアの場合は、実際にはオーバーラップすることがあり得る。同様に、占有の大多数により関連した除外が生じている画像ウィンドウのペアに対しては、画像ウィンドウが実際にオーバーラップすることはあまりない。このさらなる実施形態において、画像ウィンドウオーバーラップの仮説は、尤度比の算出に基づいてテストされる。
この確率的手法によると、時間tにおいて以下のイベントが定義される。
・A:pjt=0
・B:oit=1
・V:画像ウィンドウw、wがオーバーラップする

:画像ウィンドウw、wがオーバーラップしない
したがって、イベントA、Bはともに、上で述べたような矛盾を定義する。最初に、尤度比
を判定するために、二進仮定V及び
が与えられたときの、ただ1つの矛盾の尤度が計算される。
最初に、ウィンドウがオーバーラップする場合に起こる矛盾の尤度を計算する。この尤度は、次のように書くことができる。
Pr(AB|V)=Pr(A|BV)Pr(B|V)
両方のカメラ視野がほぼ同じ寸法であると仮定すると、画像ウィンドウw及びwがオーバーラップする場合、画像ウィンドウwは、wの近隣によって完全に覆われる。したがって、確率Pr(A|BV)は、Cと定義されるトラッキングエラー率(見落とされた占有検出率)によって決定されることになる。検出プロセスによって占有イベントが見落とされた場合、他の検出がギャップを埋めている可能性があるので、まだpjt=1である可能性がある。
この可能性は、検出が失敗した場合はpjtが0になるという確率の推定値をトラッキングエラー率Cに乗算することによって補償される。したがって、確率は
によって与えられ、上式で、Tは観察の総数(pの長さ)である。尤度における他方の項は次いで、
として計算される。

を計算するために、第1に、画像ウィンドウがオーバーラップしない場合、A及びBは独立していることに留意されたい。したがって、
及び、
であるので、尤度比は、
によって与えられることになる。
したがって、発生する各矛盾ごとに、画像ウィンドウが実際にオーバーラップするという仮説の妥当性にC、すなわちトラッキングエラー率(非常に低いと予期される)が乗算される。このことは、オーバーラップするウィンドウのペアの全体としての確率がCで与えられ、Kは矛盾観察の数であることを含意する。この確率は、演算子
を定義することによって算出され、そうすることによって長さkの2つのベクトルa、bに対して、演算子はK、すなわち
を返す。
ほとんどの一般的適用分野では、こうしたケースにおいて最大5%のエラー率を予期することができ、確率的除外測度の利用により、活動トポロジの判定が向上する。エラー率がより高いケースでは、画像ウィンドウのペアの間のオーバーラップに関する結論を導く前に、より多くのトラフィックを観察することが必要になり得る。
さらに別の実施形態では、活動トポロジを判定するためのこの確率的手法は、より長い期間にわたって生成されたデータを扱うように拡張される。このさらなる実施形態を説明するために、表記の変更が利用される。
各画像ウィンドウwごとに、時間tでのその(事前に分かっていない)占有を表す、関連するランダム変数
が定義される。ウィンドウwが時間tにおいて占有されると判定された場合、
と定義するが、これは命題
によって表される。時間tのときに占有されないwの場合は、
となり、これは命題
によって表される。

とラベルづけされる
のパディングされたバージョンが同様に定義され、命題

と表される。上で説明したように、画像ウィンドウwの測定された占有は、対応する検知領域内部でのターゲットの存在又は不在を指示する。通常、この指示そのものは、具体的なターゲットに関するものではなく、むしろ、画像ウィンドウが占有されているという判定に関する。この表記では、ターゲットの存在又はウィンドウが占有されているという事実は、ランダム変数
という命題によって示され、この変数は、
と表される。
ウィンドウが実際にオーバーラップし又は結合しているという命題を与えられると、ウィンドウw、wの各ペアに対して、ランダム変数Vijが関連づけられる。この命題は、Vij=1とセットすることによって表され、このセッティングは表記vijで表され、ウィンドウがオーバーラップしないという代替命題は、
で表される。
ウィンドウのペアがオーバーラップするという命題に有利/不利な証拠を再度評価するために、尤度比手法が利用される。上で説明したように、この場合は観察されたデータを与えられたときにウィンドウw、wがオーバーラップし又はしないという命題など、一対の矛盾する仮説による可能性がある確実性を測るという利点が尤度比にはある。
例示的な本実施形態において、ウィンドウw、wが実際にオーバーラップするという命題(vij)、及びオーバーラップしないという命題(
)に対する尤度比Lは、
(1)
で与えられ、上式で、Nは除外の数を表し、Tは機会の数を表し、
は、測定された除外の数及びある除外がウィンドウwとwの間で測定された可能性があるが、実際には測定されなかった回数を表す。
式(1)の分子及び分母は両方とも、二項分布として表すことができる。というのは、両者は、
(2)及び(3)
を含意する2つの可能性(xij及び
)の間での選択の繰返しから生じるからである。
したがって、確率P(xij|vij)及び
の判定は、除外結果の解釈において重要である。o及び
両方が同時に成り立つとき、ウィンドウwとwの間で除外が記録される。除外の確率はしたがって、
(4)
と定義される。ウィンドウwとwの間にオーバーラップがないと仮定される場合、O、Pは独立イベントであり、したがって
(5)
となり、上式で、P(O)、P(P)は、占有をカウントすることによって算出される。
ウィンドウw、wがオーバーラップする場合、ランダム変数O、Pは独立していないが、2つのランダム変数の間の唯一の相互作用が、画像ウィンドウwに対応する検知領域内でのターゲットの存在又は不在によるものであるときにFを与えられると条件付きで独立している。
2つのウィンドウが同じカメラ又は検出装置の検知領域内部にある場合、O、Pを測定するのに使われる占有判定プロセスが相互作用することが可能であり得るが、その可能性は低く、いずれのケースでも、こうした画像ウィンドウペアの間の関係を判定するためのより効果的な方法があるせいで、同じカメラの中の画像ウィンドウは実際には比較されない。
以下では、ウィンドウw及びwがオーバーラップするケースを検討する。Fを与えられるとO、Pが条件付きで独立しているということは、
(6)
であることを含意する。
には2つしか可能な値がないが、これらの値を明示的に扱うことによって、以下の式を生じ得る。
(7)
項P(o|f)は、画像ウィンドウw内でのターゲットの存在(すなわち、検知領域が実際に占有されている)を占有判定プロセスが正しく識別すると予期することができる確率を表す。この確率は、占有判定プロセスに対する占有検出率である。

は、対応する検知領域がターゲットを含まないときのウィンドウwにおける占有(すなわち、検知領域が実際には占有されていない)を検出するための確率を表す。この確率は、占有判定プロセスに対する占有誤検出率である。
ウィンドウwのパディングされた占有をFに関連させる確率、すなわちwに対応するシーンボリュームにおけるターゲットの存在又は不在は、形がある程度複雑である。これは、2つのウィンドウはオーバーラップするが、同じ検知領域には対応しないことによるものである。ただし、ウィンドウw、wがオーバーラップするということは、wに対応する検知領域内部にターゲットが存在する場合、そのターゲットは必然的にpのドメイン内になければならないことを含意する。前述したように、これを確実に成り立たせることが、パディングプロセスの目的である。ウィンドウw、wのオーバーラップは、その結果、少なくとも1つのターゲットがpのドメイン内に存在することが分かっているとき、
P(p|f)≧P(O|f) (8)
となることを保証する。
式(8)、及び
という関係は、
(9)
であることを含意する。
実際には、以下の式が計算のために使われる。
(10)
上式は、無占有誤検出率である。この確率をより正確に推定するための占有頻度を収集することも可能であろう。ただし、無占有誤検出率は、かなり小さいはずなので、正確さが増大してもそれは限界となるであろう。
が成り立つために空でなければならないウィンドウセットは、画像ウィンドウw及びその隣接ウィンドウを含む。Nと定義されるn個の隣接ウィンドウからなるこのセットがw自体を含む場合、
(11)
となる。
条件
は、オーバーラップ領域内にターゲットがないこと、さらに
であることを保証する。したがって実際には、以下の関係が仮定される。
(12)
上式で、
は、占有判定プロセスに対する無占有検出率であり、nは、N、すなわちpが算出される基となるwの近隣のサイズである。式11中の加算の第2項を構成する因数は両方とも、2つの小さい確率の積に関するので、実際には小さく、したがって、第1項より著しく小さい。第2の項はしたがって、計算のために無視してよい。
式(7)にある残りの項P(f)及び
は次いで、評価を必要とする。
(13)
上式で、P(o|f)及び
は占有判定プロセスの(既知の)占有検出率/占有誤検出率であるので、カウントすることによってP(o)を測定することができる。
であるとすると、この関係は、P(f)と、次いで
とを判定するために式(13)に置き換えることができる。
したがって、例示的な本実施形態では、尤度比Lのさらに絞り込まれた推定を判定することができ、この推定により、以下の測定データに基づいて、2つの画像ウィンドウがオーバーラップする見込みがどの程度あるかというより正確な測度が得られる。
・各画像ウィンドウが占有されたことがある回数のカウント
・各画像ウィンドウペアが除外されたことがある回数のカウント
・各画像ウィンドウペアがおそらく除外されたことがあるであろう回数のカウント
・占有検出に対する占有検出率/占有誤検出率
・占有検出に対する無占有検出率/無占有誤検出率
この手法では、画像ウィンドウの間のオーバーラップ又は結合性の可能性を識別し又は排除する際に、利用可能な占有情報をすべて利用する。このような利用は、入手可能な証拠によって十分にサポートされる結論に達するために、関与する因数を正確にモデル化することによって遂行される。
履歴データに基づく尤度比の算出及び組込みでは、各画像ウィンドウペアが本当にオーバーラップする(又はしない)という命題における信頼性レベルを表すことによって、所与のときに画像ウィンドウの占有又は非占有を判定する際に、検出エラーを考慮に入れる。この信頼性レベルは次いで、判定された除外又はオーバーラップを認めるか、それとも拒絶するか判定するとき、閾値と比較することができる。
この手法は、特に占有判定プロセスにおいて多大なエラー率が予期されるシステムでは、画像ウィンドウセットの活動トポロジ推定の効能をさらに向上させ得ることが、当業者には理解されよう。
図1を再度参照すると、ネットワーク監視システム100などの監視ネットワーク内のカメラはしばしば、自然なクラスタ又はゾーンを形成することが分かる。たとえば、ネットワーク監視システム100において、建物200は、各オフィス内の1又は複数のカメラ、廊下及び公共スペースをモニタするカメラ、並びに建物外部をモニタするカメラを含むものと見なすことができる。このグループ分けは、トポロジ取得及び追跡問題の、この地点に関するいくつかの監視ゾーンへの分解を提案する。説明のための例として、各部屋は、廊下など、オーバーラップするいくつかのカメラを有するゾーンであると判定することができ、カメラのセットはロビーなどをモニタする。
ゾーンは通常、ゾーン内のカメラの移行頻度が高く、移行が多くのやり方で起こり得るという特徴によって定義されることになるが、ゾーンの間での移行はより厳しく制約される。たとえば、図1に示したように、屋外ゾーン(たとえばカメラ1、2、14)とロビーゾーン(たとえばカメラ15、13、12、11、16)との間での唯一の移行は、建物の正面ドアを通ることによるものであり得る。このように、所与のカメラ又は画像ウィンドウがゾーン内にあるかどうかという判定は、カメラネットワークに対する活動トポロジに基づく、後に起こるネットワーク追跡問題を大きく簡略化することになる。この簡略化は、誤動作するカメラが置き換えられ、又は新しいカメラがネットワークに追加される所では特に重要である。
本発明の別の例示的実施形態では、カメラ又は対応する画像ウィンドウの、ゾーンへのこのようなグループ分け、及びゾーンに関するペア単位の比較の実施が実現される。有利には、占有ベクトルは、その形により、論理or演算子を用いてマージされることになり、そうすることによって、ある応用分野では、ゾーンに対応する画像ウィンドウのサブセットに対する複合占有ベクトルが形成されることになる。マージされた占有ベクトルmは、ベクトルセット{a...a}に対して、
と定義される。
占有ベクトルセットをこのようにマージすると、個々の占有ベクトルに対応する画像ウィンドウすべての全体としての占有を表す新しいベクトルが生じる。このタイプのマージされた占有ベクトルは、単一の画像ウィンドウを表す占有ベクトルと同じ目的で使うことはできないことに留意することが重要である。これは、マージされた占有ベクトルの中の1が、対応する複合画像ウィンドウエリア全体の占有を含意しないからである。この例として、
の結果が1であり得ることが予期される。ただし、
の結果は、常に0になる。
このように、マージされた占有ベクトルは、ペア単位の比較を実施するとき、
演算子への第2のオペランドとして使うことができる。マージされた占有ベクトルは、標準占有ベクトルo、又は好ましくは、図4に示す状況が起こる場合など、適切な場合には、wに対応するパディングされた占有ベクトルpに基づき得る。したがって、ウィンドウwと、ゾーンを形成し得る画像ウィンドウのサブセット{w...w}とのオーバーラップは次いで、
を算出することによって判定することができる。
このプロセスは、以下のように、擬似コードとして簡単に表すことができる。
OverlappingWindowSet = function HierarchicalOverlap(w, S)
% wは追加されたカメラ内のウィンドウである
% S = {wi,...,wn}は、システム内に既に存在するウィンドウセット(たとえばゾーン)である
set o to be the occupancy vector for the window w

% 最初に、S中に1個のウィンドウwがあるケース
if n = 1 then
set p to be the padded occupancy vector for the window w1
if not excluded(o, p) then
OverlappingWindowSet = {w1}
endif
endif
% 次いで、Sが複数のウィンドウを含むケースでは再帰する
OverlappingWindowSet = { }
set m = n/3
while S not empty
set Sm to be the first m elements of S
set m to be the union of the padded occupancy vectors for Sm
if not excluded(o, m) then
OverlappingWindowSet = OverlappingWindowSet + HierarchicalOverlap (w, Sm)
endif
set S=S - Sm
endwhile
return
ゾーン内部のパディングされた占有ベクトルをマージすることによって、活動トポロジに新しいカメラ又はセンサを追加する際に階層的手法をとることが可能になる。既存のカメラは、任意に、又は結合性、及び上述したorプロセスを用いて複合された、対応する占有ベクトルなど、何らかの基準によってグループ分けしてよい。新しい各カメラは次いで、その占有ベクトルをグループのベクトルと比較することによって、こうしたグループと突き合わせて除外に関してテストすることができる。これにより、カメラをグループ各々に関連づける活動トポロジが確立される。活動トポロジ関係が検出されるケースでは、グループを下位グループに階層状に分割し、その各々と除外をテストすることによって、さらに指定することができる。このプロセスは、個々のカメラからなるセットが、新たに追加されたカメラとオーバーラップすると識別されるまで続けることができる。
本方法については、両方のシミュレート済みデータに関してテストし、実際のカメラデータに応用した。ある応用分野では、位置及び方向がランダムに生成された50台のカメラからなるネットワークをシミュレートするために、合成データが生成された。さらに、歩行者又は「ターゲット」の経路は、自動回帰プロセスによってランダムに生成され、そうすることによって占有データが提供された。ネットワークにおける歩行者の活動の重要な測度は、占有を呈するフレーム数である。
実施された検査では、各カメラに対して1,000フレームが生成され、この期間にわたってネットワーク全体で1,255のウィンドウ占有が識別された。各カメラの視野に対応するカメラ画像は、100個の画像ウィンドウに分割され、合成カメラネットワークに対して合計で5,000画像ウィンドウとなった。実施された検査は、すべての画像ウィンドウペアw、wに対する
の値の算出からなるものであった。こうした算出は、100フレームごとに段階的に実施された。この算出は、毎秒30フレームで4秒未満の映像、又は毎秒5フレームで20秒未満の映像に相当した。各間隔にわたって、占有されるウィンドウの数が、除外の数とともに算出された。
ここで図5を参照すると、100フレームごとに行われた算出に関して、判定された除外と、それに対する占有されるウィンドウの数のグラフが示されている。シミュレートされたネットワークに対する除外の総数は、約2.5×10である。ネットワークの活動トポロジについての情報は、時間とともにある程度遅くなる情報取得率で非常に素早く得られることが分かる。こうした結果についても、オーバーラップの代数分析によって調べ、測定された除外はそれぞれ、その分析等価物と一致し、どれもエラーがあることは見受けられなかったことが分かった。
本発明による方法を、部分的にオーバーラップする4台のカメラを含むネットワーク監視システムにも応用し、カメラそれぞれから84秒の映像が記録された。本実施形態では、各カメラ画像は、255個の画像ウィンドウに分割され、1,471のウィンドウ占有が測定された。ネットワークに対するウィンドウの総数は1,125であったが、そのうち156個のみが84秒の過程において占有された。
再度、すべての画像ウィンドウペアw、wに対する
の値が算出され、算出された除外は合計で252,105となった。ウィンドウペアの総数は1,265,625であったが、本実施形態ではウィンドウの大多数がトラフィックに遭遇しなかったので、除外の数は、この数に近づくことが予期されなかった。除外されるエリアを判定するために、ランダムに選択された20個の画像ウィンドウからなるサンプルについても手作業で調べ、算出された除外と比較していかなるエラーも明らかにならなかった。
上述した実施形態を手短に検討すると、検知データウィンドウのセットに対する活動トポロジを判定する極めて効果的な手法を本発明が提供することが示される。この手法では最初に、すべての検知データウィンドウが潜在的にリンクされると仮定し、次いで、活動の肯定的証拠を組み立てる比較的遅いプロセスではなく、不可能な結合を連続して排除しようとする。これは、特に限られた量のデータが利用可能なときには、より行いやすい決定である。
本発明は、どのイベント相関も偶然による可能性があるので、カメラ又はセンサの間の肯定的関係を証明することは不可能であるが、あるカメラにおいて対象を観察し別のカメラでは全く観察しないことによって否定関係又は非オーバーラップを証明することは可能であるという認識にも基づく。時間の経過につれて、実際の動きパターンは、証拠によって矛盾しないパターンとして現れる。こうしたパターンは次いで、必要とされる場合は他の手法を用いてより細かいレベルのサーチを初期化するのに使うことができる。さらに、本方法は、各カメラ又はセンサ表示内部の対象の正確な追跡に依拠しない。したがって、この手法は簡単にスケーリング可能であり、さらにネットワーク内の個々のカメラ及び/又はセンサの位置決め、方向及びセットアップに関する正確な情報に依拠しない。
本明細書において使われる「備える(comprise)」という用語及びそのどの派生形(たとえば、comprises、comprising)も、それが指す特徴を包括するものと見なされるべきであり、特段の記載又は暗示がない限り、どの追加特徴の存在も除外することを意図していないことが理解されよう。
本明細書で開示した実施形態に関連して記載した様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムのステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組合せとして実装できることが、当業者には理解されよう。ハードウェア及びソフトウェアのこの交換可能性を明らかに示すために、様々な例示的構成要素、ブロック、モジュール、回路、及びステップを、概してその機能性によって上で説明した。このような機能性がハードウェアとして、それともソフトウェアとして実装されるかは、特定のアプリケーション及び全体としてのシステムに対して課せられる設計上の制約に依存する。当業者は、説明した機能性を、具体的な応用分野向けに様々なやり方で実装してよいが、このような実装における決定は、本発明の範囲からの逸脱を引き起こすものと解釈されるべきでない。
さらに、情報及び信号は、異なる様々な技術及び技法のどれを用いても表すことができることが当業者には理解されよう。たとえば、上記説明を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、記号及びチップは、電圧、電流、電磁波、磁場若しくは磁気粒子、光場若しくは光学粒子、又はそのどの組合せでも表すことができる。
本発明の方法及びシステムのいくつかの実施形態を上記の詳細な説明において説明したが、本発明は開示した実施形態に限定されず、添付の特許請求の範囲によって説明し定義した本発明の範囲から逸脱することなく多数の再編成、変更形態及び代用が可能であることが理解されよう。

Claims (15)

  1. 検知データウィンドウのセットの活動トポロジを推定する方法であって、前記検知データウィンドウがそれぞれ、対応する検知領域に関連し、
    結合していない検知データウィンドウのサブセットを判定するステップと、
    検知データウィンドウの前記セットから検知データウィンドウの前記サブセットを除外するステップとを含む方法であって、
    前記検知データウィンドウのサブセットを判定するステップが、検知データウィンドウのセットのうち、検知データウィンドウを1ペアずつ比較するステップを含み、
    前記検知データウィンドウを1ペアずつ比較するステップが、検知データウィンドウのペアが、オーバーラップする検知領域をもたないかどうか判定するステップを含み、
    前記検知データウィンドウのペアがオーバーラップする検知領域をもたないかどうか判定するステップが、第1及び第2の検知データウィンドウが検知データウィンドウの前記ペアを含む、第1の検知データウィンドウに対する第1の占有測度及び第2の検知データウィンドウに対する第2の占有測度を判定するステップ、並びに前記第1及び第2の占有測度を比較するステップを含み、
    前記第1及び第2の占有測度を比較するステップが、第1の検知データウィンドウに関連づけられた第1の検知データウィンドウシーケンスに対応する占有ベクトルと、第2の検知データウィンドウに関連づけられた第2の検知データウィンドウシーケンスに対応する第2の占有ベクトルとを形成するステップ、並びに前記第1及び第2の占有ベクトルの対応する要素を比較するステップを含む、
    前記方法
  2. 第1及び第2の占有ベクトルの対応する要素を比較するステップが、関連づけられた第1及び第2の検知データウィンドウがオーバーラップしないと判定するために、前記第1及び第2の占有ベクトルに対してベクトルの排他的or演算を実施することを含む、請求項に記載の方法。
  3. 第2の検知データウィンドウシーケンスに対応する第2の占有ベクトルが、第2の検知データウィンドウ及びその最近傍の検知データウィンドウに基づき、そうすることによってパディングされた占有ベクトルを形成する、請求項に記載の方法。
  4. 第1及び第2の占有ベクトルの対応する要素を比較するステップが、関連づけられた第1及び第2の検知データウィンドウがオーバーラップしないと判定するために、前記第1の占有ベクトル及びパディングされた占有ベクトルに対してベクトルの排他的or演算を実施することを含む、請求項に記載の方法。
  5. 第1及び第2の占有ベクトルの対応する要素を比較するステップが、関連づけられた第1及び第2の検知データウィンドウがオーバーラップしないと判定するために、前記第1の占有ベクトル及びパディングされた占有ベクトルに対してベクトルの一方向排他的or演算を実施することを含む、請求項に記載の方法。
  6. 第1及び第2の占有ベクトルの対応する要素を比較するステップが、前記第1及び第2の占有ベクトルの一方又は両方の隣接要素にわたって比較を行うことを含む、請求項1〜5のいずれかに記載の方法。
  7. 検知データウィンドウのペアがオーバーラップする検知領域をもたないと判定するステップが、検知データウィンドウのペアがオーバーラップするという誤指示の尤度を考慮することを含む、請求項1〜6のいずれかに記載の方法。
  8. 検知データウィンドウのペアがオーバーラップするという誤指示の尤度を考慮するステップが、検知データウィンドウの前記ペアに関連づけられた以前のデータに基づく、請求項に記載の方法。
  9. 検知データウィンドウのペアがオーバーラップするという誤指示の尤度を考慮するステップが、検知データウィンドウの前記ペアに関連づけられた1つのセンサ又は複数のセンサのエラー率を考慮することを含む、請求項7又は8に記載の方法。
  10. 検知データウィンドウが画像ウィンドウであり、第1及び第2の検知データウィンドウシーケンスが第1及び第2の画像ウィンドウシーケンスに対応する、請求項1〜9のいずれかに記載の方法。
  11. 第1及び第2の画像ウィンドウシーケンスが、それぞれの時系列の画像に対応する、請求項10に記載の方法。
  12. 時系列の画像が、ネットワーク監視システム内のカメラによって与えられる、請求項11に記載の方法。
  13. 結合しているセンサデータウィンドウのさらなるサブセットを判定するステップをさらに含む、請求項1〜12のいずれかに記載の方法。
  14. それぞれが検知領域に対応し全体として検知データウィンドウのセットを形成する1又は複数の検知データウィンドウを各センサが提供するセンサネットワークと、
    結合していない検知データウィンドウのサブセットを判定し、検知データウィンドウの前記セットから検知データウィンドウの前記サブセットを除外するデータ処理手段とを含むネットワーク監視システムであって、
    前記検知データウィンドウのサブセットを判定する手段が、検知データウィンドウのセットのうち、検知データウィンドウを1ペアずつ比較する手段を含み、
    前記検知データウィンドウを1ペアずつ比較する手段が、検知データウィンドウのペアが、オーバーラップする検知領域をもたないかどうか判定する手段を含み、
    前記検知データウィンドウのペアがオーバーラップする検知領域をもたないかどうか判定する手段が、第1及び第2の検知データウィンドウが検知データウィンドウの前記ペアを含む、第1の検知データウィンドウに対する第1の占有測度及び第2の検知データウィンドウに対する第2の占有測度を判定する手段、並びに前記第1及び第2の占有測度を比較する手段を含み、
    前記第1及び第2の占有測度を比較する手段が、第1の検知データウィンドウに関連づけられた第1の検知データウィンドウシーケンスに対応する占有ベクトルと、第2の検知データウィンドウに関連づけられた第2の検知データウィンドウシーケンスに対応する第2の占有ベクトルとを形成する手段、並びに前記第1及び第2の占有ベクトルの対応する要素を比較する手段を含む、
    前記ネットワーク監視システム
  15. 検知データウィンドウのセットの活動トポロジを推定する方法ステップを実施するための命令からなるプログラムを有形に実施する、マシン可読なプログラム記憶装置であって、前記検知データウィンドウがそれぞれ、対応する検知領域に関連し、前記方法ステップが、
    結合していない検知データウィンドウのサブセットを判定するステップ、及び検知データウィンドウの前記セットから検知データウィンドウの前記サブセットを除外するステップを含むプログラム記憶装置であって、
    前記検知データウィンドウのサブセットを判定するステップが、検知データウィンドウのセットのうち、検知データウィンドウを1ペアずつ比較するステップを含み、
    前記検知データウィンドウを1ペアずつ比較するステップが、検知データウィンドウのペアが、オーバーラップする検知領域をもたないかどうか判定するステップを含み、
    前記検知データウィンドウのペアがオーバーラップする検知領域をもたないかどうか判定するステップが、第1及び第2の検知データウィンドウが検知データウィンドウの前記ペアを含む、第1の検知データウィンドウに対する第1の占有測度及び第2の検知データウィンドウに対する第2の占有測度を判定するステップ、並びに前記第1及び第2の占有測度を比較するステップを含み、
    前記第1及び第2の占有測度を比較するステップが、第1の検知データウィンドウに関連づけられた第1の検知データウィンドウシーケンスに対応する占有ベクトルと、第2の検知データウィンドウに関連づけられた第2の検知データウィンドウシーケンスに対応する第2の占有ベクトルとを形成するステップ、並びに前記第1及び第2の占有ベクトルの対応する要素を比較するステップを含む、
    前記プログラム記憶装置
JP2009536563A 2006-11-20 2007-11-20 ネットワーク監視システム Active JP5479907B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2006906433 2006-11-20
AU2006906433A AU2006906433A0 (en) 2006-11-20 Network surveillance system
PCT/AU2007/001782 WO2008061298A1 (en) 2006-11-20 2007-11-20 Network surveillance system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013241986A Division JP5795048B2 (ja) 2006-11-20 2013-11-22 ネットワーク監視システム

Publications (2)

Publication Number Publication Date
JP2010510697A JP2010510697A (ja) 2010-04-02
JP5479907B2 true JP5479907B2 (ja) 2014-04-23

Family

ID=39429301

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009536563A Active JP5479907B2 (ja) 2006-11-20 2007-11-20 ネットワーク監視システム
JP2013241986A Active JP5795048B2 (ja) 2006-11-20 2013-11-22 ネットワーク監視システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013241986A Active JP5795048B2 (ja) 2006-11-20 2013-11-22 ネットワーク監視システム

Country Status (10)

Country Link
US (2) US8396250B2 (ja)
EP (1) EP2095640A4 (ja)
JP (2) JP5479907B2 (ja)
CN (1) CN101569194B (ja)
AU (1) AU2007324337B8 (ja)
CA (1) CA2669972C (ja)
HK (1) HK1131494A1 (ja)
IL (1) IL198740A (ja)
NZ (1) NZ577171A (ja)
WO (1) WO2008061298A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097226A1 (en) * 2008-10-22 2010-04-22 Leviton Manufacturing Co., Inc. Occupancy sensing with image and supplemental sensing
WO2011022577A1 (en) * 2009-08-20 2011-02-24 Purdue Research Foundation Predictive duty cycle adaptation scheme for event-driven wireless sensor networks
US10063758B2 (en) * 2014-10-03 2018-08-28 Davo Scheich Vehicle photographic tunnel
US10698111B2 (en) * 2015-05-15 2020-06-30 Sikorsky Aircraft Corporation Adaptive point cloud window selection
FR3039728B1 (fr) * 2015-07-28 2017-10-27 Airbus Defence & Space Sas Procede de planification d'acquisition d'images de zones terrestres par un engin spatial
US10609438B2 (en) * 2015-08-13 2020-03-31 International Business Machines Corporation Immersive cognitive reality system with real time surrounding media
KR102410268B1 (ko) * 2015-11-20 2022-06-20 한국전자통신연구원 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치
CN108885436B (zh) * 2016-01-15 2021-12-14 美国iRobot公司 自主监视机器人***
GB2553108B (en) * 2016-08-22 2020-07-15 Canon Kk Method, processing device and system for managing copies of media samples in a system comprising a plurality of interconnected network cameras
EP4350431A3 (en) 2016-12-07 2024-07-03 Scheich, Davo Vehicle photographic chamber
US11412135B2 (en) 2018-12-05 2022-08-09 Ovad Custom Stages, Llc Bowl-shaped photographic stage

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
JPH06251159A (ja) * 1993-03-01 1994-09-09 Nippon Telegr & Teleph Corp <Ntt> 動作認識装置
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6192156B1 (en) * 1998-04-03 2001-02-20 Synapix, Inc. Feature tracking using a dense feature array
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
JP2003279315A (ja) * 2002-01-16 2003-10-02 Advanced Telecommunication Research Institute International カメラの自動校正方法
WO2004045215A1 (en) * 2002-11-12 2004-05-27 Intellivid Corporation Method and system for tracking and behavioral monitoring of multiple objects moving throuch multiple fields-of-view
US7286157B2 (en) * 2003-09-11 2007-10-23 Intellivid Corporation Computerized method and apparatus for determining field-of-view relationships among multiple image sensors
US20050073585A1 (en) * 2003-09-19 2005-04-07 Alphatech, Inc. Tracking systems and methods
CN1266656C (zh) * 2003-12-30 2006-07-26 上海交通大学 视频监控***的智能化报警处理方法
GB2414614A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Image processing to determine most dissimilar images
US7542613B2 (en) * 2004-09-21 2009-06-02 Sanyo Electric Co., Ltd. Image processing apparatus
US7609290B2 (en) * 2005-01-28 2009-10-27 Technology Advancement Group, Inc. Surveillance system and method
US8137303B2 (en) * 2006-05-08 2012-03-20 Becton, Dickinson And Company Vascular access device cleaning status indication
US20080077510A1 (en) * 2006-09-21 2008-03-27 Polymer Logistics Bv Method And System For Providing Security Surveillance And Shelf Monitoring Functions

Also Published As

Publication number Publication date
US20130242109A1 (en) 2013-09-19
US8396250B2 (en) 2013-03-12
EP2095640A1 (en) 2009-09-02
CN101569194A (zh) 2009-10-28
NZ577171A (en) 2012-10-26
CN101569194B (zh) 2013-07-10
JP2014078962A (ja) 2014-05-01
AU2007324337A1 (en) 2008-05-29
AU2007324337B2 (en) 2011-10-06
EP2095640A4 (en) 2017-05-10
WO2008061298A1 (en) 2008-05-29
CA2669972A1 (en) 2008-05-29
CA2669972C (en) 2018-08-21
JP5795048B2 (ja) 2015-10-14
IL198740A0 (en) 2010-02-17
AU2007324337B8 (en) 2011-11-10
HK1131494A1 (en) 2010-01-22
US9185355B2 (en) 2015-11-10
JP2010510697A (ja) 2010-04-02
IL198740A (en) 2015-04-30
US20100067801A1 (en) 2010-03-18

Similar Documents

Publication Publication Date Title
JP5795048B2 (ja) ネットワーク監視システム
JP7428213B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP5224401B2 (ja) 監視システムおよび方法
Ko A survey on behavior analysis in video surveillance for homeland security applications
KR100904846B1 (ko) 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법
US20170364817A1 (en) Estimating a number of occupants in a region
US20030123703A1 (en) Method for monitoring a moving object and system regarding same
US20090041297A1 (en) Human detection and tracking for security applications
JP2004533682A (ja) 識別を備えた追跡のための方法と装置
WO2003003721A1 (en) Surveillance system and methods regarding same
Ko A survey on behaviour analysis in video surveillance applications
Doulamis Iterative motion estimation constrained by time and shape for detecting persons' falls
Woodstock et al. Sensor fusion for occupancy detection and activity recognition using time-of-flight sensors
CN109977796A (zh) 尾随通行检测方法及装置
Van Den Hengel et al. Activity topology estimation for large networks of cameras
Van Den Hengel et al. Finding camera overlap in large surveillance networks
Zhao et al. A sensor-service collaboration approach for target tracking in wireless camera networks
Gonzalez et al. Data mining-based localisation of spatial low-resolution sensors in commercial buildings
Peng et al. Multi-camera pedestrian detection with multi-view bayesian network model.
Neupane et al. Sound Detection Technology and Heron’s Law for Secure Monitoring System
JP2023062386A (ja) 異常検知システム及び方法
Thiripurasundhari et al. Suspicious Movement Detection and Tracking based on Color Histogram
Lobaton et al. Robust construction of the camera network complex for topology recovery
Wei et al. Novel approach based on topological simplification algorithm optimized with particle swarm optimization
Messaoudi et al. Dempster-Shafer based information quality processing in smart environments.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120726

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121023

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121030

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121126

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131122

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140213

R150 Certificate of patent or registration of utility model

Ref document number: 5479907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250