JP5267782B2 - セキュリティ装置、セキュリティシステム、セキュリティカメラ、セキュリティシステム操作方法、セキュリティ監視方法及びプログラム - Google Patents

セキュリティ装置、セキュリティシステム、セキュリティカメラ、セキュリティシステム操作方法、セキュリティ監視方法及びプログラム Download PDF

Info

Publication number
JP5267782B2
JP5267782B2 JP2008162572A JP2008162572A JP5267782B2 JP 5267782 B2 JP5267782 B2 JP 5267782B2 JP 2008162572 A JP2008162572 A JP 2008162572A JP 2008162572 A JP2008162572 A JP 2008162572A JP 5267782 B2 JP5267782 B2 JP 5267782B2
Authority
JP
Japan
Prior art keywords
security
feature vector
data
sequence
monitoring method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008162572A
Other languages
English (en)
Other versions
JP2009003940A (ja
Inventor
リチャード ソープ ジョナサン
ウィリアム アモス ディヴィッド モーガン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JP2009003940A publication Critical patent/JP2009003940A/ja
Application granted granted Critical
Publication of JP5267782B2 publication Critical patent/JP5267782B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)

Description

本発明は、セキュリティ装置及びシステムに関する。
セキュリティ装置を有するセキュリティシステムがますます普及しつつある。一般に、セキュリティシステムは、望ましくない出来事をビデオに撮影できるように、或る場所（複数可）を監視するために用いられる。また、出来事に直ちに対処することができる警備員が、セキュリティシステムを操作及び監視することがより一般的である。典型的な既知のセキュリティシステムを用いて、多数の部屋及び場所を監視することができる。１つの部屋におけるセキュリティシステムの設定を、図１を参照して説明する。複数の既知のセキュリティカメラ１０２が、部屋１００内の複数の異なる位置に設置される。典型的には、既知のセキュリティカメラ１０２は、任意の１つの特定のセキュリティカメラ１０２の視野に入る部屋の範囲が最大になるように高い位置に配置され、方向付けられる傾向がある。図１の従来技術例においては、３つの既知のセキュリティカメラ１０２が部屋１００内に配置されている。
部屋１００を監視するために、各既知のセキュリティカメラ１０２からの出力フィードが既知の制御部１０４に送られる。既知の制御部１０４は通常、部屋１００から離れて、典型的には制御センターに配置される。実際には、既知の制御部１０４が、多数の場所に配置された多数の既知のセキュリティカメラから出力フィードを受信する。制御センターには、各既知のセキュリティカメラ１０２からの出力フィードを表示する既知のモニタ１０６が設けられている。既知のモニタ１０６は、各既知のセキュリティカメラ１０２からの出力フィードの監視に対して責任を負う警備員により観察される。
本例のように、３つの既知のセキュリティカメラ１０２からの出力フィードを監視するときには、警備員の作業はそう難しいものではない。しかしながら、ほとんどの状況において、多数の類似の部屋又は場所が警備員によって同時に監視され、そして各部屋により照明条件、人の出入りの回数等が異なる。これは通常、１人の警備員が、何十、ことによると何百もの既知のセキュリティカメラからの出力フィードを観察及び監視することに対して責任を負い得ることを意味する。これは、警備員が出来事を目撃せず、したがってこのような出来事に直ちに対応できない可能性があることを意味する。
図２は、典型的な既知のモニタ１０６のスクリーンを示す。図２で分かるように、スクリーンの最も一般的な構成は、各出力フィードに付された既知のセキュリティカメラ１０２の識別情報を有する。この識別情報は、既知のセキュリティカメラ１０２の位置か、又は図２の例に示すように番号であり得る。一般的には、既知のセキュリティカメラ１０２の出力フィードが、モニタ１０６上に、位置順、又は番号の昇順若しくは降順に並べられる。図２の例では、出力フィードは番号の昇順に並べられている。
国際公開第０２／４１２７３号パンフレット 米国特許公開第２００６／００５３３４２号明細書 英国特許第２４２７３１９号明細書 米国特許第７２２７８９３号明細書 米国特許公開第２００３／０１５１６７０号明細書 米国特許公開第２００２／０１５４７９１号明細書 米国特許公開第２００６／００５３４５９号明細書 国際公開第２００５／１２００７１号パンフレット 国際公開第２００７／０３０１６８号パンフレット
Ｎ個の出力フィードが示されている図２から分かるように、監視する警備員にとって監視すべき出力フィードが非常に多いだけでなく、各出力フィードの大きさが小さく、これは各出力フィードがより観察しにくいことを意味する。
したがって、本発明の目的は上記問題に対処することである。
本発明の一態様によれば、セキュリティ装置が提供される。当該セキュリティ装置は、比較手段と、トリガ信号生成手段と、特徴ベクトル表現生成手段と、異常報知手段とを具備する。
前記比較手段は、監視中の場所から取得された感知データの表現の第１のシーケンスを、他の対応する感知データの表現の第２のシーケンスと比較するように動作可能である。
前記トリガ信号生成手段は、前記比較に応じて、トリガ信号を生成するように動作可能である。
前記特徴ベクトル表現生成手段は、前記感知データの特徴ベクトル表現を生成するように動作可能である。
前記異常報知手段は、前記第１のシーケンスにおける各特徴ベクトルと前記第２のシーケンスにおける各特徴ベクトルとの間のユークリッド距離に従って、両各特徴ベクトル間の違いを示す異常値を生成するように動作可能である。
前記トリガ信号生成手段は、前記異常値に応じて前記トリガ信号を生成するように動作可能である。
トリガ信号の生成により、セキュリティシステムが多数の場所を自動的に監視可能となるため、トリガ信号の生成は有用である。これにより、必要とされる警備員の人数が減る。さらに、その場所を監視している警備員がより迅速に出来事に気付くようになるため、出来事に対処するまでの時間が短縮される。
前記比較手段は、前記第１のシーケンスを、所定の時間間隔にわたって取得された前記第２のシーケンスと比較するように動作可能である。
前記セキュリティ装置は、前記監視中の場所から取得された画像データ、音声データ、及び／又はセンサ入力データのうちの少なくとも１つから生成された感知データを有してもよい。
前記感知データは、グランドトルースメタデータであってもよい。
前記セキュリティ装置は、前記生成された特徴ベクトルの次元を、主成分分析を用いて縮小するように動作可能な特徴ベクトル縮小手段をさらに具備してもよい。
前記セキュリティ装置は、前記感知データの前記生成された特徴ベクトル表現を用いて、自己組織化マップを生成するように動作可能な手段を具備してもよい。
前記第２のシーケンスは、ユーザの入力に応じて更新されてもよい。
前記第２のシーケンスは、ビジネスロジックによって提供されてもよい。
前記ビジネスロジックは、隠れマルコフモデルであってもよい。
別の態様によれば、ネットワークを介して、上記のようなセキュリティ装置に接続可能なシステムが提供される。当該システムは、処理手段と送信手段とを具備する。
処理手段は、感知データの表現と、当該感知データの表現に関連する画像データ、音声データ及び／又はセンサ入力データのうちの少なくとも１つから生成される他のデータとを受信して、前記受信した感知データの表現及び前記受信した他のデータに従って、所定の表現のシーケンスを生成するように動作可能である。
送信手段は、前記セキュリティ装置に、前記生成された所定のシーケンスを送信するように動作可能である。
別の態様によれば、制御手段と、モニタと、アーカイブと、上記のセキュリティ装置とを具備するセキュリティシステムが提供される。
上記制御手段は、少なくとも１つのセキュリティカメラに接続される。
上記アーカイブは、取得されたマテリアルの前記表現を、対応する画像データ、音声データ及び／又はセンサ入力データのうちの少なくとも１つと関連付けて記憶するように動作可能である。
前記セキュリティシステムにおいて、前記制御手段は、前記セキュリティカメラからの出力フィードを前記モニタ上に表示するように動作可能であってもよく、当該表示される出力フィード（複数可）の顕著度は、トリガ信号によって定まる。
別の態様によれば、画像取得手段と、上記のセキュリティ装置とを具備するセキュリティカメラが提供される。
別の態様によれば、上記のシステムの操作方法が提供される。当該方法では、金銭又は金銭の等価物と引き換えに前記所定のシーケンスが生成される。
この場合、前記金銭又は金銭の等価物は定期的に支払われる。
別の態様によれば、セキュリティ監視方法が提供される。当該方法では、監視中の場所から取得された感知データの表現の第１のシーケンスを、他の対応する感知データの表現の第２のシーケンスと比較し、当該比較に応じて、トリガ信号を生成し、前記感知データの特徴ベクトル表現を生成し、前記第１のシーケンスにおける各特徴ベクトルと前記第２のシーケンスにおける各特徴ベクトルとの間のユークリッド距離に従って、前記両各特徴ベクトル間の違いを示す異常値を生成し、当該異常値に従って前記トリガ信号を生成する。
前記第２のシーケンスは、所定の時間間隔にわたって取得されてもよい。
前記感知データは、監視中の場所から取得された画像データ、音声データ及び／又はセンサ入力データのうちの少なくとも１つから生成されてもよい。
前記感知データは、グランドトルースメタデータであってもよい。
本態様による方法は、さらに、前記生成された特徴ベクトルの次元を、主成分分析を用いて縮小してもよい。
前記方法は、さらに、前記感知データの前記生成された特徴ベクトル表現を用いて、自己組織化マップを生成してもよい。
前記第２のシーケンスは、ユーザの入力に応じて更新されてもよい。
前記第２のシーケンスは、ビジネスロジックによって提供されてもよく、また、当該ビジネスロジックは隠れマルコフモデルであってもよい。
別の態様によれば、監視中の場所から取得された感知データの表現のシーケンスを表す、機械読み取り可能なセキュリティデータが提供される。このセキュリティデータは、当該セキュリティデータと他の対応する感知データの表現のシーケンスとの比較に応じて、トリガ信号を生成するように構成される。
別の態様によれば、コンピュータ読み取り可能な命令を有するコンピュータプログラムが提供される。前記コンピュータ読み取り可能な命令は、コンピュータにロードされると、コンピュータに上記の方法を実行させる。
別の態様によれば、上記のようなコンピュータプログラムを記憶するように構成された記憶媒体が提供される。
以下の説明により本発明の実施形態の他の明確な特徴及び利点が明らかとなり、少なくともいくつかは添付の特許請求の範囲において提示される。
これより、本発明の一実施形態を、添付の図面を参照しながら例示としてのみ説明する。
本発明の一実施形態に係るセキュリティシステム３００を、図３を参照して説明する。大まかに言って、一実施形態に係るセキュリティシステム３００は、３つの部分に分割できる。すなわち、セキュリティカメラ３０２、監視システム３１２、及びセキュリティ維持システム３２０である。これらの各部分を別々に説明する。例えば、一実施形態のセキュリティカメラ３０２は、図１に関連して説明した既知のセキュリティカメラの位置と同じ位置に配置される。言い換えれば、一実施形態に係るセキュリティカメラは、部屋等の特定の場所を監視するように配置される。また、監視システム３１２は、制御センターに配置されてもよく、本発明の一実施形態の複数のセキュリティカメラ３０２又は既知のセキュリティカメラ又はそれらの組み合わせからの出力フィードを受信し得る。
一実施形態におけるセキュリティカメラ３０２は、カメラ部３０４と、特徴ベクトル生成部３０８と、異常値及びトリガ処理部３１０とを有する。
カメラ部３０４は、レンズ部及び光検出部を有する（特に図示しない）。レンズ部は、付与された光を光検出部に集める。このレンズ部により、セキュリティカメラ３０２には特定の視野が与えられる。光検出部は、集められた光を、後続の処理のために電気信号に変換する。光検出部は、電荷結合素子（Charge Couple Device：ＣＣＤ）であってもよいし、他の同様の素子であってもよい。本実施形態では、光検出部はカラー光検出部であるが、光検出部が白黒光検出部であっても構わない。光を捕捉してＣＣＤに集める機構は既知であり、これ以上は説明しない。
カメラ部３０４からの出力フィードは、特徴ベクトル生成部３０８に送られる。特徴ベクトル生成部３０８は、カメラ部３０４の出力フィードからの画像のいくつかの特定の特徴の特徴ベクトルを生成する。特徴ベクトルは、例えば、映像の特定のフレームから抽出された特徴から生成され、且つその特徴を表す。また、特徴ベクトルは、監視中の場所に関連する任意の感知データ（音声、テキスト又はセンサ入力からのデータを含むが、これらに限定されない）から抽出された特徴から生成され、且つその特徴を表してもよい。したがって、言い換えれば、一実施形態における特徴ベクトルは、監視中の場所に関連する感知データの１つ又は複数の記述子を抽象的に表現するベクトルである。例えば、特徴ベクトルの生成により、映像の特定のフレーム（複数可）の色相又は形状のいずれかを表すことができる。感知データは、リアルタイムで取得及び処理されてもよく、又はアーカイブデータであってもよい。
音声記述子生成部３０９及び他のセンサ記述子生成部３１１からの出力も、特徴ベクトル生成部３０８に送られる。それらの機能及び動作は、以下で示される図４の説明から明らかになるであろう。
特徴ベクトル生成部３０８は、カメラユニット３０４からの出力フィードと関連付けられた、異なるグランドトルースメタデータを表す特徴ベクトルを生成する。グランドトルースメタデータは、当該技術分野において既知の用語であるが、本文脈におけるグランドトルースメタデータとは、映像、音声、及び／又は任意の他の感知データのフレームについての、信頼性が高く且つ繰り返し可能な結果を得られるメタデータ（メタデータとは、データについてのデータであり、通常、そのメタデータが関連するデータよりもサイズが小さい）である。言い換えれば、グランドトルースメタデータは、映像、音声、及び／又は他の感知データの各フレームについての決定論的結果を提供するので、その結果は、映像のフレーム間、又は音声及び／若しくは他の感知データのサンプル間で変動しない。映像を記述するグランドトルースメタデータは、例えば、色相ヒストグラム、形状記述子又はカラーエッジヒストグラムである。音声のためのグランドトルースメタデータは、例えばピッチ検出値である。
これより、図４を参照して、特徴ベクトル生成部３０８を説明する。
本実施形態における特徴ベクトル生成部３０８は、色相ヒストグラム生成部４０２と、形状記述子生成部４０４と、動き記述子生成部４０６とを有する。カメラユニット３０４からの出力フィードは、色相ヒストグラム生成部４０２、形状記述子生成部４０４、及び動き記述子生成部４０６に送られる。色相ヒストグラム生成部４０２は、カメラユニット３０４の出力フィードからの映像の特定のフレームの色相を表す特徴ベクトルを生成する。形状記述子生成部４０４は、映像の特定のフレームの形状を表す特徴ベクトルを生成する。また、動き記述子生成部４０６は、映像の連続したフレーム間の動きを表す特徴ベクトルを生成する。
映像の連続したフレーム間の動きが特定される場合、前のフレームは、動き記述子生成部４０６内のメモリ（図示せず）に格納され、フレーム間の動きを特定するために、現フレームと比較されることに留意されたい。その後、フレーム間の動きが分析され、その動きを表す特徴ベクトルが生成される。
映像のフレームにおける色相及び形状、並びに映像のフレーム間の動きを表す特徴ベクトルを生成する一般的な手順は既知であるため、以後、この手順についての説明は提供されない。
色相ヒストグラム生成部４０２、形状記述子生成部４０４、及び動き記述子生成部４０６のそれぞれにおいて生成される特徴ベクトルは、典型的には（２００×１）ベクトルである。これらの特徴ベクトルを効率的に処理するためには、各特徴ベクトルのサイズを縮小することが望ましい。このような縮小を実行するために、これらの特徴ベクトルは特徴ベクトル縮小装置４０８に送られる。特徴ベクトル縮小装置４０８には、音声記述子生成部３０９からの音声記述子等の他の記述子、又は、動きセンサ記述子、圧力パッド記述子、振動記述子等の、センサ記述子生成部３１１からの他の記述子を表す特徴ベクトルも送られる。ここで、音声記述子生成部３０９は、色相ヒストグラム生成部４０２、形状記述子生成部４０４、及び動き記述子生成部４０６に関して説明した方法と同様にして特徴ベクトルを生成するように構成されていることに留意されたい。また、動きセンサ記述子、圧力パッド記述子、及び振動記述子は、バイナリタイプの記述子、つまりオン又はオフのどちらかである。しかしながら、このタイプの情報は有用であるが、例えば所与の期間にわたって「オン／オフ」のパターンを記述することによって改善することもできる。したがって、センサ記述子生成部３１１により生成された特徴ベクトルは、動きセンサ、圧力パッド及び振動検出部の「オン／オフ」動作のパターンを記述する。これにより、動きセンサ、圧力センサ及び振動センサの所与の期間にわたる出力が得られ、したがって感知データも得られる。センサ記述子に関しては、センサ記述子から得られた結果にいくらかの履歴的情報が与えられるように、浮動小数点数として符号化されることが想定される。言い換えれば、センサ記述子の符号化により、過去２分間に何回センサが起動されたかを示す情報が得られる。これにより、監視中の場所のシステムに対してセンサ出力が提供される。このような履歴的情報の収集を可能にするために、バッファが設けられて、所定期間にわたる（上記の場合、所定期間は２分間である）センサからのバイナリ出力を格納する。その後、バッファは、この期間の間にセンサが起動された回数を出力し、センサ記述子はこれに基づいて符号化される。
音声記述子生成部３０９及びセンサ記述子生成部３１１は、セキュリティカメラ３０２とは別個に図示されている。しかし、セキュリティカメラ３０２は、一体化されたマイク（音声センサ）、パッシブ赤外線センサ（Passive InfraRed Sensor：ＰＩＲ）（動きセンサ）、圧力パッド及び／又は水銀スイッチ（振動センサ）からの適切な生の入力から、必要な特徴ベクトルを生成することができると想定される。
本発明の本実施形態における各特徴ベクトルの後続の処理は同じであるので、簡潔にするために、色相特徴ベクトルの処理だけを以下に説明する。
特徴ベクトル縮小装置４０８は、一実施形態では、主成分分析（Principal Component Analysis：ＰＣＡ）を用いて特徴ベクトルのサイズを縮小する。ＰＣＡは、データにおけるパターンを構築して、重大な情報の損失なく、データの次元を縮小することが可能な既知の数学的手法である。ＰＣＡ手法を適用するために、色相特徴ベクトルについて、ＰＣＡ行列を構築する必要がある。このＰＣＡ行列は、セキュリティカメラ３０２が配置された後の、セキュリティシステム３００の「トレーニング段階」中に構築される。「トレーニング段階」に関して後に説明するように、ＰＣＡ行列は、一実施形態では、一日の間の特定の期間について生成される。具体的には、ＰＣＡ行列は一日の間に一時間間隔で生成されるので、各記述子について、その記述子に関連する２４個のＰＣＡ行列が存在することになる。ＰＣＡ行列の生成は一般的に知られている手法である。しかしながら、本発明の実施形態では、ＰＣＡ行列と乗算したときに色相特徴ベクトルから得られたベクトルの各成分の分散が分析される。これらの成分の分散により、得られた特徴ベクトルをどこで切り捨てるかを決定することが可能である。言い換えれば、元の特徴ベクトルの際立った特徴を残しながら、特徴ベクトルの次元の数をどこで切り捨てるかを決定することが可能である。
セキュリティシステム３００の「トレーニング段階」の後、色相記述子の特徴ベクトルをＰＣＡ行列と乗算した結果として、次元を縮小された特徴ベクトルが生成される。ＰＣＡ手法を用いることは、次元を縮小された特徴ベクトルが、元の特徴ベクトルの際立った特徴を保持することを意味する。ほとんどの場合、２００次元の特徴ベクトルが、約１０次元に縮小される。これにより、より容易且つより効率的な特徴ベクトルの処理が可能となる。
本実施形態では、元の特徴ベクトルの次元を縮小するためにＰＣＡが用いられるが、ランダムマッピング又は多次元スケーリング等の多くの他の適用可能な数学的手法が存在することを当業者は理解するであろう。しかしながら、重大な情報の損失なく特徴ベクトルの次元が縮小されるため、ＰＣＡが特に有用である。
縮小次元特徴ベクトル、本例では色相記述子についての縮小次元特徴ベクトルは、連結部４１０に送られる。形状記述子、動き記述子、音声記述子及びセンサ記述子の縮小次元特徴ベクトルも、連結部４１０に送られる。連結部４１０は、各縮小次元特徴ベクトルを互いに結合して、監視中の場所の感知測定値全体を表す連結された特徴ベクトルを生成することにより、複合特徴ベクトルを生成する。これは、連結された特徴ベクトルは、監視中の領域全体の抽象的表現であるためである。
連結された縮小次元特徴ベクトルを用いて、監視中の領域に異常が存在するか否かが判断される。言い換えれば、監視中の領域の感知測定値を常時提供する、連結された縮小次元特徴ベクトルは、テスト中の場所の「正常な」感知測定値と比較される。監視中の場所の感知測定値と「正常な」感知測定値との違いは浮動小数点値であり、以下ではこれを異常値と呼ぶ。異常値が閾値を上回る場合、その場所において異常が存在すると見なされる。異常値を浮動小数点値とすることにより、複数の異なるセキュリティカメラ３０２からの複数の異常間で、或る程度のランク付けを実行することができる。例えば、２つ以上のセキュリティカメラ３０２からの出力フィードが異常であるとしても、異常値が浮動小数点値であることにより、どのカメラが最も異常度の高いシーンを示しているかを判断することが可能である。これにより、監視システム３１２において、最も高い異常度を示す出力フィードを、他のフィードよりも優先することが可能となる。何が「正常」であるかを確定するために、セキュリティシステム３００は、上記のトレーニング段階中にトレーニングされる。
連結された縮小特徴ベクトルは、周期的に生成されることが想定される。本実施形態では、連結された縮小特徴ベクトルは４０ｍｓ毎に生成されるが、２０ｍｓ、又は６０ｍｓ又は他の適切な時間周期で生成されてもよい。
セキュリティシステムのトレーニング段階を設ける目的は、セキュリティシステム３００に、一日の間のどの時間においても、監視中の全ての場所にとって何が「正常」であるかを分からせることである。したがって、各セキュリティカメラ３０２の音声記述子及びセンサ記述子について、一日の間のいずれかの所与の期間についてのＰＣＡ行列が生成される。一実施形態では、１時間の周期でＰＣＡ行列が生成されるので、任意の１日の間で、２４個のＰＣＡ行列（各１時間のタイムスパンにつき１つのＰＣＡ行列）が生成される。上述したように、１日の各期間についてのＰＣＡ行列の生成は既知であるため、以下では説明しない。
多数の場所について、どの期間についても、何が「正常」と考えられるかは、曜日によって変わり得る。例えば、セキュリティシステム３００がオフィス環境を監視する場合、平日の午後３時から午後４時の間は、従業員がそのオフィス環境を歩き回るので、たくさんの動きがあり得る。しかし、週末には従業員達は働いていないため、オフィス周辺における動きは、あるとしても非常に少ない。実際、セキュリティシステム３００が週末にたくさんの動きを検出した場合、おそらく異常値は高くなり、もし異常閾値を上回れば、異常と見なされる。したがって、異なる曜日について、また、一日の間の異なる期間について、セキュリティシステムの別々のトレーニング段階が必要とされ得る。説明を簡単にするために、１日のみのトレーニングが説明される。
異常値を計算するために、セキュリティシステム３００は、ＰＣＡ行列とともに、何が「正常な」特徴ベクトル又は特徴ベクトルのシーケンスと見なされるかを知る必要がある。したがって、セキュリティシステム３００は、セキュリティシステム３００のアクティブ動作中に、換言すると特徴ベクトルが「正常」モデルに対してテストされるときに、異常が存在するか否かを知る必要がある。異常値は、異常値及びトリガ処理部３１０において計算される。トレーニング段階では、各タイムスパンについての連結された縮小特徴ベクトルがアーカイブ３１４に格納される。連結された縮小ベクトルに加えて、その連結された縮小特徴ベクトルに対応する実際の生データ（入力映像、音声及びセンサ情報）が格納される。この情報は、カメラユニット３０４及び特徴ベクトル生成部３０８から異常値及びトリガ処理部３１０を介して、監視システム３１２に送られる。この情報は、後に説明するトリガの確定に用いられる。
トレーニング段階では、連結された特徴ベクトルに対する自己組織化マップも生成される。自己組織化マップは異常値及びトリガ処理部３１０において生成されるが、この場合に限られない。自己組織化マップにより、ユーザは連結された特徴ベクトルのクラスタリング結果を視覚化でき、類似の連結された特徴ベクトルのクラスターを視覚的に識別できる。自己組織化マップの生成（又はトレーニング）は既知ではあるが、図５及び図６を参照して以下で簡単に説明する。
図５において、自己組織化マップは、入力ノード５０６及び出力ノード５０２から成る。出力ノード５０２は、２次元平面５０４として図示される、ノードの２次元アレイ又はグリッド内に存在する。入力ノード５０６は、マップをトレーニングするために用いられる特徴ベクトル内の値の数と同じ数だけ存在する。自己組織化マップ上の各出力ノード５０２は、重み付けされたコネクション５０８によって入力ノード５０６に関連付けられている。重みは、１つのコネクションにつき、１つ付与される。
まず、各重みは、ランダムな値に設定され、繰り返し処理により、これらの重みが「トレーニング」される。自己組織化マップは、このマップの入力ノード５０６に各特徴ベクトルを供給することによってトレーニングされる。各出力ノード５０２に関連付けられた入力ベクトルと重みとの間のユークリッド距離を算出することにより、「最も近い」出力ノード５０２が算出される。
その出力ノード５０２に関連付けられた入力ベクトルと重みとの間のユークリッド距離が最も小さいことによって識別される、最も近い出力ノードは、「勝者」と呼ばれる。このノードの重みは、このノードが入力ベクトルに「より近く」なるように重みの値を若干変更することによってトレーニングされる。勝者のノードに加えて、この勝者のノードに隣接するノードもトレーニングされ、入力ベクトルに若干近づけられる。
このように、単一のノードの重みをトレーニングするだけではなく、マップ上の或る領域のノードの重みをトレーニングする処理によって、マップは、一旦トレーニングされれば、入力空間のトポロジの大部分をノードの２次元マップ内に保存することができる。
マップが一旦トレーニングされると、テスト中の連結された特徴ベクトルをマップに与え、どの出力ノード５０２が、そのテスト中の連結された特徴ベクトルに最も近いかを確認することができる。重みが特徴ベクトルと等しいことは稀であり、マップ上の特徴ベクトルとこの特徴ベクトルに最も近いノードとの間のユークリッド距離は、「量子化誤差」として知られている。
連結された特徴ベクトルをマップに与えて、この特徴ベクトルがどこに存在するかを確かめることにより、各連結された特徴ベクトルについて、ｘ，ｙ座標で表されるマップ上の位置が得られる。最後に、ディザ成分が付加される。ディザ成分については図６を参照して以下で説明する。
上述の処理では、２つの同一の又は実質的に同一の連結された特徴ベクトルが、ＳＯＭのノードアレー内の同じノードにマッピングされてしまうことがある。これは、データを取り扱う上では問題にならないが、表示画面上にデータを視覚化して表示する際に役に立たない。特に、データを表示画面上に視覚化して表示する場合、多数の非常に似ているアイテムを特定のノードにおいて単一のアイテム上で区別できることが有用であると認められる。したがって、各連結された特徴ベクトルがマッピングされるノード位置に「ディザ」成分を加算する。ディザ成分は、ノード間隔の±１／２をランダムに加算するものである。例えば、図６を参照すると、マッピング処理により出力ノード６００が選択された、連結された特徴ベクトルには、ディザ成分が加算される。これにより、この特徴ベクトルは、実際に、図６に点線枠で示す領域６０２内のノード６００周辺の任意のマップ位置にマッピングされる。
このように、連結された特徴ベクトルは、図６の面上において、ＳＯＭ処理の「出力ノード」以外のノード位置にマッピングされると考えられる。
自己組織化マップは、連結された縮小特徴ベクトルのクラスタリングを視覚化し、自己組織化マップに与えられた特徴ベクトルが正常なクラスター内にあるか否かを示すために有用なツールである。しかし、連結された縮小特徴ベクトルを自己組織化マップ内に置く処理が必要とされる。したがって、自己組織化マップに含まれない連結された縮小特徴ベクトルのデータを用いて異常値を計算することが有用である。しかし、以下に説明するように、自己組織化マップを用いて異常値を計算することも可能である。
セキュリティシステム３００がアクティブであるときに生成された、連結された縮小特徴ベクトルが異常を示すか否かを判断するために、テスト中の連結された特徴ベクトルと、トレーニングされた１組の連結された特徴ベクトルとの間のユークリッド距離が求められる。これは、自己組織化マップに関して説明した量子化誤差と類似の手法であり、量子化誤差は異常値を表す。したがって、ユークリッド距離が閾値を上回る場合、異常が存在すると見なされる。
自己組織化マップは、セキュリティシステム３００がトレーニングされる各タイムスパンについて生成されてもよい。付加的に、又は代替的に、連結された特徴ベクトルについて、同じ又は異なる自己組織化マップを、標準的な一日の全体にわたって生成してもよい。
連結された特徴ベクトルは４０ｍｓ毎に生成されるので、１つの特徴ベクトルから生成された異常値が、セキュリティの侵害や、警備員に知らせる必要のある出来事と見なされ得る状況を構成するほど大きくなることは稀である。これは、１つの特徴ベクトルによって示される異常値それ自体では、トリガ信号を生成するか否かは判断されないことを意味する。異常値は、１つの場所からの１つのシーンが、同じ場所からの「正常な」シーンとどのくらい異なっているかの度合いを示すものである。一方、トリガは、警備員に知らせる必要のある状況である。１つのシーンについての異常値が、例えば１０，０００の連結された特徴ベクトル（連結された特徴ベクトルが４０ｍｓに１つのレートで生成される場合、４００秒）にわたって閾値を上回る場合、トリガ信号が生成され得る。しかしながら、トリガ信号を生成するためには、すべての連結された特徴ベクトルが閾値を上回る異常値を生成することが必ずしも必要なわけではない。例えば、トリガ信号を生成するためには、特定の期間にわたる連結された特徴ベクトルの８０％が異常閾値を超えていればよい。別の言い方をすれば、この場合、監視中の場所の連結された特徴ベクトルと、対応する時間においてシステムがトレーニングされたときに生成された、連結された特徴ベクトルとの、各シーケンスの比較に応じて、トリガ信号が生成される。
トリガ信号が生成されると、トリガ信号は監視システム３１２に送られる。トリガ信号は、セキュリティカメラ３０２の監視中の場所において、セキュリティカメラ３０２の出力フィードを監視している警備員に知らせる必要のある状況が起こっていることを監視システム３１２に通知する。トリガ信号に応じて、モニタ３０６は、警備員に状況を通知し、その場所の特定を支援する。一例では、図７に示すように、セキュリティカメラ３０２からの出力映像フィードが、点滅線７０２によって囲まれてもよい。また、図７に示すようにモニタ３０６の画面の左上隅に出力フィードを動かすか、又は図示しないが、モニタ３０６のすべて若しくは大部分を占めるように出力フィードを拡大することにより、図７に示すように、セキュリティカメラ３０２の出力フィードをより目立つ位置に提供することが有用であり得る。実際には、出力フィードをより目立たせる任意の機構が想定される。
上述のように、一実施形態では、異常値が閾値を超えた期間によってトリガ信号を生成するか否かが判断されるが、他の手法を用いてトリガ信号を生成してもよい。例えば、隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）等のビジネスロジックを用いて、特徴ベクトルによって定義される或る出来事のシーケンスをモデル化してもよい。ＨＭＭでは、特徴ベクトルの時間的なシーケンスを用いて、出来事のシーケンスをモデル化する。例えば、路上でのひどい騒動は、高い音量を伴った或る特定の色相特徴及び動き特徴を有し、これらの特徴の後に、いくつかの他の動き特徴が続く。これらの特徴それ自体が、異常閾値を超える異常値を有することもあり、有しないこともあることに留意することが重要である。言い換えれば、個々の特性それ自体が、シーンにおける異常を示すこともあるし、示さないこともある。ＨＭＭは特徴ベクトルを分析し、ＨＭＭ及び特徴的な特徴ベクトルに基づいて、闘争が起こっている確率を示す確率値を出力する。確率が或る特定の確率閾値を上回る場合、トリガ信号が生成される。一実施形態のトリガ信号では、出来事のタイプ（この場合は闘争）の詳細も提供されるが、これは必須ではない。ＨＭＭは、監視中の場所に応じて、例えば駅のプラットフォームでの荷物の置き忘れ等、多くの異なる出来事をモデル化することが想定される。これらの異なるＨＭＭがいかにセキュリティシステム３００に提供されるかは、後に説明される。一実施形態では、異なる出来事をモデル化する異なるＨＭＭのそれぞれについて、各出来事に与えられるべき顕著度を示す異なるランキングがそれぞれの出来事に付されることが想定される。例えば、上記で説明した２つの出来事において、には荷物の置き忘れよりも高い顕著度が与えられる。なぜなら、闘争には緊急の対応が必要とされるからである。この場合、顕著度を確定するため、トリガ信号が出来事のタイプを示す情報を有することが特に有用である。或いは、トリガ信号は、出来事の詳細の代わりに、その出来事が有するべき顕著度を示すことができる。これにより、セキュリティシステム３００の周辺で伝送されるべきデータの量が減少し得る。
ビジネスロジックは、セキュリティカメラ３０２の製造時に生成され得る。
また、セキュリティシステムの場所を確かめるために、一実施形態では、ビジネスロジックを、監視システム３１２から異常値及びトリガ処理部３１０へ出力されるトリガセットアップ信号を用いて、２つの別個の方法で更新することができる。これにより、セキュリティシステム３００は、特定の場所に合わせて部分的に又は完全に適合される。まず、ビジネスロジックを警備員からのフィードバックにより更新することができる。この状況では、連結された特徴ベクトル及び対応する生の入力感知データがアーカイブ３１４に格納されているので、警備員が、モニタ３０６上で注意を払うべき新たな出来事に気付いた場合、警備員はトリガセットアップ信号をアクティブ化することができる。トリガセットアップ信号は、アーカイブ３１４に格納することができ、且つ／又は、生の感知データのアーカイブ３１４が、モニタ３０６上で、警備員に対して再生される。その後、警備員は、その出来事の始点及び終点を確定することができる。警備員は、入力データを制御してトリガ信号を生成するために、モニタ３０６上の、セキュリティカメラの出力フィードの下に配置されたツールバー４０７を用いる。ビジネスロジックは、この定義された状況の生の感知データから生成された特徴ベクトルをを用いて、新たなトリガ状況を定義できる。しかしながら、この更新方法には、技術を有する警備員が必要であり、また多大な時間がかかり、警備員が他の出来事に対処する際の効率性を制限する。これは、警備員がトリガ信号を生成する間、システムの他のセキュリティカメラをしっかりと監視することができないからである。
第２の状況では、トリガセットアップ信号は、セキュリティシステム３００に対して遠隔から定義される。この実施形態では、アーカイブ３１４に格納された、警備員が生成したトリガセットアップ信号がフラグとして用いられ、そのフラグの近傍にある（すなわち、出来事の時間的に前後の）生データが、アーカイブされた素材のプロキシバージョンとされる。言い換えれば、フラグよりも所定時間だけ前又は後の生データが、プロキシデータとして別々に格納される。このプロキシデータは、映像データ、音声データ及び／又はセンサデータを含み得る。
この実施形態では、関連する特徴ベクトル及び関連する生データに加えて、プロキシデータがネットワーク３１６を介してセキュリティ維持システム３２０に伝送される。ネットワーク３１６は、インターネット、セルラーネットワーク、ローカルエリアネットワーク、又は監視システム３１２から遠隔の他のネットワークであり得る。セキュリティ維持システム３２０は、これより説明するように、トリガ更新信号を生成するために用いられる。実際には、すべての生データを、連結された特徴ベクトルと共に伝送することが可能である。しかし、このような伝送は大量のネットワーク容量を使用し、セキュリティシステム３００の操作者にとって、提供される監視データが多すぎると、システムのセキュリティが危険にさらされるというさらなる懸念があり得ることを当業者は理解するであろう。したがって、プロキシデータ、特徴ベクトル、及びプロキシデータに関連する生データのみをセキュリティ維持システム３２０に伝送することが有用である。
本実施形態では、セキュリティ維持システム３２０において、熟練者がプロキシデータを確認し、状況の開始又は終了を最もよく表す生データ内の開始位置及び終止位置をそれぞれ特定し得る。熟練者は、端末３１８を用いてセキュリティ維持システム３２０と通信する。この情報から、ビジネスロジックを導くことができる。トリガのためのビジネスロジックが導かれた後、それはネットワーク３１６を介して監視システム３１２に戻される。トリガ更新信号は、監視システム３１２から、異常値及びトリガ処理部３１０に送られる。システムのセキュリティを向上させるために、プロキシデータ、連結された特徴ベクトル、異常値及びトリガ更新信号はネットワーク３１６のセキュアレイヤーを介して伝送されることが想定される。
また、プロキシデータのみを伝送することは有用であるが、すべての生データを伝送することも可能である。この場合、モニタ３０６の前に座っている警備員がシステム３００と対話する必要はまったくない。実際、この場合、端末３１８の前に座っている熟練者が、セキュリティシステム３００の運営者によって規定された要件に従って生データを検討することにより、すべてのトリガ更新信号を生成することができる。言い換えれば、セキュリティ維持システム３２０の操作者は、セキュリティシステム３００の運営者との共同作業により、トリガが生じる基準のリストを生成する。端末３１８の前に座っている熟練者はその後、このような状況を見つけるためにすべての生データを検討し、操作者によって指定された要求に応えるトリガ更新信号を生成する。生データにこうした状況が見つからない場合、他のソースから提供された、異なる生データを用いてこのようなビジネスロジックを生成することが想定される。他のソースは、同じセキュリティシステム３００からアーカイブされた映像、又は同じ事業会社によって運営される、異なるセキュリティシステムからアーカイブされた映像、又は自由に利用可能な映像であり得る。異なる会社のセキュリティシステムからのセキュリティ映像を用いることも可能ではあるが、これにより他の会社のセキュリティが低下する恐れがあるため、これは稀である。
さらに、セキュリティシステム３００の供給業者は、セキュリティ維持システム３２０の操作者でもあり得る。この場合、セキュリティシステム３００の購入者は、異なる複数のレベルのサービスを受けることができる。まず、セキュリティシステム３００は、トリガ信号を生成するためにのみ、閾値を超える異常値を用いるシステムであり得る。具体的には、この場合、このような異常値が所定の閾値を超えている時間の長さが、トリガを生成するために用いられる。このレベルのサービスに加えて、購入者は、警備員がトリガを生成すること、及び警備員がデータを検討してシステムにおけるビジネスロジックを改善することを可能にする設備を提供されてもよい。このレベルのサービスに加えて、又はその代替として、購入者は、高い技術を有する端末３１８の操作者に、警備員によって生成されるトリガ信号に従って生成されたプロキシデータを検討させることにより、ビジネスロジックをさらに向上させる設備を提供されてもよい。よりよい代替案として、購入者が、高い技術を有する操作者に全ての生データを検討させ、購入者が設定した或る特定の基準（複数可）に従って、トリガ及びビジネスロジックを生成させることを望む場合がある。購入者は、複数の異なるレベルのサービスについて、複数の異なる金額を支払うことが想定される。さらに、ビジネスロジック及び／又はトリガ更新信号生成を含むサービスは、登録制のサービスであることが想定される。言い換えれば、購入者は、サービスのレベルを維持するために、セキュリティ維持システムの操作者に対して定期的に支払いを行う必要がある。また、操作者は、「単発」料金を支払い、セキュリティ維持システム３２０の操作者に、このようなサービスの一度限りの提供を望む場合もある。
上記実施形態の一部が、コンピュータの命令を読み取り可能な処理部上で実行される限り、上記実施形態の多くの特徴が、このような命令を有するコンピュータプログラムを用いて実行されると想定される。コンピュータプログラムは、ランダムアクセスメモリ（ＲＡＭ）、光読み取り可能媒体、磁気読み取り媒体等の記憶媒体（複数可）に格納されてもよい。また、コンピュータプログラムは、インターネット等のネットワークを介して伝送される信号でもよい。
また、上記実施形態では、特徴ベクトル生成部３０８と、異常値及びトリガ処理部３１０とは、セキュリティカメラ３０２内に配置されているとして説明されたが、本発明はそのように限定されないことを当業者は理解するであろう。この場合、これらがセキュリティカメラ３０２の外側に配置されていれば、システム３００は、目下設置されているセキュリティシステム３００に適用することができる。最後に、セキュリティシステムは、トリガ信号が生成されたときにだけ画像データを録画することが可能である。これにより、システムが格納しなければならないマテリアルの量を少なくすることができる。
本発明の例示的な実施形態を、本明細書において添付の図面を参照しながら詳細に説明したが、本発明はこれらの詳細な実施形態に限定されず、当業者は添付の特許請求の範囲において規定される本発明の範囲及び精神から逸脱することなく、本発明の実施形態において種々の変更及び修正を行ってもよいことを理解されたい。
従来例における或る部屋に配置された既知のセキュリティシステムの俯瞰図である。 図１の既知のセキュリティシステムにおける各セキュリティカメラからのＮ個の出力フィードを有するモニタを示す図である。 本発明の一実施形態に係るセキュリティシステムを示す図である。 図３の特徴ベクトル生成部のより詳細なブロック図である。 図３の特徴ベクトル生成部において生成された特徴ベクトルを可視化するために用いられる自己組織化マップの構成を示す図である。 図５で構成された、表示された自己組織化マップを示す図である。 図３のセキュリティシステムからの出力フィードを表示するモニタを示す図である。

Claims (24)

  1. 監視中の場所から取得された異なる種類の感知データの複数の表現の第１のシーケンスを、他の対応する異なる種類の感知データの複数の表現の第２のシーケンスと比較するように動作可能な比較部と、
    前記比較に応じて、トリガ信号を生成するように動作可能なトリガ信号生成部と、
    前記異なる種類のそれぞれの感知データの特徴ベクトル表現を生成し、異なる種類の特徴ベクトル表現を結合して、複合特徴ベクトルを生成するように動作可能な特徴ベクトル表現生成部と、
    前記第１のシーケンスにおける各複合特徴ベクトルと前記第２のシーケンスにおける各複合特徴ベクトルとの間のユークリッド距離に従って、両各複合特徴ベクトル間の違いを報知する異常値を生成するように動作可能な異常報知部と
    を具備し、
    前記トリガ信号生成部は、前記異常値に応じて前記トリガ信号を生成するように動作可能であり、
    前記比較部は、前記第１のシーケンスを、所定の時間間隔にわたって取得された前記第２のシーケンスと比較するように動作可能である
    セキュリティ装置。
  2. 請求項１に記載のセキュリティ装置であって、
    前記感知データは、前記監視中の場所から取得された画像データ、音声データ及び／又はセンサ入力データのうちの少なくとも１つから生成される
    セキュリティ装置。
  3. 請求項１に記載のセキュリティ装置であって、
    前記感知データは、グランドトルースメタデータである
    セキュリティ装置。
  4. 請求項１に記載のセキュリティ装置であって、
    前記生成された複合特徴ベクトルの次元を、主成分分析を用いて縮小するように動作可能な特徴ベクトル縮小部をさらに具備する
    セキュリティ装置。
  5. 請求項４に記載のセキュリティ装置であって、
    前記感知データの前記生成された複合特徴ベクトル表現を用いて、自己組織化マップを生成するように動作可能な自己組織化マップ生成部をさらに具備する
    セキュリティ装置。
  6. 請求項１に記載のセキュリティ装置であって、
    前記第２のシーケンスは、ユーザの入力に応じて更新される
    セキュリティ装置。
  7. 請求項６に記載のセキュリティ装置であって、
    前記第２のシーケンスは、ビジネスロジックによって提供される
    セキュリティ装置。
  8. 請求項７に記載のセキュリティ装置であって、
    前記ビジネスロジックは、隠れマルコフモデルである
    セキュリティ装置。
  9. ネットワークを介して、請求項６に記載のセキュリティ装置に接続可能なセキュリティシステムであって、
    感知データの表現と、当該感知データの表現に関連する、画像データ、音声データ及び／又はセンサ入力データのうちの少なくとも１つから生成される他のデータとを受信して、前記受信した感知データの表現及び前記受信した他のデータに従って、所定の表現のシーケンスを生成するように動作可能な処理部と、
    前記セキュリティ装置に、前記生成された所定のシーケンスを送信するように動作可能な送信部と
    を具備するセキュリティシステム。
  10. 少なくとも１つのセキュリティカメラに接続された制御部と、
    モニタと、
    取得されたマテリアルの表現を、対応する画像データ、音声データ及び／又はセンサ入力データのうちの少なくとも１つと関連付けて記憶するように動作可能な記憶部と、
    請求項１に記載のセキュリティ装置と
    を具備するセキュリティシステム。
  11. 請求項１０に記載のセキュリティシステムであって、
    前記制御部は、前記セキュリティカメラからの出力フィードを前記モニタ上に表示するように動作可能であり、
    前記表示される出力フィードの顕著度は、トリガ信号によって定められる
    セキュリティシステム。
  12. 画像取得手段と
    請求項１に記載のセキュリティ装置と
    を具備するセキュリティカメラ。
  13. 請求項９に記載のセキュリティシステムを操作する操作方法であって、
    前記所定のシーケンスは、金銭又は金銭の等価物と引き換えに生成される
    セキュリティシステム操作方法。
  14. 請求項１３に記載のセキュリティシステム操作方法であって、
    前記金銭又は金銭の等価物は定期的に支払われる
    セキュリティシステム操作方法。
  15. 監視中の場所から取得された異なる種類の感知データの複数の表現の第１のシーケンスを、他の対応する異なる種類の感知データの複数の表現の第２のシーケンスと比較し、
    前記比較に応じて、トリガ信号を生成し、
    前記異なる種類のそれぞれの感知データの特徴ベクトル表現を生成し、異なる種類の特徴ベクトル表現を結合して、複合特徴ベクトルを生成し、
    前記第１のシーケンスにおける各複合特徴ベクトルと前記第２のシーケンスにおける各複合特徴ベクトルとの間のユークリッド距離に従って、前記両各特徴ベクトル間の違いを表す異常値を生成し、
    前記異常値に従って前記トリガ信号を生成し、
    前記第２のシーケンスは、所定の時間間隔にわたって取得される
    セキュリティ監視方法。
  16. 請求項１５に記載のセキュリティ監視方法であって、
    前記感知データは、前記監視中の場所から取得された画像データ、音声データ及び／又はセンサ入力データのうちの少なくとも１つから生成される
    セキュリティ監視方法。
  17. 請求項１５に記載のセキュリティ監視方法であって、
    前記感知データは、グランドトルースメタデータである
    セキュリティ監視方法。
  18. 請求項１５に記載のセキュリティ監視方法であって、さらに、
    前記生成された複合特徴ベクトルの次元を、主成分分析を用いて縮小する
    セキュリティ監視方法。
  19. 請求項１７に記載のセキュリティ監視方法であって、さらに、
    前記感知データの前記生成された複合特徴ベクトルを用いて、自己組織化マップを生成する
    セキュリティ監視方法。
  20. 請求項１９に記載のセキュリティ監視方法であって、
    前記第２のシーケンスは、ユーザの入力に応じて更新される
    セキュリティ監視方法。
  21. 請求項２０に記載のセキュリティ監視方法であって、
    前記第２のシーケンスは、ビジネスロジックによって提供される
    セキュリティ監視方法。
  22. 請求項２１に記載のセキュリティ監視方法であって、
    前記ビジネスロジックは、隠れマルコフモデルである
    セキュリティ監視方法。
  23. コンピュータに、請求項１５に記載の方法における各ステップを実行させる
    プログラム。
  24. 請求項２３に記載のプログラムを記憶する記憶媒体。
JP2008162572A 2007-06-20 2008-06-20 セキュリティ装置、セキュリティシステム、セキュリティカメラ、セキュリティシステム操作方法、セキュリティ監視方法及びプログラム Expired - Fee Related JP5267782B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0711956.3 2007-06-20
GB0711956A GB2450478A (en) 2007-06-20 2007-06-20 A security device and system

Publications (2)

Publication Number Publication Date
JP2009003940A JP2009003940A (ja) 2009-01-08
JP5267782B2 true JP5267782B2 (ja) 2013-08-21

Family

ID=38352597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008162572A Expired - Fee Related JP5267782B2 (ja) 2007-06-20 2008-06-20 セキュリティ装置、セキュリティシステム、セキュリティカメラ、セキュリティシステム操作方法、セキュリティ監視方法及びプログラム

Country Status (8)

Country Link
US (1) US8577082B2 (ja)
EP (1) EP2009604B1 (ja)
JP (1) JP5267782B2 (ja)
CN (1) CN101329804B (ja)
AT (1) ATE452393T1 (ja)
DE (1) DE602008000407D1 (ja)
ES (1) ES2338191T3 (ja)
GB (1) GB2450478A (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
EP2013817A2 (en) 2006-04-17 2009-01-14 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US20090028517A1 (en) * 2007-07-27 2009-01-29 The University Of Queensland Real-time near duplicate video clip detection method
US9141860B2 (en) 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
US8112521B2 (en) * 2010-02-25 2012-02-07 General Electric Company Method and system for security maintenance in a network
RU2460142C1 (ru) * 2011-04-26 2012-08-27 Владимир Андреевич Куделькин Способ защиты линейного участка границы
CN102446503A (zh) * 2011-10-28 2012-05-09 广东威创视讯科技股份有限公司 一种用于大拼接墙信号源报警的窗口表现方法及***
US8418249B1 (en) * 2011-11-10 2013-04-09 Narus, Inc. Class discovery for automated discovery, attribution, analysis, and risk assessment of security threats
US20130283143A1 (en) 2012-04-24 2013-10-24 Eric David Petajan System for Annotating Media Content for Automatic Content Understanding
US9367745B2 (en) 2012-04-24 2016-06-14 Liveclips Llc System for annotating media content for automatic content understanding
US9734702B2 (en) 2015-05-21 2017-08-15 Google Inc. Method and system for consolidating events across sensors
WO2017185314A1 (en) * 2016-04-28 2017-11-02 Motorola Solutions, Inc. Method and device for incident situation prediction
US11545013B2 (en) * 2016-10-26 2023-01-03 A9.Com, Inc. Customizable intrusion zones for audio/video recording and communication devices
RU2697617C2 (ru) * 2017-09-19 2019-08-15 Владимир Иванович Яцков Извещатель в.и. яцкова с ёмкостным и лучевым средствами обнаружения
KR102079378B1 (ko) * 2017-09-26 2020-02-19 고려대학교 산학협력단 영상 복원 방법 및 그 장치
US10186124B1 (en) * 2017-10-26 2019-01-22 Scott Charles Mullins Behavioral intrusion detection system
KR20210153089A (ko) 2019-04-10 2021-12-16 스캇 찰스 멀린스 모니터링 시스템
EP3989537B1 (en) * 2020-10-23 2023-05-03 Axis AB Alert generation based on event detection in a video feed
US11991201B2 (en) * 2021-06-18 2024-05-21 Microsoft Technology Licensing, Llc Likelihood assessment for security incident alerts

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3337197B2 (ja) 1997-04-04 2002-10-21 富士重工業株式会社 車外監視装置
US6954859B1 (en) * 1999-10-08 2005-10-11 Axcess, Inc. Networked digital security system and methods
US6961703B1 (en) 2000-09-13 2005-11-01 Itt Manufacturing Enterprises, Inc. Method for speech processing involving whole-utterance modeling
GB0028162D0 (en) * 2000-11-20 2001-01-03 Sentec Ltd Distributed image processing technology and services
JP3926572B2 (ja) * 2001-03-02 2007-06-06 株式会社日立製作所 画像監視方法、画像監視装置及び記憶媒体
JP3996428B2 (ja) 2001-12-25 2007-10-24 松下電器産業株式会社 異常検知装置及び異常検知システム
US7180429B2 (en) * 2002-02-14 2007-02-20 Intel Corporation Slow motion detection system
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
DE60330898D1 (de) * 2002-11-12 2010-02-25 Intellivid Corp Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen
US7643066B2 (en) * 2004-02-19 2010-01-05 Robert Bosch Gmbh Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
WO2005120072A2 (en) * 2004-06-01 2005-12-15 L-3 Communications Corporation Video flashlight/vision alert
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
US7606425B2 (en) * 2004-09-09 2009-10-20 Honeywell International Inc. Unsupervised learning of events in a video sequence
JP5008269B2 (ja) * 2005-04-08 2012-08-22 キヤノン株式会社 情報処理装置、情報処理方法
GB2427319B (en) * 2005-06-13 2008-06-25 John Hendrickson Intelligent mobile remote monitoring security system
US9036028B2 (en) * 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
JP4641492B2 (ja) 2005-11-16 2011-03-02 日本電信電話株式会社 特異映像検出装置、特異映像検出方法およびプログラム
WO2008016679A2 (en) * 2006-08-02 2008-02-07 24Eight Llc Wireless detection and alarm system for monitoring human falls and entries into swimming pools by using three dimensional acceleration and wireless link energy data method and apparatus

Also Published As

Publication number Publication date
ES2338191T3 (es) 2010-05-04
EP2009604A1 (en) 2008-12-31
JP2009003940A (ja) 2009-01-08
ATE452393T1 (de) 2010-01-15
CN101329804A (zh) 2008-12-24
DE602008000407D1 (de) 2010-01-28
GB2450478A (en) 2008-12-31
EP2009604B1 (en) 2009-12-16
CN101329804B (zh) 2012-05-30
GB0711956D0 (en) 2007-08-01
US20080317286A1 (en) 2008-12-25
US8577082B2 (en) 2013-11-05

Similar Documents

Publication Publication Date Title
JP5267782B2 (ja) セキュリティ装置、セキュリティシステム、セキュリティカメラ、セキュリティシステム操作方法、セキュリティ監視方法及びプログラム
US10516857B2 (en) Method and apparatus of secured interactive remote maintenance assist
US11881094B2 (en) Infrastructure construction digital integrated twin (ICDIT)
KR102058452B1 (ko) IoT 융합 지능형 영상분석 플랫폼 시스템
KR20190077898A (ko) 관리 대상 설비 이상 상태 모니터링 시스템
JP5349417B2 (ja) 拡張現実技術を利用した保守・監視システム
JP2008515286A (ja) 監視システムのための対象物特性マップ
JPH11266487A (ja) インテリジェント遠隔監視システムおよび記録媒体
KR20230004421A (ko) 인공지능 기반의 이상행동 감지 시스템
KR102648377B1 (ko) 네트워크 케이블 품질 모니터링이 가능한 ai 통합배선반 및 이를 이용한 방법
CN109544870A (zh) 用于智能监控***的报警判断方法与智能监控***
CN114254055A (zh) 机房设备的故障分析方法、装置、计算机设备、存储介质
KR101005568B1 (ko) 지능형 방범 시스템
CN115880631A (zh) 一种配电站故障识别***、方法、介质
CN109816904B (zh) 一种智能货柜图像风控***
KR101005011B1 (ko) 통합서버룸관제시스템
US20110157355A1 (en) Method and System for Detecting Events in Environments
KR102206832B1 (ko) 설비 관리 통합관제시스템
KR101845621B1 (ko) 다수호기 통합 감시를 위한 대형통합감시화면의 구현 방법과 그 시스템
US20110157431A1 (en) Method and System for Directing Cameras
CN107820051A (zh) 监控***及其监控方法和装置
CN109120896B (zh) 安防视频监控卫士***
KR102650169B1 (ko) 열화상 카메라로 산업현장의 이상 온도를 감지 및 표현하고 경보를 발생시켜 알리는 시스템 및 이의 동작 방법
TWI850359B (zh) 一種資訊處理系統及其方法
CN117710862A (zh) 一种基于大数据的计量管控业务***

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130423

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees