JP2006523043A - 監視を行なう方法及びシステム - Google Patents

監視を行なう方法及びシステム Download PDF

Info

Publication number
JP2006523043A
JP2006523043A JP2005501642A JP2005501642A JP2006523043A JP 2006523043 A JP2006523043 A JP 2006523043A JP 2005501642 A JP2005501642 A JP 2005501642A JP 2005501642 A JP2005501642 A JP 2005501642A JP 2006523043 A JP2006523043 A JP 2006523043A
Authority
JP
Japan
Prior art keywords
camera
image
module
ptz
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005501642A
Other languages
English (en)
Inventor
アガーワル，マノジュ
ソウニー，ハープリート
サマラセケラ，スパン
クマー，ラケッシュ
バート，ピーター
エレダス，ジェアン
ハナ，キース
Original Assignee
サーノフ・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サーノフ・コーポレーション filed Critical サーノフ・コーポレーション
Publication of JP2006523043A publication Critical patent/JP2006523043A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

移動物体を検出し、監視システムを制御する方法は、少なくとも１つの像形成センサ(104)からの像情報を受け取るように適応された処理モジュール(1016)を含む。前記システムは、捕獲された像に対して動き検出分析を実行すると共に、移動物体が検出されると、特定のやり方で、カメラ(104)を制御する。像処理は、監視エリアに対するカメラの物理的方向を使用して、カメラにより捕獲された像を、監視エリアの基準マップへとマッピングするのを容易にする。カメラの方向を使用すると、シーン内の移動物体の位置（例えば、緯度、経度及び高度）を導出することができる。

Description

関連出願への相互参照
[0001]本出願は、参考としてここに援用する２００２年１０月２１日に出願された米国プロビジョナル特許出願第６０／４１９，８９３号の利益を請求する。
発明の分野
[0002]本発明は、一般に、像処理に係る。より詳細には、本発明は、静止した又はパンするカメラから静止又は移動物体を検出するための監視システムに係る。
関連技術の説明
[0003]特定エリアのセキュリティを与えるために、監視を行なうに充分な監視方法及び装置が必要とされる。通常、監視システムは、監視エリアをカバーする広い視野をカメラに許すために１台以上のカメラを支柱の頂部又は他の希望高さ位置に配置したもので構成される。カメラは、固定してもよいし、或いはカメラの視野角を調整するためにカメラのパン（視野角を広げるための軸上での回転）及びチルトを許すメカニズムに取り付けてもよい。カメラにより撮られた像は、１人以上のシステムオペレータ又は守衛が見張っているか又は付き添っている複数のモニタに表示される。このようなシステムは、多数の固有の欠点がある。より詳細には、これらのシステムは、監視エリア内の移動物体を自動的に検出してその後に追跡することができない。これらのタスクは、守衛やシステムオペレータの責任となる。守衛やシステムオペレータは、その注意を各モニタに同時に集中することができず、それ故、１つのカメラの視野における移動物体を、オペレータが異なるモニタに注意を向けているために検出できないという事態を招くことがある。別の問題として、このようなシステムは、カメラが移動するとき（即ち、異なる視野を通してパン又はチルトするとき）、動きのある像を検出できず、又、処理もできない。又、このようなシステムは、瞬間的な像の質低下（即ち、風や地震のためにカメラが振れた場合）を考慮できず、カメラからシステムへ送信される信号の瞬間的な脱落が生じた場合にそれを考慮することもできない。
[0004]それ故、この技術では、静止した又はパンするカメラから静止又は移動物体を自動的に検出できるシステムが要望される。更に、このようなシステムは、監視された環境における僅かな変化や、瞬間的なシステム劣化又は遮断のために生じる偽の動き検出を減少又は排除できるものである。
発明の概要
[0005]本発明は、一般に、移動物体を検出し且つ監視システムを制御する方法を提供する。このようなシステムは、少なくとも１つの像捕獲装置からの像情報と、この像捕獲装置の位置及び状態に関するエンジニアリングサポートデータ（ＥＳＤ）とを受信するように適応された処理モジュールを備えている。又、このシステムは、捕獲された像に対して動き検出分析を行なうために像捕獲装置へ制御信号を開始すると共に、物体が検出されたときにこのような制御信号を停止するように適応される。一実施形態において、少なくとも１つの像捕獲装置は、ワイヤレスネットワーク又は固定配線により前記モジュールに接続された２台の可視光線カメラを備えている。ＥＳＤは、監視エリアへの像捕獲装置の物理的向きに関連したパン、チルト及びズーム値で構成される。ＥＳＤは、像捕獲装置により捕獲された対応する像へとマップされて、監視エリアの基準マップを形成する。前記制御信号は、像捕獲装置のパン及び走査動作の自動モードと、処理モジュールにおけるその後の動き検出分析とをアクチベートする。これらの制御信号は、移動物体が検出されたときに停止され、像捕獲装置の手動制御を行なうための第２組の制御信号を許す。
[0006]本発明の前記特徴がいかに達成されるか詳細に理解するために、前記で簡単に概要を述べた本発明を、添付図面に示すその実施形態を参照して、以下に詳細に説明する。
[0007]しかしながら、添付図面は、本発明の典型的な実施形態を示すに過ぎず、それ故、本発明の範囲を限定するものではない。本発明は、他の等しく有効な実施形態も受け容れられることに注意されたい。
詳細な説明
[0019]本発明は、静止した又はパンする１つ又は複数のカメラから物体を自動的に検出し、その物体検出状態に基づいてこれらカメラの動作を制御するための方法及びシステムに関する。図１は、本発明による物体動き検出システム１００のブロック図である。このシステム１００は、監視のための基準視野を確立し、監視エリアから像を得て処理し、監視エリアにおける移動物体を自動的に検出し、監視下のエリアの状態に関する情報を表示し、更に、システム１００に接続されたカメラ（１つ又は複数）の動作モードを選択的に変更するのを容易にするように相互接続された複数のモジュール及びインターフェイスを備えている。より詳細に述べると、この例に限定されないが、システム１００は、少なくとも１つの像形成センサ１０３（例えば、可視光線又は赤外線カメラ）のパン／チルト／ズームパラメータを制御するカメラパン／チルト／ズーム（ＰＴＺ）モジュール１０２と、グラフィックユーザインターフェイス（ＧＵＩ）設定ディスプレイ１０６と、検出／ＰＴＺ制御モジュール１０８と、ＧＵＩ出力ディスプレイ１１０とを備えている。これらの相互接続されたモジュール及びインターフェイス各々の機能（以下に詳細に述べる）は、カメラが静止、パン又はズーミングしている間にカメラＰＴＺモジュール１０２からの像を処理し、それらの像を基準と比較して、移動物体を検出するための能力をシステムに与える。
[0020]カメラ／ＰＴＺモジュール１０２は、例えば、カメラ１０４（図１及び１０に示す）のような１つ以上の像形成センサに接続され、これは、ビデオ信号を捕獲してシステム１００へ一般にＮＴＳＣ信号フォーマット（これに限定されない）で送信することができる。例えば、カメラ１０４は、７２０ｘ４８８連続走査又は７２０ｘ２４４の飛び越しフォーマットのいずれかにおいて約３０Ｈｚのレートでビデオ信号を送信する可視光線カメラでよい。本発明の一実施形態では、ビデオ信号は、連続走査カメラからのＳビデオフォーマットで、圧縮欠陥や送信ノイズのないものである。別の実施形態では、カメラ（１つ又は複数）１０４は、飛び越しＮＴＳＣフォーマットで赤外線（ＩＲ）情報を捕獲することができ、これは、エリアを夜間に監視するのに有効である。このようなカメラは、システム１００に固定配線することもできるし、或いは各モジュールに取り付けられた一連のアンテナ（図示せず）を経て、ワイヤレスネットワークを経て信号を送信することもできる。カメラ（１つ又は複数）１０４をシステム１００に直接接続することは、例えば、ケーブル（例えば、ＲＳ２３２）によるか、又は光ファイバ接続により行うことができる。焦点、輝度及びコントラストのような全ての機能は、カメラ１０４において、システム１００を経て、特に、ＧＵＩ設定ディスプレイ１０６又は検出／ＰＴＺ制御モジュール１０８を経て、オペレータからのコマンドに基づいて調整することができる。ビデオ信号は、システム１００により処理されて、二次元（Ｘ、Ｙ）の１組の像（又はピクセル）座標を発生する。エリアの特定物体の細部を容易に選択的に見ることができるように、カメラ（１つ又は複数）１０４の各々にはズームレンズが通常接続される。アパーチャー、信号利得及び他の設定のような他のカメラ機能も同様に、検出／ＰＴＺ制御モジュール１０８により制御される。
[0021]カメラ／ＰＴＺモジュール１０２は、建物又は支柱のような支持構造体に物理的に取り付けられる。カメラ／ＰＴＺモジュール１０２は、検出／ＰＴＺ制御モジュール１０８からパン、チルト及びズームコマンドを送信することにより制御される。エンジニアリングサポートデータ（ＥＳＤ）として知られているコマンド（又は信号）も、カメラ／ＰＴＺモジュール１０２と検出／ＰＴＺ制御モジュール１０８との間にケーブル又はワイヤレスリンクを経て通される。本発明の１つの実施形態では、カメラ／ＰＴＺモジュール１０２から中継されるＥＳＤは、指向精度が１°より良好で且つ更新が１０Ｈｚより良好という正確なものである。本発明により与えられる１°の移動において、検出／ＰＴＺ制御モジュール１０８は、カメラ（１つ又は複数）１０４を監視エリアにわたってスイープさせるコマンドを送信する。カメラ（１つ又は複数）１０４がこのようなエリアの距離を更に指すときに、検出／ＰＴＺ制御モジュール１０８は、特定の物体にズームインするコマンドを任意に送信することができる。このようなコマンドは、システムオペレータ又は守衛の側で手動で行なわれてもよいし、又はカメラの視野内で検出される物体に応答して自動的に発生されてもよい。カメラ／ＰＴＺモジュール１０２は、所与のビデオ信号に対して特定のカメラ位置としてシステム１００が認識する一連の座標を与える。従って、実世界におけるカメラ位置（ここではＰＴＺ座標として定義されるパン、チルト、ズームパラメータ）を、捕獲された像（像又はピクセル座標）へとマップすることができる。
[0022]カメラ／ＰＴＺモジュール１０２の幾つかのコンポーネントの機械的特性が与えられると、このモジュールと検出／ＰＴＺ制御モジュール１０８との間に約１０Ｈｚの範囲で信号が通される。上述したように、ビデオ信号は、カメラ／ＰＴＺモジュール１０２とシステム１００の他部分との間に約３０Ｈｚのレートで結合される。ビデオ信号と、システムに使用されるＰＴＺ制御信号との間には送信レートに著しい差があるので、像又はピクセル座標とＰＴＺ座標との不整列を防止するには、ビデオ及びＰＴＺ制御信号におけるこのような差を考慮しなければならない。カメラ１０４のパン動作は直線的であるから、直線的な補間方法を使用して、実際のＰＴＺ座標情報の送信間にＰＴＺ座標を仮定又は予想することが受け容れられる。
[0023]別の実施形態では、像又はピクセル座標とＰＴＺ座標との差を考慮することに関して、閉ループシステムが確立される。より詳細には、スクリーン上の特定物体のＸ、Ｙピクセル座標が決定され、負のフィードバックループが付勢される。又、このフィードバックループは、特定の物体上に位置されたときのカメラ１０４の最後に受信したＰＴＺ座標を含み、その物体に対する修正されたＰＴＺ座標を発生する。例えば、所与のＰＴＺ値が、カメラ／ＰＴＺモジュール１０２からの信号により確立されると共に、検出／ＰＴＺ制御モジュール１０８により解釈される。更に、カメラ１０４の視野内の物体が検出され、そのＸ、Ｙピクセル座標がシステム１００により確立される。Ｘ、Ｙピクセル座標は、例えば、ＰＴＺ座標の右側へ１００ピクセルであり、これは、システム１００に現在あるＰＴＺ座標に対する物体の厳密な位置に若干のエラーを招くことがある。負のフィードバックループにＸ、Ｙ像座標を通すことにより、物体をスクリーン上にセンタリングして、特定カメラ位置のより正確な読み、ひいては、物体の実世界の位置を与えるように、ＰＴＺ座標が調整される。或いは又、ＰＴＺ座標と像座標との間の調整を、三次元ドメインにおいて行なってもよい。即ち、システム１００は、検出された物体の緯度及び経度座標を分析し、それら座標を、ＸＹピクセル座標に代わってフィードバックループに入れることができる。３Ｄドメイン及び方法を使用する１つの効果は、物体の高さも決定でき、そのサイズ及び相対速度に基づいて物体の認識に関して仮定を行なえることである。従って、物体の緯度、経度、及び高度を決定することができる。
[0024]ＧＵＩ設定ディスプレイ１０６は、監視下のエリアの基線を確立するための基準像（以下、ゾーンマップと称される）を確立する。より詳細には、ＧＵＩ設定ディスプレイ１０６は、一連の像を捕獲し、これらの像は、移動物体を検出するための種々の検出スレッシュホールドが指定された一連のカスタマイズされた領域へとセグメント化することができる。これら領域を定義する二次元（Ｘ、Ｙ）座標は、ＰＴＺ座標へとマップされる値のルックアップテーブルの一部分を形成する。従って、カメラ／ＰＴＺモジュール１０２がパン及び走査モードにあるときには、ＰＴＺ座標がルックアップテーブルに結合されると共に、パン及び走査された像をシステムにより形成されたゾーンマップに基づいて処理するためにどの検出スレッシュホールドを使用すべきかについて決定がなされる。ＧＵＩ設定ディスプレイ１０６の細部は、図２及び３に示されたシステム初期化方法と、図８及び９の対応するピクトグラムとに関して各々説明する。これらの図面を参照して以下に説明を行なう。
[0025]図２は、物体検出システム１００に対するゾーンマップを手動で確立するのに使用される一連の方法ステップ２００を示す。より詳細には、この方法は、ステップ２０２で開始されて、ステップ２０４へ進み、ここでは、像捕獲動作を実行して、監視に含まれるべき完全なエリアの一部分である固定位置を捕獲する。このような固定位置は、システムオペレータにより入力される適当なＰＴＺ制御信号を経てモニタ又はオペレータビュースクリーンに捕獲されるか又は完全に表示される。図８は、このように表示されたビデオ像８００を示す。ステップ２０６では、システムオペレータは、監視に対して関心のあるカスタマイズされた領域８０４を選択する。このカスタマイズされた領域８０４の中心のＰＴＺ座標８０２が取得される（システム１００により処理される）。ステップ２０８では、カスタマイズされた領域８０４の角のＰＴＺ座標が、中心のＰＴＺ座標８０２から予想される（破線の対角線８０６により明らかなように）。例えば、中心のＰＴＺ座標が既知であり（これは、カメラが見ている場所だからである）且つカメラの形状が既知であるので、例えば、長方形のカスタマイズされた領域の座標に関して、既知の像形成アルゴリズムに基づいて、予想することができる。
[0026]ステップ２１０において、オペレータは、カスタマイズされた領域８０４にある感度検出スレッシュホールドレベルを指定するようにシステム１００に命令する。例えば、カスタマイズされた領域８０４が、移動するが良性な物体（水域、葉が風で動いている木、等）の像を含む場合には、オペレータが、このような領域に対して感度検出スレッシュホールドを非常に高くセットするか又は全くセットしないようにシステム１００に命令することができる。このようにして、このカスタマイズされた領域における動きによりトリガーされる偽の警報のおそれが著しく減少される。もちろん、カスタマイズされた領域における動きを処理しないようにオペレータがシステム１００に命令するような環境では、警報が送信されるおそれがない。或いは又、第２のカスタマイズされた領域８０８が、良性でない物体が検出されることのある像（車や人が移動している道路）を含む場合には、感度検出スレッシュホールドが低くセットされる。オペレータが、感度検出スレッシュホールドを選択しない場合には、システム１００は、デフォールトスレッシュホールドを自動的に選択する。
[0027]ステップ２１２において、カスタマイズされた領域８０４のＰＴＺ座標が、像の特定のＸ、Ｙピクセル座標へとマップされる。従って、所与のカメラ位置のＰＴＺ座標値ごとに、対応する像に、対応するＸ、Ｙピクセル座標が存在する。従って、図４に示すようなルックアップテーブル４００の形態で基準ライブラリー（即ちゾーンマップ）が作られる。特に、ルックアップテーブルの第１列４０２は、カメラ／ＰＴＺモジュール１０２により与えられて検出／ＰＴＺ制御モジュール１０８へ通されたデータにより決定されるＰＴＺ座標を含む。ルックアップテーブルの第２列４０４は、ＰＴＺ座標（カメラ位置）に対応する像のＸ、Ｙ像又はピクセル座標を含む。更に別の実施形態では、ＰＴＺ座標は、緯度、経度及び高度へとマップされる。このマッピングは、カメラにより像形成されたシーンの全３Ｄモデルを使用して実行される（即ち、モデルは、地域高さマップと、建物のようなシーン内容物のモデルとを含む）。このような情報を使用して、システムは、カメラとシーン内の物体との間の視線と、その物体までの距離とを予想することができる。従って、物体の最適なカメラビューを自動的に選択することができ、例えば、複数のカメラの中の特定のカメラを選択することができ、又は特定の１組のパン／チルト／ズームパラメータを使用して物体を最適に像形成することができ、或いはその両方である。
[0028]方法２００は、ステップ２１４へ進み、ここで、固定位置を表わす次の像が、上述したステップ２０４から２１２に基づいて捕獲され、処理され、マッピングされる。監視下のエリアを構成する全ての像がこのように処理されると、ゾーンマップが完了し、そしてこの方法は、ステップ２１６で終りとなる。
[0029]図３に示すゾーンマップ及びテーブルを設定する別の方法は、システム１００がオペレータの指示のもとで監視領域を自動的に処理するのを許すことによるものである。例えば、図３は、ゾーンマップを自動設定するための一連の方法ステップ３００を示す。図９は、このように表示されたビデオ像９００を示す。この方法は、ステップ３０２で開始されて、ステップ３０４へ進み、ここで、システム１００は、全監視エリア（パン矢印９０２で示す）をパンするように命令される。システムが全監視エリアをパンするときに、オペレータ又は守衛９０４は、パンされているシーンに非良性な移動物体が存在しないことを受動的に確保する。即ち、システム１００は、絶対的な動き（風で揺れる木の葉や、地表水で検出される陽炎や、小動物の動き、等）に関わらず良性の監視領域全体が本質的に何であるか捕獲して、基準像を確立する。ステップ３０６において、システム１００は、捕獲されたいずれの基準像にも（相対的な）動きがないことをオペレータが指示するのに基づいて走査された各ＰＴＺにおいて感度検出スレッシュホールドを自動的にセットする。この方法は、ステップ３０８で終了する。この別の自動設定モードは、ユーザの側でカスタマイズされた領域を手動でマークして形成しなければならない厄介なステップを除去するという利点がある。ＰＴＺ座標の想起を繰り返すことができ且つこれはシステム１００に対して正確であるので、ＰＴＺ対ピクセル値の相関（即ち、図４のテーブル又は他の同様のテーブル）を形成する能力を、数学的な計算により生み出すことができる。
[0030]いずれの初期化プロセスも、静止カメラ用途（支柱又は背の高い構造物の頂部に取り付けられる）に対して非常に良好に作用することに注意されたい。しかしながら、より精巧なマルチカメラシステムでは、カメラハンドオフの概念を考慮しなければならない。カメラハンドオフは、２台以上のカメラを使用して監視エリアを広げることを含む。このような環境では、システム１００は、偽の検出警報を設定せずにシステム１００へ送信される重畳する像を考慮する必要がある。ソース像のジオロケーション(geolocation)又はジオレジストレーション(georegistration)が実行される。換言すれば、あるソース（第１カメラＣ１）からの像Ｉ１は、像データ送信責任が第２ソース（第２カメラＣ２）へハンドオフされる前に、監視エリアの正射投影(orthographic)表示（即ち表面マップ）へジオロケーションされる（緯度及び経度座標を確かめることにより）。システム１００は、次いで、Ｉ１の既知の座標を使用し、そして像データＩ２を送信する前にこれらの座標を指すようにカメラ２に命令することができる（即ち、検出／ＰＴＺ制御モジュール１０８により送信された信号を経て）。このようにして、継ぎ目のない移行（カメラ１からカメラ二へ）が行なわれると共に、Ｉ１及びＩ２は２つの異なる位置から見た本質的に同じ像であるからハンドオフ時間中も監視エリアは完全に監視されたままとなる。位置の推定に何らかの不確実性が存在する場合には、物体が自動的に検出されるまで、その不確実性の方向に第２カメラで走査することができる。
[0031]システム１００が移動カメラ（例えば、無人エアロビヒクル（ＵＡＶ）における）を使用する場合には、より精巧な座標システムが必要となる。更に、このシステムの精度は、所与のカスタマイズされた領域に対して中心ＰＴＺ座標だけを使用するのに実質上充分であることにも注意されたい。即ち、カスタマイズされた領域の到来者座標は、数学的アルゴリズムにより、中心ＰＴＺ座標で表わされた中心点へ本質的にコラプス(collapse)することができる。
[0032]検出／ＰＴＺ制御モジュール１０８は、カメラが静止しているとき（手動制御モード）、パンしているとき（自動連続走査モード）、又はその両方の動作の混合であるとき（歩進／凝視モード）、静止又は移動物体を検出することができる。カメラがパンしているときには、モジュールは、ビデオフレーム間の像整列を実行して、カメラのパンにより生じる像の動きを除去する。整列を行なう方法は、「Hierarchical Model-based motion analysis」（プロシーディングズ・オブ・ヨーロピアン・コンファレンス・オン・コンピュータ・ビジョン１９９２年、ベルゲン氏等）に説明されたように、既に実行されている。整列後に残る動きは、移動物体を指示する。しかしながら、上述したように、例えば、木がそよ風で揺れることで動きが生じることもある。この問題に対処するために多数のサブモジュールが使用されている。特に、図５は、位置合わせサブモジュール５０２、通常フローサブモジュール５０４、短時間の一時的フィルタリングサブモジュール５０６、フローベースのフィルタリングサブモジュール５０８、及び最終物体追跡サブモジュール５１０を更に備えた検出／ＰＴＺ制御モジュール１０８の詳細な回路図である。これらサブモジュールの各々は、検出された物体が実際にオペレータ又は守衛にとって関心のあるものである確率にアクセスするための異なる像処理アルゴリズムを与える。
[0033]検出／ＰＴＺ制御モジュール１０８へ到来するビデオフレームＦｎを最初に位置合わせすることで、システムがフレームの所与の番号を通して１つのバックグランドを「見る」ことを本質的に許す。バックグランドの動き（パンするカメラにより生じた）を排除することにより、真の移動物体を識別することができる。このような位置合わせは、前記ベルゲン氏等の参照文献に見られ且つそこに説明されたような位置合わせ技術に基づいて、位置合わせサブモジュール５０２により実行される。例えば、像は、パンするカメラ又は静止したカメラから１−２秒の周期で取得される。像におけるピクセルテクスチャーが測定され、それが充分である場合には、像が互いに整列される。測定されたピクセルテクスチャーが整列に不充分である場合には、カメラ／ＰＴＺモジュール１０２が停止するように指令され、従って、カメラのパンによる像の動きをもたない新たな像を取得することができる。その結果、一連の位置合わせされたフレームＲＦｎが得られ、更に別の物体検出処理へと通される。例えば、所定のシステムパラメータに基づき、ゼロ番目のフレームで始まりｎ番目のフレームまでの複数のフレームが互いに位置合わせされる。このような位置合わせステップは、全てのフレームに共通でない前記フレーム間の像の部分を排除する。即ち、カメラがあるエリアをパンしてシステムに像を送るときには、初期のフレーム及びその後のフレームの周辺エリアは、全てのフレームに共通とはならない。位置合わせステップは、このような周辺エリアを除去する。
[0034]フレーム内の物体が著しく大きい場合には、システムがバックグランドではなくこの物体に基づいて将来のフレームを位置合わせしようと試みるので（即ち、ズームインされたカメラ位置を経て移動する大きなトラック）、最初の位置合わせ中に問題が生じることがある。このような状態を考慮するために、最初に捕獲された像のコントラストを高くして、物体をより強く識別する。その後、このシステムは、コントラストの高いエリア（移動物体）ではなく、コントラストの低いエリア（バックグランド）に基づいて、到来するフレームを位置合わせするように命令される。位置合わせの改良に対する別の解決策は、最初の像（大きな物体を伴う）を捕獲し、その物体をマスクして、バックグランドに基づき位置合わせを強制することである。
[0035]像の位置合わせが完了した後、その像内における移動物体の実際の検出が複数のフィルタを経て実行される。最初の物体検出では、バックグランド整列ステップからの像を処理して、フレーム間の輝度変化を検出する。整列された像は、例えば、侵入者がシーン内を歩くことによる輝度の変化を含むことがある。重要な計算において、検出されたピクセル輝度変化は、３段階で評価される。第１に、初期化ステップにおいて設定オペレータにより定義されたカスタマイズされた領域、サイズ及び分類パラメータが与えられると、パン、チルト及びズーム値を読み取り、それらを使用して、その領域のピクセル変化に対して予想されるサイズ、形状及び検出感度を想起する。第２に、輝度変化の実際のサイズ及び形状を測定し、予想される基準に一致しない変化を拒絶する。これらの輝度変化は、例えば、道路上の予想される乗物の活動に対応してもよい。第３に、像対応性アルゴリズムを、整列された像シーケンスに対して実行し、輝度変化の位置をフレームごとに測定する。各輝度変化の測定された変位が所定値を越えない場合には、その輝度変化を拒絶する。輝度変化は、例えば、風で木が揺れることによるものである。他の全ての場合には、警報状態が宣言される。
[0036]像のテクスチャーが整列に対して不充分である場合には、カメラ／ＰＴＺモジュール１０２が走査を停止するように指令され、輝度変化の変位を、新たに捕獲された像において測定する。測定された変位がある時間周期にわたり第２のプリセット値を越える場合には、警報状態が宣言される。この場合には、短い時間周期にわたり輝度変化のピクセル変位がカメラの振動によるもので、侵入者の動きによるものではないので、警報状態は迅速に宣言されない。
[0037]通常フローサブモジュール５０４は、所与の像において様々な異なる形式の動きを検出する比較的低レベルのフィルタである。例えば、通常フローフィルタは、安定したバックグランドと、木及び葉、地表水移動からの閃光、熱によるバックグランドの陽炎、瞬間的なカメラの焦点ずれ又は像のボケ、及び２つのポイント間の顕著な（一貫した）動きの物体表示特性より成るグループから選択された動きとの間を区別する。
[0038]通常フローフィルタリングは、図６に示す一連の方法ステップ６００に基づいて実行される。より詳細には、一連の方法ステップ６００は、ステップ６０２で開始されて、ステップ６０４へ進み、ここでは、一連の位置合わせされた入力像フレームＲＦｎ（例えば、カメラ／ＰＴＺモジュール１０２により捕獲されて、検出／ＰＴＺ制御モジュール１０８に結合された像Ｆｎ）が位置合わせサブモジュール５０２から得られる。ステップ６０５は、ゼロ番目及びｎ番目のフレームのフィルタリングを実行し、特定の動きで直接生じることのない像間の差を考慮する。例えば、自動利得制御（ＡＧＣ）を瞬間的に変化させるべき場合には、特定の動きがないのに、ゼロ番目のフレームとｎ番目のフレームとの間に差が生じる。従って、フィルタリングステップ６０５はこのような差を考慮する。ステップ６０６では、ｎ番目のフレームを、整列即ち位置合わせされたゼロ番目のフレームに位置合わせするために、ワープステップを実行する。ステップ６０５及び６０６は交換可能であることに注意されたい。即ち、ｎ番目からゼロ番目のフレームへのワープと、前記フレームのフィルタリングとは、前記フレームにおいて動きを検出するための能力に何ら影響せずに交換することができる。通常フローサブモジュール５０４は、通常フロー処理方法６００に基づいて一連の通常フローパラメータ（ＮＦ０、ＮＦ１、・・・ＮＦｎ）を出力する。
[0039]一連のフレームにおいて分析された最後のフレームの比較を、ゼロ番目のフレームに対して比較する。このような２つのフレーム間の差は、検出のための潜在的な関連性と考えられる。従って、ゼロ番目のフレームとｎ番目のフレームとの間で検出される動きのレベルを決定するために基準を確立しなければならない。このような決定は、ゼロ番目のフレームとｎ番目のフレームとの間の像の変化＊１及びこれら同じフレームの勾配＊２をステップ６０８において計算することにより行なわれる。ΔＩは、像における相対的な動きの変化を考慮し、一方、∇Ｉは、必ずしも動きの変化でないコントラストの変化を考慮するための正規化である（これは、ステップ６０５のフィルタリングを促進するためのものである）。ステップ６１０において、ΔＩと∇Ｉの比を比較し、それが、低レベルの動き検出スレッシュホールドである定数Ｃより大きいかどうかを決定することにより、数学演算を実行する。ΔＩ／∇Ｉが、検出スレッシュホールドＣより小さい場合は、この方法は、移動物体が検出されないステップ６１２へ進み、次いで、ステップ６１６へ進んで、通常フローフィルタリングを完了する。ΔＩ／∇Ｉが、低レベルの動き検出定数Ｃより大きい場合には、この方法は、考えられる移動物体検出状態が指示されるステップ６１４へ進む。
Figure 2006523043
[0040]短時間の一時的フィルタリング（ＳＴＴＦ）サブモジュール５０６は、像におけるランダムノイズ及びボケにより生じる偽の欠陥を減少する。従って、このモジュールは、多数のフレームにわたる一貫した動きを検出することによりフィルタリングの次の順序の高いレベルを表わす。換言すれば、通常フローフィルタリングによって物体が「検出」された場合に、ＳＴＴＦは、その物体が瞬間的なものか（即ち１つ又は２つのフレームに見えるだけか）又は長い時間スパンにわたって一貫したものかを決定する。このモジュールの機能は、図７に示す一連の方法ステップ７００に基づいて以下に説明する。
[0041]一連の方法ステップ７００は、ステップ７０２で開始されて、ステップ７０４へ進み、ここでは、通常フローサブモジュール５０４からの通常フローパラメータ（ＮＦ０、ＮＦ１、・・・）が更なる処理のために得られる。これらのパラメータが得られると、方法７００は、ステップ７０６へ進み、ここでは、ゼロ番目のフレーム（ＮＦ０）からの最初の通常フローパラメータが所定の最後のフレームＮＦｔへワープされる。このようなワープは、良く知られた像処理アルゴリズムに基づいて実行される。ステップ７０８では、像フレームＮＦ０内の潜在的な物体の周りのピクセルエリアが拡張される。ピクセルエリアのこの拡張は、潜在的に検出される物体より若干広いエリアを分析して、フレームごとのベースで動きがあるかどうか決定できるようにする。ステップ７１０では、時間ｔにおける通常フローパラメータより小さい全ての通常フローパラメータに対してステップ７０６及びステップ７０８を繰り返して、互いに整列された像フレームを有すると共に潜在的物体の周りの拡張されたピクセルエリアを含む一連のパラメータを形成する。ステップ７１２では、全ての拡張された通常フローパラメータＮＦｎ及び時間ＮＦｔにおける通常フローパラメータの論理ＡＮＤがとられて、拡張されたピクセルエリア全体にわたって動きが生じたかどうか決定する。ステップ７１４では、全てのフレームにおいて物体が検出されたかどうか決定する（全ての通常フローパラメータのＡＮＤ演算から生じる論理１により）ための判断動作が実行される。物体が検出された場合には、この方法はステップ７１８へ進み、物体検出状態をセットする。論理ＡＮＤ演算が論理０を生じる場合には、判断ステップ７１４において、物体が検出されなかったと決定され、この方法はステップ７１６へ進み、このような状態をセットする。この方法は、ステップ７２０で終了となる。像フレーム及びピクセル情報を処理するこのような方法は、像フレーム全体を処理する必要がないので、非常に効率的であると考えられる。即ち、パラメータ値ＮＦｔでは、潜在的に物体であるとしてハイライトされたピクセルのみに関心がもられ、それ以前の像フレーム及びそれに付随する通常フローパラメータは、ＮＦｔにより決定された関心のあるピクセルに焦点を合わせるように処理される。従って、ＮＦｔは、関心のあるピクセル及び拡張されたピクセルエリアを決定し、本発明は、以前のフレーム及びパラメータを経て本質的に引き返し、ＮＦｔで検出された関心のある同じポイントをハイライトし、拡張し、次いで、論理ＡＮＤする。
[0042]ＳＴＴＦサブモジュール５０６の出力は、特定像における実際の動きを構成し得るピクセルの本質的な「クリーナー(cleaner)」表示である一連の動きフローパラメータ（ＭＦ１、ＭＦ２、・・・ＭＦｎとして表わされた）である。関心のある特定の動きにおいてどのピクセルが実際に動くかを更に「クリーン」にし即ち解明するための努力において、より長時間のフィルタが使用され、これがフローベースサブモジュール５０８により表わされる。より詳細には、フローベースサブモジュール５０８は、ＳＴＴＦサブモジュール５０６からの動きフローパラメータの接続コンポーネント分析を実行するのに必要なコンポーネント及びアルゴリズムを含む。接続コンポーネント分析は、光学フローパラメータを生じさせ、これらパラメータは、動きを有するピクセルを本質的に分離し且つ特定形式の動き又は特徴に対して更に研究されるべきものである。次いで、フローベースの動き追跡を使用して、物体が、移動物体として識別されるまでにある距離を移動したことをチェックする。フローアルゴリズムは、「Hierarchical Model-based motion analysis」（プロシーディングズ・オブ・ヨーロピアン・コンファレンス・オン・コンピュータ・ビジョン１９９２年、ベルゲン氏等）において既に説明されている。フローは、フレーム間で計算され、像にわたりピクセルを追跡できるように連結される。本質的に、像は再整列され（ノイズソースとしてのバックグランドを除去するために）、そして特定ピクセルセットの増分的な動きが多数の所定のフレームにわたって決定される。所定数のピクセルを越えて物体が移動した場合には、検出が宣言される。しかしながら、物体の動きは、その動きがエラー性であるか一貫したものであるか決定する第２のテストにも合格しなければならない。動きがエラー性である（例えば、木の葉や、餌をあさっている小動物）場合には、関心のある物体が検出されない。動きが一貫したものである（例えば、人間が道を歩いている、自動車が道路を走行している）場合には、関心のある真の物体が検出される。
[0043]ＰＴＺ／検出モジュール１０８の最後のサブモジュールは、最終的物体追跡サブモジュール５１０である。このサブモジュールは、ある形式の二次の短時間フィルタリング（ＳＴＴＦサブモジュール５０６と概念が同様の）を実行する。即ち、最終フローパラメータ（ＦＦ１、ＦＦ２、・・・ＦＦｎ）がフローベースサブモジュール５０８により発生されて、最終的物体追跡サブモジュール５１０へ通される。このようなパラメータは、ＳＴＴＦサブモジュール５０６により処理されるものより相当に簡単なアルゴリズムにより処理されるが、依然として、移動を表わすパラメータとなる。例えば、２つの連続するＦＦパラメータ（ＦＦ２及びＦＦ３）のセントロイドが計算される。ＦＦｔのセントロイドは、ＦＦｔ−１へワープして戻され（この特定例では、ＦＦ３のセントロイドがＦＦ２のセントロイドへワープして戻され）、そしてＦＦ２に見られる関心のある同じ物体がＦＦ３に依然として見られるかどうかの決定がなされる。これは、所定数のフレームを通る同じ物体の一貫した動きの指示を与える。従って、物体の追跡が確認されるだけでなく、以前に検出された同じ物体として経歴的にも示される。２つのフレームによるトラッキングアルゴリズムについて述べたが、最終的物体追跡サブモジュール５１０においていかなる数のフレームを処理し又は分析してもよく、その予めの決定は、追跡及び識別することが望まれる物体の既知の速度に基づいてシステムオペレータにより行うことができる。
[0044]検出／ＰＴＺ制御モジュール１０８により像の分析及びフィルタリングが完了された後に、適当な検出信号がＧＵＩ出力ディスプレイモジュール１１０へ転送される。例えば、方法６００及び／又は７００の判断ブロック６１０及び／又は７１４により各々発生されて、後で顕著な（一貫して追跡される）物体として確認されるような動き検出信号は、ＧＵＩ出力ディスプレイモジュール１１０へ送られる情報を発生し、これにより、ユーザ（即ち守衛）には多数のオプションが使用できる。第１に、可聴警報が鳴るか、又は他の形式の警告がアクチベートされ、これは、以下に詳細に述べるように、カメラ制御の状態を自動から手動へ切り換える。次いで、守衛は、とるべきステップを決定することができる。第２に、移動物体のビデオが記憶されて表示される。ビデオは、物体の検出前、検出中及び検出後に、記憶され表示される。ビデオ（ＮＴＳＣ又はデジタルフォーマット）は、例えば、ＡＶＩファイルとしてコンピュータに直接記憶されてもよいし、或いはＧＵＩ出力ディスプレイモジュール１１０の一部分として又はリモート位置においてＶＤＲ（ビデオディスクレコーダー）マシンに記憶されてもよい。次いで、守衛は、システムがシーンを横切ってパンし続けていても、ビデオをブラウズして、移動物体をチェックすることができる。第３に、物体のゾーンマップにおける位置、適当なサイズ、速度、並びにその明らかな分類のような物体データが表示される。この物体データは、ビデオに見られる物体の確認を容易にする。
[0045]別の検出筋書きでは、システムがパン／チルト／ズーム走査を停止し、検出の像座標から導出された位置にカメラを向ける。これは、初期化モードにおいて決定されたルックアップテーブル（図４）を使用し、且つ移動物体の記録と共にパン／チルト／ズーム値を記憶することにより、行なわれる。又、これらの値をＧＵＩ出力ディスプレイにフィードバックして、ユーザがディスプレイ上でアイコンをクリックし、カメラを正しい位置に自動的に向けるようにすることもできる。
[0046]又、システム１００の付加的な特徴として、ＧＵＩ出力ディスプレイモジュール１１０は、出力マップディスプレイ上にジオロケーションされた検出物体も示す。これは、初期化モード中に定義されたルックアップテーブルであって、シーンにおける実世界の特徴をパン／チルト／ズーム値及び像の位置に関連付けるルックアップテーブルを使用して、実行される。
[0047]両形式のデータの知識を単一のＧＵＩ出力ディスプレイに使用して、像の識別を更に促進することができる。これは、座標情報（即ち、ＧＰＳ座標に基づく物体の位置と、パン／チルト／ズーム値及びそれに対応するＸ、Ｙ値）をＧＵＩディスプレイに供給することにより実行される。例えば、基本的なピクセル分析（Ｘ、Ｙ座標情報のみ）では、中間距離位置の人間から又は近距離の小物体からの距離において車を識別することを困難にする。というのは、それらは、全て、厳密に一致したピクセルカウントを有するからである。しかしながら、ＧＰＳ情報が同時に処理される場合には、物体の相対的な速度を決定することができ、又は少なくともカメラから物体までの距離を決定することができる。従って、通常検出される物体の既知の特性に基づいて物体を識別することが非常に容易になる。
[0048]又、ＧＵＩ設定モジュール１０６を使用して、ＧＵＩ出力ディスプレイモジュール１１０を校正することもできる。ＧＵＩ出力ディスプレイモジュール１１０は、シーンの正射投影又は他のビューを示すことができる。カメラは、浅い角度で遠くを見ることが多いので、角度が僅かに変化するか又は地上高さが僅かに変化しても、カメラは、地上の非常に異なる位置を見ることになる。ＧＵＩ出力ディスプレイは、正射投影又は他のもの（例えば、マップビュー）をディスプレイ上に示すことにより校正される。次いで、ユーザは、カメラを手動でシーン内の特徴部に向けるが、これは、カメラ像及びマップディスプレイの両方において認識できるもの、例えば、建物や道路の合流点である。次いで、ユーザは、マップ及び像をクリックし、２つのポイント間の対応が記憶される。次いで、ユーザは、シーンにわたる多数のポイントに対してこのプロセスを繰り返す。次いで、世界の平らな３Ｄモデルがこれらポイントに適合されて、カメラが取り付けられた支柱の底に平面が通るようにする。簡単な幾何学形状がカメラのパン／チルト／ズーム位置を平面上のポイントの位置に関連付ける。システムの１つのバージョンでは、これは、カメラを特定のマップ位置に向けるのに必要なパン／チルト／ズーム値を予想するための方法である。システムの第２のバージョンでは、３Ｄポイントを補間して、ポイント間に滑らかな３Ｄ表面を形成する。システムの第３のバージョンでは、地理的測量からのＤＥＭ又はマップ高さデータをシステムに読み込み、第１及び第２の方法で述べた方法に代わって又はそれに加えて働くようにする。又、これらの方法を使用して、シーンにわたる検出感度を変更するためにハイライトされた当該領域（例えば、多角形）を補間することができる。
[0049]物体検出システム１００の１つの特定の用途及び動作が図１０に示されており、これについて以下に説明する。物体検出システム１００は、既存の監視システムに一体化されて、可変制御物体検出及び監視（ＶＣＯＤＳ）システム１０００を形成する。このＶＣＯＤＳシステム１０００は、動き検出分析モジュール１００２と、監視モジュール１００４と、支持構造体１００６（即ち、支柱、天井の梁、等）に取り付けられた複数のカメラ／ＰＴＺモジュール１０２とを備えている。監視モジュール１００４は、既存の監視システムのコンポーネントを維持し且つモニタリングするために種々の入力／出力装置１０１０、１００８、中央処理ユニット１０１１、メモリ１０１３、及びサポート回路１０１５をもつ汎用コンピュータである。又、監視モジュール１００４は、ＶＣＯＤＳ１０００の手動制御中に複数のカメラ／ＰＴＺモジュール１０２を制御するために第１組のカメラ制御信号ＣＣＳ１も発生する。これらの機能は、ＣＰＵ１０１１、メモリ１０１３、サポート回路１０１５、及び付属のＩ／Ｏ装置１００８、１０１０により実行される。
[0050]動き検出分析モジュール１００２も、動き検出のタスクを実行するために種々の入力／出力装置１０１２、１０１４、中央処理ユニット１０１６、メモリ１０１７、及びサポート回路１０１９をもつ汎用コンピュータである。例えば、動き検出分析モジュール１００２は、複数のカメラ／ＰＴＺモジュール１０２の各々からビデオ像及びＥＳＤを受け容れるように適応される。より詳細には、カメラで捕獲された像において移動物体を予想するために、ビデオ信号Ｖｉｄｅｏ１及びＶｉｄｅｏ２がカメラ／ＰＴＺモジュール１０２から動き検出分析モジュール１００２へ入力される。同時に、カメラからのビデオ像を監視下のエリアの基準マップに相関させるために、ＥＳＤ（パン、チルト及びズーム座標）が動き検出分析モジュール１００２へ入力される。又、監視モジュール１００４と同様に、動き検出分析モジュール１００２も、複数のカメラ／ＰＴＺモジュール１０２を制御するためにカメラ制御信号（即ち、第２セットのカメラ制御信号ＣＣＳ２）を発生する。しかしながら、カメラ制御信号ＣＣＳ２は、ＶＣＯＤＳ１０００の自動制御中にカメラ／ＰＴＺモジュール１０２へ供給される。このような処理は、全て、ＣＰＵ１０１６、メモリ１０１７、サポート回路１０１９、及び付属のＩ／Ｏ装置１０１２、１０１４により実行される。検出／ＰＴＺ制御モジュール１０８は、通信チャンネルを経てＣＰＵ１０１６に結合された物理的装置である。或いは又、検出／ＰＴＺ制御モジュール１０８は、記憶装置からロードされてメモリ１０１７に常駐するソフトウェアアプリケーションにより表わすこともできる。従って、本発明の検出／ＰＴＺ制御モジュール１０８は、コンピュータ読み取り可能な媒体に記憶することができる。
[0051]各コンピュータ（動き検出分析モジュール１００２又は監視モジュール１００４）は、その複数の各入力及び出力装置、例えば、キーボード、マウス、カメラ、カムコーダ、ビデオモニタ、任意の数の像形成装置、又は記憶装置に結合することができ、記憶装置は、テープドライブ、フロッピードライブ、ハードディスクドライブ、又はコンパクトディスクドライブを含むが、これらに限定されない。
[0052]システムの動作（及びより詳細には、一般に検出／ＰＴＺ制御モジュール１０８及び動き検出分析モジュール１００２のタスク）は、図１１に一連の方法ステップ１１００として示されており、これについて以下に説明する。この方法は、ステップ１１０２で開始されて、ステップ１１０４へ進み、システムの初期化が行なわれる。このような初期化は、例えば、方法２００に基づいて実行される感度スレッシュホールドの手動選択により行われるか、又は方法３００に基づいて実行される自動的な初期化により行なわれる。方法２００に基づく手動の初期化の一例では、システムオペレータが監視モジュール１００４にアクセスして、カメラ（１つ又は複数）を固定位置に向けさせるカメラ制御信号ＣＣＳ１を発生させる。次いで、システムオペレータは、動き検出分析モジュール１００２にアクセスして、カメラ（１つ又は複数）が固定される領域をカスタマイズする。次いで、システムユーザは、監視モジュール１００４にアクセスして、カスタマイズされるべき次の固定位置にカメラ（１つ又は複数）を向けさせるための付加的なカメラ制御信号ＣＣＳ１を発生させ、監視エリア全体が初期化されるまでこれらのステップを繰り返す。ステップ１１０６では、システム初期化が完了し、動き検出分析モジュール１００２が「走査開始」信号を受信する。ステップ１１０８では、動き検出分析モジュール１００２がこの走査開始信号に応答し、ＶＣＯＤＳシステム１０００が自動制御に入る。自動制御の間に、カメラ／ＰＴＺモジュール１０２のカメラ（１つ又は複数）は、動き検出分析モジュール１００２からのカメラ制御信号ＣＣＳ２に基づいて監視エリアをパンして走査する。従って、カメラ／ＰＴＺモジュール１０２は、ビデオ及びＥＳＤ信号を動き検出分析モジュール１００２へ通す。ビデオ信号は、その後、検出／ＰＴＺ制御モジュール１０８により分析される。
[0053]像処理の結果、ステップ１１１０において移動物体が検出されると、ＶＣＯＤＳシステム１０００の手動制御が行なわれる。より詳細には、物体が検出されると、警報が作動され（即ち、警報が鳴るか又は表示され）、次いで、検出された物体を含むパン及び走査された監視エリアを表わす出力ビデオ信号Ｖｏが監視モジュール１００４へ通されて、ディスプレイ装置１００８に表示される。像分析に基づいて、検出の時間、ゾーンマップにおける物体の特定座標、及び物体の最もあり得る識別（即ち、車、人、等）のような付加的な事象データがディスプレイ装置１００８へ通される。手動制御の間に、システムユーザは、監視モジュール１００４とインターフェイスする。この制御の程度では、ユーザは、検出された物体の像及び事象データを調査すると共に、カメラ（１つ又は複数）を手動で動かして、検出された物体のより詳細な像を得るためのカメラ制御信号ＣＣＳ１を発生したり、物体の現在位置を確認したり、その分類を照合したり、或いは考えられる脅威及び必要な応答を確かめるのに必要な他のステップを実行したりすることができる。
[0054]警報状態が合格であった後、ステップ１１１２において警報がリセットされ、ＶＣＯＤＳシステム１０００は、自動制御に復帰する。例えば、システムユーザは、検出された物体を識別し、適当な当局に通知するか、さもなければ、その物体が脅威でないことを確かめる。その後、ユーザは、「走査開始」信号を動き検出分析モジュール１００２へ送信する。警報がトリガーされた後に所定時間が経過してもシステムユーザにより特定のアクションがとられないか、又はシステムがアイドル状態にある場合には、監視モジュール１００４が「走査モード開始」信号を動き検出分析モジュール１００２へ送信する。いずれの筋書きでも、この方法は、ステップ１１０８に復帰して、再び自動制御に入る。この方法は、ステップ１１１４において、例えば、動き検出分析モジュール１００２がオフラインとなるか又は遮断されたときに、終了となる。
[0055]別の実施形態では、方法１１００は、カメラの自動制御から手動モードへ切り換えることができる。一実施形態では、ユーザによるカメラ制御ジョイスティックの使用が自動的に検出され、この方法は、カメラの自動制御を停止してユーザがカメラを制御するのを許す。ユーザがジョイスティックの使用を停止すると、この方法は、自動カメラ制御モードに切り換えて戻すことができる。ジョイスティック使用の監視は、ユーザがカメラを手動で位置設定するのを希望するときにそれを検出する１つの考えられる方法に過ぎない。
[0056]以上、本発明の好ましい実施形態を説明したが、本発明の基本的な範囲から逸脱せずに他の及び更に別の実施形態も考えられ、したがって、本発明の範囲は、特許請求の範囲によって限定されるものとする。
本発明により物体を自動的に検出し、その検出状態に基づいてカメラを制御するためのシステムを示すブロック図である。 図１の物体検出システムを手動で初期化するための方法を示すフローチャートである。 図１の物体検出システムを自動的に初期化するための方法を示すフローチャートである。 カメラにより捕獲された像のＸ、Ｙピクセル座標に相関するカメラ座標のルックアップテーブルである。 本発明の検出／ＰＴＺ制御モジュールの詳細な回路図である。 本発明による物体検出のための像処理法方を示すフローチャートである。 本発明による物体検出のための第２の像処理法方を示すフローチャートである。 図２の方法で処理されたビデオの単一フレームのピクトグラムである。 図３の方法で処理されたビデオの単一フレームのピクトグラムである。 既存の監視システムと協働する本発明の一実施形態を示す回路図である。 本発明により監視システムのカメラを制御する方法のフローチャートである。
符号の説明
１００・・・物体動き検出システム、１０２・・・カメラ／ＰＴＺモジュール、１０４・・・像形成センサ（カメラ）、１０６・・・ＧＵＩ設定ディスプレイ、１０８・・・検出／ＰＴＺ制御モジュール、１１０・・・ＧＵＩ出力ディスプレイ、４００・・・ルックアップテーブル、５０２・・・位置合わせサブモジュール、５０４・・・通常フローサブモジュール、５０６・・・短時間一時的フィルタリングサブモジュール、５０８・・・フローベースのフィルタリングサブモジュール、５１０・・・最終物体追跡サブモジュール

Claims (10)

  1. 監視を行なう方法において、
    シーン内の位置に像形成センサを指向するステップと、
    前記シーン内の移動物体を検出するステップと、
    前記移動物体を自動的に追跡するように前記像形成センサのパン、チルト及びズーム機能を制御するステップと、
    を含む方法。
  2. 前記指向するステップは、更に、前記位置を像形成するように前記像形成センサを手動で向ける段階を含む、請求項１に記載の方法。
  3. 前記指向するステップは、更に、前記位置を像形成するように前記シーンにわたり前記像形成センサを自動的に走査させる段階と、前記移動物体が検出されるまで前記シーンを走査し続ける段階とを含む、請求項１に記載の方法。
  4. 前記像形成センサのパン、チルト及びズームパラメータに基づいて、前記移動物体の緯度、経度及び高度を導出するステップを更に含む、請求項１に記載の方法。
  5. 前記像形成センサと前記移動物体との間の視線を予想するステップと、
    前記視線を使用して、前記移動物体を最適に像形成するステップと、
    を含む請求項１に記載の方法。
  6. 複数の像形成センサを備え、前記視線を使用して、前記移動物体の最適なビューを与える像形成センサを前記複数の像形成センサから選択するステップを更に含む、請求項５に記載の方法。
  7. 前記像形成センサにより発生される情報は、前記シーンを示すゾーンマップと結合されて表示される、請求項１に記載の方法。
  8. 前記ゾーンマップにおける位置の座標は、ルックアップテーブルを使用してパン／チルト／ズームパラメータへとマップされる、請求項７に記載の方法。
  9. 複数の像形成センサからの情報を前記ゾーンマップと結合するステップを更に含む、請求項７に記載の方法。
  10. 複数の像形成センサが前記シーンを像形成し、更に、前記移動物体の緯度、経度及び高度を使用して、１つの像形成センサの像形成を別の像形成センサへハンドオフするステップを更に含む、請求項４に記載の方法。
JP2005501642A 2002-10-21 2003-10-21 監視を行なう方法及びシステム Pending JP2006523043A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41989302P 2002-10-21 2002-10-21
US10/638,984 US7385626B2 (en) 2002-10-21 2003-08-12 Method and system for performing surveillance
PCT/US2003/033383 WO2004038659A2 (en) 2002-10-21 2003-10-21 Method and system for performing surveillance

Publications (1)

Publication Number Publication Date
JP2006523043A true JP2006523043A (ja) 2006-10-05

Family

ID=32179767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005501642A Pending JP2006523043A (ja) 2002-10-21 2003-10-21 監視を行なう方法及びシステム

Country Status (4)

Country Link
US (1) US7385626B2 (ja)
EP (1) EP1554693A4 (ja)
JP (1) JP2006523043A (ja)
WO (1) WO2004038659A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016174205A (ja) * 2015-03-16 2016-09-29 株式会社リコー プログラム、画像処理装置および画像処理システム
JP6372835B1 (ja) * 2017-03-22 2018-08-15 国立研究開発法人国立環境研究所 警告方法
JP2018157821A (ja) * 2018-04-26 2018-10-11 国立研究開発法人国立環境研究所 警告方法、及び、警告装置

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7954056B2 (en) * 1997-12-22 2011-05-31 Ricoh Company, Ltd. Television-based visualization and navigation interface
US7596755B2 (en) * 1997-12-22 2009-09-29 Ricoh Company, Ltd. Multimedia visualization and integration environment
US7650058B1 (en) 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
US8635531B2 (en) * 2002-02-21 2014-01-21 Ricoh Company, Ltd. Techniques for displaying information stored in multiple multimedia documents
US7446797B2 (en) * 2003-02-10 2008-11-04 Activeye, Inc. User assisted customization of automated video surveillance systems
US20100013917A1 (en) * 2003-08-12 2010-01-21 Keith Hanna Method and system for performing surveillance
US7280753B2 (en) 2003-09-03 2007-10-09 Canon Kabushiki Kaisha Display apparatus, image processing apparatus, and image processing system
JP4614653B2 (ja) * 2003-12-12 2011-01-19 ソニー株式会社 監視装置
US20050134710A1 (en) * 2003-12-18 2005-06-23 Toshiaki Nomura Imaging systems for use with patrol cars and patrol cars having such imaging systems
JP4424031B2 (ja) * 2004-03-30 2010-03-03 株式会社日立製作所 画像生成装置、システムまたは画像合成方法。
WO2005125209A1 (en) * 2004-06-22 2005-12-29 Stratech Systems Limited Method and system for surveillance of vessels
US7366359B1 (en) * 2004-07-08 2008-04-29 Grandeye, Ltd. Image processing of regions in a wide angle video camera
US7639840B2 (en) * 2004-07-28 2009-12-29 Sarnoff Corporation Method and apparatus for improved video surveillance through classification of detected objects
WO2006012645A2 (en) * 2004-07-28 2006-02-02 Sarnoff Corporation Method and apparatus for total situational awareness and monitoring
KR100719120B1 (ko) * 2005-02-26 2007-05-17 삼성전자주식회사 프라이버시영역을 마스크 처리하는 감시시스템 및 그 방법
JP4345692B2 (ja) * 2005-02-28 2009-10-14 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
TW200634674A (en) * 2005-03-28 2006-10-01 Avermedia Tech Inc Surveillance system having multi-area motion-detection function
WO2006118563A1 (en) * 2005-04-29 2006-11-09 Chubb International Holdings Limited Method and device for consistent region of interest
WO2006118559A1 (en) * 2005-04-29 2006-11-09 Chubb International Holdings Limited Automatic video quality monitoring for surveillance cameras
DE102005021735B4 (de) * 2005-05-11 2017-05-04 Robert Bosch Gmbh Videoüberwachungssystem
US20060268360A1 (en) * 2005-05-12 2006-11-30 Jones Peter W J Methods of creating a virtual window
US7996771B2 (en) * 2005-06-17 2011-08-09 Fuji Xerox Co., Ltd. Methods and interfaces for event timeline and logs of video streams
US8026945B2 (en) 2005-07-22 2011-09-27 Cernium Corporation Directed attention digital video recordation
US9363487B2 (en) * 2005-09-08 2016-06-07 Avigilon Fortress Corporation Scanning camera-based video surveillance system
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
US8364646B2 (en) 2006-03-03 2013-01-29 Eyelock, Inc. Scalable searching of biometric databases using dynamic selection of data subsets
US7636105B2 (en) * 2006-04-05 2009-12-22 Etreppid Technologies Llc Method and apparatus for providing motion control signals between a fixed camera and a PTZ camera
US8604901B2 (en) 2006-06-27 2013-12-10 Eyelock, Inc. Ensuring the provenance of passengers at a transportation facility
US8035691B2 (en) * 2006-08-01 2011-10-11 Pelco, Inc. Method and apparatus for compensating for movement of a video surveillance camera
JP5041757B2 (ja) * 2006-08-02 2012-10-03 パナソニック株式会社 カメラ制御装置およびカメラ制御システム
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
GB0616293D0 (en) 2006-08-16 2006-09-27 Imp Innovations Ltd Method of image processing
KR100815565B1 (ko) * 2006-08-23 2008-03-20 삼성전기주식회사 동작 감지 시스템 및 그 방법
US8965063B2 (en) 2006-09-22 2015-02-24 Eyelock, Inc. Compact biometric acquisition system and method
US20080074494A1 (en) * 2006-09-26 2008-03-27 Harris Corporation Video Surveillance System Providing Tracking of a Moving Object in a Geospatial Model and Related Methods
EP2100253A4 (en) 2006-10-02 2011-01-12 Global Rainmakers Inc FRAUDY BIOMETRIC SYSTEM AND METHOD FOR FINANCIAL TRANSACTIONS
US8531521B2 (en) * 2006-10-06 2013-09-10 Sightlogix, Inc. Methods and apparatus related to improved surveillance using a smart camera
US7839431B2 (en) * 2006-10-19 2010-11-23 Robert Bosch Gmbh Image processing system and method for improving repeatability
WO2008050806A1 (en) * 2006-10-24 2008-05-02 Sony Corporation Imaging device and reproduction control device
GB2443664A (en) * 2006-11-10 2008-05-14 Autoliv Dev An infra red object detection system de-emphasizing non relevant hot objects
US20080309760A1 (en) * 2007-03-26 2008-12-18 Pelco, Inc. Method and apparatus for controlling a video surveillance camera
WO2008131201A1 (en) 2007-04-19 2008-10-30 Global Rainmakers, Inc. Method and system for biometric recognition
US8953849B2 (en) 2007-04-19 2015-02-10 Eyelock, Inc. Method and system for biometric recognition
TWI355615B (en) * 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
WO2008149925A1 (ja) * 2007-06-08 2008-12-11 Nikon Corporation 撮像装置、画像表示装置、プログラム
US8098282B2 (en) * 2007-07-13 2012-01-17 Honeywell International Inc. Privacy zone algorithm for ptz dome cameras
US9117119B2 (en) 2007-09-01 2015-08-25 Eyelock, Inc. Mobile identity platform
US9002073B2 (en) 2007-09-01 2015-04-07 Eyelock, Inc. Mobile identity platform
WO2009029765A1 (en) * 2007-09-01 2009-03-05 Global Rainmakers, Inc. Mirror system and method for acquiring biometric data
US8212870B2 (en) 2007-09-01 2012-07-03 Hanna Keith J Mirror system and method for acquiring biometric data
US9036871B2 (en) 2007-09-01 2015-05-19 Eyelock, Inc. Mobility identity platform
KR101187909B1 (ko) * 2007-10-04 2012-10-05 삼성테크윈 주식회사 감시 카메라 시스템
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
US20090290033A1 (en) * 2007-11-16 2009-11-26 Tenebraex Corporation Systems and methods of creating a virtual window
EP2223526B1 (en) * 2007-11-16 2015-01-28 Scallop Imaging, LLC Systems and methods of creating a virtual window
DE102008007199A1 (de) * 2008-02-01 2009-08-06 Robert Bosch Gmbh Maskierungsmodul für ein Videoüberwachungssystem, Verfahren zur Maskierung von selektierten Objekten sowie Computerprogramm
US7952596B2 (en) * 2008-02-11 2011-05-31 Sony Ericsson Mobile Communications Ab Electronic devices that pan/zoom displayed sub-area within video frames in response to movement therein
CN102203828A (zh) * 2008-05-16 2011-09-28 慧视科技有限公司 分析移动摄像机产生的视频信号的方法和装置
WO2009158662A2 (en) 2008-06-26 2009-12-30 Global Rainmakers, Inc. Method of reducing visibility of illimination while acquiring high quality imagery
EP2230629A3 (en) * 2008-07-16 2012-11-21 Verint Systems Inc. A system and method for capturing, storing, analyzing and displaying data relating to the movements of objects
WO2010077389A2 (en) * 2008-08-05 2010-07-08 University Of Florida Research Foundation, Inc. Systems and methods for maintaining multiple objects within a camera field-of-view
US9437044B2 (en) * 2008-11-05 2016-09-06 Hover Inc. Method and system for displaying and navigating building facades in a three-dimensional mapping system
US9215467B2 (en) 2008-11-17 2015-12-15 Checkvideo Llc Analytics-modulated coding of surveillance video
RU2016141566A (ru) 2008-12-19 2018-12-20 Вертекс Фармасьютикалз Инкорпорейтед Производные пиразина, используемые в качестве ингибиторов киназы atr
JP4760918B2 (ja) * 2009-01-23 2011-08-31 カシオ計算機株式会社 撮像装置、被写体追従方法、及びプログラム
US8711218B2 (en) * 2009-02-09 2014-04-29 Verint Systems, Ltd. Continuous geospatial tracking system and method
JP4764487B2 (ja) * 2009-03-02 2011-09-07 株式会社日立製作所 映像監視システム
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8195044B2 (en) 2009-03-30 2012-06-05 Eyelock Inc. Biometric camera mount system
CN101668190A (zh) * 2009-09-15 2010-03-10 中兴通讯股份有限公司 云台控制方法及云台控制***
WO2011037964A1 (en) * 2009-09-22 2011-03-31 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
US20110187859A1 (en) * 2009-11-13 2011-08-04 Steven Donald Edelson Monitoring and camera system and method
US20110137561A1 (en) * 2009-12-04 2011-06-09 Nokia Corporation Method and apparatus for measuring geographic coordinates of a point of interest in an image
US9082278B2 (en) * 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
US9334244B2 (en) 2010-05-12 2016-05-10 Vertex Pharmaceuticals Incorporated Compounds useful as inhibitors of ATR kinase
JP5836367B2 (ja) 2010-05-12 2015-12-24 バーテックス ファーマシューティカルズ インコーポレイテッドＶｅｒｔｅｘ Ｐｈａｒｍａｃｅｕｔｉｃａｌｓ Ｉｎｃｏｒｐｏｒａｔｅｄ Ａｔｒキナーゼ阻害剤として有用な化合物
CN101969548B (zh) * 2010-10-15 2012-05-23 中国人民解放军国防科学技术大学 基于双目摄像的主动视频获取方法及装置
IL208910A0 (en) * 2010-10-24 2011-02-28 Rafael Advanced Defense Sys Tracking and identification of a moving object from a moving sensor using a 3d model
US8193909B1 (en) * 2010-11-15 2012-06-05 Intergraph Technologies Company System and method for camera control in a surveillance system
CN102567983B (zh) * 2010-12-26 2014-11-26 浙江大立科技股份有限公司 即时红外热图中被监测目标位置的确定方法及应用
US10043229B2 (en) 2011-01-26 2018-08-07 Eyelock Llc Method for confirming the identity of an individual while shielding that individual's personal data
CN103477351B (zh) 2011-02-17 2019-06-28 眼锁有限责任公司 用于采用单个传感器采集场景图像和虹膜图像的高效方法和***
WO2012145405A2 (en) 2011-04-19 2012-10-26 Eyelock Inc. Biometric chain of provenance
KR102024954B1 (ko) 2011-08-22 2019-09-24 아이락 엘엘씨 아티팩트 없는 이미지들을 캡처하기 위한 시스템들 및 방법들
JP5547144B2 (ja) * 2011-09-08 2014-07-09 株式会社東芝 監視装置、その方法、及び、そのプログラム
WO2013033954A1 (zh) 2011-09-09 2013-03-14 深圳市大疆创新科技有限公司 陀螺式动态自平衡云台
KR102056586B1 (ko) 2011-09-30 2019-12-18 버텍스 파마슈티칼스 인코포레이티드 Ａｔｒ 억제제를 이용한 췌장암 및 비소세포 폐암의 치료
RU2018147217A (ru) 2011-09-30 2019-01-18 Вертекс Фармасьютикалз Инкорпорейтед Способы получения соединений, которые можно использовать в качестве ингибиторов киназы atr
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
NZ720511A (en) 2012-04-05 2016-12-23 Vertex Pharma Compounds useful as inhibitors of atr kinase and combination therapies thereof
CN102843551A (zh) * 2012-08-13 2012-12-26 中兴通讯股份有限公司 移动侦测的方法、***和业务服务器
EP2904406B1 (en) 2012-10-04 2018-03-21 Vertex Pharmaceuticals Incorporated Method for measuring atr inhibition mediated increases in dna damage
US20140192189A1 (en) * 2013-01-07 2014-07-10 Chin Mu Hsieh Automatic sensing lamp capable of network transmission and long-distance surveillance/remote-control audio-video operations
US9613510B2 (en) * 2013-02-05 2017-04-04 Honeywell International Inc. Apparatus and method for rapid human detection with pet immunity
ITBO20130066A1 (it) * 2013-02-15 2014-08-16 Filippo Guerzoni Metodo e sistema di configurazione e di simulazione del funzionamento di un impianto di sorveglianza.
US9251692B2 (en) * 2013-03-15 2016-02-02 Honeywell International Inc. GPS directed intrusion system with data acquisition
US9495526B2 (en) 2013-03-15 2016-11-15 Eyelock Llc Efficient prevention of fraud
US10127721B2 (en) * 2013-07-25 2018-11-13 Hover Inc. Method and system for displaying and navigating an optimal multi-dimensional building model
US8903568B1 (en) 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
JP2016541026A (ja) 2013-10-08 2016-12-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 安定化と振動低減のための装置および方法
BR112016014692A2 (pt) 2013-12-23 2017-08-08 Eyelock Llc Sistema para um reconhecimento de íris eficiente em termos de potência
EP3092601A4 (en) 2014-01-06 2017-11-29 Eyelock Llc Methods and apparatus for repetitive iris recognition
US20150229884A1 (en) * 2014-02-07 2015-08-13 Abb Technology Ag Systems and methods concerning integrated video surveillance of remote assets
CN103929592A (zh) * 2014-04-22 2014-07-16 杭州道联电子技术有限公司 全方位智能监控设备及方法
KR102152725B1 (ko) * 2014-05-29 2020-09-07 한화테크윈 주식회사 카메라 제어장치
CN105223859A (zh) * 2014-06-13 2016-01-06 比亚迪股份有限公司 控制云台摄像机自动追踪目标的方法和装置
US9792497B2 (en) 2014-09-12 2017-10-17 Eyelock Llc Methods and apparatus for directing the gaze of a user in an iris recognition system
WO2016081609A1 (en) 2014-11-19 2016-05-26 Eyelock Llc Model-based prediction of an optimal convenience metric for authorizing transactions
JP6554280B2 (ja) * 2014-11-28 2019-07-31 株式会社デンソーテン データ処理装置、画像処理方法、及び、プログラム
JP6312178B2 (ja) * 2014-12-31 2018-04-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ナビゲーションシステム、輸送機の状態情報を評価する方法、及び、輸送機の状態情報を評価する装置
EP3248370A4 (en) 2015-01-20 2018-09-12 Eyelock Llc Lens system for high quality visible image acquisition and infra-red iris image acquisition
CN107580767B (zh) 2015-03-12 2020-12-29 眼锁有限责任公司 使用生物特征来管理网络活动的方法和***
EP4296721A3 (en) 2015-04-01 2024-03-20 Vayavision Sensing Ltd. Generating 3-dimensional maps of a scene using passive and active measurements
TWI541767B (zh) 2015-04-07 2016-07-11 群暉科技股份有限公司 藉助於自動產生之巡邏路徑控制一監視系統之方法與裝置
US9824275B2 (en) * 2015-07-31 2017-11-21 Hon Hai Precision Industry Co., Ltd. Unmanned aerial vehicle detection method and unmanned aerial vehicle using same
US9842488B2 (en) 2015-08-06 2017-12-12 Nortek Security & Control Llc Method and apparatus for creating security and control system tracking immunity
JP7187308B2 (ja) 2015-09-30 2022-12-12 バーテックス ファーマシューティカルズ インコーポレイテッド Ｄｎａ損傷剤とａｔｒ阻害剤との組み合わせを使用する、がんを処置するための方法
US10311299B2 (en) 2015-12-21 2019-06-04 Eyelock Llc Reflected optic camera module for iris recognition in a computing device
CN107105193B (zh) * 2016-02-23 2020-03-20 芋头科技（杭州）有限公司 基于人体信息的机器人监控***
WO2017201147A2 (en) 2016-05-18 2017-11-23 Eyelock, Llc Iris recognition methods and systems based on an iris stochastic texture model
JP6701018B2 (ja) * 2016-07-19 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10534969B2 (en) 2017-02-24 2020-01-14 Eyelock Llc Systems and methods for providing illumination for iris biometric acquisition
US10706696B1 (en) * 2017-03-01 2020-07-07 Sunflower Labs Inc. Security system with distributed sensor units and autonomous camera vehicle
AU2018230677B2 (en) * 2017-03-06 2021-02-04 Innovative Signal Analysis, Inc. Target detection and mapping
CA3015802C (en) 2017-08-31 2021-06-22 Eyelock, Llc Systems and methods of biometric acquistion using positive optical distortion
US10546197B2 (en) 2017-09-26 2020-01-28 Ambient AI, Inc. Systems and methods for intelligent and interpretive analysis of video image data using machine learning
US10506202B2 (en) * 2017-11-20 2019-12-10 Cisco Technology, Inc. System and method for protecting critical data on camera systems from physical attack
EP3503548B1 (en) * 2017-12-19 2019-10-23 Axis AB Video encoding method and system
US10628706B2 (en) * 2018-05-11 2020-04-21 Ambient AI, Inc. Systems and methods for intelligent and interpretive analysis of sensor data and generating spatial intelligence using machine learning
WO2020020149A1 (zh) * 2018-07-25 2020-01-30 杭州海康威视数字技术股份有限公司 视频信号识别方法、装置、电子设备及可读存储介质
US11195067B2 (en) 2018-12-21 2021-12-07 Ambient AI, Inc. Systems and methods for machine learning-based site-specific threat modeling and threat detection
US11443515B2 (en) 2018-12-21 2022-09-13 Ambient AI, Inc. Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management
US11874679B2 (en) * 2019-01-09 2024-01-16 Mitsubishi Electric Corporation Using an imaging device to correct positioning errors
WO2022016277A1 (en) 2020-07-21 2022-01-27 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
WO2022016274A1 (en) 2020-07-21 2022-01-27 Leddartech Inc. Beam-steering devices and methods for lidar applications
CA3198326A1 (en) 2020-07-21 2021-10-06 Leddartech Inc. Beam-steering device particularly for lidar systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396961B1 (en) 1997-11-12 2002-05-28 Sarnoff Corporation Method and apparatus for fixating a camera on a target point using image alignment
US6133946A (en) * 1998-01-06 2000-10-17 Sportvision, Inc. System for determining the position of an object
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
US7208720B2 (en) * 1999-07-06 2007-04-24 Larry C. Hardin Intrusion detection system
WO2001069932A1 (en) * 2000-03-10 2001-09-20 Sensormatic Electronics Corporation Method and apparatus for object tracking and detection
US7173650B2 (en) * 2001-03-28 2007-02-06 Koninklijke Philips Electronics N.V. Method for assisting an automated video tracking system in reaquiring a target
US7161615B2 (en) * 2001-11-30 2007-01-09 Pelco System and method for tracking objects and obscuring fields of view under video surveillance
US6672535B2 (en) 2002-04-22 2004-01-06 Aerial View Systems, Inc. Camera systems for tracking objects from an aircraft
US20040046938A1 (en) * 2002-09-05 2004-03-11 Gary Gero Automatic and manual lens focusing system with visual matching for motion picture camera

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016174205A (ja) * 2015-03-16 2016-09-29 株式会社リコー プログラム、画像処理装置および画像処理システム
JP6372835B1 (ja) * 2017-03-22 2018-08-15 国立研究開発法人国立環境研究所 警告方法
JP2018157767A (ja) * 2017-03-22 2018-10-11 国立研究開発法人国立環境研究所 警告方法
JP2018157821A (ja) * 2018-04-26 2018-10-11 国立研究開発法人国立環境研究所 警告方法、及び、警告装置

Also Published As

Publication number Publication date
US7385626B2 (en) 2008-06-10
WO2004038659A2 (en) 2004-05-06
US20040119819A1 (en) 2004-06-24
WO2004038659A3 (en) 2004-06-03
EP1554693A4 (en) 2009-02-04
EP1554693A2 (en) 2005-07-20

Similar Documents

Publication Publication Date Title
JP2006523043A (ja) 監視を行なう方法及びシステム
US20100013917A1 (en) Method and system for performing surveillance
US9041800B2 (en) Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking
US7583815B2 (en) Wide-area site-based video surveillance system
KR100634237B1 (ko) 화상감시장치 및 화상감시방법
US8289392B2 (en) Automatic multiscale image acquisition from a steerable camera
WO2016157327A1 (ja) 映像監視システム及び映像監視方法
US10762638B2 (en) Autonomous camera-to-camera change detection system
US20050036036A1 (en) Camera control apparatus and method
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
US20080117296A1 (en) Master-slave automated video-based surveillance system
JP2016127571A (ja) カメラシステム、表示制御装置、表示制御方法、及びプログラム
KR20110075250A (ko) 객체 추적 모드를 활용한 객체 추적 방법 및 장치
KR101608778B1 (ko) 원근 면을 이용한 객체 검출 방법 및 장치
JP7314973B2 (ja) 映像監視装置、映像監視方法及びプログラム
TWI556651B (zh) 具攝影機自動調派功能之3d影像監控系統及其監控方法
KR101656642B1 (ko) 영상을 이용한 집단 행동 분석 방법
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
WO2005120070A2 (en) Method and system for performing surveillance
KR100982342B1 (ko) 지능형 방범 시스템 및 그 구동방법
KR101652443B1 (ko) 감시 영역 설정을 통한 객체 감시 방법 및 장치
KR20230152410A (ko) 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
KR20180062060A (ko) 영상 감시 시스템
KR101623332B1 (ko) 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090401

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090408

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090630