JP2008140370A - ステレオカメラ侵入検知システム - Google Patents
ステレオカメラ侵入検知システム Download PDFInfo
- Publication number
- JP2008140370A JP2008140370A JP2007209786A JP2007209786A JP2008140370A JP 2008140370 A JP2008140370 A JP 2008140370A JP 2007209786 A JP2007209786 A JP 2007209786A JP 2007209786 A JP2007209786 A JP 2007209786A JP 2008140370 A JP2008140370 A JP 2008140370A
- Authority
- JP
- Japan
- Prior art keywords
- image
- filtered
- background image
- images
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000002596 correlated effect Effects 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims description 49
- 238000012544 monitoring process Methods 0.000 claims description 47
- 230000003213 activating effect Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 20
- 238000011156 evaluation Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 7
- 239000003381 stabilizer Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 206010048909 Boredom Diseases 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】侵入検知システムのためのシステムおよび方法を提供。
【解決手段】この侵入検知システムは、監視領域の第1視覚画像を取得するように構成された第1カメラと、監視領域の第2視覚画像を取得するように構成された第2カメラとを備える。この侵入検知システムは、第1画像を監視領域の背景画像と比較するように構成された検出装置も備える。この検出装置は、第1画像と背景画像との間の差分を、潜在的侵入物としてマーキングすることができる。この侵入検知システムはさらに、第1画像の各々を第2画像の各々と比較して評価して、潜在的侵入物に関連付けられた3次元特徴を判定するように構成されたトラッキング装置を備える。
【選択図】図1
【解決手段】この侵入検知システムは、監視領域の第1視覚画像を取得するように構成された第1カメラと、監視領域の第2視覚画像を取得するように構成された第2カメラとを備える。この侵入検知システムは、第1画像を監視領域の背景画像と比較するように構成された検出装置も備える。この検出装置は、第1画像と背景画像との間の差分を、潜在的侵入物としてマーキングすることができる。この侵入検知システムはさらに、第1画像の各々を第2画像の各々と比較して評価して、潜在的侵入物に関連付けられた3次元特徴を判定するように構成されたトラッキング装置を備える。
【選択図】図1
Description
本発明は、一般に侵入検知システムに関し、より詳細にはステレオカメラ侵入検知システムに関する。
現代社会において、また有史に渡って、常にセキュリティ対策が必要とされてきた。この対策は盗難、機密資料および機密領域、ならびに様々な他のアプリケーションに対する不正アクセスを防止するために使用されてきた。このような一般的なセキュリティ対策には、侵入検知システムが含まれる。典型的に、侵入検知システムはビデオ監視を内蔵する。ビデオ監視は、保護が求められる施設周辺に位置する1つまたは複数のビデオカメラが取得したビデオフィードを監視することを含む。ビデオフィードを監視することは典型的に、警備員または警察等により人手で行われる。しかしながら、潜在的なセキュリティ脅威は、長期間または平穏無事な期間の中での独立事象であるため、退屈してしまうことが重大な問題となり、従ってセキュリティ不備となる可能性がある。
退屈さの問題を克服するため、幾つかの自動侵入検知システムが開発されてきた。この自動システムは、人間の監視を支援するための様々なコンピュータビジョンアルゴリズムを内蔵することができる。典型的には、変化検出アルゴリズムを使用して監視領域内の範囲を識別し、その範囲は監視員がより慎重に再調査する価値がある。しかしながら、このようなシステムは、環境の変化から生じるものなど、誤検知したものを記録する可能性が非常に高い。この環境の変化には例えば、遠方の背景変化、風に飛ばされた低木、カメラの振動、雲の通過による明るさの変化、および夜間の光線移動などがある。そのため、結果として生じる高確率の誤検知は、経験豊かなセキュリティ監視員でさえも疲弊させる可能性がある。誤検知の条件を解決するため、そのゾーン内での活動に対してはアラームが作動しない空値ゾーンを、オペレータが画定することのできるシステムもある。しかしながら、上記の解決法では侵入物を見逃す場合があり、従ってセキュリティ不備となる可能性がある。
退屈さに関連する問題に加えて、典型的な自動侵入検知システムは、多数のさらなる難点に悩まされる可能性がある。例えば、カメラベースの侵入検知システムは典型的に、下を見下ろす非常に高い位置に取り付けられるカメラを含む。そのため、このような侵入検知システムは、カメラの視野内の地上における侵入物の位置にのみ基づいて、侵入物の位置を判定することができる。しかしながら上記の配置は、設置および維持が困難である可能性があり、特別な取り付け装置および付属品を必要とするので、高価になる可能性がある。さらに、上記システムの視野は限定される場合がある。そのため、侵入物は検知される前に上記システムを目にすることもあり、従って侵入物に盲点を利用する機会を与え、または侵入物は自動侵入検知システムを無効にする他の対応策を考案することができる。
本発明の1実施態様は、侵入検知システムを含む。この侵入検知システムは、監視領域の第1画像を取得するように構成された第1カメラと、監視領域の第2画像を取得するように構成された第2カメラとを備える。この侵入検知システムは、前述の第1画像を監視領域の背景画像と比較するように構成された検出装置も備える。この検出装置は、前述の第1画像と前述の背景画像との差分を潜在的侵入物としてマーキングすることができる。この侵入検知システムはさらに、前述の第2画像の各々に対して前述の第1画像の各々を評価し、潜在的侵入物に関連付けられた3次元特徴を判定するように構成されたトラッキング装置を備える。
本発明の別の実施態様は、監視領域内の侵入物を検知する方法を含む。この方法は、第1カメラから前述の監視領域の第1画像を取得すること、第2カメラから前述の監視領域の第2画像を取得すること、および前述の監視領域の背景画像を生成することを含む。この方法は、第1画像に関連付けられた第1画素を前述の監視領域の背景画像に関連付けられた第2画素に相関させて、前述の第1画素が前述の第2画素と水平および垂直に整列するようにすることも含む。この方法は、前述の第1画像と前述の監視領域の背景画像とを比較して、潜在的侵入物の存在を判定することも含む。この方法はさらに、前述の第1画像と前述の第2画像の相対的比較に基づいて、前述の潜在的侵入物の3次元特徴を判定すること、および前述の潜在的侵入物の3次元特徴が少なくとも1つの所定閾値を超過する場合に、インジケータをアクティブにすることを含む。
本発明の別の実施態様は、侵入検知システムを含む。この侵入検知システムは、監視領域の第1画像と第2画像とを同時に取得する手段を備える。この侵入検知システムは、前述の監視領域の背景画像を連続的に生成する手段も備える。この侵入検知システムはまた、前述の第1画像と前述の背景画像との間の差分に基づいて、潜在的侵入物を検知する手段も備える。この侵入検知システムはさらに、前述の第1画像と前述の第2画像とに基づいて前述の潜在的侵入物の3次元特徴を判定する手段、および前述の潜在的侵入物の3次元特徴に基づいて、インジケータをアクティブにする手段を備える。
本発明は、典型的に侵入検知システムに関し、より詳細にはステレオカメラ侵入検知システムに関する。1対のステレオカメラはそれぞれ、監視領域の並列画像を取得する。カメラの1つまたは両方からの取得画像は、背景画像と比較することができる。従って、背景画像をカメラの1つから生成することができるか、またはカメラを別個の背景画像と比較することができる。取得画像の各々に基づいて背景画像を常時更新し、監視領域環境内の微妙な変化をゆっくりと捕捉することができる。さらに、背景画像を取得画像の各々と相関させ、取得画像と背景画像の各々の画素を水平および垂直に整列することができる。
取得画像と背景画像における差分を検出する際、異なる画素を潜在的侵入物として概説することができる。各カメラからの取得画像を相関させ、あるカメラから取得した画像における潜在的侵入物の2次元位置の、他のカメラに対する視差間隔を判定することができる。視差間隔を判定する際、潜在的侵入物の3次元位置、大きさ、および動作を判定することができる。潜在的侵入物の位置、大きさ、および/または動作は、少なくとも1つの所定閾値と比較することができ、潜在的侵入物が所定閾値を超える際にインジケータを鳴らすことができる。
図1は、本発明の態様によるステレオカメラ侵入検知システム10の例を示す。ステレオカメラ侵入検知システム10は、第1カメラ14および第2カメラ16を含むステレオ画像取得台12を含む。第1カメラ14および第2カメラ16は、デジタルカメラであってもよい。または、第1カメラ14および第2カメラ16は、アナログカメラ画像であってもよく、第1カメラ14および第2カメラ16から取得した画像は、デジタイザ(図示せず)に出力することができる。第1カメラ14および第2カメラ16は、同一監視領域の画像を並列に取得するように構成することができる。そのため、第1カメラ14および第2カメラ16は互いに対してステレオで動作し、それらを互いに近い位置(例えば、1メートル)に取り付けることができる。取得画像はそれぞれ、第1カメラ14および第2カメラ16によりそれぞれ高速(例えば、1秒あたり15フレーム)で収集され、別個に取得されたフレームとなることができる。第1カメラ14および第2カメラ16は従って、それら各々の物理的間隔に基づく各々の視点においてのみ異なる、ほぼ同じ画像を取得することができる。そのため、以下でさらに詳細に説明するように、ステレオ画像取得台12は潜在的侵入物の3次元位置を検出することができる。
潜在的侵入物の3次元位置を検出する能力により、ステレオ画像取得台12を最適に配置することができる。ステレオカメラ侵入検知システム10は、潜在的侵入物の3次元位置を検出できるため、ステレオ画像取得台12を高い位置に取り付ける必要がない。代わりに、ステレオ画像取得台12を床の高さ近くに、かつ床に平行に取り付けることができる。上記のような取り付け配置は、高い位置に置くよりも非常に廉価で、かなり人目につきにくい。そのため、潜在的侵入物はステレオ画像取得台12を検知することができず、従って隠れる機会、または対応策を実施する機会を潜在的侵入物から奪うことができる。
取得画像はステレオ画像取得台12からトークン検出器18に出力される。トークン検出器18は、第1カメラ14および/または第2カメラ16からの取得画像を背景画像と比較するように構成される。以下でさらに詳細に説明するように、トークン検出器18は、第1カメラ14および/または第2カメラ16からの取得画像の各々に関連付けられた画素と背景画像に関連付けられた画素との間の差分に基づいて、潜在的侵入物の存在を判定することができる。さらに、または代替的に、以下でさらに詳細に説明するように、トークン検出器18は、第1カメラ14および/または第2カメラ16からの取得画像と背景画像との間のテクスチャ差分に基づいて、潜在的侵入物の存在を判定することができる。
背景画像は、背景画像生成器20により生成することができる。背景画像生成器20は、ステレオ画像取得台12から入力を受信するものとして、図1の例に示されている。入力は、第1カメラ14、第2カメラ16、または第1カメラ14および第2カメラ16の両方からの入力であってよい。従って、背景画像生成器20は、第1カメラ14、第2カメラ16からの取得画像に基づいて背景画像を生成することができるか、または第1カメラ14および第2カメラ16の各々から1つ、独立した背景画像を生成することができる。
背景画像生成器20は、第1カメラ14および/または第2カメラ16からの取得画像の複数画素によって背景画像を周期的に更新することで、背景画像を連続的に生成し続けることができる。そのため、通過する太陽が投射する影などのような監視領域内の漸進的な環境変化を背景画像に取り込むことができる。ステレオカメラ侵入検知システム10は従って、漸進的な環境変化に基づく誤検知を記録しない。さらに、背景画像生成器20が生成する背景画像を安定化することができる。以下の図2の例でさらに詳細に説明するように、安定化した背景画像を、第1カメラ14および/または第2カメラ16からの取得画像と水平または垂直に整列して、カメラバウンスを補償することができる。
第1カメラ14および第2カメラ16の各々からの取得画像の各々に対して、トークン検出器18は、それぞれの取得画像と背景画像との間の画素差分の絶対値を示す差分画像を生成することができる。トークン検出器18は次いで、差分画像上で画素充填アルゴリズムを実施し、差分画像上で近接する差分画素を接続して候補トークンを示すことができる。候補トークンは、潜在的侵入物を表すことができる。
代替実施態様において、図7の例に示すように、トークン検出器18は画像フィルタアルゴリズムを含み、第1カメラ14、第2カメラ16からの取得画像、および背景画像を全てフィルタリングすることができる。第1カメラ14および第2カメラ16からのフィルタリング画像を、トークン検出器18によりフィルタリング背景画像と比較して、それぞれ背景画像と比較した第1カメラ14および第2カメラ16からの取得画像間のテクスチャ変化を判定することができる。このような方法で、取得画像と背景画像との間の明るさおよびコントラストの差分は、ステレオカメラ侵入検知システム10により無視することができる。第1カメラ14および第2カメラ16からのフィルタリング画像とフィルタリング背景画像との間のテクスチャ差分は、潜在的侵入物を表すことが可能な候補トークンとなることができる。しかしながら、トークン検出器18はさらに、潜在的侵入物の存在を重複して判定する方法として絶対値画素差分を使用し、候補トークンを評価することができる。
ステレオカメラ侵入検知システム10は、画像トラッキング装置22も含む。画像トラッキング装置22は、位置取得エンジン24、3次元動作計算器26、および閾値比較器28を含む。トークン検出器18は、候補トークンの位置を位置取得エンジン24に通信する。さらに、ステレオ画像取得台12は、第1カメラ14および第2カメラ16の1つまたは両方により取得された画像を位置取得エンジン24に送信することができる。位置取得エンジン24は、潜在的侵入物に関連付けられた3次元位置および大きさを判定するように構成される。例えば、位置取得エンジン24は、第1カメラ14から取得した画像と第2カメラ16から取得した画像とを結合することができる。位置取得エンジン24は次いで、第1カメラ14および第2カメラ16から取得した各画像に相関アルゴリズムを適用して、第1カメラ14により取得された画像内の候補トークンの第2カメラ16により取得された画像に対する相対的2次元位置を判定することができる。従って、位置取得エンジン24は、第1カメラ14により取得された画像内の潜在的侵入物の第2カメラ16に対する視差間隔に基づいて、潜在的侵入物の3次元位置および大きさを判定することができる。
潜在的侵入物の視差間隔を判定することにおいて、位置取得エンジン24は、画像フィルタリングアルゴリズムを第1カメラ14および第2カメラ16により取得された画像の各々に適用して、第1のフィルタリング画像および第2のフィルタリング画像をそれぞれ取得することができる。フィルタリングアルゴリズムは例えば、ラプラシアン・ガウシアン符号(SLOG)フィルタリングアルゴリズムであってよい。さらに、位置取得エンジン24は、複数のフィルタリングアルゴリズムを第1カメラ14および第2カメラ16からの各画像に適用することができ、各フィルタリング画像は異なる解像度を有することができる。位置取得エンジン24は次いで、第1のフィルタリング画像を第2のフィルタリング画像に重ね合わせ、相関アルゴリズムを適用することができる。この重ね合わせは、トークン検出器18からの通信時に、第1のフィルタリング画像内の候補トークンを第2のフィルタリング画像内の潜在的侵入物の近似位置に重ね合わせることを含むことができる。第1カメラ14および第2カメラ16の両方が取得した画像上の候補トークンを判定するステレオカメラ侵入検知システム10の例において、位置取得エンジン24は、画像フィルタリングアルゴリズムを適用せずに、相関アルゴリズムの適用前に第1カメラ14からの差分画像を第2カメラ16からの差分画像上に単純に重ね合わせてもよい。
例として、相関アルゴリズムは、反復画素シフトアルゴリズムを含んでもよい。この反復画素シフトアルゴリズムは、第1のフィルタリング画像を第2のフィルタリング画像に対して少なくともシフトあたり1画素シフトし、第1のフィルタリング画像を各シフトでそれぞれの第2のフィルタリング画像と比較する。この比較は、各シフトに対して相関スコアを判定することを含んでもよい。最高相関スコアを有するシフトを判定する際、位置取得エンジン24は潜在的侵入物の視差間隔を、第1画像と第2画像との間のオフセット画素数に基づいて判定することができる。位置取得エンジン24は次いで、オフセット画素数を3次元空間における測定単位に変換して、潜在的侵入物の3次元位置および大きさを判定することができる。
当然のことながら、潜在的侵入物の3次元位置および大きさを判定する際、位置取得エンジン24は、第1カメラ14からの所与の画像を、ほぼ同時に取得した第2カメラ16からのそれぞれの画像と比較して評価する。そのため、位置取得エンジン24は、第1カメラ14および第2カメラ16からの取得画像の各フレームに関連付けられた3次元位置および大きさの情報を、3次元動作計算器26に出力する。3次元動作計算器26は、第1カメラ14および第2カメラ16の複数画像、従って複数フレームに渡る潜在的侵入物の3次元位置および大きさの変化をトラッキングすることができる。第1カメラ14および第2カメラ16の画像に渡る潜在的侵入物の3次元位置および大きさの変化により、動作方向および動作速度などのような潜在的侵入物に関連付けられた3次元動作を判定することができる。
潜在的侵入物に関連付けられた位置、大きさ、および動作の情報は、閾値比較器28に出力することができる。この閾値比較器28は、インジケータ30に結合される。インジケータ30は例えば、警報器、視覚インジケータ、または任意の様々な他の表示装置であることができる。さらに、インジケータ30をネットワークに結合して、監視領域から離れた警察署などの施設にインジケータ30を設置することができる。閾値比較器28は、インジケータ30に信号を送ってステレオカメラ侵入検知システム10のオペレータ(例えば、警備員および/または警察官)に知らせるのに十分な任意の様々な所定閾値条件で、プログラミングすることができる。例えば、潜在的侵入物が例えば子犬の大きさよりも大きいと判定されると、閾値比較器28はインジケータ30に信号を送ることができる。大きさの閾値は全体の大きさだけでなく、高さに特有のものであってよい。このような方法で、閾値比較器28は、ステレオカメラ侵入検知システム10の所与のオペレータが注意する必要のない鳥や兎などのような潜在的侵入物から、誤検知条件が生じないことを保証できる。
閾値条件は潜在的侵入物の所与の速度も示し、例えば、ある一定速度またはそれを超える速度で走行する自動車について、インジケータ30に信号を送ることができる。さらに、ステレオカメラ侵入検知システム10のオペレータは、監視領域の3次元部分を閾値ゾーンまたは空値ゾーンとして指定することができる。従って、閾値比較器28は、潜在的侵入物が閾値ゾーン内または閾値ゾーンに向かって移動する際に、インジケータ30に信号を送ることができる。同様に、閾値比較器28は、空値ゾーン内に潜在的侵入物を検知する際にインジケータ30を無効にし、セキュリティ監視にとって特には関心のない監視領域の3次元部分を無効にすることができる。そのため、枝の揺れのような一定の環境変化から生じる誤検知条件を緩和することができる。当然のことながら、閾値比較器28をプログラミングして、任意の数の閾値、および組合せて適用される閾値を適用することもできる。例えば閾値比較器28を、潜在的侵入物がある一定の所定の大きさであり、かつある一定の所定速度で移動しているときにのみ、インジケータ30に信号を送るようにプログラミングすることができる。
当然のことながら、ステレオカメラ侵入検知システム10を、図1に示す例に限定する意図はない。例えば、ステレオカメラ侵入検知システム10は、ステレオ画像取得台12内に3つ以上のステレオカメラを含むことができる。さらに、図4、図6、および図7の例で示すように、本発明の態様により、任意の数の異なる構成をステレオカメラ侵入検知システム10に対して実装することができる。
図2は、本発明の態様による背景画像生成器50の例を示す。当然のことながら、背景画像生成器50は、図1の例の背景画像生成器20とほぼ同じものであることができる。そのため、図1の参照、および図1と同じ参照番号を、以下の図2の説明で使用する。図2の例で示す背景画像生成器50は、カメラ52から画像データを受信する。カメラ52は、図1の例における第1カメラ14または第2カメラ16のいずれであってもよい。カメラ52からの単一フレームを使用して、取得背景画像54を生成することができる。取得背景画像54は、所定の時点で撮影した監視領域の画像であってよい。例えば、背景画像生成器50を使用しているステレオカメラ侵入検知システムのオペレータは、監視領域内に侵入物はいないと判定する際に、背景画像生成器50に入力を与えて取得背景画像54を生成することができる。さらに、背景画像生成器50は、例えば毎分1回といった所定の時点で取得背景画像54を周期的に生成して、通過する雲などのような漸進的な環境条件変化を捕捉することができる。
背景画像生成器50は、背景画像更新器56も含む。背景画像更新器56は、周期的にカメラ52から入力を受信して取得背景画像54を更新し、監視領域内部で発生する漸進的変化を捕捉する。例えば、背景画像更新器56は、カメラ52が取得した画像から、複数の画素を取得背景画像54に周期的に追加することができる。当然のことながら、取得背景画像54の更新速度の判定において、調整を行うことができる。例えば、取得背景画像54の更新が速すぎる場合、潜在的侵入物は取得背景画像54の一部となり、結果として見逃す可能性がある。逆に、取得背景画像54の更新が遅すぎる場合、監視領域の漸進的環境変化により候補トークンが生成され、誤検知の可能性がある。そのため、背景画像更新器56を、取得背景画像54に追加される画素量と、取得背景画像54への画素の追加頻度とに関してプログラミング可能である。
図1の例でステレオカメラ侵入検知システム10に関して上述したように、トークン検出器18は、絶対値画素差分アルゴリズムを適用して差分画像を生成するように構成することができる。従って、差分画像は背景画像と第1カメラ14および/または第2カメラ16の各々が取得した画像の各々との間の絶対値画素差分である。そのため、画像取得カメラと背景画像との間の水平および/または垂直整列の微小変動により、実際の監視領域内にはほとんど変化がなくても、大幅な変動を示す差分画像を生成することができる。この整列ミスマッチは、画像取得カメラが風、振動、または任意の様々な他の要因により微小移動するなどの、カメラバウンスから生じる可能性がある。このような移動により、取得画像が背景画像から所与の方向に1つまたは複数の画素だけオフセットし、結果として取得画像と背景画像との間の極端な変動を示す差分画像となり、従って侵入物を誤検知する可能性が生じる。
カメラバウンスを考慮するため、背景画像生成器50は背景画像スタビライザ58を含む。背景画像スタビライザ58は、取得背景画像54に対してカメラ52の取得画像を垂直および水平に整列し、取得背景画像54が安定するように構成される。背景画像スタビライザ58は、各取得画像と取得背景画像54とを入力としてカメラ52から受信する。取得背景画像54は、背景ラプラシアン・ガウシアン符号(SLOG)フィルタ60に入力され、カメラ52からの取得画像はそれぞれ、画像SLOGフィルタ62に入力される。当然のことながら、背景SLOGフィルタ60および画像SLOGフィルタ62はSLOGフィルタに限定されず、任意の様々な帯域通過画像フィルタであってよい。背景SLOGフィルタ60および画像SLOGフィルタ62は、各画像をフィルタリング画像に変換し、フィルタリング画像がテクスチャコントラストを強調するように動作する。当然のことながら、取得背景画像54は、背景画像更新器56による更新の度に背景SLOGフィルタ60に入力されるだけであってもよい。
図3は、本発明の態様によるカメラ画像100ならびにカメラ画像100の第1のフィルタリング画像102、第2のフィルタリング画像104、および第3のフィルタリング画像106の例を示す。図3の例において、第1のフィルタリング画像102、第2のフィルタリング画像104、および第3のフィルタリング画像106はそれぞれ、カメラ画像100のSLOGのフィルタリング画像である。フィルタリング画像102、フィルタリング画像104、およびフィルタリング画像106は、カメラ画像100のテクスチャコントラストの白黒画素パターンを示し、そのため、カメラ画像100の明るさの変化を表していない。従って、通過する雲および他の明るさのパターンからの影は、画像102、画像104、および画像106のようなSLOGのフィルタリング画像においては検出されない。
第1のフィルタリング画像102、第2のフィルタリング画像104、および第3のフィルタリング画像106はそれぞれ、カメラ画像100の2値テクスチャコントラストを示す際の各種解像度を有する。第1のフィルタリング画像102はカメラ画像100の低解像度フィルタリング表現であり、第2のフィルタリング画像104はカメラ画像100の中解像度フィルタリング表現であり、第3のフィルタリング画像106はカメラ画像100の高解像度フィルタリング表現である。図2の例における背景SLOGフィルタ60および画像SLOGフィルタ62のような所与のSLOGフィルタを調整して、図3の例に示すように各種の2値テクスチャ解像度を与えることができる。図3の例で示すように、フィルタリング画像106は、フィルタリング画像102およびフィルタリング画像104よりも正確なカメラ画像100の2値テクスチャパターンを定義する。しかしながら、フィルタリング画像106は、カメラ画像100をフィルタリングする際に雑音に対してより敏感であってもよい。
図2の参照に戻ると、背景SLOGフィルタ60および画像SLOGフィルタ62は、フィルタリング画像102のような粗いフィルタリング操作を、取得背景画像54とカメラ52から受信した視覚画像に対して適用するだけでよい。フィルタリング画像はそれぞれ、背景SLOGフィルタ60および画像SLOGフィルタ62からフィルタリング画像相関器64に出力される。フィルタリング画像相関器64は、フィルタリング取得背景画像をフィルタリング取得視覚画像に重ね合わせる。フィルタリング画像相関器64は次いで、フィルタリング取得背景画像をフィルタリング取得視覚画像上で1度に1画素だけ反復シフトする。
毎回の画素シフトで、フィルタリング画像相関器64は相関スコアを判定することができる。相関スコアは、2値テクスチャパターン画素の一致数に基づいて、フィルタリング取得背景画像とフィルタリング取得視覚画像との整列度合いを表すことができる。シフトを垂直および水平の両方向で行うことができ、かつシフトを画像全体または画像の一部に渡って行うことができ、正負の画素シフト境界を垂直および水平の両方向に設定することができる。最高相関スコアとなる画素シフトは、フィルタリング背景画像とフィルタリング取得視覚画像との間の適切な整列を表すことができる。当然のことながら、フィルタリング画像相関器64は、カメラ52の各フレームに関連付けられた各フィルタリング取得視覚画像を、フィルタリング取得背景画像に対して相関させることができる。
フィルタリング取得背景画像とフィルタリング取得視覚画像との間の適切な相関を判定する際、フィルタリング画像相関器64は、相関付けのためにシフトした画素数を画像シフタ66に通信する。画像シフタ66は取得背景画像54を受信し、取得背景画像54をフィルタリング画像相関器64が通信した画素数だけシフトする。シフトされた取得背景画像は次いで、画像シフタ66から、図1の例で示したトークン検出器18のようなトークン検出器に出力される。このような方法で、背景画像を安定化させて誤った進入検知を低減することができる。この誤った侵入検知は、各カメラからの背景画像と取得視覚画像との間の水平および垂直の整列欠如に基づく、差分画像内の絶対値画素差分から生じる。
当然のことながら、背景画像生成器50は図2の例に限定されない。例えば、背景画像スタビライザ58のコンポーネントの一部または全てを統合してもよい。別の例として、画像シフタ66は、背景画像スタビライザ58が画素整列情報をトークン検出器に出力するように、各トークン検出器内に在ってもよい。加えて、さらに別の例として、フィルタリング画像相関器64は、フィルタリング取得視覚画像をフィルタリング取得背景画像に対して相関させ、画素シフト情報をトークン検出器に通信することができる。従って、各取得視覚画像を、取得背景画像をシフトする代わりにトークン検出器内の背景画像に対してシフトすることができる。
図4は、本発明の態様によるステレオカメラ侵入検知システム150の別の例を示す。ステレオカメラ侵入検知システム150は、第1カメラ154および第2カメラ156を含むステレオ画像取得台152を含む。第1カメラ154および第2カメラ156はデジタルカメラであることができる。第1カメラ154および第2カメラ156は、同一監視領域の画像を並列に取得するように構成することができる。そのため、第1カメラ154および第2カメラ156は互いに対してステレオで動作し、互いに対して近い位置(例えば、1メートル)に取り付けることができる。取得画像は、それぞれ別個に取得し、それぞれ第1カメラ154および第2カメラ156により高速(例えば、毎秒15フレーム)で収集したフレームであることができる。
ステレオカメラ侵入検知システム150は、トークン検出器158を含む。トークン検出器158は、画像比較器160、画像フィルタ162、およびトークンロケータ164を含む。カメラ154により取得された視覚画像は、画像比較器160に出力される。画像比較器160は、第1カメラ154からの取得画像を背景画像生成器166から生成した背景画像と比較するように構成される。背景画像生成器166は、上の図2の例で説明したように、背景画像生成器50とほぼ同じであることができる。そのため、背景画像生成器166から出力された背景画像を、カメラ154から出力された取得画像とほぼ垂直および水平に整列することができる。
画像比較器160は、絶対値画素差分アルゴリズムを適用して差分画像を生成する。画素差分は、テクスチャ、明るさ、および色コントラストに基づくことができる。差分画像は従って、カメラ154からの取得画像の各々と背景画像との間で異なるほぼ全ての画素を示す。当然のことながら、画像比較器160は従って、カメラ154から出力されたフレームの各々に対応する画像の各々に対して差分画像を生成する。
しかしながら、差分画像単体では、潜在的侵入物の絶対値画素画像を正確に描写することはできない。例えば、黒服を着た侵入物は、監視領域内の暗い背景面の前方に忍び込むことができる。画像比較器160は、絶対値画素差分アルゴリズムを適用する際に侵入物の手、顔、および靴を区別できるかもしれないが、取得画像内には、画像比較器160が背景画像から区別不能な侵入物の身体の一部があるかもしれない。そのため、画像比較器160は、差分画像を画像フィルタ162に出力する。
画像フィルタ162は、画素充填アルゴリズムを差分画像に適用し、候補トークンが存在するかどうかを判定することができる。画素充填アルゴリズムは、差分画像内で互いに近い位置にある画素を接続し、接続された画素が候補トークンの存在を判定するための形状を取るようにできる。例えば、画像充填アルゴリズムは、差分画像上で左から右への水平方向の充填から始めて、互いから一定の所定画素距離内にある水平線上の画素を最初に接続することができる。所定の画素距離は、誤検知となりうる不要な充填を防止するように調整することができる。画像充填アルゴリズムは次いで、差分画像上の垂直方向に同様の操作を適用することができる。結果として、生じる可能性のある絶対値画素差分を検出する際、誤りを捕捉するため、緊密にグループ化したバラバラの画素を充填することができる。従って、カモフラージュされた侵入物の上記例において、侵入物の手、顔、および靴を充填して、差分画像上の2次元の画素化した「ブロブ」を形成することができるので、侵入物をなお発見することができる。
充填した差分画像は、画像フィルタ162からトークンロケータ164に出力される。充填した差分画像上の充填した画素グループは、トークンロケータ164により試験することができる。侵入物の2次元画素化「ブロブ」などのような充填した画素グループが所定形状閾値を超えると、トークンロケータ164は、充填した画素グループを候補トークンとしてマーキングすることができる。トークンロケータ164は従って、充填した差分画像上の候補トークン位置に関連する画素座標を判定し、候補トークンの2次元画素位置情報を信号TKN_LOCとして位置取得エンジン168に通信する。図1の例で上述した候補トークンは、潜在的侵入物に対応することができる。
カメラ154および156の各々の取得画像も位置取得エンジン168に出力される。位置取得エンジン168は、図1の例で上述したものと同様に、潜在的侵入物の3次元位置および大きさを判定するように構成され、3次元動作計算器および閾値比較器も含む画像トラッキング装置の一部であってよい。詳細には、カメラ154は、そのそれぞれの取得画像を第1ラプラシアン・ガウシアン符号(SLOG)フィルタ170に出力し、第2カメラ156は、そのそれぞれの取得画像を第2SLOGフィルタ172に出力する。図4の例において、第1SLOGフィルタ170および第2SLOGフィルタ172の各々は、複数のSLOGフィルタリング操作を第1カメラ154および第2カメラ156の各々からの取得画像の各々にそれぞれ適用する。詳細には、SLOGフィルタ170およびSLOGフィルタ172は、低解像度SLOGフィルタリング操作、中解像度SLOGフィルタリング操作、および高解像度SLOGフィルタリング操作を取得画像の各々に実施する。SLOGフィルタリング操作はそれぞれ、上の図3の例で示した第1のフィルタリング画像102、第2のフィルタリング画像104、および第3のフィルタリング画像106に対応することができる。第1SLOGフィルタは、高解像度フィルタリング画像R_HIGH、中解像度フィルタリング画像R_MED、および低解像度フィルタリング画像R_LOWを、画像相関器174に出力する。第2SLOGフィルタは、高解像度フィルタリング画像L_HIGH、中解像度フィルタリング画像L_MED、および低解像度フィルタリング画像L_LOWを、画像相関器174に出力する。そのため、図3の例で上述したように、画像の正確性と雑音との間の調整を、潜在的侵入物の3次元位置を判定する際に適切に考慮することができる。
図5は、本発明の態様による画像相関器200の例を示す。図5の例における画像相関器200は、図4の例における画像相関器174を表すことができる。そのため、図4の参照、および図4と同じ参照番号を、図5の例に関する以下の説明で使用する。画像相関器200は画像重ね合わせ結合器202を含む。画像重ね合わせ結合器202は、第1SLOGフィルタ170および第2SLOGフィルタ172からフィルタリング画像の出力を受信し、同一解像度のフィルタリング画像対が重ね合わされるようにフィルタリング画像対を重ね合わせる。例えば、カメラ154からの高解像度フィルタリング画像R_HIGHは、カメラ156からの高解像度フィルタリング画像L_HIGHに重ね合わされる。同様に、カメラ154からの中解像度フィルタリング画像R_MEDは、カメラ156からの中解像度フィルタリング画像L_MEDに重ね合わされる。同様に、カメラ154からの低解像度フィルタリング画像R_LOWは、カメラ156からの低解像度フィルタリング画像L_LOWに重ね合わされる。画像重ね合わせ結合器202は信号TKN_LOCも受信し、フィルタリング画像R_HIGH、フィルタリング画像R_MED、およびフィルタリング画像R_LOWをそれぞれ、フィルタリング画像L_HIGH、フィルタリング画像L_MED、およびフィルタリング画像L_LOW上に、各々のフィルタリング画像L_HIGH、フィルタリング画像L_MED、およびフィルタリング画像L_LOW上の潜在的侵入物の近似位置に対応する位置で、重ね合わせることができる。重ね合わせの画素位置は、フィルタリング画像対の各々に対して同一であることができる。
3つの重ね合わせフィルタリング画像対は、画像重ね合わせ結合器202から反復画素シフタ204に出力される。図5の例において、高解像度重ね合わせフィルタリング画像対はHIGH_OVLYとして示され、中解像度重ね合わせフィルタリング画像対はMED_OVLYとして示され、低解像度重ね合わせフィルタリング画像対はLOW_OVLYとして示される。当然のことながら、図5の例において、HIGH_OVLY、MED_OVLY、およびLOW_OVLYは別個の画像対であって、従って実際の結合画像ではない。反復画素シフタ204は画素シフト相関アルゴリズムを、図2の例におけるフィルタリング画像相関器64に対して上述した相関操作と同様に、フィルタリング画像対の各々に適用する。しかしながら、反復画素シフタ204は、各フィルタリング画像対をほぼ並列にかつ等しくシフトすることができる。
各画素シフトに対して、高解像度相関スコア計算器206、中解像度相関スコア計算器208、低解像度相関スコア計算器210は、それぞれのフィルタリング画像対の各々に対して相関スコアを計算する。フィルタリング画像対の各々は互いに対して異なる解像度を有するので、フィルタリング画像対の各々の画像シフトが同一であっても、それぞれのフィルタリング画像対の各々に対する相関スコアは異なってもよい。例えば、フィルタリング画像R_HIGH、フィルタリング画像R_MED、およびフィルタリング画像R_LOWを、それぞれのフィルタリング画像L_HIGH、フィルタリング画像L_MED、およびフィルタリング画像L_LOWに対して+X方向に1画素だけ並列にシフトして、フィルタリング画像対の各々に対して別個の相関スコアを生成することができる。当然のことながら、図5の例において、相関スコアは、カメラ156に関連付けられたフィルタリング画像の画素と一致する候補トークンのフィルタリング画像の画素数を表すことができる。そのため、最高相関スコアは、対向する他のフィルタリング画像内の候補トークンの対応画素位置にシフトされている候補トークンの画素となることができる。従って、当然のことながら、候補トークンの近似画素位置でフィルタリング画像をそれぞれのフィルタリング画像の各々に重ね合わせることができるので、相関スコアを任意のシフトの前に取得することができる。
別個の相関スコアを考慮するため、高解像度相関スコア計算器206、中解像度相関スコア計算器208、および低解像度相関スコア計算器210はそれぞれ、各相関スコアを集合相関計算器212に出力する。集合相関計算器212は、別個のそれぞれの解像度の相関スコアに基づいて集合相関スコアを判定することができる。集合相関計算器212は、任意の様々な方法で集合相関スコアを判定するようにプログラミングすることができる。例として、集合相関計算器212は、相関スコアを追加すること、相関スコアを平均化すること、または相関スコアの追加および平均化の前に個々の相関スコアに対して重み係数を適用することができる。そのため、相関の判定に好適な任意の方法で、各画素シフトに対して集合相関スコアを判定することができる。
集合相関スコアは、集合相関計算器から相関スコアピーク検出器214に出力される。相関スコアピーク検出器214は、フィルタリング画像対の各シフトに対する集合相関スコアを比較し、どのシフトが相関に関して最適なシフトであるかを判定する。フィルタリング画像対に関して最良の相関に対応するシフトを判定する際、相関スコアピーク検出器214は、最適相関に対するフィルタリング画像対のオフセット画素数を出力する。
当然のことながら、画像相関器200は図5の例に限定されない。例えば、画像重ね合わせ結合器202は、フィルタリング画像が候補トークンの近似画素位置で重ね合わされないように、トークンロケータ164から入力を受信しなくてもよい。例として、画像結合器はフィルタリング画像を反対の画素端で重ね合わせ、それにより反復画素シフタが、1つのフィルタリング画像を別のフィルタリング画像全体に渡ってスイープして相関を判定することができる。別の例として、フィルタリング画像対を重ね合わせて、それらを水平および垂直に整列させ、それぞれの画像中央部から螺旋状に画素シフトすることができる。さらに、画像相関器200は、3つの別個のフィルタリング画像対を受信しなくともよいが、相関付けの際に第1カメラ154および第2カメラ156の画像を多少受信して、潜在的侵入物の3次元位置を判定することができる。さらに、図5の例で示した装置の一部を単一装置に統合することができる。
図4の参照に戻ると、最適相関のフィルタリング画像対におけるフィルタリング画像間のオフセット画素数が、画像相関器174から次元変換エンジン176に出力される。次元変換エンジン176は、フィルタリング画像対に相関する画素オフセットを検証し、その画素オフセットを、潜在的侵入物がステレオ画像取得台152から離れる範囲量に対応する測定単位に変換する。オフセット画素数は、前述の範囲に反比例して、多数のオフセット画素がステレオ画像取得台152により近い範囲に対応し、少数のオフセット画素がステレオ画像取得台152からさらに離れた範囲に対応してもよい。当然のことながら、次元変換エンジン176を前もって較正して、オフセット画素を範囲に適切に関連付けることができる。例えば、監視領域内のステレオ画像取得台152からの所定範囲に位置する静止対象物を、範囲変換用の画素オフセットを較正するために使用することができる。
潜在的侵入物の範囲を判定することは従って、ステレオ取得段階152に対する潜在的侵入物の3次元位置に直接に対応する。潜在的侵入物の3次元位置を判定する際、次元変換エンジン176は潜在的侵入物の大きさを判定することができる。例えば、潜在的侵入物の3次元位置を判定する際、垂直および水平方向における候補トークンの次元画素数を、範囲判定に使用される測定単位に変換することができる。そのため、幅が数画素のみでありステレオ画像取得台152から2メートル離れていると判定される候補トークンは、鼠である可能性がある。同じ画素数の幅で、かつ何百メートルも離れていると判定される候補トークンは、自動車である可能性がある。従って、潜在的侵入物の3次元位置および大きさは、第1カメラ154により取得された画像内の潜在的侵入物(例えば、候補トークン)の2次元位置の、第2カメラ156により取得された画像内の潜在的侵入物の2次元位置に対する視差間隔に基づいて判定される。図1の例に関して上述したように、3次元位置および大きさを、次元変換エンジン176から3次元動作計算器および/または閾値比較器に出力することができる。
図6は、本発明の態様によるステレオカメラ侵入検知システム250の別の例を示す。ステレオカメラ侵入検知システム250は、第1カメラ254および第2カメラ256を含むステレオ画像取得台252を含む。ステレオカメラ侵入検知システム250は、トークン検出器258も含む。トークン検出器258は、第1画像比較器260、第1画像フィルタ262、および第1トークンロケータ264を含む。トークン検出器258は、第2画像比較器266、第2画像フィルタ268、および第2トークンロケータ270も含む。カメラ254により取得された視覚画像は第1画像比較器260に出力され、カメラ256により取得された視覚画像は第2画像比較器266に出力される。
第1画像比較器260および第2画像比較器266はそれぞれ、第1カメラ254および第2カメラ256からの取得画像をそれぞれ第1背景画像生成器272および第2背景画像生成器274から生成された背景画像と比較するように構成される。第1背景画像生成器272および第2背景画像生成器274の各々は、上の図2の例で説明したように、背景画像生成器50とほぼ同じであることができる。そのため、第1背景画像生成器272から出力された背景画像と第2背景画像生成器274から出力された背景画像とは、第1カメラ254および第2カメラ256から出力された取得画像とそれぞれほぼ垂直および水平に整列することができる。
上の図4の例における画像比較器160と同様に、第1画像比較器260と第2画像比較器266の各々は、絶対値画素差分アルゴリズムを適用して、それぞれの差分画像を生成する。同様に、第1画像フィルタ262および第2画像フィルタ268はそれぞれ、画素充填アルゴリズムをそれぞれの差分画像に適用し、候補トークンがそれぞれの差分画像の各々に存在するかどうかを判定することができる。充填した差分画像は、画像フィルタ262および画像フィルタ268から、それぞれのトークンロケータ264およびトークンロケータ270に出力される。さらに、充填した差分画像は、画像フィルタ262および画像フィルタ268から位置取得エンジン276にも出力される。図4の例で上述したものと同様に、充填した差分画像をそれぞれのトークンロケータ264およびトークンロケータ270により検証して、充填した差分画像の各々での候補トークンの存在、およびそれぞれの候補トークンの画素位置を判定することができる。トークンロケータ264およびトークンロケータ270はそれぞれ、各候補トークンの2次元画素位置情報を位置取得エンジン276に通信する。
位置取得エンジン276は、画像相関器278および次元変換エンジン280を含む。画像相関器278は、充填した差分画像をそれぞれの第1画像フィルタ262および第2画像フィルタ268から入力として受信し、それぞれのトークンロケータ264およびトークンロケータ270からそれぞれの候補トークンの2次元画素位置情報を受信する。画像相関器278は、それぞれのトークンロケータ264およびトークンロケータ270の通信の際に、充填した差分画像をそれぞれの候補トークンの画素位置で重ね合わせる。画像相関器278は次いで、上の図5の例で説明した画像相関器200と同様に、画素シフトアルゴリズムを適用して、充填した差分画像対の最適な相関を判定する。しかしながら、トークン検出器258は、第1カメラ254および第2カメラ256の取得画像の各々に対する別個の候補トークンを検出し、従って別個のそれぞれの差分画像を生成するので、画像相関器278は、それぞれの差分画像間の相関を直接判定することができる。言い換えると、候補トークンの正確な画素位置が別個の差分画像の両方に対して判定されるので、相関付けのために位置取得エンジン276がSLOGフィルタアルゴリズムを適用する必要はない。そのため、相関スコアの生成および画素シフトを、充填した差分画像対の上で直接行うことができる。
最適相関に対する充填した差分画像間のオフセット画素数は、画像相関器278から次元変換エンジン280に出力される。次元変換エンジン280は、充填した差分画像対の相関におけるオフセット画素を検証し、潜在的侵入物がステレオ画像取得台252から離れる範囲量に対応する測定単位へ画素オフセットを変換する。次いで前述の範囲を使用して、図4の例で上述したものと同様に、潜在的侵入物の3次元位置および大きさを判定することができる。図1の例に関して上述したように、3次元位置および大きさのデータを、次元変換エンジン280から3次元動作計算器および/または閾値比較器に出力することができる。
図7は、本発明の態様によるステレオカメラ侵入検知システム300の別の例を示す。ステレオカメラ侵入検知システム300は、第1カメラ304および第2カメラ306を含むステレオ画像取得台302を含む。ステレオカメラ侵入検知システム300は、トークン検出器308も含む。図4の例で上述したように、差分画像は絶対値画素差分アルゴリズムに基づいて生成される。絶対値画素差分は、テクスチャ、明るさ、および色コントラストに基づくことができ、差分画像は、所与のカメラからの取得画像の各々と背景画像との間で異なるほぼ全ての画素を示す。従って、上の図4および図6の例で説明した画像比較器は、曇りの条件などのような影と明るさの変化に敏感であり、従って誤検知の原因となる可能性がある。
トークン検出器308は、第1画像SLOGフィルタ310、第1フィルタリング画像比較器312、および第1トークンロケータ314を含む。トークン検出器308は、第2画像SLOGフィルタ316、第2フィルタリング画像比較器318、および第2トークンロケータ320も含む。第1カメラ304により取得された視覚画像は、第1画像SLOGフィルタ310に出力され、第2カメラ306により取得された視覚画像は、第2画像SLOGフィルタ316に出力される。第1画像SLOGフィルタ310および第2画像SLOGフィルタ316はそれぞれ、第1カメラ304および第2カメラ306からそれぞれ取得した画像の1つまたは複数のフィルタリング画像を生成することができる。例えば、第1画像SLOGフィルタ310および第2画像SLOGフィルタ316の各々は、図3の例で上述したような高解像度フィルタリング画像、中解像度フィルタリング画像、および低解像度フィルタリング画像を生成することができる。
第1背景画像生成器322は、第1カメラ304に基づいて背景画像を生成し、その背景画像を第1背景SLOGフィルタ324に出力する。第1背景SLOGフィルタ324は、第1画像SLOGフィルタ310により生成されるフィルタリング画像数と同数の、背景画像のフィルタリング画像を生成することができる。例えば、第1背景SLOGフィルタ324は、高解像度フィルタリング背景画像、中解像度フィルタリング背景画像、および低解像度フィルタリング背景画像を生成することができ、各解像度は、第1画像SLOGフィルタ310により生成されたフィルタリング画像の解像度に対応する。同様の方法で、第2背景画像生成器326は、第2カメラ306に基づいて背景画像を生成し、その背景画像を第2背景SLOGフィルタ328に出力する。第2背景SLOGフィルタ328は、第2画像SLOGフィルタ316により生成されるフィルタリング画像数と同数の、背景画像のフィルタリング画像を生成することができる。当然のことながら、第1背景画像生成器322および第2背景画像生成器326の各々は、上の図2の例で説明したような背景画像生成器50とほぼ同じであることができる。
第1フィルタリング画像比較器312および第2フィルタリング画像比較器318はそれぞれ、第1画像SLOGフィルタ310および第2画像SLOGフィルタ316によりそれぞれ生成されたフィルタリング画像を、それぞれ第1背景SLOGフィルタ324および第2背景SLOGフィルタ328により生成されたフィルタリング背景画像と比較するように構成される。より正確な比較を得るため、当然のことながら、各解像度のフィルタリング画像の各々を並列に比較できる。上の図4の例における画像比較器160と同様に、第1フィルタリング画像比較器312および第2フィルタリング画像比較器318の各々は、絶対値画素差分アルゴリズムを適用して、それぞれの差分画像を生成することができる。しかしながら、フィルタリング取得画像およびフィルタリング背景画像は2値テクスチャコントラストのみを示すので、差分画像はテクスチャのみで異なる画素を示すであろう。そのため差分画像は、第1カメラ304と第2カメラ306との間の、それぞれの背景画像に対する明るさおよび色コントラストの差分に敏感ではない。フィルタリング画像比較器312およびフィルタリング画像比較器318の各々から出力される差分画像は、フィルタリング取得画像およびそれぞれのフィルタリング背景画像の各解像度に対して別個の差分画像であってよい。または、フィルタリング画像比較器312およびフィルタリング画像比較器318の各々から出力される差分画像は、フィルタリング取得画像とそれぞれのフィルタリング背景画像との比較に基づいた単一の差分画像であってよい。
差分画像は、フィルタリング画像比較器312およびフィルタリング画像比較器318から、それぞれのトークンロケータ314およびトークンロケータ320に出力される。さらに、差分画像は、フィルタリング画像比較器312およびフィルタリング画像比較器318から、位置取得エンジン330へも出力される。図4の例で上述したものと同様に、差分画像をそれぞれのトークンロケータ314およびトークンロケータ320により検証して、差分画像の各々での候補トークンの存在を判定すること、およびそれぞれの候補トークンの画素位置を判定することができる。図7の例において、フィルタリング取得画像とフィルタリング背景画像との間の2値テクスチャ差分を示す画素に、それぞれのトークンロケータ314およびトークンロケータ320により候補トークンとしてマーキングされる。トークンロケータ314およびトークンロケータ320はそれぞれ、それぞれの候補トークンの2次元画素位置情報を位置取得エンジン330に通信する。
位置取得エンジン330は、画像相関器332および次元変換エンジン334を含む。画像相関器332は、差分画像をそれぞれのフィルタリング画像比較器312およびフィルタリング画像比較器318から入力として受信し、それぞれの候補トークンの2次元画素位置情報をそれぞれのトークンロケータ314およびトークンロケータ320から受信する。画像相関器332は、それぞれのトークンロケータ314およびトークンロケータ320により通信される際、差分画像をそれぞれの候補トークンの画素位置で重ね合わせる。画像相関器332は次いで、上の図5の例で説明した画像相関器200と同様に、画素シフトアルゴリズムを適用して差分画像対の最適な相関を判定する。さらに、図6の例で上述したものと同様に、取得画像が既にフィルタリングされているので、相関スコアの生成および画素シフトを差分画像対の上で直接行うことができる。
最適相関に対する差分画像間のオフセット画素数は、画像相関器332から次元変換エンジン334に出力される。次元変換エンジン334は、差分画像対の相関における画素オフセットを検証して、ステレオ画像取得台302から潜在的侵入物が離れている範囲量に対応する測定単位に前述の画素オフセットを変換する。次いで前述の範囲を使用して、図4の例で上述したものと同様に、潜在的侵入物の3次元位置および大きさを判定することができる。3次元位置および大きさのデータを、図1の例に関して上述したように、次元変換エンジン334から3次元動作計算器および/または閾値比較器に出力することができる。
図8は、本発明の態様によるステレオカメラ侵入検知システム350の別の例を示す。ステレオカメラ侵入検知システム350は、第1カメラ354および第2カメラ356を含むステレオ画像取得台352を含む。ステレオカメラ侵入検知システム350は、トークン検出器358も含む。上の図7の例と同様に、トークン検出器358は、第1画像SLOGフィルタ360、第1フィルタリング画像比較器362、および第1テクスチャ差分ロケータ364を含む。トークン検出器358は、第2画像SLOGフィルタ366、第2フィルタリング画像比較器368、および第2テクスチャ差分ロケータ370も含む。
第1カメラ354が取得した視覚画像は、第1画像SLOGフィルタ360に出力され、第2カメラ356が取得した視覚画像は、第2画像SLOGフィルタ366に出力される。第1画像SLOGフィルタ360および第2画像SLOGフィルタ366はそれぞれ、第1カメラ354および第2カメラ356からのそれぞれの取得画像の1つまたは複数のフィルタリング画像を生成することができる。例えば、第1画像SLOGフィルタ360および第2画像SLOGフィルタ366の各々は、図3の例で上述したもののように、高解像度フィルタリング画像、中解像度フィルタリング画像、および低解像度フィルタリング画像を生成することができる。
第1背景画像生成器372は、第1カメラ354に基づいて背景画像を生成し、その背景画像を第1背景SLOGフィルタ374に出力する。同様な方法で、第2背景画像生成器376は、第2カメラ356に基づいて背景画像を生成し、その背景画像を第2背景SLOGフィルタ378に出力する。当然のことながら、第1背景画像生成器372および第2背景画像生成器376の各々は、上の図2の例で説明した背景画像生成器50とほぼ同じであることができる。しかしながら、以下でさらに詳細に説明するが、第1背景画像生成器372および第2背景画像生成器376は、背景画像を高速で更新するように構成することができる。上の図7の例と同様に、第1背景SLOGフィルタ374および第2背景SLOGフィルタ378はそれぞれ、第1画像SLOGフィルタ360および第2画像SLOGフィルタ366によりそれぞれ生成されたフィルタリング画像数と同数の、背景画像のフィルタリング画像を生成することができる。
第1フィルタリング画像比較器362および第2フィルタリング画像比較器368はそれぞれ、第1画像SLOGフィルタ360および第2画像SLOGフィルタ366によりそれぞれ生成されたフィルタリング画像を、第1背景SLOGフィルタ374および第2背景SLOGフィルタ378によりそれぞれ生成されたフィルタリング背景画像と比較するように構成される。上の図4の例における画像比較器160と同様に、第1フィルタリング画像比較器362および第2フィルタリング画像比較器368の各々は、絶対値画素差分アルゴリズムを適用して、テクスチャのみ異なる画素を示すそれぞれの差分画像を生成することができる。そのため、図7の例に関して上述したのと同様に、差分画像は、第1カメラ354および第2カメラ356が取得した画像間の、それぞれの背景画像に対する明るさおよび色コントラストの違いに敏感ではない。
差分画像は、フィルタリング画像比較器362およびフィルタリング画像比較器368から、それぞれのテクスチャ差分ロケータ364およびテクスチャ差分ロケータ370に出力される。図4の例で上述したものと同様に、差分画像をそれぞれのテクスチャ差分ロケータ364およびテクスチャ差分ロケータ370により検証して、差分画像の各々でのテクスチャ差分を判定すること、およびそれぞれのテクスチャ差分の画素位置を判定することができる。しかしながら、フィルタリング差分画像は、低解像度を有するフィルタリング画像の比較に基づくことができ、および/またはその比較を含むことができるので、テクスチャ差分は、カメラ354およびカメラ356が取得した画像より低い解像度を有するそれぞれのフィルタリング差分画像上に現れることができる。言い換えると、フィルタ差分画像上の単一のマーキングしたテクスチャ差分は、カメラ354およびカメラ356のそれぞれの1つが取得した画像の幾つかの画素に対応することができる。そのため、図8の例において、第1テクスチャトークンロケータ364は、テクスチャ差分の2次元位置情報を第1背景画像生成器372に通信し、第2テクスチャ差分ロケータ370は、テクスチャ差分の2次元位置情報を第2背景画像生成器376に通信する。
第1背景画像生成器372をさらに構成して、テクスチャ差分の2次元位置情報を第1テクスチャ差分ロケータ364から受信し、第1背景画像を高速で更新することができる。同様に、第2背景画像生成器376をさらに構成して、テクスチャ差分の2次元位置情報を第2テクスチャ差分ロケータ370から受信し、第2背景画像を高速で更新することができる。例えば、第1背景画像生成器372および第2背景画像生成器376はそれぞれ、図2の例における背景画像更新器56でそれぞれのテクスチャ差分の2次元位置を受信することができる。
上述のように、フィルタリング差分画像上の単一のマーキングした差分は、カメラ354およびカメラ356のそれぞれの1つが取得した画像の幾つかの画素に対応することができる。従って、当然のことながら、背景画像生成器372および背景画像生成器376のそれぞれの1つは、低解像度2次元位置情報をカメラ354およびカメラ356のそれぞれの1つから取得した画像上の実際の画素位置に変換できる。そのため、第1背景画像生成器372は、テクスチャ差分の2次元位置に対応する画素を除いた背景画像の全ての画素を、第1カメラ354が取得した画像で更新することができる。同様に、第2背景画像生成器376は、テクスチャ差分の2次元位置に対応する画素を除いた背景画像の全ての画素を、第2カメラ356が取得した画像で更新することができる。当然のことながら、フィルタリング差分に基づく背景画像の高速な更新は、図2の例で説明したように、背景画像更新器56による取得背景画像54に対しての漸進的更新に加えて、またはその代わりとして、実施することができる。さらに、図2の例で説明したように、背景画像スタビライザ58に加えて、高速な更新を実施することができる。
上述のコンポーネントに加え、トークン検出器358は、第1画像比較器380、第1画像フィルタ382、および第1トークンロケータ384も含む。トークン検出器358はさらに、第2画像比較器386、第2画像フィルタ388、および第2トークンロケータ390を含む。それぞれの第1背景画像および第2背景画像を高速で更新する際、第1カメラ354から取得した画像および第1更新背景画像は、第1画像比較器380に入力される。同様に、第2カメラ356から取得した画像および第2更新背景画像は、第2画像比較器386に入力される。
上の図4の例における画像比較器160と同様に、第1画像比較器380および第2画像比較器386の各々は、絶対値画素差分アルゴリズムを適用して、それぞれの差分画像を生成する。しかしながら、当然のことながら、第1カメラ354および第2カメラ356からのそれぞれの取得画像は、第1背景画像生成器372および第2背景画像生成器376のそれぞれが背景画像を高速で更新するために使用した画像と同一であることができる。そのため、取得画像の全画素は、テクスチャ差分の2次元位置にある画素を除いて、それぞれの背景画像内の同一画素とほぼ同一である。従って、それぞれの画像比較器380および画像比較器386により生成された差分画像は、カメラ354およびカメラ356からの取得画像とそれぞれの背景画像との間で、それぞれのテクスチャ差分の2次元位置でのみ異なる画素を示す。従って、ステレオカメラ侵入検知システム350は、小さなテクスチャ差分の位置における差分を差分画像が示さないので、侵入物の誤検知もしにくい。さらに、図8の例におけるステレオカメラ侵入検知システム350は、差分画像の冗長生成に基づいた、より堅牢な侵入物検知システムであることができる。
第1画像フィルタ382および第2画像フィルタ388はそれぞれ、画像充填アルゴリズムをそれぞれの差分画像に適用し、候補トークンがそれぞれの差分画像の各々上に存在するかどうかを判定することができる。充填した差分画像は、画像フィルタ382および画像フィルタ388からそれぞれのトークンロケータ384およびトークンロケータ390に出力される。充填した差分画像をそれぞれのトークンロケータ384およびトークンロケータ390により検証して、充填した差分画像の各々での候補トークンの存在を判定することができる。さらに、図6の例に関して上述したものと同様に、充填した差分画像を、画像フィルタ382および画像フィルタ388から位置取得エンジン(図示せず)に出力することができる。さらに、トークンロケータ384およびトークンロケータ390はそれぞれ、それぞれの候補トークンの2次元画素位置情報を位置取得エンジンに同様に通信することもできる。
当然のことながら、ステレオカメラ侵入検知システム350は、図8の例に限定されない。例えば、トークン検出器358で説明した1つまたは複数の装置を統合することができる。別の例として、テクスチャ差分ロケータ364およびテクスチャ差分ロケータ370は、背景を高速で更新するのではなく、テクスチャ差分の2次元位置情報を画像比較器380および画像比較器386に直接通信することができる。そのため、画像比較器380および画像比較器386は、テクスチャ差分ロケータ364およびテクスチャ差分ロケータ370が通信するテクスチャ差分位置でのみ、画素差分を比較することができる。
上述した構造的および機能的特徴の観点から、本発明の様々な態様による方法論は、図9を参照してより良く理解されるであろう。説明を簡単にするために、図9の方法論を逐次実行として図示および説明しているが、当然のことながら、本発明による態様の中には、本明細書で図示および説明した態様とは異なる順序および/または並列に実行できるものもあり、本発明は示した順序に限定されない。さらに、示した特徴の全てが、本発明の態様による方法論を実装する必要はない。
図9は、本発明の態様による監視領域内の侵入物を検知するための方法400の例を示す。402で、監視領域の第1画像が第1カメラにより取得され、監視領域の第2画像が第2カメラにより取得される。第1カメラおよび第2カメラはそれぞれ、デジタルカメラであることができ、第1画像および第2画像をそれぞれほぼ並列に取得することができ、その結果、第1カメラおよび第2カメラが互いに対してステレオで動作する。404で、監視領域の背景画像が取得される。背景画像は、第1カメラが取得した1つまたは複数の画像に基づくことができる。別個の背景画像を、第1カメラおよび第2カメラの各々に対して取得することができる。406で、背景画像は取得画像と垂直および水平に整列される。垂直および水平の整列は、SLOGフィルタリングアルゴリズムのようなフィルタリングアルゴリズムを背景画像および取得画像の両方に適用することにより、取得することができる。次いで、フィルタリング背景画像およびフィルタリング取得画像を、画素シフトと各シフトに対する相関スコアの生成とに基づいて相関させることができる。
408で、取得画像の画素を背景画像の画素と比較して、潜在的侵入物の存在を判定する。取得画像は、それぞれの背景画像と比較される第1取得画像および第2取得画像の両方であってよい。または、取得画像は単に、単一の背景画像と比較される第1取得画像であることができる。さらに、取得画像およびそれぞれの背景画像をフィルタリングして、フィルタリング取得画像をそれぞれのフィルタリング背景画像と比較することができる。
410で、潜在的侵入物に関連付けられた3次元特徴が判定される。この判定は、取得画像および背景画像の比較に基づいた取得画像のフィルタリングバージョンの相関付けに基づくことができる。この相関付けは、画素シフトアルゴリズムの各シフトにおける相関スコアの生成に基づくことができる。この相関付けは、2つの別個の差分画像間で行うこともできる。第1画像と第2画像との間のオフセット画素量は、潜在的侵入物の3次元位置および大きさに変換することができる。
412で、潜在的侵入物の3次元特徴が少なくとも1つの閾値を超過する際に、インジケータがアクティブにされる。閾値は、潜在的侵入物の大きさおよび/または位置に対応することができる。さらに、潜在的侵入物の位置を、第1カメラおよび第2カメラの第1画像および第2画像の幾つかに渡ってトラッキングし、動作および速度の3次元方向を判定することができる。従って、別の閾値は、所定の3次元空間に向かう速度または動作であることができる。
上述したことは本発明の例である。本発明を説明する目的で、全ての考えうるコンポーネントまたは方法論の組合せを説明することは当然不可能であるが、当業者は、本発明の多くのさらなる組合せおよび置換が可能であることを認識するであろう。従って、本発明は、添付の請求項の精神および範囲内にある代替、変更および変形の全てを包含するように意図される。
Claims (28)
- 監視領域の第1画像を生成するように構成された第1カメラと、
前記監視領域の第2画像を生成するように構成された第2カメラと、
前記第1画像を前記監視領域の背景画像と比較するように構成された検出装置であって、前記第1画像と前記背景画像との間の差分を潜在的侵入物(potential intruder)としてマーキングする前記検出装置と、
前記第1画像の各々を前記第2画像の各々と比較して評価し、前記潜在的侵入物に関連付けられた3次元特徴を判定するように構成されたトラッキング装置と
を備えることを特徴とする侵入検知システム。 - 前記3次元の特徴が、位置、大きさ、および動作を備え、インジケータをさらに備えることによって、前記潜在的侵入物に関連付けられた前記位置、前記大きさ、および前記動作のうち少なくとも1つがそれぞれの閾値を超過する際に、前記トラッキング装置が前記インジケータをアクティブにするようにさらに構成されることを特徴とする請求項1に記載のシステム。
- 前記トラッキング装置は、前記侵入検知システムのユーザが前記監視領域内の少なくとも1つの3次元空間を指定可能なように構成された閾値比較器を備え、前記少なくとも1つの3次元空間は、前記少なくとも1つの3次元空間内への動作および前記少なくとも1つの3次元空間へ向かう動作の1つが前記インジケータをアクティブにするような閾値空間と、前記3次元空間における前記第1画像と前記背景画像との間の差分が前記インジケータをアクティブにしない空値(null)ゾーンとのうちの1つであることを特徴とする請求項1に記載のシステム。
- 前記第1カメラおよび前記第2カメラはそれぞれ、ほぼ地表面に固定して取り付けられることを特徴とする請求項1に記載のシステム。
- 前記背景画像は、前記第1カメラから生成された第1背景画像であり、前記検出装置は、前記第2画像を前記監視領域の第2背景画像と比較するようにさらに構成され、前記第2背景画像は、前記第2カメラから生成され、前記検出装置は、前記第2画像と前記第2背景画像との間の差分を前記潜在的侵入物としてマーキングするようにさらに構成されることを特徴とする請求項1に記載のシステム。
- 前記第1背景画像、前記第2背景画像、前記第1画像、および前記第2画像は、フィルタリングされてテクスチャコントラストパターンを表示することによって、前記検出装置は、前記第1のフィルタリング画像を前記第1のフィルタリング背景画像と比較し、かつ前記第2のフィルタリング画像を前記第2のフィルタリング背景画像と比較するように構成され、前記検出装置は、前記第1のフィルタリング画像と前記第1のフィルタリング背景画像との間の差分、および前記第2のフィルタリング画像と前記第2のフィルタリング背景画像との間の差分を、前記潜在的侵入物としてマーキングすることを特徴とする請求項5に記載のシステム。
- 前記第1背景画像は、前記第1のフィルタリング画像と前記第1のフィルタリング背景画像との間の差分に基づいて更新され、前記第2背景画像は、前記第2のフィルタリング画像と前記第2のフィルタリング背景画像との間の差分に基づいて更新され、前記検出装置は、前記第1画像と前記更新された第1背景画像との間の差分を前記潜在的侵入物としてマーキングし、かつ前記第2画像と前記更新された第2背景画像との間の差分を前記潜在的侵入物としてマーキングするようにさらに構成されることを特徴とする請求項6に記載のシステム。
- 前記監視領域の前記背景画像を生成するように構成された背景画像生成器をさらに備え、前記背景画像生成器は、前記第1画像に関連付けられた画素を前記背景画像に関連付けられた画素に相関させるように構成された背景スタビライザを備えることによって、前記第1画像に関連付けられた前記画素は、前記検出装置が前記第1画像に関連付けられた前記画素と前記背景画像に関連付けられた前記画素との間の差分を前記潜在的侵入物としてマーキングする前に、前記背景画像に関連付けられた前記画素と垂直および水平に整列されることを特徴とする請求項1に記載のシステム。
- 前記トラッキング装置は、前記第1画像の各々を前記第2画像のそれぞれの1つと比較するように構成された画像相関器を備え、3次元空間における前記潜在的侵入物の位置および大きさを、前記第1画像の所与の1つにおける前記潜在的侵入物の2次元位置の、前記第2画像のそれぞれの1つにおける前記潜在的侵入物の2次元位置と比較した視差間隔(parallax separation)に基づいて判定することを特徴とする請求項1に記載のシステム。
- 前記画像相関器は、
前記第1画像の前記所与の1つを前記第2画像の前記それぞれの1つ上に重ね合わせ、前記第1画像の前記所与の1つ上の前記潜在的侵入物の前記2次元位置が、前記第2画像の前記それぞれの1つ上の前記潜在的侵入物の前記2次元位置の近似位置と交わるように構成された画像重ね合わせ装置と、
前記第1画像の前記所与の1つを、前記第2画像の前記それぞれの1つに関して、シフトあたり単一画素だけ繰り返しシフトするように構成された反復画素シフト装置と、
各シフトに対する相関スコアを判定することによって、前記潜在的侵入物の前記それぞれの2次元位置の前記視差間隔が、最高相関スコアを生成する所与のシフトに基づいて判定されるように構成された相関計算器と
を備えたことを特徴とする請求項9に記載のシステム。 - 前記トラッキング装置は、前記第1画像の各々に関連付けられた少なくとも1つの第1のフィルタリング画像と前記第2画像の各々に関連付けられた少なくとも1つの第2のフィルタリング画像とを生成するように構成された複数の画像フィルタを備え、前記少なくとも1つの第1のフィルタリング画像の各々は、前記少なくとも1つの第2のフィルタリング画像のそれぞれ1つにマッチングする解像度を有することによって、前記画像重ね合わせ装置および前記反復画素シフト装置は、前記少なくとも1つの第1のフィルタリング画像と前記少なくとも1つの第2のフィルタリング画像との少なくとも1つのマッチングした対を重ね合わせ、かつ繰り返しシフトするように構成されることを特徴とする請求項10に記載のシステム。
- 監視領域内の侵入物を検知する方法であって、
前記監視領域の第1画像を第1カメラから取得し、かつ前記監視領域の第2画像を第2カメラから取得することと、
前記監視領域の背景画像を生成することと、
前記第1画像に関連付けられた第1画素を、前記監視領域の前記背景画像に関連付けられた第2画素と相関させることによって、前記第1画素を前記第2画素と水平および垂直に整列することと、
前記監視領域の前記第1画像と前記背景画像とを比較して、潜在的侵入物の存在を判定することと、
前記潜在的侵入物の3次元特徴を、前記第1画像および前記第2画像の相対的比較に基づいて判定することと、
前記潜在的侵入物の前記3次元特徴が少なくとも1つの所定閾値を超過した上で、インジケータをアクティブにすることと
を備えたことを特徴とする方法。 - 前記潜在的侵入物の前記3次元特徴を判定することは、前記それぞれの第2画像に関して、前記第1画像の各々における前記潜在的侵入物の視差間隔を判定することを備えたことを特徴とする請求項12に記載の方法。
- 前記視差間隔を判定することは、前記第1画像の各々を前記第2画像のそれぞれ1つに、前記潜在的侵入物のそれぞれの近似2次元位置で重ね合わせること、および実質的な相関が見つかるまで、前記第1画像の各々を前記第2画像の前記それぞれ1つに関してシフトすることを備えたことを特徴とする請求項13に記載の方法。
- 前記第1画像の各々に関連付けられた少なくとも1つの第1のフィルタリング画像と、前記第2画像の各々に関連付けられた少なくとも1つの第2のフィルタリング画像とを生成することをさらに含み、前記少なくとも1つの第1のフィルタリング画像の各々は、実質的に等しい解像度を有する前記少なくとも1つの第2のフィルタリング画像のそれぞれ1つとマッチングされた対を形成することをさらに備えたことを特徴とする請求項13に記載の方法。
- 前記潜在的侵入物の前記3次元特徴を判定することは、前記少なくとも1つのマッチングされた対の各々を等しく相関させて、前記潜在的侵入物の視差間隔を判定することを備えたことを特徴とする請求項15に記載の方法。
- 前記等しく相関させることは、
少なくとも1つの第1のフィルタリング画像の各々を、前記少なくとも1つの第2のフィルタリング画像のうち前記それぞれのマッチングされた1つに関して、等しく画素シフトすることと、
各画素シフトで集合相関スコアを生成し、前記集合相関スコアは、前記少なくとも1つのマッチングされた対の各々の相関スコアを備えることと、
各画素シフトでの前記集合相関スコアを比較して、前記最高集合相関スコアを有する前記画素シフトを判定することと
を備えたことを特徴とする請求項16に記載の方法。 - 前記背景画像を生成することは、前記第1カメラに基づいて前記監視領域の第1背景画像を生成することを備え、前記第2カメラに基づいて前記監視領域の第2背景画像を生成すること、および前記監視領域の前記第2画像と前記第2背景画像とを比較して、前記潜在的侵入物の存在を判定することをさらに備えたことを特徴とする請求項12に記載の方法。
- 前記第1画像、前記第2画像、前記第1背景画像、および前記第2背景画像をフィルタリングすることをさらに備え、前記第1画像と前記第1背景画像とを比較することは、前記第1のフィルタリング画像と前記第1のフィルタリング背景画像とを比較することを備え、前記第2画像と前記第2背景画像とを比較することは、前記第2のフィルタリング画像と前記第2のフィルタリング背景画像とを比較することを備えたことを特徴とする請求項18に記載の方法。
- 前記第1背景画像を、前記第1のフィルタリング画像と前記第1のフィルタリング背景画像との間の比較に基づいて更新することと、
前記第2背景画像を、前記第2のフィルタリング画像と前記第2のフィルタリング背景画像との間の比較に基づいて更新することと、
前記第1画像と前記更新された第1背景画像とを比較して、前記潜在的侵入物の存在を判定することと、
前記第2画像と前記更新された第2背景画像とを比較して、前記潜在的侵入物の存在を判定することと
をさらに備えたことを特徴とする請求項19に記載の方法。 - 前記3次元特徴を判定することは、前記潜在的侵入物に関連付けられた位置、大きさ、および動作を前記第1画像と前記背景画像との間の差分に基づいて判定することを備えたことを特徴とする請求項12に記載の方法。
- 前記監視領域内の少なくとも1つの3次元空間を指定することをさらに備え、前記少なくとも1つの3次元空間は、前記インジケータをアクティブにすることに関連付けられた閾値空間および空値ゾーンの1つであることを特徴とする請求項12に記載の方法。
- 監視領域の第1画像と第2画像とを同時に取得する手段と、
前記監視領域の背景画像を連続的に生成する手段と、
前記第1画像と前記背景画像との間の差分に基づいて潜在的侵入物を検知する手段と、
前記第1画像および前記第2画像に基づいて前記潜在的侵入物の3次元特徴を判定する手段と、
前記潜在的侵入物の前記3次元特徴に基づいてインジケータをアクティブにする手段と
を備えることを特徴とする侵入検知システム。 - 前記3次元特徴は、位置、大きさ、および動作を備えることを特徴とする請求項23に記載のシステム。
- 前記潜在的侵入物の前記3次元特徴を判定する前記手段は、前記第2画像の前記それぞれ1つにおける前記潜在的侵入物の2次元位置に関して、前記第1画像の所与の1つにおける前記潜在的侵入物の2次元位置の視差間隔を判定する手段を備えることを特徴とする請求項23に記載のシステム。
- 視差間隔を判定する前記手段は、前記第1画像に基づいて複数の第1のフィルタリング画像、および前記第2画像に基づいて複数の第2のフィルタリング画像を生成する手段を備え、前記複数の第1のフィルタリング画像の各々は、ほぼ等しい解像度を有する前記複数の第2のフィルタリング画像のそれぞれ1つとマッチングされた対を形成することを特徴とする請求項25に記載のシステム。
- 視差間隔を判定する前記手段は、前記複数の第2のフィルタリング画像のうち前記それぞれのマッチングされた1つに関して、前記複数の第1のフィルタリング画像の各々を画素シフトする手段と、各画素シフトに対する集合相関スコアを前記複数のマッチングされた対の各々に関連付けられた相関スコアに基づいて生成する手段とを備え、前記視差間隔は、最高集合相関スコアを有する画素シフトに関連付けられることを特徴とする請求項26に記載のシステム。
- 前記潜在的侵入物を検知する前記手段の動作の前に、前記第1画像および前記背景画像に関連付けられた画素を水平および垂直に整列する手段をさらに備えることを特徴とする請求項23に記載のシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/502,229 US8432448B2 (en) | 2006-08-10 | 2006-08-10 | Stereo camera intrusion detection system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008140370A true JP2008140370A (ja) | 2008-06-19 |
Family
ID=38543262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007209786A Pending JP2008140370A (ja) | 2006-08-10 | 2007-08-10 | ステレオカメラ侵入検知システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8432448B2 (ja) |
JP (1) | JP2008140370A (ja) |
DE (1) | DE102007037647B4 (ja) |
FR (1) | FR2908546B1 (ja) |
GB (1) | GB2440826B (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011198098A (ja) * | 2010-03-19 | 2011-10-06 | Ihi Aerospace Co Ltd | ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット |
JP2013186635A (ja) * | 2012-03-07 | 2013-09-19 | Hitachi Kokusai Electric Inc | 物体検知装置、物体検知方法及びプログラム |
JP2015501578A (ja) * | 2011-10-14 | 2015-01-15 | オムロン株式会社 | 射影空間監視のための方法および装置 |
WO2017074651A1 (en) * | 2015-10-27 | 2017-05-04 | Vivint, Inc. | Anti-theft doorbell camera |
Families Citing this family (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9038108B2 (en) | 2000-06-28 | 2015-05-19 | Verizon Patent And Licensing Inc. | Method and system for providing end user community functionality for publication and delivery of digital media content |
US7970260B2 (en) * | 2001-06-27 | 2011-06-28 | Verizon Business Global Llc | Digital media asset management system and method for supporting multiple users |
US8972862B2 (en) * | 2001-06-27 | 2015-03-03 | Verizon Patent And Licensing Inc. | Method and system for providing remote digital media ingest with centralized editorial control |
US20060236221A1 (en) * | 2001-06-27 | 2006-10-19 | Mci, Llc. | Method and system for providing digital media management using templates and profiles |
US8990214B2 (en) * | 2001-06-27 | 2015-03-24 | Verizon Patent And Licensing Inc. | Method and system for providing distributed editing and storage of digital media over a network |
US8631226B2 (en) * | 2005-09-07 | 2014-01-14 | Verizon Patent And Licensing Inc. | Method and system for video monitoring |
US9076311B2 (en) * | 2005-09-07 | 2015-07-07 | Verizon Patent And Licensing Inc. | Method and apparatus for providing remote workflow management |
US9401080B2 (en) | 2005-09-07 | 2016-07-26 | Verizon Patent And Licensing Inc. | Method and apparatus for synchronizing video frames |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
US8234578B2 (en) * | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
JP5212839B2 (ja) * | 2007-06-14 | 2013-06-19 | 日本電気株式会社 | 監視システム、及び監視方法 |
US8063375B2 (en) * | 2007-06-22 | 2011-11-22 | Intel-Ge Care Innovations Llc | Sensible motion detector |
US7782364B2 (en) * | 2007-08-21 | 2010-08-24 | Aptina Imaging Corporation | Multi-array sensor with integrated sub-array for parallax detection and photometer functionality |
US8139110B2 (en) * | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
US8345920B2 (en) * | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
WO2010002237A2 (en) * | 2008-06-30 | 2010-01-07 | Mimos Berhad | Intrusion detection using parallax information |
KR101781399B1 (ko) * | 2008-11-17 | 2017-09-25 | 익스프레스 이미징 시스템즈, 엘엘씨 | 고체 상태 전등을 위한 전력을 조절하기 위한 전자 제어 및 그 방법들 |
WO2010127138A2 (en) * | 2009-05-01 | 2010-11-04 | Express Imaging Systems, Llc | Gas-discharge lamp replacement with passive cooling |
WO2010135575A2 (en) * | 2009-05-20 | 2010-11-25 | Express Imaging Systems, Llc | Long-range motion detection for illumination control |
US8541950B2 (en) * | 2009-05-20 | 2013-09-24 | Express Imaging Systems, Llc | Apparatus and method of energy efficient illumination |
US20110019243A1 (en) * | 2009-07-21 | 2011-01-27 | Constant Jr Henry J | Stereoscopic form reader |
CA2741510A1 (en) * | 2010-05-26 | 2011-11-26 | James H. Lacey | Door mountable camera surveillance device and method |
US8901825B2 (en) | 2011-04-12 | 2014-12-02 | Express Imaging Systems, Llc | Apparatus and method of energy efficient illumination using received signals |
AU2011201953B2 (en) * | 2011-04-29 | 2013-09-19 | Canon Kabushiki Kaisha | Fault tolerant background modelling |
WO2013006649A2 (en) | 2011-07-05 | 2013-01-10 | Omron Corporation | A method and apparatus for projective volume monitoring |
US8610358B2 (en) | 2011-08-17 | 2013-12-17 | Express Imaging Systems, Llc | Electrostatic discharge protection for luminaire |
EP2749145B1 (en) | 2011-08-24 | 2017-11-15 | Express Imaging Systems, LLC | Resonant network for reduction of flicker perception in solid state lighting systems |
US8922124B2 (en) | 2011-11-18 | 2014-12-30 | Express Imaging Systems, Llc | Adjustable output solid-state lamp with security features |
US9360198B2 (en) | 2011-12-06 | 2016-06-07 | Express Imaging Systems, Llc | Adjustable output solid-state lighting device |
US9497393B2 (en) | 2012-03-02 | 2016-11-15 | Express Imaging Systems, Llc | Systems and methods that employ object recognition |
US9210751B2 (en) | 2012-05-01 | 2015-12-08 | Express Imaging Systems, Llc | Solid state lighting, drive circuit and method of driving same |
US9204523B2 (en) | 2012-05-02 | 2015-12-01 | Express Imaging Systems, Llc | Remotely adjustable solid-state lamp |
US10002297B2 (en) * | 2012-06-20 | 2018-06-19 | Imprivata, Inc. | Active presence detection with depth sensing |
US9131552B2 (en) | 2012-07-25 | 2015-09-08 | Express Imaging Systems, Llc | Apparatus and method of operating a luminaire |
US8878440B2 (en) | 2012-08-28 | 2014-11-04 | Express Imaging Systems, Llc | Luminaire with atmospheric electrical activity detection and visual alert capabilities |
US8896215B2 (en) | 2012-09-05 | 2014-11-25 | Express Imaging Systems, Llc | Apparatus and method for schedule based operation of a luminaire |
US8995718B2 (en) * | 2012-10-11 | 2015-03-31 | Ittiam Systems (P) Ltd. | System and method for low complexity change detection in a sequence of images through background estimation |
US9301365B2 (en) | 2012-11-07 | 2016-03-29 | Express Imaging Systems, Llc | Luminaire with switch-mode converter power monitoring |
US9210759B2 (en) | 2012-11-19 | 2015-12-08 | Express Imaging Systems, Llc | Luminaire with ambient sensing and autonomous control capabilities |
WO2014092549A2 (en) * | 2012-12-13 | 2014-06-19 | Mimos Berhad | System and method for moving object extraction using stereo vision |
US9288873B2 (en) | 2013-02-13 | 2016-03-15 | Express Imaging Systems, Llc | Systems, methods, and apparatuses for using a high current switching device as a logic level sensor |
US9466443B2 (en) | 2013-07-24 | 2016-10-11 | Express Imaging Systems, Llc | Photocontrol for luminaire consumes very low power |
US9414449B2 (en) | 2013-11-18 | 2016-08-09 | Express Imaging Systems, Llc | High efficiency power controller for luminaire |
US9185777B2 (en) | 2014-01-30 | 2015-11-10 | Express Imaging Systems, Llc | Ambient light control in solid state lamps and luminaires |
US20150334299A1 (en) * | 2014-05-14 | 2015-11-19 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring system |
US9420331B2 (en) | 2014-07-07 | 2016-08-16 | Google Inc. | Method and system for categorizing detected motion events |
US10140827B2 (en) | 2014-07-07 | 2018-11-27 | Google Llc | Method and system for processing motion event notifications |
WO2016054085A1 (en) | 2014-09-30 | 2016-04-07 | Express Imaging Systems, Llc | Centralized control of area lighting hours of illumination |
US9445485B2 (en) | 2014-10-24 | 2016-09-13 | Express Imaging Systems, Llc | Detection and correction of faulty photo controls in outdoor luminaires |
US9462662B1 (en) | 2015-03-24 | 2016-10-04 | Express Imaging Systems, Llc | Low power photocontrol for luminaire |
WO2016197307A1 (en) | 2015-06-08 | 2016-12-15 | SZ DJI Technology Co., Ltd. | Methods and apparatus for image processing |
US9361011B1 (en) | 2015-06-14 | 2016-06-07 | Google Inc. | Methods and systems for presenting multiple live video feeds in a user interface |
CN104954747B (zh) * | 2015-06-17 | 2020-07-07 | 浙江大华技术股份有限公司 | 视频监视方法和装置 |
CN104966062B (zh) * | 2015-06-17 | 2021-03-23 | 浙江大华技术股份有限公司 | 视频监视方法和装置 |
WO2016202143A1 (en) * | 2015-06-17 | 2016-12-22 | Zhejiang Dahua Technology Co., Ltd | Methods and systems for video surveillance |
EP3128482A1 (en) | 2015-08-07 | 2017-02-08 | Xovis AG | Method for calibration of a stereo camera |
US9538612B1 (en) | 2015-09-03 | 2017-01-03 | Express Imaging Systems, Llc | Low power photocontrol for luminaire |
US9924582B2 (en) | 2016-04-26 | 2018-03-20 | Express Imaging Systems, Llc | Luminaire dimming module uses 3 contact NEMA photocontrol socket |
US10506237B1 (en) | 2016-05-27 | 2019-12-10 | Google Llc | Methods and devices for dynamic adaptation of encoding bitrate for video streaming |
US10957171B2 (en) | 2016-07-11 | 2021-03-23 | Google Llc | Methods and systems for providing event alerts |
US9985429B2 (en) | 2016-09-21 | 2018-05-29 | Express Imaging Systems, Llc | Inrush current limiter circuit |
US10230296B2 (en) | 2016-09-21 | 2019-03-12 | Express Imaging Systems, Llc | Output ripple reduction for power converters |
US10098212B2 (en) | 2017-02-14 | 2018-10-09 | Express Imaging Systems, Llc | Systems and methods for controlling outdoor luminaire wireless network using smart appliance |
JP7120250B2 (ja) * | 2017-03-31 | 2022-08-17 | 横河電機株式会社 | 画像ベースによる異常検知の方法およびシステム |
US10904992B2 (en) | 2017-04-03 | 2021-01-26 | Express Imaging Systems, Llc | Systems and methods for outdoor luminaire wireless control |
US10219360B2 (en) | 2017-04-03 | 2019-02-26 | Express Imaging Systems, Llc | Systems and methods for outdoor luminaire wireless control |
US11375599B2 (en) | 2017-04-03 | 2022-06-28 | Express Imaging Systems, Llc | Systems and methods for outdoor luminaire wireless control |
US10568191B2 (en) | 2017-04-03 | 2020-02-18 | Express Imaging Systems, Llc | Systems and methods for outdoor luminaire wireless control |
US10438464B1 (en) | 2018-06-06 | 2019-10-08 | Ademco Inc. | Systems and methods for determining and verifying a presence of an object or an intruder in a secured area |
CN110163232B (zh) * | 2018-08-26 | 2020-06-23 | 国网江苏省电力有限公司南京供电分公司 | 智能视觉识别车板变压器坐标*** |
US10996325B2 (en) | 2018-11-30 | 2021-05-04 | Ademco Inc. | Systems and methods for adjusting a signal broadcast pattern of an intrusion detector |
US11074794B2 (en) | 2018-11-30 | 2021-07-27 | Ademco Inc. | Systems and methods for activating and deactivating controlled devices in a secured area |
US11234304B2 (en) | 2019-05-24 | 2022-01-25 | Express Imaging Systems, Llc | Photocontroller to control operation of a luminaire having a dimming line |
US11317497B2 (en) | 2019-06-20 | 2022-04-26 | Express Imaging Systems, Llc | Photocontroller and/or lamp with photocontrols to control operation of lamp |
US11100651B1 (en) * | 2019-08-08 | 2021-08-24 | National Technology & Engineering Solutions Of Sandia, Llc | Infrared intrusion detection system (IRIDS) |
US10762773B1 (en) | 2019-08-19 | 2020-09-01 | Ademco Inc. | Systems and methods for building and using a false alarm predicting model to determine whether to alert a user and/or relevant authorities about an alarm signal from a security system |
USD1027692S1 (en) | 2019-10-25 | 2024-05-21 | Icm Airport Technics Australia Pty Ltd | Baggage scanner station |
USD1002411S1 (en) | 2019-10-25 | 2023-10-24 | Icm Airport Technics Australia Pty Ltd | Baggage scanner array |
US11212887B2 (en) | 2019-11-04 | 2021-12-28 | Express Imaging Systems, Llc | Light having selectively adjustable sets of solid state light sources, circuit and method of operation thereof, to provide variable output characteristics |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0431996A (ja) * | 1990-05-28 | 1992-02-04 | Matsushita Electric Works Ltd | 画像認識型の防犯センサー |
Family Cites Families (104)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4468694A (en) * | 1980-12-30 | 1984-08-28 | International Business Machines Corporation | Apparatus and method for remote displaying and sensing of information using shadow parallax |
US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
JPS62264390A (ja) | 1986-05-12 | 1987-11-17 | Omron Tateisi Electronics Co | 監視ロボツト用視覚認識装置 |
US4924506A (en) * | 1986-07-22 | 1990-05-08 | Schlumberger Systems & Services, Inc. | Method for directly measuring area and volume using binocular stereo vision |
US4905296A (en) | 1986-07-22 | 1990-02-27 | Schlumberger Systems & Services, Inc. | System for shape recognition |
US5220441A (en) * | 1990-09-28 | 1993-06-15 | Eastman Kodak Company | Mechanism for determining parallax between digital images |
US5239373A (en) * | 1990-12-26 | 1993-08-24 | Xerox Corporation | Video computational shared drawing space |
JP3114813B2 (ja) | 1991-02-27 | 2000-12-04 | 日本電信電話株式会社 | 情報入力方法 |
US5483261A (en) * | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
US5999185A (en) * | 1992-03-30 | 1999-12-07 | Kabushiki Kaisha Toshiba | Virtual reality control using image, model and control data to manipulate interactions |
EP0829799A3 (en) | 1992-05-26 | 1998-08-26 | Takenaka Corporation | Wall computer module |
JP3734829B2 (ja) | 1993-06-04 | 2006-01-11 | サーノフ・コーポレーション | 電子画像安定化システム及び方法 |
US5475422A (en) * | 1993-06-21 | 1995-12-12 | Nippon Telegraph And Telephone Corporation | Method and apparatus for reconstructing three-dimensional objects |
US20020126161A1 (en) * | 1994-07-05 | 2002-09-12 | Hitachi, Ltd. | Information processing system |
US5563988A (en) * | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US6327381B1 (en) * | 1994-12-29 | 2001-12-04 | Worldscape, Llc | Image transformation and synthesis methods |
US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
US20010006426A1 (en) * | 1996-07-18 | 2001-07-05 | Korea Institute Of Science And Technology | Holographic projection screen for displaying a three-dimensional color images and optical display system using the holographic screen |
US6002808A (en) * | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
RU2123718C1 (ru) | 1996-09-27 | 1998-12-20 | Кузин Виктор Алексеевич | Способ ввода информации в компьютер |
US6956573B1 (en) * | 1996-11-15 | 2005-10-18 | Sarnoff Corporation | Method and apparatus for efficiently representing storing and accessing video information |
ATE232621T1 (de) | 1996-12-20 | 2003-02-15 | Hitachi Europ Ltd | Verfahren und system zur erkennung von handgesten |
DE19708240C2 (de) * | 1997-02-28 | 1999-10-14 | Siemens Ag | Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich |
JP3749369B2 (ja) * | 1997-03-21 | 2006-02-22 | 株式会社竹中工務店 | ハンドポインティング装置 |
US7532372B2 (en) * | 1997-07-08 | 2009-05-12 | Kremen Stanley H | Method for creating a holographic screen that reconstructs uniformly magnified three-dimensional images from projected integral photographs |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
DE19739285C1 (de) | 1997-09-08 | 1998-11-19 | Siemens Nixdorf Inf Syst | Vorrichtung zur Darstellung und virtuellen Eingabe von Daten |
JP3795647B2 (ja) * | 1997-10-29 | 2006-07-12 | 株式会社竹中工務店 | ハンドポインティング装置 |
FR2771202B1 (fr) * | 1997-11-19 | 2000-01-21 | Inst Nat Rech Inf Automat | Dispositif electronique de traitement de donnees-image, pour la simulation du comportement deformable d'un objet |
US6195104B1 (en) * | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6512507B1 (en) * | 1998-03-31 | 2003-01-28 | Seiko Epson Corporation | Pointing position detection device, presentation system, and method, and computer-readable medium |
US6377229B1 (en) * | 1998-04-20 | 2002-04-23 | Dimensional Media Associates, Inc. | Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing |
US6064354A (en) | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
US6950534B2 (en) * | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6681031B2 (en) * | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
DE19845030A1 (de) * | 1998-09-30 | 2000-04-20 | Siemens Ag | Bildsystem |
US6690357B1 (en) | 1998-10-07 | 2004-02-10 | Intel Corporation | Input device using scanning sensors |
US6222465B1 (en) * | 1998-12-09 | 2001-04-24 | Lucent Technologies Inc. | Gesture-based computer interface |
US6204852B1 (en) * | 1998-12-09 | 2001-03-20 | Lucent Technologies Inc. | Video hand image three-dimensional computer interface |
US6147678A (en) * | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
WO2000055802A1 (de) | 1999-03-17 | 2000-09-21 | Siemens Aktiengesellschaft | Anordnung zur interaktion |
WO2000059581A1 (en) * | 1999-04-01 | 2000-10-12 | Dominic Choy | Simulated human interaction systems |
US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
US7006236B2 (en) * | 2002-05-22 | 2006-02-28 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
SE0000850D0 (sv) | 2000-03-13 | 2000-03-13 | Pink Solution Ab | Recognition arrangement |
US6624833B1 (en) * | 2000-04-17 | 2003-09-23 | Lucent Technologies Inc. | Gesture-based input interface system with shadow detection |
US6469734B1 (en) * | 2000-04-29 | 2002-10-22 | Cognex Corporation | Video safety detector with shadow elimination |
US6803928B2 (en) * | 2000-06-06 | 2004-10-12 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Extended virtual table: an optical extension for table-like projection systems |
US6788809B1 (en) * | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
WO2002027453A2 (en) * | 2000-09-26 | 2002-04-04 | Eugenio Bustamante | Providing input signals |
JP2004523031A (ja) * | 2001-01-08 | 2004-07-29 | ヴィーケービー インコーポレイテッド | データ入力装置 |
DE10100615A1 (de) * | 2001-01-09 | 2002-07-18 | Siemens Ag | Handerkennung mit Positionsbestimmung |
DE10100617A1 (de) | 2001-01-09 | 2002-07-18 | Siemens Ag | Steuerbare Anordnung mit Benutzerauthentisierung |
US6775014B2 (en) * | 2001-01-17 | 2004-08-10 | Fujixerox Co., Ltd. | System and method for determining the location of a target in a room or small area |
US7215322B2 (en) * | 2001-05-31 | 2007-05-08 | Siemens Corporate Research, Inc. | Input devices for augmented reality applications |
EP1689172B1 (en) | 2001-06-05 | 2016-03-09 | Microsoft Technology Licensing, LLC | Interactive video display system |
US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US8035612B2 (en) * | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US7007236B2 (en) | 2001-09-14 | 2006-02-28 | Accenture Global Services Gmbh | Lab window collaboration |
US7110569B2 (en) | 2001-09-27 | 2006-09-19 | Koninklijke Philips Electronics N.V. | Video based detection of fall-down and other events |
US20030067537A1 (en) * | 2001-10-04 | 2003-04-10 | Myers Kenneth J. | System and method for three-dimensional data acquisition |
US6983065B1 (en) * | 2001-12-28 | 2006-01-03 | Cognex Technology And Investment Corporation | Method for extracting features from an image using oriented filters |
US7138997B2 (en) * | 2002-06-28 | 2006-11-21 | Autodesk, Inc. | System for physical rotation of volumetric display enclosures to facilitate viewing |
AU2003217587A1 (en) * | 2002-02-15 | 2003-09-09 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
US7382895B2 (en) | 2002-04-08 | 2008-06-03 | Newton Security, Inc. | Tailgating and reverse entry detection, alarm, recording and prevention using machine vision |
WO2003091987A1 (fr) * | 2002-04-26 | 2003-11-06 | Idemitsu Kosan Co., Ltd. | Dispositif et element structurel d'absorption des bruits et procede de fabrication associe |
US7710391B2 (en) * | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US6857746B2 (en) * | 2002-07-01 | 2005-02-22 | Io2 Technology, Llc | Method and system for free-space imaging display and interface |
US7190461B2 (en) * | 2002-07-17 | 2007-03-13 | New York University | Method and apparatus for determining a bidirectional reflectance distribution function, subsurface scattering or a bidirectional texture function of a subject |
US7321386B2 (en) * | 2002-08-01 | 2008-01-22 | Siemens Corporate Research, Inc. | Robust stereo-driven video-based surveillance |
JP4216021B2 (ja) * | 2002-08-30 | 2009-01-28 | 富士重工業株式会社 | 侵入物検出装置 |
US7576727B2 (en) * | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
ES2212739B1 (es) * | 2003-01-02 | 2005-04-01 | Sociedad Española De Carburos Metalicos, S.A. | Sistema analizador para la deteccion de gases reductores y oxidantes en un gas portador y sensor de gases basado en oxidos metalicos de tipo semiconductor. |
US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7088243B2 (en) * | 2003-05-26 | 2006-08-08 | S1 Corporation | Method of intruder detection and device thereof |
US6796656B1 (en) * | 2003-06-14 | 2004-09-28 | Imatte, Inc. | Generating a matte signal from a retro reflective component of a front projection screen |
US7054045B2 (en) * | 2003-07-03 | 2006-05-30 | Holotouch, Inc. | Holographic human-machine interfaces |
US20050012817A1 (en) * | 2003-07-15 | 2005-01-20 | International Business Machines Corporation | Selective surveillance system with active sensor management policies |
US7159927B2 (en) * | 2003-07-23 | 2007-01-09 | Honda Motor Co., Ltd. | Powered tailgate system |
WO2005010623A2 (en) * | 2003-07-24 | 2005-02-03 | Zebra Imaging, Inc. | Enhanced environment visualization using holographic stereograms |
FR2858692B1 (fr) * | 2003-08-08 | 2006-01-06 | Rosenthal Patrick Olivier Levy | Systeme permettant la visualisation d'images en trois dimensions avec un rendu en relief sur 36o degres |
KR100588042B1 (ko) * | 2004-01-14 | 2006-06-09 | 한국과학기술연구원 | 인터액티브 프레젠테이션 시스템 |
US7755608B2 (en) * | 2004-01-23 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Systems and methods of interfacing with a machine |
US7969409B2 (en) * | 2004-02-18 | 2011-06-28 | Rafal Jan Krepec | Camera assisted pen tablet |
WO2005099386A2 (en) * | 2004-04-13 | 2005-10-27 | Board Of Regents, The University Of Texas System | Holographic projector |
JP2005304540A (ja) * | 2004-04-16 | 2005-11-04 | Funai Electric Co Ltd | 監視カメラを備えた自走式掃除機 |
JP4424088B2 (ja) * | 2004-06-25 | 2010-03-03 | 株式会社日立製作所 | 撮像装置 |
US7519223B2 (en) * | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
US7929017B2 (en) * | 2004-07-28 | 2011-04-19 | Sri International | Method and apparatus for stereo, multi-camera tracking and RF and video track fusion |
US7724242B2 (en) * | 2004-08-06 | 2010-05-25 | Touchtable, Inc. | Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter |
US8560972B2 (en) * | 2004-08-10 | 2013-10-15 | Microsoft Corporation | Surface UI for gesture-based interaction |
US20060092178A1 (en) * | 2004-10-29 | 2006-05-04 | Tanguay Donald O Jr | Method and system for communicating through shared media |
WO2006086508A2 (en) * | 2005-02-08 | 2006-08-17 | Oblong Industries, Inc. | System and method for genture based control system |
KR100687737B1 (ko) * | 2005-03-19 | 2007-02-27 | 한국전자통신연구원 | 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 |
US7643051B2 (en) * | 2005-09-09 | 2010-01-05 | Roy Benjamin Sandberg | Mobile video teleconferencing system and control method |
US8086971B2 (en) | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
US8589824B2 (en) | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
US7701439B2 (en) * | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US9052575B2 (en) * | 2007-07-12 | 2015-06-09 | Hewlett-Packard Development Company, L.P. | Determining correspondence mappings from infrared patterns projected during the projection of visual content |
US8139110B2 (en) | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
US8345920B2 (en) | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
-
2006
- 2006-08-10 US US11/502,229 patent/US8432448B2/en active Active
-
2007
- 2007-08-09 FR FR0705802A patent/FR2908546B1/fr not_active Expired - Fee Related
- 2007-08-09 DE DE102007037647.4A patent/DE102007037647B4/de not_active Expired - Fee Related
- 2007-08-09 GB GB0715481A patent/GB2440826B/en not_active Expired - Fee Related
- 2007-08-10 JP JP2007209786A patent/JP2008140370A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0431996A (ja) * | 1990-05-28 | 1992-02-04 | Matsushita Electric Works Ltd | 画像認識型の防犯センサー |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011198098A (ja) * | 2010-03-19 | 2011-10-06 | Ihi Aerospace Co Ltd | ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット |
JP2015501578A (ja) * | 2011-10-14 | 2015-01-15 | オムロン株式会社 | 射影空間監視のための方法および装置 |
JP2013186635A (ja) * | 2012-03-07 | 2013-09-19 | Hitachi Kokusai Electric Inc | 物体検知装置、物体検知方法及びプログラム |
WO2017074651A1 (en) * | 2015-10-27 | 2017-05-04 | Vivint, Inc. | Anti-theft doorbell camera |
US10687025B2 (en) | 2015-10-27 | 2020-06-16 | Vivint, Inc. | Anti-theft doorbell camera |
Also Published As
Publication number | Publication date |
---|---|
FR2908546A1 (fr) | 2008-05-16 |
GB2440826A (en) | 2008-02-13 |
US20080043106A1 (en) | 2008-02-21 |
FR2908546B1 (fr) | 2018-10-12 |
DE102007037647A1 (de) | 2008-05-21 |
DE102007037647B4 (de) | 2019-06-19 |
US8432448B2 (en) | 2013-04-30 |
GB0715481D0 (en) | 2007-09-19 |
GB2440826B (en) | 2008-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008140370A (ja) | ステレオカメラ侵入検知システム | |
CN105335955B (zh) | 对象检测方法和对象检测装置 | |
JP6061205B2 (ja) | 構造物変位の常時監視方法及びその装置 | |
US10810847B2 (en) | Method and camera system combining views from plurality of cameras | |
EP2729915B1 (en) | A method and apparatus for projective volume monitoring | |
CN104902246A (zh) | 视频监视方法和装置 | |
JP6544257B2 (ja) | 情報処理システム、情報処理方法及び情報処理プログラム | |
TW201301897A (zh) | 監視系統 | |
JP6858415B2 (ja) | 海面計測システム、海面計測方法および海面計測プログラム | |
DK2690459T3 (en) | Device and method for identifying and documenting at least one object passing through a radiation field | |
KR20200064873A (ko) | 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법 | |
JP6673641B2 (ja) | 地盤崩壊検知システム | |
JP2010176302A (ja) | 車両検知装置、車両検知システム、車両検知装置の車両検知方法および車両検知プログラム | |
CN104603838A (zh) | 从采集的图像监测对象的设备和方法 | |
CN112673377A (zh) | 监测设备以及用于人员落水监测的方法 | |
CN109785562A (zh) | 一种立式光电地面威胁警戒***及可疑目标识别方法 | |
JP2013168178A (ja) | 車両検知システムおよび車両検知システムの車両検知方法 | |
KR101465236B1 (ko) | 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법 | |
CN117406234A (zh) | 基于单线激光雷达与视觉融合的目标测距和追踪的方法 | |
CN102981010A (zh) | 用于借助照相机来验证测量目标车辆的速度的方法 | |
WO2016005738A1 (en) | Method and system for surveillance using synthetic aperture radar images | |
IL304009A (en) | A system for monitoring the position of a vehicle on a race track | |
Privman-Horesh et al. | Forgery detection in 3D-sensor images | |
JP2009294974A (ja) | 画像処理による侵入者検知装置 | |
JP7180739B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101005 |