JP2007512738A - 映像監視線システム、初期設定方法、コンピュータが読取り可能な記憶媒体および映像監視方法 - Google Patents
映像監視線システム、初期設定方法、コンピュータが読取り可能な記憶媒体および映像監視方法 Download PDFInfo
- Publication number
- JP2007512738A JP2007512738A JP2006539842A JP2006539842A JP2007512738A JP 2007512738 A JP2007512738 A JP 2007512738A JP 2006539842 A JP2006539842 A JP 2006539842A JP 2006539842 A JP2006539842 A JP 2006539842A JP 2007512738 A JP2007512738 A JP 2007512738A
- Authority
- JP
- Japan
- Prior art keywords
- video
- user interface
- video surveillance
- line
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/1968—Interfaces for setting up or customising the system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
- G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/44—Colour synchronisation
- H04N9/47—Colour synchronisation for sequential signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
- Studio Circuits (AREA)
Abstract
【課題】映像監視システム、初期設定方法、コンピュータが読取り可能な記憶媒体および映像監視方法を提供すること。
【解決手段】映像監視線システムは、映像出力を生成する感知装置と、ユーザインターフェースを含み、前記感知装置から受信した映像出力に基づいてシステムのカリブレーション、データの収集および処理を行う制御部とを備え、前記ユーザインターフェースは、出力部と、制御部が表示する処理データであるグラフィカル・ユーザ・インターフェースを含む入力部を備え、前記グラフィカル・ユーザ・インターフェースは、前記映像出力の映像イメージ上、または前記映像出力から抽出されたスナップショット上の少なくともいずれかに、ユーザが映像監視線を重畳する作業を可能とすることを特徴とする。
【選択図】図5
【解決手段】映像監視線システムは、映像出力を生成する感知装置と、ユーザインターフェースを含み、前記感知装置から受信した映像出力に基づいてシステムのカリブレーション、データの収集および処理を行う制御部とを備え、前記ユーザインターフェースは、出力部と、制御部が表示する処理データであるグラフィカル・ユーザ・インターフェースを含む入力部を備え、前記グラフィカル・ユーザ・インターフェースは、前記映像出力の映像イメージ上、または前記映像出力から抽出されたスナップショット上の少なくともいずれかに、ユーザが映像監視線を重畳する作業を可能とすることを特徴とする。
【選択図】図5
Description
本発明は、映像監視線システム、初期設定方法、コンピュータが読取り可能な記憶媒体および映像監視方法に関する。
従来の特定の通路に張られる監視線は、ワイヤーや紐などから構成され、監視線が誰かあるいは何かに押されたり引かれたりすると、所定の警戒動作が誘発された。所定の警戒動作とは、例えば、地雷の爆発、アラーム音による警報、侵入者の撃退システムおよびカメラによる記録などが挙げられる。近日では、監視線は一例としてレーザー光で構成され、誰かあるいは何かがレーザー光を遮った場合、上記の警戒動作が誘発される。
図1は、従来のレーザー光による監視線を示した説明図である。発光素子は、通路を横切って受光素子に伝達するためのレーザー光を生成する。該レーザー光が遮られた場合、受光素子は該レーザー光を受光することができない。その結果、上記の所定の警戒動作が誘発されることとなる。
このような従来の監視線を用いる監視装置は、少なくとも使用方法が簡素である点で有利である。すなわち、従来の監視装置は、一度設置されれば、その動作のために人間による操作をほとんど要さない。
しかしながら、従来の監視装置には多くの問題点があった。例えば、従来の監視装置は、所定の警戒動作を誘発した主体が、監視の対象人あるいは対象物であるか否かを区別することができない。具体的には、ある使用者が、何人の人が通路を通過するか否かに関心があった場合でも、警戒動作は犬によっても誘発されてしまう。または、何人かのグループが一緒に歩いていたとき、上記所定の動作が各人により誘発されず、グループとして一回しか誘発されない場合もある。
また、従来の監視装置は、専用の装置の設置が必要となる。例えば、一例としてレーザ光による監視装置を考えると、受光素子と発光素子を通路を介して配置する必要がある。加えて、このような専用の装置を簡単に発見されないように配置することは煩雑であった。
さらに、従来の監視装置は、使用者による使用感にも問題があった。従来の監視装置は、典型的に、誰かあるいは何かが通路を横切ったことを検出できるのみで、横切った方向を感知することはできない。また、監視線は直線的に張られるため、従来の監視装置を設置する場所が限定されるという問題もあった。
一方、今日では映像監視システムも広く用いられている。映像監視システムは、例えば、流行の店や、銀行およびその他の多くの建造物などに導入されている。映像監視システムは、通常1または2以上の撮像装置を要し、撮像装置から出力される映像は録画され、事後的に確認されたり、リアルタイムで監視人に監視されたりする。
図2は、このような映像監視システムを示した説明図である。図2において、撮像装置1は、撮像方向を通路の方向に向けられている。撮像装置1は、映像信号を生成し、該映像信号は通信線2を介して伝達される。通信線2は、表示装置3または記録装置4の少なくともいずれかに接続されている。
映像監視システムによれば、従来の監視線による監視装置と異なり、人間と動物(関心のある対象とそうでない対象との)との区別をしたり、一緒に歩いているグループの各人を認識することができる。映像監視システムは、従来の監視装置に比較して、設置できる場所の範囲が広い。また、映像監視システムは、広く用いられているため、特段の装置の設置が必要ない。
しかしながら、映像監視システムにもまた、いくつかの欠点がある。最も大きな映像監視システムの欠点は、撮像装置が生成した情報を抽出するために、人間による過大な手間を要することだろう。すなわち、監視人が、撮像装置により生成された映像を監視したり、記録された映像を確認する必要がある。
一例として、米国特許6、097、429号、および6、091、771(以下、引用文献1)は、映像監視システムにかかる発明(以下、引用発明1)を開示している。引用発明1による映像管理システムは、侵入者が検出された場合、写真を撮影する。また、引用発明1は、誤ったアラームや、検出の対象物の誤認などの問題を解決することができる。
映像識別技術、および対象物認識技術が上記引用発明1で用いられている。しかし、引用発明と本願発明には、以下述べるように、多くの相違点が認められる。そのうち、引用発明1の最も重大な欠陥は、どのように検出および認識を実行するのかが不明確である点である。本願発明によれば、これとは対照的に当該事項が明確にされている。
他の例として、映像およびその他のセンサに基づく監視システムは、米国特許5、696、503号および5、801、943号(以下、引用文献2)において議論されている(以下、引用発明2)。引用発明2は、映像センサを含むマルチセンサを用いて、乗り物を追跡する技術に関する。しかし、引用文献2では、映像監視装置に関する方針が述べられているものの、映像監視装置がどのように具現されるかについての一切の記載は無い。さらに、引用発明2は、乗り物の検出および追跡に焦点を絞っている点で本願発明と異なる。本願発明では、引用発明2と対照的に、以下に述べるように、乗り物のような剛体や、人間のような非剛体を含む、任意の移動対象物を検出することを目的としている。
(発明の概要)
(発明の概要)
上記のような観点から、監視線および映像監視システムの利点を組合わせた効果的なシステムを構築することが本願発明の目的である。本発明によれば、コンピュータによる映像処理技術を用いて、例えばデジタル映像上に任意の形状の仮想監視線を配した映像監視線システムが提供される。上記仮想監視線もまた、コンピュータによる映像処理技術によりモニター(監視)される。
監視の結果、統計が得られたり、侵入者を検出したり、様子を記録したり、警戒動作を作動したりする。例えば、本発明の一実施例によれば、人が仮想監視線をある方向に通過したことが検出された場合、上記人のスナップショットを、将来の本人鑑定のために撮影するとしてもよい。
また、本発明によるシステムは、例えば、既存の撮像装置とコンピュータとの結合により実現される。したがって、監視装置などの拡張機器の設置が不要であるという利点を備える。本発明によるシステムの一部は、システムを実現するための方法を実行するためのソフトフェアを含むコンピュータが読取り可能な記憶媒体から構成されるとしてもよい。また、上記もような方法を実行するコンピュータネットワークを含むとしてもよい。
なお、本発明によるシステムは、撮像装置に限らず、熱感知装置や赤外線カメラなどとの結合により実現することもできる。
本発明の一実施形態にかかる映像監視線システムによる監視方法は、未設置であれば感知装置(例えば撮像装置、またはそれに類する装置)を設置するステップと、感知装置をカリブレーションするステップと、仮想監視線を引くステップと、データを収集するステップとを含む。その他の本願発明の目的および効果は、以下述べる実施形態や図面の説明により明確となる。
次に、本願発明を説明するにあたり、本願明細書においての各用語の定義を説明する。
コンピュータは、入力信号を受信し、該入力信号をあらかじめ定められた規則にしたがって処理し、該処理の結果として出力信号を導出する装置全般を意味する。コンピュータとしては、例えば、コンピュータ、汎用(General Puepose)コンピュータ、スーパーコンピュータ、メインフレーム(Mainframe)、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、相互通信テレビジョン、コンピュータと相互通信テレビジョンの結合体、およびコンピュータおよび/またはソフトウェアのエミュレート処理を実行する特殊ハードウェアなどが揚げられる。
コンピュータは、並列処理および/または直列処理を実行するシングル、またはマルチプロセッサを含むとしてもよい。コンピュータは、また、ネットワークを介して接続され、お互いに情報の送受信を行う2または3以上のコンピュータであってもよい。一例として、ネットワークを介して接続される、自立分散型ネットワークがあげられる。
コンピュータが読取り可能な記憶手段は、コンピュータによりアクセス可能なように情報を格納するためのストレージ装置を意味する。記憶手段の一例として、ハードディスク、フロッピィーディスク(登録商標)、CD−ROMやDVDのような光ディスク、磁気テープ、メモリーチップ、および電子メールなどの電子データを送受信するためにネットワークで用いられる搬送波があげられる。
ソフトウェアは、コンピュータが動作するためにあらかじめ定められた規則を意味する。例えば、ソフトウェアは、コード区分、命令、コンピュータプログラムおよび電気回路構成があげられる。
コンピュータシステムは、コンピュータを作動させるソフトウェアを記憶する記憶手段を含む、コンピュータのシステムを意味する。
ネットワークは、通信手段により接続された多くのコンピュータおよび関連機器を意味する。ネットワークにおける接続は、ケーブルなどによる恒常的な接続や、電話やその他の一時的な接続を含む。例えば、ネットワークは、インターネット、イントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)およびインターネットとイントラネットなどの複合ネットワークがあげられる。
映像は、アナログ形式および/またはデジタル形式の動画を意味する。映像の一例として、テレビジョン放送、映画、撮像装置などによる連続するイメージおよびコンピュータが生成する連続するイメージがあげられる。これらの映像は、衛星や、記憶手段や、IEEEによるインタフェースや、映像A/D変換機や、画像生成コンピュータおよびネットワークがあげられる。
映像処理は、圧縮や編集などの映像に関する操作を意味する。
フレームは、映像を構成する特定の画像または不連続な画像を意味する。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、人間を検出する観点から具現される実施例を説明するが、本願発明が人間の検出をする技術に限定されない。すなわち、以下述べる映像監視線システムは、生物および非生物を含む全ての種類の対象物の検出に適用することができる。例えば、映像監視線システムが検出する対象物として、乗り物、動物、植物の成長(例えば、植物の手入れの時機を検出するために。)、落下物(例えば、再使用可能な対象物の廃棄物処理所への投下を検出するために。)、微視的物体(例えば、微生物の細胞壁を検出するために。)があげられる。
図3は、本実施形態による映像監視線システムの概略図である。図2に示したように、感知装置1は、通路の方向に向けられ、出力信号を生成する。感知装置1は、図2を参照して説明したように撮像装置であってもよい。しかし、感知装置1が撮像装置に限られることはなく、熱感知、音感知(例えば、超音波検出器)および赤外線感知に基づいて映像タイプの出力信号を生成する、あらゆるタイプの感知装置が考えられる。
感知装置1の出力は、通信線2に伝達される。通信線2は、例えば、ケーブルであってもよいが、無線、ネットワーク(例えば、インターネット。)および光波通信の通信媒体であってもよい。
通信線2を介して信号を送受信するために、信号を符号化、圧縮その他の通信に関連する信号処理を要する場合には、これらの処理を実行する装置を感知装置1に内蔵または接続してもよい(図示せず)。
通信線2は、感知装置1の出力信号を解析システム5に伝達する。解析システム5は、ユーザインターフェース6と信号の入出力を行う。ユーザインターフェース6としては、モニター、マウス、キーボード、タッチスクリーン、プリンタその他の入力部および出力部を備える入出力装置が考えられる。使用者は、ユーザインターフェース6を用いて、必要事項の初期設定(後述する仮想トリップワイヤの構築を含む)したり、解析システム5に各種指示を入力したりする。
ユーザインターフェース6は、アラームやその他の警報装置であってもよく、また、その他の上述の警戒動作(地雷の爆発、カメラによる記録)を実行する装置と接続されるとしてもよい。さらに、ユーザインターフェース6は、図2に示した表示装置3であってもよい。ユーザインターフェース6および解析システム5は、協働して制御部として機能する。
解析システム5は、映像検出を実行するために必要な処理を含む解析を行う。
図4は、解析システム5の詳細な構成例を示した説明図である。図4を参照すると、解析ステム5は、図3に示したように通信線2とユーザインターフェース6と接続される。解析システム5は、受信部51、中央処理部52およびメモリ53を含む。
受信部51は、通信線2を介して感知装置1の出力を受信する。感知装置1の出力が変調されたり符合化されたりしている場合、受信部51は復調、復号処理を行う機能を備えるとしてもよい。また、通信線2から入力される信号がアナログ信号であった場合、中央処理部52による各種処理に適するようデジタル化するA/D変換機能を備えるとしてもよい。図示の例では受信部51を独立したブロックとして示しているが、他の実施例においては中央処理部52に含まれるとしてもよい。また、通信線2からコンピュータとしての機能を備える中央処理部52に伝達される信号に何の処理も必要ないときには、受信部51を設けないよう構成してもよい。
中央処理部52は、図示したようにメモリ53と接続され、および/またはメモリ53を内蔵してもよい。メモリ53は、中央処理部52が要求する記憶機能を備え、また、通信線2から入力される信号を記憶するための1または2以上の記憶装置を含むとしてもよい。
また、本実施形態における感知装置1は、同一の場所の状態を感知する2以上の感知装置であってもよい。この場合、各感知装置の出力は通信線2において統合されるか、各出力が解析システム5に伝達され、解析システム5において処理されるとしてもよい。
さらに、感知装置1は、異なる場所を監視する複数の感知機能を備え、それぞれの場所のデータを解析システム5に出力するとしてもよい。この場合、単一のシステムにより、複数の場所の監視を行うことが可能となる。
図3および図4に示した各構成要素により行われる処理は、本実施形態における動作を以下に説明することにより明確となる。
図5は、本実施形態による映像検出方法の流れの概略を示したフローチャートである。まず、感知装置1が設置されていない場合には、感知装置1を設置する(71)。しかし、多くの場合、このような感知装置は既に設置されている。例えば、多くの銀行では、既に映像監視システムを導入しているため、新たな感知装置としての撮像装置を設置する必要は無い。感知装置は固定して設置されてもよい。また、感知装置は撮像する方向と現実の方向、すなわち感知装置が出力するイメージの上方向と、現実の上方向が一致するように設置されてもよい。
感知装置1が設置されると、解析システム5は感知装置1をカリブレーションする(72)。システムのカリブレーションは、感知装置1に必要なカリブレーションパラメータをシステムに入力(または自動的に決定)する明示的カリブレーション(explicit calibration)と、システムの監視対象物の、感知装置1の視野の範囲内の多様な場所における大きさを入力(または自動的に決定)する暗示的カリブレーション(implicit calibration)とを含む。
上記カリブレーションの目的は、感知装置1の視野内の異なる場所ごとの、人、またはその他の監視対象物の大きさの情報を供給することである。該情報は、特に、解析ステップ74において重要である。
上記カリブレーションは、手動カリブレーション、区分カリブレーションおよび全自動カリブレーションのうちのいずれか、もしくはこれらのうちの2または3の組合わせにより行われる。上記カリブレーション法の実施例のフローチャートを、それぞれ図6,7および8に示す。
図6は、上記の明示的カリブレーションに関連する、手動カリブレーション方法の動作の流れを示したフローチャートである。使用者は、ユーザインターフェース6を介して、感知装置1に関するパラメータを入力する(721)。パラメータとしては、例えば、感知装置1の焦点距離、感知装置1が設置されたの地面からの高さ、感知装置1の地面に対する設置角度などがあげられる。
そして、解析システム5は、フィードバック表示を生成する(722)。例えば、解析システム5は、実際の映像フレームに人やその他監視対象物を重畳する。フィードバック表示は、ユーザインターフェース6を介して使用者に表示される。フィードバック表示は、カリブレーションの程度が好適であるか否かを確認するためのスケール情報を提供する。なお、スケール情報とは、例えば、人やその他監視対象物の、背景を基準としたときの相対的なスケールである。
続いて、使用者は、フィードバック表示の内容の可否およびパラーメータの再カリブレーションの必要性の有無を判断する(723)。フィードバック表示の内容が好適であれば当該カリブレーションを終了し、そうでなければ、ステップ721に戻り、新たなパラメータを入力する。
図7は、区分カリブレーション方法の一実施例の流れを示したフローチャートである。以下に述べるように、区分カリブレーション方法は、暗示的カリブレーションと、少なくとも所定の程度だけ明示的カリブレーションが用いられる。
当該実施例において、まず、被験者が感知装置1の視野の範囲内を歩く(721A)。なお、感知装置1の視野の範囲内を移動するのは人に限られず、その他の監視対象物であってもよい。以下では、監視対象の移動体の一例として人をあげて説明をすすめるが、他の関心対象物であってもよい。
被験者が感知装置1の視野の範囲内を歩くことによって、イメージの異なる領域において期待される人間の平均サイズを決定し、システムを有効化することができる。被験者は、単に、カリブレーション中に感知装置1の撮像範囲内を移動していればよい。
そして、システムは被験者と背景とを区分する(722A)。続いて、イメージ上の部位に応じて異なる該被験者のサイズを用いて、上述したパラメータをカリブレーションする(723A)。ステップ724Aにおいて手動カリブレーション方法と同様にフィードバック表示が供給され、使用者は、イメージの内容が基準を満たしているか否かを評価する(725A)。
基準を満たしていないと評価された場合は、使用者はパラメータをカリブレーションする(726A)。または、ステップ721Aの処理に戻って再びカリブレーションを繰り返す(点線)。当該動作の選択は、使用者によってなされるとしてもよい。
一方、イメージの内容が基準を満たしていると評価された場合、当該処理は終了する。
図8は、暗示的カリブレーションに関連する、全自動カリブレーション方法の実施例を示したフローチャートである。まず、感知装置1により、数時間から数日間の間に情報(図示の例では映像情報)が収集される(721B)。情報が収集された後、解析のために対象物と背景とを区分する(722B)。そして、イメージの各領域における多種の対象物のヒストグラムを生成する(723B)。当該ステップを、図9を参照して詳細に説明する。
図9は、2段階の処理ステップからなるヒストグラム生成ステップ723Bの流れを示した説明図であるが、本発明は当該処理ステップに限定されない。まず、システムは第一ステップとして、対象物を追跡するには障害物が多く、高い信頼性を担保できない不適領域を、イメージのうちから決定する。結果として、高い信頼性で追跡を実行できる対象物が用いられることとなる。本発明の一実施例としては、該対象物は陳列された商品のみである。
第二ステップとして、システムは残りの領域のイメージのみを用い、該領域で検出した対象物のヒストグラムを生成する。そして、システムは、第二ステップおよび図8に示したように、該ヒストグラムを各領域における人間の平均サイズ(身長、横幅)を決定する(724B)。決定された人間の平均サイズに関する情報は、システムをカリブレーションするために用いられる(725B)。この後の処理は、図7の723Aステップと類似する方法で実行されるとしてもよい。
イメージの各領域における人間の平均サイズを決定するステップ724Bは、正確な決定をするために十分な量のデータが記録された場合にのみ実行される。該決定のための十分なデータの量は、実験的に、および監視線の配される位置に依存して定められる。十分な量のデータが記録された領域についてのヒストグラムからは、ピークが検出される。イメージの各領域の最も高いピーク、すなわち最も出現頻度の高い位置は、一人の人に対応すると考えられる。
人間の平均サイズに関する情報が決定されると、725Bのカリブレーションステップが実行され、システムを機能させるための準備が整う。
図8に示したプロセスは、通常、人間による手間を必要としない。しかし、ほとんどの対象物が単一の人であると考えられるときには、対象物を人のグループと認識してしまう問題を抑制するための時間窓(time windows)を使用者に提供することが可能である。このような時間窓の設定は、情報を収集する721Bステップや、他の段階で行われるとしてもよい。
上記の自動カリブレーション方法(区分カリブレーション方法および全自動カリブレーション方法)は、イメージの前景と背景とを区分する必要がある(図7のステップ722Aおよび図8のステップ722B参照)。当該処理の一実施例を図10に示す。該実施例は、背景の画素レベルをモデル化する7221ステップと、前景を検出し追跡する7222ステップと、対象物を解析する7223ステップとの3つのステップから構成される。
背景の画素レベルをモデル化する(ステップ7221)目的は、背景の正確な表現を維持し、前景画素と背景画素との差別化を図ることである。一実施例として、該モデル化ステップに関する処理は、本件出願人により2001年3月23日に出願された「Video Segmentation Using Statistical Pixel Modeling」(米国出願番号09/815、385)に記載されており、その内容は本願明細書に援用される。
背景の画素レベルをモデル化する方法の一例として、画素値や画素値の統計などを含む全ての画素に関する履歴を、数フレームにわたって維持する方法があげられる。ここで、数フレームにわたって不変の画素は背景画素として扱われる。画素の統計が急激に変化する場合には、該画素は前景画素として扱われる。その後、画素が再び安定した場合には、当該画素は再度背景画素として扱われる。
上記方法は、センサーノイズによる影響を緩和し、自動的に所定の画素を背景画素として扱うことが可能である。例えば、ある店において、客が商品棚から商品を取ると同時に商品棚が前景画素として扱われるが、映像が再度安定すると商品棚は再び背景画素として扱われる。
前景を検出し追跡する(ステップ7222)目的は、前景画素を前景対象物に結合させ、該前景対象物を何フレームにもわたって追跡し、時間および空間的な一貫性を担保することである。当該処理において、前景画素は、背景画素のモデル化ステップ7221と同様に、各画素の統計の特性から得られる。
例えば、前景画素は、当該分野でよく知られた簡単な形態学と結合要素検出に基づいて、大きな前景対象物に空間的に結合される。該対象物は、大きさに関する信頼度の高い情報を得るために、数フレームにわたって適用される相関方法により追跡される。
上記の追跡方法は、例えば、本件出願人により2000年10月24日に出願された「Interactive Video Manipulation」(米国特許出願番号09/694,712)に開示されており、その内容は本願にすべて援用される。また、Wren, C. R.による「Real-Time Tracking of the Human Body,」(IEEE Trans. on Pattern Matching and Machine Intelligence,Vol.19、P780-784、1997)や、Grimson,W,E,Lによる「Using Adaptive Tracking to Classify and Monitor Activities in a Site,」(CVPR, pp. 22-29, June 1998)や、Olson,T,J and Brill,F.Zによる「Moving Object Detection and Event Recongnition Algorithm for Smart Cameras」(IUW,pp. 159-175, May 1997)にも記載されている。これらの各文献に記載の内容は、本願に完全に援用される。
3つ目のステップである、対象物解析ステップ7223は、以下に述べるように多くの役割を担う。対象物解析ステップ7223は、監視対象物(例えば人間)と非監視対象物(例えばショッピングカート)とを区別したり、対象物の動きの方向を検出したり、および対象物の輪郭を認識したりするために、イメージから対象物を分離し、解析する。
例えば、対象物は、大きさ、動き、頭部のような突起物の数(人間が関心対象物である場合)および顔認識(上記同様に、人間が関心対象物である場合)のうちの少なくともいずれかに基づいて解析される。
上記のような機能を実行する技術は当該分野において広く知られており、例えば、Allmen,Mと Dyer,Cによる 「Long-range Spatiotemporal Motion Understanding Using Spatiotemporal Flow Curves,」(Proc. IEEE CVPR,Lahaina, Maui, Hawaii, pp. 303-309,1991)や、 Gavrila, D. M.による「The Visual Analysis of Human Movement:A Survey」(CVIU, Vol. 73, No. pp. 82-98(1999年1月)や、Collins, Liptonによる「A System for Video Survillance and Monitoring:VSAM Final Report」(Robotics Institute, Carnegie-Mellon University, Tech.Rept.Np.CMU-RI-TR-00-12)や、Lipton,AJによる「Moving Target Classification and Tracking from Real-Time Video」(1998 DARPA IUW, Nov. 20-23,1998)や、Haering,Nによる「Visual Event Detection」(Video Computing Series,M.Shah,Ed.,2001)などに開示されている。本願は、これらの各文献に記載された事項を全て援用することとする。
図5の説明に戻り、カリブレーションステップ72が終了すると、システムの初期設定ステップ73に移行する。当該ステップでは、ユーザがシステムがデータをどのように収集するか、報告するか、あるいはデータにどのように反応するかの設定に関する多種のパラメータを入力する。
まず、ユーザは、1または2以上のラインを、イメージ上に1または2以上の監視線として重畳する。該ラインは、どのような方向を向いていても、イメージ上のどの位置に重畳してもよい。ただし、対象物(例えば人間)によるラインの横断を検出するためには、ラインを境にした両方向を少なくとも部分的に視認できる必要があるので、例外的に、ラインをイメージの端部付近に配することはできない。
一例として、監視線をイメージ中の地面に配した場合、対象物の底部(例えば、人間の足)が監視線を横切ったことを検出することができると考えられる。その他にも、使用者は、各監視線を配する地面からの高さを設定することができる。
その他、初期設定されるパラメータとして、例えば、当該システムを動作させる時間間隔や、対象物の通過として検出される各ラインを対象物が横切る方向や(例えば、所定の領域に人間が入ったことを検出するため、または人間が所定の領域に入ったことも、所定の領域から出たことも検出するために。)、検出感度などを含んでもよい。
本発明の一実施形態には、多種の異なるタイプの監視線が含まれる。例えば、映像監視線は直線である必要は無く、イメージ中の各領域の輪郭に沿った1または2以上の曲線とすることもできる。
同様に、映像監視線は単一の直線である必要なく、2以上の直線を含むマルチセグメントからなるとしてもよい。また、映像監視線を平行な複合監視線から構成し、対象物が全ての監視線を通過する際の特定の順序や、特定の期間を設定するとしてもよい。なお、その他の変形例にも本願発明は適用可能であり、本発明が上記の一実施例に限られることはない。
また、本発明の一実施形態によれば、ユーザインターフェースは、グラフィカル・ユーザ・インターフェース(GUI)を含む。当該実施形態においては、使用者は、映像のイメージ上または映像ストリームのスナップショットに監視線を描いてシステムを初期設定できる。該スナップショットは、例えば、映像ストリームのフレームであっても、独立して得られた写真であってもよい。
上記監視線は、ポイント・クリックインターフェースを用いて描かれるとしてもよい。より詳細に説明すると、使用者は、マウスのような位置決め装置(Pointing devise)を用いてイメージ上のあるポイントを選択する。そして、監視線がイメージに沿って引かれ、監視線が形成される。
その他、対象物の通過する方向(左から右、右から左、あるいはその両方)や、対象物のタイプ(人間や動物、あるいは乗り物など)や、対象物のスピードなどの監視線に関する監視線規則もまた、ポイント・クリックインターフェースを用いて設定するとしてもよい。例えば、方向は、グラフィックメニューとして表示された選択肢から、マウスのような位置決め装置により選択され、対象物のタイプは、プルダウンメニューから、マウスのような位置決め装置により選択されるとしてもよい。
また、初期設定73では、使用者が記録方法を多種の選択肢のうちから選択する。記録方法としては、例えば、人(または関心対象物)が通過したときのみ記録する、2以上の人のグループが通過したときのみ記録する、監視線を通過した全てのものを記録する、監視線の通過を高い信頼性をもって検出できたときのみ記録する、検出の統計のみを記録する、スナップショットをとる、あるいは監視線の通過が検出された前後における映像を作成するなどがあげられる。スナップショットは、映像フレーム(または他の感知装置)、または独立して作成された静止画を意味する。
このような選択肢、またはこれらの組み合わせとしての映像監視規則は、あらかじめ定められた誘発動作(例えば、「人間」が「仮想監視線」を所定の方向に通過するなどの監視線規則)や、あらかじめ定められた警戒動作(例えば、警報を鳴らし、または映像をデータベースに記録し、特定の電子メールアドレスに電子メールを送信する)を含む。
また、映像監視規則は、例えば、誘発動作として、監視対象物の属する領域、並行して行われているその他の動作、ふらふらした歩き方、バッグの置き忘れ、商品の盗難などの複雑な仮想映像上の動作や、警戒動作として、デジタルビデオレコーダ(DVR)を起動させたり、警報を鳴らしたりする動作を含むとしてもよい。
初期設定73の後、システムはデータを集め、解析するために動作する(ステップ74)。使用者が時間窓を設定した場合、システムは該時間窓の範囲内で動作する。システムが誘発動作(ユーザにより指定されている場合には、特定の誘発動作)を検出したとき、誘発動作は参考情報と併せて記録される。参考情報については、以下述べるデータ方向に関する記載を参照することにより明確となる。なお、誘発動作は、アプリケーションとの関係で、警報やその他の警戒動作(例えば、スナップショットの撮影)のトリガーとなる。
図11は、本実施形態による解析および誘発動作の検出方法の流れを示した説明図である。まず、前景対象物が、対象物の区分により映像から抽出される(ステップ740)。対象物の区分をする方法は、例えば、図10に示したステップ7221、7222および7223を含むとしてよい。
そして、前景対象物の位置を導出する(ステップ741)。次いで、前景対象物の位置に基づいて、対象物が監視線を通過したか否かを判断する(ステップ742)。上述したように監視線を地面に配するとしてもよく、この場合、対象物の底部が監視線を通過したときに対象物が監視線を通過したとみなされる。対象物が監視線を通過していないと判断された場合には、警戒動作は発生しない(ステップ743)。対象物が監視線を通過したと判断され、さらに誘発動作が特定の方向への対象物の通過に限定されている場合、対象物が監視線を通過した方向が上記特定の方向であったか否かを判断する(ステップ744)。対象物による監視線の通過方向に限定がない場合は、当該ステップは省略される。
ステップ744において、対象物が監視線を通過した方向が上記特定の方向でなかったと判断された場合、警戒動作は発生しない(ステップ745)。一方、対象物が監視線を通過した方向が上記特定の方向であったと判断された場合、またはステップ744が省略された場合、追加判断が行われる(ステップ746)。当該判断は、例えば、対象物に関する特徴(例えば、車、トラック、青い車、青いステーションワゴン、所定サイズより小さい車など。)や、特定の対象物(例えば、特定の人の顔、車のナンバープレートなど。)か否かに基づいて行われる。
ステップ746において、監視線を通過した対象物に関する特徴も条件を満たすと判断された場合、または追加判断のステップが設けられていない場合、警戒動作が発生する(ステップ747)。なお、ステップ746において、監視線を通過した対象物に関する特徴が条件を満たさないと判断された場合、警戒動作は発生しない。
対象物の監視線の通過方向の決定方法としては、いくつかの方法が考えられる。例えば、オプティカルフロー方式を用いて対象物の監視線の通過を検出する方法があげられる。なお、当該方法を用いる場合には対象物の区分処理を行う必要がない。また、図10の7222ステップに示した、対象物の追跡による、対象物の軌跡情報を用いてもよい。さらに、監視線の両方向にダミー監視線を設け、監視線の通過が検出されたときに、どちらのダミー監視線が通過済みであるか否かの判断に基づいて行ってもよい。
カリブレーションステップ72は、特定の対象物が監視対象であった場合、ステップ74の処理において特に重要な意味をなす。例えば、人間が監視対象物であった場合、カリブレーションステップ72は、ステップ74において、人間および猫やねずみなど人間より小さいものや、人間および人のグループや車など人間より大きいものの区別を可能とする。
監視対象物の通過が検出されると、監視対象物の通過に関するデータが使用者に報告される(ステップ75)。一例として、使用者は、グラフィカル・ユーザ・インターフェース(GUI)を用いてシステムから該データを確認することができる。このとき、該データの内容を要約した情報および/または詳細な情報が1または2以上の検出ごとに表示されるとしてもよい。上記データを要約した情報(要約情報)は、検出回数、検出された人(またはその他の監視対象物)の数、人(または監視対象物)のグループ(同時に監視線を通過した複数の人、あるいは監視対象物)の検出回数、各方向への人(対象物)の通過回数、使用者によって選択された時間窓の一部または全体、および1または2以上の過去の時間ヒストグラムの一部または全体の少なくともいずれかを含むとしてもよい。@@@
各検出の詳細な情報は、時間、方向、人(対象物)が通過した数、通過した対象物の大きさ、および1または2以上のスナップショットまたは検出時刻近傍に撮影された映像のうち、すくなくともいずれかを含むとしてもよい。
図12および図13は、データの報告形式の映像表示例の一例を示した説明図である。図12は、廊下に架けられた監視線の通過に関する要約情報を示している。図12に示した例では、表示画面は、監視線124を含む領域のライブビデオ123を含む。また、監視が行われる期間、すなわち時間窓を示す文字枠125を含む。要約情報121は、通過を検出した回数を含む。さらに、図12に示した例では、表示画面には、使用者は通過を検出した時刻や通過方向などの詳細な情報122も含まれている。
図13は、各通過検出時における個々の情報を示している。図13に示した該個々の情報の時間やデータは、図12に示した詳細な情報122の内容に対応している。図13の表示画面に示したように、当該例においては、通過検出時のスナップショットを、該検出時の時刻とデータと併せて表示するよう使用者により選択されている。なお、スナップショット131および132は、図12に示したライブビデオ123の領域における通過検出時のものである。
さらに、使用者は、スナップショットをクリックしたり、スナップショットに関連するボタンを押すことにより、通過検出の前後に撮影された映像を確認することができるよう構成してもよい。
本実施形態による映像監視線の適用例は直近追尾の検出である。直近追尾は、所定の領域にある人数(通常は一人)の入室が許可され、1または2以上の人が、入室を許可された人に接近して同時に入室することを意味する。
図14は、直近追尾を検出するためのシステムにおける方法のフローチャートを示している。当該実施形態において、映像監視カメラは、ドアや回転戸などの入り口を記録できる位置に設置され、また、上述のようにカリブレーションされているものとする。まず、システムは、入り口から人が入室した、または入室しようとすることを検出する(ステップ141)。当該検出は、例えば、入室のためにお金を投入する、キーパッドにコードを入力する、カードリーダにカードを通すという動作や、映像に基づく検出方法により入り口の開放を検出することにより行われるとしてもよい。入り口の開放を検出する方法を実行するに際しては、特段のカードリーダやキーパッドなどの外部機器を要さず、容易に周辺に設置して当該方法を実行できる点で有効である。
そして、入室が検出されると、監視システムが監視を始める(ステップ142)。監視の間、システムは入り口を通った対象物を検出し、何人が入室したかを決定するために対象物を解析する。当該解析は、カメラが顔を撮影できる状態であれば、上述の顔検出により行うとしてもよい。
次いで、システムは、入室した人数が許可された人数以下であるか否かを判断する(ステップ143)。図14に示した例では、同時に入室を許可する人数を一人としているが、何人を許可するかを選択可能なようにシステムを構成せいてもよい。
一人の人(許可されている人数)が入室した場合、警戒動作は発生しない(ステップ144)。一方、二人以上の人(許可されている以上の人数)が入室した場合、警戒動作が発生する(ステップ145)。該警戒動作としては、例えば、アラーム音による警報、スナップショットの撮影、入り口周囲の映像の撮影などが考えられる。スナップショットおよび映像の撮影は、システムにカードリーダが適用されている場合、盗難したカードを用いて入室した人を捜査するための有効な証拠となる点で効果的である。
以上、本発明の一実施形態を図示および説明したが、これは当業者が本発明を実施できるような説明を意図したものであり、本発明は上記の実施形態に限定されない。上述した本発明の一実施形態は、当業者であれば、本発明の範疇内において、各種の変更例または修正例、構成要素の追加例または削除例を想到し得ることは明らかである。したがって、特許請求の範囲に記載された事項およびそれと同等の範囲内で、上記の実施形態以外についても当然に本発明の技術的範囲に属するものと了解される。
1 感知装置
2 通信線
5 解析装置
6 ユーザインターフェース
2 通信線
5 解析装置
6 ユーザインターフェース
Claims (27)
- 映像出力を生成する感知装置と;
ユーザインターフェースを含み、前記感知装置から受信した映像出力に基づいてカリブレーション、データの収集および処理を行う制御部と;
を備え、
前記ユーザインターフェースは、出力部と、制御部により表示される処理データであるグラフィカル・ユーザ・インターフェースを含む入力部を備え、
前記グラフィカル・ユーザ・インターフェースは、前記映像出力の映像イメージ上、または前記映像出力から抽出されたスナップショット上の少なくともいずれかに、ユーザが映像監視線を重畳する作業を可能とすることを特徴とする、映像監視線システム。 - 前記グラフィカル・ユーザ・インターフェースは、ポイント・クリックインターフェースを含むことを特徴とする、請求項1に記載の映像監視線システム。
- 前記ポイント・クリックインターフェースは、少なくとも1つのメニューから構成されることを特徴とする、請求項2に記載の映像監視線システム。
- 前記グラフィカル・ユーザ・インターフェースは、ユーザによる少なくとも1つの監視線規則の設定を可能とすることを特徴とする、請求項1に記載の映像監視線システム。
- 前記少なくとも1つの監視線規則は、方向性、対象物の類型および対象物の速さに関する規則の少なくともいずれかを含むことを特徴とする、請求項4に記載の映像監視線システム。
- 前記グラフィカル・ユーザ・インターフェースは、ユーザによる前記少なくとも1つの監視線規則の設定を可能とする、少なくとも1つのメニューを含むことを特徴とする、請求項4に記載の映像監視線システム。
- 映像イメージおよび映像信号から抽出されたスナップショットの少なくともいずれかに、ユーザが映像監視線を重畳する作業を可能とするグラフィカル・ユーザ・インターフェースを備えることを特徴とする、ユーザインターフェース。
- 前記グラフィカル・ユーザ・インターフェースは、ポイント・クリックインターフェースを含むことを特徴とする、請求項7に記載のユーザインターフェース。
- 前記グラフィカル・ユーザ・インターフェースは、少なくとも1つのメニューから構成されることを特徴とする、請求項7に記載のユーザインターフェース。
- 前記グラフィカル・ユーザ・インターフェースは、ユーザによる少なくとも1つの監視線規則の設定を可能とすることを特徴とする、請求項7に記載のユーザインターフェース。
- 前記グラフィカル・ユーザ・インターフェースは、ユーザによる少なくとも1つの映像監視規則の設定を可能とすることを特徴とする、請求項7に記載のユーザインターフェース。
- パラメータを入力するステップと;
映像イメージおよび映像信号から抽出されたスナップショットの少なくともいずれかに映像監視線を重畳するステップと;
を含むことを特徴とする、初期設定方法。 - 前記映像監視線は、グラフィカル・ユーザ・インターフェースを用いて重畳されることを特徴とする、請求項12に記載の初期設定方法。
- 前記グラフィカル・ユーザ・インターフェースは、ポイント・クリックインターフェースを含むことを特徴とする、請求項13に記載の初期設定方法。
- 少なくとも1つの監視線規則を設定するステップをさらに含むことを特徴とする、請求項12に記載の初期設定方法。
- 前記監視線規則は、方向性、対象物の類型および対象物の速さに関する規則の少なくともいずれかを含むことを特徴とする、請求項15に記載の初期設定方法。
- 前記監視線規則の設定は、ポイント・クリックインターフェースを用いて行われることを特徴とする、請求項15に記載の初期設定方法。
- 前記ポイント・クリックインターフェースは、少なくとも1つのメニューから構成されることを特徴とする、請求項17に記載の初期設定方法。
- 少なくとも1つの映像監視規則を設定するステップをさらに含むことを特徴とする、請求項12に記載の初期設定方法。
- コンピュータにより処理されると、コンピュータがユーザによる請求項12に記載の初期設定方法の実行を可能とする、命令群を含むことを特徴とする、コンピュータが読取り可能な記憶媒体。
- コンピュータにより処理されると、コンピュータがユーザによる前記監視線の重畳を可能とする、グラフィカル・ユーザ・インターフェースを生成する命令群をさらに含むことを特徴とする、請求項20に記載のコンピュータが読取り可能な記憶媒体。
- 前記グラフィカル・ユーザ・インターフェースは、ポイント・クリックインターフェースを含むことを特徴とする、請求項21に記載のコンピュータが読取り可能な記憶媒体。
- 前記ポイント・クリックインターフェースは、少なくとも1つのメニューを含むことを特徴とする、請求項22に記載のコンピュータが読取り可能な記憶媒体。
- 制御部と;
請求項20に記載のコンピュータが読取り可能な記憶媒体と;
を含むことを特徴とする、映像監視線システム。 - 映像出力を生成する感知装置と;
ユーザインターフェースを含み、前記感知装置が出力した映像出力に基づいてカリブレーション、データの収集および処理を行う制御部と;
を備え、
前記ユーザインターフェースは、制御部が表示する処理データであるグラフィカル・ユーザ・インターフェースを含む入力部および出力部を備え、
前記制御部は、曲線状の映像監視線、複合的な映像監視線および平行なマルチ映像監視線の少なくともいずれかの映像監視線の設定をユーザに可能とするソフトウェアを含むことを特徴とする、映像監視線システム。 - システムで用いるための感知装置のパラメータを決定する感知装置のカリブレーションステップと;
少なくとも1つの前記曲線状の映像監視線、複合的な映像監視線および平行なマルチ映像監視線の少なくともいずれかの映像監視線の設定を含むシステムの初期化ステップと;
前記感知装置からデータを取得するステップと;
前記感知装置から取得したデータを、少なくとも1つの映像監視線が横断されたか否かを判断するために解析するステップと;
映像監視線の横断に対して警戒動作を作動するステップと;
を含むことを特徴とする、映像監視方法。 - 映像出力を生成する感知装置と;
前記映像出力を受信する制御部と;
を備え、
前記制御部は、ユーザインターフェースと、少なくとも1つの処理装置と、請求項26に記載の監視方法を実行するためのソフトウェアを含むコンピュータが読取り可能な記憶媒体とを含むことを特徴とする、映像監視線システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/704,645 US6970083B2 (en) | 2001-10-09 | 2003-11-12 | Video tripwire |
PCT/US2004/037604 WO2005050971A2 (en) | 2003-11-12 | 2004-11-12 | Video tripwire |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007512738A true JP2007512738A (ja) | 2007-05-17 |
Family
ID=34619801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006539842A Pending JP2007512738A (ja) | 2003-11-12 | 2004-11-12 | 映像監視線システム、初期設定方法、コンピュータが読取り可能な記憶媒体および映像監視方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US6970083B2 (ja) |
EP (1) | EP1685717A4 (ja) |
JP (1) | JP2007512738A (ja) |
KR (1) | KR101085578B1 (ja) |
CN (1) | CN1898960A (ja) |
CA (1) | CA2545535C (ja) |
IL (1) | IL175590A0 (ja) |
MX (1) | MXPA06005459A (ja) |
WO (1) | WO2005050971A2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013065351A (ja) * | 2012-12-14 | 2013-04-11 | Hitachi Kokusai Electric Inc | 画像処理装置および画像処理方法 |
JP2016062131A (ja) * | 2014-09-16 | 2016-04-25 | 日本電気株式会社 | 映像監視装置 |
US10410063B2 (en) | 2012-06-28 | 2019-09-10 | Canon Kabushiki Kaisha | Setting apparatus and setting method |
Families Citing this family (86)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US7424175B2 (en) | 2001-03-23 | 2008-09-09 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
US8308765B2 (en) | 2004-05-07 | 2012-11-13 | Usgi Medical, Inc. | Apparatus and methods for positioning and securing anchors |
US7088846B2 (en) * | 2003-11-17 | 2006-08-08 | Vidient Systems, Inc. | Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones |
US7361180B2 (en) | 2004-05-07 | 2008-04-22 | Usgi Medical, Inc. | Apparatus for manipulating and securing tissue |
US8558892B2 (en) * | 2004-01-20 | 2013-10-15 | Honeywell International Inc. | Object blocking zones to reduce false alarms in video surveillance systems |
US8277373B2 (en) | 2004-04-14 | 2012-10-02 | Usgi Medical, Inc. | Methods and apparaus for off-axis visualization |
US8562516B2 (en) | 2004-04-14 | 2013-10-22 | Usgi Medical Inc. | Methods and apparatus for obtaining endoluminal access |
US8257394B2 (en) | 2004-05-07 | 2012-09-04 | Usgi Medical, Inc. | Apparatus and methods for positioning and securing anchors |
US7931661B2 (en) | 2004-06-14 | 2011-04-26 | Usgi Medical, Inc. | Apparatus and methods for performing transluminal gastrointestinal procedures |
EP1696397A3 (en) * | 2005-02-23 | 2007-10-24 | Prospect SA | Method and apparatus for monitoring |
US20060233461A1 (en) * | 2005-04-19 | 2006-10-19 | Honeywell International Inc. | Systems and methods for transforming 2d image domain data into a 3d dense range map |
EP1966728A1 (en) | 2005-09-30 | 2008-09-10 | Robert Bosch Gmbh | Method and software program for searching image information |
JP4321541B2 (ja) * | 2006-04-03 | 2009-08-26 | ソニー株式会社 | 監視装置と監視方法 |
KR101392294B1 (ko) | 2006-04-17 | 2014-05-27 | 오브젝트비디오 인코퍼레이티드 | 통계적인 픽셀 모델링을 이용한 비디오 분할 |
TW200745996A (en) | 2006-05-24 | 2007-12-16 | Objectvideo Inc | Intelligent imagery-based sensor |
JP4201025B2 (ja) | 2006-06-30 | 2008-12-24 | ソニー株式会社 | 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム |
US8870916B2 (en) | 2006-07-07 | 2014-10-28 | USGI Medical, Inc | Low profile tissue anchors, tissue anchor systems, and methods for their delivery and use |
WO2008008505A2 (en) * | 2006-07-14 | 2008-01-17 | Objectvideo, Inc. | Video analytics for retail business process monitoring |
US20080074496A1 (en) * | 2006-09-22 | 2008-03-27 | Object Video, Inc. | Video analytics for banking business process monitoring |
DE102007001649A1 (de) * | 2007-01-11 | 2008-07-17 | Robert Bosch Gmbh | Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera |
US20080273754A1 (en) * | 2007-05-04 | 2008-11-06 | Leviton Manufacturing Co., Inc. | Apparatus and method for defining an area of interest for image sensing |
DE102007053812A1 (de) | 2007-11-12 | 2009-05-14 | Robert Bosch Gmbh | Konfigurationsmodul für ein Videoüberwachungssystem, Überwachungssystem mit dem Konfigurationsmodul, Verfahren zur Konfiguration eines Videoüberwachungssystems sowie Computerprogramm |
TWI489394B (zh) | 2008-03-03 | 2015-06-21 | Videoiq Inc | 用於追蹤、索引及搜尋之物件匹配 |
US20110033087A1 (en) * | 2008-04-09 | 2011-02-10 | Finn Alan M | Video content analysis |
US9019381B2 (en) * | 2008-05-09 | 2015-04-28 | Intuvision Inc. | Video tracking systems and methods employing cognitive vision |
US8165348B2 (en) * | 2008-11-17 | 2012-04-24 | International Business Machines Corporation | Detecting objects crossing a virtual boundary line |
US9520040B2 (en) * | 2008-11-21 | 2016-12-13 | Raytheon Company | System and method for real-time 3-D object tracking and alerting via networked sensors |
CN101872524B (zh) * | 2009-08-14 | 2012-07-18 | 杭州海康威视数字技术股份有限公司 | 基于虚拟墙的视频监控方法、***及装置 |
TWI400670B (zh) * | 2009-12-16 | 2013-07-01 | Ind Tech Res Inst | 多層次侵入事件偵測系統與方法及其電腦程式產品 |
US20110150272A1 (en) * | 2009-12-21 | 2011-06-23 | Honeywell International Inc. | Systems and methods of tracking object paths |
EP2619724A2 (en) | 2010-09-23 | 2013-07-31 | Stryker Corporation | Video monitoring system |
US8890936B2 (en) | 2010-10-12 | 2014-11-18 | Texas Instruments Incorporated | Utilizing depth information to create 3D tripwires in video |
CN102169614B (zh) * | 2011-01-14 | 2013-02-13 | 云南电力试验研究院(集团)有限公司 | 一种基于图像识别的电力作业安全监护方法 |
CN102176270A (zh) * | 2011-02-25 | 2011-09-07 | 广州飒特电力红外技术有限公司 | 安全监控及火灾预警一体化***及方法 |
JP5547144B2 (ja) * | 2011-09-08 | 2014-07-09 | 株式会社東芝 | 監視装置、その方法、及び、そのプログラム |
US9286678B2 (en) * | 2011-12-28 | 2016-03-15 | Pelco, Inc. | Camera calibration using feature identification |
US8744125B2 (en) | 2011-12-28 | 2014-06-03 | Pelco, Inc. | Clustering-based object classification |
US11470285B2 (en) | 2012-02-07 | 2022-10-11 | Johnson Controls Tyco IP Holdings LLP | Method and system for monitoring portal to detect entry and exit |
US20130265418A1 (en) * | 2012-04-06 | 2013-10-10 | Chin-Teng Lin | Alarm chain based monitoring device |
US10645345B2 (en) * | 2012-07-03 | 2020-05-05 | Verint Americas Inc. | System and method of video capture and search optimization |
EP2893521A1 (en) | 2012-09-07 | 2015-07-15 | Siemens Schweiz AG | Methods and apparatus for establishing exit/entry criteria for a secure location |
CN103687200A (zh) | 2012-09-12 | 2014-03-26 | 赛西蒂***股份有限公司 | 用于传感应用的网络化照明基础设施 |
US9582671B2 (en) | 2014-03-06 | 2017-02-28 | Sensity Systems Inc. | Security and data privacy for lighting sensory networks |
US9197861B2 (en) | 2012-11-15 | 2015-11-24 | Avo Usa Holding 2 Corporation | Multi-dimensional virtual beam detection for video analytics |
US9595124B2 (en) * | 2013-02-08 | 2017-03-14 | Robert Bosch Gmbh | Adding user-selected mark-ups to a video stream |
US9933297B2 (en) | 2013-03-26 | 2018-04-03 | Sensity Systems Inc. | System and method for planning and monitoring a light sensory network |
EP2976856B1 (en) | 2013-03-26 | 2019-08-14 | Sensity Systems Inc. | Sensor nodes with multicast transmissions in lighting sensory network |
TWI507661B (zh) | 2013-07-03 | 2015-11-11 | Faraday Tech Corp | 影像監控系統及其方法 |
WO2015065626A1 (en) | 2013-10-31 | 2015-05-07 | Invis-A-Beam, Llc | Systems and methods for aligning objects |
US9746370B2 (en) | 2014-02-26 | 2017-08-29 | Sensity Systems Inc. | Method and apparatus for measuring illumination characteristics of a luminaire |
US9237315B2 (en) | 2014-03-03 | 2016-01-12 | Vsk Electronics Nv | Intrusion detection with directional sensing |
US10417570B2 (en) | 2014-03-06 | 2019-09-17 | Verizon Patent And Licensing Inc. | Systems and methods for probabilistic semantic sensing in a sensory network |
US10362112B2 (en) | 2014-03-06 | 2019-07-23 | Verizon Patent And Licensing Inc. | Application environment for lighting sensory networks |
JP6381313B2 (ja) * | 2014-06-20 | 2018-08-29 | キヤノン株式会社 | 制御装置、制御方法、およびプログラム |
CN105450918B (zh) * | 2014-06-30 | 2019-12-24 | 杭州华为企业通信技术有限公司 | 一种图像处理方法和摄像机 |
US10687022B2 (en) | 2014-12-05 | 2020-06-16 | Avigilon Fortress Corporation | Systems and methods for automated visual surveillance |
US20160165191A1 (en) * | 2014-12-05 | 2016-06-09 | Avigilon Fortress Corporation | Time-of-approach rule |
US9922271B2 (en) | 2015-03-20 | 2018-03-20 | Netra, Inc. | Object detection and classification |
US9760792B2 (en) | 2015-03-20 | 2017-09-12 | Netra, Inc. | Object detection and classification |
JP6229816B2 (ja) | 2015-03-27 | 2017-11-15 | 日本電気株式会社 | モバイル監視装置、プログラム、及び制御方法 |
US10044988B2 (en) | 2015-05-19 | 2018-08-07 | Conduent Business Services, Llc | Multi-stage vehicle detection in side-by-side drive-thru configurations |
US9996749B2 (en) * | 2015-05-29 | 2018-06-12 | Accenture Global Solutions Limited | Detecting contextual trends in digital video content |
CN108431876B (zh) * | 2015-12-16 | 2021-03-12 | 日本电气株式会社 | 设置辅助设备、设置辅助方法和程序记录介质 |
US11216847B2 (en) | 2016-03-22 | 2022-01-04 | Sensormatic Electronics, LLC | System and method for retail customer tracking in surveillance camera network |
US10764539B2 (en) | 2016-03-22 | 2020-09-01 | Sensormatic Electronics, LLC | System and method for using mobile device of zone and correlated motion detection |
US11601583B2 (en) | 2016-03-22 | 2023-03-07 | Johnson Controls Tyco IP Holdings LLP | System and method for controlling surveillance cameras |
US10192414B2 (en) * | 2016-03-22 | 2019-01-29 | Sensormatic Electronics, LLC | System and method for overlap detection in surveillance camera network |
US10475315B2 (en) | 2016-03-22 | 2019-11-12 | Sensormatic Electronics, LLC | System and method for configuring surveillance cameras using mobile computing devices |
US10347102B2 (en) | 2016-03-22 | 2019-07-09 | Sensormatic Electronics, LLC | Method and system for surveillance camera arbitration of uplink consumption |
US10733231B2 (en) | 2016-03-22 | 2020-08-04 | Sensormatic Electronics, LLC | Method and system for modeling image of interest to users |
US9965680B2 (en) | 2016-03-22 | 2018-05-08 | Sensormatic Electronics, LLC | Method and system for conveying data from monitored scene via surveillance cameras |
US10665071B2 (en) | 2016-03-22 | 2020-05-26 | Sensormatic Electronics, LLC | System and method for deadzone detection in surveillance camera network |
US10318836B2 (en) * | 2016-03-22 | 2019-06-11 | Sensormatic Electronics, LLC | System and method for designating surveillance camera regions of interest |
US10650593B2 (en) | 2016-07-12 | 2020-05-12 | Tyco Fire & Security Gmbh | Holographic technology implemented security solution |
RU2688739C2 (ru) | 2017-09-04 | 2019-05-22 | ООО "Ай Ти Ви групп" | Системы и способы обнаружения тревожных траекторий движения объектов |
US10186124B1 (en) | 2017-10-26 | 2019-01-22 | Scott Charles Mullins | Behavioral intrusion detection system |
US10528820B2 (en) | 2017-12-07 | 2020-01-07 | Canon Kabushiki Kaisha | Colour look-up table for background segmentation of sport video |
RU2671994C1 (ru) * | 2018-02-06 | 2018-11-08 | Общество с ограниченной ответственостью "Ай Ти Ви групп" | Система и способ обнаружения тревожных траекторий движения объектов |
CN108833967A (zh) * | 2018-07-06 | 2018-11-16 | 江西洪都航空工业集团有限责任公司 | 一种基于视频的快速切片方法 |
RU2701985C1 (ru) | 2018-12-06 | 2019-10-02 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | Система и способ поиска объектов по траекториям движения на плане местности |
US10776695B1 (en) | 2019-03-08 | 2020-09-15 | Ai Concepts, Llc | Intelligent recognition and alert methods and systems |
US11699078B2 (en) | 2019-03-08 | 2023-07-11 | Ai Concepts, Llc | Intelligent recognition and alert methods and systems |
US11961319B2 (en) * | 2019-04-10 | 2024-04-16 | Raptor Vision, Llc | Monitoring systems |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61146085A (ja) * | 1984-12-20 | 1986-07-03 | Mitsubishi Electric Corp | プラツトホ−ムの安全監視方法 |
JPS62276985A (ja) * | 1986-05-26 | 1987-12-01 | Matsushita Electric Works Ltd | 画像監視方式 |
JPH03242592A (ja) * | 1990-02-21 | 1991-10-29 | Toshiba Corp | 画像監視装置 |
JP2002312769A (ja) * | 2001-04-16 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 監視装置及びそのパラメータ設定方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3812287A (en) | 1969-05-12 | 1974-05-21 | J Lemelson | Video detection system |
CA1116286A (en) | 1979-02-20 | 1982-01-12 | Control Data Canada, Ltd. | Perimeter surveillance system |
US4257063A (en) | 1979-03-23 | 1981-03-17 | Ham Industries, Inc. | Video monitoring system and method |
US5801943A (en) | 1993-07-23 | 1998-09-01 | Condition Monitoring Systems | Traffic surveillance and simulation apparatus |
US5696503A (en) | 1993-07-23 | 1997-12-09 | Condition Monitoring Systems, Inc. | Wide area traffic surveillance using a multisensor tracking system |
US5491511A (en) | 1994-02-04 | 1996-02-13 | Odle; James A. | Multimedia capture and audit system for a video surveillance network |
IL113434A0 (en) | 1994-04-25 | 1995-07-31 | Katz Barry | Surveillance system and method for asynchronously recording digital data with respect to video data |
US5623249A (en) | 1995-01-26 | 1997-04-22 | New Product Development, Inc. | Video monitor motion sensor |
US5926210A (en) | 1995-07-28 | 1999-07-20 | Kalatel, Inc. | Mobile, ground-based platform security system which transmits images that were taken prior to the generation of an input signal |
US5956081A (en) | 1996-10-23 | 1999-09-21 | Katz; Barry | Surveillance system having graphic video integration controller and full motion video switcher |
GB9702849D0 (en) | 1997-02-12 | 1997-04-02 | Trafficmaster Plc | Traffic monitoring |
JPH10283584A (ja) * | 1997-04-08 | 1998-10-23 | Mitsubishi Heavy Ind Ltd | 船舶航行監視装置及び方法 |
US6097429A (en) | 1997-08-01 | 2000-08-01 | Esco Electronics Corporation | Site control unit for video security system |
US6091771A (en) | 1997-08-01 | 2000-07-18 | Wells Fargo Alarm Services, Inc. | Workstation for video security system |
GB2329542B (en) | 1997-09-17 | 2002-03-27 | Sony Uk Ltd | Security control system and method of operation |
US6226388B1 (en) | 1999-01-05 | 2001-05-01 | Sharp Labs Of America, Inc. | Method and apparatus for object tracking for automatic controls in video devices |
US6201473B1 (en) | 1999-04-23 | 2001-03-13 | Sensormatic Electronics Corporation | Surveillance system for observing shopping carts |
US6297844B1 (en) | 1999-11-24 | 2001-10-02 | Cognex Corporation | Video safety curtain |
WO2001069932A1 (en) * | 2000-03-10 | 2001-09-20 | Sensormatic Electronics Corporation | Method and apparatus for object tracking and detection |
US20020082769A1 (en) | 2000-11-21 | 2002-06-27 | Gary Church | Airport auditing and information system |
US6625310B2 (en) * | 2001-03-23 | 2003-09-23 | Diamondback Vision, Inc. | Video segmentation using statistical pixel modeling |
WO2002087152A1 (en) * | 2001-04-18 | 2002-10-31 | Caveo Technology, Llc | Universal, customizable security system for computers and other devices |
US6696945B1 (en) * | 2001-10-09 | 2004-02-24 | Diamondback Vision, Inc. | Video tripwire |
US7184777B2 (en) * | 2002-11-27 | 2007-02-27 | Cognio, Inc. | Server and multiple sensor system for monitoring activity in a shared radio frequency band |
-
2003
- 2003-11-12 US US10/704,645 patent/US6970083B2/en not_active Expired - Lifetime
-
2004
- 2004-11-12 CA CA2545535A patent/CA2545535C/en active Active
- 2004-11-12 KR KR1020067011383A patent/KR101085578B1/ko active IP Right Review Request
- 2004-11-12 MX MXPA06005459A patent/MXPA06005459A/es active IP Right Grant
- 2004-11-12 JP JP2006539842A patent/JP2007512738A/ja active Pending
- 2004-11-12 EP EP04800982A patent/EP1685717A4/en not_active Withdrawn
- 2004-11-12 WO PCT/US2004/037604 patent/WO2005050971A2/en active Application Filing
- 2004-11-12 CN CNA2004800389391A patent/CN1898960A/zh active Pending
-
2006
- 2006-05-11 IL IL175590A patent/IL175590A0/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61146085A (ja) * | 1984-12-20 | 1986-07-03 | Mitsubishi Electric Corp | プラツトホ−ムの安全監視方法 |
JPS62276985A (ja) * | 1986-05-26 | 1987-12-01 | Matsushita Electric Works Ltd | 画像監視方式 |
JPH03242592A (ja) * | 1990-02-21 | 1991-10-29 | Toshiba Corp | 画像監視装置 |
JP2002312769A (ja) * | 2001-04-16 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 監視装置及びそのパラメータ設定方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10410063B2 (en) | 2012-06-28 | 2019-09-10 | Canon Kabushiki Kaisha | Setting apparatus and setting method |
JP2013065351A (ja) * | 2012-12-14 | 2013-04-11 | Hitachi Kokusai Electric Inc | 画像処理装置および画像処理方法 |
JP2016062131A (ja) * | 2014-09-16 | 2016-04-25 | 日本電気株式会社 | 映像監視装置 |
US10223619B2 (en) | 2014-09-16 | 2019-03-05 | Nec Corporation | Video monitoring apparatus, control apparatus, control method, and non-transitory readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
CA2545535C (en) | 2016-01-26 |
CA2545535A1 (en) | 2005-06-02 |
CN1898960A (zh) | 2007-01-17 |
US6970083B2 (en) | 2005-11-29 |
US20040105570A1 (en) | 2004-06-03 |
EP1685717A2 (en) | 2006-08-02 |
KR20060123289A (ko) | 2006-12-01 |
IL175590A0 (en) | 2006-09-05 |
EP1685717A4 (en) | 2009-12-02 |
KR101085578B1 (ko) | 2011-11-25 |
WO2005050971A2 (en) | 2005-06-02 |
MXPA06005459A (es) | 2006-08-11 |
WO2005050971A3 (en) | 2005-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007512738A (ja) | 映像監視線システム、初期設定方法、コンピュータが読取り可能な記憶媒体および映像監視方法 | |
EP1435170B2 (en) | Video tripwire | |
Elharrouss et al. | A review of video surveillance systems | |
CN101310288B (zh) | 采用视频原语的视频监视*** | |
US10026285B2 (en) | Video surveillance system employing video primitives | |
US10346688B2 (en) | Congestion-state-monitoring system | |
US10645350B2 (en) | Video analytic rule detection system and method | |
EP1872583B1 (en) | Method of video processing, computer readable medium containing instructions implementing said method and video processing system. | |
CN105120221B (zh) | 采用视频原语的视频监视方法及*** | |
Dick et al. | Issues in automated visual surveillance | |
Kumar et al. | Study of robust and intelligent surveillance in visible and multi-modal framework | |
Appiah et al. | Autonomous real-time surveillance system with distributed ip cameras | |
Raty | Introduction to Video Surveillance Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070214 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100803 |