JP2007049521A - モニタリングシステム、画像処理装置、管理装置、イベント監視方法及びプログラム - Google Patents

モニタリングシステム、画像処理装置、管理装置、イベント監視方法及びプログラム Download PDF

Info

Publication number
JP2007049521A
JP2007049521A JP2005233073A JP2005233073A JP2007049521A JP 2007049521 A JP2007049521 A JP 2007049521A JP 2005233073 A JP2005233073 A JP 2005233073A JP 2005233073 A JP2005233073 A JP 2005233073A JP 2007049521 A JP2007049521 A JP 2007049521A
Authority
JP
Japan
Prior art keywords
event
monitoring
processing
network
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005233073A
Other languages
English (en)
Other versions
JP4947936B2 (ja
Inventor
Katsumi Osawa
克己 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005233073A priority Critical patent/JP4947936B2/ja
Priority to EP06254080A priority patent/EP1752945B1/en
Priority to DE602006010629T priority patent/DE602006010629D1/de
Priority to US11/501,372 priority patent/US8625843B2/en
Priority to CN200610110775A priority patent/CN100584000C/zh
Publication of JP2007049521A publication Critical patent/JP2007049521A/ja
Application granted granted Critical
Publication of JP4947936B2 publication Critical patent/JP4947936B2/ja
Priority to US14/133,458 priority patent/US9277187B2/en
Priority to US15/003,843 priority patent/US9716864B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19663—Surveillance related processing done local to the camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19669—Event triggers storage or change of storage policy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Facsimiles In General (AREA)

Abstract

【課題】ネットワーク帯域の占有量が撮像カメラの台数に比例して増える。管理装置に負荷が集中するためシステムの大型化には多数の管理装置が必要になる。
【解決手段】モニタリングシステムを、（ａ）監視イベントの検知に関する処理アルゴリズムの少なくとも一部を、対応する撮像画像について実行するイベント検知部と、監視イベントが未検出の場合は実行された処理アリゴリズムの処理結果のみをネットワークに出力し、監視イベントが検出された場合は少なくとも撮像画像をネットワークに出力する送信制御部とをそれぞれ搭載する複数台の撮像装置と、（ｂ）受信した処理結果より監視イベントの発生を判定するイベント判定部と、受信した撮像画像を記録する記録制御部とを有し、複数台の撮像装置をネットワーク経由で収容する管理装置で構成する。
【選択図】図７

Description

発明の一つの形態は、撮像範囲内での監視イベントの発生をモニタリングするシステム及びイベントの監視方法に関する。
また発明の一つの形態は、モニタリングシステムのうち撮像側に配置される画像処理装置に関する。また発明の一つの形態は、モニタリングシステムのうちシステム内での監視イベントの発生に基づいて撮像画像を記録する管理装置に関する。
また発明の一つの形態は、これら画像処理装置や管理装置としての機能を実現するプログラムに関する。
今日、モニタリングシステムは、様々な分野で使用されている。例えば、セキュリティシステムの構築に使用されている。
図１に、セキュリティシステムの従来構成例を示す。図１に示すように、セキュリティシステムは、撮像カメラ１と、撮像カメラを収容する管理装置３とで構成される。図１の場合、管理装置３には表示装置５が外付けされている。
セキュリティシステムに代表的な機能に動体検知がある。動体検知は、撮像範囲内への動体（例えば人、車両）の侵入を検知する機能をいう。一般には、動体の検知により、アラームの発報や撮像画像の記録が実行される。
ところで、従来型のセキュリティシステムの場合、撮像カメラ１には撮像画像の配信機能のみが搭載され、動体検知処理は管理装置３側で実行される。
例えば、図１に示す撮像カメラ１は、撮像素子１１、カメラ信号処理部１３、ＣＰＵ１５、画像圧縮部１７、ネットワーク処理部１９で構成される。このうち、カメラ信号処理部１３は、信号増幅処理、アナログ／ディジタル変換処理、露光調整処理、その他の映像信号への変換に必要な処理を実行する処理デバイスである。また、画像圧縮部１７は、例えばＪＰＥＧ（Joint Photographic Experts Group）方式やＭＰＥＧ（Moving Picture Experts
Group）方式で撮像画像を圧縮符号化する処理デバイスである。
一方、管理装置３は、ネットワーク処理部３１、ＣＰＵ３３、表示制御部３５、画像圧縮伸張部３７、イベント検知部３９、ディスク制御部４１、ハードディスク装置４３で構成される。このうち、イベント検知部３９は、ネットワーク経由で受信した撮像画像の画像処理を通じて動体の侵入を検出する処理デバイスである。なお、ネットワークには、例えばIEEE802.3標準で規定された通信規格を使用する。
図２に、動体検知に関する処理アルゴリズムの機能配分例を示す。図２に示すように、画像取込と撮像画像のネットワークへの転送処理までが撮像カメラ１側で実行される。一方、動き検出から警報実行までの一連の処理が管理装置３側で実行される。
特開２００３−２３３８８９号公報
以上のように、既存のセキュリティシステムでは、管理装置側において動体検知処理が実行される。このため、撮像カメラは撮像された画像データを常に配信する必要がある。
図３に、ネットワークの帯域使用例を示す。図３（Ａ）は、動体の侵入が検知されていない期間（通常時）の帯域使用例であり、図３（Ｂ）は、動体の侵入が検知された後の期間（警報時）の帯域使用例である。このように、既存のセキュリティシステムでは、動体の侵入の有無によらず、ネットワークの帯域が一定量（この例では３Ｍｂｐｓ）占有される。
しかも、図４に示すように管理装置３に収容する撮像カメラ１の台数が増えるとその分だけネットワークを占有する帯域も増加する。例えば、４台の撮像カメラを収容する場合、１２Ｍｂｐｓ（＝３Ｍｂｐｓ×４台）もの帯域を常時占有する。このように、収容する撮像カメラの台数が増えるほど、ネットワークを占有する帯域幅が問題となる。
また、終了する撮像カメラの台数が増えると、管理装置３に動体検知処理が集中する。このため、収容する撮像カメラの台数が増えるほど、管理装置３には高い処理能力が要求される。例えば、収容する撮像カメラが４台の場合、現在の技術水準で実用的な動体検知処理を実現するのには、ペンティアム（登録商標）３ＧＨｚ程度の処理能力が必要になる。
さらに、多数の撮像カメラを収容して大規模なセキュリティシステムを構築する場合、収容する撮像カメラの台数に比例して管理装置３の台数を増やす必要がある。
図５に、大規模セキュリティシステムの構築例を示す。図５は、１６台の撮像カメラ１を４台の管理装置３で収容し、更にはシステムサーバー７で４台の管理装置３を階層管理する例である。
図６に、撮像カメラの台数と用意する管理装置３の台数との関係を示す。図６に示すように、管理装置３の台数は撮像カメラ１の台数に比例するように増加する。
発明者は、以上の技術的課題に着目し、以下に示す構成要素を有するモニタリングシステムを提案する。
（ａ）監視イベントの検知に関する処理アルゴリズムの少なくとも一部を、対応する撮像画像について実行するイベント検知部と、監視イベントが未検出の場合は実行された処理アリゴリズムの処理結果のみをネットワークに出力し、監視イベントが検出された場合は少なくとも撮像画像をネットワークに出力する送信制御部とをそれぞれ搭載する複数台の撮像装置
（ｂ）受信した処理結果より監視イベントの発生を判定するイベント判定部と、受信した撮像画像を記録する記録制御部とを有し、複数台の撮像装置をネットワーク経由で収容する管理装置
また、発明者は、以上の技術的課題に着目し、以下に示す構成要素を有するモニタリングシステムを提案する。
（ａ）複数台の撮像装置
（ｂ）監視イベントの検知に関する処理アルゴリズムの少なくとも一部を、対応する撮像画像について実行するイベント検知部と、監視イベントが未検出の場合は実行された処理アリゴリズムの処理結果のみをネットワークに出力し、監視イベントが検出された場合は少なくとも撮像画像をネットワークに出力する送信制御部とをそれぞれ搭載する複数台の画像処理装置
（ｃ）受信した処理結果より監視イベントの発生を判定するイベント判定部と、受信した撮像画像を記録する記録制御部とを有し、複数台の画像処理装置をネットワーク経由で収容する管理装置
このモニタリングシステムでは、監視イベントの検知に関する処理アルゴリズムの少なくとも一部の処理が撮像側で実行される。そして、通常時には処理結果のみがネットワークに送信され、監視イベントの発生時に限り撮像画像がネットワークに送信される。
この結果、ネットワーク帯域の占有量が低下し、ネットワーク資源を有効に活用することができる。
また、複数の撮像側装置（撮像装置や画像処理装置を含む。）を収容する管理装置の処理負担が軽減するため、撮像側装置を多数収容する大規模システムを従来システムに比して少ない管理装置で構築できる。
以下、発明に係る技術を適用した形態例を説明する。
なお、本明細書で特に図示又は記載されない部分には、当該技術分野の周知又は公知技術を適用する。
また以下に説明する形態例は、発明の一つの形態例であって、これらに限定されるものではない。
（Ａ）形態例１
（Ａ−１）システム構成
図７に、セキュリティシステムに適用した場合の構成例を示す。図７には、図１との対応部分に同一符号を付して示す。
このセキュリティシステムも、撮像カメラ１１１と、撮像カメラを収容する管理装置１３１とで構成される。また、管理装置１３１には表示装置５が外付けされている。
このうち、撮像カメラ１１１は、撮像素子１１、カメラ信号処理部１３、ＣＰＵ１５、画像圧縮部１７、ネットワーク処理部１９、イベント検知部１１３で構成される。
撮像素子１１は、固体撮像素子（例えばＣＣＤセンサー、ＣＭＯＳセンサー）で構成する。カメラ信号処理部１３は、信号増幅処理、アナログ／ディジタル変換処理、露光調整処理、その他の映像信号への変換に必要な処理を実行する処理デバイスで構成する。
ＣＰＵ１５は、撮像カメラ全体の処理動作を制御する制御デバイスである。例えば、マイクロプロセッサで構成される。なお、ＣＰＵ１５は、ネットワークに出力するデータを選択する送信制御部としても機能する。
画像圧縮部１７は、ネットワークへの出力用に撮像画像を圧縮符号化する処理デバイスである。
ネットワーク処理部１９は、ネットワーク経由によるデータの送受信を実行する通信デバイスである。
イベント検知部１１３は、撮像素子１１で撮像された画像データを画像処理して監視イベントの発生を検知する処理デバイスである。監視イベントの検知処理は、検知目的や処理内容に応じて複数の処理ステップを経て実現される。
図８に、監視イベントが設定範囲内への動体の侵入である場合の処理ステップ例を示す。この場合、検知処理は、動き検出処理（図８（Ｂ））、領域統合処理（図８（Ｃ））、ラベリング処理（図８（Ｄ））、領域判定処理（図８（Ｅ））で構成される。
ここでの動き検出処理は、撮像画像（図８（Ａ））中の動きベクトルを検出する処理をいう。
領域統合処理は、動きベクトルが検出された領域を動体別に統合する処理をいう。この処理では、統合された領域の面積Ｓと座標（ｘ、ｙ）が求められる。
ラベリング処理は、統合された個々の領域にラベルを付与する処理をいう。
領域判定処理は、ラベル付きの各領域が画面内のどこに位置するかを判定する処理である。
これらの処理の結果、動体の侵入の有無及び侵入位置が得られる。
この形態例の場合、送信制御部としてのＣＰＵ１５は、動体の侵入を検出すると、動体検知処理で得られた処理結果と撮像画像とをネットワークに出力するように指示を出す。一方、動体の侵入を検出できないとき、送信制御部としてのＣＰＵ１５は、動体検知処理で得られた処理結果のみをネットワークに出力するように指示を出す。すなわち、記録すべき撮像画像が発生した場合にのみ撮像画像を送信し、それ以外の場合には現在の監視結果のみを送信する。
一方、管理装置１３１は、ネットワーク処理部３１、ＣＰＵ３３、表示制御部３５、画像圧縮伸張部３７、ディスク制御部４１、ハードディスク装置４３、イベント判定部１３３で構成される。
ネットワーク処理部３１は、ネットワーク経由によるデータの送受信を実行する通信デバイスである。
ＣＰＵ３３は、管理装置全体の処理動作を制御する制御デバイスである。例えば、マイクロプロセッサで構成される。なお、ＣＰＵ３３は、ネットワーク経由で受信した撮像画像のハードディスク装置４３への記録を指示する記録制御部としても機能する。
表示制御部３５は、収容する撮像カメラ１１１から受信した撮像画像やセキュリティ状況等を表示装置５に出力するデータ処理部である。
画像圧縮伸張部３７は、撮像画像に対する圧縮符号化処理を解除し、元画像を復元する復号化装置である。
ディスク制御部４１は、ハードディスク装置４３に対するデータ（撮像画像を含む。）の記録と再生を制御する制御装置である。
イベント判定部１３３は、ネットワーク経由で受信した監視イベントの発生の有無を判定する処理デバイスである。イベント判定部１３３の処理対象は、動体検知処理で得られた処理結果である。このため、多数の撮像カメラ１１１を収容する場合でも、イベント判定部１３３に要求される処理負荷は小さく済む。この形態例の場合、イベント判定部１３３は、動体の侵入時に警報を発する。
（Ａ−２）実現される効果
図９に、動体検知に関する処理アルゴリズムの機能配分例を示す。図９に示すように、画像取込から動き検出結果（処理結果）のネットワークへの転送処理までが撮像カメラ１１１側で実行される。一方、受信した処理結果に対する判定から警報実行までの一連の処理が管理装置１３１側で実行される。
このように、動き検出処理を撮像装置１１１側で実行することで、このセキュリティシステムの場合、通常時に占有される帯域を最小化することができる。
図１０に、ネットワークの帯域使用例を示す。図１０（Ａ）は、動体の侵入が検知されていない期間（通常時）の帯域使用例であり、図１０（Ｂ）は、動体の侵入が検知された後の期間（警報時）の帯域使用例である。
このように、図７に示すセキュリティシステムでは、動体の侵入が検出されない間は４つの撮像カメラ１１１を収容する場合でも帯域の占有量を数ｋｂｐｓ程度に抑制することができる。また、４台全ての撮像カメラ１１１で動体の侵入が検出される場合を除き、ネットワークの帯域占有量を既存のセキュリティシステムに比して低減することが可能になる。
しかも、管理装置１３１の処理負荷が格段に低減されるため、図１１に示すように、１台の管理装置１３１に多数の撮像カメラ１１１を収容することが可能になる。この結果、撮像カメラの増減が容易になり、システム運用後も柔軟にシステムを変更できる。
図１２に、撮像カメラの台数と用意する管理装置３の台数との関係を示す。図１２に示すように、管理装置１３１の台数は、撮像カメラ１１１の台数増加に対して抑制できる。
（Ｂ）他の形態例
（ａ）前述の形態例では、撮像装置１１１がイベント検知部１１３を搭載する場合について説明した。すなわち、撮像装置１１１がイベント検知部１１３を実装又は装着する商品形態の場合について説明した。
しかし、撮像側の装置構成はこれに限らない。例えば撮像装置とは独立した画像処理装置にイベント検知部１１３を搭載する構成を採用しても良い。なお、画像処理装置はネットワークとの通信機能を搭載する。
図１３に、モニタリングシステムの他の構成例を示す。図１３には、図７との対応部分に同一符号を付して示す。
図１３に示すモニタリングシステムは、撮像カメラ１４１、画像処理装置１５１及び管理装置１３１で構成される。装置内部の個々のデバイスは、前述の形態例と同じであるので説明を省略する。このシステム構成の場合にも、ネットワーク上に撮像画像（画像データ）が流れるのは動体が検知された場合のみであるので、形態例と同じ効果を期待できる。
前述の形態例は、商品形態が撮像カメラの場合であったが、撮像以外の機能を搭載する各種の画像処理装置１６１を用いてモニタリングシステムを構築することも可能である。
例えば、可搬型の情報端末（携帯電話、携帯情報端末等）やロボット（人型ロボット、動物型ロボット等）を用いてモニタリングシステムを構築することも可能である。
図１４に、この種のモニタリングシステムの構成例を示す。図１４にも、図７との対応部分に同一符号を付して示す。
図１４に示すモニタリングシステムでは、撮像素子１１を搭載する画像処理装置１６１において監視イベントの検知処理が実行され、その処理結果がネットワーク経由で管理装置１３１に送信される。この場合も、形態例と同じ効果を期待できる。
（ｂ）前述の形態例では、監視イベントとして動体の侵入を検出する場合について説明した。しかし、監視イベントはこれに限らない。
例えば、監視イベントとして設定範囲内への不動体の侵入又は設置を検知する場合にも適用できる。
図１５に、イベント検知部１１３で実現する不動体の検知処理例を示す。この場合、イベント検知部１１３は、動き検出処理（Ｓ１）、領域統合処理（Ｓ２）、静止領域判定処理（Ｓ３）、ラベリング処理（Ｓ４）、領域判定処理（Ｓ５）を実行する。
静止領域判定以外は、動体検知と同様の処理内容で実現できる。静止領域判定は、動体としてある時点に識別された領域が、一定時間後もある場所に静止し続けているか否かを判定する処理をいう。静止状態が確認された領域についてのみラベリングの対象とし、静止状態が確認されなかった領域については検知対象から除外する。
図１６は、車両が画面内を横切る様子を撮像した画面と対応する処理結果を示す図である。車両は撮像範囲に進入した時点で動体として検知されるものの画面内を横切って移動するため、不動体としては検知されない。
図１７は、車両が画面内に停車又は駐車された様子を撮像した画面と対応する処理結果を示す図である。
車両は撮像範囲に侵入した時点で動体として検知された後、画面内のある場所で静止することで不動体として検知される。
図１７の処理結果は、統合された領域の面積Ｓと座標（ｘ、ｙ）と時間ｔについて表している。
（ｃ）前述の形態例では、イベント検知部１１３内で検知処理の全体を実行する場合について説明した。すなわち、動体検知において、動き検出処理（図８（Ｂ））、領域統合処理（図８（Ｃ））、ラベリング処理（図８（Ｄ））、領域判定処理（図８（Ｅ））の全てをイベント検知部１１３内で実行する場合について説明した。
しかし、これら処理アルゴリズムのうち一部の処理機能のみを実行し、残りの処理機能は管理装置１３１（イベント判定部１３３）側で実行する手法を採用することもできる。例えば、領域統合処理までをイベント検知部１１３で実行して、その処理結果をネットワーク経由で管理装置１３１に送信し、管理装置１３１側でラベリングと領域判定を実行しても良い。この場合にも、撮像画像をそのままネットワーク上に流す場合に比して帯域の占有量を大幅に削減することができる。
また、ラベリングや領域判定処理に要する負荷は少ないため、支障なく多数の撮像カメラを管理装置に収容することができる。
この場合、監視イベントの検出に基づく撮像画像の送信は、管理装置側から撮像装置側に指示する手法を採用すれば良い。
もっとも、イベント検知部１１３で実行された処理結果から判断できる範囲で、イベント検知部１１３が自律的に撮像画像の送信を決定しても良い。
（ｄ）前述の形態例では、専らセキュリティシステムについて説明した。
しかし、特定の監視イベントの検出時にのみ撮像画像を記録したり、警報を発する用途であれば、産業用カメラシステム、ビデオ会議システム、リモートカメラシステム（講義、講演その他の教育関係、議場撮影、イベント撮影等）その他のモニタリングシステムに応用することができる。
（ｅ）前述の形態例では、監視イベントの検知に関する処理をハードウェア的に実現する場合について説明したが、これらの処理はソフトウェア処理として実現できる。この場合、プログラムはネットワーク経由で配布しても良く、記憶媒体に格納して配布しても良い。配布用の記憶媒体は、磁気記憶媒体、光学式記憶媒体、半導体記憶媒体その他を含む。
（ｅ）前述の形態例には、発明の趣旨の範囲内で様々な変形例が考えられる。また、本明細書の記載に基づいて創作される又は組み合わせられる各種の変形例及び応用例も考えられる。
セキュリティシステムの従来構成例を示す図である。 撮像装置と管理装置との間における機能配分例を示す図である（従来例）。 ネットワークの帯域使用例を示す図である（従来例）。 従来装置を用いて可能な撮像カメラの収容例を示す図である。 多数の撮像カメラを収容する場合のシステム例を示す図である（従来例）。 従来装置を用いてシステムを構成する場合の撮像カメラ数と必要になる管理装置数の関係を示す図である。 セキュリティシステムの形態例を示す図である。 動体の侵入を検知する場合の処理ステップ例を示す図である。 撮像装置と管理装置との間における機能配分例を示す図である（形態例）。 ネットワークの帯域使用例を示す図である（形態例） 多数の撮像カメラを収容する場合のシステム例を示す図である（形態例）。 形態例の装置を用いてシステムを構成する場合の撮像カメラ数と必要になる管理装置数の関係を示す図である。 セキュリティシステムの他の形態例を示す図である。 セキュリティシステムの他の形態例を示す図である。 不動体の侵入又は設置を検知する場合の処理ステップ例を示す図である。 動体が侵入した場合の処理結果を示す図である。 不動体が侵入した場合の処理結果を示す図である。
符号の説明
１１１ 撮像カメラ
１１３ イベント検知部
１３１ 管理装置
１３３ イベント判定部
１４１ 撮像カメラ
１５１ 画像処理装置
１６１ 画像処理装置

Claims (12)

  1. 監視イベントの検知に関する処理アルゴリズムの少なくとも一部を、対応する撮像画像について実行するイベント検知部と、監視イベントが未検出の場合は実行された処理アリゴリズムの処理結果のみをネットワークに出力し、監視イベントが検出された場合は少なくとも撮像画像をネットワークに出力する送信制御部とをそれぞれ搭載する複数台の撮像装置と、
    前記複数台の撮像装置をネットワーク経由で収容する管理装置であって、受信した処理結果より監視イベントの発生を判定するイベント判定部と、受信した前記撮像画像を記録する記録制御部とを有する管理装置と
    を有することを特徴とするモニタリングシステム。
  2. 請求項１に記載のモニタリングシステムにおいて、
    前記監視イベントは、設定範囲内への動体の侵入である
    ことを特徴とするモニタリングシステム。
  3. 請求項１に記載のモニタリングシステムにおいて、
    前記監視イベントは、設定範囲内への不動体の侵入又は設置である
    ことを特徴とするモニタリングシステム。
  4. 複数台の撮像装置と、
    監視イベントの検知に関する処理アルゴリズムの少なくとも一部を、対応する撮像画像について実行するイベント検知部と、監視イベントが未検出の場合は実行された処理アリゴリズムの処理結果のみをネットワークに出力し、監視イベントが検出された場合は少なくとも撮像画像をネットワークに出力する送信制御部とをそれぞれ搭載する複数台の画像処理装置と、
    前記複数台の画像処理装置をネットワーク経由で収容する管理装置であって、受信した処理結果より監視イベントの発生を判定するイベント判定部と、受信した前記撮像画像を記録する記録制御部とを有する管理装置と
    を有することを特徴とするモニタリングシステム。
  5. 請求項４に記載のモニタリングシステムにおいて、
    前記画像処理装置は、前記撮像装置を搭載する
    ことを特徴とするモニタリングシステム。
  6. 請求項４に記載のモニタリングシステムにおいて、
    前記画像処理装置は、前記撮像装置と外部接続される
    ことを特徴とするモニタリングシステム。
  7. 監視イベントの検知に関する処理アルゴリズムの少なくとも一部を、対応する撮像画像について実行するイベント検知部と、
    監視イベントが未検出の場合は実行された処理アリゴリズムの処理結果のみをネットワークに出力し、監視イベントが検出された場合は少なくとも撮像画像をネットワークに出力する送信制御部と
    を有することを特徴とする画像処理装置。
  8. 監視イベントの検知に関する処理アルゴリズムの少なくとも一部の処理結果をネットワーク経由で受信し、その処理結果より監視イベントの発生を判定するイベント判定部と、
    監視イベントの発生時に受信される前記撮像画像を記録する記録制御部と
    を有することを特徴とする管理装置。
  9. 複数台の撮像装置と、これらをネットワーク経由で収容する管理装置とを有するモニタリングシステムにおけるイベント監視方法であって、
    前記撮像装置側において、
    監視イベントの検知に関する処理アルゴリズムの少なくとも一部を、対応する撮像画像について実行する処理と、
    監視イベントが未検出の場合は実行された処理アリゴリズムの処理結果のみをネットワークに出力し、監視イベントが検出された場合は少なくとも撮像画像をネットワークに出力する処理とを実行し、
    前記管理装置側において、
    受信した処理結果より監視イベントの発生を判定する処理と、
    受信した前記撮像画像を記録する処理とを実行する
    ことを特徴とするイベント監視方法。
  10. 複数台の撮像装置及び画像処理装置と、これらをネットワーク経由で収容する管理装置とを有するモニタリングシステムにおけるイベント監視方法であって、
    前記画像処理装置側において、
    監視イベントの検知に関する処理アルゴリズムの少なくとも一部を、対応する撮像画像について実行する処理と、
    監視イベントが未検出の場合は実行された処理アリゴリズムの処理結果のみをネットワークに出力し、監視イベントが検出された場合は少なくとも撮像画像をネットワークに出力する処理とを実行し、
    前記管理装置側において、
    受信した処理結果より監視イベントの発生を判定する処理と、
    受信した前記撮像画像を記録する処理とを実行する
    ことを特徴とするイベント監視方法。
  11. 監視イベントの検知に関する処理アルゴリズムの少なくとも一部を、対応する撮像画像について実行する処理と、
    監視イベントが未検出の場合は実行された処理アリゴリズムの処理結果のみをネットワークに出力し、監視イベントが検出された場合は少なくとも撮像画像をネットワークに出力する処理と
    をコンピュータに実行させるイベント監視方法。
  12. 監視イベントの検知に関する処理アルゴリズムの少なくとも一部の処理結果をネットワーク経由で受信し、その処理結果より監視イベントの発生を判定する処理と、
    監視イベントの発生時に受信される前記撮像画像を記録する処理と
    をコンピュータに実行させるプログラム。
JP2005233073A 2005-08-11 2005-08-11 モニタリングシステムおよび管理装置 Expired - Fee Related JP4947936B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2005233073A JP4947936B2 (ja) 2005-08-11 2005-08-11 モニタリングシステムおよび管理装置
EP06254080A EP1752945B1 (en) 2005-08-11 2006-08-03 Monitoring system, image-processing apparatus, management apparatus, event detecting method, and computer program
DE602006010629T DE602006010629D1 (de) 2005-08-11 2006-08-03 Überwachungssystem, Bildverarbeitungsgerät, Verwaltungsgerät, Ereigniserfassungsverfahren sowie Computerprogramm
US11/501,372 US8625843B2 (en) 2005-08-11 2006-08-09 Monitoring system, image-processing apparatus, management apparatus, event detecting method, and program
CN200610110775A CN100584000C (zh) 2005-08-11 2006-08-11 监视***、图像处理装置、管理装置、事件检测方法
US14/133,458 US9277187B2 (en) 2005-08-11 2013-12-18 Monitoring system, image-processing apparatus, management apparatus, event detecting method, and program
US15/003,843 US9716864B2 (en) 2005-08-11 2016-01-22 Monitoring system, image-processing apparatus, management apparatus, event detecting method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005233073A JP4947936B2 (ja) 2005-08-11 2005-08-11 モニタリングシステムおよび管理装置

Publications (2)

Publication Number Publication Date
JP2007049521A true JP2007049521A (ja) 2007-02-22
JP4947936B2 JP4947936B2 (ja) 2012-06-06

Family

ID=37433606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005233073A Expired - Fee Related JP4947936B2 (ja) 2005-08-11 2005-08-11 モニタリングシステムおよび管理装置

Country Status (5)

Country Link
US (3) US8625843B2 (ja)
EP (1) EP1752945B1 (ja)
JP (1) JP4947936B2 (ja)
CN (1) CN100584000C (ja)
DE (1) DE602006010629D1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100989081B1 (ko) 2008-08-11 2010-10-25 한국전자통신연구원 네트워크 카메라를 이용한 이벤트 감시 시스템 및 방법
WO2015104953A1 (ja) * 2014-01-10 2015-07-16 株式会社日立製作所 計算機システムおよび画像データ送信方法
WO2018105247A1 (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 検知システム
WO2019073685A1 (ja) * 2017-10-13 2019-04-18 コニカミノルタ株式会社 被監視者監視支援システムのセンサ装置、中央処理装置および該センサ装置の処理方法ならびに被監視者監視支援システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002057B2 (en) * 2011-03-22 2015-04-07 Alcatel Lucent Collaborative camera services for distributed real-time object analysis
US9503731B2 (en) * 2012-10-18 2016-11-22 Nec Corporation Camera system
US20150221193A1 (en) * 2014-02-04 2015-08-06 Aruba Networks, Inc. Intrusion Detection and Video Surveillance Activation and Processing
AT516051B1 (de) * 2014-12-23 2016-02-15 Ats Datenverarbeitung Ges M B H & Co Kg Überwachungseinrichtung mit einer Bildauswerteeinrichtung für Kameras in einem Switch

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105312A (ja) * 1992-09-22 1994-04-15 Hitachi Ltd 静止物監視方法および装置
JP2002044645A (ja) * 2000-07-24 2002-02-08 Gen Tec:Kk テレビカメラによる自動監視方法及び同装置並びに同プログラムを記録した記録媒体
JP2004056655A (ja) * 2002-07-23 2004-02-19 Sony Corp 信号処理システムと信号処理方法と信号処理プログラムおよび撮像装置とコンテンツ提示装置
JP2004186844A (ja) * 2002-12-02 2004-07-02 Hitachi Ltd カメラ装置
JP2005039693A (ja) * 2003-07-18 2005-02-10 Aichi Kikaku:Kk 遠隔監視方法
JP2005118927A (ja) * 2003-10-15 2005-05-12 Sanyo Electric Co Ltd ロボット装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594504A (en) * 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
US7124427B1 (en) * 1999-04-30 2006-10-17 Touch Technologies, Inc. Method and apparatus for surveillance using an image server
US7015806B2 (en) * 1999-07-20 2006-03-21 @Security Broadband Corporation Distributed monitoring for a video security system
US6678417B1 (en) * 1999-11-30 2004-01-13 International Business Machines Corporation Dictionary based video compression
JP3828349B2 (ja) * 2000-09-27 2006-10-04 株式会社日立製作所 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体
WO2002037856A1 (en) * 2000-11-06 2002-05-10 Dynapel Systems, Inc. Surveillance video camera enhancement system
US6441734B1 (en) * 2000-12-12 2002-08-27 Koninklijke Philips Electronics N.V. Intruder detection through trajectory analysis in monitoring and surveillance systems
US7177448B1 (en) * 2001-04-12 2007-02-13 Ipix Corporation System and method for selecting and transmitting images of interest to a user
US20020163577A1 (en) * 2001-05-07 2002-11-07 Comtrak Technologies, Inc. Event detection in a video recording system
US20020171734A1 (en) * 2001-05-16 2002-11-21 Hiroshi Arakawa Remote monitoring system
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
JP3999561B2 (ja) * 2002-05-07 2007-10-31 松下電器産業株式会社 監視システムと監視カメラ
JP4240973B2 (ja) * 2002-09-26 2009-03-18 ソニー株式会社 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
US20040148518A1 (en) * 2003-01-27 2004-07-29 John Grundback Distributed surveillance system
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
FR2851397B1 (fr) * 2003-02-14 2005-05-13 Canon Europa Nv Procede et dispositif d'analyse de sequences video dans un reseau de communication
US7623152B1 (en) * 2003-07-14 2009-11-24 Arecont Vision, Llc High resolution network camera with automatic bandwidth control
JP2005228197A (ja) * 2004-02-16 2005-08-25 Funai Electric Co Ltd 監視システム及び監視方法
JP4482795B2 (ja) * 2004-03-05 2010-06-16 ソニー株式会社 画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置
JP2006059252A (ja) * 2004-08-23 2006-03-02 Denso Corp 動き検出方法及び装置，プログラム，車両用監視システム
US20060095539A1 (en) * 2004-10-29 2006-05-04 Martin Renkis Wireless video surveillance system and method for mesh networking
JP2007030439A (ja) * 2005-07-29 2007-02-08 Seiko Epson Corp 画像出力装置および画像出力方法
US8284254B2 (en) * 2005-08-11 2012-10-09 Sightlogix, Inc. Methods and apparatus for a wide area coordinated surveillance system
US7463145B2 (en) * 2005-09-22 2008-12-09 Rsi Video Technologies, Inc. Security monitoring arrangement and method using a common field of view

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105312A (ja) * 1992-09-22 1994-04-15 Hitachi Ltd 静止物監視方法および装置
JP2002044645A (ja) * 2000-07-24 2002-02-08 Gen Tec:Kk テレビカメラによる自動監視方法及び同装置並びに同プログラムを記録した記録媒体
JP2004056655A (ja) * 2002-07-23 2004-02-19 Sony Corp 信号処理システムと信号処理方法と信号処理プログラムおよび撮像装置とコンテンツ提示装置
JP2004186844A (ja) * 2002-12-02 2004-07-02 Hitachi Ltd カメラ装置
JP2005039693A (ja) * 2003-07-18 2005-02-10 Aichi Kikaku:Kk 遠隔監視方法
JP2005118927A (ja) * 2003-10-15 2005-05-12 Sanyo Electric Co Ltd ロボット装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100989081B1 (ko) 2008-08-11 2010-10-25 한국전자통신연구원 네트워크 카메라를 이용한 이벤트 감시 시스템 및 방법
WO2015104953A1 (ja) * 2014-01-10 2015-07-16 株式会社日立製作所 計算機システムおよび画像データ送信方法
JP2015133561A (ja) * 2014-01-10 2015-07-23 株式会社日立製作所 計算機システム
WO2018105247A1 (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 検知システム
US11418705B2 (en) 2016-12-07 2022-08-16 Sony Semiconductor Solutions Corporation Detection system
WO2019073685A1 (ja) * 2017-10-13 2019-04-18 コニカミノルタ株式会社 被監視者監視支援システムのセンサ装置、中央処理装置および該センサ装置の処理方法ならびに被監視者監視支援システム
JPWO2019073685A1 (ja) * 2017-10-13 2020-12-03 コニカミノルタ株式会社 被監視者監視支援システムのセンサ装置、中央処理装置および該センサ装置の処理方法ならびに被監視者監視支援システム
JP7234931B2 (ja) 2017-10-13 2023-03-08 コニカミノルタ株式会社 被監視者監視支援システムのセンサ装置、該センサ装置の処理方法および被監視者監視支援システム

Also Published As

Publication number Publication date
US8625843B2 (en) 2014-01-07
DE602006010629D1 (de) 2010-01-07
US20140104434A1 (en) 2014-04-17
US20070036515A1 (en) 2007-02-15
CN1913624A (zh) 2007-02-14
EP1752945B1 (en) 2009-11-25
CN100584000C (zh) 2010-01-20
US9716864B2 (en) 2017-07-25
US20160150197A1 (en) 2016-05-26
EP1752945A2 (en) 2007-02-14
EP1752945A3 (en) 2007-11-21
JP4947936B2 (ja) 2012-06-06
US9277187B2 (en) 2016-03-01

Similar Documents

Publication Publication Date Title
JP4947936B2 (ja) モニタリングシステムおよび管理装置
US10123051B2 (en) Video analytics with pre-processing at the source end
CN204180161U (zh) 摄像机
US9277250B2 (en) Network based video analytics through an application program interface (API) with metric triggered notifications
KR101389220B1 (ko) 개선된 사전-알람 비디오 버퍼
US20060083305A1 (en) Distributed motion detection event processing
JP2010136032A (ja) 映像監視システム
US10999577B2 (en) Quantization parameter determination method and image capture apparatus
JP4971499B2 (ja) リモートビューファインディング
US7280596B2 (en) Apparatus detecting motion of image data and detecting method thereof
JP3942606B2 (ja) 変化検出装置
JP4442571B2 (ja) 撮像装置及びその制御方法
CN109982017B (zh) 用于智能记录视频数据流的***和方法
JP2007300462A (ja) 画像記録装置及び画像記録方法
JP4373254B2 (ja) 圧縮データ量を制御する画像圧縮装置及びそれを用いたカメラ
Boult et al. A decade of networked intelligent video surveillance
JP2015050697A (ja) 映像処理装置及び映像処理装置の制御方法
Tiwari et al. Low power customized new trend remote surveillance system over 3G mobile network
JP2005110066A (ja) 画像侵入検知システム、検知装置、映像サーバおよび画像侵入検知方法
JP4555132B2 (ja) エンコードプログラムおよびエンコーダ
CN113906735A (zh) 网络监控相机***及其操作方法
JP2007174273A (ja) 監視システム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081222

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091211

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100408

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100420

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100604

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120306

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4947936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees