JP2007318674A - 監視カメラ装置 - Google Patents

監視カメラ装置 Download PDF

Info

Publication number
JP2007318674A
JP2007318674A JP2006148757A JP2006148757A JP2007318674A JP 2007318674 A JP2007318674 A JP 2007318674A JP 2006148757 A JP2006148757 A JP 2006148757A JP 2006148757 A JP2006148757 A JP 2006148757A JP 2007318674 A JP2007318674 A JP 2007318674A
Authority
JP
Japan
Prior art keywords
detection information
image
area
imaging
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006148757A
Other languages
English (en)
Other versions
JP4702184B2 (ja
Inventor
Hiroshi Matsuda
啓史 松田
Toshiharu Takenouchi
利春 竹ノ内
Tadahiro Arakawa
忠洋 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2006148757A priority Critical patent/JP4702184B2/ja
Publication of JP2007318674A publication Critical patent/JP2007318674A/ja
Application granted granted Critical
Publication of JP4702184B2 publication Critical patent/JP4702184B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

【課題】マスク領域に対応している非検知対象の物体がマスク領域外にはみ出すような動きがあっても人と誤検知する恐れを少なくした監視カメラ装置を提供することにある。
【解決手段】画像センサ4の画像処理部40は、マスク領域MAにかかる物体の動きがあっても、マスク領域MAの位置から所定の距離だけ物体が移動しない場合には検知情報を出力しない。つまりマスク領域MA内の樹木Trが風などによって揺れてマスク領域MAからはみ出すような動きがあっても、画像センサ4が樹木Trのはみ出し部位の動きを移動物体と誤検知する恐れが少なくなるのである。
【選択図】図1

Description

本発明は、インターホン装置等に付加するセンサ付きの監視カメラ装置に関するものである。
昨今の防犯意識の向上により、来訪者の顔を確認できる又は不在時の来訪者の顔を録画できる等の便利性が評価され、住宅向けのドアホンカメラシステムが普及している。また普及に伴い住宅への侵入の未然防止を目的として監視カメラを端末として追加してシステムアップを図り、住宅周辺の警戒が行えるドアホンカメラシステムも提供されてきている。
図4はその一例の概略図を示しており、この図示例では、住宅Hの門Gに設置したカメラ付きドアホン子器100と住宅H内に設置したドアホン親器101との間でインターホンとしての通話とともにドアホン子器100のカメラで捉えた来訪者の画像をドアホン親器101のモニタ装置Mでモニタするとともに当該画像を録画できるようになっているドアホンシステムにおいて、例えば住宅Hの外壁に人検知用センサ付きの監視カメラ装置102を取り付け、人検知用センサが敷地103内の侵入者を検知すると、その検知情報及び監視カメラ装置102の撮像カメラで撮像した画像をドアホン親器101へ送って、モニタ装置Mでその画像を映し出すとともにドアホン親器101に備わった報知装置での発報を行う一方、監視カメラ装置102に設けてある照明装置104を点灯させて侵入者に威嚇を与えるようになっている。
この監視カメラ装置102に設ける人検知用センサとしては、人体から発せられる熱線(赤外線)を検出することで人を検知する熱線センサや監視カメラ装置102の撮像カメラで撮像した画像から人を検知する画像センサがある。
ところで画像センサは、検知対象である侵入者の位置を知ることができるため、例えば風等によって揺れ、移動する物体(侵入者)と誤検知され易い樹木が植えられている領域をマスク領域とし、当該マスク領域内に風等で揺れる樹木が存在しても警報を発しないようにすることができるものの、影や光の変化を移動物体(侵入者)として検知し、警報を発してしまう弱点がある。
これに対して熱線センサは、複数の検知領域を一つの焦電素子(熱線検出素子)で監視することができ、広い領域を見るための検知領域を設定することが難しいという弱点があるものの、影の動きには反応することがないという特徴がある。
上述の監視カメラ装置102としては両センサを併設することで、両センサの弱点を互いに補って誤検知を少なくするようにしたものが提供されている(例えば特許文献1)。
特開2000−209573(段落0011、図1)
しかしながら、敷地103内に植えられている樹木が存在している領域をマスク領域として設定していても、風等によって樹木が揺らぎマスク領域から枝等がはみ出た場合、画像センサはこれを移動物体として検知してしまうという課題がある。
また熱線センサでは、樹木の揺らぎなどによって熱線ビームのレベルが変化するような場合、これを人として検知してしまうという課題がある。
従って両センサの検知情報を用いて人検知を行う場合にも、両センサが検知情報を出力し、その結果誤報が為され、しかもこれらの誤検知が連続的に継続すると、誤報が続くという恐れがあった。
本発明は、上述の点に鑑みて為されたもので、その目的とするところはマスク領域に対応している非検知対象の物体がマスク領域外にはみ出すような動きがあっても人と誤検知する恐れを少なくした監視カメラ装置を提供することにある。
上述の目的を達成するために、請求項1の発明では、所定の領域を撮像する撮像手段と、該撮像手段の撮像により得られる画像の領域内にマスク領域を設定する機能を有し、前記画像から移動する物体を検知して該物体の位置が前記マスク領域内であるか否かを判断して検知情報を出力する画像処理手段を有する画像センサとを少なくとも備え、
前記画像処理手段は、前記マスク領域からはみ出して動く物体を検知すると、一定時間の間当該物体の動きの位置を追跡して前記検知情報の出力の要否の判断を行うことを特徴とする。
請求項1の発明では、画像センサも画像処理手段が、マスク領域にかかって動く物体が侵入者のような警戒対象なのか、マスク領域内にある樹木のような非検知対象の物体が風によって動いてマスク領域をはみ出している場合なのかを識別することで、検知情報の出力の要否を判断することができるため、マスク領域内にある樹木のような非検知対象の物体が一時的にマスク領域外にはみ出しても当該該物体を移動物体(侵入者)と誤検知する恐れが少ない。
請求項2の発明では、請求項1の発明において、前記画像処理手段は、一定時間の間に前記物体が前記マスク領域の位置から所定の距離だけ移動しない場合には前記検知情報を出力しないことを特徴とすることを特徴とする。
請求項2の発明によれば、画像処理手段が、マスク領域内に元々存在する樹木のように風等で揺れてもマスク領域外に一定以上はみ出さない物体を本来の検知対象物である侵入者と確実に識別することができ、その結果マスク領域内の樹木等を侵入者と誤検知するのを防ぐことができる。
請求項3の発明では、請求項1の発明において、前記画像処理手段は、前記一定時間の間に前記物体が前記マスク領域外で検知される回数が一定回数未満の場合には前記検知情報を出力しないことを特徴とする。
請求項3の発明によれば、画像処理手段が、マスク領域内に元々存在する樹木のように風等で揺れて、マスク領域内外に出没する物体を本来の検知対象物である侵入者と確実に識別することができ、その結果マスク領域内の樹木等を侵入者と誤検知するのを防ぐことができる。
請求項4の発明では、請求項1乃至3の何れかの発明において、前記撮像手段の撮像により得られる画像の領域内に設定した該検知領域からの熱線ビームの受光レベルの変化により検知情報を出力する熱線センサと、前記画像センサからの検知情報と前記熱線センサからの検知情報とに基づいて警報発報を判断する判断手段とを具備していることを特徴とする。
請求項4の発明によれば、熱線センサの併用によって検知性能を一層向上させ誤報を少なくすることができる。
本発明は、画像センサの画像処理手段が、マスク領域にかかって動く物体が侵入者のような警戒対象なのか、マスク領域内にある樹木のような非検知対象物が風によって動いてマスク領域をはみ出している場合なのかを識別することで、検知情報の出力の要否を判断することができるため、マスク領域内にある樹木のような非検知対象の物体が一時的にマスク領域外にはみ出しても当該該物体を侵入者と誤検知する恐れが少ないという効果がある。
以下本発明を実施形態により説明する。
(実施形態1)
図1は本実施形態の監視カメラ装置の構成を示しており、本実施形態の監視カメラ装置は、住宅の外壁に取り付けられ、所定の領域(例えば住宅の敷地)を撮像するための撮像手段たる撮像カメラ1と、撮像カメラ1から出力されるYUV形式の画像データをNTSC方式の画像信号に変換するYUV/NTSC変換部2及びこのYUV/NTSC変換部2から出力されるNTSC方式の画像信号を所定の変調方式で変調して、住宅内に設けた例えばドアホン親器(図示せず)へ信号線(図示せず)を介して伝送する伝送部3からなるモニタ系回路と、撮像カメラ1から出力される画像データから移動物体(侵入者)を検知する画像センサ4と、撮像カメラ1が撮像して得られる画像の領域内を複数の検知領域に分割して夫々の検知領域からの熱線ビーム(赤外線)によって人の有無を検知する熱線センサ5と、これら画像センサ4及び熱線センサ5の夫々の検知情報から人の検知判断を行い、この判断に基づいて報知・警報部6に報知音を発生させたり、敷地内を照射する威嚇用の照明灯(図示せず)を点灯させるための信号を出力する信号処理部7とを備えている。
撮像カメラ1は監視領域を時系列的に撮像するCCD等の固定撮像素子やCMOSイメージセンサを撮像素子として用いたもので、撮像素子から出力されるYUV信号をA/D変換してYUVデータに変換する機能を備えている。
また画像センサ4は画像処理手段たる画像処理部40と記憶部41とから構成され、画像処理部40は輪郭抽出手段40a、移動輪郭抽出手段40b、移動領域抽出手段40c、領域特徴量検出手段40d、マスク処理手段40eから構成される。
ここで輪郭抽出手段40aは、撮像カメラ1から出力される時系列的な濃淡画像データに対して一般的なSOBELフィルタ等を用いて微分処理を行って、輪郭画像を抽出し、この抽出した輪郭画像のデータを記憶部41に一定期間保存させる処理を行う。
移動輪郭抽出手段40bは、時系列の輪郭画像のデータを用いて論理合成を行い、移動状態にある輪郭のみから合成画像を作成抽出する処理を行う。
移動領域抽出手段40cは、移動輪郭抽出手段40で得られる合成画像をラベリングして移動物体の領域を抽出する。尚この抽出する領域を図3に示すように外接四角形の領域Xなどで表せば、データ量も減り演算処理も容易となる。
領域特徴量検出手段40dは、記憶部41で記憶された輪郭画像のデータを用いて、移動輪郭部分の方向値を抽出して移動方向頻度分布を作成し、この作成した移動方向頻度分布を特徴量として、移動物体の領域移動が外乱によるものであるか人によるものかを判定する機能を有する。
ところで、人の輪郭は直線成分より曲線部分が多く且つ複雑な形状のためそのエッジ方向はあらゆる方向に分布しており、構造物の影などの輪郭は直線的な成分が多く、移動方向頻度分布は偏った分布になり易い。
そこで移動領域についてその移動領域が人を現しているのかを比較判定するための移動方向頻度分布のテーブルを例えば記憶部41に格納し、このテーブルが示す移動方向頻度分布と、作成した移動方向頻度分布とを比較することで、領域移動が人によるものかを判定するのである。
マスク処理手段40eは、撮像カメラ1が撮像する監視対象の所定の領域(住宅の敷地等)内に門扉など可動するものや、風等の揺れで動く樹木が存在し、これら物体を画像センサ4が移動物体(侵入者)として検知しないようにマスク領域MAを図3に示すように設定する手段である。
以上のように構成された画像センサ4では、画像処理部4の領域特徴量検出手段40dが人と判定した結果を検知情報として信号処理部7へ出力するのである。
一方熱線センサ5は、撮像カメラ1が撮像する監視領域(画像領域)を図2の斜線部分に示すように複数の検知領域を設定してその領域からの熱線ビーム(赤外線ビーム)を集光するレンズ等の熱線光学部50と、熱線光学部50で集光した熱線ビームを受光する焦電素子51と、この焦電素子51の検出信号を増幅する増幅回路52と、この増幅回路52の増幅出力と所定基準値とを比較して受光レベルの変化が所定以上あると検知情報を信号処理部7へ出力する比較器53とから構成される。尚図2で示す検知領域は実際には平面的な拡がりを持つように設定される。
信号処理部7は画像センサ4の検知情報及び熱線センサ5の検知情報が出力されたときに敷地(監視領域)内に侵入者有りと判断して報知・警報部6へ報知音を報知させる制御信号と、敷地内を照射する照明灯を点灯させる制御信号とを出力し、報知・警報部6によって報知音で家人に侵入者がいることを報知するとともに照明光により侵入者に対して威嚇を行わせるのである。
ところで監視領域となる敷地に樹木が植えられている場合、樹木が風で揺れると、画像センサ4では、それを移動物体として誤検知してしまう。また熱線センサ5においても樹木の揺れによって受光する熱線量が変化して誤検知してしまい、結果信号処理部7は両センサ4,5の検知情報に基づいて侵入者有りと判断し、報知・警報部6から誤報を発するという恐れがある。
そこで本実施形態では、上述のようにマスク処理手段40eにより樹木や門扉等の動きのある物体が存在する領域を画像センサ4の検知対象領域から外す、つまりマスク領域MAとして画像処理部40に予め設定するようになっている。尚この設定は適宜手段により行えば良く、例えば初期設定として施工者或いはユーザが撮像カメラ1で撮像される所定の領域の画像をモニタ装置で確認しながら、画面上でマスク領域MAを設定し、この設定データを画像処理部40に信号処理部7を通じて送って、マスク処理手段40eに渡すようする。勿論その他の方法を用いてマスク領域MAを設定するようにしても良い。
さて図3(a)の場合の設定例では風が吹かない状態や風の強さが所定以下の場合においても樹木Tr全体が収まる範囲内にマスク領域MAを設定している。 尚右隅のマスク領域MA’は例えば門扉など開閉に伴って動く物体が存在する領域に対応させたものである。
ところで、風が強く吹いた場合に樹木Trが大きく揺れてマスク領域MAからはみ出し、このはみ出し部位の動きにより該はみ出し部位を移動物体として画像センサ4が検知してしまう恐れがある。そこでマスク領域MAを最初から大きく設定することも考えられるが、この場合画像センサ4の検知対象領域が狭まることになる。そこで本実施形態の画像処理部4では、風等で樹木Trが図3(b)に示すように動き、マスク領域MAを図3(c)に示すようにはみ出すと、そのはみ出した部位が、移動領域輪郭抽出手段40a、移動輪郭抽出部40b、移動領域抽出手段40c、移動特徴量検出手段40dにより通常の移動物体検知と同様に検知されるが、即時に移動物体の検知情報を出力せず、これら手段40a〜40dによってはみ出し部位の位置が該一定時間の間に図3(c)に示すようにマスク領域MAから所定の距離L(想定される強さの風で樹木Trが動いてマスク領域MA外にはみ出す最大位置に対応させた距離)だけ移動しないか否かを見る追跡を行い、一定時間内において距離L以上の移動があった場合には移動物体であると判断して検知情報を信号処理部7へ出力するが、移動がなかった場合には移動物体でないと判断して検知情報を信号処理部7へ出力しない。つまりマスク領域MA内の樹木が風で動いても距離L以上の移動がなければ、画像センサ4としては検知情報を出力しないため、樹木の動きによって熱線センサ5が誤検知して検知情報を信号処理部7へ出力しても信号処理部7は誤報することがないのである。
尚距離ではなく、マスク領域MA外で移動物体を一定時間内に一定回数以上検出しない場合には検知情報を出力しないようにしても良い。つまり樹木Trのように風で揺れ動くものは、マスク領域MAをはみ出すのが間欠的である点に着目し、一定時間内に移動物体として検出される回数は、限られるため、この回数をカウントすることで、距離Lによる判断と同様に誤検知の恐れを少なくすることができる。
ところで、上述のカウント回数が移動物体と判断される回数よりも少ない所定の回数以上となった場合にマスク処理手段40eにより設定されるマスク領域MAを図3(d)に示すように横方向に広げ、樹木が風などによって激しく動くような場合に拡幅したマスク領域MA外へはみ出さないようにし、移動物体として検出される回数が移動物体と判断される回数にならないようにして、誤検知を防ぐようにしても良い。
一実施形態のブロック図である。 一実施形態の熱線センサの検知領域の説明図である。 一実施形態のマスク領域の設定説明図である。 監視カメラ装置を備えたインターホンシステムの説明図である。
符号の説明
1 撮像カメラ
2 YUV/NTSC変換部
3 伝送部
4 画像センサ
40 画像処理部
40a 輪郭抽出部
40b 移動輪郭抽出手段
40c 移動領域抽出手段
40d 領域特徴量検出手段
40e マスク処理手段
41 記憶部
5 熱線センサ
50 熱線光学部
51 焦電素子
52 増幅回路
53 比較器
6 報知・警報部
7 信号処理部

Claims (4)

  1. 所定の領域を撮像する撮像手段と、該撮像手段の撮像により得られる画像の領域内にマスク領域を設定する機能を有し、前記画像から移動する物体を検知して該物体の位置が前記マスク領域内であるか否かを判断して検知情報を出力する画像処理手段を有する画像センサとを少なくとも備え、
    前記画像処理手段は、前記マスク領域からはみ出して動く物体を検知すると、一定時間の間当該物体の動きの位置を追跡して前記検知情報の出力の要否の判断を行うことを特徴とする監視カメラ装置。
  2. 前記画像処理手段は、一定時間の間に前記物体が前記マスク領域の位置から所定の距離だけ移動しない場合には前記検知情報を出力しないことを特徴とすることを特徴とする請求項1記載の監視カメラ装置。
  3. 前記画像処理手段は、前記一定時間の間に前記物体が前記マスク領域外で検知される回数が一定回数未満の場合には前記検知情報を出力しないことを特徴とする請求項1記載の監視カメラ装置。
  4. 前記撮像手段の撮像により得られる画像の領域内に設定した該検知領域からの熱線ビームの受光レベルの変化により検知情報を出力する熱線センサと、前記画像センサからの検知情報と前記熱線センサからの検知情報とに基づいて警報発報を判断する判断手段とを具備していることを特徴とする請求項1乃至3の何れかの1項記載の監視カメラ装置。

JP2006148757A 2006-05-29 2006-05-29 監視カメラ装置 Expired - Fee Related JP4702184B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006148757A JP4702184B2 (ja) 2006-05-29 2006-05-29 監視カメラ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006148757A JP4702184B2 (ja) 2006-05-29 2006-05-29 監視カメラ装置

Publications (2)

Publication Number Publication Date
JP2007318674A true JP2007318674A (ja) 2007-12-06
JP4702184B2 JP4702184B2 (ja) 2011-06-15

Family

ID=38852092

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006148757A Expired - Fee Related JP4702184B2 (ja) 2006-05-29 2006-05-29 監視カメラ装置

Country Status (1)

Country Link
JP (1) JP4702184B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237132A (ja) * 2009-03-31 2010-10-21 Secom Co Ltd 複合型監視装置
JP2012088861A (ja) * 2010-10-18 2012-05-10 Secom Co Ltd 侵入物体検出装置
JP2012208901A (ja) * 2011-03-30 2012-10-25 Secom Co Ltd 複合型センサ及び無監視ゾーン判定装置
JP2019096043A (ja) * 2017-11-22 2019-06-20 ホーチキ株式会社 異常検知システム
CN113870529A (zh) * 2021-08-23 2021-12-31 湖北工程学院 应对强风的园林监测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279429A (ja) * 2001-03-15 2002-09-27 Hitachi Kokusai Electric Inc 侵入物体検出方法
JP2003228777A (ja) * 2002-02-05 2003-08-15 Fujitsu General Ltd 侵入者検出装置
JP2003319385A (ja) * 2002-04-22 2003-11-07 Hitachi Kokusai Electric Inc 物体検出方法及び物体検出装置
JP2004222200A (ja) * 2003-01-17 2004-08-05 Hitachi Kokusai Electric Inc 侵入物体検出方法及び侵入物体検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002279429A (ja) * 2001-03-15 2002-09-27 Hitachi Kokusai Electric Inc 侵入物体検出方法
JP2003228777A (ja) * 2002-02-05 2003-08-15 Fujitsu General Ltd 侵入者検出装置
JP2003319385A (ja) * 2002-04-22 2003-11-07 Hitachi Kokusai Electric Inc 物体検出方法及び物体検出装置
JP2004222200A (ja) * 2003-01-17 2004-08-05 Hitachi Kokusai Electric Inc 侵入物体検出方法及び侵入物体検出装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237132A (ja) * 2009-03-31 2010-10-21 Secom Co Ltd 複合型監視装置
JP2012088861A (ja) * 2010-10-18 2012-05-10 Secom Co Ltd 侵入物体検出装置
JP2012208901A (ja) * 2011-03-30 2012-10-25 Secom Co Ltd 複合型センサ及び無監視ゾーン判定装置
JP2019096043A (ja) * 2017-11-22 2019-06-20 ホーチキ株式会社 異常検知システム
JP6991042B2 (ja) 2017-11-22 2022-01-12 ホーチキ株式会社 異常検知システム
CN113870529A (zh) * 2021-08-23 2021-12-31 湖北工程学院 应对强风的园林监测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP4702184B2 (ja) 2011-06-15

Similar Documents

Publication Publication Date Title
CA2795896C (en) Method and system for security system tampering detection
ES2848523T3 (es) Sistema y método de vigilancia y alarma por zonas
JP4055790B2 (ja) ドアホンシステム
JP5047361B2 (ja) 監視システム
JP4702184B2 (ja) 監視カメラ装置
JP2013109440A (ja) 防犯カメラ装置
JP4692437B2 (ja) 監視カメラ装置
JP3858576B2 (ja) 移動体追従スポットライト制御装置の制御方法
JP4736955B2 (ja) センサカメラ
JP2009015536A (ja) 不審者通報装置、不審者監視装置及びこれを用いた遠隔監視システム
KR101046819B1 (ko) 소프트웨어 휀스에 의한 침입감시방법 및 침입감시시스템
JP2008186283A (ja) 人体検出装置
JP2010256194A (ja) 侵入検知装置
JP4650346B2 (ja) 監視カメラ装置
JP4970239B2 (ja) 複合型侵入検知装置
JP2008020981A (ja) 監視システム
JP2005056406A (ja) 画像の動き検出装置及びコンピュータプログラム
US20220070361A1 (en) A method of using a machine-readable code for instructing camera for detecting and monitoring objects
US20230172489A1 (en) Method And A System For Monitoring A Subject
JP4096953B2 (ja) 人体検知器
JP2008198124A (ja) 警戒センサ
JP2006323652A (ja) 防犯センサ
JP5016473B2 (ja) 複合型侵入検知装置
JP3846553B2 (ja) 画像処理装置
JP2007334515A (ja) 防犯装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081222

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110221

LAPS Cancellation because of no payment of annual fees