JP5139341B2 - インターホン装置 - Google Patents

インターホン装置 Download PDF

Info

Publication number
JP5139341B2
JP5139341B2 JP2009017141A JP2009017141A JP5139341B2 JP 5139341 B2 JP5139341 B2 JP 5139341B2 JP 2009017141 A JP2009017141 A JP 2009017141A JP 2009017141 A JP2009017141 A JP 2009017141A JP 5139341 B2 JP5139341 B2 JP 5139341B2
Authority
JP
Japan
Prior art keywords
image
person
area
camera
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009017141A
Other languages
English (en)
Other versions
JP2010177936A (ja
Inventor
明 森重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiphone Co Ltd
Original Assignee
Aiphone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiphone Co Ltd filed Critical Aiphone Co Ltd
Priority to JP2009017141A priority Critical patent/JP5139341B2/ja
Publication of JP2010177936A publication Critical patent/JP2010177936A/ja
Application granted granted Critical
Publication of JP5139341B2 publication Critical patent/JP5139341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)
  • Image Analysis (AREA)

Description

本発明は来訪者を撮像するカメラを備えたインターホン装置に関し、特に人物の接近を感知して自動で録画等を開始する機能を備えたインターホン装置に関する。
玄関子機にカメラを設けると共に、居室親機にカメラの撮像画像を表示する表示器を設け、来訪者の画像を見ながら応答することができるインターホン装置が普及している。このようなカメラ付インターホン装置においては、更にセキュリティを向上させるためにカメラを監視カメラとして機能させるよう構成されたものがある。例えば、特許文献1では人感センサを玄関子機に設け、来訪者や不審者の接近を検知させて、呼出ボタンが押されなくても自動でカメラの撮像を開始させ、録画等を行うよう動作されている。
特開平11−225327号公報
上記人物の接近を感知するための人感センサは、一般的に赤外線センサが使用されている。赤外センサは、人体から発せられる熱に反応して人物の接近を検知し、人物の接近を良好に感知することができる。しかしながら、赤外線センサは、感知範囲を所定の範囲に設定することが難しく、感知する必要のないエリアまで感知していたし、犬や猫等の小動物によっても反応する場合があった。そのため、録画する設定にした場合、必要ない画像まで録画されるため、録画メモリが不必要な画像で満たされてしまう事態が発生し、録画すべき重要な画像が録画できなくなる問題があった。
そこで、本発明はこのような問題点に鑑み、カメラの撮像範囲であっても検出したくないエリアを容易に設定でき、また人物以外の例えば小動物が接近した場合は人物の接近と判断する事が無い人物感知機能を備えたインターホン装置を提供することを目的とする。
上記課題を解決する為に、請求項1の発明は、居住者を呼び出して通話する機能を備えると共に来訪者を撮像するためのカメラを備えた玄関子機と、玄関子機からの呼び出しに応答する機能を備えると共にカメラの撮影画像を表示するモニタを備えた居室親機とを有するインターホン装置において、居室親機は、カメラの撮像画像を複数エリアに分割する画像分割手段と、分割したエリア毎にJPEG圧縮する圧縮手段と、JPEG圧縮した最新の画像と所定時間前の画像とのデータサイズを比較し、データの変化量から人物が居ると判断する画像判定手段を有し、画像判定手段は、エリア毎にデータサイズを比較し、データサイズの変化が一定のレベルを越えたエリアの発生数、及び発生場所情報を基に人物が居ると判断することを特徴とする。
この構成によれば、カメラの撮像画像に一定以上の変化があれば、それを認識するため、人物の接近を検知するセンサとして使用でき、インターホンを監視カメラの如く使用する事が可能となる。そして、比較する画像がJPEG圧縮後のデータサイズであるため、木が風になびくような画像の変化に対して、単純な差分判定方式では大きな変化発生として認識してしまう恐れがあるが、JPEG圧縮した情報では変化が現れ難いため、人物以外に反応してしまう誤検知を減らすことができる。
更に、画面を分割して分割したエリア毎に判定するため、検出サイズを指定すれば小動物を検出した場合は人物と判断しないようにできるし、判断する必要のないエリアの設定も可能となる。
請求項2の発明は、請求項1に記載の構成において、画像分割手段が分割した画像エリアは、検知したい撮像人物の最小サイズより小さく設定され、画像判定手段は、データサイズの変化量が所定のレベルを越えたエリアが、隣接したエリアで発生し、且つそのエリアの数が2以上の第1の所定数を越えたら、人物が居ると判断することを特徴とする。
この構成によれば、データサイズが変化したエリアが隣接した2以上の所定数変化しなければ人物と判断しないので、1つのエリアが単独で変化するような小動物による変化を排除でき、高精度で人物を検知することが可能となる。
請求項3の発明は、請求項1又は2記載の構成において、画像判定手段は、データサイズの変化量が所定のレベルを越えたエリアが、隣接したエリアで発生し、且つそのエリアの数が第2の所定数を越えたら、人物が居ると判断しないことを特徴とする。
この構成によれば、撮像範囲に入る人物の大きさに対して想定する以上の大きさの移動物を検知した場合は、人物の検知から除外することができる。よって、自動車等が玄関に接近した場合等、人物が接近したと判断しないよう動作させる事ができ、誤検知を減らすことができる。
請求項4の発明は、請求項1乃至3の何れかに記載の構成において、画像判定手段は、特定した一部のエリアに対してデータサイズの比較を実施しないことを特徴とする。
この構成によれば、カメラ撮像範囲の中に人物の往来が頻繁なエリアがあるような場合は、そのエリアに関しては判定から除外する事ができ、不必要な人物検知動作を防止する事が出来る。
請求項5の発明は、請求項1乃至4の何れかに記載の構成において、居室親機は、画像を記憶する画像記憶部と、画像判定手段が人物が居ると判断したら画像記憶部へ録画を行う録画制御手段とを有することを特徴とする。
この構成によれば、接近した人物を検知したら録画するため、不審者を確実に録画できセキュリティの向上に有効である。
請求項6の発明は、請求項1乃至5の何れかに記載の構成において、玄関子機は人物の接近を感知したらカメラの撮像を開始させる人感センサを備え、画像判定手段は、カメラの撮像開始を受けて判定制御を開始することを特徴とする。
この構成によれば、カメラを常時撮像動作させる必要が無くなるため、省エネルギー構成にできる。
本発明によれば、カメラの撮像画像に一定以上の変化があれば、それを認識するため、人物の接近を検知するセンサとして使用でき、インターホンを監視カメラの如く使用する事が可能となる。そして、比較する画像がJPEG圧縮後のデータサイズであるため、木が風になびくような画像の変化に対して、単純な差分判定方式では大きな変化発生として認識してしまう恐れがあるが、JPEG圧縮した情報では変化が現れ難いため、人物以外に反応してしまう誤検知を減らすことができる。
更に、画面を分割してエリア毎に判定するため、検出サイズを指定すれば小動物を検出した場合は人物と判断しないようにできるし、判断する必要のないエリアの設定も可能となる。
本発明に係るインターホン装置の一例を示すブロック図である。 図1のカメラが撮像している画像の説明図であり、(a)は撮像画像、(b)はデータサイズを比較するために複数のエリアに分割した状態を示す画像分割図、(c)は人物検知の判断をしないエリアを設定した画像分割図、(d)は動く物体を検出したエリアを示している。 図1のカメラが撮像している画像の他の説明図であり、(a)は撮像画像、(b)はデータサイズを比較するために複数のエリアに分割した状態を示す画像分割図、(c)は動く物体の存在を検出したエリアを示す画像分割図を示している。
以下、本発明を具体化した実施の形態を、図面に基づいて詳細に説明する。図1は本発明に係るインターホン装置のブロック図を示し、1は居住者を呼び出して通話するために玄関に設置される玄関子機、2は玄関子機1からの呼び出しに応答するために住戸内に設置される居室親機であり、両者は伝送線L1で接続されている。
玄関子機1は、来訪者を撮像するためのカメラ11、カメラ11の撮像を制御するカメラ制御回路12、マイク13及びスピーカ14を備えた子機通話回路15、呼出ボタン16、接近してきた人物を感知する人感センサ17、居室親機2と通信するための子機データ伝送回路18等を備えている。
居室親機2は、カメラ11が撮像した画像を表示するLCDから成る表示部21、表示部21の表示を制御する表示制御回路22、玄関子機1から伝送されてきた画像データを表示部21に表示可能な画像信号に処理すると共に、画像分割のための画像信号を生成する画像処理回路23、撮像画像を複数エリアに分割する画像分割回路24、分割した個々のエリア画像をJPEG圧縮するJPEG圧縮回路25、画像を録画するメモリ26、玄関子機1からの呼び出しに対して応答するための通話ボタン27、マイク28及びスピーカ29を備えた親機通話回路30、玄関子機1と通信するための親機データ伝送回路31、居室親機2全体を制御する親機CPU32等を備えている。
このように構成されたインターホン装置の動作は以下のようである。但し、ここでは、カメラ11の撮像画像から人物の存在を判定する動作を中心に説明し、玄関子機1から呼び出しが成されたら、居室親機2で応答する動作、及び呼び出しに連動してカメラ11の撮像映像が表示部21に表示される動作等は従来と同様であるため、説明を省略する。
最初に主要回路の動作を説明する。カメラ11が撮像した画像データは、カメラ制御回路12、子機データ伝送回路18、伝送線L1を介して居室親機2へ送られる。カメラ11は、カメラ制御回路12により例えば0.2秒毎に撮像データを出力する。
居室親機2では、親機データ伝送回路31で受信した画像データが、画像処理回路23にてデータ変換された後、表示制御回路22、及び画像分割回路24に送られる。表示制御回路22は、親機CPU32の制御により画像データを表示部21で表示可能なデータに変換され、表示部21においてカメラ11の撮像画像を表示させる。
一方、画像分割回路24に送られた画像データは、撮像画像全体が格子状に分割され、分割された各エリアの画像データがJPEG圧縮回路25に送られる。画像分割回路25では、カメラ11の撮像画像が、図2(b)に示すように、例えば4×6に分割されて、個々の画像データがJPEG圧縮回路25に送られる。JPEG圧縮回路25では、エリア毎にJPEG圧縮を行い、親機CPU32の制御により後述する所定の判定が行われ、必要に応じてメモリ26に録画される。
次に、人物検知制御を図2の画像説明図を用いて説明する。図2は、 図1のカメラ11が撮像している画像の説明図であり、(a)は撮像画像、(b)はデータサイズを比較するために複数のエリアに分割した状態を示す画像分割図、(c)は人物検知の判断をしないエリアを設けた画像分割図、(d)は動く物体を検知したエリアを示している。Pが人物を示している。
最初に人物検知の判断を行わない不感エリアの設定等の初期設定が成される。図2(c)に示すように、人通りの多い通り等がカメラ11の撮像範囲に含まれる場合は、そのエリアに対して人物の検知動作を実施しないように不感エリアの設定がなされる。この図2(c)では、上半分の撮像範囲が不感エリアNとして設定された状態を示している。
また、ここでは連続する2つのエリアにおいて動く物体の存在を認識したら人物が存在する(訪問者或いは不審者が存在する)と判断するよう設定されている。これらの設定は、インターホン装置設置時に図示しないパーソナルコンピュータ等を接続して行われる。
こうして初期設定が成されたら、インターホン装置は、待受時に人物検知を実施する。カメラ11は、人体感知センサ17が人物や小動物を検知したらカメラ11が撮像を開始し、親機CPU32による上記判断が成される。
具体的に、待ち受け時に人感センサ17の検知動作を受けてカメラ11が撮像を開始すると、カメラ11の撮像画像が居室親機2に上述した一定時間毎に送信される。居室親機2の画像分割回路24に送られてきた画像データは、例えば図2(b)のように4×6に分割されて、分割された各エリアe1−1,e1−2,・・e2−1,e2−2,・・,e4−6の画像データがエリア毎にJPEG圧縮回路25へ送られ、JPEG圧縮される。各エリアの圧縮データのデータサイズは、親機CPU32内の図示しない一時記憶部に記憶される。
そして、次に送られてきた画像データに対しても同様に、分割、データ圧縮が行われ、親機CPU32が記憶している直前の圧縮データのデータサイズと比較される。親機CPU32は、直前の画像の同一エリアのJPEG圧縮データサイズと比較し、予め設定された一定値以上の変化があった場合に、当該エリアにおいて動く物体があると見なす。但し、設定された不感エリアNに対しては比較を行わない。
そして、少なくとも隣接する2つのエリアにおいて動く物体があると判断したら、人物が存在すると判断する。図2(d)は、データサイズの変化が所定量を超えたエリアE1をハッチングで示している。この図2(d)に示すように、連続する二つのエリア(ハッチングエリアe1−3,e2−3)のデータ変化が所定値を越えたら、この空間に人物が居ると判断される。
こうして人物が居ると判断したら、親機CPU32はメモリ26に録画すると共に、表示部21に画像を表示する。このとき、表示部21には図2(a)に示すような画像が表示される。尚、このとき、居室親機2から警報音を報音させたり、玄関子機1から威嚇音を発報させても良い。
このように、カメラの撮像画像に一定以上の変化があれば、それを認識するため、人物の接近を検知するセンサとして使用でき、インターホンを監視カメラの如く使用する事が可能となる。そして、比較する画像がJPEG圧縮後のデータサイズを比較して判定する事により、木が風になびくような画像の変化に対して、単純な差分判定方式では変化発生として認識してしまうよう恐れがあるが、JPEG圧縮した情報では変化が現れ難いため、人物以外に反応してしまう誤検知を減らすことができる。
また、画面を分割して分割したエリア毎にデータサイズを比較し、検出サイズを連続する2つのエリア以上と指定(第1の所定数を2と指定)することで、1つのエリアのみ変化するような小動物の検出に対しては人物と判断しないように排除するので、高精度で人物を検知することが可能となる。
更に、カメラ撮像範囲の中に人物の往来が頻繁なエリアがあるような場合は、そのエリアに関しては判定から除外する事ができ、不必要な人物検知動作を防止する事が出来るし、人感センサを併用することで、カメラを常時撮像動作させる必要が無くなるため、省エネルギー構成にできる。
また、接近した人物を検知したら録画するため、不審者を確実に録画できセキュリティの向上に有効である。
図3は、カメラ撮像画像の説明図であり、本発明に係るインターホン装置の別の例を示している。図3の(a)は撮像画像、(b)はデータサイズを比較するために複数のエリアに分割した状態を示す画像分割図、(c)は動く物体の存在を検出したエリアを示す画像分割図を示している。尚、玄関子機1及び居室親機2の構成は、上記図1と同様であるため説明を省略する。
この図3の例では、10×15に画像を分割した場合を示している。そして、人物がカメラ11の撮像エリアに入り込んで接近してきた場合には、少なくとも6個の連続するエリアにおいて物体の移動が検出される(図3(c)では10個の連続するエリアで検出される)と見ることができるため、6個の連続するエリアを下限の判断基準とした場合を示している。
そして、後述する理由により、20以下の連続するエリアで動く物体を検知したら人物が居ると判断するよう設定され、それ以外の数で連続するエリアで物体の移動を検知しても人物が居ると判断しないよう設定されている。尚、この場合、不感エリアは設定されていない。
図3に示すように、玄関前に道路が横断し、その道路に往来する自動車Mがカメラの撮像範囲に大きく入り込むような状況では、自動車が玄関に接近する人物Pと同様に撮像されてしまう。このような場合、不感エリアを設定して自動車Mを排除しようすると、玄関に接近する人物の検出も出来なくなってしまう。そのため、全てのエリアを人物検出対象とする一方で、連続するエリアの上限を設定することで、人物Pより遙かに大きな物体を検出した場合は、人物ではないと判定させて自動車Mを排除させる制御を行う。
人物Pを検出する動作を具体的に説明すると、親機CPU32は、動く物体を検出したエリアをカウントし(データサイズの変化が一定量を超えたエリアをカウントし)、その数が6以上有り且つ20以内が隣接するエリアで発生している場合に人物が居ると判断する。具体的に、図3(c)に示すように、人物Pが撮像されている場合は10個の連続するエリアE2で動く物体の存在を検知し、自動車Mが撮像されている場合は54個の連続するエリアE3で動く物体を検知している。そして、人物がいると判断したら、画像の録画等上記実施形態と同様の制御を実施する。
このように、不感エリアを設定しなくても良く、検出サイズに上限を設けて(第2の所定数を設定して)設定値を越えた検出サイズであった場合は、人物が居るとは判断しないことで、誤検知を防止することができる。また、検出サイズが下限を下回る場合は、上記実施形態と同様に、小動物を排除でき、誤検知を防止できる。
尚、上記実施形態では、人感センサ17によりカメラ11を起動させて、カメラ11が常時撮像動作するのを防止しているが、人感センサ17を設けずにカメラ11を常時撮像動作させても良い。また、人物を検出するに際して2以上の連続するエリアにおいて変化があった場合とし、その場合に録画等を行っているが、1つのエリアに変化があっただけでも録画等を行っても良い。
また、上記実施形態では、カメラ撮像画像のデータサイズを比較する際に、現在(最新)の画像と直前の画像を比較しているが、カメラの撮像間隔が短く、動画或いは動画に近い状態で画像データの送信が成される場合は、データサイズの変化を顕著にするために、1画像おきに比較、或いは数枚おきに比較しても良い。
1・・玄関子機、2・・居室親機、11・・カメラ、17・・人感センサ、21・・表示部、24・・画像分割回路(画像分割手段)、25・・JPEG圧縮回路(圧縮手段)、26・・メモリ(画像記憶部)、32・・親機CPU(画像判定手段、録画制御手段)。

Claims (6)

  1. 居住者を呼び出して通話する機能を備えると共に来訪者を撮像するためのカメラを備えた玄関子機と、前記玄関子機からの呼び出しに応答する機能を備えると共に前記カメラの撮影画像を表示するモニタを備えた居室親機とを有するインターホン装置において、
    前記居室親機は、前記カメラの撮像画像を複数エリアに分割する画像分割手段と、分割したエリア毎にJPEG圧縮する圧縮手段と、JPEG圧縮した最新の画像と所定時間前の画像とのデータサイズを比較し、データの変化量から人物が居ると判断する画像判定手段を有し、
    前記画像判定手段は、エリア毎にデータサイズを比較し、データサイズの変化が一定のレベルを越えたエリアの発生数、及び発生場所情報を基に人物が居ると判断することを特徴とするインターホン装置。
  2. 前記画像分割手段が分割した画像エリアは、検知したい撮像人物の最小サイズより小さく設定され、
    前記画像判定手段は、データサイズの変化量が所定のレベルを越えたエリアが、隣接したエリアで発生し、且つそのエリアの数が2以上の第1の所定数を越えたら、人物が居ると判断することを特徴とする請求項1記載のインターホン装置。
  3. 前記画像判定手段は、データサイズの変化量が所定のレベルを越えたエリアが、隣接したエリアで発生し、且つそのエリアの数が第2の所定数を越えたら、人物が居ると判断しないことを特徴とする請求項1又は2記載のインターホン装置。
  4. 前記画像判定手段は、特定した一部のエリアに対してデータサイズの比較を実施しないことを特徴とする請求項1乃至3の何れかに記載のインターホン装置。
  5. 前記居室親機は、画像を記憶する画像記憶部と、
    前記画像判定手段が人物が居ると判断したら前記画像記憶部へ録画を行う録画制御手段とを有することを特徴とする請求項1乃至4の何れかに記載のインターホン装置。
  6. 前記玄関子機は人物の接近を感知したら前記カメラの撮像を開始させる人感センサを備え、前記画像判定手段は、前記カメラの撮像動作を受けて判定制御を開始することを特徴とする請求項1乃至5の何れかに記載のインターホン装置。
JP2009017141A 2009-01-28 2009-01-28 インターホン装置 Active JP5139341B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009017141A JP5139341B2 (ja) 2009-01-28 2009-01-28 インターホン装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009017141A JP5139341B2 (ja) 2009-01-28 2009-01-28 インターホン装置

Publications (2)

Publication Number Publication Date
JP2010177936A JP2010177936A (ja) 2010-08-12
JP5139341B2 true JP5139341B2 (ja) 2013-02-06

Family

ID=42708462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009017141A Active JP5139341B2 (ja) 2009-01-28 2009-01-28 インターホン装置

Country Status (1)

Country Link
JP (1) JP5139341B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190943A (ja) * 2012-03-13 2013-09-26 Aiphone Co Ltd 物体検出装置及びインターホンシステム
AT514106A1 (de) 2013-04-10 2014-10-15 Emco Test Prüfmaschinen Gmbh Verfahren zum Fokussieren von kontrastbehafteten Bilddetails
JP6840471B2 (ja) * 2016-06-02 2021-03-10 エムケー精工株式会社 洗車機
JP7075313B2 (ja) * 2018-08-23 2022-05-25 株式会社タムロン 撮像システム
CN111225193A (zh) * 2020-01-15 2020-06-02 长光卫星技术有限公司 一种星载超大画幅彩***图像压缩***和压缩方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0965328A (ja) * 1995-08-23 1997-03-07 Sharp Corp ドアホン装置
JP2000115389A (ja) * 1998-09-30 2000-04-21 Noritz Corp テレビドアホン装置
JP3650612B2 (ja) * 2002-08-12 2005-05-25 株式会社セイクレスト 来訪者監視装置
JP2004108789A (ja) * 2002-09-13 2004-04-08 Noritz Corp 人体検出装置
JP2004109006A (ja) * 2002-09-19 2004-04-08 Fuji Heavy Ind Ltd 物体検出装置

Also Published As

Publication number Publication date
JP2010177936A (ja) 2010-08-12

Similar Documents

Publication Publication Date Title
JP5139341B2 (ja) インターホン装置
KR101467352B1 (ko) 위치기반 통합관제시스템
JP5047361B2 (ja) 監視システム
CN202838573U (zh) 一种家居防盗装置控制***
JP4866801B2 (ja) 集合住宅インターホンシステム
CN103581527B (zh) 一种安防***中的跟踪摄像方法、装置及安防主机
KR100760209B1 (ko) 바닥센서부를 이용한 방범시스템
JP2006237874A (ja) インターホンシステム
KR20150041939A (ko) 실시간 이벤트 감지를 통한 도어 감시시스템 및 그 방법
JP2010182021A (ja) 画像監視システム
KR20090121796A (ko) 물체감지센서 및 무선전송 기능이 구비된 비디오폰영상기록장치 그를 이용한 영상기록방법
JP5192701B2 (ja) 人体検出装置
JP2013190943A (ja) 物体検出装置及びインターホンシステム
JP2009239707A (ja) インターホン装置
JP6454506B2 (ja) ナースコールシステム
JP3874539B2 (ja) 画像監視装置
JP4434720B2 (ja) インターホン装置
JP3650612B2 (ja) 来訪者監視装置
JP7442289B2 (ja) 集合住宅インターホンシステム
JP2007067794A (ja) インターホンシステム
JP2012204949A (ja) ドアホンシステム、ドアホン屋外器、制御方法、及びプログラム
JP6620210B2 (ja) ナースコールシステム
KR102640418B1 (ko) 스마트 기능을 갖는 미니 월패드가 포함된 홈 네트워크 시스템
KR101449477B1 (ko) 비디오 도어폰을 이용한 보안 시스템
JP5730170B2 (ja) インターホンシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121115

R150 Certificate of patent or registration of utility model

Ref document number: 5139341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250