JP2000209567A - 障害物検出装置 - Google Patents

障害物検出装置

Info

Publication number
JP2000209567A
JP2000209567A JP11006216A JP621699A JP2000209567A JP 2000209567 A JP2000209567 A JP 2000209567A JP 11006216 A JP11006216 A JP 11006216A JP 621699 A JP621699 A JP 621699A JP 2000209567 A JP2000209567 A JP 2000209567A
Authority
JP
Japan
Prior art keywords
obstacle
image
alarm
image data
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11006216A
Other languages
English (en)
Other versions
JP4298031B2 (ja
Inventor
Masashi Ito
将史 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Electric Corp
Original Assignee
Kokusai Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokusai Electric Corp filed Critical Kokusai Electric Corp
Priority to JP00621699A priority Critical patent/JP4298031B2/ja
Publication of JP2000209567A publication Critical patent/JP2000209567A/ja
Application granted granted Critical
Publication of JP4298031B2 publication Critical patent/JP4298031B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 進入物を監視するのではなく、指定領域内に
滞留している障害物を監視できる障害物検出装置を提供
する。 【解決手段】 基準画像の画像データを基準画像メモリ
4に記憶し、監視中の画像を撮影した対象画像を対象画
像メモリ3に記憶して、高速演算装置10が対象画像メ
モリ3の画像データと基準画像メモリ4の画像データと
を比較して障害物を検出し、処理用メモリ5に設定され
た滞留制限時間を越えて、連続して滞留する障害物(滞
留物)を検出すると警報発生器6から警報を発生させる
障害物検出装置である。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、踏切監視等に用い
られる障害物検出装置に係り、特に障害物が滞留してい
ることを検出できる障害物検出装置に関する。
【0002】
【従来の技術】従来の画像処理によるセキュリティシス
テムである障害物検出装置は、主に監視対象領域内への
進入物に対して機能するもので、例えば監視対象領域に
進入するものがあれば警報を発するシステムであった。
【0003】
【発明が解決しようとする課題】しかしながら、上記従
来の障害物検出装置では、例えば立ち入り禁止区域内の
監視においては有効であるが、例えば踏切のように、進
入物の中でも特に滞留してしまっているものを監視した
い場合には適していないという問題点があった。
【0004】本発明は上記実情に鑑みて為されたもの
で、進入物を監視するのではなく、指定領域内に滞留し
ている障害物を監視できる障害物検出装置を提供するこ
とを目的とする。
【0005】
【課題を解決するための手段】上記従来例の問題点を解
決するための請求項1記載の発明は、障害物検出装置に
おいて、監視対象領域内に障害物が存在しない状態を撮
影した基準画像と、監視中の状態を撮影した対象画像と
を比較し、設定された滞留制限時間を越えて、連続して
滞留する障害物を検出すると警報を発生することを特徴
としており、監視対象領域内に障害物が滞留している場
合だけを監視できる。
【0006】上記従来例の問題点を解決するための請求
項2記載の発明は、障害物検出装置において、監視対象
領域の画像を撮影してビデオ信号を出力するカメラと、
前記ビデオ信号を画像データに変換するビデオデコーダ
と、前記画像データを記憶する対象画像メモリと、障害
物が存在しない監視対象領域の画像である基準画像の画
像データに階調変換を施した画像データを記憶する基準
画像メモリと、予め設定された滞留制限時間及び検出さ
れた障害物を特定する情報を記憶する処理用メモリと、
外部からの警報指示信号により警報を発生する警報発生
器と、警報発生時の画像を記憶する二次記憶装置と、前
記カメラからのビデオ信号を入力し、外部からの送信指
示信号により入力したビデオ信号を伝送用に変換して画
像を伝送する画像伝送装置と、前記対象画像メモリの画
像データに前記階調変換を施した画像データと前記基準
画像メモリに記憶された画像データとから障害物を検出
したなら、前記障害物の情報を前記処理用メモリに格納
し、同一の障害物が前記滞留制限時間を越えて滞留して
いる場合に、前記警報発生器に警報指示信号を出力し、
前記二次記憶装置に前記対象画像メモリに記憶されてい
る画像データを格納し、前記画像伝送装置に対して送信
指示信号を出力する高速演算装置とを有することを特徴
としており、監視対象領域内に障害物が滞留している場
合だけを監視できる。
【0007】上記従来例の問題点を解決するための請求
項3記載の発明は、請求項2記載の障害物検出装置にお
いて、カメラ及びビデオデコーダ及び対象画像メモリ及
び基準画像メモリの組を複数有し、撮影角度の異なる複
数の画像から障害物を評価し、障害物と認められれば警
報を発することを特徴としており、障害物を立体的に評
価できる。
【0008】
【発明の実施の形態】請求項に係る発明について、その
実施の形態を図面を参照しながら説明する。本発明に係
る障害物検出装置は、監視対象領域内に障害物が存在し
ない状態の画像を撮影した基準画像と、監視中の画像を
撮影した対象画像とを比較し、設定された滞留制限時間
を越える期間に渡って、連続して滞留する障害物(滞留
物)を検出すると警報を発生させるものなので、滞留し
ている障害物を監視できるものである。
【0009】まず、本発明に係る障害物検出装置の構成
について図1を使って説明する。図1は、本発明に係る
障害物検出装置の構成ブロック図である。
【0010】本発明の障害物検出装置(本装置)は、カ
メラ1と、ビデオデコーダ2と、対象画像メモリ3と、
基準画像メモリ4と、処理用メモリ5と、警報発生器6
と、二次記憶装置7と、画像伝送装置8と、入力部9
と、高速演算装置10とから構成されている。
【0011】次に、本装置の各部について具体的に説明
する。カメラ1は、監視対象領域が含まれる画像範囲を
撮影する撮像装置で、一般的なNTSC(National Tel
evision System Committee)やPAL(Phase Alternat
ion by Line )のビデオ信号を出力するものである。
【0012】ビデオデコーダ2は、カメラ1からのビデ
オ信号を復調し、RGBやYUVといった形式の信号に
変換し、更にA/D変換してデジタルの画像データを出
力するものである。
【0013】対象画像メモリ3は、ビデオデコーダ2か
ら出力される画像データを1画面分記憶する画像メモリ
である。
【0014】基準画像メモリ4は、1画面分の画像デー
タを記憶する画像メモリで、基準画像の画像データにつ
いて後述する高速演算装置10で階調変換処理が施され
た画像データを記憶するようになっている。
【0015】入力部9は、障害物検出装置における監視
条件の入力や、基準画像を準備する基準画像撮影要求を
入力し、後述する高速演算装置10に出力するもので、
高速演算装置10と例えばRS−232C等のインター
フェースで接続して、他の構成要素とは離れた場所に配
置しても構わない。
【0016】処理用メモリ5は、監視処理に必要な各種
情報を記憶するもので、具体的には、予め設定された監
視対象領域情報と滞留制限時間情報、及び監視処理の過
程で記憶する障害物情報とを記憶している。
【0017】ここで、監視対象領域情報とは、カメラ1
の撮像範囲のなかで、障害物の監視対象となる監視対象
領域を、対象画像メモリ3及び基準画像メモリ4のアド
レス範囲で表す情報である。尚、本発明において監視対
象領域情報は、入力部9からの範囲設定に対して、高速
演算装置10が対応するアドレス範囲を演算して、処理
用メモリ5に格納するようになっている。
【0018】また、滞留制限時間情報とは、監視対象領
域の中で同一の障害物がどれくらいの時間滞留したら、
警報を発生するかを示す時間情報で、入力部9から設定
された滞留制限時間が処理用メモリ5に格納されるよう
になっている。
【0019】そして、障害物情報とは、後述する高速演
算装置10における監視処理の中で障害物と認識された
ものの位置及び大きさ等の状況情報と、その滞留時間を
示す情報である。
【0020】警報発生器6は、後述する高速演算装置1
0からの警報指示信号に従って、音、光、音声等で警報
を発生するものである。
【0021】二次記憶装置7は、例えば、MOディスク
やPDディスク、PCMCIAカード等のようにリムー
バブルな記憶装置であり、警報発生時の対象画像の画像
データを記憶するものである。
【0022】画像伝送装置8は、カメラ1からのビデオ
信号を入力し、後述する高速演算装置10からの送信指
示信号に従って、伝送に必要な処理を施して電話回線等
に送信する一般的な画像伝送装置である。
【0023】高速演算装置10は、障害物検出装置全体
を制御するもので、具体的には、基準画像を準備する基
準画像撮影処理と、監視条件を設定する監視条件設定処
理と、実際に滞留する障害物の監視を行う監視処理とを
行うようになっている。
【0024】ここで、基準画像撮影処理は、入力部9か
らの基準画像撮影要求に従って起動され、対象画像メモ
リ3に記憶された画像データに対して、監視の際に滞留
物の有無を評価し易くするための画像の階調変換処理を
施し、階調変換された画像データを基準画像メモリ4に
格納する処理である。
【0025】階調変換処理の代表的なものは、画像の境
界を検出して強調するエッジ強調処理や、特定のしきい
値で画像データを2値化する2値化処理等である。尚、
2値化におけるスレッショルド値等は、撮影条件やその
変化及び検出精度等を鑑みて設定されるものである。
【0026】尚、障害物検出装置内に周囲の明るさを感
知するセンサーを設け、明るさの変化に応じて基準画像
撮影処理を起動するようにしても構わない。
【0027】監視条件設定処理は、入力部9からの指示
で起動され、入力部9から滞留制限時間が入力される
と、滞留制限時間情報として処理用メモリ5に格納し、
入力部9から、障害物の監視対象となる監視対象領域の
範囲が設定されると、対応するアドレス範囲を演算し
て、監視対象領域情報として処理用メモリ5に格納する
処理である。
【0028】監視処理は、一定時間間隔で起動され、対
象画像メモリ3に記憶された画像データに対して、階調
変換処理を施し、階調変換後の画像データと、基準画像
メモリ4に記憶された画像データとから、処理用メモリ
5に記憶された対象領域内で障害物の有無を評価する。
【0029】ここで、障害物の有無の評価方法として最
も簡単な方法としては、基準画像メモリ4の画像データ
と対象画像の階調変換後の画像データとの差分を計算
し、差分が特定値以上で、且つ特定の大きさを越えた集
合である場合に1つの障害物として認識する方法がある
が、これに限定しない。
【0030】そして、新たな障害物が認識されると、各
障害物に関する例えば位置や大きさ等の状況情報を処理
用メモリ5の障害物情報に記憶し、滞留時間を0に設定
する。この時、認識された障害物について、既に記憶さ
れている障害物に関する情報と照らし合わせ、同一の障
害物であると判断された場合は、その障害物の滞留時間
に1を加算し、滞留時間が処理用メモリ5の滞留制限時
間情報に記憶されている時間を超えた場合は、この障害
物を滞留物と判断して警報処理を行う。
【0031】尚、監視対象領域内に進入した複数の物体
を、時間の経過に沿って個別に認識する技術について
は、既に実用化されており、「画像処理産業応用総覧」
第三編第9章「動体・移動物体の計測・測定」pp.174〜
pp.239(下巻)、(株)フジ・テクノシステム、199
4に詳しく記載されている。
【0032】警報処理とは、具体的に、警報発生器6に
警報を発生させる警報指示信号を出力して音、光、音声
等で警報を発生させ、警報信号を外部に出力して警報を
伝え、対象画像メモリ3の内容を二次記憶装置7に格納
し、更に画像伝送装置8に対して画像を伝送させるため
の送信指示信号を出力して、画像を外部に伝送させる処
理である。
【0033】次に、本装置の高速演算装置10における
監視処理の流れについて、図2を用いて説明する。図2
は、本装置の高速演算装置10における監視処理の流れ
を示すフローチャート図である。尚、図2では監視処理
が1秒間隔で起動される場合を例にとって説明してい
る。
【0034】本装置における監視処理は、一定時間(単
位時間:例えば1秒)間隔で起動され、対象画像メモリ
3に記憶された画像データに対して階調変換処理を行い
(100)、基準画像メモリ4の内容との比較によって
障害物が存在するかを評価する障害物評価処理を行い
(102)、障害物があるか判断し(104)、ない場
合(No)は、監視処理を終了する。
【0035】一方、処理104において障害物がある場
合(Yes)は、処理用メモリ5の障害物情報を参照し
て、新規の障害物であるかを判断し(106)、新規の
場合(Yes)は、処理用メモリ5の障害物情報に障害
物の状況情報を格納し、滞留時間を0に設定する情報格
納を行い(108)、処理102に戻る。
【0036】一方、処理106において新規の障害物で
なかった場合(No)は、処理用メモリ5の障害物情報
の該当する障害物の滞留時間に単位時間(例えば、1)
を加算し、滞留時間が処理用メモリ5に記憶されている
滞留制限時間を越えたか判断し(112)、越えていな
い場合(No)は、処理102に戻り、越えた場合は、
警報処理を行って(114)、処理102に戻るように
なっている。
【0037】次に、障害物の監視を2つの異なる方向か
ら行って監視精度を向上する例について、図3を使って
説明する。図3は、本発明において2つの異なる方向か
ら障害物を監視する場合の画像入力部分の構成図であ
る。
【0038】本発明において2つの異なる方向から障害
物を監視する場合は、図3に示すように、カメラ1とビ
デオデコーダ2と、対象画像メモリ3と、基準画像メモ
リ4の組を2つ設け、一方のカメラ1で撮影した画像で
滞留物が検出された場合に、他方のカメラ1からの画像
で滞留物が警報を発すべき障害物であるかを評価し、評
価の結果障害物と認められれば警報を発するようになす
る。
【0039】例えばカメラ1aは監視対象領域を含む画
像範囲を水平方向から撮影し、カメラ1bは監視対象領
域を含む画像範囲を垂直方向から撮影する。そして、カ
メラ1bで撮影した画像の監視対象領域中に、図3に示
すような猫に似た障害物が検出されて滞留していた場合
に、カメラ1aで撮影した画像から障害物の厚さが評価
できる。
【0040】例えば、本当に猫であればカメラ1aで撮
影した画像から障害物にある程度の厚さがあることがわ
かり、障害物と認められて警報が発せられるし、例え
ば、床にこぼれたコーヒーのシミであった場合等は、カ
メラ1aで撮影した画像から障害物に厚みがないことが
わかり、障害物と認められず警報は発せられず、警報を
発すべき障害物の検出精度が向上する。
【0041】本発明の障害物検出装置によれば、障害物
の存在しない基準画像と、監視中の対象画像とを比較し
て障害物を検出し、障害物が予め設定された滞留制限時
間を越えて滞留していた場合に、滞留物と判断して音、
光、音声等の警報を発し、外部に警報信号を出力し、そ
の時の画像をリムーバル可能な二次記憶装置7に記憶し
たり、画像伝送装置8で外部に伝送するものであるの
で、単なる進入物ではなく、滞留物を監視して検出した
場合に警報を発することができる効果がある。
【0042】また、本発明では、カメラ1の画像範囲内
で監視対象領域を設定できるので、監視対象領域を絞り
込んで障害物の検出処理の速度を上げ、また監視対象領
域を自由に変更することができる効果がある。
【0043】また、本発明では、基準画像と対象画像に
ついて共に階調変換した画像で比較して障害物を検出す
るので、障害物の検出処理を高速化できる効果がある。
【0044】また、本発明において2方向から画像を撮
影する事によって、障害物の厚さを判断でき、警報を発
すべき滞留物の検出精度を向上できる効果がある。
【0045】
【発明の効果】請求項1記載の発明によれば、監視対象
領域内に障害物が存在しない状態を撮影した基準画像
と、監視中の状態を撮影した対象画像とを比較し、設定
された滞留制限時間を越えて、連続して滞留する障害物
を検出すると警報を発生する障害物検出装置としている
ので、監視対象領域内に滞留している障害物を監視でき
る効果がある。
【0046】請求項2記載の発明によれば、カメラが監
視対象領域の画像を撮影してビデオ信号を出力し、ビデ
オデコーダがビデオ信号を画像データに変換し、対象画
像メモリが画像データを記憶し、基準画像メモリが基準
画像に階調変換を施した画像データを記憶し、処理用メ
モリが予め設定された滞留制限時間及び検出された障害
物を特定する情報を記憶し、高速演算装置が対象画像メ
モリの画像データに階調変換を施した画像データと基準
画像メモリに記憶された画像データとから障害物を検出
したなら、障害物の情報を処理用メモリに格納し、同一
の障害物が滞留制限時間を越えて滞留している場合に、
警報発生器に警報指示信号を出力し、二次記憶装置に対
象画像メモリに記憶されている画像データを格納し、画
像伝送装置に対して送信指示信号を出力し、画像伝送装
置がカメラからのビデオ信号を入力し、高速演算装置か
らの送信指示信号により入力したビデオ信号を伝送用に
変換して画像を伝送する障害物検出装置としているの
で、監視対象領域内に滞留している障害物を監視できる
効果がある。
【0047】請求項3記載の発明によれば、カメラ及び
ビデオデコーダ及び対象画像メモリ及び基準画像メモリ
の組を複数有し、撮影角度の異なる複数の画像から障害
物を評価し、障害物と認められれば警報を発する請求項
2記載の障害物検出装置としているので、障害物を立体
的に評価でき、障害物の検出精度を向上できる効果があ
る。
【図面の簡単な説明】
【図1】本発明に係る障害物検出装置の構成ブロック図
である。
【図2】本装置の高速演算装置における監視処理の流れ
を示すフローチャート図である。
【図3】本発明において2つの異なる方向から障害物を
監視する場合の画像入力部分の構成図である。
【符号の説明】
1,1a,1b…カメラ、 2…ビデオデコーダ、 3
…対象画像メモリ、4…基準画像メモリ、 5…処理用
メモリ、 6…警報発生器、 7…二次記憶装置、 8
…画像伝送装置、 9…入力部、 10…高速演算装置

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 監視対象領域内に障害物が存在しない状
    態を撮影した基準画像と、監視中の状態を撮影した対象
    画像とを比較し、設定された滞留制限時間を越えて、連
    続して滞留する障害物を検出すると警報を発生すること
    を特徴とする障害物検出装置。
  2. 【請求項2】 監視対象領域の画像を撮影してビデオ信
    号を出力するカメラと、前記ビデオ信号を画像データに
    変換するビデオデコーダと、前記画像データを記憶する
    対象画像メモリと、障害物が存在しない監視対象領域の
    画像である基準画像の画像データに階調変換を施した画
    像データを記憶する基準画像メモリと、予め設定された
    滞留制限時間及び検出された障害物を特定する情報を記
    憶する処理用メモリと、外部からの警報指示信号により
    警報を発生する警報発生器と、警報発生時の画像を記憶
    する二次記憶装置と、前記カメラからのビデオ信号を入
    力し、外部からの送信指示信号により入力したビデオ信
    号を伝送用に変換して画像を伝送する画像伝送装置と、
    前記対象画像メモリの画像データに前記階調変換を施し
    た画像データと前記基準画像メモリに記憶された画像デ
    ータとから障害物を検出したなら、前記障害物の情報を
    前記処理用メモリに格納し、同一の障害物が前記滞留制
    限時間を越えて滞留している場合に、前記警報発生器に
    警報指示信号を出力し、前記二次記憶装置に前記対象画
    像メモリに記憶されている画像データを格納し、前記画
    像伝送装置に対して送信指示信号を出力する高速演算装
    置とを有することを特徴とする障害物検出装置。
  3. 【請求項3】 カメラ及びビデオデコーダ及び対象画像
    メモリ及び基準画像メモリの組を複数有し、撮影角度の
    異なる複数の画像から障害物を評価し、障害物と認めら
    れれば警報を発することを特徴とする請求項2記載の障
    害物検出装置。
JP00621699A 1999-01-13 1999-01-13 滞留物検出装置 Expired - Fee Related JP4298031B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00621699A JP4298031B2 (ja) 1999-01-13 1999-01-13 滞留物検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00621699A JP4298031B2 (ja) 1999-01-13 1999-01-13 滞留物検出装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006145142A Division JP2006262527A (ja) 2006-05-25 2006-05-25 障害物検出装置

Publications (2)

Publication Number Publication Date
JP2000209567A true JP2000209567A (ja) 2000-07-28
JP4298031B2 JP4298031B2 (ja) 2009-07-15

Family

ID=11632339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00621699A Expired - Fee Related JP4298031B2 (ja) 1999-01-13 1999-01-13 滞留物検出装置

Country Status (1)

Country Link
JP (1) JP4298031B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019161362A (ja) * 2018-03-09 2019-09-19 京セラドキュメントソリューションズ株式会社 監視システム
JP7223472B1 (ja) 2018-05-24 2023-02-16 株式会社ユピテル システム及びプログラム等

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019161362A (ja) * 2018-03-09 2019-09-19 京セラドキュメントソリューションズ株式会社 監視システム
JP7223472B1 (ja) 2018-05-24 2023-02-16 株式会社ユピテル システム及びプログラム等
JP2023026427A (ja) * 2018-05-24 2023-02-24 株式会社ユピテル システム及びプログラム等

Also Published As

Publication number Publication date
JP4298031B2 (ja) 2009-07-15

Similar Documents

Publication Publication Date Title
JP5809751B2 (ja) 対象物認識装置
JP2007233919A (ja) 画像処理による侵入者検知装置
JP2005024463A (ja) ステレオ広視野画像処理装置
JP2008026998A (ja) 障害物位置算出システム、及び障害物位置算出方法
JP2007139564A (ja) 障害物検出システム、障害物検出方法及びコンピュータプログラム
JP2010182021A (ja) 画像監視システム
JP2006171944A (ja) 複合型防犯センサ
JP2001160146A (ja) 画像認識方法および画像認識装置
JP2008026999A (ja) 障害物検出システム、及び障害物検出方法
JP2008165595A (ja) 障害物検出方法、障害物検出装置、障害物検出システム
JP4740755B2 (ja) 画像を用いた監視装置
JP2007102556A (ja) 監視端末装置
JPH06308256A (ja) 雲霧検出方法
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2000209567A (ja) 障害物検出装置
JP2001148077A (ja) 侵入者検出装置
JP2008028478A (ja) 障害物検出システム、及び障害物検出方法
KR100994418B1 (ko) 건물의 침입 감지를 위한 촬영 이미지 처리 시스템 및 방법
JP3736836B2 (ja) 物体検出方法及び物体検出装置及びプログラム
JP2000125288A5 (ja)
JP2007336431A (ja) 映像監視装置及び方法
JP4645321B2 (ja) 画像を用いた移動物体検知装置
JP2006262527A (ja) 障害物検出装置
JP2009294974A (ja) 画像処理による侵入者検知装置
JP2008123057A (ja) 不審者検知装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060328

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060525

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060627

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060811

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060911

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090415

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees