JP4051151B2 - 画像センサ、これを含む監視システム - Google Patents
画像センサ、これを含む監視システム Download PDFInfo
- Publication number
- JP4051151B2 JP4051151B2 JP37306398A JP37306398A JP4051151B2 JP 4051151 B2 JP4051151 B2 JP 4051151B2 JP 37306398 A JP37306398 A JP 37306398A JP 37306398 A JP37306398 A JP 37306398A JP 4051151 B2 JP4051151 B2 JP 4051151B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image sensor
- determination
- counter
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Description
【発明の属する技術分野】
本発明は、監視領域内に設置され、入力される現画像と基準画像とを比較して侵入者などの移動物体を検出する画像センサに関する。また、監視領域のモ−ド設定器による操作信号を受信した後、所定時間は異常発生の判断を厳しくすることで、誤報をなくした画像監視システムに関する。
【0002】
【従来技術】
従来の画像センサでは、建物の出入口およびその他の監視領域の画像を継続して撮影する画像センサが実用化されている。また、これら従来の画像センサでは、侵入者等の移動物体がない画像を基準画像として記憶しておき、この基準画像と現画像を比較して移動物体の有無を検出するようにしている。そして、例えばエアコンによるゆっくりとしたカ−テンの揺れや、太陽光が監視領域に差し込む等の徐々に変化する環境変動による現画像の変化を移動物体として誤検出することを防止するため所定の条件において基準画像を順次更新している。
【0003】
【発明が解決しようとする課題】
画像センサの前に画像センサの視野を遮る障害物が置かれた場合には、正常な監視動作を行うことができないため、このような画策行為を検出する必要がある。しかしながら、このような画像センサは、画策行為による現画像の変化なのか環境変動による現画像の変化なのかを有意に判別することが困難であった。また、残業等を行ない建物から最終退出する時に監視領域を警戒セットするための操作を行う際、警戒セット操作を行った後に蛍光燈を消灯すると、画像センサが警戒中に照明が急激に変化する為、画像センサが異常と判断する。このように日常の行為が、画像監視システムにおける誤報を多発させるという問題点があった。
【0004】
本発明の目的は、環境変化等により徐々に変化するものと、画策行為による現画像の変化とを判別できる信頼性の高い画像センサの提供にある。また、日常、最終退出者が、監視領域を警戒セットするための操作手順の違いによる誤報をなくし信頼性の高い画像監視システムの提供にある。
【0005】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。すなわち、本発明は、監視領域の画像を撮影する撮像手段と、基準画像を記憶する記憶手段と、前記撮像手段が撮影する現画像と前記基準画像とを比較照合して異常か正常かを判断する判断手段とを備えた画像センサであって、前記判断手段は、画像を所定の判定ブロックに区分し前記判定ブロックごとに現画像と前記基準画像との類似度を判定すると共に、類似度の小さい判定ブロック数が所定数以上であれば異常と判定することを特徴とする。
【0006】
また、前記判断手段は、前記判定ブロックごとに設けられたカウンタと、現画像と前記基準画像とを前記判定ブロックごとに照合し類似度の割合にて前記カウンタを加算または減算する算出手段とを備え、前記算出手段にて算出されたカウンタ値がしきい値以上の場合か否かを判定すると共に、しきい値以上のカウンタを有する判定ブロック数を算出することを特徴とする。
【0007】
さらに、前記判断手段は、正規化相関値と分散値とから類似度を算出することを特徴とする。
【0008】
また、監視領域を撮影し、得られた画像から異常の発生の有無を判定する画像センサと、前記画像センサと接続されるとともに前記監視領域の監視状態を警戒セットまたは警戒解除状態に設定するモ−ド設定器と接続されるコントロ−ラとを具備する画像監視システムであって、前記画像センサは、監視領域の画像を撮影する撮像手段と、基準画像を記憶する記憶手段と、画像を所定の判定ブロックに区分し前記判定ブロック毎に現画像と前記基準画像とを照合し類似度を算出する算出手段と、前記コントロ−ラからのモ−ド操作信号を受信する受信手段と、前記受信手段がモ−ド操作信号を受信したとき起動する計時手段と、前記計時手段が起動中は非類似の判断を厳しくして異常か否かを判定する判定手段とを具備しすることを特徴とする。
【0009】
さらに、前記モ−ド操作信号は、監視領域の警戒セット信号であることを特徴とする。
【0010】
また、前記計時手段は、前記受信手段が警戒セット信号を受信したとき停止することを特徴とする。
【0011】
【本発明の実施の形態】
図1は、本発明を適用した監視システムの全体構成を示す。監視対象となる建物にコントロ−ラ1が設置され、このコントロ−ラ1に、複数の画像センサ2、火災センサ3、非常ボタン4、モ−ド設定器5が接続される。コントロ−ラ1は、通信回線としての電話回線6を介して、遠隔地の監視センタに設置された警備センタ−装置7と接続される。画像センサ2とコントロ−ラ1との接続は、アナログ信号線8とディジタル信号線9とで行われる。アナログ信号線8は、同軸ケ−ブルで構成され、映像信号(NTSC方式)を伝達し、ディジタル信号線9は、ツイストペア線で構成され、ディジタル信号線による制御信号を伝達する。
【0012】
ここで、図1の監視システムの全体の動作について簡単に説明する。モ−ド設定器5は、監視システムを警戒解除モ−ドまたは警戒セットモ−ドに設定する。警戒セットモ−ド時にいずれかのセンサが異常を検出すると、コントロ−ラ1は、異常の種類、異常発生場所を示す情報を電話回線6を通じて警備センタ装置7に送信する。なお、これらの異常信号の検出方法、伝達方法などは当該技術分野において良く知られたものであるので、詳細な説明は省略する。
【0013】
図2は、本発明を適用した画像センサ2の構成を示す。画像センサ2には、CPU等により構成される制御手段201と電源202が設けられる。画像センサ2の内部の各部分は、制御手段201により制御され、電源202から電力の供給を受ける。なお、制御手段201は、現画像を取り込むタイミングを制御するためのカウンタと、警戒セット操作信号を受信したとき起動する計時手段がある。このカウンタは、例えば0.5秒ごとにカウントする。計時手段は、少なくとも5分を計時する。なお、電源202を画像センサ2内に設ける代わりに、コントロ−ラ1から電力供給をさせても良い。
【0014】
図3は、制御手段201に接続される記憶手段220の内容を示す。記憶手段220には、画像センサ2に所定の動作を実行させるためのプログラムを記憶したプログラム領域221、画像センサの設置高さ・俯角、監視ポイント、感度設定などを記憶したパラメ−タ領域222、ワ−クエリア223、監視領域の状態、即ち、現在の状態が正常であるか異常であるかを記憶する状態記憶領域224、監視領域の警備モ−ド、即ち、警戒セットモ−ド、警戒解除モ−ドなどを記憶するモ−ド記憶領域225、判定ブロックごとに設けられる判定ブロックカウンタのカウント値が記憶される判定カウンタ記憶領域229が設けられる。記憶手段220は、更に撮像手段203が撮影した画像を記憶する領域として、基準画像記憶領域226、現画像記憶領域227、異常画像記憶領域228を備えている。現画像記憶領域227には、撮像手段203が撮影した最新の画像とその9フレ−ム前までの画像が記憶される。
【0015】
図2に戻り、監視領域を撮影する撮像手段203は、CCDカメラにより構成され、可視領域から赤外領域までの感度を有する。赤外線投光手段204が設けられ、夜間など暗くなった時に、監視領域に赤外線が投光される。画像処理手段205は、記憶手段220に記憶された現画像と基準画像とを比較照合して差分をとり2値化する。表示手段206は、LEDにより構成され、異常検出時に点灯し、非検出時には消灯して、異常検出の有無を画像センサ2の外部に表示する。なお、異常検出時には外部への表示をせずに、容認された対処者がこの画像センサ2に対処したときに、初めて異常表示を行うようにすることもできる。通信手段207は、コントロ−ラ1と信号の送受信を行うインタ−フェ−スで、ディジタル信号線9によりコントロ−ラ1と接続され、映像信号以外の信号の送受信が行われる。画像出力手段208は、異常発生時の画像を出力するためのインタ−フェ−スである。映像信号としてはアナログ信号線が使用され、画像出力手段208は、切換手段209を介してアナログ信号線8と接続される。アナログ信号線8は、図1に示すようにコントロ−ラ1に対して各画像センサ2を直列に接続する。切換手段209は、画像センサ2が正常状態の時はアナログ信号線8の入力側と出力側を接続する。なお、図2では、入力側を「他の画像センサから」、出力側を「コントロ−ラへ」と表示してある。
【0016】
正常状態の画像センサ2は、アナログ信号線から切り離されている。異常状態を検出した時は、入力側のアナログ信号線を切り離して、画像出力手段208を出力側のアナログ信号線8に接続させる。したがって、異常状態を検知した画像センサ2の画像出力手段208は、コントロ−ラ1に接続されることになる。
アドレス設定部210は、ディップスイッチにより構成され、コントロ−ラ1が画像センサ2を特定するためのアドレスがここで設定される。操作手段211は、電源をオン・オフするための手段である。また、操作手段211をオフすると切換手段209は、アナログ信号線8の入力側と出力側を接続させて、当該画像センサ2をアナログ信号線8からバイパスさせる。
【0017】
図4は、コントロ−ラ1の構成を示す。コントロ−ラ1には、MPUなどにより構成される制御部101と電源回路102が設けられる。コントロ−ラ1内の各部分は、制御部101により制御され、電源回路102から電力の供給を受ける。電源回路102は、外部からのAC電圧をDC電圧に変換する変換回路とバッテリを有する。また、モ−ド設定器5は、制御部101へ接続される。
【0018】
コントロ−ラ1には、更に以下の部分が設けられる。センサ監視回路103は、火災センサ3、非常ボタン4とのインタフェ−スである。モデム104が電話回線6との間に設けられる。画像センサ通信制御部105は、画像センサ2とディジタル信号線9で接続される。映像入出力制御部106は、画像センサ2とアナログ信号線8で接続される。この映像入出力制御部106は、画像センサ2から送られてきた画像信号をモデム104と外部に接続されたモニタ装置10に分配する。表示部107は、通常は、監視領域の監視状態を画面上に表示し、異常が検出されたときは、ブザ−を鳴動させ、画面上に異常の種類、異常発生箇所などを表示する。また、表示部107は、画像センサ2の設定作業時にも使用される。設定手段108は、画像センサ2の初期設定時(立ち上げ時)又は設定変更時に、例えば画像センサ2の設置高さ・俯角、監視ポイント、感度設定などのパラメ−タの入力に使用される。記憶部109には、コントロ−ラ1に所定の動作を動作を実行させるためのプログラム、パラメ−タ、基準画像を記憶する領域を備える。この基準画像は、複数の画像センサ2ごとに記憶され、各画像センサ2の設定時に画像センサ2から送られたものを記憶しておく。
【0019】
図5及び図6のフロ−チャ−トを用いて、本発明の画像センサの具体的動作を説明する。まず、基準画像は、記憶手段220の基準画像記憶領域226に記憶され、例えば48の判定ブロック数に区分されている。したがって、判定ブロックに対応する48個のカウンタがカウンタ記憶領域229に設けられている。このカウンタの初期値はゼロである。画像センサ2は、撮像手段203で撮影した現画像をカウンタのカウントごと(0.5秒)に取り込み、現画像記憶領域227に記憶される(ステップS1)。
【0020】
現画像と基準画像とを、48の判定ブロックに区分する(ステップS2)。現画像と基準画像とを48の判定ブロックごとに比較照合し、各判定ブロックごとの輝度画像の正規化相関値と分散値とを算出する(ステップS3)。この正規化相関値と分散値とから各判定ブロックごとに類似度を算出する(ステップS4)。ステップS5で、各判定ブロックごとの類似度が小さいと各判定ブロックごとのカウンタ(判定ブロックカウンタ)のカウント値をアップし、類似度が大きいと判定ブロックカウンタのカウント値をダウンする。なお、この判定ブロックカウンタは、記憶手段220のカウンタ記憶領域229を使用している。ここで、カウント値が、例えば120を超えると、それ以上はカウントアップせずに、また、例えば5回連続してカウントダウンする場合には、カウント値を0になるように設定されている。
【0021】
ステップS6で、各判定ブロックカウンタのカウント値が、所定のしきい値以上の判定ブロックの数を算出する。また、しきい値以上の判定ブロック数ごとにその継続時間を算出する。ここで、判定ブロックカウンタのカウント値に対して予めしきい値が設定されており、カウント値からしきい値を減算する。すなわち、減算値が「正」の場合、しきい値を超えていることになる。そして、この「正」の減算値を有する判定ブロック数を数える。
【0022】
図6を用いて継続時間について説明する。時点tnは、現画像を現画像記憶領域227に取り込む間隔の0.5秒で経過する。いま、時点tnでしきい値以上となった判定ブロック数が10であるとすると、しきい値以上の判定ブロック数10の継続時間は、0.5秒である。この状態が次の時点tn+1まで継続すると、しきい値以上の判定ブロック数10の継続時間は1.0秒となる。時点tn+2で、しきい値以上となった判定ブロック数が11となると、判定ブロック数10の継続時間は、1.5秒、判定ブロック数11の継続状態は0.5秒となる。以後、同様にして、しきい値以上となった判定ブロック数ごとに継続時間が算出される。
ステップS7で最初の現画像取り込みを開始してから所定時間例えば30分経過したか否かが判断され、所定時間経過していない場合にはS1にもどりS1からS7の処理を繰り返す。
【0023】
ステップS7で、所定時間経過した場合には、ステップS10でしきい値を超える判定ブロック数が所定値(ブロック所定値)以上か否かを判断する。ここで、ブロック所定値以上であればステップ10へ進み、未満であればステップS8へ進む。ステップS7にてブロック所定値未満と判断されると、すなわち、一時的な環境変動であるので、ステップS8において現画像を基準画像記憶領域226へ基準画像として記憶する。そして、各判定ブロックの判定カウンタ記憶領域229のカウント値をクリアすると共に、各判定ブロックのブロック所定値ごとの継続時間もクリアして(ステップS9)、ステップS1へ戻る。
【0024】
ステップS7でブロック所定値以上であった場合、ステップS10で、しきい値を超える判定ブロック数ごとの継続時間が、所定のしきい値(継続しきい値)を超えているか否かを判断する。なお、継続しきい値は複数用意され、しきい値を超えた判定ブロック数が大きければ継続しきい値が小さく設定される。これは、例えば判定ブロック数が多い場合には画像の変化した領域が大きい場合であるので、侵入者の監視に対する影響が大きいため短時間の継続時間にて画策異常と判定する必要があり、また判定ブロック数が少ない場合には、画像の変化した領域が小さい場合であるので、侵入者の監視に対する影響が小さいため比較的長い継続時間をもって画策異常と判断するものである。
【0025】
しきい値を超える判定ブロック数ごとの継続時間が、継続しきい値を超えている場合、制御手段201は、画策行為があったと判断する(ステップS11)。そして、現画像を異常画像記憶領域228に記憶する(ステップS12)と共に、状態記憶領域224に異常を記憶(ステップS13)して、処理を終了する。ステップS10で、継続しきい値未満の場合は、画策行為ではなく、一時的な環境変化として画策異常とはせずにステップS1に戻る。
【0026】
次に、図7のフロ−チャ−トを用いて、本発明の監視システムの具体的な動作を説明する。監視システムが導入されている建物の最終退出者は、退出の際、モ−ド設定器5にて、監視領域の警備状態を警戒にするために、警戒セットの操作を行う。この操作に基づき、警戒セット操作信号が、コントロ−ラ1からデジタル信号線9を通じて画像センサ2へ送信され、通信手段207にて受信される (ステップS31)。制御手段201は、この警戒セット操作信号を受信すると、図示しない計時手段を起動する(ステップS32)。この計時手段は、例えば5分を計時する。そして、制御手段201は、記憶手段220の状態記憶領域224の状態信号を読み出して、通信手段207を通じて状態信号をコントロ−ラ1へ送信する。このとき、状態信号が異常信号である場合、コントロ−ラ1は、この画像センサ2が警戒セットモ−ド状態に移行できないと判断する。そして、最終退出者に対し、表示部107に画像センサ2の異常状態を解消するよう指示する文章を表示する。
【0027】
また、コントロ−ラ1は、接続されている全ての画像センサ2が正常状態で、且つ接続されている火災センサ3が正常状態であるときに、警戒セットモ−ドに移行して、警戒セットモ−ドが設定された旨各画像センサ2に送信する。制御手段201は、計時手段が起動すると、判定ブロックカウンタのカウント値と比較するしきい値を高くする(ステップS33)。これにより、しきい値を超える判定ブロックカウンタが今までより少なくな+る。制御手段201は、計時手段が指定時間すなわち5分を経過したか否かを判断する(ステップS34)。所定時間が経過している場合には、ステップS36に進み、所定時間が経過していない場合には、ステップS35に進む。ステップS35では、警戒セットモ−ドが設定された旨の警戒セット設定信号が受信されたか否かを判断する。まだ、警戒セット設定信号が受信されていないときには、ステップS31に戻る。警戒セット設定信号が受信されると、ステップS36で計時手段をリセットする。ステップS37で高くしたしきい値をリセットし、元のしきい値に戻し、ステップS31に戻る。こうして、警戒セット操作時、例えば蛍光燈の点灯状態から消灯状態に移る際の照明状態の変化における誤発報をなくすことができる。
【0028】
本発明の実施態様によれば、しきい値を高くしたが、これは判定ブロックカウンタのブロック所定値を高くするようにしても良い。
【0029】
【発明の効果】
本発明によれば、画像を区分して、区分されたブロックごとに基準画像との類似度を算出して、正常または異常を判断しているので、徐々の環境変動による誤発報をなくし、信頼性が向上する。
【0030】
また、本発明によれば、警戒セット操作時、異常判断となるしきい値やブロック所定値を高く設定することで、照明変化による誤発報をなくし、信頼性が向上する。
【図面の簡単な説明】
【図1】 本発明の監視システムの全体構成を示す図。
【図2】 本発明の画像センサの構成を示す図。
【図3】 画像センサの記憶手段の1例を示した図。
【図4】 図1のコントロ−ラの構成を示す図。
【図5】 画像センサの動作を示すフロ−チャ−ト図。
【図6】 図5における継続時間を説明するための図。
【図7】 警戒セット操作時の画像センサの動作を示すフロ−チャ−ト図。
【符号の説明】
1…画像センサ
11…制御手段
12…電源
13…撮像手段
14…赤外線投光手段
15…画像処理手段
16…表示手段
17…通信手段
18…画像出力手段
19…切替手段
20…アドレス設定部
220…記憶手段
Claims (5)
- 監視領域の画像を撮影する撮像手段と、基準画像を記憶する記憶手段とを備え、前記撮像手段が撮影する現画像と前記基準画像とを比較照合して移動物体を検出する画像センサであって、
画像を所定の判定ブロックに区分した前記判定ブロックごとに設けたカウンタと、
前記判定ブロックごとに現画像と前記基準画像とを所定時間にわたって照合し、類似度が小さいと当該判定ブロックのカウンタを加算、前記類似度が大きいと当該判定ブロックのカウンタを減算して、前記算出したカウンタ値がしきい値以上となる判定ブロック数が所定数以上であれば前記移動物体の検出に影響を与える画策異常と判定する判断手段とを備えることを特徴とする画像センサ。 - 前記判断手段は、正規化相関値と分散値とから類似度を算出することを特徴とする請求項1記載の画像センサ。
- 請求項1又は2に記載の画像センサと、前記画像センサと接続されるとともに前記監視領域の監視状態を警戒セットまたは警戒解除状態に設定するモ−ド設定器と接続されるコントロ−ラとを具備する画像監視システムであって、
前記画像センサは、更に、
前記コントロ−ラからのモ−ド操作信号を受信する受信手段と、
前記受信手段がモ−ド操作信号を受信したとき起動する計時手段とを有し、
前記計時手段が起動中は前記判断手段での前記類似度に基づく非類似の判断を厳しくすることを特徴とする画像監視システム。 - 前記モ−ド操作信号は、監視領域を警戒セットに設定する操作に基づく警戒セット操作信号であることを特徴とする請求項3記載の画像監視システム。
- 前記計時手段は、前記受信手段が警戒セットに設定された旨の警戒セット設定信号を受信したとき停止することを特徴とする請求項3または4記載のいずれかである画像監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP37306398A JP4051151B2 (ja) | 1998-12-28 | 1998-12-28 | 画像センサ、これを含む監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP37306398A JP4051151B2 (ja) | 1998-12-28 | 1998-12-28 | 画像センサ、これを含む監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000194866A JP2000194866A (ja) | 2000-07-14 |
JP4051151B2 true JP4051151B2 (ja) | 2008-02-20 |
Family
ID=18501516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP37306398A Expired - Fee Related JP4051151B2 (ja) | 1998-12-28 | 1998-12-28 | 画像センサ、これを含む監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4051151B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4792069B2 (ja) * | 2008-09-03 | 2011-10-12 | 株式会社日立製作所 | 画像認識装置 |
JP5417196B2 (ja) * | 2010-01-19 | 2014-02-12 | 株式会社東芝 | 自動判定装置及び自動判定方法 |
JP6045806B2 (ja) * | 2012-03-30 | 2016-12-14 | セコム株式会社 | 侵入監視装置 |
JP7355553B2 (ja) * | 2019-08-16 | 2023-10-03 | セコム株式会社 | 画像処理装置及び画像処理プログラム |
KR102308096B1 (ko) * | 2020-12-10 | 2021-10-01 | 한화시스템 주식회사 | 이미지 처리장치, 이미지 처리방법, 및 이를 구비하는 인공위성 감시정찰 시스템 |
-
1998
- 1998-12-28 JP JP37306398A patent/JP4051151B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000194866A (ja) | 2000-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4803376B2 (ja) | カメラ妨害検知方式 | |
US8675064B2 (en) | Display system | |
JPH0520559A (ja) | 画像処理を用いた防災監視装置 | |
JP4051151B2 (ja) | 画像センサ、これを含む監視システム | |
JP3410662B2 (ja) | 監視装置 | |
JP3986193B2 (ja) | 画像センサ、及び、画像監視システム | |
JP2001218189A (ja) | 監視カメラシステム | |
JPH07182579A (ja) | 火災感知器 | |
JP2001052270A (ja) | 遠隔監視システム | |
JP3797525B2 (ja) | 画像監視システム | |
JP3888793B2 (ja) | 画像センサ | |
JP2003324726A (ja) | 監視カメラを用いた物体検出装置 | |
JP3890155B2 (ja) | 画像センサ | |
JP3878338B2 (ja) | 画像監視装置 | |
JP3886246B2 (ja) | 画像監視システム | |
JP3874539B2 (ja) | 画像監視装置 | |
JP3830292B2 (ja) | 画像センサ | |
JP3577231B2 (ja) | 画像監視システム | |
JP3897471B2 (ja) | 画像センサ | |
JP2001006057A (ja) | 異常検出監視システム | |
JP3890164B2 (ja) | 画像センサ | |
JP3838791B2 (ja) | 画像監視装置 | |
JP4194208B2 (ja) | 画像センサ | |
JPH10282133A (ja) | 監視装置 | |
JP2000184362A (ja) | 監視カメラシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4051151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |