JP2975629B2 - 画像認識装置 - Google Patents

画像認識装置

Info

Publication number
JP2975629B2
JP2975629B2 JP2077609A JP7760990A JP2975629B2 JP 2975629 B2 JP2975629 B2 JP 2975629B2 JP 2077609 A JP2077609 A JP 2077609A JP 7760990 A JP7760990 A JP 7760990A JP 2975629 B2 JP2975629 B2 JP 2975629B2
Authority
JP
Japan
Prior art keywords
image
projection
projection data
area
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2077609A
Other languages
English (en)
Other versions
JPH03274983A (ja
Inventor
省三 阿部
元 大波多
雄一 富樫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2077609A priority Critical patent/JP2975629B2/ja
Priority to US07/674,405 priority patent/US5177794A/en
Publication of JPH03274983A publication Critical patent/JPH03274983A/ja
Application granted granted Critical
Publication of JP2975629B2 publication Critical patent/JP2975629B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、例えばTVカメラ等により不法侵入者等の検
知を行う画像認識装置において、抽出した移動物体に対
して、より確実に人物判断を行うことのできる画像認識
装置に関する。
（従来の技術） 近年、例えばセキュリティシステムにおいて、テレビ
ジョンカメラによる撮影画像を用いることにより、不法
侵入者等の検知を行う画像監視装置が広く普及してきて
いる。これは、昨今の半導体技術の目覚しい発展とディ
ジタル画像処理技術の普及などにより、低価格の装置が
できるようになったためである。
このように画像監視装置において、例えば不法侵入者
の検知を行うには、不法侵入者が画像内を移動すること
による変化情報を抽出する必要がある。従来、このよう
な変化領域を抽出する方法として、単純に時間的に連続
した画像との減算処理を行うことにより、移動した部分
（変化領域）を抽出していた。さらに、明らかに不法侵
入者が通らない場所については、監視装置のオペレータ
が予めライトペン等によってマスク領域を指示すること
によって、そのマスク領域のみの変化抽出を行い不法侵
入者を検知している。
（発明が解決しようとする課題） しかしながら、従来の移動物体の検知にあっては、単
一の画像減算による変化領域抽出を対象にして行うもの
が一般的であった。この場合、予め教示している抽出枠
の範囲で抽出した変化領域であっても、必ずしも、その
領域が人物領域であるという保証はない。例えば、雨や
風があるといった気象条件によって、雑音による変化領
域が抽出される心配がある。従って、抽出した変化領域
の矩形の大きさだけの情報によって人物判断を行うこと
は雑音等の影響に大きく依存することになり識別率を下
げると共に、こういった認識装置に対する信頼性を損う
といった問題がある。
本発明は、このような従来の欠点を除去するためにな
されたもので、予め教示した抽出枠の範囲の変化領域を
処理対象にして、さらに抽出した領域の形状特徴を扱う
ことにより確実度の高い人物判断を行うことを目的とす
る。
［発明の構成］ （課題を解決するための手段） 本発明の画像認識装置は、監視領域から画像信号を入
力する入力手段、この入力手段により入力した画像信号
から画像の変化領域を抽出する抽出手段と、この抽出手
段により抽出された前記変化領域の画像信号のうち予め
教示された矩形の抽出領域の横方向または縦方向の射影
データを得る射影手段と、検出すべき標準的な移動人物
に対応した標準射影データとして、横方向または縦方向
の各ライン単位で射影方向における所定の範囲の射影デ
ータの出現頻度の度合いを示す値が予め記憶された記憶
手段と、前記射影手段により得られた前記変化領域の射
影データと前記記憶手段に記憶された標準射影データと
を前記ライン毎に比較して前記各ラインにおける前記射
影データの出現頻度の度合いを示す値を求め、その結果
に基づいて移動人物を判別する判別手段とを具備するこ
とを特徴とする。
（作用） この画像認識装置では、検出すべき標準的な移動人物
に対応した標準射影データとして、横方向または縦方向
の各ライン単位で射影方向における所定の範囲の射影デ
ータの出現頻度の度合いを示す値を予め記憶しておき、
変化領域の画像信号のうち予め教示された矩形の抽出領
域の横方向または縦方向の射影データを求め、求めた射
影データと記憶された標準射影データとをライン毎に比
較して、各ラインにおける射影データの出現頻度の度合
いを示す値を求め、その結果に基づいて移動人物を判別
する。これにより、撮影環境によって発生する可能性の
ある雑音成分による影響を極力避けることができ、より
精度の高い人物判断を行うことが可能になる。
（実施例） 以下、本発明の実施例について図面を参照して詳細に
説明する。
第１図は本発明の一実施例による画像認識装置の全体
の構成を示したブロック図である。
画像入力部１には、TVカメラから監視領域を撮影した
画像が入力される。この画像は一旦画像記憶部２に転送
される。差分画像生成部３では、画像記憶部２に記憶し
た時間的に連続した複数枚の画像の減算処理により変化
した領域を抽出する。従って、この差分画像中には移動
物体が移動して変化した領域の他に、雑音成分による変
化領域などが含まれている。さらに、移動物体が移動し
てできる変化領域は、必ずしも本来の移動物体の形状全
体が抽出されてできているわけではない。差分画像復元
部４は、上記事情を考慮して、できるだけ本来の移動物
体の形状に復元するための処理を行う。復元方法として
は、差分２値化画像に対して理論ファイルを施す処理方
法がある。この場合は、孤立点等の雑音を同時に取除く
ことができる。また、前記差分２値化画像に対応した入
力多値画像の情報も一緒に使用することによって、より
確実な形状復元処理を行うものである。
形状復元した画像は、横方向射影情報生成部５で横方
向の射影データを求める。このとき、予め教示している
抽出枠ごとに領域分離した領域データに対して上記射影
データを求めものとする。人物判別部６は、入力画像内
から各々抽出した形状特徴をもった射影データを利用す
ることにより、教示矩形枠情報P1の範囲内の抽出領域に
対して人物判別を行う。
第２図を基に第１図の人物判別部６を詳細に説明す
る。
人物判別部６の入力情報は遠近補正する前の変化領域
であるため、正規化部11で横方向への射影データに対し
て抽出領域の大きさの正規化を行う。これによって、画
面中央における抽出枠サイズに合せる。
平滑化処理部12は、正規化した射影データに対して平
滑化を施すことによって人物形状の特徴量として安定し
た形状を抽出する。判別部13では、前記方法によって得
た横方向への形状パターンと、人物特徴情報テーブル14
に格納された予め設定されている標準となる余裕度を持
った横方向への形状パターンとのマッチングを行うこと
により、人物らしさの度合いから人物識別を行うもので
ある。ここで、上記特徴パターンのマッチング処理は、
単純なマッチングではない。
第３図はマッチング処理の実施例を示したものであ
る。
第３図（ａ），（ｂ）はそれぞれ入力画像から得た差
分２値化画像の横方向への射影パターンを示している。
第３図（ａ）は一般的な差分２値化画像から求めた横方
向への射影パターンであるが、第３図（ｂ）は移動して
いる人物がTVカメラに向って移動した時、差分２値化画
像の形状復元が余りよく施されなかったために、人物の
胴体部分の領域が抜けた場合の形状パターンを示してい
る。すなわち、撮影環境によって、第３図（ａ），
（ｂ）のように各種形状パターンが入力されることを示
している。
第３図（ｃ）は人物特徴情報テーブル14に予め用意し
ている、同じく横方向への射影形状パターンを示す。た
だ、第３図（ａ），（ｂ）と異なるところは、横方向へ
の射影データの各ライン単位に横幅NSxに対して出現頻
度の度合いを数値表現したものとなっている。それを具
体的に示したのが、第３図（ｄ）である。すなわち、Lk
ラインに対して入力の横方向への射影データが取り得る
出現頻度の度合いを0.0から1.0までの値で示しており、
数値が1.0に近づく位置程、出現の可能性が高くなる。
ここで、移動人物の胴体部Ｈについて、上記出現頻度
の度合いパターンを見ると、広い範囲で高い出現頻度の
度合いを示している。これは、第３図（ａ），（ｂ）の
各形状パターンに対して、同じような人物らしさを表現
するためである。すなわち、撮影環境の違いによる抽出
形状の不安定さに対応させるようにしている。
このようにして、入力の射影形状とのマッチングを行
い、各々のラインにおける一致率、すなわち0.0から1.0
までの値を全ラインについてヒストグラムを取り、この
ヒストグラムの重心を求め、これを抽出した形状全体の
人物らしさの数値とする。すなわち、人物らしさは、0.
0から1.0の範囲内の数値として表現されることになる。
また、人物らしさの出現頻度を指定のしきい値、例え
ば0.3以上を全て1.0にすることにより実際の入力画像の
変動に対して、より安定した結果を得ることができる。
ここで、上記ヒストグラムの重心の他に、ある幅を持
った中での最大頻度の中心点を代表させることも可能で
ある。第３図の形状パターンは全て大きさの正規化処理
を施したものである。
また、上記標準となる横方向への射影形状データは、
予め複数の人物による変化領域を実際にデータ収集する
ことによって、設置環境にあった形状パターンを生成す
るものである。
なお、本発明は、上記実施例に限定されるものではな
い。例えば、本実施例では、横方向への形状特徴テーブ
ル１種類で説明したが、撮影環境により複数種類の形状
特徴テーブルを用意することができる。また、例えば、
晴の日や風の強い日、及び雨の日等によって得られる特
徴が異なる場合は、それぞれに応じた形状特徴テーブル
を備える。
また、上記処理を逆に使用することもできる。すなわ
ち、入力画像から得られる横方向の形状パターンが用意
している形状特徴パターンのどれに対応するかによっ
て、例えば晴の日や雨の日等の情報を得ることも可能で
ある。
さらに、本実施例のような余裕度を持った形状特徴パ
ターンの表現方向を使って、別の特徴量、例えば縦方向
への射影パターンに適用することができる。例えば、移
動する人物群の場合、その差分２値化画像は人物どうし
が繋がった状態で抽出される領域に対しては本方式は適
用できない。従って、このような差分２値化画像に対し
て縦方向への射影パターンに特徴量を見出すことによ
り、少なくとも変化領域が大領域であっても、人物群に
よる変化領域らしさの確信度を得ることができる。
［発明の効果］ 以上説明したように本発明の画像認識装置によれば、
予め教示している抽出枠の範囲の変化領域に対して、さ
らに人物を表わす１つの特徴量として、差分２値化画像
の横方向への射影形状を使うことによって、雑音成分に
よる影響を極力避け、より確度の高い人物識別を行える
という効果がある。
【図面の簡単な説明】
第１図は本発明の一実施例による画像認識装置の全体構
成を示すブロック図、第２図は第１図の人物判別部の詳
細を示すブロック図、第３図は横方向への射影パターン
のマッチング処理を説明したもので、第３図（ａ），
（ｂ）は撮影環境によって横方向への射影形状が変動す
ることを説明する図、第３図（ｃ）は予め用意している
出現頻度の度合いに幅を持たせた標準の横方向への射影
パターンを示す図、第３図（ｄ）は第３図（ｃ）の指定
ラインについて出現頻度の度合いを具体的な数値で示し
た図である。 １……画像入力部、２……画像記憶部、３……差分画像
生成部、４……差分画像復元部、５……横方向射影情報
生成部、６……人物判別部、11……正規化部、12……平
滑化処理部、13……判別部、14……人物特徴情報テーブ
ル。
フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/18 G06F 15/62 380 G06F 15/70 410

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項１】監視領域から画像信号を入力する入力手
    段、 この入力手段により入力した画像信号から、画像の変化
    領域を抽出する抽出手段と、 この抽出手段により抽出された前記変化領域の画像信号
    のうち予め教示された矩形の抽出領域の横方向または縦
    方向の射影データを得る射影手段と、 検出すべき標準的な移動人物に対応した標準射影データ
    として、横方向または縦方向の各ライン単位で射影方向
    における所定の範囲の射影データの出現頻度の度合いを
    示す値が予め記憶された記憶手段と、 前記射影手段により得られた前記変化領域の射影データ
    と前記記憶手段に記憶された標準射影データとを前記ラ
    イン毎に比較して前記各ラインにおける前記射影データ
    の出現頻度の度合いを示す値を求め、その結果に基づい
    て移動人物を判別する判別手段とを具備することを特徴
    とする画像認識装置。
  2. 【請求項２】前記記憶手段に記憶された標準射影データ
    は前記入力手段により入力された複数の人物による変化
    領域の画像を収集したデータから生成されたものである
    ことを特徴とする請求項１記載の画像認識装置。
JP2077609A 1990-03-26 1990-03-26 画像認識装置 Expired - Lifetime JP2975629B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2077609A JP2975629B2 (ja) 1990-03-26 1990-03-26 画像認識装置
US07/674,405 US5177794A (en) 1990-03-26 1991-03-25 Moving object detection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2077609A JP2975629B2 (ja) 1990-03-26 1990-03-26 画像認識装置

Publications (2)

Publication Number Publication Date
JPH03274983A JPH03274983A (ja) 1991-12-05
JP2975629B2 true JP2975629B2 (ja) 1999-11-10

Family

ID=13638663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2077609A Expired - Lifetime JP2975629B2 (ja) 1990-03-26 1990-03-26 画像認識装置

Country Status (2)

Country Link
US (1) US5177794A (ja)
JP (1) JP2975629B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999634A (en) * 1991-09-12 1999-12-07 Electronic Data Systems Corporation Device and method for analyzing an electronic image signal
JP3068304B2 (ja) * 1992-01-21 2000-07-24 日本電気株式会社 動画像符号化方式および復号化方式
EP0557007A2 (en) * 1992-02-15 1993-08-25 Sony Corporation Picture processing apparatus
US5664029A (en) * 1992-05-13 1997-09-02 Apple Computer, Inc. Method of disregarding changes in data in a location of a data structure based upon changes in data in nearby locations
DE69324781T2 (de) * 1992-12-21 1999-12-09 International Business Machines Corp., Armonk Computerbedienung einer Videokamera
US6430303B1 (en) 1993-03-31 2002-08-06 Fujitsu Limited Image processing apparatus
JP3288474B2 (ja) * 1993-03-31 2002-06-04 富士通株式会社 画像処理装置
US6205231B1 (en) * 1995-05-10 2001-03-20 Identive Corporation Object identification in a moving video image
AU7604796A (en) * 1995-11-01 1997-05-22 Carl Kupersmit Vehicle speed monitoring system
US6061471A (en) * 1996-06-07 2000-05-09 Electronic Data Systems Corporation Method and system for detecting uniform images in video signal
US5767923A (en) * 1996-06-07 1998-06-16 Electronic Data Systems Corporation Method and system for detecting cuts in a video signal
US5778108A (en) * 1996-06-07 1998-07-07 Electronic Data Systems Corporation Method and system for detecting transitional markers such as uniform fields in a video signal
US5920360A (en) * 1996-06-07 1999-07-06 Electronic Data Systems Corporation Method and system for detecting fade transitions in a video signal
US5734735A (en) * 1996-06-07 1998-03-31 Electronic Data Systems Corporation Method and system for detecting the type of production media used to produce a video signal
US5959697A (en) * 1996-06-07 1999-09-28 Electronic Data Systems Corporation Method and system for detecting dissolve transitions in a video signal
GB9617592D0 (en) * 1996-08-22 1996-10-02 Footfall Limited Video imaging systems
US6240198B1 (en) * 1998-04-13 2001-05-29 Compaq Computer Corporation Method for figure tracking using 2-D registration
US6256418B1 (en) 1998-04-13 2001-07-03 Compaq Computer Corporation Method and system for compressing a sequence of images including a moving figure
US6269172B1 (en) * 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
FR2799563A1 (fr) * 1999-10-11 2001-04-13 Daniel Voisin Procede et dispositif de detection de l'apparition d'un evenement ou d'une presence
US20150312397A1 (en) * 2004-12-23 2015-10-29 Kuo-Ching Chiang Smart Phone and the Controlling Method of the Same
JP5036611B2 (ja) * 2008-03-27 2012-09-26 ダイハツ工業株式会社 画像認識装置
JP5241687B2 (ja) * 2009-10-30 2013-07-17 三菱電機株式会社 物体検出装置及び物体検出プログラム
CN103729858B (zh) * 2013-12-13 2016-06-15 广州中国科学院先进技术研究所 一种视频监控***中遗留物品的检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2045574B (en) * 1979-03-22 1983-04-20 Quantel Ltd Video movement detection
US4430749A (en) * 1981-06-30 1984-02-07 Siemens Gammasonics, Inc. Medical imaging apparatus and method for furnishing difference images
DE3587738T2 (de) * 1984-03-06 1994-05-05 3Dis Pty Ltd Sich selbst regelndes Beobachtungssystem.
JPS61198893A (ja) * 1985-02-27 1986-09-03 Mitsubishi Electric Corp 駅ホ−ムの監視方法
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
JPH0766446B2 (ja) * 1985-11-27 1995-07-19 株式会社日立製作所 移動物体像を抽出する方法
JPH0786914B2 (ja) * 1986-11-07 1995-09-20 株式会社日立製作所 画像を用いた変化検出方法
US4872051A (en) * 1987-10-01 1989-10-03 Environmental Research Institute Of Michigan Collision avoidance alarm system
JPH0695008B2 (ja) * 1987-12-11 1994-11-24 株式会社東芝 監視装置
US4893182A (en) * 1988-03-18 1990-01-09 Micronyx, Inc. Video tracking and display system

Also Published As

Publication number Publication date
US5177794A (en) 1993-01-05
JPH03274983A (ja) 1991-12-05

Similar Documents

Publication Publication Date Title
JP2975629B2 (ja) 画像認識装置
Davis et al. A two-stage template approach to person detection in thermal imagery
US6999600B2 (en) Video scene background maintenance using change detection and classification
KR100480781B1 (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
US7215798B2 (en) Method for forgery recognition in fingerprint recognition by using a texture classification of gray scale differential images
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
JP2002269565A (ja) 回転画像の補正による非接触式アイリス認識方法
KR102008283B1 (ko) 번호판인식방법 및 이를 수행하는 번호판인식장치
JP2006146626A (ja) パターン認識方法および装置
KR100347058B1 (ko) 얼굴 촬영/인식방법
Beghdadi et al. Towards the design of smart video-surveillance system
CN111429376A (zh) 高低精度融合的高效数字图像处理方法
CN113657250A (zh) 一种基于监控视频的火焰检测方法及***
KR20200060868A (ko) 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
CN112699810B (zh) 一种提升室内监控***人物识别精度的方法及装置
CN114863337A (zh) 一种新型屏幕防拍照识别方法
Balya et al. Face and eye detection by CNN algorithms
CN108197579B (zh) 防护舱中人数的检测方法
JP3062383B2 (ja) 人物認識方法
RU2809945C2 (ru) Способ обнаружения движущихся объектов
CN110826455A (zh) 一种目标识别方法及图像处理设备
CN112990096B (zh) 一种基于ocr与人脸检测融合的身份证信息录用方法
CN111753793B (zh) 模型训练方法、装置、人脸筛选方法及电子设备
US20240046426A1 (en) Noise removal for surveillance camera image by means of ai-based object recognition
US20040032985A1 (en) Edge image acquisition apparatus capable of accurately extracting an edge of a moving object

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070903

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 11