JP4037009B2 - アイリス認識装置及び本人認証システム - Google Patents

アイリス認識装置及び本人認証システム Download PDF

Info

Publication number
JP4037009B2
JP4037009B2 JP16906399A JP16906399A JP4037009B2 JP 4037009 B2 JP4037009 B2 JP 4037009B2 JP 16906399 A JP16906399 A JP 16906399A JP 16906399 A JP16906399 A JP 16906399A JP 4037009 B2 JP4037009 B2 JP 4037009B2
Authority
JP
Japan
Prior art keywords
iris
person
user
determination unit
biometric information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16906399A
Other languages
English (en)
Other versions
JP2000357232A (ja
Inventor
隆憲 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP16906399A priority Critical patent/JP4037009B2/ja
Publication of JP2000357232A publication Critical patent/JP2000357232A/ja
Application granted granted Critical
Publication of JP4037009B2 publication Critical patent/JP4037009B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、生体的特徴を用いた個人識別装置、特に人間のアイリスを用いたアイリス認識装置に関する。
【0002】
【従来の技術】
従来より、人間の生体的特徴としてアイリスを用いたアイリス認識装置が用いられている。このアイリス認識装置は、予め、利用者のアイリスデータをアイリス辞書データとして登録し、照合を行う場合は、カメラで取得した利用者のアイリスデータと、アイリス辞書データとを照合し、アイリス認識を行うものである。
【0003】
このようなアイリス認識装置は、登録モードと照合モードの二つの動作モードを有している。登録モードとは、装置を利用したい利用者が、装置の利用に先立って、利用者のアイリスデータを本装置に登録する際に使用するモードである。
【0004】
照合モードとは、予め登録された利用者が本装置を利用したサービスを受けるために、本装置を使用する際の動作モードである。
【0005】
尚、アイリス認識においては、利用者が照合に先立って自分のIDコード等を装置に入力してから照合を行う1:1照合と、利用者がIDコード等の入力を行わない1:n照合が存在するが、ここでは簡略化のため、1:1照合を例に取って説明する。
【0006】
[登録モード]
初めに、キーボードやカードリーダ等の入力手段によって、利用者のIDコード入力が行われる。次に、個人識別対象となるアイリスの画像がキャプチャされる。そして、利用者の片目のアイリス切出しが行われる。ここでは、アイリスの外縁と内縁の境界が検出される。次に、切り出されたアイリス部分の画像は、所定の特徴量が抽出されコード化される。コード化された利用者の片目のアイリス特徴量は個人識別データとして利用者のIDコードとリンク付けられ、データベース中にアイリス辞書データとして蓄えられる。
【0007】
[照合モード]
初めに、キーボードやカードリーダ等の入力手段によって、利用者のIDコード入力が行われる。次に、個人識別対象となるアイリスの画像がキャプチャされる。そして、利用者の片目のアイリス切出しが行われる。ここでは、アイリスの外縁と内縁の境界が検出される。次に、切り出されたアイリス部分の画像は、所定の特徴量が抽出され、コード化される。コード化された利用者の片目のアイリス特徴量は、データベース内の該当するアイリスデータと照合(マッチング)が行われる。マッチングは具体的には、入力されたアイリスの特徴データと登録データ内の対応するデータとの間で非類似度演算が行われる。
【0008】
照合で得られた非類似度は、ある閾値を用いて本人であるかどうかの判定が行われる。照合で得られた非類似度dがある閾値D以下の場合(d<D)、利用者は登録してある本人であると確認される。一方、照合で得られた非類似度が閾値を上回る場合(d≧D)には、利用者は登録してある本人でないと判断され、リジェクトされる。
【0009】
【発明が解決しようとする課題】
しかしながら、上記従来のアイリス認識装置では、運用の際、裸眼の人の場合は特に問題はないが、眼鏡あるいはコンタクトレンズ(特にハードコンタクトレンズ)を用いた人の場合に、眼鏡での光の反射、あるいはコンタクトレンズのずれ等により、目の取得画像が劣化する場合があり、このような場合、非類似度が閾値を若干上回り、本人であるにもかかわらずリジェクトされてしまう例、即ち、本人拒否が発生し、装置としての処理の信頼性が低下するという問題があった。
【0010】
【課題を解決するための手段】
本発明は、前述の課題を解決するため次の構成を採用する。
〈構成1〉
登録者の両目の登録アイリスデータが格納されているアイリス辞書と、利用者の一方の目から取得したアイリスデータとアイリス辞書の登録アイリスデータとを照合して利用者に対し本人、他人のいずれかを判定すると共に本人及び他人のいずれも判定できないと未定と判定する第1の判定部と、未定と判定されると利用者の他方の目から取得したアイリスデータとアイリス辞書の登録アイリスデータとを照合し、該照合結果が未定であると本人と判定する第2の判定部とを含むことを特徴とするアイリス認識装置。
【0011】
〈構成2〉
登録者の異なった部位の生体情報が登録されている生体情報登録部と、利用者の一方の部位から取得した生体情報と生体情報登録部の登録生体情報とを照合し、利用者に対し本人、他人のいずれかを判定すると共に本人及び他人のいずれも判定できないと未定と判定する第1の判定部と、未定と判定されると利用者の他方の部位から取得した生体情報と生体情報登録部の登録生体情報とを照合し、照合結果が未定であると本人と判定する第2の判定部とを含むことを特徴とする本人認証システム。
【0013】
【発明の実施の形態】
以下、本発明の実施の形態を具体例を用いて詳細に説明する。
《具体例1》
〈構成〉
図1は本発明のアイリス認識装置の具体例を示す構成図である。
図の装置は、制御部1、光学部2、表示部3、入力部4、アイリス辞書5からなる。
【0014】
制御部1は、装置全体の制御、画像のキャプチャ、認識処理全般の動作を行う機能部であり、登録部11、第1の判定部12、第2の判定部13を備えている。この制御部1は具体的にはパーソナルコンピュータ等で構成される。登録部11は、両目のアイリスデータを取得し、この両目のアイリスデータをアイリス辞書5に登録する機能を有している。第1の判定部12は、利用者のいずれか一方の目のアイリスデータと、アイリス辞書5中のアイリス辞書データとを照合し、本人判定結果の可否を送出する機能を有している。第2の判定部13は、第1の判定部12での結果が否であった場合、他方の目のアイリス照合を行い、この他方の目の照合結果が可であった場合は、その利用者は本人に間違いないと判定する機能を有している。
【0015】
光学部2は、認識対象となるアイリスの画像を撮影する手段であり、具体的には、エリアセンサ、レンズ、照明等から構成される。表示部3は、認識結果の表示、撮影したアイリスの映像の表示等を行う表示手段であり、具体的には、CRTや液晶ディスプレイ、状態表示用LED等からなる。入力部4は、本装置に対して、IDコード等の入力を行うための表示手段であり、具体的には、キーボード、カードリーダ等で構成される。
【0016】
アイリス辞書5は、両目のアイリスデータを利用者のIDコードと対応付けて格納するためのデータベースであり、具体的にはハードディスク装置や半導体メモリで構成される。
【0017】
〈動作〉
次に、上記構成のアイリス認識装置の動作について説明する。尚、本具体例においても、アイリス認識において、1:1照合を例に取って説明する。
【0018】
[登録モード]
図2は、具体例1のアイリス認識装置の登録モードの動作フローチャートである。
初めに、入力部4におけるキーボードやカードリーダ等の入力手段によって、利用者のIDコード入力が行われる(ステップS1)。次に、個人識別対象となるアイリスの画像が光学部2でキャプチャされる(ステップS2)。そして、利用者の両目のアイリス切出しが行われる。ここでは、アイリスの外縁と内縁の境界が検出される(ステップS3)。
【0019】
切り出されたアイリス部分の画像は、所定の特徴量が抽出され、コード化される(ステップS4)。コード化された利用者の両目のアイリス特徴量は、登録部11により、個人識別データとして利用者のIDコードとリンク付けられ、データベース中にアイリス辞書データとして蓄えられる(ステップS5)。
【0020】
このように、本具体例では、アイリス辞書5中に予め利用者の両目のアイリスデータを格納しておく。
【0021】
[照合モード]
本具体例では、照合の際に、片目での照合でリジェクトされた場合には、もう一方の目も照合を行い、複数の閾値(本具体例では二つの閾値)による両目の照合結果を総合的に判断し、リジェクトの発生を減少させる。
【0022】
図3は、照合モードにおける動作フローチャートである。
図4は、本具体例の判定結果の説明図である。
【0023】
図4において、Dlは本人であることが確実な場合の非類似度の第1の閾値、Dhは人がほぼ確実な場合の非類似度の第2の閾値を表し、Dl<Dhの関係となっている。また、図中の、×,△,○は次のような関係であることを示している。
【0024】
×:Dh<d(判定結果は他人)
△:Dl≦d≦Dh(判定結果は未定)
○:d<Dl(判定結果は本人)
【0025】
初めに、入力部4におけるキーボードやカードリーダ等の入力手段によって、利用者のIDコード入力が行われる(ステップS11)。次に、個人識別対象となるアイリスの画像が光学部2によってキャプチャされる(ステップS12)。
【0026】
次に、利用者の片目(例えば、本具体例では左目とする)のアイリスの切出しが行われる。ここでは、アイリスの外縁と内縁の境界が検出される(ステップS13)。そして、切り出されたアイリス部分の画像は、所定の特徴量が抽出され、コード化される(ステップS14)。
【0027】
次に、コード化された利用者のアイリス特徴量は、第1の判定部12により、アイリス辞書5中の、IDコードに該当するアイリス辞書データと照合(マッチング)が行われ、その非類似度が算出される(ステップS15)。このステップS15の照合処理において、左目の非類似度dl<Dl(図4中、○で示す)の場合には、本人であると判断される(ステップS16、S17)。
【0028】
一方、ステップS16の判定処理において、左目の非類似度dl≧Dl(図4中、△または×で示す)の場合には、第1の判定部12における判定結果は否であるとして、もう一方の目(この場合は右目)の照合動作に進む。
【0029】
利用者のもう一方の目(右目)のアイリスの切出しが行われる。ここでは、アイリスの外縁と内縁の境界が検出される(ステップS18)。そして、切り出されたアイリス部分の画像は、所定の特徴量が抽出され、コード化される(ステップS19)。
【0030】
次に、コード化された利用者のアイリス特徴量は、第2の判定部13により、アイリス辞書5中の、IDコードに該当するアイリス辞書データと照合(マッチング)が行われ、その非類似度が算出される(ステップS20)。このステップS20の照合処理において、右目の非類似度dr<Dl(図4中、○で示す)の場合には、その総合判定結果は本人となる(ステップS21、S22)。
【0031】
また、人間の両目は全く異なるアイリスの模様を持っており、両目共に非類似度が比較的小さい場合には本人と確認できるため、両目の非類似度(dl,dr)が共に、Dl≦(dl,dr)≦Dh(図4中、△で示す)であった場合にも、その総合判定結果は本人であると判断する(ステップS21、S22)。尚、これ以外の値であった場合は本人ではないとし、リジェクトされる(ステップS23)。
【0032】
〈効果〉
以上のように、具体例1によれば、両目のアイリス辞書データを用意し、照合の際には、片目での照合でリジェクトされた場合にはもう一方の目も照合を行い、複数の閾値による両目の照合結果を総合的に判断することにより、リジェクトの発生を減少させることができる。その結果、例えば、眼鏡をかけていたり、コンタクトレンズを装着している人であっても、本人拒否となってしまう確率を下げることができ、装置としての信頼性を向上させることができる。
【0033】
《具体例2》
具体例2は、両目の照合を行った場合は、利用者のアイリスデータをアイリス辞書データとしてデータベースに格納するようにしたものである。
【0034】
〈構成〉
図面上の構成は、図1に示した具体例1の構成と同様であるため、図1を援用して説明する。
本具体例が具体例1と異なる点は、登録部11の機能に関することである。即ち、具体例2における登録部11は、第2の判定部13で本人であると判定された場合は、その利用者のアイリスデータをアイリス辞書データとしてアイリス辞書5に登録する機能を有している。他の各構成は、具体例1と同様であるため、その説明は省略する。
【0035】
〈動作〉
[登録モード]
具体例2においても、通常の登録モードは具体例1と同様であるため、その説明は省略する。
【0036】
[照合モード]
図5は、具体例2の照合モードの動作フローチャートである。
具体例2の動作が図3に示した具体例1の動作と異なるのは、ステップS44のみであり、ステップS31〜ステップS43は、図3のステップS11〜23と同様である。
【0037】
具体例2では、ステップS42において、本人であると確認された場合、登録部11は、ステップS36において本人ではないと判定されたアイリスデータ(図4中の、△、×のデータ)、あるいは、両目の非類似度(dl,dr)が共に、Dl≦(dl,dr)≦Dhであった場合(図4中、両目共△のデータ)の両目のアイリスデータを、アイリス辞書データとしてアイリス辞書5に追加する(ステップS44)。
【0038】
このような動作を行うことにより、非類似度がある程度差のあるアイリスデータがアイリス辞書データとして登録される(いわゆるマルチテンプレートである)ため、次の照合において認識率を向上させることができる。例えば、前回は、左目が×、右目が○であった場合でも、今回は×となった場合のアイリスデータと照合するため、最初に行う左目の照合で本人として確認できる確率を高くすることができる。
【0039】
〈効果〉
以上のように、具体例2によれば、具体例1の構成に加えて、両目の照合を行った結果、本人であると判定した場合は、本人判定結果が否であったアイリスデータをアイリス辞書データとして登録するようにしたので、次回照合時の認識率を向上させることができ、その結果アイリス認識装置としての信頼性を向上させることができる。
【0040】
尚、上記各具体例では、非類似度を第1、第2の閾値と比較することで本人判定を行ったが、類似度を所定の閾値と比較することで本人判定を行うようにしてもよい。また、各具体例では、1:1照合を例に取って説明したが、1:n照合であっても同様に適用可能である。
【図面の簡単な説明】
【図1】本発明のアイリス認識装置の具体例1の構成図である。
【図2】具体例1のアイリス認識装置の登録モードの動作フローチャートである。
【図3】具体例1のアイリス認識装置の照合モードの動作フローチャートである。
【図4】具体例1のアイリス認識装置の判定結果の説明図である。
【図5】具体例2のアイリス認識装置の照合モードの動作フローチャートである。
【符号の説明】
5 アイリス辞書
11 登録部
12 第1の判定部
13 第2の判定部

Claims (5)

  1. 登録者の両目の登録アイリスデータが格納されているアイリス辞書と、
    利用者の一方の目から取得したアイリスデータと前記アイリス辞書の登録アイリスデータとを照合して前記利用者に対し本人、他人のいずれかを判定すると共に前記本人及び他人のいずれも判定できないと未定と判定する第1の判定部と、
    前記未定と判定されると前記利用者の他方の目から取得したアイリスデータと前記アイリス辞書の登録アイリスデータとを照合し、該照合結果が未定であると本人と判定する第2の判定部と、
    を含むことを特徴とするアイリス認識装置。
  2. 前記第2の判定部は、前記第1の判定部が未定及び他人のいずれかを判定しても前記照合結果が本人であると本人と判定することを特徴とする請求項1記載のアイリス認識装置。
  3. 前記第1及び第2の判定部がそれぞれ前記未定と判定すると、前記両目から取得した二つのアイリスデータを前記アイリス辞書に追加登録する登録部を更に備えることを特徴とする請求項1記載のアイリス認識装置。
  4. 前記第1の判定部と前記第2の判定部は、本人と判定するための第1の閾値と他人と判定するための第2の閾値とを参照して前記本人、前記未定及び前記他人のいずれかを判定する請求項1記載のアイリス認識装置。
  5. 登録者の異なった部位の生体情報が登録されている生体情報登録部と、
    利用者の一方の部位から取得した生体情報と前記生体情報登録部の登録生体情報とを照合し、前記利用者に対し本人、他人のいずれかを判定すると共に前記本人及び他人のいずれも判定できないと未定と判定する第1の判定部と、
    前記未定と判定されると前記利用者の他方の部位から取得した生体情報と前記生体情報登録部の登録生体情報とを照合し、照合結果が未定であると本人と判定する第2の判定部と、
    を含むことを特徴とする本人認証システム。
JP16906399A 1999-06-16 1999-06-16 アイリス認識装置及び本人認証システム Expired - Fee Related JP4037009B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16906399A JP4037009B2 (ja) 1999-06-16 1999-06-16 アイリス認識装置及び本人認証システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16906399A JP4037009B2 (ja) 1999-06-16 1999-06-16 アイリス認識装置及び本人認証システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007234209A Division JP4556977B2 (ja) 2007-09-10 2007-09-10 本人認証システム

Publications (2)

Publication Number Publication Date
JP2000357232A JP2000357232A (ja) 2000-12-26
JP4037009B2 true JP4037009B2 (ja) 2008-01-23

Family

ID=15879661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16906399A Expired - Fee Related JP4037009B2 (ja) 1999-06-16 1999-06-16 アイリス認識装置及び本人認証システム

Country Status (1)

Country Link
JP (1) JP4037009B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7933507B2 (en) 2006-03-03 2011-04-26 Honeywell International Inc. Single lens splitter camera
US8705808B2 (en) 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
US8050463B2 (en) 2005-01-26 2011-11-01 Honeywell International Inc. Iris recognition system having image quality metrics
US8098901B2 (en) 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US8442276B2 (en) 2006-03-03 2013-05-14 Honeywell International Inc. Invariant radial iris segmentation
US8049812B2 (en) 2006-03-03 2011-11-01 Honeywell International Inc. Camera with auto focus capability
US8090157B2 (en) 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
FR2884633B1 (fr) * 2005-04-19 2007-06-01 Sagem Procede d'identification des iris de deux yeux
EP1991947B1 (en) 2006-03-03 2020-04-29 Gentex Corporation Indexing and database search system
JP2009529201A (ja) 2006-03-03 2009-08-13 ハネウェル・インターナショナル・インコーポレーテッド 都合のよい符合化システム
WO2008019168A2 (en) 2006-03-03 2008-02-14 Honeywell International, Inc. Modular biometrics collection system architecture
US8063889B2 (en) 2007-04-25 2011-11-22 Honeywell International Inc. Biometric data collection system
US8436907B2 (en) 2008-05-09 2013-05-07 Honeywell International Inc. Heterogeneous video capturing system
US8213782B2 (en) 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system
US8090246B2 (en) 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
US8280119B2 (en) 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8630464B2 (en) 2009-06-15 2014-01-14 Honeywell International Inc. Adaptive iris matching using database indexing
US8742887B2 (en) 2010-09-03 2014-06-03 Honeywell International Inc. Biometric visitor check system
CN106899567B (zh) * 2016-08-24 2019-12-13 阿里巴巴集团控股有限公司 用户核身方法、装置及***

Also Published As

Publication number Publication date
JP2000357232A (ja) 2000-12-26

Similar Documents

Publication Publication Date Title
JP4037009B2 (ja) アイリス認識装置及び本人認証システム
US6160903A (en) Method of providing secure user access
Jain et al. Biometric identification
KR100823755B1 (ko) 생체 인증 시스템 및 생체 인증 방법
JP4196973B2 (ja) 個人認証装置および方法
US6700998B1 (en) Iris registration unit
JP3827600B2 (ja) 個人認証方法および装置
JP4786483B2 (ja) 生体認証装置の生体誘導制御方法及び生体認証装置
JP4862447B2 (ja) 顔認識システム
EP1291807B1 (en) Person recognition apparatus and method
JP4762805B2 (ja) 生体認証方法及び生体認証システム
JPH0991434A (ja) 人物照合装置
JP2003317100A (ja) 情報端末装置、認証システム、及び登録・認証方法
JP2009211488A (ja) 認証装置
JP4672357B2 (ja) 認証システム
JP4705511B2 (ja) 顔画像照合装置
JP2001005836A (ja) アイリス登録システム
JP2005100062A (ja) 認証装置および認証方法
JP3999983B2 (ja) 操作者監視装置
KR20100041562A (ko) 인증 대상자의 얼굴 인식과 지문 인식을 통한 사용자 인증 수행 방법 및 시스템
JP4705512B2 (ja) 顔画像照合装置
JP3556281B2 (ja) 人体照合装置
JP3803984B2 (ja) 個人識別方法とコンタクトレンズ
JP4556977B2 (ja) 本人認証システム
JP2003044858A (ja) 個人認証装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071031

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131109

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees