JP4126754B2 - 個人特徴パターン検出装置 - Google Patents

個人特徴パターン検出装置 Download PDF

Info

Publication number
JP4126754B2
JP4126754B2 JP16320798A JP16320798A JP4126754B2 JP 4126754 B2 JP4126754 B2 JP 4126754B2 JP 16320798 A JP16320798 A JP 16320798A JP 16320798 A JP16320798 A JP 16320798A JP 4126754 B2 JP4126754 B2 JP 4126754B2
Authority
JP
Japan
Prior art keywords
measurement site
temperature
measurement
blood vessel
heat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP16320798A
Other languages
English (en)
Other versions
JPH11347015A (ja
Inventor
▲吉▼雄 渡辺
嘉敏 伊藤
静夫 石川
晋一郎 梅村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP16320798A priority Critical patent/JP4126754B2/ja
Publication of JPH11347015A publication Critical patent/JPH11347015A/ja
Application granted granted Critical
Publication of JP4126754B2 publication Critical patent/JP4126754B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は体表面下の血管パターンの特徴を利用して、個人を識別するための個人特徴パターン検出装置に関する。
【0002】
【従来の技術】
従来、個人を識別することは、主に銀行端末やコンピュータの使用許可を与えたり、入室者に制限のある部屋への入退室管理等で用いられていた。これらの場合、個人識別には暗証番号やパスワードを用いる方法が主に用いられてきた。しかし最近は生体の持つ特徴を利用して個人識別を行う技術の開発が進められている。
【0003】
その一つに、手の甲や指の血管パターンを利用する方法が知られている。即ち、手の甲の血管パターンを利用する方法が英国特許2156127B号や雑誌「センサー・レビュー」12巻3号(1992年)19頁から23頁に示されている。また、透過光による手の甲の血管パターン写真が雑誌「病態生理」11巻8号(1992年)620頁から629頁に示されている。また、指の血管パターンを利用する方法が特開平7−21373号に開示されている。
【0004】
【発明が解決しようとする課題】
体内にある血管パターンを利用する方法は盗難や偽造が難しいためにセキュリティを高めるという利点がある。これらの従来例では、比較的生体を透過しやすい近赤外の透過光や反射光の強度測定(以下、この測定法を透過法,反射法と呼ぶ)を用いて測定部位の体表面に近い血管パターンを計測する。
【0005】
しかし、対象とする抹消血管が室温などの測定環境温度により拡張・収縮し、透過法や反射法で再現性のよい血管パターンが得られず、識別の正確さが悪くなる。例えば、測定環境温度の異なる冬季と夏季や室外と室内では測定部位の温度が異なり、血管が収縮する寒い環境と拡張する暑い環境では血管パターンが異なるという問題が生じることが分かった。上記の従来例にはこの問題点は記載されていなかった。
【0006】
本発明の目的は、生体の血管パターンを対象とする個人識別において、測定環境温度の影響を防止して血管パターンの再現性を高める個人特徴パターン検出装置を提供することにある。
【0007】
【課題を解決するための手段】
測定環境温度の影響による血管パターンの変動防止のためには、測定部位を装着する測定部位装着部の温度を一定温度以内に保つようにすれば解決する。即ち、個人特徴パターン検出装置に、熱源,熱伝導部,測定部位装着部,熱センサ,温度制御部を組み込み、測定部位の皮下にある血管パターンを撮影する前に、測定部位装着部を設定温度に設定して測定部位を一定温度以内に調整することで、課題を解決できる。なお、血管パターン取得後の個人識別の具体的方法については、前記雑誌「センサー・レビュー」12巻3号(1992年)19頁から23頁、特開平7−21373号等に詳述されており、これらの方法を用いればよい。
【0008】
【発明の実施の形態】
図1は本発明による個人特徴パターン検出装置の温度設定部の一実施例を示すブロック構成図である。装置の構成と基本的な動作について述べる。個人特徴パターン検出装置は、測定部位1を装着する測定部位装着部2,上記測定部位装着部2を一定温度に設定する温度制御部3,前記測定部位装着部2に熱を伝える熱伝導部4,上記熱伝導部4に設置する熱源5と熱センサ6、および測定部位1から取得される血管パターンの計測部(後述するので図示しない),識別部(公知なので図示しない)で構成される。
【0009】
計測部の計測法としては、次の実施例以降で例示する近赤外光による透過法または反射法の他、核磁気共鳴,超音波を用いることも可能である。測定部位1は手(手の甲や指等),耳朶を初めとする任意の部位が可能で、測定部位装着部2は測定部位1に合った形状とし、温度制御部3は電子回路工学で公知の回路である。また、熱伝導部4にはアルミニウムや黄銅等の熱伝導率が高い材質を、熱源5には加熱用にはヒータを、冷熱用や加冷熱用にはペルチェ素子を、熱センサ6にはサーミスタや熱電対等を、識別部には前記雑誌「センサー・レビュー」12巻3号(1992年)19頁から23頁、または特開平7−21373号等で公知の方法を用いた。
【0010】
次に動作としては、温度制御部3で設定温度を指定すると、熱源5から熱伝導部4に熱が伝わり、上記熱伝導部4に設置される熱センサ6で温度が検出される。熱伝導部4は、アルミニウムや黄銅のように熱伝導率が極めて高いために、熱源5と熱センサ6の温度差は無視できる。熱センサ6の出力からフィードバックされる温度情報により温度制御部3が熱源5に供給する電力を制御するように設計している。即ち、熱センサ6の温度と温度制御部3の設定温度との差により熱源5に供給する電力を温度制御部3が制御することにより、測定部位装着部2を設定温度に制御し、その結果、測定部位1を測定時に一定温度以内に保つことができる。
【0011】
温度制御部3の設定温度としては、体温37℃の前後温度の他、年平均温度の前後温度、温度制御されている室内では快適温度20℃の前後温度を用いてもよいが、使用環境で一定値であれば他の温度でも構わない。我々の実験結果からは、設定温度に対する変動幅は最大±5℃にする必要があり、できれば±1℃以内が好ましい。
【0012】
なお、図2に近赤外光透過法での温度差による指の血管分布のデータを示すが、(a)は設定温度20℃の場合、(b)は設定温度5℃の場合である。5℃では収縮して見えない血管10,11,12が、20℃では拡張して見えており、測定部位を一定温度に保つことの重要性が分かるデータである。
【0013】
本実施例では、測定環境温度の影響を防止し、識別に必要なデータ再現性を高めた血管パターンの個人特徴パターン検出装置を実現できる効果がある。
【0014】
図3は、本発明による個人特徴パターン検出装置の一実施例を示す断面構成図である。測定部位の皮下にある血管パターンを対象として近赤外光を用いて反射法で測定する装置の構成と基本的な動作について述べる。
【0015】
本実施例の個人特徴パターン検出装置は、測定部位1を装着する測定部位装着部2,温度制御部3,熱伝導部4,熱源5,熱センサ6,光源20,出射光21,光学レンズ22,光検出器23,反射光24、および識別部(公知なので図示しない)から成る。測定部位1は任意の部位が可能であるが、ここでは手(手の甲や指等)とし、測定部位装着部2は測定部位1の手を置きやすい平面的な形状とし、温度制御部3は公知の電子回路とした。
【0016】
また、熱伝導部4にはアルミニウムや黄銅等の熱伝導率が高い材質を、熱源5には加熱用としてヒータを、冷熱用や加冷熱用としてはペルチェ素子を、熱センサ6にはサーミスタや熱電対等を、光源20には近赤外光用の発光ダイオードやレーザダイオード等の半導体素子を、光検出器23にはCCDカメラのような撮像素子を、識別部には前記雑誌「センサー・レビュー」12巻3号(1992年)19頁から23頁、または特開平7−21373号等で公知の方法を用いた。
【0017】
ここで、光源20として、近赤外光用の半導体素子を用いたが、キセノンランプ等からの光を分光した近赤外光を出射光21として用いたり、キセノンランプ等からの反射光24に対して光検出器23の前に近赤外光用フィルタを設置してもよい。
【0018】
光源20からの出射光21は光学レンズ22で集光されて測定部位1に照射される。照射側から測定部位1へ入射した近赤外光は、生体組織で散乱・吸収されながら体内を透過し、血管で大きく吸収される。一方、生体組織や血管での反射光は、往路と同様に、生体組織で散乱・吸収されながら体内を透過して体表面に戻って来る。近赤外光は生体組織での吸収が少なく、血管中のヘモグロビンによる吸収が大きいために、測定部位1の体表面から体外に出射される際、測定部位1の出射側の表面近くに血管があると、血管中のヘモグロビンで近赤外光が大きく吸収され、測定部位1の出射側表面には血管パターンの影が投影される。体表面の血管パターンを含む反射光は光学レンズ22で集光された後、反射光24として光検出器23で検出される。温度制御部3の動作、および設定温度と上記設定温度に対する変動幅は、最初の実施例に示す通りである。
【0019】
本実施例では、反射法において、識別や認証に必要なデータ再現性を高めた血管パターンの個人特徴パターン検出装置を実現できる効果がある。
【0020】
図4は、本発明による個人特徴パターン検出装置の他の一実施例を示す断面構成図である。測定部位の皮下にある血管パターンを対象として近赤外光を用いて透過法で測定する装置の構成と基本的な動作について述べる。個人特徴パターン検出装置は、測定部位1を装着する測定部位装着部2,温度制御部3,熱伝導部4,熱源5,熱センサ6,光源20,出射光21,光学レンズ22,25,光検出器23,透過光26、および識別部(公知なので図示しない)から成る。測定部位1は任意の部位が可能であるが、ここでは手(手の甲や指等)とし、測定部位装着部2は測定部位1の手を置きやすい平面的な形状とするが、透過光を遮光しないように近赤外光に対して透過な材質、例えば透明アクリルや透明ガラスを用いた。
【0021】
また、温度制御部3には公知の電子回路を、熱伝導部4にはアルミニウムや黄銅等の熱伝導率が高い材質を、熱源5には加熱用としてヒータを、冷熱用や加冷熱用としてはペルチェ素子を、熱センサ6にはサーミスタや熱電対等を、光源20には近赤外光用の発光ダイオードやレーザダイオード等の半導体素子を、光検出器23にはCCDカメラのような撮像素子を、識別部には前記雑誌「センサー・レビュー」12巻3号(1992年)19頁から23頁、または特開平7− 21373 号等で公知の方法を用いた。
【0022】
ここで、光源20として、近赤外光用の半導体素子を用いたが、キセノンランプ等からの光を分光した近赤外光を出射光21として用いたり、キセノンランプ等からの透過光26に対して光検出器23の前に近赤外光用フィルタを設置してもよい。
【0023】
光源20からの出射光21は光学レンズ22で集光されて測定部位1に照射される。照射側から測定部位1へ入射した近赤外光は、生体組織で散乱・吸収されながら体内を透過し、血管で大きく吸収される。近赤外光は生体組織での吸収が少なく、血管中のヘモグロビンによる吸収が大きいために、測定部位1の体表面から体外に出射される際、測定部位1の出射側の表面近くに血管があると、血管中のヘモグロビンで近赤外光が大きく吸収され、測定部位1の出射側表面には血管パターンの影が投影される。体表面の血管パターンを含む透過光24は集光レンズ22で集光された後、光検出器23で検出される。温度制御部3の動作、および設定温度と上記設定温度に対する変動幅は、最初の実施例に示す通りである。
【0024】
この実施例においては、測定部位1の撮影対象面(光検出器23側)を測定部位装着部2に接する構造としているが、装着時の圧力により体表面下の浅い血管が潰れる場合もあり、この場合は測定部位1の撮影非対象面(光源20側)を測定部位装着部2に接する構造とし、血管パターンを得るようにすればよい。即ち、図4で言えば、測定部位1と測定部位装着部2の上下関係を逆にすれば良く、測定部位装着部2を透過した光が測定部位1に入射する構造になる。
【0025】
また、透過法の場合、光源20からの出射光21が測定部位1の周辺から光検出器23に回り込み、血管パターンが不鮮明になる場合がある。この場合はスリットが有効である。例えば、測定部位1に接する最小限の面積のみを測定部位装着部2とし、上記測定部位装着部2に接する熱伝導部4を近赤外光を透過しない材質とする。
【0026】
これらを補足説明するために、図5に、本発明による個人特徴パターン検出装置の他の実施例の平面構成図を示す。個人特徴パターン検出装置は、測定部位1である手を装着する測定部位装着部2,温度制御部3,熱伝導部4,熱源5,熱センサ6,計測部(既述のため図示しない)、および識別部(公知なので図示しない)で構成される。図4に比し、測定部位1と測定部位装着部2の位置関係が反転しており、熱伝導部4は黒色プラスチック等の近赤外光を透過しない材質である点以外は、基本的には図4と同じ構成・材質である。ただし、測定部位1である手の形に合わせて測定部位装着部2と熱伝導部4の形を設計し、熱伝導を良好にするために熱源5は熱伝導部4に広範囲に埋め込んでいる。
【0027】
近赤外光は紙面の垂直面内で、紙面奥側から手前に向けて測定部位装着部2,測定部位1の順に透過して、血管パターンを含む透過光が紙面手前に出射されるので、これを光検出器で検出する。その他の動作は図4の実施例に準じるので、説明は省略する。
【0028】
これらの実施例では、透過法において、識別や認証に必要なデータ再現性を高めた血管パターンの個人特徴パターン検出装置を実現できる効果がある。
【0029】
図6は本発明による個人特徴パターン検出装置の温度設定部の一実施例を示す概略図である。装置の構成と基本的な動作について述べる。個人特徴パターン検出装置は、測定部位1を装着する測定部位装着部2,温度制御部3,熱源5,熱センサ6,カバー40と送風器41から成る熱伝導部、上記カバー40への部位挿入部42、および計測部,識別部(これらは公知なので図示しない)で構成される。
【0030】
本実施例では、測定部位をカバーで覆うことにより、識別に必要なデータ再現性を高めた血管パターンの個人特徴パターン検出装置を実現できる。
【0031】
計測部の計測法としては、既述した近赤外光による透過法または反射法の他、核磁気共鳴,超音波を用いることも可能である。カバー40はプラスチック等の断熱材、送風器41はファン等を使用した。部位挿入部42はカバー40を開口することで設けたが、後述のように開閉部であってもよい。その他の構成要素である測定部位装着部2,温度制御部3,熱源5,熱センサ6、識別部は最初の実施例で述べた通りである。
【0032】
次に動作としては、送風器41と断熱材のカバー40が前述の実施例の熱伝導部の役割を果たす。温度制御部3で設定温度を指定すると、熱源5からカバー40内に熱が伝わり、上記カバー40内に設置される熱センサ6で温度が検出される。熱センサ6の出力からフィードバックされる温度情報により温度制御部3が熱源5に供給する電力を制御するように設計している。即ち、熱センサ6の温度と温度制御部3の設定温度との差により熱源5に温度制御部3から供給する電力を温度制御部3が制御することにより、部位挿入部42からカバー40内に挿入した測定部位1を、測定時に一定温度以内に保つことができる。温度制御部3の設定温度と上記設定温度に対する変動幅は、最初の実施例に示す通りである。
【0033】
なお、本実施例において、部位挿入部42を、開口部として常時開いた状態で設けないで、ドアのような開閉部とすることも可能である。この場合は、計測前に測定部位を有する生体をカバー、例えばドア付きの部屋、の中に入れ、測定後に開閉部を開けてカバーの外に生体を出せばよい。本実施例によれば、快適温度20℃の前後温度に温度制御されている室内において再現性のよいデータが得られる。
【0034】
【発明の効果】
本発明は個人識別に一定温度以内に設定した測定部位を用いるため、測定環境温度の影響を防止して血管パターンの再現性を高めた個人特徴パターン検出装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の1実施例の個人特徴パターン検出装置の温度設定部のブロック図。
【図2】近赤外光透過法での温度差による指の血管分布を示す図。
【図3】本発明による個人特徴パターン検出装置の一実施形態を示す断面構成図。
【図4】本発明による個人特徴パターン検出装置の一実施形態を示す断面構成図。
【図5】本発明による個人特徴パターン検出装置の一実施形態を示す平面構成図。
【図6】本発明による個人特徴パターン検出装置の温度設定部の一実施形態を示す概略図。
【符号の説明】
1…測定部位、2…測定部位装着部、3…温度制御部、4…熱伝導部、5…熱源、6…熱センサ、10−12…血管、20…光源、21…出射光、22,25…光学レンズ、23…光検出器、24…反射光、26…透過光、40…カバー、41…送風器、42…部位挿入部。

Claims (3)

  1. 体表面下にある血管パターンを画像化して個人識別に用いる装置において、
    少なくとも熱源、測定部位を装着する測定部位装着部,熱センサ,温度制御部を有し、
    上記熱センサからの情報に基づいて上記温度制御部は上記測定部位装着部に装着される測定部位を一定温度以内に設定し、
    上記熱源、上記測定部位装着部,上記熱センサとを少なくとも内部に格納し、上記測定部位を挿入可能な開口部を有する断熱材からなるカバーを備えることを特徴とする個人特徴パターン検出装置。
  2. 上記温度制御部は上記熱センサの温度と設定温度との差により熱源に供給する電力を制御して上記測定部位装着部を一定温度以内に設定することを特徴とする請求項1記載の個人特徴パターン検出装置。
  3. 上記カバー内部に送風手段を有することを特徴とする請求項1記載の個人特徴パターン検出装置。
JP16320798A 1998-06-11 1998-06-11 個人特徴パターン検出装置 Expired - Lifetime JP4126754B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16320798A JP4126754B2 (ja) 1998-06-11 1998-06-11 個人特徴パターン検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16320798A JP4126754B2 (ja) 1998-06-11 1998-06-11 個人特徴パターン検出装置

Publications (2)

Publication Number Publication Date
JPH11347015A JPH11347015A (ja) 1999-12-21
JP4126754B2 true JP4126754B2 (ja) 2008-07-30

Family

ID=15769334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16320798A Expired - Lifetime JP4126754B2 (ja) 1998-06-11 1998-06-11 個人特徴パターン検出装置

Country Status (1)

Country Link
JP (1) JP4126754B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627145B2 (en) 2000-09-06 2009-12-01 Hitachi, Ltd. Personal identification device and method
JP3558025B2 (ja) 2000-09-06 2004-08-25 株式会社日立製作所 個人認証装置及び方法
JP3396680B2 (ja) 2001-02-26 2003-04-14 バイオニクス株式会社 生体認証装置
JP2003093369A (ja) * 2001-09-21 2003-04-02 Sony Corp 認証処理システム、および認証処理方法、並びにコンピュータ・プログラム
JP3770241B2 (ja) 2003-03-04 2006-04-26 株式会社日立製作所 個人認証装置及び個人認証方法
JP4704129B2 (ja) * 2005-06-30 2011-06-15 富士通株式会社 生体認証方法、生体認証装置及び血管像読取装置
RU2011121349A (ru) * 2008-10-27 2012-12-10 Конинклейке Филипс Электроникс Н.В. Устройство и способ для оптического исследования внутреннего объема части организма
US9849026B2 (en) * 2010-12-16 2017-12-26 Scion Neurostim, Llc Apparatus and methods for producing brain activation via the vestibular system with time-varying waveforms
JP5174199B2 (ja) * 2011-02-21 2013-04-03 富士通株式会社 血管像読取装置
JP5156104B2 (ja) * 2011-02-21 2013-03-06 富士通株式会社 生体認証方法及び生体認証装置
JP5522119B2 (ja) * 2011-05-20 2014-06-18 株式会社日立製作所 血管画像撮影装置
JP2012128868A (ja) * 2012-02-16 2012-07-05 Hitachi Ltd 特徴画像撮影装置、及び個人認証装置
JP6307549B2 (ja) * 2016-04-28 2018-04-04 株式会社日立製作所 血管画像撮影装置

Also Published As

Publication number Publication date
JPH11347015A (ja) 1999-12-21

Similar Documents

Publication Publication Date Title
JP4126754B2 (ja) 個人特徴パターン検出装置
Jones et al. Digital infrared thermal imaging of human skin
US11635331B2 (en) Systems and approaches for improving accuracy of temperature measurements using thermal imaging
US10909835B1 (en) Rapid thermal dynamic image capture devices
Lawson et al. Thermographic assessment of burns and frostbite
Barnes Thermography of the Human Body: Infrared-radiant energy provides new concepts and instrumentation for medical diagnosis.
Wolff et al. Quantitative measurement of illumination invariance for face recognition using thermal infrared imagery
Buzug et al. Functional infrared imaging for skin-cancer screening
US10445556B2 (en) Optical system for biometric identification of a user
US20130215928A1 (en) Method and device for measuring the internal body temperature of a patient
CN102265125B (zh) 具有杂散辐射屏蔽的非接触式医用温度计
US20160037132A1 (en) Contactless fingerprint acquisition and processing
JP2002042117A (ja) 指紋認証装置
PL180550B1 (pl) Sposób i urzadzenie do pomiaru ukladu linii na powierzchni co najmniej czesciowo przenoszacej cieplo PL PL PL PL PL PL
JPH10503944A (ja) 人体と検出器の間の熱交換ならびに人血中のグルコーゼ濃度とのその相関を検知する方法と装置
JP2004500163A (ja) 固体非侵襲性熱サイクリング分光計
CN104520683A (zh) 温度测定装置及温度测定方法
Koda et al. Advances in capturing child fingerprints: A high resolution CMOS image sensor with SLDR method
JP7266279B2 (ja) システムおよびプログラム等
EP3924704A1 (en) Temperature sensing apparatus for use with a photo-thermal targeted treatment system and associated methods
JPH09503049A (ja) 高温熱電素子の較正
KR102172320B1 (ko) Pir 센서를 이용한 저전력 얼굴인식 시스템 및 그 제어 방법
JP2001318003A (ja) 熱物性値測定装置
JP2000134611A (ja) 侵入者監視装置
Cho et al. Thermal handprint analysis for forensic identification using Heat-Earth Mover's Distance

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050608

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050608

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050608

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080505

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

EXPY Cancellation because of completion of term