JPH04346311A - 多焦点カメラ - Google Patents

多焦点カメラ

Info

Publication number
JPH04346311A
JPH04346311A JP12005991A JP12005991A JPH04346311A JP H04346311 A JPH04346311 A JP H04346311A JP 12005991 A JP12005991 A JP 12005991A JP 12005991 A JP12005991 A JP 12005991A JP H04346311 A JPH04346311 A JP H04346311A
Authority
JP
Japan
Prior art keywords
liquid crystal
lens
optical system
focus
crystal plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP12005991A
Other languages
English (en)
Other versions
JP3091255B2 (ja
Inventor
Susumu Kikuchi
菊地 奨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP12005991A priority Critical patent/JP3091255B2/ja
Publication of JPH04346311A publication Critical patent/JPH04346311A/ja
Application granted granted Critical
Publication of JP3091255B2 publication Critical patent/JP3091255B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Lens Barrels (AREA)
  • Diaphragms For Cameras (AREA)
  • Liquid Crystal (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、液晶を制御すること
により焦点深度を可変させる多焦点カメラに関するもの
である。
【0002】
【従来の技術】一般にレンズや開口絞り等で構成される
従来の結像光学系を用いて入力される画像は、解像度と
焦点深度とはトレードオフの関係にある。つまり、解像
度や明るさを向上させるためには結像光学系の開口を大
きくする必要があるが、一般に開口が大きい光学系は焦
点深度が浅くなる。これを解決する一手段として、次の
文献[ W.T.Welford,J Opt Sur
 Am, 50, 749.(1960) ]に紹介さ
れいるような輪帯開口等の特殊な開口を設けた結像光学
系を用いる手段が知られている。この手段によれば焦点
深度の深い画像が簡単に得られるという利点があるが、
解像度や光量を著しく損うという欠点のほか、写真用の
フィルムや合成樹脂などの材料を用いて特殊開口を構成
すると、光学的特性が固定されてしまい、目的に応じて
特性を変更するのが難しい問題があった。
【0003】ところが、カメラや顕微鏡など画像機器を
利用する分野においては、得られた画像が解像度や明る
さに優れ、しかも焦点深度の深い画像であることが強く
要求されていた。
【0004】
【発明が解決しようとする課題】この発明は、上記した
ような従来の結像光学系で、焦点深度を深くしようとす
ると解像度や明るさが犠牲になり、また、焦点深度を自
由に可変とすることは困難である問題を解決するために
なされたもので、解像度や明るさを保ちつつ、焦点深度
を容易に可変しつつ画像を拡大できる、多焦点カメラを
提供することを目的としている。
【0005】
【課題を解決するための手段】この発明は、上記目的を
達成するために光学レンズと多数の画素で構成され屈折
率を局所的に可変にできる液晶レンズとを用いて結像光
学系を構成し、この液晶レンズ上にフレネル輪帯を形成
させるとともに隣り合うフレネル輪帯の屈折率を変える
ことにより輪帯間の光学的位相差が所定値に調整された
フレネルゾーンプレートを形成させ、非回折光と±1次
回折光の回折効率を等しくすることによりレンズの焦点
距離fl とフレネルゾーンプレートの焦点距離±fz
 とを有する多焦点光学系を構成するものである。
【0006】また、光学系により結像された像を電気的
画像信号に変換する光電変換手段と光電変換手段により
得られた電気的画像信号に対して所定の空間周波数領域
を強調する空間周波数フィルタリング手段を備えたこと
も特徴としている。
【0007】さらに、被写体に対し光学レンズで焦点を
合わせたときのこの光学レンズの位置を検出する位置検
出手段と、位置検出手段により得られた位置データをも
とに上記液晶プレート制御手段の上記液晶プレートに対
する制御条件を設定する条件設定手段とを備えたことも
特徴としている。
【0008】
【作用】このような構成を用いることにより、レンズや
フレネルゾーンプレートの個々の焦点深度を多焦点光学
系との作用により実質的に焦点深度の大きい光学系を構
成できる。これは、焦点の数を増やすものであり、また
ここで用いるフレネルゾーンプレートは輪帯にストッパ
を置くものではなく位相差をつけるものであるので光量
を減ずることはなく、また光学系本来の解像度を劣化さ
せることもない。加えて、液晶レンズの各画素に対する
印加電圧のパターンを変えることにより容易にフレネル
ゾーンプレートの焦点距離±fz を変更でき、結像光
学系の焦点深度変更が可能になる。また、空間周波数フ
ィルタリング手段を設けることにより輪郭構造の鮮鋭な
画像を得ることができる。
【0009】さらに、被写体に対し光学レンズで焦点を
合わせたときのこの光学レンズの位置データをもとに液
晶プレート制御手段の制御条件を設定させることで、操
作者の指定により焦点深度を自由に設定できる。
【0010】
【実施例】以下、図面を参照しながらこの発明の一実施
例を説明する。(第1実施例)
【0011】図1は第1の実施例のブロック構成図であ
る。同図に示す撮像装置1は次のような構成になってい
る。結像光学系は液晶フレネルゾーンプレート(以下液
晶FZPと略記)2と光学レンズ系3とで構成される。 光学レンズ系3は複数のレンズ群で構成されるが、図で
は簡略化のため1枚のレンズで表現している。
【0012】液晶FZP2は、図2に示すような正方格
子状に配列された多数の画素で構成されており、液晶ド
ライバ4により駆動さる。さらに液晶ライバ4はCPU
等で構成されるコントローラ5により制御される。この
コントローラ5は、マン・マシーンインターフェースと
してのスイッチ群6に接続されており、光学特性の条件
設定を操作者が行なえるようになっている。
【0013】一方前記結像光学系により結像された画像
情報は、CCD等の撮像素子7により光電変換され、ビ
デオ画像信号としてビデオプロセッサ8を介して図示し
ない表示装置や画像処理装置等に送られるようになって
いる。
【0014】図2は液晶FZP2の構造を示すとともに
その駆動方法を説明する図である。液晶FZP2を構成
する正方格子状に配列されている画素配列の各行各列の
それぞれに対しては、液晶ドライバ4内に設けられてい
る電圧供給器4aからアクティブマトリックス方式によ
り電圧が供給できるようなっており、構成各画素単位に
印加電圧を制御できるようになっている。
【0015】この発明は、液晶FZP2の各画素の屈折
率をコントロールすることにより、結像光学系の焦点距
離を可変にする技術であり、上記のように構成された本
実施例の作用について説明する。
【0016】図3は、一般的なフレネルゾーンプレート
(以下FZPと記す)の正面図である。通常、FZPは
円形開口を各々の面積が等しくなるような輪帯(フレネ
ル輪帯)に分け、一つおきに不透明になるように設計さ
れる。このようなFZPは、 ±fz =r2 /λ               
     …(1)ただし、r:FZPの中心の円の半
径 λ:光の波長 の焦点距離を持つレンズと同じ作用を持つ。従って、こ
のFZPを結像レンズと組み合わせて用いると、その合
成焦点距離が複数となりレンズを固定した状態のまま、
距離の異なる複数の物体面に焦点を合わせることができ
る。理論的にはこのFZPのレンズは±fz の他に±
fz /3,±fz/5,…なる焦点距離を有するが実
際には±fz の焦点に集光される光強度が強く、他の
焦点の効果は小さい。その上、非回折光によるレンズの
元の焦点距離も保存される。ところが1つおきの輪帯を
不透明にする代わりに通過した光の位相がπだけ遅れる
ように設定すると±fz の焦点の位置に集光する光の
強度が増大し、非回折光は消滅するようになる。更に位
相差を適当に選ぶと±fz への回折光と非回折光との
回折効率が等しくなりレンズ400と組み合わせた結像
光学系において±fz とレンズの焦点距離fl との
3ケ所に焦点が生じるようになる。
【0017】本実施例は、このような3ケ所に焦点を有
する状態を利用して多焦点撮像装置を構成するものであ
る。なお、FZPの作用は厳密には特定の波長だけでは
たくが、その波長を可視光の中心波長(λ=550nm
)付近に選べば色収差の影響はそれほどない。色収差の
影響を除外するために液晶FZP2の前に干渉フィルタ
ーを設置し、その干渉フィルターの透過光波長で液晶F
ZP2の特性を設定しモノクロの撮像素子7で白黒画像
を撮像するという構成にしても良い。
【0018】この実施例は上記したFZPレンズの光学
的特性を実現させるための手段として、液晶の屈折率n
が印加電圧により変化する特性を利用している。この屈
折率nを利用して液晶FZP2に所要の光学的特性をも
たせる設計方法を説明する。図4は、図3に示すような
リング状に画素の屈折率nが所望の屈折率になるように
電圧を印加したときの液晶FZP2の断面図である。
【0019】このように電圧を印加したとき、隣り合う
輪帯に相当する画素の屈折率をn1およびn2 とする
と隣り合う輪帯間の光路差は、 Δ=|n2 −n1 |d             
         …(2)となる。ただし、dは液晶
FZP2の厚さを表わす。所望の焦点距離を得るための
両光路の位相差をδにすれば良いとすると、 kΔ=2πN+δ(N=0,1,2,…)      
          …(3) なる関係が満足されるように設計すれば良い。ただし、
kは波数で、k=2π/λで表わされる。(2) ,(
3) 式より次式が導かれる。 d=(2πN+δ)/k|n2 −n1 |
【0020
】 =λ/|n2 −n1 |・(δ/2π+N)    
  …(4)(4) 式に基づき、屈折率n1 ,n2
 および液晶レンズの厚さdを設計すれば良い。また焦
点距離±fz は(1) 式に従って、液晶FZP2の
画素に対する印加電圧パターンを変えることにより可変
にすることができる。
【0021】本実施例によりレンズ3と液晶FZP2と
により多焦点光学系を構成でき、しかも液晶FZP2の
パターンを操作者の判断によりスイッチ群6を介して変
えられるように構成することにより液晶FZP2の焦点
距離を可変でき、実質的に焦点深度を可変にできる装置
を構成できる。 (第2実施例)
【0022】この発明の第2の実施例のブロック構成を
図5に示す。この実施例は、操作者の指定により焦点深
度を自由にでき、しかも鮮鋭な輪郭構造を持つ画像を得
るために空間周波数のフィルタリングを行なうものであ
る。
【0023】その構成は大きくカメラ10、画像処理プ
ロセッサ11、TVモニタ12とに分けられる。カメラ
10の結像光学系は第1の実施例に示したものと同様に
液晶FZP10a、レンズ10bおよび液晶ドライバ1
0cとで構成される。液晶FZP10aとレンズ10b
とを保持する距離環10dは、合焦面駆動装置10eに
より駆動制御され光学系の合焦面が移動できるようにな
っている。
【0024】また合焦面駆動装置10e内には距離環1
0dの位置を知るためのエンコーダが設けられており、
そのエンコーダ信号はCPU10fに送られる。また、
合焦面駆動装置10e内には距離環10dを光軸方向に
駆動するためのモータが内蔵されており、それはモータ
ドライバ10gにより駆動制御される。モータドライバ
10gはCPU10fにより作動をコントロールされる
【0025】一方、結像光学系により結像された画像情
報は撮像素子10hにより光電変換され、ビデオプロセ
ッサ10iにより処理されて画像処理プロセッサ11へ
送られると共にコントラスト検出器10jにも送られる
。さらにコントラスト検出器10jの検出出力はCPU
10fに送られるようになっている。
【0026】画像処理プロセッサ11内には、ビデオプ
ロセッサ10iから送られてくる画像信号がディジタル
変換して、フレームメモリ11aに記録するビデオA/
D変換器11bが設けられている。フレームメモリ11
aに記録されたディジタル画像信号は、空間フィルタ装
置11cにより所定の空間周波数領域を強調するフィル
タリング処理が行なわれD/A変換器11dによりアナ
ログビデオ信号に変換されて、TVモニタ12に表示さ
れる。CPU11eは画像処理プロセッサ11を制御す
るもので、また、このCPU11eはカメラ10内のC
PU10fとも連結され装置全体を制御している。本実
施例は以上のような構成であり、動作としては前処理と
本処理との2段階の動作を行なう。
【0027】まず前処理では、操作者がフォーカスを合
わせたい複数の被写体をファインダー内の中央に狙い次
々と指定する。この時、カメラ10において液晶FZP
10aは全ての画素について均一な印加電圧がかけられ
実質的にレンズ10bのみでフォーカス動作が行なわれ
るようにする。また、このとき入力される画像信号はコ
ントラスト検出器10jに入力されコントラスト、つま
り所定の空間周波数領域の画像信号のパワーが検出され
て、CPU10f,モータドライバ10g,合焦面駆動
装置10eを介して距離環10dが制御されて、最もコ
ントラスト値が高い位置へ合焦面が移動される、いわゆ
るコントラスト法によるオートフォーカス動作が行なわ
れる。従って、操作者は狙った被写体を常にフォーカス
の合った状態で見ることができ、指定操作を行なったと
きにレンズの位置のエンコーダ出力値がCPU10f内
のメモリに記録される。
【0028】このような前処理により焦点を合わせるべ
き被写体の位置が決定されると、本処理において設定さ
れる液晶FZP10aに対する印加電圧パターンおよび
距離環10dの位置が決定され、操作者が選んだ被写体
全ての位置を抱含するような結像光学系が設定される。 このような状態で本処理動作が行なわれ入力された画像
は、画像処理プロセッサ11内で所定の空間周波数を強
調するフィルタリング処理が実行される。
【0029】本実施例の作用は、合焦面の異なる画像を
加え合わせ、これに中域〜高域の空間周波数成分を強調
する処理を行なわせることにより、加え合わせる前の個
々の入力画像に合焦されていた各被写体全てに焦点の合
った画像を得るものである。つまり解像度や明るさを損
うことなく焦点深度の大きい画像を合成するものである
【0030】本実施例では、上述した作用を実現するた
めにレンズ10bと液晶FZP10aとで焦点距離がf
l とFz の2ケ所同時に有する結像光学系を構成し
、2ケ所の異なる物体面に合焦させた画像を同時に入力
し、撮像素子10hの受光面で実質的に加算するもので
ある。
【0031】この時得られる画像信号は、1ケ所に合焦
させて入力した画像内には焦点が合った部分と合ってい
ない部分とが混在するのに対して、場所によらずほぼ一
様にぼけた画像が得られる。ところがそのぼけ方は、1
ケ所に合焦させて入力した画像内のぼけに比べてはるか
にぼけ方が小さく、十分焦点の合ったときの画像情報を
内抱するものである。従って適当なフィルタリング処理
を施すことによって画像内の場所によらず一様に焦点の
合った画像が回復できる。
【0032】本実施例により合焦面の異なる画像を光学
系の駆動を行なう必要なく1度に入力することができ、
空間周波数のフィルタリング処理により、より輪郭構造
の鮮鋭な画像を提供することができる。また、コントラ
スト法AFを用いたマルチ測距を行なうことにより操作
者にとって条件設定のし易い装置を提供することができ
る。
【0033】なお、本実施例において、より大きな範囲
にわたって処理を適用するために距離環10dを移動し
ながら複数の画像を入力し、これらの画像を累積加算で
きように構成したフレームメモリ11aを用いて複数の
入力画像を加算するようにしてもよい。この場合例えば
4ケ所に合焦させた画像を入力したい時は、距離環10
dの位置を2ケ所に設定し、1度に2ケ所に焦点を合わ
せた画像を2回入力してそれらを加え合わせるようにす
れば良い。なお、この発明は上記実施例に限定されるも
のではなく、要旨を変更しない範囲で変形して実施でき
る。
【0034】
【発明の効果】本発明により解像度や明るさを保ちつつ
、焦点深度を容易に可変しつつ、拡大できる撮像装置を
提供することができる。
【図面の簡単な説明】
【図1】この発明の第1実施例のブロック構成図。
【図2】同実施例に使用する液晶FZPの構成および電
圧印加の説明図。
【図3】一般のフレネルゾーンプレート(FZP)の正
面図。
【図4】液晶FZPの断面図。
【図5】この発明の第2実施例のブロック構成図。
【符号の説明】
1……撮像装置          2……液晶FZP
        3……レンズ 4……液晶ドライバ      4a…電圧供給器  
      5……コントローラ 6……スイッチ群        7……撮像素子  
        8……ビデオプロセッサ 10…カメラ            10a…液晶F
ZP      10b…レンズ 10c…液晶ドライバ    10d…距離環    
      10e…合焦面駆動装置 10f…CPU          10g…モータド
ライバ  10h…撮像素子 10i…ビデオプロセッサ10j…コントラスト検出器
11…画像処理フロセッサ11a…フレームメモリ  
11b…A/D変換器 11c…空間フィルタ    11d…D/A変換器 
   11e…CPU 12…TVモニタ

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】光学レンズおよび格子状に配列された複数
    の画素で構成される液晶プレートよりなる光学系と、前
    記液晶プレートの画素ごとに電圧を印加することにより
    、前記液晶プレート上に複数のフレネル輪帯を形成させ
    るとともに隣り合うフラネル輪帯に対して所定の光学的
    位相差を与えたフレネルゾーンプレートを構成させる液
    晶プレート制御手段とを備えたことを特徴とする多焦点
    カメラ。
  2. 【請求項2】上記光学系により結像された像を電気的画
    像信号に変換する光電変換手段と、前記光電変換手段に
    より得られた電気的画像信号に対して所定の空間周波数
    領域を強調する空間周波数フィルタリング手段と、を備
    えたことを特徴とする請求項1記載の多焦点カメラ。
  3. 【請求項3】被写体に対し上記光学レンズで焦点を合わ
    せたときのこの光学レンズの位置を検出する位置検出手
    段と、前記位置検出手段により得られた位置データをも
    とに上記液晶プレート制御手段の上記液晶プレートに対
    する制御条件を設定する条件設定手段と、を備えたこと
    を特徴とする請求項1または請求項2記載の多焦点カメ
    ラ。
JP12005991A 1991-05-24 1991-05-24 多焦点カメラ Expired - Fee Related JP3091255B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12005991A JP3091255B2 (ja) 1991-05-24 1991-05-24 多焦点カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12005991A JP3091255B2 (ja) 1991-05-24 1991-05-24 多焦点カメラ

Publications (2)

Publication Number Publication Date
JPH04346311A true JPH04346311A (ja) 1992-12-02
JP3091255B2 JP3091255B2 (ja) 2000-09-25

Family

ID=14776876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12005991A Expired - Fee Related JP3091255B2 (ja) 1991-05-24 1991-05-24 多焦点カメラ

Country Status (1)

Country Link
JP (1) JP3091255B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994023329A1 (en) * 1993-03-31 1994-10-13 Citizen Watch Co., Ltd. Optical device
JPH07239493A (ja) * 1994-02-15 1995-09-12 Ind Technol Res Inst 非機械式カメラシャッター及び絞り応用方法及び応用装置
JP2009251236A (ja) * 2008-04-04 2009-10-29 Nippon Hoso Kyokai <Nhk> 回折格子、画像表示装置、レーザプロジェクタ、ゾーンプレート、ズームレンズおよび立体画像表示装置
JP2011209749A (ja) * 1999-07-02 2011-10-20 E Vision Llc 電気アクティブレンズを使用して視力を補正するためのシステム、装置および方法
WO2013080821A1 (ja) * 2011-11-30 2013-06-06 富士フイルム株式会社 撮像装置
DE102007054042B4 (de) * 2006-11-17 2017-02-16 Polaris Innovations Ltd. Prüfsysteme und -verfahren

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994023329A1 (en) * 1993-03-31 1994-10-13 Citizen Watch Co., Ltd. Optical device
US5815233A (en) * 1993-03-31 1998-09-29 Citizen Watch Co., Ltd. Optical device containing a liquid crystal element for changing optical characteristics of a lens element
JPH07239493A (ja) * 1994-02-15 1995-09-12 Ind Technol Res Inst 非機械式カメラシャッター及び絞り応用方法及び応用装置
JP2011209749A (ja) * 1999-07-02 2011-10-20 E Vision Llc 電気アクティブレンズを使用して視力を補正するためのシステム、装置および方法
US9323101B2 (en) 1999-07-02 2016-04-26 E-Vision Smart Optics, Inc. Electro-active opthalmic lens having an optical power blending region
US9323074B1 (en) 1999-07-02 2016-04-26 E-Vision Smart Optics, Inc. Electro-active opthalmic lens having an optical power blending region
US9411173B1 (en) 1999-07-02 2016-08-09 E-Vision Smart Optics, Inc. Electro-active opthalmic lens having an optical power blending region
US9500883B2 (en) 1999-07-02 2016-11-22 E-Vision Smart Optics, Inc. Electro-active opthalmic lens having an optical power blending region
DE102007054042B4 (de) * 2006-11-17 2017-02-16 Polaris Innovations Ltd. Prüfsysteme und -verfahren
JP2009251236A (ja) * 2008-04-04 2009-10-29 Nippon Hoso Kyokai <Nhk> 回折格子、画像表示装置、レーザプロジェクタ、ゾーンプレート、ズームレンズおよび立体画像表示装置
WO2013080821A1 (ja) * 2011-11-30 2013-06-06 富士フイルム株式会社 撮像装置
US8964110B2 (en) 2011-11-30 2015-02-24 Fujifilm Corporation Imaging apparatus

Also Published As

Publication number Publication date
JP3091255B2 (ja) 2000-09-25

Similar Documents

Publication Publication Date Title
US5148502A (en) Optical image input/output apparatus for objects having a large focal depth
US7916194B2 (en) Image pickup apparatus
US9344614B2 (en) Imaging apparatus
US7885489B2 (en) Image pickup apparatus and method and apparatus for manufacturing the same
JP3191928B2 (ja) 画像入出力装置
US11140311B2 (en) Detecting apparatus and detecting method
US6100929A (en) Image-taking system in which a high resolution image having suppressed color moire is obtained
JP5677366B2 (ja) 撮像装置
JP4823167B2 (ja) 撮像装置
US11729500B2 (en) Lowpass filter control apparatus and lowpass filter control method for controlling variable lowpass filter
US11082604B2 (en) Image capturing apparatus, method of controlling the same, camera system, and storage medium
US20100045825A1 (en) Image Apparatus and Image Processing Method
KR20160115682A (ko) 대상에 대하여 공간적으로 가변하는 오토 포커싱을 가능하게 하는 방법 및 이를 이용하는 촬상 시스템
EP1103828A2 (en) Method and objective lens for spectrally modifying light for an electronic camera
JPH04346311A (ja) 多焦点カメラ
WO2006106737A1 (ja) 撮像装置および撮像方法
KR100932560B1 (ko) 3차원 시차 영상 획득 시스템
JPH09189892A (ja) 回折光学系およびこれに用いる液晶回折レンズ
KR20020008194A (ko) 목표지정가능 자동 초점 시스템
JP5409588B2 (ja) 焦点調節方法、焦点調節プログラムおよび撮像装置
JP6415359B2 (ja) 焦点検出装置、撮像装置、焦点検出方法および焦点検出プログラム
JP6471031B2 (ja) 位相フィルタ、撮像光学系、及び撮像システム
JPH09130661A (ja) 合焦状態検出装置及び光学装置
JP6406608B1 (ja) 撮像装置
US9304372B2 (en) Optical element with sub elements and an addressable mask

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080721

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees