JP2837912B2 - 色ずれ軽減装置 - Google Patents

色ずれ軽減装置

Info

Publication number
JP2837912B2
JP2837912B2 JP2059744A JP5974490A JP2837912B2 JP 2837912 B2 JP2837912 B2 JP 2837912B2 JP 2059744 A JP2059744 A JP 2059744A JP 5974490 A JP5974490 A JP 5974490A JP 2837912 B2 JP2837912 B2 JP 2837912B2
Authority
JP
Japan
Prior art keywords
color
saturation
color misregistration
signal
misregistration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2059744A
Other languages
English (en)
Other versions
JPH03261295A (ja
Inventor
晃 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2059744A priority Critical patent/JP2837912B2/ja
Publication of JPH03261295A publication Critical patent/JPH03261295A/ja
Application granted granted Critical
Publication of JP2837912B2 publication Critical patent/JP2837912B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Image Communication Systems (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は面順次式の撮像装置から入力される画像信号
に対して色ずれありと判別した場合には、色ずれ軽減を
行う色ずれ軽減装置に関する。
[従来技術] 近年、細長の挿入部の先端側に照明光の出射手段と、
該照明光の出射手段で照明された被写体像を結像する結
像手段とを内蔵した光学式内視鏡が実用化された。
又、最近、挿入部の先端側にCCD等の固体撮像素子を
内蔵した電子内視鏡が実用化され、ディスプレイに被写
体像をカラー表示したり、VTR等の記録装置に被写体像
を記録したり、再生したりすることも容易にできるよう
になった。
上記電子内視鏡では、挿入部の先端部に収納される固
体撮像素子のために先端部の外径が太くなってしまうの
を極力、避けるために、面順次カラー撮像方式が採用さ
れる場合がある。
これは、異なる波長域の照明光で順次照明し、順次照
明された被写体をモノクロの撮像素子で順次撮像し、こ
れら順次撮像した画像信号を合成して1枚のカラー画像
信号を得る方式のものである。
この方式は、少ない画素数の撮像素子でも、光学的色
分離フィルタを用いたカラー撮像素子の場合よりも高解
像度のカラー画像が得られる反面、被写体に動きがある
と、色ずれのあるカラー画像となって再生されてしま
う。
このため、色ずれの検出手段を設け、色ずれが検出さ
れた場合、色ずれを補正する従来例がある。この場合、
画像の色ずれ発生部分に対し、全体画像の平均を当ては
めて補正する方法が知られている。
[発明が解決しようとする問題点] 上記従来例では、色ずれ発生部分の周辺の彩度に関係
なく、色ずれ発生部分に全体画像の色成分の平均値を当
てはめられるため、色ずれ発生部分の周辺の彩度が全体
画像の平均の彩度に比較して高かったり、低かったりす
ると非常に見づらい不自然な画像になる欠点がある。
尚、本発明に関連する先行例として、特開昭62−2810
67号と特開昭63−10886号とがある。特開昭62−281067
号ではカラー画像信号に所定の色補正処理を施すカラー
画像処理装置において、肌色等、所定の記憶色の色相に
近いカラー画像信号中の色相に対しては、前記記憶色を
出力することで人間が好ましいと感じる記憶色で色補正
を行うカラー画像処理装置を開示している。
又、特開昭63−10886号では、複数の撮像素子を用い
て得られる複数の画像信号における撮像素子の取付け不
調製等によって生じるカラーゴースト処理を行う際、色
分離時に画素情報を色指定用のカラーコードと濃度情報
とで与え、且つ色分離後に前記カラーコードを用いてゴ
ースト補正を行う画像処理装置を開示している。
本発明は、上記従来例の欠点にかんがみてなされたも
ので、面順次式の撮像手段からの画像の色ずれを軽減
し、且つ見やすい画像を得られ、さらに簡単な構成で実
現できる色ずれ軽減装置を提供することを目的とする。
[問題点を解決する手段及び作用] 第1図の概念図に示すように、面順次式の撮像装置か
らの入力画像信号は、色ずれ軽減装置1を構成する色成
分抽出手段2に入力され、該色成分抽出手段2で入力画
像信号の色成分が抽出されて判定色判別手段3と色ずれ
判別手段4とに入力される。この特定色判別手段3は特
定色情報を判別して特定色判別信号を色ずれ軽減手段5
に出力し、色ずれ判別手段4による色ずれ判別信号も色
ずれ軽減手段5に入力される。この色ずれ軽減手段5
は、特定色判別信号と色ずれ判別信号によって、入力画
像信号の色ずれ部分を補正し、色ずれ軽減画像として出
力する。この場合、単に色ずれ判別手段4によって色ず
れありという判断のみならず、判定色判別手段3による
特定色判別信号も考慮して色ずれ軽減を行うので、より
自然に近い色ずれ軽減画像を得ることができる。
[実施例] 以下、図面を参照して本発明を具体的に説明する。
第2図は本発明の第1実施例の色ずれ軽減装置を示
す。
第2図に示すように面順次式の撮像装置(例えば後述
する第7図参照)からの入力画像信号は第1実施例の色
ずれ軽減装置11を構成する色成分抽出部12に入力され、
該色成分抽出部12によって、彩度rと色相θとが抽出さ
れる。この彩度tは彩度判別部13、色ずれ判別部14及び
補正色部15に入力され、色相θは色ずれ判別部14及び補
正色部15入力される。
上記彩度判別部13では、入力される彩度r(信号)に
対し、指定した任意の彩度以上であるか否かの彩度判別
信号を出力する。例えば無色(又は無色に近い色相)を
指定して、極端に彩度が低い場合に彩度判別信号を出力
させることができる。
この彩度判別部13の出力信号はゲート部16に入力され
る。又、色ずれ判別部14では、入力される彩度r及び色
相θから色ずれ部分を判別し、色ずれ判別信号としてゲ
ート部16に出力する。補正色部15では彩度rと色相θか
ら補正用の補正色(信号)を発生し、スイッチ17の一方
の接点aに出力する。この補正色部15は、例えば1画面
の平均色を補正色として出力する。
上記スイッチ17の他方の接点bには、入力画像が印加
される。このスイッチ17はゲート部16を経て出力される
色ずれ判別信号によって、その切換えが制御される。例
えば、ゲート部16が閉じていると、スイッチ17は接点b
がONしており、入力画像がスイッチ17を経て出力画像と
して出力される。ゲート部16が開いており、且つ色ずれ
判別部14が色ずれありという色ずれ判別信号を出力して
いると、スイッチ17は第2図に示すように接点aがON
し、補正色部15の補正色信号が出力される。ゲート部16
が開いていても、色ずれ判別部14が色ずれありという色
ずれ判別信号を出力しない場合には、スイッチ17は接点
bがONしていることになる。
上記ゲート部16では、彩度判別信号によって、色ずれ
判別信号が該ゲート部16から出力されるゲート開閉が制
御される。即ち、色ずれ判別部14から色ずれありという
色ずれ判別信号がゲート部16に出力された場合、彩度判
別部13は通常ゲート部16を開く信号を出力しているが、
例えば無色とか無色で彩度が低い場合には、この彩度判
別信号によってこのゲート部16のゲートを閉じるように
制御し、このゲート部16が閉じられることにより、スイ
ッチ17を経てこの装置11に入力される入力画像、つまり
原画像がそのまま出力されることになる。
このように入力画像が無色又は極端に彩度が低い場合
には、補正色に切換えずに原画像を出力することによ
り、無色部分が平均色で補正されてしまうのを禁止で
き、簡単な構成で自然な色ずれ軽減画像を得ることがで
きる。
尚、彩度判別部13で判別する彩度として無色を指定す
るものに限らず、彩度が極端に高い場合等、任意の彩度
でも可能である。又、色ずれ軽減をスイッチ17によって
切換えるようにしているが、他の方法でも良い。例えば
補正色と原画像との混合比を変えるようにしても良い。
又、彩度rと色相θを使用しているが、他の色成分、
例えば色差信号などを用いて色ずれ判別等を行うことに
より、色ずれ軽減装置を構成することもできる。
第3図は本発明の第2実施例の色ずれ軽減装置21を示
す。
面順次式の撮像装置からの入力画像信号は、色成分抽
出部12によって彩度rと色相θとが抽出される。この彩
度r及び色相θは、色ずれ判別部14と複数の補正色部、
例えば第1補正色部22及び第2補正色部23とに入力さ
れ、彩度rは彩度判別部13′に入力される。
この彩度判別部13′は、例えば彩度のセンター値をし
きい値として、この値未満の値にはLOWレベル、この値
以上の場合にはHIGHレベルの彩度判別信号を出力し、こ
の出力は補正色選択スイッチとしての第1のスイッチ24
の切換を制御する。
第1の補正色部22は、薄い色に対応した薄い補正色、
つまり第1の補正色信号を発生し、第1のスイッチ24の
接点aに出力する。
一方、第2の補正色部23は、濃い色に対応した濃い補
正色、つまり第2の補正色信号を発生し、第1のスイッ
チ24の接点bに出力する。
この第1のスイッチ24は彩度判別信号に応じて、この
彩度判別信号がLOWレベルの場合には第1の補正色が、H
IGHレベルの場合には第2の補正色が選択されるように
制御され、この第1のスイッチ24の出力は第2のスイッ
チ25の接点aに出力される。このスイッチ25の他方の接
点bには、入力画像信号が供給され、色ずれ判別部14の
出力信号で切換が制御される。つまり、色ずれなしの場
合には接点bが選択され、一方色ずれありという色ずれ
判別信号の場合には、第3図に示すように接点aがONす
るように切換えられる。従って、色ずれ判別部14が色ず
れありと判別した場合には、第2のスイッチ25を介して
補正色が色ずれを軽減する出力画像として出力される。
この場合、原画像の彩度rに応じて、第1又は第2補正
色部22又は23が選択されるので、色ずれ軽減を行う画像
信号は原画の彩度に応じた彩度を有する補正色信号が出
力されるので、自然に近い色ずれ軽減画像を得ることが
できる。
尚、この第2実施例では2種類の補正色を切換える例
として述べてあるが、彩度をもっと多くの多段階に分け
て判別し、多種類の補正色を切換えて出力できるように
することもできることは明らかである。又、彩度rと色
相θだけでなく、他の色成分、例えば色差信号を用いて
色ずれ軽減装置を構成することもできる。
第4図は本発明の第3実施例の色ずれ軽減装置31を示
す。
面順次式撮像装置からの入力画像信号は、色成分抽出
部12によって、彩度r及び色相θが抽出される。彩度r
及び色相θは、色ずれ判別部14と、補正色部15とに入力
され、彩度rは彩度判別部13″に入力される。
色ずれ判別部14は、彩度rと色相θから色ずれを判別
し、スイッチ32の切換を制御し、色ずれがない場合に
は、入力画像を出力画像として出力させる。一方、色ず
れありと判断した場合には、接点bから接点aがONとな
るように切換え、補正色部15から彩度調整部33を通した
補正色を出力させる色ずれ軽減を行う。
上記彩度判別部13″は、彩度rを判別して、該彩度r
に応じた彩度レベルコントロール信号rcを彩度調整部33
に出力し、該彩度調整部33を通した補正色部15の補正色
の彩度を制御する。彩度調整部33は補正色部15で生成さ
れた補正色、例えば画面の色平均に対し、彩度レベルコ
ントロール信号rcにより、減衰器の減衰量又は増幅器の
ゲインを制御してスイッチ32の接点aに出力する。
この第3実施例によれば、原画の彩度に応じて補正色
の彩度をコントロールすることにより、より自然な色ず
れ軽減画像を得ることができる。
尚、彩度判別部13″では、1画素に対応して判別する
ものでも良いし、注目画素の周辺部分の平均に対応して
判別信号を出力するものでも良い。
又、彩度調整部33は、ディジタルの場合にはROMテー
ブルによって、彩度レベルコントロールに対応した補正
色データを発生するものでも良い。
又、彩度rと色相θでなく、他の色成分、例えば色差
信号等を用いて色ずれ軽減を行うものでも良い。
第5図は本発明の第4実施例の色ずれ軽減装置41を示
す。
面順次式撮像装置からの入力画像信号は、色成分抽出
部12によって、彩度r及び色相θが抽出される。彩度r
及び色相θは、色ずれ判別部14と、特定色判別部42と、
補正色部15とに入力される。
色ずれ判別部14は、彩度rと色相θから色ずれを判別
し、色ずれ判別信号をゲート部16を介してスイッチ17に
出力する。特定色判別部42では、特定した任意の色に対
して、入力画像の色相θとか、色相θ及び彩度rとかが
これに該当するか否か等の判別を行い、特定色判別信号
をゲート部16に出力する。このゲート部16では、特定色
判別信号に応じて、色ずれ判別部14から出力される色ず
れ判別信号にゲートをかける制御が行われる。つまり、
色ずれ判別部14が色ずれありという色ずれ判別信号をゲ
ート部16に出力した場合、特定色判別部42が特定色であ
ると判別した場合にはゲートを閉じ、特定色に該当しな
いと判断した場合にはゲートを開き、色ずれ判別信号を
スイッチ17の切換制御端に供給し、該スイッチ17の接点
aがONするように切換え、原画像の代りに補正色が出力
される。
従って、色ずれがあった場合でも、特定色判別部42が
特定色であると判断した場合には、補正色で補正するこ
とが禁止され、原画像が出力されることになる。
例えば特定色判別部42はカラーバー等が表示されるデ
モ画像等を判別できるように特定色が設定してあり、
又、補正色部15は、例えば1画面の平均色を発生するよ
うにしてある。
この場合、色ずれ判別部14は、カラーバーがあると色
ずれ部分であると判断し、その部分を補正色で色ずれ軽
減を行わせようと色ずれ判別信号を出力するが、特定色
判別部42で特定色が検出され、ゲート部16のゲートを閉
じるので、カラーバー部分を平均色で補正してしまう不
都合を解消できる。
この実施例では、特定色を判別した場合には、補正を
禁止する例として述べてあるが、特定色を検出して、色
ずれ判別信号と合わせて補正する事も容易にできる。こ
のように特定色を検出して、補正又は禁止する事によ
り、色ずれ軽減の効果を向上することができる。
尚、特定色は一色でなく多色でも良いし、時間的に変
化しているか否かも判別の際のファクタに入れても良
い。
又、彩度rと色相θを用いて色ずれ軽減を行うものに
限らず、他の色成分、例えば色差信号を用いても良い。
第6図は本発明の第5実施例の色ずれ軽減装置51を示
す。
面順次式撮像装置からの入力画像信号は、色成分抽出
部12によって、彩度r及び色相θが抽出される。彩度r
及び色相θは、色ずれ判別部14と、特定色判別部42と、
補正色部15とに入力される。
色ずれ判別部14は、彩度rと色相θから色ずれを判別
し、色ずれ判別信号をゲート部16を介してスイッチ17に
出力する。特定色判別部42では指定した任意の色に対し
て、入力画像の色相θとか、色相θ及び彩度rとかがこ
れに該当するか否か等の判別を行い、特定色判別信号を
面積判別部52に出力する。この面積判別部52では特定色
判別信号を計数し、該特定色判別信号が1画面のどれだ
けの面積、又は1画面でどれだけの割合を占めているか
を判別し、面積判別信号をゲート部16に出力する。ゲー
ト部16ではこの面積判別信号で色ずれ判別信号にゲート
をかけて、例えば濃い緑が画面全体を占めたら、補正を
禁止し、濃い赤が画面全体を占めたら補正を可能にする
等のようにゲート部16のゲート開閉を制御する。
又、画面全体を占めている時間を計数し、判断に加え
るようにしても良い。
補正色部15は、彩度rと色相θとから補正色を発生
し、スイッチ17の接点aに供給する。スイッチ17ではゲ
ート部16でゲートがかけられた色ずれ判別信号に応じ
て、補正色と原画像とを切換えることにより色ずれ軽減
画像を出力する。
このように入力画像から、補正の可否でスイッチ17を
切換えることにより、色ずれ軽減画像を得ることができ
る。
尚、彩度rと色相θだけでなく、他の色成分、例えば
色差信号を用いて色ずれ軽減装置を構成することもでき
る。
第7図は本発明の例えば第1実施例を備えた電子式内
視鏡装置71を示す。
第7図に示すように第1実施例の内視鏡撮像装置71
は、面順次式の電子スコープ72と、この電子スコープ72
に面順次照明光を供給する面順次式光源装置73及び画像
処理(信号処理)回路74とを内蔵したビデオプロセッサ
75と、このビデオプロセッサ75から出力される映像信号
をカラー表示するディスプレイ76とから構成される。
上記電子スコープ72は、細長の挿入部77を有し、この
挿入部77の後端には太幅の操作部78が形成されている。
上記挿入部77内には、照明光を伝送するライトガイド
79が挿通され、このライトガイド79は操作部78から延出
されたユニバーサルコード81内をさらに挿通され、この
ユニバーサルコード81の端部のコネクタ82をビデオプロ
セッサ75に装着できるようにしてある。
このコネクタ82の装着により、光源装置73の照明光が
ライトガイド79の入射端面に供給される。
つまり、ランプ83の白色光は、モータ84で回転される
回転カラーフィルタ85を通った後、さらにコンデンサレ
ンズ86を経てライトガイド79の入射端面に照射される。
上記回転カラーフィルタ85には周方向に3つの扇状の
開口が設けられ、それぞれ赤、緑、青の色透過フィルタ
87R,87G,87Bが取付けてある。従って、ライトガイド79
には、赤、緑、青の各波長の光が順次供給される。しか
して、このライトガイド79により伝送され、挿入部77の
先端に取付けた出射端面からさらに照明レンズ88を経て
前方の被写体89側に出射される。この照明レンズ88を経
て照明光で照明された被写体89は、先端部に取付けた対
物レンズ91により、その焦点面に配設したCCD92に結像
される。このCCD92により、光電変換されて電荷として
蓄積される。
しかして、ビデオプロセッサ75のCCD駆動回路94から
出力されるドライブ信号を信号線95を介してCCD92に印
加することにより、読出され、信号線95を介してビデオ
プロセッサ75内のビデオ回路96に入力され、信号処理さ
れて標準の映像信号、例えば3原色信号R,G,Bが生成さ
れ、その出力端から該3原色信号R,G,Bが出力される。
上記3原色信号R,G,B、つまり面順次の色信号を同時
化した信号は第1実施例の色ずれ軽減装置11の色成分抽
出部12に入力されると共に、スイッチ17に入力される。
色成分抽出部12で彩度r及び色相θが抽出され、彩度
rは彩度判別部13に入力され、彩度r及び色相θは色ず
れ判別部14及び補正色部15に入力される。彩度判別部13
は彩度判別を行い、色ずれ判別信号14がゲート部16から
スイッチ17の切換制御端に供給される際のゲート開閉を
制御する。
色補正色部15は、例えば1画面の平均の3原色信号<
R>,<G>,<B>を生成し、スイッチ17に出力す
る。
この第1実施例を備えた装置71によれば、例えば色ず
れありと判断した場合、無色又は無色で彩度が低い部分
を平均色で補正することを禁止するので、より自然に近
い色ずれ軽減を行うことができる。
尚、CCD92の面順次信号を直接取り込んで、色ずれ軽
減を行うようにすることもできる。
[発明の効果] 以上述べたように本発明によれば、抽出された色情報
から色ずれを判別して色ずれ軽減を行う色ずれ軽減手段
と、抽出された色情報から彩度等の特定色情報の検出手
段を設けて前記色ずれ軽減手段の色ずれ軽減の動作を制
御するようにしているので、簡単な構成で色ずれ部分を
より自然に近い色ずれ軽減画像にすることができる。
【図面の簡単な説明】
第1図は本発明の概念的構成を示す原理図、第2図は本
発明の第1実施例の構成図、第3図は本発明の第2実施
例の構成図、第4図は本発明の第3実施例の構成図、第
5図は本発明の第4実施例の構成図、第6図は本発明の
第5実施例の構成図、第7図は第1実施例を備えた電子
式内視鏡装置の構成図である。 1……色ずれ軽減装置、2……色成分抽出手段 3……特定色判別手段、4……色ずれ判別手段 5……色ずれ軽減手段

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】面順次式の撮像装置からの入力画像から色
    成分を抽出する色成分抽出手段と、前記色成分から色ず
    れを判別して色ずれ判別信号を出力する色ずれ判別手段
    と、前記色ずれ判別信号に応じて色ずれ軽減のための色
    ずれ軽減信号を出力する色ずれ軽減手段と、前記色成分
    から特定色情報を判別して、判定色判別信号を出力し、
    前記色ずれ判別信号による前記色ずれ軽減手段の動作を
    制御する特定色判別手段とを設けたことを特徴とする色
    ずれ軽減装置。
JP2059744A 1990-03-09 1990-03-09 色ずれ軽減装置 Expired - Fee Related JP2837912B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2059744A JP2837912B2 (ja) 1990-03-09 1990-03-09 色ずれ軽減装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2059744A JP2837912B2 (ja) 1990-03-09 1990-03-09 色ずれ軽減装置

Publications (2)

Publication Number Publication Date
JPH03261295A JPH03261295A (ja) 1991-11-21
JP2837912B2 true JP2837912B2 (ja) 1998-12-16

Family

ID=13122047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2059744A Expired - Fee Related JP2837912B2 (ja) 1990-03-09 1990-03-09 色ずれ軽減装置

Country Status (1)

Country Link
JP (1) JP2837912B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04317292A (ja) * 1991-04-17 1992-11-09 Sharp Corp 書画入力装置
JP6420230B2 (ja) 2015-12-22 2018-11-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Also Published As

Publication number Publication date
JPH03261295A (ja) 1991-11-21

Similar Documents

Publication Publication Date Title
US5420644A (en) Color smear correcting apparatus
US5049989A (en) Method and circuit for reducing the influence of a bright image area in an endoscope image signal
US4695878A (en) Color television camera with selectively removable infrared rejection filter
US4766489A (en) Electronic endoscope with image edge enhancement
JPH04259442A (ja) 電子内視鏡装置
US5031036A (en) Electronic endoscope apparatus simultaneously displaying an original picture image and special picture image on a single displaying picture surface
US4945409A (en) Endoscope apparatus for displaying images below the mucous membrance
JP3392911B2 (ja) 電子内視鏡装置
JP2005204741A (ja) 電子内視鏡装置
JP2837912B2 (ja) 色ずれ軽減装置
JP4486762B2 (ja) 画像撮影方法及び装置
JPS6196891A (ja) 内視鏡装置
JP2000102022A (ja) デジタルカメラ
JP3714072B2 (ja) デジタルカメラ
JPH0690906A (ja) 眼底撮影装置及び医用カラー画像処理装置
JP3624181B2 (ja) 眼底撮影装置
JPS60217783A (ja) 撮像装置
JP2961715B2 (ja) 輝点軽減回路
JPH0820608B2 (ja) 内視鏡用光源装置
JP2524394B2 (ja) 画像フリ―ズ装置
JPH01181840A (ja) ビデオ内視鏡装置
JPH0644104B2 (ja) 内視鏡映像システム
JP3060556B2 (ja) 面順次式電子内視鏡装置
JPH0215793A (ja) 白バランス調節装置
JPS63189090A (ja) 映像信号処理装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071009

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081009

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091009

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees