JP3209379B2 - 画像処理装置及びその方法 - Google Patents

画像処理装置及びその方法

Info

Publication number
JP3209379B2
JP3209379B2 JP12250293A JP12250293A JP3209379B2 JP 3209379 B2 JP3209379 B2 JP 3209379B2 JP 12250293 A JP12250293 A JP 12250293A JP 12250293 A JP12250293 A JP 12250293A JP 3209379 B2 JP3209379 B2 JP 3209379B2
Authority
JP
Japan
Prior art keywords
line
error diffusion
processing
error
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12250293A
Other languages
English (en)
Other versions
JPH06334847A (ja
Inventor
俊太郎 荒谷
正道 大島
和巳 須賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP12250293A priority Critical patent/JP3209379B2/ja
Priority to US08/246,724 priority patent/US5701135A/en
Priority to DE69415078T priority patent/DE69415078T2/de
Priority to EP94303710A priority patent/EP0626672B1/en
Publication of JPH06334847A publication Critical patent/JPH06334847A/ja
Application granted granted Critical
Publication of JP3209379B2 publication Critical patent/JP3209379B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、中間調を含む画像デー
タを1ラインずつ順に読み出して誤差拡散処理を施し、
該画像データの中間調処理を行なう画像処理装置及びそ
の方法に関するものである。
【0002】
【従来の技術】従来より、マトリクスパネルディスプレ
イとして、プラズマ、エレクトロルミネセンス(E
L)、液晶等を用いたものがある。これらの中でも、液
晶ディスプレイは、その見やすさ、低消費電力等の利点
により広い用途に用いられている。また、液晶の中でも
強誘電性液晶(以下、FLCと称する)は、他の液晶と
違い「メモリー性」という特徴を持つ。これは、液晶が
電界の印加によって変化した表示状態を保持するという
ものであり、FLCを使った表示装置では、そのメモリ
ー性により、表示のための走査線数が何本になっても、
そのためにコントラストが低下することはなく、単純マ
トリクス構造でも大画面かつ高精細な表示が可能とな
る。
【0003】FLCは、上記のような特徴を持つ一方
で、基本的に2値(2Gray)のデバイスであり、1
画素内での中間調表現をすることはできない。従って、
写真のような多くの中間調を含む画像を表示するために
は、誤差拡散法に代表される画像処理を行なう必要があ
る。
【0004】
【発明が解決しようとする課題】しかしながら、中間調
を含む画像を表示するために誤差拡散法を用いると、そ
の処理の開始部分での中間調表現が悪いという問題があ
る。その様子を図15に示す。すなわち、図15は、画
像処理が上ラインから順に1ラインずつ左から右方向へ
行なわれた場合の処理結果の一部を拡大したものであ
る。このような処理の場合、縦方向に関しては上端から
数ライン分、横方向に関しては左端から数画素分の領域
の中間調表現が悪く、いわゆる「ベタ」表示に近くなっ
てしまう。これは、この領域において拡散される誤差が
十分でないためである。
【0005】また、図16は、従来の誤差拡散法を実行
した場合の処理結果を、0と1(0=黒、1=白にそれ
ぞれ対応)の数値で表わしたものである。例えば、ビデ
オメモリ内には、全て同じ中間調データ[30](ダー
クグレイ)が入っており、誤差拡散処理の順番は、1ラ
イン目の左端から右方向に進み、2ライン目以降も同様
に左から右方向への処理が行なわれたとする。
【0006】図16から明らかなように、従来の誤差拡
散法では、処理の開始部分、つまり上端から数ライン
(図では2ライン)に渡って、また、左端から数ビット
(2ビット)に渡る領域が全て0(黒)になってしま
い、この領域では好ましいダークグレー表示が得れらな
い。さらに、従来の誤差拡散処理を行なった場合、図1
7にて太線で示した箇所において中間調表現が悪くな
り、例えば、画面の途中から処理を開始するような表示
装置の場合には、この中間調の悪い領域が画像の真中に
現われるため、特にそれが目立ち、画像全体の品位も著
しく低下してしまうという問題がある。
【0007】本発明の目的は、上記のような誤差拡散の
欠点を克服して、誤差拡散法における画質の向上を図る
ものであり、誤差拡散法の欠点である処理開始部分の中
間調表現の悪さを改善して、誤差拡散画像の画質向上を
実現可能な画像処理装置及びその方法を提供することで
ある。
【0008】
【課題を解決するための手段】上記目的を達成するた
め、本発明に係る装置は、中間調を含む画像データを1
ラインずつ順に読み出して誤差拡散処理を施し、該画像
データの中間調処理を行なう画像処理装置において、第
1のラインの画像データを誤差拡散処理し、中間調処理
されたデータを出力する際、第1のラインの所定ライン
後のラインを特定する手段と、前記特定されたラインか
ら第1のラインの方向に誤差拡散処理を開始し、前記第
1のラインに達した場合に処理方向を逆転させて、前記
特定されたラインの方向に誤差拡散処理を行なう手段
と、中間調処理されたデータとして、前記特定されたラ
インから第1のラインの次のラインまでの誤差拡散処理
結果は出力することなく前記第1のラインからの誤差拡
散処理結果を出力する手段とを備えることを特徴とす
る。
【0009】上記目的を達成するため、本発明に係る方
法は、中間調を含む画像データを1ラインずつ順に読み
出して誤差拡散処理を施し、該画像データの中間調処理
を行なう画像処理方法において、第1のラインの画像デ
ータを誤差拡散処理し、中間調処理されたデータを出力
する際、第1のラインの所定ライン後のラインを特定す
る工程と、前記特定されたラインから第1のラインの方
向に誤差拡散処理を開始し、前記第1のラインに達した
場合に処理方向を逆転させて、前記特定されたラインの
方向に誤差拡散処理を行なう工程と、中間調処理された
データとして、前記特定されたラインから第1のライン
の次のラインまでの誤差拡散処理結果は出力することな
く前記第1のラインからの誤差拡散処理結果を出力する
工程とを備えることを特徴とする。
【0010】
【作用】以上の構成において、誤差拡散処理開始部分の
「ベタ」表示を回避し、中間調表現の悪さを改善するよ
う機能する。
【0011】
【実施例】以下、添付図面を参照して、本発明に係る好
適な実施例を詳細に説明する。図1は、本発明の実施例
に係る画像処理装置である情報処理システムの構成を示
すブロック図である。図1において、符号11は、本情
報処理システム全体の制御を行なうCPU、12は、C
PU11が処理プログラムを記憶したり、あるいはプロ
グラム実行の際のワーク領域として用いるメインメモ
リ、13は、RS−232C等のインターフェースを有
する入出力制御装置(I/Oコントローラ)、14は、
ユーザーからのキャラクタ情報、制御情報を入力するた
めのキーボード、15はポインティングデバイスとして
のマウスである。
【0012】また、16は、外部記憶装置としてのハー
ドディスク装置16a及びフロッピーディスク装置16
bの制御を行なうディスクインターフェース、17は、
上記各機器間の信号接続を行なうために、データバス、
コントロールバス、アドレスバスからなるバスシステム
である。19は、本実施例において画像処理を実現する
強誘電性液晶ディスプレイ・インターフェース(以下、
FLCDインターフェースとする)、18は強誘電性液
晶ディスプレイ(以下、FLCDとする)である。
【0013】FLCD18において、FLC表示パネル
21は、マトリクス状に電極を配し、配向処理を施した
2枚のガラス板の中に強誘電性液晶を封入したもので、
不図示の情報電極及び走査電極は、それぞれドライバI
C22,23に接続されている。また、24はパネル駆
動を制御するパネル駆動制御コントローラである。な
お、本実施例で用いるFLCDは、パネルサイズが15
インチ、解像度は、縦1024、横1280のモノクロ
(2Gray)ディスプレイである。
【0014】図2は、図1に示すFLCDインターフェ
ース19の内部構成を示すブロック図である。同図にお
いて、表示制御コントローラ30は、ビデオメモリ31
から画像データ(中間調を含む多値データ)を読み出
し、読み出された画像データは、画像処理部32へ入力
されて所定の画像処理が行なわれる。そして、画像処理
部32での処理によって得られた表示データ(白黒2
値)は、出力用フレームバッファ33に格納される。こ
の出力用フレームバッファ33は、FLCD18上の白
・黒(ON/OFF)に対応するデータを格納するバッ
ファである。
【0015】出力I/F34は、出力用フレームバッフ
ァ33から、あるラインの表示データを読み出し、その
データを表示すべき走査線を示す走査線アドレス情報と
結合して(図中、Data,Line No.にて示
す)、それをパネル駆動制御コントローラ24へ転送す
る。そして、パネル駆動制御コントローラ24は、送ら
れてきた表示データを走査線アドレス情報に対応した走
査線に表示する。
【0016】画像処理部32は、ビデオメモリ31から
の多値データに対して画像処理を行ない、FLCD18
のパネルスペックに応じた表示データを出力する。本実
施例では、ビデオメモリ31からの入力データは8ビッ
ト(256Gray)であり、出力用フレームバッファ
33へ出力する表示データは1ビット(2Gray)で
ある。また、表示制御コントローラ30は、この画像処
理部32から出力される表示データの出力用フレームバ
ッファの書き込みを禁止することもできる。
【0017】本実施例では、さらに誤差拡散処理の高速
化のための工夫もなされている。つまり、本実施例に係
る情報処理システムでは、2系統の画像処理部を有し、
一方はビデオメモリー上の上半分の領域を、他方は下半
分の領域を独立して処理を行なうことにより、その処理
能力を2倍に高めている。図3は、本実施例における画
像処理部32内での画像処理を説明するために、本実施
例で用いた「誤差拡散法」を示すものである。ここで
は、入力したある画素の入力値(輝度データ)に対して
決定値(白、黒の内、輝度の近い方)を1つ選択する。
そして、入力値と決定値の間に生じた誤差を、まだ処理
をしていない近傍の画素へ重み付けをしながら拡散す
る。
【0018】なお、図3に示すように、誤差拡散法で
は、横方向だけでなく縦(下)方向へも誤差を拡散する
のが一般的である。このため、画像処理部は、少なくと
も1ライン分のラインバッファを有している。画像処理
部32は、1ライン分のデータを読み出して誤差拡散処
理を行なうが、この際、発生した横方向への誤差は、即
座に拡散を行なうが、下方向への誤差はラインバッファ
で保持され、次ラインのデータを読み出した際にこれを
加えることにより、次のラインに誤差が拡散できるよう
にしている。
【0019】そこで、以下、本実施例における誤差拡散
画像の画質向上を図るための方法について説明する。図
4〜図8は、本実施例における誤差拡散開始ライン付近
での画質を向上させる方法を説明するための図である。
図4は、あるライン(図では、ライン512)からの誤
差拡散処理結果を表示用フレームバッファへ出力する場
合を示す。本実施例では、誤差拡散処理を数本、上のラ
インから行なう。つまり、図4に示すライン[509]
→[510]→[511]の順に処理を行なう。
【0020】しかし、このときの処理結果は、出力用フ
レームバッファ33へは書き込まない。処理結果の出力
用フレームバッファ33への書き込みは、ライン[51
2]から始まり、順次、ライン[513],[51
4],…と行なわれる。図5は、あるライン(ライン
1)からの誤差拡散処理結果を表示用フレームバッファ
へ出力する場合を示す図である。ここでは、ライン
[3]から[2]へと逆方向に誤差拡散処理を行なう
が、このときは、処理結果の出力用フレームバッファ3
3への書き込みは行なわない。そして、誤差拡散処理
は、それがライン[1]に達すると折り返し、処理結果
の出力用フレームバッファ33への書き込みをライン
[1]から[2],[3]…と行なう。
【0021】なお、図6に示すように、画像の上端の外
側に物理的、もしくは仮想的に設けれらた作業領域にラ
イン[1],[2],[3]をコピーし、この作業領域
までを含んだ画像データの上端から、上記の図4に示す
場合と同じように処理を行なっても、同様の効果が得ら
れる。図7に示す場合は、始めにライン[1]の画像処
理を2回繰り返すが、このときは処理結果の書き込みを
行なわず、その後、[1],[2],[3]…と処理を
行ないながら、その処理結果を出力用フレームバッファ
33へ書き込む。
【0022】また、図8に示すように、画像の上端の外
側に物理的、もしくは仮想的に設けられた作業領域にラ
イン[1]を複数コピーし、この作業領域まで含めた画
像データの上端から、図4に示す場合と同じように処理
を行なっても、同様の効果が得られる。次に、それぞれ
画像の左端付近の画質を向上させる方法について説明す
る。
【0023】図9〜図13は、本実施例における画像の
左端付近での画質を向上させる方法を説明するための図
である。図9は、ある画素(図では、座標10,10に
て示す)からの誤差拡散処理結果を、表示用フレームバ
ッファへ出力する場合を説明する図である。ここでは、
誤差拡散処理を数画素前(図中の左)から行なう。つま
り、画素(8,10)から(9,10),…と処理を行
なうが、このときの処理結果は、出力用フレームバッフ
ァ33へ書き込まない。
【0024】処理結果の出力用フレームバッファ33へ
の書き込みは、画素(10,10)から始まり、次に
(11,10),(12,10),…の如く行なう。図
10は、ある画素(座標1,10)からの誤差拡散処理
結果を、表示用フレームバッファへ出力する場合を示す
が、ここでは、画素(3,10)から(2,10)と逆
方向に誤差拡散処理を行なう。しかし、このときは、処
理結果の書き込みを行なわない。そして、処理を画素
(1,10)で折り返し、出力用フレームバッファ33
への処理結果の書き込みを、画素(1,10),(2,
10),(3,10)…のように行なっていく。
【0025】なお、図11に示すように、画像左端の外
側に物理的、もしくは仮想的に作業領域を設け、この領
域に画素(1,10),(2,10),(3,10)を
コピーし、この作業領域までを含めた画像データの左端
から、上記の図9に示す場合と同じように処理を行なっ
ても、同様の効果が得られる。図12に示す処理では、
始めに画素(1,10)の画像処理を2回繰り返すが、
このときは処理結果の書き込みを行なわず、その後、画
素(1,10),(2,10),(3,10)…と出力
用フレームバッファ33への処理結果の書き込みを行な
う。
【0026】また、図13に示すように、画像左端の外
側に物理的、もしくは仮想的に作業領域を設け、この領
域に画素(1,10)を複数コピーして、この作業領域
までを含めた画像データの左端から、図9に示す場合と
同じように処理を行なっても、同様の効果が得られる。
以上説明した何れの場合でも、処理結果の出力開始時の
数画素分、または数ライン分の画像処理が既に行なわれ
ているために(前処理誤差拡散)、誤差の拡散が不十分
になることを回避できる。そして、図14に示すよう
に、図15に示す従来の誤差拡散法による画像処理結果
との比較からも明らかなように、本実施例に係る画像処
理では、誤差拡散開始ライン付近や左端付近の「ベタ」
表示、及び中間調表現の悪化の改善ができることが分か
る。
【0027】なお、画質、中間調表現性の向上のために
は、本実施例のように「前処理誤差拡散」を出力開始ラ
インの近傍で行なうことが重要である。以上説明したよ
うに、本実施例によれば、画像の処理結果出力開始時の
数画素分、あるいは数ライン分の画像処理を前処理誤差
拡散として行なうことで、誤差拡散が不十分になること
を回避でき、誤差拡散開始ライン付近や左端付近の「ベ
タ」表示の回避、及び中間調表現の悪化の改善ができる
という効果がある。
【0028】上記の実施例で示した表示システムは、モ
ノクロ2Grayのものであるが、本発明はこれに限定
されることなく、例えば、FLCパネルを、1絵素がR
GBW(4bit/pixel)やRRGGBB(6b
it/pixel)のカラーパネルとしたシステムであ
っても、同様の効果が得られる。また、上記実施例で
は、誤差拡散処理を画像の左上から開始しているが、処
理の開始点や方向についても、これらに限定されない。
【0029】なお、本発明は、複数の機器から構成され
るシステムに適用しても1つの機器から成る装置に適用
しても良い。また、本発明は、システムあるいは装置に
プログラムを供給することによって達成される場合にも
適用できることは言うまでもない。
【0030】
【発明の効果】以上説明したように、本発明によれば、
処理結果出力開始時に既に数画素あるいは数ライン分の
画像処理を行なうことで、誤差拡散処理による画質の向
上が可能となり、2値または少ない階調のディスプレイ
上でも良好な中間調表現が実現できる。
【図面の簡単な説明】
【図1】本発明の実施例に係る情報処理システム全体の
構成を示すブロック図である。
【図2】実施例に係るFLCインターフェースの内部構
成を示すブロック図である。
【図3】実施例に係る誤差拡散法を説明するための図で
ある。
【図4】実施例に係る誤差拡散法を説明するための図で
ある。
【図5】実施例に係る誤差拡散法を説明するための図で
ある。
【図6】実施例に係る誤差拡散法を説明するための図で
ある。
【図7】実施例に係る誤差拡散法を説明するための図で
ある。
【図8】実施例に係る誤差拡散法を説明するための図で
ある。
【図9】実施例に係る誤差拡散法を説明するための図で
ある。
【図10】実施例に係る誤差拡散法を説明するための図
である。
【図11】実施例に係る誤差拡散法を説明するための図
である。
【図12】実施例に係る誤差拡散法を説明するための図
である。
【図13】実施例に係る誤差拡散法を説明するための図
である。
【図14】実施例に係る誤差拡散法による画像処理結果
を示す図である。
【図15】従来の誤差拡散法による画像処理結果を示す
図である。
【図16】従来の誤差拡散法による画像処理結果を示す
図である。
【図17】従来の誤差拡散法による画像処理結果を示す
図である。
【符号の説明】
11 CPU 12 メインメモリー 13 I/Oコントローラ 14 キーボード 15 マウス 16 ディスクインターフェース 17 バスシステム 18 FLCディスプレイ 19 FLCDインターフェース 21 強誘電性液晶表示装置 22,23 ドライバーIC 24 パネル駆動制御コントローラ 30 表示制御コントローラ 31 ビデオメモリ 32 画像処理部 33 出力フレームバッファ
フロントページの続き (56)参考文献 特開 昭61−35677(JP,A) 特開 昭63−310270(JP,A) 特開 昭60−218171(JP,A) 特開 平4−51773(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 1/405 G06T 5/00 200

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】中間調を含む画像データを1ラインずつ順
    に読み出して誤差拡散処理を施し、 該画像データの中間調処理を行なう画像処理装置におい
    て、第1のラインの画像データを誤差拡散処理し、中間調処
    理されたデータを出力する際、第1のラインの所定ライ
    ン後のラインを特定する手段と、 前記特定されたラインから第1のラインの方向に誤差拡
    散処理を開始し、前記第1のラインに達した場合に処理
    方向を逆転させて、前記特定されたラインの方向に誤差
    拡散処理を行なう手段と、 中間調処理されたデータとして、前記特定されたライン
    から第1のラインの次のラインまでの誤差拡散処理結果
    は出力することなく前記第1のラインからの誤差拡散処
    理結果を出力する手段 とを備えることを特徴とする画像
    処理装置。
  2. 【請求項2】中間調を含む画像データを1ラインずつ順
    に読み出して誤差拡散処理を施し、該画像データの中間
    調処理を行なう画像処理方法において、第1のラインの画像データを誤差拡散処理し、中間調処
    理されたデータを出力する際、第1のラインの所定ライ
    ン後のラインを特定する工程と、 前記特定されたラインから第1のラインの方向に誤差拡
    散処理を開始し、前記第1のラインに達した場合に処理
    方向を逆転させて、前記特定されたラインの方向に誤差
    拡散処理を行なう工程と、 中間調処理されたデータとして、前記特定されたライン
    から第1のラインの次のラインまでの誤差拡散処理結果
    は出力することなく前記第1のラインからの誤差拡散処
    理結果を出力する工程 とを備えることを特徴とする画像
    処理方法。
JP12250293A 1993-05-25 1993-05-25 画像処理装置及びその方法 Expired - Fee Related JP3209379B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP12250293A JP3209379B2 (ja) 1993-05-25 1993-05-25 画像処理装置及びその方法
US08/246,724 US5701135A (en) 1993-05-25 1994-05-20 Display control method and apparatus
DE69415078T DE69415078T2 (de) 1993-05-25 1994-05-24 Verfahren und Einrichtung zum Anzeigen von Halbtönen in einer ferroelektrischen Flüssigkristallanzeige mit Abtastung in Streifeneinheiten
EP94303710A EP0626672B1 (en) 1993-05-25 1994-05-24 Method and apparatus for displaying half tones in a ferroelectric liquid crystal display with scanning in units of bands

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12250293A JP3209379B2 (ja) 1993-05-25 1993-05-25 画像処理装置及びその方法

Publications (2)

Publication Number Publication Date
JPH06334847A JPH06334847A (ja) 1994-12-02
JP3209379B2 true JP3209379B2 (ja) 2001-09-17

Family

ID=14837436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12250293A Expired - Fee Related JP3209379B2 (ja) 1993-05-25 1993-05-25 画像処理装置及びその方法

Country Status (1)

Country Link
JP (1) JP3209379B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4204600B2 (ja) 2006-04-03 2009-01-07 シャープ株式会社 画像処理装置、誤差拡散処理方法、及びプログラム
EP2116989A4 (en) * 2007-03-01 2010-08-25 Panasonic Corp IMAGE DISPLAY DEVICE

Also Published As

Publication number Publication date
JPH06334847A (ja) 1994-12-02

Similar Documents

Publication Publication Date Title
US6765581B2 (en) Display apparatus and method capable of rotating an image by 180 degrees
JP3233895B2 (ja) 表示装置およびその駆動方法
JPH08202318A (ja) 記憶性を有する表示装置の表示制御方法及びその表示システム
EP0540294B1 (en) Display control device and display apparatus with display control device
US5736981A (en) Display control apparatus
US5479184A (en) Videotex terminal system using CRT display and binary-type LCD display
US7868898B2 (en) Methods and apparatus for efficiently accessing reduced color-resolution image data
US5739808A (en) Display control method and apparatus
US4992955A (en) Apparatus for representing continuous tone and high contrast images on a bilevel display
US5838291A (en) Display control method and apparatus
US20020024515A1 (en) Display panel
US8159440B2 (en) Controller driver and display apparatus using the same
CN114283762A (zh) 一种动态刷新显示驱动方法、服务器及存储介质
US20140118406A1 (en) Display control device and data processing system
JP3209379B2 (ja) 画像処理装置及びその方法
JP3245229B2 (ja) 表示制御装置および表示制御方法
US5818466A (en) Apparatus for providing multi-layer sprite graphic for an on-screen-graphic of television
JP2011077970A (ja) 画像処理装置、画像表示システム、電子機器及び画像処理方法
JPS62173492A (ja) 画像処理装置
JP3313852B2 (ja) 画像処理装置
JPH1152919A (ja) 単純マトリクス型液晶表示装置
JP2000259129A (ja) 液晶表示装置及びその駆動方法
JP2003076337A (ja) 液晶装置
JPH06139136A (ja) 表示メモリアクセス方式
JPH0772452A (ja) 液晶表示装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080713

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080713

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090713

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090713

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees