JP3122481B2 - 画像符号化装置及び画像符号化方法 - Google Patents

画像符号化装置及び画像符号化方法

Info

Publication number
JP3122481B2
JP3122481B2 JP03096686A JP9668691A JP3122481B2 JP 3122481 B2 JP3122481 B2 JP 3122481B2 JP 03096686 A JP03096686 A JP 03096686A JP 9668691 A JP9668691 A JP 9668691A JP 3122481 B2 JP3122481 B2 JP 3122481B2
Authority
JP
Japan
Prior art keywords
pixel
data
value
extracted
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03096686A
Other languages
English (en)
Other versions
JPH04326670A (ja
Inventor
尚 石川
信孝 三宅
忠義 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP03096686A priority Critical patent/JP3122481B2/ja
Priority to US07/872,988 priority patent/US5818970A/en
Publication of JPH04326670A publication Critical patent/JPH04326670A/ja
Application granted granted Critical
Publication of JP3122481B2 publication Critical patent/JP3122481B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、入力画像、例えば自然
画像に文字・線画等が合成された画像を符号化する画像
符号化装置及び画像符号化方法に関する。
【0002】
【従来の技術】従来、写真等の連続階調を有する自然画
像を符号化する方法として、例えば、画像を8×8画素
の小ブロックに分割し、離散コサイン変換(以下、DC
Tと記す)等の直交変換を施した後、その係数を符号化
するものが知られている。
【0003】
【発明が解決しようとしている課題】しかしながら、上
記従来例では、自然画像に文字・線画(グラフィック
ス)のようなコンピュータ等で人工的に発生したパター
ンが合成された画像を符号化する場合、背景の自然画像
と上書きされた文字・線画との境界部に急峻なエッジが
発生し、文字・線画の品位が著しく低下するという欠点
があった。また、直交変換後の係数を量子化する際に、
視覚特性に合わせて高次の係数の量子化ステップ幅を大
きくとるため、高周波成分の歪が増加し、エッジ部にお
いてリンギング等の劣化(モスキートノイズ)が発生
し、符号化効率が低下してしまうという欠点もあった。
【0004】本発明は、上記欠点に鑑みてなされたもの
であり、文字・線画等、品位を劣化させたくない画素部
については品位を良好に保持すると共に、他の画素部に
ついては効率良く符号化することを主な目的とする。
に、上記品位を劣化させたくない画素部は、人工的に発
生した少なくとも局所的に単一画素値を有する部分とし
た場合に、背景部の画素値分布とは異なることを考慮
し、上記画素部を効率良く抽出して別に符号化すること
を更なる目的とする。また、上記画素部の画素値は劣化
することなく復号されるようにすることを更なる目的と
する。
【0005】
【課題を解決するための手段】上記目的を達成するため
に、本発明の画像符号化装置は、入力画像データの各ブ
ロック毎に該ブロックに含まれる画素値の発生頻度を検
出し、該発生頻度分布上で孤立し、かつ所定以上の発生
頻度を有する画素値に相当する画素を抽出画素と判定す
る判定手段と、前記入力画像データの各画素に対して、
前記抽出画素であるか否かを示す判定結果を発生し、該
結果を符号化し、第1符号化データを発生する第1符号
化手段と、前記入力画像データにおける前記抽出画素に
相当する画素値を他の所定値と置換する置換手段と、該
置換後の入力画像を符号化し、第2符号化データを発生
する第2符号化手段と、前記第1、第2符号化データ、
及び前記抽出画素の画素値を示すデータを出力する出力
手段とを有することを特徴とする。また、上記目的を達
成するために、本発明の画像符号化方法は、入力画像デ
ータの各ブロック毎に該ブロックに含まれる画素値の発
生頻度を検出し、該発生頻度分布上で孤立し、かつ所定
以上の発生頻度を有する画素値に相当する画素を抽出画
素と判定する判定工程と、前記入力画像データの各画素
に対して、前記抽出画素であるか否かを示す判定結果を
発生し、該結果を符号化し、第1符号化データを発生す
る第1符号化工程と、前記入力画像データにおける前記
抽出画素に相当する画素値を他の所定値と置換する置換
工程と、該置換後の入力画像を符号化し、第2符号化デ
ータを発生する第2符号化工程と、前記第1、第2符号
化データ、及び前記抽出画素の画素値を示すデータを出
力する出力工程とを有することを特徴とする。
【0006】
【0007】
【0008】
【実施例】以下、図面を参照して本発明に係る好適な一
実施例を詳細に説明する。 <第1の実施例>図1は、第1の実施例における画像符
号化装置の構成を示す概略ブロック図である。図中、1
は入力端子であり、不図示のコンピュータ等からの画像
データを入力する。2は文字・線画抽出回路であり、画
像データから文字・線画を抽出し、詳細は後述する階調
データと判定結果とを出力する。3は符号化回路であ
り、抽出された文字・線画を符号化する。4は抽出画素
置換回路であり、抽出された文字・線画に対応する画素
を所定の値で置換する。5は符号化回路であり、置換さ
れた画像データを符号化する。6は復号化回路であり、
符号化回路3で符号化されたデータを復号化する。7は
復号化回路であり、符号化回路5で符号化されたデータ
を復号化する。そして、8は合成回路であり、復号化回
路6,7からのデータを元の画像データに合成する。
【0009】以上の構成において、入力端子1より入力
された画像データは文字・線画抽出回路2にて、コンピ
ュータ等により合成された文字・線画に対応する画素が
抽出され、抽出画素の階調データ(文字・線画の色デー
タを含む)と抽出画素(文字・線画として抽出された画
素)か否かを示す判定結果(各画素1bit、実施例で
は抽出画素のとき“1”を、それ以外では“0”を出力
する)が符号化回路3に入力される。入力された判定結
果は、算術符号化,ハフマン符号化,MH,MR,MM
R等の2値データの符号化に適した公知のエントロピー
符号化手段を有する符号化回路3によって符号化され
る。また、抽出画素の階調データは上述のエントロピー
符号化によって符号化された判定結果符号に多重化さ
れ、伝送路に出力される。
【0010】次に、抽出画素置換回路4に入力された画
素データは、後述する符号化に都合が良い値(例えば、
ブロック内の抽出画素以外の平均値,中央値,最頻値,
或いは抽出画素の周辺画素より補間したデータ等)に置
換され、符号化回路5に入力される。置換後の画素デー
タは、JPEG(Joint Photographic Expert Group)に
おいて提案されているカラー静止画像符号化方式のAD
CT(Adaptive Discrete Cosine Transform)、或いは
DCT、DST(離散サイン変換)等、多値画像の符号
化に適した符号化手段を有する符号化回路5によって符
号化され、伝送路に出力される。
【0011】その後、上述の符号化回路3より伝送され
た抽出画素の判定結果及び抽出画素の階調データは、復
号化回路6によって復号化され、合成回路8へ出力され
る。また、符号化回路5より伝送された画像データは、
復号化回路7によって復号化され、合成回路8へ出力さ
れる。そして、合成回路8にて、上述の復号化された抽
出画素の判定結果が“1”(すなわち、抽出画素)のと
きは、抽出画素の階調データが選択され、判定結果が
“0”(すなわち、抽出画素以外)のときには、画像デ
ータが選択されて元の入力画像信号に復元される。
【0012】次に、上述した文字・線画抽出回路2の詳
細な構成を図2に示すブロック図を参照して以下に説明
する。
【0013】まず、入力された画像データはブロック化
回路10にて、例えば8×8画素の小ブロック毎に切出
される。そして、ヒストグラム生成回路11にて切出さ
れた画素データに基づいてブロック毎のヒストグラムが
生成され、抽出画素判定回路12に結果が出力される。
一方、遅延回路13に入力された画像データは、上述の
ヒストグラム生成に必要な時間分だけ遅延された後、抽
出画素判定回路12と抽出画素置換回路4に出力され
る。次に、抽出画素判定回路12にて入力されたヒスト
グラムの結果から抽出階調が検出され、遅延回路13よ
り入力された画像データと上述の抽出階調とが比較され
る。その結果、一致したときは、抽出画素であると判定
され、判定結果として信号線101より“1”が出力さ
れ、不一致の場合は“0”が出力される。
【0014】次に、実施例における抽出階調の検出方法
について図3を参照して以下に説明する。
【0015】コンピュータ等により付加された文字・線
画のデータは、背景とは無相関であるため、階調は不連
続になる。また、付加された文字・線画の階調は通常、
特定の領域内においては同一データとなる。一方、写真
等の自然画像データは画素間の相関性が強く、また入力
時にノイズが重畳されたり、シェーディング等により分
布が広がっている。従って、生成されたヒストグラムの
分布に広がりがなく、頻度が所定の閾値Th以上の階調
を検出することにより、付加された文字・線画データが
判定できる。例えば、図3に示すようなヒストグラムが
生成された場合、階調Cは付近の頻度が“0”で孤立し
ており、その頻度も閾値Th以上であるため、その階調
Cが抽出階調となる。また、階調A,Dも孤立している
が、頻度が少なく、ノイズ等による孤立点の可能性が高
いため、抽出階調として判定されない。
【0016】ここで、上述の判定結果及び抽出階調を入
力する符号化回路3の詳細な構成を図4に示すブロック
図を参照して説明する。上述したように、信号線101
より入力された判定結果は、符号化効率を向上させるた
め、ラスター化回路14にてラスター走査に変換され、
エントロピー符号化回路15に入力される。そして、エ
ントロピー符号化回路15にて符号化されたデータが多
重化回路19に入力される。なお、エントロピー符号化
回路15は、算術符号化やハフマン符号化等の2値デー
タの符号化に適した公知の符号化回路である。
【0017】一方、信号線102より入力された抽出階
調データは、変化点検出回路16と階調テーブル17に
それぞれ入力される。変化点検出回路16では、入力さ
れた抽出階調データが前ブロックのデータと異なる場
合、ゲート回路18のゲートを開き、同一の場合にはゲ
ートを閉じるようにゲート回路18を制御する。但し、
抽出画素がない場合は、同一とみなす。また、階調テー
ブル17は、入力された階調データが新規の場合、テー
ブル上にその階調データを登録し、階調データと対応す
るインデックスとをゲート回路18に出力する。また、
入力されたデータが既に登録されている場合は、登録せ
ずにインデックスのみをゲート回路18に出力する。
【0018】従って、ゲート回路18にて、抽出された
階調データが変化した時のみ、階調データに対応するイ
ンデックス(或いは階調データ)が多重化回路19に入
力され、多重化回路19にて、符号化された判定結果に
多重されて伝送される。多重化の方法としては、例え
ば、1ページ毎あるいはnブロックライン毎に符号化さ
れた判定結果と階調データを交互に送るようにすること
が考えられる。また、伝送時には多重化しても、記憶時
には別々のメモリに記憶させるようにしてもよい。通
常、同一ページ内に使用される文字・線画等の階調数は
非常に少ないため、本構成により、伝送データを大幅に
削減できる。特にフルカラーデータの場合、RGB各8
bitの計24bitの階調データとなるため、効果は
絶大である。
【0019】次に、実施例における抽出画素置換回路4
の詳細な構成を図5に示すブロック図を参照して説明す
る。
【0020】まず、信号線101より入力された抽出判
定結果は、置換値生成回路20及び遅延回路22にそれ
ぞれ入力され、信号線103より入力された入力画線デ
ータは、置換値生成回路20及び遅延回路21にそれぞ
れ入力される。ここで、置換値生成回路20は、抽出画
素データを置換するデータを発生する回路で、置換後の
画像データを符号化回路5にて符号化する際に、符号化
効率が向上するようなデータを発生する。具体的には、
抽出画素を除いた画素データのブロック平均値等が生成
される。そして、遅延回路21,22は、入力画像デー
タ及び抽出判定結果を置換値生成に必要な時間だけ遅延
する回路で、遅延されたそれぞれの信号はセレクタ23
に入力される。セレクタ23は、抽出判定結果に従い、
入力画像データが抽出画素の場合は置換値生成回路24
の置換値を、それ以外では、遅延回路21の画像データ
を選択し、抽出画素部のデータ置換を行う。
【0021】図6は、合成回路8の構成を示すブロック
図であり、信号線111には復号化回路6によって復号
化された抽出判定結果が、信号線112には抽出階調デ
ータが、また信号線113には復号化回路7によって復
号化された画像データがそれぞれ入力されているものと
する。
【0022】図において、抽出階調データ及び画像デー
タはそれぞれラスター化回路24,25にてラスター走
査に変換されると同時に、信号線111より入力される
抽出判定結果の画素と同一の位置の画素にタイミング調
整されてセレクタ26に共に入力される。セレクタ26
では、抽出判定結果が抽出画素を示す場合は、抽出階調
データを、それ以外では画像データを選択することによ
り抽出画素データが合成され、置換前の入力画像データ
に復元される。
【0023】以上説明したように、第1の実施例によれ
ば、文字・線画の品位を保存したまま効率の良い画像デ
ータの圧縮が可能となる。 <第2の実施例>次に、本発明に係る第2の実施例を図
面を参照して以下に詳述する。
【0024】図7は、第2の実施例における画像符号化
装置の構成を示す概略ブロック図である。図中、図1と
同様の機能を果たす構成要素には、同一符号を付し、第
1の実施例と異なる点についてのみ説明する。
【0025】図7に示すように、この実施例では、画像
符号化装置をページプリンタに適用した場合であり、前
述した図1の伝送路121,122がそれぞれメモリ2
7,28に置換されている。この構成において、符号化
回路3,4にて符号化されたデータは、それぞれのメモ
リ27,28に順次格納され、1ページ分のデータが格
納されると、プリンタエンジン(図示せず)が起動され
る。ここで、入力端子31よりプリンタエンジンからの
同期信号が入力され復号化回路29,30は、上述の同
期信号に同期して復号化を行う。この結果、出力端子9
からはプリンタエンジンに同期した画像信号が出力さ
れ、印刷が実行される。
【0026】第2の実施例によれば、文字はエントロピ
ー符号化にてデータ圧縮されるため、フォントがくずれ
ず、文字の品位が保存される。また、直交変換が不得意
な文字・線画等のデータが除去されるため、メモリ28
の容量を大幅に削減することができる。
【0027】本発明は、例えばスキャナー、インターフ
ェース、プリンタ等の複数の機器により構成されるシス
テムに適用しても良いし、例えば複写機のように1つの
機器からなる装置に適用しても良い。また、システム或
いは装置に例えばフロッピーディスクやIDカードに格
納されたプログラムを供給することによって達成される
場合にも適用できることは言うまでもない。
【0028】
【発明の効果】以上説明したように本発明によれば、文
字・線画等、品位を劣化させたくない画素部については
品位を良好に保持すると共に、他の画素部については効
率良く符号化することができる。特に、上記品位を劣化
させたくない画素部は、人工的に発生した少なくとも局
所的に単一画素値を有する部分とした場合に、背景部の
画素値分布とは異なることを考慮し、入力画像データの
各ブロック毎に該ブロックに含まれる画素値の発生頻度
を検出し、該発生頻度分布上で孤立し、かつ所定以上の
発生頻度を有する画素値に相当する画素を抽出画素と判
定し、判定結果と抽出画素の画素値を示すデータの両方
を出力するようにしたので、上記画素部を効率良く抽出
して別に符号化することができる。また、判定結果と共
に出力されるデータは、各ブロック内の抽出画素の画素
値を示すデータであるので、復号化時には各抽出画素は
可逆再生される
【図面の簡単な説明】
【図1】第1の実施例における画像符号化装置の構成を
示す概略ブロック図である。
【図2】文字・線画抽出回路の構成を示すブロック図で
ある。
【図3】生成されたヒストグラムを示す図である。
【図4】符号化回路の構成を示すブロック図である。
【図5】抽出画素置換回路の構成を示すブロック図であ
る。
【図6】合成回路の構成を示すブロック図である。
【図7】第2の実施例における画像符号化装置の構成を
示す概略ブロック図である。
【符号の説明】
2 文字・線画抽出回路 3 符号化回路 4 抽出画素置換回路 5 符号化回路 6 復号化回路 7 復号化回路 8 合成回路
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平4−63064(JP,A) テレビ学技報、14〔29〕(1990)安 藤、東野、谷中、p.25−30 (58)調査した分野(Int.Cl.7,DB名) H04N 1/41 - 1/419 G06T 9/00

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力画像データの各ブロック毎に該ブロ
    ックに含まれる画素値の発生頻度を検出し、該発生頻度
    分布上で孤立し、かつ所定以上の発生頻度を有する画素
    値に相当する画素を抽出画素と判定する判定手段と、 前記入力画像データの各画素に対して、前記抽出画素で
    あるか否かを示す判定結果を発生し、該結果を符号化
    し、第1符号化データを発生する第1符号化手段と、前記入力画像データにおける前記抽出画素に相当する画
    素値を他の所定値と置換する置換手段と、 該置換後の入力画像を符号化し、第2符号化データを発
    生する第2符号化手段と、 前記第1、第2符号化データ、及び前記抽出画素の画素
    値を示すデータを出力する出力 手段とを有することを特
    徴とする画像符号化装置。
  2. 【請求項2】 更に、前記第1符号化データに前記抽出
    画素の画素値を示すデータを多重化する多重化手段を有
    することを特徴とする請求項1に記載の画像符号化装
    置。
  3. 【請求項3】 更に、前記抽出画素に相当する画素値
    変化を検出する検出手段を有し、 前記検出手段により画素値の変化が検出されたときのみ
    前記抽出画素の画素値を示すデータを多重化することを
    特徴とする請求項に記載の画像符号化装置。
  4. 【請求項4】 前記検出手段は、前記判定手段により新
    たに抽出画素であると判定される画素が出現するまで、
    最後に判定された画素の画素値を示すデータを保持する
    ことを特徴とする請求項3に記載の画像符号化装置。
  5. 【請求項5】 更に、前記変化が検出された画素値を示
    データを登録するテーブルを有し、 前記変化が検出された画素値を示すデータが前記テーブ
    ルに登録されていない場合は、前記テーブルに当該デー
    タを登録し、前記多重化手段により多重化し、前記変化
    検出された画素値を示すデータが前記テーブルに既に
    登録されている場合は、当該登録されたデータに対応す
    るインデックスを前記多重化手段により多重化すること
    を特徴とする請求項3に記載の画像符号化装置。
  6. 【請求項6】 入力画像データの各ブロック毎に該ブロ
    ックに含まれる画素値の発生頻度を検出し、該発生頻度
    分布上で孤立し、かつ所定以上の発生頻度を有する画素
    値に相当する画素を抽出画素と判定する判定工程と、 前記入力画像データの各画素に対して、前記抽出画素で
    あるか否かを示す判定結果を発生し、該結果を符号化
    し、第1符号化データを発生する第1符号化工程と、 前記入力画像データにおける前記抽出画素に相当する画
    素値を他の所定値と置換する置換工程と、 該置換後の入力画像を符号化し、第2符号化データを発
    生する第2符号化工程と、 前記第1、第2符号化データ、及び前記抽出画素の画素
    値を示すデータを出力する出力工程とを有することを特
    徴とする画像符号化方法
JP03096686A 1991-04-26 1991-04-26 画像符号化装置及び画像符号化方法 Expired - Fee Related JP3122481B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP03096686A JP3122481B2 (ja) 1991-04-26 1991-04-26 画像符号化装置及び画像符号化方法
US07/872,988 US5818970A (en) 1991-04-26 1992-04-24 Image encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03096686A JP3122481B2 (ja) 1991-04-26 1991-04-26 画像符号化装置及び画像符号化方法

Publications (2)

Publication Number Publication Date
JPH04326670A JPH04326670A (ja) 1992-11-16
JP3122481B2 true JP3122481B2 (ja) 2001-01-09

Family

ID=14171679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03096686A Expired - Fee Related JP3122481B2 (ja) 1991-04-26 1991-04-26 画像符号化装置及び画像符号化方法

Country Status (1)

Country Link
JP (1) JP3122481B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944098A (ja) * 1995-07-27 1997-02-14 Nec Niigata Ltd 可動式lcdノート型パソコン
US8014620B2 (en) 2006-08-24 2011-09-06 Fuji Xerox Co., Ltd. Image processing system, image compression system, image editing system, computer readable medium, computer data signal and image processing apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4480135B2 (ja) * 2004-03-29 2010-06-16 株式会社コルグ オーディオ信号圧縮方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
テレビ学技報、14〔29〕(1990)安藤、東野、谷中、p.25−30

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944098A (ja) * 1995-07-27 1997-02-14 Nec Niigata Ltd 可動式lcdノート型パソコン
US8014620B2 (en) 2006-08-24 2011-09-06 Fuji Xerox Co., Ltd. Image processing system, image compression system, image editing system, computer readable medium, computer data signal and image processing apparatus

Also Published As

Publication number Publication date
JPH04326670A (ja) 1992-11-16

Similar Documents

Publication Publication Date Title
US6529634B1 (en) Contrast sensitive variance based adaptive block size DCT image compression
US6947600B1 (en) Information processing method, apparatus and storage medium for receiving and decoding a code sequence obtained by encoding an image
US5323247A (en) Method and apparatus for halftoning and inverse halftoning and the transmission of such images
US7013050B2 (en) Image encoding apparatus and method, program code, and storage medium
JP3848443B2 (ja) 圧縮デジタルデータ処理方法
JP3843581B2 (ja) 画像符号化装置、画像復号化装置および画像処理装置、並びに画像符号化方法、画像復号化方法および画像処理方法
US8041135B2 (en) Image encoding apparatus and control method thereof
JP3193086B2 (ja) カラー文書画像の適応符号化装置および復号化装置
EP1001604A2 (en) Information processing apparatus and method
EP0833518B1 (en) Compression of image data with associated cost data
JP3231800B2 (ja) 画像符号化装置及び画像符号化方法
JP3122481B2 (ja) 画像符号化装置及び画像符号化方法
JP2002027255A (ja) 画像処理装置及び画像処理方法
JP3108133B2 (ja) カラー文書画像の適応符号化方式
JPH09205647A (ja) 画像符号化装置、画像復号化装置および画像処理装置
JPH05176180A (ja) 2値画像混在静止自然画像の符号化方法
JP3953183B2 (ja) 画像通信方法および画像通信装置
JPH06178122A (ja) カラー画像の適応符号化装置
JP2000307879A (ja) カラー画像通信方法およびカラー画像通信装置
JP2003204439A (ja) 画像符号化装置及び画像符号化方法
Lee et al. A new inverse halftoning method using reversible data hiding for halftone images
Taheri et al. Dot diffusion with nonlinear thresholding to hide data in halftoned images
JP3382556B2 (ja) 画像符号化装置およびその方法
JP3295126B2 (ja) 画像符号化装置およびその方法
JP3083336B2 (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000918

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071020

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081020

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091020

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees