JP4056275B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4056275B2
JP4056275B2 JP2002086246A JP2002086246A JP4056275B2 JP 4056275 B2 JP4056275 B2 JP 4056275B2 JP 2002086246 A JP2002086246 A JP 2002086246A JP 2002086246 A JP2002086246 A JP 2002086246A JP 4056275 B2 JP4056275 B2 JP 4056275B2
Authority
JP
Japan
Prior art keywords
highlight density
image data
accumulation
density
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002086246A
Other languages
English (en)
Other versions
JP2003283834A (ja
Inventor
博 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002086246A priority Critical patent/JP4056275B2/ja
Publication of JP2003283834A publication Critical patent/JP2003283834A/ja
Application granted granted Critical
Publication of JP4056275B2 publication Critical patent/JP4056275B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Control Or Security For Electrophotography (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Color, Gradation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に、自動地肌除去機能付きディジタルフルカラー画像処理装置に適用する画像処理装置に関する。
【0002】
【従来の技術】
本発明の背景を述べる。ざら紙、あるいは新聞紙等、白地でない原稿に対してその地肌濃度をカットする方法はいろいろ考えられている。
【0003】
その代表的なものとしては、従来、例えば、特開平10−173874号公報記載の画像処理装置が知られていた。この装置は、ファーストスキャンであるBk作像時に、原稿の各画素の濃度を検出し、濃度のピークを検出することで地肌濃度を検出し、セカンドスキャン以降、すなわちCMY版作像時に地肌除去を行うものである。これはフルカラー画像を作成するのに、地肌濃度のように濃度の薄い(以降ハイライトと呼ぶ)部分に関しては、グレーであってもBk版1色の作像ではなく、CMY版3色重ねうちにて現像する(以降UCRが低いと呼ぶ)ことを想定している処理である。
【0004】
しかし、新聞原稿に対しては、文字部周りに地肌濃度であるイエロー付きが目につく。文字部が写真処理されるためぼける等の問題が発生し、ハイライト側でもBk1 色で現像する(以降UCRの高いと呼ぶ)文字処理が望ましい。つまりBk現像に対しても原稿地肌濃度除去を行いたい。
【0005】
他方、特開平11−144047号公報には、ローカルストレージと呼ばれるメモリに複数原稿の画像データを蓄積し、ネットワーク系由でデータの共有を行う場合に、画像メモリにコピー条件を付加し、画像データ読み出し時付加情報も一緒に呼び出し、プリント画像を作成するファイルシステムおよび該システムに使用するプログラムを記録した記録媒体が記載されている。
【0006】
しかし、この場合でもコピー条件、日付、管理者等の情報であって、読み取り原稿の付加情報をつけるというものではなかった。また、地肌濃度の除去量はプリンタのハイライト特性(地汚れやチリ等)により変わる場合がある。ところが、現状の地肌除去方式では、ローカルストレージメモリに画像データを読みこんだ際、すでに地肌除去が行われてしまい、地肌濃度を生かしたい場合に対応できなかった。
【0007】
【発明が解決しようとする課題】
そこで、上記問題点を解決すべく、本発明は、ローカルストレージメモリ使用時には、プレスキャンすることなく、ハードウェアの追加がほとんどなく、プリンタ特性に対応した地肌除去回路を備えた画像処理装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
請求項1記載の発明によれば、画像処理装置は、原稿を読み取る画像入力手段と、該画像入力手段により得られる画像データのハイライト濃度を検出する検出手段と、上記検出手段による検出結果に従って、上記画像入力手段により読み取られた上記画像データのハイライト濃度を除去する蓄積前ハイライト濃度除去手段と、読み取られた上記画像データを蓄積するメモリ手段と、蓄積された上記画像データを再度読み出し、該画像データのハイライト濃度を除去する蓄積後ハイライト濃度除去手段と、上記蓄積前ハイライト濃度除去手段または上記蓄積後ハイライト濃度除去手段により処理された画像データをプリントする手段と、上記メモリ手段に蓄積された画像データの先頭に付加情報として上記ハイライト濃度検出手段の結果を蓄積する手段と、上記メモリ手段上記画像データを使用するか否かにより、上記蓄積前ハイライト濃度除去手段により上記ハイライト濃度を除去するか、上記蓄積後ハイライト濃度除去手段により上記ハイライト濃度を除去するかを切り替える制御手段とを有することを特徴とするものである。
【0009】
請求項2記載の発明によれば、画像処理装置は、原稿を読み取る画像入力手段と、該画像入力手段により得られる画像データのハイライト濃度を検出する検出手段と、上記検出手段による検出結果に従って、上記画像入力手段により読み取られたRGBデータにおけるハイライト濃度を除去する蓄積前ハイライト濃度除去手段と、上記RGBデータをCMYKデータに変換する色補正手段と、上記色補正手段により補正されたCMYKデータを蓄積するメモリ手段と、上記メモリ手段に蓄積された上記画像データを再度読み出し、該読み出されたCMYKデータにおけるハイライト濃度を除去する蓄積後ハイライト濃度除去手段と、上記蓄積前ハイライト濃度除去手段または上記蓄積後ハイライト濃度除去手段により処理された画像データをプリントする手段と、上記メモリ手段に蓄積された画像データの先頭に付加情報として上記ハイライト濃度検出手段の結果を蓄積する手段と、上記メモリ手段上記画像データを使用するか否かにより、上記蓄積前ハイライト濃度除去手段により上記ハイライト濃度を除去するか、上記蓄積後ハイライト濃度除去手段により上記ハイライト濃度を除去するかを切り替える制御手段とを有することを特徴とするものである。
【0010】
請求項3記載の発明によると、上記メモリ手段の画像データを使用しない場合、上記制御手段は、上記蓄積前ハイライト濃度除去手段を用いる請求項1または2記載の画像処理装置であることを特徴とするものである。
【0011】
請求項4記載の発明によると、上記メモリ手段の画像データを使用する場合、上記制御手段は、上記蓄積後ハイライト濃度除去手段を用いる請求項1または2記載の画像処理装置であることを特徴とするものである。
【0012】
【発明の実施の形態】
以下、添付図面を参照して本発明による画像処理装置の実施の形態を詳細に説明する。
【0013】
図1は、本発明による画像処理装置の一実施形態であるところのディジタルカラー複写機のブロック図である。スキャナ101から読みこまれた画像データをIPU102にて画像処理し、プリンタ103に出力されるというのが画像パスの大まかな流れである。
【0014】
スキャナ101と、IPU102と、プリンタ103とに各種設定を通知する機能を操作部104が受け持っている。そして、本発明ではIPU102にローカルストレージと呼ばれる1フレーム以上の画像メモリを持つ蓄積手段105がIPU102に接続される。通常のコピーシーケンスの場合でも蓄積手段105を介して画像データのやりとりが行われることとなる。
【0015】
図12に、従来までのIPU102の内部構成と蓄積手段105との接続図を示す。この図は、従来技術としてのディジタルカラー複写機の電装部のブロック図である。簡単に画像パスの流れを説明すると、スキャナ101から入力された画像データはスキャナガンマ201と像域分離209とに入力される。像域分離209は入力された画像データから特徴量を算出し、原稿をリアルタイムに文字領域か写真領域か、あるいは他の領域かを判定し、スキャナガンマ201以降の各画像処理ブロックに判定結果を出力する機能を持つ。
【0016】
スキャナガンマ201ではスキャナからの反射率リニアのデータを濃度リニア特性に変換する機能を持つ。スキャナガンマ201処理後、フィルタ処理202、地肌検出・地肌除去203、色補正・UCR/UCA204、および圧縮205の各処理が順次実行され、蓄積手段105へと画像データが格納される。
【0017】
フィルタ処理202では、像域分離の判定結果に従い、文字領域ではMTF補正用のエッジ強調処理が、写真領域では網点原稿モアレ防止用の平滑処理が実行される。
【0018】
地肌検出・地肌除去203が本発明の基になる処理で、スキャナ101で読み取られた1原稿に対してひとつの原稿地肌濃度を検出し、その値に従い地肌除去を実行する。色補正・UCR/UCA204はRGBデータをCMYデータに補色変換し、変換したCMYデータからBk量を算出し、プリントインクの基となるCMYBk4色分の画像データを作成する。
【0019】
このCMYBk4色分の画像データを蓄積手段105に格納するのだが、1原稿、例えば、A3サイズ600dpiだったとすると、280Mbyteと大容量となるため、そのため、画像圧縮を圧縮回路205にて行いメモリ容量の削減を行っている。例えば、1/4圧縮を行った場合、総容量として70Mbyteとなる。
【0020】
蓄積手段105から読み出された画像データは、伸張回路206、プリンタガンマ207および階調処理208へと順次流れていく。画像パスとしてはCMYK4色分同時に読み出すケースと1色分のみ読み出すケースと2ケースあり、それぞれ4ドラム機と1ドラム機とを示す。
【0021】
伸張回路206は圧縮回路205にて圧縮されたデータを伸張する回路であり、プリンタガンマ207は出力サンプルを濃度リニアとするように、プリンタ本体の特性と階調処理のガンマ特性の逆補正を行う。階調処理208は像域分離の判定結果に従い、文字領域では解像度重視の階調処理が、写真領域では階調性重視の階調処理が実行される。
【0022】
スキャナガンマ201と像域分離209と並行してACS210という処理があるが、これは1ドラム機特有のもので、読み取られた原稿がカラー原稿か白黒原稿かを判定し、白黒原稿だった場合にはBk現像のみを行い、プリント出力するというものである。
【0023】
図2に、本発明による画像処理装置の一実施形態におけるIPU102と操作部104をピックアップした簡単なブロック図を示す。IPU102内の各処理は1本のIPUバスで接続され、CPUにて各種パラメータが設定可能となっている。実際のパラメータ設定は操作部104にて各種設定が選択され、その値を操作部104のCPU301とIPU102のCPU211間とでシリアル通信を行い設定が行われる。
【0024】
次に、図13に、本発明の基になる従来までの地肌検出・地肌除去203の詳細なブロック図を示す。この図は、従来技術としてのカラー自動地肌除去の構成図である。地肌検出部203aは、ステートマシン401と最小値検出402と、地肌濃度判定403とからなり、地肌濃度判定403内に地肌濃度レジスタを持ち、1 原稿に対してひとつの地肌濃度を検出することとなる。
【0025】
図3に、ステートマシン401の一例を示す。この図は、本発明による画像処理装置の一実施形態における地肌検出部203a内のステートマシン401に入力されるGATE信号をあらわしている。地肌濃度判定を行う有効期間を示すもので、主走査方向の有効領域LGATEと副走査方向の有効領域FGATEのアンド条件にて有効期間を示している。なお、最小値検出402は、入力されるRGBデータから最小値を検出し出力するだけの機能なので、詳細は割愛する。
【0026】
図4に、地肌濃度判定403の一例を示す。この図は、本発明による画像処理装置の一実施形態における地肌検出部203a内の地肌濃度判定を示すブロック図である。F/Fとしてはtmpレジスタと本レジスタと2種類持っている。tmpレジスタは有効領域内にて一番明るい(最小値)点を画素クロック単位に更新する機能を持つ。本レジスタは有効領域内はtmpレジスタと一緒に更新を行うが、有効領域が閉じた(ネゲートした)点でのtmpレジスタの値を求める地肌濃度としてラッチする。地肌検出はこの本レジスタをIPUバス系由にてCPUがリードすることにより実施される。
【0027】
図5に、地肌濃度レジスタへの書きこみタイミングを示す。この図は、本発明による画像処理装置の一実施形態における地肌検出部203aのタイミングチャートである。
【0028】
図14と、図15と、図16とに、従来までの地肌除去部203bと蓄積手段105の内容を示す。地肌検出部203aの検出結果に従いオフセット減算を行う。1例を図14と、図15とに示す。地肌除去演算方法としては何種類かあるが、今回の例においてはハイライト部のみ除去を行い、シャドー側はそのまま再現する方式を用いている。蓄積手段としてはCMYK画像メモリが蓄積されるため、面順次でデータが格納されている(図16参照)。
【0029】
図6と、図7と、図8と、図9とに、本発明による画像処理装置における地肌除去部203bと蓄積手段105の内容を示す。RGB側での地肌除去回路であるところの図6と、図7とは、従来例図14と、図15との変更はない。蓄積手段図8は、画像データメモリのヘッダ部分に付加情報として地肌検出濃度が添付されている。図8では、ヘッダのバイト数の規定は無いが、現状1色のみの地肌濃度検出を行っているため、1バイト分のヘッダとなる。追加としてはCMYK処理側にRGB側での地肌除去手段が必要となってくる。地肌除去方式としてはRGB側での処理と同じで構わなく、1例を図9に示す。図9は、本発明による画像処理装置の一実施形態における地肌除去回路をあらわしている。
【0030】
図10に、RGB側での地肌除去手段をそのままCMYK側に持っていった構成図を示す。この図は、本発明による画像処理装置の一実施形態たるディジタルカラー複写機の電装部のブロック図の一部である。地肌除去手段の位置としては蓄積手段105からの読み出しデータを伸張した後、プリンタガンマ207と階調処理208との前に行うことを前提としている。但し、CMYK側の地肌除去回路のハード追加をなくすために、地肌除去機能をプリンタガンマテーブルにプラスすることは可能なので、CMYK側の地肌除去回路はあってもなくても本発明には大きな影響はない。
【0031】
図11に、蓄積データの付加情報である原稿地肌濃度の書きこみタイミングを示す。この図は、本発明による画像処理装置の一実施形態における蓄積メモリへの付加条件ライトタイミングをあらわしている。画像データの書きこみはFGATE有効中に各プレーンに書きこみ、次のFGATE有効までのFGATEネゲート中に付加情報書きこみ用のタイミング信号CDENを発生し、ヘッダー部に書きこむこととなる。
【0032】
本発明における地肌除去処理をまとめると、以下のようになる。
(1)ローカルストレージ(蓄積手段105)を用いない処理の場合
従来までの方式と同じRGB側の地肌除去処理を行い、ヘッダーの付加情報は無効となり、CMYK側の地肌除去はオフされる。
(2)ローカルストレージ(蓄積手段105)を用いる処理の場合
RGB側の地肌除去処理は強制的にオフされ、ヘッダーの付加情報を基にCMYK側の地肌除去処理を行う。
【0033】
【発明の効果】
請求項1から4に記載の発明によれば、メモリ手段に蓄積された画像データの先頭に付加情報としてハイライト濃度検出手段の結果を蓄積することで、地肌除去をプリンタのハイライト特性にあわせて行うことができる。そのため、地肌除去を余分に行うことによるハイライト飛び等を押さえることができる。また、プリント1色目からハイライト濃度検出手段の結果を反映できる。そのため、どの現像色に対しても適正な地肌除去が可能となり、プリント品質を向上させることができる。
【0034】
請求項から4に記載の発明によれば、メモリ手段に蓄積された画像データの先頭に付加情報としてハイライト濃度検出手段の結果を蓄積し、地肌除去回路をメモリ手段の前後に持つことで、地肌除去処理をプリンタのハイライト特性にあわせて行うことができる。また、プリント1色目からハイライト濃度検出手段の結果を反映できる。
【図面の簡単な説明】
【図1】本発明による画像処理装置の一実施形態たるディジタルカラー複写機のブロック図である。
【図2】図12から本発明による画像処理装置の一実施形態の要素とその周辺をピックアップしたブロック図である。
【図3】本発明による画像処理装置の一実施形態において、地肌検出部内のステートマシンに入力されるGATE信号を示す説明図である。
【図4】本発明による画像処理装置の一実施形態における地肌検出部内の地肌濃度判定を示すブロック図である。
【図5】本発明による画像処理装置の一実施形態における地肌検出部のタイミングチャートを示す図である。
【図6】本発明による画像処理装置の一実施形態における地肌除去回路の説明図である。
【図7】本発明による画像処理装置の一実施形態における地肌除去回路の説明図である。
【図8】本発明による画像処理装置の一実施形態における蓄積メモリの説明図である。
【図9】本発明による画像処理装置の一実施形態における地肌除去回路の説明図である。
【図10】本発明による画像処理装置の一実施形態たるディジタルカラー複写機の電装部のブロック図の一部である。
【図11】本発明による画像処理装置の一実施形態における蓄積メモリへの付加条件ライトタイミングを示す説明図である。
【図12】従来技術としてのディジタルカラー複写機の電装部のブロック図である。
【図13】従来技術としてのカラー自動地肌除去の構成図である。
【図14】従来技術としての地肌除去回路の説明図である。
【図15】従来技術としての地肌除去回路の説明図である。
【図16】従来技術としての蓄積メモリの説明図である。
【符号の説明】
101 スキャナ
102 IPU
103 プリンタ
104 操作部
105 蓄積手段
201 スキャナガンマ
202 フィルタ処理
203 地肌検出・地肌除去
203a 地肌検出部
203b 地肌除去部
204 色補正・UCR/UCA
205 圧縮回路
206 伸張回路
207 プリンタガンマ
208 階調処理
209 像域分離
210 ACS
300 操作部
401 ステートマシン
402 最小値検出
403 地肌濃度判定

Claims (4)

  1. 原稿を読み取る画像入力手段と、
    該画像入力手段により得られる画像データのハイライト濃度を検出する検出手段と、
    前記検出手段による検出結果に従って、前記画像入力手段により読み取られた前記画像データのハイライト濃度を除去する蓄積前ハイライト濃度除去手段と、
    読み取られた前記画像データを蓄積するメモリ手段と、
    蓄積された前記画像データを再度読み出し、該画像データのハイライト濃度を除去する蓄積後ハイライト濃度除去手段と、
    前記蓄積前ハイライト濃度除去手段または前記蓄積後ハイライト濃度除去手段により処理された画像データをプリントする手段と、
    前記メモリ手段に蓄積された画像データの先頭に付加情報として前記ハイライト濃度検出手段の結果を蓄積する手段と、
    前記メモリ手段の前記画像データを使用するか否かにより、前記蓄積前ハイライト濃度除去手段により前記ハイライト濃度を除去するか、前記蓄積後ハイライト濃度除去手段により前記ハイライト濃度を除去するかを切り替える制御手段とを有することを特徴とする画像処理装置。
  2. 原稿を読み取る画像入力手段と、
    該画像入力手段により得られる画像データのハイライト濃度を検出する検出手段と、
    前記検出手段による検出結果に従って、前記画像入力手段により読み取られたRGBデータにおけるハイライト濃度を除去する蓄積前ハイライト濃度除去手段と、
    前記RGBデータをCMYKデータに変換する色補正手段と、
    前記色補正手段により補正されたCMYKデータを蓄積するメモリ手段と、
    前記メモリ手段に蓄積された前記画像データを再度読み出し、該読み出されたCMYKデータにおけるハイライト濃度を除去する蓄積後ハイライト濃度除去手段と、
    前記蓄積前ハイライト濃度除去手段または前記蓄積後ハイライト濃度除去手段により処理された画像データをプリントする手段と、
    前記メモリ手段に蓄積された画像データの先頭に付加情報として前記ハイライト濃度検出手段の結果を蓄積する手段と、
    前記メモリ手段の前記画像データを使用するか否かにより、前記蓄積前ハイライト濃度除去手段により前記ハイライト濃度を除去するか、前記蓄積後ハイライト濃度除去手段により前記ハイライト濃度を除去するかを切り替える制御手段とを有することを特徴とする画像処理装置。
  3. 前記メモリ手段の前記画像データを使用しない場合、前記制御手段は、前記蓄積前ハイライト濃度除去手段を用いることを特徴とする請求項1または2記載の画像処理装置。
  4. 前記メモリ手段の前記画像データを使用する場合、前記制御手段は、前記蓄積後ハイライト濃度除去手段を用いることを特徴とする請求項1または2記載の画像処理装置。
JP2002086246A 2002-03-26 2002-03-26 画像処理装置 Expired - Fee Related JP4056275B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002086246A JP4056275B2 (ja) 2002-03-26 2002-03-26 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002086246A JP4056275B2 (ja) 2002-03-26 2002-03-26 画像処理装置

Publications (2)

Publication Number Publication Date
JP2003283834A JP2003283834A (ja) 2003-10-03
JP4056275B2 true JP4056275B2 (ja) 2008-03-05

Family

ID=29232912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002086246A Expired - Fee Related JP4056275B2 (ja) 2002-03-26 2002-03-26 画像処理装置

Country Status (1)

Country Link
JP (1) JP4056275B2 (ja)

Also Published As

Publication number Publication date
JP2003283834A (ja) 2003-10-03

Similar Documents

Publication Publication Date Title
JP3436828B2 (ja) 画像処理装置
US5850298A (en) Image processing device eliminating background noise
US20040165081A1 (en) Image processing apparatus, image processing system, and image processing method
JP2004228811A (ja) 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム
JP4589896B2 (ja) 画像処理装置と画像処理方法とプログラム
JP2004289819A (ja) 画像形成装置及び画像形成方法
JP4013478B2 (ja) 画像処理装置
JP3929030B2 (ja) 画像処理装置
CA2331354A1 (en) Method and apparatus for image descreening
JP3313592B2 (ja) 原稿種判定方法、カラー画像処理装置
JP4056275B2 (ja) 画像処理装置
JP2004187119A (ja) 画像処理装置および画像処理システムおよび画像処理方法
JP3983922B2 (ja) 画像処理装置およびこれを搭載した画像読取装置と画像形成装置、並びに画像処理方法
JP4847092B2 (ja) 画像処理装置およびトナーセーブ方法
JP4154163B2 (ja) 画像処理装置、画像処理方法及びカラー複写機
JP2005173926A (ja) 画像処理装置、方法、プログラム及び記憶媒体
JP2004112140A (ja) 画像処理装置
JP4328608B2 (ja) 画像処理装置、方法、プログラム及び記憶媒体
JP2008092323A (ja) 画像処理装置、並びにこれを備えた画像読取装置及び画像形成装置
JP3615308B2 (ja) 画像処理装置および方法
JP3581756B2 (ja) 画像処理装置
JP2004235743A (ja) 画像処理装置および画像処理方法およびプログラムおよび記録媒体
JP3894409B2 (ja) 画像処理装置および画像処理方法
JP2006245850A (ja) フルカラー画像形成装置
JPH07274017A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041208

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071211

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131221

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees