JPH09270927A - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置

Info

Publication number
JPH09270927A
JPH09270927A JP8080010A JP8001096A JPH09270927A JP H09270927 A JPH09270927 A JP H09270927A JP 8080010 A JP8080010 A JP 8080010A JP 8001096 A JP8001096 A JP 8001096A JP H09270927 A JPH09270927 A JP H09270927A
Authority
JP
Japan
Prior art keywords
color
image
data
hue
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8080010A
Other languages
English (en)
Other versions
JP3630835B2 (ja
Inventor
Naoyuki Nishikawa
尚之 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP08001096A priority Critical patent/JP3630835B2/ja
Priority to DE69727414T priority patent/DE69727414T2/de
Priority to EP97302151A priority patent/EP0800150B1/en
Priority to US08/825,348 priority patent/US6421141B2/en
Publication of JPH09270927A publication Critical patent/JPH09270927A/ja
Application granted granted Critical
Publication of JP3630835B2 publication Critical patent/JP3630835B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Dot-Matrix Printers And Others (AREA)
  • Color, Gradation (AREA)

Abstract

(57)【要約】 【課題】 発色や発光の仕組みの違い又はメディアの違
い等を吸収し、形成画像の色を表示画像の色に色の見え
をマッチングさせることを目的とする。 【解決手段】 画像形成手段によって記録媒体上に形成
される形成画像の色を、表示画像の色にマッチングさせ
る画像処理方法であって、画像データの色相及び彩度に
対応させて該画像データの色相を均等色空間における右
方向にマッピングすることを特徴とする画像処理方法。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は色処理を行う画像処
理方法及び装置に関する。
【0002】
【従来の技術】コンピュータカラーモニター上の色デー
タをカラープリンタを用いて印刷するシステムについ
て、従来の技術を述べる。
【0003】まず、システムについて簡単に説明する
と、ホストコンピュータ上で編集されたカラーデータは
該コンピュータ上のメモリやファイルシステム等に格納
される。これをカラープリンタ等によって印刷する場合
は、γ補正処理、行列変換処理によって適宜色補正が施
された後で、カラープリンタ装置へ色情報が渡される。
従来技術では、モニターの発色特性、及びカラープリン
タの色再現特性等が限定された精度の範囲内で予測可能
であって、例えば測定器等によるサンプルの測定と、補
間計算を用いたモデルが定義され適用されている。
【0004】このようなシステムにおいて、例えば前述
のγ補正処理及び行列変換処理に与えるパラメータを適
宜調整することで、カラーマッチングを実現することも
可能となる。そして多くの場合、最小自乗法等のシミュ
レーション計算によって該パラメータが決定される。そ
の際に、結果に大きく影響するファクターとして評価関
数やサンプルが挙げられる。通常は、評価関数として知
覚的に均等な色空間を定義しそこで距離(色差)を用い
る。またサンプルはシステムが表現可能な領域内で、適
当に分散したサンプルを用いるのが普通である。
【0005】
【発明が解決しようとする課題】ところが、論理通り設
計されたカラーマッチングシステムであってもカラーモ
ニタ上とカラープリンタ上の色では、大きな隔たりがあ
る。上述した均等色空間における色差そのものは、同じ
メディア(例えば印刷物対印刷物)を前提として適応さ
れてきた経緯もあって、異種類のメディア(例えばモニ
ター対印刷物)の場合必ずしも成功しない。
【0006】中でも最も大きな問題となるのは色相のズ
レである。
【0007】この色相のズレに関する問題点を明確にす
る為に、ここでは、知覚的な同一色相(見ためで同じ色
相)とモニタシステム(EBU,NTSC)等のデバイ
スにおける各原色で構成される同一色相を厳密に分けて
考える。
【0008】知覚的な同一色相は、マンセルカラーシス
テムで代表されるように人の見ためで同じ色相が定義さ
れるものである。一般に均等色空間と呼ばれているのは
正確には知覚均等色空間という名称であって、理想的に
は知覚的な同一色相が原点から直線的にマッピングされ
るよう設計されている。これに対してRGBデバイスに
おける同一色相は各入力値の比率が一定である色群に対
して同一な色相で定義する。例えば、RGB各々が、0
から255の値を持って(R,G,B)と表される時に
モニタ上の青色群 (0,0,0)→(0,0,64)→(0,0,12
8)→(0,0,192)→(0,0,225) は同一の色相と考えることとする。
【0009】ここで、モニター上の各色を上記知覚均等
色空間にマッピングすると各色は直線的にマッピングさ
れるので、モニターシステムにおける同一色相色は、均
等色空間上でも全て同一な色相と考えられがちである。
実際には、この直線上の色をカラープリンタで再現する
と原色の青(0,0,255)は紫色に印刷されてしま
い、モニター上の青色とはかけはなれた見え方となる。
【0010】均等色空間が見ためで定義された同一の色
相を直線的にマップする座標空間であって、モニターデ
バイスの同一色相色をプロットした場合、直線的に表さ
れるにも関わらずモニター上の色がプリンタ上で違う色
相に見える。これはマンセルカラーシステムの色域とモ
ニターの色域の違い、色相と彩度の関係、等が複雑に関
係していると考えられ、何らかの補正手段を講じなけれ
ば、これを解決することは出来ない。
【0011】本発明はこの点に鑑みてなされたものであ
り、本願第1の発明によれば、発色や発光の仕組みの違
い又はメディアの違い等を吸収し、形成画像の色を表示
画像の色に色の見えをマッチングさせることを目的とす
る。
【0012】また、本願第2の発明によれば、形成画像
の色を表示画像の色に色の見えをマッチングさせる際に
用いるパラメータを簡単に生成することを目的とする。
【0013】また、本願第3の発明によれば、表示画像
の色を忠実に再現することを目的とする。
【0014】
【課題を解決するための手段】上記目的を達成するため
に本願発明は以下の構成を有する。
【0015】本願第1の発明は、画像形成手段によって
記録媒体上に形成される形成画像の色を、表示画像の色
にマッチングさせる画像処理方法であって、画像データ
の色相及び彩度に対応させて該画像データの色相を均等
色空間における右方向にマッピングすることを特徴とす
る。
【0016】本願第2の発明は、ターゲットデータに基
づき画像形成手段によってターゲット画像を形成させ、
該ターゲット画像を画像読取手段によって読み取り得ら
れた画像データを入力する入力工程と、所定色相付近に
属する前記ターゲットデータに対して彩度の上昇ととも
に色相を回転させる補正を行い、補正ターゲットデータ
を生成する補正工程と、前記画像データと前記補正ター
ゲットデータに基づき色処理パラメータを生成する色処
理パラメータ生成工程とを有することを特徴とする。
【0017】本願第3の発明は、カラーパレットテーブ
ルを用いてカラー画像を生成する画像処理方法であっ
て、前記カラー画像を画像出力する画像出力手段のプロ
ファイルデータに基づき、カラーパレットテーブルに登
録できる色を制限し、前記色の制限に基づきカラーパレ
ットテーブルを生成し、前記カラーパレットテーブルに
登録されている色を用いてカラー画像を生成することを
特徴とする。
【0018】
【発明の実施の形態】
(実施形態1)まず、本実施形態1に係るプリンタの1
例を説明する。
【0019】図14は本実施形態で対象となるカラープ
リンタ装置2010の概略構成図である。図中2200
〜2230はカラーインクカートリッジであってカート
リッジ2200にはイエロー(Y)カラーインク、カー
トリッジ2210にはマゼンタ(M)カラーインク、カ
ートリッジ2220にはシアン(C)カラーインク、カ
ートリッジ2230にはブラック(K)カラーインクが
充填されている。各インクカートリッジからは各々独立
したパイプが伸びており圧力ポンプ2160と接続され
ている。圧力ポンプ2160からプリントヘッド212
0までは一定の圧力で各々のインクが送られるようにな
っている。印刷用紙はカラープリンタ装置2010の後
面より給紙され用紙プラテン2110とフロントガイド
ローラ2150により固定されている。プリンタ装置の
操作は、コントロールパネル2180上のキーボタンを
押下することで行なわれ、コントロールボード2190
がカラープリンタ装置2010の全ての動作を制御する
様になっている。該カラープリンタ装置へ印字を行なう
為には不図示のインターフェースを介して印字制御命令
及び印字データを送れば良い。コントロールボード21
90は例えば色指定命令でRGB色の指定があった場合
には内部の色処理装置を介してYMCKデータへ変換を
した後プリントヘッド2120を駆動し印刷を行なう。
【0020】図1は本実施形態1におけるカラー画像シ
ステムの処理概略を示したブロック図である。図中、印
刷データ111は一連のモジュール群120によってホ
ストコンピュータ内部で出力データ125を形成した
後、インターフェイスユニット130を介してカラープ
リンタ装置140へ送られ印刷出力を行なうよう構成さ
れている。印刷データ111は様々なオブジェクト(図
形、イメージ、文字)によって構成されており、それら
オブジェクトはRGB形成によって定義される色情報を
有している。これらの情報を元にビデオメモリ112へ
印刷イメージが展開され、カラーモニタ装置113によ
って印刷データの全体、又は一部を随時確認することが
可能である。モジュール群120は、各オブジェクトが
持つRGB形式の色情報を元に印刷に適合したYMCK
形式へ変換する色変換処理121、各オブジェクトを印
刷座標系に展開する描画処理122、これによって得ら
れた多値データ123を二値化する二値化処理124、
で構成される。これら一連の処理によって出力データ1
25が生成される。
【0021】なお、上述の各モジュールは、制御部40
が制御する。制御部40はプロファイル格納部41に格
納されているソースプロファイルとプリンタプロファイ
ル、及びメモリ42に格納されているパラメータを操作
部43でユーザによって設定されたモードに基づき各モ
ジュールに設定する。
【0022】図2は色変換処理121内部の処理を詳説
したブロック図である。
【0023】図1のデータ111に相当する入力データ
811は色補正変換処理812によってRGB空間での
色補正処理が行なわれrgbデータ813を得る。該プ
リンターにおいてはrgbで示される切口の定義はデバ
イス独立なRGB色空間、例えばNTSC−RGBに代
表されるような正確のものを目指して設計され、一方R
GBで示される切口においてはデバイス依存の色空間
(モニター等)を意識して設計される。よって後段のC
MYKを補正するパラメータは一意に決定される正確の
ものであるのに対して、ここでの色補正はデバイスとの
カラーマッチングを意識したものとなる。
【0024】即ち、プリンタ140で記録媒体上に形成
される形成される色を、モニタ113で表示される表示
画像の色にマッチングするマッチング処理を行う。
【0025】色補正変換処理812で行われるマッチン
グ処理は、モニタ113に依存するRGBデータ811
に対してモニタ113に対応するソースプロファイル8
20に記述されてるγパラメータに基づくγ補正を行
う。更に、プリンタ140に対応するプリンタプロファ
イル821に記述されているLUTから操作部43によ
って設定されたマッチング方法に対応するLUTを選択
し、該LUTに基づき色変換する。このLUTはプリン
タプロファイル821にマッチング方法に対応して格納
されている。
【0026】本実施形態では、マッチング方法として、
彩やかさ優先のマッチング方法と、色味優先のマッチン
グ方法と、測色的に一致させるマッチング方法を有して
いる。
【0027】彩やかさ優先のマッチング方法は所定色空
間に属する画像データはマッピングせず、所定色空間外
に属する画像データをプリンタの色再現範囲内に画像デ
ータの彩度成分を保つようにマッチング処理する。色味
優先のマッチング方法は、入力画像の階調が出力画像で
再現されるように画像全体を階調が保存される様にマッ
ピングすることにより、画像に含まれる色再現範囲外の
画像データをプリンタの色再現範囲内にマッピングす
る。測色的に一致させるマッチング方法は、入出力画像
データ内の色差が最小になる様にプリンタの色再現範囲
内にマッピングする。
【0028】なお、プリンタプロファイル821には、
各マッチング方法に対するパラメータが格納されてい
る。
【0029】該rgbデータ813は輝度濃度変換処理
814によりCMY色空間に写像され、更には黒生成/
下色除去処理816によってcmykデータ817を得
る。cmykデータ817は、色補正変換処理818に
よってCMYK色空間内での補正処理が行なわれ、最終
的な色データCMYK819を得る。この際用いられる
パラメータも後述するシミュレーション系(図3)によ
って求められ、メモリ42に格納されている。
【0030】(色補正変換818で用いる色変換処理パ
ラメータ(CMYK)について)ここで示すようなカラ
ー処理システムを構築する場合、後段からパラメータを
求める。よってCMYK補正のパラメータを決定してか
ら、RGB補正のパラメータを求めるよう作業を進め
る。図3は前述のCMYK色補正のパラメータを求める
のに用いるシミュレーション処理を示したブロック図で
ある。
【0031】まず、CMYKを入力とするカラープリン
タにおいて該CMYK各色を均等に分割したデータを入
力しサンプル出力を行ないこれを測色機によって測定す
ることで該カラープリンタ装置の特性をシミュレートす
るプリンタモデル924を作成する。シミュレーション
では、サンプル点のデータを基づいて補間計算を適用
し、入力されるCMYKの値に対応する値を予測計算す
る。この時、同時にプリンタの色再現範囲を調べ、該色
再現範囲を出来るだけ均等に分割するカラーサンプルを
適当にピックアップしこれをターゲットデータ932を
作成する。ここでは、ターゲットデータ932はCIE
1976Lab値(以後単にLab値と表す)で表現
する。シミュレーションでは該ターゲットデータ932
をNTSCで規定されたる変換式によってLab値より
RGB信号へ変換し、サンプルデータ910を生成す
る。処理921ではRGB信号を入力とし該データを内
部で一定の計算式(輝度濃度変換、黒生成、下色除去)
によってcmykへ変換する。補正処理923(図2中
の色補正変換処理818と同等の処理)では、補正パラ
メータを基にCMYK色空間での色補正を行なう。該補
正パラメータは初期値としてcmykをそのまま写像す
る(単位行列)パラメータを用いるが、シミュレーショ
ン計算の中では制御ユニット942からの指令により逐
次、補正項が増減するよう構成されている。該補正処理
でcmykからCMYKへ写像された値はプリンタモデ
ル924へ入力され、出力時のLab値を予測データ9
25(Lab値)として求める。ここで求められた予測
データ925は、ターゲットデータ932と同時に評価
関数941へ入力され、ここで評価された大域的なエラ
ー量は制御ユニット942へ入力される。制御ユニット
942では、偏微分計算の結果等を参照し全体的なエラ
ー量を観察しながらこれが収束するように各補正項の増
減を行なうよう構成される。尚、ここで用いられる処理
は、減衰最小自乗法等の公知な技術であってより詳細な
説明は割愛する。このようにして決定されたパラメータ
により、カラープリンタ装置にカラー信号を入力すると
例えば、図5で示されるように赤のスケールデータは3
20度の色相ラインに、緑のスケールデータ37度の色
相ライン、青のスケールデータ203度の色相ラインに
各々沿うように出力される。尚、図5及び後述の図6に
おいてはLab空間におけるb値を縦軸に、a値を横軸
にプロットしたものであり、回転角は反時計回りに正回
転としている。
【0032】(色補正変換812に用いるLUTについ
て)前記の手順を踏まえて設計されたカラープリンタ
は、測色的には妥当な色再現を行なうようにはなってい
るものの、実際にはモニター上のカラーをプリントアウ
トした場合、異機種デバイスのカラーマッチングにおけ
る根本的な違いとして、各デバイス固有の色再現範囲の
違いや、発色や発光の仕組みの違い、又はメディア等の
違い等が原因となって実際の見えとはかなり異なった色
再現となる。
【0033】そこで、本実施形態では各デバイス固有の
色再現範囲の違いを吸収すべく前述のマッチング方法に
対応したマッピングを行う。更に、彩やかさ優先及び色
味優先のマッピング方法の各々に対応させて発色や発光
の仕組みの違い、又はメディアの違い等を吸収し色の見
えをマッチングさせるために、前記マッピングの結果に
対する微調整として一次行列(線形変換)を用いた線形
変換を行う。
【0034】彩やかさ優先及び色味優先のマッピング方
法は画像全体の雰囲気を重視したものである。したがっ
て、測色的には異なることにかまわず色の見えをマッチ
ングさせるために各マッチング方法に対応した微調整を
行う。
【0035】これに対し、測色的に一致させるマッピン
グ方法は、入出力画像の色差を最小にするものであるの
で測色的には色差を増大させる微調整は行わない。
【0036】プリンタプロファイル821に格納されて
いる各マッピング方法に対応しているLUTは、前述の
マッピング方法に対応しているマッピング及び微調整を
行うLUTを合成することにより生成する。
【0037】以下、微調整に係るLUTを生成する際に
用いるパラメータを算出するシミュレーションのブロッ
ク図を図4に示す。ここではrgbを入力とするカラー
プリンタにおいて該rgb各色を均等に分割したデータ
を入力し、前記図3の処理で求めたCMYK色補正パラ
メータを含んだ出力系(図2の輝度濃度変換処理814
以降の処理、及び不図示の二値化処理等)を通してサン
プル出力を行ないこれを測色機によって測定することで
該カラープリンタ装置の特性をシミュレートするプリン
タモデル1023を新たに作成する。シミュレーション
では、入力されるrgb値に対応する出力値(Lab)
を予測計算する。この時、同時にプリンタの色再現範囲
を調べ、該色再現範囲を出来るだけ均等に分割するカラ
ーサンプルを適当にピックアップしこれをターゲットデ
ータ1032(Lab値)として新たに作成する。
【0038】シミュレーションでは該ターゲットデータ
1031をNTSCで規定されたる変換式によってLa
b値からRGB信号へ変換し、サンプルデータ1010
(RGB)を生成する。ここでは該サンプルデータ(R
GB)を入力とし、補正処理1021(図2中の色補正
変換処理812と同等の処理)では、補正パラメータを
基にRGB色空間での色補正を行なう。該補正パラメー
タは初期値としてRGB信号をそのまま写像する(単位
行列)パラメータを用いるが、シミュレーション計算の
中では制御ユニット1042からの指令により逐次、補
正項が増減するよう構成されている。補正パラメータで
RGBからrgbへ写像されたデータはプリンタモデル
1023へ入力され、出力時のLab値を予測しデータ
1024(Lab)を算出する。
【0039】ここで、上述のプリンタモデルとターゲッ
トデータが決定すれば従来通りモニター上での色(La
b)値とマッチングするようなパラメータをCMYKの
補正パラメータを求めた場合と同様な手法によって求め
ることが可能である。
【0040】しかしながら、本実施形態では、モニター
とプリンタという異機種デバイス間の色の見えをマッチ
ングさせるため、ターゲットデータの色相及び彩度に対
応させて該ターゲットデータの色相を図6に示すように
右方向に回転させた新たなターゲットデータ1050を
生成する。この補正量は図6に示される様に3原色であ
るR,G,B各色相の各彩度に対して設定されており、
該3原色以外のターゲットデータに対しては、隣接色相
との連続性が保たれるように3原色以外に対しては補正
量を補間して、補正量が設定される。なお、補正量は彩
やかさ優先のマッチング方法及び色味優先のマッチング
方法の各々に適した補正量を用いる。該補正量を付可さ
れたデータは評価関数1041へ入力される。評価関数
1041で求められた大域的なエラー量は制御ユニット
1042へ入力され、該制御ユニットの指令により逐
次、補正項が増減するよう構成されている。ここでは、
偏微分計算の結果等を参照し全体的なエラー量を観察し
ながらこれが収束するように各補正項の増減を行なうよ
う構成される。該シミュレーションで得られたパラメー
タに基づきLUTを生成する。
【0041】なお、測色的に一致させるマッチング方法
に対するLUTを生成する場合は、CMYKの補正パラ
メータを求めた場合と同様にプリンタモデルとターゲッ
トデータがマッチングするようにパラメータを決定す
る。
【0042】(実施形態2)本実施形態では実施形態1
における色補正変換812において、彩やかさ優先また
は色味優先のマッチング方法がマッチング処理として設
定された場合、実施形態1におけるマッチング処理後に
更に以下に示すγ処理を上述の微調整として行う。
【0043】Xm=max(R,G,B) Xn=min(R,G,B) Xd=Xm−Xn ここで、XmはRGBの内で最大の値、XnはRGBの
内で最小の値、Xdはその差である。
【0044】 γ=0.6+(Xd・K1)・(Xn・K2) として係数K1,K2を制御することで彩度の低下を押
えながら、各原色の階調性を良好に再現することが可能
である。図7では、γ値が0.6〜1.4程度に変化す
る様子を示したものである。原色軸びモノクロ色軸付近
ではγは0.6に近くなるように設定し、中間色付近で
はγを1.4程度に設定することであらゆる画像に対し
てより良好な色再現が可能になる。
【0045】本発明で用いている非線形なγ処理は、図
7で示されるような単純なものに限らず、例えば図8の
ように複雑な関数の変化をするように定義されても構わ
ない。
【0046】(実施形態3)実施形態1及び2では、形
成画像の色をモニター上の色によりマッチングさせる方
法を示した。
【0047】ところが、忠実な色再現を求める場合、モ
ニター上で極めて鮮やかに発光する色をカラープリンタ
で再現するには限界がある。例えばモニター上の緑は、
すでに蛍光色の領域にあってプリンターのインクでは再
現不可能である。これを再現するには、特別に蛍光塗料
を具備したるカラープリンタを提供しなければならない
が、コスト等の問題もあって現実的ではない。
【0048】本実施形態では、プリンタセレクタによっ
てセレクトされるシステムプリンタと同期して選択され
るプリンタープロファイル情報を基に、カラーパレット
情報を作成しこれをクライアントプログラムに提供する
構成を提供し、なるべくプリンターで再現出来ない色を
事前に抑制する機能を提供するものである。
【0049】図9は実施形態3に係るカラー画像処理シ
ステムの処理概略を示したブロック図である。なお、図
9において図1と同様の部分は同一符号を付け説明を割
愛する。
【0050】アプリケーション150は図10に示す様
にカラーパレットテーブルを用いてカラー画像を生成す
る。アプリケーション150によって生成されたカラー
画像を示すカラーパレットデータで構成される画像デー
タはカラーパレットとともにメモリ43に一旦格納され
る。そして、プリント及び表示がユーザによって指示さ
れるとカラーパレットに基づきカラーパレットデータを
R,G,B各色8ビットで示されるフルカラーデータに
変換し、モジュール群120及びビデオメモリ112に
転送される。
【0051】ここで、カラーパレットテーブルの構成は
図12に示される様にカラーパレットデータに対応する
パレットNO.とR,G,B各色8ビットで示されるフ
ルからデータの組がN組格納されている。N=255の
場合、カラーパレットテーブルに合計256色登録する
ことができ、カラーパレットNO.は8ビットで示すこ
とができる。したがってアプリケーション150で生成
されたカラー画像は1画素につき8ビットのカラーパレ
ットデータで示すことができる。
【0052】したがって、フルカラーデータであるR,
G,B各色8ビットでカラー画像を示す場合と比較し、
メモリ容量を1/3にすることができる。
【0053】アプリケーション150によって、カラー
画像を生成する際に操作部43上には、図11のような
カラーパレットの色を設定するUI(ユーザーインター
フェース)が表示される。
【0054】UI200は、アプリケーションで使用で
きる色をN+1色までカラーパレットテーブルに登録す
るUIである。210は登録された色を表示する。23
0は明るさを指定する部分であり、矢印を上に移動する
ほど指定色240が明るい色になる。220は、色相及
び彩度を指定する部分であり、カーソルを上に移動させ
るほど彩度が高くなる。そして、カーソルを左右に移動
させることにより所望の色相を指定することができる。
所望の指定色240を指定することができたら、色の追
加ボタン250を押すことによりカラーパレットテーブ
ルに登録することができ、210に指定色が表示され
る。
【0055】このUI200において、本実施形態の特
徴であるカラーパレット制御モード260を設定すると
UI270が表示される。UI270ではプリンター1
40の色再現範囲外に属する色をカラーパレットテーブ
ルに登録することができない様に、220において色再
現範囲外の部分を白ヌキにする。カラーパレット制御モ
ードは通常は指定されていないが、利用者の好みによっ
てモニター上で扱える色を予め制限した場合はこの指定
を行う。
【0056】このように、カラーパレット制御モードを
ユーザが設定した場合はアプリケーション150によっ
て生成される画像データは全てプリンタ140の色再現
範囲内に属する。よって、色変換処理121で行われる
マッチング処理において、各デバイス固有の色再現範囲
の違いを吸収する必要がない。したがって、カラーパレ
ット制御モードが設定された場合は、制御部40が自動
的にマッピング方法として測色的に一致されるマッピン
グ方法を色補正変換812に設定する。一方、カラーパ
レット制御モードが設定されていない場合は、ユーザー
にマッチング方法の設定を印刷時に要求する。
【0057】カラーパレット制御モードと、マッチング
方法を連動させることにより、カラー画像処理システム
全体としてアプリケーション150で生成されたカラー
画像の色に、プリンタ140で形成される形成画像の色
をマッチングさせることができる。
【0058】図10に実施形態3に係る処理の流れを示
す。UIでカラーパレット制御モードが指定された場
合、この情報はカラーマッチング制御マネージャ512
に送られる。通常は指定されていないが、利用者の好み
によってモニター上で扱える色を予め制限した場合はこ
の指定を行なう。
【0059】プリンタセレクタ515は、複数存在する
プリンタドライバ群519の中からシステムで用いる唯
一のプリンタをセレクトすると同時にセレクト情報をプ
リント制御マネージャーへ与えている。プロファイルマ
ネージャーはプリンタ制御マネージャーが有するセレク
ト情報を参照し、プロファイル情報群520の中から該
当するプロファイル情報を引き出すことが可能となって
いる。
【0060】このプロファイルには各プリンタの色再現
範囲を示す情報が格納されている。
【0061】前述のカラーマッチングマネージャーはカ
ラーパレット制限モードが指定されている場合に限っ
て、プロファイルマネージャーに問い合わせを行ない、
使用すべきカラーパレットの情報をカラーパレットクリ
エータに通知し、プリンタの色再現範囲内の色で構成さ
れる実際のカラーパレットテーブルを作成、、又は更新
する。
【0062】ここで、従来より用いられているアプリケ
ーションプログラム516では、カラーパレットテーブ
ルと通信する手段を持たないので、システムが提供する
APIのみであって、新たに設計されたアプリケーショ
ンプログラム515では、該カラーパレットテーブルを
用いてカラープリンタが再現不可能な色を予め制限する
ことが可能である。
【0063】一方、カラーパレット制御モードが指定さ
れていない場合は、カラーパレットクリエータは動作せ
ず、従来通り、設定格納されているカラーパレットテー
ブルを用いてカラー画像を生成する。なお、この際に用
いるカラーパレットテーブルの更新又は作成は530が
サポートしている。したがって、アプリケーションB5
15及びアプリケーション516のいずれもこのパレッ
トテーブルを用いることができる。
【0064】(実施形態4)先に示した実施形態3にお
いては、プリンタセレクタによってセレクトされるシス
テムプリンタと同期して選択されるプリンタープロファ
イル情報を基に、カラーパレット情報を作成しこれをク
ライアントプログラムに提供する構成を提供し、なるべ
くプリンターで再現出来ない色を事前に抑制する機能を
提供するものであった。ここではカラーパレットをシス
テム側で管理する機構を有するOSに関して同様なシス
テムを示す。
【0065】図13で示されるように、システム設定の
UI(ユーザーインターフェース)でカラーパレット制
御モードが指定された場合、この情報はカラーマッチン
グ制御マネージャ612に送られる。通常は指定されて
いないが、利用者の好みによってモニター上で扱える色
を予め制限した場合はこの指定を行なう。
【0066】プリンタセレクタ619は、複数存在する
プリンタドライバ群620の中からシステムで用いる唯
一のプリンタをセレクトすると同時にセレクト情報をプ
リント制御マネージャー618へ与えている。プロファ
イルマネージャー617はプリンタ制御マネージャー6
18が有するセレクト情報を参照し、プロファイル情報
群621の中から該当するプロファイル情報を引き出す
ことが可能となっている。前述のカラーマッチングマネ
ージャー612はカラーパレット制限モードが指定され
ている場合に限って、プロファイルマネージャー617
に問い合わせを行ない、使用すべきカラーパレットの情
報をカラーパレットクリエータ613に通知し、システ
ムカラーパレットテーブルを作成、又は更新する。
【0067】ここではシステムカラーパレットを利用す
るアプリケーションプログラム614及び615(共に
クライアントプログラム)において、カラープリンタが
再現不可能な色を予め制限することが可能である。
【0068】
【発明の効果】以上説明したように、本願第1の発明に
よれば、発色や発光の仕組みの違い又はメディアの違い
等を吸収し、形成画像の色を表示画像の色に色の見えを
マッチングさせることができる。
【0069】また、本願第2の発明によれば、形成画像
の色を表示画像の色に色の見えをマッチングさせる際に
用いるパラメータを簡単に生成することができる。
【0070】また、本願第3の発明によれば、表示画像
の色を忠実に再現することができる。
【図面の簡単な説明】
【図1】本願実施形態にかかるカラープリントシステム
の1例を示すブロック図。
【図2】色変換処理の1例を示すブロック図。
【図3】CMYK色補正パラメータをシミュレーション
計算する1例を示すブロック図。
【図4】微調整処理に係るパラメータをシミュレーショ
ン計算する1例を示すブロック図。
【図5】原色(R、G、B)を従来のカラープリントシ
ステムによって出力した場合に再現される色を均等色空
間にプロットし、色相、彩度の変化を示した図。
【図6】原色(R、G、B)に対する微調整処理の結果
を均等色空間上に示した図。
【図7】実施形態2におけるガンマ補正量の変化の1例
を示す図。
【図8】実施形態2におけるガンマ補正量の変化の変形
例を示す図。
【図9】実施形態3にかかるカラープリントシステムの
1例を示すブロック図。
【図10】実施形態3にかかる処理の流れの1例を示す
ブロック図。
【図11】実施形態3にかかるUIの1例を示す図。
【図12】カラーパレットテーブルの1例を示す図。
【図13】実施形態4にかかる処理の流れの1例を示す
ブロック図。
【図14】カラープリンタ装置の構成の1例を示すブロ
ック図。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 1/46 H04N 1/46 Z

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 画像形成手段によって記録媒体上に形成
    される形成画像の色を、表示画像の色にマッチングさせ
    る画像処理方法であって、 画像データの色相及び彩度に対応させて該画像データの
    色相を均等色空間における右方向にマッピングすること
    を特徴とする画像処理方法。
  2. 【請求項2】 前記マッピングは、前記画像データの彩
    度が高いほど、該画像データの色相を右方向にマッピン
    グすることを特徴とする請求項1記載の画像処理方法。
  3. 【請求項3】 前記マッピングは、マッピングモードと
    して彩度を優先して前記画像形成手段の色再現範囲にマ
    ッピングするモードが設定された場合に行うことを特徴
    とする請求項1記載の画像処理方法。
  4. 【請求項4】 更に、前記マッピングは、設定されたマ
    ッピングモードに対応して入力画像データを前記画像形
    成手段の色再現範囲にマッピングすることを特徴とする
    請求項1記載の画像処理装置。
  5. 【請求項5】 ターゲットデータに基づき画像形成手段
    によってターゲット画像を形成させ、該ターゲット画像
    を画像読取手段によって読み取り得られた画像データを
    入力する入力工程と、 所定色相付近に属する前記ターゲットデータに対して彩
    度の上昇とともに色相を回転させる補正を行い、補正タ
    ーゲットデータを生成する補正工程と、 前記画像データと前記補正ターゲットデータに基づき色
    処理パラメータを生成する色処理パラメータ生成工程と
    を有することを特徴とする画像処理方法。
  6. 【請求項6】 前記色処理パラメータを用いて、前記画
    像形成手段によって記録媒体上に形成される形成画像の
    色を表示画像の色にマッチングさせるマッチング処理を
    入力画像データに対して行うことを特徴とする請求項5
    記載の画像処理方法。
  7. 【請求項7】 カラーパレットテーブルを用いてカラー
    画像を生成する画像処理方法であって、 前記カラー画像を画像出力する画像出力手段のプロファ
    イルデータに基づき、カラーパレットテーブルに登録で
    きる色を制限し、 前記色の制限に基づきカラーパレットテーブルを生成
    し、 前記カラーパレットテーブルに登録されている色を用い
    てカラー画像を生成することを特徴とする画像処理方
    法。
  8. 【請求項8】 更に、カラーパレットに登録できる色を
    制限しないモードを有し、 カラーパレットに登録できる色を制限するモード、もし
    くは、カラーパレットに登録できる色を制限しないモー
    ドのいずれかをマニュアル指示に基づき設定することを
    特徴とする請求項7記載の画像処理方法。
  9. 【請求項9】 更に、前記生成されたカラー画像に対し
    てカラーマッチング処理を行う、複数のカラーマッチン
    グモードを有するカラーマッチング処理工程を有し、 前記カラーマッチング処理工程は前記マニュアル指示に
    基づき設定されたモードに連動することを特徴とする請
    求項8記載の画像処理方法。
  10. 【請求項10】 前記画像出力手段のプロファイルデー
    タには該画像出力手段の色再現範囲を示す情報が格納さ
    れていることを特徴とする請求項7記載の画像処理装
    置。
  11. 【請求項11】 画像形成手段によって記録媒体上に形
    成される形成画像の色を、表示画像の色にマッチングさ
    せる画像処理装置であって、 画像データの色相及び彩度に対応させて該画像データの
    色相を均等色空間における右方向にマッピングするマッ
    ピング処理手段を有することを特徴とする画像処理装
    置。
  12. 【請求項12】 ターゲットデータに基づき画像形成手
    段によってターゲット画像を形成させ、該ターゲット画
    像を画像読取手段によって読み取り得られた画像データ
    を入力する入力手段と、 所定色相付近に属する前記ターゲットデータに対して彩
    度の上昇とともに色相を回転させる補正を行い、補正タ
    ーゲットデータを生成する補正手段と、 前記画像データと前記補正ターゲットデータに基づき色
    処理パラメータを生成する色処理パラメータ生成手段と
    を有することを特徴とする画像処理装置。
  13. 【請求項13】 カラーパレットテーブルを用いてカラ
    ー画像を生成する画像処理装置であって、 前記カラー画像を画像出力する画像出力手段のプロファ
    イルデータに基づき、カラーパレットテーブルに登録で
    きる色を制限する制限手段と、 前記色の制限に基づきカラーパレットテーブルを生成す
    るカラーパレット生成手段と、 前記カラーパレットテーブルに登録されている色を用い
    てカラー画像を生成するカラー画像生成手段とを有する
    ことを特徴とする画像処理装置。
JP08001096A 1996-04-02 1996-04-02 画像処理方法 Expired - Fee Related JP3630835B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP08001096A JP3630835B2 (ja) 1996-04-02 1996-04-02 画像処理方法
DE69727414T DE69727414T2 (de) 1996-04-02 1997-03-27 Bildverarbeitungsgerät und -verfahren
EP97302151A EP0800150B1 (en) 1996-04-02 1997-03-27 Image process apparatus and method
US08/825,348 US6421141B2 (en) 1996-04-02 1997-03-28 Image process apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08001096A JP3630835B2 (ja) 1996-04-02 1996-04-02 画像処理方法

Publications (2)

Publication Number Publication Date
JPH09270927A true JPH09270927A (ja) 1997-10-14
JP3630835B2 JP3630835B2 (ja) 2005-03-23

Family

ID=13706364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08001096A Expired - Fee Related JP3630835B2 (ja) 1996-04-02 1996-04-02 画像処理方法

Country Status (4)

Country Link
US (1) US6421141B2 (ja)
EP (1) EP0800150B1 (ja)
JP (1) JP3630835B2 (ja)
DE (1) DE69727414T2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002065758A1 (fr) * 2001-02-13 2002-08-22 Asahi Glass Company, Limited Appareil de distribution d'images, procede et programme
KR100440966B1 (ko) * 2002-01-14 2004-07-21 삼성전자주식회사 보색을 이용한 색역 사상 방법
US7064864B2 (en) 2000-10-10 2006-06-20 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for compressing reproducible color gamut
US7586642B2 (en) 2003-07-25 2009-09-08 Hoya Corporation Color-space transformation-matrix calculating system and calculating method
JP2011030237A (ja) * 2010-08-25 2011-02-10 Sanyo Electric Co Ltd 画像処理装置
US7948501B2 (en) 2004-03-09 2011-05-24 Olympus Corporation Display control apparatus and method under plural different color spaces
US8675961B2 (en) 2007-08-09 2014-03-18 Seiko Epson Corporation Image processing system, display device, program and information storage medium for correction of color information

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3362674B2 (ja) * 1998-08-26 2003-01-07 富士ゼロックス株式会社 画像処理装置および画像処理方法
US6665095B1 (en) * 1999-01-29 2003-12-16 Kimberly-Clark Worldwide, Inc. Apparatus for hybrid printing
JP2000298465A (ja) * 1999-04-14 2000-10-24 Sony Computer Entertainment Inc 描画システム、該システムを記録した媒体、及び該システムを使用する描画方法
EP1085749B1 (en) * 1999-09-17 2011-01-12 Canon Kabushiki Kaisha Image processing method and apparatus
WO2001075802A1 (en) * 2000-03-31 2001-10-11 Imation Corp. Color accuracy across a computer network
DE10017831B4 (de) * 2000-04-10 2006-09-07 OCé PRINTING SYSTEMS GMBH Verfahren und System zum Bearbeiten einer Farbumsetzungstabelle
US6741262B1 (en) * 2000-05-12 2004-05-25 Electronics For Imaging, Inc. Expert color management settings method and interface
JP3580417B2 (ja) * 2000-05-22 2004-10-20 ノーリツ鋼機株式会社 写真プリント装置
US6967746B1 (en) * 2000-08-30 2005-11-22 Eastman Kodak Company System for combining device color profiles
US7161710B1 (en) 2000-09-01 2007-01-09 Adobe Systems Incorporated Composite rendering intent for color proofing applications
US7227666B1 (en) 2000-09-01 2007-06-05 Adobe Systems Incorporated Dynamic selection of rendering intent for color proofing transforms
JP2002187314A (ja) * 2000-09-12 2002-07-02 Canon Inc 画像処理装置およびその方法、予測方法、表示方法、並びに、管理方法
JP3487284B2 (ja) * 2000-11-02 2004-01-13 セイコーエプソン株式会社 プリンタシステム、プリンタドライバ、及びプリンタ
JP4846941B2 (ja) * 2001-08-30 2011-12-28 富士通株式会社 印刷制御装置、およびプログラム
US6947589B2 (en) * 2001-09-20 2005-09-20 Canon Kabushiki Kaisha Dynamic gamut mapping selection
US7420704B2 (en) * 2002-01-04 2008-09-02 Hewlett-Packard Development Company, L.L.P. System and method for color gamut inadequacy notification
EP1351487A3 (en) * 2002-04-04 2007-01-24 Fuji Photo Film Co. Ltd. Method, apparatus and program storage medium for color conversion
US7061503B2 (en) * 2002-07-01 2006-06-13 Canon Kabushiki Kaisha In-gamut color picker
US20050185200A1 (en) * 2003-05-15 2005-08-25 Zih Corp Systems, methods, and computer program products for converting between color gamuts associated with different image processing devices
JP2005079834A (ja) * 2003-08-29 2005-03-24 Pentax Corp 色変換マトリクス算出方法および画像信号処理装置
US7593147B2 (en) * 2004-05-26 2009-09-22 Fujifilm Corporation Output apparatus, color conversion method, and machine readable medium storing program
JP4026078B2 (ja) * 2004-09-28 2007-12-26 ブラザー工業株式会社 画像印刷制御装置、及び画像印刷制御方法、並びに印刷制御プログラム
US7463385B2 (en) * 2005-06-30 2008-12-09 Hewlett-Packard Development Company, L.P. Color map selection
US8873102B2 (en) * 2005-10-28 2014-10-28 Hewlett-Packard Development Company, L.P. Dynamic color separation at a digital press
JP2007228189A (ja) * 2006-02-22 2007-09-06 Canon Inc 色テーブル編集装置、色テーブル編集方法、プログラムおよび記憶媒体
JP2007256488A (ja) * 2006-03-22 2007-10-04 Toshiba Matsushita Display Technology Co Ltd 液晶表示装置
US7646392B2 (en) 2006-05-03 2010-01-12 Research In Motion Limited Dynamic theme color palette generation
US20080212113A1 (en) * 2007-01-09 2008-09-04 Samsung Electronics Co., Ltd. Host device having a printer driver and control method of the printer driver
US20090157906A1 (en) * 2007-12-14 2009-06-18 Ricoh Company, Ltd. Information processing device, information processing device controlling method, and computer-readable recording medium
US20100156929A1 (en) * 2008-12-23 2010-06-24 Eastman Kodak Company Ridge-based color gamut mapping
US9218550B2 (en) 2010-11-26 2015-12-22 Hewlett-Packard Development Company, L.P. Method and system for creating a customized print
JP2014110521A (ja) * 2012-11-30 2014-06-12 Casio Comput Co Ltd 色指定印刷のための色変換装置、方法、およびプログラム
US9190013B2 (en) * 2013-02-05 2015-11-17 Qualcomm Mems Technologies, Inc. Image-dependent temporal slot determination for multi-state IMODs
BR112016014327B1 (pt) 2013-12-18 2023-03-21 Hfi Innovation Inc. Método de decodificação de um bloco de dados de vídeo
EP3085083B1 (en) 2013-12-18 2021-12-15 HFI Innovation Inc. Method and apparatus for palette initialization and management
US20180188113A1 (en) * 2016-12-29 2018-07-05 Printing Technology Research Institute Cover device and method for measuring hue using mobile device
JP6959574B2 (ja) * 2017-10-19 2021-11-02 セイコーエプソン株式会社 デバイスリンクプロファイルの調整方法、調整プログラム、調整装置、調整システム、作成方法、作成プログラム、及び、作成装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5522708A (en) * 1978-08-04 1980-02-18 Dainippon Screen Mfg Co Ltd Method and apparatus for recording of color image
US5218671A (en) * 1989-05-31 1993-06-08 Computer Design, Inc. Image color correction system and method
US5254978A (en) * 1991-03-29 1993-10-19 Xerox Corporation Reference color selection system
US5416890A (en) * 1991-12-11 1995-05-16 Xerox Corporation Graphical user interface for controlling color gamut clipping
US5307182A (en) * 1991-12-30 1994-04-26 Xerox Corporation Methods and apparatus for multigeneration color image processing

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7064864B2 (en) 2000-10-10 2006-06-20 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for compressing reproducible color gamut
WO2002065758A1 (fr) * 2001-02-13 2002-08-22 Asahi Glass Company, Limited Appareil de distribution d'images, procede et programme
KR100440966B1 (ko) * 2002-01-14 2004-07-21 삼성전자주식회사 보색을 이용한 색역 사상 방법
US7586642B2 (en) 2003-07-25 2009-09-08 Hoya Corporation Color-space transformation-matrix calculating system and calculating method
US7948501B2 (en) 2004-03-09 2011-05-24 Olympus Corporation Display control apparatus and method under plural different color spaces
US8675961B2 (en) 2007-08-09 2014-03-18 Seiko Epson Corporation Image processing system, display device, program and information storage medium for correction of color information
JP2011030237A (ja) * 2010-08-25 2011-02-10 Sanyo Electric Co Ltd 画像処理装置

Also Published As

Publication number Publication date
DE69727414D1 (de) 2004-03-11
EP0800150A2 (en) 1997-10-08
EP0800150A3 (en) 1998-11-11
DE69727414T2 (de) 2004-12-23
US6421141B2 (en) 2002-07-16
JP3630835B2 (ja) 2005-03-23
EP0800150B1 (en) 2004-02-04
US20010040983A1 (en) 2001-11-15

Similar Documents

Publication Publication Date Title
JP3630835B2 (ja) 画像処理方法
US7110595B2 (en) Method of and apparatus for image processing, and computer product
US7626723B2 (en) Color-conversion-table creating method
AU727165B2 (en) Gamut correction with color separation and methods and apparatuses for performing same
EP1821518B1 (en) Personalized color reproduction
JP3890211B2 (ja) 画像処理方法、画像処理装置、プログラム、記憶媒体
JP3775752B2 (ja) 色処理方法及び装置
US7061505B2 (en) Image processing device, image processing system, output device, computer readable recording medium and image processing method
US6724500B1 (en) Piecewise color transformation by gamut partitioning
US7450281B2 (en) Image processing apparatus and information processing apparatus, and method thereof
US7126718B1 (en) Adjustment of color appearance models
US7656414B2 (en) System and method for determination of gray for CIE color conversion using chromaticity
JPH0787345A (ja) カラーマッチング方法及びその装置
JP2001045313A (ja) 色変換方法、色変換装置、色変換プログラム記憶媒体、色補正方法
JP2003110859A (ja) 画像処理方法、画像処理装置、記憶媒体及びプログラム
JP3152186B2 (ja) 色変換方法、色変換テーブル作成装置、色変換装置、および記録媒体
JP2000032281A (ja) 画像処理方法、装置および記録媒体
US7679782B2 (en) System and method for extracting grayscale data in accordance with a prescribed tolerance function
JP2001186368A (ja) 色空間座標変換方法及び装置、色信号変換テーブルの生成方法及び装置、並びにメモリ媒体
JP2001148794A (ja) 色変換方法、色変換テーブル作成装置、色変換装置、および記録媒体
JP2003153019A (ja) 色変換定義作成方法、色変換定義作成装置、および色変換定義作成プログラム
JPH06268856A (ja) 画像処理方法、装置及び電子機器
JP2003087590A (ja) 画像処理方法及び画像処理装置
JP2014014056A (ja) カラープロファイル作成装置およびカラープロファイル作成方法
JPH07298077A (ja) 複数の色補正方式を有するカラープリンタ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041215

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101224

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121224

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees