JP4191854B2 - カラー画像処理装置 - Google Patents
カラー画像処理装置 Download PDFInfo
- Publication number
- JP4191854B2 JP4191854B2 JP23408599A JP23408599A JP4191854B2 JP 4191854 B2 JP4191854 B2 JP 4191854B2 JP 23408599 A JP23408599 A JP 23408599A JP 23408599 A JP23408599 A JP 23408599A JP 4191854 B2 JP4191854 B2 JP 4191854B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- color conversion
- image
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
この発明は、静電写真プロセスを用いて、対象物の画像を被転写材に複製する画像形成装置に適用可能なカラー画像処理装置に関する。
【0002】
【従来の技術】
カラー複写機における色調整は、出力された画像が入力された画像(原稿)を正しく色再現していない場合の補正や、入力画像と意図的に異なる色を出力する場合に行う処理である。
【0003】
従来より開示されている色調整の手法としては、画像データを、色の三属性である色相(H)・明度(L)・彩度(C)を表す三属性座標系データに変換し、三属性座標上で個々の属性を増減することにより調整した後、元の色空間(RGB(赤・緑・青による加法混色すなわち色光三原色)あるいはCMY(シアン・マゼンタ・イエローによる減法混色すなわち色材三原色)等)に戻すという方法が一般的である。
【0004】
しかし、この方法では、三属性座標系との変換に求められる処理時間が非常に大きくなることが知られている。
【0005】
このため、RGB色空間から比較的単純な演算によって三属性との相関が高い色空間(HSV等)に変換する方法も考案されているが、HSV色空間と三属性との相関の精度は必ずしも十分ではない。
【0006】
【発明が解決しようとする課題】
これとは別に、カラー複写機では、色光三原色(RGB)色空間で表現される入力画像データを色材三原色(CMY)色空間に変換して記録媒体上に再現する際に利用される色変換工程において、色変換のパラメータを求める方法として、装置(複写機)自身が出力したサンプルカラーパッチ(カラーサンプル画像)を読み込ませて複数色のパッチのRGB−CMYデータの組を収集し、最小二乗法を用いてRGBからCMYへの変換多項式の係数を求める方法が知られている。
【0007】
しかしながら、この作業では、カラーパッチを読み込ませる際に機械的精度が必要となる。また、精度の良い色変換パラメータを求めるためには、できるだけ多数色のカラーパッチを用いることが望ましく、その一方で、一定面積の用紙に多数色のパッチを出力するには、個々のパッチ面積を小さくしなければならないという相反する条件が存在する。
【0008】
このことは、パッチ読取からデータ抽出にいたるまでに要求される機械的精度としてより厳しい精度が要求されることとなり、例えば精度を優先させる場合、色変換パラメータを求めるための時間を十分に長くとることが必要となる。その一方で、処理時間を低減するために、例えばカラーパッチの数を減少させることは、色変換の精度を低下させる問題がある。
【0009】
この発明の目的は、カラー複写機等に適用可能で、高速かつ高精度で、しかも低コストな色調整および色変換が可能な画像処理装置を提供することにある。
【0010】
【課題を解決するための手段】
この発明は、上記問題点に基づきなされたもので、第1の色空間で表される画像データを第2の色空間で表される画像データに変換するLUT方式の画像色変換手段と、前記画像色変換手段によって参照される色変換LUTと、前記色変換LUTの格子点アドレスに相当する第1の格子点色座標データを記憶するメモリと、暖色系または寒色系のいずれか1つを特定する感性用語にもとづいて色調を方向づける補正指示表示を有し、いずれかの感性用語に対応する補正指示を入力する色調指示手段と、画像全体をどのような色に近づけるかを示す目標色相角、目標色相角に近づけるためにどれだけ色相角を変化させるかを表す色相角最大変移量、および色相角が変化することで特定の色に色ずれが生じることを防止するために色相角を変化させない領域を与えるための色相角不変幅のそれぞれに対する調整量が上記補正指示毎に特定されている組み合わせを有し、前記色調指示手段から入力される補正指示毎に応じて、目標色相角、色相角最大変移量、色相角不変幅を設定する色調調整パラメータ生成手段と、前記色調調整パラメータ生成手段により生成された色調調整パラメータを用いて第1の格子点色座標データに対して色調整を施して第2の格子点色座表データを出力する色調整手段と、色調整された結果である第2の格子点色座標データに基づくデータに対して無調整の色変換を施す無調整色変換手段と、第2の格子点色座標データに基づくデータに対する無調整色変換結果を色変換LUTに反映する色変換LUT更新手段と、を有することを特徴とするカラー画像処理装置を提供するものである。
【0015】
【発明の実施の形態】
以下、図面を用いてこの発明の実施の形態である画像処理装置について詳細に説明する。
【0016】
図1は、この発明の第1の実施の形態である画像処理装置を示す概略ブロック図である。
【0017】
図1に示されるように、第1の実施の形態である画像処理装置1は、図示しない画像読取装置(スキャナ等)からの画像信号が入力される画像入力部2、図示しない画像形成装置(プリンタ等)に向けて画像信号(印字用)を出力する画像出力部3、画像入力部2と画像出力部3との間に設けられ、画像入力部2に入力された画像信号を画像出力部3に出力する際の入力画像(原稿)と出力画像との間の色再現を変更可能な画像処理部4、および利用者(ユーザ)による、例えば色調変更等が入力可能なユーザ操作パネル5を有している。
【0018】
画像処理部4は、色光三原色(RGB=R:赤,G:緑およびB:青)に分解されて入力画像として画像入力部2から供給された入力画像を、画像出力部3に接続されたプリンタ装置またはカラー複写機等において画像形成に利用する色材三原色(CMY=C:シアン,M:マゼンタおよびY:イエロー)に変換する際に、必要に応じて、すなわち出力画像が入力画像を正しく色再現していない場合の捕正や、入力画像に対して意図的に色を変えて出力したい場合に、以下に説明する色調整を可能とするもので、画像入力部2から入力された画像信号を、以下に説明する調整量に基づいて色変換する画像色変換部10と画像色変換部10により色変換すべき調整量を設定する色調整部20を含む。
【0019】
色調整部20には、画像色変換部10の前段に接続された色変換ルックアップテーブル(以下、LUTと示す)11の格子点アドレスに相当する色の三属性、すなわち明度(L)、彩度(C)および色相(H)のそれぞれのデータを、全ての格子点に関して記憶している格子点LCHデータメモリ21と、例えばユーザ操作パネル5から入力される調整パラメータと複写機の組立時あるいは調整時に予め設定されて、例えば不揮発性メモリ(NVRAM)6に記憶されている調整パラメータとに基づいて、合成調整パラメータを合成する調整パラメータ合成部22、およびユーザ操作パネル5から入力される特定の色調、例えば「暖かい」または「冷たい」等の感性用語により色調を方向づける補正に対応して予め設定されている特別な色調整に利用されるパラメータを出力するワンタッチ調整パラメータ生成部23が接続されている。なお、ワンタッチ調整では、例えば「暖かい」は、暖色系の色調を出力するための入力指示方法であり、例えば「冷たい」は、寒色系の色調を出力するための入力指示方法である。このとき、実際に入力される色調整の指示としては、例えば彩度Cを増減したり、色相角を回転させることになる。
【0020】
色調整部20と画像色変換部10との間には、格子点LCHデータメモリ21に保持されているLCH(三属性)のそれぞれのデータが、調整パラメータ合成部22から提供された合成調整パラメータとワンタッチ調整パラメータ生成部23から提供されたパラメータにより色調整されて出力された調整量(調整済格子点データ)を、入力画像データと同一の色空間であるRGBに変換するRGB変換部24、RGB変換部24から出力されたRGBデータを、出力画像データと同一の色空間であるCMYに変換する無調整色変換部(CMY変換部)25、および無調整色変換部25により得られたCMYデータに基づいて、画像色変換部10の前段の色変換LUT11のデータを書き替えるLUT更新部26が、順に接続されている。
【0021】
次に、図1に示した画像処理装置1における処理の一例を説明する。
【0022】
図示しない画像形成装置、例えばカラー複写機において、最終的に画像が出力される記録媒体(用紙)上に形成される画像は、通常、染料あるいは顔料と電荷制御剤および樹脂材料からなるトナー(可視化剤)を、静電複写プロセスにより所定の割合で配列(重ね合わせ)することにより得られる。従って、画像出力部3に要求される色空間としては、色材三原色(CMY)である。
【0023】
これに対して、入力画像の多くは、色光三原色(RGB)であり、画像出力部3と画像入力部1との間の画像処理部4において、RGB → CMYの色空間が変換されることは既に説明した通りである。しかしながら、RGBからCMYへの変換において、精度を高めようとすると処理時間が増大し、処理時間を低減しようとすると精度が低下するという相反する問題がある。
【0024】
そこで、この発明においては、図1に示したように、入力画像データをRGBからCMYに変換する工程は、色変換LUT11によるものとし、色変換LUT11を特定するための色調整の調整量の設定は、色調整部20により、独立して設定するものとする。
【0025】
詳細には、色調整部20において、格子点LCHデータメモリ21に予め記憶されている全ての格子点のLCHデータに対して調整パラメータ合成部22およびワンタッチ調整パラメータ生成部23から与えられるL,CおよびHのそれぞれの調整パラメータI,cおよびhを用い、例えば、
L´=L+l、
C´=C×c、および
H´=H+h
で示される変換式により、調整後の全ての格子点データL´,C´およびH´を求め、調整後の格子点LCHデータ(L´,C´およびH´)を、RGB変換部24により入力画像データと同一の色空間であるRGBに変換し、RGBに変換された調整済格子点データを、無調整色変換部25により出力画像データと同一の色空間であるCMYに変換させることにより、色調整部20に設定された調整量は、画像出力部3に出力される画像色変換部10の変換量を示す色変換LUT11に反映される。すなわち、無調整色変換部25から出力されたCMYデータは、LUT更新部26によって、色変換LUT11に書き込まれ、画像色変換部10が入力画像を変換する変換量となる。なお、無調整色変換部25は、色調整を伴わないRGB → CMYの色空間の変換のみを分担するため、無調整色変換部と称される。
【0026】
一方、色調整部20が出力する調整済LCHデータ(L´,C´およびH´)の設定(合成)に用いられる調整パラメータl,cおよびhは、調整パラメータ合成部22により、予めNVRAM6に設定されている調整パラメータとユーザ操作パネル5から入力される調整パラメータおよびユーザ操作パネル5から入力された特定の色調に対応する特別な色調整に利用されるワンタッチ調整パラメータを、例えば
l=lNVRAM+lPANEL+lONE−TOUCH、
c=cNVRAM×cPANEL+cONE−TOUCH、および
h=hNVRAM+hPANEL+hONE−TOUCH
添え字NVRAMは、NVRAM6に記憶されている調整量を、
同PANELは、ユーザ操作パネル5から入力される調整量を、
同ONE−TOUCHは、ユーザ操作パネル5からワンタッチ調整で入力される特定の色調の調整量
を、それぞれ示す
により示される変換式により、一義的に設定される。
【0027】
このように、この発明の画像処理装置は、色変換LUTの格子点アドレスに相当する色座標データに対して色調整を施し、この色調整結果に色調整を全く反映しないパラメータで色変換(RGBからCMYのみの色変換)を実行し、この色変換結果で色変換LUTを書き換えることにより、入力画像を色調整するものである。なお、ワンタッチ調整パラメータは、本実施例では、画像全体をどのような色に近づけるかを示す目標色相角、目標色相角に近づけるためにどれだけ色相角を変化させるかを表す色相角最大変移量、および色相角が変化することで特定の色に色ずれが生じることを防止するために色相角を変化させない領域を与えるための色相角不変幅からなるパラメータを考える。
【0028】
図2は、図1に示したワンタッチ調整パラメータ生成部23において用いられる上述の3つのパラメータである目標色相角、色相角最大変移量および色相角不変幅のそれぞれを説明する概略図である。
【0029】
図2(a)は、L*a*b*色空間に分布する色をa*b*平面に射影した状態を示し、それぞれのプロットは、色相(H)と彩度(C)を示している。
【0030】
図2(a)においては、原点と各プロットを結ぶ線分とa*軸とのなす角が、それぞれ色相(H)であり、各線分の長さが彩度(C)となる。
【0031】
図1に示したカラー画像処理装置1において、ユーザ操作パネル5から、ワンタッチ調整が入力されると、色調整部20においては、以下に示すように、
D=|ワンタッチ調整前の色相−目標色相角|
D<(180−色相角不変幅)のとき、
ワンタッチ調整後の色相
=目標色相角+D×(180―色相角最大変移量)/180
D≧(180−色相角不変幅)のとき、
ワンタッチ調整後の色相=ワンタッチ調整前の色相
の各演算により、各点の色相(H)が変更される。
【0032】
図2(b)は、例えば「暖かい」という感性用語に対応するワンタッチ調整のパラメータを変更する例を示し、「目標色相角=0°」,「色相角最大変移量=30°」および「色相角不変幅=5°」の調整結果に対応するL*a*b*空間のa*b*平面の状態を示している。
【0033】
次に、上述の演算における色相角不変幅について説明する。
【0034】
図2(b)に示すように、目標色相に対する補色の近傍では、色相角の僅かな違いによって変移する方向が逆転する(b*軸で+,−に分かれる)ことが認められる。
【0035】
従って、色変換テーブルの格子点が目標色相の補色の近傍に分布していると、本来は相互に近接している格子点同士の間隔が、調整によって不自然に離れることがあり、その結果として、出力画像に擬似的な輪郭(疑似輪郭)が生じたり、階調が逆転して、画質が劣化する問題がある。
【0036】
この疑似輪郭が発生することおよび階調の逆転を防止するために、目標色相の補色関係にある各格子点については色相を変化させない色相角不変幅を与えて、ユーザ操作パネル5からユーザによりワンタッチ調整が入力された場合であっても、所定領域内の格子点データの色相を変化させないようにして、色相が不所望に変移することを制御している。
【0037】
このようにして色調整部20で算出された調整後の格子点LCHデータは、LCH/RGB変換部24により、入力画像データと同じRGB色空間のデータに変換される。
【0038】
以下、先に説明したように、調整済格子点データは、無調整色変換部25にて出力画像データと同一のCMY色空間のデータに変換され、画像出力部3に出力される画像色変換部10の変換量を示す色変換LUT11に反映される。
【0039】
図3は、図1に示した画像処理装置とは異なる第2の実施の形態である画像処理装置の例を示す概略ブロック図である。なお、図1に示した構成と同一の構成には同じ符号を付して詳細な説明を省略する。
【0040】
図3に示されるように、画像処理装置101は、画像入力部2、画像出力部3および画像処理部104を有している。
【0041】
画像処理部104は、画像色変換部10、色変換LUT11およびLUT更新部25、以下に説明する差分色変換部31、差分色変換パラメータ生成部32、基本色変換部(1)33、基本色変換パラメータ生成部34、カラーパッチデータサンプリング部35、補助色変換部(1)40、補助色変換部(2)41、補助色変換パラメータ生成部42、補正目標データメモリ43、補正目標データ更新部44および基本色変換部(2)36を含んでいる。なお、補助色変換パラメータ生成部42には、第1の初期化部42aが、差分色変換パラメータ生成部32には、第2の初期化部32aが、基本色変換パラメータ生成部34には、第3の初期化部33aが、それぞれ接続されている。
【0042】
図3に示すように、カラーパッチデータサンプリング部35の出力は、補正目標データ更新部44と補正色変換部(1)40に入力され、それぞれの出力は、補正目標データメモリ43および基本色変換部33に入力される。
【0043】
補正目標データメモリ43の出力およびカラーパッチデータサンプリング部35からのカラーパッチデータは、補助色変換パラメータ生成部42に供給されて補助色変換パラメータ42が生成され、補助色変換部(1)40および補助色変換部(2)41に供給される。
【0044】
なお、基本色変換パラメータ生成部34には、CMYデータメモリa37が、差分色変換パラメータ生成部32には、CMYデータメモリb38が、基本色変換部B36には、補助色変換部(2)41を経由して格子点RGBデータメモリ39が、それぞれ接続されている。また、画像出力部3には、セレクタ27を経由してカラーパッチ画像生成部28が接続されている。
【0045】
次に、図3に示した画像処理装置101における処理の一例を説明する。
【0046】
まず、基本色変換パラメータの生成方法を説明する。
【0047】
カラーパッチ画像生成部28を用いて、CMYデータメモリa37に記憶されているCMYデータに対応するカラーパッチ画像データを生成し、画像出力部3で、(第1の)カラーパッチ画像を出力する。
【0048】
次に、出力されたカラーパッチ画像を図示しないスキャナ等により画像入力部2から入力し、入力カラーパッチ画像データを得る。
【0049】
続いて、カラーパッチデータサンプリング部35により入力カラーパッチ画像データからカラーパッチ画像の各色のRGBデータa´を抽出し、補助色変換部(1)40に供給する。
【0050】
補助色変換部(1)40は、設定されている補助色変換パラメータを用いて、カラーパッチRGBデータa´を補助色変換し、その結果であるカラーパッチRGBデータaを、基本色変換パラメータ生成部34に供給する。
【0051】
以下、補助色変換結果であるカラーパッチRGBデータaとCMYデータメモリa37に記憶されているCMYデータ(カラーパッチ画像を出力させるための元となった同一データ)とにより、基本色変換パラメータ生成部34において、以下に示す
【0052】
【数1】
【0053】
但し、D00ないしD29は、aのそれぞれに対応する基本色変換パラメータ
を示し、
Ri,Gi,Bi,Ri 2,Gi 2,Bi 2,RiGi,GiBi,BiRi
および1は、係数項である
が満足されるよう、最小二乗法により、基本色変換パラメータD00ないしD29が生成される。
【0054】
なお、基本色変換パラメータを設定する際に、第1の初期化部42aにより、補助色変換パラメータ生成部42を所定の初期状態に戻して補助色変換を無効とするように設定することもできる。すなわち、カラーパッチRGBデータaを、カラーパッチRGBデータa´と等しくすることもできる。
【0055】
上述した補助色変換は、図示しない画像入力部(スキャナ)において、基本色変換パラメータを生成した時点と現時点との間に、経時変化による特性の違いが認められた時や、基本色変換パラメータを生成するために用いたスキャナと現在用いているスキャナとの間で特性の相違がある場合に、現在入力可能なRGB信号を補正して、基本色変換パラメータ作成時のスキャナによる入力で得られるRGB信号と同等のRGB信号に変換するものである。
【0056】
このことから、補正目標データメモリ43に記憶されている補正目標データは、基本色変換パラメータ生成時に、補正目標データ更新部44により、逐次更新される。すなわち、基本色変換パラメータ生成時に、所定のカラーパッチ原稿を画像入力して、カラーパッチデータサンプリング部35により(原稿の)カラーパッチの各色のRGBデータを抽出し、補正目標データ更新部44により、補正目標データメモリ43に記憶されているRGBデータは、先のカラーパッチから読み取ったRGBデータに置き換えられる。
【0057】
次に、補助色変換パラメータについて説明する。
【0058】
上述したように、補助色変換パラメータは、スキャナ(入力部)の特性の経時変化の影響を除去するために用いられるもので、カラーパッチ画像生成部28により生成したカラーパッチ原稿もしくは所定のカラーパッチ原稿を、図示しないスキャナにより画像入力し、入力カラーパッチデータとし、カラーパッチサンプリング部35により、入力カラーパッチデータからカラーパッチの各色のRGBデータc(R´,G´およびB´)を抽出して補助色変換パラメータ生成部42に供給する。なお、上述した入力カラーパッチデータ用のカラーパッチ原稿は、例えばべた出力(ハーフトーン等の中間調を含まない)の色のみにより構成される等、出力系の中間調出力の条件に影響されないものであることが好ましく、かつ、一定の品質の原稿が安定して、継続的に入手できることが必要である。
【0059】
補助色変換パラメータ生成部42は、RGBデータcと補正目標データメモリのRGBデータ(Ri,GiおよびBi)とを用いて、以下に示す
【0060】
【数2】
【0061】
但し、S00〜S03,S10〜S13およびS20〜S23は、補助色変換パラメ
ータを示し、
R´,G´,B´および1は、係数項である
が満足されるよう、最小二乗法により、補助色変換パラメータS00,S01,S02,S03,S10,S11,S12,S13,S20,S21,S22およびS23が生成される。なお、この演算においては、S03=S13=S23=0として拘束条件を付加してもよい。
【0062】
次に、差分色変換パラメータの生成方法を説明する。
【0063】
カラーパッチ画像生成部28を用いてCMYデータメモリb38に記億されているCMYデータに対応するカラーパッチ画像データを生成し、画像出力部3で(第2の)カラーパッチ画像を出力する。なお、CMYデータメモリb38は、CMYデータメモリa37と共用されてもよい。
【0064】
続いて、出力されたカラーパッチ画像を図示しないスキャナ等により画像入力部2から入力し、入力カラーパッチ画像データを得る。
【0065】
次に、カラーパッチデータサンプリング部35により、入力カラーパッチ画像データからカラーパッチ画像の各色のRGBデータb´を抽出し、補助色変換部(1)40に供給する。
【0066】
補助色変換部(1)40は、補助色変換パラメータ生成部42により生成された補助色変換パラメータを用いて、入力されたRGBデータb´を補助色変換して、その結果であるカラーパッチRGBデータbを、基本色変換部(1)33に供給する。
【0067】
基本色変換部(1)33は、基本色変換パラメータ生成部34により先に生成した基本色変換パラメータを用いて、カラーパッチRGBデータb´を、カラーパッチRGBデータbを、CMYデータに変換して、差分パラメータ生成部32に供給する。
【0068】
次に、カラーパッチRGBデータbをCMYデータに変換した変換結果であるC´,M´およびY´とCMYデータメモリb38に記憶されているCMYデータ(カラーパッチ画像を出力させるための元となった同一データ)とを用い、差分色変換パラメータ生成部32において、以下に示す
【0069】
【数3】
【0070】
但し、F00〜F02,F10〜F12およびF20〜F22は、差分色変換パラメ
ータを示す
が満足されるよう、最小二乗法により、差分色変換パラメータF00,F01,F02,F03,F10,F11,F12,F13,F20,F21,F22およびF23が生成される。なお、この演算においては、F03=F13=F23=0として拘束条件を付加してもよい。
【0071】
次に、色変換LUT11に書き込む値の算出方法を説明する。
【0072】
第一に、格子点RGBデータメモリ39に記憶されている色変換LUT11の全ての格子点アドレスに相当する格子点RGBデータが、補助色変換部(2)41に供給される。
【0073】
補助色変換部(2)41は、補助色変換パラメータ生成部42で生成された補助色変換パラメータを用いて、補助色変換部(1)40と同様に、格子点RGBデータを補正RGBデータに変換する。
【0074】
次に、基本色変換部(2)36により、補助色変換部(2)41で生成された補正RGBデータが、先に生成された基本色変換パラメータにより、格子点C´,M´およびY´データに変換される。なお、基本色変換部(2)36における処理は、先に説明した基本色変換部(1)33による処理と実質的に同一であるから詳細な説明を省略する。
【0075】
続いて、差分色変換部31により、先に生成された差分色変換パラメータに基づいて、基本色変換部Bから供給される格子点C´,M´およびY´データが、格子点C,MおよびYデータに変換される。なお、差分色変換パラメータを設定する際に、第2の初期化部32aにより、差分色変換パラメータ生成部32を所定の初期状態に戻して差分色変換を無効とするように設定することもできる。
【0076】
このようにして求められた格子点C,MおよびYデータは、LUT更新部25により、色変換LUT11に書き込まれる。
【0077】
以下、画像入力部2によって入力された画像データは、画像色変換部10で、色変換LUT11に書き込まれた更新データに基づいて色変換され、画像出力部3に出力される。
【0078】
これにより、図示しない画像形成装置から出力される出力画像は、色変換が、基本パラメータによる高精度な変換と経時変化や個体差を吸収する補助パラメータおよび差分パラメータによる変換とが分離された状態で、基本パラメータについては一度設定されるのみで本質的に変更せずに、経時変化および個体差に対応する条件については、補助パラメータまたは差分パラメータだけを簡易な方法で設定することにより、全体として高精度な色変換特性が維持された状態で出力可能となる。
【0079】
図4は、図3に示した画像処理装置の別の実施の形態である画像処理装置の例を示す概略ブロック図である。なお、図1または図3に示した構成と同一の構成には同じ符号を付して詳細な説明を省略する。
【0080】
図4に示されるように、画像処理装置201は、画像入力部2、画像出力部3および画像処理部204を有している。
【0081】
画像処理部204は、図3に示した画像処理装置101に概ね類似し、差分色変換パラメータ生成部32、基本色変換部233、基本色変換パラメータ生成部34、カラーパッチデータサンプリング部35、補助色変換部240、補助色変換パラメータ生成部42、補正目標データメモリ43、補正目標データ更新部44、画像用補助色変換部245、画像用基本色変換部246および画像用差分色変換部247を含んでいる。なお、補助色変換パラメータ生成部42には、第1の初期化部42aが、差分色変換パラメータ生成部32には、第2の初期化部32aが、基本色変換パラメータ生成部34には、第3の初期化部33aが、それぞれ接続されている。また、CMYデータメモリa37およびCMYデータメモリb38は、それぞれ、基本色変換パラメータ生成部34および差分色変換パラメータ生成部32に接続されている。なお、画像出力部3には、セレクタ27を経由してカラーパッチ画像生成部28が接続されている。
【0082】
次に、図4に示した画像処理装置201における処理の一例を説明する。
【0083】
カラーパッチ画像生成部28を用いてCMYデータメモリb38に記億されているCMYデータに対応するカラーパッチ画像データを生成し、画像出力部3でカラーパッチ画像を出力する。
【0084】
続いて、出力されたカラーパッチ画像を図示しないスキャナ等により画像入力部2から入力し、入力カラーパッチ画像データを得る。
【0085】
次に、カラーパッチデータサンプリング部35により、入力カラーパッチ画像データからカラーパッチ画像の各色のRGBデータa´を抽出し、補助色変換部240に供給する。
【0086】
補助色変換部40は、設定されている補助色変換パラメータを用いて、カラーパッチRGBデータa´を補助色変換し、その結果であるカラーパッチRGBデータaを、基本色変換パラメータ生成部34に供給する。
【0087】
以下、補助色変換結果であるカラーパッチRGBデータaとCMYデータメモリa37に記憶されているCMYデータ(カラーパッチ画像を出力させるための元となった同一データ)とにより、基本色変換パラメータ生成部34において、図3において既に説明した[1]式により、基本色変換パラメータD00ないしD29が生成される。
【0088】
なお、基本色変換パラメータを設定する際に、第1の初期化部42aにより、補助色変換パラメータ生成部42を所定の初期状態に戻して補助色変換を無効とするように設定することもできる。
【0089】
上述した補助色変換において、補正目標データメモリ43に記憶されている補正目標データは、基本色変換パラメータ生成時に、補正目標データ更新部44により、逐次更新される。
【0090】
次に、補助色変換パラメータについて説明する。
【0091】
上述したように、補助色変換パラメータは、スキャナ(入力部)の特性の経時変化の影響を除去するために用いられるもので、カラーパッチ画像生成部28により生成したカラーパッチ原稿もしくは所定のカラーパッチ原稿を、図示しないスキャナにより画像入力し、入力カラーパッチデータとし、カラーパッチサンプリング部35により、入力カラーパッチデータからカラーパッチの各色のRGBデータc(R´,G´およびB´)を抽出して補助色変換パラメータ生成部42に供給する。
【0092】
補助色変換パラメータ生成部42は、RGBデータcと補正目標データメモリのRGBデータ(Ri,GiおよびBi)とを用いて、図3において、[2]式で説明したと同様にして、補助色変換パラメータS00,S01,S02,S03,S10,S11,S12,S13,S20,S21,S22およびS23を生成する。なお、この演算においては、S03=S13=S23=0として拘束条件を付加してもよい。
【0093】
次に、差分色変換パラメータの生成方法を説明する。
【0094】
カラーパッチ画像生成部28を用いてCMYデータメモリb38に記億されているCMYデータに対応するカラーパッチ画像データを生成し、画像出力部3で(第2の)カラーパッチ画像を出力する。なお、CMYデータメモリb38は、CMYデータメモリa37と共用されてもよい。
【0095】
続いて、出力されたカラーパッチ画像を図示しないスキャナ等により画像入力部2から入力し、入力カラーパッチ画像データを得る。
【0096】
次に、カラーパッチデータサンプリング部35により、入力カラーパッチ画像データからカラーパッチ画像の各色のRGBデータb´を抽出し、補助色変換部240に供給する。
【0097】
補助色変換部240は、補助色変換パラメータ生成部42により生成された補助色変換パラメータを用いて、入力されたRGBデータb´を補助色変換して、その結果であるカラーパッチRGBデータbを、基本色変換部233に供給する。
【0098】
基本色変換部233は、基本色変換パラメータ生成部34により先に生成した基本色変換パラメータを用いて、カラーパッチRGBデータbを、CMYデータに変換して、差分パラメータ生成部32に供給する。
【0099】
次に、カラーパッチRGBデータbをCMYデータに変換した変換結果であるC´,M´およびY´とCMYデータメモリb38に記憶されているCMYデータ(カラーパッチ画像を出力させるための元となった同一データ)とを用い、差分色変換パラメータ生成部32において、図3を用いて説明した[3]式により、差分色変換パラメータF00,F01,F02,F03,F10,F11,F12,F13,F20,F21,F22およびF23が生成される。なお、この演算においては、F03=F13=F23=0として拘束条件を付加してもよい。
【0100】
このようにして、基本色変換パラメータ、補助色変換パラメータおよび差分色変換パラメータが設定されると、図示しない画像入力部(スキャナ)により入力されたRGB画像データは、画像用補助色変換部245により、[2]式および補助色変換パラメータを用いて、RGB色空間で表される第1の中間画像データ(補正RGB画像データ)に色変換される。
【0101】
続いて、第1の中間画像データ(補正RGB画像データ)は、画像用基本色変換部246により、[1]式および基本色変換パラメータを用いて、第2の中間画像データ(C´M´Y´画像データ)に変換される。
【0102】
次に、第2の中間画像データ(C´M´Y´画像データ)は、画像用差分色変換部247により、[3]式および差分色変換パラメータを用いて、CMY画像データに変換され、画像出力部3に出力される。
【0103】
これにより、図示しない画像形成装置から出力される出力画像は、色変換が、基本パラメータによる高精度な変換と経時変化や個体差を吸収する補助パラメータおよび差分パラメータによる変換とが分離された状態で、基本パラメータについては一度設定されるのみで本質的に変更せずに、経時変化および個体差に対応する条件については、補助パラメータまたは差分パラメータだけを簡易な方法で設定することにより、全体として高精度な色変換特性が維持された状態で出力可能となる。
【0104】
【発明の効果】
以上説明したようにこの発明の画像処理装置においては、色変換LUTの内容に色調整の結果を反映しているため、色調整の有無に拘わらず、画像処理に要求される処理時間が増大することを防止できる。
【0105】
また、色変換LUTの格子点毎に色調整のパラメータを変えることができるため、より自由度の高い色調整を、処理時間の増大を引き起こすことなく、実現できる。
【0106】
さらに、色調整においては、色変換LUTの格子点アドレスに相当する色座標データである測色的色空間との関係が比較的明確な色変換元色空間(スキャナ色空間)のデータを対象として調整するので、測色的色空間との関係が変動しやすいプリンタ色材色空間のデータを対象として調整する周知の色調整に比較して、安定で、かつ所望の結果を得やすい色調整が可能となる。
【0107】
またさらに、感性用語で示される色調の調整においては、1つの用語に複数の調整パラメータを対応させたことにより、操作パネルからの簡単な入力が可能となり、しかも正確な色調整が長時間継続できる。
【0108】
さらにまた、色変換の工程を、基本色変換、差分色変換および補助色変換からなる独立した3段階構成としたので、基本色変換だけでも、高次多項式近似を用いて高精度な色変換を行うことができ、さらに微調整として機能する差分色変換により、より高精度な色変換を達成できる。また、基本色変換パラメータの生成を工場出荷時とし、補助色変換パラメータおよび差分色変換パラメータを、経時変化の吸収あるいは装置の個体差の吸収の目的で稼働後に実施可能であり、状況に応じた方法で色変換パラメータを設定できる。このことは、装置の組立時に基本色変換パラメータを生成し、装置の個体差や経時変動の吸収を目的として稼動後に差分色変換パラメータを生成する等、稼動状況に応じて色変換パラメータを設定可能とするので、長期に渡って、安定な色調整を可能とする。
【0109】
また、基本色変換、補助色変換および差分色変換のそれぞれにおいて、カラーパッチ画像の色構成を変えることができるため、補助色変換あるいは差分色変換の際にだけ、フィールドでの作業に適した取り扱いの容易な少ない色数のパッチ画像を用いるといった使い分けが可能となる。
【0110】
さらに、基本色変換パラメータと補助色変換のおよび差分色変換パラメータとを独立に求め、その後、それぞれの色変換パラメータが表す特性を単一の色変換LUTに反映させることから、画像処理ではLUT方式の色変換が1段階となり、処理速度が1段階分で高精度の色変換が達成される。このことは、ハードウェア規模も1段階分に抑えることができ、装置コストも低減される。
【0111】
また、初期化部によって差分色変換を無効化できるため、例えば、基本色変換パラメータを設定した直後のように、補助色変換パラメータおよび差分色変換パラメータが特に要求されないレベルである場合には、差分色変換パラメータの設定作業を省略することができる。
【図面の簡単な説明】
【図1】この発明の第1の実施の形態である画像処理装置を説明する概略ブロック図。
【図2】図1に示した画像処理装置における感性用語による色調整の一例を説明する概略図。
【図3】図1に示した画像処理装置とは異なる画像処理装置を説明する概略ブロック図。
【図4】図3に示した画像処理装置の別の実施の形態を説明する概略ブロック図。
【符号の説明】
1・・・画像処理装置、
2・・・画像入力部、
3・・・画像出力部、
4・・・画像処理部、
5・・・ユーザ操作パネル、
6・・・不揮発性メモリ(NVRAM)、
10・・・画像色変換部、
11・・・色変換LUT、
20・・・色調整部、
21・・・格子点LCHデータメモリ、
22・・・調整パラメータ合成部、
23・・・ワンタッチ調整パラメータ生成部、
24・・・RGB変換部(LCH→RGB)、
25・・・無調整変換部(RGB→CMY)、
26・・・LUT更新部、
27・・・セレクタ、
28・・・カラーパッチ画像生成部、
31・・・差分色変換部、
32・・・差分色変換パラメータ生成部、
33・・・基本色変換部(1)、
34・・・基本色変換パラメータ生成部、
35・・・カラーパッチデータ抽出部、
36・・・基本色変換部(2)、
37・・・CMYデータメモリa、
38・・・CMYデータメモリb、
39・・・格子点RGBデータメモリ、
40・・・補助色変換部(1)、
41・・・補助色変換部(2)、
42・・・補助色変換パラメータ生成部、
43・・・補正目標データメモリ、
44・・・補正目標データ更新部、
233・・・基本色変換部、
240・・・補助色変換部、
245・・・画像用補助色変換部、
246・・・画像用基本色変換部、
247・・・画像用差分色変換部。
Claims (3)
- 第1の色空間で表される画像データを第2の色空間で表される画像データに変換するLUT方式の画像色変換手段と、
前記画像色変換手段によって参照される色変換LUTと、
前記色変換LUTの格子点アドレスに相当する第1の格子点色座標データを記憶するメモリと、
暖色系または寒色系のいずれか1つを特定する感性用語にもとづいて色調を方向づける補正指示表示を有し、いずれかの感性用語に対応する補正指示を入力する色調指示手段と、
画像全体をどのような色に近づけるかを示す目標色相角、目標色相角に近づけるためにどれだけ色相角を変化させるかを表す色相角最大変移量、および色相角が変化することで特定の色に色ずれが生じることを防止するために色相角を変化させない領域を与えるための色相角不変幅のそれぞれに対する調整量が上記補正指示毎に特定されている組み合わせを有し、前記色調指示手段から入力される補正指示毎に応じて、目標色相角、色相角最大変移量、色相角不変幅を設定する色調調整パラメータ生成手段と、
前記色調調整パラメータ生成手段により生成された色調調整パラメータを用いて第1の格子点色座標データに対して色調整を施して第2の格子点色座表データを出力する色調整手段と、
色調整された結果である第2の格子点色座標データに基づくデータに対して無調整の色変換を施す無調整色変換手段と、
第2の格子点色座標データに基づくデータに対する無調整色変換結果を色変換LUTに反映する色変換LUT更新手段と、
を有することを特徴とするカラー画像処理装置。 - 前記色調調整パラメータ生成手段は、
|色調指示手段による補正指示前の色相−目標色相角|を、Dとするとき、
│D│<(180−色相角不変幅)のとき、
色調指示手段による補正指示後の色相を、
目標色相角+D×(180−色相角最大変移量)/180により、
│D│≧(180−色相角不変幅)のとき、
色調指示手段による補正指示後の色相を、
色調指示手段による補正指示後の色相=色調指示手段による補正指示前の色相
の各演算により、グリッド位置に応じて色相を変更する
ことを特徴とする請求項1記載のカラー画像処理装置。 - 前記色調整手段は、前記色調調整パラメータ生成手段から供給される目標色相角に基づいて、前記第1の格子点色座標データの色相角を、その色相角と前記目標色相角の差分に応じた変移量だけ目標色相角に近づけることを特徴とする請求項2記載のカラー画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23408599A JP4191854B2 (ja) | 1999-08-20 | 1999-08-20 | カラー画像処理装置 |
US09/641,339 US6724935B1 (en) | 1999-08-20 | 2000-08-18 | Color image processing apparatus for performing color adjustment and color conversion processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23408599A JP4191854B2 (ja) | 1999-08-20 | 1999-08-20 | カラー画像処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008213941A Division JP2009010986A (ja) | 2008-08-22 | 2008-08-22 | カラー画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001061073A JP2001061073A (ja) | 2001-03-06 |
JP4191854B2 true JP4191854B2 (ja) | 2008-12-03 |
Family
ID=16965388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23408599A Expired - Lifetime JP4191854B2 (ja) | 1999-08-20 | 1999-08-20 | カラー画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6724935B1 (ja) |
JP (1) | JP4191854B2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3823858B2 (ja) * | 2002-03-20 | 2006-09-20 | セイコーエプソン株式会社 | 補正テーブルを用いたカラー画像データの補正方法 |
JP3826931B2 (ja) * | 2003-10-30 | 2006-09-27 | 村田機械株式会社 | カラー画像処理装置 |
JP2006148866A (ja) * | 2004-10-20 | 2006-06-08 | Toshiba Corp | 画像形成装置と画像形成方法 |
KR100633144B1 (ko) * | 2004-11-09 | 2006-10-11 | 삼성전자주식회사 | 색 관리방법 및 이를 적용한 색 관리장치 |
JP4151643B2 (ja) * | 2004-11-16 | 2008-09-17 | セイコーエプソン株式会社 | 色変換行列作成装置、色変換行列作成プログラム及び画像表示装置 |
JP2007060343A (ja) * | 2005-08-25 | 2007-03-08 | Fuji Xerox Co Ltd | 色校正用データ取得システム、画像処理システム、色校正用データ取得方法、画像処理方法及びプログラム |
JP4837965B2 (ja) * | 2005-09-28 | 2011-12-14 | ソニー株式会社 | 色調整装置、表示装置及び印刷装置 |
KR100791380B1 (ko) * | 2006-01-17 | 2008-01-07 | 삼성전자주식회사 | 보색 대비를 이용하여 영상을 향상하는 방법 및 장치 |
KR100834615B1 (ko) * | 2006-01-24 | 2008-06-02 | 삼성전자주식회사 | 오차 보정 테이블 기반의 컬러 변환 방법 |
KR20070091853A (ko) * | 2006-03-07 | 2007-09-12 | 삼성전자주식회사 | 영상 적응적인 색 재현 장치 및 방법 |
JP5045179B2 (ja) * | 2006-03-29 | 2012-10-10 | 富士通セミコンダクター株式会社 | テーブル値変換装置 |
US20080189511A1 (en) * | 2006-03-29 | 2008-08-07 | Yuji Watarai | Table value conversion device and method for converting and writing table value |
US7920739B2 (en) * | 2006-12-13 | 2011-04-05 | Adobe Systems Incorporated | Automatically selected adjusters |
JP4906627B2 (ja) * | 2007-07-31 | 2012-03-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
JP5020894B2 (ja) * | 2008-06-10 | 2012-09-05 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
TWI387354B (zh) * | 2008-06-18 | 2013-02-21 | Novatek Microelectronics Corp | 色彩飽和度調整方法以及使用該方法的影像顯示系統 |
US20150062152A1 (en) * | 2013-08-27 | 2015-03-05 | Thomson Licensing | 3-dimensional look-up table-based color masking technique |
JP6958249B2 (ja) * | 2017-11-06 | 2021-11-02 | セイコーエプソン株式会社 | プロファイル調整システム、プロファイル調整装置、プロファイル調整方法、及びプロファイル調整プログラム |
US11138765B2 (en) | 2018-12-10 | 2021-10-05 | Gopro, Inc. | Non-linear color correction |
CN114449354B (zh) * | 2022-02-07 | 2023-12-08 | 上海幻电信息科技有限公司 | 视频编辑方法和*** |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0657047B2 (ja) | 1988-05-24 | 1994-07-27 | 富士ゼロックス株式会社 | 彩度調整方法及び装置 |
EP0475554B1 (en) * | 1990-02-05 | 1997-08-06 | Scitex Corporation Ltd. | Apparatus and method for colour calibration |
DE4305693C2 (de) * | 1992-04-06 | 1996-12-19 | Hell Ag Linotype | Verfahren zur Farbkalibrierung |
JPH0657047A (ja) | 1992-08-06 | 1994-03-01 | Kanegafuchi Chem Ind Co Ltd | 熱可塑性樹脂組成物及び相溶化剤 |
JP3436851B2 (ja) * | 1995-12-11 | 2003-08-18 | 大日本スクリーン製造株式会社 | データ変換テーブル変更方法 |
US5760913A (en) * | 1996-02-12 | 1998-06-02 | Splash Technology, Inc. | Color calibration method and system having independent color scanner profiles |
US6278533B1 (en) * | 1996-11-29 | 2001-08-21 | Fuji Photo Film Co., Ltd. | Method of processing image signal |
JP3733200B2 (ja) * | 1997-05-12 | 2006-01-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
1999
- 1999-08-20 JP JP23408599A patent/JP4191854B2/ja not_active Expired - Lifetime
-
2000
- 2000-08-18 US US09/641,339 patent/US6724935B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US6724935B1 (en) | 2004-04-20 |
JP2001061073A (ja) | 2001-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4191854B2 (ja) | カラー画像処理装置 | |
US5452112A (en) | Color image reproduction system field calibration method and apparatus | |
US5416613A (en) | Color printer calibration test pattern | |
US7319545B2 (en) | Method and apparatus for calibration of a color printer | |
US6484631B2 (en) | Method and system of individualizing tone-reproduction curves calibration and applying thereof | |
US20020085235A1 (en) | Method and system of individualizing tone-reproduction curves calibration and applying thereof | |
US6922261B2 (en) | Color correcting apparatus for printer | |
US8643858B2 (en) | Image forming apparatus with calibration function | |
US8896892B2 (en) | System and method for color calibration of a color printing system with recording media brightness compensation | |
US7142332B2 (en) | Method and system of individualizing tone-reproduction curves calibration and applying thereof | |
US6906828B2 (en) | Method and system of individualizing tone-reproduction curves calibration and applying thereof | |
JP4083327B2 (ja) | カラー画像処理装置 | |
JP2000056525A (ja) | 画像形成装置及び方法 | |
JP3639766B2 (ja) | 画像形成装置及び濃度補正方法 | |
JP3957350B2 (ja) | カラー画像形成装置 | |
JP2006262238A (ja) | 画像処理方法および画像処理装置並びにプログラム | |
US8355176B2 (en) | Image processing apparatus and image processing method for halftoning screen processing | |
JP2001045313A (ja) | 色変換方法、色変換装置、色変換プログラム記憶媒体、色補正方法 | |
JP2009225451A (ja) | 画像形成装置及び画像形成方法 | |
JP2009010986A (ja) | カラー画像処理装置 | |
JP3472257B2 (ja) | 画像処理方法、記録媒体 | |
US20220230030A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JPH09233350A (ja) | 画像形成装置 | |
JP2002199235A (ja) | 画像処理装置およびその制御方法 | |
JPH06326860A (ja) | 色修正方法および色修正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060811 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060811 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080919 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4191854 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
EXPY | Cancellation because of completion of term |