JP3596677B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP3596677B2
JP3596677B2 JP2001279213A JP2001279213A JP3596677B2 JP 3596677 B2 JP3596677 B2 JP 3596677B2 JP 2001279213 A JP2001279213 A JP 2001279213A JP 2001279213 A JP2001279213 A JP 2001279213A JP 3596677 B2 JP3596677 B2 JP 3596677B2
Authority
JP
Japan
Prior art keywords
image processing
color correction
gamut
saturation enhancement
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001279213A
Other languages
English (en)
Other versions
JP2002314832A (ja
Inventor
賢二 深沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2001279213A priority Critical patent/JP3596677B2/ja
Priority to US09/971,061 priority patent/US7167275B2/en
Priority to EP01123304A priority patent/EP1195983A3/en
Publication of JP2002314832A publication Critical patent/JP2002314832A/ja
Application granted granted Critical
Publication of JP3596677B2 publication Critical patent/JP3596677B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Color, Gradation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、入力系の色再現領域と出力系の色再現領域とが異なる場合の色補正テーブル生成方法、画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
【0002】
【従来の技術】
モニタ画像信号をプリンタなどを用いて印刷する場合、それぞれの表色系が相違するため、色変換を行う必要がある。通常、RGBの画像入力データのターゲットをモニタの色再現領域としてカラーマッチングを行うことによって、プリンタによる色再現処理が行われる。
【0003】
ところが、ターゲットとしてのモニタの色再現領域におけるRGBデータの指定できる範囲は、プリンタの色再現領域をすべて包摂しているわけではない。例えば、緑から青にかけての色再現領域においては、プリンタによる色再現は可能であるが、モニタによる色再現が不可能な領域が存在する。
【0004】
【発明が解決しようとする課題】
しかしながら、カラーマッチングがモニタの色再現領域をターゲットとして行われる以上、プリンタによって再現可能な色であってもモニタによって再現不可能な色は、プリンタによって出力されない。すなわち、オリジナル画像の色をプリンタ本体の能力としては再現可能であったとしても、モニタマッチングを行っているために、プリンタの性能を十分に発揮できず、彩度の低い色で印刷が行われる場合がある。
【0005】
本発明は、上記問題点を解決するためになされたもので、プリンタなど出力系の色再現領域をより有効に利用可能な色補正テーブル生成方法、画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することを課題とする。
【0006】
【課題を解決するための手段】
上記課題に鑑み、請求項1に記載の発明は、色補正テーブルを用いて画像入力信号に対して所望の色補正を行う画像処理装置であって、入力系ガマットよりも出力系ガマットの方が広い領域において、画像入力信号の所望の色点について、入力系ガマット表面に対して垂直な方向に彩度強調処理を施す彩度強調用色補正テーブルを用いて所望の色補正を行なうように構成される。
【0007】
また、請求項2に記載の発明は、入力系ガマットが RGB 色空間であるように構成される。
【0008】
さらに、請求項に記載の発明は、請求項1に記載の画像処理装置であって、前記彩度強調用色補正テーブルによる彩度強調処理の程度を、入力系ガマットの種類に応じて変更するように構成される。
【0009】
また、請求項に記載の発明は、請求項1に記載の画像処理装置であって、入力系ガマットの大きさが小さくなるにしたがって、前記彩度強調用色補正テーブルによる彩度強調処理の程度を大きくするように構成される。
【0010】
さらに、請求項に記載の発明は、請求項1乃至のいづれか一項に記載の画像処理装置であって、入力系ガマットよりも出力系ガマットの方が狭い領域において、画像入力信号の所望の色点に対して圧縮処理を施す圧縮処理用色補正テーブルを用いて所望の色補正を行なうように構成される。
【0011】
また、請求項に記載の発明は、請求項1乃至のいづれか一項に記載の画像処理装置であって、前記彩度強調用色補正テーブルは、前記所望の色点が無彩色に近い場合、彩度強調処理を行わないように構成される。
【0012】
さらに、本発明、前記彩度強調処理が、色相を保存するように行われるように構成される。
【0013】
また、請求項に記載の発明は、請求項5または6に記載の画像処理装置であって、前記圧縮処理が、色相を保存するように行われるように構成される。
【0014】
さらに、請求項に記載の発明は、請求項1乃至のいづれか一項に記載の画像処理装置であって、前記彩度強調用色補正テーブルは、彩度強調の程度を調整可能であるように構成される。
【0015】
また、請求項に記載の発明は、請求項1乃至のいづれか一項に記載の画像処理装置であって、前記彩度強調用色補正テーブルは、彩度強調の限界値を設定可能であるように構成される。
【0016】
さらに、請求項10に記載の発明は、請求項1乃至のいづれか一項に記載の画像処理装置であって、赤色成分が所定の赤色閾値未満であり、緑色成分が所定の緑色閾値を超え、青色成分が所定の青色閾値を超える画素が画素全体において所定の割合以上である画像入力信号の場合に、彩度強調用色補正テーブルを用いて所望の色補正を行なうように構成される。
【0017】
また、本発明においては、画像入力信号の種類に応じて、彩度強調用色補正テーブルを用いて所望の色補正を行なうように構成されるようにしてもよい
【0018】
さらに、本発明においては、画像入力信号がビットイメージ画像の場合に、彩度強調用色補正テーブルを用いて所望の色補正を行なうように構成されるようにしてもよい
【0019】
また、本発明は、色補正テーブルを用いて画像入力信号に対して所望の色補正を行う画像処理方法であって、入力系ガマットよりも出力系ガマットの方が広い領域において、彩度強調処理の程度を入力系ガマットの大きさに応じて変更して、画像入力信号の所望の色点に対して彩度強調処理を施す彩度強調用色補正テーブルを用いて所望の色補正を行なうように構成される。
【0020】
さらに、請求項11に記載の発明は、色補正テーブルを用いて画像入力信号に対して所望の色補正を行う画像処理方法であって、入力系ガマットよりも出力系ガマットの方が広い領域において、画像入力信号の所望の色点について、入力系ガマット表面に対して垂直な方向に彩度強調処理を施す彩度強調用色補正テーブルを用いて所望の色補正を行なうように構成される。
【0021】
また、本発明は、入力系ガマットよりも出力系ガマットの方が広い領域において、彩度強調処理の程度を入力系ガマットの大きさに応じて変更して、画像入力信号の所望の色点に対して彩度強調処理を施す彩度強調用色補正テーブルを用いて所望の色補正を行なう画像処理をコンピュータに実行させるためのプログラムである。
【0022】
さらに、請求項12に記載の発明は、入力系ガマットよりも出力系ガマットの方が広い領域において、画像入力信号の所望の色点について、入力系ガマット表面に対して垂直な方向に彩度強調処理を施す彩度強調用色補正テーブルを用いて所望の色補正を行なう画像処理をコンピュータに実行させるためのプログラムである。
【0023】
また、請求項13に記載の発明は、請求項12に記載のプログラムを記録したコンピュータによって読取可能な記録媒体である。
【0024】
さらに、本発明は、入力系ガマットよりも出力系ガマットの方が広い領域において、彩度強調処理の程度を入力系ガマットの大きさに応じて変更して、画像入力信号の所望の色点に対して彩度強調処理を施す彩度強調用色補正テーブルを記録したコンピュータによって読取可能な記録媒体である。
【0025】
また、本発明は、入力系ガマットよりも出力系ガマットの方が広い領域において、画像入力信号の所望の色点について、入力系ガマット表面に対してほぼ垂直な方向に彩度強調処理を施す彩度強調用色補正テーブルを記録したコンピュータによって読取可能な記録媒体である。
【0026】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施の形態について説明する。
【0027】
図1は、本発明の一実施形態にかかる色補正テーブル生成装置の機能ブロック図であり、図11は、本発明の一実施形態にかかる画像処理装置の機能ブロック図であり、図2は、色補正テーブル生成装置および画像処理装置の具体的ハードウエア構成例を概略ブロック図により示している。
【0028】
図1において、色補正テーブル生成装置20は、アプリケーション12dによって生成されるRGB画像データに基づき、ディスプレイガマットを生成するディスプレイガマット生成部20gと、測色計37の測色結果に基づきプリンタガマットを生成するためのプリンタガマット生成部20eと、生成されたプリンタガマットおよびディスプレイガマットに基づき色補正テーブル(LUT)を生成する色補正LUT生成部20fと、生成された色補正LUTを格納する色補正LUT格納部20hと、を備えている。これら各構成部分の処理の詳細に関しては後述する。一方、アプリケーション12dが生成する表示画像データに関しては、ビデオドライバ12bが所定の画像メモリに書き込み、ハードウエア回路を介してディスプレイ17aに表示させる。
【0029】
図11において、画像処理装置20Aは、色画像入力信号(データ)に対して所望の画像処理を施し、当該画像処理された色画像データを画像出力装置30に出力する。ここで、色画像データはカラー画像を所定の要素色毎に色分解しつつ、その要素色毎に強弱を表したものであり、有彩色であって所定の比で混合したときにはグレイに代表される無彩色と黒色とからなる。当該実施形態では、プリンタなどの画像出力装置30がCMYKデータに基づき印刷処理を行う場合について説明する。
【0030】
ディスプレイ17aでは、カラー画像は縦横に並べられた各画素毎について赤緑青の三原色(R,G,B)で階調表示されているが、当該実施形態のプリンタにおいてはシアン、マゼンタ、イエロー、ブラックの4色(C,M,Y,K)で階調表示のない状態で印刷される。従って、カラー印刷するためには赤緑青の三原色(R,G,B)の表示からシアン、マゼンタ、イエロー、ブラックの4色(C,M,Y,K)の表示への色変換作業と、階調表示から階調のない表示への階調変換の作業が必要となる。
【0031】
画像処理装置20Aは、RGB画像データをLuv座標系の画像データに変換するための第1色変換部20aと、選択された色補正テーブルを色補正LUT格納部20hから読み出し、当該読み出された色補正テーブルを参照してディスプレイ用Luv座標系画像データをプリンタ用Luv座標系画像データに変換するための色補正部20bと、Luv座標系画像データをCMYK(シアン、マゼンタ、イエロー、ブラック)のデータに変換する第2色変換部20cと、当該CMYKのデータを二値データに変換する二値化部20dと、を備えている。
【0032】
本実施形態においてはこのような色補正テーブル生成装置20および画像処理装置20Aを実現するハードウェアの一例としてコンピュータシステムを採用している。図2は、同コンピュータシステムをブロック図により示している。本コンピュータシステムは、画像入力デバイスとして、スキャナ11aとデジタルスチルカメラ11bとビデオカメラ11cとを備えており、コンピュータ本体12に接続されている。それぞれの入力デバイスは画像をドットマトリクス状の画素で表現した画像データを生成してコンピュータ本体12に出力可能となっており、ここで同画像データはRGBの三原色においてそれぞれ256階調表示することにより、約1670万色を表現可能となっている。
【0033】
コンピュータ本体12には、外部補助記憶装置としてのフロッピーディスクドライブ13aとハードディスク13bとCD−ROMドライブ13cとが接続されており、ハードディスク13bにはシステム関連の主要プログラムが記録されており、フロッピーディスクやCD−ROMなどから適宜必要なプログラムなどを読み込み可能となっている。また、コンピュータ本体12を外部のネットワークなどに接続するための通信デバイスとしてモデム14aが接続されており、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。この例ではモデム14aにて電話回線を介して外部にアクセスするようにしているが、LANアダプタを介してネットワークに対してアクセスする構成とすることも可能である。この他、コンピュータ本体12の操作用にキーボード15aやマウス15bも接続されている。
【0034】
さらに、画像出力デバイスとして、ディスプレイ17aとカラープリンタ17bとを備えている。ディスプレイ17aについては水平方向に800画素と垂直方向に600画素の表示エリアを備えており、各画素毎に上述した1670万色の表示が可能となっている。この解像度は一例に過ぎず、640×480画素であったり、1024×768画素であるなど、適宜、変更可能である。
【0035】
また、カラープリンタ17bはインクジェットプリンタであり、CMYKの四色の色インクを用いてメディアたる印刷用紙上にドットを付して画像を印刷可能となっている。画像密度は360×360dpiや720×720dpiといった高密度印刷が可能となっているが、階調表現については色インクを付すか否かといった2階調表現となっている。一方、このような画像入力デバイスを使用して画像を入力しつつ、画像出力デバイスに表示あるいは出力するため、コンピュータ本体12内では所定のプログラムが実行されることになる。そのうち、基本プログラムとして稼働しているのはオペレーティングシステム(OS)12aであり、このオペレーティングシステム12aにはディスプレイ17aでの表示を行わせるディスプレイドライバ(DSP DRV)12bとカラープリンタ17bに印刷出力を行わせるプリンタドライバ(PRT DRV)12cが組み込まれている。これらのドライバ12b,12cはディスプレイ17aやカラープリンタ17bの機種に依存しており、それぞれの機種に応じてオペレーティングシステム12aに対して追加変更可能である。また、機種に依存して標準処理以上の付加機能を実現することもできるようになっている。すなわち、オペレーティングシステム12aという標準システム上で共通化した処理体系を維持しつつ、許容される範囲内での各種の追加的処理を実現できる。
【0036】
このようなプログラムを実行する前提として、コンピュータ本体12は、CPU12e、RAM12f、ROM12gおよびI/O12hなどを備え、演算処理を実行するCPU12eがRAM12fを一時的なワークエリアや設定記憶領域として使用したりプログラム領域として使用しながら、ROM12gに書き込まれた基本プログラムを適宜実行し、I/O12hを介して接続されている外部機器及び内部機器などを制御している。
【0037】
ここで、基本プログラムとしてのオペレーティングシステム12a上でアプリケーション12dが実行される。アプリケーション12dの処理内容は様々であり、操作デバイスとしてのキーボード15aやマウス15bの操作を監視し、操作された場合には各種の外部機器を適切に制御して対応する演算処理などを実行し、さらには、処理結果をディスプレイ17aに表示したり、カラープリンタ17bに出力したりすることになる。
【0038】
かかるコンピュータシステムでは、画像入力デバイスであるスキャナ11aなどで画像データを取得し、アプリケーション12dによる所定の画像処理を実行した後、画像出力デバイスとしてのディスプレイ17aやカラープリンタ17bに表示出力することが可能である。
【0039】
なお、ディスプレイドライバ12bやプリンタドライバ12cは、ハードディスク13bに記憶されており、起動時にコンピュータ本体12にて読み込まれて稼働する。また、導入時にはCD−ROMであるとかフロッピーディスクなどの媒体に記録されてインストールされる。従って、これらの媒体は画像処理プログラムを記録した媒体を構成する。当該画像処理プログラム自体も本願発明の範囲内に包含される。本実施形態においては、画像処理装置をコンピュータシステムとして実現しているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、同様の画像データに対して本発明により画像処理が必要なシステムであればよい。例えば、デジタルスチルカメラ内に本発明による画像処理を行う画像処理装置を組み込み、画像処理された画像データを用いてカラープリンタに印字させるようなシステムであっても良い。また、コンピュータシステムを介することなく画像データを入力して印刷するカラープリンタにおいては、スキャナやデジタルスチルカメラまたはモデム等を介して入力される画像データに対して自動的に本発明による画像処理を行って印刷処理するように構成することも可能である。
【0040】
この他、カラーファクシミリ装置やカラーコピー装置といった画像データを扱う各種の装置においても当然に適用可能である。
【0041】
以下、図3乃至図6を参照して、図1に示す色補正テーブル生成装置20によって行われる色補正テーブル生成・格納処理プログラムを説明する。
【0042】
図3に、当該実施形態の色補正テーブル生成装置20によって行われる色補正テーブル生成・格納処理プログラムを説明するためのフローチャートを示す。
【0043】
図3に示すように、まずCMYKインクの256階調パターン36を印刷させる(ステップ42)。当該印刷されたパターンは測色計37によって測色され、当該測色された各パターン毎の測色データが、プリンタガマット生成部20eに供給される(ステップ44)。そして、プリンタガマット生成部20eは、当該測色データに基づき、L*a*b*空間におけるプリンタガマット(出力系ガマット)を生成して(ステップ46)、色補正LUT生成部20fに供給する。
【0044】
一方、ディスプレイガマット生成部20gは、アプリケーション12dによって生成されたRGBデータに基づき、L*a*b*空間におけるディスプレイガマット(入力系ガマット)を生成して(ステップ56)、色補正LUT生成部20fに供給する。
【0045】
次に、色補正LUT生成部20fは、図4乃至図6を参照して後で説明する色補正テーブル生成方法によって、色補正テーブルを生成する(ステップ58)。そして、色補正LUT生成部20fによって生成された色補正LUTは、色補正LUT格納部20hに格納される(ステップ60)。
【0046】
次に、図4乃至図6を参照して、ステップ58における色補正LUT生成処理を説明する。
【0047】
第1実施例
図4に、色補正LUT生成処理の第1実施例を説明するためのフローチャートを示す。
【0048】
色補正LUT生成部20fは、まず、ディスプレイガマット生成部20gによって生成されたディスプレイガマットのサイズを示す変数Sを求める(ステップ62)。Sは、xy色度座標系における、入力RGB空間のRGB=(0,1,1)の色度座標系値と、白色点の色度座標点(0.33,0.33) との距離とする。
【0049】
SRGB空間の場合、RGB=(0,1,1)の色度座標値は(0.225,0.329)となるので、白色点との距離Sは0.105となる。
【0050】
また、NTSC空間の場合、SRGB空間の場合にRGB=(0,1,1)である色度座標値は(0.225,0.329)となるので、白色点との距離Sは0.165となる。
【0051】
そして、色補正LUT生成部20fは、ステップ62において求められたSの値から彩度強調率の制限値limitを求める(ステップ64)。この制限は、ディスプレイガマット伸張後のディスプレイガマットの形状がプリンタガマット形状の影響を受けて大きく崩れることを防ぐものである。limitの値は、図12に示すグラフ図から、
limit=f(S)
によって求まる。図12に示すように、入力系ガマットの大きさ(サイズ)に応じて彩度強調率の制限値limitを変更して、彩度強調の程度を変更する。具体的には、入力系ガマットの大きさ(サイズ)が小さくなるにしたがって、彩度強調率の制限値limitが大きくなるようにする。すなわち、入力系ガマットの大きさ(サイズ)が小さくなるにしたがって、彩度強調の程度を大きくする。
【0052】
このようにして、指定された入力系ガマットがsRGBの場合には彩度強調処理を行うが、指定された色空間がNTSCのように出力系ガマットに対して十分に広い場合(S>0.15のとき)には彩度強調処理を行わないようにする。指定された入力系ガマットが出力系ガマットに対して十分に広い場合には、彩度強調処理を行わなくても自然界の高彩度の色再現が可能であり、逆にこのような場合に彩度強調を行うと、不自然な色再現になってしまうからである。図13に、sRGB色空間およびNTSC色空間の大きさの関係を説明するための図を示す。
【0053】
次に、色補正LUT生成部20fは、CIELAB空間において、プリンタガマット20eによって生成されたプリンタガマットと、ディスプレイガマット生成部20gによって生成されたディスプレイガマットとの対応関係を求める(ステップ70)。
【0054】
図5に、色補正LUT生成処理における色変換処理を説明するための図を示す。ここで、入力データの所望の色点を点Aとする。そして、無彩色軸の点O(L*=50)から点Aを通る直線を引く。当該直線OAと、ディスプレイガマット境界面との交点をMとし、当該直線OAと、プリンタガマット境界面との交点をPとする。
【0055】
そして、色補正LUT生成部20fは、OM<OPであるか否かを判断する(ステップ72)。すなわち、所定領域のプリンタガマット境界面(点P)がディスプレイガマット境界面(M点)よりも外側にあるか否かが判断される。
【0056】
OM<OPの場合(ステップ72、Yes)、すなわち所定領域のプリンタガマット境界面がディスプレイガマット境界面よりも外側にある場合、ディスプレイガマットよりも広いプリンタのガマット領域をより有効に利用するため、入力データの所望の色点Aに対して拡大(彩度強調)処理を施す。点Aを拡大(彩度強調)処理した後の点をA’とすると、点A’は
OA’=OA×β
γ=(OM+α(OP−OM))/OM
β=limit(γ>limit)
β=γ(γ≦limit)
によって求まる(ステップ74)。
【0057】
このように、直線OA上の点A’に向かって拡大処理を行うことによって、色相を一定に保ちながら拡大処理を行うことができる。すなわち、色相を保存するように拡大処理を行うことができる。
【0058】
ここで、ガマット伸張率をαとする。αは、0≦α≦1.0の値を取り、ターゲットディスプレイガマットに対してどの程度ガマットを拡大するかを設定するパラメータである。α=1.0とした場合、プリンタガマット一杯まで拡大することになる。
【0059】
なお、このように色相を保存するように彩度強調処理を行う代わりに、入力ガマット表面に対してほぼ垂直な方向に彩度強調処理を行うこともできる。図14に示すようなRGB色空間において、彩度強調処理前の色点がCであった場合、この色点CのR値はR<0となる。通常コンピュータで処理されるRGBの表色値は正の値をとるため、一般的にはこの色点PのR値をR=0とし、Mの色度に変換されてしまう。この色変換は、図14に示すように、RGB色空間の境界(入力系ガマット表面)に対してほぼ垂直に移動することになる。図14に示すように、緑青領域に関してはB−G直線に対して垂直な方向に拡大処理を行えば良いが、他の色領域においては直線R−G、R−Bに対して垂直な方向に拡大処理を行う必要がある。
【0060】
当該彩度強調処理によれば色相が変化してしまう。このように彩度強調処理により色相が元の色から変化してしまった場合、変化した色を彩度強調処理の際に元の色に近づけるには、図14に示すように、彩度が低下する方向(P→M方向)と逆方向(M→P方向)に彩度強調処理を行うことが好ましい。
【0061】
なお、上記説明はx−y座標空間に関して行ったが、L*a*b*空間などの他の空間においても同様である。
【0062】
図15に示すように、処理空間をL*a*b*空間として彩度強調処理を行う場合、MPは入力色空間に対して垂直になる。
【0063】
一方、OM>OPの場合(ステップ72、No)、すなわち所定領域のプリンタガマット境界面がディスプレイガマット境界面よりも内側にある場合、プリンタガマット外であってディスプレイガマット内に存在する色点に対して圧縮処理を施す(ステップ73)。なお、圧縮処理は、色相を保存するように行われる。
【0064】
そして、上記ステップ70〜76の処理を、全ての画素に対して行うことによって(ステップ76、Yes)、色補正テーブルを生成して(ステップ78)、ステップ58における処理を終了する。
【0065】
このようにして生成された色補正テーブルを用いて色変換を行うことによって、ディスプレイによって再現不可能な色であっても、プリンタによって再現することができ、ディスプレイガマットよりも広いプリンタガマットの領域をより有効に利用することができる。
【0066】
第2実施例
図6に、色補正LUT生成処理の第2実施例を説明するためのフローチャートを示す。
【0067】
上記色補正LUT生成処理の第1実施例によれば、無彩色に近い色についても彩度が強調されるが、以下で説明する第2実施例によれば、無彩色に近い色については彩度が強調されないようにすることができる。
【0068】
まず、第1実施例と同様に、色補正LUT生成部20fは、ディスプレイガマット生成部20gによって生成されたディスプレイガマットのサイズを示す変数Sを求め(ステップ79)、ステップ79において求められたSの値から彩度強調率の制限値limitを求める(ステップ80)。Sおよびlimitの定義も、第1実施例と同様である。すなわち、彩度強調率の制限値limitの値は、図12に示すグラフ図から、
limit=f(S)
によって求まり、図12に示すように、入力系ガマットの大きさ(サイズ)に応じて彩度強調率の制限値limitを変更して、彩度強調の程度を変更する。具体的には、入力系ガマットの大きさ(サイズ)が小さくなるにしたがって、彩度強調率の制限値limitが大きくなるようにする。すなわち、入力系ガマットの大きさ(サイズ)が小さくなるにしたがって、彩度強調の程度を大きくする。
【0069】
このようにして、指定された入力系ガマットがsRGBの場合には彩度強調処理を行うが、指定されて色空間がNTSCのように出力系ガマットに対して十分に広い場合には彩度強調処理を行わないようにする。
【0070】
次に、色補正LUT生成部20fは、CIELAB空間において、プリンタガマット20eによって生成されたプリンタガマットと、ディスプレイガマット生成部20gによって生成されたディスプレイガマットとの対応関係を求める(ステップ81)。
【0071】
図5に、色補正LUT生成処理における色変換処理を説明するための図を示す。ここで、入力データの所望の色点を点Aとする。そして、無彩色軸の点O(L*=50)から点Aを通る直線を引く。当該直線OAと、ディスプレイガマット境界面との交点をMとし、当該直線OAと、プリンタガマット境界面との交点をPとする。
【0072】
そして、第1実施例と同様に、色補正LUT生成部20fは、OM<OPであるか否かを判断する(ステップ82)。すなわち、所定領域のプリンタガマット境界面(点P)がディスプレイガマット境界面(M点)よりも外側にあるか否かが判断される。
【0073】
OM<OPの場合(ステップ82、Yes)、すなわち所定領域のプリンタガマット境界面がディスプレイガマット境界面よりも外側にある場合、ディスプレイガマットよりも広いプリンタのガマット領域をより有効に利用するため、入力データの所望の色点Aに対して拡大(彩度強調)処理を施す。点Aを拡大(彩度強調)処理した後の点をA’とすると、点A’は、
OA<εOMの時(ステップ84、Yes)、OA’=OAとし(ステップ86)、
OA≧εOMの時(ステップ84、No)、
OA’=εOM+β(OA−εOM)
γ=((1−ε)OM+α(OP−OM))/((1−ε)OM)
β=(limit−1)/(1−ε) (γ>(limit−1)/(1−ε))
β=γ (γ≦(limit−1)/(1−ε))
によって求まる(ステップ88)。
【0074】
このように、直線OA上の点A’に向かって拡大処理を行うことによって、色相を一定に保ちながら拡大処理を行うことができる。すなわち、色相を保存するように拡大処理を行うことができる。
【0075】
ここで、非伸張エリア率をε(一例として、εの値は0.5程度とする。)とする。OAがεOMよりも小さい場合には、伸張処理を行わず、無彩色に近い色については彩度が強調されないようにすることができる。
【0076】
また、第1実施例と同様に、ガマット伸張率をαとする。αは、0≦α≦1.0の値を取り、ターゲットディスプレイガマットに対してどの程度ガマットを拡大するかを設定するパラメータである。α=1.0とした場合、プリンタガマット一杯まで拡大することになる。
【0077】
なお、このように色相を保存するように拡大処理を行う代わりに、x−y色度座標系においてB−G直線に対してほぼ垂直な方向に対して拡大処理を行うこともできる。
【0078】
一方、OM>OPの場合(ステップ82、No)、すなわち所定領域のプリンタガマット境界面がディスプレイガマット境界面よりも内側にある場合、プリンタガマット外であってディスプレイガマット内に存在する色点に対して圧縮処理を施す(ステップ83)。なお、圧縮処理は、色相を保存するように行われる。
【0079】
そして、上記ステップ80〜86の処理を、全ての画素に対して行うことによって(ステップ90、Yes)、色補正テーブルを生成して(ステップ92)、ステップ58における処理を終了する。
【0080】
このようにして生成された色補正テーブルを用いて色変換を行うことによって、ディスプレイによって再現不可能な色であっても、プリンタによって再現することができ、ディスプレイガマットよりも広いプリンタガマットの領域をより有効に利用することができる。
【0081】
次に、図7乃至図10を参照して、プリンタドライバ12cの動作について説明する。
【0082】
第1実施例
図7に、プリンタドライバ12cの動作の第1実施例を説明するためのフローチャートを示す。当該第1実施例では、入力画像データに対して画像解析を行い、緑から青付近の彩度の高い色が多い場合には、原シーンの色が入力系ガマットよりも鮮やかな色であるとみなして彩度強調を行う。一方、彩度強調が必要ない画像に対して彩度強調を行うことを防ぐことができる。当該実施例では、上記色補正LUT生成方法によって生成された彩度強調を行うための色補正テーブル、および当該彩度強調を行わない通常の色補正テーブルが予め色補正LUT格納部20hに格納されているものとする。
【0083】
図7に示すように、ユーザによって印刷開始が指示されると、入力画像データに対して画像解析が行われる(ステップS80)。色補正部20bは、入力画像データのRGB値を参照して、条件
R<5 且つ G>40 且つ B>40
を満たす画素が画像全体の3%以上あるか否かを判断する(ステップS82)。そして、色補正部20bは、上記条件を満たす画素が画像全体の3%以上ある場合(ステップS82、Yes)、原シーンの色が入力系ガマットよりも鮮やかな色であるとみなして彩度強調を行う。すなわち、彩度強調用の色補正テーブルを色補正LUT20hから読み出し、RAM内に読み込む(ステップS84)。そして、当該色補正テーブルを色補正部20bに組み込み(ステップS86)、印刷処理を行う(ステップS90)。
【0084】
図8に、彩度強調処理を行う場合の、原シーンの色域とRGB色空間(ディスプレイガマット)との関係を説明するための図を示す。図8に示すように、色変換領域内の色は、入力機器でデジタイズされるとR=0となる。矢印で示すような色変換が行われる。
【0085】
一方、上記条件を満たす画素が画像全体の3%以上ない場合(ステップS82、No)、通常の色補正テーブルを参照して通常の色補正処理を行い(ステップS88)、印刷処理を行う(ステップS90)。
【0086】
図9に、彩度強調処理を行なわない場合の、原シーンの色域とRGB色空間(ディスプレイガマット)との関係を説明するための図を示す。図9に示すように、原シーンの色域がRGB空間内に十分含まれていれば、R<0のデータは発生しない。このような場合には彩度強調処理を行わない方が好ましい。
【0087】
このように、当該実施例によれば、彩度強調が必要ない画像に対して彩度強調を行うことを防ぐことができる。
【0088】
第2実施例
図10に、プリンタドライバ12cの動作の第2実施例を説明するためのフローチャートを示す。当該第2実施例では、対象オブジェクトがビットイメージ画像の場合にのみ彩度強調を行い、テキストまたはグラフィックス画像の場合は彩度強調処理を行わない。テキスト画像は通常彩度を強調する必要がなく、またグラフィックス画像は、もともとコンピュータによって作成された色であるため、ディスプレイの色が原シーンの色となるので彩度強調を行わずにディスプレイの色を再現するのがより好ましいからである。このようにして、彩度強調が必要ない画像に対して彩度強調を行うことを防ぐことができる。当該第2実施例においても、上記色補正LUT生成方法によって生成された彩度強調を行うための色補正テーブル、および当該彩度強調を行わない通常の色補正テーブルが予め色補正LUT格納部20hに格納されているものとする。
【0089】
図10に示すように、ユーザによって印刷開始が指示されると、色補正部20bは、対象オブジェクトがビットイメージ画像であるか否かを判断する(ステップS92)。
【0090】
そして、色補正部20bは、対象オブジェクトがビットイメージ画像である場合(ステップS92、Yes)、彩度強調を行う。すなわち、彩度強調用の色補正テーブルを色補正LUT20hから読み出し、RAM内に読み込む(ステップS94)。そして、当該色補正テーブルを色補正部20bに組み込み(ステップS96)、印刷処理を行う(ステップS100)。
【0091】
一方、対象オブジェクトがビットイメージ画像でない場合(ステップS92、No)、通常の色補正テーブルを参照して通常の色補正処理を行い(ステップS98)、印刷処理を行う(ステップS100)。
【0092】
このように、当該実施例によれば、彩度強調が必要ない画像に対して彩度強調を行うことを防ぐことができる。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかる画像処理装置の機能ブロック図である。
【図2】本発明の一実施形態にかかる画像処理装置の具体的ハードウエア構成例を示す概略ブロック図である。
【図3】本発明による画像処理装置20のによる色補正テーブル生成・格納処理を説明するためのフローチャートである。
【図4】色補正LUT生成処理の第1実施例を説明するためのフローチャートである。
【図5】色補正LUT生成処理における色変換処理を説明するための図である。
【図6】色補正LUT生成処理の第2実施例を説明するためのフローチャートである。
【図7】プリンタドライバ12cの動作の第1実施例を説明するためのフローチャートである。
【図8】彩度強調処理を行う場合の、原シーンの色域とRGB色空間(ディスプレイガマット)との関係を説明するための図である。
【図9】彩度強調処理を行なわない場合の、原シーンの色域とRGB色空間(ディスプレイガマット)との関係を説明するための図である。
【図10】プリンタドライバ12cの動作の第2実施例を説明するためのフローチャートである。
【図11】本発明の一実施形態にかかる色補正テーブル生成装置の機能ブロック図である。
【図12】入力系ガマットのサイズと彩度強調率の制限値limitとの関係を示すグラフ図である。
【図13】sRGB色空間およびNTSC色空間の大きさの関係を説明するための図を示す。
【図14】入力ガマット表面に対してほぼ垂直な方向に行う彩度強調処理を説明するための図である。
【図15】色相を保存して彩度強調処理を行う場合の点O,M,Pの関係を説明するための図である。
【符号の説明】
10 画像入力装置
11a スキャナ
11b デジタルスチルカメラ
11c ビデオカメラ
12 コンピュータ本体
12a オペレーティングシステム
12b ディスプレイドライバ
12c プリンタドライバ
12d アプリケーション
13a フロッピーディスクドライブ
13b ハードディスク
13c CD−ROMドライブ
14a モデム
15a キーボード
15b マウス
17a ディスプレイ
17b カラープリンタ
20 画像処理装置
20a 第1色変換部
20b 色補正部
20c 第2色変換部
20d 二値化部
20e プリンタガマット生成部
20f 色補正LUT生成部
20g ディスプレイガマット生成部
20h 色補正LUT格納部
30 画像出力装置
37 測色計

Claims (13)

  1. 色補正テーブルを用いて画像入力信号に対して所望の色補正を行う画像処理装置であって、
    入力系ガマットよりも出力系ガマットの方が広い領域において、画像入力信号の所望の色点について、入力系ガマット表面に対して垂直な方向に彩度強調処理を施す彩度強調用色補正テーブルを用いて所望の色補正を行なう画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記入力系ガマットが RGB 色空間である画像処理装置。
  3. 請求項1に記載の画像処理装置であって、
    前記彩度強調用色補正テーブルによる彩度強調処理の程度を、入力系ガマットの種類に応じて変更する画像処理装置。
  4. 請求項1に記載の画像処理装置であって、
    入力系ガマットの大きさが小さくなるにしたがって、前記彩度強調用色補正テーブルによる彩度強調処理の程度を大きくする画像処理装置。
  5. 請求項1乃至のいづれか一項に記載の画像処理装置であって、
    入力系ガマットよりも出力系ガマットの方が狭い領域において、画像入力信号の所望の色点に対して圧縮処理を施す圧縮処理用色補正テーブルを用いて所望の色補正を行なう画像処理装置。
  6. 請求項1乃至のいづれか一項に記載の画像処理装置であって、
    前記彩度強調用色補正テーブルは、前記所望の色点が無彩色に近い場合、彩度強調処理を行わない画像処理装置。
  7. 請求項5または6に記載の画像処理装置であって、
    前記圧縮処理が、色相を保存するように行われる画像処理装置。
  8. 請求項1乃至のいづれか一項に記載の画像処理装置であって、
    前記彩度強調用色補正テーブルは、彩度強調の程度を調整可能である画像処理装置。
  9. 請求項1乃至のいづれか一項に記載の画像処理装置であって、
    前記彩度強調用色補正テーブルは、彩度強調の限界値を設定可能である画像処理装置。
  10. 請求項1乃至のいづれか一項に記載の画像処理装置であって、
    赤色成分が所定の赤色閾値未満であり、緑色成分が所定の緑色閾値を超え、青色成分が所定の青色閾値を超える画素が画素全体において所定の割合以上である画像入力信号の場合に、彩度強調用色補正テーブルを用いて所望の色補正を行なう画像処理装置。
  11. 色補正テーブルを用いて画像入力信号に対して所望の色補正を行う画像処理方法であって、
    入力系ガマットよりも出力系ガマットの方が広い領域において、画像入力信号の所望の色点について、入力系ガマット表面に対して垂直な方向に彩度強調処理を施す彩度強調用色補正テーブルを用いて所望の色補正を行なう画像処理方法。
  12. 入力系ガマットよりも出力系ガマットの方が広い領域において、画像入力信号の所望の色点について、入力系ガマット表面に対して垂直な方向に彩度強調処理を施す彩度強調用色補正テーブルを用いて所望の色補正を行なう画像処理をコンピュータに実行させるためのプログラム。
  13. 請求項12に記載のプログラムを記録したコンピュータによって読取可能な記録媒体。
JP2001279213A 2000-10-06 2001-09-14 画像処理装置、画像処理方法、プログラムおよび記録媒体 Expired - Fee Related JP3596677B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001279213A JP3596677B2 (ja) 2000-10-06 2001-09-14 画像処理装置、画像処理方法、プログラムおよび記録媒体
US09/971,061 US7167275B2 (en) 2000-10-06 2001-10-05 Image processing apparatus, image processing method, program, and recording medium
EP01123304A EP1195983A3 (en) 2000-10-06 2001-10-08 Image processing apparatus, image processing method, program, and recording medium

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2000308067 2000-10-06
JP2000-308067 2000-10-06
JP2001-33336 2001-02-09
JP2001033336 2001-02-09
JP2001279213A JP3596677B2 (ja) 2000-10-06 2001-09-14 画像処理装置、画像処理方法、プログラムおよび記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004132787A Division JP4524578B2 (ja) 2000-10-06 2004-04-28 画像処理装置、画像処理方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2002314832A JP2002314832A (ja) 2002-10-25
JP3596677B2 true JP3596677B2 (ja) 2004-12-02

Family

ID=27344883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001279213A Expired - Fee Related JP3596677B2 (ja) 2000-10-06 2001-09-14 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (3)

Country Link
US (1) US7167275B2 (ja)
EP (1) EP1195983A3 (ja)
JP (1) JP3596677B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307646B2 (en) * 2001-05-09 2007-12-11 Clairvoyante, Inc Color display pixel arrangements and addressing means
US7492379B2 (en) * 2002-01-07 2009-02-17 Samsung Electronics Co., Ltd. Color flat panel display sub-pixel arrangements and layouts for sub-pixel rendering with increased modulation transfer function response
US7421117B2 (en) * 2002-09-30 2008-09-02 Brother Kogyo Kabushiki Kaisha Color compression apparatus and color compression method
US7397455B2 (en) * 2003-06-06 2008-07-08 Samsung Electronics Co., Ltd. Liquid crystal display backplane layouts and addressing for non-standard subpixel arrangements
EP1934970B1 (en) * 2005-10-14 2016-08-17 Samsung Display Co., Ltd. Improved memory structures for image processing
CN101449589A (zh) * 2006-05-15 2009-06-03 夏普株式会社 彩色图像显示设备和色彩变换设备
KR101379367B1 (ko) 2006-11-23 2014-03-31 티피 비전 홀딩 비.브이. 범위 적합화
JP4400644B2 (ja) 2007-04-18 2010-01-20 セイコーエプソン株式会社 画像処理装置、色補正テーブル生成装置、表示装置、画像処理方法
JP4775328B2 (ja) * 2007-06-07 2011-09-21 富士ゼロックス株式会社 画像処理装置およびプログラム
JP4957676B2 (ja) * 2008-03-19 2012-06-20 セイコーエプソン株式会社 画像データ解析装置、画像データ解析方法、およびプログラム
EP2384006B1 (en) * 2008-12-26 2017-06-28 NEC Corporation Image processing device, image processing method, and storage medium
US8902246B2 (en) * 2010-12-22 2014-12-02 Apple Inc. Color correction for wide gamut systems
JP5857617B2 (ja) * 2011-10-19 2016-02-10 ブラザー工業株式会社 制御装置及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05205039A (ja) 1992-01-23 1993-08-13 Hitachi Ltd カラー画像処理方法およびカラー画像処理装置
US5317426A (en) 1990-11-26 1994-05-31 Konica Corporation Color estimation method for expanding a color image for reproduction in a different color gamut
JPH04196678A (ja) 1990-11-26 1992-07-16 Konica Corp 色推定方法
JPH06225132A (ja) 1992-10-28 1994-08-12 Canon Inf Syst Inc 色域外カラーテーブルを用いたカラー印刷方法及び装置
JPH0795427A (ja) 1993-09-27 1995-04-07 Fuji Xerox Co Ltd 画像処理方法及び装置
JP3436572B2 (ja) * 1993-10-27 2003-08-11 株式会社リコー 画像処理装置
JPH0832827A (ja) 1994-07-13 1996-02-02 Toppan Printing Co Ltd ディジタル画像の階調補正装置
JPH08214175A (ja) 1995-02-01 1996-08-20 Fuji Xerox Co Ltd 画像処理装置
JPH099082A (ja) 1995-06-21 1997-01-10 Canon Inc カラー画像処理方法及びそのシステム
JP3163987B2 (ja) 1995-09-04 2001-05-08 富士ゼロックス株式会社 画像処理装置およびガミュート調整方法
JPH0998298A (ja) * 1995-09-29 1997-04-08 Sony Corp 色域圧縮方法及び色域圧縮装置
JPH09200560A (ja) 1996-01-23 1997-07-31 Ricoh Co Ltd 画像処理装置
JPH09224162A (ja) 1996-02-15 1997-08-26 Ricoh Co Ltd 色変換装置
US6573889B1 (en) * 1999-02-08 2003-06-03 Adobe Systems Incorporated Analytic warping
US6882445B1 (en) * 1999-05-31 2005-04-19 Mitsubishi Denki Kabushiki Kaisha Color gamut compression apparatus and method
JP3954244B2 (ja) * 1999-07-16 2007-08-08 富士フイルム株式会社 色再現空間の圧縮・伸張方法
JP4360019B2 (ja) 1999-11-11 2009-11-11 パナソニック株式会社 色情報交換方法及びその装置
US6414690B1 (en) * 1999-12-08 2002-07-02 Xerox Corporation Gamut mapping using local area information
JP2001313839A (ja) 2000-04-28 2001-11-09 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2002152540A (ja) 2000-11-14 2002-05-24 Fuji Xerox Co Ltd カラー画像信号処理装置及びカラー画像信号処理方法

Also Published As

Publication number Publication date
US7167275B2 (en) 2007-01-23
EP1195983A3 (en) 2004-06-30
JP2002314832A (ja) 2002-10-25
EP1195983A2 (en) 2002-04-10
US20020060799A1 (en) 2002-05-23

Similar Documents

Publication Publication Date Title
JP4594185B2 (ja) 色処理方法およびその装置
JP4623630B2 (ja) 画像処理装置、画像処理方法、プログラム、画像形成装置、画像形成システム
JP4217398B2 (ja) 画像データ処理方法、画像データ処理装置、記憶媒体、及びプログラム
JP4632438B2 (ja) 色処理方法、並びに、ルックアップテーブルを作成する色処理装置およびその方法
JP2002359749A (ja) 色変換プログラムを記録した媒体、色変換テーブルの作成方法、色変換テーブルデータを記録した媒体、色変換装置、色変換プログラム、色変換方法および色変換テーブル
JP3596677B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2009154365A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP3744808B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2003001791A1 (en) Image-processing device and method, program, and recording medium
EP1202560A2 (en) Color correction table generating method, image processing device, image processing method and recording media
JP2012253774A (ja) カラー印刷方法およびカラー印刷システム
JP2007060151A (ja) 色処理方法およびその装置
JP4524578B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR20080064711A (ko) 화상형성장치 및 그 색상출력방법
JP4467202B2 (ja) 色変換装置および色変換方法
JP5595341B2 (ja) 画像処理装置、画像処理方法、および記録装置
JP2003316559A (ja) 画像データ構造、画像データ作成装置及び画像出力装置
JP2002190959A (ja) 画像処理装置、画像処理方法および記録媒体
JP3937714B2 (ja) 色補正テーブル生成方法、画像処理装置、画像処理方法および記録媒体
JP5090969B2 (ja) 画像処理装置
JP2007013377A (ja) 画像処理方法、画像処理装置及びプログラム
JP2001352456A (ja) 画像処理方法及び画像処理装置並びにそれを備えた画像形成装置
JP2009177426A (ja) 画像処理装置、及び画像処理方法
JP2009004917A (ja) 色処理装置およびその方法
US8351099B2 (en) Hue specific monochromatic printing mechanism

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040428

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040901

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees