JP3945960B2 - 画像処理システムおよび色調補正装置および色調補正方法および記録媒体 - Google Patents
画像処理システムおよび色調補正装置および色調補正方法および記録媒体 Download PDFInfo
- Publication number
- JP3945960B2 JP3945960B2 JP2000095252A JP2000095252A JP3945960B2 JP 3945960 B2 JP3945960 B2 JP 3945960B2 JP 2000095252 A JP2000095252 A JP 2000095252A JP 2000095252 A JP2000095252 A JP 2000095252A JP 3945960 B2 JP3945960 B2 JP 3945960B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image data
- correction
- image
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims description 243
- 238000012545 processing Methods 0.000 title claims description 129
- 238000000034 method Methods 0.000 title claims description 65
- 238000010191 image analysis Methods 0.000 claims description 139
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 12
- 230000001419 dependent effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
Images
Landscapes
- Color, Gradation (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理システムおよび色調補正装置および色調補正方法および記録媒体に関する。
【０００２】
【従来の技術】
ホストコンピュータを中心とするマルチメディアシステムにおいては、入力装置と出力装置の間で、画像データの色合わせ処理を行うカラーマッチングシステム（ＣＭＳ）が開発されている。
【０００３】
代表的なＣＭＳの枠組であるＡｐｐｌｅ社のＣｏｌｏｒＳｙｎｃ（ＴＭ）は、入力装置に依存する色空間（Device Dependent Color Space）の画像信号を、装置に依存しない色空間（Device Independent Color Space）へ変換し、さらに、装置に依存しない色空間の画像信号を、出力装置に依存する色空間へ変換することで、システム上で共通のＣＭＳを実現している。
【０００４】
この変換処理のための変換特性を表すデータはプロファイルと呼ばれ、デバイスごとにホストコンピュータ内に用意され、変換の際に自動もしくは手動で選ばれたプロファイルの変換特性に応じて画像信号の色空間が変換される。
【０００５】
上記カラーマッチングシステムでは、装置に依存しない色空間を介して入力信号を出力信号に色変換するため測色的に一致した色再現を行うことができる。
【０００６】
一方、コンピュータの発達、通信ネットワークの整備、大容量の記憶媒体の出現などに加えて、スキャナやデジタルカメラなどが普及するに伴い、デジタルの写真画像データが急速に広まっており、写真画像データを高画質でプリントアウトしたいという要求が高まってきている。
【０００７】
また、写真フィルムの分野においても、アナログ出力ではなく、画像をデジタル化して画像処理や画像編集を行うことにより、さらに高画質で多機能なプリントアウトをしたいという要求が高まってきている。
【０００８】
このように写真画像データをプリントアウトする場合には、忠実な色再現よりもむしろ露出不足や逆光状態の画像に対しては、デジタル画像の特性を活かして好みに応じた色修正を施して再現したいという要求がある。
【０００９】
そこで、特開平１０−２０８０３４号では、ＲＧＢ画像データを解析して色調補正を行い、プリンタ・ドライバを通してプリンタに出力したり、ディスプレイ・ドライバを通してディスプレイ画面に表示したりするようにしている。ここで、色調補正としては、ＲＧＢ画像データの輝度分布を求め、その標準偏差に基づいて、変換元の輝度と変換先の輝度との対応関係を正比例状態から適度にＳ字状に歪めた状態に変更することにより、コントラストを自動補正する処理が提案されている。また、輝度分布の状態を基に、二値画像の判定やビジネスグラフなどを判定することにより、コントラストの補正処理を行わないようにするなどの工夫も行われている。
【００１０】
また、特開平１１−１６１７７２号では、入力画像の解析結果以外に、入力機器の特性及びオペレータによって指定される「被写体情報」や原稿の性質を参照して標準化変換用のパラメータを決定し、そのパラメータを用いて入力画像に適した標準化変換を施すようにしている。また、標準化画像に対し記録変換を行って出力する場合にも、同様に標準化画像の解析結果や各種画質管理情報に従って、記録変換用パラメータを決定して、そのパラメータを用いるようにしている。
【００１１】
また、特開平１０−１４５６２６号では、入力信号をデバイスに依存しない色信号に変換する際に用いる色変換パラメータを、カラー画像中の特徴色が所定の色になり、かつプリント出力の色再現特性が線形になるように、入力画像の特性と出力装置の特性を用いて決定するようにしている。
【００１２】
かかる従来の自動画像修正処理では、露出アンダー／露出オーバー／色バランスが崩れたデジタルカメラの画像やスキャナ画像を自動的に色調を整えて出力できるという効果を奏する。
【００１３】
【発明が解決しようとする課題】
しかしながら、特開平１０−２０８０３４号の技術では、プリンタ側で自動的に色調を調整してしまうために、逆にオペレータが画像修正ソフトなどで意図的に修正処理を加えてからプリンタに出力する場合には、オペレータの修正結果が正しく反映されないという問題があった。
【００１４】
オペレータが意図的に画像を修正する場合には、通常、画像表示装置上の表示画像を確認しながら修正を行う。従って、このような場合には、画面に表示されている画像が忠実に出力される方が、オペレータにとって望ましいはずである。即ち、意図的に補正された画像については、カラー・マネージメントのアーキテクチャを利用して色処理を行い出力する方が望ましいと考えられる。カラー・マネージメントを利用した色処理を行うためには、例えばＩＣＣ（Inter Color Consortium）で標準化されているデバイス・プロファイルをコンピュータに登録し、読み出して色変換するのが一般的である。
【００１５】
しかし、上記技術では、ＲＧＢ画像データだけからどのような色修正を施すべきかを判断しているため、前述のカラー・マネージメントと組み合わせると出力結果が保証できず、好ましい色修正結果が得られない場合が生じてしまう。
【００１６】
本来、写真画像データにとって好ましい色再現はディスプレイに依存しないはずなので、どのようなディスプレイを用いていようが、同じ画像は一定の色調で出力されるべきである。
【００１７】
また、特開平１１−１６１７７２号の技術では、入力機器や出力機器の特性を用いて色変換処理を行うため、カラー・マネージメントのアーキテクチャに対し色調を修正するような機能を持たせていると考えられる。しかし、入力ＲＧＢ画像だけを用いて画像解析を行っているため、標準化信号への色変換パラメータを決めるための推論アルゴリズムが非常に複雑になってしまう。また、特開平１１−１６１７７２号に示されている被写体分類や代表色抽出や露出状態解析を精度良く行うには、入力機器の特性が比較的一定である必要が生じる。
【００１８】
また、特開平１０−１４５６２６号の技術では、入力画像の特性と出力装置の特性を用いて色変換パラメータを決定するようにしているが、この場合にも特徴色の抽出を入力画像のみを用いて行っているため、入力画像の特性が大きく異なるような場合には、特徴色かどうかの判定が困難になってしまう。
【００１９】
かかる問題を解決する方法としては、入力ＲＧＢ画像を一旦Ｌａｂ信号やｓＲＧＢ信号などの標準信号に変換してから画像解析を行う手法が考えられるが、その場合には色変換処理が２パス処理となってＣＰＵ負荷の増大を招いてしまう。
【００２０】
本発明は、オペレータが適切な色修正を行った画像データに対しては、オペレータの修正処理を反映した出力結果が得られ、不適切な色修正が行われている場合や、もともと色修正が行われていないような画像に対しては適切な色修正が行われるようにすることの可能な画像処理システムおよび色調補正装置および色調補正方法および記録媒体を提供することを目的としている。
【００２１】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、ＲＧＢ画像データの色調補正を行う画像処理システムにおいて、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記色空間特性識別手段で識別された色空間特性を用いて画像解析用パラメータを求める画像解析パラメータ算出手段と、前記画像解析パラメータ算出手段で算出された画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していること特徴としている。
【００２２】
また、請求項２記載の発明は、ＲＧＢ画像データの色調補正を行う画像処理システムにおいて、少なくとも１つの画像解析用パラメータが記憶されている画像解析パラメータ記憶手段と、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記画像解析パラメータ記憶手段に記憶されている少なくとも１つの画像解析用パラメータから前記色空間特性識別手段によって識別された色空間特性に対応した画像解析用パラメータを選択する画像解析パラメータ選択手段と、前記画像解析パラメータ選択手段によって選択された画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していることを特徴としている。
【００２３】
また、請求項３記載の発明は、請求項１または請求項２記載の画像処理システムにおいて、前記色空間特性識別手段は、前記ＲＧＢ画像データの色空間特性として、画像入力信号がＲＧＢ画像データと画像属性情報とからなっている場合に画像属性情報中に記述されたＲＧＢ特性を用いるか、あるいは、画像表示装置に割り当てられているカラープロファイル情報を用いることを特徴としている。
【００２４】
また、請求項４記載の発明は、請求項１または請求項２記載の画像処理システムにおいて、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データの色温度情報を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データの色温度情報を参照して求められるカラーバランス補正用の画像解析パラメータであって、カラーバランス補正用の画像解析パラメータを用いてカラーバランス補正を行なうようになっていることを特徴としている。
【００２５】
また、請求項５記載の発明は、請求項１または請求項２記載の画像処理システムにおいて、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データのガンマ特性を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データのガンマ特性を参照して求められるトーンカーブ補正用の画像解析パラメータであって、トーンカーブ補正用の画像解析パラメータを用いてトーンカーブ補正を行なうようになっていることを特徴としている。
【００２６】
また、請求項６記載の発明は、請求項１または請求項２記載の画像処理システムにおいて、さらに、画像入力信号に対応する入力プロファイルと画像出力信号に対応する出力プロファイルとを用いて測色的に一致する色変換処理を実行する色変換処理手段と、色調補正決定手段によって決定された色調の補正方法に基づいて前記入力プロファイルを生成するプロファイル生成手段とを有していることを特徴としている。
【００２７】
また、請求項７記載の発明は、ＲＧＢ画像データの色調補正を行う色調補正装置において、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記色空間特性識別手段で識別された色空間特性を用いて画像解析用パラメータを求める画像解析パラメータ算出手段と、前記画像解析パラメータ算出手段で算出された画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していることを特徴としている。
【００２８】
また、請求項８記載の発明は、ＲＧＢ画像データの色調補正を行う色調補正装置において、少なくとも１つの画像解析用パラメータが記憶されている画像解析パラメータ記憶手段と、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記画像解析パラメータ記憶手段に記憶されている少なくとも１つの画像解析用パラメータから前記色空間特性識別手段によって識別された色空間特性に対応した画像解析用パラメータを選択する画像解析パラメータ選択手段と、前記画像解析パラメータ選択手段によって選択された画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していることを特徴としている。
【００２９】
また、請求項９記載の発明は、請求項７または請求項８記載の色調補正装置において、前記色空間特性識別手段は、前記ＲＧＢ画像データの色空間特性として、画像入力信号がＲＧＢ画像データと画像属性情報とからなっている場合に画像属性情報中に記述されたＲＧＢ特性を用いるか、あるいは、画像表示装置に割り当てられているカラープロファイル情報を用いることを特徴としている。
【００３０】
また、請求項１０記載の発明は、請求項７または請求項８記載の色調補正装置において、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データの色温度情報を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データの色温度情報を参照して求められるカラーバランス補正用の画像解析パラメータであって、カラーバランス補正用の画像解析パラメータを用いてカラーバランス補正を行なうようになっていることを特徴としている。
【００３１】
また、請求項１１記載の発明は、請求項７または請求項８記載の色調補正装置において、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データのガンマ特性を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データのガンマ特性を参照して求められるトーンカーブ補正用の画像解析パラメータであって、トーンカーブ補正用の画像解析パラメータを用いてトーンカーブ補正を行なうようになっていることを特徴としている。
【００３２】
また、請求項１２記載の発明は、請求項７または請求項８記載の色調補正装置において、さらに、画像入力信号に対応する入力プロファイルと画像出力信号に対応する出力プロファイルとを用いて測色的に一致する色変換処理を実行する色変換処理手段と、色調補正決定手段によって決定された色調の補正方法に基づいて前記入力プロファイルを生成するプロファイル生成手段とを有していることを特徴としている。
【００３３】
また、請求項１３記載の発明は、ＲＧＢ画像データの色調補正を行う色調補正方法において、ＲＧＢ画像データの色空間特性を識別し、ＲＧＢ画像データの色空間特性に対応した画像解析用パラメータを求め、該画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なうことを特徴としている。
【００３５】
また、請求項１４記載の発明は、ＲＧＢ画像データの色空間特性を識別し、ＲＧＢ画像データの色空間特性に対応した画像解析用パラメータを求め、該画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正を行なう処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３７】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００３８】
図１は本発明に係る画像処理システムの一例を示す図である。図１の例では、画像処理システムは、ディスプレイ１００と、デジタルカメラ１０１と、スキャナ１０２と、コンピュータ１０３と、画像形成装置１０４と、画像処理装置２００とを有している。
【００３９】
ここで、コンピュータ１０３には、各種の色修正アプリケーションやプリンタドライバ等のソフトウエアを実装可能となっている。また、デジタルカメラ１０１，スキャナ１０２は、処理される画像データを取り込むための入力装置である。また、ディスプレイ１００は、画像データを表示するための出力装置であり、画像形成装置１０４は、画像データをプリンタアウトするための出力装置である。なお、画像形成装置１０４としては、カラープリンタやカラーコピー機やカラーファクシミリ機を用いることができる。
【００４０】
図２は、図１の画像処理システムにおけるコンピュータ１０３および画像処理装置２００の処理機能を説明するための図である。図２を参照すると、コンピュータ１０３は、画像処理装置２００をコントロールする機能を有しているとともに、色変換処理部２０１としての機能を有している。
【００４１】
また、画像処理装置２００は、色調補正処理部３００としての機能を有している。
【００４２】
ここで、画像処理装置２００の色調補正処理部３００は、色調の補正方法を決定する機能を有し、色調の補正処理は、実際には、色調補正処理部３００で決定された色調の補正方法に従って、色変換処理部２０１で行なわれるようになっている。すなわち、図２の例では、色変換処理部２０１は、色調補正手段としての機能と、色変換処理機能とを有しているものとする。換言すれば、図２の例では、画像処理装置２００の色調補正処理部３００とコンピュータ１０３の色変換処理部２０１とによって、色調補正装置が構成されている。
【００４３】
また、色変換処理部２０１の色変換処理機能に着目するとき、色変換処理部２０１は、カラーマネージメントに対応した色変換システムであり、入力プロファイル２０２および出力プロファイル２０３を使用して色変換処理（さらには、入力プロファイル２０２を使用して、色調補正処理）を行うようになっている。例えば、ディスプレイ１００に表示されている画像データをプリンタ１０４に出力する場合には、ディスプレイ１００の色特性を記述したデバイス・プロファイル（入力プロファイル）とプリンタ１０４の色特性を記述したデバイス・プロファイル（出力プロファイル）を用いて色変換を実行することになる。デバイス・プロファイルとしては何でも構わないが、ＩＣＣ（Inter Color Consortium）プロファイルが特に有名である。
【００４４】
このような構成では、コンピュータ１０３は、オペレータから出力命令を受け取ると、例えばデジタルカメラ１０１によって画像を撮像するなどして取り込まれた画像データ（ＲＧＢ画像データ）や画像修正ソフトを用いて色調補正を施した画像データ（ＲＧＢ画像データ）などを画像処理装置２００に送信する。画像処理装置２００は、コンピュータ１０３から送信された画像データ（ＲＧＢ画像データ）を色調補正処理部３００にて分析し、色調補正を行うのと同等の効果を有する新たなプロファイル（入力プロファイル）を生成する（入力プロファイルを更新する）。すなわち、後述のように、色調の補正方法（補正のパラメータ）を反映したプロファイルを作成する。このようにして生成した（更新された）入力プロファイルはコンピュータ１０３へ送信される。
【００４５】
コンピュータ１０３は、画像処理装置２００から入力プロファイルを受け取ると、色変換処理部２０１において、色調の補正処理および色変換処理を行なう。即ち、コンピュータ１０３が画像データ（ＲＧＢ画像データ）を受信すると、色変換処理部２０１は、受信した画像データ（ＲＧＢ画像データ）に対して色調補正を行ない、画像形成装置（出力装置）１０４が受信可能な色信号（例えば、ＣＭＹＫ）に変換して、画像形成装置（出力装置）１０４へ送信する。これにより、画像形成装置１０４では、印刷を行なうことができる。
【００４６】
上述のように、本発明の画像処理装置２００では、画像解析結果に応じて入力プロファイルを更新するようにしているため、自動画像補正処理を行うことによるオーバーヘッドを少なくすることができる。
【００４７】
なお、図１，図２の例では、画像処理装置２００は、コンピュータ１０３，画像形成装置１０４とは別個のものとして設けられているが、コンピュータ１０３内に実装されても良いし、あるいは画像形成装置１０４内に実装されても良い。あるいは、画像形成装置１０４とは独立に設けられたプリンタ制御装置内に実装されても良い。
【００４８】
画像処理装置２００を画像形成装置１０４内に実装する場合には、色調補正処理機能を画像形成装置１０４にもたせ、画像形成装置１０４において色調の補正が行なわれるようにすることができる。また、画像処理装置２００を画像形成装置１０４とは独立に設けられたプリンタ制御装置内に実装する場合には、プリンタ制御装置において色調を補正してから画像データを画像形成装置１０４に送ることができる。
【００４９】
また、本発明の画像処理装置２００は、ソフトウエアで実現することも可能である。例えば、コンピュータ内のプログラムとして存在するプリンタ・ドライバで、画像処理装置２００の機能を実現することもできる。
【００５０】
図３は画像処理装置２００の色調補正処理部３００の第１の構成例を示す図である。図３を参照すると、色調補正処理部３００は、赤，緑，青色成分で構成されるＲＧＢ画像データの色空間特性を識別する色空間特性識別手段３０１と、色空間特性識別手段３０１で識別された色空間特性を用いて画像解析用パラメータを求める画像解析パラメータ算出手段３０２と、画像解析パラメータ算出手段３０２で算出された画像解析用パラメータを用いてＲＧＢ画像データを解析して色調の補正方法を決定する色調補正決定手段３０４とを有している。
【００５１】
なお、この色調補正処理部３００に入力されるＲＧＢ画像データは、より具体的にはＲＧＢ（緑，青，赤）の階調データとなっており、また、画像フォーマットはビットマップ形式で構成されている。また、各色成分の階調数は８ｂｉｔ＝２５６階調が一般的であるが、６４あるいは５１２など他の階調数の場合でも構わない。
【００５２】
また、図３の色調補正処理部３００には、前述したように入力プロファイルを更新するために、色調補正決定手段３０４で決定した色調の補正方法（補正のパラメータ）を反映したプロファイルを作成するプロファイル生成処理手段３０５がさらに設けられている。
【００５３】
図３の構成例では、無数のＲＧＢ色空間特性に対応できるように、解析用パラメータを演算処理で求めるようにしているが、ＲＧＢ色空間特性が限定されるような場合には、予め複数のパラメータセットを用意しておき、それをＲＧＢ色空間特性に従って選択的に用いるようにしてもよい。
【００５４】
図４は色調補正処理部３００の第２の構成例を示す図であり、この第２の構成例では、予め複数のパラメータセットを用意しておき、それをＲＧＢ色空間特性に従って選択的に用いるようになっている。すなわち、図４を参照すると、色調補正処理部３００は、少なくとも１つの画像解析用パラメータが記憶されている画像解析パラメータ記憶手段３１１と、赤，緑，青色成分で構成されるＲＧＢ画像データの色空間特性を識別する色空間特性識別手段３０１と、画像解析パラメータ記憶手段３１１に記憶されている少なくとも１つの画像解析用パラメータから色空間特性識別手段３０１によって識別された色空間特性に対応した画像解析用パラメータを選択する画像解析パラメータ選択手段３１２と、画像解析パラメータ選択手段３１２によって選択された画像解析用パラメータを用いてＲＧＢ画像データを解析して色調の補正方法を決定する色調補正決定手段３０４とを有している。また、図４の構成例においても、色調補正決定手段３０４で決定した色調の補正方法（補正のパラメータ）を反映したプロファイルを作成するプロファイル生成処理手段３０５がさらに設けられている。
【００５５】
次に、図３あるいは図４の色調補正処理部３００の処理動作について説明する。まず、色空間特性識別手段３０１は、画像データのＲＧＢ色空間特性を検出する。例えば、Ｗｉｎｄｏｗｓシステムの画像データフォーマットであるビットマップ・フォーマットでは、画像データのヘッダ情報の部分にＲＧＢデータの色特性を定義できるようになっている。従って、画像データのヘッダを検索した結果、ＲＧＢ特性が記述されていれば、その記述をＲＧＢ色空間特性として用いることができる。また、そのような記述がない場合には、モニタプロファイルをオペレーティングシステムのＡＰＩを用いて問い合わせることで、オペレータが使用している画像表示装置のＲＧＢ色空間特性を知ることができる。
【００５６】
即ち、色空間特性識別手段３０１では、ＲＧＢ画像データのヘッダ情報中に記述されたＲＧＢ特性を色空間特性として検出するか、あるいは、システムに登録されている画像表示装置のプロファイルを色空間特性として検出するようになっている。換言すれば、色空間特性識別手段３０１は、ＲＧＢ画像データの色空間特性として、画像入力信号がＲＧＢ画像データと画像属性情報とからなっている場合に画像属性情報中に記述されたＲＧＢ特性を用いるか、あるいは、画像表示装置に割り当てられているカラープロファイル情報を用いるようになっている。なお、画像表示装置に割り当てられているカラープロファイル情報を用いる場合には、図３，図４の色空間特性識別手段３０１，プロファイル生成処理手段３０５には、さらに、カラープロファイル情報が入力する。
【００５７】
そして、図３の構成例では、画像解析パラメータ算出手段３０２は、色空間特性識別手段３０１からＲＧＢ色空間特性のデータを受け取ると、この色空間特性を用いて画像解析用パラメータを求める。また、図４の構成例では、画像解析パラメータ選択手段３１２は、前記画像解析パラメータ記憶手段３１１に記憶されている少なくとも１つの画像解析用パラメータから色空間特性識別手段３０１によって識別された色空間特性に対応した画像解析用パラメータを選択する。
【００５８】
そして、色調補正決定手段３０４では、上述のように求められた（あるいは、選択された）画像解析用パラメータを用いて、色調の補正方法（補正のパラメータ）を決定し、その結果をプロファイル生成処理手段３０５に送る。そして、プロファイル生成処理手段３０５では、色調の補正方法（補正のパラメータ）を反映したプロファイル（入力プロファイル）を生成してコンピュータ１０３に送信する。
【００５９】
次に、色調の補正方法について説明する。デジタルカメラ等を用いて撮影する際に自動露出や自動ホワイトバランスが適切に動作しなかった場合に、デジタルカメラ等から画像データを送信して画像表示装置や画像出力装置に出力すると階調バランスの良くない画像になってしまうことが多い。そこで、このような階調バランスが良くない画像に対して、画像のヒストグラム（＝度数分布）を分析して自動的にダイナミックレンジを拡大したり、コントラストを変化させたり、赤、緑、青の色成分のバランスを調整したりする自動画像補正方法がいくつか提案されている。
【００６０】
図５は、代表的な色調補正方法の例を説明するためのフローチャートである。図５を参照すると、まず、処理の高速化のために画像データをサブサンプリングして縮小し画素数を減らす（ステップＳ１）。次に、画像データの各色成分ごとの階調値の度数分布（ヒストグラム）を求める（ステップＳ２）。すなわち、画像データが赤，緑，青の成分で表されている場合には、赤の階調値分布と、緑の階調値分布と、青の階調値分布とを求める。但し、度数分布の作成結果を記憶するための記憶装置に容量の制限がある場合には、いずれか一つの色成分についてのみ階調値の度数分布を求めるようにしてもよい。図６には、以上の処理で求めた輝度ヒストグラムの一例が示されている。
【００６１】
そして、ステップＳ２で求めたヒストグラムを解析することにより、画像データが適切な階調特性を有しているか否かを判断し、必要に応じて色調補正処理を行う（ステップＳ３，Ｓ４，Ｓ５）。一般的な色調補正処理の内容としては、ダイナミックレンジ補正、色バランス補正、トーンカーブ補正などがある。
【００６２】
ステップＳ３では、まず、ダイナミックレンジが適切に得られているかどうかを判定する。入力画像のダイナミックレンジを判定する場合、入力画像の最大値，最小値を用いる場合や、ノイズ成分を考慮して累積度数が１％のところを最暗点，９９％を最明点というように判定する例がある。そして、判定の結果、ダイナミックレンジが不足しているとみなされる場合には、レベル補正処理を行ってダイナミックレンジを拡大する。また、夜景画像などが必要以上に変換されないように、ダイナミックレンジの拡大幅に制限をつける例もある。
【００６３】
次に、ステップＳ４では、色かぶりを生じている画像を判別して色かぶりを除去するように色バランス（カラーバランス）の補正を行う。色かぶりの補正についても各種方式が提案されている。例えば、色かぶりは画像の比較的明るい部分で目立つため、ヒストグラムにおいて高輝度の画素についてＲＧＢの平均を求め、そのずれを補正するように変換する方法などが考えられる。この場合、どの程度の輝度までについて調べるか、あるいは、どの程度のずれの場合に色かぶりを起こしていると判定するかなどのパラメータが必要になる。
【００６４】
色バランス（カラーバランス）補正を行った後は、露出状況を判定し必要に応じて補正処理を行う。例えば、露出アンダーや露出オーバーの画像に対して、階調変換を施す場合には、画像データの輝度値の中央値を調べることにより露出オーバーかアンダーかを概ね判定することができる。その他の方式を用いることも可能である。他にも、撮影条件（逆光、フラッシュ撮影、夜間撮影など）を推定したり、被写体を推定したりするような処理まで備える場合もある。
【００６５】
また、露出状況を判定した結果、補正が必要な場合にはステップＳ５のようにトーンカーブ補正を行なうことができる。トーンカーブ補正は、補正用トーンカーブを作成して、図７のように単純なルックアップテーブルでガンマ補正を行うことで実現できる。
【００６６】
しかし、出力信号へ色変換する際に、表示画像と一致するように色変換処理が行われるようなシステムでは、同じ画像データでも、表示装置によって適正な階調であったり、露出アンダーになったりとさまざまである。従って、ＣＭＳシステムでの色調補正の判定処理は、表示システムに合わせて行うべきものである。このことは、色変換装置がカラーマネージメント・アーキテクチャを用いている場合には、入力プロファイルによって適切な解析用パラメータが変わってしまうことを意味する。例えば、色温度Ｄ５０、γ特性＝２．２のモニタ表示に一致するように色変換が行われる時に、適切な色調でプリント出力されている画像データをγ特性＝１．８のモニタ特性に従って色変換処理が行われてしまうと、露出オーバー気味の画像出力になってしまう。同様に、色温度Ｄ９３のモニタ表示に一致するような色変換処理が行われてしまうと、青みがかったプリント出力になってしまう。従って、色変換処理で用いられる入力ＲＧＢ色空間のγ特性や色温度に応じて、露出状況の判定パラメータや色かぶりの判定パラメータを変更しなければ、適切な色調補正が行われない。
【００６７】
そこで、本発明では、図８に示す例のように、色空間特性識別手段３０１で検出された色空間特性に基づいて画像解析用パラメータを決定するようにしている（ステップＳ６）。図８の例では、色かぶりの画像解析用パラメータと露出状況の画像解析用パラメータをＲＧＢ色空間特性によって可変とするようにしているが、勿論それ以外の画像解析用パラメータがあっても構わない。
【００６８】
先ず露出状況判定用の画像解析用パラメータを求める場合の例を以下に示す。色調補正処理において、ＲＧＢ色空間のγ特性が２．２の場合、３０＜中央値＜８０である時に露出アンダーとみなしてトーン変換を行うものとする。その場合、もしＲＧＢの色空間のγ特性が１．４の場合には、この閾値をかえることによって、正しく露出アンダーを判定する。すなわち、γ特性が１．４の場合には、
９＝２５５＊（３０／２５５）2.2/1.4
４１＝２５５＊（８０／２５５）2.2/1.4
となり、９＜中央値＜４１なら露出アンダーとみなすようにする。
【００６９】
すなわち、色空間特性識別手段３０１は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データのガンマ特性を読み取るようになっており、ＲＧＢ画像データのガンマ特性を参照してトーンカーブ補正用の画像解析パラメータが求められ、トーンカーブ補正用の画像解析パラメータを用いてトーンカーブ補正を行なうようになっている。
【００７０】
また、色かぶりを以下のように判定する。すなわち、
ΔＲ＝Ｒａｖｅ-Ｇａｖｅ
ΔＢ＝Ｂａｖｅ-Ｇａｖｅ
とした場合、ΔＲ＞Ｒｔｈ、ΔＢ＞Ｇｔｈの時に色かぶりしていると判定する。但し、Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅは、ヒストグラムの明るい方から１０％に存在するＲ，Ｇ，Ｂ各成分の平均値である。この場合も、Ｒｔｈ，ＧｔｈをＲＧＢ信号の色温度に応じて変更することで、より高精度に色かぶりを検出することが可能になる。
【００７１】
すなわち、色空間特性識別手段３０１は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データの色温度情報を読み取るようになっており、ＲＧＢ画像データの色温度情報を参照してカラーバランス補正用の画像解析パラメータが求められ、カラーバランス補正用の画像解析パラメータを用いてカラーバランス補正を行なうようになっている。
【００７２】
このように、本発明の画像処理装置では、ＲＧＢ色空間特性に従って色調補正ための画像解析用パラメータを決定するようにしているので、オペレータの画面上で適切な階調になっていれば、色調補正がかからず画面に忠実に出力され、そうでない場合には、色調補正が適用される。即ち、オペレータが画面上で色修正作業を行った場合には、その修正結果を忠実に反映した出力結果を得ることができる。
【００７３】
図９は、本発明の色調補正処理を説明するためのフローチャートである。図９を参照すると、まず、ＲＧＢ色空間特性を検出（識別）する（ステップＳ１０１）。次に、前述したように、ＲＧＢ色空間特性に従って画像解析用パラメータを決定する（ステップＳ１０２）。そして、色調補正のための処理を行なう。
【００７４】
色調補正のための処理では、まず、画像データから色成分ごとの度数分布（ヒストグラム）を計算する（ステップＳ１０３）。次に、入力された画像データとステップＳ１０２で決定した画像解析用パラメータを用いて、色調補正を行う方法を決定する（ステップＳ１０４）。そして、どのような色調補正を行うかが決まれば、その色調補正を実現するような色変換パラメータ（カラープロファイル）を生成（更新）する（ステップＳ１０５）。そして、色変換処理部２０１では、このカラープロファイル（入力プロファイル）に基づいて、画像データに対して色調の補正を行なう。
【００７５】
以上の方法により、オペレータが意図的に色調を補正した場合には、画像表示装置に合わせたプリント出力ができると同時に、色調補正処理が施されていない場合には、コントラストや色バランスなどが最適化された鮮明な画像を得られるようになる。
【００７６】
このように、本発明は、写真フィルムなどを読み取ることによって得られた画像データやデジタルカメラから得られた画像データなどの入力カラー画像信号を、カラープリンタなどの画像形成装置に送出する画像記録信号に変換する場合などに適用できる。
【００７７】
図１０は図１，図２の画像処理システムのハードウェア構成例を示す図である。図１０を参照すると、この画像処理システムは、例えばワークステーションやパーソナルコンピュータ等で実現され、全体を制御するＣＰＵ２１と、ＣＰＵ２１の制御プログラム等が記憶されているＲＯＭ２２と、ＣＰＵ２１のワークエリア等として使用されるＲＡＭ２３と、ハードディスク２４と、ＲＧＢ画像データを入力するためのデジタルカメラ１０１およびスキャナ１０２と、画像データを表示するためのディスプレイ１００と、カラープリンタなどの画像形成装置１０４とを有している。
【００７８】
ここで、ＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３，ハードディスク２４は、図１，図２のコンピュータ１０３としての機能を有している。なお、この場合、図１，図２の画像処理装置２００の機能も、ＣＰＵ２１にもたせることができる。すなわち、本発明の色調補正装置および色調補正方法としての機能をＣＰＵ２１にもたせることができる。
【００７９】
なお、ＣＰＵ２１におけるこのような色調補正装置および色調補正方法等としての機能は、例えばソフトウェアパッケージ(具体的には、ＣＤ−ＲＯＭ等の情報記録媒体)の形で提供することができ、このため、図１０の例では、情報記録媒体３０がセットさせるとき、これを駆動する媒体駆動装置３１が設けられている。
【００８０】
換言すれば、本発明の色調補正装置および色調補正方法は、イメージスキャナ，ディスプレイ等を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムのマイクロプロセッサに色調補正処理を実行させる装置構成においても実施することが可能である。この場合、本発明の色調補正処理（すなわち、ＲＧＢ画像データの色空間特性を識別し、ＲＧＢ画像データの色空間特性に対応した画像解析用パラメータを求め、該画像解析用パラメータを用いて前記ＲＧＢ画像データを解析し、解析結果に従って色調の補正方法を決定し、決定した補正方法に従ってＲＧＢ画像データの色調を補正する処理）を実行するためのプログラム(すなわち、ハードウェアシステムで用いられるプログラム)は、媒体に記録された状態で提供される。プログラムなどが記録される情報記録媒体としては、ＣＤ−ＲＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，フレキシブルディスク，メモリカード等が用いられても良い。媒体に記録されたプログラムは、ハードウェアシステムに組み込まれている記憶装置、例えばハードディスク２４にインストールされることにより、このプログラムを実行して、色調補正処理機能を実現することができる。
【００８１】
また、本発明の色調補正装置および色調補正方法を実現するためのプログラムは、媒体の形で提供されるのみならず、通信によって(例えばサーバによって)提供されるものであっても良い。
【００８２】
【発明の効果】
以上に説明したように、請求項１，請求項７，請求項１３，請求項１４記載の発明によれば、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、色空間特性識別手段で識別された色空間特性を用いて画像解析用パラメータを求める画像解析パラメータ算出手段と、画像解析パラメータ算出手段で算出された画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有しているので、オペレータが適切な色修正を行った画像データに対しては、オペレータの修正処理を反映した出力結果が得られ、また、不適切な色修正が行われている場合や、もともと色修正が行われていないような画像に対しては適切な色修正を行なうことができる。
【００８３】
また、請求項２，請求項８，請求項１３，請求項１４記載の発明によれば、少なくとも１つの画像解析用パラメータが記憶されている画像解析パラメータ記憶手段と、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記画像解析パラメータ記憶手段に記憶されている少なくとも１つの画像解析用パラメータから前記色空間特性識別手段によって識別された色空間特性に対応した画像解析用パラメータを選択する画像解析パラメータ選択手段と、前記画像解析パラメータ選択手段によって選択された画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有しているので、オペレータが適切な色修正を行った画像データに対しては、オペレータの修正処理を反映した出力結果が得られ、また、不適切な色修正が行われている場合や、もともと色修正が行われていないような画像に対しては適切な色修正を行なうことができる。
【００８４】
また、請求項３，請求項９記載の発明によれば、前記色空間特性識別手段は、前記ＲＧＢ画像データの色空間特性として、画像入力信号がＲＧＢ画像データと画像属性情報とからなっている場合に、画像属性情報中に記述されたＲＧＢ特性を用いるか、あるいは、画像表示装置に割り当てられているカラープロファイル情報を用いるので、オペレータが色修正処理を行っている操作環境（作業環境）を正しく取得することができる。
【００８５】
また、請求項４，請求項１０記載の発明によれば、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データの色温度情報を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データの色温度情報を参照して求められるカラーバランス補正用の画像解析パラメータであって、カラーバランス補正用の画像解析パラメータを用いてカラーバランス補正を行なうようになっているので、高精度な色かぶりの判定が可能となり、オペレータが色温度の異なる種々の表示装置を用いている場合にも、オペレータの操作環境に適した自動色調補正が可能となる。
【００８６】
また、請求項５，請求項１１記載の発明によれば、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データのガンマ特性を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データのガンマ特性を参照して求められるトーンカーブ補正用の画像解析パラメータであって、トーンカーブ補正用の画像解析パラメータを用いてトーンカーブ補正を行なうようになっているので、高精度な露出状況の判定が可能となり、オペレータがガンマ特性の異なる種々の表示装置を用いている場合にも、オペレータの操作環境に適した自動色調補正が可能となる。
【００８７】
また、請求項６，請求項１２記載の発明によれば、画像入力信号に対応する入力プロファイルと画像出力信号に対応する出力プロファイルとを用いて測色的に一致する色変換処理を実行する色変換処理手段と、色調補正決定手段によって決定された色調の補正方法に基づいて前記入力プロファイルを生成するプロファイル生成手段とを有しているので、自動色調補正が機能していても、オペレータが適切な色修正処理を行った場合には、オペレータの表示画面に忠実な出力を高速に得ることが可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像処理システムの一例を示す図である。
【図２】図１の画像処理システムにおけるコンピュータおよび画像処理装置の処理機能を説明するための図である。
【図３】画像処理装置の色調補正処理部の第１の構成例を示す図である。
【図４】画像処理装置の色調補正処理部の第２の構成例を示す図である。
【図５】代表的な色調補正方法の例を説明するためのフローチャートである。
【図６】輝度ヒストグラムの一例を示す図である。
【図７】ガンマ補正を行なうためのルックアップテーブルを示す図である。
【図８】本発明の色調補正方法を説明するためのフローチャートである。
【図９】本発明の色調補正方法を説明するためのフローチャートである。
【図１０】図１の画像処理システムのハードウェア構成例を示す図である。
【符号の説明】
１０１ デジタルカメラ
１０２ スキャナ
１０３ コンピュータ
１０４ 画像形成装置
２００ 画像処理装置
２０１ 色変換処理部
３００ 色調補正処理部
２０２ 入力プロファイル
２０３ 出力プロファイル
３０１ 色空間特性識別手段
３０２ 画像解析パラメータ算出手段
３０４ 色調補正決定手段
３０５ プロファイル生成処理手段
３１１ 画像解析パラメータ記憶手段
３１２ 画像解析パラメータ選択手段
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク
３０ 情報記憶媒体
３１ 媒体駆動装置
【発明の属する技術分野】
本発明は、画像処理システムおよび色調補正装置および色調補正方法および記録媒体に関する。
【０００２】
【従来の技術】
ホストコンピュータを中心とするマルチメディアシステムにおいては、入力装置と出力装置の間で、画像データの色合わせ処理を行うカラーマッチングシステム（ＣＭＳ）が開発されている。
【０００３】
代表的なＣＭＳの枠組であるＡｐｐｌｅ社のＣｏｌｏｒＳｙｎｃ（ＴＭ）は、入力装置に依存する色空間（Device Dependent Color Space）の画像信号を、装置に依存しない色空間（Device Independent Color Space）へ変換し、さらに、装置に依存しない色空間の画像信号を、出力装置に依存する色空間へ変換することで、システム上で共通のＣＭＳを実現している。
【０００４】
この変換処理のための変換特性を表すデータはプロファイルと呼ばれ、デバイスごとにホストコンピュータ内に用意され、変換の際に自動もしくは手動で選ばれたプロファイルの変換特性に応じて画像信号の色空間が変換される。
【０００５】
上記カラーマッチングシステムでは、装置に依存しない色空間を介して入力信号を出力信号に色変換するため測色的に一致した色再現を行うことができる。
【０００６】
一方、コンピュータの発達、通信ネットワークの整備、大容量の記憶媒体の出現などに加えて、スキャナやデジタルカメラなどが普及するに伴い、デジタルの写真画像データが急速に広まっており、写真画像データを高画質でプリントアウトしたいという要求が高まってきている。
【０００７】
また、写真フィルムの分野においても、アナログ出力ではなく、画像をデジタル化して画像処理や画像編集を行うことにより、さらに高画質で多機能なプリントアウトをしたいという要求が高まってきている。
【０００８】
このように写真画像データをプリントアウトする場合には、忠実な色再現よりもむしろ露出不足や逆光状態の画像に対しては、デジタル画像の特性を活かして好みに応じた色修正を施して再現したいという要求がある。
【０００９】
そこで、特開平１０−２０８０３４号では、ＲＧＢ画像データを解析して色調補正を行い、プリンタ・ドライバを通してプリンタに出力したり、ディスプレイ・ドライバを通してディスプレイ画面に表示したりするようにしている。ここで、色調補正としては、ＲＧＢ画像データの輝度分布を求め、その標準偏差に基づいて、変換元の輝度と変換先の輝度との対応関係を正比例状態から適度にＳ字状に歪めた状態に変更することにより、コントラストを自動補正する処理が提案されている。また、輝度分布の状態を基に、二値画像の判定やビジネスグラフなどを判定することにより、コントラストの補正処理を行わないようにするなどの工夫も行われている。
【００１０】
また、特開平１１−１６１７７２号では、入力画像の解析結果以外に、入力機器の特性及びオペレータによって指定される「被写体情報」や原稿の性質を参照して標準化変換用のパラメータを決定し、そのパラメータを用いて入力画像に適した標準化変換を施すようにしている。また、標準化画像に対し記録変換を行って出力する場合にも、同様に標準化画像の解析結果や各種画質管理情報に従って、記録変換用パラメータを決定して、そのパラメータを用いるようにしている。
【００１１】
また、特開平１０−１４５６２６号では、入力信号をデバイスに依存しない色信号に変換する際に用いる色変換パラメータを、カラー画像中の特徴色が所定の色になり、かつプリント出力の色再現特性が線形になるように、入力画像の特性と出力装置の特性を用いて決定するようにしている。
【００１２】
かかる従来の自動画像修正処理では、露出アンダー／露出オーバー／色バランスが崩れたデジタルカメラの画像やスキャナ画像を自動的に色調を整えて出力できるという効果を奏する。
【００１３】
【発明が解決しようとする課題】
しかしながら、特開平１０−２０８０３４号の技術では、プリンタ側で自動的に色調を調整してしまうために、逆にオペレータが画像修正ソフトなどで意図的に修正処理を加えてからプリンタに出力する場合には、オペレータの修正結果が正しく反映されないという問題があった。
【００１４】
オペレータが意図的に画像を修正する場合には、通常、画像表示装置上の表示画像を確認しながら修正を行う。従って、このような場合には、画面に表示されている画像が忠実に出力される方が、オペレータにとって望ましいはずである。即ち、意図的に補正された画像については、カラー・マネージメントのアーキテクチャを利用して色処理を行い出力する方が望ましいと考えられる。カラー・マネージメントを利用した色処理を行うためには、例えばＩＣＣ（Inter Color Consortium）で標準化されているデバイス・プロファイルをコンピュータに登録し、読み出して色変換するのが一般的である。
【００１５】
しかし、上記技術では、ＲＧＢ画像データだけからどのような色修正を施すべきかを判断しているため、前述のカラー・マネージメントと組み合わせると出力結果が保証できず、好ましい色修正結果が得られない場合が生じてしまう。
【００１６】
本来、写真画像データにとって好ましい色再現はディスプレイに依存しないはずなので、どのようなディスプレイを用いていようが、同じ画像は一定の色調で出力されるべきである。
【００１７】
また、特開平１１−１６１７７２号の技術では、入力機器や出力機器の特性を用いて色変換処理を行うため、カラー・マネージメントのアーキテクチャに対し色調を修正するような機能を持たせていると考えられる。しかし、入力ＲＧＢ画像だけを用いて画像解析を行っているため、標準化信号への色変換パラメータを決めるための推論アルゴリズムが非常に複雑になってしまう。また、特開平１１−１６１７７２号に示されている被写体分類や代表色抽出や露出状態解析を精度良く行うには、入力機器の特性が比較的一定である必要が生じる。
【００１８】
また、特開平１０−１４５６２６号の技術では、入力画像の特性と出力装置の特性を用いて色変換パラメータを決定するようにしているが、この場合にも特徴色の抽出を入力画像のみを用いて行っているため、入力画像の特性が大きく異なるような場合には、特徴色かどうかの判定が困難になってしまう。
【００１９】
かかる問題を解決する方法としては、入力ＲＧＢ画像を一旦Ｌａｂ信号やｓＲＧＢ信号などの標準信号に変換してから画像解析を行う手法が考えられるが、その場合には色変換処理が２パス処理となってＣＰＵ負荷の増大を招いてしまう。
【００２０】
本発明は、オペレータが適切な色修正を行った画像データに対しては、オペレータの修正処理を反映した出力結果が得られ、不適切な色修正が行われている場合や、もともと色修正が行われていないような画像に対しては適切な色修正が行われるようにすることの可能な画像処理システムおよび色調補正装置および色調補正方法および記録媒体を提供することを目的としている。
【００２１】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、ＲＧＢ画像データの色調補正を行う画像処理システムにおいて、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記色空間特性識別手段で識別された色空間特性を用いて画像解析用パラメータを求める画像解析パラメータ算出手段と、前記画像解析パラメータ算出手段で算出された画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していること特徴としている。
【００２２】
また、請求項２記載の発明は、ＲＧＢ画像データの色調補正を行う画像処理システムにおいて、少なくとも１つの画像解析用パラメータが記憶されている画像解析パラメータ記憶手段と、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記画像解析パラメータ記憶手段に記憶されている少なくとも１つの画像解析用パラメータから前記色空間特性識別手段によって識別された色空間特性に対応した画像解析用パラメータを選択する画像解析パラメータ選択手段と、前記画像解析パラメータ選択手段によって選択された画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していることを特徴としている。
【００２３】
また、請求項３記載の発明は、請求項１または請求項２記載の画像処理システムにおいて、前記色空間特性識別手段は、前記ＲＧＢ画像データの色空間特性として、画像入力信号がＲＧＢ画像データと画像属性情報とからなっている場合に画像属性情報中に記述されたＲＧＢ特性を用いるか、あるいは、画像表示装置に割り当てられているカラープロファイル情報を用いることを特徴としている。
【００２４】
また、請求項４記載の発明は、請求項１または請求項２記載の画像処理システムにおいて、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データの色温度情報を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データの色温度情報を参照して求められるカラーバランス補正用の画像解析パラメータであって、カラーバランス補正用の画像解析パラメータを用いてカラーバランス補正を行なうようになっていることを特徴としている。
【００２５】
また、請求項５記載の発明は、請求項１または請求項２記載の画像処理システムにおいて、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データのガンマ特性を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データのガンマ特性を参照して求められるトーンカーブ補正用の画像解析パラメータであって、トーンカーブ補正用の画像解析パラメータを用いてトーンカーブ補正を行なうようになっていることを特徴としている。
【００２６】
また、請求項６記載の発明は、請求項１または請求項２記載の画像処理システムにおいて、さらに、画像入力信号に対応する入力プロファイルと画像出力信号に対応する出力プロファイルとを用いて測色的に一致する色変換処理を実行する色変換処理手段と、色調補正決定手段によって決定された色調の補正方法に基づいて前記入力プロファイルを生成するプロファイル生成手段とを有していることを特徴としている。
【００２７】
また、請求項７記載の発明は、ＲＧＢ画像データの色調補正を行う色調補正装置において、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記色空間特性識別手段で識別された色空間特性を用いて画像解析用パラメータを求める画像解析パラメータ算出手段と、前記画像解析パラメータ算出手段で算出された画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していることを特徴としている。
【００２８】
また、請求項８記載の発明は、ＲＧＢ画像データの色調補正を行う色調補正装置において、少なくとも１つの画像解析用パラメータが記憶されている画像解析パラメータ記憶手段と、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記画像解析パラメータ記憶手段に記憶されている少なくとも１つの画像解析用パラメータから前記色空間特性識別手段によって識別された色空間特性に対応した画像解析用パラメータを選択する画像解析パラメータ選択手段と、前記画像解析パラメータ選択手段によって選択された画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していることを特徴としている。
【００２９】
また、請求項９記載の発明は、請求項７または請求項８記載の色調補正装置において、前記色空間特性識別手段は、前記ＲＧＢ画像データの色空間特性として、画像入力信号がＲＧＢ画像データと画像属性情報とからなっている場合に画像属性情報中に記述されたＲＧＢ特性を用いるか、あるいは、画像表示装置に割り当てられているカラープロファイル情報を用いることを特徴としている。
【００３０】
また、請求項１０記載の発明は、請求項７または請求項８記載の色調補正装置において、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データの色温度情報を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データの色温度情報を参照して求められるカラーバランス補正用の画像解析パラメータであって、カラーバランス補正用の画像解析パラメータを用いてカラーバランス補正を行なうようになっていることを特徴としている。
【００３１】
また、請求項１１記載の発明は、請求項７または請求項８記載の色調補正装置において、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データのガンマ特性を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データのガンマ特性を参照して求められるトーンカーブ補正用の画像解析パラメータであって、トーンカーブ補正用の画像解析パラメータを用いてトーンカーブ補正を行なうようになっていることを特徴としている。
【００３２】
また、請求項１２記載の発明は、請求項７または請求項８記載の色調補正装置において、さらに、画像入力信号に対応する入力プロファイルと画像出力信号に対応する出力プロファイルとを用いて測色的に一致する色変換処理を実行する色変換処理手段と、色調補正決定手段によって決定された色調の補正方法に基づいて前記入力プロファイルを生成するプロファイル生成手段とを有していることを特徴としている。
【００３３】
また、請求項１３記載の発明は、ＲＧＢ画像データの色調補正を行う色調補正方法において、ＲＧＢ画像データの色空間特性を識別し、ＲＧＢ画像データの色空間特性に対応した画像解析用パラメータを求め、該画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なうことを特徴としている。
【００３５】
また、請求項１４記載の発明は、ＲＧＢ画像データの色空間特性を識別し、ＲＧＢ画像データの色空間特性に対応した画像解析用パラメータを求め、該画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正を行なう処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３７】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００３８】
図１は本発明に係る画像処理システムの一例を示す図である。図１の例では、画像処理システムは、ディスプレイ１００と、デジタルカメラ１０１と、スキャナ１０２と、コンピュータ１０３と、画像形成装置１０４と、画像処理装置２００とを有している。
【００３９】
ここで、コンピュータ１０３には、各種の色修正アプリケーションやプリンタドライバ等のソフトウエアを実装可能となっている。また、デジタルカメラ１０１，スキャナ１０２は、処理される画像データを取り込むための入力装置である。また、ディスプレイ１００は、画像データを表示するための出力装置であり、画像形成装置１０４は、画像データをプリンタアウトするための出力装置である。なお、画像形成装置１０４としては、カラープリンタやカラーコピー機やカラーファクシミリ機を用いることができる。
【００４０】
図２は、図１の画像処理システムにおけるコンピュータ１０３および画像処理装置２００の処理機能を説明するための図である。図２を参照すると、コンピュータ１０３は、画像処理装置２００をコントロールする機能を有しているとともに、色変換処理部２０１としての機能を有している。
【００４１】
また、画像処理装置２００は、色調補正処理部３００としての機能を有している。
【００４２】
ここで、画像処理装置２００の色調補正処理部３００は、色調の補正方法を決定する機能を有し、色調の補正処理は、実際には、色調補正処理部３００で決定された色調の補正方法に従って、色変換処理部２０１で行なわれるようになっている。すなわち、図２の例では、色変換処理部２０１は、色調補正手段としての機能と、色変換処理機能とを有しているものとする。換言すれば、図２の例では、画像処理装置２００の色調補正処理部３００とコンピュータ１０３の色変換処理部２０１とによって、色調補正装置が構成されている。
【００４３】
また、色変換処理部２０１の色変換処理機能に着目するとき、色変換処理部２０１は、カラーマネージメントに対応した色変換システムであり、入力プロファイル２０２および出力プロファイル２０３を使用して色変換処理（さらには、入力プロファイル２０２を使用して、色調補正処理）を行うようになっている。例えば、ディスプレイ１００に表示されている画像データをプリンタ１０４に出力する場合には、ディスプレイ１００の色特性を記述したデバイス・プロファイル（入力プロファイル）とプリンタ１０４の色特性を記述したデバイス・プロファイル（出力プロファイル）を用いて色変換を実行することになる。デバイス・プロファイルとしては何でも構わないが、ＩＣＣ（Inter Color Consortium）プロファイルが特に有名である。
【００４４】
このような構成では、コンピュータ１０３は、オペレータから出力命令を受け取ると、例えばデジタルカメラ１０１によって画像を撮像するなどして取り込まれた画像データ（ＲＧＢ画像データ）や画像修正ソフトを用いて色調補正を施した画像データ（ＲＧＢ画像データ）などを画像処理装置２００に送信する。画像処理装置２００は、コンピュータ１０３から送信された画像データ（ＲＧＢ画像データ）を色調補正処理部３００にて分析し、色調補正を行うのと同等の効果を有する新たなプロファイル（入力プロファイル）を生成する（入力プロファイルを更新する）。すなわち、後述のように、色調の補正方法（補正のパラメータ）を反映したプロファイルを作成する。このようにして生成した（更新された）入力プロファイルはコンピュータ１０３へ送信される。
【００４５】
コンピュータ１０３は、画像処理装置２００から入力プロファイルを受け取ると、色変換処理部２０１において、色調の補正処理および色変換処理を行なう。即ち、コンピュータ１０３が画像データ（ＲＧＢ画像データ）を受信すると、色変換処理部２０１は、受信した画像データ（ＲＧＢ画像データ）に対して色調補正を行ない、画像形成装置（出力装置）１０４が受信可能な色信号（例えば、ＣＭＹＫ）に変換して、画像形成装置（出力装置）１０４へ送信する。これにより、画像形成装置１０４では、印刷を行なうことができる。
【００４６】
上述のように、本発明の画像処理装置２００では、画像解析結果に応じて入力プロファイルを更新するようにしているため、自動画像補正処理を行うことによるオーバーヘッドを少なくすることができる。
【００４７】
なお、図１，図２の例では、画像処理装置２００は、コンピュータ１０３，画像形成装置１０４とは別個のものとして設けられているが、コンピュータ１０３内に実装されても良いし、あるいは画像形成装置１０４内に実装されても良い。あるいは、画像形成装置１０４とは独立に設けられたプリンタ制御装置内に実装されても良い。
【００４８】
画像処理装置２００を画像形成装置１０４内に実装する場合には、色調補正処理機能を画像形成装置１０４にもたせ、画像形成装置１０４において色調の補正が行なわれるようにすることができる。また、画像処理装置２００を画像形成装置１０４とは独立に設けられたプリンタ制御装置内に実装する場合には、プリンタ制御装置において色調を補正してから画像データを画像形成装置１０４に送ることができる。
【００４９】
また、本発明の画像処理装置２００は、ソフトウエアで実現することも可能である。例えば、コンピュータ内のプログラムとして存在するプリンタ・ドライバで、画像処理装置２００の機能を実現することもできる。
【００５０】
図３は画像処理装置２００の色調補正処理部３００の第１の構成例を示す図である。図３を参照すると、色調補正処理部３００は、赤，緑，青色成分で構成されるＲＧＢ画像データの色空間特性を識別する色空間特性識別手段３０１と、色空間特性識別手段３０１で識別された色空間特性を用いて画像解析用パラメータを求める画像解析パラメータ算出手段３０２と、画像解析パラメータ算出手段３０２で算出された画像解析用パラメータを用いてＲＧＢ画像データを解析して色調の補正方法を決定する色調補正決定手段３０４とを有している。
【００５１】
なお、この色調補正処理部３００に入力されるＲＧＢ画像データは、より具体的にはＲＧＢ（緑，青，赤）の階調データとなっており、また、画像フォーマットはビットマップ形式で構成されている。また、各色成分の階調数は８ｂｉｔ＝２５６階調が一般的であるが、６４あるいは５１２など他の階調数の場合でも構わない。
【００５２】
また、図３の色調補正処理部３００には、前述したように入力プロファイルを更新するために、色調補正決定手段３０４で決定した色調の補正方法（補正のパラメータ）を反映したプロファイルを作成するプロファイル生成処理手段３０５がさらに設けられている。
【００５３】
図３の構成例では、無数のＲＧＢ色空間特性に対応できるように、解析用パラメータを演算処理で求めるようにしているが、ＲＧＢ色空間特性が限定されるような場合には、予め複数のパラメータセットを用意しておき、それをＲＧＢ色空間特性に従って選択的に用いるようにしてもよい。
【００５４】
図４は色調補正処理部３００の第２の構成例を示す図であり、この第２の構成例では、予め複数のパラメータセットを用意しておき、それをＲＧＢ色空間特性に従って選択的に用いるようになっている。すなわち、図４を参照すると、色調補正処理部３００は、少なくとも１つの画像解析用パラメータが記憶されている画像解析パラメータ記憶手段３１１と、赤，緑，青色成分で構成されるＲＧＢ画像データの色空間特性を識別する色空間特性識別手段３０１と、画像解析パラメータ記憶手段３１１に記憶されている少なくとも１つの画像解析用パラメータから色空間特性識別手段３０１によって識別された色空間特性に対応した画像解析用パラメータを選択する画像解析パラメータ選択手段３１２と、画像解析パラメータ選択手段３１２によって選択された画像解析用パラメータを用いてＲＧＢ画像データを解析して色調の補正方法を決定する色調補正決定手段３０４とを有している。また、図４の構成例においても、色調補正決定手段３０４で決定した色調の補正方法（補正のパラメータ）を反映したプロファイルを作成するプロファイル生成処理手段３０５がさらに設けられている。
【００５５】
次に、図３あるいは図４の色調補正処理部３００の処理動作について説明する。まず、色空間特性識別手段３０１は、画像データのＲＧＢ色空間特性を検出する。例えば、Ｗｉｎｄｏｗｓシステムの画像データフォーマットであるビットマップ・フォーマットでは、画像データのヘッダ情報の部分にＲＧＢデータの色特性を定義できるようになっている。従って、画像データのヘッダを検索した結果、ＲＧＢ特性が記述されていれば、その記述をＲＧＢ色空間特性として用いることができる。また、そのような記述がない場合には、モニタプロファイルをオペレーティングシステムのＡＰＩを用いて問い合わせることで、オペレータが使用している画像表示装置のＲＧＢ色空間特性を知ることができる。
【００５６】
即ち、色空間特性識別手段３０１では、ＲＧＢ画像データのヘッダ情報中に記述されたＲＧＢ特性を色空間特性として検出するか、あるいは、システムに登録されている画像表示装置のプロファイルを色空間特性として検出するようになっている。換言すれば、色空間特性識別手段３０１は、ＲＧＢ画像データの色空間特性として、画像入力信号がＲＧＢ画像データと画像属性情報とからなっている場合に画像属性情報中に記述されたＲＧＢ特性を用いるか、あるいは、画像表示装置に割り当てられているカラープロファイル情報を用いるようになっている。なお、画像表示装置に割り当てられているカラープロファイル情報を用いる場合には、図３，図４の色空間特性識別手段３０１，プロファイル生成処理手段３０５には、さらに、カラープロファイル情報が入力する。
【００５７】
そして、図３の構成例では、画像解析パラメータ算出手段３０２は、色空間特性識別手段３０１からＲＧＢ色空間特性のデータを受け取ると、この色空間特性を用いて画像解析用パラメータを求める。また、図４の構成例では、画像解析パラメータ選択手段３１２は、前記画像解析パラメータ記憶手段３１１に記憶されている少なくとも１つの画像解析用パラメータから色空間特性識別手段３０１によって識別された色空間特性に対応した画像解析用パラメータを選択する。
【００５８】
そして、色調補正決定手段３０４では、上述のように求められた（あるいは、選択された）画像解析用パラメータを用いて、色調の補正方法（補正のパラメータ）を決定し、その結果をプロファイル生成処理手段３０５に送る。そして、プロファイル生成処理手段３０５では、色調の補正方法（補正のパラメータ）を反映したプロファイル（入力プロファイル）を生成してコンピュータ１０３に送信する。
【００５９】
次に、色調の補正方法について説明する。デジタルカメラ等を用いて撮影する際に自動露出や自動ホワイトバランスが適切に動作しなかった場合に、デジタルカメラ等から画像データを送信して画像表示装置や画像出力装置に出力すると階調バランスの良くない画像になってしまうことが多い。そこで、このような階調バランスが良くない画像に対して、画像のヒストグラム（＝度数分布）を分析して自動的にダイナミックレンジを拡大したり、コントラストを変化させたり、赤、緑、青の色成分のバランスを調整したりする自動画像補正方法がいくつか提案されている。
【００６０】
図５は、代表的な色調補正方法の例を説明するためのフローチャートである。図５を参照すると、まず、処理の高速化のために画像データをサブサンプリングして縮小し画素数を減らす（ステップＳ１）。次に、画像データの各色成分ごとの階調値の度数分布（ヒストグラム）を求める（ステップＳ２）。すなわち、画像データが赤，緑，青の成分で表されている場合には、赤の階調値分布と、緑の階調値分布と、青の階調値分布とを求める。但し、度数分布の作成結果を記憶するための記憶装置に容量の制限がある場合には、いずれか一つの色成分についてのみ階調値の度数分布を求めるようにしてもよい。図６には、以上の処理で求めた輝度ヒストグラムの一例が示されている。
【００６１】
そして、ステップＳ２で求めたヒストグラムを解析することにより、画像データが適切な階調特性を有しているか否かを判断し、必要に応じて色調補正処理を行う（ステップＳ３，Ｓ４，Ｓ５）。一般的な色調補正処理の内容としては、ダイナミックレンジ補正、色バランス補正、トーンカーブ補正などがある。
【００６２】
ステップＳ３では、まず、ダイナミックレンジが適切に得られているかどうかを判定する。入力画像のダイナミックレンジを判定する場合、入力画像の最大値，最小値を用いる場合や、ノイズ成分を考慮して累積度数が１％のところを最暗点，９９％を最明点というように判定する例がある。そして、判定の結果、ダイナミックレンジが不足しているとみなされる場合には、レベル補正処理を行ってダイナミックレンジを拡大する。また、夜景画像などが必要以上に変換されないように、ダイナミックレンジの拡大幅に制限をつける例もある。
【００６３】
次に、ステップＳ４では、色かぶりを生じている画像を判別して色かぶりを除去するように色バランス（カラーバランス）の補正を行う。色かぶりの補正についても各種方式が提案されている。例えば、色かぶりは画像の比較的明るい部分で目立つため、ヒストグラムにおいて高輝度の画素についてＲＧＢの平均を求め、そのずれを補正するように変換する方法などが考えられる。この場合、どの程度の輝度までについて調べるか、あるいは、どの程度のずれの場合に色かぶりを起こしていると判定するかなどのパラメータが必要になる。
【００６４】
色バランス（カラーバランス）補正を行った後は、露出状況を判定し必要に応じて補正処理を行う。例えば、露出アンダーや露出オーバーの画像に対して、階調変換を施す場合には、画像データの輝度値の中央値を調べることにより露出オーバーかアンダーかを概ね判定することができる。その他の方式を用いることも可能である。他にも、撮影条件（逆光、フラッシュ撮影、夜間撮影など）を推定したり、被写体を推定したりするような処理まで備える場合もある。
【００６５】
また、露出状況を判定した結果、補正が必要な場合にはステップＳ５のようにトーンカーブ補正を行なうことができる。トーンカーブ補正は、補正用トーンカーブを作成して、図７のように単純なルックアップテーブルでガンマ補正を行うことで実現できる。
【００６６】
しかし、出力信号へ色変換する際に、表示画像と一致するように色変換処理が行われるようなシステムでは、同じ画像データでも、表示装置によって適正な階調であったり、露出アンダーになったりとさまざまである。従って、ＣＭＳシステムでの色調補正の判定処理は、表示システムに合わせて行うべきものである。このことは、色変換装置がカラーマネージメント・アーキテクチャを用いている場合には、入力プロファイルによって適切な解析用パラメータが変わってしまうことを意味する。例えば、色温度Ｄ５０、γ特性＝２．２のモニタ表示に一致するように色変換が行われる時に、適切な色調でプリント出力されている画像データをγ特性＝１．８のモニタ特性に従って色変換処理が行われてしまうと、露出オーバー気味の画像出力になってしまう。同様に、色温度Ｄ９３のモニタ表示に一致するような色変換処理が行われてしまうと、青みがかったプリント出力になってしまう。従って、色変換処理で用いられる入力ＲＧＢ色空間のγ特性や色温度に応じて、露出状況の判定パラメータや色かぶりの判定パラメータを変更しなければ、適切な色調補正が行われない。
【００６７】
そこで、本発明では、図８に示す例のように、色空間特性識別手段３０１で検出された色空間特性に基づいて画像解析用パラメータを決定するようにしている（ステップＳ６）。図８の例では、色かぶりの画像解析用パラメータと露出状況の画像解析用パラメータをＲＧＢ色空間特性によって可変とするようにしているが、勿論それ以外の画像解析用パラメータがあっても構わない。
【００６８】
先ず露出状況判定用の画像解析用パラメータを求める場合の例を以下に示す。色調補正処理において、ＲＧＢ色空間のγ特性が２．２の場合、３０＜中央値＜８０である時に露出アンダーとみなしてトーン変換を行うものとする。その場合、もしＲＧＢの色空間のγ特性が１．４の場合には、この閾値をかえることによって、正しく露出アンダーを判定する。すなわち、γ特性が１．４の場合には、
９＝２５５＊（３０／２５５）2.2/1.4
４１＝２５５＊（８０／２５５）2.2/1.4
となり、９＜中央値＜４１なら露出アンダーとみなすようにする。
【００６９】
すなわち、色空間特性識別手段３０１は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データのガンマ特性を読み取るようになっており、ＲＧＢ画像データのガンマ特性を参照してトーンカーブ補正用の画像解析パラメータが求められ、トーンカーブ補正用の画像解析パラメータを用いてトーンカーブ補正を行なうようになっている。
【００７０】
また、色かぶりを以下のように判定する。すなわち、
ΔＲ＝Ｒａｖｅ-Ｇａｖｅ
ΔＢ＝Ｂａｖｅ-Ｇａｖｅ
とした場合、ΔＲ＞Ｒｔｈ、ΔＢ＞Ｇｔｈの時に色かぶりしていると判定する。但し、Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅは、ヒストグラムの明るい方から１０％に存在するＲ，Ｇ，Ｂ各成分の平均値である。この場合も、Ｒｔｈ，ＧｔｈをＲＧＢ信号の色温度に応じて変更することで、より高精度に色かぶりを検出することが可能になる。
【００７１】
すなわち、色空間特性識別手段３０１は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データの色温度情報を読み取るようになっており、ＲＧＢ画像データの色温度情報を参照してカラーバランス補正用の画像解析パラメータが求められ、カラーバランス補正用の画像解析パラメータを用いてカラーバランス補正を行なうようになっている。
【００７２】
このように、本発明の画像処理装置では、ＲＧＢ色空間特性に従って色調補正ための画像解析用パラメータを決定するようにしているので、オペレータの画面上で適切な階調になっていれば、色調補正がかからず画面に忠実に出力され、そうでない場合には、色調補正が適用される。即ち、オペレータが画面上で色修正作業を行った場合には、その修正結果を忠実に反映した出力結果を得ることができる。
【００７３】
図９は、本発明の色調補正処理を説明するためのフローチャートである。図９を参照すると、まず、ＲＧＢ色空間特性を検出（識別）する（ステップＳ１０１）。次に、前述したように、ＲＧＢ色空間特性に従って画像解析用パラメータを決定する（ステップＳ１０２）。そして、色調補正のための処理を行なう。
【００７４】
色調補正のための処理では、まず、画像データから色成分ごとの度数分布（ヒストグラム）を計算する（ステップＳ１０３）。次に、入力された画像データとステップＳ１０２で決定した画像解析用パラメータを用いて、色調補正を行う方法を決定する（ステップＳ１０４）。そして、どのような色調補正を行うかが決まれば、その色調補正を実現するような色変換パラメータ（カラープロファイル）を生成（更新）する（ステップＳ１０５）。そして、色変換処理部２０１では、このカラープロファイル（入力プロファイル）に基づいて、画像データに対して色調の補正を行なう。
【００７５】
以上の方法により、オペレータが意図的に色調を補正した場合には、画像表示装置に合わせたプリント出力ができると同時に、色調補正処理が施されていない場合には、コントラストや色バランスなどが最適化された鮮明な画像を得られるようになる。
【００７６】
このように、本発明は、写真フィルムなどを読み取ることによって得られた画像データやデジタルカメラから得られた画像データなどの入力カラー画像信号を、カラープリンタなどの画像形成装置に送出する画像記録信号に変換する場合などに適用できる。
【００７７】
図１０は図１，図２の画像処理システムのハードウェア構成例を示す図である。図１０を参照すると、この画像処理システムは、例えばワークステーションやパーソナルコンピュータ等で実現され、全体を制御するＣＰＵ２１と、ＣＰＵ２１の制御プログラム等が記憶されているＲＯＭ２２と、ＣＰＵ２１のワークエリア等として使用されるＲＡＭ２３と、ハードディスク２４と、ＲＧＢ画像データを入力するためのデジタルカメラ１０１およびスキャナ１０２と、画像データを表示するためのディスプレイ１００と、カラープリンタなどの画像形成装置１０４とを有している。
【００７８】
ここで、ＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３，ハードディスク２４は、図１，図２のコンピュータ１０３としての機能を有している。なお、この場合、図１，図２の画像処理装置２００の機能も、ＣＰＵ２１にもたせることができる。すなわち、本発明の色調補正装置および色調補正方法としての機能をＣＰＵ２１にもたせることができる。
【００７９】
なお、ＣＰＵ２１におけるこのような色調補正装置および色調補正方法等としての機能は、例えばソフトウェアパッケージ(具体的には、ＣＤ−ＲＯＭ等の情報記録媒体)の形で提供することができ、このため、図１０の例では、情報記録媒体３０がセットさせるとき、これを駆動する媒体駆動装置３１が設けられている。
【００８０】
換言すれば、本発明の色調補正装置および色調補正方法は、イメージスキャナ，ディスプレイ等を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムのマイクロプロセッサに色調補正処理を実行させる装置構成においても実施することが可能である。この場合、本発明の色調補正処理（すなわち、ＲＧＢ画像データの色空間特性を識別し、ＲＧＢ画像データの色空間特性に対応した画像解析用パラメータを求め、該画像解析用パラメータを用いて前記ＲＧＢ画像データを解析し、解析結果に従って色調の補正方法を決定し、決定した補正方法に従ってＲＧＢ画像データの色調を補正する処理）を実行するためのプログラム(すなわち、ハードウェアシステムで用いられるプログラム)は、媒体に記録された状態で提供される。プログラムなどが記録される情報記録媒体としては、ＣＤ−ＲＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，フレキシブルディスク，メモリカード等が用いられても良い。媒体に記録されたプログラムは、ハードウェアシステムに組み込まれている記憶装置、例えばハードディスク２４にインストールされることにより、このプログラムを実行して、色調補正処理機能を実現することができる。
【００８１】
また、本発明の色調補正装置および色調補正方法を実現するためのプログラムは、媒体の形で提供されるのみならず、通信によって(例えばサーバによって)提供されるものであっても良い。
【００８２】
【発明の効果】
以上に説明したように、請求項１，請求項７，請求項１３，請求項１４記載の発明によれば、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、色空間特性識別手段で識別された色空間特性を用いて画像解析用パラメータを求める画像解析パラメータ算出手段と、画像解析パラメータ算出手段で算出された画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有しているので、オペレータが適切な色修正を行った画像データに対しては、オペレータの修正処理を反映した出力結果が得られ、また、不適切な色修正が行われている場合や、もともと色修正が行われていないような画像に対しては適切な色修正を行なうことができる。
【００８３】
また、請求項２，請求項８，請求項１３，請求項１４記載の発明によれば、少なくとも１つの画像解析用パラメータが記憶されている画像解析パラメータ記憶手段と、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記画像解析パラメータ記憶手段に記憶されている少なくとも１つの画像解析用パラメータから前記色空間特性識別手段によって識別された色空間特性に対応した画像解析用パラメータを選択する画像解析パラメータ選択手段と、前記画像解析パラメータ選択手段によって選択された画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有しているので、オペレータが適切な色修正を行った画像データに対しては、オペレータの修正処理を反映した出力結果が得られ、また、不適切な色修正が行われている場合や、もともと色修正が行われていないような画像に対しては適切な色修正を行なうことができる。
【００８４】
また、請求項３，請求項９記載の発明によれば、前記色空間特性識別手段は、前記ＲＧＢ画像データの色空間特性として、画像入力信号がＲＧＢ画像データと画像属性情報とからなっている場合に、画像属性情報中に記述されたＲＧＢ特性を用いるか、あるいは、画像表示装置に割り当てられているカラープロファイル情報を用いるので、オペレータが色修正処理を行っている操作環境（作業環境）を正しく取得することができる。
【００８５】
また、請求項４，請求項１０記載の発明によれば、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データの色温度情報を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データの色温度情報を参照して求められるカラーバランス補正用の画像解析パラメータであって、カラーバランス補正用の画像解析パラメータを用いてカラーバランス補正を行なうようになっているので、高精度な色かぶりの判定が可能となり、オペレータが色温度の異なる種々の表示装置を用いている場合にも、オペレータの操作環境に適した自動色調補正が可能となる。
【００８６】
また、請求項５，請求項１１記載の発明によれば、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データのガンマ特性を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データのガンマ特性を参照して求められるトーンカーブ補正用の画像解析パラメータであって、トーンカーブ補正用の画像解析パラメータを用いてトーンカーブ補正を行なうようになっているので、高精度な露出状況の判定が可能となり、オペレータがガンマ特性の異なる種々の表示装置を用いている場合にも、オペレータの操作環境に適した自動色調補正が可能となる。
【００８７】
また、請求項６，請求項１２記載の発明によれば、画像入力信号に対応する入力プロファイルと画像出力信号に対応する出力プロファイルとを用いて測色的に一致する色変換処理を実行する色変換処理手段と、色調補正決定手段によって決定された色調の補正方法に基づいて前記入力プロファイルを生成するプロファイル生成手段とを有しているので、自動色調補正が機能していても、オペレータが適切な色修正処理を行った場合には、オペレータの表示画面に忠実な出力を高速に得ることが可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像処理システムの一例を示す図である。
【図２】図１の画像処理システムにおけるコンピュータおよび画像処理装置の処理機能を説明するための図である。
【図３】画像処理装置の色調補正処理部の第１の構成例を示す図である。
【図４】画像処理装置の色調補正処理部の第２の構成例を示す図である。
【図５】代表的な色調補正方法の例を説明するためのフローチャートである。
【図６】輝度ヒストグラムの一例を示す図である。
【図７】ガンマ補正を行なうためのルックアップテーブルを示す図である。
【図８】本発明の色調補正方法を説明するためのフローチャートである。
【図９】本発明の色調補正方法を説明するためのフローチャートである。
【図１０】図１の画像処理システムのハードウェア構成例を示す図である。
【符号の説明】
１０１ デジタルカメラ
１０２ スキャナ
１０３ コンピュータ
１０４ 画像形成装置
２００ 画像処理装置
２０１ 色変換処理部
３００ 色調補正処理部
２０２ 入力プロファイル
２０３ 出力プロファイル
３０１ 色空間特性識別手段
３０２ 画像解析パラメータ算出手段
３０４ 色調補正決定手段
３０５ プロファイル生成処理手段
３１１ 画像解析パラメータ記憶手段
３１２ 画像解析パラメータ選択手段
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク
３０ 情報記憶媒体
３１ 媒体駆動装置
Claims (14)
- ＲＧＢ画像データの色調補正を行う画像処理システムにおいて、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記色空間特性識別手段で識別された色空間特性を用いて画像解析用パラメータを求める画像解析パラメータ算出手段と、前記画像解析パラメータ算出手段で算出された画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していることを特徴とする画像処理システム。
- ＲＧＢ画像データの色調補正を行う画像処理システムにおいて、少なくとも１つの画像解析用パラメータが記憶されている画像解析パラメータ記憶手段と、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記画像解析パラメータ記憶手段に記憶されている少なくとも１つの画像解析用パラメータから前記色空間特性識別手段によって識別された色空間特性に対応した画像解析用パラメータを選択する画像解析パラメータ選択手段と、前記画像解析パラメータ選択手段によって選択された画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していることを特徴とする画像処理システム。
- 請求項１または請求項２記載の画像処理システムにおいて、前記色空間特性識別手段は、前記ＲＧＢ画像データの色空間特性として、画像入力信号がＲＧＢ画像データと画像属性情報とからなっている場合に画像属性情報中に記述されたＲＧＢ特性を用いるか、あるいは、画像表示装置に割り当てられているカラープロファイル情報を用いることを特徴とする画像処理システム。
- 請求項１または請求項２記載の画像処理システムにおいて、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データの色温度情報を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データの色温度情報を参照して求められるカラーバランス補正用の画像解析パラメータであって、カラーバランス補正用の画像解析パラメータを用いてカラーバランス補正を行なうようになっていることを特徴とする画像処理システム。
- 請求項１または請求項２記載の画像処理システムにおいて、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データのガンマ特性を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データのガンマ特性を参照して求められるトーンカーブ補正用の画像解析パラメータであって、トーンカーブ補正用の画像解析パラメータを用いてトーンカーブ補正を行なうようになっていることを特徴とする画像処理システム。
- 請求項１または請求項２記載の画像処理システムにおいて、さらに、画像入力信号に対応する入力プロファイルと画像出力信号に対応する出力プロファイルとを用いて測色的に一致する色変換処理を実行する色変換処理手段と、色調補正決定手段によって決定された色調の補正方法に基づいて前記入力プロファイルを生成するプロファイル生成手段とを有していることを特徴とする画像処理システム。
- ＲＧＢ画像データの色調補正を行う色調補正装置において、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記色空間特性識別手段で識別された色空間特性を用いて画像解析用パラメータを求める画像解析パラメータ算出手段と、前記画像解析パラメータ算出手段で算出された画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していることを特徴とする色調補正装置。
- ＲＧＢ画像データの色調補正を行う色調補正装置において、少なくとも１つの画像解析用パラメータが記憶されている画像解析パラメータ記憶手段と、ＲＧＢ画像データの色空間特性を識別する色空間特性識別手段と、前記画像解析パラメータ記憶手段に記憶されている少なくとも１つの画像解析用パラメータから前記色空間特性識別手段によって識別された色空間特性に対応した画像解析用パラメータを選択する画像解析パラメータ選択手段と、前記画像解析パラメータ選択手段によって選択された画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なう色調補正手段とを有していることを特徴とする色調補正装置。
- 請求項７または請求項８記載の色調補正装置において、前記色空間特性識別手段は、前記ＲＧＢ画像データの色空間特性として、画像入力信号がＲＧＢ画像データと画像属性情報とからなっている場合に画像属性情報中に記述されたＲＧＢ特性を用いるか、あるいは、画像表示装置に割り当てられているカラープロファイル情報を用いることを特徴とする色調補正装置。
- 請求項７または請求項８記載の色調補正装置において、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データの色温度情報を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データの色温度情報を参照して求められるカラーバランス補正用の画像解析パラメータであって、カラーバランス補正用の画像解析パラメータを用いてカラーバランス補正を行なうようになっていることを特徴とする色調補正装置。
- 請求項７または請求項８記載の色調補正装置において、前記色空間特性識別手段は、ＲＧＢ画像データの色空間特性からＲＧＢ画像データのガンマ特性を読み取るようになっており、前記画像解析用パラメータは、ＲＧＢ画像データのガンマ特性を参照して求められるトーンカーブ補正用の画像解析パラメータであって、トーンカーブ補正用の画像解析パラメータを用いてトーンカーブ補正を行なうようになっていることを特徴とする色調補正装置。
- 請求項７または請求項８記載の色調補正装置において、さらに、画像入力信号に対応する入力プロファイルと画像出力信号に対応する出力プロファイルとを用いて測色的に一致する色変換処理を実行する色変換処理手段と、色調補正決定手段によって決定された色調の補正方法に基づいて前記入力プロファイルを生成するプロファイル生成手段とを有していることを特徴とする色調補正装置。
- ＲＧＢ画像データの色調補正を行う色調補正方法において、ＲＧＢ画像データの色空間特性を識別し、ＲＧＢ画像データの色空間特性に対応した画像解析用パラメータを求め、該画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正処理を行なうことを特徴とする色調補正方法。
- ＲＧＢ画像データの色空間特性を識別し、ＲＧＢ画像データの色空間特性に対応した画像解析用パラメータを求め、該画像解析用パラメータ画像解析用パラメータに基づき前記ＲＧＢ画像データを解析して、前記ＲＧＢ画像データが色調補正を必要とするものか否かの判定を行ない、前記ＲＧＢ画像データが色調補正を必要とすると判定したときには、前記ＲＧＢ画像データの色調の補正を行なう処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000095252A JP3945960B2 (ja) | 2000-03-29 | 2000-03-29 | 画像処理システムおよび色調補正装置および色調補正方法および記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000095252A JP3945960B2 (ja) | 2000-03-29 | 2000-03-29 | 画像処理システムおよび色調補正装置および色調補正方法および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001285660A JP2001285660A (ja) | 2001-10-12 |
| JP3945960B2 true JP3945960B2 (ja) | 2007-07-18 |
Family
ID=18610178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000095252A Expired - Fee Related JP3945960B2 (ja) | 2000-03-29 | 2000-03-29 | 画像処理システムおよび色調補正装置および色調補正方法および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3945960B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4151387B2 (ja) * | 2002-11-15 | 2008-09-17 | セイコーエプソン株式会社 | 被写体の明るさに応じた画質の自動調整 |
| KR100943274B1 (ko) * | 2002-12-20 | 2010-02-23 | 삼성전자주식회사 | 색신호 보정장치 및 그 방법, 및 그것을 이용한영상신호처리 시스템 및 그 방법 |
-
2000
- 2000-03-29 JP JP2000095252A patent/JP3945960B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001285660A (ja) | 2001-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3520859B2 (ja) | 画像ファイルの出力画像調整 | |
| JP4666090B2 (ja) | 画像データの出力画像調整 | |
| US7932930B2 (en) | Brightness correction for image | |
| US20030058349A1 (en) | Method, apparatus, and program for image processing | |
| JP2002344989A (ja) | 画像ファイルの出力画像調整 | |
| US20200007717A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP4379362B2 (ja) | 画像処理装置、および、階調再現方法 | |
| WO2002065757A1 (fr) | Procede et appareil de reglage d'une image de sortie a partir de donnees d'image | |
| US20050200869A1 (en) | Image data color conversion device | |
| US20040141069A1 (en) | Adjustment for output image of image data | |
| US7301566B2 (en) | Adjustment for output image of image data | |
| JP4150490B2 (ja) | 画像処理システムおよび画像処理方法および記録媒体 | |
| JP2006203555A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| JP2001358957A (ja) | 画像処理方法および画像処理装置および記録媒体 | |
| JP3945960B2 (ja) | 画像処理システムおよび色調補正装置および色調補正方法および記録媒体 | |
| JPH1141622A (ja) | 画像処理装置 | |
| JP3915755B2 (ja) | 画像データの出力画像調整 | |
| JP3912369B2 (ja) | 画像データに関連付けられた情報を用いた画像処理 | |
| JP2004080737A (ja) | 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 | |
| JP2002314809A (ja) | 画像データの出力画像調整 | |
| JP2000092337A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP3960336B2 (ja) | 画像データの画質調整 | |
| JP2003052002A (ja) | 画像ファイルの出力画像調整 | |
| JP3922223B2 (ja) | 画像データの出力画像調整 | |
| JP2004112494A (ja) | 画像処理装置、画像処理方法および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040616 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061010 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070410 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100420 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140420 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |