JP3264273B2 - 自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体 - Google Patents

自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体

Info

Publication number
JP3264273B2
JP3264273B2 JP26793799A JP26793799A JP3264273B2 JP 3264273 B2 JP3264273 B2 JP 3264273B2 JP 26793799 A JP26793799 A JP 26793799A JP 26793799 A JP26793799 A JP 26793799A JP 3264273 B2 JP3264273 B2 JP 3264273B2
Authority
JP
Japan
Prior art keywords
color correction
color
hue
storage memory
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26793799A
Other languages
English (en)
Other versions
JP2001092956A (ja
Inventor
正人 塚田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP26793799A priority Critical patent/JP3264273B2/ja
Priority to US09/666,801 priority patent/US7016075B1/en
Priority to DE60042542T priority patent/DE60042542D1/de
Priority to EP00250315A priority patent/EP1087614B1/en
Publication of JP2001092956A publication Critical patent/JP2001092956A/ja
Application granted granted Critical
Publication of JP3264273B2 publication Critical patent/JP3264273B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628—Memory colours, e.g. skin or sky
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6075—Corrections to the hue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は自動色補正装置及び
自動色補正方法並びにその制御プログラムを記録した記
録媒体に関し、特にディジタルスチルカメラ、スキャ
ナ、ディスプレイ、プリンタ等のカラー画像機器及びカ
ラー画像処理ソフトウェアにおけるカラー画像の色補正
技術に関する。
【０００２】
【従来の技術】カラー画像の色再現問題において、カラ
ー画像機器間で忠実な色再現を実現するとともに、我々
人間が好ましいと感じる色再現も重要な要素となる。肌
色、青空、草木の緑等の自然物は人間の注意を引きやす
く、好ましい色再現が要求される。
【０００３】特に、肌色に関しては様々な肌色補正方法
が提案されている。例えば、特開平８−７９５４９号公
報においては、肌色領域に対して空間周波数の高周波領
域成分を除去して粒状感を低くするとともに、ハイライ
ト部分における階調性や色飛びを防止することで、肌色
の再現性を向上させる手法が提案されている。
【０００４】また、特開平１１−１７９６９号公報に
は、好ましい肌色の範囲から外れている部分を好ましい
肌色に補正するために、入力画像をカラーＣＲＴ（Ｃａ
ｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）モニタに表示し、補正
の対象となる黒ずんだり、緑がかったような好ましい肌
色から外れる色をポインティングデバイスによって指定
し、指定された注目画素の色相及びその隣接近傍の色相
を目的の色相に変換する手法が提案されている。
【０００５】さらに、特開平６−１３３３２９号公報に
は、肌色に限らず、ある特定のカテゴリ色の局所的な色
ずれを検知し、そのカテゴリの代表色に変換することで
色ずれを補正する手法が提案されている。
【０００６】さらにまた、特開平６−１２１１５９号公
報には、肌色、空、緑等のカテゴリ色に対して人間の記
憶色を考慮した色補正方法が提案されている。
【０００７】一方、特開平１０−１９８７９５号公報に
は、補正を施す色相を任意に設定し、その指定された特
定色相と注目画素の色相との距離を表す特色度を定義す
ることで、特定色相のみに作用する色補正方法が提案さ
れている。
【０００８】
【発明が解決しようとする課題】上述した従来の色補正
方法では、特開平１１−１７９６９号公報に開示された
手法の場合、グラフィカルユーザインターフェース（Ｇ
ＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａ
ｃｅ）によるユーザとの対話が利用されている。
【０００９】この手法を用いることによって、補正対象
領域における代表色及び色補正パラメータが手動で設定
可能となるため、柔軟でかつ良好な色補正処理が可能と
なる。しかしながら、大量の画像データを短時間で処理
しなければならない場合、この手法は適していない。つ
まり、処理時間及び労力がネックとなるとともに、操作
者の熟練度によっても補正結果がばらつく等の問題があ
る。
【００１０】操作者の違いによる補正結果のばらつき及
び処理時間の問題を解決するためには、ユーザの操作を
必要としないカラー画像の自動色補正が必要となる。特
開平６−１３３３２９号公報に開示された手法は指定さ
れた色相領域を検出し、それを代表的な一定な色に置き
換えるという手法であるが、肌色、青空、草木の緑等の
自然物の色は一定ではなく、変換後の色もある程度のば
らつきを持たせないと自然な色再現は得られない。
【００１１】一方、特開平６−１２１１５９号公報に開
示された手法では、肌色、青空、草木の緑の自然物等の
各対象物に対して予め設定されている一つのパラメータ
が用いられることになる。しかしながら、一般に、肌
色、草木の緑、青空等の自然物の色は様々な入力機器や
撮影環境等の影響によって広い色分布を持つことにな
る。このように、広い色分布を持つ対象物の色補正には
入力画像から検出された補正対象物の色の色相、彩度、
明度に応じて、より木目細やかに最適な補正パラメータ
を設定しなければ良好な色再現を実現することができな
い。
【００１２】特開平１０−１９８７９５号公報において
は、ＧＵＩを利用した補正対象の色の指定方法を利用す
る場合と、肌色に限定した時の自動色補正の方法が提案
されている。後者の自動色補正方法では肌色領域をＲＧ
Ｂ値やＹＣｂＣｒ値の閾値を設定して検出すると述べて
いるが、様々な照明環境や背景下で撮影された画像に適
用した場合、ＲＧＢ値やＹＣｂＣｒ値の閾値だけでは肌
色領域の検出精度が低いものとなる。
【００１３】特開平６−１２１１５９号公報において
も、入力画像から補正対象物を検出するために、特開平
１０−１９８７９５公報と同様に、色相、彩度、明度の
閾値から判定される対象領域の面積の情報、すなわち単
純なヒストグラムを用いているが、同様の理由から、例
えば肌色領域の検出精度が低いものとなる。
【００１４】そこで、本発明の目的は上記の問題点を解
消し、様々な照明環境下で撮影される自然画像を入力画
像とし、この入力画像の照明環境、入力センサの感度特
性等の情報が無くとも、良好な色補正を実現することが
できる自動色補正装置及び自動色補正方法並びにその制
御プログラムを記録した記録媒体を提供することにあ
る。
【００１５】
【課題を解決するための手段】本発明による自動色補正
装置は、カラー画像中の特定対象物に色補正を施す自動
色補正装置であって、前記特定対象物の色相分布可能領
域を分割して得られる分割色相領域及び分布頻度を記憶
する対象物色情報記憶メモリと、前記対象物色情報記憶
メモリの記憶内容を基に任意入力画像中から前記特定対
象物の代表色を抽出する代表色抽出手段と、前記特定対
象物の色相分布可能領域を分割して得られる分割色相領
域に対して割り振られる色補正パラメータを記憶する色
補正パラメータ記憶メモリと、前記代表色抽出手段で抽
出された代表色に最適な色補正パラメータを前記色補正
パラメータ記憶メモリの記憶内容から決定する色補正パ
ラメータ決定手段と、前記色補正パラメータ決定手段で
得られた色補正パラメータを利用して特定色相にのみ作
用する色補正変換を行う色補正処理手段とを備えてい
る。
【００１６】本発明による自動色補正方法は、カラー画
像中の特定対象物に色補正を施す自動色補正方法であっ
て、任意入力画像中から前記特定対象物の代表色を抽出
するステップと、抽出された前記代表色に最適な色補正
パラメータを前記特定対象物の色相に関する分布可能領
域を分割して得られる分割色相領域に対して割り振られ
る色補正パラメータを記憶する色補正パラメータ記憶メ
モリの内容に基づいて決定するステップと、前記最適な
色補正パラメータを利用して特定色相にのみ作用する色
補正変換を行うステップとを備えている。
【００１７】本発明による自動色補正制御プログラムを
記録した記録媒体は、カラー画像中の特定対象物に色補
正を施す自動色補正装置に自動色補正を行わせるための
自動色補正制御プログラムを記録した記録媒体であっ
て、前記自動色補正制御プログラムは前記自動色補正装
置に、任意入力画像中から前記特定対象物の代表色を抽
出させ、前記特定対象物の色相に関する分布可能領域を
分割して得られる分割色相領域に対して色補正パラメー
タを割り振らせ、抽出された前記代表色に最適な色補正
パラメータを決定させ、前記最適な色補正パラメータを
利用して特定色相にのみ作用する色補正変換を行わせて
いる。
【００１８】すなわち、本発明の第１の自動色補正方法
は、カラー画像中の特定対象物に色補正を施す自動色補
正方法において、任意入力画像中から特定対象物の代表
色を抽出するステップと、特定対象物の色相に関する分
布可能領域を分割して得られる分割色相領域に対して色
補正パラメータを割り振るステップと、抽出された代表
色に最適な色補正パラメータを決定するステップと、最
適な色補正パラメータを利用して特定色相にのみ作用す
る色補正変換を行うステップとを含んでいる。
【００１９】本発明の第２の自動色補正方法は、色補正
パラメータを割り振るステップにおいて、対象物の分割
色相領域だけでなく、対象物の彩度分布可能領域及び明
度分布可能領域をそれぞれ複数個に分割した分割彩度領
域及び分割明度領域のそれぞれの領域に色補正パラメー
タを割り振っている。
【００２０】本発明の第３の自動色補正方法は、代表色
を抽出するステップにおいて、特定対象物の色相、彩
度、又は明度、あるいはそれらを組合せたものに関する
分布頻度に加え、画像中の座標位置の分散をも利用する
ことによって、特定対象物の代表色を抽出している。
【００２１】本発明の第１の自動色補正装置は、カラー
画像中の特定対象物に色補正を施す自動色補正装置にお
いて、特定対象物の色相分布可能領域を分割して得られ
る分割色相領域及び分布頻度を記憶する対象物色情報記
憶メモリと、任意入力画像中から特定対象物の代表色を
抽出する代表色抽出手段と、特定対象物の色相分布可能
領域を分割して得られる分割色相領域に対して割り振ら
れる色補正パラメータを記憶する色補正パラメータ記憶
メモリと、代表色抽出手段によって抽出された代表色に
最適な色補正パラメータを色補正パラメータ記憶メモリ
から決定する色補正パラメータ決定手段と、色補正パラ
メータ決定手段によって得られた色補正パラメータを利
用して特定色相にのみ作用する色補正変換を行う色補正
処理手段とを含んでいる。
【００２２】本発明の第２の自動色補正装置は、特定対
象物について予め様々な撮影環境下で撮影された複数の
画像を解析して得た特定対象物の色相、彩度、又は明
度、あるいはそれらを組合せたものに関する分布可能範
囲を分割して得られる分割領域及び分布頻度を記憶する
拡張対象物色情報記憶メモリを備え、代表色抽出手段に
おいて色相、彩度、又は明度、あるいはそれらを組合せ
たものに関する分割領域を基に入力画像中における特定
対象の色相、彩度、又は明度、あるいはそれらの組合せ
のヒストグラムを得て分布頻度とヒストグラムとを掛け
合わせ、その最大値を有した領域中に存在する色を特定
対象物の代表色として抽出している。
【００２３】本発明の第３の自動色補正装置は、代表色
抽出手段において、特定対象物の色相、彩度、又は明
度、あるいはその組合せの分布頻度に加え、画像中の座
標位置の分散も利用することによって特定対象物の代表
色を抽出している。
【００２４】本発明の第４の自動色補正装置は、色補正
パラメータ記憶メモリにおいて、対象物の色相だけでな
く対象物の彩度分布可能領域及び明度分布可能領域をそ
れぞれ複数個に分割した分割彩度領域及び分割明度領域
のそれぞれの領域に割り振られた色補正パラメータを記
憶している。
【００２５】本発明の第５の自動色補正装置は、入力機
器毎に特定対象物の色相、彩度、又は明度、あるいはそ
れらを組合せたものに関する分布可能範囲を分割して得
られる分割領域及び分布頻度を記憶する入力別対象物色
情報記憶メモリと、出力機器毎に色補正パラメータを保
持する出力別色補正パラメータ記憶メモリと、ユーザが
入出力カラー画像機器の機種を選択できる入出力機器指
定手段とを含んでいる。
【００２６】本発明の第６の自動色補正装置は、特定対
象物の複数種類のカラー画像を記憶するサンプル画像記
憶メモリと、サンプル画像記憶メモリに記憶されている
画像をモニタに表示し、ユーザに特定対象物の色を補正
させることを可能にする手動色補正処理手段と、手動色
補正手段の結果から色補正パラメータ記憶メモリに記述
する色補正パラメータを作成する色補正パラメータ生成
手段とを含んでいる。
【００２７】上記のように、画像情景中の肌色、草木の
緑、青空等の特定対象物の代表色を高精度に抽出し、抽
出された代表色に最適な色補正パラメータを設定するこ
とで、様々な照明環境下で撮影された自然画像における
重要被写体（例えば、肌色、青空、草木の緑等）に対し
て自動的に良好な色補正を施すことが可能となる。すな
わち、様々な照明環境下で撮影される自然画像を入力画
像とし、この入力画像の照明環境、入力センサの感度特
性等の情報が無くとも、良好な色補正を実現することが
可能となる。
【００２８】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。まず、本発明の自動
色補正方法について説明する。本発明の自動色補正方法
では、ＧＵＩを用いることなく、自動的に入力画像にお
ける特定対象の色補正を実現するために、（１）画像中
の特定対象の領域から代表色を抽出するステップと、
（２）抽出された代表色に応じて最適な色補正パラメー
タを設定するステップとが必要となる。
【００２９】（１）のステップにおいては任意の入力画
像中から特定対象物領域の代表色を自動的に抽出する
が、この場合、入力画像はディジタルカメラ、スキャ
ナ、インタネット上の画像データベース等、どのような
ソース（機器）から入力あるいは入手されたものかを特
定することができない画像を含んでいる。つまり、入力
機器のセンサ感度特性を特定することができないため、
色補正の手がかりとなる画像情景中の照明色や物体色を
推定することが難しい。
【００３０】このような様々な入力画像から特定対象物
の領域から代表色を抽出するため、本発明では、まず様
々な照明環境、背景、入力機器で撮影された特定対象の
画像データ中の特定対象領域から得られた色の色相、彩
度、明度に関する分布可能範囲と分布頻度を予め準備し
ている。
【００３１】この特定対象領域の色の色相、彩度、明度
に関する分布可能範囲及び分布頻度はパターン認識にお
ける認識辞書と同様のものであり、作成には人手による
作業を要するが、一度求めておけば良い。すなわち、実
際に入力画像から特定対象物の代表色を抽出する際に
は、この特定対象領域の色の色相、彩度、明度に関する
分布可能範囲及び分布頻度を利用することで、自動的に
特定対象物の代表色を抽出することができる。
【００３２】図１は対象物の色相分布可能領域とその頻
度を示す図であり、図２は対象物の色相分布可能領域を
分割した状態を示す図であり、図３は対象物の色補正前
後の色相の変化を示す図である。
【００３３】図１においてはある特定対象物の色相に関
する分布可能範囲及び分布頻度の一例を示している。こ
の図において、下限色相Ａと上限色相Ｂとに挟まれる領
域が特定対象が分布しうる色相範囲、すなわち色相の分
布可能範囲を示している。縦軸はこの分布可能範囲にお
ける特定対象の分布頻度を表している。尚、図１では色
相のみの分布頻度及び分布可能範囲を示しているが、彩
度成分、明度成分における分布可能範囲及び分布頻度に
ついても同様に作成が可能であるとともに、色相、彩
度、明度の３成分を統合した３次元空間における分布可
能範囲と分布頻度とを作成することも可能である。
【００３４】図２においては図１に示す色相の分布可能
範囲を、ある間隔で分布可能範囲をｎ個に分割してい
る。ここで、分割する間隔は一定でもよいし、可変であ
ってもよい。図２では特定対象物の色相における分布可
能範囲を１１個の領域に分割した例を示している。以
下、色相の分布可能範囲を分割したものを分割色相領域
とする。
【００３５】この分割色相領域における分布頻度ＲH
（ｉ）（ｉ＝１〜ｎの整数）［Ｈは色相（Ｈｕｅ）を表
す］を計算する。ある分割色相領域ａに対する分布頻度
ＲH （ａ）の計算方法は、例えばその分割色相領域ａに
存在するサンプル数をｂ個、サンプル総数をａｌｌ個と
すると、 ＲH （ａ）＝ｂ／ａｌｌ ……（１） 等としてもよい。同様にして、彩度における分布頻度Ｒ
S （ｊ）、明度における分布頻度Ｒv （ｋ）も計算する
ことができる。
【００３６】続いて、任意の照明環境下で撮影された入
力画像中から特定対象物の代表色が含まれる領域を抽出
する手法について説明する。本手法では上記の特定対象
物の分布可能範囲及び分割領域における分布頻度を利用
する。ここでは説明の簡略化のために色相に着目して説
明する。
【００３７】入力画像の各画素の色相、彩度、明度を計
算する。ここで、色相、彩度、明度はカラー画像処理に
おいて広く利用されている以下の式、 Ｖ＝Ｍａｘ（Ｒ，Ｇ，Ｂ） Ｖ＝０の時 Ｓ＝０ Ｖ＞０の時 Ｓ＝（Ｖ−Ｍｉｎ（Ｒ，Ｇ，Ｂ））／Ｖ Ｓ＝０の時 Ｈ＝０ Ｖ＝Ｒの時 Ｈ＝６０（Ｇ−Ｂ）／ＳＶ Ｖ＝Ｇの時 Ｈ＝６０（２＋（Ｂ−Ｒ）／ＳＶ） Ｖ＝Ｂの時 Ｈ＝６０（４＋（Ｒ−Ｇ）／ＳＶ） Ｈ＜０の時 Ｈ＝Ｈ＋３６０ ……（２） に示したＨＳＶ等を利用することができるが、この限り
ではない。
【００３８】この各画素について、その色相が特定対象
物の色相における分布可能範囲内であるか否かを判定
し、範囲内であると判定された場合、その色相がｎ個に
分割されている分割色相領域のどの領域に属するかを判
定する。
【００３９】この処理を入力画像中の全画素に対して行
い、全ての分割色相領域におけるヒストグラムＨＩＴH
（ｌ）を作成する。ここで、ｌは１からｎまでの整数
で、ｎ個に分割された分割色相領域のどの領域であるか
を表している。各分割色相領域における代表色候補指数
ＲＰ（ｉ）を、 ＲＰ（ｉ）＝ＨＩＴH （ｉ）×ＲH （ｉ） ……（３） という式で計算する。ここで、ｉは１〜ｎまでの整数で
ある。
【００４０】この場合、代表色候補指数ＲＰが最も値の
大きかった分割色相領域を入力画像における特定対象物
が有する色相領域とする。このように選択された分割色
相領域内に存在する画素の平均ＲＧＢ値を、入力画像中
における特定対象物の代表色としても良いし、予めそれ
ぞれの分割色相領域にＲＧＢ値を割り振っておき、その
値を代表色にしてもよい。尚、予め割り振るＲＧＢ値
は、上記の特定対象物の色相、彩度、明度に関する分布
可能範囲及び分布頻度を求めたものと同じ画像データセ
ットを利用し、各分割領域に存在する色の平均ＲＧＢ値
としてもよい。
【００４１】上述した手法は色情報のみを手がかりに特
定対象物の代表色を抽出する方法である。さらに代表色
の抽出精度を高めるためには、各分割色相領域に存在す
る画素の画像中での座標位置の分散を導入する。例え
ば、分割色相領域ａにＫ個が存在した場合、まず、その
Ｋ個の画像中でのＸＹ座標（Ｘｉ，Ｙｉ）（ｉ＝１〜
Ｋ）から、 Ｘｃ＝ΣＸｉ／Ｋ Ｙｃ＝ΣＹｉ／Ｋ ……（４） という式で、平均座標（Ｘｃ，Ｙｃ）を計算する。ここ
で、Σはｉ＝１からＫまでの総和である。
【００４２】分割色相領域ａに存在する画素の座標位置
の分散Ｖａは、 Ｖａ＝Σ（（Ｘｃ−Ｘｉ）2 ＋（Ｙｃ−Ｙｉ）2 ）／Ｋ ……（５） で表される。尚、Σはｉ＝１からＫまでの総和である。
【００４３】この分散Ｖａと特定対象物の基準分散ＳＶ
との差を分割色相領域の評価に導入する。特定対象物の
基準分散は上述した特定対象物の色相、彩度、明度に関
する分布可能範囲及び分布頻度を求めたものと同じ画像
データセットを利用することによって計算することがで
きる。
【００４４】分散Ｖａと基準分散ＳＶとの差に閾値を設
け、分散の差がその閾値を超える場合にはこの領域を放
棄し、次に大きな代表色候補指数ＲＰを有する分割色相
領域の分散と基準分散との差を評価していく方法や、 ＲＰ’（ｏ）＝ＨＩＴH （ｏ）×ＲH （ｏ）×ＣD(o) ……（６） という式のように、基準分散ＳＶと分割色相領域ｏにお
ける特定対象物の分散Ｖｏとの差の絶対値Ｄ（ｏ）を導
入した代表色候補指数ＲＰ’を定義し、その最大値を有
する分割色相領域を入力画像における特定対象物が有す
る色相領域とする方法もある。ここで、Ｃは０＜Ｃ＜
１．０の実数定数、Ｄ（ｏ）はＤ（ｏ）≧０．０の実数
である。
【００４５】以上のような特定対象物の座標位置の分散
をも考慮にいれて選択された分割色相領域中に存在する
色の平均値を代表色とする。
【００４６】次に、（２）のステップの抽出された代表
色に応じて最適な色補正パラメータを設定する方法につ
いて説明する。特定対象物を含んだ複数の画像データに
対して、特定対象物が良好な色になるように、予め人手
によって色補正を施す。この時の補正方法は、特開平１
０−１９８７９５号公報に開示されている特定の色相の
みに作用する色補正方法やＧＵＩを利用する方法等が利
用可能である。
【００４７】図３においては特定対象物の色補正前後に
おける色相の変化量を分割色相領域毎に平均化した場合
の例を示している。尚、矢印の起点が補正前の色相、終
点が補正後の色相を表している。
【００４８】この変化量を発生させる色補正パラメータ
を各分割色相領域毎に色補正パラメータ記憶メモリ等に
記述しておく。その後に、入力画像から抽出された特定
対象物の代表色の色相を計算し、その色相が存在する分
割色相領域に設定された色補正パラメータを上記の色補
正パラメータ設定テーブルから読込んで決定する。
【００４９】以上は、色相のみに着目した色補正方法に
ついて説明したが、さらに同様の手法を用いて彩度、明
度の情報を加えることで、より精度の高い色補正を実現
することができる。
【００５０】図４は本発明の第１の実施例による色補正
装置の構成を示すブロック図である。図４において、色
補正装置１は色補正を施す対象を指定する対象物選択手
段１１と、予め想定されている特定対象物毎の色相にお
ける分布可能領域及び分布頻度を記憶する対象物色情報
記憶メモリ１２と、入力画像から特定対象物の代表色を
抽出する代表色抽出手段１３と、色補正パラメータを記
憶する色補正パラメータ記憶メモリ１４と、代表色抽出
手段１３で入力画像から抽出された代表色に応じて最適
な色補正パラメータを色補正パラメータ記憶メモリ１４
の内容から決定する色補正パラメータ決定手段１５と、
抽出された代表色とその近傍周辺の色にのみ色補正を施
す色補正処理手段１６とから構成されている。
【００５１】図５は図４の対象物選択手段１１で用いら
れるＧＵＩの一例を示す図であり、図６は図４の対象物
色情報記憶メモリ１２の記述例を示す図であり、図７は
図４の色補正パラメータ記憶メモリ１４の記述例を示す
図であり、図８は本発明の第１の実施例による色補正装
置の動作を示すフローチャートである。これら図４〜図
８を参照して色補正装置１の構成及び動作について説明
する。尚、図８に示す処理動作は色補正装置１の各部が
図示せぬ制御メモリのプログラムを実行することで実現
され、制御メモリとしてはＲＯＭ（リードオンリメモ
リ）やＩＣ（集積回路）メモリ等が使用可能である。
【００５２】対象物選択手段１１はユーザが色補正の対
象物を容易に選択可能とする機能を提供している。対象
物選択手段１１で用いられるＧＵＩの一例を図５に示
す。図５においては色補正の対象物として、肌色、草木
の緑、青空の３種類が選べるＧＵＩを示している。
【００５３】この対象物選択手段１１としては各対象物
の色空間における分布可能領域が重ならないことを条件
に、複数の対象物を選択可能とするような仕組みにする
ことも可能である。図５では肌色が選択されている状態
を表している。
【００５４】代表色抽出手段１３では、まず対象物選択
手段１１において選択された対象物の色相の分布可能領
域と分割色相領域における分布頻度とを対象物色情報メ
モリ１２から読出す。
【００５５】ここで、図６に対象物色情報記憶メモリ１
２の一例を示す。図６では対象物色情報記憶メモリ１２
に記述された対象Ａ，Ｂ，Ｃのうち対象Ａに関する分割
色相領域番号と、各分割色相領域を指定するための色相
の上下限値と、頻度とを示している。尚、図示していな
いが、対象物色情報記憶メモリ１２には対象Ｂや対象Ｃ
についても、上記の対象Ａと同様の情報が記述されてい
る。
【００５６】代表色抽出手段１３は入力画像の全画素に
ついて色相を計算し、分割色相領域のヒストグラムを作
成し、（３）式を利用して各分割色相領域における代表
色候補指数ＲＰを計算し、最大値を有する分割色相領域
をその画像中における対象Ａが占める領域として選択す
る。さらに、代表色抽出手段１３はその分割色相領域に
存在する色の平均ＲＧＢ値を入力画像中における対象Ａ
の代表色とする（図８ステップＳ１）。
【００５７】色補正パラメータ決定手段１５は代表色抽
出手段１３で抽出された代表色に最適な色補正パラメー
タを色補正パラメータ記憶メモリ１４の記憶内容から決
定する。すなわち、色補正パラメータ決定手段１５は特
定対象物の色相に関する分布可能領域を分割して得られ
る分割色相領域に対して割り振られる色補正パラメータ
を記憶する色補正パラメータ記憶メモリ１４の記憶内容
を基に、抽出された代表色に最適な色補正パラメータを
決定する（図８ステップＳ２）。
【００５８】この色補正パラメータ記憶メモリ１４の一
例を図７に示す。図７では色補正パラメータ記憶メモリ
１４に記述された対象Ａ，Ｂ，Ｃのうちの対象Ａに関す
る記述内容を示している。尚、図示していないが、色補
正パラメータ記憶メモリ１４には対象Ｂや対象Ｃについ
ても、上記の対象Ａと同様の内容が記述されている。例
えば、色補正パラメータは代表色抽出手段１３において
対象Ａの占める色相が分割色相領域２であるとされた場
合、（Ｐ2，Ｑ2，Ｒ2，Ｓ2）となる。
【００５９】色補正処理手段１６は入力画像に対し、対
象物の代表色とその近傍付近の色のみに対して色補正が
施される処理を行う。すなわち、色補正処理手段１６は
最適な色補正パラメータを利用して特定色相にのみ作用
する色補正変換を行う（図８ステップＳ３）。
【００６０】このような色補正を実現するものとして、
例えば特開平１０−１９８７９５号公報に開示された色
補正方法等を利用することができる。特開平１０−１９
８７９５号公報に開示された色補正方法を利用した場
合、入力ＲＧＢに対する色補正式は、 （Ｒ’，Ｇ’，Ｂ’）＝（Ｒ，Ｇ，Ｂ）＋ｈｘ×（ａ1，ａ2，ａ3） ……（７） という式で表される。ここで、（Ｒ，Ｇ，Ｂ）は入力画
像中の任意のＲＧＢ値、（Ｒ’，Ｇ’，Ｂ’）は補正後
のＲＧＢ値、（ａ1，ａ2，ａ3）はそれぞれＲ補正量、
Ｇ補正量、Ｂ補正量であり、ｈｘは補正の中心色である
（Ｒｃ，Ｇｃ，Ｂｃ）と上記の任意のＲＧＢ値（Ｒ，
Ｇ，Ｂ）との間の距離を示す特色度である。
【００６１】この距離ｈｘは、 ｈｘ＝［ｐｏｓ（ｍ−｜Ｈｕｅ−ｈ1｜）／ｍ］×ｓ1×ｖ1 ……（８） という式で表される。ここで、ｐｏｓ（ｘ）は、ｘ＜０
の時にｐｏｓ（ｘ）＝０、ｘ≧０の時にｐｏｓ（ｘ）＝
ｘである。ｍは許容色相角度、Ｈｕｅは補正対象のＲＧ
Ｂ値から計算されるＨＳＶ値（Ｈｕｅ，Ｓａｔ，Ｖａ
ｌ）のＨｕｅ値である。ｈ1、ｓ1、ｖ1は上記の任意の
ＲＧＢ値のＨＳＶ値（ｈ1，ｓ1，ｖ1）である。
【００６２】代表色抽出手段１３で抽出された代表色が
色補正の中心色となり、色補正パラメータ決定手段１５
で決定された色補正パラメータ（Ｐ2，Ｑ2，Ｒ2，Ｓ2）
はそれぞれＲ補正量、Ｇ補正量、Ｂ補正量、許容色相角
度となる。
【００６３】以上の説明は色相のみに着目した色補正装
置１について説明したが、色補正装置１の対象色情報メ
モリ１２を拡張し、色相だけでなく彩度、明度成分を追
加することで、より精度の高い色補正装置を実現するこ
とができる。
【００６４】図９は本発明の第２の実施例による色補正
装置の構成を示すブロック図である。図９において、本
発明の第２の実施例による色補正装置２は対象物色情報
記憶メモリ１２の代りに拡張対象色情報記憶メモリ１７
を設けた以外は図４に示す本発明の第１の実施例による
色補正装置１と同様の構成となっており、同一構成要素
には同一符号を付してある。また、同一構成要素の動作
は本発明の第１の実施例と同様である。すなわち、色補
正装置２は色相だけでなく彩度、明度成分も考慮した色
補正装置である。
【００６５】図１０は図９の拡張対象物色情報記憶メモ
リ１７の記述例を示す図である。図１０において、拡張
対象色情報記憶メモリ１７は色相、彩度、明度につい
て、対象物の分布可能領域を分割するための各成分の上
下限値が記述された分割情報部と、各分割領域における
頻度が記述される頻度情報部とから構成されている。
【００６６】尚、図１０では拡張対象色情報記憶メモリ
１７中の対象Ａに関する記述内容を示しているが、対象
Ｂ，Ｃについても対象Ａと同様の内容が記述されてい
る。図１０の場合、対象Ａの分布可能領域は色相に関し
てＮ個、彩度に関してＭ個、明度に関してＬ個で分割さ
れ、分割領域の総数はＮ×Ｍ×Ｌ個となる。
【００６７】図１１は本発明の第２の実施例による色補
正装置の動作を示すフローチャートである。これら図９
〜図１１を参照して本発明の第２の実施例による色補正
装置２の動作について説明する。尚、図１１に示す処理
動作は色補正装置２の各部が図示せぬ制御メモリのプロ
グラムを実行することで実現され、制御メモリとしては
ＲＯＭやＩＣメモリ等が使用可能である。
【００６８】代表色抽出手段１３は上述した色補正装置
１と同様の手法を用いて、色相、彩度、明度において分
割された分割領域のヒストグラムを作成し、各分割領域
における代表色候補指数ＲＰを計算し、その最大値を対
象物が有する分割領域とする。さらに、代表色抽出手段
１３はその分割領域に存在する色の平均ＲＧＢ値を入力
画像中における対象物の代表色とする（図１１ステップ
Ｓ１１）。
【００６９】色補正パラメータ決定手段１５は代表色抽
出手段１３で抽出された代表色に最適な色補正パラメー
タを色補正パラメータ記憶メモリ１４の記憶内容から決
定する。すなわち、色補正パラメータ決定手段１５は、
特定対象物の色相、彩度、明度に関する分布可能領域
を、色相に関してＮ個、彩度に関してＭ個、明度に関し
てＬ個で分割された合計Ｎ×Ｍ×Ｌ個の分割領域に対し
て割り振られる色補正パラメータを記憶する色補正パラ
メータ記憶メモリ１４の記憶内容を基に、抽出された代
表色に最適な色補正パラメータを決定する（図１１ステ
ップＳ１２）。
【００７０】色補正処理手段１６は入力画像に対し、対
象物の代表色とその近傍付近の色のみに対して色補正が
施される処理を行う。すなわち、色補正処理手段１６は
最適な色補正パラメータを利用して特定色相にのみ作用
する色補正変換を行う（図１１ステップＳ１３）。尚、
色補正装置２における色補正パラメータ記憶メモリ１４
はＮ×Ｍ×Ｌ個の分割領域の色補正パラメータを保持す
るものとする。
【００７１】図１２は本発明の第３の実施例による色補
正装置の構成を示すブロック図である。図１２におい
て、本発明の第３の実施例による色補正装置３は代表色
抽出手段１３の代りにヒストグラム作成手段１８と分散
計算手段１９と対象物領域分散記憶メモリ２０と代表色
決定手段２１とを設けた以外は図９に示す本発明の第２
の実施例による色補正装置２と同様の構成となってお
り、同一構成要素には同一符号を付してある。また、同
一構成要素の動作は本発明の第２の実施例と同様であ
る。すなわち、色補正装置３では入力画像から対象物の
代表色を抽出する際、対象物の色情報だけでなく、画像
上で座標位置の分散についても考慮している。
【００７２】図１３は本発明の第３の実施例による色補
正装置の動作を示すフローチャートである。これら図１
２及び図１３を参照して本発明の第３の実施例による色
補正装置３の動作について説明する。尚、図１３に示す
処理動作は色補正装置３の各部が図示せぬ制御メモリの
プログラムを実行することで実現され、制御メモリとし
てはＲＯＭやＩＣメモリ等が使用可能である。
【００７３】まず、ヒストグラム作成手段１８は拡張対
象物色情報記憶メモリ１７で指定される対象物の各分割
領域におけるヒストグラムを作成すると同時に、その領
域にヒットした色の画像座標も記録しておく。分散計算
手段１９は（４）式を利用して各分割領域における平均
座標位置を計算し、さらに（５）式を用いて各分割領域
における座標位置の分散を計算する。
【００７４】次に、上述した代表色候補指数ＲＰ’を計
算するために、代表色決定手段２１は対象物領域分散記
憶メモリ２０から対象物の基準分散を読込み、基準分散
と各分割領域における座標位置の分散との差を計算し、
各分割領域における代表色候補指数ＲＰ’を（６）式を
用いて計算する。その最大値を有する分割領域を入力画
像における特定対象物が占める色相領域とし、その代表
色は代表色抽出手段１３と同様に、選ばれた分割領域に
存在する色の平均ＲＧＢ値とする（図１３ステップＳ２
１）。
【００７５】色補正パラメータ決定手段１５は代表色抽
出手段１３で抽出された代表色に最適な色補正パラメー
タを色補正パラメータ記憶メモリ１４の記憶内容から決
定する。すなわち、色補正パラメータ決定手段１５は、
特定対象物の色相、彩度、明度に関する分布可能領域
を、色相に関してＮ個、彩度に関してＭ個、明度に関し
てＬ個で分割された合計Ｎ×Ｍ×Ｌ個の分割領域に対し
て割り振られる色補正パラメータを記憶する色補正パラ
メータ記憶メモリ１４の記憶内容を基に、抽出された代
表色に最適な色補正パラメータを決定する（図１３ステ
ップＳ２２）。
【００７６】色補正処理手段１６は入力画像に対し、対
象物の代表色とその近傍付近の色のみに対して色補正が
施される処理を行う。すなわち、色補正処理手段１６は
最適な色補正パラメータを利用して特定色相にのみ作用
する色補正変換を行う（図１３ステップＳ２３）。
【００７７】図１４は本発明の第４の実施例による色補
正装置の構成を示すブロック図である。図１４におい
て、色補正装置４は対象物選択手段１１と、代表色抽出
手段１３と、色補正パラメータ決定手段１５と、色補正
処理手段１６と、入力別対象物色情報記憶メモリ２２
と、出力別色補正パラメータ記憶メモリ２３と、入出力
機器指定手段２４とから構成されている。
【００７８】一般に、カラー画像入出力機器は機器毎に
色特性が異なる。いま、入力画像が予め想定されている
入力機器によって得られていることが分かれば、対象物
の分布領域をある程度限定することができる。また、色
補正処理後の出力画像の出力機器を特定することができ
る場合にはその出力機器で出力した際、最適な色に補正
される色補正パラメータを用意することで、色補正がさ
らに良い結果となる。
【００７９】図１５は図１４の入出力機器指定手段２４
で用いられるＧＵＩの一例を示す図である。図１５にお
いて、入出力機器指定手段２４は図示するＧＵＩを用い
て、入力機器及び出力機器を選択可能とする機能をユー
ザに提供している。図１５に示すＧＵＩでは入力機器と
して機器Ａ，Ｂ，Ｃ、出力機器として機器Ｄ，Ｅ，Ｆと
いうように、入出力機器がそれぞれ３機種ずつ選択可能
なようになっているが、入力機器及び出力機器が選択可
能なような仕組みであればこの限りではない。
【００８０】入力別対象物色情報記憶メモリ２２には本
装置が想定する入力機器である機種Ａ，Ｂ，Ｃの各機種
毎に、図６または図１０に示すような対象物の分布可能
領域及び分布頻度が記録されている。
【００８１】入出力機器指定手段２４は選択された入力
機器に対応する対象物の分布可能領域と分布頻度とを入
力別対象物色情報記憶メモリ２２から読込み、その対象
物の分布可能領域と分布頻度とを代表色抽出手段１３に
送る。代表色抽出手段１３はそれらを基に代表色を抽出
する。
【００８２】出力別色補正パラメータ記憶メモリ２３に
は本装置が想定する出力機器である機種Ｄ，Ｅ，Ｆの各
機種毎に、図７に示す対象物の分割領域における色補正
パラメータが記録されている。
【００８３】入出力機器指定手段２４はユーザによって
指定された出力機器に対応する対象物の色補正パラメー
タを出力別色補正パラメータ記憶メモリ２３から読込
み、その対象物の色補正パラメータを色補正パラメータ
決定手段１５へ送る。色補正パラメータ決定手段１５は
代表色抽出手段１３で抽出された代表色に最適な色補正
パラメータを、入出力機器指定手段２４から送られてく
る色補正パラメータから決定する。以上の処理によっ
て、色補正装置４は入出力機器が特定できる場合、より
高精度な色補正を実現することができる。
【００８４】図１６は本発明の第５の実施例による色補
正装置の構成を示すブロック図である。図１６におい
て、本発明の第５の実施例による色補正装置５は手動色
補正処理手段２５とサンプル画像記憶メモリ２６と色補
正パラメータ生成手段２７とを追加した以外は図４に示
す本発明の第１の実施例による色補正装置１と同様の構
成となっており、同一構成要素には同一符号を付してあ
る。また、同一構成要素の動作は本発明の第１の実施例
と同様である。
【００８５】一般に、カラー画像のある特定の対象物、
例えば肌色、草木の緑、青空には好ましい色あるいはこ
ういう色であって欲しいと感じる色が存在するが、それ
ぞれに要求される色はユーザの好みによって多少異な
る。そこで、本発明の第５の実施例による色補正装置５
はユーザ毎の要求に答えるために、色補正装置１の構成
に手動色補正処理手段２５とサンプル画像記憶メモリ２
６と色補正パラメータ生成手段２７とを追加している。
【００８６】手動色補正処理手段２５は色補正処理手段
１６と同じ色補正アルゴリズムを備えているものの、色
補正パラメータをユーザが与える仕組みとなっている。
ここで、サンプル画像記憶メモリ２６には想定されてい
る対象物に関して、対象物の色が広く分布するように、
複数のサンプル画像が記録されている。
【００８７】手動色補正処理手段２５はサンプル画像記
憶メモリ２６から補正対象物のサンプル画像を表示し、
ユーザにその対象物の色補正を実行させるためのＧＵＩ
を提供する。
【００８８】図１７は図１６の手動色補正処理手段２５
で用いられるＧＵＩの一例を示す図である。図１７にお
いて、手動色補正処理手段２５が提供するＧＵＩでは補
正対象として対象Ａが選択されており、カウンタはＮ枚
あるサンプル画像の１枚目の画像が表示されていること
を示している。
【００８９】ＧＵＩの中央には補正前の画像と補正後の
画像とが表示されており、ここでは補正前の画像におい
て矢印で示されている対象Ａのみに色補正処理を施して
いることを表している。尚、サンプル画像中の対象Ａの
代表色は、ユーザがマウス等のポインティングデバイス
を用いて指定させるようにしている。ユーザは補正後の
画像に満足するまで、色補正パラメータ１〜４を調整す
る。
【００９０】１枚目の画像が終了したら、ＧＵＩの右上
の「次の画像表示」ボタンを押して、次のサンプル画像
へ進む。各サンプル画像で設定された代表色及び色補正
パラメータの情報は保持されている。全てのサンプル画
像の手動色補正が終了すると、ユーザが指定した代表色
及び色補正パラメータの全てのセットを色補正パラメー
タ生成手段２７に送る。
【００９１】色補正パラメータ生成手段２７では対象物
色情報記憶メモリ１２から対象物の分割領域の情報を得
て、各分割領域について、その領域に存在する代表色と
そのときの色補正パラメータとを手動色補正処理手段２
５から送られてきた代表色及び色補正パラメータの全て
のセットから選び出し、色補正パラメータの平均値を計
算して色補正パラメータ記憶メモリ１４の該当する分割
領域に記述する。
【００９２】代表色抽出手段１３は対象物選択手段１１
において選択された対象物の色相の分布可能領域と分割
色相領域における分布頻度とを対象物色情報メモリ１２
から読出し、代表色を抽出する。
【００９３】色補正パラメータ決定手段１５は代表色抽
出手段１３で抽出された代表色に最適な色補正パラメー
タを色補正パラメータ記憶メモリ１４の記憶内容から決
定する。色補正処理手段１６は入力画像に対し、対象物
の代表色とその近傍付近の色のみに対して色補正が施さ
れる処理を行う。上述したように、色補正装置５は入力
画像中の対象物に対して、ユーザの好みに応じた色補正
処理を施すことが可能になる。
【００９４】このように、カラー画像の特定対象物に対
して自動的に色補正を行うことによって、特に肌色、青
空、草木の緑等の自然画像にとって重要な対象物の色の
みを、マスキング処理やユーザの対話処理を必要とする
ことなく、自動的に好ましい色もしくは希望の色に補正
することが可能になる。また、カラー画像機器本体ある
いはドライバソフトに本発明の処理動作を組込むことに
よって、機器に特徴ある色再現性を持たすことも可能で
ある。
【００９５】
【発明の効果】以上説明したように本発明によれば、カ
ラー画像中の特定対象物に色補正を施す自動色補正装置
において、任意入力画像中から特定対象物の代表色を抽
出させ、特定対象物の色相に関する分布可能領域を分割
して得られる分割色相領域に対して色補正パラメータを
割り振らせ、抽出された代表色に最適な色補正パラメー
タを決定させ、最適な色補正パラメータを利用して特定
色相にのみ作用する色補正変換を行わせることによっ
て、様々な照明環境下で撮影される自然画像を入力画像
とし、この入力画像の照明環境、入力センサの感度特性
等の情報が無くとも、良好な色補正を実現することがで
きるという効果がある。
【図面の簡単な説明】
【図１】対象物の色相分布可能領域とその頻度を示す図
である。
【図２】対象物の色相分布可能領域を分割した状態を示
す図である。
【図３】対象物の色補正前後の色相の変化を示す図であ
る。
【図４】本発明の第１の実施例による色補正装置の構成
を示すブロック図である。
【図５】図４の対象物選択手段で用いられるＧＵＩの一
例を示す図である。
【図６】図４の対象物色情報記憶メモリの記述例を示す
図である。
【図７】図４の色補正パラメータ記憶メモリの記述例を
示す図である。
【図８】本発明の第１の実施例による色補正装置の動作
を示すフローチャートである。
【図９】本発明の第２の実施例による色補正装置の構成
を示すブロック図である。
【図１０】図９の拡張対象物色情報記憶メモリの記述例
を示す図である。
【図１１】本発明の第２の実施例による色補正装置の動
作を示すフローチャートである。
【図１２】本発明の第３の実施例による色補正装置の構
成を示すブロック図である。
【図１３】本発明の第３の実施例による色補正装置の動
作を示すフローチャートである。
【図１４】本発明の第４の実施例による色補正装置の構
成を示すブロック図である。
【図１５】図１４の入出力機器指定手段で用いられるＧ
ＵＩの一例を示す図である。
【図１６】本発明の第５の実施例による色補正装置の構
成を示すブロック図である。
【図１７】図１６の手動色補正処理手段で用いられるＧ
ＵＩの一例を示す図である。
【符号の説明】
１〜５ 色補正装置 １１ 対象物選択手段 １２ 対象物色情報記憶メモリ １３ 代表色抽出手段 １４ 色補正パラメータ記憶メモリ １５ 色補正パラメ‐タ決定手段 １６ 色補正処理手段 １７ 拡張対象物色情報記憶メモリ １８ ヒストグラム作成手段 １９ 分散計算手段 ２０ 対象物領域分散記憶メモリ ２１ 代表色決定手段 ２２ 入力別対象物色情報記憶メモリ ２３ 出力別色補正パラメータ記憶メモリ ２４ 入出力機器指定手段 ２５ 手動色補正処理手段 ２６ サンプル画像記憶メモリ ２７ 色補正パラメータ生成手段
フロントページの続き (56)参考文献 特開 平６−133329（ＪＰ，Ａ) 特開 平３−229572（ＪＰ，Ａ) 特開 平２−220566（ＪＰ，Ａ) 特開 平10−198795（ＪＰ，Ａ) 特開 平６−309433（ＪＰ，Ａ) 特開 平６−121159（ＪＰ，Ａ) 特開 平８−79549（ＪＰ，Ａ) 特開 平11−17969（ＪＰ，Ａ) 特開 平11−17963（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 5/00 100 H04N 1/46 H04N 1/60

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項１】 カラー画像中の特定対象物に色補正を施
    す自動色補正装置であって、前記特定対象物の色相分布
    可能領域を分割して得られる分割色相領域及び分布頻度
    を記憶する対象物色情報記憶メモリと、前記対象物色情
    報記憶メモリの記憶内容を基に任意入力画像中から前記
    特定対象物の代表色を抽出する代表色抽出手段と、前記
    特定対象物の色相分布可能領域を分割して得られる分割
    色相領域に対して割り振られる色補正パラメータを記憶
    する色補正パラメータ記憶メモリと、前記代表色抽出手
    段で抽出された代表色に最適な色補正パラメータを前記
    色補正パラメータ記憶メモリの記憶内容から決定する色
    補正パラメータ決定手段と、前記色補正パラメータ決定
    手段で得られた色補正パラメータを利用して特定色相に
    のみ作用する色補正変換を行う色補正処理手段とを有す
    ることを特徴とする自動色補正装置。
  2. 【請求項２】 特定対象物について予め様々な撮影環境
    下で撮影された複数の画像を解析して得た前記特定対象
    物の色相と彩度と明度とのうちの一つとそれらを組合せ
    たものとのいずれかに関する分布可能範囲を分割して得
    られる分割領域及び分布頻度を記憶する拡張対象物色情
    報記憶メモリを含み、 前記代表色抽出手段において、前記色相と彩度と明度と
    のうちの一つとそれらを組合せたものとのいずれかに関
    する分割領域を基に入力画像中における前記特定対象の
    色相と彩度と明度とのうちの一つとそれらを組合せたも
    のとのいずれかのヒストグラムを得て、前記拡張対象物
    色情報記憶メモリの分布頻度と前記ヒストグラムとを掛
    け合わせ、その最大値を有した領域中に存在する色を特
    定対象物の代表色として抽出するようにしたことを特徴
    とする請求項１記載の自動色補正装置。
  3. 【請求項３】 前記代表色抽出手段において、特定対象
    物の色相と彩度と明度とのうちの一つとそれらを組合せ
    たものとのいずれかの分布頻度に加え、画像中の座標位
    置の分散をも利用することによって前記特定対象物の代
    表色を抽出するようにしたことを特徴とする請求項１ま
    たは請求項２記載の自動色補正装置。
  4. 【請求項４】 前記色補正パラメータ記憶メモリにおい
    て、対象物の色相だけでなく対象物の彩度分布可能領域
    及び明度分布可能領域をそれぞれ複数個に分割した分割
    彩度領域及び分割明度領域のそれぞれの領域に割り振ら
    れた色補正パラメータを記憶するようにしたことを特徴
    とする請求項１から請求項３のいずれか記載の自動色補
    正装置。
  5. 【請求項５】 入力機器毎に前記特定対象物の色相と彩
    度と明度とのうちの一つとそれらを組合せたものとのい
    ずれかに関する分布可能範囲を分割して得られる分割領
    域及び分布頻度を記憶する入力別対象物色情報記憶メモ
    リと、出力機器毎に色補正パラメータを保持する出力別
    色補正パラメータ記憶メモリと、外部から入力される入
    出力カラー画像機器の機種に応じて前記入力別対象物色
    情報記憶メモリ及び前記出力別色補正パラメータ記憶メ
    モリから対応する情報を読出す入出力機器指定手段とを
    含むことを特徴とする請求項１から請求項４のいずれか
    記載の自動色補正装置。
  6. 【請求項６】 前記特定対象物の複数種類のカラー画像
    を記憶するサンプル画像記憶メモリと、外部指示に応じ
    て前記サンプル画像記憶メモリに記憶されている画像の
    色に対する情報を入力する手動色補正処理手段と、前記
    手動色補正手段から入力された情報を基に前記色補正パ
    ラメータ記憶メモリに記述する色補正パラメータを作成
    する色補正パラメータ生成手段とを含むことを特徴とす
    る請求項１から請求項５のいずれか記載の自動色補正装
    置。
  7. 【請求項７】 カラー画像中の特定対象物に色補正を施
    す自動色補正方法であって、任意入力画像中から前記特
    定対象物の代表色を抽出するステップと、抽出された前
    記代表色に最適な色補正パラメータを前記特定対象物の
    色相に関する分布可能領域を分割して得られる分割色相
    領域に対して割り振られる色補正パラメータを記憶する
    色補正パラメータ記憶メモリの内容に基づいて決定する
    ステップと、前記最適な色補正パラメータを利用して特
    定色相にのみ作用する色補正変換を行うステップとを有
    することを特徴とする自動色補正方法。
  8. 【請求項８】 前記色補正パラメータ記憶メモリに、対
    象物の分割色相領域のほかに前記対象物の彩度分布可能
    領域及び明度分布可能領域をそれぞれ複数個に分割した
    分割彩度領域及び分割明度領域のそれぞれの領域に対し
    て割り振られる色補正パラメータを記録するようにした
    ことを特徴とする請求項７記載の自動色補正方法。
  9. 【請求項９】 前記代表色を抽出するステップにおい
    て、特定対象物の色相と彩度と明度とのうちの一つとそ
    れらを組合せたものとのいずれかに関する分布頻度に加
    え、画像中の座標位置の分散をも利用することによって
    前記特定対象物の代表色を抽出するようにしたことを特
    徴とする請求項７または請求項８記載の自動色補正方
    法。
  10. 【請求項１０】 カラー画像中の特定対象物に色補正を
    施す自動色補正装置に自動色補正を行わせるための自動
    色補正制御プログラムを記録した記録媒体であって、前
    記自動色補正制御プログラムは前記自動色補正装置に、
    任意入力画像中から前記特定対象物の代表色を抽出さ
    せ、前記特定対象物の色相に関する分布可能領域を分割
    して得られる分割色相領域に対して色補正パラメータを
    割り振らせ、抽出された前記代表色に最適な色補正パラ
    メータを決定させ、前記最適な色補正パラメータを利用
    して特定色相にのみ作用する色補正変換を行わせること
    を特徴とする自動色補正制御プログラムを記録した記録
    媒体。
JP26793799A 1999-09-22 1999-09-22 自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体 Expired - Fee Related JP3264273B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP26793799A JP3264273B2 (ja) 1999-09-22 1999-09-22 自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体
US09/666,801 US7016075B1 (en) 1999-09-22 2000-09-21 Apparatus and method for automatic color correction and recording medium storing a control program therefor
DE60042542T DE60042542D1 (de) 1999-09-22 2000-09-22 Automatische Farbkorrekturvorrichtung und -verfahren
EP00250315A EP1087614B1 (en) 1999-09-22 2000-09-22 Apparatus and method for automatic color correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26793799A JP3264273B2 (ja) 1999-09-22 1999-09-22 自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001092956A JP2001092956A (ja) 2001-04-06
JP3264273B2 true JP3264273B2 (ja) 2002-03-11

Family

ID=17451686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26793799A Expired - Fee Related JP3264273B2 (ja) 1999-09-22 1999-09-22 自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体

Country Status (4)

Country Link
US (1) US7016075B1 (ja)
EP (1) EP1087614B1 (ja)
JP (1) JP3264273B2 (ja)
DE (1) DE60042542D1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007007788A1 (ja) 2005-07-13 2007-01-18 Nec Corporation 色補正方法および色補正装置
US7623704B2 (en) 2003-01-31 2009-11-24 Fuji Xerox Co. Ltd. Color processing method, color processing apparatus, and storage medium
WO2010087162A1 (ja) 2009-01-27 2010-08-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置および記録媒体
WO2010087164A1 (ja) 2009-01-29 2010-08-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置および記録媒体
WO2012001949A1 (ja) 2010-06-30 2012-01-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
WO2012001948A1 (ja) 2010-06-30 2012-01-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1231777A1 (en) * 2001-02-09 2002-08-14 GRETAG IMAGING Trading AG Correction of colors of photographic images
EP1248455A1 (en) 2001-04-05 2002-10-09 Imip Llc Automatic content-analysis based use of colour correction process
JP3876650B2 (ja) 2001-06-06 2007-02-07 日本電気株式会社 色補正パラメータ算出装置、画像色補正装置及びそれに用いる色補正パラメータ算出方法並びにそのプログラム
FR2829604B1 (fr) * 2001-09-12 2004-01-16 Eastman Kodak Co Selection interactive de donnees dans des images numeriques
EP1545135B1 (en) * 2002-09-26 2013-04-03 Seiko Epson Corporation Adjusting output image of image data
DE10256225B4 (de) * 2002-11-26 2005-02-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Automatische Qualitätsverbesserung eines nicht binären Bildes
JP2004266783A (ja) * 2003-02-04 2004-09-24 Vanfu Inc 色画像印刷準備に於けるカラー・マッチング方法
US20040169889A1 (en) * 2003-02-27 2004-09-02 Toshiba Tec Kabushiki Kaisha Image processing apparatus and controller apparatus using thereof
JP4196845B2 (ja) * 2003-03-31 2008-12-17 セイコーエプソン株式会社 画像処理装置
JP4046647B2 (ja) * 2003-05-29 2008-02-13 松下電器産業株式会社 色彩調整装置及びその方法
KR100839959B1 (ko) * 2003-09-01 2008-06-20 삼성전자주식회사 디스플레이장치
WO2005057908A1 (ja) * 2003-12-11 2005-06-23 Fujitsu Limited 画像処理方法及びプログラム、並びに装置
JP2005190435A (ja) * 2003-12-26 2005-07-14 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像記録装置
JP2005202469A (ja) * 2004-01-13 2005-07-28 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびプログラム
JP4007964B2 (ja) * 2004-01-19 2007-11-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP4042736B2 (ja) * 2004-02-19 2008-02-06 ソニー株式会社 画像処理装置及び画像処理方法
JP4209439B2 (ja) * 2004-02-25 2009-01-14 パナソニック株式会社 画像処理装置、画像処理システム、画像処理方法、画像処理プログラムおよび集積回路装置
JP2010233236A (ja) * 2004-03-08 2010-10-14 Seiko Epson Corp 主要被写体に応じた画質の向上
JP4608961B2 (ja) * 2004-03-08 2011-01-12 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム
US7668365B2 (en) 2004-03-08 2010-02-23 Seiko Epson Corporation Determination of main object on image and improvement of image quality according to main object
FI20040834A0 (fi) * 2004-06-17 2004-06-17 Petri Piirainen Menetelmä kameran ja/tai näyttölaitteen värikalibroimiseksi
JP2006013836A (ja) * 2004-06-25 2006-01-12 Seiko Epson Corp カラー画像のカラー画像データを処理する画像データ処理
WO2006028108A1 (ja) * 2004-09-07 2006-03-16 Nec Corporation 画像処理システム及びその方法と、それに用いられる端末及びサーバ
JP2006093946A (ja) * 2004-09-22 2006-04-06 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
JP4604623B2 (ja) * 2004-09-22 2011-01-05 富士ゼロックス株式会社 画像処理装置
JP4400739B2 (ja) * 2004-09-30 2010-01-20 セイコーエプソン株式会社 色変換方法、色変換装置、色変換プログラム、印刷制御方法、印刷制御装置および印刷制御プログラム
KR100731356B1 (ko) 2005-09-21 2007-06-21 삼성전자주식회사 자연색 보정기능을 구비한 단말장치 및 자연색 보정방법
JP4735170B2 (ja) * 2005-09-30 2011-07-27 オムロン株式会社 画像処理装置および画像処理方法
KR100791373B1 (ko) 2005-12-12 2008-01-07 삼성전자주식회사 선호 색을 변환하는 장치 및 방법
JP4400560B2 (ja) 2005-12-20 2010-01-20 セイコーエプソン株式会社 デジタルコンテンツ作成システム、プログラムおよび記憶媒体
EP1965348A4 (en) 2005-12-21 2014-06-18 Nec Corp GRAY SCALE CORRECTION METHOD, GRAY SCALE CORRECTION DEVICE, GRAY SCALE CORRECTION PROGRAM, AND IMAGE DEVICE
KR100791380B1 (ko) 2006-01-17 2008-01-07 삼성전자주식회사 보색 대비를 이용하여 영상을 향상하는 방법 및 장치
US8290275B2 (en) * 2006-01-20 2012-10-16 Kansai Paint Co., Ltd. Effective pigment identification method, identification system, identification program, and recording medium therefor
JP4615459B2 (ja) * 2006-03-09 2011-01-19 ルネサスエレクトロニクス株式会社 色補正装置、色補正方法及びプログラム
JP2007306259A (ja) 2006-05-10 2007-11-22 Sony Corp 設定画面表示制御装置、サーバー装置、画像処理システム、印刷装置、撮像装置、表示装置、設定画面表示制御方法、プログラム及びデータ構造
US7801356B2 (en) * 2006-05-15 2010-09-21 Cisco Technology, Inc. Methods and apparatuses for generating compressed data representing a visual frame
JP2008053801A (ja) * 2006-08-22 2008-03-06 Kyocera Mita Corp 画像処理装置、画像形成装置及び画像圧縮方法
KR101310224B1 (ko) * 2006-11-22 2013-09-24 삼성전자주식회사 디지털 촬영장치의 제어방법 및 이 방법을 채용한 디지털촬영장치
JP5211768B2 (ja) * 2007-03-16 2013-06-12 株式会社ニコン 画像処理装置、撮像装置、および画像処理プログラム
US8055071B2 (en) 2007-03-16 2011-11-08 Nikon Corporation Image processing apparatus, imaging apparatus and recording medium storing image processing program
JP4305540B2 (ja) * 2007-03-22 2009-07-29 村田機械株式会社 画像処理装置
JP4389977B2 (ja) 2007-06-29 2009-12-24 ブラザー工業株式会社 画像印刷装置、画像印刷方法、画像印刷プログラム
US20090073464A1 (en) * 2007-09-18 2009-03-19 Barinder Singh Rai Selective Color Replacement
US8638338B2 (en) 2008-02-11 2014-01-28 Apple Inc. Adjusting color attribute of an image in a non-uniform way
WO2009104787A1 (ja) 2008-02-22 2009-08-27 日本電気株式会社 カラー画像処理方法、装置およびプログラム
US8428351B2 (en) 2008-12-24 2013-04-23 Brother Kogyo Kabushiki Kaisha Image processing device
JP2010154009A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd 画像処理装置と画像処理プログラム
KR101295881B1 (ko) 2009-07-10 2013-08-12 엘지디스플레이 주식회사 선호색 보정방법과 이를 이용한 표시장치
JP2012070360A (ja) * 2010-08-26 2012-04-05 Ricoh Co Ltd 制御装置、画像形成装置、及び制御方法
US8594426B2 (en) 2011-02-04 2013-11-26 Apple Inc. Color matching using color segmentation
US8842911B2 (en) 2011-02-04 2014-09-23 Apple Inc. Luma-based color matching
US8611655B2 (en) 2011-02-04 2013-12-17 Apple Inc. Hue-based color matching
US20120210229A1 (en) * 2011-02-16 2012-08-16 Andrew Bryant Color workflow
CN102568437B (zh) * 2012-01-20 2014-07-30 华为终端有限公司 图像显示方法及设备
US20130239051A1 (en) 2012-03-06 2013-09-12 Apple Inc. Non-destructive editing for a media editing application
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US9202433B2 (en) 2012-03-06 2015-12-01 Apple Inc. Multi operation slider
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
JP2015514367A (ja) * 2012-03-27 2015-05-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ カラーグレーディングプレビュー方法及び装置
JP5867737B2 (ja) 2013-01-17 2016-02-24 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5999359B2 (ja) * 2013-01-30 2016-09-28 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP6179132B2 (ja) * 2013-03-05 2017-08-16 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、プログラム及び記録媒体
JP6335498B2 (ja) * 2013-03-19 2018-05-30 キヤノン株式会社 画像処理装置及びその制御方法
JP2015032146A (ja) * 2013-08-02 2015-02-16 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム
CN103974049B (zh) * 2014-04-28 2015-12-02 京东方科技集团股份有限公司 一种穿戴式投影装置及投影方法
JP6423625B2 (ja) * 2014-06-18 2018-11-14 キヤノン株式会社 画像処理装置および画像処理方法
KR102435903B1 (ko) * 2015-12-30 2022-08-26 엘지디스플레이 주식회사 표시장치와 그 구동 방법
US10289926B2 (en) 2017-05-03 2019-05-14 Accenture Global Solutions Limited Target object color analysis and tagging
PL3599448T3 (pl) * 2018-07-27 2023-10-09 Hubergroup Deutschland Gmbh Sposób i urządzenie do przetwarzania danych do ustalania receptury barwnej
CN113099191B (zh) * 2021-03-22 2023-04-07 浙江大华技术股份有限公司 一种图像处理方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5660439A (en) 1979-10-22 1981-05-25 Dainippon Screen Mfg Co Ltd Color separation method
JPH02220566A (ja) 1989-02-21 1990-09-03 Dainippon Screen Mfg Co Ltd カラー画像データのマスキング方法
JPH03229572A (ja) 1990-02-05 1991-10-11 Matsushita Electric Ind Co Ltd 色調整装置と色調整マトリクス算出方法
JP2573434B2 (ja) * 1991-05-31 1997-01-22 松下電工株式会社 特定色抽出方法
JPH06121159A (ja) 1992-10-02 1994-04-28 Fujitsu Ltd カラー画像処理装置
JP3304427B2 (ja) 1992-10-14 2002-07-22 ソニー株式会社 カラー画像の色ずれ補正装置
JP3387071B2 (ja) 1993-04-20 2003-03-17 ソニー株式会社 画像識別装置および方法
JPH0879549A (ja) 1994-09-06 1996-03-22 Fuji Xerox Co Ltd 画像処理装置
IL115026A (en) 1995-08-21 2001-03-19 Scitex Corp Ltd A method for matching object colors to print colors
JPH10136209A (ja) * 1996-10-29 1998-05-22 Toshiba Corp 画像処理方法および画像処理装置
JP2830871B2 (ja) 1996-11-18 1998-12-02 日本電気株式会社 画像の色補正装置及び色補正プログラムを記録した記録媒体
US6701011B1 (en) * 1997-01-20 2004-03-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method and storage medium
JPH1117969A (ja) 1997-06-23 1999-01-22 Fuji Photo Film Co Ltd 色補正方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623704B2 (en) 2003-01-31 2009-11-24 Fuji Xerox Co. Ltd. Color processing method, color processing apparatus, and storage medium
WO2007007788A1 (ja) 2005-07-13 2007-01-18 Nec Corporation 色補正方法および色補正装置
US8023736B2 (en) 2005-07-13 2011-09-20 Nec Corporation Color correction method and color correction apparatus
WO2010087162A1 (ja) 2009-01-27 2010-08-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置および記録媒体
US8705855B2 (en) 2009-01-27 2014-04-22 Nec Corporation Color image processing method, color image processing device, and color image processing program
WO2010087164A1 (ja) 2009-01-29 2010-08-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置および記録媒体
US8693773B2 (en) 2009-01-29 2014-04-08 Nec Corporation Color image processing method, color image processing device, and recording medium
WO2012001949A1 (ja) 2010-06-30 2012-01-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
WO2012001948A1 (ja) 2010-06-30 2012-01-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム

Also Published As

Publication number Publication date
EP1087614A3 (en) 2003-04-02
EP1087614A2 (en) 2001-03-28
EP1087614B1 (en) 2009-07-15
DE60042542D1 (de) 2009-08-27
US7016075B1 (en) 2006-03-21
JP2001092956A (ja) 2001-04-06

Similar Documents

Publication Publication Date Title
JP3264273B2 (ja) 自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体
US7271838B2 (en) Image pickup apparatus with brightness distribution chart display capability
US8265420B2 (en) Digital image exposure correction
JP3880553B2 (ja) 画像処理方法および装置
US7453598B2 (en) Image processing method and apparatus, and color conversion table generation method and apparatus
JP2856229B2 (ja) 画像切り出し箇所検出方法
JP4258550B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP2006080746A (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JPWO2006059573A1 (ja) 色彩調整装置及び方法
JP6786850B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2013164796A (ja) 画像処理装置、画像処理方法およびプログラム
JP2003125222A (ja) テーブルを調整する画像処理方法を実現するためのプログラム
US7340104B2 (en) Correction parameter determining method, correction parameter determining apparatus, computer program, and recording medium
JP3673092B2 (ja) 画質調整装置及び画質調整方法、並びに画像調整用プログラムを記録した記録媒体
JP2005346474A (ja) 画像処理方法及び装置及びプログラム及び記憶媒体
JP2936599B2 (ja) カラー画像処理装置
JP2862269B2 (ja) 画像処理方法
JP2004080100A (ja) 色変換テーブル作成方法及び装置並びに色変換方法及び装置及び撮像装置
JP2008294969A (ja) 映像変換装置、映像変換方法、映像変換プログラム
JP2002208013A (ja) 画像領域抽出装置及び画像領域抽出方法
JPH10341352A (ja) 画像処理装置
JP7329964B2 (ja) 画像処理装置および画像処理方法およびプログラム
JPH0528263A (ja) カラー画像処理装置
JP3801177B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP4046780B2 (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3264273

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081228

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131228

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees