JPWO2012001949A1 - カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム - Google Patents

Abstract

対象物領域検出手段は、画像処理の対象とする領域である対象物領域を入力画像から検出する。反射成分復元手段は、対象物領域における色情報及びその対象物領域における低周波成分である完全拡散成分を算出し、その色情報及び低周波成分に基づいて表面反射成分を復元する。表面反射成分補正手段は、対象物領域に応じて予め設定された表面反射成分である参照表面反射成分に応じて、復元された表面反射成分を補正する。再現色算出手段は、完全拡散成分と、補正された表面反射成分とを用いて、入力画像における各画素を補正した色である再現色を算出し、その再現色に基づいて出力画像を生成する。

Description

本発明は、カラー画像に対する画像処理に関し、特に、撮影機器を用いて実際に撮影されたカラー画像中の物体の質感を向上させる画像処理を行うカラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラムに関する。

カラー画像撮影装置によって撮影されたカラー画像を高画質化する手法として、カラー画像中の特定対象物（例えば、肌の色、草木の緑、青空など）の色を、その対象物の記憶色に近づける手法が各種提案されている。このような手法を用いることで好ましい色を再現することが可能になる。

例えば、特許文献１には、カラー画像の色補正に関する技術が開示されている。特許文献１に記載された自動色補正方法では、画像中の補正対象とする領域から代表色を抽出し、その代表色をあらかじめ設定された補正の中心色と比較してＲＧＢ補正パラメータを決定する。そして、画像中の画素と中心色との距離に応じて補正パラメータの適用強度をコントロールすることで、各画素を補正する。

具体的には、特許文献１に記載された方法では、各画素の色情報であるＲＧＢ値から各画素の色相、彩度、明度を計算する。そして、色空間における各画素の色と補正の中心色との距離を計算し、その距離に応じて補正強度を調整する。このようにして、対象物の色を重点的に補正する。

なお、この手法では、ＲＧＢ色空間で補正パラメータの加減算に基づく色補正が行われる。例えば、顔の肌色の場合、ＲＧＢの補正量は、画素毎に補正の中心色との距離に応じて計算される。顔領域を全体的に明るくする場合には、顔領域のほぼ全領域の各画素のＲＧＢ値に対して、補正の中心色との上記距離に応じた補正パラメータが加減算される。

特許文献２には、入力画像中の顔領域を検出する技術が開示されている。特許文献２に記載された目検出方法は、目を単独で評価した場合には特徴不足のために他の部分と判別できなかった場合にも、両目のなす特徴を基にした両目ペア評価値を用いることによって目と他の部分とを判別する。

他にも、カラー画像の補正処理に関連する技術が、特許文献３〜５に記載されている。特許文献３には、分光色の画像データを色補正する際、分光色を元の次元よりも低次元の色空間に変換し、低次元色空間内で色補正を行ったあと、低次元の分光色から適切な次元の分光色を生成する色補正装置および方法が開示されている。

特許文献４には、基準白色が異なる表色系間で、色の見え方を一致させながら元色空間を目的色空間の色へ変換させる色変換方法が開示されている。具体的には、特許文献４に記載された色変換方法では、元色空間の基準白色である元基準白色の色温度から元基準白色の分光分布特性を復元する。また、目的色空間の基準白色である目的基準白色の色温度から目的基準白色の分光分布特性を復元する。そして、任意の色における三刺激値と、元基準白色の光分布特性と、人間の等色関数とを利用して、元色空間における任意の色の表面反射率を復元する。さらに、復元された表面反射率と、復元された目的基準白色の分光分布特性と、人間の等色関数とに基づいて、目的色空間における色である三刺激値を求める。

特許文献５には、さまざまな照明環境下で撮影された自然画像における重要被写体に対し、自動的に良好な色補正を行う技術が開示されている。具体的には、特許文献５に記載された色補正方法では、特定対象物の体表色を抽出し、抽出された代表色に最適な色補正パラメータを設定する。このパラメータを用いて特定色相にのみ作用する色補正変換を行う。このような変換を行うことで、様々な照明環境下で撮影された自然画像における重要被写体に対して自動的に色補正を施すことが可能になる。

また、特許文献６には、顔の皮膚反射モデルを生成して、そのモデルを顔画像のレンダリングに適用する技術が記載されている。特許文献６に記載された方法では、まず、顔を３Ｄスキャナでスキャンした３次元形状を取得する。この際、異なる視点から異なる照明方向で照らした複数の顔画像を取得する。そして、これらの表面スキャンデータと画像データとを用いて、全反射率と法線マップを推定する。また、全反射率は、表面下散乱と（鏡面）表面反射率の２つの成分に分離され、これらをもとに拡散反射率を推定する。さらに、光ファイバスペクトロメータを用いて表面下反射率をスキャンし、透光性マップを求める。

また、特許文献７には、画像を構成する画素の画素値を、３次元物体における表面反射による表面反射光成分と、拡散反射による拡散反射光成分に分離し、表面反射光成分と拡散反射光成分のうちの少なくとも一方を変更する画像処理方法が記載されている。特許文献７に記載された画像処理方法では、Ｋｌｉｎｋｅｒらによる反射モデル（以下、クリンカの分離法と記す。）を用いて、反射モデルを表面反射光成分と拡散反射光成分に分離する。そして、分離した各反射成分を、Ｐｈｏｎｇ ｉｌｌｕｍｉｎａｔｉｏｎモデルやＬａｍｂｅｒｔｉａｎ Ｒｅｆｌｅｃｔｉｏｎモデルなどを利用して変更する。

さらに、非特許文献１には、一般化学習ベクトル量子化を用いた顔検出手法が記載されている。また、非特許文献２には、一般化学習ベクトル量子化を用いた、Ｉｍａｇｅ−ｂａｓｅｄ型と目の検出を行うＦｅａｔｕｒｅ−ｂａｓｅｄ型とを組み合わせた顔検出方法が記載されている。

また、顔の三次元形状を得るための方法として、特許文献６に記載されている３Ｄスキャナを使用する方法の他、２次元の顔画像から３次元形状（３次元情報）の顔情報に復元する方法も知られている（例えば、非特許文献３）。

なお、特許文献１〜２に記載された事項および非特許文献１〜２に記載された事項については、本発明の実施形態中で適宜引用する。

特許第３２６４２７３号公報 特開２００３−３１７０８４号公報 特開２００４−４５１８９号公報 特開平１０−２２９４９９号公報 特開２００１−９２９５６号公報 特開２００６−２７７７４８号公報 特開２００１−５２１４４号公報

細井 利憲，鈴木 哲明，佐藤 敦著、「一般化学習ベクトル量子化による顔検出」、ＦＩＴ２００２、Ｉ−３０、２００２年９月 田島譲二著、「画像工学シリーズ１０ カラー画像複製論 カラーマネジメントの基礎」、丸善株式会社、平成８年９月３０日、ｐ．３３−３９ 石山 塁著、「一般３Ｄ顔モデルを用いた姿勢変換による非正面顔画像の照合」、電子情報通信学会、２００７年総合大会、Ｄ−１２−０８５、２００７年、ｐ．２０１

特許文献１に記載された色補正方法のように、カラー画像中における補正対象の領域に対して、ＲＧＢや、色相、彩度、明度といった色の３属性を用いて補正を行う方法では、物体の本来の質感が低下してしまう場合がある。その理由は、特許文献１に記載された色補正方法では、画像中のある対象物が示す領域の補正を行う際、その対象物全体に対して、明るくする、彩度を高める、色相を変化させるなどの色補正が行われる。画像中のある対象物の色を明るく補正する際、通常もともと高い画素値を持っている色成分（例えば赤）については飽和する現象が起こり、それ以外の色成分（緑、青）については補正パラメータが加減算される現象が起こる。対象物の領域全体にこの処理が行われると、対象物の領域における色情報又は画素値の分散が小さくなり、対象物の領域における見かけの質感が低下してしまう。

すなわち、特許文献１に記載されるような一般的な補正方法では、カラー画像中の対象物の色を、より所望の色にすることで高画質化を実現している半面、質感が低下してしまうという問題があった。

また、特許文献６では、顔画像のレンダリングに人間の皮膚反射モデルを適用することが提案されている。しかし、特許文献６に記載された方法では、顔画像の３次元情報を得るために、特別な測定装置である光ファイバスペクトロメータを必要とする。そのため、一般的なカラー画像処理装置で行う色補正にこの方法を適用することは困難である。

上記問題を解決するため、非特許文献３に記載されているように、顔画像の３次元情報を得る方法として、２次元顔画像から３次元顔画像への復元技術を用いることも可能である。しかし、一般的なカラー画像処理で色補正を行う場合、非特許文献３に記載された復元技術よりも、より計算コストを抑えられることが好ましい。すなわち、上述した特殊な測定装置や、高い計算コストが要求されるような手法を用いずにカラー画像処理を行えることが望ましい。

また、特許文献７に記載された画像処理方法では、画像中における物体の３次元情報の復元を行わず、クリンカの分離法や、Ｐｈｏｎｇ ｉｌｌｕｍｉｎａｔｉｏｎモデル、Ｌａｍｂｅｒｔｉａｎ Ｒｅｆｌｅｃｔｉｏｎモデルといった、照明や反射に関するモデルを応用することで、色を変更させている。特許文献７に記載された画像処理方法は、プラスティック、塗料、紙、焼き物など、想定する反射モデルがよく一致する場合には効果的な手法である。しかし、特許文献７に記載された画像処理方法を用いて、人間の肌などの複雑な反射特性を有する物体を変更しようとすると、アーティファクトが出てしまうなどの問題がある。そのため、特許文献７に記載された画像処理方法では、対象物を所望の色に再現し、質感を向上させることができるとは言い難い。なお、特許文献７には、入力画像中の対象物を望ましい画質に補正するための方法は示されていない。

そこで、本発明は、カラー画像機器で撮影されたカラー画像中の対象物について、低い計算コストで質感を向上させることができるカラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラムを提供することを目的とする。

本発明によるカラー画像処理方法は、画像処理の対象とする領域である対象物領域を入力画像から検出し、対象物領域における色情報及びその対象物領域における低周波成分である完全拡散成分を算出し、色情報及び低周波成分に基づいて表面反射成分を復元し、対象物領域に応じて予め設定された表面反射成分である参照表面反射成分に応じて、復元された表面反射成分を補正し、完全拡散成分と、補正された表面反射成分とを用いて、入力画像における各画素を補正した色である再現色を算出し、再現色に基づいて出力画像を生成することを特徴とする。

本発明によるカラー画像処理装置は、画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出手段と、対象物領域における色情報及びその対象物領域における低周波成分である完全拡散成分を算出し、その色情報及び低周波成分に基づいて表面反射成分を復元する反射成分復元手段と、対象物領域に応じて予め設定された表面反射成分である参照表面反射成分に応じて、復元された表面反射成分を補正する表面反射成分補正手段と、完全拡散成分と、補正された表面反射成分とを用いて、入力画像における各画素を補正した色である再現色を算出し、その再現色に基づいて出力画像を生成する再現色算出手段とを備えたことを特徴とする。

本発明によるカラー画像処理プログラムは、コンピュータに、画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出処理、対象物領域における色情報及びその対象物領域における低周波成分である完全拡散成分を算出し、その色情報及び低周波成分に基づいて表面反射成分を復元する反射成分復元処理、対象物領域に応じて予め設定された表面反射成分である参照表面反射成分に応じて、復元された表面反射成分を補正する表面反射成分補正処理、および、完全拡散成分と、補正された表面反射成分とを用いて、入力画像における各画素を補正した色である再現色を算出し、その再現色に基づいて出力画像を生成する再現色算出処理を実行させることを特徴とする。

本発明によれば、カラー画像機器で撮影されたカラー画像中の対象物について、低い計算コストで質感を向上させることができる。

本発明におけるカラー画像処理の一例を示す説明図である。 本発明によるカラー画像処理装置の一実施形態を示すブロック図である。 本発明の第１の実施形態におけるカラー画像処理方法の例を示すフローチャートである。 入力画像中の対象物領域を検出する処理の例を示す説明図である。 第１の実施形態におけるカラー画像処理方法に適用されるカラー画像処理装置の例を示すブロック図である。 第１の実施形態におけるカラー画像処理方法に適用されるカラー画像処理装置の例を示すブロック図である。 ユーザ対話部９が表示するＧＵＩの一例を示す説明図である。 本発明によるカラー画像処理装置の最小構成例を示すブロック図である。

以下、本発明の実施形態を、図面を参照しながら説明する。なお、説明の明確化のため、以下の説明で用いる図面には、適宜、模式的に表現した図が用いられるものとする。また、各図面において同一の構成または同一の機能を有する構成要素およびその構成要素に相当する部分には同一の符号を付し、一度説明した構成または機能については、後の記載においてその説明を省略する。

まず初めに、本発明によるカラー画像処理装置が行うカラー画像処理方法の一態様について、その概要を説明する。本発明によるカラー画像処理方法では、入力画像中の特定対象物の質感を向上させる際、まず、カラー画像処理装置は、入力画像中の特定対象物の低周波成分を算出する。次に、カラー画像処理装置は、算出した低周波成分を、特定対象物における陰影情報を含んだ完全拡散成分として用いる。そして、カラー画像処理装置は、入力画像から完全拡散成分（陰影情報を含む）を減算することで、その特定対象物上における表面反射成分（ハイライト）を算出する。

次に、カラー画像処理装置は、算出された特定対象物の表面反射成分の量を所望の量に補正する。そして、カラー画像処理装置は、補正された表面反射成分と、陰影情報を含んだ完全拡散分とを用いて、特定対象物の再現色を算出する。ここで、再現色とは、入力画像における各画素を補正した色であり、補正された表面反射成分と完全拡散成分とから算出される。このようにすることで、特定対象物の補正後の見かけの質感を、より自然に近く、かつ、より好ましい質感で表現することが出来る。

なお、上述する処理概要に記載された単語の意味については後述する。

図１は、本発明におけるカラー画像処理の一例を示す説明図である。以下、本発明におけるカラー画像処理装置が行うカラー画像処理方法の概要について、図１を用いてさらに説明する。

Ｉ．まず、カラー画像処理装置は、入力される入力画像に関する情報を取得する（以下、画像情報取得処理と記す。）。具体的には、カラー画像処理装置は、入力画像が入力されると、その入力画像から特定対象物を特定する。特定対象物とは、補正する対象として特定される領域のことである。カラー画像処理装置は、特定対象物を特定することにより、表面反射成分を補正する領域（以下、対象物領域と記すこともある。）を検出する。また、併せて、カラー画像処理装置は、特定対象物の色情報（すなわち、対象物領域の色）を取得する。

ＩＩ．次に、カラー画像処理装置は、特定対象物の反射情報を復元する（以下、反射情報復元処理と記す。）。ここで、反射情報とは、特定対象物上で反射する反射光に関する情報である。特定対象物の反射情報は、一般的に、特定対象物の３次元形状に基づいて、照明の幾何条件をもとに復元される。一方、本発明におけるカラー画像処理方法では、３次元形状の代わりに特定対象物の低周波成分を利用する。

カラー画像処理装置は、まず、特定対象物の低周波成分を、陰影情報を含む完全拡散成分とする。そして、カラー画像処理装置は、特定対象物の色情報から低周波成分を取り除くことで、表面反射成分を復元する。このとき、カラー画像処理装置は、入力画像の各画素の画素値について、色情報から低周波成分を減算することにより、表面反射成分を算出する。以上により、特定対象物の色情報が、表面反射成分と完全拡散成分（すなわち、陰影情報を含む完全拡散成分）に分離される。すなわち、表面反射成分が復元される。

ここで、表面反射成分とは、物体の表面上で反射する反射光の成分であり、いわゆる「テカリ」を示す情報である。また、完全拡散成分とは、特定対象物の低周波成分であり、陰影情報とは、その完全拡散成分の輝度を示す情報である。

ＩＩＩ．カラー画像処理装置は、表面反射成分を補正する（以下、表面反射成分補正処理と記す。）。具体的には、カラー画像処理装置は、表面反射成分の平均値、参照表面反射成分を用いて、表面反射成分を補正する。ここで、参照表面反射成分とは、ユーザ等により好ましい質感であると判断される、特定対象物（対象物領域）に応じて予め設定された表面反射成分である。

ＩＶ．カラー画像処理装置は、陰影情報を含む完全拡散成分と、補正した表面反射成分（以下、補正表面反射成分と記すこともある。）とを用いて、特定対象物の再現色を算出する（以下、再現色算出処理と記す）。

なお、以下の説明では、特定対象物から検出した対象物領域が複数の画素から構成されていることを前提とする。また、各画素は色情報を有するものとする。なお、色情報のことを、画素値と記すこともある。色情報には、少なくとも、表面反射成分、完全拡散成分（陰影情報を含む）が含まれることを前提とする。なお、色情報には、上述以外の色に関する情報を含んでいてもよい。また、以降の説明では、特定対象物と対象物領域とを区別せずに説明する。なお、上述した各処理を行うカラー画像処理装置の構成については、後述する。

次に、本発明によるカラー画像処理装置の構成について説明する。図２は、本発明によるカラー画像処理装置の一実施形態を示すブロック図である。図２に例示するカラー画像処理装置１００は、画像情報取得部１１０と、反射情報復元部１２０と、表面反射成分補正部１３０と、再現色算出部１４０とを備えている。

画像情報取得部１１０は、外部から入力される入力画像に基づいて、特定対象物を特定し、特定対象物の対象物領域を検出する。また、画像情報取得部１１０は、対象物領域の色情報を取得する。

反射情報復元部１２０は、対象物領域の低周波成分を算出する。この算出された低周波成分が対象物領域における陰影情報を含んだ完全拡散成分である。そして、反射情報復元部１２０は、対象物領域の色情報から完全拡散成分を除去することで、対象物領域における表面反射成分を復元する。すなわち、対象物領域における色情報は、表面反射成分（テカリ）と完全拡散成分に分離され、それぞれの成分として復元される。

表面反射成分補正部１３０は、反射情報復元部１２０が復元した表面反射成分を補正する。ここで、表面反射成分を補正するとは、表面反射成分を有する画素の面積を変更することや、表面反射成分の強度を変更することを意味する。表面反射成分補正部１３０は、例えば、表面反射成分の形状を変更することにより、表面反射成分を補正してもよい。また、表面反射成分補正部１３０は、表面反射成分の強度を増減させることで、表現反射成分を補正してもよい。

なお、補正の際、表面反射成分補正部１３０は、対象物領域の表面反射成分の平均値を算出し、算出した平均値を用いて表面反射成分を補正する。表面反射成分補正部１３０は、例えば、予め設定した任意の値と対象物領域の表面反射成分の平均値とを比較することによって表面反射成分を補正してもよい。表面反射成分補正部１３０は、任意の値として、例えば、参照表面反射成分を用いてもよい。参照表面反射成分は、例えば、カラー画像処理装置１００が備えるメモリ（以下、参照表面反射成分保存メモリと記す。）に予め記憶される。さらに、表面反射成分補正部１３０は、ユーザから補正値を受け付け、受け付けた補正値を用いて表面反射成分を補正してもよい。ここで、補正値とは、表面反射成分補正部１３０が表面反射成分の補正を行う際に用いられる情報の総称である。

また、以下の説明では、表面反射成分を有する画素の面積のこと、および、表面反射成分の強度のことを総称して、表面反射成分の量と記す。そのため、表面反射成分の量を補正するとは、表面反射成分の画素の面積を補正すること、または、表面反射成分の強度を示す画素値を補正することを表す。

再現色算出部１４０は、陰影情報を含む完全拡散成分と、補正された表面反射成分とを用いて、再現色を算出する。そして、再現色算出部１４０は、算出した再現色を用いて出力画像を生成する。

上述した内容をまとめると、まず、画像情報取得部１１０が、対象物領域における低周波成分を取得する。次に、反射情報復元部１２０が、取得された対象物領域における低周波成分を用いて、その領域における表面反射成分と完全拡散成分とを復元する。そして、表面反射成分補正部１３０が、復元した表面反射成分を補正する。上記処理を行うことにより、カラー画像処理装置１００は、対象物領域における低周波成分を利用して復元した表面反射成分を補正することが出来る。

また、反射情報復元部１２０が、画像から得られる色情報から対象物領域の表面反射成分と陰影情報を含んだ完全拡散成分とを復元し、表面反射成分補正部１３０が、その表面反射成分のみに補正を施す。これらの処理を行うことにより、不自然なアーティファクトの発生を抑制している。さらに、３次元情報を復元しないことで、処理コストを低く抑えることができる。

以下、本発明におけるカラー画像処理装置の動作について、各実施形態に則して説明する。

実施形態１．
まず、本発明の第１の実施形態におけるカラー画像処理方法を、図面を用いて処理の流れを説明する。図３は、本発明の第１の実施形態におけるカラー画像処理方法の例を示すフローチャートである。なお、以下の説明では、本実施形態におけるカラー画像処理方法を、図２に例示するカラー画像処理装置１００を用いて実現するものとする。また、以下の説明では、画像の表色系がＲＧＢ表色系であるものとする。すなわち、画像の色が、Ｒ（赤）、Ｇ（緑）およびＢ（青）の組み合わせで表されるものとする。以下、入力画像の色情報のことを、色情報ＲＧＢと表記するものとする。ただし、画像の表色系は、ＲＧＢ表色系に限定されない。画像の表色系は、ＲＧＢ以外の他の表色系であってもよい。

以下、図２に例示するカラー画像処理装置１００が、任意に与えられたカラー画像中の特定対象物の質感を向上させるために、カラー画像中の対象物領域の各画素における再現色の再計算を行う動作を説明する。

まず、画像情報取得部１１０は、入力画像中から特定対象物を自動で検出する（ステップＳ１）。このとき、画像情報取得部１１０は、検出した特定対象物における対象物領域の色情報を併せて取得する。ここで、入力画像中から特定対象物を自動で検出するとは、入力画像から予め定められた対象（例えば、人間の顔）を特定対象物として検出することや、ユーザ等により個別に指定された対象を特定対象物として検出することを意味する。

ここで、特定対象物とする個体は、それぞれ異なっていてもよい。すなわち、個体差があったとしても、大まかな色情報やテクスチャが普遍であることから、カラー画像から得られる特徴から想定する対象物であると特定できるのであれば、特定対象物は、特定の個体に限定されるものではない。

図４は、入力画像中の対象物領域を検出する処理の例を示す説明図である。図４に示す例では、人間の顔を対象物領域としていることを示す。画像情報取得部１１０は、例えば、図４に例示するカラー画像中から、色情報やテクスチャなどを用いて特定対象物を検出する。以下、特定対象物が、人間の顔である場合について説明する。

特定対象物を人間の顔とした場合、画像情報取得部１１０は、目、鼻、口などの形状特徴を利用して顔領域を検出する。画像情報取得部１１０は、顔領域を検出する方法として、例えば、非特許文献２に記載された顔検出方法を用いてもよい。上述の通り、非特許文献２に記載された顔検出方法は、Ｉｍａｇｅ−ｂａｓｅｄ型と目の検出を行うＦｅａｔｕｒｅ−ｂａｓｅｄ型とを組み合わせる一般化学習ベクトル量子化を用いた方法である。

他にも、画像情報取得部１１０は、入力画像から顔領域を検出する方法として、例えば、特許文献２に記載された、画像中から目を検出する方法を用いてもよい。入力画像中から目の位置を検出できれば、顔領域を推定することは容易である。

なお、非特許文献２に記載された顔検出方法と、特許文献２に記載された目の検出方法は、通常、モノクロ情報を利用して顔検出を行う。画像情報取得部１１０は、さらに、その検出結果である顔領域が肌色であるか否かについて判定してもよい。このような判定処理を追加することにより、顔領域の検出精度を向上させることができる。なお、指定の領域が肌色か否かを判定する方法として、例えば、特許文献１に記載された画像ヒストグラムを利用してもよい。

なお、画像情報取得部１１０が入力画像から顔領域を検出する方法は、上記方法に限定されない。また、上記説明では、任意に与えられた入力画像から自動検出する対象物が人間の顔である場合について説明した。ただし、自動検出する対象物は人間の顔に限られない。人間の顔以外の対象物を自動検出する場合、画像情報取得部１１０は、例えば、予め登録されている対象物領域の視覚的特徴情報と、画像データの視覚的特徴情報とを比較することによって対象物を自動検出してもよい。

次に、反射情報復元部１２０は、表面反射成分と完全拡散成分とを算出する。本発明では、画像中の特定対象物の表面反射成分（テカリ）は、高い周波数成分を有する特徴があることに着目する。具体的には、反射情報復元部１２０が、特定対象物の三次元形状を用いずに、特定対象物の見かけの色情報から、表面反射成分（テカリ）と完全拡散成分（陰影情報を含む）を算出する。そのため、表面反射成分を低計算コストで算出することができる。以下、反射情報復元部１２０が行うこれらの処理について、ステップＳ２〜Ｓ３で詳述する。

まず、反射情報復元部１２０は、画像中の特定対象物が示す領域の低周波成分を算出する（ステップＳ２）。反射情報復元部１２０は、例えば、画像中の特定対象物が示す領域における各画素について、その周辺画素の平均値を算出することで低周波成分を算出してもよい。また、反射情報復元部１２０は、各画素をガウシアンなどの値に置き換える平滑化フィルタを使用することで、低周波成分を算出してもよい。ただし、低周波成分を算出する方法は、上記方法に限定されない。

次に、反射情報復元部１２０は、ステップＳ２で算出された低周波成分を入力画像中の特定対象物における完全拡散成分とする。そして、反射情報復元部１２０は、入力画像中の特定対象物の色情報から完全拡散成分を減算して、表面反射成分を計算する（ステップＳ３）。

一般に、対象物領域の反射率は、入射光と放射光の幾何条件に依存し、この反射特性は、双方向反射率分布関数ＢＲＤＦ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）として表現される。ＢＲＤＦでは、表面反射成分（Ｓｅｃｕｌａｒ ｃｏｍｐｏｎｅｎｔ）と完全拡散成分（Ｂｏｄｙ ｒｅｆｌｅｃｔｉｏｎ ｃｏｍｐｏｎｅｎｔ）の２つの成分から構成される場合が多い。例えば、特定対象物が人などの生物の場合、表面反射成分は、皮膚の表面で反射する光の成分である。また、この場合、完全拡散成分は、一旦皮膚内部に入射し、その内部で拡散された光が再度皮膚を通じて発散する光の成分である。

完全拡散成分は、低周波の特性を有している。そのため、特定対象物が示す領域の低周波成分を特定対象物の完全拡散成分ＤＲ（Ｄｉｆｆｕｓｅ Ｒｅｆｌｅｃｔｉｏｎ）とみなすことができる。なお、ここでは、完全拡散成分ＤＲは、カラーチャネル（たとえば、Ｒ、Ｇ、Ｂなど）ごとに算出されているものとし、各カラーチャネルの完全拡散成分をＤＲｉと表現する。なお、ｉは各カラーチャネルを表す。

いま、特定対象物がランバーシャンであると仮定して完全拡散成分が計算されている。しかし、実際には、完全拡散成分は、拡散反射成分のみではなく表面反射成分を含んでいる。つまり、入力画像の各カラーチャネルの画素値は、拡散反射成分と表面反射成分とを含んだ、そのカラーチャネルにおける見かけの画素値（輝度、明るさ）を表していると言える。したがって、反射情報復元部１２０は、特定対象物が示す領域中に含まれる画素の各カラーチャネルの表面反射成分ＳＰｉを、以下の式１で計算する。

Ｉｉ−ＤＲｉ＞０のとき ＳＰｉ＝Ｉｉ−ＤＲｉ
上記以外 ＳＰｉ＝０ （式１）

ここで、Ｉｉは、入力画像の特定対象物が示す領域中に含まれる画素の画素値を表しており、ｉは、カラーチャネル（たとえば、Ｒ、Ｇ、Ｂなど）を表している。

次に、表面反射成分補正部１３０は、特定対象物の表面反射成分を補正する（ステップＳ４）。具体的には、カラー画像中の特定対象物領域における表面反射成分が得られると、表面反射成分補正部１３０は、この表面反射成分の量（面積や強度）をコントロールすることで、特定対象物の質感を向上させる。ここで、「面積」をコントロールするとは、表面反射成分を含む画素の個数（領域）を増減させることを意味する。また、「強度」をコントロールするとは、表面反射成分の各画素の値を増減させることを意味する。すなわち、表面反射成分補正部１３０は、入力カラー画像中の特定対象物における表面反射成分の面積や強度の大小など、表面反射成分の量を制御したり調整したりすることで所望の表面反射成分を生成する。

まず、表面反射成分補正部１３０が、表面反射成分の量として、表面反射成分の強度を補正する方法を説明する。以下の説明では、対象物領域について所望の表面反射成分（すなわち、参照表面反射成分）の量が、カラー画像処理装置１００のメモリ（図示せず）に予め記憶されているとする。この表面反射成分の量の平均を、以下のように表わす。

この平均は、以下のように算出できる。まず、ユーザ等により特定対象物の質感がよいとされる画像（以下、参照画像と記す。）を予め用意する。そして、上述したステップＳ１〜Ｓ３に示す処理を参照画像に対して行うことで、特定対象物の表面反射成分を算出する。なお、この参照画像は、ユーザ等により質感がよいと判断される表面反射成分が対象物領域に応じて予め設定されている画像であるということができる。ここで、参照画像から算出した各画素における表面反射成分をＳＰＲｉと記す。このＳＰＲｉは、各画素における画素値を示すため、表面反射成分補正部１３０は、このＳＰＲｉの平均を求めることで、表面反射成分の量の平均を算出できる。

次に、表面反射成分補正部１３０は、入力画像中の対象物領域における表面反射成分の平均値を算出する。入力画像中の対象物領域における表面反射成分の平均値を、以下のように表わす。

そして、表面反射成分補正部１３０は、それぞれの平均値を基に補正係数αｉを、以下の式２により算出する。

補正係数の算出後、表面反射成分補正部１３０は、式２により算出されたαｉを入力画像中の対象物領域における表面反射成分ＳＰｉに乗算することで、所望の表面反射成分の量（強度）に補正する。表面反射成分補正部１３０は、例えば、以下の式３を用いて、表面反射成分の量を補正してもよい。

ＳＰｉ’＝αｉ×ＳＰｉ （式３）

以上のように、表面反射成分補正部１３０は、入力画像の対象物領域における表面反射成分の平均値と、対象物領域に応じて予め設定された表面反射成分（すなわち、参照表面反射成分）の平均値との比率に応じて、表面反射成分の画素値を補正する。このように、対象物領域の表面反射成分の強度を補正することで、質感を向上させることができる。

次に、表面反射成分補正部１３０が、表面反射成分の量として、表面反射成分の面積を補正する方法を説明する。表面反射成分の面積を補正する場合も、強度を補正する場合と同様、予め設定された参照画像における対象物領域の表面反射成分を用いる。ただし、面積を補正する場合には、表面反射成分の所望の量（面積）を用いて、入力画像の特定対象物における表面反射成分の量（面積）を調整する。なお、面積は、対象物領域の画素数に対する表面反射成分の画素数の割合で表わされていてもよい。

まず、表面反射成分の面積を減少させて表面反射成分を補正する方法を説明する。この場合、表面反射成分補正部１３０は、入力画像の特定対象物の領域における表面反射成分の画素数（すなわち面積）が、対象物領域の所望の表面反射成分の量（面積）に近づくように表面反射成分を補正する。具体的には、表面反射成分補正部１３０は、上述するαｉの代わりに、表面反射成分の量（強度）を減少させるような係数βｉ（βｉ＜αｉ）を式３に用いて、表面反射成分の量（強度）を減少させる補正を行う。そして、表面反射成分補正部１３０は、補正した画素値ＳＰｉ’が予め定めた閾値を下回る画素の画素値ＳＰｉ’を０（ゼロ）にする。このように表面反射成分を０にすることで、表面反射成分の量（面積）を減少させる。

以上のように、表面反射成分補正部１３０は、入力画像の対象物領域における表面反射成分の面積を、対象物領域に応じて予め設定された表面反射成分（すなわち、参照表面反射成分）の面積に減少させる補正を行う。その際、表面反射成分補正部１３０は、表面反射成分の画素値を減少させる係数を画素値に乗じるなど、対象物領域における表面反射成分の画素値を所定の規則に基づいて減少させる。そして、表面反射成分補正部１３０は、その画素値のうち、予め定められた閾値を下回る画素値の画素を表面反射成分から除外する。このように、対象物領域の表面反射成分の面積を減少させる補正を行うことで、質感を向上させることができる。

次に、表面反射成分の面積を増加させて表面反射成分を補正する方法を説明する。この場合、式１に示すように、もともと表面反射成分でなかった画素は、そのままでは、表面反射成分になることはない。そのため、表面反射成分の面積を増加させるには、別途処理を行う必要がある。

この場合、表面反射成分補正部１３０は、例えば、もともと表面反射成分でなかった画素（すなわち、反射情報復元部１２０が表面反射成分として復元しなかった画素）で、かつ、もともと表面反射成分であった画素（すなわち、反射情報復元部１２０が表面反射成分として復元した画素）に隣接する画素をランダムに選択する。そして、表面反射成分補正部１３０は、選択した画素の画素値を、例えば、式３のＳＰｉに代入して、補正後の画素値ＳＰｉ’を算出する。なお、選択した画素値が０（ゼロ）の場合、表面反射成分補正部１３０は、選択した画素の画素値（すなわち、表面反射成分）ＳＰｉに、正の実数を加算する。なお、表面反射成分補正部１３０は、式３を用いる場合、係数αｉではなく、面積が増えるように画素値が増えるような係数を用いて補正後の画素値ＳＰｉ’を算出してもよい。以降、表面反射成分補正部１３０は、もともと表面反射成分であった画素に隣接する画素を所望の面積になるまでランダムに選択し、その画素の画素値を補正する作業を繰り返す。このように表面反射成分の画素を増加させることで、表面反射成分の量（面積）を増加させる。

以上のように、表面反射成分補正部１３０は、入力画像の対象物領域における表面反射成分の面積を、対象物領域に応じて予め設定された表面反射成分（すなわち、参照表面反射成分）の面積に増加させる補正を行う。その際、表面反射成分補正部１３０は、表面反射成分でない画素のうち、表面反射成分に隣接する画素を、例えば、ランダムなど、所定の規則に基づいて選択する。そして、表面反射成分補正部１３０は、選択した画素を表面反射成分に追加する。このように、対象物領域の表面反射成分の面積を増加させる補正を行うことで、質感を向上させることができる。

次に、再現色算出部１４０は、補正後の表面反射成分と、完全拡散成分（陰影情報含む）とを用いて、入力画像中の対象物における各画素の補正後の色を算出する（ステップＳ５）。なお、この補正後の色を、再現色と言うことができる。

再現色算出部１４０は、以下の式４に例示するように、陰影情報を含む完全拡散成分ＤＲｉに、ステップＳ４において補正された表面反射成分Ｓｐｉ’を加算することで、色補正後の画素値Ｉｉ’を計算する。

Ｉｉ’＝ＤＲｉ＋Ｓｐｉ’ （式４）

そして、再現色算出部１４０は、入力画像中の対象物領域の色を上記方法に従って補正した画像を出力画像として出力する。

上記説明では、入力画像および出力画像のデバイス依存カラーがＲＧＢである場合について説明した。なお、デバイス依存カラーとは、出力先のデバイスに依存する色空間を意味する。ただし、このデバイス依存カラーは、ＲＧＢに限定されない。デバイス依存カラーとデバイス非依存カラーの三刺激値ＸＹＺとの対応関係が得られれば、デバイス依存カラーは、ＲＧＢ以外のＣＭＹやＣＭＹＫなどであってもよい。この場合、ＲＧＢ以外の画像についても本発明の色補正方法を適用することが可能である。

以上のように、本実施形態によれば、画像情報取得部１１０が、対象物領域を入力画像から検出する。次に、反射情報復元部１２０は、対象物領域における色情報と完全拡散成分を算出し、その色情報及び低周波成分に基づいて表面反射成分を復元する。そして、表面反射成分補正部１３０が、参照表面反射成分に応じて復元された表面反射成分を補正すると、再現色算出部１４０が、完全拡散成分と補正された表面反射成分とを用いて再現色を算出し、その再現色に基づいて出力画像を生成する。そのため、カラー画像中の対象物について、低い計算コストで質感を向上させることができる。

次に、カラー画像処理装置（色補正装置と言うこともある。）の変形例について説明する。図５は、第１の実施形態におけるカラー画像処理方法に適用されるカラー画像処理装置の例を示すブロック図である。

図５に例示するカラー画像処理装置１０１は、入力画像１における対象物領域の表面反射成分を補正して出力画像２を出力する装置である。カラー画像処理装置１０１は、対象物領域検出部３と、対象物領域の低周波成分計算部４（以下、低周波成分計算部４）と、対象物領域の表面反射成分と完全拡散成分計算部５（以下、反射情報復元部５）と、表面反射成分補正部６と、参照表面反射成分保存メモリ７と、対象物領域の再現色算出部８（以下、再現色算出部８）とを備えている。

対象物領域検出部３は、入力画像１が与えられると、入力画像１を解析し、予め想定された特定対象物を検出する。そして、対象物領域検出部３は、検出した特定対象物における対象物領域を示す情報を出力する。ここで、対象物領域を示す情報には、対象物領域の色情報も含まれる。具体的には、対象物領域検出部３は、図３のステップＳ１で説明した画像情報取得部１１０が行う方法を用いて、対象物領域の色情報を求める。

また、既に説明したように、入力画像１から検出する特定対象物は、人の顔などのように、対象物領域の色と形状特徴がある程度限定できるものである。なお、特定対象物の検出方法は、画像情報取得部１１０の説明で記載したとおりである。なお、入力画像１から目的とする対象物が検出できない場合、後述する再現色算出部１２が、入力画像１を出力画像２として出力する。

低周波成分計算部４は、対象物領域検出部３が検出した対象物領域の低周波成分を計算する。具体的には、低周波成分計算部６は、ステップＳ２に記載された反射情報復元部１２０が行う処理に基づいて、対象物領域の低周波成分を計算する。

反射情報復元部５は、対象物領域の低周波成分を利用して、対象物領域における表面反射成分と完全拡散成分とを求める。具体的には、反射情報復元部５は、ステップＳ３に記載された反射情報復元部１２０が行う処理にしたがって、対象物領域における表面反射成分と完全拡散成分とを求める。

参照表面反射成分保存メモリ７は、対象物領域の参照表面反射成分を記憶する。なお、上述の通り、参照表面反射成分は、対象物領域の好ましい画質をもたらす表面反射成分であり、対象物領域に応じて、予め参照表面反射成分保存メモリ７に設定される。

表面反射成分補正部６は、算出された対象物領域における表面反射成分を、参照表面反射成分を用いて、表面反射成分の量を所望の量に補正する。具体的には、表面反射成分補正部６は、図３のステップＳ４に記載された表面反射成分補正部１３０が行う処理に従って、対象物領域における表面反射成分を補正する。表面反射成分補正部６が上記補正を行うことで、例えば人間の肌など、複雑な反射特性を有する物体の色を精度よく再現することができる。また、上記補正を行うことで、アーティファクトが出ることを回避することができる。

再現色算出部８は、対象物領域の再現色を算出する。具体的には、再現色算出部８は、補正された表面反射成分と、陰影情報を含む完全拡散成分とを用いて、対象物領域における各画素の補正後の色（すなわち、再現色）を算出する。そして、再現色算出部１２は、算出した補正後の画像を出力画像として出力する。なお、補正された表面反射成分は、表面反射成分補正部６が補正した成分であり、対象物領域における各画素の好ましい表面反射成分を示す。また、完全拡散成分は、反射情報復元部５が算出した成分である。再現色算出部１２は、ステップＳ５に記載された再現色算出部１５０が行う処理手順に従って、補正後の画像を出力する。

このように、カラー画像処理装置１０１は、人間の顔の望ましい画質を実現する方法として、表面反射成分、すなわちテカリを調整し、画質を改善するという方法を提供する。なお、このようなテカリは、不快な正反射成分と言うこともできる。なお、例えば、上述する特許文献７には、関連する技術として、２色性反射モデルを有するプラスティックなどの人工物の色を、赤から青に変更する方法が記載されている。しかし、特許文献７に記載された方法は、人工物の色を別の色に変更すること（色変更すること）を目的としており、画質を改善して望ましい画質に補正するものではない。一方、本発明では、表面反射成分補正部６が、表面反射成分の補正を行い、再現色算出部８が、補正された表面反射成分を用いて出力画像を生成する。すなわち、カラー画像処理装置１０１は、表面反射成分補正部６と再現色算出部８とを備えているため、対象物を望ましい画質に補正することができる。

以上のことから、図５に例示するカラー画像処理装置１０１と、図２に例示するカラー画像処理装置１００とは、以下の対応関係を有する。画像情報取得部１１０は、対象物領域検出部３に対応する。反射情報復元部１２０は、低周波成分計算部４と、反射情報復元部５とによって実現される。表面反射成分補正部１３０は、表面反射成分補正部６と、参照表面反射成分保存メモリ７によって実現される。再現色算出部１４０は、再現色算出部８に対応する。なお、図２または図５に示したカラー画像処理装置の構成は一例であり、同様の機能を実現する装置であれば、その他の構成であってもよい。

さらに、カラー画像処理装置１０１は、コンピュータで実現可能である。具体的には、カラー画像処理装置を構成する各構成要素、すなわち、対象物領域検出部３と、低周波成分計算部４と、反射情報復元部５と、表面反射成分補正部６と、再現色算出部８とは、プログラム（カラー画像処理プログラム）に従って動作するコンピュータの中央処理装置（ＣＰＵ）によって実現される。また、代表表面反射成分保存メモリ７は、例えば、カラー画像処理装置１０１が備えるメモリ装置によって実現される。

例えば、プログラムは、カラー画像処理装置１０１の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、対象物領域検出部３、低周波成分計算部４、反射情報復元部５、表面反射成分補正部６、及び、再現色算出部８として動作してもよい。また、対象物領域検出部３と、低周波成分計算部４と、反射情報復元部５と、表面反射成分補正部６と、再現色算出部８とは、それぞれが専用のハードウェアで実現されていてもよい。

なお、カラー画像処理装置を構成する各構成要素がＣＰＵ及びメモリで実現可能であること、およびプログラムに従って動作可能であることは、実施形態１に限らず、後述する第２の実施形態でも同様である。

実施形態２．
次に、本発明の第２の実施形態におけるカラー画像処理方法について説明する。第２の実施形態におけるカラー画像処理方法は、ユーザの指示に応じて表面反射成分を変更する点において、第１の実施形態におけるカラー画像処理方法と異なる。

図６は、第２の実施形態におけるカラー画像処理方法に適用されるカラー画像処理装置の例を示すブロック図である。図６に例示するカラー画像処理装置１０２は、入力画像１における対象物領域の表面反射成分を補正して出力画像２を出力する装置である。カラー画像処理装置１０２は、対象物領域検出部３と、低周波成分計算部４と、反射情報復元部５と、表面反射成分補正部６と、ユーザ対話部９と、再現色算出部８とを備えている。

図６に例示するように、カラー画像処理装置１０２は、図５に例示するカラー画像処理装置１０１の参照表面反射成分保存メモリ７を、ユーザ対話部９に置き換えたものである。したがって、以下、ユーザ対話部９についてのみ説明する。

ユーザ対話部９は、入力画像中の特定対象物の領域における表面反射成分の量を、ユーザが調整するための対話手段を提供する。具体的には、ユーザ対話部９は、入力画像中の特定対象物の領域における表面反射成分の量を入力する入力手段である。ユーザ対話部９は、例えば、タッチパネルや、ディスプレイなどの表示装置及びマウスなどのポインティングデバイスにより実現される。

図７は、ユーザ対話部９が表示するグラフィカルユーザーインターフェース（ＧＵＩ）の一例を示す説明図である。図７に例示するＧＵＩは、算出された入力画像中の特定対象物領域における表面反射成分の量を対話的に調整するものである。図７に例示するスライダーバー１０は、例えば、上述した式（３）におけるαｉの値を調節する機能を有する。例えば、表面反射成分を弱くするようにスライダーバー１０を調節した場合に、ユーザ対話部９は、αｉの値を小さくするように調整してもよい（図７（ａ）参照）。逆に、表面反射成分を強調するようにスライダーバー１０を調節した場合に、ユーザ対話部９は、αｉの値を大きくするように調整してもよい（図７（ｂ）参照）。また、ユーザ対話部９は、表面反射成分の量を調整したときに、入力画像中の表面反射成分の調整結果をリアルタイムに反映した補正画像を表示する。

ユーザ対話部９は、ユーザから入力される表面反射成分の量（補正値）を受け付け、表面反射成分補正部６へ通知する。補正値は、表面反射成分の総量を指定する値であってもよく、現在の表面反射成分から変化させる量を示す値であってもよい。このとき、表面反射成分補正部６は、通知された表面反射成分の量を用いて、各画素の表面反射成分を補正する。このようにすることで、ユーザの希望する出力画像を生成することができる。

例えば、ユーザ対話部９が表面反射成分の面積を増減させる指示を補正値として受け取ったとする。この場合、表面反射成分補正部６は、第１の実施形態で説明した、表面反射成分の面積を減少させる方法、または、表面反射成分の面積を減少させる方法を用いて表面反射成分を補正すればよい。また、ユーザ対話部９が表面反射成分の強度を増減させる指示を補正値として受け取った場合、表面反射成分補正部６は、第１の実施形態で説明した、表面反射成分の強度を補正する方法を用いて表面反射成分を補正すればよい。

なお、上記説明では、図５に例示するカラー画像処理装置１０１の参照表面反射成分保存メモリ７を、ユーザ対話部９に置き換えた構成例を説明した。ただし、カラー画像処理装置１０２は、参照表面反射成分保存メモリ７とユーザ対話部９のいずれか一方の構成要素を含む場合に限定されない。カラー画像処理装置１０２は、参照表面反射成分保存メモリ７とユーザ対話部９の両方の構成要素を備えていてもよい。

例えば、この場合、まず、表面反射成分補正部６は、参照表面反射成分保存メモリ７に記憶された参照表面反射成分を用いて表面反射成分を補正する。そして、ユーザ対話部９は、補正された表面反射成分を含む画像をユーザへ表示する。ユーザは、補正された画像について、さらに表面反射成分の変更を希望する場合、ユーザ対話部９を介して補正値を入力することが可能になる。これにより、表面反射成分補正部６及び再現色算出部８は、ユーザの希望する出力画像を生成することができる。また、ユーザ側でも、利用する用途に応じて表面反射成分を変更することが可能になる。

次に、本発明を実現する様々な実施形態について説明する。本発明によるカラー画像処理方法及び装置は、コンピュータを用いて実現することができる。また、本発明によるカラー画像処理方法及びカラー画像処理装置が行う各処理は、ソフトウェア、ハードウェア、ファームフェアのいずれか二つ以上の組み合わせで実現することもできる。

例えば、図２に例示するカラー画像処理装置１００を、プログラムを用いてコンピュータで実現する場合、プログラム（プログラムの命令群）は、少なくとも次の手順をコンピュータに実行させる。具体的には、プログラムが、コンピュータのメモリにロードされ、ＣＰＵの制御のもとで、以下の命令（ａ）〜（ｄ）が実行される。

（ａ）画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出手順。この手順は、図２における画像情報取得部１１０が行う処理に対応する。

（ｂ）対象物領域における色情報及びその対象物領域における低周波成分である完全拡散成分を算出し、その色情報及び低周波成分に基づいて表面反射成分を復元する反射成分復元手順。この手順は、図２における反射情報復元部１２０が行う処理に対応する。

（ｃ）対象物領域に応じて予め設定された表面反射成分である参照表面反射成分に応じて、復元された表面反射成分を補正する表面反射成分補正手順。この手順は、図２における表面反射成分補正部１３０が行う処理に対応する。

（ｄ）完全拡散成分と、補正された表面反射成分とを用いて、入力画像における各画素を補正した色である再現色を算出し、その再現色に基づいて出力画像を生成する再現色算出手順。この手順は、図２における再現色算出部１４０が行う処理に対応する。

さらに、プログラムにより実行される命令には、表面反射成分の補正を行う際に用いる情報である補正値をユーザから入力されるユーザ対話手順を含んでいてもよい。このとき、表面反射成分補正手順において、入力された補正値を用いて表面反射成分を補正してもよい。

また、プログラム（カラー画像処理プログラム）は、記録媒体に記録して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。また、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。

以上説明したように、本発明によれば、カラー画像機器で撮影されたカラー画像中の特定対象物における表面反射成分の量をコントロールすることにより質感を向上させることができる。

また、本発明では、一般的な色補正方法を用いた場合に発生する物体の質感低下という課題を解決している。具体的には、カラー画像機器で撮影されたカラー画像中の特定対象物の表面反射成分をコントロールすることで、対象物領域が所望の質感になるように変更することができる。また、本発明によれば、光ファイバスペクトロメータなどの測定装置を必要とせず、入力画像のみを利用した、より容易な方法で画像の質感を向上させることができる。

次に、本発明によるカラー画像処理装置の最小構成の例を説明する。図８は、本発明によるカラー画像処理装置の最小構成の例を示すブロック図である。本発明によるカラー画像処理装置は、画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出手段８１（例えば、画像情報取得部１１０）と、対象物領域における色情報及びその対象物領域における低周波成分である完全拡散成分を算出し、その色情報及び低周波成分に基づいて（例えば、色情報から低周波成分を除いて）表面反射成分を復元する反射成分復元手段８２（例えば、反射情報復元部１２０）と、対象物領域に応じて予め設定された表面反射成分である参照表面反射成分に応じて、復元された表面反射成分を補正する表面反射成分補正手段８３（例えば、表面反射成分補正部１３０）と、完全拡散成分と、補正された表面反射成分とを用いて、入力画像における各画素を補正した色である再現色を算出し、その再現色に基づいて出力画像を生成する再現色算出手段８４（例えば、再現色算出部１４０）とを備えている。

そのような構成により、カラー画像機器で撮影されたカラー画像中の対象物について、低い計算コストで質感を向上させることができる。

また、カラー画像処理装置は、表面反射成分の補正を行う際に用いる情報である補正値（例えば、表面反射成分の量）をユーザから入力される補正値入力手段（例えば、ユーザ対話部９）を備えていてもよい。その際、表面反射成分補正手段８３は、入力された補正値を用いて表面反射成分を補正してもよい。

また、表面反射成分補正手段８３が、入力画像の対象物領域における表面反射成分の平均値と、参照表面反射成分の平均値との比率（例えば、式２により算出される係数）に応じて、表面反射成分の画素値を補正（例えば、式３を用いて補正）してもよい。

また、表面反射成分補正手段８３が、対象物領域における参照表面反射成分の面積、または、対象物領域における参照表面反射成分の面積の割合に近づけるように、表面反射成分の面積を補正してもよい。

具体的には、表面反射成分補正手段８３は、対象物領域における表面反射成分の画素値を所定の規則（例えば、表面反射成分の量（強度）を減少させるような係数βｉを画素値に乗じる規則）に基づいて減少させ、その画素値のうち、予め定められた閾値を下回る画素値の画素を表面反射成分から除外することにより、表面反射成分の面積を減少させる補正を行ってもよい。

他にも、表面反射成分補正手段８３は、表面反射成分でない画素のうち、表面反射成分に隣接する画素を所定の規則（例えば、ランダムに選択する規則）に基づいて選択し、選択した画素を表面反射成分として追加することにより、表面反射成分の面積を増加させる補正を行ってもよい。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１０年６月３０日に出願された日本特許出願２０１０−１４９２３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、カラー画像入出力装置に入力される画像を高画質化する機能に好適に適用できる。また、本発明は、コンピュータシステムで動作するプログラムの形態とすることで、任意のカラー画像に対する画像補正ソフトウェアあるいはユーティリティとしても適用

１ 入力画像
２ 出力画像
３ 対象物領域検出部
４ 対象物領域の低周波成分計算部
５ 対象物領域の表面反射成分と完全拡散成分計算部
６ 表面反射成分補正部
７ 参照表面反射成分保存メモリ
８ 対象物領域の再現色算出部
９ ユーザ対話部
１０ スライダーバー
１００，１０１，１０２ カラー画像処理装置
１１０ 画像情報取得部
１２０ 反射情報復元部
１３０ 表面反射成分補正部
１４０ 再現色算出部

Claims (10)

1. 画像処理の対象とする領域である対象物領域を入力画像から検出し、
   前記対象物領域における色情報及び当該対象物領域における低周波成分である完全拡散成分を算出し、
   前記色情報及び低周波成分に基づいて表面反射成分を復元し、
   対象物領域に応じて予め設定された表面反射成分である参照表面反射成分に応じて、復元された表面反射成分を補正し、
   前記完全拡散成分と、補正された表面反射成分とを用いて、入力画像における各画素を補正した色である再現色を算出し、
   前記再現色に基づいて出力画像を生成する
   ことを特徴とするカラー画像処理方法。
2. 表面反射成分の補正を行う際に用いる情報である補正値をユーザから入力され、
   復元された表面反射成分を補正する際、入力された補正値を用いて表面反射成分を補正する
   請求項１記載のカラー画像処理方法。
3. 復元された表面反射成分を補正する際、入力画像の対象物領域における表面反射成分の平均値と、参照表面反射成分の平均値との比率に応じて、表面反射成分の画素値を補正する
   請求項１または請求項２に記載のカラー画像処理方法。
4. 復元された表面反射成分を補正する際、対象物領域における参照表面反射成分の面積、または、対象物領域における参照表面反射成分の面積の割合に近づけるように、表面反射成分の面積を補正する
   請求項１または請求項２に記載のカラー画像処理方法。
5. 復元された表面反射成分を補正する際、対象物領域における表面反射成分の画素値を所定の規則に基づいて減少させ、当該画素値のうち、予め定められた閾値を下回る画素値の画素を表面反射成分から除外することにより、表面反射成分の面積を減少させる補正を行う
   請求項４記載のカラー画像処理方法。
6. 復元された表面反射成分を補正する際、表面反射成分でない画素のうち、表面反射成分に隣接する画素を所定の規則に基づいて選択し、選択した画素を表面反射成分として追加することにより、表面反射成分の面積を増加させる補正を行う
   請求項４記載のカラー画像処理方法。
7. 画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出手段と、
   前記対象物領域における色情報及び当該対象物領域における低周波成分である完全拡散成分を算出し、当該色情報及び低周波成分に基づいて表面反射成分を復元する反射成分復元手段と、
   対象物領域に応じて予め設定された表面反射成分である参照表面反射成分に応じて、復元された表面反射成分を補正する表面反射成分補正手段と、
   前記完全拡散成分と、補正された表面反射成分とを用いて、入力画像における各画素を補正した色である再現色を算出し、当該再現色に基づいて出力画像を生成する再現色算出手段とを備えた
   ことを特徴とするカラー画像処理装置。
8. 表面反射成分の補正を行う際に用いる情報である補正値をユーザから入力される補正値入力手段を備え、
   表面反射成分補正手段は、入力された補正値を用いて表面反射成分を補正する
   請求項７記載のカラー画像処理装置。
9. コンピュータに、
   画像処理の対象とする領域である対象物領域を入力画像から検出する対象物領域検出処理、
   前記対象物領域における色情報及び当該対象物領域における低周波成分である完全拡散成分を算出し、当該色情報及び低周波成分に基づいて表面反射成分を復元する反射成分復元処理、
   対象物領域に応じて予め設定された表面反射成分である参照表面反射成分に応じて、復元された表面反射成分を補正する表面反射成分補正処理、および、
   前記完全拡散成分と、補正された表面反射成分とを用いて、入力画像における各画素を補正した色である再現色を算出し、当該再現色に基づいて出力画像を生成する再現色算出処理
   を実行させるためのカラー画像処理プログラム。
10. コンピュータに、
    表面反射成分の補正を行う際に用いる情報である補正値をユーザから入力された場合に、当該補正値を用いて表面反射成分を補正させる
    請求項９記載のカラー画像処理プログラム。

Images