JP2006261879A - 色かぶりの傾向に応じたカラーバランス補正 - Google Patents

Abstract

【課題】 色かぶりの傾向に応じた好ましいカラーバランス補正を行うことを可能とする。
【解決手段】 画像処理装置は、複数の画素から構成される画像のカラーバランス補正を行う。この画像処理装置は、画像内における人間の肌を表す画素を含む肌色領域に含まれる画素の信号値に基づき、肌色領域に含まれる画素の色相および彩度を代表する代表値を算出する代表値算出部を備える。また、画像処理装置は、代表値と人間の肌の理想的な色相および彩度を表す値として設定された理想値との差分に低減係数を乗じた標準補正量に基づき設定された実行補正量を用いて、画像に対するカラーバランス補正を行う補正処理部を備える。補正に用いられる低減係数の値は、代表値に応じて可変に設定される。【選択図】 図６

Description

本発明は、画像のカラーバランス補正に関し、特に、画像に発生した色かぶりの傾向に応じた好ましいカラーバランス補正を行う技術に関する。

例えば、デジタルスチルカメラによる撮像によって画像を生成する場合に、撮像時の光源の影響を受けて、画像全体に光源に応じた特定の色の影響が表れる色かぶりが発生することがある。一般に、画像の色かぶりを補正するために、カラーバランス補正が行われている。

画像のカラーバランス補正に関して、人間の肌の色が自然に表現されるように、かつ、画像全体が良好なカラーバランスとなるように、補正を行うための技術が開示されている（例えば特許文献１）。この技術は、画像に表現された人間の肌色が人間の肌色として好ましい理想色になるような補正量を用いて補正を行うのではなく、画像に表現された肌色と理想色との差分に一定の低減係数を乗じて算出した補正量を用いて画像全体の補正を行うものである。このような補正では、画像に表現された肌色は理想色に近づくように補正される上、低減された補正量が用いられるために画像全体のカラーバランスは良好に維持される。

特開２００２−４４４６９ 特開２００１−３２０７２７

画像に発生する色かぶりには、光源の種類等の撮像条件によって、影響が表れる色や表れる影響の程度といった傾向に違いがある。画像の色かぶりは、この傾向の違いによって、観察者に与える印象が異なる場合がある。例えば、蛍光灯下で撮像した場合に発生することの多い緑色方向への色かぶりは、観察者に不自然な印象を強く与えることがある。一方、白熱灯下で撮像した場合に発生することの多いオレンジ色方向への色かぶりは、観察者に不自然な印象をあまり与えないことがある。そのため、カラーバランス補正を行う際の上記の低減係数、すなわち、画像に表現された肌色と理想色との差分に対する補正量の割合は、色かぶりの傾向によって、好ましい値が異なる場合がある。

しかし、上記の従来技術では、画像に表現された肌色と理想色との差分に対する補正量の割合が、色かぶりの傾向の違いに関わらず、一定となっている。そのため、色かぶりの傾向に応じた好ましいカラーバランス補正を行うことが困難であるという問題があった。

なお、このような問題は、デジタルスチルカメラによって生成した画像に限らず、画像のカラーバランス補正を行う場合に共通する問題であった。

本発明は、上述した従来の課題を解決するためになされたものであり、色かぶりの傾向に応じた好ましいカラーバランス補正を行うことを可能とする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明の画像処理装置は、
複数の画素から構成される画像のカラーバランス補正を行う画像処理装置であって、
画像内における人間の肌を表す画素を含む肌色領域に含まれる画素の信号値に基づき、前記肌色領域に含まれる画素の色相および彩度を代表する代表値を算出する代表値算出部と、
前記代表値と人間の肌の理想的な色相および彩度を表す値として設定された理想値との差分に低減係数を乗じた標準補正量に基づき設定された実行補正量を用いて、前記画像に対するカラーバランス補正を行う補正処理部と、を備え、
前記低減係数の値は、前記代表値に応じて可変に設定される。

この画像処理装置では、画像に表現された人間の肌の色相および彩度を代表する代表値と、人間の肌の理想的な色相および彩度を表す値として設定された理想値と、の差分に対する標準補正量の割合を示す低減係数の値が、代表値に応じて可変に設定される。また、この画像処理装置は、標準補正量に基づき設定された実行補正量を用いて補正を行う。そのため、この画像処理装置では、色かぶりの傾向に応じた好ましいカラーバランス補正を行うことができる。

上記画像処理装置において、前記代表値および前記理想値は、色相および彩度を表す平面上の位置を表す値であり、
前記代表値と前記理想値との差分は、前記平面上における前記代表値と前記理想値との距離を表す値であるとしてもよい。

また、上記画像処理装置において、前記低減係数は、前記代表値が前記平面上における前記理想値の位置から第１の方向に向かう第１の直線上の第１の点に位置する場合の値と、前記代表値が前記平面上における前記理想値の位置から第２の方向に向かう第２の直線上の点であって前記理想値の位置からの距離が前記理想値の位置と前記第１の点との間の距離に等しい第２の点に位置する場合の値と、が、互いに異なるように設定されるとしてもよい。

このようにすれば、代表値の位置が、理想値の位置からの距離が同じであっても、異なる方向に向かう直線上に位置する場合には、低減係数の値を異ならせることができる。そのため、色かぶりの方向に応じた好ましいカラーバランス補正を行うことができる。

また、上記画像処理装置において、前記低減係数は、前記代表値が前記平面上における前記理想値の位置を通る直線上の第１の点に位置する場合の値と、前記代表値が前記平面上における前記直線上の前記第１の点とは異なる第２の点に位置する場合の値と、が、互いに異なるように設定されるとしてもよい。

このようにすれば、代表値が理想値の位置を通る１つの直線上に位置する場合であっても、理想値の位置からの距離に応じて低減係数の値を異ならせることができる。そのため、色かぶりの程度に応じた好ましいカラーバランス補正を行うことができる。

また、上記画像処理装置において、前記補正処理部は、前記平面上の複数の位置について設定された基準低減係数を用いて、前記代表値に応じた前記低減係数の値を算出するとしてもよい。

このようにすれば、低減係数を容易に算出することができ、処理の高速化を図ることができる。

また、上記画像処理装置において、前記基準低減係数は、前記平面上における前記理想値の位置と複数の所定の基準点のそれぞれとを結ぶ複数の基準直線上に沿って設定されており、
前記補正処理部は、前記平面上において前記代表値の位置からの距離が最も近い２つの前記基準直線上の点であって、前記理想値の位置からの距離が、前記理想値の位置と前記代表値の位置との間の距離と同じである点における前記基準低減係数と、前記代表値の位置と前記２つの基準直線上の前記基準点との距離と、を用いて前記低減係数を算出するとしてもよい。

このようにすれば、色かぶりの傾向に応じた低減係数の傾向を容易に設定することができ、好ましいカラーバランス補正を行うための設定を容易に行うことができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像補正方法および装置、画像変換方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ｂ．変形例：

Ａ．実施例：
図１は、本発明の実施例としての画像処理装置の構成を概略的に示す説明図である。実施例の画像処理装置１００は、コンピュータとして構成されており、ＣＰＵ１１０と、モニタ等の表示部１２０と、キーボードやマウス等の操作部１３０と、ハードディスクドライブ等の外部記憶装置１４０と、インターフェイス部（Ｉ／Ｆ部）１５０と、ＲＯＭやＲＡＭ等の内部記憶装置２００と、を備えている。画像処理装置１００の各構成要素は、バス１６０を介して互いに接続されている。

インターフェイス部１５０は、複数の入出力端子を備えており、外部機器との間で情報のやり取りを行う。例えば、インターフェイス部１５０は、ケーブルを介してデジタルスチルカメラ３００と接続され、デジタルスチルカメラ３００に記録された画像データの読み込みを行う。また、インターフェイス部１５０は、ケーブルを介してプリンタ４００と接続され、プリンタ４００に対し画像を印刷するための印刷データを供給する。

内部記憶装置２００には、カラーバランス補正部２１０が格納されている。カラーバランス補正部２１０は、所定のオペレーティングシステムの下で、画像のカラーバランス補正処理を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部記憶装置２００からこのプログラムを読み出して実行することにより、カラーバランス補正処理を実行する。

カラーバランス補正部２１０は、顔領域入力部２１２と、代表値算出部２１４と、補正処理部２１６と、をモジュールとして含んでいる。また、補正処理部２１６は、低減係数算出部２１７と、補正量算出部２１８と、をモジュールとして含んでいる。また、顔領域入力部２１２は、顔領域検出部２１３をモジュールとして含んでいてもよい。これらの各部の機能については、後述のカラーバランス補正処理の説明において詳述する。

図２は、実施例の画像処理装置１００によるカラーバランス補正処理の流れを示すフローチャートである。本実施例のカラーバランス補正処理は、画像内に表現された人間の肌色から想定される色かぶりの傾向に応じて補正量を算出し、当該補正量を用いてカラーバランス補正を行う処理である。

ステップＳ１１０では、カラーバランス補正部２１０（図１）が、カラーバランス補正の対象となる対象画像データを入力する。対象画像データは、デジタルスチルカメラ３００（図１）から入力されてもよいし、外部記憶装置１４０（図１）から入力されてもよい。また、対象画像データは、図示しないＣＤ−Ｒ／ＲＷドライブ等の外部接続機器やインターネットを介して入力されてもよい。入力された対象画像データは、内部記憶装置２００内の所定の領域に格納される。なお、本実施例では、対象画像データはＲＧＢデータとして入力されるものとするが、対象画像データが他の色空間で表現されたデータとして入力されるとしてもよい。

ステップＳ１２０（図２）では、顔領域入力部２１２（図１）が、入力された対象画像データの表す対象画像における顔領域を特定する情報を入力する。ここで、顔領域とは、対象画像内において人間の顔を表現している領域である。また、顔領域を特定する情報とは、対象画像の顔領域内に含まれる画素を特定するための情報であり、例えば、当該画素の位置を示す情報である。顔領域を特定する情報は、例えば表示部１２０（図１）に表示された対象画像上で、ユーザが顔領域を指定する操作を行うことによって入力されてもよい。また、顔領域入力部２１２に含まれる顔領域検出部２１３（図１）が、公知の顔領域検出方法（例えば特開２００１−１６５７３号公報に記載の方法）を用いて、顔領域を特定する情報を入力するとしてもよい。

ステップＳ１３０（図２）では、代表値算出部２１４（図１）が、対象画像から顔領域を特定し、顔領域に対応する画像データから肌色代表値ＦＶを算出する。ここで、肌色代表値ＦＶは、対象画像に表現された人間の肌色を代表する値である。本実施例では、肌色代表値ＦＶとして、対象画像の顔領域内に含まれる全画素の画素値（ＲＧＢ値）をＲ値、Ｇ値、Ｂ値毎に平均して算出したＲＧＢ値を採用している。なお、肌色代表値ＦＶとしては、他にも種々の指標を採用可能であり、肌色代表値ＦＶを、対象画像の顔領域内に含まれる全画素の画素値のＲ値、Ｇ値、Ｂ値毎のヒストグラムにおけるピーク値としたり、同様のヒストグラムにおける中央値としたりしてもよい。

ステップＳ１４０（図２）では、代表値算出部２１４（図１）が、ＲＧＢ値として算出された肌色代表値ＦＶをＬ^*ａ^*ｂ^*値に変換し、変換後肌色代表値ＦＶｃを算出する。このＬ^*ａ^*ｂ^*値としての変換後肌色代表値ＦＶｃのａ^*値およびｂ^*値は、対象画像に表現された人間の肌色の色相および彩度を代表する値となる。なお、この変換後肌色代表値ＦＶｃは、後述の肌色の理想値との関係において、対象画像の色かぶりの傾向を表す指標として用いられる。

ステップＳ１５０（図２）では、補正処理部２１６の低減係数算出部２１７（図１）が、変換後肌色代表値ＦＶｃに基づき低減係数Ｋｆを算出する。低減係数Ｋｆは、後述するように、対象画像に表現された人間の肌色と理想の肌色との差分に対する補正量の割合を表しており、０〜０．８の範囲内の種々の値をとるように設定される。低減係数Ｋｆの算出方法については、後に詳述する。

ステップＳ１６０（図２）では、補正処理部２１６の補正量算出部２１８（図１）が、標準補正量Δ（Ｎ）を算出する。図３は、標準補正量Δ（Ｎ）の算出方法の概要を示す説明図である。図３には、色相および彩度を表す平面としてのａ^*−ｂ^*平面上にプロットされた肌色代表点ＦＰおよび理想点ＩＰを示している。ここで、肌色代表点ＦＰは、上述の変換後肌色代表値ＦＶｃのａ^*−ｂ^*平面上における位置を表す点である。また、理想点ＩＰは、人間の肌色の理想的な色相および彩度を表す理想値のａ^*−ｂ^*平面上における位置を表す点である。本実施例では、標準補正量Δ（Ｎ）は、ａ^*−ｂ^*平面上におけるａ^*方向の標準補正量Δａ^*（Ｎ）とｂ^*方向の標準補正量Δｂ^*（Ｎ）との組み合わせとして表される。図３に示すように、標準補正量Δ（Ｎ）（Δａ^*（Ｎ）およびΔｂ^*（Ｎ））は、肌色代表点ＦＰの値（変換後肌色代表値ＦＶｃのａ^*値およびｂ^*値）と理想点ＩＰの値（ａ^*値およびｂ^*値）との差分（「Δａ^* ₀」および「Δｂ^* ₀」と表す）のそれぞれに、低減係数Ｋｆを乗ずることによって算出される。すなわち、上述したように、低減係数Ｋｆは、肌色代表点ＦＰの値と理想点ＩＰの値との差分（Δａ^* ₀およびΔｂ^* ₀）に対する標準補正量Δ（Ｎ）（Δａ^*（Ｎ）およびΔｂ^*（Ｎ））の割合として用いられている。なお、肌色代表点ＦＰの値と理想点ＩＰの値との差分（「Δａ^* ₀」および「Δｂ^* ₀」）は、ａ^*−ｂ^*平面上における肌色代表点ＦＰと理想点ＩＰとの間の距離である。

理想点ＩＰの位置は、ユーザの好みを調査した結果を反映して設定されている。この理想点ＩＰの位置は、ユーザによって変更可能としてもよい。

このように算出された標準補正量Δ（Ｎ）は、肌色代表点ＦＰの値を有する画素が、肌色代表点ＦＰと理想点ＩＰとを結ぶ線分上の点であって、肌色代表点ＦＰからの距離が当該線分の長さの低減係数Ｋｆ倍である点ＡＰの値を有する画素に補正されるような補正量となる。すなわち、低減係数Ｋｆの値が大きいほど、標準補正量Δ（Ｎ）は、肌色代表点ＦＰの値を有する画素が、理想点ＩＰの値により近い値を有する画素となるような補正量となる。

ステップＳ１７０（図２）では、補正量算出部２１８（図１）が、標準補正量Δ（Ｎ）に基づき、実行補正量Δ（Ｅ）を設定する。実行補正量Δ（Ｅ）は、対象画像のすべての画素に対するカラーバランス補正を行う際に、実際に用いられる補正量である。図４は、実行補正量Δ（Ｅ）の設定方法の一例を示す説明図である。図４には、実行補正量Δ（Ｅ）の内、ａ^*方向の実行補正量Δａ^*（Ｅ）の設定方法を示している。図４（ａ）に示すように、実行補正量Δａ^*（Ｅ）を、補正前のａ^*値に関わらず、一律に標準補正量Δａ^*（Ｎ）と同じ値に設定してもよい。また、図４（ｂ）に示すように、肌色代表点ＦＰのａ^*値に対応する実行補正量Δａ^*（Ｅ）を標準補正量Δａ^*（Ｎ）と同じ値とし、その他のａ^*値に対応する実行補正量Δａ^*（Ｅ）を、ａ^*値の最大値を取る点および最小値を取る点を用いた曲線（例えばスプライン曲線）補間によって設定するとしてもよい。ｂ^*方向の実行補正量Δｂ^*（Ｅ）についても同様に設定する。なお、実行補正量Δ（Ｅ）は、標準補正量Δ（Ｎ）に基づいて設定すればよく、他にも種々の設定方法を採用することができる。

ステップＳ１８０（図２）では、補正処理部２１６（図１）が、実行補正量Δ（Ｅ）を用いて、対象画像のカラーバランス補正を行う。具体的には、対象画像を構成するすべての画素について、ＲＧＢ値からＬ^*ａ^*ｂ^*値への変換と、変換後のＬ^*ａ^*ｂ^*値の内のａ^*値およびｂ^*値に対する実行補正量Δ（Ｅ）（Δａ^*（Ｅ）およびΔｂ^*（Ｅ））を用いた補正と、補正後のＬ^*ａ^*ｂ^*値からＲＧＢ値への変換と、が実行され、補正後の画像データが算出される。例えば、実行補正量Δ（Ｅ）を図４（ａ）に示す方法で設定した場合には、対象画像を構成するすべての画素のａ^*−ｂ^*平面上における位置が、標準補正量Δ（Ｎ）分だけ平行移動するようなカラーバランス補正が行われる。また、実行補正量Δ（Ｅ）を図４（ｂ）に示す方法で設定した場合には、対象画像内の画素の内、肌色代表点ＦＰのａ^*値（またはｂ^*値）と同じ値を有する画素は、ａ^*−ｂ^*平面上における位置が標準補正量Δ（Ｎ）分だけ平行移動し、その他の画素は、それぞれ設定された実行補正量Δ（Ｅ）分だけ平行移動することとなる。

以上の処理によって、肌色代表点ＦＰの値と理想点ＩＰの値との差分に低減係数Ｋｆを乗じた標準補正量Δ（Ｎ）に基づき設定した実行補正量Δ（Ｅ）を用いて、対象画像のカラーバランス補正が実行される。

次に、低減係数Ｋｆの算出方法について説明する。本実施例では、ａ^*−ｂ^*平面上の複数の基準直線ＳＬに沿って設定された基準低減係数Ｋｓを用いて低減係数Ｋｆを算出している。図５は、ａ^*−ｂ^*平面上における基準直線ＳＬの一例を示す説明図である。ここで、基準直線ＳＬとは、基準となる色かぶりの方向を示す線であり、理想点ＩＰと基準色かぶり点ＳＰとを結ぶ直線である。また、基準色かぶり点ＳＰとは、所定の基準光源下で撮像された画像に所定の色かぶりが発生した場合に、画像中の人間の肌の色を表す画素が位置すると想定されるａ^*−ｂ^*平面上の点である。本実施例では、図５に示すように、６つの基準光源に対応した６つの基準色かぶり点ＳＰが設定されている。具体的には、イエローの基準光源に対応するイエローの基準色かぶり点ＳＰｙと、オレンジの基準光源に対応するオレンジの基準色かぶり点ＳＰｏと、レッドの基準光源に対応するレッドの基準色かぶり点ＳＰｒと、マゼンタの基準光源に対応するマゼンタの基準色かぶり点ＳＰｍと、ブルーの基準光源に対応するブルーの基準色かぶり点ＳＰｂと、グリーンの基準光源に対応するグリーンの基準色かぶり点ＳＰｇと、が設定されている。基準直線ＳＬは、この６つの基準色かぶり点ＳＰに対応して６つ（ＳＬｙ、ＳＬｏ、ＳＬｒ、ＳＬｍ、ＳＬｂ、ＳＬｇ）設定されている。

なお、ａ^*−ｂ^*平面上には、図５に示すように、画像に表現された人間の肌色がａ^*−ｂ^*平面上において位置することが好ましい領域である目標領域ＴＡ（図５ではハッチングを付して示す）が設定されている。

基準低減係数Ｋｓは、各基準直線ＳＬに沿って設定されている。図６は、基準低減係数Ｋｓの一例を示す説明図である。基準低減係数Ｋｓは、基準光源に対応した色かぶりの方向を示す基準直線ＳＬに沿って、色かぶりの程度を示す理想点ＩＰからの距離に応じて設定された基準となる低減係数である。本実施例では、６つの基準直線ＳＬに沿って、６つの基準低減係数Ｋｓが設定されている。図６(ａ)には、オレンジの基準直線ＳＬｏ（図５）に沿った基準低減係数Ｋｓｏの例を示しており、図６(ｂ)には、グリーンの基準直線ＳＬｇ（図５）に沿った基準低減係数Ｋｓｇの例を示している。なお、図６において、Ｌｔは理想点ＩＰからの距離を示している。

例えば、図６(ａ)に示すオレンジの基準直線ＳＬｏに沿った基準低減係数Ｋｓｏの値は、距離Ｌｔが０から増加するに従って増加し、目標領域ＴＡの外周上の点ＣＰｏ（図５参照）において最大値（０．８）となっている。さらに、距離Ｌｔが増加すると、基準低減係数Ｋｓｏの値は、しばらく最大値のまま推移し、その後減少する。距離Ｌｔが基準かぶり点ＳＰｏよりも大きい限界点ＥＰｏ（図５参照）において、基準低減係数Ｋｓｏの値は０となっている。

また、図６(ｂ)に示すグリーンの基準直線ＳＬｇに沿った基準低減係数Ｋｓｇの値は、距離Ｌｔが０から増加するに従って増加し、目標領域ＴＡの外周上の点ＣＰｇ（図５参照）において最大値（０．８）となっている。この点を過ぎると、距離Ｌｔが増加するに従って、基準低減係数Ｋｓｏの値は減少する。距離Ｌｔが基準かぶり点ＳＰｇよりも大きい限界点ＥＰｇ（図５参照）において、基準低減係数Ｋｓｇの値は０となっている。

このように、本実施例では、基準低減係数Ｋｓは、１つの基準直線ＳＬ上においても理想点ＩＰからの距離Ｌｔによって値が異なるように設定されている。すなわち、同一方向への色かぶりであっても、色かぶりの程度によって、基準低減係数Ｋｓの値が異なるように設定されている。

また、各基準低減係数Ｋｓは、それぞれ独立に設定されているため、図６に示すように、基準直線ＳＬ毎に、基準低減係数Ｋｓの傾向を異ならせることができる。具体的には、目標領域ＴＡ（図５）内では、理想点ＩＰからの距離Ｌｔが同じであれば、オレンジの基準直線ＳＬｏに沿った基準低減係数Ｋｓｏの値は、グリーンの基準直線ＳＬｇに沿った基準低減係数Ｋｓｇの値よりも小さくなるように設定されている。これは、オレンジの基準直線ＳＬｏに沿った方向の色かぶりは、グリーンの基準直線ＳＬｇに沿った方向の色かぶりと比較して、強い補正を求められない傾向があるからである。このように、本実施例では、同程度の色かぶりであっても、色かぶりの方向によって、基準低減係数Ｋｓの値が異なるように設定されている。

また、理想点ＩＰから限界点ＥＰまでの距離は、オレンジの基準直線ＳＬｏ上の限界点ＥＰｏの方が、グリーンの基準直線ＳＬｇ上の限界点ＥＰｇよりも大きく設定されている。これは、人の肌色ではない画素を顔領域として検出してしまう誤検出の可能性が、理想点ＩＰからオレンジの基準直線ＳＬｏに沿った方向より、グリーンの基準直線ＳＬｇに沿った方向の方が高いからである。

本実施例では、レッドおよびマゼンタの基準低減係数Ｋｓは、オレンジの基準低減係数Ｋｓｏと同様の傾向を持つように設定されている。一方、ブルーおよびイエローの基準低減係数Ｋｓは、グリーンの基準低減係数Ｋｓｇと同様の傾向を持つように設定されている。

なお、基準低減係数Ｋｓは、ユーザの好みに応じて、種々の傾向を有するように設定することが可能である。異なる傾向を有する基準低減係数Ｋｓを複数設定し、ユーザに使用する基準低減係数Ｋｓを選択させることも可能である。基準低減係数Ｋｓは、テーブル形式で、内部記憶装置２００（図１）内の所定の領域に格納される。

低減係数Ｋｆは、上述の基準低減係数Ｋｓを用いて算出される。図７は、基準低減係数Ｋｓを用いた低減係数Ｋｆの算出方法の一例を示す説明図である。肌色代表点ＦＰが基準直線ＳＬ上に位置する場合には、当該基準直線ＳＬ上の肌色代表点ＦＰの位置に対応した基準低減係数Ｋｓの値が、低減係数Ｋｆとなる。一方、肌色代表点ＦＰが基準直線ＳＬ上に位置しない場合には、低減係数Ｋｆは、２つの基準低減係数Ｋｓを用いて算出される。この２つの基準低減係数Ｋｓは、肌色代表点ＦＰとの距離が最も近い２つの基準直線ＳＬに沿った基準低減係数Ｋｓである。図７の例では、肌色代表点ＦＰとの距離が最も近い２つの基準直線ＳＬは、オレンジの基準直線ＳＬｏとレッドの基準直線ＳＬｒである。そのため、低減係数Ｋｆの算出に用いられる基準低減係数Ｋｓは、オレンジの基準低減係数Ｋｓｏとレッドの基準低減係数Ｋｓｒとの２つとなる。

まず、２つの基準直線ＳＬ上の点であって、理想点ＩＰからの距離Ｌｔが、理想点ＩＰと肌色代表点ＦＰとの間の距離に等しい点ＲＰ（以下「参照点ＲＰ」と呼ぶ）における基準低減係数Ｋｓを算出する。図７には、２つの基準直線ＳＬ（ＳＬｏおよびＳＬｒ）上の参照点ＲＰ（ＲＰｏおよびＲＰｒ）を示している。図８は、参照点ＲＰにおける基準低減係数Ｋｓの一例を示す説明図である。図８（ａ）は、オレンジの基準直線ＳＬｏ上の参照点ＲＰｏにおける基準低減係数Ｋｓｏ（ｒ）を示しており、図８（ｂ）は、レッドの基準直線ＳＬｒ上の参照点ＲＰｒにおける基準低減係数Ｋｓｒ（ｒ）を示している。

次に、２つの参照点ＲＰにおける基準低減係数Ｋｓを、当該参照点ＲＰに対応した基準色かぶり点ＳＰと肌色代表点ＦＰとの距離に応じて重み付け平均することにより、低減係数Ｋｆを算出する。図７に示すように、オレンジの基準色かぶり点ＳＰｏと肌色代表点ＦＰとの距離をＬｏとし、レッドの基準色かぶり点ＳＰｒと肌色代表点ＦＰとの距離をＬｒとすると、低減係数Ｋｆは、以下の式（１）によって算出される。

以上のようにして、低減係数Ｋｆは、基準低減係数Ｋｓを用いて算出される。本実施例では、基準低減係数Ｋｓを０〜０．８の範囲内の値となるよう設定しているため、算出される低減係数Ｋｆも、０〜０．８の範囲内の値に設定される。

本実施例では、低減係数Ｋｆの値は、肌色代表点ＦＰの値（ａ^*およびｂ^*）に応じて、可変に設定される。ここで、肌色代表点ＦＰの値は、対象画像の色かぶりの方向および程度といった色かぶりの傾向を表すものである。そのため、低減係数Ｋｆ、すなわち、肌色代表点ＦＰの値と理想点ＩＰの値との差分に対する標準補正量Δ（Ｎ）の割合の値は、色かぶりの傾向に応じて、可変に設定される。また、カラーバランス補正は、標準補正量Δ（Ｎ）に基づき設定された実行補正量Δ（Ｅ）を用いて行われる。従って、本実施例の画像処理装置１００では、色かぶりの傾向に応じた好ましいカラーバランス補正を行うことができる。

また、本実施例では、各基準低減係数Ｋｓの傾向を、基準直線ＳＬ毎に異ならせることができるため、同程度の色かぶりであっても、色かぶりの方向によって、基準低減係数Ｋｓの値を異ならせることができる。低減係数Ｋｆは、基準低減係数Ｋｓを用いて算出されるため、低減係数Ｋｆについても、色かぶりの方向によって値を異ならせることができることとなる。従って、本実施例の画像処理装置１００では、色かぶりの方向に応じた好ましいカラーバランス補正を行うことができる。

また、本実施例では、１つの基準直線ＳＬ上に沿った基準低減係数Ｋｓの値を、理想点ＩＰからの距離に応じて異なるように設定できるため、色かぶりの程度によって、基準低減係数Ｋｓの値を異ならせることができる。低減係数Ｋｆは、基準低減係数Ｋｓを用いて算出されるため、低減係数Ｋｆについても、色かぶりの程度によって値を異ならせることができることとなる。従って、本実施例の画像処理装置１００では、色かぶりの程度に応じた好ましいカラーバランス補正を行うことができる。

また、本実施例では、基準低減係数Ｋｓを、予め設定された基準低減係数Ｋｓを用いて算出しているため、低減係数Ｋｆを容易に算出することができ、処理の高速化を図ることができる。また、色かぶりの傾向に応じた低減係数Ｋｆの傾向を容易に設定することができ、好ましいカラーバランス補正を行うための設定を容易に行うことができる。

Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｂ１．変形例１：
上記実施例では、変換後肌色代表値ＦＶｃの値から基準低減係数Ｋｓを用いて低減係数Ｋｆを算出しているが、変換後肌色代表値ＦＶｃ（または肌色代表値ＦＶ）と低減係数Ｋｆの値との関係を予め計算し、テーブルとして持つようにしてもよい。このようにすれば、カラーバランス補正の処理の高速化を図ることができる。

Ｂ２．変形例２：
上記実施例において示した基準低減係数Ｋｓを用いた低減係数Ｋｆの算出方法は、あくまで一例であり、基準低減係数Ｋｓを用いた低減係数Ｋｆの算出方法として、他の方法を採用することも可能である。例えば、上記実施例では、設定された６つの基準低減係数Ｋｓの内の２つを用いて低減係数Ｋｆを算出しているが、１つのみの基準低減係数Ｋｓを用いたり、３つ以上の基準低減係数Ｋｓを用いたりして低減係数Ｋｆを算出するとしてもよい。また、上記実施例では、低減係数Ｋｆの算出の際に、肌色代表点ＦＰと基準色かぶり点ＳＰとの距離を用いて重み付け平均しているが、肌色代表点ＦＰと参照点ＲＰとの距離を用いて重み付け平均するとしてもよい。また、上記実施例では、６つの基準低減係数Ｋｓが設定されているが、設定される基準低減係数Ｋｓの数は任意であり、５つ以下の基準低減係数Ｋｓが設定されていてもよいし、７つ以上の基準低減係数Ｋｓが設定されていてもよい。

また、上記実施例に示した基準低減係数Ｋｓの値は、あくまで一例であり、基準低減係数Ｋｓの値を異なる値に設定してもよい。例えば、上記実施例では、基準低減係数Ｋｓを０〜０．８の範囲内の値に設定しているが、基準低減係数Ｋｓを０〜１．０といった異なる範囲内の値に設定してもよい。

Ｂ３．変形例３：
上記実施例では、色相および彩度を表す平面として、ａ^*−ｂ^*平面を用いているが、色相および彩度を表す平面としてｕ^*−ｖ^*平面等の異なる平面を用いてもよい。

Ｂ４．変形例４：
上記実施例では、画像に表現された人の肌の領域として顔領域を用いているが、人の肌の領域として顔以外の領域を用いてもよい。

本発明の実施例としての画像処理装置の構成を概略的に示す説明図。 実施例の画像処理装置によるカラーバランス補正処理の流れを示すフローチャート。 標準補正量Δ（Ｎ）の算出方法の概要を示す説明図。 実行補正量Δ（Ｅ）の設定方法の一例を示す説明図。 ａ＊−ｂ＊平面上における基準直線ＳＬの一例を示す説明図。 基準低減係数Ｋｓの一例を示す説明図。 基準低減係数Ｋｓを用いた低減係数Ｋｆの算出方法の一例を示す説明図。 参照点ＲＰにおける基準低減係数Ｋｓの一例を示す説明図。

符号の説明

１００…画像処理装置
１１０…ＣＰＵ
１２０…表示部
１３０…操作部
１４０…外部記憶装置
１５０…インターフェイス部
１６０…バス
２００…内部記憶装置
２１０…カラーバランス補正部
２１２…顔領域入力部
２１３…顔領域検出部
２１４…代表値算出部
２１６…補正処理部
２１７…低減係数算出部
２１８…補正量算出部
３００…デジタルスチルカメラ
４００…プリンタ

Claims (8)

1. 複数の画素から構成される画像のカラーバランス補正を行う画像処理装置であって、
   画像内における人間の肌を表す画素を含む肌色領域に含まれる画素の信号値に基づき、前記肌色領域に含まれる画素の色相および彩度を代表する代表値を算出する代表値算出部と、
   前記代表値と人間の肌の理想的な色相および彩度を表す値として設定された理想値との差分に低減係数を乗じた標準補正量に基づき設定された実行補正量を用いて、前記画像に対するカラーバランス補正を行う補正処理部と、を備え、
   前記低減係数の値は、前記代表値に応じて可変に設定される、画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記代表値および前記理想値は、色相および彩度を表す平面上の位置を表す値であり、
   前記代表値と前記理想値との差分は、前記平面上における前記代表値と前記理想値との距離を表す値である、画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記低減係数は、前記代表値が前記平面上における前記理想値の位置から第１の方向に向かう第１の直線上の第１の点に位置する場合の値と、前記代表値が前記平面上における前記理想値の位置から第２の方向に向かう第２の直線上の点であって前記理想値の位置からの距離が前記理想値の位置と前記第１の点との間の距離に等しい第２の点に位置する場合の値と、が、互いに異なるように設定される、画像処理装置。
4. 請求項２記載の画像処理装置であって、
   前記低減係数は、前記代表値が前記平面上における前記理想値の位置を通る直線上の第１の点に位置する場合の値と、前記代表値が前記平面上における前記直線上の前記第１の点とは異なる第２の点に位置する場合の値と、が、互いに異なるように設定される、画像処理装置。
5. 請求項２記載の画像処理装置であって、
   前記補正処理部は、前記平面上の複数の位置について設定された基準低減係数を用いて、前記代表値に応じた前記低減係数の値を算出する、画像処理装置。
6. 請求項５記載の画像処理装置であって、
   前記基準低減係数は、前記平面上における前記理想値の位置と複数の所定の基準点のそれぞれとを結ぶ複数の基準直線上に沿って設定されており、
   前記補正処理部は、前記平面上において前記代表値の位置からの距離が最も近い２つの前記基準直線上の点であって、前記理想値の位置からの距離が、前記理想値の位置と前記代表値の位置との間の距離と同じである点における前記基準低減係数と、前記代表値の位置と前記２つの基準直線上の前記基準点との距離と、を用いて前記低減係数を算出する、画像処理装置。
7. 複数の画素から構成される画像のカラーバランス補正を行う画像処理方法であって、
   （ａ）画像内における人間の肌を表す画素を含む肌色領域に含まれる画素の信号値に基づき、前記肌色領域に含まれる画素の色相および彩度を代表する代表値を算出する工程と、
   （ｂ）前記代表値と人間の肌の理想的な色相および彩度を表す値として設定された理想値との差分に低減係数を乗じた標準補正量に基づき設定された実行補正量を用いて、前記画像に対するカラーバランス補正を行う工程と、を備え、
   前記低減係数の値は、前記代表値に応じて可変に設定される、画像処理方法。
8. 複数の画素から構成される画像のカラーバランス補正を行う画像処理プログラムであって、
   画像内における人間の肌を表す画素を含む肌色領域に含まれる画素の信号値に基づき、前記肌色領域に含まれる画素の色相および彩度を代表する代表値を算出する代表値算出機能と、
   前記代表値と人間の肌の理想的な色相および彩度を表す値として設定された理想値との差分に低減係数を乗じた標準補正量に基づき設定された実行補正量を用いて、前記画像に対するカラーバランス補正を行う補正処理機能と、を、コンピュータに実現させ、
   前記低減係数の値は、前記代表値に応じて可変に設定される、画像処理プログラム。

Images