JP5591874B2 - 画像処理装置、方法、及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、方法、及びプログラムに関する。

画像データから人肌に沈着している色素成分の量を推定する画像処理装置がある。このような画像処理装置においては、色素成分の量を推定するためには、画像データを撮影したときの撮影環境が既知である必要がある。

特許第４８３１６３２号公報

これに対し、撮影環境が未知である一般環境で撮影された画像データから、人肌に沈着している色素成分の量を推定できる画像処理装置が求められている。

本発明が解決しようとする課題は、一般環境で撮影された画像データから、人肌に沈着している色素成分の量を推定することができる画像処理装置、方法、及びプログラムを提供することにある。

一実施形態に係る画像処理装置は、抽出部、光減衰量算出部、及び色素量算出部を備える。抽出部は、複数の画素を含む画像データから前記複数の画素それぞれの波長信号値を抽出する。光減衰量算出部は、前記波長信号値のうちの対象画素の波長信号値と該対象画素の周辺の局所領域の波長信号値から求めた代表信号値との比に基づいて、光減衰量を算出する。色素量算出部は、所定の色素成分の吸光度基底を使用して前記光減衰量を分解することにより、前記対象画素における前記所定の色素成分の色素量を算出する。

第１の実施形態に係る画像処理装置を概略的に示すブロック図。 図１に示した画像処理装置の動作例を示すフローチャート。 光が肌表面で反射する様子を説明する図。 図１に示した色素量算出部が光減衰量を吸光度基底で分解して色素量を算出する方法を説明する図。 第２の実施形態に係る画像処理装置を概略的に示すブロック図。 図５に示した局所領域決定部を詳細に示すブロック図。 （ａ）は制御領域を設定する方法を説明する図であり、（ｂ）は制御領域と領域信頼度との関係を示す図である。 図５に示した画像処理装置の動作例を示すフローチャート。 第３の実施形態に係る画像処理装置を概略的に示すブロック図。 図９に示した画像処理装置の動作例を示すフローチャート。 第４の実施形態に係る画像処理装置を概略的に示すブロック図。 図１１に示した画像処理装置の動作例を示すフローチャート。 第５の実施形態に係る画像処理装置を概略的に示すブロック図。 図１３に示した画像処理装置の動作例を示すフローチャート。 肌表面の微小面による光の遮蔽と法線の変化を示す図。

以下、必要に応じて図面を参照しながら実施形態を説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１００を概略的に示している。この画像処理装置１００は、人肌領域を含む画像コンテンツである画像データ１５０を外部装置（図示せず）から取得し、画像データ１５０を形成する画素ごとに所定の色素成分の色素量１５３を算出して出力する。色素量は、被写体の肌に沈着している色素成分の量、即ち、色素成分の沈着量を示す。肌の色素成分としては、例えば、メラニン色素、酸化ヘモグロビン色素、還元ヘモグロビン色素、ビリルビン色素などが挙げられる。具体的には、画像処理装置１００は、図１に示されるように、抽出部１０１、光減衰量算出部１０２、及び色素量算出部１０３を備える。

画像処理装置１００において、画像データ１５０は、抽出部１０１へ供給される。画像データ１５０は、複数のフレーム画像を含む動画像データ、例えば、ビデオカメラで撮影された動画像データ、テレビで受信された動画像データなどであってもよく、単一のフレーム画像を含む静止画像データ、例えば、デジタルカメラで撮影された静止画像データなどであってもよい。画像データ１５０が動画像データである場合、画像処理装置１００は、フレーム画像ごとに画像処理を行う。本実施形態では、画像データ１５０が静止画像データであるとして説明する。

抽出部１０１は、画像データ１５０から、画像データ１５０内の画素それぞれの波長信号値１５１を抽出する。各波長信号値１５１は、赤（Ｒ）信号値、緑（Ｇ）信号値、及び青（Ｂ）信号値を含む。波長信号値１５１は、光減衰量算出部１０２へ送られる。

光減衰量算出部１０２は、画像データ１５０内の処理対象となる画素（以下、対象画素と呼ぶ。）の波長信号値と対象画素周辺の局所領域の代表信号値との比に基づいて、対象画素位置における光減衰量１５２を算出する。光減衰量は、物体に入射した光が反射する際に減衰する光量を示す。人肌における光量の減衰は、肌に沈着している色素成分による光の吸収とともに、肌表面での光の散乱などから生じる。光減衰量１５２は、色素量算出部１０３へ送られる。

色素量算出部１０３は、所定の色素成分の吸光度基底を用いて光減衰量１５２を分解することにより、対象画素位置における所定の色素成分の色素量１５３を算出する。所定の色素成分は、色素量の推定が所望される色素成分を示す。本実施形態では、所定の色素成分の数は１又は２又は３であり、色素量は所定の色素成分のそれぞれに関して算出される。各色素成分の吸光度基底は、その色素成分の吸収特性、及び仮定するカメラの分光感度特性から予め定められる。

上記構成を備える画像処理装置１００は、撮影環境が未知である一般環境において撮影された画像データから、人肌に沈着している所定の色素成分の色素量を推定することができる。

次に、画像処理装置１００の動作について説明する。
図２は、画像処理装置１００の動作例を示している。ステップＳ２０１では、抽出部１０１は、入力された画像データ１５０から、画像データ１５０内の画素それぞれの波長信号値１５１を抽出する。画像データ１５０は、ＲＧＢ形式、ＹＵＶ形式、又は他の信号形式のものであってもよい。画像データ１５０がγ補正されたＲＧＢ形式である場合、抽出部１０１は、画像データ１５０のＲＧＢ信号に対して逆γ補正を施すことで線形なＲＧＢ信号に変換する。また、画像データ１５０がγ補正されたＹＵＶ形式である場合、抽出部１０１は、所定の変換公式を用いてＹＵＶ信号をＲＧＢ信号に変換し、変換により得られたＲＧＢ信号に対して逆γ補正を施す。本実施形態の波長信号値１５１は、リニアライズされたＲＧＢ信号に対応する。

本実施形態では、ステップＳ２０１に後続するステップＳ２０２及びＳ２０３の処理は、画像データ１５０内の全ての画素に対して順次に実行される。具体的には、画像データ１５０から１つの画素が対象画素として選択され、この対象画素に対してステップＳ２０２及びＳ２０３の処理が実行される。続いて、画像データ１５０から１つの他の画素が対象画素として選択され、この対象画素に対してステップＳ２０２及びＳ２０３の処理が実行される。このようにして、ステップＳ２０２及びＳ２０３の処理が画像データ１５０内の全ての画素に対して順次に実行される。或いは、ステップＳ２０２の処理が画像データ１５０内の全ての画素に対して順次に実行された後に、ステップＳ２０３の処理が画像データ１５０内の全ての画素に対して順次に実行されてもよい。

ステップＳ２０２では、光減衰量算出部１０２は、Ｓ２０１で得られた波長信号値１５１から対象画素位置における光減衰量１５２を算出する。具体的には、まず、光減衰量算出部１０２は、対象画素の波長信号値を取得するとともに、対象画素周辺の局所領域の代表信号値（単に代表値ともいう）を決定する。一例では、局所領域は、対象画素を中心とする正方形又は矩形の領域であり、複数の画素を含む。代表信号値としては、局所領域内の画素集合の波長信号値の平均値を使用してもよく、局所領域内の画素の波長信号値のメディアン値又はヒストグラムのピーク値を使用してもよい。画素集合の設定手法としては、次に例証する２つの手法のいずれか又は他の手法を使用することができる。第１の手法は、局所領域に含まれる全ての画素を画素集合として利用する。第２の手法は、局所領域内の画素を複数の部分領域に分類し、メディアン値を有する画素が属する部分領域を選択し、選択した部分領域に含まれる全ての画素を画素集合として利用する。第２の手法で局所領域内の画素を分類する手法としては、例えば、Ｋ−ＮＮ法、Ｗａｒｄ法、Ｋ−Ｍｅａｎｓ法などの既存のクラスタリング手法を利用することができる。なお、クラスタリングには、肌の色素成分による影響の少ないＲ信号値を用いることが望ましい。

次に、光減衰量算出部１０２は、対象画素の波長信号値と対象画素周辺の局所領域の代表信号値との比に基づいて、対象画素位置における光減衰量を算出する。例えば、光減衰量は、下記数式（１）に従って算出することができる。

ここで、数式（２）に示されるベクトルＡ_ｉは光減衰量を表し、数式（３）に示されるベクトルＹ_ｉは対象画素の波長信号値を表し、数式（４）に示されるベクトルＹ_ａｖｅは代表信号値を表す。これらのベクトルの第１、第２及び第３要素はそれぞれ赤、緑及び青の波長域の成分に対応する。例えば、ベクトルＹ_ｉの要素であるＲ_ｉ、Ｇ_ｉ、Ｂ_ｉはそれぞれ対象画素ｉのＲ信号値、Ｇ信号値、Ｂ信号値を表す。

ここで、数式（１）を導出する手順を説明する。
リニアライズされたＲＧＢ信号である波長信号値は、カメラから取得される出力信号（カメラ信号）である。画素位置ｉにおけるカメラ信号Ｙ_ｉは、下記数式（５）に示すように、波長λを用いて表すことができる。

数式（５）において、Ｒ_ｉ（λ）は、画素位置ｉにおける計測物体である肌の分光反射率を表し、Ｎは、撮影環境に存在する照明（又は光源）の数を表し、Ｐ_ｊ（λ）は、ｊ番目の照明の分光分布を表し、ｋ_ｊｉは、ｊ番目の照明からの光が画素位置ｉに照射される強さを示す係数を表す。ここで、ｊは、１≦ｊ≦Ｎを満たす整数である。さらに、数式（６）に示されるベクトルｒはカメラの分光感度の係数を表し、数式（７）に示されるベクトルＷＢはカメラのホワイトバランスの係数を表す。これらのベクトルの第１、第２及び第３要素はそれぞれ赤、緑及び青の波長域の成分に対応する。数式（５）の積分は、各信号値を可視光波長域（ｖｉｓ）で積和していることを示す。

観測されるカメラ信号から肌の色素成分の色素量を推定する場合、計測物体である肌の分光反射率Ｒ_ｉ（λ）を推定する必要がある。しかしながら、カメラ信号から推定される肌の分光反射率は、被写体の肌の個体差、撮影時の照明光の分光分布、カメラ特性に応じて大きく変動する。特に、未知の撮影環境で撮影された一般画像への適応を考えた場合、照明が単一であることは少なく、物体の位置に応じて照射光の強さや種類が変化するために、肌の位置や部位に応じて推定される色素成分の色素量が変動する。本実施形態では、これらの変動要因に対して色素量をロバストに推定するために、以下に説明する光反射モデルを使用する。本実施形態で使用する光反射モデルは、肌に入射した光が反射する際に画素位置ｉの肌に沈着している色素成分の影響を受けて入射光が吸収及び散乱により減衰することを仮定したモデルである。この光反射モデルでは、画素位置ｉの肌に沈着したＭ種類の色素成分の吸収係数をそれぞれＡ_１ｉ（λ）、Ａ_２ｉ（λ）、…、Ａ_Ｍｉ（λ）とした時に、カメラで観測される信号が下記数式（８）で示される吸収係数の総和Ａ_ｉ（λ）に応じて減衰することを仮定する。ここで、Ｍは自然数である。

さらに、吸収係数がＡ_ｉ（λ）である色素成分の層を透過する際の透過率は１０^{−Ａｉ（λ）}と表すことができる。従って、肌に入射した光が画素位置ｉの肌に沈着している色素成分の層を通過するときに減衰し、その反射光をカメラで観測して得られる信号値は、下記数式（９）のように表すことができる。

数式（９）において、Ｒ_ｉ´（λ）は、色素成分が沈着していない肌の分光反射率を示し、Ａ_ｉ（λ）は、画素位置ｉの肌に沈着した色素成分の吸収係数の総和を示す。一般的にＲ_ｉ´（λ）は、被写体及び計測する部位によって異なる。図３に肌表面での光の反射を模式的に示す。より詳細には、図３は、照明光Ｐ_ｊ（λ）が３種類の色素成分が沈着した画素位置ｉの肌に照射され、その反射光がカメラで観測される様子を示している。図３に示されるように、肌（皮膚）は、角質、表皮、真皮、皮下組織を含み、色素成分は、表皮及び真皮に沈着する。これら表皮及び真皮をまとめて色素成分層と呼ぶ。光源ｊからの光は肌で反射され、その反射光がカメラで観測される。反射光は、色素成分層で反射された光、皮下組織で反射された光を含み、色素成分層を透過するときに色素成分により吸収されるなどして減衰されている。

ここで、カメラの分光感度が狭帯であって、赤、緑、青の波長域それぞれでピークを有するデルタ関数であると仮定すると、数式（９）は下記数式（１０）のように変形される。このようにして、対象画素ｉにおける波長信号値Ｒ_ｉ、Ｇ_ｉ、Ｂ_ｉは数式（１０）のように表すことができる。

数式（１０）のＲ´_Ｒｉ、Ｒ´_Ｇｉ、Ｒ´_Ｂｉはカメラの分光感度のピーク波長における色素成分が沈着していない肌の分光反射率Ｒ_ｉ´（λ）の値を示し、Ｐ_Ｒj、Ｐ_Ｇj、Ｐ_Ｂjはカメラの分光感度のピーク波長における照明の分光分布Ｐ_ｊ（λ）の値を示し、Ａ_Ｒｉ、Ａ_Ｇｉ、Ａ_Ｂｉはカメラの分光感度のピーク波長における画素位置ｉの肌に沈着した色素成分の吸収係数Ａ_ｉ（λ）を示す。同様にして、代表信号値Ｒ_ａｖｅ、Ｇ_ａｖｅ、Ｂ_ａｖｅは下記数式（１１）のように表すことができる。

数式（１１）のＲ´_Ｒａｖｅ、Ｒ´_Ｇａｖｅ、Ｒ´_Ｂａｖｅはカメラの分光感度のピーク波長における代表信号値を有する画素での肌の分光反射率Ｒ_ａｖｅ´（λ）を示し、Ａ_Ｒａｖｅ、Ａ_Ｇａｖｅ、Ａ_Ｂａｖｅはカメラの分光感度のピーク波長における代表信号値を有する画素位置の肌に沈着した色素成分の吸収係数Ａ_ａｖｅ（λ）を示す。

次に、対象画素ｉにおける波長信号値と決定した代表信号値との比をＲ、Ｇ、Ｂそれぞれの信号で算出することで光減衰量を求める。ここで、対象画素ｉとその周辺の局所領域とでは照明条件が不変であると仮定すると、ｋ_ｊｉ＝ｋ_ｊａｖｅ（１≦ｊ≦Ｎ）と近似することができる。さらに、色素成分が集中的に沈着している箇所の面積は局所領域と比較して小さい、且つ、局所領域では色素成分が沈着していない画素の割合が、色素成分が沈着している画素の割合と比べて十分に大きいと仮定すると、代表信号値に与える色素成分の影響は十分に小さく、従って、数式（１１）のＡ_Ｒａｖｅ、Ａ_Ｇａｖｅ、Ａ_Ｂａｖｅを無視する、即ち、ゼロにすることができる。さらにまた、小さい領域である局所領域内では、色素成分が沈着していない肌の分光反射率が実質的に一定である。即ち、反射分光率Ｒ´_Ｒｉ、Ｒ´_Ｇｉ、Ｒ´_Ｂｉは反射分光率Ｒ´_Ｒａｖｅ、Ｒ´_Ｇａｖｅ、Ｒ´_Ｂａｖｅとそれぞれ等しい。従って、数式（１０）中の３つの式を数式（１１）中の３つの式でそれぞれ除算して各式の両辺の対数を取ると数式（１）が得られる。

数式（２）に示されるベクトルＡ_ｉは、画素位置ｉにおける色素成分の吸収係数である。色素量算出部１０３は、数式（１）に従って算出した吸収係数を光減衰量１５２として色素量算出部１０３に送る。数式（１）からは、算出される吸収係数（即ち、光減衰量）Ａ_ｉが、肌色の個人差（Ｒ_ｉ´（λ））、下記数式（１２）に示される撮影環境の照明光、使用するカメラの特性（分光感度及びホワイトバランス）の影響にロバストであることが分かる。従って、光減衰量算出部１０２は、被写体、撮影環境、及びカメラ特性を把握することなしに、光減衰量を算出することができる。

ステップＳ２０３では、色素量算出部１０３は、ステップＳ２０２で算出された光減衰量に基づいて、画素位置ｉにおける所定の色素成分の色素量を算出する。色素量は、予め定められる各色素成分の吸光度基底ｅ_Ｐｉｇ（数式（１３）に示す）を用いて光減衰量１５２を分解することで求めることができる。

色素成分の吸光度基底ｅ_Ｐｉｇは、仮定するカメラ感度ピーク位置での色素成分のモル吸収係数である。人肌に含まれる色素成分の吸収特性は、Anderson RR, Parrish JA, “The optics of human skin”, Journal of Invest Dermatol, vol.77(1),13-19, Jul, 1981に説明されている。色素成分の吸収特性は、その種類に応じて異なる特性を持つ。メラニン色素は、メラノサイトで生成される色素成分であり、肌に黒褐色を与える。メラニン色素は、全ての波長域で高い吸収係数を示し、短波長域から長波長域にかけて吸収係数が単調減少する。酸化ヘモグロビン色素及び還元ヘモグロビン色素は、血液中に含まれる色素であり、肌に赤色を与える。酸化ヘモグロビン色素は動脈に多く含まれており、還元ヘモグロビン色素は静脈に多く含まれている。酸化ヘモグロビン色素及び還元ヘモグロビン色素は両方とも４００〜４５０ｎｍの短波長域で急峻且つ非常に高い吸収係数を示し、５００〜６００ｎｍの中波長域でも比較的に高い吸収係数を示す。酸化ヘモグロビン色素と還元ヘモグロビン色素では短波長域でのピーク波長の位置が互いに異なることと、酸化ヘモグロビン色素に関して中波長域において見られるｗ型の吸収特性が還元ヘモグロビン色素ではみられないことが異なる。ビリルビン色素は、血液中に含まれる色素であり、肌に黄色を与える。ビリルビン色素は４５０ｎｍにおいて高い吸収係数を示す。

なお、仮定するカメラの分光感度と撮影時に使用されたカメラの分光感度との違いによる色素量推定誤差をロバストにするために、吸光度基底ｅ_Ｐｉｇは、カメラ感度のピーク波長域周辺のモル吸収係数の加重平均値から算出されてもよい。

色素量算出部１０３は、光減衰量１５２を吸光度基底ｅ_Ｐｉｇで分解することで色素量を算出する。Ｍ個の所定の色素成分のうちのｋ番目の色素成分の吸光度基底をｅ_ｋ、画素の色素量をα_ｋｉとすると、画素ｉの肌に沈着している色素成分の吸収係数Ａ_ｉは、下記数式（１４）のように表すことができる。

数式（１５）に示すベクトルεは、画素ｉの肌に沈着している所定の色素成分以外の色素成分によって生じる分解誤差、及び局所領域内の肌表面の微細な凹凸による照明変化によって生じる分解誤差を含む誤差項である。ベクトルεの第１、第２及び第３要素はそれぞれ赤、緑及び青の波長域の成分に対応する。色素量算出部１０３は、下記数式（１６）に示すように、誤差項の大きさ||ε_ｉ||を最小にするα_ｋｉを求めることで色素量を算出する。

ただし、Ｍは、１≦Ｍ≦３を満たす整数であり、α_ｋｉ≧０である。
図４に、光減衰量を２つの色素成分（メラニン色素及び酸化ヘモグロビン色素）の吸光度基底で分解することで色素量を推定する様子を示す。誤差項の大きさ||ε_ｉ||を最小にするα_ｋｉを求める手法としては、例えば、非線形計画法の所定のアルゴリズムを用いることができ、勾配下降法又はＮｅｗｔｏｎ法を用いることでα_ｋｉの最適解を求めることができる。

このようにして、画像処理装置１００は、被写体、撮影環境及びカメラ特性に関する情報を用いることなく、画像データ内の画素ごとに所定の色素成分の色素量を算出することができる。即ち、画像処理装置１００は、一般環境下で任意のカメラによって撮影された画像データから所定の色素成分の色素量を推定することができる。

なお、推定可能な色素成分は、肌の主要な色素成分であるメラニン色素、酸化ヘモグロビン色素、還元ヘモグロビン色素、ビリルビン色素に限らず、吸光特性が既知である他の色素成分であってもよい。また、色素成分の数Ｍは、１、２、３のいずれであってもよい。

以上のように、本実施形態に係る画像処理装置は、対象画素の波長信号値と対象画素周辺の局所領域の代表信号値との比に基づいて対象画素位置における光減衰量を算出し、光減衰量を所定の色素成分の吸光度基底で分解することで所定の色素成分の各々の色素量を算出している。これにより、一般環境で撮影された画像データから、被写体の肌に沈着している色素成分のうちの所望の色素成分の色素量を推定することが可能になる。

（第２の実施形態）
第２の実施形態は、光減衰量の算出に使用する局所領域の大きさを対象画素に応じて変更する点が第１の実施形態と異なる。
図５は、第２の実施形態に係る画像処理装置５００を概略的に示している。図５の画像処理装置５００は、図１の画像処理装置１００の構成に追加して、局所領域決定部５０１を備える。本実施形態では、抽出部１０１は、波長信号値１５１を局所領域決定部５０１に送る。局所領域決定部５０１は、波長信号値１５１を使用して、対象画素の光減衰量の算出に使用する局所領域を決定する。局所領域決定部５０１は、決定した局所領域を示す情報５５１を光減衰量算出部１０２に送る。光減衰量算出部１０２は、局所領域情報５５１により特定される局所領域内の画素から代表信号値を算出する。

図６は、局所領域決定部５０１を詳細に示している。局所領域決定部５０１は、図６に示されるように、領域制御部６０１及び領域信頼度算出部６０２を備える。領域制御部６０１は、領域信頼度算出部６０２によって算出される領域信頼度に応じて、対象画素の光減衰量の算出に使用する局所領域を制御する。具体的には、局所領域決定部５０１では、制御領域が最適化されるまで次の工程が繰り返され、最適化された制御領域が局所領域として決定される。

即ち、まず、領域制御部６０１は、画像データ１５０から局所領域の候補を制御領域として選択し、制御領域を示す情報６５１を領域信頼度算出部６０２に送る。続いて、領域信頼度算出部６０２は、領域制御部６０１からの制御領域情報６５１により示される制御領域の信頼度を算出し、算出した信頼度を示す情報６５２を領域制御部６０１に送る。領域制御部６０１は、信頼度情報６５２に応じて制御領域を更新し、更新した制御領域を示す情報６５１を領域信頼度算出部６０２に送る。

領域信頼度は、制御領域内の照明の強度変化量及び制御領域内の肌表面の形状変化量を示す。領域信頼度としては、例えば、制御領域内の画素が保持する波長信号値の標準偏差の逆数、制御領域中の非エッジ画素の割合、或いは、これらの和又は積などを使用することができる。いずれの場合にも、領域信頼度の算出には、色素成分による信号変化が最も少ない長波長信号であるＲ信号値を用いることが望ましい。このように領域信頼度が大きい領域を局所領域として選択することにより、撮影倍率及び撮影時の被写体との距離による肌領域の大きさの違い、並びに、色素成分の沈着範囲の面積の影響を抑制して色素量を推定することが可能になる。

制御領域の最適化手法としては、次に例示する３つの手法のいずれか又は他の手法を使用することができる。

（Ａ） 領域信頼度が予め設定される閾値を超えるまで制御領域の面積を徐々に縮小させる方法。

（Ｂ） （Ａ）の方法に加えて、領域信頼度が閾値を下回る限界まで制御領域の面積を徐々に拡大させる方法。

（Ｃ） 基準の制御領域を任意倍率で拡大若しくは縮小して複数の制御領域を生成し、これらの制御領域のうちで最大の領域信頼度を持つ制御領域を最適な制御領域として決定する方法。

制御領域は、任意の方法で設定することができるが、対象画素を中心とする正方形領域、或いは、対象画素の勾配方向を短辺とし且つ勾配方向に垂直な方向を長辺とする矩形領域として設定されることが望ましい。制御領域が勾配方向を短辺とし且つ勾配方向に垂直な方向を長辺とする矩形領域として設定される場合、例えば、矩形領域の面積は一定に保ち、長辺と短辺の比を勾配強度に比例して変化させることにより基準の制御領域を設定する。

図７（ａ）及び（ｂ）を参照して、制御領域とその領域に関して算出される領域信頼度の関係について説明する。
図７（ａ）は、画像データ１５０の一部である部分領域７０１を示している。図７（ａ）では、信号変化がグラデーションで示されている。対象画素７０２を中心とする複数の制御領域７１１〜７１６が示されており、対象画素７０２は、色素が沈着している人肌領域（色素沈着領域ともいう）７０４内に位置している。これらの制御領域７１１〜７１６は、矢印７０３で示される勾配方向を短辺とし且つ勾配方向に垂直な方向を長辺とする矩形領域であり、短辺と長辺の比は、いずれの制御領域でも同一である。これらの制御領域７１１〜７１６に関して算出される領域信頼度を図７（ｂ）に示す。面積の小さい制御領域７１５及び７１６おいては、色素沈着領域７０４の影響により領域信頼度は小さい。面積の大きい制御領域７１１及び７１２においては、信号変化の大きい領域を含むことから領域信頼度は小さい。制御領域７１３の領域信頼度は比較的大きく、制御領域７１４の領域信頼度が最大となっている。図７（ａ）の例では、制御領域７１４が最適な局所領域として選択される。

図８は、画像処理装置５００の動作例を示している。図８のステップＳ８０１、Ｓ８０３、８０４の処理はそれぞれ図２のステップＳ２０１、Ｓ２０２、Ｓ２０３と同様の処理であるので、詳細な説明を省略する。

ステップＳ８０１では、抽出部１０１は、画像データ１５０から波長信号値１５１を画素ごとに抽出する。ステップＳ８０２では、局所領域決定部５０１は、領域信頼度に基づいて対象画素の光減衰量の算出に使用する局所領域を決定する。具体的には、局所領域決定部５０１は、上述した方法のいずれかに従って局所領域を決定する。局所領域決定部５０１は、決定した局所領域を示す局所領域情報５５１を光減衰量算出部１０２に送る。

ステップＳ８０３では、光減衰量算出部１０２は、対象画素の波長信号値と局所領域情報５５１により特定される局所領域の代表信号値との比に基づいて光減衰量を算出する。ステップＳ８０４では、色素量算出部１０３は、所定の色素成分の吸光度基底を用いて光減衰量を分解することにより所定の色素成分の色素量を算出する。

以上のように、本実施形態に係る画像処理装置は、対象画素に応じて局所領域を制御することにより、画像の撮影倍率及び被写体との距離による肌領域の大きさの違い、並びに、色素成分の沈着範囲の面積によらずに、所定の色素成分それぞれの色素量を算出することができる。

（第３の実施形態）
第３の実施形態は、画像データ１５０から人肌領域を検出し、処理すべき画像領域を検出された人肌領域に限定する点が第１の実施形態と異なる。
図９は、第３の実施形態に係る画像処理装置９００を概略的に示している。図９の画像処理装置９００は、図１の画像処理装置１００の構成に追加して、人肌領域検出部９０１を備える。本実施形態では、画像データ１５０は、人肌領域検出部９０１へ供給される。人肌領域検出部９０１は、画像データ１５０内で人肌領域を検出し、検出した人肌領域の画像データである人肌領域９５１を抽出部１０１に送る。抽出部１０１は、人肌領域検出部９０１で検出された人肌領域内の画素それぞれの波長信号値１５１を抽出する。

図１０は、画像処理装置９００の動作例を示している。図１０のステップＳ１００２、Ｓ１００３及びＳ１００４はそれぞれ図２のステップＳ２０１、Ｓ２０２及びＳ２０３と同様の処理であるので、詳細な説明を省略する。

ステップＳ１００１では、人肌領域検出部９０１は、画像データ１５０内で人肌領域を検出する。人肌領域検出部９０１は、まず、画像データ１５０内で顔領域を検出する。顔領域を検出する手法としては、既存の顔検出手法を利用することができる。本実施形態では、例えば、Mita, T., et al. “Joint Haar-like Features for Face Detection”, IEEE Trans. on Pattern Analysis and Machine Intelligence, p.1257-1269. (2008)に記載されている顔検出手法を使用する。既存の顔領域検出では、顔が矩形領域として検出されるため、検出された顔領域には、非肌領域である背景領域が含まれる。続いて、人肌領域検出部９０１は、検出した顔領域から非肌領域を排除するために、検出した顔領域に対して肌検出を行う。肌検出手法は、既存の肌検出手法を利用することができる。本実施形態では、例えば、Phung, S.L., et al. “Skin segmentation using color pixel classification: Analysis and comparison”, IEEE Transactions on Pattern Analysis and Machine Intelligence 27 (1), p.148-154. (2005)に記載されている肌検出手法を使用する。最後に、人肌領域検出部９０１は、検出した肌領域からエッジ領域を排除することで、色素量を推定する人肌領域を決定する。エッジ領域は、画像データ１５０を任意倍率で縮小した画像に対してエッジを検出し、肌領域のうちの、縮小画像で検出されたエッジ領域に対応する領域を排除する。画像のエッジを検出する手法としては、ロバーツフィルタなどの既存のエッジ検出フィルタを利用することができる。縮小倍率は、検出した顔領域や肌領域の画素数に応じて設定することが望ましい。例えば、検出した顔領域や肌領域の大きさに応じて縮小倍率を１／２から１／２０倍までの間の値に設定する。人肌領域検出部９０１は、検出した領域を人肌領域９５１として抽出部１０１に送信する。

なお、本実施形態では、処理対象が顔である例を説明したが、処理対象を顔に限定せず人肌全体を処理対象として色素量の推定を行う場合は、前段の顔検出は実施せずに後段の肌領域の検出を実施すればよい。

ステップＳ１００２では、抽出部１０１は、人肌領域９５１から人肌領域９５１内の画素それぞれの波長信号値１５１を抽出する。ステップＳ１００３では、光減衰量算出部１０２は、対象画素の波長信号値と対象画素周辺の局所領域の代表信号値との比に基づいて、対象画素位置における光減衰量１５２を算出する。ステップＳ１００４では、色素量算出部１０３は、所定の色素成分の吸光度基底を使用して光減衰量１５２を分解することにより、色素量１５３を所定の色素成分ごとに算出する。本実施形態では、処理対象の画素領域が人肌領域に限定される。これにより、処理する画素の数が低減され、その結果、抽出部１０１、光減衰量算出部１０２及び色素量算出部１０３における計算コストを低減することができる。

以上のように、本実施形態に係る画像処理装置によれば、画像データから人肌領域を検出することにより、画像データ内の人肌領域に限定して色素量推定処理を行うことが可能になる。その結果、計算コストを低減することができる。

（第４の実施形態）
第４の実施形態では、画像データ１５０から所定の色素成分の色素量を調整した画像を生成する点が第１の実施形態と異なる。
図１１は、第４の実施形態に係る画像処理装置１１００を概略的に示している。図１１の画像処理装置１１００は、図１の画像処理装置１００の構成に追加して、色素調整部１１０１を備える。画像処理装置１１００は、人肌領域を含む画像コンテンツである画像データ１５０を取得し、画像データ１５０内の画素ごとに所定の色素成分の色素量を調整した色素調整画像１１５３を出力する。

本実施形態では、抽出部１０１は、波長信号値１５１を光減衰量算出部１０２及び色素調整部１１０１に送る。また、光減衰量算出部１０２は、対象画素周辺の局所領域の代表信号値１１５１を色素調整部１１０１に送る。さらに、色素量算出部１０３は、対象画素の色素量１５３とともに、分解の際に生じる誤差を色素誤差１１５２として色素調整部１１０１に送る。色素調整部１１０１は、代表信号値１１５１、色素量１５３、色素誤差１１５２及び所定の色素成分の吸光度基底から、所定の色素成分の色素量を調整した色素調整画像１１５３を生成する。

図１２は、画像処理装置１１００の動作例を示している。図１２のステップＳ１２０１、Ｓ１２０２及びＳ１２０３は、図２のステップＳ２０１、Ｓ２０２及びＳ２０３と同様の処理であるので、詳細な説明を省略する。

ステップＳ１２０１では、抽出部１０１は、画像データ１５０から波長信号値１５１を画素ごとに抽出する。抽出部１０１は、波長信号値１５１を光減衰量算出部１０２及び色素調整部１１０１に送る。ステップＳ１２０２では、光減衰量算出部１０２は、抽出部１０１から受け取った波長信号値１５１から、対象画素の光減衰量１５２を算出する。最初に、光減衰量算出部１０２は、対象画素周辺の局所領域の代表信号値１１５１を算出する。続いて、光減衰量算出部１０２は、例えば上記数式（１）に従って、対象画素の波長信号値と算出した代表信号値１１５１との比に基づいて光減衰量１５２を算出する。光減衰量算出部１０２は、算出した代表信号値１１５１として色素調整部１１０１に送り、算出した光減衰量１５２を色素量算出部１０３に送る。

ステップＳ１２０３では、色素量算出部１０３は、所定の色素成分の吸光度基底を用いて光減衰量１５２を分解することで、対象画素における所定の色素成分の色素量１５３を算出する。色素量の算出方法は、ステップＳ２０３で説明したものと同様である。所定の色素成分の数をＭとし、ｋ番目の色素成分の吸光度基底をｅ_ｋとし、その色素成分の色素量をα_ｋｉとする。ここで、Ｍは１又は２又は３であり、ｋは１≦ｋ≦Ｍを満たす整数である。色素量算出部１０３は、数式（１６）の誤差||ε_ｉ||を最小にする適切なα_ｋｉを求めることで、所定の色素成分の色素量を算出する。色素量を算出する際には、数式（１５）に示す誤差ε_ｉも求まる。この誤差を色素誤差と呼ぶ。色素誤差は、画素位置ｉの肌に沈着している所定の色素成分以外の色素成分によって生じる分解誤差、及び局所領域における肌表面の微小な凹凸による照明変化によって生じる分解誤差を含む誤差項である。色素量算出部１０３は、色素量１５３及び色素誤差１１５２を色素調整部１１０１に送る。

ステップＳ１２０４では、色素調整部１１０１は、代表信号値１１５１、色素量１５３、色素誤差１１５２、及び所定の吸光度基底に基づいて、所定の色素成分の色素量を調整した色素調整画像１１５３を生成する。例えば、色素調整部１１０１は、下記数式（１７）に従って、色素調整画像１１５３の画素ｉの波長信号値Ｙ_ｉ´を算出する。画像データ１５０内の全ての画素についてステップＳ１２０２〜Ｓ１２０４の処理を実行することにより色素調整画像１１５３が生成される。

ここで、β_ｋは、色素成分の調整係数を表し、ｋは１≦ｋ≦Ｍを満たす整数である。調整係数β_ｋを色素成分ごとに設定することで、特定の色素成分の色素量を調整した色素調整画像を得ることができる。

さらに、色素成分ごとに閾値を設定することで、特定の色素成分が顕著に集中した画素位置の色素量を調整することもできる。ｋ番目の色素成分に関連する閾値をγ_ｋとすると、色素調整画像の波長信号値は、例えば下記数式（１８）に従って算出することができる。

以上のように、本実施形態に係る画像処理装置によれば、画像データの画素位置ｉに対応する肌に沈着している所定の色素成分の色素量を任意に調整した色素調整画像を生成することができる。例えば、色素調整画像は、色素成分を除去した画像であってもよく、色素成分を強調した画像であってもよい。

（第５の実施形態）
第５の実施形態では、光が肌表面で反射される際の光の減衰に、色素成分による吸収とともに肌表面の微小面による反射の影響も含める点が第１の実施形態と異なる。
図１３は、第５の実施形態に係る画像処理装置１３００を概略的に示している。この画像処理装置１３００は、図１３に示されるように、抽出部１０１、光減衰量算出部１０２、及び色素量算出部１３０１を備える。色素量算出部１３０１は、所定の色素成分の吸光度基底及び反射光変化量を用いて光減衰量１５２を分解することで、所定の色素成分の色素量１５３を算出する。反射光変化量は、肌表面の微小な凹凸による反射光の強度変化量を示す。

次に、画像処理装置１３００の動作について説明する。
図１４は、画像処理装置１３００の動作例を示している。図１４のステップＳ１４０１及びステップＳ１４０２の処理はそれぞれ図２のステップＳ２０１及びステップＳ２０２と同じ処理なので、詳細な説明を省略する。ステップＳ１４０１では、抽出部１０１は、画像データ１５０から波長信号値１５１を画素ごとに抽出する。ステップＳ１４０２では、光減衰量算出部１０２は、対象画素の波長信号値と対象画素周辺の局所領域の代表信号値との比に基づいて光減衰量１５２を算出する。

ステップＳ１４０３では、色素量算出部１３０１は、所定の色素成分の吸光度基底及び反射光変化量を用いて光減衰量１５２を分解することで、所定の色素成分の色素量１５３を算出する。本実施形態では、前述した光反射モデルに肌表面の微小面の影響を追加したモデルを使用する。

図１５を参照して本実施形態の光反射モデルを説明する。図１５は、光が肌表面の微小面で反射する様子を模式的に示している。図１５に示されるように、肌表面には微小な凹凸があり、微小な凹凸により形成される微小面の法線は互いに異なる。本実施形態の光反射モデルでは、このような法線のばらつきによって反射光の強度が変化するとともに、隣接する微小面で光が遮蔽されることによって反射光の強度が変化する。微小面で反射された光がカメラで観測されて得られる信号は、下記数式（１９）で表される。

ここで、ｇ_ｉは、肌表面の微小面によって生じる反射光の強度変化を示す係数であり、添え字ｉは、画素位置ｉにおける係数であることを示す。肌表面の微小面によって生じる反射光の強度変化は、肌表面の微小面の法線のばらつきによる反射光の強度変化、及び隣接する微小面による光の遮蔽による反射光の強度変化を含む。数式（１９）には、数式（９）と比較して係数ｇ_ｉが追加されている。

ここで、カメラの分光感度が狭帯であって、Ｒ、Ｇ、Ｂ波長域それぞれでピークを有するデルタ関数であると仮定すると、数式（１９）は下記数式（２０）のように変形される。

数式（２０）中の式を数式（１１）中の式でそれぞれ除算して各式の対数を取ることで下記数式（２１）が得られる。ただし、ステップＳ２０２で説明したのと同様に、対象画素ｉとその周辺の局所領域とでは照明条件は不変であり、且つ、代表信号値に与える色素成分の影響は十分に小さいと仮定する。

数式（２２）に示されるベクトルＡ_ｉは、画素位置ｉの肌に沈着する色素成分の吸収係数である。数式（２１）は、下記数式（２３）と表すことができる。

数式（２３）のベクトルＩは単位ベクトルである。数式（２３）の左辺は、ステップＳ１４０２で算出される光減衰量１５２に対応する。この光減衰量１５２は、色素成分による光減衰量を示す吸収係数と微小面による反射光の強度変化量を含む。

色素量算出部１３０１は、光減衰量１５２から、所定の色素成分の色素量１５３及び反射光変化量１３５１を算出する。算出するＭ個の所定の色素成分のうちのｋ番目の色素成分の吸光度基底をｅ_ｋ、色素量をα_ｋｉとすると、画素ｉの肌に沈着している色素成分の吸収係数Ａ_ｉは、下記数式（２６）のように表すことができる。

ただし、Ｍは１又は２であり、α_ｋｉ≧０である。数式（２７）に示すベクトルε_ｉは、画素ｉの肌に所定の色素成分以外の色素成分が沈着している場合に生じる分解誤差を含む誤差項である。数式（２３）に数式（２６）を代入すると、下記数式（２８）が得られる。

誤差項の大きさ||ε_ｉ||を最小にするα_ｋｉ及びｇ_ｉを求めることで各色素成分の色素量１５３及び反射光変化量１３５１を算出する。具体的には、色素量算出部１３０１は、下記数式（２９）に示すように、誤差項の大きさ||ε_ｉ||を最小にするα_ｋｉ及びｇ_ｉを探索する。ただし、α_ｋｉ≧０、ｇ_ｉ≧０である。

このようにして、所定の色素成分の色素量１５３と肌表面（物体表面）の微小な凹凸による反射光の強度変化量を示す反射光変化量１３５１とを算出することができる。

なお、本実施形態で算出した色素量を用いて、肌の色素成分を調整した色素量調整画像を生成する場合、下記数式（３０）に示すε_ｉ´を色素誤差として扱うことで、肌表面の凹凸を維持したまま色素量を調整した色素調整画像を生成することができる。

以上のように、本実施形態に係る画像処理装置は、所定の色素成分の吸光度基底及び反射光変化量を使用して光減衰量を分解することで所定の色素成分の色素量を推定している。これにより、肌表面の微小な凹凸の影響を受けずに、所定の色素成分の色素量を正しく推定すること可能になる。

上記の各実施形態の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。コンピュータ装置のプロセッサで実行されるプログラムは、上述した各機能を含むモジュール構成となっている。各装置の分散又は統合の具体的形態は、上記したものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合することができる。例えば、画像データ１５０は、通信手段を用いて他の機器から取得しても良いし、所定のメモリから取得しても良い。また、コンピュータの画面には、色素量１５３の値や色素量１５３を反映する濃度画像を作成して、画像データ１５０の該当する箇所に重畳表示してもよい。また、画像データ１５０における色素量１５３が大きい箇所、または小さい箇所を選択して表示してもよい。プログラムは、インストール可能な形式又は実行可能な形式のファイルで記録媒体に記録されて提供してもよく、ＲＯＭなどに予め組み込んで提供してもよい。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤなど）、光磁気ディスク（ＭＯなど）、半導体メモリなどのコンピュータで読み取り可能な記録媒体を利用することができる。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，５００，９００，１１００，１３００…画像処理装置、１０１…抽出部、１０２…光減衰量算出部、１０３…色素量算出部、５０１…局所領域決定部、６０１…領域制御部、６０２…領域信頼度算出部、１２０１…色素調整部、１３０１…色素量算出部。

Claims (11)

1. 複数の画素を含む画像データから前記複数の画素それぞれの波長信号値を抽出する抽出部と、
   前記波長信号値のうちの対象画素の波長信号値と該対象画素の周辺の局所領域の波長信号値から求めた代表信号値との比に基づいて、光減衰量を算出する光減衰量算出部と、
   所定の色素成分の吸光度基底を使用して前記光減衰量を分解することにより、前記対象画素における前記所定の色素成分の色素量を算出する色素量算出部と、
   を具備することを特徴とする画像処理装置。
2. 前記色素量算出部は、前記吸光度基底と物体表面の凹凸による反射光の強度変化量を示す反射光変化量とを使用して、前記光減衰量を分解することを特徴とする請求項１に記載の画像処理装置。
3. 照明の強度変化量及び肌表面の形状変化量を示す領域信頼度に基づいて前記局所領域を決定する局所領域決定部をさらに具備する請求項１又は２に記載の画像処理装置。
4. 前記波長信号値は、赤信号値、緑信号値、及び青信号値を含み、
   前記局所領域決定部は、赤信号値の標準偏差、非エッジ画素の割合、或いは、これらの和又は積に基づいて領域信頼度を１以上の制御領域について算出し、前記領域信頼度が閾値以上である制御領域のうちのいずれか１つを前記局所領域として決定することを特徴とする請求項３に記載の画像処理装置。
5. 光減衰量算出部は、前記局所領域内の全ての画素を含む画素集合、又は前記局所領域内の画素をクラスタリングして生成される１以上の画素集合のうちで前記局所領域の波長信号値のメディアン値と一致する画素が属する画像集合を設定し、該画素集合の波長信号値の平均値又はメディアン値又はヒストグラムのピーク値から代表信号値を決定すること特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記色素量算出部は、前記光減衰量を前記吸光度基底で分解することにより生じる色素誤差を算出し、
   前記代表信号値、前記吸光度基底、前記色素量、及び前記色素誤差から前記対象画素における前記所定の色素成分の色素量を調整して色素調整画像を生成する色素調整部をさらに具備することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記所定の色素成分の吸光度基底は、所定のカメラが有する各色信号の分光感度のピーク波長における所定の色素成分の吸収特性の値から、予め定められることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記所定の色素成分は、メラニン色素、酸化ヘモグロビン色素、還元ヘモグロビン色素、及びビリルビン色素のうちの少なくとも１つを含むことを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記画像データ内で人肌領域を検出する人肌領域検出部をさらに具備し、
   前記抽出部は、前記画像データから、前記人肌領域に含まれる画素それぞれの波長信号値を抽出することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 複数の画素を含む画像データから前記複数の画素それぞれの波長信号値を抽出することと、
    前記波長信号値のうちの対象画素の波長信号値と該対象画素の周辺の局所領域の波長信号値から求めた代表信号値との比に基づいて、光減衰量を算出することと、
    所定の色素成分の吸光度基底を使用して前記光減衰量を分解することにより、前記対象画素における前記所定の色素成分の色素量を算出することと、
    を具備することを特徴とする画像処理方法。
11. コンピュータを、
    複数の画素を含む画像データから前記複数の画素それぞれの波長信号値を抽出する抽出手段と、
    前記波長信号値のうちの対象画素の波長信号値と該対象画素の周辺の局所領域の波長信号値から求めた代表信号値との比に基づいて、光減衰量を算出する光減衰量算出手段と、
    所定の色素成分の吸光度基底を使用して前記光減衰量を分解することにより、前記対象画素における前記所定の色素成分の色素量を算出する色素量算出手段として機能させるための画像処理プログラム。

Images