JP7406348B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、例えば画像中の被写体の光沢を調整するための画像処理に関する。

撮像画像中の人物の頭髪に対して画像処理により光沢を付与する処理が知られている。特許文献１は、髪が写っている領域（髪領域）の輪郭線の形状に基づく光沢を画像に付与する技術を開示している。

特開２０１３－５８１６４号公報

特許文献１の技術を横分けのヘアスタイルや細かいカールヘアなどに適用した場合、不自然な光沢が付与されるという課題が見いだされた。一般に、髪に生じる光沢は、髪の毛の流れ（毛流）に垂直な方向に広がる一方で、髪領域の輪郭線は必ずしも毛流に応じた形状を成すとは限らないことが、その理由であると考えられる。

本発明では、画像中の毛に対してより自然な光沢付与処理を行うことを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
被写体を撮像して得られる画像データと、前記被写体の三次元形状データとに基づいて、前記被写体が有する繊維の三次元の流れ方向を判定する判定手段と、
前記三次元の流れ方向に基づいて、光源から入射する光に対する前記被写体からの反射光成分を算出する算出手段と、
を備えることを特徴とする。

画像中の毛に対してより自然な光沢付与処理を行うことができる。

一実施形態に係る画像処理装置のハードウェア構成を示す図。 一実施形態に係る係る画像処理装置の機能ブロックを示す図。 一実施形態に係る画像処理方法のフローチャート。 入力画像及び法線情報の一例を示す図。 毛流を説明する図。 ＵＩの一例を示す図。 光源の回転角度及び入射光の向きを説明する図。 補正画像の一例を示す図。 ＵＩの一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

本発明の一実施形態に係る画像処理装置は、被写体が有する毛の三次元空間中の流れ方向を判定し、この流れ方向に基づいて、光源から入射する光に対する被写体からの反射光成分を算出する。本実施形態によれば、被写体の毛流を考慮して光沢付与が行われるため、被写体の毛により自然な光沢を付与することができる。以下では、髪の毛に光沢を付与する場合について説明するが、本実施形態の方法は任意の毛に光沢を付与する場合に適用可能である。また、本明細書において、毛は生物の毛に限られず、糸などの人工物を含む。

画像処理装置は、プロセッサとメモリとを備えるコンピュータにより実現することができる。図１は、本実施形態に係る画像処理装置１００のハードウェア構成例を示す。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、ＨＤＤＩ／Ｆ１０５、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０７、及びシステムバス１０８を備える。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして用いながら、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０４に格納されたプログラムを実行し、システムバス１０８を介して後述する各部を制御することができる。ＨＤＤインタフェイス（Ｉ／Ｆ）１０５は、ＨＤＤ１０４又は光ディスクドライブなどの二次記憶装置を接続できるインタフェイスである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０５を介して、ＨＤＤ１０４からデータを読み出すこと、及びＨＤＤ１０４へデータを書き込むことができる。さらに、ＣＰＵ１０１は、ＨＤＤ１０４に格納されたデータをＲＡＭ１０２に展開し、ＲＡＭ１０２に展開されたデータをＨＤＤ１０４に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。このように、ＣＰＵ１０１のようなプロセッサが、ＲＡＭ１０２、ＲＯＭ１０３、又はＨＤＤ１０４のようなメモリに格納されたプログラムを実行することにより、後述する図２等に示される各部の機能を実現することができる。

入力Ｉ／Ｆ１０６は、マウス・キーボード１０９等の入力デバイスが接続されるインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介してマウス・キーボード１０９から各種の信号を読み込むことができる。出力Ｉ／Ｆ１０７は、ディスプレイ１１０等の表示デバイスが接続されるインタフェイスである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０７を介してディスプレイ１１０にデータを送り、ディスプレイ１１０に表示を行わせることができる。なお、ＵＳＢ又はＩＥＥＥ１３９４等の双方向通信インタフェイスを利用する場合、入力Ｉ／Ｆ１０６と出力Ｉ／Ｆ１０７を統合することができる。

図２は、画像処理装置１００の機能ブロック図である。上述のように、図２に示される画像処理装置１００の機能はコンピュータによって実現されることができるが、画像処理装置１００が有する一部又は全部の機能が専用のハードウェアによって実現されてもよい。また、本発明の一実施形態に係る画像処理装置は、例えばネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。

画像取得部２０１は、被写体の画像データを取得する。以下、被写体の画像データのことを入力画像と呼ぶ。また、形状取得部２０２は被写体の三次元形状データを取得する。被写体の三次元形状データを参照することにより、入力画像の各画素に対応する被写体の外面の向き（法線方向）を得ることができる。例えば、被写体の三次元形状データは、入力画像の各位置に対応する被写体の表面の向きを示していてもよい。三次元形状データの種類は特に限定されないが、以下の例においては三次元形状データとして、法線情報を含む法線マップが用いられる。

画像取得部２０１及び形状取得部２０２は、ＨＤＤ１０４にあらかじめ記憶されている入力画像及び三次元形状データを、ＨＤＤＩ／Ｆ１０５を介して取得することができる。また、画像取得部２０１及び形状取得部２０２は、画像処理装置１００に接続されたデジタルカメラ又は３Ｄスキャナのような図示しない撮像装置から、これらのデータを取得してもよい。画像取得部２０１は、取得した入力画像を第１特徴量算出部２０３及び画像補正部２０７へ送る。また、形状取得部２０２は、取得した三次元形状データを第２特徴量算出部２０４及び反射光算出部２０６へ送る。

図４は、入力画像及び法線マップの例を示す。図４（Ａ）に示す入力画像において、画素（ｉ，ｊ）の画素値は、この画素に対応する被写体のＲＧＢ値Ｉｒ（ｉ，ｊ）、Ｉｇ（ｉ，ｊ）、Ｉｂ（ｉ，ｊ）である。すなわち、入力画像の画素値Ｉ（ｉ，ｊ）＝（Ｉｒ（ｉ，ｊ），Ｉｇ（ｉ，ｊ），Ｉｂ（ｉ，ｊ））である。また、図４（Ｂ）に示す法線マップにおいて、画素（ｉ，ｊ）には、被写体の形状を表す単位法線ベクトルが格納されている。具体的には、法線マップの画素（ｉ，ｊ）の画素値は、入力画像の画素（ｉ，ｊ）に対応する被写体表面の単位法線ベクトルのｘｙｚ成分値Ｎｘ（ｉ，ｊ），Ｎｙ（ｉ，ｊ），Ｎｚ（ｉ，ｊ）である。すなわち、法線マップの画素値Ｎ（ｉ，ｊ）＝（Ｎｘ（ｉ，ｊ），Ｎｙ（ｉ，ｊ），Ｎｚ（ｉ，ｊ））である。ここでは、入力画像の座標系を基準とするｘｙｚ座標系が用いられている。具体的には、図５に示すように、入力画像の水平方向右向きがｘ軸、垂直方向上向きがｙ軸、奥行き方向（すなわち撮像装置の光軸方向）がｚ軸である。

法線マップにより髪の毛１本１本の表面形状を詳細に表すためには、１本の毛の幅よりも法線マップの画素サイズが小さい必要がある。つまり、法線マップが十分に高解像度でなければならない。しかしながら、そのような高解像度の法線マップを取得できることは容易ではない。本実施形態において、法線マップの画素サイズ（１つの画素が表す被写体上の領域の大きさ）は、１本の毛の幅と同等又はそれより大きい。すなわち、法線マップは、髪領域において、髪の毛１本１本の形状を表すのではなく、髪に覆われた頭部の概略形状を表している。

第１特徴量算出部２０３及び第２特徴量算出部２０４は、被写体の画像及び三次元形状データに基づいて、被写体が有する毛の三次元空間中の流れ方向を判定する。以下、本実施形態における第１特徴量算出部２０３及び第２特徴量算出部２０４の具体的な構成例について説明する。

第１特徴量算出部２０３は、被写体が有する毛の画像上における特徴量を判定する。本実施形態において、第１特徴量算出部２０３は、入力画像上における、被写体が有する毛の流れ方向を判定する。より具体的には、第１特徴量算出部２０３は、入力画像平面上における毛流の角度を算出することができる。一般に、髪領域では、髪の毛同士の重なりによって毛流に沿った陰影が生じる。そこで本実施形態で第１特徴量算出部２０３は、入力画像の画素値を用いて画素ごとに明るさの勾配方向を求め、この方向に基づいて毛流の角度を推定する。このようにして第１特徴量算出部２０３は、入力画像の各画素について、毛の流れ方向を示す情報である、毛流の角度を算出することができる。処理の詳細は後述する。第１特徴量算出部２０３は、入力画像上における毛の流れ方向を示す情報を、第２特徴量算出部２０４へ送る。

第２特徴量算出部２０４は、被写体が有する毛の三次元空間中の流れ方向を判定する。このために第２特徴量算出部２０４は、第１特徴量算出部２０３から取得した、被写体が有する毛の画像上における特徴量を用いることができる。本実施形態において、第２特徴量算出部２０４は、入力画像上における毛の流れ方向を示す情報と、形状取得部２０２が取得した被写体の三次元形状データを用いる。例えば、第２特徴量算出部２０４は、入力画像の各画素について、画素に対応する被写体表面の法線方向に基づいて、この画素における入力画像上での毛の流れ方向を、この画素に対応する被写体表面における毛の三次元の流れ方向に変換することができる。本実施形態において第２特徴量算出部２０４は、入力画像データについて、法線マップと入力画像上の毛流の角度とに基づいて、被写体の毛流を表す三次元の傾きを推定する。処理の詳細は後述する。第２特徴量算出部２０４は、算出した毛の三次元空間中の流れ方向を示す情報を、反射光算出部２０６へ送る。

光源設定部２０５は、被写体を照らす光源の設定を行う。例えば、光源設定部２０５は、光源から被写体への光の入射方向を設定することができる。本実施形態において光源設定部２０５は、光源に関する設定を行うためのＵＩを、出力Ｉ／Ｆ１０７を介してディスプレイ１１０に表示する。また、光源設定部２０５は、このＵＩ上でユーザにより指示された値を入力Ｉ／Ｆ１０６を介して取得する。処理の詳細は後述する。光源設定部２０５は、設定された光源の設定情報を反射光算出部２０６へ送る。

反射光算出部２０６及び画像補正部２０７は、被写体が有する毛の三次元空間中の毛の流れ方向に応じて、入力画像上における被写体が有する毛についての色情報を補正する。まず、反射光算出部２０６は、被写体が有する毛の三次元空間中の流れ方向に基づいて、光源から入射する光に対する被写体からの反射光成分を算出する。ここで、反射光算出部２０６は、さらに光源の設定情報に従って、入力画像中の被写体に関する反射光成分を算出することができる。この際に、反射光算出部２０６は、さらに被写体の三次元形状データを参照することができる。反射光算出部２０６は、毛の三次元空間上の傾きに基づく異方性を考慮して、反射光成分量を算出することができる。処理の詳細は後述する。反射光算出部２０６は、算出した反射光成分を、画像補正部２０７へ送る。

画像補正部２０７は、反射光算出部２０６から取得した反射光成分に基づいて、入力画像中の被写体の光沢を補正することにより補正画像を生成する。画像補正部２０７は、入力画像中の被写体に、反射光成分に基づく光沢を付与することにより、補正画像データを生成することができる。本実施形態においては、画像補正部２０７が毛の三次元空間上の傾きに基づく反射光成分を用いることにより、入力画像に被写体の毛流に応じた形状の光沢が付与される。処理の詳細は後述する。画像補正部２０７は、生成した補正画像データを、表示のためにディスプレイ１１０へ送ることができる。また、画像補正部２０７は、生成した補正画像データを、保存のためにＨＤＤ１０４へ送ることができる。

図３は、画像処理装置１００が行う処理手順を示すフローチャートである。以下、各処理の詳細を説明する。ステップＳ３０１において、画像取得部２０１が上述のように入力画像データを取得し、形状取得部２０２は上述のように法線マップを取得する。

ステップＳ３０２において第１特徴量算出部２０３は、ステップＳ３０１で取得した入力画像の各画素について、画像平面上における毛流の角度を算出する。先に述べたように、髪領域では、髪の毛同士の重なりによって毛流に沿った陰影が生じる。本実施形態で、第１特徴量算出部２０３は、この陰影の明るさの勾配方向に垂直な方向を、画像上の毛流の方向として算出する。ここで、入力画像の画素（ｉ，ｊ）において、毛流の方向が画像の横方向となす角を、毛流の角度θ_ｉ，ｊと表す。

第１特徴量算出部２０３は、入力画像の各画素（ｉ，ｊ）についての毛流の角度θ_ｉ，ｊを、例えば式（１）～（３）に従って推定することができる。

ここで、（ｕ_ｉ（ｉ，ｊ），ｕ_ｊ（ｉ，ｊ））は入力画像の画素（ｉ，ｊ）における明るさの勾配方向を表す二次元ベクトルであり、Ｓ（ｉ，ｊ）はその勾配の強度である。

また、Ｓ_ｉ（ｉ，ｊ）及びＳ_ｊ（ｉ，ｊ）は、それぞれ画像の横方向及び縦方向に関する一次微分フィルタの出力値であり、例えば公知のＳｏｂｅｌフィルタを用いて式（４）～（５）により算出することができる。

ここで、Ｓｏｂｅｌ_ｉ（ｉ’，ｊ’）は横方向のＳｏｂｅｌフィルタ係数であり、Ｓｏｂｅｌ_ｊ（ｉ’，ｊ’）は縦方向のＳｏｂｅｌフィルタ係数であり、Ｎはフィルタサイズである。また、Ｙ（ｉ，ｊ）は、入力画像のＲＧＢ値Ｉ_Ｒ（ｉ，ｊ）、Ｉ_Ｇ（ｉ，ｊ）、及びＩ_Ｂ（ｉ，ｊ）から、変換式を用いて得られる輝度値である。このとき、式（３）の勾配強度Ｓ（ｉ，ｊ）は、画像のエッジが明瞭であるほど大きな値を持つ。また、式（２）の勾配方向ベクトル（ｕ_ｉ（ｉ，ｊ），ｕ_ｊ（ｉ，ｊ））は、暗い画素から明るい画素への向きを表す単位ベクトルとなる。

図５は毛流の角度θ_ｉ，ｊの例を示す。なお、本実施形態では、毛流の角度に関して、髪の毛の生える向き（毛根から毛先に向かう向き）との関係は考慮されない。すなわち、θ_ｉ，ｊ＝αと、θ_ｉ，ｊ＝α＋πとは、区別されず、同じ角度として扱われる。なお、上記の例ではＳｏｂｅｌフィルタが用いられているが、その他の一次微分フィルタが用いられてもよい。また、式（４）～（５）においては輝度値Ｙが用いられているが、明度、又はＧチャンネルの画素値Ｉ_Ｇ等の、明るさを表す他の指標が替わりに用いられてもよい。

ステップＳ３０３において第２特徴量算出部２０４は、ステップＳ３０１で取得された法線マップとステップＳ３０２で算出された毛流の角度とを用いて、ステップＳ３０１で取得された入力画像の各画素について、被写体の毛流を表す三次元の傾きを推定する。本実施形態では、入力画像に写る毛流は、法線マップにより表される被写体表面上を這っていると仮定する。このとき、三次元空間（ｘｙｚ座標空間）における毛流の傾きは、被写体表面の法線方向と直交する。第２特徴量算出部２０４は、これらの条件から、入力画像の各画素に対応する、被写体の三次元空間中の毛流の傾きを算出することができる。

例えば、第２特徴量算出部２０４は、三次元空間中の毛流を表す三次元ベクトルＶ（ｉ，ｊ）を算出することができ、この三次元ベクトルＶ（ｉ，ｊ）の傾きを、毛流の三次元の傾きとして用いることができる。ここで、三次元ベクトルＶ（ｉ，ｊ）は、以下の式（６）～（７）を満たす。式（６）は、図５に示すように、三次元ベクトルＶ（ｉ，ｊ）を入力画像平面上に投影して得られたベクトルと画像の横方向とのなす角が、入力画像上の毛流の角度θ_ｉ，ｊ（すなわち入力画像上の毛流と画像の横方向とのなす角）と一致することを表している。式（７）は、法線マップに示される画素（ｉ，ｊ）における単位法線ベクトルＮ（ｉ，ｊ）と、ベクトルＶ（ｉ，ｊ）と、が直交することを表している。式（６）～（７）を整理すると、ベクトルＶ（ｉ，ｊ）は式（８）で表されることがわかる。

第２特徴量算出部２０４は、この式（８）を用いて、入力画像の各画素（ｉ，ｊ）についてベクトルＶ（ｉ，ｊ）を算出することができる。

ステップＳ３０４において光源設定部２０５は、光源に関する設定を行うためのＵＩをディスプレイ１１０に表示する。また、光源設定部２０５は、このＵＩを介して取得した設定値に基づいて、光源から被写体へ向かう入射光の向きを設定する。図６はＵＩの例を示す。画像表示領域６０１は、入力画像、又は後述する処理により生成される補正画像が表示される領域である。光源アイコン６０２は光源の位置を表すオブジェクトである。光源アイコン６０２は円盤状のオブジェクトであり、光源アイコン６０２付近にはこのオブジェクトを移動できることを示す矢印も示されている。天頂ガイド曲線と呼ばれるガイド曲線６０３の交差する点は天頂を表す。また、移動ガイド曲線と呼ばれるガイド曲線６０４は、現在の光源の設定位置を基準とした左右方向と上下方向とを表す。

ユーザは、ＵＩに表示された各種の画像、アイコン、及びガイド曲線を参照しながら、光源の回転角度θ_Ｌ及びψ_Ｌに対応付けられたスライダ６０５，６０６を操作することにより、入射光の向きを設定することができる。回転角度θ_Ｌ，ψ_Ｌと、入射光の向きとの対応関係の一例を図７に示す。図７においてψ_Ｌはｙ軸回りの回転角度である。また、θ_Ｌは、ｙ軸を中心にψ_Ｌだけ回転させたｘ軸をｘ’軸としたときの、ｘ’軸に対してなす角である。すなわち、ψ_Ｌはｘｚ平面上の方位角を表すことができ、θ_Ｌはｘｚ平面に対する仰角を表すことができる。本実施形態では、点（１，０，０）をψ_Ｌおよびθ_Ｌだけ回転移動した点から原点（０，０，０）に向かう単位ベクトルが、入射光の向きＬ’として設定される。具体的には、ユーザによりスライダ６０５が操作されると、このスライダの位置に対応する値がθ_Ｌとして設定される。また、スライダ６０６が操作されると、このスライダの位置に対応する値がψ_Ｌとして設定される。そして、これらの角度に基づき、次式に従い入射光の向きＬ’が算出される。

図６の例では、スライダ６０５の左端がθ_Ｌ＝０に、右端がθ_Ｌ＝πに対応付けられている。また、スライダ６０６の左端がψ_Ｌ＝πに、右端がψ_Ｌ＝２πに対応付けられている。ここで、ψ_Ｌの値を固定すると、スライダ６０５を左に動かすと被写体はより手前側から照らされ（図６（Ｂ））、スライダ６０５を右に動かすと被写体はより奥側から照らされる（図６（Ｃ））。一方、θ_Ｌを０≦θ_Ｌ＜π／２となる値に固定すると、スライダ６０６を左に動かすと被写体はより左側（－ｘ方向）から照らされ、スライダ６０６を右に動かすと被写体はより右側（＋ｘ方向）から照らされる（図６（Ｄ）（Ｅ））。また、θ_Ｌをπ／２＜θ_Ｌ≦πとなる値に固定すると、スライダ６０６を左に動かすと被写体はより右側（＋ｘ方向）から照らされ（図６（ｆ））、スライダ６０６を右に動かすと被写体はより左側（－ｘ方向）から照らされる。もっとも、ＵＩを使うことは必須ではない。光源設定部２０５は、予め定められている光源に関する設定を取得してもよく、例えば、予め定められている光源方向を設定してもよい。また、光源設定部２０５は、光源の強さなどの、光源に関するその他の情報を設定してもよい。

ステップＳ３０５において反射光算出部２０６は反射光成分を算出する。ここで、反射光算出部２０６は、毛流に応じた反射光量の違い（すなわち異方性反射）を考慮することができる。本実施形態において反射光算出部２０６は、毛の三次元空間中の流れ方向への反射光の拡がりと、毛の三次元空間中の流れ方向に垂直な方向への反射光との拡がりが異なるように、反射光成分を算出する。例えば、反射光算出部２０６は、毛流の方向に沿った反射光量分布の拡がりと、毛流と垂直な方向に沿った反射光量分布の拡がりと、が異なるように、反射光成分を算出することができる。本実施形態において反射光算出部２０６は、ステップＳ３０１で得られた法線マップ、ステップＳ３０３で算出された毛流を表す三次元の傾き、及びステップＳ３０４で設定された入射光の向きを用いて、反射光成分を算出する。反射光算出部２０６は、入力画像の各位置に対応する反射光成分を算出することができる。反射光算出部２０６は、例えば、入力画像の各画素について、被写体の対応する位置から入力画像の撮像視点への反射光成分を算出することができる。

このような反射光成分の算出のためには異方性反射モデルを利用可能である。本実施形態では、Ａｓｈｉｋｈｍｉｎモデルにおける鏡面反射成分ρ_Ｓの算出式である次式が用いられる。

式（１０）（１１）において、Ｌは被写***置から光源位置へ向かう光源ベクトル、Ｅは被写***置から視点位置へ向かう視線ベクトル、Ｆはフレネル反射係数である。また、式（１０）（１２）において、Ｎは単位法線ベクトル、Ｕは接線方向を表す接線ベクトル、Ｖは従法線方向を表す従法線ベクトルであり、それぞれは互いに直交する単位ベクトルである。そして、式（１２）（１３）において、ｎ_ｕは接線方向の反射特性を制御する係数である。この係数ｎ_ｕの値が小さいほど、接線方向における反射光の強度の変化が緩やかになり、反射光の分布が接線方向に拡がる。また、ｎ_ｖは従法線方向の反射特性を制御する係数である。この係数ｎ_ｖの値が大きいほど、従法線方向における反射光の強度の変化が急峻になり、反射光の分布が従法線方向に狭まる。

本実施形態においては、入力画像の画素（ｉ，ｊ）について、Ｎ＝Ｎ（ｉ，ｊ）、Ｌ＝－Ｌ’、Ｅ＝（０，０，－１）、Ｕ＝（Ｖ（ｉ，ｊ）／｜Ｖ（ｉ，ｊ）｜）×Ｎ（ｉ，ｊ）、及びＶ＝Ｖ（ｉ，ｊ）／｜Ｖ（ｉ，ｊ）｜が用いられる。こうして、反射光算出部２０６は、式（１０）～（１３）に従って得られるρ_Ｓを計算することにより、入力画像の各画素（ｉ，ｊ）についての反射光成分ρ_Ｓ（ｉ，ｊ）を算出することができる。この例では、従法線ベクトルＶとして、Ｓ３０３で算出されたベクトルＶ（ｉ，ｊ）を正規化して得られたベクトルが用いられており、すなわち、毛流の傾きに沿った方向が従法線方向となっている。したがって、ｎ_ｕ＜ｎ_ｖを満たすように係数ｎ_ｕ及びｎ_ｖを定めることで、反射光の分布が毛流に垂直な方向に拡がり、このような反射光の分布を用いることにより髪の光沢を表現できる。なお、係数ｎ_ｕ及びｎ_ｖは、予め定められていてもよいし、ＵＩ上でユーザが指定してもよい。

ステップＳ３０６において画像補正部２０７は、ステップＳ３０５で算出された反射光成分に基づいて、ステップＳ３０１で取得された入力画像中の被写体に光沢を付与することにより、補正画像データを生成する。画像補正部２０７は、ステップＳ３０５で画素ごとに算出された、被写体から画像の撮像視点への反射光成分を、入力画像の各画素に付加することができる。例えば、画像補正部２０７は、入力画像の各画素（ｉ，ｊ）に対応する、補正画像の画素の画素値（Ｉ’ｒ（ｉ，ｊ），Ｉ’ｇ（ｉ，ｊ），Ｉ’ｂ（ｉ，ｊ））を、式（１４）～（１６）に従い算出することかできる。

ここで、α_ｒ、α_ｇ、及びα_ｂは、それぞれ光源のＲ、Ｇ、及びＢ成分の強さを表す係数である。これらの値は予め定められていてもよいし、ＵＩ上でユーザによって指定されてもよい。

画像補正部２０７はさらに、生成した補正画像データを、図６に示すＵＩ上の画像表示領域６０１に表示することができ、また、ＨＤＤ１０４へ保存のために出力することができる。図８は、図６（Ｂ）に示す光源位置に対応する補正画像の例を示す。

以上のような本実施形態の処理によれば、被写体の毛流に応じた形状の光沢を入力画像に付与することができる。なお、上記のステップＳ３０５においては、入力画像の画素位置によらず一定の視線ベクトル（０，０，－１）（すなわち、撮像光軸の反対向き）が用いられた。しかしながら、別の実施形態においては、撮像装置の光学中心と画素に対応する被写体部分との位置関係を考慮して、画素ごとに視線ベクトルを設定することができる。例えば、撮像面から被写体までの撮像光軸方向の距離と、撮像装置の画角とに基づいて、画素ごとに、撮像装置の光学中心に対する、対応する被写体部分の相対的な三次元座標を求め、この三次元座標に基づいて視線ベクトルを設定することができる。このような画素ごとの視線ベクトルを用いることにより、より現実に則した光沢を付与することが可能となる。

なお、上記の例では、入力画像全体に対して補正処理が適用されたが、上記の補正処理は髪領域のみに対して行われてもよい。例えば、前処理として入力画像データから髪領域を抽出し、髪領域に対して上記の光沢付与処理を行ってもよい。

以下、上述の実施形態の変形例について説明する。下記の変形例のうち任意の１以上は組み合わせて用いることができる。

［変形例１］
変形例１において、第１特徴量算出部２０３は、入力画像データから、入力画像の各位置における被写体の陰影を示す陰影マップを生成し、陰影マップに基づいて入力画像平面上における毛流の角度を算出する。この陰影マップは、毛流に沿った細かな陰影を表すことができる。本変形例では、入力画像上の微小領域とその近傍領域には、類似した反射特性を有する被写体が、ほぼ同一の照明条件下で写っているものと仮定する。この仮定の下では、各画素の明るさを近傍の画素の明るさに対する相対値で表すことにより、被写体自体が持つ色や照明の配光に起因する大局的な明るさの違いが除去された、毛流に沿った陰影を抽出することができる。このように大局的な明るさの違いを除去することにより、第１特徴量算出部２０３が算出する入力画像平面上における毛流の角度の信頼性が向上することが期待される。

例えば、第１特徴量算出部２０３は、ステップＳ３０２において、まず入力画像の各画素について、式（１７）に従って近傍に対する相対的な明るさＹ’（ｉ，ｊ）を算出することができる。第１特徴量算出部２０３は、算出された値を陰影マップの画素値として格納する。

ここで、Ｂは画素（ｉ，ｊ）を中心とするサイズｂ×ｂの微小なブロック領域である。また、Ｂ’は画素（ｉ，ｊ）を中心とするサイズｂＮ_Ｂ×ｂＮ_Ｂのブロック領域であり、すなわちブロック領域Ｂの近傍領域である。式（１７）に従って得られる陰影マップの画素値Ｙ’（ｉ，ｊ）は、入力画像の画素（ｉ，ｊ）を中心とする微小領域の明るさが近傍領域に比べて明るいほど大きくなる。

その後、第１特徴量算出部２０３は、入力画像データの代わりに陰影マップを用いて、入力画像平面上における毛流の角度を算出する。第１特徴量算出部２０３は、陰影マップの画素値の勾配方向に垂直な方向を毛流の方向と推定することができる。具体的には、第１特徴量算出部２０３は、入力画像に基づく輝度値Ｙ（ｉ，ｊ）の代わりに、陰影マップの画素値Ｙ’（ｉ，ｊ）を用いて、式（１）～（５）に従って角度θ_ｉ，ｊを算出することができる。

［変形例２］
変形例２において、第１特徴量算出部２０３は、入力画像上の毛流の角度を補正する。例えば、第１特徴量算出部２０３は、入力画像の各位置における、毛の画像上の流れ方向を示す情報に対して、さらに平滑化処理を行うことができる。本実施形態では、勾配の強度を用いて入力画像上の毛流の角度が補正される。例えば、勾配強度の値が大きい画素、及びこの画素について算出された毛流の角度に、高い信頼性が与えられる。そして、第１特徴量算出部２０３は、信頼性の高い画素に大きい重みを与えながら、毛流の角度を平滑化する。こうして、第１特徴量算出部２０３は、明るさの変化が小さく、毛流の向きが判別しにくい画素における、毛流の角度を補正することができる。このような補正により、第１特徴量算出部２０３が算出する入力画像平面上における毛流の角度の信頼性が向上することが期待される。

例えば、ステップＳ３０２において、第１特徴量算出部２０３は、式（１）～（５）に従って得られた角度θ_ｉ，ｊを補正することができる。この補正においては、式（３）に従って算出された勾配の強度を、重み付けのために用いることができる。第１特徴量算出部２０３は、具体的には、まず、入力画像の各画素（ｉ，ｊ）について式（１８）～（２０）に従って重み付き平均合成ベクトルｖ_θ’（ｉ，ｊ）を算出することができる。式（１９）（２０）では、ガウス分布Ｇと、式（３）で得られる勾配強度Ｓとが重みとして用いられている。ここで得られるベクトルｖ_θ’（ｉ，ｊ）は、角度θ_ｉ，ｊに基づいて定まるベクトル（ｃｏｓ２θ_ｉ，ｊ，ｓｉｎ２θ_ｉ，ｊ）の重み付き平均合成ベクトルである。そして、第１特徴量算出部２０３は、平均合成ベクトルｖ_θ’（ｉ，ｊ）に基づいて、式（２１）により定まる角度θ’_ｉ，ｊを、画素（ｉ，ｊ）における補正後の毛流の角度として算出することができる。なお、画素（ｉ’，ｊ’）は画素（ｉ，ｊ）の周辺の画素を表し、変形例１と同様に定義することができる。

第２特徴量算出部２０４は、角度θ_ｉ，ｊの代わりに、角度θ’_ｉ，ｊを用いて、被写体の三次元空間中の毛流の傾きを算出することができる。

［変形例３］
変形例３において、反射光算出部２０６は、被写体の毛流の状態、又はユーザの好みの毛質に応じて、付与する光沢の強さを補正する。例えば、反射光算出部２０６は、被写体の毛流にまとまりがない場合、又は毛流を判別しにくい場合に、光沢が弱まるように、反射光成分を補正することができる。また、反射光算出部２０６は、毛流の陰影を考慮して反射光成分を補正することができる。さらに、反射光算出部２０６は、ユーザが指定した毛質パラメータに従って反射光成分を補正することができる。

まず、被写体の毛流にまとまりがない場合、又は毛流を判別しにくい場合に、光沢が弱まるように、反射光成分を補正する方法について説明する。第１特徴量算出部２０３は、入力画像の各位置に対応する反射光成分に対し、この位置の周辺における、入力画像上又は三次元空間中の被写体が有する毛の流れ方向の一致度に応じた補正を行うことができる。このような構成により、毛の流れ方向の一致度が小さく毛流にまとまりがない場合に、光沢が弱まるよう反射光成分を補正することができる。また、第１特徴量算出部２０３は、入力画像の各位置に対応する反射光成分に対し、この位置における明るさの勾配強度に応じた補正を行うことができる。このような構成により、勾配強度が小さく毛流を判別しにくい場合に、光沢が弱まるよう反射光成分を補正することができる。

本変形例において、第１特徴量算出部２０３は、入力画像上の毛流の角度の信頼度を算出することができる。画素（ｉ，ｊ）についての毛流の角度の信頼度は、画素（ｉ，ｊ）の近傍において毛流の角度θ_ｉ，ｊが揃っているほど大きくなるように設定することができる。このように、信頼度は、毛流にまとまりがない場合に小さくなるように設定することができる。また、画素（ｉ，ｊ）についての毛流の角度の信頼度は、画素（ｉ，ｊ）における勾配強度Ｓが大きいほど大きくなるように設定することができる。このように、信頼度は、毛流を判別しにくい場合に小さくなるように設定することができる。

具体例として、ステップＳ３０２において第１特徴量算出部２０３は、変形例２に従って算出された平均合成ベクトルｖ_θ’（ｉ，ｊ）の長さを、入力画像の各画素についての信頼度として求めることができる。例えば、第１特徴量算出部２０３は、式（２２）に従って、画素（ｉ，ｊ）における毛流の角度の信頼度Ｆ_Ｒ（ｉ，ｊ）を算出することができる。

ここで、信頼度Ｆ_Ｒ（ｉ，ｊ）は、補正前の毛流の角度θ_ｉ，ｊの分布が、補正後の毛流の角度θ’_ｉ，ｊの周辺にどの程度集中しているか（一致度）を表している。信頼度Ｆ_Ｒ（ｉ，ｊ）の値は、画素（ｉ，ｊ）の近傍における補正前の角度θ_ｉ，ｊが揃っているほど大きな値となり、画素（ｉ，ｊ）の近傍において角度が等しい場合に最大値である１となる。また、画素（ｉ，ｊ）及びその近傍において毛流がはっきりしない場合には勾配強度Ｓが小さくなるため、この場合にも信頼度Ｆ_Ｒは小さな値となる。

そして、反射光算出部２０６は、上述のように算出された反射光成分を、毛流の角度の信頼度を用いて補正できる。例えば、反射光算出部２０６は、入力画像の各画素（ｉ，ｊ）について、反射光成分ρ_Ｓ（ｉ，ｊ）に信頼度Ｆ_Ｒ（ｉ，ｊ）を乗算することができる。このような構成により、被写体の毛流にまとまりがない場合、又は毛流を判別しにくい場合に、光沢が弱まるように反射光成分を補正することができる。

次に、ユーザの好みの毛質に応じて付与する光沢の強さを補正する方法について説明する。まず、光源設定部２０５は、毛質の変更度合いに関する設定を取得することができる。例えば、ステップＳ３０４において光源設定部２０５は、入射光の向きと、毛質の変更度合いと、に関する設定を行うためのＵＩを、出力Ｉ／Ｆ１０７を介してディスプレイ１１０に表示することができる。光源設定部２０５は、このＵＩ上においてユーザにより指定された値を入力Ｉ／Ｆ１０６を介して取得し、この値に従って入射光の向き及び毛質の変更度合いを設定することができる。

図９はＵＩの例を示す。上述のように、ユーザは画像表示領域６０１に表示された画像、光源アイコン６０２、及びガイド曲線６０３，６０４を参照しながら、スライダ６０５，６０６を操作することにより入射光の向きＬ’を設定することができる。さらに、ユーザがスライダ１１０１を操作すると、このスライダ１１０１の位置に対応する値が毛質の変更度合いα_Ｑとして設定される。図９の例では、スライダ１１０１の左端がα_Ｑ＝０（最小）に、右端がα_Ｑ＝１００（最大）に対応付けられており、ユーザがスライダ１１０１を右に動かすと毛質の変更度合いα_Ｑが大きくなる。ここで、毛質の変更度合いα_Ｑを大きくすると、被写体の髪に付与される光沢はより強くなる。

こうして設定された毛質の変更度合いに応じて光沢の強さを補正する方法の一例を以下に説明する。以下の例では、毛流の陰影に従って反射光成分の補正が行われる。毛流の陰影を示す情報としては、変形例１で説明した陰影マップを用いることができる。ここで、毛質の変更度合いに応じて光沢の強さを補正するために、反射光算出部２０６は、毛質の変更度合いに応じて陰影マップを調整することができる。この例で反射光算出部２０６は、毛流の角度を考慮して陰影マップを平滑化することにより、陰影マップが表す毛流に沿った細かな陰影を滑らかに整える。例えば、反射光算出部２０６は、入力画像の各位置における被写体の陰影を示す陰影マップを、指定された毛質の変更度に従って、入力画像上における被写体が有する毛の流れ方向に沿って平滑化することができる。

具体的には、ステップＳ３０５において反射光算出部２０６は、式（２３）（２４）に従い、調整後の陰影マップの画素値Ｙ_Ｓ（ｉ，ｊ）を算出することができる。ここで、Ｙ_Ｓ（ｉ，ｊ）は、画素（ｉ，ｊ）を通る傾きがθ’_ｉ，ｊの直線に沿った陰影マップの画素値Ｙ’（ｉ，ｊ）の平均値である。もっとも、変形例２で得られるθ’_ｉ，ｊの代わりに、θ_ｉ，ｊを用いてもよい。

ここで、Ｎ_Ｓは平滑化のために用いられるデータ（すなわち、陰影マップの画素値）の個数であり、この個数が大きいほど陰影マップは強く平滑化される。本実施形態では、毛質の変更度合いα_Ｑに応じてＮ_Ｓの値が設定される。例えば、α_Ｑ＝０の場合には、Ｎ_Ｓ＝１とすることができる。この場合、Ｙ_Ｓ（ｉ，ｊ）＝Ｙ’（ｉ，ｊ）となり、調整前後において陰影マップは変化しない。また、α_Ｑが大きいほど、Ｎ_Ｓに大きな値が設定される。このように、設定された毛質の変更度合いα_Ｑが大きいほど、陰影マップが強く平滑化される。なお、ｉ_ｔ，ｊ_ｔが整数でない場合、式（２３）のＹ’（ｉ_ｔ，ｊ_ｔ）は、近傍の画素値を用いた補間により求めることができる。

そして、反射光算出部２０６は、上述のように算出された反射光成分を、陰影マップを用いて補正できる。例えば、反射光算出部２０６は、入力画像の各画素（ｉ，ｊ）について、反射光成分ρ_Ｓ（ｉ，ｊ）に、平滑化後の陰影マップの画素値Ｙ_Ｓ（ｉ，ｊ）を乗算することができる。このような構成により、毛流の陰影に従って反射光成分の補正を行うことができる。この例では、陰影マップが毛質の変更度合いに応じて調整されているため、毛質の変更度合いに応じて調整された細かな陰影を反射光成分に加えることができる。上記のように、毛質の変更度合いα_Ｑが大きいほど、毛流に沿った陰影が強く平滑化される。この場合、毛流に沿った反射光成分がより均一に近づくため、被写体の髪に付与される光沢がより明瞭になる。

上記の補正を全て行う必要はないが、信頼度と調整後の陰影マップとを用いて反射光成分を補正する場合、入力画像の各画素（ｉ，ｊ）についての補正後の反射光成分ρ_Ｓ’（ｉ，ｊ）は、式（２５）に従って算出することができる。この場合、画像補正部は、反射光成分ρ_Ｓ（ｉ，ｊ）の代わりに、補正後の反射光成分ρ_Ｓ’（ｉ，ｊ）を用いて、補正画像データを生成することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０１：画像取得部、２０２：形状取得部、２０３：第１特徴量算出部、２０４：第２特徴量算出部、２０５：光源設定部、２０６：反射光算出部、２０７：画像補正部

Claims (17)

1. 被写体を撮像して得られる画像データと、前記被写体の三次元形状データとに基づいて、前記被写体が有する繊維の三次元の流れ方向を判定する判定手段と、
   前記三次元の流れ方向に基づいて、光源から入射する光に対する前記被写体からの反射光成分を算出する算出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記判定手段は、前記画像データが表す画像において前記被写体が有する繊維の特徴量を判定し、前記特徴量及び前記三次元形状データに基づいて、前記三次元の流れ方向を判定することを特徴とする、請求項１に記載の画像処理装置。
3. 前記判定手段は、
   前記画像データが表す画像を基に、前記被写体が有する繊維の前記画像上の流れ方向を判定する第１の判定手段と、
   前記画像上の流れ方向及び前記三次元形状データを基に、前記三次元の流れ方向を判定する第２の判定手段と、
   を備えることを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記第１の判定手段は、前記画像における明るさの勾配方向に基づいて、前記画像上の流れ方向を判定することを特徴とする、請求項３に記載の画像処理装置。
5. 前記第１の判定手段は、前記画像の各位置における前記被写体の陰影を示す陰影マップを生成し、前記陰影マップにおける勾配方向に基づいて、前記画像上の流れ方向を判定することを特徴とする、請求項４に記載の画像処理装置。
6. 前記第１の判定手段は、前記画像の各位置における前記画像上の流れ方向を示す情報に対して、さらに平滑化処理を行うことを特徴とする、請求項３から５のいずれか１項に記載の画像処理装置。
7. 前記反射光成分に基づき前記画像データが表す画像中の前記被写体の光沢を補正することにより、補正画像を生成する補正手段をさらに備えることを特徴とする、請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記補正手段は、前記被写体から前記画像の撮像視点への前記反射光成分を前記画像に付加することを特徴とする、請求項７に記載の画像処理装置。
9. 前記光源から前記被写体への光の入射方向を設定する設定手段をさらに備えることを特徴とする、請求項８に記載の画像処理装置。
10. 前記算出手段は、前記画像の各位置に対応する前記反射光成分を算出することを特徴とする、請求項８又は９に記載の画像処理装置。
11. 前記算出手段は、前記画像の各位置に対応する前記反射光成分に対し、前記位置における明るさの勾配強度に応じた補正を行うことを特徴とする、請求項１０に記載の画像処理装置。
12. 前記算出手段は、前記画像の各位置に対応する前記反射光成分に対し、前記位置の周辺における、被写体が有する繊維の流れ方向の一致度に応じた補正を行うことを特徴とする、請求項１０又は１１に記載の画像処理装置。
13. 前記算出手段は、
    前記画像の各位置における前記被写体の陰影を示す陰影マップを、指定された繊維質の変更度に従って、前記画像上の流れ方向に沿って平滑化し、
    前記画像の各位置に対応する前記反射光成分に対し、前記平滑化後の陰影に応じた補正を行うことを特徴とする、請求項１０から１２のいずれか１項に記載の画像処理装置。
14. 前記算出手段は、前記三次元の流れ方向への反射光の拡がりと、前記三次元の流れ方向に垂直な方向への反射光との拡がりとが異なるように、前記反射光成分を算出することを特徴とする、請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記三次元形状データは、前記画像データが表す画像の各位置に対応する前記被写体の表面の向きを示すことを特徴とする、請求項１から１４のいずれか１項に記載の画像処理装置。
16. 被写体を撮像して得られる画像データと、前記被写体の三次元形状データとに基づいて、前記被写体が有する繊維の三次元の流れ方向を判定する工程と、
    前記三次元の流れ方向に基づいて、光源から入射する光に対する前記被写体からの反射光成分を算出する工程と、
    を備えることを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至１５の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images