JP6287170B2 - 眉生成装置、眉生成方法及びプログラム - Google Patents

Description

本発明は、眉生成装置、眉生成方法及びプログラムに関する。

従来、コンピュータを用いて眉を自然な形態で描画する技術が知られている（例えば、特許文献１参照）。

特開平１１−２５２５３号公報

しかしながら、上記特許文献１記載の技術は、コンピュータグラフィックスにより化粧システム等のために眉描画領域を設定し、眉の形や濃さを計算して眉を描画するものであるため、元々の眉や顔の特徴がなんら考慮されていないという課題がある。

本発明は、このような課題に鑑みてなされたものであり、本発明の目的は、個性を活かした眉を適正に生成することができる眉生成装置、眉生成方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る眉生成装置は、
顔を含む画像を取得する取得手段と、前記取得手段により取得された画像から眉を含む顔構成部を検出する検出手段と、前記検出手段により検出された眉の特徴を特定する特定手段と、前記特定手段により特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する生成手段と、を備え、前記特定手段は、前記眉の特徴として眉の毛穴を特定することを特徴としている。

本発明によれば、個性を活かした眉を適正に生成することができる。

本発明を適用した一実施形態の眉生成装置の概略構成を示すブロック図である。 図１の眉生成装置による眉生成処理に係る動作の一例を示すフローチャートである。 図２の眉生成処理に係る顔を含む画像の一例を模式的に示す図である。 図２の眉生成処理に係る眉マップの一例を模式的に示す図である。 図２の眉生成処理に係る仮眉型の一例を模式的に示す図である。 図２の眉生成処理に係る本眉型の一例を模式的に示す図である。 図２の眉生成処理に係る画像の一例を模式的に示す図である。 図２の眉生成処理後の顔を含む画像の一部分を拡大して示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の眉生成装置１００の概略構成を示すブロック図である。

眉生成装置１００は、例えば、パーソナルコンピュータやワークステーション等により構成され、図１に示すように、中央制御部１と、メモリ２と、記録部３と、操作入力部４と、画像処理部５と、表示部６と、表示制御部７とを備えている。
また、中央制御部１、メモリ２、記録部３、画像処理部５及び表示制御部７は、バスライン８を介して接続されている。

中央制御部１は、眉生成装置１００の各部を制御するものである。具体的には、中央制御部１は、ＣＰＵ（Central Processing Unit；図示略）等を備え、眉生成装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１、画像処理部５等によって処理されるデータ等を一時的に記録するバッファメモリや、中央制御部１等のワーキングメモリ、当該眉生成装置１００の機能に係る各種プログラムやデータが格納されたプログラムメモリ等（何れも図示略）を備えている。

記録部３は、例えば、不揮発性メモリ（フラッシュメモリ）、ハードディスクドライブ等により構成され、中央制御部１の動作に必要な各種プログラムやデータ（図示略）を記録している。

また、記録部（記録手段）３は、眉の形状を規定する眉形状データ３ａ（図６（ａ）参照）を記録している。
眉形状データ３ａは、例えば、流行等に応じて複数規定されてなり、各種の形状を有している。また、眉形状データ３ａは、各形状を規定する複数の基準点Ｓ、…や隣合う基準点Ｓどうしを結ぶ曲線の曲率等が対応付けられている。これらの基準点Ｓは、仮眉型生成部ｄ１（後述）により生成される仮眉型Ｐ１を構成する複数の構成点と対応付けられるものである。
なお、図６（ａ）に示す眉形状データ３ａは、一例であってこれらに限られるものではなく、適宜任意に変更可能である。

また、記録部３は、本眉型生成部ｄ２（後述）により生成される本眉型Ｐ２内で描画される眉毛の起点となる毛穴Ｈの密度の調整用の眉毛穴パラメータ３ｂを記録している。
眉毛穴パラメータ３ｂは、例えば、流行等に応じて本眉型Ｐ２の所定領域毎に複数規定されている。例えば、眉頭側の領域は、毛穴Ｈが相対的に低い密度となるように、また、眉頭側以外の中央側や眉尻側の領域は、毛穴Ｈが相対的に高い密度となるように規定されている。
なお、上記した眉毛穴パラメータ３ｂは、一例であってこれらに限られるものではなく、適宜任意に変更可能である。

操作入力部４は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部（図示略）を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部１に出力する。

画像処理部５は、画像取得部５ａと、顔構成部検出部５ｂと、眉特徴情報特定部５ｃと、眉生成部５ｄと、眉描画部５ｅとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部（取得手段）５ａは、顔を含む画像を取得する。
即ち、画像取得部５ａは、眉生成処理の処理対象となる顔を含む画像の画像データを取得する。具体的には、画像取得部５ａは、例えば、図示しない撮像装置により撮像されて記録部３に記録されている顔を含む画像の画像データを読み出して眉生成処理の処理対象として取得する。
なお、上記した画像データの取得手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、当該装置本体と所定の通信ネットワークを介して接続可能な所定の装置（例えば、サーバ等；図示略）に通信処理部（図示略）からアクセスして、画像取得部５ａは、当該サーバから顔を含む画像の画像データを取得する構成としても良い。

また、後述する画像処理部５による各処理は、処理対象の画像の画像データ自体に対して行われても良いし、必要に応じて画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。

顔構成部検出部（検出手段）５ｂは、画像取得部５ａにより取得された画像から眉を含む顔構成部を検出する。
すなわち、顔構成部検出部５ｂは、画像取得部５ａにより取得された処理対象の画像データに対して所定の顔検出処理を行って、顔が含まれる顔領域Ａ１（図３参照）を検出する。そして、顔構成部検出部５ｂは、顔検出処理により検出された処理対象の画像内の顔領域Ａ１から、所定の検出処理（例えば、ＡＡＭ（Active Appearance Model）等）を用いて、例えば、目、鼻、口、眉、顔輪郭等の主要な顔構成部を検出する。

ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を用意しておき、顔構成部検出部５ｂは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔画像をモデル化する。これにより、顔領域Ａ１内で、例えば、目、鼻、口、眉、顔輪郭等の顔構成部がモデル化される。

なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
また、顔構成部検出部５ｂは、顔領域Ａ１内の全ての顔構成部を検出する必要はなく、眉以外の他の顔構成部としては、目及び鼻のうち、少なくとも一方を検出する構成であれば良い。
さらに、顔構成部の検出処理としては、例えば、エッジ検出処理、非等方拡散処理、テンプレートマッチング等の各種の処理を用いても良い。

眉特徴情報特定部（特定手段）５ｃは、顔構成部検出部５ｂにより検出された眉の特徴を特定する。
すなわち、眉特徴情報特定部５ｃは、顔構成部検出部５ｂにより検出された眉の形状を当該眉の特徴として特定する。

具体的には、眉特徴情報特定部５ｃは、顔検出処理により検出された顔領域Ａ１内で、顔構成部検出部５ｂにより検出された左右各々の眉を含む眉領域Ａ２の画像データの複製を取得する。また、眉特徴情報特定部５ｃは、取得された左右各々の眉領域Ａ２の画像データを所定の色空間（例えば、ＨＳＶ色空間等）に変換し、色を基準として眉の形状を表す第１眉マップＭ１（図４（ａ）参照）を生成する。また、眉特徴情報特定部５ｃは、取得された左右各々の眉領域Ａ２の画像データに対して、所定のエッジ検出処理（例えば、ハフ変換やソーベルフィルタを用いた所定のマトリックス演算等）を行って、エッジを基準として眉の形状を表す第２眉マップＭ２（図４（ｂ）参照）を生成する。そして、眉特徴情報特定部５ｃは、第１眉マップＭ１及び第２眉マップＭ２の各々に対して、所定サイズのフィルタ（例えば、ガウシアンフィルタ等）を用いて平滑化処理を施した後、これらを所定の合成処理（例えば、加算処理等）により合成して左右各々の眉の形状を表す基準眉マップＭａ（図４（ｃ）参照）をそれぞれ生成する。
なお、図４（ａ）〜図７（ｃ）の各図は、左右の眉のうち、向かって右側の眉を模式的に表している。

なお、基準眉マップＭａを生成するために、色を基準とする第１眉マップＭ１とエッジを基準とする第２眉マップＭ２を用いたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
すなわち、エッジを基準とする第２眉マップＭ２を用いることで、肌の色と眉の色との差が相対的に小さい場合であっても、基準眉マップＭａの生成を適正に行うことができるが、第１眉マップＭ１及び第２眉マップＭ２のうち、何れか一方のみを用いる手法であっても良い。例えば、肌の色と眉の色との差が相対的に大きい場合には、第１眉マップＭ１のみを用いても良いし、また、肌の色と眉の色との差が相対的に小さい場合には、第２眉マップＭ２のみを用いても良い。

また、眉特徴情報特定部５ｃは、左右各々の眉領域Ａ２内の眉毛の流れ方向や長さを特定する。
具体的には、眉特徴情報特定部５ｃは、例えば、左右各々の眉領域Ａ２の画像データに対して各種の画像処理（例えば、二値化処理、エッジ検出処理、平滑化処理等）を施して、当該眉領域Ａ２を構成する各画素の座標のＸＹ方向の移動の推移を所定範囲に対応する方向コードに変換する。眉特徴情報特定部５ｃは、各画素毎の方向コードから、眉領域Ａ２内の眉毛の流れ方向を特定する（図７（ａ）参照）。
また、眉特徴情報特定部５ｃは、左右各々の眉領域Ａ２を左右方向に所定数の領域（例えば、眉頭側、中央側、眉尻側の３つの領域）に分割して、各領域毎に構成する画素の連続性から眉毛の長さや太さ（画素数）を特定する。
なお、方向コードを特定する処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、眉毛の流れ方向や長さを特定する処理は、眉領域Ａ２に対応する本眉型Ｐ２の内側の領域でのみ行われても良い。また、図７（ａ）にあっては、眉毛の流れ方向を矢印を用いて模式的に表している。

また、眉特徴情報特定部５ｃは、左右各々の眉領域Ａ２内の眉の毛穴Ｈを当該眉の特徴として特定する。
すなわち、眉特徴情報特定部５ｃは、例えば、左右各々の眉領域Ａ２の画像データに対して所定の毛穴検出処理を行って、眉の毛穴Ｈの位置を特定する（図７（ｂ）参照）。具体的には、眉特徴情報特定部５ｃは、左右各々の眉領域Ａ２のうち、後述する本眉型生成部ｄ２により生成された本眉型Ｐ２内に存する眉の毛穴Ｈの位置を特定する。このとき、眉特徴情報特定部５ｃは、眉毛の流れ方向から当該眉毛の一端部を毛穴Ｈの位置として特定しても良い。
これにより、眉特徴情報特定部５ｃは、左右各々の眉領域Ａ２内で、眉毛が生えている毛穴Ｈや眉毛が生えていない毛穴Ｈを特定する。

ここで、毛穴Ｈを検出する方法としては、例えば、毛穴Ｈのパラメータやテンプレートを数パターン保持しておき、顔画像からある領域(例えば、眉間やおでこ・頬等)を拡大し、拡大した領域において検出を行い、その人の毛穴を検出する。その情報を元に、眉毛領域でその人の毛穴テンプレート・パラメータを利用した毛穴検出を行う。

眉生成部（生成手段）５ｄは、眉特徴情報特定部５ｃにより特定された眉の特徴及び他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する。具体的には、眉生成部５ｄは、仮眉型生成部ｄ１と、本眉型生成部ｄ２と、描画毛穴位置特定部ｄ３とを具備している。

仮眉型生成部ｄ１は、顔領域Ａ１内で、眉特徴情報特定部５ｃにより生成された基準眉マップＭａ及び左右の目、鼻の基準眉マップＭａに対する相対的な位置関係を基準として、左右各々の仮眉型Ｐ１（図５（ｂ）参照）を生成する。

具体的には、例えば、仮眉型生成部ｄ１は、顔領域Ａ１内に左右各々の基準眉マップＭａを重畳させる（図５（ａ）参照）。そして、仮眉型生成部ｄ１は、左右各々の眉について、左右各々の目の目頭を通り上下方向（Ｙ方向）に延在する直線と左右各々の基準眉マップＭａの輪郭部との二つの交点を上下の仮眉頭構成点Ｔ１、Ｔ２として設定する（図５（ａ）参照）。
また、仮眉型生成部ｄ１は、左右各々の眉について、左右各々の目の黒目の外側（図中、向かって右側）を通り上下方向（Ｙ方向）に延在する直線と左右各々の基準眉マップＭａの輪郭部との上側の交点を仮眉山構成点Ｔ３として設定する（図５（ａ）参照）。そして、仮眉型生成部ｄ１は、設定された仮眉山構成点Ｔ３と上の仮眉頭構成点Ｔ１とを直線で結ぶ。
また、仮眉型生成部ｄ１は、左右各々の眉について、左右各々の小鼻の脇と左右各々の目の目尻とを通る直線上であって、下の仮眉頭構成点Ｔ２を通り左右方向（Ｘ方向）に延在する直線との交点を特定し、特定された交点と仮眉山構成点Ｔ３とを結ぶ直線上で各交点からわずかに仮眉山構成点Ｔ３寄りの位置に仮眉尻構成点Ｔ４を設定する（図５（ａ）参照）。そして、仮眉型生成部ｄ１は、設定された仮眉尻構成点Ｔ４と仮眉山構成点Ｔ３とを直線で結ぶ。
また、仮眉型生成部ｄ１は、左右各々の眉について、下の仮眉頭構成点Ｔ２を通り左右方向（Ｘ方向）に延在する直線と基準眉マップＭａの輪郭部との外側の交点を仮眉第１構成点Ｔ５として設定する（図５（ｂ）参照）。そして、仮眉型生成部ｄ１は、設定された仮眉第１構成点Ｔ５と下の仮眉頭構成点Ｔ２とを直線で結ぶ。
また、仮眉型生成部ｄ１は、左右各々の眉について、左右各々の目の黒目の外側を通り上下方向（Ｙ方向）に延在する直線と左右各々の基準眉マップＭａの輪郭部との下側の交点を仮眉第２構成点Ｔ６として設定する（図５（ｂ）参照）。そして、仮眉型生成部ｄ１は、設定された仮眉第２構成点Ｔ６と仮眉尻構成点Ｔ４及び仮眉第１構成点Ｔ５とをそれぞれ直線で結ぶ。

なお、基準眉マップＭａの内側（図中、向かって左側）の端部が上下の仮眉頭構成点Ｔ１、Ｔ２よりも内側に存する場合には、仮眉型生成部ｄ１は、基準眉マップＭａの内側の端部と下の仮眉頭構成点Ｔ２との間に仮眉第３構成点Ｔ７を設定する（図５（ｂ）参照）。そして、仮眉型生成部ｄ１は、設定された仮眉第３構成点Ｔ７と下の仮眉頭構成点Ｔ２とを直線で結ぶとともに、仮眉第３構成点Ｔ７と上の仮眉頭構成点Ｔ１とを基準眉マップＭａの内側の端部の輪郭と略等しい曲率の曲線で結ぶ。
そして、仮眉型生成部ｄ１は、上記のようにして直線や曲線で囲繞された領域を仮眉型Ｐ１とする（図５（ｂ）参照）。

なお、上記した複数の構成点及びこれらの構成点の設定手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

本眉型生成部ｄ２は、他の顔構成部の眉に対する相対的な位置関係を基準として、左右各々の仮眉型Ｐ１を補正して本眉型Ｐ２を生成する。
すなわち、本眉型生成部ｄ２は、左右各々の鼻筋から眉の上下の輪郭に沿うような曲線（いわゆる、ムーンカーブ；図６（ｃ）参照）を特定して、当該曲線を基準として仮眉型Ｐ１を補正する。このとき、本眉型生成部ｄ２は、記録部３に記録されている眉形状データ３ａ（図６（ａ）参照）を基準として仮眉型Ｐ１の形状を補正しても良い。

具体的には、本眉型生成部ｄ２は、記録部３に記録されている眉形状データ３ａの中からユーザによる操作入力部４の所定操作に基づいて或いはデフォルトとして指定されている眉形状データ３ａを読み出して、当該眉形状データ３ａに規定されている複数の基準点Ｓ、…と仮眉型Ｐ１を構成する複数の構成点とを対応付ける。そして、本眉型生成部ｄ２は、隣合う基準点Ｓどうしを結ぶ曲線の曲率を基準として、対応する隣合う構成点どうしの線を変形させる（図６（ｂ）参照）。例えば、本眉型生成部ｄ２は、隣合う構成点どうしの線の形状を対応する隣合う基準点Ｓどうしを結ぶ曲線の曲率と略等しくなるように変形させる。
なお、基準点Ｓと構成点とで対応するものどうしがない場合、例えば、構成点に対応する基準点Ｓが存しない場合、当該基準点Ｓの両隣りに存する二つの基準点Ｓ、Ｓの位置座標から仮の基準点の位置を演算により導出することとしても良い。

また、本眉型生成部ｄ２は、左右各々の鼻筋から眉の上下の輪郭に沿うような曲線を基準として、変形後の仮眉型Ｐ１を補正する。具体的には、本眉型生成部ｄ２は、変形後の仮眉型Ｐ１における下の仮眉頭構成点Ｔ２から仮眉尻構成点Ｔ４に亘る上側の曲線と鼻筋から眉の上の輪郭に沿う曲線Ｌ（図６（ｃ）参照）とを所定の合成処理（例えば、加算平均処理等）により合成する。同様に、本眉型生成部ｄ２は、変形後の仮眉型Ｐ１における下の仮眉頭構成点Ｔ２から仮眉尻構成点Ｔ４に亘る下側の曲線と鼻筋から眉の下の輪郭に沿う曲線（図示略）とを所定の合成処理（例えば、加算平均処理等）により合成する。
そして、本眉型生成部ｄ２は、上記のようにして補正された曲線で囲繞された領域を本眉型Ｐ２とする（図６（ｄ）参照）。

描画毛穴位置特定部ｄ３は、眉特徴情報特定部５ｃにより特定された本眉型Ｐ２内に存する毛穴Ｈの中で、描画される眉毛の起点となる毛穴Ｈを特定する（図７（ｃ）参照）。すなわち、描画毛穴位置特定部ｄ３は、眉特徴情報特定部５ｃにより特定された左右各々の眉領域Ａ２の毛穴Ｈの密度に基づいて、眉毛の濃さを考慮した眉を生成する。
具体的には、例えば、描画毛穴位置特定部ｄ３は、本眉型Ｐ２内に存する複数の毛穴Ｈ、…の中で、眉特徴情報特定部５ｃにより特定された眉毛が生えている毛穴Ｈを除外して、描画される眉毛の起点となる毛穴Ｈを特定する。また、例えば、描画毛穴位置特定部ｄ３は、眉特徴情報特定部５ｃにより特定された眉毛が生えていない毛穴Ｈについて、本眉型Ｐ２内に存する複数の毛穴Ｈ、…の中で、眉毛が生えている毛穴Ｈが相対的に高い密度で周囲に存する毛穴Ｈを除外して、描画される眉毛の起点となる毛穴Ｈを特定する。同様に、例えば、描画毛穴位置特定部ｄ３は、眉特徴情報特定部５ｃにより特定された眉毛が生えていない毛穴Ｈについて、本眉型Ｐ２内に存する複数の毛穴Ｈ、…の中で、眉特徴情報特定部５ｃにより特定された眉毛の流れ方向及び長さに基づいて描画すると本眉型Ｐ２からはみ出てしまう毛穴Ｈを除外して、描画される眉毛の起点となる毛穴Ｈを特定する。

また、描画毛穴位置特定部ｄ３は、記録部３に記録されている眉毛穴パラメータ３ｂを基準として、描画される眉毛の起点となる毛穴Ｈを特定しても良い。
具体的には、描画毛穴位置特定部ｄ３は、記録部３に記録されている眉毛穴パラメータ３ｂを読み出して、当該眉毛穴パラメータ３ｂに毛穴Ｈの相対的な密度が規定されている複数の領域毎に本眉型Ｐ２内に存する複数の毛穴Ｈ、…の密度を調整する。例えば、描画毛穴位置特定部ｄ３は、本眉型Ｐ２内に存する複数の毛穴Ｈ、…の中で、本眉型Ｐ２の眉頭側の領域は毛穴Ｈが相対的に低い密度となるように数を調整し、眉頭側以外の中央側、眉尻側の領域は毛穴Ｈが相対的に高い密度となるように数を調整する。

また、眉生成部５ｄは、本眉型生成部ｄ２により生成された本眉型Ｐ２、描画毛穴位置特定部ｄ３により特定された眉毛の起点となる毛穴Ｈ、当該毛穴Ｈを起点とする眉毛の流れ方向及び長さを対応付けて眉情報として生成する。

眉描画部（描画手段）５ｅは、画像取得部５ａにより取得された顔を含む画像内に、眉生成部５ｄにより生成された眉を描画する（図８参照）。
すなわち、眉描画部５ｅは、顔検出処理により検出された顔領域Ａ１内で、眉生成部５ｄにより生成された眉情報に基づいて、本眉型Ｐ２内の毛穴Ｈを起点とする所定の長さの眉毛を所定の流れ方向で形成することで眉を描画する。具体的には、眉描画部５ｅは、例えば、画像取得部５ａにより取得された画像内の髪の毛の画像データを所定の色空間（例えば、ＨＳＶ色空間等）に変換し、髪の毛と同系色となるように眉毛の下地の色や眉毛自体の色を決定する。このとき、例えば、眉毛の下地の色や眉毛自体の色の候補を複数用意して、ユーザによる所定の操作に基づいて選択させる構成であっても良い。
そして、眉描画部５ｅは、本眉型Ｐ２内に決定された眉毛の下地の色を付加した後、決定された色の眉毛を各毛穴Ｈ毎に所定の長さで且つ所定の流れ方向で形成する。このとき、描画毛穴位置特定部ｄ３により特定された眉毛の長さに対応するテンプレートを用意しておき、眉描画部５ｅは、各毛穴Ｈ毎に所定の流れ方向となるように配置することで眉を描画しても良い。

なお、上記した眉の描画手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、眉描画部５ｅは、本眉型Ｐ２内に眉毛の下地の色を付加するようにしたが、例えば、本眉型Ｐ２内に眉毛の下地の色を付加せずに、所定の色の眉毛を描画するような構成であっても良い。

表示部６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、表示制御部７の制御下にて各種情報を表示画面に表示する。

表示制御部７は、表示用データを生成して表示部６の表示画面に表示させる制御を行う。
具体的には、表示制御部７は、例えば、ＧＰＵ（Graphics Processing Unit）やＶＲＡＭ（Video Random Access Memory）等を具備するビデオカード（図示略）を備えている。そして、表示制御部７は、中央制御部１からの表示指示に従って、眉生成処理にて眉を生成するための各種画面の表示用データをビデオカードによる描画処理によって生成し、表示部６に出力する。

＜眉生成処理＞
次に、眉生成装置１００による眉生成処理について、図２〜図８を参照して説明する。
図２は、眉生成処理に係る動作の一例を示すフローチャートである。

図２に示すように、先ず、画像処理部５の画像取得部５ａは、図示しない撮像装置により撮像されて記録部３に記録されている顔を含む画像の画像データを読み出して眉生成処理の処理対象として取得する（ステップＳ１）。
次に、顔構成部検出部５ｂは、画像取得部５ａにより取得された画像データに対して所定の顔検出処理を行って、顔が含まれる顔領域Ａ１（図３参照）を検出した後（ステップＳ２）、当該顔領域Ａ１内から例えば、目、鼻、口、眉、顔輪郭等の主要な顔構成部を検出する（ステップＳ３）。

次に、眉特徴情報特定部５ｃは、顔構成部検出部５ｂにより検出された左右各々の眉を含む眉領域Ａ２の画像データの複製を取得して、所定の色空間（例えば、ＨＳＶ色空間等）に変換して第１眉マップＭ１（図４（ａ）参照）を生成するとともに、所定のエッジ検出処理を行なって第２眉マップＭ２（図４（ｂ）参照）を生成する（ステップＳ４）。そして、眉特徴情報特定部５ｃは、第１眉マップＭ１及び第２眉マップＭ２の各々に対して平滑化処理を施した後、これらを合成して左右各々の眉の形状を表す基準眉マップＭａ（図４（ｃ）参照）をそれぞれ生成する（ステップＳ５）。

次に、眉生成部５ｄの仮眉型生成部ｄ１は、顔領域Ａ１内で、基準眉マップＭａ及び左右の目、鼻の基準眉マップＭａに対する相対的な位置関係を基準として、左右各々の仮眉型Ｐ１（図５（ｂ）参照）を生成する（ステップＳ６）。具体的には、仮眉型生成部ｄ１は、上下の仮眉頭構成点Ｔ１、Ｔ２、仮眉山構成点Ｔ３、仮眉尻構成点Ｔ４、仮眉第１構成点Ｔ５、仮眉第２構成点Ｔ６、仮眉第３構成点Ｔ７等を設定し、これらを基準として左右各々の仮眉型Ｐ１を生成する。

次に、眉生成部５ｄの本眉型生成部ｄ２は、記録部３に記録されている眉形状データ３ａ（図６（ａ）参照）を基準として左右各々の仮眉型Ｐ１を補正する（ステップＳ７）。続けて、本眉型生成部ｄ２は、左右各々の鼻筋から眉の上下各々の輪郭に沿うような曲線を特定し、当該曲線を基準として仮眉型Ｐ１を補正して、左右各々の本眉型Ｐ２（図６（ｄ）参照）を生成する（ステップＳ８）。

次に、眉特徴情報特定部５ｃは、顔構成部検出部５ｂにより検出された左右各々の眉を含む眉領域Ａ２の画像データの複製を取得して、左右各々の眉領域Ａ２内の眉毛の流れ方向や長さを特定する（ステップＳ９；図７（ａ）参照）。続けて、眉特徴情報特定部５ｃは、左右各々の眉領域Ａ２のうち、本眉型生成部ｄ２により生成された本眉型Ｐ２内に存する眉の毛穴Ｈの位置を特定する（ステップＳ１０；図７（ｂ）参照）。
その後、描画毛穴位置特定部ｄ３は、眉特徴情報特定部５ｃにより特定された本眉型Ｐ２内に存する毛穴Ｈの中で、描画される眉毛の起点となる毛穴Ｈを特定する（ステップＳ１１；図７（ｃ）参照）。例えば、描画毛穴位置特定部ｄ３は、本眉型Ｐ２内に存する複数の毛穴Ｈ、…の中で、特徴情報特定部により特定された眉毛が生えている毛穴Ｈ等を除外して、描画される眉毛の起点となる毛穴Ｈを特定したり、記録部３に記録されている眉毛穴パラメータ３ｂに毛穴Ｈの相対的な密度が規定されている複数の領域毎に本眉型Ｐ２内に存する複数の毛穴Ｈ、…の密度を調整する。

その後、眉描画部５ｅは、画像取得部５ａにより取得された画像内の髪の毛の画像データを所定の色空間（例えば、ＨＳＶ色空間等）に変換し、眉毛の下地の色や眉毛自体の色を決定し（ステップＳ１２）、続けて、本眉型Ｐ２内に決定された眉毛の下地の色を付加した後、決定された色の眉毛を毛穴Ｈを起点として所定の長さで且つ所定の流れ方向で形成する（ステップＳ１３；図８参照）。
これにより、眉生成処理を終了する。

以上のように、本実施形態の眉生成装置１００によれば、眉の特徴及び当該眉以外の他の顔構成部（例えば、目や鼻等）の眉に対する相対的な位置関係に基づいて眉を生成するので、元々の眉や顔の特徴を考慮して、個性を活かした理想的な眉を適正に生成することができる。
結果として、生成された眉を顔を含む画像内に描画することで、当該画像内にて新たに描画された眉と他の顔構成部との相対的な関係をより自然なものとすることができる。

具体的には、眉の形状及び他の顔構成部の眉に対する相対的な位置関係に基づいて、新たな形状の眉を生成するので、元々の眉の形状を考慮することで、例えば、元々の眉に対して不自然な形状の眉が形成されることを抑制することができ、個性を活かした理想的な形状の眉をより適正に生成することができる。特に、記録されている複数の眉の形状の中から指定された眉の形状に基づいて、新たな形状の眉を生成することで、例えば、流行等を考慮しつつ個性を活かした理想的な形状の眉を生成することができる。
また、眉の毛穴Ｈの密度に基づいて、眉を生成するので、元々の眉の毛穴Ｈの密度（すなわち、眉毛の濃さ）を考慮することで、例えば、ベタ塗りしたような不自然な眉が形成されることを抑制することができ、個性を活かした理想的な濃さの眉をより適正に生成することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、眉の特徴として、眉の形状や毛穴Ｈの密度を例示したが、一例であってこれに限られるものではなく、眉の特徴は適宜任意に変更可能である。また、眉の形状や毛穴Ｈの密度（眉毛の濃さ）を調整した眉を生成するようにしたが、一例であってこれに限られるものではなく、眉の形状や毛穴Ｈの密度を調整するか否かは適宜任意に変更可能であり、必ずしも眉の形状及び毛穴Ｈの密度の両方を調整する必要はない。

また、上記実施形態では、眉形状データ３ａに基づいて仮眉型Ｐ１の形状を補正するようにしたが、一例であってこれに限られるものではなく、眉生成部５ｄの構成は適宜任意に変更可能である。すなわち、必ずしも眉形状データ３ａに基づいて仮眉型Ｐ１の形状を補正する必要はなく、同様に、必ずしも眉形状データ３ａを記録する記録部３を具備する必要はない。

さらに、上記実施形態では、生成された眉を顔領域Ａ１内に描画するようにしたが、一例であってこれに限られるものではなく、眉を描画するか否かは適宜任意に変更可能である。すなわち、例えば、眉生成部５ｄにより生成された眉情報を所定の格納手段（例えば、メモリ２等）に格納する構成としても良く、必ずしも眉描画部５ｅを具備する必要はない。

加えて、上記実施形態にあっては、取得手段、検出手段、特定手段、生成手段としての機能を、眉生成装置１００の中央制御部１の制御下にて、画像取得部５ａ、顔構成部検出部５ｂ、眉特徴情報特定部５ｃ、眉生成部５ｄが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記録するプログラムメモリに、取得処理ルーチン、検出処理ルーチン、特定処理ルーチン、生成処理ルーチンを含むプログラムを記録しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、顔を含む画像を取得する手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１のＣＰＵを、取得された画像から眉を含む顔構成部を検出する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１のＣＰＵを、検出された眉の特徴を特定する手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部１のＣＰＵを、特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する手段として機能させるようにしても良い。

同様に、描画手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明は、化粧品売り場のモニターに使用して好適であり、客に対し化粧のアドバイスを行ったり、例えば、アイブローペンシルやアイブローパウダー、アイブロー用筆等の販売促進に活用したりすることができる。
また、撮影した顔の画像を補正して表示または印刷することもできるし、顔に直接眉を描くプリンタにも応用可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
顔を含む画像を取得する取得手段と、
前記取得手段により取得された画像から眉を含む顔構成部を検出する検出手段と、
前記検出手段により検出された眉の特徴を特定する特定手段と、
前記特定手段により特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する生成手段と、
を備えたことを特徴とする眉生成装置。
＜請求項２＞
前記特定手段は、
前記眉の特徴として当該眉の形状を特定し、
前記生成手段は、
前記特定手段により特定された眉の形状及び前記他の顔構成部の眉に対する相対的な位置関係に基づいて、新たな形状の眉を生成することを特徴とする請求項１に記載の眉生成装置。
＜請求項３＞
眉の形状を複数記録する記録手段を更に備え、
前記生成手段は、
前記記録手段に記録されている複数の眉の形状の中から指定された眉の形状に基づいて、前記新たな形状の眉を生成することを特徴とする請求項２に記載の眉生成装置。
＜請求項４＞
前記特定手段は、
前記眉の特徴として当該眉の毛穴を特定し、
前記生成手段は、
前記特定手段により特定された眉の毛穴の密度に基づいて、眉を生成することを特徴とする請求項１〜３の何れか一項に記載の眉生成装置。
＜請求項５＞
前記取得手段により取得された顔を含む画像内に、前記生成手段により生成された眉を描画する描画手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の眉生成装置。
＜請求項６＞
前記他の顔構成部は、目及び鼻のうち、少なくとも一方を含むことを特徴とする請求項１〜５の何れか一項に記載の眉生成装置。
＜請求項７＞
眉生成装置を用いた眉生成方法であって、
顔を含む画像を取得する処理と、
取得された画像から眉を含む顔構成部を検出する処理と、
検出された眉の特徴を特定する処理と、
特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する処理と、
を含むことを特徴とする眉生成方法。
＜請求項８＞
眉生成装置のコンピュータを、
顔を含む画像を取得する取得手段、
前記取得手段により取得された画像から眉を含む顔構成部を検出する検出手段、
前記検出手段により検出された眉の特徴を特定する特定手段、
前記特定手段により特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する生成手段、
として機能させることを特徴とするプログラム。

１００ 眉生成装置
１ 中央制御部
３ 記録部
３ａ 眉形状データ
５ 画像処理部
５ａ 画像取得部
５ｂ 顔構成部検出部
５ｃ 眉特徴情報特定部
５ｄ 眉生成部
５ｅ 眉描画部

Claims (8)

1. 顔を含む画像を取得する取得手段と、
   前記取得手段により取得された画像から眉を含む顔構成部を検出する検出手段と、
   前記検出手段により検出された眉の特徴を特定する特定手段と、
   前記特定手段により特定された眉の特徴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する生成手段と、
   を備え、
   前記特定手段は、前記眉の特徴として眉の毛穴を特定する、
   ことを特徴とする眉生成装置。
2. 前記特定手段は、
   さらに、前記眉の特徴として当該眉の形状を特定し、
   前記生成手段は、
   前記特定手段により特定された眉の形状及び前記他の顔構成部の眉に対する相対的な位置関係に基づいて、新たな形状の眉を生成することを特徴とする請求項１に記載の眉生成装置。
3. 眉の形状を複数記録する記録手段を更に備え、
   前記生成手段は、
   前記記録手段に記録されている複数の眉の形状の中から指定された眉の形状に基づいて、前記新たな形状の眉を生成することを特徴とする請求項２に記載の眉生成装置。
4. 前記生成手段は、
   前記特定手段により特定された眉の毛穴の密度に基づいて、眉を生成することを特徴とする請求項１〜３の何れか一項に記載の眉生成装置。
5. 前記取得手段により取得された顔を含む画像内に、前記生成手段により生成された眉を描画する描画手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の眉生成装置。
6. 前記他の顔構成部は、目及び鼻のうち、少なくとも一方を含むことを特徴とする請求項１〜５の何れか一項に記載の眉生成装置。
7. 眉生成装置を用いた眉生成方法であって、
   顔を含む画像を取得する処理と、
   取得された画像から眉を含む顔構成部を検出する処理と、
   検出された眉の毛穴を特定する処理と、
   特定された眉の毛穴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する処理と、
   を含むことを特徴とする眉生成方法。
8. 眉生成装置のコンピュータを、
   顔を含む画像を取得する取得手段、
   前記取得手段により取得された画像から眉を含む顔構成部を検出する検出手段、
   前記検出手段により検出された眉の毛穴を特定する特定手段、
   前記特定手段により特定された眉の毛穴及び当該眉以外の他の顔構成部の眉に対する相対的な位置関係に基づいて、眉を生成する生成手段、
   として機能させることを特徴とするプログラム。