JP5085636B2 - 化粧顔画像生成装置、その方法、サーバ及びプログラム - Google Patents

Description

本発明は、ユーザの顔画像からユーザ専用手本化粧顔画像を生成する化粧顔画像生成装置、その方法、サーバ及びプログラムに関する。

ユーザの要望に適う化粧方法をユーザに提供する技術が特許文献１〜５に開示されている。例えば特許文献１に記載された化粧方法提示方法では、ユーザから送られた顔画像に、ユーザによって選択された化粧方法を施して化粧顔画像を作成し、この化粧顔画像に応じた化粧手順をユーザに提示する。

特許文献２に記載された化粧アドバイス方法では、ユーザの顔と化粧モデルの顔が合成されてユーザが手本とする化粧顔画像を作成する。
特許文献３に開示された化粧アドバイスシステムは、画像入力手段からユーザの顔画像を取得し、その顔画像の特徴量に基づいてユーザの顔の印象を複数の印象パターンのいずれかに分類し、その分類結果を複数の印象パターンの典型的な顔画像と共に出力する。そして、ユーザの化粧顔のシミュレーション画像を、典型的な印象パターンのそれぞれについて形成し、ユーザの顔画像と共に出力する。

特許文献４に記載された化粧アドバイス装置は、ユーザの顔画像を入力し、該顔画像と第２データベースに登録された理想顔との差異から、必要な化粧を判断し、化粧の手順を第１データベースから読み出し、表示装置に表示する。

特許文献５に記載された化粧シミュレーション方法では、ユーザの顔の画像にモルフィングやトウィーニングなどの画像処理を行って、ユーザの顔と希望顔とが混合される。ユーザの顔と希望顔との混合比率を変更して、複数の化粧顔候補を得る。得られた化粧顔候補のうち、化粧で得ることの可能な相似レベルの範囲内にある化粧顔候補から、ユーザが望ましいと化粧顔を選択する。
特開２０００−３３９３３１号公報 特許第３４０８５２４号公報 特許第３５８２４５８号公報 特開２００２−１２３５８５号公報 特開平１０−２５５０６６号公報

従来の化粧アドバイスでは、化粧モデルの化粧顔の画像や、化粧モデルの正味化粧画像とユーザの顔画像との合成画像が手本として用いられていた。化粧モデルの正味化粧画像をユーザの顔画像と合成する場合、ユーザの顔画像とその化粧モデルの正味化粧画像との間で、顔形、目や口等のパーツの位置と形状が一致するように、化粧モデルの正味化粧画像を変形する処理が行われていた。しかし、変形処理された化粧モデルの正味化粧画像からユーザの手本化粧顔を作成した場合、ユーザに合わない手本化粧顔が得られてしまう。例えば、卵形の顔を有する化粧モデルの正味化粧画像を、四角形の顔のユーザに合うように変形し、手本化粧顔画像を生成した場合、その手本化粧顔画像は、ユーザの期待した化粧顔からかけ離れてしまうことがあった。そのため、ユーザは、ユーザの顔形に似ている顔形の別の化粧モデルの化粧顔を選択せざるを得なかった。

特許文献５では、希望顔から離れた化粧顔候補ばかりが得られてしまうという問題があった。
本発明の目的は、サンプル化粧顔の正味化粧画像をユーザの顔画像に合成してユーザ専用の手本化粧顔を生成する場合に、ユーザの好みに近いユーザ専用の手本化粧顔を生成できる化粧顔画像生成装置、その方法、サーバ及びプログラムを提供することにある。

本発明は、ユーザの顔の画像からそのユーザ専用手本化粧顔の画像を生成する装置であって、前記ユーザによって選択されたサンプル化粧顔の画像、前記サンプル化粧顔の素顔の画像、及び前記サンプル化粧顔の素顔の画像と前記サンプル化粧顔の画像との差に対応する正味の化粧画像を記憶する記憶手段と、前記ユーザの素顔の画像を取得する顔画像取得手段と、前記正味の化粧画像を前記ユーザの素顔の画像にマッチングさせる処理を行って、マッチング済みの正味化粧画像を生成するマッチング処理手段と、前記サンプル化粧顔の素顔の画像と前記ユーザの素顔の画像の各々に対して特徴抽出を行って、各素顔の特徴を取得し、両素顔の特徴の差異を取得する素顔差異取得手段と、前記ユーザの素顔を前記サンプル化粧顔の素顔に似せるために前記ユーザの素顔に施すべき化粧であって前記素顔の特徴の差異を小さくする当該化粧の画像を表す素顔補正用化粧画像を取得する素顔補正用化粧画像取得手段と、前記素顔補正用化粧画像と、前記マッチング済みの正味化粧画像とを、前記ユーザの素顔の画像に付加する合成処理を行って、ユーザ専用手本化粧顔の画像を生成する画像合成手段とを備える。

前記画像合成手段は、前記マッチング済みの正味化粧画像に前記素顔補正用化粧画像を付加して補正後の正味化粧画像を生成する画像補正手段を備え、前記補正後の正味化粧画像を前記ユーザの素顔の画像に付加する合成処理を行って、前記ユーザ専用手本化粧顔の画像を生成することが好ましい。

前記正味の化粧画像は、前記サンプル化粧顔の素顔から前記サンプル化粧顔に至るまでの複数の化粧層に対応する複数のレイヤを含むことが好ましい。
前記素顔差異取得手段は、前記ユーザの素顔の画像と前記サンプル化粧顔の素顔の画像から、両顔の輪郭と、両素顔の輪郭の差異を取得し、前記素顔補正用化粧画像取得手段は、前記輪郭の差異を少なく見せるための素顔輪郭補正用化粧画像を前記素顔補正用化粧画像として取得することが好ましい。

前記素顔差異取得手段は、前記ユーザの素顔の画像と前記サンプル化粧顔の素顔の画像の各々に対して特徴抽出を行って、両素顔のパーツの形状を取得し、両素顔間の対応するパーツの形状の差異を取得し、前記素顔補正用化粧画像取得手段は、前記パーツの形状の差異を少なく見せるためのパーツ形状補正画像を前記素顔補正用化粧画像として取得することが好ましい。

一例では、前記パーツは、目、眉、鼻及び口のうちの少なくとも一つである。
前記素顔差異取得手段は、前記ユーザの素顔の画像と前記サンプル化粧顔の素顔の画像の各々から、顔パーツレイアウトを取得し、両素顔間の顔パーツレイアウトの差異を取得し、前記素顔補正用化粧画像取得手段は、前記顔パーツレイアウトの差異を少なく見せるための素顔パーツレイアウト補正用化粧画像を前記素顔補正用化粧画像として取得することが好ましい。

前記装置は、前前記画像合成手段が前記素顔補正用化粧画像を付加する処理を行うか否かを前記ユーザの操作に従って選択する選択手段を更に備えることが好ましい。

一例では、前記記憶手段は、前記素顔の特徴の差異の種類と程度に対応付けられた差異解消用画像と、前記ユーザの素顔の画像において前記差異解消用画像を付加する位置とを記憶し、前記素顔補正用化粧画像取得手段は、前記素顔の特徴の差異の種類と程度に応じた差異解消用画像と位置とを前記記憶手段から読み出し、前記画像合成手段は、前記読み出した差異解消用画像を前記ユーザの素顔の画像中の前記読み出した位置に付加する。

一例では、前記記憶手段は、前記差異解消用画像を前記位置に付加するためのプロシージャ情報を記憶し、前記素顔補正用化粧画像取得手段は、前記差異解消用画像、前記位置及び前記プロシージャ情報を前記記憶手段から読み出し、前記画像合成手段は、前記プロシージャ情報に従って、前記読み出した差異解消用画像を前記ユーザの素顔の画像中の前記読み出した位置に付加する。

前記装置は、前記サンプル化粧顔に対応する素顔から前記サンプル化粧顔に対応する化粧顔に化粧するための手順を、文書、音声及び画像のうち少なくとも一つで説明する第１化粧手順レシピを記憶するレシピ記憶手段と、前記ユーザの顔から前記ユーザ専用手本化粧顔に化粧するための手順を、文書、音声及び画像のうち少なくとも一つで説明する第２化粧手順レシピを作成する化粧手順作成手段とを更に備え、前記化粧手順作成手段は、前記サンプル化粧顔に対応する前記第１化粧手順レシピを前記レシピ記憶手段から読み出し、前記第１化粧手順レシピにおいて、前記素顔補正用化粧画像に対応する一部を修正して、前記第２化粧手順レシピを作成することが好ましい。

一例では、前記素顔補正用化粧画像と前マッチング済みの正味化粧画像は、複数の化粧ステップとそれぞれ対応付けられた複数のレイヤから構成され、前記装置は更に、前記ユーザの素顔の画像に、前記化粧ステップの進行に伴って前記レイヤを順次合成して、各化粧ステップにおける途中の手本化粧顔の画像を作成する化粧途中顔画像生成手段を備える。

一例では、各化粧ステップにおける前記ユーザの実際の化粧途中顔の画像と、前記各化粧ステップにおける途中の手本化粧顔の画像とを取得する化粧途中顔画像取得手段と、前記実際の化粧途中顔画像と、前記途中の手本化粧顔の画像との差異を取得する途中化粧顔差異取得手段と、前記途中化粧顔差異取得手段により取得された前記差異を減らすための化粧手順レシピを文書、音声、画像のうち少なくとも一つで説明する化粧アドバイスを生成するアドバイス手段とを更に備える。

一例では、前記サンプル化粧顔の画像は、複数の他人の化粧顔の画像から前記ユーザによって選択された、ユーザ好みの化粧が施された他人の化粧顔の画像であり、前記記憶手段は、前記複数の他人の化粧顔の画像と前記複数の他人の素顔とを互いに対応付けて記憶している。

一例では、前記装置は、クライアント端末とネットワークを介して接続されたサーバであり、前記サーバは、前記クライアント端末から開始要求を受けたときに、前記ユーザ専用手本化粧顔の画像の生成処理を開始し、前記ユーザの素顔の画像を前記クライアント端末から受信し、前記ユーザ専用手本化粧顔の画像を前記クライアント端末に送信する。

一例では、前記装置は、サーバとネットワークを介して接続されるとともに、前記サーバからダウンロードした化粧顔画像生成処理プログラムを実行するプロセッサを内蔵するクライアント端末であり、前記記憶手段は、前記クライアント端末に設けられており、前記サーバから受信した前記サンプル化粧顔の画像、前記サンプル化粧顔の素顔の画像及び前記正味の化粧画像を記憶し、前記素顔補正用化粧画像取得手段は、前記クライアント端末に設けられており、前記サーバにアクセスして、前記両素顔の特徴の差異に応じた前記素顔補正用化粧画像を取得する。

本発明は更に、ユーザ専用手本化粧顔の画像を生成する方法を提供する。その方法は、前記ユーザによって選択されたサンプル化粧顔の画像、前記サンプル化粧顔の素顔の画像、及び前記サンプル化粧顔の素顔の画像と前記サンプル化粧顔の画像との差に対応するユーザ好みの正味の化粧画像を記憶する工程と、前記ユーザの素顔の画像を取得する工程と、前記正味の化粧画像を前記ユーザの素顔の画像にマッチングさせる処理を行って、マッチング済みの正味化粧画像を生成する工程と、前記サンプル化粧顔の素顔の画像と前記ユーザの素顔の画像の各々に対して特徴抽出を行って、各素顔の特徴を取得し、両素顔の特徴の差異を取得する工程と、前記ユーザの素顔を前記サンプル化粧顔の素顔に似せるために前記ユーザの素顔に施すべき化粧であって前記素顔の特徴の差異を小さくする当該化粧の画像を表す素顔補正用化粧画像を取得する工程と、前記素顔補正用化粧画像と、前記マッチング済みの正味化粧画像とを、前記ユーザの素顔の画像に付加する合成処理を行って、ユーザ専用手本化粧顔の画像を生成する工程とを備えている。

一例では、前記両素顔の特徴は、顔の輪郭、顔のパーツ形状、顔パーツレイアウトのうちの少なくとも一つである。
本発明は更に、ユーザの顔の画像から、そのユーザ専用手本化粧顔の画像を生成するサーバを提供する。そのサーバは、ユーザの顔の画像から、そのユーザ専用手本化粧顔の画像を生成するサーバであって、前記ユーザによって選択されたサンプル化粧顔の画像、前記サンプル化粧顔の素顔の画像、及び前記サンプル化粧顔の素顔の画像と前記サンプル化粧顔の画像との差に対応するユーザ好みの正味の化粧画像を記憶する記憶手段と、前記クライアント端末から前記ユーザの素顔の画像を取得する顔画像取得手段と、前記正味の化粧画像を前記ユーザの素顔の画像にマッチングさせる処理を行って、マッチング済みの正味化粧画像を生成するマッチング処理手段と、前記サンプル化粧顔の素顔の画像と前記ユーザの素顔の画像の各々に対して特徴抽出を行って、各素顔の特徴を取得し、両素顔の特徴の差異を取得する素顔差異取得手段と、前記ユーザの素顔を前記サンプル化粧顔の素顔に似せるために前記ユーザの素顔に施すべき化粧であって前記素顔の特徴の差異を小さくする当該化粧の画像を表す素顔補正用化粧画像を取得する素顔補正用化粧画像取得手段と、前記素顔補正用化粧画像と、前記マッチング済みの正味化粧画像とを、前記ユーザの素顔の画像に付加する合成処理を行って、ユーザ専用手本化粧顔の画像を生成する画像合成手段と、前記ユーザ専用手本化粧顔の画像を前記クライアント端末に送信する手段とを備えている。

本発明は更に、前記方法をコンピュータに実行させるためのプログラムを提供する。

以下、本発明の好ましい実施形態を図１〜図１７に従って説明する。
図１は、化粧に関するアドバイスを提供するための化粧アドバイスシステム１０を示す。化粧アドバイスシステム１０は、インターネット等のネットワーク１１を通じて互いに通信可能に接続されたクライアント端末１２と、サーバコンピュータ２０（以下、単にサーバという）とを備えている。クライアント端末１２は、例えばネットワーク１１に有線又は無線接続可能なパーソナルコンピュータや、携帯電話回線網１３を介してネットワーク１１に接続可能な携帯電話機のような移動局であり得る。ネットワーク１１には、化粧または美容健康関連機関に設置されたコンピュータ１５が接続されている。コンピュータ１５は、化粧に関する情報や、美容情報及び健康情報を、ネットワーク１１を通じてサーバ２０に提供する。化粧情報には、化粧品情報（化粧品の新製品情報、特徴、使い方、成分等）、化粧の手順やテクニックに関する情報などが含まれる。ネットワーク１１の例は、インターネット、ＬＡＮ（Local Area Network）、及びＶＡＮ（付加価値回線網）である。

クライアント端末１２は入力部１２ａ（例えばキーボードやマウス等のポインティングデバイス）を有する。入力部１２ａは、ユーザ１４が化粧アドバイスを受けたいときに、ユーザ１４の顔画像をクライアント端末１２に入力するときに使用される。クライアント端末１２は、ユーザ１４の素顔画像を、ネットワーク１１を通じてサーバ２０に送信する。サーバ２０は、クライアント端末１２から受信したユーザ１４の素顔画像に画像処理を施して、ユーザ１４専用の手本化粧顔画像を生成し、その手本化粧顔画像をユーザ１４のクライアント端末１２に送信する。クライアント端末１２はその手本化粧顔画像を表示部１２ｂに表示する。クライアント端末１２には、カメラ１６が設けられている。カメラ１６は、ユーザ１４の素顔や化粧顔を撮影するのに用いられる。カメラ１６はクライアント端末１２に内蔵されるか外部接続される。

サーバ２０は、手本化粧顔画像をクライアント端末１２に提供した後、ユーザ１４の素顔を手本化粧顔どおりの化粧顔にする化粧の手順を文書、音声、画像のうち少なくとも一つで説明する化粧手順レシピをユーザ１４のクライアント端末１２に送信し、表示部１２ｂ等の出力装置に化粧手順レシピを出力させる。化粧手順レシピは、少なくとも文章を含んでいる。化粧手順レシピが例えば音声を含む場合、クライアント端末１２のスピーカから化粧手順を説明する音声が出力される。

化粧手順は複数のステップからなる。ユーザ１４は化粧手順レシピに従って化粧を順次施す。各ステップの目標化粧顔すなわち化粧途中顔が出来上がると、ユーザ１４は、その化粧途中顔を撮影してクライアント端末１２からサーバ２０に送信する。その化粧途中顔を受信したサーバ２０は、現在の化粧ステップにおける化粧途中顔を評価する。そして、サーバ２０は、現在の化粧途中顔を、そのステップの手本化粧顔に近づけるための化粧アドバイスを用意し、ユーザ１４のクライアント端末１２に送信する。ユーザは例えば表示部１２ｂに表示された化粧アドバイスを参考にして、化粧を修正することができる。

図１に示すように、サーバ２０は、本体２１と、第１〜第７記憶部２２〜２８（７種類のデータベース）を備えている。記憶部２２〜２８は、一つの記憶装置に格納されてもよく、複数の記憶装置に別々に格納されてもよい。記憶部２２〜２８を格納する記憶装置は本体２１に内蔵されていてもよく、外付けされていてもよい。データベースのうち化粧に関する化粧品や化粧の手順やテクニック等の化粧に関する専門知識などが要求される内容については、コンピュータ１５からネットワーク１１を通じて取得した情報を用いて作成されている。

サーバ２０は記憶手段に格納された各種プログラムコードに従って、ユーザ１４専用の手本化粧顔画像を生成する処理、ユーザ１４の実施した化粧を評価する処理、化粧のアドバイスをする処理を行なう。サーバ２０は記憶手段には、図４，図５，図１２，図１３，図１５，図１７に示す画面をクライアント端末１２の表示部１２ｂに表示させるための画像や、図３の化粧支援処理プログラムが格納されている。化粧支援処理プログラムは、化粧顔画像生成処理プログラムと化粧アドバイス処理プログラムを含む。

サーバ２０は、中央演算処理装置（ＣＰＵ）、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）を備えている。ＣＰＵは、ＲＯＭやハードディスクドライブに記憶された種々の制御プログラムを実行する。ＲＡＭは、演算結果のような各種データが一時的に記憶する。サーバ２０は、インターネット１１に接続されたクライアント端末１２との間でデータの送受信を行う送受信部２９を備えている。例えば、送受信部２９はクライアント端末１２からのアクセス要求に応じてウェブ画面データを送信してクライアント端末１２の表示部１２ｂに、図４，図５，図１２等に示すウェブ画面を表示させるウェブサーバ部を含む。

図２は、サーバ２０が、化粧支援処理プログラム（化粧顔生成処理プログラム及び化粧アドバイス処理プログラム）を実行することで、サーバによって構築される化粧支援装置の機能構成を示すブロック図である。送受信部２９は、前述のようにウェブサーバ部により構成されており、クライアント端末１２に送信すべきデータは予めウェブデータとして生成して送信する。図２に示す化粧支援装置３０は、化粧顔画像生成処理と、化粧手順画面生成処理と、化粧アドバイス処理とを行う化粧顔画像生成装置を含むものである。

化粧支援装置３０は、該装置を統括制御する制御部３１、マッチング処理部３２、正味化粧画像補正処理部３３、合成処理部３４、レシピ補正部３５、第１〜第７記憶部２２〜２８及び画像等のデータを一時記憶するバッファとして機能する記憶部３６〜３８を備える。

記憶部２２〜２８について説明する。
第１記憶部２２には、サンプル化粧顔データベースが構築されている。サンプル化粧顔データベースは、多数のサンプル化粧顔（例えば化粧モデルのような他人の化粧顔）の画像６４と、各サンプル化粧顔の画像６４からそのサンプル化粧顔の素顔の画像７２を除算して得られるサンプル化粧顔の正味の化粧画像７３とを対応付けて形成されている。

第２記憶部２３には、第１記憶部２２に記憶されている多数のサンプル化粧顔の画像６４にそれぞれ対応するサンプル化粧顔の素顔の画像７２からなるサンプル素顔データベースが構築されている。

第３記憶部２４には、顔形の差異（例えばユーザ１４の顔の輪郭と、そのユーザ１４の選択したサンプルの顔の輪郭との差異）を補うために用いられる顔の輪郭補正画像が記憶され、顔の輪郭補正用データベースが構築されている。

第４記憶部２５には、顔のパーツ形状の差異（例えばユーザ１４の鼻と、そのユーザ１４の選択したサンプルの鼻との差異）を補うために用いられるパーツ形状補正画像が記憶され、パーツ形状補正用データベースが構築されている。

第５記憶部２６には、顔パーツレイアウト（図１１参照）の差異（例えばユーザ１４の目の位置と、そのユーザ１４の選択したサンプルの目の位置との差異）を補うために用いられる顔パーツレイアウト補正画像が記憶され、顔パーツレイアウト補正用データベースが構築されている。

第３〜第５記憶部２４〜２６に記憶されている、顔の輪郭補正画像、パーツ形状補正画像、顔パーツレイアウト補正画像には一画像につき一つの識別子が付されている。
レシピ記憶手段としての第６記憶部２７には、サンプルの素顔からサンプル化粧顔に化粧するための手順を説明する、文書、画像、音声のうち少なくとも一つからなる化粧手順レシピ（第１化粧手順レシピ）が記憶され、化粧手順レシピデータベースが構築されている。化粧手順レシピは少なくとも文書を含む。化粧手順レシピは、文章と画像（静止画又は動画）の組合せとすることが好ましいが、文章のみとしたり、音声のみとしたり、音声と画像との組合せとしたり、文章と音声と画像との組合せでもよい。

第７記憶部２８には、第１化粧手順レシピの文章をユーザ１４に応じて補正するための補正用文書が記憶され、レシピ補正用データベースが構築されている。このレシピ補正用文書は、第１化粧手順レシピの文書に挿入されたり一部（例えば、単語、句、文、段落）を置き替えるのに使用される。補正用文書は、第３〜第５記憶部２４〜２６のそれぞれに記憶されている、レシピ補正用文書は、顔の輪郭を補正するように適合された輪郭補正用正味化粧画像、パーツ形状を補正するように適合されたパーツ形状補正用正味化粧画像、顔パーツレイアウトを補正するように適合されたレイアウト補正用正味化粧画像のそれぞれに付された識別子と関連付けられている。サーバ２０は補正用の正味化粧画像に付された識別子を基に手順補正用データベースを検索すれば、その識別子と対応する補正用文書を取得できる。第７記憶部２８には、文書中において補正のために補正用文書の置き換えの可能性がある文書位置、又は補正用文書の追加挿入の可能性がある位置を特定するアドレスと、補正用の正味化粧画像に付された前記識別子とを関連付けたリンクテーブルが記憶されている。補正用の正味化粧画像が決まると、それに付された識別子を基にリンクを参照すれば、その識別子と対応する補正用文書の置き換えエリアアドレス又は追加挿入位置アドレスを取得できる。文書やリンク等の詳細については後述する。

記憶部３６は、ユーザ１４の素顔の顔画像を記憶する。ユーザ１４の素顔の画像は、クライアント端末１２から送受信部２９に受信され、制御部３１の指示に従って記憶部３６に格納される。送受信部２９、制御部３１及び記憶部３６はユーザ１４の素顔の画像を取得する顔画像取得手段を構成する。

記憶部３７は、ユーザ１４の手本化粧顔画像を生成するためにユーザ１４の素顔画像に合成すべき補正後正味化粧画像１００を生成する過程で取得される画像を記憶する。補正後正味化粧画像１００は、後述するマッチング処理後の正味化粧画像７４（図７（ｂ））と、ユーザ１４の素顔画像とサンプル化粧顔の素顔画像７２との間の差異、特に、顔の輪郭の差異、パーツ形状の差異、顔パーツレイアウトの差異を補うために正味化粧画像７４に付加される化粧の画像（補正画像）とを含む。

記憶部３８は、ユーザ１４の素顔を手本化粧顔にするための化粧の手順を作成する過程の文書データが一時的に記憶される。各記憶部３６〜３８は、ＲＡＭ等のメモリの所定の記憶領域から構成される。

以下、第１〜第７記憶部２２〜２８に記憶された各種データを用いて、ユーザ１４の手本化粧顔画像を生成する化粧顔画像生成処理、及びユーザ１４が手本化粧顔を手本として行う化粧についてアドバイスする化粧アドバイス処理を行う各部３２〜３５について説明する。各部３２〜３５の動作は、制御部３１により制御される。

化粧支援装置３０は、ユーザ１４の素顔画像７１と、サンプル化粧顔の素顔画像７２と、サンプル化粧顔の正味化粧画像７３とを用いて、この正味化粧画像をユーザ１４の顔の輪郭等に合うように加工してユーザ１４用の正味化粧画像（補正後正味化粧画像１００）を生成する。そして、その補正後正味化粧画像１００をユーザ１４の素顔画像に合成してユーザ１４の手本化粧顔画像を生成する。この処理は、マッチング処理部３２、正味化粧画像補正処理部３３及び合成処理部３４によって行われる。生成されたユーザ１４の手本化粧顔画像は、ユーザ１４が化粧をするときの手本として使用される。

マッチング処理手段としてのマッチング処理部３２は、サンプル化粧顔の正味化粧画像７３（図６を参照）を、ユーザ１４の顔サイズや顔の輪郭等にマッチングさせるように加工するマッチング処理を行う。すなわち、第１記憶部２２から、ユーザ１４によって選択されたサンプル化粧顔の正味化粧画像７３（図６を参照）を読み出す。正味化粧画像７３は、サンプル化粧顔の画像６４を構成する一部のレイヤ（正味化粧画像レイヤ群）として記憶されていたり、サンプル化粧顔の画像６４と関連付けられるとともにサンプル化粧顔の画像６４とは別個の画像として記憶されたりしている。従来においてユーザ１４の手本化粧顔画像を生成する場合、正味化粧画像７３にマッチング処理を施すまでは行われていたが、好ましい実施形態では、マッチング処理後の正味化粧画像７４（図７（ｂ）参照）に対し、更に正味化粧画像補正処理部３３による補正が加えられる。

補正手段としての正味化粧画像補正処理部３３は、サンプル化粧顔の素顔とユーザ１４の素顔との差異を抽出して、その差異を少なく見せるための化粧を表す画像（補正画像）を、マッチング処理後の正味化粧画像７４に付加する補正処理を行う。この補正処理を実現するために、正味化粧画像補正処理部３３は、差異抽出部４０と、画像処理部４５とを含む。差異抽出部４０は、サンプル化粧顔の素顔とユーザ１４の素顔との差異を抽出する差異抽出機能と、その差異を少なく見せるための化粧を表す画像（補正画像）を取得する補正画像取得機能とを有している。また、画像処理部４５は、マッチング処理後の正味化粧画像７４に補正画像を付加して補正後正味化粧画像１００を生成する画像処理を行う。好ましい実施形態では、差異抽出部４０が素顔差異取得手段及び補正画像取得手段として機能する。

差異抽出部４０は、顔の輪郭、パーツ形状、顔パーツレイアウトを差異の抽出対象としており、差異の抽出対象別に、顔の輪郭抽出部４１とパーツ形状抽出部４２と顔パーツレイアウト抽出部４３とを備える。また、画像処理部４５が正味化粧画像７４に付加する補正画像には、顔の輪郭、パーツ形状、顔パーツレイアウトの各差異に応じた三種類ある。画像処理部４５は、正味化粧画像７４に付加する補正画像の種類に応じて、第１画像処理部４６と第２画像処理部４７と第３画像処理部４８とを備える。

顔の輪郭抽出部４１は、サンプル化粧顔の素顔画像とユーザ１４の素顔画像とからそれぞれの顔の輪郭を特徴抽出し、特徴抽出したサンプルとユーザ１４との顔の輪郭との差異を抽出する。そして、その顔の輪郭の差異を少なく見せるための化粧を表す画像（以下、顔の輪郭補正画像７９（図８を参照）という）を取得するために、顔の輪郭の差異に基づいて、第３記憶部２４の顔の輪郭補正用データベースから、その差異に応じた補正画像と、該補正画像のプロシージャ情報と、レイヤ位置情報とを検索する。補正画像とは、化粧層又は化粧種に応じて一つ決まる化粧の色や濃度を表すカラー画像であり、例えばシャドウやハイライト等の画像であり、ものによってはグラディエーション等の濃度分布が所定方向に施された画像である。プロシージャ情報とは、補正画像を施す領域を、差異に対応する領域に対する位置関係で指定する領域指定情報と、グラディエーション等の濃度分布がある画像の場合に濃度分布を付ける方向を指定する濃度指定情報等を含んでいる。位置指定情報は、補正画像を施す領域として、差異に対応する領域そのものを指定する場合もあれば、差異に対応する領域がユーザ１４の素顔上に存在しないときなど、差異に対応する領域に対する位置関係でユーザ１４の素顔領域内の特定領域を、補正画像を施す領域として指定する場合などがある。そして、第１画像処理部４６は、顔の輪郭抽出部４１が取得した補正画像を、プロシージャ情報で位置指定された領域に、指定のプロシージャで施すことにより、顔の輪郭補正画像のレイヤを生成するとともに、その顔の輪郭補正画像のレイヤをマッチング処理後の正味化粧画像７４に付加する顔の輪郭補正処理を行う。

例えば図６における上段に示すように、サンプル化粧顔の画像６４は、サンプル化粧顔の素顔の画像（すなわちサンプル化粧顔の化粧前の顔の画像）７２と、サンプル化粧顔の正味化粧画像７３とに分けることができる。好ましい実施形態では、図６に示すサンプル化粧顔の正味化粧画像７３は、同図においてその下側に示すように、複数枚のレイヤＬm1〜Ｌmnから構成されている。複数枚のレイヤＬm1〜Ｌmnは、例えばファンデーション、コンシーラ、チーク（頬紅）、口紅（リップ）、アイシャドウ、アイライン、マスカラ、アイブロウ等の化粧の種類や化粧の層別に分けられた画像である。そして、正味化粧画像７３をユーザ１４の顔の輪郭や顔サイズ等に合わせてマッチング処理して得られた正味化粧画像７４も、同様に複数枚のレイヤＬu1〜Ｌunから構成される（図７を参照）。また、顔の輪郭補正画像７９（図８を参照）も一枚ないし複数枚のレイヤからなる。

第１画像処理部４６は、補正画像とプロシージャ情報に従って生成した顔の輪郭補正画像７９のレイヤを、正味化粧画像７４を構成する複数枚のレイヤＬu1〜Ｌunの層間のうちレイヤ位置情報で指定された適切なレイヤ位置に挿入付加する処理を行う。正味化粧画像７４の各レイヤＬu１〜Ｌuｎは、化粧の種類別の所定の順番、かつ少なくとも複数の化粧層をなす部分については顔の地肌上に化粧の層を積み上げる順番に積層されており、レイヤの挿入位置は、顔の輪郭補正画像７９の化粧の種類及び層（例えばファンデーションやチークなど）に応じた層に対応するレイヤ位置に決まる。好ましい実施形態では、記憶部２４には、顔の輪郭に係る補正画像毎に、挿入すべきレイヤ位置を特定するレイヤ位置情報が対応付けられた状態で記憶されている。顔の輪郭抽出部４１は、顔の輪郭の差異に応じた顔の輪郭に係る補正画像及びプロシージャ情報を取得したときには、補正画像に対応するレイヤ位置情報を一緒に記憶部２４から読み出し、顔の輪郭に係る補正画像とプロシージャ情報とレイヤ位置情報とをセットで、第１画像処理部４６に送る。第１画像処理部４６は、補正画像をプロシージャ情報に従った位置領域に指定の方法で施すことにより生成した顔の輪郭補正画像７９のレイヤを、正味化粧画像７４を構成するレイヤＬu1〜Ｌunに対して、レイヤ位置情報で特定されたレイヤ位置に付加する。

このような顔の輪郭の差異を補う化粧を付加する補正を行う理由は、次のとおりである。顔の輪郭には、卵形、逆三角形、四角形、丸形、三角形などがある。例えばサンプルの輪郭が卵形であれば、それに施される化粧は卵形に合った化粧が施される。この卵形の顔と、卵形の顔に合った化粧との合成が、サンプル化粧顔である。例えば四角顔のユーザ１４の素顔画像にこの正味化粧画像を付与すれば、その正味化粧画像がたとえユーザ１４の四角顔に合わせてマッチング処理した後の正味化粧画像であっても、その手本化粧顔画像は、ユーザ１４の四角顔に原因して、サンプル化粧顔の画像６４よりもエラが張った印象を与える。このため、得られたユーザ１４の手本化粧顔画像はサンプル化粧顔の画像６４から大きくかけ離れた印象を与えてしまい、そのサンプル化粧顔の化粧を、ユーザ１４が自分の顔に施しても似合わない化粧ということになる。

好ましい実施形態では、顔の輪郭と化粧との合成が化粧顔を決めていることに鑑み、サンプル化粧顔の素顔画像とユーザ１４の素顔画像から特徴抽出して得たサンプルとユーザ１４との間の顔の輪郭との差異を抽出し、その差異を少なく見せるための化粧を表す化粧（補正画像）を、マッチング処理後の正味化粧画像７４に施す画像処理を行う。例えばサンプルの輪郭が「卵形」であり、ユーザ１４の顔の輪郭が「四角形」であるとすると、四角形の顔の輪郭を卵形の顔の輪郭に見せる化粧を、正味化粧画像７４に追加する顔の輪郭補正処理を施す。具体的には、ユーザ１４の四角形の顔の輪郭をサンプルの卵形の顔の輪郭に近づける化粧、例えば顎から両サイドに向かう部分の顔輪郭形状を角が取り除かれて丸みを帯びた形状に見せる化粧を付加して、ユーザ１４の四角形の顔の輪郭をサンプルの卵形の顔に近づける化粧を施した上で、サンプル化粧顔の正味化粧画像（但し、マッチング処理後の正味化粧画像７４）が施される。このため、ユーザ１４の手本化粧顔画像は、サンプル化粧顔の画像に近い印象を与える。

パーツ形状抽出部４２は、サンプル化粧顔の素顔画像とユーザ１４の素顔画像とからそれぞれのパーツ形状を特徴抽出するとともに、特徴抽出したサンプルのパーツ形状とユーザ１４のパーツ形状の差異を抽出する。そして、パーツ形状の差異を少なく見せるための化粧を表す画像（パーツ形状補正画像という）を生成するために用いられるパーツ形状に係る補正画像と、該補正画像のプロシージャ情報と、レイヤ位置情報とを、第４記憶部２５のパーツ形状補正用データベースから検索する。そして、第２画像処理部４７は、パーツ形状抽出部４２が取得した補正画像をプロシージャ情報に従って指定の位置領域に指定の方法で施すことによりパーツ形状補正画像のレイヤを生成し、生成したパーツ形状補正画像をマッチング処理後の正味化粧画像７４に付加するパーツ形状補正処理を行う。好ましい実施形態では、パーツとして、目、眉、鼻、口を採用している。すなわち、サンプル化粧顔の素顔とユーザ１４の素顔における目、眉、鼻、口などのパーツ形状の違いも、ユーザ１４の素顔画像に正味化粧画像７４を合成して得られる化粧顔の印象に大きく影響する。そこで、好ましい実施形態では、サンプルとユーザ１４との間のパーツ形状の差異を抽出し、その差異を少なく見せるための化粧を表す画像（パーツ形状補正画像）を、マッチング処理後の正味化粧画像７４に施すパーツ形状補正処理を行うことにより、パーツ形状の面から、ユーザ１４の手本化粧顔画像をサンプル化粧顔の印象に近づけるようにしている。

詳しくは、パーツが目である場合、サンプル化粧顔の素顔画像とユーザ１４の素顔画像の各々から、サンプルの目の形状とユーザ１４の目の形状とを抽出するとともに、特徴抽出したサンプルとユーザ１４との間の目の形状の差異を抽出する。そして、その目の形状の差異に基づいて第４記憶部２５のパーツ形状補正用データベースから、その目の形状の差異を少なく見せるための化粧を表す画像（補正画像）を生成するために用いられる補正画像と、該補正画像のプロシージャ情報と、レイヤ位置情報とを検索する。そして、その検索た補正画像をプロシージャデー情報に従って指定の位置領域に指定の方法で施すことにより目形状補正画像を生成し、その目形状補正画像を正味化粧画像７４に付加する。また、パーツが眉である場合、サンプルとユーザ１４の眉形状を抽出するとともに、特徴抽出したサンプルとユーザ１４との間の眉形状の差異を抽出する。そして、その差異に基づいて第４記憶部２５のパーツ形状補正用データベースから、その眉形状の差異を少なく見せるための化粧を表す画像（眉形状補正画像）を生成するために用いられる補正画像とプロシージャ情報とレイヤ位置情報とを検索し、その検索した補正画像をプロシージャ情報に従って指定の領域に指定の方法で施すことにより眉形状補正画像を生成し、その眉形状補正画像を正味化粧画像７４に付加する。パーツが鼻である場合、サンプルとユーザ１４の鼻形状を抽出するとともに、特徴抽出したサンプルとユーザ１４との間の鼻形状の差異を抽出する。そして、その差異に基づいて第４記憶部２５のパーツ形状補正用データベースから、その鼻形状の差異を少なく見せるようにする化粧の画像（鼻形状補正画像）を生成するために用いられる補正画像とプロシージャ情報とレイヤ位置情報とを検索し、その検索した補正画像をプロシージャ情報に従って指定の領域に指定の方法で施すことにより生成された鼻形状補正画像を正味化粧画像７４に付加する。また、パーツが口である場合、サンプルとユーザ１４の口形状を特徴抽出するとともに、特徴抽出したサンプルとユーザ１４との間の口形状の差異を抽出する。そして、口形状の差異に基づいて第４記憶部２５のパーツ形状補正用データベースから、その口形状の差異を少なく見せるための化粧を表す画像（口形状補正画像）を生成するために用いられる補正画像とプロシージャ情報とレイヤ位置情報とを検索し、その検索した補正画像をプロシージャ情報に従って指定の領域に指定の方法で施すことにより口形状補正画像を生成し、その口形状補正画像を正味化粧画像７４に付加する。

例えば、サンプルの目が目尻のやや上がった「つり目」であるのに対して、ユーザ１４の目が目尻のやや下がった「たれ目」である場合、サンプル化粧顔の正味化粧画像７３は、若干のつり目に適した化粧（例えば目尻を実際より若干下がったように見せる化粧）であるので、たとえマッチング処理後であってもその正味化粧画像７４をそのままユーザ１４に施すと、ユーザ１４のたれ目が一層強調されてしまう。そのため、ユーザ１４の手本化粧顔画像が、サンプル化粧顔とは大きくかけ離れた印象を与えてしまう。そこで、このパーツ形状補正処理では、マッチング処理後の正味化粧画像７４に、ユーザ１４のたれ目をサンプル化粧顔のつり目に近づける化粧の画像（つまり目尻を実際より上がったように見せる化粧の画像）を付加する補正を行う。このパーツの補正化粧によって、ユーザ１４の素顔画像上に補正後の正味化粧画像を合成して得られるユーザ１４の手本化粧顔画像の印象は、サンプル化粧顔の印象に近づく。

顔パーツレイアウト抽出部４３は、サンプル化粧顔の素顔画像とユーザ１４の素顔画像の各々から、パーツ位置とパーツ間隔とを表す顔パーツレイアウトを特徴抽出し、サンプルとユーザ１４との間の顔パーツレイアウトとの差異を算出する。顔パーツレイアウト抽出部４３は、その差異を少なく見せるための化粧を表す画像（顔パーツレイアウト補正画像という）を生成するために用いられる補正画像とプロシージャ情報とレイヤ位置情報とを、第４記憶部２５の顔パーツレイアウト補正用データベースから検索する。そして、第３画像処理部４８は、顔パーツレイアウト抽出部４３が取得した補正画像をプロシージャ情報に従って指定の領域に指定の方法で施すことにより顔パーツレイアウト補正画像生成し、その顔パーツレイアウト補正画像を、マッチング処理後の正味化粧画像７４に付加する顔パーツレイアウト補正処理を行う。サンプル化粧顔の素顔とユーザ１４の素顔において、顔全体における目、眉、鼻、口などのパーツのレイアウトから決まる顔パーツレイアウトの違いも、ユーザ１４の素顔画像に正味化粧画像を合成して得られる化粧顔の印象に大きく影響する。そこで、好ましい実施形態では、サンプルとユーザ１４との間の顔パーツレイアウトとの差異を抽出し、その差異を少なく見せるための化粧、すなわちユーザ１４の顔パーツレイアウトをサンプル化粧顔の顔パーツレイアウトに近づける化粧の画像（顔パーツレイアウト補正画像）を、正味化粧画像７４に付加する顔パーツレイアウト補正処理を行う。この顔パーツレイアウト補正処理により、顔パーツレイアウトの面から、ユーザ１４の手本化粧顔画像の印象をサンプル化粧顔の印象に近づけるようにしている。

顔パーツレイアウトとしては、サンプルとユーザ１４のそれぞれについて顔の横と縦の各々における顔パーツレイアウトを求める。横の顔パーツレイアウトは、例えば目の高さにおける顔幅を両目の位置で３分割した各領域幅の比率として求める。例えば顔の水平すなわち横において、顔幅に対してユーザ１４の両目の間隔がサンプルの両目の間隔に比べて広ければ、両目の間隔を狭く見せる化粧の画像（補正画像）を正味化粧画像７４に付加する。縦の顔パーツレイアウトは、例えば顔の縦において、頭髪の生え際から目までの間隔と、目から口の口角までの間隔と、口角から顎の先端までの間隔との比率として求める。縦方向の顔パーツレイアウトを、サンプルとユーザ１４とで比較し、ユーザ１４の顔パーツレイアウトがサンプル化粧顔の顔パーツレイアウトに近づいて見えるようにする化粧の画像（補正画像）を、マッチング処理後の正味化粧画像７４に付加する画像処理を行う。例えばユーザ１４の頭髪の生え際と目の間隔がサンプルのそれより広ければ、頭髪の生え際と目の間隔が狭く見えるようにする化粧の画像（補正画像）を、正味化粧画像７４に付加することにより、顔パーツレイアウトの印象をサンプル化粧顔のそれに近づける。

顔の輪郭とパーツ形状の抽出処理には、２次元の画像を用いてもよいが、３次元の画像を用いるのが好ましい。例えばいくつかの異なる角度から顔を撮影して得られた複数の画像を用いて、顔の輪郭とパーツ形状の３次元画像を作成することができる。３次元画像から、例えば鼻の高さがサンプルの鼻より低いというような、ユーザ１４とサンプルとの間の顔の立体的な違いを検出することができるそして、例えば鼻を高く見せる化粧の画像（補正画像）を、正味化粧画像７４に付加する。ユーザ１４の頬骨がサンプルのものより出ていれば、頬骨の出っ張りを抑える化粧の画像を、正味化粧画像７４に付加する。好ましい実施形態では、化粧以外に、ヘアスタイルのアドバイスも行う。例えばユーザの額がサンプルに比べて広い場合、前髪を降ろすように勧め、また髪のボリュームが少ない場合はつけ毛等を勧め、サンプル化粧顔の印象に似せる工夫を化粧以外でもアドバイスする。小物や服の色をアドバイスして、ユーザの顔の印象がサンプル化粧顔に近づく変化を与える小物、顔色が引き立つ服の色、小顔に見える服装や服の模様などをアドバイスする。

画像合成手段としての合成処理部３４は、正味化粧画像７４を補正して補正後正味化粧画像１００（図７（ｃ）を参照）を生成し、その補正後正味化粧画像１００をユーザ１４の素顔画像へ合成する。すなわち、ユーザ１４の素顔画像を記憶部３６から読み出すとともに、記憶部３７から補正後正味化粧画像１００を読み出して、素顔画像の上に補正後正味化粧画像１００を重ねる合成処理を行ってユーザ１４の手本化粧顔画像を生成する。

化粧支援装置３０は、合成処理部３４で生成したユーザ１４の手本化粧顔画像を見てユーザ１４が自分の素顔に化粧を施すときに参照される化粧手順レシピ（本例では文書）を作成する。そして、手本化粧顔画像の化粧に到達するまでの複数の化粧ステップにおいて、各化粧ステップで目標とする化粧途中顔画像と、その化粧途中顔に仕上げるための化粧方法の説明文とを含む画面（図１３，図１５を参照）をクライアント端末１２に表示する。

化粧手順作成手段としての手順補正部３５は、第６記憶部２７のサンプル化粧手順データベースから、選択されたサンプル化粧顔に対応する化粧手順レシピを読み出し、そのレシピの文書を、正味化粧画像７４に付した補正画像に応じて修正することにより、ユーザ１４の手本化粧顔画像に合った化粧手順文書を作成する。

手順補正部３５は、正味化粧画像７４に加えられた補正の種類（顔の輪郭、パーツ形状、顔パーツレイアウト）に応じて化粧手順レシピを補正する顔の輪郭手順補正部５１、パーツ形状手順補正部５２及び顔パーツレイアウト手順補正部５３を備えている。差異抽出部４０で抽出された補正画像（顔の輪郭補正画像、パーツ形状補正画像、顔パーツレイアウト補正画像）には、識別子（顔の輪郭画像識別子、パーツ形状画像識別子、顔パーツレイアウト画像識別子）が付されている。手順補正部３５は、正味化粧画像７４に加えられた補正画像の識別子を差異抽出部４０から取得する。

顔の輪郭手順補正部５１は顔の輪郭画像識別子を基に、第７記憶部２８の手順補正用データベースを検索して、顔の輪郭画像識別子に応じた顔の輪郭補正用文書を取得する。この顔の輪郭補正用文書は、その識別子が付された顔の輪郭補正画像を正味化粧画像７４に付加したために必要になった化粧手順レシピの修正内容を示す。パーツ形状手順補正部５２はパーツ形状画像識別子を基に、第７記憶部２８の手順補正用データベースを検索して、パーツ形状画像識別子に応じたパーツ形状補正用文書を取得する。このパーツ形状補正用文書は、その識別子が付されたパーツ形状補正画像を正味化粧画像７４に付加したために必要になった化粧手順レシピの修正内容を示す。顔パーツレイアウト手順補正部５３は顔パーツレイアウト画像識別子を基に、第７記憶部２８の手順補正用データベースを検索して、顔パーツレイアウト画像識別子に応じた顔パーツレイアウト補正用文書を取得する。この顔パーツレイアウト補正用文書は、その識別子が付された顔パーツレイアウト補正画像を正味化粧画像７４に付加したために必要になった化粧手順レシピの修正内容を示す。手順補正部３５は、手順補正処理を行うときには、まずサンプル化粧顔に対応する化粧手順レシピを第６記憶部２７から読み出し、記憶部３８に格納する。そして、記憶部３８に一時記憶したサンプル化粧手順レシピ（第１化粧手順レシピ）の一部又は全部を、第７記憶部２８のデータベースを検索して取得した補正用文書で置き換えたり、サンプル化粧手順レシピに補正用文書を追加して、ユーザ１４用の化粧手順レシピ（第２化粧手順レシピ）を作成する。

図１４（ａ）は、第６記憶部２７に記憶されたサンプル化粧手順レシピを示す。この例では化粧手順レシピは、「ステップ１」〜「ステップｎ」までのｎ個のレシピＤ１〜Ｄｎからなる。各化粧手順レシピは、各ステップで目標とすべき化粧途中顔を完成させるために使用された化粧品や化粧道具を使った化粧の手順を説明する文章を含む。各化粧手順レシピＤ１〜Ｄｎには、顔の輪郭に影響を与える化粧を説明する文章部分（顔の輪郭関連文書）と、目、眉、鼻、口などのパーツの形状に影響を与える化粧を説明する文章部分（パーツ形状関連文書）と、顔パーツレイアウトに影響を与える化粧を説明する文章部分（顔パーツレイアウト関連文書）とが含まれる。これらの各文章部分は、一つのステップの文章のみに含まれる場合もあれば、いくつかのステップの文書に渡って複数含まれる場合もある。

好ましい実施形態では、化粧指示Ｄ１〜Ｄｎは、サンプル化粧顔の素顔からサンプル化粧顔に至るまでの化粧手順を複数のステップに分け、ステップごとに化粧方法を説明する文書からなる。図１４（ａ）に示すように、各化粧指示Ｄ１〜Ｄｎの文書内における所定の文書エリア５５又は位置には、アドレス５６が付されている。アドレス５６で特定される文書エリア５５は、補正画像に対応する補正文書の置き換え先の候補であり、アドレス５６で特定される位置は、補正画像に対応する補正文書の追加挿入先の候補である。図１４の例では、アドレス５６は５ビットの２値データで表されているが、適宜なビット数を採用できる。

第７記憶部２８の所定記憶領域には、補正画像の識別子とアドレス５６とを関連付けるリンクテーブルが記憶されている。補正画像の識別子を基にリンクテーブルを参照すると、その識別子に対応するアドレス５６を取得できる。すなわち、顔の輪郭画像識別子は、その識別子を基に検索された顔の輪郭に影響を与える補正文書を、置き換えるべき文書エリア５５を特定するアドレス５６又は追加挿入すべき位置を特定するアドレス５６とリンクされている。目形状画像識別子は、その識別子を基に検索された目の形状に影響を与える補正文書を、置き換えるべき文書エリア５５を特定するアドレス５６又は追加挿入すべき位置を特定するアドレス５６とリンクされている。以下、同様に、鼻形状画像識別子は、その識別子を基に検索された鼻形状に影響を与える補正文書の置き換え先の文書エリア５５又は追加挿入先の位置を特定するアドレス５６と、口形状画像識別子は、その識別子を基に検索された口形状に影響を与える補正文章の置き換え先の文書エリア５５又は追加挿入先の位置を特定するアドレス５６とそれぞれリンクされている。顔パーツレイアウト画像識別子は、その識別子を基に検索された顔パーツレイアウトに影響を与える補正文章の置き換え先の文書エリア５５又は追加挿入先の位置を特定するアドレス５６とリンクされている。

手順補正部３５は、補正画像の識別子を基にリンクテーブルを参照して取得したアドレス５６が文書エリア５５を特定するものである場合は、その識別子を基に第７記憶部２８の手順補正用データベースから検索した補正文書をそのアドレス５６の文書エリア５５の文書と置き換え、アドレス５６が位置を特定するものである場合は、識別子に応じた補正文書をそのアドレス５６で特定された位置に追加挿入する。詳しくは、顔の輪郭手順補正部５１は、顔の輪郭画像識別子を基にリンクを参照してアドレス５６を取得し、その取得されたアドレス５６で特定される文書エリア５５の文書と補正文書を置き換えたり、そのアドレス５６で特定される位置に補正文書を追加挿入したりする。パーツ形状手順補正部５２は、パーツ形状画像識別子を基にリンクを参照してアドレス５６を取得し、その取得されたアドレス５６で特定される文書エリア５５の文書と補正文書を置き換えたり、そのアドレス５６で特定される位置に補正文書を追加挿入したりする。顔パーツレイアウト手順補正部５３は、顔パーツレイアウト画像識別子を基にリンクを参照してアドレス５６を取得し、その取得されたアドレス５６で特定される文書エリア５５の文書と補正文書を置き換えたり、そのアドレス５６で特定される位置に補正文書を追加挿入したりする。

形状に関連する補正文書は、形状に影響を与える化粧をする場合にどの部位にシャドウやハイライトを入れるか、また必要に応じてその面積や形状、濃度はどのくらいがよいかを補正する内容になっている。例えばひな形となるサンプル化粧顔用の化粧手順レシピに、「○○色のファンデーションを塗ってください。」という文書が含まれ、この文章の文書エリア５５のアドレス５６が顔の輪郭補正画像の識別子とリンクされているとする。そして、顔の輪郭手順補正部５１が差異抽出部４０から取得したその識別子を基に手順補正用データベースにアクセスして、例えば「顎からサイドにかけてシャドウを入れるように化粧下地より少し濃いトーンの○○色のファンデーションを塗ってください。」という補正文書を取得するとともに、その識別子からリンクテーブルを参照してアドレス５６を取得する。すると、顔の輪郭手順補正部５１は、その補正文書を、そのアドレス５６で特定される文書エリア５５の文書、すなわち「○○色のファンデーションを塗ってください。」と置き換える。同様にパーツ形状と顔パーツレイアウトについても補正文書による化粧手順レシピの補正が行われる。

例えば顔の輪郭と顔パーツレイアウトに係るそれぞれの補正画像が、同じファンデーションに係るものである場合、それぞれの識別子が異なっても、共にファンデーションの塗り方に係る文書エリア５５又は位置を特定する同一のアドレス５６が取得されることになる。手順補正部３５は、識別子を基にリンクテーブルを参照して取得されたアドレス５６が異なる識別子間で同じになる場合は、予め決められたルールに従って一方の補正文書を優先して用いたり、補正文書中の特定エリアの文書内容を解析して、その解析結果に基づき両補正文書を組み合わせる処理を行ったりする。

このように手順補正部３５により、ひな形文書すなわちサンプル化粧顔用の化粧手順レシピの説明文書に補正が加えられることで、ユーザ１４が化粧顔画像を手本として化粧を行うときの化粧手順レシピの説明文書が作成される。そして、図１４（ａ）に示すサンプル化粧顔用の化粧手順レシピＤ１〜Ｄｎが、上記の補正により、図１４（ｂ）に示すように、補正文書５８が置き換え又は追加挿入されたユーザ１４用の化粧手順レシピＸ１〜Ｘｎが作成される。

化粧手順レシピの説明が、文章以外に、音声又は画像を含む場合、補正用として、例えば音声中の顔の輪郭に影響を与える部分の説明部分のアドレスが、顔の輪郭補正画像の識別子とリンクされていたり、画像中の顔の輪郭に影響を与える部分の説明画像部分のアドレスが顔の輪郭補正画像の識別子にリンクされたりすればよい。こうすれば、化粧手順レシピが音声や画像であっても、サンプル化粧顔用の化粧手順レシピを補正してユーザ１４用にカスタマイズされた化粧手順レシピを作成することはできる。

次にサーバ２０のＣＰＵが化粧支援処理プログラムを実行することで、化粧支援装置３０において行われる化粧顔画像生成処理及び化粧アドバイス処理について、図３に示すフローチャートに従って説明する。ＣＰＵはまず化粧顔画像生成プログラムを実行する。

まず、ユーザ１４は、化粧アドバイスシステム１０を利用する場合、ユーザ登録をし、ＩＤとパスワードを取得しておき、クライアント端末１２の表示部１２ｂに表示された初期画面（図示せず）から、入力部１２ａの操作によりＩＤとパスワードを入力してサーバ２０にアクセスする。サーバ２０のＣＰＵは、クライアント端末１２からのアクセスがあると、化粧支援のメイン画面をクライアント端末１２の表示部１２ｂに表示させる。このメイン画面で、化粧支援を受けることを選択すると、ユーザ１４の素顔の画像を取得するための画像登録ボタンを有する画面が表示される。

ステップＳ１において、ユーザ１４の顔画像を取り込む処理を行う。ユーザ１４は、クライアント端末１２に付属のカメラ１６により自分の素顔（化粧が多少施されていてもよい）の写真を撮影してクライアント端末１２のメモリにその素顔画像を格納しておくか、デジタルカメラで撮影した自分の素顔の顔画像をクライアント端末１２のメモリに予め格納させておく。ユーザ１４は、入力部１２ａを操作して画像登録ボタンを操作すると、画面に画像格納先フォルダ及び画像ファイルを順次指定可能な入力欄が表示されるので、その入力欄にユーザ１４の素顔画像の格納アドレス（例えばパス）を指定した後、登録実行ボタン（図示せず）を操作する。こうしてクライアント端末１２のメモリに格納されている自分の素顔画像の格納アドレス（パス）が指定される。画像登録ボタンを操作すると、カメラ１６による撮影を行う撮影画面が表示され、その撮影画面で入力部１２ａを操作すると、カメラ１６による撮影が行われ、その撮影された素顔画像が、クライアント端末１２に搭載されたプロセッサが管理する所定のフォルダに格納される構成でもよい。

ユーザ１４がクライアント端末１２の入力部１２ａを操作してユーザ１４の素顔画像（顔画像）の登録実行ボタンを操作すると、その操作に基づくアクセス要求を受け付けたサーバ２０は、サンプル化粧顔選択画面用の画像データを含むウェブデータをクライアント端末１２に送信し、クライアント端末１２の表示部１２ｂに図４に示すウェブ画面６０を表示させる。このウェブ画面６０はコンテンツエリアにサンプル化粧顔選択画面６１を含み、このサンプル化粧顔選択画面６１には、複数のサンプル化粧顔の画像が例えばマトリクス状に配列された一覧表示領域６２と、ＯＫボタン６３とが含まれている。

次のステップＳ２では、サンプル化粧顔の選択を行う。すなわち、ユーザ１４は、入力部１２ａを操作して、一覧表示領域６２の中から好みのサンプル化粧顔を選択した後、ＯＫボタン６３を操作する。図４の例では、一覧表示領域６２内における上段左から３番目のサンプル化粧顔の画像６４が選択されている。この選択状態でＯＫボタン６３が操作されると、その操作に基づくアクセス要求を受け付けたサーバ２０は、サンプル化粧顔の画像６４に対応する化粧前のサンプル化粧顔の素顔画像を第２記憶部２３から読み出して選択画面用の画像データを含むウェブデータを作成するとともに、そのウェブデータをクライアント端末１２に送信する。その結果、クライアント端末１２の表示部１２ｂに図５に示すウェブ画面６５が表示される。このウェブ画面６５はコンテンツエリアに選択画面６６を含み、この選択画面６６には、ユーザ１４の素顔画像７１が表示される第１表示領域６７と、サンプル化粧顔の素顔画像７２が表示される第２表示領域６８と、化粧補正処理を行うか否かの選択や化粧補正処理を行う場合に化粧補正の対象を選択可能な項目選択を行うための項目選択領域６９と、実行ボタン７０等が含まれている。クライアント端末１２はサンプル化粧顔選択画面６１でＯＫボタン６３が操作されたときに実行されるプログラムを、それ以前のウェブデータと共に受信しており、ＯＫボタン６３が操作されるとそのプログラムを実行することで、ユーザ１４自身の素顔画像を先に指定されたパスから読み出して、選択画面６６における第１表示領域６７にユーザ１４の素顔画像７１を表示する。もちろん、ＯＫボタン６３の操作に基づきユーザ１４の素顔画像を指定のパスから読み出してサーバ２０に送信し、サーバ２０がユーザ１４の素顔画像とサンプル化粧顔の素顔画像の両方を含むウェブデータを作成して、それをクライアント端末１２に送信する構成も採用できる。

ステップＳ３では、項目選択を行う。すなわち、ユーザ１４は入力部１２ａを操作して、図５に示す選択画面６６において項目選択領域６９の項目の中から所望の項目を選択する。ユーザ１４は、選択画面６６における項目選択領域６９に用意された項目、すなわち「顔の輪郭」、パーツ形状である「眉形状」、「目形状」、「鼻形状」、「口形状」、「顔パーツレイアウト」、「すべて選択」のうちから、所望の項目を少なくとも一つ選択できる。本例では、「すべて選択」が選択されたものとして説明を進める。項目の選択後、ユーザ１４は入力部１２ａを操作して化粧顔作成処理を実行させるべく実行ボタン７０を操作する。すると、サンプル化粧顔の正味化粧画像７３をユーザ１４の顔の輪郭等に合わせてユーザ１４の顔画像に合成等するステップＳ４以降の処理が進められる。入力部１２ａの操作により入力された項目選択領域６９の選択情報を受け付けて選択情報に応じた内容の化粧補正処理を指示する制御部３１は選択手段を構成する。

ステップＳ４では、サンプル化粧顔の正味化粧画像７３をユーザ１４の顔に合わせるマッチング処理を行う。サンプルとユーザ１４では、顔サイズ（画像サイズに起因するものも含む）や顔の輪郭、パーツ形状、顔パーツレイアウト（パーツ配置）などの違いがあるので、サンプル化粧顔の正味化粧画像７３をユーザ１４の顔サイズや顔の輪郭、パーツ形状、顔パーツレイアウトに合わせるようにマッチング処理し、ユーザ１４の顔に合った正味化粧画像７４（図７を参照）を取得する。

図７（ａ）は、ユーザ１４の素顔画像７１と、サンプル化粧顔の素顔画像７２とを模式的に示したものである。まず両素顔画像７１，７２に対して両目を特徴抽出する。次に両目の中心点（座標）を求め、サンプル化粧顔の素顔の両目の中心点がユーザ１４の両目の中心点に一致するように、サンプル化粧顔の正味化粧画像７３を伸縮処理させて、正味化粧画像７３をユーザ１４の顔サイズに合わせる。両素顔画像７１，７２から、顔輪郭と口と鼻をそれぞれ特徴抽出し、両目の位置は一致させたままで顔の輪郭と口と鼻の各位置（例えば図７（ａ）の各素顔画像７１，７２中の各ドット）が、所定の許容範囲内で一致するように、正味化粧画像７３をユーザ１４の顔に合わせる。以上のマッチング処理を行う。

こうして正味化粧画像７３がユーザ１４の顔サイズ、顔の輪郭、パーツレイアウト等に合うようにマッチング処理された正味化粧画像７４を取得する。マッチング処理後の正味化粧画像７４は、図７（ｂ）に示すように、ユーザ１４の顔サイズ、顔の輪郭（顔輪郭）、目、眉、鼻、口の位置に合うように正味化粧画像７３を変形処理したものなので、この正味化粧画像７４をユーザ１４の素顔画像７１上に合成すれば、正味化粧画像７４の化粧はユーザ１４の素顔上に位置ずれなく正しく施される。正味化粧画像７４は、ユーザ１４の素顔画像７１に対して、例えば口紅は唇に、チークは頬に、アイシャドウは瞼に、アイブロウは眉に正確に施すことが可能な形態に処理されている。この正味化粧画像７４は、図６に示す正味化粧画像７３を構成するレイヤＬm1〜Ｌmnにマッチング処理を施したものであるので、正味化粧画像７３のレイヤと同枚数からなる図７（ｃ）に示す複数枚のレイヤＬu1〜Ｌunから構成される。各レイヤＬu1〜Ｌunは、マッチング処理前の図６に示す各レイヤＬm1〜Ｌmnとそれぞれ対応している。上記のマッチング処理において、両目の中心点のみを採用したり、両目の中心点及び顔輪郭のみを採用したりする構成でもよい。マッチング処理で位置合わせのために使用される点（図７の素顔画像７１，７２中のドット）の位置や数も適宜設定することができる。

マッチング処理後の正味化粧画像７４は、サンプル化粧顔の素顔とユーザ１４の素顔の間で、顔の輪郭、パーツ形状（目、眉、鼻、口の形状）、顔パーツレイアウトが異なることを無視したものとなっている。そのため、正味化粧画像７４をそのままユーザ１４の素顔画像７１に合成しても、合成して得られたユーザの化粧顔は、サンプル化粧顔と随分印象の異なるものとなってしまう。これを防ぐために、好ましい実施形態では、サンプル化粧顔の素顔とユーザの素顔の間で、顔の輪郭、パーツ形状、顔パーツレイアウトに差異があることを考慮して、正味化粧画像７４にその差異を補う化粧（補正画像）を加える補正を施す。

ステップＳ５では、顔の輪郭補正ありか否かを判断する。顔の輪郭補正ありと判断すればステップＳ６へ進み、顔の輪郭補正ありと判断されなければステップＳ７進む。図７で実行ボタン７０が操作されたときに、選択画面６６の項目選択領域６９での選択情報がサーバ２０に送信されており、メモリに一時記憶した選択情報に基づいて顔の輪郭が選択されているか否かを判断する。そして、顔の輪郭が選択されている場合は顔の輪郭補正ありと判断し、顔の輪郭が選択されていない場合は顔の輪郭補正なしと判断する。項目選択で「すべて選択」が選択されている例を説明しているので、ステップＳ６に進むことになる。

ステップＳ６では、まず顔の輪郭補正処理を行う。すなわち、サンプル化粧顔の素顔画像とユーザ１４の素顔画像とから顔の輪郭を特徴抽出し、サンプルとユーザ１４との間の顔の輪郭との差異を抽出し、その差異を少なくしてユーザ１４の顔の輪郭がサンプル化粧顔の輪郭に近づいて見えるようにする化粧の画像（顔の輪郭補正画像）を、マッチング処理後の正味化粧画像７４に付加する画像処理を行う。図５，図７（ａ）に示すように、本例では、サンプル化粧顔の輪郭が「卵形」であるのに対して、ユーザ１４の顔の輪郭が「四角形」であるので、「四角形」を「卵形」の顔の輪郭に見せる化粧を、ユーザ１４の正味化粧画像７４に追加する顔の輪郭補正処理を施す。この顔の輪郭補正処理は、顔の輪郭抽出部４１と第１画像処理部４６との協働により行われる。詳細には、記憶部２３，３６からそれぞれサンプル化粧顔の素顔画像とユーザ１４の素顔画像を読み出し、必要に応じて顔サイズを揃える処理をした後の両素顔画像からそれぞれの顔の輪郭を特徴抽出し、サンプルとユーザ１４との間の顔の輪郭の差異を抽出する。この結果、図８に示すようなユーザ１４の顔の輪郭７５と、サンプルの顔の輪郭７６とを取得する。図８には、輪郭７５，７６に加え、目、鼻、口が示されているが、実際には目、鼻、口は示されない。

次に、得られた顔の輪郭７５，７６の差異をとる処理を行い、サンプルの輪郭７６に対してユーザ１４の輪郭７５がはみ出した部分又は内側へ窪んでいる部分を顔の輪郭の差異として取得する。例えばサンプルの輪郭が「卵形」であり、ユーザ１４の輪郭が「四角顔」である場合、図８に示すように、サンプルの輪郭７６に対してユーザ１４の輪郭７５がはみ出している顔のエラの部分の領域がプラスの差異７７として得られる。一方、図８に示すように、ユーザ１４の輪郭７５に対してサンプル化粧顔の輪郭７６がはみ出している顔の顎の部分の領域がマイナスの差異７８として得られる。プラスの差異７７である場合は、その差異７７の領域の位置（例えばエラと額の両端）と、その差異の正負の符号である正値とを基に第３記憶部２４の顔の輪郭データベースにアクセスして、例えば「エラ，プラス」という検索情報に対応する補正画像とその補正用画像のプロシージャ情報とレイヤ位置情報とを取得する。そして、その補正画像とプロシージャ情報とレイヤ位置情報とを第１画像処理部４６に送る。一方、マイナスの差異７８である場合は、その差異７８の領域の属する位置（部位）（例えば顎）とその差異の正負の符号である負値とを基に第３記憶部２４の顔の輪郭データベースにアクセスして、例えば「顎，マイナス」という検索情報に対応する補正画像とその補正用画像のプロシージャ情報とレイヤ位置情報とを取得する。そして、その補正画像とプロシージャ情報とレイヤ位置情報とを第１画像処理部４６に送る。

第１画像処理部４６は、差異７７、７８に対応する各領域にそれぞれに対応する補正画像をそれぞれのプロシージャ情報で指定された条件で施し、図８に示す顔の輪郭補正画像７９を生成する。差異７７に対応する補正画像は、例えばグラディエーションが施されたシャドウ画像（カラー画像）であり、プロシージャ情報は、差異７７の領域に輪郭寄り側ほど濃くなる所定濃度分布でそのシャドウ画像を施すというプロシージャの条件を示す情報である。一方、差異７８に対応する補正画像は、例えばグラディエーションが施されたハイライト画像（カラー画像）であり、プロシージャ情報は、差異７８の領域に隣接するユーザ１４の顎領域に、指定方向に濃度分布がでるようにそのハイライト画像を施すというプロシージャの条件を示す情報である。第１画像処理部４６は、プロシージャ情報に従って、差異７７，７８の領域に対応する指定の領域にシャドウ８０あるいはハイライト８１を、それぞれ濃度分布が指定方向となるように施すことにより補正画像として、シャドウ８０のレイヤとハイライト８１のレイヤとを生成する。本例では、第１画像処理部４６は、差異７７に対応する両側のエラ領域及び額の両端領域に、輪郭寄り（外側）から内側へ向かって濃度が徐々に薄くなる濃度分布で施されたシャドウ８０のレイヤＬ１を生成する。また、第１画像処理部４６は、差異７８の領域に対してユーザ１４の顔領域側に隣接する顎領域に指定方向の濃度分布で施されたハイライト８１のレイヤＬ２（いずれも図７（ｃ）を参照）を生成する。顔の輪郭補正画像７９は、シャドウ８０のレイヤＬ１と、ハイライト８１のレイヤＬ２との２枚のレイヤで構成される。そして、記憶部３７から読み出した正味化粧画像７４を構成するレイヤＬu1〜Ｌunの層間のうちその補正画像に応じたレイヤ位置情報から定まるレイヤ挿入位置に顔の輪郭補正画像７９の各レイヤＬ１，Ｌ２をそれぞれ追加する処理を行う。そして、各レイヤＬ１，Ｌ２を追加した正味化粧画像を記憶部３７に記憶する。本例では、ユーザ１４の顔の輪郭をサンプルの輪郭に近づけるために付加される顔の輪郭補正画像７９を構成するシャドウ８０のレイヤＬ１とハイライト８１のレイヤＬ２は、例えばファンデーション又はコンシーラの補正画像であり、ファンデーション又はコンシーラに相当する化粧層のレイヤ位置に追加される。図８における顔の輪郭補正画像７９では、シャドウ８０とハイライト８１における濃度分布の表現は省略している。

ステップＳ７では、パーツ形状補正ありか否かを判断する。パーツ形状補正ありと判断すればステップＳ８へ進み、パーツ形状補正ありと判断されなければステップＳ９へ進む。つまり、メモリに一時記憶した選択情報に基づいてパーツ形状（目、眉、鼻、口）のうち一つでも選択されているか否かを判断し、一つでも選択されている場合はパーツ形状補正ありと判断し、一つも選択されていない場合はパーツ形状補正なしと判断する。項目選択で「すべて選択」が選択されている場合を説明しているので、ステップＳ８に進むことになる。

次のステップＳ８では、パーツ形状補正処理を行う。すなわち、サンプルの素顔画像とユーザ１４の素顔画像とからそれぞれパーツ形状を特徴抽出し、サンプルとユーザ１４との間のパーツ形状の差異を抽出し、その差異を少なくしてユーザ１４のパーツ形状をサンプルのパーツ形状に近づいて見せるようにする化粧（補正画像）を、マッチング処理後の正味化粧画像７４に施すパーツ形状補正処理を行う。このパーツ形状補正処理は、パーツ形状抽出部４２と第２画像処理部４７との協働により行われる。詳細には、先に記憶部２３，３６からそれぞれ読み出されて顔サイズが揃えられたサンプル化粧顔の素顔とユーザ１４の素顔の画像から、補正対象として選択されたパーツ（目、眉、鼻、口のうち選択された少なくとも一つ）を特徴抽出して、ユーザ１４とサンプルの各パーツの形状を取得する。そして、特定のパーツについては、更にパーツ形状からパーツの角度（例えば目の傾き）を求めたり、パーツの濃度（濃度分布）（例えば眉の濃度、唇の濃度）やパーツの周囲の高濃度ライン（一重瞼、二重瞼、皺など）などを求めたりする。

次に、得られたユーザ１４とサンプルのパーツ形状を用いて同じパーツ同士でパーツ形状の差異をとる処理を行う。例えばサンプルのパーツに対してユーザ１４のパーツがはみ出た部分又は凹んだ部分をパーツ形状の差異として取得する。

図９は、パーツとして目が選択されているときに、ユーザ１４とサンプルの目の形状の差異を補う化粧（補正画像）を正味化粧画像７４に付加する場合を説明するものである。以下、図９を用いて、目の形状補正処理について説明する。図９に示すように、本例では、サンプルが若干「つり目」であるのに対して、ユーザ１４が「たれ目」であるとする。

記憶部２３，３６からそれぞれ読み出したサンプル化粧顔の素顔画像とユーザ１４の素顔画像を、必要に応じて顔サイズを揃えた後、ユーザ１４の素顔画像とサンプル化粧顔の素顔画像からそれぞれの目を特徴抽出する。図９における上段は、特徴抽出されたユーザ１４の目８３とサンプルの目８４を示す。この目の形状の抽出によって、目の形状及び大きさを把握できる。目の形状に関する抽出情報を基に目の角度（つり目、たれ目等）を求めたり、目の周囲の高濃度ライン（一重瞼や二重瞼等）などを求めたりすることもできる。

目の差異を求める際は、目の中心点（瞳の中心点）を一致させるようにユーザ１４の目８３とサンプルの目８４を重ね合わせる。ユーザ１４の目８３はサンプルの目８４に対して下側で目頭側（図９における右側）ほど内側へのシフト量が大きく、この内側へシフトした部分でマイナスの差異８５が得られ、一方、目の上側では目尻側（図９における左側）ほど内側へシフトしており、この内側へシフトした部分でマイナスの差異８５が得られる。また、ユーザ１４の目８３がサンプルの目８４よりも細い場合は、ユーザ１４の目の周囲に目の上側か下側のうち少なくとも一方にマイナスの差異８５が生じる。目の下側において差異がマイナスになる領域が目尻側で狭く目頭側で広い、かつ目の上側において差異がマイナスになる領域が目尻側で広く目頭側で狭いと、ユーザ１４がサンプルに比べ「たれ目」であると判定する。この場合、目の目頭側と目尻側とで内側へのシフト量の違いが大きいほどたれ目の度合が大きいことになる。本例では、目の傾き度合いは９段階で表される。目の傾き度合いの内訳は、例えばたれ目の度合は４段階で表され、標準傾き（略水平）は１段階で表され、つり目の度合は４段階で表される。たれ目とその度合を検索条件として第４記憶部２５のパーツ形状データベースにアクセスして、その検索条件に応じたパーツ形状補正画像を取得する。この場合、パーツ形状補正画像８７を構成する一レイヤとして、目尻上側の領域に追加されるアイシャドウ８８の補正画像が得られる。

目が一重瞼か二重瞼かも特徴抽出され得る。ユーザ１４の目８３が一重瞼であり、サンプルの目８４が二重瞼である場合、二重部分のラインが差異８６として得られる。サンプルの二重瞼に対してユーザ１４が一重瞼であって、ユーザ１４が一重分不足するので、「マイナス一重」と評価し、これを検索条件とする。サンプルが一重瞼でユーザ１４が二重瞼である場合は、「プラス一重」となる。標準設定では二重を一重にする補正は行わないが、二重を一重にする補正を行ってもよい。マイナス一重を検索条件として第４記憶部２５のパーツ形状データベースにアクセスして、その検索条件に応じた補正画像を取得する。この場合、パーツ形状補正画像８７を構成する一レイヤとして、目の上側に追加して二重瞼とするためのライン８９の補正画像が得られる。このように図９におけるパーツ形状補正画像８７は、アイシャドウレイヤと二重瞼レイヤとを合わせた画像となっており、例えば図７におけるレイヤＬ３，Ｌ４からなる。

図１０は、パーツとして口が選択されているときに、ユーザ１４とサンプルとの間の口の形状の差異を少なく見せる化粧（補正画像）を正味化粧画像７４に施す場合を説明するものである。以下、図１０を用いて、口の形状補正処理について説明する。記憶部２３，３６からそれぞれ読み出したサンプル化粧顔の素顔画像とユーザ１４の素顔画像に対し、必要に応じて顔サイズを揃え、ユーザ１４の素顔画像とサンプルの素顔画像の各々から口を特徴抽出する。図１０における上段は、ユーザ１４の口９１とサンプルの口９２を示す。この特徴抽出によって、口の形状及び大きさを把握できる。図１０に示すように、本例では、ユーザ１４の口９１は唇が若干薄くかつ水平方向の幅が広めであり、サンプルの口９２は唇が若干厚くかつ水平方向の幅が狭めである。

図１０における下段中央に示すように、両口９１，９２を重ねて、両者の差異を抽出すると、サンプル化粧顔の口９２に対してユーザ１４の口９１が上側で若干、下側でかなりの量、内側へシフトしたマイナスの差異９３が得られる。また、口９１の左端と右端でユーザ１４の口９１がサンプルの口９２に対してはみ出たプラスの差異９４が得られる。口の周囲に沿って複数の領域が設定され、図１０の例では、口の上側に設定されている例えば７領域のうち中央部寄りの３領域と、口の下側に設定されている例えば７領域のうち中央部寄りの５領域と、左側の領域と、右側の領域との各領域位置の情報と、プラスまたはマイナスとを検索条件として取得する。そして、第４記憶部２５のパーツ形状データベースにアクセスして、その検索条件に応じた補正画像を取得する。この場合、図１０における下段右側に示すように、ユーザ１４の口の上側と下側の領域位置の情報とマイナスの情報とに基づき、ユーザ１４の唇の上側中央部と下側中央部に追加される口紅９６の補正画像（レイヤ）が得られ、ユーザ１４の口の左側と右側の領域位置の情報とプラスの情報とに基づき、ユーザ１４の唇の左端と右端に口紅を消去する画像９７の補正画像（レイヤ）が得られる。図１０に示す補正画像９５は、口紅９６のレイヤと、口紅を消去する画像９７のレイヤとから構成される。

そして、それら補正画像を第２画像処理部４７に送る。第２画像処理部４７は、正味化粧画像７４を構成するレイヤＬu1〜Ｌunの層間のうちその補正画像に応じた化粧層に応じたレイヤ挿入位置を把握し、その把握したレイヤ挿入位置にパーツ形状補正画像８７の各レイヤＬ３，Ｌ４等をそれぞれ追加する処理を行う。そして、処理後の正味化粧画像を記憶部３７に記憶する。画像９７に替え、正味化粧画像７４を構成する口紅のレイヤから唇の左端と右端に相当する口紅を消去する画像処理を施しても構わない。

ステップＳ９では、顔パーツレイアウト補正ありか否かを判断する。顔パーツレイアウト補正ありと判断すればステップＳ１０へ進み、顔パーツレイアウト補正ありと判断されなければステップＳ１１へ進む。つまり、メモリに一時記憶した選択情報に基づいて顔パーツレイアウトの項目が選択されているか否かを判断し、顔パーツレイアウトが選択されている場合は顔パーツレイアウト補正ありと判断し、顔パーツレイアウトが選択されていない場合は顔パーツレイアウト補正なしと判断する。項目選択で「すべて選択」が選択されている場合を説明しているので、ステップＳ１０に進むことになる。

次のステップＳ１０では、顔パーツレイアウト補正処理を行う。すなわち、記憶部２３，３６からそれぞれ読み出したサンプル化粧顔の素顔画像とユーザ１４の素顔画像に対して、必要に応じて顔サイズを揃え、サンプル化粧顔の素顔画像とユーザ１４の素顔画像の各々から、顔輪郭と複数のパーツ（両目、口）とを抽出し、顔輪郭と複数のパーツの位置から、サンプルとユーザ１４の顔パーツレイアウトとを求める。そして、両者の顔パーツレイアウトの差異を抽出するとともに、その差異を少なく見せるようにする化粧を、正味化粧画像７４に施す顔パーツレイアウト補正処理を行う。例えば図１１に示すように、ユーザ１４の素顔画像７１とサンプル化粧顔の素顔画像７２とから特徴抽出を行って得た顔輪郭と両目と口の各位置を取得する。そして、顔輪郭と両目の位置とに基づいて、横方向の顔幅を両目の各位置で分割した三つの間隔の比率を、横方向のパーツレイアウト比率（顔パーツレイアウト横比率）として求める。また、顔輪郭と両目と口の各位置とに基づいて、顔の縦方向において頭髪の生え際から目の位置までの間隔と、目から口の口角までの間隔と、口角から顎の先端までの間隔との比率である縦方向のパーツレイアウト比率（顔パーツレイアウト縦比率）を求める。

例えば図１１における上段に示すように、顔の横方向において顔幅を両目の位置で三つの領域に区画した各領域の比率である顔パーツレイアウト横比率が、ユーザ１４が２０：６０：２０（％）であるのに対して、サンプルが２５：５０：２５（％）であるとする。また、顔の縦方向において、頭髪の生え際から目までの間隔と、目から口の口角までの間隔と、口角から顎の先端までの間隔との比率である顔パーツレイアウト縦比率が、ユーザ１４が３０％：４５％：２５％であるのに対して、サンプルが４５％：３５％：２０％であるとする。

顔パーツレイアウト横比率について、サンプルとユーザ１４との差異を算出すると、ユーザ１４の両目の位置が、サンプルの両目の位置に対して、顔幅の５％だけ顔の幅中心から外側へ向かう方向（マイナス方向）へシフトしていることを意味する「マイナス５％」の差異が得られる。ユーザ１４の両目の間隔の割合がサンプルの両目の間隔の割合にその差異を補うように近づけて、両目の間隔を顔幅の５％だけ狭く見せる化粧（補正画像）を正味化粧画像７４に付加する画像処理を行う。

また、顔パーツレイアウト縦比率について、サンプルとユーザ１４との差異を算出すると、ユーザ１４の頭髪の生え際から目の位置までの間隔の割合が、サンプルのそれに対して、顔の縦方向の長さである顔長の１５％だけ狭い側（マイナス方向）へシフトしていることを意味する「マイナス１５％」の差異が得られる。但し、化粧でパーツを実際よりも所定方向へシフトしているように見せられる割合には限界があり、この限界値（例えば５％）を最大値とするように「プラス５％」の差異は与えられる。

同様にユーザ１４の目の位置から口の位置までの間隔の割合が、サンプルのそれに対して、顔長の１０％だけ広い側（プラス方向）へシフトしていることを意味する「プラス１０％」の差異が得られる。この場合、先に頭髪の生え際と目の間隔の割合を広くするマイナス５％が既に与えられているので、この場合、「マイナス５％」が与えられる。同様にユーザ１４の口の位置から顎の先端までの間隔の割合が、サンプルのそれに対して、顔長の５％だけ広い側（マイナス方向）へシフトしていることを意味する「プラス５％」の差異が得られる。この場合、口から顎の先端までの間隔の割合を顔長の５％だけ狭くする「マイナス５％」の差異として演算される。顔の縦方向における顔パーツレイアウトの差異を補うように、ユーザ１４の顔パーツレイアウトをサンプルの顔パーツレイアウトに近づける化粧（補正画像）を、正味化粧画像７４に付加する画像処理を行う。

上記の顔パーツレイアウト以外にも、例えば頭髪の生え際から眉の下端までの間隔と、眉と目の間隔と、目と鼻の下端との間隔と、鼻の下端から顎の先端までの間隔との比率で表される顔パーツレイアウトも求めており、サンプルとユーザ１４との間の顔パーツレイアウトの差異を算出し、ユーザ１４の比率がサンプルの比率に近づく化粧（補正画像）を、正味化粧画像７４に追加する画像処理を行うこともできる。例えばユーザ１４の顔は、頭髪の生え際と眉の下端との間の割合がサンプルのそれより小さく、眉の下端と目との間隔の割合がサンプルのそれと略等しく、目と鼻の下端との間の間隔の割合がサンプルのそれと略等しく、かつ鼻と口との間隔の割合がサンプルのそれよりも大きい。よって、ユーザ１４の眉と目の間隔の割合を大きくする化粧（補正画像）と、鼻と口の間隔の割合を小さくする化粧（補正画像）を、正味化粧画像７４に施す画像処理を行う。

顔パーツレイアウトの差異を補うために、顔パーツレイアウトデータベースから取得される補正画像は、例えば図１１下段に示されている。この例では、ユーザ１４の頭髪の生え際から目までの間隔を広く見せるために、頭髪の生え際から目までの間隔とプラス５％との検索条件に基づいて顔パーツレイアウトデータベースにアクセスし、ユーザ１４の額部分に追加するハイライト１０２の補正画像が取得される。目から口までの間隔を狭く見せるために、目から口までの間隔とマイナス５％との検索条件に基づいて顔パーツレイアウトデータベースにアクセスし、鼻に沿って追加されるシャドウ１０４の補正画像が取得される。口と顎の先端との間隔を狭く見せるために、顎の部分に追加されるシャドウ１０４の補正画像が取得される。鼻の下端と口との間隔の割合を狭くするために、口の上側部分に追加されるシャドウ１０４の補正画像を取得することもできる。顔の横方向においてユーザ１４の両目の間隔を狭くみせるために、目の目尻側に追加されるハイライト１０３の補正画像を取得することもできる。この顔パーツレイアウト補正処理により、図１１における下段右側に示すように、例えばハイライト１０２のレイヤＬ５と、シャドウ１０４のレイヤＬ６と、ハイライト１０３のレイヤＬ７が取得される。

取得された補正画像を第３画像処理部４８に送る。第３画像処理部４８は、記憶部３７から正味化粧画像７４を読み出し、その読み出した正味化粧画像７４に対して顔パーツレイアウトに係る補正画像を、顔パーツレイアウト識別子から特定されるレイヤ位置に追加し、追加後の正味化粧画像７４を記憶部３７に再び記憶する。こうしてマッチング処理後の正味化粧画像７４をユーザ１４の顔の輪郭、パーツ形状、顔パーツレイアウトをサンプルのそれに近づけるように補正して得られた図７（ｃ）に示す補正後正味化粧画像１００が記憶部３７に記憶される。顔の輪郭、パーツ形状、顔パーツレイアウトに係る各補正画像が、同じ化粧層で重複する場合や、化粧層が異なる場合でもユーザ１４の顔をサンプル化粧顔に同じ対象において近づける場合は、重複による過度の補正が加えられることがないようにしている。

顔パーツレイアウトの差異を、ユーザ１４の顔パーツレイアウトをサンプルの顔パーツレイアウトに近づける方法として、顔パーツレイアウトの差異を、眉、目、鼻、口の各位置のシフト方向、シフト量に換算し、その換算情報を基に、パーツを実際よりそのシフト方向、シフト量だけシフトしていように見せる補正画像を取得して正味化粧画像７４に付与する方法を採用することもできる。

ステップＳ１１では、補正後正味化粧画像１００と素顔画像７１との合成処理及び表示を行う。すなわち、記憶部３７から図７（ｃ）に示す補正後正味化粧画像１００を読み出すとともに、記憶部３６からユーザ１４の素顔画像７１を読み出し、ユーザ１４の素顔画像７１上に補正後正味化粧画像１００を重ねる合成処理を行う。この合成処理時の位置合わせは、二点を一致させれば足りるので、例えば両目の中心位置を合わせることで補正後正味化粧画像１００の素顔画像７１上への貼り付け処理を行ってもよい。

制御部３１は、合成処理部３４で合成された化粧顔画像を含むウェブデータを作成し、そのウェブデータを送受信部２９からネットワーク１１を通じてクライアント端末１２に送信する。その結果、クライアント端末１２の表示部１２ｂには、図１２に示すウェブ画面１０５が表示される。ウェブ画面１０５は、そのコンテンツエリアに化粧顔表示画面１０６を含み、化粧顔表示画面１０６の化粧顔表示領域１０７にユーザ１４の化粧顔画像が表示される。化粧顔表示画面１０６には、追加修正を行う項目を選択するための複数の選択欄（プルダウンメニュー）が設けられている。詳しくは、追加修正できる項目として、顔の輪郭、パーツ形状、顔パーツレイアウトの三種類が用意されており、パーツ形状としては目、眉、鼻、口を選択できる。顔の輪郭のプルダウンメニューでは、希望の顔の輪郭を選択でき、例えば卵形、四角形、三角形などの顔の輪郭を選択できる他、顎を長く、頬を丸く、エラを丸くなどの顔の部分の形状の選択も可能となっている。例えば顔の輪郭の中から例えば卵形を選択すると、次画面（詳細設定画面）が表示され、複数種の卵形の中から所望のものを選択できたり、卵形に近づける割合（％）の指定も可能となっている。パーツ形状の目には、プルダウンメニューで、大きく、細く、切れ長、たれ目、つり目、アーモンド形などを選択できる他、二重瞼、一重瞼、睫毛を長くなどの選択も可能となっている。そして、いずれか一つを選択すると、同様に詳細設定画面が表示されて詳細設定が可能となっている。その他、眉、鼻、口についても種々の形状や、一部の形状や質感（例えば口であれば唇のしっとり感、艶、濡れた感じ、弾力感など）を選択できる。顔パーツレイアウトについては、黄金比、３：４：２、４：３：３などの所定比率の他、額を広くまたは狭く、目と口の間隔を広くまたは狭く、口と顎先の間隔を広くまたは狭くなどの部分的なエリアの広さを変更する選択が可能になっており、同様にそれぞれについて詳細設定が可能になっている。そして、修正実行ボタン１１１を操作すると、ユーザ１４が選択指定した追加修正の処理が実行される。色変更ボタン１１２を操作すると、色変更の詳細設定画面が表示され、ファンデーションの色、コンシーラの色、口紅の色、チークの色、アイシャドウの色などを変更することができる。

このように必要に応じて形状や比率、色を追加修正する。手本化粧顔が気に入れば、保存ボタン１１３を操作することで化粧顔データをクライアント端末１２のメモリに保存することができる。例えば、好みの手本化粧顔を保存し、それらを順番にあるいは一覧として画面に表示してその中から自分の一番好む手本化粧顔画像を選択することもできる。

こうして手本化粧顔画像が生成されると、ユーザ１４は入力部１２ａを操作して化粧手順レシピ表示ボタン１０９を操作する。化粧手順表示ボタン１０９の操作に基づく要求をサーバ２０が受け付けると、サーバ２０のＣＰＵは化粧支援処理プログラムのうち化粧アドバイス処理プログラムを実行することで、ステップＳ１２以降の化粧アドバイス処理を行う。

ところで、化粧顔画像生成処理において、顔の輪郭抽出部４１、パーツ形状抽出部４２及び顔パーツレイアウト抽出部４３が取得した識別子（顔の輪郭画像識別子、パーツ形状画像識別子、顔パーツレイアウト画像識別子）は、手順補正部３５へ送られる。そして、手順補正部３５内において、顔の輪郭画像識別子は顔の輪郭手順補正部５１へ、パーツ形状画像識別子はパーツ形状手順補正部５２へ、顔パーツレイアウト画像識別子は顔パーツレイアウト手順補正部５３へそれぞれ送られる。

ステップＳ１２では、手順補正処理を行う。すなわち、手順補正部３５が、第７記憶部２８に格納されているリンクテーブルを参照して、補正画像の識別子に応じたアドレスを取得する。そして、手順補正部３５は、第７記憶部２８に格納されている手順補正用データベースにアクセスして、補正画像の識別子に応じた手順補正データを取得する。すなわち、顔の輪郭手順補正部５１は、手順補正用データベースにアクセスして、顔の輪郭画像識別子に応じた顔の輪郭手順補正データを取得する。パーツ形状手順補正部５２は、手順補正用データベースにアクセスして、パーツ形状画像識別子に応じたパーツ形状手順補正データを取得する。顔パーツレイアウト手順補正部５３は、補正用データベースにアクセスして、顔パーツレイアウト画像識別子に応じた顔パーツレイアウト手順補正データを取得する。

手順補正部３５は、手順補正処理を行うに当たり、まず、サンプル化粧顔の画像６４に対応するサンプル化粧手順レシピＤ１〜Ｄｎを第６記憶部２７から読み出し、記憶部３８に一時記憶する。手順補正処理では、記憶部３８に格納されているサンプル化粧手順レシピＤ１〜Ｄｎの文章に補正を加える。スピーカからの音声は文章の読み上げ処理を行う構成では、文章の補正により音声も補正される。もちろん、音声を用意しておき、音声を補正する構成も採用できる。

顔の輪郭手順補正データ、パーツ形状手順補正データ、顔パーツレイアウト手順補正データは、それぞれサンプル化粧手順レシピ中の文章を補正するための文章データである。顔の輪郭手順補正データ、パーツ形状手順補正データは、顔の輪郭（卵形顔、四角顔、逆三角形顔、丸顔、三角形顔等）、パーツ形状（詳しくは眉形状、目形状、鼻形状、口形状）ごとに、サンプル化粧手順レシピの文章中の特定の文書エリア５５又は特定の位置を特定するアドレス５６とリンクされている。各手順補正データは、対応するアドレス５６で特定される文書エリア５５に置き替えられたり、対応するアドレス５６で特定される特定位置に追加挿入されたりする。

すなわち、顔の輪郭手順補正データは、図１４中に示すサンプル化粧手順レシピの文章中において、顔の輪郭画像識別子とリンクされたアドレス５６で指定された文書エリア５５の文章と置き替えられたり、顔の輪郭画像識別子とリンクされたアドレス５６で指定された位置に追加挿入されたりする。目形状、鼻形状、口形状などの各手順補正データは、図１４中に示す文章中において、目形状、鼻形状、口形状の画像識別子とリンクされたアドレス５６で指定された文書エリア５５の文章と置き替えられる。サンプル化粧手順レシピＤ１〜Ｄに文書以外に画像が含まれている場合は、文書の場合と同様に識別子に対応する画像が特定され、その画像が補正用の画像に置き換えられたり、その画像に補正用の画像のレイヤが追加されたりする。

そして、図１３において、化粧の途中のステップでの完成イメージを提供する手本化粧顔画像Ｉ１〜Ｉｎは、補正後正味化粧画像１００を構成するレイヤを用いて作成される。補正後正味化粧画像１００を構成するレイヤは、化粧層別（例えば同じコンシーラでも化粧層が異なれば別々のレイヤ）、及び化粧種別（例えばファンデーションとチーク）に一枚ずつ分けて構成されている。補正後正味化粧画像１００を構成するレイヤは、化粧が施される順番に例えば番号が付されており、そのレイヤ番号からどの化粧ステップに属するかが管理されている。手本化粧顔画像Ｉ１〜Ｉｎを作成するときは、補正後正味化粧画像１００を構成するレイヤの中から、まず手順１に属するレイヤを記憶部３７から読み出し、その読み出したレイヤをユーザ１４の素顔画像７１上に重ねる合成処理を行うことにより、手順１の手本化粧顔画像Ｉ１を生成する。次に手順２に属するレイヤを記憶部３７から読み出し、その読み出したレイヤを手本化粧顔画像Ｉ１上に重ねる合成処理を行うことにより、手順２の手本化粧顔画像Ｉ２を生成する。以下、手順３から手順ｎまで同様の処理を繰り返して、手本化粧顔画像Ｉ３〜Ｉｎを生成する。補正後正味化粧画像１００のレイヤを用いて手本化粧顔画像を生成する制御部３１は化粧途中顔画像生成手段を構成する。

こうして、全ての化粧ステップにおいて、手本化粧顔画像Ｉ１〜Ｉｎと、文章からなるユーザ１４の化粧手順レシピＸ１〜Ｘｎとが作成される。そして、制御部３１は、手本化粧顔画像Ｉ１〜Ｉｎと化粧手順レシピＸ１〜Ｘｎとを用いて、図１３に示すように手順別に手本化粧顔画像と化粧方法の説明文書とが配列された化粧手順レシピ表示画面１１６を表示するためのウェブデータを作成する。そして、制御部３１はそのウェブデータを送受信部２９からネットワーク１１を通じてクライアント端末１２に送信する。

クライアント端末１２の表示部１２ｂには、図１３に示すウェブ画面１１５が表示される。ウェブ画面１１５中の化粧手順レシピ表示画面１１６には、ステップ１からステップｎまでのステップごとに、手本化粧顔画像と、化粧方法を説明する化粧手順レシピＸ１〜Ｘｎに基づく文章が表示される。化粧手順レシピ表示画面１１６には、やり直しボタン１１７と、登録ボタン１１８が設けられている。やり直しボタン１１７を操作すると、ユーザ１４の化粧顔を選択できる画面が表示され、その画面で選択し直した化粧顔の化粧手順レシピを表示し直すことができる。その化粧手順レシピに従って化粧をしてみて気に入った場合などに、登録ボタン１１８を操作すると、その化粧手順レシピをクライアント端末１２又はサーバ２０に保存することができる。保存（登録）された化粧手順レシピは、クライアント端末１２からサーバ２０にアクセスすることによりクライアント端末１２の画面に一覧表示させることができ、ユーザ１４が登録した中から気に入った化粧手順レシピを選択することにより、化粧顔生成処理を経ず直ぐに化粧手順レシピを表示部１２ｂに表示させることも可能である。

図１３に示す化粧手順レシピ表示画面１１６において最上段の手順番号はリンクされており、所望の手順番号を選択すると、その選択した手順に対応する化粧実行画面が表示される。例えば「手順１」を選択操作すると、図１５に示すように、手順１の化粧実行画面１２１を含むウェブ画面１２０が表示される。化粧実行画面１２１には、ユーザ１４が化粧を行っている様子をカメラ１６で撮影した動画が表示される中継画面１２２と、その手順における手本化粧顔画像Ｉ１が表示される手本画面１２３とが設けられ、それらの下側に化粧方法を説明する化粧手順レシピＸ１に基づく文章が表示される。中継画面１２２は鏡の役割をし、ユーザ１４はこの中継画面１２２を見ながら手本画面１２３内の手本化粧顔を手本にして、提示された化粧方法の説明文書に従って化粧を行う。化粧実行画面１２１でＮＥＸＴボタン１２４を操作すると、次の手順へ進むことができる。化粧アドバイスボタン１２５を操作すると、その手順における実際の化粧顔画像と手本化粧顔画像との比較に基づく化粧アドバイスを受けることができる。

化粧ステップごとに化粧アドバイスを作成する処理は、引用文献２に記載の処理方法と同様である。すなわち、ユーザ１４は各化粧ステップの化粧を完成させる度に化粧途中の自分の顔をカメラ１６で撮影する。その撮影された化粧顔画像Ｋ１（図１６を参照）はクライアント端末１２の所定記憶領域に書込まれる。その後、入力部１２ａを操作して図１５に示す化粧アドバイスボタン１２５を操作すると、実際の化粧顔画像がサーバ２０に送信され、サーバ２０内のメモリに記憶される。

サーバ２０の制御部３１は、手順ごとに撮影された実際の化粧顔画像Ｋ１（化粧途中顔画像又は化粧完成顔画像）と、手本化粧顔画像Ｉ１（手本の化粧途中顔画像又は手本の化粧完成顔画像）とをメモリから読み出して、図１６に示すように化粧顔画像Ｋ１と手本化粧顔画像Ｉ１との間で化粧状態の差異を演算する。そして、制御部３１はこの差異を基にして、ユーザ１４の化粧顔画像Ｋ１を手本化粧顔画像Ｉ１に近づけるための化粧アドバイスを作成する。サーバ２０は化粧アドバイスをクライアント端末１２に送信し、図１７に示す化粧アドバイス表示画面Ｊｊ（ｊ＝１，２，…，ｎ）を手順ごとに表示させる。化粧アドバイスは、好ましい実施形態では、少なくとも文章を含むが、もちろん化粧アドバイスは、文書、音声、画像のうち少なくとも１つであれば足りる。カメラ１６及びクライアント端末１２側の送受信部及び送受信部２９は化粧途中顔画像取得手段を構成する。また、化粧顔画像と手本化粧顔画像との間で化粧状態の差異を演算する制御部３１は化粧顔差異取得手段を構成する。化粧顔の差異を基にして化粧アドバイスを作成する制御部３１はアドバイス手段を構成する。化粧アドバイスを表示するクライアント端末１２の表示部１２ｂは出力手段を構成する。

図１７に示す化粧アドバイス表示画面Ｊ１〜Ｊｎには、実際の化粧顔画像Ｋ１〜Ｋｎと手本化粧顔画像Ｉ１〜Ｉｎが表示される他に、手本化粧顔画像Ｉ１〜Ｉｎと化粧顔画像Ｋ１〜Ｋｎとの差異に基づきサーバ２０内の制御部３１が作成した化粧アドバイスＲ１〜Ｒｎ（文書）が表示される。この化粧アドバイスＲ１〜Ｒｎは、ユーザ１４が化粧を行った実際の化粧顔画像Ｋｊ（ｊ＝１，２，…，ｎ）に対して手本化粧顔画像Ｉｊ（ｊ＝１，２，…，ｎ）と異なる部分の指摘や、その部分の修正方法など、ユーザ１４の化粧顔を手本化粧顔画像Ｉｊに近づけさせるためのアドバイスが表示される。ユーザ１４はこの操作を各手順ごとに繰り返し行い、この化粧アドバイス表示画面Ｊ１〜Ｊｎは各手順１〜ｎごとにそれぞれ表示される。

ユーザ１４はこの化粧アドバイス表示画面Ｊ１〜Ｊｎを見ることで、提供された化粧方法に従って自分が施した化粧に対して、手本化粧顔画像の通りに化粧を行ったか否かの適正な判断を受けることが可能になる。また、手順ごとに化粧アドバイスを受ける構成であるので、例えば全て化粧が終わった後にその化粧状態を手本化粧顔画像と比較する場合に比べ、化粧修正時に大幅な修正を行う必要がなくなる。

以上詳述したように、好ましい実施形態によれば、以下の効果を得ることができる。
（１）ユーザ１４とサンプルとの顔の輪郭の差異を補う化粧（補正画像）が、マッチング処理後の正味化粧画像７４に追加されるので、サンプル化粧顔に近いユーザ１４の化粧顔画像を提供できる。

（２）ユーザ１４とサンプルとの間の目、眉、鼻、口などのパーツ形状の差異を補う化粧（補正画像）が、マッチング処理後の正味化粧画像７４に追加されるので、サンプル化粧顔画像により近いユーザ１４の化粧顔画像を提供できる。

（３）ユーザ１４とサンプルとの間の顔パーツレイアウトの差異を補う化粧（補正画像）が、マッチング処理後の正味化粧画像７４に追加されるので、サンプル化粧顔により近い化粧が施されたユーザ１４の化粧顔を提供できる。

（４）サンプル化粧顔用の化粧手順レシピ中の文章を補正して、ユーザ１４の化粧手順レシピの文章を作成するので、ありうる全ての説明文章をデータベースとして用意する必要がなく、補正用の文章部分のみをデータベースとして持てばよいので、化粧手順レシピのデータベースのために必要な記憶容量を少なく抑えられる。

（５）補正後正味化粧画像１００を構成するレイヤは、化粧ステップ毎に番号などが付されて分類されている。そのため、化粧ステップごとのレイヤを、ユーザ１４の素顔画像に追加したり、前の化粧ステップにおける化粧途中顔画像に追加する画像処理を行えば、化粧ステップごとに化粧途中顔画像を簡単に作成できる。

（６）ユーザ１４が各化粧ステップで化粧途中顔を完成させると、その化粧途中顔の写真画像を読み込ませることにより、実際に化粧を施したユーザ１４の化粧途中顔と目標とすべき化粧途中顔との差異を抽出し、その抽出した差異を補う化粧法を化粧アドバイスとして提供する。よって、ユーザ１４は各化粧ステップにおいて目標どおりの化粧途中顔を完成させて、次の化粧手順に進むことができ、ユーザ１４の素顔を化粧顔画像どおりの化粧顔に仕上げることができる。そのため、出来上がった化粧顔が希望の化粧顔からかけ離れてしまう頻度を少なくできる。

（７）ユーザ１４とサンプルとの間の差異を補う化粧を追加するかどうか、化粧支援画面において、顔の輪郭、パーツ形状、顔パーツレイアウトなどの項目のうちから少なくとも一つを選択できる構成とした。このため、この種の差異を補う化粧を追加する場合と、追加しない場合、またある項目のみ差異を補う化粧を追加するなど、色々試して作成されたユーザ１４の化粧顔画像を比較して、ユーザ１４は所望の化粧顔を目標化粧顔として選択できる。このため、ユーザ１４は、いろいろ試した化粧顔画像の中から、所望の化粧顔画像を手本として選択できる。また、自分の顔のうち好みの特徴を残したい場合は、その残したい顔の特徴部分を、項目から外せば、その特徴を維持したユーザ１４の化粧顔画像を生成することができる。そのため、自分の気に入った顔の特徴を残しつつ、顔のその特徴以外の部分についてはサンプル化粧顔に近づけた化粧顔画像を取得できる。

（８）またパーツ形状を選択した場合は、眉、目、鼻、口の各パーツ形状の中から所望の少なくとも一つを選択できる構成としたので、ユーザ１４は、眉、目、鼻、口の各パーツ形状の中から所望の少なくとも一つを選択しつつ化粧顔画像をいろいろ試して、そのうち所望の化粧顔画像を手本として選択することができる。また、自分の顔のうち好みのパーツの特徴を残したい場合は、その残したい顔のパーツを、項目から外せば、そのパーツの特徴が残るかたちでユーザ１４の化粧顔画像を生成することができる。そのため、自分の気に入った顔のパーツの特徴を残しつつ、顔のそのパーツ以外の部分についてはサンプル化粧顔に近づけた化粧顔画像を取得できる。

（９）ユーザ１４及びサンプルの画像として２次元画像ではなく、３次元画像を使用した場合、鼻の高さや目の窪み、頬、額、口の突出量などの立体情報を取得し、ユーザ１４とサンプルにおける立体情報の差異を補う化粧を、正味化粧画像に追加することができる。よって、立体的にもサンプル化粧顔に近づけたユーザ１４の化粧顔を提供できる。

好ましい実施形態は以下のように変更してもよい。
好ましい実施形態では、補正画像をレイヤとして追加したが、正味化粧画像に補正用の正味化粧画像を施す処理方法はレイヤを追加する方法に限定されない。例えば正味化粧画像７４を構成するレイヤに補正画像を直接追加したり、そのレイヤの画像を一部消去するなどの画像処理を行う構成も採用できる。要するに正味化粧画像にユーザ１４とサンプル化粧顔の素顔の輪郭、パーツ形状、顔パーツレイアウトのうち少なくとも一つの差異を補うような化粧の画像を施す構成であれば足りる。また、正味化粧画像７３，７４がレイヤ構造をとることも必須ではない。

好ましい実施形態では、顔の輪郭、パーツ形状、顔パーツレイアウトについてそれらの差異を補う補正後正味化粧画像１００を正味化粧画像に付加する構成としたが、上記の三つすべてを採用することに限定されない。例えば顔の輪郭のみ、パーツ形状のみ、顔パーツレイアウトのみを採用したり、顔の輪郭とパーツ形状、顔の輪郭と顔パーツレイアウト、パーツ形状と顔パーツレイアウトのように二つを採用したりしてもよい。また、パーツ形状として、目、眉、鼻、口を採用したが、これらのうち一のみ、二つのみ、三つのみを採用してもよい。さらに他の要素の差異を補う化粧を付加する構成も採用できる。例えばユーザ１４とサンプルとの地肌の色の差異を補う化粧を正味化粧画像に付加する構成でもよい。つまり、ユーザ１４の顔地肌色がサンプルの顔地肌色より濃い場合は、ファンデーションの色をサンプルのものより薄くし、その逆にユーザ１４の顔地肌色がサンプルのそれより薄い場合は、ファンデーションの色をサンプルのものより濃くする。これとは逆の濃度を選択する構成でもよく、例えばユーザ１４の顔地肌色がサンプルの顔地肌色より濃い場合は、ファンデーションの色をサンプルのものより濃くし、その逆にユーザ１４の顔地肌色がサンプルのそれより薄い場合は、ファンデーションの色をサンプルのものより薄くする。この構成によれば、サンプルと同じ色のファンデーションを用いたことにより、ユーザ１４の顔地肌とファンデーションとの色が違い過ぎてユーザ１４が不自然な顔色になることを避けることができる。

サンプル化粧顔の画像は、実際の人物の化粧顔の画像に限られず、画像処理した化粧顔画像であってもよい。例えば、化粧モデルのような他人の化粧顔画像とユーザ１４の素顔の画像とをモーフィング合成した化粧顔を、ユーザ好みの化粧顔として選択してもよい。モーフィング合成する場合に、目、眉、鼻、口、顔の輪郭のうち少なくとも一つを選択し、その選択したパーツや顔の部分についてのみユーザ１４の顔画像と化粧モデルの化粧顔画像とを合成してもよい。化粧モデルの素顔の画像は、ユーザ１４の素顔画像と化粧モデルの素顔画像とを、ユーザ好みの化粧顔画像を合成したときと同じ条件でモルフィング処理を行って合成することで取得できる。そして、正味化粧画像は、モルフィングで生成したユーザ好みの化粧顔像から、モルフィングで生成した素顔の画像を差し引く処理を行って取得する。

好ましい実施形態では、サーバ２０が化粧支援処理を行ってその処理結果をクライアント端末１２に送信する構成であったが、クライアント端末が、サーバからダウンロードした化粧支援処理プログラム（化粧顔画像生成処理プログラムを含む）を実行することにより、クライアント端末１２を化粧顔画像生成装置として構成することもできる。化粧支援プログラムの一部をクライアント端末がサーバからダウンロードし、クライアント端末のＣＰＵがそのプログラムを実行して化粧支援処理を実行するとともに、データベースへのアクセスが必要な処理についてはサーバに必要なデータを送信して、サーバがそのデータを基にデータベースにアクセスして必要なデータ（画像又は文書）を取得して必要に応じて所定の処理を施した後にデータをクライアント端末１２に送信する構成も採用できる。

化粧アドバイスシステムは、ネットワークを通じて互いに接続されたサーバとクライアント端末とにより構成することに限定されない。例えばパーソナルコンピュータやワークステーション、ＰＤＡ（Personal Digital Assistants）、携帯電話機に、例えばＣＤ−ＲＯＭ等の記憶媒体から化粧支援処理プログラムをインストールし、その化粧支援処理プログラムを内蔵のＣＰＵに実行させることで、化粧支援装置を構成することもできる。この化粧支援装置は、入力したユーザ１４の素顔画像と化粧モデルの素顔の画像とを用いて、ユーザ１４の素顔画像と化粧モデル等の素顔画像との差を補う補正処理を正味化粧画像に施して、その補正された正味化粧画像をユーザ１４の素顔画像に合成して生成したユーザ１４の化粧顔画像を、モニタに表示する化粧顔画像生成装置として機能する。この場合、パーソナルコンピュータ等にカメラ（画像撮影手段）を接続又は組み付け、ユーザ１４の素顔や化粧アドバイス時の化粧途中顔などを撮影する画像撮影手段、及びユーザ好みの化粧顔や化粧アドバイス内容などを表示するモニタ等の表示手段を備えた化粧支援装置として構成することもできる。

好ましい実施形態では、化粧アドバイスを行ったが、化粧アドバイスをしない構成でもよい。例えばユーザ１４の化粧顔画像（手本化粧顔）を表示させるだけの化粧顔画像生成装置としてもよい。化粧アドバイスを行う場合についても、前記実施形態のようにサンプル化粧手順レシピを修正して化粧手順レシピを作成する構成に限定されない。例えば、各手順の化粧顔画像を分析して、その分析結果を基にコンピュータが化粧手順レシピを作成してもよい。

好ましい実施形態では、コンピュータにプログラムを実行させることでソフトウェアにより実現したが、例えば制御回路（カスタムＩＣなど）によりハードウェアで実現してもよく、ハードウェアとソフトウェアとの協働により実現してもよい。

本発明の好ましい実施形態に従う化粧アドバイスシステムを示す模式図。 化粧支援装置のブロック図。 化粧支援処理のフローチャート。 サンプル化粧顔選択画面の例。 選択画面の例。 サンプル化粧顔とその正味化粧画像を説明する説明図。 正味化粧画像のマッチング処理を説明する説明図。 顔の輪郭補正の例。 目の形状補正の例。 口の形状補正の例。 顔パーツレイアウト補正処理を説明する説明図。 化粧顔表示画面の例。 化粧手順レシピ表示画面の例。 （ａ），（ｂ）化粧手順レシピの説明図。 化粧実行画面の例。 化粧アドバイス処理を説明する説明図。 各手順における化粧アドバイス表示画面の例。

Claims (20)

1. ユーザの顔の画像からそのユーザ専用手本化粧顔の画像を生成する装置であって、
   前記ユーザによって選択されたサンプル化粧顔の画像、前記サンプル化粧顔の素顔の画像、及び前記サンプル化粧顔の素顔の画像と前記サンプル化粧顔の画像との差に対応する正味の化粧画像を記憶する記憶手段と、
   前記ユーザの素顔の画像を取得する顔画像取得手段と、
   前記正味の化粧画像を前記ユーザの素顔の画像にマッチングさせる処理を行って、マッチング済みの正味化粧画像を生成するマッチング処理手段と、
   前記サンプル化粧顔の素顔の画像と前記ユーザの素顔の画像の各々に対して特徴抽出を行って、各素顔の特徴を取得し、両素顔の特徴の差異を取得する素顔差異取得手段と、
   前記ユーザの素顔を前記サンプル化粧顔の素顔に似せるために前記ユーザの素顔に施すべき化粧であって前記素顔の特徴の差異を小さくする当該化粧の画像を表す素顔補正用化粧画像を取得する素顔補正用化粧画像取得手段と、
   前記素顔補正用化粧画像と、前記マッチング済みの正味化粧画像とを、前記ユーザの素顔の画像に付加する合成処理を行って、ユーザ専用手本化粧顔の画像を生成する画像合成手段とを備えたことを特徴とする化粧顔画像生成装置。
2. 前記画像合成手段は、前記マッチング済みの正味化粧画像に前記素顔補正用化粧画像を付加して補正後の正味化粧画像を生成する画像補正手段を備え、前記補正後の正味化粧画像を前記ユーザの素顔の画像に付加する合成処理を行って、前記ユーザ専用手本化粧顔の画像を生成することを特徴とする請求項１に記載の化粧顔画像生成装置。
3. 前記正味の化粧画像は、前記サンプル化粧顔の素顔から前記サンプル化粧顔に至るまでの複数の化粧層に対応する複数のレイヤを含むことを特徴とする請求項１又は２に記載の化粧顔画像生成装置。
4. 前記素顔差異取得手段は、前記ユーザの素顔の画像と前記サンプル化粧顔の素顔の画像から、両顔の輪郭と、両素顔の輪郭の差異を取得し、
   前記素顔補正用化粧画像取得手段は、前記輪郭の差異を少なく見せるための素顔輪郭補正用化粧画像を前記素顔補正用化粧画像として取得することを特徴とする請求項１乃至３のいずれか一項に記載の化粧顔画像生成装置。
5. 前記素顔差異取得手段は、前記ユーザの素顔の画像と前記サンプル化粧顔の素顔の画像の各々に対して特徴抽出を行って、両素顔のパーツの形状を取得し、両素顔間の対応するパーツの形状の差異を取得し、
   前記素顔補正用化粧画像取得手段は、前記パーツの形状の差異を少なく見せるためのパーツ形状補正画像を前記素顔補正用化粧画像として取得することを特徴とする請求項１乃至４のいずれか一項に記載の化粧顔画像生成装置。
6. 前記パーツは、目、眉、鼻及び口のうちの少なくとも一つであることを特徴とする請求項５に記載の化粧顔画像生成装置。
7. 前記素顔差異取得手段は、前記ユーザの素顔の画像と前記サンプル化粧顔の素顔の画像の各々から、顔パーツレイアウトを取得し、両素顔間の顔パーツレイアウトの差異を取得し、
   前記素顔補正用化粧画像取得手段は、前記顔パーツレイアウトの差異を少なく見せるための素顔パーツレイアウト補正用化粧画像を前記素顔補正用化粧画像として取得することを特徴とする請求項１乃至６のいずれか一項に記載の化粧顔画像生成装置。
8. 前記画像合成手段が前記素顔補正用化粧画像を付加する処理を行うか否かを前記ユーザの操作に従って選択する選択手段を更に備えたことを特徴とする請求項１乃至７のいずれか一項に記載の化粧顔画像生成装置。
9. 前記記憶手段は、前記素顔の特徴の差異の種類と程度に対応付けられた差異解消用画像と、前記ユーザの素顔の画像において前記差異解消用画像を付加する位置とを記憶し、
   前記素顔補正用化粧画像取得手段は、前記素顔の特徴の差異の種類と程度に応じた差異解消用画像と位置とを前記記憶手段から読み出し、
   前記画像合成手段は、前記読み出した差異解消用画像を前記ユーザの素顔の画像中の前記読み出した位置に付加することを特徴とする請求項１乃至８のいずれか一項に記載の化粧顔画像生成装置。
10. 前記記憶手段は、前記差異解消用画像を前記位置に付加するためのプロシージャ情報を記憶し、
    前記素顔補正用化粧画像取得手段は、前記差異解消用画像、前記位置及び前記プロシージャ情報を前記記憶手段から読み出し、
    前記画像合成手段は、前記プロシージャ情報に従って、前記読み出した差異解消用画像を前記ユーザの素顔の画像中の前記読み出した位置に付加することを特徴とする請求項９に記載の化粧顔画像生成装置。
11. 前記サンプル化粧顔に対応する素顔から前記サンプル化粧顔に対応する化粧顔に化粧するための手順を、文書、音声及び画像のうち少なくとも一つで説明する第１化粧手順レシピを記憶するレシピ記憶手段と、
    前記ユーザの顔から前記ユーザ専用手本化粧顔に化粧するための手順を、文書、音声及び画像のうち少なくとも一つで説明する第２化粧手順レシピを作成する化粧手順作成手段とを更に備え、
    前記化粧手順作成手段は、前記サンプル化粧顔に対応する前記第１化粧手順レシピを前記レシピ記憶手段から読み出し、前記第１化粧手順レシピにおいて、前記素顔補正用化粧画像に対応する一部を修正して、前記第２化粧手順レシピを作成することを特徴とする請求項１乃至１０のいずれか一項に記載の化粧顔画像生成装置。
12. 前記素顔補正用化粧画像と前マッチング済みの正味化粧画像は、複数の化粧ステップとそれぞれ対応付けられた複数のレイヤから構成され、前記装置は更に、
    前記ユーザの素顔の画像に、前記化粧ステップの進行に伴って前記レイヤを順次合成して、各化粧ステップにおける途中の手本化粧顔の画像を作成する化粧途中顔画像生成手段を備えることを特徴とする請求項１乃至１１のいずれか一項に記載の化粧顔画像生成装置。
13. 各化粧ステップにおける前記ユーザの実際の化粧途中顔の画像と、前記各化粧ステップにおける途中の手本化粧顔の画像とを取得する化粧途中顔画像取得手段と、
    前記実際の化粧途中顔画像と、前記途中の手本化粧顔の画像との差異を取得する途中化粧顔差異取得手段と、
    前記途中化粧顔差異取得手段により取得された前記差異を減らすための化粧手順レシピを文書、音声、画像のうち少なくとも一つで説明する化粧アドバイスを生成するアドバイス手段とを更に備えることを特徴とする請求項１２に記載の化粧顔画像生成装置。
14. 前記サンプル化粧顔の画像は、複数の他人の化粧顔の画像から前記ユーザによって選択された、ユーザ好みの化粧が施された他人の化粧顔の画像であり、前記記憶手段は、前記複数の他人の化粧顔の画像と前記複数の他人の素顔とを互いに対応付けて記憶していることを特徴とする請求項１乃至１３のいずれか一項に記載の化粧顔画像生成装置。
15. 前記装置は、クライアント端末とネットワークを介して接続されたサーバであり、前記サーバは、
    前記クライアント端末から開始要求を受けたときに、前記ユーザ専用手本化粧顔の画像の生成処理を開始し、
    前記ユーザの素顔の画像を前記クライアント端末から受信し、
    前記ユーザ専用手本化粧顔の画像を前記クライアント端末に送信することを特徴とする請求項１乃至１４のいずれか一項に記載の化粧顔画像生成装置。
16. 前記装置は、サーバとネットワークを介して接続されるとともに、前記サーバからダウンロードした化粧顔画像生成処理プログラムを実行するプロセッサを内蔵するクライアント端末であり、
    前記記憶手段は、前記クライアント端末に設けられており、前記サーバから受信した前記サンプル化粧顔の画像、前記サンプル化粧顔の素顔の画像及び前記正味の化粧画像を記憶し、
    前記素顔補正用化粧画像取得手段は、前記クライアント端末に設けられており、前記サーバにアクセスして、前記両素顔の特徴の差異に応じた前記素顔補正用化粧画像を取得することを特徴とする請求項１乃至１５のいずれか一項に記載の化粧顔画像生成装置。
17. ユーザの顔の画像から、そのユーザ専用手本化粧顔の画像を生成する方法であって、
    前記ユーザによって選択されたサンプル化粧顔の画像、前記サンプル化粧顔の素顔の画像、及び前記サンプル化粧顔の素顔の画像と前記サンプル化粧顔の画像との差に対応するユーザ好みの正味の化粧画像を記憶する工程と、
    前記ユーザの素顔の画像を取得する工程と、
    前記正味の化粧画像を前記ユーザの素顔の画像にマッチングさせる処理を行って、マッチング済みの正味化粧画像を生成する工程と、
    前記サンプル化粧顔の素顔の画像と前記ユーザの素顔の画像の各々に対して特徴抽出を行って、各素顔の特徴を取得し、両素顔の特徴の差異を取得する工程と、
    前記ユーザの素顔を前記サンプル化粧顔の素顔に似せるために前記ユーザの素顔に施すべき化粧であって前記素顔の特徴の差異を小さくする当該化粧の画像を表す素顔補正用化粧画像を取得する工程と、
    前記素顔補正用化粧画像と、前記マッチング済みの正味化粧画像とを、前記ユーザの素顔の画像に付加する合成処理を行って、ユーザ専用手本化粧顔の画像を生成する工程とを備えたことを特徴とする化粧顔画像生成方法。
18. 前記両素顔の特徴は、顔の輪郭、顔のパーツ形状、顔パーツレイアウトのうちの少なくとも一つである請求項１７に記載の化粧顔画像生成方法。
19. ユーザの顔の画像から、そのユーザ専用手本化粧顔の画像を生成するサーバであって、
    前記ユーザによって選択されたサンプル化粧顔の画像、前記サンプル化粧顔の素顔の画像、及び前記サンプル化粧顔の素顔の画像と前記サンプル化粧顔の画像との差に対応するユーザ好みの正味の化粧画像を記憶する記憶手段と、
    クライアント端末から前記ユーザの素顔の画像を取得する顔画像取得手段と、
    前記正味の化粧画像を前記ユーザの素顔の画像にマッチングさせる処理を行って、マッチング済みの正味化粧画像を生成するマッチング処理手段と、
    前記サンプル化粧顔の素顔の画像と前記ユーザの素顔の画像の各々に対して特徴抽出を行って、各素顔の特徴を取得し、両素顔の特徴の差異を取得する素顔差異取得手段と、
    前記ユーザの素顔を前記サンプル化粧顔の素顔に似せるために前記ユーザの素顔に施すべき化粧であって前記素顔の特徴の差異を小さくする当該化粧の画像を表す素顔補正用化粧画像を取得する素顔補正用化粧画像取得手段と、
    前記素顔補正用化粧画像と、前記マッチング済みの正味化粧画像とを、前記ユーザの素顔の画像に付加する合成処理を行って、ユーザ専用手本化粧顔の画像を生成する画像合成手段と、
    前記ユーザ専用手本化粧顔の画像を前記クライアント端末に送信する手段とを備えたことを特徴とするサーバ。
20. 請求項１７の方法をコンピュータに実行させるためのプログラム。

Images