JP6359389B2 - 唇の美的印象の評価方法及びその評価を支援する支援装置 - Google Patents

Description

本発明は、唇が写る画像の分析技術に関する。

下記特許文献１には、立体感が異なる合成顔画像を生成する手法が提案されている。この提案手法は、各々規格化された複数人の顔画像の色について主成分分析を行い、主成分分析により得られる固有ベクトルの中から顔の立体感に寄与する固有ベクトルを特定する。下記特許文献２には、顔画像の上唇及び下唇の輪郭を検出し、唇の光沢を表すためのハイライト処理を施すことで、その顔画像にメークアップ処理を施す手法が提案されている。下記特許文献３には、被験者の顔の表面で反射された反射光成分からなる表面顔画像データに色又は強度の変化を与え、変化後の表面顔画像データと内部顔画像データとを合成する化粧シミュレーション手法が提案されている。下記特許文献４には、内部散乱光顔画像にその表面反射光成分として有彩色成分を合成した有彩色光沢顔画像を、表面反射光成分の色相を異ならせて複数個提示する顔画像の光沢色の提示方法が提案されている。この提示方法では、各有彩色光沢顔画像の光沢感が揃えられる。

特許第５０３５５２４号公報 特開２００４−３０００７号公報 特開２００３−２５６８１２号公報 特開２００８−６２２４号公報

上述の各手法は、唇に特化した評価手法を提示していない。
唇は、外方に凸状に張り出した丸みを帯びた形状を有し、その表面には縦ジワやキメが形成されている。このような形状から、乾燥や紫外線等の外的な影響により、縦ジワやキメが粗くなったり、皮むけが生じたりする。そこで、唇用の様々な化粧料が提供されている。

口元の印象が顔全体の印象に影響を与えることが知られており、口元、特に、唇の美的印象は、女性にとって非常に重要な事柄である。唇の美的印象で望まれるものは、流行に左右されるが、現在では、みずみずしくふっくらと立体感を伴う印象を与える唇が望まれている。よって、唇用の化粧料もこのような美的印象を与え得る商品が提供されている。

本発明は、このような課題に鑑みてなされたものであり、画像に基づいて唇の美的印象を客観的に定量化する技術を提供する。

本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第一の態様は、コンピュータにより実行される唇の美的印象の評価方法に関する。第一の態様に係る評価方法は、対象唇が写る画像を取得し、画像内の対象唇上のツヤ部を特定し、特定された複数のツヤ部に関する、唇の美的印象と相関のある指標値を算出する、ことを含む。

第二の態様は、唇の美的印象の評価を支援する支援装置に関する。第二の態様に係る支援装置は、対象唇が写る画像を取得する画像取得手段と、画像内の対象唇上のツヤ部を特定する特定手段と、特定された複数のツヤ部に関する、唇の美的印象と相関のある指標値を算出する算出手段と、算出された指標値の出力処理を行う出力処理手段と、を備える。

なお、本発明の別態様としては、上記第一態様に係る評価方法をコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記憶媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

上記各態様によれば、画像に基づいて唇の美的印象を客観的に定量化することができる。

第一実施形態における唇の美的印象を評価する評価方法を示すフローチャートである。 ツヤ部に関する外周と面積との割合を説明するための図である。 指標値を二次元グラフで出力する例を示す図である。 第一実施形態における支援装置のハードウェア構成例を概念的に示す図である。 第一実施形態における支援装置の処理構成例を概念的に示す図である。 ２種類の異なる化粧料がそれぞれ塗布された一人の被験者の唇を写した２つの画像を示す図である。 唇の美的印象とツヤ量及びツヤ形状との関係を模式的に示す図である。 第二実施形態における唇の美的印象を評価する評価方法を示すフローチャートである。 第二実施形態における支援装置の処理構成例を概念的に示す図である。 被写体を側方から見た場合の撮影環境を概念的に示す図である。 被写体側からカメラ方向を見た場合の撮影環境を概念的に示す図である。 実施例における唇の美的印象の評価方法を示す図である。 立体感スコアと画像から抽出された指標値との関係を示すグラフである。 立体感スコア及び画像から抽出された指標値の相関係数を示す表である。 個数及び平均面積の２軸を持つ二次元グラフと立体感との関係例を示す図である。 平均面積及び面積分散の２軸を持つ二次元グラフと立体感との関係例を示す図である。 個数及び平均面積の２軸を持つ二次元グラフで表される立体感の経時変化の例を示す図である。

以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。

［第一実施形態］
〔評価方法〕
図１は、第一実施形態における唇の美的印象を評価する評価方法を示すフローチャートである。第一実施形態における評価方法は、後述する支援装置のようなコンピュータにより実行される。第一実施形態における評価方法は、唇画像を取得する工程（Ｓ１１）、ツヤ部を特定する工程（Ｓ１２）、指標値を算出する工程（Ｓ１３）及び指標値を出力する工程（Ｓ１４）を含む。

本実施形態で評価する唇の美的印象とは、唇を見た者がその唇から受ける美しさ全般を意味する。美しさには、可愛らしさ、セクシーさ等も含まれる。唇の美しさは、より具体的には、外方に凸状に張り出した丸みを帯びた形状に伴う、ふっくらと柔らかそうな感じや、みずみずしい感じも含む。唇のこのような具体的な印象は立体感とも呼ばれる。

工程（Ｓ１１）において、コンピュータは、対象唇が写る画像（唇画像と表記される）を取得する。取得される画像のデータは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式、ＢＭＰ（Bitmap image）形式、ＴＩＦＦ（Tagged Image File Format）形式、ＧＩＦ（Graphic Interchange Format）形式等の画像ファイルとして取得される。但し、画像のデータ形式は、制限されず、各画素の明暗情報が羅列される形式であってもよい。また、取得される画像は、カラー画像であってもよいし、カラー画像がグレースケール化されることで得られるグレースケール画像であってもよい。コンピュータは、唇画像を撮像したカメラからその画像を取得してもよいし、他のコンピュータや可搬型記録媒体からその画像を取得してもよい。

取得される画像は、唇の表面反射光画像であることが望ましい。本評価方法は、唇のツヤに伴う唇の美的印象を評価対象とするからである。画像内の唇のツヤは、唇の表面で反射した光を撮像することで得られる。表面反射光画像は、偏光を用いて、例えば次のように取得することができる。表面反射光画像は、対象唇（被験者の唇）にＳ偏光を投射しＳ偏光及びＰ偏光を撮像して得られる各偏光画像から取得される。コンピュータは、各偏光画像を他の機器や他のコンピュータや可搬型記録媒体等から取得し、それらを用いて、表面反射光画像を当該唇画像として生成することもできる。

具体的には、コンピュータは、Ｓ偏光を投射しＳ偏光を撮像して得られる偏光画像（Ｓ−Ｓ偏光画像）と、Ｓ偏光を投射しＰ偏光を撮像して得られる偏光画像（Ｓ−Ｐ偏光画像）との差分を取る。Ｓ−Ｓ偏光画像は、対象唇の表面反射光成分が強く、内部反射光成分が少ない画像であり、Ｓ−Ｐ偏光画像は、対象唇の内部反射光成分が強い画像である。よって、Ｓ−Ｓ偏光画像とＳ−Ｐ偏光画像との差分を得ることにより、表面反射光成分以外のノイズを更に抑えた表面反射光画像が取得される。更に、コンピュータは、Ｐ偏光を投射しＳ偏光を撮像して得られるＰ−Ｓ偏光画像と、Ｐ偏光を投射しＰ偏光を撮像して得られるＰ−Ｐ偏光画像とを更に用いて、表面反射光画像を取得するようにしてもよい。これにより、表面反射光成分以外のノイズを更に抑えた表面反射光画像を取得することができる。但し、Ｐ−Ｓ偏光画像及びＰ−Ｐ偏光画像を用いる場合には、撮影時間が長くなり、画像間における被写体のずれが生じ易いこと、より多くの撮影設備が必要となることといった問題点がある。よって、このような問題点とノイズの抑制という効果との対比によれば、上述のようなＳ−Ｓ偏光画像とＳ−Ｐ偏光画像との組み合わせのみを用いる手法が望ましい。但し、表面反射光画像の取得手法についても制限されない。

取得される画像内の対象唇は、被験者の素唇であってもよいし、化粧料が塗布された状態の唇であってもよい。但し、本評価方法は、唇のツヤに伴う唇の美的印象を評価対象とするため、当該対象唇は、化粧料が塗布された状態の唇であることが望ましい。また、取得される画像に写る被写対象は、唇を含めば、特に制限されない。当該画像には唇以外の人の部位や背景が写っていてもよいし、唇の一部のみが写っていてもよい。但し、取得される画像は、下唇の中央部の所定の大きさの画像であることが望ましい。下唇の中央部が、唇の美的印象に差を生じさせ易いことが本発明者により見出されたからである。所定の大きさは、下唇をはみ出さない範囲で設定されればよい。また、取得される画像の形も方形に制限されない。

コンピュータは、取得された画像内における、下唇の中央部の所定の大きさに対応する画像領域を切り出し、その画像領域を当該唇画像として取得することもできる。この場合、コンピュータは、周知の画像認識手法を用いて、画像内から唇を自動で認識することができる。また、コンピュータは、唇の画像領域をユーザに指定させる画面を表示し、その画面に対するユーザ操作を検出することで、唇の画像領域を特定することもできる。

工程（Ｓ１２）において、コンピュータは、画像内の対象唇上のツヤ部を特定する。「ツヤ部」とは、画像内の対象唇上におけるツヤ成分を強く表す画素群を意味する。「非ツヤ部」とは、画像内の対象唇上におけるツヤ部に該当する画素以外の画素群を意味する。以降、ツヤ部に含まれる画素は「ツヤ画素」と表記される場合があり、非ツヤ部に含まれる画素は「非ツヤ画素」と表記される場合がある。言い換えれば、「ツヤ部」とは、四連結又は八連結しているツヤ画素の集合、即ち、「非ツヤ部に囲まれたツヤ部」を意味する。但し、「ツヤ部」の条件は更に厳しく設定されてもよい。例えば、「ツヤ部」の条件に画素数の下限が追加されてもよい。

コンピュータは、ツヤ画素と非ツヤ画素との判別のために、（Ｓ１１）で取得された画像内の唇の画像領域に対して二値化処理を実行してもよい。二値化処理で用いられる二値化閾値は、固定的に予め決められていてもよいし、モード法、ｐ−タイル法等の周知の手法により算出されてもよい。また、コンピュータは、当該唇画像をグレースケール画像に変換した後に、変換されたグレースケール画像に対して二値化処理を実行してもよい。この場合、コンピュータは、黒色画素を非ツヤ画素として扱い、白色画素をツヤ画素として扱う。但し、コンピュータは、二値化処理を行なわず、当該二値化閾値を用いて、ツヤ画素と非ツヤ画素とを判別することもできる。

工程（Ｓ１３）において、コンピュータは、（Ｓ１２）で特定された複数のツヤ部に関する指標値を算出する。即ち、指標値は、ツヤ部に関する情報を用いて算出される値であり、唇の美的印象と相関を有する値である。具体的には、コンピュータは、複数のツヤ部に関する、平均面積、面積分散、個数、及び、外周と面積との割合の少なくとも１つを当該指標値として算出する。個数は、ツヤ部の数を示す。平均面積は、ツヤ部に含まれる画素数（面積）の合計を当該個数で除算して得られる値である。面積分散は、ツヤ部の面積の分散を示し、各面積の偏差の二乗平均である。外周と面積との割合は、ツヤ部の面積とその外周を形成する非ツヤ画素の数との比である。外周と面積との割合は、ツヤ部の面積合計とツヤ部の外周合計との比であってもよいし、各ツヤ部について算出される割合の平均であってもよい。

図２は、ツヤ部に関する外周と面積との割合を説明するための図である。図２では、ツヤ画素が符号ＬＰで示され、非ツヤ画素が符号ＭＰで示される。ツヤ部の面積Ｓ２はツヤ画素の数（９）である。外周Ｙは、ツヤ部の周辺を囲む非ツヤ画素の数（１２）である。図２の例では、ツヤ部を形成するツヤ画素とその外周側の一片を共有する非ツヤ画素の数が外周Ｙとして算出される。また、外周Ｙは、ツヤ部の周囲を４連結で囲む非ツヤ画素の数として算出されてもよい。この場合には、外周Ｙは１６と算出される。図２の例では、外周と面積との割合として、面積Ｓ２を外周で除算して得られる値が算出される。

コンピュータは、外周と面積との割合を用いて算出される、ツヤ部の円形度を当該指標値としてもよい。円形度とは、円形状への近さを示す値であり、円の円形度が最大値を示す。円形度は、例えば、次のように算出することができる。
円形度＝ツヤ部の面積（Ｓ２）／外周Ｙから算出される面積（Ｓ１）
Ｓ１は、外周Ｙが円と仮定して算出される面積であり、外周Ｙを用いて次の式で算出可能である。
Ｓ１＝πｒ^２＝π（Ｙ／２π）^２＝Ｙ^２／４π
従って、円形度は、ツヤ部の面積Ｓ２と外周Ｙとを用いて、以下の式で算出可能である。
円形度＝Ｓ２／Ｓ１＝４πＳ２／Ｙ^２
例えば、各ツヤ部について算出された円形度の平均が指標値として使われる。

（Ｓ１４）において、コンピュータは、（Ｓ１３）で算出された指標値を出力する。コンピュータは、指標値を表示装置に表示させてもよいし、指標値を印刷装置に印刷させてもよい。また、コンピュータは、指標値を電子ファイルに格納し、この電子ファイルを可搬型記録媒体や他の装置に送ってもよい。指標値の出力態様は制限されない。

コンピュータは、指標値そのものを出力してもよいし、指標値を加工して出力してもよい。例えば、コンピュータは、平均面積、面積分散、個数、及び、外周と面積との割合の中の２種又は３種の指標値を軸とし、（Ｓ１３）で算出された指標値がプロットされた二次元又は三次元のグラフを出力する。
図３は、指標値を二次元グラフで出力する例を示す図である。図３では、平均面積が縦軸に、ツヤ部の個数が横軸に設定されており、算出された平均面積及び個数に対応する位置にプロットされている。

第一実施形態における評価方法は、（Ｓ１４）で出力された指標値に基づいて、（Ｓ１１）で取得された画像に写っている対象唇の美的印象を評価する。指標値に基づく実際の評価は、例えば次のように実施することができる。複数人の唇を対象に上述のような評価方法で算出された各指標値と各唇画像から得られた美的印象スコアとの関係が表される対応表（グラフを含む）を予め準備しておく。評価者又は被験者は、（Ｓ１４）で出力された指標値とその対応表とを見比べることで、対象唇の美的印象スコアを推定することができる。平均面積、面積分散、個数及び外周と面積との割合のすべてが算出されている場合、評価者又は被験者は、指標値毎の美的印象スコアを推定し、各スコアから、対象唇の美的印象を評価することもできる。指標値に基づく具体的評価手法は様々存在し得る。後述の第二実施形態では他の評価手法が例示される。

〔支援装置〕
図４は、第一実施形態における支援装置１０のハードウェア構成例を概念的に示す図である。第一実施形態における支援装置１０は、いわゆるコンピュータであり、ＣＰＵ（Central Processing Unit）１、メモリ２、入出力インタフェース（Ｉ／Ｆ）３、通信ユニット４等を有する。メモリ２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体等である。通信ユニット４は、他のコンピュータとの通信網を介した通信や、他の機器との信号のやりとり等を行う。通信ユニット４には、可搬型記録媒体等も接続され得る。

入出力Ｉ／Ｆ３は、出力装置５、入力装置６等と接続可能である。出力装置５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような表示装置、プリンタ等である。入力装置６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。但し、出力装置５及び入力装置６が一体化されたタッチパネルを支援装置１０は有してもよい。支援装置１０は、図４に図示しないハードウェア要素を含んでもよく、支援装置１０のハードウェア構成は制限されない。

第一実施形態における支援装置１０は、唇の美的印象の評価を支援する。
図５は、第一実施形態における支援装置１０の処理構成例を概念的に示す図である。第一実施形態における支援装置１０は、画像取得部１１、特定部１２、算出部１３、出力処理部１４等を有する。これら各処理部は、例えば、ＣＰＵ１によりメモリ２に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ３又は通信ユニット４を介してインストールされ、メモリ３に格納されてもよい。

画像取得部１１は、上述の（Ｓ１１）を実行する。画像取得部１１は、入出力Ｉ／Ｆ３又は通信ユニット４にカメラが接続されている場合には、そのカメラから唇画像を取得することができる。また、画像取得部１１は、可搬型記録媒体、他のコンピュータ等から通信ユニット４を経由して当該唇画像を取得することもできる。画像取得部１１は、表面反射光画像を外部から取得してもよいし、Ｓ−Ｓ偏光画像、Ｓ−Ｐ偏光画像のような各偏光画像を外部から取得し、これら偏光画像の差分を取ることで、表面反射光画像を算出することもできる。また、画像取得部１１は、取得された画像から、唇を表す画像領域又は下唇の中央部の所定の大きさに対応する画像領域を切り出し、切り出された画像を唇画像として他の処理部に利用させてもよい。

特定部１２は、上述の（Ｓ１２）を実行する。特定部１２は二値化処理を実行することもできる。
算出部１３は、上述の（Ｓ１３）を実行する。

出力処理部１４は、上述の（Ｓ１４）を実行する。出力処理部１４は、指標値を出力装置５に出力させる。また、出力処理部１４は、当該指標値を可搬型記録媒体や他のコンピュータに通信ユニット４を経由して送ることもできる。出力処理部１４は、平均面積、面積分散、個数、及び、外周と面積との割合の中の２種又は３種の指標値を軸とし、算出された指標値がプロットされた二次元又は三次元のグラフを出力することもできる。

〔第一実施形態における作用及び効果〕
上述のように第一実施形態では、画像内の対象唇上のツヤ部が特定され、この特定されたツヤ部に関する唇の美的印象と相関のある指標値が算出される。当該相関により、算出される指標値は、唇の美的印象を定量化したものとなるため、その指標値を用いて、画像に写る対象唇の美的印象を客観的に評価することができる。

図６は、２種類の異なる化粧料がそれぞれ塗布された一人の被験者の唇を写した２つの画像を示す図である。唇全体が写る２つの唇画像を見比べると、明らかに、左側の唇の美的印象のほうが、右側の唇よりも、みずみずしくてふっくらと柔らかそうな感じがして、良い。ここで、下唇の一部を切り出した下方の２つの画像を見比べると、左側の画像のほうが、右側よりも、ツヤが多く、シワで分断されたツヤが少ないことが分かる。逆に、右側の画像には、線で強調しているように、ツヤが少なく、シワで分断されたツヤが多いことが分かる。

このような比較から、本発明者は、唇の美的印象を左右する要素として、画像内の唇のツヤ量及びツヤの形状に着目した。そして、本発明者は、相対的に美的印象の良い唇と相対的に美的印象の悪い唇との間のツヤ量及びツヤ形状に次のような関係を見出した。

図７は、唇の美的印象とツヤ量及びツヤ形状との関係を模式的に示す図である。図７では、上方に美的印象が相対的に良い唇が示され、下方に美的印象が相対的に悪い唇が示されている。更に、左側には、ツヤ部と非ツヤ部とを示す唇の模式図が示され、右側には、各唇の下唇の一部の表面反射光画像が示されている。右側の画像は、下唇の中央部の３００×１５０ピクセルを切り出した画像である。左側の模式図に示されるとおり、美的印象が相対的に良い唇と悪い唇とはそれぞれ次のような特徴を持つ。
美的印象が相対的に良い唇＝ツヤ部の各々の面積が大きい。ツヤ部の各々の形状が歪んでいる。ツヤ部の各々の面積が分散している。ツヤ部の数が少ない。
美的印象が相対的に悪い唇＝ツヤ部の各々の面積が小さい。ツヤ部の各々の形状が円形。ツヤ部の各々の面積が同一。ツヤ部の数が多い。

上述のように、第一実施形態では、このような美的印象の良し悪しを左右する、ツヤ部が画像内で特定され、そのツヤ部に関する特徴（平均面積、数、面積の分散、外周と面積との比（形状歪か円形か））が指標値として抽出される。従って、第一実施形態によれば、この指標値を用いて唇の美的印象を客観的に評価することができる。

［第二実施形態］
第二実施形態では、取得された画像内の対象唇について美的印象スコアが評価結果として算出される。以下、第二実施形態における、唇の美的印象を評価する評価方法及びその評価を支援する支援装置について、第一実施形態と異なる内容を中心説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。

〔評価方法〕
図８は、第二実施形態における唇の美的印象を評価する評価方法を示すフローチャートである。第二実施形態における評価方法は、支援装置のようなコンピュータにより実行される。第二実施形態における評価方法は、工程（Ｓ８１）から工程（Ｓ８５）を含む。工程（Ｓ８１）、工程（Ｓ８２）及び工程（Ｓ８３）は、図１に示される工程（Ｓ１１）、工程（Ｓ１２）及び工程（Ｓ１３）と同様である。

工程（Ｓ８４）において、コンピュータは、重回帰式に（Ｓ８３）で算出された指標値を入力することにより、（Ｓ８１）で取得された唇画像に写る対象唇の美的印象スコアを算出する。重回帰式は、２種以上の指標値を説明変数として画像内の唇の美的印象スコアを目的変数とする重回帰分析を、一人の唇に各々異なる化粧料を塗布した複数状態の唇又は複数人の唇に対応する指標値群及び美的印象スコア群に適用することで得られる。美的印象スコアは、複数人の評価者が各状態の唇が写る画像をそれぞれ見ることで、その画像から感じられる唇の美的印象の良し悪しの程度を数値化したものである。

美的印象スコアの精度を高めるためには、重回帰式の説明変数に用いられる指標値の種類は多いことが望ましい。例えば、平均面積、面積分散、個数、及び、外周と面積との割合の４種の指標値が説明変数として用いられる。

また、重回帰分析の対象とされる当該複数状態の唇には、（Ｓ８１）で取得される唇画像内の対象唇を持つ被験者の唇が用いられることが望ましい。また、重回帰分析の対象とされる当該複数人の唇には、被験者の唇と形状的特徴（唇の形状や唇のシワやキメの付き方等）が近似する唇が用いられることが望ましい。当該コンピュータは、このような重回帰分析を実行し、その結果得られる重回帰式を予め保持してもよいし、他のコンピュータから取得してもよい。

（Ｓ８５）において、コンピュータは、（Ｓ８４）で算出された美的印象スコアを出力する。コンピュータは、美的印象スコアを表示装置に表示させてもよいし、そのスコアを印刷装置に印刷させてもよい。また、コンピュータは、美的印象スコアを電子ファイルに格納し、この電子ファイルを可搬型記録媒体や他の装置に送ってもよい。美的印象スコアの出力態様は制限されない。

コンピュータは、美的印象スコアのみを出力してもよいし、美的印象スコアに加えて（Ｓ８３）で算出された指標値を出力してもよい。指標値の出力態様については第一実施形態で述べたとおりである。

〔支援装置〕
図９は、第二実施形態における支援装置１０の処理構成例を概念的に示す図である。第二実施形態における支援装置１０は、第一実施形態の構成に加えて、スコア算出部１６を更に有する。スコア算出部１６は、他の処理部と同様に実現される。

スコア算出部１６は、上述の（Ｓ８４）を実行する。スコア算出部１６は、上述のような重回帰分析を実行し、その結果得られる重回帰式を予め保持してもよいし、他のコンピュータから取得してもよい。

出力処理部１４は、上述の（Ｓ８５）を実行する。出力処理部１４は、美的印象スコアを出力装置５に出力させる。また、出力処理部１４は、美的印象スコアを可搬型記録媒体や他のコンピュータに通信ユニット４を経由して送ることもできる。出力処理部１４は、美的印象スコアと共に、第一実施形態と同様に指標値を出力してもよい。

〔第二実施形態における作用及び効果〕
上述のように第二実施形態では、ツヤ部に関して算出された複数種の指標値が重回帰式に入力され、結果として、取得された画像内の対象唇の美的印象スコアが算出される。重回帰式は、唇の美的印象と相関のある複数種の指標値を説明変数として、画像内の唇に対する官能評価により得られた美的印象スコアを目的変数とする回帰式である。従って、第二実施形態によれば、対象唇の美的印象の客観的な定量値を美的印象スコアとして取得することができる。

［補足］
上述したとおり、取得される画像内の対象唇は、被験者の素唇であってもよいし、化粧料が塗布された状態の唇であってもよい。***化粧料を唇に塗布し、その唇を撮像した画像に対して上述のような評価方法を実行して、唇の美的印象を確認することで、***化粧料の塗り方やその***化粧料と被験者との相性等を評価することができる。

以下に実施例を挙げ、上述の実施形態を更に詳細に説明する。上述の各実施形態の内容は、以下の内容に限定されない。

美的印象と唇画像から抽出されるツヤ量及びツヤ形状との関係が次のようにして確認された。まず、一人の被験者の唇に対して一人の者が１８種類の化粧料を塗布することで、一人の唇に関する複数状態の唇が写る複数のＳ−Ｓ偏光画像及び複数の表面反射光画像が準備された。１８種類の化粧料には、９種類のスティックタイプの化粧料と９種類の液状タイプの化粧料が用いられた。５人の専門評価者に対して当該複数のＳ−Ｓ偏光画像がそれぞれ提示され、各専門評価者により各Ｓ−Ｓ偏光画像に写る各唇の美的印象が０点以上１０点以下でそれぞれ採点された。各専門評価者は、唇の美に関する専門家であり、具体的な美的印象としてみずみずしくふっくらとした印象の感得程度を基準に採点した。唇から得られるみずみずしくふっくらとした印象は、近年、「立体感」と表記される場合も多いため、以降、専門評価者により採点されたスコアを立体感スコアと表記する。「立体感」は「美的印象」の一具体例である。

複数の表面反射光画像は図１０及び図１１に示される条件により撮像された。
図１０は、被写体を側方から見た場合の撮影環境を概念的に示す図である。
図１１は、被写体側からカメラ方向を見た場合の撮影環境を概念的に示す図である。
被写体の正面から０．７メートル（ｍ）の距離に丸型光源ＬＳ及びカメラＣＭが設置され、Ｓ偏光成分を透過させる偏光フィルタＰＦ１のみを用いてＳ−Ｓ偏光画像が撮像され、偏光フィルタＰＦ１及びＰ偏光成分を透過させる偏光フィルタＰＦ２を用いてＳ−Ｐ偏光画像が撮像される。Ｓ−Ｓ偏光画像とＳ−Ｐ偏光画像との差分を取ることで、表面反射光画像が取得される。更に、丸型光源ＬＳの下方には減灯するための黒ラシャ紙ＲＰが設置された。このように、カメラＣＭと略同一に置いた丸型光源ＬＳにより、撮影方向と同方向から、被写体を照らすことにより、唇の美的印象（立体感）に差を生じさせ易い唇画像を撮影することができる。

具体的な条件については以下のとおりである。
カメラＣＭ：ニコン社製 Ｄ３００Ｓ
光源：サークライン（丸型蛍光灯）１灯（黒ラシャ紙ＲＰで１／３減灯）
レンズ：マイクロニッコール ＡｉＡｆ６０ｍｍ ｆ２．８Ｄ
撮影倍率：１対１０
距離：０．７ｍ
シャッタースピード：１／４（Ｓ−Ｓ偏光画像撮影時）、１／１．３（Ｓ−Ｐ偏光画像撮影時）
ホワイトバランス（ＷＢ）：ＰＲＥ ｄ−１
出力：ＪＰＥＧ形式
感度：ＩＳＯ２００
部屋の照明：消灯

図１２は、実施例における唇の美的印象の評価方法を示す図である。本実施例では、上述のように取得された各表面反射光画像から下唇の中央部分（以降、唇画像と表記する）が切り出され、この唇画像に対して閾値「４０」で二値化処理が行われ、各二値化画像から、ツヤ部に関する平均面積、面積分散、個数及び円形度、並びに、ツヤ部の総面積が算出された。ツヤ部の総面積は、唇画像中の白色画素の総数である。更に、本実施例では、各唇画像の輝度の平均化を行い、各平均化画像から輝度がそれぞれ取得された。輝度は、測定機器（色差計等）でＬ値として測定された。他の指標値の算出手法は、第一実施形態で述べたとおりである。

図１３は、立体感スコアと画像から抽出された指標値との関係を示すグラフである。（Ａ）は輝度と立体感スコアとの関係、（Ｂ）はツヤ部の総面積と立体感スコアとの関係、（Ｃ）はツヤ部の平均面積と立体感スコアとの関係、（Ｄ）はツヤ部の円形度と立体感スコアとの関係、（Ｅ）はツヤ部の個数と立体感スコアとの関係、（Ｆ）はツヤ部の面積分散と立体感スコアとの関係をそれぞれ示す。
図１４は、立体感スコア及び画像から抽出された指標値の相関係数を示す表である。
図１３及び図１４で示される円形度は、ツヤ部の円形度の平均値である。

図１３及び図１４に示されるとおり、ツヤ部に関する平均面積、個数、円形度及び面積分散の各々と立体感スコアとの間の相関が高く、ツヤ部の総面積及び輝度は立体感スコアと相関が低いことが確認された。更に、平均面積及び個数が、面積分散及び円形度よりも相関が高いことが確認された。また、平均面積及び面積分散と立体感スコアとの間には正の相関があり、個数及び円形度と立体感スコアとの間には負の相関があることが確認された。本実施例によれば、ツヤ部に関する平均面積、個数、円形度及び面積分散により、唇の美的印象（立体感）を適切に評価可能なことが立証された。

図１５は、個数及び平均面積の２軸を持つ二次元グラフと立体感との関係例を示す図である。図１５では、ｘ軸にツヤ部の個数が割り当てられ、ｙ軸にツヤ部の平均面積が割り当てられている。この二次元グラフにプロットされた点には、立体感スコアが添付されている。図１５によれば、この二次元グラフの左上の領域において立体感スコアが高く、その二次元グラフの右下の領域において立体感スコアが低いことが示される。対象唇に関し算出された個数及び平均面積をこの二次元グラフ上にプロットすることで、その対象唇の立体感スコアを高精度に推測することができる。

図１６は、平均面積及び面積分散の２軸を持つ二次元グラフと立体感との関係例を示す図である。図１６では、ｘ軸にツヤ部の平均面積が割り当てられ、ｙ軸にツヤ部の面積分散が割り当てられている。この二次元グラフにプロットされた点にも、立体感スコアが添付されている。図１６によれば、この二次元グラフの右上の領域において立体感スコアが高く、その二次元グラフの左下の領域において立体感スコアが低いことが示される。対象唇に関し算出された平均面積及び面積分散をこの二次元グラフ上にプロットすることで、その対象唇の立体感スコアを高精度に推測することができる。

このように、立体感スコアと相関がある２種の指標値を軸とする二次元グラフに対象唇に関し算出された指標値をプロットすることで、対象唇の美的印象（立体感）を高精度に評価することができる。

図１７は、個数及び平均面積の２軸を持つ二次元グラフで表される立体感の経時変化の例を示す図である。図１７は、図１５と同様のｘ軸及びｙ軸を持つ。この二次元グラフの各領域と立体感スコアとの関係は、図１５と同様である。即ち、左上の領域において立体感スコアが高く、その二次元グラフの右下の領域において立体感スコアが低い。そこで、図１７に示されるように、この二次元グラフに、異なる時間に当該対象唇を撮像した各画像から算出された各指標値をそれぞれプロットすることで、対象唇の立体感スコアの経時変化を推測することができる。図１７には二人の唇に関し算出された指標値の経時変化が示されている。図１７のグラフによれば、円形でプロットされている唇は、方形でプロットされている唇に比べて、立体感の経時劣化が少ないことが推測される。

なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、各工程には、人によって実施される内容が含まれていてもよい。例えば、（Ｓ１１）及び（Ｓ８１）で取得される画像は、コンピュータに対する人の操作で選択されたファイルからコンピュータにより読み取られてもよい。また、取得された画像から下唇の中央部分を切り取る場合には、その中央部分の位置は、コンピュータに対する人の操作で指定されてもよい。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の各実施形態及び各実施例の一部又は全部は、次のようにも特定され得る。但し、上述の各実施形態及び各実施例が以下の記載に制限されるものではない。

＜１＞コンピュータにより実行される唇の美的印象の評価方法において、
対象唇が写る画像を取得し、
画像内の前記対象唇上のツヤ部を特定し、
前記特定された複数のツヤ部に関する、唇の美的印象と相関のある指標値を算出する、
ことを含む評価方法。

＜２＞前記指標値の算出は、前記特定された複数のツヤ部に関する、平均面積、面積分散、個数、及び、外周と面積との割合の少なくとも１つを前記指標値として算出する、
＜１＞に記載の評価方法。
＜３＞平均面積、面積分散、個数、及び、外周と面積との割合の中の２種又は３種の指標値を軸とし、前記対象唇に関し算出された指標値がプロットされた二次元又は三次元のグラフを出力する、
ことを更に含む＜２＞に記載の評価方法。
＜４＞前記グラフに、異なる時間に前記対象唇を撮像した各画像から算出された各指標値をそれぞれプロットする、
ことを更に含む＜２＞又は＜３＞に記載の評価方法。
＜５＞ツヤ部に関する２種以上の指標値を説明変数として画像内の唇の美的印象スコアを目的変数とする重回帰分析を、一人の唇に各々異なる化粧料を塗布した複数状態の唇又は複数人の唇に対応する指標値群及び美的印象スコア群に適用することで得られた重回帰式を用いて、前記対象唇の美的印象スコアを算出する、
ことを更に含む＜１＞から＜４＞のいずれか１つに記載の評価方法。
＜６＞前記画像を二値化する、
ことを更に含み、
前記非ツヤ部は黒色画素群であり、前記ツヤ部は白色画素群である、
＜１＞から＜５＞のいずれか１つに記載の評価方法。
＜７＞前記取得される画像は、下唇の中央部の所定の大きさを表示する画像である、
＜１＞から＜６＞のいずれか１つに記載の評価方法。
＜８＞前記取得される画像は、前記対象唇の表面反射光画像である、
＜１＞から＜７＞のいずれか１つに記載の評価方法。
＜９＞唇の美的印象の評価を支援する支援装置において、
対象唇が写る画像を取得する画像取得手段と、
画像内の前記対象唇上のツヤ部を特定する特定手段と、
前記特定された複数のツヤ部に関する、唇の美的印象と相関のある指標値を算出する算出手段と、
前記算出された指標値の出力処理を行う出力処理手段と、
を備える支援装置。
＜１０＞前記算出手段は、前記特定された複数のツヤ部に関する、平均面積、面積分散、個数、及び、外周と面積との割合の少なくとも１つを前記指標値として算出する、
＜９＞に記載の支援装置。
＜１１＞前記出力処理手段は、平均面積、面積分散、個数、及び、外周と面積との割合の中の２種又は３種の指標値を軸とし、前記対象唇に関し算出された指標値がプロットされた二次元又は三次元のグラフを出力する、
＜１０＞に記載の支援装置。
＜１２＞前記出力処理手段は、前記グラフに、異なる時間に前記対象唇を撮像した各画像から算出された各指標値をそれぞれプロットする、
＜１０＞又は＜１１＞に記載の支援装置。
＜１３＞ツヤ部に関する２種以上の指標値を説明変数として画像内の唇の美的印象スコアを目的変数とする重回帰分析を、一人の唇に各々異なる化粧料を塗布した複数状態の唇又は複数人の唇に対応する指標値群及び美的印象スコア群に適用することで得られた重回帰式を用いて、前記対象唇の美的印象スコアを算出するスコア算出手段、
を更に備える＜９＞から＜１２＞のいずれか１つに記載の支援装置。
＜１４＞前記特定手段は、前記画像を二値化し、二値化された画像内の前記対象唇上のツヤ部を特定し、
前記非ツヤ部は黒色画素群であり、前記ツヤ部は白色画素群である、
＜９＞から＜１３＞のいずれか１つに記載の支援装置。
＜１５＞前記画像取得手段は、下唇の中央部の所定の大きさを表示する画像を取得する、
＜９＞から＜１４＞のいずれか１つに記載の支援装置。
＜１６＞前記画像取得手段は、前記対象唇の表面反射光画像を取得する、
＜９＞から＜１５＞のいずれか１つに記載の支援装置。
＜１７＞＜１＞から＜８＞のいずれか１つに記載の評価方法をコンピュータに実行させるプログラム。
＜１８＞***化粧料を唇に塗布し、＜１＞から＜８＞のいずれか１つに記載の評価方法で美的印象を確認する方法。

１ ＣＰＵ
２ メモリ
３ 入出力Ｉ／Ｆ
４ 通信ユニット
５ 出力装置
６ 入力装置
１０ 支援装置
１１ 画像取得部
１２ 特定部
１３ 算出部
１４ 出力処理部
１６ スコア算出部

Claims (11)

1. コンピュータにより実行される唇の美的印象の評価方法において、
   対象唇が写る画像を取得し、
   画像内の前記対象唇上のツヤ部を特定し、
   前記特定された複数のツヤ部に関する、唇の美的印象と相関のある指標値を算出する、
   ことを含む評価方法。
2. 前記指標値の算出は、前記特定された複数のツヤ部に関する、平均面積、面積分散、個数、及び、外周と面積との割合の少なくとも１つを前記指標値として算出する、
   請求項１に記載の評価方法。
3. 平均面積、面積分散、個数、及び、外周と面積との割合の中の２種又は３種の指標値を軸とし、前記対象唇に関し算出された指標値がプロットされた二次元又は三次元のグラフを出力する、
   ことを更に含む請求項２に記載の評価方法。
4. 前記グラフに、異なる時間に前記対象唇を撮像した各画像から算出された各指標値をそれぞれプロットする、
   ことを更に含む請求項２又は３に記載の評価方法。
5. ツヤ部に関する２種以上の指標値を説明変数として画像内の唇の美的印象スコアを目的変数とする重回帰分析を、一人の唇に各々異なる化粧料を塗布した複数状態の唇又は複数人の唇に対応する指標値群及び美的印象スコア群に適用することで得られた重回帰式を用いて、前記対象唇の美的印象スコアを算出する、
   ことを更に含む請求項１から４のいずれか１項に記載の評価方法。
6. 前記画像を二値化する、
   ことを更に含み、
   前記非ツヤ部は黒色画素群であり、前記ツヤ部は白色画素群である、
   請求項１から５のいずれか１項に記載の評価方法。
7. 前記取得される画像は、下唇の中央部の所定の大きさを表示する画像である、
   請求項１から６のいずれか１項に記載の評価方法。
8. 前記取得される画像は、前記対象唇の表面反射光画像である、
   請求項１から７のいずれか１項に記載の評価方法。
9. 唇の美的印象の評価を支援する支援装置において、
   対象唇が写る画像を取得する画像取得手段と、
   画像内の前記対象唇上のツヤ部を特定する特定手段と、
   前記特定された複数のツヤ部に関する、唇の美的印象と相関のある指標値を算出する算出手段と、
   前記算出された指標値の出力処理を行う出力処理手段と、
   を備える支援装置。
10. 請求項１から８のいずれか１項に記載の評価方法をコンピュータに実行させるプログラム。
11. ***化粧料を唇に塗布し、請求項１から８のいずれか１項に記載の評価方法で美的印象を確認する方法。