JP6756524B2 - 美容施術効果の解析方法 - Google Patents

Description

本発明は、フェイシャルマッサージ等の美容施術による効果を解析する方法に関し、詳しくは、美容施術の前後に被験者の顔が撮影された少なくとも２枚の画像を用いて、顔面のひずみを可視化し、美容施術による効果を定量的に解析することができる美容施術効果の解析方法に関する。

従来から、顔面の肌（皮膚）のしわ等に応じた照明条件により、被験者の顔が撮影された画像を用いて、肌状態の解析を行うための肌状態解析方法が、特許文献１によって知られている。しかし、この方法は、美容施術の効果を確認するための技術ではない。
一方、フェイシャルマッサージなど顔面に対する美容施術の効果を確認する方法として、従来から、施術の前後に被験者の顔面を写真撮影し、これらの写真を目視で比較する方法が知られている。しかし、この方法では、美容施術の効果を定量的に確認することはできない。

美容施術の効果を定量的に確認する方法として、次のような方法が知られている。
特許文献２に記載の方法は、三次元画像相関写真測量法によって、ヒゲ剃りによって生じる皮膚表面上のひずみを非接触で検出するというものである。

この方法は、美容施術の効果を解析する方法ではないが、ヒゲ剃り前後に撮影された皮膚表面の画像からひずみを非接触で検出することができ、カミソリの性能特性を定量化することが可能である。例えば、異なるカミソリ間で比較を行ったり、開発時にプロトタイプの評価を行うことが可能である。また、皮膚に塗布されるクリーム又はローションの有効性の評価を行うことが可能である（段落番号［００１９］参照。）。

しかし、この方法では、ヒゲ剃り前後の皮膚の変位・ひずみを検出するために、予め、皮膚表面にパターン（規則的又は不規則的なものを含む。）を塗布する必要がある。このパターンは、例えば、「被験者の皮膚に容易に適用できるとともに光学測定の後で除去することが可能な所定のパターンを特徴とする。除去可能な入れ墨は、基材、及びランダムに配置されて約４０％〜約６０％のパターン密度をなす複数のしるしを有するパターンを有する。有利な実施形態では、しるしはドットの形態である。」であり、「別の態様では、基材、及び複数のドットを有するランダムパターンを有する、光学測定用に皮膚にパターン形成するための入れ墨が提供される。ドットは、水には実質上不溶性であるがアルコールには実質上可溶性であるインク又は染料で作られる。基材は、例えばアルコールに対して透湿性であってよい。」である（段落番号［００１８］〜［００１９］参照。）。

非特許文献１に記載の方法は、瞬きのような日常的な皮膚の動きに伴って生じる皮膚表面の”ひずみ”分布を、三次元デジタル画像相関法を用いて計測する方法である。詳述すると、この方法は、ランダムパターンを施した女性の目元の皮膚表面の動きを２台のカメラで撮影し、ステレオ法の原理を用いることで三次元表面の形状を測定し、瞬きを始める直前の眼を開いた状態から閉じた状態までの三次元変位量を求め、その変位を皮膚表面に沿った三次元空間で微分することでひずみ量を算出するというものである。

しかし、この方法でも、変位を求めるための基準となるランダムパターンを皮膚表面に施さなければならない。詳述すると、皮膚表面に、エアブラシ等を用いて化粧用のパウダーやオイルや塗料を塗布し、これらをランダムパターンとして変位分布を求める必要がある。

上記した特許文献２及び非特許文献１に記載された先行技術は、いずれも、観察の対象となる皮膚表面に、パターンの役割を果たす塗料等を塗布する必要がある。
しかし、これらの技術を美容施術の効果を解析する方法に応用しようとすると、フェイシャルマッサージ等の美容施術においては、皮膚に美容オイル等を塗布したり、施術者の手で繰り返し皮膚に触れることから、パターンとなるパウダーや塗料等が剥離してしまい、ひずみの計測ができないという問題があった。

特許第５０８００６０号 特開２０１０−５１７０１０

株式会社カネボウ化粧品・ニュースリリース「皮膚表面の"ひずみ"計測により小ジワの形成要因を解明 保湿化粧品は皮膚の局所的なひずみを緩和し小ジワ予防に有用」２０１２年１０月４日

そこで、本発明の課題は、フェイシャルマッサージ等の顔面に対する美容施術の効果を定量的に解析する方法において、施術の前後に撮影された画像を用いて、顔面の皮膚のひずみ分布を求め、このひずみ分布を評価指標とする方法であって、被験者の顔面に対する塗料等パターンの塗布を必要としない美容施術効果の解析方法を提供することにある。

上記本発明の課題は、下記の手段により達成される。
１．被験者の顔に対する美容施術の前後に撮影された少なくとも２枚の画像を用いて、美容施術の効果を解析する方法において、
解析に用いられる画像が、美容施術の前後に撮影された少なくとも２枚の紫外線写真であって、
この紫外線写真に表れたメラニン色素をランダムパターンとして、ステレオ画像相関法を用いて、被験者の顔面の三次元形状と、変位分布をそれぞれ導出し、
前記変位分布を顔面の表面形状に沿って微分することでひずみ分布を導出し、
この得られたひずみ分布を評価指標として、美容施術の効果を評価することを特徴とする美容施術効果の解析方法。

２．まつ毛及び唇の部分を削除して、ひずみ分布を導出することを特徴とする前記１に記載の美容施術効果の解析方法。

３．まつ毛、唇及び鼻の部分を削除して、ひずみ分布を導出することを特徴とする前記１又は２に記載の美容施術効果の解析方法。

４．被験者の顔に対する美容施術の前後に撮影された少なくとも２枚の画像を用いて、美容施術の効果を解析する方法において、
解析に用いられる画像が、美容施術の前後に撮影された少なくとも２枚の写真であって、これらの写真を色彩の濃淡により二色に変換した二値化画像であり、
この二値化画像に表れた濃色部分をランダムパターンとして、ステレオ画像相関法を用いて、被験者の顔面の三次元形状と、変位分布をそれぞれ導出し、
前記変位分布を顔面の表面形状に沿って微分することでひずみ分布を導出し、
この得られたひずみ分布を評価指標として、美容施術の効果を評価することを特徴とする美容施術効果の解析方法。

前記１に示す発明によれば、ひずみ分布を導出するための画像として、紫外線写真を使用することによって、顔面への塗料等パターンの塗布が不要である。即ち、紫外線写真には、顔面に分布するメラニン色素が表れるので、このメラニン色素をランダムパターンに見立てて、ステレオ画像相関法を適用することができるので、顔面の三次元形状とひずみ分布を導出することができ、これらからひずみ分布を導出することができる。
これにより、三次元形状や変位分布を得るための塗料等からなるパターンの塗布が不要でありながら、施術の前後に撮影された画像を用いて、顔面の皮膚のひずみ分布を求め、このひずみ分布を評価指標として、美容施術による効果を定量的に解析することができる。

前記２に示す発明によれば、変位分布を求める際に、まつ毛と唇の部分を削除することにより、美容施術による効果を、より正確に解析することができる。
即ち、顔面の中で、まつ毛と唇は、メラニン色素が観察され難く、必要なランダムパターンが得られないため、画像相関が行えないか、不正確になる場合がある。そこで、変位分布を求める際に、まつ毛と唇の部分を削除することにより、不正確になる要素を排除することで誤差を抑え、より正確な解析を行うことができる。

前記３に示す発明によれば、変位分布を求める際に、まつ毛及び唇の部分を削除することは、上記のとおりであるが、これに加え、鼻の部分をも削除することで、美容施術による効果を、更に正確に解析することができる。
即ち、顔面の中で最も突起した部分である鼻は、紫外線写真を撮影する際に、照明の照射が不均一となり、他の部分に比して暗く写る場合がある。これにより、鮮明なパターンを得ることができず、三次元形状を求める際に、精度の低下を招くおそれがある。そこで、鼻の部分も削除して変位分布を求めることにより、不正確になる要素を排除することで誤差を抑え、更に正確な解析を行うことができる。
尚、鼻の部分は、フェイシャルマッサージ等の美容施術によって、リフトアップ等によって形が変わることがなく、美容施術による効果を確認する必要性が低く、顔面全体の美容施術による効果の確認に大きな影響は与えないといえる。

前記４に示す発明によれば、紫外線写真ではなく、普通の写真を用いて美容施術効果を解析することができる。これにより、撮影時に被験者へ紫外線を照射しなくてよいので、肌への紫外線による刺激を防止できる。また、紫外線写真の撮影とは異なり、眼を開けた状態での撮影が可能であり、正確な顔面計測が可能である。更にまた、紫外線写真の撮影と比べ、特別な撮影機材が不要である。

被験者の顔面を撮影した（ａ）通常写真と（ｂ）紫外線写真 ２種のレンズによる被験者の顔面を撮影した紫外線写真 被験者の顔面を撮影した通常写真 図３に示す通常写真を調整したトーンカーブを示すグラフ 被験者の顔面を撮影した紫外線写真 被験者の顔面を撮影し、その一部を拡大した（ａ）紫外線写真と（ｂ）通常写真 検証に使用した撮影装置を示す写真 検証に使用した試験片の形状を示す図 検証に使用した試験片を示す写真 検証に使用したキャリブレーションボードを示す写真 検証に使用した２台のカメラと測定対象物の関係を示す概略図 検証例における三次元表面の一部を示す概略図 検証例における三次元形状の解析手順を示す関係図 検証例における試験片の変形前後を示す紫外線写真 検証例における試験片の変形前後の三次元形状 検証例における試験片のｙ方向の変位を示すグラフ 検証例における試験片の最大主ひずみを示すグラフ 実施例における被験者の顔面を撮影した紫外線写真 実施例において導出した被験者の顔面の三次元形状 実施例において導出した被験者の顔面の変位分布 実施例において導出した被験者の顔面のひずみ分布 被験者の顔面を撮影した（ａ）施術前と（ｂ）施術後の通常写真 図２２の写真から変換した（ａ）施術前と（ｂ）施術後の二値化画像

本発明は、フェイシャルマッサージ等の顔面に対する美容施術の効果を、非接触で定量的に解析する方法についての技術である。

顔面に対する美容施術は、顔面に刺激を与え、マッサージオイルや美容液等の化粧品と、マッサージ手技の相乗効果によって、血液やリンパの流れが活性化されることにより、顔面の肌（皮膚）のしわやたるみを解消又は軽減したり、小顔効果を期待して施術されるものである。このしわやたるみの解消又は軽減や、小顔効果による皮膚の変化は、皮膚の形状の変化と捉えることができ、これがひずみとして表れる。このひずみを評価指標として、美容施術の効果を定量的に評価しようとするのが、本発明に係る美容施術効果の解析方法である。

ひずみとは、変形の程度を示すパラメータであり、変形量の元の寸法に対する割合で表わされる値である。ひずみは、機械構造物や土木建造物の強度を評価する際に、変形の度合いを表すパラメータとして広く用いられている。近年では、美容分野においても、肌の変化に関する研究で評価指標として用いられることがある。

本発明は、美容施術の前に撮影された写真と、美容施術の後に撮影された写真の少なくとも２枚の写真を用いる。

本発明で使用する写真は、紫外線写真である。
紫外線写真とは、波長が１０〜４００ｎｍの電磁波である紫外線を、被写体である被験者の顔面に照射し、これを撮影した写真である。
尚、本発明では、上記紫外線写真の他、通常の写真を二値化した二値化画像を使用することができる。詳しくは、後述する。

本発明で使用するカメラに限定はないが、例えば、市販されている一般的なデジタルカメラを使用することができる。ただし、一般的なカメラは、紫外線をカットするフィルタが内蔵されており、本発明において使用するカメラは、このフィルタを除去する必要がある。

本発明では、カメラを２台使用する。これは、後述するステレオ法にて、顔面の三次元形状を得るためである。
被写体に紫外線を照射する器具として、紫外線光源（ブラックライト）を使用することができる。使用する光源に限定はないが、具体的な実施例は後述する。

被験者の顔面を撮影した紫外線写真には、皮膚に点在するメラニン色素が表れる。
メラニン色素は、顔面の表皮より深さ０．２ｍｍ程度にある真皮層に存在し、褐色ないし黒色の微細な顆粒状の色素である。通常は、新陳代謝によって剥がれ降りるが、加齢等により代謝が落ちることで、肌に残留するようになる。このメラニン色素は、太陽光に含まれる紫外線を吸収する。

メラニン色素は、例え表皮に表れていなくても、誰にでも少なからず存在するものであり、紫外線写真であれば、これを撮影することができる。図１に示すように、通常の写真（図１（ａ））では、メラニン色素を確認することはできないが、紫外線写真（図１（ｂ））であれば、メラニン色素を確認することができる。尚、図１のように、被験者の顔が撮影された写真には、プライバシーに配慮して目隠し線を施してあるが、実際の解析に使用する写真には、このような目隠し線はない。
このメラニン色素は、真皮層にランダムに点在しており、本発明では、この複数点在しているメラニン色素をランダムパターンに見立てて利用することを特徴とする。これにより、本発明では、従来技術のようにランダムパターンとして塗料等を顔面に塗布する必要がない。

紫外線写真の撮影装置について、以下に例示する。尚、本発明において、撮影方法や撮影装置について限定はなく、紫外線写真を撮影する方法や装置として、公知公用のものを特別の制限なく採用することができる。

上述のとおり、デジタルカメラなどの一般的なカメラは、紫外線をカットするフィルタが内蔵されている。これは、風景等を撮影する際にセンサが紫外線を受光し、遠景にピンクがかった色が出てしまうという影響を防止するためである。しかし、本発明では、紫外線写真におけるメラニン色素を捉える必要があるため、このフィルタを除去する必要がある。このため、本発明では、カメラに内蔵されている紫外線カットフィルタを除去することにより、より鮮明なメラニン色素を撮影する。

また、本発明で紫外線写真を撮影するにあたり、適切なレンズの選定を行った。一般的な写真撮影用のレンズには、紫外線を反射するコーテイィングが施されており、レンズの種類により紫外線の捉えやすさに違いがある。この選定では、紫外線撮影に適していると思われる２種類のレンズで紫外線写真を撮影し、これらを比較することによってレンズを選定した。使用したレンズは、SIGMA製のF2.8DN（焦点距離30mm）と、Nikon製のRayfactIL75mmN（焦点距離75.2mm）である。図２に、（ａ）上記SIGMA製のレンズで撮影した写真、（ｂ）上記Nikon製のレンズで撮影した写真、をそれぞれ示す。

上記２種のレンズで撮影した写真を比較すると、Nikon製のRayfactIL75mmNの方が鮮明にメラニン色素を捉える。この結果を踏まえ、本発明における実施例では、Nikon製RayfactIL75mmLを用いて撮影を行った。尚、このレンズは、本発明で使用したデジタルカメラNEX-5Rとはマウントが異なるため，変換用のアダプタを利用した。

ここで示す実施例において、紫外線写真を撮影するために使用する撮影器具は、２台のデジタルカメラと紫外線光源（ブラックライト）によって構成されている。
カメラは、SONY製のNEX-5Rを用いた。このカメラは、上述したとおり、内蔵されていた紫外線カットフィルタを除去することによって紫外線透過に改造している。レンズは、上述の比較を踏まえて、Nikon製の産業用レンズRayfactIL75mmN（焦点距離75.2mm）を使用した。

光源は、ピーク波長352nmの電球型のブラックライトを６個、ピーク波長370nmの蛍光灯
型のブラックライトを８本用いた。ブラックライトは、光を効率よく拡散させるため白い紙で覆って使用した。また、蛍光灯型のブラックライトを被験者の顔のごく近くに配置し撮影することで、暗くなりがちな目頭の窪み等の部分を効率よく照射した。
シャッター速度は1/5s、レンズ絞りはF22とした。また、２つのレンズ間の距離は約80mm、レンズと対象物の距離は約600mmとした。

ここで、紫外線写真を撮影することで、顔面のメラニン色素が鮮明に表示されるか否かを検証した。被験者は、３０代の男性である。
先ず、紫外線写真との比較のために、白色の蛍光灯下で通常写真を撮影した。その後、暗室でブラックライトを点灯させ、２台のカメラで撮影を行った。

紫外線写真は、紫外線光源下で撮影した後、カメラraw形式（ソニー独自のファイル形式）のファイルからコンピュータに読み込む際に画像処理ソフトウェア（photoshopCS6）を用いてブルーチャンネルのみを抽出し、トーンカーブを調整することで適切なコントラストに設定した後、グレースケールに変換した。

図３に、通常写真を示す。この写真のトーンカーブを調整した後、ブルーチャンネルを抽出し、グレースケールに変換した画像を示す。トーンカーブの例を、図４に示す。
図５は、これらの処理を施した紫外線写真である。図５（ａ）が、下カメラで撮影した写真、図５（ｂ）が、上カメラで撮影した写真である。場所により明るさに少々ばらつきがみられるものの、黒い斑点のようなメラニン色素が目視できた。

また、下カメラの変形前画像（基準画像）の一部（200エ200画素）と、通常写真の同じ領域を図６に示す。図６（ａ）が、紫外線写真の一部、図６（ｂ）が、通常写真の一部を拡大した写真である。これらを比較すると、紫外線写真には、白色の蛍光灯下では見られない黒い斑点、即ち、メラニン色素が撮影できており、このメラニン色素によって、数画素で一つのパターンを得られた。

上記のように写真を加工することにより、場所により明るさに少々ばらつきがみられるものの、黒い斑点のようなメラニン色素が目視で確認できた。

以上のように、紫外線写真におけるメラニン色素が鮮明に撮影できるように、撮影装置の構築を行った。上記のように、ブラックライトと２台のデジタルカメラで構成される撮影装置を用いて、数画素で一つのパターンをなすようなメラニン色素が確認できる紫外線写真を、撮影することができた。

・検証例
ここで、紫外線写真を用いたステレオ画像相関法によるひずみ測定の有効性を検証するために、顔面の皮膚についてのひずみ測定の前に、単軸引張負荷を受ける板材のひずみ測定を行った。
尚、この検証の中で説明する三次元形状、変位分布及びひずみ分布の求め方は、顔面の皮膚に対する美容施術効果の解析方法と同様である。

先ず、試験片に、ランダムパターンとして蛍光スプレーを塗布し、ブラックライトを照射して、ステレオ画像相関法によってひずみを測定した。そのひずみの値と、試験変位を与えた伸びから算出したひずみの値を比較して検証した。試験機には、インストロン5586型ねじ駆動型引張試験器を、試験片は、エーテル系ポリウレタンをそれぞれ用いた。

図７に、撮影装置の写真を示す。
光源として、電球型ブラックライト（ピーク波長352nm）を６つ、蛍光灯型ブラックラ
イト（370nm）を４本用いた。試験片に照射した照明は、ブラックライトの明かりのみである。

カメラは、SONY製のNEX-5Rであって、このカメラに内蔵されていた紫外線カットフィルターを除去して、紫外線透過に改造したものを用いた。レンズは、Nikon製産業用レンズRayfact（焦点距離75.2mm）を用いた。シャッター速度は1/5s、レンズ絞りはF5.6、２つのレンズ間の距離は約80mm、レンズと対象物の距離は約600mmとした。

試験片形状と試験片の写真を、図８及び図９に示す。
試験片は、両端を厚さ0.5mmのアルミ板で接着することにより、検証中にチャックからずれることを防止した。引張速度は0.5mm/minで、チャック間の距離360mmに対して25.2mm（ひずみ約７％）の変位を与えた。試験片表面には、黒のラッカースプレーを塗布した後、紫外線下で発光する蛍光スプレーを塗布した。蛍光スプレーとして赤い塗料を用いたため、撮影した写真は、画像処理ソフトウェア（PhotoshopCS6）を用いてレッドチャンネルのみを抽出し、グレースケールに変換した。

また、カメラと測定対象物の位置関係を明らかにするために、図１０に示すキャリブレーションボードを撮影し、交点座標を算出した。この検証では、10mm間隔で12×10点の交点を有するキャリブレーションボードを使用した。

・ステレオ画像相関法
ステレオ画像相関法とは、画像相関によって得られる複数の画像の同一点にステレオ法を用いることで、三次元形状や変位を求める方法である。
先ず、ステレオ法によって三次元座標を算出する原理について説明する。

図１１に、２台のカメラと測定対象物の関係図を示す。
P_H(u_H,v_H)、 P_L(u_L,v_L)は、２台のカメラの画像面上の点であり、P(x,y,z)は測定対象物における座標、O_H、O_Lは、それぞれのカメラのレンズの中心である。画像平面上の座標系(u,v)と三次元座標系(x,y,z)の関係は、式（１）で示すことができる。

しかし、現実ではレンズの歪曲収差のため、仮想投影面座標(u,v)は、本来の位置とは異なり、歪んだ画像上の点(u',v')として得られる。それらの関係は、式（２）の通りである。

ここで、u₀、v₀は画像平面上の主点、a、 b、 gはスケールパラメータ、r₁₁〜r₃₃、 t_x〜t_zはカメラの位置と向きを表すパラメータ、k₁は収差係数である。これらのパラメータ
は、カメラキャリブレーションにより求めることができる。式（１）を上下のカメラのデータに適用して計算を行うことで、x、y、zの３つの未知数に対し、u_H、v_H、u_L、v_Lの式を得ることができるので、三次元座標(x,y,z)を求めることができる。

次に、画像相関法を用いて、上下の２台のカメラで撮影した画像間の同一点探索を行う原理について説明する。
画像相関法は、基準となる画像からサブセットと呼ばれる数画素からなる計算領域を取り出し、このサブセットのほかの画像内の位置を輝度値分布の相関などを用いて求める方法である。以上の基本原理に基づいて、サブセットと同じ輝度値分布の領域を探し出すため、式（３）で定義される相関係数Ｃが最大となる位置を求める。

ここでＦとＧは、基準画像と探索対象の画像の輝度値である。(u,v)と(u*,v*)は、それぞれ基準画像及び探索対象画像上のサブセットの点の座標を表している。(u,v)と(u*,v*)の関係は、式（４）で表すことができる。

ここでΔ_uとΔ_vは、サブセット中心から点(u,v)までのx、y方向の距離成分である。この相関係数Ｃを最大とするu*、 v*が、u、 vの同一点である。輝度値補間を利用したサブピクセル探索により、0.02画素程度の分解能で同一点の探索が可能である。

・ひずみ算出方法
ひずみは、変位分布を空間座標に沿って微分することにより得られる。本発明では、画像相関によって顔面の三次元形状を得るので、顔の表面に沿って微分することになる。三次元物体表面のひずみは、次のような手順で算出する。

三次元物体表面上の局所的な一部分を平面とみなし、その部分における局所的な座標系を定義し、その座標系において変位を微分することによってひずみを算出する。図１２に示すように、三次元表面の一部を局所的に平面とみなしたとき、その平面は次に示す式（５）で近似できる。

ここでa、 b、 cは係数であり、最小二乗法などで決定できる。このとき、この平面の単位法線ベクトルn、単位接線ベクトルt₁、 t₂は、次に示す式（６）〜（８）で求めることができる。

ここでjは、y方向の単位ベクトルである。ベクトルn、t₁、t₂を用いると、式（９）を用いて、三次元座標x、y、zを、x’-y’面内の平面（z’=一定）に座標変換することができる。

同様にして、三次元座標ux、uy、uzをx’-y’面内の平面（z’=一定）に座標転換を行うことができる。

以上の手順により、座標変換して得られた座標及び変位は、面内の値であり、空間方向に微分してひずみを算出することが可能である。変位測定データを微分する際には、測定誤差の影響を低減するため、局所最小二乗法が多く用いられる。例えば、局所領域の変位を、式（１１）のように１次式で表す。

この変位データを微分することで、ひずみを求める。皮膚の変形は微小ではないため、次式のように有限ひずみとして算出する。

以上の手順により得られたひずみ成分は、各点において異なる座標系に対する値となる。そこで、得られた値は、以下のように主ひずみに座標変換する。

ここで、e1、e₂は、最大及び最小主ひずみ、φは、主方向である。

図１３に、解析手順を示す。
ステレオ画像相関法は、２台のカメラで測定対象物を撮影するため、カメラＨ、カメラＬそれぞれに対して変形前後の画像が得られる。変形前の上下の画像の相関をDIC(1)、下カメラの変形前後の相関をDIC(2)、下カメラの変形前の画像と上カメラの変形後の画像の相関をDIC(3)とする。DIC(1)を用いることで、変形前の三次元形状を求めることができ、DIC(2)とDIC(3)を用いることで、変形後の三次元形状を求めることができる。

この手順は、上下のカメラの変形前、変形後の画像の４枚のみを使うので、相関を行う回数が３回と少なく、時間をかけずに三次元形状を求めることができる。

先ず、カメラキャリブレーションにより、内部及び外部パラメータ（式(1)及び(2)の係数）を求めた。結果を以下の表１に示す。ただし、収差係数k₂は使用していない。

次に、図１４に変形前後の紫外線写真を、図１５に変形前後の三次元形状を示す。求めた三次元形状をみると、滑らかな平面が得られており、これにより蛍光スプレーをランダムパターンとし、紫外線画像によって解析が正しく行うことができたといえる。

図１６にy方向変位、図１７に求めた最大主ひずみを示す。今回はy方向に約７％のひずみを与えたため、y方向の主ひずみが７％になるはずである。図１７より、一様な約７％のひずみが確認できた。即ち、紫外線画像を用いてのひずみ測定は、正しく行うことができたといえる。

以上のように、エーテル系ポリウレタンの試験片に、ランダムパターンとして紫外線下で発光する蛍光スプレーを塗布し、７％の既知のひずみを与えてステレオ画像相関画によるひずみ測定を行い、結果を検討した。画像相関の結果、求めたひずみ分布は７％のほぼ一様なひずみが得られており、以上より紫外線写真を用いたステレオ画像相関によって妥当なひずみの値が得られることを示した。

・実施例
続いて、本発明の実施例について記載する。即ち、紫外線写真からひずみ分布を導出することによる、顔面に対する美容施術効果の解析方法の実施例について説明する。尚、三次元形状、変位分布及びひずみ分布の算出方法は、検証例にて記載した方法と同様である。

先ず、紫外線写真を撮影し、ステレオ画像相関によって表情の違いによる顔面皮膚の変位分布とひずみ分布の測定を行った。
被験者の無表情の写真を変形前写真とし、微笑した写真を変形後写真とした。撮影条件は、シャッター速度が1/5s、レンズ絞りがF22であり、２つのレンズ間の距離は約80mm、レンズと対象物の距離は約600mmである。

紫外線下で撮影した写真を以下の図１８に示す。紫外線写真には、黒い斑点のようなメラニン色素が鮮明に確認することができ、このメラニン色素をランダムパターンに見立て
ることとする。これらの紫外線写真を用いてステレオ画像相関を行い、三次元形状と変位分布、ひずみ分布を求めた。

図１８に示した紫外線写真を用いて、変形前後の三次元形状を求めた。まず、カメラパラメータをカメラキャリブレーションによって求めた。結果を、表２及び３に示す。

得られた変形前後の三次元形状を、図１９に示す。尚、まつ毛の部分と唇の部分は、メラニン色素のパターンが表れず、画像相関が行えないため、それらの部分は削除した。

変形前後ともに滑らかな形状が得られており、頬の丸みや鼻の形などもはっきりと捉えることができた。よって、塗料等で人為的にランダムパターンと塗布せずとも、メラニン色素によってデータ処理が正しく行うことができたといえる。しかし、変形後の三次元形状において、鼻の部分に少々ばらつきが確認できた。これは、鼻が大きく突起していることで照明されずに暗く映ってしまい、鮮明なパターンが得られないことによって精度が低下しばらつきが現れたと考えられる。尚、本発明では、フェイシャルマッサージの効果を評価する方法の確立を目標としており、鼻はマッサージで形が変わることはないので、この鼻の部分の誤差は問題にはならないといえる。

図２０に、変形前後の三次元形状より求めた変位分布を示す。尚、鼻の部分は変形後の三次元形状の値のばらつきがみられたため削除した。滑らかな分布が求められており、相関が正しく行われたといえる。また、z方向変位に関しては口元にやや大きな変位を確認することができた。これは、変形後画像として微笑している写真を用いているためであり、ここからも結果の妥当性が確認できた。

図２１にひずみ分布を示す。ゲージ長さは20mmである。こちらも滑らかなひずみ分布が得られており、良好な結果といえる。また、変位分布と同様に口元に比較的大きなひずみ
を確認することができた。よって、紫外線写真はひずみ分布を求めるのに有効であるということがいえる。

以上のように、紫外線写真によるステレオ画像相関を用いて、無表情と微笑の表情の違いによって生じる顔面皮膚の変位分布とひずみ分布を求めた。ブラックライトを光源にした装置で撮影した写真を用いて、データ処理を行ったところ、滑らかな変位分布を得ることができた。また、口元に大きなひずみが集中したひずみ分布を得ることができた。

以上の結果より、紫外線写真を用いることで、人為的に塗料等によってランダムパターンを塗布しなくても、ステレオ画像相関を用いてひずみ分布を導出し、美容施術の効果を定量的に解析することができた。

上記した実施例や検証例の結果をまとめる。
本発明では、紫外線画像を用いてステレオ画像相関を行う方法を提案した。即ち、顔面に対して、塗料等で人為的にランダムパターンを塗布せずに、紫外線写真におけるメラニン色素をランダムパターンとして画像相関を行った。

ランダムパターンとして利用できるように、鮮明なコントラストのメラニン色素を撮影するため、撮影装置の最適化を行い、６つの電球型ブラックライトと８本の蛍光灯型ブラックライト、紫外線カットフィルターを除去したデジタルカメラ２台で構成される撮影装置によって、紫外線写真を撮影した。撮影した紫外線写真を用いたところ、滑らかな三次元形状を得ることができ、また表情の違いによる変位分布とひずみ分布を得た。

検証例では、紫外線写真を用いたステレオ画像相関によって求めたひずみ分布の妥当性を確認するために、ポリウレタン製の平板試験片を用いて引張試験を行った。試験片には、ランダムパターンとして紫外線下で発光する蛍光スプレーを塗布し、紫外線光源下で画像相関を行った。試験片に７％のひずみを与えて、ひずみ分布を求めたところ、画像相関によって７％の一様なひずみ場を確認することができた。以上より、紫外線画像を用いたステレオ画像相関法により、妥当なひずみ分布が得られることが分かった。

ここまでは、紫外線写真を用いた美容施術効果の解析方法について説明したが、本発明は、二値化画像を用いても、美容施術効果を解析することができる。

二値化画像とは、ある濃淡のある画像を、濃色又は淡色の２色（例えば、白黒の２色。）に変換した画像をいう。濃色部分と淡色部分を区別するために、ある閾値を定め、画素毎に閾値を上回っているか又は下回っているかを判定し、例えば、閾値を上回っていれば淡色（例えば、白色。）、下回っていれば濃色（例えば、黒色。）というように置き換え、この画像を濃淡（白黒）の２色に変換した画像である。

図２２は、被験者の顔面を撮影した通常の写真であり、（ａ）は施術前、（ｂ）は施術後に撮影した写真である。
この図２２の通常写真に基づく二値化画像を、図２３に示す。図２２と同様に、（ａ）は施術前、（ｂ）は施術後における二値化画像である。図２３によれば、被験者の顔面に表れたシミや毛穴が濃色（黒色）で示され、その他の部分は淡色（白色）で示されている。

本発明では、二値化画像の中で、濃色に変換された箇所をランダムパターンとして用いる。このランダムパターンに基づいて、ステレオ画像相関法を用いてひずみ分布を導出し、このひずみ分布を評価指標として、美容施術の効果を評価する手段については、上記した紫外線写真による美容施術効果の解析方法と同様である。

二値化画像を用いた美容施術効果の解析方法は、普通の写真を用いて行うため、表皮に表れたメラニン色素しか認識できず、皮膚のより深い部位にあるメラニン色素まで検出できる紫外線写真に比して、得られる情報量が少ない。

一方で、紫外線写真を用いた方法では、撮影時に、被験者の肌が紫外線によって刺激されることが予見されること、眼をつぶった写真となること等の問題がある。これに対して、二値化画像による方法では、紫外線による肌刺激の問題は無く、眼を開けた状態で撮影ができるという利点があり、より正確な顔面計測が可能となる。

二値化画像の中で、濃色に変換された箇所は、主に被験者の顔に表れたシミ又は毛穴を示すものである。換言すれば、被験者の顔に表れたシミ又は毛穴として写真に表れた部分が、二値化される段階で濃色に変換されるように設定されることが好ましい。
また、通常の写真から二値化画像へ変換する作業において、各種パラメータを調整可能とし、被験者の顔に表れたシミ又は毛穴を、より分かり易く明確に表示させるため調整可能な構成とすることが好ましい。

本発明において、二値化画像を得る手段に限定はなく、公知公用の二値化手段を特別の制限無く採用することができる。

二値化画像を得る手段として、例えば、次のような手段を挙げることができる。
被験者の顔を撮影した写真の中で、シミや毛穴が表れたある画素は、その周りの画素と比較して、輝度が低く表示される（濃色に表れる）。この輝度が低い画素は、濃色と判定され、その他の輝度が高い画素は、淡色と判定される。
輝度が低い又は高いと判定される基準として、閾値が用いられる。閾値は、被験者の顔を撮影した写真の中で、ある画素がシミ又は毛穴と判定されるか、その他の箇所と判定されるかの境界である。

閾値の設定については、一般的に、次のような閾値処理が用いられる。閾値処理は、閾値の設定方法により、次のような方法が知られている。
（１）濃度ヒストグラムに基づく方法
（２）画像の局所性質を利用する方法
（３）画像を分割し領域毎に設定する方法
（４）適応的処理

上記（１）の濃度ヒストグラムに基づく方法として、Ｐ−タイル法、モード法、判別分析法及び最小誤差法が知られており、各方法を簡単に説明すると、次のとおりである。
Ｐ−タイル法は、画像内で対象物の占める面積（Ｐ％）が既知である場合に、濃度ヒストグラムを作成し、濃度値の累積分布が全体のＰ％となる濃度をみつけ、この値を閾値とする方法である。
モード法は、濃度ヒストグラムを作成し、この濃度ヒストグラムが、画像の対象物と背景のそれぞれに対応した二つの山ができる場合（双峰性）に、山の間の谷の位置を閾値とする方法である。
判別分析法は、濃度ヒストグラムが双峰性を示す場合に上記モード法が用いられ、その他の場合は、濃度ヒストグラムをある閾値で２つのグループに分けたときに、グループの分散が最大となる値を閾値とする方法である。
最小誤差法は、ある閾値で二値化した場合に、対象を背景と誤る可能性（誤り率）を最小にする方法である。

上記（２）の画像の局所性質を利用する方法として、微分ヒストグラム法が知られてい
る。
微分ヒストグラム法は、濃度の変化率（微分値）によって閾値を決定する方法である。微分値を求める方法は、例えば、近傍の各画素の濃度値とその差の最大値及び近傍との差の総和から求められる。そして、濃度値ごとの微分値の総和を求めることで、微分ヒストグラムを求め、ヒストグラムのｙ軸の最大値をとる濃度値（ｘ軸の値）を閾値とする。

上記（３）の画像を分割し領域毎に設定する方法として、領域分割法が知られている。
領域分割法は、画像をいくつかの小領域に分割し、各小領域毎に濃度ヒストグラムを作成し、そこにエッジが含まれていると判断された場合に、その小領域の性質に最も合致した閾値を設定する手段である。

上記（４）の適応的処理として、適応的処理法が知られている。
適応的処理法は、すでに二値化された画素と、注目画素の結合確率を用いて注目画素を予測し、予測値が１となる確率が大なら、二値化後の注目画素が１になりやすい基準の閾値から一定量を差し引いた値を新たな閾値とし、予測値が０となる確率が大なら基準の閾値に一定量を加えた値を新たな閾値に設定する手段である。

本発明で提案する方法は、従来のステレオ画像相関法と異なり、測定対象物に塗料等で人為的にランダムパターンを塗布する必要がない。
これにより、この方法は、マッサージオイル等を用いるフェイシャルマッサージ前後の顔の変形量を定量的に評価することができ、フェイシャルマッサージ等の美容施術効果の評価の方法として有効であるといえる。

紫外線写真又は二値化画像を用いたステレオ画像相関によって顔面のひずみを可視化することで、従来目視で評価していたフェイシャルマッサージの効果を定量的に示すことができる。パターン塗布の必要がないという簡便さから、サロン店頭での測定や、施術者のトレーニングの指標などへの応用が期待できる。

Claims (4)

1. 被験者の顔に対する美容施術の前後に撮影された少なくとも２枚の画像を用いて、美容施術の効果を解析する方法において、
   解析に用いられる画像が、パターンの役割を果たす塗料が塗布されることなく、美容施術の前後に撮影された少なくとも２枚の紫外線写真であって、
   この紫外線写真に表れたメラニン色素をランダムパターンとして、ステレオ画像相関法を用いて、被験者の顔面の三次元形状と、変位分布をそれぞれ導出し、
   前記変位分布を顔面の表面形状に沿って微分することでひずみ分布を導出し、
   この得られたひずみ分布を評価指標として、美容施術の効果を評価することを特徴とする美容施術効果の解析方法。
2. まつ毛及び唇の部分を削除して、ひずみ分布を導出することを特徴とする請求項１に記載の美容施術効果の解析方法。
3. まつ毛、唇及び鼻の部分を削除して、ひずみ分布を導出することを特徴とする請求項１又は２に記載の美容施術効果の解析方法。
4. 被験者の顔に対する美容施術の前後に撮影された少なくとも２枚の画像を用いて、美容施術の効果を解析する方法において、
   解析に用いられる画像が、パターンの役割を果たす塗料が塗布されることなく、美容施術の前後に撮影された少なくとも２枚の写真であって、これらの写真を色彩の濃淡により二色に変換した二値化画像であり、
   この二値化画像に表れた濃色部分をランダムパターンとして、ステレオ画像相関法を用いて、被験者の顔面の三次元形状と、変位分布をそれぞれ導出し、
   前記変位分布を顔面の表面形状に沿って微分することでひずみ分布を導出し、
   この得られたひずみ分布を評価指標として、美容施術の効果を評価することを特徴とする美容施術効果の解析方法。