JP6527765B2 - シワ状態分析装置及びシワ状態分析方法 - Google Patents

シワ状態分析装置及びシワ状態分析方法 Download PDF

Info

Publication number
JP6527765B2
JP6527765B2 JP2015131636A JP2015131636A JP6527765B2 JP 6527765 B2 JP6527765 B2 JP 6527765B2 JP 2015131636 A JP2015131636 A JP 2015131636A JP 2015131636 A JP2015131636 A JP 2015131636A JP 6527765 B2 JP6527765 B2 JP 6527765B2
Authority
JP
Japan
Prior art keywords
image
linear
skin
analysis target
visual score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015131636A
Other languages
English (en)
Other versions
JP2017012384A (ja
Inventor
健一郎 吉田
健一郎 吉田
由樹 諸隈
由樹 諸隈
博英 鍋島
博英 鍋島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kao Corp
Original Assignee
Kao Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kao Corp filed Critical Kao Corp
Priority to JP2015131636A priority Critical patent/JP6527765B2/ja
Publication of JP2017012384A publication Critical patent/JP2017012384A/ja
Application granted granted Critical
Publication of JP6527765B2 publication Critical patent/JP6527765B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、肌画像の分析技術に関する。
顔や首元等に生じるシワは、人の印象の見た目年齢を大きく左右する因子である。しかしながら、シワ状態の評価は目視により行われることが一般的であり、定量化する手法が検討されている。下記特許文献1は、肌のシワ状態を評価する方法を提案する。この提案手法は、肌画像から、シワ毎の位置及び大きさを含むシワ情報を抽出し、この抽出されたシワ情報と過去に得られたシワ情報とを比較することにより、シワ状態を評価する。
下記特許文献2は、肌画像に基づいて肌のシワ状態を定量化するシワ状態分析方法を提案する。この提案手法は、分析対象部位の肌輝度画像から、複数の所定角度の各々についての線状テクスチャ画像をそれぞれ抽出し、抽出された各線状テクスチャ画像から、各所定角度の線形(線状)成分強度をそれぞれ抽出する。そして、抽出された複数の所定角度の線形(線状)成分強度を用いて、分析対象部位の肌のシワ状態情報が生成される。
特開2010−119431号公報 特開2015−62569号公報
上述の特許文献1の提案手法は、撮影画像の或る領域から特定されるシワ部分をレプリカにより三次元形状を得るなどして、シワ情報を抽出している。従って、上述の特許文献1は、撮影画像から直接一本一本のシワ領域を特定する具体的手法を開示していない。
この点、上述の特許文献2は、分析対象部位の肌輝度画像に対する画像処理により複数の所定角度の各々についての線状テクスチャ画像を抽出することで、分析対象部位の肌に現れる様々な線形成分(線状成分)の特徴量を取得することができることを提示している。更に、特許文献2は、取得された線状成分の方向性の強さが、その線状成分として表される溝群が与えるシワ感の強さを示すという技術的思想を提示している。
本発明は、上述の特許文献2で提示される手法に対して、新たな着想から得られた更なる工夫を加える。即ち、本発明は、肌画像に基づいて、専門評価者によるシワの目視評価の視点が反映されるように、シワ状態をスコア化する技術を提供する。
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
第一の側面は、シワ状態分析方法に関する。第一の側面に係るシワ状態分析方法は、分析対象部位の肌輝度画像を取得する画像取得工程と、画像取得工程で取得された肌輝度画像から、前記分析対象部位に対応する一以上の所定角度についての一以上の線状テクスチャ画像を抽出する線検出工程と、線検出工程で抽出された一以上の線状テクスチャ画像から、前記一以上の所定角度の線状成分強度を抽出する強度抽出工程と、複数のサンプル顔画像を対象とする回帰分析により得られた、前記一以上の所定角度の線状成分強度と顔画像上のシワの目視スコアとの関係式、及び前記強度抽出工程で抽出された線状成分強度を用いて、前記分析対象部位の肌のシワの推定目視スコアを算出する算出工程と、を含む。
第二の側面は、シワ状態分析装置に関する。第二の側面に係るシワ状態分析装置は、分析対象部位の肌輝度画像を取得する画像取得手段と、画像取得手段で取得された肌輝度画像から、前記分析対象部位に対応する一以上の所定角度についての一以上の線状テクスチャ画像を抽出する線検出手段と、線検出手段で抽出された一以上の線状テクスチャ画像から、前記一以上の所定角度の線状成分強度を抽出する強度抽出手段と、複数のサンプル顔画像を対象とする回帰分析により得られた、前記一以上の所定角度の線状成分強度と顔画像上のシワの目視スコアとの関係式、及び前記強度抽出手段で抽出された線状成分強度を用いて、前記分析対象部位の肌のシワの推定目視スコアを算出する算出手段と、を備える。
なお、本発明の別側面は、上記第一の側面に係るシワ状態分析方法を少なくとも一つのコンピュータに実行させるプログラムであり、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体である。この記録媒体は、非一時的な有形の媒体を含む。
上記各側面によれば、肌画像に基づいて、専門評価者によるシワの目視評価の視点が反映されるように、シワ状態をスコア化することができる。
第一実施形態におけるシワ状態分析装置のハードウェア構成例を概念的に示す図である。 第一実施形態におけるシワ状態分析装置の動作例を示すフローチャートである。 第一実施形態におけるシワ状態分析装置の処理構成例を概念的に示す図である。 第二実施形態におけるシワ状態分析装置の動作例を示すフローチャートである。 推定目視スコアの第一出力例を示す図である。 推定目視スコアの第二出力例を示す図である。 第二実施形態におけるシワ状態分析装置の処理構成例を概念的に示す図である。 第三実施形態におけるシワ状態分析装置の動作例を示すフローチャートである。 分析対象部位の位置の例を示す図である。 第三実施形態におけるシワ状態分析装置の処理構成例を概念的に示す図である。 線状成分強度の角度及び二値化閾値の組み合わせと、目視スコアとの相関を示すグラフである。 角度「135度」に更に一つの角度を加えた回帰分析における、その加えられた角度と自由度調整済み決定係数との関係を示すグラフである。 角度「135度」及び「85度」に更に一つの角度を加えた回帰分析における、その加えられた角度と自由度調整済み決定係数との関係を示すグラフである。 単回帰式(1)で算出された推定目視スコアSと官能評価で得られた目視スコアとの関係を表すグラフである。 重回帰式(2)で算出された推定目視スコアSと官能評価で得られた目視スコアとの関係を表すグラフである。 サンプル提供者#1及び#2の分析対象部位の肌輝度画像を示す図である。 サンプル提供者#1及び#2の肌輝度画像から得られる線状成分強度及び推定目視スコアを比較する表である。 サンプル提供者#1及び#2についての135度及び85度の線状テクスチャ画像を並べて出力する例を示す図である。 サンプル提供者#1及び#2についての135度及び85度の線状テクスチャ画像の重畳画像の出力例を示す図である。
以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
[第一実施形態]
〔ハードウェア構成〕
図1は、第一実施形態におけるシワ状態分析装置(以降、単に分析装置とも表記する)10のハードウェア構成例を概念的に示す図である。第一実施形態における分析装置10は、いわゆるコンピュータであり、CPU(Central Processing Unit)1、メモリ2、入出力インタフェース(I/F)3、通信ユニット4等を有する。
CPU1には、一般的なCPUに加えて、特定用途向け集積回路(ASIC)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等も含まれる。
メモリ2は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)である。
入出力I/F3は、出力装置5、入力装置6等のユーザインタフェース装置と接続可能である。出力装置5は、表示装置、投影装置(プロジェクタ)、印刷装置(プリンタ)、スピーカ等である。表示装置は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイのような、CPU1等により処理された描画データに対応する画面を表示する装置である。入力装置6は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置、マイクロフォン(マイク)、撮像装置(カメラ、ビデオ)等である。表示装置及び入力装置6は一体化され、タッチパネルとして実現されてもよい。
通信ユニット4は、他のコンピュータとの通信や、他の機器との信号のやりとり等を行う。通信ユニット4には、撮像装置(図示せず)や可搬型記録媒体等も接続され得る。
分析装置10は、図1に図示しないハードウェア要素を含んでもよいし、各ハードウェア要素の数はそれぞれ制限されない。例えば、分析装置10は複数のCPU1を有していてもよいし、複数の出力装置5に接続されていてもよい。分析装置10のハードウェア構成は、図1に示される内容に限定されない。
〔動作例/シワ状態分析方法〕
図2は、第一実施形態におけるシワ状態分析装置10の動作例を示すフローチャートである。以下、図2を用いて、第一実施形態におけるシワ状態分析方法を説明する。第一実施形態におけるシワ状態分析方法は、分析装置10のような少なくとも一つのコンピュータにより実行される。例えば、当該シワ状態分析方法は、メモリ2に格納されるプログラムがCPU1により実行されることで、実現される。
分析装置10により実行されるシワ状態分析方法は、図2に示されるように、画像取得工程(S21)、線検出工程(S22)、強度抽出工程(S23)、及び算出工程(S24)を含む。以下、これら各工程について詳述する。
画像取得工程(S21)では、分析装置10は、分析対象部位の肌輝度画像を取得する。人の肌の一部でシワが生じ得る部位であれば、分析対象部位は制限されない。「シワ」は、加齢や乾燥、真皮機能の低下等、発生原因によって複数のタイプに分類される場合がある。例えば、「小ジワ」と呼ばれるシワは、表皮の乾燥状態によって生じるシワであり、スキンケアによる乾燥状態の改善で修復可能であることが知られている。また、真皮機能の低下によって生じるシワは、「小ジワ」よりも溝が深く、表皮の乾燥状態の改善だけでは修復が困難であることが知られている。このようなタイプの中でどのタイプのシワの状態を分析するかによって、分析対象部位が決められてもよい。例えば、小ジワの状態を分析する場合には、分析対象部位には、例えば、頬、目周り、口周り、首筋のような、小ジワが生じ易い所定範囲が選ばれる。また、加齢によって生じるシワの状態を分析する場合には、例えば、目尻や額や首筋の所定範囲が分析対象部位に選ばれる。
肌輝度画像は、肌の分析対象部位が写る画像であり、画素毎に明暗情報を持つ画像である。肌輝度画像は、一般的なカメラで撮像されたカラー画像がグレースケール化されることで得られるグレースケール画像であってもよい。また、肌輝度画像は、JPEG(Joint Photographic Experts Group)形式、BMP(Bitmap image)形式、TIFF(Tagged Image File Format)形式、GIF(Graphic Interchange Format)形式等の画像ファイルとして取得されてもよいし、各画素の明暗情報を羅列したデータとして取得されてもよい。また、画素値が輝度と線形な関係にあることが好ましいので、ここで用いる肌輝度画像ではγ補正が行われていないことが好ましい。カメラで撮像された画像にγ補正がかかっている場合は、逆γ補正で画素値を輝度と線形な関係に変換しておくことが好ましい。本実施形態は、肌輝度画像のデータ形式を制限しない。分析装置10は、当該肌輝度画像を、可搬型記録媒体、他の装置等から通信ユニット4を経由して取得することもできる。
線検出工程(S22)では、分析装置10は、画像取得工程(S21)で取得された肌輝度画像から、分析対象部位に対応する一以上の所定角度についての一以上の線状テクスチャ画像を抽出する。一つの所定角度についての線状テクスチャ画像は、肌輝度画像内においてその所定角度の方向に延びる線状成分のみを表す画像である。ここで、線状テクスチャ画像により表わされる線状成分は、厳密に言えば、所定角度方向に存在する成分のみでなく、所定角度から許容角度の範囲内に存在する成分を含んでもよい。許容角度の範囲は、線状テクスチャ画像の抽出手法に依存する。
線状テクスチャ画像で表わされる線状成分は、肌輝度画像に写る線状の模様であり、ほとんど、当該分析対象部位の肌表面に形成された線状の溝(くぼみ)に対応する。よって、線検出工程(S22)によれば、シワと視認される溝、及び、シワとは視認され難い溝(浅い皮溝など)を含む、分析対象部位の肌に現れる様々な線状成分を線状テクスチャ画像として抽出することができる。
本発明者らは、実施例の項において詳述するように、複数のサンプル顔画像を対象にして、専門評価者によるシワの状態の目視評価の結果と角度毎の線状成分強度との関係を回帰分析した。この専門評価者によるシワの状態の目視評価の結果は、目視スコアとして数値で表された。即ち、目視スコアは、シワの状態を数値化した値である。例えば、目視スコアは、視認されるシワの多さのレベルを示す値(全くない=1、ややある=2、ある=3、とてもある=4)に決定される。目視スコアで表されるシワの状態は、このような例のみに限定されず、目視評価の基準によって変わり得る。具体的には、上述した複数のタイプの中の一つのタイプのシワに対象を絞って、そのシワの状態が目視スコアで表されてもよい。例えば、真皮状態の悪化を原因とする「シワ」(ここでは、「真皮ジワ」と表記する)の状態が目視スコアで表されてもよい。この場合、専門評価者は、出来る限り、「真皮ジワ」と、「小ジワ」等の他のタイプのシワとを区別して、「真皮ジワ」の状態(数、長さ、深さ等)のレベルを目視スコアとして決定する。
本発明者らは、複数のサンプル顔画像を対象に、このような目視スコアと角度毎の線状成分強度との関係を回帰分析することにより、或る分析対象部位に関して、目視スコアと相関の高い線状成分の角度を見出した。更に、本発明者らは、目視スコアと相関の高い角度の線状成分強度を限定的に用いれば、分析対象部位のシワの目視スコアを十分に説明できることを見出した。これにより、本実施形態では、分析対象部位のシワの目視スコアを十分に説明可能な限定的な数の所定角度が、その分析対象部位に対応して予め決められ、メモリ2に保持される。例えば、分析装置10は、一つ又は二つの所定角度についての一つ又は二つの線状テクスチャ画像を抽出する。これにより、多数の所定角度について線状テクスチャ画像を抽出する手法に比べて、シワ状態のスコア化の精度を維持しながら、処理時間を短縮することができる。
しかしながら、線検出工程(S22)で抽出対象とされる所定角度の数は、三つ以上に決められても良い。例えば、0度から360度までの間を等角度間隔(例えば、10度)で分けて得られる角度や、目視スコアと相関の高い順に多数の角度が所定角度として用いられてもよい。分析装置10は、上記一以上の所定角度を、入力装置6を用いてユーザにより入力させて、その入力データとして上記一以上の所定角度を取得することもできる。
線状テクスチャ画像の抽出手法には、周知の様々な手法を用いることができる。例えば、Prewittオペレータ、Sobelオペレータ等のようなエッジ検出オペレータ、VanderBrugオペレータ、Patonオペレータ、Kasvandオペレータ等のような線検出オペレータ、Wavelet、Steerable、Gaborフィルタ等をその抽出手法として利用することができる。本実施形態は、線状テクスチャ画像の具体的抽出手法を制限しない。この抽出手法として、Gaborフィルタを用いる実施例が後述される。
強度抽出工程(S23)では、分析装置10は、線検出工程(S22)で抽出された一以上の線状テクスチャ画像から、一以上の所定角度の線状成分強度を抽出する。一つの所定角度の線状成分強度は、その所定角度の方向に延びる線状成分の特徴量(線状成分量)を示す。線状成分強度の抽出手法には、周知の様々なテクスチャ解析手法を用いることができる。本実施形態は、各所定角度の方向に延びる線状成分の特徴量を得ることができれば、線状成分強度の抽出手法を制限しない。
例えば、分析装置10は、線状テクスチャ画像の濃度ヒストグラムから分散値又は標準偏差値を算出し、この分散値又は標準偏差値を線状成分強度とすることができる。大きい分散値を示す線状テクスチャ画像は、明暗のコントラストが高い画像であり、明暗のコントラストが高い画像には、強い凸状成分(明るい成分)と強い凹状成分(暗い成分)とが混在すると考えられる。この混在状態は、画像の線状成分量が大きい状態といえる。一方で、線状テクスチャ画像における上記混在状態は、肌表面にはっきりとした凹凸形状が多数存在している状態と考えることができる。よって、線状テクスチャ画像の濃度ヒストグラムから得られる分散値は、肌表面に形成された、その所定角度方向に延びる線状の溝の特徴量、即ち、線状成分強度を示すと言える。
このような濃度ヒストグラム法(GLHM)以外にも、濃度レベル差分法(GLDM)や空間濃度レベル依存法(SGLDM)等が当該抽出手法として利用されてもよい。また、分析装置10は、線状テクスチャ画像を所定の二値化閾値を用いて二値化処理し、得られた二値化画像内の一方の値の面積を線状成分強度として算出するようにしてもよい。この場合には、線検出工程(S22)において、分析装置10は、二値化処理まで実行してもよく、二値化処理後の二値化画像を線状テクスチャ画像と呼ぶこともできる。一方の値の面積は、例えば、白又は黒の画素の数に対応する。また、分析装置10は、一方の値の面積と他方の値の面積との比、又は、全体面積に対する一方の値の面積の割合を線状成分強度として算出するようにしてもよい。上記所定の二値化閾値は、肌輝度画像に写る分析対象部位の撮影倍率や分析対象部位の撮影環境(明るさ等)等により予め設定され、メモリ2に保持される。本実施形態では、上記所定の二値化閾値は、上述の目視スコアと相関の高い線状成分強度が抽出できる値に設定されることが望ましい。望ましい二値化閾値の具体的な決定方法については、実施例の項において詳述する。
算出工程(S24)では、分析装置10は、複数のサンプル顔画像を対象とする回帰分析により得られた、当該一以上の所定角度の線状成分強度と顔画像上のシワの目視スコアとの関係式、及び強度抽出工程(S23)で抽出された線状成分強度を用いて、分析対象部位の肌のシワの推定目視スコアを算出する。その関係式を形成する線状成分強度に対応する所定角度は、線検出工程(S22)で対象とされる、分析対象部位に対応する一以上の所定角度と同一である。本実施形態では、上述の回帰分析により、上述の目視スコアと最も相関の高い第一の所定角度の線状成分強度を説明変数とし目視スコアを目的変数とする単回帰式、又はその第一の所定角度を含む二つの所定角度の線状成分強度を説明変数とし目視スコアを目的変数とする重回帰式が予め生成及び保持され、上述の関係式として利用される。その関係式の具体例については実施例として後述する。
分析装置10は、このように予め生成及び保持される関係式に、強度抽出工程(S23)で抽出された線状成分強度を代入することにより、推定目視スコアを算出する。算出される推定目視スコアは、(S21)で取得された肌輝度画像に写る分析対象部位のシワの状態が専門評価者により目視で評価された場合に評価結果として得られると推定されるシワ状態のスコアを意味する。これにより、分析装置10は、被験者の分析対象部位のシワの状態に関し、専門評価者に実際に目視評価させることなく、実際の目視評価の結果を近似するスコアを算出することができる。
分析装置10は、算出された推定目視スコアをメモリ2に格納する。例えば、分析装置10は、被験者の識別情報を取得し、この識別情報と関連付けて、算出された推定目視スコアを格納する。また、分析装置10は、その推定目視スコアを通信ユニット4を経由して可搬型記録媒体に格納してもよいし、他のコンピュータに提供することもできる。
〔処理構成〕
図3は、第一実施形態におけるシワ状態分析装置10の処理構成例を概念的に示す図である。第一実施形態における分析装置10は、画像取得部11、線検出部12、強度抽出部13、算出部14等を有する。これら各処理モジュールは、例えば、CPU1によりメモリ2に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/F3を介してインストールされ、メモリ2に格納されてもよい。
分析装置10は、図3に示される各処理モジュールを動作させることで、上述のシワ状態分析方法を実行することができる。即ち、分析装置10は、図2に示されるように動作する。この場合、画像取得部11は、上述の画像取得工程(S21)を実行し、線検出部12は、上述の線検出工程(S22)を実行し、強度抽出部13は、上述の強度抽出工程(S23)を実行し、算出部14は、上述の算出工程(S24)を実行する。
分析装置10は、分析対象部位の肌輝度画像を、分析装置10自身で予め保持していてもよいし、分析装置10自身で生成してもよいし、他のコンピュータや可搬型記録媒体等から入出力I/F3を介して取得してもよい。
〔第一実施形態における作用及び効果〕
上述したように、第一実施形態では、分析対象部位の肌輝度画像から、その分析対象部位に対応する一以上の所定角度についての一以上の線状テクスチャ画像が抽出され、一以上の線状テクスチャ画像から、一以上の所定角度の線状成分強度が抽出される。一方で、複数のサンプル顔画像を対象とする回帰分析により、一以上の所定角度の線状成分強度と専門評価者によるシワの目視評価の結果を示す目視スコアとの関係式が予め定義されている。そして、上記算出された一以上の所定角度についての線状成分強度がその関係式に適用されることで、分析対象部位の肌のシワの推定目視スコアが算出される。
これにより、第一実施形態によれば、分析対象部位の肌のシワ状態に関し、専門評価者に実際に目視評価させることなく、その分析対象部位の肌輝度画像に基づいて、実際の目視評価の結果と近似するスコアを得ることができる。結果、専門評価者の手間や負担を軽減することができると共に、シワ状態の分析にかかるコストの低下にもつながる。また、本実施形態によれば、シワ状態の見た目の印象を安定的かつ定量的に評価することができる。
更に、第一実施形態によれば、目視スコアと相関の高い、線状成分強度の角度を用いることで、少ない数の角度の線状成分強度から、専門評価者による実際の目視評価の結果に近似する推定目視スコアを算出することができる。これにより、第一実施形態によれば、多数の所定角度に関して線状テクスチャ画像及び線状成分強度を算出する手法に比べて、精度を維持しながら、推定目視スコアの算出速度を向上させることができる。
また、第一実施形態によれば、算出される推定目視スコアが表すシワの状態を、「小ジワ」、「真皮ジワ」等の或るタイプのシワの状態に限定することができる。この場合には、専門評価者による目視評価は、対象タイプのシワの状態を中心に行われ、その評価結果として得られる目視スコアが回帰分析に用いられる。これにより、所望のタイプのシワの状態を中心的に表す推定目視スコアを算出することができる。
[第二実施形態]
第二実施形態は、第一実施形態におけるシワ状態分析の結果を効果的に出力する。以下、第二実施形態における分析装置10及びシワ状態分析方法について、第一実施形態と異なる内容を中心に説明する。以下、第一実施形態と同じ内容の説明は、適宜省略される。第二実施形態における分析装置10のハードウェア構成は、図1に示される第一実施形態と同じである。
〔動作例(シワ状態分析方法)〕
以下、第二実施形態におけるシワ状態分析方法を図4を用いて説明する。図4は、第二実施形態における分析装置10の動作例を示すフローチャートである。図4では、図2と同じ工程については同じ符号が付されている。
分析装置10により実行される第二実施形態におけるシワ状態分析方法は、図2に示される第一実施形態の方法に加えて、年齢情報を取得する工程(S41)及び出力工程(S42)を更に含む。以下、第一実施形態と異なる内容の工程を中心に、各工程について詳述する。
工程(S41)において、分析装置10は、工程(S21)で取得される肌輝度画像に写る被験者の年齢情報を取得する。取得される年齢情報は、具体的な年齢を示してもよいし、30歳代、40歳代といった年代を示してもよいし、30歳以上35歳未満、35歳以上40歳未満といった年齢範囲を示してもよい。分析装置10による年齢情報の取得方法は制限されない。例えば、分析装置10は、被験者又は他のユーザにその年齢情報を入力させる画面を出力装置5の表示装置に表示し、その画面に対する入力装置6を用いた入力操作により、その年齢情報を取得することができる。また、分析装置10は、マイクから得られる音声を認識することで、年齢情報を取得してもよい。また、分析装置10は、被験者の顔を撮像して得られる顔画像から年齢を推定し、その推定された年齢を年齢情報として取得することもできる。工程(S41)は、工程(S42)の実行前であれば、どの順番で実行されてもよい。
工程(S42)において、分析装置10は、工程(S24)で算出された推定目視スコアを出力する。本実施形態では、分析装置10は、工程(S41)で取得された年齢情報に対応する代表目視スコアを特定し、特定された代表目視スコアと工程(S24)で算出された推定目視スコアとを並べて出力する。この場合、分析装置10は、年齢毎、年代毎、又は或る年齢範囲毎の代表目視スコアを予め保持する。分析装置10は、保持される複数の代表目視スコアの中から、取得された年齢情報により示される年齢、年代、又は年齢範囲に対応する代表目視スコアを特定することができる。代表目視スコアは、その年齢、年代、又は年齢範囲の人の肌の標準的(代表的)なシワ状態を示す。例えば、代表目視スコアは、年齢、年代、又は年齢範囲の人の肌に関し得られた目視スコア又は推定目視スコアの平均値に設定される。
また、分析装置10は、工程(S41)で取得された年齢情報に対応する代表線状テクスチャ画像を特定し、この代表線状テクスチャ画像と工程(S22)で抽出された線状テクスチャ画像とを、分析対象部位に対応する所定角度毎に並べて出力することもできる。この場合、分析装置10は、年齢毎、年代毎、又は或る年齢範囲毎に、一以上の所定角度の各々についての代表線状テクスチャ画像を予め保持する。分析装置10は、保持される複数の代表線状テクスチャ画像の中から、取得された年齢情報により示される年齢、年代、又は年齢範囲に対応する代表線状テクスチャ画像を特定することができる。代表線状テクスチャ画像は、例えば、該当する年齢範囲の人の分析対象部位の肌輝度画像から工程(S22)と同様の手法により予め抽出されたもののうち、前記代表目視スコアと近しい目視スコア又は推定目視スコアとなった人の線状テクスチャ画像を使うことができる。
図5は、推定目視スコアの第一出力例を示す図である。図5の例では、分析装置10は、被験者の分析対象部位を含む画像RN、被験者の分析対象部位の肌輝度画像から抽出された所定角度PAの線状テクスチャ画像YT、及び被験者と同年代における所定角度PAの代表線状テクスチャ画像ATを並べて表示装置に表示する。更に、分析装置10は、算出された推定目視スコア「あなたのシワ指数:4」と、被験者と同年代の平均目視スコア「同年代の平均シワ指数:3」とを並べて表示装置に表示している。この出力を見た被験者は、自身の肌のシワ状態を具体的な数値(推定目視スコア)で把握することができると共に、被験者と同年代の平均と容易に比較することもできる。また、その被験者は、自身の線状テクスチャ画像を見ることで、所定角度PA方向に延びる線状テクスチャの分布や量等を認識することができると共に、同年代の線状テクスチャとの比較もすることができる。図5の例に示されるように、分析装置10は、更に、推定目視スコアと代表目視スコアとの比較結果をテキスト(文章「あなたの肌は同年代の平均と比べて、シワが多めです」等)で表示することもできる。
図5の例では、所定角度PAのみについて、線状テクスチャ画像が並べて出力されたが、分析装置10は、複数の所定角度の各々について、被験者の線状テクスチャ画像と同年代の線状テクスチャ画像とをそれぞれ並べて表示することもできる。このようにすれば、角度方向毎の線状テクスチャの状態が確認できる。
図6は、推定目視スコアの第二出力例を示す図である。図6に示されるように、分析装置10は、工程(S22)で抽出された複数の線状テクスチャ画像を重畳することで得られる画像を表示装置に表示することもできる。図6の例では、所定角度PA1の線状テクスチャ画像と所定角度PA2の線状テクスチャ画像とが重畳された画像STが表示されている。表示される画像STは、シワ状態の目視スコアと相関の高い角度PA1及びPA2方向にそれぞれ延びる線状テクスチャの重ねあわせを表し、それ以外の角度方向に延びる線状テクスチャを排除しているため、シワ状態の見た目の特徴を強調する画像といえる。よって、表示される重畳画像を見た被験者は、自身のシワ状態の見た目を容易に把握することができる。また、分析装置10は、複数の線状テクスチャ画像が重畳されているだけでなく、線状テクスチャ画像毎に異なる色で線状成分が表される画像を出力することもできる。このようにすれば、角度方向毎の線状テクスチャの状態がより一層把握し易くなる。
工程(S42)で出力される線状テクスチャ画像及び代表線状テクスチャ画像は、線検出工程(S22)で肌輝度画像から任意の抽出手法で抽出された画像であってもよいし、その画像を二値化処理等により更に加工して得られる画像であってもよい。複数の角度の線状テクスチャ画像の重畳画像を出力する場合には、抽出後の画像どうしが重畳されてもよいし、抽出後の画像と更に加工後の画像とが重畳されてもよい。後者について言い換えれば、重畳する線状テクスチャ画像の抽出手法が異なっていてもよい。例えば、Gaborフィルタの適用により得られた或る角度の線状テクスチャ画像に対して、Gaborフィルタの適用後に二値化処理を実行することで得られた他の角度の線状テクスチャ画像が重畳されて、出力されてもよい。
分析装置10による上述の出力は、表示装置への表示であってもよいし、印刷装置への印刷であってもよい。また、分析装置10は、被験者の推定目視スコアや代表目視スコアを読みあげる音声をスピーカから出力することもできる。分析装置10による出力の方法は制限されない。
〔処理構成〕
図7は、第二実施形態におけるシワ状態分析装置10の処理構成例を概念的に示す図である。第二実施形態における分析装置10は、第一実施形態の処理構成に加えて、情報取得部16及び出力処理部17を更に有する。これら各処理モジュールについても、例えば、CPU1によりメモリ2に格納されるプログラムが実行されることにより実現される。
分析装置10は、図7に示される各処理モジュールを動作させることで、上述のシワ状態分析方法を実行することができる。即ち、分析装置10は、図4に示されるように動作する。この場合、情報取得部16は、年齢情報を取得する工程(S41)を実行し、出力処理部17は、上述の出力工程(S42)を実行する。
〔第二実施形態における作用及び効果〕
第二実施形態では、被験者の年齢情報に対応する代表目視スコアと、被験者に関し算出された推定目視スコアとが並べて出力される。これにより、被験者に、自身の肌のシワ状態を具体的な数値(推定目視スコア)で把握させることができると共に、被験者のシワ状態の、同年代の標準的なシワ状態との相対的な位置付けを容易に把握させることができる。
また、第二実施形態では、被験者の年齢情報に対応する代表線状テクスチャ画像と、被験者の肌輝度画像から抽出された線状テクスチャ画像とが、分析対象部位に対応する所定角度毎に並べて出力される。これにより、被験者に、所定角度方向毎の自身の肌のシワ状態(線状成分状態)を画像で認識させることができると共に、同年代の標準的なシワ状態との比較もさせることができる。
また、第二実施形態では、複数の所定角度の線状テクスチャを表す複数の線状テクスチャ画像が重畳された画像が出力される。各線状テクスチャ画像は、シワ状態の目視スコアと高い相関を示す角度の線状成分をそれぞれ表すため、この重畳画像は、シワ状態の見た目に強い影響を与える線状成分を強調する。従って、その重畳画像の出力により、被験者に、自身のシワ状態の見た目の印象を容易に把握させることができる。また、その重畳画像において、線状テクスチャ画像毎に異なる色で線状成分を表すことで、角度方向毎の線状テクスチャの状態をより一層把握し易くすることができる。
このように、第二実施形態によれば、被験者のシワ状態を効果的に出力することができるため、シワ状態のカウンセリングや、シワ状態を改善するためのスキンケア製品や化粧料のカウンセリングに、第二実施形態を利用することができる。
[第三実施形態]
以下、第三実施形態における分析装置10及びシワ状態分析方法について、上述の各実施形態と異なる内容を中心に説明する。第三実施形態では、シワ状態の分析精度を上げ得る肌輝度画像の具体的取得手法が新たに追加される。以下、第一及び第二実施形態と同じ内容の説明は、適宜省略される。第三実施形態における分析装置10のハードウェア構成は、図1に示される第一実施形態と同じである。
〔動作例(シワ状態分析方法)〕
以下、第三実施形態におけるシワ状態分析方法を図8を用いて説明する。図8は、第三実施形態における分析装置10の動作例を示すフローチャートである。図8では、図2と同じ工程については同じ符号が付されている。
分析装置10により実行される第三実施形態におけるシワ状態分析方法は、第一実施形態又は第二実施形態の工程に加えて、画像処理工程(S81)及び規格化工程(S82)を更に含む。但し、図8は、第一実施形態の工程に、第三実施形態独自の工程(S81)及び(S82)を付加したシワ状態分析方法を示す。以下、第一実施形態と異なる内容の工程を中心に、各工程について詳述する。
画像処理工程(S81)では、分析装置10は、被験者の肌にS偏光を投射しS偏光及びP偏光を撮像して得られる各偏光画像から表面反射光画像を取得する。具体的には、分析装置10は、S偏光を投射しS偏光を撮像して得られる偏光画像(S−S偏光画像)と、S偏光を投射しP偏光を撮像して得られる偏光画像(S−P偏光画像)との差分を取る。S−S偏光画像は、被験者の肌の表面反射光成分が強く、内部反射光成分が少ない画像であり、S−P偏光画像は、被験者の肌の内部反射光成分が強い画像である。よって、S−S偏光画像とS−P偏光画像との差分を得ることにより、表面反射光成分以外の成分(内部反射光)を除いた、表面反射光画像を取得することができる。ここで、S偏光の向きは任意に設定できる。一方、P偏光の向きはS偏光の向きと直交させる必要がある。例えば、S偏光を上下方向に設定し、P偏光を左右方向に設定することができる。ここで用いる各偏光画像も、第一実施形態における肌輝度画像と同様に、画素値が輝度と線形な関係にあることが好ましいので、γ補正が行われていないことが好ましい。分析装置10は、各偏光画像を、撮像装置、可搬型記録媒体、他の装置等から入出力I/F3を経由して取得することができる。
更に、分析装置10は、P偏光を投射しS偏光を撮像して得られるP−S偏光画像と、P偏光を投射しP偏光を撮像して得られるP−P偏光画像とを更に用いて、表面反射光画像を取得するようにしてもよい。これにより、全偏光成分を正しく考慮した表面反射光画像を取得することができる。但し、P−S偏光画像及びP−P偏光画像を用いる場合には、撮影時間が長くなり、画像間における被写体のずれが生じ易いこと、より多くの撮影設備が必要となることといった問題点がある。よって、このような問題点とノイズの抑制という効果との対比によれば、上述のようなS−S偏光画像とS−P偏光画像との組み合わせのみを用いる手法が望ましい。
規格化工程(S82)では、分析装置10は、(S81)で得られた表面反射光画像から分析対象部位の規格化された肌画像を抽出する。具体的には、分析装置10は、当該表面反射光画像から分析対象部位を検出し、その検出された分析対象部位の画像領域に基づいて、分析対象部位の規格化された画像(肌画像)を抽出する。(S81)で取得される各偏光画像における解像度、サイズ、分析対象部位の向きが不揃いの場合には、規格化処理として、画像の解像度やサイズの調整、画像内に写る分析対象部位の向きの調整等が行われてもよい。
図9は、分析対象部位の位置の例を示す図である。図9の例では、白線で囲まれた領域、即ち、眼窩下部の正方形の領域が、分析対象部位として検出される。
分析対象部位の検出手法は制限されない。例えば、分析装置10は、表面反射光画像において目及び鼻の領域を自動検出し、その目及び鼻の領域の相対的位置関係から分析対象部位を自動検出することができる。他の例として、ユーザが、入力装置6を操作することにより、表面反射光画像内の分析対象部位の領域を指定し、その領域に対応する画像を分析装置10に生成させるようにしてもよい。また、表面反射光画像内の予め固定的に決められた領域が分析対象部位とされてもよい。
画像取得工程(S21)では、分析装置10は、(S82)で得られた肌画像から色情報を削除することにより、当該肌輝度画像を取得する。色情報を削除する方法は、RGB値の平均値又は重みづけ平均値、或いは単にRGB値のいずれか1つを各画素の代表値として用いる方法などが取り得る。この肌輝度画像に基づいて、第一実施形態の方法と同様に、(S22)以降が実行される。
〔処理構成〕
図10は、第三実施形態における分析装置10の処理構成例を概念的に示す図である。第三実施形態における分析装置10は、第一実施形態又は第二実施形態の処理構成に加えて、画像処理部18及び規格化部19を更に有する。但し、図10は、第一実施形態の処理構成に、第三実施形態独自の画像処理部18及び規格化部19を加えた処理構成を示す。画像処理部18及び規格化部19についても、他の処理モジュールと同様に、CPU1によりメモリ2に格納されるプログラムが実行されることにより実現される。
分析装置10は、図10に示される各処理モジュールを動作させることで、上述のシワ状態分析方法を実行することができる。即ち、分析装置10は、図8に示されるように動作する。この場合、画像処理部18は、上述の画像処理工程(S81)を実行し、規格化部19は、上述の規格化工程(S82)を実行する。他の各処理モジュールは、第一実施形態と同様である。
分析装置10は、各偏光画像を、他のコンピュータや可搬型記録媒体等から入出力I/F3を介して取得することができる。また、分析装置10は、入出力I/F3に接続される、図1に図示されていない撮像装置を更に有してもよい。この場合、分析装置10は、その撮像装置から当該各偏光画像を取得することもできる。
上述の第三実施形態では、規格化工程(S82)及び規格化部19が設けられたが、偏光画像が規格化された状態で生成され、かつ、偏光画像において分析対象部位のみが写されている場合には、規格化工程(S82)及び規格化部19は省くことができる。
〔第三実施形態における作用及び効果〕
第三実施形態では、偏光画像から表面反射光画像が取得され、この表面反射光画像から、分析対象部位の規格化された肌画像が取得される。そして、この肌画像から色情報が削除されることで、分析対象部位の肌輝度画像が取得され、この取得された肌輝度画像に基づいて、第一実施形態と同様に、推定目視スコアが算出される。
表面反射光画像は、クマ、シミ、ソバカス等のような色ムラ成分を除外した肌表面の形状に由来する成分(凹凸成分)を表す。従って、第三実施形態によれば、肌輝度画像から抽出される線状テクスチャ画像に、分析対象部位の肌表面の形状以外に由来する線状成分(ノイズ成分)が含まれるのを一層防ぐことができる。これにより、肌表面の形状(主に溝)以外のノイズ成分を除外した状態で、各所定角度の線状成分強度を抽出することができるため、シワ状態を一層高精度に分析することができる。
以下に実施例を挙げ、上述の各実施形態を更に具体的に説明する。上述の各実施形態は、以下の実施例から何ら限定を受けない。
本発明者らは、複数のサンプル顔画像に対する官能評価を実施し、各サンプル顔画像に写る各被験者の肌について、シワ状態の目視スコアをそれぞれ取得した。官能評価では、3名の専門評価者が、210名のサンプル提供者の全顔が写る210枚のサンプル顔画像(写真)をそれぞれ見て、各サンプル提供者の肌のシワの状態を評価した。本実施例では、サンプル顔画像により表される全顔の中の、分析対象部位としての頬(眼窩下部)の部分が着目され、表皮の乾燥状態に依存する「小ジワ」を中心に、そのシワの状態が評価された。また、この官能評価では、各専門評価者の評価基準を統一するために、「小ジワ」の状態の4つの段階を代表する4人の全顔画像が比較対象として提供された。シワが非常に少ない全顔画像の目視スコアが1点、シワが非常に多い全顔画像の目視スコアが4点、その間の2つの全顔画像の目視スコアが2点及び3点に設定された。各専門評価者は、その4枚の全顔画像と各サンプル顔画像とを比較しながら、各サンプル顔画像に対して、1点、1.5点、2点、2.5点、3点、3.5点、4点の中のいずれか一つをそれぞれ割り振った。これにより、各サンプル顔画像について3名分の点数がそれぞれ付され、3名分の点数の平均が各サンプル顔画像の目視スコアとしてそれぞれ決定された。
本発明者らは、上述の210名のサンプル提供者の分析対象部位を含む210枚の肌輝度画像を対象に回帰分析を行うことで、一つの所定角度の線状成分強度、又は二以上の所定角度の線状成分強度の線形結合により、目視スコアを高い精度で推定できないかを検討した。この検討では、官能評価で着目された部位(左側の眼窩下部、図9参照)が分析対象部位とされ、この分析対象部位の肌輝度画像(サイズ=550x550ピクセル、対象部位上での解像度=18ピクセル/mm)がそれぞれ抽出され(図8の(S81)、(S82)、及び(S21))、抽出された複数の肌輝度画像から所定角度の線状テクスチャ画像がそれぞれ抽出された(図8の(S22))。更に、抽出された線状テクスチャ画像が所定の二値化閾値で二値化処理され、得られた二値化画像内の白色の画素数が線状成分強度として算出された(図8の(S23))。
線状テクスチャ画像の抽出には、所定角度θに対応するGaborフィルタが利用された。一般的に、Gaborフィルタは、以下の式で表わされる。Gaborフィルタの形状を決める他のパラメータλ、φ、σ及びγには、当該サンプル顔画像の撮影環境に応じて適切な値が設定された(λ=10、φ=0、σ=4、γ=1)。なお、Gaborフィルタの詳細については、特許文献2にも記載されているとおりで既知である。
Figure 0006527765
そして、本発明者らは、線状成分強度を得るための二値化閾値と対象とする角度θとの組み合わせを変えながら、その角度θの線状成分強度と目視スコアとの相関係数を逐次算出し、目視スコアと相関の高い線状成分強度を得ることができる角度及び閾値の組み合わせを探した。本実施例では、5度の角度幅で設定された0度から175度までの36個の所定角度に対応するGaborフィルタが順次利用された。なお、この角度表記は、鉛直逆方向が0度であり、鉛直方向が180度であり、顔に向かって右回りに増加するように表した場合の表記である。
図11は、線状成分強度の角度及び二値化閾値の組み合わせと、目視スコアとの相関を示すグラフである。図11では、横軸が角度を示し、縦軸が相関係数を示し、線種で二値化閾値が区別される。図11の結果から、相関係数の絶対値が最大となる、二値化閾値「95」と角度「135度」との組み合わせが検出され、この組み合わせによれば、目視スコアと高い相関(相関係数の絶対値が約0.7)を示す線状成分強度を得ることができる。本実施例では、このように相関係数の絶対値が最大となる二値化閾値及び角度の組み合わせが検出されたが、相関係数の絶対値が最大値の周辺を示す組み合わせが用いられてもよい。例えば、二値化閾値は、63以上127以下の範囲で設定されてもよいし、角度は、130度以上140度以下の範囲で設定されてもよい。また、本実施例における二値化閾値の最適値は95であったが、照明の明るさ、シャッタースピード、絞りなどの撮影条件が変わると、線状テクスチャ画像の明るさも変わり、その結果、二値化閾値の最適値も変わるので、二値化閾値は撮影条件に応じて変化する。なお、図11において相関係数が負を示しているのは、線状成分強度を白色の画素数即ち溝以外の部分の大きさで表しているからである。また、上述したとおり、5度刻みの角度が利用されているため、図11では、刻み幅分のデータが線形補間されている。
これにより、本実施例の環境では、一つの角度「135度」の線状成分強度により、目視スコアを高い精度で推定できることが検証された。更に、本発明者らは、他の角度の線状成分強度を更に加えることで、より高い精度で目視スコアを推定できないか検討した。
図12は、角度「135度」に更に一つの角度を加えた回帰分析における、その加えられた角度と自由度調整済み決定係数との関係を示すグラフである。図12によれば、角度「85度」で自由度調整済み決定係数が最大となる。また、角度「135度」の線状成分強度のみを用いる場合と比べて、角度「85度」の線状成分強度を加えることで、自由度調整済み決定係数が増大した(0.4502から0.4607へ)。これにより、角度「135度」の線状成分強度に角度「85度」の線状成分強度を加えることで、目視スコアの推定精度が向上することが確認された。
図13は、角度「135度」及び「85度」に更に一つの角度を加えた回帰分析における、その加えられた角度と自由度調整済み決定係数との関係を示すグラフである。図13によれば、いずれの自由度調整済み決定係数も、角度「135度」及び「85度」の線状成分強度を用いる場合(0.4607)よりも低くなっている。これにより、角度「135度」及び「85度」の線状成分強度を用いれば、それ以上の角度の線状成分強度を用いなくても、十分な精度で目視スコアを推定できることが確認された。
以上より、角度「135度」の線状成分強度を説明変数とし目視スコアを目的変数とする単回帰式(1)、及び角度「135度」及び「85度」の二つの線状成分強度を説明変数とし目視スコアを目的変数とする重回帰式(2)が取得された。
S=−0.00002543・X135+8.652 (1)
S=−0.00003068・X135+0.000009301・X85+7.484 (2)
図14は、単回帰式(1)で算出された推定目視スコアSと官能評価で得られた目視スコアとの関係を表すグラフである。図15は、重回帰式(2)で算出された推定目視スコアSと官能評価で得られた目視スコアとの関係を表すグラフである。図14及び図15では、横軸が推定目視スコアSを示し、縦軸が目視スコアを示す。図14及び図15によれば、回帰式から得られる推定目視スコアと官能評価で得られる目視スコアとの間に相関があることが確認された。また、図14及び図15で示される決定係数(R)により、単回帰式(1)よりも重回帰式(2)からのほうが精度の高い目視スコアが推定されることが確認された。
上述の実施例1では、二値化画像の中の白色の画素数が線状成分強度として利用された。以下に、全体の画素数に対する黒色の画素数の割合が線状成分強度として利用される例を実施例2として説明する。但し、本発明の線状成分強度は、黒色の画素数とされてもよいし、白色の画素数の、全体の画素数に対する割合とされてもよい。
線状成分強度の算出手法以外、実施例1と同様の手法及び環境を用いることで、実施例2では、以下の回帰式(3)及び(4)が取得された。そして、各回帰式(3)及び(4)によれば、実施例1と略同様の精度で目視スコアが推定できることが確認された。
S=7.693・X135+0.959 (3)
S=9.281・X135−2.814・X85+1.017 (4)
実施例2では、更に、官能評価で同じ目視スコアとなった2名のサンプル提供者#1及び#2の分析対象部位を対象にして、上述の各実施形態におけるシワ状態分析方法の正当性が検証された。この検証では、回帰式(3)及び(4)が用いられた。
図16は、サンプル提供者#1及び#2の分析対象部位の肌輝度画像を示す図である。サンプル提供者#2の分析対象部位には、サンプル提供者#1に比べて、肌表面に凹凸形状が多く見られるが、専門評価者による官能評価によれば、「小ジワ」の状態は、両方とも同じ目視スコアとなった。
図17は、サンプル提供者#1及び#2の肌輝度画像から得られる線状成分強度及び推定目視スコアを比較する表である。図17に示されるように、同じ目視スコア(2.5)の2つの画像から算出された推定目視スコアの実際の目視スコア(2.5)との差は、135度のみを用いた時(−0.18)と比べて、135度と85度との2つの角度を用いた時(−0.04)に小さくなり、上述の各実施形態におけるシワ状態分析方法によれば、官能評価の目視スコアと同様の推定目視スコアを得ることができることが検証された。
図18は、サンプル提供者#1及び#2についての135度及び85度の線状テクスチャ画像を並べて出力する例を示す図である。図18では、二値化画像が線状テクスチャ画像として出力されている。図18の出力により、サンプル提供者#2は、サンプル提供者#1に比べて、どちらの角度についても線状成分強度がより大きいことが視認される。一方で、目視スコア及び推定目視スコアについてはどちらも同じ又は近似する。つまり、目視スコアに相関の高い135度の線状成分を他方の85度の線状成分が打ち消すことで、視認されるシワ状態に近い情報が抜き出されていることが推定される。これは、重回帰式(2)及び(4)において、85度の係数の正負が135度の係数と反転していることと繋がる。
図19は、サンプル提供者#1及び#2についての135度及び85度の線状テクスチャ画像の重畳画像の出力例を示す図である。上方の2つの画像は、Gaborフィルタ適用により肌輝度画像から抽出された、135度の線状テクスチャ画像である。下方の2つの画像は、Gaborフィルタ適用により肌輝度画像から抽出された、135度の線状テクスチャ画像に対して、Gaborフィルタ及び二値化処理により得られた、85度の線状テクスチャ画像(二値化画像)を重畳した画像である。
上述の各実施例では、分析対象部位としての頬(眼窩下部)の部分が利用され、目視スコアには、表皮の乾燥状態に依存する「小ジワ」の状態が主に反映された。よって、上述の各実施例で得られる推定目視スコアは、「小ジワ」の状態の見た目の印象を示す指標値であると言える。上述したように、「シワ」は、加齢や乾燥、真皮機能の低下等、発生原因によって複数のタイプに分類される場合があるため、専門評価者の官能評価において、他のタイプのシワを中心に評価することで、「小ジワ」以外のタイプのシワの状態の見た目の印象を示す推定目視スコアを算出することも可能である。例えば、真皮機能の低下を原因とする「真皮シワ」の状態が主に反映された目視スコアが官能評価で得られれば、「真皮シワ」の状態の見た目の印象を示す推定目視スコアの算出も可能である。
これにより、シワのタイプ毎に異なる回帰式を予めそれぞれ用意し、分析対象となるシワのタイプに応じて、回帰式を切り替えることで、各タイプのシワ状態を表す推定目視スコアを算出するという形態を採ることも可能である。例えば、表皮の乾燥を修復するスキンケア商品のカウンセリング時には、「小ジワ」の見た目の印象を示す推定目視スコアを算出し、真皮の状態を改善させるスキンケア商品のカウンセリング時には、「真皮シワ」の推定目視スコアを算出するという形態が考えられる。
上述の各実施例では、左側の頬(眼窩下部)が分析対象部位とされた。これは、表皮の乾燥状態に依存する「小ジワ」が主な分析対象であり、眼窩下部が乾燥し易く人毎に差が出易い部位だからである。よって、右側の頬(眼窩下部)が分析対象部位とされてもよい。この場合、例えば、135度の代わりに225度が利用され、85度の代わりに275度が利用される。この角度表記も、上述と同様に、鉛直逆方向が0度であり、鉛直方向が180度であり、顔に向かって右回りに増加するように表した表記である。また、225度及び275度は、顔が左右対称と考えた場合の角度であるため、実際には、各角度はそれぞれもう少しずれてもよい。なお、Gaborフィルタの式(数1)を見て分かるように、角度θは180度ずれてもフィルタの形は同じになるので、例えば角度として225度の代わりに45度を用いても同じ効果が得られる。
また、左側及び右側の各頬についてそれぞれ推定目視スコアが算出されてもよい。この場合、分析装置10は、線検出工程(S22)において、複数の分析対象部位について予め決められている複数の利用角度情報の中から、その分析対象部位に対応する一以上の所定角度を特定する。即ち、分析装置10は、左側の頬が分析対象部位とされる場合、135度、又は135度及び85度を特定し、右側の頬が分析対象部位とされる場合、225度、又は225度及び275度を特定する。また、目の周り、頬、口周り、首筋、目尻、額のような異なる複数の分析対象部位の中から、一つの分析対象部位が選択されてもよい。この場合も、部位毎にシワ状態の見た目の印象に影響を与える方向(角度)が異なるため、各分析対象部位について利用角度情報が予めそれぞれ決められればよい。例えば、額が分析対象部位とされる場合については、水平方向の角度を含む一以上の所定角度が特定され、首筋が分析対象部位とされる場合には、鉛直方向の角度を含む一以上の所定角度が特定される。そして、分析装置10は、算出工程(S24)において、複数の分析対象部位について予め決められている複数の回帰式の中から、分析対象部位に対応する回帰式を特定し、その特定された回帰式を用いて推定目視スコアを算出する。
なお、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、各工程には、人によって実施される内容が含まれていてもよい。例えば、(S21)で取得される肌輝度画像は、分析装置10に対する人の操作で選択されたファイルから分析装置10により読み取られてもよい。また、(S82)において、取得された肌輝度画像から分析対象部位を切り取る場合には、その分析対象部位の位置は、分析装置10に対する人の操作で指定されてもよい。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上述の内容の一部又は全部は、次のようにも特定され得る。但し、上述の内容が以下の記載に制限されるものではない。
<1> 分析対象部位の肌輝度画像を取得する画像取得工程と、
前記画像取得工程で取得された前記肌輝度画像から、前記分析対象部位に対応する一以上の所定角度についての一以上の線状テクスチャ画像を抽出する線検出工程と、
前記線検出工程で抽出された前記一以上の線状テクスチャ画像から、前記一以上の所定角度の線状成分強度を抽出する強度抽出工程と、
複数のサンプル顔画像を対象とする回帰分析により得られた、前記一以上の所定角度の線状成分強度と顔画像上のシワの目視スコアとの関係式、及び前記強度抽出工程で抽出された前記線状成分強度を用いて、前記分析対象部位の肌のシワの推定目視スコアを算出する算出工程と、
を含むシワ状態分析方法。
<2> 前記関係式は、前記目視スコアと最も相関の高い第一の所定角度の線状成分強度を説明変数とし前記目視スコアを目的変数とする単回帰式、又はその第一の所定角度を含む二つの所定角度の線状成分強度を説明変数とし前記目視スコアを目的変数とする重回帰式である、
<1>に記載のシワ状態分析方法。
<3> 前記算出工程で前記推定目視スコアが算出された前記肌の被験者の年齢情報を取得する情報取得工程と、
前記情報取得工程で取得された前記年齢情報に対応する代表目視スコアと前記算出工程で算出された前記推定目視スコアとを並べて出力する出力工程と、
を更に含む<1>又は<2>に記載のシワ状態分析方法。
<4> 前記算出工程で前記推定目視スコアが算出された前記肌の被験者の年齢情報を取得する情報取得工程と、
前記情報取得工程で取得された前記年齢情報に対応する代表線状テクスチャ画像と前記線検出工程で抽出された線状テクスチャ画像とを、前記分析対象部位に対応する所定角度毎に並べて出力する出力工程と、
を更に含む<1>から<3>のいずれか1つに記載のシワ状態分析方法。
<5> 前記線検出工程で抽出された複数の線状テクスチャ画像が重畳され、画像毎に異なる色で線状成分が表される画像を出力する出力工程、
を更に含む<1>から<4>のいずれか1つに記載のシワ状態分析方法。
<6> 前記強度抽出工程は、前記線検出工程で抽出された前記一以上の線状テクスチャ画像を所定の二値化閾値を用いて二値化処理し、二値化処理により得られる二値化画像の一方の値の面積を用いて、前記一以上の所定角度の前記線状成分強度を抽出する、
<1>から<5>のいずれか1つに記載のシワ状態分析方法。
<7> 前記線検出工程は、前記肌輝度画像に対して、前記分析対象部位に対応する前記一以上の所定角度に対応するGaborフィルタを適用することにより、前記一以上の線状テクスチャ画像を抽出する、
<1>から<6>のいずれか1つに記載のシワ状態分析方法。
<8> 被験者の肌にS偏光を投射しS偏光及びP偏光を撮像して得られる各偏光画像から表面反射光画像を取得する画像処理工程と、
前記表面反射光画像から前記分析対象部位の規格化された肌画像を抽出する規格化工程と、
を更に含み、
前記画像取得工程は、前記肌画像から色情報を削除することにより、前記肌輝度画像を取得する、
<1>から<7>のいずれか1つに記載のシワ状態分析方法。
<9> 前記分析対象部位は、小ジワが生じ易い、頬、目周り、口周り、及び首筋のいずれか一つである、
<1>から<8>のいずれか1つに記載のシワ状態分析方法。
<10> 前記線検出工程は、複数の分析対象部位について予め決められている複数の利用角度情報の中から、前記分析対象部位に対応する前記一以上の所定角度を特定することを含み、
前記算出工程は、前記複数の分析対象部位について予め決められている、一以上の所定角度の線状成分強度と顔画像上のシワの目視スコアとの複数の関係式の中から、前記分析対象部位に対応する前記関係式を特定することを含む、
<1>から<9>のいずれか1つに記載のシワ状態分析方法。
<11> 前記分析対象部位は、左頬又は右頬であり、
前記一以上の所定角度をそれぞれ、鉛直逆方向が0度であり、鉛直方向が180度であり、顔に向かって右回りに増加するように表す場合には、
前記分析対象部位が左頬の場合、前記分析対象部位に対応する前記一以上の所定角度は、135度、又は135度及び85度であり、
前記分析対象部位が右頬の場合、前記分析対象部位に対応する前記一以上の所定角度は、225度、又は225度及び275度である、
<1>から<10>のいずれか1つに記載のシワ状態分析方法。
<12> 分析対象部位の肌輝度画像を取得する画像取得手段と、
前記画像取得手段で取得された前記肌輝度画像から、前記分析対象部位に対応する一以上の所定角度についての一以上の線状テクスチャ画像を抽出する線検出手段と、
前記線検出手段で抽出された前記一以上の線状テクスチャ画像から、前記一以上の所定角度の線状成分強度を抽出する強度抽出手段と、
複数のサンプル顔画像を対象とする回帰分析により得られた、前記一以上の所定角度の線状成分強度と顔画像上のシワの目視スコアとの関係式、及び前記強度抽出手段で抽出された前記線状成分強度を用いて、前記分析対象部位の肌のシワの推定目視スコアを算出する算出手段と、
を備えるシワ状態分析装置。
<13> 前記関係式は、前記目視スコアと最も相関の高い第一の所定角度の線状成分強度を説明変数とし前記目視スコアを目的変数とする単回帰式、又はその第一の所定角度を含む二つの所定角度の線状成分強度を説明変数とし前記目視スコアを目的変数とする重回帰式である、
<12>に記載のシワ状態分析装置。
<14> 前記推定目視スコアが算出された前記肌の被験者の年齢情報を取得する情報取得手段と、
前記情報取得手段で取得された前記年齢情報に対応する代表目視スコアと前記算出手段で算出された前記推定目視スコアとを並べて出力する出力処理手段と、
を更に備える<12>又は<13>に記載のシワ状態分析装置。
<15> 前記推定目視スコアが算出された前記肌の被験者の年齢情報を取得する情報取得手段と、
前記情報取得手段で取得された前記年齢情報に対応する代表線状テクスチャ画像と前記線検出手段で抽出された線状テクスチャ画像とを、前記分析対象部位に対応する所定角度毎に並べて出力する出力処理手段と、
を更に備える<12>から<14>のいずれか1つに記載のシワ状態分析装置。
<16> 前記線検出手段で抽出された複数の線状テクスチャ画像が重畳され、画像毎に異なる色で線状成分が表される画像を出力する出力処理手段、
を更に備える<12>から<15>のいずれか1つに記載のシワ状態分析装置。
<17> 被験者の肌にS偏光を投射しS偏光及びP偏光を撮像して得られる各偏光画像から表面反射光画像を取得する画像処理手段と、
前記表面反射光画像から前記分析対象部位の規格化された肌画像を抽出する規格化手段と、
を更に備え、
前記画像取得手段は、前記肌画像から色情報を削除することにより、前記肌輝度画像を取得する、
<12>から<16>のいずれか1つに記載のシワ状態分析装置。
<18> 前記線検出手段は、複数の分析対象部位について予め決められている複数の利用角度情報の中から、前記分析対象部位に対応する前記一以上の所定角度を特定し、
前記算出手段は、前記複数の分析対象部位について予め決められている、一以上の所定角度の線状成分強度と顔画像上のシワの目視スコアとの複数の関係式の中から、前記分析対象部位に対応する前記関係式を特定する、
<12>から<17>のいずれか1つに記載のシワ状態分析装置。
<19> <1>から<11>のいずれか1つに記載のシワ状態分析方法を少なくとも一つのコンピュータに実行させるプログラム。
1 CPU
2 メモリ
5 出力装置
6 入力装置
10 シワ状態分析装置(分析装置)
11 画像取得部
12 線検出部
13 強度抽出部
14 算出部
16 情報取得部
17 出力処理部
18 画像処理部
19 規格化部

Claims (13)

  1. 分析対象部位の肌輝度画像を取得する画像取得工程と、
    前記画像取得工程で取得された前記肌輝度画像から、前記分析対象部位に対応する一以上の所定角度についての一以上の線状テクスチャ画像を抽出する線検出工程と、
    前記線検出工程で抽出された前記一以上の線状テクスチャ画像から、前記一以上の所定角度の線状成分強度を抽出する強度抽出工程と、
    複数のサンプル顔画像を対象とする回帰分析により得られた、前記一以上の所定角度の線状成分強度と顔画像上のシワの目視スコアとの関係式、及び前記強度抽出工程で抽出された前記線状成分強度を用いて、前記分析対象部位の肌のシワの推定目視スコアを算出する算出工程と、
    を含むシワ状態分析方法。
  2. 前記関係式は、前記目視スコアと最も相関の高い第一の所定角度の線状成分強度を説明変数とし前記目視スコアを目的変数とする単回帰式、又はその第一の所定角度を含む二つの所定角度の線状成分強度を説明変数とし前記目視スコアを目的変数とする重回帰式である、
    請求項1に記載のシワ状態分析方法。
  3. 前記算出工程で前記推定目視スコアが算出された前記肌の被験者の年齢情報を取得する情報取得工程と、
    前記情報取得工程で取得された前記年齢情報に対応する代表目視スコアと前記算出工程で算出された前記推定目視スコアとを並べて出力する出力工程と、
    を更に含む請求項1又は2に記載のシワ状態分析方法。
  4. 前記算出工程で前記推定目視スコアが算出された前記肌の被験者の年齢情報を取得する情報取得工程と、
    前記情報取得工程で取得された前記年齢情報に対応する代表線状テクスチャ画像と前記線検出工程で抽出された線状テクスチャ画像とを、前記分析対象部位に対応する所定角度毎に並べて出力する出力工程と、
    を更に含む請求項1から3のいずれか1項に記載のシワ状態分析方法。
  5. 前記線検出工程で抽出された複数の線状テクスチャ画像が重畳され、画像毎に異なる色で線状成分が表される画像を出力する出力工程、
    を更に含む請求項1から4のいずれか1項に記載のシワ状態分析方法。
  6. 前記強度抽出工程は、前記線検出工程で抽出された前記一以上の線状テクスチャ画像を所定の二値化閾値を用いて二値化処理し、二値化処理により得られる二値化画像の一方の値の面積を用いて、前記一以上の所定角度の前記線状成分強度を抽出する、
    請求項1から5のいずれか1項に記載のシワ状態分析方法。
  7. 前記線検出工程は、前記肌輝度画像に対して、前記分析対象部位に対応する前記一以上の所定角度に対応するGaborフィルタを適用することにより、前記一以上の線状テクスチャ画像を抽出する、
    請求項1から6のいずれか1項に記載のシワ状態分析方法。
  8. 被験者の肌にS偏光を投射しS偏光及びP偏光を撮像して得られる各偏光画像から表面反射光画像を取得する画像処理工程と、
    前記表面反射光画像から前記分析対象部位の規格化された肌画像を抽出する規格化工程と、
    を更に含み、
    前記画像取得工程は、前記肌画像から色情報を削除することにより、前記肌輝度画像を取得する、
    請求項1から7のいずれか1項に記載のシワ状態分析方法。
  9. 前記分析対象部位は、小ジワが生じ易い、頬、目周り、口周り、及び首筋のいずれか一つである、
    請求項1から8のいずれか1項に記載のシワ状態分析方法。
  10. 前記線検出工程は、複数の分析対象部位について予め決められている複数の利用角度情報の中から、前記分析対象部位に対応する前記一以上の所定角度を特定することを含み、
    前記算出工程は、前記複数の分析対象部位について予め決められている、一以上の所定角度の線状成分強度と顔画像上のシワの目視スコアとの複数の関係式の中から、前記分析対象部位に対応する前記関係式を特定することを含む、
    請求項1から9のいずれか1項に記載のシワ状態分析方法。
  11. 前記分析対象部位は、左頬又は右頬であり、
    前記一以上の所定角度をそれぞれ、鉛直上向きが0度であり、鉛直下向きが180度であり、顔に向かって右回りに増加するように表す場合には、
    前記分析対象部位が左頬の場合、前記分析対象部位に対応する前記一以上の所定角度は、135度、又は135度及び85度であり、
    前記分析対象部位が右頬の場合、前記分析対象部位に対応する前記一以上の所定角度は、225度、又は225度及び275度である、
    請求項1から10のいずれか1項に記載のシワ状態分析方法。
  12. 分析対象部位の肌輝度画像を取得する画像取得手段と、
    前記画像取得手段で取得された前記肌輝度画像から、前記分析対象部位に対応する一以上の所定角度についての一以上の線状テクスチャ画像を抽出する線検出手段と、
    前記線検出手段で抽出された前記一以上の線状テクスチャ画像から、前記一以上の所定角度の線状成分強度を抽出する強度抽出手段と、
    複数のサンプル顔画像を対象とする回帰分析により得られた、前記一以上の所定角度の線状成分強度と顔画像上のシワの目視スコアとの関係式、及び前記強度抽出手段で抽出された前記線状成分強度を用いて、前記分析対象部位の肌のシワの推定目視スコアを算出する算出手段と、
    を備えるシワ状態分析装置。
  13. 請求項1から11のいずれか1項に記載のシワ状態分析方法を少なくとも一つのコンピュータに実行させるプログラム。
JP2015131636A 2015-06-30 2015-06-30 シワ状態分析装置及びシワ状態分析方法 Active JP6527765B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015131636A JP6527765B2 (ja) 2015-06-30 2015-06-30 シワ状態分析装置及びシワ状態分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015131636A JP6527765B2 (ja) 2015-06-30 2015-06-30 シワ状態分析装置及びシワ状態分析方法

Publications (2)

Publication Number Publication Date
JP2017012384A JP2017012384A (ja) 2017-01-19
JP6527765B2 true JP6527765B2 (ja) 2019-06-05

Family

ID=57827360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015131636A Active JP6527765B2 (ja) 2015-06-30 2015-06-30 シワ状態分析装置及びシワ状態分析方法

Country Status (1)

Country Link
JP (1) JP6527765B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107981842B (zh) * 2017-11-20 2019-02-05 珠海伊斯佳科技股份有限公司 一种用于转录皮肤纹理的复膜套件及其使用方法和应用
CN113796826A (zh) * 2020-06-11 2021-12-17 懿奈(上海)生物科技有限公司 一种用于检测华人人脸皮肤年龄的方法
JP7509735B2 (ja) 2021-10-29 2024-07-02 株式会社 資生堂 組み合わせ皮膚生理パラメータ解析法
WO2024021000A1 (en) * 2022-07-29 2024-02-01 L'oreal System and method for evaluating dynamic wrinkles on keratin material of a user to be tested

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007252892A (ja) * 2006-02-23 2007-10-04 Masahiro Nakagawa 皮膚表面の立体形状の目視評価値の推定方法
JP2007252891A (ja) * 2006-02-23 2007-10-04 Masahiro Nakagawa 肌の美しさの目視評価値の推定方法
JP5263991B2 (ja) * 2008-05-23 2013-08-14 ポーラ化成工業株式会社 肌のキメ及び/又はシワの鑑別法及び鑑別装置、肌の鑑別プログラム、並びに皮膚外用剤の選択方法
JP5657494B2 (ja) * 2011-09-22 2015-01-21 富士フイルム株式会社 シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム
CN105338887B (zh) * 2013-06-28 2019-10-25 松下电器(美国)知识产权公司 肌肤的感官评价装置以及肌肤的评价方法
JP6185807B2 (ja) * 2013-09-25 2017-08-23 花王株式会社 シワ状態分析方法及びシワ状態分析装置

Also Published As

Publication number Publication date
JP2017012384A (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
Hildebrandt et al. Benchmarking face morphing forgery detection: Application of stirtrace for impact simulation of different processing steps
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
JP2005339522A (ja) 髪領域の自動抽出方法
CN101601287A (zh) 产生照片级真实感图像缩略图的设备和方法
JP6527765B2 (ja) シワ状態分析装置及びシワ状態分析方法
JP6756524B2 (ja) 美容施術効果の解析方法
WO2016107638A1 (en) An image face processing method and apparatus
JP2017051474A (ja) 肌の光沢評価装置、光沢評価方法および光沢評価プログラム
Libert et al. Guidance for evaluating contactless fingerprint acquisition devices
CN113167722A (zh) 信息处理装置、信息处理方法和程序
JP6185807B2 (ja) シワ状態分析方法及びシワ状態分析装置
Thamaraimanalan et al. Multi biometric authentication using SVM and ANN classifiers
Ciocca et al. How to assess image quality within a workflow chain: an overview
JP6898150B2 (ja) 毛穴検出方法及び毛穴検出装置
Hu et al. Jpeg ringing artifact visibility evaluation
JP6006675B2 (ja) マーカ検出装置、マーカ検出方法、及びプログラム
JP6351550B2 (ja) ハリ感評価装置、ハリ感評価方法およびハリ感評価プログラム
Merkle et al. State of the art of quality assessment of facial images
Guan et al. A new metric for latent fingerprint image preprocessing
CN113610071A (zh) 人脸活体检测方法、装置、电子设备及存储介质
JP6730051B2 (ja) 肌状態評価方法
JP4831344B2 (ja) 目の位置の検出方法
JP6359389B2 (ja) 唇の美的印象の評価方法及びその評価を支援する支援装置
US12039768B2 (en) Method and system for anonymizing facial images
JP5093540B2 (ja) 目の位置の検出方法および検出システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190513

R151 Written notification of patent or utility model registration

Ref document number: 6527765

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250