TW202422471A - 肌膚狀態推定方法 - Google Patents

Abstract

於本發明之肌膚狀態推定方法中，由可利用已學習模型之一個以上之處理器執行以下步驟，該已學習模型係根據規定圖像尺寸且規定矩形形狀之輸入臉部圖像來推定該輸入臉部圖像中映現之人臉之肌膚狀態，且上述步驟係指：獲取對象者之臉部圖像；特定出所獲取之臉部圖像中映現之人臉之臉部區域中的複數個部位之位置座標；以將所特定出之複數個部位之位置座標之一部分或全部進行座標轉換而使該臉部區域成為規定圖像尺寸及規定矩形形狀之方式，將該臉部圖像進行轉換；及將轉換後之臉部圖像輸入至已學習模型而獲取對象者之臉部之肌膚狀態資訊。

Description

肌膚狀態推定方法

本發明係關於一種使用已加以學習之推定模型，根據輸入臉部圖像來推定該輸入臉部圖像中映現之人臉之肌膚狀態的技術。

下述專利文獻1中揭示了一種系統，該系統藉由遮蔽人之圖像內之臉部之宏觀特徵，然後使用卷積神經網絡來解析圖像，而判定人之表觀肌膚年齡，並使所判定之表觀肌膚年齡現實於使用者能夠視認之顯示裝置上。 先前技術文獻 專利文獻1  國際公開第2018/222808號公報

根據本發明，提供一種肌膚狀態推定方法，其使用有以自輸入臉部圖像輸出該輸入臉部圖像中映現之人臉之肌膚狀態的方式進行學習之推定模型，且由一個以上之處理器執行：圖像獲取步驟，其係獲取對象者之臉部圖像；轉換步驟，其係為了符合上述推定模型之輸入規則，以上述所獲取之臉部圖像中映現之人臉之臉部區域之輪廓上之複數點位於圖像外緣的方式將該臉部圖像進行轉換後獲得轉換後臉部圖像；及資訊獲取步驟，其係藉由輸入上述轉換後臉部圖像作為上述輸入臉部圖像，而獲取自上述推定模型至輸出之上述對象者之臉部之肌膚狀態資訊。

又，根據本發明，提供一種肌膚狀態推定系統，其具備：推定模型，其執行了學習，以自輸入臉部圖像輸出該輸入臉部圖像中映現之人臉之肌膚狀態；圖像獲取機構，其獲取對象者之臉部圖像；轉換機構，其為了符合上述推定模型之輸入規則，以上述所獲取之臉部圖像中映現之人臉之臉部區域之輪廓上之複數點位於圖像外緣的方式將該臉部圖像進行轉換後獲得轉換後臉部圖像；資訊獲取機構，其藉由輸入上述轉換後臉部圖像作為上述輸入臉部圖像，而獲取自上述推定模型輸出之上述對象者之臉部之肌膚狀態資訊；肌膚狀態輸出機構，其產生用以提示上述所獲取之肌膚狀態資訊之圖像資訊；及資訊顯示機構，其顯示上述圖像資訊。

又，根據本發明，能夠提供一種上述肌膚狀態推定系統用之使用者終端。 進而言之，亦能夠提供一種使電腦執行上述肌膚狀態推定方法，即，使電腦作為上述肌膚狀態推定系統之全部或一部分發揮功能之程式，且還能夠提供一種記錄有此種程式之電腦可讀取之記錄媒體。該記錄媒體包含非暫時性之有形之媒體。

於如記載為背景技術之系統般使用已學習之推定模型來推定臉部圖像中映現之人臉之肌膚狀態的現有方法中，將輸入至該推定模型之臉部圖像以預先決定之圖像尺寸及矩形形狀正規化，對所輸入之臉部圖像進行解析。另一方面，輸入至推定模型之臉部圖像中除包含臉部區域外，亦包含背景及頭髮等臉部以外之區域。

因此，推定模型於其學習過程中，除學習臉部區域之肌膚狀態以外，亦必須學習不使用看起來不像肌膚之區域，且必須要保持如此學習到之知識資源。 然而，對推定模型而言，為了推定人臉之肌膚狀態，與臉部以外之區域相關之計算或資訊可以說是多餘的。又，於臉部圖像之正規化時在包含臉部以外之區域之狀態下進行圖像尺寸之壓縮後，臉部區域之解像度降低，故學習模型之推定精度亦可能會降低。

本發明考慮到如上所述之觀點，提供一種提高自輸入臉部圖像推定該輸入臉部圖像中映現之人臉之肌膚狀態的推定模型之推定精度之技術。

根據本發明，能夠提供一種提高自輸入臉部圖像推定該輸入臉部圖像中映現之人臉之肌膚狀態的推定模型之推定精度之技術。

以下，對本發明之較佳之實施方式之例(以下，記載為本實施方式)進行說明。再者，以下所說明之本實施方式為例示，本發明不限於以下所例舉之構成。

(硬體構成例) 本實施方式之肌膚狀態推定方法(以下，記載為本方法)係藉由一台以上之資訊處理裝置所具備之一個以上之處理器來執行。 圖1係概念性地示出可執行本方法之資訊處理裝置10之硬體構成例之圖。 資訊處理裝置10係所謂之電腦，具有CPU(Central Processing Unit，中央處理單元)11、記憶體12、輸入輸出介面(I/F)13及通信單元14等。資訊處理裝置10可為固定型PC(Personal Computer，個人電腦)，亦可為如攜帶型PC、智慧型手機、平板電腦等之移動終端。

CPU11係所謂之微處理器。記憶體12係RAM(Random Access Memory，隨機存取記憶體)、ROM(Read Only Memory，唯讀記憶體)、輔助記憶裝置(硬碟等)。 輸入輸出I/F 13能夠與顯示裝置15、輸入裝置16等使用者介面裝置連接。顯示裝置15係LCD(Liquid Crystal Display，液晶顯示器)之類的顯示與藉由CPU11等準備之描畫資料對應之畫面之裝置。輸入裝置16係如鍵盤、滑鼠等之受理使用者操作之輸入之裝置。顯示裝置15及輸入裝置16亦可一體化，以觸控面板之形式實現。 通信單元14經由通信網路與其他電腦進行通信，或與印表機等其他機器進行信號之交換等。於通信單元14，亦可連接有可攜式記錄媒體等。

資訊處理裝置10之硬體構成不限於圖1之例。資訊處理裝置10亦可包含未圖示之其他硬體元件。又，各硬體元件之數量亦不限於圖1之例。例如，資訊處理裝置10亦可具有複數個CPU11。尤其是，為了實現進行肌膚狀態之推定之卷積神經網絡而使用設計成向量運算用之GPU(Graphics Processing Unit，圖形處理單元)來代替通常之CPU時，可達成運算之高速化。 又，本發明亦可藉由複數個資訊處理裝置10組合而成之複數台電腦，以所謂之系統之形式實現。於藉由複數台電腦實現本發明之情形時，如下所述，較佳為使複數台電腦分擔各功能，作為如下系統加以運用，上述系統係將利用經由例如網際網路等網路之通信而連接之伺服器與終端組合後發揮功能。再者，於以下說明中，例舉利用資訊處理裝置10實現本發明之形態為例。

資訊處理裝置10係藉由利用CPU11執行記憶體12中儲存之電腦程式，而執行本方法。將該電腦程式例如自諸如CD(Compact Disc，光碟)、記憶卡等之可攜式記錄媒體或網路上之其他電腦經由輸入輸出I/F 13或通信單元14暫時安裝後執行，或直接儲存於記憶體12中執行，藉此執行本方法，又，本裝置或本系統係以下述各機構之組合之形式實現。

資訊處理裝置10(CPU11)能夠利用已學習模型，該已學習模型係藉由使用教師資料之機器學習而獲得。 此處之「已學習模型」係藉由使用教師資料之機器學習、即監督式學習而獲得之模型，可記載為AI(Artificial Intelligence，人工智慧)模型、機器學習(Machine Learning(ML))模型等。 本實施方式中利用之已學習模型可為藉由回歸分析獲得之回歸式，亦可為藉由深度學習(Deep Learning)等獲得之神經網絡模型，該模型之資料結構及學習運算法等不受限定。本實施方式中，作為已學習模型，較佳為利用包含卷積運算之神經網絡(CNN)模型。 已學習模型可儲存於資訊處理裝置10內之記憶體12中，亦可儲存於資訊處理裝置10可藉由通信進行存取之其他電腦之記憶體中。

如此，本實施方式之資訊處理裝置10係能夠利用已學習模型之裝置且係能夠執行肌膚狀態推定方法之肌膚狀態推定裝置。 以下，本方法中利用之已學習模型被記載為AI模型或推定模型。又，於該AI模型之學習中用作教師資料之臉部圖像群如下所述根據共通之規則以對應位置之座標一致之方式正規化，將該規則記載為AI模型之輸入規則。又，於以下說明中，將本方法之執行主體設為CPU11進行說明。

(肌膚狀態推定方法及裝置) 以下，使用圖2、圖3及圖4對本實施方式之詳細情況進行說明。圖2係用以說明本實施方式之肌膚狀態推定裝置(有時亦簡稱為本裝置)之各部之功能的方塊圖。圖3係表示本實施方式之肌膚狀態推定方法之流程圖，圖4係表示本實施方式之肌膚狀態推定方法中之臉部圖像之轉換流程的圖。

若以功能方塊之形式說明本方法之各步驟，則本裝置如圖2所示，具備：圖像獲取機構，其獲取對象者之臉部圖像；位置特定機構，其特定出藉由圖像獲取機構獲取之臉部圖像中映現之人臉之臉部區域中的規定之複數個部位之位置座標；轉換機構，其為了符合AI模型之輸入規則，以該所獲取之臉部圖像中映現之人臉之臉部區域之輪廓上之複數點位於圖像外緣之方式，將該臉部圖像轉換而獲得轉換後臉部圖像；資訊獲取機構，其將轉換後臉部圖像作為輸入圖像輸入至藉由預先準備之迴旋神經網絡而形成之AI模型，從而獲取對象者之臉部之肌膚狀態資訊；及資訊顯示機構，其產生用以提示所獲取之肌膚狀態資訊之圖像資訊。 以下之各步驟之說明只要無特別說明，則亦適用於對應之各機構，故關於各機構之動作，欲參照上述各步驟之說明。 再者，各機構係藉由如下方法實現，即，將電腦之CPU11與周邊電路及用以實現各功能之電腦程式或邏輯電路等適當組合。例如，執行使用AI模型之肌膚狀態推定之機構較佳為使用GPU實現，亦可藉由將程式與通常之CPU組合而實現。換言之，既可提供使電腦作為上述肌膚狀態推定系統之全部或一部分發揮功能之程式，亦可提供記錄有此種程式之電腦可讀取之記錄媒體。

本實施方式中，資訊獲取機構及資訊獲取步驟中所使用之AI模型係根據規定圖像尺寸、即規定之縱橫之像素數之矩形形狀(本說明書中稱為規定矩形形狀)之輸入臉部圖像，推定該輸入臉部圖像中映現之人臉之肌膚狀態的已學習模型。因此，本實施方式中利用之AI模型亦記載為肌膚狀態推定模型。 「規定圖像尺寸」意指圖像之預先決定之尺寸，係利用像素數加以指定。該圖像尺寸例如被預先決定為25×20(500)像素、20×20(400)像素、20×11(220)像素等。再者，此處所示之圖像尺寸為一例。 「規定矩形形狀」意指圖像之預先決定之矩形形狀，係具有與上述「規定圖像尺寸」相應之長邊及短邊之長度的長方形或正方形。 以下，於關於臉部圖像記載為「規定矩形形狀」之情形時，表示關於AI模型之輸入臉部圖像預先決定之縱橫之像素數之矩形形狀。 再者，本實施方式中示出規定矩形形狀作為一例，但作為可使用之針對AI模型之輸入圖像之形狀、即規定形狀，除矩形以外，亦存在圓形、橢圓形等。不論何種形狀，藉由根據共通之規則以對應位置之座標一致之方式進行轉換，均可獲得與規定形狀為矩形之情形時相同之效果。

藉由AI模型加以推定者只要係表示人臉之肌膚狀態之資訊即可，具體推定項目不受任何限定。作為肌膚狀態之推定項目，例如如實施例中所例舉般，可推定上妝感、肌膚年齡、男性/女性肌膚特徵、粉感(powdery)、光澤度(glossy)、濕潤度、滋潤度、乾燥度、光滑度、肌理細膩度、潤澤度、緊緻度、透明感、肌膚白度、黃度、暗沉等。上妝感表示非素顏感，粉感表示有上粉感，光澤度表示表面光澤之程度。AI模型之推定項目不僅限於此種項目，亦可為美感綜合評價等其他項目。

AI模型可形成為能夠推定人臉之肌膚狀態相關之複數個項目，亦可形成為能夠推定任一個項目。於前者之情形時，例如，AI模型亦可利用能夠輸出各不相同之肌膚狀態項目之推定資訊的複數個神經網絡構建。於後者之情形時，亦可以輸出複數個肌膚狀態項目之推定資訊之方式構建一個神經網絡。 再者，關於AI模型之學習方法將於下文進行敍述。

如圖3所示，本方法包含圖像獲取步驟(S21)、位置特定步驟(S22)、轉換步驟(S23)及資訊獲取步驟(S24)(S25)。 於圖像獲取步驟(S21)中，CPU11獲取對象者之臉部圖像。於圖4之例中，符號G1表示已獲取之臉部圖像。 所獲取之臉部圖像中，對象者之臉部只要以能夠對推定項目之肌膚狀態加以解析之程度映現即可，只要映現出對象者之臉部之整體或一部分即可。於所獲取之臉部圖像中，亦可映現出如頭髮、頸部等除對象者之臉部以外之部位或背景。 又，關於該臉部圖像中映現之對象者之角度及位置亦並無特別限定。例如，於所獲取之臉部圖像中，可映現出對象者之正面臉部，亦可映現出對象者之左斜側臉部或右斜側臉部。又，亦可獲取自下方或上方拍攝對象者之臉部而得之臉部圖像。

藉由圖像獲取步驟、即圖像獲取機構獲取之臉部圖像例如作為JPEG(Joint Photographic Experts Group，聯合照相專家群)形式、BMP(Bitmap image，位元映像)形式、TIFF(Tagged Image File Format，標記影像檔案格式)形式、GIF(Graphic Interchange Format，圖形交換格式)形式等之圖像檔案而被獲取。 又，所獲取之臉部圖像只要能供推定該臉部圖像中映現之人臉之肌膚狀態，則既可為彩色圖像，亦可為灰度圖像。 CPU11自拍攝了對象者之臉部之相機或其他電腦等，經由通信線路或可攜式記錄媒體而獲取臉部圖像。 以下，步驟(S21)中獲取之臉部圖像有時亦記載為原臉部圖像。 再者，所獲取之原臉部圖像無需為與規定矩形形狀之規定圖像尺寸相同之尺寸，但總像素數較佳為超出規定矩形形狀之規定圖像尺寸。

對位置特定步驟(S22)之詳細情況進行說明。 於位置特定步驟(S22)中，首先，如下所述，在選擇臉部區域整體之輪廓上之點作為第一輪廓點之後，將第一輪廓點之內部分割成三角網格。此後，將複數個網格之頂點以其等連結所得之圖形內含規定局部部位區域之方式，選擇作為第三輪廓點，繼而，於第一輪廓點與第三輪廓點之間選擇第二輪廓點。更詳細而言，將臉部區域分割成多個網格後，自各網格之邊相交之點(網格點)中選擇輪廓點。第一輪廓點係臉部整體之輪廓、即臉部與除包含頭髮及頸部之臉部以外之部分的分界、較佳為位於分界之稍靠內側之點。第三輪廓點係選擇以將規定局部部位區域全部包含於其內側之方式連結網格之邊時之網格點，且與第一輪廓點之最短網格數(以下，將連結2個網格點之最小之網格邊數稱為網格距離)相等。然後，第二輪廓點係選擇第一輪廓點與第三輪廓點之間之網格點。 當裝置自動產生網格，並求出第一輪廓點之圖像上之位置後，以距第一輪廓點之網格距離相等之方式在圖像上確定第三輪廓點之位置，其後，根據所產生之網格求出第二輪廓點之圖像上之位置。 再者，於無法按照上述基準設定第一至第三輪廓點，例如第一輪廓點與第三輪廓點之網格距離為1以下之情形時，或並非所有第三輪廓點均與第一輪廓點相距等網格距離之情形時，進行細化網格(增加總網格數)之再計算，變更各網格點之圖像上之位置，以便能夠選擇第一至第三輪廓點。

於位置特定步驟(S22)中，CPU11特定出原臉部圖像中映現之人臉之臉部區域中的規定之複數個部位之位置座標(規定位置座標)。於圖4之例中，示出特定出符號G2之矩形內之點的複數個部位之位置座標。 步驟(S22)中特定出之位置座標中，至少包臉部區域之形狀特徵點之位置座標。臉部區域之形狀特徵點表示具有人臉之形狀特徵之位置之點，例如臉部之輪廓上之點、眼部之輪廓(上眼瞼緣及下眼瞼緣)上之點、眉毛之輪廓上之點、唇部之輪廓(上唇之上緣及下唇之下緣)上之點、鼻部之頂點(鼻尖之點)、鼻樑(bridge)上之點、鼻根之點等均符合。但是，步驟(S22)中特定出之位置座標不僅限於此種形狀特徵點之位置座標，亦可為自此種形狀特徵點導出之臉部區域內之規定部位之位置座標，還可包含形狀特徵點之位置座標及除此以外之部位之位置座標。

再者，位置特定步驟(S22)由CPU11執行，此外，亦可由利用者按照指示在顯示於顯示裝置上之原臉部圖像中依次特定出。於此情形時，雖然亦可利用滑鼠等指向裝置特定出位置，但就操作性之方面而言，較佳為利用觸控螢幕進行該操作，即於所謂之智慧型手機之終端上使用觸控螢幕。再者，由於利用者進行之操作較為複雜，故較佳為使用電腦來自動進行該操作，此點毋庸置疑。

步驟(S22)中所特定出之規定位置座標較佳為包含包圍臉部區域內之規定局部部位區域之複數個外周點之位置座標。 「規定局部部位區域」係因無助於肌膚狀態之推定，而較佳為自輸入至AI模型之臉部圖像內之臉部區域去除的部位，例如為眼部、眉毛、唇部、鼻孔、髭、鬚等。 作將宜去除之規定局部部位區域之像素為自輸入至AI模型之臉部圖像內之臉部區域去除之方法，將本實施方式中包圍規定局部部位區域之肌膚之像素配置於臉部模型之直線或曲線上，使得規定局部部位區域內之像素不投影至臉部模型。此時，規定局部部位區域之相互對向之外周點之位置於臉部模型上變得一致。 本實施方式中，「規定局部部位區域」係眼部區域、眉毛區域及唇部區域。唇部區域係上唇區域及下唇區域，但除此以外，於該臉部圖像中映現之對象者處於嘴張開之狀態之情形時，亦包含口腔內區域。

該複數個外周點只要為以包圍臉部區域內之規定局部部位區域之方式定位的點即可，可為規定局部部位區域之輪廓上之點，亦可為位於較規定局部部位區域之輪廓更靠外側之點。 如此，於步驟(S22)中特定出包圍臉部區域內之規定局部部位區域之複數個外周點之位置座標，藉此，能夠於下述轉換步驟(S23)中去除該規定局部部位區域。 規定局部部位區域較佳為完全去除，但即便為縮小之形態，亦能有助於推定精度之提高。例如，於特定出規定局部部位區域之輪廓上之點或相較該輪廓而言略靠內側之點作為該複數個外周點，並將所特定出之該等外周點配置於臉部模型之直線上或曲線上之情形時，規定局部部位區域會被縮小而殘留。即便於此種情形時，由於能夠縮小無助於肌膚狀態之推定之區域，故能夠提高利用AI模型之肌膚狀態之推定精度。

又，步驟(S22)中特定出之規定位置座標較佳為包含臉部區域之輪廓上、即臉部區域與除此以外之區域之分界上之複數個點、臉部區域內部之鼻頂點及臉部區域內部之其他複數個點之位置座標。 於下述轉換步驟(S23)中，臉部區域之輪廓上之點中之4個第一輪廓點配置於臉部圖像之規定矩形形狀之頂點，臉部區域之輪廓上之其他點配置於臉部圖像之規定矩形形狀之邊上。因此，該4個第一輪廓點被設定為臉部區域之輪廓上之左右之上方的2個點及該輪廓上之左右之下方的2個點。 於圖4之例中，與左右之眉梢相鄰之輪廓上之2個點(G21及G24)及與左右之嘴角相鄰之輪廓上之2個點(G22及G23)相當於該第一輪廓點，以符號G25示出鼻頂點。但是，該第一輪廓點只要為臉部區域之輪廓上之左右之上方的2個點與該輪廓上之左右之下方之2個點的組合即可，不限於圖4之例。

於步驟(S22)中之位置座標之特定方法中，能夠利用在各種場景下利用之臉部辨識處理。於臉部辨識處理中，例如利用OpenCV(Open Source Computer Vision Library，開放原始碼電腦視覺庫)之Facemark或Google(註冊商標)之FaceMesh等能夠檢測人臉之複數個節點之位置之AI模型。本實施方式中，步驟(S22)中之位置座標之特定方法不受任何限定。例如，於步驟(S22)中，CPU11能夠將使用此種臉部辨識AI模型檢測出之標記中之一部分或全部之位置座標特定為臉部區域中的複數個部位之位置座標。

於轉換步驟(S23)中，CPU11將步驟(S21)中獲取之原臉部圖像之各像素之位置進行轉換、即進行所謂之映射操作，以將步驟(S22)中特定出之作為基準之規定之複數個部位的位置座標進行座標轉換而使臉部區域成為規定矩形形狀，且使原臉部圖像之各像素之位置成為對應於AI模型之輸入規則之位置。即，轉換步驟(S23)亦可稱為座標轉換步驟、或映射步驟。同樣，下述轉換機構亦可稱為座標轉換機構或映射機構。 於圖4之例中，在符號G3所示之矩形內示出座標轉換後之位置座標，符號G4表示轉換後之臉部圖像。換言之，於各像素保持其值之狀態下，僅將其位置進行轉換。當各像素之位置發生變化時，像素間之空間距離會發生變化，故當距離延長時，利用插補求出填充之像素之值，當距離縮短時，進行使用例如平均值等求出新的像素之值等運算，關於其具體之方法，只要運用漸變技術等周知技術便足矣，故詳細情況省略。再者，偶爾亦有原臉部圖像之作為基準之規定部位之位置座標與對應於AI模型之輸入規則之位置一致之情形，本領域技術人員當然能夠理解，此情形亦包含於映射操作或位置轉換。 只要以原臉部圖像之臉部區域成為規定矩形形狀之方式進行座標轉換，則其方法不受限定。 再者，亦可將位置特定步驟(S22)與轉換步驟(S23)設為一個轉換步驟來實現。即，只要判明原臉部圖像之某畫素相當於基準圖像之哪一位置，便能夠立即特定出轉換目標(投影目標)之座標，故未必需要利用兩階段之步驟進行。此亦適用於位置特定機構與轉換機構，本裝置中兩者亦可構成為一體之轉換機構。

如此，藉由將原臉部圖像轉換為規定矩形形狀之臉部圖像且如臉部區域佔據整個該臉部圖像內之臉部圖像，能夠於輸入至AI模型之臉部圖像中消除除臉部區域以外之區域，並且放大臉部區域。藉此，能夠防止輸入至AI模型之臉部圖像中臉部區域之解像度降低，能夠提高AI模型之推定精度。 此種作用效果於利用包含卷積運算之神經網絡模型實現AI模型之情形時較顯著。於此種AI模型中，在保存有輸入圖像之臉部區域以外之資訊之狀態下反覆執行卷積運算，故輸入圖像內包含之非解析對象之區域(肌膚區域以外之區域)之影響亦殘存於AI模型之深層。結果，無用之資訊會殘留於AI模型中。進而，由於包含臉部區域以外之資訊而使得作為解析對象之資訊減少。該等因素導致AI模型之推定精度降低。

當於步驟(S22)中，特定出臉部區域之輪廓上之複數點、臉部區域之鼻頂點及臉部區域之其他複數點之位置座標之情形時，以如下方式進行步驟(S23)中之座標轉換。即，如圖4之例所示，原臉部圖像之臉部區域之輪廓上之複數點所包含之4個第一輪廓點(G21、G22、G23及G24)之各者分別配置於規定矩形形狀之頂點，鼻頂點(G25)配置於規定矩形形狀之中心，以對應於該第一輪廓點及鼻頂點之移動使臉部區域之其他複數點移動之方式進行該座標轉換。

藉由如此進行座標轉換，能夠使轉換後之規定矩形形狀之臉部圖像內，佔據整個臉部區域。又，根據該座標轉換，能夠消除原臉部圖像中映現之各個人之臉部之輪廓之形狀或大小之差異而使其等固定化。結果，能夠使輸入至AI模型之臉部圖像中之臉部區域內之鼻部或嘴部、眼部等之位置大致共通化，故能夠使AI模型之學習效率等更有效率，並且亦提高了AI模型之推定精度。

本實施方式中，於步驟(S22)中，特定出包圍臉部區域內之規定局部部位區域之複數個外周點之位置座標，故步驟(S23)中之圖像轉換以如下方式進行。即，CPU11於座標轉換中使介隔該規定局部部位區域相互對向之外周點之位置座標一致，換言之，將外周點連結後去除原臉部圖像之臉部區域內之該規定局部部位區域。 此處之「外周點之連結」除藉由將介隔該規定局部部位區域而相互對向之兩個以上之外周點座標轉換為相同之位置座標來實現以外，亦可藉由以將該局部部位區域消除或縮小之方式使該兩個以上之外周點移動至近接之位置來實現。

藉此，能夠自輸入至AI模型之臉部圖像中排除與人臉之肌膚狀態無關之局部部位區域，且於該臉部圖像內擴大肌膚區域。結果相較先前方法而言，能夠防止原臉部圖像之臉部區域之像素數較AI模型之輸入圖像之規定矩形形狀少時產生之臉部區域之解像度之降低，進而，能夠提高AI模型之推定精度。 因此，該規定局部部位區域較佳為設為與肌膚狀態無關之眼部區域、眉毛區域或唇部區域之任一個，更佳為設為該等中之任一者複數個，進而較佳為該等中之全部。

於資訊獲取步驟(S24)(S25)中，CPU11將步驟(S23)中經轉換之臉部圖像輸入至AI模型(S24)，而獲取對象者之臉部之肌膚狀態資訊(S25)。 於將實現AI模型之程式等儲存於資訊處理裝置10內之記憶體12之情形時，CPU11能夠藉由將步驟(S23)中經轉換之臉部圖像輸入至該AI模型，而獲取對象者之臉部之肌膚狀態資訊作為該AI模型之輸出。

步驟(S25)中獲取之肌膚狀態資訊如上所述，只要為表示對象者之臉部之肌膚狀態之資訊即可，具體之推定項目不受任何限定。於AI模型形成為能夠推定人臉之肌膚狀態相關之複數個項目之情形時，所獲取之肌膚狀態資訊可作為複數個肌膚狀態項目之資訊，亦可作為一個肌膚狀態項目之資訊。

又，近年來，存在指示AI模型之判斷依據之各種技術。例如，有一種用於CNN之AI模型之被稱為GradCam之技術，能夠讓人知曉哪一區域有助於得出結論。 因此，於步驟(S23)中，亦可使用此種技術進行座標轉換，以有助於AI模型之推定結果之臉部區域之部位更被予以重視。或者，於步驟(S25)中，CPU11亦可獲取有關對象者之臉部之肌膚狀態資訊及與該肌膚狀態資訊對應之臉部區域之部位處於哪一位置的資訊。此時，CPU11例如亦能夠輸出原臉部圖像之臉部區域內之該部位以能夠識別之方式顯示之臉部圖像。藉由如此設置在畫面上顯示有助於辨識該肌膚狀態之部位之步驟，能夠顯示能讓人容易地理解對象者之哪一部位適宜進行手術或應用製品的圖像，因而較佳。

進而，CPU11亦可進而執行如下步驟，即，基於步驟(S25)中獲取之肌膚狀態資訊，輸出與對象者之臉部之肌膚狀態對應之美容手術方法或美容製品之一者或兩者之推薦資訊。例如，輸出之推薦資訊包含為了改善對象者之肌膚狀態或達成對象者希望之肌膚年齡而推薦之美容手術方法或化妝料、補充劑等美容製品之資訊。此時，於能夠如上所述獲取與肌膚狀態資訊對應之臉部區域之部位資訊之情形時，輸出之推薦資訊亦能夠針對臉部區域之每個部位提示不同之美容製品或美容手術方法。又，於AI模型形成為能夠推定複數個肌膚狀態項目之情形時，輸出之推薦資訊亦能夠針對每個肌膚狀態項目提示不同之美容製品或美容手術方法。

將複數種美容手術方法及複數種美容製品之各者與能夠藉由AI模型推定之各肌膚狀態(各肌膚狀態項目之各肌膚狀態)分別建立關聯地預先儲存於記憶體12，CPU11能夠基於記憶體12中儲存之該資訊，特定出與步驟(S25)中獲取之肌膚狀態資訊對應之一個以上之美容手術方法或一個以上之美容製品，能夠產生包含該所特定出之方法或製品之一者或兩者之推薦資訊。亦可構成為將方法/製品與肌膚狀態之關聯資訊儲存於其他電腦之記憶裝置中，經由通信而加以參照。 該推薦資訊之輸出形態並無特別限制。例如，CPU11可使該推薦資訊顯示於顯示裝置15，亦可將其印刷至印刷裝置，亦可發送至其他電腦，還可以電子檔案之形式儲存於可攜式記錄媒體等。

(AI模型(肌膚狀態推定模型)之學習方法) 使用圖5對上述之本方法中利用之AI模型(肌膚狀態推定模型)之學習方法進行說明。 圖5係表示本實施方式之肌膚狀態推定模型之學習方法(以下，有時記載為本學習方法)之流程圖。本學習方法能夠藉由如圖1所例示之資訊處理裝置10(CPU11)來執行。 本學習方法大致包含：獲取教師資料之步驟(S41)、將該教師資料所包含之各臉部圖像分別進行轉換之轉換步驟(S42)(S43)；及使用包含經轉換之臉部圖像之教師資料使AI模型進行學習之步驟(S44)。以下，對本學習方法之各步驟分別進行詳細敍述。

於步驟(S41)中，CPU11獲取由複數個人分有臉部圖像與表示該臉部圖像中映現之人臉之肌膚狀態之正解資訊的組合之教師資料。 教師資料所包含之各臉部圖像係如關於本方法之步驟(S21)中獲取之臉部圖像所述，只要被攝體之臉部以能供解析推定項目之肌膚狀態之程度分別映現即可。教師資料所包含之各臉部圖像可呈規定矩形形狀分別正規化，亦可包含與規定矩形形狀之規定圖像尺寸為不同圖像尺寸或與規定矩形形狀為不同形狀之臉部圖像。 教師資料所包含之正解資訊係藉由評價者利用目測或測定器等評價對應之臉部圖像或該臉部圖像之被攝體自身而獲得之表示人臉之肌膚狀態之資訊。於AI模型形成為能夠推定人臉之肌膚狀態相關之複數個項目之情形時，該正解資訊被作為複數個肌膚狀態項目之資訊。

步驟(S42)及步驟(S43)係針對步驟(S41)中獲得之教師資料所包含之每個臉部圖像分別執行。 步驟(S42)中，CPU11特定出對象之臉部圖像中映現之人臉之臉部區域中的複數個規定部位之位置座標(規定位置座標)。 步驟(S43)中，CPU11以如下方式將對象之臉部圖像進行座標轉換，上述方式係指以步驟(S42)中特定出之複數個規定部位之位置座標為基準，使該臉部區域成為規定矩形形狀。 步驟(S42)及步驟(S43)之處理內容與上述步驟(S22)及(S23)相同。

當對教師資料所包含之所有臉部圖像執行步驟(S42)及步驟(S43)時，於步驟(S44)中，CPU11使用包含經轉換之臉部圖像之教師資料使AI模型進行學習。本實施方式中，藉由深度學習而進行該AI模型之學習。但是，針對AI模型之具體之學習運算法不受任何限定。

如此，於本學習方法中，使用如臉部圖像內佔據整個臉部區域之臉部圖像作為教師資料，讓AI模型進行學習。即，AI模型之學習所使用之臉部圖像係至少臉部區域之輪廓上之複數點位於圖像外緣之圖像，若為臉部區域之輪廓上之所有點均位於圖像外緣之圖像，則更佳。 藉此，能夠省略以下學習過程，即，學習將排除臉部區域以外之圖像區域後之臉部圖像用作為教師資料，臉部區域以外之圖像區域不用於推定，等等，能夠使AI模型之學習處理變得更有效率。又，在本學習方法中用作為教師資料之臉部圖像中，使臉部區域以臉部區域以外之被排除之圖像區域之像素數擴大，故能夠抑制推定對象之臉部區域之解像度降低，進而，能夠高精度之AI模型。 進而，AI模型之學習中所使用之臉部圖像更佳為臉部區域內之規定局部部位區域被去除或縮小之圖像，臉部區域之輪廓上之複數點(包含第一輪廓點)、臉部區域內部之鼻頂點及臉部區域內部之其他複數個點(包含第二輪廓點及第三輪廓點)更佳為按本方法中所述之方法進行了座標轉換之臉部圖像。 AI模型之學習中所使用之臉部圖像係根據此種共通之規則以對應位置之座標一致之方式進行座標轉換(正規化)。

[變化例] 上述實施方式之內容能夠於不帶來影響之範圍內適當變化。 例如，於上述AI模型之例中，將規定矩形形狀之臉部圖像用作為教師資料進行學習，但亦可將如圓形、橢圓形等非矩形之形狀之臉部圖像用作為教師資料進行學習。即便於此情形時，在轉換步驟(S23)中，CPU11為了符合AI模型中之輸入規則，以原臉部圖像中映現之人臉之臉部區域之輪廓上之複數點位於圖像外緣之方式，即，以除矩形以外之規定形狀之臉部圖像內的佔據整個臉部區域之方式，將該原臉部圖像進行轉換而獲得轉換後臉部圖像即可。 又，上述實施方式中，作為較佳之態樣，於轉換步驟(S23)中進行將臉部區域內之規定局部部位區域去除或縮小之處理，但亦可省略該處理。

於AI模型形成為能夠推定肌膚狀態之複數個項目之情形時，可使上述實施方式如圖6及圖7所示般變化。 圖6係表示變化例之肌膚狀態推定方法(以下，記載為本變化方法)中之臉部圖像之轉換流程的圖，圖7係表示變化例之肌膚狀態推定方法之流程圖。

本變化方法中利用之AI模型係例如利用能夠分別輸出互不相同之一個以上之肌膚狀態項目之推定資訊的複數個神經網絡形成。各神經網絡使用如下教師資料進行學習，該教師資料包含：以符合與作為推定對象之一個以上之肌膚狀態項目對應之輸入規則的方式加以轉換之臉部圖像和該肌膚狀態項目之正解資訊的組合。因此，本變化方法中利用之AI模型中之輸入規則可以說設置有複數個。 CPU11能夠利用用以獲得符合AI模型之輸入規則之臉部圖像之、與複數個推定項目對應之互不相同之複數個座標轉換規則。 座標轉換規則係於下述步驟(S65)中之座標轉換時利用者，規定使下述步驟(S64)中特定出之複數個規定部位之位置座標移動至轉換後之臉部圖像中之哪一位置。

座標轉換規則只要是如上述實施方式所述，能夠以轉換後之臉部圖像中佔據整個臉部區域之方式將原臉部圖像進行轉換者即可，其具體內容不受任何限定。例如設定如下座標轉換規則，即，於臉部之肌膚區域中將與作為推定對象之肌膚狀態項目對應之部位區域放大，且將與該肌膚狀態項目關聯性較弱之部位區域縮小。具體而言，對應於肌膚年齡之肌膚狀態項目之座標轉換規則被規定為將外眼角區域或法令紋區域放大。又，對應於乾燥度之肌膚狀態項目之座標轉換規則被規定為將臉部之肌膚中已知容易乾燥之眼角區域或嘴角區域放大，與光澤度之肌膚狀態項目對應之座標轉換規則被規定為將已知為皮脂量較多之部位之被稱作T區之區域放大。

座標轉換規則可相應於與AI模型能夠推定之項目數相同數量而設置，亦可相應於較AI模型能夠推定之項目數少之數量設置。於前者之情形時，針對一個推定項目設置一個座標轉換規則，針對每個座標轉換規則、換言之針對每個推定項目分別形成神經網絡。於後者之情形時，可混合存在針對複數個推定項目設置之一個座標轉換規則與針對一個推定項目設置之一個座標轉換規則，亦可設置複數個針對複數個推定項目設置了一個之座標轉換規則。此情形時，亦針對每個座標轉換規則分別形成神經網絡，但並非針對每個推定項目。

如圖7所示，本變化方法包含步驟(S61)至步驟(S67)。 步驟(S61)與上述步驟(S21)相同。 步驟(S62)中，CPU11獲取推定對象項目資訊。推定對象項目資訊係表示AI模型能夠推定之複數個肌膚狀態項目中之被請求之一個以上之肌膚狀態項目的資訊。CPU11既可根據使用輸入裝置16之使用者之輸入來獲取推定對象項目資訊，亦可自記憶體12獲取預先設定之推定對象項目資訊，還可經由來自其他電腦之通信而獲取推定對象項目資訊。

步驟(S63)中，CPU11選擇與步驟(S62)中所獲取之推定對象項目資訊所示之推定對象項目對應之座標轉換規則。此時，於指定了複數個項目作為推定對象項目之情形時，選擇與該複數個項目對應之一個以上之座標轉換規則。 步驟(S64)與上述步驟(S22)相同。

步驟(S65)中，CPU11藉由基於步驟(S63)中所選擇之座標轉換規則將步驟(S64)中特定出之複數個部位之位置座標進行座標轉換，而將原臉部圖像進行轉換，自該原臉部圖像產生與推定對象項目對應之轉換臉部圖像。關於步驟(S65)中之臉部圖像之轉換方法，除使用自複數個座標轉換規則中選擇之座標轉換規則以外，與上述步驟(S23)相同。 但是，於在步驟(S63)中選擇了複數個座標轉換規則之情形時，於步驟(S65)中會產生與複數個推定對象項目之各者對應之複數個轉換臉部圖像。於圖6之例中，作為基於N個座標轉換規則之座標轉換後之位置座標，示出N種(G3-1、G3-2、…、G3-N)位置座標，產生N個轉換臉部圖像(G4-1、G4-2、…、G4-N)。

步驟(S66)與上述步驟(S24)相同，步驟(S67)與上述步驟(S25)相同。 但是，於指定複數個項目作為推定對象項目之情形時，在步驟(S67)中，獲取與對象者之臉部之複數個項目相關之肌膚狀態資訊。又，於在步驟(S63)中選擇了複數個座標轉換規則，在步驟(S65)中產生了複數個轉換臉部圖像之情形時，在步驟(S66)中將該複數個轉換臉部圖像輸入至AI模型，在步驟(S67)中獲取與對象者之臉部之複數個項目相關之肌膚狀態資訊。

根據本變化方法，能夠獲取與複數個項目相關之對象者之肌膚狀態資訊。又，能夠獲取與該複數個項目中之所期望之項目相關的對象者之肌膚狀態資訊。 進而言之，針對作為推定對象之每個肌膚狀態項目，AI模型基於使用與該肌膚狀態項目對應之座標轉換規則轉換後之臉部圖像進行推定，故能夠分別提高肌膚狀態之每個推定項目之推定精度。 本變化方法能夠進一步變化。例如亦可以如下方式變化：自本變化方法中省略獲取推定對象項目資訊之步驟(S62)，獲取與AI模型能夠推定之所有推定項目相關之肌膚狀態資訊。

[另一實施方式] 將本發明之肌膚狀態推定系統之另一實施方式(以下為本實施方式)之構成示於圖8中。本實施方式中，經由網路將智慧型手機等使用者終端30與伺服器裝置20連接而構成系統。 本實施方式中，伺服器裝置20具備AI模型7及資訊獲取機構38。使用者終端30具備作為圖像獲取機構之相機31、位置特定機構32、轉換機構33、發送機構34、及作為顯示裝置之資訊顯示機構35、將上述資訊顯示機構35所提示之肌膚資訊轉換後產生利用者可讀取之圖像資訊的肌膚狀態輸出機構36、以及接收機構37。 使用者終端30與伺服器裝置20經由網際網路等通信線路5連接，成為一體而構成肌膚狀態推定系統。再者，本領域技術人員當然能夠容易理解，使用者終端30宜存在複數個，於此情形時，各使用者終端30與伺服器裝置20之組合分別構成肌膚狀態推定系統。

藉由使用者終端30之發送機構34發送至伺服器裝置20之轉換後臉部圖像被伺服器裝置20之接收機構(未圖示)接收，經由資訊獲取機構38輸入至AI模型7。本實施方式中，將自AI模型7輸出且由資訊獲取機構38獲取之肌膚狀態資訊從伺服器裝置20之發送機構(未圖示)經由通信線路5發送至使用者終端30。使用者終端30之接收機構37所接收到之肌膚狀態資訊由肌膚狀態輸出機構36轉換為構成顯示畫面之資料，顯示於使用者終端30之顯示裝置35(畫面)。

如此，藉由將AI模型7配置於伺服器裝置20，能夠不變更使用者終端30上之電腦程式地進行AI模型7之置換或更新，從而實現精度之提高，能夠增加系統整體之精度提高之頻度。 於使用者終端30中，較佳為經由形成網路之通信媒體來發送程式，即用於令使用者終端30作為本系統中之位置特定機構32、轉換機構33、發送機構34、及作為顯示裝置之資訊顯示機構35、將上述資訊顯示機構35所提示之肌膚資訊轉換後產生利用者可讀取之圖像資訊的肌膚狀態輸出機構36、以及接收機構37發揮功能之程式。該程式可記憶於記憶媒體中，並提供給使用者終端30之使用者。

將本發明之肌膚狀態推定系統之又一實施方式(以下為本實施方式)之構成示於圖9中。本實施方式與圖8所示之例同樣，經由網路將智慧型手機等使用者終端30與伺服器裝置20連接而構成系統。 使用者終端30具備作為圖像獲取機構之相機31、發送機構34、作為顯示裝置之資訊顯示機構35、肌膚狀態輸出機構36、及接收肌膚狀態之接收機構37。伺服器裝置20具備AI模型7、位置特定機構32、轉換機構33及資訊獲取機構38。 與圖8所例示之肌膚狀態推定系統同樣，使用者終端30與伺服器裝置20經由網際網路等通信線路5連接，一體地構成肌膚狀態推定系統。再者，本領域技術人員當然能夠容易理解，使用者終端30可存在複數個，此情形時，各使用者終端30與伺服器裝置20之組合分別構成肌膚狀態推定系統。 於各使用者終端30中，較佳為經由形成網路之通信媒體來發送用於令使用者終端30作為本系統中之發送機構34、肌膚狀態輸出機構36、接收肌膚狀態之接收機構37發揮功能的程式。該程式亦可記憶於記憶媒體中，並提供給使用者終端30之使用者。

利用使用者終端30之相機31拍攝之原臉部圖像由發送機構34發送至伺服器裝置20，於伺服器裝置20中由位置特定機構32及轉換機構33加以處理，其後，經由資訊獲取機構38輸入至AI模型7。 本實施方式中，自AI模型7輸出之肌膚狀態資訊係藉由伺服器裝置20之資訊獲取機構38獲取，且藉由發送機構(未圖示)經由通信線路5發送至使用者終端30。使用者終端30之接收機構37所接收到之肌膚狀態資訊由肌膚狀態輸出機構36轉換為構成顯示畫面之資料，顯示於使用者終端30之顯示裝置35(畫面)。

將由肌膚狀態輸出機構36加工、製作，且顯示於使用者終端30之顯示裝置35之顯示畫面之一例示於圖10中。於該顯示畫面中，使原臉部圖像顯示於畫面上方，在畫面中央附近用數字表示肌膚年齡，而且在下方用雷達圖表示各項目之值。 如此，利用肌膚狀態輸出機構36進行資訊處理以於同一畫面上示出表示原圖像與肌膚狀態資訊之圖，藉此能夠形成容易掌握肌膚狀態之畫面，或利用輸出機構36進行資訊處理以於一個畫面中一次顯示複數個肌膚狀態資訊，藉此能夠一次顯示肌膚狀態之整體圖像。 雖然亦能以簡單之數字顯示自伺服器裝置20發送來之數值資訊，但如此利用使用者終端30之肌膚狀態輸出機構36進行加工後以容易看到之方式顯示，作為與使用者之通信工具而言較為重要。若利用伺服器裝置20產生顯示畫面，則於不同之使用者終端30之情形時，有可能產生畫面之一部分缺失、或文字難以讀出等弊端，故較佳為如本實施方式般，將自伺服器裝置20發送來之肌膚狀態資訊於使用者終端30側轉換為顯示用。又，較佳為如本實施方式般，將肌膚狀態之各項目進行加工後顯示於圖中，綜合評價以肌膚年齡、或例如5個等級或100分滿分基準計為幾分之類的數值表示。

上述實施方式及變化例之一部分或全部亦能以如下方式特定出。但是，上述實施方式及變化例不限於以下之記載。

＜1＞ 一種肌膚狀態推定方法，其使用了已進行學習之推定模型，以自輸入臉部圖像輸出該輸入臉部圖像中映現之人臉之肌膚狀態，該肌膚狀態推定方法係 由一個以上之處理器執行： 圖像獲取步驟，其係獲取對象者之臉部圖像； 轉換步驟，其係為了符合上述推定模型之輸入規則，以上述所獲取之臉部圖像中映現之人臉之臉部區域之輪廓上之複數點位於圖像外緣的方式將該臉部圖像進行轉換後獲得轉換後臉部圖像；及 資訊獲取步驟，其係藉由輸入上述轉換後臉部圖像作為上述輸入臉部圖像，而獲取自上述推定模型輸出之上述對象者之臉部之肌膚狀態資訊。

＜2＞ 如＜1＞所記載之肌膚狀態推定方法，其中於上述轉換後臉部圖像中，將上述所獲取之臉部圖像中映現之人臉之臉部區域內之規定局部部位區域去除或縮小， 於上述轉換步驟中，使上述臉部區域內包圍上述規定局部部位區域之複數個外周點中之隔著上述規定局部部位區域相互對向之外周點之位置一致，將上述臉部區域內之上述規定局部部位區域去除或縮小。 ＜3＞ 如＜2＞所記載之肌膚狀態推定方法，其中 上述規定局部部位區域包含眼部區域、眉毛區域及唇部區域。 ＜4＞ 如＜2＞或＜3＞所記載之肌膚狀態推定方法，其中 上述一個以上之處理器進而執行： 位置特定步驟，其係特定出上述所獲取之臉部圖像中映現之上述人臉之臉部區域中的規定之複數個部位之位置座標； 於上述轉換步驟中，以將上述所特定出之規定之複數個部位之位置座標之一部分或全部進行座標轉換而符合上述推定模型之上述輸入規則之方式，將上述所獲取之臉部圖像進行轉換。 ＜5＞ 如＜4＞所記載之肌膚狀態推定方法，其中 上述輸入臉部圖像具有規定矩形形狀， 上述規定之複數個部位之位置座標進而包含上述臉部區域之輪廓上之複數點、上述臉部區域之鼻頂點及上述臉部區域之其他複數點之位置座標， 於上述轉換步驟中，以如下方式進行上述座標轉換，即，上述臉部區域之輪廓上之上述複數點所包含之4個第一輪廓點之各者分別配置於上述規定矩形形狀之頂點，上述鼻頂點配置於上述規定矩形形狀之中心，上述臉部區域之輪廓上之其他點配置於上述規定矩形形狀之邊上，使上述臉部區域之上述其他複數點對應於上述臉部區域之輪廓上之上述複數點及上述鼻頂點之移動而移動。 ＜6＞ 如＜5＞所記載之肌膚狀態推定方法，其中 上述臉部區域之上述其他複數點包含位於較上述規定局部部位區域更靠近上述臉部區域之輪廓的4個第三輪廓點及位於較該4個第三輪廓點更靠近上述臉部區域之輪廓的4個第二輪廓點， 於上述轉換步驟中，以如下方式進行上述座標轉換，即上述4個第二輪廓點及上述4個第三輪廓點分別配置於連結上述4個第一輪廓點與上述鼻頂點之對角線上，且上述第一輪廓點距上述鼻頂點之距離與上述第二輪廓點距上述鼻頂點之距離之差小於上述第二輪廓點距上述鼻頂點之距離與上述第三輪廓點距上述鼻頂點之距離之差。 ＜7＞ ＜1＞至＜6＞中任一項之肌膚狀態推定方法，其中 上述推定模型能夠推定肌膚狀態之複數個項目， 上述推定模型之上述輸入規則設置有複數個， 於上述轉換步驟中，藉由以對應於與上述複數個項目對應之互不相同之複數個上述輸入規則中與推定對象項目對應之輸入規則的方式，將上述所獲取之臉部圖像轉換，而獲取與推定對象項目對應之轉換後臉部圖像， 於上述資訊獲取步驟中，將上述轉換後臉部圖像輸入至上述推定模型，而獲取與上述推定對象項目相關之上述對象者之肌膚狀態資訊。 ＜8＞ 一種肌膚狀態推定系統，其具備： 推定模型，其執行了學習，以自輸入臉部圖像輸出該輸入臉部圖像中映現之人臉之肌膚狀態； 圖像獲取機構，其獲取對象者之臉部圖像； 轉換機構，其為了符合上述推定模型之輸入規則，以上述所獲取之臉部圖像中映現之人臉之臉部區域之輪廓上之複數點位於圖像外緣的方式將該臉部圖像進行轉換後獲得轉換後臉部圖像； 資訊獲取機構，其藉由輸入上述轉換後臉部圖像作為上述輸入臉部圖像，而獲取自上述推定模型輸出之上述對象者之臉部之肌膚狀態資訊； 肌膚狀態輸出機構，其產生用以提示上述所獲取之肌膚狀態資訊之圖像資訊；及 資訊顯示機構，其顯示上述圖像資訊。 ＜9＞ 如＜8＞所記載之肌膚狀態推定系統，其中 於上述轉換後臉部圖像中，將上述所獲取之臉部圖像中映現之人臉之臉部區域內之規定局部部位區域去除或縮小， 上述轉換機構使上述臉部區域內包圍上述規定局部部位區域之複數個外周點中之隔著上述規定局部部位區域相互對向之外周點之位置一致，將上述臉部區域內之上述規定局部部位區域去除或縮小。 ＜10＞ 如＜9＞所記載之肌膚狀態推定系統，其中 上述規定局部部位區域包含眼部區域、眉毛區域及唇部區域。 ＜11＞ 如＜9＞或＜10＞所記載之肌膚狀態推定系統，其 進而具備位置特定機構，該位置特定機構特定出上述所獲取之臉部圖像中映現之上述人臉之臉部區域中的規定之複數個部位之位置座標， 上述轉換機構以將上述所特定出之規定之複數個部位之位置座標之一部分或全部進行座標轉換而符合上述推定模型之上述輸入規則之方式，將上述所獲取之臉部圖像進行轉換。 ＜12＞ 如＜11＞所記載之肌膚狀態推定系統，其中 上述輸入臉部圖像具有規定矩形形狀， 上述規定之複數個部位之位置座標進而包含上述臉部區域之輪廓上之複數點、上述臉部區域之鼻頂點及上述臉部區域之其他複數點之位置座標， 上述轉換機構以如下方式進行上述座標轉換，即，上述臉部區域之輪廓上之上述複數點所包含之4個第一輪廓點之各者分別配置於上述規定矩形形狀之頂點，上述鼻頂點配置於上述規定矩形形狀之中心，上述臉部區域之輪廓上之其他點配置於上述規定矩形形狀之邊上，使上述臉部區域之上述其他複數點對應於上述臉部區域之輪廓上之上述複數點及上述鼻頂點之移動而移動。 ＜13＞ 如＜12＞所記載之肌膚狀態推定系統，其中 上述臉部區域之上述其他複數點包含位於較上述規定局部部位區域更靠近上述臉部區域之輪廓的4個第三輪廓點及位於較該4個第三輪廓點更靠近上述臉部區域之輪廓的4個第二輪廓點， 上述轉換機構以如下方式進行上述座標轉換，即上述4個第二輪廓點及上述4個第三輪廓點分別配置於連結上述4個第一輪廓點與上述鼻頂點之對角線上，且上述第一輪廓點距上述鼻頂點之距離與上述第二輪廓點距上述鼻頂點之距離之差小於上述第二輪廓點距上述鼻頂點之距離與上述第三輪廓點距上述鼻頂點之距離之差。 ＜14＞ 如＜8＞至＜13＞中任一項之肌膚狀態推定系統，其中 上述推定模型能夠推定肌膚狀態之複數個項目， 上述推定模型之上述輸入規則設置有複數個， 於上述轉換步驟中，藉由以對應於與上述複數個項目對應之互不相同之複數個上述輸入規則中與推定對象項目對應之輸入規則的方式，將上述所獲取之臉部圖像轉換，而獲取與推定對象項目對應之轉換後臉部圖像， 上述資訊獲取機構將上述轉換後臉部圖像輸入至上述推定模型，而獲取與上述推定對象項目相關之上述對象者之肌膚狀態資訊。 ＜15＞ 如＜8＞至＜14＞中任一項之肌膚狀態推定系統，其中 上述肌膚狀態推定系統具備使用者終端， 上述使用者終端至少包含上述圖像獲取機構、上述肌膚狀態輸出機構及上述資訊顯示機構。 ＜16＞ 如＜11＞至＜13＞中任一項之肌膚狀態推定系統，其中 上述肌膚狀態推定系統具備使用者終端， 上述使用者終端至少包含上述圖像獲取機構、上述肌膚狀態輸出機構、上述資訊顯示機構及上述位置特定機構。 ＜17＞ 一種肌膚狀態推定系統用使用者終端，其係如＜8＞至＜14＞中任一項之肌膚狀態推定系統用之使用者終端，且 至少具備上述圖像獲取機構、上述肌膚狀態輸出機構及上述資訊顯示機構。 ＜18＞ 一種肌膚狀態推定系統用使用者終端，其係如＜11＞至＜13＞中任一項之肌膚狀態推定系統用之使用者終端，且 具備上述圖像獲取機構、上述肌膚狀態輸出機構、上述資訊顯示機構及上述位置特定機構。 ＜19＞ 如＜17＞或＜18＞所記載之肌膚狀態推定系統用使用者終端，其 進而具備上述轉換機構。

以下例舉實施例來更詳細地說明上述內容。但是，以下之實施例之記載並不對上述內容加以任何限定。 [實施例]

本實施例中，準備有使用複數種拍攝裝置在複數個拍攝環境下對353名日本女性進行拍攝而獲得之2207張臉部圖像(以下，記載為臉部圖像樣本)，使用該臉部圖像樣本來檢驗上述本實施方式之肌膚狀態推定方法(本方法)之精度。複數種拍攝裝置包含單眼反光數位相機、智慧型手機、平板終端。

本方法之精度之檢驗係藉由推定臉部圖像中映現之人臉之肌膚狀態之現有之通常之方法(以下，記載為先前方法)、與上述專利文獻1中所記載之方法(記載為在先專利方法)的精度之比較而進行。具體而言，關於本方法、先前方法及在先專利方法之各者，分別構建AI模型且使AI模型進行學習，將藉由各AI模型所推定之肌膚狀態之精度加以比較。

各AI模型係藉由以ImageNet用之卷積神經網絡(CNN)之已學習模型為基礎進行VGG16之微調(fine-tuning)而構建。各AI模型之學習條件中，僅用作為教師資料之臉部圖像不同，而其他條件相同。作為學習方法，利用學習率(lr)為0.001至0.0001，以20個時期(Epoch)為1週期之餘弦退火(Cosine Annealing)，總學習數為1000個時期。又，於損失(Loss)函數中使用均方誤差(Mean Squared Error)，使用隨機梯度下降法(SGD(Stochastic Gradient Descent)法)作為最佳化運算法。

各AI模型係由4個CNN分別形成，而能夠推定18個項目之肌膚狀態。 肌膚狀態之推定項目為上妝感、肌膚年齡、男性/女性肌膚特徵、化妝脫妝度、粉感、光澤度、濕潤度、綜合評價、滋潤度、乾燥度、光滑度、肌理細膩度、潤澤度、緊緻度、透明感、肌膚白度、黃度及暗沉。 1個CNN輸出之推定項目係以推定項目間之共線性、或組合並學習時之學習效率為參考而決定。具體而言，以利用一個CNN輸出如肌理細膩度、光滑度、透明感般推測為相互連動性或共線性較高之項目之組合的方式，形成AI模型，藉由進行該AI模型之學習而探索推定精度變高之項目間之組合，結果，構建出由4個CNN推定18個項目之肌膚狀態之AI模型。 各AI模型之教師資料之正解資訊係藉由專業評價者對被攝體之臉部之肌膚狀態進行目測評價而獲取，或藉由對專用之皮膚圖像測量裝置所拍攝之被攝體之臉部圖像應用特定之解析方法而獲取。

利用本方法、先前方法及在先專利方法之各方法將臉部圖像樣本所包含之各原臉部圖像分別進行轉換。即，準備有利用本方法進行了轉換之2207張臉部圖像群、利用先前方法進行了轉換之2207張臉部圖像群及利用在先專利方法進行了轉換之2207張臉部圖像群。 將為各方法準備之各臉部圖像群分別被分為5:3:2，作為學習用、檢驗用及測試用，將學習用之5成臉部圖像群作為AI模型之教師資料，將檢驗用之3成臉部圖像群用於已學習之AI模型之選擇，使用測試用之2成臉部圖像群來評價各AI模型之推定精度。又，藉由針對各臉部圖像進行最大±5度之隨機旋轉處理而使學習用之臉部圖像群成為10倍。 於各AI模型中，將輸入圖像之圖像尺寸規定為224像素(上述規定圖像尺寸)，將輸入圖像之形狀規定為正方形(上述規定矩形形狀)。

各方法中使用之臉部圖像之轉換方法如下所述。 於先前方法中，使用針對圖像尺寸及形狀將臉部圖像樣本之原臉部圖像正規化且利用臉部辨識以臉部到達規定之位置之方式僅經對位的臉部圖像(圖像尺寸224像素，圖像形狀為正方形)，在先專利方法中，除了先前方法之正規化及藉由臉部辨識之臉部之對位以外，對該原臉部圖像進行在除臉部區域以外之區域(背景或毛髮)以及眼部、眉毛及唇部之各區域全部塗上肌膚色之處理。

本實施例中，本方法如圖11所示將臉部圖像進行轉換。圖11係表示本實施例之肌膚狀態推定方法中之臉部圖像之轉換流程的圖。

於位置特定步驟(S22)中，利用Google(註冊商標)之FaceMesh，特定出原臉部圖像中之臉部區域之468個標記之位置座標。於圖11之例中，在符號E2內示出將各標記之點利用線段相連而形成之網格。

所檢測出之標記包含表示臉部之輪廓之點、鼻部之頂點、眼部、眉部及唇部之輪廓的點等，臉部之輪廓上之與左右之眉梢相鄰之2個點用符號E21及E24表示，臉部之輪廓上之與左右之嘴角相鄰之2個點用符號E22及E23表示，鼻頂點用符號E25表示。符號E21至E24所示之標記相當於上述第一輪廓點。 又，於第一輪廓點(E21至E24)之內側與之相鄰之4個點用符號E211、E221、E231及E241表示，該等點被記載為第二輪廓點。 於該等第二輪廓點E211、E221、E231及E241之更內側與之相鄰之4個點用符號E212、E222、E232及E242表示，該等點被記載為第三輪廓點。

於轉換步驟(S23)中，將步驟(S22)中特定出之標記之位置座標如圖11之符號E3所示進行座標轉換。 具體而言，4個第一輪廓點E21、E22、E23及E24分別配置於轉換後之臉部圖像中之正方形之頂點，鼻頂點E25配置於該轉換後之臉部圖像之中心，臉部之輪廓上之其他點配置於該轉換後之臉部圖像之邊上。 進而，4個第二輪廓點E211、E221、E231及E241、以及4個第三輪廓點E212、E222、E232及E242分別配置於將4個第一輪廓點E21、E22、E23及E24、與鼻頂點E25連結之對角線上，且以第一輪廓點距鼻頂點之距離與第二輪廓點距鼻頂點之距離之差小於第二輪廓點距鼻頂點之距離與第三輪廓點距鼻頂點之距離之差之方式配置。 再者，關於其他標記，一面根據臉部區域之輪廓上之點及鼻頂點之移動，儘可能地維持相互之位置關係，一面使其等分別線性移動。

本實施例中，藉由此種座標轉換，如圖11之符號E4所示，以轉換後之正方形之臉部圖像中臉部區域佔據整體的方式，將原臉部圖像進行轉換。 進而，以藉由第二及第三輪廓點之座標轉換使得轉換後之臉部圖像中越是靠近臉部之中心之區域則越放大，而越是靠近臉部之輪廓之區域則越不放大的方式，將原臉部圖像進行轉換。 藉此，以人臉之肌膚狀態之提示度較高之區域為中心將臉部區域放大，故即便在每次臉部圖像正規化時將圖像尺寸壓縮之情形時，亦能夠充分地抑制肌膚狀態之提示度較高之區域之解像度降低，能夠提高AI模型之推定精度。

於圖11之例中，在臉部區域中將臉頰區域亦儘可能地維持網格形狀(三角形)，且進一步放大。其原因在於，臉頰區域中人臉之肌膚狀態之提示度較高。 又，於圖11之符號E4所示之轉換後之臉部圖像中，在正方形之左右及上緣存在被認為並非臉部區域之黑色區域的原因在於，於較臉部圖像內之臉部區域之輪廓略靠外側特定出步驟(S22)中特定出之標記之位置座標。本發明在如此容許臉部區域之位置座標之特定或轉換後之臉部圖像內之臉部區域之配置相關之些許偏差的同時，能夠發揮如上所述之效果。

進而，於轉換後之臉部圖像中，如圖11之符號E4所示，眼部區域、眉毛區域及唇部區域變形。本實施例中，將唇部區域之輪廓上之標記中存在於相互上下對向之位置之、上唇區域之上方輪廓上之各點與下唇區域之下方輪廓上之各點，分別座標轉換為相同之位置座標，藉此使轉換後之臉部圖像之唇部區域變形。又，將眉毛區域之輪廓上之標記中存在於相互上下對向之位置之、眉毛區域之上方輪廓上之各點與眉毛區域之下方輪廓上之各點，分別座標轉換為相同之位置座標，藉此使轉換後之臉部圖像之眉毛區域變形。 另一方面，關於眼部區域，利用在較眼部區域之輪廓上之點稍靠外側包圍眼部區域的外周之標記(以下，記載為眼部區域外周點)。即，藉由將存在於相互上下對向之位置的上眼瞼之眼部區域外周點與下眼瞼之眼部區域外周點分別座標轉換為相同之位置座標，而壓扁轉換後之臉部圖像之眼部區域。

如此，能夠自針對AI模型之輸入臉部圖像及教師資料之臉部圖像排除與人臉之肌膚狀態無關之區域、眉毛區域及唇部區域，且能夠於該臉部圖像內將肌膚區域放大。結果，能夠防止在向AI模型輸入時臉部區域之解像度降低，進而，能夠提高AI模型之推定精度。

圖12係表示關於本實施方式之肌膚狀態推定方法(本方法)、先前方法及在先專利方法(國際公開第2018/222808號公報)，基於專家之官能評價示出預測誤差之差異之圖。圖12中示出均方誤差。 於該比較中，使用了臉部圖像、及包含與該圖像相關聯之印象評價項目的資料集。臉部圖像包含在規定之拍攝環境下拍攝到之圖像、或被攝體本人使用自己的智慧型手機在任意環境下拍攝到之圖像等複數個拍攝條件之圖像，共計2207張。針對該等所有圖像，利用有經驗之專業評價者之目測評價、或利用為了能夠預測該目測評價值而事先已學習之機器學習模型及測定裝置，將與圖像對應之印象評價得分建立關聯。關於先前方法、在先專利方法、本方法這三種方法，以印象評價項目之預測誤差相對於專家之官能評價成為最小之方式進行AI模型之學習，算出印象評價得分與預測值之均方誤差。 根據圖12，本方法表現出最小誤差，其次在先專利方法之誤差較小，先前方法之誤差最大。

表1中，表示針對緊緻度、潤澤度、肌膚表面之光滑度、肌膚之顏色、肌膚之黃度、暗沉的各項目，藉由先前方法、在先專利方法、本方法這三種方法，將先前方法中之均方誤差設為100%後比較均方誤差存在何種程度之差異結果。其中，潤澤度、肌膚表面之光滑度、肌膚之顏色、肌膚之黃度之各項目為較佳之結果。 [表1]

均方誤差	緊緻度	潤澤度	肌膚表面之 光滑度	肌膚之顏色	肌膚之黃度	暗沉
先前方法	100.00%	100.00%	100.00%	100.00%	100.00%	100.00%
在先專利方法	88.20%	101.70%	98.20%	102.40%	89.90%	88.10%
實施例(本方法)	88.00%	99.00%	88.90%	82.00%	83.70%	88.30%

因此，根據本實施例，證實藉由使用利用本方法加以轉換之臉部圖像，能提高AI模型之肌膚狀態之推定精度。

又，本實施例中，亦對使用與圖11所例示之座標轉換規則不同之座標轉換規則將上述臉部圖像樣本之原臉部圖像進行轉換之情形進行了研究。 圖13係表示臉部圖像轉換之例之圖，該臉部圖像轉換為了更詳細地推定外眼角之皺紋，使用了將外眼角之周圍、E212及E242之緊靠內側之數個網格較其他部位進一步放大、換言之增大放大率之座標轉換規則，圖14係表示臉部圖像轉換之例之圖，該臉部圖像轉換為了更詳細地推定法令紋之狀態，使用了將法令紋之周圍、具體為較E25更靠下方之部位，較其他部位放大、換言之增大放大率之座標轉換規則。 即便使用採用此種座標轉換規則加以轉換之臉部圖像E41及E42，亦與上述實施例之情形同樣，能夠推定人臉之肌膚狀態。 再者，於使用臉部圖像E41及E42之情形時，將外眼角之皺紋區域或法令紋區域放大，故作為該區域中提示之肌膚狀態，能夠更確實地評價例如法令紋或外眼角之皺紋之明顯度。

本申請主張以2022年8月4日在日本提出申請之特願2022-124831號及2023年3月29日在日本提出申請之特願2023-52673號為基礎之優先權，將其等之所有揭示引用於本文中。

5:通信線路 7:AI模型 10:資訊處理裝置(肌膚狀態推定裝置)(肌膚狀態推定模型學習裝置) 11:CPU 12:記憶體 13:輸入輸出I/F 14:通信單元 15:顯示裝置 16:輸入裝置 20:伺服器裝置 30:使用者終端 31:圖像獲取機構(相機) 32:位置特定機構 33:轉換機構 34:資訊獲取機構 35:資訊顯示機構(顯示裝置) 36:肌膚狀態輸出機構 37:接收機構 38:資訊獲取機構 E2:符號 E21, E22, E23, E24:第一輪廓點 E25:鼻頂點 E211, E221, E231, E241:第二輪廓點 E212, E222, E232, E242:第三輪廓點 E41, E42:臉部圖像 G1:符號 G2:符號 G3:符號 G3-1, G3-2,…, G3-N:位置座標 G4:符號 G4-1, G4-2,…, G4-N:轉換臉部圖像 G21, G22, G23, G24:第一輪廓點 G25:鼻頂點 S21:步驟 S22:步驟 S23:步驟 S24:步驟 S25:步驟 S41:步驟 S42:步驟 S43:步驟 S44:步驟 S61:步驟 S62:步驟 S63:步驟 S64:步驟 S65:步驟 S66:步驟 S67:步驟

圖1係概念地表示能夠執行本實施方式之肌膚狀態推定方法之資訊處理裝置之硬體構成例的圖。 圖2係用以說明本實施方式之肌膚狀態推定裝置之各部之功能的方塊圖。 圖3係表示本實施方式之肌膚狀態推定方法之流程圖。 圖4係表示本實施方式之肌膚狀態推定方法中之臉部圖像之轉換流程的圖。 圖5係表示本實施方式之肌膚狀態推定模型之學習方法之流程圖。 圖6係表示變化例之肌膚狀態推定方法中之臉部圖像之轉換流程的圖。 圖7係表示變化例之肌膚狀態推定方法之流程圖。 圖8係功能性地表示以使用者終端與伺服器之組合之形式構成肌膚狀態推定系統之實施方式的圖。 圖9係功能性地表示以使用者終端與伺服器之組合之形式構成肌膚狀態推定系統之另一實施方式的圖。 圖10係表示使用者終端上之肌膚狀態資訊之顯示畫面之一例的圖。 圖11係表示實施例之肌膚狀態推定方法中之臉部圖像之轉換流程的圖。 圖12係表示本實施方式之肌膚狀態推定方法(本方法)、先前方法與在先專利方法的預測誤差之差異之圖。 圖13係表示臉部圖像轉換之例之圖，該臉部圖像轉換為了更詳細地推定外眼角之皺紋，使用了使外眼角之周圍之放大率大於其他部位之放大率的座標轉換規則。 圖14係表示臉部圖像轉換之例之圖，該臉部圖像轉換為了更詳細地推定法令紋之狀態，使用了使法令紋之周圍之放大率大於其他部位之放大率的座標轉換規則。

Claims (20)

1. 一種肌膚狀態推定方法，其使用了已進行學習之推定模型，以自輸入臉部圖像輸出該輸入臉部圖像中映現之人臉之肌膚狀態，該肌膚狀態推定方法係 由一個以上之處理器執行： 圖像獲取步驟，其係獲取對象者之臉部圖像； 轉換步驟，其係為了符合上述推定模型之輸入規則，以上述所獲取之臉部圖像中映現之人臉之臉部區域之輪廓上之複數點位於圖像外緣的方式將該臉部圖像進行轉換後獲得轉換後臉部圖像；及 資訊獲取步驟，其係藉由輸入上述轉換後臉部圖像作為上述輸入臉部圖像，而獲取自上述推定模型輸出之上述對象者之臉部之肌膚狀態資訊。
2. 如請求項1之肌膚狀態推定方法，其中於上述轉換後臉部圖像中，將上述所獲取之臉部圖像中映現之人臉之臉部區域內之規定局部部位區域去除或縮小， 於上述轉換步驟中，使上述臉部區域內包圍上述規定局部部位區域之複數個外周點中之隔著上述規定局部部位區域相互對向之外周點之位置一致，將上述臉部區域內之上述規定局部部位區域去除或縮小。
3. 如請求項2之肌膚狀態推定方法，其中 上述規定局部部位區域包含眼部區域、眉毛區域及唇部區域。
4. 如請求項2或3之肌膚狀態推定方法，其中 上述一個以上之處理器進而執行： 位置特定步驟，其係特定出上述所獲取之臉部圖像中映現之上述人臉之臉部區域中的規定之複數個部位之位置座標； 於上述轉換步驟中，以將上述所特定出之規定之複數個部位之位置座標之一部分或全部進行座標轉換而符合上述推定模型之上述輸入規則之方式，將上述所獲取之臉部圖像進行轉換。
5. 如請求項4之肌膚狀態推定方法，其中 上述輸入臉部圖像具有規定矩形形狀， 上述規定之複數個部位之位置座標進而包含上述臉部區域之輪廓上之複數點、上述臉部區域之鼻頂點及上述臉部區域之其他複數點之位置座標， 於上述轉換步驟中，以如下方式進行上述座標轉換，即，上述臉部區域之輪廓上之上述複數點所包含之4個第一輪廓點之各者分別配置於上述規定矩形形狀之頂點，上述鼻頂點配置於上述規定矩形形狀之中心，上述臉部區域之輪廓上之其他點配置於上述規定矩形形狀之邊上，使上述臉部區域之上述其他複數點對應於上述臉部區域之輪廓上之上述複數點及上述鼻頂點之移動而移動。
6. 如請求項5之肌膚狀態推定方法，其中 上述臉部區域之上述其他複數點包含位於較上述規定局部部位區域更靠近上述臉部區域之輪廓的4個第三輪廓點及位於較該4個第三輪廓點更靠近上述臉部區域之輪廓的4個第二輪廓點， 於上述轉換步驟中，以如下方式進行上述座標轉換，即上述4個第二輪廓點及上述4個第三輪廓點分別配置於連結上述4個第一輪廓點與上述鼻頂點之對角線上，且上述第一輪廓點距上述鼻頂點之距離與上述第二輪廓點距上述鼻頂點之距離之差小於上述第二輪廓點距上述鼻頂點之距離與上述第三輪廓點距上述鼻頂點之距離之差。
7. 如請求項1之肌膚狀態推定方法，其中 上述推定模型能夠推定肌膚狀態之複數個項目， 上述推定模型之上述輸入規則設置有複數個， 於上述轉換步驟中，藉由以對應於與上述複數個項目對應之互不相同之複數個上述輸入規則中與推定對象項目對應之輸入規則的方式，將上述所獲取之臉部圖像轉換，而獲取與推定對象項目對應之轉換後臉部圖像， 於上述資訊獲取步驟中，將上述轉換後臉部圖像輸入至上述推定模型，而獲取與上述推定對象項目相關之上述對象者之肌膚狀態資訊。
8. 一種肌膚狀態推定系統，其具備： 推定模型，其執行了學習，以自輸入臉部圖像輸出該輸入臉部圖像中映現之人臉之肌膚狀態； 圖像獲取機構，其獲取對象者之臉部圖像； 轉換機構，其為了符合上述推定模型之輸入規則，以上述所獲取之臉部圖像中映現之人臉之臉部區域之輪廓上之複數點位於圖像外緣的方式將該臉部圖像進行轉換後獲得轉換後臉部圖像； 資訊獲取機構，其藉由輸入上述轉換後臉部圖像作為上述輸入臉部圖像，而獲取自上述推定模型輸出之上述對象者之臉部之肌膚狀態資訊； 肌膚狀態輸出機構，其產生用以提示上述所獲取之肌膚狀態資訊之圖像資訊；及 資訊顯示機構，其顯示上述圖像資訊。
9. 如請求項8之肌膚狀態推定系統，其中 於上述轉換後臉部圖像中，將上述所獲取之臉部圖像中映現之人臉之臉部區域內之規定局部部位區域去除或縮小， 上述轉換機構使上述臉部區域內包圍上述規定局部部位區域之複數個外周點中之隔著上述規定局部部位區域相互對向之外周點之位置一致，將上述臉部區域內之上述規定局部部位區域去除或縮小。
10. 如請求項9之肌膚狀態推定系統，其中 上述規定局部部位區域包含眼部區域、眉毛區域及唇部區域。
11. 如請求項9之肌膚狀態推定系統，其進而具備位置特定機構，該位置特定機構特定出上述所獲取之臉部圖像中映現之上述人臉之臉部區域中的規定之複數個部位之位置座標， 上述轉換機構以將上述所特定出之規定之複數個部位之位置座標之一部分或全部進行座標轉換而符合上述推定模型之上述輸入規則之方式，將上述所獲取之臉部圖像進行轉換。
12. 如請求項11之肌膚狀態推定系統，其中 上述輸入臉部圖像具有規定矩形形狀， 上述規定之複數個部位之位置座標進而包含上述臉部區域之輪廓上之複數點、上述臉部區域之鼻頂點及上述臉部區域之其他複數點之位置座標， 上述轉換機構以如下方式進行上述座標轉換，即，上述臉部區域之輪廓上之上述複數點所包含之4個第一輪廓點之各者分別配置於上述規定矩形形狀之頂點，上述鼻頂點配置於上述規定矩形形狀之中心，上述臉部區域之輪廓上之其他點配置於上述規定矩形形狀之邊上，使上述臉部區域之上述其他複數點對應於上述臉部區域之輪廓上之上述複數點及上述鼻頂點之移動而移動。
13. 如請求項12之肌膚狀態推定系統，其中 上述臉部區域之上述其他複數點包含位於較上述規定局部部位區域更靠近上述臉部區域之輪廓的4個第三輪廓點及位於較該4個第三輪廓點更靠近上述臉部區域之輪廓的4個第二輪廓點， 上述轉換機構以如下方式進行上述座標轉換，即上述4個第二輪廓點及上述4個第三輪廓點分別配置於連結上述4個第一輪廓點與上述鼻頂點之對角線上，且上述第一輪廓點距上述鼻頂點之距離與上述第二輪廓點距上述鼻頂點之距離之差小於上述第二輪廓點距上述鼻頂點之距離與上述第三輪廓點距上述鼻頂點之距離之差。
14. 如請求項8之肌膚狀態推定系統，其中 上述推定模型能夠推定肌膚狀態之複數個項目， 上述推定模型之上述輸入規則設置有複數個， 於上述轉換步驟中，藉由以對應於與上述複數個項目對應之互不相同之複數個上述輸入規則中與推定對象項目對應之輸入規則的方式，將上述所獲取之臉部圖像轉換，而獲取與推定對象項目對應之轉換後臉部圖像， 上述資訊獲取機構將上述轉換後臉部圖像輸入至上述推定模型，而獲取與上述推定對象項目相關之上述對象者之肌膚狀態資訊。
15. 如請求項8至14中任一項之肌膚狀態推定系統，其中 上述肌膚狀態推定系統具備使用者終端， 上述使用者終端至少包含上述圖像獲取機構、上述肌膚狀態輸出機構及上述資訊顯示機構。
16. 如請求項11至13中任一項之肌膚狀態推定系統，其中 上述肌膚狀態推定系統具備使用者終端， 上述使用者終端至少包含上述圖像獲取機構、上述肌膚狀態輸出機構、上述資訊顯示機構及上述位置特定機構。
17. 一種肌膚狀態推定系統用使用者終端，其係如請求項8至14中任一項之肌膚狀態推定系統用之使用者終端，且 至少具備上述圖像獲取機構、上述肌膚狀態輸出機構及上述資訊顯示機構。
18. 一種肌膚狀態推定系統用使用者終端，其係如請求項11至13中任一項之肌膚狀態推定系統用之使用者終端，且 具備上述圖像獲取機構、上述肌膚狀態輸出機構、上述資訊顯示機構及上述位置特定機構。
19. 如請求項17之肌膚狀態推定系統用使用者終端，其進而具備上述轉換機構。
20. 如請求項18之肌膚狀態推定系統用使用者終端，其進而具備上述轉換機構。