JP7407115B2 - 機械実行顔面健康及び美容アシスタント - Google Patents

Description

関連出願の相互参照
本出願は、その各々の全体の内容が参照によって本明細書に組み込まれる、両方が２０１８年１月５日に出願された米国仮特許出願第６２／６１４，００１号及び米国仮特許出願第６２／６１４，０８０号に関連し、それらの利益を主張する。

健康及び美容産業は、それらの製品及びサービスによる消費者経験を改善する技術における進歩を活用する。特定のウェブサイトは今日では、例えば、モバイルデバイスを通じて提供される人間の顔の特徴（目、頬、鼻、唇、顎など）を特定する顔認識技術を利用する。そのようなコンピュータビジョン技術は、特に、特定の消費者へのカスタマイズが関与する、機械学習の全能力を取り入れることができていない。すなわち、１つには、従来の健康及び美容ポータルは、人間の臨床医によって推薦されるのとは反対に、それによって養生法が機械によって推薦される機構を欠いている。実施形態では、養生法は、人間ユーザの健康及び／または美容を改善することが意図された体系的計画または活動指針である。顔面健康及び美容の領域では、養生法は、特定のクレンザにより皮膚を洗浄すること、及び特定のクリームを塗布すること、特定のダイエットの制約を遵守すること、睡眠習慣を変更することなどを含むことがある。

従来の健康及び美容ポータルはまた、推薦された養生法の有効性を観察するためなど、それによってユーザの皮膚を経時に追跡することができる機構を欠いている。それらは、十分な情報の説明及び助言を欠き、男及び女に対して別個に目標とされず、特定の状態を検出する際に誤判定に悩まされる（例えば、髪がしわとして誤認される）。データ分析を通じて健康及び／または美容養生法を推薦すると共に、データ分析によってその養生法を通じた個々のユーザの進行を追跡する能力は、機械上でまだ実現されていない。

ユーザの顔面皮膚を表す１つ以上の画像がユーザから１つ以上の処理回路によって受け付けられる。実施形態では、１つ以上のメモリ回路に記憶された機械学習モデルは、顔面皮膚特性を分類し、重要な物体を識別し、美容傾向を判定するなどのために画像に適用される。実施形態では、分類された顔面皮膚特性に基づいて、養生法推薦がユーザに提供される。

実施形態では、機械学習モデルを記憶するように構成された１つ以上のメモリ回路と、ユーザの顔面皮膚を表す少なくとも１つの画像をユーザから受け付け、顔面皮膚特性を分類するよう機械学習モデルを画像に適用し、分類された顔面皮膚特性に基づいて、ユーザへの養生法推薦を生成する、ように構成された１つ以上の処理回路と、を含むシステムが提供される。

実施形態では、１つ以上の処理回路は、ユーザの顔面皮膚を表す別の画像をユーザから受け付け、顔面皮膚特性を分類するよう機械学習モデルを別の画像に適用し、別の画像の分類された顔面皮膚特性に基づいて、ユーザへの養生法推薦を更新する、ように更に構成されている。

実施形態では、１つ以上の処理回路は、ユーザの顔面皮膚がシミュレートされた未来の状態に進行するよう画像を処理するように更に構成されている。

実施形態では、シミュレートされた未来の状態は、養生法がユーザによって遵守されるときのユーザの顔面皮膚のシミュレートされた未来の状態である。

実施形態では、１つ以上の処理回路は、通信ネットワークを通じて通信可能に結合されたクライアントプラットフォーム及びサービスプラットフォームに物理的に分離される。

実施形態では、１つ以上の処理回路は、それに提供される訓練画像から顔面皮膚特性を分類する入力を複数のユーザから受け付け、受け付けた入力を使用してモデルを訓練する、ように更に構成されている。

実施形態では、ユーザの顔面皮膚を表す少なくとも１つの画像をユーザから受け付けることと、顔面皮膚特性を分類するよう機械学習モデルを画像に適用することと、分類された顔面皮膚特性に基づいて、ユーザへの養生法推薦を生成することと、を含む方法が提供される。

実施形態では、ユーザの顔面皮膚を表す少なくとも１つの画像を受け付ける処理回路と、受け付けた画像を機械学習モデルに伝達し、養生法推薦を機械学習モデルから受信する通信回路と、養生法推薦をユーザに提示するユーザインタフェース回路と、を含む装置が提供される。

実施形態では、処理回路は、ユーザの顔面皮膚を表す別の画像が予め定義されたスケジュールに従って必要とされることをユーザに警告し、ユーザの顔面皮膚を表す別の画像をユーザから受け付ける、ように更に構成され、通信回路は、別の画像を機械学習モデルに伝達し、更新された養生法推薦を機械学習モデルから受信するように更に構成され、ユーザインタフェース回路は、更新された養生法推薦をユーザに提示するように更に構成されている。

実施形態では、ユーザインタフェース回路は、人間の顔の画像をユーザに提示するように更に構成され、処理回路は、ユーザインタフェース回路を通じて、それに提供される画像から顔面皮膚特性を分類する入力をユーザから受け付けるように更に構成され、通信インタフェース回路は、ユーザ入力を訓練データとして機械学習モデルに伝達するように更に構成されている。

実施形態では、ユーザインタフェース回路は、それによって顔面皮膚特性が予め定められた尺度上で評価されるユーザ制御を提示するように更に構成されている。

実施形態では、ユーザからそれに画像を提供するよう処理回路に通信可能に結合されたカメラを更に含む。

実施形態では、カメラ、処理回路、ユーザインタフェース回路、及び通信回路は、スマートフォンの構成要素である。

実施形態では、ユーザの顔面皮膚を表す少なくとも１つの画像を受け付けることと、受け付けた画像を機械学習モデルに伝達することと、養生法推薦を機械学習モデルから受信することと、養生法推薦をユーザに提示することと、を含む方法が提供される。

それによって本一般的発明概念を具体化することができる実施例のシステム構成の概略ブロック図である。 本一般的発明概念の実施形態との単純なユーザ対話のフローチャートである。 本一般的発明概念の実施形態の実施例のデータフローの概略ブロック図である。 本一般的発明概念の実施形態に従った、機械学習モデルのクラウドソース型訓練のブロック図である。 その上で本一般的発明概念を具体化することができる実施例のクライアントプラットフォームデバイスの図である。 本一般的発明概念の実施形態に従った、機械学習モデルの実施例のクラウドソース型訓練のフローチャートである。 クラウドソース型機械学習モデル訓練に従った、テスト操作を例示する図である。

本発明概念は、添付図面を参照して本明細書で説明される、それらの特定の実施形態を通じて最良に説明され、添付図面では、同一の参照符号が全体を通じて同一の特徴を指す。発明（ｉｎｖｅｎｔｉｏｎ）という用語は、本明細書で使用されるとき、以下で説明される実施形態の根底にある発明概念を暗示することを意図しており、単に実施形態自体を意図しているわけではないことを理解されよう。更に、一般的発明概念は、以下で説明される例示的な実施形態に限定されず、以下の説明は、そのような認識において読まれるべきであることを理解されよう。

加えて、例示的（ｅｘｅｍｐｌａｒｙ）という単語は、「実施例、例、または例示としての役目を果たす（ｓｅｒｖｉｎｇ ａｓ ａｎ ｅｘａｍｐｌｅ，ｉｎｓｔａｎｃｅ ｏｒ ｉｌｌｕｓｔｒａｔｉｏｎ）」を意味するとして本明細書で使用される。例示であるとして本明細書で指定される構造、プロセス、設計、技術などのいずれかの実施形態は、他のそのような実施形態に対して好ましいまたは有利であるとして必ずしも解釈されない。例示的であるとして本明細書で示される実施例の特定の品質も適応度も意図されず、推定もされない。

説明
図１は、例示的な顔面健康及び美容アシスタント（ＦＨＢＡ）システム１００の概略ブロック図であり、ＦＨＢＡシステム１００は、ネットワーク１３０を通じて通信可能に結合されたＦＨＢＡクライアントプラットフォーム１１０及びＦＨＢＡサービスプラットフォーム１２０を含む。一実施形態では、ＦＨＢＡクライアントプラットフォーム１１０は、スマートフォン、タブレットコンピュータ、または他のモバイルコンピューティングデバイスであるが、本発明は、それに限定されない。図１に例示されるように、例示的なＦＨＢＡクライアントプラットフォーム１１０は、それらの上でＦＨＢＡクライアントインタフェース１５０を実装することができる、プロセッサ１１２、メモリ１１４、カメラ１１５、ユーザインタフェース１１６、及び通信インタフェース１１８を含む。ＦＨＢＡクライアントインタフェース１５０は、一次ポータルを提供し、一次ポータルを通じて、ユーザは、ＦＨＢＡシステム１００にアクセスする。

本発明の一実施形態では、ＦＨＢＡサービスプラットフォーム１２０は、各々がプロセッサ１２２、メモリ１２４、ユーザインタフェース１２６、及び通信インタフェースを含む、１つ以上のサーバコンピュータを含む。ＦＨＢＡサービスプラットフォーム１２０のそれらのリソースは、ＦＨＢＡサービスインタフェース１５２、機械学習ロジック１５４、及び記憶メモリ１５６を実装するために利用されてもよい。記憶メモリ１５６は、発明を具体化するための十分な量の揮発性及び永続的メモリを表す。記憶メモリ１５６は更に、莫大な量の符号化された人間の知識と共に、単一のユーザのプライベートプロファイルに対する空間を包含してもよい。記憶メモリ１５６は更に、１つ以上のプロセッサ１２２によって実行されるとき、発明の実施形態のためのいくつかのタスクまたは手順を実行するプロセッサ命令を記憶してもよい。記憶メモリ１５６は更に、ユーザに対して特定の養生法を規定し、養生法の下でユーザの進行を追跡するよう機械学習ロジック１５４により動作可能であるユーザモデル（係数、重み、プロセッサ命令など）を記憶してもよい。

例示的なＦＨＢＡサービスインタフェース１５２は、それによってＦＨＢＡサービスへのネットワークアクセスが促進及び制御の両方がされるインフラストラクチャを設ける。ＦＨＢＡクライアントインタフェース１５０及びＦＨＢＡサービスインタフェース１５２は、それに対して通信インタフェース１１８及び通信インタフェース１２８が構築され、またはそうでなければ構成される、シグナリング及びデータ伝送プロトコルを使用して適切な通信リンク１４５を介して通信する。ＦＨＢＡサービスインタフェース１５６は、適切なインターネットホスティングサービスと共に、承認されたユーザのみのアクセスを可能にし、ユーザのプライベートデータを保護する認証及び他のセキュリティ機構を実装してもよい。加えて、ＦＨＢＡサービスインタフェース１５２は、例えば、機械学習ロジック１５４とのＦＨＢＡクライアントインタフェース１５０の通信を利用可能にするアプリケーションプログラミングインタフェース（ＡＰＩ）を実現することができる。当業者は、本発明と共に使用することができる他のフロントエンドサービスを認識するであろう。

機械学習ロジック１５４は、そのように明示的にプログラミングされることなく、データから学習し、データに関して予測を行う発明の実施形態のためのインフラストラクチャを設ける。特定の実施形態では、機械学習ロジック１５４は、以下に説明されるように、１つ以上の畳み込みニューラルネットワーク（ＣＮＮ）、オープンソースデータセットを使用して訓練することができるモデル、またはクラウドソース型データセットを実装する。それらに限定されないが、決定木学習、アソシエーションルール学習、人工ニューラルネットワーク、ディープラーニング、帰納論理プログラミング、サポートベクトルマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習、類似性及び距離学習、スパース辞書学習、遺伝的アルゴリズム、ルールに基づく機械学習、並びに学習分類器を含む、他の機械学習技術が本発明と共に使用されてもよい。それらの全てが参照によって本明細書に組み込まれる、米国特許第８，４４２，３２１号、米国特許第９，０１５，０８３号、米国特許第９，５３６，２９３号、米国特許第９，３２４，０２２号、及び米国特許出願公開第２０１４／０３７６８１９号明細書において説明される追加の技術が本発明と共に使用されてもよい。以下に続く説明では、機械学習ロジックが畳み込みニューラルネットワークを実装するが、本発明はそれに限定されないことが想定される。人工知能における当業者は、その精神及び意図した範囲から逸脱することなく、本発明と共に使用することができる多数の技術を認識するであろう。

発明の実施形態は、ＦＨＢＡクライアントプラットフォーム１１０上でカメラ１１６によって撮られたユーザの画像に基づいて、ユーザに対する様々な養生法を判定する。特定の実施形態では、ユーザの顔の画像は好ましくは、経時的に一貫した一様な照明の条件下で取得される。この目的のため、及び図１を参照して、発明の実施形態は、環状照明器１４２によって囲まれた鏡面１４４を含むミラーデバイス１４０を設ける。この構成は、照明の時間的に一定の基準を定義することを意図している。発明がこのように具体化されるとき、ユーザの顔の画像における時間的に変化する特性がより容易に認識及びラベル付けされる。

図２は、それによって発明の実施形態を用いて対話の例を説明することができるフローチャートである。図２の対話は、設計が単純であり、限定することを何ら意図していない。図２の説明は、図１に例示された構成の機能性を例示することを意図している。図２を参照して説明される特徴を超えて、発明の更なる特徴が以下で議論される。

動作２１０では、ユーザは、ＦＨＢＡクライアントプラットフォーム１１０のカメラ１１６などによって、ユーザの顔の画像を生成してもよい。これは、上記議論された照明の基準によりまたは照明の基準なしに達成されてもよい。動作２１５では、ユーザの画像は、ＦＨＢＡサービスプラットフォーム１２０に送信される。これは、通信リンク１４５を実現するようＦＨＢＡクライアントプラットフォーム１１０とＦＨＢＡサービスプラットフォーム１２０との間で共有される適切な通信プロトコルによって達成されてもよい。

動作２２０では、画像からユーザの皮膚を分析するよう画像分析及び機械学習が行われる。機械学習ロジック１５４は、とりわけ、見た目年齢、すなわち、ユーザの顔の視覚的な外観から推定されるユーザの主観的な年齢、顔面皮膚のトーンの均一性（できもの、年齢による染み／日焼けによる染み、ニキビの跡、及び他の欠陥があるか）、目の下のむくみ、目の周りのくま、まぶた／口角における全体的なトーンの垂れ下がり、小じわ、及び目の赤みにおいて見られるストレスの存在、粉ふき、皮膚の剥がれ、くすみ、及び小じわを欠くことを示す、ふくよかまたはなめらかと称されることが多い水和レベル、輝き－理想が適度な量の輝きである非線形パラメータ、毛穴の状態－毛穴の少ない外観が、健康的、若い、及び平坦な皮膚の触感をもたらすので望ましい、赤い／赤く腫れた吹出物及び傷によって特徴付けられるようなニキビの存在、分析を通じて発見することができる皮膚におけるしわ、ひだ、畝、または折り目の存在、たるみ、すなわち、弾力性の減少によって生じる柔らかい組織の垂れ下がった外観の存在、並びに人間の目の外周に特に位置するカラスの足跡、分岐するしわの存在、を判定する分析を実行してもよい。皮膚の他の状態は、機械学習ロジック１５４によって判定されてもよい。分析の更なる詳細は、以下で提供される。分析が完了すると、動作２２５において判定されるように、処理２００は、分析結果及び規定された養生法（製品及びルーチン）、並びに／または養生法への更新がＦＨＢＡクライアントインタフェース１５０を介してユーザに送信される、動作２２０に遷移してもよい。

動作２２５では、分析が完了したかどうかが判定され、その肯定判定に応答して、処理２００は、動作２３０において、ＦＨＢＡサービスインタフェース１５２が推薦された養生法または養生法への更新をＦＨＢＡクライアントインタフェース１５０に送信する、動作２３０に遷移してもよい。ユーザは、動作２３５において示されたような養生法に従ってもよく、動作２４０では、新たなインターバルが開始したかどうかが判定される。そうである場合、処理２００は、動作２１０から繰り返す。ＦＨＢＡクライアントインタフェース１５０は、ＦＨＢＡクライアントプラットフォーム１１０に搭載されたカレンダ及びタイマ（ＧＰＳも）にアクセスすると共に、ネットワーク１３０上で、ネットワークアクセス可能カレンダにアクセスしてもよい。したがって、例えば、週に１回、ＦＨＢＡクライアントインタフェース１５０は、ユーザの顔の写真を撮ることをユーザに思い出させてもよく、すなわち、新たなインターバルをユーザに思い出させてもよい。経時的に、ＦＨＢＡシステム１００は、各々のインターバルにおいて撮られた画像から、推薦された養生法が作用しているかどうかを判定することができ、そうでない場合、ＦＨＢＡシステム１００は、養生法を改訂してもよく、例えば、製品を変更し、更なるライフスタイルの変更を推薦し、医者の予約を行うなどしてもよい。

図３は、例示的なＦＨＢＡクライアントインタフェース１５０とＦＨＢＡサービスプラットフォーム１２０のサービスとの間のデータフローの図である。図３では、図において不必要な過密を避けるために、ＦＨＢＡサービスインタフェース１５２が省略されていることを留意されるべきである。しかしながら、関連する分野における当業者は、図３に表されるデータフローを制御及び促進するＦＨＢＡサービスインタフェース１５２の動作を認識するであろう。

図３に例示されるように、機械学習ロジック１５４は、皮膚アナライザ３３０、顔面外観進行ジェネレータ３３５、及び養生法推薦ジェネレータ３４０を含んでもよく、ユーザアカウントデータベース３１０及び製品データベース３２０に通信可能に結合されてもよい。機械学習ロジック１５４は、養生法を推薦し、養生法の下でのユーザの進行を追跡するよう、機械学習モデル３７０を訓練及び利用してもよい。機械学習における当業者が証明するように、訓練は、特徴のセット、例えば、見た目年齢、均一性、ストレス、水和性、輝き、毛穴、ニキビ、しわ、たるみ、カラスの足跡などを選択すること、及びそれらの特徴の存在または突出度を反映する画像データにラベルを割り当てることを伴ってもよい。ラベルを割り当てることは、主題の専門家によって、または以下に説明されるようにクラウドソース型データを通じて実行されてもよい。割り当てられたラベルを正解と見なして、機械学習ロジック１５４は、経時的に変化することがある、テスト画像に特徴が存在する程度を予測するようモデル３７０を構成してもよい。本発明は、二値モデル、マルチクラス分類モデル、回帰モデルなどを含むことができる特定のモデル表現に限定されない。

例示的なユーザアカウントデータベース３１０は、安全な方式においてＦＨＢＡシステム１００の全てのユーザのデータを包含する。これは、ユーザプロファイルデータ、各々のユーザについての現在及び過去のユーザ写真３５７、各々のユーザについての現在及び過去の皮膚分析３５８、並びに各々のユーザについての現在及び過去の製品推薦３６２と現在及び過去のルーチン推薦３６４を含む。

例示的な製品データベース３２０は、養生法において使用することができる異なる製品のデータを包含する。製品データベース３２０は、製品名、活性及び非活性含有物、ラベル情報、並びに推薦された使用などを反映する記録を包含してもよい。特定の実施形態では、製品入力３５４として例示されるように、ユーザ（及び、ＦＨＢＡシステム１００の他のユーザ）は、異なる製品に関するフィードバックを提供してもよく、製品データベース３２０に存在しない製品を入力してもよい。本発明は、製品データベース３２０に入力することができる特定の製品に限定されない。

皮膚アナライザ３３０は、モデル３７０を通じて機械学習技術を使用して、ユーザの顔の像から様々な皮膚状態またはアーチファクトを分類するように構築、またはそうでなければ構成される。特定の実施形態では、ユーザの顔の写真画像３５２は、分析のために皮膚アナライザ３３０に提供される。皮膚アナライザ３３０は、分析の前に入力画像をクロッピングし、回転し、登録し、及びフィルタリングすることを含む画像前処理機構を実装してもよい。いずれかのそのような前処理の後、皮膚アナライザ３３０は、ユーザの顔面皮膚の特性を特定、識別、及び分類するようモデル３７０を入力画像３５７に適用してもよい。

顔面外観進行ジェネレータ３３５は、ユーザの顔が未来のいずれかの時にどのように見えるかを描くようユーザの顔面画像に対して動作してもよい。そのような進行は、年齢進行技術を展開することができる、年齢によるもの、または、養生法への遵守から生じる外観によるものであってもよい。進行した画像３５６は、ＦＨＢＡクライアントインタフェース１５０を通じてユーザに提供されてもよい。

養生法推薦ジェネレータ３４０は、養生法を処方することに向けて皮膚アナライザ４３０からユーザに取得された分析結果３５８に対して動作してもよい。モデル３７０は、どの製品及びルーチン（処置、化粧及びライフスタイルの推薦など）が皮膚分析において識別された顔面皮膚特性に関してユーザの目標を満たすのに効果的であるかを予測するよう訓練されてもよい。養生法推薦ジェネレータ３４０は、モデル３７０対して符号化された知識に基づいて、例えば、製品データベース３２０へのクエリとして皮膚アナライザ３３０の分析結果３５８をフォーマットしてもよい。それに応答して、製品データベース３２０は、製品データ及びメタデータ３６６を返してもよく、製品推薦３６２及びルーチン推薦３６４は、ＦＨＢＡクライアントインタフェース１５０に提供されてもよい。

上記示されたように、モデル３７０の訓練は、専門家によって画像データをラベル付けすることによって達成されてもよい。しかしながら、専門家の代わりに、発明の特定の実施形態は、クラウドソース型データを訓練データとして利用する。図４は、発明のそのような実施形態の図である。訓練の間、ユーザ４１０は、訓練画像のセット４２０を提示され、訓練画像のセット４２０に対して、顔面皮膚特性及び／または顔面特徴を特徴付けるよう問われる。一実施形態では、それによりユーザが特徴の重大性または突出度を評価することができる適切な尺度（例えば、整数１～１０）が構築される。例えば、ユーザ４１０の各々は（経時的に）、多数の顔面画像を提示され、画像内の人の特徴及び／または皮膚特性に関する質問のセットを一通り説明される。尺度（１～１０）を使用して、各々のユーザ４１０は、特徴の各々（例えば、見た目年齢、均一性、ストレス、水和性、輝き、毛穴、ニキビ、しわ、たるみ、カラスの足跡など）の突出度を評価するよう問われる。質問への回答は、機械言語ロジック１５４を訓練するために使用されるラベルとしての役目を果たしてもよい。

図５を参照して、ユーザインタフェース１１８としてタッチスクリーン５１０を有するスマートフォンの形式の例示的なＦＨＢＡクライアントプラットフォーム１１０が例示される。例示的なＦＨＢＡクライアントインタフェース１５０は、図１を参照して議論されたようなＦＨＢＡクライアントプラットフォーム１１０の計算リソース上で実装される。ＦＨＢＡクライアントインタフェース１５０は、画像領域５２０に人間の顔の写真を提示してもよく、テキスト１４２を介して、「１～１０の尺度上で、この人のカラスの足跡の存在をどのように評価するか？について、『１』は、『見えない』を意味し、『１０』は、『突出して存在する』を意味する」を提示してもよい。ユーザがその評価を入力することを可能にする適切なユーザインタフェース制御１４４（図５に例示されるスライダ制御）がＦＨＢＡクライアントインタフェース１５０上で実装されてもよい。

図６は、それにより本発明を具体化することができるクラウドソース型訓練処理６００のフローチャートである。動作６１０では、訓練画像がＦＨＢＡクライアントインタフェース１５０に提供されてもよい。訓練画像のセット４２０は、関心の皮膚特性の例示的な実施例を含むとして事前選択されていてもよい。動作６２０では、ユーザは、第１の質問を提供され、動作６３０において回答（評価）を待つ。そのような回答は、例えば、「１～１０の尺度上で、このモデルのニキビをどのように評価するか？について、『１』は、『見えない』であり、『１０』は、『非常に突出している』である」であってもよい。ユーザが質問に回答したとき、動作６３０において判定されるように、ユーザの回答は、動作６４０において機械学習ロジック１５４の機械訓練に適切なラベルにフォーマットされてもよい。動作６５０では、現在表示されている画像に関連する全ての質問が回答されたかどうかが判定される。そうでない場合、処理６００は、次の質問が提示される、動作６２０に再度遷移する。全ての質問が回答された場合、動作６５０において判定されるように、全ての訓練画像が提示されたかどうかが動作５６０において判定される。そうでない場合、処理６００は、次の訓練画像が提示される、動作６１０に再度遷移する。全ての訓練画像が提示された場合、動作６６０において判定されるように、ラベル付けされた画像は、動作６７０においてモデル３７０を訓練するために使用されてもよい。

処理６００における全ての繰り返し、例えば、動作６２０及び６５０において次の質問を提示すること、並びに／または動作６１０及び６６０において次の画像を提示することは、いずれかの１つのシッティングにおいて実行される必要はない。例えば、ユーザは、単一の質問を一度に回答することを促されてもよく（例えば、ユーザがログオンする都度）、時間をかけてのみ全ての質問及び画像がいずれかの１人のユーザに提示される。代わりに、ユーザは、単一のシッティングにおいて全ての画像についての全ての質問を回答するように選択されてもよい。大多数のユーザ及び／または顔面画像にわたって、多くのラベルが訓練モデル３７０に対して生成されてもよく、そのような訓練の根底にある統計的傾向は、人間の専門家の統計的傾向とは反対にパブリックビューを反映する。

図７は、上記議論されたクラウドソース型訓練に従った実施例のテスト動作を例示する。テスト画像７１０、すなわち、ユーザの自身の画像は、機械学習ロジック１５４に提示されてもよく、機械学習ロジック１５４は、クラウドソース型データ７２０に対して訓練されたモデルごとに画像を分析する。図に例示されるように、機械学習ロジック１５４は、調査された人の内の８０％が、７２２において示されるように、突出度の観点で、ユーザのカラスの足跡を１０のうち７であると評価すると推定する。したがって、機械学習ロジック１５４は、７という重大度スコアに基づいて、養生法を推薦してもよい（例えば、カラスの足跡に対して特に考案され、塗布の指示を推薦されたクリーム）。

当業者によって認識されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具体化されてもよい。したがって、本発明の態様は、全てが本明細書で全体的に「回路」、「モジュール」、または「システム」と称されてもよい、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェア及びハードウェア態様を組み合わせた実施形態の形式を取ってもよい。更に、本発明の態様は、そこで具体化されたコンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読媒体（複数可）において具体化されたコンピュータプログラム製品の形式を取ってもよい。

１つ以上のコンピュータ可読媒体（複数可）のいずれかの組み合わせが利用されてもよい。コンピュータ可読媒体は、例えば、それらに限定されないが、電機、磁気、光学、電磁気、赤外線、もしくは半導体システム、装置、もしくはデバイス、または上述したもののいずれかの適切な組み合わせであってもよい。コンピュータ可読記憶媒体のより特定の実施例（非包括的なリスト）は、１つ以上の配線を有する電機接続、ポータブルコンピュータディスケット、ハードディスク、ソリッドステートディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プルグラマブルリードオンリメモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光学式記憶装置、磁気記憶装置、相変化メモリ記憶装置、または上述したもののいずれかの適切な組み合わせを含む。この明細書のコンテキストでは、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによる使用またはそれらと関連した使用のためのプログラムを包含または記憶することができるいずれかの有形媒体であってもよい。

本発明の態様のための動作を実施するコンピュータプログラムコードは、１つ以上のプログラミング言語、例えば、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、もしくはＣ＋＋などのオブジェクト指向プログラミング言語、または「Ｃ」プログラミング言語もしくは同様のプログラミング言語などの従来の手続型プログラミング言語のいずれかの組み合わせにおいて記述されてもよい。プログラムコードは、ユーザのコンピュータ上で全体的に、ユーザのコンピュータ上で部分的に、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で部分的及びリモートコンピュータ上で部分的に、またはリモートコンピュータもしくはサーバ上で全体的に実行してもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続されてもよく、または外部コンピュータへの接続が行われてもよい（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）。本発明の実施形態のコンピュータシステムに対するソフトウェアは、明細書に包含された機能的説明及び図において例示されたフローチャートに基づいて、コンピュータの分野における当業者によって開発されてもよいことを理解されよう。更に、様々な機能を実行するソフトウェアの本明細書におけるいずれかの言及は、ソフトウェア制御の下でそれらの機能を実行するコンピュータシステムまたはプロセッサを全体的に指す。

本発明の実施形態のコンピュータは代わりに、いずれかのタイプのハードウェア及び／または他の処理回路によって実装されてもよい。コンピュータシステムの様々な機能は、いずれかの数のソフトウェアモジュールまたはユニット、プロセシングまたはコンピュータシステム及び／または回路の間でいずれかの方式において分散されてもよく、コンピュータまたはプロセシングシステムは、相互にローカルまたはリモートに配置されてもよく、いずれかの適切な通信媒体（例えば、ＬＡＮ、ＷＡＮ、イントラネット、インターネット、ハードワイヤ、モデム接続、無線など）を介して通信してもよい。

上記実施例は、発明の実施形態の特定の機能性の例示であり、限定することを意図していない。確かに、他の機能性及び他のとり得る使用ケースが本開示をレビューすると当業者にとって明らかである。

Claims (13)

1. 機械学習モデルを記憶するように構成された１つ以上のメモリ回路と、
   ユーザの顔面皮膚を表す少なくとも１つの画像を前記ユーザから受け付け、
   顔面皮膚特性を分類するよう前記機械学習モデルを前記画像に適用し、
   前記分類された顔面皮膚特性に基づいて、前記ユーザへの製品推薦を含む養生法推薦を生成する、
   ように構成された１つ以上の処理回路と、
   前記養生法推薦に含まれる異なる製品のデータを含む製品データベースと、
   を備え、
   前記１つ以上の処理回路は、前記ユーザの顔面皮膚がシミュレートされた未来の状態に進行するよう前記画像を、年齢進行技術を用いることにより処理するように更に構成され、
   前記１つ以上の処理回路は、
   前記ユーザの顔面皮膚を表す別の画像が予め定義されたスケジュールに従って必要とされることを前記ユーザに警告し、
   ユーザの顔面皮膚を表す別の画像を前記ユーザから受け付け、
   顔面皮膚特性を分類するよう前記機械学習モデルを前記別の画像に適用し、
   前記別の画像の前記分類された顔面皮膚特性に基づいて、前記ユーザへの前記養生法推薦を更新する、ように更に構成され、
   前記製品データベースは、前記製品データベースに存在しない製品のデータをユーザから受け付けるように構成され、
   前記シミュレートされた未来の状態は、前記養生法が前記ユーザによって遵守されるときの前記ユーザの顔面皮膚のシミュレートされた未来の状態である、システム。
2. 前記１つ以上の処理回路は、通信ネットワークを通じて通信可能に結合されたクライアントプラットフォーム及びサービスプラットフォームに物理的に分離される、請求項１に記載のシステム。
3. 前記１つ以上の処理回路は、
   提供される訓練画像から前記顔面皮膚特性を分類する入力を複数のユーザから受け付け、
   前記受け付けた入力を使用して前記機械学習モデルを訓練する、
   ように更に構成されている、請求項１に記載のシステム。
4. ユーザの顔面皮膚を表す少なくとも１つの画像を前記ユーザから受け付けることと、
   養生法推薦に含まれる異なる製品のデータを含む製品データベースに存在しない製品のデータをユーザから受け付けることと、
   顔面皮膚特性を分類するよう機械学習モデルを前記画像に適用することと、
   前記分類された顔面皮膚特性に基づいて、前記ユーザへの製品推薦を含む前記養生法推薦を生成することと、
   前記ユーザの顔面皮膚がシミュレートされた未来の状態に進行するよう前記画像を、年齢進行技術を用いることにより処理することと、
   前記ユーザの顔面皮膚を表す別の画像が予め定義されたスケジュールに従って必要とされることを前記ユーザに警告することと、
   ユーザの顔面皮膚を表す別の画像を前記ユーザから受け付けることと、
   顔面皮膚特性を分類するよう前記機械学習モデルを前記別の画像に適用することと、
   前記別の画像の前記分類された顔面皮膚特性に基づいて、前記ユーザへの前記養生法推薦を更新することと、
   を含み、
   前記シミュレートされた未来の状態は、前記養生法が前記ユーザによって遵守されるときの前記ユーザの顔面皮膚のシミュレートされた未来の状態である、方法。
5. 提供される訓練画像から前記顔面皮膚特性を分類する入力を複数のユーザから受け付けることと、
   前記受け付けた入力を使用して前記機械学習モデルを訓練することと、
   を更に含む、請求項４に記載の方法。
6. ユーザの顔面皮膚を表す少なくとも１つの画像を受け付ける処理回路と、
   前記受け付けた画像を機械学習モデルに伝達し、製品推薦を含む養生法推薦を前記機械学習モデルから受信する通信回路と、
   前記養生法推薦を前記ユーザに提示するユーザインタフェース回路と、
   前記養生法推薦に含まれる異なる製品のデータを含む製品データベースと、
   を備え、
   前記処理回路は、
   前記ユーザの顔面皮膚を表す別の画像が予め定義されたスケジュールに従って必要とされることを前記ユーザに警告し、
   前記ユーザの顔面皮膚を表す前記別の画像をユーザから受け付ける、ように更に構成され、
   前記通信回路は、前記別の画像を前記機械学習モデルに伝達し、前記別の画像に適用された前記機械学習モデルから、前記養生法推薦が作用していない場合に更新された養生法推薦を受信するように更に構成され、
   前記ユーザインタフェース回路は、前記更新された養生法推薦を前記ユーザに提示するように更に構成され、
   前記製品データベースは、前記製品データベースに存在しない製品のデータをユーザから受け付けるように構成されている、装置。
7. 前記ユーザインタフェース回路は、人間の顔の画像を前記ユーザに提示するように更に構成され、
   前記処理回路は、提供される前記画像から顔面皮膚特性を分類する入力を前記ユーザから前記ユーザインタフェース回路を通じて受け付けるように更に構成され、
   前記通信回路は、前記ユーザ入力を訓練データとして前記機械学習モデルに伝達するように更に構成されている、
   請求項６に記載の装置。
8. 前記ユーザインタフェース回路は、前記顔面皮膚特性が予め定められた尺度上で評価されるユーザ制御を提示するように更に構成されている、請求項７に記載の装置。
9. 前記ユーザから前記処理回路に前記画像が提供されるように前記処理回路に通信可能に結合されたカメラを更に備えた、請求項６に記載の装置。
10. 前記カメラ、前記処理回路、前記ユーザインタフェース回路、及び前記通信回路は、スマートフォンの構成要素である、請求項９に記載の装置。
11. ユーザの顔面皮膚を表す少なくとも１つの画像を受け付けることと、
    養生法推薦に含まれる異なる製品のデータを含む製品データベースに存在しない製品のデータをユーザから受け付けることと、
    前記受け付けた画像を機械学習モデルに伝達することと、
    製品推薦を含む前記養生法推薦を前記機械学習モデルから受信することと、
    前記養生法推薦を前記ユーザに提示することと、
    前記ユーザの顔面皮膚を表す別の画像が予め定義されたスケジュールに従って必要とされることを前記ユーザに警告することと、
    前記ユーザの顔面皮膚を表す前記別の画像をユーザから受け付けることと、
    前記別の画像を前記機械学習モデルに伝達することと、
    前記養生法推薦が作用していない場合には前記養生法推薦を更新することと、
    更新された養生法推薦を、前記別の画像に適用された前記機械学習モデルから受信することと、
    前記更新された養生法推薦を前記ユーザに提示することと、
    を含む、方法。
12. 人間の顔の画像を前記ユーザに提示することと、
    提供される前記画像から顔面皮膚特性を分類する入力を前記ユーザから受け付けることと、
    前記ユーザ入力を訓練データとして前記機械学習モデルに伝達することと、
    を更に含む、請求項１１に記載の方法。
13. 前記顔面皮膚特性が予め定められた尺度上で評価されるユーザ制御を提示することを更に含む、請求項１２に記載の方法。

Images