JP2022058165A - 肌の明るさを決定するシステム及び方法 - Google Patents
肌の明るさを決定するシステム及び方法 Download PDFInfo
- Publication number
- JP2022058165A JP2022058165A JP2021118358A JP2021118358A JP2022058165A JP 2022058165 A JP2022058165 A JP 2022058165A JP 2021118358 A JP2021118358 A JP 2021118358A JP 2021118358 A JP2021118358 A JP 2021118358A JP 2022058165 A JP2022058165 A JP 2022058165A
- Authority
- JP
- Japan
- Prior art keywords
- user
- skin
- input image
- pixel value
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 48
- 210000003786 sclera Anatomy 0.000 claims abstract description 41
- 239000002537 cosmetic Substances 0.000 claims description 84
- 230000000694 effects Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 3
- 210000003491 skin Anatomy 0.000 description 202
- 210000001061 forehead Anatomy 0.000 description 13
- 238000010606 normalization Methods 0.000 description 10
- 239000006071 cream Substances 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 240000007817 Olea europaea Species 0.000 description 7
- 239000003086 colorant Substances 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 239000012528 membrane Substances 0.000 description 5
- 102000001554 Hemoglobins Human genes 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 4
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 239000000843 powder Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- UPYKUZBSLRQECL-UKMVMLAPSA-N Lycopene Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1C(=C)CCCC1(C)C)C=CC=C(/C)C=CC2C(=C)CCCC2(C)C UPYKUZBSLRQECL-UKMVMLAPSA-N 0.000 description 2
- 150000001746 carotenes Chemical class 0.000 description 2
- 235000005473 carotenes Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000004207 dermis Anatomy 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- NCYCYZXNIZJOKI-UHFFFAOYSA-N vitamin A aldehyde Natural products O=CC=C(C)C=CC=C(C)C=CC1=C(C)CCCC1(C)C NCYCYZXNIZJOKI-UHFFFAOYSA-N 0.000 description 2
- 244000062730 Melissa officinalis Species 0.000 description 1
- 235000010654 Melissa officinalis Nutrition 0.000 description 1
- 208000034189 Sclerosis Diseases 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013551 empirical research Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000865 liniment Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003020 moisturizing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0621—Item configuration or customization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
【課題】ユーザの肌の明るさを決定するシステムを提供する。【解決手段】本明細書において、サーバ構成は、少なくとも前記ユーザの顔を撮影した入力画像を取得し、前記ユーザの強膜に対応する前記入力画像の少なくとも1つの第1の領域を特定するために、前記入力画像を分析し、前記強膜の代表的な画素値を決定し、前記ユーザの肌に対応する前記入力画像の少なくとも1つの第2の領域を決定し、前記少なくとも1つの第2の領域内の画素の画素値を正規化し、前記少なくとも1つの第2の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定し、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択する。本明細書において、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。【選択図】図1
Description
本開示は、ユーザの肌の明るさを決定するシステム及び方法に関する。本開示は更に、ユーザの肌の明るさを決定するコンピュータプログラムプロダクトに関する。
化粧品は、多くの場合、ユーザの魅力を引き上げるために、人の身体の様々な部位に使用される。チーク、ファンデーション、コンシーラなどの数々の化粧品が現在市販されている。各化粧品には、肌の明るさが異なる人々に合うように様々な色合いのものがある。顧客は、所望の化粧品を購入する前に、自らの肌の明るさに合う正確な色合いを特定する必要がある。従来、顧客は、化粧品店で物理的に化粧品の複数の色合いを一つ一つ試して、その中から適切な色合いを選択していた。しかし、それでも、化粧品の正確な色合いを選択するための決定は確固としたものではないと言える。顧客は同行者や化粧品店の専門スタッフの意見に頼ることが多く、これが不適切な、又は一貫しないアドバイスを引き出しかねず、最終的に顧客を混乱させ得る。更に、店に行って所望の化粧品の様々な色合いを試すのも面倒である。
時代の変化に伴い、多くの人は化粧品をオンラインで購入することを好んでいる。ここで、適切な化粧品を推薦するために異なる種類のソフトウェアアプリケーションが使用される。これらのアプリケーションは、入力として顧客の顔画像を撮り、この画像を使用して、画像上に所望の種類の化粧品の効果を仮想的に適用することにより、その化粧品を試用する。化粧品は人の肌の明るさの色を変えるために使用されるため、特に化粧品を推薦するために使用されるアプリについては、スマートフォンなどのカメラで撮影された画像が実物に近い色であることが重要であることが理解されよう。しかしながら、撮影された画像内の色は、明るさの条件、カメラの画像センサの欠陥、カメラ光学系内の汚れ、照明条件などの様々な理由により不正確である可能性がある。例えば、顧客が明るさの十分でない室内で画像を撮影した場合、画像の全ての色は濃くなったり灰色がかったりする場合がある。更に、実物に近いように色を捉えるカメラの性能は様々であり、そのカメラの種類やモデルによって異なる。更に、顧客がキャップを被っている場合には往々にして、影ができて顔が少なくとも部分的に隠れ、これによって画像内に暗い部分ができるおそれがある。人の肌の明るさは画像から決定されるため、色の不正確な画像では肌の明るさの決定も不正確に終わる場合がある。ひいては、推薦される化粧品もまた不正確となる。
実物に近い画像でないことによる諸問題を克服するために、画像を撮影する際に、標準化されたカラーパレットを顧客の近くに配置する場合がある。これによって、標準化された色が画像内に見え、その顧客の正確な肌の明るさを見積もるための較正が行われ得る。あるいは、まず顧客の画像を撮り、次に同じ明るさの条件の下、例えば同じスマートフォンで標準化されたカラーパレットの画像を撮る。これらの画像を比較して、較正を行い、顧客の正確な肌の明るさを見積もることができる。しかしながら、標準化されたカラーパレットの紙片(必ずしもすぐ手元に準備できるわけではなく、入手不能である場合もある)が必要になることから、ユーザの肌の明るさを決定するタスクが、顧客にとって時間がかかり面倒なものとなり、望ましくない。
したがって、上記を鑑み、ユーザの肌の明るさを決定する公知の技術に関連する上述の欠点を克服する必要がある。
本開示は、ユーザの肌の明るさを決定するシステム及び方法を提供することを目指す。本開示は更に、ユーザの肌の明るさを決定するコンピュータプログラムプロダクトを提供することを目指す。本開示の目的は、従来技術に伴う問題を少なくとも部分的に克服する解決策を提供することであり、ユーザの肌の明るさを決定する改良された技術を提供する。本開示は、ユーザの肌の明るさを決定するために標準化されたカラーパレットの紙片を要する既存の問題に対する解決策を提供することを目指す。
一態様では、本開示は、ユーザの肌の明るさを決定するシステムを提供する。このシステムは、前記ユーザに関連付けられたユーザデバイスにデータ通信ネットワークを介して通信可能に接続されたサーバ構成を備える。前記サーバ構成は、少なくとも前記ユーザの顔を撮影した入力画像を取得し、前記ユーザの強膜に対応する前記入力画像の少なくとも1つの第1の領域を特定するために、前記入力画像を分析し、前記入力画像の前記少なくとも1つの第1の領域内の画素の画素値から前記強膜の代表的な画素値を決定し、前記ユーザの肌に対応する前記入力画像の少なくとも1つの第2の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも1つの第2の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定し、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも1つの第2の領域又は前記入力画像の全体における画素の画素値を正規化し、前記少なくとも1つの第2の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定し、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択するように構成され、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。
別の態様では、本開示は、ユーザの肌の明るさを決定する方法を提供する。この方法は、少なくとも前記ユーザの顔を撮影した入力画像を取得することと、前記ユーザの強膜に対応する前記入力画像の少なくとも1つの第1の領域を特定するために、前記入力画像を分析することと、前記入力画像の前記少なくとも1つの第1の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、前記ユーザの肌に対応する前記入力画像の少なくとも1つの第2の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも1つの第2の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定することと、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも1つの第2の領域又は前記入力画像の全体における画素の画素値を正規化することと、前記少なくとも1つの第2の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、を含み、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。
更に別の態様では、本開示は、ユーザの肌の明るさを決定するコンピュータプログラムプロダクトを提供する。このコンピュータプログラムプロダクトは、プログラム命令を記憶した非一時的機械可読データ記憶媒体を備え、前記プログラム命令は、処理デバイスによってアクセスされると、この処理デバイスに、少なくとも前記ユーザの顔を撮影した入力画像を取得することと、前記ユーザの強膜に対応する前記入力画像の少なくとも1つの第1の領域を特定するために、前記入力画像を分析することと、前記入力画像の前記少なくとも1つの第1の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、前記ユーザの肌に対応する前記入力画像の少なくとも1つの第2の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも1つの第2の領域についての前記ユーザの選択を示す入力の少なくとも一方に基づいて決定することと、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも1つの第2の領域又は前記入力画像の全体における画素の画素値を正規化することと、前記少なくとも1つの第2の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、を実施させ、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。
本開示の実施形態は、従来技術における上述の問題を実質的に取り除き、又はこれに少なくとも部分的に対処するものであり、標準化されたカラーパレットの紙片を必要とすることなく、ユーザの画像を考慮しながら様々な変動条件を相殺することによって、正確なユーザの肌の明るさを決定できる。
本開示の更なる態様、効果、特徴、及び目的は、添付の請求項と併せて解釈される例としての実装の詳細な説明及び図面から明らかとなる。
本開示の特徴は、添付の請求項に定義された本開示の範囲から逸脱することなく、様々に組み合わされることが理解されよう。
上述の摘要と、例としての実施形態の以下の詳細な説明は、添付の図面と併せて読むことでその理解が促される。本開示を示す目的で、本開示の例示的な構成が図面に示される。ただし、本開示は、本明細書に開示された特定の方法及び手段に限定されない。更に、当業者は図面が縮尺どおりでないことを理解するであろう。可能な場合、同様の要素は同様の符号で示される。
本開示の実施形態を、例示のみを目的として、以下の図面を参照しながら説明する。
本開示の実施形態に係る、ユーザの肌の明るさを決定するシステムの概略図である。
本開示の実施形態に係る、ユーザデバイスのカメラによって撮影された顔の入力画像の図である。
本開示の実施形態に係る、複数の領域に分割されて処理されている図2の顔の入力画像の図である。
本開示の実施形態に係る、肌の明るさの例示的な標準的パレットを示す図である。
本開示の実施形態に係る、ユーザデバイスと相互作用するための例示的なグラフィカルユーザインタフェース示す図である。
本開示の実施形態に係る、第1の出力画像の図である。
本開示の実施形態に係る、ユーザの肌の明るさを決定する方法のフローチャートを示す図である。
以下の詳細な説明は、本開示の実施形態及び実施形態が実現され得る方法を例示する。本開示を実施する複数のモードが開示されているが、本開示を実現、実施する他の実施形態も可能であることが当業者には認識されよう。
一態様では、本開示は、ユーザの肌の明るさを決定するシステムを提供する。このシステムは、前記ユーザに関連付けられたユーザデバイスにデータ通信ネットワークを介して通信可能に接続されたサーバ構成を備える。前記サーバ構成は、少なくとも前記ユーザの顔を撮影した入力画像を取得し、前記ユーザの強膜に対応する前記入力画像の少なくとも1つの第1の領域を特定するために、前記入力画像を分析し、前記入力画像の前記少なくとも1つの第1の領域内の画素の画素値から前記強膜の代表的な画素値を決定し、前記ユーザの肌に対応する前記入力画像の少なくとも1つの第2の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも1つの第2の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定し、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも1つの第2の領域又は前記入力画像の全体における画素の画素値を正規化し、前記少なくとも1つの第2の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定し、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択するように構成され、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。
別の態様では、本開示は、ユーザの肌の明るさを決定する方法を提供する。この方法は、少なくとも前記ユーザの顔を撮影した入力画像を取得することと、前記ユーザの強膜に対応する前記入力画像の少なくとも1つの第1の領域を特定するために、前記入力画像を分析することと、前記入力画像の前記少なくとも1つの第1の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、前記ユーザの肌に対応する前記入力画像の少なくとも1つの第2の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも1つの第2の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定することと、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも1つの第2の領域又は前記入力画像の全体における画素の画素値を正規化することと、前記少なくとも1つの第2の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、を含み、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。
更に別の態様では、本開示は、ユーザの肌の明るさを決定するコンピュータプログラムプロダクトを提供する。このコンピュータプログラムプロダクトは、プログラム命令を記憶した非一時的機械可読データ記憶媒体を備え、前記プログラム命令は、処理デバイスによってアクセスされると、この処理デバイスに、少なくとも前記ユーザの顔を撮影した入力画像を取得することと、前記ユーザの強膜に対応する前記入力画像の少なくとも1つの第1の領域を特定するために、前記入力画像を分析することと、前記入力画像の前記少なくとも1つの第1の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、前記ユーザの肌に対応する前記入力画像の少なくとも1つの第2の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも1つの第2の領域についての前記ユーザの選択を示す入力の少なくとも一方に基づいて決定することと、前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも1つの第2の領域又は前記入力画像の全体における画素の画素値を正規化することと、前記少なくとも1つの第2の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、を実施させ、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される。
本明細書において、「肌の明るさ」は、人の肌表面の色や濃淡を示す。肌の明るさは人によって異なる。肌の明るさは、メラニン、カロテン、ヘモグロビンという3つの色素に主に依存している。メラニンはユーザの肌の表皮(肌の外層)に存在し、肌の明るさの濃さを決定するのに有用である。カロテンはユーザの肌の真皮(表皮のすぐ下の層)に存在し、青白い密生結合組織を備え、肌の明るさの淡さを決定するのに有用である。ヘモグロビンは真皮の毛細血管内の赤血球中に存在し、酸素化ヘモグロビンでは赤色が優勢となり、ヘモグロビンが減少すると青みがかった赤色となるというように、全体の肌の色を左右する。なお、ユーザとは肌の明るさを決定する必要がある人である。
本開示の全体を通じて、「サーバ構成」という用語は、データ通信ネットワークを介してユーザデバイスに対してデータ関連操作、プログラム、又はサービスを実行するプログラム可能及び/又はプログラム不能な構造を備えるコンピュータ、デバイス、又はモジュールを指すために使用される。本明細書において、「ユーザデバイス」は、ユーザによって操作される通常可搬のコンピューティングデバイスであり、カメラを備える。ユーザデバイスの例としては、カメラ付きのスマートフォン、ラップトップ、タブレットPC、パームトップコンピュータ、ウェブパッドなどが挙げられるが、これらに限定されない。更に、本明細書において、データ通信ネットワークは、サーバ構成とユーザデバイスとの間の経路を提供する。データ通信ネットワークの例としては、ローカルエリアネットワーク(Local Area Network:LAN)、ワイドエリアネットワーク(Wide Area Network:WAN)、インターネット、通信ネットワークが挙げられるが、これらに限定されない。本実装では、ユーザがユーザデバイスに相互作用し、データ通信ネットワークを介してサーバ構成と通信する。
サーバ構成は、少なくともユーザの顔を撮影した入力画像を取得するように構成される。上述のように、ユーザデバイスはカメラを備える。ユーザはグラフィカルユーザインタフェース(Graphical User Interface:GUI)を介してユーザデバイスに相互作用し、搭載されたカメラを使用して自身の顔を撮影するために画像を撮る。一例では、ユーザは自撮りモードでユーザデバイスを操作することによって顔を撮影してもよい。別の例では、ユーザデバイスは、ユーザの顔を撮影するために、別の人によって(ポートレートモードで)操作されてもよい。更に別の例では、ユーザ又は別の人が、既存のユーザの画像をユーザデバイスの記憶部から、又は例えばクラウド上の記憶部から選択してもよい。本明細書において、ユーザ撮影された顔は入力画像と呼ばれる。典型的には、本システムは、(ユーザの顔を近接撮影された写真が好ましいことから)入力画像ごとに1人のユーザの入力画像を処理するために実装される。この目的のために、GUIは、所与の時間に1人のユーザの入力画像を撮影するための命令(複数可)を提供してもよい。ただし、本開示の実施形態は、撮影された複数のユーザの顔がある入力画像にも適用され得る。取得された入力画像は、ユーザデバイスによってデータ通信ネットワークを介してサーバ構成へと送信される。
本明細書において、「強膜」という用語は、ユーザの撮影された顔にあるように、ユーザの眼の白色部分を指す。ユーザの強膜に対応する入力画像の第1の領域を特定するために、ある実装では、ユーザの入力画像の顔は、ユーザの顔にある眼、頬、鼻、顎、額などの異なる顔の特徴を認識するために分析されてもよい。この分析に基づいて、眼と認識された顔の特徴における白色部分に対応する領域はユーザの強膜と考えられ、第1の領域として特定される。このような実装について、サーバ構成は、主成分分析、幾何モデリング、自己相関、可変テンプレート、色分析などの画像処理技術を利用してもよい。別の実装では、機械学習技術を利用して入力画像の第1の領域を特定してもよい。この目的のために、機械学習モデルは、複数のユーザの顔の近接撮影された画像のセット含む所定のデータセットで訓練される。これらの近接撮影された画像内の眼の強膜は、第1の領域として事前に手動入力されている。このような技術は、当業者であれば考え得ることから、本開示を簡潔にするために本明細書においては説明しない。一例では、第1の領域は、ユーザの撮影された顔における眼の強膜全体に相当し得る。別の例では、第1の領域は、ユーザの撮影された顔における眼の強膜の一部に対応し得る。
本明細書において、「画素」という用語は、画像の最小単位を表し、画像をサンプリングすることによって取得される。各画素は画素値を有する。本明細書において、「画素値」という用語は、一般的に、対応する画素の強度(又は色)を表す。例えば、0から255までの画素の強度を有するグレースケール画像について、黒色画素の画素値は「0」、白色画素の画素値は「255」と考えられる。カラー画像について、その中の画素の画素値は対応する画素における赤色、緑色、青色成分の量を表す。同様に、入力画像における画素の画素値は、対応する画素の輝度に対応し得るが、限定されない。「輝度」という用語は、この文脈で使用される場合、上述のRGB値を取り込み、(他の可能な出力の中でも)輝度値を出力するある種の色空間変換方法を指す。例えば、Lab色空間をこの目的で使用してし得るが、方法は別のものであってもよく、限定されない。
上述のように、強膜は、ユーザの撮影された顔における眼の白色部分である。よって、理想的には、入力画像において強膜に対応する画素は、白色と同じ画素値を有するはずである。一方、上述のように、明るさ、照明、カメラレンズの欠陥、ユーザの着衣などの様々な条件によって、入力画像では強膜の白色が完璧に撮影されていない可能性がある。とは言え、何が強膜に対して上述の条件の効果を及ぼしていたとしても、入力画像における他の領域に対する効果も同一又は同等のはずである。すなわち、強膜が入力画像において暗く見えている場合、顎、額、頬などの他の領域も一般的に同等に暗く見えるものである。
更に、強膜自体が白色の様々な色合いを有し得、したがって、ユーザの強膜に対応する複数の画素からなる第1の領域は、その中の異なる画素よって様々な画素値を有し得る。本明細書において、「代表的な画素値」は第1の領域の全体の画素値を示すものであり、第1の領域における全ての画素の画素値の平均(平均値又は中央値)を計算することによって決定されてもよい。
本明細書において、第2の領域は、具体的には肌の明るさが決定される肌のサンプリング部位を指す。本開示では、第2の領域は、一般的に顔の肌(すなわち顔の部位)を表す。例えば、第2の領域は、ユーザの顔における頬又は額を表してもよい。ただし、第2の領域は、本開示の要旨及び範囲から逸脱することなく、首や手などの他の部位の肌を更に表してもよい。
一つの実装では、第2の領域は入力画像の分析に基づいて決定される。この分析のために、ユーザの顔における第1の領域を特定するために先の段落で上述したのと同じ技術(すなわち、画像処理及び/又は機械学習)を利用してもよい。以下で詳細に説明するが、第2の領域は、そこに使用される適切な化粧品を選択するために考慮される。よって、第2の領域は、化粧品の種類によって関心のある任意の顔の部位として考慮され得る。例えば、化粧品がファンデーションクリームの場合、入力画像はユーザの顔における頬及び/又は額の部位を第2の領域として特定するように分析される。これは、ファンデーションクリームがそれらの領域での使用により適し得るからである。
別の実装では、第2の領域は、入力画像の少なくとも1つの第2の領域についてのユーザの選択を示すユーザデバイスから受信した入力に基づいて決定される。本明細書において、ユーザは、自身の選択のとおりに入力画像の第2の領域を選択するためにGUIを使用して、ユーザデバイスと相互作用してもよい。例えば、ユーザが眼の下に塗るクリームを購入しようとしている場合、ユーザは、撮影された顔における眼の下の部位を入力画像の第2の領域として選択してもよい。一例では、例えば、ユーザデバイスのディスプレイに表示されている入力画像における撮影された顔の所望の部位でこのディスプレイ上に接触応答を与えることにより、第2の領域を選択することが考えられ得る。別の例では、頬、額、顎、鼻、眼の下などを含むがこれらに限定されない、顔の特徴の所定のリストから選択することによって第2の領域を選択し得る。このような実装は、ユーザが入力画像における撮影された顔の中の特定の領域の肌の明るさを決定しようとする場合、及び/又はこの領域について化粧品を試してみようとする場合に有用であり得る。
任意で、少なくとも1つの第2の領域を決定する際に、サーバ構成は、ユーザの肌に対応する入力画像の複数の領域を特定するために、前記入力画像を分析し、ユーザの肌をサンプリングするために、所定の基準に基づいて、複数の領域のうちの少なくとも1つを選択するように構成され、複数の領域のうちの少なくとも1つは少なくとも1つの第2の領域として決定される。本明細書において、任意で、複数の領域のうちの少なくとも1つのサイズが所定の閾値サイズよりも大きいか、複数の領域のうちの少なくとも1つのサイズが複数の領域の残りのサイズよりも大きいか、複数の領域のうちの少なくとも1つにおける画素の画素値が所定の公差をもって均一性を有するか、複数の領域のうちの少なくとも1つがユーザの顔の所定の部分に対応するか、のうちの少なくとも1つであるときに、複数の領域のうちの当該少なくとも1つは所定の基準を満たす。
本明細書において、肌のサンプリング部位は、顔の部位全体がまずは考慮されるように定義される。この部位から、顔の特徴が検出され、また、除去される。このような除去された特徴には、眼の領域、鼻孔、唇、及び眉毛(これらの部位は肌の色を表していないため)が含まれる。加えて、額の部位がサンプリングとなり得る部位から除去される。これは、この部位には髪がかかって肌を隠していることが多いためである。上述の特徴は、代表的な肌部位のみが確実に残るように周囲のマージンを広く取って除去される。肌部位が定義されると、次のステップは選択された肌の部位内から統計的選択を実施することである。これは、その輝度の特性(当該肌部位からの全ての画素はLab色空間に変換され、ここで、Lチャネルが輝度に等しい)に基づいて順番に並べると、肌部位の約42番目のパーセンタイルが肌の色と考えられるものを最もよく表すように、経験的に決定されている。色サンプリングのためにちょうど42番目のパーセンタイル値を単にピックアップするのではなく、40から50パーセンタイルの輝度値を有する全ての画素が最終サンプリングのために選択され、この処理を画像ノイズに対してよりロバストなものとする。使用される経験的に決定された値はさらなる経験的リサーチに基づいて調整されてもよいことが理解されよう。本実装では、選択された肌部位の複数の画素の平均ノルムが肌の明るさの色として使用される。
この目的のために、サーバ構成は、入力画像を標準的な又は非標準的なサイズの複数の部位(又はグリッド)に分割してもよい。サーバ構成は次に、入力画像の中の撮影された顔における顔の特徴に対応する部位を区別してもよい。このように区別された部位は、例えば、頬、眼、額、鼻、唇などであり得るが、これらに限定されない。このために、サーバ構成は、ユーザの顔の第1の領域を特定するために先の段落で上述したのと同じ技術(すなわち、画像処理及び/又は機械学習)を利用してもよい。更に、このように区別された部位から、サーバ構成は、ユーザの肌に対応する領域として肌を具体化する部位を特定し得る。例えば、所与の例では、頬及び額がユーザの肌に対応する領域として特定され得るが、眼はこれには該当しない。続いて、所定の基準に基づいて、1つ以上のこれらの領域がユーザの肌をサンプリングするために選択され、この選択された領域が第2の領域である。一例では、ユーザが眼の下に塗るクリームを購入しようとしている場合、サーバ構成は、ユーザの撮影された顔における眼の下の部分を第2の領域として特定してもよい。本明細書において、所定の基準は眼の下に塗るクリームが使用される可能性のある肌の適切な領域であり得る。
ある実施形態では、複数の領域のうちの少なくとも1つのサイズが所定の閾値サイズよりも大きいときに、複数の領域のうちの当該少なくとも1つは所定の基準を満たす。本明細書において、この所定の閾値サイズは、第2の領域として決定される領域について可能な限り最小のサイズ値である。すなわち、第2の領域として決定される領域は、所定の閾値サイズよりも大きい必要がある。例えば、ユーザの撮影された顔における額を第2の領域として決定する必要がある場合、所定の閾値サイズは額について可能な限り最小のサイズ値(様々な人の入手可能な画像のサンプルから一般的に決定され得る)である。所定の閾値サイズよりも小さい他の特定された複数の領域(顎、鼻など)は、この場合、第2の領域として選択されないことが理解されよう。
ある実施形態では、複数の領域のうちの少なくとも1つのサイズが複数の領域の残りのサイズよりも大きいときに、複数の領域のうちの当該少なくとも1つは所定の基準を満たす。本明細書において、特定された複数の領域の中で最大のサイズを有する領域が第2の領域として決定される。例えば、ここでも、ユーザの撮影された顔における額を第2の領域として決定する必要がある場合、額のサイズは典型的には他の可能性のある特定された複数の領域(顎、眼の下、鼻など)のサイズよりも大きく、よって、入力画像における撮影された顔の中の額をそのような基準で選択することも可能である。
ある実施形態では、複数の領域のうちの少なくとも1つにおける画素の画素値が所定の公差をもって均一性を有するときに、複数の領域のうちの当該少なくとも1つは所定の基準を満たす。知られているように、「公差」とは、物理量で許容されている最大許容変動であり、物理量の許容範囲を計算するために使用され得る。ユーザの顔における肌の明るさはその複数の領域で変化し、よって、ユーザの顔における複数の領域のそれぞれは、その中の画素の画素値の均一性が異なる場合があり、対応する公差も異なることが理解されよう。例えば、頬を表す領域は、眼の下を表す領域と比較して一般的に明るくなめらか(均一)であり、したがって、ユーザの顔における頬を表す領域の画素の画素値の均一性の公差(一般的に、より高い)は眼の下を表す領域の均一性の公差(一般的に、低い)とは異なり得る。よって、頬を表す領域が特定され、第2の領域として決定される場合、頬を表す領域における画素の画素値は、一致するかどうかを確認するために対応する所定の公差と比較されてもよい。
ある実施形態では、複数の領域のうちの少なくとも1つがユーザの顔の所定の部分に対応するときに、複数の領域のうちの当該少なくとも1つは所定の基準を満たす。本明細書において、ユーザの顔の所定の部分は、肌の明るさが決定される必要のユーザの顔の領域である。例えば、ユーザが頬を表す領域の肌の明るさを求めようとする場合(例えば、そこに使用するためのファンデーションクリームなどを購入する際)、ユーザの顔の所定の部分は頬を表す領域である。そのような目的のために、ユーザの顔における第1の領域を特定するために先の段落で上述したのと同じ技術(すなわち、画像処理及び/又は機械学習)を利用し、所定の部分を最初に特定することが考えられ得る。
上述のように、本開示の実施形態では、ユーザの(眼の中の)強膜の色に基づいて色正規化が実施される。本明細書において、本明細書において使用される「色正規化」という用語は、技術分野では「色補正」とも呼ばれる。そのために、先の段落で上述したように、まず強膜(眼の中の白色部位)が入力画像から特定される。本明細書において、この強膜は白色の部位と想定され、この部位の平均RGB(又は照度輝度)値は白色に対する参照色とみなされ、この参照色を使用して入力画像における全ての色を正規化する。本明細書において、バイアスを掛けた(バイアス済)RGB値が入力画像における色について用いられ、補正された色値が出力される。当業者には考え得るように、色バイアスが2つの実数[c_1,c_2]で以下のように表現される。
c_1=サンプリングされた参照白色部位(この場合、強膜)の平均値(R)/平均値(G)、及び
c_2=平均値(B)/平均値(G)。
c_1=サンプリングされた参照白色部位(この場合、強膜)の平均値(R)/平均値(G)、及び
c_2=平均値(B)/平均値(G)。
ここで、例えば、c_1>1であれば、画像の緑色に対する赤色が多すぎる(白色部位が赤く見えるなど)ことを意味している。したがって、正確な色を得るには、赤色値をc_1で割り、この場合の赤色値を減少させる。よって、全体の補正は以下のようになる。
全ての画素色値について
R_補正=R_バイアス済/c_1、
G_補正=G_バイアス済、及び
B_補正=B_バイアス済/c_2。
全ての画素色値について
R_補正=R_バイアス済/c_1、
G_補正=G_バイアス済、及び
B_補正=B_バイアス済/c_2。
すなわち、強膜の白色が基本の参照として使用され、第2の領域又は入力画像の全体における全ての他の色は強膜の白色を参照して正規化される。特に、強膜の代表的な画素値(上述)が基本の参照として使用され、第2の領域又は入力画像の全体における画素の画素値(この場合、「参照画素値」となる)は強膜の代表的な画素値に基づいて正規化される。具体的には、少なくとも1つの第2の領域又は入力画像の全体における画素の画素値は、例えば先の段落で示された例示的な等式を使用して、正規化されるべき画素について、強膜の代表的な画素値と参照画素値との差に基づいて正規化される。このように、少なくとも1つの第2の領域における画素の正規化された画素値が決定される。
色は様々な異なる方法で定義され得ることが理解されよう。本実装では、色は整数の8ビットサンプリングでのRGB変換に関して定義され、値が0から255の範囲にあり、色は3要素長のベクトルであることを意味する。一部の実装では、数値を丸める際に過剰な損失を回避するために浮動小数点表示が使用されてもよい。画像の明度は当然変化することから、値自体の範囲は(合理的な制限内で)どのような値をも取り得る。より重要なのは、色ベクトル値(例えば、緑色値で割った赤色値)間の相対的な差としてRGBにおいて推定されることができる色の量である。強膜は中間色の灰色(白)と仮定され、RGB値間の相対的比率が1である(1に近い)ことを意味する。理想的なケースでは、この比率が厳密に1であり、参照として使用され得る。例えば、RGB[178,178,178]は、厳密に中間色の灰色(白)を表現する。ただし、画像に当てられた照明によっては、強膜部位はより暗く、又はより明るくなり得、例えば、[89,89,89]又は[210,210,210]である。実際、画像の色バランスは、撮像デバイス(カメラなど)によって完全に推定されず、R/G又はB/Gの比率が値「1.0」とは異なる場合もある。この相対的な差は、推定された色のバイアスである。サンプリングされた強膜領域から、R、G、B値の平均値が推定値、すなわち上述の参照画素値として用いられる。
強膜における白色の変化する色合いに関して上述したように、特定の第2の領域についての肌の色(肌の明るさ)も同様に変化する色合いを有することが理解されよう。したがって、少なくとも1つの第2の領域における様々な画素の正規化された画素値も(概して、限定された範囲内で)変化し得る。よって、少なくとも1つの第2の領域における画素の正規化された画素値から、肌の代表的な画素値が決定される。本明細書において、「肌の代表的な画素値」は第2の領域の全体の画素値を示すものであり、第2の領域における全ての画素の正規化された画素値の平均(平均値又は中央値)を計算することによって決定されてもよい。
上述のように、肌の明るさは人によって異なる。本明細書において、「肌の明るさのパレット」は、例えば、濃いから淡いまでの人の肌について知られている複数の肌の明るさを有する参照スケールである。決定された肌の代表的な画素値を肌の明るさのパレットにおける異なる肌の明るさと比較することにより、肌の代表的な画素値に一致する画素値を有する肌の明るさが選択される。選択された肌の明るさはユーザの肌の明るさとして決定される。本明細書において、一致は完全一致であってもよいし、最類似の一致(例えば、類似閾値を使用して求められる)であってもよい。肌の明るさのパレットは、数十から数百の異なる肌の明るさを提供してもよいことが理解されよう。本開示の目的のために、肌の明るさのパレットは、肌の代表的な画素値が検索され、肌の代表的な画素値が代表的な画素に完全に一致する、又は最も近い肌の明るさが決定され得る、様々な肌の明るさの画素値のルックアップテーブルの形態であってもよい。
任意で、サーバ構成は、ユーザの肌の明るさに基づいて化粧品を選択し、ユーザデバイスを介してユーザに選択された化粧品を推薦するように構成される。本明細書において、「化粧品」という用語は、ファンデーションクリーム、保湿クリーム、眼の下に塗るクリーム、コンパクト、リップバームなどの、ユーザの肌に外的に使用し得る任意の製品を包含し得る。化粧品は、一般的に肌をきれいにするために使用され、所望の効果を得るには適切な、又は正しい化粧品を使用する必要がある。使用に適した化粧品は、大抵の場合、ユーザの肌の明るさによって決まる。例えば、濃い肌のユーザがコンパクトを使用したい場合、濃い肌用のコンパクトを使用すべきであり、色白の肌用のコンパクトがこのユーザに使用されると「白浮き」効果が出て好ましくない。本開示の実施形態にあるように、ユーザの肌の明るさが決定され、したがって、適切な化粧品を選択することができる。これは、化粧品のメーカ(又はベンダ)から提供され得る特定の肌の明るさについての各化粧品の適切さに関する情報(可能であればマッピング)を使用して実現される。更に、選択された化粧品は、ユーザデバイスのGUIを介してユーザに推薦される。推薦と共に、GUIは推薦される化粧品を直接購入できるリンクを提供してもよい。
任意で、サーバ構成は、入力画像の全体における画素の正規化された画素値から正規化された画像を生成し、第1の出力画像を生成するために、ユーザの顔に対応する正規化された画像の少なくとも1つの領域に化粧品の効果を適用し、ユーザに提示するためにユーザデバイスに第1の出力画像を送信するように構成される。上述のように、画素の画素値の正規化は、第2の領域又は入力画像の全体における画素について実施され得る。本実装では、入力画像の全体における画素の画素値は、正規化された画像を生成するために正規化される。次に、ユーザの顔での化粧品の効果を確認するために、Open CV、スペクトルに基づく色再現などの様々な公知のシミュレーション技術のいずれか1つ以上が考え得るが、これらは本開示の範囲外であり、本明細書においては説明しない。肌の代表的な画素値(肌の画素の正規化された画素値から決定される)は、このような技術の実施に適切な参照を提供する。化粧品の効果適用後に生成された画像が、第1の出力画像として参照される。次に、この第1の出力画像はユーザデバイスに送信され、GUIを介してユーザに提示される。これによって、例えば、ユーザは自身の肌への化粧品の効果を確認でき、更にその化粧品を購入するかどうかを決めることができる。
任意で、サーバ構成は、逆正規化された化粧品を生成するために、強膜の代表的な画素値と参照画素値との差に基づいて、化粧品の色の画素値を逆正規化し、第2の出力画像を生成するために、逆正規化された化粧品の効果をユーザの顔に対応する入力画像の少なくとも1つの領域に適用し、ユーザに提示するために第2の出力画像をユーザデバイスに送信するように構成される。上述のように、第2の領域における画素の正規化された画素値に依存する肌の代表的な画素値に従って決定されたユーザの肌の明るさに基づいて化粧品が推薦される。ここで、第2の領域における画素の画素値のみが正規化される場合、入力画像の全体(第2の領域外の画素の画素値は正規化されていない可能性がある)に適用された際の化粧品の効果は、化粧品のユーザの顔への実際の使用感を正しく表していないかもしれない。よって、サーバ構成は、まず、化粧品の色の画素値(メーカ又はベンダから入手可能)を(入力画像における)画素値の範囲へと変換し戻すことによって、化粧品の色の画素値を逆正規化するように構成される。
本明細書において、「逆正規化」(技術分野では「逆補正」とも呼ばれる)は、全ての画素色値について
R_バイアス済=R_オリジナル×c_1、
G_バイアス済=G_オリジナル、及び
B_バイアス済=B_オリジナル×c_2
を決定することによって実現される。
R_バイアス済=R_オリジナル×c_1、
G_バイアス済=G_オリジナル、及び
B_バイアス済=B_オリジナル×c_2
を決定することによって実現される。
一例では、入力画像は全てのものが「実物」よりも赤く見えるような赤色バイアスを有する。この例では、c_1=1.1である(単純にするとc_2=1.0)。例えば、おしろいを入力画像におけるユーザの顔に添加すると、おしろいは、環境条件と一致し、浮かないようにするために、同じ赤色バイアスを有する必要がある。したがって、本実装では、RGB[200,200,200]であるおしろいが入力画像に仮想的に適用される。「逆正規化」後に、RGB値は[220,200,200](「R」は200×1.1である)となり、これは入力画像についての画像条件でユーザの顔に適用されると製品(すなわち、おしろい)が「どのように見えるであろうか」をよりよくシミュレーションするものとなるはずである。
完全な画像色正規化の代わりに、逆正規化を行うことに利点があることが理解されよう。例えば、これによって、必要となるのは(画像データの全体を操作するのではなく)製品色コードごとに2つの乗算を計算することのみであるため、計算コストが著しく低減する。更に、入力画像が予想外に変更されて体験に混乱を来すようなことはない。また、ユーザが生成したデータは一般的に不一致がない。すなわち、ユーザが自撮りし、自身のデバイスに保存し、本明細書に記載の解決策を使用して製品を仮想的に適用した外見と比較し、その画像はこの種の比較を行うために概して加工せずに取っておく。
そこから、逆正規化された化粧品は、強膜の代表的な画素値と参照画素値との差に基づいて生成される。この生成された逆正規化された化粧品の効果が、第2の出力画像を生成するために、入力画像の少なくとも1つの領域に適用されてもよい。そのような効果の適用は、先の段落で上述したのと同じシミュレーション技術を使用して実現されてもよい。次に、生成された第2の出力画像はユーザデバイスに送信され、GUIを介してユーザに提示される。これによって、例えば、ユーザは入力画像が撮影された照明条件の下で、自身の肌への化粧品の効果を確認でき、更にその化粧品を購入するかどうかを決めることができる。
ある実装では、入力画像の画素値の範囲は0から255を取り得、0は黒を、255は白を示す。第1の例では、オリーブ色の肌の明るさのユーザについての入力画像が、最適な照明条件で取り込まれる。本明細書において、例えば、入力画像中の強膜の画素値は255、肌の代表的な画素値は100となり得る。正規化後に、肌の正規化された画素値は0.4(上述の等式を用いて計算)となる。肌の明るさは、オリーブ色の肌の明るさの値が0.4であるパレットから、「オリーブ色」と推定されてもよい。第2の例では、オリーブ色の肌の明るさの同じユーザについての入力画像が、濃い照明条件で取り込まれる。本明細書において、例えば、入力画像中の強膜の画素値は200、肌の代表的な画素値は80となり得る。正規化後に、肌の正規化された画素値はここでも0.4(上述の等式を用いて計算)となる。ここでも、肌の明るさは、オリーブ色の肌の明るさの値が0.4であるパレットから、「オリーブ色」と推定されてもよい。
本開示の1つ以上の実施形態では、サーバ構成への接続は肌の明るさを決定するために必須でなくともよい。本明細書において、ユーザデバイスは、肌の明るさの決定に必要な全ての処理及び分析をローカルで行うように構成されてもよい。更に、本開示の1つ以上の実施形態では、肌の明るさの決定は、ユーザの人口動態、ユーザの人種、ユーザ入力、あらかじめ定められた肌の明るさなどのあらかじめ分かっている何らかの情報で補助されてもよい。
更に、本明細書は上述のようなユーザの肌の明るさを決定する方法にも関する。上記に開示された様々な実施形態及びその変形は、このユーザの肌の明るさを決定する方法にも適宜当てはまる。
任意で、ユーザの肌の明るさを決定する方法は、ユーザの肌の明るさに基づいて化粧品を選択することと、ユーザデバイスを介してユーザに選択された化粧品を推薦することと、を更に含む。
任意で、ユーザの肌の明るさを決定する方法は、入力画像の全体における画素の正規化された画素値から正規化された画像を生成することと、第1の出力画像を生成するために、ユーザの顔に対応する正規化された画像の少なくとも1つの領域に化粧品の効果を適用することと、ユーザに提示するためにユーザデバイスに第1の出力画像を送信することと、を更に含む。
任意で、ユーザの肌の明るさを決定する方法は、逆正規化された化粧品を生成するために、強膜の代表的な画素値と参照画素値との差に基づいて、化粧品の色の画素値を逆正規化することと、第2の出力画像を生成するために、逆正規化された化粧品の効果をユーザの顔に対応する入力画像の少なくとも1つの領域に適用することと、ユーザに提示するために第2の出力画像をユーザデバイスに送信することと、を更に含む。
任意で、ユーザの肌の明るさを決定する方法における少なくとも1つの第2の領域を決定するステップは、ユーザの肌に対応する入力画像の複数の領域を特定するために、前記入力画像を分析することと、ユーザの肌をサンプリングするために、所定の基準に基づいて、複数の領域のうちの少なくとも1つを選択することと、を更に含み、複数の領域のうちの少なくとも1つは少なくとも1つの第2の領域として決定される。
任意で、複数の領域のうちの少なくとも1つのサイズが所定の閾値サイズよりも大きいか、複数の領域のうちの少なくとも1つのサイズが複数の領域の残りのサイズよりも大きいか、複数の領域のうちの少なくとも1つにおける画素の画素値が所定の公差をもって均一性を有するか、複数の領域のうちの少なくとも1つがユーザの顔の所定の部分に対応するか、のうちの少なくとも1つであるときに、ユーザの肌の明るさを決定する方法の複数の領域のうちの少なくとも1つは複数の領域のうちの当該少なくとも1つは所定の基準を満たす。
更に、本明細書は上述のようなユーザの肌の明るさを決定するコンピュータプログラムプロダクトにも関する。本明細書において、コンピュータプログラムプロダクトは、スマートフォンなどのユーザデバイスに実装され得る。上記に開示された様々な実施形態及びその変形は、このユーザの肌の明るさを決定するコンピュータプログラムプロダクトにも適宜当てはまる。
任意で、コンピュータプログラムプロダクトのプログラム命令は処理デバイスに、ユーザの肌の明るさに基づいて化粧品を選択することと、ユーザに選択された化粧品を推薦することと、を実施させる。
任意で、コンピュータプログラムプロダクトのプログラム命令は処理デバイスに、入力画像の全体における画素の正規化された画素値から正規化された画像を生成することと、第1の出力画像を生成するために、ユーザの顔に対応する正規化された画像の少なくとも1つの領域に化粧品の効果を適用することと、第1の出力画像をユーザに提示することと、を実施させる。
任意で、コンピュータプログラムプロダクトのプログラム命令は処理デバイスに、逆正規化された化粧品を生成するために、強膜の代表的な画素値と参照画素値との差に基づいて、化粧品の色の画素値を逆正規化することと、第2の出力画像を生成するために、逆正規化された化粧品の効果をユーザの顔に対応する入力画像の少なくとも1つの領域に適用することと、第2の出力画像をユーザに提示することと、を実施させる。
任意で、少なくとも1つの第2の領域を決定する際に、プログラム命令は処理デバイスに、ユーザの肌に対応する入力画像の複数の領域を特定するために、前記入力画像を分析することと、ユーザの肌をサンプリングするために、所定の基準に基づいて、複数の領域のうちの少なくとも1つを選択することと、を実施させ、複数の領域のうちの少なくとも1つは少なくとも1つの第2の領域として決定される。
任意で、複数の領域のうちの少なくとも1つのサイズが所定の閾値サイズよりも大きいか、複数の領域のうちの少なくとも1つのサイズが複数の領域の残りのサイズよりも大きいか、複数の領域のうちの少なくとも1つにおける画素の画素値が所定の公差をもって均一性を有するか、複数の領域のうちの少なくとも1つがユーザの顔の所定の部分に対応するか、のうちの少なくとも1つであるときに、複数の領域のうちの当該少なくとも1つは所定の基準を満たす。
システム、方法、及びコンピュータプロダクトは、紙ベースの肌の明るさパレットなどを使用する必要なく、容易にユーザの肌の明るさを決定し得ることから有利である。本明細書において、第2の領域又は入力画像の全体の正規化が、入力画像を撮影する際にユーザの顔の近くに肌パレットを配置する必要をなくする。更に、決定された肌の明るさは、異なる照明及び他の変動条件に関係なく実物に近い。この決定された肌の明るさは、化粧品を推薦するために使用されてもよく、これによりユーザは、店舗に行って実際の使用感を試す必要なく、自宅で気軽に化粧品を使用した効果を確認することができる。
図面の詳細な説明
図面の詳細な説明
図1を参照すると、本開示の実施形態に係る、ユーザ102の肌の明るさを決定するシステム100の概略図が示されている。特に、システム100は、ユーザ102の顔104の肌の明るさを決定するために実装される。本明細書において、システム100は、ユーザ102に関連付けられ、カメラ108を有するユーザデバイス106を備える。システム100は、サーバ構成110を更に備える。サーバ構成110は、ユーザデバイス106にデータ通信ネットワーク112を介して通信可能に接続されている。第1の通信リンク114は、ユーザデバイス106をデータ通信ネットワーク112に接続する。第2の通信リンク116は、サーバ構成110をデータ通信ネットワーク112に接続する。本明細書において、ユーザ102は、自身の顔104を撮影した入力画像を生成するために、カメラ108を操作する際にユーザデバイス106を使用する。サーバ構成110は、データ通信ネットワーク112を介してユーザデバイス106からユーザ102の顔104を撮影した入力画像を取得する。
図2を参照すると、本開示の実施形態に係る、入力画像200(図1を参照して上述したようなユーザ102の顔104を撮影した入力画像など)の図が示されている。図2の例示的な図では、顔202の入力画像200は、顔202における眼204、顔202における眼204の中の強膜206、及び顔202における頬領域208についての詳細を含み、ここで、濃淡の点の部位は、中間的な肌の明るさ408及びオリーブ色の肌の明るさ404である肌の明るさを示す。
図3を参照すると、本開示の実施形態に係る、図2の顔202の入力画像200が複数の領域に分割されて処理されている図が示されている。図示されているように、入力画像200は、図示されているようにグリッド線300によって複数の領域に分割されている。本明細書において、図示されているように、第1の領域302は顔202における眼204の中の強膜206に対応し、第2の領域304は顔202における肌の一部、特に顔202における頬208の部分に対応する。ここで、濃淡の点の部位は、中間的な肌の明るさ408及びオリーブ色の肌の明るさ404である肌の明るさを示す。
図4を参照すると、本開示の実施形態に係る、肌の明るさ400の例示的なパレットが示されている。肌の明るさ400の例示的なパレットは、濃い肌の明るさ402、オリーブ色の肌の明るさ404、ブラウンの肌の明るさ406、中間的な肌の明るさ408、及び色白の肌の明るさ410である5段階の肌の明るさを有するものとして示されている。
図5を参照すると、本開示の実施形態に係る、ユーザデバイス(図1のユーザデバイス106など)と相互作用するための例示的なグラフィカルユーザインタフェース(GUI)500が示されている。グラフィカルユーザインタフェース500は、ドロップダウン矢印504のある選択メニュー502、「自撮りする」オプション506、「第2の領域を選択する」オプション508、推薦された化粧品を表示するための表示オプション510などの異なるメニュー及びオプションを提供する。本明細書において、選択メニュー502はドロップダウンメニューバーである。選択メニュー502の矢印504をクリックすると、ユーザにはオプション506、508、及び510が与えられる。入力画像(図2の入力画像200など)を撮影するには、オプション506が選択される。オプション508を選択すると、入力画像の少なくとも1つの第2の領域についてのユーザの選択を示す入力(接触応答など)を受信できる入力画像が表示される。オプション510を選択すると、ユーザに提示するために入力画像を処理することによって生成された、第1の出力画像(図6に示される第1の出力画像600など)又は第2の出力画像(図示せず)が提示される。
図6を参照すると、本開示の実施形態に係る、顔602の第1の出力画像600の図が示されている。第1の出力画像600は、顔602に対応する入力画像(具体的には、入力画像から生成された正規化された画像)の少なくとも1つの領域に化粧品の効果を適用することによって生成される。本明細書において、化粧品はコンパクトであり、顔602全体に使用されているため、第1の出力画像600はより明るく見えており、すなわち、コンパクトの使用後、顔602の肌の明るさは色白の肌の明るさ410に見えている。
図7を参照すると、本開示の実施形態に係る、ユーザの肌の明るさを決定する方法のフローチャート700が示されている。本方法は、ステップ702において、ユーザの少なくとも顔を撮影した入力画像を取得することを含む。本方法は、ステップ704において、少なくとも1つの第1の領域を特定するために、入力画像を分析することを含む。本明細書において、入力画像の特定された少なくとも1つの第1の領域は、ユーザの強膜に対応する。本方法は、ステップ706において、強膜の代表的な画素値を決定することを含む。本明細書において、強膜の代表的な画素値は、入力画像の少なくとも1つの第1の領域内の画素の画素値から決定される。本方法は、ステップ708において、入力画像の少なくとも1つの第2の領域を決定することを含む。本明細書において、ユーザの肌に対応する入力画像の少なくとも1つの第2の領域は、入力画像の分析と、入力画像の少なくとも1つの第2の領域についてのユーザの選択を示すユーザデバイスから受信した入力の少なくとも一方に基づいて決定される。本方法は、ステップ710において、画素の画素値を正規化することを含む。本明細書において、少なくとも1つの第2の領域又は入力画像の全体における画素の画素値は、強膜の代表的な画素値と参照画素値との差に基づいて正規化される。本方法は、ステップ712において、肌の代表的な画素値を決定することを含む。本明細書において、肌の代表的な画素値は、少なくとも1つの第2の領域内の画素の正規化された画素値から決定される。本方法は、ステップ714において、肌の代表的な画素値に一致する画素値を有する肌の明るさを選択することを含む。この選択は、肌の明るさのパレットの中から、肌の明るさを選択することによって実現され、選択された肌の明るさはユーザの肌の明るさとして決定される。
上述の本開示の実施形態は、添付の請求項に定義された本開示の範囲から逸脱することなく、変更が可能である。本開示を説明し、特許請求するために使用されている「含む」、「備える」、「包含する」、「有する」、「である」などの表現は、非限定的に解釈されることが意図されており、つまり、明示的に記載されていない品目、部品、又は要素が存在してもよい。単数として示されたものは、それが複数である場合も関連すると解釈される。
Claims (18)
- ユーザの肌の明るさを決定するシステムであって、該システムは、前記ユーザに関連付けられたユーザデバイスにデータ通信ネットワークを介して通信可能に接続されたサーバ構成を備え、
前記サーバ構成は、
・ 少なくとも前記ユーザの顔を撮影した入力画像を取得し、
・ 前記ユーザの強膜に対応する前記入力画像の少なくとも1つの第1の領域を特定するために、前記入力画像を分析し、
・ 前記入力画像の前記少なくとも1つの第1の領域内の画素の画素値から前記強膜の代表的な画素値を決定し、
・ 前記ユーザの肌に対応する前記入力画像の少なくとも1つの第2の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも1つの第2の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定し、
・ 前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも1つの第2の領域又は前記入力画像の全体における画素の画素値を正規化し、
・ 前記少なくとも1つの第2の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定し、
・ 肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択する
ように構成され、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される、システム。 - 前記サーバ構成は、前記ユーザの肌の明るさに基づいて化粧品を選択し、前記ユーザデバイスを介して前記ユーザに前記選択された化粧品を推薦するように構成される、請求項1に記載のシステム。
- 前記サーバ構成は、
・ 前記入力画像の全体における前記画素の前記正規化された画素値から正規化された画像を生成し、
・ 第1の出力画像を生成するために、前記ユーザの顔に対応する前記正規化された画像の少なくとも1つの領域に前記化粧品の効果を適用し、
・ 前記ユーザに提示するために前記ユーザデバイスに前記第1の出力画像を送信する
ように構成される、請求項2に記載のシステム。 - 前記サーバ構成は、
・ 逆正規化された化粧品を生成するために、前記強膜の前記代表的な画素値と前記参照画素値との前記差に基づいて、前記化粧品の色の画素値を逆正規化し、
・ 第2の出力画像を生成するために、前記逆正規化された化粧品の効果を前記ユーザの顔に対応する前記入力画像の少なくとも1つの領域に適用し、
・ 前記ユーザに提示するために前記第2の出力画像を前記ユーザデバイスに送信する
ように構成される、請求項2又は3に記載のシステム。 - 前記少なくとも1つの第2の領域を決定する際に、前記サーバ構成は、
・ 前記ユーザの肌に対応する前記入力画像の複数の領域を特定するために、前記入力画像を分析し、
・ 前記ユーザの肌をサンプリングするために、所定の基準に基づいて、前記複数の領域のうちの少なくとも1つを選択する
ように構成され、前記複数の領域のうちの少なくとも1つは前記少なくとも1つの第2の領域として決定される、請求項1から4のいずれかに記載のシステム。 - ・ 前記複数の領域のうちの少なくとも1つのサイズが所定の閾値サイズよりも大きいか、
・ 前記複数の領域のうちの少なくとも1つのサイズが前記複数の領域の残りのサイズよりも大きいか、
・ 前記複数の領域のうちの少なくとも1つにおける画素の画素値が所定の公差をもって均一性を有するか、
・ 前記複数の領域のうちの少なくとも1つが前記ユーザの顔の所定の部分に対応するか、
のうちの少なくとも1つであるときに、前記複数の領域のうちの当該少なくとも1つは前記所定の基準を満たす、請求項5に記載のシステム。 - ユーザの肌の明るさを決定する方法であって、該方法は、
・ 少なくとも前記ユーザの顔を撮影した入力画像を取得することと、
・ 前記ユーザの強膜に対応する前記入力画像の少なくとも1つの第1の領域を特定するために、前記入力画像を分析することと、
・ 前記入力画像の前記少なくとも1つの第1の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、
・ 前記ユーザの肌に対応する前記入力画像の少なくとも1つの第2の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも1つの第2の領域についての前記ユーザの選択を示す前記ユーザデバイスから受信した入力の少なくとも一方に基づいて決定することと、
・ 前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも1つの第2の領域又は前記入力画像の全体における画素の画素値を正規化することと、
・ 前記少なくとも1つの第2の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、
・ 肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、
を含み、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される、方法。 - 前記ユーザの肌の明るさに基づいて化粧品を選択することと、前記ユーザデバイスを介して前記ユーザに前記選択された化粧品を推薦することと、を更に含む、請求項7に記載の方法。
- ・ 前記入力画像の全体における前記画素の前記正規化された画素値から正規化された画像を生成することと、
・ 第1の出力画像を生成するために、前記ユーザの顔に対応する前記正規化された画像の少なくとも1つの領域に前記化粧品の効果を適用することと、
・ 前記ユーザに提示するために前記ユーザデバイスに前記第1の出力画像を送信することと、
を更に含む、請求項8に記載の方法。 - ・ 逆正規化された化粧品を生成するために、前記強膜の前記代表的な画素値と前記参照画素値との前記差に基づいて、前記化粧品の色の画素値を逆正規化することと、
・ 第2の出力画像を生成するために、前記逆正規化された化粧品の効果を前記ユーザの顔に対応する前記入力画像の少なくとも1つの領域に適用することと、
・ 前記ユーザに提示するために前記第2の出力画像を前記ユーザデバイスに送信することと、
を更に含む、請求項8又は9に記載の方法。 - 前記少なくとも1つの第2の領域を決定するステップは、
・ 前記ユーザの肌に対応する前記入力画像の複数の領域を特定するために、前記入力画像を分析することと、
・ 前記ユーザの肌をサンプリングするために、所定の基準に基づいて、前記複数の領域のうちの少なくとも1つを選択することと、
を含み、前記複数の領域のうちの少なくとも1つは前記少なくとも1つの第2の領域として決定される、請求項7から10のいずれかに記載の方法。 - ・ 前記複数の領域のうちの少なくとも1つのサイズが所定の閾値サイズよりも大きいか、
・ 前記複数の領域のうちの少なくとも1つのサイズが前記複数の領域の残りのサイズよりも大きいか、
・ 前記複数の領域のうちの少なくとも1つにおける画素の画素値が所定の公差をもって均一性を有するか、
・ 前記複数の領域のうちの少なくとも1つが前記ユーザの顔の所定の部分に対応するか、
のうちの少なくとも1つであるときに、前記複数の領域のうちの当該少なくとも1つは前記所定の基準を満たす、請求項11に記載の方法。 - ユーザの肌の明るさを決定するコンピュータプログラムプロダクトであって、該コンピュータプログラムプロダクトは、プログラム命令を記憶した非一時的機械可読データ記憶媒体を備え、前記プログラム命令は、処理デバイスによってアクセスされると、該処理デバイスに、
・ 少なくとも前記ユーザの顔を撮影した入力画像を取得することと、
・ 前記ユーザの強膜に対応する前記入力画像の少なくとも1つの第1の領域を特定するために、前記入力画像を分析することと、
・ 前記入力画像の前記少なくとも1つの第1の領域内の画素の画素値から前記強膜の代表的な画素値を決定することと、
・ 前記ユーザの肌に対応する前記入力画像の少なくとも1つの第2の領域を、前記入力画像の分析と、前記入力画像の前記少なくとも1つの第2の領域についての前記ユーザの選択を示す入力の少なくとも一方に基づいて決定することと、
・ 前記強膜の前記代表的な画素値と参照画素値との差に基づいて、前記少なくとも1つの第2の領域又は前記入力画像の全体における画素の画素値を正規化することと、
・ 前記少なくとも1つの第2の領域内の前記画素の前記正規化された画素値から前記肌の代表的な画素値を決定することと、
・ 肌の明るさのパレットの中から、前記肌の前記代表的な画素値に一致する画素値を有する肌の明るさを選択することと、
を実施させ、前記選択された肌の明るさは前記ユーザの肌の明るさとして決定される、コンピュータプログラムプロダクト。 - 前記プログラム命令は前記処理デバイスに、前記ユーザの肌の明るさに基づいて化粧品を選択することと、前記ユーザに前記選択された化粧品を推薦することと、を実施させる、請求項13に記載のコンピュータプログラムプロダクト。
- 前記プログラム命令は前記処理デバイスに、
・ 前記入力画像の全体における前記画素の前記正規化された画素値から正規化された画像を生成することと、
・ 第1の出力画像を生成するために、前記ユーザの顔に対応する前記正規化された画像の少なくとも1つの領域に前記化粧品の効果を適用することと、
・ 前記第1の出力画像を前記ユーザに提示することと、
を実施させる、請求項14に記載のコンピュータプログラムプロダクト。 - 前記プログラム命令は前記処理デバイスに、
・ 逆正規化された化粧品を生成するために、前記強膜の前記代表的な画素値と前記参照画素値との前記差に基づいて、前記化粧品の色の画素値を逆正規化することと、
・ 第2の出力画像を生成するために、前記逆正規化された化粧品の効果を前記ユーザの顔に対応する前記入力画像の少なくとも1つの領域に適用することと、
・ 前記第2の出力画像を前記ユーザに提示することと、
を実施させる、請求項14又は15に記載のコンピュータプログラムプロダクト。 - 前記少なくとも1つの第2の領域を決定する際に、前記プログラム命令は前記処理デバイスに、
前記ユーザの肌に対応する前記入力画像の複数の領域を特定するために、前記入力画像を分析することと、
前記ユーザの肌をサンプリングするために、所定の基準に基づいて、前記複数の領域のうちの少なくとも1つを選択することと、
を実施させ、前記複数の領域のうちの少なくとも1つは前記少なくとも1つの第2の領域として決定される、請求項13から16のいずれかに記載のコンピュータプログラムプロダクト。 - ・ 前記複数の領域のうちの少なくとも1つのサイズが所定の閾値サイズよりも大きいか、
・ 前記複数の領域のうちの少なくとも1つのサイズが前記複数の領域の残りのサイズよりも大きいか、
・ 前記複数の領域のうちの少なくとも1つにおける画素の画素値が所定の公差をもって均一性を有するか、
・ 前記複数の領域のうちの少なくとも1つが前記ユーザの顔の所定の部分に対応するか、
のうちの少なくとも1つであるときに、前記複数の領域のうちの当該少なくとも1つは前記所定の基準を満たす、請求項17に記載のコンピュータプログラムプロダクト。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/038,538 US20220101405A1 (en) | 2020-09-30 | 2020-09-30 | System and method for determining a skin tone |
US17/038,538 | 2020-09-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022058165A true JP2022058165A (ja) | 2022-04-11 |
Family
ID=77543348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021118358A Pending JP2022058165A (ja) | 2020-09-30 | 2021-07-19 | 肌の明るさを決定するシステム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220101405A1 (ja) |
EP (1) | EP3979212A1 (ja) |
JP (1) | JP2022058165A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024141514A2 (en) * | 2022-12-28 | 2024-07-04 | L'oréal | Makeup virtual try on methods and apparatus |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090234716A1 (en) * | 2008-03-17 | 2009-09-17 | Photometria, Inc. | Method of monetizing online personal beauty product selections |
US8908904B2 (en) * | 2011-12-28 | 2014-12-09 | Samsung Electrônica da Amazônia Ltda. | Method and system for make-up simulation on portable devices having digital cameras |
ES2950501T3 (es) * | 2016-04-22 | 2023-10-10 | Fitskin Inc | Sistemas para el análisis de la piel mediante dispositivos electrónicos |
KR101854991B1 (ko) * | 2016-09-12 | 2018-05-08 | 에스테 로우더, 인코포레이티드 | 눈 흰자위와 동공의 색을 기반으로 한 디지털 이미지 색 보정 방법 및 시스템 |
JP6876941B2 (ja) * | 2016-10-14 | 2021-05-26 | パナソニックIpマネジメント株式会社 | バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム |
-
2020
- 2020-09-30 US US17/038,538 patent/US20220101405A1/en active Pending
-
2021
- 2021-07-19 JP JP2021118358A patent/JP2022058165A/ja active Pending
- 2021-08-30 EP EP21193711.5A patent/EP3979212A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3979212A1 (en) | 2022-04-06 |
US20220101405A1 (en) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9445087B2 (en) | Systems, devices, and methods for providing products and consultations | |
JP7413400B2 (ja) | 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 | |
KR101140533B1 (ko) | 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법 | |
CN110235169B (zh) | 化妆评价***及其动作方法 | |
US20070058858A1 (en) | Method and system for recommending a product based upon skin color estimated from an image | |
CN108694736B (zh) | 图像处理方法、装置、服务器及计算机存储介质 | |
US11010894B1 (en) | Deriving a skin profile from an image | |
US10892166B2 (en) | System and method for light field correction of colored surfaces in an image | |
WO2023273246A1 (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
JP2021144582A (ja) | メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム | |
US20230022853A1 (en) | Color Image Analysis for Makeup Color Prediction Model | |
US10909351B2 (en) | Method of improving image analysis | |
JP2022058165A (ja) | 肌の明るさを決定するシステム及び方法 | |
JP5203159B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
JP4742068B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
US11682151B2 (en) | System and method for a personalized and accurate virtual make-up try-on | |
KR102334030B1 (ko) | 컴퓨터 장치를 이용한 헤어 염색 방법 | |
JP7335110B2 (ja) | アイメーキャップ商品推奨プログラム、方法、装置、およびシステム | |
KR20200008484A (ko) | 피부 진단을 통한 화장품 추천 시스템 | |
CN111259683A (zh) | 皮肤检测方法及图像处理装置 | |
WO2023194466A1 (en) | Method for recommending cosmetic products using a knn algorithm | |
Jang et al. | Makeup color reproduction based on spectrum data | |
WO2008108771A1 (en) | Capture and systematic use of expert color analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240524 |