CN110709856B - 用于确定表观皮肤年龄的***和方法 - Google Patents
用于确定表观皮肤年龄的***和方法 Download PDFInfo
- Publication number
- CN110709856B CN110709856B CN201880035105.7A CN201880035105A CN110709856B CN 110709856 B CN110709856 B CN 110709856B CN 201880035105 A CN201880035105 A CN 201880035105A CN 110709856 B CN110709856 B CN 110709856B
- Authority
- CN
- China
- Prior art keywords
- image
- skin age
- age
- person
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 78
- 230000001815 facial effect Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 53
- 238000004458 analytical method Methods 0.000 claims description 45
- 230000000873 masking effect Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 description 21
- 210000001061 forehead Anatomy 0.000 description 11
- 210000001331 nose Anatomy 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 9
- 239000002537 cosmetic Substances 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 8
- 210000000214 mouth Anatomy 0.000 description 8
- 210000000887 face Anatomy 0.000 description 7
- 210000004209 hair Anatomy 0.000 description 7
- 230000037303 wrinkles Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 208000012641 Pigmentation disease Diseases 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 3
- 239000006071 cream Substances 0.000 description 3
- 239000007933 dermal patch Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 206010015150 Erythema Diseases 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000003020 moisturizing effect Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009759 skin aging Effects 0.000 description 2
- 208000017520 skin disease Diseases 0.000 description 2
- 206010013786 Dry skin Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000021710 Hyperpigmentation disease Diseases 0.000 description 1
- 239000004909 Moisturizer Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000008278 cosmetic cream Substances 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000037336 dry skin Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 231100000321 erythema Toxicity 0.000 description 1
- 230000036074 healthy skin Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000006210 lotion Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001333 moisturizer Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000019612 pigmentation Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000037075 skin appearance Effects 0.000 description 1
- 230000036555 skin type Effects 0.000 description 1
- 230000037072 sun protection Effects 0.000 description 1
- 230000000475 sunscreen effect Effects 0.000 description 1
- 239000000516 sunscreening agent Substances 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000004383 yellowing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供了用于确定人的表观皮肤年龄并提供定制的皮肤护理产品推荐的***和方法。所述***利用计算装置来掩蔽人的图像中的面部宏观特征,并且然后用卷积神经网络分析所述图像以确定所述人的表观皮肤年龄。确定所述表观皮肤年龄可包括识别指示皮肤年龄的至少一个像素以及利用所述至少一个像素来提供所述表观皮肤年龄。所述***可用于确定人的目标皮肤年龄,确定用于实现所述目标皮肤年龄的护肤产品或护肤方案,并且为用户提供购买所述产品的选项。
Description
技术领域
本专利申请整体涉及用于确定人皮肤的表观年龄的***和方法。更具体地讲,本专利申请涉及图像处理技术和一个或多个卷积神经网络用于更准确地确定消费者的皮肤年龄的用途。
背景技术
皮肤是抵抗环境侵害的第一道防线,否则其将损害敏感的下层组织和器官。此外,皮肤在人的外貌中起到关键作用。一般来讲,大多数人期望看起来更年轻、健康的皮肤。并且对一些人而言,皮肤老化(诸如皮肤变薄、皱纹和老年斑)的明显迹象是对青春消逝的不可取的提醒。因此,在现今重视青春的社会中,治疗皮肤老化迹象的已成为急速发展的行业。疗法范围从美容霜膏和保湿剂到各种形式的美容手术。
虽然各种各样的化妆护肤产品被销售用于治疗皮肤病症,但消费者常常难以确定其应当使用哪种护肤产品。例如,与皮肤看起来更年轻的人相比,皮肤呈现出比他们的实足年龄大的人可需要不同的产品或方案。因此,期望准确地确定人的皮肤的表观年龄。
已进行了多次尝试以通过使用计算机模型/算法分析人的图像(例如,“自拍照”)来确定人的表观皮肤年龄。然后可使用由计算机模型提供的结果向消费者提供皮肤特征(例如,皮肤年龄、水分含量或油性)和/或产品推荐。过去对皮肤年龄建模的尝试依赖于作为驱动计算机模型/预测的主要因素的面部宏观特征(眼部、耳部、鼻部、嘴部等)。然而,基于宏观特征的***可不充分利用驱动消费者的年龄感知的其他皮肤外观线索(例如,微观特征,诸如细纹、皱纹和色素沉着状况),这可导致对表观皮肤年龄的较差预测。
过去对皮肤年龄和/或皮肤状况建模的其他尝试利用了烦琐的设备或技术(例如,固定式照相机、显微镜、交叉偏振光、镜面反射率和/或空间频率分析)。因此,可期望为消费者提供方便使用和/或移动的***,所述***分析皮肤,使得消费者可接收产品和/或护肤方案推荐。
因此,仍然需要一种方便地确定人皮肤的表观年龄的改善的方法,其然后可用于帮助提供定制的护肤产品或方案推荐。
发明内容
本文公开了用于确定人的表观皮肤年龄并向用户提供定制的护肤产品推荐的***和方法。所述***和方法利用计算装置来处理描述人的面部的人的图像,并且然后分析经处理的图像。在处理期间,在图像中识别人的面部,并掩蔽面部宏观特征。分析经处理的图像。确定表观皮肤年龄可包括识别指示皮肤年龄的至少一个像素以及利用至少一个像素来提供表观皮肤年龄。基于由CNN进行的分析,并且任选地由用户提供的其他数据,该***可确定人的表观皮肤年龄和/或为人提供护肤产品或皮肤护理方案。
附图说明
图1示出本发明***的示例。
图2示出了在人的图像中识别的宏观特征。
图3A示出了分割的图像。
图3B示出了界定图像。
图4A至4G示出掩蔽的宏观特征。
图5A至5G示出了掩蔽的宏观特征。
图6B至6G示出了感兴趣的区域。
图7为处理图像的方法的流程图。
图8和图9示出了用于确定表观皮肤年龄的卷积神经网络。
图10至21示出了示例性用户界面。
图22示出了用于提供护肤产品和/或方案推荐的远程计算装置。
图23为向用户提供产品推荐的方法的流程图。
具体实施方式
化妆品行业中已使用多种***和方法来向消费者提供定制的产品推荐。例如,一些熟知的***使用基于宏观特征的分析,其中在捕获的图像诸如数字照片或“自拍照”中检测到通常在人面部的照片中可见的一个或多个宏观特征(例如,眼部、耳部、鼻部、嘴部和/或毛发),并将其与预定义的定义进行比较。然而,基于宏观特征的分析***可不提供对表观皮肤年龄的适当地准确的指示。常规的基于微观特征的***可采用繁琐的设备或技术,所述设备或技术可不适用于普通消费者。
现已发现,用卷积神经网络(“CNN”)掩蔽面部宏观特征并分析面部微观特征可提供对人的表观皮肤年龄的适当准确的确定。基于CNN的图像分析***可被构造成使用相对较少的图像预处理,这减少了***对先前知识和预先确定的定义的依赖,并降低了分析图像所需的计算机存储和/或处理能力。因此,与常规的基于宏观特征的图像分析***相比,本***展示出改善的普遍化,这可导致对使用该***的消费者的更好的护肤产品或方案推荐。
定义
如本文所用,“约”修饰特定值,所提及的范围等于该特定值加或减百分之二十(+/-20%)或更小(例如小于15%,10%,或甚至小于5%)。
“表观皮肤年龄”意指由本文的***基于捕获的图像计算的人皮肤的年龄。
“卷积神经网络”是一种前馈人工神经网络的类型,其中各个神经元被覆盖使得它们对视觉领域中的重叠区域作出响应。
当提及本文***的各种部件时,“耦合”意指各部件彼此电气、电子和/或机械连通。
“设置”意思是一个元件相对于另一个元件被定位在特定位置。
“图像捕获装置”意指能够捕获人的图像的装置,诸如数字相机;
“接合”是指其中通过将一个元件直接附连到另一个元件来使该元件直接固定到另一个元件的构型,以及其中通过将一个元件附连到一个或多个中间构件,继而附连到另一个元件来使该元件间接固定到另一个元件的构型。
“宏观特征”是在人面部上或附近发现的相对较大的身体特征。宏观特征包括但不限于面部形状、耳、眼、嘴、鼻、毛发和眉毛。
“掩蔽”是指采用所具有的RGB值与所关注区域中设置的像素接近或等同的像素,对设置于图像中的宏观特征中和/或接近图像中的宏观特征的像素的至少一部分进行数字替换的过程。
“微观特征”是通常与发现于人面部上的老化皮肤和/或皮肤疾病相关的相对较小的特征。微观特征包括但不限于细纹、皱纹、干燥的皮肤特征(例如皮肤碎屑)、以及色素沉着疾病(例如色素沉着过度病症)。微观特征不包括宏观特征。
“人”意指人类。
“感兴趣的区域”或“RoI”意指图像或图像片段中期望由CNN分析以提供表观皮肤年龄的皮肤的具体界定部分。感兴趣的区域的一些非限制性示例包括图像的一部分,其示出其中宏观特征已被掩蔽的前额、面颊、鼻唇沟、眼下区域或颏。
“分割”是指将图像分成两个或更多个离散的区域以用于分析。
“目标皮肤年龄”意指与表观皮肤年龄相差预先确定的年数的皮肤年龄。
本文中的“用户”是指使用至少本文提供的特征的人,包括例如装置用户、产品用户、***用户等。
本文的***和方法利用多步骤(例如,2步骤、3步骤、4步骤或更多步骤)方法来由该人的图像确定人的表观皮肤年龄。通过使用多步骤方法而不是单步骤方法,其中CNN处理并分析图像或分析全面部图像,CNN可关注驱动年龄感知的重要特征(例如,微观特征),并且减少分析图像所需的计算能力,并且减少可由宏观特征引入***中的偏差。
在第一步骤中,存储在***的存储器部件中的处理逻辑使得***执行下列中的一个或多个(例如,全部):识别图像中的面部以用于分析,将图像归一化,掩蔽所识别的面部上的一个或多个(例如,全部)面部宏观特征,以及将图像分割以用于分析。根据需要,处理步骤可以任何顺序执行。将经处理的图像作为用于分析的一个或多个输入变型提供给卷积神经网络。使用CNN分析的结果以提供每个片段的表观皮肤年龄和/或整个面部的总体皮肤年龄。
图1示出了示例性***10,其用于捕获人的图像,分析图像,确定人的皮肤年龄,以及任选地向用户提供定制的护肤方案和/或产品推荐。***10可包括网络100(例如广域网,诸如移动电话网、公用交换电话网、卫星网络和/或互联网;局域网,诸如无线保真、Wi-Max、ZigBeeTM和/或BluetoothTM;和/或其他合适的连网能力形式)。耦合到网络100的是移动计算装置102、远程计算装置104和训练计算装置108。
移动计算装置102可为移动电话、平板电脑、膝上型计算机、个人数字助理和/或被配置用于捕获、存储和/或传输图像诸如数字照片的其它计算装置。因此,移动计算装置102可包括图像捕获装置103,诸如数字相机,和/或可被配置成从其它装置接收图像。移动计算装置102可包括存储器部件140a,所述存储器部件存储图像捕获逻辑144a和界面逻辑144b。存储器部件140a可包括随机存取存储器(诸如SRAM、DRAM等)、只读存储器(ROM)、寄存器和/或其它形式的计算存储硬件。图像捕获逻辑144a和界面逻辑144b可包括软件部件、硬件电路、固件和/或其他计算基础结构。图像捕获逻辑144a可有利于捕获、存储、预处理、分析、传送和/或执行用户的数字图像上的其他功能。界面逻辑144b可被配置用于向用户提供一个或多个用户界面,所述用户界面可包括问题、选项等。移动计算装置102还可被配置用于经由网络100与其它计算装置通信。
远程计算装置104还可耦合到网络100并且可被配置为服务器(或多个服务器)、个人计算机、移动计算机和/或被配置用于创建、存储和/或训练卷积神经网络的其他计算装置,该卷积神经网络能够通过定位并分析所捕获用户面部的图像中对皮肤年龄作出贡献的皮肤特征来确定用户的皮肤年龄。例如,CNN可作为逻辑144c和144d存储在远程计算装置104的存储器部件140b中。通常感知的皮肤缺陷诸如细纹、皱纹、暗色(老年)斑点、不均匀的皮肤色调、红斑、增大的毛孔、发红、发黄、这些缺陷的组合等均可由经训练的CNN识别为对用户的皮肤年龄作出贡献。
远程计算装置104可包括存储器部件140b,所述存储器部件存储训练逻辑144c、分析逻辑144d和/或处理逻辑144e。存储器部件140b可包括随机存取存储器(诸如SRAM、DRAM等)、只读存储器(ROM)、寄存器和/或其他形式的计算存储硬件。训练逻辑144c、分析逻辑144d和/或处理逻辑144e可包括软件部件、硬件电路、固件和/或其他计算基础结构。训练逻辑144c有利于CNN的创建和/或训练,并且从而可有利于CNN的创建和/或操作。处理逻辑144e使得从移动计算装置102(或其他计算装置)接收的图像被处理,以供分析逻辑144d分析。图像处理可包括宏观特征识别、掩蔽、分割和/或其他图像更改过程,其在下文中有更详细地描述。分析逻辑144d使得远程计算装置104分析经处理的图像以提供表观皮肤年龄、产品推荐等。
在一些情况下,训练计算装置108可耦合到网络100以促进CNN的训练。例如,训练者可经由训练计算装置108向CNN提供面部或皮肤的一个或多个数字图像。训练者还可提供信息和其他指示(例如,实际年龄),以告知CNN哪些评估是正确的以及哪些评估是不正确的。基于来自训练者的输入,CNN可自动地适应,如下文更详细所述。
***10还可包括信息亭计算装置106,其可类似于移动计算装置102操作,但也可能能够分配一个或多个产品和/或以现金或电子交易的形式接收支付。当然,应当理解,本文设想了也提供支付和/或产品分配的移动计算装置102。在一些情况下,信息亭计算装置106和/或移动计算装置102也可被配置为有利于训练CNN。因此,被描绘和/或描述用于移动计算装置102和远程计算装置104的硬件和软件可被包括在信息亭计算装置106、训练计算装置108和/或其他装置中。类似地,对于图21中的远程计算装置2104所描绘和/或描述的硬件和软件可包括在移动计算装置102、远程计算装置104、信息亭计算装置106和训练计算装置108中的一个或多个中。
还应当理解,尽管图1中将远程计算装置104描绘为执行图像处理和图像分析,但是这仅仅是一个示例。图像处理和/或图像分析可根据需要由任何合适的计算装置执行。
图像处理
在本文图像分析过程的第一步骤中,本发明的***接收包含至少一个人面部的图像,并准备图像以供CNN分析。图像可从任何合适的源接收,例如包括数字照相机的智能电话。可能期望使用能够产生至少一兆像素的图像并以电子方式将图像传输至可访问合适的图像处理逻辑和/或图像分析逻辑的一个或多个计算装置的相机。
一旦接收到图像,处理逻辑就识别图像中包含人面部的一个或多个部分。处理逻辑可被构造成使用本领域已知的任何合适的技术来检测图像中存在的一个或多个人面部,例如颜色和/或颜色对比技术、移除单色背景特征、使用几何模型或Hausdorff距离的基于边缘的技术、弱级联技术或这些技术的组合。在一些情况下,可能特别期望使用Viola-Jones型的弱级联技术,其由Paul Viola和Michael Jones在“International Journal ofComputer Vision”57(2),137-154,2004中描述。
在一些情况下,由本发明***接收的图像可包含多于一个面部,但用户可能不希望分析图像中的所有面部。例如,用户可仅希望分析寻求与皮肤护理治疗和/或产品相关的建议的人的面部。因此,本发明的***可被构造成仅选择一个或多个期望的图像以用于分析。例如,处理逻辑可基于面部在图像中的相对位置(例如,中心)、面部的相对尺寸(例如,最大“矩形”)或这些的组合来选择主要面部以用于分析。另选地或除此之外,本发明的***可查询用户以确认由处理逻辑所选择的面部是正确的和/或要求用户选择一个或多个面部以用于分析。本领域已知的任何合适的用户界面技术可用于查询用户和/或使用户能够选择存在于图像中的一个或多个面部。
一旦选择一个或多个适当的面部用于进一步处理,该处理逻辑就检测一个或多个面部标志(例如,眼部、鼻部、嘴部或它们的部分),其可用作锚定特征(即,处理逻辑可使用以将图像归一化和/或分割的参考点)。在一些情况下,处理逻辑可创建将面部与图像的其余部分隔离的边界框。以这种方式,可移除背景对象、不可取的宏观特征和/或图像中可见的其他身体部分。可使用已知的标志检测技术(例如,Viola-Jones或面部形状/尺寸识别算法)来检测感兴趣的面部标志。
图2示出了标志检测技术的示例,其中眼部202、鼻部204和嘴角206由处理逻辑来识别以用作锚定特征。在该示例中,将图像归一化可包括旋转图像和/或缩放图像的尺寸以减少图像之间的可变性。
图3A示出了将图像300分割成离散区域以用于后续处理和/或分析的示例。在一些情况下,分割图像300可经由移动计算装置呈现给用户,如图3A所示。然而,在一些情况下,分割图像可仅是图像处理的一部分并且不向用户显示。如图3A所示,将图像分割成6个片段,所述片段包括前额片段301、左和右眼片段302和303、左和右面颊/鼻唇沟片段304和305、以及颏片段306。在一些情况下,可将图像分割和/或将两个或更多个片段组合以反映通常用于分析化妆品工业中的皮肤的区域,例如所谓的T区或U区。在化妆品工业中,T区一般被认为是侧向延伸穿过前额并且从大约前额的中间纵向延伸到鼻部末端或颏底部的面部部分。T区被如此命名,因为其类似于大写字母T。U区通常被识别为纵向向下延伸一个面颊,侧向穿过颏,然后向上(纵向)延伸回到另一个面颊的面部部分。U区被如此命名,因为其类似于字母U。
面部分割可例如通过任务受限深度卷积网络(TCDCN)或其他合适的技术来进行,如本领域的技术人员已知的。将面部图像分割允许分析逻辑为每个片段提供表观年龄,这可能是重要的,因为已知一些片段比其他片段更多地影响总体皮肤年龄感知。因此,可对每个片段进行加权,以反映该片段对皮肤年龄感知的影响。在一些情况下,处理逻辑可使***缩放分割图像,使得面部图像的全高度(即,从颏底部到前额顶部的距离)不超过特定值(例如,介于700像素和800像素之间,介于700像素和750像素之间,或甚至约716像素)。
图3B示出了在边界框320中界定图像310的示例。边界框320可从颏底部纵向延伸到前额顶部,并且从一个镜腿侧向延伸至另一个镜腿。边界框320的尺寸可被设定成移除背景对象、宏观特征或其一部分(例如,毛发、耳部),和/或可存在于图像中的其他身体对象中的全部或一部分(例如,颈部、胸部、肩部、臂或前额)。当然,本文设想了所有尺寸的边界框。界定可在图像分割之前、之后或与图像分割同时发生。在一些情况下,边界框320和/或界定图像310可经由移动计算装置呈现给用户,如图3B所示,但不一定如此。
重要的是防止面部宏观特征污染通过CNN进行的皮肤年龄分析。如果不掩蔽面部宏观特征,则CNN可学会由宏观特征线索而不是微观特征线索(诸如细纹和皱纹)来预测人的皮肤年龄,已知这在人们如何感知皮肤年龄方面具有更大的影响。这可通过以数字方式改变图像以移除面部微观特征(诸如细纹、皱纹和色素沉着疾病)并观察到由***提供的表观年龄不变来证明。屏蔽可在图像被分割和/或限定之前和/或之后发生。在本发明***中,掩蔽可通过用具有均匀的非零(即,黑色)、非-255(即,白色)RGB值的像素替换面部宏特征中的像素来实现。例如,可能期望用具有感兴趣的区域中的皮肤的中值RGB值的像素替换宏观特征中的像素。不受理论的限制,据信通过用均匀着色的像素或非描述性像素掩蔽面部宏观特征,CNN将学会使用不是宏观特征的特征(例如,面部微观特征,诸如细纹和皱纹)来预测年龄。本文中的掩蔽可使用本领域已知的任何合适的掩蔽方式来实现,例如品牌计算机软件。
即使在如上所述掩蔽面部宏观特征时,复杂的卷积神经网络仍可基于“幻像”宏观特征来学习以预测皮肤年龄。换句话讲,神经网络仍可学会识别中值RGB像素的图案的差异,因为该图案通常对应于掩蔽的面部宏观特征的尺寸和/或位置。然后,CNN可将图案差异应用于其年龄预测分析。为了避免该问题,重要的是将多于一个经处理的图像的输入变型(例如,2个、3个、4个、5个、或6个、或更多个)用于CNN。通过改变将掩蔽的宏观特征呈现给CNN的方式,不受理论的束缚,据信CNN较不容易学会使用中值RGB像素图案中的差异来预测皮肤年龄。
图4A至4G示出了第一输入变型的示例,其中面部图像被分割成六个离散区域,并且然后掩蔽每个片段中的宏观特征以提供期望的感兴趣区域。在该示例中,处理逻辑使得图像片段中与宏观特征(例如,眼部、鼻部、嘴部、耳部、眉毛、毛发)相关联的所有像素均被位于相关感兴趣的区域(例如,图像中不包括宏观特征的一部分)中的所有像素的中值RGB颜色空间值填充。图4B示出了如何在前额片段中掩蔽眼部和/或眉毛以提供前额RoI。图4C和4D示出了如何在眼下片段中掩蔽眼部、眉毛、鼻部、面颊和毛发以提供眼下RoI。图4E和图4F示出了如何在脸颊/鼻唇沟片段中掩蔽鼻部、嘴部和毛发以提供面颊/鼻唇沟RoI。图4G示出了如何在颏片段中掩蔽嘴部以提供颏RoI。图4A示出了当将单独掩蔽的片段组合并且通过边界框移除背景特征时,掩蔽特征将如何呈现在整个面部的图像上。
图5A至5G示出了第二输入变型的示例。在该示例中,处理逻辑使得与面部的未分割图像(“全面部”)中的宏观特征相关联的所有像素均被设置在感兴趣的区域中的所有像素的中值RGB值填充。然后,处理逻辑可使得被掩蔽的全面部图像被分割,例如,如上所述。图5A示出了其中某些宏观特征被掩蔽并且背景特征被边界框移除的全面部图像。图5B至5G示出了当图5A的被掩蔽的全面部图像被分割时,每个感兴趣的区域如何呈现。当图4A至4G与图5A至5G中的相对物进行比较时,全面部图像和各个感兴趣的区域两者彼此在一定程度上不同。
图6A至6G示出第三输入变型的示例。在该示例中,处理逻辑使得***识别全面部图像中感兴趣的区域,并且然后将图像分割成包括感兴趣的区域的六个离散区域。图6A示出了其中鼻子被用作锚定特征并且识别六个图像片段的全面部图像。图6B-6G示出了从每个图像片段提取的感兴趣的区域。图6B示出了前额RoI,图6C和6D各自示出了眼下RoI;图6F和6F各自示出了面颊/鼻唇沟RoI;并且图6G示出了颏RoI。
在一些情况下,可能期望仅选择感兴趣的特定区域的一部分以用于由CNN进行分析。例如,可能期望选择设置在感兴趣的区域的中心内和/或周围的皮肤贴片,并且将所选择的皮肤贴片缩放至均匀的尺寸。继续该示例,可从每个感兴趣的区域的中心提取仅皮肤区域的最大矩形,并且将其重新缩放成256像素x 256像素皮肤贴片。
图7示出了本文的方法和***的图像处理流程700。在框702中,由***接收图像。在框704中,处理逻辑使得所接收的图像中的一个或多个面部被检测或选择以用于进一步处理。在框706中,处理逻辑使得标志特征在检测的或选择的面部中被检测到。在框708中,处理逻辑使得图像归一化。在框710A和710B中,处理逻辑使得图像被分割并且每个片段中的宏观特征被掩蔽,作为第一输入变型710的一部分。在框711A和711B中,处理逻辑使得归一化图像中的宏观特征被掩蔽,并且然后被分割作为第二输入变型711的一部分。在框712A和框712B中,处理逻辑使得***识别感兴趣区域以用于由CNN进行分析,并且然后将图像分割作为第三输入变型712一部分。在框714中,处理逻辑使得每个感兴趣区域的一部分被提取并且缩放至合适的尺寸。
卷积神经网络
本文的***和方法使用经训练的卷积神经网络,所述卷积神经网络用作生物信息学模拟皮肤模型,以通过分析人皮肤(例如,面部皮肤)的图像来向用户提供表观皮肤年龄。CNN包括多层神经元集合,所述神经元集合在层中对每个像素使用相同的滤波器。对部分和完全连接的层的各种组合中的每个像素使用相同的滤波器降低***的内存和处理要求。在一些情况下,CNN包括多个深度网络,所述深度网络被训练并且作为离散卷积神经网络对具体图像片段和/或感兴趣的区域起作用。
图8示出用于本文的CNN800构造的示例。如图8中所示,CNN 800包括四个单独的深度网络,以用于分析各个感兴趣区域或其一部分,其在该示例中为感兴趣的前额、眼下区域、面颊/鼻唇沟、以及颏区域的部分。当然,应当理解,CNN可根据需要包括更少的深度网络或更多的深度网络。来自每个深度网络的图像分析结果可用于提供其各自感兴趣区域的表观皮肤年龄和/或可被级联以提供总体表观皮肤年龄。
本文的CNN可使用深度学习技术进行训练,所述技术允许CNN了解图像的哪些部分对皮肤年龄作出贡献,与哺乳动物视觉皮层学习来识别图像中的重要特征的方式非常相同。例如,CNN可被训练成确定对人的皮肤年龄作出贡献的像素的位置、颜色和/或色度(例如,明度或暗度)。在一些情况下,CNN训练可涉及使用带有Nesterov动量(和/或其它算法)的微型批量随机梯度下降(SGD)。利用随机梯度下降的示例公开于US 8,582,807中。
在一些情况下,可通过提供从其中了解大量捕获的图像的未经训练CNN来训练CNN。在一些情况下,CNN可学会通过称为监督学习的过程来识别图像中对皮肤年龄作出贡献的皮肤部分。“监督学习”通常是指通过分析其中图像中的人的年龄被预定的图像来训练CNN。根据期望的准确度,训练图像的数量可从少量图像变化到大量图像(例如,数百或甚至数千),以连续输入图像(即,提供连续训练)。
本文的***和方法利用经训练的CNN,所述经训练的CNN能够准确地预测各种各样的皮肤类型的用户的表观年龄。为了生成表观年龄,正在通过经训练的CNN前向传播感兴趣的区域(例如,得自人面部的图像)或其部分的图像。CNN分析图像或图像部分并识别图像中对用户的预测年龄作出贡献的皮肤微观特征(“问题点”)。然后,CNN使用该问题点来提供感兴趣的区域的表观皮肤年龄和/或总体表观皮肤年龄。
在一些情况下,输入到CNN的图像可能不适用于分析,例如,由于遮挡(例如,毛发覆盖了图像的一部分的,遮蔽了感兴趣的区域)。在这些情况下,CNN或其他逻辑可在通过CNN分析之前丢弃图像,或者在生成表观年龄之前丢弃CNN分析的结果。
图9示出了用于本发明***的卷积神经网络900的示例。CNN 900可包括经输入的图像905(例如,所关注的区域或其部分)、一个或多个卷积层C1,C2、一个或多个二次采样层S1和S2、一个或多个部分连接层、一个或多个完全连接层以及输出。为了开始分析或训练CNN,将图像905输入到CNN 900(例如,用户图像)中。CNN可对图像的一个或多个部分进行采样以在第一卷积层C1中创建一个或多个特征图。例如,如图9所示,CNN可对图像905的六个部分进行采样以在第一卷积层C1中创建六个特征图。接下来,CNN可对第一卷积层C1中的一个或多个特征图的一个或多个部分进行二次采样以创建第一二次采样层S1。在一些情况下,特征图的二次采样部分可以是特征图的一半区。例如,如果特征图包括来自图像905的29×29像素的样本区,则二次采样区可为14×14像素。CNN 900可执行一个或多个另外级别的采样和二次采样,以提供第二卷积层C2和第二二次采样层S2。应当理解,根据需要,CNN900可包括任意数量的卷积层和二次采样层。在完成最终二次采样层(例如,图9中的层S2)后,CNN900生成完全连接的层F1,其中每个神经元连接到每个其他神经元。从完全连接的层F1,CNN可生成输出,诸如预测年龄或热图。
在一些情况下,本发明的***可确定该人的目标皮肤年龄(例如,人的表观年龄减去预先确定的年数(例如,10年、9年、8年、7年、6年、5年、4年、3年、2年或1年))或实际年龄。***可使得目标年龄作为梯度传播回原始图像。然后可针对至少一个像素对梯度的多个通道的绝对值进行求和并且出于可视化目的从0至1进行缩放。缩放的像素的值可表示对确定用户的皮肤年龄作出最大(和最小)贡献的像素。可对每个缩放值(或值范围)分配颜色或色度,使得可生成虚拟掩模以用图形表示像素的缩放值。在一些情况下,CNN分析(任选地与用户提供的习惯和做法输入结合)可用于帮助提供护肤产品和/或方案推荐。
图10示出用于捕获用户图像和提供定制的产品推荐的示例性用户界面1030。如图所示,移动计算装置1002可提供用于捕获用户图像的应用程序。因此,图10示出移动计算装置1002上用于开始捕获图像和提供定制的产品推荐的过程的介绍性页面。用户界面1030还包括用于开始过程的开始选项1032。
图11示出了示例性用户界面1130,其示出了被分析用于向本发明***的用户提供表观皮肤年龄和/或定制产品推荐的图像。响应于从图10中选择开始选项1032,可提供用户界面1130。如图所示,图像捕获装置103可用于捕获用户的图像。在一些实施方案中,用户可利用先前捕获的图像。无论如何,在捕获图像时,图像可提供在用户界面1130中。如果用户不希望利用图像,则用户可重新拍摄图像。如果用户核准图像,则用户可选择下一个选项1132来开始分析图像并继续进行到下一个用户界面。
图12示出用于向用户提供调查表以帮助定制产品推荐的示例性用户界面1230。如图所示,用户界面1230可提供用于确定关于用户的附加细节的一个或多个问题,包括产品偏好、当前方案等。例如,所述问题可包括用户是否利用保湿霜与防晒霜。可以提供一个或多个预定义的回答1232以供用户从中选择。
图13示出用于提供调查表的附加提示的示例性用户界面1330。响应于从图12的用户界面1230输入所请求的数据,可提供用户界面1330。如图所示,用户界面1330提供另一个问题(诸如用户是否偏爱有香味的护肤产品)以及三个预定义的回答1332供用户从中选择。也可提供提交选项1334用于提交所选择的一个或多个回答。应当理解,虽然图13和14提供了两个问题,但根据具体实施方案,可向用户提供任何数量的问题。问题和问题数可取决于用户的实际年龄,所述年龄可通过本文例示的一个或多个步骤中输入,取决于用户的皮肤年龄和/或其他因素。
图14示出基于捕获的图像,提供用户的皮肤年龄的示例性用户界面1430。响应于完成图13和14的调查表,可提供用户界面1430。如图所示,用户界面1430可提供用户的皮肤年龄和具有至少一个识别符1432的捕获的图像,以指示哪个(哪些)感兴趣的区域对由CNN提供的表观皮肤年龄作出贡献。在一些情况下,***还可提供对由CNN提供的表观皮肤年龄作出贡献的感兴趣区域的列表1434。也可提供说明书1436,以及用于查看定制的产品推荐的产品推荐选项1438。
图15示出了用于显示图像分析的结果的另一示例性用户界面1530。用户界面1530可包括结果部分1532,其指示分析是成功的还是在过程中遇到了问题(例如,图像质量较差)。用户界面1530可包括产品推荐选项(未示出)。除此之外或另选地,结果部分1532可向用户显示出总体表观皮肤年龄和/或每个感兴趣的区域的表观皮肤年龄。用户界面1530可向用户呈现年龄输入选项1536。还可提供附加的预测选项1538。
图16示出用于提供产品推荐的示例性用户界面1630。响应于用户对产品推荐选项的选择,可提供用户界面1630。如图所示,用户界面1630可提供基于用户年龄、对用户的表观皮肤年龄作出贡献的感兴趣区域,和/或目标年龄(例如,表观皮肤年龄和/或实际用户年龄减去预先确定的年数)确定的一个或多个推荐产品。具体地,可将至少一种产品确定为适用于设置在对用户的表观皮肤年龄贡献最大的感兴趣区域中的皮肤。例如,可推荐乳霜、保湿霜、洗液、防晒霜、洁面乳等。还提供了用于提供推荐方案的方案选项1632。还可提供购买选项1634。
图17示出用于提供产品推荐的细节的示例性用户界面1730。响应于从图16选择方案选项1632,可提供用户界面1730。如图所示,用户界面1730可提供产品选项1732和用于在用户美容方案中使用推荐产品的时间表选项1734。可在部分1736中提供与美容方案的第一阶段相关的附加信息。类似地,可在部分1738中提供与方案的第二阶段和/或后续阶段相关的数据。
图18示出了提供推荐的美容方案的示例性用户界面1830。响应于从图17选择时间表选项1734,可提供用户界面1830。用户界面1830可提供推荐产品的列表以及时间表,包括方案的时间表细节。具体地,用户界面1830可提供可提供产品的当日时间。细节选项1834可向用户提供关于产品和方案的附加细节。
图19示出用于提供与美容方案和其中所用的产品相关联的附加细节的示例性用户界面1930。可响应于从图18选择细节选项1834来提供用户界面1930。如图所示,用户界面1930可提供关于产品、应用技巧等的细节。在一些情况下,可提供“背后的科学”选项1932、1936和“如何展示”选项1934、1938。响应于选择背后的科学选项1932、1936,可提供关于推荐产品和施用方案的细节。响应于选择如何展示选项1934、1938,可提供音频和/或视频来向用户指示施用产品的策略。类似地,方案的后续部分(诸如图19中所示的步骤2)也可包括背后的科学选项1932、1936和如何展示选项1934、1938。
图20示出了用于提供与所确定的方案相关的推荐的示例性用户界面2030。响应于选择购买选项1634(图16),可提供用户界面2030。如图所示,用户界面2030包括购买一个或多个推荐产品的购买选项2032、2034、2036。用户界面2030还可提供添加到购物车选项2038和更多商店选项2040。
图21示出了用于向用户时间线提供产品推荐的示例性用户界面2130。如图所示,用户界面2130可提供已向用户的时间线添加一个或多个推荐产品的通知。在购买产品时(例如,经由来自图19的用户界面1930),可将所购买的产品添加到推荐的用户方案。因此,通知可包括接受选项2132和视图时间线选项2134。
图22示出了根据本文所述的实施方案,用于提供定制的护肤产品和/或方案推荐的远程计算装置2204的部件。远程计算装置2204包括处理器2230、输入/输出硬件2232、网络接口硬件2234、数据存储部件2236(其存储图像数据2238a、产品数据2238b和/或其他数据)以及存储器部件2240b。存储器部件2240b可被构造成易失性和/或非易失性存储器,并且因此可包括随机存取存储器(包括SRAM、DRAM和/或其他类型的RAM)、闪存存储器、安全数字(SD)存储器、寄存器、光盘(CD)、数字通用盘(DVD)、和/或其他类型的非暂态计算机可读介质。取决于具体实施方案,这些非暂态计算机可读介质可驻留在远程计算装置2204内,和/或驻留在远程计算装置2204的外部。
存储器部件2240b可存储操作逻辑2242、处理逻辑2244b、训练逻辑2244c以及分析逻辑2244d。训练逻辑2244c、处理逻辑2244b和分析逻辑2244d可各自包括多个不同的逻辑块,其中每一个逻辑块可被体现为例如计算机程序、固件和/或硬件。图22中还包括本地通信接口2246,并且所述本地通信接口可被实施为总线或其他通信接口以促进在远程计算装置2204的部件之间进行通信。
处理器2230可包括可操作以接收并执行指令(诸如来自数据存储部件2236和/或存储器部件2240b)的任何处理部件。如上所述,输入/输出硬件2232可包括图22的部件和/或被构造成与图22的部件交接。
网络接口硬件2234可包括任何有线或无线联网硬件和/或被构造成与任何有线或无线联网硬件进行通信,包括天线、调制解调器、LAN端口、无线保真(Wi-Fi)卡、WiMax卡、BluetoothTM模块、移动通信硬件和/或用于与其他网络和/或装置通信的其他硬件。通过该连接,可促进远程计算装置2204与其他计算装置(诸如图1中所示的计算装置)之间的通信。
操作***逻辑2242可包括操作***和/或用于管理远程计算装置2204的部件的其他软件。如上文所讨论的,训练逻辑2244c可驻留在存储器部件2240b中,并且可被构造成使得处理器2230训练卷积神经网络。处理逻辑2244b还可驻留在存储器部件2244b中并且被构造成在由分析逻辑2244d分析之前处理图像。类似地,分析逻辑2244d可用于分析用于皮肤年龄预测的图像。
应当理解,虽然图22中的部件被示出为驻留在远程计算装置2204内,但这仅仅是一个示例。在一些实施方案中,一个或多个部件可驻留在远程计算装置2204外部,和/或远程计算装置2204可被构造成移动装置。还应当理解,虽然远程计算装置2204被示出为单一装置,但是这也仅仅是一个示例。在一些实施方案中,训练逻辑2244c、处理逻辑2244b和/或分析逻辑2244d可驻留在不同计算装置中。例如,本文描述的一个或多个功能和/或部件可由移动计算装置102和/或可通信地耦合到远程计算装置104的其它装置来提供。这些计算装置还可包括用于执行在本文描述的功能的硬件和/或软件。
另外,虽然远程计算装置2204被示出为具有作为单独逻辑部件的训练逻辑2244c、处理逻辑2244b和分析逻辑2244d,但是这也是一个示例。在一些实施方案中,单个逻辑块可使得远程计算装置2204提供所述功能。
图23示出了用于提供定制产品推荐的流程图。在框2350中,可捕获用户图像。在框2352中,处理所捕获的图像以用于分析。在框2354中,向用户提供问题。在框2356中,从用户接收对问题的回答。在框2358中,由CNN分析图像。在框2360中,向用户提供表观皮肤年龄。在框2361中,可生成任选的皮肤特征。任选的皮肤特征可包括(例如)一个或多个感兴趣的区域的年龄、皮肤状况、或特定感兴趣区域对总体皮肤年龄的影响。在框2362中,向用户提供定制的产品推荐。
在一些情况下,本文所述的图像和其它数据中的至少一些可存储为历史数据供稍后使用。例如,可基于此历史数据来确定用户进展跟踪。根据需要,还可对该历史数据执行其他分析。
本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反,除非另外指明,否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如,公开为“40mm”的量纲旨在表示“约40mm”。
除非明确排除或以其它方式限制,本文中引用的每一篇文献,包括任何交叉引用或相关专利或专利申请以及本申请对其要求优先权或其有益效果的任何专利申请或专利,均据此全文以引用方式并入本文。对任何文献的引用不是对其作为与本发明的任何所公开或本文受权利要求书保护的现有技术的认可,或不是对其自身或与任何一个或多个参考文献的组合提出、建议或公开任何此类发明的认可。此外,当本发明中术语的任何含义或定义与以引用方式并入的文献中相同术语的任何含义或定义矛盾时,应当服从在本发明中赋予该术语的含义或定义。
虽然已举例说明和描述了本发明的具体实施方案,但是对于本领域技术人员来说显而易见的是,在不脱离本发明的实质和范围的情况下可作出多个其它变化和修改。因此,本文旨在于所附权利要求中涵盖属于本发明范围内的所有此类变化和修改。
Claims (18)
1.一种用于确定人的表观皮肤年龄的***,所述***包括:具有其上存储的逻辑的非暂态计算机可读存储介质,其中所述逻辑使所述***
a)接收包括人面部的数字图像;
b)处理所述数字图像以用于分析,其中处理包括将所述人面部定位在所述数字图像中、将所述图像分割成两个或更多个图像片段以及掩蔽存在于所述面部上的至少一个宏观特征;
c)使用包括用于每个图像片段的离散深度神经网络的卷积神经网络(CNN)分析经处理的图像,其中所述分析包括在每个图像片段的感兴趣的区域中识别设置在指示所述人的皮肤年龄的面部微观特征中的至少一个像素;
d)基于对每个深度神经网络的所述分析来使用上述CNN确定所述人的总体表观皮肤年龄;以及
e)在对用户可见的显示装置上显示所述总体表观皮肤年龄。
2.根据权利要求1所述的***,进一步包括耦合到计算机的图像捕获装置,其中所述数字图像由所述图像捕获装置捕获并由所述计算机接收。
3.根据前述权利要求1所述的***,其中掩蔽所述宏观特征包括用具有设置在感兴趣的区域中的皮肤的中值RGB值的像素替换所述面部宏观特征中的像素。
4.根据权利要求1所述的***,其中使用来自每个深度神经网络每种分析的结果来确定该感兴趣的区域的表观皮肤年龄。
5.根据权利要求4所述的***,其中将来自所有所述深度神经网络分析的结果级联以提供总体表观皮肤年龄。
6.根据前述权利要求1所述的***,其中处理所述图像进一步包括向所述CNN提供两个或更多个输入变型。
7.根据权利要求6所述的***,其中所述图像被分割并且随后所述宏观特征被掩蔽以提供第一输入变型。
8.根据权利要求7所述的***,其中所述宏观特征被掩蔽并且随后所述图像被分割以提供第二输入变型。
9.一种用于确定人的表观皮肤年龄的方法,包括:
a)接收人的图像,其中所述图像包括所述人的面部的至少一部分;
b)使用计算机处理所述图像,其中处理所述图像包括表示所述图像中包括所述面部的部分,
将所述图像分割成两个或更多个图像片段以及掩蔽所述面部的宏观特征;
c)使用包括用于存储在所述计算机的存储器组件上的每个图像片段的离散深度神经网络的卷积神经网络(CNN)分析所述图像以提供表观皮肤年龄,其中分析所述图像包括在每个图像片段的感兴趣的区域中识别指示皮肤年龄的至少一个像素以及利用来自每个图像片段的所述至少一个像素来提供总体表观皮肤年龄;以及
d)在对用户可见的显示装置上显示所述总体表观皮肤年龄。
10.根据权利要求9所述的方法,进一步包括耦合到计算机的图像捕获装置,其中所述图像由所述图像捕获装置捕获并由所述计算机接收。
11.根据权利要求9所述的方法,其中掩蔽所述宏观特征包括用具有设置在感兴趣的区域中的皮肤的中值RGB值的像素替换所述面部宏观特征中的像素。
12.根据权利要求9所述的方法,其中使用来自每个深度神经网络每种分析的结果来确定该感兴趣的区域的表观皮肤年龄。
13.根据权利要求12所述的方法,进一步包括将来自所有所述深度神经网络分析的结果级联以提供总体表观皮肤年龄。
14.根据权利要求9所述的方法,其中处理所述图像进一步包括向所述CNN提供两个或更多个输入变型。
15.根据权利要求14所述的方法,其中所述图像被分割并且随后所述宏观特征被掩蔽以提供第一输入变型。
16.根据权利要求15所述的方法,其中通过将所述图像分割并且然后掩蔽所述宏观特征来提供第一输入变型,并且通过掩蔽所述宏观特征并且然后将所述图像分割来提供第二输入变型。
17.一种用于确定人的表观皮肤年龄的***,包括:具有其上存储的逻辑的非暂态计算机可读存储介质,其中所述逻辑使所述***:
a)接收包括人面部的数字图像;
b)处理所述数字图像以用于分析,其中处理包括将所述人面部定位在所述数字图像中以及掩蔽存在于所述面部上的至少一个宏观特征;
c)将所述数字图像分割成两个或更多个图像片段;
d)缩放经分割的数字图像,使得所述面部图像的全高度不超过800像素;
e)将所述数字图像界定在边界框中以移除背景特征和宏观特征中的至少一者;
f)使用包括用于每个图像片段的离散深度神经网络的卷积神经网络(CNN)分析经处理的图像,其中每个深度神经网络被训练以识别设置在指示所述人的皮肤年龄的面部微观特征中的至少一个像素,并且其中每个离散神经网络生成其相应图像片段中的感兴趣的区域的表观皮肤年龄;
g)基于来自每个深度神经网络的所述表观皮肤年龄来使用所述CNN确定所述人的总体表观皮肤年龄;以及
e)在对用户可见的显示装置上显示所述总体表观皮肤年龄。
18.根据权利要求17所述的***,其中使用Viola-Jones型的弱级联技术来在所述数字图像中定位所述人面部。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762513186P | 2017-05-31 | 2017-05-31 | |
US62/513,186 | 2017-05-31 | ||
PCT/US2018/035291 WO2018222808A1 (en) | 2017-05-31 | 2018-05-31 | Systems and methods for determining apparent skin age |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110709856A CN110709856A (zh) | 2020-01-17 |
CN110709856B true CN110709856B (zh) | 2023-11-28 |
Family
ID=62713101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880035105.7A Active CN110709856B (zh) | 2017-05-31 | 2018-05-31 | 用于确定表观皮肤年龄的***和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10818007B2 (zh) |
EP (1) | EP3631679B1 (zh) |
JP (1) | JP6849825B2 (zh) |
KR (1) | KR102297301B1 (zh) |
CN (1) | CN110709856B (zh) |
WO (1) | WO2018222808A1 (zh) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3015492C (en) | 2016-03-21 | 2021-11-23 | The Procter & Gamble Company | Systems and methods for providing customized product recommendations |
US20180190377A1 (en) * | 2016-12-30 | 2018-07-05 | Dirk Schneemann, LLC | Modeling and learning character traits and medical condition based on 3d facial features |
CN110678875B (zh) | 2017-05-31 | 2023-07-11 | 宝洁公司 | 用于引导用户拍摄自拍照的***和方法 |
US10990858B2 (en) * | 2018-01-05 | 2021-04-27 | L'oreal | Machine-implemented facial health and beauty assistant |
CN110740252A (zh) * | 2018-07-20 | 2020-01-31 | 华为技术有限公司 | 一种图像获取的方法、装置及终端 |
WO2020113326A1 (en) | 2018-12-04 | 2020-06-11 | Jiang Ruowei | Automatic image-based skin diagnostics using deep learning |
US12016696B2 (en) * | 2019-01-04 | 2024-06-25 | Stella Surgical | Device for the qualitative evaluation of human organs |
US11961224B2 (en) * | 2019-01-04 | 2024-04-16 | Stella Surgical | Device for the qualitative evaluation of human organs |
US20200265937A1 (en) * | 2019-02-19 | 2020-08-20 | Johnson & Johnson Consumer Inc. | Use of artificial intelligence to identify novel targets and methodologies for skin care treatment |
EP3959724A1 (en) | 2019-04-23 | 2022-03-02 | The Procter & Gamble Company | Apparatus and method for visualizing cosmetic skin attributes |
EP3959651A1 (en) | 2019-04-23 | 2022-03-02 | The Procter & Gamble Company | Apparatus and method for determining cosmetic skin attributes |
JP7341310B2 (ja) * | 2019-07-10 | 2023-09-08 | ジャン・ルオウェイ | 皮膚分析のための画像処理、皮膚分析を視覚化するためのシステム及び方法 |
WO2021003574A1 (en) * | 2019-07-10 | 2021-01-14 | Jiang Ruowei | Systems and methods to process images for skin analysis and to visualize skin analysis |
US20210056357A1 (en) * | 2019-08-19 | 2021-02-25 | Board Of Trustees Of Michigan State University | Systems and methods for implementing flexible, input-adaptive deep learning neural networks |
EP4038571A1 (en) * | 2019-10-03 | 2022-08-10 | Prieto, Pablo | Detection and treatment of dermatological conditions |
US11657481B2 (en) * | 2019-11-18 | 2023-05-23 | Shinyfields Limited | Systems and methods for selective enhancement of skin features in images |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
KR102264315B1 (ko) | 2020-01-09 | 2021-06-14 | 한국에스케이에프씰 주식회사 | 다회전 절대위치 검출 토크앵글센서 모듈 |
US10811138B1 (en) * | 2020-03-11 | 2020-10-20 | Memorial Sloan Kettering Cancer Center | Parameter selection model using image analysis |
KR102167185B1 (ko) * | 2020-03-18 | 2020-10-19 | 이승락 | 피부 테스트 방법 및 이를 이용한 화장료 조성물 제조방법 |
FR3108250A1 (fr) * | 2020-03-23 | 2021-09-24 | Ieva | Procede de determination d’un rituel beaute, dermatologique ou capillaire, associe a un utilisateur specifique |
CN111582057B (zh) * | 2020-04-20 | 2022-02-15 | 东南大学 | 一种基于局部感受野的人脸验证方法 |
CN113761985A (zh) * | 2020-06-05 | 2021-12-07 | 中国科学院上海营养与健康研究所 | 用于确定影响面部衰老程度的局部区域的方法和装置 |
US20220122354A1 (en) * | 2020-06-19 | 2022-04-21 | Pinterest, Inc. | Skin tone determination and filtering |
KR20230028481A (ko) * | 2020-06-30 | 2023-02-28 | 로레알 | 공간 인식 조건부 gan들을 이용하는 고해상도 제어가능한 얼굴 노화 |
CN111767858B (zh) * | 2020-06-30 | 2024-03-22 | 北京百度网讯科技有限公司 | 图像识别方法、装置、设备和计算机存储介质 |
KR20220055018A (ko) | 2020-10-26 | 2022-05-03 | 딤포 몰라테리 | 안면 이미지에 기초하여 제품 추천을 제공하는 방법 및 장치 |
JP2024502777A (ja) * | 2020-12-23 | 2024-01-23 | ロレアル | モデル推定クラス埋め込みによる連続効果の適用 |
FR3118241A1 (fr) * | 2020-12-23 | 2022-06-24 | L'oreal | Application d’un effet continu via des incorporations de classe estimée par le modèle |
FR3125407A1 (fr) * | 2021-07-23 | 2023-01-27 | L'oreal | Prédiction de résultats de traitement de vieillissement sur la base d’un âgéotype |
JP2024515603A (ja) * | 2021-04-30 | 2024-04-10 | ロレアル | 皮膚エイジオタイプに基づく皮膚エイジングトリートメントの成果の予測 |
EP4341851A1 (en) * | 2021-05-20 | 2024-03-27 | ICA Aesthetic Navigation GmbH | Computer-based body part analysis methods and systems |
KR102406377B1 (ko) * | 2021-08-13 | 2022-06-09 | 주식회사 에이아이네이션 | 인공지능 기반의 얼굴 부분별 화장 트랜스퍼 정도 조절이 가능한 가상 화장 방법 및 장치 |
KR102465456B1 (ko) * | 2021-08-13 | 2022-11-11 | 주식회사 에이아이네이션 | 인공지능 기반의 얼굴 나이 및 주름 분석을 통한 개인 맞춤형 화장법 추천 방법 및 장치 |
KR102436127B1 (ko) | 2021-09-03 | 2022-08-26 | 주식회사 룰루랩 | 인공신경망에 기반하여 주름을 검출하는 방법 및 장치 |
KR20230046210A (ko) * | 2021-09-29 | 2023-04-05 | 주식회사 엘지생활건강 | 나이 추정 장치 |
US20230196552A1 (en) * | 2021-12-16 | 2023-06-22 | The Gillette Company Llc | Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin oiliness |
US11816144B2 (en) | 2022-03-31 | 2023-11-14 | Pinterest, Inc. | Hair pattern determination and filtering |
KR102530149B1 (ko) * | 2022-07-01 | 2023-05-08 | 김수동 | 얼굴 피부 진단방법 |
WO2024029600A1 (ja) * | 2022-08-04 | 2024-02-08 | 花王株式会社 | 肌状態推定方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102903135A (zh) * | 2007-07-23 | 2013-01-30 | 宝洁公司 | 用于皱纹老化和去老化逼真模拟的方法和装置 |
CN104573673A (zh) * | 2015-01-28 | 2015-04-29 | 广州远信网络科技发展有限公司 | 一种人脸图像年龄的识别方法 |
CN105209870A (zh) * | 2013-03-15 | 2015-12-30 | 皮科共和股份有限公司 | 用于指定和配制定制的外用制剂的***和方法 |
CN105760850A (zh) * | 2016-03-11 | 2016-07-13 | 重庆医科大学 | 基于皮肤纹理信息的无创年龄估计方法 |
CN105844236A (zh) * | 2016-03-22 | 2016-08-10 | 重庆医科大学 | 基于皮肤图像信息处理的年龄测试方法 |
CN106203306A (zh) * | 2016-06-30 | 2016-12-07 | 北京小米移动软件有限公司 | 年龄的预测方法、装置及终端 |
CN106469298A (zh) * | 2016-08-31 | 2017-03-01 | 乐视控股(北京)有限公司 | 基于人脸图像的年龄识别方法及装置 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
Family Cites Families (134)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4276570A (en) | 1979-05-08 | 1981-06-30 | Nancy Burson | Method and apparatus for producing an image of a person's face at a different age |
JP3799633B2 (ja) | 1995-06-16 | 2006-07-19 | セイコーエプソン株式会社 | 顔画像処理方法および顔画像処理装置 |
IL123966A (en) | 1995-10-23 | 2000-08-31 | Cytometrics Inc | Method and apparatus for reflected imaging analysis |
JP3912834B2 (ja) | 1997-03-06 | 2007-05-09 | 有限会社開発顧問室 | 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜 |
US6619860B1 (en) | 1997-11-14 | 2003-09-16 | Eastman Kodak Company | Photobooth for producing digitally processed images |
EP1039417B1 (en) | 1999-03-19 | 2006-12-20 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Method and device for the processing of images based on morphable models |
US6571003B1 (en) | 1999-06-14 | 2003-05-27 | The Procter & Gamble Company | Skin imaging and analysis systems and methods |
JP2001268594A (ja) | 2000-03-15 | 2001-09-28 | Infiniteface.Com Inc | 三次元ビューティーシミュレーション用クライアントサーバシステム |
US6959119B2 (en) | 2000-11-03 | 2005-10-25 | Unilever Home & Personal Care Usa | Method of evaluating cosmetic products on a consumer with future predictive transformation |
US6734858B2 (en) | 2000-12-27 | 2004-05-11 | Avon Products, Inc. | Method and apparatus for use of computer aging to demonstrate a product benefit |
US20030065589A1 (en) | 2001-10-01 | 2003-04-03 | Daniella Giacchetti | Body image templates with pre-applied beauty products |
US6761697B2 (en) | 2001-10-01 | 2004-07-13 | L'oreal Sa | Methods and systems for predicting and/or tracking changes in external body conditions |
US20030065255A1 (en) | 2001-10-01 | 2003-04-03 | Daniela Giacchetti | Simulation of an aesthetic feature on a facial image |
US20030065523A1 (en) | 2001-10-01 | 2003-04-03 | Francis Pruche | Early detection of beauty treatment progress |
US7634103B2 (en) | 2001-10-01 | 2009-12-15 | L'oreal S.A. | Analysis using a three-dimensional facial image |
GB0128863D0 (en) | 2001-12-01 | 2002-01-23 | Univ London | Performance-driven facial animation techniques and media products generated therefrom |
US7020347B2 (en) | 2002-04-18 | 2006-03-28 | Microsoft Corp. | System and method for image-based surface detail transfer |
JP2004201797A (ja) * | 2002-12-24 | 2004-07-22 | Yasutaka Nakada | 肌分析方法 |
US7039222B2 (en) | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
US20040215066A1 (en) | 2003-04-23 | 2004-10-28 | Kelly Huang | Method of measuring the efficacy of a skin treatment program |
TWI226589B (en) | 2003-04-28 | 2005-01-11 | Ind Tech Res Inst | Statistical facial feature extraction method |
US20040223631A1 (en) | 2003-05-07 | 2004-11-11 | Roman Waupotitsch | Face recognition based on obtaining two dimensional information from three-dimensional face shapes |
GB2402536B (en) * | 2003-06-05 | 2008-04-02 | Canon Kk | Image processing |
JP4303092B2 (ja) * | 2003-11-12 | 2009-07-29 | 株式会社国際電気通信基礎技術研究所 | 年齢推定装置、年齢推定方法および年齢推定プログラム |
US7804997B2 (en) | 2004-06-10 | 2010-09-28 | Technest Holdings, Inc. | Method and system for a three dimensional facial recognition system |
GB2416098A (en) | 2004-07-08 | 2006-01-11 | Univ Kent Canterbury | Facial image generation system |
EP1794703A4 (en) | 2004-09-17 | 2012-02-29 | Cyberextruder Com Inc | SYSTEM, METHOD AND APPARATUS FOR GENERATING THREE-DIMENSIONAL REPRESENTATION FROM ONE OR MORE TWO-DIMENSIONAL IMAGES |
US20060274071A1 (en) | 2004-09-29 | 2006-12-07 | L'oreal | Method of predicting the appearance of at least a portion of an individual's body |
EP1813189B1 (en) | 2004-10-22 | 2010-03-03 | Shiseido Company, Ltd. | Skin condition diagnostic system and beauty counseling system |
GB2424332A (en) | 2004-12-13 | 2006-09-20 | Mark Charles Spittle | An image processing system |
JP4795718B2 (ja) | 2005-05-16 | 2011-10-19 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
JP2007050158A (ja) | 2005-08-19 | 2007-03-01 | Utsunomiya Univ | 肌画像の処理方法及び処理装置並びにそれを用いた肌年齢の推定方法 |
US20070052726A1 (en) | 2005-09-08 | 2007-03-08 | David Wright | Method and system for likeness reconstruction |
US7522768B2 (en) | 2005-09-09 | 2009-04-21 | Hewlett-Packard Development Company, L.P. | Capture and systematic use of expert color analysis |
JP2007094549A (ja) | 2005-09-27 | 2007-04-12 | Fujifilm Corp | 画像処理方法および装置ならびにプログラム |
US20070080967A1 (en) | 2005-10-11 | 2007-04-12 | Animetrics Inc. | Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects |
EP1958150B1 (en) | 2005-11-04 | 2013-05-22 | Cryos Technology, Inc. | Surface analysis method and system |
US7728904B2 (en) | 2005-11-08 | 2010-06-01 | Qualcomm Incorporated | Skin color prioritized automatic focus control via sensor-dependent skin color detection |
US20070229498A1 (en) | 2006-03-29 | 2007-10-04 | Wojciech Matusik | Statistical modeling for synthesis of detailed facial geometry |
CN100386778C (zh) | 2006-06-15 | 2008-05-07 | 西安交通大学 | 基于平均脸和衰老比例图的人脸图像年龄变换方法 |
BE1017201A4 (nl) | 2006-07-03 | 2008-04-01 | Karavani Ilan | Werkwijze voor het bepalen van de veroudering van de huid van het gelaat van personen. |
US8077931B1 (en) | 2006-07-14 | 2011-12-13 | Chatman Andrew S | Method and apparatus for determining facial characteristics |
US8103061B2 (en) | 2006-10-02 | 2012-01-24 | Johnson & Johnson Consumer Companies, Inc. | Method and apparatus for identifying facial regions |
US8031914B2 (en) | 2006-10-11 | 2011-10-04 | Hewlett-Packard Development Company, L.P. | Face-based image clustering |
US20110016001A1 (en) | 2006-11-08 | 2011-01-20 | 24/8 Llc | Method and apparatus for recommending beauty-related products |
US20090245603A1 (en) | 2007-01-05 | 2009-10-01 | Djuro Koruga | System and method for analysis of light-matter interaction based on spectral convolution |
SG10201505321RA (en) | 2007-01-05 | 2015-08-28 | Myskin Inc | System, device and method for dermal imaging |
US20100185064A1 (en) | 2007-01-05 | 2010-07-22 | Jadran Bandic | Skin analysis methods |
US7792379B2 (en) | 2007-02-06 | 2010-09-07 | Accenture Global Services Gmbh | Transforming a submitted image of a person based on a condition of the person |
US8290257B2 (en) | 2007-03-02 | 2012-10-16 | The Procter & Gamble Company | Method and apparatus for simulation of facial skin aging and de-aging |
US8811692B2 (en) | 2007-04-17 | 2014-08-19 | Francine J. Prokoski | System and method for using three dimensional infrared imaging for libraries of standardized medical imagery |
WO2008151421A1 (en) | 2007-06-11 | 2008-12-18 | Darwin Dimensions Inc. | User defined characteristics for inheritance based avatar generation |
JP4974788B2 (ja) | 2007-06-29 | 2012-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
US8520906B1 (en) | 2007-09-24 | 2013-08-27 | Videomining Corporation | Method and system for age estimation based on relative ages of pairwise facial images of people |
EP2240077A4 (en) | 2008-02-14 | 2013-10-09 | Gregory Goodman | SYSTEM AND METHOD FOR COSMETIC ANALYSIS AND TREATMENT DIAGNOSIS |
JP5067224B2 (ja) * | 2008-03-24 | 2012-11-07 | セイコーエプソン株式会社 | オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置 |
US8358348B2 (en) | 2008-05-09 | 2013-01-22 | Elc Management Llc | Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form |
US8425477B2 (en) | 2008-09-16 | 2013-04-23 | Elc Management Llc | Method and system for providing targeted and individualized delivery of cosmetic actives |
JP5639060B2 (ja) | 2008-09-04 | 2014-12-10 | イーエルシー マネージメント エルエルシー | 見かけ年齢の客観的モデル、方法および使用 |
US8491926B2 (en) | 2008-09-16 | 2013-07-23 | Elc Management Llc | Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form |
CN101556699A (zh) | 2008-11-07 | 2009-10-14 | 浙江大学 | 一种基于脸型的人脸衰老图像合成方法 |
US8725560B2 (en) | 2009-02-02 | 2014-05-13 | Modiface Inc. | Method and system for simulated product evaluation via personalizing advertisements based on portrait images |
DE102009030062A1 (de) | 2009-06-22 | 2010-12-23 | Beiersdorf Ag | Verfahren zur Altersbestimmung und altersabhängigen Auswahl von kosmetischen Produkten |
TW201116257A (en) * | 2009-11-13 | 2011-05-16 | Inst Information Industry | System and method for analysis of facial defects and computer program product |
WO2011067162A1 (en) | 2009-12-02 | 2011-06-09 | Unilever Plc | Apparatus for and method of measuring skin age |
US8401300B2 (en) | 2009-12-14 | 2013-03-19 | Conopco, Inc. | Targeted image transformation of skin attribute |
JP5554984B2 (ja) | 2009-12-24 | 2014-07-23 | キヤノン株式会社 | パターン認識方法およびパターン認識装置 |
FR2954837B1 (fr) | 2009-12-30 | 2013-08-23 | Natura Cosmeticos Sa | Procede d'evaluation de l'etat esthetique et morphologique de la peau et prescription d'un traitement cosmetique et/ou dermatologique |
DE102010006741A1 (de) | 2010-02-03 | 2011-08-04 | Friedrich-Alexander-Universität Erlangen-Nürnberg, 91054 | Verfahren zum Verarbeiten eines Endoskopiebildes |
US8957981B2 (en) | 2010-03-03 | 2015-02-17 | Intellectual Ventures Fund 83 Llc | Imaging device for capturing self-portrait images |
US8582807B2 (en) | 2010-03-15 | 2013-11-12 | Nec Laboratories America, Inc. | Systems and methods for determining personal characteristics |
US8331698B2 (en) | 2010-04-07 | 2012-12-11 | Seiko Epson Corporation | Ethnicity classification using multiple features |
US8550818B2 (en) | 2010-05-21 | 2013-10-08 | Photometria, Inc. | System and method for providing and modifying a personalized face chart |
WO2011152841A1 (en) | 2010-06-01 | 2011-12-08 | Hewlett-Packard Development Company, L.P. | Replacement of a person or object in an image |
US9189679B2 (en) * | 2010-06-21 | 2015-11-17 | Pola Chemical Industries, Inc. | Age estimation method and sex determination method |
JP2012053813A (ja) * | 2010-09-03 | 2012-03-15 | Dainippon Printing Co Ltd | 人物属性推定装置、人物属性推定方法、及びプログラム |
US8413884B2 (en) | 2011-03-03 | 2013-04-09 | Life In Mobile, Inc. | Method and apparatus for dynamically presenting content in response to successive scans of a static code |
US20120253755A1 (en) | 2011-03-30 | 2012-10-04 | Gobel David P | Method Of Obtaining The Age Quotient Of A Person |
US20120288168A1 (en) * | 2011-05-09 | 2012-11-15 | Telibrahma Convergent Communications Pvt. Ltd. | System and a method for enhancing appeareance of a face |
US9330298B2 (en) | 2011-07-07 | 2016-05-03 | Kao Corporation | Face impression analyzing method, aesthetic counseling method, and face image generating method |
US8515491B2 (en) | 2011-07-28 | 2013-08-20 | Qualcomm Innovation Center, Inc. | User distance detection for enhanced interaction with a mobile device |
CN103765480B (zh) | 2011-08-09 | 2017-06-09 | 英特尔公司 | 用于参数化3d脸部生成的方法和设备 |
US20130041733A1 (en) | 2011-08-11 | 2013-02-14 | Reise Officer | System, method, and computer program product for tip sharing using social networking |
US9916538B2 (en) | 2012-09-15 | 2018-03-13 | Z Advanced Computing, Inc. | Method and system for feature detection |
US9817946B2 (en) | 2011-12-16 | 2017-11-14 | Cerner Innovation, Inc. | Graphic representations of health-related status |
US20130169621A1 (en) | 2011-12-28 | 2013-07-04 | Li Mei | Method of creating and transforming a face model and related system |
WO2013104015A1 (en) | 2012-01-11 | 2013-07-18 | Steven Liew | A method and apparatus for facial aging assessment and treatment management |
US9773168B2 (en) | 2012-01-31 | 2017-09-26 | Hewlett-Packard Development Company, L.P. | Identification mark with a predetermined color difference |
US8254647B1 (en) | 2012-04-16 | 2012-08-28 | Google Inc. | Facial image quality assessment |
US10037820B2 (en) | 2012-05-29 | 2018-07-31 | Medical Avatar Llc | System and method for managing past, present, and future states of health using personalized 3-D anatomical models |
US20140089017A1 (en) | 2012-09-27 | 2014-03-27 | United Video Properties, Inc. | Systems and methods for operating an entertainment control system |
US9311564B2 (en) | 2012-10-05 | 2016-04-12 | Carnegie Mellon University | Face age-estimation and methods, systems, and software therefor |
KR20140055819A (ko) | 2012-11-01 | 2014-05-09 | 삼성전자주식회사 | 얼굴인식장치 및 그 제어방법 |
KR20140078459A (ko) | 2012-12-17 | 2014-06-25 | 최봉우 | 스마트폰을 이용한 피부 상태 분석 및 관리 방법 |
US8915435B2 (en) | 2013-01-25 | 2014-12-23 | Hewlett-Packard Development Company, L.P. | Characterization of color charts |
US8976252B2 (en) | 2013-01-30 | 2015-03-10 | Hewlett-Packard Development Company, L.P. | Acquisition of color calibration charts |
US9443132B2 (en) | 2013-02-05 | 2016-09-13 | Children's National Medical Center | Device and method for classifying a condition based on image analysis |
GB201302194D0 (en) | 2013-02-07 | 2013-03-27 | Crisalix Sa | 3D platform for aesthetic simulation |
US9268993B2 (en) | 2013-03-13 | 2016-02-23 | Futurewei Technologies, Inc. | Real-time face detection using combinations of local and global features |
US20150045631A1 (en) | 2013-03-15 | 2015-02-12 | Lee Pederson | Skin health system |
US9256963B2 (en) | 2013-04-09 | 2016-02-09 | Elc Management Llc | Skin diagnostic and image processing systems, apparatus and articles |
US9101320B2 (en) | 2013-04-09 | 2015-08-11 | Elc Management Llc | Skin diagnostic and image processing methods |
CN104166835A (zh) | 2013-05-17 | 2014-11-26 | 诺基亚公司 | 用于识别活体用户的方法和装置 |
WO2015017687A2 (en) | 2013-07-31 | 2015-02-05 | Cosmesys Inc. | Systems and methods for producing predictive images |
CN105407799B (zh) | 2013-07-31 | 2017-12-26 | 松下电器(美国)知识产权公司 | 皮肤分析方法、皮肤分析装置、皮肤分析装置的控制方法以及记录介质 |
JP6499583B2 (ja) | 2013-09-24 | 2019-04-10 | シャープ株式会社 | 画像処理装置及び画像表示装置 |
US20150099947A1 (en) | 2013-10-04 | 2015-04-09 | Access Business Group International Llc | Skin youthfulness index, methods and applications thereof |
KR20150059394A (ko) | 2013-11-22 | 2015-06-01 | (주)아모레퍼시픽 | 계량화 수단을 이용한 피부 나이 예측 장치 및 방법 |
WO2015088079A1 (ko) | 2013-12-12 | 2015-06-18 | 주식회사 바이오코즈글로벌코리아 | 맞춤형 개별 화장품 생산 시스템 |
SG11201604981UA (en) | 2013-12-19 | 2016-07-28 | Avigilon Fortress Corp | System and method for identifying faces in unconstrained media |
US9773156B2 (en) | 2014-04-29 | 2017-09-26 | Microsoft Technology Licensing, Llc | Grouping and ranking images based on facial recognition data |
US9760935B2 (en) | 2014-05-20 | 2017-09-12 | Modiface Inc. | Method, system and computer program product for generating recommendations for products and treatments |
CN105488371B (zh) | 2014-09-19 | 2021-04-20 | 中兴通讯股份有限公司 | 一种脸部识别方法和装置 |
WO2016076897A1 (en) | 2014-11-13 | 2016-05-19 | Intel Corporation | Image quality compensation system and method |
KR20160061856A (ko) * | 2014-11-24 | 2016-06-01 | 삼성전자주식회사 | 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치 |
CN104504376A (zh) | 2014-12-22 | 2015-04-08 | 厦门美图之家科技有限公司 | 一种人脸图像的年龄分类方法和*** |
US9712751B2 (en) | 2015-01-22 | 2017-07-18 | Apple Inc. | Camera field of view effects based on device orientation and scene content |
JP6058722B2 (ja) * | 2015-03-17 | 2017-01-11 | 株式会社ジェイメック | 肌画像解析装置、画像処理装置及びコンピュータプログラム |
US20160314616A1 (en) | 2015-04-23 | 2016-10-27 | Sungwook Su | 3d identification system with facial forecast |
US9830727B2 (en) | 2015-07-30 | 2017-11-28 | Google Inc. | Personalizing image capture |
KR102439938B1 (ko) | 2015-08-03 | 2022-09-05 | 삼성전자주식회사 | 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법 |
CN107924579A (zh) | 2015-08-14 | 2018-04-17 | 麦特尔有限公司 | 生成个性化3d头部模型或3d身体模型的方法 |
US9754237B2 (en) | 2015-12-18 | 2017-09-05 | Ricoh Co., Ltd. | Index image quality metric |
US20170246473A1 (en) | 2016-02-25 | 2017-08-31 | Sava Marinkovich | Method and system for managing treatments |
US10282868B2 (en) | 2016-03-21 | 2019-05-07 | The Procter & Gamble Company | Method and system for generating accurate graphical chromophore maps |
US10438258B2 (en) | 2016-03-21 | 2019-10-08 | The Procter & Gamble Company | Method and apparatus for generating graphical chromophore maps |
US10264250B2 (en) | 2016-03-21 | 2019-04-16 | The Procter & Gamble Company | Method and apparatus for determining spectral characteristics of an image captured by a camera on a mobile endpoint device |
US10255484B2 (en) | 2016-03-21 | 2019-04-09 | The Procter & Gamble Company | Method and system for assessing facial skin health from a mobile selfie image |
CA3015492C (en) * | 2016-03-21 | 2021-11-23 | The Procter & Gamble Company | Systems and methods for providing customized product recommendations |
US10255482B2 (en) | 2016-03-21 | 2019-04-09 | The Procter & Gamble Company | Interactive display for facial skin monitoring |
US10002415B2 (en) | 2016-04-12 | 2018-06-19 | Adobe Systems Incorporated | Utilizing deep learning for rating aesthetics of digital images |
US10621771B2 (en) | 2017-03-21 | 2020-04-14 | The Procter & Gamble Company | Methods for age appearance simulation |
US10614623B2 (en) | 2017-03-21 | 2020-04-07 | Canfield Scientific, Incorporated | Methods and apparatuses for age appearance simulation |
CN110678875B (zh) | 2017-05-31 | 2023-07-11 | 宝洁公司 | 用于引导用户拍摄自拍照的***和方法 |
-
2018
- 2018-05-31 CN CN201880035105.7A patent/CN110709856B/zh active Active
- 2018-05-31 KR KR1020197035250A patent/KR102297301B1/ko active IP Right Grant
- 2018-05-31 WO PCT/US2018/035291 patent/WO2018222808A1/en active Application Filing
- 2018-05-31 JP JP2019566693A patent/JP6849825B2/ja active Active
- 2018-05-31 EP EP18733746.4A patent/EP3631679B1/en active Active
- 2018-05-31 US US15/993,950 patent/US10818007B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102903135A (zh) * | 2007-07-23 | 2013-01-30 | 宝洁公司 | 用于皱纹老化和去老化逼真模拟的方法和装置 |
CN105209870A (zh) * | 2013-03-15 | 2015-12-30 | 皮科共和股份有限公司 | 用于指定和配制定制的外用制剂的***和方法 |
CN104573673A (zh) * | 2015-01-28 | 2015-04-29 | 广州远信网络科技发展有限公司 | 一种人脸图像年龄的识别方法 |
CN105760850A (zh) * | 2016-03-11 | 2016-07-13 | 重庆医科大学 | 基于皮肤纹理信息的无创年龄估计方法 |
CN105844236A (zh) * | 2016-03-22 | 2016-08-10 | 重庆医科大学 | 基于皮肤图像信息处理的年龄测试方法 |
CN106203306A (zh) * | 2016-06-30 | 2016-12-07 | 北京小米移动软件有限公司 | 年龄的预测方法、装置及终端 |
CN106469298A (zh) * | 2016-08-31 | 2017-03-01 | 乐视控股(北京)有限公司 | 基于人脸图像的年龄识别方法及装置 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
Non-Patent Citations (2)
Title |
---|
Human age classification using facial skin aging features and artificial neural network;JayantJagtap等;《Cognitive Systems Research》;20160520;第40卷;正文第118-125页 * |
基于人脸图像的性别分类与年龄估计;王越;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170515;I138-1067 * |
Also Published As
Publication number | Publication date |
---|---|
US20180350071A1 (en) | 2018-12-06 |
KR102297301B1 (ko) | 2021-09-06 |
US10818007B2 (en) | 2020-10-27 |
WO2018222808A1 (en) | 2018-12-06 |
JP6849825B2 (ja) | 2021-03-31 |
KR20200003402A (ko) | 2020-01-09 |
EP3631679B1 (en) | 2023-09-13 |
EP3631679A1 (en) | 2020-04-08 |
JP2020522810A (ja) | 2020-07-30 |
CN110709856A (zh) | 2020-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110709856B (zh) | 用于确定表观皮肤年龄的***和方法 | |
CN108701323B (zh) | 用于提供定制的产品推荐的***和方法 | |
US10574883B2 (en) | System and method for guiding a user to take a selfie | |
US11832958B2 (en) | Automatic image-based skin diagnostics using deep learning | |
US11282190B2 (en) | Systems and methods for hair coverage analysis | |
JP7407115B2 (ja) | 機械実行顔面健康及び美容アシスタント | |
WO2020219612A1 (en) | Apparatus and method for visualizing cosmetic skin attributes | |
KR102495889B1 (ko) | 반자동 라벨링에 따라 학습된 딥러닝 기반 주름 검출 모델을 이용하여 얼굴 주름을 검출하기 위한 방법 및 장치 | |
EP3794541A1 (en) | Systems and methods for hair analysis | |
CA3218635A1 (en) | Computer-based body part analysis methods and systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40017784 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |