KR20240009440A - 컴퓨터-기반 신체 부위 분석 방법들 및 시스템들 - Google Patents
컴퓨터-기반 신체 부위 분석 방법들 및 시스템들 Download PDFInfo
- Publication number
- KR20240009440A KR20240009440A KR1020237042621A KR20237042621A KR20240009440A KR 20240009440 A KR20240009440 A KR 20240009440A KR 1020237042621 A KR1020237042621 A KR 1020237042621A KR 20237042621 A KR20237042621 A KR 20237042621A KR 20240009440 A KR20240009440 A KR 20240009440A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- face
- image
- biometric
- score
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 17
- 206010040954 Skin wrinkling Diseases 0.000 claims description 81
- 230000037303 wrinkles Effects 0.000 claims description 74
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims description 50
- 238000011282 treatment Methods 0.000 claims description 45
- 230000001815 facial effect Effects 0.000 claims description 40
- 230000014509 gene expression Effects 0.000 claims description 39
- 102000001554 Hemoglobins Human genes 0.000 claims description 24
- 108010054147 Hemoglobins Proteins 0.000 claims description 24
- 230000007935 neutral effect Effects 0.000 claims description 18
- 210000004709 eyebrow Anatomy 0.000 claims description 17
- 210000001061 forehead Anatomy 0.000 claims description 17
- 230000008921 facial expression Effects 0.000 claims description 16
- 210000000887 face Anatomy 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 210000000744 eyelid Anatomy 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 230000036548 skin texture Effects 0.000 claims description 4
- 230000037394 skin elasticity Effects 0.000 claims description 3
- 230000037393 skin firmness Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 description 21
- 238000010801 machine learning Methods 0.000 description 5
- 230000007812 deficiency Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011337 individualized treatment Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000013016 learning Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001766 physiological effect Effects 0.000 description 2
- 230000019612 pigmentation Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 241001134446 Niveas Species 0.000 description 1
- 206010050637 Skin tightness Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000012562 intraclass correlation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
- G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Physical Education & Sports Medicine (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
본 발명은 전반적으로 사람 얼굴들 또는 다른 신체 부위들의 생리학적 특성들의 개인 개선 가능성을 결정하기 위한 방법들을 제공한다. 이는, 적어도 하나의 생리학적 특성들의 객관적 스코어, 특히 인간 사용자의 얼굴의 매력 및/또는 젊음 스코어를 결정하는 단계를 수반할 수 있다. 더 구체적으로, 본 발명은 컴퓨터-구현 신체 부위 분석 방법을 제공한다. 방법은, 이미지 캡처링 디바이스에 의해 캡처된, 사용자의 적어도 하나의 신체 부위, 특히 사용자의 얼굴의 하나 이상의 디지털 이미지들을 획득하는 단계를 포함하는, 이미지 획득 단계를 포함할 수 있다. 방법은, 캡처된 하나 이상의 디지털 이미지들 내의 적어도 하나의 신체 부위의 하나 이상의 생체측정 파라미터들을 검출하는 단계를 포함하는, 이미지 프로세싱 단계를 더 포함할 수 있다. 또한 추가로, 방법은, 검출된 하나 이상의 생체측정 파라미터들에 기초하여 적어도 하나의 신체 부위의 하나 이상의 생리학적 특성들 각각에 대한 스코어를 결정하는 단계를 포함하는, 평가 단계를 포함할 수 있다.
Description
본 발명은 전반적으로 컴퓨터 비전 분야에 관한 것으로서, 더 구체적으로는, 얼굴 검출과 같은 신체 부위 검출 분야에 관한 것이며, 보다 더 구체적으로는, 디지털 이미지들에서 매력 및/또는 젊음을 예측하기 위한 정확하고 효율적이며 객관적인 방법에 관한 것이다.
컴퓨터 비전은 최신 기계 학습 기술들에 대해 가장 유망하면서도 도전적인 분야들 중 하나이다. 일반적으로 말하면, 컴퓨터 비전은, 컴퓨터들이 디지털 이미지들 또는 비디오들로부터 고-레벨 이해를 획득할 수 있는 방법의 기술들을 의미한다. 컴퓨터 비전 태스크들은, 디지털 이미지들을 획득하고, 프로세싱하며, 분석하고 이해하기 위한 방법들, 및 예를 들어, 결정들의 형태로 수치적 또는 심볼적 정보를 생성하기 위해 실제 세계로부터의 고-차원 데이터의 추출을 포함한다.
컴퓨터 비전의 하나의 특정한 하위 도메인은 객체 검출, 특히 얼굴 검출이다. 얼굴 검출 기술들에 대한 예시적인 애플리케이션들은 안면 인식(예를 들어, 전형적으로, 사람을 인증하기 위해, 디지털 이미지로부터의 사람 얼굴을 얼굴들의 데이터베이스와 대조하는 것), 사진촬영(예를 들어, 자동초점을 위해 얼굴 검출을 사용하는 것), 또는 자동화된 입술 판독(예를 들어, 컴퓨터 프로그램이 화상 회의에서 말하고 있는 사람을 결정하는 것을 가능하게 하는 것)을 포함한다.
얼굴 검출에 대한 또 다른 애플리케이션은 디지털 이미지 내의 사용자의 얼굴의 생리학적 특성들, 예를 들어, 피부 단단함(skin firmness), 피부 매끄러움, 피부 탄성, 인지된 나이와 같은 특성들, 그리고 심지어 사용자의 매력과 같은 더 고-레벨 특성들을 결정하기 위한 기술들과 관련된다.
예를 들어, "A new humanlike facial attractiveness predictor with cascaded fine-tuning deep learning model"이라는 논문(J. Xu et al., 8 Nov 2015, arXiv:1511.02465 [cs.CV])은 얼굴 매력 예측 문제를 다루기 위한 딥 러닝 방법을 제안한다. 방법은, 원본 RGB 얼굴 이미지, 디테일 층 이미지, 및 조명 층 이미지와 같은 얼굴 입력 채널들을 갖는 딥 캐스케이드형 미세-터닝(deep cascaded fine-turning) 기법을 사용하여 얼굴 아름다움 예측의 컨볼루션(convolutional) 신경망을 구축한다. 심층 구조, 큰 입력 크기 및 작은 콘볼루션 커널들의 CNN 모델을 사용하면, 0.88의 예측 상관이 논문에 따라 달성될 수 있다.
다른 예로서, WO 2019/136354 A1은, 사용자의 얼굴 피부를 묘사하는 이미지가 사용자로부터 하나 이상의 프로세싱 회로들에 의해 수리되는 컴퓨터 시스템을 제안한다. 하나 이상의 메모리 회로들에 저장된 기계 학습 모델들은 얼굴 피부 특성들을 분류하기 위해 이미지에 적용된다. 분류된 얼굴 피부 특성들에 기초하여 처방(regimen) 추천이 사용자에게 제공된다. 사용자의 얼굴의 사진에 기초하여 개인화된 제품 추천들을 제공하는 방법의 다른 예들은 WO 2008/057577 A1 및 WO 2017/083576 A1에서 발견될 수 있다.
얼굴 검출을 구현하는 하나의 방법은, AI-기반 오픈 컴퓨터 비전 플랫폼인 Face++ API와 같은 애플리케이션 프로그래밍 인터페이스를 사용하는 것이다. Face++는 이미지 내에서 사람 얼굴들을 검출하고 위치를 찾으며, 고-정밀 얼굴 경계 박스들을 반환한다. 얼굴 인식을 위한 예시적인 알고리즘들은 LBPH, Fisherface 방법 또는 PCA를 포함한다.
또한, 피부 관리 업계의 몇몇 회사들은, 표준화된 셀카(selfie) 이미지들에서 광학적 피부 나이, 피부 팽팽함(skin tightness), 피부 균일성을 측정하고 제품 추천들과 함께 결과들을 제공할 수 있는 웹 애플리케이션들을 제공한다. 예들은, 니베아의 "Skin Guide" 및 로레알의 "Skin Genius"를 포함한다.
Betaface는 미디어-관련 회사들을 위한 얼굴 인식 소프트웨어이다. 이것은 업로드된 사진으로부터, 나이, 표정, 수염, 인종, 안경, 턱수염과 머리 색깔, 콧수염, 턱 크기, 눈 색깔, 눈 위치, 눈썹 색깔/굵기/위치, 머리 길이, 머리 모양, 입 높이와 모양, 코 모양과 크기, 치아 그리고 일부 다른 것들을 포함하는 세부사항들을 반환한다. 이것은 또한 40,000명이 넘는 유명인들 내에서 또는 위키피디아의 데이터베이스 내에서 유사한 얼굴들을 찾을 수도 있다. 유사한 목적들을 갖는 안면 인식은 또한, 업로드된 사진을 웹에서 발견된 것들과 비교하거나 또는 2개의 업로드된 사진들을 비교하고 2개의 얼굴들이 얼마나 닮았는지를 결정하는 얼굴 비교 툴들(Google Reverse Image Search, TwinsOrNot.net, FindFace/VK.com, Pictriev, PicWiser)을 포함하는 다른 소프트웨어에 의해 사용된다.
또한, 사진-편집기들(예를 들어, Adobe Photoshop)은 다수의 층들에서 이미지들을 편집하고 구성하며, 전형적으로 마스크들, 알파 합성 및 몇몇 색상 모델들을 지원한다. 그러나, 이는 객관적인 척도와는 거리가 멀다.
마지막으로, 미적인 특징들의 다른 얼굴 측정들에 의해 심지어 특수 사진 장비가 요구될 수 있다. 이러한 맥락에서, 얼굴 영역들은 전형적으로 주름들, 모공들, 유분들, 균일성, 혈관 형성 및/또는 색소 침착에 대한 맞춤형 보고서를 최종적으로 작성하기 이전에 수동으로 아웃라인되어야 하며, 그럼으로써 수술-전 상담 동안 이미지 시뮬레이션에 의해 최소-침습 또는 수술 치료들의 결과를 입증한다. 하나의 이러한 예는 LifeViz QuantifiCare이다.
그러나, 종래 기술들의 추가적인 개선들이 가능하며, 특히, 알려진 시스템들의 얼굴 검출 정확도 및 유용성 측면에서 추가적인 개선들이 가능하다.
따라서, 본 발명의 근본적인 기술적 과제는, 개선된 얼굴 검출 및 사용자의 얼굴의 생리학적 특성들의 분석을 위한 기술들을 제공하는 것이다.
본 발명은 독립항들에서 정의된다. 일 실시예에서, 컴퓨터-구현 신체 부위 분석 방법이 제공된다. 방법은, 이미지 캡처링 디바이스에 의해 캡처된, 사용자의 적어도 하나의 신체 부위, 특히 사용자의 얼굴의 하나 이상의 디지털 이미지들을 획득하는 단계를 포함하는, 이미지 획득 단계를 포함할 수 있다. 방법은, 캡처된 하나 이상의 디지털 이미지들 내의 적어도 하나의 신체 부위의 하나 이상의 생체측정 파라미터들을 검출하는 단계를 포함하는, 이미지 프로세싱 단계를 더 포함할 수 있다. 또한 추가로, 방법은, 검출된 하나 이상의 생체측정 파라미터들에 기초하여 적어도 하나의 신체 부위의 하나 이상의 생리학적 특성들 각각에 대한 스코어를 결정하는 단계를 포함하는, 평가 단계를 포함할 수 있다.
따라서, 방법은, 신규하고 고유한 이미지 프로세싱 기술을 제공한다. 방법은 입력으로서 디지털 이미지들, 특히 사용자의 얼굴, 목선, 손 또는 다른 신체 부위(들)의 사진들을 취하며, 따라서 물리적 현실과 직접적인 연결을 갖는 측정 데이터에 대해 동작한다. 하나 이상의 생체측정 파라미터들, 즉, 적어도 하나의 신체 부위의 기술적/물리적 속성들은 입력 이미지들로부터 추출된다. 방법의 출력은 적어도 하나의 신체 부위의 하나 이상의 생리학적 특성들의 스코어의 객관적 추정치이다. 본원에서 사용되는 용어 "신체 부위"는, 비제한적으로, 머리, 얼굴, 목, 어깨, 팔, 팔꿈치, 팔뚝, 손, 손목, 허벅지, 무릎, 다리, 발목, 발, 발가락, 가슴, 엉덩이, 골반, 또는 이들의 조합들을 나타낼 수 있다.
본원에서 개시되는 기술들의 하나의 가능한 애플리케이션은 사람 얼굴의 생리학적 특성들의 평가와 관련된다. 따라서, 다음에서 얼굴은 종종 신체 부위의 예시적이고 비-제한적인 예로서 사용될 수 있을 것이다. 그러나, 본원에서 개시되는 기술들이 임의의 종류의 신체 부위에 동일하게 적용되며 얼굴에 한정되지 않는다는 것을 이해해야 한다. 하나 이상의 생체측정 파라미터들은, 피부 텍스처(특히 코, 윗입술, 눈밑(suborbital) 영역 및/또는 볼과 관련됨), 주름들(특히 눈꺼풀들, 미간, 눈밑(infraorbital) 영역, 턱, 눈가의 잔주름, 마리오네트 주름(marionette wrinkle)들, 팔자주름 영역, 윗입술, 방사상(radial) 영역 및/또는 이마와 관련됨), 색상(특히 헤모글로빈, 밝기(luminance) 및/또는 멜라닌과 관련됨), 볼륨(특히 볼(들), 눈 홈(eye groove) 및/또는 얼굴 중앙 영역과 관련됨), 비율들(특히 코, 윗입술 및/또는 아랫입술 사이의 거리, 턱 너비, 입술 너비 및/또는 V자 모양과 관련됨) 및/또는 기하학적 구조(특히 눈썹 아치와 관련됨)로 구성된 그룹으로부터 선택될 수 있다. 이러한 방식으로, 방법은 특히 다기능이며, 특히 프로세싱될 예상된 이미지들에 의존하여 당면한 태스크에 적합한 생체측정 특징들의 주어진 선택에 기초하여 희망되는 생리학적 특성들을 추정하는 것을 가능하게 한다.
하나 이상의 생체측정 파라미터들은 적어도 하나의 표현형(phenotypical) 파라미터 및/또는 적어도 하나의 수정가능 파라미터를 포함할 수 있다. 따라서, 이러한 측면은 생체측정 파라미터들을 비-수정가능 및 수정가능 파라미터들로 그룹화하는 것을 제공하며, 수정가능 파라미터들을 향상시키기 위한 적절한 치료를 정의하는 것을 가능하게 한다.
하나 이상의 생리학적 특성들은, 사용자의 피부 단단함, 피부 매끄러움, 피부 탄성, 인지된 나이, 매력 및/또는 젊음을 포함할 수 있다. 따라서, 방법은 하나 이상의 객관적으로 측정가능한 특성들에 스코어를 할당하며, 따라서 신뢰할 수 있고 정확한 결과들을 제공한다.
본 발명의 일 측면에서, 이미지 프로세싱 단계는, 적어도 하나의 신체 부위의 (단일) 생체측정 파라미터를 검출하는 단계를 포함할 수 있으며, 평가 단계는 하나의 (단일) 생리학적 특성에 대한 스코어를 결정하는 단계를 포함할 수 있다. 생체측정 파라미터는 생체측정 결함(deficiency)을 나타낼 수 있으며, 스코어는 생체측정 결함의 심각도를 나타낼 수 있다. 따라서, 본 발명의 이러한 측면은 디지털 미적 스케일을 제공하기 위해 역할할 수 있다. 예시적이고 비-제한적인 예로서, 방법은, 특히 객관적인 방식으로, 예를 들어, 0 내지 4의 스케일로 미간 주름의 심각도를 등급화(grade)하기 위해 사용될 수 있다.
본 발명의 일 측면에서, 이미지 획득 단계에서 획득된 하나 이상의 디지털 이미지들은, 정면 뷰(view), 프로파일 뷰, 측방 뷰 및/또는 경사 뷰와 같은 미리 결정된 배향으로 사용자의 얼굴을 보여주는 이미지를 포함할 수 있다. 이미지 획득 단계에서 2개 이상의 이미지들이 획득되는 경우에, 2개의 이상의 디지털 이미지들은, 동일한 배향을 갖는 적어도 2개의 디지털 이미지들 및/또는 상이한 배향들을 갖는 적어도 2개의 디지털 이미지들을 포함할 수 있다.
정면 뷰는 사용자의 얼굴의 전반적인 기하구조 및/또는 하나의 상의 생체측정 특성들의 검출 및/또는 평가를 개선하기 위해 역할할 수 있어서, 검출은 최소 양의 입력 이미지들을 필요로 할 수 있다.
프로파일 뷰, 측방 뷰 및/또는 경사 뷰는 사용자의 얼굴의 턱선, 아래턱선(jaw line), 관자놀이들 및/또는 볼들의 검출 및/또는 평가를 개선하기 위해 역할할 수 있으며, 이는 더 정교한 얼굴 분석을 가져올 수 있다. 상이한 각도들이 이러한 뷰들에서 사용될 수 있다. 이는 이하에서 추가로 설명될 것이다.
본 발명의 일 측면에서, 이미지 획득 단계에서 획득된 하나 이상의 디지털 이미지들은, 중립적인 표정 및/또는 비-중립적인 표정과 같은 미리 결정된 표정을 갖는 사용자의 얼굴을 보여주는 이미지를 포함할 수 있다. 비-중립적인 표정은 웃는 표정 및/또는 찡그린 표정일 수 있다. 이미지 획득 단계에서 2개 이상의 이미지들이 획득되는 경우에, 2개의 이상의 디지털 이미지들은, 동일한 표정을 갖는 적어도 2개의 디지털 이미지들 및/또는 상이한 표정들을 갖는 적어도 2개의 디지털 이미지들을 포함할 수 있다.
중립적인 표정은 사용자의 얼굴의 전반적인 기하구조 및/또는 하나의 상의 생체측정 특성들의 검출 및/또는 평가를 개선하기 위해 역할할 수 있어서, 검출 및/또는 평가는 최소 양의 입력 이미지들을 필요로 할 수 있다.
상이한 표정들을 갖는 디지털 이미지들을 사용하는 것은 얼굴 분석을 추가로 개선할 수 있으며, 이는, 비-중립적인 표정들이 중립적인 뷰에서는 잘 보이지 않는 사용자의 얼굴의 특정한 하나 이상의 생체측정 특성들을 강조할 수 있기 때문이다. 특히, 웃는 표정 및/또는 찡그린 표정은 사용자의 얼굴의 주름들을 더 잘 보이게 만들어서, 주름 깊이 및/또는 심각도 및/또는 다른 파라미터들의 더 양호한 검출가능성을 가져올 수 있다.
배향 및 표정에 관한 이상의 측면들은 자유롭게 조합될 수 있다. 따라서, 본 발명의 측면들은 배향들 및/또는 표정들의 임의의 조합을 갖는 디지털 이미지들의 임의의 조합을 제공할 수 있다. 본 방법의 일 측면에서, 하나 이상의 디지털 이미지들은 제1 디지털 이미지를 포함한다. 제1 디지털 이미지는 제1 배향 및/또는 제1 표정을 갖는 디지털 이미지일 수 있다. 하나 이상의 디지털 이미지들은 제2 디지털 이미지를 포함한다. 제2 디지털 이미지는 제2 배향 및/또는 제2 표정을 갖는 디지털 이미지일 수 있다. 하나 이상의 디지털 이미지들은 제3 디지털 이미지를 포함한다. 제3 디지털 이미지는 제3 배향 및/또는 제3 표정을 갖는 디지털 이미지일 수 있다. 하나 이상의 디지털 이미지들은 제4 디지털 이미지를 포함한다. 제4 디지털 이미지는 제4 배향 및/또는 제4 표정을 갖는 디지털 이미지일 수 있다. 하나 이상의 디지털 이미지들은 제5 디지털 이미지를 포함한다. 제5 디지털 이미지는 제5 배향 및/또는 제5 표정을 갖는 디지털 이미지일 수 있다. 하나 이상의 디지털 이미지들은 제6 디지털 이미지를 포함한다. 제6 디지털 이미지는 제6 배향 및/또는 제6 표정을 갖는 디지털 이미지일 수 있다. 하나 이상의 디지털 이미지들은 제7 디지털 이미지를 포함한다. 제7 디지털 이미지는 제7 배향 및/또는 제7 표정을 갖는 디지털 이미지일 수 있다. 하나 이상의 디지털 이미지들은 제8 디지털 이미지를 포함한다. 제8 디지털 이미지는 제8 배향 및/또는 제8 표정을 갖는 디지털 이미지일 수 있다. 하나 이상의 디지털 이미지들은 제9 디지털 이미지를 포함한다. 제9 디지털 이미지는 제9 배향 및/또는 제9 표정을 갖는 디지털 이미지일 수 있다. 하나 이상의 디지털 이미지들은 제10 디지털 이미지를 포함한다. 제10 디지털 이미지는 제10 배향 및/또는 제10 표정을 갖는 디지털 이미지일 수 있다. 하나 이상의 디지털 이미지들은 10개의 디지털 이미지들을 초과하여 하나 이상의 추가적인 디지털 이미지들을 포함할 수 있다. 하나 이상의 추가적인 디지털 이미지는 하나 이상의 개별적인 추가적인 배향들을 갖거나 및/도는 하나 이상의 개별적인 추가적인 표정들을 갖는 하나 이상의 디지털 이미지들일 수 있다.
본 발명의 일부 측면들에서, 명칭 "제1 디지털 이미지", "제2 디지털 이미지", "제3 디지털 이미지" 등뿐만 아니라 유사한 명칭들은 디지털 이미지들이 촬영되는 시퀀스를 암시할 수 있다는 것을 유의해야 한다. 그러나, 본 발명의 다른 측면들에서, 이러한 지정들은 디지털 이미지들이 촬영되는 시퀀스를 암시하는 것이 아니라, 본원에서 제공된 개시내용에서 하나의 이미지를 다른 이미지로부터 구별하도록 역할한다.
제1 디지털 이미지는, 바람직하게는 중립적인 표정을 갖는, 사용자 얼굴의 정면 뷰를 갖는 제1 디지털 이미지일 수 있다. 이러한 방식으로, 사용자의 얼굴의 전반적인 기하구조 및 몇몇 관련 생체측정 특성들은 최소 양의 입력 이미지들로 검출될 수 있다.
하나 이상의 디지털 이미지들은, 바람직하게는 중립적인 표정을 갖는, 사용자 얼굴의 측방 뷰를 갖는 제2 디지털 이미지를 더 포함할 수 있다. 측방 뷰는 사용자의 얼굴의 턱선, 아래턱선, 관자놀이들 및/또는 볼들의 검출 및/또는 평가를 개선하며, 이는 궁극적으로는 더 정교한 얼굴 분석을 가져올 수 있다. 측방 뷰를 갖는 제2 이미지, 또는 더 일반적으로 말하면, 사용자의 얼굴의 측방 뷰를 갖는 임의의 디지털 이미지는, 0도(정면 뷰일 것임)가 아닌 및/또는 90도(풀 프로파일 뷰일 것임)가 아닌 각도로 사용자의 얼굴을 보여줄 수 있다. 바람직하게는, 측방 뷰는 대략 5도 내지 85도의 각도로, 더 바람직하게는 대략 10도 내지 80도의 각도로, 더 바람직하게는 대략 20도 내지 70도의 각도로, 더 바람직하게는 대략 30도 내지 60도의 각도로, 더 바람직하게는 대략 40도 내지 50도의 각도로, 더 바람직하게는 대략 45도의 각도로 사용자의 얼굴을 보여줄 수 있으며, 이는 사용자가 사진을 촬영하면서 계속해서 자신을 볼 수 있기 때문에 턱선 검출가능성과 사용자 편의성 사이의 최적 트레이드-오프이다.
여전히 추가로, 하나 이상의 디지털 이미지들은 또한, 바람직하게는 제1 디지털 이미지의 표정과는 상이한 표정을 갖는 사용자의 얼굴의 정면 뷰를 갖는 제3 디지털 이미지를 포함할 수 있다. 상이한 표정들을 갖는 이미지들을 사용하는 것은 얼굴 분석을 추가로 개선할 수 있으며, 이는, 비-중립적인 표정들이 중립적인 뷰에서는 잘 보이지 않는 사용자의 얼굴의 특정한 생체측정 특성들을 강조할 수 있기 때문이다. 특히, 제3 디지털 이미지 내의 표정은 웃는 표정 및/또는 찡그린 표정일 수 있으며, 이는 사용자의 얼굴의 주름들을 더 잘 보이게 만들어서, 주름 깊이 및/또는 심각도의 더 양호한 검출가능성을 가져올 수 있다.
특히 정교한 시나리오에서, 제3 디지털 이미지 내의 표정은 웃는 표정일 수 있으며, 하나 이상의 디지털 이미지들은, 바람직하게는 찡그린 표정을 갖는 사용자의 얼굴의 정면 뷰를 갖는 제4 디지털 이미지를 더 포함할 수 있다. 따라서, 이러한 시나리오에서, 얼굴 분석의 입력으로서 역할하는 하나 이상의 디지털 이미지 언급된 특성들을 갖는 4개의 디지털 이미지들 포함하며(또는 심지어 이들로 구성되며), 이는 생체측정 특징들의 특히 정밀한 검출을 가능하게 할 수 있다.
본 발명의 하나의 특정 측면에서, 컴퓨터-구현 얼굴 분석 방법에 제공되며, 방법은: 중립적인 표정을 갖는 사용자의 얼굴의 정면 뷰를 갖는 제1 디지털 이미지; 중립적인 표정을 갖는 사용자의 얼굴의 측방 뷰를 갖는 제2 디지털 이미지; 및 웃는 표정 또는 찡그린 표정을 갖는 사용자의 얼굴의 정면 이미지를 갖는 제3 디지털 이미지를 포함하는 사용자의 얼굴의 적어도 3개의 디지털 이미지들을 획득하는 단계를 포함하는, 이미지 획득 단계; 캡처된 적어도 3개의 디지털 이미지들에서 얼굴의 하나 이상의 생체측정 파라미터들을 검출하는 단계를 포함하는, 이미지 프로세싱 단계; 및 검출된 하나 이상의 생체측정 파라미터들에 기초하여 하나 이상의 생리학적 특성들 각각에 대한 스코어를 결정하는 단계를 포함하는, 평가 단계를 포함한다.
본 발명의 하나의 특정 측면에서, 컴퓨터-구현 얼굴 분석 방법이 제공되며, 방법은: 사용자의 얼굴의 4개의 디지털 이미지들을 획득하는 단계를 포함하는, 이미지 획득 단계를 포함한다. 4개의 디지털 이미지들은, 이미지 캡처링 디바이스를 사용하여 일련의 4개의 사진들을 통해 사용자를 인터랙티브하게 가이드함으로써 획득될 수 있다. 4개의 디지털 이미지들은: 중립적인 표정을 갖는 사용자의 얼굴의 정면 뷰를 갖는 디지털 이미지; 웃는 표정을 갖는 사용자의 얼굴의 정면 뷰를 갖는 디지털 이미지; 찡그린 표정을 갖는 사용자의 얼굴의 정면 뷰를 갖는 디지털 이미지; 및 중립적인 표정을 갖는 사용자의 얼굴의 측방 뷰를 갖는 디지털 이미지를 포함하며, 여기서, 선택적으로, 측방 뷰는 대략 20도 내지 70도 사이의 각도로 사용자의 얼굴을 보여주고; 이미지 프로세싱 단계는, 캡처된 하나 이상, 즉, 4개의 이미지들에서 적어도 하나의 신체 부위, 즉 얼굴의 하나 이상의 생체측정 파라미터들을 획득하는 단계를 포함하며; 그리고 평가 단계는, 검출된 하나 이상의 생체측정 파라미터들에 기초하여 적어도 하나의 신체 부위, 즉, 얼굴의 하나 이상의 생리학적 특성들 각각에 대한 스코어를 결정하는 단계를 포함한다.
본 방법의 다른 측면에서, 이미지 획득 단계는, 조명, 이미지 캡처링 디바이스에 대한 사용자의 얼굴의 위치, 이미지 캡처링 디바이스까지의 사용자의 얼굴의 거리 및/또는 이미지 캡처링 디바이스에 대한 사용자의 얼굴의 배향을 조정하기 위한 지시들을 사용자에게 제공하는 단계를 더 포함할 수 있다. 지시들을 제공하는 단계는, 이미지 캡처링 디바이스와 연관된 디스플레이 상에 하나 이상의 리딩(leading) 라인들과 같은 텍스트, 심볼들 및/또는 시각적 표시들을 디스플레이하는 단계를 포함할 수 있다. 이러한 측면들은, 사용자가 계속되거나 및/또는 가이드되는 인간-기계 상호작용 프로세스에 의해 이미지 획득 태스크를 수행하는 데 도움을 주며, 더 높은 품질의 입력 이미지들을 야기한다.
본 발명의 일 측면에서, 하나 이상의 디지털 이미지들은 모바일 디바이스, 특히 스마트폰을 사용하여 캡처될 수 있다. 대안적으로, 하나 이상의 디지털 이미지들은 스마트 거울에 통합된 전자 디바이스를 사용하여 캡처될 수 있다.
본 발명의 또 다른 측면에서, 평가 단계는, 하나 이상의 생체측정 특징들을 적어도 하나의 신체 부위의 하나 이상의 생리학적 특성들에 대한 스코어에 매핑하도록 구성된 적어도 하나의 통계적 분류기를 사용하여 수행될 수 있다. 특히, 적어도 하나의 통계적 분류기는, 3개 또는 5개와 같은 미리 정의된 수의 생체측정 파라미터들을 사용자의 얼굴의 매력 및/또는 젊음의 스코어에 매핑하도록 구성될 수 있다. 본 발명의 실시예들의 통계적 분류기의 고유한 특성들 때문에, 비교적 적은 생체측정 파라미터들만이 높은 품질, 특히 매력 및/또는 젊음과 같은 생리학적 특성(들)의 객관적인 추정에 도달하기 위해 입력 이미지들로부터 추출되면 된다.
일 측면에서, 제1 통계적 분류기는 생체측정 특징들의 제1 미리 정의된 세트를 매력 스코어에 매핑하도록 구성되며, 제2 통계적 분류기는 생체측정 특징들의 제2 미리 정의된 세트를 젊음 스코어에 매핑하도록 구성된다. 생체측정 특징들의 제1 및 제2 미리 정의된 세트들은 부분적으로 중첩할 수 있다. 제1 및 제2 통계적 분류기들은 별도의 모델들로서 또는 결합된 모델로서 제공될 수 있다. 따라서, (적어도 부분적으로) 상이한 예측기들이 매력 및 젊음을 추정하기 위해 사용될 수 있다.
바람직하게는, 제1 미리 정의된 세트는 색상에 관한, 특히 헤모글로빈, 밝기 및/또는 멜라닌에 관한 색상에 관한 적어도 하나의 생체측정 파라미터를 포함할 수 있으며, 제2 미리 정의된 세트는 주름들에 관한, 특히 눈꺼풀들, 미간, 눈밑 영역, 턱, 눈가주름, 마리오네트 주름들, 팔자주름 영역, 윗입술, 방사상 영역 및/또는 이마에 관한 주름들에 관한 적어도 하나의 생체측정 파라미터를 포함할 수 있다. 따라서, 본 발명의 실시예들의 기초가 되는 임상 연구들의 발견들은 통계적 분류기의 구현에 직접적으로 인코딩될 수 있으며, 그럼으로써 상대적으로 단순한 계산 모델만으로 매우 정확한 추정들을 야기한다.
통계적 분류기는 복수의 인간 얼굴들의 이미지들을 포함하는 트레이닝 데이터 세트, 하나 이상의 생체측정 파라미터들의 선택 및/또는 하나 이상의 생리학적 특성들 각각에 대한 스코어를 사용하여 트레이닝되었을 수 있다. 또한, 통계적 분류기는 SCUT-FBP와 같은 공개적으로 이용가능한 데이터 세트를 사용하여 트레이닝되거나 및/또는 사전-트레이닝될 수 있다. 분류기를 사전-트레이닝시키는 것은 분류기를 최종 문제 영역에 맞춰 적응시키기 위해 필요한 트레이닝 데이터 세트들의 양을 크게 감소시킨다.
바람직하게는, 통계적 분류기는 인공 신경망, 특히 심층 신경망이다.
또 다른 측면에서, 본 방법은, 이미지 캡처링 디바이스와 연관된 디스플레이 상에 하나 이상의 스코어들을 디스플레이하는 단계를 더 포함할 수 있다. 예를 들어, 디스플레이는 이미지 캡처링 디바이스와 동일한 장치 내에 포함될 수 있거나, 또는 디스플레이는, 예를 들어, 이미지 캡처링 디바이스가 네트워크를 통해 연결된 원격 컴퓨터의 부분일 때 이미지 캡처링 디바이스와 더 간접적으로 연관될 수 있다. 본 방법은 또한, 하나 이상의 생리학적 특성들과 연관된 스코어를 개선하기 위한 하나 이상의 치료들을 사용자에게 추천하는 단계를 포함할 수 있다. 하나 이상의 추천된 치료들은, 하나 이상의 생리학적 특성들과 연관된 스코어를 개선하는 것에 대한 그들의 예상된 또는 예측된 영향에 의해 랭크가 매겨질 수 있다. 이러한 방식으로, 사용자에게 사용자의 생리학적 특성들을 개선하기 위한 적절한 추천들, 특히 개인화된 및/또는 개별화된 치료 계획들이 제공될 수 있다. 일 측면에서, 하나 이상의 치료들은, 예컨대 하나 이상의 개별적인 생체측정 파라미터들에 대한 또는 전체적으로 개인화된 최대 개선 가능성을 최적화하기 위해 선택된다.
또한, 본 방법은, 추천된 하나 이상의 치료들의 적용 이후에 하나 이상의 스코어들의 추정된 변화를 디스플레이하는 단계를 포함할 수 있다. 따라서, 사용자가 사용자의 생리학적 특성들에 대한 주어진 치료의 가능한 영향을 검증하는 것이 가능해지고, 가장 적절한 치료를 선택할 수 있으며, 그럼으로써 사용자의 얼굴의 차선 또는 심지어 유해한 생리학적 치료들을 회피할 수 있다.
본 발명은 또한, 본원에서 개시되는 방법들 중 임의의 것을 수행하기 위한 수단을 포함하는 장치뿐만 아니라, 프로그램이 컴퓨터에 의해 실행될 때 컴퓨터가 본원에 개시된 방법들 중 임의의 것을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램을 제공한다. 컴퓨터에 의해 실행될 때 컴퓨터가 본원에 개시된 방법들 중 임의의 것을 수행하게 하는 명령어들을 포함하는 컴퓨터-판독가능 저장 매체가 또한 제공된다.
또한, 본 발명은, 복수의 인간 얼굴들의 이미지들, 하나 이상의 생체측정 파라미터들의 선택 및/또는 하나 이상의 생리학적 특성들 각각에 대한 스코어를 포함하는, 본원에서 개시되는 통계적 분류기를 트레이닝시키기 위한 트레이닝 데이터 세트와 관련된다. 마지막으로, 트레이닝 데이터 세트를 사용하여 통계적 분류기를 트레이닝시키는 방법이 제공된다.
본 개시는 다음의 도면들을 참조하여 더 잘 이해될 수 있다.
도 1은 본 발명의 실시예들에 따른 이미지 획득 프로세스 동안 사용자를 가이드하기 위한 스마트폰 애플리케이션의 사용자 인터페이스이다.
도 2는 본 발명의 실시예들에 따른 사용자의 개별적인 생체측정 파라미터들 및 생리학적 특성들을 분석하기 위한 스마트폰 애플리케이션의 사용자 인터페이스들이다.
도 3은, 본 발명의 실시예들에 따른 개선 가능성을 실현하기 위한 개선 가능성 및 추천된 치료 옵션들에 대응하는, 개인에 대한 결함이 있는 생체측정 파라미터들을 디스플레이하기 위한 스마트폰 애플리케이션의 사용자 인터페이스들이다.
도 4는 본 발명의 실시예들에 따른 치료들을 수행하기 위한 치료 옵션들 및 전문가들을 추천하기 위한 스마트폰 애플리케이션의 사용자 인터페이스들이다.
도 5는 본 발명의 실시예들에 따른 매력 및/또는 젊음에 대한 선택된 생체측정 파라미터들의 영향을 디스플레이하기 위한 스마트폰 애플리케이션의 사용자 인터페이스들이다.
도 6 내지 도 7은 본 발명의 실시예들에 따른 사용자의 얼굴의 생체측정 파라미터들과 인지된 매력 사이의 연관과 관련된 경험적 결과들을 예시하는 도면들이다.
도 1은 본 발명의 실시예들에 따른 이미지 획득 프로세스 동안 사용자를 가이드하기 위한 스마트폰 애플리케이션의 사용자 인터페이스이다.
도 2는 본 발명의 실시예들에 따른 사용자의 개별적인 생체측정 파라미터들 및 생리학적 특성들을 분석하기 위한 스마트폰 애플리케이션의 사용자 인터페이스들이다.
도 3은, 본 발명의 실시예들에 따른 개선 가능성을 실현하기 위한 개선 가능성 및 추천된 치료 옵션들에 대응하는, 개인에 대한 결함이 있는 생체측정 파라미터들을 디스플레이하기 위한 스마트폰 애플리케이션의 사용자 인터페이스들이다.
도 4는 본 발명의 실시예들에 따른 치료들을 수행하기 위한 치료 옵션들 및 전문가들을 추천하기 위한 스마트폰 애플리케이션의 사용자 인터페이스들이다.
도 5는 본 발명의 실시예들에 따른 매력 및/또는 젊음에 대한 선택된 생체측정 파라미터들의 영향을 디스플레이하기 위한 스마트폰 애플리케이션의 사용자 인터페이스들이다.
도 6 내지 도 7은 본 발명의 실시예들에 따른 사용자의 얼굴의 생체측정 파라미터들과 인지된 매력 사이의 연관과 관련된 경험적 결과들을 예시하는 도면들이다.
본 발명의 실시예들은 전반적으로 사람 얼굴들의 생리학적 특성들의 개인 개선 가능성을 결정하기 위한 방법들을 제공한다. 이는, 적어도 하나의 생리학적 특성들의 객관적 스코어, 특히 인간 사용자의 얼굴의 매력 및/또는 젊음 스코어를 결정하는 단계를 수반할 수 있다. 특정 실시예들은, 사람 얼굴들의 생체측정 파라미터들 및 관심 대상 생리학적 특성들에 대한 그들의 영향에 대한 복잡한 도메인 지식을 구현하는 모델들을 사용하는 기계 학습 기술들을 사용하는 단계를 사용할 수 있다.
특정 실시예들에서, 사용자의 얼굴의 하나 이상의 기존 사진들이 적어도 하나의 생리학적 특성 및/또는 연관된 스코어를 정확하게 결정하기에 충분한다. 어떠한 3D 스캔도 필요하지 않다. 따라서, 기술은 스마트폰, 태블릿, 또는 유사한 것과 같은 전자 사용자 장비에 대한 애플리케이션("앱")을 형성하는 컴퓨터 프로그램으로 구현될 수 있으며, 사용자는 사진들을 제공하기 위해 개별적인 "셀카들"을 촬영할 수 있다. 대안적으로, 애플리케이션은 스마트 및/또는 전자 거울에 통합될 수 있다. 하나의 특정 실시예에서, 사용자는, 이하에서 추가로 상세하게 설명될 바와 같이, 일련의 특정 사진들을 촬영하도록 프롬프트(prompt)된다.
특정 실시예들에서, 매력 및/또는 젊음 스코어는 비율들, 주름들 및/또는 색소침착들과 같은 생체측정 파라미터들을 고려하거나 및/또는 이에 기초할 수 있다. 그러나, 본 발명의 실시예들은, 이하에서 추가로 더 상세하게 설명될 바와 같이, 하나 이상의 입력 이미지들로부터 도출가능한 다양한 생체측정 파라미터들의 임의의 서브세트 또는 모두를 사용할 수 있다. 관련 생체측정 파라미터들은 복잡한 실험들 및 임상 연구들에서 개발되었으며, (생리학적 특성들에 대한 그들의 영향과 관련한) 그들의 이상적인 값들이 식별되었다. 특히, 매력 및 젊음에 대한 예측자들(즉, 생체측정 파라미터들)의 상이한 세트들이 식별되었다. 결과적인 모델은, 사용자들의 얼굴의 상대적으로 단순한 사진들로부터 특히 빠르고 자원을 절약하면서도 생리학적 특성들의 정확한 계산을 가능하게 한다.
결정된 스코어에 기초하여, 하나 이상의 제품들 및/또는 치료들이 스코어를 개선하기 위해 사용자에게 추천될 수 있다. 또한, 하나 이상의 제품들 및/또는 치료들의 적용 이후의 스코어의 추정된 변화가 사용자에게 디스플레이될 수 있다. 따라서, 본 발명의 실시예들은 개별적인 결함이 있는 생체측정 파라미터들(소위 랜드마크(landmark)들)을 결정할 수 있으며, 개별적인 랜드마크들에 대한 또는 전체적인 개별적 개선 가능성을 결정할 수 있다. 그런 다음, 실시예들은 사용자의 생리학적 특성(들)을 개선하기 위한 개별화된 및/또는 우선순위화된 치료 계획을 사용자에게 제공할 수 있다.
일 실시예에서, 얼굴 매력은 얼굴의 하나 이상의 셀카 사진들을 업로드한 후에 즉시 온라인으로 분석될 수 있다. 본 발명의 실시예들은 얼굴을 자동으로 다양한 영역들을 분할할 수 있으며, 주름들, 국소적 및 전체적 균질성, 거칠고 고운 피부 표면 텍스처들 및/또는 색상과 같은 얼굴 특성들의 다수의 얼굴 비율들이 얼굴 영역들 전체 또는 이의 적어도 부분에서 측정될 수 있다. 이러한 변수들은 부피 스코어, 주름 스코어, 색상 인덱스들, 다양한 균질성 스코어들 및/또는 대칭성 및/또는 기하구조의 상이한 인덱스들과 같은 국소적 및/또는 전체적 간격-스케일링된 또는 순서-스케일링된 특징들로 변환될 수 있다. 본 발명의 특정 실시예들의 하나의 고유한 속성은 대응하는 변수들로부터 계산되는 매력 및/또는 젊음에 대한 전체적 인덱스들이다. 이러한 국소적 및 영역적 특징들 및 언급된 고유한 전체적 인덱스들 뒤에 있는 알고리즘들은 특정 상황에 처해 있는 사람들과 전문가들의 세트를 사용하는 주관적 평가들에 의해 검증된다.
스마트폰 애플리케이션
본 발명의 실시예들은, 개인화된 치료 계획들의 제공 및/또는 전체적 얼굴 분석을 수행하도록 구성된 모바일 디바이스, 특히 스마트폰 상에서 실행가능한 컴퓨터 프로그램(소위 "애플리케이션" 또는 "앱")을 제공한다. 명백하게, 스마트폰은 단지 모바일 디바이스의 하나의 가능한 예일 뿐이며, 반면 본원에서 개시되는 기술들은 다른 종류들의 모바일 디바이스들에 동일하게 적용가능하다. 또한, 스마트폰/모바일 디바이스 실시예가 주로 최종 소비자들을 목표로 하지만, 다른 사용 케이스들이 또한 가능하다. 예를 들어, 의료용 사용 케이스에서, 본원에서 개시되는 기술들은, 이미지 프로세싱 및 분석이 별도의 컴퓨터 시스템, 예를 들어, 클라우드-기반 시스템에 의해 수행되는 동안 사용자 또는 제3자에 의해 촬영된 하나 이상의 이미지들에 기초하여 동작할 수 있다.
다음에서, 애플리케이션을 통한 예시적인 사용자 여정이 도 1 내지 도 5에 도시된 실시예를 참조하여 설명될 것이다. 설명되는 단계들의 정확한 시퀀스가 필수적이지는 않으며, 특정 단계들이 상이한 실시예들에서 생략될 수 있다는 것이 이해되어야 한다.
처음에, 애플리케이션은 전반적인 사용자 정보(도 1 내지 도 5에 도시되지 않음)를 제공하도록 사용자에게 프롬프트할 수 있다. 이는, 이름 및/또는 이메일 주소와 같은 사용자를 식별하기 위한 정보를 제공하도록 사용자에게 프롬프트하는 것을 포함할 수 있다. 애플리케이션은 사용자 계층을 생성하기 위한 옵션을 제공할 수 있으며, 이는 패스워드를 생성하도록 사용자에게 프롬프트하는 것을 포함할 수 있다. 다음으로, 애플리케이션은 사용자의 생물학적 나이 및/또는 성별을 제공하도록 사용자에게 프롬프트할 수 있으며, 이는 과학적으로 건전한 추천들을 도출하는 데 유리할 수 있다. 정보는, 텍스트 박스들, 드롭 다운 메뉴들, 버튼들 및 다른 제어 요소들과 같은 애플리케이션에 의해 제공되는 그래픽 사용자 인터페이스 상의 임의의 적합한 수단에 의해 획득될 수 있다.
그런 다음, 애플리케이션은 이미지 획득 단계에 진입할 수 있다. 이는, 후속 얼굴 분석에 대한 입력으로서 사용자의 얼굴의 하나 이상의 이미지들을 제공하도록 사용자에게 프롬프트하는 것을 포함할 수 있다. 선호되는 실시예에서, 애플리케이션은, 이미지 캡처링 디바이스, 특히 애플리케이션을 또한 실행하는 모바일 디바이스의 카메라를 사용하여 사용자의 얼굴의 하나 이상의 디지털 이미지들을 캡처하도록, 즉, 사진들을 촬영하도록 사용자에게 프롬프트한다. 이러한 방식으로, 사용자는 "셀카들"을 촬영하는 것을 통해 입력 이미지들을 제공할 수 있다. 이는 특히 편리할 뿐만 아니라, 애플리케이션에 특정 라이프스타일 요소를 추가한다. 대안적인 실현에서, 애플리케이션은 거울을 포함하는 장치(통상적으로 "스마트 거울"로 지칭됨)에 통합된 컴퓨팅 디바이스 상에서 실행될 수 있으며, 이는, 예를 들어, 사용자의 욕실에서 정규적으로 예컨대 아침마다 얼굴 분석을 수행하는 것을 가능하게 할 수 있다.
도 1은 사용자가 사용자의 얼굴의 적절한 이미지를 촬영하도록 가이드하기 위한 예시적인 사용자 인터페이스를 예시한다. 확인될 수 있는 바와 같이, 애플리케이션은 고품질 입력 이미지를 촬영하는 방법에 대한 시각적 지시들을 사용자에게 제공할 수 있다. 이러한 시각적 지시들은, 사용자가 카메라에 대해 얼굴을 적절하게 위치시키는 것을 가능하게 하기 위한 경계 타원, 원, 박스 또는 유사한 것 및/또는 하나 이상의 가이딩 라인들을 디스플레이하는 것을 포함할 수 있다. 시각적 지시들은, 조명의 레벨, 얼굴 위치설정 및/또는 얼굴 배향이 적절한지 여부를 나타내기 위한 하나 이상의 표시자들을 더 포함할 수 있다. 이러한 시각적 지시들 및/또는 표시자들은 사용자가 카메라의 전방으로 얼굴을 이동시킴에 따라 실시간으로 인터랙티브하게 변화할 수 있으며, 그럼으로써 사용자가 계속된 및/또는 가이드된 인간-기계 상호작용 프로세스에 의해 하나 이상의 이미지들/사진들의 촬영을 수행하는 데 도움을 준다.
선호되는 실시예에서, 애플리케이션은 일련의 사진들을 통해 사용자를 인터랙티브하게 가이드한다. 도 1은, 중립적인 표정을 갖는 사진이 애플리케이션에 의해 요청되는 일 예를 도시한다. 하나의 특정 실시예에서, 애플리케이션은 정확히 4개의 사진들을 촬영하도록 사용자에게 프롬프트한다: 중립적인 표정, 웃는 표정, 화난 표정, 및 이상적으로는 카메라에 대해 약 45도 각도의 프로파일 뷰. 그러나, 다른 각도들, 예컨대 20도 내지 70도 사이, 30도 내지 60도 사이의 각도, 또는 일반적으로 대략 20도, 25도, 30도, 35도, 40도, 45도, 50도, 55도, 60도, 65도 또는 70도의 각도가 사용될 수 있다. 사용자는 언급된 시퀀스로 사진들을 촬영하도록 프롬프트될 수 있지만, 이것이 절대적으로 필요한 것은 아니다. 실험들은, 언급된 표정들 및/또는 배향들을 갖는 4개의 입력 이미지들의 대응하는 세트가 이미지들의 생성 동안 사용자의 최소한의 관여만을 필요로 하면서 동시에 충분한 품질을 갖는 얼굴 분석을 위한 입력 데이터를 생성한다는 것을 보여주었다. 그러나, 입력 이미지들의 다른 세트가 본 발명의 실시예들에서 사용될 수 있다. 예를 들어, 일 실시예는 2개의 디지털 이미지들, 즉 정면 뷰를 갖는 제1 디지털 이미지(이는 얼굴의 전반적인 기하구조 및 몇몇 관련 생체측정 파라미터들의 검출을 가능하게 함) 및 사용자의 얼굴의 측방 뷰를 갖는 제2 디지털 이미지(이는 턱선의 검출을 가능하게 함)을 포함할 수 있다. 또한, 주름들과 같은 특정 생체측정 파라미터들의 가시성을 추가로 개선하기 위해, 웃는 것 또는 찡그리는 것과 같은 비-중립적인 표정을 갖는 제3 이미지가 사용될 수 있다.
일단 요구된 입력 이미지들이 획득되면, 애플리케이션은 캡처된 하나 이상의 디지털 이미지들에서 사용자의 얼굴의 하나 이상의 생체측정 파라미터들을 검출하기 위한 이미지 프로세싱을 수행할 수 있다. 이를 위해, 이미지 프로세싱은 애플리케이션을 실행하고 있는 디바이스 상에서 직접적으로 수행될 수 있거나, 또는, 대안적으로, 애플리케이션은 획득된 이미지들을 네트워크를 통해 서버로 전송할 수 있으며, 서버는 이미지 프로세싱을 수행하고 결과들을 다시 애플리케이션으로 전송한다.
검출된 생체측정 파라미터들은, 피부 텍스처(특히 코, 윗입술, 눈밑 영역 및/또는 볼과 관련됨), 주름들(특히 눈꺼풀들, 미간, 눈밑 영역, 턱, 눈가의 잔주름, 마리오네트 주름들, 팔자주름 영역, 윗입술, 방사상 영역 및/또는 이마와 관련됨), 색상(특히 헤모글로빈, 밝기 및/또는 멜라닌과 관련됨), 볼륨(특히 볼(들), 눈 홈 및/또는 얼굴 중앙 영역과 관련됨), 비율들(특히 코, 윗입술 및/또는 아랫입술 사이의 거리, 턱 너비, 입술 너비 및/또는 V자 모양과 관련됨) 및/또는 기하학적 구조(특히 눈썹 아치와 관련됨)와 연관된 파라미터들을 포함할 수 있다.
입력 이미지들로부터 하나 이상의 생체측정 파라미터들과 같은 특징들을 추출하는 것은 다양한 얼굴 인식 알고리즘들을 수반할 수 있다. 이러한 이미지 프로세싱이 상당한 컴퓨팅 파워를 필요로 할 수 있으며 따라서 얼굴 인식의 정확도와 요구되는 프로세싱 자원들 사이의 트레이드-오프가 취해질 수 있다는 것이 이해되어야 한다. 특히, 더 많은, 더 적은 또는 다른 파라미터들이 얼굴 분석의 필요한 정확도에 따라 본 발명의 실시예들에서 사용될 수 있으며, 실행가능한 생체측정 파라미터들의 상세 리스트는 이하에서 추가로 제공될 것이다.
일부 실시예들에서, 검출된 생체측정 파라미터들의 값들은 더 복잡하고 더 고-레벨의 생체측정 파라미터들로 결합되고, 궁극적으로는 사용자의 얼굴의 하나 이상의 대표 생리학적 특성들로 결합될 수 있다. 스코어는 하나 이상의 생리학적 특성들 각각에 할당될 수 있다. 스코어링은 사용자 디바이스 상에서 로컬적으로 또는 원격 서버 상에서 수행될 수 있다. 도 2의 좌측에 도시된 실시예에서, 생리학적 특성들은 피부 텍스처, 비율, 대칭성, 볼륨, 색상, 입술 및/또는 주름을 포함하며, 이는 사용자의 얼굴의 정교한 평가로 이어진다. 다른 실시예들에서, 생리학적 특성들은, 도 2의 우측에 도시된 바와 같이, 매력에 대한 단일 스코어 및/또는 젊음에 대한 단일 스코어와 같이 훨씬 더 많이 결합된 생리학적 특성들일 수 있다. 도 2에 또한 도시된 바와 같이, 생리학적 특성들 및/또는 그들의 스코어들뿐만 아니라 최적 또는 목표 값이 디스플레이될 수 있다.
도 3은 예시적인 개인에 대한 개별적인 생체측정 파라미터들(이러한 예에서: 턱 주름들, 입의 코너에서의 방사상 주름들, 얼굴-중앙 볼륨/볼들, 눈가 주름, 이마 주름들, 아래턱의 색 조화, 아래 눈꺼풀 주름들) 및 그들의 개별적인 스코어의 예들을 예시한다. 각각의 디스플레이되는 생체측정 파라미터에 대한 개인 개선 가능성, 즉, 개별적인 생체측정 파라미터가 적절한 조치를 사용하여 개선될 수 있는 정도가 또한 도시된다. 이를 위해, 적절한 치료들이 또한 도 3에 디스플레이된다. 따라서, 애플리케이션은, 하나 이상의 생체측정 파라미터들 및/또는 생리학적 특성들과 연관된 스코어를 개선하기 위한 하나 이상의 치료들을 사용자에게 추천할 수 있다. 다른 예로서, 도 4의 실시예에 예시된 바와 같이, 사용자가 사용자의 이마 주름들을 개선할 가능성을 갖는 경우, 애플리케이션은 필러 치료를 적용하기 위한 추천을 디스플레이할 수 있으며, 이러한 치료와 연관된 관련 정보를 제공할 수 있다(도 4의 좌측 참조). 또한, 애플리케이션은, 도 4의 우측에 도시된 바와 같이, 하나 이상의 치료들을 적용하기 위한 유능한 전문가들을 추천할 수 있다.
특정 실시예들에서, 개인화된 및/또는 개별화된 치료 계획들이 얼굴 분석 결과들로부터 도출되어 사용자에게 추천될 수 있다. 일반적으로, 치료 계획은 복수의 선택된 치료 옵션들을 포함할 수 있다. 예를 들어, 치료 계획은, 젊음을 개선하기 위한 특정한 특정 치료 옵션들 및/또는 매력을 개선하기 위한 다른 특정 치료 옵션들을 포함할 수 있다(예를 들어, 각각 3개의 치료 옵션들).
예들은 도 5에 예시된다. 좌측에서 확인될 수 있는 바와 같이, 애플리케이션은, 젊음에 가장 크게 영향을 주는 3개의 생체측정 파라미터들(이러한 예에서: 입의 코너에서의 방사상 주름들, 턱 주름들 및 얼굴-중앙 볼륨/볼들, 눈가 주름)을 사용자에게 디스플레이한다. 도 5의 우측에서, 애플리케이션은 매력에 가장 크게 영향을 주는 3개의 생체측정 파라미터들(이러한 예에서: 이마 주름들, 아래 눈꺼풀 주름들 및 아래턱의 색 조화)을 디스플레이한다.
모델 도출
사용자의 얼굴의 생리학적 특성들의 특히 정확한 및/또는 객관적인 평가를 제공하기 위해, 다음과 같이 얼굴 매력에 대한 객관적인 예측자들뿐만 아니라 젊음에 대한 객관적인 예측자들을 식별하고 정량화하기 위해 임상 연구의 맥락에서 모델이 개발되었다:
일련의 표준화된 인물 사진들이, 묘사된 얼굴들의 매력/젊음과 관련하여 전문가들에 의해 평가되었다.
그런 다음 사진들은, 비제한적으로, 수평 눈 거리, 윗입술과 코 사이의 수직 거리, 이마 주름들, 턱 주름들, 피부 균질성, 피부 톤, 등과 같은 수백 가지 개별적인 (생체측정) 파라미터들로 디지털적으로 특징지어졌다. 연구의 일 변형에서, 생체측정 파라미터들은 13개의 정의된 얼굴 영역들에 대한 기하구조, 주름, 볼륨, 피부 표면 균질성 및/또는 피부 색상 변수들을 포함하였다. 파라미터들은 진성/표현형 파라미터들 및 수정가능 파라미터들로 분류되었다. 측면-특정 파라미터들(우측, 좌측)은 평균 또는 합계 중 더 의미 있는 것을 사용하여 결합되었다. 얼굴-특정 평균은 밝기, 헤모글로빈 및 멜라닌 파라미터들뿐만 아니라 얼굴-특정 평균으로부터의 영역적 차이들에 대해 계산되었다. 헤모글로빈에 대해, 절대 평균 값들은 볼 영역에 의해 그리고 얼굴의 나머지에 대해 별도로 계층화되었다.
디지털적으로 추출된 파라미터들에 기초하여 그리고 그들의 분류를 고려하여, 개인 매력 및/또는 젊음이 계산되었다. 따라서, 각각의 개인에 대해, 진성/표현형 및 수정가능 파라미터들의 개별적인 구성 및 가중을 포함하는 모델이 생성되었다.
추가적으로, 일련의 사진들의 변동성에 기초하여, 높은 매력 및/또는 젊음과 관련한 각각의 수정가능 파라미터에 대한 최적 값이 결정되었다. 이는, 최적치로부터의 각각의 수정가능 파라미터들의 개별적인 편차를 결정할 뿐만 아니라 매력 및/또는 젊음에 대한 개별적인 최적 값의 예상된 영향을 결정하는 것을 가능하게 하였다.
각각의 생체측정 파라미터의 빈도 분포는 각각의 노출 변수에 대한 히스토그램들을 사용하여 분석되고 제시되었다. 각각의 생체측정 파라미터들의 이상값들은 터키 펜스(Tukey fence)들을 사용하여 정의되었으며, 즉, 노출 변수 값들 >0.75-분위수(quantile) + 1.5 * 사분위수 범위(interquartile range; IQR) 또는 <0.25-분위수 - 1.5 * IQR.
등급(rating)들의 타당성을 조사하기 위해 성별에 의해 계층화된 평가자별 등급들의 빈도 분포가 수행되었다.
관심의 노출들과 얼굴 매력 사이의 연관들이 3-단계 접근방식으로 추정되었다:
(1) 준-단변량(quasi-univariate) 일반화 추가 모델(generalized additive model; GAM)들(Wood, 2006)은 단일 관찰로서 각각의 대상자-평가자 조합을 사용하여 각각의 관심의 노출에 대해 피팅되었다. 각각의 모델은 단 하나의 관심의 노출만을 포함했으며, 나이 및 평가자에 대해 조정되었고, 대상자별로 클러스터링되었다.
(2) 관련 노출 변수들은 준-단변량 모델들(p<0.1)로부터 정의되었으며, 나이와 평가자에 대해 조정된 다변량 GAM에 포함되었고, 대상자별로 클러스터링되었다.
(3) 최종 다변량 GAM은, <0.4의 추정된 자유도로 수정가능하지 않은 것으로 정의된 노출 변수들을 제거함으로써 (2)로부터 식별되었다.
노출 변수들에 대한 최적 값들은 다변량 모델로부터의 이러한 변수와 매력 등급의 추정된 연관으로부터 식별되었지만, 관찰된 값들로 제한되었다. 스코어 노출 변수들(예를 들어, 주름 스코어들)에 대해 모든 관찰된 변수 값들이 고려되었다. 각각의 다른 수정가능 변수에 대해, 최적 값들은 개별적인 변수들의 10 내지 90 퍼센트 범위로부터 결정되었다.
도 6은, 생체측정 파라미터 "눈썹들의 거리"와 매력 사이의 연관의 예시적인 예를 도시한다. 우측 상의 도면의 수직 라인은 이상적인 값을 나타낸다. 도 7은, 생체측정 파라미터 "이마 주름들"과 매력 사이의 연관을 도시한다. 우측 도면의 좌측에 있는 이상적인 값(수직 라인)의 위치는 선형 관계를 나타낸다.
매력에 대한 영향은, 하나의 노출 변수를 그 최적 값으로 변경하고 모든 다른 변수들을 고정함으로써 모든 개인들에 대해 계산되었다.
상위 3개의 파라미터들, 즉, 매력 및/또는 젊음에 대해 가장 큰 영향을 주는 파라미터들이 각각의 개인에 대해 선택되었고 하나 이상의 우선순위화된 치료들과 연관되었다. 다음에서, 3개의 예시적인 예들이 제공된다:
정성적 예 1:
멜라닌(편차): 윗입술
거리(수직): 아랫입술로부터 윗입술까지
헤모글로빈(평균 값): 볼 제외(without cheek)
정성적 예 2:
주름들: 피부
밝기(편차): 아래턱
거리(수직): 아랫입술로부터 윗입술까지
정성적 예 3:
밝기(편차): 아래턱
헤모글로빈(평균 값): 볼 제외
거리(수직): 아랫입술로부터 윗입술까지
본 발명의 실시예들에서, 하나 이상의 생체측정 파라미터들은 다음을 포함하는 그룹으로부터 선택될 수 있다:
- 적어도 하나의 기하구조-관련 파라미터, 예컨대 거리(수평): 눈(동공), 거리(수직): 턱으로부터 아랫입술까지, 거리(수직): 아랫입술로부터 윗입술까지, 거리(수직): 윗입술로부터 코까지, 거리(수직): 코로부터 눈썹까지, 거리(수직): 눈썹으로부터 헤어라인까지, 거리(수평): 눈(안쪽), 거리(수평): 눈으로부터 코까지, 거리(수평): 눈썹, 높이: 아랫입술, 높이: 윗입술, 너비: 얼굴(버전 A), 너비: 얼굴(버전B), 폭: 눈, 폭: 턱, 폭: 코, 폭: 입술, V자-모양, 얼굴-중앙 볼륨, 비율(수평): 눈썹, 비율(수직): 눈썹(1), 비율(수직): 눈썹(2), 비율(수직): 눈썹(3) 및/또는 각도: 눈 축으로부터 눈썹까지/내부 각도;
- 적어도 하나의 주름-관련 파라미터, 예컨대 주름: 미간, 주름: 눈가 주름, 주름: 이마, 주름: 윗입술, 주름: 팔자 주름, 주름: 마리오네트, 주름: 눈밑 주름, 주름: 눈꺼풀, 주름: 방사상 및/또는 주름: 턱;
- 적어도 하나의 균질성-관련 파라미터들, 예컨대 가보르 에너지(Gabor energy): 턱, 가보르 에너지: 윗입술, 가보르 에너지: 코, 가보르 에너지: 아래턱, 가보르 에너지: 볼, 가보르 에너지: 눈밑 및/또는 가보르 에너지: 이마;
- 적어도 하나의 헤모글로빈-관련 파라미터, 예컨대, 헤모글로빈: 볼, 헤모글로빈(평균 값): 볼 제외, 헤모글로빈(편차): 볼, 헤모글로빈(편차): 코, 헤모글로빈(편차): 아래턱, 헤모글로빈(편차): 윗입술, 헤모글로빈(편차): 이마, 및/또는 헤모글로빈(편차): 눈밑;
- 적어도 하나의 밝기-관련 파라미터, 예컨대, 밝기(평균 값), 밝기(편차): 아래턱, 밝기(편차): 턱, 밝기(편차): 코, 밝기(편차): 윗입술, 밝기(편차): 이마, 밝기(편차): 눈밑, 및/또는 밝기(편차): 볼;
- 적어도 하나의 멜라닌-관련 파라미터, 예컨대, 멜라닌(평균 값), 멜라닌(편차): 아래턱, 멜라닌(편차): 턱, 멜라닌(편차): 코, 멜라닌(편차): 윗입술, 멜라닌(편차): 이마, 멜라닌(편차): 눈밑, 및/또는 멜라닌(편차): 볼; 및/또는
- 적어도 하나의 HSV-관련 파라미터, 예컨대, 전체 픽셀에 대한 포화 비율: 아랫입술, 총 픽셀에 대한 다채로운(colorful) 비율: 아랫입술, 전체 픽셀에 대한 포화 비율: 윗입술, 및/또는 전체 픽셀에 대한 다채로운 비율: 윗입술.
본 발명의 실시예들에서, 특히 정확한 매력 스코어를 도출하기 위해, 하나 이상의 생체측정 파라미터들은 다음을 포함하는 그룹으로부터 선택될 수 있다:
- 적어도 하나의 기하구조-관련 파라미터, 예컨대, 높이: 아랫입술, 얼굴-중앙 볼륨, 거리(수직): 윗입술로부터 코까지, V자-모양, 너비: 턱, 각도: 눈 축 대 눈썹 안쪽 각도, 거리(수직): 아랫입술로부터 윗입술까지, 너비: 입술, 높이: 윗입술, 너비: 눈, 거리(수평): 눈썹, 비율(수직): 눈썹(2), 거리(수평): 눈(동공) 및/또는 거리(수평): 눈으로부터 코까지;
- 적어도 하나의 주름-관련 파라미터, 예컨대, 주름: 이마, 주름: 윗입술, 주름: 마리오네트, 주름: 눈밑, 주름: 방사상, 주름: 턱, 주름: 미간 및/또는 주름: 팔자주름;
- 적어도 하나의 균질성-관련 파라미터, 예컨대, 가보르 에너지: 코;
- 적어도 하나의 헤모글로빈-관련 파라미터, 예컨대, 헤모글로빈(평균): 볼 제외, 및/또는 헤모글로빈: 볼;
- 적어도 하나의 밝기-관련 파라미터, 예컨대, 밝기(편차): 아래턱, 및/또는 밝기(평균); 및/또는
- 적어도 하나의 멜라닌-관련 파라미터, 예컨대, 멜라닌(편차): 볼, 및/또는 멜라닌(편차): 눈밑.
본 발명의 실시예들에서, 특히 정확한 젊음 스코어를 도출하기 위해, 하나 이상의 생체측정 파라미터들은 다음을 포함하는 그룹으로부터 선택될 수 있다:
- 적어도 하나의 기하구조-관련 파라미터, 예컨대, 높이: 아랫입술, V-자 모양, 얼굴-중앙 볼륨, 높이: 윗입술, 거리(수직): 아랫입술로부터 윗입술까지, 거리(수직) 윗입술로부터 코까지, 각도: 눈축 대 눈썹 안쪽 각도 및/ 또는 너비: 턱;
- 적어도 하나의 주름-관련 파라미터, 예컨대, 주름: 미간, 주름: 눈가 주름, 주름: 이마, 주름: 윗입술, 주름: 팔자 주름, 주름: 마리오네트, 주름: 눈밑, 주름: 방사상 및/또는 주름: 턱;
- 적어도 하나의 균질성-관련 파라미터, 예컨대, 가보르 에너지: 코, 가보르 에너지: 윗입술, 및/또는 가보르 에너지: 볼;
- 적어도 하나의 밝기-관련 파라미터, 예컨대, 밝기(편차): 볼; 및/또는
- 적어도 하나의 멜라닌-관련 파라미터, 예컨대, 멜라닌(편차): 윗입술, 멜라닌(편차): 볼, 및/또는 멜라닌(편차): 아래턱.
다음의 표는 추정된 매력에 대한 이상에서 언급된 생체측정 파라미터들 중 선택된 것들 사이의 연관의 예시적이고 비제한적인 예들을 보여준다:
다음의 표는 5명의 예시적인 개인들에 대한 상위 3개의 수정가능 추정 매력 동인(driver)들을 보여준다:
다음의 표는 추정된 나이/젊음에 대한 이상에서 언급된 생체측정 파라미터들 중 선택된 것들 사이의 연관의 예시적이고 비제한적인 예들을 보여준다:
다음의 표는 5명의 예시적인 개인들에 대한 상위 3개의 수정가능 추정 나이/젊음 동인들을 보여준다:
다음의 표는 사용자-친화적인 설명과 하나 이상의 적절한 치료 옵션들의 연관으로 매력 및/또는 젊음에 대한 주요 동인들(생체측정 파라미터들)을 보여준다:
일반적으로 말해서, 주요 동인들, 즉, 생체측정 파라미터들은 사용자의 얼굴/신체 부위(들)의 결함들을 나타낼 수 있다. 결함이 심각할 수록, 생리학적 특성(들)의 스코어가 더 낮을 것이거나 및/또는 최적화 가능성이 더 높을 수 있다.
특정 연구들에서, 다음의 생체측정 파라미터들이 매력에 대해 가장 중요한 영향을 가졌다: 헤모글로빈: 볼, 주름: 윗입술, 주름: 눈밑, 헤모글로빈(평균): 볼 제외, 주름: 방사상.
특정 연구들에서, 다음의 생체측정 파라미터들이 젊음에 대해 가장 중요한 영향을 가졌다: 주름: 윗입술, 헤모글로빈(평균): 볼 제외, 멜라닌(편차): 아래턱, 밝기(평균), 멜라닌(편차): 볼.
따라서, 본 발명의 특정 실시예들에서, 이상의 생체측정 파라미터들 또는 이의 임의의 서브세트가 선택될 수 있다.
기계 학습 구현
일반적으로 말해서, 기계 학습 모델의 품질은 트레이닝 데이터 세트들(예를 들어, 이미지들), 이미지들로부터 추출된 특징들(예를 들어, 생체측정 파라미터들), 목표 값들(예를 들어, 전문가의 매력 평가) 및/또는 모델링 방법들에 의존한다. 데이터 세트들은, 구성 및 품질 측면에서 데이터 세트들이 런타임 동안 이후에 사용될 것들에 대응하는 경우 적합하다. 특징들은, 특징들이 추정과 관련된 데이터의 특성들을 나타내고 동시에 랜덤 상관들을 억제하는 경우 적합하다. 목표 값들은, 목표 값들이 가능한 한 명확하고/객관적인 경우 적합하다. 예를 들어, 모델이 유사한 결과들을 산출할 수 있는지 여부를 체크하기 위해 전문가들의 동의(예를 들어, 클래스 내 상관 ICC 2.1)를 사용하는 것이 의미가 있다. 통계적-미적 모델링 기술들은 고-품질 데이터-기반 모델링의 중요한 측면이다. 모델 복잡성을 적절하게 선택하는 것이 중요하다. 따라서, 단순한 방법으로 시작하고, 그런 다음 (사용 가능한 데이터를 가정하여) 더 복잡해지는 것이 바람직하다. 특히, 오버피팅(overfitting)이 회피되어야 하며, 이는 적절한 테스트 방법들(예를 들어, 홀드-아웃 테스트 세트, 교차 검증)을 통해 달성될 수 있다.
데이터 세트들(본 케이스에서: 이미지들)의 수는 관련이 있다. 일반적으로 말해서, 이미지들이 더 많을 수록 결과들이 더 양호해질 것이다. 데이터 세트들이 대표적이고 관련 특징들을 포함한다고 가정하면, "단순한" 방법들은 또한 전체 매력 및 개별적인 생체측정 파라미터들의 영향을 추정하기 위해 더 적은 데이터 세트들로도 모델링될 수 있다. 이전 결과들은 높은 임상적 타당성을 보여주었다. 이러한 모델들로부터 시작하여, 상이한 방법들이 모델 복잡성을 증가시키기 위해 사용될 수 있으며, 새로운 모델들이 추정 품질을 개선하는지 여부가 체크될 수 있다. 주어진 모델링 방법에 필요한 데이터 세트들의 양에 대한 일반적인 경험 법칙은 없다. 그러나, 전체 매력 및 젊음에 대한 임상적으로 타당한 예측자들의 정밀도는 이미지들의 수가 증가함에 따라 증가할 것으로 가정된다.
예를 들어, 매우 복잡한 특징들(얼굴의 특정 측면들을 설명함)의 경우에, 비교적 단순한 모델들(예를 들어, 선형 회귀)이 양호한 추정들을 야기할 수 있다. 여기서, 문제 복잡성의 큰 부분은 이미 특징들에 구현되었다.
심층 신경망(deep neural network; DNN)을 사용하면, 흔히 특징 추출의 단계는 모델 구축의 단계와 연결된다. 이는, 특정 표현 및 추정 모델이 동시에 트레이닝된다는 것을 의미한다. 따라서, DNN들은, 가장 단순한 경우에 모델이 "0으로부터" 시작하기 때문에 매우 큰 데이터 세트를 필요로 한다. 문헌에서 그리고 실제에서, 전이 학습과 같은 방법들이 이를 위해 널리 사용되어 왔다. 전이 학습을 사용하면, 방법은 (유사한 문제 도메인에 대한) 공개적으로 이용가능한 데이터 세트로 사전-트레이닝될 수 있다. 그런 다음, 사전-트레이닝된 모델은 특정 문제 도메인으로부터의 상대적으로 적은 수의 예들만을 사용하여 이후에 정제된다(소위 퓨-샷(few-shot) 또는 온-샷(on-shot) 학습).
(얼굴 윤곽 검출 및 관련 특징들의 식별을 통한) 본 발명의 실시예들의 매력, 젊음 및/또는 나이를 추정하기 위한 본 기술들은 이미 수백 개의 이미지들의 특성들 및 인간 전문가들의 경험뿐만 아니라 무수한 공개물들로부터의 학습들을 구현하고 있다. DNN은 먼저 예들로부터 이 모든 것을 학습해야 할 것이다.
일반적으로 말해서, 신경망들은 그 복잡성에서 매우 유연하며, 수십 내지 수백만 개의 파라미터들을 정의할 수 있다. 단순한 모델들(적은 파라미터들을 가짐)은 더 적은 데이터만을 필요로 한다.
실험들은, 예를 들어, 500개의 이미지들이 얼굴의 이미지들로부터 직접적으로 매력 및/또는 젊음을 추정하기에 충분하지 않지만, 대략 10,000개의 이미지들이 충분할 수 있다는 것을 보여주었다. 본 발명(복잡한 수동으로 개발된 특징들을 가짐)의 경우에, 더 적은 이미지들이 안정적인 추정을 위해 충분할 수 있다.
테스트 이미지들(모델을 구축하기 위해 사용되지 않음)을 통해 모델 추정의 유효성을 확인하는 것이 경우들 둘 모두에서 바람직하다.
이상의 내용은, 본 발명의 실시예들에서 현재 이용되는 기술이 이미지 분류, 클러스터링 또는 텍스트 분석의 영역들에서의 고전적인 심층 학습 접근방식들과 매우 상이한 이유를 예시한다.
추가 실시예들
추가적인 실시예들이 다음과 같이 개시된다:
1. 랜드마크들의 분석에 기초하여 객관적인 매력 및/또는 청소년성(juvenileness) 인덱스를 식별하고 젊고 매력적인 외모의 개선을 위한 환자 치료 옵션들을 우선순위화하기 위한 컴퓨터-구현 방법으로서,
상기 환자의 하나 이상의 디지털 사진들(얼굴, 신체,...)의 측정 결과들을 검색하는 단계,
랜드마크들에 대한 치료와 관련된 규칙들을 식별하는 것을 통해 하나 이상의 랜드마크들의 세트 중 임의의 것과 연관된 치료들의 조합을 식별하는 단계로서, 상기 규칙들은 자기-학습 치료-정보 데이터베이스에 저장되며, 상기 규칙들은 치료 이후의 객관적인 결과의 하나 또는 몇몇 관찰들에 대응하는, 단계,
랜드마크들에 기초하여 검색된 측정치들에 대한 상기 객관적 매력 및/또는 청소년성 인덱스를 결정하고, 식별된 치료들 중 하나 이상이 적용될 경우 상기 객관적인 매력 및/또는 청소년성 인덱스의 변화를 결정하는 단계,
상기 객관적인 매력 및/또는 청소년성 인덱스의 결정된 변화에 기초하여 식별되고 조합되며 우선순위화된 (복수의) 치료들 각각에 대한 영향을 결정하는 단계로서, 상기 랜드마크들은 상이하게 등급이 매겨지는, 단계, 및
객관적인 근거들에 따라, 상기 환자에 대한 상기 객관적인 매력 및/또는 젊음(youthfulness) 인덱스를 증가시키기 위한 치료 옵션 및 치료들의 우선순위를 제공하기 위해 결정된 영향에 따라 식별된 복수의 치료들의 순서를 매기는 단계를 포함하며,
피부, 주름들, 색상, 볼륨, 비율들, 기하구조와 관련된 상기 랜드마크들 중 하나 이상을 선택함으로써 스코어가 계산되는 것을 특징으로 하는, 방법.
2. 실시예 1에 있어서, 치료 옵션들의 순서가 매겨진 리스트가 생성되며, 치료 옵션들은, 순서가 매겨진 리스트의 출력 및 가장 큰 영향을 갖는 치료로부터 시작하여 상기 객관적인 매력 및/또는 청소년성 인덱스에 대한 그들의 결정된 영향에 기초하여 순서가 매겨지는 것을 특징으로 하는, 방법.
3. 실시예 2에 있어서, 제1 치료가 순서가 매겨진 리스트로부터 선택되고 상기 환자는 그에 따라 치료되는, 방법.
4. 검증된 알고리즘들을 사용하여 관련된 랜드마크들의 객관적인 분석에 기초하여 사람 얼굴들 및/또는 신체의 매력 및 젊음을 최적화하기 위한 개별화되고 우선순위화된 치료 계획들의 식별을 위한 방법.
본원에서 설명된 시스템들 및 방법들은, 단일 시스템 내에 또는 다수의 컴퓨터 시스템들에 걸쳐 다양한 형태들로 활성 및 비활성 둘 모두로 존재할 수 있는 컴퓨터 프로그램 또는 복수의 컴퓨터 프로그램들에 의해 구현될 수 있다. 예를 들어, 이들은 단계들 중 일부를 수행하기 위한 소스 코드, 객체 코드, 실행가능 코드 또는 다른 포맷들의 프로그램 명령어들로 구성된 소프트웨어 프로그램(들)으로서 존재할 수 있다. 이상의 것들 중 임의의 것은 압축된 또는 비압축된 형태로 저장 디바이스들 및 신호들을 포함하는 컴퓨터 판독가능 매체 상에 구현될 수 있다.
용어 "컴퓨터"는, 범용 중앙 프로세싱 유닛(central processing unit; CPU), 특수 목적 프로세서 또는 마이크로제어기와 같은 프로세서를 포함하는 임의의 전자 디바이스를 의미한다. 컴퓨터는 데이터(입력)를 수신하고 이에 대해 미리 결정된 동작들의 시퀀스를 수행하여 정보 또는 신호들(출력)의 형태로 결과를 생성할 수 있다. 콘텍스트에 의존하여, 용어 "컴퓨터"는 특히 프로세스를 의미하거나, 또는 더 일반적으로, 단일 케이스 또는 하우징 내에 포함된 상호관련된 요소들의 집합과 연관된 프로세서를 의미할 수 있다.
모바일 디바이스는, 무선 전화, 개인용 디지털 보조기기(Personal Digital Assistant; PDA), 스마트폰, 태블릿, 등을 포함하는 임의의 유형의 휴대용 전자 디바이스일 수 있다. 모바일 디바이스는 디스플레이, 전지구 측위 시스템(Global Positioning System; GPS) 모듈, 전지구 네비게이션 위성 시스템(Global Navigation Satelite System; GLONASS) 모듈, 컴퍼스, 하나 이상의 카메라들 및 다양한 다른 입력/출력(input/output; I/O) 구성요소들을 포함할 수 있다.
본원에서 사용되는 "컴퓨터-판독가능 매체" 또는 "저장 매체"는, 명령어 실행 시스템, 장치, 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나, 저장하거나, 통신하거나, 전파하거나, 또는 전송할 수 있는 임의의 수단일 수 있다. 컴퓨터-판독가능 매체는, 예를 들어, 비제한적으로, 전자, 자기, 광, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 전파 매체일 수 있다. 컴퓨터 판독가능 매체의 더 구체적인 예들(철저하지 않은 목록)은 다음을 포함할 수 있다: 하나 이상의 와이어들을 갖는 전기적 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 소거가능 프로그램가능 판독-전용 메모리(EPROM 또는 플래시 메모리), 광 섬유, 및 휴대용 콤팩트 디스크 판독-전용 메모리(CD-ROM).
Claims (15)
- 컴퓨터-구현 신체 부위 분석 방법으로서,
이미지 캡처링 디바이스에 의해 캡처된, 사용자의 적어도 하나의 신체 부위, 특히 상기 사용자의 얼굴의 하나 이상의 디지털 이미지들을 획득하는 단계를 포함하는, 이미지 획득 단계;
캡처된 하나 이상의 디지털 이미지들 내의 상기 적어도 하나의 신체 부위의 하나 이상의 생체측정 파라미터들을 검출하는 단계를 포함하는, 이미지 프로세싱 단계; 및
검출된 하나 이상의 생체측정 파라미터들에 기초하여 상기 적어도 하나의 신체 부위의 하나 이상의 생리학적 특성들 각각에 대한 스코어를 결정하는 단계를 포함하는, 평가 단계를 포함하는, 방법.
- 청구항 1에 있어서,
상기 하나 이상의 생체측정 파라미터들은,
피부 텍스처로서, 특히 코, 윗입술, 눈밑 영역 및/또는 볼과 관련된 피부 텍스처;
주름들로서, 특히 눈꺼풀, 미간, 눈밑 영역, 턱, 눈가 주름, 마리오네트(marionette) 주름, 팔자주름 영역, 윗입술, 방사상 영역 및/또는 이마와 관련된 주름들;
색상으로서, 특히 헤모글로빈, 밝기 및/또는 멜라닌과 관련된 색상;
볼륨으로서, 특히 볼(들), 눈 홈(eye groove) 및/또는 얼굴 중앙 영역과 관련된 볼륨;
비율들로서, 특히 코, 윗입술 및/또는 아래 입술 사이의 거리, 턱 너비, 입술 너비 및/또는 V자-모양에 관한 비율들; 및/또는
기하구조, 특히 눈썹 아치와 관련된 기하구조를 포함하는 그룹으로부터 선택되는, 방법.
- 선행하는 청구항들 중 어느 한 항에 있어서,
상기 하나 이상의 생리학적 특성들은, 상기 사용자의 피부 단단함, 피부 매끄러움, 피부 탄성, 인지된 나이, 매력 및/또는 젊음을 포함하는, 방법.
- 선행하는 청구항들 중 어느 한 항에 있어서,
상기 하나 이상의 디지털 이미지들은, 바람직하게는 중립적인 표정을 갖는, 상기 사용자 얼굴의 정면 뷰를 갖는 제1 디지털 이미지를 포함하며,
상기 하나 이상의 디지털 이미지들은, 바람직하게는 중립적인 표정을 갖는, 상기 사용자 얼굴의 측방 뷰를 갖는 제2 디지털 이미지를 더 포함하고,
상기 하나 이상의 디지털 이미지들은, 바람직하게는 상기 제1 디지털 이미지의 표정과는 상이한 표정을 갖는 상기 사용자의 얼굴의 정면 뷰를 갖는 제3 디지털 이미지를 더 포함하며,
상기 제3 디지털 이미지의 표정은 웃는 표정 또는 찡그린 표정이고,
상기 제3 디지털 이미지의 표정은 웃는 표정이며, 상기 하나 이상의 디지털 이미지들은, 바람직하게는 찡그린 표정을 갖는 상기 사용자의 얼굴의 정면 뷰를 갖는 제4 디지털 이미지를 더 포함하고,
상기 측방 뷰를 갖는 상기 제2 디지털 이미지는 대략 20도 내지 70도 사이, 더 바람직하게는 30도 내지 60도 사이, 더욱 더 바람직하게는 대략 45도의 각도로 상기 사용자의 얼굴을 보여주며,
상기 이미지 획득 단계는, 조명, 상기 이미지 캡처링 디바이스에 대한 상기 사용자의 얼굴의 위치, 상기 이미지 캡처링 디바이스까지의 상기 사용자의 얼굴의 거리 및/또는 상기 이미지 캡처링 디바이스에 대한 상기 사용자의 얼굴의 배향을 조정하기 위한 지시들을 사용자에게 제공하는 단계를 더 포함하고,
상기 지시들을 제공하는 단계는, 상기 이미지 캡처링 디바이스와 연관된 디스플레이 상에 하나 이상의 리딩(leading) 라인들과 같은 텍스트, 심볼들 및/또는 시각적 표시들을 디스플레이하는 단계를 포함하는, 방법.
- 선행하는 청구항들 중 어느 한 항에 있어서,
상기 하나 이상의 디지털 이미지들은 모바일 디바이스, 특히 스마트폰을 사용하여 캡처되거나, 또는 상기 하나 이상의 디지털 이미지들은 스마트 거울에 통합된 전자 디바이스를 사용하여 캡처되는, 방법.
- 선행하는 청구항들 중 어느 한 항에 있어서,
상기 평가 단계는, 상기 하나 이상의 생체측정 특징들을 상기 적어도 하나의 신체 부위의 하나 이상의 생리학적 특성들에 대한 스코어에 매핑하도록 구성된 적어도 하나의 통계적 분류기를 사용하여 수행되며;
바람직하게는 제1 통계적 분류기는 생체측정 특징들의 제1 미리 정의된 세트를 매력 스코어에 매핑하도록 구성되고, 바람직하게는 제2 통계적 분류기는 생체측정 특징들의 제2 미리 정의된 세트를 젊음 스코어에 매핑하도록 구성되며, 생체측정 특징들의 상기 제1 및 제2 미리 정의된 세트는 바람직하게는 부분적으로 중첩하고,
상기 제1 미리 정의된 세트는 색상, 특히 헤모글로빈, 밝기 및/또는 멜라닌과 관련된 색상과 관련된 적어도 하나의 생체측정 파라미터를 포함하며,
상기 제2 미리 정의된 세트는, 주름들, 특히 눈꺼풀, 미간, 눈밑 영역, 턱, 눈가 주름, 마리오네트 주름, 팔자주름 영역, 윗입술, 방사상 영역 및/또는 이마와 관련된 주름들과 관련된 적어도 하나의 생체측정 파라미터를 포함하는, 방법.
- 선행하는 청구항들 중 어느 한 항에 있어서,
상기 통계적 분류기는 복수의 사람 얼굴들의 이미지들을 포함하는 트레이닝 데이터 세트, 하나 이상의 생체측정 파라미터들의 선택 및/또는 하나 이상의 생리학적 특성들 각각에 대한 스코어를 사용하여 트레이닝되었으며, 및/또는
상기 통계적 분류기는 SCUT-FBP와 같은 공개적으로 이용가능한 데이터 세트를 사용하여 트레이닝되었거나 및/또는 사전-트레이닝된, 방법.
- 선행하는 청구항들 중 어느 한 항에 있어서,
상기 통계적 분류기는 인공 신경망, 특히 심층 신경망인, 방법.
- 선행하는 청구항들 중 어느 한 항에 있어서,
상기 방법은, 상기 이미지 캡처링 디바이스와 연관된 디스플레이 상에 상기 하나 이상의 스코어들을 디스플레이하는 단계; 및
상기 하나 이상의 생리학적 특성들과 연관된 스코어를 개선하기 위한 하나 이상의 치료들을 상기 사용자에게 추천하는 단계를 더 포함하며,
하나 이상의 추천된 치료들은, 상기 하나 이상의 생리학적 특성들과 연관된 스코어를 개선하는 것에 대한 그들의 예측된 영향에 의해 랭크가 매겨지는, 방법.
- 선행하는 청구항들 중 어느 한 항에 있어서,
상기 방법은, 추천된 하나 이상의 치료들의 적용 이후에 상기 하나 이상의 스코어들의 추정된 변화를 디스플레이하는 단계를 더 포함하는, 방법.
- 청구항 1 내지 청구항 10 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 장치.
- 명령어들을 포함하는 컴퓨터 프로그램으로서, 상기 명령어들은, 상기 프로그램이 컴퓨터에 의해 실행될 때, 상기 컴퓨터가 청구항 1 내지 청구항 10 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터 프로그램.
- 명령어들을 포함하는 컴퓨터-판독가능 저장 매체로서, 상기 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터가 청구항 1 내지 청구항 10 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터-판독가능 저장 매체.
- 청구항 6의 상기 통계적 분류기를 트레이닝시키기 위한 트레이닝 데이터 세트로서, 복수의 사람 얼굴들의 이미지들, 하나 이상의 생체측정 파라미터들의 선택 및/또는 하나 이상의 생리학적 특성들 각각에 대한 스코어를 포함하는, 트레이닝 데이터 세트.
- 청구항 14의 상기 트레이닝 데이터 세트를 사용하여 청구항 6의 상기 통계적 분류기를 트레이닝시키는 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21174943 | 2021-05-20 | ||
| EP21174943.7 | 2021-05-20 | ||
| PCT/EP2022/063687 WO2022243498A1 (en) | 2021-05-20 | 2022-05-20 | Computer-based body part analysis methods and systems |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240009440A true KR20240009440A (ko) | 2024-01-22 |
Family
ID=76034507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237042621A KR20240009440A (ko) | 2021-05-20 | 2022-05-20 | 컴퓨터-기반 신체 부위 분석 방법들 및 시스템들 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20240265533A1 (ko) |
| EP (1) | EP4341851A1 (ko) |
| KR (1) | KR20240009440A (ko) |
| CN (1) | CN117355875A (ko) |
| AU (1) | AU2022276374A1 (ko) |
| CA (1) | CA3218635A1 (ko) |
| IL (1) | IL308471A (ko) |
| WO (1) | WO2022243498A1 (ko) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008057577A2 (en) | 2006-11-08 | 2008-05-15 | 24Eight Llc | Method and apparatus for recommending beauty-related products |
| US8005270B2 (en) * | 2008-04-11 | 2011-08-23 | Youdocs Llc | System and method for determining an objective measure of human beauty |
| US20180328945A1 (en) | 2015-11-10 | 2018-11-15 | Pathway Skin, Inc. | Methods and Systems for Improving Skin Condition |
| US10574883B2 (en) * | 2017-05-31 | 2020-02-25 | The Procter & Gamble Company | System and method for guiding a user to take a selfie |
| JP6849825B2 (ja) * | 2017-05-31 | 2021-03-31 | ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ | 見掛け肌年齢を判定するためのシステム及び方法 |
| CN111868742A (zh) | 2018-01-05 | 2020-10-30 | 莱雅公司 | 机器实现的面部健康和美容助理 |
| US11151362B2 (en) * | 2018-08-30 | 2021-10-19 | FaceValue B.V. | System and method for first impression analysis and face morphing by adjusting facial landmarks using faces scored for plural perceptive traits |
| US11039676B2 (en) * | 2019-07-21 | 2021-06-22 | Shaobo Kuang | System and method for selecting or recommending skincare, haircare, beauty or fashion products |
| CN112766019A (zh) * | 2019-11-01 | 2021-05-07 | 北京京东尚科信息技术有限公司 | 一种数据处理方法、信息推荐方法和相关装置 |
-
2022
- 2022-05-20 WO PCT/EP2022/063687 patent/WO2022243498A1/en active Application Filing
- 2022-05-20 AU AU2022276374A patent/AU2022276374A1/en active Pending
- 2022-05-20 IL IL308471A patent/IL308471A/en unknown
- 2022-05-20 US US18/561,088 patent/US20240265533A1/en active Pending
- 2022-05-20 CN CN202280034658.7A patent/CN117355875A/zh active Pending
- 2022-05-20 KR KR1020237042621A patent/KR20240009440A/ko unknown
- 2022-05-20 CA CA3218635A patent/CA3218635A1/en active Pending
- 2022-05-20 EP EP22731504.1A patent/EP4341851A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240265533A1 (en) | 2024-08-08 |
| AU2022276374A1 (en) | 2023-11-09 |
| CA3218635A1 (en) | 2022-11-24 |
| IL308471A (en) | 2024-01-01 |
| CN117355875A (zh) | 2024-01-05 |
| EP4341851A1 (en) | 2024-03-27 |
| WO2022243498A1 (en) | 2022-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11832958B2 (en) | Automatic image-based skin diagnostics using deep learning | |
| Bashour | An objective system for measuring facial attractiveness | |
| CN109310196B (zh) | 化妆辅助装置以及化妆辅助方法 | |
| US11978242B2 (en) | Systems and methods for improved facial attribute classification and use thereof | |
| Zhang et al. | Computer models for facial beauty analysis | |
| Liu et al. | Advances in computational facial attractiveness methods | |
| US10943156B2 (en) | Machine-implemented facial health and beauty assistant | |
| CN111868742A (zh) | 机器实现的面部健康和美容助理 | |
| Cvetkoska et al. | Smart mirror E-health assistant—Posture analyze algorithm proposed model for upright posture | |
| WO2020169214A1 (en) | Machine-implemented beauty assistant for predicting face aging | |
| CN113661520A (zh) | 修改毛发外观 | |
| Damiano et al. | The role of local and global symmetry in pleasure, interest, and complexity judgments of natural scenes. | |
| JP2016081075A (ja) | 印象改善方法及び印象改善支援装置 | |
| KR102224596B1 (ko) | 식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법 | |
| JP6320844B2 (ja) | パーツの影響度に基づいて感情を推定する装置、プログラム及び方法 | |
| KR20200107488A (ko) | 가상화장 합성 처리 방법 | |
| US20240265533A1 (en) | Computer-based body part analysis methods and systems | |
| KR20200107486A (ko) | 가상화장 합성 처리 장치 | |
| KR102465453B1 (ko) | 가상화장 합성 처리 인공지능 장치 및 방법 | |
| KR20220114550A (ko) | 맥락화된 장비 추천을 위한 장치, 방법, 및 컴퓨터 판독 가능 저장 매체 | |
| KR20200107482A (ko) | 가상화장 합성 처리 장치 | |
| US20240265433A1 (en) | Interactive system and method for recommending one or more lifestyle products | |
| JP2023038871A (ja) | 特徴抽出方法及び特徴抽出システム | |
| JP2023038870A (ja) | 印象評価方法及び印象評価システム | |
| Bouchani et al. | A novel framework for quantitative rhinoplasty evaluation by ResNet convolutional neural network |