KR102477190B1 - 얼굴 인식 방법 및 장치 - Google Patents

얼굴 인식 방법 및 장치 Download PDF

Info

Publication number
KR102477190B1
KR102477190B1 KR1020150112589A KR20150112589A KR102477190B1 KR 102477190 B1 KR102477190 B1 KR 102477190B1 KR 1020150112589 A KR1020150112589 A KR 1020150112589A KR 20150112589 A KR20150112589 A KR 20150112589A KR 102477190 B1 KR102477190 B1 KR 102477190B1
Authority
KR
South Korea
Prior art keywords
image
face recognition
model
learning
surface normal
Prior art date
Application number
KR1020150112589A
Other languages
English (en)
Other versions
KR20170018666A (ko
Inventor
김정배
러슬란 사라쿠디노프
한재준
유병인
Original Assignee
삼성전자주식회사
더 가버닝 카운슬 오브 더 유니버시티 오브 토론토
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 더 가버닝 카운슬 오브 더 유니버시티 오브 토론토 filed Critical 삼성전자주식회사
Priority to KR1020150112589A priority Critical patent/KR102477190B1/ko
Priority to US15/189,454 priority patent/US10248844B2/en
Priority to EP16180114.7A priority patent/EP3156938A1/en
Priority to CN201610651797.0A priority patent/CN106446768B/zh
Publication of KR20170018666A publication Critical patent/KR20170018666A/ko
Application granted granted Critical
Publication of KR102477190B1 publication Critical patent/KR102477190B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

얼굴 인식 방법 및 장치가 개시된다. 일 실시예에 따른 얼굴 인식 장치는 조명 보상 모델을 이용하여 입력 영상으로부터 얼굴 영역의 알베도 영상 및 얼굴 영역의 표면 노멀 영상을 추출할 수 있다. 얼굴 인식 장치는 추출된 알베도 영상 및 표면 노멀 영상을 얼굴 인식 모델에 입력하고, 얼굴 인식 모델의 출력 값에 기초하여 얼굴 인식 결과를 결정할 수 있다.

Description

얼굴 인식 방법 및 장치{METHOD AND APPARATUS FOR FACE RECOGNITION}
아래의 설명은 영상에 나타난 얼굴을 인식하는 얼굴 인식 기술에 관한 것이다.
생체 인식 기술 중 하나인 얼굴 인식 기술은 정지 영상이나 동영상으로부터 얼굴을 인식하는 기술이다. 얼굴 인식 기술은 지문 인식 및 홍채 인식 등의 다른 인식 기술과 다르게, 대상자를 비접촉식으로 확인 가능하다는 이점을 가지고 있다. 최근에는, 얼굴 인식 기술의 편리함 및 효율성 때문에 보안 시스템, 모바일 인증 및 멀티미디어 데이터 검색 등의 다양한 응용 분야에 얼굴 인식 기술이 활발하게 적용되고 있다. 다만, 얼굴 인식 기술의 성능은 사용자의 포즈(pose), 표정(expression), 조명 환경 및 가림(occlusion) 등의 변화에 민감하다는 특성이 있다.
얼굴 인식 기술의 성능은 등록된 얼굴과 등록되지 않은 얼굴을 구별하는 패턴 분류기의 성능에 영향을 받게 된다. 이러한 패턴 분류기를 학습하는 하나의 방법으로 뉴럴 네트워크(neural network)을 이용하는 방법이 있다. 뉴럴 네트워크는 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 모델로서, 입력 패턴을 특정 그룹으로 분류하는 능력을 가지고 있다. 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위해, 뉴럴 네트워크는 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 이 알고리즘을 통하여 뉴럴 네트워크는 입력 패턴과 출력 패턴들 간의 사상(mapping)을 생성해낼 수 있는데, 이를 뉴럴 네트워크가 학습 능력이 있다고 표현한다.
일 실시예에 따른 조명 보상 모델을 학습시키는 학습 방법은, 조명 보상 모델을 이용하여 학습 영상으로부터 얼굴 영역의 알베도 영상, 상기 얼굴 영역의 표면 노멀 영상 및 조명 특징을 추출하는 단계; 상기 알베도 영상, 상기 표면 노멀 영상 및 상기 조명 특징에 기초하여 조명 복원 영상을 생성하는 단계; 및 상기 학습 영상과 상기 조명 복원 영상에 기초하여 상기 조명 보상 모델을 학습시키는 단계를 포함할 수 있다.
일 실시예에 따른 학습 방법은, 상기 조명 복원 영상 및 상기 마스크 영상에 기초하여 마스크 복원 영상을 생성하는 단계를 더 포함할 수 있다.
일 실시예에 따른 학습 방법에서, 상기 학습시키는 단계는, 상기 학습 영상과 상기 마스크 복원 영상에 기초하여 상기 조명 보상 모델을 학습시킬 수 있다.
일 실시예에 따른 얼굴 인식 모델을 학습시키는 학습 방법은, 조명 보상 모델을 이용하여 학습 영상으로부터 얼굴 영역의 알베도 영상 및 상기 얼굴 영역의 표면 노멀 영상을 추출하는 단계; 상기 알베도 영상 및 상기 표면 노멀 영상을 얼굴 인식 모델에 입력하고, 상기 얼굴 인식 모델로부터 예측 값을 획득하는 단계; 및 상기 얼굴 인식 모델의 예측 값과 상기 학습 영상에 대응하는 목표 값에 기초하여 상기 얼굴 인식 모델을 학습시키는 단계를 포함할 수 있다.
일 실시예에 따른 얼굴 인식 방법은, 조명 보상 모델을 이용하여 입력 영상으로부터 얼굴 영역의 알베도 영상 및 상기 얼굴 영역의 표면 노멀 영상을 추출하는 단계; 및 상기 알베도 영상 및 상기 표면 노멀 영상을 얼굴 인식 모델에 입력하고, 상기 얼굴 인식 모델의 출력 값에 기초하여 얼굴 인식 결과를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 얼굴 인식 장치는, 조명 보상 모델을 이용하여 입력 영상으로부터 얼굴 영역의 알베도 영상 및 상기 얼굴 영역의 표면 노멀 영상을 추출하는 전처리기; 및 상기 알베도 영상 및 상기 표면 노멀 영상을 얼굴 인식 모델에 입력하고, 상기 얼굴 인식 모델의 출력 값에 기초하여 얼굴 인식 결과를 결정하는 얼굴 인식기를 포함할 수 있다.
일 실시예에 따른 학습 장치는, 조명 보상 모델을 이용하여 학습 영상으로부터 얼굴 영역의 알베도 영상, 상기 얼굴 영역의 표면 노멀 영상 및 조명 특징을 추출하는 전처리기; 및 상기 알베도 영상, 상기 표면 노멀 영상 및 상기 조명 특징에 기초하여 조명 복원 영상을 생성하고, 상기 학습 영상과 상기 조명 복원 영상에 기초하여 상기 조명 보상 모델을 학습시키는 모델 학습기를 포함할 수 있다.
도 1은 일 실시예에 따른 학습 장치의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 얼굴 인식 장치의 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 오토-인코더의 변형 모델을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 조명 보상 모델 및 얼굴 인식 모델을 학습시키는 과정을 설명하기 위한 도면이다.
도 5는 다른 실시예에 따른 조명 보상 모델 및 얼굴 인식 모델을 학습시키는 과정을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 얼굴 인식을 수행하는 과정을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 조명 보상 모델을 학습시키는 학습 방법의 동작을 설명하기 위한 흐름도이다.
도 8은 다른 실시예에 따른 조명 보상 모델을 학습시키는 학습 방법의 동작을 설명하기 위한 흐름도이다.
도 9는 일 다른 실시예에 따른 얼굴 인식 모델을 학습시키는 학습 방법의 동작을 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 얼굴 인식 방법의 동작을 설명하기 위한 흐름도이다.
도 11은 다른 실시예에 따른 얼굴 인식 장치의 구성을 도시하는 도면이다.
도 12는 또 다른 실시예에 따른 얼굴 인식 장치의 구성을 도시하는 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 권리 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 설명한 분야에 속하는 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 본 명세서에서 "일 실시예" 또는 "실시예"에 대한 언급은 그 실시예와 관련하여 설명되는 특정한 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미하며, "일 실시예" 또는 "실시예"에 대한 언급이 모두 동일한 실시예를 지칭하는 것이라고 이해되어서는 안된다.
또한, 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 학습 장치의 동작을 설명하기 위한 도면이다. 학습 장치(110)는 학습 데이터(training data)에 기초하여 얼굴 인식에 이용되는 모델들을 학습시킨다. 여기서, 학습은 기계 학습(machine learning)을 가리키고, 학습 데이터 스토리지(140)에 저장된 학습 데이터는 다양한 영상 데이터를 포함할 수 있다. 예를 들어, 학습 데이터는 다양한 인물에 대한 영상 데이터 및 인물의 얼굴을 다양한 조명 환경에서 촬영한 영상 데이터를 포함할 수 있다. 또한, 얼굴 영역에 다양한 가림(occlusion)(예를 들어, 얼굴 영역에 안경, 선글라스 또는 마스크가 존재하는 경우)이 있는 영상 데이터가 학습 데이터로서 이용될 수 있다. 이하에서는, 학습 데이터에 포함된 영상 데이터를 학습 영상이라고 한다.
도 1을 참조하면, 학습 장치(110)는 전처리기(120) 및 모델 학습기(130)를 포함한다. 일 실시예에 따르면, 전처리기(120) 및 모델 학습기(130)는 하나 이상의 프로세서들에 의해 수행될 수 있다.
전처리기(120)는 조명 보상 모델을 이용하여 학습 영상으로부터 조명 특징, 얼굴 영역의 알베도(albedo) 영상 및 얼굴 영역의 표면 노멀(surface normal) 영상을 추출할 수 있다. 조명 특징은 입력 영상에 나타난 외부 빛에 관한 특징으로서, 빛의 인텐시티(intensity) 및 방향에 관한 특징을 포함할 수 있다. 얼굴 영역의 알베도 영상은 얼굴 표면에서 빛이 반사되는 정도를 나타내는 확산 반사도(diffuse reflectivity)를 나타내는 영상이다. 얼굴 영역의 표면 노멀 영상은 얼굴 표면의 각 포인트들에 있어서 포인트의 접평면(tangent plane)에 수직(perpendicular)인 방향에 관한 특징을 나타내는 영상이다. 예를 들어, 표면 노멀 영상은 x축, y축 및 z축의 각 축 방향에 대한 3개의 표면 노멀 벡터들에 관한 정보를 나타낼 수 있다.
알베도 영상 및 표면 노멀 영상은 조명과 무관하고, 조명에 독립적인 성질을 가진다. 예를 들어, 입력 영상의 조명 성분이 밝든 어둡든 알베도 영상 및 표면 노멀 영상은 동일할 수 있다. 알베도 영상은 조명과 무관한 얼굴의 텍스쳐(texture) 성분을 나타내고, 표면 노멀 영상은 조명과 무관한 얼굴의 3D 형상(shape) 성분을 나타낼 수 있다.
모델 학습기(130)는 조명 보상 모델 및 얼굴 인식 모델을 학습시킨다. 학습 과정을 통해 조명 보상 모델의 파라미터들과 얼굴 인식 모델의 파라미터들이 최적화될 수 있다.
일 실시예에 따르면, 모델 학습기(130)는 오토-인코더(auto-encoder)의 변형 모델을 이용하여 조명 보상 모델을 학습시킬 수 있다. 오토-인코더는 목적하는 출력(desired output)과 입력이 동일해지도록 학습된 뉴럴 네트워크 모델이다. 오토-인코더는 입력 레이어와 인코딩 레이어들로 구성된 인코더(encoder)와 디코딩 레이어들과 출력 레이어로 구성된 디코더(decoder)를 포함할 수 있다. 오토-인코더에서, 인코더의 출력 값은 디코더에 입력되고, 디코더가 인코더에 입력된 입력 값과 동일한 출력 값을 출력하는 뉴럴 네트워크 구조를 가질 수 있다. 모델 학습기(130)는 오토 인코더의 변형 모델로서, 컨볼루셔널 뉴럴 네트워크 모델(convolutional neural network model)이 인코더로 이용되고, 램버시안 모델(Lambertian model)이 디코더로 이용되는 모델을 이용할 수 있다. 여기서, 인코더는 조명 보상 모델에 대응할 수 있다. 오토-인코더의 변형 모델에 대한 설명은 도 3에서 후술하도록 한다.
모델 학습기(130)는 조명 보상 모델에 의해 추출된 특징들에 기초하여 조명 복원 영상을 생성할 수 있다. 모델 학습기(130)는 램버시안 모델에 알베도 영상, 표면 노멀 영상 및 조명 특징을 적용하여 조명 복원 영상을 재구성할 수 있다. 모델 학습기(130)는 학습 영상과 조명 복원 영상 간의 차이에 기초하여 학습을 위한 손실 함수(loss function)를 결정하고, 손실 함수에 기초하여 조명 보상 모델의 파라미터들을 업데이트할 수 있다. 예를 들어, 모델 학습기(130)는 손실 함수의 값이 작아지도록 조명 보상 모델의 파라미터들을 조정할 수 있다.
다른 실시예에 따르면, 전처리기(120)는 학습 영상에서 조명 특징, 얼굴 영역의 알베도 영상 및 얼굴 영역의 표면 노멀 영상 이외에 마스크(mask) 영상을 더 추출할 수 있다. 마스크 영상은 얼굴 영역을 가리는 가림 영역에 관한 영상이다. 모델 학습기(130)는 알베도 영상, 표면 노멀 영상 및 조명 특징에 기초하여 조명 복원 영상을 재구성한 후 조명 복원 영상과 마스크 영상을 결합하여 마스크 복원 영상을 생성할 수 있다. 모델 학습기(130)는 학습 영상과 마스크 복원 영상 간의 차이에 기초하여 손실 함수를 결정하고, 손실 함수에 기초하여 조명 보상 모델의 파라미터들을 업데이트할 수 있다.
모델 학습기(130)가 얼굴 인식 모델을 학습시키는 과정은 다음과 같다. 모델 학습기(130)는 조명 보상 모델에 의해 추출된 알베도 영상 및 표면 노멀 영상을 얼굴 인식 모델에 입력하고, 얼굴 인식 모델로부터 예측 값을 획득할 수 있다. 얼굴 인식 모델은 예를 들어, 컨볼루셔널 뉴럴 네트워크 모델에 기초할 수 있고, 학습 영상에 대응하는 식별 값(예를 들어, 아이디)을 예측 값으로 출력할 수 있다. 모델 학습기(130)는 얼굴 인식 모델의 예측 값과 학습 영상에 대응하는 목표 값(desired value)에 기초하여 얼굴 인식 모델을 학습시킬 수 있다. 모델 학습기(130)는 얼굴 인식 모델의 예측 값과 목표 값 간의 차이에 기초하여 손실 함수를 결정하고, 손실 함수에 기초하여 얼굴 인식 모델의 파라미터들을 업데이트할 수 있다.
위와 같은 과정을 통해 학습이 완료된 조명 보상 모델 및 얼굴 인식 모델은 모델 스토리지(150)에 저장될 수 있다.
도 2는 일 실시예에 따른 얼굴 인식 장치의 동작을 설명하기 위한 도면이다. 얼굴 인식 장치(210)는 감시/보안 시스템, 모바일 기기 인증, 및 멀티미디어 검색 및 분류 등의 다양한 어플리케이션 영역에서 활용될 수 있다. 또는, 얼굴 인식 장치(210)는 지문 인식 장치(미도시)와 결합하여 복합 생체 인증 시스템을 구현하는데 이용될 수 있다.
얼굴 인식 장치(210)는 디지털 스틸 카메라 또는 비디오 카메라 등에 의해 획득된 입력 영상에 대해 얼굴 인식(얼굴 인증을 포함함)을 수행한다. 예를 들어, 얼굴 인식 장치(210)는 입력 영상에 나타난 사용자가 누구인지를 식별하거나 또는 입력 영상에 나타난 사용자가 특정 등록 영상에 나타난 사용자와 동일인지 여부를 결정할 수 있다. 등록 영상은 얼굴 인식이 수행되기 이전에 등록되어 데이터베이스에 미리 저장될 수 있고, 하나 이상의 사용자에 대한 얼굴 영상을 포함할 수 있다. 설명의 간명성을 위해, 이하에서는 입력 영상이 하나의 얼굴 영역을 포함한다고 가정한다. 그러나, 실시예의 범위가 이러한 가정에 의해 한정되는 것으로 해석되어서는 안된다.
얼굴 인식 장치(210)는 입력 영상에서 조명 성분과 가림 성분을 제거하는 전처리 과정을 수행하고, 조명 성분과 가림 성분이 제거된 입력 영상에 기초하여 얼굴 인식을 수행할 수 있다. 얼굴 인식 장치(210)는 도 1의 학습 장치에 의해 미리 학습된 모델들을 이용하여 위 전처리 과정 및 얼굴 인식 과정을 수행할 수 있다.
도 2를 참조하면, 얼굴 인식 장치(210)는 전처리기(220) 및 얼굴 인식기(230)를 포함한다. 일 실시예에 따르면, 전처리기(220) 및 얼굴 인식기(230)는 하나 의상의 프로세서들에 의해 수행될 수 있다.
전처리기(220)는 모델 스토리지(240)에 저장된 조명 보상 모델을 이용하여 입력 영상으로부터 조명 성분 및 가림 성분을 분리하고, 조명에 독립적인 특징들을 추출할 수 있다. 예를 들어, 전처리기(220)는 조명 보상 모델을 이용하여 입력 영상으로부터 얼굴 영역의 알베도 영상 및 얼굴 영역의 표면 노멀 영상을 추출할 수 있다. 조명 보상 모델은 도 1의 관련 설명에 따라 미리 학습될 수 있다.
얼굴 인식기(230)는 전처리기(220)에 의해 입력 영상의 조명 성분 및 가림 성분과 무관한 얼굴 영역의 알베도 영상 및 표면 노멀 영상을 이용하여 얼굴 인식을 수행할 수 있다. 얼굴 인식기(230)는 전처리기(220)에 의해 추출된 알베도 영상 및 표면 노멀 영상을 얼굴 인식 모델에 입력하고, 얼굴 인식 모델의 출력 값에 기초하여 얼굴 인식 결과를 결정할 수 있다. 예를 들어, 얼굴 인식 모델은 입력 영상에 대응하는 식별 값을 출력할 수 있다. 얼굴 인식 모델은 도 1의 관련 설명에 따라 미리 학습될 수 있다.
다른 실시예에 따르면, 얼굴 인식 장치(210)는 입력 영상과 미리 등록된 등록 영상을 비교하여 입력 영상에 나타난 사용자가 등록 영상에 나타난 사용자와 동일인인지 여부를 결정할 수 있다. 전처리기(220)는 입력 영상뿐만 아니라 등록 영상에 대해서도 조명 보상 모델을 이용하여 알베도 영상 및 표면 노멀 영상을 추출할 수 있다. 얼굴 인식기(230)는 추출된 알베도 영상 및 표면 노멀 영상을 얼굴 인식 모델에 입력하여 등록 영상에 대응하는 최종 특징 값을 획득할 수 있다. 얼굴 인식기(230)는 입력 영상에 대한 최종 특징 값과 등록 영상에 대한 최종 특징 값 간의 유사도를 결정하고, 유사도에 기초하여 얼굴 인식 결과를 결정할 수 있다. 얼굴 인식기(230)는 예를 들어, 얼굴 인식 모델을 구성하는 복수의 레이어들 중 특정 레이어로부터의 출력 값을 최종 특징 값으로 이용할 수 있다.
위와 같이, 얼굴 인식 장치(210)는 입력 영상에서 조명 성분 및 가림 성분을 분리하고, 조명 성분 및 가림 성분이 제거된 입력 영상에 대해 얼굴 인식을 수행함으로써 조명과 가림에 강인(robust)하게 얼굴 인식을 수행할 수 있다. 또한, 얼굴 인식 장치(210)는 얼굴 인식을 위해 딥 러닝(deep learning)에 기반한 조명 보상 모델 및 얼굴 인식 모델과 조명에 무관한 알베도 영상 및 표면 노멀 영상을 이용함으로써 얼굴 인식의 인식률을 개선시킬 수 있다.
도 3은 일 실시예에 따른 오토-인코더의 변형 모델을 설명하기 위한 도면이다.
도 3을 참조하면, 오토-인코더의 변형 모델(300)은 인코더(310)와 디코더(320)를 포함한다. 인코더(310)의 출력은 디코더(320)에 입력될 수 있다. 인코더(310)에서 학습 영상(330)이 컨볼루셔널 뉴럴 네트워크 모델에 기초한 조명 보상 모델(340)에 입력되고, 조명 보상 모델(340)은 학습 영상(330)에 대한 알베도 영상(350), 표면 노멀 영상(360) 및 조명 특징(370)을 출력할 수 있다. 표면 노멀 영상(360)은 x 축, y 축, 및 z축의 각각의 방향에서 빛이 비추어졌을 때의 얼굴의 3D 형상을 나타낸다. 표면 노멀 영상(360)은 x축, y축 및 z축의 각 축 방향에 대한 3개의 표면 노멀 영상들로 표현될 수 있다.
디코더(320)는 램버시안 모델에 기초하여 조명 복원 영상(380)을 재구성할 수 있다. 디코더(320)는 인코더(310)의 출력인 알베도 영상(350), 표면 노멀 영상(360) 및 조명 특징(370)을 램버시안 모델에 적용하여 조명 복원 영상(380)을 재구성할 수 있다.
오토-인코더의 변형 모델(300)에서, 디코더(320)를 구성하는 램버시안 모델은 다음의 수학식 1과 같이 표현될 수 있다
Figure 112015077363512-pat00001
여기서, I는 수학식 1의 램버시안 모델을 통해 생성된 조명 복원 영상을 나타낸다. a는 학습 영상에 나타난 얼굴 영역의 알베도 영상을 나타내고,
Figure 112015077363512-pat00002
는 얼굴 영역의 조명 특징으로서, 3차원 광원을 나타낸다.
Figure 112015077363512-pat00003
은 얼굴 영역의 표면 노멀을 나타내고,
Figure 112015077363512-pat00004
는 광원과 표면 노멀 방향이 이루는 각도를 나타낸다.
얼굴 인식 과정에서는, 오토-인코더의 변형 모델(300)의 인코더(310)만 이용되고, 디코더(320)는 이용되지 않을 수 있다.
도 4는 일 실시예에 따른 조명 보상 모델 및 얼굴 인식 모델을 학습시키는 과정을 설명하기 위한 도면이다.
학습 장치는 조명 보상 모델(420)을 이용하여 학습 영상(410)으로부터 다양한 특징 맵들(feature maps)을 추출하고, 램버시안 모델을 이용하여 해당 특징 맵들로부터 조명 복원 영상(460)을 생성할 수 있다.
학습 장치는 조명 보상 모델(420)을 이용하여 학습 영상(410)으로부터 학습 영상(410)에 나타난 얼굴 영역의 알베도 영상(430), 표면 노멀 영상(440) 및 조명 특징(450)을 추출할 수 있다. 학습 장치는 도 3에서 설명된 오토-인코더의 변형 모델(300)을 이용하여 알베도 영상(430), 표면 노멀 영상(440) 및 조명 특징(450)으로부터 조명 복원 영상(460)을 생성할 수 있다.
학습 장치는 학습 영상(410)과 조명 복원 영상(460) 간의 차이에 기초하여 조명 보상 모델(420)에 대한 손실 함수를 결정하고, 손실 함수에 기초하여 조명 보상 모델(420)의 파라미터를 업데이트할 수 있다. 학습 장치는 손실 함수를 이용하여 학습 영상(410)과 조명 복원 영상(460) 간의 차이가 줄어들도록 조명 보상 모델(420)의 파라미터를 조정할 수 있다. 여기서, 손실 함수는 조명 보상 모델(420)로부터 출력된 예측 값과 목적하는 기대 값 간의 오차를 정의하는 함수이다.
학습 장치는 조명 보상 모델(420)을 통해 추출된 알베도 영상(430) 및 표면 노멀 영상(440)을 얼굴 인식 모델(470)에 입력하고, 얼굴 인식 모델(470)에서 출력된 예측 값과 입력 영상(410)에 대응하는 목표 값 간의 차이에 기초하여 얼굴 인식 모델(470)에 대한 손실 함수를 결정할 수 있다. 예를 들어, 얼굴 인식 모델(470)은 입력된 알베도 영상(430) 및 표면 노멀 영상(440)에 기초하여 아이디(ID) 값을 출력할 수 있다. 학습 장치는 얼굴 인식 모델(470)로부터 출력된 아이디 값과 목표하는 아이디(정답 아이디) 값 간의 차이에 기초하여 손실 함수를 결정하고, 손실 함수에 기초하여 얼굴 인식 모델(470)의 파라미터를 업데이트할 수 있다.
도 5는 다른 실시예에 따른 조명 보상 모델 및 얼굴 인식 모델을 학습시키는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 조명 보상 모델(520)은 학습 영상(510)에서 알베도 영상(530), 표면 노멀 영상(540), 조명 특징(550) 및 마스크 영상(560)을 추출할 수 있다. 마스크 영상(560)은 안경 또는 마스크 등의 착용으로 인해 얼굴 영역을 가리는 가림 영역에 관한 특징으로서, 마스크 영상으로 표현될 수 있다.
학습 장치는 도 4에 이미 설명된 바와 같이 오토-인코더의 변형 모델(300)을 이용하여 알베도 영상(530), 표면 노멀 영상(540) 및 조명 특징(550)에 기초하여 조명 복원 영상(570)을 생성할 수 있다. 그 후, 학습 장치는 생성된 조명 복원 영상(570)과 마스크 영상(560)을 결합하여 마스크 복원 영상(580)을 생성할 수 있다.
학습 장치는 학습 영상(510)과 마스크 복원 영상(580) 간의 차이에 기초하여 조명 보상 모델(520)에 대한 손실 함수를 결정하고, 손실 함수를 이용하여 학습 영상(510)과 마스크 복원 영상(580) 간의 차이가 줄어들도록 조명 보상 모델의 파라미터를 업데이트할 수 있다.
얼굴 인식 모델(590)을 학습하는 과정은 도 4의 관련 설명이 그대로 적용될 수 있으므로 자세한 설명은 생략하도록 한다.
도 6은 일 실시예에 따른 얼굴 인식을 수행하는 과정을 설명하기 위한 도면이다.
얼굴 인식 장치는 조명 보상 모델(620) 및 얼굴 인식 모델(670)을 이용하여 입력 영상(610)에 대해 얼굴 인식을 수행할 수 있다. 얼굴 인식 장치는 얼굴 인식을 위한 입력 영상(610)이 전달되면, 조명 보상 모델(620)을 통해 입력 영상(610)에 나타난 얼굴 영역의 알베도 영상(640), 표면 노멀 영상(640)을 추출할 수 있다.
얼굴 인식 장치는 조명 보상 모델(620)로부터 추출된 알베도 영상(630) 및 표면 노멀 영상(640)을 얼굴 인식 모델(670)에 입력하고, 얼굴 인식 모델(670)의 출력 값에 기초하여 얼굴 인식을 수행할 수 있다. 얼굴 인식 모델(670)은 예를 들어, 입력 영상(610)에 대응하는 식별 값을 출력할 수 있고, 얼굴 인식 장치는 해당 식별 값을 통해 입력 영상(610)에 나타난 사용자가 누구인지를 식별할 수 있다.
다른 실시예에 따르면, 등록 영상이 미리 등록되어 저장될 수 있고, 얼굴 인식 장치는 입력 영상(610)과 등록 영상을 비교하여 입력 영상(610)에 나타난 사용자가 등록 영상에 나타난 사용자와 동일인인지 여부를 결정할 수 있다. 얼굴 인식 장치는 입력 영상(610)뿐만 아니라 등록 영상에 대해서도 조명 보상 모델(620)을 이용하여 알베도 영상 및 표면 노멀 영상을 추출하고, 추출된 알베도 영상 및 표면 노멀 영상을 얼굴 인식 모델(670)에 입력하여 등록 영상에 대응하는 최종 특징 값을 획득할 수 있다. 얼굴 인식 장치는 얼굴 인식 모델(670)이 출력한 입력 영상(610)에 대한 최종 특징 값과 등록 영상에 대한 최종 특징 값 간의 유사도를 비교하고, 유사도가 미리 설정된 임계 값 이상이면 입력 영상(610)에 나타난 사용자가 등록 영상에 나타난 사용자와 동일인이라고 결정할 수 있다. 이와 달리, 유사도가 임계 값 미만이면 얼굴 인식 장치는 입력 영상(610)에 나타난 사용자가 등록 영상에 나타난 사용자와 다르다고 결정할 수 있다.
일 실시예에 따르면, 조명 보상 모델(620)로부터 조명 특징(650) 및 마스크 영상(660)이 더 추출될 수 있다. 하지만, 얼굴 인식 장치는 추출된 조명 특징(650) 및 마스크 영상(660)을 이용하지 않고 얼굴 인식을 수행할 수 있다. 알베도 영상(630) 및 표면 노멀 영상(640)은 조명에 독립한 특징들이므로, 얼굴 인식 장치는 입력 영상(610)에 나타난 조명과 무관하게 얼굴 인식을 수행할 수 있다. 따라서, 얼굴 인식 장치는 조명의 변화에 강인하게 얼굴 인식을 수행하여 얼굴 인식의 성능을 개선시킬 수 있다. 또한, 얼굴 인식 장치는 입력 영상(610)에서 가림 영역을 나타내는 마스크 영상(660)을 분리함으로써 얼굴 가림에 의한 인식 성능의 저하를 방지할 수 있다.
도 7은 일 실시예에 따른 조명 보상 모델을 학습시키는 학습 방법의 동작을 설명하기 위한 흐름도이다. 단계(710)에서, 학습 장치는 조명 보상 모델을 이용하여 학습 영상으로부터 얼굴 영역의 알베도 영상, 표면 노멀 영상 및 조명 특징을 추출할 수 있다. 단계(720)에서, 학습 장치는 추출된 알베도 영상, 표면 노멀 영상 및 조명 특징에 기초하여 조명 복원 영상을 생성할 수 있다. 예를 들어, 학습 장치는 램버시안 모델에 위 특징들을 적용하여 조명 복원 영상을 생성할 수 있다. 단계(730)에서, 학습 장치는 학습 영상과 조명 복원 영상에 기초하여 조명 보상 모델을 학습시킬 수 있다. 학습 장치는 학습 영상과 조명 복원 영상 간의 차이에 기초하여 손실 함수를 결정하고, 손실 함수에 기초하여 조명 보상 모델의 파라미터들을 조정할 수 있다.
도 8은 다른 실시예에 따른 조명 보상 모델을 학습시키는 학습 방법의 동작을 설명하기 위한 흐름도이다. 단계(810)에서, 학습 장치는 조명 보상 모델을 이용하여 학습 영상으로부터 얼굴 영역의 알베도 영상, 표면 노멀 영상, 조명 특징 및 마스크 영상을 추출할 수 있다. 단계(820)에서, 학습 장치는 추출된 알베도 영상, 표면 노멀 영상 및 조명 특징에 기초하여 조명 복원 영상을 생성할 수 있다. 단계(830)에서, 학습 장치는 조명 복원 영상과 마스크 영상에 기초하여 마스크 복원 영상을 생성할 수 있다. 단계(840)에서, 학습 장치는 학습 영상과 마스크 복원 영상에 기초하여 조명 보상 모델을 학습시킬 수 있다. 학습 장치는 학습 영상과 마스크 복원 영상 간의 차이에 기초하여 손실 함수를 결정하고, 손실 함수에 기초하여 조명 보상 모델의 파라미터들을 조정할 수 있다.
도 9는 일 다른 실시예에 따른 얼굴 인식 모델을 학습시키는 학습 방법의 동작을 설명하기 위한 흐름도이다. 단계(910)에서, 학습 장치는 조명 보상 모델을 이용하여 학습 영상으로부터 얼굴 영역의 알베도 영상 및 표면 노멀 영상을 추출할 수 있다. 단계(920)에서, 학습 장치는 얼굴 인식 모델에 알베도 영상 및 표면 노멀 영상을 입력하여 얼굴 인식 모델로부터 예측 값을 획득할 수 있다. 단계(930)에서, 학습 장치는 얼굴 인식 모델의 예측 값과 미리 결정된 목표 값에 기초하여 얼굴 인식 모델을 학습시킬 수 있다.
도 10은 일 실시예에 따른 얼굴 인식 방법의 동작을 설명하기 위한 흐름도이다. 단계(1010)에서, 얼굴 인식 장치는 조명 보상 모델을 이용하여 입력 영상으로부터 얼굴 영역의 알베도 영상 및 표면 노멀 영상을 추출할 수 있다. 단계(1020)에서, 얼굴 인식 장치는 알베도 영상 및 표면 노멀 영상을 얼굴 인식 모델에 입력하고, 얼굴 인식 모델의 출력 값에 기초하여 얼굴 인식 결과를 결정할 수 있다. 예를 들어, 얼굴 인식 모델은 입력 영상에 대응하는 식별 값을 출력할 수 있다.
도 11은 다른 실시예에 따른 얼굴 인식 장치의 구성을 도시하는 도면이다. 얼굴 인식 장치(1100)는 2D 입력 영상에 나타난 사용자 얼굴을 인식할 수 있다. 도 11을 참조하면, 얼굴 인식 장치(1100)는 영상 획득기(1110), 전처리기(1120), 얼굴 인식기(1160) 및 계산된 값들 또는 임시 값(temporary value)을 저장하기 위한 메모리(1170)를 포함할 수 있다.
영상 획득기(1110)는 카메라 등을 통해 사용자 인식(또는 사용자 인증)을 위한 영상을 획득하고, 획득된 영상을 전처리기(1120)에 전달할 수 있다. 얼굴 인식 장치(1100)는 하나의 영상을 이용하여 사용자에 대해 얼굴 인식을 수행할 수 있으나, 실시예의 범위가 이에 한정되는 것은 아니다.
전처리기(1120)는 영상 획득기(1110)로부터 수신한 입력 영상에 대해 다양한 영상 전처리 과정을 수행할 수 있다. 전처리기(1120)는 얼굴 검출기(1130), 얼굴 정렬기(1140) 및 조명 보상기(1150)를 포함할 수 있다.
얼굴 검출기(1130)는 입력 영상으로부터 얼굴 영역을 검출할 수 있다. 얼굴 검출기(1130)는 입력 영상 내 밝기 분포, 오브젝트의 움직임, 색상 분포, 또는 눈 위치 등의 정보를 이용하여 입력 영상에서 얼굴 영역을 식별하고, 얼굴 영역의 위치 정보를 추출할 수 있다. 예를 들어, 얼굴 검출기(1130)는 관련 기술 분야에서 일반적으로 이용되는 Haar-like 기반 Adaboost 분류기를 이용하여 입력 영상에서 얼굴 영역을 검출할 수 있다.
얼굴 정렬기(1140)는 입력 영상에 나타난 얼굴의 크기를 조정하거나 또는 얼굴을 회전시킬 수 있다. 예를 들어, 얼굴 정렬기(1140)는 AAM(active appearance model) 등을 이용하여 얼굴 영역에서 눈, 코, 입, 눈썹 등과 같은 얼굴 컴포넌트들(components)을 추출하고, 추출된 얼굴 컴포넌트들의 위치에 기초하여 얼굴의 크기를 조정하거나 또는 얼굴을 회전시킬 수 있다.
또한, 얼굴 정렬기(1140)는 히스토그램 평활화 및 확장, 가우시안 컨볼루션의 방법을 이용하여 입력 영상에서 조명의 영향을 줄이고, 영상 노이즈를 제거할 수도 있다.
조명 보상기(1150)는 입력 영상으로부터 조명 성분 및 가림 성분을 분리하고, 조명에 독립적인 특징들을 추출할 수 있다. 예를 들어, 조명 보상기(1150)는 조명 보상 모델을 이용하여 입력 영상으로부터 얼굴 영역의 알베도 영상 및 얼굴 영역의 표면 노멀 영상을 추출할 수 있다.
얼굴 인식기(1160)는 전처리기(1120)에 의해 추출된 알베도 영상 및 표면 노멀 영상을 얼굴 인식 모델에 입력하고, 얼굴 인식 모델의 출력 값에 기초하여 얼굴 인식 결과를 결정할 수 있다.
일 실시예에 따르면, 얼굴 인식기(1160)는 입력 영상과 등록 영상을 비교하여 얼굴 인식을 수행할 수 있다. 얼굴 인식기(1160)는 입력 영상에 나타난 얼굴 영역과 등록 영상에 나타난 얼굴 영역 간의 유사도에 기초하여 얼굴 인식을 수행할 수 있다. 얼굴 인식기(1160)는 얼굴 인식 모델을 통해 출력된 입력 영상에 대한 최종 특징 값과 등록 영상에 대한 최종 특징 값 간의 유사도를 결정하고, 유사도가 미리 결정된 조건을 만족하는지 여부에 기초하여 얼굴 인식 결과를 출력할 수 있다.
예를 들어, 얼굴 인식이 성공한 것으로 결정된 경우 얼굴 인식 장치(1100)는 얼굴 인식 장치(1100)와 연결된 단말 장치의 잠금 상태를 해제하거나 또는 사용자에게 단말 장치의 특정 기능에 접근할 수 있는 권한을 부여할 수 있다. 인식이 실패한 것으로 결정된 경우, 얼굴 인식 장치(1100)는 단말 장치의 잠금 상태를 유지하거나 또는 단말 장치의 특정 기능에 대한 접근 권한을 제한할 수 있다.
일 실시예에 따르면, 얼굴 인식 장치(1100)는 디스플레이(1180)를 더 포함할 수 있다. 디스플레이(1180)는 영상 획득기(1110)에 의해 획득된 영상, 전처리기(1120)에 의해 수행된 영상 전처리 수행 결과, 등록 영상 및 얼굴 인식 결과 중 하나 이상을 디스플레이할 수 있다.
도 12는 또 다른 실시예에 따른 얼굴 인식 장치의 구성을 도시하는 도면이다.
카메라와 같은 영상 획득 장치(1210)는 사용자의 얼굴을 촬영하고, 사용자의 얼굴이 나타난 영상을 얼굴 인식 장치(1220)에 전달한다. 얼굴 인식 장치(1220)는 입력된 영상과 등록 영상 데이터베이스(1250)에 미리 저장된 등록 영상을 비교하여 얼굴 인식을 수행할 수 있다. 사용자는 등록 과정을 통해 자신의 얼굴 영상을 미리 등록할 수 있고, 등록 영상 데이터베이스(1250)는 등록 과정을 통해 등록된 얼굴 영상을 등록 영상으로서 저장할 수 있다.
얼굴 인식 장치(1220)는 여기에 기술되거나 또는 도시된 하나 이상의 얼굴 인식 방법 및 학습 방법을 수행할 수 있다. 얼굴 인식 장치(1220)는 얼굴 인식 결과를 스피커를 통해 음성의 형태로 출력하거나 디스플레이를 통해 글자, 그림 또는 동영상 등의 형태로 출력할 수 있다. 하지만, 실시예의 범위가 이에 한정되지는 않으며, 얼굴 인식 장치(1220)는 다양한 형태로 얼굴 인식 결과를 출력할 수 있다.
얼굴 인식 장치(1220)는 프로세서(1230) 및 메모리(1240)를 포함할 수 있다. 메모리(1240)는 프로세서(1230)와 통신하고, 프로세서(1230)에 의해 실행가능한 인스트럭션들 또는 프로세서(1230)가 연산할 데이터를 저장할 수 있다. 프로세서(1230)는 메모리(1240)에 저장된 인스트럭션들을 실행하는 하드웨어를 포함한다. 프로세서(1230)는 인스트럭션들을 실행하기 위해, 내부 레지스터, 내부 캐쉬, 메모리(1240) 또는 스토리지(storage)로부터 인스트럭션들을 꺼내고(retrieve or fetch), 인스트럭션들을 실행할 수 있다. 그 후, 프로세서(1230)는 하나 이상의 실행 결과를 내부 레지스터, 내부 캐쉬, 메모리(12340), 또는 스토리지에 기록할 수 있다. 일 실시예에 따르면, 프로세서(1230)는 도 2, 도 6, 도 10, 및 도 11에 설명된 하나 이상의 동작을 수행하기 위한 인스트럭션들을 실행할 수 있다. 간소화(simplification)를 위해 도 12에는 하나의 프로세서(1230)를 도시하였지만, 당업자라면 프로세서(1230)가 하나 이상의 프로세서들 또는 코어들(cores)을 포함할 수 있음을 이해할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

  1. 조명 보상 모델을 이용하여 학습 영상으로부터 얼굴 영역의 알베도 영상, 상기 얼굴 영역의 표면 노멀 영상 및 조명 특징을 추출하는 단계;
    상기 알베도 영상, 상기 표면 노멀 영상 및 상기 조명 특징에 기초하여 조명 복원 영상을 생성하는 단계; 및
    상기 학습 영상과 상기 조명 복원 영상에 기초하여 상기 조명 보상 모델을 학습시키는 단계를 포함하고,
    상기 생성하는 단계는,
    램버시안 모델에 상기 알베도 영상, 상기 표면 노멀 영상 및 상기 조명 특징을 적용하여 상기 조명 복원 영상을 생성하는 단계를 포함하고,
    상기 학습시키는 단계는,
    상기 학습 영상과 상기 조명 복원 영상 간의 차이에 기초하여 학습을 위한 손실 함수(loss function)를 결정하고, 상기 손실 함수에 기초하여 상기 조명 보상 모델의 파라미터를 업데이트 하는 단계를 포함하는, 조명 보상 모델을 학습시키는 학습 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 조명 보상 모델은,
    오토-인코더의 인코더에 적용된 컨볼루셔널 뉴럴 네트워크 모델에 기초하는 것을 특징으로 하는 학습 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 추출하는 단계는,
    상기 조명 보상 모델을 이용하여 상기 학습 영상으로부터 상기 얼굴 영역의 마스크 영상을 더 추출하는, 학습 방법.
  6. 제5항에 있어서,
    상기 조명 복원 영상 및 상기 마스크 영상에 기초하여 마스크 복원 영상을 생성하는 단계
    를 더 포함하고,
    상기 학습시키는 단계는,
    상기 학습 영상과 상기 마스크 복원 영상에 기초하여 상기 조명 보상 모델을 학습시키는, 학습 방법.
  7. 조명 보상 모델을 이용하여 학습 영상으로부터 얼굴 영역의 알베도 영상 및 상기 얼굴 영역의 표면 노멀 영상을 추출하는 단계;
    상기 알베도 영상 및 상기 표면 노멀 영상을 얼굴 인식 모델에 입력하고, 상기 얼굴 인식 모델로부터 예측 값을 획득하는 단계; 및
    상기 얼굴 인식 모델의 예측 값과 상기 학습 영상에 대응하는 목표 값에 기초하여 상기 얼굴 인식 모델을 학습시키는 단계를 포함하고,
    상기 학습시키는 단계는,
    상기 학습 영상과 조명 복원 영상 간의 차이에 기초하여 학습을 위한 손실 함수(loss function)를 결정하고, 상기 손실 함수에 기초하여 상기 조명 보상 모델의 파라미터를 업데이트 하는 단계를 포함하는, 얼굴 인식 모델을 학습시키는 학습 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 얼굴 인식 모델은,
    컨볼루셔널 뉴럴 네트워크 모델에 기초하는 것을 특징으로 하는 학습 방법.
  10. 입력 영상을 조명 보상 모델에 입력하고, 상기 조명 보상 모델을 통해 상기 입력 영상의 알베도 영상, 및 표면 노멀 영상을 추출하는 단계;
    등록 영상을 상기 조명 보상 모델에 입력하고, 상기 조명 보상 모델을 통해 상기 등록 영상의 알베도 영상, 및 표면 노멀 영상을 추출하는 단계;
    상기 입력 영상의 상기 추출된 알베도 영상, 및 표면 노멀 영상을 얼굴 인식 모델에 입력하여 상기 입력 영상의 특징 값을 획득하는 단계;
    상기 등록 영상의 알베도 영상, 및 상기 등록 영상의 표면 노멀 영상을 상기 얼굴 인식 모델에 입력하여 상기 등록 영상의 특징 값을 획득하는 단계;
    상기 입력 영상의 특징 값과 상기 등록 영상의 특징 값 간의 유사도를 결정하고, 상기 유사도에 기초하여 얼굴 인식 결과를 결정하는 단계를 포함하는 얼굴 인식 방법.
  11. 제10항에 있어서,
    상기 조명 보상 모델 및 상기 얼굴 인식 모델은,
    컨볼루셔널 뉴럴 네트워크 모델에 기초하는 것을 특징으로 하는 얼굴 인식 방법.
  12. 제10항에 있어서,
    상기 얼굴 인식 모델은,
    상기 알베도 영상 및 상기 표면 노멀 영상에 기초하여 상기 입력 영상에 대응하는 식별 값을 출력하는, 얼굴 인식 방법.
  13. 제10항에 있어서,
    상기 알베도 영상 및 상기 표면 노멀 영상은,
    상기 입력 영상에 포함된 조명 성분과 무관한 것을 특징으로 하는 얼굴 인식 방법.
  14. 제10항에 있어서,
    상기 알베도 영상은, 조명과 무관한 얼굴 영역의 텍스쳐 성분을 나타내고,
    상기 표면 노멀 영상은, 조명과 무관한 얼굴 영역의 3D 형상 성분을 나타내는 것을 특징으로 하는 얼굴 인식 방법.
  15. 하드웨어와 결합되어 제1항, 제3항, 제5항 내지 제7항, 및 제9항 내지 제14항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  16. 조명 보상 모델을 이용하여 입력 영상으로부터 얼굴 영역의 알베도 영상 및 상기 얼굴 영역의 표면 노멀 영상을 추출하고, 등록 영상으로부터 등록 영상의 얼굴 영역의 알베도 영상 및 상기 등록 영상의 얼굴 영역의 표면 노멀 영상을 추출하는는 전처리기; 및
    상기 입력 영상의 상기 추출된 알베도 영상, 및 표면 노멀 영상을 얼굴 인식 모델에 입력하여 상기 입력 영상의 특징 값을 획득하고, 상기 등록 영상의 알베도 영상, 및 상기 등록 영상의 표면 노멀 영상을 상기 얼굴 인식 모델에 입력하여 상기 등록 영상의 특징 값을 획득하고, 상기 획득된 입력 영상의 특징 값과 상기 획득된 등록 영상의 특징 값 간의 유사도를 결정하고, 상기 유사도에 기초하여 상기 알베도 영상 및 상기 표면 노멀 영상을 얼굴 인식 모델에 입력하고, 상기 얼굴 인식 모델의 출력 값에 기초하여 얼굴 인식 결과를 결정하는 얼굴 인식기를 포함하는 얼굴 인식 장치.
  17. 제16항에 있어서,
    상기 전처리기는,
    상기 조명 보상 모델을 이용하여 상기 입력 영상으로부터 조명 성분과 가림 성분을 분리하는, 얼굴 인식 장치.
  18. 조명 보상 모델을 이용하여 학습 영상으로부터 얼굴 영역의 알베도 영상, 상기 얼굴 영역의 표면 노멀 영상 및 조명 특징을 추출하는 전처리기; 및
    상기 알베도 영상, 상기 표면 노멀 영상 및 상기 조명 특징에 기초하여 조명 복원 영상을 생성하고, 상기 학습 영상과 상기 조명 복원 영상에 기초하여 상기 조명 보상 모델을 학습시키는 모델 학습기를 포함하고,
    상기 조명 복원 영상은,
    램버시안 모델에 상기 알베도 영상, 상기 표면 노멀 영상 및 상기 조명 특징을 적용하여 생성된 것이고,
    상기 조명 보상 모델의 학습은,
    상기 학습 영상과 상기 조명 복원 영상 간의 차이에 기초하여 학습을 위한 손실 함수(loss function)를 결정하고, 상기 손실 함수에 기초하여 상기 조명 보상 모델의 파라미터를 업데이트 하는 것인, 학습 장치.
  19. 제18항에 있어서,
    상기 모델 학습기는,
    얼굴 인식 모델에 상기 표면 노멀 영상 및 상기 알베도 영상을 입력하여 상기 얼굴 인식 모델로부터 예측 값을 획득하고, 상기 얼굴 인식 모델의 예측 값과 상기 학습 영상에 대응하는 목표 값에 기초하여 상기 얼굴 인식 모델을 학습시키는, 학습 장치.
KR1020150112589A 2015-08-10 2015-08-10 얼굴 인식 방법 및 장치 KR102477190B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150112589A KR102477190B1 (ko) 2015-08-10 2015-08-10 얼굴 인식 방법 및 장치
US15/189,454 US10248844B2 (en) 2015-08-10 2016-06-22 Method and apparatus for face recognition
EP16180114.7A EP3156938A1 (en) 2015-08-10 2016-07-19 Method and apparatus for face recognition
CN201610651797.0A CN106446768B (zh) 2015-08-10 2016-08-10 用于脸部识别的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150112589A KR102477190B1 (ko) 2015-08-10 2015-08-10 얼굴 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170018666A KR20170018666A (ko) 2017-02-20
KR102477190B1 true KR102477190B1 (ko) 2022-12-13

Family

ID=56684449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150112589A KR102477190B1 (ko) 2015-08-10 2015-08-10 얼굴 인식 방법 및 장치

Country Status (4)

Country Link
US (1) US10248844B2 (ko)
EP (1) EP3156938A1 (ko)
KR (1) KR102477190B1 (ko)
CN (1) CN106446768B (ko)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
US11324950B2 (en) 2016-04-19 2022-05-10 Inspire Medical Systems, Inc. Accelerometer-based sensing for sleep disordered breathing (SDB) care
CN106657254B (zh) * 2016-10-25 2019-10-25 Oppo广东移动通信有限公司 一种联系人信息的同步方法、装置及***
WO2018126275A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
CN106960219B (zh) * 2017-03-10 2021-04-16 百度在线网络技术（北京）有限公司 图片识别方法及装置、计算机设备及计算机可读介质
US10249289B2 (en) 2017-03-14 2019-04-02 Google Llc Text-to-speech synthesis using an autoencoder
CN108664782B (zh) 2017-03-28 2023-09-12 三星电子株式会社 面部验证方法和设备
KR102359558B1 (ko) 2017-03-28 2022-02-09 삼성전자주식회사 얼굴 인증 방법 및 장치
US10262236B2 (en) * 2017-05-02 2019-04-16 General Electric Company Neural network training image generation system
CN110490177A (zh) * 2017-06-02 2019-11-22 腾讯科技（深圳）有限公司 一种人脸检测器训练方法及装置
CN107679460B (zh) * 2017-09-11 2020-08-11 Oppo广东移动通信有限公司 人脸的自学习方法及智能终端和存储介质
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN107729847B (zh) * 2017-10-20 2020-08-04 阿里巴巴集团控股有限公司 一种证件验证、身份验证方法和装置
KR102415509B1 (ko) 2017-11-10 2022-07-01 삼성전자주식회사 얼굴 인증 방법 및 장치
US10878072B2 (en) * 2017-11-20 2020-12-29 Ppip, Llc Systems and methods for biometric identity and authentication
KR102563522B1 (ko) * 2018-02-08 2023-08-04 주식회사 케이티 사용자의 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램
KR102466998B1 (ko) 2018-02-09 2022-11-14 삼성전자주식회사 영상 융합 방법 및 장치
CN112119391A (zh) 2018-03-01 2020-12-22 因富通国际有限公司 用于确定信息承载装置的真实性的方法和设备
US11265168B2 (en) * 2018-03-07 2022-03-01 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11138333B2 (en) 2018-03-07 2021-10-05 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US10938852B1 (en) 2020-08-14 2021-03-02 Private Identity Llc Systems and methods for private authentication with helper networks
US11502841B2 (en) 2018-03-07 2022-11-15 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11170084B2 (en) 2018-06-28 2021-11-09 Private Identity Llc Biometric authentication
US11394552B2 (en) 2018-03-07 2022-07-19 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US10721070B2 (en) 2018-03-07 2020-07-21 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11210375B2 (en) 2018-03-07 2021-12-28 Private Identity Llc Systems and methods for biometric processing with liveness
US11789699B2 (en) 2018-03-07 2023-10-17 Private Identity Llc Systems and methods for private authentication with helper networks
US11489866B2 (en) 2018-03-07 2022-11-01 Private Identity Llc Systems and methods for private authentication with helper networks
US11392802B2 (en) 2018-03-07 2022-07-19 Private Identity Llc Systems and methods for privacy-enabled biometric processing
CN109241852B (zh) * 2018-08-10 2021-01-12 广州杰赛科技股份有限公司 具有附加特征的人脸识别方法、装置、计算机设备
KR102151851B1 (ko) * 2018-09-12 2020-09-03 한양대학교 산학협력단 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법
JP7269711B2 (ja) * 2018-10-03 2023-05-09 株式会社日立製作所 生体認証システム、生体認証方法およびプログラム
CN109300170B (zh) * 2018-10-18 2022-10-28 云南大学 肖像照片光影传递方法
US11126330B2 (en) 2018-10-29 2021-09-21 Autodesk, Inc. Shaped-based techniques for exploring design spaces
US11380045B2 (en) * 2018-10-29 2022-07-05 Autodesk, Inc. Shaped-based techniques for exploring design spaces
US11741662B2 (en) 2018-10-29 2023-08-29 Autodesk, Inc. Shaped-based techniques for exploring design spaces
CN111126121B (zh) * 2018-11-01 2023-04-04 百度在线网络技术（北京）有限公司 人脸识别模型的调整方法、装置、设备及存储介质
CN109508678B (zh) * 2018-11-16 2021-03-30 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN109727209B (zh) * 2018-12-13 2021-03-02 北京爱奇艺科技有限公司 一种确定残缺文物完整图像的方法及装置
KR102179949B1 (ko) * 2018-12-26 2020-11-17 한국생산기술연구원 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법
US10887611B2 (en) * 2018-12-27 2021-01-05 Qualcomm Incorporated Pruning for illumination compensation mode
EP3674974A1 (en) * 2018-12-31 2020-07-01 Samsung Electronics Co., Ltd. Apparatus and method with user verification
CN110095065A (zh) * 2019-01-15 2019-08-06 云南安视智能设备有限公司 一种玫瑰鲜切花分级检测的方法
CN109784281A (zh) * 2019-01-18 2019-05-21 深圳壹账通智能科技有限公司 基于人脸特征的产品推荐方法、装置及计算机设备
US10872258B2 (en) 2019-03-15 2020-12-22 Huawei Technologies Co., Ltd. Adaptive image cropping for face recognition
US20230119593A1 (en) * 2019-06-21 2023-04-20 One Connect Smart Technology Co., Ltd. Method and apparatus for training facial feature extraction model, method and apparatus for extracting facial features, device, and storage medium
CN112183551A (zh) * 2019-07-02 2021-01-05 佳能株式会社 光照颜色预测方法、图像处理方法、装置及存储介质
GB2585708B (en) * 2019-07-15 2022-07-06 Huawei Tech Co Ltd Generating three-dimensional facial data
AU2020315918A1 (en) 2019-07-25 2022-03-03 Inspire Medical Systems, Inc. Systems and methods for operating an implantable medical device based upon sensed posture information
CN111310575B (zh) * 2020-01-17 2022-07-08 腾讯科技（深圳）有限公司 一种人脸活体检测的方法、相关装置、设备及存储介质
US11995749B2 (en) * 2020-01-23 2024-05-28 Disney Enterprises, Inc. Rig-space neural rendering of digital assets
KR102534582B1 (ko) * 2020-03-20 2023-05-22 한국전자통신연구원 시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치
KR102422822B1 (ko) * 2020-05-29 2022-07-18 연세대학교 산학협력단 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법
WO2022011621A1 (zh) * 2020-07-15 2022-01-20 华为技术有限公司 一种人脸光照图像生成装置及方法
US20220122360A1 (en) * 2020-10-21 2022-04-21 Amarjot Singh Identification of suspicious individuals during night in public areas using a video brightening network system
US11094042B1 (en) * 2021-03-12 2021-08-17 Flyreel, Inc. Face detection and blurring methods and systems
CN115661912B (zh) * 2022-12-26 2024-04-12 荣耀终端有限公司 图像处理方法、模型训练方法、电子设备及可读存储介质
CN115953333A (zh) * 2023-03-15 2023-04-11 杭州魔点科技有限公司 一种动态背光补偿方法和***
KR102648659B1 (ko) * 2023-03-20 2024-03-18 주식회사 룰루랩 광학 접근법을 통해 재구성한 광반사 특성 재현 영상을 이용하여 피부 분석 모델을 최적화하기 위한 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587543B (zh) * 2009-06-19 2012-12-05 电子科技大学 一种人脸识别方法
KR101373274B1 (ko) * 2012-11-08 2014-03-11 주식회사 크라스아이디 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100596197B1 (ko) 2003-08-13 2006-07-03 학교법인 울산공업학원 가변 타원 마스크와 형태학적 특징을 이용한 얼굴 인식 방법
KR100567765B1 (ko) 2004-03-12 2006-04-05 학교법인 인하학원 조명환경 분석과 전처리를 통한 얼굴 인식 시스템 및 방법
US7717574B1 (en) * 2005-09-30 2010-05-18 Obscura Digital, Inc. Method for simplifying the imaging of objects with non-Lambertian surfaces
JP2007206797A (ja) * 2006-01-31 2007-08-16 Omron Corp 画像処理方法および画像処理装置
US8090160B2 (en) * 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
KR20100096686A (ko) 2009-02-25 2010-09-02 오리엔탈종합전자(주) 조명분리 고유얼굴에 기반한 조명에 강인한 얼굴 인식
FR2950445B1 (fr) * 2009-09-24 2011-12-30 3D Event Visualisation d'images (dont au moins une est aerienne) superposees et decalees longitudinalement au moyen d'un hologramme
CN102742258B (zh) * 2010-07-21 2016-10-26 松下知识产权经营株式会社 图像处理装置
US9251402B2 (en) * 2011-05-13 2016-02-02 Microsoft Technology Licensing, Llc Association and prediction in facial recognition
US9759995B2 (en) * 2011-08-18 2017-09-12 Massachusetts Institute Of Technology System and method for diffuse imaging with time-varying illumination intensity
CN102346857B (zh) * 2011-09-14 2014-01-15 西安交通大学 人脸图像光照参数和去光照图的高精度同时估计方法
CN102521586B (zh) * 2011-12-08 2014-03-12 中国科学院苏州纳米技术与纳米仿生研究所 一种用于拍照手机的高分辨率三维人脸扫描方法
KR101937323B1 (ko) 2012-09-18 2019-01-11 한국전자통신연구원 위장 얼굴 판별 장치 및 방법
US9330485B2 (en) * 2013-02-20 2016-05-03 Kabushiki Kaisha Toshiba Volume rendering of medical images
AU2014368997B2 (en) * 2013-12-19 2020-02-27 Motorola Solutions, Inc. System and method for identifying faces in unconstrained media
CN104182726A (zh) * 2014-02-25 2014-12-03 苏凯 基于人脸识别的实名认证***
US9824271B2 (en) * 2014-06-25 2017-11-21 Kodak Alaris Inc. Adaptable eye artifact identification and correction system
CN104598935A (zh) * 2014-12-29 2015-05-06 天津瑞为拓新科技发展有限公司 一种基于增量子空间学习算法的人脸识别方法
US10521649B2 (en) * 2015-02-16 2019-12-31 University Of Surrey Three dimensional modelling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587543B (zh) * 2009-06-19 2012-12-05 电子科技大学 一种人脸识别方法
KR101373274B1 (ko) * 2012-11-08 2014-03-11 주식회사 크라스아이디 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치

Also Published As

Publication number Publication date
CN106446768B (zh) 2022-07-19
KR20170018666A (ko) 2017-02-20
US20170046563A1 (en) 2017-02-16
EP3156938A1 (en) 2017-04-19
US10248844B2 (en) 2019-04-02
CN106446768A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
KR102477190B1 (ko) 얼굴 인식 방법 및 장치
KR102483642B1 (ko) 라이브니스 검사 방법 및 장치
US10331941B2 (en) Face recognition method and apparatus
US20190286884A1 (en) Face recognition method and apparatus
KR20230021043A (ko) 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR102290392B1 (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
KR102357340B1 (ko) 얼굴 인식 방법 및 장치
KR20180109634A (ko) 얼굴 인증 방법 및 장치
KR101956071B1 (ko) 사용자 인증 방법 및 장치
US20180276489A1 (en) Liveness test method and apparatus
KR20190001066A (ko) 얼굴 인증 방법 및 장치
US10984225B1 (en) Masked face recognition
KR20160061856A (ko) 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
US20210166045A1 (en) Method and apparatus with liveness testing
US20180075291A1 (en) Biometrics authentication based on a normalized image of an object
KR20200029659A (ko) 얼굴 인식 방법 및 장치
KR102138809B1 (ko) 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
KR20160033553A (ko) 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
KR102483650B1 (ko) 사용자 인증 장치 및 방법
US11837030B2 (en) Authentication device, authentication method, and recording medium
Asmara et al. Haar cascade and convolutional neural network face detection in client-side for cloud computing face recognition
KR102160955B1 (ko) 딥 러닝 기반 3d 데이터 생성 방법 및 장치
Kumar et al. Palmprint Recognition in Eigen-space
KR102249663B1 (ko) 귀 인식 기반 신원확인 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant