KR101643573B1 - 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents

얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDF

Info

Publication number
KR101643573B1
KR101643573B1 KR1020140163534A KR20140163534A KR101643573B1 KR 101643573 B1 KR101643573 B1 KR 101643573B1 KR 1020140163534 A KR1020140163534 A KR 1020140163534A KR 20140163534 A KR20140163534 A KR 20140163534A KR 101643573 B1 KR101643573 B1 KR 101643573B1
Authority
KR
South Korea
Prior art keywords
face
dimensional
facial
dimensional face
expression
Prior art date
Application number
KR1020140163534A
Other languages
English (en)
Other versions
KR20160061081A (ko
Inventor
김익재
최희승
조정현
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020140163534A priority Critical patent/KR101643573B1/ko
Priority to US14/941,812 priority patent/US9811716B2/en
Publication of KR20160061081A publication Critical patent/KR20160061081A/ko
Application granted granted Critical
Publication of KR101643573B1 publication Critical patent/KR101643573B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

얼굴 표정 정규화를 통한 얼굴 인식 방법은, 3차원 얼굴 데이터 베이스를 이용하여, 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 단계; 상기 3차원 얼굴 데이터 베이스로부터 학습된 무표정 파라미터를 이용하여, 상기 3차원 얼굴 모델을 무표정의 3차원 얼굴 모델로 정규화하는 단계; 상기 무표정의 3차원 얼굴 모델을 무표정의 2차원 얼굴 영상으로 변환하는 단계; 및 2차원 얼굴 데이터 베이스로부터 상기 무표정의 2차원 얼굴 영상을 인식하는 단계를 포함한다. 이에 따라, 정보의 손실 없이 신뢰성 높은 얼굴 인식을 수행할 수 있다.

Description

얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD FOR FACE RECOGNITION, RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}
본 발명은 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 3차원 얼굴 모델을 기반으로 하는 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것이다.
기존 얼굴 인식 방법은 인식 대상 얼굴이 정면을 응시하고 무표정한 상태에서는 우수한 성능을 도출한다고 알려져 있다(예를 들어, FERET, FRVT 등). 하지만, 대상 얼굴의 표정이 변화하는 경우에는 성능이 떨어진다는 단점이 존재한다. 특히, CCTV, 블랙박스 등 비제약적인 환경에서는 대상자의 다양한 얼굴 표정이 존재하여, 영상의 보정을 거치지 않고 인식에 사용할 경우 만족할만한 성능을 기대할 수 없다.
이러한 문제를 해결하기 위한 기존 방법은 2차원 영상에서 다양한 얼굴 표정을 학습하여 표정 변화에 강인한 얼굴 특징을 추출하여 인식에 사용하거나, 얼굴 표정에 따라 변화가 심한 영역(예를 들어, 입 주변 영역)을 인식에 사용하지 않음으로써 인식을 수행하였다.
그러나, 상기 방식들은 대용량의 학습용 데이터베이스가 필요하고 신원 인식을 위한 주요 영역의 정보의 사용을 제한함으로써 근본적인 문제를 해결하지 못하였다. 한편, 3차원 모델링 기법을 활용하여 단일 2차원 영상으로부터 3차원 얼굴을 생성하거나 모델의 형상 및 텍스처 파라미터 등을 인식에 사용하는 기법들이 발표되고 있으나, 얼굴의 표정 변화까지는 다루지 못하고 있다.
V. Blanz and T. Vetter, A Morphable Model for the Synthesis of 3D Faces, SIGGRAPH, 1999. K. Chang et al., Multiple nose region matching for 3D face recognition under varing facial expression, IEEE PAMI, 2006. D. Vlasic et al. Face Transfer with Multilinear Models, SIGGRAPH, 2005.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 무표정으로 정규화된 얼굴을 생성하여 정보의 손실 없이 얼굴 인식을 수행하는 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 얼굴 표정 정규화를 통한 얼굴 인식 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 얼굴 표정 정규화를 통한 얼굴 인식 방법을 수행하기 위한 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 얼굴 표정 정규화를 통한 얼굴 인식 방법은, 3차원 얼굴 데이터 베이스를 이용하여, 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 단계; 상기 3차원 얼굴 데이터 베이스로부터 학습된 무표정 파라미터를 이용하여, 상기 3차원 얼굴 모델을 무표정의 3차원 얼굴 모델로 정규화하는 단계; 상기 무표정의 3차원 얼굴 모델을 무표정의 2차원 얼굴 영상으로 변환하는 단계; 및 2차원 얼굴 데이터 베이스로부터 상기 무표정의 2차원 얼굴 영상을 인식하는 단계를 포함한다.
본 발명의 실시예에서, 상기 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 단계는, 상기 입력되는 2차원 얼굴 영상의 3차원 얼굴 모델의 표정 파라미터를 예측할 수 있다.
본 발명의 실시예에서, 상기 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 단계는, 상기 3차원 얼굴 모델의 신원(identity) 및 표정(expression) 중 적어도 하나의 파라미터를 추출할 수 있다.
본 발명의 실시예에서, 상기 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 단계는, 다중 선형 모델링 기법을 이용할 수 있다.
본 발명의 실시예에서, 상기 3차원 얼굴 모델을 무표정의 3차원 얼굴 모델로 정규화하는 단계는, 상기 예측된 파라미터를 무표정 파라미터로 정규화할 수 있다.
본 발명의 실시예에서, 상기 얼굴 표정 정규화를 통한 얼굴 인식 방법은, 상기 무표정의 3차원 얼굴 모델을 다양한 표정의 2차원 얼굴 영상으로 변환하는 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 3차원 얼굴 데이터 베이스는 다양한 대상 및 표정 정보를 포함하며 미리 구축될 수 있다.
본 발명의 실시예에서, 상기 2차원 얼굴 데이터 베이스는 신분증, 여권, 범죄자 사진 중 적어도 하나를 포함할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 얼굴 표정 정규화를 통한 얼굴 인식 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 얼굴 표정 정규화를 통한 얼굴 인식 장치는, 3차원 얼굴 데이터 베이스를 이용하여, 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 정합부; 상기 3차원 얼굴 데이터 베이스로부터 학습된 무표정 파라미터를 이용하여, 상기 3차원 얼굴 모델을 무표정의 3차원 얼굴 모델로 정규화하는 정규화부; 상기 무표정의 3차원 얼굴 모델을 무표정의 2차원 얼굴 영상으로 변환하는 변환부; 및 2차원 얼굴 데이터 베이스로부터 상기 무표정의 2차원 얼굴 영상을 인식하는 인식부를 포함한다.
본 발명의 실시예에서, 상기 정합부는, 상기 입력되는 2차원 얼굴 영상의 3차원 얼굴 모델의 표정 파라미터를 예측할 수 있다.
본 발명의 실시예에서, 상기 정합부는, 상기 3차원 얼굴 모델의 신원(identity) 및 표정(expression) 중 적어도 하나의 파라미터를 추출할 수 있다.
본 발명의 실시예에서, 상기 정합부는, 다중 선형 모델링 기법을 이용할 수 있다.
본 발명의 실시예에서, 상기 정규화부는, 상기 예측된 파라미터를 무표정 파라미터로 정규화할 수 있다.
본 발명의 실시예에서, 상기 변환부는, 상기 무표정의 3차원 얼굴 모델을 다양한 표정의 2차원 얼굴 영상으로 변환할 수 있다.
본 발명의 실시예에서, 상기 3차원 얼굴 데이터 베이스는 다양한 대상 및 표정 정보를 포함하며 미리 구축될 수 있다.
본 발명의 실시예에서, 상기 2차원 얼굴 데이터 베이스는 신분증, 여권, 범죄자 사진 중 적어도 하나를 포함할 수 있다.
이와 같은 얼굴 표정 정규화를 통한 얼굴 인식 방법에 따르면, 2차원 얼굴 영상이 입력되는 경우, 3차원 얼굴 모델의 정합을 통해 다양한 얼굴의 표정 정보를 예측하여 이를 무표정으로 정규화된 얼굴 영상을 생성하고, 무표정으로 정규화된 영상을 얼굴 인식에 활용한다. 이에 따라, 얼굴의 모든 영역에 대한 정보를 사용하여 얼굴 인식에 사용할 수 있으므로, 정보의 손실 없이 얼굴 인식을 수행할 수 있다.
또한, 다중 선형 얼굴 모델 기법 등을 활용하여 입력되는 얼굴의 표정 정보를 예측하고 이를 무표정(neutral expression)으로 정규화하여, 기존의 얼굴 인식 알고리즘의 수정 없이 얼굴 인식을 수행할 수 있다. 또한, 선형 얼굴 모델 등을 통해 예측된 얼굴의 신원, 표정 정보 중 표정 정보를 무표정으로 정규화한 얼굴 영상을 생성함으로써, 기존의 얼굴 인식의 문제점 중 하나였던 표정 변화에 따른 인식 정확도가 떨어지는 문제를 해결할 수 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 표정 정규화를 통한 얼굴 인식 장치의 블록도이다.
도 2은 도 1의 얼굴 표정 정규화를 통한 얼굴 인식 장치에서 수행되는 과정을 설명하기 위한 개념도이다.
도 3은 다중 선형 모델의 텐서 개념을 설명하기 위한 도면이다.
도 4는 3차원 얼굴의 파라미터를 추출하기 위한 다중 선형 모델을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 얼굴 표정 정규화를 통한 얼굴 인식 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 얼굴 표정 정규화를 통한 얼굴 인식 장치의 블록도이다. 도 2은 도 1의 얼굴 표정 정규화를 통한 얼굴 인식 장치에서 수행되는 과정을 설명하기 위한 개념도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 얼굴 표정 정규화를 통한 얼굴 인식 장치(10, 이하 장치)는 정합부(110), 정규화부(130), 변환부(150) 및 인식부(170)를 포함한다.
본 발명의 상기 장치(10)는 얼굴 표정 정규화를 통한 얼굴 인식을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 정합부(110) 등의 구성은 상기 장치(10)에서 실행되는 상기 얼굴 표정 정규화를 통한 얼굴 인식을 수행하기 위한 소프트웨어에 의해 제어될 수 있다.
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 정합부(110) 등의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
상기 장치(10)는 미리 구축된 3차원 얼굴 데이터 베이스(40)를 이용할 수 있다. 상기 3차원 얼굴 데이터 베이스(40)는 다양한 대상 및 표정 정보를 포함할 수 있고, 지역, 인종, 국가 등 사용 환경에 따라 적합한 데이터를 저장할 수 있다. 또한, 사용 환경에 따라 정보를 업데이트 할 수 있다. 상기 3차원 얼굴 데이터 베이스(40)는 상기 장치(10)에 포함될 수 도 있고, 외부의 데이터 베이스를 사용할 수도 있다.
상기 정합부(110)는 3차원 얼굴 데이터 베이스(40)를 이용하여, 입력되는 2차원 얼굴 영상(20)을 3차원 얼굴 모델로 정합한다. 상기 입력되는 2차원 얼굴 영상(20)은 인식하고자 하는 얼굴 영상으로서 예를 들어, 범인의 사진, CCTV 영상의 정지 화면, 몽타주 등일 수 있다.
이를 위해, 상기 정합부(110)는 다중 선형 모델링(multilinear modeling) 기법을 이용하여 상기 입력되는 2차원 얼굴 영상(20)의 3차원 얼굴 모델의 표정 파라미터를 예측할 수 있다. 표정 파라미터는 상기 3차원 얼굴 모델의 신원(identity), 표정(expression) 중 적어도 하나의 파라미터를 추출할 수 있다.
이하에서는 도 3 및 도 4를 참조하여, 3차원 얼굴 모델의 신원, 표정 등의 파라미터를 추출하는 방법의 한가지 예로 다중선형 모델기법을 설명한다.
다중선형 모델이란, 2차원 선형 모델(linear model)의 차원 확장 모델이라고 할 수 있으며, 3차원 이상의 벡터 공간 상의 계산을 통한 주성분 베이시스(basis)를 구한다. 도 3을 참조하면, 텐서(tensor)란, 3차원 이상의 벡터(vector) 공간을 칭한다.
다양한 신원, 표정을 포함하는 3차원 얼굴 데이터베이스가 있다고 가정할 때, 얼굴의 신원, 표정 파라미터는 다중 선형 모델링 기법의 mode-n product 방법에 의해 추출할 수 있다.
구체적으로, 도 4(a)를 참조하면, 3차원 얼굴의 신원 및 표정 정보의 정렬을 통해 3차원 텐서를 구성하고, 도 4(b)를 참조하면, 3차원 텐서의 모드 구분에 의한 신원(identity) 및 표정(expression) 베이시스를 추출한다. 이를 수학식으로 표현하면 아래의 수학식 1과 같다.
[수학식 1]
D = Z x1 U1 x2 U2 x3 U3 x4 ··· xn Un
수학식 1에서 Z는 코어 텐서(core tensor)라고 불리며, 이는 각 모드 매트릭스 간의 관계를 이루게 해주는 매트릭스이고, Un은 mode-n 매트릭스이다. 여기서, Un은 3차원 얼굴의 신원 베이시스, 표정 베이시스 등 사용자가 원하는 다양한 요소의 베이시스로 구성할 수 있다.
따라서, 3차원 모델을 입력 얼굴에 정합(fitting)하는 과정은 Z를 예측하는 과정이며, 미리 구성된 Un을 이용할 경우 Z는 쉽게 구할 수 있다. Z를 구하는 방법은 2차원 SVD(Singular Vector Decomposition)를 확장한 N-mode SVD 등을 활용할 수 있으며 아래의 수학식 2와 같이 표현될 수 있다.
[수학식 2]
Z = D x1 x2 ··· xn ··· xN
위의 과정을 통해 3차원 얼굴의 신원, 표정 베이시스가 구분 되었다면, 무표정의 3차원 얼굴을 만드는 과정은 표정 베이시스에 해당하는 코어 텐서의 파라미터를 모두 무표정에 해당하는 파라미터로 변형시켜 생성할 수 있다.
상기 무표정에 해당하는 파라미터는 무표정 얼굴들을 이용한 학습을 통해 추출할 수 있다. 또한, 다양한 표정들을 이용하여 각 표정에 해당하는 표정 파라미터를 학습할 수 있다. 이러한, 무표정 또는 표정 파라미터 학습은 별도의 학습부(미도시)에서 수행할 수 있고, 또는 상기 정합부(110) 또는 변환부(150)에서 수행할 수도 있다.
상기 정규화부(130)는 상기 3차원 얼굴 데이터 베이스로부터 학습된 무표정 파라미터를 이용하여, 상기 3차원 얼굴 모델을 무표정(neutral expression)의 3차원 얼굴 모델로 정규화한다. 즉, 상기 예측된 파라미터를 무표정의 파라미터로 정규화한다.
본 발명은 2차원 얼굴 영상(20)이 입력되는 경우, 3차원 얼굴 모델의 정합을 통해 다양한 얼굴의 표정 정보를 예측하여 이를 무표정으로 정규화된 얼굴 영상을 생성한다. 따라서, 정보의 손실 없이 얼굴의 모든 영역에 대한 정보를 사용하여 얼굴 인식에 사용할 수 있다. 또한, 종래 각기 다른 표정의 2차원 얼굴 영상으로 얼굴 인식에 사용하기에는 어려움이 있었으나, 본 발명에서는 무표정 얼굴로 정규화하여 이러한 문제점을 해결하였고, 나아가 무표정 얼굴을 기반으로 다양한 표정을 재구성 할 수 있다.
상기 변환부(150)는 상기 무표정의 3차원 얼굴 모델을 무표정의 2차원 얼굴 영상으로 변환한다. 본 발명은 선형 얼굴 모델 등을 통해 예측된 얼굴의 신원, 표정 정보 중 표정 정보를 무표정으로 정규화한 얼굴 영상을 생성함으로써, 기존의 얼굴 인식의 문제점 중 하나였던 표정 변화 문제를 해결할 수 있다.
또한, 상기 변환부(150)는 상기 무표정의 3차원 얼굴 모델을 기반으로, 상기 학습된 표정 파라미터를 이용하여 다양한 표정의 2차원 얼굴 영상으로 변환할 수도 있다.
상기 인식부(170)는2차원 얼굴 데이터 베이스(60)로부터 상기 무표정의 2차원 얼굴 영상을 인식한다. 이는 무표정으로 정규화된 영상을 활용하는 것으로, 상기 2차원 얼굴 데이터 베이스(60)는 신분증, 여권, 범죄자 사진 등일 수 있다.
상기 인식부(170)는 상기 2차원 얼굴 데이터 베이스(60)로부터 상기 무표정의 2차원 얼굴 영상과 유사한 또는 가장 유사한 적어도 하나의 후보를 추출할 수 있다. 또한, 상기 변환부(150)를 통해 다양한 표정의 얼굴 영상을 생성할 수 있으므로, 신분증, 여권, 범죄자 사진 등의 표정에 따라 비교 영상을 생성하고 비교할 수도 있다.
이에 따라, 얼굴 인식 또는 신원 확인의 정확성을 높일 수 있고, 기존의 얼굴 인식 알고리즘의 변형 없이 얼굴 인식을 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 얼굴 표정 정규화를 통한 얼굴 인식 방법의 흐름도이다.
본 실시예에 따른 얼굴 표정 정규화를 통한 얼굴 인식 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. 또한, 본 실시예에 따른 얼굴 표정 정규화를 통한 얼굴 인식 방법은 얼굴 인식을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
도 5를 참조하면, 본 실시예에 따른 얼굴 표정 정규화를 통한 얼굴 인식 방법은, 3차원 얼굴 데이터 베이스를 이용하여, 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합한다(단계 S10).
상기 3차원 얼굴 데이터 베이스는 다양한 대상 및 표정 정보를 포함하며, 미리 구축되어 있을 수 있다. 상기 3차원 얼굴 데이터 베이스는 다양한 대상 및 표정 정보를 포함할 수 있고, 지역, 인종, 국가 등 사용 환경에 따라 적합한 데이터를 저장할 수 있다. 또한, 사용 환경에 따라 정보를 업데이트 할 수 있다.
상기 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 단계(단계 S10)는, 상기 입력되는 2차원 얼굴 영상의 3차원 얼굴 모델의 표정 파라미터를 예측하는 것이다. 이를 위해 다중 선형 모델링(multilinear modeling) 기법을 이용할 수 있고, 상기 3차원 얼굴 모델의 신원 및 표정 중 적어도 하나의 파라미터를 추출할 수 있다.
상기 입력되는 2차원 얼굴 영상은 인식하고자 하는 얼굴 영상으로서 예를 들어, 범인의 사진, CCTV 영상의 정지 화면, 몽타주 등일 수 있다.
상기 2차원 얼굴 영상이 3차원 얼굴 모델로 정합된 후, 상기 3차원 얼굴 데이터 베이스로부터 학습된 무표정 파라미터를 이용하여, 상기 3차원 얼굴 모델을 무표정의 3차원 얼굴 모델로 정규화한다(단계 S30). 즉, 상기 예측된 파라미터를 무표정(neutral expression) 파라미터로 정규화하는 과정이다.
상기 무표정에 해당하는 파라미터는 무표정 얼굴들을 이용한 학습을 통해 추출할 수 있다. 또한, 다양한 표정들을 이용하여 각 표정에 해당하는 표정 파라미터를 학습할 수 있다.
이러한 표정 또는 무표정의 파라미터 학습은 본 발명에 따른 얼굴 표정 정규화를 통한 얼굴 인식 방법의 수행 전 전처리 과정에서 상기 3차원 얼굴 데이터 베이스를 이용하여 가능하다. 또한, 상기 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 단계(단계 S10) 또는 상기 3차원 얼굴 모델을 무표정의 3차원 얼굴 모델로 정규화하는 단계(단계 S30)에서 이루어질 수도 있다.
본 발명은 2차원 얼굴 영상이 입력되는 경우, 3차원 얼굴 모델의 정합을 통해 다양한 얼굴의 표정 정보를 예측하여 이를 무표정으로 정규화된 얼굴 영상을 생성하므로, 정보의 손실 없이 얼굴의 모든 영역에 대한 정보를 사용하여 얼굴 인식에 사용할 수 있다.
상기 무표정의 3차원 얼굴 모델이 생성되면, 무표정의 2차원 얼굴 영상으로 변환한다(단계 S50). 본 발명은 선형 얼굴 모델 등을 통해 예측된 얼굴의 신원, 표정 정보 중 표정 정보를 무표정으로 정규화한 얼굴 영상을 생성함으로써, 기존의 얼굴 인식의 문제점 중 하나였던 표정 변화 문제를 해결할 수 있다.
또한, 상기 무표정의 3차원 얼굴 모델을 기반으로, 상기 학습된 표정 파라미터를 이용하여 다양한 표정의 2차원 얼굴 영상으로 변환할 수도 있다.
본 발명은 상기 무표정의 3차원 얼굴 모델을 기반으로, 상기 학습된 표정 파라미터를 이용하여 다양한 표정의 2차원 얼굴 영상으로 변환할 수도 있다. 이를 통해, 무표정 얼굴 영상뿐 아니라, 다양한 표정의 얼굴 영상을 추출할 수도 있다.
상기 2차원 얼굴 데이터 베이스로부터 상기 무표정의 2차원 얼굴 영상을 인식한다(단계 S70). 상기 2차원 얼굴 데이터 베이스로부터 상기 무표정의 2차원 얼굴 영상과 유사한 또는 가장 유사한 적어도 하나의 후보를 추출할 수 있다. 이는 무표정으로 정규화된 영상을 활용하는 것으로, 상기 2차원 얼굴 데이터 베이스는 신분증, 여권, 범죄자 사진 등일 수 있다.
또한, 상기 무표정의 3차원 얼굴 모델을 기반으로, 다양한 표정의 얼굴 영상을 생성할 수 있으므로, 신분증, 여권, 범죄자 사진 등의 표정에 따라 비교 영상을 생성하고 비교할 수도 있다.
이에 따라, 얼굴 인식 또는 신원 확인의 정확성을 높일 수 있고, 기존의 얼굴 인식 알고리즘의 변형 없이 얼굴 인식을 수행할 수 있다.
이와 같은, 얼굴 표정 정규화를 통한 얼굴 인식 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 2차원 얼굴 영상이 입력되는 경우, 3차원 얼굴 모델의 정합을 통해 다양한 얼굴의 표정 정보를 예측하여 이를 무표정으로 정규화된 얼굴 영상을 생성하고, 무표정으로 정규화된 영상을 얼굴 인식에 활용하다.
이에, 본 발명에 따른 얼굴 표정 정규화를 통한 얼굴 인식은 보안 분야에 유용하게 적용할 수 있다. 국제 바이오인식협회(IBG) 리포트에 따르면, 국제 얼굴 인식 시장의 규모는 매년 29.5%의 성장률을 유지하고, 2014년 14억불 규모로 예측된다. 본 방식을 통해 정규화된 얼굴 영상을 생성할 경우, 즉각적으로 기존 인식 시스템에 적용이 가능하므로 파급효과가 매우 클 것이라 예상된다.
특히, CCTV 및 블랙박스 환경 등 비제약적인 환경에서는 인식 대상 얼굴의 표정이 매우 다양하므로 본 방식을 사용할 경우 얼굴정보의 활용도가 높아 지능형 영상보안 시장에 활용가능성이 매우 클 것으로 기대된다.
또한, 본 발명에 따른 얼굴 표정 정규화를 통한 얼굴 인식은 엔터테인먼트 분야까지 널리 활용될 수 있다. 본 방식을 통해 얼굴의 표정, 입 모양 등 얼굴의 미세한 정보의 예측이 가능하여 얼굴 실감 아바타 생성, 표정 인식에 따른 다양한 UI, UX 어플리케이션 등 다양한 엔터테인먼트 분야에 적용이 가능할 것이라 기대된다.
10: 얼굴 표정 정규화를 통한 얼굴 인식 장치
110: 정합부
130: 정규화부
150: 변환부
170: 인식부

Claims (17)

  1. 3차원 얼굴 데이터 베이스를 이용하여, 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 단계;
    상기 3차원 얼굴 데이터 베이스로부터 학습된 무표정 파라미터를 이용하여, 상기 3차원 얼굴 모델을 무표정의 3차원 얼굴 모델로 정규화하는 단계;
    상기 무표정의 3차원 얼굴 모델을 무표정의 2차원 얼굴 영상으로 변환하는 단계; 및
    2차원 얼굴 데이터 베이스로부터 상기 무표정의 2차원 얼굴 영상을 인식하는 단계를 포함하는, 얼굴 표정 정규화를 통한 얼굴 인식 방법.
  2. 제1항에 있어서, 상기 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 단계는,
    상기 입력되는 2차원 얼굴 영상의 3차원 얼굴 모델의 표정 파라미터를 예측하는, 얼굴 표정 정규화를 통한 얼굴 인식 방법.
  3. 제2항에 있어서, 상기 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 단계는,
    상기 3차원 얼굴 모델의 신원(identity) 및 표정(expression) 중 적어도 하나의 파라미터를 추출하는, 얼굴 표정 정규화를 통한 얼굴 인식 방법.
  4. 제2항에 있어서, 상기 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 단계는,
    다중 선형 모델링 기법을 이용하는, 얼굴 표정 정규화를 통한 얼굴 인식 방법.
  5. 제2항에 있어서, 상기 3차원 얼굴 모델을 무표정의 3차원 얼굴 모델로 정규화하는 단계는,
    상기 예측된 파라미터를 무표정 파라미터로 정규화하는, 얼굴 표정 정규화를 통한 얼굴 인식 방법.
  6. 제1항에 있어서, 상기 무표정의 3차원 얼굴 모델을 무표정의 2차원 얼굴 영상으로 변환하는 단계 이후,
    상기 무표정의 3차원 얼굴 모델을 다양한 표정의 2차원 얼굴 영상으로 변환하는 단계를 더 포함하는, 얼굴 표정 정규화를 통한 얼굴 인식 방법.
  7. 제1항에 있어서,
    상기 3차원 얼굴 데이터 베이스는 다양한 대상 및 표정 정보를 포함하며 미리 구축되어 있는, 얼굴 표정 정규화를 통한 얼굴 인식 방법.
  8. 제1항에 있어서,
    상기 2차원 얼굴 데이터 베이스는 신분증, 여권, 범죄자 사진 중 적어도 하나를 포함하는, 얼굴 표정 정규화를 통한 얼굴 인식 방법.
  9. 제1항 내지 제8항 중 어느 하나의 항에 따른 얼굴 표정 정규화를 통한 얼굴 인식 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  10. 3차원 얼굴 데이터 베이스를 이용하여, 입력되는 2차원 얼굴 영상을 3차원 얼굴 모델로 정합하는 정합부;
    상기 3차원 얼굴 데이터 베이스로부터 학습된 무표정 파라미터를 이용하여, 상기 3차원 얼굴 모델을 무표정의 3차원 얼굴 모델로 정규화하는 정규화부;
    상기 무표정의 3차원 얼굴 모델을 무표정의 2차원 얼굴 영상으로 변환하는 변환부; 및
    2차원 얼굴 데이터 베이스로부터 상기 무표정의 2차원 얼굴 영상을 인식하는 인식부를 포함하는, 얼굴 표정 정규화를 통한 얼굴 인식 장치.
  11. 제10항에 있어서, 상기 정합부는,
    상기 입력되는 2차원 얼굴 영상의 3차원 얼굴 모델의 표정 파라미터를 예측하는, 얼굴 표정 정규화를 통한 얼굴 인식 장치.
  12. 제11항에 있어서, 상기 정합부는,
    상기 3차원 얼굴 모델의 신원(identity) 및 표정(expression) 중 적어도 하나의 파라미터를 추출하는, 얼굴 표정 정규화를 통한 얼굴 인식 장치.
  13. 제11항에 있어서, 상기 정합부는,
    다중 선형 모델링 기법을 이용하는, 얼굴 표정 정규화를 통한 얼굴 인식 장치.
  14. 제11항에 있어서, 상기 정규화부는,
    상기 예측된 파라미터를 무표정 파라미터로 정규화하는, 얼굴 표정 정규화를 통한 얼굴 인식 장치.
  15. 제10항에 있어서, 상기 변환부는,
    상기 무표정의 3차원 얼굴 모델을 다양한 표정의 2차원 얼굴 영상으로 변환하는, 얼굴 표정 정규화를 통한 얼굴 인식 장치.
  16. 제10항에 있어서,
    상기 3차원 얼굴 데이터 베이스는 다양한 대상 및 표정 정보를 포함하며 미리 구축되어 있는, 얼굴 표정 정규화를 통한 얼굴 인식 장치.
  17. 제10항에 있어서,
    상기 2차원 얼굴 데이터 베이스는 신분증, 여권, 범죄자 사진 중 적어도 하나를 포함하는, 얼굴 표정 정규화를 통한 얼굴 인식 장치.
KR1020140163534A 2014-11-21 2014-11-21 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 KR101643573B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140163534A KR101643573B1 (ko) 2014-11-21 2014-11-21 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
US14/941,812 US9811716B2 (en) 2014-11-21 2015-11-16 Method for face recognition through facial expression normalization, recording medium and device for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140163534A KR101643573B1 (ko) 2014-11-21 2014-11-21 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치

Publications (2)

Publication Number Publication Date
KR20160061081A KR20160061081A (ko) 2016-05-31
KR101643573B1 true KR101643573B1 (ko) 2016-07-29

Family

ID=56010541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140163534A KR101643573B1 (ko) 2014-11-21 2014-11-21 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치

Country Status (2)

Country Link
US (1) US9811716B2 (ko)
KR (1) KR101643573B1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10792566B1 (en) 2015-09-30 2020-10-06 Electronic Arts Inc. System for streaming content within a game application environment
CN108369451B (zh) * 2015-12-18 2021-10-29 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
US10403018B1 (en) 2016-07-12 2019-09-03 Electronic Arts Inc. Swarm crowd rendering system
US10726611B1 (en) 2016-08-24 2020-07-28 Electronic Arts Inc. Dynamic texture mapping using megatextures
US10198626B2 (en) * 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10096133B1 (en) 2017-03-31 2018-10-09 Electronic Arts Inc. Blendshape compression system
US10878540B1 (en) 2017-08-15 2020-12-29 Electronic Arts Inc. Contrast ratio detection and rendering system
US10535174B1 (en) 2017-09-14 2020-01-14 Electronic Arts Inc. Particle-based inverse kinematic rendering system
US10860838B1 (en) * 2018-01-16 2020-12-08 Electronic Arts Inc. Universal facial expression translation and character rendering system
CN108764024B (zh) * 2018-04-09 2020-03-24 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN108629333A (zh) * 2018-05-25 2018-10-09 厦门市美亚柏科信息股份有限公司 一种低照度的人脸图像处理方法、装置、设备及可读介质
US20210166461A1 (en) * 2018-07-04 2021-06-03 Web Assistants Gmbh Avatar animation
KR102229056B1 (ko) * 2018-08-09 2021-03-17 에스케이텔레콤 주식회사 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN112567398A (zh) * 2018-08-10 2021-03-26 维萨国际服务协会 用于匹配不同输入数据的技术
CN109191507B (zh) * 2018-08-24 2019-11-05 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质
CN109766813B (zh) * 2018-12-31 2023-04-07 陕西师范大学 基于对称人脸扩充样本的字典学习人脸识别方法
CN109976513B (zh) * 2019-02-20 2020-03-03 方科峰 一种***界面设计方法
CN109978996B (zh) * 2019-03-28 2021-06-11 北京达佳互联信息技术有限公司 生成表情三维模型的方法、装置、终端及存储介质
CN110263617B (zh) * 2019-04-30 2021-10-22 北京永航科技有限公司 三维人脸模型获取方法及装置
US10902618B2 (en) 2019-06-14 2021-01-26 Electronic Arts Inc. Universal body movement translation and character rendering system
CN111126376B (zh) * 2019-10-16 2022-08-23 平安科技（深圳）有限公司 基于面部特征点检测的图片纠正方法、装置和计算机设备
CN110796075B (zh) * 2019-10-28 2024-02-02 深圳前海微众银行股份有限公司 人脸多样性数据获取方法、装置、设备及可读存储介质
US11972353B2 (en) 2020-01-22 2024-04-30 Electronic Arts Inc. Character controllers using motion variational autoencoders (MVAEs)
US11504625B2 (en) 2020-02-14 2022-11-22 Electronic Arts Inc. Color blindness diagnostic system
CN111369428B (zh) * 2020-03-09 2023-07-21 北京百度网讯科技有限公司 虚拟头像生成方法和装置
US11232621B2 (en) 2020-04-06 2022-01-25 Electronic Arts Inc. Enhanced animation generation based on conditional modeling
US11648480B2 (en) 2020-04-06 2023-05-16 Electronic Arts Inc. Enhanced pose generation based on generative modeling
US11830121B1 (en) 2021-01-26 2023-11-28 Electronic Arts Inc. Neural animation layering for synthesizing martial arts movements
US11887232B2 (en) 2021-06-10 2024-01-30 Electronic Arts Inc. Enhanced system for generation of facial models and animation
US11670030B2 (en) 2021-07-01 2023-06-06 Electronic Arts Inc. Enhanced animation generation based on video with local phase
US11562523B1 (en) 2021-08-02 2023-01-24 Electronic Arts Inc. Enhanced animation generation based on motion matching using local bone phases
CN113673374B (zh) * 2021-08-03 2024-01-30 支付宝(杭州)信息技术有限公司 一种面部识别方法、装置及设备
KR20230102182A (ko) * 2021-12-30 2023-07-07 아리아엣지 주식회사 모션 기반 3d 아바타의 표정 재현 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006351007A (ja) * 2005-06-14 2006-12-28 Mitsubishi Electric Research Laboratories Inc 顔のバイリニアモデルを生成する方法
JP2014137719A (ja) * 2013-01-17 2014-07-28 Ntt Communications Corp 特徴点出力装置、特徴点出力プログラム、特徴点出力方法、検索装置、検索プログラムおよび検索方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918499B2 (ja) * 1996-09-17 1999-07-12 株式会社エイ・ティ・アール人間情報通信研究所 顔画像情報変換方法および顔画像情報変換装置
DE69934478T2 (de) * 1999-03-19 2007-09-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
US7415152B2 (en) * 2005-04-29 2008-08-19 Microsoft Corporation Method and system for constructing a 3D representation of a face from a 2D representation
KR101615719B1 (ko) * 2009-09-18 2016-04-27 삼성전자주식회사 사용자의 3차원 얼굴 표정 추출 방법 및 장치
WO2012126135A1 (en) * 2011-03-21 2012-09-27 Intel Corporation Method of augmented makeover with 3d face modeling and landmark alignment
US9317954B2 (en) * 2013-09-23 2016-04-19 Lucasfilm Entertainment Company Ltd. Real-time performance capture with on-the-fly correctives

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006351007A (ja) * 2005-06-14 2006-12-28 Mitsubishi Electric Research Laboratories Inc 顔のバイリニアモデルを生成する方法
JP2014137719A (ja) * 2013-01-17 2014-07-28 Ntt Communications Corp 特徴点出力装置、特徴点出力プログラム、特徴点出力方法、検索装置、検索プログラムおよび検索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1
논문2

Also Published As

Publication number Publication date
US20160148041A1 (en) 2016-05-26
KR20160061081A (ko) 2016-05-31
US9811716B2 (en) 2017-11-07

Similar Documents

Publication Publication Date Title
KR101643573B1 (ko) 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
Wang et al. Identity-and pose-robust facial expression recognition through adversarial feature learning
Abbasnejad et al. Using synthetic data to improve facial expression analysis with 3d convolutional networks
US8593452B2 (en) Face feature vector construction
US9928443B2 (en) Image processing apparatus and method for fitting a deformable shape model to an image using random forest regression voting
Kossaifi et al. Gagan: Geometry-aware generative adversarial networks
Fanelli et al. Random forests for real time 3d face analysis
US9323980B2 (en) Pose-robust recognition
US8913798B2 (en) System for recognizing disguised face using gabor feature and SVM classifier and method thereof
Danelakis et al. A survey on facial expression recognition in 3D video sequences
KR101117549B1 (ko) 얼굴 인식 시스템 및 그 얼굴 인식 방법
Xue et al. Automatic 4D facial expression recognition using DCT features
KR20160033553A (ko) 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
KR102138809B1 (ko) 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
Jampour et al. Multi-view facial expressions recognition using local linear regression of sparse codes
Iranmanesh et al. Robust facial landmark detection via aggregation on geometrically manipulated faces
US20170076164A1 (en) Biometric authentication device and biometric authentication method
Deng et al. Attention-aware dual-stream network for multimodal face anti-spoofing
Suárez et al. Toward a Thermal Image-Like Representation.
Mantecón et al. Enhanced gesture-based human-computer interaction through a Compressive Sensing reduction scheme of very large and efficient depth feature descriptors
KR101156154B1 (ko) 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템
Tonchev et al. Comparative analysis of 3d face recognition algorithms using range image and curvature-based representations
CN112990047A (zh) 一种结合面部角度信息的多姿态人脸验证方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190702

Year of fee payment: 4