KR101923405B1 - 기하학적 변환이 적용된 aam을 이용한 사람의 얼굴 검출 및 모델링시스템 - Google Patents

기하학적 변환이 적용된 aam을 이용한 사람의 얼굴 검출 및 모델링시스템 Download PDF

Info

Publication number
KR101923405B1
KR101923405B1 KR1020180002739A KR20180002739A KR101923405B1 KR 101923405 B1 KR101923405 B1 KR 101923405B1 KR 1020180002739 A KR1020180002739 A KR 1020180002739A KR 20180002739 A KR20180002739 A KR 20180002739A KR 101923405 B1 KR101923405 B1 KR 101923405B1
Authority
KR
South Korea
Prior art keywords
face
aam
modeling
detected
image
Prior art date
Application number
KR1020180002739A
Other languages
English (en)
Inventor
김수형
양형정
이귀상
나인섭
홍타이
권민구
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020180002739A priority Critical patent/KR101923405B1/ko
Application granted granted Critical
Publication of KR101923405B1 publication Critical patent/KR101923405B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06K9/00228—
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템에 관한 것으로, 영상 데이터 또는 카메라로 촬영하고 있는 실시간 비디오에서 cascaded CNN(Convolutional Neural Network)를 통해 사람의 얼굴을 감지 및 추적하고, 추적된 데이터를 기하학적 변환이 적용된 AAM(Active Appearance Model)을 통해 모델링하는 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템 및 그 방법에 관한 것이다.
본 발명은 기하학적 변환을 통해 추적된 객체의 이미지를 수평 방향의 이미지로 회전 처리하여 다양한 포즈(회전)로 인한 객체의 움직임을 추정할 수 있고, 추정 후 객체의 이미지를 원래 위치로 역회전시켜 객체를 모델링하는 과정을 반복하여 객체를 실시간으로 검출 및 모델링할 수 있는 효과가 있다.

Description

기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템{System for tracking and modeling human faces using AAM with geometric transformation and method therefor}
본 발명은 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템에 관한 것으로, 보다 상세하게는 영상 데이터 또는 카메라로 촬영하고 있는 실시간 비디오에서 cascaded CNN(Convolutional Neural Network)를 통해 사람의 얼굴을 감지 및 추적하고, 추적된 데이터를 기하학적 변환이 적용된 AAM(Active Appearance Model)을 통해 모델링하는 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템 및 그 방법에 관한 것이다.
현대 컴퓨터 비전 분야에서, 사람의 얼굴을 데이터로 추출하는 것은 매우 중요한 주제이다. 우리는 사람의 얼굴 데이터를 통해 보안시스템, 보정 자동화, 표정 인식, 감정 분석 등 다양한 활용이 가능하다.
이러한 사람의 얼굴 데이터를 얻기 위해, 기계 학습, 모델링 기법 등을 이용한 많은 방법론이 제시되고 있다.
이러한 다양한 방법론이 제시되고 있으나, 영상데이터에서 사람의 얼굴을 조명 또는 촬영 구도에 따라 다양한 모습을 가지고 있기 ??문에 정확한 얼굴 데이터를 얻기가 쉽지 않은 문제점이 있다.
종래, 선행기술 문헌에 AAM 알고리즘을 이용한 얼굴검출 방법은 입력 영상에서 얼굴 윤곽을 검출하고, 얼굴 윤곽의 내부에서 하나 이상의 얼굴 특징부를 검출하고, 얼굴 윤곽과 얼굴 특징부를 기반으로 형상 모델을 변환하며, 형상모델로 얼굴 윤곽 내부의 얼굴 특징부를 AAM검색함으로써, 얼굴윤곽 영역을 검출하고 있다. 하지만, AAM은 알고리즘 특성상 초기값과 환경 변화에 민감하여 실제 서비스 상황에 적용하기에 어려운 문제가 있다.
출원번호 : 10-2007-0108386(AAM을 이용한 얼굴검출 방법 및 장치, 에스케이텔레콤 주식회사, 2007.10.26.)
본 발명의 목적은 상술한 문제점을 해결하고자 고안한 것으로, 영상데이터에서 사람의 촬영구도에 따른 얼굴 데이터를 얻기 위한 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템 및 그 방법을 제공함에 있다.
본 발명은 입력되는 비디오 데이터의 프레임에서 얼굴영역을 검출하는 얼굴영역 검출부(100); 검출된 얼굴의 포즈를 추정하여 이미지를 회전변환하고, 얼굴 객체의 특징점에 AAM(Active Appearance Model)을 적용하여 얼굴 객체위치를 검출하는 객체 검출부(200); 및 얼굴 객체위치를 검출한 이미지를 원위치로 역회전시켜 객체를 모델링하는 모델링부(300);를 포함할 수 있다.
바람직하게 상기 얼굴영역 검출부(100)는 상기 비디오 데이터의 프레임에 Cascaded CNN을 통해 얼굴 영역을 검출할 수 있다.
바람직하게 객체 검출부(200)는 검출된 얼굴영역의 포즈 초기 모델을 추정하는 포즈 추정모듈(210); 추정된 포즈에 따라 검출된 얼굴 영역을 추출하여 기하학적 변환을 통해 수평 이미지로 회전 변환시키는 회전 변환모듈(220); 및 얼굴 객체의 형태(shape)와 질감(texture) 정보에 대한 기계학습을 통해 shape model과 texture model을 생성하고, 얼굴 영역에 적합(fitting)하여 눈, 코, 입의 위치를 검출하는 얼굴객체요소 검출모듈(230);을 포함할 수 있다.
바람직하게 모델링부(300)는 얼굴 객체요소인 눈, 코, 입의 위치가 검출된 얼굴 영상을 역회전 변환시켜 실제 프레임에서 모델링된 데이터로 표현하도록 하는 역회전 변환모듈(310);을 포함할 수 있다.
바람직하게 얼굴영역 검출부(100)는 이전 프레임에서 검출된 얼굴 영역을 포함하는 사각형을 상하좌우로 각각 확대하는 영역 확대모듈(110);을 포함하며, 각각 확대된 영역에 대해서 cascaded CNN을 적용하고 얼굴을 검출할 수 있다.
삭제
삭제
삭제
삭제
삭제
본 발명은 상술한 기술적 구성으로 인해 기하학적 변환을 통해 추적된 객체의 이미지를 수평 방향의 이미지로 회전 처리하여 다양한 포즈(회전)로 인한 객체의 움직임을 추정할 수 있고, 추정 후 객체의 이미지를 원래 위치로 역회전시켜 객체를 모델링하는 과정을 반복하여 객체를 실시간으로 검출 및 모델링할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템을 나타낸 구성도이다.
도 2는 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템을 이용한 방법의 전체 흐름도이다.
도 3은 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템을 이용한 방법의 (b)단계인 객체 검출부의 동작 흐름을 나타낸 예시도이다.
도 4는 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템을 이용한 방법을 단계별로 재정리한 예시도이고,
도 5는 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템에 있어서, 프레임에서의 얼굴 검출 및 모델링 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링 시스템에 있어서, 초기 얼굴 감지를 위한 cascaded CNN Face Detector인 얼굴영역 검출부(100)를 설명하기 위한 예시도이다.
도 7은 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링 시스템의 기하학적 변환(회전)을 이용한 얼굴 이미지 수평처리를 나타낸 예시도이다.
도 8은 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링 시스템의 블록 다이어그램을 나타낸 예시도이다.
도 9는 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링 시스템의 기하학적 변환에 따른 예시도이다.
본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템 및 그 방법은 비디오에서 사람의 얼굴 데이터를 보다 정확하게 얻기 위해 객체를 검출 및 모델링하는 방법을 제시한다.
cascaded CNN을 통해 얼굴의 초기 위치를 감지 및 추적하고, 기하학적 변환을 통해 전처리한 후, 훈련용 얼굴영상 데이터베이스의 데이터를 학습시킨 AAM 기법을 통해 얼굴 데이터를 정확하게 얻을 수 있다. 이러한 데이터를 통해 보안 시스템 등에 다양하게 활용할 수 있다.
본 발명의 일실시예에 따르면, 먼저 객체(얼굴 데이터)의 정확한 초기 위치 추적을 위해 입력받은 영상 데이터의 처음 프레임에서 빠른 변화에 적합한 cascaded CNN을 이용한다. 이후, 기하학적 변환을 통해 추적된 객체의 이미지를 회전시켜 수평 방향의 이미지로 만들고, 모델 기반 접근법 중 하나인 AAM을 이용하여 회전시킨 객체의 움직임을 추정할 수 있다. 추정 후, 객체의 이미지를 원래 위치로 역회전시켜 객체를 모델링하는 과정을 반복하여 객체를 실시간으로 검출 및 모델링할 수 있다.
이하, 아래에 첨부되는 도면을 참조하여 본 발명의 일실시예를 설명하면 다음과 같다.
도 1은 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템을 나타낸 구성도이다.
도 1에 도시된 바와 같이, 얼굴영역 검출부(100), 객체 검출부(200), 모델링부(300)를 포함할 수 있다.
얼굴영역 검출부(100)는 입력되는 비디오 데이터의 프레임에서 얼굴영역을 검출하는 구성이다. 이러한 얼굴영역 검출부(100)는 비디오 데이터의 프레임에 Cascaded CNN을 통해 얼굴 영역을 검출할 수 있다.
본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템의 얼굴영역 검출부(100)는 이전 프레임에서 검출된 얼굴 영역을 포함하는 사각형을 상하좌우로 각각 50%씩 확대하는 영역 확대모듈(110);을 포함하며, 검출된 얼굴영역을 포함하는 사각형이 상하좌우로 각각 50%씩 확대된 영역에 대해서 cascaded CNN을 적용하고 얼굴을 검출할 수 있다.
객체 검출부(200)는 검출된 얼굴의 포즈를 추정하여 이미지를 회전변환하고, 얼굴 객체의 특징점에 AAM(Active Appearance Model)을 적용하여 얼굴 객체위치를 검출할 수 있다.
이러한 기능을 수행하기 위한 객체 검출부(200)는 포즈 추정모듈(210), 회전 변환모듈(220), 얼굴객체요소 검출모듈(230)을 포함할 수 있다.
포즈 추정모듈(210)은 검출된 얼굴영역의 포즈 초기 모델을 추정하는 구성이다. 얼굴영역의 특징점을 인식하하여 포즈를 추정하는데, 눈, 코, 입의 두 특징점을 연결하여 기울어진 정도에 따라 얼굴의 회전 정도를 추정할 수 있다.
회전 변환모듈(220)은 추정된 포즈에 따라 검출된 얼굴 영역을 추출하여 기하학적 변환을 통해 수평 이미지로 회전 변환시킬 수 있다. 즉, 기하학적 변환을 통해 추적된 객체의 이미지를 회전시켜 수평 방향의 이미지로 만들 수 있다.
얼굴객체요소 검출모듈(230)은 얼굴 객체의 형태(shape)와 질감(texture) 정보에 대한 기계학습을 통해 shape model과 texture model을 생성하고, 얼굴 영역에 적합(fitting)하여 눈, 코, 입의 위치를 검출하여 모델 기반 접근법 중 하나인 AAM을 이용하여 회전시킨 객체의 움직임을 추정할 수 있다.
모델링부(300)는 얼굴 객체위치를 검출한 이미지를 원위치로 역회전시켜 객체를 모델링할 수 있는 구성이다. 모델링부는 추정한 객체의 이미지를 원래 위치로 역회전시켜 객체를 모델링한다. 이 과정을 반복하여 객체를 실시간으로 검출 및 모델링할 수 있다.
이러한 기능을 수행하는 모델링부(300)는 얼굴 객체요소인 눈, 코, 입의 위치가 검출된 얼굴 영상을 역회전 변환시켜 실제 프레임에서 모델링된 데이터로 표현하도록 하는 역회전 변환모듈(310)을 포함할 수 있다.
도 2는 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템을 이용한 방법의 전체 흐름도이다.
본 실시예에서의 얼굴 검출 및 모델링시스템은 얼굴영역 검출부(100), 객체 검출부(200), 모델링부(300)의 각 구성을 제어하는 제어부(400)의 제어 하에 이루어지는 것으로 설명하기로 한다.
도 2에 도시된 바와 같이, 제어부(400)는 입력되는 비디오 데이터의 프레임에서 얼굴영역 검출부(100)를 통해 얼굴영역을 검출하도록 한다(a).
이러한 (a)단계에서 얼굴영역 검출부(100)를 통해 비디오 데이터의 프레임에 Cascaded CNN을 통해 얼굴 영역을 검출할 수 있다.
그리고 본 실시예에 따른 제어부(400)는 (a) 단계에서 이전 프레임에서 검출된 얼굴 영역을 포함하는 사각형을 상하좌우로 각각 확대하도록 하는 단계를 포함하며, 각각 확대된 영역에 대해서 cascaded CNN을 적용하고 얼굴을 검출할 수 있다.
다음으로 제어부(400)는 객체 검출부(200)를 통해 제 (a) 단계에서, 검출된 얼굴의 포즈를 추정하여 이미지를 회전변환하고, 얼굴 객체의 특징점에 AAM(Active Appearance Model)을 적용하여 얼굴 객체위치를 검출하도록 한다(b).
다음으로 제어부(400)는 얼굴객체위치를 검출한 이미지를 모델링부(300)를 통해 원위치로 역회전시켜 객체를 모델링하도록 한다(c). 이러한 제 (c) 단계에서 제어부(400)는 얼굴 객체요소인 눈, 코, 입의 위치가 검출된 얼굴 영상을 역회전 변환시켜 실제 프레임에서 모델링된 데이터로 표현하도록 하는 단계를 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템을 이용한 방법의 (b)단계인 객체 검출부의 동작 흐름을 나타낸 예시도이다.
도 3에 도시된 바와 같이, 제어부(400)는 검출된 얼굴영역의 포즈 초기 모델을 추정하도록 한다(b-1).
다음으로 제어부(400)는 추정된 포즈에 따라 검출된 얼굴 영역을 추출하여 기하학적 변환을 통해 수평 이미지로 회전 변환시키도록 한다(b-2).
다음으로 제어부(400)는 얼굴 객체의 형태(shape)와 질감(texture) 정보에 대한 기계학습을 통해 shape model과 texture model을 생성하고, 얼굴 영역에 적합(fitting)하여 눈, 코, 입의 위치를 검출하도록 한다(b-3).
도 4는 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템을 이용한 방법을 단계별로 재정리한 예시도이고, 도 5는 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템에 있어서, 프레임에서의 얼굴 검출 및 모델링 과정을 설명하기 위한 예시도이다.
먼저, 본 발명의 일실시예에 따른 얼굴 검출 및 모델링 프로세스는 도 4의 흐름과 같은 과정을 반복한다.
도 4와 도 5에 도시된 바와 같이, 먼저 훈련용 얼굴영상 데이터베이스를 훈련시켜 shape model과 texture model을 생성한 후(도 4의 단계 1), 비디오 데이터를 입력받는다(도 4의 단계2).
다음으로 입력받은 비디오의 처음 프레임에 cascaded CNN을 사용하여 얼굴영역을 검출하고(도 4의 단계3), 검출된 얼굴의 pose(회전) 초기 모델을 추정한다(도 4의 단계4).
이후 추정된 pose에 따라 검출된 얼굴 부분을 잘라낸 후, 기하학적 변환을 통해 회전 변환시켜 수평 이미지로 만든다(도 4의 단계5).
훈련을 통해 생성된 model을 얼굴 영상에 적합(fitting)하여 눈, 코, 입의 위치를 검출한다(도 4의 단계6, 도 5의 5c)
다음으로 눈, 코, 입의 위치가 검출된 얼굴 영상을 역회전 변환시켜 실제 프레임에서 모델링된 데이터를 표현한다(도 4의 단계 7, 도 5의 5d).
모든 과정이 끝난 후 최종 결과는 다음의 도 5의 5a와 같다.
다음 프레임에서의 빠른 얼굴 추적을 위해, 이전 프레임에서 검출된 얼굴 영역을 포함하는 사각형을 상하좌우로 각각 50%씩 확대하여 이 영역에 대해서만 cascaded CNN을 적용하고 얼굴을 검출한 후(도 5의 5b), 검출 이후 과정을 반복한다. 장면(scene)이 바뀌는 경우에는 model 생성 다음 단계의 과정을 반복한다.
도 5를 참고하여 프레임에서의 얼굴 검출 및 모델링 과정을 설명하면 다음과 같다.
5a는 이전 프레임에서 전체 과정을 통해 얼굴 검출 및 모델링된 모습을 나타낸 것이고, 5b는 다음 프레임에서 얼굴 영역 검출(얼굴 영역 사각형 확대, cascaded CNN적용)을 나타낸 것이다.
5c는 새로운 얼굴 영역의 pose를 추정하고, 검출된 얼굴의 회전변환 후, 초기 프레임에서의 눈, 코, 입의 위치를 대입함으로써, 검출된 얼굴의 회전을 추정하고 회전 변환 후 초기 프레임에서의 모델 대입을 나타낸 것이다.
5d는 새로운 얼굴 영상에 적합(fitting) 후, 검출된 얼굴의 적합 결과 역회전 변환으로 모델링 결과를 나타낸 것으로, 생성된 모델을 적합하여 눈, 코, 입의 위치를 검출하고 그 결과를 역회전 변환을 수행한 것이다. 다음 프레임으로 넘어갈 경우 5b로 절차를 이행하여 반복 수행한다.
도 6은 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링 시스템에 있어서, 초기 얼굴 감지를 위한 cascaded CNN Face Detector인 얼굴영역 검출부(100)를 설명하기 위한 예시도이다.
입력된 비디오에서 얼굴 데이터의 위치를 찾기 위해 cascaded CNN을 이용하며, 이는 3단계의 계단식 분류과정을 통해 얼굴 데이터의 최종 위치를 구할 수 있다.
먼저 P-net(Proposal-Network)를 사용하여 모든 얼굴의 후보를 window로 표현한다. 이 후보는 bounding box regression과 NMS(Non-Maximum Suppression)을 거쳐 중첩된 후보를 병합한다. 병합된 후보 모두는 R-Net(Refine-Network)를 통해 틀린 얼굴 데이터를 제거하고 참 후보를 다른 NMS 및 bounding box regression으로 유도한다. 참 후보는 다시 O-Net을 통해, NMS 및 bounding box regression을 거쳐 최종적으로 얼굴에서 눈, 코, 입 양쪽의 5가지 좌표값을 구하게 된다.
본 발명의 일실시예에서 모션 추정을 위한 AAM 추적 성능 향상 프로세스를 설명하면 다음과 같다.
AAM과 같은 모델 기반 방법은 넓은 위치의 움직임에 약하기 때문에, 작은 범위에서의 움직임 추적을 위해 다음과 같은 식을 사용하여 cascaded detector를 이용한다. 여기서,
Figure 112018002581920-pat00001
은 각각 목표의 좌표, 너비, 높이이다.
[수학식 1]
Figure 112018002581920-pat00002
두 번째로, 목표물의 포즈는 빠르게 바뀌기 때문에, 이를 위해 AAM을 이용하기 전에 도 7에 도시된 바와 같이, 기하학적 변환을 통해 window를 회전시켜 얼굴을 수평으로 바라보게 만든다.
도 7은 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링 시스템의 기하학적 변환(회전)을 이용한 얼굴 이미지 수평처리를 나타낸 예시도이다. 도 7에서와 같이, 눈의 양쪽 특징점 또는 양쪽 입의 특징점이 수평이 되도록 회전시켜 얼굴 이미지를 수평처리를 할 수 있다.
앞서 기술한 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링 시스템 및 방법은 향상된 얼굴 검출 및 모델링 시스템으로서, cascaded CNN을 통해 얼굴의 초기 위치를 감지 및 추적하고, 기하학적 변환을 통해 전처리한 후, AAM기법을 통해 실시간으로 얼굴의 데이터를 정확하게 얻을 수 있으며, 이 데이터를 통해 감정 분석, 보안 시스템 등에 다양하게 활용될 수 있다.
본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링 시스템 및 방법에서 AAM은 얼굴 영상으로부터 눈썹, 눈, 코, 입의 위치와 모양을 찾을 수 있는데, 이러한 AAM은 변형 가능한 객체의 특징점을 추출하는데 활용되는 통계적 모델로 얼굴 표정 인식, 얼굴 영상 분석, 얼굴 인식, 눈 모델링, 의료 영상분석 등 다양한 분야에 응용될 수 있다.
하지만 AAM은 알고리즘의 특성상 초기값과 환경 변화에 민감한 문제가 있는데, 이를 해결하기 위해 기하학적 변환을 통해 추적된 객체의 이미지를 수평 방향의 이미지로 회전 처리하여 다양한 포즈(회전)로 인한 객체의 움직임을 추정할 수 있고, 추정 후 객체의 이미지를 원래 위치로 역회전시켜 객체를 모델링하는 과정을 반복하여 객체를 실시간으로 검출 및 모델링할 수 있다.
도 8은 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링 시스템의 블록 다이어그램을 나타낸 예시도이다.
도 8에서 비디오 데이터를 입력받아 프레임을 추출하고, 새로운 프레임인지 판단하여 초기 프레임일 경우, cascaded detector CNN을 이용하여 얼굴을 검출한다. 이후, 초기 모델을 설정(initialze model)하여, 새로운 얼굴 영상에 적합(fitting) 후, 검출된 얼굴의 적합 결과 역회전 변환으로 모델링 결과를 나타낸 것으로, 생성된 모델을 적합하여 눈, 코, 입의 위치를 검출하고 그 결과를 역회전 변환을 수행할 수 있다.
한편, 위에서의 새로운 프레임이 아닌 것으로 판단한 경우, 움직임을 평가(Motion estimaion)하는 절차를 거쳐 모델링을 수행할 수 있다.
움직임 평가절차를 설명하면, 얼굴영역의 움직임을 판단하여 얼굴영역을 수집하고, 기하학적 변환을 통해 회전변환하여 새로운 얼굴 영상에 적합(fitting) 후, 검출된 얼굴의 적합 결과 역회전 변환으로 모델링 결과를 출력할 수 있다.
도 9는 본 발명의 일실시예에 따른 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링 시스템의 기하학적 변환에 따른 예시도이다.
도 9에 도시된 바와 같이, 도 5의 과정을 재구성한 예시로서, 입력 영상의 얼굴영역을 감지하고 사각형 형태로 추출하여 도 7에서와 같이 얼굴영역의 특징점에 따라 수평 이미지로 회전시키고, 도 4의 1단계에서의 MUCT DB(MUCT face database)로부터 Shape Model과 Texture Model을 생성하고, 적합(Fit Model) 후, 입력 프레임에 역회전 변환으로 모델링 결과를 출력할 수 있다.
100 : 얼굴영역 검출부 110 : 영역 확대모듈
200 : 객체 검출부 210 : 포즈 추정모듈
220 : 회전변환모듈 230 : 얼굴객체요소 검출모듈
300 : 모델링부 310 : 역회전 변환모듈
400 : 제어부

Claims (10)

  1. 입력되는 비디오 데이터의 프레임에서 얼굴영역을 검출하는 얼굴영역 검출부(100);
    검출된 얼굴의 포즈를 추정하여 이미지를 회전변환하고, 얼굴 객체의 특징점에 AAM(Active Appearance Model)을 적용하여 얼굴 객체위치를 검출하는 객체 검출부(200); 및
    얼굴 객체위치를 검출한 이미지를 원위치로 역회전시켜 객체를 모델링하는 모델링부(300);를 포함하되,
    상기 객체 검출부(200)는,
    얼굴영역의 특징점을 인식하여 포즈 초기 모델을 추정하되, 눈, 코, 입의 두 특징점을 연결하여 기울어진 정도에 따라 얼굴의 회전 정도를 추정하는 포즈 추정모듈(210);
    추정된 포즈에 따라 검출된 얼굴 영역을 추출하여 기하학적 변환을 통해 수평 이미지로 회전 변환시키는 회전 변환모듈(220); 및
    얼굴 객체의 형태(shape)와 질감(texture) 정보에 대한 기계학습을 통해 shape model과 texture model을 생성하고, 얼굴 영역에 적합(fitting)하여 눈, 코, 입의 위치를 검출하여 모델 기반 접근법인 AAM을 통해 회전시킨 객체의 움직임을 추정하는 얼굴객체요소 검출모듈(230);을 포함하고,
    상기 얼굴영역 검출부(100)는,
    이전 프레임에서 검출된 얼굴 영역을 포함하는 사각형을 상하좌우로 각각 50%씩 확대하는 영역 확대모듈(110);을 포함하며, 각각 50%씩 확대된 영역에 대해서 cascaded CNN을 적용하고 얼굴을 검출하는 것을 특징으로 하는 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템.
  2. 제 1 항에 있어서,
    상기 얼굴영역 검출부(100)는,
    상기 비디오 데이터의 프레임에 Cascaded CNN을 통해 얼굴 영역을 검출하는 것을 특징으로 하는 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 모델링부(300)는,
    얼굴 객체요소인 눈, 코, 입의 위치가 검출된 얼굴 영상을 역회전 변환시켜 실제 프레임에서 모델링된 데이터로 표현하도록 하는 역회전 변환모듈(310);을 포함하는 것을 특징으로 하는 기하학적 변환이 적용된 AAM을 이용한 사람의 얼굴 검출 및 모델링시스템.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020180002739A 2018-01-09 2018-01-09 기하학적 변환이 적용된 aam을 이용한 사람의 얼굴 검출 및 모델링시스템 KR101923405B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180002739A KR101923405B1 (ko) 2018-01-09 2018-01-09 기하학적 변환이 적용된 aam을 이용한 사람의 얼굴 검출 및 모델링시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180002739A KR101923405B1 (ko) 2018-01-09 2018-01-09 기하학적 변환이 적용된 aam을 이용한 사람의 얼굴 검출 및 모델링시스템

Publications (1)

Publication Number Publication Date
KR101923405B1 true KR101923405B1 (ko) 2018-11-29

Family

ID=64566916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180002739A KR101923405B1 (ko) 2018-01-09 2018-01-09 기하학적 변환이 적용된 aam을 이용한 사람의 얼굴 검출 및 모델링시스템

Country Status (1)

Country Link
KR (1) KR101923405B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021145731A1 (en) * 2020-01-17 2021-07-22 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
KR102515011B1 (ko) * 2022-11-15 2023-03-29 주식회사 디비엔텍 영상 내 개인정보 비식별화 성능 고도화 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015522200A (ja) * 2012-08-28 2015-08-03 騰訊科技（深▲セン▼）有限公司Ｔｅｎｃｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ（Ｓｈｅｎｚｈｅｎ）Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ 人顔特徴点の位置決め方法、装置及び記憶媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015522200A (ja) * 2012-08-28 2015-08-03 騰訊科技（深▲セン▼）有限公司Ｔｅｎｃｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ（Ｓｈｅｎｚｈｅｎ）Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ 人顔特徴点の位置決め方法、装置及び記憶媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021145731A1 (en) * 2020-01-17 2021-07-22 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
US11869213B2 (en) 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
KR102515011B1 (ko) * 2022-11-15 2023-03-29 주식회사 디비엔텍 영상 내 개인정보 비식별화 성능 고도화 방법 및 시스템

Similar Documents

Publication Publication Date Title
US7940957B2 (en) Object tracker for visually tracking object motion
US9098740B2 (en) Apparatus, method, and medium detecting object pose
CN107251096B (zh) 图像捕获装置和方法
JP6030617B2 (ja) 画像処理装置および画像処理方法
CN101406390A (zh) 检测人体部位和人的方法和设备以及对象检测方法和设备
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
Sengar et al. Foreground detection via background subtraction and improved three-frame differencing
Unzueta et al. Efficient generic face model fitting to images and videos
JP2007052609A (ja) 手領域検出装置及び手領域検出方法、並びにプログラム
KR101923405B1 (ko) 기하학적 변환이 적용된 aam을 이용한 사람의 얼굴 검출 및 모델링시스템
Hempel et al. Pixel-wise motion segmentation for SLAM in dynamic environments
KR100348357B1 (ko) 하이퍼링크 비디오를 위한 임의 객체의 효과적인 추적 장치 및 방법
Jiang et al. Observation-oriented silhouette-aware fast full body tracking with Kinect
Hatimi et al. New approach for detecting and tracking a moving object
Singh et al. Autonomous Multiple Gesture Recognition system for disabled people
Taimori et al. A new deformable mesh model for face tracking using edge based features and novel sets of energy functions
Devipriya et al. Moving object tracking using FPGA
Amjed et al. A robust geometric skin colour face detection method under unconstrained environment of smartphone database
Majeed et al. Nose tip detection in 3D face image based on maximum intensity algorithm
Srijeyanthan et al. Skeletonization in a real-time gesture recognition system
Abdullah et al. Real-time Face Tracking for Service-Robot
Pagès et al. Possibilities of Man-Machine interaction through the perception of human gestures
Nguyen et al. Improving the Hand Pose Estimation from Egocentric Vision via HOPE-Net and Mask R-CNN
Fazli et al. Fiducial facial points tracking using particle filter and geometric features
Szczuko Simple gait parameterization and 3D animation for anonymous visual monitoring based on augmented reality

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant