KR101515308B1 - 얼굴 자세 추정 장치 및 그 방법 - Google Patents

얼굴 자세 추정 장치 및 그 방법 Download PDF

Info

Publication number
KR101515308B1
KR101515308B1 KR1020130168428A KR20130168428A KR101515308B1 KR 101515308 B1 KR101515308 B1 KR 101515308B1 KR 1020130168428 A KR1020130168428 A KR 1020130168428A KR 20130168428 A KR20130168428 A KR 20130168428A KR 101515308 B1 KR101515308 B1 KR 101515308B1
Authority
KR
South Korea
Prior art keywords
node
face
feature information
ndm
patch image
Prior art date
Application number
KR1020130168428A
Other languages
English (en)
Inventor
김현덕
이상헌
손명규
김동주
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020130168428A priority Critical patent/KR101515308B1/ko
Application granted granted Critical
Publication of KR101515308B1 publication Critical patent/KR101515308B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 얼굴 자세 추정 장치 및 그 방법에 관한 것이다. 본 발명에 따른 얼굴 자세 추정 방법은 입력 영상으로부터 사용자의 얼굴 영역을 검출하는 단계; 상기 검출된 얼굴 영역의 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 상기 얼굴 영역을 전처리하는 단계; 상기 전처리된 얼굴 영역으로부터 NDM(Neighboring Dependence Matrix)을 사용하여 특징 정보를 추출하는 단계; 및 상기 특징 정보를 기 학습된 분류기에 반영하여 패치 영상의 사용자의 얼굴 자세를 추정하는 단계를 포함한다.
이와 같이 본 발명에 따르면, ESCP 전처리 과정 및 NDM 특징 추출을 이용하는 랜덤 포레스트 인식기를 설계함으로써 빅데이터에서도 실시간으로 얼굴 자세 추정이 가능하다.
또한, 본 발명은 조명 변화에도 얼굴 자세 추정의 효율을 증대시킴으로써 조명 변화에 강인하다.

Description

얼굴 자세 추정 장치 및 그 방법{APPARATUS FOR FACE POSE ESTIMATION AND METHOD THEREOF}
본 발명은 얼굴 자세 추정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 조명 변화에 강인한 실시간 얼굴 자세 추정 장치 및 그 방법에 관한 것이다.
얼굴 자세를 추정하는 것은 컴퓨터 비전 분야에서 중요한 분야 중의 하나이다. 정확하고 견고한 얼굴 자세 추정 알고리즘은 다양한 분야에서 응용이 되고 있다. 이러한 응용 분야는 인간-컴퓨터 인터페이스(HCI), 운전자 감시 시스템, 엔터테인먼트 시스템 및 개인 인증 방법 등을 포함한다. 이러한 응용 분야에서의 얼굴 자세 추정을 활용하기 위하여 정확한 얼굴 자세 추정 알고리즘에 기반한 얼굴 자세 추정과 관련된 기술이 개발되고 있다.
하지만 상기 응용 분야의 상용화를 위해서는 실시간으로 주변 환경의 변화에 강인하며 인식률의 향상을 도모하는 알고리즘 개발이 필요하다. 일반적으로 인식률의 향상을 위해서 보다 복잡한 구조와 특징 추출 알고리즘을 사용한 방법들이 개발되고 있으나 그에 따른 계산량의 증가로 인한 실시간 동작에 어려움이 발생한다.
최근 학습 데이터의 양이 증가함에도 효율적으로 학습이 가능하며, 실시간 동작이 가능한 랜덤 포레스트 인식기가 많은 분야에서 사용되고 있다.
본 발명에서는 랜덤 포레스트와 주변 환경변화, 특히 조명 변화에 강인한 특징 추출 방법에 따른 얼굴 자세 추정 알고리즘을 이용하는 얼굴 자세 추정 장치 및 그 방법을 개시한다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제2007-0020916호(2007.02.22)에 기재되어 있다.
본 발명이 해결하고자 하는 과제는, 조명 변화에 강인한 얼굴 자세 추정 장치 및 그 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 하나의 실시예에 따른 얼굴 자세 추정 방법은, 입력 영상으로부터 사용자의 얼굴 영역을 검출하는 단계; 상기 검출된 얼굴 영역의 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 상기 얼굴 영역을 전처리하는 단계; 상기 전처리된 얼굴 영역으로부터 NDM(Neighboring Dependence Matrix)을 사용하여 특징 정보를 추출하는 단계; 및 상기 특징 정보를 기 학습된 분류기에 반영하여 패치 영상의 사용자의 얼굴 자세를 추정하는 단계를 포함한다.
또한, 상기 얼굴 자세를 추정하는 단계는, 결정 트리 타입의 분류기들을 앙상블 형태로 결합한 랜덤 포레스트 분류기(Random Forest classifier)를 생성하는 데이터 학습단계를 더 포함할 수 있다.
또한, 상기 데이터 학습 단계는, 상기 특징 정보가 추출된 학습 데이터 집합에서 서브 집합을 랜덤하게 선택하는 단계; 상기 결정 트리의 각 해당 노드에서 상기 서브 집합을 2개의 군으로 분류하는데 이용될 이진 분리 함수 집합을 랜덤하게 생성하는 단계; 상기 이진 분리 함수에 대하여 상기 서브 집합을 상기 해당 노드에서 분기되는 좌측 노드와 우측 노드로 분할 한 뒤, 분할된 정도를 측정하는 정보 이득(Information Gain)을 계산하는 단계; 상기 정보 이득 중에서 가장 큰 값을 가지는 이진 분리 함수를 해당 노드에 저장하는 단계; 및 상기 이진 분리 함수에 의하여 분할된 좌측 노드 및 우측 노드에 대하여 상기 이진 분리 함수 집합의 생성, 정보 이득 계산 및 이진 분리 함수 저장의 과정을 반복하여 말단 노드를 생성하는 단계를 포함할 수 있다.
또한, 상기 랜덤 포레스트 분류기는, 상기 서브 집합의 상기 얼굴 영역에 대한 각각의 패치 영상이 입력되면, 상기 패치 영상을 상기 결정 트리의 각 해당 노드에 저장된 이진 분리 함수를 통해 이진 분류하여, 상기 결정 트리의 하위에 존재하는 하위 노드들 중 말단 노드에 각각 최종 도달하도록 하고, 상기 이진 분리 함수(BP)는 아래의 수학식과 같이 상기 패치 영상을 구성하는 두 영역 내에 존재하는 각 화소별 NDM의 특징 정보의 평균값 차이를 기 저장된 임계값과 비교하여 이진 분류를 수행할 수 있다:
Figure 112013121096513-pat00001
여기서, R1 및 R2는 상기 패치 영상에서 랜덤하게 선택된 제1 및 제2 서브패치 영역을 나타내고, N1 및 N2는 상기 R1 및 R2의 화소 개수를 나타내고, F는 특징 정보를 나타내고 그리고 t는 상기 임계값을 나타낸다.
또한, 상기 특징 정보를 추출하는 단계는, 상기 패치 영상의 특정 화소의 주변에 동일한 화소가 적게 분포하는 특징 정보인 제1 특징 정보; 및 상기 패치 영상의 특정 화소의 주변에 동일한 화소가 많이 분포하는 특징 정보인 제2 특징정보가 추출하며, 상기 제1 특징 정보와 제2 특징 정보는 각각 다음의 수학식을 이용하여 추출될 수 있다.
Figure 112013121096513-pat00002
,
Figure 112013121096513-pat00003
,
Figure 112013121096513-pat00004
,
여기서, F1은 상기 제1 특징 정보이고, F2는 상기 제2 특징 정보이며, NDM(i, j|d, a)는 상기 특정 화소를 중심으로 반경(d)안의 주변 화소들 중에서 상기 특정 화소의 화소값과의 차이가 임계 값(a) 이하인 화소들의 개수를 나타내며, i는 상기 특정 화소가 갖는 화소값을 나타내고, j는 상기 주변 화소들의 개수를 나타내며, s는 상기 NDM 에서 상기i에 대응되는 전체 행을 나타내고, t는 상기 NDM 에서 상기 j에 대응되는 전체 열을 각각 나타낸다.
또한, 상기 제 1 특징 정보는 상기 결정 트리의 깊이가 임계값보다 작은 경우에 상기 결정 트리 분할에 사용되고, 상기 제 2 특징 정보는 상기 결정 트리의 깊이가 임계값보다 큰 경우에 상기 결정 트리 분할에 사용되고, 상기 정보 이득(Information Gain)은 다음 수학식으로 표현될 수 있다:
Figure 112013121096513-pat00005

여기서, T는 해당 노드, Tl 은 상기 해당 노드에 대한 좌측(L)의 하위 노드 그리고 Tr 은 상기 해당 노드에 대한 우측(R)의 하위 노드를 나타내고, cj는 상기 j 번째 패치 영상의 얼굴 자세 레벨, μl 및 μr 는 상기 하위 노드에 학습된 패치 영상들의 얼굴 자세 라벨의 평균을, NDM(s, t|d, a)는 특정 화소를 중심으로 d반경안의 화소에서 값의 차이가 a보다 작은 것들의 개수를, i는 입력 영상이 갖는 값, j는 상기 특징 정보에 해당하는 이웃 화소의 개수를 각각 나타낸다.
또한, 상기 랜덤 포레스트 분류기는, 상기 입력된 패치 영상이 최종 도달한 상기 말단 노드에 기 저장되어 있는 얼굴 자세 라벨들의 분산값이 기 설정된 기준값 이하이면, 상기 말단 노드에 저장된 대표 얼굴 자세 라벨을 추출하여 출력하며, 상기 각각의 패치 영상이 개별 도달한 복수의 말단 노드들로부터 출력된 모든 대표 얼굴 자세 라벨들 중에서 최대 빈도로 출력된 얼굴 자세 라벨을 상기 사용자의 현재 얼굴 자세로 추정할 수 있다.
본 발명의 하나의 실시예에 따른 얼굴 자세 추정 장치는, 입력 영상으로부터 사용자의 얼굴 영역을 검출하는 얼굴 영역 검출부; 상기 검출된 얼굴 영역의 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 상기 얼굴 영역을 전처리하는 영상 전처리부; 상기 전처리된 얼굴 영역으로부터 NDM(Neighboring Dependence Matrix)을 사용하여 특징 정보를 추출하는 NDM 특징 추출부; 및 상기 특징 정보를 기 학습된 분류기에 반영하여 상기 사용자의 얼굴 자세를 추정하는 얼굴 자세 추정부를 포함한다.
본 발명인 얼굴 자세 추정 장치 및 그 방법에 따르면, ESCP 전처리 과정 및 NDM 특징 추출을 이용하는 랜덤 포레스트 인식기를 설계함으로써 빅데이터에서도 실시간으로 얼굴 자세 추정이 가능하다.
또한, 본 발명은 조명 변화에도 얼굴 자세 추정의 효율을 증대시킴으로써 조명 변화에 강인하다.
도 1은 본 발명의 실시예에 따른 얼굴 자세 추정 장치의 블록도이다.
도 2는 본 발명의 실시예에 따른 얼굴 자세 추정 장치의 랜덤 포레스트 분류기의 블록도이다.
도 3은 본 발명의 실시예에 따른 얼굴 자세 추정 방법의 순서도이다.
도 4는 도 3의 S330의 특징 추출단계를 설명하기 위한 예시 도면이다.
도 5는 도 3의 S340의 학습 단계에 관한 순서도이다.
이하에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
먼저 본 발명의 얼굴 자세 추정 장치에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 얼굴 자세 추정 장치의 블록도이다.
도 1에 나타낸 것처럼, 본 발명의 실시예에 따른 얼굴 자세 추정 장치(100)는 얼굴 영역 검출부(110), 영상 전처리부(120), NDM 특징 추출부(130), 얼굴 자세 추정부(140) 및 분류기 생성부(150)를 포함한다.
얼굴 영역 검출부(110)는 입력 영상으로부터 사용자의 얼굴 영역을 검출한다.
영상 전처리부(120)는 검출된 얼굴 영역의 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 얼굴 영역을 전처리한다.
NDM 특징 추출부(130)는 전처리된 얼굴 영역으로부터 NDM(Neighboring Dependence Matrix)을 사용하여 특징 정보를 추출한다.
얼굴 자세 추정부(140)는 특징 정보를 기 학습된 분류기에 반영하여 사용자의 얼굴 자세를 추정한다.
또한, 분류기 생성부(150)는 결정 트리 타입의 분류기들을 앙상블 형태로 결합한 랜덤 포레스트 분류기(Random Forest classifier)를 생성할 수 있다.
도 2는 본 발명의 실시예에 따른 얼굴 자세 추정 장치의 분류기 생성부의 블록도이다.
분류기 생성부(150)는 서브 집합 선택부(151), 분리 함수 생성부(152), 트리 생성부(153), 제어부(154) 및 학습부(155)를 포함한다.
서브 집합 선택부(151)는 특징 정보가 추출된 학습 데이터 집합에서 서브 집합을 랜덤하게 선택한다.
분리 함수 생성부(152)는 결정 트리의 각 해당 노드에서 서브 집합을 2개의 군으로 분류하는데 이용될 이진 분리 함수 집합을 랜덤하게 생성한다.
트리 생성부(153)는 이진 분리 함수에 대하여 서브 집합을 해당 노드에서 분기되는 좌측 노드와 우측 노드로 분할 한 뒤, 분할된 정도를 측정하는 정보 이득(Information Gain)을 계산한다.
제어부(154)는 정보 이득 중에서 가장 큰 값을 가지는 이진 분리 함수를 해당 노드에 저장한다.
학습부(155)는 이진 분리 함수에 의하여 분할된 좌측 노드 및 우측 노드에 대하여 이진 분리 함수 집합의 생성, 정보 이득 계산 및 이진 분리 함수 저장의 과정을 반복하여 말단 노드를 생성한다.
이하 본 발명의 실시예에 따른 얼굴 자세 추정 방법에 대하여 설명한다.
도 3은 본 발명의 실시예에 따른 얼굴 자세 추정 방법의 순서도이다.
얼굴 영역 검출부(110)는 입력 영상으로부터 사용자의 얼굴 영역을 검출한다(S310). 입력 영상은 후술되는 데이터 학습단계에서 학습 데이터 집합을 구성하게 되는 소스 영상을 말한다.
여기서, 얼굴 자세 추정 장치(100)는 입력 영상 획득을 위한 카메라를 더 포함할 수 있다. 이러한 카메라는 PC 및 노트북에 탑재된 웹캠 및 모바일 단말기에 탑재된 카메라 모듈 등 활용 분야에 따라 다양한 형태의 카메라가 포함될 수 있다. 물론, 본 발명이 반드시 이에 한정되는 것은 아니다.
상기 얼굴 걸출 방법은 기 공지된 다양한 방식 중 선택적으로 적용 가능하다. 일반적으로 얼굴 검출 방법은 지식 기반 방법, 특징 기반 방법, 템플릿 매칭 방법, 외형기반 방법 등으로 구분될 수 있다. 본 실시예에서는 대표적인 얼굴 검출 방법으로 Haar-like 특징 기반의 Adaboost 알고리즘을 이용하여 입력 영상으로부터 얼굴 영역을 검출할 수 있다.
다음, 영상 전처리부(120)는 검출된 얼굴 영역의 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 얼굴 영역을 전처리한다(S320).
얼굴 인식 과정은 동일한 사람의 얼굴이라도 외부 조명 변화에 따라 매우 다른 영상으로 표현될 수 있다. 이 때문에 인식 성능의 전하는 얼굴 인식 시스템의 상용화에 가장 큰 걸림돌이 된다. 이를 해결하기 위하여 이진 패턴 변환을 이용한 전처리 과정을 이용하여 조명 변화에 강인한 얼굴 인식 시스템을 구성할 수 있다.
이진 패턴 변환 연산자로는 LBP(Local Binary Pattern)와 CS-LBP(Center Symmetric Local Binary Pattern), 그리고 ECSP(Exetended Center Symmetric Pattern)가 알려져 있다. 본 실시예의 경우 얼굴의 텍스쳐 성분을 더 잘 표현할 수 있는 ECSP를 이용한다.
ECSP는 CS-LBP의 변형된 형태로서, 중심 화소를 기준으로 대칭되는 주변 화소값들을 비교하는 방법은 CS-LBP와 동일하나, 가중치를 다르게 하여 패턴을 구성한다는 것에 특징이 있다.
일반적으로 얼굴의 텍스처는 수직이나 수평 방향의 성분보다는 대각 방향의 성분이 보다 더 중요한 정보를 포함한다. ECSP는 중심 화소를 기준으로 수직 또는 수평 방향의 성분보다 대각 방향으로 대칭되는 성분에 중요도를 높게 부여하여 얼굴의 텍스쳐를 생성하며, 아래의 수학식 1과 같이 표현된다.
Figure 112013121096513-pat00006
여기서,
Figure 112013121096513-pat00007
이다. 또한, 또한, P는 중심 화소에 대한 이웃 화소의 개수, R은 사용된 원의 반지름을 의미한다. gp는 이웃 화소의 화소값, WP,R(P)는 이진 패턴 생성 과정에서 비트 가중치를 결정하는 함수를 의미한다.
영상 전처리부(120)는 검출된 얼굴 영역의 각 화소를 수학식 1을 이용하여 ECSP 값들로 변환하여 얼굴 영역을 전처리한다. 이러한 전처리에 따라 영상이 조명 변화와 외부 노이즈에 덜 민감하게 되고 얼굴 텍스처 성분이 더 현저하게 표현될 수 있다.
이와 같이, 얼굴 영역에 대한 전처리가 완료되면, 특징 추출 과정이 이어진다.
NDM 특징 추출부(130)는 전처리된 얼굴 영역으로부터 NDM(Neighboring Dependence Matrix)을 사용하여 특징 정보를 추출한다(S330).
여기서, NDM 특징 추출부(130)는 전처리 과정에서 전처리된 얼굴 영역에 대해 텍스처 분석에 용이한 NDM(Neighborin Dependence Maxrix)를 이용한다.
본 발명에 따른 하나의 실시예로서, NDM 특징 추출부(130)는 패치 영상의 특정 화소의 주변에 동일한 화소가 적게 분포하는 특징 정보인 제1 특징 정보; 및 패치 영상의 특정 화소의 주변에 동일한 화소가 많이 분포하는 특징 정보인 제2 특징정보를 추출한다.
여기서 NDM 특징 추출부(130)는 상기 제1 특징 정보와 제2 특징 정보를 다음의 수학식 2를 이용하여 추출할 수 있다:
Figure 112013121096513-pat00008
Figure 112013121096513-pat00009
,
여기서,
Figure 112013121096513-pat00010
이다.
또한, F1은 상기 제1 특징 정보이고, F2는 상기 제2 특징 정보이며, NDM(i, j|d, a)는 상기 특정 화소를 중심으로 반경(d)안의 주변 화소들 중에서 상기 특정 화소의 화소값과의 차이가 임계 값(a) 이하인 화소들의 개수를 나타내며, i는 상기 특정 화소가 갖는 화소값을 나타내고, j는 상기 주변 화소들의 개수를 나타내며, s는 상기 NDM 에서 상기i에 대응되는 전체 행을 나타내고, t는 상기 NDM 에서 상기 j에 대응되는 전체 열을 각각 나타낸다.
제1 특징 정보에 해당하는 F1은 주변에 동일한 화소가 적은 경우(Small number emphasis)에 가중치를 두며, 제2 특징 정보에 해당하는 F2는 주변에 동일한 화소가 많은 경우(Large number emphasis)에 가중치를 두도록 구성된다.
NDM 특징 추출부(130)에 의한 특징 추출의 예를 들면 다음과 같다.
도 4는 도 3의 S330의 특징 추출단계를 설명하기 위한 예시 도면이다.
도 4에서, 입력 영상(M)에 대하여 (2, 2) 위치의 화소의 화소값이 1인 경우, 주변의 필셀 중에서 d=1 및 a=0 을 만족하는, 즉 동일한 화소값을 갖는 주변 화소는 3개 존재한다. 이에 대해 상기 NDM(i, j|d, a)에서 i=1이고, j=3인 경우 해당 NDM 값은 3임을 알 수 있다.
또한, (4, 4) 위치의 화소의 화소값이 2인 경우, 주변의 화소 중에서 d=1 및 a=0 을 만족하는, 즉 동일한 화소값을 갖는 주변 화소는 4개 존재한다. 이에 대해 상기 NDM에서 i=2이고, j=4인 경우 해당 NDM 값은 0임을 알 수 있다.
이렇게 완성된 NDM은 후술되는 데이터 학습단계에서 이진 분리 함수 생성에 반영된다.
다음, 얼굴 자세 추정부(140)는 특징 정보를 기 학습된 분류기에 반영하여 사용자의 얼굴 자세를 추정한다(S340). 여기서, 사용자의 얼굴 자세를 추정하는 단계는, 결정 트리 타입의 분류기들을 앙상블 형태로 결합한 랜덤 포레스트 분류기(Random Forest classifier)를 생성하는 데이터 학습단계를 더 포함할 수 있다. 즉, 사용자의 얼굴 자세를 추정하는 단계는 데이터 학습단계 및 테스트 단계를 포함한다.
도 5는 도 3의 S340의 학습 단계에 관한 순서도이다.
서브 집합 선택부(151)는 특징 정보가 추출된 학습 데이터 집합에서 서브 집합을 랜덤하게 선택한다(S341).
즉, 주어진 학습 데이터 집합
Figure 112013121096513-pat00011
에서 서브 집합인 XT 가 랜덤하게 선택될 수 있다.
여기서, 학습 데이터 집합은 입력된 소스 영상을 기초로 하여 얼굴 영역 검출(S310), 얼굴 영역의 화소 전처리(S320) 및 NDM을 사용한 특징 정보 추출(S330) 과정을 거친 영상을 그 원소로 한다.
또한, 검출된 얼굴 영역은 복수의 패치 영상으로 구분(분할)될 수 있다. 즉, 패치 영상은 얼굴 영역의 크기보다 작은 서브 영상에 해당된다.
다음, 분리 함수 생성부(152)는 결정 트리의 각 해당 노드에서 서브 집합을 2개의 군으로 분류하는데 이용될 이진 분리 함수 집합을 랜덤하게 생성한다(S342). 여기서, 이진 분리 함수 집합은
Figure 112013121096513-pat00012
으로 표현될 수 있다.
트리 생성부(153)는 이진 분리 함수에 대하여 서브 집합을 해당 노드에서 분기되는 좌측 노드와 우측 노드로 분할 한 뒤, 분할된 정도를 측정하는 정보 이득(Information Gain)을 계산한다(S343). 여기서, 이진 분리 함수(f)에 대하여 XT 를 좌측 노드(Tl) 우측 노드(Tr)로 분할되고, 분할된 정도를 측정하는 정보 이득(?E)이 계산된다.
여기서, 정보 이득(Information Gain)은 다음 수학식 3으로 표현될 수 있다.
Figure 112013121096513-pat00013
여기서, T는 해당 노드, Tl 은 상기 해당 노드에 대한 좌측(L)의 하위 노드 그리고 Tr 은 상기 해당 노드에 대한 우측(R)의 하위 노드를 나타내고, cj는 상기 j 번째 패치 영상의 얼굴 자세 레벨, μl 및 μr 는 상기 하위 노드에 학습된 패치 영상들의 얼굴 자세 라벨의 평균을, NDM(s, t|d, a)는 특정 화소를 중심으로 d반경안의 화소에서 값의 차이가 a보다 작은 것들의 개수를, i는 입력 영상이 갖는 값, j는 상기 특징 정보에 해당하는 이웃 화소의 개수를 각각 나타낸다.
제어부(154)는 정보 이득 중에서 가장 큰 값을 가지는 이진 분리 함수를 해당 노드에 저장한다(S344). 여기서, 계산된 ?E 중에서 가장 큰 값을 가지는 이진 분리 함수(f)가 노드(T)에 저장된다.
학습부(155)는 이진 분리 함수에 의하여 분할된 좌측 노드 및 우측 노드에 대하여 이진 분리 함수 집합의 생성, 정보 이득 계산 및 이진 분리 함수 저장의 과정을 반복하여, 즉 S342 내지 S344 과정을 반복하여 말단 노드를 생성한다(S345). 즉, 이진 분리 함수(f)에 의하여 분할된 좌측 노드(Tl) 및 우측 노드(Tr)에 대하여 하부 노드에 대해 위 과정을 반복한다.
만약 해당 노드 T가 최대 깊이에 도달하거나 해당 노드 T에 속한 샘플 영상들의 개수가 적을 경우 분할을 멈추고 해당 노드 T에 속한 샘플 영상들의 얼굴 자세 라벨의 분포를 저장한다. 이러한 과정에 의해 생성된 해당 노드 T는 말단 노드가 된다.
일반적으로 사용되는 이진 분리 함수(f)와 정보 이득(Information Gain, ?E)은 다음 수학식 4와 같이 정의된다.
Figure 112013121096513-pat00014
Figure 112013121096513-pat00015
여기서, E(T)는 엔트로피(entropy)를 의미한다. 즉, 이진 분리 함수는 샘플 영상(x)에서의 (p, q) 화소와 (r, s) 화소값의 차이가 임계값(t)과의 대소를 비교하여, 작은 경우 우측 노드(Tr)로 보내고, 그렇지 않으면 및 좌측 노드(Tl)로 보낸다.
그러나, 상기 방법은 계산량이 적어서 실시간 동작이 가능한 장점을 가지나, 단순값의 차이만을 이용하기 때문에 인식률에서 향상을 얻기 어려울 뿐만 아니라 노이즈에도 민감하게 된다.
본 발명에 따른 실시예로서, 분류기 생성부(150)는 상기의 NDM과 그로부터 추출된 특징 정보들 중의 제1 특징 정보(F1) 및 제2 특징 정보(F2)를 이용하여 랜덤 포레스트 분류기를 생성한다.
랜덤 포레스트 분류기는 학습 데이터 집합에서 선택된 서브 집합의 영상으로부터 결정 트리를 구성해 나간 것으로, 각각의 영상은 얼굴 자세 라벨을 포함하고 있다. 얼굴 자세 라벨이란 해당 영상의 얼굴 자세를 나타내는 코드 또는 번호를 의미한다. 결정 트리는 크게 일반 노드와 말단 노드로 구성된다.
랜덤 포레스트 분류기에 사용되는 결정 트리의 분류 방법은 상단의 루트 노드에서 하단의 마지막 말단 노드까지 이진 결정이 가능한 질문(이진 분리 함수)을 통하여 최종 의사결정을 하는 방법이다. 각 노드에서 사용되는 질문인 이진 분리 함수는 해당 노드에 대한 두 하위 노드인 좌측 노드의 경로 및 우측 노드의 경로 중 분류될 경로를 선택하는 기준이 된다. 즉, 이진 분리 함수는 입력된 영상 패치를 현재 노드로부터 두 하위 노드 중 하나의 하위 노드로 분할해서 보내는 역할을 한다.
이상과 같은 내용을 바탕으로 랜덤 포레스트 분류기를 이용한 얼굴 자세 추정 방법은 다음과 같다.
상기 랜덤 포레스트 분류기는, 서브 집합의 얼굴 영역에 대한 각각의 패치 영상이 입력되면, 패치 영상을 결정 트리의 각 해당 노드에 저장된 이진 분리 함수를 통해 이진 분류하여, 상기 결정 트리의 하위에 존재하는 하위 노드들 중 말단 노드에 각각 최종 도달하도록 한다.
또한, 상기 이진 분리 함수는 아래의 수학식 5와 같이 패치 영상을 구성하는 두 영역 내에 존재하는 각 화소별 NDM의 특징 정보의 평균값 차이를 기 저장된 임계값과 비교하여 이진 분류를 수행한다.
Figure 112013121096513-pat00016
여기서, R1 및 R2는 상기 패치 영상에서 랜덤하게 선택된 제1 및 제2 서브패치 영역을 나타내고, N1 및 N2는 상기 R1 및 R2의 화소 개수를 나타내고, F는 특징 정보를 나타내고 그리고 t는 상기 임계값을 나타낸다.
본 발명에 따른 하나의 실시예에 따르면, 제 1 특징 정보(F1)는 결정 트리의 깊이가 임계값보다 작은 경우에 상기 결정 트리 분할에 사용되고, 제 2 특징 정보(F2)는 결정 트리의 깊이가 임계값보다 큰 경우에 상기 결정 트리 분할에 사용될 수 있다. 예를 들면, 최상위의 루트 노드부터 말단 노드에 도달하기 전의 루트 노드와 말단 노드 사이에 위치한 중간 노드까지는 제 1 특징 정보(F1)가 사용되고, 중가 노드부터 말단 노드까지는 제 2 특징 정보(F2)가 사용될 수 있다.
이하 사용자의 얼굴 자세를 추정하는 단계 중에서 데이터 학습단계 이후 이를 이용하는, 패치 영상에 대해 사용자의 얼굴 자세를 추정하는 테스트 단계에 대하여 설명한다.
얼굴 자세 추정부(140)는 분류기 생성부(150)가 생성한 분류기를 이용하여 테스트 영상의 사용자의 얼굴 자세를 추정한다. 물론, 테스트 단계의 패치 영상에 대하여도 상기 학습단계에 입력되는 샘플 영상에 적용되는 과정이 동일하게 적용된다. 즉, 얼굴 영역 검출 단계(S310), 전처리 단계(S320) 및 특징 추출 단계(S330)가 적용된다.
랜덤 포레스트 분류기에 입력된 패치 영상은 각 노드에 저장된 이진 분리 함수를 통해 이진 분류되어 해당 말단 노드로 최종 도달되어 있다.
여기서, 각각의 말단 노드에는 기 학습 과정에 따라, 각각의 말단 노드에 대응하는 얼굴 자세 라벨들의 값과 그 평균 및 분산, 그리고 대표 얼굴 자세 라벨 값을 저장하고 있다. 그 개념을 간단히 설명하면 다음과 같다.
예를 들어, 학습단계에 따라 제1 말단 노드에는 얼굴 자세 라벨이 #1인 패치 영상 10개, 라벨이 #2인 패치 영상 2개, 라벨이 #3인 패치 영상 1개가 분류된 바 있다고 가정한다. 여기서 #1이 10개, #2가 2개, #3이 1개로서, 제1 말단 노드에 저장되는 얼굴 자세 라벨들의 평균 값은 1.31(=(1*10+2*2+3*1)/13), 분산 값은 0.37이다. 또한, 제1 말단 노드에 저장되는 대표 얼굴 자세 라벨은 가장 분류의 빈도가 높은 #1이 된다.
여기서, 랜덤 포레스트 분류기는, 상기 입력된 패치 영상이 최종 도달한 말단 노드에 기 저장되어 있는 얼굴 자세 라벨들의 분산값이 기 설정된 기준값 이하이면, 말단 노드에 저장된 대표 얼굴 자세 라벨을 추출하여 출력한다.
만약, 입력된 패치 영상이 상기 제1 말단 노드에 최종 도달하면, 이 제1 말단 노드에 저장된 얼굴 자세 라벨들의 분산 값(ex, 0.37)이 기 저장된 기준값 이하인지 판단하고, 기준값 이하인 경우에 한하여 제1 말단 노드에 저장된 대표 얼굴 자세 라벨(ex, #1)을 출력한다. 이는 해당 말단 노드에 대한 분산 값을 기준 값과 비교하여 신뢰성 있는 데이터만 얼굴 자세 분류에 이용하기 위한 것이다. 일반적으로 분산 값이 작을수록 데이터에 신뢰성이 있음은 자명한 것이다.
여기서, 하나의 얼굴 영상에 대한 패치 영상은 복수 개이므로, 모든 복수의 패치 영상 각각에 대하여 상술한 방법을 수행하게 된다. 이후에는, 상기 각각의 패치 영상이 개별 도달한 복수의 해당 말단 노드들로부터 출력된 모든 대표 얼굴 자세 라벨들 중에서 최대 빈도로 출력된 얼굴 자세 라벨을 상기 사용자의 현재 얼굴 자세로 추정한다.
즉, 제1 패치 영상이 최종 도달한 말단 노드로부터 출력된 대표 얼굴 자세 라벨, 제2 패치 영상이 최종 도달한 말단 노드로부터 출력된 대표 얼굴 자세 라벨, ... 제N 패치 영상이 도달한 말단 노드로부터 출력된 대표 얼굴 자세 라벨을 모두 획득한 다음, 그 중에서 최다 빈도로 출력된 대표 얼굴 자세 라벨(최빈값)을 현재 입력된 얼굴 영상에 대한 얼굴 자세인 것으로 추정한다. 여기서, 물론 분산 값과 기준 값의 비교과정에 따라 대표 얼굴 자세 라벨이 출력되지 않는 말단 노드도 존재한다.
이상 본 발명에 따른 실시예에 의하는 경우, 보다 정밀한 특징을 사용함으로써 인식률을 높일 수 있지만 계산량의 증가로 인하여 학습 시간이 오래 걸리는 단점이 발생한다.
이를 해결하기 위하여 상단 노드를 구성 할 때는 상대적으로 적은 수의 이진 분리 함수를 생성하여 학습을 진행하고 하단 노드로 내려가면서 많은 수의 이진 분리 함수를 생성하여 학습을 진행한다. 이렇게 하면 초반에 적은 수의 이진 분리 함수를 이용하여 학습함으로서 학습 시간을 절약할 뿐만 아니라 초반에 급격히 분리되어 결정 트리가 한쪽 방향으로 쏠리는 것을 방지 할 수 있다.
이와 같이 본 발명의 실시예에 따른 얼굴 자세 추정 장치 및 그 방법에 따르면, ESCP 전처리 과정 및 NDM 특징 추출을 이용하는 랜덤 포레스트 인식기를 설계함으로써 빅데이터에서도 실시간으로 얼굴 자세 추정이 가능하다.
또한, 본 발명은 조명 변화에도 얼굴 자세 추정의 효율을 증대시킴으로써 조명 변화에 강인하다.
이제까지 본 발명에 대하여 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용 및 그와 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
100: 얼굴 자세 추정 장치, 110: 얼굴 영역 검출부,
120: 영상 전처리부, 130: NDM 특징 추출부,
140: 얼굴 자세 추정부, 150: 분류기 생성부,
151: 서브 집합 선택부, 152: 분리 함수 생성부,
153: 트리 생성부, 154: 제어부,
155: 학습부

Claims (14)

  1. 얼굴 자세 추정 장치를 이용한 얼굴 자세 추정 방법에 있어서,
    입력 영상으로부터 사용자의 얼굴 영역을 검출하는 단계;
    상기 검출된 얼굴 영역의 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 상기 얼굴 영역을 전처리하는 단계;
    상기 전처리된 얼굴 영역으로부터 NDM(Neighboring Dependence Matrix)을 사용하여 특징 정보를 추출하는 단계; 및
    상기 특징 정보를 기 학습된 분류기에 반영하여 패치 영상의 사용자의 얼굴 자세를 추정하는 단계를 포함하며,
    상기 얼굴 자세를 추정하는 단계는,
    결정 트리 타입의 분류기들을 앙상블 형태로 결합한 랜덤 포레스트 분류기(Random Forest classifier)를 생성하는 데이터 학습단계를 포함하고,
    상기 데이터 학습 단계는,
    상기 특징 정보가 추출된 학습 데이터 집합에서 서브 집합을 랜덤하게 선택하는 단계;
    상기 결정 트리의 각 해당 노드에서 상기 서브 집합을 2개의 군으로 분류하는데 이용될 이진 분리 함수 집합을 랜덤하게 생성하는 단계;
    상기 이진 분리 함수에 대하여 상기 서브 집합을 상기 해당 노드에서 분기되는 좌측 노드와 우측 노드로 분할 한 뒤, 분할된 정도를 측정하는 정보 이득(Information Gain)을 계산하는 단계;
    상기 정보 이득 중에서 가장 큰 값을 가지는 이진 분리 함수를 해당 노드에 저장하는 단계; 및
    상기 이진 분리 함수에 의하여 분할된 좌측 노드 및 우측 노드에 대하여 상기 이진 분리 함수 집합의 생성, 정보 이득 계산 및 이진 분리 함수 저장의 과정을 반복하여 말단 노드를 생성하는 단계를 포함하는 얼굴 자세 추정 방법.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 랜덤 포레스트 분류기는,
    상기 서브 집합의 상기 얼굴 영역에 대한 각각의 패치 영상이 입력되면, 상기 패치 영상을 상기 결정 트리의 각 해당 노드에 저장된 이진 분리 함수를 통해 이진 분류하여, 상기 결정 트리의 하위에 존재하는 하위 노드들 중 말단 노드에 각각 최종 도달하도록 하고,
    상기 이진 분리 함수(BP)는 아래의 수학식과 같이 상기 패치 영상을 구성하는 두 영역 내에 존재하는 각 화소별 NDM의 특징 정보의 평균값 차이를 기 저장된 임계값과 비교하여 이진 분류를 수행하는 얼굴 자세 추정 방법:
    Figure 112015020913948-pat00017

    여기서, R1 및 R2는 상기 패치 영상에서 랜덤하게 선택된 제1 및 제2 서브패치 영역을 나타내고, N1 및 N2는 상기 R1 및 R2의 화소 개수를 나타내고, F는 특징 정보를 나타내고 그리고 t는 상기 임계값을 나타낸다.
  5. 제 4항에 있어서,
    상기 특징 정보를 추출하는 단계는,
    상기 패치 영상의 특정 화소의 주변에 동일한 화소가 적게 분포하는 특징 정보인 제1 특징 정보; 및
    상기 패치 영상의 특정 화소의 주변에 동일한 화소가 많이 분포하는 특징 정보인 제2 특징정보가 추출하며,
    상기 제1 특징 정보와 제2 특징 정보는 각각 다음의 수학식을 이용하여 추출되는 얼굴 자세 추정 방법:
    Figure 112013121096513-pat00018
    ,
    Figure 112013121096513-pat00019
    ,
    Figure 112013121096513-pat00020
    ,
    여기서, F1은 상기 제1 특징 정보이고, F2는 상기 제2 특징 정보이며, NDM(i, j|d, a)는 상기 특정 화소를 중심으로 반경(d)안의 주변 화소들 중에서 상기 특정 화소의 화소값과의 차이가 임계 값(a) 이하인 화소들의 개수를 나타내며, i는 상기 특정 화소가 갖는 화소값을 나타내고, j는 상기 주변 화소들의 개수를 나타내며, s는 상기 NDM 에서 상기i에 대응되는 전체 행을 나타내고, t는 상기 NDM 에서 상기 j에 대응되는 전체 열을 각각 나타낸다.
  6. 제 5항에 있어서,
    상기 제 1 특징 정보는 상기 결정 트리의 깊이가 임계값보다 작은 경우에 상기 결정 트리 분할에 사용되고, 상기 제 2 특징 정보는 상기 결정 트리의 깊이가 임계값보다 큰 경우에 상기 결정 트리 분할에 사용되고,
    상기 정보 이득(Information Gain)은 다음 수학식으로 표현되는 얼굴 자세 추정 방법:
    Figure 112013121096513-pat00021


    여기서, T는 해당 노드, Tl 은 상기 해당 노드에 대한 좌측(L)의 하위 노드 그리고 Tr 은 상기 해당 노드에 대한 우측(R)의 하위 노드를 나타내고, cj는 상기 j 번째 패치 영상의 얼굴 자세 레벨, μl 및 μr 는 상기 하위 노드에 학습된 패치 영상들의 얼굴 자세 라벨의 평균을, NDM(s, t|d, a)는 특정 화소를 중심으로 d반경안의 화소에서 값의 차이가 a보다 작은 것들의 개수를, i는 입력 영상이 갖는 값, j는 상기 특징 정보에 해당하는 이웃 화소의 개수를 각각 나타낸다.
  7. 제 6항에 있어서,
    상기 랜덤 포레스트 분류기는,
    상기 입력된 패치 영상이 최종 도달한 상기 말단 노드에 기 저장되어 있는 얼굴 자세 라벨들의 분산값이 기 설정된 기준값 이하이면, 상기 말단 노드에 저장된 대표 얼굴 자세 라벨을 추출하여 출력하며,
    상기 각각의 패치 영상이 개별 도달한 복수의 말단 노드들로부터 출력된 모든 대표 얼굴 자세 라벨들 중에서 최대 빈도로 출력된 얼굴 자세 라벨을 상기 사용자의 현재 얼굴 자세로 추정하는 얼굴 자세 추정 방법.
  8. 입력 영상으로부터 사용자의 얼굴 영역을 검출하는 얼굴 영역 검출부;
    상기 검출된 얼굴 영역의 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 상기 얼굴 영역을 전처리하는 영상 전처리부;
    상기 전처리된 얼굴 영역으로부터 NDM(Neighboring Dependence Matrix)을 사용하여 특징 정보를 추출하는 NDM 특징 추출부; 및
    상기 특징 정보를 기 학습된 분류기에 반영하여 패치 영상의 사용자의 얼굴 자세를 추정하는 얼굴 자세 추정부를 포함하며,
    상기 얼굴 자세 추정부는,
    결정 트리 타입의 분류기들을 앙상블 형태로 결합한 랜덤 포레스트 분류기(Random Forest classifier)를 생성하는 분류기 생성부를 포함하고,
    상기 분류기 생성부는,
    상기 특징 정보가 추출된 학습 데이터 집합에서 서브 집합을 랜덤하게 선택하는 서브 집합 선택부;
    상기 결정 트리의 각 해당 노드에서 상기 서브 집합을 2개의 군으로 분류하는데 이용될 이진 분리 함수 집합을 랜덤하게 생성하는 분리 함수 생성부;
    상기 이진 분리 함수에 대하여 상기 서브 집합을 상기 해당 노드에서 분기되는 좌측 노드와 우측 노드로 분할 한 뒤, 분할된 정도를 측정하는 정보 이득(Information Gain)을 계산하는 트리 생성부;
    상기 정보 이득 중에서 가장 큰 값을 가지는 이진 분리 함수를 해당 노드에 저장하는 제어부; 및
    상기 이진 분리 함수에 의하여 분할된 좌측 노드 및 우측 노드에 대하여 상기 이진 분리 함수 집합의 생성, 정보 이득 계산 및 이진 분리 함수 저장의 과정을 반복하여 말단 노드를 생성하는 학습부를 포함하는 얼굴 자세 추정 장치.
  9. 삭제
  10. 삭제
  11. 제 8항에 있어서,
    상기 랜덤 포레스트 분류기는,
    상기 서브 집합의 상기 얼굴 영역에 대한 각각의 패치 영상이 입력되면, 상기 패치 영상을 상기 결정 트리의 각 해당 노드에 저장된 이진 분리 함수를 통해 이진 분류하여, 상기 결정 트리의 하위에 존재하는 하위 노드들 중 말단 노드에 각각 최종 도달하도록 하고,
    상기 이진 분리 함수(BP)는 아래의 수학식과 같이 상기 패치 영상을 구성하는 두 영역 내에 존재하는 각 화소별 NDM의 특징 정보의 평균값 차이를 기 저장된 임계값과 비교하여 이진 분류를 수행하는 얼굴 자세 추정 장치:
    Figure 112015020913948-pat00022

    여기서, R1 및 R2는 상기 패치 영상에서 랜덤하게 선택된 제1 및 제2 서브패치 영역을 나타내고, N1 및 N2는 상기 R1 및 R2의 화소 개수를 나타내고, F는 특징 정보를 나타내고 그리고 t는 상기 임계값을 나타낸다.
  12. 제 11항에 있어서,
    상기 NDM 특징 추출부는,
    상기 패치 영상의 특정 화소의 주변에 동일한 화소가 적게 분포하는 특징 정보인 제1 특징 정보; 및
    상기 패치 영상의 특정 화소의 주변에 동일한 화소가 많이 분포하는 특징 정보인 제2 특징정보를 추출하며,
    상기 제1 특징 정보와 제2 특징 정보는 각각 다음의 수학식을 이용하여 추출되는 얼굴 자세 추정 장치:
    Figure 112013121096513-pat00023
    ,
    Figure 112013121096513-pat00024
    ,
    Figure 112013121096513-pat00025
    ,
    여기서, F1은 상기 제1 특징 정보이고, F2는 상기 제2 특징 정보이며, NDM(i, j|d, a)는 상기 특정 화소를 중심으로 반경(d)안의 주변 화소들 중에서 상기 특정 화소의 화소값과의 차이가 임계 값(a) 이하인 화소들의 개수를 나타내며, i는 상기 특정 화소가 갖는 화소값을 나타내고, j는 상기 주변 화소들의 개수를 나타내며, s는 상기 NDM 에서 상기i에 대응되는 전체 행을 나타내고, t는 상기 NDM 에서 상기 j에 대응되는 전체 열을 각각 나타낸다.
  13. 제 12항에 있어서,
    상기 제 1 특징 정보는 상기 결정 트리의 깊이가 임계값보다 작은 경우에 상기 결정 트리 분할에 사용되고, 상기 제 2 특징 정보는 상기 결정 트리의 깊이가 임계값보다 큰 경우에 상기 결정 트리 분할에 사용되고,
    상기 정보 이득(Information Gain)은 다음 수학식으로 표현되는 얼굴 자세 추정 장치:
    Figure 112013121096513-pat00026


    여기서, T는 해당 노드, Tl 은 상기 해당 노드에 대한 좌측(L)의 하위 노드 그리고 Tr 은 상기 해당 노드에 대한 우측(R)의 하위 노드를 나타내고, cj는 상기 j 번째 패치 영상의 얼굴 자세 레벨, μl 및 μr 는 상기 하위 노드에 학습된 패치 영상들의 얼굴 자세 라벨의 평균을, NDM(s, t|d, a)는 특정 화소를 중심으로 d반경안의 화소에서 값의 차이가 a보다 작은 것들의 개수를, i는 입력 영상이 갖는 값, j는 상기 특징 정보에 해당하는 이웃 화소의 개수를 각각 나타낸다.
  14. 제 13항에 있어서,
    상기 랜덤 포레스트 분류기는,
    상기 입력된 패치 영상이 최종 도달한 상기 말단 노드에 기 저장되어 있는 얼굴 자세 라벨들의 분산값이 기 설정된 기준값 이하이면, 상기 말단 노드에 저장된 대표 얼굴 자세 라벨을 추출하여 출력하며,
    상기 각각의 패치 영상이 개별 도달한 복수의 말단 노드들로부터 출력된 모든 대표 얼굴 자세 라벨들 중에서 최대 빈도로 출력된 얼굴 자세 라벨을 상기 사용자의 현재 얼굴 자세로 추정하는 얼굴 자세 추정 장치.
KR1020130168428A 2013-12-31 2013-12-31 얼굴 자세 추정 장치 및 그 방법 KR101515308B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130168428A KR101515308B1 (ko) 2013-12-31 2013-12-31 얼굴 자세 추정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130168428A KR101515308B1 (ko) 2013-12-31 2013-12-31 얼굴 자세 추정 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101515308B1 true KR101515308B1 (ko) 2015-04-27

Family

ID=53054138

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130168428A KR101515308B1 (ko) 2013-12-31 2013-12-31 얼굴 자세 추정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101515308B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127104A (zh) * 2016-06-06 2016-11-16 安徽科力信息产业有限责任公司 一种Android平台下基于人脸关键点的预测***及其方法
KR20170005273A (ko) * 2015-07-02 2017-01-12 주식회사 에스원 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법
KR101904192B1 (ko) * 2016-05-30 2018-10-05 한국과학기술원 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
CN111310512A (zh) * 2018-12-11 2020-06-19 杭州海康威视数字技术股份有限公司 用户身份鉴权方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130073812A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 객체 포즈 추정을 위한 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130073812A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 객체 포즈 추정을 위한 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1:정보처리학회논문지 *
논문2:IEEE *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170005273A (ko) * 2015-07-02 2017-01-12 주식회사 에스원 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법
KR101705584B1 (ko) 2015-07-02 2017-02-13 주식회사 에스원 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법
KR101904192B1 (ko) * 2016-05-30 2018-10-05 한국과학기술원 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
CN106127104A (zh) * 2016-06-06 2016-11-16 安徽科力信息产业有限责任公司 一种Android平台下基于人脸关键点的预测***及其方法
CN111310512A (zh) * 2018-12-11 2020-06-19 杭州海康威视数字技术股份有限公司 用户身份鉴权方法及装置
CN111310512B (zh) * 2018-12-11 2023-08-22 杭州海康威视数字技术股份有限公司 用户身份鉴权方法及装置

Similar Documents

Publication Publication Date Title
JP4767595B2 (ja) 対象物検出装置及びその学習装置
KR101410489B1 (ko) 얼굴 식별 방법 및 그 장치
EP3191989B1 (en) Video processing for motor task analysis
US9380224B2 (en) Depth sensing using an infrared camera
US7912253B2 (en) Object recognition method and apparatus therefor
US7957560B2 (en) Unusual action detector and abnormal action detecting method
US9367758B2 (en) Feature extraction device, feature extraction method, and feature extraction program
KR102138657B1 (ko) 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법
US20070165951A1 (en) Face detection method, device and program
JP5591178B2 (ja) テスト画像内のオブジェクトを分類するための方法
JP2008310796A (ja) コンピュータにより実施される、訓練データから分類器を構築し、前記分類器を用いてテストデータ中の移動物体を検出する方法
KR20090131626A (ko) 영상 데이터내의 특정 클래스의 오브젝트를 세그멘테이션하기 위한 시스템 및 방법
KR102214922B1 (ko) 행동 인식을 위한 특징 벡터 생성 방법, 히스토그램 생성 방법, 및 분류기 학습 방법
JP2018026122A (ja) 情報処理装置、情報処理方法及びプログラム
KR101515308B1 (ko) 얼굴 자세 추정 장치 및 그 방법
US11315358B1 (en) Method and system for detection of altered fingerprints
KR20170087817A (ko) 얼굴 검출 방법 및 장치
US20050238209A1 (en) Image recognition apparatus, image extraction apparatus, image extraction method, and program
JPWO2012046426A1 (ja) 物体検出装置、物体検出方法および物体検出プログラム
Bose et al. In-situ recognition of hand gesture via Enhanced Xception based single-stage deep convolutional neural network
JP2020119154A (ja) 情報処理装置、情報処理方法、及びプログラム
Pattnaik et al. AI-based techniques for real-time face recognition-based attendance system-A comparative study
JP2007213528A (ja) 行動認識システム
CN115376118A (zh) 一种街景文字识别方法、***、设备和介质
KR20080079443A (ko) 영상으로부터의 객체 검출 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 5