KR20080033486A

KR20080033486A - 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별

Info

Publication number: KR20080033486A
Application number: KR1020087005073A
Authority: KR
Inventors: 마달리나 발타투; 로살리아 달레산드로; 로베르타 다미코; 마시모 티스타렐리; 엔리코 그로소; 마뉴엘레 비세고
Original assignee: 텔레콤 이탈리아 소시에떼 퍼 아찌오니
Priority date: 2005-07-29
Filing date: 2005-07-29
Publication date: 2008-04-16
Also published as: US8275175B2; EP1910977A1; WO2007016936A1; BRPI0520469A2; EP1910977B1; KR101185525B1; US20090074259A1

Abstract

사용자의 기준 주형을 생성하기 위해 사용자를 등록하고, 사용자의 기준 주형에 기초하여 사용자를 식별하는 것을 포함하는, 서포트 벡터 머신 및 얼굴 인식에 기초한 자동화 생체 식별 방법이 본 발명에 개시되어 있으며, 상기 사용자의 기준 주형을 생성하는 것은 복수의 사용자의 얼굴 이미지를 획득하고 사용자의 얼굴 이미지에 기초하여 서포트 벡터 머신을 트레이닝하는 것을 포함한다.

주형, 서포트 벡터 머신, 생체 식별, 얼굴 인식

Description

서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별{Automatic biometric identification based on face recognition and support vector machines}

본 발명은 일반적으로 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별에 관한 것이다.

생체 식별은 사용자로부터 증거 또는 생체 샘플을 포획하고, 샘플에서 생체 데이터를 추출하고, 하나 이상의 기준 주형(reference template)에 포함되어 있는 데이터와 생체 데이터를 비교하며, 얼마나 잘 이들이 일치하는 지를 결정하고, 식별 또는 동일성의 인증이 얻어질 수 있는지 여부를 나타낼 수 있는 자동 시스템을 통하여 수행될 수 있다.

얼굴 인식에 기초한 생체 식별은 보안 응용 및 인간-기계 인터페이스(human-machine interface)에 특히 유용하며, 서포트 벡터 머신(SVM)은 크거나 또는 작은 트레이닝 세트(training set)를 가진 고차원 입력 데이터에 특히 유용한 분류/회귀(classification/regression)에 대한 학습 알고리즘의 클래스(class)이다. 식별 문제에 적절한 서프트 벡터 머신은 고차원 특징 공간으로 SVM에 대한 입력 특징을 매핑(mapping)하고, 고차원 특징 공간으로 매핑된 특징상의 선형 함수를 계산함으 로써 동작한다.

SVM은 일반적으로 감독된 학습을 통해 트레이닝(train)되고, 출력 데이터를 입력 데이터와 관련시키는 최상의 함수가 계산되고, 이 함수의 양호도(goodness)는 새로운 입력, 즉 트레이닝 세트에 존재하지 않는 입력을 일반화하기 위한 능력에 의해 판단된다. SVM에 대한 학습 방법의 상세한 설명에 대하여, N.Cristianini, J. Shawe-Taylor, An Introduction to Support Vector Machines and other kernel -based learning methods, pp. 93-122, Cambrige University Press, 2000을 참조로 하고 있다.

현재, 얼굴 인식 및/또는 탐지에 대해, 다른 인식 기술과 조합하여, 또는 단독으로, SVM의 사용을 제안하는 몇 가지의 방법이 공지되어 있다.

예를 들어, B. Heisele, P. Ho, J. Mu, T. Poggio, Face Recognition : component-based versus global approaches, in Computer Vision and Image Understanding 1991, pp. 6-21, Elsevier, 2003은 3 가지의 SVM-기반 얼굴 인식 방법을 제안하였으며, 처음 방법은 얼굴 성분이 SVM에 의해 분류되어 있는 단일 특징 벡터로 위치되고, 추출되고, 결합되는 지에 따라, 소위 성분-기반 접근을 따른다. 간단히, SVM-기반 인식 시스템은 유연한 기하학 모델에 의해 상호연결되어 있는 한 세트의 성분으로 얼굴을 분해한다. 다른 2 가지의 SVM-기반 얼굴 인식 방법은 전체 얼굴 이미지의 그레이 값(gray value)으로 이루어진 단일 특징 벡터를 분류함으로써 얼굴을 인식하는, 광범위 시스템의 구현이다. 특히, 제 1 광범위 시스템에서 SVM은 데이터베이스에 각각의 사람에 대해 생성되는 반면, 제 2 광범위 시스템은 트레이닝 동안 클러스터된(clustered) 뷰-특정(view specific) SVM의 세트를 사용한다.

또 하나의 다른 SVM-기반 얼굴 인식 시스템은 L.Zhuang, H.Ai, G.Xu, Training Support Vector Machines for video based face recognition, Tsinghua Unversity, Beijing, 2001에 제안되어 있고, SVM을 가진 m-클래스 비디오-기반 얼굴 인식 문제에 대한 2 가지의 다른 전략은 광범위 얼굴 특징 세트 및 특징 세트로 압축된, PCA(Principal Component Analysis)에 대해 논의되었다. 광범위 특징 세트의 경우에, 정규화된 미가공 샘플이 SVM 트레이닝에 대한 2112 그레이 값의 특징 벡터로 고려되는 반면, 두 번째 경우에, PCA 투사(projection)의 계수는 트레이닝에 대한 특징 벡터로서 사용된다.

얼굴 인식에 관하여 SVM의 사용의 또다른 분석은 K.Jonson J.Kittler, Y.P. Li, J.Matas, Suppor vector Machines for Face Authentication, The 10th British Machine Vision Conference 1999, pp.543-553에 개시되어 있다. 이 논문은 SVM 접근이 어떤 복잡한 변환이 원본 미가공 얼굴 이미지상에서 수행되지 않는 경우조차, 트레이닝 데이터로부터 관련 판별(discriminatory) 정보를 추출할 수 있다는 가설을 지지한다. 얼굴이 주성분(Principal Component) 및 선형 판별(Linear Discriminant) 공간 모두에 표현되어 있는 실험의 결과를 분석하여, 상기 논문 작성자들은 SVM이 전처리 및 표현에 상관없는 트레이닝 데이터로부터의 판별 특징을 포획하기 위해 고유 잠재력을 가진다는 결론에 도달한다.

US 2003/0103652는 얼굴 정보를 사용하는 얼굴 등록 및 인증을 수행하기 위 한 방법 및 시스템을 개시하고 있다. 각각의 사용자에 대한 한 세트의 쉽게 구별가능한 특징은 등록 단계에서 선택되고, 등록 단계에서 선택된 세트의 특징만이 얼굴 인증 단계에 사용되며, 이에 의해 불필요한 정보 및 얼굴 인증에 대한 데이터 계산의 양에 따라 메모리 사용이 감소될 수 있다. 그러므로 얼굴 인증을 통한 식별 인증은 제한된 자원을 가진 스마트 카드 또는 USB 토큰의 제한된 환경하에서조차 수행될 수 있고, 쉽게 구별가능한 특징 정보가 사용됨에 따라, 인증 성능이 개선되고, 얼굴 인증이 트레이닝 단계에서 쉽게 구별가능한 특징의 최적 세트를 사용함으로써 형성된 SVM을 사용하여 수행됨에 따라, 얼굴 인증에 대한 시간은 감소된다.

또한, S.M. Bileschi, B. Heisele Advances in component-based face detection, Pattern Recognition with Support Vector Machines, First International Workshop, SVM 2002, Proceedings(Lecture Notes in Computer Science Vol.2388), pp.135-43에, 양의 표본(positive example) 상에서만 트레이닝된 성분-기반 얼굴 탐지 시스템이 설명되어 있다. 제 1 레벨에서, SVM 분류자는 그레이 스케일 이미지로 얼굴의 기결정된 직사각형 부분을 검출한다. 제 2 레벨에서, 히스토그램-기반 분류자는 제 1 레벨 분류자의 극대화의 위치만을 사용하여 패턴을 판단한다. 이 접근에서, 양의 패턴의 선택된 부분은 성분 분류자에 대한 음의 트레이닝으로서 사용되고, 분류자 출력을 한쪽으로 치우치게 하기 위해 얼굴 성분 위치 사이의 페어-와이즈(pare-wise) 상관의 사용은 증가된 성분 위치결정(localization)을 달성한다.

출원인은 (2 이상의 클래스로 데이터의 분류를 수행하는) m-클래스 SVM으로 얼굴 인식에 기초한 생체 인증의 분야에서 문제가 있음을, 즉 각각의 인가된(authorized) 사용자에 대하여 인식의 양호한 레벨, 즉 낮은 오류율을 달성하도록 SVM의 트레이닝을 위해서는 많은 양의 사용자의 얼굴 샘플이 필요하게 됨을 알았다. 이는 각각의 인가된 사용자에 대하여, 등록 과정(즉, 사용자로부터 생체 샘플을 수집하고 뒤이어 사용자의 동일성을 표현하는 생체 기준 주형을 계산하고 저장하는 과정)에서 많은 시간과 계산 자원이 소요되게 할 수 있다.

일반적으로, 2 가지의 접근은 m-클래스 SVM, 일 대 전체(one versus all) 접근, 및 각각의, 페어-와이즈 접근을 트레이닝하는데 사용될 수 있다.

구체적으로, 일 대 전체 접근에서, SVM이 트레이닝되고, 각각의 SVM은 모든 나머지 클래스들에서 단일 클래스를 분리한다. 이처럼, SVM이 데이터베이스에 임의의 다른 사용자로부터 사용자를 인식하는/구별하는 인가된고객의 데이터베이스에서 각각의 사용자에 대하여 존재한다.

페어-와이즈 접근에서, 한 쌍의 클래스를 분리하는, m(m-1)/2 SVM이 트레이닝된다. SVM은 트리(tree)에 배치되고, 각각의 트리 노드는 SVM을 나타낸다. G. Guodong, S. Li, C. Kapluk, Face recognition by support vector machines, in Proc. IEEE International Conference on Automatic Face and Gesture Recognition, 2000, pp.196에서, 테니스 토너먼트에 사용되는 제거 트리(elimination tree)와 유사한 상향식 트리가 얼굴 인식에 적용되어 있다.

2 가지의 해결책 모두 양 및 음의 트레이닝 표본, 즉, 인식되는 사용자의 얼굴의 샘플들, 및, 각각의, 인식되는 사용자와 다른 사람들의 얼굴의 샘플들을 필요 로 하는 감독된 학습 절차들이고, 이들 해결방법의 한계는 신뢰가능한 인식(즉, 낮은 오류율)에 대한 한계이고, 엄청난 양의 음의 표본들이 요구된다. 계산 속도에 관한 최상의 경우에, 일 대 전체 접근에서, 음의 표본의 수는 데이터베이스에서의 입력의 수 - 1, 상수에 의해 곱해진 전체(예를 들어, 가능한 머리 자세의 수)와 적어도 동일해야 한다. 마찬가지로, 제 2 접근은 사용자의 데이터베이스가 증가한다면 계산적으로 매우 느리게 될 수 있다. 물론, 알고리즘 성능은 이용가능한 계산력에 좌우되지만, 그러나 일반적으로 이들 접근은 몇 일이 걸릴 수 있는 등록 과정으로, 잘 비율조정(scale) 수 없다(예를 들어, B.Heisele, T.Poggio, M. Pontil, Face Dection in still gray images, A.I. Memo 1687, Center for Biological and Computational learning, MIT, Cambridge, 2000를 참조로 할 수 있다).

그러므로 본 발명의 목적은 위에서 전술된 문제를 완화하는, 얼굴 인식에 기초한 자동 생체 인식 방법 및 시스템 및 서포트 벡터 머신을 제공하는 것이다.

상기 목적은 청구항 1 및 청구항 28에 청구된 바와 같이, 얼굴 인식에 기초한 자동 생체 인식 방법 및 시스템과 서포트 벡터 머신, 그리고 청구항 29에 청구된 바와 같이, 컴퓨터 프로그램 제품에 관한 본 발명에 의해 달성된다.

개괄적으로, 출원인은 전술된 문제가 인가된 사용자의 얼굴을 인식하기 위해 일-클래스(one-class) SVM(OC-SVM)를 이용함으로써 해결될 수 있다는 것을 알았다. OC-SVM의 사용의 주요 이점들 중 하나는 OC-SVM의 트레이닝에 대해, 사용자의 양의 표본만이 사용되어야 하는 반면, 인가된 사용자의 인식이 트레이닝된 OC-SVM만을 기초한다는 사실에 있다. 이런 식으로, 매우 빠르고 두드러지게 더 적은 자원을 소비하는 얼굴 인식 절차가 높은 수준의 인식을 유지하며, 수행될 수 있다.

본 발명의 더 나은 이해를 위하여, 순전히 예로 의도되어 있으며 제한하는 것으로 구성되어 있지 않은 바람직한 실시예가 다음의 첨부된 도면을 참고로 하여 설명될 것이다:

도 1은 양 및 음의 트레이닝 표본을 분리하는 초평면(hyperplane), 및 SVM의 고차원 특징 공간에서의 서포트 벡터를 나타내고;

도 2는 OC-SVM의 고차원 특징 공간에서의 서포트 벡터, 및 트레이닝 벡터를 포함하는 초구(hypersphere)를 나타내고;

도 3은 본 발명에 따른 등록 시스템의 블록도를 나타내고;

도 4는 등록 동안 계산될 수 있는 푸리에-멜린 변환(Fourier-Mellin transform)의 블록도를 나타내고;

도 5는 등록 동안 계산될 수 있는 그레이-레벨 얼굴 이미지의 푸리에 스펙트럼을 나타내고;

도 6은 등록 동안 사용될 수 있는 저주파수 선택 표준을 표시하는 다이어그램을 나타내고;

도 7은 등록 동안 얼굴 이미지의 다른 얼굴 영역으로 할당될 수 있는 LBP 가중치를 나타내고;

도 8은 본 발명에 따른 확인 시스템의 블록도를 나타낸다.

다음의 설명은 당업자가 본 발명을 만들고 사용할 수 있게 하도록 표현되어 있다. 실시예에 대한 다양한 변경은 당업자에게 명백할 것이며, 본 발명에서 일반적인 원리는 본 발명의 범위를 벗어나지 않는 응용 및 다른 실시예에 적용될 수 있다. 따라서, 본 발명은 나타난 실시예에 제한되는 것으로 의도되어 있지 않으나, 본 발명에 개시되어 있고 첨부된 청구항에 정의되어 있는 기술사상 및 특징과 일치하는 가장 넓은 범위를 허용되어야 한다.

본 발명의 이해를 용이하게 하기 위해, 이하 SVM 관련 몇 개의 수학적 표시가 도입되어 있다.

SVM은 통계 학습 이론으로부터의 구조적 위험 최소화 원칙(Structural Risk Minimization:SRM)으로 공지되어 있는 원리에 기초한, The Nature of Statistical Learning Theory , Springer-Verlag, New York, 1998에서 V.Vapnik에 의해 처음으로 개발되었다. 이들은 회귀, 분류 및 밀도 추정(density estimation) 문제에 적용될 수 있다.

간단히, SVM은 최대 마진(margin) 분류자의 카테고리에 속해 있고, SVM의 특징 공간에서, 음의 표본으로부터 양의 표본을 쪼개는(spilt) 결정 초표면(hypersurface)(보통은 초평면)을 발견함으로써, 이들은 본래 이진 분류(즉, 이들은 2 개의 출력 클래스를 가진다)를 수행하며, 쪼갬은 초표면으로부터 가장 가까운 양 및 음의 표본까지의 가장 긴 거리를 가지는 것과 같으며, 일반적으로 트레이닝 데이터와 가까우나, 동일하지 않은 테스팅 데이터에 대한 분류를 정확하게 한 다.

분류에 초점을 맞추면, SVM은 학습 태스크(task)를 설명하는 고정되어 있으나 공지되지 않은 분포 Pr(x,y)로부터 크기 n의 독립적이고 동일하게 분포된(i.i.d.) 트레이닝 샘플

을 입력으로서 수신하고, 여기서 x_i는 분류되는 입력 데이터를 나타내는 벡터(관찰(ovservation))인 반면, 전형적으로 세트 {-1, +1}에서의, yi는 클래스 표시이다.

이들의 기본적인 형태로, SVM은 다음의 형태로 이진, 선형 결정 규칙(decision rule)을 학습한다:

가설로서 또한 공지되어 있는, 결정 함수는 가중치 벡터 w 및 역치 값 b에 의해 설명되어 있다. 입력 벡터 x가 놓여 있는 초표면의 측면에 따라, 클래스 +1 또는 - 1로 분류되어 있다. 구조적 위험 최소화의 개념은 가장 낮은 오류 확률이 보장되어 있는 가설 h를 찾는 것이다. SVM으로, 상기 목표가 분리가능한 데이터에 대한 가장 큰 마진을 가진 초표면을 발견하는 것으로 해석될 수 있다고 Vapnik은 보여주었다. 다시 말해서, 분리가능한 트레이닝 세트에 대해, SVM은 도 1에서, 가장 큰 마진으로, 각각, "+" 및 "-"로 표시되어 있는, 양 및 음의 트레이닝 표본을 분리하는 초표면 h를 찾는다. 초표면 h에 가장 가까운 표본은 도 1에서의 원으로 표시되어 있는, 서포트 벡터로 불린다.

초표면 계산은 라그랑지안(Lagrangian) 표현에서 다음의 2차 최적화 문제를 해결하는 것과 같다(N.Cristianini, J.Shawe-Taylor에 의한 An introduction to support vector machines and other kernal - based learning methods, pp.93-122, Cambridge University Press, 2000에 참조로 더욱 상세하게 설명되어 있다):

최소화

다음을 조건하는

서포트 벡터는 α_i>0 양의 라그랑지안 계수에 대응하는 트레이닝 벡터 x_i 이다. 이 최적화 문제의 해결로부터 결정 규칙이 다음과 같이 계산될 수 있다:

b를 계산하기 위한 트레이닝 표본(x_tsv, y_tsv)은 α_tsv < C를 가진 서포트 벡터이어야 한다.

학습된 결정 규칙을 적용하는 것뿐 아니라 2차 최적화 문제를 해결하는 것 모두에 대해, 관찰 벡터 사이의 내적을 계산할 수 있는데 충분하다. 이 특성을 이용하여, K(x₁, x₂)에 의해 표시되어 있는, 커널 함수(kernel function)의 사용은 비선형 결정 규칙의 학습에 도입되었다. 이와 같은 커널 함수는 몇 개의 고차원 특징 공간에서 내적을 계산하고 상기 공식들에서 내적을 대체한다.

일반의 커널 함수(popular kernel function)는 선형, 다항의, RBF(radial basis function), 및 시그모이드(sigmoid)이다:

그러므로, 커널 함수의 유형에 따라, SVM은 선형 분류자, 다항 분류자, RBF 분류자 또는 2 층의 시그모이드 신경망일 수 있다.

OC-SVM에서, 사용자의 클래스를 특징 짓는 서포트 벡터는 양의 트레이닝 표본들로부터만 얻는다. 특히, 이와 같은 서포트 벡터는 사용자의 모든 가능한 표현을 둘러싸는 초구를 정의한다. 이 초구 외부에 놓여있는 모든 관찰(입력 벡터)은 임포스터(impostor) 표현으로 간주된다.

OC-SVM이 해결해야 하는 문제는 목표 클래스 데이터 주위의 폐쇄적인 경계를 주는 모델 함수 h(x,w)의 추정이다(예를 들어, D.M.J. Tax에 의한, One - Class Classification, Concept learing in the absence of counter examples, Ph.D. thesis, Technical University of Delft, 2001을 참조로 할 수 있다). 이 폐쇄된 경계는 도 2에 예시되어 있는 바와 같이, 모든 트레이닝 물체 X^tr을 포함하고, 중심 a, 반경 R에 의해 특징 지어지는 초구이다.

구체적으로, 도 2에서 3 개의 물체는 초구의 경계상에 있고, 이들 3 개의 물체는 서포트 벡터이며,

> 0이기 때문에 물체 x_i는 초구의 외부에 있고,

는 분류 오류의 측정이다(즉, 물체 x_i에서 중심 a로의 거리와 초구의 반지름 R사이의 차 ).

기본적으로, OC-SVM은 다음과 같이 정의되어 있는 구조적 오류를 최소화하며:

다음의 제한을 조건으로 한다:

트레이닝 세트에서의 이상치(outlier)의 확률을 허용하여, 더욱 강건한 방법을 형성하기 위해, 물체 x_i에서 중심 a 까지의 거리는 R²보다 정확히 작지 않지만, 더 큰 거리는 곤란하다. 이는 경험적 오류가 0이 아니어서, 여유(slack) 변수들,

,

> 0,

가 도입되고

최소화 문제는 다음과 같이 된다:

위의 식은 거의 모든 물체가 다음의 초구 내에 있는 제한을 가진다:

매개변수 C는 설명의 양과 오류 사이의 타협점(tradeoff)을 준다. 랑그랑지안 급수(Lagrange multiplier)를 도입하고 랑그랑지안을 구성함으로써, 이 오류의 최소화는 공지된 2차 프로그래밍 문제이며, 표준 알고리즘이 존재한다(위에서 언급된 One - Class classification을 참고로 할 수 있다).

이 문제를 해결함으로써 서포트 벡터는 초구의 중심 a에 대한 다음의 표현과 함께 (사용자 기준 주형을 실제로 나타내는) 얻어진다:

이와 같이, 새로운 물체는 물체로부터 초구의 중심 a까지의 거리가 반경 R보다 작거나 또는 동일하다면 설명에 의해 받아들여진다.

일-클래스 분류를 가지는 난점은 트레이닝 세트 구성, SVM 입력 데이터 표현, 및 SVM 매개변수 조율에 관한 것이다.

이들 양태는 서로 정확하게 관련 있으며 양호한 분류에 중요하고, 본 출원인은 특정한 트레이닝 세트 구성 방법, 입력 벡터의 몇 가지의 작업 최적화된 표현, 및 SVM 매개변수를 자동으로 설정하는 방법을 제안한다.

구체적으로, 본 발명은 얼굴 인식에 기초한 생체 인증에 관한 것이고 2 개의 하위-시스템, OC-SVM 트레이닝을 책임지는 등록 또는 트레이닝 하위-시스템, 및 신원 확인을 책임지는 확인 또는 인증 하위-시스템을 포함한다. 각각의 하위-시스템은 몇 개의 모듈을 포함하고, 이들 중 몇 개는 2 개의 하위-시스템 사이에 공통되며 등록 및 확인하는 동안 사용된다.

도 3은 등록 하위-시스템의 블록도를 나타낸다.

전체를 1로 표시하는, 등록 하위-시스템은 다음을 포함한다:

생체 샘플 이미지(즉, 얼굴 이미지)의 획득을 책임지는 생체 샘플 이미지 획득 모듈(2);

다음을 포함하는 이미지 처리 모듈(3);

- 얼굴 탐지 및 추출 모듈(4),

- 이미지 선택 모듈(5),

- 이미지 비율조정(scalling) 및 정규화 모듈(6),

- 트레이닝 세트의 구성을 책임지는 특징 추출 모듈(7); 및

인증기호의 생성, 즉 사용자의 식별에 사용될 마지막 서포트 벡터를 책임지는 OC-SVM 트레이닝 모듈(8). 몇 개의 OC-SVM 특정 매개변수와 함께 얻어진 서포트 벡터는 사용자의 생체 기준 주형을 나타낸다.

특히, 생체 샘플 이미지 획득 모듈(2)은 다음과 같이, 다중 입력을 지원한다: 캡쳐된 라이브(live) 비디오, 저장된 비디오 또는 사용자의 생체 샘플의 다중 이미지(라이브 또는 저장된 이미지). 사용자 얼굴의 라이브 비디오 또는 이미지는 평범한 웹캠(webcam), 디지털 PDA, 셀룰러(cellular) 카메라, 등과 같은 임의의 비디오 카메라에 의해 캡쳐된다. 비디오 획득 및 비디오 카메라와의 인터페이스를 제어하는 임의의 소프트웨어, 예를 들어 인텔 오픈 소스 이미지 처리 및 컴퓨터 비젼 라이브러리 오픈CV(Intel Open Source Image Processing and Computer Vision Library OpenCV, OpenCV Reference manual)가 사용될 수 있다(본 특허 출원의 출원 날짜에 http://www.sourceforge.net/projects/opencvlibrary 에서 다운로드).

얼굴 탐지 및 추출 모듈(4)은 각각의 획득된 비디오 프레임 상에 얼굴 탐지를 수행한다. 이 단계는 또한 부적절한 프레임, 즉 얼굴을 포함하지 않은 프레임을 거절하는 데 필요하다.

얼굴 탐지에 사용되는 알고리즘은 C. Papargeorgiou, M. Oren, T. Poggio, A general framwork for object detection, in Preceedings of the International Conference on Computer Vision, pp.555-562, 1998에 설명되어 있는 아다부스트(Adaboost) 알고리즘 및 하르(Haar) 필터의 응용에 기초하여, P.Viola, M.Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, In Proceeding of CVPR 2001, vol.1, pp. 511-518에 설명되어 있는 가시적인 물체 탐지에 대한 기계 학습 접근을 이행한다.

얼굴 탐지 알고리즘은 3 가지의 기본적인 이미지 처리 단계로 구성된다.

이 후의 탐지에 사용되는 특징들의 빠른 계산을 허용하는 "적분 이미지"라 불리는 특정 이미지 표현을 얻는 단계. 이들 특징은 하르 기본 함수, 또는 하르 필터의 연상(reminiscent)이며, 또한 위에서 언급된 A general framework for object detection에 설명되어 있다;

R. Schapire, Theoretical views of boosting and applications, in Proceedings of the 10th International Conference on Algorithmic Learning Theory 1999, pp. 13-25에 설명되어 있는 아다부스트 알고리즘에 기초하여, 자동 기계 학습 알고리즘을 이행하는 단계, 이는 큰 세트의 특징으로부터 작은 수의 임계 가시적 특징을 선택하고 효율적인 분류를 생성한다.

직렬 구조에서 더 복잡한 분류자의 결합을 적용하는 단계, 이는 이미지의 관심 영역 상에 초점을 맞춤으로써 탐지기의 속도를 증가하고, 더욱 복잡한 처리가 수행된다.

얼굴 탐지 및 추출 모듈(4)의 출력은 배경이 거의 없는 사용자의 얼굴을 포함하는 가변적인 크기의 이미지 프레임 또는 이미지이다.

상기 방법은 또한 R. Lienhart, J. Maydt, An extended set of Haar - like features for rapid object detection, in IEEE Proceedings of ICIP 2002, vol.1, pp. 900-903에 설명되어 있는 2 개의 절차에 의해 최적화되고, 이는 확장된 하르 특징 세트(추가된 순환되는 특징)의 사용을 제안한다.

얼굴 탐지 알고리즘의 제 2 단계에서 수행된 임계 가시적인 특징의 선택은 선택된 얼굴 이미지에서 눈 및 입 탐지를 포함한다. 이 태스크를 수행하기 위해 다른 기술을 적용할 수 있다. 예를 들어, 전체 얼굴 이미지상으로 미끄러지는(slide) 마스크(mask)(탐지하기 위한 각각의 성분에 대한 하나)에 기초하여, 주형 매칭 기술이 사용될 수 있다. 이행된 기술은 RGB 색 공간에서 YCrCb 색 공간으로 원본 얼굴 이미지를 변환한다. YCrCb 이미지로부터, 2 개의 맵(map)이 계산된다: 하나의 맵은 색차(chrominance) 성분에 관한 것이고 또 다른 하나의 맵은 휘도(luminance) 성분에 관한 것이다. 이때 이들 성분은 AND 함수를 사용하여 결합된다. 결국, 히스토그램은 결과 이미지상에서 계산되고, 이 히스토그램의 2 개의 피크는 추정된 눈 위치를 나타낸다. 이어서, 입 맵은 입 탐지에 대해 계산된다. 절차는 설명된 절차와 유사하고, 미끄러지는 마스크(sliding mask) 및 맵 만이 다르다. 결과 히스토그램 피크는 추정된 입 위치를 나타낸다.

이미지 선택 모듈(5)은 등록 및 확인 절차 모두 동안 이미지 선택을 수행한다. 특히, 얼굴 탐지 및 추출 모듈(4)의 출력(공간을 포함하는 모든 이미지)에 기 초하여, 어떤 2 개의 유사한 이미지가 트레이닝을 위해 선택되지 않는 바와 같이, 적절한 개수의 얼굴 이미지가 일정하게 입력 비디오 시퀀스에서 추출된다. 효율적으로 등록을 위해 사용될 이미지의 수는 OC-SVM 트레이닝 세트의 치수이며 시스템의 설정가능 매개변수를 나타낸다. 이 매개변수에 대한 적절한 값은 제안된 얼굴 인식 소프트웨어의 단계를 조율하고 정밀한 테스트를 수행하며 얻어질 수 있다. 인증하는 동안, 얼굴을 포함하는 모든 이미지 또는 이미지 프레임은 동일성 확인을 위해 선택된다.

이미지 비율조정 및 정규화 모듈(6)은 제안된 얼굴 인식 방법이 흑백 이미지들로부터 추출된 특징으로 작업하도록 하기 위해 다수의 동작을 수행한다. 특히, 이미지 비율조정 및 정규화 모듈(6)은 다음의 동작을 수행한다:

RGB 색 공간에서 (또한 그레이 레벨로서 공지되어 있는) 명암 값(intensity value)으로 이미지 변환

쌍선형 보간법(bilinear interpolation)을 사용하는, 고정된 크기로 이미지의 비율 축소. 결과 이미지의 크기는 사용된 특징 추출 알고리즘에 따라 다르다; 예를 들어, 원본 얼굴 이미지 크기가 320x240이라면, 결과 이미지 크기는 128x128 픽셀이다.

하나의 획득에서 다른 획득으로 대상의 머리의 다른 포즈에 기인한, 얼굴의 작은 3차원 기하학적 변화를 완화하기 위해 명암 이미지의 2 차원 워핑(warping). 소스 이미지(source image)의 (또한 특징으로 공지되어 있는) 기준 점(base point)이 추출되고, 일반적 얼굴 모델과의 특징 일치가 계산되고, 워핑은 대상의 얼굴의 목표 전면 이미지를 생성하도록 수행된다. 특징 일치는 2 개의 이미지에서의 모든 점들 사이의 공간 관계를 정의하는 매핑 함수를 얻는 데 사용된다. 이들 매핑 함수는 특징의 위치를 보간하기 위해 사용되고 워핑 함수로서 알려져 있다. 워핑 알고리즘은 이미지에서의 특징 위치(기본적으로 눈 위치 및 입 위치)를 결정하기 위해 점 및 라인 세그먼트(segmant)를 사용한다(A.Yuille, M. Ferraro, T. Zhang, Image Warping for Shape Recovery and Recognition, in Computer Vision and Image Understanding, vol. 72, no. 3, pp. 351-359, 1998을 참조로 할 수 있다).

이미지 개선을 생성하는 명암 변형, 즉 히스토그램 균등화. 히스토그램 균등화(histogram equalization)는 외양-기반 얼굴 인식 알고리즘에 의해 주로 수행되고, 이의 목적은 평평한 히스토그램 또는 가능한 평평한 히스토그램을 가지는 것이다. 히스토그램 균등화는 얼굴의 범위를 정하는 이미지의 타원체 영역 상에서 수행된다; 그러므로 배경의 주요 부분이 버려진다.

특징 추출 모듈(7)은 트레이닝 세트의 구성을 책임진다. 제안된 얼굴 인식 방법은 정규화된 이미지에서 추출된 다른 세트의 특징으로 작업할 수 있다. 4 가지 유형의 이와 같은 특징 세트의 사용이 이하 설명되더라도, 본 발명이 각각의 새로운 유형의 특징 세트 및, 각 사용자를 위한 증가된 인식 성능에 대한 필요한 SVM 매개변수를 계산하기 위한 자동화 절차를 제공하기 때문에, 다른 세트가 또한 사용될 수 있다. 기본적으로, OC-SVM에 의해 사용된 RBF 커널 함수의 매개변수 시그마의 값은 사용된 실제 특징 세트를 고려하며, 등록 기간 동안 추정되고, 특징 벡터, 초구의 반경 및 다른 커널 매개변수의 차원성(dimensionality)과 함께, 사용자의 기준 주형의 일부가 된다.

특징에 대한 다음의 4 가지의 가능한 접근에서 추출을 설명한다.

제 1 접근은 푸리에-멜린 변환(FMT)이고, 이는 이동(translation), 회전(rotation), 스케일 불변 푸리에-멜린 특징 세트를 생성한다. 이 변환은 또한 이미지 등록에 대한 이미지 인식에 사용되어서 가능한 이동, 회전, 스케일의 보상은 변한다. 본 발명에서, FMT 특징 세트에 관해, 푸리에-멜린 변환은 그레이-레벨 이미지에 적용된다.

도 4는 푸리에-멜린 변환의 블록도를 나타낸다. 초기에 웨이브렛 변환(wavelet transform)은 저주파 영역에서 이미지 표현을 생성하기 위해 이미지에 적용된다(블록 10), 이런 식으로, 얼굴 이미지는 (고주파수 성분에 의해 표현된) 작은 오클루젼(occlusion) 및 다른 얼굴 표정에 민감하게 된다. 이때, 푸리에 변환은 FFT 알고리즘으로 구현되고(블록 11), 하이-패스 필터링은 샘플링 및 절단(truncation)에 기인한 원점 주변의 몇 개의 불연속을 피하기 위해 대수 스펙트럼에 적용된다(블록 12). 간단한 하이-패스 엠퍼시스 필터(emphasis filter)는 다음의 전달 함수(transfer function)로 사용된다:

로그-폴라 전환에 대한 카테시안(cartesian to log polar conversion)(블록 13) 및 또다른 푸리에 변환(블록 14)이 구현되고 마지막으로 특징 벡터는 결과적 푸리에-멜린 스펙트럼의 계수를 연관시킴(concatenate)으로써 얻어진다(블록 15).

특징 추출에 대한 또다른 접근은 그레이-레벨 얼굴 이미지의 2차원 푸리에 변환이고, 이는 푸리에 특징 세트를 생성한다.

도 5는 그레이-레벨 얼굴 이미지의 푸리에 스펙트럼을 나타낸다. 푸리에 스펙트럼이 마름모 같은 영역에서, (연속적인 성분을 나타내는, 이미지의 중심) 원점 주변에 집중되어 있다는 것을 볼 수 있다. 실제 얼굴 이미지의 푸리에 스펙트럼의 대칭성 때문에, 스펙트럼의 4 분면들 중 하나, 예를 들어, 위쪽 중 오른쪽 4분면을 고려하면 충분하다.

특징 벡터는 가장 중요한 주파수, 즉 낮은 주파수에 의해 형성된다. 본 출원인은 푸리에 스펙트럼의 가장 낮은 27 에서 30 개 주파수가 얼굴 이미지의 82%에서 90%까지의 에너지, 그러므로 가장 중요한 정보를 포함하는 것으로 실험적으로 결정하였다. 낮은 주파수들은 또한 식별 정보를 포함한다(이들은 또한 한 사용자에서 또하나의 다른 사용자로 최대로 변하는 주파수이다).

본 발명의 가능한 구현에서, 특징 벡터는 연속 성분의 연관(concatenation), 스펙트럼의 가장 낮은 27 개 주파수들의 계수의 실수부, 및 스펙트럼의 가장 낮은 27 개 주파수들의 계수의 실수부를 포함할 수 있고, 따라서 55 개의 실수의 특징 벡터를 형성한다. 도 6은 저주파 선택 기준을 묘사하는 다이어그램을 나타내며, u 및 v는 주파수 영역 좌표이다. 실제로는, 가장 낮은 좌표 (u,v)에 대응하는 27 개에 달하는 실수 계수 및 27 개에 달하는 허수 계수가 선택된다(쌍 (0,1)은 (1,1)보다 낮다).

대안의 설정이 가능하지만, 그러나 본 출원인에 의해 수행된 더 많은 테스트는 낮은 사분면의 크기를 더욱 증가하는 것이 유용한 정보의 양을 두드러지게 증가하지 않는 반면, 분류자의 식별 성능이 감소함을 증명하였다.

(A. Saradha, S. Annadurai, A Hybrid Feature Extraction Approach for Face Recognition Systems, ICGST International Conference on Graphics, Vision and Image Processing(본 특허 출원의 출원 날짜로 http://www.icgst.com/gvip/v5/P1150515002.pdf에서 다운로드가능), 2004에 설명되어 있는 Hu, momemts, Zernike moments 접근과 같은)다른 방법들이 특징 추출에 사용될 수 있지만 푸리에 기반 특징(푸리에-멜린 및 간단 푸리에)들은 작은 계산 복잡성으로 잘 수행한다.

특징 추출에 대한 또다른 접근은 그레이-레벨 얼굴 이미지로부터 추출된 LBP(local binary pattern) 히스토그램의 사용에 의해 표현되어 있다.

(T. Ojala,

, Multiresolution Gray - Scale and Rotation Invariant Texture Classification with Local Binary Patterns, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 24, no. 7, 2002 pp. 971-987에 설명된 바와 같이) 연산자

는 64 개의 가중된 윈도우(weighted window)로 사용된다. 이진 연산자는 반경 2의 원 상에 위치된 8 개의 샘플링 점의 원형의 이웃으로부터 계산된 일정한 패턴의 히스토그램을 사용하고, 윈도우 크기는 128 x 128 픽셀 얼굴 이미지로 작업하는 경우 16 x 16 픽셀이다). 윈도우는 얼굴 인식에 대한 이들의 중요성에 따라, 다르게 가중된다(예를 들어, 가장 높은 가중치가 할당되어 있는 눈을 포함하는 윈도우). T. Ahonen, A., Hadid, M. Pietika

inen , Face Recognition with Local Binary Patterns, ECCV 2004, LNCS3021, pp. 469-481, 2004와 같이, 특징 벡터(얼굴의 설명)는 이미지의 다양한 영역에 걸쳐 계산된 가능한 일정한 패턴의 히스토그램을 연관시킴으로써 얻어진다.

도 7은 얼굴 이미지의 다른 얼굴 영역으로 할당된 LBP 가중치를 나타낸다. 특히, 도 7은 다른 그레이 색조(tonality)에 의해 표현된 5 개의 다른 가중치에 할당되어 있는 64 개의 얼굴 영역을 나타내고, 여기서 흑색은 가장 적은 가중치를 표현하고 백색은 가장 높은 가중치를 나타낸다. 가장 높은 가중치들은 눈 및 입 영역에 할당되어 있음을 알 수 있다. 설명된 설정이 유일한 것이 아니며, 영역으로의 다른 분할이 원본 얼굴 이미지 크기에 따라 가능하다.

이 특정한 특징 추출 알고리즘은 약간 다른 OC-SVM 트레이닝을 요구한다. 사실, 각각의 영역은 특징 벡터의 구조에 기여한다. 그러므로, 64개의 얼굴 영역이 정의되면, 64 개의 특징 벡터가 얻어지고, OC-SVM이 각 영역에 대해 트레이닝된다. 인증하는 동안, 각 영역은 매칭 비율을 산출할 것이며, 이는 영역에 할당된 가중치에 의해 가중될 것이고, 마지막 스코어는 적절한 OC-SVM으로 계산된, 각각의 특징 벡터에 의해 얻어진 매칭 비율의 가중된 합일 것이다.

특징 추출에 대한 또다른 접근은 정규화된 명암(intensity) 이미지(그레이-레벨 특징)로부터 픽셀 명암 값을 직접 사용하는 것이다. 이미지는 쌍선형 보간법을 적용함으로써 고정된 크기로 축소 비율조정된다(예를 들어, 원본 얼굴 이미지 크기가 약 128 x 128인 경우 40 x 40 픽셀). 결과 이미지는 특징 벡터로 (샘플링된 이미지 매트릭스의 행을 연괌시킴으로써) 변형되고, 이는 연이어 OC-SVM 트레이닝(사용자 등록) 또는 검사(사용자 인증)에 사용된다.

도 3을 참고로 하여, OC-SVM 트레이닝 모듈(8)은 사용자의 기준 주형, 사용자의 클래스를 특징 짓는 서포트 벡터를 출력한다. 사용자의 클래스의 양의 표본만이 OC-SVM의 트레이닝에 사용된다. 이들 표본은 이전 특징 추출 모듈에 의해 만들어진 특징 벡터 또는 출력 트레이닝 세트이다.

OC-SVM 이면의 수학은 기본적으로 이전에 설명된 것과 유사하다(패러다임은 적절한 커널 함수의 사용을 통해 특징 공간에서의 문제의 표현 및 구조적 위험 최소화 원칙이다). 간단히, OC-SVM은 (목표 클래스를 나타내는) 양의 표본/관찰을 에워싸는 초구를 정의하는 함수 h를 계산하거나 또는 학습하는 반면, 모든 다른 관찰은 초구의 완전한 정의에 필요하지 않다.

그러므로, 설정될 필요가 있는 OC-SVM 변수들은 커널 함수, 상수 C의 값, 트레이닝 세트 크기, 및 서포트 벡터의 크기이다. OC-SVM의 출력은 매개변수 시그마의 값, 서포트 벡터의 수, 서포트 벡터 자체, 각각의 서포트 벡터의 가중치(또는, 라그랑지안 승수로서 또한 알려져 있는, 계수), 및 인증 단계 동안 사용되는 역치 거리에 있고, 이 역치 거리는 실제로 모든 양의 표본을 에워싸는 초구의 반경이다.

본 출원인은 RBF 커널 함수가 시그모이드 및 다항의 커널 함수 모두 보다 성능이 좋기 때문에 RBF 커널 함수의 사용이 특히 OC-SVM에 기반한 얼굴 인식에 유리하다는 것을 발견하였다. RBF 커널을 가진 OC-SVM은 주형 생성에 필요한 모든 정 보, 즉 서포트 벡터, 이들의 가중치, 및 역치를 자동으로 생성하는 가우스 방사형 기저 함수(radial basis function) 분류자를 나타낸다(C.Burges, A tutorial on Support Vector Machines for pattern recognition, in Data Mining and Knowledge Discovery, 2, pp. 121-167, Kluwer Academic Publishers, 1998을 참고할 수 있다):

여기서, xi 및 xj는 트레이닝 특징 세트로부터의 특징 벡터를 나타내고, s는 커널 함수의 변량(variance)이고,

이며, n은 트레이닝 세트의 크기이다.

또한, 본 출원인은 커널 함수의 변량 s의 값이 유리하게는 사용자의 클래스를 나타내는 트레이닝 벡터(또는 트레이닝 특징 세트) 사이의 다음과 같은 평균 유클리드 거리와 동일한 세트일 수 있음을 알았다:

다른 설정이 가우스 커널(gaussian kernel)로, 가능하지만, 잘못된 수락과 잘못된 거절 오류율 사이의 양호한 타협점을 나타내기 때문에, 이는 더 높은 인식 성능을 주는 구성이다.

상수 C의 값은 대신에 각각의 유형의 특징 벡터에 대해 실험적으로 결정되어 있고 인식과 오류율 사이의 타협점을 나타낸다. 실제로, C 및 s는 사용자의 클래스를 에워싸는 초구의 크기 및 형태를 정의한다. 더 낮은 s로, 사용자의 클래스를 설 명하는 영역은 표본들(바나나 모양의 영역이라 불림) 주위에서 더 빈틈이 없지만, 더 높은 s (

)를 가지는 동안, 잘못된 거절 비율이 증가하고, 영역이 구와 유사하고, 잘못된 수락 비율이 증가한다. 더욱 높은 C(C=1.0)로 더욱 많은 표본이 서포트 벡터가 된다. 보통은, C=1.0을 가지고 s를 조정하는 것이 충분하지만, 낮은 잘못된 수락 오류가 요구된다면, C는 트레이닝 세트에 따라 또한 조절되어야 한다(C<0.1).

테스트 동안, 본 출원인은 또한 실제 경우에, 본 발명의 OC-SVM은 매우 정밀/엄격하여(strict/severe)(사용자 클래스 설명은 구형으로 형성된 영역보다 더 ㅊ촘촘하다), 그러므로 잘못된 거절을 피하도록, 사용자의 얼굴 이미지에 대한 작은 변화(자세, 조명)를 수용하기 위해 사용자 기초 상에 초구의 반경 R을 조절하도록 존재할 필요가 있음을 알았다.

이 목적을 위하여, 새로운 사용자의 얼굴 이미지를 포함하는 새로운 사용자 트레이닝 세트가 제공되고, 이하 수락(acceptance) 역치 thr로 언급되는, 반경에 대한 새로운 값은 다음의 공식에 따라 계산되고, 따라서 계산된 OC-SVM의 고객 테스트를 실제로 수행한다:

여기서, d_avg는 사용자 특징 벡터 및 사용자에 대해 계산된 초구의 경계 사이의 거리의 평균값이고, d_std는 이들 거리의 표준 편차이고, R은 사용자의 초구의 반경이다.

그러므로, OC-SVM을 가지고, 클라이언트 테스트는 역치 값을 찾아내는데 충분하다. 임포스터 테스트는 또한 역치 설정의 정확도의 확인으로서만 수행된다. 그러므로, 실제 이행에서, 수락 역치 최적화는 등록 기간 동안에 수행될 수 있다. 모든 임포스터에 대해 OC-SVM이 대략 동일한 스코어를 나타내기 때문에, 임포스터 테스트에 대한 얼굴 이미지는 성별로 고정된다. 이 조정 프로세스는 자동화된 프로세스이고 인증 시스템의 작업 점(즉, FAR과 FRR 사이의 타협점(tradeoff))을 설정하는데 도움을 준다. 이 절차는 또한 사용자의 기준 주형 및 이 주형을 사용하는 분류자의 식별 성능의 질을 결정하는데 도움을 준다. 피드백이 사용자에 제공되고 때때로, 인식 스코어가 불만족하다면, 등록 절차가 반복된다.

LBP 특징 세트에 대해, 트레이닝 절차는 약간 다르다: 더욱 많은 OC-SVM이 사용자 마다 트레이닝되고, 각각은 이미지의 단일 영역에 대응한다. 실제 트레이닝 절차는 위에서 설명된 절차와 유사하지만, 더욱 많은 주형이 동일하게 가중된 영역들의 세트에 대한 하나의 주형으로, 생성된다. 이들 주형은 대응하는 가중치와 함께 저장되고, 이들은 사용자의 전체적인 기준 주형을 나타낸다.

마지막으로, 도 8은 몇 개의 모듈을 포함하는, 확인 하위-시스템의 블록도를 나타내고, 이들 중 몇 개는 등록 하위-시스템과 공통된다.

특히, 전체를 20으로 나타낸, 확인 하위-시스템은 다음을 포함한다:

다음을 포함하는 이미지 처리 모듈(3):

- 얼굴 탐지 및 추출 모듈(4),

- 이미지 선택 모듈(5),

- 이미지 비율조절 및 정규화 모듈(6),

- 특징 추출 모듈(7);

사용자 이미지로부터 추출한 특징 벡터, 사용자의 기준 주형, 및 트레이닝된 OC-SVM을 수신하고, 각각의 특징 벡터에 대한 스코어를 계산하는 OC-SVM 기반 확인 모듈(21); 및

계산된 스코어를 수신하고 인증 결정을 출력하는 스코어 융합(score fusion) 모듈(22).

특히, 위에서 상세하게 설명되어 있는 적절한 특징 벡터 추출 단계 후, 사용자에 대해 트레이닝된 OC-SVM에 기초한 분류 절차는 테스트 세트에서의 테스트 이미지로부터 추출된 각각의 특징 벡터에 적용되고, 그리고, 결국에는, 인증 결정은 결정 융합 계획(fusion scheme)을 이행함으로써 취해진다. 가장 간단한 경우에, 융합 규칙은 다수의 투표(majority voting)이다.

더욱 자세하게는, 확인은 등록 동안 얻어진 초구의 중심 a에 관한 테스트 세트에서의 각 특징 벡터의 거리를 계산하고, 반경 R에 의해 이 거리를 나누고, 사용자의 수락 역치 thr와 상기 값을 비교하는 것으로 이루어져 있다. 특징 벡터가 다음과 같이, 거리가 역치보다 낮다면 사용자를 표현함에 따라 수락된다:

여기서 m은 트레이닝 세트의 크기이다.

간단한 다수의 투표 계획에서, 양의 분류자의 주파수가 측정되고 사용자는 이 주파수가 0.5 보다 크다면 인증되었다고 선언되고, 그렇지 않다면 임포스터로 선언된다. 다른 연합 규칙이 필요하다면 이행될 수 있다.

LBP 특징 세트에 관해, 사용자의 얼굴의 각 영역은 거리를 획득하며, 이는 영역의 SVM 수락 역치에 비하여 일치된다. 정확한 응답의 비율은 각 SVM에 의해 표시된다. 마지막 인증 결정이 이들 비율에 대해 가중된 합을 적용함으로써 얻어지고, 영역의 가중치는 영역들에 의해 얻어진 비율을 곱한다(눈 영역 및 입 영역들에 대부분의 가중치가 할당된다).

본 발명의 이점은 앞선 내용부터 명백해 진다. 특히, 하나의 주형만이 사용자 인증에 사용되기 때문에, 등록뿐만 아니라, 확인 절차는 OC-SVM을 사용함으로써 상당히 간단하게 된다. 따라서, 절차는 더욱 빨라지고 지속 기간은 사용자의 데이터베이스의 크기에 좌우되지 않는다. 인증 결과의 증가된 신뢰성에 대해, 입력 비디오 시퀀스에서 선택된 사용자의 얼굴의 적어도 50 개의 이미지(그리고 따라서 50 개의 특징 벡터)가 사용될 수 있으며, 이는 또한 트레이닝 세트의 크기이다. 테스트 비디오 산출(yield) 유사 성능의 모든 이미지를 사용하지만, 인증 절차는 더 느리게 된다.

결론으로, 사용자의 클래스(또는 목표 글래스) 표현만이 등록에 필요하기 때문에, 본 발명은 통상적인 SVM-기반 접근보다 자원을 상당히 덜 소비한다. 결과적으로, 임베디드 시스템(embedded system)(예를 들어, 휴대용 디바이스(a handheld device), 셀룰러 폰, 스마트 폰, 등) 같은, 제한된 계산 전력을 가진 시스템상에서 더 빠르고 매우 이식가능하다(portable). 게다가, 본 발명은 모듈러 접근으로 설계되어 있고, 다수의 공통 모듈(생체 샘플 획득 모듈,이미지 처리 모듈, 등록 또는 트레이닝 모듈, 확인 모듈)이 이행된다. 해결 방법의 모듈 방식은 계산 태스크, 클라이언트/서버 아키텍쳐에 대한 기본 특징, 계산 태스크의 고도의 분배를 허용한다.

본 발명의 명세서 내에 포함되어 있음.

Claims

서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별 방법으로서,

복수의 사용자의 얼굴 이미지를 획득하는 단계; 및

사용자의 얼굴 이미지에 기초하여 서포트 벡터 머신을 트레이닝하는 단계를 포함하는, 사용자의 기준 주형을 생성하는 단계; 및

사용자의 기준 주형에 기초하여 사용자를 식별하는 단계를 포함하고,

상기 서포트 벡터 머신은 사용자의 얼굴 이미지 만에 기초하여 트레이닝된 일-클래스 서포트 벡터 머신임을 특징으로 하는 자동 생체 식별 방법.
제 1 항에 있어서,

상기 일-클래스 서포트 벡터 머신을 트레이닝하는 단계는:

사용자 각각의 얼굴 이미지로부터 특징 벡터를 추출하는 단계; 및

상기 추출된 특징 벡터에 기초하여 일-클래스 서포트 벡터 머신을 트레이닝하는 단계를 포함하는 자동 생체 식별 방법.
제 2 항에 있어서,

상기 사용자 각각의 얼굴 이미지로부터 특징 벡터를 추출하는 단계는:

개별 스펙트럼을 생성하기 위해 사용자 각각의 얼굴 이미지의 주파수 영역에서 변환을 계산하는 단계; 및

상기 개별 스펙트럼의 주파수의 계수에 기초하여 사용자 각각의 얼굴 이미지에 대한 특징 벡터를 형성하는 단계를 포함하는 자동 생체 식별 방법.
제 3 항에 있어서,

상기 변환은 푸리에-기반 변환인 자동 생체 식별 방법.
제 4 항에 있어서,

상기 특징 벡터의 각각은 개별 스펙트럼의 중요한 주파수의 계수를 포함하는 자동 생체 식별 방법.
제 4 항 또는 제 5 항에 있어서,

상기 변환은 푸리에-멜린 변환인 자동 생체 식별 방법.
제 4 항 또는 제 5 항에 있어서,

상기 변환은 푸리에 변환인 자동 생체 식별 방법.
제 7 항에 있어서,

상기 특징 벡터의 각각은 개별 스펙트럼의 낮은 주파수의 계수를 포함하는 자동 생체 식별 방법.
제 8 항에 있어서,

상기 특징 벡터의 각각은 스펙트럼의 가장 낮은 27에서 30 개의 주파수의 계수를 포함하는 자동 생체 식별 방법.
제 7 항 또는 제 8 항에 있어서,

상기 특징 벡터의 각각은 연속 성분의 계수, 가장 낮은 27 개의 주파수의 계수의 실수부, 및 개별 스펙트럼의 가장 낮은 27 개의 주파수의 계수의 허수부를 포함하는 자동 생체 식별 방법.
제 2 항에 있어서,

상기 사용자 각각의 얼굴 이미지로부터 특징 벡터를 추출하는 단계는:

복수의 영역으로 사용자 각각의 얼굴 이미지를 분할하는 단계; 및

상기 사용자의 얼굴 이미지의 영역에서 적어도 몇 개의 영역으로부터 특징 벡터를 추출하는 단계를 포함하는 자동 생체 식별 방법.
제 11 항에 있어서,

상기 사용자의 얼굴 이미지의 영역에서 적어도 몇 개의 영역으로부터 특징 벡터를 추출하는 단계는:

영역 각각에 대한 복수의 국부 이진 패턴 히스토그램을 계산하는 단계; 및

상기 영역에 대해 계산된 국부 이진 패턴 히스토그램에 기초하여 각각의 영 역에 대한 특징 벡터를 형성하는 단계를 포함하는 자동 생체 식별 방법.
제 12 항에 있어서,

상기 영역 각각에 얼굴 부분의 중요성에 기초하여 특징 벡터에 가중치를 두는 단계를 더 포함하는 자동 생체 식별 방법.
제 12 항 또는 제 13 항에 있어서,

상기 사용자의 얼굴 이미지에서의 영역의 수에 동일한 복수의 일-클래스 서포트 벡터 머신을 트레이닝하는 단계를 더 포함하고, 상기 일-클래스 서포트 벡터 머신 각각은 사용자의 얼굴 이미지에서의 대응하는 영역으로부터 추출된 특징 벡터에 기초하여 트레이닝되는 자동 생체 식별 방법.
제 2 항에 있어서,

상기 사용자 각각의 얼굴 이미지로부터 특징 벡터를 추출하는 단계는:

상기 사용자의 얼굴 이미지에서의 픽셀 중 적어도 몇 개의 픽셀의 명암 값으로 특징 벡터를 형성하는 단계를 포함하는 자동 생체 식별 방법.
제 2 항 내지 제 15 항 중 어느 한 항에 있어서,

상기 일-클래스 서포트 벡터 머신은 특징 벡터들 사이의 평균 유클리드 거리와 실질적으로 동일하게 설정되어 있는 변량을 가진 커널 함수에 기초하는 자동 생 체 식별 방법.
제 16 항에 있어서,

상기 커널 함수는 반경 기저 함수(radial basis function:RBF)인 자동 생체 식별 방법.
제 2 항 내지 제 17 항 중 어느 한 항에 있어서,

상기 일-클래스 서포트 벡터 머신은 고차원 특징 공간으로 특징 벡터를 매핑하고 사용자의 얼굴 이미지로부터 추출된 특징 벡터의 대부분을 포함하는 초구를 발견함으로써 동작하고, 상기 초구는 사용자 식별에 대한 공칭 수락 역치를 정의하는 소정의 반경(R) 및 소정의 중심(a)를 가지고;

상기 방법은 사용자 식별 동안 잘못된 거절을 감소하기 위해 각각의 사용자에 기초한 초구의 반경(R)을 조정하는 단계를 더 포함하는 자동 생체 식별 방법.
제 18 항에 있어서,

상기 초구의 반경(R)을 조정하는 단계는:

각각의 사용자에 기초한 새로운 트레이닝 세트로부터 특징 벡터를 추출하는 단계;

상기 새로운 사용자 트레이닝 세트로부터 추출된 특징 벡터에서 사용자의 초구의 경계에까지의 거리의 평균값 및 대응하는 표준 편차를 계산하는 단계; 및

계산된 평균 거리 및 표준 편차 및 초구의 반경(R)에 기초하여 유효한 수락 역치(thr)를 계산하는 단계를 포함하는 자동 생체 식별 방법.
제 19 항에 있어서,

상기 평균 거리 및 표준 편차는 사용자 등록 단계 동안에 계산되는 자동 생체 식별 방법.
제 19 항 또는 제 20 항에 있어서,

상기 유효한 수락 역치(thr)는 다음의 공식을 따라 계산되고:

여기서 thr은 유효한 수락 역치이고, R은 초구의 반경이고, d_avg는 평균 거리이고, d_std는 표준 편차인 자동 생체 식별 방법.
제 18 항 내지 제 21 항 중 어느 한 항에 있어서,

사용자에 대해 계산된 잘못된 수락 비율(false acceptance rate:FAR)을 감소하기 위해 초구의 중심(a)을 조정하는 단계를 더 포함하는 자동 생체 식별 방법.
제 1 항 내지 제 22 항 중 어느 한 항에 있어서,

상기 사용자의 기준 주형에 기초하여 사용자를 식별하는 단계는:

복수의 사용자의 얼굴 이미지를 획득하는 단계;

상기 사용자의 얼굴 이미지로부터 특징 벡터를 추출하는 단계; 및

추출된 특징 벡터, 사용자의 기준 주형 및 사용자에 대해 트레이닝된 일-클래스 서포트 벡터 머신(OC-SVM)에 기초하여 사용자를 식별하는 단계를 포함하는 자동 생체 식별 방법.
제 23 항에 있어서,

상기 사용자를 식별하는 단계는:

상기 추출된 특징 벡터 및 사용자의 기준 주형을 사용자에 대해 트레이닝되고 각가의 특징 벡터와 초구의 중심 사이의 거리를 계산하는 일-클래스 서포트 벡터 머신(OC-SVM)으로 입력하는 단계; 및

상기 계산된 거리에 기초하여 사용자를 식별하는 단계를 포함하는 자동 생체 식별 방법.
제 24 항에 있어서,

상기 계산된 거리에 기초하여 사용자를 식별하는 단계는:

역치 수락과 각각의 계산된 거리를 비교하는 단계; 및

비교의 결과에 기초하여 사용자를 식별하는 단계를 포함하는 자동 생체 식별 방법.
제 25 항에 있어서,

상기 비교의 결과에 기초하여 사용자를 식별하는 단계는 결정 융합 계획을 이행하는 단계를 포함하는 자동 생체 식별 방법.
제 25 항 또는 제 26 항에 있어서,

특징 벡터와 초구 중심 사이의 거리가 수락 역치보다 낮은 경우 특징 벡터는 사용자를 표현하는 것으로 간주되는 자동 생체 식별 방법.
서포트 벡터 머신을 포함하고, 사용자의 기준 주형을 생성하는 모듈;

상기 사용자의 기준 주형에 기초하여 사용자를 식별하는 모듈;

상기 사용자의 기준 주형을 생성하는 모듈은:

복수의 사용자의 얼굴 이미지를 획득하는 모듈; 및

사용자의 얼굴 이미지에 기초하여 서포트 벡터 머신을 트레이닝하는 모듈을 포함하고, 상기 서포트 벡터 머신은 사용자의 얼굴 이미지만에 기초하여 트레이닝된 일-클래스 서포트 벡터 머신임을 특징으로 하는 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별 시스템.
제 1 항 내지 제 27 항 중 어느 한 항에 따른 방법을 이행하기 위해, 처리 시스템에서 로드되고 동작하는 경우 가능한 컴퓨터 프로그램 제품.