KR20080079798A - 얼굴 검출 및 인식을 위한 방법 - Google Patents

Abstract

본 발명은 얼굴 검출 및 얼굴 인식을 위한 방법에 관한 것으로서, 카메라를 통해 얼굴 영상을 획득하는 단계; 획득된 영상의 잡음을 제거하는 전 처리 단계; 다양한 크기의 얼굴을 검출하기 위해 상기 과정을 거친 영상을 축소 (down scaling)하는 단계; 축소된 영상에 MCT(Modified Census Transform)를 적용하는 단계; MCT를 통해 얼굴 후보영역을 검출 하는 단계; 검출된 후보영역을 집단화 (grouping)하는 단계; 상기 검출된 얼굴을 이용하여 주성분 분석 (PCA : Principal Component Analysis)과 선형 판별 분석 (LDA : Linear Discriminant Analysis) 알고리즘을 사용하여 얼굴을 인식하는 단계를 구비한다. 본 발명에 따르면, 조명변화에 강인하고, 얼굴 크기에 무관한 얼굴검출이 가능하다. 또 상기 검출된 얼굴을 사용하여 인식과정을 수행함으로써 얼굴인식의 정확도를 높일 수 있다.

얼굴 검출, 얼굴 인식, MCT (Modified Census Transform)

Description

얼굴 검출 및 인식을 위한 방법{Method of face detection and recognition}

도 1은 본 발명에 따른 얼굴 검출 및 인식 방법의 개략적인 절차를 설명하기 위한 순서도.

도 2는 본 발명에 따른 필터링 과정을 설명하기 위한 가우시안 필터의 실시예를 도시한 도면.

도 3은 본 발명에 따른 얼굴 축소과정의 실시 예를 설명하기 위한 도면.

도 4는 본 발명에 따른 얼굴의 지역적 구조 특징을 추출하는 MCT 과정을 설명하기 위한 도면.

도 5는 본 발명에 따른 MCT 과정에서 시용하는 비트 변환 순서를 설명하기 위한 도면.

도 6은 본 발명에 따른 미리 학습된 MCT 페널티 테이블의 실시 예를 나타내는 도면.

도 7은 본 발명에 따른 얼굴 후보 영역을 선택하는 과정의 실시 예를 설명한 순서도.

도 8은 본 발명에 따른 그룹화에 대한 설명을 위한 도면.

도 9는 본 발명에 따른 얼굴 인식 방법을 설명하기 위한 순서도.

도 10은 본 발명에 따른 도 9의 얼굴 인식 과정을 설명하기 위한 순서도.

도 11은 본 발명에 따른 얼굴 검출 및 인식방법을 설명하기 위한 순서도.

본 발명은 얼굴 검출 및 얼굴을 인식하는 방법에 관한 것으로서, 보다 상세하게는 카메라를 통해 얼굴 영상을 획득하고 상기 획득한 영상을 이용하여 전 처리 과정과 영상 축소 과정을 거친 후, MCT를 사용하여 조명 변화에 강한 얼굴의 지역적 구조 특징을 추출하여 얼굴을 검출하고, 검출된 얼굴을 이용하여 얼굴을 인식하는 방법에 관한 것이다.

개인 정보 보호나 사용자 인증 등을 위해 사용되는 생체 인식 기술에는 지문 인식, 홍채 인식, 정맥 인식 등이 있다. 이러한 생체 인식 기술 중에서도 얼굴 인식기술은 다른 생체 정보에 비해 사용자에 대해 강제성이 적으며, 비 접촉식으로 거부감이 덜하기 때문에 각광을 받고 있다.

광의의 얼굴 인식 과정은 크게 얼굴 검출과 협의의 얼굴 인식과정으로 분류할 수 있다. 이 중 얼굴 검출과정은 입력 영상으로부터 사람의 얼굴영역을 추출하는 단계로서, 일반적인 상황에서 획득되어지는 다양한 배경과 여러 사람의 얼굴이 함께 나타날 수 있는 영상에서 인식하고자 하는 특정 사람의 얼굴을 추출하기 위해 필요한 과정이다.

현재까지 연구되어진 얼굴 영역 검출 방법은 얼굴의 저수준 특징들을 사용하는 지식 (knowledge) 기반 방법, 특정 템플릿 형태에 기반을 둔 형판 (template) 기반 얼굴 검출 방법, 얼굴의 변하지 않는 구조적 특징을 사용하는 특징 (feature) 기반 방법, 그리고 얼굴의 통계적인 특징을 이용한 외형 (appearance) 기반 방법으로 분류할 수 있다.

첫 번째로, 지식 기반 (knowledge-based) 방법은 입력 영상으로부터 사람 얼굴의 명암 분포, 대칭성 등의 저수준 특징들을 추출하는 방법이다. 이 방법은 쉽고 빠르게 사용할 수 있지만, 조명에 의한 색변화가 있거나 배경이 단색이 아닐 경우 등의 주변 환경변화가 심한 환경에서 얼굴 검출이 취약하다는 한계가 있다.

두 번째로, 형판 기반 (template-based) 얼굴 검출 방법은 몇 가지 표준적인 템플릿을 만든 후, 그것을 이용하여 입력받은 영상과 비교를 하여 얼굴을 검출하는 방법이다. 이 방법은 다양한 얼굴 모양의 변화에 대해 일반적인 템플릿 생성이 어렵다는 단점이 있다.

세 번째로, 특징 기반 (feature-based) 방법은 눈, 코, 입 등의 사람의 변하지 않은 구조적인 특징을 사용하는 방법으로 처리 시간이 빠르고 구조가 간단하며 쉽게 얼굴을 인식 할 수 있다는 장점이 있으나 얼굴의 기울어진 정도에 따라 얼굴의 특징 성분들을 검출하지 못할 수 있고, 조명과 자세 등의 잡음에 민감한 단점이 있다.

마지막으로, 외형 기반 (appearance-based) 접근법은 학습 영상 집합에 의해 학습된 모델을 이용해서 얼굴을 검출하는 방법으로 신경망 기반 (Neural network) 방법, 주성분 (Principal Component Analysis) 분석법, 선형 판별 방법 (Linear Discriminant Analysis) 등이 대표적인 예이다. 이 방법은 학습된 얼굴에 대해서는 다른 방법에 비해 효과적인 검출이 가능하지만 계산양이 많고 다양한 얼굴 변화에 대한 검출이 어렵다는 단점이 있다.

따라서 보다 조명 변화에 강인하면서도 신속하고 정밀한 얼굴 인식을 위한 기술 구현이 필요한 실정이다.

본 발명에서는 특징기반 접근법을 기반으로 얼굴 검출을 하여 적은 계산 량으로 크기에 무관하고, 조명에 강한 얼굴검출 및 외형기반 접근법을 통해 얼굴 인식을 수행함으로서 얼굴을 정확히 인식할 수 있도록 하는 얼굴 검출 및 인식 방법을 제공하는데 그 목적이 있다.

즉, 얼굴의 지역적 구조 특징 (Local structure feature)을 이용한 MCT를 사용함으로서 조명에 강한 얼굴 검출을 하는 방법을 제공하는데 또 다른 목적이 있다.

본 발명의 추가 목적은 입력영상을 축소 (down sampling)하면서 얼굴 검출을 함으로서 크기에 무관하게 얼굴 검출을 할 수 있는 편의성을 제공하는 것이다.

본 발명의 추가 목적은 상기 검출된 얼굴을 이용하여 PCA와 LDA를 통해 정확한 얼굴 인식을 할 수 있도록 한 얼굴 인식 방법을 제공하는 것이다.

상기 목적을 달성하기 위해, 본 발명에 따른 얼굴 검출 및 인식 방법은 얼굴 을 획득하고, 획득된 영상의 잡음을 제거하기 위해 필터링(Filtering) 과정을 거치는 1단계; 상기 필터링 과정을 거친 영상을 축소시키는 2단계; 축소된 영상에 MCT를 적용하여 얼굴의 구조적 지역 특징을 추출하는 3단계; 상기 추출된 특징을 통해 일정 임계값에 의해 얼굴 후보영역을 선택하는 4단계; 얼굴 후보 영역들 중 실제 얼굴에 적합한 대표 영역을 선택하는 5단계; 그리고 상기 선택된 대표 영역을 이용하여 상기 1 내지 5 단계를 반복 수행함으로서 최종적으로 얼굴을 검출하는 6 단계: 상기 검출된 얼굴을 이용하여 최종적으로 얼굴을 인식하는 7단계를 포함하는 것을 특징으로 한다.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 얼굴 검출 방법 및 얼굴 인식방법에 대한 구체적인 실시 예를 설명하도록 한다.

도 1은 본 발명에 따른 얼굴 검출 및 인식 방법의 개략적인 절차를 설명하기 위한 순서도이다.

도 1을 참조하여, 본 발명에 따른 얼굴 검출 및 인식 방법의 개략적인 절차를 설명하면 다음과 같다.

먼저, 공지된 카메라 등과 같은 영상 획득 장치를 통해 영상을 획득(100)하고 획득된 영상은 필터에 의하여 필터링(200), 즉 전 처리 과정을 거친다. 상기 전 처리 과정을 거친 영상은 얼굴 크기에 무관하게 얼굴 검출을 하기 위해 다시 축소 과정(300)을 거친다. 상기 축소된 영상에서 MCT 과정(400)를 통해 얼굴의 구조적 지역 특징을 추출하고, 그 특징을 이용하여 얼굴 후보 영역을 찾는다(500). 그 후 그룹화(600)를 통해 얼굴 후보 영역 중 가장 얼굴에 적합한 대표 영역을 선택하는 과정을 거치게 된다. 상기 선택된 대표영역에 대해서 다시 상기 영상 축소(310)와 MCT 과정(410), 후보영역 선택(검출)(510) 그리고 그룹화(610)의 과정들을 수행함으로서 보다 정확한 얼굴 영역을 확정(최종적인 검출)(700) 짓는다. 이렇게 검출된 얼굴 영역을 사용하여 얼굴 인식(800)을 수행한다.

도 2는 본 발명에 따른 필터링 과정(200)을 위해 사용된 가우시안 필터에 의한 실시예를 도시한 도면이다.

영상 획득 장치로부터 입력받은 영상은 장치의 특성과 성능에 따라 잡음이 발생하게 된다. 이러한 잡음은 영상의 지역적 구조 특징을 손상시킬 수 있다.

본 발명에 따라 얼굴 검출을 위해 사용되는 후술할 MCT(400)의 경우 얼굴의 지역적 구조 특징을 이용하기 때문에 상기 잡음에 의해 지역적 구조 특징이 손상되어 얼굴 검출이 부정확해 질 수 있다. 따라서 상기 잡음을 제거는 방법으로 기존의 다양한 방법이 사용될 수 있지만 본 발명에서는 영상 평활화(smoothing)를 수행하였다.

평활화의 목적은 윤곽선과 주위 픽셀들 간의 관계를 유지하면서 잡음을 제거하는 것이다. 이러한 평활화는 평균 필터 (mean filter), 중간 필터 (median filter), 가우시안 필터 (gaussian filter) 등 다양한 필터를 이용하여 수행할 수 있다.

도 2를 참조하면, 본 발명에서 평활화를 수행하기 위해 가우시안 필터를 사용한 예를 도시하고 있음을 알 수 있다. 이는 블록 내의 픽셀 값에 각 위치에 따른 가중치를 곱하여 평균을 낸 후, 이 값을 블록의 중심 위치의 픽셀 값과 대체함으로서 수행되어진다. 이를 통해 영상의 지역적 구조 특징은 그대로 보존하면서 영상의 잡음을 보정하게 된다.

상기 평활화는 영상의 잡음을 제거하기 위한 본 발명의 실시 예에 따른 방법이며 잡음을 제거하기 위한 다른 어떠한 알고리즘을 사용하여도 무방하다. 또한 평활화를 수행하기 위해 사용한 가우시안 필터도 본 발명의 실시 예에 따른 방법이며 다른 어떠한 평활화 알고리즘을 사용하여 획득한 영상에 적용할 수 있음은 물론이다.

도 3은 본 발명에 따른 얼굴 축소과정(300)의 실시 예를 설명하기 위한 도면이다.

도 3을 참조하면, 본 발명에서는 다양한 크기의 얼굴을 영상에서 검출하기 위해 상기 평활화된 영상을 축소(down sampling)해 나간다.

도 3에 따른 본 발명에 따른 실시 예로 영상 축소의 첫 번째 단계에서는 상기 평활화된 영상 대비 약 40%의 크기를 갖도록 영상을 축소한다. 두 번째 단계부터는 전 단계 영상 대비 약 90%의 크기를 갖도록 영상을 축소해 나간다.

영상의 축소는 축소된 영상의 크기가 소정의 윈도우의 크기보다 작아지는 경우 멈추게 된다. 각 단계의 축소된 영상은 20*20 픽셀 크기의 윈도우가 적용되어 MCT 과정(400)을 거친 후 얼굴 후보 영역을 찾는데 사용된다. 상기 영상 축소 비율은 본 발명에 따른 실시 예에 따른 방법으로 다른 비율이 적용가능하며 제한되어진 것이 아니다.

도 4는 본 발명에 따른 얼굴의 지역적 구조 특징을 추출하는 MCT 과정(400)을 설명하기 위한 도면이다.

도 4를 참조하면, 본 발명에서는 상기 축소된 영상에서 얼굴 후보영역을 선택하기 위하여 MCT(Modified Census Transform) 과정(400)을 이용한다.

MCT 과정(400)은 다음과 같이 나타낼 수 있다.

여기서 N'은 픽셀 x를 중심으로 한 3*3 크기 블록 내의 픽셀들을 나타낸다.

은 블록 내 9개 픽셀 값들의 평균값이고,

는 픽셀 y 즉, 3*3 블록 내의 픽셀들의 밝기 값을 타나낸다. 또

은 연결 연산자를 나타내고, 함수

는

이면 1, 그 외에는 0을 결과로 하는 함수이다. 즉, 상기 축소된 영상의 각 픽셀을 중심으로 3*3 크기의 블록 단위로 MCT 과정(400)을 적용하여 블록의 중심 픽셀 값을 변환하는 것이다.

다시 말해 MCT 과정(400)은 3*3 크기의 블록 내 픽셀 값들의 평균을 구하고, 그 평균과 블록 내 9개의 픽셀들의 밝기 값을 비교하여 각 픽셀의 값이 평균값보다 크면 그 위치의 값을 1, 작으면 0으로 변환한다. 상기 MCT 과정(400)으로 변환된 블록 내의 값들은 다시 도 5에서 나타낸 순서에 의해 비트열로 변환된다. 이러한 MCT 과정(400)은 3*3 블록단위로 한 픽셀씩 움직이며 수행된다.

도 5는 본 발명에 따른 MCT 과정에서 사용하는 비트 변환 순서를 설명하기 위한 도면이다.

도 5를 참조하면, 상기 변환된 9개의 값들은 도 5와 같은 순서(도 5의 행렬에서 표시된 1-9의 수자는 각각의 위치를 나타내는 일련번호라고 여기면 됨. 즉 1번째 .... 9번째의 픽셀에 대한 위치 내지 좌표라는 의미)에 의해 9번째, 8번째 ,..., 1번째의 비트열로 변환된다.

예를 들어, 상기 MCT 과정에서 수행된 계산 절차에 의하여 9번째 픽셀만 '1'값을 갖고, 나머지 8개의 픽셀은 '0'값을 갖는다고 가정할 때 이 9개의 블록에 대한 비트열 값은 '100000000'으로 변환/생성이 되는 것이다.

이렇게 변환된 총 9 비트 값은 3*3 블록 내의 중심 픽셀을 나타내는 비트 값(비트열 값)(즉, 도 5에서는 '5'번째 픽셀 기준)으로 인식 내지 처리를 한다.

도 6은 본 발명에 따른 미리 학습된 MCT 페널티 테이블의 실시 예를 나타내는 도면이다.

상기 축소 과정(300)과 MCT 과정(400)을 거쳐 나온 지역적 구조 특징 정보에 20*20 픽셀 크기의 윈도우를 사용하여 얼굴 후보 영역을 검사한다. 이것은 미리 학습 (training)된 페널티 테이블(penalty table)을 이용하여 수행된다. 미리 학습된 페널티 테이블은 상기 MCT 과정(400)에 의해 생성되는 한 픽셀이 가질 수 있는 모든 비트열의 조합 즉, 2⁹ = 512개의 비트열에 대한 가중치 값을 미리 준비한 학습 영상들을 사용하여 학습을 통해 생성하고, 이러한 생성된 데이터를 테이블로 만든 것이다.

본 발명에 따른 실시 예로 얼굴 후보 영역 선택(검출) 과정(500)은 20*20 픽셀 크기의 윈도우 내의 픽셀들에 대하여 총 3단계의 검사를 수행함으로서 이루어진다.

첫 번째 단계는 20*20 윈도우 내의 일정한 개수의 픽셀에 대한 검사; 두 번째 단계는 상기 첫 번째 단계에서 얼굴 후보 영역으로 선택된 영상에 대해 다시 일정한 개수의 픽셀에 대한 검사; 세 번째 단계는 상기 두 번째 단계에서 얼굴 후보 영역으로 선택된 영상에서 일정한 개수의 픽셀에 대한 검사를 수행한다. 각 단계의 검사는 다음과 같은 방법으로 수행된다.

도 6을 참조하면, 본 발명에 따른 실시 예로 각 단계의 검사를 위해 20*20픽셀 크기의 윈도우 내의 각 단계별 특정 점들의 위치(x, y)가 갖고 있는 MCT 과정에 의한 비트열 값에 일치하는 페널티 값을 페널티 테이블에서 선택하고, 각 단계에서 조사하는 픽셀들의 페널티 값들을 누적시킨다. 본 발명에 따른 실시 예로 각 단계 별로 각각 20개, 40개, 80개의 픽셀에 대한 검사를 수행함으로서 총 140개의 픽셀 위치에 대한 학습된 페널티 값들이 존재한다.

도 7은 본 발명에 따른 얼굴 후보 영역에 대한 검출 과정(500)의 실시 예를 설명한 흐름도이다.

도 7을 참조하면, 본 발명에 따른 실시 예로 얼굴 후보 영역을 선택하는 첫 번째 단계에서는 20*20 픽셀 크기의 윈도우 내의 점들 중 상기 미리 학습된 페널티 테이블의 최상위 20개의 좌표와 일치하는 픽셀의 변환 비트열에 해당하는 가중치 값을 누적시킨다. 누적된 가중치 값과 첫 번째 단계를 위한 임계값 (threshold)을 비교하여 누적된 가중치의 값이 임계값보다 작게 되면 얼굴 후보 영역으로 가정하고, 두 번째 단계로 넘어간다.

두 번째 단계에서는 페널티 테이블에서 최상위 20개 이후의 40개의 점의 좌표 값과 일치하는 픽셀들에 대한 페널티 값을 검사하고, 값을 가중시킨 후 두 번째 단계를 위한 임계값과 비교한다. 이때 40개의 점에 대한 페널티 가중치 값이 임계값보다 작으면 세 번째 단계를 수행하고, 세 번째 단계에서는 80개의 픽셀에 대한 페널티 값을 검사하여 최종적으로 얼굴 후보 영역을 선택한다.

상기 3단계를 모두 통과하면 해당 영역을 얼굴 후보 영역 등록하고, 원본 영상의 크기에 맞게 영상을 복원시킨다.

도 8은 본 발명에 따른 그룹화(600)에 대한 설명을 위한 도면이다.

상기 단계에서 선택된 얼굴 후보들 중에는 같은 얼굴에 대해 다양한 크기의 후보 영역으로 찾아진 영상들이 존재한다. 따라서 상기 선택된 중복 검출 영역 중 가장 얼굴에 적합하다고 판단되는 후보를 그룹화(600)를 통해 그룹 대표로 선택한다.

도 8을 참조하면, 그룹화(600)는 상기 선택된 얼굴 후보 영역들 사이의 중심 픽셀 좌표 사이의 거리와 후보 영역의 가로 크기를 비교하여 수행된다. 상기 얼굴 후보 검출 단계(500)에서 얼굴 후보 영역으로 검출되어지면 먼저 선택된 후보 영역들과의 중심 픽셀 간 좌표의 거리를 계산하고, 이 값이 어느 임계값보다 작고 또 후보 영역들의 가로 크기가 유사하다면 같은 그룹으로 선택한다.

상기 영상을 축소할 때마다 얼굴 후보 영역이 선택되어 지고, 그룹화(600)는 얼굴 후보 영역이 선출되어지는 경우마다 수행되므로 상기 방법에 의해 그룹화를 수행하는 경우 얼굴 후보 검출 순서에 의해 같은 얼굴을 나타내는 후보 영역임에도 다른 그룹으로 속하는 경우가 나타난다. 따라서 이런 경우는 참조그룹으로 나눈다. 후보 영상을 그룹으로 분류한 후 그룹 내에서 대표가 되는 얼굴 후보 영역을 선정한다. 대표 선정은 각 그룹의 얼굴 후보 영역들의 누적된 페널티 값을 비교하여 가장 작은 페널티 값을 가지는 얼굴 후보 영역이 그 그룹을 대표하는 영역으로 선택되어 진다.

도 9는 본 발명에 따른 얼굴 인식 방법을 설명하기 위한 도면이다.

도 9를 참조하면, 얼굴 인식은 학습 영상 (training image)을 사용하여 PCA 와 LDA를 통해 고유 얼굴을 추출하는 1단계(810); 상기 추출된 고유 얼굴을 이용하여 갤러리 영상 (gallery image)들의 특징을 구하고 이를 데이터베이스에 저장하는 2단계(820); 마지막으로 상기 추출된 고유 얼굴과 데이터베이스를 이용하여 얼굴인식을 수행하는 3단계(830)로 분류할 수 있다.

PCA(주성분 분석: Principal Component Analysis)은 고차원의 신호를 낮은 차원의 신호로 줄여 신호를 다루기 쉽게 해주는 통계적 방법으로, PCA를 통해 데이터들이 가지고 있는 주성분 즉 고유 벡터 혹은 고유 얼굴을 구하고, 이러한 주성분을 이용하여 데이터를 다시 표현함으로서 데이터를 낮은 차원으로 줄인다.

LDA(선형 판별 분석: Linear Discriminant Analysis)은 PCA와 마찬가지로 데이터의 차원을 줄여주는 통계적 방법이지만 PCA가 데이터들이 가지고 있는 주성분을 구하는 반면 LDA는 데이터들의 집합들 사이를 가장 잘 구분하는 성분을 추출하는 것을 특징으로 한다.

이렇게 추출된 성분을 통해 데이터를 다시 표현함으로서 데이터들의 집합들 사이의 구분을 더 명확하게 할 수 있다. 따라서 PCA보다 LDA가 얼굴인식에 더 적합하다. 본 발명에서는 이러한 PCA와 LDA를 혼합한 학습과정(810)을 통하여 얼굴인식을 위한 고유 얼굴을 추출하였다.

상기 추출한 고유 얼굴에 인식하고자 하는 갤러리 영상을 프로젝션 시킴으로서 갤러리 영상의 특징을 구한다. 상기 특징 값은 인식을 위한 데이터베이스(831)로 저장/등록이 된다(820).

도 10은 본 발명에 따른 얼굴 인식 과정(830)을 설명하기 위한 흐름도이다.

도 10을 참조하면, 얼굴 인식 과정(830)은 상기 고유 얼굴과 데이터베이스에 저장된 갤러리 영상들의 특징 값을 이용하여 수행된다.

인식하고자 하는 얼굴 영상은 상술한 본 발명에 따른 얼굴 검출 방법을 통해 검출되어진다. 검출된 영상을 이용하여 상기 고유 얼굴에 프로젝션 시킨 후 특징 값을 구한다(832).

상기 단계(832)를 통해 얻어진 특징 값과 데이터베이스(831)에 저장된 갤러리 영상의 특징 값들 사이의 거리를 계산(833)하여 최소거리를 갖는 영상을 선택(834)하고, 인식 결과로 출력한다.

이 때 갤러리에 등록되지 않은 영상이 인식을 위한 입력 영상으로 검출된 경우를 위해 최소거리를 갖는 영상을 선택한 후 그 최소값이 어느 임계값 이상인지를 조사(835)하여 임계값 이하인 경우 인식결과를 출력하고, 임계값 이상인 경우 갤러리에 등록되지 않은 영상으로 판단한다.

이하에서는 본 발명에 따른 얼굴 검출 및 인식의 전체 과정을 설명하도록 한다.

도 11은 본 발명에 따른 얼굴 검출 및 인식방법을 설명하기 위한 흐름도이다.

도 11을 참조하면, 본 발명에 따른 얼굴 검출 및 인식을 위해 영상을 획득 내지 입력받고(100), 입력받은 영상에 가우시안 필터를 사용하여 잡음을 제거하는 필터링 단계를 거친다(200). 본 발명에 따라 다양한 크기의 얼굴을 검출하기 위해 필터링 된 영상을 사용하여 영상 축소를 수행한다(300).

축소된 영상은 MCT 과정(400)을 통하여 얼굴의 지역적 구조 특징을 나타내는 비트열 값로 변환되며 변환된 영상을 이용하여 얼굴 후보 영역을 검출한다.(500)

얼굴 후보 영역 검출 과정(500)은 미리 학습된 페널티 테이블과 20

20 크기의 윈도우를 이용하여 상기 변환된 비트열 값에 해당하는 페널티 값들의 누적 값과 일정 임계값을 비교함으로서 수행된다(10).

추출된 얼굴 후보 영역은 원본영상의 크기에 맞게 복원한다. 얼굴 후보 영역을 검출한 후 본 발명에 따라 축소된 영상의 크기와 윈도우의 크기를 비교하여 축소된 영상의 크기가 윈도우의 크기보다 큰 경우 다시 영상을 일정 비율로 축소하고, MCT 과정을 수행한 후 얼굴후보영역을 검출하는 단계를 반복하며 얼굴 후보 영역을 추출한다.

축소된 영상의 크기가 윈도우의 크기보다 작은 경우 이전까지 추출된 얼굴 후보 영역을 통해 그룹화(600)를 수행한다.

그룹화를 통해 결정된 대표 후보 얼굴들은 정확한 얼굴을 위해 다시 세밀한 검증(20)을 수행한다. 상기 그룹화 단계(600)를 통해 나온 대표 후보 얼굴의 크기보다 좀 더 큰 영역을 선택하여 다시 고정된 크기로 축소(301) 시켜가면서 얼굴 영역인지 아닌지를 검사한다. 본 발명에 따라 세밀한 검증을 위해 한 픽셀 단위로 영상을 축소하면서 얼굴 영역을 검사하였다.

상기 과정을 거쳐 나온 얼굴 후보 영역은 다시 그룹화 과정(601)을 수행한 다. 그룹화 과정은 그룹에 속해있는 후보 영역들의 개수가 임계값 미만일 경우 그 그룹을 배경으로 판단하고 얼굴 후보 영역에서 제외시킨다. 상기 그룹화(601)과정을 통해 나온 결과는 얼굴 검출 결과로 출력되는 방식으로 얼굴 검출 과정(700)을 거친다.

얼굴 검출과정을 통해 나온 얼굴영상을 사용하여 최종적으로 얼굴 인식(800)과정을 수행함으로서 얼굴인식 결과를 얻는다.

지금까지 설명한 바와 같이, 본 발명에 따른 얼굴 검출 및 인식 방법의 구성 및 작용을 상기 설명 및 도면에 표현하였지만 이는 예를 들어 설명한 것에 불과하여 본 발명의 사상이 상기 설명 및 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다.

이상에서 설명한 바와 같이 본 발명에 따르면, MCT를 사용하여 조명 변화에 강한 얼굴의 지역적 구조 특징을 추출함으로써 얼굴 검출을 효과적으로 할 수 있고, 단계적으로 영상을 축소하면서 얼굴 검출을 수행함으로서 크기에 무관한 얼굴 검출이 가능하다는 장점을 가진다.

또한, 검출된 얼굴을 인식과정에 사용함으로써 얼굴 인식의 정확성을 높이는 효과가 있다.

Claims (8)

1. 얼굴 검출 및 얼굴 인식을 위한 방법으로서,

   얼굴을 획득하고, 획득된 영상의 잡음을 제거하기 위해 필터링(Filtering) 과정을 거치는 1단계;

   상기 필터링 과정을 거친 영상을 축소하는 2단계;

   축소된 영상에 MCT를 적용하여 얼굴의 구조적 지역 특징을 추출하는 3단계;

   상기 추출된 얼굴의 지역 특징을 통해 일정 임계값과의 비교를 통해 얼굴 후보영역을 선택하는 4단계;

   얼굴 후보 영역들 중 얼굴에 적합한 대표 영역을 선택하는 5단계;

   상기 선택된 대표 영역을 이용하여 상기 1 내지 5 단계를 반복 수행함으로서 최종적으로 얼굴을 검출하는 6단계:

   상기 검출된 얼굴을 이용하여 얼굴을 인식하는 7단계;를 포함하는 것을 특징으로 하는, 얼굴 검출 및 인식 방법.
2. 제 1항에 있어서,

   상기 1단계는, 획득된 얼굴 영상의 밝기 성분에 대하여 평활화 기법을 통하여 이루어지는 것을 특징으로 하는, 얼굴 검출 및 인식 방법.
3. 제 1항에 있어서,

   상기 제 2단계는,

   미리 설정된 비율로 영상 축소를 반복하여 특정 윈도우 크기로 영상을 설정하는 단계;로 이루어지는 것을 특징으로 하는, 얼굴 검출 및 인식 방법.
4. 제 1항에 있어서,

   상기 제 3단계는,

   축소 영상에서 픽셀단위 3*3 크기의 블록 내 픽셀 값들의 평균을 구하는 제 3-1 단계;

   평균과 블록 내 9개의 픽셀들의 밝기 값을 비교하여 각 픽셀의 값이 평균값보다 크면 그 위치의 값을 1, 작으면 0으로 변환하는 제 3-2 단계;

   상기 변환된 값을 비트열 값으로 변환하는 제 3-3 단계;

   상기 제 3-1 내지 3-3단계를 3*3 블록단위로 한 픽셀씩 움직이며 수행하는 제 3-4 단계;로 이루어진 것을 특징으로 하는, 얼굴 검출 및 인식 방법.
5. 제 1항 또는 제 4항에 있어서,

   상기 제 4 단계는,

   미리 준비한 영상을 사용하는 학습 과정을 통하여 특정 개수의 픽셀 좌표별로 상기 MCT 과정에 의해 생성된 비트열의 조합 개수만큼 패널티 값을 각각 생성한 패널티 테이블을 마련하는 제 4-1 단계;

   상기 패널티 테이블 중 특정 개수의 좌표를 비교 대상으로 선정하여 이와 상 기 제 2 단계에서 마련된 축소 영상의 픽셀들의 비트열 값을 비교함으로 서로 값이 일치하는 페널티 값을 상기 축소 영상의 픽셀마다 각각 추출하여 이를 누적하는 제 4-2 단계;

   누적된 값과 일정 임계값을 비교하여 누적된 값이 임계값보다 작을 경우 얼굴 후보 영역으로 선택하는 제 4-3 단계;로 이루어진 것을 특징으로 하는, 얼굴 검출 및 인식 방법.
6. 제 5항에 있어서,

   상기 제 4-2 단계 및 제 4-3 단계에서 비교 대상으로 사용한 상기 패널티 테이블의 특정 개수의 좌표를 달리하여 상기 제 4-2 내지 4-3 단계를 두 번 더 반복하는 것을 특징으로 하는, 얼굴 검출 및 인식 방법.
7. 제 1항에 있어서,

   상기 제 5단계는,

   상기 선택된 얼굴 후보 영역들 사이의 중심 픽셀 좌표 사이의 거리와 가로 크기를 비교하여 이루어지는 단계;를 포함하는 것을 특징으로 하는, 얼굴 검출 및 인식 방법.
8. 제 1항에 있어서,

   상기 제 7 단계는,

   학습 영상을 이용하여 PCA와 LDA를 통해 고유 얼굴을 추출하고 고유 얼굴의 특징을 수치로서 구하는 제 7-1 단계;

   추출된 고유 얼굴에 상기 검출된 영상을 프로젝션하여 얻어진 특징을 수치로서 구하고 이를 데이터베이스에 저장하는 제 7-2 단계;

   추출된 고유 얼굴의 특징 수치와 상기 저장된 데이터베이스의 수치 사이의 거리를 계산하여 상기 데이터베이스 중 최소 거리를 갖는 영상을 선택하여 인식 결과로 출력하는 제 7-3 단계;를 포함하는 것을 특징으로 하는, 얼굴 검출 및 인식 방법.

Images