KR0130962B1 - 얼굴화상 특징점 추출장치 - Google Patents

Abstract

본 발명은 2치화된 에지화상을 사용하고, 얼굴의 구성부품의 형상데이터 및 형상데이터변경부를 가지므로써, 광원의 상태가 변화해도 안정적으로 얼굴의 특징점을 추출하는 것을 목적으로하는 얼굴화상특징점 추출장치에 관한 것으로서, 그 구성에 있어서 얼굴화상의 입력을 행하는 화상입력부(1)와, 화상에 대하여 에지처리를 행하는 에지추출부(2)와 에지처리된 화상에 대하여, 얼굴부품의 후보영역마다 2치화처리를 행하는 2치화부(3)와, 얼굴의 특정부의 형상을 기억한 형상데이터베이스부(4)와, 형상데이터베이스부내의 데이터의 변경을 행하는 형상데이터변경부(6)와, 2치화된 화상과 형상데이터베이스부내의 데이터와의 일치도를 산출하는 화상연상부(5)를 가지고, 상기 일치도와 형성데이터를 근거로 화상의 특징점을 추출하는 출력부(7)로 이루어진 것을 특징으로 한 것이다.

Description

얼굴화상 특징점 추출장치

제 1 도는 본 발명의 제 1 발명의 일실시예를 표시한 구성도.

제 2 도는 입력화상과 얼굴부품의 탐색영역의 예.

제 3 도는 형상데이터베이스부내의 형상데이터의 예.

제 4 도는 얼굴의 각 구성요소의 형상의 예.

제 5 도는 본 발명의 제 2 발명의 일실시예를 표시한 구성도.

제 6 도는 본 발명의 제 3 발명의 일실시예를 표시한 구성도.

제 7 도는 본 발명의 제 4 발명의 일실시예를 표시한 구성도.

*도면의 주요부분에 대한 부호의 설명*

1 : 화상입력부,2 : 에지추출부,

3 : 2치화부,4 : 형상데이터베이스부,

5 : 화상연산부,6 : 형상데이터변경부,

7 : 출력부,8 : 영역결정부,

9 : 취사선택부,10 : 처리선택부.

본 발명은 얼굴화상통신을 위한 표정인식장치를 비롯하여, 얼굴을 사용한 개인식별장치의 특징점추출부에 관한 것이다.

종래, 얼굴화상으로부터 특징점 또는 즉징량을 추출하는 방법은, 예를 들면 일본국 특개소 61-208185호 공보, 동 특개소 63-223974호 공보에 기재되어 있는 것이 있었다. 전자는 화상입력부에 의해 입력된 얼굴화상을 화상기억부에 일단 저축하여, 2치화부에 의해 적당한 일계치 θ에 의해 2치화하고, 2치화상으로부터 얼굴의 특징부분을, 특징파라미터(면적, 주위길이, 중심(重心)좌표등)에 의해 추출하는 것이다. 후자는 화상기억부에 저축된 얼굴화상에 색상변환을 실시하고, 얻어진 살색(脫色)영역을 마스크패턴으로해서 얼굴의 특징부분을 추출하는 것이다.

상기 종래의 기술에 있어서, 2치화상을 사용하는 경우, 임계치 θ의 값이 변화하면 얻게되는 특징영역의 면적이 변화하여, 특징점이 어긋나 버리고만다는 결점이 있었다. 또 동일한 얼굴이라도, 화상입력시에 광원의 위치가 달라지면 얼굴표면상의 휘도분포가 달라지며, 임계치 θ로 2치화하였을 경우, 특징영역의 면적이 변화해버리고 만다. 그 때문에, 동일한 얼굴에 대해서, 틀린 추출결과를 출력하게 된다.

색상을 사용하는 경우에는, 태양광, 현광등등 광원의 종류에 의해서 살색영역을 포함하여, 각 영역의 색상이 변화해버리고 만다는 문제가 있었다. 그 때문에, 종래의 기술에 있어서는, 광원의 위치, 색등을 어느 정도 고정시킬 필요가 있었다. 또, 색상을 사용하는 경우, 화상입력부로서 텔레비젼카메라를 사용하면, 입력신호를 AD변환에서 화상기억부에 저촉할때, 강한 에지(edge)가 있는 부분에서 색상이 불안정하게 되어 특징점의 정확한 추출이 불가능하게 된다.

본 발명은, 상기 문제점을 해결하기 위하여, 광원의 상태가 변화해도 비교적 안정되어 있는 에지화상을 사용해서 특징점을 추출한다. 그때문에 입력화상으로부터 에지화상을 생성하는 에지추출부를 가지고, 에지화상의 잡음을 제거하기 위하여 2치화부를 가진다. 또 입, 눈썹등의 얼굴의 특징영역을 형상으로서 잡기 위하여, 이들 형상을 기록한 형상데이터베이스부를 가지고 있다. 또, 얼굴의 개인차이를 흡수하고, 입력된 얼굴화상에 형상데이터를 맞추기 위하여 형상데이터를 변경하는 형상데이터부를 구비한 것이다.

본 발명에서는, 화상입력부로부터 입력된 얼굴화상데이터에 대하여, 에지추출부에 의해 에지화상을 생성한다. 에지화상에는 수염, 주름살등에 의한 미묘한 잡음이 많이 포함되므로, 이 화상속의 탐색영역에 대하여 2치화부에 의해, 2치화상을 생성한다. 얻어진 2치화상의 탐색영역내로부터 형상데이터베이스부내의 형상데이터에 가까운 영역을, 화상연산부에 의해 얻게 되는 형상데이터와의 일치도를 기초로해서 선택한다. 선택된 영역부근의 형상에 맞도록 형상데이터변경부에 의해 형상데이터를 변경하고, 화상연산부에 의해 출력되는 일치도가 어떤값 이상으로 되면 변형된 형상데이터를 근거로, 출력부로부터 구하는 특징점을 출력하는 것이다.

이하, 본 발명의 일실시예를 첨부한 도면에 의거하여 상세히 설명한다.

제 1 도에 본 발명의 일실시예의 구성도를 표시한다. (1)은 텔레비젼 카메라등의 얼굴화상의 입력을 행하는 화상입력부이고, (2)는 입력화상에 대해서 에지처리를 행하는 에지추출부이다. (3)은 에지처리된 화상에 대해서, 얼굴부품의 후보영역마다 2치화 처리를 행하는 2치화부이다. (4)는 홍채(虹彩), 코, 입, 눈썹등의 얼굴부품의 형상을 기억한 형상데이터베이스부이고, (5)는 2치화부(3)에 의해 2치화된 화상과 (4)의 형상데이터와의 일치도를 산출하는 화상연산부이다. (6)은 얻어진 일치도를 근거로(4)의 내용을 변경하는 형상데이터변경부이다. (7)은 (4)의 형상데이터와 (5)에 의해 얻어지는 일치도로부터 화상의 특징점을 추출하는 출력부이다.

이하 구체적으로 특징점을 추출하는 방법에 대해서 설명한다.

먼저, 화상입력부(1)로부터 얼굴화상을 도입하고, 에지추출부(2)에 의해 입력화상으로부터 에지화상을 생성한다. 이 경우, 예를 들면 Sobel오퍼레이터(D. H. 발라아드), C. M. 브라운(BROWN)저작, 후꾸무라 아끼오번역 「컴퓨터비젼」, 일본컴퓨터협회(1987, p.98)와 같은 에지의 크기 뿐만 아니라 방향을 얻을 수 있는 연산자(演算子)를 사용한다. 이후, 이 에지를 크기와 방향을 가지고 있으므로 에지벡터라고도 말한다. 제 2 도에 입력화상의 예와 각 부품의 탐색영역을 표시한다. 이하, 홍채를 예로 특징점을 추출하는 경우를 표시한다. 먼저, 제 2 도에 표시한 홍채의 탐색영역속의 에지의 강도를 임계치 θ에 의해서 0이나 1로 2치화한다. 이 처리는 (3)의 2치화부에서 행하여진다. 에지의 강도(m)는 화상을 촬영할때의 광원의 상태에 따라서 변화하므로, 임계치 θ는 강도 m의 도수분포로부터 결정된다. 예를 들면 강도가 큰쪽으로부터 20%의 에지를 크기 1로, 나머지의 80%를 크기 0으로 2치화하도록 임계치 θ를 결정한다. 제 3 도 및 제 4 도에 형상데이터베이스부(4)에 기억되어 있는 내용의 일예를 표시한다. 제 3 도는 홍채의 형상데이터이며, 홍채는 내부가 흑색의 원형을 하고 있기 때문에 도면중의 구배벡터는 모두 원의 중심으로 향하는 단위벡터로 되어 있다. 제 4 도는 얼굴부품의 형상의 일예이다. 다음에 에지화면의 탐색영역을 탐색하고, 화상연산부(6)에서 일치도 ø를 계산한다. 일치도 ø는 에지, 형상데이터 다같이 벡터에 의해서 표현되어 있으므로, 예를 들면 벡터의 내적계산에 의해서 계산된다.

에지화상속의 에지벡터를

U_i, j=(U_x, U_y)(i, j : 화상의 x, y좌표, U_x+U_y=1)

로 하고, 형상데이터를

요소데이터 P_k=(I_k, m_k)(I_k, m_k: 요소의 x, y좌표)

구배텍터 V_k=(V_x, V_y)(V_k ²+V_y ²=1)

단, 1kn (n은 요소수)

로 하면, 에지화상속의 좌표(i, j)에 있어서의 형상데이터와의 일치도 ø는

ø=(ΣU_i+1_k, j+m_k·V_k)/n(1kn)

단, U₁+1_kj+m_k·V_k=U_x×V_x+U_y×V_y

로 된다.

이와 같이 해서 탐색영역의 각 좌표에 대한 형상데이터와의 일치도가 산출된다. 이중, 일치도 ø가 큰 복수의 좌표치를 이 얼굴부품의 후보영역으로 한다.

다음에 각각의 후보영역에 있어서, 형상데이터변경부(6)에 의해 형상데이터를 변경하고, 재차 일치도 ø를 구한다. 변경방법은 예를 들면 데이터의 요소를 구배벡터의 방향으로 ±1씩 이동한다. 이동후, 구배벡터의 방향도 형상데이터에 맞도록 변경을 행한다. 이와 같이 해서, 일치도 ø가 향상하도록 형상데이터를 순차적으로 변경해가고, 일치도 ø가 향상하지 않게 되거나, 또 ø가 어떤값 S이상으로 되면 형상데이터의 변경을 중지한다.

그후 변경된 형상데이터에 따라 출력부(7)으로부터 특징점을 출력한다. 출력방법은 예를 들면 일치도 ø의 최종치가 어떤값 t(st)미만의 경우, 일치도 ø가 최대의 후보영역 및 거기에서의 형상데이터를 목적으로 하는 얼굴부품으로서, 필요한 특징점을 출력한다. 또 어떤값 t이상의 것이 복수는 경우, 통계적 숫법등에 의해 후보영역을 결정하고, 그곳에 가까운것 모두를 정확산 형상데이터로 하고, 모든 형상데이터의 요소의 평균을 취하여 새로운 형상데이터를 작성한다. 얻어진 형상데이터를 목적으로 하는 얼굴부품으로서, 필요한 특징점만 출력한다. 예를 들면 홍채의 경우, 모든 형상데이터의 요소의 평균을 취해서 중심부의 점을, y좌표의 최대의 점과 최소의 점을 홍채의 상하의 점으로서 출력한다.

또한, 홍채는 2개 있기 때문에, 거리 d이상 떨어진 일치도 ø가 큰 2개소를 홍채로서 출력할 필요가 있다.

마찬가지로해서 입, 코, 눈썹, 볼의 각 특징점을 추출할 수 잇다. 예를 들면 입이면 상하좌우 및 중심의 5점, 눈썹이면 상하좌우의 4점을 추출한다.

또 제 5 도에 본 발명의 제 2 발명의 일실시예의 구성도를 표시한다. 제 5 도에 있어서 예를 들면 홍채의 범위만 탐색영역을 고정해놓고, 나머지의 부품의 탐색영역은 추출된 홍채의 특징점을 근거로 영역결정부(8)에 의해 결정하면, 보다 적은 연산량으로 나머지의 특징점의 추출이 가능하게 된다. 예를 들면, 코는 입과 눈의 사이에 있고, 눈썹은 눈의 약간 위에 있는 등의 지식에 의해 탐색영역을 결정한다.

또, 2개의 홍채의 좌표가 결정되면, 입력된 얼굴화상의 경사각을 얻을 수 있으므로, 이것을 근거로 형상데이터변경부(6)에 의해 형상데이터베이스부(4)내의 형상데이터를 얻어진 경사각만큼 회전시키므로서, 기울어진 얼굴화상에 대해서도 특징점의 추출이 가능하다.

제 6 도에 본 발명의 제 3 발명의 일실시예의 구성도를 표시한다. 눈썹은 가장자리가 매끈매끈 하므로 다른 얼굴부품과 달라서 강한 에지성분을 얻을 수 없다. 그 때문에, 눈썹의 특징점을 추출하는 경우, 눈썹의 탐색영역을 2치화부(11)에 의해서 미리 2치화해 놓으므로서, 강한 에지성분을 얻는 일이 가능하다. 이 처리는 처리선택부(10)에 의해서 선택된다. 또한 본 발명은 눈썹에 한하지 않고, 예를 들면 수염 등 에지성분이 매끈매끈한 경우에 유효하다. 또, 특히 눈썹의 특징점을 추출하는 경우, 눈썹은 좌우로 길고, 양끝에서의 휘도분포는 크게 다르다. 그 때문에 탐색영역을 한꺼번에 2치화하면 정확한 눈썹의 모양이 나타나지 않는 경우가 있다. 그래서, 본 발명의 제 2 발명에 기재한 방법과 같이, 눈썹의 탐색영역을 수직방향으로 분할하고, 각각의 소영역내에서 j%의 영역을 0으로 2치화하게하는 임계치를 각각 결정한다. j는 탐색영역의 면적등에 의해 결정된다. 소영역마다 얻게된 임계치의 평균, 분산을 구하고, 각 소영역마다 단독으로 2치화한다. 그때, 임계치가 평균치보다 크게 벗어날 경우에는,

소영역속에 눈썹이 없다.

소영역속에 머리털이 많이 존재한다.

의 어느 한쪽이라고 간주하여, 해당 소영역을 모두 0이거나 1로 2치화하도록 처리를 행한다.

본 발명은 광원이 얼굴의 정면으로부터 좌우로 어긋나 있을 경우에 유효할 뿐만 아니라 눈썹영역에 존재하는 머리털의 영향을 감소시킨다고 하는 점에서도 유효하다.

제 7 도에 본 발명의 제 4 발명의 일실시예를 표시한다. 이 제 4 발명의 경우, 얼굴의 부품마다 얻어진 부호영역을 취사선택부(9)에 기록해두고, 그것들을 조합해서 정확한 얼굴형상으로 되는 것을 구한다. 이를 위한 조건으로서 예를 들면 2개의 홍채간의 수직 2등분선상에 코 및 입이 존재한다. 좌우의 눈썹, 홍채간의 거리가 거의 똑같다. 상기, 수직 2등분선으로부터 대략 동등거리에 좌우의 볼이 존재한다 등이다. 이와 같이 해서 얼굴의 각부품에 대해서 최적의 후보영역을 구하고, 형상데이터를 근거로 목적으로 하는 특징점을 얻는다.

또한, 본 발명에서는 컬러화상을 사용할 필요가 없으며, 흑백사진이라도 특징점의 추출이 가능하다. 또, 형상데이터도 1개의 얼굴부품에 대해서 복수개의 데이터를 준비하므로써 추출정밀도를 높일 수 있다.

이상과 같이 본 발명은 에지화상을 2치화해서 사용하고 있기 때문에, 광원의 위치, 색등 조건에 대한 자유도가 넓다. 또, 형상데이터를 가지고 있으므로 경등에 의해서 발생하는 잡음에 대해서도 오동작이 적다. 또, 형상데이터변경부를 가지므로써 얼굴의 개인차이를 흡수하여 추출정밀도를 높일 수 있다.

Claims (8)

1. 얼굴부품의 후보영역을 포함한 얼굴화상의 입력을 행하는 화상입력부와 상기 얼굴화상에 애다형 에지처리를 행하는 에지추출부와, 에지처리된 화상에 대해서, 얼굴부품의 후보영역마다 2치화처리를 행하는 2치화부와, 복스의 얼굴부품의 형상을 나타내는 형상데이터를 기억한 형상데이터베이스부와 상기 형상데이터베이스부내의 형상데이터의 변경을 순차 행하는 형상데이터변경부와, 상기 2치화된 화상과 상기 형상데이터변경부에서 변경된 형상데이터와의 일치도를 산출하는 화상연산부와, 상기 일치도에 의거해서 상기 형상데이터의 변경을 중지한 단계에서의 형상데이터에 따라 특징점을 출력하는 출력부를 구비한 것을 특징으로 하는 얼굴화상특징점 추출장치.
2. 제 1 항에 있어서, 상기 형상데이터는 x, y좌표로 된 요소데이터 및 구배벡터로 이루어진것을 특징으로 하는 얼굴화상특징점 추출장치.
3. 제 2 항에 있어서, 상기 형상데이터변경부에 있어서의 형상데이터의 변경은 다음의 처리를 포함하는 것을 특징으로 하는 얼굴화상특징점 추출장치, (a) 요소데이터를 구배벡터의 방향으로 ±1씩 이동하고, 이동후 구배벡터의 방향도 형상데이터에 맞도록 변경을 행하고, 일치도의 향상을 체크하는 처리, (b) 형상데이터를 반복변경해 가서, 일치도가 향상하지 않게 되거나, 어느 값이상으로 되면 형상데이터의 변경을 중지하는 처리.
4. 제 1 항 또는 제 2 항에 있어서, 형상데이터베이스가, 요소데이터 P_k=(I_k, m_k)(단, I_k, m_k: 요소의 x, y좌표), 구배텍터 V_k=(V_x, V_y)(단, V_k ²+V_y ²=1) (여기서 1kn, n은 요소수)로 표현되는 것을 특징으로 하는 얼굴화상특징점 검출장치.
5. 제 1 항에 있어서, 홍채의 위치를 최초로 추출하는 것을 특징으로하는 얼굴화상특징점 추출장치.
6. 제 1 항에 있어서, 에지추출부의 전단(前段)에 에지처리의 전에 특정의 얼굴부품의 2치화처리를 행하는 2치화처리수단(11)을 또 형성한 것을 특징으로 하는 얼굴화상특징점 추출장치.
7. 제 6 항에 있어서, 상기 2치화처리수단(11)은 2치화해야 할 영역을 복수의 소영역으로 분할하고, 기소영역마다의 2치화의 임계치를 소영역마다의 휘도분포로부터 구해서 2치화하는 것을 특징으로 하는 얼굴화상특징점 추출장치.
8. 제 1 항에 있어서, 바른 얼굴형상이 되도록 출력부로부터 데이터를 취사선택하는 취사선택부를 또 구비한 것을 특징으로 하는 얼굴화상특징점 추출장치.