KR101016758B1 - 인물 식별 방법 및 그 시스템 - Google Patents

Abstract

본 발명은 인물 식별 방법 및 그 시스템에 관한 것이다.

본 발명은, 조회 대상이 아닌 자들에 해당하는 네거티브 얼굴 이미지 갤러리를 제작하고, 알려진 인물들에 해당하는 인물 갤러리를 제작한다. 그리고 인물 갤러리들의 이미지들은 인식 알고리즘을 위해 채택된 내적 표상체계(internal representation)에 따라 변환시키고, 인식 알고리즘을 수행한다. 먼저 입력 이미지에서 사람의 얼굴을 탐색하고, 탐색된 얼굴을 구성하는 각 구획 부분에 대하여 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로의 스케일(scaling) 조절, 그리고 명암 조절을 포함하는 전처리를 수행하여, 인식을 위한 셋업 작업을 수행한다. 이후, 2개의 이미지에 대하여 유사성을 측정하는 기본적인 얼굴 인식 알고리즘을 수행하고, 새로운 인식 알고리즘 선택의 근거가 되는 "네거티브" 얼굴 부분 집합을 선택한다. 그리고 선택된 "네거티브" 얼굴 부분 집합을 고려하고 기초 알고리즘 근접성 측정 전환에 기초하여 새로운 인식 알고리즘을 제작한다. 그리고 새로운 인식 알고리즘에 따라, 입력되는 이미지를 등록된 이미지 집합을 토대로 분류한다.

인물식별, 이미지인식, 얼굴식별

Description

인물 식별 방법 및 그 시스템{Method for identifying image face and system thereof}

본 발명은 이미지 얼굴 식별 방법에 관한 것으로, 더욱 상세하게 말하자면, 인물을 식별하는 방법과 그의 시스템에 관한 것이다.

얼굴 이미지에 따라 사람을 식별하는 것은 최근 수십 년간 큰 관심의 대상이 되어 왔다. 사람의 얼굴 이미지를 식별하는 시스템은 입력되는 분석 이미지에 따라 얻어진 유사 모델과 특정한 사람의 알고 있는 얼굴 모델(또는 이미지)을 비교하는 것에 기반하고 있다. 불과 얼마 전까지만 해도 이러한 시스템의 대부분은 비교 대상 이미지가 통제되는 조명 조건에서 얻어진 사람의 전면 얼굴 이미지이기를 요구하였다. 이러한 요구조건은 실제 인식 시스템을 적용하는 분야를 현저히 제한하였다. 이러한 문제를 해결할 수 있는 일련의 접근방법들이 제안되었으며, 그 방법들은 다음과 같다.

미국 특허 번호 7,142,697에 개시된 "Post-invariant face recognition system and process"는 얼굴의 각 카메라 앵글에 대하여 별도의 분류기(classifiers)를 제작하는 것에 기반한 얼굴 인식 방법을 제안하고 있다. 식별에 대한 결정은 이러한 분류기들의 결과를 통합한 후에 내려진다. 인식 대상인 얼굴 이미지는 주성분법(principal component analysis, PCA)을 사용하여 코딩되는데, 이것은 널리 알려져 있는 성분 분석 방법(component analysis method) 중 하나이다. 기본 분류기로는 신경망이 사용되며, 신경망의 입력으로 PCA 벡터가 사용되고, 출력부(outputs)는 등록된 클래스 중 하나에 도달하기까지 근접 측정값을 코딩한다. 얻어진 결과를 통합하기 위하여 신경망도 적용되는데, 신경망의 입력부로 1단계 분류기 전체로부터 받은 근접 측정값이 들어가고, 출력부는 식별된 피사체의 등급과 초기 이미지에 제시된 얼굴의 카메라 앵글을 코딩한다. 이렇게 상기 종래 방법은 얼굴의 회전 각이 넓은 범위에 있는 경우에도 인식이 가능하다. 그 밖에 이 방법은 특정한 등록된 인물들에 적응된다. 이와 함께 이와 유사한 신경망 캐스케이드(cascade)는 계산 용량이 커 실시간으로 사용하기가 어렵다.

또한 미국 특허 7,203,346에 기재된 "Face recognition method and apparatus using component based face descriptor"는 얼굴 이미지 개별 구역(예를 들어 눈, 입, 코, 이마 등)에 따라 근접 측정을 수행하고 두 얼굴 이미지를 비교하는 방법을 기반으로 하는 얼굴 인식 알고리즘을 제안하고 있다. 계산값 각각에는 미리 계산된 값들이 추가되며, 그 후 2개의 이미지의 유사성에 대한 최종 측정이 이루어진다. 그 밖에 미리 이미지상의 얼굴의 카메라 앵글 값이 계산되고 이를 위해 LDA(Linear Discriminate Analysis) 방법이 적용되며, 얻어진 정보는 2개의 얼굴을 비교하는 방법에서 사용된다. 얼굴 부분 이미지 코딩은 LDA법을 통해 이루어진다. 그러나 이러한 방법은 복잡한 조명 조건 및 전면 얼굴이 아닌 경우에 효과적 이다.

또한 미국 특허 7,031,499에 기재된 "Object recognition system" 는, 필터 세트와 간단한 분류기 증폭 방법에 기초하여 얼굴을 인식하도록 하는 방법을 제안하고 있다. 이러한 방법에 기초하여 분류기 캐스케이드(classifiers cascade)를 생성하고, 이 때 이러한 캐스케이드 요소들의 값들 적응형으로 설정한다. 필터는 특정 등록된 사용자들에 따라 직접 선택된다.

또한 미국 특허 6,826,300에 기재된 "Feature based classification"는 템플릿으로 이미지 근접 측정을 수행하는 방법을 제시하였다. 이 때 가버 웨이블릿 기저에 기초하여 얼굴 이미지 형상 초과 제시(excess notation)가 사용된다. 주요 구성요소와 선형 식별 분석법에 기초하여 얼굴 이미지의 주요 유효 형상을 선택하는 방법이 사용되며 마할로노비스 측정과 코사인 측정 중 하나의 방식에 따라 근접 측정을 계산한다.

또한 Q.Yang, X.Ding.의 논문 "Using Competitive Prototypes for the Verification on Unspecific Persons"( Proceedings 6th Asian Conference on Computer Vision ACCV2004, pp.55-60.[5])는, 테스트 얼굴 이미지와 등록된 얼굴 이미지의 유사성에 기초할 뿐 아니라 테스트 샘플을 등록되지 않은 얼굴 집합과 비교하여 신분을 조회하도록 하는 방법을 제안하고 있다. 이와 같이 " 등록된" 등급 또는 "등록되지 않은" 등급 중 어떤 것과 테스트 대상이 근접한지 자체 비교가 이루어진다. 그 결과 작성된 곡선은 조회하는 등급을 더욱 더 정확하게 설명하므로 이로써 오 인식의 발생 가능성은 감소된다.

또한, P.Wang, L.C.Tram, Q.Ji의 논문 "Improving Face Recognition by Online Image Alignment"(Proceedings of the 18^th International Conference on Pattern Recognition (ICPR'06), 2006. [6])은, 조회 방식과 테스트 샘플과 다른 등록된 등급들 간의 유사성 측정의 비교를 통해 인식 결과의 정확성을 예비 평가하는 방법이 제안되었다. 테스트 샘플이 몇 가지 등급에 동시에 근접할 경우 정확성 평가 결과는 낮게 나오게 된다.

본 발명이 이루고자 하는 기술적 과제는 보다 정확하게 특정 인물의 이미지를 인식할 수 있는 인물 식별 방법 및 그 시스템을 제공하는 것이다.

본 발명의 특징에 따른 인물 식별 방법에서는 다음과 같은 업무를 수행한다.

- 조회 대상이 아닌 자들의 " 네거티브" 얼굴 이미지 갤러리를 제작한다.

- 알려진 인물 갤러리를 제작하고, 알려진 인물 갤러리에 포함되는 이미지를 인식 알고리즘을 위해 채택된 내적 표상체계(internal representation)로 전환시킨다.

그리고 인식 알고리즘은 다음과 같은 방식으로 구현된다.

- 입력되는 이미지에서 사람의 얼굴을 탐색한다.

- 탐색된 얼굴을 구성하는 각 구획 부분에 대하여, 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로 스케일(scaling) 조절, 명암 조절 등의 처리를 수행한다. 이러한 것은 인식을 위한 준비 과정에 해당한다.

- 2개의 이미지의 유사성 측정이 가능한 기본적인 얼굴 인식 알고리즘을 수행한다.

- 새로운 인식 알고리즘 선택의 근거가 되는 "네거티브" 얼굴 부분 집합을 선택한다.

- "네거티브" 얼굴 갤러리를 고려하고 기초 알고리즘 근접성 측정 전환에 기초하여 , 새로운 인식 알고리즘을 제작한다.

- 등록된 이미지 집합에 따라 분류한다.

본 발명의 다른 특징에 따른 인물 식별 시스템은, 조회 대상이 아닌 자들의 "네거티브" 얼굴 이미지 갤러리를 저장하는 저장 블록; 알려진 인물들에 대한 인물 갤러리에 포함되는 이미지들을 설정된 내적 표상체계(internal representation)에 다른 이미지로 변환시키는 변환 블록; 입력되는 입력 이미지에서 사람의 얼굴을 탐색하는 탐색 블록; 탐색된 얼굴을 다수의 구획으로 구분하고, 각 구획 부분에 대하여 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로 스케일(scaling) 조절, 명암 조절을 포함하는 전처리를 수행하는 셋업 블록; 2개의 이미지에 대하여 유사성을 측정하는 기본 얼굴 인식 알고리즘을 수행하는 실행 블록; 상기 "네거티브" 인물 갤러리로부터 새로운 인식 알고리즘 선택의 근거가 되는 "네거티브" 얼굴 부분집합을 선택하는 선택 블록; 상기 선택된 "네거티브" 얼굴 부분 집합을 고려하고 기초 알고리즘 근접성 측정 전환에 기초하여 새로운 인식 알고리즘을 제작하는 설 계 블록; 및 입력 이미지를 상기 새로운 인식 알고리즘에 따라 지정된 이미지와 비교하여 등록된 이미지 집합에 따라 분류하는 인식 블록을 포함한다.

본 발명에 따르면, 정확하게 특정 인물의 이미지를 인식할 수 있다. 특히, 노이즈, 그늘, 외부의 추가적 물체(안경 등)가 있는 조건에서도 인물의 얼굴 인식 을 정확하게 식별할 수 있다. 또한 감시 목록(요주의자 목록)에 따른 인물의 식별이 정확하게 이루어진다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…블록", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본 발명의 실시 예에 따른 인물 식별 시스템은 사람의 이미지에 의한 생체인 식 시스템으로 조명이 불균일한 조건에서 개인 인식 및 이미지상의 얼굴 회전 각 범위가 넓은 조건에서 사용할 수 있다.

본 발명의 실시 예에 따른 인물 식별 방법은, 관심 대상이 아닌 " 네거티브(negative) " 얼굴 등급을 이용하여 인식을 수행한다. 이러한 접근 방식에서 발생하는 주요 문제점들 중 하나는 이러한 네거티브 얼굴 집합의 선택이다. 이러한 얼굴은 효과적으로 조회 등급을 구분할 수 있도록 대표성이 있어야 한다.

본 발명의 실시 예에 따른 인물 식별 방법의 주요 차별적 특징은 다음과 같다.

- 노이즈, 그늘, 외부의 추가적 물체(안경 등)가 있는 조건에서 높은 인물의 얼굴 인식 능력

- 감시 목록(요주의자 목록)에 따른 인물의 식별

또한, 본 발명의 실시 예에 따른 인물 식별 방법에서, 지정된 과제를 효과적으로 해결할 수 있는 일련의 신기술들을 적용하였으며, 구체적으로 기존의 인식 알고리즘의 강화 및 자동 정밀 조정을 통하여 인물의 이미지 인식 방법의 효율성 향상시켰다.

또한 본 발명의 실시 예에 따른 인물 식별 방법에서, "네거티브" 얼굴의 부분 집합을 선택하는 것은, 그 기능적 성능(performance functional)이 학습용 샘플(learning sample)의 얼굴 이미지에서 최대치에 도달하는 지정된 목록 중에서 얼굴 집합을 찾는 것이다.

또한 본 발명의 실시 예에 따른 인물 식별 방법에서, 최적화를 해야 하는 기 능적 성능의 기초는 지정된 얼굴 및 선택된 "네거티브" 얼굴과 입력 얼굴 이미지의 근접성 측정이며, 이러한 측정이 기본 인식 알고리즘을 이용하여 계산된다.

또한 본 발명의 실시 예에 따른 인물 식별 방법에서, "네거티브" 얼굴의 부분 집합을 선택하는 방법은, 학습용 샘플의 이미지와 "네거티브" 얼굴 이미지 간의 근접성 값들로 구성되고 기본 인식 알고리즘을 이용하여 계산된 벡터들을 클러스터링(custering)하고, 생성된 클러스터들 중의 하나를 필요한 부분집합으로 지정한다.

또한 본 발명의 실시 예에 따른 인물 식별 방법에 따른 인식 알고리즘은, 입력된 얼굴 및 지정된 얼굴에 대하여, 또는 "네거티브" 얼굴 부분 집합 중의 입력 얼굴 및 지정된 얼굴에 대하여, 계산한 기본 근접성 측정에 기초하여 구성된다.

또한 본 발명의 실시 예에 따른 인물 식별 방법에 따른 인식 알고리즘은, "네거티브" 얼굴들을 사용하여 계산된 기본 근접성 측정 및 새로운 근접성 측정을 통합함으로써 구성된다.

이제, 첨부한 도면을 참조로 하여 본 발명의 실시 예에 따른 키 관리 시스템 및 그 방법에 대하여 설명한다.

도 1은 본 발명의 실시 예에 따른 인물 식별 시스템의 구조도이다.

본 발명의 실시 예에 따른 인물 식별 시스템은, "네거티브" 얼굴, 즉 본 발명의 실시 예에 따른 방법으로 조회를 받아본 적이 전혀 없는 얼굴들의 이미지 갤러리를 저장하는 저장 블록(10), 알려져 있는 인물들의 이미지 갤러리를 설정 체계에 따라 변환하는 변환 블록(20), 입력되는 소정 이미지에서 얼굴을 탐지하는 얼굴 탐지 블록(30), 탐지된 얼굴이 있는 구획 부분에 대하여 전처리를 수행하여 인식을 위한 셋업 과정을 수행하는 셋업 블록(40), 2개의 이미지의 유사성 측정 계산을 위한 기초 얼굴 인식 알고리즘을 실행하는 실행 블록(50), "네거티브" 얼굴 부분 집합을 선택하는 선택 블록(60), 선택한 "네거티브" 얼굴 부분 집합에 해당하는 얼굴 갤러리를 고려하여 기초 알고리즘의 근접성 측정 변환에 기초한 새로운 인식 알고리즘을 설계하는 설계 블록(70), 입력 이미지와 지정된 이미지의 비교 또는 분류 알고리즘을 적용하여 입력 이미지를 등록된 이미지 집합에 따라 분류를 수행하는 인식 블록(80)을 포함한다.

여기서 변환 블록은(20)은 알려져 있는 인물들에 해당하는 얼굴 이미지들을 본 발명의 실시 예에 따른 시스템에 따른 실행된 인식 알고리즘에 채택된 내적 표상체계(internal representation)에 따른 얼굴 이미지로 변환시킨다.

셋업 블록(40)은 입력 이미지에서 얼굴이 있는 구획 부분들을 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로 스케일(scaling) 조절, 명암 조절 등의 전처리를 수행하여, 인식하기 위한 상태로 셋업시킨다.

선택 블록(60)은 새로운 인식 알고리즘 자동 설계의 기초인 "네거티브" 얼굴 부분 집합을 선택하며, 이 때, 기능적 성능(performance functional)이 학습용 샘플의 얼굴 이미지에서 최대치에 도달하는 지정된 목록 중에서 얼굴 집합을 찾는다.

이러한 구조로 이루어지는 본 발명의 실시 예에 따른 인물 식별 시스템은 다음과 같은 방법을 토대로 동작한다.

도 2는 본 발명의 실시 예에 따른 인물 식별 방법의 흐름도이다. 도 3은 본 발명의 실시 예에 따른 유전 알고리즘(genetic algorithm)의 과정을 나타낸 흐름도이다.

먼저, 첨부한 도 2에서와 같이, 알려진 인물 갤러리를 준비한다(S100~S110). 이 인물 갤러리에는 시스템이 알고 있어야 할 인물들의 얼굴에 해당하는 이미지들이 포함된다. 이 갤러리에 있는 인물들 각각의 이미지는 본 발명의 실시 예에 따라 설정된 내적 표상체계(internal representation)에 따라 특수한 표상으로 변환된다. 그러한 표상으로는 예를 들면 얼굴 이미지에 따라 구성된 주요 성분 벡터, 최고 지점이 얼굴의 특정지점의 위치를 나타낸 그래프(눈꼬리, 입꼬리, 콧날(wing of nose), 코끝) 등이 있다. 분류를 하기 전 각각의 이미지를 선택된 표상에 맞게 변환한다.

다음 단계에서는 알려진 인물 갤러리에 있는 사람들 중 한 사람을 표현한 이미지에서 얼굴을 찾는다(S120). 이를 위하여 임의의 얼굴 탐색 알고리즘을 사용한다. 예를 들어, 얼굴 좌표가 사용자에 의해 지정될 수 있다. 그 후 발견된 부위를 구획으로 나눈다(S130). 그리고 전처리를 수행한다(S140). 일반적인 경우 이 단계는 눈의 위치에 따른 얼굴 위치 정규화(normalization), 부위 스케일링, 눈의 위치에 따른 조정과 같은 조정(adjustment) 등이 포함된다. 전처리를 수행하는 것은, 분석 대상인 이미지에 대하여 원근각(approach angle), 제시된 얼굴의 방향을 얻어낸 촬영 조건(예를 들어, 조명)의 영향을 감소시키는 것이다. 이러한 단계는 학습용 샘플을 형성하는 각 이미지에 대하여 수행한다(S150).

다음, 본 발명의 실시 예에 따른 인물 식별 시스템이 전혀 조회한 적이 없는 "네거티브" 사람들의 얼굴 이미지들에 대하여, 위에 기술된 바와 같은 단계 즉, 이미지에서 얼굴을 찾고(발견) 이를 구획으로 구분한 후 전처리를 수행한다(S160).

"네거티브" 인물들을 열거해 보자. 유사한 집합을 예를 들어 2명 또는 2명 이상의 실제 인물들의 얼굴 이미지의 인위적 생성을 통하여 제작할 수 있다. 테스트 얼굴과 알려진 얼굴의 유사성 단계를 양적으로 측정하기 위하여 얼굴 이미지의 선택적 제시보다 뛰어난 유사성 측정 방식이 사용된다. 이러한 방식으로는 마할로노비스 거리가 사용될 수 있다. "네거티브" 인물은 알려진 얼굴과 테스트 얼굴 비교 시 발생하는 분류 과제에서 2등급 피사체를 형성한다. 테스트 얼굴과 알려진 얼굴의 유사성 측정치는 동일한 측정방식으로 계산된 "네거티브" 얼굴 집합과 테스트 얼굴의 유사성 측정치와 비교된다.

"네거티브" 얼굴 집합은 초기에 매우 크기 때문에 그 결과 그것을 사용하여 얻은 유사성 측정치는 테스트 얼굴을 비효율적으로 분류할 수 있다. 본 발명의 실시 예에서는 "네거티브" 얼굴의 부분 집합을 선택하며(S170), 이것은 본 발명의 실시 예에 따른 시스템의 선택 블록(60)에 의하여 수행된다.

다음 단계에서는 최종 인식 규칙이 설립된다(S180).

일반적인 경우 분류 시스템의 확실성을 향상시키기 위하여 몇 가지 유사 측정들이 실행될 수 있다. 이 때 "네거티브" 얼굴들의 부분집합은 각각의 측정에서 별도로 선택하여야 한다. 그 결과 각 비교 이미지 쌍의 경우 "기초" 측정을 위한 그 근접성 수치 세트와 선택된 "네거티브" 샘플들을 고려하여 얻은 해당 수치들을 갖는다. 최종 결정은 수치 데이터 통합 결과를 분석하여 채택한다. 이를 위하여 예 를 들면 투표에 기초한 등급 방식, AdaBoost 에 기초한 선형(linear) 방식, SVM를 적용한 비선형 방식 등이 사용될 수 있다. 이 단계 이후 인물 식별 시스템은 조정(adjustment)되고 테스트 이미지를 처리하기 위한 준비가 이루어진다.

기능 모드에서 시스템으로 인식해야 하는 사람의 얼굴 이미지가 입력된다. 이 경우 시스템은 입력 이미지의 얼굴 식별, 즉 그 얼굴이 알려져 있는 인물 갤러리 중 어디에 속하는지, 만일 그렇다면 정확히 누구인지를 결정하여야 한다. 이를 위하여 갤러리에 있는 각각의 얼굴과 입력 얼굴의 연속적인 비교가 일어나고 설계된 인식 규칙에 따라 얼굴이 갤러리들 중 어느 것에 근접한지에 대한 결정이 내려진다.

테스트 이미지 외에 시스템으로 두 번째 이미지가 입력될 수 있는데, 이 때 시스템은 두 이미지의 유사성을 평가한다. 즉, 첫번째 입력된 테스트 이미지와 두번째 이미지가 동일한 한 사람에 속하는지를 평가한다. 이를 위하여 시스템은 테스트 이미지에 대하여 위에 기술된 바와 같은 발견, 구분, 전처리와 유사한 작업을 수행하며, 필요할 경우 두번째로 입력되는 이미지에 대해서도 위에 기술된 바와 같은 작업을 수행한다(S190). 그 후 이미 설계되어 있는 인식 규칙 즉, 최종 인식 규칙을 이용하여 테스트 이미지를 분류한다(S200). 즉 최종 인식 규칙을 이용하여 테스트 이미지의 얼굴을 식별하여 분류한다.

다음에는 일반적인 설계 원칙과 및 "네거티브" 인물 집합을 고려한 인물의 유사성 평가에 사용되는 계량 조정 원칙을 살펴보자.

는 얼굴 이미지 대표인 벡터의 최종 부분집합이라고 하자.

는 인물 식별자(identifier) 집합으로, 그 얼굴들은 X 중의 벡터들에 일치하는 이미지에 나타나 있다.

은 "네거티브" 얼굴 이미지의 대표인 벡터의 최종 부분집합이라 하자.

는 Z 중의 벡터 식별자 집합이고 이 때

이다.

는 벡터의 학습이고, 이를 위한 식별자

는 알려져 있다;

는 집합 D의 식별자를 지니고 있는 인물의 표준 벡터 집합이다.

2개의 얼굴 이미지(몇 가지 선택된 대표 이미지에서)의 유사성 측정 함수는 다음과 같다.

[수학식 1]

이 때 G 값은 1이고, 이것은 분석 대상 이미지의 최대 유사성에 해당한다. G 함수를 만들고 부분집합

을 선택하여 최대 분류 효과를 얻는다. 효과는 학습용 샘플 T의 벡터들을 대상으로 표준 벡터 집합 H와 다음 품질 함수를 사용하여 다음과 같이 측정한다.

[수학식 2]

이와 같이 F 함수의 최적화 과제를 해결해야 한다. 즉, 선택된 G 함수 형태로

의 벡터 쌍에서 최대치에 도달하는 그러한 부분집합 S를 찾아야 한다.

본 발명의 실시 예에서는 G 함수를 다음과 같이 설계한다.

[수학식 3]

여기에서

는 X 벡터들 사이의 거리 측정,

는 벡터와 벡터 집합 간의 거리 측정이다.

Y 함수로는 "통계" 측정(statistical metric)이라 불리는 식을 사용하여 다음과 같이 나타낼 수 있다.

[수학식 4]

여기서, 함수 F의 최대화 과제를 해결하는 데에는 알려져 있는 최적화 알고리즘 중 어느 것이라도 적합하다. 특히 본 발명의 실시 예에서는 이러한 목적을 위하여 유전 알고리즘(genetic algorithm) 도구를 적용하였다.

본 발명의 실시 예에 따른 인물 식별 시스템의 실행 과정 중 하나를 살펴보면 다음과 같다.

발견 과제 즉, 이미지로부터 얼굴을 탐색하는 과정에서는 얼굴 부위 및 눈 중심 좌표를 측정하는 벡터가 이용되었다. 각각의 포착된 얼굴에 대하여 직각 프래그먼트가 커팅(cut)되었고 눈 좌표에 따라 조정(adjustment)되었다. 그 후 얻은 기하학적 정상 이미지에 국소적 정규화(local normalization)를 적용하였다. 그 다음에는 각각의 커팅된 얼굴에 대하여 눈 부위와 얼굴 전체에 일치하는 3가지 프래그먼트로 그룹을 만들었다. 전처리의 마지막 단계로 각각의 프래그먼트들에 대하여 가버 필터로 웨이브렛 변환을 수행하였고, 그 결과 분류 단계에서 사용되는 벡터가 형성되었다.

2가지 벡터 --얼굴 대표의 유사성 측정에 이용된 것은 마할로노비스 거리와 코사인 측정이다. 이렇게 각각의 비교 얼굴 쌍에 대하여 6회의 유사성 측정 계산을 수행하였다.

측정 각각에 대하여 분류되는 벡터의 경우 비교 대상 벡터와 선택된 부분집합의 "네거티브" 얼굴 벡터에 대한 근접성을 계산하였다. 새로운 근접성 측정은 다음과 같은 "경쟁" 측정을 이용하여 수행하였다.

[수학식 5]

여기에서 중량

은 벡터 t와 s의 근접성에 비례한다.

이와 같이 비교 대상 얼굴의 유사성에 대한 최종 결정은 12개의 수치에 의해 내려진다. 그 중 6가지는 "기본" 측정이고, 나머지 6가지는 "네거티브" 얼굴을 고려한 측정이다.

"네거티브" 얼굴의 준최적(suboptimum) 부분집합의 선택은 각각의 기본 측정에 대하여 개별적으로 실시하였다. 이러한 문제를 해결하기 위하여 유전 알고리즘을 활용하는 접근방식을 사용하였다.

도 3은 본 발명의 실시 예에 따른 유전 알고리즘의 과정을 나타낸 흐름도이다.

알려진 바와 같이 유전 알고리즘을 생성하기 위해서는 다음과 같은 요인들을 정의하여야 한다.

1.유전 알고리즘 해답의 코딩 방법

2.품질 함수

3.유전 오퍼레이터: 선택, 번식(breeding), 돌연변이

4.종결 기준

유전 알고리즘의 첫 번째 단계에서는 해답의 초기 개체수(population)를 형성한다(S300~S310). 초기 생성은 일반적으로 우연한 방식으로 수행된다. 그 후 유전 알고리즘의 기본 사이클이 기능한다. 개체수 각각의 해법이 기능적 성능(performance functional)의 도움으로 측정된다(S320).

다음 단계에서는 이에 유전 오퍼레이터에 적용할 특성이 선택된다(S330). 이 선택 오퍼레이터의 결과는 염색체의 품질에 상당히 의존한다. 번식, 돌연변이, 재생산 오퍼레이터를 적용한 후 다시 얻은 특성과 이미 존재하는 염색체들은 새로운 해법 개체의 형성에 참여한다(S340~S350). 유전 알고리즘의 기본 사이클은 그 종결 기준이 수행될 때까지 계속된다(S360).

이러한 실행에서는 다음과 같은 유전 알고리즘 해법 코딩 도식이 제안되었다.

알고리즘은 N 크기의 바이너리 벡터에 의해 조정된다. 여기에서 N은 "네거티브" 얼굴의 초기 베이스(original base)에서 샘플들의 총개수이다. 만일 i번째 벡터 요소가 1이면, 베이스 중 해당하는 벡터는 현재 부분집합의 구성요소에 포함된다.

품질 함수는 근접성 함수 G가 한 사람의 얼굴을 나타내는 2개의 벡터를 비교할 때 최대치에 도달하여야 하고, 비교 대상 얼굴들이 서로 다른 사람의 얼굴일 경우 최소에 도달해야 한다는 요건에 기초하여 형성되었다. 이와 같이 다음의 품질 함수가 실현되었다.

[수학식 6]

여기에서 id(x) 함수의 값은 벡터 x가 속한 등급의 식별자이다.

유전 오퍼레이터로는 다음과 같은 것이 사용되었다.

"줄자(tape measure)"에 기초한 선택 오퍼레이터, 한 점 교차(one-poine crossover) 번식 오퍼레이터, 지정된 확률의 돌연변이 오퍼레이터가 사용되었으며, 종결 기준은 수행된 반복(iteration)의 횟수 및 품질 함수값에 변동이 없었던 반복의 횟수이었다.

이러한 구조를 지닌 유전 알고리즘은 기초 측정 각각에 대하여 개별적으로 시작되었다.

학습용 샘플과 테스트 샘플을 위한 이미지는 카메라 앞에 있는 피사체를 촬영하여 얻었고 이 때 사람은 머리를 원형으로 회전하였다. 그 밖에 각 피사체의 촬영은 4가지 타입의 조명에서 이루어졌다. 이렇게 얻은 베이스에는 9가지 원근각(approach angle)과 4가지 타입의 조명에서의 얼굴 이미지 샘플이 있다.

모든 베이스는 3개 부분으로 구분하였다:

1.학습용 부분집합: 317명의 1139개 얼굴

2.테스트 샘플: 318명의 1198개 얼굴

3."네거티브" 얼굴 베이스: 956명의 인물

이 부분은 옆 얼굴이 없었다.

6가지 근접성 측정 각각에 대하여 다음과 같은 파라메터를 지닌 별도의 유전 알고리즘이 적용되었다:

1.개체 크기 300

2.최대 반복 수: 200

3.돌연변이 확률: 0.05

그 결과 223~401명의 인물이 수록된 "네거티브" 얼굴 갤러리 6개가 형성되었다.

단일한 해법을 만들기 위하여 12개의 근접성 측정 방식을 모두 고려하여 AdaBoost 알고리즘을 사용하였다.

이렇게 얻은 인식 시스템은 테스트를 수행하였다.

도 4는 본 발명의 실시 예에 따른 개별 근접성 측정 조회 모드에서의 테스트 결과를 나타낸 그래프이고, 도 5는 개별 근접성 측정 조회 모드에서의 테스트 비교 결과를 나타낸 그래프이다.

도 3에는 6가지 근접성 측정과 유전 알고리즘을 사용하여 얻은 "네거티브" 인물들의 갤러리를 이용한 측정 각각의 테스트 비교 결과가 나타나 있다. 도 3에 도시된 그래프 자료를 분석한 결과, 본 발명의 실시 예에 따른 분류 절차의 조정(adjustment) 방법은 기본 측정과 비교하여 인식 효과를 현저히 상승시키는 것으로 나타났다.

AdaBoost를 이용하여 얻은 최종 측정의 테스트 결과는 도 4에 나타나 있다. 비교를 위하여 기초 측정 통합과 "네거티브" 샘플에 기초한 측정의 조합에 일치하는 AdaBoost 곡선이 나타나 있다. 도 4에 도시된 결과로부터, 본 발명의 실시 예에 따른 인물 식별 방법으로, 인물 식별 시스템의 성능을 현저히 상승시키는 "네거티브" 얼굴 갤러리를 찾을 수 있다는 것을 알 수 있다.

본 발명의 실시 예에 따른 시스템을 적용하기에 적합한 방식은, 기존의 비디오 관찰 시스템의 효과를 높이고 지능형 비디오관찰, 특별 목록에 따른 생체인식과 같은 타입의 부가 형식을 고려한 새로운 등급의 지능형 시스템을 제작하는 데에 활용하는 것이다. 이 때 기구는 최소한 한 개의 신호 프로세서를 포함하는 장비 플레이트 형태로 구현된다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 1은 본 발명의 실시 예에 따른 인물 식별 시스템의 구조도이다.

도 2는 본 발명의 실시 예에 따른 인물 식별 방법의 흐름도이다.

도 3은 본 발명의 실시 예에 따른 유전 알고리즘(genetic algorithm)의 일반적 작업 과정을 나타낸 흐름도이다.

도 4는 본 발명의 실시 예에 따른 개별 근접성 측정 조회 모드에서의 테스트 결과를 나타낸 그래프이다.

도 5는 개별 근접성 측정 조회 모드에서의 테스트 비교 결과를 나타낸 그래프이다.

Claims (7)

1. 이미지를 토대로 인물을 식별하는 시스템의 인물 식별 방법에서,

   상기 시스템을 통하여 조회를 받은 적이 없는 얼굴들에 해당하는 "네거티브" 얼굴 이미지 갤러리를 제작하는 단계;

   상기 시스템이 알고 있어야 하는 것으로 설정된 알려진 인물들에 대한 인물 갤러리를 제작하고, 알려진 인물 갤러리에 포함되는 이미지들을 설정된 내적 표상체계(internal representation)에 따른 이미지로 변환시키는 단계;

   입력되는 입력 이미지에서 사람의 얼굴을 탐색하는 단계;

   탐색된 얼굴을 다수의 구획으로 구분하고, 각 구획 부분에 대하여 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로 스케일(scaling) 조절, 명암 조절을 포함하는 전처리를 수행하는 단계;

   2개의 이미지들에 대한 유사성 측정이 가능한 기본적인 얼굴 인식 알고리즘을 수행하는 단계;

   상기 "네거티브" 인물 갤러리로부터 새로운 인식 알고리즘 선택의 근거가 되는 "네거티브" 얼굴 부분집합을 선택하는 단계;

   상기 선택된 "네거티브" 얼굴 부분 집합을 고려하고 기초 알고리즘 근접성 측정 전환에 기초하여 새로운 인식 알고리즘을 제작하는 단계; 및

   상기 제작된 새로운 인식 알고리즘에 따라 소정의 이미지를 등록된 이미지 집합에 따라 분류하는 단계

   를 포함하는 인물 식별 방법.
2. 제1항에 있어서,

   상기 "네거티브" 얼굴 부분 집합을 선택하는 단계는, 그 기능적 성능(performance functional)이 학습용 샘플(learning sample)의 얼굴 이미지에서 최대치에 도달하는 지정된 목록 중에서 얼굴 집합을 찾는, 인물 식별 방법.
3. 제2항에 있어서,

   상기 기능적 성능은, 입력되는 얼굴 이미지와 지정된 얼굴 이미지 및 선택된 "네거티브" 얼굴 이미지와의 근접성 측정을 토대로 하며, 이 측정은 기본 인식 알고리즘을 이용하여 계산된 것인, 인물 식별 방법.
4. 제1항에 있어서,

   상기 "네거티브" 얼굴의 부분 집합을 선택하는 단계는, 학습용 샘플과 기본 인식 알고리즘을 사용하여 계산된 "네거티브" 얼굴 이미지 간의 근접성 값으로 구성된 벡터들을 클러스터링(clustring)하는 것에 의하여 수행되며, 상기 클러스터링에 따라 생성되는 클러스터 중 하나를 원하는 부분집합으로 지정하는, 인물 식별 방법.
5. 제1항에 있어서,

   상기 새로운 인식 알고리즘이, 입력된 얼굴 이미지와 지정된 얼굴 이미지에 대하여 계산된 근접성 기본 측정, 또는 입력된 얼굴 이미지와 선택된 "네거티브" 얼굴 부분집합의 각각의 얼굴 이미지에 대하여 계산된 근접성 기본 측정에 기초하여 형성되는, 인물 식별 방법.
6. 제1항에 있어서,

   상기 새로운 인식 알고리즘이 "네거티브" 얼굴을 이용하여 계산된 기본 근접성 측정 및 새로운 근접성 측정을 통합하는 방식으로 형성되는, 인물 식별 방법.
7. 이미지를 토대로 인물을 식별하는 시스템에서,

   상기 시스템을 통하여 조회를 받은 적이 없는 얼굴들에 해당하는 "네거티브" 얼굴 이미지 갤러리를 저장하는 저장 블록;

   상기 시스템이 알고 있어야 하는 것으로 설정된 알려진 인물들에 대한 인물 갤러리에 포함되는 이미지들을 설정된 내적 표상체계(internal representation)에 따른 이미지로 변환시키는 변환 블록;

   입력되는 입력 이미지에서 사람의 얼굴을 탐색하는 탐색 블록;

   탐색된 얼굴을 다수의 구획으로 구분하고, 각 구획 부분에 대하여 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로 스케일(scaling) 조절, 명암 조절을 포함하는 전처리를 수행하는 셋업 블록;

   2개의 이미지에 대하여 유사성을 측정하는 기본 얼굴 인식 알고리즘을 수행하는 실행 블록;

   상기 "네거티브" 인물 갤러리로부터 새로운 인식 알고리즘 선택의 근거가 되는 "네거티브" 얼굴 부분집합을 선택하는 선택 블록;

   상기 선택된 "네거티브" 얼굴 부분 집합을 고려하고 기초 알고리즘 근접성 측정 전환에 기초하여 새로운 인식 알고리즘을 제작하는 설계 블록; 및

   입력 이미지를 상기 새로운 인식 알고리즘에 따라 지정된 이미지와 비교하여 등록된 이미지 집합에 따라 분류하는 인식 블록

   을 포함하는 인물 식별 시스템.

Images