KR101016758B1

KR101016758B1 - Method for identifying image face and system thereof

Info

Publication number: KR101016758B1
Application number: KR1020090011954A
Authority: KR
Inventors: 애드하모비치 이마토브 안와르; 유리비치 부리악 드미트리; 블라디미로비치 체르다코브 드미트리; 드미트리비치 쿠즈네초브 빅토르; 양해광; 이동성
Original assignee: 주식회사 에스원
Priority date: 2008-06-24
Filing date: 2009-02-13
Publication date: 2011-02-25
Also published as: KR20100002073A; RU2381553C1

Abstract

본 발명은 인물 식별 방법 및 그 시스템에 관한 것이다. The present invention relates to a person identification method and a system thereof.

본 발명은, 조회 대상이 아닌 자들에 해당하는 네거티브 얼굴 이미지 갤러리를 제작하고, 알려진 인물들에 해당하는 인물 갤러리를 제작한다. 그리고 인물 갤러리들의 이미지들은 인식 알고리즘을 위해 채택된 내적 표상체계(internal representation)에 따라 변환시키고, 인식 알고리즘을 수행한다. 먼저 입력 이미지에서 사람의 얼굴을 탐색하고, 탐색된 얼굴을 구성하는 각 구획 부분에 대하여 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로의 스케일(scaling) 조절, 그리고 명암 조절을 포함하는 전처리를 수행하여, 인식을 위한 셋업 작업을 수행한다. 이후, 2개의 이미지에 대하여 유사성을 측정하는 기본적인 얼굴 인식 알고리즘을 수행하고, 새로운 인식 알고리즘 선택의 근거가 되는 "네거티브" 얼굴 부분 집합을 선택한다. 그리고 선택된 "네거티브" 얼굴 부분 집합을 고려하고 기초 알고리즘 근접성 측정 전환에 기초하여 새로운 인식 알고리즘을 제작한다. 그리고 새로운 인식 알고리즘에 따라, 입력되는 이미지를 등록된 이미지 집합을 토대로 분류한다. According to the present invention, a negative face image gallery corresponding to those who are not subject to inquiry is produced, and a person gallery corresponding to known persons is produced. The images of the person gallery are converted according to the internal representation adopted for the recognition algorithm, and the recognition algorithm is executed. First, the human face is searched in the input image, and preprocessing including normalization of face position according to eye position, scaling to a specified size, and contrast control is performed for each partition part constituting the searched face. To perform setup for recognition. Then, a basic face recognition algorithm for measuring similarity is performed on the two images, and a "negative" face subset which is the basis for selecting a new recognition algorithm is selected. We then consider the selected "negative" face subset and build a new recognition algorithm based on the basic algorithm proximity measurement transition. Then, according to the new recognition algorithm, the input image is classified based on the registered image set.

인물식별, 이미지인식, 얼굴식별 Portrait identification, image recognition, face identification

Description

인물 식별 방법 및 그 시스템{Method for identifying image face and system thereof}Method for identifying image face and system approximately}

본 발명은 이미지 얼굴 식별 방법에 관한 것으로, 더욱 상세하게 말하자면, 인물을 식별하는 방법과 그의 시스템에 관한 것이다. The present invention relates to an image face identification method, and more particularly, to a method and a system for identifying a person.

얼굴 이미지에 따라 사람을 식별하는 것은 최근 수십 년간 큰 관심의 대상이 되어 왔다. 사람의 얼굴 이미지를 식별하는 시스템은 입력되는 분석 이미지에 따라 얻어진 유사 모델과 특정한 사람의 알고 있는 얼굴 모델(또는 이미지)을 비교하는 것에 기반하고 있다. 불과 얼마 전까지만 해도 이러한 시스템의 대부분은 비교 대상 이미지가 통제되는 조명 조건에서 얻어진 사람의 전면 얼굴 이미지이기를 요구하였다. 이러한 요구조건은 실제 인식 시스템을 적용하는 분야를 현저히 제한하였다. 이러한 문제를 해결할 수 있는 일련의 접근방법들이 제안되었으며, 그 방법들은 다음과 같다. Identifying people based on facial images has been of great interest in recent decades. The system for identifying a face image of a person is based on comparing the similar model obtained according to the input analysis image with a known face model (or image) of a specific person. Not long ago, most of these systems required that the image to be compared was a human front face image obtained under controlled lighting conditions. These requirements significantly limited the field of application of the actual recognition system. A series of approaches have been proposed to solve this problem.

미국 특허 번호 7,142,697에 개시된 "Post-invariant face recognition system and process"는 얼굴의 각 카메라 앵글에 대하여 별도의 분류기(classifiers)를 제작하는 것에 기반한 얼굴 인식 방법을 제안하고 있다. 식별에 대한 결정은 이러한 분류기들의 결과를 통합한 후에 내려진다. 인식 대상인 얼굴 이미지는 주성분법(principal component analysis, PCA)을 사용하여 코딩되는데, 이것은 널리 알려져 있는 성분 분석 방법(component analysis method) 중 하나이다. 기본 분류기로는 신경망이 사용되며, 신경망의 입력으로 PCA 벡터가 사용되고, 출력부(outputs)는 등록된 클래스 중 하나에 도달하기까지 근접 측정값을 코딩한다. 얻어진 결과를 통합하기 위하여 신경망도 적용되는데, 신경망의 입력부로 1단계 분류기 전체로부터 받은 근접 측정값이 들어가고, 출력부는 식별된 피사체의 등급과 초기 이미지에 제시된 얼굴의 카메라 앵글을 코딩한다. 이렇게 상기 종래 방법은 얼굴의 회전 각이 넓은 범위에 있는 경우에도 인식이 가능하다. 그 밖에 이 방법은 특정한 등록된 인물들에 적응된다. 이와 함께 이와 유사한 신경망 캐스케이드(cascade)는 계산 용량이 커 실시간으로 사용하기가 어렵다. “Post-invariant face recognition system and process” disclosed in US Pat. No. 7,142,697 proposes a face recognition method based on fabricating separate classifiers for each camera angle of the face. A decision about identification is made after integrating the results of these classifiers. The face image to be recognized is coded using principal component analysis (PCA), which is one of the well-known component analysis methods. As a basic classifier, a neural network is used, a PCA vector is used as the input of the neural network, and the outputs code the proximity measurement until reaching one of the registered classes. A neural network is also applied to integrate the obtained results. The input of the neural network includes proximity measurements received from the first stage classifier, and the output codes the class of the identified subject and the camera angle of the face presented in the initial image. Thus, the conventional method can recognize even when the rotation angle of the face is in a wide range. In addition, this method is adapted to certain registered persons. Similarly, similar neural network cascades have high computational capacity and are difficult to use in real time.

또한 미국 특허 7,203,346에 기재된 "Face recognition method and apparatus using component based face descriptor"는 얼굴 이미지 개별 구역(예를 들어 눈, 입, 코, 이마 등)에 따라 근접 측정을 수행하고 두 얼굴 이미지를 비교하는 방법을 기반으로 하는 얼굴 인식 알고리즘을 제안하고 있다. 계산값 각각에는 미리 계산된 값들이 추가되며, 그 후 2개의 이미지의 유사성에 대한 최종 측정이 이루어진다. 그 밖에 미리 이미지상의 얼굴의 카메라 앵글 값이 계산되고 이를 위해 LDA(Linear Discriminate Analysis) 방법이 적용되며, 얻어진 정보는 2개의 얼굴을 비교하는 방법에서 사용된다. 얼굴 부분 이미지 코딩은 LDA법을 통해 이루어진다. 그러나 이러한 방법은 복잡한 조명 조건 및 전면 얼굴이 아닌 경우에 효과적 이다. In addition, "Face recognition method and apparatus using component based face descriptor" described in US Pat. No. 7,203,346 describes a method for performing proximity measurements and comparing two face images according to individual regions of the face image (e.g., eyes, mouth, nose, forehead, etc.). We propose a face recognition algorithm based on. Precalculated values are added to each of the calculated values, after which a final measurement of the similarity of the two images is made. In addition, the camera angle value of the face on the image is calculated in advance, and the linear discriminate analysis (LDA) method is applied for this purpose, and the obtained information is used in a method of comparing two faces. Facial part image coding is done through the LDA method. However, this method is effective in complex lighting conditions and non front faces.

또한 미국 특허 7,031,499에 기재된 "Object recognition system" 는, 필터 세트와 간단한 분류기 증폭 방법에 기초하여 얼굴을 인식하도록 하는 방법을 제안하고 있다. 이러한 방법에 기초하여 분류기 캐스케이드(classifiers cascade)를 생성하고, 이 때 이러한 캐스케이드 요소들의 값들 적응형으로 설정한다. 필터는 특정 등록된 사용자들에 따라 직접 선택된다. The "Object recognition system" described in US Pat. No. 7,031,499 also proposes a method for face recognition based on filter sets and simple classifier amplification methods. Based on this method, we create a classifiers cascade and set the values of these cascade elements to adaptive. The filter is selected directly according to the specific registered users.

또한 미국 특허 6,826,300에 기재된 "Feature based classification"는 템플릿으로 이미지 근접 측정을 수행하는 방법을 제시하였다. 이 때 가버 웨이블릿 기저에 기초하여 얼굴 이미지 형상 초과 제시(excess notation)가 사용된다. 주요 구성요소와 선형 식별 분석법에 기초하여 얼굴 이미지의 주요 유효 형상을 선택하는 방법이 사용되며 마할로노비스 측정과 코사인 측정 중 하나의 방식에 따라 근접 측정을 계산한다.Also, "Feature based classification" described in US Pat. No. 6,826,300, presented a method of performing image proximity measurements with a template. At this time, facial image shape excess notation is used based on the Gabor wavelet basis. A method of selecting the main effective shape of the face image based on the principal component and linear identification analysis is used, and the proximity measurement is calculated according to one of the Mahalanobis measurements and the cosine measurements.

또한 Q.Yang, X.Ding.의 논문 "Using Competitive Prototypes for the Verification on Unspecific Persons"( Proceedings 6th Asian Conference on Computer Vision ACCV2004, pp.55-60.[5])는, 테스트 얼굴 이미지와 등록된 얼굴 이미지의 유사성에 기초할 뿐 아니라 테스트 샘플을 등록되지 않은 얼굴 집합과 비교하여 신분을 조회하도록 하는 방법을 제안하고 있다. 이와 같이 " 등록된" 등급 또는 "등록되지 않은" 등급 중 어떤 것과 테스트 대상이 근접한지 자체 비교가 이루어진다. 그 결과 작성된 곡선은 조회하는 등급을 더욱 더 정확하게 설명하므로 이로써 오 인식의 발생 가능성은 감소된다. In addition, Q.Yang, X.Ding.'S paper "Using Competitive Prototypes for the Verification on Unspecific Persons" (Proceedings 6th Asian Conference on Computer Vision ACCV2004, pp.55-60. [5]), In addition to the similarity of face images, we propose a method to check identity by comparing test samples with unregistered face sets. As such, a comparison is made between the "registered" grade or the "unregistered" grade and whether the test object is close. The resulting curve more accurately describes the grade to be queried, thereby reducing the likelihood of false recognition.

또한, P.Wang, L.C.Tram, Q.Ji의 논문 "Improving Face Recognition by Online Image Alignment"(Proceedings of the 18^th International Conference on Pattern Recognition (ICPR'06), 2006. [6])은, 조회 방식과 테스트 샘플과 다른 등록된 등급들 간의 유사성 측정의 비교를 통해 인식 결과의 정확성을 예비 평가하는 방법이 제안되었다. 테스트 샘플이 몇 가지 등급에 동시에 근접할 경우 정확성 평가 결과는 낮게 나오게 된다. In addition, P.Wang, LCTram, paper "Improving Face Recognition by Online Image Alignment " (Proceedings of the 18 th International Conference on Pattern Recognition (ICPR'06), 2006. [6]) of Q.Ji is viewed as the way A method of preliminarily evaluating the accuracy of the recognition result has been proposed by comparing similarity measures between test samples and other registered grades. If the test sample is close to several grades at the same time, the accuracy assessment results will be low.

본 발명이 이루고자 하는 기술적 과제는 보다 정확하게 특정 인물의 이미지를 인식할 수 있는 인물 식별 방법 및 그 시스템을 제공하는 것이다. It is an object of the present invention to provide a person identification method and system for recognizing an image of a specific person more accurately.

본 발명의 특징에 따른 인물 식별 방법에서는 다음과 같은 업무를 수행한다. In the person identification method according to the characteristics of the present invention performs the following tasks.

- 조회 대상이 아닌 자들의 " 네거티브" 얼굴 이미지 갤러리를 제작한다.-Create "Negative" face image galleries of those who are not subject to inquiry.

- 알려진 인물 갤러리를 제작하고, 알려진 인물 갤러리에 포함되는 이미지를 인식 알고리즘을 위해 채택된 내적 표상체계(internal representation)로 전환시킨다. Create a known people gallery and convert the images contained in the known people gallery into an internal representation adopted for the recognition algorithm.

그리고 인식 알고리즘은 다음과 같은 방식으로 구현된다.And the recognition algorithm is implemented in the following way.

- 입력되는 이미지에서 사람의 얼굴을 탐색한다.-Search for the face of a person in the input image.

- 탐색된 얼굴을 구성하는 각 구획 부분에 대하여, 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로 스케일(scaling) 조절, 명암 조절 등의 처리를 수행한다. 이러한 것은 인식을 위한 준비 과정에 해당한다. For each partition part constituting the searched face, processing such as normalization of face position according to eye position, scaling to a specified size, and contrast adjustment are performed. This is the preparation process for recognition.

- 2개의 이미지의 유사성 측정이 가능한 기본적인 얼굴 인식 알고리즘을 수행한다.Perform a basic face recognition algorithm that can measure the similarity of two images.

- 새로운 인식 알고리즘 선택의 근거가 되는 "네거티브" 얼굴 부분 집합을 선택한다. Select a "negative" face subset on which to base the selection of the new recognition algorithm.

- "네거티브" 얼굴 갤러리를 고려하고 기초 알고리즘 근접성 측정 전환에 기초하여 , 새로운 인식 알고리즘을 제작한다. Consider a "negative" face gallery and build a new recognition algorithm based on the conversion of the underlying algorithm proximity measurement.

- 등록된 이미지 집합에 따라 분류한다. -Classify according to registered image set.

본 발명의 다른 특징에 따른 인물 식별 시스템은, 조회 대상이 아닌 자들의 "네거티브" 얼굴 이미지 갤러리를 저장하는 저장 블록; 알려진 인물들에 대한 인물 갤러리에 포함되는 이미지들을 설정된 내적 표상체계(internal representation)에 다른 이미지로 변환시키는 변환 블록; 입력되는 입력 이미지에서 사람의 얼굴을 탐색하는 탐색 블록; 탐색된 얼굴을 다수의 구획으로 구분하고, 각 구획 부분에 대하여 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로 스케일(scaling) 조절, 명암 조절을 포함하는 전처리를 수행하는 셋업 블록; 2개의 이미지에 대하여 유사성을 측정하는 기본 얼굴 인식 알고리즘을 수행하는 실행 블록; 상기 "네거티브" 인물 갤러리로부터 새로운 인식 알고리즘 선택의 근거가 되는 "네거티브" 얼굴 부분집합을 선택하는 선택 블록; 상기 선택된 "네거티브" 얼굴 부분 집합을 고려하고 기초 알고리즘 근접성 측정 전환에 기초하여 새로운 인식 알고리즘을 제작하는 설 계 블록; 및 입력 이미지를 상기 새로운 인식 알고리즘에 따라 지정된 이미지와 비교하여 등록된 이미지 집합에 따라 분류하는 인식 블록을 포함한다. According to another aspect of the present invention, a person identification system includes a storage block for storing a gallery of "negative" face images of those who are not to be queried; A transformation block for converting images included in the person gallery for the known persons into another image in a set internal representation; A search block for searching for a face of a person in the input image; A setup block for dividing the searched face into a plurality of sections, and performing pre-processing for each section portion including face normalization according to eye position, scaling to a specified size, and contrast adjustment; An execution block that performs a basic face recognition algorithm that measures similarity for the two images; A selection block for selecting a "negative" face subset on which to base a new recognition algorithm selection from the "negative" person gallery; A design block that considers the selected “negative” face subset and builds a new recognition algorithm based on a basic algorithm proximity measurement transition; And a recognition block for classifying the input image according to the registered image set by comparing the input image with an image designated according to the new recognition algorithm.

본 발명에 따르면, 정확하게 특정 인물의 이미지를 인식할 수 있다. 특히, 노이즈, 그늘, 외부의 추가적 물체(안경 등)가 있는 조건에서도 인물의 얼굴 인식 을 정확하게 식별할 수 있다. 또한 감시 목록(요주의자 목록)에 따른 인물의 식별이 정확하게 이루어진다. According to the present invention, it is possible to accurately recognize the image of a specific person. In particular, face recognition can be accurately identified even in the presence of noise, shade, and additional objects (glasses, etc.) outside. In addition, the identification of the person according to the watch list (the watch list) is accurate.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…블록", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise. In addition, terms such as "... block", "... module" described in the specification means a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software.

본 발명의 실시 예에 따른 인물 식별 시스템은 사람의 이미지에 의한 생체인 식 시스템으로 조명이 불균일한 조건에서 개인 인식 및 이미지상의 얼굴 회전 각 범위가 넓은 조건에서 사용할 수 있다. The person identification system according to an exemplary embodiment of the present invention is a biometric recognition system based on an image of a person, and may be used in a condition where a wide range of face recognition angle on an image is recognized in a situation where illumination is uneven.

본 발명의 실시 예에 따른 인물 식별 방법은, 관심 대상이 아닌 " 네거티브(negative) " 얼굴 등급을 이용하여 인식을 수행한다. 이러한 접근 방식에서 발생하는 주요 문제점들 중 하나는 이러한 네거티브 얼굴 집합의 선택이다. 이러한 얼굴은 효과적으로 조회 등급을 구분할 수 있도록 대표성이 있어야 한다. The person identification method according to an embodiment of the present invention performs recognition using a "negative" face grade that is not of interest. One of the major problems with this approach is the choice of such a negative face set. These faces must be representative so that they can effectively classify inquiry grades.

본 발명의 실시 예에 따른 인물 식별 방법의 주요 차별적 특징은 다음과 같다.The main distinguishing features of the person identification method according to an embodiment of the present invention are as follows.

- 노이즈, 그늘, 외부의 추가적 물체(안경 등)가 있는 조건에서 높은 인물의 얼굴 인식 능력 -Face recognition of high figures in the presence of noise, shadows, and extraneous objects (glasses, etc.)

- 감시 목록(요주의자 목록)에 따른 인물의 식별-Identification of the person according to the watch list

또한, 본 발명의 실시 예에 따른 인물 식별 방법에서, 지정된 과제를 효과적으로 해결할 수 있는 일련의 신기술들을 적용하였으며, 구체적으로 기존의 인식 알고리즘의 강화 및 자동 정밀 조정을 통하여 인물의 이미지 인식 방법의 효율성 향상시켰다. In addition, in the person identification method according to an embodiment of the present invention, a series of new technologies that can effectively solve a specified problem have been applied. Specifically, the efficiency of the image recognition method of the person is improved by reinforcing and automatically adjusting the existing recognition algorithm. I was.

또한 본 발명의 실시 예에 따른 인물 식별 방법에서, "네거티브" 얼굴의 부분 집합을 선택하는 것은, 그 기능적 성능(performance functional)이 학습용 샘플(learning sample)의 얼굴 이미지에서 최대치에 도달하는 지정된 목록 중에서 얼굴 집합을 찾는 것이다. Also, in the person identification method according to an embodiment of the present invention, selecting a subset of the "negative" face may include selecting a subset of the "negative" face from among a designated list in which the functional functional reaches a maximum value in the face image of the learning sample. Find a face set.

또한 본 발명의 실시 예에 따른 인물 식별 방법에서, 최적화를 해야 하는 기 능적 성능의 기초는 지정된 얼굴 및 선택된 "네거티브" 얼굴과 입력 얼굴 이미지의 근접성 측정이며, 이러한 측정이 기본 인식 알고리즘을 이용하여 계산된다.In addition, in the person identification method according to an embodiment of the present invention, the basis of the functional performance to be optimized is the proximity measurement between the specified face and the selected "negative" face and the input face image, and the measurement is calculated using a basic recognition algorithm. do.

또한 본 발명의 실시 예에 따른 인물 식별 방법에서, "네거티브" 얼굴의 부분 집합을 선택하는 방법은, 학습용 샘플의 이미지와 "네거티브" 얼굴 이미지 간의 근접성 값들로 구성되고 기본 인식 알고리즘을 이용하여 계산된 벡터들을 클러스터링(custering)하고, 생성된 클러스터들 중의 하나를 필요한 부분집합으로 지정한다. In addition, in the person identification method according to an embodiment of the present invention, the method for selecting a subset of the "negative" face is composed of proximity values between the image of the training sample and the "negative" face image and calculated using a basic recognition algorithm. Cluster the vectors and specify one of the generated clusters as the required subset.

또한 본 발명의 실시 예에 따른 인물 식별 방법에 따른 인식 알고리즘은, 입력된 얼굴 및 지정된 얼굴에 대하여, 또는 "네거티브" 얼굴 부분 집합 중의 입력 얼굴 및 지정된 얼굴에 대하여, 계산한 기본 근접성 측정에 기초하여 구성된다. In addition, the recognition algorithm according to the person identification method according to an embodiment of the present invention, based on the calculated basic proximity measurement for the input face and the specified face, or for the input face and the specified face in the "negative" face subset It is composed.

또한 본 발명의 실시 예에 따른 인물 식별 방법에 따른 인식 알고리즘은, "네거티브" 얼굴들을 사용하여 계산된 기본 근접성 측정 및 새로운 근접성 측정을 통합함으로써 구성된다. In addition, the recognition algorithm according to the person identification method according to an embodiment of the present invention is configured by integrating a basic proximity measure and a new proximity measure calculated using "negative" faces.

이제, 첨부한 도면을 참조로 하여 본 발명의 실시 예에 따른 키 관리 시스템 및 그 방법에 대하여 설명한다. Now, a key management system and method thereof according to an embodiment of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 인물 식별 시스템의 구조도이다. 1 is a structural diagram of a person identification system according to an embodiment of the present invention.

본 발명의 실시 예에 따른 인물 식별 시스템은, "네거티브" 얼굴, 즉 본 발명의 실시 예에 따른 방법으로 조회를 받아본 적이 전혀 없는 얼굴들의 이미지 갤러리를 저장하는 저장 블록(10), 알려져 있는 인물들의 이미지 갤러리를 설정 체계에 따라 변환하는 변환 블록(20), 입력되는 소정 이미지에서 얼굴을 탐지하는 얼굴 탐지 블록(30), 탐지된 얼굴이 있는 구획 부분에 대하여 전처리를 수행하여 인식을 위한 셋업 과정을 수행하는 셋업 블록(40), 2개의 이미지의 유사성 측정 계산을 위한 기초 얼굴 인식 알고리즘을 실행하는 실행 블록(50), "네거티브" 얼굴 부분 집합을 선택하는 선택 블록(60), 선택한 "네거티브" 얼굴 부분 집합에 해당하는 얼굴 갤러리를 고려하여 기초 알고리즘의 근접성 측정 변환에 기초한 새로운 인식 알고리즘을 설계하는 설계 블록(70), 입력 이미지와 지정된 이미지의 비교 또는 분류 알고리즘을 적용하여 입력 이미지를 등록된 이미지 집합에 따라 분류를 수행하는 인식 블록(80)을 포함한다. A person identification system according to an embodiment of the present invention includes a storage block 10 for storing an image gallery of "negative" faces, that is, faces which have never been inquired by the method according to an embodiment of the present invention. A conversion process for converting image galleries according to a setting scheme 20, a face detection block 30 for detecting a face from an input image, and a set-up process for recognition by performing preprocessing on a section having a detected face A setup block 40 for performing the following, an execution block 50 for executing a basic face recognition algorithm for calculating the similarity measure of the two images, a selection block 60 for selecting a “negative” face subset, and a selected “negative” A design block for designing a new recognition algorithm based on the proximity measurement transformation of the basic algorithm by considering the face gallery corresponding to the face subset (70) ), A recognition block 80 for classifying the input image according to the registered image set by applying a comparison or classification algorithm of the input image and the designated image.

여기서 변환 블록은(20)은 알려져 있는 인물들에 해당하는 얼굴 이미지들을 본 발명의 실시 예에 따른 시스템에 따른 실행된 인식 알고리즘에 채택된 내적 표상체계(internal representation)에 따른 얼굴 이미지로 변환시킨다. Here, the conversion block 20 converts the face images corresponding to the known persons into face images according to an internal representation adopted in the recognition algorithm according to the system according to the embodiment of the present invention.

셋업 블록(40)은 입력 이미지에서 얼굴이 있는 구획 부분들을 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로 스케일(scaling) 조절, 명암 조절 등의 전처리를 수행하여, 인식하기 위한 상태로 셋업시킨다. The setup block 40 performs preprocessing such as face position normalization according to the position of the eye, scaling to a designated size, adjusting the contrast, and the like in the input image to set up a state for recognition.

선택 블록(60)은 새로운 인식 알고리즘 자동 설계의 기초인 "네거티브" 얼굴 부분 집합을 선택하며, 이 때, 기능적 성능(performance functional)이 학습용 샘플의 얼굴 이미지에서 최대치에 도달하는 지정된 목록 중에서 얼굴 집합을 찾는다. The selection block 60 selects a “negative” face subset, which is the basis of the new recognition algorithm automatic design, wherein a face set is selected from a specified list where the functional functional reaches a maximum in the face image of the training sample. Find.

이러한 구조로 이루어지는 본 발명의 실시 예에 따른 인물 식별 시스템은 다음과 같은 방법을 토대로 동작한다. The person identification system according to the embodiment of the present invention having such a structure operates based on the following method.

도 2는 본 발명의 실시 예에 따른 인물 식별 방법의 흐름도이다. 도 3은 본 발명의 실시 예에 따른 유전 알고리즘(genetic algorithm)의 과정을 나타낸 흐름도이다. 2 is a flowchart illustrating a person identification method according to an embodiment of the present invention. 3 is a flowchart illustrating a process of a genetic algorithm according to an embodiment of the present invention.

먼저, 첨부한 도 2에서와 같이, 알려진 인물 갤러리를 준비한다(S100~S110). 이 인물 갤러리에는 시스템이 알고 있어야 할 인물들의 얼굴에 해당하는 이미지들이 포함된다. 이 갤러리에 있는 인물들 각각의 이미지는 본 발명의 실시 예에 따라 설정된 내적 표상체계(internal representation)에 따라 특수한 표상으로 변환된다. 그러한 표상으로는 예를 들면 얼굴 이미지에 따라 구성된 주요 성분 벡터, 최고 지점이 얼굴의 특정지점의 위치를 나타낸 그래프(눈꼬리, 입꼬리, 콧날(wing of nose), 코끝) 등이 있다. 분류를 하기 전 각각의 이미지를 선택된 표상에 맞게 변환한다. First, as shown in FIG. 2, a known person gallery is prepared (S100 to S110). The portrait gallery contains images that correspond to the faces of the characters the system should know. The image of each person in the gallery is converted into a special representation according to an internal representation set according to an embodiment of the present invention. Such representations include, for example, a principal component vector constructed according to a face image, a graph where the highest point represents the location of a particular point on the face (eye, nose, wing of nose, tip of nose). Before classification, each image is converted to fit the selected representation.

다음 단계에서는 알려진 인물 갤러리에 있는 사람들 중 한 사람을 표현한 이미지에서 얼굴을 찾는다(S120). 이를 위하여 임의의 얼굴 탐색 알고리즘을 사용한다. 예를 들어, 얼굴 좌표가 사용자에 의해 지정될 수 있다. 그 후 발견된 부위를 구획으로 나눈다(S130). 그리고 전처리를 수행한다(S140). 일반적인 경우 이 단계는 눈의 위치에 따른 얼굴 위치 정규화(normalization), 부위 스케일링, 눈의 위치에 따른 조정과 같은 조정(adjustment) 등이 포함된다. 전처리를 수행하는 것은, 분석 대상인 이미지에 대하여 원근각(approach angle), 제시된 얼굴의 방향을 얻어낸 촬영 조건(예를 들어, 조명)의 영향을 감소시키는 것이다. 이러한 단계는 학습용 샘플을 형성하는 각 이미지에 대하여 수행한다(S150). In the next step, a face is found from an image representing one of the people in the known person gallery (S120). To do this, we use a random face search algorithm. For example, face coordinates can be specified by the user. After that, the found area is divided into compartments (S130). And preprocessing is performed (S140). In general, this step involves normalizing the face position according to the position of the eye, scaling the area, and adjustments such as adjusting according to the position of the eye. Performing the preprocessing is to reduce the influence of the shooting angle (e.g., illumination) that obtains the perspective angle, the direction of the face presented to the image to be analyzed. This step is performed for each image forming a learning sample (S150).

다음, 본 발명의 실시 예에 따른 인물 식별 시스템이 전혀 조회한 적이 없는 "네거티브" 사람들의 얼굴 이미지들에 대하여, 위에 기술된 바와 같은 단계 즉, 이미지에서 얼굴을 찾고(발견) 이를 구획으로 구분한 후 전처리를 수행한다(S160). Next, with respect to face images of "negative" people who have never been queried by the person identification system according to an embodiment of the present invention, the steps described above, that is, the face is found in the image (discovered) and divided into sections Post-processing is performed (S160).

"네거티브" 인물들을 열거해 보자. 유사한 집합을 예를 들어 2명 또는 2명 이상의 실제 인물들의 얼굴 이미지의 인위적 생성을 통하여 제작할 수 있다. 테스트 얼굴과 알려진 얼굴의 유사성 단계를 양적으로 측정하기 위하여 얼굴 이미지의 선택적 제시보다 뛰어난 유사성 측정 방식이 사용된다. 이러한 방식으로는 마할로노비스 거리가 사용될 수 있다. "네거티브" 인물은 알려진 얼굴과 테스트 얼굴 비교 시 발생하는 분류 과제에서 2등급 피사체를 형성한다. 테스트 얼굴과 알려진 얼굴의 유사성 측정치는 동일한 측정방식으로 계산된 "네거티브" 얼굴 집합과 테스트 얼굴의 유사성 측정치와 비교된다. List the "negative" characters. Similar sets can be produced, for example, through the artificial generation of facial images of two or more real people. In order to quantitatively measure the similarity level between the test face and the known face, a similarity measure is used that is superior to the selective presentation of the face image. In this way the Mahalanobis distance can be used. "Negative" figures form a second-class subject in the classification task that occurs when comparing known and test faces. The similarity measure between the test face and the known face is compared with the similarity measure between the "negative" face set and the test face calculated using the same measurement method.

"네거티브" 얼굴 집합은 초기에 매우 크기 때문에 그 결과 그것을 사용하여 얻은 유사성 측정치는 테스트 얼굴을 비효율적으로 분류할 수 있다. 본 발명의 실시 예에서는 "네거티브" 얼굴의 부분 집합을 선택하며(S170), 이것은 본 발명의 실시 예에 따른 시스템의 선택 블록(60)에 의하여 수행된다. Since the "negative" face set is initially very large, the resulting similarity measure can inefficiently classify the test face. In the embodiment of the present invention, a subset of the "negative" face is selected (S170), which is performed by the selection block 60 of the system according to the embodiment of the present invention.

다음 단계에서는 최종 인식 규칙이 설립된다(S180). In the next step, the final recognition rule is established (S180).

일반적인 경우 분류 시스템의 확실성을 향상시키기 위하여 몇 가지 유사 측정들이 실행될 수 있다. 이 때 "네거티브" 얼굴들의 부분집합은 각각의 측정에서 별도로 선택하여야 한다. 그 결과 각 비교 이미지 쌍의 경우 "기초" 측정을 위한 그 근접성 수치 세트와 선택된 "네거티브" 샘플들을 고려하여 얻은 해당 수치들을 갖는다. 최종 결정은 수치 데이터 통합 결과를 분석하여 채택한다. 이를 위하여 예 를 들면 투표에 기초한 등급 방식, AdaBoost 에 기초한 선형(linear) 방식, SVM를 적용한 비선형 방식 등이 사용될 수 있다. 이 단계 이후 인물 식별 시스템은 조정(adjustment)되고 테스트 이미지를 처리하기 위한 준비가 이루어진다. In the general case several similar measures can be taken to improve the certainty of the classification system. The subset of "negative" faces should then be selected separately for each measurement. The result is that for each pair of comparison images, there is a corresponding set of values taken into account for the set of proximity values for the "based" measurement and the selected "negative" samples. The final decision is made by analyzing the numerical data integration results. For example, a voting based rating method, a linear method based on AdaBoost, and a nonlinear method using SVM may be used. After this step, the person identification system is adjusted and ready for processing the test image.

기능 모드에서 시스템으로 인식해야 하는 사람의 얼굴 이미지가 입력된다. 이 경우 시스템은 입력 이미지의 얼굴 식별, 즉 그 얼굴이 알려져 있는 인물 갤러리 중 어디에 속하는지, 만일 그렇다면 정확히 누구인지를 결정하여야 한다. 이를 위하여 갤러리에 있는 각각의 얼굴과 입력 얼굴의 연속적인 비교가 일어나고 설계된 인식 규칙에 따라 얼굴이 갤러리들 중 어느 것에 근접한지에 대한 결정이 내려진다. The image of the face of the person to be recognized as a system is entered in the function mode. In this case the system must determine the face identification of the input image, ie where the face belongs to a known figure gallery, and if so exactly who. To do this, a continuous comparison of each face in the gallery with the input face occurs and a decision is made as to which of the galleries the face is in accordance with the designed recognition rules.

테스트 이미지 외에 시스템으로 두 번째 이미지가 입력될 수 있는데, 이 때 시스템은 두 이미지의 유사성을 평가한다. 즉, 첫번째 입력된 테스트 이미지와 두번째 이미지가 동일한 한 사람에 속하는지를 평가한다. 이를 위하여 시스템은 테스트 이미지에 대하여 위에 기술된 바와 같은 발견, 구분, 전처리와 유사한 작업을 수행하며, 필요할 경우 두번째로 입력되는 이미지에 대해서도 위에 기술된 바와 같은 작업을 수행한다(S190). 그 후 이미 설계되어 있는 인식 규칙 즉, 최종 인식 규칙을 이용하여 테스트 이미지를 분류한다(S200). 즉 최종 인식 규칙을 이용하여 테스트 이미지의 얼굴을 식별하여 분류한다. In addition to the test image, a second image can be entered into the system, where the system evaluates the similarity of the two images. In other words, it is evaluated whether the first input test image and the second image belong to the same person. To this end, the system performs operations similar to the discovery, classification, and preprocessing as described above with respect to the test image, and if necessary, performs the operation as described above with respect to the second input image (S190). Thereafter, the test image is classified using a recognition rule that is already designed, that is, a final recognition rule (S200). That is, the face of the test image is identified and classified using the final recognition rule.

다음에는 일반적인 설계 원칙과 및 "네거티브" 인물 집합을 고려한 인물의 유사성 평가에 사용되는 계량 조정 원칙을 살펴보자. Next, let's look at the general design principles and the quantitative adjustment principles used to assess the similarity of a person with a "negative" character set in mind.

는 얼굴 이미지 대표인 벡터의 최종 부분집합이라고 하자.

는 인물 식별자(identifier) 집합으로, 그 얼굴들은 X 중의 벡터들에 일치하는 이미지에 나타나 있다.

은 "네거티브" 얼굴 이미지의 대표인 벡터의 최종 부분집합이라 하자.

는 Z 중의 벡터 식별자 집합이고 이 때

이다.

는 벡터의 학습이고, 이를 위한 식별자

는 알려져 있다;

는 집합 D의 식별자를 지니고 있는 인물의 표준 벡터 집합이다.

Let is the final subset of the vector representing the face image.

Is a set of person identifiers whose faces appear in the image corresponding to the vectors in X.

Is the final subset of the vector representing the "negative" face image.

Is a set of vector identifiers in Z, where

to be.

Is the learning of the vector, and an identifier for it

Is known;

Is a standard vector set of persons with the identifier of set D.

2개의 얼굴 이미지(몇 가지 선택된 대표 이미지에서)의 유사성 측정 함수는 다음과 같다. The similarity measurement function of two face images (in some selected representative images) is as follows.

[수학식 1][Equation 1]

이 때 G 값은 1이고, 이것은 분석 대상 이미지의 최대 유사성에 해당한다. G 함수를 만들고 부분집합

을 선택하여 최대 분류 효과를 얻는다. 효과는 학습용 샘플 T의 벡터들을 대상으로 표준 벡터 집합 H와 다음 품질 함수를 사용하여 다음과 같이 측정한다. This time G The value is 1, which corresponds to the maximum similarity of the image to be analyzed. G Create a function and subset

Select to get maximum classification effect. The effect is measured using the standard vector set H and the following quality function on the vectors of the training sample T as follows.

[수학식 2][Equation 2]

이와 같이 F 함수의 최적화 과제를 해결해야 한다. 즉, 선택된 G 함수 형태로

의 벡터 쌍에서 최대치에 도달하는 그러한 부분집합 S를 찾아야 한다. Thus F We need to solve the optimization problem of the function. That is, in the form of a selected G function

We need to find those subsets S that reach the maximum in the vector pair of.

본 발명의 실시 예에서는 G 함수를 다음과 같이 설계한다.In the embodiment of the present invention, the G function is designed as follows.

[수학식 3]&Quot; (3) "

여기에서

는 X 벡터들 사이의 거리 측정,

는 벡터와 벡터 집합 간의 거리 측정이다. From here

Is a distance measure between X vectors,

Is a measure of the distance between a vector and a set of vectors.

Y 함수로는 "통계" 측정(statistical metric)이라 불리는 식을 사용하여 다음과 같이 나타낼 수 있다. The Y function can be expressed as follows using an expression called "statistical metric".

[수학식 4]&Quot; (4) "

여기서, 함수 F의 최대화 과제를 해결하는 데에는 알려져 있는 최적화 알고리즘 중 어느 것이라도 적합하다. 특히 본 발명의 실시 예에서는 이러한 목적을 위하여 유전 알고리즘(genetic algorithm) 도구를 적용하였다. Here, any known optimization algorithm is suitable for solving the problem of maximizing the function F. In particular, in the embodiment of the present invention, a genetic algorithm tool is applied for this purpose.

본 발명의 실시 예에 따른 인물 식별 시스템의 실행 과정 중 하나를 살펴보면 다음과 같다. Looking at one of the execution process of the person identification system according to an embodiment of the present invention.

발견 과제 즉, 이미지로부터 얼굴을 탐색하는 과정에서는 얼굴 부위 및 눈 중심 좌표를 측정하는 벡터가 이용되었다. 각각의 포착된 얼굴에 대하여 직각 프래그먼트가 커팅(cut)되었고 눈 좌표에 따라 조정(adjustment)되었다. 그 후 얻은 기하학적 정상 이미지에 국소적 정규화(local normalization)를 적용하였다. 그 다음에는 각각의 커팅된 얼굴에 대하여 눈 부위와 얼굴 전체에 일치하는 3가지 프래그먼트로 그룹을 만들었다. 전처리의 마지막 단계로 각각의 프래그먼트들에 대하여 가버 필터로 웨이브렛 변환을 수행하였고, 그 결과 분류 단계에서 사용되는 벡터가 형성되었다. In the discovery task, that is, in the process of searching for a face from an image, a vector measuring a face part and an eye center coordinate was used. For each captured face a right angle fragment was cut and adjusted according to eye coordinates. Local normalization was then applied to the resulting geometric normal images. Next, for each cut face, groups were made of three fragments that correspond to the eye area and the entire face. As a final step of the preprocessing, wavelet transform was performed on each fragment with a Gabor filter, resulting in a vector used in the classification step.

2가지 벡터 --얼굴 대표의 유사성 측정에 이용된 것은 마할로노비스 거리와 코사인 측정이다. 이렇게 각각의 비교 얼굴 쌍에 대하여 6회의 유사성 측정 계산을 수행하였다. The two vector-face representatives used to measure the similarity are Mahalanobis distance and cosine measurements. Thus, six similarity measurement calculations were performed for each comparison face pair.

측정 각각에 대하여 분류되는 벡터의 경우 비교 대상 벡터와 선택된 부분집합의 "네거티브" 얼굴 벡터에 대한 근접성을 계산하였다. 새로운 근접성 측정은 다음과 같은 "경쟁" 측정을 이용하여 수행하였다.For vectors classified for each of the measurements, the proximity of the vector to be compared to the "negative" face vector of the selected subset was calculated. New proximity measurements were performed using the following “competition” measurements.

[수학식 5][Equation 5]

여기에서 중량

은 벡터 t와 s의 근접성에 비례한다. Weight here

Is proportional to the proximity of the vectors t and s.

이와 같이 비교 대상 얼굴의 유사성에 대한 최종 결정은 12개의 수치에 의해 내려진다. 그 중 6가지는 "기본" 측정이고, 나머지 6가지는 "네거티브" 얼굴을 고려한 측정이다. Thus, the final decision on the similarity of the face to be compared is made by 12 values. Six of them are "basic" measurements, and the other six are "negative" faces.

"네거티브" 얼굴의 준최적(suboptimum) 부분집합의 선택은 각각의 기본 측정에 대하여 개별적으로 실시하였다. 이러한 문제를 해결하기 위하여 유전 알고리즘을 활용하는 접근방식을 사용하였다. The selection of suboptimum subsets of "negative" faces was made separately for each baseline measurement. To solve this problem, we use an approach that uses genetic algorithm.

도 3은 본 발명의 실시 예에 따른 유전 알고리즘의 과정을 나타낸 흐름도이다. 3 is a flowchart illustrating a process of a genetic algorithm according to an exemplary embodiment of the present invention.

알려진 바와 같이 유전 알고리즘을 생성하기 위해서는 다음과 같은 요인들을 정의하여야 한다.As is known, in order to generate a genetic algorithm, the following factors must be defined.

1.유전 알고리즘 해답의 코딩 방법1. Coding method of genetic algorithm solution

2.품질 함수2.quality function

3.유전 오퍼레이터: 선택, 번식(breeding), 돌연변이Genetic operators: selection, breeding, mutation

4.종결 기준4. Termination Criteria

유전 알고리즘의 첫 번째 단계에서는 해답의 초기 개체수(population)를 형성한다(S300~S310). 초기 생성은 일반적으로 우연한 방식으로 수행된다. 그 후 유전 알고리즘의 기본 사이클이 기능한다. 개체수 각각의 해법이 기능적 성능(performance functional)의 도움으로 측정된다(S320). In the first step of the genetic algorithm, an initial population of solutions is formed (S300 ~ S310). Initial generation is generally performed in a casual way. The basic cycle of the genetic algorithm then functions. Each solution of the population is measured with the help of performance functional (S320).

다음 단계에서는 이에 유전 오퍼레이터에 적용할 특성이 선택된다(S330). 이 선택 오퍼레이터의 결과는 염색체의 품질에 상당히 의존한다. 번식, 돌연변이, 재생산 오퍼레이터를 적용한 후 다시 얻은 특성과 이미 존재하는 염색체들은 새로운 해법 개체의 형성에 참여한다(S340~S350). 유전 알고리즘의 기본 사이클은 그 종결 기준이 수행될 때까지 계속된다(S360). In the next step, the characteristic to be applied to the oilfield operator is selected (S330). The result of this selection operator depends heavily on the quality of the chromosome. After reproductive, mutant, and reproductive operators are applied, traits and chromosomes already present participate in the formation of new solution individuals (S340-S350). The basic cycle of the genetic algorithm continues until the termination criterion is performed (S360).

이러한 실행에서는 다음과 같은 유전 알고리즘 해법 코딩 도식이 제안되었다. In this implementation, the following genetic algorithm solution coding scheme is proposed.

알고리즘은 N 크기의 바이너리 벡터에 의해 조정된다. 여기에서 N은 "네거티브" 얼굴의 초기 베이스(original base)에서 샘플들의 총개수이다. 만일 i번째 벡터 요소가 1이면, 베이스 중 해당하는 벡터는 현재 부분집합의 구성요소에 포함된다. The algorithm is adjusted by a binary vector of size N. Where N is the total number of samples at the original base of the "negative" face. If the i th vector element is 1, the corresponding vector of the base is included in the elements of the current subset.

품질 함수는 근접성 함수 G가 한 사람의 얼굴을 나타내는 2개의 벡터를 비교할 때 최대치에 도달하여야 하고, 비교 대상 얼굴들이 서로 다른 사람의 얼굴일 경우 최소에 도달해야 한다는 요건에 기초하여 형성되었다. 이와 같이 다음의 품질 함수가 실현되었다.The quality function was formed based on the requirement that the proximity function G must reach a maximum when comparing two vectors representing one person's face and reach a minimum if the faces to be compared are different people's faces. Thus, the following quality function was realized.

[수학식 6]&Quot; (6) "

여기에서 id(x) 함수의 값은 벡터 x가 속한 등급의 식별자이다. Where the value of the id (x) function is the identifier of the class to which the vector x belongs.

유전 오퍼레이터로는 다음과 같은 것이 사용되었다.As the oil field operator, the followings were used.

"줄자(tape measure)"에 기초한 선택 오퍼레이터, 한 점 교차(one-poine crossover) 번식 오퍼레이터, 지정된 확률의 돌연변이 오퍼레이터가 사용되었으며, 종결 기준은 수행된 반복(iteration)의 횟수 및 품질 함수값에 변동이 없었던 반복의 횟수이었다. Selection operators based on "tape measure", one-poine crossover breeding operators, and mutant operators of specified probability were used, with termination criteria varying in the number of iterations performed and the value of the quality function. There was no number of iterations.

이러한 구조를 지닌 유전 알고리즘은 기초 측정 각각에 대하여 개별적으로 시작되었다. Genetic algorithms with this structure were started separately for each of the baseline measurements.

학습용 샘플과 테스트 샘플을 위한 이미지는 카메라 앞에 있는 피사체를 촬영하여 얻었고 이 때 사람은 머리를 원형으로 회전하였다. 그 밖에 각 피사체의 촬영은 4가지 타입의 조명에서 이루어졌다. 이렇게 얻은 베이스에는 9가지 원근각(approach angle)과 4가지 타입의 조명에서의 얼굴 이미지 샘플이 있다. Images for the training and test samples were obtained by photographing the subject in front of the camera, at which time the person rotated his head in a circle. In addition, each subject was shot under four types of lighting. The base thus obtained contains face image samples at nine perspective angles and four types of illumination.

모든 베이스는 3개 부분으로 구분하였다:All bases were divided into three parts:

1.학습용 부분집합: 317명의 1139개 얼굴1.Learning subset: 1139 faces of 317 people

2.테스트 샘플: 318명의 1198개 얼굴2.Test Sample: 318 1198 Faces

3."네거티브" 얼굴 베이스: 956명의 인물3. "Negative" face base: 956 characters

이 부분은 옆 얼굴이 없었다.This part had no side faces.

6가지 근접성 측정 각각에 대하여 다음과 같은 파라메터를 지닌 별도의 유전 알고리즘이 적용되었다:For each of the six proximity measurements, a separate genetic algorithm with the following parameters was applied:

1.개체 크기 3001.object size 300

2.최대 반복 수: 2002.maximum number of iterations: 200

3.돌연변이 확률: 0.053 mutation probability: 0.05

그 결과 223~401명의 인물이 수록된 "네거티브" 얼굴 갤러리 6개가 형성되었다. As a result, six "negative" face galleries containing 223 to 401 people were formed.

단일한 해법을 만들기 위하여 12개의 근접성 측정 방식을 모두 고려하여 AdaBoost 알고리즘을 사용하였다. The AdaBoost algorithm was used to consider all 12 proximity measurements to create a single solution.

이렇게 얻은 인식 시스템은 테스트를 수행하였다. The recognition system thus obtained was tested.

도 4는 본 발명의 실시 예에 따른 개별 근접성 측정 조회 모드에서의 테스트 결과를 나타낸 그래프이고, 도 5는 개별 근접성 측정 조회 모드에서의 테스트 비교 결과를 나타낸 그래프이다. 4 is a graph illustrating test results in an individual proximity measurement inquiry mode according to an exemplary embodiment of the present invention, and FIG. 5 is a graph illustrating test comparison results in an individual proximity measurement inquiry mode.

도 3에는 6가지 근접성 측정과 유전 알고리즘을 사용하여 얻은 "네거티브" 인물들의 갤러리를 이용한 측정 각각의 테스트 비교 결과가 나타나 있다. 도 3에 도시된 그래프 자료를 분석한 결과, 본 발명의 실시 예에 따른 분류 절차의 조정(adjustment) 방법은 기본 측정과 비교하여 인식 효과를 현저히 상승시키는 것으로 나타났다. 3 shows the test comparison results for each of the measurements using a gallery of "negative" figures obtained using six proximity measurements and genetic algorithms. As a result of analyzing the graph data shown in FIG. 3, it was found that the adjustment method of the classification procedure according to the embodiment of the present invention significantly increases the recognition effect compared to the basic measurement.

AdaBoost를 이용하여 얻은 최종 측정의 테스트 결과는 도 4에 나타나 있다. 비교를 위하여 기초 측정 통합과 "네거티브" 샘플에 기초한 측정의 조합에 일치하는 AdaBoost 곡선이 나타나 있다. 도 4에 도시된 결과로부터, 본 발명의 실시 예에 따른 인물 식별 방법으로, 인물 식별 시스템의 성능을 현저히 상승시키는 "네거티브" 얼굴 갤러리를 찾을 수 있다는 것을 알 수 있다. Test results of the final measurements obtained using AdaBoost are shown in FIG. 4. For comparison, an AdaBoost curve is shown that corresponds to the combination of baseline measurement integration and measurement based on “negative” samples. From the results shown in FIG. 4, it can be seen that the "negative" face gallery that significantly increases the performance of the person identification system can be found by the person identification method according to an embodiment of the present invention.

본 발명의 실시 예에 따른 시스템을 적용하기에 적합한 방식은, 기존의 비디오 관찰 시스템의 효과를 높이고 지능형 비디오관찰, 특별 목록에 따른 생체인식과 같은 타입의 부가 형식을 고려한 새로운 등급의 지능형 시스템을 제작하는 데에 활용하는 것이다. 이 때 기구는 최소한 한 개의 신호 프로세서를 포함하는 장비 플레이트 형태로 구현된다. A suitable method for applying the system according to an embodiment of the present invention is to increase the effectiveness of the existing video observation system, and to produce a new class of intelligent system in consideration of additional types of types such as intelligent video observation and special recognition according to a special list. It is to be used to. The instrument is then implemented in the form of an equipment plate containing at least one signal processor.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. The embodiments of the present invention described above are not only implemented by the apparatus and method but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded, The embodiments can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

도 2는 본 발명의 실시 예에 따른 인물 식별 방법의 흐름도이다. 2 is a flowchart illustrating a person identification method according to an embodiment of the present invention.

도 3은 본 발명의 실시 예에 따른 유전 알고리즘(genetic algorithm)의 일반적 작업 과정을 나타낸 흐름도이다. 3 is a flowchart illustrating a general operation of a genetic algorithm according to an embodiment of the present invention.

도 4는 본 발명의 실시 예에 따른 개별 근접성 측정 조회 모드에서의 테스트 결과를 나타낸 그래프이다. 4 is a graph illustrating test results in an individual proximity measurement inquiry mode according to an exemplary embodiment of the present invention.

도 5는 개별 근접성 측정 조회 모드에서의 테스트 비교 결과를 나타낸 그래프이다. 5 is a graph illustrating a test comparison result in an individual proximity measurement inquiry mode.

Claims

이미지를 토대로 인물을 식별하는 시스템의 인물 식별 방법에서,In the person identification method of the system that identifies the person based on the image,

상기 시스템을 통하여 조회를 받은 적이 없는 얼굴들에 해당하는 "네거티브" 얼굴 이미지 갤러리를 제작하는 단계;Creating a "negative" facial image gallery corresponding to faces that have never been queried through the system;

상기 시스템이 알고 있어야 하는 것으로 설정된 알려진 인물들에 대한 인물 갤러리를 제작하고, 알려진 인물 갤러리에 포함되는 이미지들을 설정된 내적 표상체계(internal representation)에 따른 이미지로 변환시키는 단계;Creating a person gallery for known persons set to be known by the system and converting the images included in the known person gallery into images according to a set internal representation;

입력되는 입력 이미지에서 사람의 얼굴을 탐색하는 단계;Searching for a face of a person in the input image;

탐색된 얼굴을 다수의 구획으로 구분하고, 각 구획 부분에 대하여 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로 스케일(scaling) 조절, 명암 조절을 포함하는 전처리를 수행하는 단계;Dividing the searched face into a plurality of sections, and performing preprocessing on each of the sections including face normalization according to eye position, scaling to a specified size, and contrast control;

2개의 이미지들에 대한 유사성 측정이 가능한 기본적인 얼굴 인식 알고리즘을 수행하는 단계;Performing a basic face recognition algorithm capable of measuring similarity between two images;

상기 "네거티브" 인물 갤러리로부터 새로운 인식 알고리즘 선택의 근거가 되는 "네거티브" 얼굴 부분집합을 선택하는 단계;Selecting a “negative” face subset from which the “negative” person gallery is the basis for selecting a new recognition algorithm;

상기 선택된 "네거티브" 얼굴 부분 집합을 고려하고 기초 알고리즘 근접성 측정 전환에 기초하여 새로운 인식 알고리즘을 제작하는 단계; 및Considering the selected “negative” face subset and constructing a new recognition algorithm based on a basic algorithm proximity measurement transition; And

상기 제작된 새로운 인식 알고리즘에 따라 소정의 이미지를 등록된 이미지 집합에 따라 분류하는 단계Classifying a predetermined image according to a registered image set according to the produced new recognition algorithm.

를 포함하는 인물 식별 방법.Person identification method comprising a.

제1항에 있어서, The method of claim 1,

상기 "네거티브" 얼굴 부분 집합을 선택하는 단계는, 그 기능적 성능(performance functional)이 학습용 샘플(learning sample)의 얼굴 이미지에서 최대치에 도달하는 지정된 목록 중에서 얼굴 집합을 찾는, 인물 식별 방법.Selecting the "negative" face subset comprises finding a face set from a specified list whose performance functional reaches a maximum in a face image of a learning sample.

제2항에 있어서,The method of claim 2,

상기 기능적 성능은, 입력되는 얼굴 이미지와 지정된 얼굴 이미지 및 선택된 "네거티브" 얼굴 이미지와의 근접성 측정을 토대로 하며, 이 측정은 기본 인식 알고리즘을 이용하여 계산된 것인, 인물 식별 방법.Wherein said functional performance is based on a proximity measurement of an input face image with a specified face image and a selected "negative" face image, wherein the measurement is calculated using a basic recognition algorithm.

제1항에 있어서, The method of claim 1,

상기 "네거티브" 얼굴의 부분 집합을 선택하는 단계는, 학습용 샘플과 기본 인식 알고리즘을 사용하여 계산된 "네거티브" 얼굴 이미지 간의 근접성 값으로 구성된 벡터들을 클러스터링(clustring)하는 것에 의하여 수행되며, 상기 클러스터링에 따라 생성되는 클러스터 중 하나를 원하는 부분집합으로 지정하는, 인물 식별 방법.Selecting a subset of the "negative" face is performed by clustering vectors of proximity values between the training sample and the "negative" face image calculated using a basic recognition algorithm. A method for identifying people, specifying one of the resulting clusters as a desired subset.

제1항에 있어서, The method of claim 1,

상기 새로운 인식 알고리즘이, 입력된 얼굴 이미지와 지정된 얼굴 이미지에 대하여 계산된 근접성 기본 측정, 또는 입력된 얼굴 이미지와 선택된 "네거티브" 얼굴 부분집합의 각각의 얼굴 이미지에 대하여 계산된 근접성 기본 측정에 기초하여 형성되는, 인물 식별 방법.The new recognition algorithm is based on a proximity basis measurement calculated for the input face image and the specified face image, or based on a proximity basis measurement calculated for each face image of the input face image and the selected "negative" face subset. Formed, person identification method.

제1항에 있어서, The method of claim 1,

상기 새로운 인식 알고리즘이 "네거티브" 얼굴을 이용하여 계산된 기본 근접성 측정 및 새로운 근접성 측정을 통합하는 방식으로 형성되는, 인물 식별 방법.And wherein the new recognition algorithm is formed in a manner that integrates the basic proximity measure and the new proximity measure calculated using the "negative" face.

이미지를 토대로 인물을 식별하는 시스템에서,In a system that identifies people based on images,

상기 시스템을 통하여 조회를 받은 적이 없는 얼굴들에 해당하는 "네거티브" 얼굴 이미지 갤러리를 저장하는 저장 블록;A storage block for storing a "negative" face image gallery corresponding to faces that have not been queried through the system;

상기 시스템이 알고 있어야 하는 것으로 설정된 알려진 인물들에 대한 인물 갤러리에 포함되는 이미지들을 설정된 내적 표상체계(internal representation)에 따른 이미지로 변환시키는 변환 블록;A transformation block for converting the images included in the person gallery for the known persons that the system is supposed to know into an image according to a set internal representation;

입력되는 입력 이미지에서 사람의 얼굴을 탐색하는 탐색 블록;A search block for searching for a face of a person in the input image;

탐색된 얼굴을 다수의 구획으로 구분하고, 각 구획 부분에 대하여 눈의 위치에 따른 얼굴 위치 정규화, 지정된 크기로 스케일(scaling) 조절, 명암 조절을 포함하는 전처리를 수행하는 셋업 블록;A setup block for dividing the searched face into a plurality of sections, and performing pre-processing for each section portion including face normalization according to eye position, scaling to a specified size, and contrast adjustment;

2개의 이미지에 대하여 유사성을 측정하는 기본 얼굴 인식 알고리즘을 수행하는 실행 블록;An execution block that performs a basic face recognition algorithm that measures similarity for the two images;

상기 "네거티브" 인물 갤러리로부터 새로운 인식 알고리즘 선택의 근거가 되는 "네거티브" 얼굴 부분집합을 선택하는 선택 블록;A selection block for selecting a "negative" face subset on which to base a new recognition algorithm selection from the "negative" person gallery;

상기 선택된 "네거티브" 얼굴 부분 집합을 고려하고 기초 알고리즘 근접성 측정 전환에 기초하여 새로운 인식 알고리즘을 제작하는 설계 블록; 및 A design block that considers the selected “negative” face subset and builds a new recognition algorithm based on a basic algorithm proximity measurement transition; And

입력 이미지를 상기 새로운 인식 알고리즘에 따라 지정된 이미지와 비교하여 등록된 이미지 집합에 따라 분류하는 인식 블록Recognition block for classifying the input image according to the registered image set by comparing the input image with the specified image according to the new recognition algorithm

을 포함하는 인물 식별 시스템.Person identification system comprising a.