KR101070442B1 - Face recognition system and method using multi-level face recognition - Google Patents

Face recognition system and method using multi-level face recognition Download PDF

Info

Publication number
KR101070442B1
KR101070442B1 KR1020100041332A KR20100041332A KR101070442B1 KR 101070442 B1 KR101070442 B1 KR 101070442B1 KR 1020100041332 A KR1020100041332 A KR 1020100041332A KR 20100041332 A KR20100041332 A KR 20100041332A KR 101070442 B1 KR101070442 B1 KR 101070442B1
Authority
KR
South Korea
Prior art keywords
value
frr
face
far
threshold
Prior art date
Application number
KR1020100041332A
Other languages
Korean (ko)
Inventor
박흥준
오철균
김익동
정연술
Original Assignee
주식회사 크라스아이디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크라스아이디 filed Critical 주식회사 크라스아이디
Priority to KR1020100041332A priority Critical patent/KR101070442B1/en
Application granted granted Critical
Publication of KR101070442B1 publication Critical patent/KR101070442B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)

Abstract

다중 레벨 얼굴 인식을 이용한 인증 시스템 및 방법이 제공된다. 상기 다중 레벨 얼굴 인식을 이용한 인증 시스템은 얼굴영상을 포함하는 제1 입력영상 및 제2 입력영상을 획득하는 영상 획득부; 상기 제1 입력영상에 대하여 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 기초로 하여 얼굴 인식을 수행하여 상기 얼굴영상으로 추정되는 복수의 인물로 구성되는 유사 그룹을 추출하는 유사 얼굴 인증부; 상기 제2 입력영상에 대하여 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치를 기초로 하여 얼굴 인식을 수행하여 상기 추출된 유사 그룹 중에서 최종 등록 인물로 인증하는 다중 레벨 인증부; 및 상기 제1 FRR 값 및 상기 제1 FAR 값에 대응되는 상기 제1 임계치를 설정하거나 또는 상기 제2 FRR 값 및 상기 제2 FAR 값에 대응되는 제2 임계치를 설정하는 제어부를 포함한다.An authentication system and method using multilevel face recognition is provided. The authentication system using the multi-level face recognition includes an image acquisition unit for acquiring a first input image and a second input image including a face image; Based on the first FRR value and the first threshold value corresponding to the first FAR value, face recognition is performed based on the first input image to extract a similar group including a plurality of persons estimated as the face image. A similar face authenticator; A multi-level authentication unit performing face recognition on the second input image based on a second threshold value corresponding to a second FRR value and a second FAR value to authenticate as a final registered person among the extracted similar groups; And a controller configured to set the first threshold value corresponding to the first FRR value and the first FAR value or to set a second threshold value corresponding to the second FRR value and the second FAR value.

Description

다중 레벨 얼굴 인식을 이용한 얼굴 인증 시스템 및 인증 방법{Face recognition system and method using multi-level face recognition}Face recognition system and method using multi-level face recognition

본 발명은 이중 또는 그 이상의 얼굴 인식을 이용한 인증 시스템 및 인증 방법에 관한 것으로서, 보다 상세하게는 얼굴 인식을 다중으로 실시하여 인증의 정확도 및 신뢰성을 높일 수 있는 인증 시스템 및 인증 방법에 관한 것이다.The present invention relates to an authentication system and an authentication method using double or more face recognition, and more particularly, to an authentication system and authentication method capable of increasing the accuracy and reliability of authentication by performing multiple face recognition.

정보화 사회가 발달함에 따라 사람을 식별하기 위한 신분 확인 기술이 중요해지고 있으며, 컴퓨터를 이용한 개인의 정보 보호 및 신분 확인을 위해 인체 특징을 이용하는 생체 인식 기술이 연구되고 있다. 생체 인식 기술 중에서도 얼굴 인식 기술은 지문 인식, 홍채 인식 등 사용자의 특별한 동작이나 행위를 요구하는 인식 기술과 달리 비접촉식으로 사용자의 신분을 확인할 수 있기에 편리할 수 있다.As information society develops, identification technology for identifying people is becoming important, and biometric technology using human features for personal information protection and identification using computers is being researched. Among the biometric technologies, the face recognition technology may be convenient to identify the user in a non-contact manner, unlike a recognition technology requiring a user's special operation or action such as fingerprint recognition and iris recognition.

얼굴 인식 기술은 멀티미디어 데이터베이스 검색 핵심 기술 중의 하나로 얼굴 정보를 이용한 동영상의 요약, 이미지 검색, 보안, 감시 시스템 등에 이용될 수 있다.Face recognition technology is one of the core technologies for multimedia database search, and can be used for video summary, face search, security, and surveillance system using face information.

하지만, 일반적인 얼굴 인식 기법은 동일한 인물에 대하여 다양한 각도에서의 촬영된 영상, 다양한 표정, 조명, 이미지 처리(Image processing)에 따라 인식 결과가 달라져 성능을 저하시킬 수 있다.However, in the general face recognition technique, the recognition result varies depending on images captured at various angles, various expressions, lighting, and image processing for the same person, thereby degrading performance.

이에 따라, 얼굴 인식에 의한 인증 시스템의 신뢰성 및 정확성을 높일 수 있는 방안이 필요하다.Accordingly, there is a need for a method capable of increasing the reliability and accuracy of the authentication system by face recognition.

본 발명이 해결하고자 하는 과제는 일차적으로 유사도가 높은 유사 그룹을 추출하고, 이차적으로 추출된 그룹에서 얼굴 인증을 하는 인증 시스템 및 인증 방법을 제공하는 것이다.An object of the present invention is to provide an authentication system and an authentication method for extracting a similar group having a high similarity primarily, and performing face authentication in the extracted group.

또한, 본 발명이 해결하고자 하는 다른 과제는 FAR 값 및 FRR 값에 대응되는 임계치를 조정함에 의하여 얼굴 인식을 다중적으로 수행하는 인증 시스템 및 인증 방법을 제공하는 것이다.In addition, another object of the present invention is to provide an authentication system and an authentication method for performing face recognition multiplely by adjusting a threshold corresponding to the FAR value and the FRR value.

본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Problems to be solved by the present invention are not limited to the above-mentioned problems, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 본 발명의 다중 레벨 얼굴 인식을 이용한 인증 시스템의 일 양태(Aspect)는 얼굴영상을 포함하는 제1 입력영상 및 제2 입력영상을 획득하는 영상 획득부; 상기 제1 입력영상에 대하여 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 기초로 하여 얼굴 인식을 수행하여 상기 얼굴영상으로 추정되는 복수의 인물로 구성되는 유사 그룹을 추출하는 유사 얼굴 인증부; 상기 제2 입력영상에 대하여 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치를 기초로 하여 얼굴 인식을 수행하여 상기 추출된 유사 그룹 중에서 최종 등록 인물로 인증하는 다중 레벨 인증부; 및 상기 제1 FRR 값 및 상기 제1 FAR 값에 대응되는 상기 제1 임계치를 설정하거나 또는 상기 제2 FRR 값 및 상기 제2 FAR 값에 대응되는 제2 임계치를 설정하는 제어부를 포함한다. 또한 시스템의 중요도에 따라서 다중 얼굴 인증부는 3중 또는 그 이상의 다중 얼굴인식 단계로 확장될 수 있다. An aspect of an authentication system using multi-level face recognition according to the present invention for solving the above problems includes an image acquisition unit for acquiring a first input image and a second input image including a face image; Based on the first FRR value and the first threshold value corresponding to the first FAR value, face recognition is performed based on the first input image to extract a similar group including a plurality of persons estimated as the face image. A similar face authenticator; A multi-level authentication unit performing face recognition on the second input image based on a second threshold value corresponding to a second FRR value and a second FAR value to authenticate as a final registered person among the extracted similar groups; And a controller configured to set the first threshold value corresponding to the first FRR value and the first FAR value or to set a second threshold value corresponding to the second FRR value and the second FAR value. Also, depending on the importance of the system, the multi-face authentication unit may be extended to triple or more multi-face recognition stages.

상기 과제를 해결하기 위한 본 발명의 다중 레벨 얼굴 인식을 이용한 인증 시스템의 다른 양태(Aspect)는 얼굴영상을 포함하는 입력영상 및 표정을 포함하는 표정영상을 획득하는 영상 획득부; 상기 입력영상에 대하여 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 얼굴 인식을 수행하여 상기 얼굴 영상으로 추정되는 복수의 인물로 구성되는 유사 그룹을 추출하는 유사 얼굴 인증부; 상기 표정영상에 대하여 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치를 기초로 하여 표정 인식을 수행하여 상기 추출된 유사 그룹 중에서 최종 등록 인물로 인증하는 다중 레벨 인증부; 및 상기 제1 FRR 값 및 상기 제1 FAR 값에 대응되는 상기 제1 임계치를 설정하거나 또는 상기 제2 FRR 값 및 상기 제2 FAR 값에 대응되는 제2 임계치를 설정하는 제어부를 포함한다. 또한 시스템의 중요도에 따라서 2단계 이상의 다중 단계의 얼굴 및 표정 인식 단계로 확장할 수 있으며, 각 단계의 표정의 순서는 등록자마다 서로 달리하여 등록 순서에 맞는 표정인증을 하게 함으로써 보안을 강화할 수 있다.Another aspect of the authentication system using the multi-level face recognition of the present invention for solving the above problems is an image acquisition unit for obtaining an input image including a face image and a facial expression image including an expression; Similar face authentication unit for extracting a similar group consisting of a plurality of people estimated as the face image by performing a face recognition on the input image based on a first FRR value and a first threshold value corresponding to the first FAR value ; A multi-level authentication unit that recognizes the facial expression image based on a second FRR value and a second threshold value corresponding to a second FAR value, and authenticates the final registered person among the extracted similar groups; And a controller configured to set the first threshold value corresponding to the first FRR value and the first FAR value or to set a second threshold value corresponding to the second FRR value and the second FAR value. In addition, depending on the importance of the system can be extended to two or more stages of facial and facial expression recognition stages, and the order of the facial expressions of each stage can be different for each registrant to enhance the security by facial expression authentication according to the registration order.

상기 과제를 해결하기 위한 본 발명의 다중 레벨 얼굴 인식을 이용한 인증 방법의 일 양태는 얼굴영상을 포함하는 제1 입력영상 및 제2 입력영상을 획득하는 단계; 상기 제1 입력영상에 대하여 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 기초로 하여 얼굴 인식을 수행하여 상기 얼굴영상으로 추정되는 복수의 인물로 구성되는 유사 그룹을 추출하는 단계; 상기 제1 FRR 값으로부터 조정된 제2 FRR 값을 설정하거나 또는 상기 제1 FAR 값으로부터 조정된 제2 FAR 값을 설정하여 이에 대응되는 제2 임계치를 설정하는 단계; 및 상기 제2 입력영상에 대하여 상기 제2 FRR 값 및 상기 제2 FAR 값에 대응되는 제2 임계치를 기초로 하여 얼굴 인식을 수행하여 상기 추출된 유사 그룹 중에서 최종 등록 인물로 인증하는 단계를 포함한다. 또한 시스템의 중요도에 따라서 2단계 이상의 다중 인증 단계로 확장될 수 있다.One aspect of the authentication method using the multi-level face recognition of the present invention for solving the above problems is a step of obtaining a first input image and a second input image including a face image; Based on the first FRR value and the first threshold value corresponding to the first FAR value, face recognition is performed based on the first input image to extract a similar group including a plurality of persons estimated as the face image. Making; Setting a second FRR value adjusted from the first FRR value or setting a second FAR value adjusted from the first FAR value to set a second threshold corresponding thereto; And performing face recognition on the second input image based on the second FRR value and a second threshold value corresponding to the second FAR value, and authenticating the person as a final registered person from the extracted similar group. . In addition, depending on the importance of the system can be extended to more than two levels of authentication.

상기 과제를 해결하기 위한 본 발명의 다중 레벨 얼굴 인식을 이용한 인증 방법의 다른 양태는 얼굴영상을 포함하는 입력영상 및 표정을 포함하는 표정영상을 획득하는 단계; 상기 입력영상에 대하여 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 기초로 하여 얼굴 인식을 수행하여 상기 얼굴영상으로 추정되는 복수의 인물로 구성되는 유사 그룹을 추출하는 단계; 상기 제1 FRR 값으로부터 조정된 제2 FRR 값을 설정하거나 또는 상기 제1 FAR 값으로부터 조정된 제2 FAR 값을 설정하여 이에 대응되는 제2 임계치를 설정하는 단계; 및 상기 표정영상에 대하여 상기 제2 FRR 값 및 상기 제2 FAR 값에 대응되는 제2 임계치를 기초로 하여 표정 인식을 수행하여 상기 추출된 유사 그룹 중에서 최종 등록 인물로 인증하는 단계를 포함한다. 또한 시스템의 중요도에 따라서 2단계 이상의 단계에서 서로 다른 표정 및 얼굴인증을 하는 다중 인증단계로 확장될 수 있다.Another aspect of the authentication method using the multi-level face recognition of the present invention for solving the above problems comprises the steps of: obtaining an input image including a face image and a facial expression image comprising an expression; Extracting a similar group including a plurality of persons estimated as the face image by performing face recognition based on a first FRR value and a first threshold value corresponding to the first FAR value with respect to the input image; ; Setting a second FRR value adjusted from the first FRR value or setting a second FAR value adjusted from the first FAR value to set a second threshold corresponding thereto; And performing facial expression recognition on the facial expression image based on the second FRR value and a second threshold value corresponding to the second FAR value, and authenticating the final registered person among the extracted similar groups. In addition, depending on the importance of the system can be extended to a multi-factor authentication step that performs different facial expressions and facial authentication in two or more steps.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

도 1은 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 시스템에서 유사 얼굴 인증부의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 시스템에서 다중 레벨 인증부의 블록도이다.
도 4a는 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 시스템에서의 제1 임계치의 설정을 보여주는 도면이다.
도 4b는 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 시스템에서 제1임계치로부터 제2 임계치의 설정을 보여주는 도면이다.
도 4c는 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 시스템에서의 룩업 테입블을 개략적으로 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 방법의 흐름도이다.
도 6는 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 방법에서 일차적 인증의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 방법에서 이차적 인증의 흐름도이다.1 is a block diagram of an authentication system using multi-level face recognition according to an embodiment of the present invention.
2 is a block diagram of a similar face authenticator in an authentication system using multi-level face recognition according to an embodiment of the present invention.
3 is a block diagram of a multilevel authentication unit in an authentication system using multilevel face recognition according to an embodiment of the present invention.
4A is a diagram illustrating setting of a first threshold value in an authentication system using multi-level face recognition according to an embodiment of the present invention.
4B is a diagram illustrating setting of a second threshold value from a first threshold value in an authentication system using multilevel face recognition according to an embodiment of the present invention.
4C is a diagram schematically illustrating a lookup tablet in an authentication system using multilevel face recognition according to an embodiment of the present invention.
5 is a flowchart of an authentication method using multi-level face recognition according to an embodiment of the present invention.
6 is a flowchart of primary authentication in an authentication method using multi-level face recognition according to an embodiment of the present invention.
7 is a flowchart of secondary authentication in an authentication method using multi-level face recognition according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 제시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments set forth below, but may be implemented in various forms, and only the present embodiments make the disclosure of the present invention complete, and those of ordinary skill in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims.

이하, 본 발명의 실시예들에 의하여 다중 레벨 얼굴 인식을 이용한 인증 시스템 및 인증 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Hereinafter, the present invention will be described with reference to the drawings of a block diagram or a processing flowchart for explaining an authentication system and an authentication method using multi-level face recognition according to embodiments of the present invention. At this point, it will be understood that each block of the flowchart illustrations and combinations of flowchart illustrations may be performed by computer program instructions. Since these computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, those instructions executed through the processor of the computer or other programmable data processing equipment may be described in flow chart block (s). It creates a means to perform the functions. These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory. It is also possible for the instructions stored in to produce an article of manufacture containing instruction means for performing the functions described in the flowchart block (s). Computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operating steps may be performed on the computer or other programmable data processing equipment to create a computer-implemented process to create a computer or other programmable data. Instructions for performing the processing equipment may also provide steps for performing the functions described in the flowchart block (s).

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block may represent a portion of a module, segment, or code that includes one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative implementations, the functions noted in the blocks may occur out of order. For example, the two blocks shown in succession may in fact be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending on the corresponding function.

본 실시예에서 사용되는 '~부' 또는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '~부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '~부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '~부' 또는 '모듈'들로 더 분리될 수 있다. The term '~' or 'module' used in this embodiment refers to software or a hardware component such as an FPGA or an ASIC, and the '~' or 'module' plays certain roles. However, '~' or 'module' is not meant to be limited to software or hardware. The 'unit' or 'module' may be configured to be in an addressable storage medium or may be configured to play one or more processors. Thus, as an example, a 'unit' or 'module' may include components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and the like. Procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and 'parts' or 'modules' may be combined into a smaller number of components and '~ parts' or 'modules' or additional components and '~ parts' or 'modules' Can be further separated into '.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이하, 본 발명의 실시예들에 의하여 다중 레벨 얼굴 인식을 이용한 인증 시스템 및 인증 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the present invention will be described with reference to the drawings for explaining an authentication system and an authentication method using multi-level face recognition according to embodiments of the present invention.

도 1은 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 시스템의 블록도를 보여준다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 시스템은 영상 획득부(100), 유사 얼굴 인증부(200), 다중 레벨 인증부(300), 제어부(400) 및 룩업 테이블 생성부(450)를 포함할 수 있다.1 is a block diagram of an authentication system using multi-level face recognition according to an embodiment of the present invention. Referring to FIG. 1, an authentication system using multi-level face recognition according to an embodiment of the present invention may include an image acquisition unit 100, a similar face authentication unit 200, a multi-level authentication unit 300, and a control unit 400. And a lookup table generator 450.

영상 획득부(100)는 외부로부터 제1 입력영상 및 제2 입력영상을 획득한다. 본 발명의 일 실시예에서의 영상 획득부(100)는 이단 이상의 다중 단계로 확장을 위하여 제3 입력영상, 제4 입력영상 등의 그 이상의 다중 입력영상을 획득할 수 있다. The image acquisition unit 100 obtains the first input image and the second input image from the outside. The image acquisition unit 100 according to an exemplary embodiment of the present disclosure may acquire multiple input images, such as a third input image and a fourth input image, for expansion to two or more stages.

영상 획득부(100)는 영상 이미지 센서에 의하여 제1 입력영상 및 제2 입력영상을 획득하거나 또는 외부로부터 유선 또는 무선 연결에 의하여 전송되는 제1 입력영상 및 제2 입력영상을 획득할 수 있다. 여기서, 제1 입력영상은 후술할 유사 얼굴 인증부(200)에 제공되는 입력영상이며, 제2 입력영상은 후술할 다중 레벨 인증부(300)에 제공되는 입력영상이다. 제1 입력영상 및 제2 입력영상은 동일 인물에 대한 얼굴영상을 포함하는 이미지 또는 서로 다른 표정영상을 포함하는 이미지일 수 있다. The image acquisition unit 100 may acquire the first input image and the second input image by the image image sensor, or may acquire the first input image and the second input image transmitted by a wired or wireless connection from the outside. Here, the first input image is an input image provided to the similar face authenticator 200 to be described later, and the second input image is an input image provided to the multi-level authenticator 300 to be described later. The first input image and the second input image may be an image including a face image of the same person or an image including different facial expression images.

예를 들어, 영상 이미지 센서에 의하여 입력영상을 획득하는 경우에는 소정의 렌즈를 통하여 입사되는 피사체의 영상 신호를 전기적 신호로 변환하여 입력영상을 획득할 수 있다. 여기서, 영상 이미지 센서는 CCD(Charge Coupled Device, CCD), CMOS, 기타 당업계에 알려진 영상 획득 수단을 포함할 수 있다. 이와 함께, 영상 이미지 센서에 의해 획득된 전기적인 신호를 디지털 신호로 변환하는 아날로그/디지털 변환기 및 아날로그/디지털 변환기에 의해 변환된 디지털 신호를 입력 받아 영상 신호를 처리하는 DSP(Digital Signal Processor, DSP) 등에 의하여 소정의 입력영상을 획득할 수 있다.For example, when an input image is acquired by an image image sensor, the input image may be obtained by converting an image signal of a subject incident through a predetermined lens into an electrical signal. Here, the image image sensor may include a charge coupled device (CCD), a CMOS, and other image acquisition means known in the art. In addition, a digital signal processor (DSP) for processing an image signal by receiving an analog / digital converter for converting an electrical signal obtained by the image image sensor into a digital signal and a digital signal converted by the analog / digital converter It is possible to obtain a predetermined input image by the.

또 다른 예로서, 입력영상은 저장매체에 저장되어 있거나 또는 유무선을 통하여 전송되어 본 발명의 일 실시예에 따른 유사 얼굴 인증부(200) 또는 다중 레벨 인증부(300)에 제공될 수 있다. As another example, the input image may be stored in a storage medium or transmitted through a wired or wireless network and provided to the similar face authentication unit 200 or the multi-level authentication unit 300 according to an embodiment of the present invention.

한편, 영상 획득부(100)는 획득된 입력영상을 단일 채널의 영상으로 변환할 수 있다. 예를 들어, 입력영상을 그레이(Gray) 스케일로 변경할 수 있다. 또는 입력영상이 'RGB' 채널의 다채널 영상인 경우에 이를 하나의 채널 값으로 변경할 수도 있다. 따라서, 입력영상에 대하여 하나의 채널에서의 인텐서티(Intensity) 값으로 변환함으로써, 입력영상에 대한 밝기 분포를 용이하게 나타낼 수 있다.The image acquisition unit 100 may convert the obtained input image into a single channel image. For example, the input image may be changed to a gray scale. Alternatively, when the input image is a multi-channel image of the 'RGB' channel, it may be changed to one channel value. Accordingly, by converting the input image into an intensity value in one channel, the brightness distribution of the input image can be easily represented.

유사 얼굴 인증부(200)는 제1 입력영상에 대하여 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 얼굴 인식을 수행하여 제1 입력영상에 포함된 얼굴영상으로 추정되는 복수의 후보 인물로 구성되는 유사 그룹을 추출하는 역할을 한다. 유사 얼굴 인증부(200)는 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 소정의 모집단으로 유사성이 있는 복수의 후보 인물로 구성된 유사 그룹을 추출할 수 있다. 여기서, FRR(False Rejection Rate) 값은 얼굴영상의 인물을 등록된 인물이 아니라고 거부하는 비율 값이며, FAR(False Accept Rate) 값은 얼굴영상의 인물을 다른 등록인물로 오인식하는 비율 값이다.The similar face authenticator 200 performs face recognition on the first input image based on a first threshold value corresponding to the first FRR value and the first FAR value, and is estimated as a face image included in the first input image. It extracts a similar group composed of a plurality of candidates. The similar face authenticator 200 may extract a similar group composed of a plurality of candidates having similarities in a predetermined population based on the first FRR value and the first threshold value corresponding to the first FAR value. Here, the FRR (False Rejection Rate) value is a rate value for rejecting a person in the face image as not a registered person, and a FAR (False Accept Rate) value is a rate value for misrecognizing a person in the face image as another registered person.

다중 레벨 인증부(300)는 제2 FRR 값 및 2 FAR 값에 대응되는 제2 임계치를 기초로 하여 제2 입력영상에 대하여 얼굴 인식을 수행하여 추출된 유사 그룹 중에서 최종 등록 인물로 인증하는 역할을 한다. 유사 얼굴 인증부(200) 및 다중 레벨 인증부(300)에 대하여는 뒤에서 상세히 설명하기로 한다.The multi-level authentication unit 300 performs a face recognition on the second input image based on the second FRR value and the second threshold value corresponding to the 2 FAR value, and authenticates the final registered person from the similar group extracted. do. The similar face authentication unit 200 and the multi-level authentication unit 300 will be described in detail later.

제어부(400)는 제1 FRR 값 및 상기 제1 FAR 값에 대응되는 상기 제1 임계치를 설정하거나 또는 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치를 설정하는 역할을 한다. 예를 들어, 제어부(400)는 후술할 룩업 테이블로부터 제2 FRR 값을 선택하거나 또는 제2 FAR 값을 선택함으로써 이에 대응되는 제2 임계치를 추출할 수 있다.The controller 400 sets a first threshold corresponding to a first FRR value and the first FAR value, or sets a second threshold corresponding to a second FRR value and a second FAR value. For example, the controller 400 may extract the second threshold corresponding to the second FRR value or the second FAR value from the lookup table to be described later.

제어부(400)는 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 설정하여 유사 얼굴 인증부(200)로 하여금 복수의 후보 인물로 구성되는 유사 그룹을 추출하도록 하며, 제2 FRR 값 및 제2 FAR의 값에 대응되는 제2 임계치를 설정하여 다중 레벨 인증부(300)로 하여금 최종 인증 얼굴로 인증하도록 할 수 있다. The controller 400 sets the first FRR value and a first threshold value corresponding to the first FAR value to cause the similar face authentication unit 200 to extract a similar group composed of a plurality of candidates, and a second FRR value. And a second threshold value corresponding to the value of the second FAR to allow the multi-level authenticator 300 to authenticate with the final authentication face.

룩업 테이블 생성부(450)는 FRR 값 및 FAR 값에 대응되는 임계치 값의 관계를 나타내는 룩업 테이블을 생성하는 역할을 한다. 예를 들어, 룩업 테이블은 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치의 관계 및 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치의 관계를 테이블 형식으로 생성할 수 있다. 다른 예로서, FRR 값을 소정의 간격으로 증가시키는 경우, 이에 따라 연동되는 FAR 값이 감소되며, 각각의 쌍으로 이루어지는 FRR 값 및 FAR 값에 대응되는 임계치의 관계를 테이블 형식으로 생성할 수 있다. The lookup table generator 450 generates a lookup table indicating a relationship between a FRR value and a threshold value corresponding to the FAR value. For example, the lookup table may generate the relationship between the first FRR value and the first threshold value corresponding to the first FAR value and the relationship between the second FRR value and the second threshold value corresponding to the second FAR value in a table form. . As another example, when the FRR value is increased at a predetermined interval, the associated FAR value is reduced accordingly, and a relationship between the FRR value composed of each pair and the threshold corresponding to the FAR value may be generated in a table format.

룩업 테이블 생성부(450)는 룩업 테이블을 미리 생성하여 소정의 메모리 상에 저장해 둘 수 있고, 제어부(400)로부터의 요청에 의해 룩업 테이블의 정보를 제어부(400)에 전달할 수 있다.The lookup table generating unit 450 may generate the lookup table in advance and store it in a predetermined memory, and may transfer information of the lookup table to the controller 400 by a request from the controller 400.

상기와 같이, 본 발명의 일 실시예에서는 유사 얼굴 인증부(200)에 의하여 복수의 후보 얼굴을 포함하는 유사 그룹을 일차적으로 추출하고, 다중 레벨 인증부(300)에 의하여 최종 등록 인물을 인증함으로써 얼굴 인식의 신뢰성 및 정확성을 높일 수 있다. As described above, in the exemplary embodiment of the present invention, the similar group including the plurality of candidate faces is first extracted by the similar face authenticator 200, and the final registered person is authenticated by the multi-level authenticator 300. The reliability and accuracy of face recognition can be improved.

한편, 얼굴 인식에 있어서는 촬영된 영상, 다양한 표정, 조명, 영상 처리 기법에 따라 인식 결과가 달라질 수 있다. 이와 함께, 얼굴 인식에 있어서는 실제 인물을 다른 인물로 인식하거나, 실제 인물을 등록되지 아니한 인물로 거절하는 경우가 지문, 홍채 인식 등의 기법에 비해 보다 빈번할 수 있다. Meanwhile, in face recognition, recognition results may vary according to a captured image, various expressions, lighting, and image processing techniques. In addition, in face recognition, it may be more frequent to recognize a real person as another person or to reject a real person as an unregistered person compared to a technique such as fingerprint or iris recognition.

이에 따라 본 발명의 일 실시예에서는 먼저 인식 결과가 민감하게 달라 질 수 있다는 점에 착안하여 먼저 일차적으로 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 설정하여 복수의 후보 인물로 구성되는 유사 그룹을 추출하도록 하고, 이차적으로 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치를 설정하여 유사 그룹에 포함된 복수의 후보 인물 중에서 최종 등록 인물을 인증하도록 함으로써 얼굴 인식의 인식률을 향상시킬 수 있을 뿐만 아니라 오인식률을 줄일 수 있다.Accordingly, in an embodiment of the present invention, first, the recognition result may be sensitively changed. First, the first threshold value corresponding to the first FRR value and the first FAR value is first configured to constitute a plurality of candidates. Extracting similar groups, and secondly setting second threshold values corresponding to the second FRR value and the second FAR value to authenticate the final registered person among the plurality of candidate people included in the similar group, thereby recognizing the recognition rate of face recognition. Not only can it be improved, but it can also reduce false recognition rates.

도 2는 본 발명의 일 실시예에 따른 이중 얼굴 인식을 이용한 인증 시스템에서 유사 얼굴 인증부의 블록도를 보여준다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 이중 얼굴 인식을 이용한 인증 시스템에서 유사 얼굴 인증부(200)는 제1 얼굴 추출부(230), 제1 특징정보 추출부(250) 및 유사 그룹 추출부(270)를 포함할 수 있다.2 is a block diagram of a similar face authentication unit in an authentication system using double face recognition according to an embodiment of the present invention. 2, in the authentication system using double face recognition according to an embodiment of the present invention, the similar face authenticator 200 may include a first face extractor 230, a first feature information extractor 250, and the like. The group extractor 270 may be included.

제1 얼굴 추출부(230)는 제1 입력영상으로부터 얼굴영역을 얼굴영상으로 추출하는 역할을 한다. 제1 얼굴 추출부(230)는 제1 입력영상으로부터 대략적인 얼굴을 검출 후에 얼굴 내의 특정 구성요소인 눈, 코, 입 등을 추출하고, 이를 바탕으로 얼굴영역을 추출할 수 있다. 예를 들어, 두 눈의 위치가 검출되었다면, 두 눈의 거리를 구할 수 있다. 제1 얼굴 추출부(230)는 두 눈 사이의 거리에 기초하여 제1 입력영상에서 얼굴영역을 얼굴영상으로 추출할 수도 있으며, 이로써 입력영상의 배경 혹은 사람의 머리 스타일의 변화 등에 대한 영향을 줄일 수 있다. 이와 함께, 제1 얼굴 추출부(230)는 추출된 얼굴 영역 정보를 이용하여 얼굴영역의 크기를 정규화 시킬 수 있다. 얼굴영역의 크기를 정규화시킴으로써 얼굴 영역에서의 두 눈과의 거리, 눈과 코 사이의 거리 등의 고유한 특징을 동일한 스케일 레벨로 산출할 수 있다.The first face extractor 230 extracts a face region from the first input image as a face image. The first face extractor 230 may extract eyes, nose, mouth, etc., which are specific components in the face, after detecting the approximate face from the first input image, and extract a face region based on the extracted face. For example, if the position of both eyes is detected, the distance of both eyes can be obtained. The first face extractor 230 may extract a face region from the first input image as a face image based on the distance between the two eyes, thereby reducing the influence on the background of the input image or a change in the human hair style. Can be. In addition, the first face extractor 230 may normalize the size of the face region using the extracted face region information. By normalizing the size of the face region, unique features such as the distance between two eyes and the distance between eyes and nose in the face region can be calculated at the same scale level.

제1 특징정보 추출부(250)는 제1 입력영상으로부터의 얼굴영상에 대한 특징정보를 추출할 수 있다. 여기서, 특징정보는 얼굴영상에 포함된 소정 얼굴에 대한 고유한 특성을 나타내는 정보를 말한다. 예를 들어, 특징정보는 PCA(Principal Component Analysis), LDA(Linear Discriminate Analysis) 등이 선택되어 사용될 수 있다. 다른 예로서, 2차원의 영상 행렬을 기반으로 얼굴영상의 특징정보를 추출할 수 있는 2D-PCA(2-Dimensional Principal Component Analysis) 기법을 이용할 수 있다. 2D-PCA 기법은 일반적인 PCA 기법에 비하여 프로젝션 행렬의 크기가 작아지므로, 이로 인하여 연산량 및 필요 메모리를 상대적으로 낮출 수 있기에 휴대용 장치, 저사양의 임베디드 시스템 등에 용이하게 적용될 수 있다. 따라서, 짧은 시간 내에 얼굴 인식이 가능하여 실시간으로 얼굴 인식이 이루어질 수 있다. The first feature information extractor 250 may extract feature information about the face image from the first input image. Here, the feature information refers to information representing unique characteristics of a predetermined face included in the face image. For example, the feature information may be selected by using Principal Component Analysis (PCA), Linear Discriminate Analysis (LDA), and the like. As another example, 2-Dimensional Principal Component Analysis (2D-PCA) may be used to extract feature information of a face image based on a two-dimensional image matrix. Since the size of the projection matrix is smaller than that of the general PCA method, the 2D-PCA technique can be easily applied to portable devices, low-end embedded systems, etc., because the amount of computation and required memory can be relatively low. Therefore, face recognition can be performed within a short time, so that face recognition can be performed in real time.

유사 그룹 추출부(270)는 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 제1 입력영상의 얼굴과 유사한 후보 인물로 구성된 유사 그룹을 추출하는 역할을 한다. 유사 그룹 추출부(270)는 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보 사이에서의 거리차가 제1 임계치 내인 경우에 상기 인물영상의 얼굴과 상기 제1 입력영상내의 얼굴을 동일인의 얼굴로 인식할 수 있다. 한편, 본 발명의 일 실시예에서는 제어부(400)에 의해 제1 임계치의 크기가 상대적으로 크게 설정될 수 있도록 할 수 있다. 제어부(400)가 제1 FRR 값을 상대적으로 낮은 값으로 선택하거나 또는 제1 FAR 값을 상대적으로 높은 값으로 선택하여 이에 대응되는 제1 임계치가 통상적인 임계치보다 크도록 할 수 있다. The similar group extractor 270 compares the extracted feature information with the feature information of the person image stored in the database and extracts a similar group composed of candidate persons similar to the face of the first input image. The similar group extractor 270 uses the face of the person image and the face of the first input image as the face of the same person when the distance difference between the extracted feature information and the feature information of the person image stored in the database is within a first threshold. I can recognize it. Meanwhile, in one embodiment of the present invention, the control unit 400 may allow the size of the first threshold to be relatively large. The controller 400 may select the first FRR value as a relatively low value or select the first FAR value as a relatively high value such that the first threshold corresponding thereto is larger than the conventional threshold.

이에 의하여, 유사 그룹 추출부(270)는 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보 사이에서의 거리차가 제1 임계치 내에 있는 복수의 인물영상으로 구성되는 추출된 얼굴과 유사한 후보 그룹을 데이터베이스(150)로부터 추출할 수 있다.Accordingly, the similar group extractor 270 may generate a database of candidate groups similar to the extracted face including a plurality of person images having a distance difference between the extracted feature information and the feature information of the person image stored in the database within a first threshold. It can extract from 150.

데이터베이스(150)는 복수의 인물영상 및/또는 인물영상의 특징정보를 저장한다. 여기서, 인물영상은 소정이 인물에 매칭될 수 있도록 데이터베이스에 저장된 얼굴영상을 말한다. 또는 데이터베이스(150)는 복수의 인물영상을 외부로부터 입력 받고, 이로부터 각 인물영상에 대한 특징정보를 추출하여 특징정보를 저장할 수 있다. 상기 각 인물영상의 특징정보는 미리 계산된 상태이거나 또는 본 발명의 일 실시예에 의하여 입력 시에 계산되어 데이터베이스(150)에 저장될 수 있다. The database 150 stores feature information of the plurality of person images and / or person images. Here, the person image refers to a face image stored in a database so that a predetermined match can be made to the person. Alternatively, the database 150 may receive a plurality of person images from outside, extract feature information about each person image, and store the feature information. The feature information of each person image may be calculated in advance or may be calculated at the time of input according to an embodiment of the present invention and stored in the database 150.

데이터베이스(150)는 복수의 인물영상 및/또는 복수의 인물영상의 특징정보를 유사 그룹 추출부(270)에 제공할 수 있다. 한편, 데이터베이스(150)에는 개개인의 등록인물에 대한 이름, 나이, 주소 등과 같은 신상정보, 보안등급 등을 더 포함하여 저장할 수도 있다.The database 150 may provide feature information of the plurality of person images and / or the plurality of person images to the similar group extractor 270. Meanwhile, the database 150 may further store personal information such as a name, age, address, and the like of a registered person, a security level, and the like.

상기와 같이, 본 발명의 일 실시예에서는 제어부(400)에 의해 기 설정된 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 일차적으로 유사도가 높은 복수의 인물영상을 추출할 수 있도록 한다. 이에 의하여, 곧바로 등록 인물 영상을 추출하는 것이 아니라, 유사도가 일정 범위 내에 포함되는 소정의 모집단을 일차적으로 추출할 수 있다. 이는, 일회성의 얼굴 인식에 의하여는 실제 인물을 다른 인물로 인식하거나, 실제 인물을 등록되지 아니한 인물로 거절하는 경우가 발생할 수 있기 때문이다.As described above, according to the exemplary embodiment of the present invention, the plurality of person images having a high similarity may be extracted based on the first FRR value and the first threshold value corresponding to the first FAR value preset by the controller 400. To help. As a result, instead of directly extracting the registered person image, it is possible to primarily extract a predetermined population whose similarity falls within a predetermined range. This is because the one-time face recognition may cause a case where the real person is recognized as another person or the real person is rejected as an unregistered person.

도 3은 본 발명의 일 실시예에 따른 이중 얼굴 인식을 이용한 인증 시스템에서 다중 레벨 인증부의 블록도를 보여준다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 이중 얼굴 인식을 이용한 인증 시스템에서 다중 레벨 인증부(300)는 제2 얼굴 추출부(330), 제2 특징정보 추출부(350) 및 최종 인증부(370)를 포함할 수 있다.3 is a block diagram of a multi-level authentication unit in an authentication system using double face recognition according to an embodiment of the present invention. Referring to FIG. 3, in the authentication system using dual face recognition according to an embodiment of the present invention, the multi-level authentication unit 300 may include a second face extractor 330, a second feature information extractor 350, and a final image. The authentication unit 370 may be included.

제2 얼굴 추출부(330)는 제2 입력영상으로부터 얼굴영역을 얼굴영상으로 추출하는 역할을 한다. 한편, 제2 얼굴 추출부(330)는 전술한 제1 얼굴 추출부(230)와 동일한 역할을 하여, 제1 얼굴 추출부(230)로 대체될 수 있다. 여기서, 제2 입력영상은 추출된 유사 그룹 중에서 최종 등록 인물로 인증하기 위하여 필요한 입력영상을 말한다.The second face extractor 330 extracts a face region from the second input image as a face image. Meanwhile, the second face extractor 330 may play the same role as the first face extractor 230 described above and may be replaced with the first face extractor 230. Here, the second input image refers to an input image necessary for authenticating as the final registered person among the extracted similar groups.

일례로서, 제2 입력영상은 제1 입력영상과 동일한 입력영상일 수 있다. 다른 예로서, 제2 입력영상은 제1 입력영상과 소정의 시간 간격을 두고 촬영된 영상일 수 있다. 또 다른 예로서, 제2 입력영상은 얼굴 표정을 포함하는 표정영상일 수 있다. 여기서, 표정영상은 얼굴을 구성하는 구성요소들(예를 들어, 눈, 코, 입)의 양태 및/또는 얼굴의 주름 등으로부터 나타나는 표정을 포함하는 영상을 말한다.As an example, the second input image may be the same input image as the first input image. As another example, the second input image may be an image photographed at a predetermined time interval from the first input image. As another example, the second input image may be an expression image including a facial expression. Here, the facial expression image refers to an image including facial expressions that appear from aspects of components (eg, eyes, nose, mouth) and / or wrinkles of the face constituting the face.

제2 특징정보 추출부(350)는 제2 입력영상으로부터의 얼굴영상에 대한 특징정보를 추출할 수 있다. 한편, 제2 특징정보 추출부(350)는 전술한 제1 특징정보 추출부(250)와 동일한 역할을 하여, 제1 특징정보 추출부(250)로 대체될 수 있다. 예를 들어, 제2 특징정부 추출부(350)는 제2 입력영상이 표정영상인 경우에는 눈의 위치 및 모양, 입의 위치 및 모양 등을 참조하여 얼굴의 특징정보를 추출할 수 있다.The second feature information extractor 350 may extract feature information about the face image from the second input image. Meanwhile, the second feature information extractor 350 plays the same role as the first feature information extractor 250 described above and may be replaced with the first feature information extractor 250. For example, when the second input image is the facial expression image, the second feature extractor 350 may extract the feature information of the face by referring to the position and shape of the eye, the position and shape of the mouth, and the like.

최종 인증부(370)는 제2 특징정보 추출부(350)에 의해 추출된 특징정보와 데이터베이스(150)에 저장된 인물영상의 특징정보를 비교하여 제2 입력영상의 얼굴을 최종적인 등록 인물로 인식하는 역할을 한다. 최종 인증부(370)는 제2 특징정보 추출부(350)에 의해 추출된 특징정보와 데이터베이스에 저장된 인물영상의 특징정보 사이에서의 거리차가 제2 임계치 내이거나 가장 근접한 등록인물을 최종 등록 인물로 추출할 수 있다. 본 발명의 일 실시예에서는 제어부(400)에 의해 설정된 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치를 기초로 하여 제2 입력영상에 포함된 얼굴영상을 이미 추출된 유사 그룹을 구성하는 복수의 인물에 가장 근접하거나 유사한 인물을 최종 등록인물로 추출할 수 있다. 한편, 데이터베이스(150)에 저장된 인물영상의 특징정보가 표정을 포함하는 인물영상의 특징정보인 경우에는 각 인물영상에 대한 표정의 특징정보가 저장될 수 있다.The final authenticator 370 recognizes the face of the second input image as the final registered person by comparing the feature information extracted by the second feature information extractor 350 with the feature information of the person image stored in the database 150. It plays a role. The final authenticator 370 determines that the registered person whose distance difference between the feature information extracted by the second feature information extractor 350 and the feature information of the person image stored in the database is within the second threshold or closest to the last registered person. Can be extracted. According to an embodiment of the present invention, a similar group having already extracted the face image included in the second input image based on the second FRR value and the second threshold value corresponding to the second FAR value set by the controller 400 is configured. The person closest to or similar to the plurality of persons may be extracted as the final registered person. Meanwhile, when the feature information of the person image stored in the database 150 is the feature information of the person image including the facial expression, the feature information of the facial expression for each person image may be stored.

한편, 본 발명의 다른 실시예로서 최종 인증부(370)는 유사 그룹 인증부(200)에서 추출된 유사 그룹 중에서 상기 얼굴 영상과의 제1 유사도 및 다중 레벨 인증부(300)에 의해 상기 얼굴 영상과의 제2 유사도를 이용하여 입력영상 내의 얼굴영상과의 유사도가 최대인 등록 인물을 최종 인증 얼굴로 검증할 수 있다. 최종 인증부(370)는 유사 그룹 인증부(200)에서 추출된 복수의 후보 인물 및 제1 입력영상 내의 얼굴영상과의 유사도를 제1 유사도로 산출하고, 다중 레벨 인증부(300)에서의 복수의 후보 인물 및 제2 입력영상 내의 얼굴영상과의 유사도를 제2 유사도로 산출하여, 산출된 제1 유사도 및 제2 유사도를 조합하여 최종적으로 유사도가 가장 높은 등록 인물을 최종 인증 얼굴로 인증할 수 있다. 예를 들어, 상기 제1 유사도 및 제2 유사도를 조합하는 방법은 각 유사도를 합하거나, 가중치 합 등의 방법에 의해 총합이 가장 높은 후보 인물을 최종 인증 얼굴로 인증할 수 있다.Meanwhile, as another embodiment of the present invention, the final authenticator 370 may include the first similarity with the face image among the similar groups extracted by the similar group authenticator 200 and the face image by the multi-level authenticator 300. The registered person having the maximum similarity with the face image in the input image may be verified as the final authenticated face using the second similarity with. The final authenticator 370 calculates the similarity degree between the plurality of candidates extracted from the similar group authenticator 200 and the face image in the first input image as the first similarity, and the multiple level authenticator 300 The similarity between the candidate person and the face image in the second input image is calculated as the second similarity, and the registered first person with the highest similarity can be authenticated as the final authentication face by combining the calculated first similarity and the second similarity. have. For example, in the method of combining the first similarity and the second similarity, the candidates having the highest total may be authenticated as the final authentication face by adding the similarities or adding the weights.

한편, 제어부(400)는 제2 FRR 값으로 제1 FRR 값보다 높은 값으로 선택하거나 또는 제2 FAR 값으로 제1 FAR 값보다 낮은 값으로 선택하여 이에 대응되는 제2 임계치를 제1 임계치보다 낮게 설정되도록 할 수 있다. 다른 예로서, 제어부(400)는 FRR 값 및 FAR 값에 대응되는 임계치의 관계를 나타내는 룩업 테이블로부터 제2 FRR 값을 선택하거나 또는 제2 FAR 값을 선택함으로써 제2 임계치를 설정할 수 있다.On the other hand, the controller 400 selects a second FRR value higher than the first FRR value or selects a second FAR value lower than the first FAR value so that the second threshold value is lower than the first threshold value. Can be set. As another example, the controller 400 may set the second threshold by selecting the second FRR value or selecting the second FAR value from the lookup table indicating the relationship between the FRR value and the threshold corresponding to the FAR value.

상기와 같이, 본 발명의 일 실시예에서는 이차적으로 얼굴 인증을 수행하는 다중 레벨 인증부(300)에 의하여 이미 일차적으로 추출된 유사 그룹 중에서 가장 근접하거나 소정 임계 범위 내에서 유사도 범위 내인 등록인물을 최종 등록인물로 추출함으로써, 얼굴 인식의 신뢰성을 다중으로 확보할 수 있다. 이와 함께, 얼굴 인식을 다중으로 수행하면서 FRR 값 및 FAR 값에 대응되는 각 임계치를 조정하여 적용함으로써 오인식이 빈번하게 발생될 수 있는 환경에서 최종적인 등록 인물을 신뢰성 있게 추출할 수 있다.As described above, according to the exemplary embodiment of the present invention, the registered person who is closest to the similarity group already extracted primarily by the multi-level authentication unit 300 which performs the second face authentication or is within the similarity range within a predetermined threshold range is finalized. By extracting as a registered person, it is possible to secure multiple reliability of face recognition. In addition, the final registered person can be reliably extracted in an environment in which misrecognition can be frequently generated by adjusting and applying each threshold corresponding to the FRR value and the FAR value while performing face recognition multiplely.

도 4a는 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 시스템에서의 제1 임계치의 설정을 보여주며, 도 4b는 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 시스템에서 제1임계치로부터 제2 임계치의 설정을 보여준다.4A illustrates the setting of a first threshold value in an authentication system using multilevel face recognition according to an embodiment of the present invention, and FIG. 4B illustrates an authentication system using multilevel face recognition according to an embodiment of the present invention. The setting of the second threshold from the first threshold is shown.

예를 들어, 입력영상 내의 얼굴영상으로부터 추출된 특징정보는 데이터베이스(150)에 등록된 인물정보와 유사도 판단에 의하여 얼굴 인식이 수행될 수 있다. For example, the feature information extracted from the face image in the input image may be subjected to face recognition by determining similarity with the person information registered in the database 150.

특징정보 및 인물정보의 비교는 다음의 수학식에 의할 수 있다.The comparison of the feature information and the person information may be performed by the following equation.

Figure 112010028520169-pat00001
Figure 112010028520169-pat00001

여기서, Y(i)는 입력영상 내의 얼굴영상으로부터 추출된 특징정보(또는 특징 벡터)이며, Y(j)는 데이터베이스(150)에 등록된 등록인물의 특징정보(특징 벡터)이다.Here, Y (i) is feature information (or feature vector) extracted from the face image in the input image, and Y (j) is feature information (feature vector) of the registered person registered in the database 150.

Figure 112010028520169-pat00002
Figure 112010028520169-pat00002

여기서, 'μ'는 임계치이며, '0'은 입력영상 내의 얼굴이 등록인물과 동일함을 나타내며, '1'은 입력영상 내의 얼굴이 등록인물과 동일하지 않음을 나타내는 값이다.Here, 'μ' is a threshold value, '0' indicates that the face in the input image is the same as the registered person, and '1' indicates that the face in the input image is not the same as the registered person.

이와 같이, 특징정보(Y(i)) 및 특징정보(Y(j))와의 거리를 비교하여 유사도를 측정하고, 상기 유사도가 임계치 범위 내인 경우 동일인물로 인식할 수 있다.In this way, the similarity is measured by comparing the distance between the feature information Y (i) and the feature information Y (j) , and the similarity can be recognized as the same person when the similarity is within a threshold range.

따라서, 임계치가 작을 수록 입력영상 내의 얼굴영상에 해당하는 인물을 데이터베이스에 등록된 등록인물과의 유사도가 높은 인물이 동일인물로 선택되며, 임계치가 큰 경우에는 입력영상 내의 얼굴영상에 해당하는 인물을 데이터베이스에 등록된 등록인물과의 유사도가 상대적으로 낮더라도 동일인물로 선택될 수 있다. 본 발명의 일 실시예에서는 FAR 값 또는 FRR 값에 대응되는 임계치를 조정함으로써, 인증의 신뢰성 및 정확도를 다중으로 조정할 수 있다.Therefore, as the threshold is smaller, the person corresponding to the face image in the input image is selected as the same person as the person with high similarity to the registered person registered in the database.If the threshold value is high, the person corresponding to the face image in the input image is selected. Even if the similarity with the registered person registered in the database is relatively low, the same person can be selected. In one embodiment of the present invention, by adjusting the threshold corresponding to the FAR value or the FRR value, it is possible to adjust the reliability and accuracy of the authentication multiplely.

도 4a를 참조하면, 일반적인 FAR 값을 증가시키고 FAR 값을 감소시키는 경우에는 임계치를 증가시킬 수 있다. 한편, 일반적인 얼굴 인식에 있어서 FAR 값이 선택되면 이에 연동하여 FAR 값도 함께 변동될 수 있다. Referring to FIG. 4A, when the general FAR value is increased and the FAR value is decreased, the threshold value may be increased. Meanwhile, when a FAR value is selected in general face recognition, the FAR value may also change in conjunction with this.

예를 들어, 도 4a에서와 같이 제1 FAR 값이 감소되면 이에 연동하여 제1 FAR 값은 증가될 수 있다. 이에 따라, 제1 임계치는 통상의 얼굴 인식에서 사용되는 임계치에 비하여 증가될 수 있다. 이에 따라, 제어부(400)는 제1 FRR 값을 감소시킴으로써 제1 임계치를 증가시킬 수 있다. 또는 제1 FAR을 증가시킴으로써 제1 임계치를 증가시킬 수 있다.For example, as shown in FIG. 4A, when the first FAR value is decreased, the first FAR value may be increased in conjunction with this. Accordingly, the first threshold may be increased compared to the threshold used in normal face recognition. Accordingly, the controller 400 may increase the first threshold by decreasing the first FRR value. Alternatively, the first threshold may be increased by increasing the first FAR.

구체적으로, 도 4a에서와 같이 FAR 값을 증가시키는 경우 입력영상 내에서의 인물을 다른 등록 인물로 오인식하는 확률을 증가시킬 수 있다. 이는 FAR 값을 증가시킴에 의해 이에 대응되는 제1 임계치 값이 증가되어, 특징정보의 유사도가 상대적으로 낮더라도 입력영상 내의 인물을 등록된 인물로 인식할 수 있기 때문이다.Specifically, as shown in FIG. 4A, when the FAR value is increased, the probability of misrecognizing a person in the input image as another registered person may be increased. This is because the first threshold value corresponding thereto is increased by increasing the FAR value, so that a person in the input image can be recognized as a registered person even if the similarity of the feature information is relatively low.

이와 함께, 도 4a에서와 같이 FRR 값을 감소시키는 경우 입력영상 내에서의 인물을 등록 인물과 매칭되지 않음을 이유로 거부하는 비율을 낮출 수 있고 이에 따라 입력영상 내에서의 인물의 거부율을 낮추어 동일 인물로 인식될 확률을 높일 수 있다. 이는, FRR 값을 감소시킴에 의하여 이에 대응되는 제1 임계치 값이 증가되어, 특징정보의 유사도가 상대적으로 낮더라도 입력영상 내의 인물을 등록된 인물로 인식할 수 있기 때문이다.In addition, as shown in FIG. 4A, when the FRR value is decreased, the rate of rejecting a person in the input image because it does not match the registered person can be lowered. Can increase the probability of recognition. This is because the first threshold value corresponding thereto is increased by decreasing the FRR value, so that a person in the input image can be recognized as a registered person even if the similarity of the feature information is relatively low.

상기와 같이, 본 발명의 일 실시예에서는 제1 FRR 값을 감소시키거나 제1 FAR 값을 증가시킴으로써 통상의 임계치에 비추어 증가된 임계치를 적용할 수 있고, 이에 따라 입력영상 내의 인물과 동일 또는 유사하다고 판단되는 복수의 후보 얼굴들을 포함하는 유사 그룹을 용이하게 추출할 수 있다.As described above, in one embodiment of the present invention, an increased threshold may be applied in view of a normal threshold by decreasing the first FRR value or increasing the first FAR value, and thus may be the same as or similar to the person in the input image. A similar group including a plurality of candidate faces determined to be can be easily extracted.

도 4b를 참조하면, 본 발명의 일 실시예에서는 제1 임계치에 비하여 제2 임계치의 크기를 작게 하도록 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치를 설정할 수 있다. 제어부(400)는 제1 FRR 값을 증가시켜 제2 FRR 값으로 선택하거나 또는 제1 FAR 값을 감소시켜 제2 FAR 값으로 선택하여 이에 대응되는 제2 임계치를 설정할 수 있다.Referring to FIG. 4B, in an embodiment of the present invention, a second FRR value and a second threshold value corresponding to the second FAR value may be set to reduce the size of the second threshold value compared to the first threshold value. The controller 400 may select a second FRR value by increasing the first FRR value or select a second FAR value by decreasing the first FAR value and set a second threshold corresponding thereto.

이와 같이, 제2 임계치의 크기가 제1 임계치에 비하여 작아짐으로써, 제1 임계치를 기초로 추출된 복수의 후보 인물로 구성된 유사 그룹에 대하여 보다 높은 유사도 기준을 적용할 수 있다. 이에 따라, 제2 입력영상 내의 인물의 특징정보 및 등록인물의 특징정보의 유사도가 상대적으로 높은 등록인물이 최종 등록 인물로 인증될 수 있다.As described above, since the size of the second threshold is smaller than that of the first threshold, a higher similarity criterion may be applied to a similar group composed of a plurality of candidate persons extracted based on the first threshold. Accordingly, the registered person having a relatively high similarity between the feature information of the person in the second input image and the feature information of the registered person may be authenticated as the final registered person.

한편, 상기와 같이 본 발명의 일 실시예에서는 제1 임계치로부터 크기가 낮아진 제2 임계치를 예로 들어 설명하였지만, 동일한 방식에 의하여 제2 임계치로부터 조정된 제3 임계치를 설정하여 입력영상의 인물을 다중으로 인증할 수 있다.Meanwhile, in the exemplary embodiment of the present invention as described above, the second threshold value is reduced from the first threshold value as an example, but the third threshold value adjusted from the second threshold value is set in the same manner to multiply the person of the input image. You can authenticate with

또 다른 예로서, 다중 레벨 인증부(300)의 최종 인증부(370)는 제1 임계치를 적용한 경우에서의 입력영상 내의 얼굴영상으로부터 추출된 특징정보 및 데이터베이스(150)에 등록된 등록인물의 특징정보 사이의 유사도를 제1 유사도라 하고, 제2 임계치를 적용한 경우의 유사도를 제2 유사라고 하여 제1 유사도 및 제2 유사도를 이용하여 조합하거나 평균화하는 결과 값을 적용하여 최종 인증 얼굴로 검증할 수 있다.As another example, the final authentication unit 370 of the multi-level authentication unit 300 is the feature information extracted from the face image in the input image when the first threshold is applied and the characteristics of the registered person registered in the database 150 The similarity between the information is called the first similarity, and the similarity when the second threshold is applied is called the second similarity, and the result value of combining or averaging using the first similarity and the second similarity is applied to verify the final authentication face. Can be.

도 4c는 본 발명의 일 실시예에 따른 다중 레벨 얼굴 인식을 이용한 인증 시스템에서의 룩업 테입블을 개략적으로 보여준다. 도 4c를 참조하면, 룩업 테이블(420)은 FRR 값, FAR 값 및 이에 대응되는 임계치가 하나의 데이터 셋으로 구성될 수 있다. 4C schematically illustrates a lookup tablet in an authentication system using multi-level face recognition according to an embodiment of the present invention. Referring to FIG. 4C, the lookup table 420 may include a data set having an FRR value, a FAR value, and a threshold corresponding thereto.

상기의 룩업 테이블(420)은 룩업 테이블 생성부(450)에 의하여 미리 생성되어 저장될 수 있다. 룩업 테이블 생성부(450)는 소정의 얼굴 인식용 DB에 대하여 임계치를 조정하면서 각 임계치에 대한 FRR 값 및 FAR 값을 추출하여, 이를 테이블 형식으로 생성할 수 있다.The lookup table 420 may be generated and stored in advance by the lookup table generator 450. The lookup table generator 450 may extract the FRR value and the FAR value for each threshold value while adjusting the threshold value for a predetermined face recognition DB, and generate the table in the form of a table.

이에 따라, 제어부(400)는 룩업 테이블(420)에서 FRR 값 및 FAR 값 중 하나를 선택하는 경우에는 이에 대응되는 임계치를 추출할 수 있다. 제어부(400)는 추출된 임계치를 유사 그룹 인증부(200) 또는 다중 레벨 인증부(300)에 전달할 수 있다.Accordingly, when selecting one of the FRR value and the FAR value from the lookup table 420, the controller 400 may extract a threshold corresponding thereto. The controller 400 may transmit the extracted threshold value to the similar group authenticator 200 or the multi-level authenticator 300.

상기와 같이, 본 발명의 일 실시예에서는 기 생성된 룩업 테이블(420)을 활용함으로써 사용자가 관점에서 선택이 용이한 지표인 FRR 값 또는 FAR 값을 선택함으로써 이에 대응되는 임계치를 다중으로 조정하면서 얼굴 인식에 의한 인증의 신뢰성 및 정확성을 높일 수 있다.As described above, in one embodiment of the present invention, by using the generated lookup table 420, the user selects the FRR value or the FAR value, which is an indicator that is easy to select from the viewpoint, and adjusts the threshold corresponding thereto in multiple ways. The reliability and accuracy of authentication by recognition can be improved.

도 5는 본 발명의 일 실시예에 따른 이중 얼굴 인식을 이용한 인증 방법의 흐름도를 보여준다.5 is a flowchart illustrating an authentication method using double face recognition according to an embodiment of the present invention.

도 5를 참조하면, 먼저 얼굴영상을 포함하는 제1 입력영상 및 제2 입력영상을 획득한다(S510). Referring to FIG. 5, first, a first input image and a second input image including a face image are obtained (S510).

획득된 제1 입력영상에 대하여는 기 설정된 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 얼굴 인식을 수행하여 상기 제1 입력영상 내의 얼굴영상으로부터 추정되는 복수의 인물로 구성되는 유사 그룹을 추출한다(S520).The acquired first input image is composed of a plurality of persons estimated from a face image in the first input image by performing face recognition on the basis of a preset first FRR value and a first threshold value corresponding to the first FAR value. Similar groups are extracted (S520).

유사 그룹이 추출되면, 제2 FRR 또는 제2 FAR 값을 선택하여 이에 대응되는 제2 임계치를 설정한다(S530). 예를 들어, 제2 FRR 값은 제1 FRR 값보다 높게 설정되며, 제2 FAR 값은 제1 FAR 값보다 낮게 설정되어, 이에 대응되는 제2 임계치 크기가 작아져 결과적으로 보안 레벨을 상승시키는 효과를 줄 수 있다.When the similar group is extracted, the second FRR or the second FAR value is selected to set a second threshold corresponding thereto (S530). For example, the second FRR value is set higher than the first FRR value, and the second FAR value is set lower than the first FAR value, so that the second threshold size corresponding thereto becomes smaller, resulting in an increase in security level. Can be given.

설정된 제2 FRR 값 및 제2 FAR에 대응되는 제2 임계치를 기초로 하여 제2 입력영상에 대하여 추출된 유사 그룹의 인물들 중에서 얼굴 인식을 수행하여 최종 등록 인물로 인증한다(S540). On the basis of the set second FRR value and the second threshold value corresponding to the second FAR, a face recognition is performed among the similar group of persons extracted with respect to the second input image to authenticate as the final registered person (S540).

이에 따라, 일차적으로는 복수의 인물로 구성되는 유사 그룹을 추출하고 이차적으로 크기가 조정된 제2 임계치를 기초로 하여 최종 등록 인물을 추출하여 인증함으로써 얼굴 인증에 있어 인식하지 못하거나 오인식하는 한계를 극복하고 신뢰성있고 정확성있게 얼굴 인증을 수행할 수 있다.Accordingly, by extracting a similar group consisting of a plurality of people first, and extracting and authenticating the last registered person based on the second threshold size that is secondly adjusted to limit the recognition or misrecognition in face authentication Overcome and perform face authentication reliably and accurately.

도 6는 본 발명의 일 실시예에 따른 이중 얼굴 인식을 이용한 인증 방법에서 일차적 인증의 흐름도를 보여준다.6 shows a flowchart of primary authentication in an authentication method using double face recognition according to an embodiment of the present invention.

도 6를 참조하면, 일차적인 인증에 있어서는 먼저 제1 입력영상 및 제2 입력영상을 획득한다(S510). 이후 제1 입력영상에 대하여 기 설정된 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 얼굴 인식을 수행하여 유사 그룹을 추출한다(S520). Referring to FIG. 6, first authentication acquires a first input image and a second input image (S510). Thereafter, a similar group is extracted by performing face recognition based on a first FRR value and a first threshold value corresponding to the first FAR value with respect to the first input image (S520).

이어, 유사 그룹에 복수의 인물이 포함되는지를 판단한다(S625). 유사 그룹에 복수의 인물이 포함되는 경우에는 후술하는 이차 인증 단계로 진행한다. 다만, 유사 그룹에 복수의 인물이 포함되지 않는 경우에는 제어부(400)에 의하여 제1 FRR 값 또는 제1 FAR 값을 조정하고 이에 대응되는 제1 임계치를 재설정한다(S627). 예를 들어, 제어부(400)는 기 설정된 제1 FRR 값을 낮추거나, 기 설정된 제1 FAR 값을 증가시켜 제1 임계치를 증가시킴으로써 제1 입력영상 내의 얼굴영상으로 판단되는 유사 그룹의 범위를 보다 넓게 할 수 있다. 이에 의하여 복수의 인물이 포함된 유사 그룹을 재추출할 수 있다.Next, it is determined whether a plurality of persons are included in the similar group (S625). When a plurality of persons are included in the similar group, the process proceeds to the second authentication step described later. However, when a plurality of persons are not included in the similar group, the controller 400 adjusts the first FRR value or the first FAR value and resets the first threshold corresponding thereto (S627). For example, the controller 400 lowers the preset first FRR value or increases the first threshold value by increasing the preset first FAR value to view the range of the similar group determined as the face image in the first input image. Can be widened. As a result, a similar group including a plurality of persons can be reextracted.

도 7은 본 발명의 일 실시예에 따른 이중 얼굴 인식을 이용한 인증 방법에서 이차적 인증의 흐름도를 보여준다.7 is a flowchart illustrating secondary authentication in an authentication method using double face recognition according to an embodiment of the present invention.

도 7을 참조하면, 일차 인증이 수행된 후에 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치를 설정한다(S530). 예를 들어, 제어부(400)는 보안 레벨을 높이는 방향으로 제2 FRR 값을 제1 FRR 값보다 높게 설정하거나, 제2 FAR 값을 제1 FAR 값보다 낮게 설정하여 제2 임계치를 제1 임계치보다 낮게 설정할 수 있다.Referring to FIG. 7, after the first authentication is performed, a second threshold value corresponding to the second FRR value and the second FAR value is set (S530). For example, the controller 400 sets the second FRR value higher than the first FRR value in the direction of increasing the security level, or sets the second FAR value lower than the first FAR value so that the second threshold value is higher than the first threshold value. Can be set low.

이후, 제2 입력영상에 대하여 설정된 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치를 기초로 하여 얼굴 인식을 수행하여 유사 그룹 내의 복수의 인물들 중에서 최종 등록 인물을 추출할 수 있다(S440).Thereafter, the last registered person may be extracted from the plurality of people in the similar group by performing face recognition based on the second FRR value and the second threshold value corresponding to the second FAR value for the second input image. S440).

추출된 최종 등록 인물이 복수인지를 판단한다(S745). 추출된 최종 등록 인물이 복수가 아닌 경우에는 하나의 최종 등록 인물로 인증을 할 수 있다. It is determined whether there are a plurality of extracted final registered persons (S745). If the extracted final registered person is not plural, the single final registered person may be authenticated.

추출된 최종 등록 인물이 복수인 경우에는 설정된 제2 FRR 값 또는 제2 FAR 값을 조정함으로써, 제2 FRR 값 또는 제2 FAR 값을 변경하여 이에 대응되는 제2 임계치를 재설정할 수 있다(S747). 예를 들어, 제어부(400)는 제2 FRR 값을 높이거나, 제2 FAR 값을 낮추어 제2 임계치를 낮추어 재설정함으로써 최종 등록 인물의 범위를 줄일 수 있다. 이에 의하여, 유사 그룹의 복수의 인물 중에서 하나의 최종 등록 인물을 추출할 수 있다.When there are a plurality of extracted final registered persons, by adjusting the set second FRR value or the second FAR value, the second threshold value corresponding to the second FRR value or the second FAR value may be changed (S747). . For example, the controller 400 may reduce the range of the last registered person by increasing the second FRR value or by lowering the second FAR value to reset the second threshold value. As a result, one final registered person can be extracted from the plurality of people in the similar group.

상기의 실시예에서는 인증의 단계를 2단계로 설정하여 예시하였으나 본 발명의 일 실시에서는 보안의 중요도에 따라서 3단계 이상의 다중 단계로 확장할 수 있다.In the above embodiment, the authentication step is set to two steps, but in one embodiment of the present invention, it may be extended to three or more steps according to the importance of security.

상기와 같이, 본 발명의 일 실시예에서는 FRR 값 및 FAR 값에 대응되는 임계치를 조정하는 다중 레벨 얼굴 인증을 함으로써 얼굴 인증의 정확성을 높일 수 있다. 이와 함께, FRR 값 및 FAR 값에 대응되는 임계치를 조정함으로써 결과로서 추출되는 유사 그룹 또는 최종 등록 인물의 범위를 조정함으로써 얼굴 인증이 되지 않는 경우를 현저히 줄일 수 있다.As described above, in one embodiment of the present invention, the accuracy of face authentication can be improved by performing multi-level face authentication by adjusting a threshold corresponding to the FRR value and the FAR value. In addition, by adjusting the FRR value and the threshold corresponding to the FAR value, by adjusting the range of the similar group or the final registered person extracted as a result, the case where face authentication is not performed can be significantly reduced.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features thereof. I can understand that. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

100: 영상 획득부 150: 데이터베이스
200: 유사 얼굴 인증부 230: 제1 얼굴 추출부
250: 제1 특징정보 추출부 270: 유사 그룹 추출부
300: 다중 레벨 인증부 330: 제2 얼굴 추출부
350: 제2 특징정보 추출부 370: 최종 인증부
400: 제어부100: image acquisition unit 150: database
200: similar face authenticator 230: first face extractor
250: first feature information extractor 270: similar group extractor
300: multi-level authentication unit 330: second face extraction unit
350: second feature information extraction unit 370: final authentication unit
400: control unit

Claims (10)

얼굴영상을 포함하는 제1 입력영상 및 제2 입력영상을 획득하는 영상 획득부;
상기 제1 입력영상에 대하여 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 기초로 하여 얼굴 인식을 수행하여 상기 얼굴영상으로 추정되는 복수의 인물로 구성되는 유사 그룹을 추출하는 유사 얼굴 인증부;
상기 제2 입력영상에 대하여 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치를 기초로 하여 얼굴 인식을 수행하여 상기 추출된 유사 그룹 중에서 최종 등록 인물로 인증하는 다중 레벨 인증부; 및
상기 제1 FRR 값 및 상기 제1 FAR 값에 대응되는 상기 제1 임계치를 설정하거나 또는 상기 제2 FRR 값 및 상기 제2 FAR 값에 대응되는 제2 임계치를 설정하는 제어부를 포함하는, 다중 레벨 얼굴 인식을 이용한 인증 시스템.An image acquisition unit configured to acquire a first input image and a second input image including a face image;
Based on the first FRR value and the first threshold value corresponding to the first FAR value, face recognition is performed based on the first input image to extract a similar group including a plurality of persons estimated as the face image. A similar face authenticator;
A multi-level authentication unit performing face recognition on the second input image based on a second threshold value corresponding to a second FRR value and a second FAR value to authenticate as a final registered person among the extracted similar groups; And
And a controller configured to set the first threshold corresponding to the first FRR value and the first FAR value or to set a second threshold corresponding to the second FRR value and the second FAR value. Authentication system using recognition. 얼굴영상을 포함하는 입력영상 및 표정을 포함하는 표정영상을 획득하는 영상 획득부;
상기 입력영상에 대하여 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 얼굴 인식을 수행하여 상기 얼굴 영상으로 추정되는 복수의 인물로 구성되는 유사 그룹을 추출하는 유사 얼굴 인증부;
상기 표정영상에 대하여 제2 FRR 값 및 제2 FAR 값에 대응되는 제2 임계치를 기초로 하여 표정 인식을 수행하여 상기 추출된 유사 그룹 중에서 최종 등록 인물로 인증하는 다중 레벨 인증부; 및
상기 제1 FRR 값 및 상기 제1 FAR 값에 대응되는 상기 제1 임계치를 설정하거나 또는 상기 제2 FRR 값 및 상기 제2 FAR 값에 대응되는 제2 임계치를 설정하는 제어부를 포함하는, 다중 레벨 얼굴 인식을 이용한 인증 시스템.An image obtaining unit obtaining an input image including a face image and a facial expression image including a facial expression;
Similar face authentication unit for extracting a similar group consisting of a plurality of people estimated as the face image by performing a face recognition on the input image based on a first FRR value and a first threshold value corresponding to the first FAR value ;
A multi-level authentication unit that recognizes the facial expression image based on a second FRR value and a second threshold value corresponding to a second FAR value, and authenticates the final registered person among the extracted similar groups; And
And a controller configured to set the first threshold corresponding to the first FRR value and the first FAR value or to set a second threshold corresponding to the second FRR value and the second FAR value. Authentication system using recognition. 제 1항 또는 제 2항에 있어서, 상기 제어부는
상기 제2 FRR 값으로 상기 제1 FRR 값보다 높은 값으로 선택하거나 또는 상기 제2 FAR 값으로 제1 FAR 값보다 낮은 값으로 선택하여 이에 대응되는 제2 임계치를 제1 임계치보다 낮게 설정되도록 하는, 다중 레벨 얼굴 인식을 이용한 인증 시스템.The method of claim 1 or 2, wherein the control unit
Selecting the second FRR value higher than the first FRR value or selecting the second FRR value lower than the first FAR value so that a second threshold corresponding thereto is set lower than a first threshold value; Authentication system using multi-level face recognition. 제 1항 또는 제 2항에 있어서,
상기 FRR 값 및 상기 FAR 값에 대응되는 상기 임계치와의 관계를 나타내는 룩업 테이블로 생성하는 룩업 테이블 생성부를 더 포함하는, 다중 레벨 얼굴 인식을 이용한 인증 시스템.3. The method according to claim 1 or 2,
And a lookup table generator configured to generate a lookup table indicating a relationship between the FRR value and the threshold value corresponding to the FAR value. 제 4항에 있어서,
상기 제어부는 상기 룩업 테이블로부터 상기 제1 FRR 값보다 높은 값으로 상기 제2 FRR 값을 선택하거나 또는 제1 FAR 값보다 낮은 값으로 선택하여 상기 제2 FAR 값을 선택하여, 상기 제2 FRR 값 및 상기 제2 FAR 값에 대응되는 제2 임계치를 설정하는, 다중 레벨 얼굴 인식을 이용한 인증 시스템.The method of claim 4, wherein
The control unit selects the second FRR value from the lookup table with a value higher than the first FRR value or a value lower than a first FAR value to select the second FAR value, and thus the second FRR value and And setting a second threshold corresponding to the second FAR value. 제 1항 또는 제 2항에 있어서, 상기 다중 레벨 인증부는
상기 유사 그룹 인증부에서 추출된 유사 그룹 중에서 상기 얼굴 영상과의 제1 유사도 및 상기 다중 레벨 인증부에 의해 상기 얼굴 영상과의 제2 유사도를 이용하여 상기 얼굴영상과의 유사도가 최대인 등록 인물을 선택하여 최종 인증 얼굴로 검증하는 최종 인증부를 포함하는, 다중 레벨 얼굴 인식을 이용한 인증 시스템.The method of claim 1 or 2, wherein the multi-level authentication unit
The registered person having the maximum similarity with the face image using the first similarity with the face image and the second similarity with the face image by the multi-level authentication unit among the similar groups extracted by the similar group authenticator And a final authentication unit for selecting and verifying with the final authentication face. 제 1항 또는 제2 항에 있어서,
상기 제어부는 상기 추출된 유사 그룹에 복수의 인물이 포함되지 않는 경우에 상기 제1 FRR 값을 감소시키거나 또는 상기 제1 FAR 값을 증가시켜 이에 대응되는 상기 제1 임계치를 조정하며,
상기 유사 얼굴 인증부는 상기 조정된 제1 임계치를 기초로 하여 상기 유사 그룹을 재추출하는, 다중 레벨 얼굴 인식을 이용한 인증 시스템.The method according to claim 1 or 2,
If the extracted similar group does not include a plurality of persons, the controller decreases the first FRR value or increases the first FAR value to adjust the first threshold corresponding thereto.
And the similar face authenticator re-extracts the similar group based on the adjusted first threshold. 제 1항 또는 제2항에 있어서,
상기 제어부는 상기 최종 등록 인물이 복수인 경우 상기 제2 FRR 값 또는 상기 제2 FAR 값을 조정하여 이에 대응되는 제2 임계치를 재설정하며,
상기 다중 레벨 인증부는 상기 재설정된 제2 임계치를 기초로 하여 상기 최종 등록 인물을 재추출하는, 다중 레벨 얼굴 인식을 이용한 인증 시스템.The method according to claim 1 or 2,
If there is a plurality of the last registered persons, the controller adjusts the second FRR value or the second FAR value and resets a second threshold corresponding thereto.
And the multi-level authenticator re-extracts the last registered person based on the reset second threshold. 얼굴영상을 포함하는 제1 입력영상 및 제2 입력영상을 획득하는 단계;
상기 제1 입력영상에 대하여 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 기초로 하여 얼굴 인식을 수행하여 상기 얼굴영상으로 추정되는 복수의 인물로 구성되는 유사 그룹을 추출하는 단계;
상기 제1 FRR 값으로부터 조정된 제2 FRR 값을 설정하거나 또는 상기 제1 FAR 값으로부터 조정된 제2 FAR 값을 설정하여 이에 대응되는 제2 임계치를 설정하는 단계; 및
상기 제2 입력영상에 대하여 상기 제2 FRR 값 및 상기 제2 FAR 값에 대응되는 제2 임계치를 기초로 하여 얼굴 인식을 수행하여 상기 추출된 유사 그룹 중에서 최종 등록 인물로 인증하는 단계를 포함하는, 다중 레벨 얼굴 인식을 이용한 인증 방법.Obtaining a first input image and a second input image including a face image;
Based on the first FRR value and the first threshold value corresponding to the first FAR value, face recognition is performed based on the first input image to extract a similar group including a plurality of persons estimated as the face image. Making;
Setting a second FRR value adjusted from the first FRR value or setting a second FAR value adjusted from the first FAR value to set a second threshold corresponding thereto; And
Performing face recognition on the second input image based on the second FRR value and a second threshold value corresponding to the second FAR value, and authenticating as a final registered person from the extracted similar group; Authentication method using multi-level face recognition. 얼굴영상을 포함하는 입력영상 및 표정을 포함하는 표정영상을 획득하는 단계;
상기 입력영상에 대하여 제1 FRR 값 및 제1 FAR 값에 대응되는 제1 임계치를 기초로 하여 기초로 하여 얼굴 인식을 수행하여 상기 얼굴영상으로 추정되는 복수의 인물로 구성되는 유사 그룹을 추출하는 단계;
상기 제1 FRR 값으로부터 조정된 제2 FRR 값을 설정하거나 또는 상기 제1 FAR 값으로부터 조정된 제2 FAR 값을 설정하여 이에 대응되는 제2 임계치를 설정하는 단계; 및
상기 표정영상에 대하여 상기 제2 FRR 값 및 상기 제2 FAR 값에 대응되는 제2 임계치를 기초로 하여 표정 인식을 수행하여 상기 추출된 유사 그룹 중에서 최종 등록 인물로 인증하는 단계를 포함하는, 다중 레벨 얼굴 인식을 이용한 인증 방법.Obtaining an input image including a face image and a facial expression image including a facial expression;
Extracting a similar group including a plurality of persons estimated as the face image by performing face recognition based on a first FRR value and a first threshold value corresponding to the first FAR value with respect to the input image; ;
Setting a second FRR value adjusted from the first FRR value or setting a second FAR value adjusted from the first FAR value to set a second threshold corresponding thereto; And
Performing facial expression recognition on the facial expression image based on the second FRR value and a second threshold value corresponding to the second FAR value, and authenticating the final registered person among the extracted similar groups. Authentication method using face recognition.
KR1020100041332A 2010-05-03 2010-05-03 Face recognition system and method using multi-level face recognition KR101070442B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100041332A KR101070442B1 (en) 2010-05-03 2010-05-03 Face recognition system and method using multi-level face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100041332A KR101070442B1 (en) 2010-05-03 2010-05-03 Face recognition system and method using multi-level face recognition

Publications (1)

Publication Number Publication Date
KR101070442B1 true KR101070442B1 (en) 2011-10-05

Family

ID=45032356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100041332A KR101070442B1 (en) 2010-05-03 2010-05-03 Face recognition system and method using multi-level face recognition

Country Status (1)

Country Link
KR (1) KR101070442B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593648A (en) * 2013-10-22 2014-02-19 上海交通大学 Face recognition method for open environment
CN103824055A (en) * 2014-02-17 2014-05-28 北京旷视科技有限公司 Cascaded neural network-based face recognition method
KR101546137B1 (en) 2012-09-20 2015-08-20 가부시끼가이샤 도시바 Person recognizing device and method
CN109241868A (en) * 2018-08-16 2019-01-18 平安科技（深圳）有限公司 Face identification method, device, computer equipment and storage medium
US10275684B2 (en) 2015-11-04 2019-04-30 Samsung Electronics Co., Ltd. Authentication method and apparatus, and method and apparatus for training a recognizer

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101546137B1 (en) 2012-09-20 2015-08-20 가부시끼가이샤 도시바 Person recognizing device and method
US9477876B2 (en) 2012-09-20 2016-10-25 Kabushiki Kaisha Toshiba Person recognition apparatus and method thereof
CN103593648A (en) * 2013-10-22 2014-02-19 上海交通大学 Face recognition method for open environment
CN103593648B (en) * 2013-10-22 2017-01-18 上海交通大学 Face recognition method for open environment
CN103824055A (en) * 2014-02-17 2014-05-28 北京旷视科技有限公司 Cascaded neural network-based face recognition method
CN103824055B (en) * 2014-02-17 2018-03-02 北京旷视科技有限公司 A kind of face identification method based on cascade neural network
US10275684B2 (en) 2015-11-04 2019-04-30 Samsung Electronics Co., Ltd. Authentication method and apparatus, and method and apparatus for training a recognizer
CN109241868A (en) * 2018-08-16 2019-01-18 平安科技（深圳）有限公司 Face identification method, device, computer equipment and storage medium

Similar Documents

Publication Publication Date Title
KR102196686B1 (en) Identity authentication method and device
US12014571B2 (en) Method and apparatus with liveness verification
KR102455633B1 (en) Liveness test method and apparatus
KR101901591B1 (en) Face recognition apparatus and control method for the same
US9864756B2 (en) Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method
KR100824757B1 (en) Gait recognition method
CN104361276A (en) Multi-mode biometric authentication method and multi-mode biometric authentication system
US20100128938A1 (en) Method and apparatus for detecting forged face using infrared image
US20130129164A1 (en) Identity recognition system and method based on hybrid biometrics
KR100940902B1 (en) The biometrics using finger geometry information
WO2005122093A1 (en) Image recognition device, image recognition method, and program for causing computer to execute the method
KR101214732B1 (en) Apparatus and method for recognizing faces using a plurality of face images
CN104008317A (en) Authentication apparatus and authentication method
KR101724971B1 (en) System for recognizing face using wide angle camera and method for recognizing face thereof
KR101070442B1 (en) Face recognition system and method using multi-level face recognition
KR102483650B1 (en) User verification device and method
US20190311225A1 (en) Image authentication apparatus, method, and storage medium using registered image
KR101515928B1 (en) Apparatus and method for face recognition using variable weight fusion
US11756338B2 (en) Authentication device, authentication method, and recording medium
KR101270351B1 (en) Method and apparatus for capturing face image for face recognition
KR20140107946A (en) Authentication apparatus and authentication method thereof
KR102225623B1 (en) Face recognizing system using keypoint descriptor matching and majority vote and method thereof
KR20100041562A (en) Method and system for performing user authentication by face recognizing and fingerprint recognizing of user needing an authentication
KR100973832B1 (en) image authentication method, Apparatus and computer readable record-medium on which program for executing method thereof
KR20160042646A (en) Method of Recognizing Faces

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141027

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151105

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170926

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 9