KR20230075770A - Face recognition system and method for controlling the same - Google Patents

Abstract

The present invention relates to a method and system for authenticating a user. A control method for a face recognition system according to the present invention may comprise the steps of: obtaining an image using a camera provided in a terminal that performs a face recognition function; recognizing a face from the image based on a preset face recognition algorithm; checking whether the recognized face in the image satisfies preset face conditions; requesting user authentication for the recognized face to a preset server in order to perform user authentication for the recognized face based on the result of the check; and performing control according to the user authentication result for the recognized face based on the user authentication result for the recognized face received from the server. Accordingly, a user can more conveniently and intuitively transmit his or her face to the terminal.

Description

얼굴 인식 시스템 및 얼굴 인식 시스템을 위한 제어 방법{FACE RECOGNITION SYSTEM AND METHOD FOR CONTROLLING THE SAME}Face recognition system and control method for face recognition system {FACE RECOGNITION SYSTEM AND METHOD FOR CONTROLLING THE SAME}

본 발명은 사용자 인증을 수행하기 위하여, 사용자의 얼굴을 인식하는 시스템 및 이를 제어하는 방법에 관한 것이다.The present invention relates to a system for recognizing a user's face and a method for controlling the same in order to perform user authentication.

기술이 발전함에 따라, 단말기의 활용도가 높아지고 있으며, 특히, 단말기는 다양한 상황에서 사용자를 인증하는 수단으로서 활용되고 있다. As technology develops, utilization of terminals is increasing, and in particular, terminals are used as a means of authenticating users in various situations.

예를 들어, 출입 통제 공간에 설치된 출입 통제 장치(예를 들어, 출입 통제 게이트 또는 스피드 게이트)에서의 사용자 확인, 컨퍼런스에서의 참석자 확인, 병원에서의 환자 내원 확인, 카페에서의 결제를 위한 사용자 확인과 같이, 다양한 상황에서 진정한 사용자를 인증하기 위한 니즈가 있다. 이와 같이, 사용자에 대한 인증을 요구하는 상황에서 단말기의 활용은, 불필요한 노동력을 줄이고, 나아가 사용자 인증 시간에 소모되었던 시간을 감소시키는 효과를 가져오고 있다.For example, user identification at an access control device installed in an access control space (e.g. access control gate or speed gate), attendee verification at a conference, patient visit verification at a hospital, user verification for payment at a cafe As such, there is a need to authenticate genuine users in various situations. In this way, the use of the terminal in a situation requiring user authentication has the effect of reducing unnecessary labor and, furthermore, reducing the time consumed for user authentication.

단말기를 활용한 사용자 인증 방식은 다양하며, 예를 들어, 사용자가 직접 자신을 식별하기 위한 식별 정보(예를 들어, 전화번호, 메일주소 등) 또는 생체 정보 (예를 들어, 지문 정보 등)를 단말기에 입력함으로써, 인증이 이루어지는 방식이 존재할 수 있다.There are various user authentication methods using terminals. For example, identification information (eg, phone number, e-mail address, etc.) or biometric information (eg, fingerprint information, etc.) There may be a method in which authentication is performed by inputting into a terminal.

최근에는, 사용자가 단말기에 정보를 직접적으로 인가하는 행위 없이 사용자 인증을 수행하기 위하여, 신속하고 정확하게 사용자의 얼굴을 인식하는 방법에 대한 활발한 연구가 진행되고 있다. Recently, active research is being conducted on a method for quickly and accurately recognizing a user's face in order to perform user authentication without the user directly applying information to the terminal.

본 발명은, 사용자 인증을 시도하는 사용자의 얼굴을 보다 신속하고 정확하게 인식하는 얼굴 인식 시스템 및 이를 제어하는 방법을 제공하기 위한 것이다. An object of the present invention is to provide a face recognition system that more quickly and accurately recognizes the face of a user attempting user authentication, and a method for controlling the face recognition system.

나아가, 본 발명은 사용자 인증을 수행할지에 대한 사용자의 의도를 파악하는 얼굴 인식 시스템 및 이를 제어하는 방법을 제공하기 위한 것이다.Furthermore, the present invention is to provide a face recognition system and a method for controlling the face recognition system for recognizing a user's intention on whether to perform user authentication.

더 나아가, 본 발명은, 진정으로 사용자 인증을 의도하는 사용자에 대한 사용자 인증을 완료할 수 있는 얼굴 인식 시스템 및 이의 제어 방법을 제공하기 위한 것이다.Furthermore, the present invention is to provide a face recognition system and a control method capable of completing user authentication for a user who truly intends to perform user authentication.

위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 얼굴 인식 시스템의 제어 방법은, 얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하는 단계, 기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하는 단계, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 단계, 상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하는 단계 및 상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 단계를 포함할 수 있다. In order to solve the problems described above, a control method of a face recognition system according to the present invention includes acquiring an image using a camera provided in a terminal performing a face recognition function, based on a preset face recognition algorithm, Recognizing a face from an image, checking whether the recognized face in the image satisfies a preset face condition, and performing user authentication on the recognized face based on the result of the check, Requesting user authentication for the recognized face to a set server, and performing control according to the user authentication result for the recognized face based on the user authentication result for the recognized face received from the server. can include

나아가, 본 발명에 따른 얼굴 인식 시스템은, 영상을 획득하는 카메라부, 상기 획득된 영상을 저장하는 저장부 및 기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하고, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 제어부를 포함하고, 상기 제어부는, 상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하고, 상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행할 수 있다. Furthermore, the face recognition system according to the present invention recognizes a face from the image based on a camera unit acquiring an image, a storage unit storing the acquired image, and a preset face recognition algorithm, and the recognition is performed in the image. and a controller that checks whether the recognized face satisfies a preset face condition, wherein the controller performs user authentication on the recognized face based on a result of the check, so as to perform user authentication on the recognized face. User authentication for a face may be requested, and based on the user authentication result for the recognized face received from the server, control according to the user authentication result for the recognized face may be performed.

나아가, 본 발명에 따른 얼굴 인식 시스템은, 영상을 획득하는 카메라부, 상기 획득된 영상을 저장하는 저장부 및 기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하고, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 제어부 상기 인식된 얼굴이 상기 기 설정된 얼굴 조건을 만족하는 경우, 상기 인식된 얼굴에 대한 사용자 인증을 수행하는 서버를 포함하고, 상기 제어부는, 상기 서버에서 수행된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행할 수 있다. Furthermore, the face recognition system according to the present invention recognizes a face from the image based on a camera unit acquiring an image, a storage unit storing the acquired image, and a preset face recognition algorithm, and the recognition is performed in the image. A controller for checking whether the recognized face satisfies a preset face condition, including a server that performs user authentication on the recognized face when the recognized face satisfies the preset face condition, wherein the controller includes: Based on the user authentication result for the recognized face performed in , control according to the user authentication result for the recognized face may be performed.

나아가, 본 발명에 따른 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램은, 얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하는 단계, 기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하는 단계, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 단계, 상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하는 단계 및 상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 단계를 수행하도록 하는 명령어들을 포함할 수 있다.Furthermore, the program, which is executed by one or more processes in the electronic device according to the present invention and stored in a computer-readable recording medium, acquires an image using a camera provided in a terminal that performs a face recognition function; Recognizing a face from the image based on a preset face recognition algorithm, checking whether the recognized face in the image satisfies a preset face condition, and based on a result of the check, the recognized face In order to perform user authentication for , requesting user authentication for the recognized face to a preset server and based on the user authentication result for the recognized face received from the server, It may include instructions for performing a step of performing a control according to a user authentication result.

위에서 살펴본 것과 같이, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어방법은, 얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하고, 기 설정된 얼굴 인식 알고리즘에 근거하여, 영상으로부터 얼굴을 인식할 수 있다. 이와 같이, 본 발명은 사용자로부터 직접적인 입력을 받지 않더라도, 사용자가 단말기 주변에 위치하는 것에 근거하여, 사용자의 얼굴을 정확하고 신속하게 인식할 수 있다. 따라서, 사용자는 단말기 주변에 위치함으로써, 자신의 얼굴을 단말기에 보다 편리하고 직관적으로 전달할 수 있다. As described above, the face recognition system and its control method according to the present invention acquires an image using a camera provided in a terminal that performs face recognition, and detects a face from the image based on a preset face recognition algorithm. Recognizable. As such, the present invention can accurately and quickly recognize a user's face based on the location of the user around the terminal even without receiving a direct input from the user. Accordingly, the user can more conveniently and intuitively transfer his/her face to the terminal by being located near the terminal.

나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 영상에서 인식된 얼굴이, 사용자 인증을 수행하기에 적절한지를 판단할 수 있다. 즉, 본 발명에서는 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크함으로써, 사용자 인증에 적합하지 않은 얼굴이 인식된 경우에는, 사용자 인증을 수행하지 않음으로써, 데이터 처리의 효율을 도모할 수 있다. Furthermore, the face recognition system and method for controlling the face recognition system according to the present invention may determine whether a face recognized in an image is suitable for performing user authentication. That is, in the present invention, by checking whether a face recognized in an image satisfies a preset face condition, when a face unsuitable for user authentication is recognized, user authentication is not performed, thereby improving data processing efficiency. there is.

나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 기 설정된 얼굴 조건을 만족하는 사용자에 한하여 사용자 인증을 수행함으로써, 단말기 주변에 복수의 사용자가 있는 경우에도, 사용자 인증을 시도하는 사용자의 얼굴을 정확하게 인식하여 사용자에 대한 인증을 수행할 수 있다. Furthermore, the face recognition system and method for controlling the same according to the present invention perform user authentication only for users who satisfy a preset face condition, so that even when there are a plurality of users around the terminal, the user's face attempting user authentication is performed. can be accurately recognized to perform user authentication.

나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지에 근거하여, 기 설정된 서버로 인식된 얼굴에 대한 사용자 인증을 요청할 수 있다. 이와 같이, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 진정으로 사용자 인증을 원하는 사용자의 얼굴에 대해 사용자 인증을 수행함으로써, 사용자 인증을 시도하지 않은 사용자나, 사용자 인증을 시도하는 사용자의 주변에 있는 다른 사용자에 대해 사용자 인증이 수행되는 오류를 감소시켜, 사용자 인증 결과에 대한 정확성 및 신뢰성을 향상시킬 수 있다.Furthermore, the face recognition system and method for controlling the face recognition system according to the present invention may request user authentication for a face recognized by a preset server based on whether a face recognized in an image satisfies a preset face condition. As described above, the face recognition system and method for controlling the face recognition system according to the present invention perform user authentication on the face of a user who truly wants user authentication, so that the user who has not attempted user authentication or the user's surroundings who have attempted user authentication It is possible to improve the accuracy and reliability of user authentication results by reducing errors in which user authentication is performed for other users in .

도 1은 본 발명에 따른 얼굴 인식 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 얼굴 인식 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 얼굴 인식 시스템의 제어 방법을 설명하기 위한 흐름도이다.
도 4, 도 5, 도 6, 도 7a, 도 7b, 도 8, 도9, 도 10, 도 11, 도 12 및 도 13은 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법을 설명하기 위한 개념도들이다.1 is a conceptual diagram for explaining a face recognition system according to the present invention.
2 is a block diagram for explaining a face recognition system according to the present invention.
3 is a flowchart for explaining a control method of a face recognition system according to the present invention.
4, 5, 6, 7a, 7b, 8, 9, 10, 11, 12, and 13 are conceptual diagrams for explaining a face recognition system and a control method thereof according to the present invention. .

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in this specification will be described in detail with reference to the accompanying drawings, but the same reference numerals will be assigned to the same or similar components regardless of reference numerals, and overlapping descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used together in consideration of ease of writing the specification, and do not have meanings or roles that are distinct from each other by themselves. In addition, in describing the embodiments disclosed in this specification, if it is determined that a detailed description of a related known technology may obscure the gist of the embodiment disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, the technical idea disclosed in this specification is not limited by the accompanying drawings, and all changes included in the spirit and technical scope of the present invention , it should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers, such as first and second, may be used to describe various components, but the components are not limited by the terms. These terms are only used for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as "comprise" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

본 발명은, 사용자로부터 직접적인 입력을 받지 않더라도, 사용자의 얼굴을 정확하고 신속하게 인식하고, 사용자 인증을 수행할지에 대한 사용자의 진정한 의도를 파악하기 위하여, 기 설정된 얼굴 조건을 만족하는 사용자의 얼굴을 인식할 수 있는 얼굴 인식 시스템 및 얼굴 인식 시스템의 제어 방법을 제공하기 위한 것으로서, 이하 첨부된 도면과 함께 본 발명에 대해 구체적으로 설명하기로 한다. 도 1은 본 발명에 따른 얼굴 인식 시스템을 설명하기 위한 개념도이고, 도 2는 본 발명에 따른 얼굴 인식 시스템을 설명하기 위한 블록도이며, 도 3은 본 발명에 따른 얼굴 인식 시스템의 제어 방법을 설명하기 위한 흐름도이다. 나아가, 도 4, 도 5, 도 6, 도 7a, 도 7b, 도 8, 도9, 도 10, 도 11, 도 12 및 도 13은 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법을 설명하기 위한 개념도들이다.The present invention, even without receiving a direct input from the user, accurately and quickly recognizes the user's face, and identifies the user's face that satisfies a preset face condition in order to determine the user's true intention regarding whether to perform user authentication. As for providing a face recognition system and a control method of the face recognition system that can be recognized, the present invention will be described in detail below with accompanying drawings. 1 is a conceptual diagram for explaining a face recognition system according to the present invention, FIG. 2 is a block diagram for explaining a face recognition system according to the present invention, and FIG. 3 describes a control method for a face recognition system according to the present invention. It is a flow chart for Furthermore, FIGS. 4, 5, 6, 7a, 7b, 8, 9, 10, 11, 12, and 13 are for explaining a face recognition system and a control method thereof according to the present invention. are concepts.

도 1에 도시된 것과 같이, 본 발명에서 사용자 인증은, 얼굴 인식 시스템(100) 및 서버(200)와의 연동을 통하여 이루어질 수 있다. 본 발명에서, 서버(200)는 얼굴 인식 시스템(100)과 동일 장소 또는 별개의 장소에 위치할 수 있으며, 얼굴 인식 시스템(100)에서 인식된 얼굴에 대한 사용자 인증을 처리하도록 이루어질 수 있다.As shown in FIG. 1 , user authentication in the present invention may be performed through interworking with the face recognition system 100 and the server 200 . In the present invention, the server 200 may be located in the same place as the face recognition system 100 or in a separate place, and may be configured to process user authentication for a face recognized by the face recognition system 100.

한편, 서버(200)는 얼굴 인식 시스템(100)의 일 구성으로도 구현될 수 있으며, 이 경우, 얼굴 인식 시스템(100)은 서버(200)의 역할까지 포함한 기능을 수행할 수 있다. Meanwhile, the server 200 may be implemented as one component of the face recognition system 100, and in this case, the face recognition system 100 may perform functions including the role of the server 200.

또한, 도 1의 도시와 같이, 얼굴 인식 시스템(100)과 서버(200)는 별개의 구성으로도 이루어질 수 있으며, 본 발명에서는 설명의 편의를 위하여, 얼굴 인식 시스템(100)과 서버(200)를 구분하여 설명하도록 한다.In addition, as shown in FIG. 1 , the face recognition system 100 and the server 200 may be configured separately, and in the present invention, for convenience of description, the face recognition system 100 and the server 200 to be separated and explained.

한편, 얼굴 인식 시스템(100)과 서버(200)가 물리적으로 분리됨과 관계없이, 본 발명에서 설명되는 얼굴 인식 시스템(100) 및 서버(200)에서 수행되는 기능들, 제어들은 “얼굴 인식 시스템”에서 수행된다고 설명될 수 있음은 물론이다.Meanwhile, regardless of whether the face recognition system 100 and the server 200 are physically separated, the functions and controls performed by the face recognition system 100 and the server 200 described in the present invention are "face recognition system" Of course, it can be described as being performed in .

본 발명에서는, 사용자의 얼굴을 인식하여, 사용자 인증을 수행하고, 사용자 인증 결과에 따라 사용자 인증과 관련된 이벤트 또는 기능(이하, 타겟 기능)이 수행되도록 제어할 수 있다.In the present invention, a user's face may be recognized, user authentication may be performed, and an event or function related to user authentication (hereinafter, a target function) may be performed according to a user authentication result.

여기에서, “타겟 기능”의 종류는 매우 다양할 수 있으며, 특정 공간 출입 통제 기능, 결제 기능, 출석 확인 기능, 병원에서의 내원 확인 기능 등과 같이, 사용자 인증이 필요한 기능을 의미할 수 있다. 예를 들어, 특정 공간 출입 통제 기능은, 도 1에 도시된 출입 통제 게이트(20, 또는 출입 통제 장치 또는 스피드게이트)가 열림 상태 및 닫힘 상태 중 어느 하나의 상태로 동작하도록 제어하는 것을 통해 수행될 수 있다. Here, the type of “target function” may be very diverse, and may mean a function that requires user authentication, such as a specific space access control function, payment function, attendance confirmation function, visit confirmation function in a hospital, and the like. For example, a specific space access control function may be performed by controlling the access control gate 20 (or access control device or speed gate) shown in FIG. 1 to operate in either an open state or a closed state. can

이과 같이, 본 발명에서 얼굴 인식 시스템(100)은 얼굴 인식 및 사용자 인증을 통해 달성하고자 하는 기능(예를 들어, 출입 통제, 출석 체크, 결제 허용 등)에 따라, 다양한 하드웨어 구성을 가질 수 있으며, 본 발명에서는 대표적인 예시로서 도 1에 도시된 것과 같이, 출입 통제 게이트(20)에서의 사용자 인증을 설명하도록 한다. 다만, 이하에서 설명되는 얼굴 인식 및 사용자 인증 방법은, 다양한 기능을 갖는 얼굴 인식 시스템에 적용될 수 있음은 물론이다. As such, the face recognition system 100 in the present invention may have various hardware configurations depending on the functions to be achieved through face recognition and user authentication (eg, access control, attendance check, payment acceptance, etc.), In the present invention, as shown in FIG. 1 as a representative example, user authentication in the access control gate 20 will be described. However, it goes without saying that the face recognition and user authentication methods described below can be applied to face recognition systems having various functions.

도 1에 도시된 것과 같이, 본 발명에 따른 얼굴 인식 시스템(100)(이하, “시스템(100)”으로 명명함)은, 센서부(110), 저장부(120), 통신부(130), 디스플레이부(140), 음향출력부(150) 및 제어부(160) 중 적어도 하나를 포함하도록 구성될 수 있다. 이때 본 발명에 따른 시스템(100)은 상술한 구성 요소로 제한되는 것은 아니며, 본 명세서의 설명에 따른 기능과 동일 또는 유사한 역할을 수행하는 구성요소를 더 포함할 수 있다.As shown in FIG. 1, the face recognition system 100 (hereinafter referred to as “system 100”) according to the present invention includes a sensor unit 110, a storage unit 120, a communication unit 130, It may be configured to include at least one of the display unit 140, the sound output unit 150, and the control unit 160. At this time, the system 100 according to the present invention is not limited to the above-described components, and may further include components performing the same or similar roles as the functions described herein.

나아가, 얼굴 인식 시스템(100)은 출입 통제 게이트(20)와 연동되거나, 출입 통제 게이트(20)를 구성요소로서 포함할 수 있다. 나아가, 얼굴 인식 시스템(100)은 출입 통제 게이트(20)의 일 구성이 될 수 있음은 물론이다. 센서부(110)는, 시스템(100)에 구비된 센싱 모듈(예를 들어, 카메라(111), 열화상 카메라, 근접 센서, 적외선 센서 등)의 구성을 이용하여 사용자(또는 객체)를 센싱(또는 촬영)할 수 있다. Furthermore, the face recognition system 100 may be interlocked with the access control gate 20 or may include the access control gate 20 as a component. Furthermore, it goes without saying that the face recognition system 100 can be a component of the access control gate 20 . The sensor unit 110 senses (or senses) a user (or object) using a configuration of a sensing module (eg, a camera 111, a thermal imaging camera, a proximity sensor, an infrared sensor, etc.) provided in the system 100. or filming).

본 발명에서, “센싱한다”는 센싱 모듈에 따라 다양하게 해석할 수 있다. 일 예로, 카메라(111)를 이용하는 경우, 센싱한다는 것은 영상을 촬영하는 것으로 이해될 수 있다. 다른 예로, 근접 센서를 이용하는 경우, 사용자(또는 객체)의 존재를 감지하는 것으로 이해될 수 있다. 이하에서는, “센싱한다”는 “영상을 촬영(또는 획득)하다”와 혼용되어 사용될 수 있다. In the present invention, “sensing” can be interpreted in various ways depending on the sensing module. For example, when using the camera 111, sensing may be understood as capturing an image. As another example, when using a proximity sensor, it may be understood as sensing the presence of a user (or object). Hereinafter, “sensing” may be used interchangeably with “photographing (or obtaining) an image”.

센서부(110)는, 영상(예를 들어, RGB 이미지 프레임 및 열화상 이미지 프레임 중 적어도 하나)를 촬영할 수 있다. 이 때, 센서부(110)는 동영상(video) 및 이미지(Image) 중 적어도 하나의 형태로 영상을 촬영할 수 있다. The sensor unit 110 may capture an image (eg, at least one of an RGB image frame and a thermal image frame). At this time, the sensor unit 110 may capture an image in the form of at least one of a video and an image.

센서부(110)는 기 설정된 시간 주기 또는 사용자의 요청에 근거하여 영상을 촬영 할 수 있다. The sensor unit 110 may capture an image based on a preset time period or a user's request.

저장부(120)는 시스템(100)에 구비된(또는 삽입된) 메모리 또는 클라우드 서버를 이용하여, 본 발명에 따른 얼굴 인식 및/또는 사용자 인증과 관련된 데이터를 저장하도록 이루어질 수 있다. 예를 들어, 저장부(120)에는, 센서부(110)에서 센싱된 정보 또는 획득된 영상, 내지는 이들로부터 획득한 정보 등이 저장될 수 있다. The storage unit 120 may be configured to store data related to face recognition and/or user authentication according to the present invention using a memory provided (or inserted) in the system 100 or a cloud server. For example, the storage unit 120 may store information sensed by the sensor unit 110 or acquired images or information obtained from them.

나아가, 통신부(130)는 시스템(100)에 구비된 통신 모듈(예를 들어, 이동통신 모듈, 근거리 통신 모듈, 무선 인터넷 모듈, 위치정보 모듈, 방송 수신 모듈 등)의 구성을 이용하여, 서버(200), 외부 서버(미도시) 또는 클라우드 서버(미도시) 등과 데이터를 송수신할 수 있다.Furthermore, the communication unit 130 uses a configuration of communication modules (eg, a mobile communication module, a short-distance communication module, a wireless Internet module, a location information module, a broadcast reception module, etc.) provided in the system 100 to use a server ( 200), an external server (not shown), or a cloud server (not shown).

나아가, 디스플레이부(140)는 시각적 정보를 출력하도록 이루어지며, 제어부(160)의 제어 하에, 얼굴 인식 및 사용자 인증 중 적어도 하나와 관련된 정보를 출력하도록 이루어질 수 있다. Furthermore, the display unit 140 is configured to output visual information, and under the control of the controller 160, it may be configured to output information related to at least one of face recognition and user authentication.

예를 들어, 디스플레이부(140)는, 서버(200)로부터 수신된 인증 대상 사용자에 대한 사용자 인증 결과 정보에 근거하여, 사용자 인증 성공(또는 실패)과 관련된 정보를 출력하거나, 센서부(110)가 사용자를 촬영할 수 있도록 사용자의 위치를 안내하는 안내 정보를 출력하도록 제어될 수 있다. For example, the display unit 140 outputs information related to user authentication success (or failure) based on the user authentication result information for the user to be authenticated received from the server 200, or the sensor unit 110 may be controlled to output guide information for guiding the user's location so that the user can be photographed.

예를 들어, 인증 대상 사용자에 대한 인증 결과 정보에 근거하여, 디스플레이부(140)에는 인증 결과 또는 타겟 기능 수행과 관련된 안내 정보(예를 들어, “Welcome, User 1 님을 환영합니다”, 도 8의 810 참조)가 출력되도록 이루어질 수 있다. For example, based on the authentication result information for the user to be authenticated, the display unit 140 displays the authentication result or guide information related to performing the target function (eg, “Welcome, User 1 is welcome”, FIG. 8 810 of) may be output.

나아가, 음향 출력부(150)는 본 발명과 관련된 정보를 청각적으로 출력할 수 있다. Furthermore, the audio output unit 150 may audibly output information related to the present invention.

예를 들어, 제어부(160)의 제어 하에, 인증 대상 사용자에 대한 인증 결과 정보에 근거하여, 음향 출력부(150)는, 인증 결과 또는 타겟 기능 수행과 관련된 안내 정보를 음성으로 출력할 수 있다. For example, under the control of the control unit 160, based on authentication result information on the user to be authenticated, the audio output unit 150 may output an authentication result or guide information related to performing a target function in voice.

나아가, 제어부(160)는, 시스템(100)에 구비된 CPU 및 클라우드 서버 중 적어도 하나를 활용하여, 각 구성에 대한 제어 및 본 발명과 관련된 전반적인 제어를 수행할 수 있다. Furthermore, the controller 160 may utilize at least one of a CPU and a cloud server provided in the system 100 to perform control of each configuration and overall control related to the present invention.

제어부(160)는 본 발명을 수행하기 위하여, 시스템(100)의 구성 중 적어도 하나에 대한 제어 권한을 가질 수 있다. The controller 160 may have control authority for at least one of the components of the system 100 in order to carry out the present invention.

제어부(160)는 센서부(110)에서 센싱되거나 통신부(130)를 통해 수신된 정보에 기반하여, 사용자의 얼굴을 인식하고 사용자 인증을 위한 프로세스를 수행할 수 있다.The controller 160 may recognize a user's face and perform a process for user authentication based on information sensed by the sensor unit 110 or received through the communication unit 130 .

제어부(160)는 얼굴 인식부(161)를 포함할 수 있으며, 얼굴 인식부(161)은 얼굴 인식 기능을 갖는 알고리즘에 근거하여, 센서부(110)에서 촬영된 영상에서 얼굴을 인식할 수 있다. 나아가, 얼굴 인식부(161)는 인식된 얼굴과 관련된 일련의 제어를 수행할 수 있으며, 이에 대해서는 뒷부분에서 보다 구체적으로 살펴보도록 한다. 본 발명에서는 설명의 편의를 위하여 얼굴 인식부(161)와 제어부(160)의 구성을 구분하지 않고, 제어부(160)로 통일하여 설명하도록 한다.The controller 160 may include a face recognition unit 161, and the face recognition unit 161 may recognize a face in an image captured by the sensor unit 110 based on an algorithm having a face recognition function. . Furthermore, the face recognition unit 161 may perform a series of controls related to the recognized face, which will be discussed in more detail later. In the present invention, for convenience of description, the configuration of the face recognition unit 161 and the controller 160 is not distinguished, and the controller 160 is unified and described.

한편, 본 발명에 따른 시스템(100) 및 서버(200)는 서로 연동되어 동작함으로써, 타겟 기능에 대한 사용자 인증을 수행하고, 타겟 기능에 대한 사용자 인증 수행 결과에 기반하여 타겟 기능의 수행을 제어할 수 있다. Meanwhile, the system 100 and the server 200 according to the present invention operate in conjunction with each other to perform user authentication for the target function and control the execution of the target function based on the user authentication result for the target function. can

서버(200)는 시스템(100)으로부터의 사용자 인증 요청에 근거하여, 사용자 인증을 수행하고, 사용자 인증 결과를 시스템(100)으로 전송하는 역할을 수행할 수 있다.The server 200 may serve to perform user authentication based on a user authentication request from the system 100 and transmit a user authentication result to the system 100 .

한편, 본 발명에서 사용자 인증의 결과로서 수행되는 기능이 출입 통제 게이트(20)의 동작 제어인 경우, 인증 대상 사용자에 대한 사용자 인증 결과에 근거하여, 출입 통제 게이트(20)의 도어(door)가 열리도록 제어하거나, 열리지 않도록 제어될 수 있다. 출입 통제 게이트(20)는, 서버(200) 및 시스템(100) 중 적어도 하나로부터 전달되는 제어명령에 근거하여, 제어되도록 이루어질 수 있다.Meanwhile, in the present invention, when the function performed as a result of user authentication is the operation control of the access control gate 20, the door of the access control gate 20 is opened based on the user authentication result for the user to be authenticated. It can be controlled to open or not to open. The access control gate 20 may be controlled based on a control command transmitted from at least one of the server 200 and the system 100 .

한편, 도 1에 도시된 것과 같이, 본 발명에 따른 서버(200)는, 통신부(210), 저장부(220) 및 제어부(230) 중 적어도 하나를 포함하도록 구성될 수 있다. 이때 본 발명에 따른 서버(200)는 상술한 구성 요소로 제한되는 것은 아니며, 본 명세서의 설명에 따른 기능과 동일 또는 유사한 역할을 수행하는 구성요소를 더 포함할 수 있다.Meanwhile, as shown in FIG. 1 , the server 200 according to the present invention may be configured to include at least one of a communication unit 210, a storage unit 220, and a control unit 230. At this time, the server 200 according to the present invention is not limited to the above-described components, and may further include components performing the same or similar functions as those described herein.

통신부(210)는 시스템(100), 출입 통제 게이트(20), 외부 서버(미도시) 또는 클라우드 서버(미도시) 중 적어도 하나와 데이터를 송수신하도록 이루어질 수 있다. The communication unit 210 may transmit/receive data with at least one of the system 100, the access control gate 20, an external server (not shown), or a cloud server (not shown).

예를 들어, 통신부(210)는 시스템(100)으로부터 인증 대상 사용자의 얼굴이 포함된 영상 정보 또는 인증 대상이 되는 사용자에 대한 얼굴 정보를 수신하고, 인증 대상 사용자에 대한 사용자 인증 결과를 시스템(100)으로 전송할 수 있다. For example, the communication unit 210 receives image information including the face of the user to be authenticated or face information on the user to be authenticated from the system 100, and the user authentication result for the user to be authenticated is displayed in the system 100. ) can be transmitted.

저장부(220)는 사용자 인증과 관련된 다양한 정보가 저장되도록 이루어질 수 있다.The storage unit 220 may be configured to store various information related to user authentication.

저장부(220)는 기 등록된 얼굴과 관련된 참조 얼굴 특징 정보를 포함하는 사용자 DB(221) 및 시스템(100)와 관련된 정보를 포함하는 단말기 DB(222) 중 적어도 하나를 포함할 수 있다. The storage unit 220 may include at least one of a user DB 221 containing reference facial feature information related to a pre-registered face and a terminal DB 222 containing information related to the system 100 .

여기에서, 참조 얼굴 특징 정보는, 기 등록된 얼굴에 대한 이미지 및 기 등록된 얼굴에 대한 특징 정보(예를 들어, 특징 벡터 정보) 중 적어도 하나를 포함할 수 있다.Here, the reference facial feature information may include at least one of a pre-registered face image and pre-registered feature information (eg, feature vector information).

사용자 DB(221)에는, 개별 인물(또는 사람) 단위로, 각각의 인물에 대한 사용자 정보가 저장될 수 있다. 즉, 사용자 DB에는, 서로 다른 인물 마다 각각에 대응되는 사용자 정보가 매칭되어 저장될 수 있다.User information for each person may be stored in the user DB 221 in units of individual persons (or persons). That is, in the user DB, user information corresponding to each different person may be matched and stored.

여기에서, 사용자 정보는, 각각의 인물에 해당하는 사람의 이름, 생년월일, 주소, 전화번호, 메일 주소, 계정 정보, 사번, ID, 생체 정보(지문 정보, 홍채 정보 등), 참조 얼굴 특징 정보, 일정(스케줄)과 관련된 정보 중 적어도 하나를 포함할 수 있다.Here, the user information includes the name, date of birth, address, phone number, e-mail address, account information, employee number, ID, biometric information (fingerprint information, iris information, etc.), reference facial feature information, It may include at least one of schedule (schedule) related information.

참조 얼굴 특징 정보에 포함되는 참조 얼굴 이미지는, 특정 인물에 대한 얼굴 이미지로서, 하나 또는 복수 일 수 있다. 본 발명에서 사용자 DB는, “사용자와 관련된 정보”, “사용자의 신상정보” 또는 “사용자의 식별정보”라고도 명명될 수 있다.The reference face image included in the reference face feature information is a face image of a specific person, and may be one or more. In the present invention, the user DB may also be referred to as "user related information", "user personal information" or "user identification information".

한편, 단말기 DB(222)에는, 사용자 인증 프로세스를 수행하는 시스템(100)에 대한 정보가 저장될 수 있다. Meanwhile, information about the system 100 performing the user authentication process may be stored in the terminal DB 222 .

여기에서, 단말기에 대한 정보는, 각각의 시스템(100 또는 출입 통제 게이트(20))의 식별 정보(시리얼 넘버), 위치, 사용자 인증과 연동되는 타겟 기능과 관련된 정보 중 하나를 포함할 수 있다. Here, the information on the terminal may include one of identification information (serial number) of each system 100 or access control gate 20, location, and information related to a target function linked with user authentication.

한편, 제어부(230)는, 사용자 DB(221)에 저장된 참조 얼굴 특징 정보를 이용하여, 인증 대상 사용자에 대한 사용자 인증을 수행할 수 있다. Meanwhile, the controller 230 may perform user authentication on the user to be authenticated using reference facial feature information stored in the user DB 221 .

이 때, 사용자 인증은, 제어부(230)의 사용자 인증부(231)를 통해 수행될 수 있다. 즉, 사용자 인증부(231)는 제어부(230)의 일 역할을 수행하는 것으로 이해할 수 있다. 본 발명에서는, 제어부(230)와 사용자 인증부(231)를 별도로 구분하지 않고 혼용하여 사용하도록 한다. At this time, user authentication may be performed through the user authentication unit 231 of the control unit 230. That is, it can be understood that the user authentication unit 231 performs a role of the control unit 230 . In the present invention, the control unit 230 and the user authentication unit 231 are used interchangeably without being separately distinguished.

이하에서는, 위에서 살펴본 시스템(100) 및 서버(200)의 구성에 근거하여, 본 발명에서 사용자 인증이 이루어지는 기본 프로세스에 대하여 살펴보도록 한다.Hereinafter, based on the configuration of the system 100 and the server 200 described above, a basic process of user authentication in the present invention will be described.

도 2에 도시된 것과 같이, 본 발명에 따른 시스템(100)에서는, 센서부(110, 예를 들어, 카메라)를 이용하여, 영상을 촬영하고, 촬영된 영상에 대한 데이터 처리를 수행하는 과정이 수행될 수 있다(S210). 영상은 기 설정된 시간 간격으로 촬영되도록 이루어질 수 있다.As shown in FIG. 2 , in the system 100 according to the present invention, a process of photographing an image and performing data processing on the photographed image using the sensor unit 110 (eg, a camera) is performed. It may be performed (S210). Images may be captured at preset time intervals.

센서부(110)에서는 이미지 프레임(또는 영상, ex: RGB 이미지 프레임) 및 열화상 이미지 프레임(또는 영상)이 각각 촬영될 수 있다(S211, S212).In the sensor unit 110, an image frame (or image, ex: RGB image frame) and a thermal image frame (or image) may be captured respectively (S211 and S212).

이와 같이, 센서부(110)를 통한 촬영을 통해, 얼굴 인식 대상이 되는 이미지(본 발명의 설명에서 “영상”이라고 명명됨)가 확보될 수 있다.In this way, through photographing through the sensor unit 110, an image (referred to as “video” in the description of the present invention) to be a face recognition target can be secured.

다음으로, 시스템(100)에서는 이미지, 즉, 영상에서 얼굴을 인식하는 과정을 수행할 수 있다(S220).Next, the system 100 may perform a process of recognizing a face in an image, that is, a video (S220).

보다 구체적으로, 제어부(160)는 영상에서 사용자의 얼굴을 인식하고(S221), 인식된 사용자의 얼굴이 기 설정된 얼굴 조건을 만족하는지 판단할 수 있다(S222). More specifically, the controller 160 may recognize a user's face in the image (S221) and determine whether the recognized user's face satisfies a preset face condition (S222).

여기에서, 기 설정된 얼굴 조건은, 인식된 얼굴이 사용자 인증을 수행하기에 적합한 조건을 갖추었는지에 대한 것으로서, 기 설정된 얼굴 조건은 다양하게 설정될 수 있다. 예를 들어, 기 설정된 얼굴 조건은, i) 영상에서 인식된 얼굴이 포함된 위치, ii) 영상에서 상기 인식된 얼굴이 차지하는 영역의 크기, iii) 영상에서 인식된 얼굴의 각도(ex: 사용자 얼굴이 정면을 바라보고 있는지 여부), iv) 사용자의 얼굴 전체가 인식되었는지 여부, v) 사용자가 마스크를 착용했는지 여부 등과 같은 다양한 조건 중 적어도 하나와 관련될 수 있다. Here, the preset face condition is whether or not the recognized face meets conditions suitable for performing user authentication, and the preset face condition may be set in various ways. For example, preset face conditions include i) a location in which a recognized face is included in an image, ii) a size of an area occupied by the recognized face in an image, iii) an angle of a face recognized in an image (ex: user face It may be related to at least one of various conditions, such as whether the user is looking at the front), iv) whether the user's entire face is recognized, and v) whether the user is wearing a mask.

제어부(160)는 카메라(111)를 통해 획득한 영상에서, 기 설정된 얼굴 조건 조건에 만족하는 얼굴이 인식된 경우, 해당 영상을 이용하여, 기 설정된 얼굴 조건을 만족하는 얼굴에 대한 사용자 인증을 수행하기 위한 과정을 수행할 수 있다.When a face that satisfies a preset face condition is recognized in an image acquired through the camera 111, the controller 160 performs user authentication on a face that satisfies the preset face condition using the corresponding image. process can be performed.

제어부(160)는 영상에서 인식된 얼굴 중 기 설정된 얼굴 조건을 만족하는 얼굴을 인증 대상 얼굴로 특정할 수 있다. 예를 들어, 제어부(160)는 도 4(b)에 도시된 영상에서, 복수의 사용자 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 중 얼굴이 잘리지 않고 가장 넓은 영역을 차지하는 얼굴 (2000a)을 인증 대상 얼굴로 특정할 수 있다. The controller 160 may specify a face that satisfies a preset face condition among faces recognized in the image as a face to be authenticated. For example, in the image shown in FIG. 4(b), the controller 160 selects a face 2000a that occupies the widest area without being cropped among a plurality of user faces 2000a, 2000b, 2000c, 2000d, and 2000e. It can be specified as a face to be authenticated.

이와 같이, 영상으로부터 인증 대상 얼굴인, 인증 대상 얼굴이 특정되면, 제어부(160)는 스푸핑(spoofing) 체크 및 온도 체크를 추가적으로 수행할 수 있다(S230).In this way, when a face to be authenticated, which is a face to be authenticated, is specified from the image, the controller 160 may additionally perform a spoofing check and a temperature check (S230).

제어부(160)는 스푸핑 체크 및 온도 체크를 통과한 영상에 대해서, 사용자 인증을 요청할 수 있다. The controller 160 may request user authentication for an image that has passed the spoofing check and the temperature check.

제어부(160)는 인증 대상 사용자에 대한 사용자 인증 요청을 서버(200)로 전송할 수 있다(S250, 도 2 참조). The controller 160 may transmit a user authentication request for the user to be authenticated to the server 200 (S250, see FIG. 2).

제어부(160)는 사용자 인증 요청과 함께, 인증 대상 사용자의 얼굴에 대한 정보(사용자의 얼굴 이미지 또는 얼굴 특징 정보 등)를 서버(200)로 전송할 수 있다.The control unit 160 may transmit information about the face of the user to be authenticated (such as a user's face image or facial feature information) to the server 200 along with a user authentication request.

서버(200)는, 영상에 포함된 인증대상 사용자의 얼굴에 대한 정보와 서버(200)의 사용자 DB(221)에 저장된 참조 얼굴 특징 정보에 대한 유사도 판단을 수행할 수 있다(S240).The server 200 may perform a similarity determination between face information of the user to be authenticated included in the image and reference facial feature information stored in the user DB 221 of the server 200 (S240).

유사도 판단 방법의 일 예로서, 서버(200)는 영상에 포함된 인증 대상 사용자의 얼굴과 사용자 DB(221)에 저장된 참조 얼굴 이미지를 비교하여 사용자 인증을 수행할 수 있다. As an example of a similarity determination method, the server 200 may perform user authentication by comparing a face of a user to be authenticated included in an image with a reference face image stored in the user DB 221 .

이때, 참조 얼굴 이미지와, 영상에 포함된 인증 대상 사용자의 얼굴을 비교한다고 함은, 참조 얼굴 이미지에 해당하는 특징점 정보와, 영상에서 인식된 사용자의 얼굴에 대한 특징점 정보를 비교하는 것을 의미할 수 있다. 즉, 사용자 DB에는, 사용자들의 참조 얼굴 이미지가, 참조 얼굴 이미지에 포함된 눈, 코, 입 등의 생김새에 따라 정의되는 특징점 정보가 존재할 수 있다.In this case, comparing the reference face image with the face of the user to be authenticated included in the image may mean comparing feature point information corresponding to the reference face image with feature point information on the face of the user recognized in the image. there is. That is, feature point information in which reference face images of users are defined according to features of eyes, noses, and mouths included in the reference face images may exist in the user DB.

유사도 판단 방법의 다른 일 예로서, 서버(200)는 얼굴 이미지로부터 추출된 인증 대상 사용자의 얼굴에 대한 특징 벡터와, 참조 얼굴 특징 정보에 포함된 특징 벡터 간의 유사도 비교를 통해, 사용자 인증을 수행할 수 있다. 이때, 사용자 DB에는 다양한 참조 얼굴에 대한 특징 벡터들이 저장되어 존재할 수 있다. 서버(200)는 사용자 DB로부터, 인증 대상 사용자의 얼굴에 대한 특징 벡터와 가장 유사한 특징 벡터를 검색(또는 추출)하고, 검색된 특징벡터와 인증 대상 사용자의 얼굴에 대한 특징 벡터 간의 유사도가 기 설정된 값(임계값) 이상인 경우, 사용자에 대한 인증을 성공으로 처리할 수 있다.As another example of a similarity determination method, the server 200 performs user authentication by comparing similarity between a feature vector of a face of a user to be authenticated extracted from a face image and a feature vector included in reference facial feature information. can In this case, feature vectors for various reference faces may be stored in the user DB. The server 200 searches (or extracts) a feature vector most similar to the feature vector of the face of the user to be authenticated from the user DB, and the similarity between the retrieved feature vector and the feature vector of the face of the user to be authenticated is a preset value. (threshold) or more, the authentication of the user can be processed as a success.

그리고, 서버(200)는 사용자 인증 결과를 시스템(100)으로 제공(또는 전송)하며, 시스템(100)에서는 서버(200)로부터 수신된 인증 결과에 기반하여, 사용자 인증 결과를 사용자에게 제공할 수 있다(S260). 예를 들어, 시스템(100)에 구비된 출력부(예를 들어, 디스플레이부, 음향 출력부(스피커) 등)를 통해, 인증의 결과가 사용자에게 제공될 수 있다. 일 예로, 제어부(160)는, 인증 대상 사용자 얼굴에 대한 사용자 인증이 성공한 경우, 디스플레이부(140)에 인증 결과 또는 타겟 기능 수행과 관련된 안내 정보(예를 들어, “Welcome, User 1 님을 환영합니다”, 도 8의 810 참조)가 출력되도록 디스플레이부(140)를 제어할 수 있다.In addition, the server 200 provides (or transmits) the user authentication result to the system 100, and the system 100 may provide the user authentication result to the user based on the authentication result received from the server 200. Yes (S260). For example, the authentication result may be provided to the user through an output unit (eg, a display unit, a sound output unit (speaker), etc.) provided in the system 100 . For example, the controller 160, when user authentication for the face of the user to be authenticated succeeds, displays the authentication result or guide information related to performing the target function on the display unit 140 (for example, “Welcome, Welcome to User 1”). It is possible to control the display unit 140 so that “, see 810 of FIG. 8 ) is output.

나아가, 제어부(160)는 서버(200)로부터 수신된 인증 대상 사용자에 대한 사용자 인증 결과에 근거하여, 다양한 제어를 수행할 수 있다. 일 예로서, 시스템(100)이 출입 통제 장치에 연동되거나, 출입 통제 장치에 포함된 경우, 제어부(160)는 인증 대상 사용자에 대한 사용자 인증이 성공한 경우, 인증에 성공한 사용자가 특정 공간에 진입할 수 있도록, 출입 통제 게이트(20)를 제어할 수 있다. 출입 통제 게이트(20)는 닫힘 상태를 디폴트 구동 상태로 유지하며, 제어부(160)에 의한 제어 또는 서버(200)로부터 수신되는 제어 신호에 근거하여 열림 상태가 되도록 제어될 수 있다. Furthermore, the controller 160 may perform various controls based on the user authentication result for the user to be authenticated received from the server 200 . As an example, when the system 100 is interlocked with or included in an access control device, the control unit 160, when user authentication for a user to be authenticated succeeds, allows the user who has succeeded in authentication to enter a specific space. It is possible to control the access control gate 20 so as to be able to. The access control gate 20 maintains a closed state in a default driving state, and may be controlled to be in an open state based on control by the control unit 160 or a control signal received from the server 200 .

나아가, 본 발명에서는 시스템(100)과, 사용자 인증의 결과가 적용되는 출입 통제 게이트(20) 또는 결제 단말기 등이, 서로 독립적으로 구동될 수 있다. 이 경우, 서버(200)는 사용자 인증의 결과를 시스템(100) 뿐만 아니라, 출입 통제 게이트(20) 또는 결제 단말기에 전송할 수 있다(S270).Furthermore, in the present invention, the system 100 and the access control gate 20 or payment terminal to which the result of user authentication is applied can be driven independently of each other. In this case, the server 200 may transmit the user authentication result to the system 100 as well as the access control gate 20 or the payment terminal (S270).

이 경우, 출입 통제 게이트(20) 또는 결제 단말기는, 서버(200)로부터 수신되는 사용자 인증 결과에 기반하여, 동작이 제어되도록 이루어질 수 있다.In this case, the operation of the access control gate 20 or the payment terminal may be controlled based on a user authentication result received from the server 200 .

일 예로, 사용자 인증의 결과가 출입 통제 게이트(20)의 동작 제어에 활용되는 경우, 서버(200)는 사용자 인증 결과에 기반하여, 출입 통제 게이트(20)의 게이트(또는 문(door))이 열림 상태가 되도록 하는 제어 신호를 출입 통제 게이트(20)에 전송할 수 있다. For example, when the user authentication result is used to control the operation of the access control gate 20, the server 200 determines the gate (or door) of the access control gate 20 based on the user authentication result. A control signal to be in an open state may be transmitted to the access control gate 20 .

이하에서는, 시스템(100) 및 서버(200)에 포함된 각 구성을 이용하여, 신속하고 정확하게 사용자 얼굴을 인식하는 방법에 대해서 구체적으로 설명하도록 한다. Hereinafter, a method of quickly and accurately recognizing a user's face using each component included in the system 100 and the server 200 will be described in detail.

본 발명에 따른 얼굴 인식 시스템의 제어 방법에서는, 얼굴 인식 기능을 수행하는 시스템(100)에 구비된 카메라(111)를 이용하여 영상을 획득하는 과정이 진행될 수 있다(S310, 도 3 참조).In the control method of the face recognition system according to the present invention, a process of obtaining an image using the camera 111 provided in the system 100 performing the face recognition function may proceed (S310, see FIG. 3).

도 4의 (a)에 도시된 것과 같이, 특정 공간(1)에는 다양한 사용자들이 위치할 수 있다. 예를 들어, 특정 공간(1)에는, 출입 통제 게이트(20)를 통과하고자 하는 사용자(1000a, 1000b, 1000c), 특정 위치에 정지해 있는 사용자(1000d) 또는 특정 공간(1)을 자유롭게 이동하는 사용자(1000e)가 존재할 수 있다. As shown in (a) of FIG. 4 , various users may be located in a specific space 1 . For example, in a specific space 1, users 1000a, 1000b, 1000c who want to pass through the access control gate 20, a user 1000d stationary at a specific location, or a user who freely moves in the specific space 1 A user 1000e may exist.

이하에서는 설명의 편의를 위하여, 출입 통제 게이트(20) 또는 시스템(100)을 기준으로 1열에 서 있는 사용자(1000a) 제1 사용자(1000a)로 명명하고, 2열에 서 있는(1000b)를 제2 사용자(1000b)로 명명하고, 3열에 서 있는 사용자(1000c)를 제3 사용자(1000c)로 명명하도록 한다. 나아가, 특정 위치에 정지해 있는 사용자(1000d)를 제4 사용자(1000d), 이동 중인 사용자(1000e)를 제5 사용자(1000e)로 명명하도록 한다. Hereinafter, for convenience of description, a user 1000a standing in the first row based on the access control gate 20 or system 100 is referred to as a first user 1000a, and a user 1000b standing in the second row is referred to as a second row. The user 1000b is named, and the user 1000c standing in the third row is named the third user 1000c. Furthermore, a user 1000d stationary at a specific location is named a fourth user 1000d, and a moving user 1000e is named a fifth user 1000e.

한편, 시스템(100) 또는 시스템(100)에 구비된 카메라(111)는, 사용자 인증을 통해 수행하고자 하는 기능 (예를 들어, 출입 통제 게이트(20)의 도어 동작 기능)의 실행을 위하여, 특정 공간(1)에 대한 영상이 촬영되도록 배치될 수 있다. 카메라(111)는, 사용자의 얼굴을 인식할 수 있는 적절한 위치에 배치되도록 이루어질 수 있다.On the other hand, the system 100 or the camera 111 provided in the system 100, for the execution of a function to be performed through user authentication (eg, a door operation function of the access control gate 20), It may be arranged so that an image of the space 1 is taken. The camera 111 may be disposed at an appropriate location capable of recognizing a user's face.

예를 들어, 도 4의 (a)에 도시된 것과 같이, 카메라(111)는 출입 통제 게이트(20)를 통과하고자 하는 사용자들이 위치하는 특정 공간을 촬영하도록, 출입 통제 게이트(20)의 주변 또는 출입 통제 게이트(20)의 일 영역에 배치될 수 있다. For example, as shown in (a) of FIG. 4 , the camera 111 captures a specific space where users who want to pass through the access control gate 20 are located, around or around the access control gate 20. It may be disposed in one area of the access control gate 20 .

도 4(b)에 도시된 것과 같이, 카메라(111)에서 촬영된 영상(400)은, 카메라(111)이 화각(field of view)에 대응되는 공간에 대한 정보가 포함될 수 있다. 카메라(111)의 화각 내에, 도 4의 (a)에 도시된 것과 같이, 사용자들이 위치한 경우, 도 4의 (b)에 도시된 것과 같이, 영상(400)에는 사용자에 해당하는 그래픽 객체(2000a, 2000b, 2000c, 2000d, 2000e)가 포함될 수 있다. 도시와 같이, 그래픽 객체(2000a, 2000b, 2000c, 2000d, 2000e)는, 사용자의 얼굴에 해당하는 이미지가 포함될 수 있다.As shown in FIG. 4( b ), the image 400 photographed by the camera 111 may include information about a space in which the camera 111 corresponds to a field of view. When users are located within the field of view of the camera 111, as shown in (a) of FIG. 4, as shown in (b) of FIG. 4, the graphic object 2000a corresponding to the user is included in the image 400. , 2000b, 2000c, 2000d, 2000e) may be included. As illustrated, the graphic objects 2000a, 2000b, 2000c, 2000d, and 2000e may include an image corresponding to a user's face.

도 4의 (a)에 도시된 것과 같이, 복수의 사용자가 카메라(111) 주변에 위치하는 경우, 도 4의 (b)에는 복수의 사용자 각각의 얼굴에 대응되는 그래픽 객체(또는 얼굴 이미지, 2000a, 2000b, 2000c, 2000d, 2000e)가 포함되어 있을 수 있다. As shown in (a) of FIG. 4, when a plurality of users are located around the camera 111, in (b) of FIG. , 2000b, 2000c, 2000d, 2000e) may be included.

본 발명에서는 용어의 혼동을 피하기 위하여, 사용자의 얼굴에 대응되는 그래픽 객체를 “얼굴”, 또는 ”얼굴 이미지”로 명명할 수 있다. 예를 들어, 제1 사용자(1000a)의 얼굴에 대응되는 그래픽 객체를 제1 얼굴(2000a) 또는 제1 얼굴 이미지(2000a), 제2 사용자(1000b)의 얼굴에 대응되는 그래픽 객체를 제2 얼굴 (2000b) 또는 제2 얼굴 이미지(2000b)와 같이 명명할 수 있다. 나아가, 본 명세서의 도면에서는, 설명의 편의를 위하여, 영상(400) 내에서 사용자의 얼굴만 강조하여 도시하기로 한다.In the present invention, in order to avoid confusion of terms, a graphic object corresponding to a user's face may be named "face" or "face image". For example, a graphic object corresponding to the face of the first user 1000a is converted to a first face 2000a or a first face image 2000a, and a graphic object corresponding to the face of the second user 1000b is converted to a second face. (2000b) or the second face image (2000b). Furthermore, in the drawings of this specification, only the user's face is highlighted in the image 400 for convenience of description.

한편, 위의 S310 과정은, 앞서 도 2에서 살펴본 S210 과정에 대응될 수 있으며, S310과정에는 S210과정에서 살펴본 세부 프로세스들이 포함될 수 있다.Meanwhile, the above process S310 may correspond to the process S210 described above in FIG. 2 , and the process S310 may include the detailed processes described in the process S210.

다음으로, 본 발명에서는 기 설정된 얼굴 인식 알고리즘에 근거하여, 영상으로부터 얼굴을 인식하는 과정이 진행될 수 있다(S320, 도 3 참조).Next, in the present invention, based on a preset face recognition algorithm, a process of recognizing a face from an image may proceed (S320, see FIG. 3).

제어부(160)는 도 4의 (b)에서 획득된 영상(400)에 대하여, 얼굴 인식 알고리즘에 기반하여, 얼굴을 인식할 수 있다. 얼굴을 인식하는 알고리즘은, 영상에서 객체를 인식하는 다양한 영상 객체 인식 기법으로 수행될 수 있다. 일 예로 영상(400)에서 얼굴을 인식하는 알고리즘은, 얼굴 인식을 위해 학습된 알고리즘(예를 들어, YOLO 알고리즘, CNN 알고리즘)을 이용하여, 영상에서 사용자들의 얼굴을 인식하는 기법 중 적어도 하나일 수 있다. The controller 160 may recognize a face in the image 400 obtained in (b) of FIG. 4 based on a face recognition algorithm. An algorithm for recognizing a face may be performed using various image object recognition techniques for recognizing an object in an image. For example, the algorithm for recognizing faces in the image 400 may be at least one of the techniques for recognizing users' faces in an image using an algorithm (eg, YOLO algorithm, CNN algorithm) learned for face recognition. there is.

도 5의 (a)에 도시된 것과 같이, 제어부(160)는 인식된 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 각각에 대해 바운딩 박스(Bounding box, 3000a, 3000b, 3000c, 3000d, 3000e)를 할당할 수 있다. 각각의 바운딩 박스(3000a, 3000b, 3000c, 3000d, 3000e)는 영상에 포함된 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 마다 각각 할당될 수 있다. As shown in (a) of FIG. 5 , the controller 160 sets bounding boxes (3000a, 3000b, 3000c, 3000d, 3000e) for each of the recognized faces 2000a, 2000b, 2000c, 2000d, and 2000e. can be assigned. Each of the bounding boxes 3000a, 3000b, 3000c, 3000d, and 3000e may be assigned to each face 2000a, 2000b, 2000c, 2000d, and 2000e included in the image.

제어부(160)는 인식된 얼굴 마다 서로 다른 식별 정보를 할당할 수 있다. 한편, 인식된 얼굴마다 할당되는 식별 정보는 바운딩 박스(3000a, 3000b, 3000c, 3000d, 3000e)에 대한 식별 정보와 동일하게 이해되어질 수 있다. The controller 160 may allocate different identification information to each recognized face. Meanwhile, the identification information assigned to each recognized face can be understood as the identification information for the bounding boxes 3000a, 3000b, 3000c, 3000d, and 3000e.

여기에서, 식별 정보는 ID(Identification)일 수 있으며, 예를 들어, 제어부(160)는 인식된 사용자의 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 각각에 서로 다른 ID(Identification, 예를 들어, “USER 1”)를 할당할 수 있다. Here, the identification information may be ID (Identification), and for example, the controller 160 may assign different IDs (Identification, for example, , “USER 1”) can be assigned.

한편, 제어부(160)는 영상에 포함된 복수의 얼굴 마다 서로 다른 ID를 할당할 수 있으며, 서로 다른 영상에 동일한 얼굴이 포함되어 있는 경우, 서로 다른 영상에 포함된 동일한 얼굴에는 동일한 ID(Identification)가 할당될 수 있다. On the other hand, the controller 160 may assign different IDs to a plurality of faces included in the image. When the same face is included in different images, the same ID (Identification) is assigned to the same face included in the different images. can be assigned.

예를 들어, 도 7a에서 서로 다른 시점(tp3, tp2, tp1, t0)에 획득된 영상(730, 720, 710, 700)에 포함된 동일한 얼굴(2000a)에 대해서는 동일한 ID(예를 들어, “USER 1”)가 할당될 수 있다. For example, in FIG. 7A , the same ID (eg, “ USER 1”) can be assigned.

한편, 제어부(160)는 영상에서 얼굴이 인식되면, 인식된 얼굴 각각에 대한 정보를 추출할 수 있다. 설명의 편의를 위하여, 추출된 정보는 “얼굴 정보”라 명명한다.Meanwhile, when a face is recognized in an image, the controller 160 may extract information about each recognized face. For convenience of explanation, the extracted information is named “face information”.

제어부(160)는 인식된 얼굴 각각에 대한 얼굴 정보를 추출하며, 추출된 얼굴 정보(510)는, 도 5의 (b)에 도시된 것과 같이, 인식된 얼굴에 할당된 ID와 매칭되어 저장될 수 있다. 제어부(160)는, 영상(400)에서 추출된 얼굴 정보(510)가 영상에서 인식된 얼굴에 할당된 ID와 매칭되어 저장부(120)에 저장되도록 제어할 수 있다. The controller 160 extracts face information for each recognized face, and the extracted face information 510 is matched with an ID assigned to the recognized face and stored as shown in FIG. 5(b). can The controller 160 may control the face information 510 extracted from the image 400 to be matched with an ID assigned to a face recognized from the image and stored in the storage 120 .

도 5의 (b)에 도시된 것과 같이, “얼굴 정보(510)”는, 영상에 포함된 얼굴과 관련되어 추출될 수 있는 다양한 정보를 포함할 수 있다. 예를 들어, 얼굴 정보(510)는, i) 영상에서의 얼굴(바운딩 박스)에 대한 위치 정보(픽셀 좌표 정보, 511), ii) 얼굴의 크기 정보(영상에서 얼굴이 차지하는 영역에 대한 크기 또는 바운딩 박스에 대응되는 영역의 크기(또는 넓이)에 해당, 512), iii) 얼굴에 대한 각도 정보(얼굴이 기준 방향(ex: 카메라 기준)을 바라보고 있는지에 대한 정보, iv) 얼굴 특징 정보(ex: 벡터 정보) 중 적어도 하나를 포함할 수 있다. As shown in (b) of FIG. 5, “face information 510” may include various information that can be extracted in relation to a face included in an image. For example, face information 510 includes i) location information (pixel coordinate information, 511) of a face (bounding box) in an image, ii) face size information (size of an area occupied by a face in an image or Corresponds to the size (or width) of the region corresponding to the bounding box, 512), iii) face angle information (information on whether the face is looking in a reference direction (ex: camera reference), iv) facial feature information ( ex: vector information).

여기에서, 얼굴 특징 정보는, 각각의 얼굴이 갖는 특징에 대한 정보로서, 눈과 눈썹, 코와 입, 턱 등의 얼굴 특징이 변하는 각 부위 마다 특징(Feature)이 되는 특징 데이터 또는 이와 관련된 특징 벡터를 의미할 수 있다. 사람 마다, 각각의 생김새에 따라 서로 다른 특징을 갖으며, 그에 따라, 서로 다른 생김새를 갖는 사용자들은 서로 다른 얼굴 특징 정보를 가질 수 있다. Here, the facial feature information is information on the characteristics of each face, and is feature data that becomes a feature for each part where facial features such as eyes, eyebrows, nose, mouth, and chin change, or a feature vector related thereto can mean Each person has different characteristics according to their appearance, and accordingly, users with different appearances may have different facial feature information.

이러한 얼굴 정보는, 사용자의 얼굴이 인식된 영상마다 각각 존재할 수 있다.Such face information may be present for each image in which the user's face is recognized.

도 5의 (b)에 도시된 것과 같이, 카메라(111)에서 획득된 영상(또는 프레임)은, 영상 마다 식별 정보(520)가 존재하며, 영상의 식별정보(520)와, 해당 영상에서 추출된 얼굴 정보(510)는 서로 매칭되어 존재할 수 있다. 도시와 같이, 영상의 식별정보 및 얼굴 정보는 테이블 형태로 저장부에 존재할 수 있다.As shown in (b) of FIG. 5, in the image (or frame) acquired by the camera 111, identification information 520 exists for each image, and the identification information 520 of the image and extracted from the image The face information 510 may be matched with each other. As shown, identification information and face information of an image may exist in a storage unit in the form of a table.

영상의 식별 정보(520)는, i) 영상을 구분하기 위한 일련 번호, ID (예를 들어, FRAME no: #1025), ii) 영상 촬영 일시 정보(또는 프레임 촬영 일시 정보, 예를 들어, 2021-11-14-13:00:05), iii) 영상을 촬영한 단말기와 관련된 정보(단말기의 식별 정보, 단말기의 위치 정보(예를 들어, LOBBY A)) 중 적어도 하나를 포함할 수 있다. The identification information 520 of the image includes i) a serial number for classifying the image, an ID (eg, FRAME no: #1025), ii) video capture date and time information (or frame capture date and time information, for example, 2021 -11-14-13:00:05), iii) information related to the terminal that captured the video (identification information of the terminal, location information of the terminal (eg, LOBBY A)).

도 5의 (b)에 도시된 것과 같이, 저장부(120)에는 영상에서 인식된 얼굴 각각의 얼굴 정보(510), 영상에서 인식된 얼굴에 할당된 ID, 얼굴이 인식된 영상의 식별정보(520)가 서로 매칭되어 저장되어 있을 수 있다. As shown in (b) of FIG. 5, the storage unit 120 includes face information 510 for each face recognized in the image, an ID assigned to the face recognized in the image, and identification information of the image in which the face was recognized ( 520) may be matched and stored.

한편, 제어부(160)는 카메라(111)에서 획득된 영상, 영상으로부터 추출된 얼굴 정보(510) 및 영상의 식별정보 등이 기 설정된 기간(기 설정된 정보 저장 기간, 예를 들어 10분) 동안에만 저장부(120)에 저장되도록 제어함으로써, 저장부(120)를 효율적으로 사용할 수 있다. Meanwhile, the controller 160 stores the image acquired from the camera 111, face information 510 extracted from the image, and identification information of the image only for a preset period (preset information storage period, for example, 10 minutes). By controlling to be stored in the storage unit 120, the storage unit 120 can be used efficiently.

예를 들어, 제어부(160)는 기 설정된 시간(기 설정된 정보 저장 시간)이 경과하면 위에서 열거한 정보들이 저장부(120)에서 삭제되도록 저장부를 제어할 수 있다. For example, the controller 160 may control the storage unit to delete the information listed above from the storage unit 120 when a predetermined time (preset information storage time) elapses.

한편, 카메라로부터 획득되는 영상에는 한명의 사용자에 해당하는 얼굴이 포함되는 경우 뿐만 아니라, 도 5의 (a)에 도시된 것과 같이, 영상(400)에는 복수의 얼굴(2000a, 2000b, 2000c, 2000d, 2000e)이 포함되어 있을 수 있다. 이 경우, 복수의 얼굴에 해당하는 사용자 중 일부는, 사용자 인증을 의도하지 않은 사용자일 수 있다. 또한, 영상에 복수의 얼굴이 포함된 경우, 진정으로 사용자 인증을 의도한 특정 사용자는, 다른 사용자의 얼굴로 인하여 인증을 수행하지 못할 수 있다. On the other hand, the image obtained from the camera not only includes a face corresponding to one user, but also includes a plurality of faces 2000a, 2000b, 2000c, 2000d, 2000e) may be included. In this case, some of the users corresponding to the plurality of faces may be users for whom user authentication is not intended. In addition, when a plurality of faces are included in an image, a specific user who truly intends to authenticate a user may not be able to perform authentication due to the faces of other users.

뿐만 아니라, 공간에 사용자 인증을 시도하는 사용자가 없는 경우에도, 영상(400)에 포함된 복수의 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 중 적어도 하나의 얼굴에 대한 사용자 인증이 수행되는 경우도 발생될 수 있다. In addition, when user authentication is performed for at least one face among the plurality of faces 2000a, 2000b, 2000c, 2000d, and 2000e included in the image 400 even when there is no user attempting user authentication in the space may also occur.

이에, 복수의 사용들이 자유롭게 드나드는 공간에서 얼굴 인식을 통한 사용자 인증을 수행하기 위해서는, 사용자 인증을 의도한 특정 사용자에 대한 정확한 사용자 인증이 필수적이다. Therefore, in order to perform user authentication through face recognition in a space where a plurality of users freely enter and exit, accurate user authentication for a specific user intended for user authentication is essential.

이에, 본 발명에서는 영상(400)에서 인식된 얼굴 중 기 설정된 얼굴 조건을 만족하는 적어도 어느 하나의 얼굴에 대한 사용자 인증을 수행할 수 있다. Accordingly, in the present invention, user authentication may be performed on at least one face that satisfies a preset face condition among faces recognized in the image 400 .

보다 구체적으로, 본 발명에서는, 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지를 체크하는 과정이 진행될 수 있다(S330, 도 3 참조).More specifically, in the present invention, a process of checking whether a face recognized in an image satisfies a preset face condition may be performed (S330, see FIG. 3).

여기에서, 기 설정된 얼굴 조건은, 인식된 얼굴이 사용자 인증을 수행하기에 적합한 조건을 갖추었는지에 대한 것으로서, 기 설정된 얼굴 조건은 다양하게 설정될 수 있다. 예를 들어, 기 설정된 얼굴 조건은, i) 영상에서 인식된 얼굴이 포함된 위치, ii) 영상에서 인식된 얼굴이 차지하는 영역의 크기, iii) 영상에서 인식된 얼굴의 각도(ex: 사용자 얼굴이 정면을 바라보고 있는지 여부), iv) 사용자의 얼굴 전체가 인식되었는지 여부, v) 사용자가 마스크를 착용했는지 여부 등과 같은 다양한 조건 중 적어도 하나와 관련될 수 있다. 제어부(160)는 영상에 포함된 얼굴 중 기 설정된 얼굴 조건을 만족하는 적어도 어느 하나의 얼굴을 이용하여, 해당 얼굴에 대응하는 사용자에 대한 사용자 인증이 진행되도록 제어할 수 있다. Here, the preset face condition is whether or not the recognized face meets conditions suitable for performing user authentication, and the preset face condition may be set in various ways. For example, preset face conditions include: i) a position in which a face recognized in an image is included, ii) a size of an area occupied by a face recognized in an image, iii) an angle of a face recognized in an image (ex: a user's face is It may be related to at least one of various conditions, such as whether the user is looking at the front), iv) whether the user's entire face is recognized, and v) whether the user is wearing a mask. The controller 160 may control user authentication for a user corresponding to the corresponding face to be performed using at least one face included in the image that satisfies a preset face condition.

제어부(160)는, 영상으로부터 복수의 얼굴들이 인식되는 경우, 인식된 복수의 얼굴들 각각에 대하여 기 설정된 얼굴 조건을 만족하는지 체크하여, 복수의 얼굴들 중 기 설정된 얼굴 조건을 만족하는 얼굴을 특정할 수 있다. When a plurality of faces are recognized from the image, the controller 160 checks whether or not a preset face condition is satisfied for each of the plurality of recognized faces, and identifies a face that satisfies the preset face condition among the plurality of faces. can do.

예를 들어, 도 5의 (a)와 같이, 제어부(160)는 영상(400)에서 복수의 얼굴이 인식되는 경우, 인식된 제1 얼굴 내지 제5 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 각각에 대해 기 설정된 얼굴 조건을 만족하는지를 판단할 수 있다. For example, as shown in (a) of FIG. 5 , when a plurality of faces are recognized in the image 400, the controller 160 determines the recognized first to fifth faces 2000a, 2000b, 2000c, 2000d, and 2000e. ), it is possible to determine whether a preset face condition is satisfied for each face.

제어부(160)는 영상(400)에 기 설정된 얼굴 조건을 만족하는 얼굴이 포함된 경우에 한하여, 해당 영상(400)에 포함된 얼굴에 대응되는 사용자에 대한 사용자 인증이 이루어지도록 할 수 있다. 즉, 제어부(400)는 영상에서 얼굴이 인식되더라도, 해당 영상에 기 설정된 얼굴 조건을 만족하는 얼굴이 존재하지 않는 경우, 해당 영상에 포함된 얼굴에 대응되는 사용자를 위한 사용자 인증을 위해, 사용자 인증 요청을 서버로 전송할지 않을 수 있다.The controller 160 may perform user authentication for a user corresponding to a face included in the image 400 only when the image 400 includes a face satisfying a preset face condition. That is, even if a face is recognized in an image, the controller 400 performs user authentication for a user corresponding to a face included in the image when there is no face that satisfies a preset face condition in the corresponding image. It may or may not send the request to the server.

한편, 기 설정된 얼굴 조건의 일 예로서, 인식된 얼굴이 차지하는 영역의 크기에 대하여 살펴보면, 제어부(160)는 영상에서 인식된 복수의 얼굴들 각각이 차지하는 크기(예를 들어, 얼굴 영역(또는 바운딩 박스 영역)의 크기 또는 넓이)가 기 설정된 크기 이상을 갖는지를 판단할 수 있다. 제어부(160)는 기 설정된 크기 이상을 갖는 얼굴이 존재하는 경우, 해당 얼굴에 대응되는 사용자를 사용자 인증 대상이 되는 얼굴로서 특정할 수 있다. Meanwhile, as an example of a preset face condition, looking at the size of an area occupied by a recognized face, the controller 160 determines the size occupied by each of a plurality of faces recognized in an image (eg, the face area (or bounding area) It may be determined whether the size or width of the box area) has a predetermined size or more. When a face having a predetermined size or larger exists, the controller 160 may specify a user corresponding to the corresponding face as a face subject to user authentication.

예를 들어, 도 6의 (a)에 도시된 것과 같이, 제어부(160)는 영상(610)에서 인식된 제1 얼굴(2000a) 및 제4 얼굴(2000d) 중 기 설정된 크기 이상을 갖는 얼굴 영역에 포함된 제1 얼굴(2000a)을 사용자 인증의 대상이 되는 인증 대상 얼굴로 특정할 수 있다. For example, as shown in (a) of FIG. 6 , the controller 160 controls a face region having a preset size or larger among the first face 2000a and the fourth face 2000d recognized in the image 610. The first face 2000a included in may be specified as a target face for user authentication.

나아가, 제어부(160)는. 영상에서 기 설정된 크기 이상을 갖는 얼굴 영역이 복수인 경우, 복수의 얼굴 영역 중 가장 큰 얼굴 영역에 포함된 얼굴을 사용자 인증의 대상이 되는 인증 대상 얼굴로 특정할 수 있다. Furthermore, the control unit 160. When there are a plurality of face regions having a predetermined size or more in the image, a face included in the largest face region among the plurality of face regions may be specified as a target face for user authentication.

예를 들어, 도 6의 (a)에 도시된 영상(610)에서, 제1 얼굴(2000a) 및 제4 얼굴(2000d)이 모두 기 설정된 크기 이상을 갖더라도, 제어부(160)는 가장 큰 얼굴 영역에 포함된 제1 얼굴(2000a)을 사용자 인증의 대상이 되는 인증 대상 얼굴로 특정할 수 있다. For example, in the image 610 shown in (a) of FIG. 6 , even if both the first face 2000a and the fourth face 2000d have a preset size or larger, the controller 160 displays the largest face. The first face 2000a included in the area may be specified as a target face for user authentication.

기 설정된 얼굴 조건의 다른 예로서, 인식된 얼굴이 영상에 포함된 위치에 대하여 살펴보면, 기 설정된 얼굴 조건은, 도 6의 (a)에 도시된 것과 같이, 영상에서 인식된 얼굴이 포함된 위치가 영상의 기 설정된 위치(예를 들어, 중앙, 611)에서 일정 반경 이내에 위치하는 것과 관련될 수 있다. As another example of a preset face condition, looking at a location where a recognized face is included in an image, the preset face condition is a location where a recognized face is included in an image, as shown in FIG. It may be related to being located within a predetermined radius from a preset location (eg, center, 611) of the image.

예를 들어, 도 6의 (a)에 도시된 것과 같이, 제어부(160)는 영상(610)에서 인식된 제1 얼굴(2000a) 및 제4 얼굴(2000d) 중 영상(610)의 기 설정된 위치(예를 들어, 영상의 중앙 위치, 611)에서 일정 반경 이내에 위치하는 제1 얼굴(2000a)을 사용자 인증의 대상이 되는 인증 대상 얼굴로 특정할 수 있다. For example, as shown in (a) of FIG. 6 , the controller 160 controls a predetermined position of the image 610 among the first face 2000a and the fourth face 2000d recognized in the image 610. (For example, the first face 2000a located within a predetermined radius from the central position 611 of the image) may be specified as a target face for user authentication.

다른 예로서, 기 설정된 얼굴 조건은, 영상에서 인식된 얼굴이 얼굴 전체에 해당하는지 여부일 수 있다. 도 6의 (b) 에 도시된 것과 같이, 영상(620)에서 인식된 제1 얼굴(2000a)이 사용자의 얼굴 전체에 대응되지 않고, 얼굴 일부에 해당되는 경우, 제어부(160)는 제1 얼굴(2000a)을 사용자 인증의 대상이 되는 얼굴인증 대상 얼굴로서 특정하지 않을 수 있다. 이 경우, 제4 얼굴(2000d)이 앞서 살펴본 기 설정된 크기를 갖는 얼굴이 아닌 경우, 제어부(160)는 해당 영상(630)에 사용자 인증의 대상이 되는 얼굴이 존재하지 않는다고 판단할 수 있다.As another example, the preset face condition may be whether a face recognized in an image corresponds to the entire face. As shown in (b) of FIG. 6 , when the first face 2000a recognized in the image 620 does not correspond to the entire face of the user but to a part of the face, the controller 160 controls the first face 2000a. (2000a) may not be specified as a face to be authenticated as a face subject to user authentication. In this case, if the fourth face 2000d is not a face having a predetermined size, the controller 160 may determine that a face to be user authentication does not exist in the corresponding image 630 .

다만 인증을 시도하는 가장 앞에 있는 사용자가 너무 가까이에 있는 경우, 해당 사용자의 얼굴이 일부만 인식되고 그 뒤에 있는 다른 사용자의 얼굴이 적절한 크기 일 때 인증 대상 얼굴로 결정될 수 있기 때문에, 가장 앞에 있는 것으로 생각되는 사용자(예를 들어, 얼굴이 가장 큰 사용자)의 얼굴이 일부만 노출된 경우에는 사용자 인증의 대상이 되는 얼굴이 없다고 판단하고, 사용자에게 조금 뒤로 물러나거나 얼굴 전체가 화면에 위치하도록 이동하라는 가이드를 출력할 수 있다.However, if the frontmost user attempting authentication is too close, only a part of the user's face is recognized and the face of another user behind it can be determined as the face to be authenticated when it is an appropriate size, so it is considered to be the frontmost. If only a part of the face of a user (for example, a user with the largest face) is exposed, it is determined that there is no face subject to user authentication, and a guide is given to the user to step back or move so that the entire face is on the screen. can be printed out.

또 다른 예로서, 기 설정된 얼굴 조건은 영상에서 인식된 얼굴의 각도가 기 설정된 방향을 기준으로 기 설정된 각도 범위 내에 해당되는 것과 관련될 수 있다. 이는, 기준 방향(예를 들어, 카메라 방향)을 바라보고 있는지, 즉, 사용자가 카메라를 정면으로 바라보고 있는지와 관련된 것일 수 있다.As another example, the preset face condition may be related to an angle of a face recognized in an image falling within a preset angular range based on a preset direction. This may be related to whether the user is looking in a reference direction (eg, a camera direction), that is, whether the user is looking directly at the camera.

예를 들어, 도 6의 (c)에 도시된 것과 같이, 영상(630)에서 인식된 제5 얼굴(2000e)의 각도(예를 들어, x 방향을 기준으로 -y 를 향해 90 ˚ 회전, -90 ˚ )가, 카메라(111) 정면 방향(x, 641)을 기준으로 제1 각도(예를 들어, -20˚) 내지 제2 각도(예를 들어, +20˚)내에 해당되지 않는 경우, 제어부(160)는, 제5얼굴(2000e)을 사용자 인증의 대상이 되는 얼굴로서 특정하지 않을 수 있다. For example, as shown in (c) of FIG. 6 , the angle of the fifth face 2000e recognized in the image 630 (eg, rotated 90 degrees toward -y with respect to the x direction, - 90 ° ) is not within the first angle (eg, -20 °) to the second angle (eg, +20 °) based on the front direction (x, 641) of the camera 111, The controller 160 may not specify the fifth face 2000e as a face subject to user authentication.

즉, 제어부(160)는 영상에서 인식된 얼굴의 각도가 기 설정된 방향을 기준으로 일정 조건에 맞는 경우에만, 해당 얼굴이 기 설정된 얼굴 조건을 만족한다고 판단할 수 있다. That is, the controller 160 may determine that the face satisfies the preset face condition only when the angle of the face recognized in the image satisfies a predetermined condition based on the preset direction.

이처럼, 본 발명에서는 신속하고 정확하게 사용자의 얼굴을 인식하기 위하여, 카메라(111)를 통해 획득한 영상에서, 기 설정된 얼굴 조건을 만족하는 얼굴을 체크할 수 있다. As such, in the present invention, in order to quickly and accurately recognize a user's face, a face that satisfies a preset face condition may be checked in an image acquired through the camera 111 .

한편, 위에서 살펴본 것과 같이, 기 설정된 얼굴 조건이 복수인 경우, 제어부(160)는 영상에서 얼굴이, 복수의 얼굴 조건을 모두 만족하는 경우에 한하여, 해당 영상에 포함된 얼굴을 사용자 인증 대상이 되는 얼굴로서 특정할 수 있다. Meanwhile, as described above, when there are a plurality of preset face conditions, the controller 160 selects a face included in the image as a user authentication target only when the face in the image satisfies all of the plurality of face conditions. It can be identified as a face.

한편, 영상에서 기 설정된 얼굴 조건을 만족하는 얼굴이 복수인 경우, 제어부(160)는 영상에서 가장 큰 얼굴을, 사용자 인증 대상이 되는 얼굴로서 특정할 수 있다. 이와 다르게, 제어부(160)는 경우에 따라, 영상에서 기 설정된 얼굴 조건을 만족하는 얼굴이 복수인 경우, 복수의 얼굴 모두를 사용자 인증 대상이 되는 얼굴로서 특정할 수 있다.Meanwhile, when there are a plurality of faces satisfying preset face conditions in the image, the controller 160 may specify the largest face in the image as the face to be user-certified. Alternatively, if there are a plurality of faces in the image that satisfy a preset face condition, the controller 160 may specify all of the plurality of faces as faces subject to user authentication.

다음으로 본 발명에서는, 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지에 대한 체크한 결과에 근거하여, 사용자 인증 요청을 수행하는 과정이 진행될 수 있다(S340). Next, in the present invention, based on a result of checking whether a face recognized in an image satisfies a preset face condition, a process of requesting user authentication may proceed (S340).

제어부(160)는, 영상에서 인식된 얼굴이, 기 설정된 얼굴 조건을 만족하는 경우, 해당 얼굴에 대응되는 사용자 인증을 위해, 서버(200)로 사용자 인증을 요청할 수 있다. 이 경우, 사용자 인증 요청이, 시스템(100)으로부터 서버(200)로 전송될 수 있다.When the face recognized in the image satisfies a preset face condition, the controller 160 may request user authentication to the server 200 for user authentication corresponding to the corresponding face. In this case, a user authentication request may be transmitted from the system 100 to the server 200 .

이와 다르게 제어부(160)는 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하지 않는 경우, 서버(200)로 사용자 인증 요청을 전송하지 않을 수 있다. 즉, 제어부(160)는 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지에 대한 체크 결과, 얼굴들 중 기 설정된 얼굴 조건을 만족하는 얼굴이 존재하지 않는 경우, 서버(200)에 대하여, 영상에 근거한 사용자 인증 요청을 전송하지 않을 수 있다. Unlike this, the controller 160 may not transmit a user authentication request to the server 200 when a face recognized in an image does not satisfy a preset face condition. That is, the controller 160 checks whether the face recognized in the image satisfies the preset face condition, and if there is no face that satisfies the preset face condition among the faces, for the server 200, the image may not transmit a user authentication request based on

이처럼, 본 발명에서는 기 설정된 얼굴 조건을 만족하는 얼굴에 대해서 사용자 인증 프로세스가 진행되도록 제어함으로써, 사용자 인증을 시도하는 사용자의 얼굴이 아닌 다른 사용자의 얼굴에 대해 사용자 인증이 진행되는 것을 방지하여 사용자 인증의 정확성을 향상시킬 수 있다. 또한 불필요하게 인증을 위한 연산을 반복하지 않음으로써 연산 리소스를 줄이고 빠른 처리가 가능하도록 할 수 있다.As such, in the present invention, by controlling the user authentication process to proceed with respect to a face that satisfies a preset face condition, user authentication is prevented from being performed for a face of a user other than the face of the user attempting user authentication. accuracy can be improved. In addition, by not repeating an operation for authentication unnecessarily, it is possible to reduce computational resources and enable fast processing.

한편, 본 발명에서는, 사용자 인증 서버(200)에서 사용자 인증 프로세스가 수행되는 것으로 설명하지만, 시스템(100)에서 사용자 인증 프로세스가 수행가능 함은 물론이다. Meanwhile, in the present invention, it is described that the user authentication process is performed in the user authentication server 200, but the user authentication process can be performed in the system 100, of course.

제어부(160)는 영상에서 인식된 얼굴이, 기 설정된 얼굴 조건을 만족하는 경우, 서버(200)에서, 인식된 얼굴에 대한 사용자 인증을 수행하도록, 인식된 얼굴과 관련된 정보를 서버(200)로 전송할 수 있다.When the face recognized in the image satisfies a preset face condition, the controller 160 transmits information related to the recognized face to the server 200 so that the server 200 performs user authentication on the recognized face. can transmit

이때, 서버(200)에는, 사용자 인증 요청과 함께, 인증의 대상이 되는 사용자에 대한 정보가 전송될 수 있다.At this time, along with a user authentication request, information on a user to be authenticated may be transmitted to the server 200 .

인증의 대상이되는 사용자에 대한 정보는, 영상에 포함된 얼굴과 관련된 정보로서, i) 인식된 얼굴이 포함된 영상, ii) 영상에서 인식된 얼굴 중 기 설정된 얼굴 조건을 만족하는 얼굴에 대한 식별 정보(ex: 해당 얼굴의 ID), iii) 영상에서 인식된 얼굴 중 기 설정된 얼굴 조건을 만족하는 얼굴에 대한 얼굴 정보 중 적어도 하나를 포함할 수 있다. The information on the user subject to authentication is information related to a face included in the image, i) an image including the recognized face, ii) identification of a face that satisfies a predetermined face condition among faces recognized in the image information (ex: corresponding face ID), and iii) face information on a face that satisfies a preset face condition among faces recognized in the image.

여기에서, 얼굴 정보는, 앞서 살펴본 것과 같이, i) 영상에서의 얼굴(바운딩 박스)에 대한 위치 정보(픽셀 좌표 정보, 511), ii) 얼굴의 크기 정보(영상에서 얼굴이 차지하는 영역에 대한 크기 또는 바운딩 박스에 대응되는 영역의 크기(또는 넓이)에 해당, 512), iii) 얼굴에 대한 각도 정보(얼굴이 기준 방향(ex: 카메라 기준)을 바라보고 있는지에 대한 정보, iv) 얼굴 특징 정보 중 적어도 하나를 포함할 수 있다. Here, the face information, as described above, i) location information (pixel coordinate information, 511) of the face (bounding box) in the image, ii) face size information (size of the area occupied by the face in the image) or corresponding to the size (or width) of the region corresponding to the bounding box, 512), iii) angle information about the face (information on whether the face is looking in a reference direction (ex: camera reference), iv) facial feature information may include at least one of them.

한편, 제어부(160)는 영상에서 인식된 얼굴 중 인증의 대상이 되는 특정 사용자에 대한 얼굴 정보만, 서버(200)로 전송할 수 있음은 물론이다. 예를 들어, 제어부(160)는 서버(200)로 영상 자체를 전송하는 것이 아니라, 인증의 대상이 되는 특정 얼굴에 해당하는 얼굴 특징 정보를 서버(200)로 전송할 수 있다. 이 경우, 서버(200)는 시스템(100)에서 수신된 얼굴 특징 정보에 근거하여, 사용자 인증을 수행할 수 있다.Meanwhile, of course, the controller 160 may transmit, to the server 200, only face information for a specific user to be authenticated among faces recognized in the image. For example, the controller 160 may transmit facial feature information corresponding to a specific face to be authenticated to the server 200 instead of transmitting the image itself to the server 200 . In this case, the server 200 may perform user authentication based on facial feature information received from the system 100 .

한편, 시스템(160)에서는 영상에서 복수의 얼굴이 인식된 경우, 복수의 얼굴 중 인증의 대상이 되는 특정 얼굴을 특정하는 정보를 서버(200)로 전송하지 않을 수 있다. 이 경우, 서버(200)에서는 자체적으로, 복수의 얼굴 중 적어도 하나의 얼굴에 대한 사용자 인증을 수행할 수 있다. 서버(200)에서는, 인식된 복수의 얼굴 중 영상에서 가장 큰 영역을 차지한 얼굴에 대해서, 사용자 인증을 수행할 수 있다. 이 경우에도, 서버(200)는 복수의 얼굴 중 앞서 살펴본 기 설정된 얼굴 조건을 만족하는 얼굴에 대해서만 사용자 인증을 수행할 수 있다.Meanwhile, in the system 160, when a plurality of faces are recognized in an image, information for specifying a specific face to be authenticated among the plurality of faces may not be transmitted to the server 200. In this case, the server 200 may perform user authentication on at least one face among a plurality of faces by itself. The server 200 may perform user authentication on a face occupying the largest area in an image among a plurality of recognized faces. Even in this case, the server 200 may perform user authentication only on a face that satisfies the previously set face condition among the plurality of faces.

한편, 서버(200)에서는, 시스템(100)으로부터의 사용자 인증 요청에 근거하여, 영상에서 인식된 얼굴에 대한 사용자 인증을 수행할 수 있다.Meanwhile, the server 200 may perform user authentication for a face recognized in an image based on a user authentication request from the system 100 .

앞서 설명한 것과 같이, 서버(200)에 포함된 제어부(230)는 영상에 포함된 인증대상 사용자의 얼굴에 대한 정보와 서버(200)의 사용자 DB(221)에 저장된 참조 얼굴 특징 정보에 대한 유사도 판단을 수행할 수 있다.As described above, the control unit 230 included in the server 200 determines the similarity between the face information of the user to be authenticated included in the image and the reference facial feature information stored in the user DB 221 of the server 200. can be performed.

유사도 판단 방법의 일 예로서, 제어부(230)는 영상에 포함된 인증 대상 사용자의 얼굴과 사용자 DB(221)에 저장된 참조 얼굴 이미지를 비교하여 사용자 인증을 수행할 수 있다. As an example of a similarity determination method, the controller 230 may perform user authentication by comparing a face of a user to be authenticated included in an image with a reference face image stored in the user DB 221 .

이때, 참조 얼굴 이미지와, 영상에 포함된 인증 대상 사용자의 얼굴을 비교한다고 함은, 참조 얼굴 이미지에 해당하는 특징점 정보와, 영상에서 인식된 사용자의 얼굴에 대한 특징점 정보를 비교하는 것을 의미할 수 있다. 즉, 사용자 DB에는, 사용자들의 참조 얼굴 이미지가, 참조 얼굴 이미지에 포함된 눈, 코, 입 등의 생김새에 따라 정의되는 특징점 정보가 존재할 수 있다.In this case, comparing the reference face image with the face of the user to be authenticated included in the image may mean comparing feature point information corresponding to the reference face image with feature point information on the face of the user recognized in the image. there is. That is, feature point information in which reference face images of users are defined according to features of eyes, noses, and mouths included in the reference face images may exist in the user DB.

유사도 판단 방법의 다른 일 예로서, 서버(200)에 포함된 제어부(230)는 얼굴 이미지로부터 추출된 인증 대상 사용자의 얼굴에 대한 특징 벡터와, 참조 얼굴 특징 정보에 포함된 특징 벡터 간의 유사도 비교를 통해, 사용자 인증을 수행할 수 있다. 이때, 사용자 DB에는 다양한 참조 얼굴에 대한 특징 벡터들이 저장되어 존재할 수 있다. 서버(200)에 포함된 제어부(230)는 사용자 DB로부터, 인증 대상 사용자의 얼굴에 대한 특징 벡터와 가장 유사한 특징 벡터를 검색(또는 추출)하고, 검색된 특징벡터와 인증 대상 사용자의 얼굴에 대한 특징 벡터 간의 유사도가 기 설정된 값(임계값) 이상인 경우, 사용자에 대한 인증을 성공으로 처리할 수 있다.As another example of a similarity determination method, the control unit 230 included in the server 200 compares the similarity between a feature vector of a face of a user to be authenticated extracted from a face image and a feature vector included in reference facial feature information. Through this, user authentication can be performed. In this case, feature vectors for various reference faces may be stored in the user DB. The control unit 230 included in the server 200 searches (or extracts) a feature vector that is most similar to a feature vector of the face of the user to be authenticated from the user DB, and searches (or extracts) a feature vector that is most similar to the feature vector of the face of the user to be authenticated. When the similarity between the vectors is greater than or equal to a predetermined value (threshold), user authentication may be successfully processed.

서버(200)에 포함된 제어부(230)는 사용자 DB(221)에서 인증 대상 얼굴에 대응되는 인물이 검색되면, 인증 대상 얼굴에 대해 사용자 인증을 완료할 수 있다. 본 발명에서는, 인증 대상 얼굴에 대해 사용자 인증이 완료되는 것을 “사용자 인증 성공”으로 명명할 수 있다. The controller 230 included in the server 200 may complete user authentication for the face to be authenticated when a person corresponding to the face to be authenticated is found in the user DB 221 . In the present invention, completion of user authentication for the face to be authenticated may be referred to as “user authentication success”.

이와 달리, 서버(200)에 포함된 제어부(230)는 인증 대상 사용자의 얼굴에 대한 정보와 사용자 DB에 저장된 참조 얼굴 특징 정보 간의 유사도가 낮은 경우, 사용자 DB로부터 인증 대상 얼굴에 대응되는 정확한 인물을 검색하지 못할 수 있다. 즉, 서버(200)의 제어부(230)는 인증 대상 얼굴에 대한 사용자 인증을 완료하지 못할 수 있다. 본 발명에서는, 사용자 DB(221)로부터 인증 대상 얼굴에 대응되는 정확한 인물을 검색하지 못하는 것을 “사용자 인증 실패”로 명명할 수 있다. In contrast, the control unit 230 included in the server 200 determines an accurate person corresponding to the face to be authenticated from the user DB when the similarity between the face information of the user to be authenticated and the reference facial feature information stored in the user DB is low. You may not be able to search. That is, the controller 230 of the server 200 may not be able to complete user authentication for the face to be authenticated. In the present invention, failure to retrieve an accurate person corresponding to the face to be authenticated from the user DB 221 may be referred to as “user authentication failure”.

나아가, 본 발명에서는, 인증 대상 얼굴에 대응되는 사용자에게 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한이 있는 경우에 한하여, 사용자 인증을 성공으로 처리할 수 있다. 예를 들어, 사용자 인증의 대상이 되는 이벤트 또는 기능이, 특정 공간으로의 출입을 허용하기 위한 스피드게이트의 제어인 경우, 서버(200)는 인증 대상 사용자가, 해당 특정 공간에 출입할 권한이 존재하는 경우에 한하여, 사용자 인증을 성공으로 처리할 수 있다.Furthermore, in the present invention, user authentication can be successfully processed only when the user corresponding to the face to be authenticated has authority for an event or function subject to user authentication. For example, when an event or function subject to user authentication is control of a speed gate to allow access to a specific space, the server 200 allows the user to be authenticated to have access to the specific space. Only in this case, user authentication can be processed as success.

서버(200)에 포함된 제어부(230)는 사용자 DB(221)에서 인증 대상 얼굴과 대응되는 참조 얼굴 이미지에 매칭된 인물이 검색되면, 검색된 인물에 매칭된 사용자 정보를 사용자 DB(221)로부터 추출할 수 있다.The controller 230 included in the server 200 extracts user information matched to the searched person from the user DB 221 when a person matching a reference face image corresponding to a face to be authenticated is found in the user DB 221. can do.

인증 대상 사용자의 권한에 대한 정보(또는 권한 정보)는 사용자 DB(221)에 저장된 인증 대상 사용자의 사용자 정보에 포함되어 존재할 수 있다.Information on the authority of the user to be authenticated (or authority information) may be included in user information of the user to be authenticated stored in the user DB 221 .

여기에서, 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한이라 함은, 다양한 의미로 해석될 수 있다. 예를 들어, 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한은 i) 인증 대상 얼굴에 대응되는 사용자(이하, 인증 대상 사용자)가 사용자 인증의 대상이 되는 이벤트 또는 기능을 제공받을 권한을 갖고 있는지, ii) 인증 대상 사용자가 사용자 인증의 대상이 되는 이벤트 또는 기능에 접근할 권한을 갖고 있는지, iii) 인증 대상 사용자가 특정 장소에 출입할 권한을 갖고 있는지, iv) 인증 대상 사용자가 특정 전자장치를 제어할 권한을 갖고 있는지 등과 같이, 인증 대상 사용자가 임의의 기능, 장치 또는 장소와 관련하여 접근할 수 있는 권한을 갖고 있는지에 대한 정보일 수 있다.Here, the authority for an event or function subject to user authentication may be interpreted in various ways. For example, the authority for an event or function subject to user authentication depends on whether i) the user corresponding to the face to be authenticated (hereinafter referred to as the user to be authenticated) has the authority to receive the event or function subject to user authentication , ii) whether the user subject to authentication has the right to access the event or function subject to user authentication, iii) whether the user subject to authentication has the right to access a specific place, iv) whether the user subject to authentication has the right to use a specific electronic device It may be information about whether the user to be authenticated has permission to access any function, device, or location, such as whether or not the user has authority to control.

예를 들어, 사용자 인증의 대상이 되는 이벤트 또는 기능이 도 4의 (a)에 도시된 것과 같이, 인증 대상 사용자가 특정 장소에 출입할 수 있도록 출입 게이트를 열람 상태로 제어하는 기능인 경우, 서버(200)의 제어부(230)는 인증 대상 사용자의 사용자 정보에 근거하여, 인증 대상 사용자가 특정 장소(예를 들어, 건물)에 대해 출입할 권한이 존재하는지를 판단할 수 있다.For example, if the event or function subject to user authentication is a function of controlling an access gate in a viewing state so that a user to be authenticated can enter a specific place, as shown in (a) of FIG. 4, the server ( The controller 230 of 200) may determine whether or not the user to be authenticated has permission to enter a specific place (eg, a building) based on the user information of the user to be authenticated.

서버(200)에 포함된 제어부(230)는 사용자 DB(221)로부터 추출된 사용자 정보에 근거하여, 인증 대상 얼굴에 대응되는 사용자에게 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한이 존재하는지를 판단할 수 있다. The controller 230 included in the server 200 determines whether the user corresponding to the face to be authenticated has authority for an event or function subject to user authentication based on user information extracted from the user DB 221. can do.

서버(200)에 포함된 제어부(230)는 인증 대상 얼굴에 대응되는 사용자에게 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한이 존재하면, 사용자 인증을 완료하고 사용자 인증을 성공하였다고 판단할 수 있다. The control unit 230 included in the server 200 may complete user authentication and determine that user authentication is successful if the user corresponding to the face to be authenticated has authority for an event or function subject to user authentication. .

이와 달리, 서버(200)에 포함된 제어부(230)는 인증 대상 얼굴과 대응되는 참조 얼굴 이미지에 매칭된 인물이 검색되더라도, 인증 대상 얼굴에 대응되는 사용자에게 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한이 없다고 판단되면, 사용자 인증이 실패된 것으로 판단할 수 있다. In contrast, the control unit 230 included in the server 200 allows the user corresponding to the face to be authenticated to receive an event or function that is subject to user authentication, even if a person matching a reference face image corresponding to the face to be authenticated is found. If it is determined that there is no authority, it may be determined that user authentication has failed.

한편, 서버(200)는 인증 대상 얼굴에 대한 사용자 인증 결과를 시스템(100)로 전송할 수 있다. 이 때, 사용자 인증이 성공한 경우, 서버(200)는 인증 대상 얼굴에 대응되는 사용자 정보(예를 들어, 이름, 근무 부서 등) 및 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 제어 명령 중 적어도 하나를 시스템(100)로 전송할 수 있다. Meanwhile, the server 200 may transmit the user authentication result for the face to be authenticated to the system 100 . At this time, when user authentication is successful, the server 200 performs at least one of user information (eg, name, work department, etc.) corresponding to the face to be authenticated and a control command for an event or function to be authenticated. may be transmitted to the system 100.

나아가, 서버(200)는 사용자 인증이 성공한 경우, 인증 대상 얼굴에 대응되는 사용자 정보(예를 들어, 이름, 근무 부서 등)는 시스템(100)로 전송하고, 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 제어 명령은 사용자 인증의 대상이 되는 이벤트 또는 기능과 관련된 장치(예를 들어, 출입 통제 게이트, 20)로 전송할 수 있다. Furthermore, when user authentication is successful, the server 200 transmits user information (eg, name, work department, etc.) corresponding to the face to be authenticated to the system 100, and an event or function subject to user authentication. A control command for may be transmitted to a device (eg, an access control gate, 20) related to an event or function subject to user authentication.

한편, 본 발명에서는 서버(200)로부터 수신된 인증 대상 얼굴에 대한 사용자 인증 결과에 근거하여, 인증 대상 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 과정이 진행될 수 있다. Meanwhile, in the present invention, based on the user authentication result for the face to be authenticated received from the server 200, a process of performing control according to the user authentication result for the face to be authenticated may proceed.

시스템(100)의 제어부(160)는, 사용자 인증 결과에 근거하여, 서로 다른 제어를 수행할 수 있다. The controller 160 of the system 100 may perform different controls based on the user authentication result.

보다 구체적으로, 제어부(160)는 인증 대상 얼굴에 대한 사용자 인증에 대한 성공 및 실패에 근거하여, 인증 대상 사용자에 대해 서로 다른 정보가 제공되도록, 디스플레이부(140) 및 음향 출력부(150) 중 적어도 하나를 제어할 수 있다. More specifically, the controller 160 may use one of the display unit 140 and the sound output unit 150 to provide different information about the user to be authenticated based on the success or failure of user authentication for the face to be authenticated. You can control at least one.

인증 대상 얼굴에 대한 사용자 인증에 대한 성공한 경우, 제어부(160)는 디스플레이부(140) 및 음향 출력부(150) 중 적어도 하나를 통해 인증 대상 사용자에게 사용자 인증 성공 대응되는 정보를 제공할 수 있다. 이 때, 제어부(160)는 인증 대상 얼굴에 대응되는 사용자 정보를 이용하여, 인증 대상 사용자의 맞춤형 정보를 제공할 수 있다. When user authentication for the face to be authenticated succeeds, the controller 160 may provide information corresponding to successful user authentication to the user to be authenticated through at least one of the display unit 140 and the sound output unit 150. In this case, the controller 160 may provide customized information of the user to be authenticated using user information corresponding to the face to be authenticated.

일 예로, 도 8의 (a) 및 (b)에 도시된 것과 같이, 제1 얼굴(2000a) 및 제2 얼굴(2000b)에 대한 사용자 인증에 대해 성공한 경우, 제어부(160)는 제1 얼굴(2000a) 및 제2 얼굴(2000b)에 대응되는 사용자의 이름과 함께 사용자 인증 성공에 대응되는 정보(예를 들어, “Welcome, User 1 님을 환영합니다”, 810, 820)가 디스플레이부(140) 상에 시각적으로 출력되도록 디스플레이부(140)를 제어할 수 있다. 나아가, 제어부(160)는 사용자 인증 성공에 대응되는 정보가 음향 출력부(150)를 통해 청각적으로 출력되도록 음향 출력부(150)를 제어할 수 있다. As an example, as shown in (a) and (b) of FIG. 8 , when user authentication for the first face 2000a and the second face 2000b is successful, the controller 160 sets the first face ( 2000a) and the user's name corresponding to the second face 2000b and information corresponding to user authentication success (for example, “Welcome, Welcome to User 1”, 810, 820) are displayed on the display unit 140. The display unit 140 may be controlled to visually output images on the screen. Furthermore, the controller 160 may control the audio output unit 150 so that information corresponding to user authentication success is audibly output through the audio output unit 150 .

다른 예로, 도 8의 (c)에 도시된 것과 같이, 제3 얼굴(2000c)에 대한 사용자 인증에 대해 실패한 경우, 제어부(160)는 사용자 인증 실패에 대응되는 정보(예를 들어, 예를 들어, “Oops! 사용자 등록을 해주세요”, 830)가 디스플레이부(140) 상에 시각적으로 출력되도록 디스플레이부(140)를 제어할 수 있다. 나아가, 제어부(160)는 사용자 인증 성공에 대응되는 정보가 음향 출력부(150)를 통해 청각적으로 출력되도록 음향 출력부(150)를 제어할 수 있다. As another example, as shown in (c) of FIG. 8 , when user authentication for the third face 2000c fails, the controller 160 provides information corresponding to the user authentication failure (eg, , “Oops! Furthermore, the controller 160 may control the audio output unit 150 so that information corresponding to user authentication success is audibly output through the audio output unit 150 .

나아가, 제어부(160)는 인증 대상 얼굴에 대한 사용자 인증에 대한 성공 및 실패에 근거하여, 사용자 인증의 대상이 되는 이벤트 또는 기능이 실행되도록 이벤트 또는 기능과 관련된 제어를 수행할 수 있다. Furthermore, the controller 160 may perform control related to an event or function so that an event or function subject to user authentication is executed based on success or failure of user authentication for the face to be authenticated.

앞서 살펴본, 도 4의 (a)에 도시된 것과 같이, 사용자 인증의 대상이 되는 이벤트 또는 기능이 인증 대상 사용자가 특정 장소에 출입하거나 출입하지 못하도록, 출입 통제 게이트(20)를 제어하는 것인 경우, 서버(200)로부터 수신되는 사용자 인증 결과에 따라, 제어부(160)는 출입 통제 게이트(20)가 열람 상태 및 닫힘 상태 중 어느 하나의 상태를 갖도록, 출입 통제 게이트(20)를 제어할 수 있다. As described above, as shown in (a) of FIG. 4, when the event or function subject to user authentication is to control the access control gate 20 so that the user to be authenticated enters or does not enter a specific place. , According to the user authentication result received from the server 200, the control unit 160 can control the access control gate 20 so that the access control gate 20 has any one of a reading state and a closed state. .

보다 구체적으로, 제어부(160)는 인증 대상 얼굴에 대한 사용자 인증이 성공하는 경우, 인증 대상 얼굴에 대응되는 사용자가 출입 통제 게이트(20)를 통과하도록, 기 설정된 시간 동안 출입 통제 게이트(20)가 열림 상태를 갖도록 제어할 수 있다. 나아가, 제어부(160)는 기 설정된 시간이 경과된 후에는 출입 통제 기능이 수행되도록, 출입 통제 게이트(20)가 닫힘 상태를 갖도록 제어할 수 있다. More specifically, the control unit 160, when user authentication of the face to be authenticated succeeds, allows the access control gate 20 to pass through the access control gate 20 for a predetermined time so that the user corresponding to the face to be authenticated passes through the access control gate 20. It can be controlled to have an open state. Furthermore, the control unit 160 may control the access control gate 20 to be in a closed state so that the access control function is performed after a predetermined time has elapsed.

이와 달리, 제어부(160)는 인증 대상 얼굴에 대한 사용자 인증이 실패하는 경우, 인증 대상 얼굴에 대응되는 사용자가 출입 통제 게이트(20)를 통과하지 못하도록, 출입 통제 게이트(20)가 닫힘 상태를 갖도록 제어할 수 있다. In contrast, when user authentication for the face to be authenticated fails, the control unit 160 keeps the access control gate 20 in a closed state so that the user corresponding to the face to be authenticated does not pass through the access control gate 20. You can control it.

한편, 출입 통제 게이트(20)는 서버(200)로부터 수신되는 제어 명령에 근거하여, 열림 상태 또는 닫힘 상태가 제어될 수 있다. 서버(200)는 사용자 인증의 결과를, 시스템(100) 뿐만 아니라, 출입 통제 게이트(20)에도 전달할 수 있다. 출입 통제 게이트(20)는 서버(200)로부터 수신되는 사용자 인증 결과에 기반하여, 열림 상태가 제어될 수 있다.Meanwhile, an open state or a closed state of the access control gate 20 may be controlled based on a control command received from the server 200 . The server 200 may transmit the result of user authentication to the access control gate 20 as well as the system 100 . An open state of the access control gate 20 may be controlled based on a user authentication result received from the server 200 .

이처럼, 본 발명에서는 기 설정된 얼굴 조건을 만족하는 얼굴에 대해서 사용자 인증을 수행함으로써, 사용자 인증에 소모되는 데이터 처리를 효율적으로 관리할 수 있다. As such, in the present invention, by performing user authentication on a face that satisfies a preset face condition, data processing consumed for user authentication can be efficiently managed.

한편, 본 발명에서는, 기 설정된 얼굴 조건을 만족하는 인증 대상 얼굴에 대해서 사용자 인증을 수행하기 전에, 인증 대상 얼굴에 대응되는 사용자가 진정으로 사용자 인증을 수행하고 싶어하는지에 대한 사용자 인증 의도를 파악함으로써, 해당 사용자가 사용자 인증 의도가 있는 경우에 한하여, 사용자 인증을 수행할 수 있다. 이하에서는, 사용자의 인증 의도를 파악하는 방법에 대해서 구체적으로 설명하도록 한다. On the other hand, in the present invention, before user authentication is performed on a face to be authenticated that satisfies a preset face condition, the user authentication intention of whether the user corresponding to the face to be authenticated truly wants to perform user authentication is determined. , user authentication can be performed only when the corresponding user has the intention of user authentication. Hereinafter, a method of determining the user's authentication intention will be described in detail.

본 발명에서는, 영상에서 인식되는 얼굴이 기 설정된 얼굴 조건을 만족하는 경우, 기 설정된 얼굴 조건을 만족하는 얼굴의 사용자가 사용자 인증을 수행하고자 하는 의도가 있는지를 판단할 수 있다. 그리고, 판단 결과에 근거하여, 사용자 인증을 선택적으로 수행할 수 있다. In the present invention, when a face recognized in an image satisfies a preset face condition, it may be determined whether a user whose face satisfies the preset face condition has an intention to perform user authentication. And, based on the determination result, user authentication may be selectively performed.

제어부(160)는 기 설정된 얼굴 조건을 만족하는 인증 대상 얼굴에 대응되는 사용자에게 인증 의도가 있다고 판단되면, 서버(200)로 인증 대상 얼굴에 대한 사용자 인증을 요청할 수 있다. When it is determined that a user corresponding to a face to be authenticated that satisfies a preset face condition has an authentication intent, the controller 160 may request user authentication for the face to be authenticated from the server 200 .

이와 달리, 본 발명에서는 영상에서 인식되는 얼굴이 기 설정된 얼굴 조건을 만족하지 않거나, 기 설정된 얼굴 조건을 만족하더라도, 얼굴에 대응되는 사용자가 사용자 인증 의도가 없는 것으로 판단되면, 서버(200)에 대해 인식된 얼굴에 대한 사용자 인증을 요청하지 않을 수 있다. In contrast, in the present invention, if a face recognized in an image does not satisfy a preset face condition or if it is determined that the user corresponding to the face does not have the user authentication intention even if the face meets the preset face condition, the server 200 User authentication for the recognized face may not be requested.

제어부(160)는 인증 대상 얼굴이 아닌 얼굴이나, 인증 대상 얼굴에 대응되는 사용자에게 사용자 인증 의도가 없다고 판단되면(출입 게이트의 경우로 예를 들면, 게이트를 통과하고자 하는 의도가 아니라 그냥 지나가는 사용자이거나, 출입 게이트에서 나와서 걸어가는 사용자 등), 사용자 인증 서버(200)로 인증 대상 얼굴에 대한 사용자 인증 요청이 제한되도록 제어할 수 있다. When the controller 160 determines that a face other than the face to be authenticated or a user corresponding to the face to be authenticated does not have the intention of user authentication (in the case of an access gate, for example, a user passing through the gate rather than intending to pass through the gate, or , a user walking out of an entrance gate, etc.), and a user authentication request for a face to be authenticated can be controlled to be limited to the user authentication server 200 .

인증 대상 얼굴에 대응되는 사용자의 사용자 인증 판단은, 인증 대상 사용자와 관련되어 저장부(120)에 저장된 정보에 근거하여 이루어질 수 있다. User authentication of the user corresponding to the face to be authenticated may be determined based on information stored in the storage unit 120 related to the user to be authenticated.

여기에서, 인증 대상 사용자와 관련되어 저장부(120)에 저장된 정보는, 인증 대상 사용자의 얼굴이 포함된 영상 및 해당 영상에 포함된 인증 대상 사용자의 얼굴 정보 중 적어도 하나를 포함할 수 있다.Here, the information related to the user to be authenticated and stored in the storage unit 120 may include at least one of an image including a face of the user to be authenticated and face information of the user to be authenticated included in the corresponding image.

제어부(130)는 도 7a에 도시된 것과 같이, 현재 시점(t0)에 촬영된 영상(예를 들어, 제1 영상, 700) 및 현재 시점(t0)보다 이전 시점(과거 시점, tp1~tp3 등)에 촬영된 적어도 하나의 영상(710, 720, 730)에서 추출된 인증 대상 사용자의 얼굴 정보를 이용하여, 인증 대상 사용자의 의도를 판단할 수 있다. As shown in FIG. 7A , the controller 130 controls an image captured at the current time point t0 (eg, a first image, 700) and a time point prior to the current time point t0 (past time point, tp1 to tp3, etc.) The intention of the user to be authenticated may be determined using face information of the user to be authenticated extracted from at least one image 710 , 720 , and 730 captured in ).

제어부(160)는, 저장부(120)에 인증 대상 얼굴(2000a)이 인식된 제1 영상 (700)이 획득된 시점(t0) 보다 이전 시점(tp1, tp2, tp3)에 획득된 제2 내지 제4 영상(710, 720, 730)에서 추출된 인증 대상 사용자의 특정 ID(USER 1)에 매칭된 얼굴 정보가 존재하는지를 확인할 수 있다. The control unit 160 stores the second through second images 700 obtained at points in time tp1, tp2, and tp3 prior to the point in time t0 at which the first image 700 in which the face to be authenticated 2000a is recognized in the storage unit 120 is obtained. It is possible to check whether face information matched to a specific ID (USER 1) of a user to be authenticated extracted from the fourth images 710, 720, and 730 exists.

보다 구체적으로, 제어부(160)는 저장부(120)에 제1 영상(700)에서 인증 대상 얼굴에 할당된 ID와 동일한 ID에 매칭된 얼굴 정보가 존재하는지를 확인할 수 있다. More specifically, the controller 160 may check whether face information matched to the same ID as the ID assigned to the face to be authenticated in the first image 700 exists in the storage 120 .

특정 ID에 매칭된 얼굴 정보는, 특정 ID가 할당된 얼굴(2000a)과 관련된 얼굴 정보로 이해될 수 있다. Face information matched with a specific ID may be understood as face information related to the face 2000a to which a specific ID is assigned.

앞서 설명한 것과 같이, 얼굴 정보는, 영상에서 추출되는 특정 얼굴(또는 얼굴 이미지)와 관련된 다양한 정보일 수 있다. 예를 들어, 얼굴 정보는, i) 얼굴(얼굴 이미지)에 대한 위치 정보, ii) 얼굴에 대한 크기 정보(얼굴 이미지 또는 바운딩 박스에 대응되는 영역의 크기(또는 넓이)), iii) 얼굴에 대한 각도 정보, iv) 얼굴 특징 정보 중 적어도 하나를 포함할 수 있다. As described above, face information may be various information related to a specific face (or face image) extracted from an image. For example, face information includes i) positional information about a face (face image), ii) size information about a face (size (or width) of a region corresponding to a face image or bounding box), iii) information about a face It may include at least one of angle information and iv) facial feature information.

제어부(160)는 제1 영상(700)에서 인증 대상 얼굴(2000a)에 할당된 ID와 동일한 ID에 매칭된 얼굴 정보가 존재하면, 제1 영상(700)에서 추출된 인증 대상 얼굴(2000a)의 얼굴 정보 및 제1 영상(700) 보다 이전 시점에 촬영된 영상 (710, 720, 730)에서 추출된 인증 대상 얼굴(2000a)의 얼굴 정보에 근거하여, 인증 대상 얼굴(또는 바운딩 박스) 크기 및 위치 변화량을 산출할 수 있다. If there is face information matched to the same ID as the ID assigned to the face to be authenticated 2000a in the first image 700, the controller 160 determines the face information of the face to be authenticated 2000a extracted from the first image 700. Based on the face information and face information of the face to be authenticated (2000a) extracted from the images (710, 720, and 730) taken before the first image (700), the size and location of the face (or bounding box) to be authenticated. change can be calculated.

여기에서, 인증 대상 얼굴의 크기 및 위치 변화량은, 인증 대상 얼굴이 인식된 복수의 영상(700, 710, 720, 730)들에서 인증 대상 얼굴에 대응되는 영역의 크기 및 인증 대상 얼굴에 대응되는 좌표의 변화 정도를 의미하는 것으로 이해될 수 있다. Here, the amount of change in the size and position of the face to be authenticated is determined by the size of a region corresponding to the face to be authenticated and coordinates corresponding to the face to be authenticated in the plurality of images 700, 710, 720, and 730 in which the face to be authenticated is recognized. It can be understood as meaning the degree of change of .

일 예로, 도 7a에서 현재 시점(t0)에서 획득된 제1 영상(700)에서의 인증 대상 얼굴(2000a)의 크기가, 제1 과거 시점(tp1)에 획득된 제2 영상 영상(710)에서의 인증 대상 얼굴(2000a)의 크기보다 상대적으로 커진 경우(영역의 넓이가 증가한 경우), 각 영상에서의 인증 대상 얼굴(2000a)의 크기 차이(또는 넓이 차이)가 곧, 인증 대상 얼굴의 크기 변화량일 수 있다. For example, in FIG. 7A , the size of the face to be authenticated 2000a in the first image 700 obtained at the current time point t0 is the size of the second image image 710 obtained at the first past time point tp1. When the size of the face 2000a is relatively larger than the size of the face 2000a to be authenticated (the width of the region is increased), the size difference (or difference in width) of the face 2000a to be authenticated in each image is the amount of change in size of the face to be authenticated. can be

다른 예로, 도 7b에서 현재 시점(t0)에서 획득된 제1 영상(700)에서의 인증 대상 얼굴(2000a)의 위치(픽셀 좌표)와, 제1 과거 시점(tp1)에 획득된 제2 영상(710)에서의 인증 대상 얼굴(2000a)의 위치(픽셀 좌표)의 차이가 곧, 인증 대상 얼굴의 위치 변화량일 수 있다. 또한 각 영상 촬영 시점간의 차이와 크기 변화를 이용하여 사용자가 시스템으로 접근하거나 이동하는 속도 등도 계산할 수 있다.As another example, in FIG. 7B , the position (pixel coordinates) of the face to be authenticated 2000a in the first image 700 obtained at the current time point t0 and the second image (pixel coordinates) obtained at the first past time point tp1 ( The difference in position (pixel coordinates) of the face to be authenticated 2000a in 710 may be the amount of change in the position of the face to be authenticated. In addition, the speed at which the user approaches or moves to the system can be calculated using the difference between each image capturing time and the change in size.

이처럼, 제어부(160)는 얼굴 정보에 근거하여 인증 대상 얼굴의 크기 및 위치 변화량 중 적어도 하나를 산출하고, 산출된 변화량에 근거하여, 인증 대상 얼굴에 대응되는 사용자의 사용자 인증 의도를 판단할 수 있다.As such, the controller 160 may calculate at least one of the size and position change of the face to be authenticated based on the face information, and determine the user authentication intention of the user corresponding to the face to be authenticated based on the calculated amount of change. .

제어부(160)는 산출된 변화량에 근거하여, 인증 대상 얼굴에 대응되는 사용자가 시스템(100) 또는 출입 통제 게이트(20)로 접근하였다고 판단되면, 인증 대상 얼굴에 대응되는 사용자가 사용자 인증 의도를 가지고 있다고 판단할 수 있다. When it is determined that the user corresponding to the face to be authenticated has approached the system 100 or the access control gate 20 based on the calculated amount of change, the controller 160 determines that the user corresponding to the face to be authenticated has the user authentication intent. It can be judged that there is

구체적으로, 제어부(160)는 인증 대상 얼굴의 크기가 시간의 순서에 따라 증가하는 경우, 인증 대상 얼굴에 대응되는 사용자가 사용자 인증 의도를 가지고 시스템(100) 또는 카메라(111)로 접근한다고 판단할 수 있다. Specifically, when the size of the face to be authenticated increases in order of time, the controller 160 determines that the user corresponding to the face to be authenticated approaches the system 100 or the camera 111 with the intention of user authentication. can

예를 들어, 도 4(a)에 도시된 것과 같이, 복수의 사용자(1000a, 1000b, 1000c)가 사용자 인증을 위해 시스템(100)앞에 줄 서 있는 경우를 가정하자. 사용자 인증 의도를 가지고 있는 사용자는 시스템(100) 또는 출입 통제 게이트(20)로부터 상대적으로 먼 위치에서 점차적으로 시스템(100) 또는 카메라(111)와 가까운 위치로 이동할 수 있다. For example, as shown in FIG. 4(a), assume a case where a plurality of users 1000a, 1000b, and 1000c stand in line in front of the system 100 for user authentication. A user having an intention of user authentication may gradually move from a location relatively far from the system 100 or the access control gate 20 to a location close to the system 100 or the camera 111 .

나아가, 도 7a에 도시된 것과 같이, 제어부(160)는 현재 및 과거 시점의 인증 대상 얼굴(2000a)에 대한 얼굴 정보로부터 산출된 얼굴 크기 변화량에 근거하여, 인증 대상 얼굴(2000a)이, 제4 영상(730), 제3 영상(720), 제2 영상(710) 및 제1 영상(700)에서 시간의 순서에 따라 크기가 증가하였다고 판단되면, 인증 대상 얼굴(2000a)에 대응되는 사용자가 사용자 인증 의도를 가지고 시스템(100) 또는 카메라(111)로 접근한다고 판단할 수 있다. Furthermore, as shown in FIG. 7A , the controller 160 determines that the face to be authenticated (2000a) is a fourth face based on the amount of change in face size calculated from face information on the face to be authenticated (2000a) at the current and past viewpoints. When it is determined that the size of the image 730, the third image 720, the second image 710, and the first image 700 has increased according to the order of time, the user corresponding to the face 2000a to be authenticated is the user. It may be determined that the system 100 or the camera 111 is accessed with an authentication intent.

한편, 제어부(160)는 산출된 위치 변화량에 근거하여, 인증 대상 얼굴에 대응되는 사용자의 얼굴이 특정 영역(예를 들어, 중앙 지점에서 일정 반경 이내 영역, 도 7b의 도면부호 710 참조)으로 위치 이동하였다고 판단되는 경우, 인증 대상 얼굴에 대응되는 사용자가 사용자 인증 의도를 가지고 있다고 판단할 수 있다. On the other hand, the controller 160 locates the user's face corresponding to the face to be authenticated in a specific area (eg, an area within a certain radius from the central point, see reference numeral 710 in FIG. 7B) based on the calculated position change amount. When it is determined that the user has moved, it may be determined that the user corresponding to the face to be authenticated has an intention for user authentication.

구체적으로, 제어부(160)는 인증 대상 얼굴의 위치가 시간의 순서에 따라 특정 영역(예를 들어, 영상의 중앙 영역)으로 이동하는 경우, 인증 대상 얼굴에 대응되는 사용자가 사용자 인증 의도를 가지고 시스템(100) 또는 출입 통제 게이트(20)로 접근한다고 판단할 수 있다. Specifically, when the location of the face to be authenticated moves to a specific area (eg, the central area of the image) in chronological order, the controller 160 determines that the user corresponding to the face to be authenticated has the user authentication intent and the system (100) or access control gate (20) can be determined to approach.

예를 들어, 사용자 인증 의도를 가지고 있는 사용자는, 도 7b에 도시된 것과 같이, 자신의 얼굴이 영상의 특정 영역(예를 들어, 영상의 중앙 지점(740)에서 일정 반경 이내)에 위치하도록 자세 및 얼굴의 위치를 변경할 수 있다. For example, as shown in FIG. 7B , a user having an intention to authenticate a user has a posture such that his/her face is located in a specific region of an image (eg, within a certain radius from the central point 740 of the image). and the position of the face can be changed.

이 경우, 도 7b에 도시된 것과 같이, 제어부(160)는 현재 및 과거 시점의 인증 대상 얼굴(2000a)에 대한 얼굴 정보로부터 산출된 얼굴 위치 변화량에 근거하여, 인증 대상 얼굴(2000a)이, 제4 영상(730), 제3 영상(720), 제2 영상(710) 및 제1 영상 (700)에서와 같이, 시간의 순서에 따라 특정 지점(740)으로 이동하였다고 판단되면, 인증 대상 얼굴(2000a)에 대응되는 사용자가 사용자 인증 의도를 가지고 시스템(100) 또는 출입 통제 게이트(20)에 자신의 얼굴을 위치시켰다고 판단할 수 있다. In this case, as shown in FIG. 7B , the controller 160 determines the face to be authenticated 2000a, based on the amount of change in face position calculated from the face information of the face to be authenticated 2000a at the current and past viewpoints. As in the 4th image 730, the 3rd image 720, the 2nd image 710, and the 1st image 700, if it is determined that it has moved to a specific point 740 according to the order of time, the face to be authenticated ( It may be determined that the user corresponding to 2000a) has placed his or her face on the system 100 or the access control gate 20 with the intention of user authentication.

이처럼, 본 발명에서는 타겟 영상이 획득된 시점보다 이전 시점에 획득된 적어도 하나의 다른 영상으로부터 추출된 인증 대상 얼굴의 얼굴 정보를 이용하여, 인증 대상 얼굴에 대응되는 사용자가 사용자 인증 의도를 가지고 있는지를 판단할 수 있다. As such, in the present invention, using face information of a face to be authenticated extracted from at least one other image obtained at a point in time prior to the point in time at which the target image is acquired, it is determined whether the user corresponding to the face to be authenticated has an intention for user authentication. can judge

이를 통해, 본 발명에서는 기 설정된 얼굴 조건을 만족하는 얼굴이 인식되더라도, 사용자 인증 의도가 있는 사용자의 얼굴에 대해서만 사용자 인증을 수행함으로써, 사용자 인증 의도가 없는 사용자의 얼굴로 사용자 인증이 수행되는 오(誤)인식을 해결하고, 사용자 인증 수단의 정확성 및 신뢰성을 향상시킬 수 있다. Through this, in the present invention, even if a face that satisfies a preset face condition is recognized, user authentication is performed only on the face of the user with the intention of user authentication, so that user authentication is performed with the face of the user without the intention of user authentication (誤) Recognition can be solved, and the accuracy and reliability of user authentication means can be improved.

한편, 사용자 인증에 성공하였음에도 불구하고, 동일 사용자에 대해서 중복으로 사용자 인증이 처리되는 경우가 존재할 수 있다. Meanwhile, there may be cases in which user authentication is repeatedly processed for the same user even though user authentication is successful.

예를 들어, 도 9의 (a)에 도시된 것과 같이, 특정 사용자(USER 7)가 사용자 인증에 성공하여 출입 통제 게이트(20)가 열림 상태로 제어되었음에도 불구하고, 특정 사용자(USER 7)가 출입 통제 게이트(20)를 통과하지 않고 그대로 서있는 경우, 카메라(111)는 인증 성공 사용자의 얼굴(900)이 포함된 영상(910)을 도 9의 (b)에 도시된 것과 같이 다시 획득할 수 있다. For example, as shown in (a) of FIG. 9 , even though a specific user (USER 7) succeeds in user authentication and the access control gate 20 is controlled to an open state, a specific user (USER 7) When standing as it is without passing through the access control gate 20, the camera 111 may re-acquire an image 910 including the face 900 of the authenticated user as shown in (b) of FIG. there is.

이 경우, 서버(200)에서는, 시스템(100)으로부터 수신된 정보에 근거하여, 특정 ID를 갖는 사용자(USER 7)에 대한 사용자 인증을 다시 수행할 수 있으며, 사용자 인증 결과는 시스템(100)으로 전달될 수 있다.In this case, the server 200 may perform user authentication again for the user (USER 7) having a specific ID based on the information received from the system 100, and the user authentication result is sent to the system 100. can be conveyed

이 경우, 제어부(160)는, 특정 ID를 갖는 얼굴에 대한 사용자 인증 결과 따라, 출입 통제 게이트(20)에 대한 제어가 수행된 이후, 서버(200)로부터 특정 ID를 갖는 얼굴에 대한 사용자 인증 결과가 추가로 수신된 경우, 추가로 수신된 사용자 인증 결과에 따른 제어를 제한할 수 있다. In this case, the control unit 160 controls the access control gate 20 according to the user authentication result for the face with the specific ID, and then the user authentication result for the face with the specific ID from the server 200. When is additionally received, control according to the additionally received user authentication result may be limited.

제어부(160)는 특정 ID(USER 7)를 갖는 얼굴에 대해 사용자 인증이 성공한 이후, 도 9의 (b)에 도시된 것과 같이, 기 설정된 시간 이내에 동일 사용자에 대한 사용자 인증이 다시 성공한 경우, 인증 성공 얼굴(900)에 대한 사용자 인증이 재 성공하더라도, 사용자 인증 성공에 대응되는 기능이 수행되지 않도록 제어할 수 있다. After successful user authentication for a face with a specific ID (USER 7), the controller 160 performs authentication when user authentication for the same user succeeds again within a preset time, as shown in (b) of FIG. 9 . Even if user authentication for the successful face 900 succeeds again, it is possible to control so that a function corresponding to user authentication success is not performed.

예를 들어, 도 9의 (a) 도시된 것과 같이, 제1 시점(t0)으로부터 기 설정된 시간 내인 제2 시점(t1)에 획득된 영상(910)에 근거하여, 특정 ID(USER 7)를 갖는 얼굴(910)에 대한 재 인증에 성공하더라도, 제어부(160)는 도 6의 (b)에 도시된 것과 같이, 사용자 인증 성공에 대응되는 정보(예를 들어, “Welcome, User 7 님을 환영합니다”, 920)가 디스플레이부(140)에 출력되지 않도록 디스플레이부(140)를 제어할 수 있다. For example, as shown in (a) of FIG. 9 , a specific ID (USER 7) is generated based on the image 910 obtained at a second time point t1 within a preset time from the first time point t0. Even if re-authentication of the face 910 is successful, the control unit 160, as shown in (b) of FIG. The display unit 140 may be controlled so that 920) is not output to the display unit 140.

나아가, 제어부(160)는 기 설정된 시간이 경과한 이후에 인증 성공 얼굴(910)에 대한 사용자 인증이 재 성공하면, 사용자 인증 성공에 대응되는 타겟 기능이 재 수행되도록 제어할 수 있다. Furthermore, if user authentication for the authentication successful face 910 succeeds again after a predetermined time elapses, the controller 160 may control the target function corresponding to the user authentication success to be re-executed.

예를 들어, 인증 성공 사용자가 출입 통제 게이트(20) 외부로 나간 후 다시 출입 통제 게이트(20)를 통과해야 하는 경우를 가정하자. 도 9의 (a) 및 (c)에 도시된 것과 같이, 제1 시점(t0)으로부터 기 설정된 시간 이후인 제3 시점(t2)에 획득된 영상(920)에 근거하여, 특정 ID(USER 7)를 갖는 얼굴(910)에 대한 재 인증에 성공하면, 제어부(160)는 사용자 인증 성공에 대응되는 정보(예를 들어, “Welcome, User 7 님을 환영합니다! 두번째 인증이시네요”, 930)가 디스플레이부(140)에 출력 되고, 출입 통제 게이트(20)가 다시 열림 상태로 동작하도록 제어할 수 있다. 이때 출입 통제 게이트(20)의 제어는, 앞서 설명한 것과 같이, 서버(200)에서 직접적으로 이루어질 수 있음은 물론이다.For example, assume a case where a user who has successfully authenticated goes out of the access control gate 20 and then needs to pass through the access control gate 20 again. As shown in (a) and (c) of FIG. 9 , a specific ID (USER 7 If re-authentication of the face 910 having ) is successful, the control unit 160 sends information corresponding to successful user authentication (eg, “Welcome, Welcome to User 7! This is the second authentication”, 930). It is output on the display unit 140, and the access control gate 20 can be controlled to operate in an open state again. At this time, as described above, the control of the access control gate 20 can be directly performed by the server 200, of course.

한편, 본 발명에서는 복수의 사용자가 순차적으로 사용자 인증을 수행하는 경우, 복수의 사용자에 대한 사용자 인증 결과에 근거하여 수행되는 타겟 기능이, 끊김 없이 매끄럽고 원활하게 물 흐르듯이 진행되도록 제어할 수 있다. Meanwhile, in the present invention, when a plurality of users sequentially perform user authentication, the target function performed based on the user authentication result for the plurality of users can be controlled to proceed smoothly and smoothly without interruption.

이처럼, 본 발명에서는 복수의 사용자에 대한 사용자 인증 및 반복적으로 수행되는 타겟 기능으로 인해 발생되는 시간의 텀(term)을 줄여, 사용자가 사용자 인증으로 인해 겪는 번거로움을 해소할 수 있다. As such, in the present invention, the user authentication for a plurality of users and the term of time caused by the target function that is repeatedly performed can be reduced, thereby solving the user's inconvenience caused by user authentication.

이하에서는 본 발명에서 복수의 사용자가 순차적으로 특정 공간에 진입하기 위하여, 출입 통제 게이트(20)가 열림 상태로 동작되도록 사용자 인증을 수행하는 경우를 예를 들어, 설명하도록 한다. Hereinafter, a case in which user authentication is performed so that the access control gate 20 is operated in an open state in order for a plurality of users to sequentially enter a specific space in the present invention will be described as an example.

예를 들어, 도 10의 (a)에 도시된 것과 같이, 제1 사용자(1000a)와 출입 통제 게이트(20) 사이의 거리(a)가 매우 가까운 경우, 제1 사용자(1000a)가 출입 통제 게이트(20)의 앞까지 이동하는 시간보다, 제1 사용자(1000a)에 대한 사용자 인증이 수행되고 출입 통제 게이트가 열림 상태로 동작할 때 까지 소요되는 시간이 더 길 수 있다. 이러한 경우, 제1 사용자(1000a)는 사용자 인증을 시도하기 위해 1차적으로 정지하고, 출입 통제 게이트(20)가 열림 상태로 동작할 때까지 2차적으로 기다려야 하는 번거로움이 있다. For example, as shown in (a) of FIG. 10 , when the distance (a) between the first user 1000a and the access control gate 20 is very short, the first user 1000a moves to the access control gate It may take longer than the time taken to move to the front of (20) until the user authentication for the first user 1000a is performed and the access control gate operates in an open state. In this case, the first user 1000a first stops to attempt user authentication and secondarily has to wait until the access control gate 20 operates in an open state.

본 발명에서는 사용자가 사용자 인증 수행이 완료되면, 출입 통제 게이트(20)가 열림 상태로 동작하도록 기다리는 시간이 없이, 사용자가 곧바로 출입 통제 게이트(20)를 통과할 수 있도록 하기 위하여, 사용자와 시스템(단말기, 카메라 또는 출입 통제 게이트(20))간에 확보되어야 하는 기준 거리에 근거하여, 기 설정된 얼굴 조건을 판단할 수 있다.이때, 기 설정된 얼굴 조건은, 영상에 포함된 사용자의 얼굴 크기와 관련된 조건을 포함할 수 있다. 서버(200)에서의 사용자 인증 처리 시간, 사용자 인증 결과에 따른 출입 통제 게이트(20)의 제어 시간 및 사용자의 이동 시간을 고려하여, 영상에서 얼굴이 차지하는 얼굴 크기에 대한 조건이 설정될 수 있다. In the present invention, when the user completes user authentication, the user and the system ( Based on the reference distance to be secured between the terminal, the camera, or the access control gate 20, a preset face condition may be determined. At this time, the preset face condition is a condition related to the size of the user's face included in the image. can include A condition for the size of a face occupied by a face in an image may be set in consideration of a user authentication processing time in the server 200, a control time of the access control gate 20 according to a user authentication result, and a user's movement time.

제어부(130)는 영상에 포함된 얼굴의 크기가 기 설정된 얼굴 크기 조건보다 큰 경우, 영상에 포함된 얼굴의 크기가, 기 설정된 얼굴 크기 조건을 만족한다고 판단할 수 있다. 이때의 기 설정된 얼굴 크기 조건은, 사용자와 출입 통제 게이트(20)간의 거리와 관련될 것으로서, 이때의 거리는, 사용자가 출입 통제 게이트(20)에 도달하기 전에, 사용자 인증 및 출입 통제 게이트(20)의 열람상태 제어가 모두 이루어지기에 충분한 시간이 확보될 수 있는 거리를 의미할 수 있다.When the size of the face included in the image is larger than the preset face size condition, the controller 130 may determine that the size of the face included in the image satisfies the preset face size condition. The preset face size condition at this time is related to the distance between the user and the access control gate 20, and the distance at this time is the user authentication and access control gate 20 before the user reaches the access control gate 20. It may mean a distance at which enough time can be secured for all of the control of the reading state of the .

이처럼, 본 발명에서는, 사용자가 특정 공간에 출입하기 위하여 사용자 인증을 수행하는 경우, 사용자가 사용자 인증을 위해 별도의 기다림 없이 특정 공간에 출입할 수 있도록, 사용자에게 요구하는 최소 기준 거리를 설정할 수 있다. As such, in the present invention, when a user performs user authentication to enter and exit a specific space, a minimum standard distance required for the user can be set so that the user can enter and exit the specific space without waiting for user authentication. .

이하에서는, 복수의 사용자가 보다 편리하고 원활하게 출입 통제 게이트(20)를 통과하는 방법에 대해 설명하도록 한다. Hereinafter, a method for a plurality of users to more conveniently and smoothly pass through the access control gate 20 will be described.

본 발명에서는, 복수의 사용자의 얼굴에 대한 사용자 인증이 연속적으로 성공하는 경우, 복수의 사용자가 모두 통과할 때까지, 출입 통제 게이트(20)가 열림 상태로 유지되도록 출입 통제 게이트(20)를 제어함으로써, 출입 통제 게이트(20)가 열림 상태 및 닫힘 상태를 반복하도록 동작하는 시간 및 불필요한 에너지를 절약할 수 있다. In the present invention, when user authentication for the faces of a plurality of users is successively successful, the access control gate 20 is controlled so that the access control gate 20 remains open until all of the plurality of users pass through. By doing so, time and unnecessary energy for operating the access control gate 20 to repeat the open and closed states can be saved.

도 11에 도시된 것과 같이, 제어부(160)는, 카메라 (111)에서 획득된 영상(1110, 1120, 1130)으로부터 복수의 얼굴들(2000a, 2000b, 2000c)이 인식되고, 서버(200)에서 수행된 사용자 인증 결과, 복수의 얼굴들(2000a, 2000b, 2000c) 각각에 대한 사용자 인증이 모두 성공한 경우, 출입 통제 게이트(20)가 복수의 얼굴들 각각에 대응되는 복수의 사용자가 모두 통과할 때(t0 시점부터 t2시점)까지, 열림 상태를 갖도록 제어할 수 있다. As shown in FIG. 11 , the controller 160 recognizes a plurality of faces 2000a, 2000b, and 2000c from the images 1110, 1120, and 1130 acquired by the camera 111, and the server 200 As a result of the performed user authentication, when user authentication for each of the plurality of faces 2000a, 2000b, and 2000c is successful, when all of the plurality of users corresponding to the plurality of faces pass through the access control gate 20 It can be controlled to have an open state from (time t0 to time t2).

여기에서, 영상에서 인식된 복수의 얼굴들(2000a, 2000b, 2000c)은, 앞서 설명한 기 설정된 얼굴 조건을 만족하는 얼굴로 이해될 수 있다. Here, the plurality of faces 2000a, 2000b, and 2000c recognized in the image may be understood as faces that satisfy the preset face condition described above.

이때, 복수의 얼굴들(2000a, 2000b, 2000c)에 따른 사용자들은, 사용자 인증 의도를 갖는 사용자들일 수 있으며, 제어부(130)는 앞서 살펴본 방식으로, 현재 시점 및 과거 시점에 촬영된 영상들에 근거하여, 복수의 사용자들 각각에 대한 의도를 판단할 수 있다.In this case, the users according to the plurality of faces 2000a, 2000b, and 2000c may be users who have an intention of user authentication, and the controller 130 performs the above-mentioned method, based on the images captured at the current and past time points. Thus, it is possible to determine the intention of each of the plurality of users.

이처럼, 본 발명에서는 영상에서 인식된 복수의 얼굴들(2000a, 2000b, 2000c) 각각에 대한 사용자 인증이 모두 성공한 경우, 출입 통제 게이트(20)가 복수의 얼굴들 각각에 대응되는 복수의 사용자가 모두 통과할 때(t0 시점부터 t2시점)까지, 열림 상태를 갖도록 제어할 수 있다. As such, in the present invention, when user authentication for each of the plurality of faces 2000a, 2000b, and 2000c recognized in the image is all successful, the access control gate 20 detects all of the plurality of users corresponding to each of the plurality of faces. It can be controlled to have an open state until it passes (time t0 to time t2).

따라서, 본 발명에서는 사용자가 출입 통제 게이트(20)를 통과할 때 마다, 출입 통제 게이트(20)가 열림 상태 및 닫힘 상태를 반복하면서 소요되는 시간을 절감하여, 사용자가 사용자 인증이 완료되면 곧바로 출입 통제 게이트(20)를 통과하도록 할 수 있다. Therefore, in the present invention, whenever the user passes through the access control gate 20, the access control gate 20 repeats the open and closed states to reduce the time required, so that the user can enter and exit immediately after user authentication is completed. It can be made to pass through the control gate (20).

나아가, 본 발명에서는 출입 통제 게이트(20)가 반복적으로 열림 상태 및 닫힘 상태로 동작함으로써 소요되는 에너지를 절약할 수 있다. Furthermore, in the present invention, energy required can be saved by repeatedly operating the access control gate 20 in an open state and a closed state.

한편, 도 12의 (a)에 도시된 것과 같이, 특정 공간(1)에는 서로 다른 복수의 출입 통제 게이트(20a, 20b)가 존재할 수 있다. 본 발명의 시스템(100)은, 복수의 출입 통제 게이트(20a, 20b)과 관련된 서로 다른 카메라(111a, 111b)에서 획득된 영상을 이용하여 복수의 출입 통제 게이트(20a, 20b) 각각에 대한 사용자 인증을 개별적으로 수행할 수 있다. Meanwhile, as shown in (a) of FIG. 12 , a plurality of different access control gates 20a and 20b may exist in a specific space 1 . The system 100 of the present invention uses images obtained from different cameras 111a and 111b related to the plurality of access control gates 20a and 20b to provide a user information for each of the plurality of access control gates 20a and 20b. Authentication can be done individually.

예를 들어, 본 발명에 따른 시스템(100)은, 제1 카메라(111a)에서 획득된 영상(1210)을 이용하여 제1 출입 통제 게이트(20a)에 대한 사용자 인증을 수행하고, 제2 카메라(111b)에서 획득된 영상(1220)을 이용하여 제2 출입 통제 게이트(20b)에 대한 사용자 인증을 수행할 수 있다. For example, the system 100 according to the present invention performs user authentication on the first access control gate 20a using the image 1210 obtained from the first camera 111a, and the second camera ( User authentication for the second access control gate 20b may be performed using the image 1220 obtained in step 111b).

한편, 제1 출입 통제 게이트(20a) 및 제2 출입 통제 게이트(20b) 주변에는, 각각의 출입 통제 게이트를 통과하려고 하는 복수의 사용자들이 위치할 수 있다. Meanwhile, around the first access control gate 20a and the second access control gate 20b, a plurality of users who try to pass through each access control gate may be located.

제1 출입 통제 게이트(20a) 또는 제1 카메라(111a) 앞에는, 제1 출입 통제 게이트(20a)를 통과하려고 하는, 제1 사용자 내지 제3 사용자(1000a, 1000b, 1000c)가 순서대로 줄을 서 있을 수 있다. In front of the first access control gate 20a or the first camera 111a, first to third users 1000a, 1000b, and 1000c who are trying to pass through the first access control gate 20a line up in order. There may be.

나아가, 제2출입 통제 게이트(20b) 또는 제2 카메라(111b) 주변에는, 제2출입 통제 게이트(20b)를 통과하려고 하는, 제4 사용자 내지 제5 사용자(1000d, 1000e)가 순서대로 줄을 서 있을 수 있다. Further, around the second access control gate 20b or the second camera 111b, fourth to fifth users 1000d and 1000e, who are trying to pass through the second access control gate 20b, line up in order. can stand

본 발명에서는, 제1 카메라(111a)에서 촬영된 영상(1210) 및 제2 카메라(111b)에서 촬영된 영상(1220)에서 모두 인식된 특정 사용자에 대한 사용자 인증이 중복해서 이루어지지 않도록 제어할 수 있다. In the present invention, user authentication for a specific user recognized in both the image 1210 photographed by the first camera 111a and the image 1220 photographed by the second camera 111b can be controlled so as not to be duplicated. there is.

보다 구체적으로, 사용자 인증 서버(200)는, 복수의 출입 통제 게이트 중 제1 출입 통제 게이트(20a)에 대한 출입을 위하여 특정 ID를 갖는 인증 대상 얼굴에 대한 제1 사용자 인증 요청이 이루어진 이후, 기 설정된 시간 이내에, 제2 출입 통제 게이트(20b)에 대한 출입을 위하여 상기 특정 ID를 갖는 인증 대상 얼굴에 대한 제2 사용자 인증 요청이 이루어진 경우, 제2 사용자 인증 요청에 따른 사용자 인증은 이루어지지 않도록 제어할 수 있다. More specifically, the user authentication server 200, after a first user authentication request is made for a face to be authenticated having a specific ID for access to the first access control gate 20a among a plurality of access control gates, Within a set time, if a second user authentication request is made for the face to be authenticated with the specific ID for access to the second access control gate 20b, user authentication according to the second user authentication request is controlled not to be performed. can do.

도 12의 (a)에 도시된 것과 같이, 제1 출입 게이트(20a)를 통과하기 위하여, 제1 사용자(1000a)는, 제1 출입 게이트(20a)와 관련된 제1 카메라(111a)를 통해 사용자 인증을 시도할 수 있다. As shown in (a) of FIG. 12 , in order to pass through the first access gate 20a, the first user 1000a uses the first camera 111a related to the first access gate 20a. You can try authentication.

이 경우, 도 12의 (b) 및 (c)에 도시된 것과 같이, 제1 사용자(100a)의 제1 얼굴(2000a)은, 제1 카메라(111a)에서 촬영된 영상(1210) 및 제2 카메라(111b)에서 촬영된 영상(1220)에 모두 포함될 수 있다. In this case, as shown in (b) and (c) of FIG. 12 , the first face 2000a of the first user 100a includes an image 1210 captured by the first camera 111a and a second face 2000a. All may be included in the image 1220 captured by the camera 111b.

제어부(160)는 제1 카메라(111a)에서 촬영된 영상(1210) 및 제2 카메라(1111b)에서 촬영된 영상(1220)에서 인식된 제1 얼굴(2000a)이 모두 기 설정된 얼굴 조건을 만족하면, 사용자 인증 서버(200)로 사용자 인증 요청이 중복해서 수행할 수 있다. The controller 160 determines whether the first face 2000a recognized from the image 1210 captured by the first camera 111a and the image 1220 captured by the second camera 1111b satisfy preset face conditions. , User authentication requests to the user authentication server 200 may be repeatedly performed.

즉, 서버(200)는, 시스템(100)으로부터, 제1 카메라(111a)에서 촬영된 영상(1210)에서 인식된 제1 얼굴(2000a)에 대한 제1 사용자 인증 요청 및 제2 카메라(111b)에서 촬영된 영상(1220)에서 인식된 제1 얼굴(2000a)에 대한 제2 사용자 인증 요청을 수신할 수 있다. That is, the server 200 receives a first user authentication request for the first face 2000a recognized from the image 1210 photographed by the first camera 111a and the second camera 111b from the system 100. A second user authentication request for the first face 2000a recognized from the image 1220 captured in may be received.

도 13에 도시된 것과 같이, 서버(200)는, 서로 다른 출입 통제 게이트(20a, 20b)에 대한 출입을 위해 기 설정된 시간 내에 동일한 제1 얼굴(2000a)에 대한 제1 사용자 인증 요청 및 제2 사용자 인증 요청이 있으면, 먼저 요청된 제1 사용자 인증 요청을 처리하고 난 후에는 제2 사용자 인증 요청에 대해서는 사용자 인증을 수행하지 않을 수 있다. As shown in FIG. 13 , the server 200 requests a first user authentication for the same first face 2000a and a second user authentication request for the same first face 2000a within a preset time for access to different access control gates 20a and 20b. If there is a user authentication request, after processing the first user authentication request, user authentication may not be performed on the second user authentication request.

나아가, 서버(200)는 시스템(100)으로, 제2 사용자 인증 요청에 대한, 사용자 인증 결과를 전송하지 않거나 사용자 인증이 수행되지 않았음(또는 제1 사용자 인증 요청과 중복됨)을 알리는 정보를 전송할 수 있다. Furthermore, the server 200 transmits, to the system 100, no user authentication result for the second user authentication request or information notifying that user authentication has not been performed (or duplicated with the first user authentication request). can transmit

제어부(160)는, 제2 출입 게이트(20)와 관련된 제2 사용자 인증 요청에 근거하여, 서버(200)로부터, 사용자 인증 결과를 수신하지 않거나 사용자 인증이 수행되지 않았음(또는 제1 사용자 인증 요청과 중복됨)을 알리는 정보를 수신하면, 사용자 인증 결과에 따른 제어가 수행되지 않도록 제어할 수 있다. Based on the second user authentication request related to the second entrance gate 20, the controller 160 determines that the user authentication result has not been received from the server 200 or that user authentication has not been performed (or first user authentication has not been performed). When information notifying that the request is duplicated) is received, it is possible to control not to perform control according to the user authentication result.

일 예로, 도 13에 도시된 것과 같이, 서버(200)가 t0시점에 제1 카메라(111a)에서 촬영된 영상(1210)에서 인식된 제1 얼굴(2000a)에 대한 제1 사용자 인증을 수행하면, 시스템(100)은, 제1 카메라(111a)와 관련된 제1 출입 통제 게이트(20a)의 동작을 제어하고, 제1 카메라(111a)와 관련된 제1 디스플레이부(140a)에 사용자 인증 결과 또는 타겟 기능 수행과 관련된 안내 정보가 출력되도록 제어할 수 있다. For example, as shown in FIG. 13 , when the server 200 performs first user authentication on the first face 2000a recognized from the image 1210 captured by the first camera 111a at time t0 , The system 100 controls the operation of the first access control gate 20a associated with the first camera 111a, and displays the user authentication result or target on the first display unit 140a associated with the first camera 111a. Guidance information related to function execution can be controlled to be output.

다른 예로, 도 13에 도시된 것과 같이, t1시점에 제2 카메라(111b)에서 촬영된 영상(1220)에서 인식된 제1 얼굴(2000a)에 대한 제2 사용자 인증 요청을 수신하면, 서버(200)는 기 설정된 시간 내에 동일한 제1 얼굴(2000a)에 대한 제1 사용자 인증 요청이 있었던 것에 근거하여, 제2 사용자 인증에 대한 사용자 인증을 수행하지 않을 수 있다. 이때, 제1 사용자에 대한 사용자 인증을 실패로 처리될 수 있다.As another example, as shown in FIG. 13 , upon receiving the second user authentication request for the first face 2000a recognized from the image 1220 captured by the second camera 111b at time t1, the server 200 ) may not perform user authentication for the second user authentication based on the fact that there is a first user authentication request for the same first face 2000a within a preset time. At this time, user authentication for the first user may be treated as a failure.

이처럼, 본 발명에서는, 복수의 출입 통제 게이트(20a, 20b)과 관련된 서로 다른 카메라(111a, 111b)에서 획득된 영상에서 동일한 얼굴이 인식되더라도, 중복 인식된 사용자에 대한 사용자 인증을 중복 처리하지 않음으로써, 사용자가 위치한 출입 통제 게이트에 대한 동작만만 정확하게 처리할 수 있다. As such, in the present invention, even if the same face is recognized in images acquired from different cameras 111a and 111b related to the plurality of access control gates 20a and 20b, user authentication for the duplicately recognized user is not duplicated. As a result, only the operation for the access control gate where the user is located can be accurately processed.

위에서 살펴본 것과 같이, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어방법은, 얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하고, 기 설정된 얼굴 인식 알고리즘에 근거하여, 영상으로부터 얼굴을 인식할 수 있다. 이와 같이, 본 발명은 사용자로부터 직접적인 입력을 받지 않더라도, 사용자가 단말기 주변에 위치하는 것에 근거하여, 사용자의 얼굴을 정확하고 신속하게 인식할 수 있다. 따라서, 사용자는 단말기 주변에 위치함으로써, 자신의 얼굴을 단말기에 보다 편리하고 직관적으로 전달할 수 있다. As described above, the face recognition system and its control method according to the present invention acquires an image using a camera provided in a terminal that performs face recognition, and detects a face from the image based on a preset face recognition algorithm. Recognizable. As such, the present invention can accurately and quickly recognize a user's face based on the location of the user around the terminal even without receiving a direct input from the user. Accordingly, the user can more conveniently and intuitively transfer his/her face to the terminal by being located near the terminal.

나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 영상에서 인식된 얼굴이, 사용자 인증을 수행하기에 적절한지를 판단할 수 있다. 즉, 본 발명에서는 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크함으로써, 사용자 인증에 적합하지 않은 얼굴이 인식된 경우에는, 사용자 인증을 수행하지 않음으로써, 데이터 처리의 효율을 도모할 수 있다. Furthermore, the face recognition system and method for controlling the face recognition system according to the present invention may determine whether a face recognized in an image is suitable for performing user authentication. That is, in the present invention, by checking whether a face recognized in an image satisfies a preset face condition, when a face unsuitable for user authentication is recognized, user authentication is not performed, thereby improving data processing efficiency. there is.

나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 기 설정된 얼굴 조건을 만족하는 사용자에 한하여 사용자 인증을 수행함으로써, 단말기 주변에 복수의 사용자가 있는 경우에도, 사용자 인증을 시도하는 사용자의 얼굴을 정확하게 인식하여 사용자에 대한 인증을 수행할 수 있다. Furthermore, the face recognition system and method for controlling the same according to the present invention perform user authentication only for users who satisfy a preset face condition, so that even when there are a plurality of users around the terminal, the user's face attempting user authentication is performed. can be accurately recognized to perform user authentication.

나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지에 근거하여, 기 설정된 서버로 인식된 얼굴에 대한 사용자 인증을 요청할 수 있다. 이와 같이, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 진정으로 사용자 인증을 원하는 사용자의 얼굴에 대해 사용자 인증을 수행함으로써, 사용자 인증을 시도하지 않은 사용자나, 사용자 인증을 시도하는 사용자의 주변에 있는 다른 사용자에 대해 사용자 인증이 수행되는 오류를 감소시켜, 사용자 인증 결과에 대한 정확성 및 신뢰성을 향상시킬 수 있다. Furthermore, the face recognition system and method for controlling the face recognition system according to the present invention may request user authentication for a face recognized by a preset server based on whether a face recognized in an image satisfies a preset face condition. As described above, the face recognition system and method for controlling the face recognition system according to the present invention perform user authentication on the face of a user who truly wants user authentication, so that the user who has not attempted user authentication or the user's surroundings who have attempted user authentication It is possible to improve the accuracy and reliability of user authentication results by reducing errors in which user authentication is performed for other users in .

한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. On the other hand, the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. there is

나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 단말기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.Furthermore, the computer-readable medium may be a server or cloud storage that includes a storage and can be accessed by a terminal through communication. In this case, the computer may download the program according to the present invention from a server or cloud storage through wired or wireless communication.

나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 단말기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.Furthermore, in the present invention, the above-described computer is a processor, that is, a terminal equipped with a CPU (Central Processing Unit), and no special limitation is placed on its type.

한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.On the other hand, the above detailed description should not be construed as limiting in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims (16)

얼굴 인식 결과에 기반한 제어를 수행하는 얼굴 인식 시스템의 제어 방법에 있어서,
얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하는 단계;
기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하는 단계;
상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 단계;
상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하는 단계; 및
상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.A control method of a face recognition system that performs control based on a face recognition result,
Obtaining an image using a camera provided in a terminal that performs a face recognition function;
Recognizing a face from the image based on a preset face recognition algorithm;
checking whether the recognized face in the image satisfies a preset face condition;
requesting user authentication for the recognized face to a preset server to perform user authentication for the recognized face based on a result of the check; and
and performing a control according to a user authentication result for the recognized face based on a user authentication result for the recognized face received from the server. 제1항에 있어서,
상기 기 설정된 얼굴 조건은,
상기 영상에서 상기 인식된 얼굴이 포함된 위치, 상기 영상에서 상기 인식된 얼굴이 차지하는 영역의 크기 및 상기 영상에서 상기 인식된 얼굴의 각도 중 적어도 하나와 관련되고,
상기 사용자 인증을 요청하는 단계에서는,
상기 인식된 얼굴이 상기 기 설정된 얼굴 조건을 만족하는 것에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 요청하는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.
According to claim 1,
The preset face condition is,
It is related to at least one of a position including the recognized face in the image, a size of an area occupied by the recognized face in the image, and an angle of the recognized face in the image,
In the step of requesting user authentication,
and requesting user authentication for the recognized face based on the fact that the recognized face satisfies the preset face condition.
제2항에 있어서,
상기 얼굴을 인식하는 단계에서는,
상기 인식된 얼굴에 대해 상기 인식된 얼굴을 특정하기 위한 특정 ID(Identification)가 할당되고,
상기 영상으로부터 상기 특정 ID가 할당된 상기 인식된 얼굴에 대한 위치 정보, 크기 정보 및 각도 정보 중 적어도 하나를 포함하는 얼굴 정보를 추출하며,
상기 추출된 얼굴 정보는, 상기 인식된 얼굴에 할당된 상기 특정 ID와 매칭되어 저장부에 저장되는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 2,
In the step of recognizing the face,
A specific ID (Identification) for specifying the recognized face is assigned to the recognized face,
Extracting face information including at least one of location information, size information, and angle information for the recognized face to which the specific ID is assigned from the image;
The control method of the face recognition system, characterized in that the extracted face information is matched with the specific ID assigned to the recognized face and stored in a storage unit. 제3항에 있어서,
상기 저장부에, 상기 영상이 획득된 시점보다 이전 시점에 획득된 적어도 하나의 다른 영상으로부터 추출된 상기 특정 ID에 매칭된 얼굴 정보가 존재하는 경우, 상기 영상 및 상기 다른 영상으로부터 추출된 얼굴 정보를 이용하여, 상기 인식된 얼굴에 대응되는 사용자의 사용자 인증 의도를 판단하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 3,
If face information matched to the specific ID extracted from at least one other image obtained at a point in time prior to the point in time at which the image was acquired exists in the storage unit, face information extracted from the image and the other image is stored. and determining user authentication intention of the user corresponding to the recognized face by using the face recognition system. 제4항에 있어서,
상기 사용자 인증을 요청하는 단계에서는,
상기 인식된 얼굴이 상기 기 설정된 얼굴 조건을 만족하고, 상기 사용자가 상기 사용자 인증 의도가 있는 것으로 판단된 경우, 상기 서버에 대해 상기 인식된 얼굴에 대한 사용자 인증을 요청하고,
상기 인식된 얼굴이 상기 기 설정된 얼굴 조건을 만족하더라도, 상기 사용자가 상기 사용자 인증 의도가 없는 것으로 판단된 경우, 상기 서버에 대해 상기 인식된 얼굴에 대한 사용자 인증을 요청하지 않는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 4,
In the step of requesting user authentication,
When the recognized face satisfies the preset face condition and it is determined that the user has the user authentication intention, requesting user authentication for the recognized face to the server;
Even if the recognized face satisfies the preset face condition, if it is determined that the user does not have the user authentication intention, the server is not requested for user authentication on the recognized face. How to control the system. 제4항에 있어서,
상기 사용자 인증 의도를 판단하는 단계에서는,
상기 영상 및 상기 다른 영상으로부터 추출된 얼굴 정보에 근거하여, 상기 영상 및 상기 다른 영상에서 상기 특정 ID에 해당하는 얼굴의 크기 및 위치 변화량을 산출하고,
상기 변화량에 근거하여, 상기 사용자의 사용자 인증 의도를 판단하는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.
According to claim 4,
In the step of determining the user authentication intention,
Based on the face information extracted from the image and the other image, calculating the size and position change of the face corresponding to the specific ID in the image and the other image,
Based on the amount of change, the control method of the face recognition system, characterized in that for determining the user authentication intention of the user.
제2항에 있어서,
상기 체크하는 단계에서는,
상기 영상으로부터 복수의 얼굴들이 인식되는 경우, 인식된 복수의 얼굴들 각각에 대하여 상기 기 설정된 얼굴 조건을 만족하는지 체크하고,
상기 복수의 얼굴들 중 상기 기 설정된 얼굴 조건을 만족하는 얼굴을 특정하며,
상기 사용자 인증을 요청하는 단계에서는,
상기 서버로, 상기 특정된 얼굴에 대한 사용자 인증을 요청하는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 2,
In the checking step,
When a plurality of faces are recognized from the image, checking whether the predetermined face condition is satisfied for each of the plurality of recognized faces;
Specifying a face that satisfies the preset face condition among the plurality of faces,
In the step of requesting user authentication,
A control method of a face recognition system, characterized in that requesting user authentication for the specified face to the server. 제7항에 있어서,
상기 특정된 얼굴은,
상기 영상에서 상기 복수의 얼굴들 각각이 차지하는 얼굴 영역들 중, 기 설정된 크기 이상을 갖는 얼굴 영역에 포함된 얼굴이며,
상기 영상에서 상기 기 설정된 크기 이상을 갖는 얼굴 영역이 복수인 경우,
상기 사용자 인증은, 복수의 얼굴 영역 중 가장 큰 얼굴 영역에 포함된 얼굴에 대해 이루어지는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 7,
The specified face,
A face included in a face region having a predetermined size or more among face regions occupied by each of the plurality of faces in the image,
When there are a plurality of face regions having a predetermined size or more in the image,
The control method of a face recognition system, characterized in that the user authentication is performed on a face included in the largest face region among a plurality of face regions. 제7항에 있어서,
상기 체크에 따른 결과, 상기 복수의 얼굴들 중 상기 기 설정된 얼굴 조건을 만족하는 얼굴이 존재하지 않는 경우,
상기 서버에 대하여, 상기 영상에 근거한 사용자 인증 요청은 이루어지지 않는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 7,
As a result of the check, when there is no face among the plurality of faces that satisfies the preset face condition,
To the server, a user authentication request based on the image is not made. 제3항에 있어서,
상기 사용자 인증 결과에 따른 제어를 수행하는 단계에서는, 열림 상태 및 닫힘 상태 중 어느 하나의 상태를 갖는 출입 통제 게이트에 대한 제어가 수행되고,
상기 출입 통제 게이트는,
상기 인식된 얼굴에 대한 사용자 인증이 성공하는 경우, 상기 인식된 얼굴에 대응되는 사용자가 상기 출입 통제 게이트를 통과하도록, 기 설정된 시간 동안 열림 상태를 갖도록 제어되고,
상기 기 설정된 시간이 경과된 후에는 출입 통제 기능이 수행되도록 닫힘 상태를 갖는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 3,
In the step of performing control according to the user authentication result, control is performed on the access control gate having any one of an open state and a closed state,
The access control gate,
When user authentication for the recognized face is successful, the user corresponding to the recognized face is controlled to have an open state for a predetermined time to pass through the access control gate;
A control method of a face recognition system, characterized in that having a closed state so that the access control function is performed after the predetermined time has elapsed. 제10항에 있어서,
상기 영상으로부터 복수의 얼굴들이 인식되고,
상기 서버에서 수행된 사용자 인증 결과, 상기 복수의 얼굴들 각각에 대한 사용자 인증이 성공한 경우,
상기 출입 통제 게이트는,
상기 복수의 얼굴들 각각에 대응되는 복수의 사용자가 모두 통과할 때까지, 열림 상태를 갖도록 제어되는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.
According to claim 10,
A plurality of faces are recognized from the image,
As a result of user authentication performed by the server, when user authentication for each of the plurality of faces is successful,
The access control gate,
The control method of the face recognition system, characterized in that controlled to have an open state until a plurality of users corresponding to each of the plurality of faces pass through.
제10항에 있어서,
특정 공간에 대한 출입을 통제하기 위하여, 상기 특정 공간에 서로 다른 복수의 출입 통제 게이트가 존재하는 상태에서,
상기 서버로 상기 복수의 출입 통제 게이트 중 제1 출입 통제 게이트에 대한 출입을 위하여 상기 특정 ID를 갖는 상기 인식된 얼굴에 대한 제1 사용자 인증 요청이 이루어진 이후,
기 설정된 시간 이내에, 상기 복수의 출입 통제 게이트 중 제2 출입 통제 게이트에 대한 출입을 위하여 상기 특정 ID를 갖는 상기 인식된 얼굴에 대한 제2 사용자 인증 요청이 이루어진 경우,
상기 서버에서, 상기 제2 사용자 인증 요청에 따른 사용자 인증은 이루어지지 않는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 10,
In order to control access to a specific space, in a state where a plurality of different access control gates exist in the specific space,
After a first user authentication request for the recognized face having the specific ID is made to the server for access to a first access control gate among the plurality of access control gates,
Within a predetermined time, when a second user authentication request is made for the recognized face having the specific ID for access to a second access control gate among the plurality of access control gates,
In the server, user authentication according to the second user authentication request is not performed. 제10항에 있어서,
상기 제어를 수행하는 단계에서는,
상기 특정 ID를 갖는 얼굴에 대한 사용자 인증 결과 따라, 상기 출입 통제 게이트에 대한 제어가 수행된 이후,
상기 서버로부터 상기 특정 ID를 갖는 얼굴에 대한 사용자 인증 결과가 추가로 수신된 경우, 상기 출입 통제 게이트에서는, 추가로 수신된 사용자 인증 결과에 따른 제어가 제한되는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 10,
In the step of performing the control,
After the access control gate is controlled according to the user authentication result for the face having the specific ID,
When a user authentication result for the face with the specific ID is additionally received from the server, the control of the access control gate according to the user authentication result additionally received is limited. . 영상을 획득하는 카메라부;
상기 획득된 영상을 저장하는 저장부; 및
기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하고, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 제어부를 포함하고,
상기 제어부는,
상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하고,
상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 것을 특징으로 하는 얼굴 인식 시스템.a camera unit that acquires an image;
a storage unit for storing the obtained image; and
Based on a preset face recognition algorithm, a controller for recognizing a face from the image and checking whether the recognized face in the image satisfies a preset face condition,
The control unit,
Based on the result of the check, in order to perform user authentication for the recognized face, request user authentication for the recognized face to a preset server;
and performing control according to a user authentication result for the recognized face based on a user authentication result for the recognized face received from the server. 영상을 획득하는 카메라부;
상기 획득된 영상을 저장하는 저장부; 및
기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하고, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 제어부;
상기 인식된 얼굴이 상기 기 설정된 얼굴 조건을 만족하는 경우, 상기 인식된 얼굴에 대한 사용자 인증을 수행하는 서버를 포함하고,
상기 제어부는,
상기 서버에서 수행된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 것을 특징으로 하는 얼굴 인식 시스템.
a camera unit that acquires an image;
a storage unit for storing the obtained image; and
a controller that recognizes a face from the image based on a preset face recognition algorithm and checks whether the recognized face in the image satisfies a preset face condition;
When the recognized face satisfies the preset face condition, a server performing user authentication on the recognized face;
The control unit,
The face recognition system, characterized in that performing control according to the user authentication result for the recognized face based on the user authentication result for the recognized face performed in the server.
전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램으로서,
상기 프로그램은,
얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하는 단계;
기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하는 단계;
상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 단계;
상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하는 단계; 및
상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 단계를 수행하도록 하는 명령어들을 포함하는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램.
A program that is executed by one or more processes in an electronic device and stored in a computer-readable recording medium,
said program,
Obtaining an image using a camera provided in a terminal performing a face recognition function;
Recognizing a face from the image based on a preset face recognition algorithm;
checking whether the recognized face in the image satisfies a preset face condition;
requesting user authentication for the recognized face to a preset server to perform user authentication for the recognized face based on a result of the check; and
Based on the user authentication result for the recognized face received from the server, performing a control according to the user authentication result for the recognized face. A program stored on a recordable medium.

Images