KR20230075770A - Face recognition system and method for controlling the same - Google Patents
Face recognition system and method for controlling the same Download PDFInfo
- Publication number
- KR20230075770A KR20230075770A KR1020210162281A KR20210162281A KR20230075770A KR 20230075770 A KR20230075770 A KR 20230075770A KR 1020210162281 A KR1020210162281 A KR 1020210162281A KR 20210162281 A KR20210162281 A KR 20210162281A KR 20230075770 A KR20230075770 A KR 20230075770A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- user authentication
- image
- user
- recognized
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000006870 function Effects 0.000 description 53
- 210000000887 face Anatomy 0.000 description 42
- 230000001815 facial effect Effects 0.000 description 18
- 239000013598 vector Substances 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
본 발명은 사용자 인증을 수행하기 위하여, 사용자의 얼굴을 인식하는 시스템 및 이를 제어하는 방법에 관한 것이다.The present invention relates to a system for recognizing a user's face and a method for controlling the same in order to perform user authentication.
기술이 발전함에 따라, 단말기의 활용도가 높아지고 있으며, 특히, 단말기는 다양한 상황에서 사용자를 인증하는 수단으로서 활용되고 있다. As technology develops, utilization of terminals is increasing, and in particular, terminals are used as a means of authenticating users in various situations.
예를 들어, 출입 통제 공간에 설치된 출입 통제 장치(예를 들어, 출입 통제 게이트 또는 스피드 게이트)에서의 사용자 확인, 컨퍼런스에서의 참석자 확인, 병원에서의 환자 내원 확인, 카페에서의 결제를 위한 사용자 확인과 같이, 다양한 상황에서 진정한 사용자를 인증하기 위한 니즈가 있다. 이와 같이, 사용자에 대한 인증을 요구하는 상황에서 단말기의 활용은, 불필요한 노동력을 줄이고, 나아가 사용자 인증 시간에 소모되었던 시간을 감소시키는 효과를 가져오고 있다.For example, user identification at an access control device installed in an access control space (e.g. access control gate or speed gate), attendee verification at a conference, patient visit verification at a hospital, user verification for payment at a cafe As such, there is a need to authenticate genuine users in various situations. In this way, the use of the terminal in a situation requiring user authentication has the effect of reducing unnecessary labor and, furthermore, reducing the time consumed for user authentication.
단말기를 활용한 사용자 인증 방식은 다양하며, 예를 들어, 사용자가 직접 자신을 식별하기 위한 식별 정보(예를 들어, 전화번호, 메일주소 등) 또는 생체 정보 (예를 들어, 지문 정보 등)를 단말기에 입력함으로써, 인증이 이루어지는 방식이 존재할 수 있다.There are various user authentication methods using terminals. For example, identification information (eg, phone number, e-mail address, etc.) or biometric information (eg, fingerprint information, etc.) There may be a method in which authentication is performed by inputting into a terminal.
최근에는, 사용자가 단말기에 정보를 직접적으로 인가하는 행위 없이 사용자 인증을 수행하기 위하여, 신속하고 정확하게 사용자의 얼굴을 인식하는 방법에 대한 활발한 연구가 진행되고 있다. Recently, active research is being conducted on a method for quickly and accurately recognizing a user's face in order to perform user authentication without the user directly applying information to the terminal.
본 발명은, 사용자 인증을 시도하는 사용자의 얼굴을 보다 신속하고 정확하게 인식하는 얼굴 인식 시스템 및 이를 제어하는 방법을 제공하기 위한 것이다. An object of the present invention is to provide a face recognition system that more quickly and accurately recognizes the face of a user attempting user authentication, and a method for controlling the face recognition system.
나아가, 본 발명은 사용자 인증을 수행할지에 대한 사용자의 의도를 파악하는 얼굴 인식 시스템 및 이를 제어하는 방법을 제공하기 위한 것이다.Furthermore, the present invention is to provide a face recognition system and a method for controlling the face recognition system for recognizing a user's intention on whether to perform user authentication.
더 나아가, 본 발명은, 진정으로 사용자 인증을 의도하는 사용자에 대한 사용자 인증을 완료할 수 있는 얼굴 인식 시스템 및 이의 제어 방법을 제공하기 위한 것이다.Furthermore, the present invention is to provide a face recognition system and a control method capable of completing user authentication for a user who truly intends to perform user authentication.
위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 얼굴 인식 시스템의 제어 방법은, 얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하는 단계, 기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하는 단계, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 단계, 상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하는 단계 및 상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 단계를 포함할 수 있다. In order to solve the problems described above, a control method of a face recognition system according to the present invention includes acquiring an image using a camera provided in a terminal performing a face recognition function, based on a preset face recognition algorithm, Recognizing a face from an image, checking whether the recognized face in the image satisfies a preset face condition, and performing user authentication on the recognized face based on the result of the check, Requesting user authentication for the recognized face to a set server, and performing control according to the user authentication result for the recognized face based on the user authentication result for the recognized face received from the server. can include
나아가, 본 발명에 따른 얼굴 인식 시스템은, 영상을 획득하는 카메라부, 상기 획득된 영상을 저장하는 저장부 및 기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하고, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 제어부를 포함하고, 상기 제어부는, 상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하고, 상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행할 수 있다. Furthermore, the face recognition system according to the present invention recognizes a face from the image based on a camera unit acquiring an image, a storage unit storing the acquired image, and a preset face recognition algorithm, and the recognition is performed in the image. and a controller that checks whether the recognized face satisfies a preset face condition, wherein the controller performs user authentication on the recognized face based on a result of the check, so as to perform user authentication on the recognized face. User authentication for a face may be requested, and based on the user authentication result for the recognized face received from the server, control according to the user authentication result for the recognized face may be performed.
나아가, 본 발명에 따른 얼굴 인식 시스템은, 영상을 획득하는 카메라부, 상기 획득된 영상을 저장하는 저장부 및 기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하고, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 제어부 상기 인식된 얼굴이 상기 기 설정된 얼굴 조건을 만족하는 경우, 상기 인식된 얼굴에 대한 사용자 인증을 수행하는 서버를 포함하고, 상기 제어부는, 상기 서버에서 수행된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행할 수 있다. Furthermore, the face recognition system according to the present invention recognizes a face from the image based on a camera unit acquiring an image, a storage unit storing the acquired image, and a preset face recognition algorithm, and the recognition is performed in the image. A controller for checking whether the recognized face satisfies a preset face condition, including a server that performs user authentication on the recognized face when the recognized face satisfies the preset face condition, wherein the controller includes: Based on the user authentication result for the recognized face performed in , control according to the user authentication result for the recognized face may be performed.
나아가, 본 발명에 따른 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램은, 얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하는 단계, 기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하는 단계, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 단계, 상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하는 단계 및 상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 단계를 수행하도록 하는 명령어들을 포함할 수 있다.Furthermore, the program, which is executed by one or more processes in the electronic device according to the present invention and stored in a computer-readable recording medium, acquires an image using a camera provided in a terminal that performs a face recognition function; Recognizing a face from the image based on a preset face recognition algorithm, checking whether the recognized face in the image satisfies a preset face condition, and based on a result of the check, the recognized face In order to perform user authentication for , requesting user authentication for the recognized face to a preset server and based on the user authentication result for the recognized face received from the server, It may include instructions for performing a step of performing a control according to a user authentication result.
위에서 살펴본 것과 같이, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어방법은, 얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하고, 기 설정된 얼굴 인식 알고리즘에 근거하여, 영상으로부터 얼굴을 인식할 수 있다. 이와 같이, 본 발명은 사용자로부터 직접적인 입력을 받지 않더라도, 사용자가 단말기 주변에 위치하는 것에 근거하여, 사용자의 얼굴을 정확하고 신속하게 인식할 수 있다. 따라서, 사용자는 단말기 주변에 위치함으로써, 자신의 얼굴을 단말기에 보다 편리하고 직관적으로 전달할 수 있다. As described above, the face recognition system and its control method according to the present invention acquires an image using a camera provided in a terminal that performs face recognition, and detects a face from the image based on a preset face recognition algorithm. Recognizable. As such, the present invention can accurately and quickly recognize a user's face based on the location of the user around the terminal even without receiving a direct input from the user. Accordingly, the user can more conveniently and intuitively transfer his/her face to the terminal by being located near the terminal.
나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 영상에서 인식된 얼굴이, 사용자 인증을 수행하기에 적절한지를 판단할 수 있다. 즉, 본 발명에서는 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크함으로써, 사용자 인증에 적합하지 않은 얼굴이 인식된 경우에는, 사용자 인증을 수행하지 않음으로써, 데이터 처리의 효율을 도모할 수 있다. Furthermore, the face recognition system and method for controlling the face recognition system according to the present invention may determine whether a face recognized in an image is suitable for performing user authentication. That is, in the present invention, by checking whether a face recognized in an image satisfies a preset face condition, when a face unsuitable for user authentication is recognized, user authentication is not performed, thereby improving data processing efficiency. there is.
나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 기 설정된 얼굴 조건을 만족하는 사용자에 한하여 사용자 인증을 수행함으로써, 단말기 주변에 복수의 사용자가 있는 경우에도, 사용자 인증을 시도하는 사용자의 얼굴을 정확하게 인식하여 사용자에 대한 인증을 수행할 수 있다. Furthermore, the face recognition system and method for controlling the same according to the present invention perform user authentication only for users who satisfy a preset face condition, so that even when there are a plurality of users around the terminal, the user's face attempting user authentication is performed. can be accurately recognized to perform user authentication.
나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지에 근거하여, 기 설정된 서버로 인식된 얼굴에 대한 사용자 인증을 요청할 수 있다. 이와 같이, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 진정으로 사용자 인증을 원하는 사용자의 얼굴에 대해 사용자 인증을 수행함으로써, 사용자 인증을 시도하지 않은 사용자나, 사용자 인증을 시도하는 사용자의 주변에 있는 다른 사용자에 대해 사용자 인증이 수행되는 오류를 감소시켜, 사용자 인증 결과에 대한 정확성 및 신뢰성을 향상시킬 수 있다.Furthermore, the face recognition system and method for controlling the face recognition system according to the present invention may request user authentication for a face recognized by a preset server based on whether a face recognized in an image satisfies a preset face condition. As described above, the face recognition system and method for controlling the face recognition system according to the present invention perform user authentication on the face of a user who truly wants user authentication, so that the user who has not attempted user authentication or the user's surroundings who have attempted user authentication It is possible to improve the accuracy and reliability of user authentication results by reducing errors in which user authentication is performed for other users in .
도 1은 본 발명에 따른 얼굴 인식 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 얼굴 인식 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 얼굴 인식 시스템의 제어 방법을 설명하기 위한 흐름도이다.
도 4, 도 5, 도 6, 도 7a, 도 7b, 도 8, 도9, 도 10, 도 11, 도 12 및 도 13은 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법을 설명하기 위한 개념도들이다.1 is a conceptual diagram for explaining a face recognition system according to the present invention.
2 is a block diagram for explaining a face recognition system according to the present invention.
3 is a flowchart for explaining a control method of a face recognition system according to the present invention.
4, 5, 6, 7a, 7b, 8, 9, 10, 11, 12, and 13 are conceptual diagrams for explaining a face recognition system and a control method thereof according to the present invention. .
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in this specification will be described in detail with reference to the accompanying drawings, but the same reference numerals will be assigned to the same or similar components regardless of reference numerals, and overlapping descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used together in consideration of ease of writing the specification, and do not have meanings or roles that are distinct from each other by themselves. In addition, in describing the embodiments disclosed in this specification, if it is determined that a detailed description of a related known technology may obscure the gist of the embodiment disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, the technical idea disclosed in this specification is not limited by the accompanying drawings, and all changes included in the spirit and technical scope of the present invention , it should be understood to include equivalents or substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers, such as first and second, may be used to describe various components, but the components are not limited by the terms. These terms are only used for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly dictates otherwise.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as "comprise" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.
본 발명은, 사용자로부터 직접적인 입력을 받지 않더라도, 사용자의 얼굴을 정확하고 신속하게 인식하고, 사용자 인증을 수행할지에 대한 사용자의 진정한 의도를 파악하기 위하여, 기 설정된 얼굴 조건을 만족하는 사용자의 얼굴을 인식할 수 있는 얼굴 인식 시스템 및 얼굴 인식 시스템의 제어 방법을 제공하기 위한 것으로서, 이하 첨부된 도면과 함께 본 발명에 대해 구체적으로 설명하기로 한다. 도 1은 본 발명에 따른 얼굴 인식 시스템을 설명하기 위한 개념도이고, 도 2는 본 발명에 따른 얼굴 인식 시스템을 설명하기 위한 블록도이며, 도 3은 본 발명에 따른 얼굴 인식 시스템의 제어 방법을 설명하기 위한 흐름도이다. 나아가, 도 4, 도 5, 도 6, 도 7a, 도 7b, 도 8, 도9, 도 10, 도 11, 도 12 및 도 13은 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법을 설명하기 위한 개념도들이다.The present invention, even without receiving a direct input from the user, accurately and quickly recognizes the user's face, and identifies the user's face that satisfies a preset face condition in order to determine the user's true intention regarding whether to perform user authentication. As for providing a face recognition system and a control method of the face recognition system that can be recognized, the present invention will be described in detail below with accompanying drawings. 1 is a conceptual diagram for explaining a face recognition system according to the present invention, FIG. 2 is a block diagram for explaining a face recognition system according to the present invention, and FIG. 3 describes a control method for a face recognition system according to the present invention. It is a flow chart for Furthermore, FIGS. 4, 5, 6, 7a, 7b, 8, 9, 10, 11, 12, and 13 are for explaining a face recognition system and a control method thereof according to the present invention. are concepts.
도 1에 도시된 것과 같이, 본 발명에서 사용자 인증은, 얼굴 인식 시스템(100) 및 서버(200)와의 연동을 통하여 이루어질 수 있다. 본 발명에서, 서버(200)는 얼굴 인식 시스템(100)과 동일 장소 또는 별개의 장소에 위치할 수 있으며, 얼굴 인식 시스템(100)에서 인식된 얼굴에 대한 사용자 인증을 처리하도록 이루어질 수 있다.As shown in FIG. 1 , user authentication in the present invention may be performed through interworking with the
한편, 서버(200)는 얼굴 인식 시스템(100)의 일 구성으로도 구현될 수 있으며, 이 경우, 얼굴 인식 시스템(100)은 서버(200)의 역할까지 포함한 기능을 수행할 수 있다. Meanwhile, the
또한, 도 1의 도시와 같이, 얼굴 인식 시스템(100)과 서버(200)는 별개의 구성으로도 이루어질 수 있으며, 본 발명에서는 설명의 편의를 위하여, 얼굴 인식 시스템(100)과 서버(200)를 구분하여 설명하도록 한다.In addition, as shown in FIG. 1 , the
한편, 얼굴 인식 시스템(100)과 서버(200)가 물리적으로 분리됨과 관계없이, 본 발명에서 설명되는 얼굴 인식 시스템(100) 및 서버(200)에서 수행되는 기능들, 제어들은 “얼굴 인식 시스템”에서 수행된다고 설명될 수 있음은 물론이다.Meanwhile, regardless of whether the
본 발명에서는, 사용자의 얼굴을 인식하여, 사용자 인증을 수행하고, 사용자 인증 결과에 따라 사용자 인증과 관련된 이벤트 또는 기능(이하, 타겟 기능)이 수행되도록 제어할 수 있다.In the present invention, a user's face may be recognized, user authentication may be performed, and an event or function related to user authentication (hereinafter, a target function) may be performed according to a user authentication result.
여기에서, “타겟 기능”의 종류는 매우 다양할 수 있으며, 특정 공간 출입 통제 기능, 결제 기능, 출석 확인 기능, 병원에서의 내원 확인 기능 등과 같이, 사용자 인증이 필요한 기능을 의미할 수 있다. 예를 들어, 특정 공간 출입 통제 기능은, 도 1에 도시된 출입 통제 게이트(20, 또는 출입 통제 장치 또는 스피드게이트)가 열림 상태 및 닫힘 상태 중 어느 하나의 상태로 동작하도록 제어하는 것을 통해 수행될 수 있다. Here, the type of “target function” may be very diverse, and may mean a function that requires user authentication, such as a specific space access control function, payment function, attendance confirmation function, visit confirmation function in a hospital, and the like. For example, a specific space access control function may be performed by controlling the access control gate 20 (or access control device or speed gate) shown in FIG. 1 to operate in either an open state or a closed state. can
이과 같이, 본 발명에서 얼굴 인식 시스템(100)은 얼굴 인식 및 사용자 인증을 통해 달성하고자 하는 기능(예를 들어, 출입 통제, 출석 체크, 결제 허용 등)에 따라, 다양한 하드웨어 구성을 가질 수 있으며, 본 발명에서는 대표적인 예시로서 도 1에 도시된 것과 같이, 출입 통제 게이트(20)에서의 사용자 인증을 설명하도록 한다. 다만, 이하에서 설명되는 얼굴 인식 및 사용자 인증 방법은, 다양한 기능을 갖는 얼굴 인식 시스템에 적용될 수 있음은 물론이다. As such, the
도 1에 도시된 것과 같이, 본 발명에 따른 얼굴 인식 시스템(100)(이하, “시스템(100)”으로 명명함)은, 센서부(110), 저장부(120), 통신부(130), 디스플레이부(140), 음향출력부(150) 및 제어부(160) 중 적어도 하나를 포함하도록 구성될 수 있다. 이때 본 발명에 따른 시스템(100)은 상술한 구성 요소로 제한되는 것은 아니며, 본 명세서의 설명에 따른 기능과 동일 또는 유사한 역할을 수행하는 구성요소를 더 포함할 수 있다.As shown in FIG. 1, the face recognition system 100 (hereinafter referred to as “
나아가, 얼굴 인식 시스템(100)은 출입 통제 게이트(20)와 연동되거나, 출입 통제 게이트(20)를 구성요소로서 포함할 수 있다. 나아가, 얼굴 인식 시스템(100)은 출입 통제 게이트(20)의 일 구성이 될 수 있음은 물론이다. 센서부(110)는, 시스템(100)에 구비된 센싱 모듈(예를 들어, 카메라(111), 열화상 카메라, 근접 센서, 적외선 센서 등)의 구성을 이용하여 사용자(또는 객체)를 센싱(또는 촬영)할 수 있다. Furthermore, the
본 발명에서, “센싱한다”는 센싱 모듈에 따라 다양하게 해석할 수 있다. 일 예로, 카메라(111)를 이용하는 경우, 센싱한다는 것은 영상을 촬영하는 것으로 이해될 수 있다. 다른 예로, 근접 센서를 이용하는 경우, 사용자(또는 객체)의 존재를 감지하는 것으로 이해될 수 있다. 이하에서는, “센싱한다”는 “영상을 촬영(또는 획득)하다”와 혼용되어 사용될 수 있다. In the present invention, “sensing” can be interpreted in various ways depending on the sensing module. For example, when using the
센서부(110)는, 영상(예를 들어, RGB 이미지 프레임 및 열화상 이미지 프레임 중 적어도 하나)를 촬영할 수 있다. 이 때, 센서부(110)는 동영상(video) 및 이미지(Image) 중 적어도 하나의 형태로 영상을 촬영할 수 있다. The
센서부(110)는 기 설정된 시간 주기 또는 사용자의 요청에 근거하여 영상을 촬영 할 수 있다. The
저장부(120)는 시스템(100)에 구비된(또는 삽입된) 메모리 또는 클라우드 서버를 이용하여, 본 발명에 따른 얼굴 인식 및/또는 사용자 인증과 관련된 데이터를 저장하도록 이루어질 수 있다. 예를 들어, 저장부(120)에는, 센서부(110)에서 센싱된 정보 또는 획득된 영상, 내지는 이들로부터 획득한 정보 등이 저장될 수 있다. The
나아가, 통신부(130)는 시스템(100)에 구비된 통신 모듈(예를 들어, 이동통신 모듈, 근거리 통신 모듈, 무선 인터넷 모듈, 위치정보 모듈, 방송 수신 모듈 등)의 구성을 이용하여, 서버(200), 외부 서버(미도시) 또는 클라우드 서버(미도시) 등과 데이터를 송수신할 수 있다.Furthermore, the
나아가, 디스플레이부(140)는 시각적 정보를 출력하도록 이루어지며, 제어부(160)의 제어 하에, 얼굴 인식 및 사용자 인증 중 적어도 하나와 관련된 정보를 출력하도록 이루어질 수 있다. Furthermore, the
예를 들어, 디스플레이부(140)는, 서버(200)로부터 수신된 인증 대상 사용자에 대한 사용자 인증 결과 정보에 근거하여, 사용자 인증 성공(또는 실패)과 관련된 정보를 출력하거나, 센서부(110)가 사용자를 촬영할 수 있도록 사용자의 위치를 안내하는 안내 정보를 출력하도록 제어될 수 있다. For example, the
예를 들어, 인증 대상 사용자에 대한 인증 결과 정보에 근거하여, 디스플레이부(140)에는 인증 결과 또는 타겟 기능 수행과 관련된 안내 정보(예를 들어, “Welcome, User 1 님을 환영합니다”, 도 8의 810 참조)가 출력되도록 이루어질 수 있다. For example, based on the authentication result information for the user to be authenticated, the
나아가, 음향 출력부(150)는 본 발명과 관련된 정보를 청각적으로 출력할 수 있다. Furthermore, the
예를 들어, 제어부(160)의 제어 하에, 인증 대상 사용자에 대한 인증 결과 정보에 근거하여, 음향 출력부(150)는, 인증 결과 또는 타겟 기능 수행과 관련된 안내 정보를 음성으로 출력할 수 있다. For example, under the control of the
나아가, 제어부(160)는, 시스템(100)에 구비된 CPU 및 클라우드 서버 중 적어도 하나를 활용하여, 각 구성에 대한 제어 및 본 발명과 관련된 전반적인 제어를 수행할 수 있다. Furthermore, the
제어부(160)는 본 발명을 수행하기 위하여, 시스템(100)의 구성 중 적어도 하나에 대한 제어 권한을 가질 수 있다. The
제어부(160)는 센서부(110)에서 센싱되거나 통신부(130)를 통해 수신된 정보에 기반하여, 사용자의 얼굴을 인식하고 사용자 인증을 위한 프로세스를 수행할 수 있다.The
제어부(160)는 얼굴 인식부(161)를 포함할 수 있으며, 얼굴 인식부(161)은 얼굴 인식 기능을 갖는 알고리즘에 근거하여, 센서부(110)에서 촬영된 영상에서 얼굴을 인식할 수 있다. 나아가, 얼굴 인식부(161)는 인식된 얼굴과 관련된 일련의 제어를 수행할 수 있으며, 이에 대해서는 뒷부분에서 보다 구체적으로 살펴보도록 한다. 본 발명에서는 설명의 편의를 위하여 얼굴 인식부(161)와 제어부(160)의 구성을 구분하지 않고, 제어부(160)로 통일하여 설명하도록 한다.The
한편, 본 발명에 따른 시스템(100) 및 서버(200)는 서로 연동되어 동작함으로써, 타겟 기능에 대한 사용자 인증을 수행하고, 타겟 기능에 대한 사용자 인증 수행 결과에 기반하여 타겟 기능의 수행을 제어할 수 있다. Meanwhile, the
서버(200)는 시스템(100)으로부터의 사용자 인증 요청에 근거하여, 사용자 인증을 수행하고, 사용자 인증 결과를 시스템(100)으로 전송하는 역할을 수행할 수 있다.The
한편, 본 발명에서 사용자 인증의 결과로서 수행되는 기능이 출입 통제 게이트(20)의 동작 제어인 경우, 인증 대상 사용자에 대한 사용자 인증 결과에 근거하여, 출입 통제 게이트(20)의 도어(door)가 열리도록 제어하거나, 열리지 않도록 제어될 수 있다. 출입 통제 게이트(20)는, 서버(200) 및 시스템(100) 중 적어도 하나로부터 전달되는 제어명령에 근거하여, 제어되도록 이루어질 수 있다.Meanwhile, in the present invention, when the function performed as a result of user authentication is the operation control of the
한편, 도 1에 도시된 것과 같이, 본 발명에 따른 서버(200)는, 통신부(210), 저장부(220) 및 제어부(230) 중 적어도 하나를 포함하도록 구성될 수 있다. 이때 본 발명에 따른 서버(200)는 상술한 구성 요소로 제한되는 것은 아니며, 본 명세서의 설명에 따른 기능과 동일 또는 유사한 역할을 수행하는 구성요소를 더 포함할 수 있다.Meanwhile, as shown in FIG. 1 , the
통신부(210)는 시스템(100), 출입 통제 게이트(20), 외부 서버(미도시) 또는 클라우드 서버(미도시) 중 적어도 하나와 데이터를 송수신하도록 이루어질 수 있다. The
예를 들어, 통신부(210)는 시스템(100)으로부터 인증 대상 사용자의 얼굴이 포함된 영상 정보 또는 인증 대상이 되는 사용자에 대한 얼굴 정보를 수신하고, 인증 대상 사용자에 대한 사용자 인증 결과를 시스템(100)으로 전송할 수 있다. For example, the
저장부(220)는 사용자 인증과 관련된 다양한 정보가 저장되도록 이루어질 수 있다.The
저장부(220)는 기 등록된 얼굴과 관련된 참조 얼굴 특징 정보를 포함하는 사용자 DB(221) 및 시스템(100)와 관련된 정보를 포함하는 단말기 DB(222) 중 적어도 하나를 포함할 수 있다. The
여기에서, 참조 얼굴 특징 정보는, 기 등록된 얼굴에 대한 이미지 및 기 등록된 얼굴에 대한 특징 정보(예를 들어, 특징 벡터 정보) 중 적어도 하나를 포함할 수 있다.Here, the reference facial feature information may include at least one of a pre-registered face image and pre-registered feature information (eg, feature vector information).
사용자 DB(221)에는, 개별 인물(또는 사람) 단위로, 각각의 인물에 대한 사용자 정보가 저장될 수 있다. 즉, 사용자 DB에는, 서로 다른 인물 마다 각각에 대응되는 사용자 정보가 매칭되어 저장될 수 있다.User information for each person may be stored in the
여기에서, 사용자 정보는, 각각의 인물에 해당하는 사람의 이름, 생년월일, 주소, 전화번호, 메일 주소, 계정 정보, 사번, ID, 생체 정보(지문 정보, 홍채 정보 등), 참조 얼굴 특징 정보, 일정(스케줄)과 관련된 정보 중 적어도 하나를 포함할 수 있다.Here, the user information includes the name, date of birth, address, phone number, e-mail address, account information, employee number, ID, biometric information (fingerprint information, iris information, etc.), reference facial feature information, It may include at least one of schedule (schedule) related information.
참조 얼굴 특징 정보에 포함되는 참조 얼굴 이미지는, 특정 인물에 대한 얼굴 이미지로서, 하나 또는 복수 일 수 있다. 본 발명에서 사용자 DB는, “사용자와 관련된 정보”, “사용자의 신상정보” 또는 “사용자의 식별정보”라고도 명명될 수 있다.The reference face image included in the reference face feature information is a face image of a specific person, and may be one or more. In the present invention, the user DB may also be referred to as "user related information", "user personal information" or "user identification information".
한편, 단말기 DB(222)에는, 사용자 인증 프로세스를 수행하는 시스템(100)에 대한 정보가 저장될 수 있다. Meanwhile, information about the
여기에서, 단말기에 대한 정보는, 각각의 시스템(100 또는 출입 통제 게이트(20))의 식별 정보(시리얼 넘버), 위치, 사용자 인증과 연동되는 타겟 기능과 관련된 정보 중 하나를 포함할 수 있다. Here, the information on the terminal may include one of identification information (serial number) of each
한편, 제어부(230)는, 사용자 DB(221)에 저장된 참조 얼굴 특징 정보를 이용하여, 인증 대상 사용자에 대한 사용자 인증을 수행할 수 있다. Meanwhile, the
이 때, 사용자 인증은, 제어부(230)의 사용자 인증부(231)를 통해 수행될 수 있다. 즉, 사용자 인증부(231)는 제어부(230)의 일 역할을 수행하는 것으로 이해할 수 있다. 본 발명에서는, 제어부(230)와 사용자 인증부(231)를 별도로 구분하지 않고 혼용하여 사용하도록 한다. At this time, user authentication may be performed through the
이하에서는, 위에서 살펴본 시스템(100) 및 서버(200)의 구성에 근거하여, 본 발명에서 사용자 인증이 이루어지는 기본 프로세스에 대하여 살펴보도록 한다.Hereinafter, based on the configuration of the
도 2에 도시된 것과 같이, 본 발명에 따른 시스템(100)에서는, 센서부(110, 예를 들어, 카메라)를 이용하여, 영상을 촬영하고, 촬영된 영상에 대한 데이터 처리를 수행하는 과정이 수행될 수 있다(S210). 영상은 기 설정된 시간 간격으로 촬영되도록 이루어질 수 있다.As shown in FIG. 2 , in the
센서부(110)에서는 이미지 프레임(또는 영상, ex: RGB 이미지 프레임) 및 열화상 이미지 프레임(또는 영상)이 각각 촬영될 수 있다(S211, S212).In the
이와 같이, 센서부(110)를 통한 촬영을 통해, 얼굴 인식 대상이 되는 이미지(본 발명의 설명에서 “영상”이라고 명명됨)가 확보될 수 있다.In this way, through photographing through the
다음으로, 시스템(100)에서는 이미지, 즉, 영상에서 얼굴을 인식하는 과정을 수행할 수 있다(S220).Next, the
보다 구체적으로, 제어부(160)는 영상에서 사용자의 얼굴을 인식하고(S221), 인식된 사용자의 얼굴이 기 설정된 얼굴 조건을 만족하는지 판단할 수 있다(S222). More specifically, the
여기에서, 기 설정된 얼굴 조건은, 인식된 얼굴이 사용자 인증을 수행하기에 적합한 조건을 갖추었는지에 대한 것으로서, 기 설정된 얼굴 조건은 다양하게 설정될 수 있다. 예를 들어, 기 설정된 얼굴 조건은, i) 영상에서 인식된 얼굴이 포함된 위치, ii) 영상에서 상기 인식된 얼굴이 차지하는 영역의 크기, iii) 영상에서 인식된 얼굴의 각도(ex: 사용자 얼굴이 정면을 바라보고 있는지 여부), iv) 사용자의 얼굴 전체가 인식되었는지 여부, v) 사용자가 마스크를 착용했는지 여부 등과 같은 다양한 조건 중 적어도 하나와 관련될 수 있다. Here, the preset face condition is whether or not the recognized face meets conditions suitable for performing user authentication, and the preset face condition may be set in various ways. For example, preset face conditions include i) a location in which a recognized face is included in an image, ii) a size of an area occupied by the recognized face in an image, iii) an angle of a face recognized in an image (ex: user face It may be related to at least one of various conditions, such as whether the user is looking at the front), iv) whether the user's entire face is recognized, and v) whether the user is wearing a mask.
제어부(160)는 카메라(111)를 통해 획득한 영상에서, 기 설정된 얼굴 조건 조건에 만족하는 얼굴이 인식된 경우, 해당 영상을 이용하여, 기 설정된 얼굴 조건을 만족하는 얼굴에 대한 사용자 인증을 수행하기 위한 과정을 수행할 수 있다.When a face that satisfies a preset face condition is recognized in an image acquired through the
제어부(160)는 영상에서 인식된 얼굴 중 기 설정된 얼굴 조건을 만족하는 얼굴을 인증 대상 얼굴로 특정할 수 있다. 예를 들어, 제어부(160)는 도 4(b)에 도시된 영상에서, 복수의 사용자 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 중 얼굴이 잘리지 않고 가장 넓은 영역을 차지하는 얼굴 (2000a)을 인증 대상 얼굴로 특정할 수 있다. The
이와 같이, 영상으로부터 인증 대상 얼굴인, 인증 대상 얼굴이 특정되면, 제어부(160)는 스푸핑(spoofing) 체크 및 온도 체크를 추가적으로 수행할 수 있다(S230).In this way, when a face to be authenticated, which is a face to be authenticated, is specified from the image, the
제어부(160)는 스푸핑 체크 및 온도 체크를 통과한 영상에 대해서, 사용자 인증을 요청할 수 있다. The
제어부(160)는 인증 대상 사용자에 대한 사용자 인증 요청을 서버(200)로 전송할 수 있다(S250, 도 2 참조). The
제어부(160)는 사용자 인증 요청과 함께, 인증 대상 사용자의 얼굴에 대한 정보(사용자의 얼굴 이미지 또는 얼굴 특징 정보 등)를 서버(200)로 전송할 수 있다.The
서버(200)는, 영상에 포함된 인증대상 사용자의 얼굴에 대한 정보와 서버(200)의 사용자 DB(221)에 저장된 참조 얼굴 특징 정보에 대한 유사도 판단을 수행할 수 있다(S240).The
유사도 판단 방법의 일 예로서, 서버(200)는 영상에 포함된 인증 대상 사용자의 얼굴과 사용자 DB(221)에 저장된 참조 얼굴 이미지를 비교하여 사용자 인증을 수행할 수 있다. As an example of a similarity determination method, the
이때, 참조 얼굴 이미지와, 영상에 포함된 인증 대상 사용자의 얼굴을 비교한다고 함은, 참조 얼굴 이미지에 해당하는 특징점 정보와, 영상에서 인식된 사용자의 얼굴에 대한 특징점 정보를 비교하는 것을 의미할 수 있다. 즉, 사용자 DB에는, 사용자들의 참조 얼굴 이미지가, 참조 얼굴 이미지에 포함된 눈, 코, 입 등의 생김새에 따라 정의되는 특징점 정보가 존재할 수 있다.In this case, comparing the reference face image with the face of the user to be authenticated included in the image may mean comparing feature point information corresponding to the reference face image with feature point information on the face of the user recognized in the image. there is. That is, feature point information in which reference face images of users are defined according to features of eyes, noses, and mouths included in the reference face images may exist in the user DB.
유사도 판단 방법의 다른 일 예로서, 서버(200)는 얼굴 이미지로부터 추출된 인증 대상 사용자의 얼굴에 대한 특징 벡터와, 참조 얼굴 특징 정보에 포함된 특징 벡터 간의 유사도 비교를 통해, 사용자 인증을 수행할 수 있다. 이때, 사용자 DB에는 다양한 참조 얼굴에 대한 특징 벡터들이 저장되어 존재할 수 있다. 서버(200)는 사용자 DB로부터, 인증 대상 사용자의 얼굴에 대한 특징 벡터와 가장 유사한 특징 벡터를 검색(또는 추출)하고, 검색된 특징벡터와 인증 대상 사용자의 얼굴에 대한 특징 벡터 간의 유사도가 기 설정된 값(임계값) 이상인 경우, 사용자에 대한 인증을 성공으로 처리할 수 있다.As another example of a similarity determination method, the
그리고, 서버(200)는 사용자 인증 결과를 시스템(100)으로 제공(또는 전송)하며, 시스템(100)에서는 서버(200)로부터 수신된 인증 결과에 기반하여, 사용자 인증 결과를 사용자에게 제공할 수 있다(S260). 예를 들어, 시스템(100)에 구비된 출력부(예를 들어, 디스플레이부, 음향 출력부(스피커) 등)를 통해, 인증의 결과가 사용자에게 제공될 수 있다. 일 예로, 제어부(160)는, 인증 대상 사용자 얼굴에 대한 사용자 인증이 성공한 경우, 디스플레이부(140)에 인증 결과 또는 타겟 기능 수행과 관련된 안내 정보(예를 들어, “Welcome, User 1 님을 환영합니다”, 도 8의 810 참조)가 출력되도록 디스플레이부(140)를 제어할 수 있다.In addition, the
나아가, 제어부(160)는 서버(200)로부터 수신된 인증 대상 사용자에 대한 사용자 인증 결과에 근거하여, 다양한 제어를 수행할 수 있다. 일 예로서, 시스템(100)이 출입 통제 장치에 연동되거나, 출입 통제 장치에 포함된 경우, 제어부(160)는 인증 대상 사용자에 대한 사용자 인증이 성공한 경우, 인증에 성공한 사용자가 특정 공간에 진입할 수 있도록, 출입 통제 게이트(20)를 제어할 수 있다. 출입 통제 게이트(20)는 닫힘 상태를 디폴트 구동 상태로 유지하며, 제어부(160)에 의한 제어 또는 서버(200)로부터 수신되는 제어 신호에 근거하여 열림 상태가 되도록 제어될 수 있다. Furthermore, the
나아가, 본 발명에서는 시스템(100)과, 사용자 인증의 결과가 적용되는 출입 통제 게이트(20) 또는 결제 단말기 등이, 서로 독립적으로 구동될 수 있다. 이 경우, 서버(200)는 사용자 인증의 결과를 시스템(100) 뿐만 아니라, 출입 통제 게이트(20) 또는 결제 단말기에 전송할 수 있다(S270).Furthermore, in the present invention, the
이 경우, 출입 통제 게이트(20) 또는 결제 단말기는, 서버(200)로부터 수신되는 사용자 인증 결과에 기반하여, 동작이 제어되도록 이루어질 수 있다.In this case, the operation of the
일 예로, 사용자 인증의 결과가 출입 통제 게이트(20)의 동작 제어에 활용되는 경우, 서버(200)는 사용자 인증 결과에 기반하여, 출입 통제 게이트(20)의 게이트(또는 문(door))이 열림 상태가 되도록 하는 제어 신호를 출입 통제 게이트(20)에 전송할 수 있다. For example, when the user authentication result is used to control the operation of the
이하에서는, 시스템(100) 및 서버(200)에 포함된 각 구성을 이용하여, 신속하고 정확하게 사용자 얼굴을 인식하는 방법에 대해서 구체적으로 설명하도록 한다. Hereinafter, a method of quickly and accurately recognizing a user's face using each component included in the
본 발명에 따른 얼굴 인식 시스템의 제어 방법에서는, 얼굴 인식 기능을 수행하는 시스템(100)에 구비된 카메라(111)를 이용하여 영상을 획득하는 과정이 진행될 수 있다(S310, 도 3 참조).In the control method of the face recognition system according to the present invention, a process of obtaining an image using the
도 4의 (a)에 도시된 것과 같이, 특정 공간(1)에는 다양한 사용자들이 위치할 수 있다. 예를 들어, 특정 공간(1)에는, 출입 통제 게이트(20)를 통과하고자 하는 사용자(1000a, 1000b, 1000c), 특정 위치에 정지해 있는 사용자(1000d) 또는 특정 공간(1)을 자유롭게 이동하는 사용자(1000e)가 존재할 수 있다. As shown in (a) of FIG. 4 , various users may be located in a
이하에서는 설명의 편의를 위하여, 출입 통제 게이트(20) 또는 시스템(100)을 기준으로 1열에 서 있는 사용자(1000a) 제1 사용자(1000a)로 명명하고, 2열에 서 있는(1000b)를 제2 사용자(1000b)로 명명하고, 3열에 서 있는 사용자(1000c)를 제3 사용자(1000c)로 명명하도록 한다. 나아가, 특정 위치에 정지해 있는 사용자(1000d)를 제4 사용자(1000d), 이동 중인 사용자(1000e)를 제5 사용자(1000e)로 명명하도록 한다. Hereinafter, for convenience of description, a
한편, 시스템(100) 또는 시스템(100)에 구비된 카메라(111)는, 사용자 인증을 통해 수행하고자 하는 기능 (예를 들어, 출입 통제 게이트(20)의 도어 동작 기능)의 실행을 위하여, 특정 공간(1)에 대한 영상이 촬영되도록 배치될 수 있다. 카메라(111)는, 사용자의 얼굴을 인식할 수 있는 적절한 위치에 배치되도록 이루어질 수 있다.On the other hand, the
예를 들어, 도 4의 (a)에 도시된 것과 같이, 카메라(111)는 출입 통제 게이트(20)를 통과하고자 하는 사용자들이 위치하는 특정 공간을 촬영하도록, 출입 통제 게이트(20)의 주변 또는 출입 통제 게이트(20)의 일 영역에 배치될 수 있다. For example, as shown in (a) of FIG. 4 , the
도 4(b)에 도시된 것과 같이, 카메라(111)에서 촬영된 영상(400)은, 카메라(111)이 화각(field of view)에 대응되는 공간에 대한 정보가 포함될 수 있다. 카메라(111)의 화각 내에, 도 4의 (a)에 도시된 것과 같이, 사용자들이 위치한 경우, 도 4의 (b)에 도시된 것과 같이, 영상(400)에는 사용자에 해당하는 그래픽 객체(2000a, 2000b, 2000c, 2000d, 2000e)가 포함될 수 있다. 도시와 같이, 그래픽 객체(2000a, 2000b, 2000c, 2000d, 2000e)는, 사용자의 얼굴에 해당하는 이미지가 포함될 수 있다.As shown in FIG. 4( b ), the
도 4의 (a)에 도시된 것과 같이, 복수의 사용자가 카메라(111) 주변에 위치하는 경우, 도 4의 (b)에는 복수의 사용자 각각의 얼굴에 대응되는 그래픽 객체(또는 얼굴 이미지, 2000a, 2000b, 2000c, 2000d, 2000e)가 포함되어 있을 수 있다. As shown in (a) of FIG. 4, when a plurality of users are located around the
본 발명에서는 용어의 혼동을 피하기 위하여, 사용자의 얼굴에 대응되는 그래픽 객체를 “얼굴”, 또는 ”얼굴 이미지”로 명명할 수 있다. 예를 들어, 제1 사용자(1000a)의 얼굴에 대응되는 그래픽 객체를 제1 얼굴(2000a) 또는 제1 얼굴 이미지(2000a), 제2 사용자(1000b)의 얼굴에 대응되는 그래픽 객체를 제2 얼굴 (2000b) 또는 제2 얼굴 이미지(2000b)와 같이 명명할 수 있다. 나아가, 본 명세서의 도면에서는, 설명의 편의를 위하여, 영상(400) 내에서 사용자의 얼굴만 강조하여 도시하기로 한다.In the present invention, in order to avoid confusion of terms, a graphic object corresponding to a user's face may be named "face" or "face image". For example, a graphic object corresponding to the face of the
한편, 위의 S310 과정은, 앞서 도 2에서 살펴본 S210 과정에 대응될 수 있으며, S310과정에는 S210과정에서 살펴본 세부 프로세스들이 포함될 수 있다.Meanwhile, the above process S310 may correspond to the process S210 described above in FIG. 2 , and the process S310 may include the detailed processes described in the process S210.
다음으로, 본 발명에서는 기 설정된 얼굴 인식 알고리즘에 근거하여, 영상으로부터 얼굴을 인식하는 과정이 진행될 수 있다(S320, 도 3 참조).Next, in the present invention, based on a preset face recognition algorithm, a process of recognizing a face from an image may proceed (S320, see FIG. 3).
제어부(160)는 도 4의 (b)에서 획득된 영상(400)에 대하여, 얼굴 인식 알고리즘에 기반하여, 얼굴을 인식할 수 있다. 얼굴을 인식하는 알고리즘은, 영상에서 객체를 인식하는 다양한 영상 객체 인식 기법으로 수행될 수 있다. 일 예로 영상(400)에서 얼굴을 인식하는 알고리즘은, 얼굴 인식을 위해 학습된 알고리즘(예를 들어, YOLO 알고리즘, CNN 알고리즘)을 이용하여, 영상에서 사용자들의 얼굴을 인식하는 기법 중 적어도 하나일 수 있다. The
도 5의 (a)에 도시된 것과 같이, 제어부(160)는 인식된 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 각각에 대해 바운딩 박스(Bounding box, 3000a, 3000b, 3000c, 3000d, 3000e)를 할당할 수 있다. 각각의 바운딩 박스(3000a, 3000b, 3000c, 3000d, 3000e)는 영상에 포함된 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 마다 각각 할당될 수 있다. As shown in (a) of FIG. 5 , the
제어부(160)는 인식된 얼굴 마다 서로 다른 식별 정보를 할당할 수 있다. 한편, 인식된 얼굴마다 할당되는 식별 정보는 바운딩 박스(3000a, 3000b, 3000c, 3000d, 3000e)에 대한 식별 정보와 동일하게 이해되어질 수 있다. The
여기에서, 식별 정보는 ID(Identification)일 수 있으며, 예를 들어, 제어부(160)는 인식된 사용자의 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 각각에 서로 다른 ID(Identification, 예를 들어, “USER 1”)를 할당할 수 있다. Here, the identification information may be ID (Identification), and for example, the
한편, 제어부(160)는 영상에 포함된 복수의 얼굴 마다 서로 다른 ID를 할당할 수 있으며, 서로 다른 영상에 동일한 얼굴이 포함되어 있는 경우, 서로 다른 영상에 포함된 동일한 얼굴에는 동일한 ID(Identification)가 할당될 수 있다. On the other hand, the
예를 들어, 도 7a에서 서로 다른 시점(tp3, tp2, tp1, t0)에 획득된 영상(730, 720, 710, 700)에 포함된 동일한 얼굴(2000a)에 대해서는 동일한 ID(예를 들어, “USER 1”)가 할당될 수 있다. For example, in FIG. 7A , the same ID (eg, “
한편, 제어부(160)는 영상에서 얼굴이 인식되면, 인식된 얼굴 각각에 대한 정보를 추출할 수 있다. 설명의 편의를 위하여, 추출된 정보는 “얼굴 정보”라 명명한다.Meanwhile, when a face is recognized in an image, the
제어부(160)는 인식된 얼굴 각각에 대한 얼굴 정보를 추출하며, 추출된 얼굴 정보(510)는, 도 5의 (b)에 도시된 것과 같이, 인식된 얼굴에 할당된 ID와 매칭되어 저장될 수 있다. 제어부(160)는, 영상(400)에서 추출된 얼굴 정보(510)가 영상에서 인식된 얼굴에 할당된 ID와 매칭되어 저장부(120)에 저장되도록 제어할 수 있다. The
도 5의 (b)에 도시된 것과 같이, “얼굴 정보(510)”는, 영상에 포함된 얼굴과 관련되어 추출될 수 있는 다양한 정보를 포함할 수 있다. 예를 들어, 얼굴 정보(510)는, i) 영상에서의 얼굴(바운딩 박스)에 대한 위치 정보(픽셀 좌표 정보, 511), ii) 얼굴의 크기 정보(영상에서 얼굴이 차지하는 영역에 대한 크기 또는 바운딩 박스에 대응되는 영역의 크기(또는 넓이)에 해당, 512), iii) 얼굴에 대한 각도 정보(얼굴이 기준 방향(ex: 카메라 기준)을 바라보고 있는지에 대한 정보, iv) 얼굴 특징 정보(ex: 벡터 정보) 중 적어도 하나를 포함할 수 있다. As shown in (b) of FIG. 5, “face
여기에서, 얼굴 특징 정보는, 각각의 얼굴이 갖는 특징에 대한 정보로서, 눈과 눈썹, 코와 입, 턱 등의 얼굴 특징이 변하는 각 부위 마다 특징(Feature)이 되는 특징 데이터 또는 이와 관련된 특징 벡터를 의미할 수 있다. 사람 마다, 각각의 생김새에 따라 서로 다른 특징을 갖으며, 그에 따라, 서로 다른 생김새를 갖는 사용자들은 서로 다른 얼굴 특징 정보를 가질 수 있다. Here, the facial feature information is information on the characteristics of each face, and is feature data that becomes a feature for each part where facial features such as eyes, eyebrows, nose, mouth, and chin change, or a feature vector related thereto can mean Each person has different characteristics according to their appearance, and accordingly, users with different appearances may have different facial feature information.
이러한 얼굴 정보는, 사용자의 얼굴이 인식된 영상마다 각각 존재할 수 있다.Such face information may be present for each image in which the user's face is recognized.
도 5의 (b)에 도시된 것과 같이, 카메라(111)에서 획득된 영상(또는 프레임)은, 영상 마다 식별 정보(520)가 존재하며, 영상의 식별정보(520)와, 해당 영상에서 추출된 얼굴 정보(510)는 서로 매칭되어 존재할 수 있다. 도시와 같이, 영상의 식별정보 및 얼굴 정보는 테이블 형태로 저장부에 존재할 수 있다.As shown in (b) of FIG. 5, in the image (or frame) acquired by the
영상의 식별 정보(520)는, i) 영상을 구분하기 위한 일련 번호, ID (예를 들어, FRAME no: #1025), ii) 영상 촬영 일시 정보(또는 프레임 촬영 일시 정보, 예를 들어, 2021-11-14-13:00:05), iii) 영상을 촬영한 단말기와 관련된 정보(단말기의 식별 정보, 단말기의 위치 정보(예를 들어, LOBBY A)) 중 적어도 하나를 포함할 수 있다. The
도 5의 (b)에 도시된 것과 같이, 저장부(120)에는 영상에서 인식된 얼굴 각각의 얼굴 정보(510), 영상에서 인식된 얼굴에 할당된 ID, 얼굴이 인식된 영상의 식별정보(520)가 서로 매칭되어 저장되어 있을 수 있다. As shown in (b) of FIG. 5, the
한편, 제어부(160)는 카메라(111)에서 획득된 영상, 영상으로부터 추출된 얼굴 정보(510) 및 영상의 식별정보 등이 기 설정된 기간(기 설정된 정보 저장 기간, 예를 들어 10분) 동안에만 저장부(120)에 저장되도록 제어함으로써, 저장부(120)를 효율적으로 사용할 수 있다. Meanwhile, the
예를 들어, 제어부(160)는 기 설정된 시간(기 설정된 정보 저장 시간)이 경과하면 위에서 열거한 정보들이 저장부(120)에서 삭제되도록 저장부를 제어할 수 있다. For example, the
한편, 카메라로부터 획득되는 영상에는 한명의 사용자에 해당하는 얼굴이 포함되는 경우 뿐만 아니라, 도 5의 (a)에 도시된 것과 같이, 영상(400)에는 복수의 얼굴(2000a, 2000b, 2000c, 2000d, 2000e)이 포함되어 있을 수 있다. 이 경우, 복수의 얼굴에 해당하는 사용자 중 일부는, 사용자 인증을 의도하지 않은 사용자일 수 있다. 또한, 영상에 복수의 얼굴이 포함된 경우, 진정으로 사용자 인증을 의도한 특정 사용자는, 다른 사용자의 얼굴로 인하여 인증을 수행하지 못할 수 있다. On the other hand, the image obtained from the camera not only includes a face corresponding to one user, but also includes a plurality of
뿐만 아니라, 공간에 사용자 인증을 시도하는 사용자가 없는 경우에도, 영상(400)에 포함된 복수의 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 중 적어도 하나의 얼굴에 대한 사용자 인증이 수행되는 경우도 발생될 수 있다. In addition, when user authentication is performed for at least one face among the plurality of
이에, 복수의 사용들이 자유롭게 드나드는 공간에서 얼굴 인식을 통한 사용자 인증을 수행하기 위해서는, 사용자 인증을 의도한 특정 사용자에 대한 정확한 사용자 인증이 필수적이다. Therefore, in order to perform user authentication through face recognition in a space where a plurality of users freely enter and exit, accurate user authentication for a specific user intended for user authentication is essential.
이에, 본 발명에서는 영상(400)에서 인식된 얼굴 중 기 설정된 얼굴 조건을 만족하는 적어도 어느 하나의 얼굴에 대한 사용자 인증을 수행할 수 있다. Accordingly, in the present invention, user authentication may be performed on at least one face that satisfies a preset face condition among faces recognized in the
보다 구체적으로, 본 발명에서는, 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지를 체크하는 과정이 진행될 수 있다(S330, 도 3 참조).More specifically, in the present invention, a process of checking whether a face recognized in an image satisfies a preset face condition may be performed (S330, see FIG. 3).
여기에서, 기 설정된 얼굴 조건은, 인식된 얼굴이 사용자 인증을 수행하기에 적합한 조건을 갖추었는지에 대한 것으로서, 기 설정된 얼굴 조건은 다양하게 설정될 수 있다. 예를 들어, 기 설정된 얼굴 조건은, i) 영상에서 인식된 얼굴이 포함된 위치, ii) 영상에서 인식된 얼굴이 차지하는 영역의 크기, iii) 영상에서 인식된 얼굴의 각도(ex: 사용자 얼굴이 정면을 바라보고 있는지 여부), iv) 사용자의 얼굴 전체가 인식되었는지 여부, v) 사용자가 마스크를 착용했는지 여부 등과 같은 다양한 조건 중 적어도 하나와 관련될 수 있다. 제어부(160)는 영상에 포함된 얼굴 중 기 설정된 얼굴 조건을 만족하는 적어도 어느 하나의 얼굴을 이용하여, 해당 얼굴에 대응하는 사용자에 대한 사용자 인증이 진행되도록 제어할 수 있다. Here, the preset face condition is whether or not the recognized face meets conditions suitable for performing user authentication, and the preset face condition may be set in various ways. For example, preset face conditions include: i) a position in which a face recognized in an image is included, ii) a size of an area occupied by a face recognized in an image, iii) an angle of a face recognized in an image (ex: a user's face is It may be related to at least one of various conditions, such as whether the user is looking at the front), iv) whether the user's entire face is recognized, and v) whether the user is wearing a mask. The
제어부(160)는, 영상으로부터 복수의 얼굴들이 인식되는 경우, 인식된 복수의 얼굴들 각각에 대하여 기 설정된 얼굴 조건을 만족하는지 체크하여, 복수의 얼굴들 중 기 설정된 얼굴 조건을 만족하는 얼굴을 특정할 수 있다. When a plurality of faces are recognized from the image, the
예를 들어, 도 5의 (a)와 같이, 제어부(160)는 영상(400)에서 복수의 얼굴이 인식되는 경우, 인식된 제1 얼굴 내지 제5 얼굴(2000a, 2000b, 2000c, 2000d, 2000e) 각각에 대해 기 설정된 얼굴 조건을 만족하는지를 판단할 수 있다. For example, as shown in (a) of FIG. 5 , when a plurality of faces are recognized in the
제어부(160)는 영상(400)에 기 설정된 얼굴 조건을 만족하는 얼굴이 포함된 경우에 한하여, 해당 영상(400)에 포함된 얼굴에 대응되는 사용자에 대한 사용자 인증이 이루어지도록 할 수 있다. 즉, 제어부(400)는 영상에서 얼굴이 인식되더라도, 해당 영상에 기 설정된 얼굴 조건을 만족하는 얼굴이 존재하지 않는 경우, 해당 영상에 포함된 얼굴에 대응되는 사용자를 위한 사용자 인증을 위해, 사용자 인증 요청을 서버로 전송할지 않을 수 있다.The
한편, 기 설정된 얼굴 조건의 일 예로서, 인식된 얼굴이 차지하는 영역의 크기에 대하여 살펴보면, 제어부(160)는 영상에서 인식된 복수의 얼굴들 각각이 차지하는 크기(예를 들어, 얼굴 영역(또는 바운딩 박스 영역)의 크기 또는 넓이)가 기 설정된 크기 이상을 갖는지를 판단할 수 있다. 제어부(160)는 기 설정된 크기 이상을 갖는 얼굴이 존재하는 경우, 해당 얼굴에 대응되는 사용자를 사용자 인증 대상이 되는 얼굴로서 특정할 수 있다. Meanwhile, as an example of a preset face condition, looking at the size of an area occupied by a recognized face, the
예를 들어, 도 6의 (a)에 도시된 것과 같이, 제어부(160)는 영상(610)에서 인식된 제1 얼굴(2000a) 및 제4 얼굴(2000d) 중 기 설정된 크기 이상을 갖는 얼굴 영역에 포함된 제1 얼굴(2000a)을 사용자 인증의 대상이 되는 인증 대상 얼굴로 특정할 수 있다. For example, as shown in (a) of FIG. 6 , the
나아가, 제어부(160)는. 영상에서 기 설정된 크기 이상을 갖는 얼굴 영역이 복수인 경우, 복수의 얼굴 영역 중 가장 큰 얼굴 영역에 포함된 얼굴을 사용자 인증의 대상이 되는 인증 대상 얼굴로 특정할 수 있다. Furthermore, the
예를 들어, 도 6의 (a)에 도시된 영상(610)에서, 제1 얼굴(2000a) 및 제4 얼굴(2000d)이 모두 기 설정된 크기 이상을 갖더라도, 제어부(160)는 가장 큰 얼굴 영역에 포함된 제1 얼굴(2000a)을 사용자 인증의 대상이 되는 인증 대상 얼굴로 특정할 수 있다. For example, in the
기 설정된 얼굴 조건의 다른 예로서, 인식된 얼굴이 영상에 포함된 위치에 대하여 살펴보면, 기 설정된 얼굴 조건은, 도 6의 (a)에 도시된 것과 같이, 영상에서 인식된 얼굴이 포함된 위치가 영상의 기 설정된 위치(예를 들어, 중앙, 611)에서 일정 반경 이내에 위치하는 것과 관련될 수 있다. As another example of a preset face condition, looking at a location where a recognized face is included in an image, the preset face condition is a location where a recognized face is included in an image, as shown in FIG. It may be related to being located within a predetermined radius from a preset location (eg, center, 611) of the image.
예를 들어, 도 6의 (a)에 도시된 것과 같이, 제어부(160)는 영상(610)에서 인식된 제1 얼굴(2000a) 및 제4 얼굴(2000d) 중 영상(610)의 기 설정된 위치(예를 들어, 영상의 중앙 위치, 611)에서 일정 반경 이내에 위치하는 제1 얼굴(2000a)을 사용자 인증의 대상이 되는 인증 대상 얼굴로 특정할 수 있다. For example, as shown in (a) of FIG. 6 , the
다른 예로서, 기 설정된 얼굴 조건은, 영상에서 인식된 얼굴이 얼굴 전체에 해당하는지 여부일 수 있다. 도 6의 (b) 에 도시된 것과 같이, 영상(620)에서 인식된 제1 얼굴(2000a)이 사용자의 얼굴 전체에 대응되지 않고, 얼굴 일부에 해당되는 경우, 제어부(160)는 제1 얼굴(2000a)을 사용자 인증의 대상이 되는 얼굴인증 대상 얼굴로서 특정하지 않을 수 있다. 이 경우, 제4 얼굴(2000d)이 앞서 살펴본 기 설정된 크기를 갖는 얼굴이 아닌 경우, 제어부(160)는 해당 영상(630)에 사용자 인증의 대상이 되는 얼굴이 존재하지 않는다고 판단할 수 있다.As another example, the preset face condition may be whether a face recognized in an image corresponds to the entire face. As shown in (b) of FIG. 6 , when the
다만 인증을 시도하는 가장 앞에 있는 사용자가 너무 가까이에 있는 경우, 해당 사용자의 얼굴이 일부만 인식되고 그 뒤에 있는 다른 사용자의 얼굴이 적절한 크기 일 때 인증 대상 얼굴로 결정될 수 있기 때문에, 가장 앞에 있는 것으로 생각되는 사용자(예를 들어, 얼굴이 가장 큰 사용자)의 얼굴이 일부만 노출된 경우에는 사용자 인증의 대상이 되는 얼굴이 없다고 판단하고, 사용자에게 조금 뒤로 물러나거나 얼굴 전체가 화면에 위치하도록 이동하라는 가이드를 출력할 수 있다.However, if the frontmost user attempting authentication is too close, only a part of the user's face is recognized and the face of another user behind it can be determined as the face to be authenticated when it is an appropriate size, so it is considered to be the frontmost. If only a part of the face of a user (for example, a user with the largest face) is exposed, it is determined that there is no face subject to user authentication, and a guide is given to the user to step back or move so that the entire face is on the screen. can be printed out.
또 다른 예로서, 기 설정된 얼굴 조건은 영상에서 인식된 얼굴의 각도가 기 설정된 방향을 기준으로 기 설정된 각도 범위 내에 해당되는 것과 관련될 수 있다. 이는, 기준 방향(예를 들어, 카메라 방향)을 바라보고 있는지, 즉, 사용자가 카메라를 정면으로 바라보고 있는지와 관련된 것일 수 있다.As another example, the preset face condition may be related to an angle of a face recognized in an image falling within a preset angular range based on a preset direction. This may be related to whether the user is looking in a reference direction (eg, a camera direction), that is, whether the user is looking directly at the camera.
예를 들어, 도 6의 (c)에 도시된 것과 같이, 영상(630)에서 인식된 제5 얼굴(2000e)의 각도(예를 들어, x 방향을 기준으로 -y 를 향해 90 ˚ 회전, -90 ˚ )가, 카메라(111) 정면 방향(x, 641)을 기준으로 제1 각도(예를 들어, -20˚) 내지 제2 각도(예를 들어, +20˚)내에 해당되지 않는 경우, 제어부(160)는, 제5얼굴(2000e)을 사용자 인증의 대상이 되는 얼굴로서 특정하지 않을 수 있다. For example, as shown in (c) of FIG. 6 , the angle of the
즉, 제어부(160)는 영상에서 인식된 얼굴의 각도가 기 설정된 방향을 기준으로 일정 조건에 맞는 경우에만, 해당 얼굴이 기 설정된 얼굴 조건을 만족한다고 판단할 수 있다. That is, the
이처럼, 본 발명에서는 신속하고 정확하게 사용자의 얼굴을 인식하기 위하여, 카메라(111)를 통해 획득한 영상에서, 기 설정된 얼굴 조건을 만족하는 얼굴을 체크할 수 있다. As such, in the present invention, in order to quickly and accurately recognize a user's face, a face that satisfies a preset face condition may be checked in an image acquired through the
한편, 위에서 살펴본 것과 같이, 기 설정된 얼굴 조건이 복수인 경우, 제어부(160)는 영상에서 얼굴이, 복수의 얼굴 조건을 모두 만족하는 경우에 한하여, 해당 영상에 포함된 얼굴을 사용자 인증 대상이 되는 얼굴로서 특정할 수 있다. Meanwhile, as described above, when there are a plurality of preset face conditions, the
한편, 영상에서 기 설정된 얼굴 조건을 만족하는 얼굴이 복수인 경우, 제어부(160)는 영상에서 가장 큰 얼굴을, 사용자 인증 대상이 되는 얼굴로서 특정할 수 있다. 이와 다르게, 제어부(160)는 경우에 따라, 영상에서 기 설정된 얼굴 조건을 만족하는 얼굴이 복수인 경우, 복수의 얼굴 모두를 사용자 인증 대상이 되는 얼굴로서 특정할 수 있다.Meanwhile, when there are a plurality of faces satisfying preset face conditions in the image, the
다음으로 본 발명에서는, 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지에 대한 체크한 결과에 근거하여, 사용자 인증 요청을 수행하는 과정이 진행될 수 있다(S340). Next, in the present invention, based on a result of checking whether a face recognized in an image satisfies a preset face condition, a process of requesting user authentication may proceed (S340).
제어부(160)는, 영상에서 인식된 얼굴이, 기 설정된 얼굴 조건을 만족하는 경우, 해당 얼굴에 대응되는 사용자 인증을 위해, 서버(200)로 사용자 인증을 요청할 수 있다. 이 경우, 사용자 인증 요청이, 시스템(100)으로부터 서버(200)로 전송될 수 있다.When the face recognized in the image satisfies a preset face condition, the
이와 다르게 제어부(160)는 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하지 않는 경우, 서버(200)로 사용자 인증 요청을 전송하지 않을 수 있다. 즉, 제어부(160)는 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지에 대한 체크 결과, 얼굴들 중 기 설정된 얼굴 조건을 만족하는 얼굴이 존재하지 않는 경우, 서버(200)에 대하여, 영상에 근거한 사용자 인증 요청을 전송하지 않을 수 있다. Unlike this, the
이처럼, 본 발명에서는 기 설정된 얼굴 조건을 만족하는 얼굴에 대해서 사용자 인증 프로세스가 진행되도록 제어함으로써, 사용자 인증을 시도하는 사용자의 얼굴이 아닌 다른 사용자의 얼굴에 대해 사용자 인증이 진행되는 것을 방지하여 사용자 인증의 정확성을 향상시킬 수 있다. 또한 불필요하게 인증을 위한 연산을 반복하지 않음으로써 연산 리소스를 줄이고 빠른 처리가 가능하도록 할 수 있다.As such, in the present invention, by controlling the user authentication process to proceed with respect to a face that satisfies a preset face condition, user authentication is prevented from being performed for a face of a user other than the face of the user attempting user authentication. accuracy can be improved. In addition, by not repeating an operation for authentication unnecessarily, it is possible to reduce computational resources and enable fast processing.
한편, 본 발명에서는, 사용자 인증 서버(200)에서 사용자 인증 프로세스가 수행되는 것으로 설명하지만, 시스템(100)에서 사용자 인증 프로세스가 수행가능 함은 물론이다. Meanwhile, in the present invention, it is described that the user authentication process is performed in the
제어부(160)는 영상에서 인식된 얼굴이, 기 설정된 얼굴 조건을 만족하는 경우, 서버(200)에서, 인식된 얼굴에 대한 사용자 인증을 수행하도록, 인식된 얼굴과 관련된 정보를 서버(200)로 전송할 수 있다.When the face recognized in the image satisfies a preset face condition, the
이때, 서버(200)에는, 사용자 인증 요청과 함께, 인증의 대상이 되는 사용자에 대한 정보가 전송될 수 있다.At this time, along with a user authentication request, information on a user to be authenticated may be transmitted to the
인증의 대상이되는 사용자에 대한 정보는, 영상에 포함된 얼굴과 관련된 정보로서, i) 인식된 얼굴이 포함된 영상, ii) 영상에서 인식된 얼굴 중 기 설정된 얼굴 조건을 만족하는 얼굴에 대한 식별 정보(ex: 해당 얼굴의 ID), iii) 영상에서 인식된 얼굴 중 기 설정된 얼굴 조건을 만족하는 얼굴에 대한 얼굴 정보 중 적어도 하나를 포함할 수 있다. The information on the user subject to authentication is information related to a face included in the image, i) an image including the recognized face, ii) identification of a face that satisfies a predetermined face condition among faces recognized in the image information (ex: corresponding face ID), and iii) face information on a face that satisfies a preset face condition among faces recognized in the image.
여기에서, 얼굴 정보는, 앞서 살펴본 것과 같이, i) 영상에서의 얼굴(바운딩 박스)에 대한 위치 정보(픽셀 좌표 정보, 511), ii) 얼굴의 크기 정보(영상에서 얼굴이 차지하는 영역에 대한 크기 또는 바운딩 박스에 대응되는 영역의 크기(또는 넓이)에 해당, 512), iii) 얼굴에 대한 각도 정보(얼굴이 기준 방향(ex: 카메라 기준)을 바라보고 있는지에 대한 정보, iv) 얼굴 특징 정보 중 적어도 하나를 포함할 수 있다. Here, the face information, as described above, i) location information (pixel coordinate information, 511) of the face (bounding box) in the image, ii) face size information (size of the area occupied by the face in the image) or corresponding to the size (or width) of the region corresponding to the bounding box, 512), iii) angle information about the face (information on whether the face is looking in a reference direction (ex: camera reference), iv) facial feature information may include at least one of them.
한편, 제어부(160)는 영상에서 인식된 얼굴 중 인증의 대상이 되는 특정 사용자에 대한 얼굴 정보만, 서버(200)로 전송할 수 있음은 물론이다. 예를 들어, 제어부(160)는 서버(200)로 영상 자체를 전송하는 것이 아니라, 인증의 대상이 되는 특정 얼굴에 해당하는 얼굴 특징 정보를 서버(200)로 전송할 수 있다. 이 경우, 서버(200)는 시스템(100)에서 수신된 얼굴 특징 정보에 근거하여, 사용자 인증을 수행할 수 있다.Meanwhile, of course, the
한편, 시스템(160)에서는 영상에서 복수의 얼굴이 인식된 경우, 복수의 얼굴 중 인증의 대상이 되는 특정 얼굴을 특정하는 정보를 서버(200)로 전송하지 않을 수 있다. 이 경우, 서버(200)에서는 자체적으로, 복수의 얼굴 중 적어도 하나의 얼굴에 대한 사용자 인증을 수행할 수 있다. 서버(200)에서는, 인식된 복수의 얼굴 중 영상에서 가장 큰 영역을 차지한 얼굴에 대해서, 사용자 인증을 수행할 수 있다. 이 경우에도, 서버(200)는 복수의 얼굴 중 앞서 살펴본 기 설정된 얼굴 조건을 만족하는 얼굴에 대해서만 사용자 인증을 수행할 수 있다.Meanwhile, in the
한편, 서버(200)에서는, 시스템(100)으로부터의 사용자 인증 요청에 근거하여, 영상에서 인식된 얼굴에 대한 사용자 인증을 수행할 수 있다.Meanwhile, the
앞서 설명한 것과 같이, 서버(200)에 포함된 제어부(230)는 영상에 포함된 인증대상 사용자의 얼굴에 대한 정보와 서버(200)의 사용자 DB(221)에 저장된 참조 얼굴 특징 정보에 대한 유사도 판단을 수행할 수 있다.As described above, the
유사도 판단 방법의 일 예로서, 제어부(230)는 영상에 포함된 인증 대상 사용자의 얼굴과 사용자 DB(221)에 저장된 참조 얼굴 이미지를 비교하여 사용자 인증을 수행할 수 있다. As an example of a similarity determination method, the
이때, 참조 얼굴 이미지와, 영상에 포함된 인증 대상 사용자의 얼굴을 비교한다고 함은, 참조 얼굴 이미지에 해당하는 특징점 정보와, 영상에서 인식된 사용자의 얼굴에 대한 특징점 정보를 비교하는 것을 의미할 수 있다. 즉, 사용자 DB에는, 사용자들의 참조 얼굴 이미지가, 참조 얼굴 이미지에 포함된 눈, 코, 입 등의 생김새에 따라 정의되는 특징점 정보가 존재할 수 있다.In this case, comparing the reference face image with the face of the user to be authenticated included in the image may mean comparing feature point information corresponding to the reference face image with feature point information on the face of the user recognized in the image. there is. That is, feature point information in which reference face images of users are defined according to features of eyes, noses, and mouths included in the reference face images may exist in the user DB.
유사도 판단 방법의 다른 일 예로서, 서버(200)에 포함된 제어부(230)는 얼굴 이미지로부터 추출된 인증 대상 사용자의 얼굴에 대한 특징 벡터와, 참조 얼굴 특징 정보에 포함된 특징 벡터 간의 유사도 비교를 통해, 사용자 인증을 수행할 수 있다. 이때, 사용자 DB에는 다양한 참조 얼굴에 대한 특징 벡터들이 저장되어 존재할 수 있다. 서버(200)에 포함된 제어부(230)는 사용자 DB로부터, 인증 대상 사용자의 얼굴에 대한 특징 벡터와 가장 유사한 특징 벡터를 검색(또는 추출)하고, 검색된 특징벡터와 인증 대상 사용자의 얼굴에 대한 특징 벡터 간의 유사도가 기 설정된 값(임계값) 이상인 경우, 사용자에 대한 인증을 성공으로 처리할 수 있다.As another example of a similarity determination method, the
서버(200)에 포함된 제어부(230)는 사용자 DB(221)에서 인증 대상 얼굴에 대응되는 인물이 검색되면, 인증 대상 얼굴에 대해 사용자 인증을 완료할 수 있다. 본 발명에서는, 인증 대상 얼굴에 대해 사용자 인증이 완료되는 것을 “사용자 인증 성공”으로 명명할 수 있다. The
이와 달리, 서버(200)에 포함된 제어부(230)는 인증 대상 사용자의 얼굴에 대한 정보와 사용자 DB에 저장된 참조 얼굴 특징 정보 간의 유사도가 낮은 경우, 사용자 DB로부터 인증 대상 얼굴에 대응되는 정확한 인물을 검색하지 못할 수 있다. 즉, 서버(200)의 제어부(230)는 인증 대상 얼굴에 대한 사용자 인증을 완료하지 못할 수 있다. 본 발명에서는, 사용자 DB(221)로부터 인증 대상 얼굴에 대응되는 정확한 인물을 검색하지 못하는 것을 “사용자 인증 실패”로 명명할 수 있다. In contrast, the
나아가, 본 발명에서는, 인증 대상 얼굴에 대응되는 사용자에게 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한이 있는 경우에 한하여, 사용자 인증을 성공으로 처리할 수 있다. 예를 들어, 사용자 인증의 대상이 되는 이벤트 또는 기능이, 특정 공간으로의 출입을 허용하기 위한 스피드게이트의 제어인 경우, 서버(200)는 인증 대상 사용자가, 해당 특정 공간에 출입할 권한이 존재하는 경우에 한하여, 사용자 인증을 성공으로 처리할 수 있다.Furthermore, in the present invention, user authentication can be successfully processed only when the user corresponding to the face to be authenticated has authority for an event or function subject to user authentication. For example, when an event or function subject to user authentication is control of a speed gate to allow access to a specific space, the
서버(200)에 포함된 제어부(230)는 사용자 DB(221)에서 인증 대상 얼굴과 대응되는 참조 얼굴 이미지에 매칭된 인물이 검색되면, 검색된 인물에 매칭된 사용자 정보를 사용자 DB(221)로부터 추출할 수 있다.The
인증 대상 사용자의 권한에 대한 정보(또는 권한 정보)는 사용자 DB(221)에 저장된 인증 대상 사용자의 사용자 정보에 포함되어 존재할 수 있다.Information on the authority of the user to be authenticated (or authority information) may be included in user information of the user to be authenticated stored in the
여기에서, 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한이라 함은, 다양한 의미로 해석될 수 있다. 예를 들어, 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한은 i) 인증 대상 얼굴에 대응되는 사용자(이하, 인증 대상 사용자)가 사용자 인증의 대상이 되는 이벤트 또는 기능을 제공받을 권한을 갖고 있는지, ii) 인증 대상 사용자가 사용자 인증의 대상이 되는 이벤트 또는 기능에 접근할 권한을 갖고 있는지, iii) 인증 대상 사용자가 특정 장소에 출입할 권한을 갖고 있는지, iv) 인증 대상 사용자가 특정 전자장치를 제어할 권한을 갖고 있는지 등과 같이, 인증 대상 사용자가 임의의 기능, 장치 또는 장소와 관련하여 접근할 수 있는 권한을 갖고 있는지에 대한 정보일 수 있다.Here, the authority for an event or function subject to user authentication may be interpreted in various ways. For example, the authority for an event or function subject to user authentication depends on whether i) the user corresponding to the face to be authenticated (hereinafter referred to as the user to be authenticated) has the authority to receive the event or function subject to user authentication , ii) whether the user subject to authentication has the right to access the event or function subject to user authentication, iii) whether the user subject to authentication has the right to access a specific place, iv) whether the user subject to authentication has the right to use a specific electronic device It may be information about whether the user to be authenticated has permission to access any function, device, or location, such as whether or not the user has authority to control.
예를 들어, 사용자 인증의 대상이 되는 이벤트 또는 기능이 도 4의 (a)에 도시된 것과 같이, 인증 대상 사용자가 특정 장소에 출입할 수 있도록 출입 게이트를 열람 상태로 제어하는 기능인 경우, 서버(200)의 제어부(230)는 인증 대상 사용자의 사용자 정보에 근거하여, 인증 대상 사용자가 특정 장소(예를 들어, 건물)에 대해 출입할 권한이 존재하는지를 판단할 수 있다.For example, if the event or function subject to user authentication is a function of controlling an access gate in a viewing state so that a user to be authenticated can enter a specific place, as shown in (a) of FIG. 4, the server ( The
서버(200)에 포함된 제어부(230)는 사용자 DB(221)로부터 추출된 사용자 정보에 근거하여, 인증 대상 얼굴에 대응되는 사용자에게 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한이 존재하는지를 판단할 수 있다. The
서버(200)에 포함된 제어부(230)는 인증 대상 얼굴에 대응되는 사용자에게 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한이 존재하면, 사용자 인증을 완료하고 사용자 인증을 성공하였다고 판단할 수 있다. The
이와 달리, 서버(200)에 포함된 제어부(230)는 인증 대상 얼굴과 대응되는 참조 얼굴 이미지에 매칭된 인물이 검색되더라도, 인증 대상 얼굴에 대응되는 사용자에게 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 권한이 없다고 판단되면, 사용자 인증이 실패된 것으로 판단할 수 있다. In contrast, the
한편, 서버(200)는 인증 대상 얼굴에 대한 사용자 인증 결과를 시스템(100)로 전송할 수 있다. 이 때, 사용자 인증이 성공한 경우, 서버(200)는 인증 대상 얼굴에 대응되는 사용자 정보(예를 들어, 이름, 근무 부서 등) 및 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 제어 명령 중 적어도 하나를 시스템(100)로 전송할 수 있다. Meanwhile, the
나아가, 서버(200)는 사용자 인증이 성공한 경우, 인증 대상 얼굴에 대응되는 사용자 정보(예를 들어, 이름, 근무 부서 등)는 시스템(100)로 전송하고, 사용자 인증의 대상이 되는 이벤트 또는 기능에 대한 제어 명령은 사용자 인증의 대상이 되는 이벤트 또는 기능과 관련된 장치(예를 들어, 출입 통제 게이트, 20)로 전송할 수 있다. Furthermore, when user authentication is successful, the
한편, 본 발명에서는 서버(200)로부터 수신된 인증 대상 얼굴에 대한 사용자 인증 결과에 근거하여, 인증 대상 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 과정이 진행될 수 있다. Meanwhile, in the present invention, based on the user authentication result for the face to be authenticated received from the
시스템(100)의 제어부(160)는, 사용자 인증 결과에 근거하여, 서로 다른 제어를 수행할 수 있다. The
보다 구체적으로, 제어부(160)는 인증 대상 얼굴에 대한 사용자 인증에 대한 성공 및 실패에 근거하여, 인증 대상 사용자에 대해 서로 다른 정보가 제공되도록, 디스플레이부(140) 및 음향 출력부(150) 중 적어도 하나를 제어할 수 있다. More specifically, the
인증 대상 얼굴에 대한 사용자 인증에 대한 성공한 경우, 제어부(160)는 디스플레이부(140) 및 음향 출력부(150) 중 적어도 하나를 통해 인증 대상 사용자에게 사용자 인증 성공 대응되는 정보를 제공할 수 있다. 이 때, 제어부(160)는 인증 대상 얼굴에 대응되는 사용자 정보를 이용하여, 인증 대상 사용자의 맞춤형 정보를 제공할 수 있다. When user authentication for the face to be authenticated succeeds, the
일 예로, 도 8의 (a) 및 (b)에 도시된 것과 같이, 제1 얼굴(2000a) 및 제2 얼굴(2000b)에 대한 사용자 인증에 대해 성공한 경우, 제어부(160)는 제1 얼굴(2000a) 및 제2 얼굴(2000b)에 대응되는 사용자의 이름과 함께 사용자 인증 성공에 대응되는 정보(예를 들어, “Welcome, User 1 님을 환영합니다”, 810, 820)가 디스플레이부(140) 상에 시각적으로 출력되도록 디스플레이부(140)를 제어할 수 있다. 나아가, 제어부(160)는 사용자 인증 성공에 대응되는 정보가 음향 출력부(150)를 통해 청각적으로 출력되도록 음향 출력부(150)를 제어할 수 있다. As an example, as shown in (a) and (b) of FIG. 8 , when user authentication for the
다른 예로, 도 8의 (c)에 도시된 것과 같이, 제3 얼굴(2000c)에 대한 사용자 인증에 대해 실패한 경우, 제어부(160)는 사용자 인증 실패에 대응되는 정보(예를 들어, 예를 들어, “Oops! 사용자 등록을 해주세요”, 830)가 디스플레이부(140) 상에 시각적으로 출력되도록 디스플레이부(140)를 제어할 수 있다. 나아가, 제어부(160)는 사용자 인증 성공에 대응되는 정보가 음향 출력부(150)를 통해 청각적으로 출력되도록 음향 출력부(150)를 제어할 수 있다. As another example, as shown in (c) of FIG. 8 , when user authentication for the
나아가, 제어부(160)는 인증 대상 얼굴에 대한 사용자 인증에 대한 성공 및 실패에 근거하여, 사용자 인증의 대상이 되는 이벤트 또는 기능이 실행되도록 이벤트 또는 기능과 관련된 제어를 수행할 수 있다. Furthermore, the
앞서 살펴본, 도 4의 (a)에 도시된 것과 같이, 사용자 인증의 대상이 되는 이벤트 또는 기능이 인증 대상 사용자가 특정 장소에 출입하거나 출입하지 못하도록, 출입 통제 게이트(20)를 제어하는 것인 경우, 서버(200)로부터 수신되는 사용자 인증 결과에 따라, 제어부(160)는 출입 통제 게이트(20)가 열람 상태 및 닫힘 상태 중 어느 하나의 상태를 갖도록, 출입 통제 게이트(20)를 제어할 수 있다. As described above, as shown in (a) of FIG. 4, when the event or function subject to user authentication is to control the
보다 구체적으로, 제어부(160)는 인증 대상 얼굴에 대한 사용자 인증이 성공하는 경우, 인증 대상 얼굴에 대응되는 사용자가 출입 통제 게이트(20)를 통과하도록, 기 설정된 시간 동안 출입 통제 게이트(20)가 열림 상태를 갖도록 제어할 수 있다. 나아가, 제어부(160)는 기 설정된 시간이 경과된 후에는 출입 통제 기능이 수행되도록, 출입 통제 게이트(20)가 닫힘 상태를 갖도록 제어할 수 있다. More specifically, the
이와 달리, 제어부(160)는 인증 대상 얼굴에 대한 사용자 인증이 실패하는 경우, 인증 대상 얼굴에 대응되는 사용자가 출입 통제 게이트(20)를 통과하지 못하도록, 출입 통제 게이트(20)가 닫힘 상태를 갖도록 제어할 수 있다. In contrast, when user authentication for the face to be authenticated fails, the
한편, 출입 통제 게이트(20)는 서버(200)로부터 수신되는 제어 명령에 근거하여, 열림 상태 또는 닫힘 상태가 제어될 수 있다. 서버(200)는 사용자 인증의 결과를, 시스템(100) 뿐만 아니라, 출입 통제 게이트(20)에도 전달할 수 있다. 출입 통제 게이트(20)는 서버(200)로부터 수신되는 사용자 인증 결과에 기반하여, 열림 상태가 제어될 수 있다.Meanwhile, an open state or a closed state of the
이처럼, 본 발명에서는 기 설정된 얼굴 조건을 만족하는 얼굴에 대해서 사용자 인증을 수행함으로써, 사용자 인증에 소모되는 데이터 처리를 효율적으로 관리할 수 있다. As such, in the present invention, by performing user authentication on a face that satisfies a preset face condition, data processing consumed for user authentication can be efficiently managed.
한편, 본 발명에서는, 기 설정된 얼굴 조건을 만족하는 인증 대상 얼굴에 대해서 사용자 인증을 수행하기 전에, 인증 대상 얼굴에 대응되는 사용자가 진정으로 사용자 인증을 수행하고 싶어하는지에 대한 사용자 인증 의도를 파악함으로써, 해당 사용자가 사용자 인증 의도가 있는 경우에 한하여, 사용자 인증을 수행할 수 있다. 이하에서는, 사용자의 인증 의도를 파악하는 방법에 대해서 구체적으로 설명하도록 한다. On the other hand, in the present invention, before user authentication is performed on a face to be authenticated that satisfies a preset face condition, the user authentication intention of whether the user corresponding to the face to be authenticated truly wants to perform user authentication is determined. , user authentication can be performed only when the corresponding user has the intention of user authentication. Hereinafter, a method of determining the user's authentication intention will be described in detail.
본 발명에서는, 영상에서 인식되는 얼굴이 기 설정된 얼굴 조건을 만족하는 경우, 기 설정된 얼굴 조건을 만족하는 얼굴의 사용자가 사용자 인증을 수행하고자 하는 의도가 있는지를 판단할 수 있다. 그리고, 판단 결과에 근거하여, 사용자 인증을 선택적으로 수행할 수 있다. In the present invention, when a face recognized in an image satisfies a preset face condition, it may be determined whether a user whose face satisfies the preset face condition has an intention to perform user authentication. And, based on the determination result, user authentication may be selectively performed.
제어부(160)는 기 설정된 얼굴 조건을 만족하는 인증 대상 얼굴에 대응되는 사용자에게 인증 의도가 있다고 판단되면, 서버(200)로 인증 대상 얼굴에 대한 사용자 인증을 요청할 수 있다. When it is determined that a user corresponding to a face to be authenticated that satisfies a preset face condition has an authentication intent, the
이와 달리, 본 발명에서는 영상에서 인식되는 얼굴이 기 설정된 얼굴 조건을 만족하지 않거나, 기 설정된 얼굴 조건을 만족하더라도, 얼굴에 대응되는 사용자가 사용자 인증 의도가 없는 것으로 판단되면, 서버(200)에 대해 인식된 얼굴에 대한 사용자 인증을 요청하지 않을 수 있다. In contrast, in the present invention, if a face recognized in an image does not satisfy a preset face condition or if it is determined that the user corresponding to the face does not have the user authentication intention even if the face meets the preset face condition, the
제어부(160)는 인증 대상 얼굴이 아닌 얼굴이나, 인증 대상 얼굴에 대응되는 사용자에게 사용자 인증 의도가 없다고 판단되면(출입 게이트의 경우로 예를 들면, 게이트를 통과하고자 하는 의도가 아니라 그냥 지나가는 사용자이거나, 출입 게이트에서 나와서 걸어가는 사용자 등), 사용자 인증 서버(200)로 인증 대상 얼굴에 대한 사용자 인증 요청이 제한되도록 제어할 수 있다. When the
인증 대상 얼굴에 대응되는 사용자의 사용자 인증 판단은, 인증 대상 사용자와 관련되어 저장부(120)에 저장된 정보에 근거하여 이루어질 수 있다. User authentication of the user corresponding to the face to be authenticated may be determined based on information stored in the
여기에서, 인증 대상 사용자와 관련되어 저장부(120)에 저장된 정보는, 인증 대상 사용자의 얼굴이 포함된 영상 및 해당 영상에 포함된 인증 대상 사용자의 얼굴 정보 중 적어도 하나를 포함할 수 있다.Here, the information related to the user to be authenticated and stored in the
제어부(130)는 도 7a에 도시된 것과 같이, 현재 시점(t0)에 촬영된 영상(예를 들어, 제1 영상, 700) 및 현재 시점(t0)보다 이전 시점(과거 시점, tp1~tp3 등)에 촬영된 적어도 하나의 영상(710, 720, 730)에서 추출된 인증 대상 사용자의 얼굴 정보를 이용하여, 인증 대상 사용자의 의도를 판단할 수 있다. As shown in FIG. 7A , the
제어부(160)는, 저장부(120)에 인증 대상 얼굴(2000a)이 인식된 제1 영상 (700)이 획득된 시점(t0) 보다 이전 시점(tp1, tp2, tp3)에 획득된 제2 내지 제4 영상(710, 720, 730)에서 추출된 인증 대상 사용자의 특정 ID(USER 1)에 매칭된 얼굴 정보가 존재하는지를 확인할 수 있다. The
보다 구체적으로, 제어부(160)는 저장부(120)에 제1 영상(700)에서 인증 대상 얼굴에 할당된 ID와 동일한 ID에 매칭된 얼굴 정보가 존재하는지를 확인할 수 있다. More specifically, the
특정 ID에 매칭된 얼굴 정보는, 특정 ID가 할당된 얼굴(2000a)과 관련된 얼굴 정보로 이해될 수 있다. Face information matched with a specific ID may be understood as face information related to the
앞서 설명한 것과 같이, 얼굴 정보는, 영상에서 추출되는 특정 얼굴(또는 얼굴 이미지)와 관련된 다양한 정보일 수 있다. 예를 들어, 얼굴 정보는, i) 얼굴(얼굴 이미지)에 대한 위치 정보, ii) 얼굴에 대한 크기 정보(얼굴 이미지 또는 바운딩 박스에 대응되는 영역의 크기(또는 넓이)), iii) 얼굴에 대한 각도 정보, iv) 얼굴 특징 정보 중 적어도 하나를 포함할 수 있다. As described above, face information may be various information related to a specific face (or face image) extracted from an image. For example, face information includes i) positional information about a face (face image), ii) size information about a face (size (or width) of a region corresponding to a face image or bounding box), iii) information about a face It may include at least one of angle information and iv) facial feature information.
제어부(160)는 제1 영상(700)에서 인증 대상 얼굴(2000a)에 할당된 ID와 동일한 ID에 매칭된 얼굴 정보가 존재하면, 제1 영상(700)에서 추출된 인증 대상 얼굴(2000a)의 얼굴 정보 및 제1 영상(700) 보다 이전 시점에 촬영된 영상 (710, 720, 730)에서 추출된 인증 대상 얼굴(2000a)의 얼굴 정보에 근거하여, 인증 대상 얼굴(또는 바운딩 박스) 크기 및 위치 변화량을 산출할 수 있다. If there is face information matched to the same ID as the ID assigned to the face to be authenticated 2000a in the
여기에서, 인증 대상 얼굴의 크기 및 위치 변화량은, 인증 대상 얼굴이 인식된 복수의 영상(700, 710, 720, 730)들에서 인증 대상 얼굴에 대응되는 영역의 크기 및 인증 대상 얼굴에 대응되는 좌표의 변화 정도를 의미하는 것으로 이해될 수 있다. Here, the amount of change in the size and position of the face to be authenticated is determined by the size of a region corresponding to the face to be authenticated and coordinates corresponding to the face to be authenticated in the plurality of
일 예로, 도 7a에서 현재 시점(t0)에서 획득된 제1 영상(700)에서의 인증 대상 얼굴(2000a)의 크기가, 제1 과거 시점(tp1)에 획득된 제2 영상 영상(710)에서의 인증 대상 얼굴(2000a)의 크기보다 상대적으로 커진 경우(영역의 넓이가 증가한 경우), 각 영상에서의 인증 대상 얼굴(2000a)의 크기 차이(또는 넓이 차이)가 곧, 인증 대상 얼굴의 크기 변화량일 수 있다. For example, in FIG. 7A , the size of the face to be authenticated 2000a in the
다른 예로, 도 7b에서 현재 시점(t0)에서 획득된 제1 영상(700)에서의 인증 대상 얼굴(2000a)의 위치(픽셀 좌표)와, 제1 과거 시점(tp1)에 획득된 제2 영상(710)에서의 인증 대상 얼굴(2000a)의 위치(픽셀 좌표)의 차이가 곧, 인증 대상 얼굴의 위치 변화량일 수 있다. 또한 각 영상 촬영 시점간의 차이와 크기 변화를 이용하여 사용자가 시스템으로 접근하거나 이동하는 속도 등도 계산할 수 있다.As another example, in FIG. 7B , the position (pixel coordinates) of the face to be authenticated 2000a in the
이처럼, 제어부(160)는 얼굴 정보에 근거하여 인증 대상 얼굴의 크기 및 위치 변화량 중 적어도 하나를 산출하고, 산출된 변화량에 근거하여, 인증 대상 얼굴에 대응되는 사용자의 사용자 인증 의도를 판단할 수 있다.As such, the
제어부(160)는 산출된 변화량에 근거하여, 인증 대상 얼굴에 대응되는 사용자가 시스템(100) 또는 출입 통제 게이트(20)로 접근하였다고 판단되면, 인증 대상 얼굴에 대응되는 사용자가 사용자 인증 의도를 가지고 있다고 판단할 수 있다. When it is determined that the user corresponding to the face to be authenticated has approached the
구체적으로, 제어부(160)는 인증 대상 얼굴의 크기가 시간의 순서에 따라 증가하는 경우, 인증 대상 얼굴에 대응되는 사용자가 사용자 인증 의도를 가지고 시스템(100) 또는 카메라(111)로 접근한다고 판단할 수 있다. Specifically, when the size of the face to be authenticated increases in order of time, the
예를 들어, 도 4(a)에 도시된 것과 같이, 복수의 사용자(1000a, 1000b, 1000c)가 사용자 인증을 위해 시스템(100)앞에 줄 서 있는 경우를 가정하자. 사용자 인증 의도를 가지고 있는 사용자는 시스템(100) 또는 출입 통제 게이트(20)로부터 상대적으로 먼 위치에서 점차적으로 시스템(100) 또는 카메라(111)와 가까운 위치로 이동할 수 있다. For example, as shown in FIG. 4(a), assume a case where a plurality of
나아가, 도 7a에 도시된 것과 같이, 제어부(160)는 현재 및 과거 시점의 인증 대상 얼굴(2000a)에 대한 얼굴 정보로부터 산출된 얼굴 크기 변화량에 근거하여, 인증 대상 얼굴(2000a)이, 제4 영상(730), 제3 영상(720), 제2 영상(710) 및 제1 영상(700)에서 시간의 순서에 따라 크기가 증가하였다고 판단되면, 인증 대상 얼굴(2000a)에 대응되는 사용자가 사용자 인증 의도를 가지고 시스템(100) 또는 카메라(111)로 접근한다고 판단할 수 있다. Furthermore, as shown in FIG. 7A , the
한편, 제어부(160)는 산출된 위치 변화량에 근거하여, 인증 대상 얼굴에 대응되는 사용자의 얼굴이 특정 영역(예를 들어, 중앙 지점에서 일정 반경 이내 영역, 도 7b의 도면부호 710 참조)으로 위치 이동하였다고 판단되는 경우, 인증 대상 얼굴에 대응되는 사용자가 사용자 인증 의도를 가지고 있다고 판단할 수 있다. On the other hand, the
구체적으로, 제어부(160)는 인증 대상 얼굴의 위치가 시간의 순서에 따라 특정 영역(예를 들어, 영상의 중앙 영역)으로 이동하는 경우, 인증 대상 얼굴에 대응되는 사용자가 사용자 인증 의도를 가지고 시스템(100) 또는 출입 통제 게이트(20)로 접근한다고 판단할 수 있다. Specifically, when the location of the face to be authenticated moves to a specific area (eg, the central area of the image) in chronological order, the
예를 들어, 사용자 인증 의도를 가지고 있는 사용자는, 도 7b에 도시된 것과 같이, 자신의 얼굴이 영상의 특정 영역(예를 들어, 영상의 중앙 지점(740)에서 일정 반경 이내)에 위치하도록 자세 및 얼굴의 위치를 변경할 수 있다. For example, as shown in FIG. 7B , a user having an intention to authenticate a user has a posture such that his/her face is located in a specific region of an image (eg, within a certain radius from the
이 경우, 도 7b에 도시된 것과 같이, 제어부(160)는 현재 및 과거 시점의 인증 대상 얼굴(2000a)에 대한 얼굴 정보로부터 산출된 얼굴 위치 변화량에 근거하여, 인증 대상 얼굴(2000a)이, 제4 영상(730), 제3 영상(720), 제2 영상(710) 및 제1 영상 (700)에서와 같이, 시간의 순서에 따라 특정 지점(740)으로 이동하였다고 판단되면, 인증 대상 얼굴(2000a)에 대응되는 사용자가 사용자 인증 의도를 가지고 시스템(100) 또는 출입 통제 게이트(20)에 자신의 얼굴을 위치시켰다고 판단할 수 있다. In this case, as shown in FIG. 7B , the
이처럼, 본 발명에서는 타겟 영상이 획득된 시점보다 이전 시점에 획득된 적어도 하나의 다른 영상으로부터 추출된 인증 대상 얼굴의 얼굴 정보를 이용하여, 인증 대상 얼굴에 대응되는 사용자가 사용자 인증 의도를 가지고 있는지를 판단할 수 있다. As such, in the present invention, using face information of a face to be authenticated extracted from at least one other image obtained at a point in time prior to the point in time at which the target image is acquired, it is determined whether the user corresponding to the face to be authenticated has an intention for user authentication. can judge
이를 통해, 본 발명에서는 기 설정된 얼굴 조건을 만족하는 얼굴이 인식되더라도, 사용자 인증 의도가 있는 사용자의 얼굴에 대해서만 사용자 인증을 수행함으로써, 사용자 인증 의도가 없는 사용자의 얼굴로 사용자 인증이 수행되는 오(誤)인식을 해결하고, 사용자 인증 수단의 정확성 및 신뢰성을 향상시킬 수 있다. Through this, in the present invention, even if a face that satisfies a preset face condition is recognized, user authentication is performed only on the face of the user with the intention of user authentication, so that user authentication is performed with the face of the user without the intention of user authentication (誤) Recognition can be solved, and the accuracy and reliability of user authentication means can be improved.
한편, 사용자 인증에 성공하였음에도 불구하고, 동일 사용자에 대해서 중복으로 사용자 인증이 처리되는 경우가 존재할 수 있다. Meanwhile, there may be cases in which user authentication is repeatedly processed for the same user even though user authentication is successful.
예를 들어, 도 9의 (a)에 도시된 것과 같이, 특정 사용자(USER 7)가 사용자 인증에 성공하여 출입 통제 게이트(20)가 열림 상태로 제어되었음에도 불구하고, 특정 사용자(USER 7)가 출입 통제 게이트(20)를 통과하지 않고 그대로 서있는 경우, 카메라(111)는 인증 성공 사용자의 얼굴(900)이 포함된 영상(910)을 도 9의 (b)에 도시된 것과 같이 다시 획득할 수 있다. For example, as shown in (a) of FIG. 9 , even though a specific user (USER 7) succeeds in user authentication and the
이 경우, 서버(200)에서는, 시스템(100)으로부터 수신된 정보에 근거하여, 특정 ID를 갖는 사용자(USER 7)에 대한 사용자 인증을 다시 수행할 수 있으며, 사용자 인증 결과는 시스템(100)으로 전달될 수 있다.In this case, the
이 경우, 제어부(160)는, 특정 ID를 갖는 얼굴에 대한 사용자 인증 결과 따라, 출입 통제 게이트(20)에 대한 제어가 수행된 이후, 서버(200)로부터 특정 ID를 갖는 얼굴에 대한 사용자 인증 결과가 추가로 수신된 경우, 추가로 수신된 사용자 인증 결과에 따른 제어를 제한할 수 있다. In this case, the
제어부(160)는 특정 ID(USER 7)를 갖는 얼굴에 대해 사용자 인증이 성공한 이후, 도 9의 (b)에 도시된 것과 같이, 기 설정된 시간 이내에 동일 사용자에 대한 사용자 인증이 다시 성공한 경우, 인증 성공 얼굴(900)에 대한 사용자 인증이 재 성공하더라도, 사용자 인증 성공에 대응되는 기능이 수행되지 않도록 제어할 수 있다. After successful user authentication for a face with a specific ID (USER 7), the
예를 들어, 도 9의 (a) 도시된 것과 같이, 제1 시점(t0)으로부터 기 설정된 시간 내인 제2 시점(t1)에 획득된 영상(910)에 근거하여, 특정 ID(USER 7)를 갖는 얼굴(910)에 대한 재 인증에 성공하더라도, 제어부(160)는 도 6의 (b)에 도시된 것과 같이, 사용자 인증 성공에 대응되는 정보(예를 들어, “Welcome, User 7 님을 환영합니다”, 920)가 디스플레이부(140)에 출력되지 않도록 디스플레이부(140)를 제어할 수 있다. For example, as shown in (a) of FIG. 9 , a specific ID (USER 7) is generated based on the
나아가, 제어부(160)는 기 설정된 시간이 경과한 이후에 인증 성공 얼굴(910)에 대한 사용자 인증이 재 성공하면, 사용자 인증 성공에 대응되는 타겟 기능이 재 수행되도록 제어할 수 있다. Furthermore, if user authentication for the authentication
예를 들어, 인증 성공 사용자가 출입 통제 게이트(20) 외부로 나간 후 다시 출입 통제 게이트(20)를 통과해야 하는 경우를 가정하자. 도 9의 (a) 및 (c)에 도시된 것과 같이, 제1 시점(t0)으로부터 기 설정된 시간 이후인 제3 시점(t2)에 획득된 영상(920)에 근거하여, 특정 ID(USER 7)를 갖는 얼굴(910)에 대한 재 인증에 성공하면, 제어부(160)는 사용자 인증 성공에 대응되는 정보(예를 들어, “Welcome, User 7 님을 환영합니다! 두번째 인증이시네요”, 930)가 디스플레이부(140)에 출력 되고, 출입 통제 게이트(20)가 다시 열림 상태로 동작하도록 제어할 수 있다. 이때 출입 통제 게이트(20)의 제어는, 앞서 설명한 것과 같이, 서버(200)에서 직접적으로 이루어질 수 있음은 물론이다.For example, assume a case where a user who has successfully authenticated goes out of the
한편, 본 발명에서는 복수의 사용자가 순차적으로 사용자 인증을 수행하는 경우, 복수의 사용자에 대한 사용자 인증 결과에 근거하여 수행되는 타겟 기능이, 끊김 없이 매끄럽고 원활하게 물 흐르듯이 진행되도록 제어할 수 있다. Meanwhile, in the present invention, when a plurality of users sequentially perform user authentication, the target function performed based on the user authentication result for the plurality of users can be controlled to proceed smoothly and smoothly without interruption.
이처럼, 본 발명에서는 복수의 사용자에 대한 사용자 인증 및 반복적으로 수행되는 타겟 기능으로 인해 발생되는 시간의 텀(term)을 줄여, 사용자가 사용자 인증으로 인해 겪는 번거로움을 해소할 수 있다. As such, in the present invention, the user authentication for a plurality of users and the term of time caused by the target function that is repeatedly performed can be reduced, thereby solving the user's inconvenience caused by user authentication.
이하에서는 본 발명에서 복수의 사용자가 순차적으로 특정 공간에 진입하기 위하여, 출입 통제 게이트(20)가 열림 상태로 동작되도록 사용자 인증을 수행하는 경우를 예를 들어, 설명하도록 한다. Hereinafter, a case in which user authentication is performed so that the
예를 들어, 도 10의 (a)에 도시된 것과 같이, 제1 사용자(1000a)와 출입 통제 게이트(20) 사이의 거리(a)가 매우 가까운 경우, 제1 사용자(1000a)가 출입 통제 게이트(20)의 앞까지 이동하는 시간보다, 제1 사용자(1000a)에 대한 사용자 인증이 수행되고 출입 통제 게이트가 열림 상태로 동작할 때 까지 소요되는 시간이 더 길 수 있다. 이러한 경우, 제1 사용자(1000a)는 사용자 인증을 시도하기 위해 1차적으로 정지하고, 출입 통제 게이트(20)가 열림 상태로 동작할 때까지 2차적으로 기다려야 하는 번거로움이 있다. For example, as shown in (a) of FIG. 10 , when the distance (a) between the
본 발명에서는 사용자가 사용자 인증 수행이 완료되면, 출입 통제 게이트(20)가 열림 상태로 동작하도록 기다리는 시간이 없이, 사용자가 곧바로 출입 통제 게이트(20)를 통과할 수 있도록 하기 위하여, 사용자와 시스템(단말기, 카메라 또는 출입 통제 게이트(20))간에 확보되어야 하는 기준 거리에 근거하여, 기 설정된 얼굴 조건을 판단할 수 있다.이때, 기 설정된 얼굴 조건은, 영상에 포함된 사용자의 얼굴 크기와 관련된 조건을 포함할 수 있다. 서버(200)에서의 사용자 인증 처리 시간, 사용자 인증 결과에 따른 출입 통제 게이트(20)의 제어 시간 및 사용자의 이동 시간을 고려하여, 영상에서 얼굴이 차지하는 얼굴 크기에 대한 조건이 설정될 수 있다. In the present invention, when the user completes user authentication, the user and the system ( Based on the reference distance to be secured between the terminal, the camera, or the
제어부(130)는 영상에 포함된 얼굴의 크기가 기 설정된 얼굴 크기 조건보다 큰 경우, 영상에 포함된 얼굴의 크기가, 기 설정된 얼굴 크기 조건을 만족한다고 판단할 수 있다. 이때의 기 설정된 얼굴 크기 조건은, 사용자와 출입 통제 게이트(20)간의 거리와 관련될 것으로서, 이때의 거리는, 사용자가 출입 통제 게이트(20)에 도달하기 전에, 사용자 인증 및 출입 통제 게이트(20)의 열람상태 제어가 모두 이루어지기에 충분한 시간이 확보될 수 있는 거리를 의미할 수 있다.When the size of the face included in the image is larger than the preset face size condition, the
이처럼, 본 발명에서는, 사용자가 특정 공간에 출입하기 위하여 사용자 인증을 수행하는 경우, 사용자가 사용자 인증을 위해 별도의 기다림 없이 특정 공간에 출입할 수 있도록, 사용자에게 요구하는 최소 기준 거리를 설정할 수 있다. As such, in the present invention, when a user performs user authentication to enter and exit a specific space, a minimum standard distance required for the user can be set so that the user can enter and exit the specific space without waiting for user authentication. .
이하에서는, 복수의 사용자가 보다 편리하고 원활하게 출입 통제 게이트(20)를 통과하는 방법에 대해 설명하도록 한다. Hereinafter, a method for a plurality of users to more conveniently and smoothly pass through the
본 발명에서는, 복수의 사용자의 얼굴에 대한 사용자 인증이 연속적으로 성공하는 경우, 복수의 사용자가 모두 통과할 때까지, 출입 통제 게이트(20)가 열림 상태로 유지되도록 출입 통제 게이트(20)를 제어함으로써, 출입 통제 게이트(20)가 열림 상태 및 닫힘 상태를 반복하도록 동작하는 시간 및 불필요한 에너지를 절약할 수 있다. In the present invention, when user authentication for the faces of a plurality of users is successively successful, the
도 11에 도시된 것과 같이, 제어부(160)는, 카메라 (111)에서 획득된 영상(1110, 1120, 1130)으로부터 복수의 얼굴들(2000a, 2000b, 2000c)이 인식되고, 서버(200)에서 수행된 사용자 인증 결과, 복수의 얼굴들(2000a, 2000b, 2000c) 각각에 대한 사용자 인증이 모두 성공한 경우, 출입 통제 게이트(20)가 복수의 얼굴들 각각에 대응되는 복수의 사용자가 모두 통과할 때(t0 시점부터 t2시점)까지, 열림 상태를 갖도록 제어할 수 있다. As shown in FIG. 11 , the
여기에서, 영상에서 인식된 복수의 얼굴들(2000a, 2000b, 2000c)은, 앞서 설명한 기 설정된 얼굴 조건을 만족하는 얼굴로 이해될 수 있다. Here, the plurality of
이때, 복수의 얼굴들(2000a, 2000b, 2000c)에 따른 사용자들은, 사용자 인증 의도를 갖는 사용자들일 수 있으며, 제어부(130)는 앞서 살펴본 방식으로, 현재 시점 및 과거 시점에 촬영된 영상들에 근거하여, 복수의 사용자들 각각에 대한 의도를 판단할 수 있다.In this case, the users according to the plurality of
이처럼, 본 발명에서는 영상에서 인식된 복수의 얼굴들(2000a, 2000b, 2000c) 각각에 대한 사용자 인증이 모두 성공한 경우, 출입 통제 게이트(20)가 복수의 얼굴들 각각에 대응되는 복수의 사용자가 모두 통과할 때(t0 시점부터 t2시점)까지, 열림 상태를 갖도록 제어할 수 있다. As such, in the present invention, when user authentication for each of the plurality of
따라서, 본 발명에서는 사용자가 출입 통제 게이트(20)를 통과할 때 마다, 출입 통제 게이트(20)가 열림 상태 및 닫힘 상태를 반복하면서 소요되는 시간을 절감하여, 사용자가 사용자 인증이 완료되면 곧바로 출입 통제 게이트(20)를 통과하도록 할 수 있다. Therefore, in the present invention, whenever the user passes through the
나아가, 본 발명에서는 출입 통제 게이트(20)가 반복적으로 열림 상태 및 닫힘 상태로 동작함으로써 소요되는 에너지를 절약할 수 있다. Furthermore, in the present invention, energy required can be saved by repeatedly operating the
한편, 도 12의 (a)에 도시된 것과 같이, 특정 공간(1)에는 서로 다른 복수의 출입 통제 게이트(20a, 20b)가 존재할 수 있다. 본 발명의 시스템(100)은, 복수의 출입 통제 게이트(20a, 20b)과 관련된 서로 다른 카메라(111a, 111b)에서 획득된 영상을 이용하여 복수의 출입 통제 게이트(20a, 20b) 각각에 대한 사용자 인증을 개별적으로 수행할 수 있다. Meanwhile, as shown in (a) of FIG. 12 , a plurality of different
예를 들어, 본 발명에 따른 시스템(100)은, 제1 카메라(111a)에서 획득된 영상(1210)을 이용하여 제1 출입 통제 게이트(20a)에 대한 사용자 인증을 수행하고, 제2 카메라(111b)에서 획득된 영상(1220)을 이용하여 제2 출입 통제 게이트(20b)에 대한 사용자 인증을 수행할 수 있다. For example, the
한편, 제1 출입 통제 게이트(20a) 및 제2 출입 통제 게이트(20b) 주변에는, 각각의 출입 통제 게이트를 통과하려고 하는 복수의 사용자들이 위치할 수 있다. Meanwhile, around the first
제1 출입 통제 게이트(20a) 또는 제1 카메라(111a) 앞에는, 제1 출입 통제 게이트(20a)를 통과하려고 하는, 제1 사용자 내지 제3 사용자(1000a, 1000b, 1000c)가 순서대로 줄을 서 있을 수 있다. In front of the first
나아가, 제2출입 통제 게이트(20b) 또는 제2 카메라(111b) 주변에는, 제2출입 통제 게이트(20b)를 통과하려고 하는, 제4 사용자 내지 제5 사용자(1000d, 1000e)가 순서대로 줄을 서 있을 수 있다. Further, around the second
본 발명에서는, 제1 카메라(111a)에서 촬영된 영상(1210) 및 제2 카메라(111b)에서 촬영된 영상(1220)에서 모두 인식된 특정 사용자에 대한 사용자 인증이 중복해서 이루어지지 않도록 제어할 수 있다. In the present invention, user authentication for a specific user recognized in both the
보다 구체적으로, 사용자 인증 서버(200)는, 복수의 출입 통제 게이트 중 제1 출입 통제 게이트(20a)에 대한 출입을 위하여 특정 ID를 갖는 인증 대상 얼굴에 대한 제1 사용자 인증 요청이 이루어진 이후, 기 설정된 시간 이내에, 제2 출입 통제 게이트(20b)에 대한 출입을 위하여 상기 특정 ID를 갖는 인증 대상 얼굴에 대한 제2 사용자 인증 요청이 이루어진 경우, 제2 사용자 인증 요청에 따른 사용자 인증은 이루어지지 않도록 제어할 수 있다. More specifically, the
도 12의 (a)에 도시된 것과 같이, 제1 출입 게이트(20a)를 통과하기 위하여, 제1 사용자(1000a)는, 제1 출입 게이트(20a)와 관련된 제1 카메라(111a)를 통해 사용자 인증을 시도할 수 있다. As shown in (a) of FIG. 12 , in order to pass through the
이 경우, 도 12의 (b) 및 (c)에 도시된 것과 같이, 제1 사용자(100a)의 제1 얼굴(2000a)은, 제1 카메라(111a)에서 촬영된 영상(1210) 및 제2 카메라(111b)에서 촬영된 영상(1220)에 모두 포함될 수 있다. In this case, as shown in (b) and (c) of FIG. 12 , the
제어부(160)는 제1 카메라(111a)에서 촬영된 영상(1210) 및 제2 카메라(1111b)에서 촬영된 영상(1220)에서 인식된 제1 얼굴(2000a)이 모두 기 설정된 얼굴 조건을 만족하면, 사용자 인증 서버(200)로 사용자 인증 요청이 중복해서 수행할 수 있다. The
즉, 서버(200)는, 시스템(100)으로부터, 제1 카메라(111a)에서 촬영된 영상(1210)에서 인식된 제1 얼굴(2000a)에 대한 제1 사용자 인증 요청 및 제2 카메라(111b)에서 촬영된 영상(1220)에서 인식된 제1 얼굴(2000a)에 대한 제2 사용자 인증 요청을 수신할 수 있다. That is, the
도 13에 도시된 것과 같이, 서버(200)는, 서로 다른 출입 통제 게이트(20a, 20b)에 대한 출입을 위해 기 설정된 시간 내에 동일한 제1 얼굴(2000a)에 대한 제1 사용자 인증 요청 및 제2 사용자 인증 요청이 있으면, 먼저 요청된 제1 사용자 인증 요청을 처리하고 난 후에는 제2 사용자 인증 요청에 대해서는 사용자 인증을 수행하지 않을 수 있다. As shown in FIG. 13 , the
나아가, 서버(200)는 시스템(100)으로, 제2 사용자 인증 요청에 대한, 사용자 인증 결과를 전송하지 않거나 사용자 인증이 수행되지 않았음(또는 제1 사용자 인증 요청과 중복됨)을 알리는 정보를 전송할 수 있다. Furthermore, the
제어부(160)는, 제2 출입 게이트(20)와 관련된 제2 사용자 인증 요청에 근거하여, 서버(200)로부터, 사용자 인증 결과를 수신하지 않거나 사용자 인증이 수행되지 않았음(또는 제1 사용자 인증 요청과 중복됨)을 알리는 정보를 수신하면, 사용자 인증 결과에 따른 제어가 수행되지 않도록 제어할 수 있다. Based on the second user authentication request related to the
일 예로, 도 13에 도시된 것과 같이, 서버(200)가 t0시점에 제1 카메라(111a)에서 촬영된 영상(1210)에서 인식된 제1 얼굴(2000a)에 대한 제1 사용자 인증을 수행하면, 시스템(100)은, 제1 카메라(111a)와 관련된 제1 출입 통제 게이트(20a)의 동작을 제어하고, 제1 카메라(111a)와 관련된 제1 디스플레이부(140a)에 사용자 인증 결과 또는 타겟 기능 수행과 관련된 안내 정보가 출력되도록 제어할 수 있다. For example, as shown in FIG. 13 , when the
다른 예로, 도 13에 도시된 것과 같이, t1시점에 제2 카메라(111b)에서 촬영된 영상(1220)에서 인식된 제1 얼굴(2000a)에 대한 제2 사용자 인증 요청을 수신하면, 서버(200)는 기 설정된 시간 내에 동일한 제1 얼굴(2000a)에 대한 제1 사용자 인증 요청이 있었던 것에 근거하여, 제2 사용자 인증에 대한 사용자 인증을 수행하지 않을 수 있다. 이때, 제1 사용자에 대한 사용자 인증을 실패로 처리될 수 있다.As another example, as shown in FIG. 13 , upon receiving the second user authentication request for the
이처럼, 본 발명에서는, 복수의 출입 통제 게이트(20a, 20b)과 관련된 서로 다른 카메라(111a, 111b)에서 획득된 영상에서 동일한 얼굴이 인식되더라도, 중복 인식된 사용자에 대한 사용자 인증을 중복 처리하지 않음으로써, 사용자가 위치한 출입 통제 게이트에 대한 동작만만 정확하게 처리할 수 있다. As such, in the present invention, even if the same face is recognized in images acquired from
위에서 살펴본 것과 같이, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어방법은, 얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하고, 기 설정된 얼굴 인식 알고리즘에 근거하여, 영상으로부터 얼굴을 인식할 수 있다. 이와 같이, 본 발명은 사용자로부터 직접적인 입력을 받지 않더라도, 사용자가 단말기 주변에 위치하는 것에 근거하여, 사용자의 얼굴을 정확하고 신속하게 인식할 수 있다. 따라서, 사용자는 단말기 주변에 위치함으로써, 자신의 얼굴을 단말기에 보다 편리하고 직관적으로 전달할 수 있다. As described above, the face recognition system and its control method according to the present invention acquires an image using a camera provided in a terminal that performs face recognition, and detects a face from the image based on a preset face recognition algorithm. Recognizable. As such, the present invention can accurately and quickly recognize a user's face based on the location of the user around the terminal even without receiving a direct input from the user. Accordingly, the user can more conveniently and intuitively transfer his/her face to the terminal by being located near the terminal.
나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 영상에서 인식된 얼굴이, 사용자 인증을 수행하기에 적절한지를 판단할 수 있다. 즉, 본 발명에서는 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크함으로써, 사용자 인증에 적합하지 않은 얼굴이 인식된 경우에는, 사용자 인증을 수행하지 않음으로써, 데이터 처리의 효율을 도모할 수 있다. Furthermore, the face recognition system and method for controlling the face recognition system according to the present invention may determine whether a face recognized in an image is suitable for performing user authentication. That is, in the present invention, by checking whether a face recognized in an image satisfies a preset face condition, when a face unsuitable for user authentication is recognized, user authentication is not performed, thereby improving data processing efficiency. there is.
나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 기 설정된 얼굴 조건을 만족하는 사용자에 한하여 사용자 인증을 수행함으로써, 단말기 주변에 복수의 사용자가 있는 경우에도, 사용자 인증을 시도하는 사용자의 얼굴을 정확하게 인식하여 사용자에 대한 인증을 수행할 수 있다. Furthermore, the face recognition system and method for controlling the same according to the present invention perform user authentication only for users who satisfy a preset face condition, so that even when there are a plurality of users around the terminal, the user's face attempting user authentication is performed. can be accurately recognized to perform user authentication.
나아가, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 영상에서 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지에 근거하여, 기 설정된 서버로 인식된 얼굴에 대한 사용자 인증을 요청할 수 있다. 이와 같이, 본 발명에 따른 얼굴 인식 시스템 및 이의 제어 방법은, 진정으로 사용자 인증을 원하는 사용자의 얼굴에 대해 사용자 인증을 수행함으로써, 사용자 인증을 시도하지 않은 사용자나, 사용자 인증을 시도하는 사용자의 주변에 있는 다른 사용자에 대해 사용자 인증이 수행되는 오류를 감소시켜, 사용자 인증 결과에 대한 정확성 및 신뢰성을 향상시킬 수 있다. Furthermore, the face recognition system and method for controlling the face recognition system according to the present invention may request user authentication for a face recognized by a preset server based on whether a face recognized in an image satisfies a preset face condition. As described above, the face recognition system and method for controlling the face recognition system according to the present invention perform user authentication on the face of a user who truly wants user authentication, so that the user who has not attempted user authentication or the user's surroundings who have attempted user authentication It is possible to improve the accuracy and reliability of user authentication results by reducing errors in which user authentication is performed for other users in .
한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. On the other hand, the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. there is
나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 단말기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.Furthermore, the computer-readable medium may be a server or cloud storage that includes a storage and can be accessed by a terminal through communication. In this case, the computer may download the program according to the present invention from a server or cloud storage through wired or wireless communication.
나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 단말기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.Furthermore, in the present invention, the above-described computer is a processor, that is, a terminal equipped with a CPU (Central Processing Unit), and no special limitation is placed on its type.
한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.On the other hand, the above detailed description should not be construed as limiting in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
Claims (16)
얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하는 단계;
기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하는 단계;
상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 단계;
상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하는 단계; 및
상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.A control method of a face recognition system that performs control based on a face recognition result,
Obtaining an image using a camera provided in a terminal that performs a face recognition function;
Recognizing a face from the image based on a preset face recognition algorithm;
checking whether the recognized face in the image satisfies a preset face condition;
requesting user authentication for the recognized face to a preset server to perform user authentication for the recognized face based on a result of the check; and
and performing a control according to a user authentication result for the recognized face based on a user authentication result for the recognized face received from the server.
상기 기 설정된 얼굴 조건은,
상기 영상에서 상기 인식된 얼굴이 포함된 위치, 상기 영상에서 상기 인식된 얼굴이 차지하는 영역의 크기 및 상기 영상에서 상기 인식된 얼굴의 각도 중 적어도 하나와 관련되고,
상기 사용자 인증을 요청하는 단계에서는,
상기 인식된 얼굴이 상기 기 설정된 얼굴 조건을 만족하는 것에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 요청하는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.
According to claim 1,
The preset face condition is,
It is related to at least one of a position including the recognized face in the image, a size of an area occupied by the recognized face in the image, and an angle of the recognized face in the image,
In the step of requesting user authentication,
and requesting user authentication for the recognized face based on the fact that the recognized face satisfies the preset face condition.
상기 얼굴을 인식하는 단계에서는,
상기 인식된 얼굴에 대해 상기 인식된 얼굴을 특정하기 위한 특정 ID(Identification)가 할당되고,
상기 영상으로부터 상기 특정 ID가 할당된 상기 인식된 얼굴에 대한 위치 정보, 크기 정보 및 각도 정보 중 적어도 하나를 포함하는 얼굴 정보를 추출하며,
상기 추출된 얼굴 정보는, 상기 인식된 얼굴에 할당된 상기 특정 ID와 매칭되어 저장부에 저장되는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 2,
In the step of recognizing the face,
A specific ID (Identification) for specifying the recognized face is assigned to the recognized face,
Extracting face information including at least one of location information, size information, and angle information for the recognized face to which the specific ID is assigned from the image;
The control method of the face recognition system, characterized in that the extracted face information is matched with the specific ID assigned to the recognized face and stored in a storage unit.
상기 저장부에, 상기 영상이 획득된 시점보다 이전 시점에 획득된 적어도 하나의 다른 영상으로부터 추출된 상기 특정 ID에 매칭된 얼굴 정보가 존재하는 경우, 상기 영상 및 상기 다른 영상으로부터 추출된 얼굴 정보를 이용하여, 상기 인식된 얼굴에 대응되는 사용자의 사용자 인증 의도를 판단하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 3,
If face information matched to the specific ID extracted from at least one other image obtained at a point in time prior to the point in time at which the image was acquired exists in the storage unit, face information extracted from the image and the other image is stored. and determining user authentication intention of the user corresponding to the recognized face by using the face recognition system.
상기 사용자 인증을 요청하는 단계에서는,
상기 인식된 얼굴이 상기 기 설정된 얼굴 조건을 만족하고, 상기 사용자가 상기 사용자 인증 의도가 있는 것으로 판단된 경우, 상기 서버에 대해 상기 인식된 얼굴에 대한 사용자 인증을 요청하고,
상기 인식된 얼굴이 상기 기 설정된 얼굴 조건을 만족하더라도, 상기 사용자가 상기 사용자 인증 의도가 없는 것으로 판단된 경우, 상기 서버에 대해 상기 인식된 얼굴에 대한 사용자 인증을 요청하지 않는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 4,
In the step of requesting user authentication,
When the recognized face satisfies the preset face condition and it is determined that the user has the user authentication intention, requesting user authentication for the recognized face to the server;
Even if the recognized face satisfies the preset face condition, if it is determined that the user does not have the user authentication intention, the server is not requested for user authentication on the recognized face. How to control the system.
상기 사용자 인증 의도를 판단하는 단계에서는,
상기 영상 및 상기 다른 영상으로부터 추출된 얼굴 정보에 근거하여, 상기 영상 및 상기 다른 영상에서 상기 특정 ID에 해당하는 얼굴의 크기 및 위치 변화량을 산출하고,
상기 변화량에 근거하여, 상기 사용자의 사용자 인증 의도를 판단하는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.
According to claim 4,
In the step of determining the user authentication intention,
Based on the face information extracted from the image and the other image, calculating the size and position change of the face corresponding to the specific ID in the image and the other image,
Based on the amount of change, the control method of the face recognition system, characterized in that for determining the user authentication intention of the user.
상기 체크하는 단계에서는,
상기 영상으로부터 복수의 얼굴들이 인식되는 경우, 인식된 복수의 얼굴들 각각에 대하여 상기 기 설정된 얼굴 조건을 만족하는지 체크하고,
상기 복수의 얼굴들 중 상기 기 설정된 얼굴 조건을 만족하는 얼굴을 특정하며,
상기 사용자 인증을 요청하는 단계에서는,
상기 서버로, 상기 특정된 얼굴에 대한 사용자 인증을 요청하는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 2,
In the checking step,
When a plurality of faces are recognized from the image, checking whether the predetermined face condition is satisfied for each of the plurality of recognized faces;
Specifying a face that satisfies the preset face condition among the plurality of faces,
In the step of requesting user authentication,
A control method of a face recognition system, characterized in that requesting user authentication for the specified face to the server.
상기 특정된 얼굴은,
상기 영상에서 상기 복수의 얼굴들 각각이 차지하는 얼굴 영역들 중, 기 설정된 크기 이상을 갖는 얼굴 영역에 포함된 얼굴이며,
상기 영상에서 상기 기 설정된 크기 이상을 갖는 얼굴 영역이 복수인 경우,
상기 사용자 인증은, 복수의 얼굴 영역 중 가장 큰 얼굴 영역에 포함된 얼굴에 대해 이루어지는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 7,
The specified face,
A face included in a face region having a predetermined size or more among face regions occupied by each of the plurality of faces in the image,
When there are a plurality of face regions having a predetermined size or more in the image,
The control method of a face recognition system, characterized in that the user authentication is performed on a face included in the largest face region among a plurality of face regions.
상기 체크에 따른 결과, 상기 복수의 얼굴들 중 상기 기 설정된 얼굴 조건을 만족하는 얼굴이 존재하지 않는 경우,
상기 서버에 대하여, 상기 영상에 근거한 사용자 인증 요청은 이루어지지 않는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 7,
As a result of the check, when there is no face among the plurality of faces that satisfies the preset face condition,
To the server, a user authentication request based on the image is not made.
상기 사용자 인증 결과에 따른 제어를 수행하는 단계에서는, 열림 상태 및 닫힘 상태 중 어느 하나의 상태를 갖는 출입 통제 게이트에 대한 제어가 수행되고,
상기 출입 통제 게이트는,
상기 인식된 얼굴에 대한 사용자 인증이 성공하는 경우, 상기 인식된 얼굴에 대응되는 사용자가 상기 출입 통제 게이트를 통과하도록, 기 설정된 시간 동안 열림 상태를 갖도록 제어되고,
상기 기 설정된 시간이 경과된 후에는 출입 통제 기능이 수행되도록 닫힘 상태를 갖는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 3,
In the step of performing control according to the user authentication result, control is performed on the access control gate having any one of an open state and a closed state,
The access control gate,
When user authentication for the recognized face is successful, the user corresponding to the recognized face is controlled to have an open state for a predetermined time to pass through the access control gate;
A control method of a face recognition system, characterized in that having a closed state so that the access control function is performed after the predetermined time has elapsed.
상기 영상으로부터 복수의 얼굴들이 인식되고,
상기 서버에서 수행된 사용자 인증 결과, 상기 복수의 얼굴들 각각에 대한 사용자 인증이 성공한 경우,
상기 출입 통제 게이트는,
상기 복수의 얼굴들 각각에 대응되는 복수의 사용자가 모두 통과할 때까지, 열림 상태를 갖도록 제어되는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.
According to claim 10,
A plurality of faces are recognized from the image,
As a result of user authentication performed by the server, when user authentication for each of the plurality of faces is successful,
The access control gate,
The control method of the face recognition system, characterized in that controlled to have an open state until a plurality of users corresponding to each of the plurality of faces pass through.
특정 공간에 대한 출입을 통제하기 위하여, 상기 특정 공간에 서로 다른 복수의 출입 통제 게이트가 존재하는 상태에서,
상기 서버로 상기 복수의 출입 통제 게이트 중 제1 출입 통제 게이트에 대한 출입을 위하여 상기 특정 ID를 갖는 상기 인식된 얼굴에 대한 제1 사용자 인증 요청이 이루어진 이후,
기 설정된 시간 이내에, 상기 복수의 출입 통제 게이트 중 제2 출입 통제 게이트에 대한 출입을 위하여 상기 특정 ID를 갖는 상기 인식된 얼굴에 대한 제2 사용자 인증 요청이 이루어진 경우,
상기 서버에서, 상기 제2 사용자 인증 요청에 따른 사용자 인증은 이루어지지 않는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 10,
In order to control access to a specific space, in a state where a plurality of different access control gates exist in the specific space,
After a first user authentication request for the recognized face having the specific ID is made to the server for access to a first access control gate among the plurality of access control gates,
Within a predetermined time, when a second user authentication request is made for the recognized face having the specific ID for access to a second access control gate among the plurality of access control gates,
In the server, user authentication according to the second user authentication request is not performed.
상기 제어를 수행하는 단계에서는,
상기 특정 ID를 갖는 얼굴에 대한 사용자 인증 결과 따라, 상기 출입 통제 게이트에 대한 제어가 수행된 이후,
상기 서버로부터 상기 특정 ID를 갖는 얼굴에 대한 사용자 인증 결과가 추가로 수신된 경우, 상기 출입 통제 게이트에서는, 추가로 수신된 사용자 인증 결과에 따른 제어가 제한되는 것을 특징으로 하는 얼굴 인식 시스템의 제어 방법.According to claim 10,
In the step of performing the control,
After the access control gate is controlled according to the user authentication result for the face having the specific ID,
When a user authentication result for the face with the specific ID is additionally received from the server, the control of the access control gate according to the user authentication result additionally received is limited. .
상기 획득된 영상을 저장하는 저장부; 및
기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하고, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 제어부를 포함하고,
상기 제어부는,
상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하고,
상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 것을 특징으로 하는 얼굴 인식 시스템.a camera unit that acquires an image;
a storage unit for storing the obtained image; and
Based on a preset face recognition algorithm, a controller for recognizing a face from the image and checking whether the recognized face in the image satisfies a preset face condition,
The control unit,
Based on the result of the check, in order to perform user authentication for the recognized face, request user authentication for the recognized face to a preset server;
and performing control according to a user authentication result for the recognized face based on a user authentication result for the recognized face received from the server.
상기 획득된 영상을 저장하는 저장부; 및
기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하고, 상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 제어부;
상기 인식된 얼굴이 상기 기 설정된 얼굴 조건을 만족하는 경우, 상기 인식된 얼굴에 대한 사용자 인증을 수행하는 서버를 포함하고,
상기 제어부는,
상기 서버에서 수행된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 것을 특징으로 하는 얼굴 인식 시스템.
a camera unit that acquires an image;
a storage unit for storing the obtained image; and
a controller that recognizes a face from the image based on a preset face recognition algorithm and checks whether the recognized face in the image satisfies a preset face condition;
When the recognized face satisfies the preset face condition, a server performing user authentication on the recognized face;
The control unit,
The face recognition system, characterized in that performing control according to the user authentication result for the recognized face based on the user authentication result for the recognized face performed in the server.
상기 프로그램은,
얼굴 인식 기능을 수행하는 단말기에 구비된 카메라를 이용하여 영상을 획득하는 단계;
기 설정된 얼굴 인식 알고리즘에 근거하여, 상기 영상으로부터 얼굴을 인식하는 단계;
상기 영상에서 상기 인식된 얼굴이 기 설정된 얼굴 조건을 만족하는지 체크하는 단계;
상기 체크에 따른 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증을 수행하기 위하여, 기 설정된 서버로 상기 인식된 얼굴에 대한 사용자 인증을 요청하는 단계; 및
상기 서버로부터 수신된 상기 인식된 얼굴에 대한 사용자 인증 결과에 근거하여, 상기 인식된 얼굴에 대한 사용자 인증 결과에 따른 제어를 수행하는 단계를 수행하도록 하는 명령어들을 포함하는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램.
A program that is executed by one or more processes in an electronic device and stored in a computer-readable recording medium,
said program,
Obtaining an image using a camera provided in a terminal performing a face recognition function;
Recognizing a face from the image based on a preset face recognition algorithm;
checking whether the recognized face in the image satisfies a preset face condition;
requesting user authentication for the recognized face to a preset server to perform user authentication for the recognized face based on a result of the check; and
Based on the user authentication result for the recognized face received from the server, performing a control according to the user authentication result for the recognized face. A program stored on a recordable medium.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210162281A KR20230075770A (en) | 2021-11-23 | 2021-11-23 | Face recognition system and method for controlling the same |
JP2022186939A JP2023076819A (en) | 2021-11-23 | 2022-11-22 | Face recognition system and face recognition system control method |
TW111144769A TWI831482B (en) | 2021-11-23 | 2022-11-23 | Face recognition system, method for controlling the same, and computer program for executing the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210162281A KR20230075770A (en) | 2021-11-23 | 2021-11-23 | Face recognition system and method for controlling the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230075770A true KR20230075770A (en) | 2023-05-31 |
Family
ID=86543659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210162281A KR20230075770A (en) | 2021-11-23 | 2021-11-23 | Face recognition system and method for controlling the same |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023076819A (en) |
KR (1) | KR20230075770A (en) |
TW (1) | TWI831482B (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844202A (en) * | 2015-01-12 | 2016-08-10 | 芋头科技(杭州)有限公司 | Image recognition system and method |
US20210287469A1 (en) * | 2020-03-11 | 2021-09-16 | Alcatraz AI, Inc. | System and method for provisioning a facial recognition-based system for controlling access to a building |
CN111882679A (en) * | 2020-07-06 | 2020-11-03 | 北京万相融通科技股份有限公司 | Ticket checking system and method for subway entrance and exit passage |
CN113192239A (en) * | 2021-03-12 | 2021-07-30 | 广州朗国电子科技有限公司 | Face recognition-based antitheft door lock recognition method, antitheft door lock and medium |
-
2021
- 2021-11-23 KR KR1020210162281A patent/KR20230075770A/en not_active Application Discontinuation
-
2022
- 2022-11-22 JP JP2022186939A patent/JP2023076819A/en active Pending
- 2022-11-23 TW TW111144769A patent/TWI831482B/en active
Also Published As
Publication number | Publication date |
---|---|
TWI831482B (en) | 2024-02-01 |
TW202321981A (en) | 2023-06-01 |
JP2023076819A (en) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10127439B2 (en) | Object recognition method and apparatus | |
US9607138B1 (en) | User authentication and verification through video analysis | |
JP4760049B2 (en) | Face authentication device, face authentication method, electronic device incorporating the face authentication device, and recording medium recording the face authentication program | |
US10579783B1 (en) | Identity authentication verification | |
CN102054165A (en) | Image processing apparatus and image processing method | |
US10970953B2 (en) | Face authentication based smart access control system | |
WO2020230340A1 (en) | Facial recognition system, facial recognition method, and facial recognition program | |
WO2021220423A1 (en) | Authentication device, authentication system, authentication method, and authentication program | |
KR20170123950A (en) | Access Control Method and System using Face Recognition | |
JP4899552B2 (en) | Authentication device, authentication method, authentication program, and computer-readable recording medium recording the same | |
KR101596363B1 (en) | Access Control Apparatus and Method by Facial Recognition | |
Mun et al. | Design for visitor authentication based on face recognition technology Using CCTV | |
JP2010086403A (en) | Facial recognition device, facial recognition method, and passage controller | |
CN110892412B (en) | Face recognition system, face recognition method, and face recognition program | |
KR102629007B1 (en) | Method and ststem for user authentication | |
JP6947202B2 (en) | Matching system | |
KR20230075770A (en) | Face recognition system and method for controlling the same | |
KR102632212B1 (en) | Electronic device for managnign vehicle information using face recognition and method for operating the same | |
KR20230094062A (en) | Face recognition system and method for controlling the same | |
US20230274597A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US20220335766A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2022164310A (en) | Information processing device and information processing method | |
KR102578583B1 (en) | Electronic device for using face recognition and method for operating the same | |
AU2024201525B2 (en) | Gate system, gate apparatus, image processing method therefor, program, and arrangement method for gate apparatus | |
JP2001331804A (en) | Device and method for detecting image area |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |