KR102629007B1 - Method and ststem for user authentication - Google Patents
Method and ststem for user authentication Download PDFInfo
- Publication number
- KR102629007B1 KR102629007B1 KR1020220161377A KR20220161377A KR102629007B1 KR 102629007 B1 KR102629007 B1 KR 102629007B1 KR 1020220161377 A KR1020220161377 A KR 1020220161377A KR 20220161377 A KR20220161377 A KR 20220161377A KR 102629007 B1 KR102629007 B1 KR 102629007B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- target
- user authentication
- face image
- gesture
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000006870 function Effects 0.000 claims description 90
- 230000008569 process Effects 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 16
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims 3
- 238000004891 communication Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 241000287116 Paridae Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000015115 caffè latte Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Social Psychology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 사용자를 인증하는 방법 및 시스템에 관한 것이다. 위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 사용자 인증 방법은, 카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계, 사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 단계 및 상기 사용자 정보를 이용하여, 상기 타겟 유저에 대한 사용자 인증을 수행하는 단계를 포함하고, 상기 사용자 인증을 수행하는 단계에서는, 상기 카메라를 통해 센싱되는 상기 타겟 유저의 제스처에 기반하여, 상기 사용자 인증을 완료할지 여부를 결정하는 것을 특징으로 한다.The present invention relates to a method and system for authenticating a user. In order to solve the problems described above, the user authentication method according to the present invention includes the steps of sensing a face image of a target user using a camera, extracting user information corresponding to the face image from a user DB, and identifying the user A step of performing user authentication for the target user using information, and in the step of performing the user authentication, whether to complete the user authentication based on a gesture of the target user sensed through the camera. It is characterized by determining whether or not.
Description
본 발명은 사용자를 인증하는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for authenticating a user.
기술이 발전함에 따라, 전자기기의 활용도가 높아지고 있으며, 특히, 전자기기는 다양한 상황에서 사용자를 인증하는 수단으로서 활용되고 있다. As technology develops, the utilization of electronic devices is increasing, and in particular, electronic devices are being used as a means of authenticating users in various situations.
예를 들어, 컨퍼런스에서의 참석자 확인, 병원에서의 환자 내원 확인, 카페에서의 결제를 위한 사용자 확인과 같이, 다양한 상황에서 진정한 사용자를 인증하기 위한 니즈가 있다. 이와 같이, 사용자에 대한 인증을 요구하는 상황에서 전자기기의 활용은, 불필요한 노동력을 줄이고, 나아가 사용자 인증 시간에 소모되었던 시간을 감소시키는 효과를 가져오고 있다.For example, there is a need to authenticate authentic users in a variety of situations, such as verifying attendees at a conference, verifying a patient's visit at a hospital, or verifying a user for payment at a cafe. In this way, the use of electronic devices in situations that require user authentication has the effect of reducing unnecessary labor and further reducing the time spent on user authentication.
전자기기를 활용한 사용자 인증 방식은 다양하며, 예를 들어, 사용자가 직접 자신을 식별하기 위한 식별 정보(예를 들어, 전화번호, 메일주소 등) 또는 생체 정보 (예를 들어, 지문 정보 등)를 전자기기에 입력함으로써, 인증이 이루어지는 방식이 존재할 수 있다.There are various user authentication methods using electronic devices, for example, identification information (e.g., phone number, email address, etc.) or biometric information (e.g., fingerprint information, etc.) for the user to directly identify themselves. There may be a method in which authentication is performed by inputting into an electronic device.
최근에는, 사용자가 전자기기에 정보를 직접적으로 인가하는 행위 없이도, 보다 편리하고 직관적으로 사용자 인증을 수행할 수 있는 방법에 대한 활발한 연구가 진행되고 있다. Recently, active research is being conducted on methods to perform user authentication more conveniently and intuitively without the user directly authorizing information to an electronic device.
본 발명은, 사용자의 의도를 파악하여, 보다 직관적으로 사용자 인증을 수행할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다. The present invention is intended to provide a user authentication method and system that can perform user authentication more intuitively by identifying the user's intent.
나아가, 본 발명은, 사용자의 직접적인 정보 입력 없이도, 사용자에 대한 인증을 수행할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.Furthermore, the present invention is intended to provide a user authentication method and system that can authenticate a user without direct input of information by the user.
더 나아가, 본 발명은, 사용자 인증을 수행할지에 대한 사용자의 진정한 의도를 파악하여 사용자 인증을 완료할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.Furthermore, the present invention is intended to provide a user authentication method and system that can complete user authentication by determining the user's true intention to perform user authentication.
위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 사용자 인증 방법은, 카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계, 사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 단계 및 상기 사용자 정보를 이용하여, 상기 타겟 유저에 대한 사용자 인증을 수행하는 단계를 포함하고, 상기 사용자 인증을 수행하는 단계에서는, 상기 카메라를 통해 센싱되는 상기 타겟 유저의 제스처에 기반하여, 상기 사용자 인증을 완료할지 여부를 결정하는 것을 특징으로 한다.In order to solve the problems described above, the user authentication method according to the present invention includes the steps of sensing a face image of a target user using a camera, extracting user information corresponding to the face image from a user DB, and identifying the user A step of performing user authentication for the target user using information, and in the step of performing the user authentication, whether to complete the user authentication based on a gesture of the target user sensed through the camera. It is characterized by determining whether or not.
나아가, 본 발명에 따른 사용자 인증 시스템은, 디스플레이부, 타겟 유저의 얼굴 이미지를 센싱하는 카메라부 및 사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 제어부를 포함하고, 상기 제어부는, 상기 사용자 정보를 이용하여, 상기 타겟 유저에 대한 사용자 인증을 수행하고, 상기 카메라를 통해 센싱되는 상기 타겟 유저의 제스처에 기반하여, 상기 사용자 인증을 완료할지 여부를 결정하는 것을 특징으로 한다.Furthermore, the user authentication system according to the present invention includes a display unit, a camera unit for sensing the face image of the target user, and a control unit for extracting user information corresponding to the face image from a user DB, wherein the control unit detects the user It is characterized by performing user authentication for the target user using information and determining whether to complete the user authentication based on the target user's gesture sensed through the camera.
나아가, 본 발명에 따른 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램은, 카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계, 사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 단계 및 상기 사용자 정보를 이용하여, 상기 타겟 유저에 대한 사용자 인증을 수행하는 단계를 수행하도록 하는 명령어들을 포함하고, 상기 사용자 인증을 수행하는 단계에서는, 상기 카메라를 통해 센싱되는 상기 타겟 유저의 제스처에 기반하여, 상기 사용자 인증을 완료할지 여부를 결정하는 것을 특징으로 한다.Furthermore, a program that is executed by one or more processes in an electronic device according to the present invention and can be stored in a computer-readable medium includes the steps of: sensing a face image of a target user using a camera; Includes instructions for extracting user information corresponding to an image and performing user authentication for the target user using the user information, wherein performing the user authentication includes using the camera. It is characterized by determining whether to complete the user authentication based on the gesture of the target user sensed through the user.
위에서 살펴본 것과 같이, 본 발명에 따른 사용자 인증 방법 및 시스템은, 카메라를 이용하여 인증의 대상이 되는 사용자를 센싱하고, 센싱된 사용자의 얼굴 이미지를 이용하여, 센싱된 사용자에 대한 사용자 인증을 수행할 수 있다. 이와 같이, 본 발명은, 사용자로부터 직접적인 입력을 받지 않더라도, 사용자가 전자기기 주변에 위치하는 것에 근거하여, 사용자에 대한 인증을 수행할 수 있다. 따라서, 사용자는 전자기기 주변에 위치함으로써, 사용자 인증의 의사를 전자기기에 보다 편리하고 직관적으로 전달할 수 있다. As seen above, the user authentication method and system according to the present invention senses a user subject to authentication using a camera and performs user authentication for the sensed user using the sensed face image of the user. You can. In this way, the present invention can perform user authentication based on the user's location around the electronic device, even without receiving direct input from the user. Therefore, by being located near the electronic device, the user can more conveniently and intuitively convey the intention of user authentication to the electronic device.
나아가, 본 발명에 따른 사용자 인증 방법 및 시스템은, 센싱된 사용자의 얼굴 이미지 뿐만 아니라, 사용자의 제스처에 기반하여, 사용자 인증에 대한 사용자의 의도를 파악할 수 있다. 따라서, 본 발명에 따른 사용자 인증 방법 및 시스템은, 사용자의 제스처에 기반하여, 사용자 인증을 수행하고자 하는 사용자의 진위를 파악하여, 사용자의 의도에 따른 사용자 인증을 수행할 수 있다.Furthermore, the user authentication method and system according to the present invention can determine the user's intention for user authentication based on the user's gestures as well as the sensed face image of the user. Therefore, the user authentication method and system according to the present invention can perform user authentication according to the user's intention by determining the authenticity of the user who wishes to perform user authentication based on the user's gestures.
도 1은 본 발명에 따른 사용자 인증 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 3a, 도 3b, 도 4a 및 도 4b, 도 5, 도 6a, 도 6b, 도 6c, 도 7a 및 도 7b는 본 발명에 따른 사용자 인증 방법 및 시스템을 설명하기 위한 개념도들이다.1 is a conceptual diagram for explaining a user authentication system according to the present invention.
Figure 2 is a flowchart explaining the user authentication method according to the present invention.
FIGS. 3A, 3B, 4A and 4B, 5, 6A, 6B, 6C, 7A and 7B are conceptual diagrams for explaining the user authentication method and system according to the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the attached drawings. However, identical or similar components will be assigned the same reference numbers regardless of drawing symbols, and duplicate descriptions thereof will be omitted. The suffixes “module” and “part” for components used in the following description are given or used interchangeably only for the ease of preparing the specification, and do not have distinct meanings or roles in themselves. Additionally, in describing the embodiments disclosed in this specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed descriptions will be omitted. In addition, the attached drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical idea disclosed in this specification is not limited by the attached drawings, and all changes included in the spirit and technical scope of the present invention are not limited. , should be understood to include equivalents or substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms containing ordinal numbers, such as first, second, etc., may be used to describe various components, but the components are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly dictates otherwise.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.
본 발명은, 사용자의 의도를 파악하여, 보다 직관적으로 사용자 인증을 수행할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것으로서, 이하 첨부된 도면과 함께 본 발명에 대해 구체적으로 설명하기로 한다. 도 1은 본 발명에 따른 사용자 인증 시스템을 설명하기 위한 개념도이고, 도 2는 본 발명에 따른 사용자 인증 방법을 설명하기 위한 흐름도이다. 나아가, 도 3a, 도 3b, 도 4a 및 도 4b, 도 5, 도 6a, 도 6b, 도 6c, 도 7a 및 도 7b는 본 발명에 따른 사용자 인증 방법 및 시스템을 설명하기 위한 개념도들이다.The present invention is intended to provide a user authentication method and system that can identify the user's intention and perform user authentication more intuitively. The present invention will be described in detail below with the accompanying drawings. FIG. 1 is a conceptual diagram for explaining a user authentication system according to the present invention, and FIG. 2 is a flowchart for explaining a user authentication method according to the present invention. Furthermore, FIGS. 3A, 3B, 4A and 4B, 5, 6A, 6B, 6C, 7A and 7B are conceptual diagrams for explaining the user authentication method and system according to the present invention.
도 1에 도시된 것과 같이, 본 발명에 따른 사용자 인증 시스템(100)은, 통신부(110), 저장부(120) 및 제어부(130) 중 적어도 하나를 포함하도록 구성될 수 있다. 이때 본 발명에 따른 사용자 인증 시스템(100)은 상술한 구성 요소로 제한되는 것은 아니며, 본 명세서의 설명에 따른 기능과 동일 또는 유사한 역할을 수행하는 구성요소를 더 포함할 수 있다.As shown in FIG. 1, the user authentication system 100 according to the present invention may be configured to include at least one of a communication unit 110, a storage unit 120, and a control unit 130. At this time, the user authentication system 100 according to the present invention is not limited to the components described above, and may further include components that perform the same or similar roles as the functions described in the present specification.
한편, 본 발명에 따른 사용자 인증 시스템(100)은 전자기기(10)와 연동되어 동작할 수 있다. 여기서 전자기기(10)는, 스마트폰(smart phone), 휴대폰, 태블릿 PC, 키오스크(KIOSK), 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), 및 PMP(Portable Multimedia Player) 중 적어도 하나를 포함할 수 있다.Meanwhile, the user authentication system 100 according to the present invention can operate in conjunction with the electronic device 10. Here, the electronic device 10 is at least one of a smart phone, a mobile phone, a tablet PC, a kiosk, a computer, a laptop, a digital broadcasting terminal, a personal digital assistant (PDA), and a portable multimedia player (PMP). may include.
한편, 본 발명에 따른 사용자 인증 시스템(100)은, 애플리케이션 또는 소프트웨어로 구현될 수 있다. 이때, 사용자 인증 시스템(100)에 따른 애플리케이션 또는 소프트웨어는, 전자기기(10)에 설치되어, 이하에서 설명되는 사용자 인증 방법에 따른 프로세스를 수행할 수 있다.Meanwhile, the user authentication system 100 according to the present invention may be implemented as an application or software. At this time, an application or software according to the user authentication system 100 may be installed on the electronic device 10 and perform a process according to the user authentication method described below.
예를 들어, 본 발명에 따른 사용자 인증 시스템(100)의 통신부(110), 저장부(120) 및 제어부(130)는, 전자기기(10)의 하드웨어 구성을 활용하여, 사용자 인증을 위한 일련의 기능을 수행할 수 있다. 예를 들어, 통신부(110)는 전자기기(10)의 통신부에 구비된 통신 모듈(예를 들어, 이동통신 모듈, 근거리 통신 모듈, 무선 인터넷 모듈, 위치정보 모듈, 방송 수신 모듈 등)의 구성을 이용하여, 적어도 하나의 외부 서버(예를 들어, 도 1에 도시된 데이터베이스(database: DB) 서버(140) 또는 클라우드 서버 등)와 데이터를 송수신할 수 있다.For example, the communication unit 110, the storage unit 120, and the control unit 130 of the user authentication system 100 according to the present invention utilize the hardware configuration of the electronic device 10 to provide a series of functions for user authentication. It can perform its function. For example, the communication unit 110 configures the communication module (e.g., mobile communication module, short-range communication module, wireless Internet module, location information module, broadcast reception module, etc.) provided in the communication unit of the electronic device 10. Using this, data can be transmitted and received with at least one external server (for example, the database (DB) server 140 shown in FIG. 1 or a cloud server, etc.).
나아가 저장부(120)는 전자기기(10)에 구비된(또는 삽입된) 메모리 또는 클라우드 서버를 이용하여, 본 발명에 따른 사용자 인증과 관련된 데이터를 저장하도록 이루어질 수 있다.Furthermore, the storage unit 120 may be configured to store data related to user authentication according to the present invention using a memory provided in (or inserted into) the electronic device 10 or a cloud server.
제어부(130)는, 전자기기(10)에 구비된 CPU 및 클라우드 서버 중 적어도 하나를 활용하여, 각 구성에 대한 제어 및 본 발명과 관련된 전반적인 제어를 수행할 수 있다. 나아가, 제어부(130)는 본 발명을 수행하기 위하여, 전자기기(10)의 구성 중 적어도 하나에 대한 제어 권한을 가질 수 있다. 나아가, 제어부(130)는 전자기기(10)의 구성 요소에서 수신되거나, 센싱된 정보를 본 발명을 위하여 활용할 수 있다, 예를 들어, 제어부(130)는 전자기기(10)의 카메라(11)로부터 수신되는 영상을 이용하여, 본 발명에 따른 사용자 인증을 수행할 수 있다.The control unit 130 may utilize at least one of the CPU and the cloud server provided in the electronic device 10 to perform control of each component and overall control related to the present invention. Furthermore, the control unit 130 may have control authority over at least one component of the electronic device 10 in order to perform the present invention. Furthermore, the control unit 130 may utilize information received or sensed from components of the electronic device 10 for the present invention. For example, the control unit 130 may use the camera 11 of the electronic device 10. User authentication according to the present invention can be performed using images received from.
나아가, 제어부(130)는 전자기기(10)의 디스플레이부(12)를 이용하여, 본 발명과 관련된 정보를 출력하도록 이루어질 수 있다.Furthermore, the control unit 130 may output information related to the present invention using the display unit 12 of the electronic device 10.
이 외에도, 제어부(130)는 전자기기(10)에 구비된 다른 구성 요소(예를 들어, 근접 센서, 적외선 센서, 터치 스크린, 입력부 등)를 이용하여 본 발명에 따른 사용자 인증을 수행할 수 있다.In addition, the control unit 130 may perform user authentication according to the present invention using other components (e.g., proximity sensor, infrared sensor, touch screen, input unit, etc.) provided in the electronic device 10. .
한편, 본 발명에 따른 사용자 인증 시스템(100)은 프로그램 또는 어플리케이션의 형태로 존재하는 것 뿐만 아니라, 이하에서 설명되는 구성 및 기능의 수행이 가능한 다양한 형태로 존재할 수 있다.Meanwhile, the user authentication system 100 according to the present invention may exist not only in the form of a program or application, but also in various forms capable of performing the configuration and functions described below.
이에, 이하에서는, 이에 대한 엄격한 제한을 두지 않고, 본 발명에 따른 사용자 인증 시스템(100)에 대하여 설명하도록 한다. Accordingly, hereinafter, the user authentication system 100 according to the present invention will be described without placing strict limitations thereon.
도 1에 도시된 것과 같이, 본 발명에 따른 사용자 인증 시스템(100)은 전자기기(10)의 카메라(11)를 이용하여, 사용자를 센싱하고, 센싱된 사용자에 대한 사용자 인증을 수행하도록 이루어질 수 있다.As shown in FIG. 1, the user authentication system 100 according to the present invention can be configured to sense a user using the camera 11 of the electronic device 10 and perform user authentication for the sensed user. there is.
설명의 편의를 위하여, 본 발명에서는 사용자 인증의 대상이 되는 사용자를 “타겟 유저(target user, 1000)”라고 명명하기로 한다.For convenience of explanation, in the present invention, the user subject to user authentication is referred to as “target user (1000).”
한편, 본 발명에서, “사용자 인증”이란, 타겟 유저(1000)에 대한 사용자 인증(User Authentication)을 의미할 수 있다.Meanwhile, in the present invention, “user authentication” may mean user authentication for the target user 1000.
본 발명에서는, “사용자 인증”을 이용하여, “인증의 대상이 되는 이벤트 또는 기능(이하, “타겟 기능”으로 통일하여 설명함)”을 승인하거나, 실행할 수 있다.In the present invention, “user authentication” can be used to approve or execute “events or functions subject to authentication (hereinafter collectively described as “target functions”).”
여기에서, “타겟 기능”의 종류는 매우 다양할 수 있으며, 예를 들어, 결제 기능, 출석 확인 기능, 병원에서의 내원 확인 기능 등과 같이, 사용자 인증이 필요한 기능을 의미할 수 있다.Here, the types of “target functions” can be very diverse and, for example, may mean functions that require user authentication, such as payment functions, attendance confirmation functions, hospital visit confirmation functions, etc.
본 발명에서 제어부(130)는, 카메라(11)를 통해 수신되는 영상에서, 타겟 유저(1000)의 얼굴 이미지를 획득하고, 사용자 DB에 저장된 상기 얼굴 이미지에 대응되는 사용자 정보를 이용하여, 상기 타겟 유저(1000)에 대한 사용자 인증을 수행할 수 있다.In the present invention, the control unit 130 acquires a face image of the target user 1000 from the image received through the camera 11, and uses user information corresponding to the face image stored in the user DB to target the target user 1000. User authentication can be performed for user 1000.
이때, 상기 사용자 인증의 대상이 되는 타겟 기능은 기 특정되어 존재할 수 있다. 제어부(130)는, 상기 타겟 유저(1000)의 얼굴 이미지 및 상기 사용자 DB로부터 추출되는 사용자 정보를 이용하여, 타겟 기능에 대한 사용자 인증을 수행할 수 있다. 예를 들어, 타겟 기능이 출석 체크 기능인 경우, 제어부(130)는, 타겟 유저(1000)에 대한 출석 체크 승인 처리 또는 출석 체크 거절 처리 중 어느 하나를 수행할 수 있다.At this time, the target function that is the subject of user authentication may be pre-specified and exist. The control unit 130 may perform user authentication for the target function using the face image of the target user 1000 and user information extracted from the user DB. For example, when the target function is an attendance check function, the control unit 130 may perform either an attendance check approval process or an attendance check rejection process for the target user 1000.
또 다른 예로서, 타겟 기능이 결제 기능인 경우, 제어부(130)는, 타겟 유저(1000)에 대한 결제 승인 처리 또는 결제 거절 처리 중 어느 하나를 수행할 수 있다.As another example, when the target function is a payment function, the control unit 130 may perform either payment approval processing or payment rejection processing for the target user 1000.
이때, 제어부(130)는, 카메라(11)를 통해 수신된 영상에서, 타겟 유저(1000)의 얼굴 이미지를 추출하고, 사용자 DB로부터, 상기 추출된 얼굴 이미지와 대응되는(또는 매칭된) 사용자 정보를 추출할 수 있다.At this time, the control unit 130 extracts the face image of the target user 1000 from the image received through the camera 11 and user information corresponding to (or matched with) the extracted face image from the user DB. can be extracted.
여기에서, 사용자 DB는, “사용자와 관련된 정보”, “사용자의 신상정보” 또는 “사용자의 식별정보”라고도 명명될 수 있다.Here, the user DB may also be called “user-related information,” “user personal information,” or “user identification information.”
사용자 DB는, 저장부(120), 외부 데이터베이스(140) 및 클라우드 서버 중 적어도 하나에 포함될 수 있다.The user DB may be included in at least one of the storage unit 120, the external database 140, and the cloud server.
제어부(130)는, 사용자 DB로부터 타겟 유저(1000)의 얼굴 이미지와 대응되는 인물을 검색하고, 검색된 인물에 매칭된 사용자 정보를 추출할 수 있다.The control unit 130 may search for a person corresponding to the face image of the target user 1000 from the user DB and extract user information matched to the searched person.
사용자 DB에는 개별 인물(또는 사람) 단위로, 각각의 인물에 대한 사용자 정보가 저장될 수 있다. 즉, 사용자 DB에는, 서로 다른 인물 마다 각각에 대응되는 사용자 정보가 매칭되어 저장될 수 있다.In the user DB, user information for each person may be stored on an individual person (or person) basis. That is, in the user DB, user information corresponding to each different person can be matched and stored.
여기에서, 사용자 정보는, 각각의 인물에 해당하는 사람의 이름, 생년월일, 주소, 전화번호, 메일 주소, 계정 정보, 사번, ID, 얼굴 이미지, 생체 정보(지문 정보, 홍채 정보 등), 참조 얼굴 이미지, 전자기기의 식별 정보, 일정(스케줄)과 관련된 정보 중 적어도 하나를 포함할 수 있다.Here, user information includes the person's name, date of birth, address, phone number, email address, account information, employee number, ID, facial image, biometric information (fingerprint information, iris information, etc.), and reference face for each person. It may include at least one of an image, identification information of an electronic device, and information related to a schedule.
여기에서, 참조 얼굴 이미지는, 특정 인물에 대한 얼굴 이미지로서, 하나 또는 복수 일 수 있다. 본 발명에서, “참조 얼굴 이미지”는 “참조 데이터”로도 명명될 수 있다.Here, the reference face image is a face image for a specific person and may be one or more. In the present invention, “reference face image” may also be referred to as “reference data.”
제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다.The control unit 130 compares the face image of the target user acquired through the camera 11 with the reference face image stored in the user DB, and searches for a person who matches the reference face image corresponding to the face image of the target user. can do. Additionally, the control unit 130 may specify the searched person as the target user and extract user information matched to the searched person from the user DB.
그리고, 제어부(130)는 추출된 사용자 정보를 이용하여, 타겟 기능에 대한 사용자 인증을 수행할 수 있다.Additionally, the control unit 130 may perform user authentication for the target function using the extracted user information.
도 1에 도시된 것과 같이, 전자기기(10)는 임의의 장소에 배치될 수 있으며, 타겟 유저(1000)는 전자기기(10)에 주변에 위치하는 것 만으로도, 사용자 인증을 수행할 수 있다. 이때, 전자기기(10)가 배치된 장소에 따라, 사용자 인증의 대상이 되는 타겟 기능이 다양하게 설정될 수 있다.As shown in FIG. 1, the electronic device 10 can be placed in any location, and the target user 1000 can perform user authentication simply by being located near the electronic device 10. At this time, depending on the location where the electronic device 10 is placed, the target function subject to user authentication may be set in various ways.
예를 들어, 전자기기(10)가 배치된 장소가 카페인 경우, 타겟 기능은, 결제 기능으로 특정될 수 있다. 이 경우, 본 발명에 따른 사용자 인증 시스템(100)은 사용자 인증에 기반하여 결제 기능이 수행되도록 프로그래밍 될 수 있다.For example, if the place where the electronic device 10 is placed is a cafe, the target function may be specified as a payment function. In this case, the user authentication system 100 according to the present invention can be programmed to perform a payment function based on user authentication.
나아가, 전자기기(10)가 배치된 장소가 병원인 경우, 타겟 기능은, 병원에 내원한 고객(또는 환자)를 확인하는 기능으로 특정될 수 있다. 이 경우, 본 발명에 따른 사용자 인증 시스템(100)은 사용자 인증에 기반하여 내원 확인 기능이 수행되도록 프로그래밍 될 수 있다.Furthermore, when the place where the electronic device 10 is placed is a hospital, the target function may be specified as a function to check a customer (or patient) who has visited the hospital. In this case, the user authentication system 100 according to the present invention can be programmed to perform a visit confirmation function based on user authentication.
이하에서는, 흐름도와 함께 본 발명에 따른 사용자 인증 방법에 대하여 보다 구체적으로 살펴본다.Below, we will look at the user authentication method according to the present invention in more detail along with a flowchart.
먼저, 도 2에 도시된 것과 같이, 본 발명에 따른 사용자 인증 방법에 의하면, 카메라로부터 수신되는 영상에서 타겟 유저의 얼굴 이미지를 검출하는 과정이 진행될 수 있다(S210).First, as shown in FIG. 2, according to the user authentication method according to the present invention, a process of detecting the target user's face image from the image received from the camera can be performed (S210).
즉, 제어부(130)는, 전자기기(10)의 카메라(11, 도 1 참조)를 이용하여, 타겟 유저의 얼굴 이미지를 센싱할 수 있다.That is, the control unit 130 can sense the face image of the target user using the camera 11 (see FIG. 1) of the electronic device 10.
보다 구체적으로 도 3a의 (a)에 도시된 것과 같이, 제어부(130)는, 전자기기(10) 주변에 위치한 타겟 유저(1000)의 얼굴을, 카메라(11)를 통해 센싱할 수 있다. More specifically, as shown in (a) of FIG. 3A, the control unit 130 can sense the face of the target user 1000 located around the electronic device 10 through the camera 11.
제어부(130)는, 카메라(11)를 통해 수신되는 영상에서, 타겟 유저(1000)의 얼굴 이미지를 획득하고, 사용자 DB에 저장된 상기 얼굴 이미지에 대응되는 사용자 정보를 이용하여, 상기 타겟 유저(1000)에 대한 사용자 인증을 수행할 수 있다.The control unit 130 acquires a face image of the target user 1000 from the image received through the camera 11, and uses user information corresponding to the face image stored in the user DB to identify the target user 1000. ) can perform user authentication.
카메라(11)에 통해 타겟 유저(1000)의 얼굴 이미지가 센싱 또는 검출되는 시점은 매우 다양할 수 있다.The timing at which the face image of the target user 1000 is sensed or detected by the camera 11 may vary greatly.
예를 들어, 제어부(130)는 사용자 인증이 요구되는 타겟 기능(또는 특정 기능)이 활성화되거나, 타겟 기능이 실행되는 경우, 타겟 유저(1000)의 얼굴이 촬영될 수 있도록 카메라(11)를 제어할 수 있다. For example, when a target function (or specific function) requiring user authentication is activated or the target function is executed, the control unit 130 controls the camera 11 so that the face of the target user 1000 is captured. can do.
여기에서, 타겟 기능의 활성화 또는 실행은, 타겟 유저의 요청 또는 제3자의 요청에 근거하여 이루어지거나, 그밖에 제어부(130)의 제어 하에 이루어질 수 있다.Here, activation or execution of the target function may be performed based on the target user's request or a third party's request, or may be performed under the control of the control unit 130.
예를 들어, 사용자 인증이 요구되는 타겟 기능의 실행 또는 활성화에 대한 요청은, 도 3a의 (a)에 도시된 것과 같이, 전자기기(10)의 입력부를 통하여 수신될 수 있다. 타겟 유저(1000) 또는 제3 자는, 전자기기(10)의 입력부(예를 들어, 터치 스크린)를 통하여, 사용자 인증이 요구되는 특정 기능에 대한 활성화를 요청할 수 있다. 이때, 전자기기(10)의 터치 스크린에는, 도시와 같이, 타겟 기능을 활성화하기 위한 요청을 전자기기(10)에 대해 입력하는 방법에 대한 가이드 정보(예를 들어, “터치 하여 결제 시작”)가 출력될 수 있다. 타겟 유저 또는 제3 자는, 이러한 가이드 정보를 참조하여, 사용자 인증을 수행한 사용자 입력(예를 들어, 터치 스크린을 터치하는 입력)을 전자기기(10)에 인가할 수 있다.For example, a request for execution or activation of a target function requiring user authentication may be received through the input unit of the electronic device 10, as shown in (a) of FIG. 3A. The target user 1000 or a third party may request activation of a specific function requiring user authentication through an input unit (eg, touch screen) of the electronic device 10. At this time, on the touch screen of the electronic device 10, as shown, guide information on how to input a request to the electronic device 10 to activate the target function (e.g., “Touch to start payment”) can be output. The target user or a third party may refer to this guide information and apply a user input that has performed user authentication (for example, an input of touching the touch screen) to the electronic device 10.
이하에서는, 디스플레이부와 터치스크린의 용어를 구분하지 않고, 디스플레이부(12)로 통일하여 설명하도록 한다. 즉, 이하에서 설명되는 디스플레이부(12)는 터치 센서를 구비하도록 이루어질 수 있음은 물론이다.Hereinafter, the terms display unit and touch screen will not be differentiated, but will be collectively described as the display unit 12. That is, of course, the display unit 12 described below can be provided with a touch sensor.
한편, 제어부(130)는, 상기 전자기기(10)를 통하여, 활성화 요청이 수신되면, 카메라(11)를 통해 수신되는 영상에서 타겟 유저(1000)의 얼굴 이미지를 검출하고, 검출된 얼굴 이미지를 이용하여, 사용자 인증을 위한 일련의 프로세스를 진행할 수 있다.Meanwhile, when an activation request is received through the electronic device 10, the control unit 130 detects the face image of the target user 1000 from the image received through the camera 11 and stores the detected face image. Using this, you can proceed with a series of processes for user authentication.
이와 다르게, 제어부(130)는 도 4a의 (a) 및 (b)에 도시된 것과 같이, 전자기기(10) 주변에, 사람이 위치한 것이 감지되는 경우, 카메라(10)를 통해, 타겟 유저(1000)에 대한 영상이 수신되도록 카메라(10)를 제어할 수 있다. 이때, 제어부(130)는 전자기기(10)를 기준으로 기 설정된 범위(또는 거리)이내에, 타겟 유저(1000)가 위치한 경우, 타겟 유저(1000)의 얼굴 이미지가 검출되도록 카메라(10)를 제어할 수 있다. 제어부(130)는, 전자기기(10)에 구비된 적어도 하나의 센서(예를 들어, 근접 센서, 적외선 센서 또는 라이다 센서 등)를 이용하여, 전자기기(10) 주변에 또는 전자기기(10)를 기준으로 기 설정된 범위 내에 타겟 유저가 위치하는 것을 센싱(또는 감지)할 수 있다. Differently, as shown in (a) and (b) of FIG. 4A, when it detects that a person is located around the electronic device 10, the control unit 130 detects the target user ( The camera 10 can be controlled so that images for 1000) are received. At this time, when the target user 1000 is located within a preset range (or distance) based on the electronic device 10, the control unit 130 controls the camera 10 to detect the face image of the target user 1000. can do. The control unit 130 uses at least one sensor (for example, a proximity sensor, an infrared sensor, or a lidar sensor) provided in the electronic device 10 to operate around the electronic device 10 or to the electronic device 10. ), it is possible to sense (or sense) that the target user is located within a preset range.
한편, 제어부(130)는 도 4a의 (a)에 도시된 것과 같이, 상기 전자기기(10)의 기 설정된 범위 이내에, 타겟 유저(1000)가 위치하지 않는 경우, 전자기기(10)의 디스플레이부(12)가 비활성화되도록, 디스플레이부(12)를 제어할 수 있다. 비활성화 상태의 디스플레이부(12)는 전원이 오프된 상태, 대기상태 및 절전 상태 중 적어도 하나의 상태일 수 있다. Meanwhile, as shown in (a) of FIG. 4A, the control unit 130 controls the display unit of the electronic device 10 when the target user 1000 is not located within a preset range of the electronic device 10. The display unit 12 can be controlled so that 12 is deactivated. The display unit 12 in an inactive state may be in at least one of a power-off state, a standby state, and a power saving state.
나아가, 제어부(130)는 도 4a의 (b)에 도시된 것과 같이, 상기 전자기기(10)의 기 설정된 범위 이내에, 타겟 유저(1000)가 위치한 경우, 전자기기(10)의 디스플레이부(12)가 활성화되도록, 디스플레이부(12)를 제어할 수 있다. 이때, 디스플레이부(12)에는, 사용자 인증이 요구되는 타겟 기능에 대한 활성화를 요청하는 방법에 대한 가이드 정보(예를 들어, “터치 하여 결제 시작”)가 출력될 수 있다.Furthermore, as shown in (b) of FIG. 4A, the control unit 130 controls the display unit 12 of the electronic device 10 when the target user 1000 is located within a preset range of the electronic device 10. ) can be controlled to activate the display unit 12. At this time, guide information on how to request activation of a target function requiring user authentication (for example, “Touch to start payment”) may be displayed on the display unit 12.
이와 다르게, 제어부(130)는 기 설정된 간격 또는 실시간으로 카메라(11)를 통해 수신되는 영상에, 타겟 유저(1000)의 얼굴 이미지가 포함되어 있는지를 판단할 수 있다. 그리고, 판단 결과, 카메라(11)를 통해 수신되는 영상에 타겟 유저(1000)의 얼굴 이미지가 포함된 경우, 타겟 기능과 관련된 사용자 인증을 위한 일련의 프로세스를 진행할 수 있다.Alternatively, the control unit 130 may determine whether the image received through the camera 11 at preset intervals or in real time includes the face image of the target user 1000. And, as a result of the determination, if the image received through the camera 11 includes the face image of the target user 1000, a series of processes for user authentication related to the target function can be performed.
한편, 제어부(130)는 적어도 하나의 얼굴 인식 알고리즘을 이용하여, 카메라(11)에서 수신되는 영상에서 타겟 유저(1000)의 얼굴 이미지를 검출할 수 있다. 본 발명에서 활용되는 얼굴 인식 알고리즘은 그 종류에 제한이 없으며, 인공지능 또는 딥러닝을 기반으로 동작하는 알고리즘 또한 활용될 수 있다.Meanwhile, the control unit 130 may detect the face image of the target user 1000 from the image received from the camera 11 using at least one face recognition algorithm. The type of face recognition algorithm used in the present invention is not limited, and algorithms that operate based on artificial intelligence or deep learning can also be used.
한편, 제어부(130)는 카메라(11)를 통해, 타겟 유저(100)의 얼굴 이미지가 검출된 경우라도, 검출된 얼굴 이미지가, 사용자 인증을 수행하기 위한 기 설정된 조건(또는 기 설정된 인증 조건)을 만족하지 못하는 경우, 상기 기 설정된 조건을 만족하는 얼굴 이미지를 획득하기 위한 가이드 정보를 제공할 수 있다. Meanwhile, even when the face image of the target user 100 is detected through the camera 11, the control unit 130 determines that the detected face image meets preset conditions (or preset authentication conditions) for performing user authentication. If is not satisfied, guide information for acquiring a face image that satisfies the preset conditions may be provided.
보다 구체적으로, 제어부(130)는, 카메라(11)에서 센싱되는 타겟 유저(1000)의 얼굴 이미지가, 상기 기 설정된 조건을 만족하는지 판단할 수 있다. 여기에서, 상기 기 설정된 조건은, 영상에 포함된 얼굴 이미지의 크기, 얼굴 이미지에 대응되는 얼굴의 각도, 영상에서의 얼굴 이미지의 위치 및 영상에서 얼굴의 생김새 특징 요소(예를 들어, 눈, 코, 입)의 포함 여부 중 적어도 하나와 관련될 수 있다.More specifically, the control unit 130 may determine whether the facial image of the target user 1000 sensed by the camera 11 satisfies the preset condition. Here, the preset conditions include the size of the face image included in the image, the angle of the face corresponding to the face image, the position of the face image in the image, and the appearance feature elements of the face in the image (e.g., eyes, nose, etc.) , mouth) may be related to at least one of the following:
제어부(130)는, 도 4b에 도시된 것과 같이, 상기 기 설정된 조건을 만족하는 얼굴 이미지가 획득될 수 있도록 타겟 유저(1000)의 자세 및 위치 등에 대한 정보 중 적어도 하나를 가이드 정보로서 출력할 수 있다. 가이드 정보는, 카메라(11)와 타겟 유저(1000) 사이의 상대 위치 및 상대 거리 중 적어도 하나와 관련될 수 있다. As shown in FIG. 4B, the control unit 130 may output at least one of information about the posture and location of the target user 1000 as guide information so that a face image that satisfies the preset conditions can be obtained. there is. Guide information may be related to at least one of the relative position and relative distance between the camera 11 and the target user 1000.
예를 들어, i)도 4b의 (a), (b), (e)에 도시된 것과 같이, 제어부(130)는 전자기기를 기준으로 타겟 유저(1000)의 위치 정보(예를 들어, 더 가까이 와주세요, 더 뒤로 가주세요, 화면과의 거리를 맞춰주세요), ii)도 4b의 (c)에 도시된 것과 같이, 타겟 유저(1000)의 자세 정보(예를 들어, 화면을 봐주세요), iii)도 4b의 (d)에 도시된 것과 같이, 타겟 유저(1000)의 얼굴이 물체(예를 들어, 마스크)에 의해 가려진 경우, 이를 제거하는 것을 권유하는 정보(예를 들어, 마스크를 벗어주세요)와 같은 가이드 정보를 제공할 수 있다.For example, i) as shown in (a), (b), and (e) of Figure 4b, the control unit 130 provides location information (e.g., more information) of the target user 1000 based on the electronic device. Please come closer, please go further back, adjust the distance to the screen), ii) As shown in (c) of Figure 4b, posture information of the target user (1000) (e.g., please look at the screen), iii) As shown in (d) of Figure 4b, when the face of the target user 1000 is obscured by an object (e.g., a mask), information recommending removal (e.g., take off the mask) Please provide guide information such as:
이와 같이, 카메라(11)를 통해 타겟 유저(1000)의 얼굴 이미지가 검출되면, 다음으로, 본 발명에서는 사용자 DB로부터, 검출된 얼굴 이미지에 대응되는 사용자 정보를 추출하는 과정이 진행될 수 있다(S230).In this way, when the face image of the target user 1000 is detected through the camera 11, next, in the present invention, a process of extracting user information corresponding to the detected face image from the user DB may be performed (S230) ).
보다 구체적으로, 제어부(130)는, 카메라(11)를 통해 수신된 영상에서, 타겟 유저(1000)의 얼굴 이미지를 추출하고, 사용자 DB로부터, 상기 추출된 얼굴 이미지와 대응되는(또는 매칭된) 사용자 정보를 추출할 수 있다.More specifically, the control unit 130 extracts the face image of the target user 1000 from the image received through the camera 11, and selects a face image corresponding to (or matched to) the extracted face image from the user DB. User information can be extracted.
앞서 살펴본 것과 같이, 사용자 DB는, “사용자와 관련된 정보”, “사용자의 신상정보” 또는 “사용자의 식별정보”라고도 명명될 수 있다.As seen above, the user DB may also be called “user-related information,” “user’s personal information,” or “user’s identification information.”
사용자 DB는, 저장부(120), 외부 데이터베이스(140) 및 클라우드 서버 중 적어도 하나에 포함될 수 있다.The user DB may be included in at least one of the storage unit 120, the external database 140, and the cloud server.
제어부(130)는, 사용자 DB로부터 타겟 유저(1000)의 얼굴 이미지와 대응되는 인물을 검색하고, 검색된 인물에 매칭된 사용자 정보를 추출할 수 있다.The control unit 130 may search for a person corresponding to the face image of the target user 1000 from the user DB and extract user information matched to the searched person.
사용자 DB에는 개별 인물(또는 사람) 단위로, 각각의 인물에 대한 사용자 정보가 저장될 수 있다. 즉, 사용자 DB에는, 서로 다른 인물 마다 각각에 대응되는 사용자 정보가 매칭되어 저장될 수 있다.In the user DB, user information for each person may be stored on an individual person (or person) basis. That is, in the user DB, user information corresponding to each different person can be matched and stored.
여기에서, 사용자 정보는, 각각의 인물에 해당하는 사람의 이름, 생년월일, 주소, 전화번호, 메일 주소, 계정 정보, 사번, ID, 얼굴 이미지, 생체 정보(지문 정보, 홍채 정보 등), 참조 얼굴 이미지, 전자기기의 식별 정보, 일정(스케줄)과 관련된 정보, 특정 기능(또는 특정 이벤트)에 대한 권한 정보 중 적어도 하나를 포함할 수 있다.Here, user information includes the person's name, date of birth, address, phone number, email address, account information, employee number, ID, facial image, biometric information (fingerprint information, iris information, etc.), and reference face for each person. It may include at least one of an image, identification information of an electronic device, information related to a schedule (schedule), and permission information for a specific function (or specific event).
여기에서, 참조 얼굴 이미지는, 특정 인물에 대한 얼굴 이미지로서, 하나 또는 복수 일 수 있다. 본 발명에서, “참조 얼굴 이미지”는 “참조 데이터”로도 명명될 수 있다.Here, the reference face image is a face image for a specific person and may be one or more. In the present invention, “reference face image” may also be referred to as “reference data.”
제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다.The control unit 130 compares the face image of the target user acquired through the camera 11 with the reference face image stored in the user DB, and searches for a person who matches the reference face image corresponding to the face image of the target user. can do. Additionally, the control unit 130 may specify the searched person as the target user and extract user information matched to the searched person from the user DB.
제어부(130)는 검출된 타겟 유저(1000)의 얼굴 이미지와 기 설정된 조건을 만족하는 유사도를 갖는 특정 참조 얼굴 이미지를 사용자 DB로부터 추출할 수 있다. 그리고, 추출된 상기 특정 참조 얼굴 이미지에 매칭된 인물을 상기 타겟 유저로서 특정할 수 있다.The control unit 130 may extract from the user DB a specific reference face image having a similarity level that satisfies a preset condition with the detected face image of the target user 1000. In addition, a person matching the extracted specific reference face image can be specified as the target user.
제어부(130)는 도 3a의 (b)에 도시된 것과 같이, 타겟 유저(1000)에 대한 검색이 진행되는 동안, 전자기기(10)에 현재 진행 상황에 대한 안내 정보(예를 들어, “당신을 찾고 있습니다”)가 출력되도록 디스플레이부(12)를 제어할 수 있다. 제어부(130)는, 디스플레이부(12)에 사용자 인증에 대한 현재 진행 상황에 대한 안내 정보(예를 들어, “당신을 찾고 있습니다”)를 제공할 수 있다.As shown in (b) of FIG. 3A, while the search for the target user 1000 is in progress, the control unit 130 displays guidance information about the current progress (for example, “You”) on the electronic device 10. The display unit 12 can be controlled so that “I am looking for” is output. The control unit 130 may provide the display unit 12 with guidance information about the current progress of user authentication (for example, “I am looking for you”).
도시와 같이, 디스플레이부(12)에는, 카메라(11)를 통해 촬영된 영상이 출력될 수 있다. 이때, 출력되는 영상에는, 타겟 유저(1000)의 얼굴 이미지가 포함될 수 있다.As shown, an image captured through the camera 11 may be output to the display unit 12. At this time, the output image may include a face image of the target user 1000.
한편, 위에서 살펴본 것과 같이, 타겟 유저(1000)에 해당하는 인물이 특정되고, 특정된 인물(예를 들어, 박*경)에 대한 사용자 정보가 출력된 경우, 제어부(130)는 상기 사용자 정보 중 적어도 일부를 디스플레이부(12)에 제공할 수 있다.Meanwhile, as seen above, when a person corresponding to the target user 1000 is specified and user information about the specified person (for example, Park * Kyung) is output, the control unit 130 selects the user information among the user information. At least part of it can be provided to the display unit 12.
따라서, 도 3a의 (c)에 도시된 것과 같이, 타겟 유저(1000)에 해당하는 인물에 대응되는 사용자 정보의 적어도 일부(예를 들어, 이름 정보(박*경)는, 디스플레이부(12)에 출력될 수 있다. 따라서, 타겟 유저(1000)는 디스플레이부(12)에 출력되는 정보를 참조하여, 자신과 관련된 사용자 인증이 이루어지는지 확인할 수 있다.Therefore, as shown in (c) of FIG. 3A, at least part of the user information (for example, name information (Park * Kyung)) corresponding to the person corresponding to the target user 1000 is displayed on the display unit 12. Accordingly, the target user 1000 can refer to the information output on the display unit 12 and check whether user authentication related to the user is performed.
위에서 살펴본 것과 같이, 타겟 유저(1000)에 대한 사용자 정보가 추출된 경우, 본 발명에서는, 추출된 사용자 정보를 이용하여, 타겟 유저(1000)에 대한 사용자 인증을 수행하는 과정이 수행된다(S230).As seen above, when user information for the target user 1000 is extracted, in the present invention, a process of performing user authentication for the target user 1000 is performed using the extracted user information (S230) .
보다 구체적으로, 제어부(130)는 추출된 사용자 정보를 이용하여, 타겟 기능에 대한 사용자 인증을 수행할 수 있다. 예를 들어, 도 3a의 (c)에 도시된 것과 같이, 전자기기(10)가 배치된 장소가 카페인 경우, 타겟 기능은, 결제 기능으로 특정될 수 있다. 이 경우, 본 발명에 따른 사용자 인증 시스템(100)은 사용자 인증에 기반하여 결제 기능이 실행되도록 프로그래밍 될 수 있다.More specifically, the control unit 130 may perform user authentication for the target function using the extracted user information. For example, as shown in (c) of FIG. 3A, when the place where the electronic device 10 is placed is a cafe, the target function may be specified as a payment function. In this case, the user authentication system 100 according to the present invention can be programmed to execute a payment function based on user authentication.
본 발명에서, 사용자 인증은, 타겟 기능과 연계되어 이루어지는 것으로서, 제어부(130)는, 사용자 인증의 성공 또는 실패를, 특정 기능의 i) 승인 또는 거절, ii) 활성화 또는 비활성화, iii) 실행 또는 미실행을 위한 제어 명령으로 활용할 수 있다.In the present invention, user authentication is performed in conjunction with a target function, and the control unit 130 determines the success or failure of user authentication by i) approval or rejection, ii) activation or deactivation, and iii) execution or non-execution of a specific function. It can be used as a control command for execution.
예를 들어, 사용자 인증이 성공한 경우, 제어부(130)는 타겟 기능을 승인, 활성화 또는 실행할 수 있다. 그리고, 사용자 인증이 실패한 경우, 제어부(130)는 특정 기능을 거절, 비활성화 또는 실행하지 않을 수 있다.For example, if user authentication is successful, the control unit 130 may approve, activate, or execute the target function. And, if user authentication fails, the control unit 130 may reject, disable, or not execute a specific function.
한편, 제어부(130)는, 상기 디스플레이부(12) 상에, 사용자 인증이 이루어지는 타겟 기능(또는 특정 기능)에 대한 정보(또는 특정 기능 정보, 타겟 기능 정보)가 출력되도록 디스플레이부(12)를 제어할 수 있다.Meanwhile, the control unit 130 operates the display unit 12 so that information (or specific function information, target function information) about the target function (or specific function) where user authentication is performed is output on the display unit 12. You can control it.
디스플레이부(12)에는 도 3a의 (c)에 도시된 것과 같이, 타겟 유저(1000)의 얼굴 이미지에 근거하여 검색된 인물에 대한 사용자 정보와 함께, 상기 사용자 인증의 대상이 되는 타겟 기능에 대한 타겟 기능 정보(예를 들어, “카페라떼 700원 결제하시겠습니까”)가 더 포함될 수 있다. 이를 통해, 타겟 유저는, 현재 전자기기(10)에서 수행되고 있는 사용자 인증이 어떤 기능을 위한 사용자 인증인지를 직관적으로 파악할 수 있다.As shown in (c) of FIG. 3A, the display unit 12 includes user information about a person searched based on the face image of the target user 1000, and a target for the target function that is the subject of user authentication. Functional information (for example, “Would you like to pay 700 won for a cafe latte?”) may be further included. Through this, the target user can intuitively understand what function the user authentication currently being performed on the electronic device 10 is for.
한편, 제어부(130)는, 상기 타겟 유저(1000)의 얼굴 이미지 뿐만 아니라, 타겟 유저(1000)의 제스처에 기반하여, 사용자 인증을 수행할 수 있다.Meanwhile, the control unit 130 may perform user authentication based on not only the face image of the target user 1000 but also the gesture of the target user 1000.
제어부(130)는 카메라(11)를 통하여, 타겟 유저(1000)의 얼굴을 센싱하는 것뿐 아니라, 타겟 유저(1000)의 제스처를 센싱할 수 있다.The control unit 130 can sense not only the face of the target user 1000 but also the gesture of the target user 1000 through the camera 11.
여기에서, 타겟 유저(1000)의 제스처는, 타겟 유저의 몸짓, 행동 및 입모양 중 적어도 하나를 포함할 수 있다.Here, the gesture of the target user 1000 may include at least one of the target user's gesture, action, and mouth shape.
제어부(130)는, 타겟 유저(1000)의 제스처에 근거하여, 타겟 유저에 대한 사용자 인증을 완료할지 여부를 결정할 수 있다.The control unit 130 may determine whether to complete user authentication for the target user 1000 based on the gesture of the target user 1000.
이때, 제어부(130)는 제스처를 취한 주체의 얼굴 이미지와, 기 센싱된 타겟 유저(1000)의 얼굴 이미지를 비교하여, 상기 제스처가, 타겟 유저(1000)에 의하여 취해졌는지를 판단할 수 있다. 그리고, 제어부(130)는 상기 제스처를 취한 주체가, 상기 타겟 유저에 해당하는 경우에 한하여, 사용자 인증을 완료할 수 있다.At this time, the control unit 130 may determine whether the gesture was made by the target user 1000 by comparing the face image of the subject who made the gesture with the previously sensed face image of the target user 1000. Additionally, the control unit 130 can complete user authentication only when the subject who made the gesture corresponds to the target user.
여기에서, “사용자 인증의 완료”는, 사용자 인증의 최종 상태로서, 사용자 인증의 최종 상태는, i) 사용자 인증 성공 또는 ii) 사용자 인증 실패 중 적어도 하나의 상태를 포함할 수 있다.Here, “completion of user authentication” refers to the final state of user authentication, and the final state of user authentication may include at least one of i) user authentication success or ii) user authentication failure.
본 발명에서, 사용자 인증의 최종 상태는, 타겟 유저(1000)에 대한 정확한 인물을 검색한 후, 타겟 유저(1000)의 제스처에 근거하여 타겟 기능(또는 타겟 기능)에 대한 승인, 거절, 실행, 미실행, 활성 또는 비활성 여부가 결정되는 것을 의미할 수 있다.In the present invention, the final state of user authentication is, after searching for the correct person for the target user 1000, approval, rejection, execution of the target function (or target function) based on the gesture of the target user 1000, This may mean determining whether it is not running, active, or inactive.
즉, 제어부(130)에 의해, 타겟 유저(1000)에 대응되는 인물이 검색되고, 해당 인물에 대한 사용자 정보가 추출된 경우라도, 제어부(130)는 타겟 유저(1000)의 제스처에 근거하여, 특정 기능(예를 들어, 결제 기능)의 실행을 거절할 수 있다. That is, even when a person corresponding to the target user 1000 is searched by the control unit 130 and user information about the person is extracted, the control unit 130 based on the gesture of the target user 1000, You may refuse to execute a specific function (for example, a payment function).
이때, 제어부(130)는 도 3a의 (c)에 도시된 것과 같이, 디스플레이부(12)에, 타겟 유저(1000)에 대한 사용자 정보(예를 들어, 이름 정보) 및 사용자 인증이 요구되는 타겟 기능 정보(예를 들어, 결제 기능) 중 적어도 하나가 출력되고 난 후, 상기 타겟 유저(1000)의 제스처를 센싱할 수 있다. 이는, 타겟 유저(1000)가 디스플레이부(12)를 통해, 현재 진행되고 있는 사용자 인증 상황을 확인한 후 취해지는 제스처를 센싱받기 위함이다. 즉, 타겟 유저는, 디스플레이부(12)를 통해 제공되는 정보를 통하여 현재 진행되고 있는 사용자 인증이 어떤 특정 기능에 대한 것인지에 대한 상황을 파악할 수 있으며, 해당 상황을 확인한 후, 사용자 인증에 대한 의사를 제스처로서 나타낼 수 있다.At this time, as shown in (c) of FIG. 3A, the control unit 130 displays user information (e.g., name information) about the target user 1000 and a target for which user authentication is required on the display unit 12. After at least one piece of function information (eg, payment function) is output, the gesture of the target user 1000 can be sensed. This is to sense the gesture made by the target user 1000 after checking the current user authentication status through the display unit 12. In other words, the target user can determine the situation regarding which specific function the user authentication currently in progress is for through the information provided through the display unit 12, and after checking the situation, expresses his/her intention for user authentication. It can be expressed as a gesture.
제어부(130)는, 상기 디스플레이부(12)에, 사용자 정보(예를 들어, 이름 정보) 및 사용자 인증이 요구되는 타겟 기능 정보(예를 들어, 결제 기능) 중 적어도 하나가 출력된 상태에서, 카메라(11)를 통해 영상을 수신할 수 있다. 그리고, 제어부(130)는, 수신되는 영상으로부터, 타겟 유저(1000)의 제스처를 검출할 수 있다.The control unit 130 outputs at least one of user information (e.g., name information) and target function information (e.g., payment function) requiring user authentication to the display unit 12, Images can be received through the camera 11. And, the control unit 130 can detect the gesture of the target user 1000 from the received image.
한편, 본 발명에서는, 타겟 유저(1000)의 제스처를 검출하기 위하여, 카메라(11)로부터 영상을 수신하는 시점, 수신된 영상에서 제스처를 검출하는 시점이 다양하게 변형될 수 있음은 물론이다.Meanwhile, in the present invention, in order to detect the gesture of the target user 1000, the timing of receiving the image from the camera 11 and the timing of detecting the gesture in the received image can of course be changed in various ways.
한편, 저장부(120)에는, 서로 다른 제어 명령에 각각 대응되는 제스처에 대한 정보가 저장되어 존재할 수 있다. 따라서, 제어부(130)는 영상으로부터 타겟 유저(1000)의 제스처를 검출하고, 검출된 제스처에 매칭된 제어 명령을, 저장부(120)로부터 추출할 수 있다. 그리고, 사용자 인증이 요구되는 타겟 기능에 대해 추출된 제어 명령에 대응되는 제어를 수행할 수 있다.Meanwhile, information about gestures corresponding to different control commands may be stored in the storage unit 120. Accordingly, the control unit 130 can detect the gesture of the target user 1000 from the image and extract the control command matching the detected gesture from the storage unit 120. In addition, control corresponding to the extracted control command for the target function requiring user authentication can be performed.
예를 들어, 제어부(130)는, 타겟 유저(1000)의 제스처가, 상기 사용자 인증을 동의하는 제어 명령에 매칭된 기 설정된 제1 제스처에 대응되는 경우, 타겟 기능에 대한 사용자 인증을 성공으로 처리할 수 있다. 예를 들어, 제어부(130)는, 도 3b의 (a)에 도시된 것과 같이, 카메라(11)를 통해 수신되는 영상에서, 타겟 유저(1000)에 의해 취해지는 제1 제스처(예를 들어, 고개를 끄덕이는 동작)가 검출된 경우, 특정 기능(또는 타겟 기능)에 대한 사용자 인증을 성공으로 처리할 수 있다. 예를 들어, 특정 기능은 도시와 같이, 결제 기능일 수 있다. 제어부(130)는 도시와 같이, 디스플레이부(12)에 사용자 인증의 처리 결과에 대한 정보(예를 들어, “결제가 완료 되었습니다”, 340)를 제공할 수 있다. 따라서, 디스플레이부(12)에는, 사용자 인증의 처리 결과에 대한 정보가 출력될 수 있다.For example, if the gesture of the target user 1000 corresponds to a preset first gesture matched to a control command agreeing to user authentication, the control unit 130 processes user authentication for the target function as successful. can do. For example, the control unit 130 controls the first gesture (e.g., If a head nodding motion is detected, user authentication for a specific function (or target function) can be processed as success. For example, the specific function may be a payment function, such as a city. As shown, the control unit 130 may provide the display unit 12 with information about the result of user authentication (eg, “Payment is complete”, 340). Accordingly, information about the result of user authentication processing may be output to the display unit 12.
또 다른 예를 들어, 제어부(130)는, 타겟 유저(1000)의 제스처가, 상기 사용자 인증을 거절(비동의)하는 제어 명령에 매칭된 기 설정된 제2 제스처에 대응되는 경우, 타겟 기능에 대한 사용자 인증을 실패로 처리할 수 있다. 예를 들어, 제어부(130)는, 도 3b의 (b)에 도시된 것과 같이, 카메라(11)를 통해 수신되는 영상에서, 타겟 유저(1000)에 의해 취해지는 제2 제스처(예를 들어, 고개를 좌우로 흔드는 동작)가 검출된 경우, 특정 기능(또는 타겟 기능)에 대한 사용자 인증을 실패로 처리할 수 있다. 예를 들어, 특정 기능은 도시와 같이, 결제 기능일 수 있다. 제어부(130)는 도시와 같이, 디스플레이부(12)에 사용자 인증의 처리 결과에 대한 정보(예를 들어, “결제가 취소 되었습니다”, 350)를 제공할 수 있다. 따라서, 디스플레이부(12)에는, 사용자 인증의 처리 결과에 대한 정보가 출력될 수 있다.For another example, when the gesture of the target user 1000 corresponds to a preset second gesture matched to a control command that rejects (disagrees) the user authentication, the control unit 130 provides information on the target function. User authentication can be treated as failure. For example, the control unit 130, as shown in (b) of FIG. 3B, controls the second gesture (e.g., If a head shaking motion from side to side is detected, user authentication for a specific function (or target function) may be treated as failure. For example, the specific function may be a payment function, such as a city. As shown, the control unit 130 may provide the display unit 12 with information about the result of user authentication (eg, “Payment has been cancelled”, 350). Accordingly, information about the result of user authentication processing may be output to the display unit 12.
따라서, 본 발명에 따른 사용자 인증 방법 및 시스템은, 센싱된 사용자의 얼굴 이미지 뿐만 아니라, 사용자의 제스처에 기반하여, 사용자 인증에 대한 사용자의 의도를 파악할 수 있다. 따라서, 본 발명에 따른 사용자 인증 방법 및 시스템은, 사용자의 제스처에 기반하여, 사용자 인증을 수행하고자 하는 사용자의 진위를 파악하여, 사용자의 의도에 따른 사용자 인증을 수행할 수 있다.Therefore, the user authentication method and system according to the present invention can determine the user's intention for user authentication based on the user's gesture as well as the sensed face image of the user. Therefore, the user authentication method and system according to the present invention can perform user authentication according to the user's intention by determining the authenticity of the user who wishes to perform user authentication based on the user's gestures.
한편, 도 3a의 (c)에 도시된 것과 같이, 제어부(130)는 제스처에 매칭된 제어 명령에 대한 가이드 정보(320)를 디스플레이부(12)에 제공할 수 있다. 따라서, 타겟 유저는, 어느 제스처를 취해야지, 특정 기능과 관련하여 자신이 원하는 결과를 얻을 수 있을지 직관적으로 파악할 수 있다.Meanwhile, as shown in (c) of FIG. 3A, the control unit 130 may provide guide information 320 for a control command matched to a gesture to the display unit 12. Accordingly, the target user can intuitively figure out which gesture to use and whether he or she will obtain the desired result in relation to a specific function.
한편, 제어부(130)는 사용자 인증이 완료되는 경우, 카메라(11)로부터 획득된 타겟 유저의 얼굴 이미지를, 사용자 DB에 포함시킬 수 있다. 제어부(130)는 타겟 유저에 대응되는 인물의 사용자 정보에, 상기 얼굴 이미지가 포함되도록 사용자 DB를 업데이트 할 수 있다. Meanwhile, when user authentication is completed, the control unit 130 may include the target user's face image obtained from the camera 11 in the user DB. The control unit 130 may update the user DB so that the face image is included in the user information of the person corresponding to the target user.
이하에서는, 카메라에 인식된 타겟 유저에 대한 사용자 인증이 진행되는 과정에서, 다른 사용자가 인식된 경우에 대하여 살펴보도록 한다.Below, we will look at a case in which another user is recognized during the process of user authentication for the target user recognized by the camera.
도 5의 (a) 및 (b)에 도시된 것과 같이, 본 발명에서는, 타겟 유저(1000a)에 대한 사용자 인증이 수행되고 있는 상태에서, 도 5a의 (c)에 도시된 것과 같이, 카메라(11)를 통해 타겟 유저(1000a)와 다른 유저(1000b)의 얼굴 이미지가 센싱 될 수 있다. 이때, 다른 유저(1000b)는 사용자 인증을 수행하고 싶어하는 사용자일 수 있고 또는 타겟 유저(1000a)를 가리는 사용자일 수 있다. As shown in Figures 5 (a) and (b), in the present invention, while user authentication is being performed for the target user 1000a, as shown in Figure 5 (c), a camera ( Through 11), the face images of the target user 1000a and another user 1000b can be sensed. At this time, the other user 1000b may be a user who wants to perform user authentication or may be a user who masks the target user 1000a.
제어부(130)는, 타겟 유저(1000a)에 대한 사용자 인증을 완료하기 위하여, 다른 유저(1000b)가 인식되더라도, 타겟 유저(1000a)에 대한 사용자 인증을 계속하여 수행할 수 있다. 일 예로서, 제어부(130)는, 타겟 유저(1000a)가 다른 유저(1000b)에 의해 카메라(11)에서 가려지더라도, 타겟 유저(1000a)의 적어도 일부가 인식되기만 하면, 타겟 유저(1000a)에 대한 사용자 인증을 계속하여 수행할 수 있다. 즉, 본 발명에서 제어부(130)는, 카메라(11) 주변에 타겟 유저(1000a)가 계속하여 위치하고 있는 상황을, 타겟 유저(1000a)가 계속하여 사용자 인증을 수행하고자 하는 의도로 파악할 수 있다.In order to complete user authentication for the target user 1000a, the control unit 130 may continue to perform user authentication for the target user 1000a even if another user 1000b is recognized. As an example, the control unit 130 controls the target user 1000a as long as at least a part of the target user 1000a is recognized, even if the target user 1000a is obscured from the camera 11 by another user 1000b. User authentication can continue to be performed. That is, in the present invention, the control unit 130 can determine the situation in which the target user 1000a continues to be located around the camera 11 as the intention of the target user 1000a to continue performing user authentication.
한편, 제어부(130)는, 도 5의 (c)에 도시된 것과 같이, 다른 유저(1000b)가 기 설정된 시간 이상 동안 카메라(11)에서 센싱되는 경우, 상기 타겟 유저(1000a)에 대한 사용자 인증을 종료할 수 있다. 그리고, 제어부(130)는 도 5의 (d)에 도시된 것과 같이, 카메라(11)로부터 수신되는 영상에서 다른 유저(1000b)의 얼굴 이미지를 검출할 수 있다. 나아가, 제어부(130)는 사용자 DB에 포함된 참조 얼굴 이미지들과 검출된 다른 유저(1000b)의 얼굴 이미지를 비교하여, 다른 유저(1000b)에 대응되는 인물을 특정할 수 있다. 그리고, 사용자 DB로부터 특정된 인물에 매칭된 사용자 정보를 추출하고, 추출된 정보를 이용하여 앞에서 살펴본 다른 유저(1000b)에 대한 일련의 사용자 인증 과정을 수행할 수 있다. 이 경우, 타겟 유저(1000a)에 대한 사용자 인증이 완료되지 않은 상태이더라도, 제어부(130)는 타겟 유저(1000a)에 대한 사용자 인증을 종료할 수 있다.Meanwhile, as shown in (c) of FIG. 5, when another user 1000b is sensed by the camera 11 for a preset time or more, the control unit 130 performs user authentication for the target user 1000a. can be terminated. And, as shown in (d) of FIG. 5, the control unit 130 can detect the face image of another user 1000b from the image received from the camera 11. Furthermore, the control unit 130 may compare the reference face images included in the user DB with the detected face image of the other user 1000b to specify the person corresponding to the other user 1000b. Then, user information matching the specified person can be extracted from the user DB, and a series of user authentication processes for the other user (1000b) described above can be performed using the extracted information. In this case, even if user authentication for the target user 1000a is not completed, the control unit 130 may terminate user authentication for the target user 1000a.
이와 같이, 제어부(130)는 카메라(11)를 통해 타겟 유저(1000a) 및 다른 유저(1000b)가 센싱되는 정보에 근거하여, 사용자 인증을 수행하고자 하는 타겟 유저(1000a) 및 다른 유저(1000b)의 의도를 판단할 수 있다. 그리고, 제어부(130)는 판단 결과에 근거하여, 타겟 유저(1000a) 및 다른 유저(1000b) 중 어느 하나에 대한 사용자 인증을 수행할 수 있다.In this way, the control unit 130 controls the target user 1000a and other users 1000b who wish to perform user authentication based on the information sensed by the target user 1000a and other users 1000b through the camera 11. intention can be determined. And, based on the determination result, the control unit 130 may perform user authentication for either the target user 1000a or the other user 1000b.
제어부(130)는 기 설정된 센싱 조건에 근거하여, 타겟 유저(1000a) 및 다른 유저(1000b) 중 어느 하나에 대한 사용자 인증을 수행할 수 있다. 이러한 기 설정된 센싱 조건은, 카메라(11)를 통해 수신되는 영상에서 타겟 유저(1000a) 및 다른 유저(1000b)의 얼굴 이미지가 검출된 시간 길이, 자세 및 차지하는 면적 중 적어도 하나에 근거하여 결정될 수 있다.The control unit 130 may perform user authentication for either the target user 1000a or the other user 1000b based on preset sensing conditions. These preset sensing conditions may be determined based on at least one of the length of time, posture, and area occupied by the facial images of the target user 1000a and the other user 1000b in the image received through the camera 11. .
예를 들어, 기 설정된 센싱 조건은, i) 타겟 유저(1000a)에 대해 사용자 인증이 진행되고 있는 상태에서, 카메라(11)를 통해 다른 유저(1000b)의 얼굴 이미지가 기 설정된 된 이상 동안 검출되었는지 여부, ii) 다른 유저(1000b)의 얼굴 이미지가 카메라(11)를 정면으로 바라보고 있는지 여부, iii) 타겟 유저(1000a)가 카메라(11)를 바라보고 있지 않은지 여부, iv) 카메라(11)를 통해 수신된 영상에서, 타겟 유저(1000a)의 얼굴 이미지가 차지하는 비율이, 다른 유저(1000b)의 얼굴 이미지가 차지하는 비율보다 적은지 여부 등과 같은 서브 조건들이 적어도 하나 조합되어 설정될 수 있다.For example, the preset sensing condition is: i) while user authentication is in progress for the target user 1000a, whether the face image of another user 1000b is detected through the camera 11 for a preset period or longer; ii) Whether the face image of the other user 1000b is looking directly at the camera 11; iii) Whether the target user 1000a is not looking at the camera 11; iv) Camera 11 In the image received through , at least one sub-condition may be set in combination, such as whether the ratio occupied by the face image of the target user 1000a is less than the proportion occupied by the face image of the other user 1000b.
따라서, 제어부는, 카메라(11)를 통해 수신된 영상에서, 타겟 유저(1000a) 및 다른 유저(1000b) 중 적어도 하나의 얼굴 이미지가 검출된 시간을 카운팅하거나, 차지하는 면적을 산출함으로써, 타겟 유저(1000a) 및 다른 유저(1000b) 중 어느 하나에 대한 사용자 인증을 수행할 수 있다. Accordingly, the control unit counts the time when the face image of at least one of the target user 1000a and the other user 1000b is detected in the image received through the camera 11, or calculates the area occupied, so that the target user (1000a) User authentication can be performed for either 1000a) or another user 1000b.
이와 같이, 제어부(130)는 카메라(11)를 통해 타겟 유저(1000a) 및 다른 유저(1000b)가 센싱되는 정보에 근거하여, 사용자 인증을 수행하고자 하는 타겟 유저(1000a) 및 다른 유저(1000b)의 의도를 판단하여, 사용자들에 대한 적절한 사용자 인증을 제공할 수 있다.In this way, the control unit 130 controls the target user 1000a and other users 1000b who wish to perform user authentication based on the information sensed by the target user 1000a and other users 1000b through the camera 11. By determining the intent, appropriate user authentication can be provided for users.
이하에서는, 사용자 DB로부터 타겟 유저(1000)에 대응되는 인물의 특정이 잘못되거나, 또는 복수의 인물이 특정되는 경우의 처리 방법에 대하여 살펴보도록 한다. Below, we will look at a processing method when the person corresponding to the target user 1000 is incorrectly specified from the user DB, or when multiple people are specified.
앞서 살펴본 것과 같이, 제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다.As seen above, the control unit 130 compares the face image of the target user acquired through the camera 11 with the reference face image stored in the user DB, and selects the reference face image corresponding to the face image of the target user. You can search for matched people. Additionally, the control unit 130 may specify the searched person as the target user and extract user information matched to the searched person from the user DB.
이때, 카메라(11)로부터 획득된 타겟 유저(1000)의 얼굴 이미지와 사용자 DB에 저장된 참조 얼굴 이미지 간의 유사도가 낮거나, 타겟 유저(1000)의 현재 모습이 참조 얼굴 이미지에 해당하는 모습과 상이한 경우, 제어부(130)는 사용자 DB로부터 타겟 유저(1000)에 대응되는 정확한 인물을 검색하지 못할 수 있다.At this time, the similarity between the face image of the target user 1000 obtained from the camera 11 and the reference face image stored in the user DB is low, or the current appearance of the target user 1000 is different from the appearance corresponding to the reference face image. , the control unit 130 may not be able to search for an accurate person corresponding to the target user 1000 from the user DB.
이를 대비하여, 본 발명에서는, 타겟 유저(1000)가 언제라도, 이에 대한 피드백을 전자기기(10) 또는 제어부(130)로 입력할 수 있도록, 가이드 정보를 제공할 수 있다.In preparation for this, in the present invention, guide information can be provided so that the target user 1000 can input feedback regarding this to the electronic device 10 or the control unit 130 at any time.
예를 들어, 도 6a의 (a) 및 (b)에 도시된 것과 같이, 제어부(130)는 타겟 유저에 대응되는 인물에 대한 사용자 정보(예를 들어, 박새**, 김진*)가 추출된 경우이더라도, 추출된 사용자 정보에 대한 오류여부를 입력받기 위한 GUI(Graphic User Interface 또는 그래픽 객체, 610, 620)를 디스플레이부(12)에 제공할 수 있다.For example, as shown in (a) and (b) of FIG. 6A, the control unit 130 extracts user information about a person corresponding to the target user (e.g., Chickadee**, Jin Kim*). Even if this is the case, a GUI (Graphic User Interface or graphic object, 610, 620) for receiving input of whether there is an error in the extracted user information may be provided to the display unit 12.
제어부(130)는 상기 GUI(Graphic User Interface, 610, 620)가 선택되는 경우, 카메라(11)를 통해 타겟 유저를 다시 촬영하고, 촬영된 영상으로부터 타겟 유저의 얼굴 이미지를 검출할 수 있다, 그리고, 검출된 얼굴 이미지에 대응되는 인물을 사용자 DB로부터 다시 검색한 후, 다시 검색된 인물에 대한 사용자 정보를 디스플레이부(12)에 출력시킬 수 있다. When the GUI (Graphic User Interface, 610, 620) is selected, the control unit 130 can photograph the target user again through the camera 11 and detect the target user's face image from the captured image, and , After re-searching the person corresponding to the detected face image from the user DB, user information about the re-searched person can be output to the display unit 12.
이때, 제어부(130)는 다시 검색된 인물과, 다시 검색되기 전에 검색되었던 인물이 동일 인물인 경우, 얼굴 인식 방법이 아닌 다른 방법을 통한 사용자 인증 프로세스를 실행할 수 있다. 다시 검색된 인물에 대한 사용자 정보는 디스플레이부(12) 상에 출력되지 않을 수 있다. At this time, if the re-searched person and the searched person before the re-search are the same person, the control unit 130 may execute a user authentication process using a method other than the face recognition method. User information about the re-searched person may not be output on the display unit 12.
한편, 다시 검색된 인물과, 다시 검색되기 전에 검색되었던 인물이 동일 인물인 경우, 제어부(130)는 타겟 유저로부터, 타겟 유저의 식별 정보(예를 들어, 전화 번호, 사번, 계정 정보, 주소, 이름 등)를 입력 받기 위한 GUI를 디스플레이부(12) 상에 제공할 수 있다. 그리고, 제공된 GUI를 통해 입력된 타겟 유저의 식별 정보를 이용하여, 사용자 DB로부터 타겟 유저에 해당하는 인물을 검색하고, 검색된 인물에 대응되는 사용자 정보를 이용하여 타겟 유저에 대한 사용자 인증을 수행할 수 있다. Meanwhile, if the person searched again and the person searched before being searched again are the same person, the control unit 130 receives the target user's identification information (e.g., phone number, employee number, account information, address, name, etc.). etc.) can be provided on the display unit 12 to receive input. In addition, using the identification information of the target user entered through the provided GUI, a person corresponding to the target user can be searched from the user DB, and user authentication for the target user can be performed using the user information corresponding to the searched person. there is.
제어부(130)는 검출된 타겟 유저(1000)의 얼굴 이미지와 기 설정된 조건을 만족하는 유사도를 갖는 특정 참조 얼굴 이미지를 사용자 DB로부터 추출할 수 있다. 그리고, 추출된 상기 특정 참조 얼굴 이미지에 매칭된 인물을 상기 타겟 유저로서 특정할 수 있다.The control unit 130 may extract from the user DB a specific reference face image having a similarity level that satisfies a preset condition with the detected face image of the target user 1000. In addition, a person matching the extracted specific reference face image can be specified as the target user.
앞서 살펴본 것과 같이, 제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다. As seen above, the control unit 130 compares the face image of the target user acquired through the camera 11 with the reference face image stored in the user DB, and selects the reference face image corresponding to the face image of the target user. You can search for matched people. Additionally, the control unit 130 may specify the searched person as the target user and extract user information matched to the searched person from the user DB.
한편, 제어부(130)는 사용자 DB로부터, 타겟 유저의 얼굴 이미지와 기 설정된 조건을 만족하는 유사도(또는 기 설정된 유사도 조건)을 갖는 참조 얼굴 이미지를 검색하고, 검색된 참조 얼굴 이미지에 대응되는 인물을 타겟 유저에 대응되는 인물로서 특정하도록 이루어진다. 한편, 사용자 DB로부터, 복수의 참조 얼굴 이미지가 검색될 수 있다. 이때, 복수의 참조 얼굴 이미지는 서로 다른 인물에 각각 대응되는 이미지일 수 있다. Meanwhile, the control unit 130 searches the user DB for a reference face image having a similarity (or a preset similarity condition) that satisfies a preset condition with the face image of the target user, and targets a person corresponding to the searched reference face image. It is made to identify a person corresponding to the user. Meanwhile, a plurality of reference face images may be searched from the user DB. At this time, the plurality of reference face images may be images corresponding to different people.
이 경우, 제어부(130)는 검색된 복수의 참조 이미지에 각각 대응되는 복수의 인물들의 사용자 정보를 추출하고 추출된 사용자 정보를 이용하여, 타겟 유저로부터, 자신에 해당하는 사용자 정보를 선택받기 위한 GUI를 도 6b의 (a)에 도시된 것과 같이, 디스플레이부(12)에 제공할 수 있다. 도시된 것과 같이, 디스플레이부)(12)에는, 복수의 참조 얼굴 이미지 각각에 대응되는 복수의 인물 중 어느 하나를 선택받기 위한 그래픽 객체(630, 640)가 출력될 수 있다. In this case, the control unit 130 extracts user information of a plurality of people corresponding to each of the plurality of searched reference images and uses the extracted user information to create a GUI for selecting user information corresponding to the target user. As shown in (a) of FIG. 6B, it can be provided to the display unit 12. As shown, graphic objects 630 and 640 for selecting one of a plurality of people corresponding to each of the plurality of reference face images may be output on the display unit 12.
출력된 그래픽 객체(630, 640)는 서로 다른 인물에 각각 대응되며, 각각 대응되는 인물의 사용자 정보(또는 식별 정보, 예를 들어, 계정 정보, 메일 주소, 이름 등)를 포함할 수 있다.The output graphic objects 630 and 640 respectively correspond to different people, and may include user information (or identification information, for example, account information, email address, name, etc.) of the corresponding people.
그리고, 제어부(130)는, 도 6b의 (a)에 도시된 것과 같이, 상기 그래픽 객체(630, 640) 중 타겟 유저로부터 선택된 그래픽 객체(630)에 매칭된 특정 인물을, 타겟 유저에 해당하는 인물로서 특정할 수 있다. 그리고, 제어부(130)는 도 6b의 (b)에 도시된 것과 같이, 특정된 인물에 매칭된 사용자 정보를 이용하여, 상기 타겟 유저에 대한 사용자 인증을 수행할 수 있다.And, as shown in (a) of FIG. 6B, the control unit 130 selects a specific person matched with the graphic object 630 selected from the target user among the graphic objects 630 and 640 as the target user. It can be identified as a person. And, as shown in (b) of FIG. 6B, the control unit 130 may perform user authentication for the target user using user information matched to a specified person.
한편, 제어부(130)는 사용자 인증이 완료되는 경우, 카메라(11)로부터 획득된 타겟 유저의 얼굴 이미지를, 사용자 DB에 포함시킬 수 있다. 제어부(130)는, 상기 특정된 인물에 대응되는 사용자 정보에, 상기 얼굴 이미지가 포함되도록 사용자 DB를 업데이트 할 수 있다. Meanwhile, when user authentication is completed, the control unit 130 may include the target user's face image obtained from the camera 11 in the user DB. The control unit 130 may update the user DB so that the face image is included in the user information corresponding to the specified person.
그리고, 제어부(130)는 상기 타겟 유저의 얼굴 이미지를, 상기 타겟 유저에 대응되는 인물의 참조 얼굴 이미지로서 설정할 수 있다. 그리고, 제어부(130)는 다음번 상기 타겟 유저에 대한 사용자 인증이 수행되는 경우, 새롭게 설정된 참조 이미지를 이용하여, 타겟 유저를 특정할 수 있다.Additionally, the control unit 130 may set the face image of the target user as a reference face image of a person corresponding to the target user. And, the next time user authentication is performed for the target user, the control unit 130 may specify the target user using the newly set reference image.
다른 예로서, 제어부(130)는 사용자 DB로부터, 타겟 유저의 얼굴 이미지와 기 설정된 조건을 만족하는 유사도(또는 기 설정된 유사도 조건)을 갖는 참조 얼굴 이미지를 검색하고, 검색된 참조 얼굴 이미지에 대응되는 인물을 타겟 유저에 대응되는 인물로서 특정하도록 이루어진다. 한편, 사용자 DB로부터, 복수의 참조 얼굴 이미지가 검색될 수 있다. 이때, 복수의 참조 얼굴 이미지는 서로 다른 인물에 각각 대응되는 이미지일 수 있다. As another example, the control unit 130 searches the user DB for a reference face image having a similarity (or a preset similarity condition) that satisfies a preset condition with the target user's face image, and searches for a person corresponding to the searched reference face image. This is done to specify the person corresponding to the target user. Meanwhile, a plurality of reference face images may be searched from the user DB. At this time, the plurality of reference face images may be images corresponding to different people.
이 경우, 제어부(130)는 도 6c에 도시된 것과 같이, 서로 다른 인물에 각각 대응되는 복수의 참조 얼굴 이미지(671, 672, 673)를 디스플레이부 상에 출력시킬 수 있다.In this case, the control unit 130 may output a plurality of reference face images 671, 672, and 673 corresponding to different people on the display unit, as shown in FIG. 6C.
그리고, 제어부(130)는 복수의 참조 얼굴 이미지(671, 672, 673) 중, 타겟 유저로부터 어느 하나의 이미지가 선택되면, 선택된 참조 얼굴 이미지에 매칭된 인물을 타겟 유저에 해당하는 인물로서 특정할 수 있다.And, when one image is selected from the target user among the plurality of reference face images 671, 672, and 673, the control unit 130 specifies the person matching the selected reference face image as the person corresponding to the target user. You can.
나아가, 제어부(130)는, 검색된 참조 얼굴 이미지가 복수인 경우, 검색된 복수의 참조 얼굴 이미지 중 카메라(11)를 통해 촬영된 타겟 유저의 얼굴 이미지와 유사도가 더 높은(또는 가장 높은) 특정 참조 얼굴 이미지(또는 제1 참조 얼굴 이미지)에 매칭된 특정 인물(또는 제1 인물)의 사용자 정보를 상기 사용자 DB로부터 추출할 수 있다.Furthermore, when there are a plurality of searched reference face images, the control unit 130 selects a specific reference face that has a higher (or highest) similarity to the face image of the target user captured through the camera 11 among the plurality of searched reference face images. User information of a specific person (or first person) matched to an image (or first reference face image) may be extracted from the user DB.
그리고, 제어부(130)는, 디스플레이부에, 상기 특정 인물(또는 제1 인물) 인물의 사용자 정보(650)와 함께, 상기 검색된 복수의 참조 얼굴 이미지 중 상기 특정 참조 얼굴 이미지(또는 제1 참조 얼굴 이미지)와 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지(671, 672, 673))를 제공할 수 있다.And, the control unit 130 displays the specific reference face image (or the first reference face) among the searched plurality of reference face images along with the user information 650 of the specific person (or the first person). image) and a different reference face image (or a second reference face image 671, 672, 673) may be provided.
즉, 제어부(130)는 타겟 유저의 얼굴 이미지와 가장 높은 유사도를 갖는 참조 얼굴 이미지에 해당하는 인물을 타겟 유저에 해당하는 인물로서 1차적으로 특정하되, 다른 인물이 타겟 유저에 해당할 수도 있다는 가능성을 열어둘 수 있다.That is, the control unit 130 primarily specifies the person corresponding to the reference face image with the highest similarity to the face image of the target user as the person corresponding to the target user, but allows for the possibility that another person may correspond to the target user. can be left open.
한편, 제어부(130)는, 도 6c에 도시된 것과 같이, 상기 특정 인물(또는 제1 인물) 인물의 사용자 정보(650)와 함께, 상기 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지(671, 672, 673))가 디스플레이부에 출력되고 있는 상태에서, 카메라(110)를 통해, 타겟 유저의 기 설정된 조건을 만족하는 제스처(예를 들어, 사용자 인증과 관련된 제스처)가 센싱되는 경우, 타겟 유저를 상기 제1 인물로 특정할 수 있다. 그리고, 제어부(130)는, 상기 특정 인물(또는 제1 인물) 인물의 사용자 정보(650)를 이용하여 사용자 인증을 수행할 수 있다. Meanwhile, as shown in FIG. 6C, the control unit 130 uses the other reference face image (or the second reference face image 671, While 672, 673)) is being output to the display unit, when a gesture that satisfies the target user's preset conditions (for example, a gesture related to user authentication) is sensed through the camera 110, the target user can be identified as the first person. Additionally, the control unit 130 may perform user authentication using the user information 650 of the specific person (or the first person).
한편, 이와 다르게, 상기 특정 인물(또는 제1 인물) 인물의 사용자 정보(650)와 함께, 상기 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지(671, 672, 673))가 디스플레이부에 출력되고 있는 상태에서, 상기 타겟 유저로부터 상기 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지(671, 672, 673)) 중 어느 하나에 대한 선택이 이루어질 수 있다. 이 경우, 제어부(130)는, 사용자 DB로부터, 타겟 유저로부터 선택받은 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지)에 대응되는 특정 인물(또는 제2 인물)을 상기 타겟 유저에 해당하는 인물로서 특정할 수 있다. 그리고, 제어부(130)는, 사용자 DB로부터, 타겟 유저로부터 선택받은 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지)에 해당하는 특정 인물(또는 제2 인물)의 사용자 정보를 추출하고, 이를 이용하여, 타겟 유저에 대한 사용자 인증을 수행할 수 있다.Meanwhile, differently from this, along with the user information 650 of the specific person (or the first person), the other reference face image (or the second reference face image 671, 672, 673) is output to the display unit. In this state, the target user may select one of the other reference face images (or the second reference face images 671, 672, and 673). In this case, the control unit 130 selects a specific person (or a second person) corresponding to another reference face image (or a second reference face image) selected by the target user from the user DB as a person corresponding to the target user. It can be specified. Then, the control unit 130 extracts user information of a specific person (or second person) corresponding to another reference face image (or second reference face image) selected by the target user from the user DB, and uses this , user authentication can be performed for the target user.
한편, 이 경우에도 마찬가지로, 제어부(130)는, 타겟 유저로서 특정된 인물(제1 인물 또는 제2 인물)에 대응되는 사용자 정보에, 카메라(11)로부터 획득된 타겟 유저의 얼굴 이미지가 포함되도록 사용자 DB를 업데이트 할 수 있다. 그리고, 제어부(130)는 상기 타겟 유저의 얼굴 이미지를, 상기 타겟 유저에 대응되는 인물의 참조 얼굴 이미지로서 설정할 수 있다. 그리고, 제어부(130)는 다음번 상기 타겟 유저에 대한 사용자 인증이 수행되는 경우, 새롭게 설정된 참조 이미지를 이용하여, 타겟 유저를 특정할 수 있다.Meanwhile, in this case as well, the control unit 130 ensures that the user information corresponding to the person (the first person or the second person) specified as the target user includes the face image of the target user obtained from the camera 11. User DB can be updated. Additionally, the control unit 130 may set the face image of the target user as a reference face image of a person corresponding to the target user. And, the next time user authentication is performed for the target user, the control unit 130 may specify the target user using the newly set reference image.
이하에서는, 사용자 DB에 타겟 유저(1000)에 대응되는 인물의 사용자 정보가 존재하지 않는 경우, 사용자 인증을 수행하는 방법에 대하여 살펴보도록 한다.Below, we will look at a method of performing user authentication when there is no user information on a person corresponding to the target user 1000 in the user DB.
앞서 살펴본 것과 같이, 제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다.As seen above, the control unit 130 compares the face image of the target user acquired through the camera 11 with the reference face image stored in the user DB, and selects the reference face image corresponding to the face image of the target user. You can search for matched people. Additionally, the control unit 130 may specify the searched person as the target user and extract user information matched to the searched person from the user DB.
이때, 사용자 DB에는, 카메라(11)로부터 획득된 타겟 유저(1000)의 얼굴 이미지와 대응되는 참조 얼굴 이미지가 존재하지 않을 수 있다.At this time, there may not be a reference face image corresponding to the face image of the target user 1000 obtained from the camera 11 in the user DB.
이 경우, 제어부(130)는 도 7a의 (a) 및 (b) 얼굴 인식 방법이 아닌 다른 방법을 통한 사용자 인증 프로세스를 실행할 수 있다. 제어부(130)는 도 7a에 도시된 것과 같이, 디스플레이부(12) 상에, 사용자 DB에 존재하는 참조 얼굴 이미지가 없음을 알리는 가이드 정보(710)를 출력시킬 수 있다.In this case, the control unit 130 may execute a user authentication process using a method other than the face recognition method (a) and (b) of FIG. 7A. As shown in FIG. 7A, the control unit 130 may output guide information 710 on the display unit 12 indicating that there is no reference face image in the user DB.
그리고, 제어부(130)는 도 7a의 (b) 및 (c)에 도시된 것과 같이, 타겟 유저로부터, 타겟 유저의 식별 정보(예를 들어, 전화 번호, 사번, 계정 정보, 주소, 이름 등)를 입력 받기 위한 GUI(720)를 디스플레이부(12) 상에 제공할 수 있다. And, as shown in (b) and (c) of FIG. 7A, the control unit 130 receives the target user's identification information (e.g., phone number, employee number, account information, address, name, etc.) from the target user. A GUI 720 for receiving input may be provided on the display unit 12.
이와 같이, 사용자 DB에 상기 타겟 유저의 얼굴 이미지에 대응되는 사용자 정보가 존재하지 않는 경우, 도 7a의 (b)에 도시된 것과 같이, 디스플레이부(12)에는, 상기 타겟 유저의 식별 정보를 입력 받기 위한 GUI(Graphic User Interface)가 표시될 수 있다. 제어부(130)는 제공된 GUI(720)를 통해 입력된 타겟 유저의 식별 정보를 이용하여, 사용자 DB로부터 타겟 유저에 해당하는 인물을 검색하고, 검색된 인물(예를 들어, 김진*)에 대응되는 사용자 정보를 이용하여 타겟 유저에 대한 사용자 인증을 수행할 수 있다. In this way, when there is no user information corresponding to the face image of the target user in the user DB, the identification information of the target user is input to the display unit 12, as shown in (b) of FIG. 7A. A graphic user interface (GUI) for receiving may be displayed. The control unit 130 searches for a person corresponding to the target user from the user DB using the identification information of the target user input through the provided GUI 720, and uses the user corresponding to the searched person (for example, Jin Kim*). The information can be used to perform user authentication for the target user.
나아가, 제어부(130)는 상기 카메라(11)로부터 센싱된 타겟 유저의 얼굴 이미지를, 상기 검색된 인물의 참조 이미지로서 등록하기 위한 프로세스를 진행할 수 있다. 즉, 제어부(130)는 검색된 인물의 사용자 정보에, 상기 타겟 유저의 얼굴 이미지를 포함시켜, 상기 타겟 유저가, 다음 번에, 얼굴 인식 방법을 통하여 사용자 인증을 수행하도록 할 수 있다.Furthermore, the control unit 130 may proceed with a process to register the face image of the target user sensed by the camera 11 as a reference image of the searched person. That is, the control unit 130 can include the target user's face image in the user information of the searched person, so that the target user can perform user authentication through a face recognition method the next time.
이를 위하여, 제어부(130)는 도 7b의 (a) 및 (b)에 도시된 것과 같이, 타겟 유저의 얼굴 이미지를 등록하는 것을 타겟 유저로부터 선택받기 위한 GUI(740)를 디스플레이부(12) 상에 출력시킬 수 있다. 타겟 유저에 의해 상기 GUI(740)가 선택되는 경우, 제어부(130)는 타겟 유저의 얼굴 이미지가, 상기 타겟 유저의 사용자 정보에 대응되는 인물의 참조 얼굴 이미지로서 등록되도록 사용자 DB를 업데이트할 수 있다.To this end, as shown in (a) and (b) of FIG. 7B, the control unit 130 displays a GUI 740 on the display unit 12 for receiving a selection from the target user to register the target user's face image. It can be output to . When the GUI 740 is selected by the target user, the control unit 130 may update the user DB so that the target user's face image is registered as a reference face image of the person corresponding to the target user's user information. .
한편, 제어부(130)는, 사용자 DB에 상기 타겟 유저의 참조 얼굴 이미지가 미등록된 상태에서, 상기 타겟 유저가 얼굴 인식 방법이 아닌 다른 사용자 인증 방법으로 사용자 인증이 기 설정된 횟수만큼 이루어진 경우, 상기 타겟 유저의 얼굴 이미지를 참조 이미지로 등록하기 위한 프로세스를 진행할 수 있다.Meanwhile, the control unit 130, when the target user is authenticated a preset number of times using a user authentication method other than a face recognition method while the reference face image of the target user is not registered in the user DB, the target user A process can be performed to register the user's face image as a reference image.
보다 구체적으로 제어부(130)는 상기 기 설정된 횟수만큼의 사용자 인증이 이루어지는 동안, 타겟 유저의 복수의 얼굴 이미지들 간에 유사도를 분석할 수 있다. 즉, 제어부(130)는 상기 다른 사용자 인증 방법으로 상기 타겟 유저에 대한 사용자 인증이 진행되는 경우이더라도, 카메라(11)를 통해 타겟 유저의 얼굴 이미지를 획득하고, 획득된 얼굴 이미지를 저장부(120)에 저장할 수 있다.More specifically, the control unit 130 may analyze the degree of similarity between a plurality of face images of the target user while user authentication is performed the preset number of times. That is, even if user authentication for the target user is performed using the other user authentication method, the control unit 130 acquires the face image of the target user through the camera 11 and stores the acquired face image in the storage unit 120. ) can be saved in .
그리고, 제어부(130)는, 상기 기 설정된 횟수만큼에 걸쳐, 다른 사용자 인증 방법으로 사용자 인증이 이루어지는 상황에서 획득된 복수의 타겟 유저의 얼굴 이미지들 간의 유사도를 분석할 수 있다. 그리고, 복수의 타겟 유저의 얼굴 이미지들 간의 유사도가 기 설정된 유사도 기준을 만족하는 경우, 타겟 유저의 얼굴 이미지를 등록하기 위한 프로세스를 진행할 수 있다.In addition, the control unit 130 may analyze the similarity between face images of a plurality of target users obtained in a situation where user authentication is performed using a different user authentication method over the preset number of times. And, if the similarity between the face images of a plurality of target users satisfies a preset similarity standard, a process for registering the face image of the target user may be performed.
즉, 제어부(130)는 다른 인증 방법으로 사용자 인증을 수행한 타겟 유저가, 사용자 인증의 대상에 해당하는 진정한 사용자가 맞는지를 확인하기 위하여, 서로 다른 시점에 획득된 타겟 유저의 얼굴 이미지들 간의 비교를 수행할 수 있다. 따라서, 제어부(130)는, 이미지 비교 결과, 동일한 타겟 유저가 복수번(또는 기 설정된 횟수만큼)에 걸쳐, 동일한 인물에 대해 사용자 인증을 수행한 경우에 한하여, 얼굴 이미지를 등록하기 위한 프로세스를 진행할 수 있다. That is, the control unit 130 compares face images of the target user acquired at different times to confirm whether the target user who has performed user authentication using a different authentication method is the true user subject to user authentication. can be performed. Accordingly, the control unit 130 may proceed with the process for registering the face image only if, as a result of image comparison, the same target user has performed user authentication for the same person multiple times (or a preset number of times). You can.
이상에서 살펴본 것과 같이, 본 발명에 따른 사용자 인증 방법 및 시스템은, 사용자의 의도를 파악하여, 보다 직관적으로 사용자 인증을 수행할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다. As discussed above, the user authentication method and system according to the present invention are intended to provide a user authentication method and system that can perform user authentication more intuitively by identifying the user's intention.
나아가, 본 발명은, 사용자의 직접적인 정보 입력 없이도, 사용자에 대한 인증을 수행할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.Furthermore, the present invention is intended to provide a user authentication method and system that can authenticate a user without direct input of information by the user.
더 나아가, 본 발명은, 사용자 인증을 수행할지에 대한 사용자의 진정한 의도를 파악하여 사용자 인증을 완료할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.Furthermore, the present invention is intended to provide a user authentication method and system that can complete user authentication by determining the user's true intention to perform user authentication.
한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. Meanwhile, computer-readable media includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is.
나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 전자기기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.Furthermore, the computer-readable medium may be a server or cloud storage that includes storage and can be accessed by electronic devices through communication. In this case, the computer can download the program according to the present invention from a server or cloud storage through wired or wireless communication.
나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 전자기기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.Furthermore, in the present invention, the computer described above is an electronic device equipped with a processor, that is, a CPU (Central Processing Unit), and there is no particular limitation on its type.
한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Meanwhile, the above detailed description should not be construed as restrictive in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
Claims (7)
사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 단계;
상기 사용자 정보의 적어도 일부와 사용자 인증이 요구되는 타겟 기능에 관한 타겟 기능 정보를 제공하는 단계;
상기 카메라를 통해 상기 타겟 유저의 제스처를 센싱하는 단계; 및
상기 타겟 유저의 제스처를 이용하여, 상기 타겟 기능의 실행을 승인 또는 거절을 위한 사용자 인증을 수행하는 단계를 포함하고,
상기 사용자 인증을 수행하는 단계에서는,
상기 타겟 유저의 제스처가, 상기 타겟 기능의 실행을 승인하기 위하여 상기 사용자 인증에 동의하는 제어명령에 기 매칭된 제스처인지 여부에 따라, 상기 타겟 기능의 실행을 승인하기 위한 상기 사용자 인증의 결과가 달라지는 것을 특징으로 하는 사용자 인증 방법.Sensing a face image of a target user using a camera;
Extracting user information corresponding to the face image from a user DB;
providing at least part of the user information and target function information regarding a target function for which user authentication is required;
Sensing the target user's gesture through the camera; and
Comprising the step of performing user authentication to approve or reject execution of the target function using the target user's gesture,
In the step of performing the user authentication,
Depending on whether the target user's gesture is a gesture that has already been matched to a control command agreeing to the user authentication to approve execution of the target function, the result of the user authentication for approving execution of the target function varies. A user authentication method characterized by:
상기 적어도 일부의 사용자 정보 및 상기 타겟 기능 정보가 제공된 후 센싱되는 상기 타겟 유저의 제스처에 근거하여 상기 사용자 인증을 수행하는 것을 특징으로 하는 사용자 인증 방법. The method of claim 1, wherein in performing the user authentication,
A user authentication method characterized in that the user authentication is performed based on a gesture of the target user sensed after the at least some of the user information and the target function information are provided.
상기 사용자 인증을 수행하는 단계에서는,
상기 타겟 유저의 제스처가, 상기 타겟 기능의 실행을 승인하는 제어 명령에 매칭된 기 설정된 제1 제스처에 대응되는 경우,
상기 타겟 기능의 실행을 위한 사용자 인증을 성공으로 처리하고,
상기 타겟 유저의 제스처가, 상기 타겟 기능의 실행을 거절하는 제어 명령에 매칭된 기 설정된 제2 제스처에 대응되는 경우,
상기 타겟 기능의 실행을 위한 사용자 인증을 실패로 처리하는 것을 특징으로 하는 사용자 인증 방법.According to paragraph 1,
In the step of performing the user authentication,
When the target user's gesture corresponds to a preset first gesture matched to a control command authorizing execution of the target function,
User authentication for execution of the target function is successfully processed,
When the target user's gesture corresponds to a preset second gesture matched to a control command that refuses execution of the target function,
A user authentication method characterized in that user authentication for executing the target function is treated as failure.
상기 사용자 인증을 수행하는 단계에서는,
상기 타겟 유저에 대한 사용자 인증이 수행되고 있는 상태에서, 상기 카메라를 통해 상기 타겟 유저와 다른 유저의 얼굴 이미지가 센싱 되더라도, 상기 타겟 유저에 대한 사용자 인증을 수행하는 것을 특징으로 하는 사용자 인증 방법.According to paragraph 1,
In the step of performing the user authentication,
A user authentication method characterized in that, while user authentication for the target user is being performed, user authentication for the target user is performed even if facial images of a user other than the target user are sensed through the camera.
상기 얼굴 이미지를 검출하는 단계에서는,
상기 카메라에서 센싱되는 상기 타겟 유저의 얼굴 이미지가, 기 설정된 인증 조건을 만족하는지 판단하고,
판단 결과, 상기 기 설정된 인증 조건을 만족하지 않는 경우, 상기 기 설정된 인증 조건을 만족하기 위한 가이드 정보를 제공하는 것을 특징으로 하는 사용자 인증 방법.According to paragraph 1,
In the step of detecting the face image,
Determine whether the face image of the target user sensed by the camera satisfies preset authentication conditions,
As a result of the determination, if the preset authentication conditions are not satisfied, a user authentication method comprising providing guide information for satisfying the preset authentication conditions.
사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 제어부를 포함하고,
상기 제어부는,
상기 사용자 정보의 적어도 일부와 사용자 인증이 요구되는 타겟 기능에 관한 타겟 기능 정보를 제공하고,
상기 카메라를 통해 상기 타겟 유저의 제스처를 센싱하고,
상기 타겟 유저의 제스처를 이용하여, 상기 타겟 기능의 실행을 승인 또는 거절을 위한 사용자 인증을 수행하며,
상기 사용자 인증을 수행하는 것은,
상기 타겟 유저의 제스처가, 상기 타겟 기능의 실행을 승인하기 위하여 상기 사용자 인증에 동의하는 제어명령에 기 매칭된 제스처인지 여부에 따라, 상기 타겟 기능의 실행을 승인하기 위한 상기 사용자 인증의 결과가 달라지는 것을 특징으로 하는 사용자 인증 시스템.A camera unit that senses a face image of a target user and a gesture of the target user; and
A control unit that extracts user information corresponding to the face image from a user DB,
The control unit,
Providing at least part of the user information and target function information regarding target functions requiring user authentication,
Sensing the target user's gesture through the camera,
Using the target user's gestures, user authentication is performed to approve or reject execution of the target function,
Performing the user authentication involves:
Depending on whether the target user's gesture is a gesture that has already been matched to a control command agreeing to the user authentication to approve execution of the target function, the result of the user authentication for approving execution of the target function varies. A user authentication system characterized by:
상기 컴퓨터 프로그램은,
카메라를 이용하여, 타겟 유저의 얼굴 이미지 및 상기 타겟 유저의 제스처를 센싱하는 단계;
사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 단계;
상기 사용자 정보의 적어도 일부와 사용자 인증이 요구되는 타겟 기능에 관한 타겟 기능 정보를 제공하는 단계;
상기 카메라를 통해 상기 타겟 유저의 제스처를 센싱하는 단계; 및
상기 타겟 유저의 제스처를 이용하여, 상기 타겟 기능의 실행을 승인 또는 거절을 위한 사용자 인증을 수행하는 단계를 포함하고,
상기 사용자 인증을 수행하는 단계에서는,
상기 타겟 유저의 제스처가, 상기 타겟 기능의 실행을 승인하기 위하여 상기 사용자 인증에 동의하는 제어명령에 기 매칭된 제스처인지 여부에 따라, 상기 타겟 기능의 실행을 승인하기 위한 상기 사용자 인증의 결과가 달라지는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 매체에 저장된 컴퓨터 프로그램.A computer program that is executed by one or more processes in an electronic device and stored on a computer-readable medium,
The computer program is,
Using a camera, sensing a facial image of a target user and a gesture of the target user;
Extracting user information corresponding to the face image from a user DB;
providing at least part of the user information and target function information regarding a target function for which user authentication is required;
Sensing the target user's gesture through the camera; and
Comprising the step of performing user authentication to approve or reject execution of the target function using the target user's gesture,
In the step of performing the user authentication,
Depending on whether the target user's gesture is a gesture that has already been matched to a control command agreeing to the user authentication to approve execution of the target function, the result of the user authentication for approving execution of the target function varies. A computer program stored on a computer-readable medium, characterized in that:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220161377A KR102629007B1 (en) | 2020-08-25 | 2022-11-28 | Method and ststem for user authentication |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200106938A KR102472956B1 (en) | 2020-08-25 | 2020-08-25 | Method and ststem for user authentication |
| KR1020220161377A KR102629007B1 (en) | 2020-08-25 | 2022-11-28 | Method and ststem for user authentication |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200106938A Division KR102472956B1 (en) | 2020-08-25 | 2020-08-25 | Method and ststem for user authentication |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220166227A KR20220166227A (en) | 2022-12-16 |
| KR102629007B1 true KR102629007B1 (en) | 2024-01-25 |
Family
ID=80494856
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200106938A KR102472956B1 (en) | 2020-08-25 | 2020-08-25 | Method and ststem for user authentication |
| KR1020220161377A KR102629007B1 (en) | 2020-08-25 | 2022-11-28 | Method and ststem for user authentication |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200106938A KR102472956B1 (en) | 2020-08-25 | 2020-08-25 | Method and ststem for user authentication |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP7125460B2 (en) |
| KR (2) | KR102472956B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230283603A1 (en) * | 2022-03-04 | 2023-09-07 | Micro Focus Llc | Dynamic biometric combination authentication |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009093399A (en) | 2007-10-09 | 2009-04-30 | Panasonic Corp | Information display device |
| KR20100041562A (en) * | 2008-10-14 | 2010-04-22 | (주) 위트젠 | Method and system for performing user authentication by face recognizing and fingerprint recognizing of user needing an authentication |
| JP5584578B2 (en) * | 2010-10-08 | 2014-09-03 | 富士通株式会社 | Biometric information registration / authentication device and registration / authentication method thereof |
| US8457367B1 (en) * | 2012-06-26 | 2013-06-04 | Google Inc. | Facial recognition |
| JP6011165B2 (en) | 2012-08-31 | 2016-10-19 | オムロン株式会社 | Gesture recognition device, control method thereof, display device, and control program |
| KR20150007403A (en) * | 2013-07-10 | 2015-01-21 | 삼성전자주식회사 | Apparatus and method for operating information searching data of persons and person recognizes method using the same |
| EP2924539B1 (en) | 2014-03-27 | 2019-04-17 | Lg Electronics Inc. | Display device and operating method thereof using gestures |
| JP6092485B2 (en) | 2014-07-24 | 2017-03-08 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device |
| KR102386893B1 (en) * | 2014-11-13 | 2022-04-15 | 삼성전자 주식회사 | Method for securing image data and electronic device implementing the same |
| KR20160090992A (en) * | 2015-01-23 | 2016-08-02 | 박현수 | Security system, apparatus, and method using supplemental code |
| JP6475581B2 (en) | 2015-07-03 | 2019-02-27 | 京セラ株式会社 | Portable electronic device, control method, and control program |
| JP6897831B2 (en) | 2015-09-03 | 2021-07-07 | 日本電気株式会社 | Authentication device, security system, control method and program by authentication device |
| US10354126B1 (en) | 2016-04-26 | 2019-07-16 | Massachusetts Mutual Life Insurance Company | Access control through multi-factor image authentication |
| CN106095340B (en) | 2016-06-14 | 2021-04-13 | 深圳市国华识别科技开发有限公司 | Measuring instrument data storage method and device |
| JP7004379B2 (en) | 2017-03-31 | 2022-01-21 | Ｎｅｃプラットフォームズ株式会社 | Authentication device, authentication method, and authentication program |
| JP6789170B2 (en) | 2017-04-21 | 2020-11-25 | 株式会社ミクシィ | Display device, authentication method, and authentication program |
| CN110770693A (en) | 2017-06-21 | 2020-02-07 | 三菱电机株式会社 | Gesture operation device and gesture operation method |
| KR102581179B1 (en) * | 2018-05-14 | 2023-09-22 | 삼성전자주식회사 | Electronic device for perfoming biometric authentication and operation method thereof |
| JP7247579B2 (en) | 2018-12-27 | 2023-03-29 | 日本電気株式会社 | Information processing device, information processing method and program |
| SG11202106468QA (en) | 2018-12-27 | 2021-07-29 | Nec Corp | Information processing apparatus, information processing method, and program |
-
2020
- 2020-08-25 KR KR1020200106938A patent/KR102472956B1/en active IP Right Grant
- 2020-10-22 JP JP2020177544A patent/JP7125460B2/en active Active
-
2022
- 2022-08-12 JP JP2022128589A patent/JP7402940B2/en active Active
- 2022-11-28 KR KR1020220161377A patent/KR102629007B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220026198A (en) | 2022-03-04 |
| KR20220166227A (en) | 2022-12-16 |
| JP2022163168A (en) | 2022-10-25 |
| KR102472956B1 (en) | 2022-12-01 |
| JP7402940B2 (en) | 2023-12-21 |
| JP2022037845A (en) | 2022-03-09 |
| JP7125460B2 (en) | 2022-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9965608B2 (en) | Biometrics-based authentication method and apparatus | |
| KR102387568B1 (en) | Method and apparatus for authentication based on fingerprint recognition | |
| US20160226865A1 (en) | Motion based authentication systems and methods | |
| KR101326221B1 (en) | Facial feature detection | |
| US20190287083A1 (en) | Systems and methods for translating a gesture to initiate a financial transaction | |
| WO2020006252A1 (en) | Biometric authentication | |
| US9239917B2 (en) | Gesture controlled login | |
| JP6751072B2 (en) | Biometric system | |
| KR102166041B1 (en) | Method And Apparatus For Performing Authentication Based On Biometrics | |
| JP2013186851A (en) | Information processor for which input of information for cancelling security is required and log-in method | |
| JP2010049357A (en) | Authentication device, authentication system, and authentication method | |
| KR102629007B1 (en) | Method and ststem for user authentication | |
| CN113826135A (en) | System and method for contactless authentication using voice recognition | |
| US9424416B1 (en) | Accessing applications from secured states | |
| US20190258882A1 (en) | Enrollment scheme for an electronic device | |
| US11928199B2 (en) | Authentication system, authentication device, authentication method and program | |
| CN113378640A (en) | Palm biological recognition-based identity authentication method, device, equipment and medium | |
| KR102347567B1 (en) | Method and apparatus for personal authentication based on fingertip gesture recognition and fake pattern identification | |
| US20200311236A1 (en) | Electric device and control method thereof | |
| US20180157814A1 (en) | Personal authentication method and apparatus based on recognition of fingertip gesture and identification of fake pattern | |
| KR102624459B1 (en) | Electronic payment method and ststem based on face recognition | |
| US11227289B2 (en) | Systems and methods for user authentication using card-swipe sequence | |
| KR102581000B1 (en) | Method and ststem for providing assistant service | |
| US20230385587A1 (en) | Method for enabling fingerprint authentication for a smart card | |
| JP7509216B2 (en) | Input control device, input system, input control method and input control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |