KR20230064830A - 다중 생체 인식을 이용한 사용자 인증 방법 및 시스템 - Google Patents

다중 생체 인식을 이용한 사용자 인증 방법 및 시스템 Download PDF

Info

Publication number
KR20230064830A
KR20230064830A KR1020210150358A KR20210150358A KR20230064830A KR 20230064830 A KR20230064830 A KR 20230064830A KR 1020210150358 A KR1020210150358 A KR 1020210150358A KR 20210150358 A KR20210150358 A KR 20210150358A KR 20230064830 A KR20230064830 A KR 20230064830A
Authority
KR
South Korea
Prior art keywords
user
information
eye
image
image data
Prior art date
Application number
KR1020210150358A
Other languages
English (en)
Inventor
옥승호
오준석
이진영
임태원
전성호
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020210150358A priority Critical patent/KR20230064830A/ko
Publication of KR20230064830A publication Critical patent/KR20230064830A/ko
Priority to KR1020230133001A priority patent/KR20230145015A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06F21/46—Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2113—Multi-level security, e.g. mandatory access control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Collating Specific Patterns (AREA)
  • Ophthalmology & Optometry (AREA)

Abstract

다중 생체 인식을 이용한 사용자 인증 방법 및 시스템이 개시된다. 본 발명은 사용자의 얼굴이 포함된 영상 데이터를 획득하는 단계, 상기 영상 데이터에서 상기 사용자의 신원 정보를 획득하는 단계, 상기 영상 데이터에서 상기 사용자의 눈 깜빡임 정보를 획득하는 단계 및 상기 신원 정보 및 상기 눈 깜빡임 정보에 기초하여, 장치의 보안 상태를 변경하는 단계를 포함할 수 있다.

Description

다중 생체 인식을 이용한 사용자 인증 방법 및 시스템{METHOD AND SYSTEM FOR USER AUTHENTICATION USING MULTIPLE BIOMETRICS}
본 발명은 다중 생체 인식을 이용한 사용자 인증 방법 및 시스템에 관한 것이다. 보다 상세하게는 사용자의 신원 정보를 인식하고 사용자의 눈 깜빡임 정보를 통하여 사용자 인증을 하기 위한 방법 및 시스템에 관한 것이다.
사용자 단말은 비밀번호의 보안성을 유지하기 위해 다양한 기술을 적용하고 있다. 일 예로 사용자 단말은 사용자로부터 입력받은 비밀번호를 암호화하고 서버로 전송하여 인증을 요청한다.
하지만, 사용자가 손을 이용하여 터치 등의 방식으로 비밀번호를 입력하는 경우, 손자국이 남게되어 도둑이나 방문자가 비밀번호를 쉽게 인식하거나 유추할 수 있는 문제점이 존재하고 있었다.
또한, 생체 인식 기술은 개인마다 다른 지문, 얼굴, 홍채 등의 신체 특징을 인식하는 기술이다. 이와 같은 신체 특징은 열쇠나 비밀번호처럼 타인에게 도용이나 복제될 수 없으며, 변경되거나 분실할 위험성이 없어 보안 분야 등에 활용될 수도 있다.
이 중 얼굴 인식 기술은 비디오 혹은 사진 이미지에서 얼굴 영역을 검출한 후 검출된 얼굴 영역에 포함된 얼굴의 신원을 식별하는 기술을 포함하므로, 보안 분야뿐만 아니라 스마트 폰 또는 태블릿 PC 시대에 발맞추어 다양한 애플리케이션 등에도 활용될 수 있다.
일반적으로, 스마트 폰 또는 태블릿 PC와 같은 장치에서 사용되는 얼굴 인식 기술은 비디오 혹은 사진 이미지에서 얼굴 영역이 검출된 후 검출된 얼굴 이미지를 저장부에 기저장된 얼굴 이미지와 비교함에 의해서 사용자를 인증하여 장치의 잠금을 해제하게 된다.
그런데, 이 기술은 살아 움직이는 얼굴로부터 획득된 얼굴 이미지뿐만 아니라 사진으로부터 획득된 얼굴 이미지와 저장부에 기저장된 얼굴 이미지를 비교함에 의해서도 사용자를 인증하여 장치의 잠금을 해제하게 된다.
따라서, 실제 사용자가 아닌 다른 사용자가 실제 사용자의 얼굴 이미지를 획득하여 인증을 받을 수도 있기 때문에 보안에 취약한 단점이 있었다.
또한, 사용자를 인증하기 위하여 스캔되는 스캔된 얼굴 이미지는 조명 등과 같은 주변 환경에 의해서 달라질 수 있으며, 이에 따라, 등록된 얼굴 이미지와 스캔된 얼굴 이미지의 비교에 의해 얼굴을 인식할 때, 얼굴 인식력이 현저하게 떨어지게 되는 문제가 있었다. 또한, 동일한 사람의 얼굴이라도 시간의 경과에 따라 혹은 인위적인 화장 또는 시술 등에 따라 변화하는 것이 가능하기 때문에 스캔된 얼굴 이미지의 사람과 동일한 사람의 얼굴 이미지가 저장부에 저장되어 있는 경우에도 이를 동일인으로 인식하지 못하게 되는 문제점이 있었다.
한국공개특허번호 제10-2004-0067122호에 공개된 기술은 비밀 번호와 얼굴 인식 정보에 의해서 사용자를 인증하는 방법을 공개하고 있으며, 이 기술은 비밀 번호의 입력 결과가 얼굴 인식 성능에 영향을 주거나, 얼굴 인식 결과가 피드백되어 다음 인증 과정에 영향을 주도록 하여 등록된 사람이 인식되지 못하는 확률과 등록되지 않은 사람이 인증되는 확률을 함께 낮출 수 있습니다. 그러나, 이 기술은 사용자의 사진을 이용하여 얼굴을 인증하는 것이 가능하기 때문에 보안에 취약하다는 문제점이 있었다.
KR20040067122A (발명의 명칭: 사용자 인증 방법 및 장치)
본 발명의 목적은 다중 생체 인식을 통하여 보다 뛰어난 보안 기능을 제공하는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.
또한, 본 발명의 목적은 사용시 흔적을 남길 수밖에 없는 접촉식 보안 체계를 벗어나 보다 안전한 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.
또한, 본 발명의 목적은 안면 인식만을 사용한 사용자 인증의 한계를 극복할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.
상술한 문제점을 해결하기 위하여, 본 발명은 사용자의 얼굴이 포함된 영상 데이터를 획득하는 단계, 상기 영상 데이터에서 상기 사용자의 신원 정보를 획득하는 단계, 상기 영상 데이터에서 상기 사용자의 눈 깜빡임 정보를 획득하는 단계 및 상기 신원 정보 및 상기 눈 깜빡임 정보에 기초하여, 장치의 보안 상태를 변경하는 단계를 포함할 수 있다.
또한, 상기 사용자의 신원 정보를 획득하는 단계는 상기 사용자의 얼굴 이미지의 특징 정보를 추출하는 단계, 상기 특징 정보와 미리 저장된 특징 정보를 비교하는 단계 및 상기 비교의 결과를 기초로 상기 사용자의 신원 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 사용자의 얼굴 이미지의 특징 정보를 추출하는 단계는 HOG(Histogram of oriented gradient) 또는 CNN(Convolutional neural network) 알고리즘을 이용하여 상기 얼굴 이미지의 특징 정보를 추출할 수 있다.
또한, 상기 사용자의 눈 깜빡임 정보를 획득하는 단계는, 상기 사용자의 눈 이미지의 특징 정보를 추출하는 단계 및 상기 사용자의 눈 깜빡임에 대한 패턴 정보를 추출하는 단계를 포함하고, 상기 눈 깜빡임 정보는 상기 눈 깜빡임에 대한 패턴 정보일 수 있다.
또한, 상기 패턴 정보는 상기 사용자의 왼쪽 및 오른쪽 눈 깜빡임 동작에 대한의 패턴 정보이고, 상기 장치의 보안 상태를 변경하는 단계는 상기 패턴 정보를 기초로 을 사용하여 상기 장치의 보안 해제상태를 변경하기 위한 데이터로를 생성할 수 있다.
또한, 상기 장치의 보안 상태를 변경하는 단계는 상기 패턴 정보를 비밀번호 정보로 변환하는 단계 및 상기 신원 정보 및 상기 비밀번호 정보를 기초로 상기 장치의 보안 상태를 변경하는 단계를 포함할 수 있다.
또한, 상술한 문제점을 해결하기 위하여, 본 발명은 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상술한 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체일 수 있다.
또한, 상술한 문제점을 해결하기 위하여, 본 발명은 사용자의 얼굴을 포함하는 영상 데이터를 생성하는 카메라 장치 및 상기 영상 데이터로부터 상기 사용자의 신원 정보를 획득하고, 상기 사용자의 눈 깜빡임 정보를 획득하여, 장치의 보안 상태를 변경하는 컴퓨팅 장치를 포함할 수 있다.
본 발명은 보안 장치에 사용자의 직접적인 접촉이 없이 사용자 인증이 가능하여, 사용자가 인증시 물리적인 흔적을 남기지 않는다는 효과를 가진다.
또한, 본 발명은 안면 인식만을 사용하는 경우 사진 등으로 보안이 해제된다는 문제점을 해결하여, 보다 향상된 보안성을 제공할 수 있다는 효과를 가진다.
또한, 본 발명은 특유의 이미지 필터를 활용하여 사용자의 얼굴과 눈의 특징 정보를 정확하게 인식할 수 있는 효과를 가진다.
본 발명에 따라 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 보호부의 외부면으로부터 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 다중 생체 인식을 이용한 사용자 인증 방법을 나타낸 것이다.
도 2는 본 발명에 따른 신원 정보를 획득하는 단계를 나타낸 것이다.
도 3은 본 발명에 따른 영상 데이터에서 사용자의 눈 깜빡임 정보를 획득하는 단계를 나타낸 것이다.
도 4는 본 발명에 따른 눈 이미지의 특징 정보를 추출하는 프로세스를 나타낸 것이다.
도 5는 본 발명에 따른 눈 깜빡임에 대한 패턴 정보를 추출하는 프로세스를 나타낸 것이다.
도 6은 본 발명에 따른 신원 정보 및 눈 깜빡임 정보에 기초하여, 장치의 보안 상태를 변경하는 단계를 나타낸 것이다.
도 7(a)는 얼굴 인식된 것을 나타낸 것이고, 도 7(b)는 패턴 정보가 이진법 숫자로 구성된 비밀번호 정보로 변환된 것을 나타낸 것이다.
도 8 및 도 9는 본 발명에 따른 비밀번호 설정 과정을 나타낸 것이다.
도 10 및 도 11은 본 발명에 따른 비밀번호 정보 삭제 과정을 나타낸 것이다.
도 12는 본 발명에 따른 보안 상태를 변경하는 과정의 예시를 나타낸 것이다.
도 13은 본 발명에 따른 다중 생체 인식을 이용한 사용자 인증 시스템을 나타낸 것이다.
도 14는 본 발명에 따른 컴퓨팅 장치를 나타낸 것이다.
도 15는 본 발명에 따른 이미지 보정 필터의 예시를 나타낸 도면이고, 도 16은 본 발명에 따른 HSV 그래프를 나타낸 것이다.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 보호부의 외부면된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 상술한 내용들을 바탕으로 본 명세서의 바람직한 일 실시예에 따른, 다중 생체 인식을 이용한 사용자 인증 방법에 관하여 상세히 설명하면 다음과 같다. 본 발명에 따른 다중 생체 인식을 이용한 사용자 인증 방법을 수행하는 주체는 후술할 컴퓨팅 장치 또는 컴퓨팅 장치에 포함된 프로세서일 수 있다.
도 1은 다중 생체 인식을 이용한 사용자 인증 방법을 나타낸 것이다.
도 1에 따르면, 본 발명에 따른 다중 생체 인식을 이용한 사용자 인증 방법은 사용자의 얼굴이 포함된 영상 데이터를 획득하는 단계(S1100), 영상 데이터에서 사용자의 신원 정보를 획득하는 단계(S1200), 영상 데이터에서 사용자의 눈 깜빡임 정보를 획득하는 단계(S1300), 및 신원 정보 및 눈 깜빡임 정보에 기초하여, 장치의 보안 상태를 변경하는 단계(S1400)를 포함할 수 있다.
사용자의 얼굴이 포함된 영상 데이터를 획득하는 단계(S1100)는 카메라 장치로부터 사용자의 얼굴을 포함도록 촬영된 영상 테이터를 획득하는 단계일 수 있다.
영상 데이터에서 사용자의 신원 정보를 획득하는 단계(S1200)는 사용자의 생체 정보를 기초로 사용자의 신원 정보를 획득하는 단계일 수 있다. 즉, 신원 정보를 획득하는 단계(S1200)는 영상 데이터에서 추출된 사용자의 생체 정보와 미리 저장된 생체 정보를 비교하고, 비교 결과 양 생체 정보가 일치하면, 일치된 생체 정보에 대응하는 신원 정보를 획득할 수 있다.
영상 데이터에서 사용자의 눈 깜빡임 정보를 획득하는 단계(S1300)는 영상 데이터에 포함된 눈 이미지를 인식하고, 인식된 눈 이미지의 특징 정보를 추출할 수 있다. 눈 깜빡임 정보를 획득하는 단계(S1300)는 눈 이미지의 특징 정보를 기초로 눈 깜빡임에 대한 동작을 인식할 수 있다.
도 2는 본 발명에 따른 신원 정보를 획득하는 단계를 나타낸 것이다.
도 2에 따르면, 본 발명에 따른 영상 데이터에서 사용자의 신원 정보를 획득하는 단계(S1200)는 사용자의 얼굴 이미지의 특징 정보를 추출하는 단계(S1210), 추출된 특징 정보와 미리 저장된 특징 정보를 비교하는 단계(S1220), 및 비교의 결과를 기초로 사용자의 신원 정보를 획득하는 단계(S1230)를 포함할 수 있다.
사용자의 얼굴 이미지의 특징 정보를 추출하는 단계(S1210)는 영상 데이터 속 얼굴 이미지의 특징 정보를 추출하되, 미리 학습된 얼굴 특징 추출 모듈을 이용하여 특징 정보를 추출할 수 있다. 즉, 얼굴 특징 추출 모듈은 face_recognition 라이브러리를 포함할 수 있고, 본 발명에 따른 특징 정보를 추출하는 단계(S1210)는 Dlib의 HOG(Histogram of oriented gradient) 특성을 사용할 수 있다.
추출된 특징 정보와 미리 저장된 특징 정보를 비교하는 단계(S1220)는 얼굴 이미지로부터 미리 정해진 기준에 따라 추출된 특징 정보들과 미리 저장된 특징 정보의 동일 정도를 판단하는 단계일 수 있다. 판단 결과, 동일 정도는 미리 정해진 기준에 따라 수치화되며, 수치화된 동일 정도가 미리 정해진 수치보가 큰 경우, 양 특징 정보는 동일한 것으로 판단될 수 있다.
비교의 결과를 기초로 사용자의 신원 정보를 획득하는 단계(S1230)는 양 특징 정보가 동일한 것으로 판단된 경우, 미리 저장된 특징 정보에 대응하는 신원 정보를 DB로부터 불러오는 단계일 수 있다. 결국, 영상 데이터 속 사용자의 신원 정보가 획득될 수 있다.
도 3은 본 발명에 따른 영상 데이터에서 사용자의 눈 깜빡임 정보를 획득하는 단계를 나타낸 것이다.
도 3에 따르면, 본 발명에 따른 눈 깜빡임 정보를 획득하는 단계(S1300)는 사용자의 눈 이미지의 특징 정보를 추출하는 단계(S1310) 및 사용자의 눈 깜빡임에 대한 패턴 정보를 추출하는 단계(S1320)를 포함할 수 있다.
사용자의 눈 이미지의 특징 정보를 추출하는 단계(S1310)는 영상 데이터 속 눈 이미지의 특징 정보를 추출하되, 미리 학습된 눈 특징 추출 모듈을 이용하여 특징 정보를 추출할 수 있다. 즉, 눈 특징 추출 모듈은 CNN 알고리즘을 사용하되, 뜬 눈과 감은 눈으로 구성된 Simple-blink-detector 이미지를 사용하여 학습된 모듈일 수 있다.
사용자의 눈 깜빡임에 대한 패턴 정보를 추출하는 단계(S1320)는 눈 특징 추출 모듈에 의하여 학습된 결과값을 기초로, 미리 정해진 시간 동안 사용자의 눈 깜빡임 여부를 인식할 수 있다. 미리 정해진 시간 동안 사용자의 왼쪽 눈과 오른쪽 눈의 깜빡임 여부에 대한 정보는 본 발명에서 패턴 정보로 호칭될 수 있다.
도 4는 본 발명에 따른 눈 이미지의 특징 정보를 추출하는 프로세스를 나타낸 것이다.
도 4에 따르면, 카메라 장치로부터 사용자 얼굴 이미지가 포함된 영상 데이터가 획득되면, 영상 데이터에서 사용자 얼굴이 인식되고, 사용자 얼굴의 특징 정보를 획득하기 위하여 Dlib의 HOG 특성이 사용되며, 이를 통하여 얼굴 부위에 대한 특징 정보가 추출될 수 있다. 또한, 얼굴 이미지 속에서 눈 이미지가 추출되며, 추출된 눈 이미지에서 미리 학습된 데이터에 기초하여 눈 깜빡임에 대한 패턴 정보가 인식될 수 있다.
도 5는 본 발명에 따른 눈 깜빡임에 대한 패턴 정보를 추출하는 프로세스를 나타낸 것이다.
도 5에 따르면, 미리 입력된 눈 이미지를 학습한 눈 특징 추출 모듈을 이용하여 눈 깜빡임에 대한 패턴 정보가 추출될 수 있다. 미리 입력된 눈 이미지는 "감은 상태의 오른쪽 눈", "뜬 상태의 오른쪽 눈", "감은 상태의 왼쪽 눈", "뜬 상태의 왼쪽 눈"의 총 4가지 종류의 이미지들을 포함할 수 있다. 눈 특징 추출 모듈은 위 4가지 종류의 이미지들을 학습할 수 있다. 눈 특징 추출 모듈은 CNN 알고리즘을 통하여 위 4가지 종류의 이미지들을 학습하고, 학습 결과를 이용하여 사용자의 눈 깜빡임에 대한 패턴 정보를 추출할 수 있다.
도 6은 본 발명에 따른 신원 정보 및 눈 깜빡임 정보에 기초하여, 장치의 보안 상태를 변경하는 단계를 나타낸 것이다.
도 6에 따르면, 본 발명에 따른 보안 상태를 변경하는 단계(S1400)는 패턴 정보를 이진법의 비밀번호 정보로 변환하는 단계(S1410) 및 신원 정보 및 비밀번호 정보를 기초로 장치의 보안 상태를 변경하는 단계(S1420)를 포함할 수 있다.
패턴 정보를 이진법의 비밀번호 정보로 변환하는 단계(S1410)는 눈 깜빡임 정보를 이진법의 비밀번호 정보로 변환하는 단계일 수 있다. 일 예로, 사용자가 왼쪽 눈을 한번 깜빡인 경우 미리 할당된 이진법의 한 숫자가 매칭되고, 사용자가 오른쪽 눈을 한번 깜빡인 경우 미리 할당된 이진법의 다른 숫자가 매칭될 수 있다.
장치의 보안 상태를 변경하는 단계(S1420)는 장치의 보안을 잠금 상태에서 개방 상태로 변경하거나, 반대로 개방 상태에서 잠금 상태로 변경하는 단계를 의미할 수 있다. 즉, 신원 정보 및 비밀번호 정보의 2가지 보안 단계가 통과되면, 장치의 보안 상태는 일 상태에서 다른 상태로 변경될 수 있다.
도 7(a)는 얼굴 인식된 것을 나타낸 것이고, 도 7(b)는 패턴 정보가 이진법 숫자로 구성된 비밀번호 정보로 변환된 것을 나타낸 것이다.
도 7(a)에 따르면, 미리 학습된 학습값을 기초로 사용자의 얼굴이 인식된 것을 확인할 수 있다. 도 7(b)에 따르면, 사용자의 오른쪽 눈은 뜬 상태이고, 사용자의 왼쪽 눈은 감은 상태로서, 사용자의 오른쪽 눈에 대하여 1, 0의 이진법 숫자가 매칭되고, 사용자의 왼쪽 눈에 대하여 0, 0의 이진법 숫자가 매칭되며, 이를 통하여 비밀번호 정보는 1, 0, 0, 0으로 추출될 수 있다. 1, 0, 0, 0이 미리 저장된 비밀번호 정보와 동일하면, 장치의 보안 상태가 변경될 수 있다.
도 8 및 도 9는 본 발명에 따른 비밀번호 설정 과정을 나타낸 것이다.
도 8 및 도 9에 따르면, 본 발명에 따른 사용자 인증을 진행하기에 앞서서, 본 발명은 눈 깜빡임 촬영을 통하여 비밀번호 정보를 획득하는 단계를 더 포함할 수 있다.
본 발명에 따른 비밀번호 정보를 획득하는 단계는 사용자로부터 눈 깜빡임 정보를 상술한 방식과 동일한 방식으로 이진법 숫자로 변환하고, 변환된 이진법 숫자를 비밀번호 정보로서 저장하는 단계일 수 있다.
비밀번호 정보를 획득하는 단계는 사용자 정보를 수신하는 단계, 사용자의 눈 깜빡임에 따른 패턴 정보를 수신하는 단계, 수신한 패턴 정보를 이진법 숫자의 비밀번호 정보로 변환하는 단계, 변환된 비밀번호 정보와 수신한 사용자 정보를 매칭하는 단계, 및 수신한 사용자 정보 및 이와 매칭된 비밀번호 정보를 저장하는 단계를 포함할 수 있다.
도 10 및 도 11은 본 발명에 따른 비밀번호 정보 삭제 과정을 나타낸 것이다.
도 10 및 도 11에 따르면, 본 발명에 따른 사용자 인증을 진행한 이후, 본 발명은 눈 깜빡임 촬영을 통하여 미리 저장된 비밀번호 정보를 삭제하는 단계를 더 포함할 수 있다.
미리 저장된 비밀번호 정보를 삭제하는 단계는 사용자의 얼굴이 포함된 영상 데이터를 획득하는 단계, 영상 데이터에서 사용자의 얼굴 이미지의 특징 정보를 추출하는 단계, 특징 정보와 미리 저장된 특징 정보를 비교하는 단계, 비교의 결과를 기초로 사용자의 신원 정보를 획득하는 단계, 사용자의 눈 이미지의 특징 정보를 추출하는 단계, 사용자의 눈 깜빡임에 대한 패턴 정보를 추출하는 단계, 패턴 정보를 이진법의 비밀번호 정보로 변환하는 단계 및 신원 정보 및 비밀번호 정보를 기초로 장치의 비밀번호 정보를 삭제하는 단계를 포함할 수 있다.
도 12는 본 발명에 따른 보안 상태를 변경하는 과정의 예시를 나타낸 것이다.
도 12에 따르면, 본 발명에 따른 보안 상태를 변경하는 과정는 상술한 내용과 같이 신원 정보를 획득하고, 획득된 패턴 정보를 비밀번호 정보로 변경하여, 신원 정보 및 비밀번호 정보를 기초로 장치의 보안 상태를 잠금 상태에서 개방 상태로 변경하여 보안을 해제할 수 있다.
이하, 상술한 내용들을 바탕으로 본 명세서의 바람직한 다른 일 실시예에 따른, 다중 생체 인식을 이용한 사용자 인증 시스템에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 시스템에 대한 설명 중 상술한 일 실시예에 따른 방법에 대한 설명과 동일하거나 중복되는 내용은 생략될 수 있다.
도 13은 본 발명에 따른 다중 생체 인식을 이용한 사용자 인증 시스템을 나타낸 것이다.
도 13에 따르면, 본 발명에 따른 다중 생체 인식을 이용한 사용자 인증 시스템은 카메라 장치(100) 및 컴퓨팅 장치(200)를 포함할 수 있다.
본 발명에 따른 카메라 장치(100)는 사용자의 얼굴을 포함하는 영상 데이터를 생성할 수 있다. 영상 데이터는 복수의 이미지 데이터를 포함할 수 있다. 영상 데이터는 사용자의 얼굴 이미지를 포함하며, 얼굴 이미지는 사용자의 눈 이미지를 포함할 수 있다. 본 발명에 따른 카메라 장치(100)는 카메라 장치(100) 앞에 위치한 사용자의 안면을 촬영할 수 있다.
본 발명에 따른 컴퓨팅 장치(200)는 영상 데이터로부터 사용자의 신원 정보를 획득하고, 사용자의 눈 깜빡임 정보를 획득하여, 장치의 보안 상태를 변경할 수 있다. 이때, 컴퓨팅 장치(200)가 영상 데이터로부터 사용자의 신원 정보를 획득하는 방법 및 눈 깜빡임 정보를 획득하여 장치의 보안 상태를 변경하는 방법은 본 발명의 일 실시예에 따른 사용자 인증 방법에서 설명한 과정과 동일하므로 상세한 설명은 생략된다.
도 14는 본 발명에 따른 컴퓨팅 장치를 나타낸 것이다.
도 14에 따르면, 본 발명에 따른 컴퓨팅 장치는 프로세서(210), 메모리(220) 및 통신 모듈(230)을 포함할 수 있다.
프로세서(210)는 메모리(220)에 저장된 명령어를 실행하여 다른 구성들을 제어할 수 있다. 프로세서(210)는 메모리(220)에 저장된 명령어를 수행할 수 있다.
프로세서(210)는, 연산을 수행하고 다른 장치를 제어할 수 있는 구성이다. 주로, 중앙 연산 장치(CPU), 어플리케이션 프로세서(AP), 그래픽스 처리 장치(GPU) 등을 의미할 수 있다. 또한, CPU, AP 또는 GPU는 그 내부에 하나 또는 그 이상의 코어들을 포함할 수 있으며, CPU, AP 또는 GPU는 작동 전압과 클락 신호를 이용하여 작동할 수 있다. 다만, CPU 또는 AP는 직렬 처리에 최적화된 몇 개의 코어로 구성된 반면, GPU는 병렬 처리용으로 설계된 수 천 개의 보다 소형이고 효율적인 코어로 구성될 수 있다.
프로세서(210)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(220)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
메모리(220)는 컴퓨팅 장치(200)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(220)는 컴퓨팅 장치(200)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 컴퓨팅 장치(200)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 응용 프로그램은, 메모리(220)에 저장되고, 컴퓨팅 장치(200)에 설치되어, 프로세서(210)에 의하여 상기 컴퓨팅 장치(200)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
메모리(220)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(220)는 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수도 있다.
통신 모듈(230)은 안테나를 통해 기지국 또는 통신 기능을 포함하는 카메라와 정보의 송수신을 실행한다. 통신 모듈(230)은 변조부, 복조부, 신호 처리부 등을 포함할 수 있다. 또한, 통신 모듈(230)은 유선 통신 기능을 수행할 수 있다.
무선 통신은, 통신사들이 기존에 설치해둔 통신 시설과 그 통신 시설의 주파수를 사용하는 무선 통신망을 사용한 통신을 말할 수 있다. 이때, 통신 모듈(230)은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 등과 같은 다양한 무선 통신 시스템에 사용될 수 있으며, 뿐만 아니라, 통신 모듈(230)은 3GPP(3rd generation partnership project) LTE(long term evolution) 등에도 사용될 수 있다. 또한, 최근 상용화 중인 5G 통신뿐만 아니라, 추후 상용화가 예정되어 있는 6G 등도 사용될 수 있다. 다만, 본 명세서는 이와 같은 무선 통신 방식에 구애됨이 없이 기설치된 통신망을 활용할 수 있다.
또한, 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), BLE(Bluetooth Low Energy), 비콘(Beacon), RFID(Radio Frequency Identification), NFC(Near Field Communication), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
도 15는 본 발명에 따른 이미지 보정 필터의 예시를 나타낸 도면이고, 도 16은 본 발명에 따른 HSV 그래프를 나타낸 것이다.
도 15에 따르면, 필터의 종류와 기능이 나타나 있다. 즉, CNN 알고리즘은 복수의 레이어를 사용하는 학습 알고리즘일 수 있다. 또한, CNN 알고리즘은 이미지 분류 정확도를 최대화하는 필터를 자동으로 학습할 수 있으며, 합성곱 계층과 폴링 계층이라고 하는 새로운 층을 풀리 커넥티드 계층 이전에 추가함으로써 원본 이미지에 필터링 기법을 적용한 뒤에 필터링된 이미지에 대해 분류 연산을 수행할 수 있다. CNN 알고리즘은 합성곱 계층 (convolutional layer)과 풀링 계층 (pooling layer)이라고 하는 새로운 층을 fully-connected 계층 이전에 추가함으로써 원본 이미지에 필터링 기법을 적용한 뒤에 필터링된 이미에 대해 분류 연산이 수행되도록 구성될 수 있다.
이때, CNN 알고리즘을 사용한 이미지 필터에 대한 연산식은 아래의 수학식 1과 같다.
[수학식 1]
Figure pat00001
(단,
Figure pat00002
: 행렬로 표현된 필터링된 이미지의 i번째 행, j번째 열의 픽셀,
Figure pat00003
: 필터,
Figure pat00004
: 이미지,
Figure pat00005
: 필터의 높이 (행의 수),
Figure pat00006
: 필터의 너비 (열의 수)이다. )
바람직하게는, CNN 알고리즘을 사용한 이미지 필터에 대한 연산식은 아래의 수학식 2와 같다.
[수학식 2]
Figure pat00007
(단,
Figure pat00008
: 행렬로 표현된 필터링된 이미지의 i번째 행, j번째 열의 픽셀,
Figure pat00009
: 응용 필터
Figure pat00010
: 이미지,
Figure pat00011
: 응용 필터의 높이 (행의 수),
Figure pat00012
: 응용 필터의 너비 (열의 수)이다.)
바람직하게는,
Figure pat00013
는 응용 필터로서 사용자의 얼굴 이미지 및 눈 이미지가 표시된 영상 데이터를 학습하고 인식하기 위하여, 상기 영상 데이터에 적용되는 필터일 수 있다. 특히, 사용자 얼굴과 눈의 경우 형태 및 크기의 차이를 기초로 유형에 따라 분류될 수 있으므로, 형태 및 크기 등을 효과적으로 인지하기 위한 응용 필터가 필요할 수 있다. 이러한 필요성을 충족하기 위하여 응용 필터
Figure pat00014
는 아래의 수학식 3에 의하여 연산될 수 있다.
[수학식 3]
Figure pat00015
(단,
Figure pat00016
: 필터,
Figure pat00017
: 계수,
Figure pat00018
: 응용 필터)
이때, 각
Figure pat00019
에 따른 필터는 도 15에 따른 엣지 인식 필터(Edge detection), 샤픈 필터(sharpen) 및 박스 블러 필터(Box blur) 중 어느 하나의 행렬일 수 있다.
바람직하게,
Figure pat00020
를 구하는 연산식은 아래의 수학식 4와 같다. 이때,
Figure pat00021
는 필터의 효율을 높이기 위하여 사용되는 하나의 변수로서 해석될 수 있으며, 그 단위는 무시될 수 있다.
[수학식 4]
Figure pat00022
단, 이미지 촬영에 사용된 카메라의 렌즈의 직경(지름)은 mm 단위이고, 렌즈의 f값은 렌즈의 조리개값(F number)이며, HSV평균값은 이미지에 따른 색좌표를 HSV 그래프를 통하여 크기값으로 변환한 값을 평균한 값을 의미할 수 있다. HSV값에 대한 구체적인 내용은 아래와 같다.
도 16에 따르면, 본 발명에 따른 HSV 그래프는 지각적인 특성이 반영된 색 공간을 의미할 수 있다. H(Hue, 0~360°)는 색조를 의미할 수 있고, S(Saturation, 0~100%)는 채도를 의미할 수 있으며, V(Value, 0~100%)는 명도를 의미할 수 있다. 색조, 채도 및 명도 값을 HSV 값이라고 할 수 있으며, 이는 Adobe illustrator cc 2019 등 그래픽 툴을 이용하여 쉽게 추출될 수 있다.
본 발명에 따른 HSV 평균값은 도 16의 HSV 3차원 좌표를 통하여 획득될 수 있다. 즉, 본 발명에 따른 HSV 평균값은 그래픽 툴을 통하여 획득된 HSV 값을 기초로 계산될 수 있다. HSV 3차원 좌표상의 원점좌표를 기준점으로 측정된 HSV 좌표의 거리값은 상술한 HSV 평균값을 구성할 수 있다. 즉, 본 발명에 따른 이미지는 가축에 대한 이미지를 포함하고, 이미지의 HSV 색상좌표는 HSV 3차원 좌표 중 일정 영역에서 분포될 수 있다. 따라서, 본 발명에 따른 HSV 평균값은 일정 영역의 색상에 대한 HSV 좌표들의 평균을 이용한 평균 좌표를 기초로 계산된 원점좌표와의 거리값을 의미할 수 있다.
[실험예]
본 발명에 따른 영상 데이터에 대하여, 본 발명의 응용 필터 F'를 적용하는 경우에 실제 사용자의 얼굴 및 눈의 인식 정확도를 살펴보면 아래와 같다. 아래 표는 해당 기술분야 종사자에 의뢰하여, 필터 적용 여부 등에 따라 인식 결과의 정확도를 수치로서 나타낸 것이다.
필터 적용 없음 필터
Figure pat00023
적용		 필터
Figure pat00024
적용
정확도 (점수) 88 95 99
상기 표 1은 전문가로부터 평가된 정확도에 대한 점수를 각 케이스별로 나타낸 것이다. 본 실험예는 120개의 서로 다른 사용자의 얼굴 이미지 및 눈 이미지를 포함하는 영상 데이터를 기초로 실험된 것이며, 실제 사용자의 얼굴 이미지 및 눈 이미지에 대한 특징점을 추출하여 신원 정보를 도출한 결과에 대한 정확도를 100점 만점으로 측정한 것이다.
표 5에서 확인할 수 있는 것과 같이, 필터 적용 없는 경우, 얼굴 이미지에 대한 인식에 오류가 발생할 확률이 존재하여 상대적으로 낮은 정확도로 평가되었다. 이에 비하여, 일반 CNN 필터 F를 적용한 경우 다소 정확도가 높았으나, 응용 필터 F'를 적용하는 경우의 정확도가 현저하게 향상되는 것이 확인된다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 모델링하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 모델링되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 명세서의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 명세서의 등가적 범위 내에서의 모든 변경은 본 명세서의 범위에 포함된다.
앞에서 설명된 본 발명의 어떤 실시 예들 또는 다른 실시 예들은 서로 배타적이거나 구별되는 것은 아니다. 앞서 설명된 본 발명의 어떤 실시 예들 또는 다른 실시 예들은 각각의 구성 또는 기능이 병용되거나 조합될 수 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 카메라 장치
200: 컴퓨팅 장치

Claims (8)

  1. 사용자의 얼굴이 포함된 영상 데이터를 획득하는 단계;
    상기 영상 데이터에서 상기 사용자의 신원 정보을 획득하는 단계;
    상기 영상 데이터에서 상기 사용자의 눈 깜빡임 정보를 획득하는 단계; 및
    상기 신원 정보 및 상기 눈 깜빡임 정보에 기초하여, 장치의 보안 상태를 변경하는 단계;를 포함하는,
    다중 생체 인식을 이용한 사용자 인증 방법.
  2. 제1항에 있어서,
    상기 사용자의 신원 정보를 획득하는 단계는,
    상기 사용자의 얼굴 이미지의 특징 정보를 추출하는 단계;
    상기 특징 정보와 미리 저장된 특징 정보를 비교하는 단계; 및
    상기 비교의 결과를 기초로 상기 사용자의 신원 정보를 획득하는 단계;를 포함하는 것인,
    다중 생체 인식을 이용한 사용자 인증 방법.
  3. 제2항에 있어서,
    상기 사용자의 얼굴 이미지의 특징 정보를 추출하는 단계는,
    HOG(Histogram of oriented gradient) 또는 CNN(Convolutional neural network) 알고리즘을 이용하여 상기 얼굴 이미지의 특징 정보를 추출하는 것인,
    다중 생체 인식을 이용한 사용자 인증 방법.
  4. 제1항에 있어서,
    상기 사용자의 눈 깜빡임 정보를 획득하는 단계는,
    상기 사용자의 눈 이미지의 특징 정보를 추출하는 단계; 및
    상기 사용자의 눈 깜빡임에 대한 패턴 정보를 추출하는 단계;를 포함하고,
    상기 눈 깜빡임 정보는 상기 눈 깜빡임에 대한 패턴 정보인 것인,
    다중 생체 인식을 이용한 사용자 인증 방법.
  5. 제4항에 있어서,
    상기 패턴 정보는 상기 사용자의 왼쪽 및 오른쪽 눈 깜빡임 동작에 대한 패턴 정보이고,
    상기 장치의 보안 상태를 변경하는 단계는,
    상기 패턴 정보를 기초로 상기 장치의 보안 상태를 변경하기 위한 데이터를 생성하는 것인,
    다중 생체 인식을 이용한 사용자 인증 방법.
  6. 제5항에 있어서,
    상기 장치의 보안 상태를 변경하는 단계는,
    상기 패턴 정보를 비밀번호 정보로 변환하는 단계; 및
    상기 신원 정보 및 상기 비밀번호 정보를 기초로 상기 장치의 보안 상태를 변경하는 단계;를 포함하는 것인,
    다중 생체 인식을 이용한 사용자 인증 방법.
  7. 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어들은 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제7항 중 어느 한 항의 방법을 수행하게 하는,
    비일시적 컴퓨터 판독가능 매체.
  8. 사용자의 얼굴을 포함하는 영상 데이터를 생성하는 카메라 장치; 및
    상기 영상 데이터로부터 상기 사용자의 신원 정보를 획득하고, 상기 사용자의 눈 깜빡임 정보를 획득하여, 장치의 보안 상태를 변경하는 컴퓨팅 장치;를 포함하는,
    다중 생체 인식을 이용한 사용자 인증 시스템.
KR1020210150358A 2021-11-04 2021-11-04 다중 생체 인식을 이용한 사용자 인증 방법 및 시스템 KR20230064830A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210150358A KR20230064830A (ko) 2021-11-04 2021-11-04 다중 생체 인식을 이용한 사용자 인증 방법 및 시스템
KR1020230133001A KR20230145015A (ko) 2021-11-04 2023-10-06 다중 생체 인식을 이용한 사용자 인증 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210150358A KR20230064830A (ko) 2021-11-04 2021-11-04 다중 생체 인식을 이용한 사용자 인증 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230133001A Division KR20230145015A (ko) 2021-11-04 2023-10-06 다중 생체 인식을 이용한 사용자 인증 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20230064830A true KR20230064830A (ko) 2023-05-11

Family

ID=86379122

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210150358A KR20230064830A (ko) 2021-11-04 2021-11-04 다중 생체 인식을 이용한 사용자 인증 방법 및 시스템
KR1020230133001A KR20230145015A (ko) 2021-11-04 2023-10-06 다중 생체 인식을 이용한 사용자 인증 방법 및 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230133001A KR20230145015A (ko) 2021-11-04 2023-10-06 다중 생체 인식을 이용한 사용자 인증 방법 및 시스템

Country Status (1)

Country Link
KR (2) KR20230064830A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040067122A (ko) 2003-01-21 2004-07-30 삼성전자주식회사 사용자 인증 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040067122A (ko) 2003-01-21 2004-07-30 삼성전자주식회사 사용자 인증 방법 및 장치

Also Published As

Publication number Publication date
KR20230145015A (ko) 2023-10-17

Similar Documents

Publication Publication Date Title
KR101938033B1 (ko) 카메라 장착 디바이스들과 관련된 생체인식 인증
US9613428B2 (en) Fingerprint authentication using stitch and cut
CA2976049C (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
RU2589344C2 (ru) Способ, устройство и система аутентификации на основе биологических характеристик
US9508122B2 (en) Creating templates for fingerprint authentication
KR101998112B1 (ko) 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
US10922399B2 (en) Authentication verification using soft biometric traits
KR20190094352A (ko) 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
CN103678984A (zh) 一种利用摄像头实现用户身份验证的方法
KR20170046448A (ko) 복합 인증 장치 및 방법
Ilankumaran et al. Multi-biometric authentication system using finger vein and iris in cloud computing
KR101656212B1 (ko) 손동작 인식을 이용한 접근 제어 시스템, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
JP6311237B2 (ja) 照合装置及び照合方法、照合システム、並びにコンピュータ・プログラム
KR102225623B1 (ko) 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법
Alausa et al. Contactless palmprint recognition system: a survey
Wojciechowska et al. The overview of trends and challenges in mobile biometrics
KR20230064830A (ko) 다중 생체 인식을 이용한 사용자 인증 방법 및 시스템
Szymkowski et al. A multimodal face and fingerprint recognition biometrics system
Lee et al. A new mobile multimodal biometric device integrating finger vein and fingerprint recognition
CN105574508A (zh) 一种基于移动终端的掌纹识别解锁***
Otti The past, present and future of biometrics
Pavithra et al. Scale Invariant Feature Transform Based Face Recognition from a Single Sample per Person
Busch et al. Towards unattended and privacy protected border control
Xu et al. Anti-Software Attack Ear Identification System Using Deep Feature Learning and Blockchain Protection
Nguyen et al. Mobile User Re-authentication Using Clothing Information

Legal Events

Date Code Title Description
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2023101002135; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20231006

Effective date: 20231206