KR102493322B1 - 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법 - Google Patents

사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법 Download PDF

Info

Publication number
KR102493322B1
KR102493322B1 KR1020210033695A KR20210033695A KR102493322B1 KR 102493322 B1 KR102493322 B1 KR 102493322B1 KR 1020210033695 A KR1020210033695 A KR 1020210033695A KR 20210033695 A KR20210033695 A KR 20210033695A KR 102493322 B1 KR102493322 B1 KR 102493322B1
Authority
KR
South Korea
Prior art keywords
mask
image
user
user authentication
wearing
Prior art date
Application number
KR1020210033695A
Other languages
English (en)
Other versions
KR20220129169A (ko
Inventor
김익재
남기표
박해솔
조정현
홍제형
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020210033695A priority Critical patent/KR102493322B1/ko
Priority to US17/535,575 priority patent/US12019724B2/en
Publication of KR20220129169A publication Critical patent/KR20220129169A/ko
Application granted granted Critical
Publication of KR102493322B1 publication Critical patent/KR102493322B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Collating Specific Patterns (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)

Abstract

실시예들은, 인증대상의 얼굴의 적어도 일부를 포함한 인증대상 영상에서 얼굴 영역을 검출하고, 얼굴 영역에 마스크 착용의 가림 여부를 인식하며, 인증대상 영상의 얼굴 영역으로부터 인증대상 속성 데이터를 추출하고, 그리고 참조 데이터를 호출하고 호출된 참조 데이터 및 인증대상 속성 데이터에 기초하여 인증대상이 등록된 장치 사용자인지를 인증하는 사용자 인증 장치에 관련된다. 상기 참조 데이터는 등록된 장치 사용자의 마스크 미착용 영상으로부터 생성된다.

Description

사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법{DEVICE AND METHOD FOR AUTHENTICATING USER BASED ON FACIAL CHARACTERISTICS AND MASK CHARACTERISTICS OF THE USER}
본 발명의 실시예들은 인증대상이 등록된 장치 사용자인지를 인증하는 기술에 관한 것으로서, 보다 상세하게는 마스크를 착용한 인증대상 영상이 입력되어도 인증대상이 등록된 장치 사용자인지를 인증하는 장치 및 방법에 관한 것이다.
현대 사회에서는 건물 및 사내 출입을 효율적으로 수행하고자 RFID 모듈이 포함된 사내 출입증을 활용한 출입 출입 통제 시스템이 활발히 활용되고 있다. 그러나, 사용자의 RFID 카드가 분실, 도난될 경우 사용자 불편이 발생하는 문제점을 지니고 있다.
이러한 문제점으로 인해, 종래의 시스템이 생체인식 기반의 출입출입 통제 시스템으로 점차적으로 대체되고 있는 추세이다. 생체인식 기반의 출입출입 통제 시스템은 홍채, 지문 등 대상자의 고유한 생체 정보를 식별 수단으로 사용하는데, 이 식별 수단은 분실, 도난될 우려가 없기 ‹š문이다.
하지만, 홍채 인식의 경우, 홍채 영역 검출 등에 소요되는 시간이 타 기술 대비 오래 걸린다는 점, 그리고 안경이나 콘택트렌즈 착용 등으로 인해 인식 성능이 저하된다는 한계가 있다.
그리고, 지문 인식은 단말기로의 직접적인 접촉을 요하기 때문에 대상자에게 거부감을 줄 수 있다는 한계가 있다.
최근 인공지능 기술의 발전으로 인해 얼굴인식 기반 출입 출입 통제 시스템이 이러한 한계를 극복할 수 있는 수단으로 주목받고 있다. 예를 들어, 특허문헌 1 (공개특허공보 제10-2019-0107867호 (2019.09.23.))은 출입 통제 단말기를 통해 취득된 얼굴 이미지와 데이터베이스 내에 저장되어 있는 대상자 얼굴 이미지 간의 비교를 통해 본인 인증을 수행함으로써 출입 허용 대상자 여부를 판단하고, 출입 허용 대상자의 출입을 허가한다.
최근 COVID-19로 인한 위험도가 증가함에 따라 감염 확산 예방을 위해 마스크 착용이 필수화 되고 있으며, 많은 인원이 출입하는 건물 등에서 출입 시 대상자를 상대로 마스크 착용 유무 및 발열 체크를 수행하는 것이 의무화 되고 있다. 이와 같이 마스크 착용이 일반화 되는 시기에서 마스크로 인한 얼굴 가림으로 인해 인식 성능이 저하되는 문제에 대한 해결이 필요하다.
또한, COVID-19 바이러스는 매우 강한 전염성을 갖고 있어, 신원 확인과 별도로 잠재 발병 대상자의 출입을 차단하는데, COVID-19 바이러스의 감염 증상은 단순 발열 이외에 후각 기능 장애 등 다양한 증상을 포함하고 있어, 이러한 증상을 고려해 잠재 발병 대상자의 출입을 차단하는 것이 요구된다.
특허공개공보 10-2019-0107867 (2019.09.23.)
본 발명의 실시예들에 따르면, 마스크를 착용한 인증대상 영상이 입력되어도 인증대상이 등록된 장치 사용자인지를 인증하는 장치 및 방법을 제공한다.
본 발명의 일 측면에 따른 사용자 인증 장치는: 인증대상의 얼굴의 적어도 일부를 포함한 인증대상 영상에서 얼굴 영역을 검출하고 - 상기 인증대상 영상은 마스크 착용 영상 또는 마스크 미착용 영상임, 얼굴 영역에 마스크 착용의 가림 여부를 인식하며, 인증대상 영상의 얼굴 영역으로부터 인증대상 속성 데이터를 추출하고, 그리고 참조 데이터를 호출하고 호출된 참조 데이터 및 인증대상 속성 데이터에 기초하여 인증대상이 등록된 장치 사용자인지를 인증할 수도 있다. 상기 참조 데이터는 등록된 장치 사용자의 마스크 미착용 영상으로부터 생성된 것이다.
일 실시예에서, 상기 호출되는 참조 데이터는 메인 참조 데이터 또는 보조 참조 데이터이로서, 마스크 착용이 인식되면 상기 메인 참조 데이터가 호출되며 마스크 미착용이 인식되면 상기 보조 참조 데이터가 호출된다. 상기 메인 참조 데이터와 보조 참조 데이터는 등록된 장치 사용자의 마스크 미착용 영상으로부터 생성된 것이다.
일 실시예에서, 상기 사용자 인증 장치는, 상기 보조 참조 데이터를 생성하기 위해, 등록된 장치 사용자의 마스크 미착용 영상의 얼굴 영역으로부터 상기 장치 사용자의 3D 얼굴 모델을 생성하고 상기 장치 사용자의 표면 형상을 취득하며, 상기 장치 사용자의 표면 형상에 매칭하는 표면 형상을 갖는 가상 마스크 모델을 생성하고, 생성한 가상 마스크 모델 및 상기 장치 사용자의 3D 얼굴 모델에 기초하여 상기 장치 사용자의 가짜 마스크 착용 영상을 생성하며, 그리고 상기 장치 사용자의 가짜 마스크 착용 영상으로부터 속성 데이터를 추출해 상기 보조 참조 데이터를 생성하도록 더 구성될 수도 있다.
일 실시예에서, 상기 사용자 인증 장치는, 상기 메인 참조 데이터를 생성하기 위해, 상기 등록된 장치 사용자의 마스크 미착용 영상에서 얼굴 영역을 검출하고, 그리고 상기 장치 사용자의 마스크 미착용 영상의 얼굴 영역에서 속성 데이터를 추출해 상기 메인 참조 데이터를 생성하도록 더 구성될 수도 있다.
일 실시예에서, 상기 사용자 인증 장치는 입력 영상에서 2D 속성을 추출하는 특징 추출기 및 3D 속성을 추출하는 깊이 추출기 중 하나 이상을 포함할 수도 있다. 상기 사용자 인증 장치(100)는 포함한 하나 이상의 추출기를 상기 참조 데이터의 속성 데이터 및 인증대상 속성 데이터 모두를 추출하는데 사용한다.
일 실시예에서, 상기 포함한 하나 이상의 추출기는 마스크 착용 영상만으로 이루어진 훈련 데이터 세트, 마스크 미착용 영상만으로 이루어진 훈련 데이터 세트, 또는 마스크 착용 영상과 마스크 미착용 영상으로 이루어진 훈련 데이터 세트를 사용하여 상기 입력 영상에서 속성 데이터를 추출하도록 학습된 신경망일 수도 있다.
일 실시예에서, 상기 사용자 인증 장치는, 상기 가상 마스크 모델을 생성하기 위해, 미리 저장된 마스크 형상 템플릿을 호출하고, 호출된 마스크 형상 템플릿의 표면 형상을 상기 장치 사용자의 표면 형상에 매칭하도록 변형하도록 구성될 수도 있다.
일 실시예에서, 상기 마스크 형상 템플릿은 미리 저장된 마스크 속성에 기초하여 생성된 것일 수도 있다. 상기 사용자 인증 장치는, 상기 마스크 착용 영상이 상기 인증대상 영상으로 입력되면, 상기 인증대상 영상으로부터 추출한 인증대상 속성 데이터에 포함된 마스크 속성에 매칭하는 마스크 속성에 기초한 마스크 형상 템플릿을 호출하도록 구성된다.
일 실시예에서, 상기 사용자 인증 장치는, 상기 가짜 마스크 착용 영상을 생성하기 위해, 상기 가상 마스크 모델을 2D로 렌더링하여 상기 장치 사용자의 마스크 미착용 영상에 투영할 수도 있다.
일 실시예에서, 사용자 인증 장치는, 상기 인증대상 영상의 마스크 착용이 인식된 이후에 상기 가짜 마스크 착용 영상을 생성하며, 상기 장치 사용자의 마스크 미착용 영상 내 투영 위치는 상기 인증대상 영상 내 마스크 영역에 대응하는 위치일 수도 있다.
일 실시예에서, 상기 사용자 인증 장치는, 마스크 속성을 포함한 사용자 입력에 따라 마스크 형상 템플릿을 생성할 수도 있다. 상기 마스크 형상 템플릿의 생성을 위한 마스크 속성은 마스크 종류, 마스크 텍스쳐, 마스크 색상, 및 마스크 형상 중 하나 이상을 포함한다.
일 실시예에서, 상기 사용자 인증 장치는, 사용자 인증 당시에 사용자 입력에 따라 생성된 마스크 형상 템플릿이 존재하는 경우, 인증대상의 착용 마스크 속성과 사용자 입력에 따라 생성된 마스크 형상 템플릿의 마스크 속성이 일치하는 경우에 한해 사용자 인증을 진행하도록 구성될 수도 있다.
일 실시예에서, 상기 사용자 인증 장치는, 이전 인식 결과 및 인식된 마스크 속성을 포함한 사용자 인식 결과를 기록하고 그리고 사용자 인증 당시에 기록된 최근 마스크 형상 템플릿이 존재하는 경우, 인증대상의 착용 마스크 속성과 최근 마스크 형상 템플릿의 마스크 속성이 일치하는 경우에 한해 사용자 인증을 진행하도록 구성될 수도 있다.
일 실시예에서, 상기 사용자 인증 장치는, 상기 사용자 인증에 성공한 장치 사용자에게 장치 사용 권한을 부여하고, 그리고 상기 인증대상 영상에서 마스크 미착용으로 인식된 이후 사용자 인증이 성공한 경우 부여되는 권한 범위와 상기 인증대상 영상에서 마스크 착용으로 인식된 이후 사용자 인증이 성공한 경우 부여되는 권한 범위를 서로 다르게 설정한다.
일 실시예에서, 상기 사용자 인증 장치는, 상기 인증대상의 마스크 미착용 영상이 인증대상 영상으로 입력된 경우, 추출된 속성 데이터의 마스크 속성에 매칭하도록 상기 가짜 마스크 착용 영상의 마스크를 조절하도록 더 구성될 수도 있다.
일 실시예에서, 상기 사용자 인증 장치는, 상기 마스크 크기, 마스크 텍스쳐, 마스크 밝기, 마스크 조도, 마스크 조명 방향 및 마스크 해상도 중 적어도 하나를 추출된 속성 데이터의 마스크 속성에 매칭하도록 조절할 수도 있다.
본 발명의 일 측면에 따르면, 마스크 미착용 영상에만 기초하여 장치 사용자가 등록된 사용자 인증 장치에 대해 마스크 미착용 영상 또는 마스크 착용 영상이 인증대상 영상으로 입력되어도, 높은 정확성으로 사용자 인증 동작을 수행한다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 위한 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 측면에 따른, 사용자 인증 장치의 동작의 개략도이다.
도 2는, 본 발명의 일 실시예에 따른, 메인 참조 데이터를 생성하는 과정의 흐름도이다.
도 3은, 도 2의 등록 얼굴 영상을 도시한다.
도 4는, 본 발명의 일 실시예에 따른, 장치 사용자의 보조 참조 데이터를 생성하는 과정의 개략도이다.
도 5는, 본 발명의 다른 일 측면에 따른, 사용자 인증 방법의 흐름도이다.
도 6은, 본 발명의 일 실시예에 따른, 2D 유사도 계산을 위한 얼굴의 서브 영역을 도시한다.
도 7은, 본 발명의 일 실시예에 따른, 마스크 형상 템플릿을 생성하는 사용자 인터페이스 화면을 개략도이다.
도 8은, 본 발명의 일 실시예에 따른, 마스크 인식 기록을 도시한다.
도 9는, 본 발명의 일 실시예에 따른, 사용자 인증 동작과 관련된 기능을 설정하기 위한 사용자 인터페이스 화면을 도시한다.
도 10a 내지 도 10d는, 본 발명의 일 실시예에 따른, 마스크 조절의 개략도이다.
도 11은, 본 발명의 일 실시예에 따른, 사용자 인증 장치(100)의 내부 개략도이다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된(disclosed) 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 본 발명의 일 측면에 따른, 사용자 인증 장치의 동작의 개략도이다.
도 1을 참조하면, 본 발명의 일 측면에 따른 사용자 인증 장치(100)는 영상의 객체 인식 기반 사용자 인증 동작을 수행하도록 구성된다. 여기서 인증 대상이되는 인식 객체는 마스크를 착용한 것과 같이, 얼굴 영역이 부분적으로 가려지고 대부분의 사람들에게 그 부분 가림 영역이 공통된 뷰를 갖는 촬영 객체이다. 상기 사용자 인증 장치(100)는, 마스크 착용 영상과 같이, 얼굴 영역이 부분적으로 가려진 인증 대상의 영상을 등록 얼굴 데이터와 비교하여 인증대상이 장치 또는 상기 장치에 설치된 다수의 애플리케이션 중 일부 또는 전부를 사용할 권한이 있는 사용자인지 인증한다.
사용자 인증 장치(100)는 얼굴에 부분 가림이 없는 완전 노출 영상으로부터 사용자 인증을 위해 사용되는 참조 데이터(reference data)를 생성하고, 이를 저장한다.
일 실시예에서, 사용자 인증을 위해 사용되는 참조 데이터는 메인 참조 데이터(main reference data) 또는 보조 참조 데이터(secondary reference data)일 수도 있다. 메인 참조 데이터는 사용자 인증 동작이 개시되면 인증대상의 얼굴의 적어도 일부를 포함한 영상(이하, “인증대상 영상”)이 마스크 미착용 영상일 경우에 사용되는 참조 데이터이다. 보조 참조 데이터는 인증대상 영상이 마스크 착용 영상일 경우에 사용되는 참조 데이터이다. 마스크 미착용 영상을 통해 장치 사용자를 등록한 사용자 인증 장치(100)는 마스크 착용 영상 또는 마스크 미착용 영상이 인증대상 영상으로 취득되어도 이러한 참조 데이터들을 사용해 장치 사용자를 인증할 수도 있다.
도 2는, 본 발명의 일 실시예에 따른, 메인 참조 데이터를 생성하는 과정의 흐름도이고, 도 3은, 도 2의 등록 얼굴 영상을 도시한다.
도 2를 참조하면, 상기 사용자 인증 장치(100)는, 인증대상의 마스크 미착용 영상이 인증대상 영상으로 입력될 경우에 사용자 인증을 위해 사용될, 메인 참조 데이터를 생성할 수도 있다.
사용자 인증 장치(100)는 장치 사용자의 얼굴 영상을 초기 입력 데이터로 취득하고 얼굴 영역을 검출한다(S31). 메인 참조 데이터를 생성하기 위한 장치 사용자의 얼굴 영상은 도 3에 도시된 바와 같이 마스크 미착영 영상 데이터이다. 도 3의 마스크 미착용 영상에 의해 장치 사용자가 등록될 경우, 도 3의 마스크 미착용 영상과 같은 단계(S31)의 장치 사용자의 얼굴 영상은 등록 얼굴 영상으로 취급된다. 메인 참조 데이터는 마스크에 의한 부분 가림이 없는 완전 노출 영상에 직접 기초하여 생성된다.
사용자 인증 장치(100)는 미리 저장된 얼굴 검출 알고리즘을 통해 장치 사용자의 마스크 미착용 영상으로부터 얼굴 영역을 검출할 수도 있다 (S31). 상기 얼굴 검출 알고리즘은 입력 영상에서 얼굴 부분을 포함한 영역을 열굴 영역으로 검출하도록 구성된다.
상기 얼굴 검출 알고리즘은, 예를 들어 Convolution Neural Network (CNN)와 같은, 신경망(Neural Network) 기반 영역 검출기일 수도 있다. 그러나, 이에 제한되지 않으며, Haar, Scale Invariant Feature Transform (SIFT), Histogram of Gradients (HOG), Support Vector Machine (SVM), 및 Gabor 방식 등 중 하나 또는 이들의 조합을 포함한 다양한 방식의 특정 영역 검출 방식의 알고리즘일 수도 있다.
상기 사용자 인증 장치(100)는 얼굴 영역에서 얼굴 속성을 추출하기 이전에, 검출된 얼굴 영역에 가림 여부가 있는지 인식한다(S33). 특정 실시예들에서, 얼굴 영역 내에 마스크 착용이 인식되는 것이 가림 여부로 인식될 수도 있다. 상기 마스크 착용의 인식은 미리 저장된 마스크 확인 알고리즘을 통해 수행될 수도 있다. 마스크 확인 알고리즘은 얼굴 영역에서 마스크 착용과 관련된 특징(features)을 추출하여 마스크 착용 여부를 인식할 수도 있다.
상기 특징은 입력 영상에 나타난 얼굴 부분을 서술하는 특징 및/또는 상기 입력 영상에 나타난 마스크 부분을 서술하는 특징을 포함한다. 상기 얼굴 부분을 서술하는 특징은 입력영상의 얼굴 영역에서 얼굴 그림을 함축한 얼굴 표현(facial representation)일 수도 있다. 마스크 부분을 서술하는 특징은 입력영상의 얼굴 영역에서 마스크 그림을 함축한 마스크 표현(mask representation)일 수도 있다.
상기 마스크 확인 알고리즘은, 예를 들어, Convolutional Neural Network (CNN), Histogram of Gradient (HOG), Local Binary Patterns (LBP), Principal Components Analysis (PCA), Linear Discriminant Analysis (LDA), Support Vector Machin (SVM), Support Vector Regression (SVR) 방식 등 중 하나 또는 이들의 조합을 수행하는 알고리즘을 포함하나, 이에 제한되진 않는다.
일 실시예에서, 상기 마스크 확인 알고리즘은 마스크를 착용한 훈련 이미지와 착용을 의미한 제1 레이블 데이터;를 포함한 제1 훈련 샘플을 사용하거나, 또는 마스크를 착용하지 않은 훈련 이미지와 미-착용을 의미한 제2 레이블 데이터을 포함한 제2 훈련 샘플을 사용하여 학습될 수도 있다. 상기 마스크 착용 점수의 산출은 알고리즘의 파라미터의 학습에 사용되는 훈련 샘플에 의존할 수도 있다. 예를 들어, 제1 훈련 샘플의 세트를 사용하면, 상기 파라미터는 마스크를 착용한 영상에 높은 점수를 주는 방향으로 학습될 수도 있다. 또는 제2 훈련 샘플의 세트를 사용하면, 상기 파라미터는 마스크를 미-착용한 영상에 높은 점수를 주도록 학습될 수도 있다.
일부 실시예들에서, 상기 마스크 착용 여부의 인식은 추출된 특징에 기초하여 산출된 마스크 착용에 따른 마스크 착용 점수를 사용하여 수행될 수도 있다. 상기 마스크 착용 점수는 마스크 확인 알고리즘을 통해 출력된 출력 값 또는 이를 스케일링한 값일 수도 있다.
예를 들어, 상기 마스크 확인 알고리즘이 입력 영상의 얼굴에서 특징을 추출하고 마스크가 착용된 확률을 출력 값으로 산출하도록 구성될 경우, 상기 확률 값 또는 이를 미리 정해진 점수 범위로 변환한 스케일링 값이 마스크 착용 점수로 사용될 수도 있다. 상기 사용자 인증 장치(100)는 미리 설정된 마스크 임계치와 산출된 마스크 착용 점수를 비교하여 대상자의 마스크 착용 여부를 판단한다. 예를 들어, 사용자 인증 장치(100)는 상기 마스크 착용 점수가 마스크 임계치 이상일 경우, 해당 대상자가 마스크를 착용한 것으로 판단한다. 사용자 인증 장치(100)는 상기 마스크 착용 점수가 마스크 임계치 미만일 경우, 해당 대상자가 마스크를 착용하지 않은 것으로 인식한다.
사용자 인증 장치(100)는 얼굴 영역에 마스크 가림이 없는 것으로 인식되면, 메인 참조 데이터를 생성하기 위해 장치 사용자의 마스크 미착용 영상의 얼굴 영역에서 속성 데이터를 추출한다(S35).
상기 속성 데이터는 사용자의 얼굴 영상에서 추출 가능한 얼굴 속성의 데이터이다. 특정 실시예들에서, 상기 속성 데이터는 입력영상에서 추출되는 특징(feature)을 포함할 수도 있다. 특징(features)은 입력영상에 표시된 얼굴에서 인물의 신원을 확인하는 함축된 얼굴 표현(facial representation)으로서, 특징 값 또는 특징 벡터로 입력영상에서 추출된다.
일 실시예에서, 상기 속성 데이터는 2D 영상 속성 및/또는 3D 영상 속성을 포함할 수도 있다.
상기 2D 영상 속성은 2D 얼굴 영역의 영상 데이터(예컨대, 2D 얼굴 패치 데이터)로부터 추출 가능한 속성이다. 사용자 인증 장치(100)는 단계(S31 및 S33)에서 마스크 미착용으로 인식된, 검출된 얼굴 영역의 패치로부터 직접 2D 속성을 추출한다.
상기 2D 속성은 얼굴 표면 상에 위치한 적어도 하나의 랜드마크(landmarks) 및/또는 특징(features) 데이터를 포함한다.
상기 랜드마크는 얼굴의 주요 표현 특징으로서 눈끝, 코끝, 입술 끝, 눈썹 끝 등과 같은 얼굴의 주요 기관의 외관을 특정하는데 유용한 지점들이다. 상기 사용자 인증 장치(100)는 도 3의 검출된 얼굴 영상으로부터 대략 68개의 랜드마크를 취득할 수도 있다.
상기 2D 속성은 2D 영상((예컨대, 픽셀)에서 특징을 추출하는 특징 서술자에 의해 취득될 수도 있다. 상기 특징 서술자는 특징 추출기로 구현될 수도 있다. 상기 특징 추출기는, 예를 들어, PCA(Principal Components Analysis), LDA(Local Discriminant Analysis), LBP(Local Binary Pattern), SIFT(Scale Invariant Feature Transform), LE(Learning-based Encoding), HOG(Histogram of Oriented Gradient), ICA(Independent Components Analysis), CNN(Convolution Neural Network), LSTM(long short term memory) 방식 등 중 하나 또는 이들의 조합을 수행하는 알고리즘을 포함하나, 이에 제한되지 않는다. 이러한 특징 추출기를 통해 추출되는 특징은 입력영상의 얼굴에 대한 전역적 특징(global features) 및/또는 지역적 특징(local features)을 포함할 수도 있다.
상기 3D 영상 속성은 영상 객체의 3D 모델로부터 추출 가능한 속성이다. 상기 사용자 인증 장치(100)는 2D(단계(S31 및 S33)의 얼굴 영역의 패치)에 기초하여 사용자의 3D 얼굴 모델을 생성하고, 생성한 장치 사용자의 3D 얼굴 모델로부터 3D 속성을 추출한다.
사용자 인증 장치(100)는 다양한 3D 모델링 기법에 의해 2D인 단계(S33)의 얼굴 영역의 패치에 기초하여 사용자의 3D 얼굴 모델을 생성할 수도 있다.
상기 3D 속성은 3D 얼굴 모델의 로우-랭크 모델의 변수(variables), 3D 얼굴의 형태, 3D 얼굴의 텍스쳐(texture) 및/또는 3D 얼굴의 깊이를 포함할 수도 있다.
로우-랭크 모델의 변수는 고유 값(identity values), 표정 값(expression values) 등을 포함할 수도 있다.
상기 3D 얼굴의 깊이는 깊이 맵(depth map)의 형태로 취득될 수도 있다. 상기 3D 얼굴의 깊이 맵은 깊이 추출기에 의해 추출될 수도 있다. 상기 깊이 추출기는 예를 들어 3D 모델을 이루는 다수의 입력 영상에서 깊이 맵을 추출하도록 학습된 신경망 모델일 수도 있다.
또한, 상기 사용자 인증 장치(100)가 깊이 센서를 포함할 경우, 3D 얼굴의 깊이 데이터는 깊이 센서에 의해 감지된 값에 기초할 수도 있다.
대안적인 실시예들에서, 상기 장치 사용자의 3D 얼굴 모델이 3D 메시 모델로 생성될 수도 있다. 그러면, 상기 3D 속성은 3D 메시 모델의 변수(variables)를 더 포함할 수도 있다. 상기 3D 메시 모델의 변수는 예를 들어 메시 데이터, 메시의 구조, 메시의 포인트(points) 데이터 등을 포함할 수도 있다.
사용자 인증 장치(100)는 마스크 미착용 영상 및/또는 추출된 속성 데이터의 일부 또는 전부를 메인 참조 데이터로서 생성하고 이를 저장한다(S37). 도 3의 마스크 미착용 영상 자체가 메인 참조 데이터에 포함될 수도 있다.
메인 참조 데이터가 생성 및 저장되면, 입력영상의 인물이 장치 사용자로 등록된다. 등록된 장치 사용자는 장치의 기능을 사용할 권한이 부여된다.
상기 사용자 인증 장치(100)는 마스크 미착용 영상이 인증대상 영상으로 입력되면, 인증대상 영상으로부터 인증대상 속성 데이터를 추출하고, 인증대상 속성 데이터와 미리 저장된 메인 참조 데이터에 기초하여 사용자 인증 동작을 수행한다. 이러한 사용자 인증 과정은 아래의 도 5를 참조하여 서술할 사용자 인증 방법으로 구현된다.
도 4는, 본 발명의 일 실시예에 따른, 장치 사용자의 보조 참조 데이터를 생성하는 과정의 개략도이다.
도 4를 참조하면, 사용자 인증 장치(100)는, 마스크 착용 영상이 인증대상 영상으로 입력될 경우에 사용자 인증을 위해 사용될, 보조 참조 데이터를 생성할 수도 있다. 도 4의 보조 참조 데이터를 생성하는 과정은 도 2의 메인 참조 데이터를 생성하는 과정과 유사하므로, 차이점을 위주로 도 4의 과정을 서술한다.
사용자 인증 장치(100)는 도 2의 참조 데이터를 생성하는데 사용되었던 마스크 미착용 영상의 얼굴 영역으로부터 장치 사용자의 3D 얼굴 모델을 생성하고 장치 사용자의 표면 형상을 취득한다(S41).
사용자 인증 장치(100)는 단계(S33)에서 검출된 얼굴 영역의 패치로부터 등록된 장치 사용자의 3D 얼굴 모델을 생성할 수도 있다. 사용자 인증 장치(100)는 3D 모델링 기법에 의해 장치 사용자의 3D 얼굴 모델을 생성할 수도 있다(S41).
장치 사용자의 표면 형상은 장치 사용자의 3D 얼굴 모델에 대해 3DMM 맞춤(3D Morphable Model fitting) 기법을 적용하여 취득될 수도 있다. 그러면, 3D 얼굴 모델의 표면 형상이 장치 사용자의 표면 형상으로 취득된다. 그러나, 표면 형상의 취득은 이 기법에 제한되진 않는다.
사용자 인증 장치(100)에 메인 참조 데이터를 위한 속성 데이터의 일부(예컨대, 3D 속성)를 취득하는데 사용되었던 장치 사용자의 3D 얼굴 모델이 저장되어 있는 경우, 사용자 인증 장치(100)는 저장되어 있는 장치 사용자의 3D 얼굴 모델을 직접 보조 참조 데이터를 취득하는데 사용할 수도 있다. 예를 들어, 도 2의 단계(S35)에서 생성된 장치 사용자의 3D 얼굴 모델이 보조 참조 데이터를 생성하기 위해 직접 사용될 수도 있다. 그러면, 사용자 인증 장치(100)는 메인 참조 데이터를 위한 3D 얼굴 모델로부터 보조 참조 데이터를 위한 장치 사용자의 3D 얼굴 모델의 표면 형상을 취득할 수도 있다.
사용자 인증 장치(100)는 가상 마스크 모델을 생성할 수도 있다(S43). 가상 마스크 모델은 단계(S41)의 장치 사용자의 3D 얼굴 모델의 표면 형상에 매칭하는 표면 형상을 갖도록 생성된다.
일 실시예에서, 사용자 인증 장치(100)는 미리 저장된 마스크 형상 템플릿을 호출하여 장치 사용자에 대한 가상 마스크 모델을 생성할 수도 있다. 상기 마스크 형상 템플릿은 미리 저장된 마스크 속성에 기초하여 생성된 형상 템플릿이다. 사용자 인증 장치(100)는 마스크 형상 템플릿을 통해 마스크 속성을 저장한다.
일 실시예에서, 마스크 속성은 마스크 종류, 마스크 텍스쳐, 마스크 색상, 및/또는 마스크 형상 등을 포함할 수도 있다. 마스크 텍스쳐는 마스크 표면의 구김, 재질을 포함한다. 마스크 종류는 시중에 시판되고 있는 종류로서, 예를 들어 KF 80 마스크, KF 94 마스크, 덴탈 마스크 등을 포함할 수도 있다.
이와 같이, 사용자 인증 장치(100)는 마스크 텍스쳐, 마스크 색상, 마스크 형상 등에 기초하여 가상 마스크 모델을 생성한다.
사용자 인증 장치(100)는 호출된 마스크 형상 템플릿의 표면 형상을 단계(S41)에서 취득된 3D 얼굴 모델의 표면 형상에 매칭하도록 변형한다(S43).
일 실시예에서, 사용자 인증 장치(100)는 가상 마스크의 3D 표면을 생성하기 위해 랜드마크(cij)를 상기 3D 얼굴 표면 또는 그 주변에 할당하고, 호출된 마스크 형상 템플릿의 표면 형상을 생성된 가상 마스크의 3D 표면에 매칭하도록 변형한다. 마스크 형상 템플릿에 기초한 가상 마스크 모델은 하나 이상의 랜드마크로 매개변수화된다. 사용자 인증 장치(100)는 매개변수화된 가상 마스크 모델의 매개변수 값을 조절해 장치 사용자의 3D 얼굴 모델의 표면 형상에 매칭킴으로써, 장치 사용자가 마스크를 착용한 얼굴을 촬영한 것과 동일 또는 유사한 영상을 사용자 등록에서 사용한 마스크 미착용 영상으로부터 생성할 수도 있다.
다른 일 실시예에서, 미리 저장된 마스크 형상 템플릿은 실린더 형상 모델일 수도 있다. 마스크 형상 템플릿은 원통형 구조의 일부를 모델 형상으로 가진다. 사용자 인증 장치(100)는 호출된 실린더 형상 모델의 사이즈를 3D 얼굴의 표면 형상의 사이즈에 매칭하도록 변형하여 가상 마스크의 3D 표면을 생성할 수도 있다(S43).
또 다른 일실시예에서, 사용자 인증 장치(100)는 인증대상이 실제로 착용한 마스크에 대한 3D 가상 표면 모델을 생성할 수도 있다. 사용자 인증 장치(100)는 인증대상 영상의 마스크 영역을 검출하고, 2D 마스크 영역의 패치를 3D 모델링하여 실제 착용 마스크에 대한 3D 형상 모델을 생성한다. 2D 마스크 패치로부터 3D 마스크 형상 모델을 생성하는 과정은 2D 얼굴 영상으로부터 3D 얼굴 모델을 생성하는 단계(S35)와 유사하므로, 자세한 설명은 생략한다.
일부 실시예들에서, 사용자 인증 장치(100)는 인증대상 영상의 마스크 영역으로부터 마스크 속성을 추출할 수도 있다. 그러면, 사용자 인증 장치(100)는 마스크 속성에 더 기초하여 실제 착용 마스크의 3D 형상 모델을 생성할 수도 있다.
사용자 인증 장치(100)는 단계(S43)에서 생성한 가상 마스크 모델 및 단계(S41)의 장치 사용자의 3D 얼굴 모델에 기초하여 가짜 마스크 착용 영상을 생성한다(S45).
일 실시예에서, 사용자 인증 장치(100)는 가상 마스크 모델을 2D로 렌더링하여 등록된 장치 사용자의 마스크 미착용 영상(도 3의 영상)에 투영(projection)함으로써 가짜 마스크 착용 영상을 생성한다.
특정 실시예들에서, 상기 등록된 장치 사용자의 마스크 미착용 영상에서 렌더링된 가상 마스크 패치가 투영되는 부분은 인증대상 영상에서의 마스크 영역에 대응한다. 이를 위해, 가짜 마스크 착용 영상은 인증대상 영상이 입력된 이후에 생성될 수도 있다.
인증대상 영상에 표시된 인증대상의 얼굴 영역 내 마스크 영역의 위치에 대응하는, 등록 얼굴 영상에서의 위치가 산출된다. 이 대응 위치에 기초하여 등록 얼굴 영상(도 3의 마스크 미착용 영상)의 투영 부분이 결정될 수도 있다.
예를 들어 등록 얼굴 영상 내 마스크 영역의 위치는 인증대상 영상 내 얼굴 영역을 이루는 각 픽셀의 위치, 인증대상 영상에서 얼굴을 부분적으로 가리는 마스크 영역을 이루는 각 픽셀의 위치 및 등록 얼굴 영상의 얼굴 영역을 이루는 각 픽셀의 위치에 기초한 인증대상 영상의 마스크 영역에 대응하도록 결정될 수도 있다.
다른 일 실시예에서, 가상 마스크 모델을 3D 얼굴 모델과 3D 공간 상에서 결합하여 3D 마스크 착용 얼굴 모델을 생성하고, 3D 마스크 착용 얼굴 모델을 렌더링하여 마스크 착용 영상을 취득할 수도 있다. 렌더링의 뷰(view)는 인증대상 영상의 뷰에 대응된다.
대안적인 실시예들에서, 사용자 인증 장치(100)는 착용 질감이 표현되도록 가상 마스크 모델의 텍스쳐를 와핑할 수도 있다. 텍스쳐 와핑된 가상 마스크 모델이 렌더링되어 투영되거나, 또는 결합되어 렌더링될 수도 있다(S45).
또한, 사용자 인증 장치(100)는 3D 얼굴 모델의 표면 형상에 기초하여, 마스크를 부분적으로 검게하거나 하얗게 함으로써 명도 효과를 부가할 수도 있다. 이로 인해 사용자 인증 장치(100)는 마스크 착용에 따른 텍스쳐의 구김을 재현한다.
일부 실시예들에서, 텍스쳐를 와핑하기 위해, 사용자 인증 장치(100)는 가상 마스크 모델을 패딩처리(padding procees)할 수도 있다. 상기 패딩처리는 예를 들어 제로-패딩 처리일 수도 있다.
사용자 인증 장치(100)는 등록된 장치 사용자의 가짜 마스크 착용 영상으로부터 추가 속성 데이터를 추출할 수도 있다(S45). 단계(S45)에서 추출되는 추가 속성 데이터는 가짜 마스크 착용 영상으로부터 추출되는 얼굴 영역에서의 영상 속성이다. 단계(S35)의 속성 데이터와 달리, 단계(S45)에서 추출되는 추가 속성 데이터는 마스크에 의해 커버되는 일부 랜드마크(예컨대, 입 끝 등)는 포함하지 않을 수도 있다.
한편, 단계(S45)에서 추출된 속성 데이터는 마스크 부분에서 추출되는 마스크 속성을 포함한다. 즉, 마스크 속성도 2D 속성, 3D 속성으로 추출되며, 마스크 표면의 텍스쳐, 형상 등이 2D 속성, 3D 속성으로 취득될 수도 있다. 이로 인해, 단계(S45)에서 취득되는 2D 속성, 3D 속성은 노출된 얼굴 부분의 영상 속성 및 마스크 부분의 영상 속성으로 이루어진다. 마스크 부분의 영상 속성, 즉 마스크 속성은 가짜 마스크 착용 영상에 표현된 마스크 종류, 마스크 텍스쳐, 마스크 색상, 및/또는 마스크 형상 등을 포함할 수도 있다.
이러한 단계(S45)에서 장치 사용자의 가짜 마스크 착용 영상으로부터 얼굴 속성을 추출하는 것은 단계(S35)에서 장치 사용자의 마스크 미착용 영상으로부터 얼굴 속성을 추출하는 것과 유사하므로, 자세한 설명은 생략한다.
사용자 인증 장치(100)는 등록된 장치 사용자의 가짜 마스크 착용 영상 및/또는 추가 속성 데이터에 기초하여 보조 참조 데이터를 생성한다(S47).
보조 참조 데이터는 장치 사용자의 추가 얼굴 속성 데이터 및/또는 장치 사용자의 가짜 마스크 착용 영상 데이터를 포함할 수도 있다.
상기 사용자 인증 장치(100)는 마스크 착용 영상이 인증대상 영상으로 입력되면, 인증대상 영상으로부터 인증대상 속성 데이터를 추출하고, 인증대상 속성 데이터와 미리 저장된 보조 참조 데이터에 기초하여 사용자 인증 동작을 수행한다. 이러한 사용자 인증 과정은 아래의 도 5를 참조하여 서술할 사용자 인증 방법으로 구현된다.
도 5는, 본 발명의 다른 일 측면에 따른, 사용자 인증 방법의 흐름도이다.
도 5의 일부 단계들은 도 2 및 도 4의 단계들과 유사하므로, 차이점을 위주로 도 5의 단계들을 서술한다.
도 5를 참조하면, 상기 사용자 인증 방법은: 상기 사용자 인증 장치(100)에서 인증대상 영상을 취득하는 단계(S501)를 포함한다. 상기 인증대상 영상은 마스크 착용 영상 또는 마스크 미착용 영상일 수도 있다.
이다. 상기 사용자 인증 장치(100)는 마스크 미착용 영상에 기초한 메인 참조 데이터를 미리 저장하고 있다.
상기 사용자 인증 방법은: 사용자 인증 장치(100)에 의해, 인증대상 영상의 얼굴 영역을 검출하는 단계(S510); 및 검출된 얼굴 영역에서 인증 대상이 마스크를 착용하였는지 인식하는 단계(S530)를 포함한다. 단계(S510, S530)의 동작은 도 2를 참조하여 전술한 단계(S31, S33)에서 얼굴 영역이 검출되는 영상, 가림 여부가 인식되는 영상이 단계(S501)의 인증대상 영상인 것에 차이가 있을 뿐, 영역을 검출하는 원리, 마스크에 의한 가림 여부가 인식되는 원리는 동일하다. 이와 같이, 단계(S510, S530)의 동작은 단계(S31, S33)의 동작과 유사하므로, 자세한 설명은 생략한다.
상기 사용자 인증 방법은: 인증대상 영상으로부터 인증대상 속성 데이터를 추출하는 단계(S550)를 포함한다.
인증대상 영상이 마스크 미착용 영상일 경우에 추출되는 인증대상의 얼굴 속성은 단계(S35)에서 추출되는 얼굴 속성에 대응하고, 인증대상 영상이 마스크 착용 영상일 경우에 추출되는 인증대상의 얼굴 속성은 단계(S545)에서 추출되는 추가 얼굴 속성에 대응한다. 만약 인증대상이 참으로 장치 사용자이면 인증대상의 얼굴 속성은 기 추출된 장치 사용자의 얼굴 속성과 동일하거나 거의 동일할 것이다.
상기 인증대상 영상이 마스크 미착용 영상이면, 인증대상 영상으로부터 추출되는 2D 속성, 3D 속성은 피부에 대한 2D 속성, 3D 속성을 포함한다. 상기 인증대상 영상이 마스크 착용 영상이면, 인증대상 영상으로부터 추출되는 2D 속성, 3D 속성은 피부에 대한 2D 속성, 3D 속성 및 마스크에 대한 2D 속성, 3D 속성을 포함한다.
단계(S550)의 과정은 단단계(S35, S45)의 과정과 유사하므로 자세한 설명은 생략한다.
상기 사용자 인증 방법은: 참조 데이터를 호출하는 단계(S560); 및 호출된 참조 데이터 및 인증대상 속성 데이터에 기초하여 인증대상이 등록된 장치 사용자인지를 인증하는 단계(S570)를 포함한다.
일 실시예에서, 사용자 인증 방법에서 호출되는 참조 데이터의 종류는 단계(S530)에서 마스크 착용 여부가 인식되는 것에 의존할 수도 있다. 인증대상 영상에서 마스크가 미착용한 것으로 인식되면, 메인 참조 데이터가 호출된다(S560). 인증대상 영상에서 마스크가 착용한 것으로 인식되면, 보조 참조 데이터가 호출될 수도 있다(S560).
일 실시예에서, 단계(S560)는: 인증대상 영상에서 마스크가 착용한 것으로 인식된 이후 호출할 보조 참조 데이터가 아직 생성되지 않은 경우, 장치 사용자에 대한 보조 참조 데이터를 생성하는 단계를 포함할 수도 있다.
일 실시예에서, 사용자 인증 장치(100)는 단계(S550)에서 인식된 인증대상 영상의 마스크 속성에 기초하여 가상 마스크 모델을 생성할 수도 있다(S560). 사용자 인증 장치(100)는 미리 저장된 복수의 마스크 형상 템플릿 중에서 인증대상 영상에 표시된 마스크의 마스크 속성에 매칭한 마스크 형상 템플릿을 검색하고, 검색된 마스크 형상 템플릿에 기초하여 가상 마스크 모델을 생성하여 사용자 인증에 사용할 수도 있다(S560). 보조 참조 데이터를 생성하는 과정(S560)은 도 4를 참조하여 위에서 서술하였는 바 자세한 설명은 생략한다.
상기 단계(S570)는: 사용자 인증을 위해 호출된 참조 데이터(메인 참조 데이터와 보조 참조 데이터)와 인증대상 속성 데이터에 기초하여 인증 유사도를 계산하는 단계를 포함한다. 사용자 인증은 인증 유사도에 기초하여 수행된다.
인증 유사도는 참조 데이터 내 얼굴 속성과 인증대상 영상의 얼굴 속성 간의 매칭 정도를 의미한다. 인증 유사도가 미리 지정된 인증 임계치 보다 높을 경우 사용자 인증이 성공한다. 인증 유사도가 미리 지정된 인증 임계치 미만일 경우 사용자 인증이 실패한다.
상기 인증 임계치는 장치 사용자의 인종, 마스크 속성에 기초하여 지정된 것이다. 마스크 속성은 마스크 텍스쳐, 마스크 색상, 마스크 형상 등을 포함할 수도 있다.
일 실시예에서, 인증 임계치는 장치 사용자가 주로 착용하는 마스크의 마스크 속성에 기초하여 설정될 수도 있다.
단계(S530)에서 마스크 착용이 인식되면, 보조 참조 데이터가 사용자 인증을 위해 사용된다. 단계(S530)에서 마스크 착용이 인식되면, 인증대상 영상은 마스크 착용 영상이기 때문이다. 단계(S530)에서 마스크 미착용이 인식되면, 참조 데이터가 사용자 인증을 위해 사용된다. 단계(S530)에서 마스크 미착용이 인식되면, 인증대상 영상은 마스크 미착용 영상이기 때문이다.
일 실시예에서, 인증 유사도는 호출된 참조 데이터의 2D 속성과 인증대상 속성 데이터의 2D 속성에 기초한 2D 유사도, 호출된 참조 데이터의 3D 속성과 인증대상 속성 데이터의 3D 속성에 기초한 3D 유사도 및 이들의 조합일 수도 있다.
2D 유사도는 호출된 참조 데이터의 2D 속성과 인증대상 속성 데이터의 2D 속성에 기초하여 계산된다.
일 예시에서, 호출된 참조 데이터의 2D 속성 및 인증대상 속성 데이터의 2D 속성은 예컨대, VGGFace2 등과 같은, CNN/LSTM 기반 신경망을 통해 인증대상 영상의 전역적 특징(global feature)일 수도 있다. 이러한 CNN/LSTM 기반 신경망을 통해 추출되는 2D 속성은 벡터 형태로 추출될 수도 있다.
사용자 인증 장치(100)는 특징 벡터 간의 유사도를 2D 유사도로 산출하기 위한 다양한 유사도 비교 알고리즘을 사용하도록 구성될 수도 있다. 상기 유사도 비교 알고리즘은, 예를 들어 유클리디언 거리(Euclidean Distance), 코사인 거리 (Cosine Distance), 마할라노비스 거리 (Mahalanobis Distance), L1 거리(L1 distance), L2 거리(L2 distance) 등을 포함할 수 있으나, 이에 제한되진 않는다.
3D 유사도는 호출된 참조 데이터의 3D 속성과 인증대상 속성 데이터의 3D 속성에 기초하여 계산된다.
일 실시예에서, 사용자 인증 장치(100)는 보조 참조 데이터의 3D 가짜 마스크 착용 모델의 깊이 맵과 마스크를 실제 착용한 인증대상의 3D 마스크 착용 모델의 깊이 맵 간의 3D 유사도를 계산할 수도 있다.
또한, 사용자 인증 장치(100)는 얼굴 영역, 얼굴 영역의 하나 이상의 서브 영역 각각 대해서, 인증대상과 장치 사용자 간의 영역별 유사도를 각각 계산하고 각 영역별 유사도를 조합해 인증대상과 장치 사용자 간의 2D 유사도 및/또는 3D 유사도를 계산할 수도 있다(S570).
인증대상과 장치 사용자 간의 2D 유사도는 각 영역별 2D 유사도를 조합하여 계산된다. 인증대상과 장치 사용자 간의 3D 유사도는 각 영역별 3D 유사도를 조합하여 계산된다. 우선, 각 영역별 2D 유사도의 조합에 따른 인증대상과 장치 사용자 간의 2D 유사도를 도 5를 참조해 서술한다.
도 6은, 본 발명의 일 실시예에 따른, 2D 유사도 계산을 위한 얼굴의 서브 영역을 도시한다.
도 6을 참조하면, 얼굴 영역의 서브 영역은 적어도 하나의 랜드마크를 포함한다. 각 서브 영역 중 일부 서브 영역은 다른 서브 영역에 일부 또는 전부가 포함될 수도 있다.
도 6에 도시된 바와 같이, 서브 영역은 특정 측면의 눈(예컨대, 좌안)의 랜드마크, 얼굴 영역 중에서 마스크 영역 상단의 나머지 영역(S2)으로 설정될 수도 있다. 사용자 인증 장치(100)는 보조 참조 데이터 중 얼굴 영역 전체에 대한 2D 속성 및 인증대상 영상 중 얼굴 영역 전체에 대한 2D 속성에 기초하여 얼굴 영역 유사도를 계산하고, 보조 참조 데이터 중 서브 영역(S1)에 대한 2D 속성 및 인증대상 영상 중 서브 영역(S2)에 대한 2D 속성에 기초하여 서브 영역(S1) 유사도를 계산하며, 보조 참조 데이터 중 서브 영역(S2)에 대한 2D 속성 및 인증대상 영상 중 서브 영역(S2) 전체에 대한 2D 속성에 기초하여 서브 영역(S2) 유사도를 각각 계산한다. 그러면, 사용자 인증 장치(100)는 각 영역별 유사도를 조합해 인증대상과 장치 사용자 간의 인증 유사도를 계산한다.
일 실시예에서 사용자 인증 장치(100)는 각 영역별 가중치를 할당하고, 가중치 합을 통해 인증 유사도를 계산할 수도 있다.
그러나, 사용자 인증 장치(100)의 영역별 유사도를 조합하는 방식은 이에 제한되지 않으며, 사용자 인증 장치(100)는 예를 들어 SUM, MIN, MAX, PRODUCT, SVM 등을 사용할 수도 있다.
사용자 인증 장치(100)는 인증대상과 장치 사용자 간의 3D 유사도 또한 전술한 이러한 2D 유사도와 유사하게 계산할 수도 있다. 여기서, 인증대상과 장치 사용자 간의 3D 유사도를 계산하기 위한 서브 영역은 3D 얼굴 모델의 서브 영역이다. 예를 들어, 장치 사용자의 3D 가짜 마스크 착용 모델, 그리고 인증대상의 3D 마스크 착용 모델에 대해서 도 6의 서브 영역(S1, S2)가 설정될 수도 있다.
이와 같이, 사용자 인증 장치(100)는 사용자 등록을 위해 마스크 미착용 영상만을 취득한 경우에도 인증대상이 마스크를 착용한 경우와 동일한 인증대상이 마스크를 미착용한 경우 모두에 대해서 사용자를 인증할 수도 있다. 사용자 인증 장치(100)는 인증대상 영상이 마스크 미착용 영상일 경우 마스크 미착용 영상에 기초한 참조 데이터를 호출하여 마스크 미착용 영상 간의 매칭 정도를 통해 사용자를 인증하거나, 인증대상 영상이 마스크 착용 영상일 경우 마스크 미착용 영상으로부터 생성한 가짜 마스크 착용 영상에 기초한 보조 참조 데이터를 호출하여 마스크 착용 영상 간의 매칭 정도를 통해 사용자를 인증한다.
일 실시예에서, 특징 추출기는 상기 참조 데이터의 속성 데이터 및 인증대상 속성 데이터 모두를 추출하는데 사용될 수도 있다. 상기 인증대상 영상의 2D 속성은 호출된 참조 데이터의 2D 속성을 추출하기 위한 특징 추출기에 의해 다시 추출될 수도 있다.
또한, 깊이 추출기는 상기 참조 데이터의 속성 데이터 및 인증대상 속성 데이터 모두를 추출하는데 사용될 수도 있다. 상기 인증대상 영상의 3D 속성은 호출된 참조 데이터의 3D 속성을 추출하기 위한 깊이 추출기에 의해 다시 추출될 수도 있다.
사용자 인증 장치(100)는, 등록 얼굴 영상과 인증대상 영상이 마스크 미착용 영상 또는 마스크 착용 영상에 관계 없이, 동일한 특징 추출기 또는 깊이 추출기를 등록 얼굴 영상과 인증대상 영상에 모두 적용해도 사용자 인증에 대해 높은 정확도를 가진다.
등록 얼굴 영상과 인증대상 영상이 마스크 미착용 영상 또는 마스크 착용 영상에 관계 없이 높은 정확도를 갖는 것에 대한 명료한 설명을 위해, 특징 추출기를 기초로 사용자 인증 장치(100)의 동작을 서술한다.
CNN 기반 신경망과 같은, 얼굴 속성을 추출하기 위한 신경망은 눈, 코, 입 등의 얼굴 내 특정 부분을 점진적으로 컨볼루선 처리 및 풀링 처리하여 이들 특정 부분을 바탕으로 특징(features)을 취득하도록 구성된다.
마스크 착용 영상이 특징 추출기에 입력되면, 마스크 영역의 마스크 텍스쳐가 특징으로 추출되기 때문에, 유사도 계산을 위해 비교되는 속성 데이터들이 동일한 유형의 영상의 쌍(즉, 마스크 착용 영상의 쌍, 또는 마스크 미착용 영상의 쌍)으로부터 추출된 속성 데이터들이어야 한다.
구체적으로, 마스크 미착용 영상이 등록 얼굴 영상으로 위의 신경망에 입력되면, 마스크에 가려지지 않은 부분의 피부 텍스쳐 등의 특징이 참조 데이터를 생성하기 위해 추출된다. 한편, 마스크 착용 영상이 등록 얼굴 영상으로 위의 신경망에 입력되면, 마스크 부분의 마스크 텍스쳐 등이 참조 데이터와 비교될 인증대상의 2D 속성으로 추출된다. 등록 얼굴 영상과 인증대상 영상이 동일한 인물에 대한 영상이더라도, 마스크 착용 여부에 따라 특정 부분(즉, 마스크 착용/미착용 부분)에서의 2D 속성이 달라지고, 결국 동일한 인물에 대해서 사용자 인증이 실패한다.
반면, 사용자 인증 장치(100)는 하나의 특징 추출기를 통해 참조 데이터를 생성하기 위해 마스크 미착용 영상의 2D 속성을 추출하거나, 보조 참조 데이터를 생성하기 위해 가짜 마스크 착용 영상의 2D 속성을 추출하거나, 또는 인증대상 속성 데이터를 취득하기 위해 인증대상 영상의 2D 속성을 추출할 수도 있다. 이를 통해, 사용자 인증 장치(100)는 하나의 특징 추출기를 사용해서도 항상 동종 유형의 영상의 쌍으로부터 추출되는 속성 데이터들에 기초하여 인증 유사도를 계산하여 높은 정확도를 가진다. 즉, 사용자 인증 장치(100)는 가짜 마스크 착용 영상을 생성함으로써, 하나의 특징 추출기만을 사용해도 얼굴 등록 영상과 인증대상 영상이 동일한 유형이거나 서로 다른 유형의 경우에도 높은 정확도를 가진다.
또한, 사용자 인증 장치(100)는 마스크 착용 영상만으로 이루어진 훈련 데이터 세트, 마스크 미착용 영상만으로 이루어진 훈련 데이터 세트, 또는 마스크 착용 영상과 마스크 미착용 영상으로 이루어진 훈련 데이터 세트를 사용하여 학습된 추출기(들), 즉, 특징 추출기 및/또는 깊이 추출기를 사용할 수도 있다. 가짜 마스크 착용 영상을 생성함으로써 진행되는 사용자 인증 장치(100)의 사용자 인증 동작의 정확도는 속성을 추출하는 특징 추출기의 훈련 데이터 세트의 영상 유형의 의존으로부터 상대적으로 자유롭다.
추가적으로, 상기 사용자 인증 장치(100)는 마스크 형상 템플릿을 사용자 입력에 기초하여 생성하도록 더 구성될 수도 있다. 일 실시예에서 사용자 인증 장치(100)는 등록된 장치 사용자가 주로 사용하는 마스크(이하, “즐겨찾기 마스크”)의 마스크 속성을 입력하여 즐겨찾기 마스크에 대응한 마스크 형상 템플릿을 생성할 수도 있다. 마스크 착용 영상이 인증대상 영상으로 입력되면, 즐겨찾기 마스크에 대응한 마스크 형상 템플릿이 우선적으로 활용될 수도 있다.
도 7은, 본 발명의 일 실시예에 따른, 마스크 형상 템플릿을 생성하는 사용자 인터페이스 화면을 개략도이다.
도 7을 참조하면, 사용자 인증 장치(100)는 사용자 인터페이스 화면을 제공하여 마스크 형상 템플릿을 생성하기 위한 사용자 입력을 수신한다. 상기 사용자 입력은 시판되고 있는 마스크 종류(예컨대, KF 80 마스크, KF 94 마스크, 덴탈 마스크 등), 색상, 재질, 및/또는 텍스쳐 등에 대한 입력을 포함할 수도 있다.
다른 일 실시예에서, 사용자 인증 장치(100)는 영상 입력을 사용자 입력으로 수신하여 마스크 형상 템플릿을 생성할 수도 있다. 커스텀 마스크와 같이 시판되고 있는 마스크 종류로 분류되기 어려운 마스크를 장치 사용자가 자주 착용하는 경우에 상기 다른 일 실시예가 활용될 수도 있다. 사용자 인증 장치(100)는 커스텀 마스크를 촬영하고 커스텀 마스크 영상을 사용자 입력으로 취급한다. 커스텀 마스크 영상에서 마스크 영역을 바운딩 박스 등으로 검출한 후 경계선을 따라 분할하고 추출된 텍스쳐를 갖는 마스크 형상 템플릿을 생성할 수도 있다.
이러한 사용자 입력을 통해, 사용자 인증 장치(100)는 장치 사용자가 주로 착용하는 마스크(들)에 대한 마스크 속성을 취득하고 저장할 수도 있다.
대안적인 실시예에서, 사용자 인증 장치(100)는 사용자 인증 시도 당시에 사용자 입력에 따라 생성된 마스크 형상 템플릿이 존재하는 경우, 인증대상의 착용 마스크 속성과 사용자 입력에 따라 생성된 마스크 형상 템플릿의 마스크 속성이 일치하는 경우에 한해 사용자 인증을 진행할 수도 있다.
예를 들어, 사용자 인증 장치(100)는 인증대상 영상으로부터 추출된 마스크 속성에 기초하여 인증대상의 착용 마스크 종류를 인식하고, 인식된 인증대상의 착용 마스크 종류와 사용자 입력에 따라 생성된 마스크 형상 템플릿의 마스크 종류가 일치하는 경우에 한해 사용자 인증을 진행한다.
일 실시예에서, 상기 사용자 입력에 따라 생성된 마스크 형상 템플릿은 즐겨찾기 마스크 형상 템플릿일 수도 있다.
일 실시예에서, 사용자 인증 장치(100)는 사용자 인증을 위해 최근 사용된 마스크 형상 템플릿이 존재하는 경우, 인증대상의 착용 마스크 속성과 최근 마스크 형상 템플릿의 마스크 속성이 일치하는 경우에 한해 사용자 인증을 진행할 수도 있다.
예를 들어, 사용자 인증 장치(100)는 인증대상 영상으로부터 추출된 마스크 속성에 기초하여 인증대상의 착용 마스크 종류를 인식하고, 인식된 인증대상의 착용 마스크 종류와 최근 마스크 형상 템플릿의 마스크 종류가 일치하는 경우에 한해 사용자 인증을 진행한다.
인증대상의 착용 마스크 속성과 사용자 입력에 따라 생성된 마스크 형상 템플릿의 마스크 속성이 불일치하는 경우 무조건 사용자 인증 실패를 리턴하고, 추가 인증을 요구한다. 예를 들어, 추가 보안 PIN 번호 등을 요구해 보안성을 높인다.
만약, 커스텀 마스크 영상으로부터 추출된 텍스쳐를 갖는 마스크 형상 템플릿이 사용자 입력에 의해 생성된 마스크 형상 템플릿으로 존재하는 경우, 사용자 인증 장치(100)는 인증대상 영상으로부터 추출된 마스크 텍스쳐와 사용자 입력에 의해 생성된 마스크 형상 템플릿이 갖는 텍스쳐가 일치하는 경우에만 사용자 인증을 진행한다.
또한, 상기 사용자 인증 장치(100)는 인증대상 영상에서 마스크 속성을 검출하고, 검출된 마스크 속성을 사용해 마스크 종류, 형상 및/또는 색상을 인식할 수도 있다. 마스크 속성은 단계(S430)에서 인식된 결과 획득되는 마스크 영역에서 추출되는 특징들이다.
도 8은, 본 발명의 일 실시예에 따른, 마스크 인식 기록을 도시한다.
도 8을 참조하면, 사용자 인증 장치(100)는 사용자 인증이 완료되면하면, 인식 결과(예컨대, 성공 또는 실패), 사용자 인증 과정에서 인식된 마스크 정보(예컨대, 마스크 종류, 형상 및/또는 색상)를 기록한다. 또한, 사용자 인증 장치(100)는 마스크 인식 기록을 포함한 사용자 인증 기록을 사용자에게 제공할 수도 있다.
또한, 사용자 인증 장치(100)는 마스크 착용 영상이 인증대상 영상으로 입력되는 경우의 사용자 인증 동작과 관련된 다양한 기능을 설정할 수도 있다. 기능의 설정은 미리 지정된 기능의 활성화/비활성화로 구현될 수도 있다.
도 9는, 본 발명의 일 실시예에 따른, 사용자 인증 동작과 관련된 기능을 설정하기 위한 사용자 인터페이스 화면을 도시한다.
일 실시예에서, 사용자 인증 장치(100)는 단계(S430)에서 마스크 미착용으로 인식된 이후 사용자 인증이 성공한 경우와 단계(S430)에서 마스크 착용이 인식된 이후 사용자 인증이 성공한 경우에 장치 사용 권한을 서로 다르게 설정할 수도 있다.
사용자 인증이 참조 데이터에 기초하여 진행되었는지, 또는 보조 참조 데이터에 기초하여 진행되었는지 여부에 따라 인증에 성공한 사용자의 장치 사용 권한의 범위가 달라진다. 예를 들어, 장치에 설치된 복수의 애플리케이션 중 일부(예컨대, 도 9의 금융 어플리케이션)에 대해서는 메인 참조 데이터에 기초한 사용자 인증의 경우에만 권한이 허여되도록 설정될 수도 있다.
일 실시예에서, 상기 장치 사용 권한의 범위는 사용자 입력에 의해 추가적으로 변경될 수도 있다.
또한, 사용자 인증 장치(100)는 마스크를 착용한 인증대상의 사용자 인증에 사용되는 속성 항목을 설정하도록 구성될 수도 있다. 예를 들어, 사용자 인증 장치(100)는 커스텀 마스크와 같이, 미리 지정된 마스크 종류 이외의 기타 모든 마스크에 대해서는 사용하지 않겠다고 설정할 수도 있다.
또는, 사용자 인증 장치(100)는 즐겨찾기 마스크 형상 템플릿을 위한 마스크 속성의 범위를 설정할 수도 있다. 예를 들어, 사용자 인증 장치(100)는 사용자 인정에 앞서 마스크 속성의 일치를 판단하는데 사용할 마스크 속성의 범위(예컨대, 색상, 종류 및 이들의 조합 등)를 설정할 수도 있다.
사용자 인증 장치(100)는 즐겨찾기 마스크의 마스크 속성 중 일부 또는 전부를 지정하고, 지정된 범위에 속하는 마스크 속성을 사용해 인증대상 영상에서 인식된 마스크 속성과의 불일치를 결정한다. 도 9와 같이 색상 속성과 종류 속성이 활성화된 경우, 인증대상과 장치 사용자 간의 인증 유사도의 계산은 인증대상 영상에서 인식된 마스크 색상 속성과 마스크 종류 속성이 미리 저장된 보조 참조 데이터의 마스크 속성과 마스크 종류 속성이 일치하는 경우에만 수행될 수도 있다.
일 실시예에서, 사용자 인증 장치(100)는 인증대상의 착용 마스크 속성과 최근 마스크 형상 템플릿의 마스크 속성이 일치하는 경우에 한해 사용자 인증을 진행하기 위한 기능을 적어도 부분적으로 활성화하거나 비활성화할 수도 있다. 예들어, 사용자 인증 장치(100)는 마스크 속성의 일치를 위해 사용할 최근 마스크 형상 템플릿의 기간, 개수를 설정할 수도 있다. 도 9와 같이 설정될 경우, 가장 마지막 사용된 마스크 형상 템플릿의 사용 시간이 8일이 경과하면, 최근 마스크 형상 템플릿은 초기화된다.
일 실시예에서, 사용자 인증 장치(100)는 가상 마스크 모델 또는 가짜 마스크 착용 영상을 사용자 인증 이전에 사용자에게 제공할 수도 있다. 그러면, 장치 사용자는 현재 자신이 착용하고 있는 마스크에 매칭되도록 사용자 입력을 통해 가짜 마스크 착용 영상 내 마스크 또는 가상 마스크 모델을 조절할 수도 있다. 예를 들어, 사용자 인증 장치(100)는 마스크 크기, 마스크 텍스쳐, 마스크 밝기, 마스크 조도, 마스크 조명 방향 및/또는 마스크 해상도를 사용자 입력에 따라 조절할 수도 있다.
도 10a 내지 도 10d는, 본 발명의 일 실시예에 따른, 마스크 조절의 개략도이다.
사용자 인증 장치(100)는 생성된 가짜 마스크 착용 영상 내 마스크 또는 가상 마스크 모델의 크기를 조절할 수도 있다. 도 10a에 도시된 바와 같이, 사용자는 가짜 마스크 착용 영상 내 마스크의 크기를 축소시킬 수도 있다.
사용자 인증 장치(100)는 생성된 가짜 마스크 착용 영상 내 마스크 또는 가상 마스크 모델의 밝기를 조절할 수도 있다.
일 실시예에서, 사용자 인증 장치(100)는 사용자 입력에 따라 마스크 밝기를 조절할 수도 있다.
다른 일 실시예에서, 사용자 인증 장치(100)는 메인 참조 데이터를 생성하는데 사용된, 등록 얼굴 영상에 나타난 조명 세기를 인식하고, 가짜 마스크 착용 영상 내 마스크 또는 가상 마스크 모델의 밝기를 인식된 조명 세기로 조절할 수도 있다. 도 10b에 도시된 바와 같이, 최초 생성된 가짜 마스크 착용 영상 내 마스크의 밝기가 이것이 결합될 등록 얼굴 영상의 밝기와 일치하지 않을 수도 있다. 그러면, 사용자 인증 장치(100)는 마스크 밝기를 등록 얼굴 영상의 밝기와 일치하도록 조절할 수도 있다.
사용자 인증 장치(100)는 생성된 가짜 마스크 착용 영상 내 마스크 또는 가상 마스크 모델의 해상도를 조절할 수도 있다.
일 실시예에서, 사용자 인증 장치(100)는 사용자 입력에 따라 마스크 해상도를 조절할 수도 있다.
다른 일 실시예에서, 사용자 인증 장치(100)는 등록 얼굴 영상에 포함된 마스크 영역의 외부 영역의 해상도를 인식하고, 가짜 마스크 착용 영상 내 마스크 또는 가상 마스크 모델의 해상도를 인식된 외부 영역의 해상도로 조절할 수도 있다. 그러면, 도 10c에 도시된 바와 같이, 사용자 인증 장치(100)는 마스크 해상도를 등록 얼굴 영상의 해상도와 일치하도록 조절할 수도 있다.
이러한 해상도 조절을 통해, 사용자 인증 장치(100)는 가짜 마스크 착용 영상 내 마스크 텍스쳐 화질과 마스크 이외의 나머지 부분(예컨대, 얼굴 노출 부분)의 텍스쳐 화질과 매칭한 가짜 마스크 착용 영상을 생성할 수도 있다.
또한, 사용자 인증 장치(100)는 생성된 가짜 마스크 착용 영상 내 마스크 또는 가상 마스크 모델의 마스크 조도 및/또는 조명 방향을 조절할 수도 있다.
일 실시예에서, 사용자 인증 장치(100)는 사용자 입력에 따라 마스크 조도 및 조명 방향을 조절할 수도 있다.
다른 일 실시예에서, 사용자 인증 장치(100)는 메인 참조 데이터를 생성하는데 사용된, 등록 얼굴 영상에 나타난 조명 세기 및/또는 조명 방향을 인식하고, 가짜 마스크 착용 영상 내 마스크 또는 가상 마스크 모델의 조도 및/또는 조명 방향을 인식된 조명 세기 및/또는 조명 방향으로 조절할 수도 있다. 사용자 인증 장치(100)는 등록 얼굴 영상 내 얼굴의 해부학적 단차 구조에 따른, 얼굴 패치 내의 윤곽선, 그림자, 위상 등에 기초하여 광원의 위치 및/또는 방향을 인식하여 영상의 조도, 조명 방향을 추정한다. 사용자 인증 장치(100)는 최초 생성된 가짜 마스크 착용 영상의 마스크의 조도, 조명 방향을 추정된 등록 얼굴 영상의 조도, 조명 방향에 대응하도록 조절한다. 그러면, 도 10d에 도시된 바와 같이, 등록 얼굴 영상에 보다 매칭하는 가짜 마스크 착용 영상이 취득되고, 결국 매칭 정확성이 향상된다.
실시예들에 따른 사용자 인증 장치(100)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 장치는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
상기 사용자 인증 장치(100)는 영상을 취득하고 해당 영상을 처리하는 다양한 형태의 하드웨어로 구현될 수도 있다. 예를 들어, 사용자 인증 장치(100)는 스마트 폰, 스마트 글래스, 스마트 워치, 웨어러블 장치, 태블릿, 노트북, 랩탑 컴퓨터 등으로 구현될 수 있으나, 이에 제한되진 않는다.
도 11은, 본 발명의 일 실시예에 따른, 사용자 인증 장치(100)의 내부 개략도이다.
도 11을 참조하면, 사용자 인증 장치(100)는 상기 사용자 인증 장치(100)는 메모리(110), 프로세서(130); 인터페이스(140); 통신 모듈(150); 정보를 입/출력하는 하나 이상의 인터페이스 유닛을 포함할 수도 있다. 상기 인터페이스 유닛은 센싱 유닛(171), 입력 유닛, 및 디스플레이 유닛(174)을 포함한다. 상기 입력 유닛은 터치 유닛(172) 및/또는 기타 입력 유닛(173)을 포함한다.
일부 실시예에서, 상기 인터페이스 유닛은 스피커(175), 마이크(176)을 더 포함할 수도 있다.
메모리(110)는 불휘발성 메모리를 포함할 수 있다. 상기 불휘발성 메모리는, 예를 들어 SDD, HDD, 플래시 메모리 등을 포함할 수 있으나, 이에 제한되지 않으며 다른 불휘발성 반도체 메모리를 포함할 수 있다. 일부 실시예에서, 메모리(110)는 사용자 인증 장치(100)의 외부에 원격으로 위치하는 저장 장치, 예컨대, 유/무선의 통신 네트워크를 통해 액세스되는 분산형 저장소(storage)를 더 포함할 수도 있다.
프로세서(130)는 데이터 처리 및/또는 이미지 처리를 수행하도록 구성된다. 상기 프로세서(130)는 CPU, GPU 등을 포함할 수 있다. 도 2b에서 프로세서(130)는 단일 구성요소로 도시되었으나, 이에 제한되지 않는다. 예를 들어, 설계에 따라서 단일 칩 또는 다수의 칩으로 구현될 수 있다.
프로세서(130)는 위에서 설명한 도 2 내지 도 10의 동작을 수행하도록 구성된다.
인터페이스(140)는 사용자 인증 장치(100)의 입/출력과 관련된 장치들을 메모리(110) 및/또는 프로세서(130)와 연결시킨다. 상기 인터페이스(140)는 연결된 입/출력과 관련된 장치들에 따라 소프트웨어 및/또는 하드웨어의 조합으로 구현될 수 있다. 예를 들어, 상기 인터페이스(140)는 통신용 인터페이스, 터치 및 기타 입력 유닛용 인터페이스, 오디오용 인터페이스 등을 포함하며, 상기 오디오 인터페이스는 데이터를 전기 신호로 변환하고 전기 신호로 전송하는 오디오 회로(예컨대, 헤드셋 잭 등)를 포함할 수 있으며, 상기 터치 및 기타 입력 유닛용 인터페이스는 하나 이상의 입력 유닛을 통해 획득된 사용자 입력에 대응하는 전기 신호를 프로세서(130)로 전송하는 하나 이상의 입력 제어자를 포함할 수 있다.
통신 모듈(150)은 전자파를 송/수신하도록 구성된다. 상기 사용자 인증 장치(100)는 통신 모듈(150)을 통해 통제 서버(200)와 통신한다.
통신 모듈(150)는 전기 신호를 전자파로 변환하거나, 또는 전자파를 전기 신호로 변환한다. 사용자 단말(100)는 통신 모듈(150)를 통해 사용자가 통화를 하게 하거나, 또는 인터넷 상의 서비스를 제공하는 애플리케이션을 사용하게 한다. 상기 통신 모듈(150)는 객체와 객체가 네트워킹할 수 있는, 유선 통신, 무선 통신, 3G, 4G, 유선 인터넷 또는 무선 인터넷 등을 포함한, 다양한 통신 방법에 의해 다른 장치와 통신할 수 있다. 예를 들어, 통신 모듈(150)는 월드 와이드 웹(WWW, World Wide Web)과 같은 인터넷, 인트라넷과 같은 네트워크 및/또는 셀룰러 전화 네트워크, 무선 네트워크, 그리고 무선 통신을 통해 통신하도록 구성된다. 상기 무선 통신은, 예를 들어, GSM(Global System for Mobile Network, CDMA(ode Division Multiple Access, W-CDMA(Wideband Code Division Multiple Access), TDMA(Time Division Multiple Access), Bluetooth, Wi-Fi, Wi-MAX(orld Interoperability for Microwave Access), 및/또는 이메일, 인스턴트 메시징, 단문 문자 서비스(SMS) 등을 위한 통신 프로토콜을 이용한 무선 통신 표준을 포함하나, 이에 제한되지 않는다.
센싱 유닛(171)은 파장에 반응하여 대상자의 영상을 생성하기 위한 센싱 데이터를 생성하는 구성요소로서, 가시광선에 반응하여 대상자의 영상 데이터를 생성하는 가시광 센서 모듈일 수도 있다.
상기 터치 유닛(172), 기타 입력 유닛(173)은 사용자의 입력과 관련된 명령을 수신하도록 구성된 구성요소이다. 사용자의 신체 일부 또는 다른 객체가 포인팅 객체로 활용되어 터치 유닛(172)에 입력된다. 상기 터치 유닛(172)은 감압식 또는 정전기식 센서 등을 포함할 수 있으나, 이에 제한되진 않는다. 상기 기타 입력 유닛(173)은 예를 들어 버튼, 다이얼, 스위치, 스틱 등을 포함한다.
디스플레이 유닛(174)은 사용자 인증 장치(100)에 저장 및/또는 처리된 정보를 디스플레이하는 구성요소로서, 예를 들어, LCD, OLED, 플렉서블 스크린 등을 포함할 수 있으나, 이에 제한되진 않는다.
도 11에서 터치 유닛(172)과 디스플레이 유닛(174)이 분리되어 있지만, 많은 실시예들에서 터치 유닛(172)과 디스플레이 유닛(174)은 입력 수신 및 정보 출력을 수행하도록 하나의 구성요소로 구현될 수 있다. 예를 들어, 도 7 등에 도시된 바와 같이 사용자 인증 장치(100)가 사용자 인터페이스 화면을 통해 사용자 입력을 수신하도록 구성될 경우, 터치 유닛(172)과 디스플레이 유닛(174)은 스크린과 레이어 구조를 이루는 터치 스크린으로 구현된 터치 패널일 수도 있다. 터치 입력은 (예컨대, 사용자의 신체, 또는 도구 등을 포함한) 포인팅 객체에 의해 입력된다.
스피커(175)는 전기 신호를 가청 영역의 주파수를 갖는 음파로 변환한다. 프로세서(130)에서 처리된 데이터 또는 메모리(110)에 미리 저장된 데이터가 인터페이스(140)를 통해 전기 신호로 변환되어 스피커(175)에 입력되고 최종적으로 음파가 출력된다. 마이크(176)는 음파를 전기 신호로 변환한다. 상기 사용자 단말(100)이 대상자의 음성 응답을 통해 향 분사 인지 여부를 판단하도록 구성될 경우, 스피커(175)는 대상자의 음성 입력을 유도하기 위한 음파를 출력하고 마이크(176)는 대상자의 음성 응답을 입력받기 위해 사용될 수도 있다.
이상에서 설명한 실시예들에 따른 사용자 인증 장치(100) 및 이에 의해 수행되는 사용자 인증 방법의 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (16)

  1. 사용자 인증 장치에 있어서,
    인증대상의 얼굴의 적어도 일부를 포함한 인증대상 영상에서 얼굴 영역을 검출하고 - 상기 인증대상 영상은 마스크 착용 영상 또는 마스크 미착용 영상임,
    얼굴 영역에 마스크 착용의 가림 여부를 인식하며,
    인증대상 영상의 얼굴 영역으로부터 인증대상 속성 데이터를 추출하고, 그리고
    참조 데이터를 호출하고 호출된 참조 데이터 및 인증대상 속성 데이터에 기초하여 인증대상이 등록된 장치 사용자인지를 인증하며,
    상기 참조 데이터는 메인 참조 데이터 또는 보조 참조 데이터로서 마스크 착용이 인식되면 상기 메인 참조 데이터가 호출되며 마스크 미착용이 인식되면 상기 보조 참조 데이터가 호출되고, 상기 메인 참조 데이터와 보조 참조 데이터는 등록된 장치 사용자의 마스크 미착용 영상으로부터 생성되고,
    상기 사용자 인증 장치는, 상기 보조 참조 데이터를 생성하기 위해,
    등록된 장치 사용자의 마스크 미착용 영상의 얼굴 영역으로부터 상기 장치 사용자의 3D 얼굴 모델을 생성하고 상기 장치 사용자의 표면 형상을 취득하며,
    상기 장치 사용자의 표면 형상에 매칭하는 표면 형상을 갖는 가상 마스크 모델을 생성하고,
    생성한 가상 마스크 모델 및 상기 장치 사용자의 3D 얼굴 모델에 기초하여 상기 장치 사용자의 가짜 마스크 착용 영상을 생성하며, 그리고
    상기 장치 사용자의 가짜 마스크 착용 영상으로부터 속성 데이터를 추출해 상기 보조 참조 데이터를 생성하도록 구성된 것을 특징으로 하는 사용자 인증 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 사용자 인증 장치는, 상기 메인 참조 데이터를 생성하기 위해,
    상기 등록된 장치 사용자의 마스크 미착용 영상에서 얼굴 영역을 검출하고, 그리고
    상기 장치 사용자의 마스크 미착용 영상의 얼굴 영역에서 속성 데이터를 추출해 상기 메인 참조 데이터를 생성하도록 더 구성된 것을 특징으로 하는 사용자 인증 장치.
  5. 제1항에 있어서,
    상기 사용자 인증 장치는 입력 영상에서 2D 속성을 추출하는 특징 추출기 및 3D 속성을 추출하는 깊이 추출기 중 하나 이상을 포함하고,
    포함한 하나 이상의 추출기를 사용하여 상기 참조 데이터의 속성 데이터 및 인증대상 속성 데이터 모두를 추출하는 것을 특징으로 하는 사용자 인증 장치.
  6. 제5항에 있어서,
    상기 포함한 하나 이상의 추출기는 마스크 착용 영상만으로 이루어진 훈련 데이터 세트, 마스크 미착용 영상만으로 이루어진 훈련 데이터 세트, 또는 마스크 착용 영상과 마스크 미착용 영상으로 이루어진 훈련 데이터 세트를 사용하여 상기 입력 영상에서 속성 데이터를 추출하도록 학습된 신경망인 것을 특징으로 하는 사용자 인증 장치.
  7. 제1항에 있어서, 상기 사용자 인증 장치는, 상기 가상 마스크 모델을 생성하기 위해,
    미리 저장된 마스크 형상 템플릿을 호출하고, 호출된 마스크 형상 템플릿의 표면 형상을 상기 장치 사용자의 표면 형상에 매칭하도록 변형하도록 구성된 것을 특징으로 하는 사용자 인증 장치.
  8. 제7항에 있어서,
    상기 마스크 형상 템플릿은 미리 저장된 마스크 속성에 기초하여 생성된 것이고,
    상기 사용자 인증 장치는,
    상기 마스크 착용 영상이 상기 인증대상 영상으로 입력되면, 상기 인증대상 영상으로부터 추출한 인증대상 속성 데이터에 포함된 마스크 속성에 매칭하는 마스크 속성에 기초한 마스크 형상 템플릿을 호출하도록 구성된 것을 특징으로 하는 사용자 인증 장치.
  9. 제1항에 있어서, 상기 사용자 인증 장치는, 상기 가짜 마스크 착용 영상을 생성하기 위해,
    상기 가상 마스크 모델을 2D로 렌더링하여 상기 장치 사용자의 마스크 미착용 영상에 투영하는 것을 특징으로 하는 사용자 인증 장치.
  10. 제9항에 있어서, 상기 사용자 인증 장치는,
    상기 인증대상 영상의 마스크 착용이 인식된 이후에 상기 가짜 마스크 착용 영상을 생성하며,
    상기 장치 사용자의 마스크 미착용 영상 내 투영 위치는 상기 인증대상 영상 내 마스크 영역에 대응하는 위치인 것을 특징으로 하는 사용자 인증 장치.
  11. 제7항에 있어서, 상기 사용자 인증 장치는,
    마스크 속성을 포함한 사용자 입력에 따라 마스크 형상 템플릿을 생성하며,
    상기 마스크 형상 템플릿의 생성을 위한 마스크 속성은 마스크 종류, 마스크 텍스쳐, 마스크 색상, 및 마스크 형상 중 하나 이상을 포함하는 것을 특징으로 하는 사용자 인증 장치.
  12. 제11항에 있어서, 상기 사용자 인증 장치는,
    사용자 인증 당시에 사용자 입력에 따라 생성된 마스크 형상 템플릿이 존재하는 경우, 인증대상의 착용 마스크 속성과 사용자 입력에 따라 생성된 마스크 형상 템플릿의 마스크 속성이 일치하는 경우에 한해 사용자 인증을 진행하도록 구성된 것을 특징으로 하는 사용자 인증 장치.
  13. 제7항에 있어서, 상기 사용자 인증 장치는,
    이전 인식 결과 및 인식된 마스크 속성을 포함한 사용자 인식 결과를 기록하고, 그리고
    사용자 인증 당시에 기록된 최근 마스크 형상 템플릿이 존재하는 경우, 인증대상의 착용 마스크 속성과 최근 마스크 형상 템플릿의 마스크 속성이 일치하는 경우에 한해 사용자 인증을 진행하도록 구성된 것을 특징으로 하는 사용자 인증 장치.
  14. 제1항에 있어서, 상기 사용자 인증 장치는,
    상기 사용자 인증에 성공한 장치 사용자에게 장치 사용 권한을 부여하되,
    상기 인증대상 영상에서 마스크 미착용으로 인식된 이후 사용자 인증이 성공한 경우 부여되는 권한 범위와 상기 인증대상 영상에서 마스크 착용으로 인식된 이후 사용자 인증이 성공한 경우 부여되는 권한 범위를 서로 다르게 설정한 것을 특징으로 하는 사용자 인증 장치.
  15. 제1항에 있어서, 상기 사용자 인증 장치는,
    상기 인증대상의 마스크 미착용 영상이 인증대상 영상으로 입력된 경우, 추출된 속성 데이터의 마스크 속성에 매칭하도록 상기 가짜 마스크 착용 영상의 마스크를 조절하도록 더 구성된 것을 특징으로 하는 사용자 인증 장치.
  16. 제15항에 있어서, 상기 사용자 인증 장치는,
    마스크 크기, 마스크 텍스쳐, 마스크 밝기, 마스크 조도, 마스크 조명 방향 및 마스크 해상도 중 적어도 하나를 추출된 속성 데이터의 마스크 속성에 매칭하도록 조절하는 것을 특징으로 하는 사용자 인증 장치.
KR1020210033695A 2021-03-16 2021-03-16 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법 KR102493322B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210033695A KR102493322B1 (ko) 2021-03-16 2021-03-16 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법
US17/535,575 US12019724B2 (en) 2021-03-16 2021-11-25 Device and method for authenticating user based on facial characteristics and mask characteristics of the user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210033695A KR102493322B1 (ko) 2021-03-16 2021-03-16 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220129169A KR20220129169A (ko) 2022-09-23
KR102493322B1 true KR102493322B1 (ko) 2023-01-31

Family

ID=83284959

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210033695A KR102493322B1 (ko) 2021-03-16 2021-03-16 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법

Country Status (2)

Country Link
US (1) US12019724B2 (ko)
KR (1) KR102493322B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11967173B1 (en) * 2020-05-19 2024-04-23 T Stamp Inc. Face cover-compatible biometrics and processes for generating and using same
US20230137381A1 (en) * 2021-10-29 2023-05-04 Centre For Intelligent Multidimensional Data Analysis Limited System and method for detecting a facial apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072910A (ja) * 2008-09-18 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> 顔の３次元モデル生成装置、顔の３次元モデル生成方法および顔の３次元モデル生成プログラム
JP2012160001A (ja) * 2011-01-31 2012-08-23 Secom Co Ltd 顔画像認証装置
JP2020166597A (ja) * 2019-03-29 2020-10-08 グローリー株式会社 認証システム及び認証方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090093223A (ko) 2008-02-29 2009-09-02 홍익대학교 산학협력단 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거
JP6150509B2 (ja) 2012-12-07 2017-06-21 セコム株式会社 顔認証装置
JP6855872B2 (ja) * 2017-03-24 2021-04-07 アイシン精機株式会社 顔認識装置
CN108664782B (zh) * 2017-03-28 2023-09-12 三星电子株式会社 面部验证方法和设备
KR102359558B1 (ko) * 2017-03-28 2022-02-09 삼성전자주식회사 얼굴 인증 방법 및 장치
KR101998112B1 (ko) 2017-08-09 2019-07-10 한국과학기술연구원 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102074312B1 (ko) 2018-03-13 2020-02-06 (주)비에스케이 카메라를 이용한 중앙통제방식의 출입자 인식 자동문 시스템
KR102078249B1 (ko) 2019-06-18 2020-02-17 주식회사 페이스테그 얼굴 인증 방법, 얼굴 인증 장치, 이를 위한 컴퓨터 프로그램
KR20220151165A (ko) * 2020-03-09 2022-11-14 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
CN113515977A (zh) * 2020-04-10 2021-10-19 嘉楠明芯(北京)科技有限公司 人脸识别方法及***
CN111860456B (zh) 2020-08-04 2024-02-02 广州市微智联科技有限公司 一种蒙面人脸识别方法
US12008471B2 (en) * 2020-09-03 2024-06-11 Nec Corporation Robustness assessment for face recognition
US10984225B1 (en) * 2020-09-28 2021-04-20 Accenture Global Solutions Limited Masked face recognition
US11741751B2 (en) * 2020-10-01 2023-08-29 Vinai AI Application and Research Joint Stock Co. Masked face recognition method
WO2022077139A1 (zh) * 2020-10-12 2022-04-21 鸿富锦精密工业(武汉)有限公司 人脸识别方法、装置及可读存储介质
US11527104B2 (en) * 2021-02-09 2022-12-13 Danny Rittman Systems and methods of facial and body recognition, identification and analysis
JP2023006150A (ja) * 2021-06-30 2023-01-18 株式会社日立エルジーデータストレージ 顔認証システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072910A (ja) * 2008-09-18 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> 顔の３次元モデル生成装置、顔の３次元モデル生成方法および顔の３次元モデル生成プログラム
JP2012160001A (ja) * 2011-01-31 2012-08-23 Secom Co Ltd 顔画像認証装置
JP2020166597A (ja) * 2019-03-29 2020-10-08 グローリー株式会社 認証システム及び認証方法

Also Published As

Publication number Publication date
KR20220129169A (ko) 2022-09-23
US12019724B2 (en) 2024-06-25
US20220300591A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
KR102359558B1 (ko) 얼굴 인증 방법 및 장치
KR101998112B1 (ko) 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102483642B1 (ko) 라이브니스 검사 방법 및 장치
KR102299847B1 (ko) 얼굴 인증 방법 및 장치
US10339402B2 (en) Method and apparatus for liveness detection
US9613200B2 (en) Ear biometric capture, authentication, and identification method and system
KR102214918B1 (ko) 얼굴 인식 방법 및 장치
US10922399B2 (en) Authentication verification using soft biometric traits
KR20160066380A (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
KR20190136349A (ko) 3d 영상 기반의 얼굴 인증 방법 및 장치
KR102493322B1 (ko) 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법
US11756338B2 (en) Authentication device, authentication method, and recording medium
KR20210031349A (ko) 얼굴 인식을 통한 인증 방법 및 장치
KR100847142B1 (ko) 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치
KR102063745B1 (ko) 측면 프로파일링 기반 신원확인 장치 및 방법
KR102521661B1 (ko) 비대면 출입 통제를 위한 출입 통제 방법 및 이를 수행하는 출입 통제 시스템
KR102249663B1 (ko) 귀 인식 기반 신원확인 방법 및 시스템
JP2008015871A (ja) 認証装置、及び認証方法
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
KR102583982B1 (ko) 비대면 출입 통제 방법 및 이를 수행하는 출입 통제 시스템
Solanki Elimination of angular problem in face recognition
JP7302680B2 (ja) 情報処理装置、方法およびプログラム
Amali et al. Evolution of Deep Learning for Biometric Identification and Recognition
KR20220140240A (ko) 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템
KR20220121184A (ko) 인공지능 딥러닝 모델을 이용한 마스크 착용 얼굴 인식 방법 및 서버

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant