KR102352345B1 - Liveness test method and apparatus - Google Patents
Liveness test method and apparatus Download PDFInfo
- Publication number
- KR102352345B1 KR102352345B1 KR1020180000230A KR20180000230A KR102352345B1 KR 102352345 B1 KR102352345 B1 KR 102352345B1 KR 1020180000230 A KR1020180000230 A KR 1020180000230A KR 20180000230 A KR20180000230 A KR 20180000230A KR 102352345 B1 KR102352345 B1 KR 102352345B1
- Authority
- KR
- South Korea
- Prior art keywords
- liveness
- determining
- score
- sub
- liveness score
- Prior art date
Links
- 238000010998 test method Methods 0.000 title claims description 21
- 238000012360 testing method Methods 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G06K9/62—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
라이브니스 검사 방법 및 장치가 개시된다. 라이브니스 검사 장치는 입력 영상으로부터 획득된 복수의 서브 영상들에 기초하여 사전 라이브니스 스코어를 결정하고, 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어를 결정하며, 사전 라이브니스 스코어 및 사후 라이브니스 스코어 중 적어도 하나에 기초하여 객체의 라이브니스 여부를 판단한다.A liveness testing method and apparatus are disclosed. The liveness test apparatus determines a pre-liveness score based on a plurality of sub-images obtained from the input image, determines a post-liveness score based on a recognition model for recognizing an object included in the input image, and It is determined whether the object is lively based on at least one of a liveness score and a post-liveness score.
Description
아래 실시예들은 라이브니스 검사 방법 및 장치에 관한 것이다.The following embodiments relate to a liveness test method and apparatus.
사용자 인증 시스템(user verification system)에서 컴퓨팅 장치는 사용자에 의해 제공되는 인증 정보에 기초하여 해당 컴퓨팅 장치에 대한 액세스를 허용할지 여부를 결정할 수 있다. 인증 정보는 사용자에 의해 입력되는 패스워드 또는 사용자의 생체 정보(biometric information) 등을 포함할 수 있다.In a user verification system, the computing device may determine whether to allow access to the computing device based on authentication information provided by the user. The authentication information may include a password input by the user or biometric information of the user.
최근, 사용자 인증 시스템을 위한 보안 방법으로서, 얼굴 스푸핑 방지(face anti-spoofing) 기술에 대한 관심이 증가하고 있다. 얼굴 스푸핑 방지는 컴퓨팅 장치에 입력된 사용자의 얼굴이 위조 얼굴(fake face)인지 아니면 진짜 얼굴(genuine face)인지 여부를 구별한다. 이를 위해, 입력 영상에서 LBP(Local Binary Patterns), HOG(Histogram of Oriented Gradients), DoG(Difference of Gaussians) 등과 같은 특징들(features)이 추출되고, 추출된 특징들에 기반하여 입력된 얼굴이 위조 얼굴인지 여부가 판정된다. 얼굴 스푸핑은 사진, 동영상 또는 마스크 등을 이용하는 공격 형태를 가지며, 얼굴 인증에 있어 이러한 생체 인식 모조(biometric mimicking)를 구별해 내는 것은 중요하다.Recently, as a security method for a user authentication system, interest in face anti-spoofing technology is increasing. Face spoofing prevention distinguishes whether a user's face input into a computing device is a fake face or a genuine face. To this end, features such as LBP (Local Binary Patterns), HOG (Histogram of Oriented Gradients), DoG (Difference of Gaussians) are extracted from the input image, and based on the extracted features, the input face is forged. It is determined whether it is a face or not. Face spoofing has an attack form using a photo, video, or mask, and it is important to distinguish such biometric mimicking in face authentication.
일실시예에 따른 라이브니스 검사 방법은 입력 영상으로부터 획득된 복수의 서브 영상들에 기초하여 사전 라이브니스 스코어(pre-liveness score)를 결정하는 단계; 상기 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어(post-liveness score)를 결정하는 단계; 및 상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 적어도 하나에 기초하여 상기 객체의 라이브니스 여부를 판단하는 단계를 포함한다.A liveness test method according to an embodiment may include: determining a pre-liveness score based on a plurality of sub-images obtained from an input image; determining a post-liveness score based on a recognition model for recognizing an object included in the input image; and determining whether the object is lively based on at least one of the pre-liveness score and the post-liveness score.
일실시예에 따른 라이브니스 검사 방법에서 상기 사전 라이브니스 스코어를 결정하는 단계는 상기 입력 영상에 포함된 객체에 기초하여 상기 입력 영상으로부터 서로 다른 유형들의 상기 복수의 서브 영상들을 획득하는 단계; 상기 복수의 서브 영상들 각각에 대응하는 라이브니스 스코어들을 결정하는 단계; 및 상기 결정된 라이브니스 스코어들에 기초하여 상기 사전 라이브니스 스코어를 결정하는 단계를 포함할 수 있다.In the liveness test method according to an embodiment, the determining of the pre-liveness score may include: acquiring the plurality of sub-images of different types from the input image based on an object included in the input image; determining liveness scores corresponding to each of the plurality of sub-images; and determining the prior liveness score based on the determined liveness scores.
일실시예에 따른 라이브니스 검사 방법에서 상기 복수의 서브 영상들은 상기 입력 영상에서 상기 객체가 포함된 객체 영역에 대응하는 제1 서브 영상, 상기 객체 영역의 일부 영역에 대응하는 제2 서브 영상 및 상기 객체 영역과 상기 객체의 배경 영역에 대응하는 제3 서브 영상 중 적어도 둘을 포함할 수 있다.In the liveness test method according to an embodiment, the plurality of sub-images include a first sub-image corresponding to an object region including the object in the input image, a second sub-image corresponding to a partial region of the object region, and the At least two of an object region and a third sub-image corresponding to the background region of the object may be included.
일실시예에 따른 라이브니스 검사 방법에서 상기 결정된 라이브니스 스코어들은 제1 서브 영상에 대응하는 제1 라이브니스 스코어, 제2 서브 영상에 대응하는 제2 라이브니스 스코어 및 제3 서브 영상에 대응하는 제3 라이브니스 스코어를 포함하고, 상기 제1 라이브니스 스코어는 제1 라이브니스 검사 모델에 의해 결정되고, 상기 제2 라이브니스 스코어는 제2 라이브니스 검사 모델에 의해 결정되고, 상기 제3 라이브니스 스코어는 제3 라이브니스 검사 모델에 의해 결정될 수 있다.In the liveness test method according to an embodiment, the determined liveness scores include a first liveness score corresponding to the first sub-image, a second liveness score corresponding to the second sub-image, and a second liveness score corresponding to the third sub-image. 3 liveness scores, wherein the first liveness score is determined by a first liveness test model, the second liveness score is determined by a second liveness test model, and the third liveness score may be determined by the third liveness test model.
일실시예에 따른 라이브니스 검사 방법에서 상기 라이브니스 스코어들을 결정하는 단계는 상기 제1 서브 영상의 크기를 리사이즈하는 단계; 및 제1 라이브니스 검사 모델을 이용하여 상기 리사이즈된 제1 서브 영상으로부터 상기 제1 서브 영상에 대응하는 제1 라이브니스 스코어를 결정하는 단계를 포함할 수 있다.In the liveness test method according to an embodiment, the determining of the liveness scores includes: resizing the size of the first sub-image; and determining a first liveness score corresponding to the first sub-image from the resized first sub-image by using a first liveness test model.
일실시예에 따른 라이브니스 검사 방법에서 상기 라이브니스 스코어들을 결정하는 단계는 상기 객체 영역에서 상기 일부 영역을 크롭핑(cropping)함으로써 상기 제2 서브 영상을 획득하는 단계; 및 제2 라이브니스 검사 모델을 이용하여 상기 제2 서브 영상으로부터 상기 제2 서브 영상에 대응하는 제2 라이브니스 스코어를 결정하는 단계를 포함할 수 있다.In the liveness test method according to an embodiment, the determining of the liveness scores may include: obtaining the second sub-image by cropping the partial area in the object area; and determining a second liveness score corresponding to the second sub-image from the second sub-image by using a second liveness test model.
일실시예에 따른 라이브니스 검사 방법에서 상기 결정된 라이브니스 스코어들에 기초하여 상기 사전 라이브니스 스코어를 결정하는 단계는 상기 결정된 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 상기 적용 결과에 기초하여 상기 사전 라이브니스 스코어를 결정할 수 있다.In the liveness test method according to an embodiment, the determining of the pre-liveness score based on the determined liveness scores includes applying a weight to at least one of the determined liveness scores, and based on the application result, The prior liveness score may be determined.
일실시예에 따른 라이브니스 검사 방법에서 상기 사후 라이브니스 스코어를 결정하는 단계는 상기 인식 모델 내 복수의 히든 레이어들로부터 출력된 특징 벡터들 각각으로부터 제4 라이브니스 스코어들을 결정하는 단계; 및 상기 제4 라이브니스 스코어들에 기초하여 상기 사후 라이브니스 스코어를 결정하는 단계를 포함할 수 있다.In the liveness test method according to an embodiment, the determining of the posterior liveness score may include: determining fourth liveness scores from each of feature vectors output from a plurality of hidden layers in the recognition model; and determining the posterior liveness score based on the fourth liveness scores.
일실시예에 따른 라이브니스 검사 방법에서 상기 제4 라이브니스 스코어들을 결정하는 단계는 제4 라이브니스 검사 모델을 이용하여 상기 특징 벡터들 각각으로부터 상기 제4 라이브니스 스코어들을 결정할 수 있다.In the liveness test method according to an embodiment, the determining of the fourth liveness scores may include determining the fourth liveness scores from each of the feature vectors using a fourth liveness test model.
일실시예에 따른 라이브니스 검사 방법에서 상기 제4 라이브니스 스코어들에 기초하여 상기 사후 라이브니스 스코어를 결정하는 단계는 상기 제4 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 상기 적용 결과에 기초하여 상기 사후 라이브니스 스코어를 결정할 수 있다.In the liveness test method according to an embodiment, the determining of the posterior liveness score based on the fourth liveness scores includes applying a weight to at least one of the fourth liveness scores, and adding a weight to the application result. Based on the posterior liveness score may be determined.
일실시예에 따른 라이브니스 검사 방법에서 상기 사후 라이브니스 스코어를 결정하는 단계는 상기 사전 라이브니스 스코어에 기초하여 상기 객체가 라이브(live)한 것으로 판단된 경우, 상기 사후 라이브니스 스코어를 결정할 수 있다.In the liveness test method according to an embodiment, the determining of the post liveness score may include determining the post liveness score when it is determined that the object is live based on the prior liveness score. .
일실시예에 따른 라이브니스 검사 방법에서 상기 객체의 라이브니스 여부를 판단하는 단계는 상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 어느 하나 또는 이들의 조합이 임계 조건을 만족하는지 여부에 기초하여 상기 객체의 라이브니스 여부를 판단할 수 있다.In the liveness test method according to an embodiment, determining whether the object is lively may include determining whether one or a combination of the pre-liveness score and the post-liveness score satisfies a threshold condition. It is possible to determine whether the object is live or not.
일실시예에 따른 라이브니스 검사 방법은 상기 인식 모델에 기초하여 상기 객체가 미리 등록된 객체인지 여부를 판단하는 단계를 더 포함할 수 있다.The liveness checking method according to an embodiment may further include determining whether the object is a pre-registered object based on the recognition model.
일실시예에 따른 라이브니스 검사 방법에서 상기 사후 라이브니스 스코어를 결정하는 단계는 상기 사전 라이브니스 스코어에 기초하여 상기 객체가 라이브(live)한 것으로 판단되고, 상기 객체가 미리 등록된 객체인 것으로 판단된 경우, 상기 사후 라이브니스 스코어를 결정할 수 있다.In the liveness test method according to an embodiment, the determining of the post-liveness score includes determining that the object is live based on the pre-liveness score, and determining that the object is a pre-registered object. In this case, the posterior liveness score may be determined.
일실시예에 따른 라이브니스 검사 장치는 프로세서; 및 상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리를 포함하고, 상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 입력 영상으로부터 획득된 복수의 서브 영상들에 기초하여 사전 라이브니스 스코어를 결정하고, 상기 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어를 결정하며, 상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 적어도 하나에 기초하여 상기 객체의 라이브니스 여부를 판단한다.A liveness test apparatus according to an embodiment includes a processor; and a memory including at least one instruction executable by the processor, wherein when the at least one instruction is executed by the processor, the processor is configured to pre-liveness based on a plurality of sub-images obtained from the input image. determining a score, determining a post-liveness score based on a recognition model for recognizing an object included in the input image, and determining the liveness of the object based on at least one of the pre-liveness score and the post-liveness score Determine whether it is nice or not.
도 1 및 도 2는 일실시예에 따라 라이브니스 검사를 설명하기 위한 도면이다.
도 3은 일실시예에 따른 라이브니스 검사의 전체적인 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따라 사전 라이브니스 스코어를 결정하는 과정을 설명하기 위한 도면이다.
도 5는 일실시예에 따라 서브 영상들의 예시를 나타낸 도면이다.
도 6은 일실시예에 따라 사전 라이브니스 스코어 결정에 이용되는 라이브니스 검사 모델의 예시를 나타낸 도면이다.
도 7 및 도 8은 일실시예에 따라 사후 라이브니스 스코어를 결정하는 과정을 설명하기 위한 도면이다.
도 9는 일실시예에 따라 인식 모델에 포함된 레이어 그룹의 예시를 나타낸 도면이다.
도 10은 일실시예에 따라 제4 라이브니스 스코어 결정에 이용되는 제4 라이브니스 검사 모델의 예시를 나타낸 도면이다.
도 11은 일실시예에 따른 라이브니스 검사 방법을 나타낸 도면이다.
도 12는 일실시예에 따른 라이브니스 검사 장치를 나타낸 도면이다.1 and 2 are diagrams for explaining a liveness test according to an embodiment.
3 is a diagram for explaining an overall process of a liveness test according to an embodiment.
4 is a diagram for explaining a process of determining a pre-liveness score according to an embodiment.
5 is a diagram illustrating examples of sub-images according to an embodiment.
6 is a diagram illustrating an example of a liveness test model used to determine a pre-liveness score according to an embodiment.
7 and 8 are diagrams for explaining a process of determining a post-liveness score according to an exemplary embodiment.
9 is a diagram illustrating an example of a layer group included in a recognition model according to an embodiment.
10 is a diagram illustrating an example of a fourth liveness test model used to determine a fourth liveness score according to an exemplary embodiment.
11 is a diagram illustrating a liveness testing method according to an exemplary embodiment.
12 is a diagram illustrating a liveness testing apparatus according to an exemplary embodiment.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for purposes of illustration only, and may be changed and implemented in various forms. Accordingly, the embodiments are not limited to the specific disclosure form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various elements, these terms should be interpreted only for the purpose of distinguishing one element from another. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected to” another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, and includes one or more other features or numbers, It should be understood that the possibility of the presence or addition of steps, operations, components, parts or combinations thereof is not precluded in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. does not
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The specific structural and functional descriptions below are only exemplified for the purpose of describing the embodiments, and the scope of the embodiments should not be construed as being limited to the content described in the text. Various modifications and variations are possible from these descriptions by those skilled in the art. In addition, the same reference numerals shown in each drawing indicate the same members, and well-known functions and structures will be omitted.
도 1 및 도 2는 일실시예에 따라 라이브니스 검사를 설명하기 위한 도면이다.1 and 2 are diagrams for explaining a liveness test according to an embodiment.
라이브니스 검사는 검사 대상(test subject)인 객체가 살아있는 객체인지 여부를 검사하는 것으로, 예를 들어 카메라에 의해 촬영된 영상에 나타난 얼굴이 사람의 실제 얼굴(true face)인지 아니면 거짓 얼굴(fake face)인지 여부를 검사하는 것이다. 일실시예에 따르면, 라이브니스 검사는 사용자 로그인, 결제 서비스 또는 출입 통제 등에서 수행되는 사용자 인증(user verification)과 관련하여 인증 대상(검사 대상과 동일)의 라이브니스를 검사하는데 이용될 수 있다. 라이브니스 검사는, 예를 들어 사용자 인증 시스템에서 살아있지 않은 객체(예를 들어, 위조 수단으로서 사용된 사진, 종이, 영상 및 모형 등)와 살아있는 객체(예를 들어, 살아있는 사람 등) 사이를 구별하는데 이용될 수 있다.The liveness test is to check whether an object, which is a test subject, is a living object. ) to check whether or not According to an embodiment, the liveness check may be used to check the liveness of an authentication target (the same as the test target) in relation to user verification performed in user login, payment service, or access control. A liveness check distinguishes between non-living objects (eg, photographs, paper, images and models, etc. used as counterfeiting means) and living objects (eg, living people, etc.), for example in user authentication systems. can be used to
유효하지 않은 사용자는 위조 기술(spoofing techniques)을 이용하여 사용자 인증 시스템의 오인증(false acceptance)을 유발하기 위한 시도를 수행할 수 있다. 예를 들어, 얼굴 인증에서, 유효하지 않은 사용자는 오인증을 유발하기 위해 유효한 사용자의 얼굴이 나타난 컬러 사진, 동영상 또는 유효한 사용자의 얼굴 형상을 묘사한 모형을 카메라에 제시할 수 있다. 라이브니스 검사는 이러한 사진, 동영상, 마스크 또는 모형과 같은 대체물을 이용한 인증 시도(다시 말해, 스푸핑 공격)를 걸러내어 오인증을 방지하는 역할을 한다. 라이브니스 검사 결과, 인증 대상이 살아있지 않은 객체로 결정된 경우, 사용자 인증 단계로 넘어가지 않거나 또는 사용자 인증의 결과와 관계 없이 최종적으로 사용자 인증이 실패한 것으로 결정될 수 있다.An invalid user may use spoofing techniques to attempt to induce false acceptance of the user authentication system. For example, in face authentication, an invalid user may present a color photo, video, or model depicting a valid user's face shape to the camera in order to induce mis-authentication. Liveness checks serve to prevent false authentication by filtering out authentication attempts (ie, spoofing attacks) using substitutes such as photos, videos, masks, or models. As a result of the liveness check, when it is determined that the object to be authenticated is a non-living object, the user authentication step may not be proceeded or it may be finally determined that the user authentication has failed regardless of the result of the user authentication.
도 1을 참조하면, 라이브니스 검사를 수행하는 장치인 라이브니스 검사 장치는 컴퓨팅 장치(120)에 포함되어 동작할 수 있다. 컴퓨팅 장치(120)는 예를 들어, 스마트폰, 웨어러블 기기(wearable device), 태블릿 컴퓨터, 넷북, 랩탑, 데스크탑, PDA(personal digital assistant), 셋탑 박스, 가전 기기, 생체 도어락, 보안 장치 또는 차량 시동 장치 등일 수 있다.Referring to FIG. 1 , a liveness test device, which is a device for performing a liveness test, may be included in the
일실시예에 따르면, 사용자는 얼굴 인증을 통해 컴퓨팅 장치(120)에 대한 사용자 인증을 시도할 수 있다. 예를 들어, 사용자(110)가 컴퓨팅 장치(120)의 잠금 상태를 해제하고자 컴퓨팅 장치(120)에 얼굴 인증을 시도하는 경우, 컴퓨팅 장치(120)는 카메라(130)를 이용하여 사용자(110)의 얼굴 영상을 획득하고, 획득된 얼굴 영상을 분석하여 컴퓨팅 장치(120)의 잠금 상태를 해제할지 여부를 결정할 수 있다. 사용자 인증이 성공한 경우, 컴퓨팅 장치(120)는 잠금 상태를 해제하고, 사용자(110)의 액세스를 허용할 수 있다. 이와 반대로, 사용자 인증이 실패한 경우, 컴퓨팅 장치(120)는 계속적으로 잠금 상태로 동작할 수 있다.According to an embodiment, the user may attempt user authentication with respect to the
또는, 다른 예로, 사용자(110)가 컴퓨팅 장치(120)를 결제 서비스를 수행하고자 컴퓨팅 장치(120)에 얼굴 인증을 수행하는 경우, 컴퓨팅 장치(120)는 사용자(110)의 얼굴 영상을 획득하고, 얼굴 영상의 분석 결과 정당한 사용자로 인식된 경우 결제 요청을 승인하고, 그 외의 경우에는 결제 요청을 거부할 수 있다.Or, as another example, when the
일실시예에서, 위와 같은 사용자 인증 과정들에서, 사용자 인증 결과가 결정되기 이전 또는 이후에 라이브니스 검사 장치에 의해 사용자 인증의 객체가 살아있는 객체인지 여부를 결정하는 라이브니스 검사가 수행될 수 있다. 라이브니스 검사 결과 인증 대상이 살아있는 객체인 것으로 결정되고, 인증 결과 정당한 사용자로 인식된 경우, 컴퓨팅 장치(120)는 잠금 상태를 해제하거나 또는 결제 요청을 승인할 수 있다. 이와 반대로, 인증 대상이 살아있지 않은 객체인 것으로 결정되거나, 또는 정당한 사용자로 인식되지 않은 경우, 컴퓨팅 장치(120)는 계속적으로 잠금 상태로 동작하거나 또는 결제 요청을 거부할 수 있다.In an embodiment, in the above user authentication processes, a liveness test for determining whether an object of user authentication is a living object may be performed by the liveness test apparatus before or after a user authentication result is determined. As a result of the liveness check, when it is determined that the object to be authenticated is a living object, and as a result of the authentication, a legitimate user is recognized, the
다시 말해, 사용자 인증 과정이 라이브니스 검사 과정보다 먼저 수행되는 경우에서 사용자 인증의 결과가 성공이더라도 라이브니스 검사 결과가 실패한 것으로 결정(즉, 인증 대상이 살아있지 않은 객체로 결정)되면, 사용자 인증의 최종 결과가 실패한 것으로 결정될 수 있다.In other words, in the case where the user authentication process is performed before the liveness check process, even if the result of user authentication is successful, if the liveness check result is determined to have failed (that is, the authentication target is determined as a non-living object), the The final result may be determined to be a failure.
위와 같은 라이브니스 검사 과정에서, 라이브니스 검사 장치는 카메라(130)에 의해 캡쳐된 영상에 나타난 다양한 요소들을 종합적으로 고려하여 객체의 라이브니스를 검사할 수 있다. 예를 들어, 라이브니스 검사 장치는 캡쳐된 영상에 나타난 전체 얼굴의 형상(shape) 정보, 부분 얼굴의 텍스쳐(texture) 정보 및 컨텍스트(context) 정보 중 적어도 하나를 고려하여 검사 대상인 객체가 살아있는지 여부를 결정할 수 있다. 객체가 원거리에 있을 때 촬영된 영상에는 객체가 전자 기기의 화면인지 또는 종이인지 여부에 대한 단서가 포함될 수 있다. 예를 들어, 전자 기기 또는 종이를 들고 있는 사용자의 손이 영상에 나타날 수 있고, 이는 객체가 거짓인 것이라고 판단할 수 있는 단서가 된다. 컨텍스트 정보를 고려함으로써 이러한 위조 시도 상황을 효과적으로 검사할 수 있다. 또한, 전체 얼굴의 형상 정보를 통해, 빛의 반사 및 형상의 왜곡 등이 라이브니스 검사 결과에 고려될 수 있다. 예를 들어, 위조 수단 중 하나인 사진 또는 종이의 빛 반사는 사람의 진짜 얼굴과 다르고, 사진 또는 종이의 휘어짐 또는 구김으로 인하여 모양의 왜곡이 발생할 수 있다. 이러한 요소를 고려하여 라이브니스 검사가 수행될 수 있다. 그리고, 텍스쳐 정보를 통해, 사람의 피부와 종이/전자 기기의 화면 사이를 구분할 수 있는 미세한 텍스쳐의 차이가 고려될 수 있다. 이를 통해, 라이브니스 검사 장치는 다양한 레벨들의 라이브니스 판단 요소들을 종합적으로 고려함으로써 라이브니스 검사의 정확도를 향상시키고, 라이브니스 검사를 강인하게 수행할 수 있다.In the liveness inspection process as described above, the liveness inspection apparatus may inspect the liveness of the object by comprehensively considering various elements displayed in the image captured by the
또한, 라이브니스 검사 장치는 사용자 얼굴을 인식하기 위한 인식 모델을 이용하여 객체의 라이브니스를 검사할 수 있다. 예를 들어, 라이브니스 검사 장치는 인식 모델 내 복수의 히든 레이어들로부터 출력된 특징 벡터들 각각으로부터 라이브니스 스코어들을 결정하고, 결정된 라이브니스 스코어에 기초하여 객체가 살아있는지 여부를 결정할 수 있다. 인식 모델이 수많은 얼굴 영상들에 기반하여 학습됨에 따라, 라이브한 실제 얼굴에 대한 특징을 효과적으로 추출할 수 있고, 이러한 특성에 기반하여 인식 모델의 히든 레이어로부터 출력된 특징 벡터들을 고려하여 라이브니스를 검사함으로써, 저비용으로 효과적인 라이브니스 검사를 수행할 수 있다.Also, the liveness checking apparatus may check the liveness of the object by using a recognition model for recognizing a user's face. For example, the liveness checking apparatus may determine liveness scores from each of feature vectors output from a plurality of hidden layers in the recognition model, and determine whether an object is alive based on the determined liveness scores. As the recognition model is trained based on numerous face images, features for a live real face can be effectively extracted, and the liveness is checked by considering the feature vectors output from the hidden layer of the recognition model based on these features. By doing so, it is possible to perform an effective liveness test at a low cost.
도 2에는 일실시예에 따라 라이브니스 검사 장치에 의해 판단되는 거짓 얼굴(210)과 실제 얼굴(220)의 예시가 도시된다. 예를 들어, 거짓 얼굴(210)에는 스마트폰 스크린, PC 스크린에 디스플레이된 사용자 얼굴, 사진에 표시된 사용자 얼굴, 종이에 프린팅된 사용자 얼굴 등이 포함될 수 있다.2 illustrates an example of a
이하, 도면들을 참조하여 라이브니스 검사 장치가 객체의 라이브니스를 검사하는 과정을 보다 상세히 설명한다.Hereinafter, a process in which the liveness inspection apparatus inspects the liveness of an object will be described in more detail with reference to the drawings.
도 3은 일실시예에 따른 라이브니스 검사의 전체적인 과정을 설명하기 위한 도면이다.3 is a diagram for explaining an overall process of a liveness test according to an embodiment.
도 3을 참조하면, 일실시예에 따른 입력 영상(310)가 획득될 수 있다. 입력 영상(310)은 카메라에 의해 촬영된 영상으로 검사 대상인 객체를 포함할 수 있다. 예를 들어, 객체는 사용자의 신체부위로서, 얼굴, 손바닥(palm), 지문(fingerprint), 홍채(iris), 림(limb) 등을 포함할 수 있다.Referring to FIG. 3 , an
입력 영상(310)으로부터 복수의 서브 영상들이 획득될 수 있다. 복수의 서브 영상들은 서로 다른 유형들의 서브 영상들로, 예를 들어, 입력 영상(310)에서 객체가 포함된 객체 영역에 대응하는 제1 서브 영상, 객체 영역의 일부 영역에 대응하는 제2 서브 영상 및 객체 영역과 객체의 배경 영역에 대응하는 제3 서브 영상 중 적어도 하나를 포함할 수 있다.A plurality of sub-images may be obtained from the
복수의 서브 영상들 각각으로부터 대응하는 라이브니스 검사 모델을 통해 라이브니스 스코어들이 결정되고, 복수의 라이브니스 스코어들에 기초하여 사전 라이브니스 스코어(pre-liveness score)(320)가 결정될 수 있다.Liveness scores may be determined from each of the plurality of sub-images through a corresponding liveness test model, and a
그리고, 사전 라이브니스 스코어(320)가 제1 조건(330)을 만족하는지 여부에 기초하여 객체의 라이브니스 여부가 판단될 수 있다. 예를 들어, 사전 라이브니스 스코어(320)가 [0, 1] 구간 사이의 값을 가지고, 제1 조건(330)이 0.4로 설정될 때, 사전 라이브니스 스코어(320)가 0.4보다 큰 값을 가지면, 객체가 살아있는 것으로 판단되고, 그렇지 않다면 객체가 살아있지 않는 것(다시 말해, 거짓)으로 판단될 수 있다.In addition, based on whether the
사전 라이브니스 스코어(320)에 기초하여 객체가 살아있는 것으로 판단되면, 인식 모델에 기초하여 사후 라이브니스 스코어(post-liveness score)(340)가 결정될 수 있다. 그리고, 사후 라이브니스 스코어(340)가 제2 조건(350)을 만족하는지 여부에 기초하여 객체의 라이브니스 여부가 최종 판단될 수 있다. 예를 들어, 사후 라이브니스 스코어(340)가 [0, 1] 구간 사이의 값을 가지고, 제2 조건(350)이 0.5로 설정될 때, 사전 라이브니스 스코어(320)가 0.5보다 큰 값을 가지면, 객체가 살아있는 것으로 최종 판단되고, 그렇지 않다면 객체가 살아있지 않는 것(다시 말해, 거짓)으로 최종 판단될 수 있다. 예를 들어, 제1 조건(330)이 제2 조건(350)보다 낮게 설정됨으로써, 사후 라이브니스 스코어(340)를 이용하여 객체의 라이브니스 여부가 최종적으로 결정되도록 할 수 있다.When it is determined that the object is alive based on the
실시예에 따라서는, 사전 라이브니스 스코어(320) 및 사후 라이브니스 스코어(340) 간의 조합이 제2 조건(350)을 만족하는지 여부가 판단될 수 있고, 판단 결과에 기초하여 객체의 라이브니스 여부가 최종 판단될 수도 있다. 이 때, 사전 라이브니스 스코어(320) 및 사후 라이브니스 스코어(340) 중 적어도 하나에 가중치가 적용됨으로써 사전 라이브니스 스코어(320) 및 사후 라이브니스 스코어(340) 간 조합이 결정될 수도 있다.According to an embodiment, it may be determined whether the combination between the
이를 통해, 낮은 조도, 역광 등의 악조건에서도 객체의 라이브니스 여부를 강인하게 판단할 수 있으며, 정확도를 효과적으로 향상시킬 수 있다. Through this, it is possible to robustly determine whether an object is alive even in adverse conditions such as low illuminance and backlight, and accuracy can be effectively improved.
도 4는 일실시예에 따라 사전 라이브니스 스코어를 결정하는 과정을 설명하기 위한 도면이다.4 is a diagram for explaining a process of determining a pre-liveness score according to an embodiment.
도 4를 참조하면, 일실시예에 따른 입력 영상(410)으로부터 객체 영역(420)이 검출될 수 있다. 객체 영역(420)의 검출은 다양한 객체 검출 기법 중 하나 이상(예컨대, 얼굴 검출 기법 등)에 기반하여 수행될 수 있다. 또한, 객체 영역(420)의 일부 영역(430)이 결정될 수 있으며, 일부 영역(430)은 객체 영역(420) 내에서 랜덤하게 결정될 수 있다.Referring to FIG. 4 , an
객체 영역(420)이 미리 결정된 크기로 리사이즈(resize)됨으로써 제1 서브 영상(425)이 획득되고, 일부 영역(430)이 미리 결정된 크기로 리사이즈됨으로써 제2 서브 영상(435)이 획득될 수 있다. 제3 서브 영상(415)은 객체 영역(420)과 객체의 배경 영역의 합 영역이 리사이즈됨으로써 결정될 수 있다. 여기서, 배경 영역은 입력 영상(410)에서 객체 영역(420)을 제외한 나머지 영역의 일부 또는 전체를 나타낼 수 있다.A
복수의 서브 영상들 각각에 대응하는 라이브니스 스코어가 결정되는데 있어, 뉴럴 네트워크(neural network) 기반의 라이브니스 검사 모델이 이용될 수 있다. 라이브니스 검사 모델은 입력된 데이터에 기초하여 객체의 라이브니스 스코어를 결정하기 위한 정보(예를 들어, 확률 값 또는 특징 값)를 제공하는 모델이다. 라이브니스 검사 모델은 복수의 레이어들을 포함하고, 각각의 레이어들은 노드(node)들을 포함할 수 있으며, 라이브니스 데이터 검사 장치의 프로세서에 의해 실행될 수 있다. 예를 들어, 라이브니스 검사 모델은 입력 레이어, 적어도 하나의 히든 레이어(hidden layer) 및 출력 레이어를 포함할 수 있다. 뉴럴 네트워크의 구조에 따라, 인접한 레이어들에 포함된 노드들은 각각의 연결 가중치(connection weight)에 따라 선택적으로 서로 연결될 수 있다. 라이브니스 검사 모델에 입력된 데이터는 노드들을 거치면서 가공 및 변형되고, 최종적으로는 출력 레이어를 통해 특정한 결과 값으로 변환된다.In determining the liveness score corresponding to each of the plurality of sub-images, a neural network-based liveness test model may be used. The liveness check model is a model that provides information (eg, a probability value or a feature value) for determining a liveness score of an object based on input data. The liveness check model includes a plurality of layers, and each layer may include nodes, and may be executed by a processor of the liveness data checking apparatus. For example, the liveness check model may include an input layer, at least one hidden layer, and an output layer. According to the structure of the neural network, nodes included in adjacent layers may be selectively connected to each other according to their respective connection weights. Data input to the liveness test model is processed and transformed through nodes, and finally converted into a specific result value through an output layer.
일실시예에서, 라이브니스 검사 모델은 복수의 히든 레이어들을 포함하는 깊은 컨볼루션 뉴럴 네트워크(Deep Convolutional Neural Network; DCNN)에 기초할 수 있다. DCNN은 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하고, 각 레이어에 의해 수행되는 연산 과정을 통해 라이브니스 검사 모델에 입력되는 영상 데이터로부터 라이브니스의 판단을 위한 정보를 제공할 수 있다. 여기서, 영상 데이터는 영상에 포함된 픽셀들의 픽셀 값(예를 들어, 컬러 값 및/또는 밝기 값)이다. 위 DCNN은 일실시예에 불과하며, 라이브니스 검사 모델은 DCNN 이외의 다른 구조의 뉴럴 네트워크에 기초하여 동작할 수 있다.In one embodiment, the liveness check model may be based on a Deep Convolutional Neural Network (DCNN) including a plurality of hidden layers. DCNN includes a convolution layer, a pooling layer, and a fully connected layer, and is performed from image data input to a liveness check model through a computation process performed by each layer. You can provide information for Nice's judgment. Here, the image data is pixel values (eg, color values and/or brightness values) of pixels included in the image. The above DCNN is only an embodiment, and the liveness check model may operate based on a neural network having a structure other than DCNN.
노드들 간의 연결 가중치와 같은 라이브니스 검사 모델의 내부 파라미터들은 라이브니스 검사 모델의 학습(training) 과정을 통해 미리 결정될 수 있다. 예를 들어, 학습 과정에서는 많은 수의 학습 데이터(training data)와 각 학습 데이터에 대응하는 라이브니스 검사 모델의 목적 값(desired value)이 존재하고, 라이브니스 검사 모델에 특정한 학습 데이터가 입력되었을 때, 라이브니스 검사 모델이 해당 학습 데이터에 대응하는 목적 값을 출력하도록 라이브니스 검사 모델의 내부 파라미터들을 조정하는 과정이 수행된다. 예를 들어, 라이브니스 검사 모델로부터 출력된 결과 값과 목적 값 간의 차이로 인한 손실(loss)이 계산되고, 해당 손실이 줄어들도록 라이브니스 검사 모델의 내부 파라미터들을 조정하는 과정이 수행될 수 있다. 이러한 과정이 각 학습 데이터들에 대해 반복적으로 수행됨에 따라, 라이브니스 검사 모델로부터 목적 값에 상응하는 바람직한 출력 값이 출력되도록 내부 파라미터들이 조정될 수 있다.Internal parameters of the liveness check model, such as connection weights between nodes, may be predetermined through a training process of the liveness check model. For example, in the training process, when a large number of training data and a desired value of a liveness test model corresponding to each training data exist, and specific training data is input to the liveness test model, , a process of adjusting internal parameters of the liveness check model so that the liveness check model outputs a target value corresponding to the corresponding training data is performed. For example, a loss due to a difference between a result value output from the liveness test model and a target value may be calculated, and a process of adjusting internal parameters of the liveness test model to reduce the loss may be performed. As this process is iteratively performed for each training data, internal parameters may be adjusted so that a desired output value corresponding to the target value is output from the liveness test model.
일실시예에 따른 라이브니스 스코어는 서브 영상의 유형에 따라 라이브니스 검사 모델에 의해 결정될 수 있다. 예를 들어, 제1 라이브니스 검사 모델(440)에 의해 제1 서브 영상(425)으로부터 제1 라이브니스 스코어가 결정될 수 있다. 또한, 제2 라이브니스 검사 모델(450)에 의해 제2 서브 영상(435)으로부터 제2 라이브니스 스코어가 결정될 수 있으며, 제3 라이브니스 검사 모델(460)에 의해 제3 서브 영상(415)으로부터 제3 라이브니스 스코어가 결정될 수 있다. The liveness score according to an embodiment may be determined by the liveness test model according to the type of the sub-image. For example, the first liveness score may be determined from the
제1 내지 제3 라이브니스 검사 모델들(440, 450, 460)은 상응하는 유형의 영상들에 기초하여 학습될 수 있다. 예를 들어, 제1 라이브니스 검사 모델(440)은 얼굴 영역에 대응하는 학습 데이터에 기초하여 학습될 수 있다. 제2 라이브니스 검사 모델(450)은 얼굴 영역의 일부 영역에 대응하는 학습 데이터에 기초하여 학습될 수 있으며, 제3 라이브니스 검사 모델(460)은 얼굴 영역과 배경 영역에 대응하는 학습 데이터에 기초하여 학습될 수 있다.The first to third
일실시예에 따라 사전 라이브니스 스코어(470)는 제1 내지 제3 라이브니스 스코어들에 기초하여 결정될 수 있다. 예를 들어, 사전 라이브니스 스코어(470)는 제1 내지 제3 라이브니스 스코어들의 가중평균(weighted average) 또는 산술평균(arithmetic averages)으로 결정될 수 있다.According to an embodiment, the
제1 내지 제3 라이브니스 스코어들 중 적어도 하나에 가중치가 적용되고, 적용 결과에 기초하여 사전 라이브니스 스코어(470)가 결정될 수 있다. 예를 들어, 가중평균은 아래의 수학식과 같이 계산될 수 있다.A weight may be applied to at least one of the first to third liveness scores, and a
위의 수학식 1에서, Score 1 은 제1 라이브니스 스코어를 나타내고, Score 2 는 제2 라이브니스 스코어를 나타내고, Score 3 은 제3 라이브니스 스코어를 나타내며, Score pre 는 사전 라이브니스 스코어(470)를 나타낸다. 이 때, 사전 라이브니스 스코어(470)는 [0, 1] 구간 사이의 값을 가질 수 있다.In
이와 같이 결정된 사전 라이브니스 스코어(470)가 임계 조건을 만족하는지 여부에 기초하여 객체의 라이브니스 여부가 결정될 수 있다.The liveness of the object may be determined based on whether the previously determined
도 5는 일실시예에 따라 서브 영상들의 예시를 나타낸 도면이다.5 is a diagram illustrating examples of sub-images according to an embodiment.
도 5를 참조하면, 일실시예에 따른 입력 영상(510)으로부터 획득되는 제1 서브 영상(520), 제2 서브 영상(530), 제3 서브 영상(540)의 예시가 도시된다.Referring to FIG. 5 , examples of a
일실시예에 따른 입력 영상(510)은 640x640 크기로 리사이즈된 촬영 영상일 수 있다. 제1 서브 영상(520)은 입력 영상(510)에서 검출된 얼굴 영역을 크롭핑(cropping)하고, 크롭핑된 얼굴 영역을 128x128 크기로 리사이징함으로써 획득될 수 있다. 또한, 제2 서브 영상(530)은 얼굴 영역에서 랜덤하게 결정된 일부 영역을 크롭핑하고, 크롭핑된 일부 영역을 128x128 크기로 리사이징함으로써 획득될 수 있다. 또한, 제3 서브 영상(540)은 얼굴 영역과 배경 영역의 합 영역을 크롭핑하고, 크롭핑된 합 영역을 64x64 크기로 리사이징함으로써 획득될 수 있다. 다만, 입력 영상(510), 제1 서브 영상(520), 제2 서브 영상(530), 제3 서브 영상(540)의 크기가 이에 제한되지 않으며, 다양한 크기가 제한 없이 서브 영상들에 적용될 수 있다.The
도 6은 일실시예에 따라 사전 라이브니스 스코어 결정에 이용되는 라이브니스 검사 모델의 예시를 나타낸 도면이다.6 is a diagram illustrating an example of a liveness test model used to determine a pre-liveness score according to an embodiment.
도 6을 참조하면, 라이브니스 검사 모델(600)에, 예를 들어 128x128x3의 입력 영상이 입력될 수 있다. 여기서, 128x128x3의 입력 영상은 128x128의 해상도의 RGB(Red, Green, Blue)의 3개의 컬러 채널들을 포함할 수 있다. 입력 영상은 120x120x3로 크롭핑될 수 있다. 라이브니스 검사 모델(600)은 6개의 컨볼루션 레이어들을 포함할 수 있고, 6개의 컨볼루션 레이어들 각각은 16개의 3x3x3 컨볼루션 커널(kernels), 16개의 3x3x16 컨볼루션 커널, 32개의 3x3x16 컨볼루션 커널, 32개의 3x3x32 컨볼루션 커널, 64개의 3x3x32컨볼루션 커널, 및 64개의 3x3x64컨볼루션 커널을 포함할 수 있다. 컨볼루션 레이어에 포함되는 컨볼루션 커널의 개수는 컨볼루션 레이어의 깊이가 깊어질수록 순차적으로 16, 16, 32, 32, 64, 64로 증가함으로써, 라이브니스 검사 모델(600)의 표현 능력이 향상될 수 있다.Referring to FIG. 6 , an input image of, for example, 128x128x3 may be input to the
또한, 라이브니스 검사 모델(600)은 적어도 하나의 컨볼루션 레이어 이후 및 다음의 컨볼루션 레이어 이전에, 배치 정규화(BN; Batch Normalization) 레이어, ReLU(Rectified Linear Unit) 레이어 및/또는 풀링(Pooling) 레이어를 포함할 수 있다. 예를 들어, 배치 정규화 레이어들(BN1, BN2, BN3, BN4, BN5, BN6) 각각이 제1 내지 제6 컨볼루션 레이어 이후에 배치되어 각 컨볼루션 레이어에서 출력된 특성 곡선(characteristic curve)으로부터 정규화된 특성 맵(normalized Characteristic map)이 획득될 수 있다. 또한, 제5 컨볼루션 레이어 이후 및 제6 컨볼루션 레이어 이전에는, ReLU 레이어와 풀링 레이어가 존재하지 않는다. 풀링 레이어의 풀링 영역 사이즈는 2x2일 수 있다. 또한, 제5 및 제6 컨볼루션 레이어들을 제외한 컨볼루션 레이어들 각각 이후의 풀링 레이어는 맥스 풀링 레이어(Max pooling layer)일 수 있다. 제6 컨볼루션 레이어 이후에는 평균 풀링 레이어(average pooling layer)가 배치될 수 있다. 또한, 제6 컨볼루션 레이어 이후의 평균 풀링 레이어 이후에 완전 연결 레이어(fully connected layer) 및 소프트맥스 레이어(Softmax layer)가 배치되어, 라이브니스 검출 모델(600)의 최종 출력(다시 말해, 사전 라이브니스 스코어)이 획득될 수 있다.In addition, the
다만, 라이브니스 검사 모델(600)의 실시예가 도 6에 도시된 구조에 한정되지 않으며, 다양한 개수의 컨볼루션 레이어가 적용될 수 있다. 또한, 풀링 레이어에 다른 유형의 풀링 레이어(예를 들어, 평균 풀링(averaging pooling) 레이어, L2 놈 풀링(L2 norm pooling) 레이어 등)가 적용될 수 있다. 또한, ReLU 레이어는 유사한 기능들을 가진 활성 레이어(active layer)(예를 들어, 시그모이드(Sigmoid) 레이어, tanh 레이어 등)로 대체될 수도 있다. 또한, 소프트맥스 레이어는 유사한 기능을 가진 로시 레이어(lossy layers)(예를 들어, 시그모이드 교차 엔트로피 레이어(Sigmoid cross entropy layer), 유클리드 레이어(Euclidean layer) 등)로 대체될 수도 있다. 또한, 각 컨볼루션 레이어의 컨볼루션 커널 개수와 크기도 도 6에 도시된 구조에 한정되지 않으며, 다양한 구조가 적용될 수 있다.However, the embodiment of the
도 7 및 도 8은 일실시예에 따라 사후 라이브니스 스코어를 결정하는 과정을 설명하기 위한 도면이다.7 and 8 are diagrams for explaining a process of determining a post liveness score according to an exemplary embodiment.
도 7을 참조하면, 객체 영상(710)이 인식 모델(720)에 입력될 수 있다. 객체 영상(710)은 객체가 포함된 영상으로서, 예를 들어, 객체가 포함된 입력 영상 또는 입력 영상에서 객체 영역에 대응하는 영상일 수 있다. 인식 모델(720)은 객체를 인식하기 위한 뉴럴 네트워크 기반한 모델일 수 있다. 인식 모델(720) 내 히든 레이어들에서 획득된 특징 벡터들에 기초하여 제4 라이브니스 스코어들(730)이 결정될 수 있다. 사후 라이브니스 스코어(740)는 제4 라이브니스 스코어들(730)에 기초하여 결정될 수 있다. 사후 라이브니스 스코어(740)에 기초하여 객체의 라이브니스 여부가 최종적으로 결정될 수 있다. 이하, 도 8을 참조하며 보다 자세하게 사후 라이브니스 스코어 결정 과정을 설명한다.Referring to FIG. 7 , an
도 8을 참조하면, 인식 모델(820)과 제4 라이브니스 검사 모델에 기초하여 사후 라이브니스 스코어가 결정되는 예시가 도시된다.Referring to FIG. 8 , an example in which a posterior liveness score is determined based on the
인식 모델(820)은 복수의 레이어들을 포함할 수 있고, 복수의 레이어들의 일부가 하나의 레이어 그룹으로 그룹핑될 수 있다. 레이어 그룹에 대해서는 도 9를 참조하여 후술한다.The
객체 영상(810)이 인식 모델(820)에 입력됨에 따라, 인식 모델(820)의 히든 레이어에서 특징 벡터들이 출력될 수 있다. 예를 들어, 특징 벡터들은 인식 모델(820) 내 각 레이어 그룹에서 출력된 특징 벡터일 수 있다. 출력된 특징 벡터들 각각은 대응하는 제4 라이브니스 검사 모델(840)에 입력될 수 있다. 제4 라이브니스 검사 모델(840)은 대응하는 특징 벡터에 대한 제4 라이브니스 스코어를 각각 결정할 수 있다. 제4 라이브니스 검사 모델(840)에 대해서는 도 10을 참조하여 후술한다.As the
제4 라이브니스 스코어들에 기초하여 사후 라이브니스 스코어(860)가 결정될 수 있다. 예를 들어, 사후 라이브니스 스코어(860)는 제4 라이브니스 스코어들의 가중평균 또는 산술평균에 기초하여 결정될 수 있다. 제4 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 적용 결과에 기초하여 사후 라이브니스 스코어(860)가 결정될 수 있다. 그리고, 사후 라이브니스 스코어(860)에 기초하여 객체의 라이브니스 여부(다시 말해, 라이브 또는 거짓)가 최종 판단될 수 있다.A
일실시예에 따라 인식 모델(820)에 의해 객체 영상(810)에 포함된 객체가 미리 등록된 객체인지 여부가 판단될 수 있다. 예를 들어, 미리 등록된 객체는 데이터베이스에 미리 저장될 수 있고, 인식 모델(820)에 기반하여 객체 영상(810) 내 객체가 데이터베이스에 저장된 등록 객체와 일치하는지 여부가 판단될 수 있다. 인식 모델(820)의 인식 결과(830)로 미리 등록된 객체인지 여부 및/또는 객체 식별 정보가 출력될 수 있다.According to an embodiment, it may be determined whether the object included in the
일실시예에 따라 객체의 라이브니스 여부 판단에 인식 결과(830)가 추가적으로 이용될 수 있다. 예를 들어, 사후 라이브니스 스코어(860)는 인식 결과(830)로 객체가 미리 등록된 객체로 인증된 이후에 결정될 수 있다. 또는, 인식 결과(830)로 객체가 미리 등록된 객체로 인증되기 전에 사후 라이브니스 스코어(830)가 결정되더라도, 사후 라이브니스 스코어(830)가 임계 조건을 만족하고, 인식 결과(830)로 객체가 미리 등록된 객체로 인증되어야, 객체가 라이브한 것으로 판단될 수 있다.According to an embodiment, the
도 9는 일실시예에 따라 인식 모델에 포함된 레이어 그룹의 예시를 나타낸 도면이다.9 is a diagram illustrating an example of a layer group included in a recognition model according to an embodiment.
도 9를 참조하면, 일실시예에 따른 레이어 그룹(900)은 복수의 컨볼루션 레이어들, 맥스 풀링 레이어를 포함할 수 있다.Referring to FIG. 9 , a
일실시예에 따른 인식 모델은 복수의 레이어 그룹들을 포함할 수 있으며, 레이어 그룹(900)은, 예를 들어 10개의 컨볼루션 레이어들, 1개의 맥스 풀링 레이어(maximum pooling layer)를 포함할 수 있다. 다만, 레이어 그룹(900)에 대한 실시예는 이에 한정되지 않고, 다양한 개수, 구조의 컨볼루션 레이어, 풀링 레이어가 적용될 수 있으며, 컨볼루션 레이어, 풀링 레이어 외에 다른 레이어가 포함될 수도 있다.The recognition model according to an embodiment may include a plurality of layer groups, and the
또한, 도 9에 도시된 레이어들 간 연결 외에 추가적인 연결이 존재할 수 있다. 예를 들어, 제1 컨볼루션 레이어의 출력은 제3 컨볼루션 레이어의 출력과 중첩(superposition)되어, 제4 컨볼루션 레이어에 입력될 수 있다. 또한, 제1 컨볼루션 레이어의 출력 및 제3 컨볼루션 레이어의 출력 간 중첩은 제5 컨볼루션 레이어의 출력에 더 중첩되어, 제6 컨볼루션 레이어에 입력될 수도 있다.In addition, an additional connection may exist in addition to the connection between the layers illustrated in FIG. 9 . For example, the output of the first convolutional layer may be input to the fourth convolutional layer by superposition with the output of the third convolutional layer. Also, the overlap between the output of the first convolutional layer and the output of the third convolutional layer may be further superimposed on the output of the fifth convolutional layer and input to the sixth convolutional layer.
도 10은 일실시예에 따라 제4 라이브니스 스코어 결정에 이용되는 제4 라이브니스 검사 모델의 예시를 나타낸 도면이다.10 is a diagram illustrating an example of a fourth liveness test model used to determine a fourth liveness score according to an embodiment.
도 10을 참조하면, 일실시예에 따른 제4 라이브니스 검사 모델(1000)은 인식 모델의 히든 벡터에서 출력된 특징 벡터로부터 대응하는 제4 라이브니스 스코어를 결정할 수 있다. 예를 들어, 제4 라이브니스 검사 모델(1000)은 컨볼루션 레이어, 평균 풀링 레이어(average pooling layer), 제1 완전 연결 레이어 및 제2 완전 연결 레이어를 포함할 수 있다. 다만, 제4 라이브니스 검사 모델(1000)의 실시예가 이에 제한되지 않으며, 다양한 개수 및/또는 구조의 레이어가 적용될 수 있으며, 맥스 풀링 레이어, L2 놈 풀링 레이어 등 다른 유형의 레이어가 적용될 수도 있다.Referring to FIG. 10 , the fourth
도 11은 일실시예에 따른 라이브니스 검사 방법을 나타낸 도면이다.11 is a diagram illustrating a liveness testing method according to an exemplary embodiment.
도 11을 참조하면, 일실시예에 따른 라이브니스 검사 장치의 프로세서에 의해 수행되는 라이브니스 검사 방법이 도시된다.Referring to FIG. 11 , a liveness test method performed by a processor of a liveness test apparatus according to an exemplary embodiment is illustrated.
단계(1110)에서, 라이브니스 검사 장치는 입력 영상으로부터 획득된 복수의 서브 영상들에 기초하여 사전 라이브니스 스코어를 결정한다. 라이브니스 검사 장치는 입력 영상에 포함된 객체에 기초하여 입력 영상으로부터 서로 다른 유형들의 복수의 서브 영상들을 획득하고, 복수의 서브 영상들 각각에 대응하는 라이브니스 스코어들을 결정하며, 결정된 라이브니스 스코어들에 기초하여 사전 라이브니스 스코어를 결정할 수 있다.In
일실시예에 따른 복수의 서브 영상들은 입력 영상에서 객체가 포함된 객체 영역에 대응하는 제1 서브 영상, 객체 영역의 일부 영역에 대응하는 제2 서브 영상 및 객체 영역과 객체의 배경 영역에 대응하는 제3 서브 영상 중 적어도 둘을 포함할 수 있다. 결정된 라이브니스 스코어들은 제1 서브 영상에 대응하는 제1 라이브니스 스코어, 제2 서브 영상에 대응하는 제2 라이브니스 스코어 및 제3 서브 영상에 대응하는 제3 라이브니스 스코어를 포함할 수 있다. 제1 라이브니스 스코어는 제1 라이브니스 검사 모델에 의해 결정되고, 제2 라이브니스 스코어는 제2 라이브니스 검사 모델에 의해 결정되고, 제3 라이브니스 스코어는 제3 라이브니스 검사 모델에 의해 결정될 수 있다.The plurality of sub-images according to an embodiment includes a first sub-image corresponding to an object region including an object in the input image, a second sub-image corresponding to a partial region of the object region, and an object region and a background region of the object. At least two of the third sub-images may be included. The determined liveness scores may include a first liveness score corresponding to the first sub-view, a second liveness score corresponding to the second sub-view, and a third liveness score corresponding to the third sub-view. The first liveness score may be determined by the first liveness test model, the second liveness score may be determined by the second liveness test model, and the third liveness score may be determined by the third liveness test model. have.
일실시예에 따른 라이브니스 검사 장치는 제1 서브 영상의 크기를 리사이즈하고, 제1 라이브니스 검사 모델을 이용하여 리사이즈된 제1 서브 영상으로부터 제1 서브 영상에 대응하는 제1 라이브니스 스코어를 결정할 수 있다. 또한, 라이브니스 검사 장치는 객체 영역에서 일부 영역을 크롭핑함으로써 제2 서브 영상을 획득하고, 제2 라이브니스 검사 모델을 이용하여 제2 서브 영상으로부터 제2 서브 영상에 대응하는 제2 라이브니스 스코어를 결정할 수 있다.The liveness test apparatus according to an embodiment resizes the size of the first sub-image, and determines a first liveness score corresponding to the first sub-image from the resized first sub-image by using the first liveness test model. can Also, the liveness test apparatus obtains a second sub-image by cropping a partial region in the object region, and uses the second liveness test model to obtain a second liveness score corresponding to the second sub-image from the second sub-image. can be decided
단계(1120)에서, 라이브니스 검사 장치는 인식 모델에 기초하여 객체가 미리 등록된 객체인지 여부를 판단할 수 있다. 예를 들어, 라이브니스 검사 장치는 인식 모델을 통해 객체가 데이터베이스에 저장된 미리 등록된 객체와 일치하는지 여부를 판단할 수 있다. 실시예에 따라 단계(1120)는 생략될 수도 있다.In
단계(1130)에서, 라이브니스 검사 장치는 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어를 결정한다.In
라이브니스 검사 장치는 인식 모델 내 복수의 히든 레이어들로부터 출력된 특징 벡터들 각각으로부터 제4 라이브니스 스코어들을 결정하고, 제4 라이브니스 스코어들에 기초하여 사후 라이브니스 스코어를 결정할 수 있다. 이 때, 라이브니스 검사 장치는 제4 라이브니스 검사 모델을 이용하여 특정 벡터들 각각으로부터 제4 라이브니스 스코어들을 결정할 수 있다.The liveness checking apparatus may determine fourth liveness scores from each of the feature vectors output from a plurality of hidden layers in the recognition model, and may determine a post-liveness score based on the fourth liveness scores. In this case, the liveness test apparatus may determine fourth liveness scores from each of the specific vectors using the fourth liveness test model.
일실시예에 따른 라이브니스 검사 장치는 단계(1110)에서 결정된 사전 라이브니스 스코어에 기초하여 객체가 라이브한 것으로 판단된 경우, 단계(1120)에서 객체가 미리 등록된 객체에 해당된 것으로 판단된 경우, 또는 이들의 조합이 모두 만족한 경우에 사후 라이브니스 스코어를 결정할 수 있다. When it is determined that the object is live based on the pre-liveness score determined in
단계(1140)에서, 라이브니스 검사 장치는 사전 라이브니스 스코어 및 사후 라이브니스 스코어 중 적어도 하나에 기초하여 객체의 라이브니스 여부를 판단한다. 라이브니스 검사 장치는 사전 라이브니스 스코어 및 사후 라이브니스 스코어 중 어느 하나 또는 이들의 조합이 임계 조건을 만족하는지 여부에 기초하여 객체의 라이브니스 여부를 판단할 수 있다.In
도 11에 도시된 각 단계들에는 도 1 내지 도 10를 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.The steps described above with reference to FIGS. 1 to 10 are applied to each of the steps shown in FIG. 11 , and thus a more detailed description will be omitted.
도 12는 일실시예에 따른 라이브니스 검사 장치를 나타낸 도면이다.12 is a diagram illustrating a liveness testing apparatus according to an exemplary embodiment.
도 12를 참조하면, 일실시예에 따른 라이브니스 검사 장치(1200)는 메모리(1210) 및 프로세서(1220)를 포함한다. 또한, 라이브니스 검사 장치(1200)는 카메라(1230)를 더 포함할 수 있다. 메모리(1210), 프로세서(1220) 및 카메라(1230)는 버스(bus)(1240)를 통하여 서로 통신할 수 있다.Referring to FIG. 12 , the
메모리(1210)는 컴퓨터에서 읽을 수 있는 명령어를 포함할 수 있다. 프로세서(1220)는 메모리(1210)에 저장된 명령어가 프로세서(1220)에서 실행됨에 따라 앞서 언급된 동작들을 수행할 수 있다. 메모리(1210)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.The
프로세서(1220)는 명령어들, 혹은 프로그램들을 실행하거나, 라이브니스 검사 장치(1200)를 제어하는 장치일 수 있다. 프로세서(1220)는 카메라(1230)로부터 입력 영상을 획득하거나 또는 외부 장치로부터 유선 또는 무선 네트워크를 통해 입력 영상을 수신할 수 있다. 프로세서(1220)는 입력 영상으로부터 획득된 복수의 서브 영상들에 기초하여 사전 라이브니스 스코어를 결정하고, 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어를 결정하며, 사전 라이브니스 스코어 및 사후 라이브니스 스코어 중 적어도 하나에 기초하여 객체의 라이브니스 여부를 판단한다.The
그 밖에, 라이브니스 검사 장치(1200)에 관해서는 상술된 동작을 처리할 수 있다.In addition, the above-described operation may be processed with respect to the
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented by a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, the apparatus, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA) array), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or apparatus, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
Claims (21)
상기 라이브니스 스코어 및 상기 인식 모델의 인식 결과에 기초하여 상기 사용자를 인증하는 단계
를 포함하고,
상기 라이브니스 스코어를 결정하는 단계는
상기 인식 모델 내 복수의 히든 레이어들로부터 출력된 특징 벡터들 각각으로부터 기준 라이브니스 스코어들을 결정하는 단계; 및
상기 기준 라이브니스 스코어들에 기초하여 상기 라이브니스 스코어를 결정하는 단계
를 포함하는 인증 방법.determining a liveness score based on a recognition model for recognizing a user included in an input image; and
authenticating the user based on the liveness score and the recognition result of the recognition model;
including,
The step of determining the liveness score includes:
determining reference liveness scores from each of the feature vectors output from a plurality of hidden layers in the recognition model; and
determining the liveness score based on the reference liveness scores;
authentication method including
상기 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어(post-liveness score)를 결정하는 단계; 및
상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 적어도 하나에 기초하여 상기 객체의 라이브니스 여부를 판단하는 단계
를 포함하고,
상기 사전 라이브니스 스코어를 결정하는 단계는
상기 입력 영상에 포함된 객체에 기초하여 상기 입력 영상으로부터 서로 다른 유형들의 상기 복수의 서브 영상들을 획득하는 단계;
상기 복수의 서브 영상들 각각에 대응하는 라이브니스 스코어들을 결정하는 단계; 및
상기 결정된 라이브니스 스코어들에 기초하여 상기 사전 라이브니스 스코어를 결정하는 단계
를 포함하는, 라이브니스 검사 방법.determining a pre-liveness score based on a plurality of sub-images obtained from the input image;
determining a post-liveness score based on a recognition model for recognizing an object included in the input image; and
determining whether the object is lively based on at least one of the pre-liveness score and the post-liveness score
including,
The step of determining the pre-liveness score includes:
obtaining the plurality of sub-images of different types from the input image based on an object included in the input image;
determining liveness scores corresponding to each of the plurality of sub-images; and
determining the prior liveness score based on the determined liveness scores;
comprising, a liveness test method.
상기 복수의 서브 영상들은
상기 입력 영상에서 상기 객체가 포함된 객체 영역에 대응하는 제1 서브 영상, 상기 객체 영역의 일부 영역에 대응하는 제2 서브 영상 및 상기 객체 영역과 상기 객체의 배경 영역에 대응하는 제3 서브 영상 중 적어도 둘을 포함하는, 라이브니스 검사 방법.3. The method of claim 2,
The plurality of sub-images are
In the input image, among a first sub-image corresponding to an object region including the object, a second sub-image corresponding to a partial region of the object region, and a third sub-image corresponding to the object region and a background region of the object. A liveness testing method comprising at least two.
상기 결정된 라이브니스 스코어들은 제1 서브 영상에 대응하는 제1 라이브니스 스코어, 제2 서브 영상에 대응하는 제2 라이브니스 스코어 및 제3 서브 영상에 대응하는 제3 라이브니스 스코어를 포함하고,
상기 제1 라이브니스 스코어는 제1 라이브니스 검사 모델에 의해 결정되고, 상기 제2 라이브니스 스코어는 제2 라이브니스 검사 모델에 의해 결정되고, 상기 제3 라이브니스 스코어는 제3 라이브니스 검사 모델에 의해 결정되는, 라이브니스 검사 방법.4. The method of claim 3,
The determined liveness scores include a first liveness score corresponding to the first sub-picture, a second liveness score corresponding to the second sub-picture, and a third liveness score corresponding to the third sub-picture,
wherein the first liveness score is determined by a first liveness test model, the second liveness score is determined by a second liveness test model, and the third liveness score is determined by a third liveness test model. determined by the liveness test method.
상기 라이브니스 스코어들을 결정하는 단계는
상기 제1 서브 영상의 크기를 리사이즈하는 단계; 및
제1 라이브니스 검사 모델을 이용하여 상기 리사이즈된 제1 서브 영상으로부터 상기 제1 서브 영상에 대응하는 제1 라이브니스 스코어를 결정하는 단계
를 포함하는, 라이브니스 검사 방법.4. The method of claim 3,
The step of determining the liveness scores comprises:
resizing the size of the first sub-image; and
determining a first liveness score corresponding to the first sub-image from the resized first sub-image by using a first liveness test model;
comprising, a liveness test method.
상기 라이브니스 스코어들을 결정하는 단계는
상기 객체 영역에서 상기 일부 영역을 크롭핑(cropping)함으로써 상기 제2 서브 영상을 획득하는 단계; 및
제2 라이브니스 검사 모델을 이용하여 상기 제2 서브 영상으로부터 상기 제2 서브 영상에 대응하는 제2 라이브니스 스코어를 결정하는 단계
를 포함하는, 라이브니스 검사 방법.4. The method of claim 3,
The step of determining the liveness scores comprises:
obtaining the second sub-image by cropping the partial region in the object region; and
determining a second liveness score corresponding to the second sub-image from the second sub-image by using a second liveness test model;
comprising, a liveness test method.
상기 결정된 라이브니스 스코어들에 기초하여 상기 사전 라이브니스 스코어를 결정하는 단계는
상기 결정된 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 상기 적용 결과에 기초하여 상기 사전 라이브니스 스코어를 결정하는, 라이브니스 검사 방법.3. The method of claim 2,
The step of determining the pre-liveness score based on the determined liveness scores comprises:
and applying a weight to at least one of the determined liveness scores, and determining the prior liveness score based on a result of the application.
상기 기준 라이브니스 스코어들을 결정하는 단계는
기준 라이브니스 검사 모델을 이용하여 상기 특징 벡터들 각각으로부터 상기 기준 라이브니스 스코어들을 결정하는, 인증 방법.According to claim 1,
The step of determining the reference liveness scores comprises:
determining the baseline liveness scores from each of the feature vectors using a baseline liveness check model.
상기 기준 라이브니스 스코어들에 기초하여 상기 라이브니스 스코어를 결정하는 단계는
상기 기준 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 상기 적용 결과에 기초하여 상기 라이브니스 스코어를 결정하는, 인증 방법.According to claim 1,
The step of determining the liveness score based on the reference liveness scores comprises:
applying a weight to at least one of the reference liveness scores, and determining the liveness score based on a result of the application.
상기 사후 라이브니스 스코어를 결정하는 단계는
상기 사전 라이브니스 스코어에 기초하여 상기 객체가 라이브(live)한 것으로 판단된 경우, 상기 사후 라이브니스 스코어를 결정하는, 라이브니스 검사 방법.3. The method of claim 2,
The step of determining the post-liveness score comprises:
determining the post-liveness score when it is determined that the object is live based on the pre-liveness score.
상기 객체의 라이브니스 여부를 판단하는 단계는
상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 어느 하나 또는 이들의 조합이 임계 조건을 만족하는지 여부에 기초하여 상기 객체의 라이브니스 여부를 판단하는, 라이브니스 검사 방법.3. The method of claim 2,
The step of determining whether the liveness of the object is
and determining whether the object is lively based on whether any one or a combination of the pre-liveness score and the post-liveness score satisfies a threshold condition.
상기 인식 모델에 기초하여 상기 사용자가 미리 등록된 사용자인지 여부를 판단하는 단계
를 더 포함하는, 인증 방법.According to claim 1,
determining whether the user is a pre-registered user based on the recognition model
Further comprising, an authentication method.
상기 사용자가 등록된 사용자로 인증되는 것에 응답하여, 상기 사용자로부터 요청된 동작을 수행하는 단계
를 더 포함하는, 인증 방법.According to claim 1,
performing an operation requested by the user in response to the user being authenticated as a registered user;
Further comprising, an authentication method.
상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리
를 포함하고,
상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 입력 영상에 포함된 사용자를 인식하기 위한 인식 모델에 기초하여 라이브니스 스코어를 결정하며, 상기 라이브니스 스코어 및 상기 인식 모델의 인식 결과에 기초하여 상기 사용자를 인증하고,
상기 라이브니스 스코어는
상기 인식 모델 내 복수의 히든 레이어들로부터 출력된 특징 벡터들 각각으로부터 결정된 기준 라이브니스 스코어들에 기초하여 결정되는,
인증 장치.processor; and
a memory including at least one instruction executable by the processor
including,
When the at least one instruction is executed by the processor, the processor determines a liveness score based on a recognition model for recognizing a user included in an input image, and based on the liveness score and a recognition result of the recognition model to authenticate the user,
The liveness score is
Determined based on reference liveness scores determined from each of the feature vectors output from a plurality of hidden layers in the recognition model,
authentication device.
상기 프로세서는
기준 라이브니스 검사 모델을 이용하여 상기 특징 벡터들 각각으로부터 상기 기준 라이브니스 스코어들을 결정하는, 인증 장치.17. The method of claim 16,
the processor is
determining the reference liveness scores from each of the feature vectors using a reference liveness check model.
상기 프로세서는
상기 기준 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 상기 적용 결과에 기초하여 상기 라이브니스 스코어를 결정하는, 인증 장치.17. The method of claim 16,
the processor is
and applying a weight to at least one of the reference liveness scores, and determining the liveness score based on a result of the application.
상기 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어를 결정하는 단계; 및
상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 적어도 하나에 기초하여 상기 객체의 라이브니스 여부를 판단하는 단계
를 포함하고,
상기 사후 라이브니스 스코어를 결정하는 단계는
상기 인식 모델 내 복수의 히든 레이어들로부터 출력된 특징 벡터들 각각으로부터 기준 라이브니스 스코어들을 결정하는 단계; 및
상기 기준 라이브니스 스코어들에 기초하여 상기 사후 라이브니스 스코어를 결정하는 단계
를 포함하는, 라이브니스 검사 방법.determining a pre-liveness score based on a plurality of sub-images obtained from the input image;
determining a post-liveness score based on a recognition model for recognizing an object included in the input image; and
determining whether the object is lively based on at least one of the pre-liveness score and the post-liveness score
including,
The step of determining the post-liveness score comprises:
determining reference liveness scores from each of the feature vectors output from a plurality of hidden layers in the recognition model; and
determining the posterior liveness score based on the reference liveness scores;
comprising, a liveness test method.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/921,740 US10679083B2 (en) | 2017-03-27 | 2018-03-15 | Liveness test method and apparatus |
| EP18164299.2A EP3382602B1 (en) | 2017-03-27 | 2018-03-27 | Liveness test method and apparatus |
| US16/861,497 US11138455B2 (en) | 2017-03-27 | 2020-04-29 | Liveness test method and apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710192070.5A CN108664843B (en) | 2017-03-27 | 2017-03-27 | Living object recognition method, living object recognition apparatus, and computer-readable storage medium |
| CN201710192070.5 | 2017-03-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180109664A KR20180109664A (en) | 2018-10-08 |
| KR102352345B1 true KR102352345B1 (en) | 2022-01-18 |
Family
ID=63786498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180000230A KR102352345B1 (en) | 2017-03-27 | 2018-01-02 | Liveness test method and apparatus |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102352345B1 (en) |
| CN (2) | CN108664843B (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2579583B (en) * | 2018-12-04 | 2021-01-06 | Yoti Holding Ltd | Anti-spoofing |
| CN111723626B (en) * | 2019-03-22 | 2024-05-07 | 北京地平线机器人技术研发有限公司 | Method, device and electronic equipment for living body detection |
| CN111860055B (en) * | 2019-04-29 | 2023-10-24 | 北京眼神智能科技有限公司 | Face silence living body detection method, device, readable storage medium and equipment |
| KR102275803B1 (en) * | 2019-10-25 | 2021-07-09 | 건국대학교 산학협력단 | Apparatus and method for detecting forgery or alteration of the face |
| CN111241989B (en) * | 2020-01-08 | 2023-06-13 | 腾讯科技（深圳）有限公司 | Image recognition method and device and electronic equipment |
| CN112800997B (en) * | 2020-04-10 | 2024-01-05 | 支付宝(杭州)信息技术有限公司 | Living body detection method, device and equipment |
| CN112613471B (en) * | 2020-12-31 | 2023-08-01 | 中移（杭州）信息技术有限公司 | Face living body detection method, device and computer readable storage medium |
| KR102545565B1 (en) * | 2021-10-06 | 2023-06-21 | 주식회사 오픈잇 | Method for verifying liveness, and server and program using the same |
| CN113920550A (en) * | 2021-10-29 | 2022-01-11 | 敦泰电子（深圳）有限公司 | Finger authenticity identification method, electronic device and storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130016882A1 (en) * | 2011-07-11 | 2013-01-17 | Accenture Global Services Limited | Liveness Detection |
| WO2016084072A1 (en) * | 2014-11-26 | 2016-06-02 | Isityou Ltd. | Anti-spoofing system and methods useful in conjunction therewith |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8542879B1 (en) * | 2012-06-26 | 2013-09-24 | Google Inc. | Facial recognition |
| CN204833300U (en) * | 2015-08-20 | 2015-12-02 | 北京旷视科技有限公司 | Live body detecting system |
| CN105389554B (en) * | 2015-11-06 | 2019-05-17 | 北京汉王智远科技有限公司 | Living body determination method and equipment based on recognition of face |
| CN105740780B (en) * | 2016-01-25 | 2020-07-28 | 北京眼神智能科技有限公司 | Method and device for detecting living human face |
| CN105956572A (en) * | 2016-05-15 | 2016-09-21 | 北京工业大学 | In vivo face detection method based on convolutional neural network |
-
2017
- 2017-03-27 CN CN201710192070.5A patent/CN108664843B/en active Active
- 2017-03-27 CN CN202310265731.8A patent/CN116311549A/en active Pending
-
2018
- 2018-01-02 KR KR1020180000230A patent/KR102352345B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130016882A1 (en) * | 2011-07-11 | 2013-01-17 | Accenture Global Services Limited | Liveness Detection |
| WO2016084072A1 (en) * | 2014-11-26 | 2016-06-02 | Isityou Ltd. | Anti-spoofing system and methods useful in conjunction therewith |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116311549A (en) | 2023-06-23 |
| CN108664843A (en) | 2018-10-16 |
| KR20180109664A (en) | 2018-10-08 |
| CN108664843B (en) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102352345B1 (en) | Liveness test method and apparatus | |
| KR102387571B1 (en) | Liveness test method and apparatus for | |
| KR102455633B1 (en) | Liveness test method and apparatus | |
| KR102466997B1 (en) | Liveness test method and apparatus | |
| KR102483642B1 (en) | Method and apparatus for liveness test | |
| US11138455B2 (en) | Liveness test method and apparatus | |
| KR102415509B1 (en) | Face verifying method and apparatus | |
| JP7191061B2 (en) | Liveness inspection method and apparatus | |
| US11869272B2 (en) | Liveness test method and apparatus and biometric authentication method and apparatus | |
| KR20210069404A (en) | Liveness test method and liveness test apparatus | |
| KR102257897B1 (en) | Apparatus and method for liveness test,and apparatus and method for image processing | |
| KR20210024877A (en) | Method and apparatus for determining liveness | |
| KR102570071B1 (en) | Liveness test method and liveness test apparatus, biometrics authentication method and face authentication apparatus | |
| KR102483647B1 (en) | Method and device to verify liveness | |
| CN113992812A (en) | Method and apparatus for activity detection | |
| KR20210128274A (en) | Method and apparatus for testing liveness | |
| KR20200083188A (en) | Method and apparatus for detecting liveness and object recognition method using same | |
| KR102665968B1 (en) | Method and apparatus for blur estimation | |
| KR20210076514A (en) | Method and apparatus for determining liveness and method and appartus for learing thereof | |
| KR20220013882A (en) | Method and apparatus for testing liveness using multi-phase detection sensor | |
| KR20210050650A (en) | Method of unlocking with face authentication on mobile device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |