KR102324468B1

KR102324468B1 - 얼굴 인증을 위한 장치 및 방법

Info

Publication number: KR102324468B1
Application number: KR1020170039524A
Authority: KR
Inventors: 손창용; 장원석; 김덕상; 신대규; 유병인; 한승주; 한재준; 손진우; 최창규
Original assignee: 삼성전자주식회사
Priority date: 2017-03-28
Filing date: 2017-03-28
Publication date: 2021-11-10
Also published as: US20210089755A1; US20200320280A1; US20210089754A1; US20230326241A1; US10733424B2; US11727720B2; US10891466B2; US11715329B2; KR20180109594A; US20180285628A1; US11256906B2; US20220172510A1; US20230334901A1

Abstract

얼굴 인증을 위한 장치 및 방법이 개시된다. 일 실시예에 따르면 인증 방법은 인증 영상의 현재 프레임을 분석하여 현재 프레임이 인증에 적합한 상태인지를 나타내는 현재 프레임의 상태 점수를 결정하고, 현재 프레임의 상태 점수가 미리 정해진 유효 조건을 만족할 경우 상기 현재 프레임에서 특징을 추출하는 단계들을 포함한다.

Description

얼굴 인증을 위한 장치 및 방법{METHOD AND APPARATUS FOR FACE VERIFICATION}

아래 실시예들은 얼굴 인증을 위한 장치 및 방법에 관한 것이다.

얼굴 인증 기술은 생체 인증 기술 중 하나로 정지 영상이나 동영상에 나타난 얼굴에 기초하여 사용자가 정당한 사용자인지 여부를 결정하는 인증 기술이다. 얼굴 인증 기술을 통해 인증 대상자의 신원을 비접촉식으로 확인 할 수 있다. 최근에는, 얼굴 인증 기술의 편리함 및 효율성 때문에 보안 시스템, 모바일 인증 및 멀티미디어 데이터 검색 등의 다양한 응용 분야에서 얼굴 인증 기술이 널리 활용되고 있다.

일 측에 따르면, 인증 방법은 인증 영상을 획득하는 단계; 상기 인증 영상의 현재 프레임을 분석하여, 상기 현재 프레임이 인증에 적합한 상태인지를 나타내는 상기 현재 프레임의 상태 점수를 결정하는 단계; 상기 현재 프레임의 상기 상태 점수가 미리 정해진 유효 조건을 만족할 경우, 상기 현재 프레임에서 특징을 추출하는 단계; 및 상기 추출된 특징과 미리 등록된 특징 간의 유사도를 인증 임계치와 비교하여 인증을 수행하는 단계를 포함한다.

상기 인증 방법은 상기 현재 프레임의 상태 점수가 상기 미리 정해진 유효 조건을 만족하지 않는 경우, 상기 현재 프레임을 버리는(discard) 단계; 상기 인증 영상의 다음 프레임이 인증에 적합한 상태인지를 나타내는 상기 다음 프레임의 상태 점수를 결정하는 단계; 및 상기 다음 프레임의 상기 상태 점수가 상기 미리 정해진 유효 조건을 만족할 경우, 상기 다음 프레임을 이용하여 인증을 수행하는 단계를 더 포함할 수 있다.

상기 현재 프레임의 상기 상태 점수는 상기 현재 프레임의 상기 분석 결과에 따른 얼굴 영역의 크기, 눈감음 정도, 라이브니스(liveness), 카메라의 구동 이후 경과된 시간, 영상 밝기, 얼굴이 가려진 정도 및 얼굴 표정 중 적어도 하나에 기초하여 결정될 수 있다.

상기 현재 프레임의 상기 상태 점수를 결정하는 단계는 상기 현재 프레임에서 얼굴 영역을 검출하는 단계; 및 상기 검출된 얼굴 영역의 크기와 미리 정해진 적정 범위를 비교하여, 상기 현재 프레임의 상기 상태 점수를 결정하는 단계를 포함할 수 있다.

상기 현재 프레임의 상기 상태 점수를 결정하는 단계는 상기 현재 프레임에서 얼굴의 특징적 요소에 대응하는 랜드마크를 추정하는 단계; 상기 추정된 랜드마크 중에 눈의 상단과 하단에 위치하는 대응 쌍을 추출하는 단계; 상기 추출된 대응 쌍을 이용하여 눈감음 정도를 결정하는 단계; 및 상기 결정된 눈감은 정도에 기초하여 상기 현재 프레임의 상기 상태 점수를 결정하는 단계를 포함할 수 있다.

상기 현재 프레임의 상기 상태 점수를 결정하는 단계는 상기 현재 프레임에 관한 라이브니스 테스트(liveness test)에 기초하여 상기 현재 프레임의 라이브니스 점수(liveness score)를 결정하는 단계; 상기 라이브니스 점수와 라이브니스 임계치(liveness threshold)를 비교하여 상기 현재 프레임이 실제 사용자를 유효하게 촬영한 영상에 기초한 것인지를 나타내는 라이브니스 파라미터를 결정하는 단계; 및 상기 라이브니스 파라미터에 기초하여 상기 현재 프레임의 상기 상태 점수를 결정하는 단계를 포함할 수 있다.

상기 라이브니스 임계치는 상기 현재 프레임의 상기 분석 결과에 따른 얼굴 영역의 크기, 눈감음 정도, 카메라의 구동 이후 경과된 시간, 영상 밝기, 얼굴이 가려진 정도 및 얼굴 표정 중 적어도 하나에 기초하여 조절될 수 있다.

상기 라이브니스 임계치는 상기 인증 영상을 촬영하는 카메라의 구동 이후 상기 인증 영상의 화질이 안정될 때까지 미리 정해진 제1 값에서 미리 정해진 제2 값까지 점차적으로 감소할 수 있다.

상기 인증 방법은 상기 현재 프레임의 상기 분석 결과 및 상기 현재 프레임의 상기 상태 점수 중 적어도 하나에 기초하여 상기 인증 임계치를 조절하는 단계를 더 포함할 수 있다.

상기 현재 프레임의 상기 분석 결과에 기초하여 상기 현재 프레임에서 눈감음이 검출되고 상기 눈감음의 요인이 수면으로 결정된 경우, 상기 현재 프레임은 버려지고 상기 인증 영상의 다음 프레임을 이용한 인증이 수행될 수 있다.

상기 현재 프레임의 상기 상태 점수가 낮을수록 상기 인증 임계치는 인증의 난이도가 높아지도록 조절될 수 있다.

상기 인증 임계치는 상기 현재 프레임의 상기 분석 결과에 따른 얼굴 영역의 크기, 눈감음 정도, 라이브니스(liveness), 카메라의 구동 이후 경과된 시간, 영상 밝기, 얼굴이 가려진 정도 및 얼굴 표정 중 적어도 하나에 기초하여 조절될 수 있다.

상기 인증 방법은 상기 현재 프레임의 상기 분석 결과에 기초하여 눈감음의 요인이 수면으로 결정된 경우, 사용자가 눈을 뜨도록 유도하는 메시지를 화면에 출력하는 단계를 더 포함할 수 있다.

상기 인증 방법은 등록 영상을 획득하는 단계; 상기 등록 영상의 현재 프레임을 분석하여, 상기 등록 영상의 상기 현재 프레임이 등록에 적합한 상태인지를 나타내는 상기 등록 영상의 상기 현재 프레임의 상태 점수를 결정하는 단계; 상기 등록 영상의 상기 현재 프레임의 상기 상태 점수가 상기 미리 정해진 유효 조건을 만족할 경우, 상기 등록 영상의 상기 현재 프레임에서 특징을 추출하는 단계; 및 상기 등록 영상의 상기 현재 프레임에서 추출된 특징 및 상기 등록 영상의 상기 현재 프레임의 상기 분석 결과를 저장하는 단계를 더 포함할 수 있다.

상기 등록 영상의 상기 현재 프레임을 분석할 때 상기 등록 영상의 상기 현재 프레임에 포함된 얼굴 영역의 크기는 제1 적정 범위와 비교되고, 상기 인증 영상의 상기 현재 프레임을 분석할 때 상기 인증 영상의 상기 현재 프레임에 포함된 얼굴 영역의 크기는 제2 적정 범위와 비교되고, 상기 제1 적정 범위는 상기 제2 적정 범위에 비해 좁을 수 있다.

상기 인증 방법은 상기 등록 영상의 상기 현재 프레임의 상기 분석 결과 및 상기 인증 영상의 상기 현재 프레임의 상기 분석 결과를 비교하여 상기 인증 임계치를 조절하는 단계를 더 포함할 수 있다.

상기 등록 영상의 상기 현재 프레임의 상기 분석 결과 및 상기 인증 영상의 상기 현재 프레임의 상기 분석 결과 사이에 차이가 클수록 상기 인증 임계치는 인증의 난이도가 높아지도록 조절될 수 있다.

상기 등록 영상의 분석 결과 및 상기 인증 영상의 상기 현재 프레임의 상기 분석 결과 간의 비교에 의해, 상기 인증 영상의 상기 현재 프레임이 상기 등록 영상이 촬영된 상황들에 비해 새로운 유형의 상황에서 촬영된 것으로 결정되는 경우, 상기 인증 임계치는 유지되거나, 혹은 인증의 난이도가 낮아지도록 조절될 수 있다.

일 측에 따르면, 인증 장치는 프로세서; 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 인증 영상을 획득하고, 상기 인증 영상의 현재 프레임을 분석하여 상기 현재 프레임이 인증에 적합한 상태인지를 나타내는 상기 현재 프레임의 상태 점수를 결정하고, 상기 현재 프레임의 상기 상태 점수가 미리 정해진 유효 조건을 만족할 경우 상기 현재 프레임에서 특징을 추출하고, 상기 추출된 특징과 미리 등록된 특징 간의 유사도를 인증 임계치와 비교하여 인증을 수행한다.

도 1은 일 실시예에 따른 인증 시스템을 나타낸 도면.
도 2는 일 실시예에 따른 인증 과정을 나타낸 동작 흐름도.
도 3은 일 실시예에 따른 얼굴 영역의 분석과정을 나타낸 도면.
도 4는 일 실시예에 따른 등록 절차와 인증 절차 각각에서의 얼굴 영역의 분석 과정을 나타낸 동작 흐름도.
도 5는 일 실시예에 따른 눈감음 정도의 분석 과정을 나타낸 도면.
도 6은 일 실시예에 따른 카메라의 구동에 기초한 라이브니스 임계치의 조절을 나타낸 도면.
도 7은 일 실시예에 따른 등록 영상을 이용한 등록 및 인증 영상을 이용한 인증을 수행하는 인증 장치를 나타낸 도면.
도 8은 일 실시예에 따른 등록 과정을 나타낸 동작 흐름도.
도 9는 일 실시예에 따른 등록 영상의 분석 결과 및 인증 영상의 분석 결과를 이용한 인증 과정을 나타낸 도면.
도 10은 일 실시예에 따른 인증 장치를 나타낸 블록도.

본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 인증 시스템을 나타낸 도면이다. 인증 장치(100)는 인증 영상에 기초하여 얼굴 인증을 수행하고, 인증 결과를 출력할 수 있다. 인증 결과는 인증 영상 내 얼굴이 정당한 사용자의 것인지 나타낼 수 있다. 예를 들어, 인증 영상 내 얼굴이 정당한 사용자의 것인 경우 인증 결과는 인증 성공을 지시하는 정보를 포함할 수 있고, 인증 영상 내 얼굴이 정당한 사용자의 것이 아닌 경우 인증 결과는 인증 실패를 지시하는 정보를 포함할 수 있다. 인증 결과는 사용자 인증이 요구되는 처리를 위해 이용될 수 있다. 예를 들어, 인증 결과에 따라 인증 영상 내 얼굴이 정당한 사용자의 것으로 확인되는 경우 사용자 단말은 사용자 단말의 잠금을 해제할 수 있다.

얼굴 인증은 인증 영상의 정보 및 등록 영상의 정보 간의 비교를 통해 수행될 수 있다. 정당한 사용자는 등록 영상을 통해 인증 장치(100)에 자신의 얼굴을 미리 등록할 수 있다. 사용자 단말의 카메라는 영상을 촬영하고, 촬영된 영상을 인증 장치(100)에 입력 영상으로서 제공할 수 있다. 입력 영상이 인증 과정에 이용될 경우 입력 영상은 인증 영상으로 지칭될 수 있고, 입력 영상이 등록 과정에 이용될 경우 입력 영상은 등록 영상으로 지칭될 수 있다. 등록 과정에서 인증 장치(100)는 등록 영상 내 정당한 사용자의 얼굴에서 특징을 추출하고, 추출된 특징을 저장할 수 있다. 사용자 등록이 완료된 이후 인증 영상이 수신되면, 인증 장치(100)는 인증 영상 내 사용자의 얼굴에서 특징을 추출하고, 인증 영상에서 추출된 특징과 미리 저장된 등록 영상의 특징을 서로 비교하여 얼굴 인증을 수행할 수 있다.

입력 영상은 다양한 상황에서 촬영될 수 있다. 예를 들어, 입력 영상이 촬영된 상황은 얼굴 영역의 크기, 눈감음 정도, 라이브니스(liveness), 카메라의 구동 이후 경과된 시간, 영상 밝기, 얼굴이 가려진 정도 및 얼굴 표정 중 적어도 하나에 반영될 수 있다. 인증의 정확도는 등록 영상이 촬영된 상황과 인증 영상이 촬영된 상황이 서로 유사한 경우에 향상될 수 있다. 예를 들어, 등록 영상 내 얼굴 영역의 크기 및 인증 영상 내 얼굴 영역의 크기가 서로 유사한 경우, 혹은 입력 영상 내 얼굴 표정 및 인증 영상 내 얼굴 표정이 서로 유사한 경우, 인증의 정확도가 향상될 수 있다. 인증의 정확도가 향상된다는 것은, 정당하지 않은 사용자의 영상을 정당한 사용자의 영상으로 잘못 인식하는 정도를 나타내는 오인식률(false acceptance rate: FAR)이 낮아지는 것이나, 정당한 사용자의 실제 얼굴이 아닌 정당한 사용자의 얼굴이 포함된 위조 영상(fake image)을 통한 인증 시도를 배제하는 것 등을 포함할 수 있다. 등록 영상 내 얼굴 영역의 크기에 비해 인증 영상 내 얼굴 영역의 크기가 지나치게 크거나 혹은 지나치게 작은 경우, FAR이 높아지거나 위조 영상을 통한 인증 시도가 배제되지 않을 수 있다.

아래 실시예들은 입력 영상 중에 등록/인증에 적합한 상태의 프레임을 통해 등록/인증을 수행함으로써 인증의 정확도를 향상시킬 수 있다. 예를 들어, 아래 실시예들은 등록/인증에 적합한 상태의 입력 영상을 선별하거나, 등록/인증에 적합하지 않은 상태의 입력 영상에 관해서는 등록/인증의 조건을 까다롭게 적용하는 전처리 절차를 통해 인증의 정확도를 향상시킬 수 있다. 또한, 실시예에 따르면, 입력 영상에 대한 전처리 절차는 모든 프레임에 관해 수행되지만, 복잡도가 높은 특징 추출 및 인식 절차는 선별된 프레임에 관해서만 수행될 수 있으므로, 모든 프레임에 관해 특징 추출 및 인식 절차가 수행되는 방식에 비해 빠른 응답이 제공될 수 있다.

인증 장치(100)는 입력 영상에 포함된 각 프레임을 분석하여, 각 프레임이 등록/인증에 적합한 상태인지를 결정할 수 있다. 분석 결과는 얼굴 영역의 크기, 눈감음 정도, 라이브니스(liveness), 카메라의 구동 이후 경과된 시간, 영상 밝기, 얼굴이 가려진 정도 및 얼굴 표정 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 입력 영상의 특정 프레임에 관해 해당 프레임이 등록/인증에 적합한 상태인지를 나타내는 상태 점수가 이용될 수 있다. 인증 장치(100)는 입력 영상의 특정 프레임에 관한 분석 결과에 기초하여 해당 프레임에 관한 상태 점수를 결정하고, 상태 점수를 이용하여 해당 프레임이 등록/인증에 적합한 상태인지를 결정할 수 있다.

도 1을 참조하면, 인증 영상은 복수의 프레임들을 포함한다. 예를 들어, 프레임(F1) 내 얼굴 영역의 크기는 미리 정해진 적정치에 비해 클 수 있고, 프레임(F2)의 조도는 미리 정해진 적정치에 비해 낮을 수 있다. 따라서, 프레임들(F1, F2)은 인증에 적합하지 않은 상태에 있는 것으로 볼 수 있다. 이 경우, 인증 장치(100)는 프레임들(F1, F2, F3, F4)을 분석하여, 인증 영상에서 프레임들(F1, F2)을 버리고(discard) 프레임들(F3, F4)을 이용하여 인증을 수행할 수 있다. 혹은, 인증 장치(100)는 프레임들(F1, F2)을 버리지 않고 프레임들(F1, F2)을 인증에 이용하되, 프레임들(F1, F2)을 위한 인증 기준을 까다롭게 설정할 수 있다.

일 실시예에 따르면, 인증 장치(100)는 입력 영상의 특정 프레임이 등록/인증에 사용될 수 있는 상태인지를 나타내는 유효 조건을 미리 설정할 수 있다. 예를 들어, 프레임들(F1, F2)의 상태 점수가 미리 정해진 유효 조건을 만족하지 않고, 프레임들(F3, F4)의 상태 점수가 미리 정해진 유효 조건을 만족하는 경우, 인증 장치(100)는 프레임들(F1, F2)을 버리고, 프레임들(F3, F4)을 이용하여 인증을 수행할 수 있다. 혹은, 프레임들(F1, F2)의 상태 점수가 프레임들(F3, F4)의 상태 점수 보다 상대적으로 낮지만 미리 정해진 유효 조건은 만족하는 경우, 인증 장치(100)는 프레임들(F1, F2)을 인증에 이용할 수 있고, 이를 보완하기 위해 프레임들(F1, F2)을 위한 인증 기준을 까다롭게 설정할 수 있다.

예를 들어, 인증 기준은 인증 임계치를 포함할 수 있다. 인증 임계치는 정당한 사용자의 영상으로 인정되지 위한 최소 유사도를 나타낼 수 있다. 인증 영상의 특징과 등록 영상의 특징 간의 차이가 작을수록, 혹은 인증 영상의 특징과 등록 영상의 특징 간의 거리가 가까울수록, 인증 영상의 특징과 등록 영상의 특징 간의 유사도는 높은 것으로 이해될 수 있다. 인증 영상의 특징과 등록 영상의 특징 간의 유사도가 인증 임계치를 초과하는 경우, 해당 프레임을 통한 인증은 성공으로 처리될 수 있다.

일 실시예에 따르면, 인증 장치(100)는 인증 성능을 향상시키기 위해 인증 임계치를 조절할 수 있다. 인증 임계치는 각 프레임 별로 조절될 수 있다. 예를 들어, 프레임들(F1, F2)이 인증에 이용되는 경우, 인증 장치(100)는 프레임들(F1, F2)을 위한 인증 임계치를 프레임들(F3, F4)을 위한 인증 임계치에 비해 상대적으로 높게 설정할 수 있다. 인증 장치(100)는 인증 영상에 포함된 각 프레임의 분석 결과, 및 각 프레임의 분석 결과가 반영된 상태 점수 중 적어도 하나에 기초하여 인증 임계치를 조절할 수 있다. 따라서, 실시예에 따르면 프레임들(F1, F2)이 인증에 적합하지 않은 상태에 있는 경우에도, 인증 임계치를 통해 프레임들(F1, F2)을 위한 인증 기준을 까다롭게 설정함으로써, 프레임들(F1, F2)에 의한 인증 성능의 저하를 방지할 수 있다.

실시예에 따라, 인증 장치(100)는 특정 프레임의 분석 결과에 기반하여, 해당 프레임의 라이브니스를 결정하기 위한 라이브니스 임계치를 조절할 수 있다. 라이브니스 임계치의 조절에 기초하여 위조 영상을 통한 인증 시도가 적절하게 배제될 수 있고, 인증 장치(100)의 인증 성능이 향상될 수 있다. 인증 임계치와 라이브니스 임계치는 동시에 조절되거나, 혹은 어느 하나만 조절될 수 있다. 라이브니스 임계치의 조절에 관해서는 추후 상세히 설명한다.

도 2는 일 실시예에 따른 인증 과정을 나타낸 동작 흐름도이다. 도 2를 참조하면, 단계(211)에서, 인증 장치는 인증 영상을 획득한다. 인증 영상은 사용자 단말의 카메라를 통해 획득될 수 있다. 인증 영상은 복수의 프레임들을 포함할 수 있다. 아래에서는 인증 영상에 포함된 복수의 프레임들 중에 현재 n번째 프레임이 처리되는 것을 가정하여 설명한다.

단계(212)에서, 인증 장치는 n번째 프레임을 분석하여 n번째 프레임의 상태 점수를 결정한다. n번째 프레임의 분석 결과는 얼굴 영역의 크기, 눈감음 정도, 라이브니스(liveness), 카메라의 구동 이후 경과된 시간, 영상 밝기, 얼굴이 가려진 정도 및 얼굴 표정 중 적어도 하나를 포함할 수 있다. 예를 들어, 인증 장치는 n번째 프레임을 분석하여 n번째 프레임의 밝기가 적절한지, n번째 프레임에 표시된 얼굴이 가려져 있는지, 및 n번째 프레임에 표시된 얼굴 표정이 어떤지를 결정할 수 있다. 그 밖에, 얼굴 영역의 크기, 눈감음 정도 및 라이브니스를 분석하는 구체적인 과정은 후술한다.

인증 장치는 n번째 프레임을 분석하고, 분석 결과를 미리 정해진 기준치와 비교하여 n번째 프레임의 상태 점수를 결정할 수 있다. 예를 들어, 상기 미리 정해진 기준치는 얼굴 영역의 크기에 관한 제1 적정 범위, 눈이 떠진 정도에 관한 제2 적정 범위 및 영상 밝기에 관해 제3 적정 범위 등에 기초하여 결정될 수 있다. 이 경우, 인증 장치는 n번째 프레임에 관한 분석 결과 및 각 적정 범위들을 비교하여 n번째 프레임의 상태 점수를 결정할 수 있다. 예를 들어, n번째 프레임의 분석 결과가 각 적정 범위에 포함되면 n번째 프레임의 상태 점수가 높게 결정될 수 있다.

아래에서 설명되겠지만, n번째 프레임에서 눈감음이 검출된 경우, 해당 눈감음의 요인이 눈 깜빡임 또는 수면으로 결정될 수 있다. 눈감음의 요인은 눈감음이 연속적으로 발생하였는지에 기초하여 결정될 수 있다. n번째 프레임에서 눈감음이 검출되고, 해당 눈감음의 요인이 수면으로 결정된 경우, 인증 장치는 n번째 프레임의 상태 점수를 결정하지 않고, 바로 단계(231)을 수행할 수 있다.

단계(221)에서, 인증 장치는 인증 임계치를 조절한다. 인증 임계치는 인증 영상 내 각 프레임에 관해 조절될 수 있다. 인증 장치는 n번째 프레임의 분석 결과 및 n번째 프레임의 상태 점수 중 적어도 하나에 기초하여 n번째 프레임을 위한 인증 임계치를 조절할 수 있다. 예를 들어, n번째 프레임의 상태 점수가 낮을수록 n번째 프레임을 위한 인증 임계치는 인증의 난이도가 높아지도록 조절될 수 있다. 인증의 난이도가 높다는 것은 인증이 쉽게 성공되지 못한다는 것을 의미한다. 예를 들어, 인증의 난이도를 높이기 위해 인증 임계치가 높게 설정될 수 있다.

일 실시예에 따르면, 인증 임계치는 사용자 등록 과정에서 미리 저장된 등록 영상의 분석 결과를 고려하여 결정될 수 있다. 아래에서 설명되겠지만, 인증 장치는 사용자 등록 과정에서 등록 영상의 분석 결과를 저장할 수 있다. 예를 들어, 인증 장치는 등록 영상의 m번째 프레임의 등록을 결정하면서, m번째 프레임에서 추출된 특징 및 m번째 프레임의 분석 결과를 저장할 수 있다. 이 경우, 인증 장치는 n번째 프레임의 분석 결과와 m번째 프레임의 분석 결과를 비교하여 n번째 프레임을 위한 인증 임계치를 높게 조절하거나, 혹은 낮게 조절할 수 있다.

일 실시예에 따르면, FAR을 낮추는 관점에서 인증 임계치가 조절될 수 있다. 예를 들어, 인증 영상의 n번째 프레임의 분석 결과 및 등록 영상의 m번째 프레임의 분석 결과 사이에 차이가 클수록 n번째 프레임을 위한 인증 임계치는 인증의 난이도가 높아지도록 조절될 수 있다. n번째 프레임의 분석 결과 및 m번째 프레임의 분석 결과 사이에 차이가 작다면, n번째 프레임을 위한 인증 임계치는 인증의 난이도가 낮아지도록 조절될 수 있다. 인증의 정확도는 등록 영상이 촬영된 상황과 인증 영상이 촬영된 상황이 서로 유사한 경우에 향상될 수 있기 때문이다.

일 실시예에 따르면, 오거부율(false rejection ratio: FRR)을 낮추는 관점에서 인증 임계치가 조절될 수 있다. 잠금 해제의 경우 정당한 사용자를 통해 시도되는 경우가 많고, 모바일 결제와 같이 높은 보안 수준을 요구하지 않을 수 있다. 따라서, 잠금 해제와 같은 상대적으로 낮은 보안 수준을 요구하는 어플리케이션에서 얼굴 인증이 시도되는 경우 상황에 따라 인증 임계치가 낮게 조절될 수 있다.

예를 들어, 정당한 사용자가 모든 등록 영상을 안경을 쓴 상태에서 등록하고, 이후에 정당한 사용자가 안경을 쓰지 않는 상태에서 인증을 시도하는 상황을 가정할 수 있다. 이 경우, 정당한 사용자가 인증을 시도함에도 인증 임계치가 높게 설정되면 오거부가 발생하여 정당한 사용자에게 불편을 줄 수 있다. 따라서, 등록 영상의 분석 결과에 존재하지 않는 새로운 유형의 상황에서 인증 영상이 촬영될 경우, 인증 임계치가 유지되거나 혹은 낮게 조절될 수 있다. 잠금 해제와 같은 미리 정해진 어플리케이션으로부터 인증 요청이 수신되고, 인증 영상의 n번째 프레임의 분석 결과 및 등록 영상의 m번째 프레임의 분석 결과 사이에 차이가 큰 경우, 인증 장치는 n번째 프레임을 위한 인증 임계치를 유지하거나 혹은 인증의 난이도를 낮게 조절할 수 있다.

단계(213)에서, 인증 장치는 n번째 프레임의 상태 점수가 미리 정해진 유효 조건을 만족하는지 결정한다. 예를 들어, 유효 조건은 미리 정해진 임계치를 포함할 수 있다. 이 경우, n번째 프레임의 상태 점수가 상기 미리 정해진 임계치 이상인 경우 미리 정해진 유효 조건이 만족된 것으로 판단될 수 있고, n번째 프레임의 상태 점수가 상기 미리 정해진 임계치 미만인 경우 미리 정해진 유효 조건이 만족되지 않은 것으로 판단될 수 있다. 일 실시예에 따르면, 유효 조건은 눈감음의 요인에 관한 조건을 포함할 수 있다. n번째 프레임에서 눈감음이 검출되고, 해당 눈감음의 요인이 수면으로 결정된 경우, 인증 장치는 n번째 프레임이 미리 정해진 유효 조건을 만족하지 못하는 것으로 판단할 수 있다.

n번째 프레임의 상태 점수가 미리 정해진 유효 조건을 만족하는 경우 단계(214)가 수행될 수 있고, n번째 프레임의 상태 점수가 미리 정해진 유효 조건을 만족하지 않는 경우 단계(231)가 수행될 수 있다.

단계(231)에서, 인증 장치는n번째 프레임을 버릴 수 있다. n번째 프레임을 버린다는 것은 n번째 프레임을 이용하지 않고 n+1번째 프레임을 탐색한다는 것을 의미할 수 있다. 단계(232)에서, 인증 장치는 n을 증가시킨다. 따라서, n번째 프레임의 상태 점수가 미리 정해진 유효 조건을 만족하지 않는 경우, n+1번째 프레임에 관해 단계들(212, 213)이 수행될 수 있다.

단계(214)에서, 인증 장치는 n번째 프레임에서 특징을 추출한다. 단계(215)에서, 인증 장치는 n번째 프레임에서 추출된 특징과 미리 등록된 특징 간의 유사도를 인증 임계치와 비교하여 인증을 수행한다. 미리 등록된 특징은 사용자 등록 절차를 통해 등록 영상에서 추출된 특징을 의미한다. 또한, 인증 임계치는 n번째 프레임을 위한 것으로, 단계(221)를 통해 조절될 수 있다. 예를 들어, n번째 프레임이 인증에 적합한 상태가 아니거나, n번째 프레임의 상태 점수가 낮은 경우, n번째 프레임을 위한 인증 임계치가 높게 설정될 수 있다. 이 경우, n번째 프레임을 이용한 인증의 난이도가 높아질 수 있다. 따라서, 인증 영상에서 인증에 적합한 상태가 아닌 프레임은 버려지거나 해당 프레임에 관한 인증의 난이도가 높게 설정될 수 있고, 인증에 적합한 상태의 프레임을 통해 인증이 이루어지므로, 인증의 정확도가 향상될 수 있다.

단계(216)에서, 인증 장치는 인증의 성공 여부를 결정한다. 예를 들어, n번째 프레임에서 추출된 특징과 미리 등록된 특징 간의 유사도가 인증 임계치보다 큰 경우, n 번째 프레임을 통해 인증에 성공한 것으로 결정될 수 있다. 인증이 성공한 경우, 인증 장치는 인증 성공을 지시하는 정보를 포함하는 인증 결과를 출력하고 인증 절차를 종료할 수 있다. n번째 프레임에서 추출된 특징과 미리 등록된 특징 간의 유사도가 인증 임계치보다 작은 경우, n 번째 프레임을 통한 인증은 실패한 것으로 결정될 수 있다. 인증에 실패한 경우, 인증 장치는 단계(232)를 통해 n을 증가시키고 단계(212)을 다시 수행하거나, 인증 실패를 지시하는 정보를 포함하는 인증 결과를 출력하고 인증 절차를 종료할 수 있다. 인증에 실패한 경우 인증 절차를 종료시킬 것인지 아니면 다음 프레임을 통해 인증 절차를 계속적으로 진행할 것인지는 정책적으로 결정될 수 있다.

도 3은 일 실시예에 따른 얼굴 영역의 분석 과정을 나타낸 도면이다. 도 3을 참조하면, 입력 영상의 프레임(310)이 도시되어 있다. 도 3에서 설명되는 사항은 인증 영상의 분석 과정 및 등록 영상의 분석 과정에 적용될 수 있다.

인증 장치는 프레임(310)이 인증에 적합한 상태인지를 결정하기 위해, 프레임(310)에서 얼굴 영역(315)을 검출하고, 얼굴 영역(315)의 크기를 결정할 수 있다. 얼굴 영역(315)의 크기는 크기 파라미터(l)을 통해 특정될 수 있다. 예를 들어, 크기 파라미터(l)는 얼굴 영역(315)에서 한 변을 구성하는 픽셀들의 수로 나타낼 수 있다.

일 실시예에 따르면, 얼굴 영역(315)에 관해 적정 범위가 미리 정해질 수 있다. 예를 들어, 적정 범위는 15cm 내지 90cm 사이로 결정될 수 있다. 여기서, 15cm 및 90cm는 사용자와 사용자 단말의 카메라 간의 거리를 나타내며, 15cm는 410의 픽셀 수에 대응할 수 있고, 90cm는 90의 픽셀 수에 대응할 수 있다.

인증 장치는 얼굴 영역(315)의 크기와 미리 정해진 적정 범위를 비교하여, 프레임(310)의 상태 점수를 결정할 수 있다. 도 3에서 크기 파라미터(l)가 a 또는 c인 경우, 얼굴 영역(315)의 크기가 적정 범위를 벗어난 것으로 볼 수 있다. 구체적으로, 크기 파라미터(l)가 a인 경우 인증 장치는 사용자의 얼굴이 적정 범위를 넘어 지나치게 큰 것으로 결정할 수 있고, 크기 파라미터(l)가 c인 경우 인증 장치는 사용자의 얼굴이 적정 범위를 넘어 지나치게 작은 것으로 결정할 수 있다.

또한, 크기 파라미터(l)가 b인 경우, 얼굴 영역(315)의 크기가 적정 범위에 포함되는 것으로 볼 수 있다. 따라서, 인증 장치는 크기 파라미터(l)가 b인 경우에 프레임(310)에 높은 상태 점수를 부여하거나, 크기 파라미터(l)가 a 또는 c인 경우에 프레임(310)에 낮은 상태 점수를 부여할 수 있다.

인증 장치는 얼굴 영역(315)의 분석 결과 및 프레임(310)의 상태 점수 중 적어도 하나에 기초하여 프레임(310)을 위한 인증 임계치를 조절할 수 있다. 예를 들어, 인증 장치는 크기 파라미터(l)가 b인 경우에 프레임(310)을 위한 인증 임계치를 낮게 조절하거나, 크기 파라미터(l)가 a 또는 c인 경우에 프레임(310)을 위한 인증 임계치를 높게 조절할 수 있다.

도 4는 일 실시예에 따른 등록 절차와 인증 절차 각각에서의 얼굴 영역의 분석 과정을 나타낸 동작 흐름도이다.

얼굴 영역의 분석을 위한 적정 범위는 등록 절차와 인증 절차 각각에서 서로 다르게 설정될 수 있다. 한번 등록된 등록 영상은 인증 절차에서 지속적으로 활용되기 때문에, 인증 절차에 비해 등록 절차에 더욱 엄격한 기준을 요구함에 따라 인증 성능을 향상시킬 수 있다. 예를 들어, 인증 절차에 비해 등록 절차에 더 엄격한 적정 범위를 설정하거나, 등록 절차에서 얼굴 영역의 크기 이외의 추가 분석이 수행될 수 있다.

도 4를 참조하면, 단계(410)에서, 인증 장치는 현재 절차가 등록 절차인지 결정한다. 현재 절차가 등록 절차라면 단계(430)이 수행되고, 현재 절차가 인증 절차라면 단계(420)가 수행된다. 단계(410)는 도 2를 참조하여 설명된 단계(211) 이후에 수행되거나, 도 8을 참조하여 설명될 단계(811) 이후에 수행될 수 있다.

단계(420)에서, 인증 장치는 적정 범위(D1)에 기초하여 현재 프레임의 얼굴 영역을 분석한다. 단계(430)에서, 인증 장치는 적정 범위(D2)에 기초하여 현재 프레임의 얼굴 영역을 분석한다. 인증 장치는 단계들(420, 430)에서 도 3을 통해 설명된 동작을 수행할 수 있다. 적정 범위(D2)는 적정 범위(D1)에 비해 좁게 설정될 수 있다. 예를 들어, 적정 범위(D1)가 15cm 내지 90cm로 설정된 경우, 적정 범위(D2)는 20cm 내지 50cm로 설정될 수 있다.

단계(440)에서, 인증 장치는 현재 프레임의 가이드 영역을 분석한다. 등록 절차에서 사용자 단말의 화면에는 얼굴의 적절한 위치를 나타내는 가이드 영역이 표시될 수 있다. 사용자는 가이드 영역을 확인하고 자신의 얼굴이 가이드 영역에 채워지도록 사용자와 사용자 단말 간의 거리를 조절할 수 있다. 이 때, 인증 장치는 가이드 영역 내 얼굴 영역이 포함된 정도를 나타내는 정렬(aligned) 상태를 계산하고, 계산된 정렬 상태에 기초하여 현재 프레임의 상태 점수를 결정할 수 있다. 예를 들어, 가이드 영역 내 얼굴 영역이 포함된 정도가 미리 정해진 임계치보다 낮은 경우, 인증 장치는 현재 프레임의 정렬(aligned) 상태가 좋지 않은 것으로 보고 현재 프레임의 상태 점수를 낮게 부여할 수 있다.

단계들(420, 440)이 수행된 이후, 도 2를 참조하여 설명된 단계(221) 또는 단계(213)이 수행되거나, 도 8을 참조하여 설명될 단계(813)이 수행될 수 있다.

도 5는 일 실시예에 따른 눈감음 정도의 분석 과정을 나타낸 도면이다. 도 5를 참조하면, 입력 영상의 프레임(500)이 도시되어 있다. 도 5에서 설명되는 사항은 인증 영상의 분석 과정 및 등록 영상의 분석 과정에 적용될 수 있다.

인증 장치는 프레임(500)이 인증에 적합한 상태인지를 결정하기 위해, 프레임(500)에서 얼굴의 특징적 요소에 대응하는 랜드마크를 추정하고, 추정된 랜드마크 중에 눈의 상단과 하단에 위치하는 대응 쌍을 추출할 수 있다. 예를 들어, 인증 장치는 랜드마크들(510, 515), 랜드마크들(520, 525), 랜드마크들(530, 535) 및 랜드마크들(540, 545) 각각을 대응 쌍으로서 추출할 수 있다.

인증 장치는 추출된 대응 쌍을 이용하여 눈감음 정도를 결정할 수 있다. 예를 들어, 랜드마크들(510, 515) 사이의 거리, 랜드마크들(520, 525) 사이의 거리, 랜드마크들(530, 535)들 사이의 거리 및 랜드마크들(540, 545) 사이의 거리 각각에 기초하여 눈감음 정도를 결정할 수 있다. 대응 쌍을 구성하는 두 랜드마크들 사이의 거리가 가까울수록 눈감음 정도가 크게 결정될 수 있다. 눈감음 정도가 클수록 인증 장치는 프레임(500)에 낮은 상태 점수를 부여할 수 있고, 프레임(500)을 위한 인증 임계치를 높게 조절할 수 있다.

인증 장치는 인증 절차에서 분석 항목 별로 각 프레임에 관한 분석 결과를 저장할 수 있다. 예를 들어, n번째 프레임의 분석 결과로서 n번째 프레임에 관한 눈감음 정도를 저장하고, n+1번째 프레임의 분석 결과로서 n+1번째 프레임에 관한 눈감음 정도를 저장할 수 있다. 인증 장치는 인증 영상의 연속적인 프레임들에 관해 눈감음 정도를 분석하여 눈감음의 요인을 결정할 수 있다. 눈감음의 요인은 눈 깜빡임(eye blink) 및 수면 중 어느 하나로 결정될 수 있다.

예를 들어, 미리 정해진 임계치 이상의 연속적인 프레임에서 눈감음이 검출된 경우, 인증 장치는 눈감음의 요인을 수면으로 결정할 수 있다. 눈 깜빡임에 의한 눈감음의 경우 인증 난이도를 높임으로써 인증 성능을 향상시킬 수 있지만, 수면에 의한 눈감음의 경우 인증 시도 자체를 막는 것이 안전할 수 있다. 따라서, 특정 프레임의 분석 결과에 따라 특정 프레임에서 눈감음이 검출되고, 해당 눈감음의 요인이 수면으로 결정될 경우, 특정 프레임을 버리고 다음 프레임을 이용하여 인증 절차를 수행할 수 있다.

현재 프레임에서 눈감음 상태가 검출된 경우, 인증 장치는 사용자 단말의 화면에 사용자가 눈을 뜨도록 유도하는 메시지를 출력할 수 있다. 예를 들어, 인증 장치는 사용자 단말의 화면에 "눈을 뜨십시오"라는 메시지를 출력할 수 있다. 눈감음의 상태가 지속됨에 의해 눈감음의 요인이 수면으로 결정된 경우, 화면에 출력되는 메시지에는 수면 상태에 관한 내용이 포함될 수 있다. 예를 들어, 인증 장치는 사용자 단말의 화면에 "수면 상태가 감지되어 인증에 실패 중입니다"라는 메시지를 출력할 수 있다.

도 6은 일 실시예에 따른 카메라의 구동에 기초한 라이브니스 임계치의 조절을 나타낸 도면이다.

인증 장치는 정당한 사용자의 실제 얼굴이 아닌 정당한 사용자의 얼굴이 포함된 위조 영상(fake image)을 통해 사용자 등록이나 인증이 시도되는 것을 배제하기 위해 입력 영상의 라이브니스(liveness)을 고려할 수 있다. 입력 영상의 라이브니스는 입력 영상의 각 프레임마다 결정되는 라이브니스 파라미터(liveness parameter)에 기초하여 결정될 수 있다. 라이브니스 파라미터는 각 프레임이 실제 사용자를 유효하게 촬영한 영상에 기초한 것인지를 나타낼 수 있다.

인증 장치는 n번째 프레임에 관한 라이브니스 테스트(liveness test)에 기초하여 n번째 프레임의 라이브니스 점수(liveness score)를 결정할 수 있다. 예를 들어, n번째 프레임이 실제 사용자를 유효하게 촬영한 것에 가까울수록 라이브니스 점수는 높게 결정될 수 있다. 일 실시예에 따르면, 위조 영상 내 특정 프레임에 라이브니스가 있는 것으로 잘못 결정되는 것을 방지하기 위해, 현재 프레임의 라이브니스 점수는 적어도 하나의 이전 프레임들을 고려하여 결정될 수 있다. 예를 들어, n번째 프레임의 라이브니스 점수는 n번째 프레임에 관한 라이브니스 테스트에 기초하여 획득된 제1 라이브니스 점수 및 이전 프레임에 관해 결정된 제2 라이브니스 점수의 누적에 기초하여 결정될 수 있다.

인증 장치는 n번째 프레임에 관해 결정된 라이브니스 점수와 n번째 프레임에 관한 라이브니스 임계치(liveness threshold)를 비교하여 라이브니스 파라미터를 결정할 수 있다. 예를 들어, n번째 프레임의 라이브니스 점수가 n번째 프레임에 관한 라이브니스 임계치 이상인 경우, n번째 프레임의 라이브니스 파라미터는 n번째 프레임에 라이브니스가 있는 것으로 결정될 수 있다. 일 실시예에 따르면, n번째 프레임에 관한 라이브니스 임계치는 n번째 프레임의 분석 결과에 기초하여 조절될 수 있다. 예를 들어, n번째 프레임의 얼굴 영역의 크기가 적정 범위를 벗어난 경우 n번째 프레임에 관한 라이브니스 임계치는 높게 결정될 수 있다.

도 6을 참조하면, 카메라가 구동된 이후 화질이 안정화되는 과정의 프레임들이 도시되어 있다. 카메라가 구동되면 노출(exposure), 초점(focus) 및 화이트 밸런스(white balance)가 자동으로 설정되기까지 일정한 시간이 소요될 수 있다. 정확한 인증을 위해서는 적절한 노출의 영상이 필요한데, 카메라의 구동 초기에는 영상이 너무 어둡거나 너무 밝게 촬영될 수 있다. 일 실시예에 따르면, 인증 장치는 카메라가 구동된 이후에 화질이 안정되기 전까지 라이브니스 임계치를 높게 설정하여 라이브니스 여부를 엄격하게 판단할 수 있다. 이하, 도 6에 도시된 프레임들에 관해 라이브니스 임계치를 조절하는 과정을 설명한다.

단계(610)에서, 인증 장치는 현재 프레임의 인덱스(idx)를 확인한다. 단계(620)에서, 인증 장치는 인덱스(idx)와 화질이 안정화되는 시점에 대응하는 인덱스(k)를 비교한다. 화질이 안정화되는 시점은 미리 결정되거나, 혹은 인증 장치가 입력 영상을 분석하여 결정할 수 있다. 인덱스(idx)가 인덱스(k)보다 작으면 단계(630)이 수행되고, 인덱스(idx)가 인덱스(k)보다 작지 않으면 단계(640)이 수행된다.

단계(630)에서, 인증 장치는 라이브니스 임계치를 벡터(l_th)에서 인덱스(idx)에 대응하는 값으로 결정한다. 예를 들어, 벡터(l_th)는 [0.95f 0.95f 0.95f 0.90f 0.85f 0.65f 0.50f]일 수 있다. f는 라이브니스 임계치를 위해 미리 결정된 참조 값일 수 있다. 따라서, 인덱스(idx)가 1인 프레임에 관해 라이브니스 임계치는 0.95f로 결정될 수 있고, 인덱스(idx)가 4인 프레임에 관해 라이브니스 임계치는 0.90f로 결정될 수 있다. 벡터(l_th)는 미리 결정되거나, 입력 영상의 화질 분석 결과에 따라 유동적으로 결정될 수 있다.

단계(640)에서, 인증 장치는 라이브니스 임계치를 미리 결정된 안정 값(L_th)으로 결정한다. 예를 들어, 안정 값(L_th)는 0.50f일 수 있다. 따라서, 라이브니스 임계치는 인증 영상을 촬영하는 카메라의 구동 이후에 미리 정해진 제1 값에서 미리 정해진 제2 값까지 점차적으로 감소할 수 있다.

인증 장치는 라이브니스 파라미터에 기초하여 n번째 프레임의 상태 점수를 결정할 수 있다. 예를 들어, n번째 프레임에 라이브니스가 있는 것으로 결정될 경우 n번째 프레임에 높은 상태 점수가 부여될 수 있고, n번째 프레임에 라이브니스가 없는 것으로 결정될 경우 n번째 프레임에 낮은 상태 점수가 부여될 수 있다.

도 7은 일 실시예에 따른 등록 영상을 이용한 등록 및 인증 영상을 이용한 인증을 수행하는 인증 장치를 나타낸 도면이다. 인증 장치(700)는 등록 영상에 기초하여 등록 절차를 수행하고, 인증 영상에 기초하여 인증 절차를 수행할 수 있다. 인증 장치(700)는 인증 절차에서 얼굴 인증을 수행하고, 인증 결과를 출력할 수 있다.

인증 장치(700)는 등록 영상에 포함된 복수의 프레임들 중에 등록에 적합한 프레임을 선별하여 등록 절차를 수행할 수 있다. 예를 들어, 프레임(F11) 내 얼굴 영역의 크기는 미리 정해진 적정치에 비해 클 수 있다. 따라서, 프레임(F11)은 등록에 적합하지 않은 상태에 있는 것으로 볼 수 있다. 이 경우, 인증 장치(700)는 프레임들(F11, F12, F13)을 분석하여, 등록 영상에서 프레임들(F11)을 버리고 프레임들(F12, F13)을 이용하여 등록을 수행할 수 있다.

일 실시예에 따르면, 인증 장치(700)는 등록 영상의 특정 프레임이 등록에 사용될 수 있는 상태인지를 나타내는 유효 조건을 미리 설정할 수 있다. 예를 들어, 프레임(F11)의 상태 점수가 미리 정해진 유효 조건을 만족하지 않고, 프레임들(F12, F13)의 상태 점수가 미리 정해진 유효 조건을 만족하는 경우, 인증 장치(700)는 프레임(F11)을 버리고, 프레임들(F12, F13)에서 추출된 특징을 등록할 수 있다.

인증 장치(700)는 인증 영상에 포함된 복수의 프레임들 중에 인증에 적합한 프레임을 선별하여 인증 절차를 수행하거나, 인증 임계치를 통해 프레임 별 인증 난이도를 조절할 수 있다. 예를 들어, 인증 장치(700)는 프레임(F22)를 버리고, 프레임들(F21, F23)에서 추출된 특징을 프레임들(F12, F13)에서 추출된 특징과 비교하여 인증 절차를 수행할 수 있다. 혹은, 인증 장치(700)는 프레임(F22)을 버리지 않고 프레임(F22)을 인증에 이용하되, 프레임(F22)을 위한 인증 기준을 까다롭게 설정할 수 있다. 예를 들어, 인증 장치(700)는 프레임(F22)에서 추출된 특징을 프레임들(F12, F13)에서 추출된 특징과 비교하되, 인증 임계치를 높게 설정할 수 있다.

도 8은 일 실시예에 따른 등록 과정을 나타낸 동작 흐름도이다. 도 8을 참조하면, 단계(811)에서, 인증 장치는 등록 영상을 획득한다. 등록 영상은 사용자 단말의 카메라를 통해 획득될 수 있다. 등록 영상은 복수의 프레임들을 포함할 수 있다. 아래에서는 등록 영상에 포함된 복수의 프레임들 중에 현재 m번째 프레임이 처리되는 것을 가정하여 설명한다.

단계(812)에서, 인증 장치는 m번째 프레임을 분석하여 m번째 프레임의 상태 점수를 결정한다. m번째 프레임의 분석 결과는 얼굴 영역의 크기, 눈감음 정도, 라이브니스(liveness), 카메라의 구동 이후 경과된 시간, 영상 밝기, 얼굴이 가려진 정도 및 얼굴 표정 중 적어도 하나를 포함할 수 있다. 등록 영상의 분석에 관해서는 인증 영상의 분석에 관해 전술된 내용이 적용될 수 있다.

단계(813)에서, 인증 장치는 m번째 프레임의 상태 점수가 미리 정해진 유효 조건을 만족하는지 결정한다. m번째 프레임의 상태 점수가 미리 정해진 유효 조건을 만족하는 경우 단계(814)가 수행될 수 있고, m번째 프레임의 상태 점수가 미리 정해진 유효 조건을 만족하지 않는 경우 단계(831)가 수행될 수 있다.

단계(831)에서, 인증 장치는 m번째 프레임을 버릴 수 있다. 단계(832)에서, 인증 장치는 m을 증가시킨다. 따라서, m번째 프레임의 상태 점수가 미리 정해진 유효 조건을 만족하지 않는 경우, m+1번째 프레임에 관해 단계들(812, 813)이 수행될 수 있다.

단계(814)에서, 인증 장치는 m번째 프레임에서 특징을 추출한다. 단계(815)에서 인증 장치는 m번째 프레임에서 추출된 특징 및 m번째 프레임의 분석 결과를 저장한다. m번째 프레임에서 추출된 특징은 추후 인증 절차에서 인증 영상에서 추출된 특징과의 비교에 이용될 수 있다. m번째 프레임의 분석 결과는 인증 영상의 인증 임계치를 결정할 때 이용될 수 있다. 예를 들어, 인증 영상의 n번째 프레임의 분석 결과와 등록 영상의 m번째 프레임의 분석 결과에 따라 인증 영상의 n번째 프레임이 촬영된 상황과 등록 영상의 m번째 프레임이 촬영된 상황 간의 차이가 큰 것으로 결정될 경우, 인증 영상의 n번째 프레임에 관한 인증 임계치가 높게 결정될 수 있다. 인증의 정확도는 등록 영상이 촬영된 상황과 인증 영상이 촬영된 상황이 서로 유사한 경우에 향상될 수 있기 때문이다.

단계(816)에서, 인증 장치는 현재 저장된 프레임의 수(M)와 저장 목표 수(L)를 비교한다. 저장 목표 수(L)는 미리 설정될 수 있다. 예를 들어, 등록 절차에서 10개의 프레임에 관한 정보를 저장하도록 미리 설정될 수 있다. 현재 저장된 프레임의 수(M)가 저장 목표 수(L)보다 작은 경우 단계(832)를 수행될 수 있고, 현재 저장된 프레임의 수(M)가 저장 목표 수(L)보다 작지 않은 경우 등록 절차가 종료될 수 있다.

등록 절차가 완료된 이후에 전술된 인증 절차가 수행될 수 있으며, 그 밖에 전술된 인증 절차에 관한 사항은 등록 절차에 적용될 수 있다.

도 9는 일 실시예에 따른 등록 영상의 분석 결과 및 인증 영상의 분석 결과를 이용한 인증 과정을 나타낸 도면이다. 도 9를 참조하면, 등록 영상의 등록된 프레임들(F31 내지 F34) 및 인증 영상의 프레임들(F41, F42)이 도시되어 있다.

인증 장치는 프레임(F41)을 등록된 프레임들(F31 내지 F34) 각각과 비교하여 프레임(F41)에 기초한 인증 결과를 생성할 수 있다. 등록된 프레임들(F31 내지 F34) 중 어느 하나라도 프레임(F41)과 동일성이 있는 경우, 인증 장치는 프레임(F41)을 통해 인증에 성공한 것으로 결정할 수 있다.

전술된 실시예에 따르면 프레임들(F31, F33, F34)에 관한 상태 점수는 낮게 부여될 것이므로, 프레임들(F31, F33, F34)이 등록될 확률은 낮을 수 있다. 다만, 낮은 확률로 프레임들(F31, F33, F34)이 등록되는 경우라도, 등록 영상의 분석 결과와 인증 영상의 등록 결과를 이용하여 인증 성능이 높게 유지될 수 있다.

예를 들어, 프레임(F41)은 프레임(F33)과 유사한 상황에서 촬영된 것이다. 따라서, 프레임(F32)과의 관계에서 프레임(F41)의 인증 임계치(TH1)는 높게 설정될 수 있고, 프레임(F33)과의 관계에서 프레임(F41)의 인증 임계치(TH2)는 낮게 설정될 수 있다. 따라서, 프레임(F33)에 기초하여 프레임(F41)을 통한 인증이 성공할 수 있다. 이 경우에도, 프레임(F41)은 프레임들(F31, F32, F34)과 매핑될 수 없고, 인증에 적합한 상황에서 촬영된 프레임(F42)은 프레임(F32)과 매핑될 수 있으므로, 인증의 정확도는 유지될 수 있다.

도 10는 일 실시예에 따른 인증 장치를 나타낸 블록도이다. 도 10을 참조하면, 인증 장치는 프로세서(1010) 및 메모리(1020)를 포함한다.

프로세서(1010)는 전술된 적어도 하나의 방법을 수행할 수 있다. 예를 들어, 프로세서(1010)는 상술된 등록 절차 및 인증 절차에 관한 동작을 수행할 수 있다. 보다 구체적으로, 프로세서(1010)는 인증 영상을 획득하고, 인증 영상의 현재 프레임을 분석하여 현재 프레임이 인증에 적합한 상태인지를 나타내는 현재 프레임의 상태 점수를 결정하고, 현재 프레임의 상태 점수가 미리 정해진 유효 조건을 만족할 경우, 현재 프레임에서 특징을 추출하고, 추출된 특징과 미리 등록된 특징 간의 유사도를 인증 임계치와 비교하여 인증을 수행할 수 있다.

메모리(1020)는 컴퓨터에서 읽을 수 있는 명령어들을 저장할 수 있다. 메모리(1020)에 저장된 명령어들이 프로세서(1010)에서 실행되면, 프로세서(1010)는 등록 절차 및 인증 절차에 관한 동작을 수행할 수 있다. 또한, 메모리(1020)는 전술된 등록 및 인증에 관한 데이터들을 저장할 수 있다.

프로세서(1010)는 명령어들이나 프로그램들을 실행하거나, 인증 장치를 제어할 수 있다. 인증 장치는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 인증 장치는 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 또는 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등의 적어도 일부로 구현될 수 있다. 그 밖에, 인증 장치에 관해서는 상술된 내용이 적용될 수 있으며, 보다 상세한 설명은 생략한다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims

사용자의 인증 영상을 획득하는 단계;
상기 인증 영상으로부터의 얼굴 특징에 기초하여, 상기 사용자의 눈감음을 확인하는 단계;
상기 확인 결과 상기 사용자의 눈이 감긴 상태로 확인될 시 상기 사용자의 인증을 수행하지 않는 것을 선택하는 것을 포함하여, 상기 사용자의 인증을 선택적으로 수행하는 단계; 및
상기 사용자가 인증되었다는 상기 인증 수행의 결과에 기초하여 상기 사용자가 모바일 장치의 기능으로의 접근을 허용하기 위해 상기 모바일 장치의 잠금을 해제하는 단계
를 포함하는 인증 방법.
제1항에 있어서
상기 인증 영상의 현재 프레임을 분석하여, 상기 눈감음을 포함하여 상기 현재 프레임이 인증에 적합한 상태인지를 나타내는 상기 현재 프레임의 상태 점수를 결정하는 단계
를 더 포함하는, 인증 방법.
제2항에 있어서,
상기 인증을 선택적으로 수행하는 단계는
상기 현재 프레임의 상태 점수가 미리 정해진 유효 조건을 만족하지 않는 경우, 상기 현재 프레임을 버리는(discard) 단계;
상기 인증 영상의 다음 프레임이 인증에 적합한 상태인지를 나타내는 상기 다음 프레임의 상태 점수를 결정하는 단계; 및
상기 다음 프레임의 상기 상태 점수가 상기 미리 정해진 유효 조건을 만족할 경우, 상기 다음 프레임을 이용하여 인증을 수행하는 단계
를 포함하는, 인증 방법.
제2항에 있어서,
상기 현재 프레임의 상기 상태 점수는
상기 현재 프레임의 상기 분석 결과에 따른 얼굴 영역의 크기, 눈감음 정도, 라이브니스(liveness), 카메라의 구동 이후 경과된 시간, 영상 밝기, 얼굴이 가려진 정도 및 얼굴 표정 중 적어도 하나에 기초하여 결정되는, 인증 방법.
제2항에 있어서,
상기 현재 프레임의 상기 상태 점수를 결정하는 단계는
상기 현재 프레임에서 얼굴 영역을 검출하는 단계; 및
상기 검출된 얼굴 영역의 크기와 미리 정해진 적정 범위를 비교하여, 상기 현재 프레임의 상기 상태 점수를 결정하는 단계
를 포함하는, 인증 방법.
제2항에 있어서,
상기 현재 프레임의 상기 상태 점수를 결정하는 단계는
상기 현재 프레임에서 얼굴의 특징적 요소에 대응하는 랜드마크를 추정하는 단계;
상기 추정된 랜드마크 중에 눈의 상단과 하단에 위치하는 대응 쌍을 추출하는 단계;
상기 추출된 대응 쌍을 이용하여 눈감음 정도를 결정하는 단계; 및
상기 결정된 눈감은 정도에 기초하여 상기 현재 프레임의 상기 상태 점수를 결정하는 단계
를 포함하는, 인증 방법.
제2항에 있어서,
상기 현재 프레임의 상기 상태 점수를 결정하는 단계는
상기 현재 프레임에 관한 라이브니스 테스트(liveness test)에 기초하여 상기 현재 프레임의 라이브니스 점수(liveness score)를 결정하는 단계;
상기 라이브니스 점수와 라이브니스 임계치(liveness threshold)를 비교하여 상기 현재 프레임이 실제 사용자를 유효하게 촬영한 영상에 기초한 것인지를 나타내는 라이브니스 파라미터를 결정하는 단계; 및
상기 라이브니스 파라미터에 기초하여 상기 현재 프레임의 상기 상태 점수를 결정하는 단계
를 포함하는, 인증 방법.
제7항에 있어서,
상기 라이브니스 임계치는
상기 현재 프레임의 상기 분석 결과에 따른 얼굴 영역의 크기, 눈감음 정도, 카메라의 구동 이후 경과된 시간, 영상 밝기, 얼굴이 가려진 정도 및 얼굴 표정 중 적어도 하나에 기초하여 조절되는, 인증 방법.
제7항에 있어서,
상기 라이브니스 임계치는 상기 인증 영상을 촬영하는 카메라의 구동 이후 상기 인증 영상의 화질이 안정될 때까지 미리 정해진 제1 값에서 미리 정해진 제2 값까지 점차적으로 감소하는, 인증 방법.
제1항에 있어서,
상기 인증을 선택적으로 수행하는 단계는
상기 얼굴 특징과 미리 등록된 특징 간의 유사도를 인증 임계치와 비교하는 단계를 포함하는,
인증 방법.
제10항에 있어서,
상기 인증 영상의 상태 점수가 낮을수록 상기 인증 임계치는 인증의 난이도가 높아지도록 조절되는, 인증 방법.
제10항에 있어서,
상기 인증 임계치는
상기 인증 영상의 얼굴 영역의 크기, 눈감음 정도, 라이브니스(liveness), 카메라의 구동 이후 경과된 시간, 영상 밝기, 얼굴이 가려진 정도 및 얼굴 표정 중 적어도 하나에 기초하여 조절되는, 인증 방법.
제1항에 있어서,
상기 인증 영상의 현재 프레임에서 눈감음이 검출되고 상기 눈감음의 요인이 수면으로 결정된 경우, 상기 현재 프레임은 버려지고 상기 인증 영상의 다음 프레임을 이용한 인증이 수행되는, 인증 방법.
제13항에 있어서,
상기 눈감음의 요인이 수면으로 결정된 경우, 사용자가 눈을 뜨도록 유도하는 메시지를 화면에 출력되는, 인증 방법.
제1항에 있어서,
등록 영상을 획득하는 단계;
상기 등록 영상을 분석하여, 상기 등록 영상이 등록에 적합한 상태인지를 나타내는 상기 등록 영상의 상태 점수를 결정하는 단계;
상기 등록 영상의 상기 상태 점수가 미리 정해진 유효 조건을 만족할 경우, 상기 등록 영상에서 특징을 추출하는 단계; 및
상기 등록 영상에서 추출된 특징 및 상기 등록 영상의 상기 분석 결과를 저장하는 단계
를 더 포함하는, 인증 방법.
제15항에 있어서,
상기 등록 영상을 분석할 때 상기 등록 영상에 포함된 얼굴 영역의 크기는 제1 적정 범위와 비교되고, 상기 인증 영상에 포함된 얼굴 영역의 크기는 제2 적정 범위와 비교되고, 상기 제1 적정 범위는 상기 제2 적정 범위에 비해 좁은, 인증 방법.
제1항에 있어서,
상기 인증을 선택적으로 수행하는 단계는
상기 얼굴 특징과 등록 영상을 통해 미리 등록된 특징 간의 유사도를 인증 임계치와 비교하는 단계를 포함하고,
상기 인증 임계치는
상기 등록 영상의 분석 결과와 상기 인증 영상의 분석 결과 간의 비교에 기초하여 조절되는,
인증 방법.
제17항에 있어서,
상기 등록 영상의 상기 분석 결과 및 상기 인증 영상의 상기 분석 결과 사이에 차이가 클수록 상기 인증 임계치는 인증의 난이도가 높아지도록 조절되는, 인증 방법.
제17항에 있어서,
상기 등록 영상의 분석 결과 및 상기 인증 영상의 상기 분석 결과 간의 비교에 의해, 상기 인증 영상이 상기 등록 영상이 촬영된 상황들에 비해 새로운 유형의 상황에서 촬영된 것으로 결정되는 경우, 상기 인증 임계치는 유지되거나, 혹은 인증의 난이도가 낮아지도록 조절되는, 인증 방법.
하드웨어와 결합되어 제1항 내지 제19항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
프로세서; 및
컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리
를 포함하고,
상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는
사용자의 인증 영상을 획득하고,
상기 인증 영상으로부터의 얼굴 특징에 기초하여, 상기 사용자의 눈감음을 확인하고,
상기 확인 결과 상기 사용자의 눈이 감긴 상태로 확인될 시 상기 사용자의 인증을 수행하지 않는 것을 선택하는 것을 포함하여, 상기 사용자의 인증을 선택적으로 수행하고,
상기 사용자가 인증되었다는 상기 인증 수행의 결과에 기초하여 상기 사용자가 모바일 장치의 기능으로의 접근을 허용하기 위해 상기 모바일 장치의 잠금을 해제하는,
인증 장치.