KR102647637B1

KR102647637B1 - 사용자 인증을 위한 방법 및 그 전자 장치

Info

Publication number: KR102647637B1
Application number: KR1020190002357A
Authority: KR
Inventors: 안토니 야쿠비아크; 다니엘 트로피미우크; 파벨 키이스; 야쿠프 트카츄크; 루카스 코르나토프스키; 미할 타르노프스키; 표트르 지스코프스키
Original assignee: 삼성전자주식회사
Priority date: 2019-01-08
Filing date: 2019-01-08
Publication date: 2024-03-15
Also published as: WO2020145517A1; EP3871123A4; US20200218915A1; KR20200086407A; US11132567B2; EP3871123A1; EP3871123B1; CN113330433A

Abstract

본 개시의 다양한 실시 예는 전자 장치에서 사용자 인증을 위한 장치 및 방법에 관한 것이다. 이때, 전자 장치는 다수 개의 조명들과, 카메라와 디스플레이와 프로세서를 포함하며, 상기 프로세서는, 상기 디스플레이에 객체를 표시하고, 상기 카메라를 통해, 랜덤하게 생성된 이미지 획득 패턴에 기반하여 다수 개의 이미지들을 획득하고, 상기 다수 개의 이미지들 중 적어도 하나를 이용하여 생체 정보를 획득하고, 상기 다수 개의 이미지들 이용하여 상기 디스플레이에 표시된 객체의 움직임에 대응하는 사용자의 시선의 변화 정보를 획득하고, 상기 생체 정보 및 상기 사용자의 시선의 변화 정보에 기반하여 상기 사용자의 인증을 수행할 수 있다. 다른 실시 예들도 가능할 수 있다.

Description

사용자 인증을 위한 방법 및 그 전자 장치{METHOD FOR AUTHENTICATING A USER AND ELECTRONIC DEVICE THEREOF}

본 개시는 전자 장치의 사용자 인증에 관한 것으로, 특히, 전자 장치에서 랜덤하게 발광되는 광원을 이용하여 생체 정보를 획득하기 위한 장치 및 방법에 관한 것이다.

정보통신 기술 및 반도체 기술의 발전으로 각종 전자 장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 멀티미디어 서비스는 음성 통화 서비스, 메시지 서비스, 방송 서비스, 무선 인터넷 서비스, 카메라 서비스, 전자 결제 서비스 또는 음악 재생 서비스 중 적어도 하나를 포함할 수 있다.

전자 장치는 멀티미디어 서비스가 다양해짐에 따라 전자 장치에 저장되는 개인 정보가 증가하고 있다. 또한, 전자 장치는 전자 장치를 이용한 결제 서비스의 사용이 증가하고 있다. 이에 따라, 전자 장치는 타인으로부터 전자 장치에 저장된 개인 정보 또는 결제 정보를 보호하기 위한 다양한 인증 서비스를 제공할 수 있다. 전자 장치에서 제공되는 인증 서비스는 PIN 코드 입력, 패턴 입력 또는 사용자의 생체 정보를 이용하는 생체 인식 중 적어도 하나를 포함할 수 있다.

전자 장치는 사용자의 지문, 홍채 또는 얼굴과 같은 생체 정보를 이용하여 사용자를 인증할 수 있다.

지문 인식 방식을 사용하는 경우, 전자 장치는 지문 센서를 이용하여 획득한 사용자의 지문 이미지와 기 정의된 기준 지문 이미지의 유사도에 기반하여 사용자를 인증할 수 있다. 지문 이미지는 지문 센서에 접촉된 인체의 융선과 골에 대한 정보를 포함할 수 있다.

홍채 인식 방식을 사용하는 경우, 전자 장치는 IR(infrared) 카메라를 통해 획득한 사용자의 홍채 이미지와 기 정의된 기준 홍채 이미지의 유사도에 기반하여 사용자를 인증할 수 있다.

얼굴 인식 방식을 사용하는 경우, 전자 장치는 카메라를 통해 획득한 사용자의 얼굴 이미지의 특징과 기 정의된 기준 얼굴 이미지의 유사도에 기반하여 사용자를 인증할 수 있다. 얼굴 이미지의 특징은 눈 사이의 간격 및 코와 입술 사이의 거리 등과 같은 특징을 포함할 수 있다.

하지만, 지문 센서는 인체의 피부와 유사한 외형 또는 성질의 물질로 복사된 지문을 구분할 수 없다. 홍채 인식에 사용되는 스캐너는 3차원으로 출력된 홍채 이미지를 구분할 수 없다. 전자 장치는 2차원 또는 3차원으로 프린트된 얼굴 이미지와 실제 사용자의 얼굴 이미지를 구분할 수 없다. 즉, 전자 장치는 사용자 인증을 위해 획득한 생체 정보가 실제 사용자로부터 획득하였는지 여부를 판단할 수 없어 사용자 인증을 위한 보안성이 저하되는 문제가 발생할 수 있다.

본 개시의 실시 예는 전자 장치에서 생체 인식의 정확도를 높이기 위한 장치 및 방법을 제공할 수 있다.

본 개시의 실시 예는 전자 장치에서 생체 정보가 실제 사용자로부터 획득되었는지 여부를 판단하기 위한 장치 및 방법을 제공할 수 있다.

본 개시의 실시 예들은 이상에서 언급한 실시 예에 제한되지 않으며, 언급되지 않은 또 다른 실시 예들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 개시의 실시 예에 따르면, 전자 장치는 다수 개의 조명들과, 카메라와 디스플레이와 프로세서를 포함하며, 상기 프로세서는, 상기 디스플레이에 객체를 표시하고, 상기 카메라를 통해, 랜덤하게 생성된 이미지 획득 패턴에 기반하여 다수 개의 이미지들을 획득하고, 상기 다수 개의 이미지들 중 적어도 하나를 이용하여 생체 정보를 획득하고, 상기 다수 개의 이미지들 이용하여 상기 디스플레이에 표시된 객체의 움직임에 대응하는 사용자의 시선의 변화 정보를 획득하고, 상기 생체 정보 및 상기 사용자의 시선의 변화 정보에 기반하여 상기 사용자의 인증을 수행할 수 있다.

본 개시의 실시 예에 따르면, 전자 장치의 동작 방법은, 상기 전자 장치의 디스플레이에 객체를 표시하는 동작과 랜덤하게 생성된 이미지 획득 패턴에 기반하여 다수 개의 이미지들을 획득하는 동작과 상기 다수 개의 이미지들 중 적어도 하나를 이용하여 생체 정보를 획득하는 동작과 상기 다수 개의 이미지들 이용하여 상기 디스플레이에 표시된 객체의 움직임에 대응하는 사용자의 시선의 변화 정보를 획득하는 동작과 상기 생체 정보 및 상기 사용자의 시선의 변화 정보에 기반하여 상기 사용자의 인증을 수행하는 동작을 포함할 수 있다.

본 개시의 실시 예에 따른 전자 장치 및 그 동작 방법은, 랜덤하게 발광되는 조명(예: 투광 조명, 구조 조명)을 이용하여 사용자 인증을 위한 생체 정보(예: 홍채 정보, 얼굴 정보)를 획득함으로써, 생체 정보가 획득되는 랜덤한 시점을 다른 사용자(예: 해커)가 미리 인지할 수 없어 생체 인증에 대한 보안성을 강화할 수 있다.

본 개시의 실시 예에 따른 전자 장치 및 그 동작 방법은, 랜덤하게 발광되는 조명(예: 투광 조명, 구조 조명)을 이용하여 획득한 생체 정보에 기반한 사용자 인증을 수행하는 경우, 사용자의 시선 변화를 기반하여 생체 정보가 실제 사용자로부터 획득되었는지 여부를 판단함으로써, 복제된 생체 정보에 의한 불법적인 사용자 인증을 방지하여 생체 인증에 대한 보안성을 강화할 수 있다.

도 1은 본 개시의 실시 예에 따른 전자 장치의 사시도이다.
도 2는 본 개시의 실시 예에 따른 전자 장치의 블록도이다.
도 3은 본 개시의 실시 예에 따른 사용자 인증을 위한 프로세서의 블록도이다.
도 4a 내지 도 4c는 본 개시의 실시 예에 따른 동기 신호를 전송하기 위한 전자 장치의 블록도이다.
도 5a 내지 도 5b는 본 개시의 실시 예에 따른 카메라의 캡쳐 시간과 조명의 발광 시간의 관계를 도시한다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치에서 사용자 인증을 위한 흐름도이다.
도 7은 본 개시의 실시 예에 따른 전자 장치에서 홍채 인식을 위한 화면 구성이다.
도 8은 본 개시의 실시 예에 따른 전자 장치에서 이미지를 획득하기 위한 흐름도이다.
도 9는 본 개시의 실시 예에 따른 전자 장치에서 홍채 인식을 수행하기 위한 흐름도이다.
도 10은 본 개시의 실시 예에 따른 전자 장치에서 얼굴 인식을 수행하기 위한 흐름도이다.
도 11은 본 개시의 다른 실시 예에 따른 전자 장치에서 사용자 인증을 위한 흐름도이다.
도 12는 본 개시의 실시 예에 따른 전자 장치에서 얼굴 인식을 위한 화면 구성이다.
도 13a 내지 도 13e는 본 개시의 실시 예에 따른 투광 조명과 구조 조명의 발광 시점과 이미지 캡쳐 시점을 도시한다.
도 14는 본 개시의 실시 예에 따른 카메라의 전환 시점을 도시한다.

이하, 본 개시의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 개시의 실시 예를 설명함에 있어 본 개시의 실시 예들이 속하는 기술 분야에 익히 알려져 있고, 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

마찬가지 이유로 첨부 도면에 있어 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 개시의 개시가 완전하도록 하고, 본 개시의 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 청구하고자 하는 범위는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이때, 본 실시 예에서 사용되는 '모듈' 또는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '모듈' 또는 '~부'는 어떤 역할들을 수행한다. 그렇지만 '모듈' 또는 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '모듈' 또는 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '모듈' 또는 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '~부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '모듈' 또는 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 문서에서 "제 1", "제 2" 등의 표현은 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 개시의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.

이하 설명에서 전자 장치는 다양한 형태의 장치가 될 수 있다. 예를 들어, 전자 장치는, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.

도 1은 본 개시의 실시 예에 따른 전자 장치의 사시도이다.

도 1를 참고하면, 전자 장치(100)는 하우징의 제 1 방향을 향하는 전면 플레이트를 통해 외부로 노출되는 디스플레이(102)를 포함할 수 있다. 예를 들어, 하우징은 도전성 부재 및/또는 비도전성 부재로 형성될 수 있다.

한 실시 예에 따르면, 전자 장치(100)는 통화용 리시버 홀(112)을 포함할 수 있다. 통화용 리시버 홀(112)은 내부에 상대방으로부터 수신한 음향을 출력하는 스피커 장치가 배치될 수 있다.

한 실시 예에 따르면, 전자 장치(100)는 디스플레이(120)에 노출되거나, 전면 플레이트를 통하여 기능을 수행하나 외부에 노출되지 않는 방식으로 배치되어 전자 장치(100)의 다양한 기능을 수행하기 위한 부품(component)들을 포함할 수 있다. 예를 들어, 부품은 통화용 리시버 홀(112)의 일측에 고유한 특성(예: 패턴)이 부가된 광을 조사하는 제 1 조명(104)을 포함할 수 있다. 일 예로, 제 1 조명(104)은 카메라(108)를 통해 깊이 이미지를 획득할 수 있도록 고유한 패턴의 광(예: 적외선)을 조사하는 구조 조명(structured light)을 포함할 수 있다. 예를 들어, 부품은 통화용 리시버 홀(112)의 다른 일측에 넓은 영역에 고르게 광을 조사하는 제 2 조명(106)을 포함할 수 있다. 일 예로, 제 2 조명(106)은 홍채 인식 또는 얼굴 인식을 위해 일정하게 광(예: 적외선)을 조사하는 투광 조명(flood light)을 포함할 수 있다. 예를 들어, 부품은 카메라(108)를 포함할 수 있다. 일 예로, 카메라(108)은 홍채를 포함하는 얼굴 이미지 또는 깊이 이미지를 획득할 수 있는 카메라(예: 적외선 카메라)를 포함할 수 있다. 일 예로, 얼굴 인식은 2차원 얼굴 인식 및 3차원 얼굴 인식을 포함할 수 있다.

한 실시 예에 따르면, 전자 장치(100)는 적어도 하나의 키 입력 장치(110)를 포함할 수 있다. 예를 들어, 키 입력 장치(110)는 하우징의 측면에 배치되는, 볼륨 조절 버튼, 전원 버튼 또는 특정 기능(예: 인공 지능 실행 기능 또는 빠른 음성 인식 실행 모드 진입 기능 등) 수행 버튼을 포함할 수 있다.

도 2는 본 개시의 실시 예에 따른 전자 장치의 블록도이다.

도 2를 참조하면, 전자 장치(100)는 버스(210), 프로세서(220), 메모리(230), 입출력 인터페이스(240), 디스플레이(250), 통신 인터페이스(260), 카메라(270) 및 조명 모듈(280) 중 적어도 하나를 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(100)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 일 예로, 도 2의 전자 장치(100)의 구성에서 입출력 인터페이스 (240) 및 통신 인터페이스(260)는 생략될 수 있다.

버스(210)는, 예를 들면, 구성요소들(220 내지 280)을 서로 연결하고, 구성요소들 간의 신호(예: 제어 메시지 및/또는 데이터)를 전달하는 회로를 포함할 수 있다.

프로세서(220)는, 중앙처리장치(CPU), 어플리케이션 프로세서(AP, application processor), 커뮤니케이션 프로세서 (CP, communication processor) 또는 이미지 신호 프로세서(ISP, image signal processor) 중 하나 또는 그 이상을 포함할 수 있다. 예를 들어, 프로세서(220)는 전자 장치(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.

한 실시 예에 따르면, 프로세서(220)는 사용자 인증 이벤트의 발생을 감지한 경우, 랜덤하게 발생되는 이미지 획득 패턴에 기반하여 카메라(270)와 조명 모듈(280)이 동기화되도록 제어할 수 있다. 예를 들어, 사용자 인증 이벤트는 전원 버튼의 입력, 활성 명령(예: 음성 명령) 수신, 전자 장치(100)의 파지 또는 전자 장치(100)의 충전 상태 변화 중 적어도 하나에 기반하여 발생될 수 있다. 이미지 획득 패턴은 이미지 획득 순서 또는 이미지 획득 시점 중 적어도 하나를 포함할 수 있다. 일 예로, 이미지 획득 순서 및 이미지 획득 시점은 사용자 인증 이벤트 발생 시점에 랜덤하게 생성될 수 있다. 일 예로, 이미지 획득 순서는 사용자 인증 이벤트 발생 시점에 랜덤하게 생성되고, 이미지 획득 시점은 사용자 인증 실패 시점에 랜덤하게 생성될 수 있다. 일 예로, 이미지 획득 순서는 구조 조명과 투광 조명의 발광 순서 및 발광 시간을 포함할 수 있다.

한 실시 예에 따르면, 프로세서(220)는 카메라(270) 및 조명 모듈(280)을 통해 획득한 사용자의 정보에 기반하여 사용자 인증을 수행할 수 있다. 예를 들어, 프로세서(220)는 투광 조명(280-1)이 발광되는 시점에 카메라(280)를 통해 얼굴 이미지를 획득할 수 있다. 프로세서(220)는 구조 조명(280-2)가 발광되는 시점에 카메라(280)을 통해 깊이 이미지를 획득할 수 있다. 프로세서(220)는 얼굴 이미지를 이용하여 사용자의 생체 인식을 수행할 수 있다. 일 예로, 프로세서(220)는 얼굴 이미지에 포함된 홍채 이미지를 이용하여 홍채 인식을 수행할 수 있다. 일 예로, 프로세서(220)는 얼굴 이미지에서 추출한 특징 정보를 이용하여 얼굴 인식을 수행할 수 있다. 프로세서(220)는 사용자의 생체 인식을 성공한 경우, 얼굴 이미지 및 깊이 이미지를 이용하여 사용자의 시선 변화에 대응하는 시선 벡터를 검출할 수 있다. 프로세서(220)는 시선 벡터와 디스플레이(250)에 표시된 시선 객체의 움직임이 매칭되는 경우, 사용자 인증을 성공한 것으로 판단할 수 있다. 일 예로, 시선 객체는 사용자 인증 이벤트의 발생이 감지되는 시점에 사용자의 시선을 유도하기 위해 디스플레이(250)의 적어도 일부에 표시될 수 있다. 시선 객체는 기 정의된 규칙에 기반하여 움직이거나 랜덤하게 움직일 수 있다. 프로세서(220)는 사용자의 생체 인식을 실패하거나, 사용자 인증을 실패한 경우, 이미지 획득 패턴에 기반하여 사용자의 얼굴 이미지와 깊이 이미지를 다시 획득할 수 있다.

메모리(230)는 전자 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(230)는 전자 장치(130)에 내장된 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 다른 예를 들어, 메모리(230)는 전자 장치(100)와 기능적으로 연결된 외부 메모리를 포함할 수 있다. 일 예로, 외부 메모리는 서버(예: 클라우드) 또는 메모리 카드 중 적어도 하나를 포함할 수 있다.

입출력 인터페이스(240)는 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(100)의 다른 구성요소(들)에 전달하거나, 전자 장치(100)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다. 예를 들어, 입출력 인터페이스(240)는 홈 버튼, 전원 버튼 및 볼륨 제어 버튼 등과 같은 적어도 하나의 물리적인 버튼을 포함할 수 있다. 예를 들어, 입출력 인터페이스(240)는 오디오 신호를 출력하기 위한 스피커 및 오디오 신호를 수집하기 위한 마이크를 포함할 수 있다.

디스플레이(250)는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 예를 들어, 디스플레이(250)는, 터치 스크린을 포함할 수 있다. 일 예로, 디스플레이(250)는 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.

통신 인터페이스(260)는 전자 장치(100)와 외부 장치(예: 다른 전자 장치 또는 서버) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(260)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 외부 장치와 통신할 수 있다.

카메라(270)는 피사체에 대한 이미지 정보를 수집하여 정지 영상(사진) 및 동영상을 촬영할 수 있다. 예를 들어, 카메라(270)는 수집 또는 촬영된 데이터(예: 영상)를 디스플레이(250) 및 프로세서(220)에 전달할 수 있다. 예컨대, 카메라(270)는 적어도 하나의 이미지 센서, 렌즈, 이미지 신호 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등) 중 적어도 하나를 포함할 수 있다. 예를 들어, 카메라(270)는 전자 장치(100)의 전면 또는 후면에 배치되는 다수 개의 카메라를 포함할 수 있다. 일 예로, 카메라(270)는 전자 장치(100)의 전면에 배치되는 적어도 하나의 적외선 카메라를 포함할 수 있다.

조명 모듈(280)은 피사체를 인식을 돕기 위해 광을 조사할 수 있다. 예를 들어, 조명 모듈(280)은 전자 장치(100)의 전면에 배치되는 투광 조명(280-1)과 구조 조명(280-2)을 포함할 수 있다. 투광 조명(280-1)은 카메라(270)에서 사용자의 얼굴 이미지를 획득할 수 있도록 일정 크기의 광을 조사할 수 있다. 구조 조명(280-2)은 카메라(270)에서 사용자 얼굴의 깊이 이미지를 획득할 수 있도록 고유한 특징(예: 패턴)의 광을 조사할 수 있다. 일 예로, 투광 조명(280-1)과 구조 조명(280-2) 중 적어도 하나는 근적외선 파장(예: 850mm 또는 940mm)을 사용할 수 있다.

도 3은 본 개시의 실시 예에 따른 사용자 인증을 위한 프로세서의 블록도이다. 이하 설명에서 프로세서(220)는 도 2의 프로세서(220) 또는 프로세서(220)의 적어도 일부를 포함할 수 있다.

도 3을 참조하면, 프로세서(220)는 생체 인식 모듈(301) 및 생체 감지 모듈(303)을 통해 사용자 인증을 수행할 수 있다.

한 실시 예에 따르면, 생체 인식 모듈(301)은 투광 조명(280-1)이 발광되는 시점에 카메라(270)를 통해 획득한 이미지를 이용하여 사용자에 대한 생체 인식을 수행할 수 있다. 예를 들어, 홍채 인식을 수행하는 경우, 생체 인식 모듈(301)은 투광 조명(280-1)이 발광되는 시점에 카메라(270)를 통해 획득한 이미지에서 얼굴 영역을 검출할 수 있다. 생체 인식 모듈(301)은 얼굴 영역에 포함된 홍채 이미지와 메모리(230)에 기 저장된 기준 홍채 이미지의 유사도에 기반하여 사용자의 홍채 인식을 수행할 수 있다. 일 예로, 생체 인식 모듈(301)은 홍채 이미지의 유사도가 기준 값을 초과하는 경우, 사용자의 홍채 인식이 성공한 것으로 판단할 수 있다. 일 예로, 생체 인식 모듈(301)은 카메라(270)를 통해 획득한 이미지에서 얼굴 영역이 검출되지 않거나, 홍채 이미지의 유사도가 기준 값 이하인 경우, 사용자의 홍채 인식이 실패한 것으로 판단할 수 있다. 예를 들어, 얼굴 인식을 수행하는 경우, 생체 인식 모듈(301)은 투광 조명(280-1)이 발광되는 시점에 카메라(270)를 통해 획득한 이미지에서 얼굴이 존재하는지 확인할 수 있다. 일 예로, 생체 인식 모듈(301)은 이미지의 특징점을 추출하여 눈, 코 및 입에 대응하는 특징점이 존재하는지 판단할 수 있다. 생체 인식 모듈(301)은 이미지에 포함된 얼굴의 특성 포인트와 메모리(230)에 기 저장된 기준 얼굴 이미지의 특성 포인트의 유사도에 기반하여 사용자의 얼굴 인식을 수행할 수 있다. 얼굴의 특성 포인트는 눈과 눈 사이의 간격, 얼굴의 윤곽 및 코와 입술 사이의 거리 등을 포함할 수 있다. 일 예로, 생체 인식 모듈(301)은 얼굴의 특성 포인트의 유사도가 기준 값을 초과하는 경우, 사용자의 얼굴 인식이 성공한 것으로 판단할 수 있다. 일 예로, 생체 인식 모듈(301)은 카메라(270)를 통해 획득한 이미지에서 얼굴이 검출되지 않거나, 얼굴의 특성 포인트의 유사도가 기준 값 이하인 경우, 사용자의 얼굴 인식이 실패한 것으로 판단할 수 있다.

한 실시 예에 따르면, 생체 감지 모듈(303)은 생체 인식 모듈(301)에서 생체 인식에 사용되는 정보가 실제 사용자로부터 획득된 정보인지를 판단할 수 있다. 예를 들어, 생체 감지 모듈(303)은 사용자 인증 이벤트의 발생이 감지된 경우, 디스플레이(250)의 적어도 일부에 시선 객체를 표시하도록 디스플레이(250)를 제어할 수 있다. 생체 감지 모듈(303)은 투광 조명(280-1)이 발광되는 시점에 카메라(270)를 통해 획득한 이미지와 구조 조명(280-2)이 발광되는 시점에 카메라(270)를 통해 획득한 깊이 이미지를 이용하여 3차원의 페이스 메쉬(3D face mesh)를 검출할 수 있다. 생체 감지 모듈(303)은 투광 조명(280-1)이 발광되는 시점에 카메라(270)를 통해 획득한 이미지와 3차원의 페이스 메쉬에 기반하여 사용자의 시선 벡터를 검출할 수 있다. 생체 감지 모듈(303)은 디스플레이(250)에 표시된 시선 객체의 움직임과 시선 벡터가 매칭되는 경우, 생체 인식 모듈(301)에서 생체 인식에 사용되는 정보가 실제 사용자로부터 획득된 것으로 판단할 수 있다.

한 실시 예에 따르면, 생체 인식 모듈(301)과 생체 감지 모듈(303)은 독립적으로 또는 병렬적으로 구동될 수 있다. 프로세서(220)는 생체 인식 모듈(301)에서 생체 인식을 성공하고, 생체 감지 모듈(303)을 통해 생체 인식 모듈(301)에서 생체 인식에 사용되는 정보가 실제 사용자로부터 획득된 것으로 판단한 경우, 사용자 인증이 성공한 것으로 판단할 수 있다.

한 실시 예에 따르면, 생체 감지 모듈(303)은 생체 인식 모듈(301)을 통해 생체 인식을 성공한 경우, 생체 인식 모듈(301)에서 생체 인식에 사용되는 정보가 실제 사용자로부터 획득된 것인지 여부를 판단할 수 있다.

한 실시 예에 따르면, 생체 인식 모듈(301)은 생체 감지 모듈(303)을 통해, 생체 인식에 사용할 정보가 실제 사용자로부터 획득된 것으로 판단되는 경우, 생체 인식을 수행할 수 있다.

본 개시의 다양한 실시 예에 따르면, 전자 장치(100)는 생체 정보를 이용한 사용자 인증의 보안성을 높이기 위해 생체 정보를 획득에 필요한 조명의 발광 패턴(또는 이미지 획득 패턴)을 랜덤하게 적용할 수 있다. 이에 따라, 카메라(270)의 이미지 획득 시간(캡쳐 시간)은 조명 모듈(280)의 발광 시간과 동기화되어야 한다.

도 4a 내지 도 4c는 본 개시의 실시 예에 따른 동기 신호를 전송하기 위한 전자 장치의 블록도이다.

한 실시 예에 따르면, 도 4a를 참조하면, 프로세서(220)는 랜덤하게 생성된 발광 패턴(또는 이미지 획득 패턴)에 기반하여 각 조명의 발광 시점(또는 이미지 획득 시점)에 투광 조명(280-1) 또는 구조 조명(280-2)으로 동기 신호를 전송할 수 있다. 일 예로, 프로세서(220)는 투광 조명(280-1)의 발광 시점(또는 얼굴 이미지 획득 시점)에 투광 조명(280-1)으로 동기 신호를 전송하고, 구조 조명(280-2)의 발광 시점(또는 깊이 이미지 획득 시점)에 구조 조명(280-2)으로 동기 신호를 전송할 수 있다. 투광 조명(280-1) 또는 구조 조명(280-2)은 프로세서(220)로부터 제공받은 동기 신호에 기반하여 발광할 수 있다. 일 예로, 투광 조명(280-1)은 제 1 시점에 프로세서(220)로부터 동기 신호를 수신한 경우, 근적외선 파장의 광을 조사할 수 있다. 이 경우, 투광 조명(280-1)은 카메라(270)로 동기 신호를 출력할 수 있다. 일 예로, 구조 조명(280-2)은 제 2 시점에 프로세서(220)로부터 동기 신호를 수신한 경우, 특정 패턴의 광을 조사할 수 있다. 이 경우, 구조 조명(280-2)은 카메라(270)로 동기 신호를 출력할 수 있다. 카메라(270)는 투광 조명(280-1) 또는 구조 조명(280-2)으로부터 동기신호를 수신한 경우, 이미지를 캡쳐할 수 있다.

한 실시 예에 따르면, 도 4b를 참조하면, 카메라(270)는 랜덤하게 생성된 발광 패턴(또는 이미지 획득 패턴)에 기반하여 이미지 획득 시점에 프로세서(220)로 동기 신호를 출력할 수 있다. 프로세서(220)는 카메라(270)로부터 제공받은 동기 신호에 기반하여 투광 조명(280-1) 또는 구조 조명(280-2)으로 동기 신호를 전송할 수 있다. 일 예로, 프로세서(220)는 카메라(270)의 얼굴 이미지 획득 시점에 투광 조명(280-1)으로 동기 신호를 전송하고, 카메라(270)의 깊이 이미지 획득 시점에 구조 조명(280-2)으로 동기 신호를 전송할 수 있다. 투광 조명(280-1) 또는 구조 조명(280-2)은 프로세서(220)로부터 제공받은 동기 신호에 기반하여 발광할 수 있다.

한 실시 예에 따르면, 전자 장치(100)는 도 4c와 같이, 프로세서(220)는 랜덤하게 생성된 발광 패턴(또는 이미지 획득 패턴)에 기반하여 각 조명의 발광 시점(또는 이미지 획득 시점)에 투광 조명(280-1) 또는 구조 조명(280-2) 중 어느 하나와 카메라(270)로 동기 신호를 전송할 수 있다. 일 예로, 프로세서(220)는 투광 조명(280-1)의 발광 시점(또는 얼굴 이미지 획득 시점)에 투광 조명(280-1)과 카메라(270)로 동기 신호를 전송할 수 있다. 프로세서(220)는 구조 조명(280-2)의 발광 시점(또는 깊이 이미지 획득 시점)에 구조 조명(280-2)과 카메라(270)로 동기 신호를 전송할 수 있다. 투광 조명(280-1) 또는 구조 조명(280-2)은 프로세서(220)로부터 제공받은 동기 신호에 기반하여 발광할 수 있다. 카메라(270)는 프로세서(220)로부터 동기신호를 수신한 경우, 이미지를 캡쳐할 수 있다.

본 개시의 다양한 실시 예에 따르면, 카메라(270)는 동기 신호와 상관 없이 지속적으로 또는 주기적으로 이미지를 획득할 수 있다. 이 경우, 프로세서(270)는 카메라(270)를 통해 획득한 이미지들 중 투광 조명(280-1)과 구조 조명(280-2) 중 어느 하나에서 광이 조사되지 않는 시점에 획득한 이미지를 신뢰할 수 없는 것으로 판단할 수 있다. 신뢰할 수 없는 것으로 판단된 이미지는 생체 인증에서 제외된다.

도 5a 내지 도 5b는 본 개시의 실시 예에 따른 카메라의 캡쳐 시간과 조명의 발광 시간의 관계를 도시한다. 이하 설명은 도 2의 카메라(270)의 캡쳐 시간과 조명 모듈(280)의 조명 시간의 관계에 대해 설명한다. 여기서, 캡쳐 시간은 카메라(270)를 통해 적어도 하나의 이미지를 획득하기 위해 소요되는 시간을 나타낼 수 있다. 조명 시간은 조명 모듈(280)을 통해 광이 조사되는 시간(duration)을 나타낼 수 있다.

한 실시 예에 따르면, 도 5a를 참조하면, 카메라(270)이 글로벌 셔터(global shutter) 방식을 사용하는 경우, 조명 모듈(280)의 조명 시간은 카메라(270)의 캡쳐 시간보다 짧게 설정될 수 있다. 일 예로, 투광 조명(280-1)과 구조 조명(280-2)의 조명 시간은 글로벌 셔터 방식의 카메라(270)의 캡쳐 시간보다 짧게 설정될 수 있다. 전자 장치(100)는 글로벌 셔터 방식을 사용하는 경우, 조명 모듈(280)의 조명 시간을 줄이면 모션 블러 효과가 줄어들어 깊이 계산, 시선 탐색 및 페이즈(faze)의 성능을 향상시킬 수 있다. 여기서, 글로벌 셔터 방식은 카메라(270)에서 모든 픽셀을 동시에 노출시켜 이미지를 획득하는 방식을 나타낼 수 있다.

한 실시 예에 따르면, 도 5b를 참조하면, 카메라(270)이 롤링 셔터(rolling shutter) 방식을 사용하는 경우, 조명 모듈(280)의 조명 시간은 카메라(270)의 캡쳐 시간보다 길거나 같게 설정될 수 있다. 일 예로, 투광 조명(280-1)과 구조 조명(280-2)의 조명 시간은 글로벌 셔터 방식의 카메라(270)의 캡쳐 시간보다 길거나 같게 설정될 수 있다. 여기서, 롤링 셔터 방식은 카메라(270)에서 픽셀을 열(columm) 또는 행(row) 단위로 순차적으로 노출시켜 이미지를 획득하는 방식을 나타낼 수 있다.

도 6은 본 개시의 일 실시 예에 따른 전자 장치에서 사용자 인증을 위한 흐름도이다. 도 7은 본 개시의 실시 예에 따른 전자 장치에서 홍채 인식을 위한 화면 구성이다. 이하 설명에서 전자 장치는 도 2의 전자 장치(100) 또는 전자 장치(100)의 적어도 일부(예: 프로세서(220))를 포함할 수 있다.

도 6을 참조하면, 전자 장치는 동작 601에서, 사용자 인증 이벤트의 발생을 검출할 수 있다. 예를 들어, 프로세서(220)는 전원 버튼의 입력이 검출되거나, 활성 명령(예: 음성 명령)이 수신되거나, 전자 장치(100)의 파지가 감지되거나, 전자 장치(100)의 충전 상태 변화를 감지한 경우, 사용자 인증 이벤트가 발생한 것으로 판단할 수 있다.

전자 장치는 동작 603에서, 사용자의 시선을 유도하기 위한 시선 객체를 표시할 수 있다. 예를 들어, 프로세서(220)는 홍채 인식에 기반한 사용자 인증을 수행하는 경우, 도 7의 (a)와 같이, 홍채 인식을 위한 사용자 이미지(700)와 시선 객체(710)를 표시하도록 디스플레이(250)를 제어할 수 있다. 시선 객체는 홍채 인식을 위한 사용자 이미지(700)의 적어도 일부와 중첩되게 표시될 수도 있다. 일 예로, 시선 객체(710)는 도 7의 (b)와 같이, 기 정의된 규칙 또는 랜덤하게 움직일 수 있다. 일 예로, 시선 객체(710)는 고정될 수도 있다.

전자 장치는 동작 605에서, 이미지 획득 패턴을 랜덤하게 생성할 수 있다. 이미지 획득 패턴은 사용자 인증을 위한 얼굴 이미지와 깊이 이미지의 획득 순서 및 획득 시점을 포함할 수 있다.

전자 장치는 동작 607에서, 랜덤하게 생성된 이미지 획득 패턴의 이미지 획득 순서에 기반하여 얼굴 이미지와 깊이 이미지를 획득할 수 있다. 예를 들어, 프로세서(120)는 이미지 획득 순서에 기반하여 투광 조명(280-1)의 발광 시점에 카메라(270)를 통해 얼굴 이미지를 획득한 후, 구조 조명(280-2)의 발광 시점에 카메라(270)를 통해 깊이 이미지를 획득할 수 있다. 예를 들어, 프로세서(120)는 이미지 획득 순서에 기반하여 구조 조명(280-2)의 발광 시점에 카메라(270)를 통해 깊이 이미지를 획득한 후, 투광 조명(280-1)의 발광 시점에 카메라(270)를 통해 얼굴 이미지를 획득할 수 있다.

전자 장치는 동작 609에서, 얼굴 이미지를 이용한 생체 인식이 성공하였는지 판단할 수 있다. 예를 들어, 프로세서(220)는 카메라(270)를 통해 획득한 얼굴 이미지에서 획득한 생체 정보(예: 홍채, 얼굴)에 기반하여 생체 인식을 수행할 수 있다. 프로세서(220)는 얼굴 이미지에서 획득한 생체 정보와 메모리(230)에 저장된 기준 생체 정보의 유사도에 기반하여 생처 인식의 성공 여부를 판단할 수 있다.

전자 장치는 동작 611에서, 생체 인식이 성공한 경우(동작 609의 '예'), 얼굴 이미지와 깊이 이미지에 기반하여 사용자의 시선 벡터를 검출할 수 있다. 예를 들어, 프로세서(220)는 동작 607에서 획득한 얼굴 이미지와 깊이 이미지에 기반한 시선 추적(eye-gaze tranking) 기능을 이용하여 사용자의 시선 변화에 대응하는 시선 벡터를 산출할 수 있다.

전자 장치는 동작 613에서, 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되는지 확인할 수 있다. 예를 들어, 프로세서(220)는 시선 추적 기능을 통해 검출한 사용자의 시선 벡터와 시선 객체의 움직임 정보의 유사도가 기준 값을 초과하는 경우, 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되는 것으로 판단할 수 있다. 프로세서(220)는 사용자의 시선 벡터와 시선 객체의 움직임 정보의 유사도가 기준 값 이하인 경우, 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되는 않는 것으로 판단할 수 있다.

전자 장치는 동작 617에서, 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되지 않는 것으로 판단한 경우(동작 613의 '아니오'), 시선 객체를 갱신할 수 있다. 예를 들어, 프로세서(220)는 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되지 않는 것으로 판단한 경우, 생체 인식에 사용된 사용자의 생체 정보가 실제 사용자로부터 획득되지 않은 것으로 판단할 수 있다. 이에 따라, 프로세서(220)는 사용자 인증을 시도하는 피사체가 실제 사용자인지 재차 확인하기 위해 시선 객체의 위치를 갱신할 수 있다.

전자 장치는 동작 619에서, 생체 인식이 실패하거나(동작 609의 '아니오'), 시선 객체를 갱신한 경우(동작 617), 랜덤하게 생성된 이미지 획득 패턴에 기반하여 다음 이미지의 획득 시점을 확인할 수 있다. 전자 장치는 다음 이미지 획득 시점이 도래하는 경우, 동작 607에서, 랜덤하게 생성된 이미지 획득 패턴의 이미지 획득 순서에 기반하여 얼굴 이미지와 깊이 이미지를 획득할 수 있다. 예를 들어, 전자 장치는 사용자 인증을 위한 일련의 동작(예: 동작 607 내지 동작 613 및 동작 617 내지 동작 619)을 반복적으로 수행할 수 있다.

전자 장치는 동작 615에서, 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되는 것으로 판단한 경우(동작 613의 '예'), 사용자 인증이 성공한 것으로 판단할 수 있다.

한 실시 예에 따르면, 전자 장치는 기준 횟수 또는 기준 시간 동안 사용자 인증을 실패한 경우, 인증 실패와 관련된 정보를 출력할 수 있다. 인증 실패와 관련된 정보는 메시지, 소리 또는 인디케이터(LED) 중 적어도 하나의 형태로 출력될 수 있다. 전자 장치는 사용자 인증이 실패한 경우, 전자 장치의 잠금 상태를 유지할 수 있다. 여기서, 사용자 인증의 실패는 도 6의 동작 609에서 생체 인식을 실패하거나, 동작 613에서 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되지 않는 것으로 판단된 상황을 포함할 수 있다.

한 실시 예에 따르면, 전자 장치(100)는 얼굴 이미지를 이용한 생체 인식 동작(예: 동작 609)과 사용자의 시선 벡터와 시선 객체의 움직임의 매칭 여부를 판단하는 동작(예: 동작 611 내지 동작 613)을 병렬적으로 수행할 수 있다. 전자 장치(100)는 생체 인식을 성공하고, 사용자의 시선 벡터와 시선 객체의 움직임의 매칭되는 경우, 사용자 인증이 성공한 것으로 판단할 수 있다.

한 실시 예에 따르면, 전자 장치(100)는 사용자의 시선 벡터와 시선 객체의 움직임의 매칭되는 것으로 판단한 경우(예: 동작 611 내지 동작 613), 생체 인식을 수행할 수 있다(예: 동작 609).

도 8은 본 개시의 실시 예에 따른 전자 장치에서 이미지를 획득하기 위한 흐름도이다. 이하 설명은 도 6의 동작 607에서 얼굴 이미지와 깊이 이미지를 획득하기 위한 동작을 포함할 수 있다. 이하 설명에서 전자 장치는 도 2의 전자 장치(100) 또는 전자 장치(100)의 적어도 일부(예: 프로세서(220))를 포함할 수 있다.

도 8을 참조하면, 전자 장치는 동작 801에서, 이미지 획득 패턴이 랜덤하게 생성된 경우(예: 도 6의 동작 605), 이미지 획득 패턴에 기반하여 조명의 발광 시점을 확인할 수 있다.

전자 장치는 동작 803에서, 조명의 발광 시점에 기반하여 투광 조명이 우선적으로 발광하는지 판단할 수 있다.

전자 장치는 동작 805에서, 투광 조명이 우선적으로 발광되는 것으로 판단한 경우(동작 803의 '예'), 투광 조명을 이용하여 얼굴 이미지를 획득할 수 있다. 예를 들어, 카메라(270)는 랜덤하게 생성된 이미지 획득 패턴에 기반하여 투광 조명(280-1)이 발광되는 시점에 이미지(얼굴 이미지)를 획득할 수 있다.

전자 장치는 동작 807에서, 구조 조명을 이용하여 깊이 이미지를 획득할 수 있다. 예를 들어, 카메라(270)는 랜덤하게 생성된 이미지 획득 패턴에 기반하여 구조 조명(280-2)이 발광되는 시점에 깊이 이미지를 획득할 수 있다.

전자 장치는 동작 809에서, 구조 조명이 우선적으로 발광되는 것으로 판단한 경우(동작 803의 '아니오'), 구조 조명을 이용하여 깊이 이미지를 획득할 수 있다. 예를 들어, 카메라(270)는 프로세서(220) 또는 구조 조명(280-2)로부터 제공받은 동기 신호에 기반하여 구조 조명(280-2)이 발광되는 시점을 확인할 수 있다. 카메라(270)는 구조 조명(280-2)이 발광되는 시점에 깊이 이미지를 획득할 수 있다.

전자 장치는 동작 811에서, 투광 조명을 이용하여 얼굴 이미지를 획득할 수 있다. 예를 들어, 카메라(270)는 프로세서(220) 또는 투광 조명(280-1)로부터 제공받은 동기 신호에 기반하여 투광 조명(280-1)이 발광되는 시점을 확인할 수 있다. 카메라(270)는 투광 조명(280-1)이 발광되는 시점에 이미지(얼굴 이미지)를 획득할 수 있다.

본 개시의 다양한 실시 예에 따르면, 전자 장치는 랜덤하게 생성된 이미지 획득 패턴의 이미지 획득 시점에 기반하여 얼굴 이미지와 깊이 이미지를 순차적으로 획득할 수도 있다.

도 9는 본 개시의 실시 예에 따른 전자 장치에서 홍채 인식을 수행하기 위한 흐름도이다. 이하 설명은 도 6의 동작 609에서 생체 인식이 성공하였는지 판단하는 동작을 포함할 수 있다. 이하 설명에서 전자 장치는 도 2의 전자 장치(100) 또는 전자 장치(100)의 적어도 일부(예: 프로세서(220))를 포함할 수 있다.

도 9를 참조하면, 전자 장치는 동작 901에서, 얼굴 이미지와 깊이 이미지를 획득한 경우(예: 도 6의 동작 607), 얼굴 이미지의 특징점에 기반하여 얼굴 영역이 검출되는지 확인할 수 있다. 예를 들어, 프로세서(220)는 얼굴 이미지에서 사람의 눈, 코, 입에 대응하는 특징 점을 포함하는 영역이 검출되는지 확인할 수 있다.

전자 장치는 동작 903에서, 얼굴 이미지에서 얼굴 영역을 검출한 경우(동작 901의 '예'), 얼굴 영역에서 홍채 이미지가 검출되는지 확인할 수 있다.

전자 장치는 동작 905에서, 얼굴 이미지의 얼굴 영역에서 홍채 이미지를 검출한 경우(동작 903의 '예'), 홍채 이미지를 이용한 사용자의 생체 인식의 성공 여부를 판단할 수 있다. 예를 들어, 프로세서(220)는 얼굴 이미지에서 검출한 홍채 이미지와 메모리(230)에 저장된 적어도 하나의 기준 홍채 이미지의 유사도에 기반하여 홍채 인식을 수행할 수 있다. 프로세서(220)는 홍채 이미지와의 유사도가 기준값을 초과하는 기준 홍채 이미지가 존재하는 경우, 사용자의 홍채 인식이 성공한 것으로 판단할 수 있다.

전자 장치는 동작 907에서, 얼굴 이미지에서 얼굴 영역이 검출되지 않거나(동작 901의 '아니오'), 얼굴 영역에서 홍채 이미지가 검출되지 않거나(동작 903의 '아니오'), 얼굴 이미지에서 검출된 홍채 이미지를 이용한 생체 인식을 실패한 경우(동작 905의 '아니오'), 랜덤하게 생성된 이미지 획득 패턴에 기반하여 다음 이미지의 획득 시점을 확인할 수 있다. 예를 들어, 프로세서(220)는 도 6의 동작 619와 같이, 도 6의 동작 605에서 랜덤하게 생성된 이미지 획득 패턴에 기반하여 다음 이미지의 획득 시점이 도래하는지 확인할 수 있다.

한 실시 예에 따르면, 전자 장치는 동작 905에서 홍채 인식을 성공한 것으로 판단한 경우(동작 905의 '예'), 홍채 인식에 사용된 홍채 이미지가 실제 사용자로부터 획득되었는지 확인할 수 있다. 예를 들어, 전자 장치는 도 6의 동작 611 내지 613을 수행할 수 있다.

도 10은 본 개시의 실시 예에 따른 전자 장치에서 얼굴 인식을 수행하기 위한 흐름도이다. 이하 설명은 도 6의 동작 609에서 생체 인식이 성공하였는지 판단하는 동작을 포함할 수 있다. 이하 설명에서 전자 장치는 도 2의 전자 장치(100) 또는 전자 장치(100)의 적어도 일부(예: 프로세서(220))를 포함할 수 있다.

도 10을 참조하면, 전자 장치는 동작 1001에서, 얼굴 이미지와 깊이 이미지를 획득한 경우(예: 도 6의 동작 607), 얼굴 이미지의 특징점에 기반하여 사용자 얼굴이 검출되는지 확인할 수 있다. 예를 들어, 프로세서(220)는 얼굴 이미지에서 사람의 눈, 코, 입에 대응하는 특징 점이 검출되는지 확인할 수 있다.

전자 장치는 동작 1003에서, 얼굴 이미지에서 사용자의 얼굴을 검출한 경우(동작 1001의 '예'), 사용자의 얼굴 인식의 성공 여부를 판단할 수 있다. 예를 들어, 프로세서(220)는 얼굴 이미지에서 검출한 사용자의 얼굴의 특성 포인트와 메모리(230)에 저장된 적어도 하나의 기준 얼굴 이미지의 유사도에 기반하여 얼굴 인식을 수행할 수 있다. 프로세서(220)는 얼굴 이미지에서 검출한 사용자의 얼굴의 특성 포인트와의 유사도가 기준값을 초과하는 기준 얼굴 이미지가 존재하는 경우, 사용자의 얼굴 인식이 성공한 것으로 판단할 수 있다. 여기서, 얼굴의 특성 포인트는 얼굴 이미지의 특징 점을 토대로 검출되는 눈과 눈 사이의 간격 , 얼굴의 윤곽 및 코와 입술 사이의 거리 등을 포함할 수 있다.

전자 장치는 동작 1005에서, 얼굴 이미지에서 사용자의 얼굴이 검출되지 않거나(동작 1001의 '아니오'), 얼굴 이미지에서 검출된 사용자 얼굴에 대한 생체 인식을 실패한 경우(동작 1003의 '아니오'), 랜덤하게 생성된 이미지 획득 패턴에 기반하여 다음 이미지의 획득 시점을 확인할 수 있다. 예를 들어, 프로세서(220)는 도 6의 동작 619와 같이, 도 6의 동작 605에서 랜덤하게 생성된 이미지 획득 패턴에 기반하여 다음 이미지의 획득 시점이 도래하는지 확인할 수 있다.

한 실시 예에 따르면, 전자 장치는 동작 1003에서 얼굴 인식을 성공한 것으로 판단한 경우(동작 1003의 '예'), 얼굴 인식에 사용된 사용자의 얼굴 이미지가 실제 사용자로부터 획득되었는지 확인할 수 있다. 예를 들어, 전자 장치는 도 6의 동작 611 내지 613을 수행할 수 있다.

도 11은 본 개시의 다른 실시 예에 따른 전자 장치에서 사용자 인증을 위한 흐름도이다. 도 12는 본 개시의 실시 예에 따른 전자 장치에서 얼굴 인식을 위한 화면 구성이다. 이하 설명에서 전자 장치는 도 2의 전자 장치(100) 또는 전자 장치(100)의 적어도 일부(예: 프로세서(220))를 포함할 수 있다.

도 11을 참조하면, 전자 장치는 동작 1101에서, 사용자 인증 이벤트의 발생을 검출할 수 있다. 사용자 인증 이벤트의 발생은, 전원 버튼의 입력, 활성 명령(예: 음성 명령)의 수신, 전자 장치(100)의 파지 상태, 전자 장치(100)의 충전 상태 변화 중 적어도 하나에 기반하여 감지될 수 있다.

전자 장치는 동작 1103에서, 사용자의 시선을 유도하기 위한 시선 객체를 표시할 수 있다. 예를 들어, 프로세서(220)는 얼굴 인식에 기반한 사용자 인증을 수행하는 경우, 도 12의 (a)와 같이, 얼굴 인식을 위한 가이드 정보(1200)와 시선 객체(1210)를 표시하도록 디스플레이(250)를 제어할 수 있다. 프로세서(220)는 도 12의 (b)와 같이, 시선 객체(1210)에 애니메이션 효과를 적용할 수 있다. 즉, 시선 객체(1210)는 기 정의된 규칙 또는 랜덤하게 움직일 수 있다.

전자 장치는 동작 1105에서, 사용자 인증을 위한 이미지 획득 순서를 랜덤하게 생성할 수 있다. 이미지 획득 순서는 투광 조명(280-1)을 이용하여 획득되는 사용자의 이미지(얼굴 이미지)와 구조 조명(280-2)을 이용하여 획득되는 깊이 이미지의 획득 순서를 포함할 수 있다.

전자 장치는 동작 1107에서, 랜덤하게 생성된 이미지 획득 순서에 기반하여 얼굴 이미지와 깊이 이미지를 획득할 수 있다. 예를 들어, 프로세서(120)는 이미지 획득 순서에 따라 투광 조명(280-1) 또는 구조 조명(280-2)을 통해 광을 순차적으로 조사하여 얼굴 이미지와 깊이 이미지를 순차적으로 획득할 수 있다.

전자 장치는 동작 1109에서, 얼굴 이미지를 이용한 생체 인식이 성공되는지 판단할 수 있다. 예를 들어, 프로세서(220)는 카메라(270)를 통해 획득한 얼굴 이미지를 이용하여 홍채 인식 또는 얼굴 인식을 수행할 수 있다.

전자 장치는 동작 1111에서, 생체 인식이 성공한 경우(동작 1109의 '예'), 얼굴 이미지와 깊이 이미지에 기반하여 사용자의 시선 벡터를 검출할 수 있다. 예를 들어, 프로세서(220)는 얼굴 이미지에서 검출한 얼굴 영역과 깊이 이미지에 기반하여 3차원 페이스 메쉬(3D face mesh)를 검출할 수 있다. 프로세서(220)는 얼굴 이미지와 3차원 페이스 메쉬를 이용하여 사용자의 시선 변화에 대응하는 시선 벡터를 산출할 수 있다. 여기서, 사용자의 시선 벡터는, 사용자 시선의 움직임 방향, 움직임 거리 또는 움직임 속도 중 적어도 하나에 대한 정보를 포함할 수 있다.

전자 장치는 동작 1113에서, 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되는지 확인할 수 있다. 예를 들어, 프로세서(220)는 사용자의 시선 벡터와 시선 객체의 움직임 정보의 유사도가 기준 값을 초과하는 경우, 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되는 것으로 판단할 수 있다. 프로세서(220)는 사용자의 시선 벡터와 시선 객체의 움직임 정보의 유사도가 기준 값 이하인 경우, 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되는 않는 것으로 판단할 수 있다.

전자 장치는 동작 1117에서, 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되지 않는 것으로 판단한 경우(동작 1113의 '아니오'), 시선 객체의 위치를갱신할 수 있다. 예를 들어, 프로세서(220)는 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되지 않는 것으로 판단한 경우, 사용자 인증을 시도하는 피사체가 실제 사용자인지 재차 확인하기 위해 시선 객체의 위치가 변경되도록 디스플레이(250)를 제어할 수 있다.

전자 장치는 동작 1119에서, 생체 인식이 실패하거나(동작 1109의 '아니오'), 시선 객체의 위치가 갱신된 경우(동작 1117), 이미지의 획득 시점을 랜덤하게 생성할 수 있다. 이미지 획득 시점은 사용자 인증을 위한 사용자 이미지를 다시 획득하기 위한 시점을 포함할 수 있다.

전자 장치는 동작 1121에서, 랜덤하게 생성된 이미지 획득 시점이 도래하는지 확인할 수 있다. 전자 장치는 이미지 획득 시점이 도래하는 경우, 동작 1105에서, 사용자 인증을 위한 이미지 획득 순서를 랜덤하게 생성할 수 있다. 예를 들어, 전자 장치는 사용자 인증을 위한 일련의 동작(예: 동작 1105 내지 동작 1113 및 동작 1117 내지 동작 1121)을 반복적으로 수행할 수 있다.

전자 장치는 동작 1115에서, 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되는 것으로 판단한 경우(동작 1113의 '예'), 사용자 인증이 성공한 것으로 판단할 수 있다. 예를 들어, 프로세서(220)는 사용자의 시선 벡터와 시선 객체의 움직임 정보가 매칭되는 것으로 판단한 경우, 생체 인증에 사용된 생체 정보가 실제 사용자로부터 획득된 것으로 판단할 수 있다. 이에 따라, 프로세서(220)는 생체 정보를 이용한 사용자 인증이 성공한 것으로 판단할 수 있다.

한 실시 예에 따르면, 전자 장치는 기준 횟수 또는 기준 시간 동안 사용자 인증을 실패한 경우, 얼굴 인식을 이용한 사용자 인증이 실패한 것으로 판단할 수 있다. 이 경우, 전자 장치는 메시지, 소리 또는 인디케이터(LED) 중 적어도 하나의 형태로 인증 실패와 관련된 정보를 출력할 수 있다.

도 13a 내지 도 13e는 본 개시의 실시 예에 따른 투광 조명과 구조 조명의 발광 시점과 이미지 캡쳐 시점을 도시한다.

도 13a 내지 도 13e를 참조하면, 전자 장치(100)는 생체 정보를 이용한 사용자 인증의 보안성을 향상시키기 위해 이미지 획득 시점 및 조명의 발광 시점을 랜덤하게 설정할 수 있다. 이미지 획득 시점과 조명의 발광 시점은 매칭될 수 있다. 예를 들어, 사용자의 얼굴 이미지는 투광 조명(280-1)의 발광 시점에 카메라(270)를 통해 획득되고, 깊이 이미지는 구조 조명(280-2)의 발광 시점에 카메라(270)를 통해 획득될 수 있다.

한 실시 예에 따르면, 전자 장치(100)는 도 13a와 같이, 투광 조명(280-1)의 발광 시점과 구조 조명(280-2)의 발광 시점은 교번하게 설정할 수 있다. 각각의 조명이 발광되는 간격은 동일하게 설정될 수 있다(△t1=△t2=△t3=△t4=△t5).

한 실시 예에 따르면, 전자 장치(100)는 도 13b와 같이, 투광 조명(280-1)과 구조 조명(280-2) 중 동일한 타입의 조명이 연속적으로 발광되도록 조명의 발광 시점을 설정할 수 있다. 일 예로, 전자 장치(100)는 투광 조명(280-1)이 연속적으로 두번 발광하고, 구조 조명(280-2)이 연속적으로 두번 발광하도록 조명의 발광 시점을 설정할 수 있다. 각각의 조명이 발광되는 간격은 동일하게 설정될 수 있다(△t1=△t2=△t3=△t4=△t5).

한 실시 예에 따르면, 전자 장치(100)는 도 13c와 같이, 투광 조명(280-1)과 구조 조명(280-2) 중 동일한 타입의 조명이 연속적으로 발광되도록 조명의 발광 시점을 설정할 수 있다. 일 예로, 전자 장치(100)는 투광 조명(280-1)이 연속적으로 두번 발광하고, 구조 조명(280-2)이 연속적으로 두번 발광하도록 조명의 발광 시점을 설정할 수 있다. 단, 각각의 조명이 발광되는 간격은 서로 상이하게 설정될 수 있다(△t1≠△t2≠△t3≠△t4≠△t5).

한 실시 예에 따르면, 전자 장치(100)는 도 13d와 같이, 연속촬영(burst shot)이 완료될때까지 동일한 타입의 조명이 지속적으로 발광되도록 조명의 발광 시점을 설정할 수 있다. 일 예로, 전자 장치(100)는 연속촬영이 완료될 때까지 투광 조명(280-1) 또는 구조 조명(280-2)의 발광이 유지되도록 조명의 발광 시점을 설정할 수 있다. 서로 다른 이미지를 획득하기 위해 조명이 발광되는 간격은 서로 상이하게 설정될 수 있다(△t1≠△t2≠△t3≠△t4). 연속촬영이 수행되는 동안 조명이 발광되는 간격은 동일하게 설정될 수 있다(△t5=△t6=△t7=△t8).

한 실시 예에 따르면, 전자 장치(100)는 도 13e와 같이, 연속촬영(burst shot)이 완료될때까지 동일한 타입의 조명이 지속적으로 발광되도록 조명의 발광 시점을 설정할 수 있다. 이 경우, 각각의 조명이 발광되는 간격은 서로 상이하게 설정될 수 있다(△t1≠△t2≠△t3≠△t4, △t5≠△t6≠△t7≠△t8).

한 실시 예에 따르면, 전자 장치(110)는 랜덤하게 생성된 이미지 획득 패턴에 기반하여 투광 조명(280-1)과 구조 조명(280-2)이 연속적으로 발광되는 경우, 조명의 전환 시간에 기반하여 이미지의 획득에 대한 지연이 발생할 수 있다. 이에 따라, 전자 장치(110)는 이미지 획득을 위한 지연이 최소화되도록 도 14와 같이, 조명의 발광 시점을 설정할 수 있다.

도 14는 본 개시의 실시 예에 따른 카메라의 전환 시점을 도시한다.

도 14를 참조하면, 카메라(270)는 제 1 조명(예: 투광 조명(280-1))의 발광에 기반하여 제 1 이미지(예: 얼굴 이미지)를 획득할 수 있다. 제 1 조명은 제 1 이미지의 캡쳐 완료 시점(t1)에 발광을 종료할 수 있다. 제 2 조명(예: 구조 조명(280-2))은 제 1 이미지의 캡쳐 완료 시점(t1)에 제 1 조명의 발광 종료와 동시에 발광을 시작할 수 있다. 카메라(270)는 제 2 조명의 발광에 따른 보호 구간이 경과하면(t2) 제 2 이미지(예: 깊이 이미지)의 캡쳐를 시작할 수 있다.

다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(230))에 저장된 명령어로 구현될 수 있다. 명령어가 프로세서(예: 프로세서(220))에 의해 실행될 경우, 프로세서가 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다.

다양한 실시 예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 개시의 다양한 실시 예의 범위를 한정하는 것은 아니다. 따라서, 본 발명의 다양한 실시 예의 범위는, 본 발명의 다양한 실시 예의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims

전자 장치에 있어서,
제1 조명 및 제2 조명을 포함하는 복수의 조명들;
카메라;
디스플레이; 및
프로세서를 포함하며,
상기 프로세서는,
상기 디스플레이에 객체를 표시하고,
상기 카메라를 통해, 랜덤하게 생성된 이미지 획득 패턴에 기반하여 복수의 이미지들을 획득하고,
상기 랜덤하게 생성된 이미지 획득 패턴에 기반하여 제1 시점에 발광하도록 제1 조명을 제어하고, 그리고 제2 시점에 발광하도록 제2 조명을 제어하고 ― 상기 제1 시점 및 상기 제2 시점은 랜덤하게 설정됨 ―,
상기 카메라를 통해, 상기 제1 조명이 발광하는 상기 제1 시점에 사용자의 이미지를 획득하고, 그리고 상기 제2 조명이 발광하는 상기 제2 시점에 깊이 이미지를 획득하고,
상기 복수의 이미지들 중 적어도 하나를 이용하여 생체 정보를 획득하고,
상기 복수의 이미지들 이용하여 상기 디스플레이에 표시된 객체의 움직임에 대응하는 상기 사용자의 시선의 변화 정보를 획득하고, 그리고
상기 생체 정보 및 상기 사용자의 시선의 변화 정보에 기반하여 상기 사용자의 인증을 수행하도록 구성되는 전자 장치.
삭제
삭제
제 1항에 있어서,
상기 프로세서는, 상기 사용자의 이미지를 이용하여 상기 사용자의 생체 정보를 획득하는 전자 장치.
제 1항에 있어서,
상기 프로세서는, 상기 사용자의 이미지 및 상기 깊이 이미지를 이용하여 상기 디스플레이에 표시된 객체의 움직임에 대응하는 상기 사용자의 시선의 변화 정보를 추정하는 전자 장치.
제 1항에 있어서,
상기 제 1 조명은, 투광 조명(flood light)을 포함하고,
상기 제 2 조명은, 구조 조명(structure light)을 포함하는 전자 장치.
제 1항에 있어서,
상기 제 1 조명 및 상기 제 2 조명은, 적외선 파장을 사용하는 전자 장치.
제 1항에 있어서,
상기 프로세서는, 상기 생체 정보를 이용하여 생체 인식을 성공하고, 상기 사용자의 시선의 변화 정보가 상기 디스플레이에 표시된 객체의 움직임에 매칭되는 경우, 상기 사용자의 인증을 성공한 것으로 판단하는 전자 장치.
제 1항에 있어서,
상기 프로세서는, 상기 생체 정보를 이용하여 생체 인식을 실패하거나, 상기 사용자의 시선의 변화 정보가 상기 디스플레이에 표시된 객체의 움직임에 매칭되지 않는 경우, 상기 사용자의 인증을 실패한 것으로 판단하는 전자 장치.
제 1항에 있어서,
상기 프로세서는, 사용자 인증 이벤트의 발생을 감지한 경우, 상기 디스플레이의 적어도 일부에 상기 객체를 표시하는 전자 장치.
제 1항에 있어서,
상기 생체 정보는, 홍채 정보 또는 얼굴 정보를 포함하는 전자 장치.
전자 장치의 동작 방법에 있어서,
상기 전자 장치의 디스플레이에 객체를 표시하는 동작;
랜덤하게 생성된 이미지 획득 패턴에 기반하여 복수의 이미지들을 획득하는 동작;
상기 복수의 이미지들 중 적어도 하나를 이용하여 생체 정보를 획득하는 동작;
상기 복수의 이미지들 이용하여 상기 디스플레이에 표시된 객체의 움직임에 대응하는 사용자의 시선의 변화 정보를 획득하는 동작; 및
상기 생체 정보 및 상기 사용자의 시선의 변화 정보에 기반하여 상기 사용자의 인증을 수행하는 동작을 포함하고,
상기 복수의 이미지들을 획득하는 동작은:
상기 전자 장치와 기능적으로 연결된 복수의 조명들 중 제1 조명이 상기 랜덤하게 생성된 이미지 획득 패턴에 기초하여 발광하는 제1 시점에 상기 사용자의 이미지를 획득하는 동작; 및
상기 복수의 조명들 중 제2 조명이 발광하는 제2 시점에 깊이 이미지를 획득하는 동작을 포함하고,
상기 제1 시점 및 상기 제2 시점은 랜덤하게 설정되는 전자 장치의 동작 방법.
제 12항에 있어서,
상기 객체를 표시하는 동작은,
사용자 인증 이벤트의 발생을 감지한 경우, 상기 디스플레이의 적어도 일부에 상기 객체를 표시하는 동작을 포함하는 전자 장치의 동작 방법.
삭제
제 12항에 있어서,
상기 생체 정보를 획득하는 동작은,
상기 사용자의 이미지에서 상기 사용자의 생체 정보를 획득하는 동작을 포함하는 전자 장치의 동작 방법.
제 12항에 있어서,
상기 사용자의 시선의 변화 정보를 획득하는 동작은,
상기 사용자의 이미지 및 상기 깊이 이미지를 이용하여 상기 디스플레이에 표시된 객체의 움직임에 대응하는 상기 사용자의 시선의 변화 정보를 추정하는 동작을 포함하는 전자 장치의 동작 방법.
제 12항에 있어서,
상기 제 1 조명은, 투광 조명(flood light)을 포함하고,
상기 제 2 조명은, 구조 조명(structure light)을 포함하는 전자 장치의 동작 방법.
제 12항에 있어서,
상기 사용자 인증을 수행하는 동작은,
상기 생체 정보를 이용하여 생체 인식을 성공하고, 상기 사용자의 시선의 변화 정보가 상기 디스플레이에 표시된 객체의 움직임에 매칭되는 경우, 상기 사용자의 인증을 성공한 것으로 판단하는 동작을 포함하는 전자 장치의 동작 방법.
제 12항에 있어서,
상기 사용자 인증을 수행하는 동작은,
상기 생체 정보를 이용하여 생체 인식을 실패하거나, 상기 사용자의 시선의 변화 정보가 상기 디스플레이에 표시된 객체의 움직임에 매칭되지 않는 경우, 상기 사용자의 인증을 실패한 것으로 판단하는 동작을 포함하는 전자 장치의 동작 방법.
제 12항에 있어서,
상기 생체 정보는, 홍채 정보 또는 얼굴 정보를 포함하는 전자 장치의 동작 방법.