KR20160108092A - 사용자 인증 방법 및 이를 지원하는 머리 착용형 장치 - Google Patents

사용자 인증 방법 및 이를 지원하는 머리 착용형 장치 Download PDF

Info

Publication number
KR20160108092A
KR20160108092A KR1020150066244A KR20150066244A KR20160108092A KR 20160108092 A KR20160108092 A KR 20160108092A KR 1020150066244 A KR1020150066244 A KR 1020150066244A KR 20150066244 A KR20150066244 A KR 20150066244A KR 20160108092 A KR20160108092 A KR 20160108092A
Authority
KR
South Korea
Prior art keywords
user
iris
electrocardiogram signal
hmd
control unit
Prior art date
Application number
KR1020150066244A
Other languages
English (en)
Other versions
KR102349452B1 (ko
Inventor
류제인
윤인국
곽병훈
김현중
나인학
문보석
박재현
이영은
한지연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/014,652 priority Critical patent/US9836663B2/en
Publication of KR20160108092A publication Critical patent/KR20160108092A/ko
Application granted granted Critical
Publication of KR102349452B1 publication Critical patent/KR102349452B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • A61B5/04012—
    • A61B5/0404—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06K9/00604—
    • G06K9/0061—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30—Security of mobile devices; Security of mobile applications
    • H04W12/33—Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명의 일 실시예에 따른, 머리 착용형 장치는 홍채의 일부 영역을 촬영하는 촬영부; 심전도 신호를 수신하는 심전도 센서; 및 제어부를 포함하고, 상기 제어부가, 상기 촬영부를 통해 촬영된 홍채의 일부 영역 및 상기 복수의 전극을 통해 수신되는 심전도 신호 중 적어도 하나를 획득하고, 상기 획득된 적어도 하나를 이용하여 사용자를 인증할 수 있다.

Description

사용자 인증 방법 및 이를 지원하는 머리 착용형 장치{METHOD FOR AUTHENTICATING USER AND HEAD MOUNTED DEVICE SUPPORTING THE SAME}
본 발명은 예를 들어, 사용자 인증 방법 및 이를 지원하는 머리 착용형 장치에 관한 것이다.
웨어러블 디바이스에 대한 연구가 활발히 진행됨에 따라 다양한 웨어러블 디바이스들이 출시되고 있다. 예를 들어, 웨어러블 디바이스는 스마트 워치, HMD(Head Mounted Device) 및 스마트 밸트 등이 있다. HMD는 안경을 착용하듯 착용하고, 이미지를 디스플레이할 수 있는 웨어러블 디스플레이 디바이스로서, 스마트 글라스라고 지칭되기도 한다.
한편, 정보 통신 기술이 발달함에 따라 다양한 보안 시스템이 요구되고 있다. 예를 들어, 사용자의 고유 식별 정보로서 생체 정보를 이용한 보안 시스템에 적용되고 있다. 생체 정보를 이용한 보안 시스템에서 생체 정보로서 심전도(electrocardiogram), 홍채, 지문, 맥박 등이 사용자를 인증하기 위하여 이용되고 있다.
예를 들어, 홍채는 홍채의 패턴(또는 문양)이 개개인 마다 다르고, 쌍둥이라도 전혀 다른 형태를 가지고 있으며, 평생 동안 변하지 않는 특성을 가지고 있어, 홍채 정보를 이용한 보안 기술은 각광을 받고 있다.
다른 예에서, 심전도는 심장 근육의 수축 확장에 따른 활동 전류로서 외부에서 전극을 부착하여 측정된 활동 전류의 기록이다. 심장 근육이 수축 이완할 때 발생되는 활동 전위는 심장으로부터 온 몸으로 퍼지는 전류를 일으키며 이 전류는 몸의 위치에 따라 전위차를 발생시키는데 이 전위차는 인체의 피부에 부착된 표면 전극을 통해 검출하여 기록할 수 있다. 심전도의 파형 형태는 개개인 마다 차이가 있으며, 심전도 파형 형태에 기반한 보안 기술이 연구되고 있다.
본 발명의 다양한 실시예들은 생체 정보를 이용한 사용자 인증 방법 및 이를 지원하는 머리 착용형 장치를 제공한다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 머리 착용형 장치는 홍채의 일부 영역을 촬영하는 촬영부; 심전도 신호를 수신하는 심전도 센서; 및 제어부를 포함하고, 상기 제어부가, 상기 촬영부를 통해 촬영된 홍채의 일부 영역 및 상기 복수의 전극을 통해 수신되는 심전도 신호 중 적어도 하나를 획득하고, 상기 획득된 적어도 하나를 이용하여 사용자를 인증할 수 있다.
일 실시예에서, 상기 제어부가, 어플리케이션 별로 인증 레벨을 설정할 수 있다.
일 실시예에서, 상기 어플리케이션을 실행하기 위한 사용자 입력을 수신하는 입력부; 상기 제어부가, 상기 입력부로부터 상기 사용자 입력을 수신하는 경우, 상기 적어도 하나 중 상기 인증 레벨에 따라 설정된 어느 하나를 이용하여 사용자를 인증할 수 있다.
일 실시예에서, 상기 제어부가, 상기 인증 레벨에 따라 설정된 어느 하나가 획득되지 않은 경우, 상기 어느 하나를 획득하도록 상기 촬영부 및 상기 심전도 센서 중 적어도 하나를 제어할 수 있다.
본 발명의 일 실시예에 따른 머리 착용형 장치는 사용자의 홍채의 일부 영역을 촬영하여 적어도 하나의 부분 영상을 획득하는 촬영부; 및 상기 부분 영상을 조합함으로써 상기 사용자를 인증하기 위한 정규 영상을 생성하는 제어부를 포함할 수 있다.
일 실시예에서, 상기 제어부는, 상기 부분 영상에 포함된 상기 홍채의 외곽선 및 상기 홍채의 내곽선 중 적어도 하나를 이용하여 상기 정규 영상을 생성할 수 있다.
일 실시예에서, 상기 제어부는, 상기 부분 영상이 상기 정규 영상 내에서 차지하는 위치를 결정하고, 상기 결정된 위치에 기초하여 상기 부분 영상을 조합할 수 있다.
일 실시예에서, 상기 촬영부는, 정규영상의 생성에 대응하여 상기 사용자의 홍채를 복수 회 촬영할 수 있다.
일 실시예에서, 상기 촬영부는, 미리 설정된 주기에 기초하여, 상기 홍채를 복수 회 촬영할 수 있다.
일 실시예에서, 상기 제어부는, 이벤트가 발생하는 경우 상기 생성된 정규 영상을 이용하여 사용자를 인증하고, 상기 이벤트가 발생하기 전 상기 홍채의 일부 영역들을 복수 회 촬영하도록 상기 촬영부를 제어할 수 있다.
일 실시예에서, 상기 제어부는, 미리 저장된 사용자의 전체 홍채 영상과 상기 생성된 정규 영상을 비교함에 따라, 사용자를 인증할 수 있다.
일 실시예에서, 상기 제어부는, 상기 부분 영상에 포함된 상기 홍채의 외곽선 곡률을 이용하여 상기 정규 영상을 생성할 수 있다.
일 실시예에서, 상기 제어부는, 상기 부분 영상이 상기 홍채의 내곽선을 포함하는 경우, 상기 내곽선의 곡률을 이용하여 상기 내곽선을 포함하는 가상의 원의 반지름의 크기로부터 동공의 크기를 추정할 수 있다.
일 실시예에서, 상기 제어부는, 상기 부분 영상이 상기 홍채의 내곽선을 포함하는 경우, 상기 내곽선의 곡률을 이용하여 상기 내곽선을 포함하는 가상의 원의 반지름의 크기로부터 동공의 크기를 추정할 수 있다.
일 실시예에서, 상기 제어부는 상기 획득된 부분 영상들의 촬영 거리가 상이하면, 상기 촬영 거리에 기초하여 상기 획득된 부분 영상의 크기를 조절할 수 있다.
일 실시예에서, 상기 제어부는, 상기 획득된 부분 영상에 대하여 감마(gamma) 보정, 콘트라스트(contrast) 보정, 및 선명도(sharpness) 중 적어도 하나를 포함하는 보정 처리를 수행할 수 있다.
일 실시예에서, 상기 제어부는, 사용자의 인증을 필요로 하는 소정 이벤트가 발생됨에 따라, 사용자의 홍채를 촬영하기 위한 사용자 인터페이스 및 상기 홍채의 전체 영역 중 특정 위치를 포함하는 홍채의 부분 영상을 획득하기 위해 사용자의 눈이 바라볼 위치를 가이드하는 사용자 인터페이스를 제공할 수 있다.
본 발명의 일 실시예에 따른 머리 착용형 장치는, 상기 머리 착용형 장치에 배치된 복수의 전극들; 및 상기 복수의 전극들을 통해 심전도 신호를 수신하고, 상기 수신된 심전도 신호에 기반하여 사용자 인증을 수행하는 제어부를 포함할 수 있다.
일 실시예에서, 상기 복수의 전극들이, 상기 머리 착용형 장치의 내측에 위치하고 착용 시 머리에 접촉되는 제 1 접촉부, 및 상기 머리 외의 다른 신체 부위와 접촉 가능한 제 2 접촉부 중 적어도 하나에 배치될 수 있다.
일 실시예에서, 상기 머리 착용형 장치는 다리부, 렌즈 프레임, 및 코 받침부를 포함하고, 상기 제 1 접촉부는 사용자가 착용 시 사용자와 접촉하는 상기 다리부의 중단 및 코 받침부 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 제 2 접촉부는 상기 렌즈 프레임 상단, 상기 렌즈 프레임과 연결되는 상기 다리부 선단, 및 상기 다리부의 말단 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 제어부가, 상기 머리 착용형 장치에 배치된 복수의 전극들로부터 복수의 심전도 신호를 수신하는 경우, 설정에 따라 상기 복수의 심전도 신호 중 상기 사용자 인증을 수행하는 적어도 하나의 심전도 신호를 결정하고, 상기 결정된 적어도 하나의 심전도 신호에 기반하여, 사용자 인증을 수행할 수 있다.
일 실시예에서, 상기 제어부가, 상기 머리 착용형 장치가 사용자에 착용되는지 결정할 수 있다.
일 실시예에서, 디스플레이부를 더 포함하고, 상기 제어부가, 상기 머리 착용형 장치가 사용자에 착용되지 않은 것으로 결정하면, 상기 머리 착용형 장치 착용을 위한 안내를 출력하도록 디스플레이부를 제어할 수 있다.
일 실시예에서, 상기 제어부가, 심전도 센서 외 다른 적어도 하나의 생체 센서를 통하여 사용자를 인증하기 위한 사용자 입력을 수신하고, 상기 다른 적어도 하나의 생체 센서를 통해 사용자의 생체 정보를 수신하며, 상기 수신된 사용자의 생체 정보 및 상기 생체 정보에 상응하는 기등록된 사용자의 생체 정보의 제 1 일치율을 결정하고, 상기 복수의 전극들을 통해 수신된 심전도 신호 및 기등록된 심전도 신호의 제 2 일치율을 결정하며, 상기 1 일치율 및 상기 제 2 일치율을 조합하여 상기 사용자 인증을 수행할 수 있다.
일 실시예에서, 상기 제 2 일치율을 결정하기 위하여, 상기 수신된 심전도 신호의 파형 중 적어도 일부분에 가중치를 설정할 수 있다.
일 실시예에서, 어플리케이션 실행을 위한 사용자 입력을 수신하는 입력부를 더 포함하고, 상기 제어부가, 상기 복수의 전극들 중 상기 입력부를 통해 상기 사용자 입력이 수신된 어플리케이션의 인증을 위하여 설정된 전극들을 확인하고, 상기 확인된 전극들을 통해 심전도 신호를 수신할 수 있다.
일 실시예에서, 디스플레이부를 더 포함하고, 상기 제어부가, 상기 복수의 전극들을 통해 수신된 심전도 신호 및 기등록된 심전도 신호의 제 3 일치율을 결정하고, 상기 결정된 일치율이 상기 심전도 신호 수신 이전에 일정 시간 동안 수신된 적어도 하나의 심전도 신호에 기반하여 결정된 적어도 하나의 제 4 일치율을 비교하며, 상기 제 3 일치율이 상기 적어도 하나의 제 4 일치율 보다 작은 경우, 사용자의 건강에 이상이 있음을 출력하도록 상기 디스플레이부를 제어할 수 있다.
본 발명의 다양한 실시예에 따른 생체 정보를 이용한 사용자 인증 방법 및 이를 지원하는 머리 착용형 장치는 무자각적으로(unconscious) 사용자 인증을 수행하도록 지원할 수 있다.
도 1은 본 발명의 일 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 개념도이다.
도 2a는 본 발명의 일 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 HMD의 사시도를 도시한다.
도 2b는 본 발명의 일 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 HMD의 정면도를 도시한다.
도 2c는 본 발명의 일 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 HMD의 좌측면도를 도시한다.
도 2d는 본 발명의 일 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 HMD의 평면도를 도시한다.
도 2e는 본 발명의 다른 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 HMD의 사시도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 HMD의 블록도를 도시한다.
도 5 내지 도 7은 일 실시예에 따른 HMD의 제어 방법의 흐름도이다.
도 8은 일 실시예에 따른 사용자의 홍채 영상을 획득하기 위한 사용자 인터페이스의 예를 설명하기 위한 도면이다.
도 9은 일 실시예에 따른 홍채 영역을 설명하기 위한 도면이다.
도 10 내지 도 11은 일 실시예에 따른 홍채의 부분 영상의 예를 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 홍채 영상의 정규화를 설명하기 위한 도면이다.
도 13 내지 도 15는 일 실시예에 따른 홍채의 부분 영상으로부터 홍채의 크기를 결정하는 예를 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 홍채 영상을 이용한 사용자 인증의 예를 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 18은 본 발명의 일 실시예에 따라 복수의 전극을 통해 수신되는 심전도 신호에 기반하여 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 19는 본 발명의 일 실시예에 따라 복수의 전극을 통해 수신되는 심전도 신호로부터 측정된 심전도를 도시한다.
도 20은 본 발명의 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 21은 본 발명의 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 표이다.
도 22는 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 23은 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 예시도이다.
도 24는 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 25는 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 26은 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 예시도이다.
도 27은 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 28은 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 예시도이다.
이하 첨부된 도면을 참조하면서 본 발명을 한정하지 아니하고 오로지 예시를 위일 실시예에 의해 본 발명을 상세히 설명하기로 한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
“제 1”, “제 2” 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
명세서 전반에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 명세서 전반에서 사용한 용어는 그 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 선정한 용어에 대하여 상세히 그 의미를 기재할 것이다. 따라서, 명세서 전반에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 특히, 명세서상에 기재된 숫자들은 이해를 돕기 위한 예로서, 본 발명은 명세서상에 기재된 숫자들에 의해 한정되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 개념도이다.
일 실시예에서, 머리 착용형 장치(Head Mounted Device; HMD)(100)가 사용자에 착용된 상태에서, 사용자의 자각 없이(즉, 무자각적으로(unconscious)) HMD(100)는 생체 정보를 획득할 수 있다.
일 실시예에서, 도 1에 도시된 바와 같이, HMD(100)는 생체 정보로서 사용자의 홍채 영상을 획득할 수 있다. 예를 들어, HMD(100)는 촬영부(B)를 통해 사용자의 홍채 영상을 획득할 수 있다.
일 실시예에서, HMD(100)는 촬영부(B)를 통해 사용자의 홍채의 일부 영역이 촬영된 경우, 복수 개의 부분 영상을 조합하여 사용자 인증에 활용할 수 있다.
일 실시예에서, 홍채의 일부 영역이 촬영되는 경우는, 예를 들어, HMD(100)의 촬영부(B)로부터 사용자의 눈까지의 촬영 거리가 소정 임계치 이하로 가까워서, 촬영부(B)가 사용자의 눈의 홍채 전체 영역을 모두 취득하기 어려운 경우일 수 있다. 다른 예에서, HMD의(100) 촬영부(B)의 화각이 좁아서, 홍채 전체 영역을 모두 촬영하기 어려운 경우일 수 있다. 또 다른 예에서, 홍채 주변 영역이 함께 촬영되어 홍채 전체 영역이 촬영되지 않은 경우일 수 있다.
다른 실시 예에서, HMD(100)는 HMD(100)가 사용자와 접촉되는 부분에 배치된 전극(A)을 통해 생체 정보로서 심전도 신호를 획득할 수 있다. 도 1은 전극이 HMD(100)의 다리 부분에 배치되는 것으로 도시하고 있지만, 이에 제한되지 않는다. 예를 들어, 복수의 전극들이 HMD(100)에 배치될 수 있다.
도 2a는 본 발명의 일 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 HMD(100)의 사시도를 도시한다.
일 실시예에서, HMD(100)는 다리부(101), 렌즈(102), 렌즈 프레임(103), 코 받침부(104), 복수의 전극들(121 내지 129), 디스플레이부(111), 촬영부(112), 오디오 출력부(113), 입력부(114) 및 전원 공급부(116) 등을 포함할 수 있다. 일 실시예에서, HMD(100)에 포함되는 구성들은 HMD(100)의 외부에 부착(또는 장착)될 수 있다. 다른 실시예에서, HMD(100)에 포함되는 구성들은 HMD(100)에 내장될 수 있다. 일 실시예에서, HMD(100)는 위에서 열거한 구성보다 적은 구성들을 포함할 수 있다. 다른 실시예에서, HMD(100)는 위에서 열거한 구성보다 많은 구성들을 포함할 수 있다. 예를 들어, HMD(100)는 도시하지는 않았지만, 사용자의 생체 정보를 센싱하기 위한 구성으로서, 심전도 센서, 지문 센서 등 센싱부를 더 포함할 수 있다.
일 실시예에서, 다리부(101)는 사용자가 HMD(100)를 착용하는 경우, 다리부(101)의 일부분이 사용자와 접촉함으로써, HMD(100)를 사용자에 고정할 수 있다. 일 실시예에서, 다리부(101)는 플라스틱 및/또는 금속 등의 소재로 구성될 수 있으며, 다리부(101)에 포함되는 구성 요소들을 서로 연결하는 배선을 포함할 수 있다. 다른 실시예에서, 다리부(101)는 연결 부재(미도시)를 포함함으로써, 다리의 일부가 접힐 수 있는 구조로 구성될 수 있다. 또 다른 실시예에서, 다리부(101)는 소재에 따라 플렉서블(flexible)하게 동작할 수 있다. 일 실시예서, 다리부(101)는 사용자의 귀에 걸 수 있는 형태로 구성될 수 있으나 이에 제한되지 않는다. 다른 실시예에서, 다리부(101)는 사용자의 머리 뒤 부분 주변까지 확장되도록 구성될 수 있다.
일 실시예에서, 렌즈(102)는 사용자가 렌즈(102)를 통해 실제 공간을 볼 수 있는 투명한 물질로 구성될 수 있다. 렌즈(102)는 폴리카보네이트와 같은 플라스틱, 또는 유리 물질로 구성될 수 있으나 이에 제한되지 않는다. 렌즈(102)는 빛 반사, 눈부심 방지 코딩, 김서림 방지 코팅 및 자외선 차단 코팅 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 렌즈 프레임(103)은 렌즈(102)를 고정(또는 지지)할 수 있다. 렌즈 프레임(103)은 플라스틱 및/또는 금속 등의 소재로 구성될 수 있으며, 렌즈부(103)에 포함 또는 부착되는 구성 요소들을 서로 연결하는 배선을 포함할 수 있다. 다른 실시예에서, 렌즈 프레임(103)은 연결 부재(미도시)를 포함함으로써, 렌즈 프레임(103)의 일부가 접힐 수 있는 구조로 구성될 수 있다. 또 다른 실시예에서, 렌즈 프레임(103)은 플렉서블(flexible)하게 동작하도록 구성될 수 있다.
일 실시예에서, 코 받침부(104)는 사용자가 HMD(100)를 착용하는 경우, 코 받침부(104)의 일부분이 사용자의 콧등과 접촉함으로써, 렌즈(102)를 포함하는 HMD(100)를 사용자에 고정할 수 있다.
일 실시예에서, 렌즈 프레임(103)과 코 받침부(104)는 일체형으로 구성될 수 있으나 이에 제한되지 않는다. 일 실시예에서, 다리부(101)와 렌즈 프레임(103)은 일체형으로 구성될 수 있으나, 이에 제한되지 않는다.
일 실시예에서, 촬영부(112)는 이미지 센서(미도시)를 포함할 수 있다. 촬영부(112)는 복수의 렌즈와 이미지 프로세싱을 이용하여 광학 줌(optical zoom) 또는 디지털 줌(digital zoom)을 지원할 수 있다. 일 실시예에서, 촬영부(112)의 인식 범위는 카메라의 각도 및 주변 환경 조건에 따라 다양하게 설정될 수 있다. 일 실시예에서, 촬영부(112)가 복수개의 카메라로 구성되는 경우, 복수의 카메라를 이용하여 3차원 정지 이미지 또는 3차원 모션을 수신할 수 있다.
일 실시예에서, 촬영부(112)는 적외선 카메라, TOF(Time-of-Flight) 카메라를 포함할 수 있다.
일 실시예에서, 촬영부(112)는 조명부를 더 포함할 수 있다. 예를 들어, 촬영부(112)는 가시광 광원에 대하여 피사체에서 반사된 반사광을 획득하는 가시광 조명부, 및 적외선 광원에 대하여 피사체에서 반사된 반사광을 획득하는 적외선(Infrared Ray; IR) 조명부 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 조명부로서 가시광 조명부를 이용할 지, 또는 적외선 조명부를 이용할 지 여부는 피사체의 성질 및 크기 등에 따라 적절한 조명을 선택하는 것이 바람직하다.
일 실시예에서, 도 2a 내지 도 2e에서, 촬영부(112)가 HMD(100)의 디스플레이부(111) 일측에 배치된 것으로 도시하고 있지만, 이에 제한되지 않는다. 예를 들어, 촬영부(112)는 렌즈(102), 또는 렌즈 프레임(103) 상에 배치될 수 있다. 다른 예에서, 복수의 촬영부(112)가 HMD(100)에 포함될 수 있다. 예를 들어, 적어도 하나의 촬영부가 사용자의 홍채를 촬영하기 위하여 HMD에 추가로 배치될 수 있다. 추가로 배치되는 적어도 하나의 촬영부는 렌즈 프레임(103) 내측에 배치되어 사용자의 홍채를 촬영할 수 있다.
일 실시예에서, 촬영부(112)는 HMD(100)과 일체형 또는 분리형으로 구현될 수 있다. 분리된 촬영부(112)를 포함하는 별도의 장치(도시되지 아니함)는 통신부 또는 입/출력부를 통해 HMD와 전기적으로 연결될 수 있다.
일 실시예에서, 촬영부(112)는 사용자의 홍채를 촬영하여 홍채 영상을 획득할 수 있다. 일 실시예에서, 촬영부(112)는, 홍채의 전체 영역 중에서, 제어부의 제어에 의해 조합된 부분 영상에 대응되는 영역이 차지하는 비율이 기 설정된 임계치 이상이 될 때까지, 사용자의 홍채를 복수 회 촬영할 수 있다.
일 실시예에서, 촬영부(112)는, 미리 설정된 주기에 따라 상기 홍채를 복수 회 촬영할 수 있다.
일 실시예에서, 촬영부(112)는, 상기 사용자의 인증을 필요로 하는 소정 이벤트가 발생되기 이전에 미리 상기 홍채의 일부 영역들을 복수 회 촬영할 수 있다.
일 실시예에서, 복수의 전극들(121 내지 129)은 사용자로부터 심전도 신호를 입력받을 수 있다. 일 실시예에서, 복수의 전극들(121 내지 129)은 HMD(100)의 다양한 위치에 배치될 수 있다. 예를 들어, 복수의 전극들(121 내지 129)은 다리부(101), 렌즈 프레임(103) 및 코 받침부(104) 등에 배치될 수 있다.
일 실시예에서, 전극이 다리부(101)에 부착되는 경우, 전극은 사용자가 HMD(100) 착용 시 사용자와 접촉하는 내측을 비롯하여 사용자의 손 등에 의해 접촉될 수 있는 외측, 상측 및 하측에 배치될 수 있다. 다리부(101)가 렌즈(102) 프레임과 연결되는 부분으로부터 다리 끝부분까지 연장되는 길이를 기준으로 렌즈(102) 프레임과 연결되는 부분(이하, '다리부 선단(101-2)'으로 지칭함), 사용자가 HMD(100) 착용 시 사용자와 접촉하는 부분(이하, '다리부 중단(101-1)'으로 지칭함), 및 다리부(101) 중단부터 다리 끝부분(이하,'다리부 말단(101-3)'으로 지칭함)으로 구분하여 설명한다.
일 실시예에서, 다리부 선단(101-2)은 렌즈 프레임(103)과 연결되는 부분부터 HMD(100)가 사용자에 착용되는 경우 사용자와 접촉되지 않는 부분까지를 지칭할 수 있다. 예를 들어, 다리부 선단(101-2)은 렌즈 프레임(103)과 연결되는 부분부터 사용자의 관자 놀이 부위에 수직하게 이격된 부위까지를 지칭할 수 있다. 다만, HMD(100)의 형태에 따라, HMD(100)가 사용자에 착용되는 경우 사용자의 관자 놀이 부위가 다리부(101)와 접촉되도록 HMD(100)가 구성되는 경우에는, 다리부 선단(101-2)은 렌즈 프레임(103)과 연결되는 부분부터 사용자의 눈 끝부분에 수직하게 이격된 부분까지를 지칭할 수 있다. 전극(125) 및 전극(126)는 HMD의 다리부 선단(101-2)에 배치되어 사용자의 손가락 등의 접촉에 의하여 사용자로부터 심전도 신호를 수신할 수 있다.
일 실시예에서, 다리부 중단(101-1)은 HMD(100)가 사용자에 착용되는 경우, 사용자와 접촉하는 다리부(101) 부분일 수 있다. 예를 들어, 다리부 중단(101-1)은 HMD(100)가 사용자에 착용되는 경우, 사용자의 관자 놀이 부위와 머리 뒷 부분 방향으로 인접한 부위와 접촉되는 부분부터 다리부(101)가 걸리는(또는 지지되는) 사용자 귀 부분에 접촉되는 다리부(101) 부분에 해당될 수 있다. 전극(123)이 다리부 중단(101-1)의 내측에 배치되는 경우, 사용자가 HMD(100)를 착용하고 있는 동안 별도의 사용자 입력 없이도(즉, 무자각으로) 전극(123)을 통해 심전도 신호가 수신될 수 있다.
일 실시예에서, 다리부 말단(101-3)은 HMD(100)가 사용자에 착용되는 경우, 사용자와 접촉하지 않으며, 다리부 중단(101-1)부터 다리부(101)의 끝부분까지로 지칭될 수 있다. 일 실시예에서, 복수의 전극들 간 이격 거리가 먼 경우 보다 정확한 심전도 측정을 할 수 있다. 예를 들어, 다리부 말단(101-3)에 적어도 하나의 전극을 배치하고, 다리부 말단(101-3)과 이격 거리가 먼 코 받침부(104)에 다른 적어도 하나의 전극을 배치함으로써, 보다 정확한 심전도 측정이 가능하다.
일 실시예에서, 복수의 전극들 중 전극(126)은 다리부 선단(101-2)의 외측에 배치되고, 전극(125)은 상측에 배치되며, 다른 전극(미도시)이 하측(미도시)에 배치될 수 있다. 다른 예에서, 전극(123)은 다리부 중단(101-1)의 내측에 배치될 수 있다. 또 다른 예에서, 전극(121)은 다리부 말단(101-1)의 외측에 배치되고, 다른 전극들이 다리부 말단(101-1)의 상측, 및 하측에 배치될 수 있다. 다만, 이는 실시예이며 본 발명의 기술적 사상은 이에 제한되지 않는다. 일 실시예에서, 복수의 전극들(121 내지 129) 중 적어도 하나의 전극은 HMD(100)의 기능을 수행하는 구성과 중첩되도록 배치될 수 있다. 예를 들어, 전극(126)은 전원 버튼(117) 아래 적층될 수 있다. 전극(126)이 전원 버튼(117) 아래 적층되도록 구성되는 경우, 전극(126)의 일 면의 넓이가 전원 버튼(117)의 일 면의 넓이보다 클 수 있다. 다시 말해, 전극(126)의 일 면의 일부는 전원 버튼(117)의 일 면과 중첩되고, 전극의 일 면 중 테두리(또는 모서리) 영역(126)은 외부로 노출될 수 있다. 전극의 일면 중 노출된 테두리 영역(126)은 사용자 손가락 등의 접촉을 통해 사용자로부터 심전도 신호를 입력 받을 수 있다.
다른 실시예에서, 복수의 전극들(121 내지 129) 중 적어도 하나의 전극은 HMD(100)의 기능을 수행하는 구성 주변에 배치될 수 있다. 예를 들어, 전극(126)이 루프(또는 링) 형태로 구성되고, 루프 형태의 전극(126)이 전원 버튼(117)의 일 면을 둘러싸도록 배치될 수 있다. 이 경우, 루프 형태의 전극의 내부 경계 및 전원 버튼(117)의 일 면의 경계는 맞닿을 수 있다.
일 실시예에서, 전극(126)이 전원 버튼과 중첩되도록 배치되거나, 전원 버튼(117) 주변에 배치되는 경우, 전극(126) 및 전원 버튼(117)을 통해 사용자로부터 동시에 사용자 입력을 입력 받을 수 있다. 예를 들어, 전극(126)이 전원 버튼(117)과 중첩되도록 배치되거나, 전원 버튼(117) 주변에 배치되는 경우, 사용자는 전극(126) 및 전원 버튼(117)을 동시에 터치할 수 있다. 이러한 경우 전극(126)을 통해 사용자로부터 심전도 신호가 수신되고, 전원 버튼 입력에 의해 HMD(100) 각 구성으로 전원이 공급될 수 있다.
다만, HMD(100)의 기능을 수행하는 구성으로서 전원 버튼(117)을 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 전원 버튼(117) 외에도 터치 패드와 같이 사용자에 의해 터치되면 전극과 동시에 터치되는 구성은 모두 적용될 수 있다.
일 실시예에서, 전극(129)은 렌즈 프레임(103)에 배치될 수 있다. 도 2a에서 전극(129)이 렌즈 프레임(103)의 상측에 배치된 것을 도시하고 있지만 이에 제한되지 않는다. 예를 들어, 전극은 렌즈 프레임(103)의 측면 부분에도 배치될 수 있다. 일 실시예에서, 전극은 렌즈 프레임(103)이 연장되는 길이를 기준으로 렌즈 프레임(103)의 양 끝단 부분에 배치될 수 있다. 다만, 이에 제한되지 않으며, 전극은 렌즈 프레임(103)의 중단에 배치될 수도 있다. 전극(129)이 렌즈 프레임(103)에 배치됨으로써, 사용자는 HMD(100)를 착용한 상태에서 손가락 등을 이용하여 손쉽게 전극(129)을 터치할 수 있다.
일 실시예에서, 전극(127)은 코 받침부(104)에 배치될 수 있다. 전극(127)이 코 받침부(104)에 배치되는 경우, 전극(127)은 사용자가 HMD(100)를 착용하는 경우, 사용자의 콧등과 접촉될 수 있다. 이러한 경우, 사용자가 HMD(100)를 착용하고 있는 동안 별도의 사용자 입력(예: 터치 입력) 없이 사용자로부터 심전도 신호를 수신할 수 있다. 이하에서는, 설명의 편의상 다리부 중단(101-1) 내측, 코 받침부(104) 등은 HMD 내측에 위치하고 HMD(100) 착용 시 사용자와 접촉되는 부분으로서 '접촉부'와 혼용하고, 다리부 선단(101-2) 및 말단(101-3), 렌즈 프레임(103) 등은 사용자가 HMD(100) 착용 시 사용자와 접촉되지 않는 부분으로서 '비접촉부'와 혼용하기로 한다. 일 실시예에서, 비접촉부는 사용자 머리 외의 다른 신체 부위 예를 들어, 사용자의 손가락 등에 의해 접촉 가능한 부분을 지칭할 수도 있다.
또한, HMD(100)에 포함된 디스플레이부(111), 촬영부(112), 오디오 출력부(113), 입력부(114) 및 전원 공급부(116) 등은 도 4 이하에서 상세히 설명하도록 한다.
도 2b는 본 발명의 일 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 HMD(100)의 정면도를 도시한다.
도 2b를 참조하면, 전극(129)은 렌즈 프레임(103) 상측에 배치될 수 있다. 다만, 이에 제한되지 않는다. 예를 들어, 전극은 디스플레이부(111) 또는 렌즈(102) 상에 배치될 수 있다. 일 실시예에서, 전극이 렌즈(102) 상에 배치되는 경우, 전극은 투명 전극으로 구성될 수 있다. 다른 예에서, 전극은 렌즈(102)가 부착(또는 장착)된 렌즈 프레임(103) 하측 부분을 제외하고, 렌즈 프레임(103) 측면 부분에 배치될 수 있다.
일 실시예에서, 전극(127)은 코 받침부(104)에 배치될 수 있다. 실시예에 따라 코 받침부(104)는 생략될 수 있다. 일 실시예에서, 전극(127)이 코 받침부(104)에 배치되는 경우, 사용자가 HMD(100) 착용 시 전극(127)은 사용자와 접촉할 수 있다. 이를 통해, 사용자가 HMD(100)를 착용하는 동안 별도의 입력(예: 터치 입력) 없이도 전극(127)을 통해 심전도 신호를 수신할 수 있다.
도 2c는 본 발명의 일 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 HMD(100)의 좌측면도를 도시한다.
도 2c를 참조하면, 전극은 렌즈 프레임(103), 코 받침부(104), 및 다리부(101) 등에 배치될 수 있다. 일 실시예에서, 전극(126)은 전원 버튼(117)과 중첩되는 부분(126)에 배치될 수 있다.
도 2d는 본 발명의 일 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 HMD(100)의 평면도를 도시한다.
도 2d를 참조하면, 전극은 다리부(101), 렌즈 프레임(103), 및 코 받침부(104) 등에 배치될 수 있다.
도 2e는 본 발명의 다른 실시예에 따른 생체 정보를 이용한 사용자 인증 방법을 설명하기 위한 HMD(100)의 사시도를 도시한다.
도 2e는 예를 들어, 사용자의 왼쪽 귀와 사용자의 코 받침부(104) 중 왼쪽 부분을 통해 사용자의 얼굴에 고정되는 외눈 안경과 같은 형태로 구성될 수 있다. 다만, HMD(100)는 이에 제한되지 않는다. 예를 들어, 사용자의 오른쪽 귀와 사용자의 코 받침부(104) 중 오른쪽 부분을 통해 사용자의 얼굴에 고정되는 외눈 안경과 같은 형태로 구성될 수도 있다.
일 실시예에서, 도 2e의 HMD(100)는 도 2a의 HMD(100)에서 렌즈 프레임(103)의 중심을 기준으로 왼쪽에 해당하는 부분은 동일할 수 있다.
일 실시예에서, 전극은 다리부(101), 렌즈 프레임(103), 및 코 받침부(104)에 적어도 2이상이 배치될 수 있다.
이와 같이, 본 발명의 다양한 실시예에 따른 HMD(100)의 다양한 부위에 전극을 배치함으로써 보다 정확한 심전도 신호를 입력 받을 수 있다. 다시 말해, 복수의 전극들 간 이격 거리가 먼 경우, 보다 정확한 심전도 측정이 가능하다. 따라서, 사용자 선택에 따라 상호 멀리 이격된 전극들을 통해 보다 정확한 심전도 신호를 수신할 수 있다.
또한, 사용자가 HMD(100)를 착용하는 동안 별도의 사용자 입력 없이도 사용자에 접촉된 전극을 통해 심전도 신호를 수신하고, 수신된 심전도 신호에 기반한 사용자 인증이 가능하다.
도 3은 본 발명의 일 실시예에 따른 HMD의 블록 도면을 도시한다.
도 3a을 참조하면, HMD(100)는 기구부(301), 오디오 출력부(325), 전원부(330), 심전도 센서(340-1), 촬영부(362), 입/출력부(370), 제어부(380), 및 저장부(390)를 포함할 수 있다. 그러나 도시된 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 HMD(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 HMD(100)는 구현될 수 있다.
예를 들어, 도 3b에 도시된 바와 같이, HMD는, 비디오 처리부(310), 디스플레이부(315), 오디오 처리부(320), 오디오 출력부(325), 센싱부(340), 통신부(350), 감지부(360) 등을 더 포함할 수 있다.
일 실시예에서, 기구부(301)은 HMD의 다리부(101), 렌즈(102), 렌즈 프레임(103) 및 코 받침부(104) 등을 포함할 수 있다. 기구부(301)에 포함된 구성에 관한 설명은 도 2a 내지 도 2e와 중복되므로 상세한 설명은 생략하도록 한다.
일 실시예에서, 비디오 처리부(310)는, HMD(100)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(310)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
일 실시예에서, 디스플레이부(315)는 통신부(150) 또는 입/출력부(370)를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이부(315)는 제어부(380)의 제어에 의해 저장부(390)에 저장된 영상을 출력할 수 있다. 또한, 디스플레이부(315)는 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 음성 UI(User Interface: 예를 들어, 음성 명령어 가이드를 포함하는) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 모션 UI(예를 들어, 모션 인식을 위한 사용자 모션 가이드를 포함)를 표시할 수 있다.
일 실시예에서, 디스플레이부(315)는 반투명 광 파장 가이드(optical waveguide)(예: 프리즘)를 포함할 수 있다. 반투명 광 파장 가이드는 프로젝터로부터 출력되는 빛을 반사시켜 HMD(100)를 착용하는 사용자의 눈의 망막(retina)의 횡반(fovea)에 이미지를 포커싱할 수 있다.
일 실시예에서, 디스플레이부(315)는 제어부(380) 제어 하에 HMD(100)에 수신된 복수의 전극들로부터 수신된 심전도 신호에 기반하여 다양한 화면을 출력할 수 있다. 예를 들어, 디스플레이부(315)는 제어부(380) 제어 하에 사용자가 HMD(100)를 정상적으로 착용하고 있지 않은 것으로 확인되면, 사용자에게 HMD(100)를 정상적으로 착용할 것을 요청하는 문구를 출력할 수 있다.
일 실시예에 따라, 디스플레이부(315)는, 사용자의 인증을 필요로 하는 소정 이벤트가 발생됨에 따라(예컨대, 소정의 애플리케이션을 실행), 제어부(380)의 제어에 의해, 사용자의 홍채를 촬영하기 위한 사용자 인터페이스를 표시할 수 있다.
일 실시예에서, 디스플레이부(315)는, 제어부(380)의 제어에 의해, 홍채의 전체 영역 중 특정 위치를 포함하는 홍채의 부분 영상을 획득하기 위해 사용자의 눈이 바라볼 위치를 가이드하는 사용자 인터페이스를 표시할 수 있다.
일 실시예에서, 오디오 처리부(320)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(320)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(320)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
일 실시예에서, 오디오 출력부(325)는 통신부(350) 또는 입/출력부(370)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(325)는 제어부(380)의 제어에 의해 저장부(390)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(325)는 스피커(326), 헤드폰 출력 단자(327) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자(328) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(325)는 스피커(326), 헤드폰 출력 단자(327) 및 S/PDIF 출력 단자(328)의 조합을 포함할 수 있다.
일 실시예에서, 오디오 출력부(325)는 HMD(100)의 사용자 귀에 장착될 수 있는 이어폰 형태로 구성될 수 있으나 이에 제한되지 않는다. 일 실시예에서, 오디오 출력부(325)는 HMD(100)로부터 탈착이 가능하도록 구성되어 사용자가 선택적으로 오디오 출력부(325)를 사용자의 귀에 끼울 수 있도록 구성될 수 있다.
일 실시예에서, 오디오 출력부(325)에 심전도 신호를 수신하기 위한 복수의 전극들이 배치될 수 있다. 오디오 출력부(325)에 복수의 전극들이 배치된 경우, 사용자가 HMD(325)를 착용하면 복수의 전극들을 통해 사용자의 심전도 신호가 입력될 수 있다.
일 실시예에서, 오디오 출력부(325)는 제어부(380) 제어 하에 HMD(100)에 수신된 복수의 전극들로부터 수신된 심전도 신호에 기반하여 다양한 음성을 출력할 수 있다. 예를 들어, 디스플레이부(315)는 제어부(380) 제어 하에 사용자가 HMD(100)를 정상적으로 착용하고 있지 않은 것으로 확인되면, 사용자에게 HMD(100)를 정상적으로 착용할 것을 요청하는 안내문 등을 출력할 수 있다.
전원부(330)는 제어부(380)의 제어에 의해 HMD(100) 내부의 구성 요소들(310 내지 390)로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(330)는 제어부(380)의 제어에 의해 HMD(100) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 출력되는 전원을 내부의 구성 요소들(310 내지 390)에게 공급할 수 있다.
일 실시예에서, 전원부(330)는 HMD(100)의 다양한 부분에 배치될 수 있다. 예를 들어, 전원부(330)는 다리부 말단에 배치될 수 있다.
일 실시예에서, 센싱부(340)는, HMD(100)의 상태 또는 HMD(100) 주변의 상태를 감지하고, 감지된 정보를 제어부(130)로 전달할 수 있다. 센싱부(340)는, 심전도 센서(340-1), 지자기 센서(Magnetic sensor)(341), 가속도 센서(Acceleration sensor)(342), 온/습도 센서(343), 적외선 센서(344), 자이로스코프 센서(345), 위치 센서(예컨대, GPS)(346), 기압 센서(347), 근접 센서(348), 및 RGB 센서(illuminance sensor)(349), 지문 센서(340-4) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 심전도 센서(340-1)는 심전도 센서(340-1)에 포함된 전극부(340-2)를 통해 사용자로부터 사용자의 심전도 신호를 센싱할 수 있다. 일 실시예에서, 심전도 센서(340-1)는 전극부(340-2)에 포함된 전극들을 통해 심전도 신호가 수신되면 수신된 심전도 신호를 측정 및 분석하고, 측정 및 분석된 심전도 신호를 제어부(380)로 전달할 수 있다.
일 실시예에서, 심전도 센서(340-1)는 차등 증폭기(differential amplifier)(340-3)를 포함할 수 있다. 차등 증폭기(340-3)는 복수의 전극들로부터 입력되는 복수의 심전도 신호를 차분 및 증폭함으로써 심전도를 출력할 수 있다. 예를 들어, 다리부(101)에 배치된 일 전극으로부터 수신된 심전도 신호의 전압 및 코 받침부(104)에 배치된 일 전극으로부터 수신된 심전도 신호의 전압 간 차분 값을 산출하고, 산출된 차분값을 증폭하여 출력할 수 있다. 다른 실시예에서, 차등 증폭기(340-3)은 제어부(380)에 포함될 수도 있다.
다른 실시예에서, 차등 증폭기(340-3)는 복수의 전극들 중 적어도 하나로부터 수신된 심전도 신호에 기반하여 노이즈(noise)를 제거할 수 있다. 예를 들어, 다리부(101)에 배치된 일 전극으로부터 수신된 심전도 신호의 전압 및 코 받침부(104)에 배치된 일 전극으로부터 수신된 심전도 신호의 전압 간 차분 값을 산출하고, 렌즈 프레임(103)으로부터 수신된 심전도 신호를 이용하여 산출된 차분 값에 포함된 노이즈를 제거할 수 있다. 이를 통해 보다 정확한 심전도 출력이 가능하다. 일 실시예에서, 지문 센서(340-4)는 사용자로부터 사용자의 지문에 대한 정보를 센싱할 수 있다. 센싱부(340)는 위에 열거한 센서를 더 포함하거나 덜 포함할 수 있다.
또한, 센싱부(340)는 입력 도구에 의한 터치 입력을 감지하기 위한 센서 및 사용자에 의한 터치 입력을 감지하기 위한 센서를 포함할 수 있다. 이 경우, 사용자에 의한 터치 입력을 감지하기 위한 센서는 터치 스크린 또는 터치 패드에 포함될 수 있다. 또한, 입력 도구에 의한 터치 입력을 감지하기 위한 센서는 터치 스크린 또는 터치 패드의 하부에 위치하거나, 터치 스크린 또는 터치 패드 내에 포함될 수 있다.
일 실시예에서, 통신부(350)는 제어부(380)의 제어에 의해 HMD(100)를 외부 장치(예를 들어, 오디오 장치 등)와 연결할 수 있다. 제어부(380)는 통신부(350)를 통해 연결된 외부 장치로 컨텐츠를 송/수신, 외부 장치로부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다.
일 실시예에서, 통신부(350)는 HMD(100)의 성능 및 구조에 대응하여 무선 랜(351), 및 블루투스(352) 중 적어도 하나를 포함할 수 있다. 통신부(350)는 무선랜(351), 및 블루투스(352)의 조합을 포함할 수도 있다.
일 실시예에서, 통신부(350)는 BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 통신부(350)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
일 실시예에서, 통신부(350)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신하는 방송 수신부를 포함할 수 있다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다.
일 실시예에서, 통신부(350)는 제어부(380)의 제어에 의해, 외부 제어 장치의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.
일 실시예에 따른 통신부(350)는 제어부(315)의 제어에 따라, 외부 음향 기기와 통신할 수 있다. 특히, 일 실시예에 따라, 통신부(350)는 BLE(Bluetooth Low Energy) 통신부, WLAN(와이파이) 통신부를 포함할 수 있으며, 소정 거리 내에 위치한 외부 음향 기기와 소정의 제어 신호를 송수신할 수 있다.
일 실시예에서, 감지부(360)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지한다.
일 실시예에서, 마이크(361)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(361)는 수신된 음성을 전기 신호로 변환하여 제어부(180)로 출력할 수 있다. 사용자 음성은 예를 들어, HMD(100)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다. 마이크(361)의 인식 범위는 마이크(361)에서부터 사용자 위치까지 4 m 이내를 권장하며, 마이크(361)의 인식 범위는 사용자 목소리의 크기와 주변 환경(예를 들어, 스피커 소리, 주변 소음)에 대응하여 달라질 수 있다.
일 실시예에서, 마이크(361)는 HMD(100)와 일체형 또는 분리형으로 구현될 수 있다. 분리된 마이크(361)는 통신부(350) 또는 입/출력부(370)를 통해 HMD(100)와 전기적으로 연결될 수 있다.
일 실시예에서, HMD(100)의 성능 및 구조에 따라 마이크(361)가 제외될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
일 실시예에서, 촬영부(362)는 렌즈(도시되지 아니함) 및 이미지 센서(도시되지 아니함)로 구성될 수 있다. 촬영부(362)는 복수의 렌즈와 이미지 프로세싱을 이용하여 광학 줌(optical zoom) 또는 디지털 줌(digital zoom)을 지원할 수 있다. 촬영부(362)의 인식 범위는 카메라의 각도 및 주변 환경 조건에 따라 다양하게 설정될 수 있다. 촬영부(362)가 복수개의 카메라로 구성되는 경우, 복수의 카메라를 이용하여 3차원 정지 이미지 또는 3차원 모션을 수신할 수 있다.
일 실시예에서, 촬영부(362)는 적외선 카메라, TOF(Time-of-Flight) 카메라를 포함할 수 있다.
일 실시예에서, 촬영부(362)는 조명부(미도시)를 더 포함할 수 있다. 예를 들어, 촬영부(362)는 가시광 광원에 대하여 피사체에서 반사된 반사광을 획득하는 가시광 조명부(미도시), 및 적외선 광원에 대하여 피사체에서 반사된 반사광을 획득하는 적외선(Infrared Ray; IR) 조명부(미도시) 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 조명부로서 가시광 조명부를 이용할 지, 또는 적외선 조명부를 이용할 지 여부는 피사체의 성질 및 크기 등에 따라 적절한 조명을 선택하는 것이 바람직하다.
일 실시예에서, 촬영부(362)는 렌즈(102), 또는 렌즈 프레임(103) 상에 배치될 수 있다. 다른 예에서, 복수의 촬영부(362)가 HMD(100)에 포함될 수 있다. 예를 들어, 적어도 하나의 촬영부가 사용자의 홍채를 촬영하기 위하여 HMD에 추가로 배치될 수 있다. 추가로 배치되는 적어도 하나의 촬영부는 렌즈 프레임(103) 내측에 배치되어 사용자의 홍채를 촬영할 수 있다.
일 실시예에서, 촬영부(362)는 HMD(100)와 일체형 또는 분리형으로 구현될 수 있다. 분리된 촬영부(362)를 포함하는 별도의 장치(도시되지 아니함)는 통신부(350) 또는 입/출력부(370)를 통해 HMD(100)와 전기적으로 연결될 수 있다.
일 실시예에 따라, 촬영부(362)는 사용자의 홍채를 촬영하여 홍채 영상을 획득할 수 있다.일 실시예에 따른 촬영부(362)는, 홍채의 전체 영역 중에서, 제어부(380)의 제어에 의해 조합된 부분 영상에 대응되는 영역이 차지하는 비율이 기 설정된 임계치 이상이 될 때까지, 상기 사용자의 홍채를 복수 회 촬영할 수 있다.
일 실시예에서, 일 실시예에 따른 촬영부(362)는, 미리 설정된 주기에 따라 상기 홍채를 복수 회 촬영할 수 있다.
일 실시예에서, 일 실시예에 따른 촬영부(362)는, 상기 사용자의 인증을 필요로 하는 소정 이벤트가 발생되기 이전에 미리 상기 홍채의 일부 영역들을 복수 회 촬영할 수 있다.
일 실시예에서, 입/출력부(370)는 제어부(380)의 제어에 의해 HMD(100)의 외부로부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(370)는 HDMI 포트(High-Definition Multimedia Interface port, 371), 컴포넌트 잭(component jack, 372), 입력부(373), 및 USB 포트(USB port, 374) 중 하나를 포함할 수 있다. 입/출력부(370)는 HDMI 포트(371), 컴포넌트 잭(372), PC 포트(373), 및 USB 포트(374)의 조합을 포함할 수 있다. 일 실시예에서, 입력부(373)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 키들을 포함할 수 있다. 이러한 키들은 메뉴 불러오기 키, 화면 온/오프 키, 전원 온/오프 키 및 볼륨 조절 키 등을 포함할 수 있다. 입력부(373)는 사용자 설정 및 HMD(100)의 기능 제어와 관련된 키 이벤트를 생성하여 제어부(380)로 전달할 수 있다.
일 실시예에서, 입/출력부(370)의 구성 및 동작은 실시예에 따라 다양하게 구현될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
일 실시예에서, 제어부(380)는 HMD(100)의 전반적인 동작 및 HMD(100)의 내부 구성요소들(110 내지 390)사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(380)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 제어부(380)는 저장부(390)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
일 실시예에서, 제어부(380)는 HMD(100)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, HMD(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 381), HMD(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 382) 및 프로세서(Processor, 383)를 포함할 수 있다.
일 실시예에서, 프로세서(383)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(383)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(383)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
일 실시예에서, 프로세서(383)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(383)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
일 실시예에서, 그래픽 처리부(384)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 감지부(160)를 통해 감지된 사용자 인터랙션을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(115)의 디스플레이 영역 내에 표시된다.
일 실시예에서, 제1 내지 n 인터페이스(385-1 내지 385-n)는 상술한 각종 구성요소들과 연결된다.
일 실시예에서, 램(381), 롬(382), 프로세서(383), 그래픽 처리부(384), 제1 내지 n 인터페이스(385-1 내지 385-n)는 내부 버스(bus)를 통해 상호 연결될 수 있다.
본 실시예에서 "제어부"라는 용어는 프로세서(383), 롬(382) 및 램(381)을 포함할 수 있다.
일 실시예에 따른 HMD(100)의 제어부(380)는 촬영부(362)를 통해 획득된 부분 영상을 조합함으로써 사용자를 인증하기 위한 정규 영상을 생성할 수 있다.
일 실시예에 따른 제어부(380)는 촬영부(362)를 통해 획득된 부분 영상이 홍채의 외곽선 및 내곽선 중 적어도 하나를 포함하는지 판단함에 따라, 상기 정규 영상의 생성 시 이용할 수 있는지 결정하고, 상기 정규 영상의 생성 시 이용할 수 있다고 결정된 부분 영상을 조합함으로써 상기 정규 영상을 생성할 수 있다.
일 실시예에 따른 제어부(380)는 촬영부(362)를 통해 획득된 부분 영상이 상기 정규 영상 내에서 차지하는 위치를 결정하고, 상기 결정된 위치에 기초하여 상기 부분 영상을 조합할 수 있다.
일 실시예에 따른 제어부(380)는 상기 사용자의 인증을 필요로 하는 소정 이벤트가 발생됨에 따라, 상기 생성된 정규 영상을 이용하여 상기 사용자를 인증할 수 있다.
일 실시예에 따른 제어부(380)는 저장부(390)에 미리 저장된 전체 홍채 영상과 상기 생성된 정규 영상을 비교함에 따라, 상기 사용자를 인증할 수 있다.
일 실시예에 따른 제어부(380)는 촬영부(362)를 통해 획득된 부분 영상이 홍채의 외곽선을 포함하는 경우, 상기 외곽선의 곡률을 이용하여 상기 외곽선을 포함하는 가상의 원의 반지름의 크기로부터 상기 홍채의 크기를 추정할 수 있다.
일 실시예에 따른 제어부(380)는 촬영부(362)를 통해 획득된 부분 영상이 상기 홍채의 내곽선을 포함하는 경우, 상기 내곽선의 곡률을 이용하여 상기 내곽선을 포함하는 가상의 원의 반지름의 크기로부터 동공의 크기를 추정할 수 있다.
일 실시예에 따른 제어부(380)는 촬영부(362)를 통해 획득된 부분 영상들의 촬영 거리가 서로 상이하면, 상기 촬영 거리에 기초하여 상기 획득된 부분 영상의 크기를 조절할 수 있다.
일 실시예에 따른 제어부(380)는 촬영부(362)를 통해 획득된 부분 영상에 대해, 감마(gamma) 보정, 콘트라스트(contrast) 보정 및 선명도(sharpness) 보정 중 적어도 하나를 포함하는 보정 처리를 수행할 수 있다.
일 실시예에 따른 제어부(380)는 상기 사용자의 인증을 필요로 하는 소정 이벤트가 발생됨에 따라, 상기 사용자의 홍채를 촬영하기 위한 사용자 인터페이스를 제공할 수 있다.
일 실시예에 따른 제어부(380)는 상기 홍채의 전체 영역 중 특정 위치를 포함하는 홍채의 부분 영상을 획득하기 위해 사용자의 눈이 바라볼 위치를 가이드하는 사용자 인터페이스를 제공할 수 있다.
제어부(380)의 구성 및 동작은 발명의 실시예에 따라 다양하게 구현될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
저장부(390)는 제어부(380)의 제어에 의해 HMD(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장부(390)는 비디오 처리부(310), 디스플레이부(315), 오디오 처리부(320), 오디오 출력부(325), 전원부(330), 통신부(350), 감지부(360), 입/출력부(370)의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(390)는 HMD(100) 및 제어부의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
일 실시예에서 "저장부"라는 용어는 저장부(390), 제어부의 롬(182), 램(181) 또는 HMD(100)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 저장부(390)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
일 실시예에서, 저장부(390)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 저장부(390)의 도시되지 아니한 모듈들 및 데이터 베이스는 HMD(100)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 제어부(380)는 저장부(390)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
일 실시예에 따른 저장부(390)는 사용자의 전체 홍채 영상을 미리 저장할 수 있다.
또한, 일 실시예에 따른 저장부(390)는 촬영부(362)를 통해 획득된 사용자의 복수 개의 홍채 영상을 저장할 수 있다.
일 실시예에서, 저장부(390)는 사용자 인증을 위하여 다양한 생체 정보를 저장할 수 있다. 예를 들어, 저장부(390)는 제어부(380) 제어 하에 HMD(100)에 배치된 복수의 전극들로부터 심전도 신호가 수신되면, 수신된 심전도 신호와의 비교를 위한 적어도 하나의 심전도 신호를 저장할 수 있다. 일 실시예에서, 저장부(390)는 제어부(380) 제어 하에 사용자 인증을 위하여 수신된 심전도 신호와의 비교를 위한 적어도 하나의 심전도 신호를 미리 저장(또는 등록)할 수 있다.
다른 실시예에서, 저장부(390)는 사용자 인증을 위한 비교 대상으로서, 사용자의 지문에 대한 정보, 사용자의 홍채에 대한 정보, 및 사용자의 맥박에 대한 정보 등과 같은 생체 정보를 미리 저장할 수 있다. 다만, 생체 정보는 열거한 정보에 제한되지 않으며, 사용자 인증을 위하여 이용될 수 있는 생체 정보는 모두 포함될 수 있다.
도 3의 HMD(100)에 도시된 구성 요소들(예를 들어, 301 내지 390)은 HMD(100)의 성능에 따라 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 위치(예를 들어, 301 내지 390)는 HMD(100)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 4는 본 발명의 일 실시예에 따른 사용자 인증 방법을 설명하기 위한 흐름도이다.
과정 401에서, 제어부(380)는 어플리케이션 실행을 위한 사용자 입력을 수신할 수 있다.
일 실시예에서, 제어부(380)는 어플리케이션이 보안을 요하는 정도에 따라, 어플리케이션에 대하여 인증 레벨(또는 보안 등급)을 설정할 수 있다. 예를 들어, 제어부(380)는 금융 결제 어플리케이션, 및 개인 정보 보호를 요하는 어플리케이션에 대하여 높은 인증 레벨(예: 인증 레벨 '상')을 설정할 수 있다. 다른 예에서, 제어부(380)는 과금이 발생되는 어플리케이션 등에 대하여 중간 인증 레벨(예: 인증 레벨 '중')을 설정할 수 있다. 또 다른 예에서, 제어부(380)는 스크린 잠금 기능 어플리케이션, 및 인터넷 어플리케이션 등에 대하여 낮은 인증 레벨(예: 인증 레벨 '하')을 설정할 수 있다. 다만, 이는 예시이며, 어플리케이션에 대한 인증 레벨 설정은 이에 제한되지 않는다.
과정 403에서, 제어부(380)는 홍채의 일부 영역 및 심전도 신호 중 적어도 하나를 획득할 수 있다.
일 실시예에서, 제어부(380)는 촬영부로부터 촬영된 홍채의 일부 영역을 획득할 수 있다. 다른 실시예에서, 제어부(380)는 HMD에 배치된 복수의 전극들로부터 심전도 신호를 획득할 수 있다.
일 실시예에서, 제어부(380)는 어플리케이션 실행 입력이 수신되는 경우, 홍채의 일부 영역을 촬영하도록 촬영부를 제어할 수 있다. 다른 실시예에서, 제어부(380)는 어플리케이션 실행 입력이 수신되기 전, 미리 촬영된 홍채 영역을 획득할 수 있다. 예를 들어, 제어부(380)는 일정 시간 간격으로 홍채의 일부 영역을 촬영하도록 촬영부를 제어하고, 촬영된 홍채의 일부 영역을 저장부에 저장할 수 있다. 제어부(380)는 어플리케이션 실행 입력이 수신되면, 저장부로부터 저장된 홍채의 일부 영역을 획득할 수 있다.
일 실시예에서, 제어부(380)는 어플리케이션 실행 입력이 수신되는 경우, 복수의 전극들을 통해 심전도 신호를 획득할 수 있다. 다른 실시예에서, 제어부(380)는 어플리케이션 실행 입력이 수신되기 전, 미리 심전도 신호를 획득할 수 있다. 예를 들어, 제어부(380)는 일정 시간 간격으로 복수의 전극들로부터 심전도 신호를 수신하고, 수신된 심전도 신호를 저장부에 저장할 수 있다. 제어부(380)는 어플리케이션 실행 입력이 수신되면, 저장부로부터 수신된 심전도 신호를 획득할 수 있다.
과정 405에서, 제어부(380)는 획득된 홍채의 일부 영역 및 심전도 신호 중 적어도 하나를 이용하여 사용자 인증을 수행할 수 있다.
일 실시예에서, 제어부(380)는 실행 요청된 어플리케이션에 설정된 인증 레벨에 따라 획득된 홍채의 일부 영역 및 심전도 신호 중 적어도 하나를 이용하여 사용자 인증을 수행할 수 있다.
예를 들어, 어플리케이션에 설정된 인증 레벨이 높은 인증 레벨인 경우(예: 인증 레벨 '상'), 제어부(380)는 홍채의 일부 영역 및 심전도 신호 모두를 이용하여 사용자 인증을 수행할 수 있다. 다른 예에서, 어플리케이션에 설정된 인증 레벨이 중간 인증 레벨 경우(예: 인증 레벨 '중'), 제어부(380)는 홍채의 일부 영역을 이용하여 사용자 인증을 수행할 수 있다. 또 다른 예에서, 어플리케이션에 설정된 인증 레벨이 낮은 인증 레벨인 경우(예: 인증 레벨 '하'), 제어부(380)는 심전도 신호를 이용하여 사용자 인증을 수행할 수 있다. 다만, 이는 예시이며, 본 발명의 기술적 사상은 이에 제한되지 않는다.
일 실시예에서, 제어부(380)는 어플리케이션 별로 홍채의 일부 영역 및 심전도 신호 중 적어도 하나를 이용하여 사용자 인증을 수행하도록 설정할 수 있다. 예를 들어, 제어부(380)는 어플리케이션 각각에 대하여 홍채의 일부 영역, 심전도 신호, 홍채의 일부 영역 및 심전도 신호 중 어느 하나를 이용하여 사용자 인증을 수행하도록 설정할 수 있다.
일 실시예에서, 제어부(380)는 홍채의 일부 영역 및 심전도 신호 중 적어도 하나가 획득 여부에 따라, 사용자 인증을 수행할 수 있다.
일 실시예에서, 홍채의 일부 영역 및 심전도 신호가 모두 획득되는 경우, 제어부(380)는 홍채의 일부 영역 및 심전도 신호가 모두를 이용하여 사용자 인증을 수행할 수 있다. 다른 예에서, 제어부(380)는 홍채의 일부 영역 및 심전도 신호가 모두 획득되는 경우, 실행 요청된 어플리케이션에 설정된 인증 레벨과 무관하게, 홍채의 일부 영역 및 심전도 신호가 모두를 이용하여 사용자 인증을 수행할 수 있다.
일 실시예에서, 심전도 신호만 획득되는 경우, 제어부(380)는 어플리케이션에 설정된 인증 레벨에 따라 사용자 인증을 수행할 수 있다. 예를 들어, 제어부(380)는 인증 레벨이 높은 인증 레벨로 설정된 어플리케이션에 대하여 홍채 영역을 획득하도록 촬영부를 제어할 수 있다. 다른 예에서, 제어부(380)는 인증 레벨이 중간 인증 레벨로 설정된 어플리케이션에 대하여 심전도 신호만을 이용하여 사용자 인증을 수행할 수 있다. 또 다른 예에서, 제어부(380)는 인증 레벨이 중간 인증 레벨로 설정된 어플리케이션에 대하여 홍채의 일부 영역을 촬영하도록 촬영부를 제어하고, 촬영을 통해 획득된 홍채의 일부 영역을 이용하여 사용자 인증을 수행할 수 있다. 또 다른 예에서, 제어부(380)는 인증 레벨이 낮은 인증 레벨로 설정된 어플리케이션에 대하여 심전도 신호만을 이용하여 사용자 인증을 수행할 수 있다.
일 실시예에서, 홍채의 일부 영역만 획득되는 경우, 제어부(380)는 어플리케이션에 설정된 인증 레벨에 따라 사용자 인증을 수행할 수 있다. 예를 들어, 제어부(380)는 인증 레벨이 높은 인증 레벨로 설정된 어플리케이션에 대해서 획득된 홍채의 일부 영역만을 이용하여 사용자 인증을 수행할 수 있다. 다른 예에서, 제어부(380)는 인증 레벨이 높은 인증 레벨로 설정된 어플리케이션에 대해서 심전도 신호를 획득하도록 심전도 센서를 제어할 수 있다. 제어부(380)는 심전도 신호가 획득되면, 획득된 심전도 신호 및 홍채의 일부 영역에 기반하여 사용자 인증을 수행할 수 있다. 다른 예에서, 제어부(380)는 인증 레벨이 중간 인증 레벨로 설정된 어플리케이션 및 낮은 인증 레벨로 설정된 어플리케이션에 대하여 획득된 홍채의 일부 영역을 이용하여 사용자 인증을 수행할 수 있다.
이하에서, 도 5 내지 도 16는 사용자 인증을 위한 생체 정보로서 홍채 영상을 이용한 실시예들을 설명하고, 도 17 내지 도 28은 사용자 인증을 위한 생체 정보로서 심전도 신호를 이용한 실시예들을 설명하도록 한다.
도 5 내지 도 7은 일 실시예에 따른 HMD의 제어 방법의 흐름도이다.
이하, 도 5 내지 도 7의 설명 시, 도 8 내지 도 16의 해당 도면을 참조하여 함께 설명하기로 한다.
본 발명의 일 실시예에 따른 HMD(100)는 홍채의 일부 영역이 촬영된 복수 개의 부분 영상을 조합함으로써, 정규 영상을 생성함에 따라, 홍채 영상을 이용한 사용자 인증 등에 활용할 수 있다.
일 실시예에서, HMD의 경우 촬영부와 사용자의 눈 사이의 촬영 거리가 근접하기 때문에, 홍채의 전체 영역을 한번에 획득하기 어려울 수 있다. 본 발명의 일 실시 예에 따르면, 홍채 영상이 부분적으로 획득되더라도, 다수의 부분 영상을 조합하여 전체 홍채 영상을 생성함에 따라, 홍채 영상의 활용도가 높아질 수 있다.
본 명세서에서, 상기 정규 영상이란, 복수 개의 부분 영상이 조합된 영상을 의미할 수 있다.
도 5의 과정 501에서, HMD(100)의 촬영부(362)는 사용자의 홍채의 일부 영역을 촬영하여 적어도 하나의 부분 영상을 획득할 수 있다.
또한, 과정 502에서, HMD(100)의 제어부(380)는, 과정 501에서 획득된 부분 영상을 조합함으로써, 사용자를 인증하기 위한 정규 영상을 생성할 수 있다. 부분 영상을 조합하여 정규 영상을 생성하는 단계에 대해서는 후술할 도 6에 관한 설명에서 상술하기로 한다.
일 실시예에 따라, HMD(100)의 촬영부(362)는 미리 설정된 주기에 따라, 사용자의 홍채 영상을 복수 회 촬영할 수 있다.
또한, 일 실시예에 따라, 촬영부(362)는 HMD(100)의 배터리 잔량에 기초하여, 사용자의 홍채 영상을 복수 회 촬영할 수도 있다. 예컨대, 배터리 잔량이 미리 정해진 임계치 이상일 때에는, 상기 미리 정해진 임계치 이하일 때보다 더 빈번하게 사용자의 홍채 영상을 촬영할 수 있다.
또한, 촬영부(362)는 상기 홍채의 전체 영역 중에서, 제어부(380)에 의해 조합된 부분 영상에 대응되는 영역이 차지하는 비율이 기 설정된 임계치 이상이 될 때까지, 상기 사용자의 홍채를 복수 회 촬영할 수 있다.
본 발명의 일 실시예에 따라, 촬영부(362)는 상기 사용자의 인증을 필요로 하는 소정 이벤트가 발생되기 이전에, 미리 상기 홍채의 일부 영역들을 복수 회 촬영할 수 있다. 이후, 제어부(380)는, 상기 사용자의 인증을 필요로 하는 소정 이벤트가 발생됨에 따라, 상기 생성된 정규 영상을 이용하여 상기 사용자를 인증할 수 있다. 상기 소정 이벤트 발생은, 예컨대, 인터넷 뱅킹 애플리케이션의 실행, 특정 인터넷 사이트의 로그인 요청, 디스플레이 화면의 잠금 해제 요청 등일 수 있으며, 이에 한정되지 않는다.
예를 들어, 사용자가 글래스형 웨어러블 HMD(100)를 착용한 상태에서, 제어부(380)는 사용자가 인식하지 못하는 동안 일정 주기에 따라, 사용자의 홍채 영상을 자동으로 획득하고 저장부(390)에 미리 저장함으로써, 이후 홍채 영상을 통한 사용자 인증이 필요할 때 이용할 수 있게 된다. 즉, HMD(100)는 사용자가 인식하지 못하는 사이에 홍채 영상을 간헐적으로 획득함에 따라, 사용자 무자각 인증을 수행할 수 있다.
또 다른 실시예에 따라, 제어부(380)는 사용자의 인증을 필요로 하는 소정 이벤트가 발생됨에 따라, 사용자의 홍채 영상을 획득하기 위한 사용자 인터페이스를 제공할 수도 있다. 예컨대, HMD(100)는 사용자 인증이 요구되는 보안성이 높은 인터넷 뱅킹 애플리케이션을 실행하는 경우, 사용자의 홍채 영상을 획득하기 위한 사용자 인터페이스를 디스플레이부(315)에 제공할 수 있다.
예를 들어, 도 8에 도시한 바와 같이, 제어부(380)는 디스플레이부(315)에 사용자의 홍채 촬영을 위해 사용자가 바라볼 지점을 나타내는 화면을 표시할 수 있다.
또한, 제어부(380)는 홍채 촬영을 위해 사용자가 눈을 깜박이지 않도록 하는 음성 안내를 오디오 출력부(325)를 통해 출력할 수도 있으며, 이에 한정되지 않는다.
도 6은 본 발명의 일 실시예에 따른 HMD의 제어 방법의 흐름도이다.
도 6의 과정 611에서, HMD(100)의 촬영부(362)는, 사용자의 홍채의 일부 영역을 촬영하여 적어도 하나의 부분 영상을 획득할 수 있다. 사용자의 홍채 영상을 획득하는 단계에 관해서는, 도 5의 과정 501에 관한 설명에서 상술하였으므로, 생략하기로 한다. 도 6의 과정 612에서, HMD(100)의 제어부(380)는 과정 611에서 획득된 부분 영상이 홍채의 외곽선 및 내곽선 중 적어도 하나를 포함하는지 판단함에 따라, 정규 영상의 생성 시 이용할 수 있는지 결정할 수 있다.
도 9을 참조하면, 홍채 영역은 사람의 눈의 동공의 경계와 공막 사이에 위치한 도넛 모양의 근육 조직이다. 홍채 영역을 추출하기 위해서는, 동공의 경계와 공막과 홍채 조직의 경계가 검출되어야 한다. 상기 동공의 경계는 홍채의 내곽선을 의미하고, 상기 공막과 홍채 조직의 경계는 홍채의 외곽선을 의미한다.
도 10는 홍채의 부분 영상의 예를 설명하기 위한 도면이다.
도 10를 참조하면, 홍채의 일부 영역이 촬영된 부분 영상은, 홍채의 외관선(n11)만 포함된 영상(도 10의 (a)), 홍채의 내곽선(n12)만 포함된 영상(도 10의 (b)), 또는, 홍채의 내곽선(n14) 및 외곽선(n13)이 모두 포함된 영상(도 10의 (c))일 수 있다. 또한, 부분 영상은, 홍채의 내곽선 또는 외곽선이 모두 포함되지 않은 영상(도 10의 (d))일 수 있다.
도 11은 각각의 홍채 부분 영상이 정규 영상 생성시 이용될 수 있는지를 설명하기 위한 표이다.
도 11의 (a) 내지 (d)는 각 하나의 부분 영상이 정규 영상 생성 시 이용될 수 있는지를 설명하고 있으며, 각각의 부분 영상과 함께 추가적인 다른 부분 영상을 이용함으로써 정규 영상 생성이 가능할 수 있다.
일 실시예에 따라, HMD(100)의 제어부(380)는 홍채의 외곽선 및 내곽선 중 적어도 하나를 포함하는지 판단함에 따라, 정규 영상 생성시 이용할 수 있는지 결정할 수 있다. 제어부(380)는 홍채의 부분 영상에 홍채의 경계선(외곽선 또는 내곽선)이 포함된 경우, 경계선의 곡률을 이용하여 경계선을 포함하는 가상의 원을 추출함으로써, 가상의 원의 반지름의 크기를 산출할 수 있다.
도 11을 참조하면, 홍채의 외곽선만 포함된 부분 영상의 경우(도 11의 (a)), 홍채의 외곽선의 곡률을 이용하여 외곽선이 이루는 가상의 원이 추출될 수 있다. 홍채의 외곽선이 이루는 원의 반지름의 크기는 홍채의 반지름으로서, 홍채의 크기가 추정될 수 있다.
그러나, 홍채의 외곽선만 포함된 영상으로는, 홍채의 내곽선이 이루는 동공의 위치를 알 수 없기 때문에, 정규 영상 생성시 이용하기 어려울 수 있다. 다만, 제어부(380)가 추가적인 다른 부분 영상을 이용하여 동공의 위치를 판단할 수 있는 경우, 외곽선만 포함된 영상도 정규 영상 생성시 이용될 수 있을 것이다.
한편, 홍채의 내곽선만 포함된 부분 영상의 경우(도 11의 (b)), 홍채의 내곽선의 곡률을 이용하여 내곽선을 포함하는 가상의 원이 추출되고, 원의 반지름의 크기가 산출될 수 있다. 홍채의 내곽선이 이루는 원의 반지름의 크기는 동공의 반지름의 크기일 수 있다.
이때, 제어부(380)는 홍채의 크기 정보를 획득할 수 있는 경우, 홍채의 내곽선을 포함하는 원의 중심점을 기준으로, 홍채의 크기 정보를 이용하여 홍채의 외곽선을 가정할 수 있다.
이 경우, 홍채의 내곽선만 포함된 부분 영상을 정규 영상 생성 시 이용할 수 있다.
한편, 홍채의 내, 외곽선이 모두 포함된 부분 영상의 경우(도 11의 (c)), 홍채의 외곽선의 곡률을 이용하여 외곽선을 포함하는 가상의 원이 추정될 수 있고, 홍채의 내곽선의 곡률을 이용하여 내곽선을 포함하는 가상의 원이 추정될 수 있다.
또한, 홍채의 외곽선을 포함하는 가상의 원을 이용하여, 홍채의 크기가 추정될 수 있다. 또한, 홍채의 내곽선을 포함하는 가상의 원을 이용하여, 동공의 크기가 추정될 수 있다. 따라서, 홍채의 내, 외곽선이 모두 포함된 부분 영상은, 정규 영상의 생성 시 이용될 수 있다.
한편, 홍채의 경계선이 포함되지 않은 부분 영상의 경우(도 11의 (d)), 경계선의 곡률을 이용한 원을 추정할 수 없기 때문에, 홍채의 크기를 추정할 수 없고, 정규 영상 생성 시 홍채 정보로 활용하기 어려울 수 있다.
도 12를 참조하면, 홍채의 정규화란, 홍채 외곽선이 이루는 원 형태에서 동공 부분을 제외한 도넛 모양의 영역(도 12의 (a) 참조)을, 특정 일 지점(예컨대, a지점)을 기준으로 펼쳐 직사각형 모양의 영상으로 변환(도 12의 (b)) 참조)시키는 과정을 의미할 수 있다. 도 12의 (a)에 도시한 a, b, c지점은, 도 12의 (b)에 도시한 정규화된 영상에서의 a, b, c지점에 대응될 수 있다.
홍채의 정규화 과정을 거치면, 촬영부와 사용자 사이의 촬영 거리나 밝기 등의 주변 환경에 의해 변할 수 있는 홍채 영상의 크기나 동공의 크기 변화에 관계 없이, 동일인의 홍채라면 같은 영역에서 유사한 패턴이 추출될 수 있다.
도 13는 홍채의 부분 영상이 홍채의 외곽선을 포함한 예를 도시한다.
도 13에 도시한 바와 같이, HMD(100)의 제어부(380)는 홍채의 외곽선(n21)의 곡률을 이용하여 외곽선(n21)을 포함하는 원(c21)을 가정할 수 있다. 또한, 제어부(380)는 가상의 원(c21)으로부터 원(c21)의 반지름의 크기(r21)를 산출할 수 있다.
도 14은 홍채의 부분 영상이 홍채의 내곽선을 포함한 예를 도시한다.
도 14에 도시한 바와 같이, HMD(100)의 제어부(380)는 홍채의 내곽선(n31)의 곡률을 이용하여 내곽선(n31)을 포함하는 원(c31)을 가정할 수 있다. 또한, 제어부(380)는 가상의 원(c31)의 반지름의 크기를 산출할 수 있다. 내곽선(n31)이 이루는 원(c31)의 반지름은, 동공의 반지름의 크기를 의미할 수 있다.
한편, 제어부(380)는 홍채 반지름 정보(R)를 획득할 수 있는 경우에는, 홍채 반지름 정보(R)를 이용하여 홍채의 외곽선이 이루는 원(c32)을 가정할 수 있다. 이 때, 제어부(380)는 동일한 사용자 식별 정보에 대응하여 저장부(390)에 기 저장된, 또 다른 홍채 부분 영상이나 홍채 반지름 정보(R) 등을 검색함으로써, 홍채 반지름 정보(R)를 획득할 수 있다.
도 15는 홍채의 부분 영상이 홍채의 내, 외곽선을 포함한 예를 도시한다.
도 15에 도시한 바와 같이, HMD(100)의 제어부(380)는 홍채의 외곽선(n41)의 곡률을 이용하여 외곽선(n41)을 포함하는 원(c41)을 추출할 수 있다. 또한, 제어부(380)는 추출된 원(c41)의 반지름(r41)의 크기를 계산할 수 있다.
또한, 제어부(380)는 홍채의 내곽선(n42)의 곡률을 이용하여 내곽선(n42)을 포함하는 원(c42)을 추출할 수 있고, 원(c42)의 반지름(r42)의 크기를 계산할 수 있다. 홍채의 내곽선(n42)이 이루는 원(c42)의 반지름(r42)은 동공의 반지름을 의미할 수 있다.
제어부(380)는 홍채의 외곽선(n41)과 내곽선(n42)을 포함하는 도넛 형태의 홍채 영역이 추출되면, 특정 일 지점을 기준으로 펼쳐 직사각형 형태로 변환함으로써 정규화된 영상을 획득할 수 있고, 정규화된 영상 내에서 홍채의 부분 영상이 차지하는 위치를 결정할 수 있다.
도 6의 과정 613에서, HMD(100)의 제어부(380)는 과정 611에서 획득된 홍채 영상에 대해 보정 처리를 수행할 수 있다.
HMD(100)의 제어부(380)는 획득된 홍채 영상에 대해, 감마(gamma) 보정, 콘트라스트(contrast) 보정 및 선명도(sharpness) 보정 중 적어도 하나를 포함하는 보정 처리를 수행할 수 있다. 이로 인해, 제어부(380)는 보다 선명하고 정확한 홍채 영상을 획득할 수 있고, 후술할 홍채 영상의 유사도 판단에 있어서의 정확성을 보다 향상시킬 수 있다.
한편, 본 발명의 일 실시예에 따라, 촬영부(362)와 사용자의 눈 사이의 촬영 거리가 가변적인 경우에는, 촬영 거리에 따라, 촬영된 홍채 영상의 크기가 상이하게 산출될 수 있다.
동일인의 홍채 영상을 복수 개 획득하는 동안 촬영 거리가 가변적인 경우, 촬영 거리에 따른 홍채의 상대적인 크기를 획득하게 되므로, 촬영 거리가 동일한 경우를 기준으로 한 배율 조절이 필요할 수 있다.
즉, HMD(100)의 제어부(380)는 획득된 부분 영상들의 촬영 거리가 서로 상이하면, 촬영 거리가 동일한 경우를 기준으로 복수 개의 홍채 영상의 크기를 조절한 후, 홍채 영상의 정규화 과정을 수행할 수 있다.
도 6의 과정 614에서, HMD(100)의 제어부(380)는 과정 611에서 획득된 부분 영상이 상기 정규 영상 내에서 차지하는 위치를 결정하고, 상기 결정된 위치에 기초하여 상기 부분 영상을 조합함으로써 상기 정규 영상을 생성할 수 있다.
일 실시예에 따라, HMD(100)는 홍채의 부분 영상이 홍채의 정규 영상에서 차지하는 위치를 결정하기 위해서, 부분 영상에 포함된 홍채의 내곽선, 외곽선의 곡률을 이용하여 가상의 원을 추출할 수 있다. 상기 홍채의 내곽선을 포함하는 가상의 원은, 홍채의 내곽선이면서 동공의 경계선일 수 있다.
또한, 제어부(380)는, 동공 영역을 제외한 도넛 모양의 홍채 영역을 특정 일지점을 기준으로 펼쳐 직사각형 형태로 변환시키는 정규화 과정을 수행할 수 있다(도 12 참조). 제어부(380)는 정규화 과정을 거쳐 변환된 영상 내에서, 부분 영상이 차지하는 위치를 결정할 수 있다.
제어부(380)는 상기 결정된 위치에 기초하여 복수의 부분 영상들을 조합함으로써, 정규 영상을 생성할 수 있다.
도 6의 과정 615에서, 제어부(380)는 사용자의 인증을 필요로 하는 소정 이벤트가 발생됨에 따라, 과정 614에서 생성된 정규 영상을 이용하여 상기 사용자를 인증할 수 있다.
HMD(100)의 저장부(190)는 상기 사용자의 전체 홍채 영상을 미리 저장할 수 있다.
제어부(380)는 저장부(190)에 미리 저장된 전체 홍채 영상과 과정 614에서 생성된 정규 영상을 비교함에 따라, 상기 사용자를 인증할 수 있다.
일반적으로 사람의 홍채(iris)는 개인마다 서로 다른 고유의 홍채 무늬 패턴을 가진다. 제어부(380)는 홍채 영역에 나타나는 무늬 패턴의 특징 점을 추출하여 홍채 코드를 생성하고 저장할 수 있다. 제어부(380)는, 생성된 홍채 코드와, 미리 저장된 동일 사용자의 부호화된 홍채 코드를 상호 비교함에 따라 홍채 유사도 판단을 수행할 수 있다. 제어부(380)는 미리 정해진 기준에 따라 유사한 것으로 판단되면, 사용자 인증이 통과된 것으로 판단할 수 있다.
예를 들어, 도 16에 도시한 바와 같이, 복수 개의 홍채 부분 영상을 조합하여 생성된 정규 영상(도 16의 (a))과, 동일한 사용자 식별 정보가 부여된 미리 저장된 홍채 영상(도 16의 (b))을 비교하여, 홍채 패턴이 미리 정해진 기준에 따라 유사한 것으로 판단되면, 사용자 인증이 이루어진 것으로 판단할 수 있다.
도 7은 본 발명의 일 실시예에 따른 HMD의 제어 방법의 흐름도이다.
도 7의 과정 721에서, HMD(100)의 촬영부(362)는 사용자의 홍채의 일부 영역을 촬영하여 부분 영상을 획득할 수 있다. 홍채 영상을 획득하는 단계에 관해서는, 도 5의 과정 501에 대한 설명에서 상술하였으므로, 생략하기로 한다.
도 7의 과정 722에서, HMD(100)의 제어부(380)는 과정 721에서 획득된 부분 영상을 조합함으로써, 상기 사용자를 인증하기 위한 정규 영상을 생성할 수 있다. 복수 개의 부분 영상을 조합하여, 정규화된 영상을 생성하는 단계에 대해서는, 도 6에 관한 설명에서 상술하였으므로, 생략하기로 한다.
도 7의 과정 723에서, HMD(100)의 제어부(380)는 홍채의 전체 영역 중에서, 과정 722에서 조합된 부분 영상에 대응되는 영역이 차지하는 비율이 기 설정된 임계치 이상인지 여부를 판단할 수 있다.
제어부(380)는 도 7의 과정 723에서, 임계치 이하인 것으로 판단하면, 촬영부(362)를 통해 사용자의 홍채 영상이 더 획득되도록 제어할 수 있다(도 7의 721). 즉, 촬영부(362)는 상기 홍채의 전체 영역 중에서 상기 조합된 부분 영상에 대응되는 영역이 차지하는 비율이 기 설정된 임계치 이상이 될 때까지, 상기 사용자의 홍채를 복수 회 촬영할 수 있다.
예를 들어, 복수 개의 부분 영상이 조합된 영역의 비율이 너무 낮은 경우(예컨대, 전체 대비 50% 이하)에는 유사 판단 시 정확도가 낮을 수 있으므로, 제어부(380)는 부분 홍채 영상을 더 획득하기 위한 사용자 인터페이스를 제공할 수 있다.
이 때, 제어부(380)는 상기 부분 영상이 조합된 영역 중 영상 정보가 획득되지 않은 특정 위치를 포함하는 홍채의 부분 영상을 획득하기 위해, 사용자의 눈이 바라볼 위치를 가이드하는 사용자 인터페이스를 제공할 수 있다(도 8 참조).
한편, 도 7의 과정 724에서, HMD(100)의 제어부(380)는 과정 723에서 임계치 이상인 것으로 판단하면, 사용자의 인증을 필요로 하는 소정 이벤트가 발생됨에 따라, 과정 722에서 생성된 정규 영상을 이용하여 상기 사용자를 인증할 수 있다.
상기 기 설정된 임계치는, 발생된 이벤트의 종류에 따라 미리 설정되어 있을 수 있다. 예를 들어, 실행될 애플리케이션의 종류에 따라 서로 다른 비율로 설정될 수 있다. 예컨대, 인터넷 뱅킹 애플리케이션의 실행 시 사용자 인증을 위해서는, 복수 개의 부분 영상이 조합된 영역의 비율이 80% 이상일 것으로 설정되어 있을 수 있다.
또 다른 예로, 상기 임계치는, 발생된 이벤트의 종류와 무관하게 동일한 비율로 기 설정될 수도 있다.
도 17은 본 발명의 일 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 17을 참조하면, 과정 1701에서 제어부(380)는 HMD(100)에 배치된 복수의 전극들을 통해 사용자의 심전도 신호를 수신할 수 있다. 일 실시예에서, 사용자가 HMD(100)를 착용하는 경우, 사용자와 접촉하는 HMD(100)의 접촉부 및 사용자와 접촉하지 않는 HMD(100)의 비접촉 부분 중 적어도 하나에 배치된 복수의 전극들을 통해 사용자로부터 심전도 신호를 입력받을 수 있다. 예를 들어, 사용자가 HMD(100)를 착용하는 경우, 사용자와 접촉되는 다리부의 중단(101-2)의 내측 및 코 받침부(104) 중 적어도 하나에 배치된 복수의 전극들을 통해 사용자로부터 심전도 신호를 입력받을 수 있다. 다른 예에서, 사용자가 HMD(100)를 착용하는 경우, 사용자와 접촉되지 않는 다리부의 선단(101-2)의 외측, 다리부의 말단(101-1)의 외측, 및 렌즈 프레임(103)의 상단 등 중 적어도 하나에 배치된 복수의 전극들을 통해 사용자로부터 심전도 신호를 입력받을 수 있다. 예를 들어, 사용자가 손을 이용하여 다리부의 왼쪽 선단(101-2) 및 오른쪽 선단(101-2)에 배치된 전극을 터치(또는 접촉)하는 경우, 제어부(380)는 다리부(101)의 왼쪽 선단(101-2) 및 오른쪽 선단(101-2)에 배치된 전극을 통해 사용자의 심전도 신호를 수신할 수 있다.
일 실시예에서, 제어부(380)는 복수의 전극을 통한 심전도 신호 및 HMD(100)에서 수행되는 기능에 대한 입력을 동시에 수신할 수 있다. 예를 들어, 전극과 중첩되도록 기능 버튼이 배치되는 경우, 제어부(380)는 사용자의 한 번의 제스처에 의해 동시에 심전도 신호 및 기능에 대한 입력을 수신할 수 있다. 다른 예에서, 전극이 기능 버튼 주변에 배치되는 경우, 예를 들어, 사용자가 HMD(100) 터치 시 동시에 터치될 수 있는 범위에 전극 및 기능 버튼이 배치되는 경우, 제어부(380)는 사용자의 한 번의 제스처에 의해 동시에 심전도 신호 및 기능에 대한 입력을 수신할 수 있다. 또 다른 예에서, 기능 버튼이 HMD(100)에 전원을 공급하는 전원 버튼(117)이고, 전원 버튼(117) 주변에 배치되거나 전원 버튼과 중첩되도록 전극이 배치된 경우, 제어부(380)는 사용자의 전극 및 전원 버튼(117)에 대한 터치에 의해 심전도 신호 및 기능에 대한 입력을 동시에 수신할 수 있다. 일 실시예에서, 제어부(380)는 동시에 수신되는 심전도 신호 및 기능에 대한 입력에 기반하여, 심전도 신호를 이용한 사용자 인증을 수행하고 동시에 입력에 상응하는 기능을 실행할 수 있다. 다만, 이에 제한되지 않으며, 제어부(380)는 심전도 신호 및 기능에 대한 입력을 순차적으로 수신할 수 있다.
다른 실시예에서, 제어부(380)는 사용자로부터 HMD(100)의 기능 실행에 대한 입력이 수신되면, 복수의 전극들로부터 사용자의 심전도 신호를 수신할 수 있다. 예를 들어, 사용자가 보안이 설정된 어플리케이션을 실행하는 경우, 제어부(380)는 어플리케이션의 보안을 해제하기 위하여 사용자로부터 심전도 신호를 수신할 수 있다. 예를 들어, 금융 거래와 관련된 어플리케이션에 보안을 위하여 심전도를 이용한 인증이 설정된 경우, 사용자가 금융 거래와 관련된 어플리케이션을 실행하면, 제어부(380)는 복수의 전극들로부터 사용자의 심전도 신호를 수신할 수 있다.
일 실시예에서, 사용자가 HMD(100)의 착용을 유지하는 경우, 제어부(380)는 주기적으로 심전도 신호를 수신할 수 있다. 예를 들어, 주기적으로 심전도 신호가 수신되도록 설정된 경우, 제어부(380)는 주기적으로 수신된 심전도 신호에 기반하여 측정된 사용자의 심전도를 출력하도록 디스플레이부(220)를 제어할 수 있다.
일 실시예에서, 수신된 심전도 신호는 차분 및 증폭될 수 있다. 예를 들어, 수신된 심전도 신호는 차등 증폭기(340-3)에 의해 차분 및 증폭된 신호로 출력될 수 있다. 일 실시예에서, 차등 증폭기(340-3)는 별도의 구성 또는 제어부(380) 내에 포함될 수 있다.
일 실시예에서, 제어부(380)는 사용자로부터 심전도 신호를 입력 받는 복수의 전극들 외에 다른 센서로부터 생체 신호를 수신할 수 있다. 예를 들어, 제어부(380)는 지문 센서(340-4)로부터 사용자의 지문에 대한 신호를 수신할 수 있다. 다른 예에서, 제어부(380)는 맥박 센서로부터 사용자의 맥박에 대한 신호를 수신할 수 있다. 다만, 제어부(380)가 수신하는 생체 신호는 이에 제한되지 않으며, 사용자의 신체와 관련되고 측정 가능한 신호는 모두 포함될 수 있다.
일 실시예에서, 제어부(380)는 사용자의 한 번의 제스쳐에 의해 심전도 신호 및 다른 센서로부터의 생체 신호를 동시에 수신할 수 있다. 예를 들어, 복수의 전극들과 다른 센서가 중첩되어 배치되어 있는 경우, 심전도 신호 및 다른 센서로부터의 생체 신호를 동시에 수신할 수 있다. 예를 들어, 복수의 전극들의 일부와 다른 센서의 일부가 중첩되어 배치되는 경우 제어부(380)는 심전도 신호 및 다른 센서로부터의 생체 신호를 동시에 수신할 수 있다. 다른 예에서, 복수의 전극들이 HMD(100)의 외부 표면 부분에 배치되어 있고, 다른 센서가 HMD(100)에 내장되어 있는 경우, 제어부(380)는 심전도 신호 및 다른 센서로부터 생체 신호를 동시에 수신할 수 있다. 또 다른 예에서, 복수의 전극들이 다른 센서의 주변에 배치되는 경우, 심전도 신호 및 다른 센서로부터 생체 신호를 동시에 수신할 수 있다. 예를 들어, 복수의 전극들이 사용자가 HMD(100)를 터치 시 다른 센서와 동시에 터치될 수 있는 범위에 배치되는 경우, 제어부(380)는 제어부(380)는 심전도 신호 및 다른 센서로부터 생체 신호를 동시에 수신할 수 있다.
일 실시예에서, 제어부(380)는 사용자 인증을 위하여 HMD(100)가 사용자에 착용된 경우뿐만 아니라, 사용자에 착용되지 않은 경우에도 심전도 신호를 수신하도록 심전도 센서(340-1)를 제어할 수 있다.
다른 실시예에서, 제어부(380)는 특정 조건에서 심전도 신호를 수신하도록 심전도 센서(340-1)를 제어할 수 있다. 예를 들어, 제어부(380)는 전원이 공급되면, 전원 공급 시부터 일정 시간 동안 심전도 신호를 수신하도록 심전도 센서(340-1)를 제어할 수 있다. 다른 예에서, 제어부(380)는 HMD(100)의 움직임이 있는 경우, 일정 시간 동안 심전도 신호를 수신하도록 심전도 센서(340-1)를 제어할 수 있다. 예를 들어, 제어부(380)는 가속도 센서(342) 등을 통해 감지된 HMD(100)의 움직임을 감지할 수 있다. 예를 들어, 제어부(380)는 가속도 센서(342)를 통해 HMD(100)가 사용자에 착용됨을 감지하고, 감지 시부터 일정 시간 동안 심전도 신호를 수신하도록 심전도 센서(340-1)를 제어할 수 있다. 다른 예에서, 제어부(380)는 가속도 센서(342)를 통해 HMD(100)의 흔들림, 또는 배치 상태의 변경 등을 감지하고, 감지 시부터 일정 시간 동안 심전도 신호를 수신하도록 심전도 센서(340-1)를 제어할 수 있다.
과정 1703에서, 제어부(380)는 수신된 심전도 신호에 기반하여, 사용자 인증을 수행할 수 있다.
일 실시예에서, HMD(100)에 잠금이 설정된 경우, 제어부(380)는 수신된 심전도 신호에 기반하여, HMD(100)에 설정된 잠금을 해제하기 위한 사용자 인증을 수행할 수 있다. 예를 들어, HMD(100)의 잠금 설정이 심전도를 이용한 사용자 인증으로 설정되고, 사용자로부터 심전도 신호를 수신한 경우, 제어부(380)는 수신된 심전도 신호를 이용한 사용자 인증을 수행하고, 사용자 인증 결과에 따라 HMD(100)의 잠금 상태를 해제 또는 유지할 수 있다.
일 실시예에서, 사용자로부터 어플리케이션 실행을 위한 입력이 수신되면, 제어부(380)는 복수의 전극들을 통해 수신되는 심전도 신호에 기반하여, 어플리케이션에 설정된 사용자 인증을 수행할 수 있다. 예를 들어, 사용자로부터 보안 문서를 출력하기 위한 입력이 수신되면, 제어부(380)는 보안 문서 출력을 위하여 설정된 사용자 인증을 수행할 수 있다.
일 실시예에서, 제어부(380)는 심전도 신호가 정확하게 측정되지 않되 않는 경우, 다른 인증 방식을 이용하여 사용자 인증을 수행할 수 있다. 예를 들어, 제어부(380)는 수신된 심전도 신호의 신호 대 잡음 비(signal to noise ratio)를 측정하고, 측정된 심전도 신호의 신호 대 잡음 비가 기설정된 임계치 보다 작은 경우, 다른 인증 방식을 이용하여 사용자 인증을 수행할 수 있다. 일 실시예에서, 신호 대 잡음 비가 기설정된 임계치보다 작은 경우는, HMD(100)가 사용자에 착용된 상태에서 사용자의 땀 등에 의해 심전도 신호의 파형이 왜곡되는 경우 일 수 있다.
다른 실시예에서, 제어부(380)는 심전도 신호를 통해 사용자 인증이 불가능한 경우, 다른 인증 방식을 이용하여 사용자 인증을 수행할 수 있다. 예를 들어, 사용자가 심한 운동을 함으로써 심전도 신호 파형이 왜곡되거나, 사용자가 기구(예; 심박 조율기(pace maker))를 착용함으로써, 심전도 신호 파형이 왜곡되는 경우, 제어부(380)는 심전도 신호를 이용하여 사용자 인증이 불가능한 것으로 결정하고, 다른 인증 방식을 이용하여 사용자 인증을 수행할 수 있다.
일 실시예에서, 제어부(380)는 신전도 신호가 정확하게 측정되지 않거나, 심전도 신호를 통해 사용자 인증이 불가능한 경우, 심전도 신호를 제외한 다른 생체 신호(예 지문 신호 등), 기설정된 터치 입력(예: 더블 탭(double tap), 스와이프(swipe)), 시선 추적을 통한 문자 입력, 음성 입력 등을 통해 사용자를 인증할 수 있다.
일 실시예에서, 제어부(380)는 측정된 심전도 신호를 다른 외부 전자장치로 전송하도록 통신부(350)를 제어할 수 있다. 다른 실시예에서, 제어부(380)는 사용자 인증 수행 결과를 다른 외부 전자장치로 전송하도록 통신부(350)를 제어할 수 있다. 또 다른 실시예에서, 제어부(380)는 심전도 신호 및 사용자 인증 수행 결과 중 적어도 하나를 인증을 요하는 서비스를 제공하는 서버로 전송하도록 통신부(350)를 제어할 수 있다. 또 다른 실시예에서, 제어부(380)는 심전도 신호 및 사용자 인증 수행 결과 중 적어도 하나를 SSO(Single Sign-On) 인증을 위하여 이용할 수 있다.
이하 도 18 및 도 19에서는, 복수의 전극들을 통해 수신된 심전도 신호를 이용하여 사용자를 인증하기 위한 방법을 설명한다.
도 18는 본 발명의 일 실시예에 따라 복수의 전극을 통해 수신되는 심전도 신호에 기반하여 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 19는 본 발명의 일 실시예에 따라 복수의 전극을 통해 심전도 신호로부터 측정된 심전도를 도시한다.
도 18 및 도 19를 참조하면, 과정 1801에서 제어부(380)는 수신된 심전도 신호로부터 심박 속도를 산출하기 위한 적어도 하나의 특이점을 추출할 수 있다. 예를 들어, 제어부(380)는 도 19에서 QRS군의 전압(voltage)가 최대가 되는 R 지점(1901) 및 다음 주기 심박의 QRS군의 전압이 최대가 되는 R 지점(1903)을 특이점으로 추출할 수 있다. 다른 예에서, 제어부(380)는 P파가 시작되는 지점 및 다음 주기 심박의 P파가 시작되는 지점을 특이점으로 추출할 수 있다. 다만, 이에 제한되지 않고, 심박 속도를 산출하기 위한 다양한 지점 또는 구간이 특이점으로서 추출될 수 있다.
과정 1803에서, 제어부(380)는 추출된 특이점에 기반하여, 심박 속도를 산출할 수 있다. 예를 들어, 특이점으로서 R 지점(1901) 및 R 지점(1903)이 추출되는 경우, 제어부(380)는 R 지점(1901) 및 R 지점(1903) 사이의 구간(RR interval)에 해당되는 시간을 측정하고, 측정된 시간에 기반하여 심박 속도를 산출할 수 있다. 예를 들어, RR interval이 0.6초인 경우, 심박 속도는 초당 1.67회, 분당 100회로 산출할 수 있다. 다른 예에서, 심박 속도는 RR interval에 해당하는 시간일 수도 있다. 또 다른 예에서, 특이점이 RR interval 외 다른 지점 또는 구간으로 추출되는 경우, 추출된 지점 또는 구간에 기반하여, 제어부(380)는 심박 속도를 산출할 수 있다.
과정 1805에서, 제어부(380)는 기등록된 다수의 심전도 신호 중 과정 1803에서 산출된 심박 속도와 유사한 심전도 신호를 검출할 수 있다. 예를 들어, 제어부(380)는 저장부(390)에 저장된 기등록된 다수의 심전도 신호의 심박 속도와 산출된 심박 속도를 비교할 수 있다. 비교 결과 제어부(380)는 기등록된 다수의 심전도 신호 중 산출된 심박 속도와 가장 유사한 심박 속도를 가지는 심전도 신호를 검출할 수 있다. 예를 들어, 제어부(380)는 기등록된 다수의 심전도 신호 중 산출된 RR interval과 가장 유사한 RR interval을 가지는 심전도 신호를 검출할 수 있다.
과정 1807에서, 제어부(380)는 과정 1805에서 검출된 심전도 신호와 특이점을 일치시키기 위하여 수신된 심전도 신호를 보정할 수 있다. 일 실시예에서, 제어부(380)는 검출된 심전도 신호 및 수신된 심전도 신호를 비교하기 위한 기준점을 일치시키기 위한 보정을 할 수 있다. 예를 들어, 제어부(380)는 검출된 심전도 신호의 특이점이 R지점인 경우, 수신된 심전도 신호의 특이점을 R지점으로 보정할 수 있다. 다른 예에서, 제어부(380)는 검출된 심전도 신호의 기저선 또는 등전기선과 일치하도록 수신된 심전도 신호의 기저선 또는 등전기선을 보정할 수 있다. 다만, 이에 제한되지 않고, 검출된 심전도 신호 및 수신된 심전도 신호를 비교하기 위한 다양한 방법(또는 알고리즘)이 이용될 수 있다.
과정 1809에서, 제어부(380)는 수신된 심전도 신호 및 검출된 심전도 신호를 비교할 수 있다. 예를 들어, 제어부(380)는 수신된 심전도 신호의 파형 및 검출된 심전도 신호의 파형을 비교할 수 있다.
일 실시예에서, 제어부(380)는 R 지점의 전압의 크기, PR interval의 길이, QT interval의 길이, ST Segment의 길이, TP Segment의 길이 중 적어도 하나를 비교하고, 비교 결과에 따라 수신된 심전도 신호의 파형 및 검출된 심전도 신호의 파형의 일치율을 결정할 수 있다. 다만, 이에 제한되지 않으며, 심전도 신호의 구간별 길이, 전압이 최대가 되는 지점, 및 파형의 기울기 등이 수신된 심전도 신호의 파형 및 검출된 심전도 신호의 파형 간 비교 기준이 될 수 있다.
과정 1811에서, 제어부(380)는 수신된 심전도 신호의 파형 및 검출된 심전도 신호의 파형 간 비교에 따라 사용자 인증의 성공 여부를 결정할 수 있다. 예를 들어, 수신된 심전도 신호의 파형 및 검출된 심전도 신호의 파형의 일치율이 기설정된 임계치 이상인 경우, 제어부(380)는 사용자 인증에 성공한 것으로 결정할 수 있다.
과정 1801 내지 과정 1811은 일 실시예이며, 복수의 전극을 통해 수신되는 심전도 신호에 기반하여 사용자 인증 방법은 다양한 방법이 있을 수 있으며, 다양한 알고리즘에 의해 구현될 수 있다.
도 20은 본 발명의 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 20을 참조하면, 과정 2001에서 제어부(380)는 HMD(100)에 배치된 복수의 전극들을 통해 사용자의 심전도 신호를 수신할 수 있다. 일 실시예에서, 사용자가 HMD(100)를 착용하는 경우, 사용자와 접촉하는 HMD(100)의 접촉부 및 사용자와 접촉하지 않는 HMD(100)의 비접촉 부분 중 적어도 하나에 배치된 복수의 전극들을 통해 사용자로부터 심전도 신호를 입력받을 수 있다. 예를 들어, 사용자가 HMD(100)를 착용하는 경우, 사용자와 접촉되는 다리부의 중단(101-2)의 내측 및 코 받침부(104) 중 적어도 하나에 배치된 복수의 전극들을 통해 사용자로부터 심전도 신호를 입력받을 수 있다. 다른 예에서, 사용자가 HMD(100)를 착용하는 경우, 사용자와 접촉되지 않는 다리부의 선단(101-2)의 외측, 다리부의 말단(101-1)의 외측, 및 렌즈 프레임(103)의 상단 등 중 적어도 하나에 배치된 복수의 전극들을 통해 사용자로부터 심전도 신호를 입력받을 수 있다. 예를 들어, 사용자가 손을 이용하여 다리부의 왼쪽 선단(101-2) 및 오른쪽 선단(101-2)에 배치된 전극을 터치(또는 접촉)하는 경우, 제어부(380)는 다리부(101)의 왼쪽 선단(101-2) 및 오른쪽 선단(101-2)에 배치된 전극을 통해 사용자의 심전도 신호를 수신할 수 있다.
과정 2003에서, 제어부(380)는 미리 설정된 우선 순위에 따라 과정 601에서 수신된 복수의 심전도 신호들 중 일부의 심전도 신호를 선택할 수 있다.
일 실시예에서, 사용자가 HMD(100)를 착용하는 동안 복수의 전극이 사용자와 접촉되는 부분에 배치되는지에 따라 수신되는 심전도 신호의 세기(또는 크기), 강도, 또는 품질(quality)이 다를 수 있다. 예를 들어, 사용자와 접촉되는 접촉부에 배치되는 전극을 통해 수신되는 심전도 신호의 세기는 비접촉부에 배치되는 전극을 통해 수신되는 심전도 신호의 세기에 비하여 약할 수 있다. 예를 들어, 사용자와 접촉되는 다리부 중단(101-2)의 내측에 배치되는 전극을 통해 수신되는 심전도 신호 세기는 사용자의 머리카락 등의 요인에 의해 다리부의 선단(101-1)의 외측에 배치되는 전극을 통해 수신되는 심전도 신호의 세기에 비하여 약할 수 있다.
다른 실시예에서, HMD(100)의 동일한 구성 내에서도 위치에 따라 전극이 배치되는 위치에 따라 수신되는 심전도 신호의 세기, 강도, 또는 품질(quality)이 다를 수 있다. 예를 들어, 다리부(101)가 사용자의 손에 의해 접촉되는 경우, 다리부의 선단(101-2)에 배치된 전극을 통해 수신되는 신호의 세기는 다리부의 중단(101-1)에 배치된 전극을 통해 수신되는 신호의 세기 보다 강할 수 있다. 다른 예에서, 다리부(101)가 사용자의 손에 의해 접촉되는 경우, 다리부의 선단(101-2)에 배치된 전극을 통해 수신되는 신호는 다리부의 중단(101-1)에 배치된 전극을 통해 수신되는 신호 보다 정확한 신호일 수 있다. 다시 말해, 다리부의 선단(101-2)에 배치된 전극을 통해 사용자 손에 접촉에 의해 수신되는 심전도 신호는 HMD가 사용자에 착용 동안 사용자와 접촉을 유지하는 다리부 중단(101-1)에 배치된 전극에 비하여 노이즈가 적을 수 있다.
또 다른 실시예에서, 사용자가 HMD(100)를 착용하는 동안 복수의 전극들이 사용자와 접촉되는 부분에 배치되는 경우, 배치되는 위치에 따라 수신되는 심전도 신호의 세기(또는 크기), 강도, 또는 품질(quality)이 다를 수 있다. 예를 들어, 사용자와 접촉되는 코 받침부(104)에 배치되는 전극을 통해 수신되는 심전도 신호의 세기는 다리부 중단(101-1)의 내측에 배치되는 전극을 통해 수신되는 심전도 신호의 세기에 비하여 강할 수 있다.
도 21은 본 발명의 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 표이다. 도 21은 복수의 전극들을 통해 복수의 심전도 신호들이 수신되는 경우, 복수의 전극들 중 2개의 전극을 통해 수신되는 2개의 심전도 신호를 선택하는 예를 도시하고 있다.
도 21을 참조하면, 복수의 전극들로부터 복수의 심전도 신호들이 수신되는 경우, 다리부 좌우 선단(101-2)에 배치되는 전극을 통해 수신되는 심전도 신호가 가장 정확한 신호일 수 있다. 다리부 좌우 선단(101-2)에 배치되는 전극을 통해 수신되는 심전도 신호는 가장 큰 SNR(signal to noise ratio)을 가질 수 있다. 예를 들어, 다리부 중단(101-1) 또는 다리부 말단(101-1)에 배치된 전극으로부터 수신되는 신호는 사용자의 머리카락, 땀 등에 의한 노이즈가 많이 포함될 수 있다. 다리부 선단(101-2) 외측에 배치된 하나의 전극 및 다리부 중단(101-1)에 배치된 다른 하나의 전극을 통해 수신되는 2개의 심전도 신호는 두 번째로 큰 SNR을 가질 수 있다. 다리부 외측 선단(101-2)에 배치된 하나의 전극 및 코 받침부(104)에 배치된 다른 하나의 전극을 통해 수신되는 전극 또한, 두 번째로 큰 SNR을 가질 수 있다. 다리부 좌우의 중단(101-1)에 각각 배치된 2개의 전극을 통해 수신되는 심전도 신호는 세 번째로 큰 SNR을 가질 수 있다. 일 실시예에서, 복수의 전극들 간 이격 거리가 먼 경우, 보다 정확한 심전도 신호를 수신할 수 있다. 예를 들어, 다리부 중단(101-1)에 배치된 2개의 전극들을 통해 수신된 심전도 신호는 다리부 중단(101-1) 및 다리부 선단(101-2)에 배치된 2개의 전극들을 통해 수신된 심전도 신호에 비하여 부정확할 수 있다. 다만, 도 21은 예시이며 이에 제한되지 않는다.
일 실시예에서, 제어부(380)는 복수의 전극들로부터 수신된 복수의 심전도 신호들 중 선택되지 않은 심전도 신호 중 일부는 사용자 인증에 이용하지 않을 수 있다.
다른 실시예에서, 제어부(380)는 복수의 전극들로부터 수신된 복수의 심전도 신호들 중 선택되지 않은 심전도 신호 중 일부는 보조 신호로서 이용할 수 있다. 예를 들어, 제어부(380)는 복수의 전극들로부터 수신된 복수의 심전도 신호들 중 선택되지 않은 심전도 신호 중 일부를 수신된 심전도 신호의 오류를 보정하기 위한 용도로 이용할 수 있다.
일 실시예에서, 제어부(380)는 복수의 전극들로부터 수신되었던 심전도 신호들의 SNR 히스토리에 기반하여, 수신된 심전도 신호들 중 일부 심전도 신호를 선택할 수 있다. 예를 들어, 일정 시간 동안 심전도 측정 결과, 복수의 전극들로부터 수신되는 심전도 신호에 비하여, 다리부 좌우 선단(101-2) 및 코 받침부(104)에 배치된 전극을 통해 수신되는 심전도 신호의 SNR이 높게 측정된 경우, 제어부(380)는 다리부 좌우 선단(101-2) 및 코 받침부(104)에 배치된 전극 조합에 우선 순위를 설정하고, 이를 저장할 수 있다. 복수의 전극들로부터 심전도 신호들이 수신되면, 제어부(380)는 우선 순위가 높은 다리부 좌우 선단(101-2) 및 코 받침부(104)에 배치된 전극을 통해 수신되는 심전도 신호를 이용하여 사용자 인증을 수행할 수 있다.
다른 실시예에서, 복수의 전극들로부터 심전도 신호가 수신되는 경우, 제어부(380)는 설정된 전극 조합 보다 다른 전극 조합이 SNR이 높게 측정되면 HMD의 사용자 외 다른 사용자의 심전도 신호가 수신된 것으로 결정할 수 있다. 제어부(380)는 다른 사용자의 심전도 신호가 수신되는 것으로 결정하면, 사용자를 인증을 위한 임계치를 높게 설정할 수 있다.
과정 2005에서, 제어부(380)는 선택된 일부 심전도 신호에 기반하여, 사용자 인증을 수행할 수 있다. 과정 605는 도 17의 과정 1703과 중복되므로, 상세한 설명은 생략하기로 한다.
도 22은 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 22을 참조하면, 과정 2201에서 사용자로부터 전원 버튼 입력이 수신되면, HMD(100)의 각 구성으로 전원이 공급될 수 있다.
과정 2203에서, 제어부(380)는 사용자가 HMD(100)를 정상적으로 착용하고 있는지 확인할 수 있다.
일 실시예에서, 제어부(380)는 HMD(100)에 배치된 복수의 전극들을 통해 심전도 신호가 수신되는지 여부에 의해 사용자가 HMD(100)를 착용하고 있는지 확인할 수 있다. 예를 들어, 사용자가 HMD(100)를 착용하고 있고, 이에 따라 HMD(100)에 배치된 복수의 전극들을 통해 심전호 신호가 수신되지 않는 경우, 사용자가 HMD(100)를 착용하지 않은 것으로 확인할 수 있다.
다른 실시예에서, 제어부(380)는 HMD(100)에 배치된 복수의 전극들을 통해 수신되는 심전도 신호의 세기(또는 크기), 강도, 또는 품질(quality) 등에 기반하여, 사용자가 HMD(100)를 정상적으로 착용하고 있는지 확인할 수 있다. 예를 들어, 사용자가 HMD(100)를 정상적으로 착용하지 않은 경우, 사용자가 HMD(100)를 정상적으로 착용하는 경우에 비하여, HMD(100)의 복수의 전극들 중 특정 전극을 통해 수신되는 심전도 신호의 세기가 작을 수 있다. 제어부(380)는 특정 전극을 통해 수신되는 전극의 세기가 작은 경우 HMD(100)가 정상적으로 착용되지 않은 것으로 확인할 수 있다.
일 실시예에서, 제어부(380)는 사용자가 HMD(100) 착용 시 사용자와 접촉되는 접촉부를 통해 수신되는 심전도 신호에 기반하여 사용자가 HMD(100)를 정상적으로 착용하고 있는지 확인할 수 있다. 예를 들어, 제어부(380)는 사용자가 HMD(100) 착용 시 사용자와 접촉되는 다리부 중단(101-2)의 내측(123)에 배치된 전극 및 코 받침부(104)에 배치된 전극 중 적어도 하나를 통해 수신되는 심전도 신호에 기반하여, 사용자가 HMD(100)를 정상적으로 착용하고 있는지 확인할 수 있다.
일 실시예에서, 과정 2201에서 전원이 공급되는 경우, 제어부(380)는 HMD(100)의 접촉부에 배치된 전극을 통해 심전도 신호를 수신하고, 비접촉부로부터 수신되는 심전도 신호는 무시하도록 설정할 수 있다. 예를 들어, 사용자가 HMD(100)를 착용하지 않더라도, 사용자의 손과 접촉 가능한 HMD(100)의 렌즈 프레임에 부착된 전극으로부터 심전도 신호가 수신될 수 있다. 전원이 공급되는 경우, 제어부(380)는 렌즈 프레임(103) 상측에 부착된 전극으로부터 수신되는 심전도 신호를 무시할 수 있다.
과정 2205에서 HMD(100)가 정상적으로 착용되지 않은 것으로 확인되는 경우, 과정 2207에서 제어부(380)는 HMD(100)를 정상 착용할 것을 요청을 출력할 수 있다.
도 23는 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 예시도이다.
도 23에 도시된 바와 같이, 제어부(380)는 HMD(100)를 착용할 것을 요청하는 문구를 화면(2300)에 출력하도록 디스플레이부(111)를 제어할 수 있다. 예를 들어, 제어부(380)는 “다시 착용해 주세요!”와 같은 문구가 포함된 창(910)을 출력하도록 디스플레이부(220)를 제어할 수 있다. 다른 예에서, 제어부(380)는 “다시 착용해 주세요”와 같은 음성을 출력하도록 오디오 출력부(325)를 제어할 수 있다.
과정 2207에서, 제어부(380)는 HMD(100)를 정상 착용할 것을 요청하면, 과정 2203로 리턴하여, 제어부(380)는 사용자에 의해 HMD가 정상 착용되는 지 확인할 수 있다.
과정 2205에서 HMD(100)가 정상적으로 착용된 것으로 확인되는 경우, 과정 2209에서 제어부(380)는 HMD(100)에 배치된 복수의 전극들을 통해 심전도 신호를 수신할 수 있다. 과정 2209에서 도 17의 1701과 중복되는 설명은 생략한다.
일 실시예에서, 과정 2209은 생략될 수 있다. 예를 들어, 과정 2203에서, HMD(100)의 정상 착용 확인을 위하여 HMD(100)에 배치된 복수의 전극들로부터 심전도 신호가 수신된 경우, 제어부(380)는 다시 HMD(100)에 배치된 복수의 전극들을 통해 심전도 신호를 수신하지 않을 수 있다. 다른 예에서, 과정 2203에서, HMD(100)의 정상 착용 확인을 위하여 HMD(100)에 배치된 복수의 전극들로부터 임계값 이상의 세기를 가지는 심전도 신호가 수신된 경우, 제어부(380)는 다시 HMD(100)에 배치된 복수의 전극들을 통해 심전도 신호를 수신하지 않을 수 있다.
다른 실시예에서, 과정 2203에서 HMD(100)가 복수의 전극들로부터 심전도 신호를 수신함으로써 정상 착용된 것으로 확인된 경우, 제어부(380)는 정상 착용 확인을 위하여 이용된 복수의 전극들과 다른 전극들을 통해 심전도 신호를 수신할 수 있다. 예를 들어, 과정 2203에서 HMD(100)의 접촉부(예: 다리부 중단(101-1) 내측)에 배치된 전극을 통해 수신된 심전도 신호에 기반하여 HMD(100)의 정상 확인이 확인된 경우, 과정 2209에서 제어부(380)는 HMD(100)의 비접촉부(예: 다리부 선단(101-2) 외측)에 배치된 전극을 통해 심전도 신호를 수신할 수 있다. 일 실시예에서, 제어부(380)는 과정 2203에서 수신된 심전도 신호의 세기 및 과정 2209에서 수신된 심전도 신호의 세기를 비교하여, 신호의 세기가 강한 심전도 신호를 선택할 수 있다. 제어부(380)는 신호의 세기가 강한 심전도 신호에 기반하여 사용자 인증을 수행할 수 있다.
일 실시예에서, 제어부(380)는 다리부(101)의 벌어진 정도를 감지하여, 사용자를 인증하기 위한 사용자 인증율을 높게 설정할 수 있다. 예를 들어, 제어부(380)는 가속도 센서(342) 등으로부터 감지된 정보에 기반하여, 다리부(101)의 벌어짐을 감지할 수 있다. 제어부는 다리부(101)의 벌어짐이 기설정된 값 이상으로 확인되면, 사용자의 인증율을 높게 설정할 수 있다. 일 실시예에서, 다리부(101)의 벌어짐이 기설정된 값 이상인 경우, 사용자 외 다른 사용자가 HMD(100)를 착용한 경우일 수 있다.
과정 2211에서 제어부(380)는 수신된 심전도 신호에 기반하여 사용자 인증을 수행할 수 있다.
도 24은 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 예시도이다.
도 24을 참조하면, 과정 2401에서 제어부(380)는 심전도 센서(261) 외 다른 생체 센서를 통한 사용자 인증 요청을 수신할 수 있다.
일 실시예에서, 다른 생체 센서는 지문 센서(340-1), 및 맥박 센서 등일 수 있다. 다만, 이에 제한되지 않으며, 사용자의 생체 정보를 센싱하고, 센싱된 생체 정보에 기반하여 사용자 인증 수행이 가능한 생체 센서는 다른 생체 센서로서 이용될 수 있다. 이하에서 설명의 편의상 다른 생체 센서가 지문 센서(340-4)인 것을 가정하지만, 다른 생체 센서에도 동일하게 적용될 수 있다.
일 실시예에서, 지문 센서(340-4)을 통한 사용자 인증 요청은 지문을 통한 인증이 인증 방식으로 기설정된 어플리케이션 실행을 위한 요청일 수 있다. 예를 들어, 어플리케이션 실행을 위하여 보안 설정으로서 지문 인증을 필요로 한 것으로 기설정된 경우, 제어부(380)는 어플리케이션 실행을 위한 사용자 입력이 수신되면 어플리케이션의 인증 방식으로 지문 인증이 설정됨을 확인할 수 있다.
과정 2403에서, 제어부(380)는 사용자가 HMD(100)를 정상적으로 착용하고 있는지 확인할 수 있다.
일 실시예에서, 제어부(380)는 HMD(100)에 배치된 복수의 전극들을 통해 심전도 신호가 수신되는지 여부에 의해 사용자가 HMD(100)를 착용하고 있는지 확인할 수 있다.
다른 실시예에서, 제어부(380)는 HMD(100)에 배치된 복수의 전극들을 통해 수신되는 심전도 신호의 세기(또는 크기), 강도, 또는 품질(quality) 등에 기반하여, 사용자가 HMD(100)를 정상적으로 착용하고 있는지 확인할 수 있다.
일 실시예에서, 제어부(380)는 사용자가 HMD(100) 착용 시 사용자와 접촉되는 접촉부를 통해 수신되는 심전도 신호에 기반하여 사용자가 HMD(100)를 정상적으로 착용하고 있는지 확인할 수 있다.
과정 2405에서 HMD(100)가 정상적으로 착용되지 않은 것으로 확인되는 경우, 과정 2407에서 제어부(380)는 HMD(100)를 정상 착용을 위한 요청을 출력할 수 있다.
과정 2407에서, 제어부(380)가 HMD(100)를 정상 착용할 것을 요청하면, 과정 2403로 리턴하여, 제어부(380)는 사용자에 의해 HMD가 정상 착용되는 지 확인할 수 있다.
과정 2405에서 HMD(100)가 정상적으로 착용된 것으로 확인되는 경우, 과정 2409에서 제어부(380)는 다른 생체 센서로부터 생체 정보를 수신하고, 수신된 생체 정보에 기반하여 사용자 인증율을 결정할 수 있다.
일 실시예에서, 생체 센서가 지문 센서(263)인 경우, 제어부(380)는 지문 센서(340-4)를 통해 사용자 지문에 대한 정보를 수신할 수 있다. 제어부(380)는 수신된 지문에 대한 정보로부터 지문의 특징을 추출하고, 추출된 지문의 특징과 기등록된 지문의 특징을 비교할 수 있다. 제어부(380)는 추출된 지문의 특징과 기등록된 지문의 특징을 비교 결과를 산출할 수 있다. 일 실시예에서, 제어부(380)는 추출된 지문의 특징과 기등록된 지문의 특징을 비교 결과, 추출된 지문의 특징과 기등록된 지문의 특징의 일치율(매칭률)를 결정할 수 있다. 제어부(380)는 추출된 지문의 특징과 기등록된 지문의 특징의 일치율에 기반하여 사용자 인증율을 결정할 수 있다.
과정 2411에서, 제어부(380)는 HMD(100)에 배치된 복수의 전극들을 통해 심전도 신호를 수신할 수 있다.
일 실시예에서, 과정 2409 및 과정 2411은 동시에 수행될 수 있다. 예를 들어, 다른 생체 센서가 지문 센서(340-4)인 경우, 지문 센서(340-4)와 HMD(100)에 배치된 복수의 전극들이 중첩되도록 배치되거나, 지문 센서(263) 주변에 복수의 전극들이 배치되는 경우 사용자의 한 번의 제스처에 의해 지문에 대한 정보 및 심전도 신호가 동시에 수신될 수 있다. 다른 실시예에서, 지문 센서(340-4)로부터 수신되는 지문에 대한 정보 및 복수의 전극들로부터 수신되는 심전도 신호는 시간 간격을 두고 수신될 수도 있다.
다른 실시예에서, 과정 2411은 생략될 수 있다. 예를 들어, 과정 2403에서, HMD(100)의 정상 착용 확인을 위하여 HMD(100)에 배치된 복수의 전극들로부터 심전도 신호가 수신된 경우, 제어부(380)는 다시 HMD(100)에 배치된 복수의 전극들을 통해 심전도 신호를 수신하지 않을 수 있다. 다른 예에서, 과정 2403에서, HMD(100)의 정상 착용 확인을 위하여 HMD(100)에 배치된 복수의 전극들로부터 임계값 이상의 세기를 가지는 심전도 신호가 수신된 경우, 제어부(380)는 다시 HMD(100)에 배치된 복수의 전극들을 통해 심전도 신호를 수신하지 않을 수 있다.
또 다른 실시예에서, 과정 2403에서 HMD(100)가 복수의 전극들로부터 심전도 신호를 수신함으로써 정상 착용된 것으로 확인된 경우, 제어부(380)는 정상 착용 확인을 위하여 이용된 복수의 전극들과 다른 전극들을 통해 심전도 신호를 수신할 수 있다.
과정 2413에서, 제어부(380)는 수신된 심전도 신호에 기반하여 사용자 인증율을 결정할 수 있다.
예를 들어, 제어부(380)는 수신된 심전도 신호로부터 심박 속도를 산출하기 위한 적어도 하나의 특이점을 추출할 수 있다. 제어부(380)는 추출된 특이점에 기반하여, 심박 속도를 산출할 수 있다. 제어부(380)는 기등록된 다수의 심전도 신호 중 산출된 심박 속도와 유사한 심전도 신호를 검출할 수 있다. 검출된 심전도 신호와 특이점을 일치시키기 위하여 수신된 심전도 신호를 보정할 수 있다. 제어부(380)는 수신된 심전도 신호의 파형 및 검출된 심전도 신호의 파형을 비교할 수 있다. 제어부(380)는 비교 결과 수신된 심전도 신호의 파형 및 기등록된 심전도 신호의 파형의 일치율(또는 매칭률)을 결정할 수 있다. 제어부(380)는 수신된 심전도 신호의 파형 및 검출된 심전도 신호의 파형의 일치율에 기반하여 사용자 인증율을 결정할 수 있다.
일 실시예에서, 제어부(380)는 수신된 심전도 신호에 기반하여 사용자 인증율을 결정하기 위하여, 심전도 신호의 파형의 적어도 일부 특징의 일치율에 대한 가중치를 설정할 수 있다. 예를 들어, 제어부(380)는 수신된 심전도 신호의 파형 및 검출된 심전도 신호의 파형을 비교하기 위하여, R 지점의 전압의 크기, PR interval의 길이, QT interval의 길이, ST Segment의 길이, 및 TP Segment의 길이 등을 비교 기준으로서 특징으로 설정할 수 있다. 제어부(380)는 R 지점의 전압의 크기의 일치율, PR interval의 길이의 일치율, QT interval의 길이의 일치율, ST Segment의 길이의 일치율, 및 TP Segment의 길이의 일치율 각각 마다 가중치를 설정할 수 있다. 예를 들어, 제어부(380)는 R 지점의 전압의 크기의 일치율에 0.2, PR interval의 길이의 일치율에 0.4, QT interval의 길이의 일치율에 0.1, ST Segment의 길이의 일치율에 0.25, 및 TP Segment의 길이의 일치율에 0.05의 가중치를 설정할 수 있다. 제어부(380)는 심전도 신호의 파형의 적어도 하나의 비교 기준으로서 특징에 대한 일치율 및 심전도 신호의 파형의 적어도 하나의 비교 기준으로서 특징에 대한 가중치를 조합하여 심전도 인증에 대한 사용자 인증율을 결정할 수 있다.
과정 2415에서, 제어부(380)는 다른 생체 센서를 통하여 수신된 생체 정보에 기반하여 결정된 사용자 인증율, 및 HMD(100)에 배치된 복수의 전극들을 통하여 수신된 심전도 신호에 기반하여 결정된 사용자 인증율을 종합하여 사용자 인증을 수행할 수 있다. 예를 들어, 제어부(380)는 다른 생체 센서를 통하여 수신된 생체 정보에 기반하여 결정된 사용자 인증율, 및 HMD(100)에 배치된 복수의 전극들을 통하여 수신된 심전도 신호에 기반하여 결정된 사용자 인증율을 합산하고, 합산된 결과가 기설정된 임계치 이상인 것으로 확인되면 사용자 인증에 성공한 것으로 결정할 수 있다.
도 25은 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 25을 참조하면, 과정 2501에서 제어부(380)는 사용자 인증이 필요한 어플리케이션 실행을 위한 사용자 입력을 수신할 수 있다. 일 실시예에서, 어플리케이션 실행을 위하여 설정된 사용자 인증은 심전도 신호에 기반한 사용자 인증일 수 있다. 예를 들어, 사용자가 결제 어플리케이션을 실행하려는 경우, 결제 어플리케이션을 실행하기 위한 인증으로서 심전도 인증이 필요할 수 있다. 제어부(380)는 어플리케이션 실행을 위한 요청이 수신되면, 어플리케이션 실행을 위하여 심전도 인증이 설정되어 있음을 확인할 수 있다.
과정 2503에서, 제어부(380)는 실행 요청된 어플리케이션에 대하여 기설정된 복수의 전극들을 확인할 수 있다. 일 실시예에서, 어플리케이션 마다 심전도 신호에 기반한 사용자 인증에 이용될 복수의 전극들이 설정될 수 있다. 예를 들어, HMD(100)에 배치된 복수의 전극들로부터 심전도 신호가 수신되는 경우, 제어부(380)는 결제 어플리케이션의 사용자 인증을 수행하기 위하여 복수의 전극들 중 좌/우 다리부 선단(101-2) 외측에 배치된 전극들을 통해 수신된 심전도 신호만을 이용하도록 설정할 수 있다. 다른 예에서, 보안이 설정된 보안 문서 출력을 위하여 제어부(380)는 복수의 전극들 중 코 받침부(104) 및 다리부 중단(101-1) 내측에 배치된 전극들을 통해 수신된 심전도 신호만을 이용하도록 설정할 수 있다. 일 실시예에서, 제어부(380)는 어플리케이션이 보안을 요하는 정도 즉, 어플리케이션에 설정된 인증 레벨에 따라 심전도 신호에 기반한 사용자 인증에 이용될 복수의 전극들을 설정할 수 있다. 예를 들어, 제어부(380)는 인증 레벨이 높은 결제 어플리케이션에 대한 정확한 인증을 위하여, HMD(100)의 다리부 선단(101-2) 외측에 배치된 전극들을 통해 수신되는 보다 강한 세기의 심전도 신호에 기반하여 사용자 인증이 수행되도록 결제 어플리케이션에 대하여 다리부 선단(101-2) 외측에 배치된 전극들이 매칭되도록 설정할 수 있다.
과정 2505에서, 제어부(380)는 확인된 복수의 전극들을 통한 사용자 인증 요청을 출력할 수 있다.
도 26는 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 예시도이다.
도 26에 도시된 바와 같이, 복수의 전극들을 통한 사용자 인증 요청을 출력할 수 있다. 예를 들어, 제어부(380)는 화면(2600)에 “양쪽 다리 부분에 손을 접촉하세요!”와 같은 문구가 표시된 창(2610)을 출력하도록 디스플레이부(220)를 제어할 수 있다. 다른 예에서, 제어부(380)는 “양쪽 다리 부분에 손을 접촉하세요”와 같은 음성을 출력하도록 오디오 출력부(325)를 제어할 수 있다.
과정 2507에서, 제어부(380)는 확인된 복수의 전극들을 통해 심전도 신호를 수신할 수 있다. 예를 들어, 제어부(380)는 결제 어플리케이션의 사용자 인증을 위하여 설정된 복수의 전극들, 예를 들어, HMD(100)의 다리부 선단(101-2) 외측에 배치된 복수의 전극들을 통해 사용자의 심전도 신호를 수신할 수 있다.
과정 2509에서, 제어부(380)는 수신된 심전도 신호에 기반하여 사용자 인증을 수행할 수 있다. 과정 2509는 과정 1703과 중복되므로 상세한 설명은 생략한다.
도 27은 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 27을 참조하면, 과정 2701에서 제어부(380)는 HMD(100)에 배치된 복수의 전극들을 통해 사용자 심전도 신호를 수신할 수 있다. 과정 2701은 도 17의 1701과 중복되므로 상세한 설명은 생략하도록 한다.
과정 2703에서, 제어부(380)는 수신된 심전도 신호에 기반하여 사용자 인증을 수행할 수 있다. 예를 들어, 제어부(380)는 수신된 심전도 신호로부터 심박 속도를 산출하기 위한 적어도 하나의 특이점을 추출할 수 있다. 제어부(380)는 추출된 특이점에 기반하여, 심박 속도를 산출할 수 있다. 제어부(380)는 기등록된 다수의 심전도 신호 중 산출된 심박 속도와 유사한 심전도 신호를 검출할 수 있다. 검출된 심전도 신호와 특이점을 일치시키기 위하여 수신된 심전도 신호를 보정할 수 있다. 제어부(380)는 수신된 심전도 신호의 파형 및 검출된 심전도 신호의 파형을 비교할 수 있다. 제어부(380)는 비교 결과 수신된 심전도 신호의 파형 및 기등록된 심전도 신호의 파형의 일치율(또는 매칭률)을 결정할 수 있다. 제어부(380)는 수신된 심전도 신호의 파형 및 기등록된 심전도 신호의 파형의 일치율이 임계치 이상인 경우, 사용자 인증이 성공한 것으로 결정할 수 있다.
과정 2705에서, 제어부(380)는 사용자 인증율 및 적어도 하나의 이전 사용자 인증율을 비교할 수 있다. 예를 들어, 제어부(380)는 과정 2703에서 수행된 사용자 인증의 심전도 신호의 일치율(또는 일치률 또는 매칭률)와 일정 시간 이전 수행하였던 사용자 인증의 일치율을 비교할 수 있다. 일 실시예에서, 일정 시간 이전 수행하였던 사용자 인증은, 현재 사용자 인증 전 일정 시간(또는 일정 기간) 동안 수행된 사용자 인증일 수 있다. 다른 실시예에서, 일정 시간 이전 수행하였던 사용자 인증은, 일정 시간 간격으로(또는 주기적으로) 수행된 사용자 인증일 수 있다. 일 실시예에서, 제어부(380)는 심전도 신호를 수신하고, 수신된 심전도 신호에 기반한 사용자 인증의 일치율 결정하고, 결정된 일치율을 저장부(390)에 저장할 수 있다. 제어부(380)는 사용자 입력이 있거나 또는 기설정된 주기가 도래하는 경우, 현재 수신된 심전도 신호에 기반한 사용자 인증율 및 이전에 수신된 심전도 신호에 기반하여 결정된 사용자 인증율을 비교할 수 있다. 일 실시예에서, 현재 수신된 심전도 신호에 기반한 사용자 인증율이 이전에 수신된 심전도 신호에 기반하여 결정된 사용자 인증율에 비하여 감소하는 경우, 제어부는 사용자의 심장에 이상이 있는 것으로 결정할 수 있다.
과정 2707에서, 제어부(380)가 현재 수신된 심전도 신호에 기반한 사용자 인증율이 이전에 수신된 심전도 신호에 기반하여 결정된 사용자 인증율에 비하여 감소되지 않은 경우, 과정 2709에서 해당 기능이 수행될 수 있다.
예를 들어, 현재 수신된 심전도 신호에 기반한 사용자 인증율이 이전에 수신된 심전도 신호에 기반하여 결정된 사용자 인증율에 비하여 큰 경우, 제어부(380)는 사용자 인증이 요청된 HMD(100)의 기능을 실행할 수 있다.
과정 2711에서, 과정 2707에서 현재 수신된 심전도 신호에 기반한 사용자 인증율이 이전에 수신된 심전도 신호에 기반하여 결정된 사용자 인증율에 비하여 감소된 것으로 확인된 경우, 제어부(380)는 사용자 심장에 이상이 있음을 의미하는 경고 문구를 출력할 수 있다.
도 28는 본 발명의 또 다른 실시예에 따른 심전도를 이용한 사용자 인증 방법을 설명하기 위한 예시도이다.
도 28에 도시된 바와 같이, 제어부(380)는 사용자 심장에 이상이 있음을 의미하는 경고로서, 화면(2800)에 “심장에 이상이 있을 가능성이 있습니다!”와 같은 문구를 창(2810)을 통해 출력하도록 디스플레이부(315)를 제어할 수 있다. 다른 예에서, 제어부(380)는 “심장에 이상이 있습니다”와 같은 음성을 출력하도록 오디오 출력부(325)를 제어할 수 있다.
이와 같이, 본 발명의 다양한 실시예에 따른 심전도를 이용한 사용자 인증 방법 및 이를 지원하는 HMD(100)는 HMD(100)에 배치된 복수의 전극들을 통해 간이하고 편리하게 사용자를 인증하도록 지원할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직일 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100, 200 : HMD 101 : 다리부
102 : 렌즈 103 : 렌즈 프레임
104 : 코 받침부 210 : 기구부
220 : 디스플레이부 230 : 입력부
240 : 오디오 출력부 250 : 전원 공급부
260 : 센싱부 270 : 저장부
280 : 제어부

Claims (20)

  1. 머리 착용형 장치에 있어서,
    홍채의 일부 영역을 촬영하는 촬영부;
    심전도 신호를 수신하는 심전도 센서; 및
    제어부를 포함하고,
    상기 제어부가,
    상기 촬영부를 통해 촬영된 홍채의 일부 영역 및 복수의 전극을 통해 수신되는 심전도 신호 중 적어도 하나를 획득하고,
    상기 획득된 적어도 하나를 이용하여 사용자를 인증하는 머리 착용형 장치.
  2. 제 1 항에 있어서,
    상기 제어부가,
    어플리케이션 별로 인증 레벨을 설정하는 머리 착용형 장치.
  3. 제 2 항에 있어서,
    상기 어플리케이션을 실행하기 위한 사용자 입력을 수신하는 입력부;
    상기 제어부가,
    상기 입력부로부터 상기 사용자 입력을 수신하는 경우, 상기 적어도 하나 중 상기 인증 레벨에 따라 설정된 어느 하나를 이용하여 사용자를 인증하는 머리 착용형 장치.
  4. 제 3 항에 있어서,
    상기 제어부가,
    상기 인증 레벨에 따라 설정된 어느 하나가 획득되지 않은 경우, 상기 어느 하나를 획득하도록 상기 촬영부 및 상기 심전도 센서 중 적어도 하나를 제어하는 머리 착용형 장치.
  5. 머리 착용형 장치에 있어서,
    사용자의 홍채의 일부 영역을 촬영하여 적어도 하나의 부분 영상을 획득하는 촬영부; 및
    상기 부분 영상을 조합함으로써 상기 사용자를 인증하기 위한 정규 영상을 생성하는 제어부를 포함하는 머리 착용형 장치.
  6. 제 5 항에 있어서,
    상기 제어부는,
    상기 부분 영상에 포함된 상기 홍채의 외곽선 및 상기 홍채의 내곽선 중 적어도 하나를 이용하여 상기 정규 영상을 생성하는 머리 착용형 장치.
  7. 제 5 항에 있어서,
    상기 제어부는,
    상기 부분 영상이 상기 정규 영상 내에서 차지하는 위치를 결정하고, 상기 결정된 위치에 기초하여 상기 부분 영상을 조합하는 것인 머리 착용형 장치.
  8. 제 5 항에 있어서,
    상기 촬영부는,
    정규영상의 생성에 대응하여 상기 사용자의 홍채를 복수 회 촬영하는 것인 머리 착용형 장치.
  9. 제 5 항에 있어서,
    상기 제어부는,
    상기 부분 영상에 포함된 상기 홍채의 외곽선 곡률을 이용하여 상기 정규 영상을 생성하는 머리 착용형 장치.
  10. 제 5 항에 있어서,
    상기 제어부는,
    상기 부분 영상이 상기 홍채의 내곽선을 포함하는 경우, 상기 내곽선의 곡률을 이용하여 상기 내곽선을 포함하는 가상의 원의 반지름의 크기로부터 동공의 크기를 추정하는 머리 착용형 장치.
  11. 제 5항에 있어서,
    상기 제어부는,
    상기 부분 영상이 상기 홍채의 내곽선을 포함하는 경우, 상기 내곽선의 곡률을 이용하여 상기 내곽선을 포함하는 가상의 원의 반지름의 크기로부터 동공의 크기를 추정하는 머리 착용형 장치.
  12. 제 5 항에 있어서,
    상기 제어부는,
    사용자의 인증을 필요로 하는 소정 이벤트가 발생됨에 따라, 사용자의 홍채를 촬영하기 위한 사용자 인터페이스 및 상기 홍채의 전체 영역 중 특정 위치를 포함하는 홍채의 부분 영상을 획득하기 위해 사용자의 눈이 바라볼 위치를 가이드하는 사용자 인터페이스를 제공하는 머리 착용형 장치.
  13. 머리 착용형 장치에 있어서,
    상기 머리 착용형 장치에 배치된 복수의 전극들; 및
    상기 복수의 전극들을 통해 심전도 신호를 수신하고, 상기 수신된 심전도 신호에 기반하여 사용자 인증을 수행하는 제어부를 포함하는 머리 착용형 장치.
  14. 제 13 항에 있어서,
    상기 복수의 전극들이,
    상기 머리 착용형 장치의 내측에 위치하고 착용 시 머리에 접촉되는 제 1 접촉부, 및 상기 머리 외의 다른 신체 부위와 접촉 가능한 제 2 접촉부 중 적어도 하나에 배치되는 머리 착용형 장치.
  15. 제 13 항에 있어서,
    상기 제어부가,
    상기 머리 착용형 장치에 배치된 복수의 전극들로부터 복수의 심전도 신호를 수신하는 경우, 설정에 따라 상기 복수의 심전도 신호 중 상기 사용자 인증을 수행하는 적어도 하나의 심전도 신호를 결정하고, 상기 결정된 적어도 하나의 심전도 신호에 기반하여, 사용자 인증을 수행하는 머리 착용형 장치.
  16. 제 13 항에 있어서,
    상기 제어부가,
    상기 머리 착용형 장치가 사용자에 착용되는지 결정하는 머리 착용형 장치.
  17. 제 13 항에 있어서,
    디스플레이부를 더 포함하고,
    상기 제어부가,
    상기 머리 착용형 장치가 사용자에 착용되지 않은 것으로 결정하면, 상기 머리 착용형 장치 착용을 위한 안내를 출력하도록 디스플레이부를 제어하는 머리 착용형 장치.
  18. 제 13 항에 있어서,
    상기 제어부가,
    심전도 센서 외 다른 적어도 하나의 생체 센서를 통하여 사용자를 인증하기 위한 사용자 입력을 수신하고, 상기 다른 적어도 하나의 생체 센서를 통해 사용자의 생체 정보를 수신하며, 상기 수신된 사용자의 생체 정보 및 상기 생체 정보에 상응하는 기등록된 사용자의 생체 정보의 제 1 일치율을 결정하고, 상기 복수의 전극들을 통해 수신된 심전도 신호 및 기등록된 심전도 신호의 제 2 일치율을 결정하며, 상기 1 일치율 및 상기 제 2 일치율을 조합하여 상기 사용자 인증을 수행하는 머리 착용형 장치.
  19. 제 13 항에 있어서,
    어플리케이션 실행을 위한 사용자 입력을 수신하는 입력부를 더 포함하고,
    상기 제어부가,
    상기 복수의 전극들 중 상기 입력부를 통해 상기 사용자 입력이 수신된 어플리케이션의 인증을 위하여 설정된 전극들을 확인하고, 상기 확인된 전극들을 통해 심전도 신호를 수신하는 머리 착용형 장치.
  20. 제 13 항에 있어서,
    디스플레이부를 더 포함하고,
    상기 제어부가,
    상기 복수의 전극들을 통해 수신된 심전도 신호 및 기등록된 심전도 신호의 제 3 일치율을 결정하고, 상기 결정된 일치율이 상기 심전도 신호 수신 이전에 일정 시간 동안 수신된 적어도 하나의 심전도 신호에 기반하여 결정된 적어도 하나의 제 4 일치율을 비교하며, 상기 제 3 일치율이 상기 적어도 하나의 제 4 일치율 보다 작은 경우, 사용자의 건강에 이상이 있음을 출력하도록 상기 디스플레이부를 제어하는 머리 착용형 장치.
KR1020150066244A 2015-03-05 2015-05-12 사용자 인증 방법 및 이를 지원하는 머리 착용형 장치 KR102349452B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/014,652 US9836663B2 (en) 2015-03-05 2016-02-03 User authenticating method and head mounted device supporting the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150031245 2015-03-05
KR1020150031245 2015-03-05

Publications (2)

Publication Number Publication Date
KR20160108092A true KR20160108092A (ko) 2016-09-19
KR102349452B1 KR102349452B1 (ko) 2022-01-12

Family

ID=57103335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150066244A KR102349452B1 (ko) 2015-03-05 2015-05-12 사용자 인증 방법 및 이를 지원하는 머리 착용형 장치

Country Status (1)

Country Link
KR (1) KR102349452B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419808A (zh) * 2020-11-10 2021-02-26 浙江大学 一种便携式多模态学习分析智能眼镜

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256376A (ja) * 2002-02-27 2003-09-12 Hitachi Ltd 安全性保証付き生体認証方法及び認証サービスを行う装置
KR20040005745A (ko) * 2002-05-15 2004-01-16 신성복 홍채인식을 통한 신원확인 시스템 및 방법과 그 방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체
JP2007041831A (ja) * 2005-08-03 2007-02-15 Matsushita Electric Ind Co Ltd 生体判別装置および認証装置ならびに生体判別方法
JP2013148961A (ja) * 2012-01-17 2013-08-01 Nec Infrontia Corp 虹彩認証システム、虹彩認証方法および虹彩認証プログラム
KR20130098770A (ko) * 2012-02-28 2013-09-05 한국전자통신연구원 입체감 확장형 가상 스포츠 체험 시스템
KR20140017734A (ko) * 2012-07-31 2014-02-12 인텔렉추얼디스커버리 주식회사 착용형 전자 장치 및 그의 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256376A (ja) * 2002-02-27 2003-09-12 Hitachi Ltd 安全性保証付き生体認証方法及び認証サービスを行う装置
KR20040005745A (ko) * 2002-05-15 2004-01-16 신성복 홍채인식을 통한 신원확인 시스템 및 방법과 그 방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체
JP2007041831A (ja) * 2005-08-03 2007-02-15 Matsushita Electric Ind Co Ltd 生体判別装置および認証装置ならびに生体判別方法
JP2013148961A (ja) * 2012-01-17 2013-08-01 Nec Infrontia Corp 虹彩認証システム、虹彩認証方法および虹彩認証プログラム
KR20130098770A (ko) * 2012-02-28 2013-09-05 한국전자통신연구원 입체감 확장형 가상 스포츠 체험 시스템
KR20140017734A (ko) * 2012-07-31 2014-02-12 인텔렉추얼디스커버리 주식회사 착용형 전자 장치 및 그의 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419808A (zh) * 2020-11-10 2021-02-26 浙江大学 一种便携式多模态学习分析智能眼镜

Also Published As

Publication number Publication date
KR102349452B1 (ko) 2022-01-12

Similar Documents

Publication Publication Date Title
US9836663B2 (en) User authenticating method and head mounted device supporting the same
US11295551B2 (en) Accumulation and confidence assignment of iris codes
US10860850B2 (en) Method of recognition based on iris recognition and electronic device supporting the same
CN106802482B (zh) 联接器以及头戴式显示装置
US10366778B2 (en) Method and device for processing content based on bio-signals
US10168772B2 (en) Head mounted electronic device
US8963806B1 (en) Device authentication
US20180285544A1 (en) Method for adaptive authentication and electronic device supporting the same
KR102080747B1 (ko) 이동 단말기 및 그것의 제어 방법
KR102056221B1 (ko) 시선인식을 이용한 장치 연결 방법 및 장치
KR20180062174A (ko) 햅틱 신호 생성 방법 및 이를 지원하는 전자 장치
KR102409903B1 (ko) 사용자 정보를 제공하는 전자 장치 및 방법
KR20160024690A (ko) 회전장치 및 이를 포함하는 전자장치
KR20160142128A (ko) 와치형 단말기 및 그 제어방법
KR102400383B1 (ko) 전자 장치의 센서 데이터 획득 방법 및 이를 사용하는 전자 장치
KR101946466B1 (ko) 탈모 진단을 위한 촬영 방법 및 이를 수행하는 전자 장치
JP2017009777A (ja) 表示装置、表示装置の制御方法、表示システム、及び、プログラム
KR20150003501A (ko) 전자 디바이스 및 전자 디바이스에서 지문을 이용한 인증 방법
US20200324074A1 (en) Electronic device and method for providing information for stress relief by same
KR20180023555A (ko) 전자장치, 이를 활용한 적외선 센서 기반의 심장 박동 수 측정 방법
KR20190131737A (ko) 외부 객체에 대한 접촉 상태에 기반한 가이드 정보를 제공하는 웨어러블 전자 장치 및 그 동작 방법
CN109117819B (zh) 目标物识别方法、装置、存储介质及穿戴式设备
TW201822134A (zh) 可區別使用者生理特徵的使用者生理感測系統
KR20160024733A (ko) 글라스형 웨어러블 디바이스를 이용한 실내 전자기기 제어방법 및 제어프로그램
KR20190117100A (ko) 전자 장치에서 생체 정보 측정 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right