KR101729959B1 - 눈동자 반응을 이용한 사용자 인증 시스템 - Google Patents

눈동자 반응을 이용한 사용자 인증 시스템 Download PDF

Info

Publication number
KR101729959B1
KR101729959B1 KR1020160005104A KR20160005104A KR101729959B1 KR 101729959 B1 KR101729959 B1 KR 101729959B1 KR 1020160005104 A KR1020160005104 A KR 1020160005104A KR 20160005104 A KR20160005104 A KR 20160005104A KR 101729959 B1 KR101729959 B1 KR 101729959B1
Authority
KR
South Korea
Prior art keywords
user
visual stimulus
pupil
unit
visual
Prior art date
Application number
KR1020160005104A
Other languages
English (en)
Inventor
이수영
정은수
이동건
이경호
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160005104A priority Critical patent/KR101729959B1/ko
Application granted granted Critical
Publication of KR101729959B1 publication Critical patent/KR101729959B1/ko

Links

Images

Classifications

    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G06K9/00335—
    • G06K9/6201—

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

눈동자 반응을 이용한 사용자 인증 시스템 및 방법이 개시된다. 눈동자 반응을 이용한 사용자 인증 시스템은 시각 자극에 따른 사용자의 눈동자 반응을 이용하여 사용자를 예측하는 제어부; 및 사용자 정보를 저장하는 저장부를 포함하고, 상기 제어부는, 상기 사용자에게 시각 자극을 제시하는 시각 자극 제시부; 상기 제시된 시각 자극에 따른 상기 사용자의 눈동자 반응을 획득하는 눈동자 반응 획득부; 상기 획득된 눈동자 반응을 기초로 상기 사용자의 시선을 추적하여 얻은 사용자 눈동자 반응 정보로부터 추출된 사용자 특징을 상기 저장부에 저장된 정보와 비교하여 사용자를 예측하는 사용자 예측부; 및 상기 시각 자극 제시부, 눈동자 반응 획득부 및 사용자 예측부 중 적어도 하나 이상으로부터 획득된 결과에 따라 새로운 시각 자극을 결정하는 시각 자극 결정부를 포함한다.

Description

눈동자 반응을 이용한 사용자 인증 시스템{USER AUTHENTICATION SYSTEM AND METHOD BASED ON EYE RESPONSES}
본 발명은 눈동자 반응을 이용한 사용자 인증 시스템 및 방법에 관한 것이다. 보다 상세하게, 본 발명의 일 실시예는 시각자극에 대한 사용자의 무의식적인 시선 움직임 반응을 인증에 사용하는 눈동자 반응을 이용한 사용자 인증 시스템 및 방법에 관한 것이다.
사람의 두뇌는 눈에 보이는 영상 중 익숙하거나 익숙하지 않거나, 또는 관심의 유무에 따라 다른 뇌파와 시선 움직임을 무의식 중에 생성한다고 알려져 있다(이를 ‘뇌지문(brain fingerprinting)’ 라고 함). 사람마다 과거의 경험과 지식, 관심사가 다르므로 같은 영상에 대해서도 서로 다른 반응을 보이고, 이는 무의식 중에 일어나서 스스로 제어할 수 없으므로 남들이 복제하기는 더욱 불가능하여, 사용자인증에 사용되기 매우 좋은 생체신호이다.
한편, 현재의 사용자 인증 시스템은 지문이나 홍채인식 등 최신 기술조차도 유출의 위험이 존재하여 안전성이 보장되지 못하고 있다. 보다 구체적으로, 비교적 보안성이 높다고 알려진 지문이나 홍채인식 등 생체인식조차도 특수소재나 카메라 등으로 복제가 가능하고, 최근 생체인식 기술표준(FIDO)에서 고려되는 생동감 감지(liveness detection)조차도 카메라로 복제된 비디오를 이용하여 피해갈 수 있다.
또한, 가장 기본적인 암호나 기기(OTP, 휴대폰 등) 등은 잃어버릴 수도 있어 이를 보완하기 위해 편의성을 희생하게 된다.
특히, 고령화 사회에서 디지털 기기에 익숙하지 못한 고령인구가 은행거래나 사회망(SNS) 가입 등 다양한 인터넷 상의 서비스를 이용하기에는 안전성과 편의성이 대폭 강화된 사용자인증 시스템이 필요하다.
컴퓨터 및 인터넷 서비스에서 절대적으로 안전하면서도 편의성이 보장되는 사용자 인증 시스템을 개발할 필요성이 요구된다.
공개특허공보 제10-2006-0018063호
본 발명이 이루고자 하는 기술적 과제는 눈동자 반응을 이용한 사용자 인증 시스템 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 시각자극에 대한 사용자의 무의식적인 시선 움직임 반응을 인증에 사용하는 눈동자 반응을 이용한 사용자 인증 시스템 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한, 본 발명에 따른 눈동자 반응을 이용한 사용자 인증 시스템은, 시각 자극에 따른 사용자의 눈동자 반응을 이용하여 사용자를 예측하는 제어부; 및 사용자 정보를 저장하는 저장부를 포함하고,
상기 제어부는, 상기 사용자에게 시각 자극을 제시하는 시각 자극 제시부; 상기 제시된 시각 자극에 따른 상기 사용자의 눈동자 반응을 획득하는 눈동자 반응 획득부; 상기 획득된 눈동자 반응을 기초로 상기 사용자의 시선을 추적하여 얻은 사용자 눈동자 반응 정보로부터 추출된 사용자 특징을 상기 저장부에 저장된 정보와 비교하여 사용자를 예측하는 사용자 예측부; 및 상기 시각 자극 제시부, 눈동자 반응 획득부 및 사용자 예측부 중 적어도 하나 이상으로부터 획득된 결과에 따라 새로운 시각 자극을 결정하는 시각 자극 결정부를 포함할 수 있다.
상기 저장부는, 사용자 등록 시에 입력한 상기 사용자의 눈동자 반응, 상기 사용자 개인 정보, 상기 사용자의 일상 정보 수집을 통해 획득한 데이터, 상기 사용자의 눈동자 반응에 대한 과거 인증 과정 또는 결과 중 적어도 하나를 저장할 수 있다.
상기 시각 자극은, 적어도 하나 이상의 정지 영상, 적어도 하나 이상의 동영상, 적어도 하나 이상의 정지 영상과 적어도 하나 이상의 동영상의 조합 중 어느 하나로 구성될 수 있다.
상기 시각 자극 제시부는 적어도 하나의 시각 자극을 순차적으로 제시할 수 있다.
상기 눈동자 반응은 시선 위치, 단속성 운동, 동공 크기, 눈 깜박임 중 적어도 하나 이상으로부터 파생된 신호일 수 있다.
상기 사용자 예측부는, 상기 시각 자극 제시부가 상기 사용자가 시스템에서 접한 적 있는 시각 자극을 제시한 경우, 상기 시각 자극에 대해 저장된 사용자의 이전 눈동자 반응을 포함하는 저장된 정보와 측정된 눈동자 반응 정보를 비교하여 사용자를 예측할 수 있다.
상기 사용자 예측부는, 상기 시각 자극 제시부가 상기 사용자가시스템에서 접한 적 없는 시각 자극을 제시한 경우, 상기 저장부에 저장된 정보와 상기 측정된 눈동자 반응 정보를 비교하여 사용자를 예측할 수 있다.
상기 시각 자극 결정부는, 상기 사용자 예측부가 예측한 사용자 신원에 대한 확률 또는 신뢰도를 고려하여 새로운 시각자극의 제시를 결정할 수 있다.
시각 자극 결정부가 새로운 시각 자극을 더 제시할 경우, 하나 이상의 추가적인 시각 자극과 그 제시 순서를 결정할 수 있다.
상기 시각 자극 결정부가 결정하는 새로운 시각 자극은 상기 사용자가 접한 적 있는 영상 또는 사용자가 접한 적 없는 영상일 수 있다.
상기 시각 자극 제시부는, 시각 자극 제시 사이에 적어도 하나의 역치 이하의 시각 자극을 필요에 따라 주입할 수 있다.
상기 역치 이하의 시각 자극은 50ms이하일 수 있다.
또한, 상기 목적을 달성하기 위한, 본 발명에 따른 눈동자 반응을 이용한 사용자 인증 시스템은, 시각 자극에 따른 사용자의 눈동자 반응을 이용하여 사용자를 예측하는 제어부; 및 사용자 정보를 저장하는 저장부를 포함하고,
상기 제어부는, 상기 사용자가 사용중인 전자장치로부터 눈동자 반응을 획득하고, 상기 획득한 눈동자 반응을 기초로 상기 사용자의 시선을 추적하여 얻은 사용자 눈동자 반응정보로부터 추출된 사용자 특징을 상기 저장부에 저장된 정보와 비교하여 사용자를 예측할 수 있다.
상기 저장부는, 사용자 등록 시에 입력한 상기 사용자의 눈동자 반응, 상기 사용자 개인 정보, 상기 사용자의 일상 정보 수집을 통해 획득한 데이터, 상기 사용자의 눈동자 반응에 대한 과거 인증 과정 또는 결과 중 적어도 하나를 저장할 수 있다.
상기 제어부는, 상기 전자장치의 디스플레이에 제시된 장면을 시각자극으로 하여 사용자 특징을 예측하고, 상기 예측된 사용자 특징과 측정된 눈동자 반응으로부터의 특징을 비교하여 사용자를 예측할 수 있다.
또한, 상기 목적을 달성하기 위한, 본 발명에 따른 눈동자 반응을 이용한 사용자 인증 방법은, 사용자에게 시각 자극을 제시하는 단계; 상기 제시된 시각 자극에 따른 상기 사용자의 눈동자 반응을 획득하는 단계; 상기 획득된 눈동자 반응의 조합으로부터 추출된 사용자의 눈동자 반응 정보를 상기 저장부로부터 추출된 정보와 비교하여 사용자를 예측하는 단계; 및 상기 시각 자극 제시부, 눈동자 반응 획득부 및 사용자 예측부 중 적어도 하나 이상으로부터 획득된 결과에 따라 새로운 시각 자극을 결정하는 단계를 포함할 수 있다.
본 발명에 따른 눈동자 반응을 이용한 사용자 인증 시스템 및 방법에 의하면, 시각자극에 대한 사용자의 무의식적인 시선 움직임 반응을 인증에 사용하여 사용자가 특별히 암호를 기억하거나 별도의 기기를 휴대할 필요 없이 편리하게 사용자를 인증할 수 있다. 또한, 사용자 두뇌의 무의식 반응이기에 다른 사람이 이를 복사하거나 모방할 수도 없는 절대적인 안정성을 가질 수 있다. 또한, 기존 PC와 카메라를 이용하여 소프트웨어만으로 시선추적이 가능하여 시선움직임을 이용한 사용자 인증을 보편화시킬 수 있다.
도 1은 사용자 인증 기술에 대한 분류표이다.
도 2는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템을 나타내는 블록도이다.
도3은 본 발명의 일 실시예에 따른 제어부를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템을 나타내는 모식도이다.
도 5는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템에 사용되는 디스플레이부를 나타내는 도면이다.
도 6는 본 발명의 일 실시예에 따른 3명의 사용자에 대한 시선추적을 예시로 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상자극에 대한 인식 성능을 나타내는 그래프이다.
도 8은 본 발명의 일 실시예에 따른 영상자극에 대한 인식 성능을 나타내는 표이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명할 수 있다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 할 수 있다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
사람의 두뇌는 눈에 보이는 영상 중 익숙하거나 익숙하지 않거나, 또는 관심의 유무에 따라 다른 뇌파와 시선 움직임을 무의식 중에 생성한다고 알려져 있다. 사람마다 과거의 경험과 지식, 관심사가 다르므로 같은 영상에 대해서도 서로 다른 반응을 보이고, 이는 무의식 중에 일어나서 스스로 제어할 수 없으므로 남들이 복제하기는 더욱 불가능하여, 사용자인증에 사용되기 매우 좋은 생체신호이다.
따라서, 시선 움직임을 이용하여 사용자 인증을 하여 절대적으로 안전하면서도 편의성이 보장되는 사용자 인증 시스템을 개발할 필요성에 의하여 본 발명을 제안한다.
도 1은 사용자 인증 기술에 대한 분류표이다.
도 1을 참조하면, 사용자 인증 시스템은 도1과 같이 분류할 수 있다. 좌측 3가지는 널리 사용되는 분류로써, 소수의 결정적 증거에 기반한 기술이다. 즉, 좌측 3가지 기술은 사용자만 알고 있는 지식(Knowledge Authentication), 사용자가 가지고 있는 증거물(Authentication Token), 사용자의 생체측정정보(Biometric Authentication)가 이용된다.
반면, 추리에 의한 인증(Inferential Authentication)은 약한 정보들이 모여 인증의 신뢰도를 높여가는 방법으로 사용자와의 상호작용에 기반하여 안전성을 높인다. 본 발명은 이와 같이 추리에 의한 인증을 통해 안전성을 높이고자 한다.
암호 등 사용자만이 갖는 고유의 정보에 의한 인증이 다양한 방법으로 침해당하여 10~15%정도 실패한다고 알려져 있다. 따라서, OTP(One-Time Password) 등 증거물(token)이 활용되고 있으며, 최근 생체정보가 보강되고 있다. 특히, 얼굴, 지문, 홍채, 정맥구조 등 생체특징 이외에도, 음성, 키스트로크(keystroke), 제스처, 자세, 서명 등 다양한 행동정보가 활용되고 있다. 즉, 현재, 국내외 인증 산업은 도1의 좌측 방법에서 우측 방법으로 옮겨가고 있는 중이다.
그러나, 현재 연구개발은 이 생체인식시스템의 대부분은 “사용자가 가지고 있고 겉으로 드러나는 생체특징”에 기반하여 복제로부터 자유로울 수 없다.
이에, “추리에 기반한 인증”을 개발하고 있으나, 사용자와의 상호작용에 의해 인증하는 “추리에 기반한 인증”은 상호작용의 방법이 질의응답이나 대화, 업무의 진행 관측 등으로 제한되어 편의성에서 약점이 있어 보편적인 인증시스템에서는 아직 초기단계이다.
본 발명에 따른 인증시스템은 추리기반 인증의 새로운 형태로서, 질의응답을 말로 하지 않고 영상자극으로 질의하고, 시선움직임으로 답을 받아, 편리성을 보강하면서도 점진적으로 인증의 정확도를 높여가는 방법을 제안한다.
도 2는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템을 나타내는 블록도이다.
도 2를 참조하면 눈동자 반응을 이용한 사용자 인증 시스템(1)은 입력부(100), 제어부(200), 출력부(300) 및 저장부(400)을 포함할 수 있다.
우선, 입력부(100)는 사용자의 눈동자 반응을 입력값으로 입력할 수 있다. 상기 눈동자 반응은 시선 위치, 단속성 운동, 동공 크기, 눈 깜박임 중 적어도 하나 이상으로부터 파생된 신호일 수 있다.
다음, 제어부(200)는 시각 자극에 따른 사용자의 눈동자 반응을 이용하여 사용자를 예측할 수 있다. 제어부(200)의 구체적인 구성 요소 및 기능은 하기 도 3을 참조하여 설명한다.
다음, 출력부(300)는 제어부(200)에서 사용자 눈동자 반응을 이용하여 예측된 사용자 정보를 출력할 수 있다.
마지막으로, 저장부(400)는 등록 시 입력한 상기 사용자의 눈동자 반응, 상기 사용자 개인 정보, 상기 사용자의 과거 인증과정에서 얻은 눈동자 반응, 상기 사용자의 과거 인증 신뢰도 중 적어도 하나를 저장할 수 있다.
도3은 본 발명의 일 실시예에 따른 제어부를 나타내는 블록도이다.
도 3을 참조하면, 눈동자 반응을 이용한 사용자 인증 시스템(1)의 제어부(200)는 시각 자극 제시부(210), 눈동자 반응 획득부(220), 사용자 예측부(230) 및 시각 자극 결정부(240)을 포함할 수 있다. 상기 제어부(200)를 구성하는 요소들을 보다 상세히 설명한다.
우선, 시각 자극 제시부(210)는 사용자에게 시각 자극을 제시할 수 있다. 시각 자극 제시부(210)는 적어도 하나의 시각 자극을 순차적으로 제시할 수 있다. 이 때, 시각 자극은 적어도 하나 이상의 정지 영상, 적어도 하나 이상의 동영상, 적어도 하나 이상의 정지 영상과 적어도 하나 이상의 동영상의 조합 중 어느 하나로 구성될 수 있다.
또한, 시각 자극 제시부(210)는 적어도 하나의 역치 이하의 시각 자극을 주입할 수 있다. 상기 역치 이하의 시각 자극은 50ms이하일 수 있다.
다음, 눈동자 반응 획득부(220)는 시각 자극 제시부(210)가 제시한 시각 자극에 따른 사용자의 눈동자 반응을 획득할 수 있다. 이 때, 눈동자 반응은 시선 위치, 단속성 운동, 동공 크기, 눈 깜박임 중 적어도 하나 이상으로부터 파생된 신호일 수 있다.
또한, 눈동자 반응 획득부(220)는 시각 자극 제시부(210)가 제시한 시각 자극에 따른 사용자의 눈동자 반응을 획득할 수 있지만, 사용자가 사용중인 전자장치로부터 눈동자 반응을 획득할 수도 있다.
다음, 사용자 예측부(230)는 눈동자 반응 획득부(220)가 획득한 눈동자 반응의 조합으로부터 추출된 사용자의 눈동자 반응 정보를 상기 저장부로부터 추출된 정보와 비교하여 사용자를 예측할 수 있다.
또한, 사용자 예측부(230)는 시각 자극 제시부(210)가 사용자가 시스템에서 접한 적 있는 시각 자극을 제시한 경우, 시각 자극에 대해 저장된 사용자의 이전 눈동자 반응을 포함하는 저장된 정보와 측정된 눈동자 반응 정보를 비교하여 사용자를 예측할 수 있다.
반면, 사용자 예측부(230)는 시각 자극 제시부(210)가 사용자가 시스템에서 접한 적 없는 시각 자극을 제시한 경우, 상기 저장부에 저장된 정보와 측정된 눈동자 반응 정보를 비교하여 사용자를 예측할 수 있다.
다음, 시각 자극 결정부(240)는 시각 자극 제시부(210), 눈동자 반응 획득부(220) 및 사용자 예측부(230) 중 적어도 하나 이상으로부터 획득된 결과에 따라 새로운 시각 자극을 결정할 수 있다. 또한, 시각 자극 결정부(240)는 시각 자극 제시 여부를 결정할 수 있으며, 추가적인 시각 자극의 구성 혹은 제시 순서를 결정할 수 있다.
이와 같이 새로운 시각 자극을 결정하기로 한 경우, 시각 자극 제시부(210), 눈동자 반응 획득부(220), 사용자 예측부(230)의 동작을 추가적으로 재수행할 수 있다.
또한, 시각 자극 결정부(240)는 사용자 예측부(230)가 예측한 사용자 신원에 대한 확률 및 신뢰도를 고려하여 적어도 하나의 새로운 시각자극을 결정할 수 있다. 보다 상세하게, 시각 자극 결정부(240)는 획득한 눈동자 반응을 저장된 데이터와 비교해서 예측한 신원의 데이터와의 유사도를 이용하여 확률 및 신뢰도를 고려함으로써 적어도 하나의 새로운 시각자극을 결정할 수 있다. 또한, 시각 자극 결정부(240)는 예측한 신원의 유사도와 나머지 하나 이상의 신원에 대한 유사도의 상대적인 값을 비교해서 구한 신원에 대한 확률 및 신뢰도를 이용하여 적어도 하나의 새로운 시각자극을 결정할 수 있다.
또한, 시각 자극 결정부(240)는 하나 이상의 추가적인 시각 자극을 구성하는 영상을 선택하거나, 또는 조합하거나, 또는 선택하여 조합할 수 있다. 상기 선택하는 영상은 사용자가 시스템에서 접한 적 있는 영상이거나 접한 적 없는 새로운 영상일 수 있다.
도 4는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템을 나타내는 모식도이다.
도 4를 참조하면, 시각자극(Visual Stimuli)에 대해 사용자의 눈동자는 반응하며, 이러한 사용자 눈동자 반응은 데이터 베이스에 저장된 정보와 비교된다. 이와 같이, 비교된 결과를 이용하여 본 발명에 따른 사용자 인증 시스템(1)은 사용자를 예측하고, 사용자를 입증하거나, 사용자의 신원을 확인할 수 있다. 또한, 시각자극(Visual Stimuli)에 대한 사용자 눈동자 반응과 데이터 베이스에 저장된 정보를 비교함으로써, 디스플레이되는 시각 자극을 제어할 수 있다.
도 5는 본 발명의 일 실시예에 따른 눈동자 반응을 이용한 사용자 인증 시스템에 사용되는 디스플레이부를 나타내는 도면이다.
도 5를 참조하면, 전방 카메라 및 눈동자 반응을 이용한 사용자 인증 시스템을 가동하면, 화면에는 시선고정(fixation) 및 특정 영상자극이 순차적으로 디스플레이되고, 상기 디스플레이된 화면을 본 사용자마다 다르게 반응하는 시선추적 정보를 이용하여 사용자를 인증함을 알 수 있다. 이 때, 두 번째 및 세 번째 자극 사진의 녹색 및 적색 원과 선은 실제 자극에서는 없는 것으로 이해를 위해 측정된 시선추적 정보를 중첩해서 그린 것이다.
또한, 화면은 시선고정 없이 영상자극만이 순차적으로 디스플레이될 수 있고, 제시되는 영상자극의 개수는 다양하게 설정될 수 있다.
이와 같이, 눈동자 반응을 이용한 사용자 인증 시스템은 사람마다 다르게 반응하는 시선 움직임을 통해 사용자를 인증 할 수 있다.
보다 구체적으로, 본 발명에 따른 사용자를 인증할 수 있는 눈동자 반응을 이용한 사용자 인증 시스템은 영상 자극에 대한 사용자의 시선 움직임을 측정하여 데이터 베이스(database)에 구축된 사용자 및 다수의 다른 사람들과의 시선 움직임을 비교하여 사용자를 "인증" 또는 "거부"하는 시스템이다.
사람의 시선 움직임은 기억이나 관심, 하고자 하는 일 등에 따라 달라지지만, (예로 관심있는 얼굴에 많은 시선이 감), 같은 사람이라도 기억이나 관심이 시간에 따라 변할 수 있으므로, 도 5와 같이 여러 개의 영상을 순차적으로 보여주며, 그에 따른 시선움직임을 이용하여 적정한 인증 신뢰도가 확보한다.
즉, 한 개의 영상이 하나의 질문이고, 이에 대한 반응이 하나의 답이 되어 사용자에 대한 인증(Accept)/거부(Reject)의 신뢰도가 특정값에 도달할 때까지 질의응답을 계속하게 된다. 한 개 답을 “옳다”와 “그르다”로 이진화(binarization)하는 경우, N개의 영상질문으로부터의 답은 N-bit 암호에 해당한다. 즉, 영상질문을 많이 할수록 신뢰도를 높일 수 있다.
예를 들면, 한 개의 영상자극을 2x2 위치에 4개의 독립된 영상으로 구성하여 2x2 급의 초저해상도 시선추적기로도 시선의 차이를 파악할 수 있다.
또한, 상기 자극영상은 매번 변별력이 높은 영상으로 선택할 수 있다. 예를 들면, 현재까지 사용자일 확률이 70%이지만, 다른 사람 중 A일 확률이 두 번째로 높아 20%라면, 사용자와 A를 변별하는데 기여도가 큰 영상자극을 선별하여 사용하게 된다.
도 6는 본 발명의 일 실시예에 따른 3명의 사용자에 대한 시선추적을 나타내는 도면이다.
도 6을 참조하면, 3명의 사용자에 대한 시선추적의 예로써, 원의 크기는 머무른 시간에 비례하고, 원 속의 숫자는 시선이 간 순서를 나타낸다. 실선은 시선을 순서대로 연결한 것을 나타낸다. 동일 영상에 대해 사람마다 확연히 다른 반응이 무의식적으로 나온 것을 알 수 있다.
보다 구체적으로, 컴퓨터 화면에 특정 영상을 보여주고 시선추적을 하여, 같은 영상에 대해서도 여러 개의 국부적 주의가 형성되고, 사람마다 다른 시선패턴이 순차적으로 형성되는 것을 확인할 수 있다. 이 때, 영상으로는 얼굴, 건물 및 동물 사진 등을 사용할 수 있다.
일반적인 시선추적시스템에서는 한 개의 복잡한 영상을 보여 주는 것에 반해, 본 발명에서는 궁극적으로 저해상도(2x2) 시선추적시스템을 인증에 사용하기 위하여 화면의 4 모서리에 각각 다른 영상을 제시하고, 이들에 대한 시선 움직임을 측정하였다. 좋아하는 영상에 보다 자주 많은 시간 시선이 머물 것이며, 그 결과, 도 6과 같이, 같은 영상에 대해서도 사람마다 다른 시선의 움직임이 관측되고, 이를 이용하여 사용자 인증이 가능하다.
도 7은 본 발명의 일 실시예에 따른 영상자극에 대한 인식 성능을 나타내는 그래프이다.
도 7을 참조하면, 단일 영상자극의 인식 성능을 알 수 있다.
이를 위해, 2x2 영상 110장을 27명의 피험자에게 12번(하루에 4번, 일주일 간격으로 3일)씩 보여주고 시선움직임을 측정하였다(도 6참조). 하루에 진행된 4번의 실험은 “자유응시(Free Viewing)”와 “이미지 선택(Task)”이 각각 2번씩 시행되었다. 이 때, “자유 응시”는 자유롭게 화면을 보는 것을 의미하고, “이미지 선택”은 좋아하는 영상을 찾는 행위를 의미한다.
단일 영상자극에 대해 30분, 1주 차이, 2주 차이에 대한 사용자 인식실험을 수행한 결과, 랜덤확률(1/27)에 비해 매우 높은 인식률을 얻었다. “이미지 선택”을 제시한 경우는 “자유응시”에 비해 인식율이 높음을 확인하였다. 또한, 1주차와 2주차의 경우(첫날 시선경로로 1주와 2주 후 시선경로를 인식한 경우), 인식률이 떨어지나 보상할 수 있는 수준임을 확인하였다.
도 8은 본 발명의 일 실시예에 따른 영상자극에 대한 인식 성능을 나타내는 표이다.
도 8을 참조하면, 110개의 영상자극을 모두 사용하여 사용자인증을 한 경우, 역시 이미지 선택을 제시한 경우가 상대적으로 높은 정확도를 보였다. 이 경우, 동일 날짜에 대해서는 긍정오류(FAR, False Acceptance Rate)가 3.8%일 때, 부정오류(FRR, False Rejection Rate)가 11.1% 였다.
상술한 바와 같은 눈동자 반응을 이용한 사용자 인증 시스템을 이용한 본 발명에 따른 눈동자 반응을 이용한 사용자 인증 방법은,
시각 자극 제시부가 사용자에게 시각 자극을 제시하는 단계(단계 1);
눈동자 반응 획득부가 상기 제시된 시각 자극에 따른 상기 사용자의 눈동자 반응을 획득하는 단계(단계2);
사용자 예측부가 상기 획득된 눈동자 반응의 조합으로부터 추출된 사용자의 눈동자 반응 정보를 상기 저장부로부터 추출된 정보와 비교하여 사용자를 예측하는 단계(단계3); 및
시각자극 결정부가 상기 시각 자극 제시부, 눈동자 반응 획득부 및 사용자 예측부 중 적어도 하나 이상으로부터 획득된 결과에 따라 새로운 시각 자극을 결정하는 단계(단계4)
를 포함한다.
본 발명에 따른 눈동자 반응을 이용한 사용자 인증 방법에 있어서, 단계1은 사용자에게 시각 자극을 제시하는 단계이다.
상기 단계1은 시각 자극 제시부가 적어도 하나의 시각 자극을 순차적으로 사용자에게 제시한다. 이 때, 시각 자극은 적어도 하나 이상의 정지 영상, 적어도 하나 이상의 동영상, 적어도 하나 이상의 정지 영상과 적어도 하나 이상의 동영상의 조합 중 어느 하나로 구성될 수 있다.
또한, 단계1은 적어도 하나의 역치 이하의 시각 자극을 주입할 수 있다. 상기 역치 이하의 시각 자극은 50ms이하일 수 있다.
본 발명에 따른 눈동자 반응을 이용한 사용자 인증 방법에 있어서, 단계2는 눈동자 반응 획득부가 상기 제시된 시각 자극에 따른 상기 사용자의 눈동자 반응을 획득하는 단계이다.
이 때, 눈동자 반응은 시선 위치, 단속성 운동, 동공 크기, 눈 깜박임 중 적어도 하나 이상으로부터 파생된 신호일 수 있다.
본 발명에 따른 눈동자 반응을 이용한 사용자 인증 방법에 있어서, 단계3는 사용자 예측부가 상기 획득된 눈동자 반응의 조합으로부터 추출된 사용자의 눈동자 반응 정보를 상기 저장부로부터 추출된 정보와 비교하여 사용자를 예측하는 단계이다.
상기 단계3은 사용자가 시스템에서 접한 적 있는 시각 자극을 제시한 경우, 시각 자극에 대해 저장된 사용자의 이전 눈동자 반응을 포함하는 저장된 정보와 측정된 눈동자 반응 정보를 비교하여 사용자를 예측한다.
또한, 단계3은 사용자가 시스템에서 접한 적 없는 시각 자극을 제시한 경우, 상기 저장부에 저장된 정보와 측정된 눈동자 반응 정보를 비교하여 사용자를 예측한다.
본 발명에 따른 눈동자 반응을 이용한 사용자 인증 방법에 있어서, 단계4는 시각자극 결정부가 시각 자극 제시부, 눈동자 반응 획득부 및 사용자 예측부 중 적어도 하나 이상으로부터 획득된 결과에 따라 새로운 시각 자극을 결정하는 단계이다.
또한, 단계 4는 시각 자극 결정부가 시각 자극 제시 여부를 결정할 수 있으며, 추가적인 시각 자극의 구성 혹은 제시 순서를 결정한다. 이와 같이 새로운 시각 자극을 결정하기로 한 경우, 시각 자극 제시부, 눈동자 반응 획득부, 사용자 예측부의 동작을 추가적으로 재수행할 수 있다.
또한, 단계4는 시각 자극 결정부가 사용자 예측부에서 예측된 사용자 신원에 대한 확률 및 신뢰도를 고려하여 적어도 하나의 새로운 시각자극을 결정한다.
또한, 단계4는 시각 자극 결정부가 획득한 눈동자 반응을 저장된 데이터와 비교해서 예측한 신원의 데이터와의 유사도를 이용하여 확률 및 신뢰도를 고려함으로써 적어도 하나의 새로운 시각자극을 결정한다.
또한, 단계4는 시각 자극 결정부가 예측한 신원의 유사도와 나머지 하나 이상의 신원에 대한 유사도의 상대적인 값을 비교해서 구한 신원에 대한 확률 및 신뢰도를 이용하여 적어도 하나의 새로운 시각자극을 결정한다.
또한, 단계4는 시각 자극 결정부가 하나 이상의 추가적인 시각 자극을 구성하는 영상을 선택하거나, 또는 조합하거나, 또는 선택하여 조합한다.
상기 선택하는 영상은 사용자가 시스템에서 접한 적 있는 영상이거나 접한 적 없는 새로운 영상일 수 있다.
본 발명에 따른 눈동자 반응을 이용한 사용자 인증 시스템 및 방법에 의하면, 시각자극에 대한 사용자의 무의식적인 시선 움직임 반응을 인증에 사용하여 사용자가 특별히 암호를 기억하거나 별도의 기기를 휴대할 필요 없이 편리하게 사용자를 인증할 수 있다.
또한, 본 발명에 따른 눈동자 반응을 이용한 사용자 인증 시스템 및 방법에 의하면, 사용자 두뇌의 무의식 반응이기에 다른 사람이 이를 복사하거나 모방할 수도 없는 절대적인 안정성을 가질 수 있다.
또한, 본 발명에 따른 눈동자 반응을 이용한 사용자 인증 시스템 및 방법에 의하면, 기존 PC와 카메라를 이용하여 소프트웨어만으로 시선추적이 가능하여 시선움직임을 이용한 사용자 인증을 보편화시킬 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (16)

  1. 시각 자극에 따른 사용자의 눈동자 반응을 이용하여 사용자를 예측하는 제어부; 및
    사용자 정보를 저장하는 저장부를 포함하고,
    상기 제어부는,
    상기 사용자에게 시각 자극을 제시하는 시각 자극 제시부;
    상기 제시된 시각 자극에 따른 상기 사용자의 눈동자 반응을 획득하는 눈동자 반응 획득부;
    상기 획득된 눈동자 반응을 기초로 추출된 사용자 특징을 상기 저장부에 저장된 정보와 비교하여 사용자를 예측하는 사용자 예측부; 및
    상기 시각 자극 제시부, 눈동자 반응 획득부, 사용자 예측부 중 적어도 하나 이상으로부터 획득된 결과에 따라 새로운 시각 자극을 결정하는 시각 자극 결정부를 포함하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  2. 제1항에 있어서,
    상기 저장부는,
    사용자 등록 시에 입력한 상기 사용자의 눈동자 반응, 상기 사용자 개인 정보, 상기 사용자의 일상 정보 수집을 통해 획득한 데이터, 상기 사용자의 눈동자 반응에 대한 과거 인증 과정 또는 결과 중 적어도 하나를 저장하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  3. 제1항에 있어서,
    상기 시각 자극은,
    적어도 하나 이상의 정지 영상, 적어도 하나 이상의 동영상, 적어도 하나 이상의 정지 영상과 적어도 하나 이상의 동영상의 조합 중 어느 하나로 구성되는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  4. 제1항에 있어서,
    상기 시각 자극 제시부는 적어도 하나의 시각 자극을 순차적으로 제시하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  5. 제1항에 있어서,
    상기 눈동자 반응은 시선 위치, 단속성 운동, 동공 크기, 눈 깜박임 중 적어도 하나 이상으로부터 파생된 신호인 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  6. 제1항에 있어서,
    상기 사용자 예측부는,
    상기 시각 자극 제시부가 상기 사용자가 시스템에서 접한 적 있는 시각 자극을 제시한 경우, 상기 시각 자극에 대해 저장된 사용자의 이전 눈동자 반응을 포함하는 저장된 정보와 측정된 눈동자 반응 정보를 비교하여 사용자를 예측하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  7. 제 1항에 있어서,
    상기 사용자 예측부는,
    상기 시각 자극 제시부가 상기 사용자가시스템에서 접한 적 없는 시각 자극을 제시한 경우, 상기 저장부에 저장된 정보와 상기 획득된 눈동자 반응 정보를 비교하여 사용자를 예측하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  8. 제1항에 있어서,
    상기 시각 자극 결정부는,
    상기 사용자 예측부가 예측한 사용자 신원에 대한 확률 또는 신뢰도를 고려하여 새로운 시각자극의 제시를 결정하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  9. 제 1항에 있어서,
    시각 자극 결정부가 새로운 시각 자극을 더 제시할 경우, 하나 이상의 추가적인 시각 자극과 그 제시 순서를 결정하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  10. 제1항에 있어서,
    상기 시각 자극 결정부가 결정하는 새로운 시각 자극은 상기 사용자가 접한 적 있는 영상 또는 사용자가 접한 적 없는 영상인 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  11. 제 1항에 있어서,
    상기 시각 자극 제시부는,
    시각 자극 제시 사이에 적어도 하나의 역치 이하의 시각 자극을 주입하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  12. 제 11항에 있어서,
    상기 역치 이하의 시각 자극은 50ms이하인 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  13. 시각 자극에 따른 사용자의 눈동자 반응을 이용하여 사용자를 예측하는 제어부; 및
    사용자 정보를 저장하는 저장부를 포함하고,
    상기 제어부는,
    사용자가 응시한 장면을 시각자극으로 하여 상기 사용자 눈동자 반응을 획득하고,
    상기 획득한 눈동자 반응을 기초로 추출된 사용자 특징을 상기 저장부에 저장된 정보와 비교하여 사용자를 예측하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  14. 제13항에 있어서,
    상기 저장부는,
    사용자 등록 시에 입력한 상기 사용자의 눈동자 반응, 상기 사용자 개인 정보, 상기 사용자의 일상 정보 수집을 통해 획득한 데이터, 상기 사용자의 눈동자 반응에 대한 과거 인증 과정 또는 결과 중 적어도 하나를 저장하는 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  15. 제13항에 있어서,
    상기 눈동자 반응은 시선 위치, 단속성 운동, 동공 크기, 눈 깜박임 중 적어도 하나 이상으로부터 파생된 신호인 것을 특징으로 하는 눈동자 반응을 이용한 사용자 인증 시스템.
  16. 사용자에게 시각 자극을 제시하는 단계;
    상기 제시된 시각 자극에 따른 상기 사용자의 눈동자 반응을 획득하는 단계;
    상기 획득된 눈동자 반응의 조합으로부터 추출된 사용자의 눈동자 반응 정보를 저장부로부터 추출된 정보와 비교하여 사용자를 예측하는 단계; 및
    상기 시각 자극 제시부, 눈동자 반응 획득부, 사용자 예측부 중 적어도 하나 이상으로부터 획득된 결과에 따라 새로운 시각 자극을 결정하는 단계
    를 포함하는 눈동자 반응을 이용한 사용자 인증 방법.
KR1020160005104A 2016-01-15 2016-01-15 눈동자 반응을 이용한 사용자 인증 시스템 KR101729959B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160005104A KR101729959B1 (ko) 2016-01-15 2016-01-15 눈동자 반응을 이용한 사용자 인증 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160005104A KR101729959B1 (ko) 2016-01-15 2016-01-15 눈동자 반응을 이용한 사용자 인증 시스템

Publications (1)

Publication Number Publication Date
KR101729959B1 true KR101729959B1 (ko) 2017-05-12

Family

ID=58739923

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160005104A KR101729959B1 (ko) 2016-01-15 2016-01-15 눈동자 반응을 이용한 사용자 인증 시스템

Country Status (1)

Country Link
KR (1) KR101729959B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221325A1 (ko) * 2018-05-14 2019-11-21 한국과학기술원 눈동자 반응을 이용한 연속 인증 시스템
KR102059511B1 (ko) * 2018-05-14 2019-12-26 한국과학기술원 눈동자 반응과 사용자의 정보를 이용한 사용자 인증 시스템
KR102059517B1 (ko) * 2018-05-15 2019-12-26 한국과학기술원 시각자극에 의해 유도된 사용자 눈동자 반응을 이용한 인증 시스템
KR102059544B1 (ko) * 2018-05-14 2019-12-26 한국과학기술원 눈동자 반응을 이용한 연속 인증 시스템
KR102059520B1 (ko) 2018-05-14 2019-12-26 한국과학기술원 저해상도 눈동자 반응을 이용한 사용자 인증시스템
WO2024080770A1 (ko) * 2022-10-14 2024-04-18 삼성전자 주식회사 홍채 정보를 검출하는 웨어러블 장치 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356358B1 (ko) * 2012-08-10 2014-01-27 아이베리파이 엘엘씨 눈의 이미지에 기초한 바이오메트릭 인증을 위한 기기 및 컴퓨터 구현 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356358B1 (ko) * 2012-08-10 2014-01-27 아이베리파이 엘엘씨 눈의 이미지에 기초한 바이오메트릭 인증을 위한 기기 및 컴퓨터 구현 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221325A1 (ko) * 2018-05-14 2019-11-21 한국과학기술원 눈동자 반응을 이용한 연속 인증 시스템
KR102059511B1 (ko) * 2018-05-14 2019-12-26 한국과학기술원 눈동자 반응과 사용자의 정보를 이용한 사용자 인증 시스템
KR102059544B1 (ko) * 2018-05-14 2019-12-26 한국과학기술원 눈동자 반응을 이용한 연속 인증 시스템
KR102059520B1 (ko) 2018-05-14 2019-12-26 한국과학기술원 저해상도 눈동자 반응을 이용한 사용자 인증시스템
KR102059517B1 (ko) * 2018-05-15 2019-12-26 한국과학기술원 시각자극에 의해 유도된 사용자 눈동자 반응을 이용한 인증 시스템
WO2024080770A1 (ko) * 2022-10-14 2024-04-18 삼성전자 주식회사 홍채 정보를 검출하는 웨어러블 장치 및 그 제어 방법

Similar Documents

Publication Publication Date Title
KR101729959B1 (ko) 눈동자 반응을 이용한 사용자 인증 시스템
US10156900B2 (en) Systems and methods for discerning eye signals and continuous biometric identification
CN107995979B (zh) 用于对用户进行认证的***、方法和机器可读介质
US7986816B1 (en) Methods and systems for multiple factor authentication using gaze tracking and iris scanning
US10467400B2 (en) Visual storytelling authentication
US11055388B2 (en) Passive affective and knowledge-based authentication through eye movement tracking
Fairhurst Biometrics: a very short introduction
Stragapede et al. IJCB 2022 mobile behavioral biometrics competition (MobileB2C)
US11720655B2 (en) System, device and method for logging-in by staring at a display device
Ryu et al. A comprehensive survey of context-aware continuous implicit authentication in online learning environments
KR102059520B1 (ko) 저해상도 눈동자 반응을 이용한 사용자 인증시스템
KR102059511B1 (ko) 눈동자 반응과 사용자의 정보를 이용한 사용자 인증 시스템
TWM483471U (zh) 基於眼動行爲之授權系統
TW201535138A (zh) 基於眼動行爲之授權方法及授權系統
Huestegge et al. Visual search in authentication systems based on memorized faces: Effects of memory load and retention interval
Saleh et al. A systematic survey on examinees identity authentication in online distant exams
Jittibumrungrak et al. A preliminary study to evaluate graphical passwords for older adults
KR102059517B1 (ko) 시각자극에 의해 유도된 사용자 눈동자 반응을 이용한 인증 시스템
KR102059544B1 (ko) 눈동자 반응을 이용한 연속 인증 시스템
Hogges et al. A Two-Step Password Authentication System for Alzheimer Patients
US10708271B2 (en) Scalable configurable universal full spectrum cyberspace identity verification test
KR20020076487A (ko) 동화상 정보를 이용한 개인 인증방법
US20240071141A1 (en) Verification of liveness data for identity proofing
Dobaibi Acceptance of Biometric Systemsfor User Authentication and Identification
Almohaimeed et al. Using Eye Movement Features for Secure Authentication

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant