KR102368457B1 - 편광 시선 추적 - Google Patents

편광 시선 추적 Download PDF

Info

Publication number
KR102368457B1
KR102368457B1 KR1020167026627A KR20167026627A KR102368457B1 KR 102368457 B1 KR102368457 B1 KR 102368457B1 KR 1020167026627 A KR1020167026627 A KR 1020167026627A KR 20167026627 A KR20167026627 A KR 20167026627A KR 102368457 B1 KR102368457 B1 KR 102368457B1
Authority
KR
South Korea
Prior art keywords
polarization
image
light
user
glasses
Prior art date
Application number
KR1020167026627A
Other languages
English (en)
Other versions
KR20160126060A (ko
Inventor
바이브하브 투크랄
수딥타 신하
비벡 프라딥
티모시 앤드류 라지
니겔 스튜어트 킴
데이비드 니스터
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160126060A publication Critical patent/KR20160126060A/ko
Application granted granted Critical
Publication of KR102368457B1 publication Critical patent/KR102368457B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H04N5/23219—
    • H04N5/2354—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

시선(gaze) 위치를 결정하는 것에 관련되는 실시형태가 개시된다. 하나의 실시형태에 있어서, 방법은 사용자 착용 안경의 눈에 대하여 아웃바운드되는 광 경로에 따라서 광을 비추는 단계를 포함한다. 안경의 검출시에, 광은 랜덤한 편광 위상과 단일 편광 위상 사이를 전환하는 편광 패턴으로 동적으로 편광되며, 여기서 랜덤한 편광 위상은 아웃바운드 광 경로를 따른 제1 편광 및 반사된 광 경로를 따른 제1 편광에 직교하는 제2 편광을 포함한다. 단일 편광 위상은 단일 편광을 가진다. 랜덤한 편광 위상 동안에, 안경으로부터 반사된 글레어는 필터링되고, 동공 이미지가 캡처된다. 글린트 이미지는 단일 편광 위상 동안에 캡처된다. 동공 특성 및 글린트 특성에 기초하여, 시선 위치가 반복적으로 검출된다.

Description

편광 시선 추적{POLARIZED GAZE TRACKING}
눈 또는 시선(gaze) 추적 시스템 및 기술은 사람의 시선의 방향 및/또는 위치를 결정하는데 이용될 수도 있다. 일부 예들에 있어서, 광원은 사용자의 눈 또는 눈들을 조명할 수 있고, 이에 대응하는 카메라는 눈의 이미지를 캡처할 수도 있다. 이러한 이미지는 눈의 각막(cornea)으로부터의 반사, 또는 “글린트(glint)”를 포함할 수도 있다.캡처된 이미지로부터의 동공의 위치 및 글린트는 주위 환경에서의 사용자의 시선의 방향 및/또는 위치를 결정하는데 이용될 수도 있다.
그러나, 사용자가 안경을 착용하고 있는 상황에서, 광원으로부터의 광은 안경의 렌즈로부터의 스페큘러(specular) 반사를 야기할 수도 있다. 이러한 스페큘러 반사는 동공의 각막 반사 글린트 및 이미지를 폐색할 수 있는 글레어 및/또는 연곽(limbus)을 야기할 수도 있다. 이러한 글레어는 동공의 위치 및/또는 글린트를 정확하게 결정하는 시선 추적 시스템의 능력을 저하시킬 수도 있다. 이에 따라서, 사람의 시선의 추정된 방향 및/또는 위치의 정확도는 악화될 수도 있다.
사용자의 눈의 시선 위치를 결정하기 위한 시스템 및 방법에 관한 여러 가지 실시형태들이 본원에 개시된다. 예를 들어, 하나의 개시된 실시형태는, 사용자의 눈의 시선 위치를 결정하는 방법을 제공하며, 여기서 광은 광원으로부터 사용자 착용 안경의 눈으로의 아웃바운드 광 경로를 따라 빛나게 된다. 이 방법은 이미지 캡처 디바이스에 의해 캡처된 이미지를 이용하여 사용자가 안경을 착용하고 있음을 검출하는 단계를 포함한다.
사용자가 안경을 착용하고 있음을 검출한 경우에, 광은 랜덤한 편광 위상과 단일 편광 위상 사이를 적어도 60 Hz의 레이트로 반복적으로 전환하는 편광 패턴으로 동적으로 편광되며, 여기서 랜덤한 편광 위상은, 광원과 사용자의 안경을 중재하는 아웃바운드 광 경로에 따른 광의 제1 편광, 및 안경과 이미지 캡처 디바이스를 중재하는 반사된 광 경로에 따른 제1 편광에 직교하는 제2 편광을 포함한다. 단일 편광 위상은 아웃바운드 광 경로와 반사된 광 경로 중 적어도 하나를 따른 단일 편광을 가진다.
랜덤한 편광 위상 동안에, 눈의 동공을 다른 방법으로 폐색할 수 있는 안경으로부터 반사된 글레어가 필터링된다. 글레어가 필터링될 때의 랜덤한 편광 위상 동안에, 동공 이미지는 30 Hz 이상의 레이트로 캡처된다. 단일 편광 위상 동안에, 글린트 이미지는 30 Hz 이상의 레이트로 캡처된다. 동공 이미지에서 식별된 동공 특성 및 동공 이미지에 대하여 시간적으로 근접하게 캡처된 글린트 이미지에서 식별된 글린트 특성에 기초하여, 시선 위치는 적어도 30 Hz의 레이트로 반복적으로 검출된다.
이러한 개요는 이하의 상세한 설명에서 추가적으로 설명되는 개념들의 선택을 간략화된 형태로 도입하도록 제공된다. 이러한 개요는 청구된 청구물의 중요한 특징 또는 본질적인 특징을 식별하도록 의도되지 않고, 청구된 청구물의 범위를 제한하기 위하여 사용되도록 의도되지도 않는다. 또한, 청구된 청구물은 본 개시의 임의의 부분에 언급된 임의의 또는 모든 결점을 해결하는 구현예들로 제한되지 않는다.
도 1은 본 개시의 실시형태에 따른 사용자의 눈의 시선 위치를 결정하기 위한 시선 추적 시스템의 개략도이다.
도 2는 본 개시의 실시형태에 따른 시선 추적 시스템을 구비하는 태블릿 컴퓨터 및 시선 추적 시스템을 포함하는 벽 탑재 디스플레이, 안경을 착용하는 2명의 사용자를 포함하는 룸의 개략적인 사시도이다.
도 3은 본 개시의 실시형태에 따른 시선 추적 시스템의 개략도이다.
도 4는 본 개시의 다른 실시형태에 따른 시선 추적 시스템의 개략도이다.
도 5는 본 개시의 다른 실시형태에 따른 시선 추적 시스템의 개략도이다.
도 6은 본 개시의 다른 실시형태에 따른 시선 추적 시스템의 개략도이다.
도 7a 및 도 7b는 본 개시의 실시형태에 따른 사용자의 시선 위치를 결정하기 위한 방법의 흐름도이다.
도 8은 컴퓨팅 디바이스의 실시형태의 간략화된 개략적인 예시도이다.
도 1은 사용자(14)의 눈의 하나 이상의 시선 위치를 결정하기 위한 시선 추적 시스템(10)의 일 실시형태의 개략도를 나타낸다. 시선 추적 시스템(10)은 컴퓨팅 디바이스(22)의 대량 저장소(18)에 저장될 수도 있는 시선 추적 모듈(16) 및 동적 편광 모듈(20)을 포함한다. 시선 추적 모듈(16) 및 동적 편광 모듈(20)은, 이하에서 더 상세히 설명되는 하나 이상의 방법 및 프로세스를 수행하기 위하여 컴퓨팅 디바이스(22)의 메모리(26)에 로딩되고, 컴퓨팅 디바이스(22)의 프로세서(30)에 의해 실행될 수도 있다.
시선 추적 시스템(10)은 예컨대 LED 광원과 같은 하나 이상의 광원(28)을 포함한다. 일부 예들에 있어서, 광원(28)은 적외선 LED와 같은 적외선 광을 방출하는 적외선 광원을 포함할 수도 있다. 다른 예들에 있어서, 광원(들)(28)은 카메라 플래시 목적을 위한 가시적인 LED 또는 랩탑 컴퓨터 상의 키보드 조명과 같은 가시광을 방출하는 가시 광원을 포함할 수도 있다. 일부 예들에 있어서, 광원(들)(28)은 휴대폰과 같은 컴퓨팅 디바이스 상의 디스플레이를 포함할 수도 있다.
이하에 더욱 상세하게 설명된 바와 같이, 광원(28)은 안경을 착용할 수도 있는 사용자의 눈에 대한 아웃바운드 광 경로를 따라서 광을 비출수 도 있다. 하나 이상의 편광 필터(32)는 광원(28)에 의해 방출된 광을 동적으로 편광시키도록 구성된다. 시선 추적 시스템(10)은 사용자의 눈 및 안경으로부터 반사 및 확산된 광의 이미지를 캡처하도록 구성되는 하나 이상의 이미지 캡처 디바이스(34)를 더 포함한다.
일부 예들에 있어서, 컴퓨팅 디바이스(22), 광원(들)(28), 편광 필터(들)(32), 및 이미지 캡처 디바이스(들)(34)는 단일 디바이스를 형성하기 위하여 공통의 인클로저에 통합될 수도 있다. 이러한 디바이스는, 데스크탑 컴퓨터, PC, 핸드-헬드 스마트 폰, e-리더, 랩탑, 노드북 및 태블릿 컴퓨터, 디스플레이, 대화형 텔레비전, 셋탑 박스, 게이밍 콘솔 등을 포함할 수도 있지만 이들로 제한되지는 않는다. 예컨대 도 2를 참조하면, 안경(206)을 착용하는 태블릿 사용자(202)는 시선 추적 시스템(10)을 포함하는 태블릿(210)을 이용할 수도 있다. 태블릿(210)은 편광 필터와 시선 추적 카메라(218)를 구비한 LED 광원(214)를 포함할 수도 있다.
다른 예들에서, 광원(들)(28), 편광 필터(들)(32) 및 이미지 캡처 디바이스(들)(34) 중 하나 이상은 컴퓨팅 디바이스(22)로부터 물리적으로 분리되고 컴퓨팅 디바이스(22)에 통신가능하게 연결될 수도 있다. 일 예에서, 광원(들)(28), 편광 필터(들)(32) 및 이미지 캡처 디바이스(들)(34)은 벽 탑재 디스플레이(226)에 인접하여 탑재된 입력 디바이스(222)에 배치될 수도 있고, 유선 또는 무선 접속을 통하여 게이밍 콘솔과 같은, 별도의 구성요소 내의 또는 디스플레이 내의 컴퓨팅 디바이스(22)에 통신가능하게 연결될 수도 있다. 안경(238)을 착용하고 있는 게이밍 사용자(234)는 컴퓨팅 디바이스(22) 상의 시선 추적 모듈(16) 및 입력 디바이스(222)를 통하여 디스플레이(226)에 의해 디스플레이되는 컨텐츠와 상호작용하도록 그 사용자의 눈을 이용할 수도 있다. 컴퓨팅 디바이스(22)로부터 분리되는지 또는 컴퓨팅 디바이스(22)와 통합되는지 여부의 여러 가지 폼 인자들을 가지는 시선 추적 시스템(10)의 많은 기타 유형 및 구성이, 또한 사용될 수도 있고, 본 개시의 범위 내에 있음을 이해해야 한다.
컴퓨팅 디바이스(22)는 테스크탑 컴퓨팅 디바이스, 스마트 폰과 같은 휴대용 컴퓨팅 다비읏, 랩탑, 노트북 또는 태블릿 컴퓨터, 네트워크 컴퓨터, 홈 엔터테인먼드 컴퓨터, 대화형 텔레비전, 게이밍 시스템의 형태 또는 컴퓨팅 디바이스의 다른 적절한 유형을 가질 수도 있다. 컴퓨팅 디바이스(22)의 구성요소 및 컴퓨팅 양태에 관한 부가적인 세부사항은 도 8을 참조하여 이하에 더 상세하게 설명된다.
도 1을 다시 참조하여, 위에서 언급한 바와 같이, 일부 예에 있어서, 시선 추적 시스템(10)은 디스플레이 디바이스(38)를 포함 수도 있거나 또는 상기 디스플레이 디바이스(38)에 통신가능하게 연결될 수도 있다. 일 예에 있어서, 디스플레이 디바이스(38)는 유선 또는 무선 접속을 통하여 컴퓨팅 디바이스(22)에 동작가능하게 접속되는, 예컨대 독립형 모니터와 같은 별도의 디스플레이를 포함할 수도 있다. 디스플레이(38)는 사용자에게 하나 이상의 시각적인 요소를 제공하기 위한 디스플레이 시스템(40)을 포함할 수도 있다.
시선 추적 모듈(16)은 임의의 적절한 방식으로 사용자의 눈 중 하나 또는 양쪽의 시선 방향을 결정하도록 구성될 수도 있다. 예컨대, 시선 추적 모듈(16)은 동공의 중심 및 글린트의 위치를 결정하기 위하여 이미지 캡처 디바이스(들)(34)에 의해 캡처된 각막 글린트를 생성하는 동공 및 각막 반사의 이미지를 이용할 수도 있다. 글린트와 동공 중심 사이의 벡터는 눈의 시선 위치를 결정하는데 사용될 수도 있다.
일 예에 있어서, 브라이트 동공 기술이 이용될 수도 있고, 이 기술에서 광원(들)(28)으로부터의 조명된 광은 눈의 광학 경로와 동축을 가지며, 이는 광으로 하여금 망막에서 반사되게 한다. 다른 예들에 있어서, 다크 동공 기술이 이용될 수도 있고, 이 기술에서 조명된 광은 광학 경로로부터 오프셋된다. 본 개시의 목적을 위하여, 다크 동공 기술을 이용하는 시선 추적 시스템(10)의 예들이 제공된다.
이미지 캡처 디바이스(들)(34)로부터 수집된 이미지 데이터로부터 결정되는 각막 글린트 및 동공의 이미지는, 각 눈의 광축을 결정하는데 사용될 수도 있다. 이러한 정보를 이용하여, 시선 추적 모듈(16)은 사용자가 응시하고 있는 방향 및/또는 어떤 물리적 대상 또는 가상 대상을 결정할 수도 있다. 시선 추적 모듈(16)은 사용자가 응시하는 물리적 또는 가상 대상 상의 어떤 포인트를 추가적으로 결정할 수도 있다. 이러한 시선 추적 데이터는 그 후 컴퓨팅 디바이스(22)에 제공되고, 필요에 따라서 하나 이상의 애플리케이션 또는 다른 프로그램에 의해 이용될 수도 있다.
또한 다음으로 도 3 내지 도 6을 참조하여, 시선 추적 시스템(10)의 예시적인 실시형태들을 이제 설명한다. 도 3에 도시된 일 예에 있어서, 시선 추적 시스템(10)은, 제1 아웃바운드 광 경로(306)를 따른 적외선 광을 비추는 제1 적외선 광원(302), 및 제2 아웃바운드 광 경로(314)를 따른 적외선 광을 비추는 제2 적외선 광원(310)을 포함한다. 제1 아웃바운드 광 경로(306)는 제1 광원(302)으로부터 눈(322)까지 연장되고, 제2 아웃바운드 광 경로(314)는 제2 광원(310)으로부터 눈(322)까지 연장된다는 것을 이해하여야 한다. 적외선 광원은 단지 예로서 제공되며, 임의의 다른 적절한 광원이 이용될 수도 있고 이들 모두가 본 개시의 범위 내에 있다는 것을 이해하여야 한다. 도 1을 다시 참조하여, 이하에서 더 상세히 설명되는 바와 같이, 사용자(14)가 안경을 착용하고 있음을 검출하는 경우에, 제1 광원(302) 및 제2 광원(310)으로부터 방출된 적외선 광은, 아웃바운드 편광 필터(318) 및 인바운드 편광 필터(340)를 이용하여, 랜덤한 편광 위상(48)과 단일 편광 위상(52) 간을 반복적으로 전환하는 편광 패턴(44)으로, 동적으로 편광될 수도 있다.
도 3에 도시된 바와 같이, 사용자(14)의 눈(322)은 사용자에 의해 착용된 안경(328)의 렌즈(326)를 통하여 볼 수 있다. 이미지 캡처 디바이스(332)는 제1 광원(302) 및 제2 광원(310)에 의해 방출되어 눈(322) 및 안경(328)의 렌즈(326)로부터 반사되어 확산된 이미지를 캡처하도록 구성된다. 전술한 바와 같이, 광원(302 및/또는 310)으로부터의 광은 렌즈(326)로부터 반사되어 이미지 캡처 디바이스(332)에 의해 캡처된 이미지에 글레어를 야기할 수도 있다. 유리하게도, 동적 편광 모듈(20)은 다른 방법으로 눈(322)의 동공(336)을 폐색할 수도 있는 이러한 글레어를 실질적으로 필터링하도록 구성된다.
특히 일 예에 있어서, 동적 편광 모듈(20)은, 아웃바운드 편광 필터(318) 및 인바운드 편광 필터(340)를 통하여, 랜덤한 편광 위상(48)과 단일 편광 위상(52) 간을 적어도 60 Hz의 레이트로 반복적으로 전환하는 편광 패턴(44)으로, 제1 광원(302) 및 제2 광원(310)으로부터 방출된 적외선 광을 동적으로 편광시키도록 구성된다. 랜덤한 편광 위상(48)은 제1 광원(302)과 사용자의 안경(328) 사이의 제2 아웃바운드 광 경로(306)를 따라, 아웃바운드 편광 필터(318)에 의해 제공되는 적외선 광의 제1 편광(56)을 포함한다. 랜덤한 편광 위상(48)은 또한 제1 편광(56)에 직교하는 제2 편광(60)을 포함하며, 안경(328)과 이미지 캡처 디바이스(332) 사이의 반사된 광 경로(344)를 따라, 인바운드 편광 필터(340)에 의해 제공된다. 이러한 예에 있어서, 단일 편광 위상(52)은 반사된 광 경로(344)에 따라 인바운드 편광 필터(340)에 의해 제공되는 단일 편광(70)을 가진다. 반사된 광 경로(344)는 눈(322)으로부터 이미지 확산 디바이스(332)까지 연장된다는 것을 이해하여야 한다.
도 3에 도시된 바와 같이, 제2 아웃바운드 광 경로(314)로부터의 비편광 광의 제1 부분(350)은, 렌즈(326)로부터 반사되고 반사된 광 경로(344)에 따라서 아웃바운드 편광 필터(340)를 통하여 이미지 캡처 디바이스(332)까지 도달한다. 제2 아웃바운드 광 경로(314)로부터의 비편광 광의 제2 부분(354)은 렌즈(326)를 통과하고, 눈(322)의 망막으로부터 반사되어, 반사된 광 경로(344)를 따라 인바운드 편광 필터(340)를 통하여 이미지 캡처 디바이스(332)까지 이동하는 각막 글린트를 생성한다. 단일 편광 위상(52) 동안에, 광의 제1 부분(350) 및 제2 부분(354)은 글린트 이미지(64)를 캡처하는데 사용될 수도 있다.
아웃바운드 편광 필터(318) 및 인바운드 편광 필터(340)는, 선형, 원형 또는 임의의 다른 적절한 유형의 편광 필터를 구비할 수도 있다. 도 3에 도시된 바와 같이, 제1 아웃바운드 광 경로(306)는, 수평 편광 필터(318)를 통과한 광을 포함한다. 제1 아웃바운드 광 경로(306)로부터의 수평 편광 광의 제1 부분(360)은 렌즈(326)로부터 반사되어 반사된 광 경로(344)를 따라 수직 편광 인바운드 편광 필터(340)를 통하여 이미지 캡처 디바이스(332)에 도달한다. 광의 이러한 제1 부분(360)은 렌즈(326)의 표면으로부터 반사된 글레어를 포함한다. 광의 이러한 제1 부분(360)이 반사되기 때문에, 이러한 제1 부분(360)은 수평 편광을 유지하며, 이러한 수평 편광은 인바운드 편광 필터(340)의 수직 편광에 직교한다. 따라서, 인바운드 편광 필터(340)는, 광의 이러한 제1 부분(360)으로부터의 글레어가 이미지 캡처 디바이스(332)에 도달하기 전에, 이러한 글레어를 실질적으로 감소 및 삭제한다. 아웃바운드 편광 필터(318) 및 인바운드 편광 필터(340)의 방위는 서로 직교하는 임의의 적절한 방위를 가질 수도 있음을 이해하여야 한다.
제1 아웃바운드 광 경로(306)로부터의 광의 제2 부분(364)은 렌즈(326)를 통과하여, 눈(322)의 각막으로부터 반사되고, 수평으로 편광된 각막 글린트를 생성한다. 이러한 제2 부분(364)에서의 수평으로 편광된 각막 글린트는 반사된 광 경로(344)를 따라 수직으로 편광된 인바운드 편광 필터(340)를 통하여 이미지 캡처 디바이스(332)로 이동한다. 광의 제2 부분(364)이 반사되기 때문에, 이러한 제2 부분(364)은 또한 수평 편광을 유지한다. 따라서, 수직으로 편광된 인바운드 편광 필터(340)는, 수평으로 편광된 각막 글린트가 이미지 캡처 디바이스(332)에 도달되기 이전에 광의 이러한 제2 부분(364)으로부터 상기 각막 글린트를 실질적으로 감소 및 삭제한다.
광의 이러한 제2 부분(364)은 또한 동공(336)에 의해 확산되어, 동공을 조명하는 비편광 산란광 및 연곽(limbus) 특징을 생성한다. 동공(336)으로부터의 이러한 비편광 산란광은 또한 광 경로(344)를 따라 인바운드 편광 필터(340)를 통하여 이미지 캡처 디바이스(322)까지 이동한다. 유리하게도, 전술한 바와 같이 제1 아웃바운드 광 경로(306)로부터 광의 제1 부분(360) 및 제2 부분(364)으로부터의 글레어 및 글린트를 감소시킴으로써, 랜덤한 편광 위상(48) 동안에, 제2 부분(364)의 비편광 산란광은 이러한 글레어 및/또는 글린트에 의해 폐색되지 않는 동공 이미지(68)를 캡처하는데 이용될 수도 있다.
전술한 바와 같이, 동적 편광 모듈(20)은, 랜덤한 편광 위상(48)과 단일 편광 위상(52) 간을 적어도 60 Hz의 레이트로 반복적으로 전환하는 편광 패턴(44)으로 적외선 광을 동적으로 편광시키도록 구성된다. 일부 예들에 있어서, 단일 편광 위상(52) 동안에, 글린트 이미지(64)는 30 Hz 이상의 레이트로 캡처될 수도 있다. 랜덤한 편광 위상(48) 동안에 글레어가 필터링될 때에, 동공 이미지(68)는 또한 30 Hz 이상의 레이트로 캡처될 수도 있다.
유리하게도, 이러한 글린트 이미지(64) 및 동공 이미지(68)를 이용하여, 눈(322)의 시선 위치는, 동공 이미지에서 식별된 동공 특성(72) 및 동공 이미지에 대하여 시간적으로 근접하게 캡처된 글린트 이미지에서 식별된 글린트 특성(76)에 기초하여 적어도 30 Hz의 레이트로 반복적으로 검출될 수도 있다. 예컨대, 동공 이미지(68) 및 글린트 이미지(64)가 30 Hz의 레이트로 캡처되는 경우에, 인접하게 캡처된 동공 이미지와 글린트 이미지 사이의 간격은 0.020 초, 0.015 초, 0.010 초, 또는 임의의 다른 적절한 간격일 수도 있다.
이러한 동공 특징(72)은 동공의 중심을 포함하지만, 이것으로 제한되지는 않는다. 이러한 글린트 특성(76)은 동공 중심에 대한 글린트의 위치를 포함할 수도 있지만, 이것으로 제한되지는 않는다. 전술한 바와 같이, 임의의 적절한 시선 추적 기술은 이러한 시선 위치를 결정하는데 이용될 수도 있다.
일부 예들에 있어서, 사용자의 더 빠른 캡처 속도 및 더 빈번한 시선 위치 검출로부터 더 빈번한 눈 이동을 수신할 수도 있는 특정 애플리케이션 또는 프로그램 등이 이용될 수도 있다. 예컨대, 동적 편광 모듈은, 랜덤한 편광 위상(48)과 단일 편광 위상(52) 간을 60 Hz 내지 120 Hz의 레이트로 반복적으로 전환하도록 구성될 수도 있다. 이러한 예들에 있어서, 동공 이미지(68) 및 글린트 이미지(64)가 30 Hz 내지 60 Hz의 레이트로 캡처될 수도 있다.
하나의 예에 있어서, 랜덤한 편광 위상(48)과 단일 편광 위상(52) 간의 전환 레이트는 동공 이미지(68)를 캡처하는 레이트의 2배 및 글린트 이미지(64)를 캡처하는 레이트의 2배일 수도 있다. 예컨대, 동적 편광 모듈은 랜덤한 편광 위상(48)과 단일 편광 위상(52) 간을 120 Hz의 레이트로 반복적으로 전환하도록 구성될 수도 있고, 동공 이미지(68) 및 글린트 이미지(64)는 60 Hz의 레이트로 캡처될 수도 있다.
일부 예들에 있어서, 동적 편광 모듈(20)은 사용자가 안경을 착용하는지 여부를 검출하도록 구성될 수도 있다. 예컨대, 동적 편광 모듈(20)은 하나 이상의 글레어가 사용자의 눈의 부근에 위치됨을 결정함으로써 안경으로부터 글레어를 식별할 수도 있다.
동적 편광 모듈(20)은 또한 각막 글린트로부터 이러한 글레어를 구별할 수도 있다. 안경의 렌즈로부터 반사된 글레어는 일반적으로 사이즈에 있어서 각막 글린트보다 훨씬 더 크다. 글레어는 또한 특이하고 불규칙한 형상을 가질 수도 있다. 한편, 각막 글린트는 일반적으로 글레어보다 더 작고, 종종 복수의 방사 아암(arm)을 포함하며, 동공의 직경의 대략 2배의 직경을 가진 원일 수도 있다. 일부 예들에 있어서, 동적 편광 모듈은 안경으로부터 하나 이상의 글레어를 식별하기 위하여 이러한 특유한 정보를 이용할 수도 있다.
일부 예들에 있어서, 동적 편광 모듈(20)은 사용자가 안경을 착용하고 있지 않음을 검출할 수도 있다. 이러한 상황에서, 안경으로부터의 글레어는 존재하지 않는다. 이에 따라서, 사용자가 안경을 착용하고 있지 않음을 검출한 경우에, 동적 편광 모듈(20)은 적외선 광을 편광 패턴(44)으로 동적으로 편광시키는 것을 중지하도록 구성될 수도 있다. 유리하게도, 이는 시선 추적 시스템(10)으로 하여금, 예컨대 제1 편광 광원(302)이 아니라, 제2 비편광 광원(310)을 조명하여 시선 추적을 수행함으로써 전력 소비를 감소시킬 수도 있다. 일예에 있어서 제2 광원(310)으로부터의 광을 이용하여, 동공 이미지(68) 및 글린트 이미지(64)는 단일 편광 위상(52) 동안에 30 Hz의 레이트로 캡처될 수도 있고, 시선 위치는 또한 30 Hz의 레이트로 검출될 수도 있다.
다음으로 도 4를 참조하여, 다른 예에 있어서, 부가적인 아웃바운드 편광 필터(370)가 제2 광원(310)에 부가될 수 있으며, 여기서 필터(370)는 인바운드 편광 필터(340)와 동일한 방위를 가진다. 이러한 구성에 있어서, 제1 아웃바운드 광 경로(306) 및 제2 아웃바운드 광 경로(314) 양쪽을 따라 이동하는 광이 편광된다. 유리하게도, 아웃바운드 편광 필터(318) 및 부가적인 아웃바운드 편광 필터(370)는, 제1 아웃바운드 광 경로(306) 및 제2 아웃바운드 광 경로(314)에 따라 이동하는 광으로 하여금 유사한 휘도를 가지도록 구성될 수도 있다. 이러한 방식으로, 이미지 캡처 디바이스(332)에서 캡처된 글린트 이미지(64) 및 동공 이미지(68)는 유사한 휘도 및 신호 대 잡음비를 가질 수 있고, 이는 시선 위치 결정의 정확도를 개선시킬 수도 있다.
다음으로 도 5를 참조하여, 다른 예에 있어서, 시선 추적 시스템(10)은 단일의 적외선 광원(502), 및 제1 편광과 그 제1 편광에 직교하는 제2 편광 간을 전환시킬 수 있는 전환가능한 편광 필터(506)를 포함할 수도 있다. 도 5의 예에 있어서, 전환가능한 편광 필터(506)는 수직 방위와 수평 방위 간을 전환시킬 수도 있다. 따라서, 단일 광원(502)으로부터 방출된 적외선 광은, 전술한 바와 같이 편광 패턴(44)으로 동적으로 편광되고, 이미지 캡처 디바이스(332)에 의해 캡처될 수도 있다. 전술한 바와 같은 글린트 이미지(64) 및 동공 이미지(68)는 그 후에 전술한 바와 같이 시선 위치를 결정하기 위하여 캡처되어 이용될 수도 있다.
다음으로 도 6을 참조하여, 다른 예에 있어서, 시선 추적 시스템(10)은, 단일 적외선 광원(602) 및 광원으로부터 방출된 광을 제1 방위로 편광시키는 단일의 아웃바운드 편광 필터(606)를 포함할 수도 있다. 이 예에 있어서, 제1 아웃바운드 광원(654)으로부터의 편광 광의 제1 부분(650)은 렌즈(326)로부터 반사되어 반사된 광 경로(644)를 따라 제1 인바운드 편광 필터(660)를 통하여 제1 이미지 캡처 디바이스(610)에 도달한다. 도 6에 도시된 바와 같이, 제1 인바운드 편광 필터(660)는 아웃바운드 편광 필터(606)와 동일한 수평 방위를 가진다.
이와 유사하게, 제1 아웃바운드 광 경로(654)로부터의 편광 광의 제2 부분(656)은 렌즈(326)를 통과하고 눈(322)의 각막으로부터 반사되어, 반사된 광 경로(644)를 따라 제1 인바운드 편광 필터(660)를 통하여 제1 이미지 캡처 디바이스(610)까지 이동하는 각막 글린트를 생성한다. 전술한 바와 같이, 단일 편광 위상(52) 동안에, 광의 제1 부분(650) 및 제2 부분(656)은 제1 이미지 캡처 디바이스(610)를 이용하여 글린트 이미지(64)를 캡처하는데 이용될 수도 있다.
도 6에 도시된 바와 같이, 제2 아웃바운드 광 경로(670)는 아웃바운드 편광 필터(606)를 통과한 광을 포함한다. 제2 아웃바운드 광 경로(670)로부터의 편광 광의 제1 부분(674)은 렌즈(326)로부터 반사되고 반사된 광 경로(644)를 따라 제2 인바운드 편광 필터(676)를 통하여 제2 이미지 캡처 디바이스(680)에 도달한다. 제2 인바운드 편광 필터(676)는 아웃바운드 편광 필터(606)의 수평 바위에 직교하는 수직 방위를 가진다. 따라서, 제2 인바운드 편광 필터(676)는, 광의 이러한 제1 부분(674)으로부터의 글레어가 제2 이미지 캡처 디바이스(680)에 도달하기 전에 이러한 제1 부분(674)으로부터의 글레어를 실질적으로 감소 및 삭제한다.
제2 아웃바운드 광 경로(670)로부터의 광의 제2 부분(684)은 렌즈(326)를 통과하여, 눈(322)의 각막으로부터 반사되고, 수평적으로 편광된 각막 글린트를 생성한다. 제2 부분(684)에서의 이러한 편광된 글린트는 반사된 광 경로(644)를 따라 이동하여 수직으로 편광된 제2 인바운드 편광 필터(676)를 관통하고 제2 이미지 캡처 디바이스(680)에 도달한다. 따라서, 제2 인바운드 편광 필터(676)는, 광의 이러한 제2 부분(684)으로부터의 수평으로 편광된 각막 글린트가 제2 이미지 캡처 디바이스(680)에 도달하기 전에 이러한 각막 글린트를 실질적으로 감소 및 삭제한다. 전술한 바와 같이, 랜덤한 편광 위상(48) 동안에, 광의 제1 부분(674) 및 제2 부분은 제2 이미지 캡처 디바이스(680)에 의해 동공 이미지(68)를 캡처하는데 사용될 수도 있다.
도 7a 및 7b는 본 개시의 일 실시 형태에 따른 시각 요소의 계층을 네비게이팅하기 위한 방법(700)의 흐름도를 도시한다. 이 방법(700)에 대한 다음 설명은, 아래에서 설명되고 도 1 ∼ 6에 나타나 있는 시선 추적 시스템(10)의 소프트웨어 및 하드웨어 요소를 참조하여 제공된다. 본 방법(700)은 다른 적절한 하드웨어 및 소프트웨어 요소를 사용하여 다른 상황에서도 사용될 수 있음을 알 것이다.
도 7a를 참조하면, 단계 702에서 상기 방법(700)은, 광원에서부터 안경을 착용하고 있는 사용자의 눈까지 이르는 아웃바운드 광 경로를 따라 빛을 비추는 것을 포함한다. 단계 706에서 상기 방법(700)은 이미지 캡쳐 장치에 의해 캡쳐된 이미지를 사용하여, 사용자가 안경을 착용하고 있음을 검출한다. 단계 710에서 상기 방법(700)은, 사용자가 안경을 착용하고 있음을 검출하면, 무작위 편광 단계와 단일 편광 단계 사이에서 적어도 60 Hz의 속도로 반복적으로 전환되는 편광 패턴으로 빛을 동적으로 편광시키는 것을 포함한다. 무작위 편광 단계는, 광원과 사용자의 안경 사이의 아웃바운드 광 경로를 따르는 빛의 제 1 편광 및 안경과 이미지 캡쳐 장치 사이의 반사광 경로를 따르는, 상기 제 1 편광에 직교하는 제 2 편광을 포함한다. 단일 편광 단계는 아웃바운드 광 경로와 반사광 경로 중의 하나 이상을 따르는 단일 편광을 갖는다
단계 714에서 상기 방법(700)은, 무작위 편광 단계와 단일 편광 단계 사이에서 120 Hz의 속도로 반복적으로 전환되는 편광 패턴으로 빛을 동적으로 편광시키는 것을 포함할 수 있다. 단계 718에서 상기 방법(700)은, 전환가능한 편광 필터가 제 1 편광과 이 제 1 편광에 직교하는 제 2 편광을 번갈아 수행하도록 하여 빛을 동적으로 편광시키는 것을 포함할 수 있다. 단계 722에서 상기 방법(700)은, 무작위 평광 단계 중에, 안경에서 반사된 글레어(glare)를 걸러내는 것을 포함할 수 있고, 그렇지 않으면 그 글레어는 눈의 동공을 막게 될 것이다.
단계 726에서 상기 방법(700)은, 무작위 편광 단계 중에 글레어가 걸러질 때 동공 이미지를 30 Hz 이상의 속도로 캡쳐하는 것을 포함할 수 있다. 단계 730에서 상기 방법(700)은 단일 편광 단계 중에 글린트(glint) 이미지를 30 Hz 이상의 속도로 캡쳐하는 것을 포함할 수 있다. 단계 734에서 상기 방법(700)은, 동공 이미지에서 확인된 동공 특성 및 동공 이미지와 가까운 시간에 캡쳐된 글린트 이미지에 서 확인된 글린트 특성에 근거하여 시선 위치를 적어도 30 Hz의 속도로 반복적으로 검출하는 것을 포함할 있다.
도 7b를 참조하면, 단계 738에서 상기 방법(700)은, 글레어 중의 하나 이상이 상기 캡쳐된 이미지에 있는 사용자 눈의 근처에 있다는 것을 판단하여 사용자가 안경을 착용하고 있음을 검출하는 것을 포함할 수 있다. 단계 742에서 상기 방법(700)은, 동공 이미지와 글린트 이미지를 60 Hz의 속도로 캡쳐하는 것을 포함하고 또한 시선 위치를 60 Hz의 속도로 검출하는 것을 포함할 수 있다. 단계 746에서 상기 방법(700)은, 사용자가 안경을 착용하고 있지 않음을 검출할 수 있다. 단계 750에서 상기 방법(700)은, 사용자가 안경을 착용하고 있지 않음을 검출하면 빛을 편광 패턴으로 동적으로 편광시키지 않는 것을 포함할 수 있다.
단계 754에서 상기 방법(700)은, 단일 편광 단계 중에 동공 이미지와 글린트 이미지를 30 Hz 이상의 속도로 캡쳐하는 것을 포함할 수 있다. 단계 758에서 상기 방법(700)은, 단일 편광 단계의 단일 편광시에 아웃바운드 광 경로에 대해 제 2 편광을 가하는 것을 포함할 수 있다. 광원이 제 1 광원인 단계 762에서, 상기 방법(700)은, 제 2 광원이 안경을 착용하고 있는 사용자의 눈에 비편광 빛을 내보내는 것을 포함할 수 있고, 그 비편광 빛은 글린트 이미지를 캡쳐하는데에 사용된다. 이미지 캡쳐 장치가 동공 이미지를 캡쳐하는 제 1 이미지 캡쳐 장치인 단계 766에서, 상기 방법(700)은 글린트 이미지를 캡쳐하는 제 2 이미지 캡쳐 장치의 사용을 포함할 수 있다.
상기 방법은 예시적으로 제공된 것이고 한정적인 것이 아님을 알 것이다. 그러므로, 상기 방법(700)은 도 7a 및 7b에 도시되어 있는 것과는 다른 추가적인 그리고/또는 대안적인 단계를 포함할 수 있음을 이해할 것이다. 또한, 상기 방법(700)은 어떤 적절한 순서로도 수행될 수 있음을 이해할 것이다. 또한, 본 개시의 범위에서 벗어남이 없이 하나 이상의 단계가 상기 방법(700)에서 생략될 수 있음을 이해할 것이다.
도 8은 위에서 설명한 방법 및 과정 중의 하나 이상을 수행할 수 있는 컴퓨팅 시스템(800)의 비한정적인 실시 형태를 개략적으로 나타낸다. 컴퓨팅 장치(22)는 상기 컴퓨팅 시스템(800)의 하나 이상의 양태의 형태를 취하거나 그 양태를 포함할 수 있다. 컴퓨팅 시스템(800)은 단순화된 형태로 나타나 있다. 사실 어떤 컴퓨터 구조도 본 개시의 범위에서 벗어남이 벗이 사용될 수 있음을 이해할 것이다. 다른 실시 형태에서, 컴퓨팅 시스템(800)은 주 컴퓨터, 서버 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 타블렛 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 모바일 컴퓨팅 장치, 모바일 통싱 장치, 게임 장치 등의 형태를 취할 수 있다.
도 8에 나타나 있는 바와 같이, 컴퓨팅 시스템(800)은 로직 서브 시스템(804), 저장 서브 시스템(808), 및 센서 서브 시스템(812)을 포함한다. 컴퓨팅 시스템(800)은 디스플레이 서브 시스템(816), 통신 서브 시스템(820), 입력 서브 시스템(822) 및/또는 도 8에는 나타나 있지 않은 다른 서브 시스템 및 구성 요소를 선택적으로 포함할 수 있다. 컴퓨팅 시스템(800)은 또한 컴퓨터 판독가능한 매체도 포함할 수 있는데, 이 컴퓨터 판독가능한 매체는 컴퓨터 판독가능한 저장 매체 및 컴퓨터 판독가능한 통신 매체를 포함할 수 있다. 상기 컴퓨팅 시스템(800)은 또한 예컨대 키보드, 마우스, 게임 제어기 및 터치 스크린과 같은 다른 사용자 입력 장치를 포함할 수 있다. 또한, 어떤 실시 형태에서는, 본원에서 설명한 방법 및 단계들은, 하나 이상의 컴퓨터를 포함하는 컴퓨팅 시스템에서 컴퓨터 어플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 실행될 수 있다.
로직 서브 시스템(804)은 하나 이상의 지시를 실행하는 하나 이상의 물리적장치를 포함할 수 있다. 예컨대, 상기 로직 서브 시스템(804)은, 하나 이상의 어플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 구성 요소, 데이타 구조 또는 다른 논리 구조의 일부인 하나 이상의 지시를 실행할 수 있다. 이러한 지시는 임무를 수행하거나 데이타형을 실행하거나, 하나 이상의 장치의 상태를 변화시키거나 아니면 원하는 결과에 도달하도록 실행될 수 있다.
로직 서브 시스템(804)는 소프트웨어 지시를 실행하는 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안적으로, 상기 로직 서브 시스템은 하드웨어 또는 펌웨어 지시를 실행하도록 되어 있는 하나 이상의 하드웨어 또는 펌웨어 논리 기계를 포함할 수 있다. 로직 서브 시스템의 프로세서는 단일 코어 또는 다중 코어일 수 있고, 그에서 실행되는 프로그램은 병렬 처리 또는 분산 처리를 위해 구성될 수 있다. 상기 로직 서브 시스템은 2개 이상의 장치 전체에 걸쳐 분산되어 있는 개별적인 구성 요소를 선택적으로 포함할 수 있고, 그 장치는 원격으로 위치될 수 있으며 그리고/또는 조화된 처리를 위해 구성될 수 있다. 상기 로직 서브 시스템의 하나 이상의 양태는 클라우드(cloud) 컴퓨팅 구성으로 되어 있는 원격 접근가능한 네트워크화된 컴퓨팅 장치로 가상화되고 실행될 수 있다.
저장 서브 시스템(808)은 본원에서 설명하는 방법 및 과정들을 실행하기 위해 상기 로직 서브 시스템(804)에 의해 실행될 수 있는 데이타 및/또는 지시를 유지하는 하나 이상의 물리적이고 지속적인 장치를 포함할 수 있다. 이러한 방법 및 과정들이 실행될 때, 저장 서브 시스템(808)의 상태는 변할 수 있다(예컨대, 다른 데이타를 유지하기 위해).
저장 서브시스템(808)은 이동식 매체 및/또는 빌트-인 디바이스를 포함할 수 있다. 저장 서브시스템(808)은 특히 광 메모리 디바이스(예를 들면, CD, DVD, HD-DVD, 블루-레이 디스크 등), 반도체 메모리 디바이스(예를 들면, RAM, EPROM, EEPROM, 등), 및/또는 자기 메모리 디바이스(예를 들면, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 저장 서브시스템(808)은 다음의 특징들: 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차 액세스, 위치 지정, 파일 지정 및 내용 지정 중 하나 이상을 지닌 디바이스를 포함할 수 있다.
일부 실시양태에서, 로직 서브시스템(804) 및 저장 서브시스템(808)의 양태는 본원에서 기능적으로 기술되어 있고 적어도 부분적으로 실행될 수 있는 하나 이상의 공통 디바이스 내로 일체화될 수 있다. 그러한 하드웨어-로직 컴포넌트는, 예를 들면 FPGA(filed-programmable gate arrays), PASIC/ASIC(program- and application-specific integrated circuits), PSSP/ASSP(program- and application-specific standard products), SOC(system-on-a-chip) 시스템, 및 CPLD(complex programmable logic devices)를 포함할 수 있다.
도 8은 또한 본원에 기술된 방법 및 공정을 구현하도록 실행가능한 데이터 및/또는 명령어를 저장하는데 사용될 수 있는 이동식 컴퓨터 판독가능한 저장 매체(824)의 형태인 저장 서브시스템(808)의 양태를 도시한 것이다. 이동식 컴퓨터 판독가능한 저장 매체(824)는 특히 CD, DVD, HD-DVD, 블루-레이 디스크, EEPROM, 및/또는 플로피 디스크의 형태를 취할 수 있다.
저장 서브시스템(808)은 하나 이상의 물리적인 영구 디바이스를 포함할 수 있는 것으로 이해되어야 한다. 이와 대조적으로, 일시 실시양태에서, 본원에서 기술된 명령어는 적어도 제한된 지속시간 동안 물리적 디바이스에 의해 유지되지 않은 순수 신호(예를 들면, 전자기 신호, 광학 신호 등)에 의해 일시적인 방식으로 전파될 수 있다. 더구나, 본 개시내용에 관한 정보의 데이터 및/또는 다른 형태는 컴퓨터 판독가능한 커뮤니케이션 매체를 통한 순수 신호에 의해 전파될 수 있다.
센서 서브시스템(812)은 상기 기술된 바와 같이 상이한 물리적 현상(예를 들면, 가시선, 적외선, 소리, 가속, 배향, 위치 등)을 감지하도록 구성된 하나 이상의 센서를 포함할 수 있다. 예를 들면, 센서 서브시스템(812)은 센서 데이터를 로직 서브시스템(804)에 제공하도록 구성될 수 있다. 그러한 데이터는 상기 기술된 방법 및 공정을 수행하는데 사용될 수 있는 이미지 정보, 주위 조명 정보, 심도 정보, 오디오 정보, 위치 정보, 운동 정보, 사용자 위치 정보 및/또는 임의의 다른 적합한 센서 데이터를 포함할 수 있다.
디스플레이 서브시스템(816)은, 포함되는 경우, 저장 서브시스템(808)에 의해 유지된 데이터의 시각적 표현을 제공하는데 사용될 수 있다. 상기 기술된 방법 및 공정이 저장 서브시스템(808)에 의해 유지된 데이터를 변경하여 저장 서브시스템의 상태를 변환시킴에 따라, 디스플레이 서브시스템(816)의 상태는 마찬가지로 기본적인 데이터에서의 변화를 시각적으로 표현하도록 변환될 수 있다. 그 디스플레이 서브시스템(816)은 임의의 유형의 기술을 시각적으로 이용하는 하나 이상의 디스플레이 디바이스를 포함할 수 있다. 그러한 디스플레이 디바이스는 공유 인클로저에서 로직 서브시스템(804) 및/또는 저장 서브시스템(808)과 조합될 수 있거나, 또는 그러한 디스플레이 디바이스는 주변 디스플레이 디바이스일 수 있다.
커뮤니케이션 서브시스템(820)은, 포함되는 경우, 컴퓨팅 시스템(800)을 하나 이상의 네트워크 및/또는 하나 이상의 다른 컴퓨팅 디바이스와 커뮤니케이션으로 커플링하도록 구성될 수 있다. 커뮤니케이션 서브시스템(820)은 하나 이상의 상이한 커뮤니케이션 프로토콜과 호환성인 유선 및/또는 무선 커뮤니케이션 디바이스를 포함할 수 있다. 비제한적인 예로서, 커뮤니케이션 서브시스템(820)은 무선 전화 네트워크, 무선 근거리 네트워크, 유선 근거리 네트워크, 무선 광역 네트워크, 유선 광역 네트워크 등을 통한 커뮤니케이션을 위하도록 구성될 수 있다. 일부 실시양태에서, 그 커뮤니케이션 서브시스템은 컴퓨팅 시스템(800)이 인터넷과 같은 네트워크를 통해 다른 디바이스로 메세지를 보내고/보내거나, 그 다른 디바이스로부터 메세지를 받고/받는 것을 허용할 수 있다.
입력 서브시스템(822)은, 포함되는 경우, 하나 이상의 센서 또는 사용자 입력 디바이스, 예컨대 게임 콘트롤러, 동작 입력 검사 디바이스, 음성 인식기, 관성 측정 유닛, 키보드, 마우스 또는 터치 스크린을 포함하거나 그 하나 이상의 센서 또는 사용자 입력 디바이스와 접속할 수 있다. 일부 실시양태에서, 입력 서브시스템(822)은 선택된 NUI(natural user input) 컴포넌트를 포함할 수 있거나, 그 컴포넌트와 접속할 수 있다. 그러한 컴포넌트는 일체형 또는 주변형일 수 있으며, 입력 작동의 변환 및/또는 프로세싱은 내장 또는 외장 취급될 수 있다. NUI 컴포넌트의 예는 연설 및/또는 음성 인식을 위한 마이크로폰; 기계 시각 및/또는 동작 인식을 위한 적외선, 색상, 입체 및/또는 심도 카메라; 운동 감지 및/또는 의도 인식을 위한 머리 추적기, 눈 추적기, 가속기 및/또는 자이로스코프; 뿐만 아니라 뇌 활동을 평가하기 위한 전기장 센서링 부품을 포함할 수 있다.
용어 "모듈"은 하나 이상의 특정 기능을 수행하도록 구현되는 시선 추적 시스템(gaze tracking system)(10)의 양태를 기술하는데 사용될 수 있다. 일부 사례에서, 그러한 모듈은 저장 서브시스템(808)에 의해 유지된 명령어를 실행하는 로직 서브시스템(804)을 통해 예시될 수 있다. 다른 모듈이 동일한 어플리케이션, 서비스, 코드 블록, 오브젝트, 라이브어리, 루틴, API, 기능 등으로부터 예시될 수 있는 것으로 이해되어야 한다. 마찬가지로, 동일한 모듈이 다른 어플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 기능 등에 의해 예시될 수 있다. 용어 "모듈"은 실행가능한 파일, 데이터 파일, 라이브어리, 드라이버, 스크립트, 데이터베이스 레코드 등의 개별 또는 군을 포괄하는 것으로 의미된다.
본원에서 기술된 구성 및/또는 접근법은 사실 예시적이라는 점, 및 이들의 구체적인 실시양태 또는 실시예는 다수의 변형이 가능하기 때문에 제한적인 의미로 간주되어서는 안된다는 점을 이해해야 한다. 본원에 기술된 특정 경로 또는 방법은 임의의 다수 프로세싱 전략 중 하나 이상을 나타낼 수 있다. 사실, 예시된 다양한 실행은 예시된 순서로, 다른 순서로, 병렬로 또는 일부 사례에서 생략 상태로 수행될 수 있다. 마찬가지로, 상기 기술된 공정의 순서가 변경될 수 있다.
본 개시내용의 주제는 본원에 개시된 다양한 공정, 시스템 및 구성, 및 다른 특색, 기능, 작동 및/또는 특성의 모든 신규성 및 비자명성 조합 및 부분조합 뿐만 아니라 이들의 등가물을 포함한다.

Claims (20)

  1. 사용자의 눈의 시선 위치를 결정하기 위한 방법에 있어서,
    광원으로부터 사용자 착용 안경의 눈에 아웃바운드(outbound) 광 경로를 따라 광을 비추는 단계;
    이미지 캡처 디바이스에 의해 캡처된 이미지를 이용하여 상기 사용자가 안경을 착용하고 있음을 검출하는 단계;
    상기 사용자가 안경을 착용하고 있음을 검출한 경우에, 랜덤한 편광 위상과 단일 편광 위상 간을 적어도 60 Hz의 레이트로 반복적으로 전환하는 편광 패턴으로 광을 동적으로 편광시키는 단계 - 상기 랜덤한 편광 위상은 상기 광원과 상기 사용자의 안경 사이의 아웃바운드 광 경로를 따르는 광의 제1 편광, 및 상기 안경과 상기 이미지 캡처 디바이스 사이의 반사된 광 경로를 따르는 상기 제1 편광에 직교하는 제2 편광을 포함하며, 상기 단일 편광 위상은 상기 아웃바운드 광 경로 및 상기 반사된 광 경로 중 하나 이상을 따르는 단일 편광을 가짐 -;
    상기 랜덤한 편광 위상 동안에, 다른 방법으로 상기 눈의 동공을 폐색(occlude)하는 상기 안경으로부터 반사된 글레어(glare)를 필터링하는 단계;
    상기 랜덤한 편광 위상 동안에 상기 글레어가 필터링될 때, 동공 이미지를 30 Hz 이상의 레이트로 캡처하는 단계;
    상기 단일 편광 위상 동안에, 글린트(glint) 이미지를 30 Hz 이상의 레이트로 캡처하는 단계; 및
    상기 동공 이미지에서 식별된 동공 특성, 및 상기 동공 이미지에 대하여 시간적으로 근접하게 캡처된 글린트 이미지에서 식별된 글린트 특성에 기초하여 상기 시선 위치를 적어도 30 Hz의 레이트로 반복적으로 검출하는 단계를 포함하는 시선 위치 결정 방법.
  2. 제1항에 있어서, 상기 사용자가 안경을 착용하고 있음을 검출하는 단계는, 상기 글레어 중 하나 이상이 상기 캡처된 이미지에서 상기 사용자의 눈 부근에 위치되어 있다고 결정하는 단계를 더 포함하는 것인 시선 위치 결정 방법.
  3. 제1항에 있어서, 상기 편광 패턴으로 광을 동적으로 편광시키는 단계는, 상기 랜덤한 편광 위상과 상기 단일 편광 위상 간을 120 Hz의 레이트로 반복적으로 전환시키는 단계를 더 포함하는 것인 시선 위치 결정 방법.
  4. 제1항에 있어서, 상기 동공 이미지 및 상기 글린트 이미지는 60 Hz의 레이트로 캡처되고, 상기 시선 위치는 60 Hz의 레이트로 반복적으로 검출되는 것인 시선 위치 결정 방법.
  5. 제1항에 있어서,
    상기 사용자가 안경을 착용하지 않았음을 검출하는 단계;
    상기 사용자가 안경을 착용하지 않았음을 검출하는 경우에, 상기 랜덤한 편광 위상과 상기 단일 편광 위상 간을 반복적으로 전환하는 편광 패턴으로 광을 동적으로 편광시키는 것을 중지하는 단계; 및
    상기 단일 편광 위상 동안에 상기 동공 이미지와 상기 글린트 이미지를 30 Hz 이상의 레이트로 캡처하는 단계를 더 포함하는 시선 위치 결정 방법.
  6. 제1항에 있어서, 상기 단일 편광 위상의 상기 단일 편광은 상기 아웃바운드 광 경로 상에 상기 제2 편광을 적용하는 것을 더 포함하는 것인 시선 위치 결정 방법.
  7. 제1항에 있어서, 상기 광을 동적으로 편광시키는 단계는, 상기 제1 편광과 상기 제1 편광에 직교하는 상기 제2 편광 간에 전환가능한 편광 필터를 교번하는 단계를 포함하는 것인 시선 위치 결정 방법.
  8. 제1항에 있어서, 상기 광원은 제1 광원이며, 제2 광원은 사용자 착용 안경의 눈에 비편광된 광을 방출하며, 상기 비편광된 광은 상기 글린트 이미지를 캡처하는데 사용되는 것인 시선 위치 결정 방법.
  9. 제1항에 있어서, 상기 이미지 캡처 디바이스는 상기 동공 이미지를 캡처하는 제1 이미지 캡처 디바이스이고, 상기 방법은 상기 글린트 이미지를 캡처하는 제2 이미지 캡처 디바이스를 이용하는 단계를 더 포함하는 시선 위치 결정 방법.
  10. 사용자의 눈의 시선 위치를 결정하기 위한 시선 추적 시스템에 있어서,
    광을 사용자 착용 안경의 눈에 아웃바운드 광 경로를 따라 비추는 광원;
    상기 광을 동적으로 편광시키도록 구성된 편광 필터;
    상기 사용자의 눈 및 안경으로부터 반사 및 확산된 광의 이미지를 캡처하도록 구성된 이미지 캡처 디바이스;
    적어도 상기 광원 및 상기 이미지 캡처 디바이스에 동작가능하게 연결된 컴퓨팅 디바이스;
    상기 컴퓨팅 디바이스의 프로세서에 의해 실행되는 동적 편광 모듈로서, 상기 동적 편광 모듈은,
    상기 이미지 캡처 디바이스에 의해 캡처된 이미지를 이용하여 상기 사용자가 안경을 착용하고 있음을 검출하고;
    상기 사용자가 안경을 착용하고 있음을 검출한 경우에, 랜덤한 편광 위상과 단일 편광 위상 간을 적어도 60 Hz의 레이트로 반복적으로 전환하는 편광 패턴으로 상기 광을 동적으로 편광시키고 - 상기 랜덤한 편광 위상은 상기 광원과 상기 사용자의 안경 사이의 아웃바운드 광 경로를 따르는 상기 광의 제1 편광, 및 상기 안경과 상기 이미지 캡처 디바이스 사이의 반사된 광 경로를 따르는 상기 제1 편광에 직교하는 제2 편광을 포함하며, 상기 단일 편광 위상은 상기 아웃바운드 광 경로 및 상기 반사된 광 경로 중 하나 이상을 따르는 단일 편광을 가짐 - ;
    상기 랜덤한 편광 위상 동안에, 다른 방법으로 상기 눈의 동공을 폐색하는 상기 안경으로부터 반사된 글레어를 필터링하고;
    상기 랜덤한 편광 위상 동안에 상기 글레어가 필터링될 때, 동공 이미지를 상기 이미지 캡처 디바이스를 이용하여 30 Hz 이상의 레이트로 캡처하고; 그리고
    상기 단일 편광 위상 동안에, 상기 이미지 캡처 디바이스를 이용하여 글린트(glint) 이미지를 30 Hz 이상의 레이트로 캡처하도록
    구성되는 것인, 상기 동적 편광 모듈; 및
    상기 동공 이미지에서 식별된 동공 특성, 및 상기 동공 이미지에 대하여 시간적으로 근접하게 캡처된 글린트 이미지에서 식별된 글린트 특성에 기초하여 상기 시선 위치를 적어도 30 Hz의 레이트로 반복적으로 검출하도록 구성되는 시선 추적 모듈
    을 포함하는 시선 추적 시스템.
  11. 제10항에 있어서, 상기 동적 편광 모듈은 또한, 상기 글레어 중 하나 이상이 상기 캡처된 이미지에서 상기 사용자의 눈의 부근에 위치되어 있다고 결정함으로써 상기 사용자가 안경을 착용하고 있음을 검출하도록 구성되는 것인 시선 추적 시스템.
  12. 제10항에 있어서, 상기 동적 편광 모듈은 또한, 상기 랜덤한 편광 위상과 상기 단일 편광 위상 간을 120 Hz의 레이트로 반복적으로 전환시킴으로써 상기 광을 편광 패턴으로 동적으로 편광시키도록 구성되는 것인 시선 추적 시스템.
  13. 제10항에 있어서, 상기 동적 편광 모듈은 또한, 상기 동공 이미지 및 상기 글린트 이미지를 60 Hz의 레이트로 캡처하고 상기 시선 위치를 60 Hz의 레이트로 검출하도록 구성되는 것인 시선 추적 시스템.
  14. 제10항에 있어서, 상기 동적 편광 모듈은 또한,
    상기 사용자가 안경을 착용하지 않았음을 검출하고;
    상기 사용자가 안경을 착용하지 않았음을 검출한 경우에, 상기 랜덤한 편광 위상과 상기 단일 편광 위상 간을 반복적으로 전환하는 편광 패턴으로 광을 동적으로 편광시키는 것을 중지하고; 그리고
    상기 단일 편광 위상 동안에 상기 동공 이미지 및 상기 글린트 이미지를 30 Hz 이상의 레이트로 캡처하도록 구성되는 것인 시선 추적 시스템.
  15. 제10항에 있어서, 상기 단일 편광 위상의 상기 단일 편광은, 상기 아웃바운드 광 경로 상에 제2 편광을 적용하는 것을 포함하는 것인 시선 추적 시스템.
  16. 제10항에 있어서, 상기 동적 편광 모듈은 또한, 상기 제1 편광과 상기 제1 편광에 직교하는 상기 제2 편광 간에 전환가능한 편광 필터를 교번함으로써 상기 광을 동적으로 편광시키도록 구성되는 것인 시선 추적 시스템.
  17. 제10항에 있어서, 상기 광원은 제1 광원이고, 상기 단일 편광 위상은 반사된 광 경로를 따르는 단일 편광을 가지고, 사용자 착용 안경의 눈에 비편광된 광을 방출하는 제2 광원을 더 포함하며, 상기 비편광된 광은 글린트 이미지를 캡처하는데 사용되는 것인 시선 추적 시스템.
  18. 제10항에 있어서, 상기 이미지 캡처 디바이스는 상기 동공 이미지를 캡처하는 제1 이미지 캡처 디바이스이고, 상기 동적 편광 모듈은 또한, 상기 글린트 이미지를 캡처하기 위하여 제2 이미지 캡처 디바이스를 사용하도록 구성되는 것인 시선 추적 시스템.
  19. 사용자의 눈의 시선 위치를 결정하기 위한 방법에 있어서,
    광원으로부터 사용자 착용 안경의 눈에 아웃바운드 광 경로를 따라 광을 비추는 단계;
    이미지 캡처 디바이스에 의해 캡처된 이미지를 이용하여 상기 사용자가 안경을 착용하고 있음을 검출하는 단계;
    상기 사용자가 안경을 착용하고 있음을 검출한 경우에, 랜덤한 편광 위상과 단일 편광 위상 간을 적어도 60 Hz의 레이트로 반복적으로 전환하는 편광 패턴으로 광을 동적으로 편광시키는 단계 - 상기 랜덤한 편광 위상은 상기 광원과 상기 사용자의 안경 사이의 아웃바운드 광 경로를 따르는 광의 제1 편광, 및 상기 안경과 상기 이미지 캡처 디바이스 사이의 반사된 광 경로를 따르는 상기 제1 편광에 직교하는 제2 편광을 포함하며, 상기 단일 편광 위상은 상기 아웃바운드 광 경로 및 상기 반사된 광 경로 중 하나 이상을 따르는 단일 편광을 가짐 - ;
    상기 랜덤한 편광 위상 동안에, 다른 방법으로 상기 눈의 동공을 폐색하는 상기 안경으로부터 반사된 글레어를 필터링하는 단계;
    상기 랜덤한 편광 위상 동안에 상기 글레어가 필터링될 때, 동공 이미지를 30 Hz 이상의 레이트로 캡처하는 단계;
    상기 단일 편광 위상 동안에, 글린트 이미지를 30 Hz 이상의 레이트로 캡처하는 단계;
    상기 동공 이미지에서 식별된 동공 특성, 및 상기 동공 이미지에 대하여 시간적으로 근접하게 캡처된 글린트 이미지에서 식별된 글린트 특성에 기초하여 상기 시선 위치를 적어도 30 Hz의 레이트로 반복적으로 검출하는 단계;
    상기 사용자가 안경을 착용하지 않았음을 검출하는 단계;
    상기 사용자가 안경을 착용하지 않았음을 검출한 경우에, 상기 랜덤한 편광 위상과 상기 단일 편광 위상 간을 반복적으로 전환하는 편광 패턴으로 광을 동적으로 편광시키는 것을 중지하는 단계; 및
    상기 단일 편광 위상 동안에 상기 동공 이미지 및 상기 글린트 이미지를 30 Hz 이상의 레이트로 캡처하는 단계를 포함하는 시선 위치 결정 방법.
  20. 제19항에 있어서,
    상기 광을 동적으로 편광시키는 단계는, 상기 제1 편광과 상기 제1 편광에 직교하는 상기 제2 편광 간에 전환가능한 편광 필터를 교번시키는 단계를 포함하는 것인 시선 위치 결정 방법.
KR1020167026627A 2014-02-26 2015-02-23 편광 시선 추적 KR102368457B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/191,305 2014-02-26
US14/191,305 US9330302B2 (en) 2014-02-26 2014-02-26 Polarized gaze tracking
PCT/US2015/017001 WO2015130580A1 (en) 2014-02-26 2015-02-23 Polarized gaze tracking

Publications (2)

Publication Number Publication Date
KR20160126060A KR20160126060A (ko) 2016-11-01
KR102368457B1 true KR102368457B1 (ko) 2022-02-25

Family

ID=52630498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167026627A KR102368457B1 (ko) 2014-02-26 2015-02-23 편광 시선 추적

Country Status (6)

Country Link
US (1) US9330302B2 (ko)
EP (1) EP3111369A1 (ko)
KR (1) KR102368457B1 (ko)
CN (1) CN106062776B (ko)
TW (1) TW201533613A (ko)
WO (1) WO2015130580A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
ES2742416T3 (es) * 2014-12-10 2020-02-14 Ericsson Telefon Ab L M Dispositivo y método de imagen corneal
DK179537B1 (en) * 2015-02-04 2019-02-08 Itu Business Development A/S Tin traces and eye tracking methods
WO2016127204A1 (en) * 2015-02-12 2016-08-18 Seeing Machines Limited Automotive phone docking station for enhanced driving safety
US9959658B2 (en) * 2015-02-26 2018-05-01 Rovi Guides, Inc. Methods and systems for generating holographic animations
KR20230004905A (ko) * 2015-11-10 2023-01-06 루미리즈 홀딩 비.브이. 적응형 광원
EP3387573A4 (en) * 2015-12-07 2019-12-11 Delta ID Inc. BIOMETRIC AUTHENTICATION METHODS AND APPARATUS BASED ON BIREFRINGENCE
JP2017169803A (ja) * 2016-03-23 2017-09-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018057947A1 (en) * 2016-09-22 2018-03-29 Apple, Inc. Eye and head tracking
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
US10698204B1 (en) * 2017-10-16 2020-06-30 Facebook Technologies, Llc Immersed hot mirrors for illumination in eye tracking
KR102476757B1 (ko) 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법
US11014242B2 (en) * 2018-01-26 2021-05-25 Microsoft Technology Licensing, Llc Puppeteering in augmented reality
US10417784B1 (en) * 2018-06-29 2019-09-17 Facebook Technologies, Llc Boundary region glint tracking
KR102004504B1 (ko) * 2018-08-28 2019-07-26 에스케이텔레콤 주식회사 전방 상향 시현용 광학시스템
US10996751B2 (en) * 2018-12-21 2021-05-04 Tobii Ab Training of a gaze tracking model
CN109581655B (zh) * 2019-01-08 2021-06-29 北京七鑫易维信息技术有限公司 一种抑制透镜反光的眼球追踪***及眼球追踪方法
US11861941B1 (en) * 2019-02-06 2024-01-02 Apple Inc. Eye camera systems with polarized light
US11326763B1 (en) 2019-02-06 2022-05-10 Apple Inc. Light-emitting diodes with optical filters
CN109767602A (zh) * 2019-03-14 2019-05-17 钧捷智能（深圳）有限公司 一种全天候疲劳驾驶预警***用摄像头
US11694723B2 (en) * 2020-06-16 2023-07-04 Samuel Chi Hong Yau Removing visual content representing a reflection of a screen
KR20220111575A (ko) * 2021-02-02 2022-08-09 삼성전자주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
EP4060978A1 (en) 2021-02-11 2022-09-21 Seeing Machines Limited Improved cabin monitoring with electrically switched polarization
KR102598322B1 (ko) * 2021-11-05 2023-11-02 연세대학교 산학협력단 안구 운동 측정 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004261598A (ja) * 2003-02-28 2004-09-24 Agilent Technol Inc 瞳孔検知装置及び方法
US20110170061A1 (en) * 2010-01-08 2011-07-14 Gordon Gary B Gaze Point Tracking Using Polarized Light

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US5345281A (en) 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
US20020089744A1 (en) 2000-01-13 2002-07-11 Myers Kenneth J. Masked split image stereoscopic system and method
US6492635B2 (en) 2001-01-09 2002-12-10 Dror Simchoni Method and device for automatically controlling a polarizing filter
EP1357831A2 (en) 2001-02-09 2003-11-05 Sensomotoric Instruments GmbH Multidimensional eye tracking and position measurement system
US7525565B2 (en) * 2003-03-14 2009-04-28 Koninklijke Philips Electronics N.V. 3D video conferencing
CN101099164A (zh) * 2004-12-07 2008-01-02 欧普蒂克斯技术公司 使用来自眼睛反射的虹膜成像
US7418115B2 (en) 2004-12-07 2008-08-26 Aoptix Technologies, Inc. Iris imaging using reflection from the eye
JP2008523475A (ja) 2004-12-07 2008-07-03 エイオプティクス テクノロジーズ，インク． 目からの反射を用いる虹彩撮像
US20060215076A1 (en) 2005-03-22 2006-09-28 Karim John H Selective light transmitting and receiving system and method
US8807751B2 (en) 2008-04-22 2014-08-19 Annidis Health Systems Corp. Retinal fundus surveillance method and apparatus
WO2010083853A1 (en) 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
US20100231700A1 (en) 2009-03-10 2010-09-16 Lsi Industries, Inc. 3d screen with modular polarized pixels
WO2010136762A1 (en) 2009-05-28 2010-12-02 Milan Momcilo Popovich Apparatus for providing a 3d display
US20110170060A1 (en) * 2010-01-08 2011-07-14 Gordon Gary B Gaze Tracking Using Polarized Light
EP3527121B1 (en) * 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US20120218253A1 (en) 2011-02-28 2012-08-30 Microsoft Corporation Adjusting 3d effects for wearable viewing devices
GB2498954B (en) 2012-01-31 2015-04-15 Samsung Electronics Co Ltd Detecting an object in an image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004261598A (ja) * 2003-02-28 2004-09-24 Agilent Technol Inc 瞳孔検知装置及び方法
US20110170061A1 (en) * 2010-01-08 2011-07-14 Gordon Gary B Gaze Point Tracking Using Polarized Light

Also Published As

Publication number Publication date
US9330302B2 (en) 2016-05-03
WO2015130580A1 (en) 2015-09-03
US20150242680A1 (en) 2015-08-27
TW201533613A (zh) 2015-09-01
CN106062776A (zh) 2016-10-26
CN106062776B (zh) 2019-04-30
EP3111369A1 (en) 2017-01-04
KR20160126060A (ko) 2016-11-01

Similar Documents

Publication Publication Date Title
KR102368457B1 (ko) 편광 시선 추적
JP6845295B2 (ja) 目追跡でのグレアに対処すること
KR102283747B1 (ko) 시선 추적을 갖는 타겟 위치결정
US9465991B2 (en) Determining lens characteristics
US9977492B2 (en) Mixed reality presentation
US9928662B2 (en) System and method for temporal manipulation in virtual environments
RU2684189C2 (ru) Адаптивное распознавание событий
RU2663477C2 (ru) Навигация по пользовательскому интерфейсу
US20150103003A1 (en) User interface programmatic scaling
US10488942B2 (en) Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
JP2019067425A (ja) 動的カメラまたはライトの動作
CN105407791A (zh) 经由深度相机的眼睛追踪
WO2014116467A1 (en) Mixed reality experience sharing
EP3198366A1 (en) Transforming received touch input

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant