KR20210136623A - 시선 추적 장치 및 방법 - Google Patents

시선 추적 장치 및 방법 Download PDF

Info

Publication number
KR20210136623A
KR20210136623A KR1020200055129A KR20200055129A KR20210136623A KR 20210136623 A KR20210136623 A KR 20210136623A KR 1020200055129 A KR1020200055129 A KR 1020200055129A KR 20200055129 A KR20200055129 A KR 20200055129A KR 20210136623 A KR20210136623 A KR 20210136623A
Authority
KR
South Korea
Prior art keywords
image
pcvr
eyeball
vector
gaze
Prior art date
Application number
KR1020200055129A
Other languages
English (en)
Inventor
김현철
김준수
이광순
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200055129A priority Critical patent/KR20210136623A/ko
Priority to US17/307,730 priority patent/US11796802B2/en
Publication of KR20210136623A publication Critical patent/KR20210136623A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시선 추적 장치 및 이를 이용한 방법이 개시된다.
시선 추적 장치는, 안구의 영상을 획득하는 영상 획득부와, 상기 안구 영상으로 동공의 중심을 검출하는 동공 검출부와, 상기 안구 영상에 가상의 각막 반사광을 소정 지점에 위치하도록 상기 안구 영상을 처리하는 가상 각막 반사광 위치 생성부, 및 상기 동공 중심의 위치와 상기 가상 각막 반사광의 위치를 기반으로 동공 중심 가공 반사 벡터(Pupil Center Virtual Reflection vector; PCVR vector)를 생성하는 PCVR 벡터 생성부를 포함한다.

Description

시선 추적 장치 및 방법{A DEVICE TRACKING GAZE AND METHOD THREREFOR}
본 개시는 시선 추적 장치 및 방법에 대한 것이며, 보다 구체적으로는 실제 각막 반사광을 사용하지 않고 가상의 각막 반사광을 이용하는 시선 추적 장치 및 이를 이용한 방법에 대한 것이다.
착용형 시선 추적기는 디스플레이 장치가 내장된 스마트 글래스나 HMD(Head mounted Display)와 같이 신체에 부착하여 사용 편의성을 증대시킨 시선추적 장치이다. 시선 추적기는 소정 파장의 광과 카메라를 이용하여 사용자의 영상을 획득하고, 획득된 영상을 분석하여 시선을 추적할 수 있다. 도 1에서와 같이, 광이 안구(10)의 각막에서 반사되어 각막 반사광(18)이 발생하며, 각막 반사광(18)의 중심과 동공(12)의 중심(16)에 의해 생성되는 벡터(pupil center corneal reflection vector, 20; 이하에서 'PCCR 벡터'이라 함)를 이용하여 시선을 추적할 수 있다. 도 1은 종래의 시선 추적 장치에서 실제의 각막 반사광을 이용하여 시선 추적을 수행하는 것을 예시한 도면이다.
이때, 각각의 사용자는 안구 구조가 다르기 때문에 시선을 추적하기 전에 캘리브레이션 단계를 먼저 수행할 수 있다. 캘리브레이션 단계에서는 디스플레이 장치 상에 사용자의 응시를 유도하는 마커를 순차적으로 표시하고, 사용자가 표시된 마커를 응시할 때 촬영한 영상으로부터 PCCR 벡터(20)를 검출하여 매핑 함수를 생성할 수 있다.
이후 시선추적 단계에서는, 사용자가 디스플레이 장치 상의 특정 객체를 응시하였을 때 촬영한 영상으로부터 PCCR 벡터(20)를 검출한 후 캘리브레이션 시 생성된 매핑 함수를 이용하여 사용자의 시선을 디스플레이 장치 상의 한 점으로 매핑함으로써 시선을 추적하게 된다.
이러한 단계에서 알 수 있듯이 각막 반사광(18)은 시선 추적에 있어서 중요한 요소이다. 그러나, 착용형 시선 추적기는 카메라와 광을 안구(10) 근처에 설치하게 되므로 안구(10)의 움직임에 따라 각막 반사광(18)이 사라지는 문제점이 있다. 구체적으로 도 2에서와 같이, 각막 반사광(도 1의 18 참조)이 사라지는 현상이 유발된다. 도 2는 종래의 시선 추적 장치에서 실제의 각막 반사광이 소멸되어 시선 추적이 불가능한 것을 예시한 도면이다. 도 1에서는 각막 반사광이 존재하나, 도 2에서 안구의 회전으로 인해 각막 반사광이 존재하지 않는다. 따라서 도 2의 경우 PCCR 벡터(도 1의 20 참조)를 계산할 수 없으므로 시선 추적이 불가능하게 된다.
본 개시의 기술적 과제는 가상의 각막 반사광을 사용하여 동공 중심 가상 반사 벡터(Pupil Center Virtual Reflection vector; PCVR vector)를 생성함으로써 각막 반사광이 검출되지 않아도 시선을 추적하는 시선 추적 장치 및 방법을 제공하는데 그 목적이 있다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 시선 추적 장치가 제공될 수 있다. 상기 시선 추적 장치는, 안구의 영상을 획득하는 영상 획득부와, 상기 안구 영상으로 동공의 중심을 검출하는 동공 검출부와, 상기 안구 영상에 가상의 각막 반사광을 소정 지점에 위치하도록 상기 안구 영상을 처리하는 가상 각막 반사광 위치 생성부, 및 상기 동공 중심의 위치와 상기 가상 각막 반사광의 위치를 기반으로 동공 중심 가공 반사 벡터(Pupil Center Virtual Reflection vector; PCVR vector)를 생성하는 PCVR 벡터 생성부를 포함한다.
본 개시의 다른 실시예에 따르면, 상기 가상 각막 반사광의 지점은 소정 영역에 일관되도록 유지될 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 PCVR 벡터 생성부는 상기 안구 영상에서 광 조사에 의해 각막에서 반사되어 검출되는 실제 각막 반사광의 위치를 배제하여 상기 PCVR 벡터를 생성할 수 있다.
본 개시의 또 다른 실시예에 따르면, 디스플레이부에 복수의 응시 유도 마커들을 순차적으로 제공하며, 상기 안구 영상에서 상기 응시 유도 마커마다 상기 동공 검출부로부터 검지된 동공 중심들의 각각 위치와 상기 가상 각막 반사광의 위치를 기반으로 상기 PCVR 벡터 생성부에서 산출된 PCVR 벡터들을 획득하고, 상기 PCVR 벡터들에 근거하여 응시점을 추정하기 위한 매핑 함수를 산출하는 캘리브레이션부를 더 포함할 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 안구 영상에서 상기 동공 검출부로터 검지된 동공 중심의 위치와 상기 가상 각막 반사광의 위치를 기반으로 상기 PCVR 벡터 생성부에서 산출된 PCVR 벡터를 획득하여, 상기 PCVR 벡터와 응시점을 추정하기 위한 매핑 함수에 기초하여 디스플레이부 상의 응시점을 예측하는 응시점 예측부를 더 포함할 수 있다.
또한, 상기 PCVR 벡터의 생성시와 상기 응시점의 예측시에 사용되는 상기 가상 각막 반사광은 상기 안구의 영상에서 동일 위치로 유지될 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 안구로 광을 조사하는 광원을 더 포함하고, 상기 광원은 상기 안구 영상에서 각막에서 반사되어 검출되는 실제 각막 반사광이 발생되지 않도록 위치, 조도 및 조사각 중 적어도 하나에 의해 설정될 수 있다.
또한, 사용자가 안경 착용시에, 상기 안구 영상에서 안경 반사광이 발생되지 않도록 상기 광원의 위치, 조도 및 조사각 중 적어도 하나에 의해 상기 광원이 설정될 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 영상 획득부는 상기 안구를 향한 촬영 방향으로 상기 안구를 직접 촬영하거나, 상기 안구를 향하여 설치된 반사부로부터 반사되어 방출된 상기 안구를 간접적으로 촬영하도록 구성될 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 시선 추적 장치는 실제 주변 환경을 시각적으로 차단하며 디스플레이부에서 제공되는 화상만을 시청가능한 차단형 시선 추적 장치, 또는 실제 주변 환경과 상기 화상을 전부 시청가능한 씨스루(see-through)형 시선 추적 장치로 구성될 수 있다.
본 개시의 다른 양상에 따르면, 시선 추적 방법이 제공될 수 있다. 상기 시선 추적 방법은, 안구의 영상을 획득하는 단계와 상기 안구 영상으로 동공의 중심을 검출하는 단계, 및 상기 안구 영상에 소정 지점에 나타나도록 처리된 가상의 각막 반사광의 위치와 상기 동공 중심의 위치를 기반으로 동공 중심 가공 반사 벡터(PCVR vector)를 생성하는 단계를 포함한다.
본 개시의 다른 실시예에 따르면, 상기 PCVR 벡터를 생성하는 단계는 상기 안구 영상에서 광 조사에 의해 각막에서 반사되어 검출되는 실제 각막 반사광의 위치를 배제하여 상기 PCVR 벡터를 생성할 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 PCVR 벡터를 생성하는 단계 전에, 상기 안구 영상에 가상의 각막 반사광을 소정 지점에 위치하도록 상기 안구 영상을 처리하는 단계를 더 포함하고, 상기 PCVR 벡터를 생성하는 단계 후에, 디스플레이부에 복수의 응시 유도 마커들을 순차적으로 제공하며, 상기 안구 영상에서 상기 응시 유도 마커마다 상기 동공 검출부로부터 검지된 동공 중심들의 각각 위치와 상기 가상 각막 반사광의 위치를 기반으로 상기 PCVR 벡터 생성부에서 산출된 PCVR 벡터들을 획득하고, 상기 PCVR 벡터들에 근거하여 응시점을 추정하기 위한 매핑 함수를 산출하는 단계를 더 포함할 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 PCVR 벡터를 생성하는 단계 후에, 상기 안구 영상에서 상기 동공 검출부로부터 검지된 동공 중심의 위치와 상기 가상 각막 반사광의 위치를 기반으로 PCVR 벡터를 획득하여, 상기 PCVR 벡터와 응시점을 추정하기 위한 매핑 함수에 기초하여 디스플레이 상의 응시점을 예측하는 단계를 더 포함할 수 있다.
또한, 상기 PCVR 벡터를 생성하는 단계에서부터 상기 응시점을 예측하는 단계까지 상기 가상 각막 반사광은 상기 안구의 영상에서 동일 위치로 유지될 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 안구의 영상을 획득하는 단계에서 광원이 상기 안구로 광을 조사하여 안구의 영상을 획득하고, 상기 광원은 상기 안구 영상에서 각막에서 반사되어 검출되는 실제 각막 반사광이 발생되지 않도록 위치, 조도 및 조사각 중 적어도 하나에 의해 설정될 수 있다.
또한, 사용자가 안경 착용시에, 상기 안구 영상에서 안경 반사광이 발생되지 않도록 상기 광원의 위치, 조도 및 조사각 중 적어도 하나에 의해 상기 광원이 설정 될 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 안구 영상을 획득하는 단계는 영상 취득부가 상기 안구를 향한 촬영 방향으로 상기 안구를 직접 촬영하거나, 상기 안구를 향하여 설치된 반사부로부터 반사되어 방출된 상기 안구를 간접적으로 촬영하도록 구성될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 시선 추적 장치에서 실제 각막 반사광이 검출되지 않더라도 사용자의 시선을 추적할 수 있는 시선 추적 장치 및 이를 이용한 방법을 제공할 수 있다.
본 개시에 따르면, 실제 각막 반사광의 검출이 필요하지 않아 광원 위치의 자유도가 증대되고, 광원을 안구에 보다 근접하게 위치시킬 수 있어 불필요한 안경 반사광의 발생을 방지함으로써, 안경 착용자의 시선도 용이하게 추적할 수 있는 시선 추적 장치 및 이를 이용한 방법을 제공할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 시선 추적 장치에서 실제의 각막 반사광을 이용하여 시선 추적을 수행하는 것을 예시한 도면이다.
도 2는 종래의 시선 추적 장치에서 실제의 각막 반사광이 소멸되어 시선 추적이 불가능한 것을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 시선 추적 장치를 나타내는 블록도이다.
도 4는 실제 각막 반사광이 존재하는 안구 영상에서 가상의 각막 반사광이 위치되어 PCVR 벡터가 생성되는 것을 예시한 도면이다.
도 5는 실제 각막 반사광이 존재하지 않는 안구 영상에서 가상의 각막 반사광이 위치되어 PCVR 벡터가 생성되는 것을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 시선 추적 장치에서 응시점 예측부의 동작을 개략적으로 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 시선 추적 방법에 관한 순서도이다.
도 8은 본 발명의 또 다른 실시예에 따른 시선 추적 방법에 관한 순서도이다.
도 9는 및 도 10은 안경 착용 사용자가 종래의 시선 추적 장치를 이용하는 것을 도시한 도면이다.
도 11은 안경 착용 사용자가 본 발명의 일 실시예에 따른 시선 추적 장치를 이용하는 것을 예시한 도면이다.
도 12는 안경 착용 사용자가 본 발명의 변형예에 따른 시선 추적 장치를 이용하는 것을 예시한 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결 관계 뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제 1 구성요소는 다른 실시 예에서 제 2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제 2 구성요소를 다른 실시 예에서 제 1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들을 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 3 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 시선 추적 장치에 대하여 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 시선 추적 장치를 나타내는 블록도이다. 도 4는 실제 각막 반사광이 존재하는 안구 영상에서 가상의 각막 반사광이 위치되어 PCVR 벡터가 생성되는 것을 예시한 도면이고, 도 5는 실제 각막 반사광이 존재하지 않는 안구 영상에서 가상의 각막 반사광이 위치되어 PCVR 벡터가 생성되는 것을 예시한 도면이다.
시선 추적 장치(100)는 안구 영상(114)의 소정 위치에 가상의 각막 반사광(118)을 설정함으로써, 가상 각막 반사광(118)과 안구 영상(114)에 포획된 동공 중심(116) 간에 동공 중심 가상 반사 벡터(Pupil Center Virtual Reflection vector; 이하에서는, 'PCVR 벡터'; 120)을 산출할 수 있으며, PCVR 벡터(120)로 캘리브레이션 및 응시점 추측을 수행하는 장치이다. 시선 추적 장치(100)는 착용형 또는 비착용형 장치일 수도 있다. 착용형일 경우에, 시선 추적 장치(100)는 실제 주변 환경을 시각적으로 차단하며 디스플레이부에서 제공되는 화상만을 시청가능한 차단형 시선 추적 장치이거나, 실제 주변 환경과 화상을 전부 시청가능한 씨스루(see-through)형 시선 추적 장치일 수 있다.
구체적으로, 시선 추적 장치(100)는 영상 획득부(102), 동공 검출부(104), 가상 각막 반사광 위치 생성부(106) 및 PCVR 벡터 생성부(108)를 포함한다.
영상 획득부(102)는 카메라와 같은 촬상 센서로서 시선 추적 장치(100)를 이용하는 사용자의 안구 영상(114)을 획득한다. 영상 획득부(102)는 도 6에서와 같이 소정 파장을 갖는 광원(도 6의 '124'참조)의 광에 의해 조사되는 안구의 영상(114)을 취득할 수 있다. 영상 획득부(102)가 적외선으로 광을 출사하는 경우에, 동공(202)과 홍채(204)의 경계를 명확하게 인식하도록 적외선으로 조사된 영역을 취득하며, 적외선 투과 필터를 구비한 영상 획득부(102)는 적외선에 의해서만 촬영된 안구 영상(114)을 획득한다. 영상 획득부(102)는 사용자의 시야를 방해하지 않는 범위에서 시선 추적에 적합한 크기의 동공이 포함한 안구 영상(114)을 취득할 수 있도록 구성되며, 영상 획득부(102)는 도 6에서와 같이 안구의 하부에 설치될 수 있다. 그러나, 영상 획득부(102)는 안구 영상(114)을 정상적으로 촬영가능한 위치라면 어느 곳이라도 설치될 수 있다.
상술한 광원(124)이 적외선 광을 사용하면, 광원(124)은 예를 들면, 적외선 LED, 할로겐, 크세논 램프, 백열등 등의 적외선 파장을 갖는 조명으로 구성될 수 있다.
동공 검출부(104)는 도 4 및 도 5에서와 같이, 안구 영상(114)으로 동공(202)의 중심을 검출한다. 예컨대 동공 검출부(104)는 안구(200)와 안구 주변의 얼굴 등의 관심 영역에서 동공 중심 위치를 추출한다. 예를 들면, 동공 검출부(104)는 관심 영역의 평균 밝기값을 기준으로 해당 영역의 각 픽셀의 밝기값을 보정하고, 히스토그램 스트레칭(histogram stretching)을 수행하여 영상의 가시성을 확보한다. 그 후, 동공 검출부(104)는 동공과 동공이 아닌 영역을 구분하기 위해 히스토그램 스트레칭이 적용된 영상에 이진화(binarization), 모폴로지(mophology) 및 라벨링(labeling) 연산을 통해 픽셀값이 0에 해당하는 윤곽점을 추적하여 가장 크게 라벨링 되는 영역을 탐색한다. 동공 검출부(104)는 라벨링된 영역에 캐니 에지 검출기 및 볼록 껍질(convex hull) 알고리즘을 이용하여 동공 경계를 추출한다. 최종적으로 동공 검출부(104)는 추출한 동공 경계의 좌표값을 기반으로 타원 정합(ellipse fitting)방법에 의해 동공 중심(116)의 위치를 검출할 수 있다. 상술한 기법은 예시에 불과하고, 이 기법 외에도, 동공 검출부(104)는 정확한 검출이 보증되면 다양한 영상 처리 기법을 사용할 수 있다.
가상 각막 반사광 위치 생성부(106)는 도 4 및 도 5에 도시된 바와 같이, 안구 영상(114)에 가상의 각막 반사광(118)을 소정 지점에 위치하도록 안구 영상(114)을 처리한다. 소정 지점은 장치(100)에서 기 설정될 수 있다.
가상 각막 반사광(118)은 도 4 및 도 5에서와 같이, 안구 영상(114)의 중앙 지점으로부터 소정 거리 내에서 이동하는 동공 중심의 위치에 따른 PCVR 벡터의 편차를 저감하기 위해, 가상 각막 반사광(118)의 지점은 안구 영상(114)의 중앙 영역에 위치될 수 있다. 가상 각막 반사광(118)은 해당 지점으로서 안구 영상(114)의 특정한 픽셀 위치를 채용한다.
본 실시예에서는 가상 각막 반사광(118)을 안구 영상(114)의 중앙 영역에 위치시켰으나,캘리브레이션과 응시점 예측 과정에서 가상 각막 반사광(118)이 소정 영역에 일관되도록 유지될 수 있다면, 중앙 영역 외의 안구 영상(114)의 다른 픽셀에 위치시키는 것도 가능하다. 즉, 안구 영상(114)의 픽셀을 좌표로 예로 들면, 픽셀 좌표 (0, 0)이나 (100, 100) 등 임의의 위치에 가상 각막 반사광(118)을 생성시키더라도 PCVR 벡터를 구할 수 있다. 또한 가상 각막 반사광(118)의 위치를 캘리브레이션 단계와 응시점 예측 단계에서 일정하게 유지시키면 시선 추적이 가능하므로, 실제 각막 반사광이 존재하지 않는 환경, 예컨대 시선 추적 장치(100)가 착용형 장치이며, 안경을 착용한 사용자가 시선 추적 장치(100)를 이용하여 광원(124)에 의한 실제 각막 반사광이 존재하지 않는 상황에서도 시선을 추적할 수 있는 장점이 있다.
PCVR 벡터 생성부(108)는 도 4 및 도 5에서와 같이, 동공 중심(116)의 위치와 가상 각막 반사광(118)의 위치를 기반으로 PCVR 벡터(120)를 생성한다. PCVR 벡터 생성부(108)는 도 4와 같이, 안구 영상(114)에서 광 조사에 의해 각막에서 반사되어 검출되는 실제 각막 반사광이 존재하더라도, 실제 각막 반사광(122)의 위치를 배제하고, 가상 각막 반사광(118)의 위치에 기초하여 PCVR 벡터(120)를 생성할 수 있다. 실제 각막 반사광(122)은 광원(124)의 적외선 광에 의해 영상 획득부(102)로부터 취득한 안구 영상(114)에서 밝은 점의 형태로 관측될 수 있다.
캘리브레이션부(110)는 디스플레이부(도 6의 '126' 참조)에 복수의 응시 유도 마커들을 순차적으로 제공하며, 안구 영상(114)에서 응시 유도 마커마다 동공 검출부(104)로부터 검지된 동공 중심들(116)의 각각 위치와 가상 각막 반사광(118)의 위치를 기반으로 PCVR 벡터 생성부(108)에서 산출된 PCVR 벡터들(120)을 획득하고, PCVR 벡터들(120)에 근거하여 응시점을 추정하기 위한 매핑 함수를 산출할 수 있다.
구체적으로, 캘리브레이션은 사용자의 시선을 디스플레이부(126)의 한 점에 매핑하는 작업을 의미할 수 있다. 캘리브레이션부(110)는 디스플레이부(126) 상에 복수의 응시 유도 마커, 예컨대 적어도 4개 이상의 응시 유도 마커들을 디스플레이부(126)의 서로 다른 지점에 순차적으로 제공하고, 사용자로 하여금 순차적으로 표시된 응시 유도 마커를 따라 응시하도록 유도한다. 캘리브레이션부(110)는 동공 검출부(104)를 제어하여, 안구 영상(114)에서 응시 유도 마커마다 동공 검출부(104)로부터 검지된 동공 중심들(116)의 각각 위치를 취득한다. 캘리브레이션부(110)는 가상 각막 반사광 위치 생성부(106)로부터 안구 영상(114)의 소정 지점으로 처리된 가상 각막 반사광(118)의 위치를 획득한다. 캘리브레이션부(110)는 PCVR 벡터 생성부(108)가 응시 유도 마커마다 검지된 동공 중심들(116)의 각각 위치와 가상 각막 반사광(118)의 위치를 기반으로 PCVR 벡터들(120)을 산출하도록 PCVR 벡터 생성부(108)를 제어하여, PCVR 벡터들(120)을 획득한다. 여기서, 캘리브레이션부(110)는 도 4와 같이, 안구 영상(114)에서 실제 각막 반사광이 검출되더라도, PCVR 벡터 생성부(108)에 의해 실제 각막 반사광(122)의 위치를 배제하고, 가상 각막 반사광(118)의 위치에 기초하여 생성된 PCVR 벡터(120)를 취득할 수 있다. 캘리브레이션부(110)는 PCVR 벡터들(120)에 근거하여 매핑 함수, 예컨대 매핑 행렬을 산출할 수 있다. 매핑 행렬은 PCVR 벡터와 응시 유도 마커에 따른 사용자의 응시 위치를 매핑하도록 구성될 수 있다.
응시점 예측부(112)는 안구 영상(114)에서 동공 검출부(104)로터 검지된 동공 중심(116)의 위치와 가상 각막 반사광(118)의 위치를 기반으로 PCVR 벡터 생성부(108)에서 산출된 PCVR 벡터(120)를 획득하여, PCVR 벡터(120)와 캘리브레이션부(110)로부터 산출된 매핑 함수에 기초하여 디스플레이부(126) 상의 응시점을 예측할 수 있다.
도 6은 본 발명의 일 실시예에 따른 시선 추적 장치에서 응시점 예측부의 동작을 개략적으로 나타내는 도면이다.
구체적으로, 응시점 예측부(112)는 도 6에서와 같이, 사용자가 시선 추적 장치(100)를 착용하여 디스플레이부(126)를 통해 제공되는 화상을 시청하면서 디스플레이부(126)의 스크린에서의 특정 지점을 응시할 때, 사용자의 응시 지점을 예측한다.
응시점 예측부(112)는 동공 검출부(104)를 제어하여, 화상을 시청하는(view) 사용자의 안구 영상(114)에서 동공 검출부(104)로부터 검지된 동공 중심(116)의 위치를 취득한다. 응시점 예측부(112)는 가상 각막 반사광 위치 생성부(106)로부터 안구 영상(114)의 소정 지점으로 처리된 가상 각막 반사광(118)의 위치를 획득한다. 응시점 예측부(112)는 화상을 시청하는 사용자의 안구 영상(114)으로부터 검지된 동공 중심(116)의 위치와 가상 각막 반사광(118)의 위치를 기반으로 PCVR 벡터들(120)을 산출하도록 PCVR 벡터 생성부(108)를 제어하여, PCVR 벡터(120)를 획득한다. 응시점 예측부(112)는 캘리브레이션부(110)과 마찬가지로, 안구 영상(114)에서 실제 각막 반사광이 검출되더라도, PCVR 벡터 생성부(108)에 의해 실제 각막 반사광(122)의 위치를 배제하고, 가상 각막 반사광(118)의 위치에 기초하여 생성된 PCVR 벡터(120)를 취득할 수 있다. 응시점 예측부(112)는 PCVR 벡터(120)와 매핑 함수에 기초하여 스크린 상의 사용자의 응시점을 예측할 수 있다.
캘리브레이션 및 응시점 예측 과정에서 사용자의 안구와 디스플레이부(126) 간의 거리가 현저하게 상이하거나, 시청 환경이 특별히 변경되지 않는 한, 캘리브레이션부(110)과 응시점 예측부(112)에 의해 요청되는 PCVR 벡터 생성부(108)의 벡터 생성시에, 가상 각막 반사광 위치 생성부(106)는 안구의 영상(114)에서 가상 각막 반사광(118)을 동일 위치로 유지시킨다. 가상 각막 반사광(118)의 위치는 매핑 함수의 기준점으로 채용되어 응시점 위치를 추정하는데 중요한 요소로 작용한다. 종래에 캘리브레이션 및 응시점 예측 과정에서 실제 각막 반사광(122)이 실질적으로 동일한 위치에 존재할 수도 있으나, 경우에 따라 미세한 차이로 안구 영상(114)의 다른 픽셀 위치로 검출될 수 있다. 그러나, 본 실시예에서는 캘리브레이션 및 응시점 예측 과정 전반에 걸쳐 매핑 함수의 기준점이 되는 가상 각막 반사광(118)이 안구 영상(114)의 특정 픽셀 위치로 확실히 고정되어 캘리브레이션 과정에서의 매핑 함수를 통해 응시점을 정확하게 예측할 수 있다.
또한, 본 실시예에서는 사용자의 착용 상황, 광원의 제반 조건 등에 따라, 시선 추적 장치(100)에서 실제 각막 반사광(122)이 검출되지 않더라도 사용자의 시선을 추적할 수 있다.
이하에서는, 도 3 내지 도 8을 참조하여 본 발명의 다른 실시예들에 따른 시선 추적 방법에 대해 설명하기로 한다. 시선 추적 방법은 상술한 시선 추적 장치 (100)에 의해 구현될 수 있다.
도 7은 본 발명의 다른 실시예에 따른 시선 추적 방법에 관한 순서도이며, 시선 추적 방법에서 캘리브레이션 과정과 관련된다. 도 8은 본 발명의 또 다른 실시예에 따른 시선 추적 방법에 관한 순서도이며, 시선 추적 방법에서 응시점 예측 과정과 관련된다.
도 7을 참조하면, 캘리브레이션부(110)는 영상 획득부(102)를 제어하여 도 4 및 도 5에서와 같이 안구 영상(114)을 취득한다(S105).
다음으로, 캘리브레이션부(110)는 동공 검출부(104)를 제어하여, 안구 영상(114)에서 응시 유도 마커마다 동공 검출부(104)로부터 획득된 동공 중심들(116)의 각각 위치를 검출한다(S110).
구체적으로, 캘리브레이션부(110)는 디스플레이부(126) 상에 복수의 응시 유도 마커, 예컨대 적어도 4개 이상의 응시 유도 마커들을 디스플레이부(126)의 서로 다른 지점에 순차적으로 제공하고, 사용자로 하여금 순차적으로 표시된 응시 유도 마커를 따라 응시하도록 유도한다. 캘리브레이션부(110)는 동공 검출부(104)로부터 응시 유도 마커마다의 동공 중심들(116)의 위치를 수신한다.
이어서, 캘리브레이션부(110)는 가상 각막 반사광 위치 생성부(106)로부터 안구 영상(114)의 소정 지점으로 설정 처리된 가상 각막 반사광(118)의 위치를 획득한다(S115).
가상 각막 반사광(118)의 위치는 시선 추적 장치(100)를 통해 상술하여 상세한 설명은 생략하기로 한다.
다음으로, 캘리브레이션부(110)는 PCVR 벡터 생성부(108)가 응시 유도 마커마다 검지된 동공 중심들(116)의 각각 위치와 가상 각막 반사광(118)의 위치를 기반으로 PCVR 벡터들(120)을 산출하도록 PCVR 벡터 생성부(108)를 제어하여, PCVR 벡터들(120)을 획득한다(S120).
이어서, 캘리브레이션부(110)는 PCVR 벡터들(120)에 근거하여 매핑 함수, 예컨대 매핑 행렬을 산출한다(S125).
도 8을 참조하면, 응시점 예측부(112)는 영상 획득부(102)를 제어하여 도 4 및 도 5에서와 같이 화상을 시청하는 사용자의 안구 영상(114)을 취득한다(S205).
다음으로, 응시점 예측부(112)는 동공 검출부(104)를 제어하여, 사용자의 안구 영상(114)에서 검지된 동공 중심(116)의 위치를 취득한다(S210).
계속해서, 응시점 예측부(112)는 가상 각막 반사광 위치 생성부(106)로부터 안구 영상(114)의 소정 지점으로 설정 처리된 가상 각막 반사광(118)의 위치를 획득한다(S215).
이어서, 응시점 예측부(112)는 동공 중심(116)의 위치와 가상 각막 반사광(118)의 위치를 기반으로 PCVR 벡터들(120)을 산출하도록 PCVR 벡터 생성부(108)를 제어하여, 이에 의해 PCVR 벡터(120)를 생성한다(S220).
여기서, 응시점 예측부(112)의 요청으로 PCVR 벡터 생성부(108)가 벡터를 생성하는 경우에, 가상 각막 반사광 위치 생성부(106)는 특별한 사정이 없는 한, 가상 각막 반사광을 안구 영상(114)에서 캘리브레이션의 S115, S120 단계와 동일 위치로 유지시킨다.
계속해서, 응시점 예측부(112)는 PCVR 벡터(120)와 매핑 함수에 기초하여 디스플레이부(126)의 스크린 상에서의 사용자 응시점을 예측한다(S225).
도 9는 및 도 10은 안경 착용 사용자가 종래의 시선 추적 장치를 이용하는 것을 도시한 도면이다.
도 9 및 도 10에 도시된 종래의 제 1 및 제 2 시선 추적 장치(30a, 30b)는 HMD(Head Mounted Device)와 같은 착용형 장치로서 도 3에서의 가상 각막 반사광 위치 생성부(106) 및 PCVR 벡터 생성부(108) 대신에 실제 각막 반사광 검출부 및 PCCR 벡터 (Pupil Center Corneal Reflection vector) 생성부를 구비하고 있다. 종래의 제 1 및 제 2 시선 추적 장치(30a, 30b)는 동공(12)의 중심과 광원(32a, 32b)의 광에 의해 각막에서 반사되는 실제 각막 반사광에 기초하여 PCCR 벡터를 산출하며, 이를 이용하여 매핑 함수를 구하거나 응시점을 예측한다.
도 9에 도시된 종래의 제 1 시선 추적 장치(30a)는 카메라(34a)가 안구(10)를 향한 촬영 방향으로 안구(10)를 직접 촬영하는 방식을 채용하고 있다.
종래 제 1 시선 추적 장치(30a)는 사용자가 안경을 착용한 상태에서 사용하는 경우에, 사용자의 안경(22)과 렌즈(36a) 사이에 배치됨과 아울러서 안경(22)의 하부에 위치되는 카메라(34a)와 광원(32a) 및 디스플레이부(38a)를 포함한다. 종래 제 1 시선 추적 장치(30a)는 도 3에 도시된 구성 중에, 영상 획득부, 동공 검출부, 캘리브레이션부 및 응시점 예측부를 포함하며 도 3과 상이한 구성으로서 실제 각막 반사광 검출부 및 PCCR 벡터 생성부를 포함한다.
카메라(34a)로 촬영된 안구 영상으로 시선 추적을 수행하나, 종래의 제 1 시선 추적 장치(30a)에서 사용자가 안경(22)을 착용하면, 광원(32a)의 광 경로를 표현하는 화살표에서 알 수 있듯이, 광원(32a)에 의해 안경 반사광이 유발된다. 이로 인해 동공(12)이 가려지거나 실제 각막 반사광이 존재하지 않는 문제가 발생하여 PCCR 벡터를 산출할 수 없으며, 시선 추적이 불가능해진다.
도 10에 도시된 종래의 제 2 시선 추적 장치(30b)는 안구(10)를 향하여 설치된 반사부(40b)로부터 반사되어 방출된 안구(10)를 카메라(34b)가 간접적으로 촬영하도록 구성되는 방식을 채용하고 있다.
종래 제 2 시선 추적 장치(30b)는 사용자가 안경을 착용한 상태에서 사용하는 경우에, 사용자의 안경(22)과 대면하는 렌즈(36b)와 반사부(40b) 사이에 배치되는 카메라(34b), 안경(22)과 반사부(40b) 사이에 배치됨과 아울러서 렌즈(36b)의 주변에 위치되는 광원(32b), 및 디스플레이부(38b)를 포함한다. 종래 제 2 시선 추적 장치(30b)는 종래 제 1 시선 추적 장치(30a)와 마찬가지로, 영상 획득부, 동공 검출부, 캘리브레이션부, 응시점 예측부, 실제 각막 반사광 검출부 및 PCCR 벡터 생성부를 포함한다.
카메라(34b)로 촬영된 안구 영상으로 시선 추적을 수행하나, 종래 제 2 시선 추적 장치(30b)에서도 사용자가 안경(22)을 착용하면, 광원(32b)의 광 경로를 표현하는 화살표에서 알 수 있듯이, 광원(32b)에 의해 안경 반사광이 유발된다. 이로 인해 동공(12)이 가려지거나 실제 각막 반사광이 존재하지 않아 PCCR 벡터를 산출할 수 없으며, 종래 제 1 시선 추적 장치(30a)와 마찬가지로 시선 추적이 불가능해진다.
도 11은 안경 착용 사용자가 본 발명의 일 실시예에 따른 시선 추적 장치를 이용하는 것을 예시한 도면이다. 도 12는 안경 착용 사용자가 본 발명의 변형예에 따른 시선 추적 장치를 이용하는 것을 예시한 도면이다.
도 11및 도 12에 도시된 본 실시예들에 따른 제 1 및 제 2 시선 추적 장치(300a, 300b)는 HMD(Head Mounted Device)와 같은 착용형 장치로서 도 3에서의 모든 구성을 포함하여 상술의 기능을 수행하며, 추가로 후술의 구성을 구비한다.
도 11에 예시된 본 실시예에 따른 제 1 시선 추적 장치(300a)는 도 9와 실질적으로 동일하게, 영상 획득부인 카메라(304a)가 안구(200)를 향한 촬영 방향으로 안구(200)를 직접 촬영하는 방식을 채용하고 있다.
제 1 시선 추적 장치(300a)는 안구(200)와 렌즈(306a) 사이에 배치되는 카메라(304a) 및 디스플레이부(308a)를 포함한다. 광원(302a)은 각막에서 반사되어 검출되는 실제 각막 반사광이 안구 영상(114)에서 가급적 발생되지 않도록, 위치, 조도 및 조사각 중 적어도 하나에 의해 설정될 수 있다. 사용자가 안경(206)을 착용하는 경우에, 광원(302a)의 위치, 조도 및 조사각 중 적어도 하나는 안구 영상(114)에서 안경 반사광이 발생되지 않도록 설정될 수 있다.
본 실시예에 따른 제 1 시선 추적 장치(300a)는 실제 각막 반사광을 필요로 하지 않으므로, 적외선 광을 조사하는 광원(302a)은 동공(202)을 촬영할 정도의 조도로 안구 주변을 조사하면 충분하다.
구체적으로, 실제 각막 반사광의 검출이 필요하지 않아 광원(302a)은 동공(202)만을 검출할 정도의 저조도로 설정될 수 있다. 이에 따라, 광원(302a)의 위치의 자유도가 증대되어, 광원(302a)이 도 9 및 도 10과 같이 배치될 수도 있을 뿐만 아니라, 조사각 및 조도를 조절할 경우에 안경 방향으로 광이 조사되지 않는 위치, 예를 들어 안구(200)와 안경(206) 사이에 배치될 수 있다. 광원(302a)이 상술한 조사각, 조도 및 위치에 따라 설정되면, 안경 방향으로 조사되는 적외선 광이 최소화되어 안경 반사광이 애초부터 발생되지 않는다. 이에 따라 동공(202)의 중심이 더욱 정확하게 검출되며, 시선 추적의 정밀도가 향상된다. 즉, 안경 반사광 뿐만 아니라, 실제 각막 반사광도 발생시키지 않을 정도의 저조도의 광원(302a)으로 가상 각막 반사광과 PCVR 터에 기반하여 시선을 정확하게 추적할 수 있다.
도 11에서는 광원(302a)이 안구(200)의 상부에 위치되는 것을 예시하였으나, 안경 반사광을 유발시키지 않는다면 안구(200) 주변의 어느 위치라도 가능하다.
도 12에 예시된 본 실시예의 변형예에 따른 제 2 시선 추적 장치(300b)는 도 10과실질적으로 동일하게, 안구(200)를 향하여 설치된 반사부(310b)로부터 반사되어 방출된 안구(200)를 영상 획득부인 카메라(304b)가 간접적으로 촬영하도록 구성되는 방식을 채용하고 있다.
제 2 시선 추적 장치(300b)는 사용자의 안구(200)와 대면하는 렌즈(306b)와 반사부(310b) 사이에 배치되는 카메라(304b), 안구 영상(114)에서 안경 반사광이 발생되지 않도록 안경(206) 주변에 위치되는 광원(302b), 및 디스플레이부(308b)를 포함한다.
반사부(310b)는 가시광선 파장을 통과시키고 적외선 파장을 반사시키는 핫미러(hot mirror)로 구성될 수 있으며, 사용자는 가시광선을 출사하는 디스플레이부(308b)의 화상을 시청할 수 있음과 아울러서, 카메라(304b)는 적외선 광으로 안구(200)의 영상을 촬영할 수 있다.
광원(302b)은 안구 영상(114)에서 각막에서 반사되어 검출되는 실제 각막 반사광이 가급적 발생되지 않도록 위치, 조도 및 조사각 중 적어도 하나에 의해 설정될 수 있다. 사용자가 안경(206)을 착용하는 경우에, 광원(302b)의 위치, 조도 및 조사각 중 적어도 하나는 안구 영상(114)에서 안경 반사광이 발생되지 않도록 설정될 수 있다. 이에 따라 도 11에서 설명한 효과가 발휘될 수 있다.
도 12에서는 광원(302b)이 안구(200)의 상부에 위치되는 것을 예시하였으나, 안경 반사광을 유발시키지 않는다면 안구(200) 주변의 어느 위치라도 가능하다.
한편, 도 11 및 도 12에서는 본 실시예들에 있어서, 실제 주변 환경을 시각적으로 차단하며 디스플레이부에서 제공되는 화상만을 시청가능한 차단형 시선 추적 장치(300a, 300b)를 위주로 설명하였으나, 도 3에 따른 본 실시예는 기술적 구성이 저촉되지 않는 한, 실제 주변 환경과 상기 화상을 전부 시청가능한 씨스루(see-through)형 시선 추적 장치에도 적용가능하다.
씨스루형 시선 추적 장치는 씨스루 디스플레이를 통해 증강 현실 이미지를 디스플레이하는 데 사용될 수 있다. 여기서, 디스플레이된 가상 객체는 현실 배경 장면 내의 물리적 객체와 함께 보일 수 있다. 씨스루 디스플레이는 양측의 디스플레이 이미지를 사용자에게 디스플레이하고 사용자로 하여금 실제 환경을 보게 하도록 구성될 수 있다. 예를 들어, 각각의 씨스루 디스플레이는 광학 구성을 통해 디스플레이 광을 사용자의 눈으로 방출하도록 구성된 디스플레이 장치를 포함할 수 있다. 또한, 광학 구성은 실제 환경으로부터의 빛이 사용자의 눈에 도달하게 할 수 있다. 도 3, 도 7 및 도 8에서 설명된 본 실시예에 따른 구성과 기능은 씨스루 디스플레이 상에서 캘리브레이션함과 아울러서, 사용자의 응시점을 예측할 수 있도록 구현될 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
100: 시선 추적 장치
102: 영상 획득부 104: 동공 검출부
106: 가상 각막 반사광 위치 생성부
108: PCVR 벡터 생성부 110: 캘리브레이션부
112: 응시점 예측부

Claims (20)

  1. 안구의 영상을 획득하는 영상 획득부;
    상기 안구 영상으로 동공의 중심을 검출하는 동공 검출부;
    상기 안구 영상에 가상의 각막 반사광을 소정 지점에 위치하도록 상기 안구 영상을 처리하는 가상 각막 반사광 위치 생성부; 및
    상기 동공 중심의 위치와 상기 가상 각막 반사광의 위치를 기반으로 동공 중심 가공 반사 벡터(Pupil Center Virtual Reflection vector; PCVR vector)를 생성하는 PCVR 벡터 생성부를 포함하는 시선 추적 장치.
  2. 제 1 항에 있어서,
    상기 가상 각막 반사광의 지점은 소정 영역에 일관되도록 유지되는 시선 추적 장치.
  3. 제 1 항에 있어서,
    상기 PCVR 벡터 생성부는 상기 안구 영상에서 광 조사에 의해 각막에서 반사되어 검출되는 실제 각막 반사광의 위치를 배제하여 상기 PCVR 벡터를 생성하는 시선 추적 장치.
  4. 제 1 항에 있어서,
    디스플레이부에 복수의 응시 유도 마커들을 순차적으로 제공하며, 상기 안구 영상에서 상기 응시 유도 마커마다 상기 동공 검출부로부터 검지된 동공 중심들의 각각 위치와 상기 가상 각막 반사광의 위치를 기반으로 상기 PCVR 벡터 생성부에서 산출된 PCVR 벡터들을 획득하고, 상기 PCVR 벡터들에 근거하여 응시점을 추정하기 위한 매핑 함수를 산출하는 캘리브레이션부를 더 포함하는 시선 추적 장치.
  5. 제 1 항에 있어서,
    상기 안구 영상에서 상기 동공 검출부로터 검지된 동공 중심의 위치와 상기 가상 각막 반사광의 위치를 기반으로 상기 PCVR 벡터 생성부에서 산출된 PCVR 벡터를 획득하여, 상기 PCVR 벡터와 응시점을 추정하기 위한 매핑 함수에 기초하여 디스플레이부 상의 응시점을 예측하는 응시점 예측부를 더 포함하는 시선 추적 장치.
  6. 제 5 항에 있어서,
    상기 PCVR 벡터의 생성시와 상기 응시점의 예측시에 사용되는 상기 가상 각막 반사광은 상기 안구의 영상에서 동일 위치로 유지되는 시선 추적 장치.
  7. 제 1 항에 있어서,
    상기 안구로 광을 조사하는 광원을 더 포함하고,
    상기 광원은 상기 안구 영상에서 각막에서 반사되어 검출되는 실제 각막 반사광이 발생되지 않도록 위치, 조도 및 조사각 중 적어도 하나에 의해 설정되는 시선 추적 장치.
  8. 제 7 항에 있어서,
    사용자가 안경 착용시에, 상기 안구 영상에서 안경 반사광이 발생되지 않도록 상기 광원의 위치, 조도 및 조사각 중 적어도 하나에 의해 상기 광원이 설정되는 시선 추적 장치.
  9. 제 1 항에 있어서,
    상기 영상 획득부는 상기 안구를 향한 촬영 방향으로 상기 안구를 직접 촬영하거나, 상기 안구를 향하여 설치된 반사부로부터 반사되어 방출된 상기 안구를 간접적으로 촬영하도록 구성되는 시선 추적 장치.
  10. 제 1 항에 있어서,
    상기 시선 추적 장치는 실제 주변 환경을 시각적으로 차단하며 디스플레이부에서 제공되는 화상만을 시청가능한 차단형 시선 추적 장치, 또는 실제 주변 환경과 상기 화상을 전부 시청가능한 씨스루(see-through)형 시선 추적 장치로 구성되는 시선 추적 장치.
  11. 안구의 영상을 획득하는 단계;
    상기 안구 영상으로 동공의 중심을 검출하는 단계; 및
    상기 안구 영상에 소정 지점에 나타나도록 처리된 가상의 각막 반사광의 위치와 상기 동공 중심의 위치를 기반으로 동공 중심 가공 반사 벡터(PCVR vector)를 생성하는 단계를 포함하는 시선 추적 방법.
  12. 제 11 항에 있어서,
    상기 가상 각막 반사광의 지점은 소정 영역에 일관되도록 유지되는 시선 추적 방법.
  13. 제 11 항에 있어서,
    상기 PCVR 벡터를 생성하는 단계는 상기 안구 영상에서 광 조사에 의해 각막에서 반사되어 검출되는 실제 각막 반사광의 위치를 배제하여 상기 PCVR 벡터를 생성하는 시선 추적 방법.
  14. 제 11 항에 있어서,
    상기 PCVR 벡터를 생성하는 단계 전에, 상기 안구 영상에 가상의 각막 반사광을 소정 지점에 위치하도록 상기 안구 영상을 처리하는 단계를 더 포함하고,
    상기 PCVR 벡터를 생성하는 단계 후에, 디스플레이부에 복수의 응시 유도 마커들을 순차적으로 제공하며, 상기 안구 영상에서 상기 응시 유도 마커마다 상기 동공 검출부로부터 검지된 동공 중심들의 각각 위치와 상기 가상 각막 반사광의 위치를 기반으로 상기 PCVR 벡터 생성부에서 산출된 PCVR 벡터들을 획득하고, 상기 PCVR 벡터들에 근거하여 응시점을 추정하기 위한 매핑 함수를 산출하는 단계를 더 포함하는 시선 추적 방법.
  15. 제 11 항에 있어서,
    상기 PCVR 벡터를 생성하는 단계 후에, 상기 안구 영상에서 상기 동공 검출부로부터 검지된 동공 중심의 위치와 상기 가상 각막 반사광의 위치를 기반으로 PCVR 벡터를 획득하여, 상기 PCVR 벡터와 응시점을 추정하기 위한 매핑 함수에 기초하여 디스플레이 상의 응시점을 예측하는 단계를 더 포함하는 시선 추적 방법.
  16. 제 15 항에 있어서,
    상기 PCVR 벡터를 생성하는 단계에서부터 상기 응시점을 예측하는 단계까지 상기 가상 각막 반사광은 상기 안구의 영상에서 동일 위치로 유지되는 시선 추적 방법.
  17. 제 11 항에 있어서,
    상기 안구의 영상을 획득하는 단계에서 광원이 상기 안구로 광을 조사하여 안구의 영상을 획득하고,
    상기 광원은 상기 안구 영상에서 각막에서 반사되어 검출되는 실제 각막 반사광이 발생되지 않도록 위치, 조도 및 조사각 중 적어도 하나에 의해 설정되는 시선 추적 방법.
  18. 제 17 항에 있어서,
    사용자가 안경 착용시에, 상기 안구 영상에서 안경 반사광이 발생되지 않도록 상기 광원의 위치, 조도 및 조사각 중 적어도 하나에 의해 상기 광원이 설정되는 시선 추적 방법.
  19. 제 11 항에 있어서,
    상기 안구 영상을 획득하는 단계는 영상 취득부가 상기 안구를 향한 촬영 방향으로 상기 안구를 직접 촬영하거나, 상기 안구를 향하여 설치된 반사부로부터 반사되어 방출된 상기 안구를 간접적으로 촬영하도록 구성되는 시선 추적 방법.
  20. 제 11 항에 있어서,
    상기 시선 추적 방법이 구현되는 시선 추적 장치는 실제 주변 환경을 시각적으로 차단하며 디스플레이부에서 제공되는 화상만을 시청가능한 차단형 시선 추적 장치, 또는 실제 주변 환경과 상기 화상을 전부 시청가능한 씨스루(see-through)형 시선 추적 장치인 시선 추적 방법.
KR1020200055129A 2020-05-08 2020-05-08 시선 추적 장치 및 방법 KR20210136623A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200055129A KR20210136623A (ko) 2020-05-08 2020-05-08 시선 추적 장치 및 방법
US17/307,730 US11796802B2 (en) 2020-05-08 2021-05-04 Device tracking gaze and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200055129A KR20210136623A (ko) 2020-05-08 2020-05-08 시선 추적 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210136623A true KR20210136623A (ko) 2021-11-17

Family

ID=78412622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200055129A KR20210136623A (ko) 2020-05-08 2020-05-08 시선 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US11796802B2 (ko)
KR (1) KR20210136623A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI811825B (zh) * 2021-03-26 2023-08-11 宏達國際電子股份有限公司 頭戴式顯示裝置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006108017A2 (en) * 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP5397670B2 (ja) * 2008-09-16 2014-01-22 株式会社ニデック 非接触式超音波眼圧計
KR20120057033A (ko) 2010-11-26 2012-06-05 한국전자통신연구원 Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
KR101526557B1 (ko) 2012-01-31 2015-06-10 한국전자통신연구원 다중 카메라 기반 시선 추적 장치 및 방법
US9426447B2 (en) * 2012-10-09 2016-08-23 Electronics And Telecommunications Research Institute Apparatus and method for eye tracking
US10085688B2 (en) * 2012-11-20 2018-10-02 El-Mar Inc. Method of identifying an individual with a disorder or efficacy of a treatment of a disorder
US20140313308A1 (en) * 2013-04-19 2014-10-23 Samsung Electronics Co., Ltd. Apparatus and method for tracking gaze based on camera array
US20150015478A1 (en) * 2013-07-11 2015-01-15 Samsung Display Co., Ltd. Ir emissive display facilitating remote eye tracking
US9510753B2 (en) * 2014-02-27 2016-12-06 Lc Technologies, Inc. Asymmetric aperture for eyetracking
US9411417B2 (en) * 2014-07-07 2016-08-09 Logitech Europe S.A. Eye gaze tracking system and method
US10061383B1 (en) * 2015-09-16 2018-08-28 Mirametrix Inc. Multi-feature gaze tracking system and method
KR102548199B1 (ko) 2016-08-03 2023-06-28 삼성전자주식회사 전자 장치 및 전자 장치의 시선 추적 방법
JP7008702B2 (ja) * 2016-11-10 2022-02-10 マジック リープ， インコーポレイテッド スペックルパターンを使用した眼追跡のための方法およびシステム
US10108319B2 (en) * 2017-03-22 2018-10-23 International Business Machines Corporation Cognitive dashboard adjustment
KR101914190B1 (ko) 2017-06-12 2018-11-01 동국대학교 산학협력단 운전자 시선 추적 장치 및 방법
JP7283841B2 (ja) * 2019-03-28 2023-05-30 株式会社豊田中央研究所 視線計測装置

Also Published As

Publication number Publication date
US20210349532A1 (en) 2021-11-11
US11796802B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
CN107533362B (zh) 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
CN113729611B (zh) 使用眼球中心位置的眼睛追踪
US10698482B2 (en) Gaze tracking using non-circular lights
JP6144429B2 (ja) 目追跡のロバスト性を改善するアクティブ照明制御を行う目追跡装置動作方法及び目追跡装置
JP6861628B2 (ja) 眼の不快感を軽減させるディスプレイ
US9916005B2 (en) Gaze tracking with projector
US20210325649A1 (en) System and method to automatically adjust illumination during a microsurgical procedure
US20190019023A1 (en) Gaze-tracking system and method
EP3488763B1 (en) Line-of-sight detection device, line-of-sight detection method, and computer program
US20110170060A1 (en) Gaze Tracking Using Polarized Light
US10061384B2 (en) Information processing apparatus, information processing method, and program
US20160363995A1 (en) Circular light element for illumination of cornea in head mounted eye-tracking
JP7112945B2 (ja) 反射を検出する装置及び方法
US20160345818A1 (en) Eyeblink measurement method, eyeblink measurement apparatus, and non-transitory computer-readable medium
JP7388349B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5601179B2 (ja) 視線検出装置及び視線検出方法
JP6957048B2 (ja) 眼部画像処理装置
JP4313717B2 (ja) 視線検出装置
US11796802B2 (en) Device tracking gaze and method therefor
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
WO2019185136A1 (en) Method and system for controlling illuminators
JP2016051317A (ja) 視線検出装置
JP2016087291A (ja) 瞳孔・視線計測装置および照明システム
JP6687195B2 (ja) 眼部画像処理装置
WO2017154356A1 (ja) 視線検出装置および視線検出方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]