KR101348903B1 - 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치 및 방법 - Google Patents

시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치 및 방법 Download PDF

Info

Publication number
KR101348903B1
KR101348903B1 KR1020120070926A KR20120070926A KR101348903B1 KR 101348903 B1 KR101348903 B1 KR 101348903B1 KR 1020120070926 A KR1020120070926 A KR 1020120070926A KR 20120070926 A KR20120070926 A KR 20120070926A KR 101348903 B1 KR101348903 B1 KR 101348903B1
Authority
KR
South Korea
Prior art keywords
light source
corneal
cornea
radius
user
Prior art date
Application number
KR1020120070926A
Other languages
English (en)
Inventor
이수영
익발 나딤
이동건
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020120070926A priority Critical patent/KR101348903B1/ko
Application granted granted Critical
Publication of KR101348903B1 publication Critical patent/KR101348903B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘 및 이를 이용한 각막 반경 측정 장치를 개시한다. 상기 시선 추적용 기하광학에 기반한 각막 반경 알고리즘을 이용한 각막 반경 측정 장치는 주변 영역에 적외선 광원을 출력하는 복수 개의 광원부들을 구비한 스크린; 상기 적외선 광원이 사용자 각막에 반사되어 반사 광원을 통해 상기 사용자 각막의 이미지를 수신하는 카메라; 및 상기 카메라의 렌즈 내에 형성된 이미지를 처리하는 처리부;를 포함하며, 상기 처리부는 제1광원부에서 출력된 광원이 상기 사용자 각막에 반사된 반사 광원에 따른 제1 이미지와 제2광원부에서 출력된 광원이 상기 사용자 각막에 반사된 반사 광원에 따른 제2 이미지를 수신하여, 내부에 프로그래밍된 각막 반경 추정 알고리즘을 대입하여 사용자의 각막 반경을 측정하는 기능을 수행하는 것을 특징으로 한다.

Description

시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치 및 방법{Cornea radius estimation apparatus using Cornea radius estimation algorithm based on geometrical optics for eye tracking and method}
본 발명은 아이 트래킹 시스템에 이용되는 알고리즘에 관한 것으로, 보다 상세하게는 시선 추적용 기하광학에 기반한 각막 반경 추정 알고리즘을 이용한 각막 반경 측정 장치 및 방법에 관한 것이다.
아래의 특허문헌 1은 컴퓨터 비전 기반의 시선 추적 방법에 관한 기술이다.
이 방법은 사용자의 얼굴 및 눈에 대한 특성 값에 대한 룩업 테이블을 사용 전 구성 한다. 실제 시선 추적에 있어서는, 얼굴방향 및 홍채의 중심점을 측정한 후, 상기 특성 값과 상기 측정값을 비교하여 시선 방향을 계산한다.
시선 방향은 측정된 얼굴 방향 좌표계 및 홍채 중심 좌표계의 합성에 의해 계산된다. 얼굴 방향 측정은 T자 스틱형 참조모델을 착용하여 정확한 각도를 찾아내고, 홍채의 중심점은 홍채의 색깔 분포 분석에 의한 홍채색깔의 무게중심을 구하여, 그 무게중심을 시작으로 업/다운 스캐닝함으로써, 타원형 홍채 에지 내의 가장 긴 수평라인을 찾고, 그 수평라인의 중심점을 홍채의 중심점으로 결정한다. 그러나, 이 방법은 다양한 얼굴 및 눈에 대한 특성 값을 미리 측정하여 룩업 테이블을 구성하는데 있어서 신뢰성을 높이기 위해서는 수 많은 특성들에 대한 특성을 미리 고려하고 수집해야 하는 제약이 있으며, 홍채 영역이 눈꺼풀에 의해 가려지는 경우 시선 추적 정확도가 떨어질 수 있다.
아래의 특허문헌 2에 개시된 종래 기술은 사용자의 얼굴을 복수의 특징 점에 의한 특징 면으로 파악하여 이 특징 면의 병진 및 회전에 의해 사용자의 얼굴의 방향을 인식함으로써 시선을 추적한다. 그 결과 신뢰도가 매우 높고 정확한 응시 위치 추적 시스템이 일반 사용이 가능할 만큼 저렴한 가격으로 제공될 수 있다.
그러나, 얼굴의 특징점만을 이용하고 안구의 회전은 고려하지 않기 때문에 직관적인 시선 추적 인터페이스라고 할 수 없으며, 목적한 위치에 커서를 움직이기 위해서는 고개를 지속적으로 움직여야 한다.
아래의 비특허논문 [1]은 2대의 카메라로 구성한 스테레오 카메라 장치 및 3개의 적외선 조명을 이용하여 안구의 3차원 위치를 추정하고, 이를 통해 시선 벡터를 구하여 2차원 평면 화면상의 시선 위치를 구하는 방법을 제안한다. 이 방법의 수행을 위해서는, 스테레오 카메라 구성을 위해 2대의 카메라 간 캘리브레이션 과정이 선행되어야 하며, 3개의 조명간 위치가 정확하게 설정되어야 한다. 이러한 방법은 다수의 카메라 및 광원부를 구축하기 위한 비용이 많이 소요되며, 또한 3차원 연산을 수행해야 하므로 처리 시간이 오래 걸린다.
상기와 같은 방법들 외에서 많은 종류의 시선 추적 방법(비특허 문헌 [1~10])들이 제안되고 있으나, 다수의 카메라 및 조명을 사용함으로 인한 경제적인 문제점 [1-3], 3차원 연산을 수행하는데 필요한 높은 계산 복잡도[1], 얼굴에 카메라 장치를 착용함으로 인한 편의성의 저하, 비 특허문헌 [3][4], 카메라와 조명의 위치관계를 정확하게 설정해야 하는 캘리브레이션 과정, 비 특허문헌 [1][5], 시선 추적 장치를 사용하기 전 수행하는 복잡한 단계의 사용자 캘리브레이션 비 특허문헌, [6][7], 얼굴 움직임에 의해 발생하는 오차 [2-4]의 문제가 있다.
[선행기술문헌]
● 특허문헌
(특허문헌 1) KR 100311605 B1
(특허문헌 2) KR 100325365 B1
● 비 특허문헌
(비특허문헌 1) S. W. Shih and J. Liu, "A Novel Approach to 3-D Gaze Tracking Using Stereo Cameras," IEEE Transactions on Systems, Man and Cybernetics, Part B, vol. 34, no. 1, pp. 234-245, Feb. 2004
(비특허문헌 2) D. H. Yoo and M. J. Chung, "Non-intrusive eye gaze estimation without knowledge of eyepose" in Proc. 6th IEEE Int. Conf. on Automatic Face and Gesture Recognition, pp. 785-790, 2004.
(비특허문헌 3) Y. J. Ko, E. C. Lee, and K. R. Park, "A robust gaze detection method by compensating for facial movements based on corneal specularities," Pattern Recogn. Lett. 29, 10, 1474-1485 2008.
(비특허문헌 4) Cheol Woo Cho, Ji Woo Lee, Eui Chul Lee, Kang Ryoung Park, "A Robust Gaze Tracking Method by Using Frontal Viewing and Eye Tracking Cameras", Optical Engineering, Vol. 48, No. 12, 127202, Dec. 2009.
(비특허문헌 5) Eui Chul Lee, Kang Ryoung Park, "A Robust Eye Gaze Tracking Method based on a Virtual Eyeball Model" Machine Vision and Applications,Vol. 20, Issue 5, pp. 319-337, July, 2009.
(비특허문헌 6) Richard N. Aslin and Bob McMurray,"Automated Corneal-Reflection Eye Tracking in Infancy: Methodological Developments and Applications to Cognition Lawrence Erlbaum Associates, Inc., INFANCY, 6(2), 155~163, 2004.
(비특허문헌 7) John David Smith, "ViewPointer: Lightweight Calibration-Free Eye Tracking for Ubiquitous Handsfree Deixis" A thesis of Master of Science, Queen's University, September 2005.
(비특허문헌 8) Viola, P. and Jones, M.J. "Robust real-time face detection". Int. J. Comput. Vis. 57, 137-154 (2004).
(비특허문헌 9) 박성효, 조달호, 박강령, "Adaboost를 이용한 모바일 환경에서의 홍채인식을 위한 눈 검출에 관한 연구" 대한전자공학회 논문지, 제 45권 CI편 제 4호, pp. 1~11, 2008년 7월.
(비특허문헌 10) R. C. Gonzalez and R. E. Woods, Digital Image Processing, 2nd ed., Prentice-Hall, Englewood Cliffs, NJ, 2002.
(비특허문헌 11) N.Otsu, "A Tlreshold Selection Method from Gray-Level Histograms", IEEE Transactions on SMC, Vol. SMC-9, No. 1, pp. 62-66, Jan. 1979.
본 발명이 해결하고자 하는 과제는 단일 카메라 및 복수 개의 적외선 광원을 이용하면서도 정확하고도 신속한 시선 추적이 가능한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치 및 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 주변 영역에 적외선 광원을 출력하는 복수 개의 광원부들을 구비한 스크린; 상기 적외선 광원이 사용자 각막에 반사되어 반사 광원을 통해 상기 사용자 각막의 이미지를 수신하는 카메라; 및 상기 카메라의 렌즈 내에 형성된 이미지를 처리하는 처리부;를 포함하며, 상기 처리부는, 제1광원부에서 출력된 광원이 상기 사용자 각막에 반사된 반사 광원에 따른 제1 이미지와 제2광원부에서 출력된 광원이 상기 사용자 각막에 반사된 반사 광원에 따른 제2 이미지를 수신하여, 내부에 프로그래밍된 각막 반경 추정 알고리즘을 대입하여 사용자의 각막 반경을 측정하는 기능을 수행한다.
상기 광원부는 적외선 LED 소자인 것을 특징으로 한다.
상기 처리부는 상기 광원부들 중 어느 하나에서 출력된 제1 적외선 광원과 상기 사용자 각막에 반사되어 상기 카메라로 습득되는 반사 광원에 따른 제1 이미지를 처리하여 상태 값을 처리하는 제1모듈; 상기 광원부들 중 어느 하나에서 출력된 제2 적외선 광원과 상기 사용자 각막에 반사되어 상기 카메라로 습득되는 반사 광원에 따른 제2 이미지를 처리하여 상태 값을 처리하는 제2모듈; 및 상기 제1모듈 및 상기 제2모듈 각각에서 추정된 상태값들을 처리하여 사용자 각막의 반경을 추정하는 연산부를 포함한다.
상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 측정 방법은 위치가 서로 다른 2개의 적외선 광원에 반사된 사용자 각막의 이미지를 획득하는 이미지 획득 단계; 및 상기 이미지를 통해 사용자 각막 반경을 추정하는 추정 단계를 포함한다.
상기 추정 단계는, 변수값인 카메라 중심 위치 O, 각막 중심 위치 C, 광원부 S 및 각막 반사 위치 hi를 설정한 후, 각각의 거리값을 설정하는 제1단계; 상기 카메라를 기점으로 상기 각막 중심 위치와 상기 광원부 사이각 αi 및 상기 각막 중심 위치와 상기 각막 반사위치 hi의 사이각 βi를 설정하는 제2단계; 각막 반경 r과 거리 각막 중심 위치 C에서 카메라 중심 위치사이의 거리 k, 광원부와 상기 카메라 중심 위치 사이의 거리 di를 이용하여 세 개의 위치점 o, Si 및 ui를 갖는 두 개의 평면 좌표를 정의하는 제3단계; 상기 두개의 평면 좌표를 통해 카메라 중심 위치부터 각막 중심점과 각막 반사 위치의 사이각 βi를 결정하는 제4단계; 및 각막 반경 r의 최적의 추정값을 도출하여 각막 중심점과 카메라 중심점까지의 거리 k 값 및 각막 중심 위치 c를 도출하여, 각막 반경 r을 추출하는 제5단계를 포함한다.
상기 제1단계는, 상기 각막 반경 r과 거리 k, di 사이 관계를 아래에 기재된 수학식 1 및 수학식 2로 나타낸 후, o, si 및 ui를 통해서, di 및 αi의 값들은 결정하는 단계인 것을 특징으로 한다.
[수학식 1]
Figure 112012052245948-pat00001
[수학식 2]
Figure 112012052245948-pat00002

상기 제3단계는, 위치가 다른 두 개에 광원부로부터 추정된 두 개의 평면 좌표를 아래에 기재된 수학식 3에 따른 단위 벡터로 나타내는 단계인 것을 특징으로 한다.
[수학식 3]
Figure 112012052245948-pat00003
여기서, c 및 wij는 동일 또는 반대 방향 내에 존재한다.
상기 제5단계는, 아래에 기재된 수학식 4의 비용함수를 통해 각막 반경의 최소값을 도출하며, 수학식 6을 이용하여 변수 r이 최적화시켜 상기 각막 반경 r에 관한 비용함수의 도함수를 도출하는 단계를 포함하는 것을 특징으로 한다.
[수학식 4]
Figure 112012052245948-pat00004
여기서, θi(r)는 di, αi, βi가 적용된 수학식 2의 역함수이다.
[수학식 6]
Figure 112012052245948-pat00005
이때,
Figure 112012052245948-pat00006
이다.
상기 제5단계는, 상기 수학식 5을 통해 상기 θi(r) 값들의 비용 함수가 최소화되도록 수렴시킨 후, 아래에 기재된 수학식 7을 이용하여 각막 반경 r의 초기값을 도출하는 단계을 포함하는 것을 특징으로 한다.
[수학식 7]
Figure 112012052245948-pat00007

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 측정 방법은 위치가 서로 다른 2개의 적외선 광원에 반사된 각각의 사용자 각막의 이미지를 카메라에서 수신하는 이미지 획득 단계; 및 상기 이미지를 통해 사용자 각막 반경을 추정하는 추정 단계를 포함하며, 상기 추정 단계는, 변수값인 카메라 중심 위치 O, 각막 중심 위치 C, 광원부 S 및 각막 반사 위치 hi를 설정한 후, 각각의 거리값을 설정하는 제1단계; 상기 카메라를 기점으로 상기 각막 중심 위치와 상기 광원부 사이각 αi 및 상기 각막 중심 위치와 상기 각막 반사위치 hi의 사이각 βi를 설정하는 제2단계; 각막 반경 r과 각막 중심 위치 C 로부터 카메라 중심 위치 O 사이의 거리 k, 광원부와 상기 카메라 중심 위치 사이의 거리 di를 이용하여 세 개의 위치점 o, Si 및 ui를 갖는 두 개의 평면 좌표를 정의하는 제3단계; 상기 두 개의 평면 좌표 각각의 ui를 Wav 및 Si로 이루어진 평면으로 프로젝션(projection)시켜 보정된
Figure 112012052245948-pat00008
를 정의하는 제4단계; 및 상기
Figure 112012052245948-pat00009
를 이용하여 카메라 중심 위치 O부터 각막 중심점과 각막 반사 위치의 사이각 βi를 결정한 후, 각막 반경 r의 최적의 추정값을 도출하여 각막 중심점과 카메라 중심점까지의 거리 k 값 및 각막 중심 위치 c를 도출하여, 각막 반경 r을 추출하는 제5단계;를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 보정 절차 없이 한대의 카메라로 동시에 각막 반경 및 각막 중심을 측정할 수 있으며, 기하학적 광학으로부터 조심스럽게 파생된 비용 함수를 최소화함으로써 각막 반경을 측정할 수 있는 효과가 있다.
또한, 본 발명에 따르면 오직 각막 반경을 이용한 비용함수를 정의할 수 있어, 거리에 독립적인 경향을 가질 수 있다.
또한, 보정 작업 없이 측정 에러들을 개선시킬 수 있어 노이즈에 강한 효과를 가지고 있다.
또한, 본 발명에 따른 알고리즘은 단순하며, 종래의 방법들 변수 초기값에 더욱 강건하다.
이러한 이유로, 시선 추적 실험동안 사용자의 머리 움직이 허용되어지며, 효율적인 광원 위치들을 선택하기 위해 가이드라인을 제공하며, 더욱이 본 발명에서 제시한 투영-보정 방법은 노이즈 이미지 위치들로부터 응식각을 정확하게 개선할 수 있다.
도 1은 본 발명의 실시 예에 따른 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘를 이용한 각막 반경 측정 장치를 나타낸 예시도이다.
도 2는 본 발명에 스크린에 구비된 광원부들의 위치를 예시적으로 나타낸 예시도이다.
도 3은 본 발명의 실시 예에 따른 시선 추적용 기하광학에 기반한 각막 반경 추정 알고리즘을 설명하기 위한 각막, 광원(적외선) 및 카메라 각각의 연관관계를 나타낸 다이어그램이다.
도 4는 본 발명의 실시 예에 따른 각막 반경 알고리즘을 나타낸 플로우 챠트이다.
도 5는 도 4에 도시된 추정 단계를 보다 상세하게 나타낸 플로우 챠트이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명할 것이며, 같은 문자는 같은 의미를 가진다.
도 1은 본 발명의 실시 예에 따른 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘를 이용한 각막 반경 측정 장치를 나타낸 예시도이며, 도 2는 본 발명에 스크린에 구비된 광원부들의 위치를 예시적으로 나타낸 예시도이다.
도 1 및 도 2에 도시된 바와 같이, 상기 본 발명의 장치(100)는 스크린(140), 카메라(120) 및 처리부(130)를 포함한다.
상기 스크린(140)은 주변 영역에 적외선 광원을 출력하는 복수 개의 광원부(110)들이 구비된 스크린일 수 있다.
상기 복수 개의 광원부(110)들은 적외선 광원을 출력하는 LED 소자일 수 있으며, 본 발명에서는 LED 소자만을 언급하였지만, 적외선 광원을 출력할 수 있는 장치 및 소자면 가능하다
상기 카메라(120)는 상기 복수 개의 광원부(110)들에서 출력된 상기 적외선 광원이 사용자 각막에 반사되어 반사 광원을 통해 상기 사용자 각막의 이미지를 수신하는 기능을 수행한다.
상기 처리부(130)는 상기 카메라(120)의 렌즈 내에 형성된 이미지를 처리하는 기능을 수행하며, 보다 상세하게는 제1 광원부(110)에서 출력된 광원이 상기 사용자 각막에 반사된 반사 광원에 따른 제1 이미지와 제2 광원부(110)에서 출력된 광원이 상기 사용자 각막에 반사된 반사 광원에 따른 제2 이미지를 수신하여, 내부에 프로그래밍된 각막 반경 추정 알고리즘을 대입하여 사용자의 각막 반경을 측정하는 기능을 수행한다.
상기 처리부(130)는 제1 모듈(121), 제2 모듈(122) 및 연산부(123)를 포함한다.
상기 제1모듈(121)은 상기 광원부(110)들 중 어느 하나에서 출력된 제1 적외선 광원과 상기 사용자 각막에 반사되어 상기 카메라로 습득되는 반사 광원에 따른 제1 이미지를 처리하여 상태 값을 처리하는 기능을 수행한다.
상기 제2모듈(122)은 상기 광원부(110)들 중 어느 하나에서 출력된 제2 적외선 광원과 상기 사용자 각막에 반사되어 상기 카메라로 습득되는 반사 광원에 따른 제2 이미지를 처리하여 상태 값을 처리하는 기능을 수행한다.
상기 연산부(123)는 기하광학에 기반한 각막 반경 추정 알고리즘이 프로그래밍되어 있으며, 상기 제1모듈(121) 및 상기 제2모듈(122) 각각에서 추정된 상태값들을 연산하여 사용자 각막의 반경을 추정하는 기능을 수행한다.
도 3은 본 발명의 실시 예에 따른 시선 추적용 기하광학에 기반한 각막 반경 추정 알고리즘을 설명하기 위한 각막, 광원(적외선) 및 카메라 각각의 연관관계를 나타낸 다이어그램이이며, 도 4는 본 발명의 실시 예에 따른 각막 반경 알고리즘을 나타낸 플로우 챠트이며, 도 5는 도 4에 도시된 추정 단계를 보다 상세하게 나타낸 플로우 챠트이다.
먼저, 본 발명에서 제시한 각막 반경 추정 알고리즘을 설명하기 앞서, 도 1에 도시된 바와 같이, 상기 스크린의 가장자리에는 적외선을 발산하는 복수 개의 광원부가 구비된다. 이때, 상기 복수 개의 광원부의 위치는 서로 다르게 설정한다.
이때, 사용자의 각막으로부터 반사된 광원은 카메라 렌즈를 통해 이미지로 형성되며, 상기 이미지는 사용자의 각막 중심점 및 반경을 측정하는데 이용되어진다. 여기서, 사용자 각막은 반경 r을 갖는 곡률을 갖는 구 형태로 설정한다.
여기서, 도 3을 참조하면, 각막 중심 위치 C, 광원부 위치 Si, 카메라 렌즈에 생기는 이미지 위치 Ui, 각막 반사 위치 hi를 나타낸다.
상기 각막 중심 위치 C, 광원부 위치 Si, 이미지 위치 Ui 및 각막 반사 위치 hi의 각 위치는 시스템 내에서 3차원 벡터로 나타날 수 있으며, 카메라의 중심의 위치는 (0, 0)의 평면 좌표를 갖도록 설정한다. 첨자 i는 i번째 광원부를 나타낸다.
도 4에 도시된 바와 같이, 본 발명의 시선 추적용 기하광학에 기반한 반경 측정 알고리즘(S100)은 이미지 획득 단계(S110) 및 추정 단계(S120)를 포함한다.
상기 이미지 획득 단계(S110)는 위치가 서로 다른 2개의 적외선 광원에 반사된 사용자 각막의 이미지를 획득하는 단계일 수 있다.
상기 추정 단계(S120)는 상기 이미지를 통해 사용자 각막 반경을 추정하는 단계일 수 있다.
상기 추정 단계(S120)는 제1단계(S121) 내지 제5단계(S125)를 포함한다.
상기 제1단계(S121)는 변수값인 카메라 중심 위치 O, 각막 중심 위치 C, 광원부 S 및 각막 반사 위치 hi를 설정한 후, 각각의 거리값을 설정하는 단계일 수 있다.
보다 구체적으로, 제1단계(S121)는 상기 각막 반경 r과 거리 k, di 사이 관계를 아래에 기재된 수학식 1 및 수학식 2로 나타낸 후, o, si 및 ui를 통해서, di 및 αi의 값들은 결정하는 단계일 수 있다.
상기 제2단계(S122)는 상기 카메라를 기점으로 상기 각막 중심 위치와 상기 광원부 사이각 αi 및 상기 각막 중심 위치와 상기 각막 반사위치 hi의 사이각 βi를 설정하는 단계일 수 있다.
상기 제3단계(S123)는 각막 반경 r과 거리 각막 중심 위치 C에서 카메라 중심 위치사이의 거리 k, 광원부와 상기 카메라 중심 위치 사이의 거리 di를 이용하여 세 개의 위치점 o, Si 및 ui를 갖는 두 개의 평면 좌표를 정의하는 단계일 수 있다.
보다 구체적으로, 상기 제3단계(S123)는 위치가 다른 두 개에 광원부로부터 추정된 두 개의 평면 좌표를 아래에 기재된 수학식 3에 따른 단위 벡터로 나타내는 단계일 수 있다.
상기 제4단계(S124)는 상기 두개의 평면 좌표를 통해 카메라 중심 위치부터 각막 중심점과 각막 반사 위치의 사이각 βi를 결정하는 단계일 수 있다.
상기 제5단계(S125)는 각막 반경 r의 최적의 추정값을 도출하여 각막 중심점과 카메라 중심점까지의 거리 k 값 및 각막 중심 위치 c를 도출하여, 각막 반경 r을 추출하는 단계일 수 있다.
보다 구체적으로, 상기 제5단계(S125)는 아래에 기재된 수학식 4의 비용함수를 통해 각막 반경의 최소값을 도출하며, 수학식 6을 이용하여 변수 r이 최적화시켜 상기 각막 반경 r에 관한 비용함수의 도함수를 도출하는 단계일 수 있으며, 상기 제5단계는 상기 수학식 5을 통해 상기 θi(r) 값들의 비용 함수가 최소화되도록 수렴시킨 후, 아래에 기재된 수학식 7을 이용하여 각막 반경 r의 초기값을 도출하는 단계을 더 포함할 수 있다.
이하에서는 상술한 알고리즘을 수학식을 통해 다시 설명하도록 한다.
먼저, 광원(Si)은 카메라 중심 좌표 (0,0)을 통과한 각막 반사 위치(Ci)로부터 반사되어 카메라 렌즈의 i번째 이미지 위치에 도달할 수 있다.
반사 원리에 따르면, 입사각 θi는 반사각과 동일하다. 더욱이, 카메라 중심 위치 O, 각막 중심 위치 C, 광원부 S 및 각막 반사 위치 hi는 동일 평면상 즉, 2차원 평면상에 위치한다.
실험에 앞서, 상기 O, Si(i=1, 2, …, L)의 위치를 설정한다. 또한 카메라 렌즈 내에 위치하는 이미지는 i 번째 광원부의 위치 Ui에 따라 실시간으로 얻을 수 있다.
이러한 이미지 데이타는 각막 중심 위치 C, 각막 반사 위치 hi 및 각막 반경을 추정하기 위해 사용되어 질 수 있다.
여기서, k =∥c∥, di=∥si∥, mi=∥hi∥, and li=∥si-hi∥는 각 위치들 사이의 거리를 나타낸다.
또한, αi and βi는 두 위치 벡터들 사이의 사이각을 나타낸다.
삼각법 법칙(trigonometric rules)으로부터, 각막 반경 r과 거리 k,di 사이관계는 아래에 기재된 수학식 1 및 수학식 2로 나타낼 수 있다.
[수학식 1]
Figure 112012052245948-pat00010
[수학식 2]
Figure 112012052245948-pat00011
o, si 및 ui를 통해서, di 및 αi의 값들은 결정되어질 수 있다.
따라서, 수학식 1 및 수학식 2는 θi 및 βi를 통해 두 개의 알려지지 않은 함수를 도출할 수 있다.
이러한 이유로, 두 개의 변수 중 어느 하나만을 가지고는 한 개의 광원으로부터 유일한 해결책을 도출할 수는 없다.
따라서, 각 광원은 세 개의 위치점 o, Si 및 ui를 갖는 평면에 정의할 수 있으며, c는 평면상에 위치되도록 요구된다.
o와 c가 위치한 두 개의 평면은 선을 따라 교차되는 두 개의 광원들로부터 정의된다.
Wij는 두 개의 광원 si 및 sj을 갖는 평면들의 교차 선을 따르는 단위 벡터로서, 아래에 기재된 수학식 3과 같이 벡터 곱셈을 이용하여 연산할 수 있다.
[수학식 3]
Figure 112012052245948-pat00012
여기서, c 및 wij는 동일 또는 반대 방향 내에 존재하며, 각 βi는 두 개의 광원으로부터 유일하게 결정된다. 상기 수학식 2를 통해 θi가 오직 반경 r에 의존하는 것을 알 수 있으며, 수학식 1에 기재된 k/r는 오직 반경 r이 된다.
따라서, r과 k는 모든 광원들에서 동일하게 적용되어야 한다.
각막 반경 r의 최적의 추정(f(r))은 수학식 4인 비용 함수를 최소화함에 따라 얻어질 수 있다.
[수학식 4]
Figure 112012052245948-pat00013
여기서, θi(r)는 di, αi, βi가 적용된 수학식 2의 역함수이다.
변수 r이 최적화되도록, 기울기 하강 반복은 η이 학습률일 때, 아래의 수학식 5로 나타낼 수 있다.
[수학식 5]
Figure 112012052245948-pat00014
이때, 각막 반경 r에 관한 상기 비용함수의 도함수는 아래에 기재된 수학식 6으로 나타낼 수 있다.
[수학식 6]
Figure 112012052245948-pat00015
이때,
Figure 112012052245948-pat00016
일 수 있다.
여기서, 상기 역함수 θi(r) 및 수학식 7은 0<θi<π/4의 범위값을 갖는 θi가 적용된 수학식 2 내에 r 및 θi 사이의 단조로운 관계로 인해 얻어질 수 있다.
각 반복 단계에서, 새로운 θi(r) 값들은 새로운 r 값을 갖는 비선형 수학식 2을 수치적으로 계산하는 것에 의해 추정되어진다.
상기 새로운 θi(r) 값들은 수학식 5를 통해 몇 번의 반복 후에 관찰되어질 수 있으며, 상기 비용 함수는 최소화되도록 수렴하게 된다.
상기 수학식 1로부터, k 값 및 각막 중심 위치 c는 얻어질 수 있다. 상기 제안된 반복 알고리즘은 초기값으로부터 시작된다.
수학식 4 내에 상기 비용 함수는 여러 개의 국소 최소치를 가지고 있기 때문에, 초기값으로부터 시작하는 것이 가장 중요하다.
삼각형 상에 삼각 법칙을 적용함에 따라, 아래의 수학식 7을 얻을 수 있다.
[수학식 7]
Figure 112012052245948-pat00017
또한, 각막 반경 r의 초기값은 카메라와 사용자 사이에 대략적인 거리인 mi을 세팅함에 따라 얻어질 수 있다.
수학식 4로부터, βi와 βj가 동일하지 않아야 하는 것을 추정할 수 있다. 그런까닭으로, 상기 광원들의 위치들은 다른 βi 값(즉, 다른 i번째 거리값)을 가지도록 선택되어져야 한다.
더욱이, 카메라와 사용자의 눈 사이에 거리인 k는 카메라의 초점 길이보다 더 길어야 하며, 카메라에 습득된 각막의 이미지 위치 ui 내에 근소한 변화는 각막 반경 r 및 응시 위치들 내에서 큰 에러들이 도출하게 된다.
게다가, 복수 개의 픽셀들로 분리되어진 카메라 이미지 평면은 이산 에러에 기초하게 된다.
따라서, 카메라 이미지 평면상에 발생하게 되는 이산 에러를 감소시키기 위하여 하기에 제시된 노이즈 보정이 필요하다.
다른 좌표(i,j) 조합으로부터 생성되는 모든 Wij는 동일해야 한다. 그러나 카메라에 습득된 각막의 이미지 위치 ui들은 노이즈(noise)로 인해, 상기 모든 Wij는 다를지 모른다.
따라서, 랜덤 에러들을 감소시키기 위해, 아래에 기재된 수학식 8 및 평균벡터를 사용한 상기 수학식 4를 통해 βi를 계산한다.
[수학식 8]
Figure 112012052245948-pat00018
그러나, 에러 보정 단계에서 ui는 c, si 및 o에 의해 정의된 평면 Pi 상에서 더이상 길지 않다.
그런까닭으로, 에러 감소를 위해 Pi 평면 상에 ui를 투영할 수 있다.
이러한 평면 상에 노멀 벡터 ni는 하기의 수학식 9로 정의될 수 있으며,
[수학식 9]
Figure 112012052245948-pat00019
투영 수정된 이미지 위치
Figure 112012052245948-pat00020
는 아래에 기재된 수학식 10처럼 얻어질 수 있고, 상기 각막 반경 추정을 위해 사용되어진다.
[수학식 10]
Figure 112012052245948-pat00021

참고로, 상기 k는 카메라의 초점거리보다 굉장히 길기 때문에, ui가 조금만 변하더라도 k값에 큰 에러를 만들 있다.
이러한 에러를 보정하기 위해, wav와
Figure 112012052245948-pat00022
를 이용한다.
그 이유는, 보다 정확한
Figure 112012052245948-pat00023
값을 구해야, 보다 정확한 k, C를 도출할 수 있다.
따라서, 기울기 하강 반복 과정(gradient descent iteration)을 이용하여 cost function, f(r) 을 최소화시키는 과정을 통하여, 보다 정확한 k와 c를 구한다.
여기서, ui를 wav와 Si로 이루어진 평면으로 투영(projection) 시켜서
Figure 112012052245948-pat00024
를 구하도록 한다.
이렇게 하여 새로운, 보다 정확한
Figure 112012052245948-pat00025
를 구하였고, 보다 정확한 k와 c를 구할 수 있다.
본 발명에서 제안한 알고리즘의 수행이 타당하게 하기 위해, 도 1에 도시된 바와 같이, 복수 개의 광원들을 사용한다.
상기 카메라(640×480 pixels)는 스크린의 하부 중심에 위치한다. 물체와 카메라 사이의 거리는 760mm이며, 이때의 거리는 사용자의 머리 움직임의 허용된 범위 중간 위치와 대응되는 거리일 수 있다.
본 발명의 시스템의 변수들, 즉, 광원의 위치들, 카메라 초점 길이 및 카메라 중심의 위치는 초기 위상에서 측정되어지도록 요구할 수 있다.
먼저, 제안한 알고리즘에 기반한 측정된 각막 반경과 종래에 7.8mm의 각막 반경 값으로 알려진 종래의 알고리즘과 비교하였다.
실험에서, 최적화 변수들의 초기화 및 다른 광원 위치들은 선택될 수 있다.
종래의 알고리즘은 각막 중심 위치 및 각막 반경의 초기화값이 요구된다. 이러한 이유로, 초기 각막 중심은 카메라 중심과 사용자 사이의 거리의 함수로서 명백하게 표현될 수 있다.
두 개의 초기화 각막 반경 값 즉, 실제값 보다 8.97mm(15% 큰) 및 7.02mm(10% 작은)값은 반경 초기화값(rinit)로 나타낼 수 있거나 사용될 수 있다.
또한, 초기화 각막 반경은 수학식 8로부터 측정될 수 있으며, 본 발명에서 제안하는 방법 및 종래의 방법에서 같이 사용될 수 있다.
상기 결과는 테이블 1로 요약될 수 있다.
하기에 기재된 테이블 1은 다른 광원 위치점들 및 초기 변수를 갖는 측정된 각막 반경을 나타낸 표이다.
[테이블 1]
Figure 112012052245948-pat00026
두 개의 광원들 제1광원부 및 제2광원부는 유사한 βi 값을 가진다. 다른 βi 값을 갖는 광원부들, 예컨대, (제1광원부, 제4 광원부) 및 (제1 광원부, 제5 광원부)들의 위치에서, 본 발명의 알고리즘은 모든 거리 초기값을 이용하여 실제 각막 반경을 측정하도록 한다.
반면에, 종래의 알고리즘 결과들에 따르면, 각 거리 초기값 및 각막 반경값을 이용하게 되면, 실제 각막 반경과는 다른 결과를 도출하게 된다.
상기 각막 반경의 근소한 변화는 모니터 스크린 상에 위치하는 응시 지점 및 광학 축에 따라 발생되는 큰 에러 각으로 인한 발생된다.
이러한 이유로, 본 발명에서 제시된 βi 값들은 다르며, 본 발명의 알고리즘은 거리 초기값이 달라지지 않으며, 시선 추정 동안 사용자의 머리가 움직이더라도 허용될 수 있다.
이러한 이유로, 본 발명의 제4 광원부는 제1 광원부(LED 1), 제2 광원부(LED 2), 제5 광원부(LED 5) 및 제6 광원부(LED 6)와 다른 βi 값을 갖는다.
본 발명에서는 측정된 광학 축 및 실제 축 사이에서 각 에러를 계산한다. 상기 측정된 광학 축는 측정된 각막 중심 및 동공 중심으로부터 생성될 수 있으며,각막 반경으로부터 결정되어진다.
하기의 테이블 2를 참조하면, 에러 각의 평균 및 기준 편차는 100 개의 랜덤 노이즈 인자들로 요약될 수 있다.
[테이블 2]
Figure 112012052245948-pat00027
상기 테이블 2는 제1 내지 제3 실시 예에 따른 이미지 픽셀(예컨대, 0.1 ~ 0.5 픽셀들)에서 나타나는 노이즈 레벨인 에러 각을 나타낸 표이다.
여기서, 제1 실험 예(Exp-1)에서, 수학식 4의 βi 및 βj는 수학식 3의 Wij로부터 결정되어진다.
제2 실험 예(Exp-2)에서, βi는 수학식 9의 Wav를 사용함으로써 계산되어진다.
제3 실험 예(Exp-3)에서, 수학식 11의 투영-보정된
Figure 112012052245948-pat00028
을 이용한다.
따라서, 본원발명에서 실험한 예들의 결과를 통해 본 발명에서 제시한 알고리즘은 약 20%까지 에러 각을 줄일 수 있음을 확인할 수 있다.
본 발명에서는 상기 에러(eorr)를 더 줄일 수 있기 위해서, 각 실험에서 20개의 프레임들을 통해 평균 프레임 ui를 적용하였다. 20 개의 평균 프레임에 의해, 즉, 70Hz 프레임 비로 0.3초 동안, 기준 편차는
Figure 112012052245948-pat00029
이며, 0.5 픽셀 에러는 0.11 픽셀 에러와 동일하게 된다.
많은 실시 예를 통해서, 1°의 오차범위를 갖는 에러 각은 수용될 수 있다.
결론적으로, 각막 반경 추정 및 각막 중심 위치를 이용한 기하학적 광학에 기반한 본 발명의 알고리즘은 단순하며, 종래의 방법들 변수 초기값에 더욱 강건해짐을 알 수 있다.
이러한 이유로, 시선 추적 실험동안 사용자의 머리 움직이 허용되어지며, 효율적인 광원 위치들을 선택하기 위해 가이드라인을 제공하며, 더욱이 본 발명에서 제시한 투영-보정 방법은 노이즈 이미지 위치들로부터 응식각을 정확하게 개선할 수 있다.
본 발명에 의한, 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘은 본 발명의 기술적 사상의 범위 내에서 다양한 형태로 변형, 응용 가능하며 상기 실시예에 한정되지 않는다.
또한, 상기 실시 예와 도면은 발명의 내용을 상세히 설명하기 위한 목적일 뿐, 발명의 기술적 사상의 범위를 한정하고자 하는 목적은 아니며, 이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형, 및 변경이 가능하므로 상기 실시 예 및 첨부된 도면에 한정되는 것은 아님은 물론이며, 후술하는 청구범위뿐만이 아니라 청구범위와 균등 범위를 포함하여 판단되어야 한다.
100: 각막 반경 측정 장치 110: 광원부
120: 카메라 121: 제1 모듈
122: 제2 모듈 123: 연산부
130: 처리부

Claims (12)

  1. 주변 영역에 적외선 광원을 출력하는 복수 개의 광원부들을 구비한 스크린;
    상기 적외선 광원이 사용자 각막에 반사되어 반사 광원을 통해 상기 사용자 각막의 이미지를 수신하는 카메라; 및
    상기 카메라의 렌즈 내에 형성된 이미지를 처리하는 처리부;를 포함하며,
    상기 처리부는,
    제1광원부에서 출력된 광원이 상기 사용자 각막에 반사된 반사 광원에 따른 제1 이미지와 제2광원부에서 출력된 광원이 상기 사용자 각막에 반사된 반사 광원에 따른 제2 이미지를 수신하여, 이산 에러 보정이 프로그래밍된 각막 반경 추정 알고리즘을 통해 사용자의 각막 반경을 측정하는 기능을 수행하는 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치.
  2. 청구항 2은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 광원부는,
    적외선 LED 소자인 것을 특징으로 하는 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치.
  3. 제1항에 있어서,
    상기 처리부는,
    상기 광원부들 중 어느 하나에서 출력된 제1 적외선 광원과 상기 사용자 각막에 반사되어 상기 카메라로 습득되는 반사 광원에 따른 제1 이미지를 처리하여 상태 값을 처리하는 제1 모듈;
    상기 광원부들 중 어느 하나에서 출력된 제2 적외선 광원과 상기 사용자 각막에 반사되어 상기 카메라로 습득되는 반사 광원에 따른 제2 이미지를 처리하여 상태 값을 처리하는 제2 모듈; 및
    상기 제1모듈 및 상기 제2모듈 각각에서 추정된 상태값들의 이산 에러를 보정한 후, 사용자 각막의 반경을 추정하는 연산부를 포함하는 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치.
  4. 제3항에 있어서,
    상기 연산부는,
    상기 제1 내지 제2 모듈로부터 제공되는 상기 상태값을 수신하여 상태값인 카메라 중심 위치 O, 각막 중심 위치 C, 광원부 S 및 각막 반사 위치 hi를 설정한 후, 각각의 거리값을 처리하는 제1단계;
    상기 카메라를 기점으로 상기 각막 중심 위치와 상기 광원부 사이각 αi 및 상기 각막 중심 위치와 상기 각막 반사위치 hi의 사이각 βi를 설정하는 제2단계;
    각막 반경 r과 각막 중심 위치 C 로부터 카메라 중심 위치 O 사이의 거리 k, 광원부와 상기 카메라 중심 위치 사이의 거리 di를 이용하여 세 개의 위치점 o, Si 및 ui를 갖는 두 개의 평면 좌표를 도출하는 제3단계;
    상기 두 개의 평면 좌표 각각의 ui를 Wav 및 Si로 이루어진 평면으로 프로젝션(projection)시켜 보정된
    Figure 112012052245948-pat00030
    를 도출하는 제4단계; 및
    상기
    Figure 112012052245948-pat00031
    를 이용하여 카메라 중심 위치 O부터 각막 중심점과 각막 반사 위치의 사이각 βi를 결정한 후, 각막 반경 r의 최적의 추정값을 도출하여 각막 중심점과 카메라 중심점까지의 거리 k 값 및 각막 중심 위치 c를 도출하여, 각막 반경 r을 추출하는 제5단계;
    로 구동하는 것을 특징으로 하는 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치.
  5. 위치가 서로 다른 2개의 적외선 광원에 반사된 각각의 사용자 각막의 이미지를 카메라에서 수신하는 이미지 획득 단계; 및
    상기 이미지를 통해 사용자 각막 반경을 추정하는 추정 단계를 포함하며,
    상기 추정 단계는,
    변수값인 카메라 중심 위치 O, 각막 중심 위치 C, 광원부 S 및 각막 반사 위치 hi를 설정한 후, 각각의 거리값을 설정하는 제1단계;
    상기 카메라를 기점으로 상기 각막 중심 위치와 상기 광원부 사이각 αi 및 상기 각막 중심 위치와 상기 각막 반사위치 hi의 사이각 βi를 설정하는 제2단계;
    각막 반경 r과 각막 중심 위치 C 로부터 카메라 중심 위치 O 사이의 거리 k, 광원부와 상기 카메라 중심 위치 사이의 거리 di를 이용하여 세 개의 위치점 o, Si 및 ui를 갖는 두 개의 평면 좌표를 정의하는 제3단계;
    상기 두 개의 평면 좌표 각각의 ui를 Wav 및 Si로 이루어진 평면으로 프로젝션(projection)시켜 보정된
    Figure 112013077030410-pat00032
    를 정의하는 제4단계; 및
    상기
    Figure 112013077030410-pat00033
    를 이용하여 카메라 중심 위치 O부터 각막 중심점과 각막 반사 위치의 사이각 βi를 결정한 후, 각막 반경 r의 최적의 추정값을 도출하여 각막 중심점과 카메라 중심점까지의 거리 k 값 및 각막 중심 위치 c를 도출하여, 각막 반경 r을 추출하는 제5단계;
    를 포함하는 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 측정 방법.
  6. 삭제
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    제5항에 있어서,
    제1단계는,
    상기 각막 반경 r과 거리 k, di 사이 관계를 아래에 기재된 수학식 1 및 수학식 2로 나타낸 후, o, si 및 ui를 통해서, di 및 αi의 값들은 결정하는 단계인 것을 특징으로 하는 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 측정 방법:
    [수학식 1]
    Figure 112013082274821-pat00034

    [수학식 2]
    Figure 112013082274821-pat00035
    .
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제5항에 있어서,
    상기 제3단계는,
    위치가 다른 두 개에 광원부로부터 추정된 두 개의 평면 좌표를 아래에 기재된 수학식 3에 따른 단위 벡터로 나타내는 단계인 것을 특징으로 하는 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 측정 방법:
    [수학식 3]
    Figure 112013082274821-pat00036

    여기서, c 및 wij는 동일 또는 반대 방향 내에 존재한다.
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제5항에 있어서,
    상기 제4단계에 있어서,
    상기
    Figure 112013082274821-pat00051
    는 하기 수학식 9 및 수학식 10에 의해 정의되는 것을 특징으로 하는 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 측정방법:
    [수학식 9]
    Figure 112013082274821-pat00052

    [수학식 10]
    Figure 112013082274821-pat00053
    .
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제5항에 있어서,
    제5단계는,
    아래에 기재된 수학식 4의 비용함수를 통해 각막 반경의 최소값을 도출하며, 수학식 6을 이용하여 변수 r이 최적화시켜 상기 각막 반경 r에 관한 비용함수의 도함수를 도출하는 단계를 포함하는 것을 특징으로 하는 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 측정 방법:
    [수학식 4]
    Figure 112013082274821-pat00040

    여기서, θi(r)는 di, αi, βi가 적용된 수학식 2의 역함수이고;
    [수학식 6]
    Figure 112013082274821-pat00041

    이때,
    Figure 112013082274821-pat00042
    이다.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제9항에 있어서,
    상기 제5단계는,
    하기 수학식 5을 통해 상기 θi(r) 값들의 비용 함수가 최소화되도록 수렴시킨 후, 아래에 기재된 수학식 7을 이용하여 각막 반경 r의 초기값을 도출하는 단계을 포함하는 것을 특징으로 하는 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 측정 방법:
    [수학식 5]
    Figure 112013082274821-pat00054

    [수학식 7]
    Figure 112013082274821-pat00043
    .
  12. 위치가 서로 다른 2개의 적외선 광원에 반사된 각각의 사용자 각막의 이미지를 카메라에서 수신하는 이미지 획득 단계; 및
    상기 이미지를 통해 사용자 각막 반경을 추정하는 추정 단계를 포함하며,
    상기 추정 단계는,
    제1광원부에서 출력된 광원이 상기 사용자 각막에 반사된 반사 광원에 따른 제1 이미지와 제2광원부에서 출력된 광원이 상기 사용자 각막에 반사된 반사 광원에 따른 제2 이미지를 수신하여, 이산 에러 보정이 프로그래밍된 각막 반경 추정 알고리즘을 통해 사용자의 각막 반경을 측정하는 기능을 수행하는 단계를 포함하는 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 측정 방법.
KR1020120070926A 2012-06-29 2012-06-29 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치 및 방법 KR101348903B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120070926A KR101348903B1 (ko) 2012-06-29 2012-06-29 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120070926A KR101348903B1 (ko) 2012-06-29 2012-06-29 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101348903B1 true KR101348903B1 (ko) 2014-01-07

Family

ID=50144899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120070926A KR101348903B1 (ko) 2012-06-29 2012-06-29 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101348903B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696800B2 (en) 2014-11-06 2017-07-04 Hyundai Motor Company Menu selection apparatus using gaze tracking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009530731A (ja) 2006-03-23 2009-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像操作の眼球追跡制御のためのホットスポット
JP2011090702A (ja) * 2006-07-18 2011-05-06 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
KR20120043980A (ko) * 2010-10-27 2012-05-07 동국대학교 산학협력단 시선 추적 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009530731A (ja) 2006-03-23 2009-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像操作の眼球追跡制御のためのホットスポット
JP2011090702A (ja) * 2006-07-18 2011-05-06 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
KR20120043980A (ko) * 2010-10-27 2012-05-07 동국대학교 산학협력단 시선 추적 시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696800B2 (en) 2014-11-06 2017-07-04 Hyundai Motor Company Menu selection apparatus using gaze tracking

Similar Documents

Publication Publication Date Title
US10878237B2 (en) Systems and methods for performing eye gaze tracking
JP6248208B2 (ja) 視線方向を決定するための３ｄ画像分析装置
CN107111753B (zh) 用于注视跟踪模型的注视检测偏移
US9864430B2 (en) Gaze tracking via eye gaze model
CN107004275B (zh) 确定实物至少一部分的3d重构件空间坐标的方法和***
KR102334139B1 (ko) 적응적 호모그래피 매핑에 기초한 눈 시선 추적
CN103870796B (zh) 一种人眼视线估计的方法与装置
CN108960045A (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
KR20170065573A (ko) 눈 추적 시스템들을 위한 개선된 교정
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
US20140313308A1 (en) Apparatus and method for tracking gaze based on camera array
US20220100268A1 (en) Eye tracking device and a method thereof
CN110276239B (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
Ferhat et al. A cheap portable eye-tracker solution for common setups
Perra et al. Adaptive eye-camera calibration for head-worn devices
US11054659B2 (en) Head mounted display apparatus and distance measurement device thereof
KR101348903B1 (ko) 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치 및 방법
Li et al. Two-phase approach—Calibration and iris contour estimation—For gaze tracking of head-mounted eye camera
CN112528714B (zh) 基于单光源的注视点估计方法、***、处理器及设备
Carapencea et al. Real-time gaze tracking with a single camera
Park Real-time gaze detection via neural network
Ackland et al. An investigation into determining head pose for gaze estimation on unmodified mobile devices
CN112528713A (zh) 一种注视点估计方法、***、处理器及设备
Oyini Mbouna Illumination Independent Head Pose and Pupil Center Estimation for Gaze Computation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 6