KR102463172B1 - 동공 거리 결정 방법 및 장치 - Google Patents

동공 거리 결정 방법 및 장치 Download PDF

Info

Publication number
KR102463172B1
KR102463172B1 KR1020160002405A KR20160002405A KR102463172B1 KR 102463172 B1 KR102463172 B1 KR 102463172B1 KR 1020160002405 A KR1020160002405 A KR 1020160002405A KR 20160002405 A KR20160002405 A KR 20160002405A KR 102463172 B1 KR102463172 B1 KR 102463172B1
Authority
KR
South Korea
Prior art keywords
pupil distance
image
pattern
determining
user
Prior art date
Application number
KR1020160002405A
Other languages
English (en)
Other versions
KR20170083225A (ko
Inventor
황효석
장현성
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160002405A priority Critical patent/KR102463172B1/ko
Priority to US15/386,899 priority patent/US10453210B2/en
Publication of KR20170083225A publication Critical patent/KR20170083225A/ko
Application granted granted Critical
Publication of KR102463172B1 publication Critical patent/KR102463172B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Software Systems (AREA)

Abstract

동공 거리를 결정하기 위한 방법 및 장치가 제공된다. 동공 거리 결정 방법 및 장치는 미리 정해진 패턴이 출력된 디스플레이를 주시하는 사용자의 이미지를 분석하여 사용자의 동공 거리를 결정할 수 있다. 이미지는 동공 거리 결정 장치에 의해 촬영되거나 또는 외부의 단말로부터 수신될 수 있다.

Description

동공 거리 결정 방법 및 장치{METHOD AND APPARATUS FOR DETERMINING INTER-PUPILARY DISTANCE}
아래의 실시예들은 동공 거리를 결정하기 위한 방법 및 장치에 관한 것으로, 보다 상세하게는 사용자를 촬영한 이미지를 분석하여 동공 거리를 결정하는 방법 및 장치에 관한 것이다.
동공 거리(Inter-Pupilary Distance; IPD)는 사람의 양쪽 동공들 간의 거리를 의미한다. 동공 거리는 안과에서 눈에 관한 시술을 하기 위해 미리 측정되었다. 동공 거리를 측정하기 위해 자(ruler)와 같은 측정 장치가 이용될 수 있다. 측정 장치를 이용하는 경우, 장치의 사용자에 따라 동공 거리가 다르게 측정될 수 있다.
최근에는 3차원 이미지를 디스플레이하는 기술 분야가 증가하면서, 사용자에게 3차원 이미지를 효과적으로 전달하기 위한 방법이 연구되고 있다. 3차원 이미지가 효과적으로 전달되기 위해서는, 사용자의 좌안 및 우안에 각각의 이미지가 제공되어야 한다. 광학 장치의 축과 사용자 시선의 축이 일치하지 않는 경우 사용자는 어지러움을 느낄 수 있다.
일 측면에 따른, 동공 거리 결정 방법은, 장치의 디스플레이에 미리 정해진 패턴을 출력하는 단계, 상기 디스플레이를 주시하는 사용자를 촬영한 이미지를 생성하는 단계, 및 상기 이미지를 분석하여 상기 사용자의 동공 거리(Inter-Pupilary Distance; IPD) 를 결정하는 단계를 포함한다.
상기 패턴은 배경 및 상기 배경의 색과 상이한 하나 이상의 전경들을 포함할 수 있다.
상기 하나 이상의 전경들은 사각형의 형태 및 원의 형태 중 적어도 하나의 형태일 수 있다.
상기 패턴은 2차원 패턴 및 3 차원 패턴 중 적어도 하나를 포함할 수 있다.
상기 사용자의 동공 거리를 결정하는 단계는, 상기 이미지 내에서 상기 동공들을 검출하는 단계, 상기 이미지 내에서 상기 동공들 주위의 반사 패턴을 검출하는 단계, 및 상기 반사 패턴에 기반하여 상기 동공 거리를 결정하는 단계를 포함할 수 있다.
상기 반사 패턴에 기반하여 상기 동공 거리를 결정하는 단계는, 상기 검출된 동공들의 위치 및 상기 반사 패턴의 위치에 기반하여 상기 디스플레이 및 상기 사용자의 안구(eye ball)들의 기하학적 모델을 모델링하는 단계를 포함할 수 있다.
상기 안구들 각각의 원주(circumference)는 각막(cornea)의 곡률에 기반하여 생성될 수 있다.
상기 모델을 모델링하는 단계는, 상기 이미지를 생성한 카메라의 내부 파라미터에 기반하여 상기 모델을 모델링하는 단계일 수 있다.
상기 반사 패턴에 기반하여 상기 동공 거리를 결정하는 단계는, 상기 반사 패턴의 3차원 위치를 결정하는 단계, 상기 결정된 반사 패턴의 3차원 위치에 기반하여 상기 디스플레이 상에 예측 패턴 위치를 결정하는 단계, 및 상기 예측 패턴 위치 및 상기 패턴의 위치에 기반하여 상기 동공 거리를 결정하는 단계를 포함할 수 있다.
상기 장치는 3차원 시점 추적형 디스플레이 장치이고, 상기 동공 거리 결정 방법은 상기 결정된 동공 거리에 기반하여 상기 동공들 각각의 시점에 대한 입체 이미지를 생성하는 단계, 상기 사용자를 촬영하여 검증 이미지를 생성하는 단계, 및 상기 검증 이미지를 이용하여 상기 사용자의 눈에서 반사된 이미지를 분석하여 상기 동공 거리의 정당성(integrity)을 검증하는 단계를 더 포함할 수 있다.
상기 동공 거리의 정당성(integrity)을 검증하는 단계는, 상기 입체 이미지가 좌측 이미지 및 우측 이미지로 분리되는지 여부를 판단하는 단계를 포함할 수 있다.
다른 일 측면에 따른, 동공 거리 결정 방법은, 단말의 디스플레이에 출력된 미리 정해진 패턴을 주시하는 사용자를 촬영한 이미지를 저장하는 메모리, 및 상기 이미지를 분석하여 상기 사용자의 동공 거리(Inter-Pupilary Distance: IPD)를 결정하는 프로세서를 포함하고, 상기 이미지는 상기 디스플레이에 출력된 미리 정해진 패턴을 주시하는 상기 사용자의 이미지이다.
또 다른 일 측면에 따른, 동공 거리 결정 장치는, 단말의 디스플레이에 출력된 미리 정해진 패턴을 주시하는 사용자를 촬영한 이미지를 저장하는 메모리, 및 상기 이미지를 분석하여 상기 사용자의 동공 거리(Inter-Pupilary Distance: IPD)를 결정하는 프로세서를 포함하고, 상기 이미지는 상기 디스플레이에 출력된 미리 정해진 패턴을 주시하는 상기 사용자의 이미지이다.
상기 패턴은 배경 및 상기 배경의 색과 상이한 하나 이상의 전경들을 포함할 수 있다.
상기 프로세서는, 상기 이미지 내에서 상기 동공들을 검출하고, 상기 이미지 내에서 상기 동공들 주위의 반사 패턴을 검출하고, 상기 반사 패턴에 기반하여 상기 동공 거리를 결정할 수 있다.
상기 프로세서는, 상기 반사 패턴의 3차원 위치를 결정하고, 상기 결정된 반사 패턴의 3차원 위치에 기반하여 상기 디스플레이 상에 예측 패턴 위치를 결정하고, 상기 예측 패턴 위치 및 상기 패턴의 위치에 기반하여 상기 동공 거리를 결정할 수 있다.
도 1은 일 예에 따른 3차원 디스플레이에서 이용되는 동공 거리를 도시한다.
도 2는 일 실시예에 따른 동공 거리 결정 장치의 구성도이다.
도 3은 일 실시예에 따른 동공 거리 결정 방법의 흐름도이다.
도 4는 일 예에 따른 미리 정해진 패턴을 도시한다.
도 5는 일 예에 따른 이미지를 분석하여 동공 거리를 결정하는 방법의 흐름도이다.
도 6은 일 예에 따른 검출된 동공 및 반사 패턴을 도시한다.
도 7은 일 예에 따른 디스플레이 및 안구들의 기하학적 모델을 도시한다.
도 8은 일 예에 따른 구면체 반사를 기하학적으로 도시한다.
도 9은 일 예에 따른 기하학적 모델에 기반하여 계산되는 동공 거리를 도시한다.
도 10은 일 예에 따른 반사 패턴에 기반하여 동공 거리를 결정하는 방법의 흐름도이다.
도 11은 일 예에 따른 동공 거리의 정당성을 검증하는 방법의 흐름도이다.
도 12는 일 예에 따른 검증 이미지를 도시한다.
도 13은 다른 일 실시예에 따른 동공 거리 결정 방법의 흐름도이다.
도 14는 일 실시예에 따른 3차원 이미지 렌더링 방법의 흐름도이다.
도 15는 다른 일 실시예 따른 3차원 이미지 렌더링 방법의 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 예에 따른 3차원 디스플레이에서 이용되는 동공 거리를 도시한다.
일 측면에 있어서, 3차원 이미지 제공 방법은 좌측 이미지 및 우측 이미지를 렌더링하여 하나의 3차원 이미지를 생성할 수 있다. 디스플레이(110)는 물리적인 구성을 통해 사용자의 좌안(left eye)(130)에는 좌측 이미지를 제공하고, 우안(right eye)(120)에는 우측의 이미지를 제공할 수 있다. 상기의 물리적인 구성은 렌티큘러 렌즈(lenticular lens) 또는 배리어(barrier)일 수 있다.
사용자에게 3차원 영상이 적절하게 제공되기 위해서는 사용자의 위치가 정확하게 검출되어야 하고, 사용자의 좌안(130) 및 우안(120) 간의 거리가 정확하게 측정되어야할 수 있다. 더욱 구체적으로, 좌안(130)의 동공(Pupil) 및 우안(120)의 동공 간의 거리(140)가 측정되어야 한다. 좌안(130)의 동공(Pupil) 및 우안(120)의 동공 간의 거리(140)는 동공 거리(Inter-Pupilary Distance; IPD)(140)로 명명된다.
다른 일 측면에 있어서, 의료용의 목적으로 정확한 동공 거리가 요구될 수 있다.
동공 거리를 결정하는 방법에 대해, 아래에서 도 2 내지 도 13을 참조하여 상세히 설명된다.
도 2는 일 실시예에 따른 동공 거리 결정 장치의 구성도이다.
동공 거리 결정 장치(200)는 카메라(210), 디스플레이(220), 프로세서(230) 및 메모리(240)을 포함할 수 있다.
카메라(210)는 사용자를 촬영하여 이미지를 생성할 수 있다. 예를 들어, 카메라(210)는 장치(200) 주위에 위치한 사용자를 촬영할 수 있다. 디스플레이(220)는 이미지를 출력할 수 있다. 프로세서(230)는 카메라가 촬영한 이미지를 처리하거나, 메모리(240)에 저장된 데이터를 처리할 수 있다. 메모리(240)는 카메라(210)가 촬영한 이미지 및 프로세서(230)가 처리한 데이터를 저장한다.
일 실시예에 따르면, 장치(200)는 통신부를 포함할 수 있다. 통신부는 외부의 장치로부터 전송된 데이터를 수신하고, 장치(200)에서 처리된 데이터를 외부의 장치로 전송할 수 있다.
카메라(210), 디스플레이(220), 프로세서(230) 및 메모리(240)에 대해, 아래에서 도 3 내지 도 13를 참조하여 상세히 설명된다.
도 3은 일 실시예에 따른 동공 거리 결정 방법의 흐름도이다.
단계(310)에서, 패턴이 출력될 수 있다. 예를 들어, 프로세서(230)는 디스플레이(220)를 이용하여 패턴을 출력할 수 있다. 디스플레이(220)는 스마트폰, 태블릿, 모니터 및 텔레비전 중 어느 하나일 수 있다. 또한, 디스플레이(220)는 광을 출력하는 특정한 방법으로 한정되지 않는다.
출력되는 패턴은 미리 정해진 것일 수 있다. 예를 들어, 패턴은 배경 및 배경의 색과 상이한 하나 이상의 전경들을 포함할 수 있다. 하나 이상의 전경들은 사각형의 형태 및 원의 형태 중 적어도 하나의 형태일 수 있다. 이하에서, 전경은 특징점으로 명명될 수 있다.
다른 예로, 패턴은 2차원 패턴 및 3 차원 패턴 중 적어도 하나를 포함할 수 있다. 3차원 패턴은 좌안 및 우안에 대해 각각의 스테레오스코픽 이미지가 제공되는 패턴일 수 있다. 예를 들어, 3차원 패턴은 좌안에는 왼쪽이라는 텍스트가 제공되고, 우안에는 오른쪽이라는 텍스트가 제공되는 패턴일 수 있다.
이 후의 단계들에서, 패턴은 눈에 의해 반사되는 반사 패턴을 유발하고, 각각의 반사 패턴이 검출되어야 하므로, 패턴은 패턴 내의 특징점들이 서로 구분이 잘되도록 구성될 수 있다.
사용자는 디스플레이(220)를 주시하고, 시선을 고정한다. 사용자가 디스플레이(220)를 주시하고 있으므로, 디스플레이(220)의 패턴이 사용자의 눈에 의해 반사될 수 있다. 예를 들어, 사용자는 단계(310)가 수행되기 전에 디스플레이(220)를 주시할 수 있다. 다른 예로, 사용자는 단계(310)가 수행된 후에 패턴이 출력된 디스플레이(220)를 주시할 수 있다.
단계(320)에서, 디스플레이(220)를 주시하는 사용자를 촬영한 이미지가 생성될 수 있다. 예를 들어, 카메라(210)는 사용자를 촬영하여 이미지를 생성할 수 있다. 예를 들어, 카메라(210)는 장치(200)의 내장 카메라일 수 있다. 다른 예로, 카메라(210)는 장치(200)와는 별개인, 외부 장치일 수 있다.
단계(330)에서, 이미지를 분석하여 사용자의 동공 거리가 결정될 수 있다. 예를 들어, 이미지를 분석하여 사용자의 동공들이 검출되고, 동공들 주위에서 디스플레이(220)에서 출력된 패턴이 반사된 반사 패턴이 검출될 수 있다. 반사 패턴의 위치에 기반하여 디스플레이(220) 및 사용자의 안구(eye ball)들의 기하학적 모델이 생성되고, 기하학적 모델에 기반하여 동공 거리가 계산될 수 있다. 단계(330)는 프로세서(230)에 의해 수행될 수 있다.
기하학적 모델에 기반하여 동공 거리가 계산되는 방법이, 아래에서 도 5 내지 도 10을 참조하여 상세히 설명된다.
도 4는 일 예에 따른 미리 정해진 패턴을 도시한다.
일 측면에 따르면, 패턴(410)은 복수의 특징점들을 포함할 수 있다. 복수의 특징점들(420 및 430)은 원, 삼각형 및 사각형과 같은 도형들, 및 기호를 포함할 수 있다. 복수의 특징점들이 사용자의 눈에 의해 반사되고, 반사 패턴이 나타나는 위치에 기반하여 디스플레이(220) 및 사용자의 안구들의 기하학적 모델이 생성될 수 있다.
복수의 특징점들의 개수가 많아질수록 결정되는 동공 거리가 정확해질 수 있으나, 데이터의 연산량이 많아질 수 있다. 즉, 특징점들의 개수에 따른 데이터 연산량 및 동공 거리의 정확도는 트레이드 오프(trade off)의 관계일 수 있다.
도 5는 일 예에 따른 이미지를 분석하여 동공 거리를 결정하는 방법의 흐름도이다.
도 3을 참조하여 전술된 단계(330)는 아래의 단계들(510 내지 530)을 포함할 수 있다. 설명의 편의를 위해, 이하에서는 한쪽 눈에 대해서만 기술되나, 양쪽 눈들에 대해 기술된 내용이 동일하게 적용될 수 있다.
단계(510)에서, 이미지 내에서 동공들을 검출할 수 있다. 예를 들어, 동공의 중심 좌표가 검출될 수 있다. 동공의 중심 좌표는 검출된 동공의 영역의 중심이 중심 좌표로 결정될 수 있다.
단계(520)에서, 동공 주위의 반사 패턴이 검출될 수 있다. 반사 패턴이 검출된 경우, 반사 패턴의 좌표가 획득될 수 있다. 패턴의 특징점들이 복수인 경우, 검출되는 반사 패턴은 복수일 수 있다.
단계(530)에서, 검출된 반사 패턴에 기반하여 동공 거리가 결정될 수 있다. 검출된 동공들의 위치 및 반사 패턴의 위치에 기반하여 디스플레이(220) 및 사용자의 안구들의 기하학적 모델이 모델링될 수 있다. 카메라(210)의 내부 파라미터에 기반하여 기하학적 모델이 모델링될 수 있다.
기하학적 모델을 통해 모델 내의 특정 위치들 간의 상호 관계가 결정될 수 있다. 상기의 상호 관계가 결정됨으로써 동공 거리가 결정될 수 있다. 기하학적 모델에 기반하여 동공 거리를 결정하는 방법이, 아래에서 도 7 내지 9를 참조하여 상세히 설명된다.
도 6은 일 예에 따른 검출된 동공 및 반사 패턴을 도시한다.
사용자를 촬영한 이미지(600) 내에서, 사용자의 동공들이 검출될 수 있다. 검출된 동공들의 중심 좌표(cR im 및 cL im)가 결정될 수 있다. cR im는 오른쪽 동공의 중심 좌표이고, cL im는 왼쪽 동공의 중심 좌표이다.
동공 주위의 반사 패턴이 검출될 수 있다. 동공 주위는 각막(cornea)일 수 있다. 패턴의 특징점들이 복수 개인 경우, 검출되는 반사 패턴도 복수 개일 수 있다. 예를 들어, 특징점들이 두 개인 경우, 왼쪽 동공 주위에서 반사 패턴들의 위치(qL 1 및 qL 2)가 검출될 수 있고, 오른쪽 동공 주위에서 반사 패턴들의 위치(qR 1 및 qR 2)가 검출될 수 있다.
검출된 동공들의 중심 좌표(cR im 및 cL im) 및 반사 패턴들의 위치(qL 1, qL 2, qR 1 및 qR 2)에 기반하여, 도 7과 같은 기하학적 모델이 생성될 수 있다.
도 7은 일 예에 따른 디스플레이 및 안구들의 기하학적 모델을 도시한다.
모델(700)의 P1 및 P2는 패턴의 특징점들의 3차원 좌표를 의미하고, 카메라 좌표(O)는 카메라(210)의 3차원 좌표를 의미할 수 있다. 카메라 좌표(O)는 3차원 좌표계의 원점일 수 있다. 특징점들의 3차원 좌표 및 카메라 좌표(O)는 미리 획득될 수 있다.
모델(700)에서 원은 안구를 나타내고, 안구의 원주(circumference)는 각막의 곡률에 기반하여 생성될 수 있다. 즉, 안구는 안구 중심의 좌표(Cx)을 기준으로 rx의 반지름을 가질 수 있고, 광학적으로 구면 반사체로 간주된다. 안구 중심의 좌표(Cx)는 동공의 중심 좌표(cx im)에 대응할 수 있다. x는 왼쪽(L), 또는 오른쪽(R)을 의미할 수 있다.
검출된 동공의 중심 좌표(cx im) 및 카메라(210)의 내부 파라미터(intrinsic parameter)에 기반하여, 카메라(210)의 위치로부터 안구 중심 좌표(Cx)로의 단위 벡터(wx)가 계산될 수 있다. 카메라(210)의 내부 파라미터는 초점 거리(focal length), 주점(principle point) 및 광학 수차(optical aberration) 등을 포함할 수 있다.
카메라(210)의 위치로부터 안구 중심 좌표(Cx)로의 단위 벡터(wx)는 아래의 [수학식 1]을 이용하여 계산된다. 단위 벡터(wx)는 검출한 동공의 중심 좌표(cx im)를 역 투영한(back propagation) 광선의 단위 벡터일 수 있다.
Figure 112016001983440-pat00001
검출된 반사 패턴의 위치(qx n) 및 카메라(210)의 내부 파라미터에 기반하여, 카메라(210)의 위치로부터 반사 패턴의 좌표(Qx n)로의 단위 벡터(ux n)가 계산될 수 있다. 반사 패턴의 좌표(Qx n)는 3차원 좌표일 수 있다. 카메라(210)의 위치로부터 반사 패턴의 좌표(Qx n)로의 단위 벡터(ux n)는 아래의 [수학식 2]를 이용하여 계산된다. 단위 벡터(ux n)는 반사 패턴의 좌표(Qx n)를 역 투영한 광선의 단위 벡터일 수 있다. 검출된 반사 패턴의 개수가 N개인 경우, 복수의 단위 벡터(ux n)들이 계산될 수 있다. N은 자연수이고, n은 1 내지 N 내의 수이다.
Figure 112016001983440-pat00002
반사 패턴의 좌표(Qx n)는 단위 벡터(ux n)에 스칼라 값(ξx n)을 곱한 것일 수 있으며, 반사 패턴의 좌표(Qx n)는 아래의 [수학식 3]을 이용하여 계산될 수 있다. ξx n는 카메라 좌표(O)로부터 반사 패턴의 좌표(Qx n)까지의 거리이다.
Figure 112016001983440-pat00003
안구 중심 좌표(Cx)는 단위 벡터(wx)에 스칼라 값(dx)을 곱한 것일 수 있으며, 안구 중심 좌표(Cx)는 아래의 [수학식 4]를 이용하여 계산될 수 있다.
Figure 112016001983440-pat00004
안구의 반지름(rx)은 안구 중심 좌표(Cx) 및 반사 패턴의 좌표(Qx n) 간의 거리와 동일하다. 안구의 반지름(rx)은 아래의 [수학식 5]를 이용하여 계산될 수 있다.
Figure 112016001983440-pat00005
[수학식 4] 및 [수학식 5]를 이용하여 카메라 좌표(O)로부터 반사 패턴의 좌표(Qx n)까지의 거리(ξx n)는 아래의 [수학식 6]을 이용하여 계산될 수 있다.
Figure 112016001983440-pat00006
[수학식 6]에 기반하여, 반사 패턴의 좌표(Qx n)는 아래의 [수학식 7]을 이용하여 계산될 수 있다.
Figure 112016001983440-pat00007
패턴의 특징점(Pn)으로부터 나온 광선이 카메라 좌표(O)로 향하기 위해서는, 반사 패턴의 좌표(Qx n)에서 반사되어야 한다. 안구는 원으로 설정되었으므로, 패턴의 특징점(Pn)으로부터 나온 광선은 반사 패턴의 좌표(Qx n)에서의 접선에 대해 반사된다. 패턴의 특징점(Pn), 반사 패턴의 좌표(Qx n) 및 카메라 좌표(O) 간의 구체적인 모델이 아래의 도 8을 참조하여 상세히 설명된다.
도 8은 일 예에 따른 구면체 반사를 기하학적으로 도시한다.
패턴의 특징점(Pn), 반사 패턴의 좌표(Qx n) 및 카메라 좌표(O) 간의 기하학적 관계는 구면체 반사의 관계이다. 반사 패턴의 좌표(Qx n)에 대한 법선 벡터(normal vector)(nx n)는 아래의 [수학식 8]로 정의된다.
Figure 112016001983440-pat00008
단위 벡터(ux n) 및 법선 벡터(nx n)를 통해 반사 패턴의 좌표(Qx n)에서 특징점(Pn)으로 향하는 단위 벡터(vx n)는 아래의 [수학식 9]를 통해 계산될 수 있다. I는 대각선 행렬(diagonal matrix)일 수 있다.
Figure 112016001983440-pat00009
특징점(Pn)의 좌표는 아래의 [수학식 11]을 이용하여 계산될 수 있다. τx n은 특징점(Pn) 및 반사 패턴의 좌표(Qx n) 간의 거리일 수 있다. 초기의 τx n 값은 임의로 설정될 수 있으며, τx n 값은 아래의 [수학식 11]을 만족하도록 조정될 수 있다.
Figure 112016001983440-pat00010
모델(700)의 모든 값을 획득하기 위해서, 스칼라 값(dx) 및 안구의 반지름(rx)이 결정되어야 한다. [수학식 4] 내지 [수학식 10]을 통해 계산되는 특징점들의 좌표가
Figure 112016001983440-pat00011
이고, 특징점들의 실제 위치가
Figure 112016001983440-pat00012
인 경우 계산되는 특징점들의 좌표 및 특징점들의 실제 위치 간의 차이가 가장 작도록 스칼라 값(dx)이 결정될 수 있다. 계산되는 특징점들의 좌표는 예측 패턴 위치일 수 있다.
안구의 반지름(rx)이 미리 설정되는 경우, 스칼라 값(dx)만이 미지수일 수 있다. 예를 들어, 안구의 반지름(rx)은 사람들의 안구의 반지름의 평균 값으로 설정할 수 있다. 스칼라 값(dx) 및 안구의 반지름(rx)은 아래의 [수학식 11]을 이용하여 계산될 수 있다.
Figure 112016001983440-pat00013
동공의 3차원 좌표(Lx)는 카메라 원점(O)에서 안구 중심의 좌표(Cx)로 향하는 광선이 안구와 만나는 지점일 수 있다. 동공의 3차원 좌표는 아래의 [수학식 12]를 이용하여 계산될 수 있다.
Figure 112016001983440-pat00014
왼쪽 동공의 3차원 좌표(LL) 및 오른쪽 동공의 3차원 좌표(LR)가 계산되는 경우, 모델(700)은 도 9의 모델(900)로 단순화될 수 있다.
도 9은 일 예에 따른 기하학적 모델에 기반하여 계산되는 동공 거리를 도시한다.
왼쪽 동공의 3차원 좌표(LL) 및 오른쪽 동공의 3차원 좌표(LR)에 기반하여 동공 거리가 아래의 [수학식 13]을 이용하여 계산될 수 있다.
Figure 112016001983440-pat00015
얼굴의 법선 벡터(nface)는 아래의 [수학식 14]를 이용하여 계산될 수 있다.
Figure 112016001983440-pat00016
도 10은 일 예에 따른 반사 패턴에 기반하여 동공 거리를 결정하는 방법의 흐름도이다.
도 5를 참조하여 전술된 단계(530)는 아래의 단계들(1010 내지 1030)을 포함할 수 있다.
단계(1010)에서, 반사 패턴의 3차원 위치가 결정될 수 있다. 3차원 위치는 모델(700)에 대한 3차원 좌표일 수 있다.
단계(1020)에서, 반사 패턴의 3차원 위치에 기반하여 예측 패턴의 위치가 결정될 수 있다. 예측 패턴의 위치는 전술된 [수학식 4] 내지 [수학식 10]을 통해 계산되는 특징점들의 좌표
Figure 112016001983440-pat00017
일 수 있다.
단계(1030)에서, 예측 패턴 위치 및 패턴 위치에 기반하여 동공 거리가 결정될 수 있다. 패턴 위치는 특징점들의 실제 위치
Figure 112016001983440-pat00018
일 수 있다. 예를 들어, 예측 패턴 위치 및 패턴 위치 간의 차이가 가장 작게 되도록 동공 거리가 결정될 수 있다.
도 11은 일 예에 따른 동공 거리의 정당성을 검증하는 방법의 흐름도이다.
일 측면에 따르면, 장치(200)는 3차원 시점 추적형 디스플레이 장치일 수 있다. 장치(200)가 3차원 시점 추적형 디스플레이 장치인 경우, 동공 거리 결정 방법은 아래의 단계들(1110 및 1130)을 더 포함할 수 있다.
단계(1110)에서, 결정된 동공 거리에 기반하여 동공들 각각의 시점에 대한 입체 이미지가 생성될 수 있다. 입체 이미지가 렌더링될 때, 상이한 좌측 이미지 및 우측 이미지가 이용될 수 있다. 단계(1110)는 프로세서(230)에 의해 수행될 수 있다. 생성된 입체 이미지는 디스플레이(220)를 통해 출력될 수 있다.
단계(1120)에서, 사용자를 촬영하여 검증 이미지가 생성될 수 있다. 검증 이미지는 사용자를 촬영한 이미지로서, 도 6을 참조하여 전술된 이미지(600)와 유사할 수 있다. 사용자를 촬영하기 전에, 사용자는 디스플레이(220) 또는 카메라(210)를 주시할 수 있다. 단계(1120)는 카메라(210)에 의해 수행될 수 있다.
단계(1130)에서, 검증 이미지를 이용하여 사용자의 눈에서 반사된 이미지를 분석하여 동공 거리의 정당성(integrity)을 검증할 수 있다. 예를 들어, 사용자의 동공이 검출되고, 검출된 동공 주변에 나타난 반사 이미지를 검출할 수 있다. 검출된 반사 이미지가 좌측 이미지 또는 우측 이미지로 분리되어 나타난 경우, 결정된 동공 거리가 정당한 것으로 결정할 수 있다. 단계(1130)는 프로세서(230)에 의해 수행될 수 있다.
도 12는 일 예에 따른 검증 이미지를 도시한다.
검증 이미지(1210)에 포함된 반사 이미지들(1220 및 1230)을 분석하여, 결정된 동공 거리가 정당한지 여부가 결정될 수 있다. 제1 반사 이미지(1220)는 입체 이미지 중 우안에 제공되는 이미지가 반사된 이미지일 수 있고, 제2 반사 이미지(1230)는 입체 이미지 중 좌안에 제공되는 이미지가 반사된 이미지일 수 있다.
예를 들어, 입체 이미지가 붉은색 좌측 이미지 및 푸른색 좌측 이미지로 렌더링될 수 있다. 상기의 경우에 대해, 제1 반사 이미지로 붉은 색의 이미지만이 검출되고, 제2 반사 이미지가 푸른 색의 이미지만이 검출되는 경우, 결정된 동공 거리가 정당한 것으로 확인될 수 있다.
도 13은 다른 일 실시예에 따른 동공 거리 결정 방법의 흐름도이다.
일 측면에 따르면, 동공 거리 결정 방법은 장치(200)가 이미지를 촬영하지 않는 경우에도 수행될 수 있다. 예를 들어, 사용자의 이미지 및 상기의 이미지를 촬영한 카메라의 내부 파라미터가 획득되는 경우, 장치(200)는 이미지를 분석하여 동공 거리를 결정할 수 있다. 상기의 경우, 장치(200)는 통신부, 프로세서(230) 및 메모리(240)를 포함할 수 있다. 즉, 도 13을 참조하여 설명되는 일 실시예는, 외부로부터 이미지를 수신하여 동공 거리를 결정하는 방법에 관한 것으로 이해될 수 있다.
단계(1310)에서, 사용자를 촬영한 이미지가 수신될 수 있다. 이미지는 단말의 디스플레이에 출력된 미리 정해진 패턴을 주시하는 사용자를 촬영한 이미지일 수 있다.
이미지를 촬영한 단말로부터 이미지 및 카메라의 내부 파라미터가 수신될 수 있다. 이미지를 촬영한 단말은 텔레비전, 휴대용 단말기 및 의료용 장비를 포함할 수 있다. 수신된 이미지는 메모리(240)에 저장될 수 있다.
단계(1320)에서, 이미지를 분석하여 사용자의 동공 거리가 결정될 수 있다. 단계(1320)에 대한 자세한 설명은 단계(330)에 대한 설명이 그대로 적용될 수 있으므로 생략하도록 한다.
추가적으로, 결정된 동공 거리에 대한 정보가 단말로 전송될 수 있다.
도 14는 일 실시예에 따른 3차원 이미지 렌더링 방법의 흐름도이다.
일 측면에 따르면, 사용자의 동공 거리 추정 방법은 실제 이미지를 이용하여 가상 이미지를 생성하는 방법에 이용될 수 있다. 예를 들어, 전술된 동공 거리 결정 장치(200)는 3차원 이미지 렌더링 장치에 포함될 수 있다. 아래의 단계들(1410 내지 1440)은 3차원 이미지 렌더링 장치에 의해 수행될 수 있다.
단계(1410)에서, 사용자를 촬영하여 이미지가 생성될 수 있다. 예를 들어, 사용자를 촬영한 이미지는 사용자의 존재 여부를 확인하기 위해 이용될 수 있다. 단계(1410)는 사용자가 위치가 변화한 경우에 수행될 수 있다.
단계(1420)에서, 이미지 내의 눈 위치가 추정될 수 있다. 이미지 내의 사용자의 얼굴이 검출되고, 검출된 얼굴에 기반하여 사용자의 눈 위치가 추정될 수 있다.
단계(1430)에서, 추정된 사용자의 눈 위치에 기반하여 공간 내의 3차원 눈 위치가 결정될 수 있다.
이미지 내의 눈 위치가 추정된 경우, 추정된 눈 위치에 기반하여 사용자의 눈이 촬영될 수 있다. 사용자의 눈이 촬영된 이미지에 기반하여 사용자의 동공 거리가 추정될 수 있다. 사용자의 동공 거리를 추정하는 방법에 대해서는 도 2 내지 도 13을 참조하여 설명된 내용이 적용될 수 있으므로, 자세한 설명은 생략한다. 추정된 사용자의 동공 거리에 기반하여 공간 내의 3차원 눈 위치가 추정될 수 있다. 공간은 3차원 이미지 렌더링 장치의 위치 및 사용자의 위치에 의해 형성되는 3차원 공간일 수 있다.
단계(1440)에서, 3차원 눈 위치에 기반하여 3차원 이미지가 렌더링 될 수 있다. 예를 들어, 참조 이미지를 이용하여 가상 이미지가 3차원 눈 위치에 제공되도록 3차원 이미지가 렌더링될 수 있다. 왼쪽 눈에 대응하는 3차원 이미지 및 오른쪽 눈에 대응하는 3차원 이미지가 각각 생성될 수 있다. 생성된 3차원 이미지들 및 디스플레이의 출력 패턴에 기반하여 패널 이미지가 생성될 수 있다. 디스플레이가 패널 이미지를 출력함으로써 사용자에게 3차원 이미지가 제공될 수 있다.
도 15는 다른 일 실시예 따른 3차원 이미지 렌더링 방법의 흐름도이다.
다른 일 측면에 따르면, 사용자의 동공 거리 추정 방법은 HMD(Head Mounted Display)를 이용하여 사용자에게 3차원 영상을 제공하는 방법에 이용될 수 있다. 예를 들어, 전술된 동공 거리 결정 장치(200)는 HMD에 포함될 수 있다. 아래의 단계들(1510 내지 1530)은 HMD에 의해 수행될 수 있다.
단계(1510)에서, HMD의 파라미터가 초기화될 수 있다. 예를 들어, 사용자의 동공 거리에 대한 파라미터가 초기화될 수 있다. 사용자가 HMD를 착용한 경우 파라미터가 초기화될 수 있다.
단계(1520)에서, 사용자의 동공 거리가 설정될 수 있다. 사용자의 동공 거리를 설정하는 방법에 대해서는 도 2 내지 도 13을 참조하여 설명된 내용이 적용될 수 있으므로, 자세한 설명은 생략한다.
단계(1530)에서, 설정된 동공 거리에 기반하여 3차원 이미지가 렌더링 될 수 있다. 렌더링된 3차원 이미지는 HMD의 디스플레이를 통해 사용자에게 제공될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
200: 동공 거리 결정 장치
210: 카메라
220: 디스플레이
230: 프로세서
240: 메모리

Claims (17)

  1. 동공 거리 결정 장치에 의해 수행되는, 동공 거리 결정 방법에 있어서,
    디스플레이에 미리 정해진 패턴을 출력하는 단계;
    상기 디스플레이를 주시하는 사용자를 촬영한 이미지를 생성하는 단계; 및
    상기 이미지를 분석하여 상기 사용자의 동공 거리(Inter-Pupilary Distance; IPD) 를 결정하는 단계
    를 포함하고,
    상기 사용자의 동공 거리를 결정하는 단계는,
    상기 이미지 내에서 동공들을 검출하는 단계;
    상기 이미지 내에서 상기 동공들 주위의 반사 패턴을 검출하는 단계 - 상기 반사 패턴은 상기 미리 정해진 패턴에 대응함 -; 및
    상기 검출된 동공들의 위치 및 상기 반사 패턴의 위치에 기초하여 상기 동공 거리를 결정하는 단계
    를 포함하는,
    동공 거리 결정 방법.
  2. 제1항에 있어서,
    상기 패턴은 배경 및 상기 배경의 색과 상이한 하나 이상의 전경들을 포함하는,
    동공 거리 결정 방법.
  3. 제2항에 있어서,
    상기 하나 이상의 전경들은 사각형의 형태 및 원의 형태 중 적어도 하나의 형태인,
    동공 거리 결정 방법.
  4. 제2항에 있어서,
    상기 패턴은 2차원 패턴 및 3 차원 패턴 중 적어도 하나를 포함하는,
    동공 거리 결정 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 검출된 동공들의 위치 및 상기 반사 패턴의 위치에 기초하여 상기 동공 거리를 결정하는 단계는,
    상기 검출된 동공들의 위치 및 상기 반사 패턴의 위치에 기반하여 상기 디스플레이 및 상기 사용자의 안구(eye ball)들의 기하학적 모델을 모델링하는 단계
    를 포함하는,
    동공 거리 결정 방법.
  7. 제6항에 있어서,
    상기 안구들 각각의 원주(circumference)는 각막(cornea)의 곡률에 기반하여 생성된,
    동공 거리 결정 방법.
  8. 제6항에 있어서,
    상기 모델을 모델링하는 단계는,
    상기 이미지를 생성한 카메라의 내부 파라미터에 기반하여 상기 모델을 모델링하는 단계인,
    동공 거리 결정 방법.
  9. 제1항에 있어서,
    상기 검출된 동공들의 위치 및 상기 반사 패턴의 위치에 기초하여 상기 동공 거리를 결정하는 단계는,
    상기 반사 패턴의 3차원 위치를 결정하는 단계;
    상기 결정된 반사 패턴의 3차원 위치에 기반하여 상기 디스플레이 상에 예측 패턴 위치를 결정하는 단계; 및
    상기 예측 패턴 위치 및 상기 패턴의 위치에 기반하여 상기 동공 거리를 결정하는 단계
    를 포함하는,
    동공 거리 결정 방법.
  10. 제1항에 있어서,
    상기 디스플레이는 3차원 시점 추적형 디스플레이이고,
    상기 결정된 동공 거리에 기반하여 상기 동공들 각각의 시점에 대한 입체 이미지를 생성하는 단계;
    상기 사용자를 촬영하여 검증 이미지를 생성하는 단계; 및
    상기 검증 이미지를 이용하여 상기 사용자의 눈에서 반사된 이미지를 분석하여 상기 동공 거리의 정당성(integrity)을 검증하는 단계
    를 더 포함하는,
    동공 거리 결정 방법.
  11. 제10항에 있어서,
    상기 동공 거리의 정당성(integrity)을 검증하는 단계는,
    상기 입체 이미지가 좌측 이미지 및 우측 이미지로 분리되는지 여부를 판단하는 단계
    를 포함하는,
    동공 거리 결정 방법.
  12. 동공 거리 결정 장치에 의해 수행되는, 동공 거리 결정 방법에 있어서,
    디스플레이에 출력된 미리 정해진 패턴을 주시하는 사용자를 촬영한 이미지를 수신하는 단계; 및
    상기 이미지를 분석하여 상기 사용자의 동공 거리(Inter-Pupilary Distance: IPD)를 결정하는 단계
    를 포함하고,
    상기 사용자의 동공 거리를 결정하는 단계는,
    상기 이미지 내에서 동공들을 검출하는 단계;
    상기 이미지 내에서 상기 동공들 주위의 반사 패턴을 검출하는 단계 - 상기 반사 패턴은 상기 미리 정해진 패턴에 대응함 -; 및
    상기 검출된 동공들의 위치 및 상기 반사 패턴의 위치에 기초하여 상기 동공 거리를 결정하는 단계
    를 포함하는,
    동공 거리 결정 방법.
  13. 제1항, 제2항, 제3항, 제4항, 제6항, 제7항, 제8항, 제9항, 제10항, 제11항 및 제12항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
  14. 동공 거리 결정 장치에 있어서,
    디스플레이에 출력된 미리 정해진 패턴을 주시하는 사용자를 촬영한 이미지를 저장하는 메모리; 및
    상기 이미지를 분석하여 상기 사용자의 동공 거리(Inter-Pupilary Distance: IPD)를 결정하는 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 이미지 내에서 동공들을 검출하고, 상기 이미지 내에서 상기 동공들 주위의 반사 패턴을 검출하고 - 상기 반사 패턴은 상기 미리 정해진 패턴에 대응함 -, 상기 검출된 동공들의 위치 및 상기 반사 패턴의 위치에 기초하여 상기 동공 거리를 결정하는,
    동공 거리 결정 장치.
  15. 제14항에 있어서,
    상기 패턴은 배경 및 상기 배경의 색과 상이한 하나 이상의 전경들을 포함하는,
    동공 거리 결정 장치.
  16. 삭제
  17. 제14항에 있어서,
    상기 프로세서는,
    상기 반사 패턴의 3차원 위치를 결정하고, 상기 결정된 반사 패턴의 3차원 위치에 기반하여 상기 디스플레이 상에 예측 패턴 위치를 결정하고, 상기 예측 패턴 위치 및 상기 패턴의 위치에 기반하여 상기 동공 거리를 결정하는,
    동공 거리 결정 장치.
KR1020160002405A 2016-01-08 2016-01-08 동공 거리 결정 방법 및 장치 KR102463172B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160002405A KR102463172B1 (ko) 2016-01-08 2016-01-08 동공 거리 결정 방법 및 장치
US15/386,899 US10453210B2 (en) 2016-01-08 2016-12-21 Method and apparatus for determining interpupillary distance (IPD)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160002405A KR102463172B1 (ko) 2016-01-08 2016-01-08 동공 거리 결정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170083225A KR20170083225A (ko) 2017-07-18
KR102463172B1 true KR102463172B1 (ko) 2022-11-04

Family

ID=59275911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160002405A KR102463172B1 (ko) 2016-01-08 2016-01-08 동공 거리 결정 방법 및 장치

Country Status (2)

Country Link
US (1) US10453210B2 (ko)
KR (1) KR102463172B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060559A (ko) 2016-11-29 2018-06-07 삼성전자주식회사 동공 거리 결정 방법 및 장치
US20200211512A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Headset adjustment for optimal viewing
US11333888B2 (en) 2019-08-05 2022-05-17 Facebook Technologies, Llc Automatic position determination of head mounted display optics
US10991343B2 (en) * 2019-08-05 2021-04-27 Facebook Technologies, Llc Automatic image alignment with head mounted display optics
KR20220128726A (ko) 2021-03-15 2022-09-22 삼성전자주식회사 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체
EP4322526A1 (en) * 2021-06-22 2024-02-14 Samsung Electronics Co., Ltd. Augmented reality device comprising variable focus lens and operation method thereof
GB2611579A (en) * 2021-10-11 2023-04-12 Fuel 3D Tech Limited Methods and systems for interpupillary distance measurement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073245A1 (en) * 2002-02-22 2004-04-15 Refocus Group, Inc System and method for determining a position for a scleral pocket for a scleral prosthesis
US20130083009A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Exercising applications for personal audio/visual system
US20140152956A1 (en) * 2012-07-03 2014-06-05 Reverse Engineering, Lda System for the measurement of the interpupillary distance using a device equipped with a display and a camera

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004008768A (ja) * 2002-06-10 2004-01-15 Tomey Corporation 眼屈折力測定装置
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4965800B2 (ja) * 2004-10-01 2012-07-04 キヤノン株式会社 画像表示システム
TWI281553B (en) 2005-04-01 2007-05-21 Asia Optical Co Inc Eye span adjustment mechanism for optic apparatus
KR100737997B1 (ko) 2005-12-13 2007-07-10 재단법인서울대학교산학협력재단 동공 크기 실측 방법 및 장치
JP5515301B2 (ja) * 2009-01-21 2014-06-11 株式会社ニコン 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US8459792B2 (en) * 2010-04-26 2013-06-11 Hal E. Wilson Method and systems for measuring interpupillary distance
JP5331785B2 (ja) 2010-12-17 2013-10-30 株式会社ニューオプト 立体画像分析装置
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9213163B2 (en) * 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
KR20130106537A (ko) 2012-03-20 2013-09-30 엘지이노텍 주식회사 휴대용 단말기 및 그의 아이 카메라 기능 구동 방법
EP2833778B1 (en) 2012-04-05 2022-05-18 Visionix Ltd. Objective phoropter system
US9600068B2 (en) 2013-03-13 2017-03-21 Sony Interactive Entertainment Inc. Digital inter-pupillary distance adjustment
EP3119343A4 (en) * 2014-03-19 2017-12-20 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
EP3286598B1 (en) * 2015-06-15 2023-11-15 Essilor International Method for calibrating a binocular displaying device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073245A1 (en) * 2002-02-22 2004-04-15 Refocus Group, Inc System and method for determining a position for a scleral pocket for a scleral prosthesis
US20130083009A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Exercising applications for personal audio/visual system
US20140152956A1 (en) * 2012-07-03 2014-06-05 Reverse Engineering, Lda System for the measurement of the interpupillary distance using a device equipped with a display and a camera

Also Published As

Publication number Publication date
US10453210B2 (en) 2019-10-22
US20170200285A1 (en) 2017-07-13
KR20170083225A (ko) 2017-07-18

Similar Documents

Publication Publication Date Title
KR102463172B1 (ko) 동공 거리 결정 방법 및 장치
US10878236B2 (en) Eye tracking using time multiplexing
US10853677B2 (en) Verification method and system
JP4824420B2 (ja) 視線ベクトル検出方法及び同装置
US9264702B2 (en) Automatic calibration of scene camera for optical see-through head mounted display
CN107563304B (zh) 终端设备解锁方法及装置、终端设备
US7974446B2 (en) Face authentication system and face authentication method
WO2018153311A1 (zh) 基于虚拟现实场景的业务认证方法及装置
US20160335495A1 (en) Apparatus and method for acquiring image for iris recognition using distance of facial feature
CN109661194A (zh) 使用角膜曲率的虹膜边界估计
KR20180104677A (ko) 눈 이미지 수집, 선택 및 결합
US10360450B2 (en) Image capturing and positioning method, image capturing and positioning device
US10354136B2 (en) Head mounted eye tracking device and method for providing drift free eye tracking through a lens system
KR102476016B1 (ko) 안구 위치 정보 확정 방법 및 장치
CN106575039A (zh) 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
TW202013254A (zh) 基於眼動追蹤的密碼驗證方法及相關裝置
KR20180060559A (ko) 동공 거리 결정 방법 및 장치
WO2017112310A1 (en) Facial contour recognition for identification
CN112099622B (zh) 一种视线追踪方法及装置
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
CN110051319A (zh) 眼球追踪传感器的调节方法、装置、设备及存储介质
US11657908B2 (en) Methods and systems for handling virtual 3D object surface interaction
US20200258255A1 (en) Systems and methods for determining an ear saddle point of a user to produce specifications to fit a wearable apparatus to the user's head
JP2008203995A (ja) 物体形状生成方法、物体形状生成装置及びプログラム
US11798248B1 (en) Fitting virtual eyewear models on face models

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant