KR102460665B1 - 응시 거리를 결정하는 방법 및 디바이스 - Google Patents

응시 거리를 결정하는 방법 및 디바이스 Download PDF

Info

Publication number
KR102460665B1
KR102460665B1 KR1020207018804A KR20207018804A KR102460665B1 KR 102460665 B1 KR102460665 B1 KR 102460665B1 KR 1020207018804 A KR1020207018804 A KR 1020207018804A KR 20207018804 A KR20207018804 A KR 20207018804A KR 102460665 B1 KR102460665 B1 KR 102460665B1
Authority
KR
South Korea
Prior art keywords
gaze
eye
pupil
distance
eyes
Prior art date
Application number
KR1020207018804A
Other languages
English (en)
Other versions
KR20200086742A (ko
Inventor
윤치열
한상윤
이상화
장영일
조남익
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Publication of KR20200086742A publication Critical patent/KR20200086742A/ko
Application granted granted Critical
Publication of KR102460665B1 publication Critical patent/KR102460665B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 사용자의 양쪽 눈 각각을 촬영한 복수의 영상을 획득하고, 복수의 영상 각각으로부터 눈의 가장자리에 위치한 구석점과 동공의 위치 및 눈의 윤곽선을 결정하며, 눈의 윤곽선 및 구석점의 위치를 기초로 결정된 기준점과 동공의 위치 간의 차이에 기초하여 양쪽 눈 각각의 응시 방향을 결정하고, 양쪽 눈 각각의 응시 방향의 차이를 기초로 응시 거리를 결정하는, 응시 거리를 결정하는 방법에 관한 것이다.

Description

응시 거리를 결정하는 방법 및 디바이스
개시된 실시예는 응시 거리를 결정하는 방법, 응시 거리를 결정하는 디바이스 및 응시 거리를 결정하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.
시선 추적 기술은 사용자의 응시 방향 및 응시 거리에 대한 정보가 요구되는 가상/증강현실, 시선 기반 사용자 인터페이스, 운전자 졸음 감지 장치, 같은 분야 등에서 사용되고 있다. 뿐만 아니라, 시선 추적 기술은 웹 페이지에서 사용자가 즉각적으로 반응하고 집중하는 영역을 알아내는 데에 매우 유용하기 때문에 광고 산업에서 또한 유용하게 사용되고 있다.
특히, 최근에는 VR/AR 기기와 같은 인간-컴퓨터 간의 상호 작용 인터페이스가 필수적인 기기들이 등장하면서 시선 추적 기술에 대한 중요도가 더욱 높아지고 있다. 이에 따라, 사용자의 응시 방향 및 응시 거리에 대해 추정하기 위한 다양한 기술들이 연구되고 있으나, 보다 효율적으로 정확하게 응시 방향 및 응시 거리를 추정하기 위한 기술이 여전히 요구되고 있는 실정이다.
개시된 실시예는 사용자의 눈을 구성하는 다양한 부분의 특성을 이용하여 응시 방향을 결정함으로써, 이를 기초로 결정되는 사용자의 응시 거리의 정확도를 향상시킬 수 있는 응시 거리를 결정하는 방법 및 디바이스를 제공하고자 한다.
본 개시는 사용자의 양쪽 눈 각각을 촬영한 복수의 영상을 획득하고, 복수의 영상 각각으로부터 눈의 가장자리에 위치한 구석점과 동공의 위치 및 눈의 윤곽선을 결정하며, 눈의 윤곽선 및 구석점의 위치를 기초로 결정된 기준점과 동공의 위치 간의 차이에 기초하여 양쪽 눈 각각의 응시 방향을 결정하고, 양쪽 눈 각각의 응시 방향의 차이를 기초로 응시 거리를 결정하는, 응시 거리를 결정하는 방법에 관한 것이다.
도 1은 일 실시예에 따른 디바이스에서 응시 거리를 결정하는 방법을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따라 사용자의 눈 영상으로부터 응시 방향을 결정하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 디바이스가 눈의 윤곽선을 추출하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 디바이스가 동공의 위치 및 기준점을 기초로 응시 방향을 결정하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 디바이스가 눈꺼풀의 곡률을 기초로 응시 방향을 보정하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 디바이스가 눈꺼풀의 높이를 기초로 응시 방향을 보정하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 디바이스가 눈의 3차원 모델 및 카메라의 위치를 기초로 응시 방향을 보정하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 디바이스에서 기준점과 동공의 위치 차이를 기초로 적어도 하나의 응시 방향을 결정하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 디바이스가 눈 깜박임이 발생한 영상에 대해 응시 방향을 결정하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 디바이스가 양쪽 눈의 응시 방향을 기초로 응시 거리를 결정하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 디바이스가 응시 거리를 결정하는 방법을 설명하기 위한 흐름도이다.
도 12 및 도 13은 일 실시예에 따라 응시 거리를 결정하는 디바이스를 설명하기 위한 블록도이다.
발명의 실시를 위한 최선의 형태
일 실시예에 따른 응시 거리를 결정하는 방법은, 사용자의 양쪽 눈 각각을 촬영한 복수의 영상을 획득하는 단계; 복수의 영상 각각으로부터 눈의 가장자리에 위치한 구석점과 동공의 위치 및 눈의 윤곽선을 결정하는 단계; 눈의 윤곽선 및 구석점의 위치를 기초로 결정된 기준점과 동공의 위치 간의 차이에 기초하여 양쪽 눈 각각의 응시 방향을 결정하는 단계; 및 양쪽 눈 각각의 응시 방향의 차이를 기초로 응시 거리를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 응시 거리를 결정하는 방법에 있어서, 응시 방향을 결정하는 단계는, 눈의 윤곽선으로부터 눈꺼풀의 형상을 결정하는 단계; 및 기준점과 동공의 위치 간의 차이 및 상기 결정된 눈꺼풀의 형상을 기초로, 응시 방향을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 응시 거리를 결정하는 방법에 있어서, 응시 방향을 결정하는 단계는, 기준점과 동공의 위치 간의 차이를 기초로 기 획득된 눈에 관한 3차원 모델 및 사용자의 양쪽 눈을 촬영하는 카메라의 위치를 이용하여 응시 방향을 결정할 수 있다.
일 실시예에 따른 응시 거리를 결정하는 방법은, 복수의 영상 이후에 획득된 사용자의 양쪽 눈 각각의 영상에 대해 동공의 검출 여부 또는 눈 깜박임의 검출 여부를 판단하는 단계; 및 판단 결과, 동공이 검출되지 않거나 눈 깜박임이 검출된 경우, 복수의 영상 이후에 획득된 사용자의 양쪽 눈 각각의 영상에 대한 응시 방향을 결정된 응시 방향으로 유지하는 단계를 더 포함할 수 있다.
일 실시예에 따른 응시 거리를 결정하는 방법은, 결정된 응시 거리가 기 설정된 임계 거리 이상인 경우, 3차원 거리 센서를 기초로 응시 거리를 재결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 응시 거리를 결정하는 방법은, 응시 거리에 기초하여 가상 영상을 렌더링하는 단계를 더 포함할 수 있다.
일 실시예에 따른 응시 거리를 결정하는 디바이스는, 사용자의 양쪽 눈 각각을 촬영하여 복수의 영상을 획득하는 촬영부; 복수의 영상 및 복수의 명령어를 저장하는 메모리; 및 복수의 명령어를 실행하여, 복수의 영상 각각으로부터 눈의 가장자리에 위치한 구석점과 동공의 위치 및 눈의 윤곽선을 결정하고, 눈의 윤곽선 및 구석점의 위치를 기초로 결정된 기준점과 동공의 위치 간의 차이에 기초하여 양쪽 눈 각각의 응시 방향을 결정하며, 양쪽 눈 각각의 응시 방향의 차이를 기초로 응시 거리를 결정하는 적어도 하나의 프로세서를 포함할 수 있다.
발명의 실시를 위한 형태
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다.또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다.용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 특성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서는 사용자의 양쪽 눈 각각을 촬영한 복수의 영상으로부터 사용자의 응시 방향을 결정하고, 양쪽 눈의 응시 방향을 기초로 사용자의 응시 거리를 결정하는 방법에 대해 설명하도록 한다. 다만, 설명의 편의를 위해, 각각의 실시예에서는 양쪽 눈 중 어느 하나에 대해 응시 방향을 결정하는 방법을 중심으로 기술하도록 한다.
도 1은 일 실시예에 따른 디바이스에서 응시 거리를 결정하는 방법을 설명하기 위한 개념도이다.
도 1을 참조하면, 디바이스는 사용자의 양쪽 눈 각각을 촬영한 복수의 영상을 획득할 수 있다. 디바이스는 획득한 복수의 영상으로부터 특정 지점 또는 특정 부분을 검출하고, 검출된 지점 또는 부분 간의 관계를 이용하여 사용자의 응시 방향을 결정할 수 있다.
이하에서는, 디바이스가 사용자의 오른쪽 눈을 촬영한 영상(10, 이하 눈 영상으로 설명)으로부터 사용자의 응시 방향을 결정하는 방법에 대해 설명하도록 한다.
일 실시예에 따른 디바이스는 눈 영상(10)으로부터 사용자의 동공(110), 눈의 윤곽선(120) 및 사용자의 눈의 가장자리에 위치한 구석점(130)을 특정할 수 있다. 또한, 디바이스는 눈의 윤곽선(120) 및 구석점(130)의 위치를 이용하여, 사용자가 정면을 응시하고 있을 때의 응시 방향을 나타내는 기준점(140)을 결정할 수 있다.
디바이스는 기준점(140)에 대한 동공(110)의 위치를 기초로 사용자의 응시 방향(150)을 결정할 수 있다. 예를 들어, 디바이스는 기준점(140)으로부터 현재의 동공(110)의 위치가 떨어져 있는 정도에 따라 응시 방향을 결정할 수 있다. 도 1에서는, 기준점(140)을 중심으로 동공(110)의 위치가 오른쪽 방향에 위치함에 따라 사용자가 오른쪽 방향을 응시하고 있는 것으로 결정될 수 있다.
한편, 일 실시예에 따른 디바이스는 응시 방향의 정확도를 높이기 위해, 카메라의 위치 및 사용자의 눈에 대한 3차원 모델을 기초로 기준점(140)을 중심으로 한 동공(110)의 위치를 보정할 수 있다. 이에 대해서는, 도 7을 참조하여 구체적으로 후술하도록 한다.
다른 실시예에 따라, 디바이스는 눈의 윤곽선을 기초로 결정되는 눈꺼풀의 형상을 전술한 실시예에 따른 응시 방향 결정 방법에 추가적으로 이용하여 응시 방향을 결정할 수 있다. 예를 들어, 디바이스는 눈꺼풀의 높이 및 곡률 등을 이용하여 응시 방향을 결정할 수 있다. 이에 대해서는, 도 5 및 도 6을 참조하여 보다 구체적으로 후술하도록 한다.
디바이스는 사용자의 양쪽 눈 각각에 대해 결정된 응시 방향 간의 차이에 기초하여 응시 거리를 결정할 수 있다. 여기에서, 응시 거리란 사용자가 응시하는 객체의 위치와 기준 위치(예를 들어, 사용자의 위치) 간의 거리를 의미할 수 있다. 예를 들어, 디바이스는 응시 방향 간의 차이 및 중심 방향으로의 시선각을 산출함으로써, 이에 대응되는 응시 거리를 결정할 수 있다.
한편, 일 실시예에 따른 디바이스는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스는 스마트 글래스(Smart Glass), HMD(Head Mounted Display), 근안 디스플레이(near-eye display), 3차원 디스플레이 등이 있을 수 있으나, 이는 일 실시예일 뿐, 디바이스가 이에 한정되는 것은 아니다.
도 2는 일 실시예에 따라 사용자의 눈 영상(210)으로부터 응시 방향을 결정하는 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 디바이스는 사용자의 눈을 촬영하여 눈 영상(210)을 획득할 수 있다. 디바이스는 눈 영상(210)에 대해 불필요한 윤곽선을 제거하기 위해, 잡음 제거를 수행할 수 있다. 여기에서, 잡음 제거는 양방향(bilateral) 필터 또는 중간값(median) 필터를 이용하여 수행될 수 있으나, 이는 일 예일 뿐, 잡음 제거 방법이 전술한 예에 한정되는 것은 아니다.
디바이스는 잡음이 제거된 영상(220)에 에지 검출 처리를 수행할 수 있다. 에지 검출에는 캐니(canny) 에지 검출기와 같은 기존의 에지 검출 방법이 이용될 수 있다. 디바이스는 에지 검출 처리를 수행한 결과 획득된 이진 영상(230)을 기반으로, 원형 허프 변환을 이용하여 동공(240)을 추출할 수 있다.
또한, 디바이스는 동공(240)을 추출한 후, 이를 중심으로 눈의 윤곽선을 추정할 수 있다. 디바이스는 눈의 윤곽선이 추정됨에 따라, 눈의 윤곽선에서 가장자리에 위치한 구석점(250)을 특정할 수 있다. 여기에서, 구석점(250)은 눈의 눈물샘 지점에 위치할 수 있으나, 이는 일 예일 뿐, 구석점(250)의 위치는 설정에 따라 변경될 수도 있다.
일 실시예에 따른 디바이스는 동공(240)의 위치와 구석점(250)의 위치 간의 차이(260)를 기초로 사용자의 응시 방향을 결정할 수 있다.
도 3은 일 실시예에 따른 디바이스가 눈의 윤곽선을 추출하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 디바이스는 눈 영상으로부터 동공을 추출한 후에, 동공을 중심으로 하여 눈 영역의 윤곽선을 추출할 수 있다.
일 실시예에 따른 디바이스는 동공을 중심으로 하는 에지 영역(310)을 설정할 수 있다. 디바이스는 눈 영역에 에지 영역(310)이 근접하도록 에지 영역(310)을 변화시킬 수 있다. 예를 들어, 디바이스는 에지 영역(310)을 좌우로 확장시키고, 상하로 축소시키면서, 새로운 에지 영역을 설정할 수 있다.
디바이스는 눈 영역에 근접하는 에지 영역이 도출될 때까지 전술한 과정을 반복할 수 있다. 디바이스는 최종적으로 설정된 에지 영역을 눈 영역의 윤곽선(320)으로 추출할 수 있다.
도 4는 일 실시예에 따른 디바이스가 동공(410)의 위치 및 기준점(440)을 기초로 응시 방향을 결정하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 디바이스는 눈 영상으로부터 동공(410), 눈의 윤곽선(420) 및 구석점(430)을 특정할 수 있다. 본 실시예에서, 디바이스가 동공(410), 눈의 윤곽선(420) 및 구석점(430)을 특정하는 방법은 도 1 및 도 2를 참조하여 전술한 바와 동일할 수 있다.
일 실시예에 따른 디바이스는 눈의 윤곽선(420)과 구석점(430)의 위치를 이용하여 정면에 대한 응시 방향을 나타내는 기준점(440)을 특정할 수 있다. 디바이스는 특정된 기준점(440)에 대한 동공(410)의 상대적인 위치를 결정할 수 있다. 예를 들어, 기준점(440)에 대한 동공(410)의 상대적인 위치는 diff_x 및 diff_y로 표시될 수 있다. 여기에서, diff_x는 x축 방향으로의 위치 차이 값을 가지고, diff_y는 y축 방향으로의 위치 차이 값을 가질 수 있다. 또한, diff_x 및 diff_y는 각각 사용자의 좌우 방향으로의 시선 및 상하 방향으로의 시선을 나타낼 수 있다.
한편, 디바이스에서 산출된 diff_x와 diff_y는 사용자의 실제 응시 방향과 선형적인 관계를 갖는 것은 아니다. x1과 diff_x1 및 x2와 diff_x2 간의 관계는 각각 다음의 수학식 1 및 수학식 2를 통해 나타낼 수 있다.
[수학식 1]
Figure 112020067143816-pct00001
[수학식 2]
Figure 112020067143816-pct00002
상기의 수학식 1 및 수학식 2에서 d 및 r은 각각 안구의 중심으로부터 스크린의 원점(460)까지의 거리 및 안구의 반지름을 나타낸다.
눈에서의 기준점(450)에 대한 diff_x1과 diff_x2는 스크린 상에서의 원점(460)에 대한 x1(470)과 x2(480)와 선형적인 관계를 갖지 않는다. 구체적으로, diff_x1과 diff_x2가 약 2.2 배의 관계를 갖는 경우, x1(470)과 x2(480)는 약 3배의 관계를 가질 수 있다.
따라서, 기준점(440)에 대한 동공(410)의 상대적인 위치와 실제 응시 방향을 보다 정확하게 일치시키기 위한 보정 작업이 필요할 수 있다. 일 실시예에 따른 디바이스는 카메라의 위치 및 사용자의 눈에 대한 3차원 모델을 기초로 응시 방향의 보정 작업을 수행할 수 있다. 이에 대해서는 도 7을 참조하여 보다 구체적으로 후술하도록 한다.
도 5는 일 실시예에 따른 디바이스가 눈꺼풀의 곡률을 기초로 응시 방향을 보정하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스는 눈의 윤곽선 및 구석점의 위치를 기초로 정면 방향을 나타내는 기준점을 결정하고, 이를 기초로 한 동공의 위치에 따라 사용자의 응시 방향을 결정할 수 있다. 다만, 눈 영상에서 동공의 x축 이동이 y축 이동에 비해 보다 크게 나타남에 따라, y축으로의 이동 정도를 보정해 주는 작업이 필요할 수 있다.
일 실시예에 따른 디바이스는 y축으로의 동공의 이동 정도를 보정해 주기 위해, 눈의 형상을 이용할 수 있다. 여기에서, 눈의 형상은 눈꺼풀의 높이, 눈꺼풀의 곡률 등을 포함할 수 있으나, 이는 일 예일 뿐, 눈의 형상이 전술한 예에 한정되는 것은 아니다.
본 실시예에서는, 도 5를 참조하여, 눈꺼풀의 곡률을 기초로 동공의 y축으로의 이동 정도를 보정하는 방법을 설명하도록 한다. 디바이스는 획득한 복수의 영상(510, 520, 530)에 대해 각각 눈꺼풀의 곡률을 측정할 수 있다. 디바이스는 기준점을 중심으로 한 동공의 위치 이외에 눈꺼풀의 곡률을 이용하여 응시 방향을 결정할 수 있다.
예를 들어, 디바이스는 곡률이 임계 범위 보다 큰 값을 갖는 제 1 영상(510)에 대해, 사용자의 응시 방향이 위쪽 방향인 것으로 결정할 수 있다. 또한, 디바이스는 곡률이 임계 범위 내인 값을 갖는 제 2 영상(520)에 대해 사용자의 응시 방향이 정면 방향인 것으로 결정할 수 있다. 또한, 디바이스는 곡률이 임계 범위 보다 작은 값을 갖는 제 3 영상(530)에 대해 사용자의 응시 방향이 아래 방향인 것으로 결정할 수 있다.
일 실시예에 따른 디바이스는 기준점에 대한 동공의 위치 뿐만 아니라, 눈꺼풀의 곡률을 이용함으로써, 응시 방향의 정확도를 높일 수 있다. 다음은, 눈꺼풀의 곡률을 추가적으로 이용한 결과, 향상된 에러 비율을 나타낸 표 1이다.
에러 비율
정확도 오브젝트 1 오브젝트 2 오브젝트 3
보정 전 2.7 4.7 3.7
보정 후 1.9 3.2 2.6
도 6은 일 실시예에 따른 디바이스가 눈꺼풀의 높이를 기초로 응시 방향을 보정하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 눈꺼풀의 높이는 눈꺼풀의 2차 곡선의 꼭지점과 구석점 간의 높이 차이로 결정될 수 있다. 일 실시예에 따른 디바이스는 눈의 윤곽선 및 구석점의 위치를 기초로 정면 방향을 나타내는 기준점을 결정하고, 이를 기초로 한 동공의 위치에 따라 사용자의 응시 방향을 결정할 수 있다. 다만, 도 5에서 전술한 바와 같이 눈 영상에서 동공의 x축 이동이 y축 이동에 비해 보다 크게 나타남에 따라, y축으로의 이동 정도를 보정해 주는 작업이 필요할 수 있다.
디바이스는 y축으로의 동공의 이동 정보를 보정해 주기 위해, 눈꺼풀의 높이를 이용할 수 있다. 디바이스는 획득한 복수의 영상(610, 620, 630)에 대해 각각 눈꺼풀의 높이를 측정할 수 있다. 디바이스는 기준점을 중심으로 한 동공의 위치 이외에 눈꺼풀의 높이를 이용하여 응시 방향을 결정할 수 있다.
예를 들어, 디바이스는 눈꺼풀의 높이(615)가 임계 범위 보다 큰 값을 갖는 제 1 영상(610)에 대해, 사용자의 응시 방향이 위쪽 방향인 것으로 결정할 수 있다. 또한, 디바이스는 눈꺼풀의 높이(625)가 임계 범위 내인 값을 갖는 제 2 영상(620)에 대해 사용자의 응시 방향이 정면 방향인 것으로 결정할 수 있다. 또한, 디바이스는 눈꺼풀의 높이(635)가 임계 범위 보다 작은 값을 갖는 제 3 영상(630)에 대해 사용자의 응시 방향이 아래 방향인 것으로 결정할 수 있다.
도 7은 일 실시예에 따른 디바이스가 눈의 3차원 모델(710) 및 카메라의 위치를 기초로 응시 방향을 보정하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 디바이스는 눈의 3차원 모델(710) 및 카메라(720)가 안구를 촬영하는 위치에 관한 정보를 획득할 수 있다. 도 4에서 전술한 바와 같이, 눈에서의 기준점에 대한 동공의 위치 차이는 스크린 상에서의 실제 거리와 선형적인 관계를 갖지 않음에 따라, 눈의 3차원 모델(710) 및 카메라(720)가 안구를 촬영하는 위치를 기초로 응시 방향을 보정할 필요가 있다.
일 실시예에 따른 디바이스는 전술한 수학식 1 및 수학식 2에 눈의 3차원 모델(710) 및 카메라(720)가 안구를 촬영하는 위치에 관한 정보를 적용하여, 응시 방향을 나타내는 x, y 값을 다음의 수학식 3에 기초하여 결정할 수 있다.
[수학식 3]
Figure 112020067143816-pct00003
Figure 112020067143816-pct00004
상기의 수학식 3에서
Figure 112020067143816-pct00005
및
Figure 112020067143816-pct00006
는 눈의 3차원 모델에서의 동공의 위치를 나타내는 각도에 해당하고, d 및 r은 도 4에서와 같이 각각 안구의 중심으로부터 스크린의 원점까지의 거리 및 안구의 반지름을 나타낸다.
한편, 수학식 3은 응시 방향을 보정하기 위한 일 예시일 뿐, 본 명세서에서 눈의 3차원 모델 및 카메라의 위치를 기초로 응시 방향을 보정하는 방법이 이에 한정되는 것은 아니다.
도 8은 일 실시예에 따른 디바이스에서 기준점과 동공의 위치 차이를 기초로 적어도 하나의 응시 방향을 결정하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 디바이스는 제 1 영상(810)으로부터 동공(812)의 위치, 구석점 및 눈의 윤곽선(814)을 결정할 수 있다. 디바이스는 눈의 윤곽선(814) 및 구석점의 위치를 기초로 제 1 영상(810)의 눈 내부의 기준점(816)을 결정할 수 있다. 디바이스는 기준점(816)에 대한 동공의 위치(812)를 특정함으로써, 사용자의 응시 방향(818)이 오른쪽 방향임을 확인할 수 있다.
또한, 디바이스는 제 2 영상 내지 제 6 영상(820, 830, 840, 850, 860) 각각에 대해 동공(822, 832, 842, 852, 862)의 위치, 구석점 및 눈의 윤곽선(824, 834, 844, 854, 864)을 결정할 수 있다. 디바이스는 눈의 윤곽선(824, 834, 844, 854, 864) 및 구석점의 위치를 기초로 제 2 영상 내지 제 6 영상(820, 830, 840, 850, 860) 각각에 대해 눈 내부의 기준점(826, 836, 846, 856, 866)을 결정할 수 있다. 디바이스는 각각의 기준점(826, 836, 846, 856, 866)에 대한 동공의 위치(822, 832, 842, 852, 862)를 특정함으로써, 제 2 영상 내지 제 6 영상(820, 830, 840, 850, 860)에 대한 사용자의 응시 방향(828, 838, 848, 858, 868)을 결정할 수 있다.
도 9는 일 실시예에 따른 디바이스가 눈 깜박임이 발생한 영상에 대해 응시 방향을 결정하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 디바이스는 사용자의 눈 영상(910)을 기초로 응시 방향(915)이 결정된 이후에 새로운 눈 영상(920)을 획득할 수 있다. 한편, 새로운 눈 영상(920)에서 눈 깜박임이 검출되거나, 동공이 검출되지 않은 경우 이를 기초로 결정된 응시 방향(925)은 부정확할 수 있다.
이에 따라, 디바이스는 새로운 눈 영상(920)에 대해 눈 깜박임의 검출 여부(922) 또는 동공의 검출 여부(924)를 판단할 수 있다. 디바이스는 새로운 눈 영상(920)에서 눈 깜박임이 검출되거나, 동공이 검출되지 않은 경우, 새로운 눈 영상(920)에 대한 응시 방향을 이전에 결정된 응시 방향으로 유지할 수 있다. 반면에, 새로운 눈 영상(920)에서 눈 깜박임이 검출되지 않거나, 동공이 검출된 경우, 디바이스는 새로운 눈 영상(920)을 기초로 응시 방향을 새롭게 결정할 수 있다.
도 10은 일 실시예에 따른 디바이스가 양쪽 눈의 응시 방향을 기초로 응시 거리를 결정하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 디바이스는 양쪽 눈(1010, 1020)의 응시 방향 간의 차이에 기초하여 응시 거리를 결정할 수 있다. 구체적으로, 디바이스는 응시 거리 결정을 위한 기준 거리 D를 설정할 수 있다. 디바이스는 응시 지점(1040)을 향해 교차하는 시선과 기준 거리 D 상의 평면(1030)이 만나는 지점을 결정할 수 있다. 디바이스는 결정된 각 지점의 차이를 응시 방향 간의 차이인
Figure 112020067143816-pct00007
로 특정할 수 있다.
디바이스는 기준 거리에서의
Figure 112020067143816-pct00008
를 새롭게 획득되는 응시 방향 간의 차이와 비교하여, 응시 거리를 결정할 수 있다. 다음은 거리에 대한 중심 방향으로의 응시각, 응시 방향 차이를 나타낸 표이다.
거리에 대한 중심 방향으로의 응시각 및 응시 방향 차이
거리(cm) 중심방향으로의 응시각 응시 방향 차이(cm,
Figure 112020067143816-pct00009
)
50 4.0042 0
100 2.0045 3.5
150 1.3367 4.7
200 1.0026 5.3
250 0.8021 5.6
한편, 일 실시예에 따른 디바이스는 결정된 응시 거리가 기 설정된 임계 거리 이상인 경우, 3차원 거리 센서를 기초로 응시 거리를 재결정할 수 있다. 예를 들어, 디바이스는 응시 거리가 1.5m 이상인 경우에 대해서는 스테레오 카메라 또는 깊이 센서 등의 3차원 거리 센서를 이용하여 응시 거리를 재결정할 수 있다.
도 11은 일 실시예에 따른 디바이스가 응시 거리를 결정하는 방법을 설명하기 위한 흐름도이다.
단계 S1110에서, 디바이스는 사용자의 양쪽 눈 각각을 촬영한 복수의 영상을 획득할 수 있다.
일 실시예에 따른 디바이스는 사용자의 양쪽 눈 각각에 인접한 부분에 카메라가 위치할 수 있도록 복수의 카메라를 구비할 수 있다. 디바이스는 복수의 카메라 각각으로부터 촬영된 양쪽 눈의 영상을 획득할 수 있다.
다만, 이는 일 예일 뿐, 다른 실시예에 따라 디바이스는 외부의 다른 디바이스로부터 사용자의 양쪽 눈 각각을 촬영한 복수의 영상을 획득할 수도 있다.
단계 S1120에서, 디바이스는 복수의 영상 각각으로부터 눈의 가장자리에 위치한 구석점과 동공의 위치 및 눈의 윤곽선을 결정할 수 있다.
디바이스가 복수의 영상 각각으로부터 구석점과 동공의 위치 및 눈의 윤곽선을 결정하는 방법은 도 2를 참조하여 전술한 바와 대응될 수 있다.
단계 S1130에서, 디바이스는 눈의 윤곽선 및 구석점의 위치를 기초로 결정된 기준점과 동공의 위치 간의 차이에 기초하여 양쪽 눈 각각의 응시 방향을 결정할 수 있다.
예를 들어, 디바이스는 기준점으로부터 오른쪽에 동공이 위치한 경우, 사용자가 오른쪽 방향을 응시하고 있는 것으로 결정할 수 있다. 다른 예에 따라, 디바이스는 기준점으로부터 위쪽에 동공이 위치한 경우, 사용자가 위쪽 방향을 응시하고 있는 것으로 결정할 수 있다.
한편, 다른 실시예에 따라, 디바이스는 기준점에 대한 동공의 위치 이외에 사용자의 눈꺼풀의 형상을 기초로 응시 방향을 결정할 수 있다. 이는 도 5 및 도 6을 참조하여 전술한 바와 동일할 수 있다.
단계 S1140에서, 디바이스는 양쪽 눈 각각의 응시 방향의 차이를 기초로 응시 거리를 결정할 수 있다.
일 실시예에 따른 디바이스는 기준 거리에 대해 기 획득된 응시 방향의 차이값과 새롭게 획득된 응시 방향의 차이를 비교하여, 사용자의 응시 거리를 결정할 수 있다. 이는 도 10을 참조하여 전술한 바와 동일할 수 있다.
한편, 디바이스는 결정된 응시 거리에 기초하여 가상 영상을 렌더링할 수 있다.
도 12 및 도 13은 일 실시예에 따라 응시 거리를 결정하는 디바이스(1200)를 설명하기 위한 블록도이다.
도 12를 참조하면, 디바이스(1200)는 촬영부(1210), 프로세서(1220) 및 메모리(1230)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 디바이스(100)의 구성 요소가 전술한 예에 한정되는 것은 아니다. 예를 들어, 도 13을 참조하면, 디바이스(1200)는 촬영부(1210), 프로세서(1220) 및 메모리(1230) 이외에, 출력부(1240) 및 센싱부(1250)를 더 포함할 수 있다.
촬영부(1210)는 사용자의 양쪽 눈 각각을 촬영하여 복수의 영상을 획득할 수 있다. 일 실시예에 따른 촬영부(1210)는 사용자의 양쪽 눈 각각을 촬영하기 위해 복수의 카메라로 구성될 수 있다.
프로세서(1220)는 복수의 영상 각각으로부터 눈의 가장자리에 위치한 구석점과 동공의 위치 및 눈의 윤곽선을 결정할 수 있다. 또한, 프로세서(1220)는 눈의 윤곽선 및 구석점의 위치를 기초로 결정된 기준점과 동공의 위치 간의 차이에 기초하여 양쪽 눈 각각의 응시 방향을 결정할 수 있다.
다른 실시예에 따른 프로세서(1220)는 눈의 윤곽선으로부터 눈꺼풀의 형상을 결정하고, 기준점과 동공의 위치 간의 차이 및 결정된 눈꺼풀의 형상을 기초로 응시 방향을 결정할 수 있다.
또한, 프로세서(1220)는 기준점과 동공의 위치 간의 차이를 기초로, 기 획득된 눈에 관한 3차원 모델 및 사용자의 양쪽 눈의 촬영하는 카메라의 위치를 이용하여 응시 방향을 결정할 수 있다.
프로세서(1220)는 복수의 영상 이후에 획득된 사용자의 양쪽 눈 각각의 영상에 대해 동공의 검출 여부 또는 눈 깜박임의 검출 여부를 판단할 수 있다. 프로세서(1220)는 판단 결과, 동공이 검출되지 않거나, 눈 깜박임이 검출된 경우, 복수의 영상 이후에 획득된 사용자의 양쪽 눈 각각의 영상에 대한 응시 방향을 이전에 결정된 응시 방향으로 유지할 수 있다.
프로세서(1220)는 양쪽 눈 각각의 응시 방향의 차이를 기초로 응시 거리를 결정할 수 있다. 한편, 프로세서(1220)는 결정된 응시 거리가 기 설정된 임계 거리 이상인지 여부를 판단할 수 있다.
메모리(1230)는 프로세서(1220)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(1230)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
출력부(1240)는 디바이스(1200)에서 처리되는 정보들을 출력할 수 있다. 예를 들어, 출력부(1240)는 프로세서(1220)에서 결정된 응시 거리에 따라 렌더링 된 가상 영상을 출력할 수 있다.
센싱부(1250)는 사용자의 응시 거리를 결정할 수 있다. 예를 들어, 센싱부(1250)는 깊이 센서 또는 스테레오 카메라 등을 포함할 수 있다. 센싱부(1250)는 기준점에 대한 동공의 위치를 기초로 프로세서(1220)에서 결정된 응시 거리가 임계 거리 이상인 경우, 응시 거리를 재결정할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
도면에 도시된 실시 예들에서 참고부호를 기재하였으며, 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 실시 예는 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 또한, 실시예는 동종의 또는 서로 다른 종류의 코어들, 서로 다른 종류의 CPU들을 채용할 수도 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
실시 예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
실시 예의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (13)

  1. 사용자의 양쪽 눈 각각을 촬영한 복수의 영상을 획득하는 단계;
    상기 복수의 영상 각각으로부터 눈의 가장자리에 위치한 구석점과 동공의 위치 및 눈의 윤곽선을 식별하는 단계;
    상기 눈의 윤곽선 및 상기 구석점의 위치를 기초로 결정된 기준점과 상기 동공의 위치 간의 차이에 기초하여 상기 양쪽 눈 각각의 응시 방향을 식별하는 단계;
    상기 식별된 양쪽 눈 각각의 응시 방향에 기초하여 참조 평면에서 상기 양쪽 눈의 시선이 교차하는 지점들을 식별하는 단계;
    상기 식별된 지점들의 위치의 차이에 기초하여 응시 거리를 결정하는 단계; 및
    상기 결정된 응시 거리가 기 설정된 임계 거리 이상인 경우, 3차원 거리 센서를 기초로 상기 응시 거리를 재결정하는 단계를 포함하는, 응시 거리를 결정하는 방법.
  2. 제 1항에 있어서, 상기 응시 방향을 식별하는 단계는,
    상기 눈의 윤곽선으로부터 눈꺼풀의 형상을 식별하는 단계; 및
    상기 기준점과 동공의 위치 간의 차이 및 상기 식별된 눈꺼풀의 형상을 기초로, 상기 응시 방향을 식별하는 단계를 포함하는, 응시 거리를 결정하는 방법.
  3. 제 1항에 있어서, 상기 응시 방향을 식별하는 단계는,
    상기 기준점과 상기 동공의 위치 간의 차이를 기초로, 기 획득된 눈에 관한 3차원 모델 및 상기 사용자의 양쪽 눈을 촬영하는 카메라의 위치를 이용하여 상기 응시 방향을 식별하는, 응시 거리를 결정하는 방법
  4. 제 1항에 있어서,
    상기 복수의 영상 이후에 획득된 사용자의 양쪽 눈 각각의 영상에 대해 동공의 검출 여부 또는 눈 깜박임의 검출 여부를 판단하는 단계; 및
    상기 판단 결과, 상기 동공이 검출되지 않거나 상기 눈 깜박임이 검출된 경우, 상기 복수의 영상 이후에 획득된 사용자의 양쪽 눈 각각의 영상에 대한 응시 방향을 상기 식별된 응시 방향으로 유지하는 단계를 더 포함하는, 응시 거리를 결정하는 방법.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 응시 거리에 기초하여 가상 영상을 렌더링하는 단계를 더 포함하는, 응시 거리를 결정하는 방법.
  7. 사용자의 양쪽 눈 각각을 촬영하여 복수의 영상을 획득하는 촬영부;
    상기 복수의 영상 및 복수의 명령어를 저장하는 메모리;
    상기 복수의 명령어를 실행하여, 상기 복수의 영상 각각으로부터 눈의 가장자리에 위치한 구석점과 동공의 위치 및 눈의 윤곽선을 식별하고, 상기 눈의 윤곽선 및 상기 구석점의 위치를 기초로 결정된 기준점과 상기 동공의 위치 간의 차이에 기초하여 상기 양쪽 눈 각각의 응시 방향을 식별하며, 상기 식별된 양쪽 눈 각각의 응시 방향에 기초하여 참조 평면에서 상기 양쪽 눈의 시선이 교차하는 지점들을 식별하고, 상기 식별된 지점들의 위치의 차이에 기초하여 응시 거리를 결정하는 적어도 하나의 프로세서; 및
    상기 결정된 응시 거리가 기 설정된 임계 거리 이상인 경우, 상기 응시 거리에 관한 정보를 센싱하는 3차원 거리 센서를 포함하는, 응시 거리를 결정하는 디바이스.
  8. 제 7항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 눈의 윤곽선으로부터 눈꺼풀의 형상을 식별하고, 상기 기준점과 동공의 위치 간의 차이 및 상기 식별된 눈꺼풀의 형상을 기초로, 상기 응시 방향을 식별하는, 응시 거리를 결정하는 디바이스.
  9. 제 7항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 기준점과 상기 동공의 위치 간의 차이를 기초로 기 획득된 눈에 관한 3차원 모델 및 상기 사용자의 양쪽 눈을 촬영하는 카메라의 위치를 이용하여 상기 응시 방향을 식별하는, 응시 거리를 결정하는 디바이스.
  10. 제 7항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 복수의 영상 이후에 획득된 사용자의 양쪽 눈 각각의 영상에 대해 동공의 검출 여부 또는 눈 깜박임의 검출 여부를 판단하고, 상기 판단 결과, 상기 동공이 검출되지 않거나 상기 눈 깜박임이 검출된 경우, 상기 복수의 영상 이후에 획득된 사용자의 양쪽 눈 각각의 영상에 대한 응시 방향을 상기 식별된 응시 방향으로 유지하는, 응시 거리를 결정하는 디바이스.
  11. 삭제
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제 7 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 응시 거리에 기초하여 가상 영상을 렌더링하는, 응시 거리를 결정하는 디바이스.
  13. 제 1항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020207018804A 2017-12-14 2017-12-14 응시 거리를 결정하는 방법 및 디바이스 KR102460665B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/014685 WO2019117350A1 (ko) 2017-12-14 2017-12-14 응시 거리를 결정하는 방법 및 디바이스

Publications (2)

Publication Number Publication Date
KR20200086742A KR20200086742A (ko) 2020-07-17
KR102460665B1 true KR102460665B1 (ko) 2022-10-31

Family

ID=66820904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207018804A KR102460665B1 (ko) 2017-12-14 2017-12-14 응시 거리를 결정하는 방법 및 디바이스

Country Status (3)

Country Link
US (1) US11216974B2 (ko)
KR (1) KR102460665B1 (ko)
WO (1) WO2019117350A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108521547A (zh) * 2018-04-24 2018-09-11 京东方科技集团股份有限公司 图像处理方法、装置及设备
JP7269131B2 (ja) * 2019-08-14 2023-05-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム
KR102294029B1 (ko) * 2019-12-04 2021-08-26 서울대학교산학협력단 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법
CN114935971A (zh) * 2021-02-05 2022-08-23 京东方科技集团股份有限公司 显示驱动芯片、显示装置和显示驱动方法
CN115886717B (zh) * 2022-08-18 2023-09-29 上海佰翊医疗科技有限公司 一种眼裂宽度的测量方法、装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090109400A1 (en) * 2007-10-25 2009-04-30 Tomoaki Yoshinaga Gaze direction measuring method and gaze direction measuring device
US20160370605A1 (en) * 2013-12-17 2016-12-22 Liron Ain-Kedem Controlling vision correction using eye tracking and depth detection

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250741A (ja) * 2004-03-03 2005-09-15 Sanyo Electric Co Ltd 画像生成装置および画像生成方法、ステレオ視用画像生成装置およびステレオ視用画像生成方法
KR100820639B1 (ko) 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
JP2010033305A (ja) * 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置
JP5230748B2 (ja) * 2008-09-26 2013-07-10 パナソニック株式会社 視線方向判定装置及び視線方向判定方法
KR100949743B1 (ko) 2009-03-20 2010-03-25 동국대학교 산학협력단 고글 형태를 갖는 착용형 시선 추적 장치 및 방법
KR101286965B1 (ko) 2009-12-29 2013-07-23 동국대학교 산학협력단 시선 추적 장치 및 방법
KR101383235B1 (ko) 2010-06-17 2014-04-17 한국전자통신연구원 시선 추적을 이용한 좌표 입력 장치 및 그 방법
KR20120006819A (ko) 2010-07-13 2012-01-19 한국기초과학지원연구원 시선 추적 방법 및 이를 적용하는 장치
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
KR101255219B1 (ko) 2011-10-13 2013-04-24 상명대학교 산학협력단 시선 추적 방법 및 이를 적용한 장치
KR101288447B1 (ko) 2011-10-20 2013-07-26 경북대학교 산학협력단 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
CN104094197B (zh) * 2012-02-06 2018-05-11 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
KR101977638B1 (ko) * 2012-02-29 2019-05-14 삼성전자주식회사 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
KR102047494B1 (ko) * 2012-09-10 2019-11-21 삼성전자주식회사 투명 디스플레이 장치 및 그 객체 선택 방법
US11137832B2 (en) * 2012-12-13 2021-10-05 Eyesight Mobile Technologies, LTD. Systems and methods to predict a user action within a vehicle
KR101501165B1 (ko) 2013-12-02 2015-03-11 한국산업기술대학교산학협력단 눈동자 추적을 이용한 안구 마우스
US20150261293A1 (en) 2014-03-12 2015-09-17 Weerapan Wilairat Remote device control via gaze detection
KR20160026565A (ko) 2014-09-01 2016-03-09 상명대학교서울산학협력단 양 눈 시선 정보를 이용한 3차원 시선 추적 방법
US20170119298A1 (en) * 2014-09-02 2017-05-04 Hong Kong Baptist University Method and Apparatus for Eye Gaze Tracking and Detection of Fatigue
US9953247B2 (en) 2015-01-29 2018-04-24 Samsung Electronics Co., Ltd. Method and apparatus for determining eye position information
CN105989326B (zh) 2015-01-29 2020-03-03 北京三星通信技术研究有限公司 人眼三维位置信息的确定方法和装置
KR101745774B1 (ko) 2015-03-30 2017-06-12 한양대학교 산학협력단 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템
US10437327B2 (en) * 2015-05-08 2019-10-08 Apple Inc. Eye tracking device and method for operating an eye tracking device
KR102469273B1 (ko) 2016-02-01 2022-11-22 한국전자통신연구원 시선 추적 장치 및 시선 추적 방법
JP2017182739A (ja) * 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
EP3436855A4 (en) * 2016-06-30 2019-12-11 Hewlett-Packard Development Company, L.P. SMART MIRROR
WO2018144890A1 (en) * 2017-02-03 2018-08-09 Warner Bros. Entertainment, Inc. Rendering extended video in virtual reality
KR102670987B1 (ko) * 2017-05-31 2024-05-30 매직 립, 인코포레이티드 눈 추적 교정 기술들
GB2565140A (en) * 2017-08-04 2019-02-06 Nokia Technologies Oy Virtual reality video processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090109400A1 (en) * 2007-10-25 2009-04-30 Tomoaki Yoshinaga Gaze direction measuring method and gaze direction measuring device
US20160370605A1 (en) * 2013-12-17 2016-12-22 Liron Ain-Kedem Controlling vision correction using eye tracking and depth detection

Also Published As

Publication number Publication date
US20200372677A1 (en) 2020-11-26
WO2019117350A1 (ko) 2019-06-20
KR20200086742A (ko) 2020-07-17
US11216974B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
KR102460665B1 (ko) 응시 거리를 결정하는 방법 및 디바이스
US10684681B2 (en) Neural network image processing apparatus
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
CN107111753B (zh) 用于注视跟踪模型的注视检测偏移
TWI611353B (zh) 一種眼球追蹤的方法及裝置
US9363499B2 (en) Method, electronic device and medium for adjusting depth values
JP2018532199A5 (ko)
KR101769177B1 (ko) 시선 추적 장치 및 방법
CN106504271A (zh) 用于眼睛跟踪的方法和设备
WO2019137215A1 (en) Head pose and distraction estimation
US9454226B2 (en) Apparatus and method for tracking gaze of glasses wearer
Pires et al. Unwrapping the eye for visible-spectrum gaze tracking on wearable devices
JP6855872B2 (ja) 顔認識装置
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP2018018234A (ja) 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム
KR20160127264A (ko) 시선 검출 시스템 및 그 방법
JP6697006B2 (ja) 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体
CN112800966B (zh) 一种视线的追踪方法及电子设备
JP6244885B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010102504A (ja) 眼領域検出装置、及びプログラム
JP2010009234A (ja) 眼画像処理装置
KR102294029B1 (ko) 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법
KR101215751B1 (ko) 얼굴 회전각 검출 방법 및 장치
JPWO2020255645A1 (ja) ３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびプログラム
CN115130045A (zh) 一种驾驶员视野盲区的计算方法、装置、车辆及介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant