KR101788452B1 - 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법 - Google Patents

시선 인식을 이용하는 콘텐츠 재생 장치 및 방법 Download PDF

Info

Publication number
KR101788452B1
KR101788452B1 KR1020160038257A KR20160038257A KR101788452B1 KR 101788452 B1 KR101788452 B1 KR 101788452B1 KR 1020160038257 A KR1020160038257 A KR 1020160038257A KR 20160038257 A KR20160038257 A KR 20160038257A KR 101788452 B1 KR101788452 B1 KR 101788452B1
Authority
KR
South Korea
Prior art keywords
dimensional
distance
focal length
eye
extracting
Prior art date
Application number
KR1020160038257A
Other languages
English (en)
Other versions
KR20170111938A (ko
Inventor
김시호
이상호
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160038257A priority Critical patent/KR101788452B1/ko
Priority to US15/474,269 priority patent/US10595001B2/en
Publication of KR20170111938A publication Critical patent/KR20170111938A/ko
Application granted granted Critical
Publication of KR101788452B1 publication Critical patent/KR101788452B1/ko

Links

Images

Classifications

    • H04N13/0484—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H04N13/0495—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 스테레오 3차원 영상 콘텐츠 재생에 적용하기 위한 것으로서, 스테레오 3차원 디스플레이에서 어지럼증과 같은 사용자 불쾌감 또는 눈의 피로도(Eye Fatigue)을 완화시키기 위한 기술에 관한 것으로서, 시선 추적(Eye-Tracking)으로 획득한 시선 정보를 이용하여, 3차원 좌표를 산출하는 연산부, 상기 산출된 3차원 좌표에 상응하는 초점 거리(Focal Length)를 추출하는 추출부, 및 상기 산출된 초점 거리(Focal Length)에 기초하여, 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점 중에서 적어도 하나를 보정하는 처리부를 포함한다.

Description

시선 인식을 이용하는 콘텐츠 재생 장치 및 방법{APPARATUS AND METHOD FOR REPLAYING CONTENTS USING EYE TRACKING OF USERS}
본 발명은 스테레오 3차원 영상 콘텐츠 재생에 적용하기 위한 것으로서, 스테레오 3차원 디스플레이에서 어지럼증과 같은 사용자 불쾌감 또는 눈의 피로도(Eye Fatigue)를 완화시키기 위한 기술에 관한 것이다.
가상현실이란 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황, 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 말한다. 가상현실은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 해주기 위해 사용한다. 가상현실의 응용분야로는 게임, 3차원 실감 콘텐츠 영상, 교육, 원격 회의, 훈련, 고급 프로그래밍, 원격조작, 원격위성 표면탐사, 탐사자료 분석, 과학적 시각화(scientific visualization) 등이 있다.
가상현실은 헤드 마운트 디스플레이와 같은 장치를 통해 이용할 수 있다.
헤드 마운트 디스플레이는 '머리에 쓰는 화면 장치'로서, 눈앞에 작은 디스플레이 기기를 렌즈 구조물을 통해 오브젝트가 잘 보이면서도 크게 보이도록 한다.
종래의 헤드 마운트 디스플레이는 초점 거리(Focal length)가 고정 되어 있었다. 한편, 시선추적(Eye-Tracking) 기술은 HMD에서 재생되는 컨텐츠에서 사용자가 어느 부분 또는 물체를 바라보고 있는지 파악하기 위하여 사용되고 있다.
일반적인 헤드 마운트 디스플레이는 고정 스크린 방식을 사용하기 때문에 착용자(사용자)의 눈과 사물 간의 초점 거리의 변화에 따른 눈의 수정체의 초점(accomodation) 변경과 양쪽 눈의 수렴(convergence) 각도에 대해서 고려하지 못하고 있다. 즉, 종래의 헤드 마운트 디스플레이는 사용자가 바라보는 사물에 따른 초점(accomodation)과 수렴(convergence)의 정합이 초점 거리를 반영하지 못하였다.
대한민국 등록특허 제10-0820639호 대한민국 등록특허 제10-1200096호
일측에 따르면, 컴퓨터에 의해 적어도 일시적으로 구현되는 콘텐츠 재생 장치에 있어서, 시선 추적(Eye-Tracking)으로 획득한 시선 정보를 이용하여, 3차원 좌표를 산출하는 연산부, 상기 산출된 3차원 좌표에 상응하는 초점 거리(Focal Length)를 추출하는 추출부, 및 상기 산출된 초점 거리(Focal Length)에 기초하여, 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점 중에서 적어도 하나를 보정하는 처리부를 포함한다.
일실시예에 따른 상기 연산부는, 사용자의 동공에 대한 시선 추적(Eye-Tracking)을 통해 상기 사용자에 의해 모니터링되는 스크린 상의 2차원 좌표를 상기 시선 정보로서 획득한다.
일실시예에 따른 상기 연산부는, 상기 획득한 2차원 좌표에 피킹(Picking) 기법을 적용하여, 상기 2차원 좌표에 상응하는 3차원 좌표를 산출한다.
일실시예에 따른 상기 추출부는, 상기 산출된 2차원 좌표 값과 가상 카메라 간의 거리를 계산하여 초점 거리를 추출한다.
일실시예에 따른 상기 처리부는, 상기 산출된 초점 거리 이외에 위치하는 다른 타겟 오브젝트에 대한 초점을 블러링 처리하여 상기 원근 및 초점 중에서 적어도 하나를 보정한다.
일실시예에 따른 상기 처리부는, 렌더링 스테레오 카메라의 방향을 상기 타겟 오브젝트의 위치에 상응하는 방향으로 조정하여 상기 원근 및 초점 중에서 적어도 하나를 보정한다.
일실시예에 따른 상기 처리부는, 상기 오브젝트 거리에 기초하여 렌더링 스테레오 카메라의 IPD(inter-pupillary distance)를 조정하여 상기 원근 및 초점 중에서 적어도 하나를 보정한다.
일실시예에 따른 상기 연산부는, 상기 렌더링 스테레오 카메라로부터 제1 타겟 오브젝트까지의 제1 오브젝트 거리와 상기 렌더링 스테레오 카메라로부터 제2 타겟 오브젝트까지의 제2 오브젝트 거리를 산출하고, 상기 처리부는, 상기 렌더링 스테레오 카메라의 IPD(inter-pupillary distance)에 상기 제1 오브젝트 거리 및 상기 제2 오브젝트 거리의 비율을 반영하여 조정할 IPD(inter-pupillary distance)를 계산한다.
일측에 따른 컴퓨터에 의해 적어도 일시적으로 구현되는 콘텐츠 재생 장치는 시선 추적(Eye-Tracking)을 수행하여 화면 좌표계에 대한 시선 정보를 산출하는 시선 추적부, 상기 화면 좌표계에 대한 시선 정보에 기초하여, 로컬 좌표계 상에서 정의된 3차원 객체의 정점으로 변환하는 변환부, 상기 변환된 3D 객체의 정점과 상기 화면 좌표계 간 거리를 이용하여 초점 거리(Focal Length)를 추출하는 추출부, 및 상기 추출된 초점 거리(Focal Length)에 기초하여 피사계 심도(Depth of Field, DoF)를 조정하는 처리부를 포함한다.
일실시예에 따른 상기 시선 추적부는, 사용자의 동공에 대한 시선 추적(Eye-Tracking)을 통해 상기 화면 좌표계에 대한 시선 정보를 산출한다.
일측에 따른 컴퓨터에 의해 적어도 일시적으로 구현되는 콘텐츠 재생 장치의 동작 방법은 시선 추적(Eye-Tracking)으로 획득한 시선 정보를 이용하여, 3차원 좌표를 산출하는 단계, 상기 산출된 3차원 좌표에 상응하는 초점 거리(Focal Length)를 추출하는 단계, 및 상기 산출된 초점 거리(Focal Length)에 기초하여, 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점 중에서 적어도 하나를 보정하는 단계를 포함한다.
일실시예에 따른 상기 3차원 좌표를 산출하는 단계는, 사용자의 동공에 대한 시선 추적(Eye-Tracking)을 통해 상기 사용자에 의해 모니터링되는 스크린 상의 2차원 좌표를 상기 시선 정보로서 획득하는 단계를 포함한다.
일실시예에 따른 상기 3차원 좌표를 산출하는 단계는, 상기 획득한 2차원 좌표에 피킹(Picking) 기법을 적용하여, 상기 2차원 좌표에 상응하는 3차원 좌표를 산출하는 단계를 포함한다.
일실시예에 따른 상기 초점 거리(Focal Length)를 추출하는 단계는, 상기 산출된 2차원 좌표 값과 가상 카메라 간의 거리를 계산하여 초점 거리를 추출하는 단계를 포함한다.
도 1은 일실시예에 따른 콘텐츠 재생 장치를 설명하는 도면이다.
도 2는 콘텐츠 재생 장치를 이용하여 피사계 심도(Depth of Field)를 계산하는 실시예를 설명하는 도면이다.
도 3은 일실시예에 따른 콘텐츠 재생 장치가 고려하는 눈의 수정체의 초점(accomodation) 변경과 양쪽 눈의 수렴(convergence) 각도를 설명하는 도면이다.
도 4는 오브젝트 이동에 따른 초점 거리의 변화를 설명하는 도면이다.
도 5는 초점 거리의 변화에 따른 인터레스팅 존의 변화를 설명하는 도면이다.
도 6은 IPD의 길이를 조정하는 실시예를 설명하는 도면이다.
도 7은 다른 일실시예에 따른 콘텐츠 재생 장치를 설명하는 도면이다.
도 8은 일실시예에 따른 콘텐츠 재생 장치의 동작 방법을 설명하는 도면이다.
이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 일실시예에 따른 콘텐츠 재생 장치(100)를 설명하는 도면이다.
콘텐츠 재생 장치(100)는 실시간으로 변화 가능한 가변적인 초점 거리(Focal-Length)를 시선 추적(Eye-Tracking)된 좌표를 이용하여 구하여 이를 착용형 가상현실 기기용 콘텐츠 내에 적용한다는 종래 기술들과 차이가 있다.
이를 위해, 일실시예에 따른 콘텐츠 재생 장치(100)는 연산부(110), 추출부(120), 및 처리부(130)를 포함할 수 있다.
콘텐츠 재생 장치(100)는 컴퓨팅 단말에 의해 적어도 일시적으로 구현될 수 있다. 컴퓨팅 단말은 퍼스널 컴퓨터, 의료용 기기, 스마트폰, 태블릿 컴퓨터, 웨어러블 디바이스 등 임의의 형태의 전자 기기를 포함한다. 연산부(110), 추출부(120), 및 처리부(130)는 각각 이러한 전자 기기에 포함되는 물리적 및/또는 논리적 엘리먼트일 수 있다. 이를테면 전용 하드웨어(dedicated hardware) 또는 소프트웨어나 오퍼레이팅 시스템에 의해 제어되는 범용 연산 자원에 의해 연산부(110), 추출부(120), 및 처리부(130)가 구현될 수 있다. 또한 연산부(110), 추출부(120), 및 처리부(130)가 하나의 칩에서 함께 구현되는, 따라서 물리적으로 구분되지 않는 것일 수도 있으며, 이러한 하드웨어 자원의 구현은 기술의 발달이나 설계 변경에 의해 얼마든지 변경될 수 있다. 따라서 연산부(110), 추출부(120), 및 처리부(130)의 기능과 동작 및 구조가 서로 구분되는 것으로 이해되지만 실시예에 따라 이러한 구분이 다르게 해석되는 경우도 있을 수 있다.
구체적으로, 연산부(110)는 시선 추적(Eye-Tracking)으로 획득한 시선 정보를 이용하여, 3차원 좌표를 산출할 수 있다.
일례로, 연산부(110)는 사용자의 동공을 시선 추적하여 3차원 좌표를 산출할 수 있다. 보다 구체적으로, 연산부(110)는 사용자의 동공에 대한 시선 추적 결과로부터 사용자에 의해 모니터링되는 스크린 상의 2차원 좌표를 우선적으로 획득할 수 있다. 이 경우, 획득한 2차원 좌표가 시선 정보로 해석될 수 있다.
일실시예에 따른 연산부(110)는 사용자의 동공을 직접 시선 추적하여 시선 정보를 획득할 수도 있고, 외부 모듈에 의해 수행된 시선 추적의 결과를 전달 받고, 전달 받은 결과를 이용하여 시선 정보를 연산할 수도 있다.
일반적인 시선 추적 기술은 신경망을 이용하여 모니터 상에 사용자가 응시하는 위치를 추정하지만, 사용자와 모니터 사이의 거리는 고정되지 않고 입력 영상 내에 얼굴 이외에는 복잡한 배경이 존재하지 않는다는 제약조건이 필요 등의 이유에서 계산결과의 정확도가 낮을 수 밖에 없다. 그러나, 본 발명에서 사용하려는 시선 추적 기술은 착용형 가상현실 기기(VR HMD, virtual reality Head Mounted Display)용의 콘텐츠에 적용이 가능하며, 착용형 가상현실 기기의 특성 상 사용자의 눈동자와 모니터 사이의 거리가 고정되기 때문에, 시선 추적의 결과의 정확도가 향상된다.
그러나, 본 발명의 적용 기술은 착용형 가상 현실 기기용 콘텐츠로만 제한되지 않으며, 스테레오 디스플레이 형태를 기본 구성으로 하는 일반적인 3차원 콘텐츠 디스플레이에도 적용이 가능하다. 예를 들면, 편광형 안경 또는 전자 셔터형 안경을 사용하는 3차원 영상의 콘텐츠 제작과 디스플레이에도 본 발명의 적용이 가능하다.
일례로, 본 발명은 카메라와 조명을 착용형 가상현실 기기에 설치하고, 눈 영상을 입력 받아 사용자의 눈동자의 움직임을 사용하여 시선 위치를 계산할 수 있다.
사용자와 모니터와의 거리에 큰 영향을 받지 않고 사용자의 움직임이 자유롭다.
일례로, 연산부(110)는 시선 추적 카메라로부터 사용자의 눈 영상을 취득한 후, 영상에서 원형검출 알고리즘과 지역 이진화를 통해서 동공 중심을 구할 수 있다. 다음으로는 연산부(110)는 모니터의 적외선 조명에 의해 눈에 비친 반사광을 찾고, 이렇게 구해진 동공중심과 반사광들의 중심을 이용하여, 시선 위치를 계산할 수 있다.
또한 사용자의 얼굴 움직임에 의한 시선위치 계산 오차가 존재할 수 있는데, 연산부(110)는 얼굴과 모니터, 조명의 위치관계를 고려한 모델링을 통해 이를 보정할 수 있다.
연산부(110)는 사용자의 동공에 대한 시선 추적(Eye-Tracking)을 통해 사용자에 의해 모니터링되는 스크린 상의 2차원 좌표를 상기 시선 정보로서 획득하고, 획득한 2차원 좌표에 피킹(Picking) 기법을 적용하여, 2차원 좌표에 상응하는 3차원 좌표를 산출할 수 있다. 다만, 피킹(Picking) 기법은 일예로서, 본 발명의 특징적 구성을 구현하는데 피킹(Picking) 기법만이 이용될 수 있는 것은 아니다.
예를 들어, 시선 추적에 따른 2차원 좌표가 피킹된 지점에 해당한다. 이때, 연산부(110)는 피킹된 지점에 상응하는 3차원 좌표를 산출할 수 있다.
시선 추적을 통해 획득한 2차원 좌표는 스크린상의 위치이고, 연산부(110)는 이 스크린상의 위치를 월드 좌표로 해석될 수 있는 3차원 좌표로 변환할 수 있다.
이를 위해, 연산부(110)는 렌더링 파이프라인(Rendering Pipe Line) 중 월드 변환(world transform)을 통해 2차원 좌표에서 이동, 회전, 크기 변환 등을 통해 3차원 좌표로 변환할 수 있다.
다음으로, 추출부(120)는 산출된 3차원 좌표에 상응하는 초점 거리(Focal Length)를 추출할 수 있다. 초점 거리는 대물렌즈의 중심 또는 주경의 반사면의 중심에서 초점면까지의 거리를 의미하는 것으로서, 본 발명에서는 스크린 상의 2차원 좌표로부터 가상의 3차원 좌표까지의 거리로 해석될 수도 있다.
처리부(130)는 산출된 초점 거리(Focal Length)에 기초하여, 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점 중에서 적어도 하나를 보정할 수 있다.
예를 들어, 처리부(130)는 추출된 초점 거리(Focal Length)에 기초하여 피사계 심도(Depth of Field, DoF)를 조정할 수 있다. 특히, 처리부(130)는 산출된 초점 거리 이외에 위치하는 다른 타겟 오브젝트에 대한 초점을 블러링 처리함으로써 원근 및 초점 중에서 적어도 하나를 보정할 수 있다.
일례로, 초점 거리(Focal Length)에 의해서 영상에서 사람의 눈에 상이 선명하게 맺히는 인터레스팅 존(interesting zone)이 변경될 수 있는데, 변경된 인터레스팅 존에 포함될 수 있도록 처리부(130)가 피사계 심도를 조정할 수 있다. 참고로, 인터레스팅 존은 두 관심원(Circle of interest) 사이의 영역으로 설정될 수 있다.
또한, 처리부(130)는 렌더링 스테레오 카메라의 방향을 상기 타겟 오브젝트의 위치에 상응하는 방향으로 조정하여 원근 및 초점 중에서 적어도 하나를 보정할 수 있고, 처리부(130)는 오브젝트 거리에 기초하여 렌더링 스테레오 카메라의 IPD(inter-pupillary distance)를 조정하여 상기 원근 및 초점 중에서 적어도 하나를 보정할 수도 있다.
도 2는 콘텐츠 재생 장치를 이용하여 피사계 심도(Depth of Field)를 계산하는 실시예를 설명하는 도면이다.
콘텐츠 재생 장치는 동공(211)에 대한 시선 추적을 통해 스크린 상의 스크린 상(220)의 2차원 좌표(x_scr, y_scr)를 추출할 수 있다.
다음으로, 레이 캐스팅(Ray-Casting)을 통해 (x_scr, y_scr)에 대응하는 오브젝트(212)의 (x,y,z) 계산할 수 있다. 오브젝트(212)의 (x,y,z)는 스크린 상(220)의 평면과 3차원 공간의 평면(230) 사이에 위치할 수 있다.
레이 캐스팅(Ray-Casting)은 빛을 발사해서 보이는지 안보이는지를 판단하는 것으로서, 뷰 평면의 한 픽셀 지점, 즉 (x_scr, y_scr)을 통과하는 시선 방향(line of sight)의 한 지점을 (x,y,z)로 계산할 수 있다.
2차원 좌표 (x_scr, y_scr)에 상응하는 3차원 좌표 (x,y,z)는 광선방사(ray casting) 함수를 통해 계산이 가능하며, 빛의 경로를 추적하는 기하-광학 기법에 기초할 수 있다.
다음으로, 콘텐츠 재생 장치는 2차원 좌표와 가상환경의 카메라 사이의 거리([x_c; y_c; z_c], [x; y; z])를 계산할 수 있다.
콘텐츠 재생 장치는 거리([x_c; y_c; z_c], [x; y; z])를 이용하여 초점 거리(210)를 고정 시킨 후 피사계 심도를 계산할 수 있다.
피사계 심도는 피사체의 심도로 해석될 수 있으며, 사용자의 시선이 움직임에 따라 변경되는 초점 거리에 상응하여 조정될 수 있다.
피사체의 심도는 관심원(circle of interest, CoI)들에 의해서 조정될 수 있다.
관심원은 고정 오브젝트를 기준으로 스테레오 카메라 방향 및 반대 방향으로 일정 거리 이격되는 피사계 심도를 나타내는 것으로서, 관심원 내에 위치하는 타겟 오브젝트의 경우 초점이 맞아 또렷하게 표시될 수 있다.
도 3은 일실시예에 따른 콘텐츠 재생 장치가 고려하는 눈의 수정체의 초점(accomodation) 변경과 양쪽 눈의 수렴(convergence) 각도를 설명하는 도면이다.
눈의 수정체의 초점(accomodation)에 따르면, 대상물체의 거리에 따른 수정체 초점과 각막을 통해 피사체 심도가 조절될 수 있다. 도면부호 310을 살펴보면, 근거리 타겟(near target)에 대한 초점(312)만 포커싱되는 경우 원거리 타겟(far target)에 대한 초점(311)은 동공 내에서 포커싱되지 않고 블러링된다. 한편, 원거리 타겟(far target)에 대한 초점(313)만 포커싱되는 경우 근거리 타겟(near target)에 대한 초점(314)은 동공 내에서 포커싱되지 않고 블러링된다.
또한, 양쪽 눈의 수렴(convergence) 각도에 따르면, 눈의 회전 이동을 통해 특정 오브젝트에 대해서만 초점이 포커싱되고 다른 오브젝트에 대해서는 블러링될 수 있다.
본 발명은 눈의 수정체의 초점(accomodation)과 양쪽 눈의 수렴(convergence)의 일치를 통해 스테레오 3차원 디스플레이에서 어지럼증과 같은 사용자 불쾌감 또는 눈의 피로도(Eye Fatigue)를 완화시킬 수 있다.
도 4는 오브젝트 이동에 따른 초점 거리의 변화를 설명하는 도면이다.
도 4의 실시예(400)를 살펴보면, EyeLeft는 왼쪽 눈의 동공 중심을, EyeRight는 오른쪽 눈의 동공 중심으로 해석될 수 있다.
시선은 EyeLeft와 EyeRight의 교점에 해당하며, P1에 해당하는 제1 오브젝트를 향하는 방향에서, P2에 해당하는 제2 오브젝트를 향하는 방향으로 이동하는 과정에서 추적될 수 있다.
P1에 해당하는 오브젝트 1은 IPD(inter-pupillary distance) 축 상에서
Figure 112016030519931-pat00001
만큼 회전하는 방향에 위치하며, P2에 해당하는 오브젝트는
Figure 112016030519931-pat00002
, 즉
Figure 112016030519931-pat00003
에서
Figure 112016030519931-pat00004
를 뺀 만큼의 방향에 위치한다.
예를 들어,
Figure 112016030519931-pat00005
,
Figure 112016030519931-pat00006
, 및
Figure 112016030519931-pat00007
는 아래 [수학식 1]에 의해서 산출할 수 있다.
[수학식 1]
Figure 112016030519931-pat00008
=tan-1(LeftEye1/d1)
Figure 112016030519931-pat00009
L2=tan-1(LeftEye2/d2)
Figure 112016030519931-pat00010
이때, d1은 동공의 중심으로부터 제1 오브젝트까지의 거리이고, d2는 동공의 중심으로부터 제2 오브젝트까지의 거리이다. 또한, d1과 d2는 초점 거리에 비례하여 증감할 수 있다. 즉, 시선 추적 결과 초점 거리가 변경됨에 따라서 오브젝트에 대한 피사계 심도가 조정될 수 있다.
오브젝트 P1 이 P2로 이동 했을 때
Figure 112016030519931-pat00011
에서의 각도의 변화값이 [수학식 1]에서 구한
Figure 112016030519931-pat00012
이므로 이를 이용하여 Camera Transformation Matrix 작성(Homogenenous)이 가능하다.
즉, 카메라의 방향만 조정했으므로 위치에 대한 변화값은 0 -> x = 0이다.
이를 참고하면, Camera Transformation Matrix는 [수학식 2]에 의해 산출될 수 있다.
[수학식 2]
Figure 112016030519931-pat00013
도 5는 초점 거리의 변화에 따른 인터레스팅 존의 변화를 설명하는 도면이다.
도 5의 실시예(500)는, 오브젝트의 움직임이 발생하는 경우 시선은 오브젝트를 향하는 방향으로 이동한다. 이에, 시선 추적으로 통해 동공을 추적하여 시선이 향하는 2차원 좌표가 계산될 수 있고, 계산된 2차원 좌표에 레이 캐스팅(Ray-Casting)을 통해 3차원 좌표를 추출할 수 있다.
도 5의 실시예(500)에서 타겟 오브젝트가 원거리에서 근거리로 이동한다고 가정한다면, 인터레스팅 존에 의해 형성되는 피사계 심도 역시 원거리에서 근거리 방향으로 조정되어야 한다.
콘텐츠 재생 장치는 피사계 심도를 원거리에서 근거리 방향으로 조정하기 위해 타겟 오브젝트의 관심원들의 위치를 초점 거리에 기초하여 조정할 수 있다. 관심원은 고정 오브젝트를 기준으로 스테레오 카메라 방향 및 반대 방향으로 일정 거리 이격되는 피사계 심도를 나타내는 것으로서, 관심원 내에 위치하는 타겟 오브젝트의 경우 초점이 맞아 또렷하게 표시될 수 있다. 콘텐츠 재생 장치는 타겟 오브젝트가 또렷하게 표시될 수 있도록, 시선 추적을 통해 계산된 초점 거리를 반영하여 피사계 심도를 위한 관심원들을 조정할 수 있다.
콘텐츠 재생 장치는 시선 추적의 결과에 따라 산출된 초점 거리를 활용하여, 사용자 눈의 버전스 각도에 상응하는 카메라 각도의 즉각적인 매칭과, IPD의 추가 조정이 가능하다.
이를 위해, 처리부는 필드의 깊이(Depth of Field, DoF)에 상응하는 관심원(circle of interest, CoI)을 정의하고, 정의된 관심원(circle of interest, CoI)을 이용하여 착란원(Circle of Confusion, CoC)을 계산하며, 계산된 착란원(Circle of Confusion, CoC)에 따라 블러링을 위한 경계 영역(bounded zone)과 파라미터 값을 정의하여 블러링 처리할 수 있다.
관심원은 고정 오브젝트를 기준으로 스테레오 카메라 방향 및 반대 방향으로 일정 거리 이격되는 피사계 심도를 나타내는 것으로서, 관심원 내에 위치하는 타겟 오브젝트의 경우 초점이 맞아 또렷하게 표시될 수 있다. 한편, 타겟 오브젝트가 스테레오 카메라 측에 위치하는 경우에는 스테레오 카메라의 방향을 고정 오브젝트로 향하는 방향으로 움직임으로써, 미스매칭에 따른 어지러움을 예방할 수 있다. 즉, 본 발명에서는 종래 고정되어 있던 초점 거리에 대해, 시선 추적을 통해 획득한 초점 거리를 활용하여 적응적으로 조정할 수 있다.
도 6은 IPD의 길이를 조정하는 실시예를 설명하는 도면이다.
본 발명에서는 미스매칭에 따른 어지러움을 예방하기 위해 스테레오 카메라의 IPD를 조정할 수 있다. 일실시예에서는 타겟 오브젝트가 스테레오 카메라 측으로 가까운 상태에서 스테레오 카메라의 IPD를 크게 조정함으로써 미스매칭에 따른 어지러움을 예방할 수 있다.
이를 위해, 연산부는 렌더링 스테레오 카메라로부터 제1 타겟 오브젝트까지의 제1 오브젝트 거리와 렌더링 스테레오 카메라로부터 제2 타겟 오브젝트까지의 제2 오브젝트 거리를 산출할 수 있다. 이때, 처리부는 렌더링 스테레오 카메라의 IPD(inter-pupillary distance)에 제1 오브젝트 거리 및 제2 오브젝트 거리의 비율을 반영하여 조정할 IPD(inter-pupillary distance)를 계산할 수 있다.
구체적으로, 제1 타겟 오브젝트에 대한 IPD1는 제2 타겟 오브젝트를 위해 IPD2로 변경될 수 있다.
IPD는 스테레오 카메라의 각각의 렌즈의 중심간 거리로 해석될 수도 있으며, 본 발명에서는 타겟 오브젝트와의 거리를 고려하여 조정될 수 있다.
보다 구체적으로, IPD2는 아래 [수학식 3]을 통해 산출될 수 있다.
[수학식 3]
Figure 112016030519931-pat00014
여기서, Disteye2obj1는 스테레오 카메라의 중심과 제1 오브젝트 간 최단 거리로 해석될 수 있고, Disteye2obj2는 스테레오 카메라의 중심과 제2 오브젝트 간 최단 거리로 해석될 수 있다.
즉, 콘텐츠 재생 장치는 스테레오 카메라로부터 제1 타겟 오브젝트까지의 제1 오브젝트 거리(Disteye2obj1)와 스테레오 카메라로부터 제2 타겟 오브젝트까지의 제2 오브젝트 거리(Disteye2obj2)를 산출하고, 상기 스테레오 카메라의 IPD(inter-pupillary distance)에 제1 오브젝트 거리(Disteye2obj1) 및 제2 오브젝트 거리(Disteye2obj2)의 비율을 반영하여 조정할 IPD(inter-pupillary distance)를 계산할 수 있다.
도 7는 다른 일실시예에 따른 콘텐츠 재생 장치(700)를 설명하는 도면이다.
일실시예에 따른 콘텐츠 재생 장치(700)는 시선 추적부(710), 변환부(720), 추출부(730), 및 처리부(740)를 포함한다.
콘텐츠 재생 장치(700)는 컴퓨팅 단말에 의해 적어도 일시적으로 구현될 수 있다. 컴퓨팅 단말은 퍼스널 컴퓨터, 의료용 기기, 스마트폰, 태블릿 컴퓨터, 웨어러블 디바이스 등 임의의 형태의 전자 기기를 포함한다. 시선 추적부(710), 변환부(720), 추출부(730), 및 처리부(740)는 각각 이러한 전자 기기에 포함되는 물리적 및/또는 논리적 엘리먼트일 수 있다. 이를테면 전용 하드웨어(dedicated hardware) 또는 소프트웨어나 오퍼레이팅 시스템에 의해 제어되는 범용 연산 자원에 의해 시선 추적부(710), 변환부(720), 추출부(730), 및 처리부(740)가 구현될 수 있다. 또한 시선 추적부(710), 변환부(720), 추출부(730), 및 처리부(740)가 하나의 칩에서 함께 구현되는, 따라서 물리적으로 구분되지 않는 것일 수도 있으며, 이러한 하드웨어 자원의 구현은 기술의 발달이나 설계 변경에 의해 얼마든지 변경될 수 있다. 따라서 시선 추적부(710), 변환부(720), 추출부(730), 및 처리부(740)의 기능과 동작 및 구조가 서로 구분되는 것으로 이해되지만 실시예에 따라 이러한 구분이 다르게 해석되는 경우도 있을 수 있다.
구체적으로, 시선 추적부(710)는 사용자의 동공에 대한 시선 추적(Eye-Tracking)을 수행하여 화면 좌표계에 대한 시선 정보를 산출할 수 있다. 사용자의 동공에 대한 시선 추적(Eye-Tracking)을 통해 사용자에 의해 모니터링되는 스크린 상의 2차원 좌표를 상기 시선 정보로서 획득할 수 있다.
변환부(720)는 화면 좌표계에 대한 시선 정보에 기초하여, 로컬 좌표계 상에서 정의된 3차원 객체의 정점으로 변환할 수 있다.
변환부(720)는 획득한 2차원 좌표에 피킹(Picking) 기법을 적용하여, 2차원 좌표에 상응하는 3차원 좌표를 산출할 수 있다. 특히, 변환부(720)는 레이 캐스팅(Ray-Casting)을 통해 2차원 좌표에 상응하는 3차원 좌표를 계산할 수 있다.
추출부(730)는 변환된 3D 객체의 정점과 상기 화면 좌표계 간 거리를 이용하여 초점 거리(Focal Length)를 추출하고, 처리부(740)는 추출된 초점 거리(Focal Length)에 기초하여 피사계 심도(Depth of Field, DoF)를 조정할 수 있다.
도 8은 일실시예에 따른 콘텐츠 재생 장치의 동작 방법을 설명하는 도면이다.
일실시예에 따른 콘텐츠 재생 장치의 동작 방법은 시선 추적(Eye-Tracking)에 따라, 실제 3차원 환경 내에서의 3차원 좌표를 연산한다(단계 801). 예를 들어, 콘텐츠 재생 장치의 동작 방법은 시선 추적(Eye-Tracking)으로 스크린 상의 2차원 좌표를 획득할 수 있다. 또한, 획득한 시선 정보를 이용하여 3차원 좌표를 산출할 수 있다. 이를 위해, 일실시예에 따른 콘텐츠 재생 장치의 동작 방법은 스크린 상의 위치에 피킹(Picking) 기법을 적용하여 실제 3차원 환경 내에서의 3차원 좌표를 연산할 수 있다.
다음으로, 일실시예에 따른 콘텐츠 재생 장치의 동작 방법은 산출된 3차원 좌표에 상응하는 초점 거리(Focal Length)를 추출하고(단계 802), 추출된 초점 거리(Focal Length)에 기초하여 산출된 초점 거리(Focal Length)에 기초하여, 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점 중에서 적어도 하나를 보정할 수 있다.
구체적으로, 일실시예에 따른 콘텐츠 재생 장치의 동작 방법은 타겟 오브젝트에 대한 초점 거리를 조정하여 DoF(Depth of Field) 조정피사계 심도(Depth of Field, DoF)를 조정할 수 있다(단계 803).
또한, 일실시예에 따른 콘텐츠 재생 장치의 동작 방법은 스테레오 카메라의 방향 조정하고(단계 804), 스테레오 카메라의 IPD 조정할 수 있다(단계 805).
결국, 본 발명은 시선 추적을 통해 실시간으로 변화 가능한 가변적인 초점 거리를 구하여 이를 착용형 가상현실 기기용의 콘텐츠에 적용할 수 있다. 즉, 착용형 가상현실 기기의 특성 상 사용자의 눈동자와 모니터 사이의 거리가 고정되기 때문에, 종래 기술에 비해 시선 추적의 결과의 정확도가 향상된다. 뿐만 아니라, 3차원 영상 콘텐츠 재생에 있어, 스테레오 3차원 디스플레이에서 어지럼증과 같은 사용자 불쾌감 또는 눈의 피로도(Eye Fatigue)을 완화시킬 수 있다.
가상의 환경이 아니었다면 굳이 초점 거리를 변화 시킬 필요가 없었겠지만 Fully immersive 3D 가 필수적 요소로 작용하는 착용형 가상현실 기기의 경우에는 이 부분이 필수적인 부분이라고 할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 컴퓨터에 의해 적어도 일시적으로 구현되는:
    시선 정보를 이용하여, 3차원 좌표를 산출하는 연산부;
    상기 산출된 3차원 좌표에 상응하는 초점 거리(Focal Length)를 추출하는 추출부; 및
    상기 추출된 초점 거리(Focal Length)에 기초하여, 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점 중에서 적어도 하나를 보정하되, 렌더링 스테레오 카메라의 방향을 타겟 오브젝트의 위치에 상응하는 방향으로 조정하여 상기 원근 및 상기 초점 중에서 적어도 하나를 보정하는 처리부
    를 포함하는 콘텐츠 재생 장치.
  2. 제1항에 있어서,
    상기 연산부는,
    사용자의 동공에 대한 시선 추적(Eye-Tracking)을 통해 상기 사용자에 의해 모니터링되는 스크린 상의 2차원 좌표를 상기 시선 정보로서 획득하는 콘텐츠 재생 장치.
  3. 제2항에 있어서,
    상기 연산부는,
    상기 획득한 2차원 좌표에 피킹(Picking) 기법을 적용하여, 상기 2차원 좌표에 상응하는 3차원 좌표를 산출하는 콘텐츠 재생 장치.
  4. 컴퓨터에 의해 적어도 일시적으로 구현되는:
    시선 정보를 이용하여, 3차원 좌표를 산출하는 연산부;
    상기 산출된 3차원 좌표에 상응하는 초점 거리(Focal Length)를 추출하는 추출부; 및
    상기 추출된 초점 거리(Focal Length)에 기초하여, 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점 중에서 적어도 하나를 보정하는 처리부
    를 포함하고,
    상기 연산부는,
    사용자의 동공에 대한 시선 추적(Eye-Tracking)을 통해 상기 사용자에 의해 모니터링되는 스크린 상의 2차원 좌표를 상기 시선 정보로서 획득하며,
    상기 추출부는,
    상기 획득된 2차원 좌표 값과 가상 카메라 간의 거리를 계산하여 상기 초점 거리를 추출하는 콘텐츠 재생 장치.
  5. 제1항에 있어서,
    상기 처리부는,
    상기 추출된 초점 거리 이외에 위치하는 다른 타겟 오브젝트에 대한 초점을 블러링 처리하여 상기 원근 및 초점 중에서 적어도 하나를 보정하는 콘텐츠 재생 장치.
  6. 삭제
  7. 컴퓨터에 의해 적어도 일시적으로 구현되는:
    시선 정보를 이용하여, 3차원 좌표를 산출하는 연산부;
    상기 산출된 3차원 좌표에 상응하는 초점 거리(Focal Length)를 추출하는 추출부; 및
    상기 추출된 초점 거리(Focal Length)에 기초하여, 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점 중에서 적어도 하나를 보정하되, 렌더링 스테레오 카메라로부터 타겟 오브젝트까지의 오브젝트 거리에 기초하여 렌더링 스테레오 카메라의 IPD(inter-pupillary distance)를 조정하여 상기 원근 및 초점 중에서 적어도 하나를 보정하는 처리부
    를 포함하는 콘텐츠 재생 장치.
  8. 제7항에 있어서,
    상기 연산부는,
    상기 렌더링 스테레오 카메라로부터 제1 타겟 오브젝트까지의 제1 오브젝트 거리와 상기 렌더링 스테레오 카메라로부터 제2 타겟 오브젝트까지의 제2 오브젝트 거리를 산출하고,
    상기 처리부는,
    상기 렌더링 스테레오 카메라의 IPD(inter-pupillary distance)에 상기 제1 오브젝트 거리 및 상기 제2 오브젝트 거리의 비율을 반영하여 조정할 IPD(inter-pupillary distance)를 계산하는 콘텐츠 재생 장치.
  9. 컴퓨터에 의해 적어도 일시적으로 구현되는:
    시선 추적(Eye-Tracking)을 수행하여 화면 좌표계에 대한 시선 정보를 산출하는 시선 추적부;
    상기 화면 좌표계에 대한 시선 정보에 기초하여, 로컬 좌표계 상에서 정의된 3차원 객체의 정점으로 변환하는 변환부;
    상기 변환된 3D 객체의 정점과 상기 화면 좌표계 간 거리를 이용하여 초점 거리(Focal Length)를 추출하는 추출부; 및
    상기 추출된 초점 거리(Focal Length)에 기초하여 렌더링 스테레오 카메라의 방향을 타겟 오브젝트의 위치에 상응하는 방향으로 조정하여 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점 중에서 적어도 하나를 보정 하는 처리부
    를 포함하는 콘텐츠 재생 장치.
  10. 제9항에 있어서,
    상기 시선 추적부는,
    사용자의 동공에 대한 시선 추적(Eye-Tracking)을 통해 상기 화면 좌표계에 대한 시선 정보를 산출하는 콘텐츠 재생 장치.
  11. 컴퓨터에 의해 적어도 일시적으로 구현되는 콘텐츠 재생 장치의 동작 방법에 있어서,
    시선 정보를 이용하여, 3차원 좌표를 산출하는 단계;
    상기 산출된 3차원 좌표에 상응하는 초점 거리(Focal Length)를 추출하는 단계; 및
    상기 추출된 초점 거리(Focal Length)에 기초하여, 스테레오 3차원 디스플레이용 콘텐츠 내에서의 원근 및 초점 중에서 적어도 하나를 보정하되, 렌더링 스테레오 카메라의 방향을 타겟 오브젝트의 위치에 상응하는 방향으로 조정하여 상기 원근 및 상기 초점 중에서 적어도 하나를 보정하는 단계
    를 포함하는 콘텐츠 재생 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 3차원 좌표를 산출하는 단계는,
    사용자의 동공에 대한 시선 추적(Eye-Tracking)을 통해 상기 사용자에 의해 모니터링되는 스크린 상의 2차원 좌표를 상기 시선 정보로서 획득하는 단계
    를 포함하는 콘텐츠 재생 장치의 동작 방법.
  13. 제12항에 있어서,
    상기 3차원 좌표를 산출하는 단계는,
    상기 획득한 2차원 좌표에 피킹(Picking) 기법을 적용하여, 상기 2차원 좌표에 상응하는 3차원 좌표를 산출하는 단계
    를 포함하는 콘텐츠 재생 장치의 동작 방법.
  14. 제12항에 있어서,
    상기 초점 거리(Focal Length)를 추출하는 단계는,
    상기 획득된 2차원 좌표 값과 가상 카메라 간의 거리를 계산하여 초점 거리를 추출하는 단계
    를 포함하는 콘텐츠 재생 장치의 동작 방법.
KR1020160038257A 2016-03-30 2016-03-30 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법 KR101788452B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160038257A KR101788452B1 (ko) 2016-03-30 2016-03-30 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법
US15/474,269 US10595001B2 (en) 2016-03-30 2017-03-30 Apparatus for replaying content using gaze recognition and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160038257A KR101788452B1 (ko) 2016-03-30 2016-03-30 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170111938A KR20170111938A (ko) 2017-10-12
KR101788452B1 true KR101788452B1 (ko) 2017-11-15

Family

ID=59961326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160038257A KR101788452B1 (ko) 2016-03-30 2016-03-30 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법

Country Status (2)

Country Link
US (1) US10595001B2 (ko)
KR (1) KR101788452B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200118524A (ko) 2019-04-08 2020-10-16 유홍준 능동형 동작 인식 추적 기반의 영상 처리 시스템 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166764B (zh) * 2018-02-14 2022-03-01 阿里巴巴集团控股有限公司 虚拟现实vr直播中的视角同步方法及装置
CN108650500B (zh) * 2018-04-02 2019-11-22 北京奇艺世纪科技有限公司 一种全景视频处理方法及装置
US10701350B1 (en) * 2018-06-21 2020-06-30 Facebook Technologies, Llc Systems and methods for adjusting head-mounted displays for inter-pupillary distance
AT522012A1 (de) * 2018-12-19 2020-07-15 Viewpointsystem Gmbh Verfahren zur Anpassung eines optischen Systems an einen individuellen Benutzer
US10866425B1 (en) 2019-12-16 2020-12-15 Microsoft Technology Licensing, Llc Image reprojection based on intra-pupil distance
CN111294587A (zh) * 2020-02-21 2020-06-16 深圳英飞拓科技股份有限公司 一种基于虚拟现实技术的监控设备及监控方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126735A1 (en) * 2014-02-19 2015-08-27 Microsoft Technology Licensing, Llc Stereoscopic display responsive to focal-point shift

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100820639B1 (ko) 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
KR20110082380A (ko) 2010-01-11 2011-07-19 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR101200096B1 (ko) 2010-10-27 2012-11-12 동국대학교 산학협력단 시선 추적 시스템 및 그 방법
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
IL291010B2 (en) * 2013-11-27 2024-01-01 Magic Leap Inc Virtual and augmented reality systems and methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126735A1 (en) * 2014-02-19 2015-08-27 Microsoft Technology Licensing, Llc Stereoscopic display responsive to focal-point shift

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200118524A (ko) 2019-04-08 2020-10-16 유홍준 능동형 동작 인식 추적 기반의 영상 처리 시스템 및 방법

Also Published As

Publication number Publication date
KR20170111938A (ko) 2017-10-12
US20170289518A1 (en) 2017-10-05
US10595001B2 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
KR101788452B1 (ko) 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법
JP6759371B2 (ja) ３ｄプレノプティックビデオ画像を作成するためのシステムおよび方法
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
US20170123488A1 (en) Tracking of wearer's eyes relative to wearable device
US20150049201A1 (en) Automatic calibration of scene camera for optical see-through head mounted display
JP2019531782A (ja) アイトラッキング用途のためのセンサフュージョンのシステムおよび方法
JP2017531222A (ja) ホログラフィックオブジェクトのためのスマート透明度
JP2023507867A (ja) 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム
CN113574471B (zh) 基于眼睛位置生成的全息图像
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
KR101818839B1 (ko) 스테레오 삼차원 영상 콘텐츠 디스플레이 제작 및 재생 방법
JP2023515205A (ja) 表示方法、装置、端末機器及びコンピュータプログラム
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
US11212502B2 (en) Method of modifying an image on a computational device
CN111279293A (zh) 计算设备上修改图像的方法
US20210286701A1 (en) View-Based Breakpoints For A Display System
CN112584127A (zh) 基于注视的曝光
US11205307B2 (en) Rendering a message within a volumetric space
EP4343497A1 (en) Corrected gaze direction and origin
Nowatzyk et al. Omni-Directional Catadioptric Acquisition System

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right