KR101640393B1 - 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법 - Google Patents

사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법 Download PDF

Info

Publication number
KR101640393B1
KR101640393B1 KR1020160015197A KR20160015197A KR101640393B1 KR 101640393 B1 KR101640393 B1 KR 101640393B1 KR 1020160015197 A KR1020160015197 A KR 1020160015197A KR 20160015197 A KR20160015197 A KR 20160015197A KR 101640393 B1 KR101640393 B1 KR 101640393B1
Authority
KR
South Korea
Prior art keywords
digital object
information
block
current block
user
Prior art date
Application number
KR1020160015197A
Other languages
English (en)
Other versions
KR20160022329A (ko
Inventor
유병인
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160015197A priority Critical patent/KR101640393B1/ko
Publication of KR20160022329A publication Critical patent/KR20160022329A/ko
Application granted granted Critical
Publication of KR101640393B1 publication Critical patent/KR101640393B1/ko

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H04N13/0484—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/225—
    • H04N5/232—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

이하, 디지털 오브젝트 탐색 장치 및 방법이 개시된다. 실시예에 따른 디지털 오브젝트 탐색 방법은, 사용자의 시선 정보 및 제스처 정보를 수집하는 단계; 제스처 정보에 기초하여 디지털 오브젝트의 탐색을 활성화 또는 비활성화하는 단계; 디지털 오브젝트의 탐색이 활성화되는 경우, 시선 정보에 기초하여 현재 블록을 결정하는 단계; 현재 블록과 이전 블록을 비교하는 단계; 현재 블록과 이전 블록이 동일한 경우, 시선 유지 시간에 기초하여 현재 블록의 줌 인에 대한 줌 비율(zoom rate) 및 현재 블록의 정보 퀄리티 중 적어도 하나를 결정하는 단계; 및 현재 블록과 이전 블록이 상이한 경우, 이전 블록에서 현재 블록으로의 줌 아웃에 대한 줌 비율, 현재 블록의 정보 퀄리티, 및 이전 블록의 정보 퀄리티 중 적어도 하나를 결정하는 단계를 포함할 수 있다.

Description

사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법{APPARATUS AND METHOD FOR NAVIGATION DIGITAL OBJECT USING GAZE INFORMATION OF USER}
본 발명의 일실시예들은 디지털 오브젝트 탐색 장치 및 방법에 관한 것으로, 보다 구체적으로, 사용자의 시선 정보에 따라 줌인/줌아웃을 수행하고, 퀄리티 렌더링을 수행하며, 부가정보를 출력하는 디지털 오브젝트 탐색 장치 및 방법에 관한 것이다.
최근 디지털 기기가 발달하면서 사용자들은 사진, 동영상, 음악과 같은 디지털 오브젝트를 매우 빈번하게 활용한다. 일반적으로, 사용자는 키보드, 마우스와 같은 사용자 인터페이스를 사용하여 디지털 오브젝트를 처리할 수 있다. 그러나, 사용자가 키보드, 마우스 등을 통해 원하는 명령을 입력할 수 없는 대형 Wall Display의 경우, 디지털 오브젝트를 처리하기 어렵다. 또한 IPTV와 같은 네트워크 기반의 디지털 TV의 경우, 사용자가 리모콘을 이용하여 수백 개 이상의 채널에서 EPG 사용 및 뉴스/날씨/교통정보/금융정보 등을 위한 위젯(Widget) 사용하는 것은 어려움이 있다.
이러한 문제를 해결하기 위해 사용자의 행위를 추적하여 이를 반영함으로써 디지털 오브젝트의 실시간 출력 품질을 조정할 수 있는 방법이 주목되고 있다. 그러나, 아직까지 이와 같은 방법을 효율적으로 수행하는 기술은 개발되지 못하고 있다.
디지털 오브젝트 탐색 방법에 있어서, 사용자의 시선 정보 및 제스처 정보를 수집하는 단계; 상기 제스처 정보에 기초하여 디지털 오브젝트의 탐색을 활성화 또는 비활성화하는 단계; 상기 디지털 오브젝트의 상기 탐색이 활성화되는 경우, 상기 시선 정보에 기초하여 현재 블록을 결정하는 단계; 상기 현재 블록과 이전 블록을 비교하는 단계; 상기 현재 블록과 상기 이전 블록이 동일한 경우, 시선 유지 시간에 기초하여 상기 현재 블록의 줌 인에 대한 줌 비율(zoom rate) 및 상기 현재 블록의 정보 퀄리티 중 적어도 하나를 결정하는 단계; 및 상기 현재 블록과 상기 이전 블록이 상이한 경우, 상기 이전 블록에서 상기 현재 블록으로의 줌 아웃에 대한 줌 비율, 상기 현재 블록의 정보 퀄리티, 및 상기 이전 블록의 정보 퀄리티 중 적어도 하나를 결정하는 단계를 포함하는 디지털 오브젝트 탐색 방법이 제공될 수 있다.
상기 디지털 오브젝트는 복수의 블록들을 포함하고, 상기 현재 블록은 상기 사용자가 현재 바라보고 있는 블록에 해당하며, 상기 이전 블록은 상기 사용자가 이전에 바라본 블록에 해당할 수 있다.
상기 현재 블록의 정보 퀄리티는 상기 현재 블록의 렌더링 퀄리티 및 상기 현재 블록의 부가정보 세기 중 적어도 하나를 포함하고, 상기 이전 블록의 정보 퀄리티는 상기 이전 블록의 렌더링 퀄리티 및 상기 이전 블록의 부가정보 세기 중 적어도 하나를 포함할 수 있다.
디지털 오브젝트 탐색 방법에 있어서, 사용자의 시선 정보 및 제스처 정보를 수집하는 단계; 상기 제스처 정보에 기초하여 디지털 오브젝트의 탐색을 활성화하는 단계; 상기 시선 정보에 기초하여 현재 블록을 결정하는 단계; 상기 현재 블록과 이전 블록을 비교하는 단계; 및 상기 현재 블록과 상기 이전 블록이 동일한 경우, 상기 현재 블록의 줌 인에 대한 줌 비율 및 상기 현재 블록의 정보 퀄리티 중 적어도 하나를 결정하는 단계를 포함하는 디지털 오브젝트 탐색 방법이 제공될 수 있다.
디지털 오브젝트 탐색 방법에 있어서, 사용자의 시선 정보 및 제스처 정보를 수집하는 단계; 상기 제스처 정보에 기초하여 디지털 오브젝트의 탐색을 활성화하는 단계; 상기 시선 정보에 기초하여 현재 블록을 결정하는 단계; 상기 현재 블록과 이전 블록을 비교하는 단계; 및 상기 현재 블록과 상기 이전 블록이 상이한 경우, 상기 이전 블록에서 상기 현재 블록으로의 줌 아웃에 대한 줌 비율, 상기 현재 블록의 정보 퀄리티, 및 상기 이전 블록의 정보 퀄리티 중 적어도 하나를 결정하는 단계를 포함하는 디지털 오브젝트 탐색 방법이 제공될 수 있다.
상기 디지털 오브젝트는 복수의 블록들을 포함하고, 상기 현재 블록은 상기 사용자가 현재 바라보고 있는 블록에 해당하며, 상기 이전 블록은 상기 사용자가 이전에 바라본 블록에 해당할 수 있다.
디지털 오브젝트 탐색 장치에 있어서, 사용자의 시선 정보 및 제스처 정보를 수집하는 정보 수집부; 상기 제스처 정보에 기초하여 디지털 오브젝트의 탐색을 활성화 또는 비활성화하는 오브젝트 탐색부; 및 상기 디지털 오브젝트의 상기 탐색이 활성화되는 경우, 상기 시선 정보에 기초하여 현재 블록을 결정하고, 상기 현재 블록과 이전 블록을 비교하며, 상기 현재 블록과 상기 이전 블록이 동일한 경우, 시선 유지 시간에 기초하여 상기 현재 블록의 줌 인에 대한 줌 비율 및 상기 현재 블록의 정보 퀄리티 중 적어도 하나를 결정하고, 상기 현재 블록과 상기 이전 블록이 상이한 경우, 상기 이전 블록에서 상기 현재 블록으로의 줌 아웃에 대한 줌 비율, 상기 현재 블록의 정보 퀄리티, 및 상기 이전 블록의 정보 퀄리티 중 적어도 하나를 결정하는 정보 결정부를 포함하는 디지털 오브젝트 탐색 장치가 제공될 수 있다.
상기 디지털 오브젝트는 복수의 블록들을 포함하고, 상기 현재 블록은 상기 사용자가 현재 바라보고 있는 블록에 해당하며, 상기 이전 블록은 상기 사용자가 이전에 바라본 블록에 해당할 수 있다.
상기 현재 블록의 정보 퀄리티는 상기 현재 블록의 렌더링 퀄리티 및 상기 현재 블록의 부가정보 세기 중 적어도 하나를 포함하고, 상기 이전 블록의 정보 퀄리티는 상기 이전 블록의 렌더링 퀄리티 및 상기 이전 블록의 부가정보 세기 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따르면, 사용자의 시선 정보 및 제스쳐 정보를 통해 줌 인/줌 아웃에 대한 줌 비율을 결정하여 디지털 오브젝트를 탐색함으로써, 별도의 부가 장비없이 자연스러운 Zoomable User Ineration이 제공될 수 있다.
본 발명의 일실시예에 따르면, 사용자의 시선 정보를 통해 현재 블록 중심으로 렌더링 퀄리티를 향상시킴으로써, 사용자의 시선 주변의 디지털 오브젝트의 출력 품질을 증가시키고, 디지털 오브젝트에 대한 몰입감 및 사용성을 향상시킬 수 있다.
본 발명의 일실시예에 따르면, 사용자의 시선 정보를 통해 디지털 오브젝트에 미리 저장된 부가 정보를 제공함으로써, 사용자가 디지털 오브젝트에 표시된 구성 요소의 정보를 별도의 부가 장비 없이 획득할 수 있다.
본 발명의 일실시예에 따르면, 사용자의 시선정보에 맞추어서 오브젝트(채널 이나 위젯)의 위치를 조정하여 출력하거나, 사용자와 가까운 곳은 작게, 먼곳은 크게 출력하여 사용자에게 최적화된 View를 제공할 수 있다. 또한 본 발명의 일실시예에 따르면, 대형 화면에서 대각선 방향에서 화면을 볼 경우 시야 확보에 어려움이 있으므로 출력 UI가 사용자의 위치를 따라다니면서 출력할 수 있다.
도 1은 본 발명의 일실시예에 따른 디지털 오브젝트의 탐색 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 디지털 오브젝트의 상세 구성을 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 줌 인/줌 아웃의 동작을 수행하는 일례를 도시한 플로우차트이다.
도 4는 본 발명의 일실시예에 따라 시선 정보 및 제스쳐 정보에 기초하여 디지털 오브젝트에 대해 줌 인/줌 아웃의 동작을 수행하는 일례를 도시한 플로우차트이다.
도 5는 본 발명의 일실시예에 따라 디지털 오브젝트에 대해 줌 인 또는 줌 아웃으로 탐색하는 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 블록에 따라 렌더링 퀄리티를 달리하여 탐색하는 일례를 도시한 플로우차트이다.
도 7은 본 발명의 일실시예에 따라 디지털 오브젝트에 대해 렌더링 퀄리티를 블록마다 다르게 결정하는 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 부가 정보의 세기를 계산하여 디지털 오브젝트를 탐색하는 일례를 도시한 플로우차트이다.
도 9는 본 발명의 일실시예에 따라 사용자의 시선 위치에 따른 부가 정보의 세기를 계산하는 일례를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따라 사용자의 시선 위치에 따라 부가 정보가 표시되는 일례를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 사용자의 시선 위치에 따라 채널을 탐색하는 일례를 도시한 도면이다.
도 12는 본 발명의 일실시예에 따른 사용자의 위치에 따라 사용자 인터페이스를 달리 결정하는 일례를 도시한 도면이다.
도 13은 본 발명의 일실시예에 따른 사용자 인터페이스가 사용자의 위치에 따라 출력되는 일례를 도시한 도면이다.
도 14는 본 발명의 일실시예에 따라 사용자의 위치 정보와 시선 정보에 따라 디지털 오브젝트의 출력 위치 및 출력 각도를 변경하는 일례를 도시한 플로우차트이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 본 발명의 일실시예에 따른 디지털 오브젝트 탐색 방법은 디지털 오브젝트 탐색 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 디지털 오브젝트의 탐색 장치의 동작을 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 디지털 오브젝트 탐색 장치(101)는 사진, 동영상, 음악 등의 다양한 디지털 오브젝트를 사용하는 사용자(100)는 시선 정보(103) 및 손동작과 같은 제스쳐 정보(104)를 추적하여 시선 주변의 디지털 오브젝트의 출력 품질을 증가시킬 수 있다. 그러면, 사용자(100)가 디지털 오브젝트에 대한 몰입감 및 사용성을 향상시키고, 디지털 오브젝트의 처리에 대한 부하를 줄일 수 있다. 디지털 오브젝트 탐색 장치(101)는 디스플레이(102) 내부 또는 외부에 존재할 수 있다.
본 발명의 일실시예에 따른 디지털 오브젝트 탐색 장치(101)는 다음과 같은 동작을 수행할 수 있다.
(1)Visual Attentive ZUI (Zoomable User Interaction)
사용자(100)가 디지털 오브젝트를 재생할 때, 디지털오브젝트 탐색 장치(101)는 디지털 오브젝트에서 사용자(100)의 시선이 위치한 지점을 중심으로 줌 인(Zoom In)하고, 시선이 벗어나면 줌 아웃(Zoom Out)한다.
(2) Visual Attentive Rendering
사용자(100)가 디지털 오브젝트를 재생할 때, 디지털 오브젝트 탐색 장치(101)는 디지털 오브젝트에서 사용자(100)의 시선이 위치한 지점의 해상도를 High Quality로 렌더링하고, 시선이 벗어나면 Normal Quality로 렌더링할 수 있다. 그리고, 사용자(100)가 비주얼화된 음악을 재생하는 경우, 음악 재생 화면에서 사용자(100)의 시선이 위치한 지점의 볼륨 및 Decoding Quality를 증가시키고, 사용자(100)의 시선이 벗어나면 볼륨 및 Decoding Quality를 감소시킬 수 있다.
(3) Visual Attentive Annotation
사용자(100)가 디지털 오브젝트를 재생할 때, 디지털 오브젝트 탐색 장치(100)는 디지털 오브젝트에서 사용자(100)의 시선이 위치한 지점에 인접한 부가 정보를 출력할 수 있다. 예를 들어, 디지털 오브젝트 탐색 장치(100)는 사용자(100)의 시선이 위치한 지점과 인접한 지점에 저장된 이미지, 오디오, 텍스트와 같은 형태의 부가 정보를 출력할 수 있다.
(4) Motion Parallax UI
사용자 인터페이스 오브젝트의 위치 및 방향을 조정하여 사용자(100)가 실제 3D 오브젝트를 보는 것과 같은 view를 출력할 수 있다. 그리고, 사용자(100)의 위치에 따라 화면에서 가까운 곳은 작게, 먼 곳은 크게 출력하도록 사용자 인터페이스(UI)의 Projection을 조정하여 사용자(100)에게 최적화된 View를 제공할 수 있다. 또는 사용자(100)가 대각선 방향에서 대형 화면을 보는 경우, 대형화면에 위젯 등이 사용자(100)의 반대편에 출력되는 경우 사용자(100)는 위젯에 대한 시야 확보에 어려움이 존재하므로, 사용자(100)의 위치에 따라 출력 UI도 이동하여 출력될 수 있다.
도 2는 본 발명의 일실시예에 따른 디지털 오브젝트의 상세 구성을 도시한 블록 다이어그램이다.
도 2를 참고하면, 디지털 오브젝트 탐색 장치(101)는 정보 수집부(201), 정보 결정부(202) 및 오브젝트 탐색부(203)를 포함할 수 있다.
정보 수집부(201)는 디지털 오브젝트(208)에 대해 사용자의 시선 정보(209)와 사용자의 제스쳐 정보(210)를 수집할 수 있다. 시선 정보에는 2D화면상의 사용자의 시선 위치, 눈 깜박임 여부, 사용자의 위치 정보 등이 포함될 수 있다. 이 때, 디지털 오브젝트(208)는 복수의 블록으로 분할될 수 있다. 사용자의 시선은 매우 급격하게 변경되는데, 이 경우 정보 수집부(201)가 수집하는 시선 정보(209)에 오차가 증가할 수 있다. 따라서, 디지털 오브젝트 탐색 장치(101)는 디지털 오브젝트(208)를 복수의 블록으로 분할하여 미세하게 흔들리는 사용자의 시선을 블록 단위로 필터링할 수 있다. 그리고, 복수의 블록 각각에 블록 ID가 부여될 수 있다.
정보 결정부(202)는 수집된 시선 정보(209) 및 제스쳐 정보(210)를 이용하여 디지털 오브젝트(208)에 대해 탐색 정보를 결정할 수 있다. 일례로, 정보 결정부(202)는 줌 비율 계산부(204), 렌더링 퀄리티 계산부(205), 부가 정보 세기 계산부(206) 및 모션 패럴랙스 계산부(207)를 포함할 수 있다.
줌 비율 계산부(204)는 시선 정보(209) 및 제스쳐 정보(210)를 이용하여 디지털 오브젝트(208)에 대해 줌 비율을 계산할 수 있다. 구체적으로, 줌 비율 계산부(204)는 시선 정보(209)에 포함된 블록의 ID와 사용자가 블록을 응시하는 시선 유지 시간에 기초하여 디지털 오브젝트(208)의 줌 인 또는 줌 아웃에 대한 줌 비율을 계산할 수 있다.
이 때, 시선 유지 시간 동안 사용자가 응시하는 블록의 ID가 동일한 경우, 줌 비율 계산부(204)는 시선 유지 시간을 이용하여 디지털 오브젝트(208)의 줌 인에 대한 줌 비율을 계산할 수 있다. 그리고, 시선 유지 시간 동안 사용자가 응시하는 블록의 ID가 다른 경우, 줌 비율 계산부(204)는 시선 유지 시간을 이용하여 디지털 오브젝트(208)의 줌 아웃에 대한 줌 비율을 계산할 수 있다.
일례로, 줌 비율 계산부(204)는 시선 유지 시간이 미리 설정한 임계 시간을 초과하는 경우, 디지털 오브젝트(208)의 줌 인에 대한 줌 비율을 계산할 수 있다.
렌더링 퀄리티 계산부(205)는 사용자의 시선 정보(209) 및 제스쳐 정보(210)를 이용하여 디지털 오브젝트(208)에 대해 렌더링 퀄리티를 계산할 수 있다. 일례로, 렌더링 퀄리티 계산부(205)는 시선 정보에 포함된 블록의 ID와 사용자가 블록을 응시하는 시선 유지 시간에 기초하여 디지털 오브젝트(208)의 렌더링 퀄리티를 계산할 수 있다. 렌더링 퀄리티는 사용자의 시선이 위치한 지점을 중심으로 감소하도록 결정될 수 있다.
시선 유지 시간 동안 사용자가 응시하는 블록의 ID가 동일한 경우, 렌더링 퀄리티 계산부(205)는 시선 유지 시간을 이용하여 디지털 오브젝트(208)에 대해 렌더링 퀄리티를 계산할 수 있다. 반대로, 시선 유지 시간 동안 상기 사용자가 응시하는 블록의 ID가 다른 경우, 렌더링 퀄리티 계산부(205)는 디지털 오브젝트(208)에 대해 초기화할 수 있다.
구체적으로, 시선 유지 시간 동안 사용자가 응시하는 블록의 ID가 동일한 경우, 렌더링 퀄리티 계산부(205)는 시선 유지 시간에 대해 블록의 렌더링 퀄리티를 증가시키고, 상기 블록의 주변 블록에 대한 렌더링 퀄리티를 감소시킬 수 있다. 이 때, 렌더링 퀄리티 계산부(205)는 사용자가 응시하는 블록에 인접하는 주변 블록부터 순차적으로 렌더링 퀄리티를 감소시킬 수 있다.
부가 정보 세기 계산부(206)는 시선 정보(209) 및 제스쳐 정보(210)를 이용하여 디지털 오브젝트(208)에 대해 부가 정보의 세기를 계산할 수 있다. 이 때, 부가 정보는 디지털 오브젝트(208)의 특정 지점에 저장된 텍스트, 오디오, 이미지 등의 형태일 수 있다. 일례로, 부가 정보 세기 계산부(206)는 (a)사용자가 응시하는 시선 위치와 부가 정보와의 거리, (b) 깊이맵(211) 상에서 사용자가 응시하는 시선 위치와 시선 위치의 거리 및 (c) 사용자의 관심도를 나타내는 히트맵(212) 상에서 시선 위치의 거리 중 적어도 하나를 이용하여 디지털 오브젝트(208)에 대해 부가 정보의 세기를 계산할 수 있다.
디지털 오브젝트(208)에 적어도 하나의 부가 정보가 저장된 경우, 사용자가 응시하는 시선 위치에 대해 부가 정보의 세기가 가장 큰 부가 정보가 출력될 수 있다.
모션 패럴랙스 계산부(207)는 사용자의 시선 정보(209) 및 제스쳐 정보(210)를 이용하여 디지털 오브젝트의 3D 위치 정보 및 회전 정보를 계산할 수 있다.
오브젝트 탐색부(203)는 디지털 오브젝트에(208) 대한 탐색 정보를 이용하여 디지털 오브젝트(208)를 탐색할 수 있다. 예를 들어, 디스플레이(213)에 이미지, 동영상과 같은 디지털 오브젝트(208)가 재생되면, 오브젝트 탐색부(203)는 사용자의 시선 정보(208)에 기초하여 재생되는 디지털 오브젝트(208)를 탐색할 수 있다.
일례로, 오브젝트 탐색부(203)는 줌 비율에 기초하여 디지털 오브젝트(208)에 대해 줌인/줌 아웃을 수행할 수 있다. 그리고, 오브젝트 탐색부(203)는 렌더링 퀄리티에 기초하여 디지털 오브젝트(208)에 대해 사용자가 응시하는 시선 위치를 중심으로 렌더링 퀄리티를 변경할 수 있다. 또한, 오브젝트 탐색부(203)는 부가 정보의 세기에 기초하여 디지털 오브젝트(208)에 대해 사용자가 응시하는 시선 위치를 중심으로 부가 정보를 탐색할 수 있다. 또한 오브젝트 탐색부(203)는 사용자의 위치 정보와 시선 정보(210)에 따라 디지털 오브젝트의 출력 위치 및 출력 각도를 변경하여 디지털 오브젝트를 탐색할 수 있다.
도 3은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 줌 인/줌 아웃의 동작을 수행하는 일례를 도시한 플로우차트이다.
디지털 오브젝트 탐색 장치는 시선 정보를 수집할 수 있다(S301). 그리고, 디지털 오브젝트 탐색 장치는 시선 정보를 통해 사용자가 눈을 깜빡였는 지 여부를 판단할 수 있다(S302). 이 때, 눈 깜빡임은 디지털 오브젝트의 탐색을 홀딩(Holding)할 것인지 또는 릴리즈(Release)할 것인지 판단하는 기준이 될 수 있다.
만약, 사용자가 눈을 깜빡인 경우, 디지털 오브젝트 탐색 장치는 눈 깜빡임 이전에 디지털 오브젝트의 탐색이 Enable인지 판단할 수 있다(S303). 만약, 디지털 오브젝트의 탐색이 Enable이 아닌 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트의 탐색이 Disable 될 때의 블록 아이디와 동일한 지 여부를 판단할 수 있다(S307).
만약, 동일한 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트의 탐색을 Enable로 변경할 수 있다(S308). 반대로, 동일하지 않은 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 화면을 갱신할 수 있다(S314). 이 때, 디지털 오브젝트의 탐색이 Enable이라는 것은 디지털 오브젝트의 탐색이 수행되는 것을 의미하고, 디지털 오브젝트의 탐색이 Disable이라는 것은 디지털 오브젝트의 탐색이 중단되는 것을 의미할 수 있다.
단계(S303)에서, 디지털 오브젝트의 탐색이 Enable인 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트 탐색을 Disable로 변경할 수 있다(S305). 그리고, 디지털 오브젝트 탐색 장치는 디지털 오브젝트의 탐색이 Disable 될 때의 블록의 ID를 저장할 수 있다(S306). 이 때, 블록의 ID는 사용자의 시선이 위치하는 블록에 관한 것이다. 그런 후에, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 화면을 갱신할 수 있다(S314).
단계(S302)에서 사용자가 눈을 깜빡이지 않은 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트의 탐색이 Enable인 지 여부를 판단할 수 있다(S304). 이 때, 디지털 오브젝트의 탐색이 Enable이 아닌 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 화면을 갱신할 수 있다(S314). 만약, 디지털 오브젝트의 탐색이 Enable인 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선이 위치한 블록(현재 블록)이 이전에 사용자의 시선이 위치한 블록인 이전 블록과 동일한 지 여부를 판단할 수 있다(S309).
이 때, 현재 블록과 이전 블록의 ID가 동일한 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선이 현재 블록을 응시하는 시선 유지 시간(T)와 미리 설정한 임계시간(Th)를 초과하는 지 여부를 판단할 수 있다(S310). 단계(S310)에서, 시선 유지 시간(T)가 미리 설정한 임계 시간(Th)를 초과하지 못하는 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 화면을 갱신할 수 있다(S314).
반대로, 시선 유지 시간(T)가 미리 설정한 임계 시간(Th)를 초과하면, 디지털 오브젝트 탐색 장치는 현재 블록에서 줌 인에 대한 줌 배율을 계산할 수 있다(S311). 단계(S309)에서 현재 블록과 이전 블록의 ID가 다른 경우, 디지털 오브젝트 탐색 장치는 이전 블록에서 현재 블록으로 줌 아웃에 대한 줌 배율을 계산할 수 있다(S312). 이 때, 줌 배율은 줌 조정 계수(K)와 시선 유지 시간(T)을 이용하여 결정될 수 있다.
그러면, 디지털 오브젝트 탐색 장치는 계산된 줌 배율에 기초하여 디지털 오브젝트를 탐색하고(S313), 화면을 갱신할 수 있다(S314). 만약, 사용자가 현재 블록을 계속적으로 응시한다면, 디지털 오브젝트 탐색 장치는 현재 블록을 중심으로 시선 유지 시간 동안 줌 배율에 따라 줌 인을 수행할 수 있다. 그리고, 만약 사용자가 이전 블록에서 현재 블록으로 시선을 옮기는 경우, 디지털 오브젝트 탐색 장치는 현재 블록을 중심으로 시선 유지 시간 동안 줌 배율에 따라 줌 아웃을 수행할 수 있다.
*화면이 갱신된 이후, 디지털 오브젝트 탐색 장치는 다시 시선 정보를 수집하는 과정을 반복할 수 있다(S301).
도 4는 본 발명의 일실시예에 따라 시선 정보 및 제스쳐 정보에 기초하여 디지털 오브젝트에 대해 줌 인/줌 아웃의 동작을 수행하는 일례를 도시한 플로우차트이다.
이 때, 도 3은 사용자의 시선 정보에 기초하여 디지털 오브젝트에 대한 탐색 여부를 결정하고, 줌인/줌아웃의 동작을 수행하는 과정을 설명한다. 그리고, 도 4는 사용자의 제스쳐 정보에 기초하여 디지털 오브젝트에 대한 탐색 여부를 결정하고, 사용자의 시선 정보에 기초하여 줌인/줌아웃의 동작을 수행하는 과정을 설명한다.
디지털 오브젝트 탐색 장치는 시선 정보 및 제스쳐 정보를 수집할 수 있다(S401). 이 때, 제스쳐 정보는 사용자의 손 동작을 포함할 수 있다. 디지털 오브젝트 탐색 장치는 제스쳐 정보를 통해 사용자가 손을 쥐었는 지 여부를 판단할 수 있다(S403). 만약, 사용자가 손을 쥐었다면, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 탐색을 Disable로 변경할 수 있다(S404).
만약, 사용자가 손을 쥐지 않았다면, 디지털 오브젝트 탐색 장치는 사용자가 손을 폈는 지 여부를 판단할 수 있다(S406). 만약, 사용자가 손을 폈다면, 사용자가 응시하는 블록의 ID가 디지털 오브젝트에 대한 탐색이 Disable 때의 블록 ID와 동일한 지 여부를 판단할 수 있다(S407). 블록 ID가 동일한 경우, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 탐색을 Enable로 변경할 수 있다(S408). 나머지 단계는 도 3의 설명을 참고할 수 있다.
결국, 디지털 오브젝트 탐색 장치는 사용자의 눈 깜빡임 여부 또는 사용자가 손을 쥐었는 지 또는 폈는 지에 대한 손 동작에 기초하여 디지털 오브젝트에 대한 탐색을 수행하거나 또는 중단할 수 있다.
본 발명의 일실시예에 따르면, 손의 제스쳐는 쥐거나 펴는 동작에 한정되지는 않으며 다른 동작으로 변경 될 수 있다. 또한, 본 발명의 일실시예에 따르면, 제스쳐 동작은 손에 한정되지 않으며, 사용자의 다른 신체 부위에 대한 제스쳐 동작도 포함될 수 있다.
도 5는 본 발명의 일실시예에 따라 디지털 오브젝트에 대해 줌 인 또는 줌 아웃으로 탐색하는 일례를 도시한 도면이다.
도 5는 사용자의 눈 깜빡임 또는 손 동작을 통해 디지털 오브젝트의 탐색이 Enable 상태인 것을 나타낸다. 만약, 디지털 오브젝트의 탐색이 Disable인 경우, 사용자의 눈 깜빡임 또는 손 동작으로 인해 디지털 오브젝트의 탐색이 Enable이 되어야 도 5에서 설명되는 동작이 수행될 수 있다.
<줌 인(Zoom In)>
프레임(501)과 프레임(502)은 동일한 디지털 오브젝트를 구성한다. 시간 T1에서 사용자가 복수의 블록으로 분할된 프레임(501) 중 블록(503)을 응시한다고 가정한다. 그리고, 일정 시간이 경과 후 시간 T2에서, 사용자의 시선이 프레임(501)의 블록(503)과 동일한 위치에 있는 블록(504)에 위치하고 있다고 가정한다. 블록(503)과 블록(504)은 동일한 블록 ID를 나타낸다.
만약, 사용자의 시선 유지 시간이 미리 설정한 임계 시간을 초과한 경우, 디지털 오브젝트 탐색 장치는 시선 유지 시간과 줌 조정 계수를 이용하여 줌 배율을 계산할 수 있다. 그런 후, 디지털 오브젝트 탐색 장치는 줌 배율에 기초하여 프레임(502)의 블록(504)을 중심으로 줌 인(Zoom In)을 수행할 수 있다. 그러면, 프레임(502)에 표시된 이미지, 동영상은 블록(504)을 중심으로 확대될 수 있다.
<줌 아웃(Zoom Out)>
프레임(505)과 프레임(506)은 동일한 디지털 오브젝트를 구성한다. 시간 T1에서, 사용자가 복수의 블록으로 분할된 프레임(505) 중 블록(507)을 응시한다고 가정한다. 그리고, 일정 시간이 경과 후, T2에서 사용자의 시선이 프레임(506)의 블록(508)에 위치한다고 가정한다.
그러면, 디지털 오브젝트 탐색 장치는 시선 유지 시간과 줌 조정 계수를 이용하여 줌 배율을 계산할 수 있다. 이 때, 시선 유지 시간은 블록(507)에서 블록(508)로 시선이 이동할 때의 시간을 의미할 수 있다. 그런 후, 디지털 오브젝트 탐색 장치는 줌 배율에 기초하여 프레임(505)의 블록(507)에서 프레임(506)의 블록(508)로 줌 아웃(Zoom Out)을 수행할 수 있다. 그러면, 프레임(505)에서 프레임(506)으로 진행되는 동안 표시된 이미지, 동영상이 축소될 수 있다.
도 6은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 블록에 따라 렌더링 퀄리티를 달리하여 탐색하는 일례를 도시한 플로우차트이다.
디지털 오브젝트 탐색 장치는 사용자의 시선 정보를 수집할 수 있다(S601). 그리고, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 탐색이 Enable인지 여부를 판단할 수 있다(S602). 만약, 디지털 오브젝트에 대한 탐색이 Disable인 경우, 디지털 오브젝트 탐색 장치는 화면 갱신을 수행할 수 있다(S608).
만약, 디지털 오브젝트에 대한 탐색이 Enable인 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선이 위치하는 블록의 ID와 이전 블록 ID가 서로 동일한 지 여부를 판단할 수 있다(S603). 만약, 블록의 ID가 동일하지 않은 경우, 디지털 오브젝트 탐색 장치는 사용자가 응시하였던 이전 블록을 초기화할 수 있다(S606). 즉, 이전 블록의 해상도 등이 원래 상태로 복구될 수 있다.
그리고, 블록의 ID가 동일한 경우, 디지털 오브젝트 탐색 장치는 사용자가 응시하고 있는 현재 블록의 렌더링 퀄리티를 계산할 수 있다(S604). 그리고, 디지털 오브젝트 탐색 장치는 현재 블록의 주변 블록의 렌더링 퀄리티를 계산할 수 있다(S605). 이 때, 현재 블록의 렌더링 퀄리티는 주변 블록의 렌더링 퀄리티보다 더 큰 값일 수 있다. 일례로, 렌더링 퀄리티는 시선 유지 시간과 렌더링 조정 계수를 통해 결정될 수 있다.
렌더링 퀄리티가 계산되면, 디지털 오브젝트 탐색 장치는 디지털 오브젝트를 탐색할 수 있다(S607). 그런 후, 디지털 오브젝트 탐색 장치는 디지털 오브젝트의 화면을 갱신할 수 있다.
도 7은 본 발명의 일실시예에 따라 디지털 오브젝트에 대해 렌더링 퀄리티를 블록마다 다르게 결정하는 일례를 도시한 도면이다.
도 7은 디지털 오브젝트를 구성하는 복수의 프레임 중 하나의 프레임을 나타낸다. 이 때, 프레임은 복수의 블록으로 분할될 수 있다. 만약, 사용자가 복수의 블록 중 어느 하나의 블록을 응시하면, 디지털 오브젝트 탐색 장치는 상기 블록의 렌더링 퀄리티를 증가시킬 수 있다. 즉, 상기 블록의 품질(해상도, 음질, 볼륨 등)이 향상될 수 있다. 그리고, 사용자가 응시하는 블록을 중심으로 주변에 위치한 블록들의 렌더링 퀄리티는 순차적으로 품질이 낮아질 수 있다.
도 7에서 "3"을 나타내는 블록(현재 블록)이 사용자가 현재 응시하고 있는 블록을 의미한다. 이 때, 3은 렌더링 퀄리티를 의미한다. 그러면, 디지털 오브젝트 탐색 장치는 현재 블록을 중심으로 주변으로 갈수록 렌더링 퀄리티를 감소시키는 것을 알 수 있다. 즉, 사용자가 응시하는 블록을 중심으로 품질이 향상되어, 사용자는 응시하고 있는 블록을 중심으로 디지털 오브젝트를 몰입할 수 있다.
도 8은 본 발명의 일실시예에 따라 시선 정보에 기초하여 디지털 오브젝트에 대해 부가 정보의 세기를 계산하여 디지털 오브젝트를 탐색하는 일례를 도시한 플로우차트이다.
디지털 오브젝트 탐색 장치는 사용자의 시선 정보를 수집할 수 있다(S801). 그런 후, 디지털 오브젝트 탐색 장치는 디지털 오브젝트에 대한 탐색이 Enable인지 여부를 판단할 수 있다(S802). 만약, 디지털 오브젝트에 대한 탐색이 Disable인 경우, 디지털 오브젝트 탐색 장치는 화면을 갱신할 수 있다(S811).
반대로, 디지털 오브젝트에 대한 탐색이 Enable인 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선 위치와 부가 정보와의 거리(XDist, YDist)를 계산할 수 있다(S803). 그리고, 디지털 오브젝트 탐색 장치는 깊이 맵 상에서 사용자의 시선 위치의 거리(DDist)를 계산할 수 있다(S804). 이 때, 깊이 맵은 디지털 오브젝트에 포함된 구성 요소와 사용자와의 거리를 나타낸 맵을 의미할 수 있다. 또한, 디지털 오브젝트 탐색 장치는 히트 맵 상에서 사용자의 시선 위치의 거리(IDist)를 계산할 수 있다(S805). 이 때, 히트 맵은 사용자가 관심을 가지는 지역을 표시한 맵을 의미할 수 있다.
그런 후, 디지털 오브젝트 탐색 장치는 계산된 거리를 이용하여 부가 정보의 세기를 계산할 수 있다(S806). 이 때, 부가 정보의 세기는 사용자가 응시하고 있는 위치에 대해 디지털 오브젝트에 저장된 적어도 하나의 부가 정보 중 어느 것을 표시할 것인지를 결정하는 기준이 될 수 있다.
디지털 오브젝트 탐색 장치는 부가 정보의 세기에 따라 텍스트 부가 정보를 설정하거나(S807), 비디오 부가 정보를 설정하거나(S808) 또는 오디오 부가 정보를 설정할 수 있다(S809). 예를 들어, 텍스트의 경우, 디지털 오브젝트 탐색 장치는 텍스트의 크기, 폰트 또는 색을 조정할 수 있다. 그리고, 비디오의 경우, 디지털 오브젝트 탐색 장치는 비디오의 크기, 해상도, 볼륨을 조정할 수 있다. 또한, 오디오의 경우, 디지털 오브젝트 탐색 장치는 오디오 볼륨, 주파수 레이트를 조정할 수 있다.
디지털 오브젝트 탐색 장치는 디지털 오브젝트를 탐색하여 부가 정보를 표시할 수 있다(S801). 그런 후, 디지털 오브젝트 탐색 장치는 화면을 갱신할 수 있다(S811).
도 9는 본 발명의 일실시예에 따라 사용자의 시선 위치에 따른 부가 정보의 세기를 계산하는 일례를 도시한 도면이다.
디지털 오브젝트 탐색 장치는 디지털 오브젝트(901)에서 사용자의 시선 위치와 부가 정보와의 거리(XDist, YDist)를 계산할 수 있다. 그리고, 디지털 오브젝트 탐색 장치는 디지털 오브젝트(901)에 대한 깊이 맵 상에서 사용자의 시선 위치의 거리(DDist)를 계산할 수 있다. 이 때, 깊이 맵은 디지털 오브젝트에 포함된 구성 요소와 사용자와의 거리를 나타낸 맵을 의미할 수 있다.
일례로, 디지털 오브젝트 탐색 장치는 하기 수학식 1에 따라 사용자의 시선 위치와 부가 정보와의 거리(XDist, YDist)를 계산할 수 있다. 그리고, 디지털 오브젝트 탐색 장치는 하기 수학식 2에 따라 디지털 오브젝트(901)에 대한 깊이 맵 상에서 사용자의 시선 위치의 거리(DDist)를 계산할 수 있다.
Figure 112016012962270-pat00001
이 때, Annot X, Annot Y는 각각 부가 정보의 X, Y 성분을 나타내고, CurX, Cur Y는 각각 사용자의 시선 위치의 X, Y 성분을 나타낸다.
Figure 112016012962270-pat00002
이 때, Depth Map(x,y)는 깊이 맵 상에서 부가 정보의 성분을 나타내고, CurZ는 깊이 맵 상에서 사용자의 시선 위치를 나타낸다. 이 때, CurZ는 줌 비율이 적용된 값일 수 있다.
또한, 디지털 오브젝트 탐색 장치는 히트 맵(902) 상에서 사용자의 시선 위치의 거리(IDist)를 계산할 수 있다. 이 때, 히트 맵은 사용자가 관심을 가지는 지역을 표시한 맵을 의미할 수 있다. 일례로, 디지털 오브젝트 탐색 장치는 하기 수학식 3에 따라 히트 맵(902) 상에서 사용자의 시선 위치의 거리(IDist)를 계산할 수 있다.
Figure 112016012962270-pat00003
일례로, 부가 정보의 세기(D)는 하기 수학식 4에 따라 결정될 수 있다.
Figure 112016012962270-pat00004
도 10은 본 발명의 일실시예에 따라 사용자의 시선 위치에 따라 부가 정보가 표시되는 일례를 도시한 도면이다.
도 10를 참고하면, 디지털 오브젝트에 부가 정보가 A, B, C, D, E 지점에 저장되어 있다고 가정한다. 이 때, 사용자의 시선 위치가 디지털 오브젝트 상의 특정 지점에 존재하는 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선 위치를 중심으로 부가 정보의 세기를 계산할 수 있다. 부가 정보의 세기는 도 9의 수학식 1, 2, 3 및 4에 따라 결정될 수 있다. 즉, 부가 정보의 세기는 미리 저장된 부가 정보의 위치와 사용자의 시선 위치의 거리와 관련이 있다.
도 10에서 사용자의 시선 위치에 가장 가까운 D위치에 저장된 부가 정보의 세기가 가장 크게 결정될 수 있다. 그러면, D 위치에 저장된 부가 정보가 텍스트, 비디오 또는 오디오 타입으로 표시될 수 있다. 예를 들어, 디지털 오브젝트가 지도인 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선 위치에 가장 가까운 음식점 D의 상세 정보를 텍스트, 오디오 또는 비디오 형태로 표시할 수 있다. 결국, 사용자는 디지털 오브젝트에서 특정 지점을 응시하는 것으로도 미리 저장된 부가 정보를 획득할 수 있다.
도 11은 본 발명의 일실시예에 따른 사용자의 시선 위치에 따라 채널을 탐색하는 일례를 도시한 도면이다.
도 11을 참고하면, 사용자의 시선에 따라 3D 형태의 디지털 오브젝트인 방송 채널들이 변경하는 과정이 도시되어 있다. 즉, 본 발명에 따르면, 사용자의 시선 정보와 제스쳐 정보를 이용하여 디지털 오브젝트의 3D 위치 정보 및 회전 정보가 계산된다. 그러면, 사용자가 응시하는 시선 위치를 중심으로 디지털 오브젝트의 3D 위치 정보 및 회전 정보가 결정되어, 디지털 오브젝트가 탐색될 수 있다.
도 11에 의하면, 사용자는 리모컨과 같은 별도의 조작 장치 없이도 현재 위치에서 시선만으로 수많은 채널을 검색할 수 있다. 도 11에서, 사용자가 화면의 왼쪽을 응시하면, 복수의 채널들은 사용자가 응시하는 시선의 위치에서 표시될 수 있다. 그리고, 사용자가 화면의 왼쪽에서 오른쪽으로 시선을 이동시키면, 화면 상에 표시된 채널도 사용자의 시선에 따라 이동할 수 있다.
도 12는 본 발명의 일실시예에 따른 사용자의 위치에 따라 사용자 인터페이스를 달리 결정하는 일례를 도시한 도면이다.
도 12를 참고하면, 화면에 표시되는 디지털 오브젝트는 사용자의 방향으로 크게 출력되고, 사용자와의 반대 방향으로 작게 출력되도록 조절될 수 있다. 특히, 대형 화면의 경우, 멀리 떨어진 디지털 오브젝트는 사용자가 시각적으로 인식하기 어렵기 때문에, 사용자와 가까운 곳에 위치할 때보다 더 크게 표시될 수 있다.
따라서, 디지털 오브젝트 탐색 장치는 사용자 인터페이스의 프로젝션을 조정하여 사용자의 위치에 따라 디지털 오브젝트를 사용자의 방향으로 크게 사용자의 반대방향으로 작게 출력되도록 디지털 오브젝트의 위치 및 회전 속성을 변경시킴으로써, 사용자에게 최적화된 view를 제공할 수 있다. 즉 도 12에 의하면, 사용자가 화면을 보는 위치에 따라 Perspetive한 view를 제공할 수 있다.
도 13은 본 발명의 일실시예에 따른 사용자 인터페이스가 사용자의 위치에 따라 출력되는 일례를 도시한 도면이다.
도 13을 참고하면, 디지털 오브젝트는 사용자의 위치에 따라 이동하여 출력될 수 있다. 즉, 사용자가 화면의 왼쪽에 위치하는 경우 출력되는 디지털 오브젝트도 왼쪽으로 이동하고, 사용자가 화면의 오른쪽에 위치하는 경우 출력되는 디지털 오브젝트도 오른쪽으로 이동할 수 있다.
특히, 대형 화면에서, 사용자가 대각선 방향으로 화면을 보면 디지털 오브젝트를 인식하기 어렵기 때문에, 본 발명의 일실시예에 따른 디지털 오브젝트 탐색 장치는 사용자의 위치 정보에 따라 디지털 오브젝트를 이동시켜 출력할 수 있다. 또한, 사용자와 화면과의 거리가 증가하는 경우, 화면에 표시되는 디지털 오브젝트도 상기 증가된 거리만큼 크기가 증가되어 표시될 수 있다.
도 14는 본 발명의 일실시예에 따라 사용자의 위치 정보와 시선 정보에 따라 디지털 오브젝트의 출력 위치 및 출력 각도를 변경하는 일례를 도시한 플로우차트이다.
디지털 오브젝트 탐색 장치는 사용자의 위치 정보를 수집할 수 있다(S1401). 이 때, 디지털 오브젝트 탐색 장치는 도 13에서 도시된 바와 같이 디지털 오브젝트가 사용자를 따라다니는 모드(제1 모드)인지 여부를 판단할 수 있다(S1402). 만약, 제1 모드인 경우, 디지털 오브젝트 탐색 장치는 사용자의 위치에 따라 디지털 오브젝트의 위치를 변경시킬 수 있다(S1403).
반대로, 제1 모드가 아닌 경우, 디지털 오브젝트 탐색 장치는 도 12와 같이 디지털 오브젝트가 사용자의 방향으로 출력되는 모드(제2 모드)인지 여부를 판단할 수 있다. 만약, 제2 모드인 경우, 디지털 오브젝트 탐색 장치는 사용자가 위치한 방향으로 디지털 오브젝트를 크게, 사용자가 위치한 반대 방향으로 작게 출력되도록 디지털 오브젝트의 위치 및 회전 속성을 변경시킬 수 있다(S1405).
만약, 제2 모드가 아닌 경우, 디지털 오브젝트 탐색 장치는 도 11과 같이 디지털 오브젝트가 사용자의 시선에 따라 출력되는 모드(제3 모드)인지 여부를 판단할 수 있다. 만약, 제3 모드인 경우, 디지털 오브젝트 탐색 장치는 사용자의 시선에 의한 시점에 따라 화면에 출력되는 디지털 오브젝트의 위치 및 회전 속성을 변경할 수 있다.
*단계(S1403), 단계(S1405), 단계(S1406) 및 단계(S1407)를 거친 후, 디지털 오브젝트가 표시된 화면은 갱신될 수 있다.
또한 본 발명의 일실시예에 따른 디지털 오브젝트 탐색 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100: 사용자
101: 디지털 오브젝트 탐색 장치
102: 디스플레이
103: 시선 정보
104: 제스쳐 정보

Claims (11)

  1. 디지털 오브젝트 탐색 방법에 있어서,
    사용자의 시선 정보 및 제스처 정보를 수집하는 단계;
    상기 제스처 정보에 기초하여 디지털 오브젝트의 탐색을 활성화 또는 비활성화하는 단계;
    상기 디지털 오브젝트의 상기 탐색이 활성화되는 경우,
    상기 시선 정보에 기초하여 현재 블록을 결정하는 단계;
    상기 현재 블록과 이전 블록을 비교하는 단계;
    상기 현재 블록과 상기 이전 블록이 동일한 경우, 시선 유지 시간에 기초하여 상기 현재 블록의 줌 인에 대한 줌 비율(zoom rate) 및 상기 현재 블록의 정보 퀄리티 중 적어도 하나를 결정하는 단계; 및
    상기 현재 블록과 상기 이전 블록이 상이한 경우, 상기 이전 블록에서 상기 현재 블록으로의 줌 아웃에 대한 줌 비율, 상기 현재 블록의 정보 퀄리티, 및 상기 이전 블록의 정보 퀄리티 중 적어도 하나를 결정하는 단계
    를 포함하는 디지털 오브젝트 탐색 방법.
  2. 제1항에 있어서,
    상기 디지털 오브젝트는 복수의 블록들을 포함하고,
    상기 현재 블록은 상기 사용자가 현재 바라보고 있는 블록에 해당하며,
    상기 이전 블록은 상기 사용자가 이전에 바라본 블록에 해당하는,
    디지털 오브젝트 탐색 방법.
  3. 제1항에 있어서,
    상기 현재 블록의 정보 퀄리티는 상기 현재 블록의 렌더링 퀄리티 및 상기 현재 블록의 부가정보 세기 중 적어도 하나를 포함하고,
    상기 이전 블록의 정보 퀄리티는 상기 이전 블록의 렌더링 퀄리티 및 상기 이전 블록의 부가정보 세기 중 적어도 하나를 포함하는, 디지털 오브젝트 탐색 방법.
  4. 디지털 오브젝트 탐색 방법에 있어서,
    사용자의 시선 정보 및 제스처 정보를 수집하는 단계;
    상기 제스처 정보에 기초하여 디지털 오브젝트의 탐색을 활성화하는 단계;
    상기 시선 정보에 기초하여 현재 블록을 결정하는 단계;
    상기 현재 블록과 이전 블록을 비교하는 단계; 및
    상기 현재 블록과 상기 이전 블록이 동일한 경우, 상기 현재 블록의 줌 인에 대한 줌 비율 및 상기 현재 블록의 정보 퀄리티 중 적어도 하나를 결정하는 단계
    를 포함하는 디지털 오브젝트 탐색 방법.
  5. 디지털 오브젝트 탐색 방법에 있어서,
    사용자의 시선 정보 및 제스처 정보를 수집하는 단계;
    상기 제스처 정보에 기초하여 디지털 오브젝트의 탐색을 활성화하는 단계;
    상기 시선 정보에 기초하여 현재 블록을 결정하는 단계;
    상기 현재 블록과 이전 블록을 비교하는 단계; 및
    상기 현재 블록과 상기 이전 블록이 상이한 경우, 상기 이전 블록에서 상기 현재 블록으로의 줌 아웃에 대한 줌 비율, 상기 현재 블록의 정보 퀄리티, 및 상기 이전 블록의 정보 퀄리티 중 적어도 하나를 결정하는 단계
    를 포함하는 디지털 오브젝트 탐색 방법.
  6. 제5항에 있어서,
    상기 디지털 오브젝트는 복수의 블록들을 포함하고,
    상기 현재 블록은 상기 사용자가 현재 바라보고 있는 블록에 해당하며,
    상기 이전 블록은 상기 사용자가 이전에 바라본 블록에 해당하는,
    디지털 오브젝트 탐색 방법.
  7. 제1항 내지 제6항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  8. 하드웨어와 결합되어 제1항 내지 제6항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  9. 디지털 오브젝트 탐색 장치에 있어서,
    사용자의 시선 정보 및 제스처 정보를 수집하는 정보 수집부;
    상기 제스처 정보에 기초하여 디지털 오브젝트의 탐색을 활성화 또는 비활성화하는 오브젝트 탐색부; 및
    상기 디지털 오브젝트의 상기 탐색이 활성화되는 경우,
    상기 시선 정보에 기초하여 현재 블록을 결정하고,
    상기 현재 블록과 이전 블록을 비교하며,
    상기 현재 블록과 상기 이전 블록이 동일한 경우, 시선 유지 시간에 기초하여 상기 현재 블록의 줌 인에 대한 줌 비율 및 상기 현재 블록의 정보 퀄리티 중 적어도 하나를 결정하고,
    상기 현재 블록과 상기 이전 블록이 상이한 경우, 상기 이전 블록에서 상기 현재 블록으로의 줌 아웃에 대한 줌 비율, 상기 현재 블록의 정보 퀄리티, 및 상기 이전 블록의 정보 퀄리티 중 적어도 하나를 결정하는 정보 결정부
    를 포함하는 디지털 오브젝트 탐색 장치.
  10. 제9항에 있어서,
    상기 디지털 오브젝트는 복수의 블록들을 포함하고,
    상기 현재 블록은 상기 사용자가 현재 바라보고 있는 블록에 해당하며,
    상기 이전 블록은 상기 사용자가 이전에 바라본 블록에 해당하는,
    디지털 오브젝트 탐색 장치.
  11. 제9항에 있어서,
    상기 현재 블록의 정보 퀄리티는 상기 현재 블록의 렌더링 퀄리티 및 상기 현재 블록의 부가정보 세기 중 적어도 하나를 포함하고,
    상기 이전 블록의 정보 퀄리티는 상기 이전 블록의 렌더링 퀄리티 및 상기 이전 블록의 부가정보 세기 중 적어도 하나를 포함하는, 디지털 오브젝트 탐색 장치.
KR1020160015197A 2016-02-05 2016-02-05 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법 KR101640393B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160015197A KR101640393B1 (ko) 2016-02-05 2016-02-05 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160015197A KR101640393B1 (ko) 2016-02-05 2016-02-05 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020090069701A Division KR101596890B1 (ko) 2009-07-29 2009-07-29 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160022329A KR20160022329A (ko) 2016-02-29
KR101640393B1 true KR101640393B1 (ko) 2016-07-18

Family

ID=55448468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160015197A KR101640393B1 (ko) 2016-02-05 2016-02-05 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101640393B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200050235A (ko) 2018-11-01 2020-05-11 삼성전자주식회사 전자 장치 및 그의 지능형 인터랙션 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3744620B2 (ja) * 1996-09-25 2006-02-15 ソニー株式会社 画像照合装置及び画像照合方法
US20030095154A1 (en) * 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and apparatus for a gesture-based user interface
EP1774428A2 (en) * 2004-07-28 2007-04-18 Philips Intellectual Property & Standards GmbH Method for control of a device
KR101410667B1 (ko) * 2007-04-09 2014-06-24 삼성전자주식회사 단말 및 주시와 선택에 의한 그의 문자 입력 방법

Also Published As

Publication number Publication date
KR20160022329A (ko) 2016-02-29

Similar Documents

Publication Publication Date Title
KR101596890B1 (ko) 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
Poelman et al. As if being there: mediated reality for crime scene investigation
US9398349B2 (en) Comment information generation device, and comment display device
US20220222028A1 (en) Guided Collaborative Viewing of Navigable Image Content
CN109416931A (zh) 用于视线跟踪的装置和方法
US11070894B2 (en) Methods, systems, and media for presenting interactive elements within video content
WO2015142621A1 (en) Object tracking in zoomed video
US10607410B2 (en) Displaying visual information of views captured at geographic locations
CN110622110B (zh) 提供沉浸式现实内容的方法和装置
KR20150001425A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
US20210349620A1 (en) Image display apparatus, control method and non-transitory computer-readable storage medium
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
WO2019208702A1 (ja) 自由視点画像生成方法、自由視点画像表示方法、自由視点画像生成装置及び表示装置
Huang et al. Trip Synopsis: 60km in 60sec
Wang et al. Transitioning360: Content-aware nfov virtual camera paths for 360 video playback
Nguyen et al. Depth conflict reduction for stereo vr video interfaces
US10789987B2 (en) Accessing a video segment
KR101640393B1 (ko) 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US10796477B2 (en) Methods, devices, and systems for determining field of view and producing augmented reality
JP2016194792A (ja) 情報処理装置、情報処理方法およびプログラム
KR20230088436A (ko) 눈 움직임에 기반한 확장된 현실 환경 상호작용의 방법 및 시스템
Oliver et al. Palma360: A 360-degree Web-based Multi-device Hypervideo
EP4250061A1 (en) User control in augmented reality
JP2000182058A (ja) 三次元運動入力方法及び三次元運動入力システム
Petrella et al. Defocus Discrimination in Video: Motion in Depth

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 4