KR102210633B1 - 가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법 - Google Patents

가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR102210633B1
KR102210633B1 KR1020140085931A KR20140085931A KR102210633B1 KR 102210633 B1 KR102210633 B1 KR 102210633B1 KR 1020140085931 A KR1020140085931 A KR 1020140085931A KR 20140085931 A KR20140085931 A KR 20140085931A KR 102210633 B1 KR102210633 B1 KR 102210633B1
Authority
KR
South Korea
Prior art keywords
virtual object
depth
recognition range
present specification
area
Prior art date
Application number
KR1020140085931A
Other languages
English (en)
Other versions
KR20160006418A (ko
Inventor
김지환
이도영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140085931A priority Critical patent/KR102210633B1/ko
Priority to US14/473,758 priority patent/US9721540B2/en
Priority to EP14897015.5A priority patent/EP3167610A4/en
Priority to PCT/KR2014/008548 priority patent/WO2016006759A1/en
Priority to CN201480080400.6A priority patent/CN106664398B/zh
Publication of KR20160006418A publication Critical patent/KR20160006418A/ko
Application granted granted Critical
Publication of KR102210633B1 publication Critical patent/KR102210633B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Architecture (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)

Abstract

본 명세서는 가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법을 개시한다. 본 명세서에 따른 디스플레이 디바이스는, 가상 오브젝트가 포함된 3차원 영상을 출력한다. 그리고, 상기 가상 오브젝트에는 입력 오브젝트가 선택한 것으로 인정하는 인정범위가 설정되어 있다. 이때, 3차원 영상 내에서 사용자의 시선으로부터 상기 가상 오브젝트가 떨어진 거리의 정도를 나타내는 가상 오브젝트의 뎁스가 증가 또는 감소하는 방향으로 상기 인정범위의 영역이 상기 가상 오브젝트의 뎁스와 연계되어 설정될 수 있다. 본 명세서에 따르면, 3차원 영상에 제공된 가상 오브젝트를 선택함에 있어서, 사용자가 가상 오브젝트의 뎁스를 착각하여 선택하지 못할 가능성이 작아진다.

Description

가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법{DISPLAY DEVICE HAVING SCOPE OF ACCREDITION IN COOPERATIN WITH THE DEPTH OF VIRTUAL OBJECT AND CONTROLLING METHOD THEREOF}
본 명세서는 가상 오브젝트가 포함된 3차원 영상을 출력하는 디스플레이 디바이스 및 그 제어 방법에 관한 것이다.
리얼 오브젝트와 가상 오브젝트가 혼합된 증강 현실 기술은 사용자가 가상 이미지와 함께 현실 이미지를 볼 수 있게 하여 현실감과 함께 부가 정보를 제공한다. 예를 들어 스마트 폰의 카메라로 주변을 비추면 현실 이미지와 함께 인근에 있는 상점의 위치, 전화번호 등의 증강현실 이미지가 입체 영상으로 표기된다. 증강 현실 기술은 착용형 디스플레이 디바이스(wearable computing device)에도 적용될 수 있다. 특히 헤드 마운티드 디스플레이와 같이 머리에 쓰는 형태의 디스플레이는 사용자가 보는 실제 환경에 가상 이미지 또는 문자 등을 오버랩하여 실시간으로 보여줌으로써 사용자에게 증강현실을 제공한다.
상기 증강현실 이미지는 3차원 영상으로 제공된 가상 오브젝트를 제공하기도 한다. 3차원 영상으로 제공된 가상 오브젝트는 증강현실 이미지 내에서 뎁스(depth)를 가지고 있다. 상기 뎁스란, 사용자의 시선을 기준으로 멀어지는 방향으로의 축을 가지고 있으며, 사용자의 시선으로부터 멀어질수록 깊은 뎁스를 가진다.
사용자는 증강현실 이미지에서 사용자는 손가락 등 입력 오브젝트를 통해 가상 오브젝트를 선택할 수도 있다. 그러나, 사용자의 시각으로 인식한 가상 오브젝트의 거리 즉, 가상 오브젝트의 뎁스는 사용자의 양안시차에 의해 발생한 것이지 실제로 특정 거리상에 위치한 오브젝트가 아니다. 따라서, 사용자가 인식하는 가상 오브젝트의 거리와 가상 오브젝트가 위치한 뎁스는 오차가 발생할 수 있다.
도 1은 3차원 영상에서 가상 오브젝트의 뎁스에 따른 선택의 정확도를 나타내는 참고도이다.
도 1의 (a)을 참고하면, 3차원 영상에 나타난 임의의 가상 오브젝트(11, 12, 13)를 확인할 수 있다. 상기 3차원 영상 내에서 사용자의 시선으로부터 상기 가상 오브젝트가 떨어진 거리의 정도를 나타내는 가상 오브젝트의 뎁스가 존재한다. 상기 뎁스는 사용자의 시선에 가까울수록 작고, 사용자에서 멀수록 크다. 따라서, 참조번호 11의 가상 오브젝트가 가장 작은 뎁스를 가진다. 그리고, 참조번호 13의 가상 오브젝트가 가장 큰 뎁스를 가지고, 참조번호 12의 가상 오브젝트가 중간 뎁스를 가진 것을 이해할 수 있다.
도 1의 (b)를 참고하면, 사용자가 가상 오브젝트를 선택하였을 때 뎁스에 따른 정확도를 나타낸다. 도시된 바와 같이, 특정 뎁스 'a'를 기준으로 작은 뎁스를 가질 수록, 특정 뎁스 'a'를 기준으로 큰 뎁스를 가질수록 정확도가 낮아지는 것을 확인할 수 있다. 상기 특정 뎁스 'a'는 양안시차에 의해 사용자가 인식하는 가상 오브젝트의 거리와 3차원 영상 내에서 가상 오브젝트가 위치하는 실제 뎁스가 일치하는 지점이다. 상기 특정 뎁스 'a'는 일반적으로 사용자가 손을 자연스럽게 뻗었을 때, 손끝이 위치하는 지점과 근접하다.
이러한 오차를 극복하고자 미국 특허공개공보 US 2010/0245352에는 버추얼 이미지에서 동일 플레인 상에 존재하는 오브젝트의 선택을 도와주는 가이드 이미지를 디스플레이 하는 방법을 개시하고 있다. 하지만 상기 선행문헌에 개시된 방법은 가이드 이미지라는 또 다른 가상 오브젝트를 제공하는 것으로, 자칫 너무 많은 가상 오브젝트를 제공하여 사용자에게 복잡한 영상을 제공하게 될 수도 있다. 따라서, 이를 해결하기 위한 방법이 필요하다.
본 명세서는 상기와 같은 종래 기술을 인식하여 안출된 것으로서, 가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법을 제공하는데 그 목적이 있다.
상기 기술적 과제를 달성하기 위한 본 명세서에 따른 디스플레이 디바이스는, 디스플레이 디바이스의 작동을 제어하는 프로세서; 상기 프로세서의 명령에 기초하여 하나 이상의 가상 오브젝트가 포함된 3차원 영상을 출력하는 디스플레이 유닛; 및 상기 가상 오브젝트를 선택하는 입력 오브젝트의 위치를 센싱하고, 상기 센싱 결과에 대한 정보를 상기 프로세서에 전달하는 센서 유닛;을 포함하는 디스플레이 디바이스로서, 상기 프로세서는, 상기 입력 오브젝트의 위치가 상기 가상 오브젝트를 선택한 것으로 인정하는 범위(이하 '인정범위') 내에 있는 경우 상기 가상 오브젝트를 선택한 것으로 판별함에 있어서, 상기 3차원 영상 내에서 사용자의 시선으로부터 상기 가상 오브젝트가 떨어진 거리의 정도를 나타내는 가상 오브젝트의 뎁스가 증가 또는 감소하는 방향으로 상기 인정범위의 영역이 상기 가상 오브젝트의 뎁스와 연계되어 설정될 수 있다.
본 명세서의 일 실시예에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트의 뎁스 크기가 작을수록 상기 인정범위의 영역이 커질 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트의 뎁스 크기가 클수록 상기 인정범위의 영역이 커질 수 있다.
본 명세서의 또 다른 실시예에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트의 뎁스가 기준 뎁스보다 작을 경우 상기 인정범위의 영역이 커질 수 있고, 상기 가상 오브젝트의 뎁스가 기준 뎁스보다 클 경우 상기 인정범위의 영역이 커질 수 있다.
본 명세서에 따르면, 상기 인정범위는 상기 가상 오브젝트를 중심으로 뎁스가 작아지는 방향에 위치한 제1 인정범위 및 상기 가상 오브젝트를 중심으로 뎁스가 커지는 방향에 위치한 제2 인정범위를 포함할 수 있다. 이 때, 상기 제1 인정범위의 영역 및 제2 인정범위의 영역은, 상기 가상 오브젝트의 뎁스와 연계되어 설정될 수 있다.
본 명세서의 일 실시예에 따르면, 상기 가상 오브젝트의 뎁스 크기가 작을수록 상기 제2 인정범위의 영역이 상기 제1 인정범위의 영역보다 클 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 가상 오브젝트의 뎁스 크기가 클수록 상기 제1 인정범위의 영역이 상기 제2 인정범위의 영역보다 클 수 있다.
본 명세서의 또 다른 실시예에 따르면, 상기 가상 오브젝트의 뎁스 크기가 기준 뎁스보다 작을 경우 상기 제2 인정범위의 영역이 상기 제1 인정범위의 영역보다 클 수 있고, 상기 가상 오브젝트의 뎁스 크기가 기준 뎁스보다 클 경우 상기 제1 인정범위의 영역이 상기 제2 인정범위의 영역보다 클 수 있다.
본 명세서에서 상기 기준 뎁스는, 일정한 범위를 갖도록 설정될 수 있다.
본 명세서에서 상기 기준 뎁스는, 미리 설정될 수 있다.
본 명세서에서 상기 기준 뎁스는, 사용자에 의해 설정될 수 있다. 이때, 상기 프로세서는 상기 기준 뎁스의 설정을 위한 인터페이스를 상기 디스플레이 유닛에게 제공할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 프로세서는 상기 센서 유닛으로부터 전달받은 상기 입력 오브젝트의 위치 정보로부터 입력 오브젝트 이동 속도를 산출할 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 프로세서는 상기 입력 오브젝트의 위치가 상기 가상 오브젝트와 인접하고 상기 산출된 입력 오브젝트 이동 속도가 미리 설정된 기준 속도보다 낮은 경우, 상기 가상 오브젝트에 관한 가이드 인터페이스가 표시되도록 제어할 수 있다. 이때, 상기 가이드 인터페이스는, 입력 오브젝트의 그림자, 가상 오브젝트의 그림자, 가상 오브젝트 바운스 또는 가상 오브젝트와 근접정도표시일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 프로세서는 상기 입력 오브젝트의 위치가 상기 가상 오브젝트와 인접하고 상기 산출된 입력 오브젝트 이동 속도가 미리 설정된 기준 속도보다 높은 경우, 상기 가상 오브젝트의 위치를 상기 입력 오브젝트의 위치보다 큰 뎁스를 가지도록 이동시킬 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 인정범위는, 상기 가상 오브젝트를 중심으로 뎁스가 작아지는 방향에 위치한 제1 인정범위 및 상기 가상 오브젝트를 중심으로 뎁스가 커지는 방향에 위치한 제2 인정범위를 포함하며, 상기 프로세서는, 상기 입력 오브젝트의 위치가 상기 가상 오브젝트와 인접하고 상기 산출된 입력 오브젝트 이동 속도가 미리 설정된 기준 속도보다 높은 경우, 상기 제2 인정범위의 영역을 증가시킬 수 있다.
본 명세서에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트의 뎁스 및 상기 가상 오브젝트의 크기와 연계되어 설정될 수 있다. 일 실시예에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트의 크기가 미리 설정된 가상 오브젝트의 기준 크기보다 작을수록 상기 인정범위의 영역이 커질 수 있다.
상기 기술적 과제를 달성하기 위한 본 명세서에 따른 디스플레이 디바이스의 제어 방법은 하나 이상의 가상 오브젝트가 포함된 3차원 영상을 출력하는 디스플레이 유닛 및 프로세서를 포함하는 디스플레이 디바이스의 제어 방법으로서, (a) 상기 3차원 영상 내에서 사용자의 시선으로부터 상기 가상 오브젝트가 떨어진 거리의 정도를 나타내는 가상 오브젝트의 뎁스가 증가 또는 감소하는 방향으로 상기 인정범위의 영역을 상기 가상 오브젝트의 뎁스와 연계하여 설정하는 단계; (b) 센서 유닛으로부터 상기 입력 오브젝트의 위치에 관한 정보를 수신하는 단계; 및 (c) 상기 입력 오브젝트의 위치가 상기 인정범위 내에 있는 경우, 상기 가상 오브젝트가 선택된 것으로 판별하는 단계;를 포함할 수 있다.
본 명세서의 일 측면에 따르면, 3차원 영상에 제공된 가상 오브젝트를 선택함에 있어서, 사용자가 가상 오브젝트의 뎁스를 착각하여 선택하지 못할 가능성이 작아진다.
본 명세서의 다른 측면에 따르면, 입력 오브젝트 이동 속도를 통해 사용자가 가상 오브젝트를 선택하려고 할 때 도움을 줄 수 있는 가이드 인터페이스가 제공되어 사용자의 이용에 도움이 된다.
본 명세서의 또 다른 측면에 따르면, 입력 오브젝트 이동 속도를 통해 사용자가 가상 오브젝트의 뎁스를 착각한 경우에도 가상 오브젝트의 선택이 가능하도록 도움을 줄 수 있다.
본 명세서에 첨부되는 다음의 도면들은 바람직한 실시예를 예시하는 것이며, 후술하는 상세한 설명과 함께 본 명세서의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 명세서는 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 3차원 영상에서 가상 오브젝트의 뎁스에 따른 선택의 정확도를 나타내는 참고도이다.
도 2는 본 명세서의 실시예에 따른 디스플레이 디바이스의 구성을 개략적으로 나타낸 블록도이다.
도 3은 가상 오브젝트의 선택 및 인정범위에 대한 참고도이다.
도 4는 가상 오브젝트가 위치한 뎁스의 크기가 작을수록 인정범위의 영역이 커지는 실시예의 참고도이다.
도 5는 가상 오브젝트가 위치한 뎁스의 크기가 클수록 인정범위의 영역이 커지는 실시예의 참고도이다.
도 6은 가상 오브젝트가 위치한 뎁스가 기준 뎁스보다 작거나 큰 경우 인정범위의 영역이 커지는 실시예의 참고도이다.
도 7은 가상 오브젝트와 인접한 곳에서 입력 오브젝트의 이동 속도가 낮은 경우 가이드 인터페이스가 표시되는 실시예의 참고도이다.
도 8은 본 명세서의 실시예에 따른 가이드 인터페이스의 참고도이다.
도 9는 가상 오브젝트와 인접한 구간에서 입력 오브젝트 이동 속도가 기준 속도보다 높은 경우, 가상 오브젝트를 이동시키는 실시예의 예시도이다.
도 10은 가상 오브젝트와 인접한 구간에서 입력 오브젝트 이동 속도가 기준 속도보다 높은 경우, 제2 인정범위의 영역을 증가시키는 실시예의 예시도이다.
도 11은 가상 오브젝트의 크기가 미리 설정된 가상 오브젝트의 기준 크기보다 작을수록 상기 인정범위의 영역이 커진 실시예의 예시도이다.
도 12는 본 명세서의 일 실시예에 따른 디스플레이 디바이스의 제어 방법의 흐름을 개략적으로 도시한 순서도이다.
도 13은 본 명세서의 다른 실시예에 따른 디스플레이 디바이스의 제어 방법의 흐름을 개략적으로 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하기로 한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 명세서에 개시된 실시예의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 명세서의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 명세서에서 사용되는 용어는 본 명세서에 개시된 실시예의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
또한 본 명세서에 개시되어 있는 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 실시예를 설명하기 위한 목적으로 예시된 것으로, 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 의해 권리의 범위가 한정되는 것으로 해석되어서는 아니 된다.
본 명세서의 개념에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 명세서의 개념에 따른 실시예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 명세서의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 2는 본 명세서의 실시예에 따른 디스플레이 디바이스(100)의 구성을 개략적으로 나타낸 블록도이다.
도 2를 참조하면, 본 명세서에 따른 디스플레이 디바이스(100)는 하드웨어 계층, 운영체제 계층, 및 애플리케이션 계층을 포함할 수 있다. 다만, 도 2는 하나의 실시예로서, 당업자의 필요에 따라 일부 구성 모듈을 삭제하거나, 새로운 구성 모듈을 추가할 수 있다.
상기 디스플레이 디바이스(100)의 하드웨어 계층은 프로세서(110), 디스플레이 유닛(120) 및 센서 유닛(130)을 포함할 수 있다. 또한, 상기 디스플레이 디바이스(100)의 하드웨어 계층은 커뮤니케이션 유닛(140) 및 스토리지 유닛(150) 을 더 포함할 수 있다.
상기 프로세서(110)는 상기 디스플레이 디바이스(100)의 작동을 제어할 수 있다. 상기 디스플레이 디바이스(100)의 작동 제어를 위해, 상기 프로세서(110)는 상기 스토리지 유닛(150)에 저장된 컨텐츠, 또는 데이터 통신을 통해 수신된 컨텐츠 등을 실행할 수 있다. 또한, 상기 프로세서(110)는 다양한 애플리케이션을 실행하고, 디지털 디바이스(100) 내부의 데이터를 프로세싱 할 수 있다. 또한 상기 프로세서(110)는 컨텐츠 제어 모듈(200)을 구동하고, 컨텐츠 제어 모듈(200)의 제어 명령에 기초하여 디지털 디바이스(100)의 컨텐츠를 제어할 수 있다. 이에 더하여, 상기 프로세서(110)는 상술한 디지털 디바이스(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수도 있다.
상기 디스플레이 유닛(120)은 디스플레이 화면에 이미지를 출력할 수 있다. 상기 디스플레이 유닛(120)은 상기 프로세서(110)에서 실행되는 컨텐츠 또는 프로세서(110)의 제어 명령에 기초하여 이미지를 출력할 수 있다. 본 명세서에서 상기 디스플레이 유닛(120)은 상기 프로세서(110)의 명령에 기초하여 하나 이상의 가상 오브젝트가 포함된 3차원 영상을 출력할 수 있다. 상기 3차원 영상은 가상 이미지 위와 가상 오브젝트가 혼합된 화면일 수 있으며, 리얼 오브젝트와 가상 오브젝트가 혼합된 증강 현실 화면이 될 수도 있다.
상기 디스플레이 유닛(120)이 출력한 3차원 영상에 포함된 가상 오브젝트는 3차원 영상 내에서 상기 가상 오브젝트의 위치와 관련된 뎁스(depth)를 가지고 있다. 상기 뎁스란, 상기 3차원 영상 내에서 사용자의 시선으로부터 상기 가상 오브젝트가 떨어진 거리의 정도를 나타낸다. 따라서, 상기 뎁스는 사용자의 시선과 나란한 방향의 축을 가지고 있다. 본 명세서에서 뎁스는 사용자에게 가까울수록 뎁스가 작고, 사용자로부터 멀어질수록 뎁스가 커지는 것으로 설명하겠다. 상기 뎁스에 대해서는 앞서 도 1의 (a)를 참고하여 설명하였으므로, 반복적인 설명은 생략하도록 하겠다.
상기 센서 유닛(130)은 상기 가상 오브젝트를 선택하는 입력 오브젝트의 위치를 센싱하고, 상기 센싱 결과에 대한 정보를 상기 프로세서(110)에 전달할 수 있다. 상기 입력 오브젝트란, 사용자가 상기 디스플레이 유닛(120)이 출력한 3차원 영상에서 특정한 가상 오브젝트를 선택하고 할 때 사용되는 도구이다. 상기 입력 오브젝트로서 사용자의 손가락, 펜, 3차원 영상에 제공된 포인터 이미지 등이 될 수 있다. 이때, 상기 센서 유닛(130)은 적어도 하나의 센싱 수단을 포함할 수 있다.
본 명세서의 일 실시예로서, 적어도 하나의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서, 지문 센서 등의 센싱 수단을 포함할 수 있다. 상기 센서 유닛(130)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 프로세서(110)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 디지털 디바이스(100)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
한편, 커뮤니케이션 유닛(140)은 외부 디바이스 또는 서버와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 본 명세서에서 커뮤니케이션 유닛(140)은 네트워크를 통해 서버 또는 클라우드에 접속하여, 디지털 데이터, 예를 들면 컨텐츠를 송/수신할 수 있다. 본 명세서에서 상기 커뮤니케이션 유닛(140)은 디지털 디바이스(100)에 선택적으로 구비될 수 있다.
또 한편, 본 명세서의 스토리지 유닛(150)은, 비디오, 오디오, 사진, 문서, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛(150)은 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory), SSD(Solid State Drive) 등의 데이터를 기록하고 소거할 수 있다고 알려진 공지의 반도체 소자나 하드 디스크와 같은 대용량 저장매체로서, 디바이스의 종류에 상관 없이 정보가 저장되는 디바이스를 총칭하는 것으로서 특정 메모리 디바이스를 지칭하는 것은 아니다. 본 명세서에서, 스토리지 유닛(150)은 다양한 컨텐츠를 저장할 수 있다. 또한, 스토리지 유닛(150)은 커뮤니케이션 유닛(140)이 외부 디바이스 또는 서버로부터 수신한 컨텐츠를 저장할 수 있다.
본 명세서에서 상기 프로세서(110)는 상기 입력 오브젝트의 위치가 상기 가상 오브젝트를 선택한 것으로 인정하는 범위(이하 '인정범위') 내에 있는 경우 상기 가상 오브젝트를 선택한 것으로 판별할 수 있다.
도 3은 가상 오브젝트의 선택 및 인정범위에 대한 참고도이다.
도 3을 참조하면, HMD(Head Mounted Display, 320)를 착용한 사용자에게 보여지는 가상 오브젝트(300)가 포함된 3차원 영상을 확인할 수 있다. 상기 도면에서 HMD(320)는 본 명세서의 디스플레이 디바이스(100)의 일 예시에 불과하며, 본 명세서를 제한하는 것은 아니다.
또한, 도 3에는 상기 가상 오브젝트(300)와 함께 X, Y 및 Z축이 도시된 것을 확인할 수 있다. 상기 X, Y 및 Z축은 본 명세서에서 사용자의 시선 방향 및 뎁스를 설명하기 위한 참조 이미지이다. 따라서 상기 X, Y 및 Z축은 상기 사용자에게 보여지는 3차원 영상에는 포함되지 않을 수 있다. 상기 X축은 사용자의 시선을 기준으로 가로 방향을 나타낸다. 상기 Y축은 사용자의 시선을 기준으로 세로 방향을 나타낸다. 상기 Z축은 사용자의 시선을 기준으로 나란한 방향을 나타낸다. 따라서, 본 명세서에서 상기 Z축은 뎁스와 동일한 방향을 나타낸다. 또한, 본 명세서에서 뎁스가 증가 또는 감소하는 방향이란 상기 Z축과 동일한 방향을 의미한다. 그러므로 뎁스의 크기는 상기 Z축을 따라 사용자에게서 멀어질수록 커지고, 상기 Z축을 따라 사용자에게 가까울수록 작아진다.
상기 가상 오브젝트(300)를 선택한 것으로 인정하는 범위(310, 이하 '인정범위')는 각각의 가상 오브젝트(300)마다 설정될 수 있다. 도 3에서는 하나의 가상 오브젝트(300)만 도시되었으므로, 하나의 인정범위(310)가 설정되어 있다. 도 3에 도시된 실시예에서는 상기 인정범위(310)가 상기 가상 가상오브젝트(300)보다 조금 더 큰 영역을 차지하도록 도시되었다. 하지만, 도 3에 도시된 실시예에 의해서 본 명세서가 제한되는 것은 아니며, 상기 인정범위(310)의 영역은 다양하게 설정될 수 있다.
사용자는 3차원 영상에서 특정 가상 오브젝트를 선택하고자 할 때, 입력 오브젝트(330)를 통해서 선택할 수 있다. 도 3에 도시된 실시예는 사용자의 손가락이 입력 오브젝트(330)인 실시예이다. 하지만, 도 3에 도시된 실시예가 본 명세서를 제한하는 것은 아니다. 앞에서 설명하였듯이, 상기 센서 유닛(130)은 상기 가상 오브젝트(300)를 선택하는 입력 오브젝트(330)의 위치를 센싱한다. 이때, 상기 센서 유닛(130)은 입력 오브젝트(330)의 위치를 센싱할 수 있는 적어도 하나의 센싱 수단을 포함할 수 있다. 상기 센서 유닛(130)은 상기 센싱 결과에 대한 정보를 상기 프로세서(110)에 전달할 수 있다. 상기 프로세서(110)는 상기 입력 오브젝트(330)가 상기 인정범위(310) 내에 위치한 것으로 판단될 경우, 상기 가상 오브젝트(300)가 선택된 것으로 판단한다.
본 명세서에 따르면, 상기 가상 오브젝트의 뎁스가 증가 또는 감소하는 방향으로 상기 인정범위의 영역이 상기 가상 오브젝트의 뎁스와 연계되어 설정될 수 있다.
본 명세서의 일 실시예에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트가 위치한 뎁스의 크기가 작을수록 상기 인정범위의 영역이 커질 수 있다.
도 4는 가상 오브젝트가 위치한 뎁스의 크기가 작을수록 인정범위의 영역이 커지는 실시예의 참고도이다.
도 4를 참조하면, 서로 다른 뎁스를 가진 두 개의 가상 오브젝트(400, 450)를 확인할 수 있다. 참조번호 400의 가상 오브젝트는 뎁스 'a'를 가지고 있으며, 참조번호 450의 가상 오브젝트는 뎁스 'b'를 가지고 있다. 이때, 'a'가 'b'에 비해 작은 뎁스이다. 따라서, 본 명세서의 일 실시예에 따라 상대적으로 작은 뎁스 'a'를 가진 가상 오브젝트(400)의 인정범위(410)가 상대적으로 큰 뎁스 'b'를 가진 가상 오브젝트(450)의 인정범위(460)보다 큰 것을 확인할 수 있다. 상기 실시예는 사용자가 인식하는 가상 오브젝트의 뎁스와 가상 오브젝트가 실제 위치한 뎁스의 차이가 사용자에게 가까울수록 즉, 뎁스가 작을수록 커지는 것을 고려한 것이다. 따라서, 본 실시예에 따르면, 작은 뎁스를 갖는 가상 오브젝트를 사용자가 선택함에 있어서, 오차가 발생할 가능성이 작아진다.
본 명세서의 다른 실시예에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트가 위치한 뎁스의 크기가 클수록 상기 인정범위의 영역이 커질 수 있다.
도 5는 가상 오브젝트가 위치한 뎁스의 크기가 클수록 인정범위의 영역이 커지는 실시예의 참고도이다.
도 5를 참조하면, 서로 다른 뎁스를 가진 두 개의 가상 오브젝트(500, 550)를 확인할 수 있다. 참조번호 500의 가상 오브젝트는 뎁스 'b'를 가지고 있으며, 참조번호 550의 가상 오브젝트는 뎁스 'c'를 가지고 있다. 이때, 'c'가 'b'에 비해 큰 뎁스이다. 따라서, 본 명세서의 다른 실시예에 따라 상대적으로 큰 뎁스 'c'를 가진 가상 오브젝트(500)의 인정범위(560)가 상대적으로 작은 뎁스 'b'를 가진 가상 오브젝트(500)의 인정범위(510)보다 큰 것을 확인할 수 있다. 상기 실시예는 사용자가 인식하는 가상 오브젝트의 뎁스와 가상 오브젝트가 실제 위치한 뎁스의 차이가 사용자에게 멀수록 즉, 뎁스가 클수록 오차가 커지는 것을 고려한 것이다. 따라서, 본 실시예에 따르면, 큰 뎁스를 갖는 가상 오브젝트를 사용자가 선택함에 있어서, 오차가 발생할 가능성이 작아진다.
본 명세서의 또 다른 실시예에 따르면, 상기 인정범위의 영역은 가상 오브젝트가 위치한 뎁스가 기준 뎁스보다 작을 경우 상기 인정범위의 영역이 커질 수 있고, 가상 오브젝트가 위치한 뎁스가 기준 뎁스보다 클 경우 상기 인정범위의 영역이 커질 수 있다.
도 6은 가상 오브젝트가 위치한 뎁스가 기준 뎁스보다 작거나 큰 경우 인정범위의 영역이 커지는 실시예의 참고도이다.
도 5를 참조하면, 서로 다른 뎁스를 가진 세 개의 가상 오브젝트(600, 630, 650)를 확인할 수 있다. 참조번호 600의 가상 오브젝트는 뎁스 'a'를 가지고 있고, 참조번호 630의 가상 오브젝트는 뎁스 'b'를 가지고 있으며, 참조번호 650의 가상 오브젝트는 뎁스 'c'를 가지고 있다. 이때 'a'가 가장 작고, 'b'가 중간이고 'c'가 가장 큰 뎁스를 가지고 있다. 그리고, 본 실시예에서 상기 뎁스 'b'가 기준 뎁스이다.
따라서, 본 명세서의 또 다른 실시예에 따라 기준 뎁스 'b'보다 작은 뎁스 'a'를 가진 가상 오브젝트(600)의 인정범위(610)가 기준 뎁스 'b'를 가진 가상 오브젝트(630)의 인정범위(640)보다 큰 것을 확인할 수 있다. 그리고 동시에, 본 명세서의 또 다른 실시예에 따라 기준 뎁스 'b'보다 큰 뎁스 'c'를 가진 가상 오브젝트(650)의 인정범위(660)가 기준 뎁스 'b'를 가진 가상 오브젝트(630)의 인정범위(640)보다 큰 것을 확인할 수 있다.
상기 기준 뎁스는 다양하게 설정될 수 있다. 바람직하게, 상기 기준 뎁스는 양안시차에 의해 사용자가 인식하는 가상 오브젝트의 뎁스와 3차원 영상 내에서 가상 오브젝트가 위치하는 실제 뎁스가 일치하는 지점이다. 일 예로서, 기준 뎁스는 일반적인 사용자가 손을 자연스럽게 뻗었을 때, 손끝이 위치하는 지점과 근접할 수 있다. 하지만, 상기 예시가 본 명세서를 제한하는 것은 아니다.
본 명세서에 따른 상기 기준 뎁스는 일정한 범위를 갖도록 설정될 수 있다. 도 6에서는 도면의 간소화를 위해 기준 뎁스를 하나의 점(b)로 도시하였으나, 상기 기준 뎁스가 도시된 예시에 제한되지 않는다. 이 경우, 상기 스토리지 유닛(150)에 설정된 상기 기준 뎁스의 범위가 저장될 수 있다.
본 명세서의 일 실시예에 따르면, 상기 기준 뎁스는 미리 설정될 수 있다. 이 경우, 상기 스토리지 유닛(150)에 상기 설정 내용이 미리 저장될 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 기준 뎁스는 사용자에 의해 설정될 수 있다. 사용자는 자신의 시력, 초점, 입력 오브젝트의 크기 등을 고려하여 사용자 자신에게 적합한 기준 뎁스를 설정할 수 있다. 이 경우, 상기 프로세서(110)는 상기 기준 뎁스의 설정을 위한 인터페이스를 상기 디스플레이 유닛(120)에게 제공할 수 있다. 그리고, 스토리지 유닛(150)에 상기 설정 내용이 저장될 수 있다.
한편, 상기 인정범위는 제1 인정범위 및 제2 인정범위를 포함한다. 상기 제1 인정범위는 상기 가상 오브젝트를 중심으로 뎁스가 작아지는 방향에 위치한다. 상기 제2 인정범위는 상기 가상 오브젝트를 중심으로 뎁스가 커지는 방향에 위치한다.
본 명세서의 실시예에 따르면, 상기 인정범위는 상기 상기 제1 인정범위의 영역 및 제2 인정범위의 영역은 가상 오브젝트가 위치하는 뎁스와 연계되어 설정될 수 있다.
본 명세서의 일 실시예에 따르면, 상기 가상 오브젝트가 위치한 뎁스의 크기가 작을수록 상기 제2 인정범위의 영역이 상기 제1 인정범위의 영역보다 클 수 있다.
다시 도 4를 참조하여 상대적으로 작은 뎁스 'a'에 위치한 가상 오브젝트(400)의 인정범위(410)를 살펴보겠다. 상기 인정범위(410)는 상기 가상 오브젝트(400)를 중심으로 뎁스가 작아지는 방향에 위치한 제1 인정범위(411)를 포함하고 있다. 그리고 상기 인정범위(410)는 상기 가상 오브젝트(400)를 중심으로 뎁스가 커지는 방향에 위치한 제2 인정범위(412)를 포함하고 있다. 이때 본 명세서의 일 실시예에 따라 상기 제2 인정범위(412)의 두께가 상기 제1 인정범위(411)의 두께보다 큰 것을 확인할 수 있다. 상기 실시예는 가상 오브젝트가 실제 위치한 뎁스가 작을수록 사용자는 가상 오브젝트가 위치한 실제 뎁스보다 더 큰 뎁스를 가지고 있다고 착각할 수 있다는 점을 고려한 것이다. 즉, 사용자가 작은 뎁스를 가진 가상 오브젝트를 선택하려고 할 때, 가상 오브젝트의 제2 인정범위를 선택할 가능성이 높을 것을 고려한 것이다.
본 명세서의 다른 실시예에 따르면, 상기 가상 오브젝트가 위치한 뎁스의 크기가 클수록 상기 제1 인정범위의 영역이 상기 제2 인정범위의 영역보다 클 수 있다.
다시 도 5를 참조하여 상대적으로 큰 뎁스 'c'에 위치한 가상 오브젝트(550)의 인정범위(560)를 살펴보겠다. 상기 인정범위(560)는 상기 가상 오브젝트(550)를 중심으로 뎁스가 작아지는 방향에 위치한 제1 인정범위(561)를 포함하고 있다. 그리고 상기 인정범위(560)는 상기 가상 오브젝트(550)를 중심으로 뎁스가 커지는 방향에 위치한 제2 인정범위(562)를 포함하고 있다. 이때 본 명세서의 다른 실시예에 따라 상기 제1 인정범위(561)의 두께가 상기 제2 인정범위(562)의 두께보다 큰 것을 확인할 수 있다. 상기 실시예는 가상 오브젝트가 실제 위치한 뎁스가 클수록 사용자는 가상 오브젝트가 위치한 실제 뎁스보다 더 작은 뎁스를 가지고 있다고 착각할 수 있다는 점을 고려한 것이다. 즉, 사용자가 큰 뎁스를 가진 가상 오브젝트를 선택하려고 할 때, 가상 오브젝트의 제1 인정범위를 선택할 가능성이 높을 것을 고려한 것이다.
본 명세서의 또 다른 실시예에 따르면, 상기 가상 오브젝트가 위치한 뎁스의 크기가 기준 뎁스보다 작을 경우 상기 제2 인정범위의 영역이 상기 제1 인정범위의 영역보다 클 수 있고, 상기 가상 오브젝트가 위치한 뎁스의 크기가 기준 뎁스보다 클 경우 상기 제1 인정범위의 영역이 상기 제2 인정범위의 두께보다 클 수 있다.
다시 도 6을 참조하여 기준 뎁스 'b'보다 작은 뎁스 'a'에 위치한 가상 오브젝트(600)의 인정범위(610) 및 기준 뎁스 'b'보다 큰 뎁스 'c'에 위치한 가상 오브젝트(650)의 인정범위(660)를 살펴보겠다.
먼저, 뎁스 'a'에 위치한 가상 오브젝트(600)의 인정범위(610)는 상기 가상 오브젝트(600)를 중심으로 뎁스가 작아지는 방향에 위치한 제1 인정범위(611)를 포함하고 있다. 그리고 뎁스 'a'에 위치한 가상 오브젝트(600)의 인정범위(610)는 상기 가상 오브젝트(600)를 중심으로 뎁스가 커지는 방향에 위치한 제2 인정범위(612)를 포함하고 있다. 이때 본 명세서의 또 다른 실시예에 따라 상기 제2 인정범위(612)의 두께가 상기 제1 인정범위(611)의 두께보다 큰 것을 확인할 수 있다.
다음으로, 뎁스 'c'에 위치한 가상 오브젝트(650)의 인정범위(660)는 상기 가상 오브젝트(650)를 중심으로 뎁스가 작아지는 방향에 위치한 제1 인정범위(661)를 포함하고 있다. 그리고 뎁스 'c'에 위치한 가상 오브젝트(650)의 인정범위(660)는 상기 가상 오브젝트(650)를 중심으로 뎁스가 커지는 방향에 위치한 제2 인정범위(662)를 포함하고 있다. 이때 본 명세서의 다른 실시예에 따라 상기 제1 인정범위(661)의 두께가 상기 제2 인정범위(662)의 두께보다 큰 것을 확인할 수 있다.
상기 기준 뎁스는 다양하게 설정될 수 있다. 바람직하게, 상기 기준 뎁스는 양안시차에 의해 사용자가 인식하는 가상 오브젝트의 거리와 3차원 영상 내에서 가상 오브젝트가 위치하는 실제 뎁스가 일치하는 지점이다. 일 예로서, 기준 뎁스는 일반적인 사용자가 손을 자연스럽게 뻗었을 때, 손끝이 위치하는 지점과 근접할 수 있다. 하지만, 상기 예시가 본 명세서를 제한하는 것은 아니다.
본 명세서에 따른 상기 기준 뎁스는 일정한 범위로 설정될 수 있다. 도 6에서는 도면의 간소화를 위해 기준 뎁스를 하나의 점(b)로 도시하였으나, 상기 기준 뎁스가 도시된 예시에 제한되지 않는다. 이 경우, 상기 스토리지 유닛(150)에 설정된 상기 기준 뎁스의 범위가 저장될 수 있다.
본 명세서의 일 실시예에 따르면, 상기 기준 뎁스는 미리 설정될 수 있다. 이 경우, 상기 스토리지 유닛(150)에 상기 설정 내용이 미리 저장될 수 있다.
본 명세서의 다른 실시예에 따르면, 사용자에 의해 설정될 수 있다. 사용자는 자신의 시력, 초점, 입력 오브젝트의 크기 등을 고려하여 사용자 자신에게 적합한 기준 뎁스를 설정할 수 있다. 이 경우, 상기 프로세서(110)는 상기 기준 뎁스의 설정을 위한 인터페이스를 상기 디스플레이 유닛(120)에게 제공할 수 있다. 그리고, 스토리지 유닛(150)에 상기 설정 내용이 저장될 수 있다.
한편, 상기 프로세서(110)는 상기 센서 유닛(130)으로부터 전달받은 상기 입력 오브젝트의 위치 정보로부터 입력 오브젝트 이동 속도를 산출할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 프로세서(110)는 입력 오브젝트의 위치가 상기 가상 오브젝트와 인접하고 상기 산출된 입력 오브젝트 이동 속도가 미리 설정된 기준 속도보다 낮은 경우, 상기 가상 오브젝트에 관한 가이드 인터페이스가 표시되도록 제어할 수 있다.
도 7은 가상 오브젝트와 인접한 곳에서 입력 오브젝트의 이동 속도가 낮은 경우 가이드 인터페이스가 표시되는 실시예의 참고도이다.
도 7을 참조하면, 가상 오브젝트(700)를 선택하려는 입력 오브젝트(710)를 확인할 수 있다. 도 7에 도시된 실시예에서 상기 입력 오브젝트(710)는 사용자의 손가락이다. 한편, 도 7에서 상기 가상 오브젝트(700)와 인접하지 않은 구간을 '1번 구간'으로, 상기 가상 오브젝트(700)와 인접한 구간을 '2번 구간'으로 명명하였다.
상기 도 7에는 사용자가 가상 오브젝트(700)를 선택하고자 할 때, 상기 입력 오브젝트(710)의 이동 모습이 도시된 것을 확인할 수 있다. 사용자는 상기 가상 오브젝트(700)와 인접하지 않는 1번 구간에서는 상기 입력 오브젝트(710)를 빠르게 이동시킬 것이다. 반면, 사용자는 상기 가상 오브젝트(700)와 인접한 2번 구간에서는 선택의 정확성을 위해 상기 입력 오브젝트(710)를 천천히 이동시킬 것이다. 즉 사용자가 가상 오브젝트(700)를 선택하고자 할 때, 상기 입력 오브젝트(710)가 직관적으로 빠르게 접근하는 구간과 상기 입력 오브젝트(710)가 더듬어 접근하는 구간이 발생할 수 있다. 따라서, 상기 프로세서(110)는 상기 입력 오브젝트(710)의 위치가 상기 가상 오브젝트(700)와 인접하고 상기 산출된 입력 오브젝트 이동 속도가 미리 설정된 기준 속도보다 낮은 경우, 사용자가 상기 가상 오브젝트(700)를 선택하려는 것을 판단할 수 있다. 상기 미리 설정된 기준 속도는 입력 오브젝트가 가상 오브젝트를 선택하려고 할 때 더듬어 이동하는지 여부를 판단하기 위한 기준으로서 입력 오브젝트의 특성에 따라 다양하게 설정될 수 있다. 사용자가 상기 가상 오브젝트(700)를 선택하려는 것을 판단된 경우, 상기 프로세서(110)가 상기 가상 오브젝트(700)에 관한 가이드 인터페이스가 표시되도록 제어할 수 있다.
도 8은 본 명세서의 실시예에 따른 가이드 인터페이스의 참고도이다.
본 명세서의 일 실시예에 따르면, 상기 가이드 인터페이스는 입력 오브젝트의 그림자(711)이다. 도 8의 (a)를 참조하면, 사용자가 상기 가상 오브젝트(700)를 선택하려는 것을 판단된 경우, 상기 프로세서(110)가 상기 입력 오브젝트(710)의 그림자(711)를 표시하도록 제어할 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 가이드 인터페이스는 가상 오브젝트의 그림자(712)이다. 도 8의 (b)를 참조하면, 사용자가 상기 가상 오브젝트(700)를 선택하려는 것을 판단된 경우, 상기 프로세서(110)가 상기 가상 오브젝트(700)의 그림자(712)를 표시하도록 제어할 수 있다.
본 명세서의 또 다른 실시예에 따르면, 상기 가이드 인터페이스는 가상 오브젝트의 바운스(713)이다. 도 8의 (c)를 참조하면, 사용자가 상기 입력 오브젝트(710)를 통해 상기 가상 오브젝트(700)를 선택하려는 것을 판단된 경우, 상기 프로세서(110)가 상기 가상 오브젝트(700)가 바운스(bounce)되는 것 같이 표시되도록 제어할 수 있다.
본 명세서의 또 다른 실시예에 따르면, 상기 가이드 인터페이스는 가상 오브젝트와 근접정도표시(714)이다. 근접정도표시란, 상기 가상 오브젝트(700)와 상기 입력 오브젝트(710) 사이의 거리가 가까워지고 있는지 또는 멀어지고 있는지, 가까워지고 지고 있다면 얼마나 가까운지 사용자가 직감할 수 있도록 도움을 주는 인터페이스를 의미한다. 사용자가 상기 가상 오브젝트(700)를 선택하려는 것을 판단된 경우, 상기 프로세서(110)가 상기 입력 오브젝트(710)와 상기 가상 오브젝트(700)의 근접한 정도를 표시하는 인터페이스를 제어할 수 있다. 도 8의 (d)를 참조하면, 입력 오브젝트(710)가 참조번호 710-1에서 참조번호 710-3으로 상기 가상 오브젝트(700)에 가까워 지는 것으로 도시하였다. 이때, 상기 입력 오브젝트(710)와 상기 가상 오브젝트(700) 사이의 근접한 정도를 표시하는 원(714)이 참조번호 714-1에서 참조번호 714-3으로 점차 작아지는 것을 확인할 수 있다.
한편, 본 명세서에 개시되지 않았으나 본 명세서에 개시된 기술 분야에서 통상의 지식을 가진 자에게 널리 알려진 가이드 인터페이스가 선택 또는 추가될 수 있다.
한편, 상기 프로세서(110)는 상기 입력 오브젝트의 위치가 상기 가상 오브젝트와 인접하고 상기 산출된 입력 오브젝트 이동 속도가 미리 설정된 기준 속도보다 높은 경우, 상기 가상 오브젝트의 위치를 상기 입력 오브젝트의 위치보다 큰 뎁스를 가지도록 이동시킬 수 있다.
도 9는 가상 오브젝트와 인접한 구간에서 입력 오브젝트 이동 속도가 기준 속도보다 높은 경우, 가상 오브젝트를 이동시키는 실시예의 예시도이다.
도 9의 (a)를 참조하면, 가상 오브젝트(900)를 선택하려는 입력 오브젝트(910)를 확인할 수 있다. 도 9의 (a)에 도시된 실시예에서 상기 입력 오브젝트(910)는 사용자의 손가락이다. 한편 도 9의 (a)에서는, 앞서 도 7과 동일하게, 상기 가상 오브젝트(900)와 인접하지 않은 구간을 '1번 구간'으로, 상기 가상 오브젝트(900)와 인접한 구간을 '2번 구간'으로 명명하였다.
그러나, 도 9의 (a)에 도시된 상황은 사용자가 상기 가상 오브젝트(900)의 뎁스를 제대로 인식하지 못하고, 상기 입력 오브젝트(910)를 빠르게 이동시킨 상황이다. 즉, 앞선 도 7과 비교하여 설명하면, 사용자는 상기 가상 오브젝트(900)가 실제 위치한 뎁스보다 상기 가상 오브젝트(900)가 더 큰 뎁스를 가지고 있다고 착각한 것이다. 그 결과, 상기 입력 오브젝트(910)는 상기 가상 오브젝트(900)와 인접한 2번 구간에서 상기 입력 오브젝트(910)의 속도가 낮아지지 않고 빠르게 지나간 것이다. 따라서, 상기 프로세서(110)는 상기 입력 오브젝트의 위치가 상기 가상 오브젝트와 인접하고 상기 산출된 입력 오브젝트 이동 속도가 미리 설정된 기준 속도보다 높은 경우, 사용자가 상기 가상 오브젝트(900)가 실제 위치한 뎁스를 착각하였다고 판단할 수 있다. 따라서, 도 9의 (b)에 도시된 바와 같이, 상기 프로세서(110)는 상기 가상 오브젝트(900)의 위치를 상기 입력 오브젝트(910)의 위치보다 큰 뎁스(참조번호 '900-1'의 위치)를 가지도록 이동시킬 수 있다.
한편, 상기 프로세서(110)는 입력 오브젝트의 위치가 가상 오브젝트와 인접하고 산출된 입력 오브젝트 이동 속도가 미리 설정된 기준 속도보다 높은 경우, 제2 인정범위의 영역을 증가시킬 수도 있다.
도 10은 가상 오브젝트와 인접한 구간에서 입력 오브젝트 이동 속도가 기준 속도보다 높은 경우, 제2 인정범위의 영역을 증가시키는 실시예의 예시도이다.
도 10의 (a)를 참조하면, 앞서 도 9의 (a)와 동일하게, 사용자가 상기 가상 오브젝트(900)의 뎁스를 제대로 인식하지 못하고, 상기 입력 오브젝트(910)를 빠르게 이동시킨 상황이 도시된 것을 확인할 수 있다.
도 10의 (b)를 참조하여, 상기 도 10의 (a) 상황에서 상기 가상 오브젝트(900)의 인정범위(920)를 살펴보도록 하겠다. 상기 인정범위(920)는 제1 인정범위(921) 및 제2 인정범위(922)를 포함한다. 상기 제1 인정범위(921) 및 상기 제2 인정범위(922)에 대해서는 이미 상세히 설명한바, 반복적인 설명은 생략하도록 한다. 상기 입력 오브젝트(910)가 상기 가상 오브젝트(900)의 뎁스를 지나 상기 제2 인정범위(922)까지 지나칠 수 있다. 이 경우, 상기 프로세서(110)는 상기 제2 인정범위(922)의 두께를 증가시킬 수 있다.
도 10의 (c)를 참조하면, 상기 제2 인정범위(922)가 증가된 것을 확인할 수 있다. 이 경우, 상기 입력 오브젝트(910)가 상기 제2 인정범위(922)내에 있다면, 상기 프로세서(110)는 상기 입력 오브젝트(922)가 가상 오브젝트(900)를 선택한 것으로 판단할 수 있다. 반면, 상기 상기 제2 인정범위(922)내에 있지 않더라도, 사용자는 상기 입력 오브젝트(910)를 조금만 상기 가상 오브젝트(900)쪽으로 이동시켜 상기 가상 오브젝트(900)를 선택할 수 있다.
본 명세서에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트의 뎁스 및 상기 가상 오브젝트의 크기와 연계되어 설정될 수 있다. 일 실시예에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트의 크기가 미리 설정된 가상 오브젝트의 기준 크기보다 작을수록 상기 인정범위의 영역이 커질 수 있다.
도 11은 가상 오브젝트의 크기가 미리 설정된 가상 오브젝트의 기준 크기보다 작을수록 상기 인정범위의 영역이 커진 실시예의 예시도이다.
도 11을 참조하면, 동일한 뎁스 'b'를 가진 두 개의 가상 오브젝트(1000, 1050)를 확인할 수 있다. 상기 두 개의 가상 오브젝트(1000, 1050)는 서로 다른 크기를 가진 것을 확인할 수 있다. 이때, 참조번호 1000 가상 오브젝트가 기준 크기를 가진 가상 오브젝트이다. 그리고, 참조번호 1050 가상 오브젝트가 상기 기준 크기보자 작은 크기를 가진다. 상기 가상 오브젝트의 기준 크기는 정보의 내용, 정보의 양, 사용자의 편의 등을 고려하여 다양하게 미리 설정될 수 있다.
한편, 가상 오브젝트의 크기가 기준 크기보다 작을 경우 상기 인정범위의 영역 역시 작을 수 있다. 따라서, 입력 오브젝트가 상기 기준 크기보다 작은 크기를 가진 가상 오브젝트를 보다 원활하게 선택할 수 있도록 상기 인정범위의 영역이 커지도록 설정할 수 있다.
도 11에 도시된 실시예에서, 제1 인정범위 영역 및 제2 인정범위 영역에 대해서 도시하지 않았지만, 상기 가상 오브젝트의 크기에 따라 인정범위의 영역이 다르게 설정되는 실시예는 앞서 상술한 다양한 실시예와 함께 고려될 수 있다. 또한, 도 11에는 기준 크기보자 작은 크기를 가진 가상 오브젝트에 대한 실시예만이 도시되었지만, 상기 도시된 실시예가 기준 크기보다 큰 크기를 가진 가상 오브젝트의 인정범위를 제한하는 것은 아니다. 기준 크기보다 큰 크기를 가진 가상 오브젝트의 인정범위 역시, 상기 인정범위의 영역은 상기 가상 오브젝트의 뎁스 및 상기 가상 오브젝트의 크기와 연계되어 설정될 수 있다.
이하에서는 상술할 디지털 디바이스(100)의 제어 방법에 대해서 설명하도록 하겠다. 다만, 디지털 디바이스(100)의 제어 방법을 설명함에 있어서 상기 디지털 디바이스(100)의 구성 및 기능에 대해서는 이미 상세하게 설명한바 반복적인 설명은 생략하도록 하겠다.
도 12는 본 명세서의 일 실시예에 따른 디스플레이 디바이스의 제어 방법의 흐름을 개략적으로 도시한 순서도이다.
도 12를 참조하면, 먼저 단계 S1100에서 상기 프로세서(110)는 가상 오브젝트의 인정범위를 설정함에 있어서 상기 가상 오브젝트의 뎁스가 증가 또는 감소하는 방향을 가진 상기 인정범위의 영역을 상기 가상 오브젝트가 위치한 뎁스와 연계하여 설정할 수 있다. 상기 프로세서(110)는 단계 S1100을 마치고, 단계 S1110으로 이행한다.
본 명세서의 일 실시예에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트가 위치한 뎁스의 크기가 작을수록 상기 인정범위의 영역이 커지는 것으로 설정될 수 있다. 상기 실시예에 대해서는 도 4를 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다.
본 명세서의 다른 실시예에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트가 위치한 뎁스의 크기가 클수록 상기 인정범위의 영역이 커지는 것으로 설정될 수 있다. 상기 실시예에 대해서는 도 5를 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다.
본 명세서의 또 다른 실시예에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트가 위치한 뎁스가 기준 뎁스보다 작을 경우 상기 인정범위의 영역이 커지고, 상기 가상 오브젝트가 위치한 뎁스가 기준 뎁스보다 클 경우 상기 인정범위의 영역이 커지는 것으로 설정될 수 있다. 상기 실시예에 대해서는 도 6를 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다.
한편, 상기 인정범위는 상기 가상 오브젝트를 중심으로 뎁스가 작아지는 방향에 위치한 제1 인정범위 및 상기 가상 오브젝트를 중심으로 뎁스가 커지는 방향에 위치한 제2 인정범위를 포함할 수 있다. 그리고, 상기 제1 인정범위의 영역 및 제2 인정범위의 영역은, 상기 가상 오브젝트가 위치한 뎁스와 연계되어 설정될 수 있다.
본 명세서의 일 실시예에 따르면, 상기 가상 오브젝트가 위치한 뎁스의 크기가 작을수록 상기 제2 인정범위의 영역이 상기 제1 인정범위의 영역보다 크도록 설정될 수 있다. 상기 실시예에 대해서는 도 4를 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다.
본 명세서의 다른 실시예에 따르면, 상기 가상 오브젝트가 위치한 뎁스의 크기가 클수록 상기 제1 인정범위의 영역이 상기 제2 인정범위의 영역보다 크도록 설정될 수 있다. 상기 실시예에 대해서는 도 5를 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다.
본 명세서의 또 다른 실시예에 따르면, 상기 가상 오브젝트가 위치한 뎁스의 크기가 기준 뎁스보다 작을 경우 상기 제2 인정범위의 영역이 상기 제1 인정범위의 영역보다 크고, 상기 가상 오브젝트가 위치한 뎁스의 크기가 기준 뎁스보다 클 경우 상기 제1 인정범위의 영역이 상기 제2 인정범위의 영역보다 크도록 설정할 수 있다. 상기 실시예에 대해서는 도 6를 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다.
본 명세서에 따르면, 상기 인정범위의 영역은 상기 가상 오브젝트의 뎁스 및 상기 가상 오브젝트의 크기와 연계되어 설정될 수 있다. 일 실시예에 따르면, 상기 인정범위의 영역은, 상기 가상 오브젝트의 크기가 미리 설정된 가상 오브젝트의 기준 크기보다 작을수록 상기 인정범위의 영역이 커질 수 있다. 상기 실시예에 대해서는 도 11을 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다.
단계 S1110에서 상기 프로세서(110)는 센서 유닛으로부터 입력 오브젝트의 위치에 관한 정보를 수신할 수 있다. 상기 프로세서(110)는 단계 S1110을 마치고, 단계 S1120으로 이행한다.
단계 S1110에서 상기 프로세서(110)는 상기 입력 오브젝트의 위치가 상기 인정범위 내에 있는지 여부를 판단할 수 있다. 상기 입력 오브젝트의 위치가 상기 인정범위 내에 있다면(S1120의 YES), 상기 프로세서(110)는 단계 S1130으로 이행한다. 반면, 상기 입력 오브젝트의 위치가 상기 인정범위 내에 있지 않다면(S1120의 NO), 상기 프로세서(110)는 종료한다.
단계 S1130에서 상기 프로세서(110)는 상기 가상 오브젝트가 선택된 것으로 판별할 수 있다. 그리고, 상기 프로세서(110)는 종료한다.
단, 본 명세서에서 프로세서(110)의 종료란 가상 오브젝트를 선택하였는지 아닌지 여부와 관련된 일련의 과정이 종료된 것을 의미할 뿐, 디스플레이 디바이스의 모든 제어 기능이 종료된 것을 의미하지 않는다.
도 13은 본 명세서의 다른 실시예에 따른 디스플레이 디바이스의 제어 방법의 흐름을 개략적으로 도시한 순서도이다.
도 13을 참조하면, 먼저 단계 S1200에서 상기 프로세서(110)는 가상 오브젝트의 인정범위를 설정함에 있어서 상기 가상 오브젝트의 뎁스가 증가 또는 감소하는 방향을 가진 상기 인정범위의 영역을 상기 가상 오브젝트가 위치한 뎁스와 연계하여 설정할 수 있다. 상기 프로세서(110)는 단계 S1200을 마치고, 단계 S1210으로 이행한다.
단계 S1210에서 상기 프로세서(110)는 센서 유닛으로부터 입력 오브젝트의 위치에 관한 정보를 수신할 수 있다. 상기 프로세서(110)는 단계 S1210을 마치고, 단계 S1220으로 이행한다.
단계 S1220에서 상기 프로세서(110)는 센서 유닛으로부터 전달받은 상기 입력 오브젝트의 위치 정보로부터 입력 오브젝트 이동 속도를 산출할 수 있다. 상기 프로세서(110)는 단계 S1220을 마치고, 단계 S1230으로 이행한다.
단계 S1230에서 상기 프로세서(110)는 입력 오브젝트의 위치가 상기 가상 오브젝트와 인접하고 상기 산출된 입력 오브젝트 이동 속도가 미리 설정된 기준 속도보다 낮은지 여부를 판단할 수 있다.
상기 입력 오브젝트의 위치가 상기 가상 오브젝트와 인접하고 상기 산출된 입력 오브젝트 이동 속도가 미리 설정된 기준 속도보다 낮다면(S1230의 YES), 상기 프로세서(110)는 단계 S1240으로 이행한다. 반면, 상기 입력 오브젝트의 위치가 상기 가상 오브젝트와 인접하지 않거나 상기 산출된 입력 오브젝트 이동 속도가 미리 설정된 기준 속도보다 낮지 않다면(S1230의 NO), 상기 프로세서(110)는 단계 S1250으로 이행한다.
단계 S1240에서 상기 프로세서(110)는 가상 오브젝트에 관한 가이드 인터페이스가 표시되도록 제어할 수 있다. 그리고, 상기 프로세서(110)는 종료한다.
본 명세서의 일 실시예에 따르면, 상기 가이드 인터페이스는 입력 오브젝트의 그림자일 수 있다. 상기 실시예에 대해서는 도 8의 (a)를 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다.
본 명세서의 다른 실시예에 따르면, 상기 가이드 인터페이스는 가상 오브젝트의 그림자일 수 있다. 상기 실시예에 대해서는 도 8의 (b)를 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다.
본 명세서의 또 다른 실시예에 따르면, 상기 가이드 인터페이스는 가상 오브젝트 바운스일 수 있다. 상기 실시예에 대해서는 도 8의 (c)를 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다.
본 명세서의 또 다른 실시예에 따르면, 상기 가이드 인터페이스는 가상 오브젝트와 근접정도표시일 수 있다. 상기 실시예에 대해서는 도 8의 (d)를 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다.
한편, 단계 S1250에서 상기 프로세서(110)는 상기 가상 오브젝트의 위치를 상기 입력 오브젝트의 위치보다 큰 뎁스를 가지도록 이동시키거나, 상기 제2 인정범위의 영역을 증가시킬 수 있다. 단계 S1250에 대해서는 도 9 및 도 10을 통해 설명하였으므로 반복적인 설명은 생략하도록 하겠다. 그리고, 상기 프로세서(110)는 종료한다.
단, 본 명세서에서 프로세서(110)의 종료란 가상 오브젝트를 선택하였는지 아닌지 여부와 관련된 일련의 과정이 종료된 것을 의미할 뿐, 디스플레이 디바이스의 모든 제어 기능이 종료된 것을 의미하지 않는다.
본 명세서에서 "제1 및/또는 제2" 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되는 것은 아니다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 명세서의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
또한 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 그리고 명세서에 기재된 "~부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이상에서는 본 명세서를 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 명세서의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 따라서 본 명세서의 상세한 설명 및 실시예로부터 본 명세서에 개시된 기술이 속하는 분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 명세서의 권리범위에 속하는 것으로 해석된다.
또한, 본 명세서의 실시예를 설명함에 있어서 이해의 편의를 위해 종속적인 구성은 하나씩만 추가되는 예시를 중심으로 설명하였으나, 2이상의 종속적인 구성이 조합을 이루어 추가되는 실시예도 가능하다. 따라서, 본 명세서에 개시된 실시예에 본 명세서의 범위가 제한되지 않는다.
100 :디지털 디바이스
110 : 프로세서
120 : 디스플레이 유닛
130 : 센서 유닛
140 : 커뮤니케이션 유닛
150 : 스토리지 유닛
200 : 컨텐츠 제어 모듈
300, 400, 450, 500, 550, 600, 630, 650, 700, 900, 1000, 1050 : 가상 오브젝트
310, 410, 460, 510, 560, 610, 640, 660, 920, 1010, 1060 : 인정범위
311, 411, 561, 611, 661, 921 : 제1 인정범위
312, 412, 562, 612, 662, 922 : 제2 인정범위
330, 710, 910 : 입력 오브젝트

Claims (20)

  1. 디스플레이 디바이스의 작동을 제어하는 프로세서;
    상기 프로세서의 명령에 기초하여 하나 이상의 가상 오브젝트가 포함된 3차원 영상을 출력하는 디스플레이 유닛; 및
    상기 가상 오브젝트를 선택하는 입력 오브젝트의 위치를 센싱하고, 상기 센싱 결과에 대한 정보를 상기 프로세서에 전달하는 센서 유닛;을 포함하는 디스플레이 디바이스에 있어서,
    상기 프로세서는, 상기 입력 오브젝트의 위치가 상기 가상 오브젝트를 선택한 것으로 인정하는 범위(이하 '인정범위') 내에 있는 경우 상기 가상 오브젝트를 선택한 것으로 판별함에 있어서,
    상기 3차원 영상 내에서 사용자의 시선으로부터 상기 가상 오브젝트가 떨어진 거리의 정도를 나타내는 가상 오브젝트의 뎁스가 증가 또는 감소하는 방향으로 상기 인정범위의 영역이 상기 가상 오브젝트의 뎁스와 연계되어 설정되고,
    상기 인정범위의 영역은, 상기 가상 오브젝트의 뎁스 크기가 작을수록 상기 인정범위의 영역이 커지는,
    디스플레이 디바이스.
  2. 삭제
  3. 제1항에 있어서,
    상기 인정범위의 영역은, 상기 가상 오브젝트의 뎁스 크기가 클수록 상기 인정범위의 영역이 커지는 것을 특징으로 하는 디스플레이 디바이스.
  4. 제1항에 있어서,
    상기 인정범위의 영역은,
    상기 가상 오브젝트의 뎁스가 기준 뎁스보다 작을 경우 상기 인정범위의 영역이 커지고,
    상기 가상 오브젝트의 뎁스가 기준 뎁스보다 클 경우 상기 인정범위의 영역이 커지는 것을 특징으로 하는 디스플레이 디바이스.
  5. 제1항에 있어서,
    상기 인정범위는, 상기 가상 오브젝트를 중심으로 뎁스가 작아지는 방향에 위치한 제1 인정범위 및 상기 가상 오브젝트를 중심으로 뎁스가 커지는 방향에 위치한 제2 인정범위를 포함하며,
    상기 제1 인정범위의 영역 및 제2 인정범위의 영역은, 상기 가상 오브젝트의 뎁스와 연계되어 설정된 것을 특징으로 하는 디스플레이 디바이스.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020140085931A 2014-07-09 2014-07-09 가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법 KR102210633B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140085931A KR102210633B1 (ko) 2014-07-09 2014-07-09 가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법
US14/473,758 US9721540B2 (en) 2014-07-09 2014-08-29 Display device having scope of accreditation in cooperation with depth of virtual object and controlling method thereof
EP14897015.5A EP3167610A4 (en) 2014-07-09 2014-09-15 Display device having scope of accreditation in cooperation with depth of virtual object and controlling method thereof
PCT/KR2014/008548 WO2016006759A1 (en) 2014-07-09 2014-09-15 Display device having scope of accreditation in cooperation with depth of virtual object and controlling method thereof
CN201480080400.6A CN106664398B (zh) 2014-07-09 2014-09-15 具有与虚拟对象的深度协作的认可范围的显示装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140085931A KR102210633B1 (ko) 2014-07-09 2014-07-09 가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20160006418A KR20160006418A (ko) 2016-01-19
KR102210633B1 true KR102210633B1 (ko) 2021-02-02

Family

ID=55067966

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140085931A KR102210633B1 (ko) 2014-07-09 2014-07-09 가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법

Country Status (4)

Country Link
US (1) US9721540B2 (ko)
EP (1) EP3167610A4 (ko)
KR (1) KR102210633B1 (ko)
CN (1) CN106664398B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
EP3438789A4 (en) * 2016-03-29 2019-03-27 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US10452227B1 (en) 2016-03-31 2019-10-22 United Services Automobile Association (Usaa) System and method for data visualization and modification in an immersive three dimensional (3-D) environment
JP6706323B2 (ja) * 2016-07-12 2020-06-03 富士フイルム株式会社 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
CN106249882B (zh) * 2016-07-26 2022-07-12 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
CN107835403B (zh) * 2017-10-20 2020-06-26 华为技术有限公司 一种以3d视差效果显示的方法及装置
KR102004991B1 (ko) * 2017-12-22 2019-10-01 삼성전자주식회사 이미지 처리 방법 및 그에 따른 디스플레이 장치
KR102225399B1 (ko) * 2019-07-22 2021-03-09 삼성전자주식회사 이미지 처리 방법 및 그에 따른 디스플레이 장치
CN110427132A (zh) * 2019-07-27 2019-11-08 厦门城市职业学院（厦门市广播电视大学） 一种3d说明书及其推送方法
US10943388B1 (en) * 2019-09-06 2021-03-09 Zspace, Inc. Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
CN113204754B (zh) * 2021-04-28 2023-01-31 Oppo广东移动通信有限公司 基于增强现实眼镜的认证方法及装置、介质和电子设备
US12008160B2 (en) 2022-03-30 2024-06-11 Apple Inc. Eye tracking based selection of a user interface (UI) element based on targeting criteria

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130321462A1 (en) * 2012-06-01 2013-12-05 Tom G. Salter Gesture based region identification for holograms

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301668A (ja) 2004-04-12 2005-10-27 Seiko Epson Corp 情報処理装置および情報処理プログラム
KR100812624B1 (ko) * 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
JP5262681B2 (ja) 2008-12-22 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
US8223145B2 (en) 2009-03-26 2012-07-17 Geometric Ltd. Method and system for 3D object positioning in 3D virtual environments
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
JP5535585B2 (ja) * 2009-11-10 2014-07-02 株式会社ソニー・コンピュータエンタテインメント プログラム、情報記憶媒体、情報入力装置、及びその制御方法
JP5515067B2 (ja) 2011-07-05 2014-06-11 島根県 操作入力装置および操作判定方法並びにプログラム
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US20120139907A1 (en) * 2010-12-06 2012-06-07 Samsung Electronics Co., Ltd. 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
KR101738001B1 (ko) * 2011-03-25 2017-05-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
US8406470B2 (en) * 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
JP4945694B2 (ja) 2011-06-27 2012-06-06 株式会社東芝 映像再生装置及び映像再生方法
US20130257692A1 (en) * 2012-04-02 2013-10-03 Atheer, Inc. Method and apparatus for ego-centric 3d human computer interface

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130321462A1 (en) * 2012-06-01 2013-12-05 Tom G. Salter Gesture based region identification for holograms

Also Published As

Publication number Publication date
US20160012631A1 (en) 2016-01-14
CN106664398B (zh) 2019-02-22
KR20160006418A (ko) 2016-01-19
EP3167610A1 (en) 2017-05-17
CN106664398A (zh) 2017-05-10
EP3167610A4 (en) 2018-01-24
US9721540B2 (en) 2017-08-01

Similar Documents

Publication Publication Date Title
KR102210633B1 (ko) 가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법
US10509487B2 (en) Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN107810465B (zh) 用于产生绘制表面的***和方法
US9746928B2 (en) Display device and control method thereof
KR101784328B1 (ko) 증강 현실 표면 디스플레잉
US8866852B2 (en) Method and system for input detection
US9250443B2 (en) Head mounted display apparatus and contents display method
US9035878B1 (en) Input system
US20220011924A1 (en) Annotation using a multi-device mixed interactivity system
US10895966B2 (en) Selection using a multi-device mixed interactivity system
US10983661B2 (en) Interface for positioning an object in three-dimensional graphical space
KR20150009254A (ko) 입력 처리 방법 및 그 전자 장치
US10649615B2 (en) Control interface for a three-dimensional graphical object
US10649616B2 (en) Volumetric multi-selection interface for selecting multiple objects in 3D space
WO2013106169A1 (en) Menu selection using tangible interaction with mobile devices
US11301050B2 (en) Method and device for presenting a synthesized reality user interface
US20160026244A1 (en) Gui device
EP3850468B1 (en) Snapping range for augmented reality objects
EP3051513A1 (en) Display apparatus and control method thereof
KR20210102210A (ko) 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼
CN107924276B (zh) 电子设备及其文本输入方法
US20240087255A1 (en) Information processing apparatus, system, control method, and non-transitory computer storage medium
US20230042447A1 (en) Method and Device for Managing Interactions Directed to a User Interface with a Physical Object
KR20230130629A (ko) 정보 처리 방법, 정보 처리 장치 및 불휘발성 기억 매체
WO2022103741A1 (en) Method and device for processing user input for multiple devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant