KR102632795B1 - 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치 - Google Patents

컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치 Download PDF

Info

Publication number
KR102632795B1
KR102632795B1 KR1020160120610A KR20160120610A KR102632795B1 KR 102632795 B1 KR102632795 B1 KR 102632795B1 KR 1020160120610 A KR1020160120610 A KR 1020160120610A KR 20160120610 A KR20160120610 A KR 20160120610A KR 102632795 B1 KR102632795 B1 KR 102632795B1
Authority
KR
South Korea
Prior art keywords
navigator
content
user
object information
display
Prior art date
Application number
KR1020160120610A
Other languages
English (en)
Other versions
KR20180032005A (ko
Inventor
한종현
이호영
이채경
김보근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160120610A priority Critical patent/KR102632795B1/ko
Priority to EP17192241.2A priority patent/EP3299933B1/en
Priority to US15/710,928 priority patent/US11054963B2/en
Priority to CN201710858334.6A priority patent/CN107861613B/zh
Publication of KR20180032005A publication Critical patent/KR20180032005A/ko
Application granted granted Critical
Publication of KR102632795B1 publication Critical patent/KR102632795B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

다양한 실시예는 디스플레이, 메모리 및 상기 디스플레이 또는 상기 메모리와 기능적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 실행되는 컨텐츠와 연관된 컨텐츠 타입 또는 객체 정보를 획득하고, 상기 컨텐츠 타입 또는 상기 객체 정보를 이용하여 네비게이터를 생성하고, 생성된 네비게이터를 상기 컨텐츠 내에 배치하고, 사용자 주시 정보에 따라 상기 네비게이터를 표시하도록 설정된 전자 장치 및 전자 장치의 동작 방법을 제공한다. 또한, 다른 실시예도 가능하다.

Description

컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치{METHOD FOR DISPLAYING NAVIGATOR RELATED TO CONTENTS AND ELECTRONIC DEVICE FOR THE SAME}
다양한 실시예는 컨텐츠와 연관된 네비게이터 표시 방법 및 장치에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, PDA(personal digital assistant), 전자수첩, 스마트 폰, 태블릿 PC(personal computer), 웨어러블 디바이스(wearable device) 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있다. 이러한, 전자 장치는 기능 지지 및 증대를 위해, 전자 장치의 하드웨어적인 부분 및/또는 소프트웨어적인 부분이 지속적으로 개량되고 있다.
한편, 웨어러블 디바이스(Wearable Device)는 머리 장착 디스플레이(Head-Mounted Display), 스마트 안경(Smart Glass), 스마트 시계(Smart Watch) 또는 밴드(Wristband), 콘텍트 렌즈형 장치, 반지형 장치, 신발형 장치, 의복형 장치, 장갑형 장치 등 신체의 일부 또는 의복에 탈부착 가능한 다양한 형태일 수 있다. 이러한, 웨어러블 디바이스는 전자 장치에 연결하여 사용 가능하다. 또한, 웨어러블 디바이스는 가상 현실(virtual reality) 또는 증강 현실(augmendted reality)을 구현하여 다양한 사용자 경험을 제공할 수 있다.
다양한 실시예들은 VR(virtual reality) 컨텐츠와 연관된 네비게이터를 표시함으로써, 사용자가 네비게이터 내 원하는 항목을 쉽게 선택하도록 하는 방법 및 장치를 제공할 수 있다.
다양한 실시예들에 따른 전자 장치는 디스플레이, 메모리 및 상기 디스플레이 또는 상기 메모리와 기능적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 실행되는 컨텐츠와 연관된 컨텐츠 타입 또는 객체 정보를 획득하고, 상기 컨텐츠 타입 또는 상기 객체 정보를 이용하여 네비게이터를 생성하고, 생성된 네비게이터를 상기 컨텐츠 내에 배치하고, 사용자 주시 정보에 따라 상기 네비게이터를 표시하도록 설정될 수 있다.
다양한 실시예들에 따른 전자 장치의 동작 방법은 실행되는 컨텐츠와 연관된 컨텐츠 타입 또는 객체 정보를 획득하는 동작, 상기 컨텐츠 타입 또는 상기 객체 정보를 이용하여 네비게이터를 생성하는 동작, 상기 생성된 네비게이터를 상기 컨텐츠 내에 배치하는 동작, 및 사용자 주시 정보에 따라 상기 네비게이터를 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, VR 컨텐츠와 연관된 네비게이터를 표시함으로써, 사용자가 네비게이터 내 원하는 항목을 쉽게 선택할 수 있다.
다양한 실시예들에 따르면, 사용자의 상단 또는 하단에 VR 컨텐츠와 연관된 네비게이터를 배치함으로써, 사용자의 시각 방해를 최소화하고, 컨텐츠의 왜곡 영역을 호ㅘㄹ용할 수 있다.
다양한 실시예들에 따르면, VR 공간 내 사용자 시야 밖에 있는 항목을 사용자가 쉽게 파악할 수 있는 네비게이터를 구성하여 표시할 수 있다.
다양한 실시예들에 따르면, VR 컨텐츠와 중복되지 않는 영역에 네비게이터를 배치하고, 사용자 시각에 따라 네비게이터를 표시할 수 있다.
다양한 실시예들에 따르면, 사용자의 위치와 컨텐츠 내 항목 간의 거리를 기반으로 네비게이터 내 항목을 배치함으로써, 컨텐츠 내 공간 이동을 편리하게 수행할 수 있다.
도 1은 다양한 실시예들에 따른 전자 장치의 구성을 도시한 도면이다.
도 2는 다양한 실시예에 따른 머리 장착 디스플레이를 도시한 사시도이다.
도 3은 다양한 실시예에 따른 머리 장착 디스플레이에 전자 장치를 결합한 일례를 도시한 사시도다.
도 4는 다양한 실시예에 따른 머리 장착 디스플레이를 사용자가 착용한 일례를 도시한 도면이다.
도 5는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 6은 다양한 실시예들에 따른 컨텐츠 내 네비게이터를 배치하는 일례를 도시한 도면이다.
도 7은 다양한 실시예들에 따른 컨텐츠에 기반하여 네비게이터를 구성하는 일례를 도시한 도면이다.
도 8은 다양한 실시예들에 따른 전자 장치의 네비게이터 표시 방법을 도시한 흐름도이다.
도 9는 다양한 실시예들에 따른 사용자 시각에 따라 네비게이터를 표시하는 일례를 도시한 도면이다.
도 10은 다양한 실시예들에 따른 외부 장치의 인터랙션에 따라 네비게이터를 표시하는 일례를 도시한 도면이다.
도 11은 다양한 실시예들에 따른 전자 장치의 네비게이터 제어 방법을 도시한 흐름도이다.
도 12는 다양한 실시예들에 따른 네비게이터 내 객체 정보를 제공하는 일례를 도시한 도면이다.
도 13은 다양한 실시예들에 따른 네비게이터와 연관된 기능을 실행하는 일례를 도시한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 그리고 본 발명에 개시된 실시 예는 개시된 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 발명의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
본 발명의 실시 예에서 전자 장치는 본 발명의 다양한 실시 예들에 따른 기능(예: VR 컨텐츠 실행 기능)을 지원하는 모든 정보통신기기, 멀티미디어기기, 웨어러블 디바이스(Wearable Device) 및 그에 대한 응용기기와 같이 AP(Application Processor)), CP(Communication Processor), GPU(Graphic Processing Unit), 및 CPU(Central Processing Unit) 등의 다양한 프로세서 중 하나 또는 그 이상을 사용하는 모든 장치를 포함할 수 있다.
본 발명의 실시 예에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(HMD, head-mounted-device) 등), 또는 스마트 와치(smart watch)) 중 적어도 하나를 포함할 수 있다.
또한 본 발명의 실시 예에서 전자 장치는 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 냉장고, 에어컨, 청소기, 세탁기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 또는 전자 액자 중 적어도 하나를 포함할 수 있다. 또한 본 발명의 실시 예에서 전자 장치는 네비게이션(navigation) 장치, 또는 사물 인터넷 장치(internet of things) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 발명의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
또한 본 발명의 실시 예에서 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다. 본 발명의 실시 예에서 모듈 또는 프로그램 모듈은 본 발명의 다양한 구성 요소들 중 적어도 하나를 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성 요소를 더 포함할 수 있다. 다양한 실시 예들에 따른 모듈, 프로그램 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이하에서, 첨부 도면을 참조하여 본 발명의 실시 예에 따른 VR 컨텐츠와 연관된 네비게이터 표시 방법 및 장치에 대하여 살펴보기로 한다. 하지만, 본 발명의 다양한 실시 예들이 하기에서 기술하는 내용에 의해 제한되거나 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다. 이하에서 설명되는 본 발명의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 발명의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
도 1은 다양한 실시예들에 따른 전자 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 다양한 실시 예들에 따른 전자 장치(100)는 무선 통신부(110), 사용자 입력부(120), 터치스크린(Touch screen)(130), 오디오 처리부(140), 메모리(150), 인터페이스부(160), 카메라 모듈(170), 제어부(180), 그리고 전원 공급부(190)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 전자 장치(100)는 도 1에 도시된 구성들이 필수적인 것은 아니어서, 도 1에 도시된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
무선 통신부(110)는 전자 장치(100)와 다른 외부 전자 장치 사이의 무선 통신을 가능하게 하는 하나 또는 그 이상의 모듈들을 포함할 수 있다. 다양한 실시 예들에서, 무선 통신부(110)는 주변의 외부 전자 장치와 통신을 수행하기 위한 모듈(예: 근거리 통신 모듈, 원거리 통신 모듈 등)을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 이동통신 모듈(111), 무선 랜(WLAN, wireless local area network) 모듈(113), 근거리 통신 모듈(115), 그리고 위치 산출 모듈(117) 등을 포함하여 구성될 수 있다.
이동통신 모듈(111)은 이동통신 네트워크 상에서 기지국, 외부의 전자 장치, 그리고 다양한 서버들(예: 통합 서버(Integration Server), 프로바이더 서버(Provider Server), 컨텐츠 서버(Content Server), 인터넷 서버(Internet Server), 또는 클라우드 서버(Cloud Server)) 중 적어도 하나와 무선 신호를 송수신할 수 있다. 상기 무선 신호는 음성 신호, 데이터 신호 또는 다양한 형태의 제어 신호를 포함할 수 있다. 이동통신 모듈(111)은 전자 장치(100)의 동작에 필요한 다양한 데이터들을 사용자 요청에 응답하여 외부 장치(예: 서버 또는 다른 전자 장치 등)로 전송할 수 있다.
다양한 실시 예들에서, 이동통신 모듈(111)은 다양한 통신 방식에 기반하여 무선 신호를 송수신 할 수 있다. 예를 들어, 상기 통신 방식은, 이들에 한정하지는 않지만, LTE(Long-Term Evolution), LTE-A(LTE Advance), GSM(Global System for Mobile communication), EDGE(Enhanced Data GSM Environment), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), UMTS(Universal Mobile Telecommunications System), 또는 OFDMA(Orthogonal Frequency Division Multiple access) 등의 통신 방식을 포함할 수 있다.
무선 랜 모듈(113)은 무선 인터넷 접속 및 다른 외부 전자 장치와 무선 랜 링크(link)를 형성하기 위한 모듈을 나타낼 수 있다. 무선 랜 모듈(113)은 전자 장치(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WiFi(Wireless Fidelity), Wibro(Wireless broadband), WiMax(World interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), 또는 mmWave(millimeter Wave) 등이 이용될 수 있다. 무선 랜 모듈(113)은 전자 장치(100)와 네트워크(예: 무선 인터넷 네트워크)를 통해 연결되어 있는 다른 외부 전자 장치와 연동하여, 전자 장치(100)의 다양한 데이터들을 외부(예: 외부 전자 장치 또는 서버)로 전송하거나, 또는 외부로부터 수신할 수 있다. 무선 랜 모듈(113)은 상시 온(on) 상태를 유지하거나, 전자 장치(100)의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
근거리 통신 모듈(115)은 근거리 통신(Short Range Communication)을 수행하기 위한 모듈을 나타낼 수 있다. 근거리 통신 기술로 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), 지그비(Zigbee), 또는 NFC(Near Field Communication) 등이 이용될 수 있다. 근거리 통신 모듈(115)은 전자 장치(100)와 네트워크(예: 근거리 통신 네트워크)를 통해 연결되어 있는 다른 외부 전자 장치(예: 외부 음향 장치)와 연동하여, 전자 장치(100)의 다양한 데이터들을 외부 전자 장치로 전송하거나 수신 받을 수 있다. 근거리 통신 모듈(115)은 상시 온 상태를 유지하거나, 전자 장치(100)의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
위치 산출 모듈(117)은 전자 장치(100)의 위치를 획득하기 위한 모듈로서, 대표적인 예로는 GPS(global position system) 모듈을 포함할 수 있다. 위치 산출 모듈(117)은 삼각 측량의 원리로 전자 장치(100)의 위치를 측정할 수 있다. 예를 들어, 위치 산출 모듈(117)은 3개 이상의 기지국들로부터 떨어진 거리 정보와 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도(Latitude), 경도(Longitude), 및 고도(Altitude)에 따른 3차원의 현 위치 정보를 산출할 수 있다. 또는 위치 산출 모듈(117)은 3개 이상의 위성들로부터 전자 장치(100)의 위치 정보를 실시간으로 계속 수신함으로써 위치 정보를 산출할 수 있다. 전자 장치(100)의 위치 정보는 다양한 방법에 의해 획득될 수 있다.
사용자 입력부(120)는 전자 장치(100)의 동작 제어를 위한 입력 데이터를 사용자 입력에 응답하여 발생할 수 있다. 사용자 입력부(120)는 사용자의 다양한 입력을 검출하기 위한 적어도 하나의 입력 수단을 포함할 수 있다. 예를 들어, 사용자 입력부(120)는 키패드(key pad), 돔 스위치(dome switch), 물리 버튼, 터치패드(정압/정전), 조그셔틀(jog & shuttle), 그리고 센서 등을 포함할 수 있다. 사용자 입력부(120)는 일부가 전자 장치(100)의 외부에 버튼 형태로 구현될 수 있으며, 일부 또는 전체가 터치 패널(touch panel)로 구현될 수도 있다. 사용자 입력부(120)는 본 발명의 다양한 실시 예들에 따른 전자 장치(100)의 동작을 개시(initiation)하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다.
터치스크린(130)은 입력 기능과 디스플레이 기능을 동시에 수행할 수 있는 입출력 장치를 나타내며, 디스플레이(131)와 터치감지부(133)를 포함할 수 있다. 터치스크린(130)은 전자 장치(100)와 사용자 사이에 입출력 인터페이스를 제공하며, 사용자의 터치 입력을 전자 장치(100)에게 전달할 수 있고, 또한 전자 장치(100)로부터의 출력을 사용자에게 보여주는 매개체 역할을 포함할 수 있다. 터치스크린(130)은 사용자에게 시각적인 출력(visual output)을 보여줄 수 있다. 상기 시각적 출력은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타날 수 있다. 본 발명의 실시 예에서 터치스크린(130)은 디스플레이(131)를 통해 전자 장치(100)의 동작에 따른 다양한 화면을 디스플레이 할 수 있다. 터치스크린(130)은 디스플레이(131)를 통해 특정 화면을 디스플레이 하는 중에 터치감지부(133)를 통해 사용자로부터 터치(touch), 호버링(hovering) 또는 에어 제스처(air gesture) 중 적어도 하나에 기반하는 이벤트(예: 터치 이벤트, 근접 이벤트, 호버링 이벤트, 에어 제스처 이벤트)를 감지할 수 있고, 상기 이벤트에 따른 입력 신호를 상기 제어부(180)에게 전달할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 디스플레이(131)는 전자 장치(100)에서 처리되는 다양한 정보를 디스플레이(출력)할 수 있다. 예를 들어, 디스플레이(131)는 실행되는 컨텐츠와 연관된 네비게이터를 사용자 주시 정보에 따라 표시하는 동작과 관련된 유저 인터페이스 또는 그래픽 유저 인터페이스(GUI, graphical UI)를 디스플레이 할 수 있다.
디스플레이(131)는 전자 장치(100)의 회전 방향(또는 놓인 방향)에 따라 가로모드에 의한 화면 디스플레이, 세로모드에 의한 화면 디스플레이, 또는 가로모드와 세로모드 간의 변화에 따른 화면 디스플레이를 지원할 수 있다. 디스플레이(131)는 다양한 디스플레이가 사용될 수 있다. 다양한 실시 예들에서 디스플레이(131)는 벤디드 디스플레이가 사용될 수 있다. 예를 들어, 디스플레이(131)는 종이처럼 얇고 유연한 기판을 통해 손상 없이 휘거나 구부리거나 말 수 있는 벤디드 디스플레이를 포함할 수 있다.
벤디드 디스플레이는 하우징(예: 본체)에 체결되어 구부러진 형태를 유지할 수 있다. 다양한 실시 예들에서 전자 장치(100)는 벤디드 디스플레이와 같은 형태를 비롯하여, 플렉서블 디스플레이(flexible display)와 같이 구부렸다가 폈다가를 자유자재로 할 수 있는 디스플레이 장치로 구현될 수도 있다. 다양한 실시 예들에서 디스플레이(131)는 액정 디스플레이(LCD, Liquid Crystal Display), 발광다이오드(LED, Light Emitting Diode) 디스플레이, 유기 발광 다이오드(OLED, Organic LED) 디스플레이, 능동형 OLED(AMOLED, Active Matrix OLED) 디스플레이, 또는 전자 종이(electronic paper) 등에서 액정을 싸고 있는 유리 기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여할 수 있다. 다양한 실시 예들에서 디스플레이(131)는 전자 장치(100)의 적어도 하나의 측면(side)(예: 좌측, 우측, 상측, 하측 중 적어도 하나의 면)까지 연장되어 체결될 수 있다.
터치감지부(133)는 디스플레이(131)에 안착될 수 있으며, 상기 터치스크린(130) 표면에 접촉 또는 근접하는 사용자 입력을 감지할 수 있다. 터치감지부(133)는 본 발명의 실시 예에서 전자 장치(100)의 사용과 관련된 동작을 개시하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다. 상기 사용자 입력은 싱글터치(single-touch), 멀티터치(multi-touch), 호버링(hovering), 또는 에어 제스처 중 적어도 하나에 기반하여 입력되는 터치 이벤트 또는 근접 이벤트를 포함할 수 있다. 예를 들어, 상기 사용자 입력은 탭(tap), 드래그(drag), 스윕(sweep), 스와이프(swipe), 플릭(flick), 드래그앤드롭(drag & drop), 또는 드로잉 제스처(drawing gesture)(예: 필기) 등)의 방식으로 입력될 수 있다.
오디오 처리부(140)는 제어부(180)로부터 입력 받은 오디오 신호를 스피커(SPK, speaker, 141)로 전송하고, 마이크(MIC, microphone, 143)로부터 입력 받은 음성 등의 오디오 신호를 제어부(180)에 전달하는 기능을 수행할 수 있다. 오디오 처리부(140)는 음성/음향 데이터를 제어부(180)의 제어에 따라 스피커(141)를 통해 가청음으로 변환하여 출력하고, 마이크(143)로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부(180)에게 전달할 수 있다. 오디오 처리부(140)는 데이터에 삽입된 오디오 처리 정보(예: 효과음, 음악 파일 등)에 따라 사용자 입력에 반응하는 오디오 신호를 출력할 수 있다.
스피커(141)는 무선 통신부(110)으로부터 수신되거나, 또는 메모리(150)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(141)는 전자 장치(100)에서 수행되는 다양한 동작(기능)과 관련된 음향 신호를 출력할 수도 있다. 본 발명의 실시 예에서는 도시하지 않았지만, 스피커(141)는 탈부착 가능한(attachable and detachable) 이어폰(ear phone), 헤드폰(head phone) 또는 헤드셋(head set)이 외부 포트를 통해 전자 장치(100)에 연결될 수 있다.
마이크(143)는 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 마이크(143)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘(noise reduction algorithm)이 구현될 수 있다. 마이크(143)는 음성 명령(예: 음악 어플리케이션 동작을 개시하기 위한 음성 명령) 등과 같은 오디오 스트림의 입력을 담당할 수 있다. 마이크(143)는 전자 장치(100)에 실장되는 내장 마이크와 전자 장치에 연결되는 외장 마이크를 포함할 수 있다.
메모리(150)는 제어부(180)에 의해 실행되는 하나 또는 그 이상의 프로그램들(one or more programs)을 저장할 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 입/출력되는 데이터들은 예를 들어, 동영상, 이미지, 사진, 오디오 등의 파일을 포함할 수 있다. 메모리(150)는 획득된 데이터를 저장하는 역할을 담당하며, 실시간으로 획득된 데이터는 일시적인 저장 장치에 저장할 수 있고, 저장하기로 확정된 데이터는 오래 보관 가능한 저장 장치에 저장할 수 있다.
다양한 실시 예들에 따른 메모리(150)는 실행되는 컨텐츠와 연관된 컨텐츠 타입 또는 객체 정보를 획득하고, 상기 컨텐츠 타입 또는 상기 객체 정보를 이용하여 네비게이터를 생성하고, 상기 생성된 네비게이터를 상기 컨텐츠 내에 배치하고, 사용자 주시 정보에 따라 상기 네비게이터를 표시하는 인스트럭션들(instructions)을 저장할 수 있다. 메모리(150)는 전자 장치(100)의 운영 체제(OS, operating system), 터치스크린(130)을 이용한 입력 및 디스플레이 제어와 관련된 프로그램, 전자 장치(100)의 다양한 동작(기능)들의 제어와 관련된 프로그램, 그리고 각 프로그램들의 동작에 의해 발생되는 다양한 데이터 등을 지속적으로 또는 일시적으로 저장할 수 있다.
메모리(150)는 확장 메모리(예: 외장 메모리) 또는 내부 메모리를 포함할 수 있다. 메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, DRAM(Dynamic Random Access Memory), SRAM(Static RAM), ROM(Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 저장 매체(storage medium)를 포함할 수 있다. 전자 장치(100)는 인터넷 상에서 상기 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
메모리(150)는 다양한 소프트웨어를 저장할 수 있다. 예를 들어, 소프트웨어 구성 요소는 운영 체제(operating system) 소프트웨어 모듈, 통신 소프트웨어 모듈, 그래픽 소프트웨어 모듈, 유저 인터페이스 소프트웨어 모듈, MPEG(Moving Picture Experts Group) 모듈 및 카메라 소프트웨어 모듈, 하나 이상의 어플리케이션 소프트웨어 모듈 등을 포함할 수 있다. 또한 소프트웨어 구성 요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈을 명령어 세트(instruction set)라고 표현하기도 한다. 모듈은 또한 프로그램으로 표현하기도 한다.
상기 운영 체제 소프트웨어 모듈은 일반적인 시스템 동작(system operation)을 제어하는 여러 가지의 소프트웨어 구성 요소를 포함할 수 있다. 이러한 일반적인 시스템 작동의 제어는, 예를 들면, 메모리 관리 및 제어, 전력 제어 및 관리 등을 의미할 수 있다. 또한 운영 체제 소프트웨어 모듈은 여러 가지의 하드웨어(장치)와 소프트웨어 구성 요소(모듈) 사이의 통신을 원활하게 하는 기능도 수행할 수 있다. 상기 통신 소프트웨어 모듈은 무선 통신부(110)을 통해 컴퓨터, 서버 또는 휴대용 단말기 등 다른 전자 장치와 통신을 가능하게 할 수 있다. 그리고, 통신 소프트웨어 모듈은 해당 통신 방식에 해당하는 프로토콜 구조로 구성될 수 있다.
상기 그래픽 소프트웨어 모듈은 터치스크린(130) 상에 그래픽을 제공하고 디스플레이 하기 위한 여러 가지 소프트웨어 구성 요소를 포함할 수 있다. 상기 그래픽(graphics)이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함하는 의미로 사용될 수 있다. 상기 유저 인터페이스 소프트웨어 모듈은 유저 인터페이스(UI)에 관련한 여러 가지 소프트웨어 구성 요소를 포함할 수 있다. 예를 들어, 유저 인터페이스의 상태가 어떻게 변경되는지 또는 유저 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함할 수 있다.
상기 MPEG 모듈은 디지털 컨텐츠(예: 비디오, 오디오) 관련 프로세스 및 기능들(예: 컨텐츠의 생성, 재생, 배포 및 전송 등)을 가능하게 하는 소프트웨어 구성 요소를 포함할 수 있다. 상기 카메라 소프트웨어 모듈은 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성 요소를 포함할 수 있다.
상기 어플리케이션 모듈은 렌더링 엔진(rendering engine)을 포함하는 웹브라우저(browser), 이메일(email), 즉석 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 위젯(widget), 디지털 저작권 관리(DRM, digital right management), 홍채 인식(iris scan), 상황 인지(context cognition), 음성 인식(voice recognition), 위치 기반 서비스(location based service) 등을 포함할 수 있다. 본 발명의 다양한 실시 예들에 따라, 상기 어플리케이션 모듈은 선택된 셀에 해당하는 사운드 샘플을 출력하면서, 선택된 셀의 대표 색상을 표시하고, 두 셀들 사이의 영역에 트레이스 이펙트(Trace Effect)를 표시하는 동작(기능)을 처리할 수 있다.
인터페이스부(160)는 외부 다른 외부 전자 장치로부터 데이터를 전송 받거나, 전원을 공급받아 전자 장치(100) 내부의 각 구성들에 전달할 수 있다. 인터페이스부(160)는 전자 장치(100) 내부의 데이터가 다른 외부 전자 장치로 전송되도록 할 수 있다. 예를 들어, 유/무선 헤드폰 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 오디오 입/출력(Input/Output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스부(160)에 포함될 수 있다.
카메라 모듈(170)은 전자 장치(100)의 촬영 기능을 지원하는 구성을 나타낸다. 카메라 모듈(170)은 제어부(180)의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 데이터(예: 이미지)를 디스플레이(131) 및 제어부(180)에 전달할 수 있다. 카메라 모듈(170)은 하나 이상의 이미지 센서를 포함할 수 있다. 예를 들어, 카메라 모듈(170)은 전자 장치(100)의 전면(예: 디스플레이(131)와 동일한 평면) 상에 구비되는 전면 센서(예: 전면 카메라)와 전자 장치(100)의 후면(예: 배면) 상에 구비되는 후면 센서(예: 후면 카메라)를 포함할 수 있다.
제어부(180)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(180)는 VR 컨텐츠 또는 AR 컨텐츠 실행(또는 재생), 음악 플레이, 음성 통신, 데이터 통신, 화상 통신 등에 관련된 다양한 제어를 수행할 수 있다. 제어부(180)는 하나 또는 그 이상의 프로세서들(one or more processors)로 구현되거나, 또는 제어부(180)을 프로세서로 칭할 수도 있다. 예를 들어, 제어부(180)는 커뮤니케이션 프로세서(CP, communication processor), 어플리케이션 프로세서(AP, application processor), 인터페이스(예: GPIO(general purpose input/output)), 또는 내부 메모리 등을 별개의 구성 요소로 포함하거나, 또는 하나 이상의 집적화된 회로에 집적화될 수 있다.
상기 어플리케이션 프로세서는 여러 가지의 소프트웨어 프로그램을 실행하여 전자 장치(100)을 위한 여러 기능을 수행할 수 있고, 상기 커뮤니케이션 프로세서는 음성 통신 및 데이터 통신을 위한 처리 및 제어를 수행할 수 있다. 또한, 제어부(180)는 메모리(150)에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트(instruction set))을 실행하여 그 모듈에 대응하는 특정한 여러 가지의 기능을 수행하는 역할을 담당할 수 있다.
본 발명의 다양한 실시 예들에서, 제어부(180)는 실행되는 컨텐츠와 연관된 컨텐츠 타입 또는 객체 정보를 획득하는 동작, 상기 컨텐츠 타입 또는 상기 객체 정보를 이용하여 네비게이터를 생성하는 동작, 상기 생성된 네비게이터를 상기 컨텐츠 내에 배치하는 동작, 및 사용자 주시 정보에 따라 상기 네비게이터를 표시하는 동작을 처리할 수 있다. 상기 제어부(180)의 본 발명의 다양한 실시 예들에 따른 제어 동작은 후술하는 도면들을 참조하여 설명된다.
본 발명의 실시 예에 따른 제어부(180)는 상기의 기능 외에 전자 장치(100)의 통상적인 기능과 관련된 각종 동작을 제어할 수 있다. 예를 들어, 제어부(180)는 특정 어플리케이션 실행 시 그의 운영 및 화면 디스플레이를 제어할 수 있다. 또한 제어부(180)는 터치 기반 또는 근접 기반의 입력 인터페이스(예: 터치스크린(130))에서 지원하는 다양한 터치 이벤트 또는 근접 이벤트 입력에 대응하는 입력 신호를 수신하고 그에 따른 기능 운영을 제어할 수 있다. 또한 제어부(180)는 유선 통신 기반 또는 무선 통신 기반으로 각종 데이터의 송수신을 제어할 수도 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성 요소들의 동작에 필요한 전원을 공급할 수 있다. 본 발명의 실시 예에서 전원 공급부(190)는 제어부(180)의 제어에 의해 디스플레이(131), 카메라 모듈(170) 등에 전원을 공급 또는 차단(on/off)할 수 있다.
본 발명에서 설명되는 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
그리고 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(180) 자체로 구현될 수 있다. 또한 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수도 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
도 2는 다양한 실시예에 따른 머리 장착 디스플레이를 도시한 사시도이다.
도 2를 참조하면, 머리 장착 디스플레이(200)는 전자 장치(100)의 한 종류(예: 웨어러블 디바이스)로 구현될 수 있다. 즉, 머리 장착 디스플레이(200)는 전자 장치(100)와 일체형으로 구현될 수 있다. 예를 들어, 머리 장착 디스플레이(200)는 메인 프레임(main frame, 210), 메인 프레임(210)에 연결되어 메인 프레임(210)을 사용자의 신체 일부분에 고정시킬 수 있도록 구성된 장착부(220)를 포함할 수 있다. 또한, 메인 프레임(210)은 사용자 입력 모듈(211) 및 디스플레이 위치 조정부(213)를 포함할 수 있다.
예를 들어, 사용자 입력 모듈(211)은 물리적 키, 물리적 버튼, 터치 키, 조이스틱, 휠(wheel)키 또는 터치 패드 등 중에 적어도 하나를 포함할 수 있다. 일 실시예에서, 사용자 입력 모듈(211)이 터치 패드일 경우, 터치 패드는 메인 프레임(210)의 측면에 배치될 수 있다. 상기 터치 패드는 머리 장착 디스플레이(200)의 기능을 나타내는 제어 객체(예; 컨텐츠를 제어하는 그래픽 사용자 인터페이스(Graphical User Interface, GUI))를 포함할 수 있다.
일 실시예에서 따르면, 메인 프레임(210)은 디스플레이 위치 조정부(213)를 메인 프레임(210) 외부 표면에 더 포함할 수 있다. 메인 프레임(210)은 전자 장치와 같은 장치를 수납할 수 있는 공간이나 구조, 또는 공동을 포함할 수 있다. 메인 프레임(210)의 후면은 사용자의 안면에 접촉되는 안면 접촉부를 더 포함하고, 안면 접촉부 일부에 사용자의 두 눈에 대면하는 위치에 적어도 하나의 렌즈를 포함하는 렌즈 조립체가 삽입될 수 있다. 렌즈 조립체는 디스플레이 또는 투명/반투명 렌즈가 일체형으로 고정될 수도 있고, 탈착 가능하게 고정될 수 있다. 상기 안면 접촉부의 일부분은 사용자의 코가 삽입될 수 있는 형상을 가진 코 홈(nose recess)를 포함할 수 있다.
예를 들면 메인 프레임(210)은 플라스틱 재질, 강도 또는 미관을 위하여, 유리, 세라믹, 금속(예. 알루미늄) 또는 금속 합금(예, 강철, 스테인레스강, 티타늄 또는 마그네슘 합금)) 중 적어도 하나를 포함할 수 있다.
장착부(220)는 사용자의 신체 일부에 착용될 수 있다. 장착부(220)는 탄성 소재로 형성된 밴드로 구성될 수 있다. 다른 실시예들에서는, 장착부(220)는 안경 다리(eyeglass temples), 헬멧(helmets) 또는 스트랩(straps) 등을 포함할 수 있다.
도 3은 다양한 실시예에 따른 머리 장착 디스플레이에 전자 장치를 결합한 일례를 도시한 사시도다.
도 3을 참조하면, 머리 장착 디스플레이는 메인 프레임(310), 장착부(320), 메인 프레임(310)과 결합되는 전자 장치(100)를 고정하기 위한 커버(330)를 포함할 수 있다. 사용자는 메인 프레임(310)에 전자 장치(100)를 결합한 후, 커버(330)를 체결함으로써, 머리 장착 디스플레이를 조립할 수 있다. 이때, 메인 프레임(310)과 전자 장치(100)의 디스플레이(131)는 서로 마주보도록 결합될 수 있다.
메인 프레임(310)은 외부 장치(예: 전자 장치(100))를 제어할 수 있는 사용자 입력 모듈(311), 전자 장치(100)와의 통신을 지원하는 커넥터(312) 및 디스플레이 위치 조정부(313)를 포함할 수 있다. 사용자 입력 모듈(311)은 도 2에서 설명한 것이므로 자세한 설명을 생략할 수 있다. 메인 프레임(310)은 전자 장치(100)를 착탈 가능하도록 구성될 수 있다. 예를 들어, 메인 프레임(310)은 전자 장치(100)를 수납할 수 있는 공간이나 구조, 또는 공동을 포함할 수 있다. 메인 프레임(310)의 공간을 형성하는 부분은 탄성 소재를 포함할 수 있다. 메인 프레임(310)의 공간을 형성하는 부분은 상기 공간의 크기를 변형시킬 수 있도록, 플렉서블한 재료를 포함하여, 다양한 크기의 전자 장치(100)를 수납할 수 있다. 메인 프레임(310)의 후면은 사용자의 안면에 접촉되는 안면 접촉부를 더 포함할 수 있다.
커넥터(312)는 전자 장치(100)와 통신하도록 지원할 수 있다. 커넥터(312)는 전자 장치(100)의 전기 접속부(예: USB 포트)에 접속될 수 있으며, 사용자 입력 모듈(311)에서 발생되는 사용자 입력 신호를 전자 장치(100)에 제공할 수 있다. 예를 들어, 커넥터(312)는 USB 인터페이스를 이용하여 전자 장치(100)와 연결되며, 터치 패널로부터 수신된 터치 입력을 전자 장치(100)로 전송할 수 있다. 전자 장치(100)는 사용자 입력 모듈(311)에서 발생된 터치 입력에 대응하는 기능을 수행할 수 있다. 예를 들어, 전자 장치(100)는 터치 입력에 응답하여 컨텐츠 실행을 제어할 수 있다.
커버(330)는 메인 프레임(310)에 후크와 같은 형태로 물리적인 결합을 할 수 있고, 자석이나 전자석과 같은 방식으로 결합될 수도 있다. 커버(330)는 전자 장치(100)가 메인 프레임(310)으로부터 사용자의 움직임에 의해 이탈되는 것을 방지하고, 전자 장치(100)를 외부 충격으로부터 보호할 수 있다.
도 4는 다양한 실시예에 따른 머리 장착 디스플레이를 사용자가 착용한 일례를 도시한 도면이다.
도 4를 참조하면, 사용자는 머리 장착 디스플레이를 착용하여 눈으로 머리 장착 디스플레이의 화면을 볼 수 있다. 예를 들어, 머리 장착 디스플레이와 전자 장치(100)가 결합된 경우 사용자는 전자 장치(100)의 디스플레이(131) 화면을 볼 수 있다.
이하에서 설명되는 전자 장치(100)는 도 1의 전자 장치(100), 도 2의 머리 장착 디스플레이(200) 또는 도 3의 전자 장치와 결합된 머리 장착 디스플레이를 의미할 수 있다.
도 5는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 5를 참조하면, 동작(501)에서, 전자 장치(100)(예: 제어부(180))는 컨텐츠를 실행할 수 있다. 상기 컨텐츠는 가상 현실(virtual reality) 또는 증강 현실(augmendted reality)을 구현하여 사용자 경험을 제공할 수 있는 데이터를 의미할 수 있다. 예를 들면, 제어부(180)는 사용자로부터 실행(또는 재생)할 컨텐츠를 선택받고, 선택된 컨텐츠를 실행할 수 있다.
동작(503)에서, 전자 장치(100)(예: 제어부(180))는 컨텐츠 타입(또는 형식)을 구분할 수 있다. 상기 컨텐츠는 상기 컨텐츠를 구성하는 방법, 형식, 또는 속성에 따라 다양한 컨텐츠 타입을 가질 수 있다. 예를 들면, 상기 컨텐츠 타입은 16:9 컨텐츠 타입, 파노라마 컨텐츠 타입, 180°컨텐츠 타입 또는 360°컨텐츠 타입 중 적어도 하나일 수 있다. 예를 들어, 16:9 컨텐츠 타입은 16:9 화면 비율로 구성된 컨텐츠에 대한 타입일 수 있다. 상기 16:9 컨텐츠 타입은 사용자의 시야각(예: 120°)에 상기 16:9 컨텐츠가 모두 보이는 것일 수 있다. 상기 파노라마 컨텐츠 타입은 사방을 전망하는 것과 같은 느낌을 주는 컨텐츠에 대한 타입으로서, 16:9 컨텐츠보다 가로 화면 비율이 더 긴 것일 수 있다. 상기 파노라마 컨텐츠는 사용자의 시야각 보다 조금 더 큰 각도(예: 180° ~ 360°)를 갖는 것일 수 있다.
상기 16:9 컨텐츠와 상기 파노라마 컨텐츠는 2차원 컨텐츠일 수 있다. 상기 180°컨텐츠 또는 상기 360°컨텐츠는 3차원 컨텐츠일 수 있다. 상기 180°컨텐츠 타입은 반구 형태를 갖도록 구성된 3차원 컨텐츠에 대한 타입일 수 있다. 상기 360°컨텐츠는 구 형태를 갖도록 구성된 3차원 컨텐츠에 대한 타입일 수 있다.
동작(505)에서, 전자 장치(100)(예: 제어부(180))는 객체 정보를 획득할 수 있다. 상기 객체 정보는 상기 컨텐츠에 포함된 항목, 즐겨찾기, 물체 또는 공간 중 적어도 하나일 수 있다. 상기 객체 정보는 현재 사용자의 눈에 보이는 것(예: 항목, 즐겨찾기, 물체 또는 공간)이나, 보이지 않으나 상기 컨텐츠에 포함된 것을 의미할 수 잇다. 상기 컨텐츠에 상기 객체 정보가 이미 포함되어 있는 경우, 제어부(180)는 상기 컨텐츠로부터 상기 객체 정보를 추출할 수 있다. 또는, 상기 컨텐츠에 객체 정보가 포함되어 있지 않은 경우, 제어부(180)는 상기 컨텐츠를 분석(또는 파싱)하여 객체 정보를 생성할 수 있다.
동작(507)에서, 전자 장치(100)(예: 제어부(180))는 상기 컨텐츠 타입 및 상기 객체 정보를 이용하여 네비게이터를 생성할 수 있다. 상기 네비게이터는 상기 컨텐츠와 관련된 가이드, 퀵 메뉴, 색인을 나타낼 수 있다. 상기 네비게이터는 상기 컨텐츠 타입 및 상기 객체 정보에 따라 각각 다르게 생성될 수 있다. 다양한 실시예들에 따른 제어부(180)는 상기 컨텐츠 타입에 따라 상기 네비게이터의 형태를 다르게 생성할 수 있다. 다양한 실시예들에 따른 제어부(180)는 사용자의 위치와 상기 객체 정보 간의 거리를 기반으로 상기 네비게이터 내 객체 정보를 배치할 수 있다.
예를 들어, 상기 네비게이터는 사용자의 위치를 중심으로 원형의 형태로 생성될 수 있다. 또는 상기 네비게이터는 원형 이외에 삼각형, 사각형 또는 다각형 중 적어도 하나의 형태로 생성될 수도 있다. 이하 설명에서는 상기 네비게이터가 원형의 형태로 생성되는 일례를 설명한다.
상기 컨텐츠 타입이 16:9 컨텐츠 타입인 경우, 제어부(180)는 사용자의 주시 정보(예: 시야각 120도) 내에 객체 정보가 배치되도록 네비게이터를 생성할 수 있다. 제어부(180)는 중심점을 기준으로 큰 원형(예: 제1 원형) 안에 작은 원형(예: 제2 원형)이 배치되고, 제1 원형과 제2 원형 간의 일부(예: 1/3, 120°)만 간격을 갖도록 네비게이터를 생성할 수 있다. 제1 원형과 제2 원형 간의 나머지(예: 2/3, 240°)는 간격이 표시되지 않을 수 있다. 제어부(180)는 제1 원형과 제2 원형 간의 공간에 상기 16:9 컨텐츠와 연관된 객체 정보를 배치할 수 있다. 제어부(180)는 사용자의 위치와 상기 객체 정보 간의 거리를 기반으로 상기 네비에기터 내 객체 정보를 배치할 수 있다. 예를 들어, 상기 사용자의 위치와 가깝게 존재하는 객체는 사용자의 위치와 가까운 곳에 배치하고, 상기 사용자의 위치와 먼 위치에 존재하는 객체는 사용자의 위치와 먼 곳에 배치될 수 있다.
상기 컨텐츠 타입이 파노라마 컨텐츠 타입인 경우, 제어부(180)는 중심점을 기준으로 제1 원형 안에 제2 원형이 배치되고, 제1 원형과 제2 원형이 360° 모든 부분에서 간격을 갖도록 네비게이터를 생성할 수 있다. 제어부(180)는 제1 원형과 제2 원형 간의 공간에 상기 파노라마 컨텐츠와 연관된 객체 정보를 배치할 수 있다. 상기 컨텐츠 타입이 180°컨텐츠 타입인 경우, 제어부(180)는 하나의 원형을 갖는 네비게이터를 생성하고, 원형의 반 영역(예: 1/2)에 객체 정보를 배치할 수 있다. 상기 컨텐츠 타입이 360°컨텐츠 타입인 경우, 제어부(180)는 하나의 원형을 갖는 네비게이터를 생성하고, 원형의 전체 영역에 객체 정보를 배치할 수 있다.
동작(509)에서, 전자 장치(100)(예: 제어부(180))는 컨텐츠 내 네비게이터를 배치할 수 있다. 예를 들어, 제어부(180)는 실행되는 컨텐츠와 중첩되지 않는 위치에 상기 네비게이터를 배치할 수 있다. 상기 컨텐츠가 가상 현실인 경우, 사용자의 머리 위에는 대부분 건물의 지붕, 하늘 등이 표시되고, 상기 사용자의 발 부분에는 건물의 바닥, 땅 등이 표시될 수 있다. 즉, 상기 사용자의 머리 위나 발 부분에 표시되는 컨텐츠는 무의미한 것일 수 있다. 따라서, 제어부(180)는 사용자의 상단 영역(예: 머리 부분) 또는 하단 영역(예: 발 부분)에 상기 네비게이터를 배치할 수 있다. 또는, 제어부(180)는 상기 사용자의 상단 영역 또는 하단 영역 이외에 상기 컨텐츠 내 무의미한(또는 불필요한) 공간에 상기 네비게이터를 배치할 수 있다. 즉, 제어부(180)는 사용자의 상단 또는 하단에 상기 네비게이터를 배치함으로써, 사용자의 시각 방해를 최소화하고, 컨텐츠의 왜곡 영역을 활용할 수 있다.
동작(511)에서, 전자 장치(100)(예: 제어부(180))는 사용자 주시 정보에 따라 상기 네비게이터를 표시할 수 있다. 예를 들어, 상기 주시 정보는 사용자의 주시 방향, 각도 또는 회전 중 적어도 하나를 포함할 수 있다. 상기 사용자는 상기 컨텐츠 실행 시, 정면을 바라보고 있을 수 있다. 따라서, 상기 사용자가 정면을 바라볼 때는 상기 사용자의 상단 영역 또는 하단 영역에 배치된 네비게이터가 보이지 않을 수 있다. 제어부(180)는 상기 사용자의 주시 정보가 상기 사용자의 상단 영역 또는 하단 영역을 바라보도록 위치하는 경우, 상기 네비게이터를 표시할 수 있다. 상기 사용자는 네비게이터를 보고 네비게이터 내 객체 정보를 선택함으로써, 원하는 항목(또는 공간)으로 곧바로 이동할 수 있다.
도 6은 다양한 실시예들에 따른 컨텐츠 내 네비게이터를 배치하는 일례를 도시한 도면이다.
도 6을 참조하면, 전자 장치(100)(예: 제어부(180))는 사용자(611)의 위치를 중심으로 제1 네비게이터(613) 또는 제2 네비게이터(615)를 배치할 수 있다. 예를 들어, 제어부(180)는 사용자(611)의 상단 영역(예: 머리 부분)에 제1 네비게이터(613)를 배치하거나, 사용자(611)의 하단 영역(예: 발 부분)에 제2 네비게이터(615)를 배치할 수 있다. 실시예들에 따른 제어부(180)는 제1 네비게이터(613) 및 제2 네비게이터(615)를 모두 배치하거나, 제1 네비게이터(613) 또는 2 네비게이터(615) 중 어느 하나만 배치할 수 있다. 제1 네비게이터(613) 및 제2 네비게이터(615)는 동일, 유사 또는 상이할 수 있다. 제1 네비게이터(613) 및 제2 네비게이터(615)를 모두 배치하는 경우, 제어부(180)는 제1 네비게이터(613)와 다르게 제2 네비게이터(615)를 구성하여 배치할 수 있다.
제3 네비게이터(620)는 제1 네비게이터(613) 또는 2 네비게이터(615) 중 어느 하나를 나타낸 것이다. 제3 네비게이터(620)는 사용자의 위치(521)를 중심으로 큰 원형과 작은 원형 사이의 간격(625)이 형성되고, 객체 정보(623)가 배치되며, 사용자의 뷰(627)가 표시될 수 있다. 두 개의 원형들 사이의 간격(625)은 컨텐츠 타입이 16:9 컨텐츠 또는 파노라마 컨텐츠인 경우 형성될 수 있다. 제어부(180)는 컨텐츠 타입에 따라 간격의 폭을 조절할 수 있다. 예를 들어, 제어부(180)는 16:9 컨텐츠의 간격을 파노라마 컨텐츠의 간격보다 좁게 형성할 수 있다. 또는 제어부(180)는 컨텐츠에 포함된 객체 정보에 따라 간격의 폭을 조절할 수 있다.
제어부(180)는 사용자의 위치(521)와 각 객체 정보 간의 거리에 기반하여 각 객체 정보의 위치를 결정할 수 있다. 컨텐츠 타입이 16:9 컨텐츠 또는 파노라마 컨텐츠인 경우, 객체 정보(623)는 두 개의 원형들 사이의 간격(625)에 배치될 수 있다. 또는, 컨텐츠 타입이 180°컨텐츠인 경우, 객체 정보(623)는 원형의 반 영역(예: 1/2)에 배치될 수 있다. 상기 컨텐츠 타입이 360°컨텐츠인 경우, 객체 정보(623)는 원형의 전체 영역에 배치될 수 있다.
사용자의 뷰(627)는 사용자의 주시 정보(예: 시야각, 주시 방향)를 나타내는 것으로, 16:9 컨텐츠인 경우 사용자의 주시 정보를 중심으로 두 개의 원형들 사이의 간격(625)이 형성될 수 있다. 16:9 컨텐츠인 경우, 사용자의 뷰(627)에 네비게이터 내 객체 정보가 모두 표시될 수 있다. 파노라마 컨텐츠, 180°컨텐츠, 또는 360°컨텐츠에서 사용자의 뷰(627)는 사용자가 머리를 움직이는 방향(예: 시계 방향 또는 반시계 방향)에 따라 달라질 수 있다. 사용자의 뷰(627)에 따라 사용자는 눈에 보이지 않던 객체 정보가 보일 수 있다.
도 7은 다양한 실시예들에 따른 컨텐츠에 기반하여 네비게이터를 구성하는 일례를 도시한 도면이다.
도 7을 참조하면, 제1 네비게이터(710)는 16:9 컨텐츠인 경우 구성(또는 형성)되는 네비게이터의 일례를 도시한 것이다. 제1 네비게이터(710)는 사용자의 위치(715)를 중심으로 큰 원형과 작은 원형 사이의 일부(예: 1/3, 120°)만 간격(711)을 갖도록 구성될 수 있다. 제1 네비게이터(710) 내 간격(711)이 배치되는 위치는 사용자의 주시 정보에 대응될 수 있다. 16:9 컨텐츠인 경우 간격(711)의 길이는 사용자의 주시 정보(예: 120도)에 따라 결정될 수 있다. 16:9 컨텐츠인 경우, 간격(711)의 길이는 사용자의 시야각과 동일할 수 있다. 두 개의 원형들 간의 나머지(예: 2/3, 240°)는 간격이 표시되지 않을 수 있다. 제어부(180)는 사용자의 위치(715)와 각 객체 정보 간의 거리를 기반으로 제1 네비게이터(710) 내에 각 객체 정보를 배치할 수 있다. 예를 들어, 제1 객체 정보(712), 제2 객체 정보(713) 또는 제3 객체 정보(714)는 사용자의 위치(715)로부터 각각 서로 다른 위치에 존재하는 항목일 수 있다.
제2 네비게이터(720)는 파노라마 컨텐츠인 경우, 구성되는 네비게이터의 일례를 도시한 것이다. 제2 네비게이터(720)는 사용자의 위치(725)를 중심으로 큰 원형과 작은 원형이 배치되고, 두 개의 원형들 사이에 간격(721)을 갖도록 구성될 수 있다. 파노라마 컨텐츠인 경우, 간격(721)의 길이는 원형의 둘레를 모두 포함하는 길이일 수 있다. 제어부(180)는 사용자의 위치(725)와 각 객체 정보 간의 거리를 기반으로 제2 네비게이터(720) 내에 각 객체 정보를 배치할 수 있다. 예를 들어, 제1 객체 정보(722), 제2 객체 정보(723), 제3 객체 정보(724) 또는 제4 객체 정보(727)는 사용자의 위치(725)로부터 각각 서로 다른 위치에 존재하는 항목일 수 있다. 또한, 제어부(180)는 사용자의 주시 정보에 기반하여 각 객체 정보의 위치를 결정할 수 있다. 예를 들어, 현재 사용자의 주시 정보 중심으로 제1 객체 정보(722), 제2 객체 정보(723) 또는 제3 객체 정보(724)는 상기 사용자의 뷰(예: 주시 방향)에 대응되는 것이고, 제4 객체 정보(727)는 사용자의 뷰와 반대되는 위치에 위치한 것일 수 있다. 사용자의 뷰와 반대되는 위치는 사용자의 뒤에 존재하는 것을 의미할 수 있다.
제3 네비게이터(730)는 180°컨텐츠인 경우, 구성되는 네비게이터의 일례를 도시한 것이다. 제3 네비게이터(730)는 사용자의 위치(735)를 중심으로 하나의 원형으로 구성되고, 원형의 반 영역(예: 1/2)에 객체 정보가 배치되는 것일 수 있다. 제어부(180)는 사용자의 위치(735)와 각 객체 정보 간의 거리를 기반으로 제3 네비게이터(730) 내에 각 객체 정보를 배치할 수 있다. 또한, 제어부(180)는 사용자의 주시 정보에 기반하여 각 객체 정보의 위치를 결정할 수 있다. 예를 들어, 제1 객체 정보(732)는 사용자의 뷰(예: 주시 방향)를 중심으로 제2 객체 정보(733)보다 왼쪽에 존재하는 항목이며, 제3 객체 정보(734)는 사용자의 뷰를 중심으로 제2 객체 정보(733)보다 오른쪽에 존재하는 항목일 수 있다.
제4 네비게이터(740)는 360°컨텐츠인 경우, 구성되는 네비게이터의 일례를 도시한 것이다. 제4 네비게이터(740)는 사용자의 위치(745)를 중심으로 하나의 원형으로 구성되고, 원형의 전체 영역에 객체 정보가 배치되는 것일 수 있다. 제어부(180)는 사용자의 위치(745)와 각 객체 정보 간의 거리를 기반으로 제4 네비게이터(740) 내에 각 객체 정보를 배치할 수 있다. 또한, 제어부(180)는 사용자의 뷰에 기반하여 각 객체 정보의 위치를 결정할 수 있다.
예를 들어, 제1 객체 정보(742), 제2 객체 정보(743) 또는 제3 객체 정보(744)는 사용자의 앞에 존재하는 항목이고, 제4 객체 정보(746), 제5 객체 정보(747) 또는 제6 객체 정보(748)는 사용자의 뒤에 존재하는 항목일 수 있다. 또한, 제1 객체 정보(742), 또는 제6 객체 정보(748)는 사용자의 위치(745)와 가깝게 존재하는 항목이고, 제2 객체 정보(743) 또는 제5 객체 정보(747)는 사용자의 위치(745)와 먼 거리에 존재하는 항목일 수 있다.
도 8은 다양한 실시예들에 따른 전자 장치의 네비게이터 표시 방법을 도시한 흐름도이다.
도 8을 참조하면, 동작(801)에서, 전자 장치(100)(예: 제어부(180))는 네비게이터를 표시할 수 있다. 제어부(180)는 사용자 주시 정보에 따라 네비게이터를 표시할 수 있다. 즉, 사용자가 현재 네비게이터를 바라보고 있는 상태일 수 있다. 제어부(180)는 상기 네비게이터가 표시되는 동안 컨텐츠를 실행(재생)할 수 있다. 따라서, 사용자가 네비게이터를 바라보지 않고 실행되는 컨텐츠를 바라보는 경우, 제어부(180)는 실행되는 컨텐츠의 3차원 인터페이스(UI)를 통해 사용자에게 사용자 경험을 제공할 수 있다.
동작(803)에서, 전자 장치(100)(예: 제어부(180))는 헤드 트래킹할 수 있다. 제어부(180)는 사용자의 머리가 상, 하, 좌, 우로 움직이는 모션을 추적할 수 있다. 예를 들어, 상기 네비게이터가 사용자의 발 아래에 표시되는 경우, 제어부(180)는 상기 사용자가 자신의 발 아래를 응시(또는 주시)하면서, 시계 방향 또는 반시계 방향으로 머리를 움직이는 모션을 추적할 수 있다.
동작(805)에서, 전자 장치(100)(예: 제어부(180))는 헤드 트래킹에 따라 네비게이터를 변경하여 표시할 수 있다. 상기 컨텐츠는 가상 현실 또는 증강 현실을 표시하는 컨텐츠이므로, 사용자의 움직임에 따라 컨텐츠(또는 컨텐츠의 맵)가 움직일 수 있다. 제어부(180)는 컨텐츠가 움직임에 따라 상기 네비게이터를 변경하여 표시할 수 있다. 예를 들어, 동작(801)에서 16:9 컨텐츠에 따른 네비게이터(예: 제1 네비게이터(710))를 표시 중인 경우, 제어부(180)는 헤드 트래킹에 따라 네비게이터 내 간격을 시계 방향 또는 반시계 방향으로 변경하고, 간격 내 객체 정보를 변경할 수 있다. 또는, 제어부(180)는 16:9 컨텐츠와 연관된 네비게이터인 경우, 네비게이터를 변경하지 않고 고정할 수도 있다.
또는, 동작(801)에서 파노라마 컨텐츠에 따른 네비게이터(예: 제2 네비게이터(720))를 표시 중인 경우, 제어부(180)는 헤드 트래킹에 따라 네비게이터 내 객체 정보를 변경할 수 있다. 예를 들어, 제어부(180)는 헤드 트래킹에 따라 사용자의 뷰에 대응하는 객체 정보를 표시할 수 있다. 즉, 동작(801)에서는 사용자의 뷰에 포함되지 않아 보이지 않았던 객체 정보를 동작(805)에서는 표시할 수 있다. 또한, 제어부(180)는 360°컨텐츠에 따른 네비게이터(예: 제4 네비게이터(740))에 대해서도 동일 또는 유사하게 처리할 수 있다. 또는, 동작(801)에서 180°컨텐츠에 따른 네비게이터(예: 제3 네비게이터(730))를 표시 중인 경우, 제어부(180)는 헤드 트래킹에 따라 네비게이터 내 반구 영역을 시계 방향 또는 반시계 방향으로 변경하고, 반구 영역 내 객체 정보를 변경할 수 있다.
다양한 실시예들에 따른 제어부(180)는 전자 장치(100)와 연결된(또는 페어링된) 외부 장치로부터 상기 헤드 트래킹에 대응하는 회전 신호를 수신하고, 상기 회전 신호에 기반하여 네비게이터를 변경하여 표시할 수 있다. 예를 들어, 상기 외부 장치가 시계형 웨어러블 디바이스이고, 상기 시계형 웨어러블 디바이스는 외관에 회전 가능한 로터리가 배치될 수 있다. 사용자는 시계형 웨어러블 디바이스의 로터리를 회전시킬 수 있다. 상기 시계형 웨어러블 디바이스는 사용자의 회전 입력에 따른 회전 신호를 전자 장치(100)로 전송할 수 있다.
동작(807)에서, 전자 장치(100)(예: 제어부(180))는 객체 정보가 선택되는지 판단할 수 있다. 예를 들어, 사용자는 발 아래에 배치된 네비게이터 내 객체 정보를 발로 선택(예: 누름)함으로써, 상기 객체 정보를 선택할 수 있다. 제어부(180)는 상기 헤드 트래킹에 기반하여 일정 시간 이상 하나의 객체 정보에 사용자의 주시 정보(예: 시선)가 유지되는 경우 상기 객체 정보가 선택된 것으로 판단할 수 있다.
제어부(180)는 객체 정보가 선택된 경우, 동작(809)을 수행하고, 객체 정보가 선택되지 않은 경우 동작(803)으로 복귀할 수 있다.
동작(809)에서, 전자 장치(100)(예: 제어부(180))는 선택된 객체 정보에 해당하는 컨텐츠로 변경할 수 있다. 예를 들어, 동작(801)에서 실행 중인 컨텐츠는 제1 박물관에 대응하는 컨텐츠이고, 동작(809)에서 실행 중인 컨텐츠는 제2 박물관에 대응하는 컨텐츠일 수 있다. 즉, 하나의 컨텐츠는 서로 다른 항목(예: 제1 박물관, 제2 박물관)에 해당하는 컨텐츠를 각각 포함하고, 제어부(180)는 각 항목에 대응하는 객체 정보를 포함하는 네비게이터를 제공할 수 있다. 다양한 실시예들에 따른 제어부(180))는 선택된 객체 정보와 연관된 썸네일을 표시할 수 있다.
동작(811)에서, 전자 장치(100)(예: 제어부(180))는 변경된 컨텐츠와 연관된 네비게이터를 표시할 수 있다. 예를 들어, 제어부(180)는 변경된 컨텐츠의 컨텐츠 타입을 구분하는 동작, 변경된 컨텐츠의 객체 정보를 획득하는 동작, 상기 컨텐츠 타입 및 상기 객체 정보를 이용하여 네비게이터를 생성하는 동작, 상기 변경된 컨텐츠 내 네비게이터를 배치하는 동작, 및 사용자 주시 정보에 따라 상기 네비게이터를 표시하는 동작을 포함할 수 있다. 즉, 제어부(180)는 도 5의 동작(503) 내지 동작(519)을 수행한 후 동작(811)을 수행할 수 있다.
도 9는 다양한 실시예들에 따른 사용자 시각에 따라 네비게이터를 표시하는 일례를 도시한 도면이다.
도 9를 참조하면, 제1 네비게이터(910)는 사용자의 헤드 트래킹(915)에 기반하여 사용자의 주시 정보(913)를 변경하는 일례를 도시한 것이다. 제1 네비게이터(910)는 사용자의 위치(911)를 중심으로 객체 정보가 배치될 수 있다. 제어부(180)는 사용자의 헤드 트래킹(915) 방향에 기반하여 객체 정보를 변경하여 표시할 수 있다. 헤드 트래킹(915)의 방향(예: 주시 방향)은 사용자 입장에서 시계 방향일 수 있다. 제2 네비게이터(920)는 헤드 트래킹(915)에 따라 객체 정보가 변경되는 일례를 도시한 것이다. 제2 네비게이터(920)는 제1 네비게이터(910)에서 시계 방향으로 헤드 트래킹(915)이 발생한 경우, 사용자 위치(921)를 중심으로 오른쪽에 위치한 객체 정보가 표시될 수 있다. 제2 네비게이터(920)에서 사용자 주시 정보(923)에는 제1 네비게이터(910)의 오른쪽에 위치한 객체 정보가 표시될 수 있다.
제3 네비게이터(930)는 사용자의 시선(또는 주시 방향)(933)에 기반하여 객체 정보(935)를 선택하는 일례를 도시한 것이다. 사용자는 사용자의 주시 정보(931)에 포함된 객체 정보 중 어느 하나에 일정 시간 이상 시선을 응시(또는 주시)할 수 있다. 제어부(180)는 사용자의 주시 정보(931)에 포함된 객체 정보 중에서 사용자의 시선(933)이 일정 시간 이상 유지되는 객체 정보(935)를 선택할 수 있다. 제4 네비게이터(940)는 제3 네비게이터(930)의 객체 정보(935)에 해당하는 컨텐츠와 연관된 네비게이터를 도시한 것이다. 제어부(180)는 객체 정보(935)에 해당하는 컨텐츠로 변경하고, 변경된 컨텐츠와 연관된 제4 네비게이터(940)를 구성하여 표시할 수 있다. 제4 네비게이터(940)는 제3 네비게이터(930)와 다른 컨텐츠로 구성된 것이므로, 제3 네비게이터(930)와 다를 수 있다. 예를 들면, 제4 네비게이터(940)는 제3 네비게이터(930)와 서로 다른 객체 정보를 포함할 수 있다.
도 10은 다양한 실시예들에 따른 외부 장치의 인터랙션에 따라 네비게이터를 표시하는 일례를 도시한 도면이다.
도 10을 참조하면, 전자 장치(100)(예: 제어부(180))는 외부 장치(1010)의 인터랙션에 따라 네비게이터(1020)를 변경하여 표시할 수 있다. 예를 들어, 제어부(180)는 전자 장치(100)와 연결된(또는 페어링된) 외부 장치(1010)로부터 회전 신호를 수신할 수 있다. 상기 외부 장치는 시계형 웨어러블 디바이스이고, 상기 시계형 웨어러블 디바이스는 외관에 회전 가능한 로터리가 배치될 수 있다. 사용자는 시계형 웨어러블 디바이스의 로터리를 회전시킬 수 있다. 상기 시계형 웨어러블 디바이스는 사용자의 회전 입력에 따른 회전 신호를 전자 장치(100)로 전송할 수 있다. 상기 회전 신호는 시계 방향(1015) 및 반시계 방향(1013)을 포함할 수 있다. 제어부(180)는 상기 회전 신호에 기반하여 네비게이터(1020)를 변경하여 표시할 수 있다. 네비게이터(1020)는 시계 방향(1023) 또는 반시계 방향(1021)에 대응하는 회전 신호에 따라 객체 정보가 변경되어 표시될 수 있다.
다양한 실시예들에 따른 제어부(180)는 상기 외부 장치를 이용하여 컨텐츠의 맵을 줌 인 또는 줌 아웃할 수 있다. 예를 들어, 상기 사용자가 시계 방향으로 로터리를 회전시키면, 제어부(180)는 컨텐츠의 맵을 줌 인하고, 상기 사용자가 반시계 방향으로 로터리를 회전시키면, 제어부(180)는 컨텐츠의 맵을 줌 아웃할 수 있다. 반대로, 상기 사용자가 시계 방향으로 로터리를 회전시키면, 제어부(180)는 컨텐츠의 맵을 줌 아웃하고, 상기 사용자가 반시계 방향으로 로터리를 회전시키면, 제어부(180)는 컨텐츠의 맵을 줌 인할 수 있다.
다양한 실시예들에 따른 제어부(180)는 네비게이터의 변경 기능과 함께 컨텐츠의 맵 줌 기능을 제어할 수 있다. 예를 들면, 상기 사용자가 시계 방향으로 로터리를 회전시키면, 제어부(180)는 컨텐츠의 맵을 줌 인하고, 네비게이터를 시계 방향으로 이동시켜 표시할 수 있다. 또는, 상기 사용자가 반시계 방향으로 로터리를 회전시키면, 제어부(180)는 컨텐츠의 맵을 줌 아웃하고, 네비게이터를 반시계 방향으로 이동시켜 표시할 수 있다.
도 11은 다양한 실시예들에 따른 전자 장치의 네비게이터 제어 방법을 도시한 흐름도이다.
도 11을 참조하면, 동작(1101)에서, 전자 장치(100)(예: 제어부(180))는 네비게이터를 표시할 수 있다. 제어부(180)는 사용자 주시 정보에 따라 네비게이터를 표시할 수 있다. 동작(1101)은 동작(801)과 유사하므로, 자세한 설명을 생략할 수 있다.
동작(1103)에서, 전자 장치(100)(예: 제어부(180))는 사용자 포커스를 확인할 수 있다. 상기 사용자 포커스 확인은 아이 트래킹 (eye-tracking)일 수 있다. 예를 들어, 제어부(180)는 아이 트래킹 기술을 이용하여 사용자의 시선이 향하는 위치를 확인할 수 있다. 아이 트래킹은 헤드 트래킹과 유사하게 VR 컨텐츠 또는 AR 컨텐츠 실행 시 사용자 입력으로 이용될 수 있다.
동작(1105)에서, 전자 장치(100)(예: 제어부(180))는 사용자 포커스에 대응하는 객체 정보를 식별할 수 있다. 예를 들어, 제어부(180)는 표시된 네비게이터에 포함된 하나 이상의 객체 정보 중에서 상기 사용자 포커스가 향하는 위치의 객체 정보를 식별할 수 있다. 제어부(180)는 객체 정보를 선택하는 동작과 유사하게 일정 시간(예: 3초, 5초) 동안 상기 사용자 포커스가 향하는 객체 정보를 식별할 수 있다. 또는, 제어부(180)는 객체 정보를 선택하는 동작보다 짧은 시간(예: 1초) 동안 상기 사용자 포커스가 향하는 객체 정보를 식별할 수 있다. 또는, 사용자로부터 표시된 네비게이터 내 객체 정보가 발로 선택(예: 누름)되는 경우, 제어부(180))는 선택된 객체 정보를 식별할 수 있다.
동작(1107)에서, 전자 장치(100)(예: 제어부(180))는 식별된 객체 정보에 대응하는 섬네일을 표시할 수 있다. 섬네일은 상기 객체 정보와 연관된 컨텐츠의 대표 이미지(또는 처음 이미지)일 수 있다. 제어부(180)는 식별된 객체 정보 옆에 상기 섬네일을 팝업창 형태 또는 말풍선 형태로 표시할 수 있다. 또는, 제어부(180)는 상기 네비게이터 내부에 섬네일을 표시할 수 있다. 예를 들어, 상기 네비게이터가 원형이고, 각 객체 정보를 포함하고 있는 경우, 제어부(180)는 상기 원형 내부에 상기 섬네일을 표시할 수 있다. 사용자는 상기 섬네일을 보고 상기 객체 정보가 어떤 컨텐츠에 대한 것인지 확인할 수 있다.
동작(1109)에서, 전자 장치(100)(예: 제어부(180))는 사용자 포커스가 유지되는지 판단할 수 있다. 예를 들어, 제어부(180)는 상기 사용자 포커스가 상기 식별된 객체 정보에 일정 시간 동안 유지되는지 여부를 판단할 수 있다.
제어부(180)는 상기 사용자 포커스가 유지되는 경우, 동작(1111)을 수행하고, 상기 사용자 포커스가 유지되지 않는 경우 동작(1103)으로 복귀할 수 있다. 상기 사용자는 자신의 시선 위치를 이용하여 각 객체 정보에 해당하는 섬네일을 확인하고, 원하는 객체 정보를 선택할 수 있다.
동작(1111)에서, 전자 장치(100)(예: 제어부(180))는 객체 정보와 연관된 기능을 실행할 수 있다. 예를 들어, 제어부(180)는 상기 객체 정보가 동영상과 관련된 경우 해당 동영상을 재생할 수 있다. 또는, 제어부(180)는 상기 객체 정보가 상대방 연락처에 해당하는 경우 상대방 연락처로 통화 연결을 시도할 수 있다. 또는, 제어부(180)는 상기 객체 정보와 연관된 부가 정보를 표시할 수 있다. 예를 들어, 제어부(180)는 상기 객체 정보가 상대방 연락처에 해당하는 경우 상대방 연락처로 실행 가능한 기능 리스트(예: 전화, 메시지, 메신저 등)를 표시할 수 있다.
도 12는 다양한 실시예들에 따른 네비게이터 내 객체 정보를 제공하는 일례를 도시한 도면이다.
도 12를 참조하면, 제1 네비게이터(1210)는 객체 정보(1211)를 포함하는 하나 이상의 객체 정보가 표시될 수 있다. 제어부(180)는 제1 네비게이터(1210)에 포함된 객체 정보(1211)를 향하는 사용자 시선(1213)을 확인할 수 있다. 제2 네비게이터(1220)는 사용자 시선(1221)이 향하는 객체 정보와 연관된 섬네일(1223)을 표시하는 일례를 도시한 것이다. 섬네일(1223)은 사용자 시선(1221)이 향하는 객체 정보와 연관된 컨텐츠의 대표 이미지(또는 첫 이미지)일 수 있다. 제어부(180)는 사용자 시선(1221)이 향하는 객체 정보와 근접한 위치에 섬네일(1223)을 표시할 수 있다. 제어부(180)는 사용자 시선이 일정 시간 동안 하나의 객체 정보를 응시(또는 주시)하는 경우, 제3 네비게이터(1230)를 표시할 수 있다. 제3 네비게이터(1230)는 사용자 시선(1231)에 대응하는 객체 정보에 대한 섬네일(1233) 및 부가 정보(1235)가 표시된 일례를 도시한 것이다. 부가 정보(1235)는 상기 객체 정보와 연관된 컨텐츠의 부가 기능 또는 부가 정보일 수 있다.
제4 네비게이터(1240)는 제1 네비게이터(1210)에서 사용자 시선이 향하는 객체 정보와 연관된 섬네일을 표시하는 다른 일례를 도시한 것이다. 제어부(180)는 제4 네비게이터(1240)의 전체 영역(예: 원형 내부)에 사용자 시선(1213)이 향하는 객체 정보의 섬네일을 표시할 수 있다. 제4 네비게이터(1240)는 섬네일 위에 객체 정보가 표시될 수 있다. 제5 네비게이터(1250)는 제1 네비게이터(1210)에서 사용자 시선이 향하는 객체 정보와 연관된 섬네일을 표시하는 다른 일례를 도시한 것이다.
도 13은 다양한 실시예들에 따른 네비게이터와 연관된 기능을 실행하는 일례를 도시한 도면이다.
도 13을 참조하면, 제1 네비게이터(1310)는 하나 이상의 객체 정보가 표시될 수 있다. 상기 객체 정보는 상대방 정보(예: 사람)일 수 있다. 상기 객체 정보의 배치 위치는 실행된 컨텐츠 내에서 사용자의 위치로부터 상대방 위치가 얼마나 떨어져 있는지에 따라 결정될 수 있다. 제어부(180)는 아이 트래킹 기술을 이용하여 제1 네비게이터(1310)에서 사용자 시선(1311)이 향하는 객체 정보를 식별할 수 있다. 제2 네비게이터(1320)는 사용자 시선(1321)이 향하는 객체 정보와 연관된 섬네일(1323)을 표시하는 일례를 도시한 것이다. 제어부(180)는 사용자 시선(1321)이 향하는 객체 정보와 근접한 위치에 섬네일(1323)을 표시할 수 있다. 또는, 제어부(180)는 제2 네비게이터(1320)의 전체 영역에 사용자 시선(1321)이 향하는 객체 정보의 섬네일(1323)을 표시할 수 있다.
제어부(180)는 사용자 시선이 일정 시간 동안 하나의 객체 정보를 응시(또는 주시)하는 경우, 제3 네비게이터(1330)를 표시할 수 있다. 제3 네비게이터(1330)는 사용자 시선(1331)에 대응하는 객체 정보에 대한 섬네일(1333) 및 부가 정보(1335)가 표시된 일례를 도시한 것이다. 제어부(180)는 상기 객체 정보가 사람(예: 상대방 정보)인 경우, 사람과 연관된 부가 기능으로, 예를 들면, 전화 기능, 공유 기능, 보기 기능일 수 있다. 전화 기능은 상대방에게 전화를 거는 것일 수 있다. 상기 공유 기능은 상대방을 자신의 위치로 불러들이는 것일 수 있다. 또는, 상기 공유 기능은 실행된 컨텐츠 내 다른 사용자들과 상대방에 대한 정보를 공유하는 것일 수 있다. 상기 보기 기능은 상대방의 위치로 이동하는 것일 수 있다.
본 발명의 실시 예에서, 컴퓨터로 판독 가능한 기록 매체는 실행되는 컨텐츠와 연관된 컨텐츠 타입 또는 객체 정보를 획득하는 동작, 상기 컨텐츠 타입 또는 상기 객체 정보를 이용하여 네비게이터를 생성하는 동작, 상기 생성된 네비게이터를 상기 컨텐츠 내에 배치하는 동작, 및 사용자 주시 정보에 따라 상기 네비게이터를 표시하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 전자 장치
131: 디스플레이
150: 메모리
170: 카메라 모듈

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    메모리; 및
    상기 디스플레이 또는 상기 메모리와 기능적으로 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    가상 현실 또는 증강 현실을 구현하여 사용자 경험을 제공할 수 있는 컨텐츠로서 2차원의 컨텐츠 또는 3차원의 컨텐츠를 실행하고,
    상기 실행되는 컨텐츠와 연관된 컨텐츠 타입을 식별하되, 상기 컨텐츠 타입은, 16:9 컨텐츠 타입, 파노라마 컨텐츠 타입, 180°컨텐츠 타입 또는 360°컨텐츠 타입 중 적어도 하나를 포함하며,
    상기 컨텐츠로부터 적어도 하나의 객체 정보를 추출하거나 상기 컨텐츠를 분석하여 적어도 하나의 객체 정보를 생성하고,
    상기 사용자의 위치 주변 영역을 나타내는 네비게이터를 생성하되, 상기 네비게이터는 상기 컨텐츠 타입에 따라 결정된 형태를 가지는 GUI(graphical user interface) 엘리먼트이고, 상기 사용자의 위치는 상기 네비게이터의 중앙에 위치하고, 상기 객체 정보는 상기 사용자의 위치와 객체의 위치 사이의 거리에 기초하여 상기 네비게이터 내에 배열되며,
    상기 사용자의 시선 정보에 따라 상기 네비게이터를 디스플레이하되, 상기 시선 정보는 상기 디스플레이에 대한 상기 사용자의 시선 방향, 시야각 및 움직임 중 적어도 하나를 포함하며,
    상기 컨텐츠가 실행 중이고 상기 시선 정보가 상기 사용자가 상기 디스플레이를 향하여 바라보는 것을 나타내는 경우에, 상기 네비게이터를 디스플레이하지 않고,
    상기 시선 정보가 상기 사용자가 상기 디스플레이의 상단 영역 또는 하단 영역을 바라보는 것을 나타내는 경우에, 상기 네비게이터를 상기 디스플레이의 상기 상단 영역 또는 상기 하단 영역에 디스플레이하도록 설정된 전자 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 객체 정보는 상기 컨텐츠에 포함된 항목, 즐겨찾기, 물체 또는 공간 중 적어도 하나인 것을 특징으로 하는 전자 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서, 상기 적어도 하나의 프로세서는,
    헤드 트래킹하고, 헤드 트래킹에 기반하여 상기 네비게이터를 변경하여 표시하도록 설정된 전자 장치.
  7. 제1항에 있어서,
    통신부를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 통신부를 통해 외부 장치로부터 회전 신호를 수신하고, 수신된 회전 신호에 기반하여 상기 네비게이터를 변경하여 표시하도록 설정된 전자 장치.
  8. 제1항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 네비게이터에 포함된 객체 정보가 선택되는 경우, 선택된 객체 정보에 해당하는 컨텐츠로 변경하고, 변경된 컨텐츠와 연관된 네비게이터를 구성하도록 설정된 전자 장치.
  9. 제1항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 네비게이터에 포함된 객체 정보가 선택되는 경우, 선택된 객체 정보와 연관된 섬네일을 표시하도록 설정된 전자 장치.
  10. 제9항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 객체 정보에 일정 시간 동안 사용자 주시 방향이 유지되는 경우, 객체 정보와 연관된 기능을 실행하도록 설정된 전자 장치.
  11. 제1항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 사용자의 위치를 중심으로 컨텐츠 내 상기 사용자의 상단 영역 또는 하단 영역에 상기 네비게이터를 배치하도록 설정된 전자 장치.
  12. 전자 장치의 동작 방법에 있어서,
    가상 현실 또는 증강 현실을 구현하여 사용자 경험을 제공할 수 있는 컨텐츠로서 2차원의 컨텐츠 또는 3차원의 컨텐츠를 실행하는 동작;
    상기 실행되는 컨텐츠와 연관된 컨텐츠 타입을 식별하되, 상기 컨텐츠 타입은, 16:9 컨텐츠 타입, 파노라마 컨텐츠 타입, 180°컨텐츠 타입 또는 360°컨텐츠 타입 중 적어도 하나를 포함하는 동작;
    상기 컨텐츠로부터 적어도 하나의 객체 정보를 추출하거나 상기 컨텐츠를 분석하여 적어도 하나의 객체 정보를 생성하는 동작;
    상기 사용자의 위치 주변 영역을 나타내는 네비게이터를 생성하되, 상기 네비게이터는 상기 컨텐츠 타입에 따라 결정된 형태를 가지는 GUI(graphical user interface) 엘리먼트이고, 상기 사용자의 위치는 상기 네비게이터의 중앙에 위치하고, 상기 객체 정보는 상기 사용자의 위치와 객체의 위치 사이의 거리에 기초하여 상기 네비게이터 내에 배열되는, 동작;
    상기 사용자의 시선 정보에 따라 상기 네비게이터를 디스플레이하되, 상기 시선 정보는 상기 전자 장치의 디스플레이에 대한 상기 사용자의 시선 방향, 시야각 및 움직임 중 적어도 하나를 포함하는, 동작; 및
    상기 컨텐츠가 실행 중이고 상기 시선 정보가 상기 사용자가 상기 디스플레이를 향하여 바라보는 것을 나타내는 경우에, 상기 네비게이터를 디스플레이하지 않고, 상기 시선 정보가 상기 사용자가 상기 디스플레이의 상단 영역 또는 하단 영역을 바라보는 것을 나타내는 경우에, 상기 네비게이터를 상기 디스플레이의 상기 상단 영역 또는 상기 하단 영역에 디스플레이하는 동작; 포함하는 것을 특징으로 하는 방법.
  13. 삭제
  14. 제12항에 있어서,
    상기 객체 정보는 상기 컨텐츠에 포함된 항목, 즐겨찾기, 물체 또는 공간 중 적어도 하나인 것을 특징으로 하는 방법.
  15. 삭제
  16. 제12항에 있어서,
    헤드 트래킹에 기반하여 상기 네비게이터를 변경하여 표시하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  17. 제12항에 있어서,
    상기 전자 장치의 통신부를 통해 외부 장치로부터 회전 신호를 수신하는 동작; 및
    상기 수신된 회전 신호에 기반하여 상기 네비게이터를 변경하여 표시하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  18. 제12항에 있어서,
    상기 네비게이터에 포함된 객체 정보가 선택되는 경우, 선택된 객체 정보에 해당하는 컨텐츠로 변경하는 동작; 및
    상기 변경된 컨텐츠와 연관된 네비게이터를 구성하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  19. 제12항에 있어서,
    상기 네비게이터에 포함된 객체 정보가 선택되는 경우, 선택된 객체 정보와 연관된 섬네일을 표시하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  20. 제19항에 있어서,
    상기 객체 정보에 일정 시간 동안 사용자 주시 방향이 유지되는 경우, 객체 정보와 연관된 기능을 실행하는 동작을 더 포함하는 것을 특징으로 하는 방법.
KR1020160120610A 2016-09-21 2016-09-21 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치 KR102632795B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160120610A KR102632795B1 (ko) 2016-09-21 2016-09-21 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치
EP17192241.2A EP3299933B1 (en) 2016-09-21 2017-09-20 Method for displaying a navigator associated with content and electronic device for implementing the same
US15/710,928 US11054963B2 (en) 2016-09-21 2017-09-21 Method for displaying navigator associated with content and electronic device for implementing the same
CN201710858334.6A CN107861613B (zh) 2016-09-21 2017-09-21 显示与内容相关联的导航器的方法和实现其的电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160120610A KR102632795B1 (ko) 2016-09-21 2016-09-21 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치

Publications (2)

Publication Number Publication Date
KR20180032005A KR20180032005A (ko) 2018-03-29
KR102632795B1 true KR102632795B1 (ko) 2024-02-02

Family

ID=59997073

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160120610A KR102632795B1 (ko) 2016-09-21 2016-09-21 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치

Country Status (4)

Country Link
US (1) US11054963B2 (ko)
EP (1) EP3299933B1 (ko)
KR (1) KR102632795B1 (ko)
CN (1) CN107861613B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
KR102632795B1 (ko) 2016-09-21 2024-02-02 삼성전자주식회사 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
KR102035743B1 (ko) * 2019-06-18 2019-11-26 (주)킨사이트 의류 또는 잡화 부착 디스플레이 시스템 및 방법
US11800231B2 (en) * 2019-09-19 2023-10-24 Apple Inc. Head-mounted display
KR20220003254A (ko) * 2020-07-01 2022-01-10 삼성전자주식회사 증강 현실을 제공하는 전자 장치 및 그 방법
CN113341568A (zh) * 2021-06-04 2021-09-03 深圳市前海合航科技有限公司 智能穿戴及空气净化组合装置
FR3127596A1 (fr) * 2021-09-27 2023-03-31 All Virtual Notice Technique Lanceur Tools
WO2023046902A1 (fr) * 2021-09-27 2023-03-30 All Virtual Systeme d'interface homme-machine

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339864A1 (en) 2012-06-15 2013-12-19 Nokia Corporation Method and apparatus for providing mixed-reality connectivity assistance

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2803420A1 (fr) * 1999-12-30 2001-07-06 Thomson Multimedia Sa Procede et dispositif de representation sur ecran de television numerique
KR20000054149A (ko) 2000-05-24 2000-09-05 전연택 3차원 가상여행 시스템
US6759972B2 (en) * 2001-11-27 2004-07-06 Digicomp Research Corporation Tour group notification method
CN102483843B (zh) * 2009-08-19 2014-12-03 西门子公司 透视图的连续确定
JP5053427B2 (ja) * 2010-08-09 2012-10-17 シャープ株式会社 表示装置
US9007430B2 (en) 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US8902255B2 (en) 2011-06-18 2014-12-02 Microsoft Corporation Mobile platform for augmented reality
WO2013032955A1 (en) 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
JP6186775B2 (ja) 2012-05-31 2017-08-30 株式会社リコー 通信端末、表示方法、及びプログラム
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US10558325B2 (en) * 2013-12-01 2020-02-11 Upskill, Inc. Systems and methods for controlling operation of an on-board component
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
KR102238775B1 (ko) * 2014-02-10 2021-04-09 삼성전자주식회사 전자 장치에서 증강 현실을 이용한 장비 관리 장치 및 방법
KR20160096422A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 화면 표시 방법 및 전자 장치
US10921896B2 (en) * 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
KR102632795B1 (ko) 2016-09-21 2024-02-02 삼성전자주식회사 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339864A1 (en) 2012-06-15 2013-12-19 Nokia Corporation Method and apparatus for providing mixed-reality connectivity assistance

Also Published As

Publication number Publication date
KR20180032005A (ko) 2018-03-29
EP3299933A1 (en) 2018-03-28
EP3299933B1 (en) 2022-12-28
US20180081520A1 (en) 2018-03-22
CN107861613A (zh) 2018-03-30
US11054963B2 (en) 2021-07-06
CN107861613B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
KR102632795B1 (ko) 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치
KR102585237B1 (ko) 디바이스를 이용한 화면 처리 방법 및 장치
US11360728B2 (en) Head mounted display apparatus and method for displaying a content
EP3586316B1 (en) Method and apparatus for providing augmented reality function in electronic device
KR102471977B1 (ko) 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
US9530232B2 (en) Augmented reality surface segmentation
EP3018561B1 (en) Virtual environment for sharing information
CN105607696B (zh) 控制屏幕的方法以及用于处理该方法的电子设备
KR102352172B1 (ko) 전자 장치들의 연동 방법 및 장치
KR102218901B1 (ko) 색 보정 방법 및 장치
KR102607562B1 (ko) 베젤 기반 인터랙션에 따른 비주얼 이펙트 제공 방법 및 이를 구현한 전자 장치
US8761590B2 (en) Mobile terminal capable of providing multiplayer game and operating method thereof
CN111324250B (zh) 三维形象的调整方法、装置、设备及可读存储介质
KR20160096422A (ko) 화면 표시 방법 및 전자 장치
KR20150140043A (ko) 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
KR20170060485A (ko) 표시 모드에 따른 콘텐트를 표시하기 위한 전자 장치 및 방법
US10275056B2 (en) Method and apparatus for processing input using display
US11670022B2 (en) Electronic device and method for displaying and generating panoramic image
EP3469787B1 (en) Electronic device and computer-readable recording medium for displaying images
KR102468086B1 (ko) 컨텐츠 표시 방법 및 이를 구현한 전자 장치
KR102157143B1 (ko) 이동 단말기 및 그것의 제어 방법
EP3327551A1 (en) Electronic device for displaying image and method for controlling the same
KR102463080B1 (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
CN107077276B (zh) 用于提供用户界面的方法和装置
KR102161050B1 (ko) 디바이스의 기능 실행 방법 및 이를 위한 디바이스

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant