KR20210102210A - 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼 - Google Patents

상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼 Download PDF

Info

Publication number
KR20210102210A
KR20210102210A KR1020217014912A KR20217014912A KR20210102210A KR 20210102210 A KR20210102210 A KR 20210102210A KR 1020217014912 A KR1020217014912 A KR 1020217014912A KR 20217014912 A KR20217014912 A KR 20217014912A KR 20210102210 A KR20210102210 A KR 20210102210A
Authority
KR
South Korea
Prior art keywords
mobile computing
computing platform
virtual
information
user
Prior art date
Application number
KR1020217014912A
Other languages
English (en)
Inventor
에이비 바-지예브
제럴드 라이트 제이알
알렉스 투린
디에고 레이톤
Original Assignee
메타 뷰, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메타 뷰, 인크. filed Critical 메타 뷰, 인크.
Publication of KR20210102210A publication Critical patent/KR20210102210A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

인터랙티브 공간(interactive space)을 위한 물리적 인터페이스로서 모바일 컴퓨팅 플랫폼을 제공하는 시스템 및 방법이 본 명세서에 제공된다. 인터랙티브 공간은 호스트 장치 (예를 들어, 헤드셋)의 사용자에 의해 경험될 수 있다. 인터랙티브 공간은 가상 콘텐츠의 뷰를 포함할 수 있다. 인터랙티브 공간의 가상 콘텐츠의 인식된 위치 및/또는 방향(heading)에 상대적인 모바일 컴퓨팅 플랫폼의 위치 및/또는 방향이 결정될 수 있다. 원격 명령 정보는 모바일 컴퓨팅 플랫폼의 하나 이상의 입력 요소의 사용자 입력(entry) 및/또는 선택(selection)을 전달하는 상대 위치 정보 및/또는 사용자 입력 정보에 기초하여 결정될 수 있다. 원격 명령 정보는 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용에 기초하여 인터랙티브 공간에서 가상 콘텐츠와의 사용자 상호 작용을 실시하도록 구성 될 수 있다.

Description

상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼
본 명세서에 설명된 시스템 및 방법은 인터랙티브 공간(interactive space)을 위한 물리적 인터페이스 도구로서 모바일 컴퓨팅 플랫폼을 제공하는 것에 관한 것이디.
가상 현실(virtual reality(VR)) 및/또는 증강 현실(augmented reality(AR)) 디스플레이를 제공하는 많은 유형의 비전(vision) 시스템이 있다. 특히, 헤드 마운트 디스플레이(head mounted displays(HMD))와 같은 웨어러블 기술이 사용될 수 있다. 웨어러블 기술은 사용자에 의해 현실 세계에 존재하는 것으로 인식될 수 있는 가상 콘텐츠의 이미지를 사용자에게 제공할 수 있다. 사용자는 손 제스처를 사용하여 가상 콘텐츠와 상호 작용할 수 있다.
본 명세서에 설명된 시스템 및 방법의 하나 이상의 구현예는 인터랙티브 공간을 위한 물리적 인터페이스 도구로서 모바일 컴퓨팅 플랫폼을 제공하는 것을 가능하게 한다. 인터랙티브 공간은 가상 현실 환경 및/또는 증강 현실 환경 중 하나 또는 모두를 포함할 수 있다. 증강 현실 환경은 현실 세계 환경의 뷰 위로 중첩된 가상 콘텐츠의 이미지 뷰를 포함할 수 있다. 가상 현실 환경은 가상 환경 내의 가상 콘텐츠의 이미지의 뷰를 포함할 수 있다. 사용자는 가상 콘텐츠와 상호 작용하기 위한 원격 제어 장치로서 모바일 컴퓨팅 플랫폼을 활용할 수 있다. 예를 들어, 모바일 컴퓨팅 플랫폼은 상호 작용을 위해 가상 콘텐츠를 가리키고 그리고/또는 선택하는데 사용될 수 있다. 모바일 컴퓨팅 플랫폼은 이러한 선택이 물리적인 손 제스처만으로 시도된 경우 어려울 수 있는 가상 콘텐츠의 정밀한 선택을 가능하게 할 수 있다. 모바일 컴퓨팅 플랫폼은 입력 요소를 포함하는 사용자 인터페이스를 제공할 수 있다. 사용자는 하나 이상의 입력 요소를 선택하여 모바일 컴퓨팅 플랫폼이 가리키고 있을 수 있는 가상 콘텐츠와의 하나 이상의 상호 작용을 실시할 수 있다. 다른 상호 작용이 본 명세서에서 설명된다.
인터랙티브 공간을 위한 물리적 인터페이스로서 모바일 컴퓨팅 플랫폼을 제공하도록 구성된 시스템은 호스트 장치, 모바일 컴퓨팅 플랫폼 및/또는 다른 컴포넌트 중 하나 이상을 포함할 수 있다. 호스트 장치는 사용자에 의해 착용되도록 구성될 수 있다. 호스트 장치는 하나 이상의 물리적 프로세서, 하나 이상의 이미지 형성 컴포넌트 및/또는 다른 컴포넌트 중 하나 이상을 포함할 수 있다. 하나 이상의 이미지 형성 컴포넌트는 가상 콘텐츠의 이미지를 형성하기 위해 광선을 생성하도록 구성될 수 있다. 하나 이상의 이미지 형성 컴포넌트는 이미지를 사용자에게 제공하도록 구성될 수 있다. 인터랙티브 공간을 형성하기 위해 이미지가 현실 세계의 뷰 위로 중첩될 수 있다. 비한정적인 예시로서, 가상 콘텐츠는 현실 세계에 존재하는 것으로 사용자에 의해 인식될 수 있다. 가상 콘텐츠는 하나 이상의 가상 객체를 포함할 수 있다.
호스트 장치의 하나 이상의 물리적 프로세서는 기계 판독 가능한 명령어에 의해 구성될 수 있다. 기계 판독 가능한 명령어는 하나 이상의 컴퓨터 프로그램 컴포넌트를 포함할 수 있다. 컴퓨터 프로그램 컴포넌트는 콘텐츠 컴포넌트, 제어 컴포넌트, 상대 위치 컴포넌트, 통신 컴포넌트 및/또는 다른 컴포넌트 중 하나 이상을 포함할 수 있다.
콘텐츠 컴포넌트는 가상 콘텐츠를 정의하는 정보를 획득하도록 구성될 수 있다. 가상 콘텐츠를 정의하는 정보는 가상 콘텐츠의 시각적 외양, 가상 콘텐츠의 하나 이상의 상호 작용 능력, 가상 콘텐츠의 이동(locomotion) 및/또는 기타 정보 중 하나 이상을 정의하는 정보를 포함할 수 있다.
통신 컴포넌트는 호스트 장치와 호스트 장치로부터 분리되고 구별되는 모바일 컴퓨팅 플랫폼 사이에 무선 연결을 구축하도록 구성될 수 있다. 일부 구현예에서, 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용은 인터랙티브 공간에서 가상 콘텐츠와의 사용자 상호 작용을 가능하게 할 수 있다.
상대 위치 컴포넌트는 상대 위치 정보를 획득하도록 구성될 수 있다. 상대 위치 정보는 가상 콘텐츠의 인식된 위치 및/또는 방향(heading)에 상대적인 모바일 컴퓨팅 플랫폼의 위치 및/또는 방향을 전달할 수 있다.
제어 컴포넌트는 사용자 입력 정보 및/또는 기타 정보를 획득한다. 사용자 입력 정보는 모바일 컴퓨팅 플랫폼의 하나 이상의 입력 요소의 사용자 입력(entry) 및/또는 선택을 전달할 수 있다. 하나 이상의 입력 요소의 사용자 입력 및/또는 선택은 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용의 일부를 포함할 수 있다.
제어 컴포넌트는 원격 명령 정보 및/또는 기타 정보를 결정하도록 구성될 수 있다. 원격 명령 정보는 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용에 기초하여 인터랙티브 공간에서 가상 콘텐츠와의 사용자 상호 작용을 실시하도록 구성될 수 있다. 원격 명령 정보는 상대 위치 정보, 사용자 입력 정보 및/또는 기타 정보 중 하나 이상에 기초하여 결정될 수 있다.
제어 컴포넌트는 원격 명령 정보 및/또는 기타 정보에 기초하여 하나 이상의 이미지 형성 컴포넌트를 제어하도록 구성될 수 있다. 비한정적인 예시로서, 하나 이상의 이미지 형성 컴포넌트는 가상 콘텐츠의 이미지가 가상 콘텐츠와의 사용자 상호 작용을 반영하게 하도록 제어될 수 있다.
본 개시 내용의 이러한 목적, 특징 및 특성과 다른 목적, 특징 및 특성은 물론, 구조의 관련된 컴포넌트 및 부품들의 조합의 동작 방법 및 기능과 제조 경제성은, 모두 본 명세서의 일부를 형성하는, 첨부된 도면을 참조하여 이어지는 설명과 첨부된 청구범위를 고려하여 더욱 명백하게 될 것이며, 유사한 참조 번호는 다양한 도면에서 대응하는 부분들을 나타낸다. 그러나, 도면은 단지 예시 및 설명을 위한 것이며 어떠한 한정의 정의로 의도되지 않는다는 것이 명백히 이해되어야 한다. 명세서 및 청구범위에서 사용된 바와 같이, "a", "an" 및 "the"의 단수 형태는 문맥이 달리 명확하게 지시하지 않는 한 복수의 대상을 포함한다.
도 1은 하나 이상의 구현예에 따라, 인터랙티브 공간을 위한 물리적 인터페이스로서 모바일 컴퓨팅 플랫폼을 제공하도록 구성된 시스템을 도시한다.
도 2는 하나 이상의 구현예에 따라, 인터랙티브 공간을 위한 물리적 인터페이스로서 모바일 컴퓨팅 플랫폼을 제공하는 방법을 도시한다.
도 3은 하나 이상의 구현예에 따라, 인터랙티브 공간을 위한 물리적 인터페이스로서 모바일 컴퓨팅 플랫폼을 제공하는 방법을 도시한다.
도 4는 예시적인 헤드 마운트 디스플레이를 도시한다.
도 5는 하나 이상의 구현예에 따른 이미지 형성 컴포넌트의 광학 요소 및 광원의 구성을 도시한다.
도 6은 가상 객체 세트를 포함하는 인터랙티브 공간 및 인터랙티브 공간을 위한 물리적 인터페이스를 제공하는 모바일 플랫폼의 도면을 도시하는 도 1의 시스템의 구현예를 도시한다.
도 7은 가상 객체 세트를 포함하는 인터랙티브 공간 및 인터랙티브 공간을 위한 물리적 인터페이스를 제공하는 모바일 플랫폼의 도면을 도시하는 도 1의 시스템의 구현예를 도시한다.
도 8은 인터랙티브 공간과의 물리적 인터페이스로서 구성된 모바일 컴퓨팅 플랫폼의 디스플레이 상에 제공된 예시적인 사용자 인터페이스를 도시한다.
도 9는 인터랙티브 공간과의 물리적 인터페이스로서 구성된 모바일 컴퓨팅 플랫폼의 디스플레이 상에 제공된 예시적인 사용자 인터페이스를 도시한다.
도 10은 인터랙티브 공간과의 물리적 인터페이스로서 구성된 모바일 컴퓨팅 플랫폼의 디스플레이 상에 제공된 예시적인 사용자 인터페이스를 도시한다.
도 11은 그래픽 이미지를 현실 세계 또는 가상 객체와 연관시키기 위하여 인터랙티브 공간과의 물리적 인터페이스로서 구성된 모바일 컴퓨팅 플랫폼의 디스플레이 상에 제공된 예시적인 사용자 인터페이스를 도시한다.
도 12a 및 12b는 그래픽 이미지를 현실 세계 또는 가상 객체와 연관시키기 위하여 인터랙티브 공간과의 물리적 인터페이스로서 구성된 모바일 컴퓨팅 플랫폼의 디스플레이 상에 제공된 다른 예시적인 사용자 인터페이스를 도시한다.
도 1은 하나 이상의 구현예에 따라 인터랙티브 공간을 위한 물리적 인터페이스로서 모바일 컴퓨팅 플랫폼을 제공하도록 구성된 시스템(100)을 도시한다. 인터랙티브 공간은 증강 현실 환경, 가상 현실 환경 및/또는 기타 인터랙티브 공간 중 하나 이상을 포함할 수 있다. 증강 현실 환경은 현실 세계의 뷰 위로 중첩된 가상 콘텐츠를 형성하는 이미지의 뷰를 포함할 수 있다. 가상 현실 환경은 가상 환경 내에서 가상 콘텐츠를 형성하는 이미지의 뷰를 포함할 수 있다. 가상 현실 및/또는 증강 현실과 관련하여 용어 "공간(space)" 및 "환경(environment)"이라는 용어는 본 명세서에서 상호 교환적으로 사용될 수 있다. 가상 콘텐츠는 하나 이상의 가상 객체, 가상 세계 및/또는 기타 가상 콘텐츠를 포함할 수 있다.
인터랙티브 공간에서 가상 객체와의 상호 작용은 손 움직임 및/또는 제스처에 의해 지시될 수 있다. 그러나, 이러한 손 기반의 상호 작용은 어려울 수 있다. 이는 상호 작용을 수행하기 위해 사용자에 의해 요구될 수 있는 손 움직임의 정확성 및/또는 가상 객체 자체의 복잡성 때문일 수 있다. 본 명세서에서 설명된 모바일 컴퓨팅 플랫폼은 일반적으로 인터랙티브 공간 및/또는 시스템에서 가상 객체와 인터페이스하기 위한 휴대용 물리적 도구를 제공하도록 구성될 수 있다. 가상 객체와의 정밀한 상호 작용 및/또는 다른 상호 작용은 모바일 컴퓨팅 플랫폼을 통해 쉽고 직관적으로 달성될 수 있다.
일부 구현예에서, 모바일 컴퓨팅 플랫폼은 인터랙티브 공간에 존재하는 것으로 인식되는 가상 객체를 선택하기 위하여 3D 컨트롤러 및/또는 커서를 제어하기 위한 포인터 역할을 할 수 있다. 예를 들어, 모바일 컴퓨팅 플랫폼에 탑재된 센서는 현실 세계에서 모바일 컴퓨팅 플랫폼의 위치 및/또는 방향(heading)을 나타내는 정보를 제공할 수 있다. 일부 구현예에서, 호스트 장치 상의 이미지 센서와 같은 센서(142)는 모바일 컴퓨팅 플랫폼을 인식하고 이미지 기반 기술을 통해 이의 위치 및/또는 방향을 결정할 수 있다. 커서는 모바일 컴퓨팅 플랫폼의 확장부 역할을 할 수 있다; 예를 들어, 사용자는 커서가 가기 원하는 곳으로 모바일 컴퓨팅 플랫폼을 가리킬 수 있다. 모바일 컴퓨팅 플랫폼은 가상 객체와 상호 작용하기 위해 기존 및/또는 맞춤형 사용자 인터페이스 요소/버튼을 활용할 수 있다. 비한정적인 예시로서, 기존 및/또는 맞춤형 키보드가 가상 객체(예를 들어, 이메일, 웹 브라우저 등)에 텍스트를 입력하는데 사용될 수 있다. 맞춤형 사용자 인터페이스 요소는 가상 객체와의 특정 상호 작용을 가능하게 할 수 있다. 상호 작용은 선택, 이동, 크기 조정, 회전, 가상 객체의 텍스처/색상 변경, SLAM 재설정, 표면 스캐닝 및/또는 기타 유형의 상호 작용 중 하나 이상을 포함할 수 있다.
도 1에서, 시스템(100)은 호스트 장치(102), 하나 이상의 다른 호스트 장치(123), 모바일 컴퓨팅 플랫폼(126), 하나 이상의 다른 모바일 컴퓨팅 플랫폼(121) 및/또는 다른 컴포넌트 중 하나 이상을 포함할 수 있다. 본 명세서의 일부 설명은 호스트 장치(102)에 관한 것일 수 있지만, 이는 단지 예시를 위한 것이며 한정하는 것으로 간주되지 않는다는 점에 유의한다. 예를 들어, 하나 이상의 다른 호스트 장치(123)의 개별 호스트 장치는 호스트 장치(102)와 동일하거나 유사한 방식으로 구성될 수 있다는 것이 이해되어야 한다. 일부 설명이 모바일 컴퓨팅 플랫폼(126)에 관한 것일 수 있지만, 이는 예시를 위한 것이며 한정하는 것으로 간주되지 않는다는 점에 더 유의한다. 예를 들어, 하나 이상의 다른 모바일 컴퓨팅 플랫폼(121)의 개별 플랫폼은 모바일 컴퓨팅 플랫폼(126)과 동일하거나 유사한 방식으로 구성될 수 있다는 것이 이해되어야 한다.
일부 구현예에서, 호스트 장치(102)의 하나 이상의 컴포넌트는 호스트 장치(102)에 포함될 수 있고 그리고/또는 그렇지 않으면 호스트 장치(102)에 통합될 수 있다. 비한정적인 예시로서, 호스트 장치(102)는 하나 이상의 물리적 프로세서(104), 하나 이상의 이미지 형성 컴포넌트(120), 하나 이상의 센서(122) 및/또는 다른 컴포넌트 중 하나 이상을 포함할 수 있고 그리고/또는 그렇지 않으면 보유할 수 있다. 호스트 장치(102)는 사용자의 머리에 착용하도록 구성될 수 있다. 비한정적인 예시로서, 호스트 장치(102)는 헤드 마운트 디스플레이(HMD), 안경, 고글 및/또는 기타 장치 중 하나 이상과 같은 헤드셋을 포함할 수 있다.
일부 구현예에서, 호스트 장치(102)의 하나 이상의 컴포넌트는 호스트 장치(102) 외부의 하나 이상의 장치에 포함될 수 있다. 예를 들어, 하나 이상의 컴포넌트는 데스크탑 컴퓨터, 랩탑 컴퓨터, 기타 모바일 컴퓨터 구성 및/또는 기타 컴퓨팅 장치 중 하나 이상에 포함될 수 있다. 비한정적인 예시로서, 하나 이상의 물리적 프로세서(104) 및/또는 다른 컴포넌트가 호스트 장치(102) 외부의 모바일 컴퓨팅 장치(도 1에 도시되지 않음)에 포함될 수 있다. 호스트 장치(102)는 테더링 될 수 있고 그리고/또는 그렇지 않으면 하나 이상의 외부 장치에 연결될 수 있다. 이러한 연결은 유선(예를 들어, USB, HDMI 및/또는 기타 유선 연결) 및/또는 무선(예를 들어, Bluetooth, Wi-Fi 및/또는 기타 무선 연결) 연결될 수 있다.
도 1에서, 하나 이상의 이미지 형성 컴포넌트(120)의 개별 이미지 형성 컴포넌트는 가상 콘텐츠의 이미지를 형성하기 위해 광선을 생성하도록 구성될 수 있다. 인간의 지각 시스템은 현실 세계 환경에서 "물리적으로 그럴듯한(physically plausible)" 가상 콘텐츠를 인식하기 위해 다양한 감각 신호를 효율적인 방식으로 결합할 수 있다. 예를 들어, 인간의 지각 시스템은 무엇보다도 광도(luminance), 심도(depth) 및/또는 형상 정보 중 하나 이상과 같은 감각 신호를 통합하여 일관된(coherent) 가상 콘텐츠를 형성 및/또는 인식할 수 있다. 그 결과, 인간 지각의 특성은 본 명세서에 설명된 바와 같이 시각적 시스템을 통해 이용될 수 있으며, 하드웨어 및/또는 소프트웨어 아키텍처를 사용하여 신경 과학 원리 덕분에 현실 세계에 위치될 수 있고 그리고/또는 현실 세계에 위치되는 것으로 인식될 수 있는 가상 콘텐츠(예를 들어, 디지털 이미지)를 형성할 수 있다. 예를 들어, 가상 콘텐츠는 현실 세계에서 주어진 위치에 존재하는 것으로 인식될 수 있다. 가상 콘텐츠는 가상 콘텐츠가 시청되고 있는 인터랙티브 공간 내의 시점(point of view)에 기초하여 특정 방향 및/또는 배향(orientation)을 갖는 것으로 인식될 수 있다.
하나 이상의 이미지 형성 컴포넌트(120)의 개별 컴포넌트는 하나 이상의 광원, 하나 이상의 광학 요소 및/또는 다른 컴포넌트 중 하나 이상을 포함할 수 있다. 일부 구현예에서, 개별 광원은 하나 이상의 광학 요소를 향해 광선을 지향하도록 호스트 장치(102) 상에 배열될 수 있다. 하나 이상의 이미지 형성 컴포넌트(120)는 가상 콘텐츠의 이미지가 인터랙티브 공간의 뷰를 생성하기 위해 현실 세계의 뷰 위로 중첩될 수 있도록 구성될 수 있다. 일부 구현예에서, 이미지는 스테레오 이미지 쌍으로서 사용자의 각각의 눈에 개별적으로 제공될 수 있다.
광원은 MEMS(microelectromechanical system), RGB 레이저 스캐너, 마이크로 LED 마이크로 디스플레이, LCOS(LED illuminated liquid crystal on silicon) 마이크로 디스플레이, RGB 레이저 LCOS 마이크로 디스플레이, DLP(digital light projector), DMD(digital micromirror device), LCD(liquid crystal display), OLED(organic light-emitting diode) 디스플레이, OLED 마이크로 디스플레이 및/또는 기타 광원 중 하나 이상을 포함할 수 있다.
"광선(light ray)"이라는 용어의 사용은 본 개시 내용의 범위를 단일, 이산, 광자 및/또는 광자 패킷으로 한정하려고 의도되지 않는다는 것에 유의한다. 대신에, 본 개시 내용은 하나 이상의 구현예에서 다수의 그리고/또는 연속적인 광자를 포함하는 광 빔을 의미하도록 광선을 구상할 수 있다.
일부 구현예에서, 하나 이상의 이미지 형성 컴포넌트(120)의 하나 이상의 광학 요소는 호스트 장치(102)가 사용자의 머리에 착용될 때 사용자의 시선이 하나 이상의 광학 요소를 향해 지향될 수 있도록 호스트 장치(102)에 배열될 수 있다. 일부 구현예에서, 광학 요소는 사용자가 현실 세계를 볼 수 있는 호스트 장치(102)의 적어도 일부를 형성할 수 있다. 일부 구현예에서, 광학 요소는 하나 이상의 반사성 및/또는 부분적 반사성 표면을 포함할 수 있다. 광학 요소는 반사성 및/또는 부분적 반사성 재료로 형성될 수 있다. 광학 요소는 투명 및/또는 부분적 투과성 재료로 형성될 수 있다. 광학 요소의 재료는 ZEONEX, COP(Cyclo Olefin Polymer), COC(Cyclic Olefin Copolymer), 폴리 카보네이트, PMMA(Poly(methyl methacrylate)) 및/또는 기타 재료 중 하나 이상을 포함할 수 있다.
일부 구현예에서, 광학 요소는 도파관, 광학 커플링 특징부 및/또는 다른 컴포넌트 중 하나 이상을 포함할 수 있다. 도파관은 층형 도파관(layered waveguide), 평면 부분 미러 어레이 도파관(planar partial mirror array waveguide), 회절 도파관, 브래그 격자를 포함하는 회절 도파관, 자유형 표면 프리즘 및/또는 기타 도파관 중 하나 이상을 포함할 수 있다. 일부 구현예에서, 도파관은 광선을 도파관에 커플링되도록 구성된 광 커플링 특징부를 포함할 수 있고 그리고/또는 그와 커플링될 수 있다. 도파관에 커플링된 광선은 도파관을 통해 전파될 수 있고 도파관으로부터 사용자의 한쪽 또는 양쪽 눈을 향해 지향될 수 있다.
일부 구현예에서, 하나 이상의 이미지 형성 컴포넌트(120)의 하나 이상의 광학 요소는 하나 이상의 광원에 의해 생성된 광선이 하나 이상의 광학 요소에 지향되고, 하나 이상의 광학 요소로 커플링되고 그리고/또는 하나 이상의 광학 요소로부터 사용자의 눈으로 지향될 수 있도록 호스트 장치(102) 상에 배열될 수 있다. 가상 콘텐츠의 이미지는 이미지가 현실 세계에 대한 사용자의 뷰 위로 중첩될 수 있도록 눈의 망막 상에 투영될 수 있다.
이제 도 4를 참조하면, 일부 구현예에서, 헤드셋(예를 들어, 도 1에서의 호스트 장치(102))은 HMD(400)를 포함할 수 있다. 시스템(100)(도 1)의 하나 이상의 컴포넌트는 HMD(400)의 일부에 의해 보유될 수 있고, 이에 포함될 수 있고 그리고/또는 그렇지 않으면 이를 포함할 수 있다. 비한정적인 예시로서, 이미지 형성 컴포넌트의 광학 요소는 HMD(400)의 바이저(visor) 부분(402)의 적어도 일부를 포함할 수 있다. 물리적 프로세서, 이미지 형성 컴포넌트의 광원, 하나 이상의 센서 및/또는 기타 컴포넌트 중 하나 이상과 같은 컴포넌트가 HMD(400)의 하우징 부분(405) 및/또는 다른 부분에 포함될 수 있다.
도 5는 하나 이상의 구현예에 따른 이미지 형성 컴포넌트의 광원(504) 및 광학 요소(506)의 구성을 도시한다. 광학 요소(506)는 헤드셋의 바이저 부분을 포함할 수 있고 그리고/또는 그 일부일 수 있다. 광원(504)은 광선(508)을 포함하는 광선을 방출하도록 구성될 수 있다. 광선은 이미지(512)를 포함하는 이미지를 형성할 수 있다. 광선은 광학 요소(506)에 의해 수신되어 사용자의 눈(510)에 제공될 수 있다. 눈(510)에 의해 수신된 광선은 사용자의 시야 또는 그 일부에서의 3차원 공간 내에 놓이는 것으로 인식되는 가상 콘텐츠(514)(예를 들어, 가상 객체)를 형성할 수 있다.
도 1로 돌아가면, 호스트 장치(102)의 하나 이상의 센서(122)는 심도(depth) 센서, 이미지 센서, 위치 센서, 방향 센서 및/또는 기타 센서 중 하나 이상을 포함할 수 있다.
심도 센서는 심도 정보 및/또는 기타 정보를 전달하는 출력 신호를 생성하도록 구성될 수 있다. 심도 정보는 심도 센서로부터의 현실 세계 표면 및/또는 객체의 거리 및/또는 범위 및/또는 기타 정보를 포함할 수 있다. 일부 구현예에서 심도 정보는 포인트 클라우드(point cloud)의 형태로 제공될 수 있다. 포인트 클라우드는 포인트 세트를 포함할 수 있다. 개별 포인트는 현실 세계 내의 개별 표면을 나타낼 수 있다. 심도 정보는 개별 포인트에 대해 심도 센서로부터의 포인트의 개별 거리, 심도 센서에 대한 포인트의 개별 방향 및/또는 기타 정보 중 하나 이상을 특정할 수 있다. 일부 구현예에서, 객체의 형상, 표면 및/또는 객체의 방향 및/또는 기타 정보가 심도 정보로부터 결정될 수 있다. 일부 구현예에서, 심도 센서는 전파 시간(time-of-flight) 센서, 구조형 광 센서(structured light sensor), 비구조형 광 센서(unstructured light sensor), 능동 스테레오 쌍, 수동 스테레오 쌍 및/또는 기타 심도 감지 장치 중 하나 이상을 포함할 수 있다.
이미지 센서는 뷰 정보 및/또는 기타 정보를 전달하는 출력 신호를 생성하도록 구성될 수 있다. 뷰 정보는 이미지 센서의 시야 내에서 시각적 콘텐츠를 특정할 수 있다. 시각적 콘텐츠는 현실 세계에 존재하는 현실 세계 객체 및/또는 표면을 포함할 수 있다. 뷰 정보는 이미지의 픽셀 형태로 시각적 콘텐츠를 특정할 수 있다. 픽셀은 위치(예를 들어, 2차원 좌표), 색상, 투명도 및/또는 기타 정보 중 하나 이상에 의해 정의될 수 있다. 일부 구현예에서, 이미지 센서는 광 센서 어레이(예를 들어, 포토 사이트(photosite)의 어레이), 전하 결합 장치 센서, 능동 픽셀 센서, 상보적 금속 산화물 반도체 센서, N형 금속 산화물 반도체 센서 및/또는 기타 이미지 센서 중 하나 이상을 포함할 수 있다.
위치 센서는 위치 센서의 지리적 위치를 전달하는 출력 신호를 생성하도록 구성될 수 있다. 위치 센서는 GPS(Global Positioning System) 및/또는 기타 위치 센서를 포함할 수 있다.
방향 센서는 방향 정보 및/또는 기타 정보를 전달하는 출력 신호를 생성하도록 구성될 수 있다. 방향 정보는 배향 및/또는 방향을 포함할 수 있다. 일부 구현예에서, 방향 정보는 하나 이상의 자유도와 관련하여 특정될 수 있다. 비한정적인 예시로서, 방향 정보는 시간에 따른 호스트 장치(102)의 피치(pitch) 각도, 롤(roll) 각도 및/또는 요(yaw) 각도 중 하나 이상을 특정할 수 있다. 방향 센서는 관성 측정 유닛(IMU) 및/또는 기타 센서를 포함할 수 있다. 일부 구현예에서, 방향은 뷰 정보를 전달하는 출력 신호를 활용하는 이미지 처리 기술 및/또는 다른 기술을 통해 결정될 수 있다.
도 1에서, 호스트 장치(102)의 하나 이상의 프로세서(들)(104), 하나 이상의 이미지 형성 컴포넌트(120), 하나 이상의 센서(122) 및/또는 다른 컴포넌트는 하나 이상의 전자 통신 링크를 통해 작동 가능하게 연결될 수 있다. 예를 들어, 이러한 전자 통신 링크는, 적어도 부분적으로, 네트워크(들)(118)를 통해 구축될 수 있다. 네트워크(들)(118)는 유선 및/또는 무선 통신 중 하나 또는 모두를 포함할 수 있다. 이것은 한정하는 것으로 의도되지 않으며 본 개시 내용의 범위는 하나 이상의 프로세서(들)(104), 하나 이상의 이미지 형성 컴포넌트(120), 하나 이상의 센서(122) 및/또는 기타 컴포넌트가 일부 다른 통신 매체를 통해 작동 가능하게 연결될 수 있다는 것이 이해되어야 한다.
도 1에서, 모바일 컴퓨팅 플랫폼(126)은 휴대용 장치일 수 있다. 모바일 컴퓨팅 플랫폼(126)은 모바일 전화기(예를 들어, 스마트 폰), 태블릿 컴퓨팅 플랫폼 및/또는 기타 장치 중 하나 이상을 포함할 수 있다. 모바일 컴퓨팅 플랫폼(126)은 하나 이상의 물리적 프로세서(128), 디스플레이(140), 하나 이상의 센서(142), 촉각 액추에이터(144) 및/또는 기타 컴포넌트 중 하나 이상을 포함할 수 있다.
디스플레이(140)는 시각적 콘텐츠를 제공하도록 구성될 수 있다. 시각적 콘텐츠는 이미지, 비디오, 텍스트, 그래픽 사용자 인터페이스 및/또는 콘텐츠의 형태일 수 있다. 디스플레이(140)는 디스플레이 스크린, 터치 스크린 디스플레이, 프로젝터 디스플레이 및/또는 콘텐츠를 제공하도록 구성된 기타 장치 중 하나 이상을 포함할 수 있다. 디스플레이(140) 상에 제공된 사용자 인터페이스는 인터랙티브 공간의 가상 콘텐츠와의 상호 작용을 가능하게 하도록 구성될 수 있다(예를 들어, 입력 컴포넌트(134) 및/또는 도 8 내지 10 참조).
일부 구현예에서, 모바일 컴퓨팅 플랫폼(126)의 하나 이상의 센서(142)의 개별 센서는 호스트 장치(102)의 하나 이상의 센서(122)의 개별 센서와 동일하거나 유사할 수 있다. 비한정적인 예시로서, 하나 이상의 센서(142)는 심도 센서, 이미지 센서, 위치 센서, 방향 센서 및/또는 기타 센서 중 하나 이상을 포함할 수 있다.
도 1에서, 호스트 장치(102)의 하나 이상의 물리적 프로세서(104)는 기계 판독 가능한 명령어(106)에 의해 구성될 수 있다. 기계 판독 가능한 명령어(106)를 실행하는 것은 하나 이상의 물리적 프로세서(104)가 인터랙티브 공간을 위한 물리적 인터페이스로서 모바일 컴퓨팅 플랫폼을 제공하는 것을 가능하게 할 수 있다. 기계 판독 가능한 명령어(106)는 콘텐츠 컴포넌트(108), 제어 컴포넌트(110), 상대 위치 컴포넌트(112)(도 1에서 "상대 위치 컴포넌트 112"로 도시됨), 통신 컴포넌트(114)(도 1에서 "통신 컴포넌트 114"로 도시됨) 및/또는 기타 컴포넌트 중 하나 이상을 포함할 수 있다.
콘텐츠 컴포넌트(108)는 가상 콘텐츠를 정의하는 정보를 획득하도록 구성될 수 있다. 가상 콘텐츠를 정의하는 정보는 가상 콘텐츠의 시각적 외양, 가상 콘텐츠의 하나 이상의 상호 작용 능력, 가상 콘텐츠의 이동 및/또는 기타 정보 중 하나 이상을 정의하는 정보를 포함할 수 있다. 가상 콘텐츠의 시각적 외양은 가상 콘텐츠의 2차원 표현, 가상 콘텐츠의 3차원 표현, 가상 콘텐츠의 색상 및/또는 기타 정보 중 하나 이상을 포함할 수 있다. 상호 작용 능력은 인터랙티브 공간 내에서 가상 콘텐츠를 조작하는 사용자의 능력과 관련된 속성을 나타낼 할 수 있다. 조작은 모바일 컴퓨팅 플랫폼(126)을 통한 입력에 의해 제공될 수 있다. 가상 콘텐츠의 이동은 인터랙티브 공간에서의 가상 콘텐츠의 이동을 나타낼 수 있다.
제어 컴포넌트(110)는 하나 이상의 이미지 형성 컴포넌트(120)의 개별 컴포넌트를 제어하도록 구성될 수 있다. 이미지 형성 컴포넌트(120)를 제어하는 것은 하나 이상의 광원, 하나 이상의 광학 요소 및/또는 기타 컴포넌트 중 하나 이상을 제어하는 것을 포함할 수 있다.
하나 이상의 광원은 호스트 장치(102)의 사용자에게 제공될 가상 콘텐츠 및/또는 기타 정보에 따라 광선을 생성하도록 제어될 수 있다. 광원은 사용자의 눈으로 지향될 때 현실 세계에 대한 사용자의 뷰 내에서 3차원 공간 내의 가상 콘텐츠로서 인식될 수 있는 디지털 이미지를 형성하기 위해 광선을 생성할 수 있다. 가상 콘텐츠는 보고 있는 사용자가 현실 세계 내의 한 위치에 있는 것으로 인식될 수 있다. 일부 구현예에서, 사용자는 가상 콘텐츠의 하나 이상의 양태에 영향을 미칠 수 있는 모바일 컴퓨팅 플랫폼(126)을 통해 가상 콘텐츠와 상호 작용할 수 있다.
일부 구현예에서, 제어 컴포넌트(110)는 사용자 입력 정보, 원격 명령 정보 및/또는 기타 정보 중 하나 이상에 기초하여 하나 이상의 이미지 형성 컴포넌트(120)의 개별 컴포넌트를 제어하도록 구성될 수 있다(본 명세서에 더욱 상세히 제공됨).
일부 구현예에서, 상대 위치 컴포넌트(112)는 상대 위치 정보 및/또는 기타 정보를 획득하도록 구성될 수 있다. 상대 위치 컴포넌트(112)는 상대 위치 정보를 결정하고 그리고/또는 하나 이상의 소스로부터 정보를 수신함으로써 상대 위치 정보를 획득하도록 구성될 수 있다. 상대 위치 정보는 가상 콘텐츠의 인식된 위치 및/또는 방향에 상대적인 모바일 컴퓨팅 플랫폼(126)의 위치 및/또는 방향을 전달할 수 있다. 상대 위치 정보는 가상 콘텐츠로부터의 모바일 컴퓨팅 플랫폼(126)의 거리, 가상 콘텐츠에 상대적인 모바일 컴퓨팅 플랫폼(126)의 방향 및/또는 기타 정보 중 하나 이상을 포함할 수 있다.
일부 구현예에서, 상대 위치 정보를 결정하는 것은 모바일 컴퓨팅 플랫폼(126)의 기준 축(principle axis)을 결정하는 것, 기준 축에 대한 모바일 컴퓨팅 플랫폼(126)의 기준 방향(principle direction)을 결정하는 것 그리고/또는 기타 동작 중 하나 이상을 포함할 수 있다. 일부 구현예에서, 모바일 컴퓨팅 플랫폼(126)의 기준 축 및/또는 기준 방향은 모바일 컴퓨팅 플랫폼(126)의 포인팅 방향을 지시할 수 있다. 예를 들어, 모바일 컴퓨팅 플랫폼(126)은 가상 객체를 선택하기 위하여 커서를 제어하기 위한 포인터 역할을 할 수 있다. 일부 구현예에서, 가상 커서는 기준 방향을 따라 기준 축으로부터 연장되는 것으로 인식될 수 있다. 가상 커서는 (기준 방향을 따르는) 기준 축과 가상 객체의 인식된 교차점에 위치되는 것으로 인식될 수 있다.
일부 구현예에서, 기준 축은 모바일 컴퓨팅 플랫폼(126)의 길이 방향 중심선을 포함할 수 있다. 일부 구현예에서, 기준 방향은 일반적으로 모바일 컴퓨팅 플랫폼(126)의 "상부"를 향하여 지향되는 것으로 이해될 수 있는 방향을 포함할 수 있다. 예를 들어, 모바일 컴퓨팅 플랫폼(126)은 스마트 폰 및/또는 기타 장치를 포함할 수 있다. 스마트 폰 및/또는 기타 장치는 사용 시 통상적인 방향을 가질 수 있으며, 예를 들어 이의 상단이 하단과 구별될 수 있다. 기준 방향은 하부로부터 상부로 연장될 수 있다.
비한정적인 예시로서, 도 6은 인터랙티브 공간의 뷰를 도시한다. 인터랙티브 공간은 가상 객체 세트, 가상 커서(600) 및/또는 인터랙티브 공간을 위한 물리적 인터페이스를 제공하는 모바일 컴퓨팅 플랫폼(126)을 포함할 수 있다. 가상 객체 세트는 제1 가상 객체(602), 제2 가상 객체(604), 제3 가상 객체(606) 및/또는 기타 가상 객체 중 하나 이상을 포함할 수 있다. 모바일 컴퓨팅 플랫폼(126)은 디스플레이 표면(126a) 및 기준 축(608)을 포함할 수 있다. 기준 축(608)을 나타내는 점선은 가상의 선일 수 있고 그리고/또는 인터랙티브 공간 내에서 가상 객체로 도시될 수 있다. 기준 축(608)은 모바일 컴퓨팅 플랫폼(126)의 길이 방향 중심선을 포함할 수 있다. 커서(600)는 모바일 컴퓨팅 플랫폼(126)의 확장부 역할을 할 수 있고, 기준 축(608)과 제1 가상 객체(602)의 교차점에 존재하는 것으로 인식될 수 있다.
도 7은 모바일 컴퓨팅 플랫폼(126)과의 사용자 상호 작용이 어떻게 제2 가상 객체(604)와 같은 다른 가상 객체의 선택을 가능하게 할 수 있는지를 도시한다. 예를 들어, 포인팅 장치 역할을 하는 모바일 컴퓨팅 플랫폼(126)은 그 가상 객체의 선택을 전달하기 위하여 사용자가 원하는 가상 객체를 가리킬 수 있도록 할 수 있다. 모바일 컴퓨팅 플랫폼(126)과의 사용자 상호 작용은 모바일 컴퓨팅 플랫폼(126)을 이동시키는 것, 모바일 컴퓨팅 플랫폼(126)을 회전시키는 것 및/또는 기타 상호 작용 중 하나 이상을 포함할 수 있다.
도 1로 돌아가면, 일부 구현예에서, 호스트 장치(102)의 상대 위치 컴포넌트(112)는 상대 위치 정보 및/또는 기타 정보를 결정하도록 구성될 수 있다. 상대 위치 정보는 하나 이상의 센서(122 및/또는 142) 및/또는 기타 정보 소스로부터의 출력 신호에 기초하여 결정될 수 있다.
일부 구현예에서, 상대 위치 정보는 호스트 장치(102)의 심도 센서로부터의 출력 신호에 의해 전달되는 심도 정보 및/또는 기타 정보에 기초하여 상대 위치 컴포넌트(112)에 의해 결정될 수 있다. 심도 정보는 포인트 클라우드 및/또는 기타 정보를 포함할 수 있다. 모바일 컴퓨팅 플랫폼(126)의 존재는 포인트 클라우드 내의 모바일 컴퓨팅 플랫폼(126)의 크기 및/또는 형상의 인식에 기초하여 포인트 클라우드로부터 결정될 수 있다. 모바일 컴퓨팅 플랫폼(126)의 위치 및/또는 방향은 포인트 클라우드로부터 결정될 수 있다. 비한정적인 예시로서, 하나 이상의 검출 및/또는 인식 기술이 포인트 클라우드 내의 모바일 컴퓨팅 플랫폼(126)의 형상 및/또는 형태를 인식 및/또는 검출하기 위해 활용될 수 있다.
일부 구현예에서, 모바일 컴퓨팅 플랫폼(126)의 위치 및/또는 방향은 호스트 장치(102), 심도 센서 및/또는 다른 기준점 중 하나 이상에 상대적으로 결정될 수 있다. 현실 세계에 존재하는 것으로 인식되는 가상 콘텐츠에 상대적인 모바일 컴퓨팅 플랫폼(126)의 위치 및/또는 방향은 가상 콘텐츠의 인식된 위치 및/또는 방향 및 모바일 컴퓨팅의 결정된 위치 및/또는 방향에 기초하여 결정될 수 있다. 예를 들어, 모바일 컴퓨팅 플랫폼(126)의 위치 및/또는 방향 및 가상 콘텐츠의 인식된 위치 및/또는 방향은 동일한 기준점(예를 들어, 하나 이상의 호스트 장치(102), 하나 이상의 센서(122) 및/또는 기타 기준)에 대하여 결정될 수 있다. 따라서, 가상 콘텐츠의 인식된 위치 및/또는 방향에 상대적인 모바일 컴퓨팅 플랫폼(126)의 위치 및/또는 방향은 종래의 기하학적 고려 사항 및/또는 기타 기술을 사용하여 결정 및/또는 계산될 수 있다.
일부 구현예에서, 상대 위치 정보는 호스트 장치(102)의 이미지 센서 및/또는 인터랙티브 공간 내의 벽 또는 다른 고정된 위치에서의 이미지 센서(즉, 모바일 컴퓨팅 플랫폼(126)의 위치 및/또는 움직임을 추적할 수 있는 "아웃사이드-인(outside-in)" 외부 장치)의 출력 신호에 의해 전달되는 뷰 정보에 기초하여 상대 위치 컴포넌트(112)에 의해 결정될 수 있다. 뷰 정보는 이미지 및/또는 비디오를 정의할 수 있다. 모바일 컴퓨팅 플랫폼(126)의 존재는 컴퓨터 비전에서의 기술과 같은 하나 이상의 이미지 처리 기술을 사용하여 뷰 정보로부터 결정될 수 있다. 하나 이상의 기준에 상대적인 모바일 컴퓨팅 플랫폼(126)의 위치 및/또는 방향은 하나 이상의 이미지 처리 기술을 사용하여 이미지 및/또는 비디오 내에서 결정 및/또는 추적될 수 있다. 하나 이상의 이미지 처리 기술은 객체 검출, 번들 조정 및/또는 기타 컴퓨터 비전 기술을 포함할 수 있다. 현실 세계에 존재하는 것으로 인식되는 가상 콘텐츠에 상대적인 모바일 컴퓨팅 플랫폼(126)의 위치 및/또는 방향은 가상 콘텐츠의 인식된 위치 및/또는 방향 및 모바일 컴퓨팅 플랫폼(126)의 결정된 위치 및/또는 방향에 기초하여 결정될 수 있다.
일부 구현예에서, 상대 위치 정보는 모바일 컴퓨팅 플랫폼(126)으로부터 수신된 정보 및/또는 기타 정보에 기초하여 상대 위치 컴포넌트(112)에 의해 결정될 수 있다. 모바일 컴퓨팅 플랫폼(126)으로부터 수신된 정보는 방향 정보를 전달하는 모바일 컴퓨팅 플랫폼(126)의 방향 센서로부터의 출력 신호, 위치 정보를 전달하는 모바일 컴퓨팅 플랫폼(126)의 위치 센서로부터의 출력 신호 및/또는 기타 정보 중 하나 이상을 포함할 수 있다. 이 위치 센서는 모바일 컴퓨팅 플랫폼(126)의 하나 이상의 카메라 또는 이미지 센서 및/또는 모바일 컴퓨팅 플랫폼(126)의 하나 이상의 관성 측정 유닛(IMU) 및/또는 기타 위치 및/또는 이동 기반 센서 중 하나 이상(즉, 모바일 컴퓨팅 플랫폼(126)의 위치 및/또는 이동을 추적할 수 있는 "인사이드-아웃(inside-out)" 내부 장치)을 포함할 수 있다. 상대 위치 컴포넌트(112)는 가상 콘텐츠의 인식된 방향에 상대적인 모바일 컴퓨팅 플랫폼(126)의 방향, 가상 콘텐츠의 인식된 위치에 상대적인 모바일 컴퓨팅 플랫폼(126)의 위치 및/또는 기타 정보 중 하나 이상을 결정하기 위하여 모바일 컴퓨팅 플랫폼(126)의 전달된 방향 및/또는 모바일 컴퓨팅 플랫폼(126)의 전달된 위치를 활용할 수 있다.
통신 컴포넌트(114)는 호스트 장치(102)와 모바일 컴퓨팅 플랫폼(126) 사이의 연결을 구축하도록 구성될 수 있다. 연결은 네트워크(124) 및/또는 기타 통신 네트워크를 통해 구축될 수 있다. 연결은 유선 및/또는 무선 연결을 포함할 수 있다.
통신 컴포넌트(114)는 모바일 컴퓨팅 플랫폼(126)으로의 정보의 통신을 실시하고 그리고/또는 모바일 컴퓨팅 플랫폼(126)로부터 정보를 수신하도록 구성될 수 있다.
제어 컴포넌트(110)는 사용자 입력 정보 및/또는 기타 정보를 획득하도록 구성될 수 있다. 사용자 입력 정보는 모바일 컴퓨팅 플랫폼의 하나 이상의 입력 요소의 사용자 입력(entry) 및/또는 선택(selection)을 전달할 수 있다. 하나 이상의 입력 요소의 사용자 입력 및/또는 선택은 인터랙티브 공간에서 가상 콘텐츠와의 상호 작용을 가능하게 할 수 있는 모바일 컴퓨팅 플랫폼(126)과의 사용자 상호 작용의 일부를 포함할 수 있다. 사용자 입력 정보는 모바일 컴퓨팅 플랫폼(126)으로부터 수신 및/또는 검색될 수 있다. 사용자 입력 정보는 모바일 컴퓨팅 플랫폼(126)의 입력 컴포넌트(134)에 의해 결정될 수 있다. 일부 구현예에서, 사용자 입력 정보는 선택된 가상 콘텐츠에 적용될 수 있는 상호 작용 및/또는 동작을 포함할 수 있다. 비한정적인 예시로서, 개별 입력 요소는 인터랙티브 공간 내의 개별 상호 작용 및/또는 동작에 대응할 수 있다. 상호 작용은 이동, 크기 조정, 회전, 가상 객체의 텍스처/색상 변경 및/또는 기타 유형의 상호 작용 중 하나 이상을 포함할 수 있다. 동작은 현실 세계 환경의 맵 재설정, 표면 스캐닝 및/또는 기타 동작 중 하나 이상을 포함할 수 있다. 맵은 호스트 장치(102)의 위치를 동시에 추적하면서 환경의 맵을 구성 및/또는 업데이트하는 SLAM(simultaneous localization and mapping) 계산에 의해 제공될 수 있다. 표면 스캐닝은 표면의 지형(topography) 및 표면에 관한 기타 정보를 이해하기 위해 표면을 스캐닝하는 것을 의미할 수 있다. 다른 상호 작용 및/또는 동작이 수행될 수 있다.
제어 컴포넌트(110)는 원격 명령 정보 및/또는 기타 정보를 결정하도록 구성될 수 있다. 원격 명령 정보는 모바일 컴퓨팅 플랫폼(126)과의 사용자 상호 작용에 기초하여 인터랙티브 공간에서 가상 콘텐츠와의 사용자 상호 작용을 실시하도록 구성될 수 있다. 일부 구현예에서, 원격 명령 정보는 가상 콘텐츠의 선택(예를 들어, 모바일 컴퓨팅 플랫폼(126)을 포인팅하는 것에 의해), 선택된 가상 콘텐츠에 적용되는 상호 작용 및/또는 동작(예를 들어, 모바일 컴퓨팅 플랫폼(126)의 입력 요소의 사용자 입력 및/또는 선택을 통해), 선택된 가상 콘텐츠에 적용된 상호 작용 및/또는 동작을 반영하기 위하여 하나 이상의 이미지 형성 컴포넌트(120)를 제어하기 위한 하나 이상의 이미지 형성 컴포넌트(120)로의 명령어 및/또는 기타 정보 중 하나 이상을 전달하는 정보를 포함할 수 있다. 원격 명령 정보는 상대 위치 정보, 사용자 입력 정보 및/또는 기타 정보 중 하나 이상에 기초하여 결정될 수 있다. 예를 들어, "아웃사이드-인" 외부 센서 장치와 "인사이드-아웃" 내부 센서 장치의 임의의 조합이 상대 위치 정보 및/또는 원격 명령 정보를 각각 결정하기 위하여 상대 위치 컴포넌트(112) 및 제어 컴포넌트(110) 중 하나 이상에 의해 사용될 수 있다는 것이 당해 업계에서의 통상의 기술자에게 쉽게 명백할 것이다.
일부 구현예에서, 원격 명령 정보를 결정하는 것은, 상대 위치 정보 및/또는 기타 정보에 기초하여, 개별 가상 객체 및/또는 가상 객체 그룹과 같은 가상 콘텐츠의 인식된 선택을 결정하는 것을 포함할 수 있다. 일부 구현예에서, 가상 콘텐츠를 선택하는 것은 모바일 컴퓨팅 플랫폼(126)의 기준 축, 기준 축에 대한 모바일 컴퓨팅 플랫폼(126)의 기준 방향, 기준 방향을 따라 기준 축과 교차하는 것으로 인식되는 가상 콘텐츠 및/또는 기타 정보 중 하나 이상에 기초하여 결정될 수 있다. 일부 구현예에서, 기준 방향을 따라 기준 축과 교차하는 것으로 인식되는 가상 콘텐츠는 그 가상 콘텐츠의 선택을 전달할 수 있다.
일부 구현예에서, 가상 콘텐츠의 선택은 가상 커서에 의해 가능하게 될 수 있다. 가상 커서는 모바일 컴퓨팅 플랫폼(126)이 기준 축의 기준 방향에 대해 어디를 가리키고 있을 수 있는지에 대한 시각적 표시를 제공할 수 있다. 제어 컴포넌트(110)는 가상 커서의 이미지를 형성하는 광선을 생성하기 위해 하나 이상의 이미지 형성 컴포넌트(120)를 제어하도록 구성될 수 있다. 가상 커서의 이미지는 가상 커서가 기준 방향을 따르는 기준 축과 가상 콘텐츠의 인식된 교차점에 위치되는 것으로 인식될 수 있도록 구성될 수 있다. 가상 커서의 이미지는 가상 커서가 모바일 컴퓨팅 플랫폼(126)의 움직임을 추적할 수 있도록 구성될 수 있다.
일부 구현예에서, 원격 명령 정보를 결정하는 것은, 모바일 컴퓨팅 플랫폼(126)의 하나 이상의 입력 요소의 사용자 입력 및/또는 선택에 기초하여, 인터랙티브 공간에서 선택된 가상 객체와의 상호 작용 및/또는 인터랙티브 공간에서 수행할 동작을 결정하는 것을 포함할 수 있다.
제어 컴포넌트(110)는 원격 명령 정보 및/또는 기타 정보에 기초하여 하나 이상의 이미지 형성 컴포넌트(120)를 제어하도록 구성될 수 있다. 하나 이상의 이미지 형성 컴포넌트(120)는 가상 콘텐츠의 이미지가 가상 콘텐츠와의 사용자 상호 작용을 반영하게 하도록 제어될 수 있다.
도 1에서, 모바일 컴퓨팅 플랫폼(126)의 하나 이상의 물리적 프로세서(128)는 기계 판독 가능한 명령어(130)에 의해 구성될 수 있다. 기계 판독 가능한 명령어(130)를 실행하는 것은 하나 이상의 물리적 프로세서(128)가 모바일 컴퓨팅 플랫폼(126)을 인터랙티브 공간을 위한 물리적 인터페이스로서 제공하는 것을 가능하게 할 수 있다. 기계 판독 가능한 명령어(130)는 통신 컴포넌트(132)(도 1에서 "통신 컴포넌트 132"로 도시)), 입력 컴포넌트(134) 및/또는 기타 컴포넌트 중 하나 이상을 포함할 수 있다.
통신 컴포넌트(132)는 호스트 장치(102)와 모바일 컴퓨팅 플랫폼(126) 사이의 연결을 구축하도록 구성될 수 있다. 연결은 네트워크(124) 및/또는 기타 통신 네트워크를 통해 구축될 수 있다. 연결은 유선 및/또는 무선 연결을 포함할 수 있다.
통신 컴포넌트(132)는 호스트 장치(102)로의 정보의 통신을 실시하고 그리고/또는 호스트 장치(102)로부터 정보를 수신하도록 구성될 수 있다.
입력 컴포넌트(134)는 하나 이상의 센서(142)의 개별 센서로부터 출력 신호를 획득하도록 구성될 수 있다. 비한정적인 예시로서, 입력 컴포넌트(134)는 하나 이상의 센서(142)로부터의 위치 정보, 방향 정보 및/또는 기타 정보를 전달하는 출력 신호를 획득하도록 구성될 수 있다. 위치 정보는 모바일 컴퓨팅 플랫폼(126)의 위치를 전달할 수 있다. 방향 정보는 모바일 컴퓨팅 플랫폼(126)의 방향을 전달할 수 있다.
입력 컴포넌트(134)는 사용자 입력 정보를 획득하도록 구성될 수 있다. 사용자 입력 정보는 모바일 컴퓨팅 플랫폼(126)의 하나 이상의 입력 요소의 사용자 입력 및/또는 선택에 기초하여 사용자 입력 정보를 결정함으로써 획득될 수 있다. 사용자 입력 정보는 모바일 컴퓨팅 플랫폼(126)의 하나 이상의 입력 요소의 사용자 입력 및/또는 선택을 전달할 수 있다. 하나 이상의 입력 요소의 사용자 입력 및/또는 선택은 가상 콘텐츠와의 상호 작용을 결정하는데 사용되는 모바일 컴퓨팅 플랫폼(126)과의 사용자 상호 작용의 일부를 포함할 수 있다.
일부 구현예에서, 입력 컴포넌트(134)는 모바일 컴퓨팅 플랫폼(126)의 디스플레이(140) 상에 하나 이상의 그래픽 사용자 인터페이스의 제공을 실시하도록 구성될 수 있다. 사용자 인터페이스는 사용자 입력 및/또는 선택을 위해 구성된 하나 이상의 입력 요소를 포함할 수 있다. 개별 입력 요소는 인터랙티브 공간 내의 가상 객체 및/또는 동작과의 하나 이상의 상호 작용에 대응할 수 있다. 비한정적인 예시로서, 제1 입력 요소는 색상 변경을 수행하는 것에 대응할 수 있고, 제2 입력 요소는 크기 조정(scaling) 동작을 수행하는 것에 대응할 수 있고, 제3 입력 요소는 텍스트 입력(예를 들어, 키보드)을 제공하는 것에 대응할 수 있고 그리고/또는 다른 입력 요소들은 다른 상호 작용들에 대응할 수 있다. 개별 입력 요소는 가상 버튼, 슬라이더 바, 체크 박스, 드롭 다운 메뉴, 키보드, 텍스트 입력 바 및/또는 기타 요소 중 하나 이상을 포함할 수 있다. 가상 객체가 선택되면(예를 들어, 모바일 컴퓨팅 플랫폼(126)을 포인팅함으로써), 하나 이상의 입력 요소가 선택된 가상 객체와의 하나 이상의 상호 작용을 실시하도록 선택될 수 있다.
도 8 내지 10은 인터랙티브 공간과의 물리적 인터페이스로서 구성된 모바일 컴퓨팅 플랫폼의 디스플레이 상에 제공된 사용자 인터페이스의 예들을 도시한다. 개별 사용자 인터페이스는 하나 이상의 입력 요소를 포함할 수 있다.
도 8에서, 사용자 인터페이스(800)가 도시된다. 사용자 인터페이스(800)는 사용자 인터페이스 요소의 그리드를 포함할 수 있다. 사용자 인터페이스 요소의 그리드는 제1 사용자 인터페이스 요소(802), 제2 사용자 인터페이스 요소(804), 제3 사용자 인터페이스 요소(806), 제4 사용자 인터페이스 요소(808) 및/또는 기타 사용자 인터페이스 요소 중 하나 이상을 포함할 수 있다. 개별 사용자 인터페이스 요소는 정사각형 가상 버튼으로 형성될 수 있고 그리고/또는 다른 형상을 가질 수 있다.
도 9에서, 사용자 인터페이스(900)가 도시된다. 사용자 인터페이스(900)는 제1 사용자 인터페이스 요소(902), 제2 사용자 인터페이스 요소(904), 제3 사용자 인터페이스 요소(906) 및/또는 다른 사용자 인터페이스 요소 중 하나 이상일 수 있다. 제1 사용자 인터페이스 요소(902) 및/또는 제2 사용자 인터페이스 요소(904)는 원형 가상 버튼으로 형성될 수 있고 그리고/또는 다른 형상을 가질 수 있다. 제3 사용자 인터페이스 요소(906)는 슬라이더 사용자 인터페이스 요소일 수 있다. 제3 사용자 인터페이스 요소(906)는 슬라이더 바(908)를 따라 슬라이딩될 수 있는 가상 버튼을 포함할 수 있다. 제3 사용자 인터페이스 요소(906)와의 상호 작용은 가상 객체의 양태의 증가 및/또는 감소를 제공할 수 있다. 비한정적인 예시로서, 슬라이더 메커니즘은 가상 객체의 크기(또는 스케일), 밝기, 색조 및/또는 기타 양태의 증가 및/또는 감소를 가능하게 할 수 있다.
도 10에서, 사용자 인터페이스(1000)가 도시된다. 사용자 인터페이스(1000)는 제1 사용자 인터페이스 요소(1002), 제2 사용자 인터페이스 요소(1004) 및/또는 기타 사용자 인터페이스 요소 중 하나 이상을 포함할 수 있다. 제1 사용자 인터페이스 요소(1002)는 텍스트 보기 윈도우를 포함할 수 있다. 제2 사용자 인터페이스 요소(1004)는 키보드를 포함할 수 있다. 제2 사용자 인터페이스 요소(1004) 로의 입력은 선택된 가상 객체 상에 그리고/또는 제1 사용자 인터페이스 요소(1002) 내에 참조로서 반영될 수 있다.
도 1로 돌아가면, 호스트 장치(102), 하나 이상의 다른 호스트 장치(123), 모바일 컴퓨팅 플랫폼(126), 하나 이상의 다른 모바일 컴퓨팅 플랫폼(121), 외부 리소스(들)(125) 및/또는 기타 컴포넌트는 하나 이상의 전자 통신 링크를 통해 작동 가능하게 연결될 수 있다. 예를 들어, 이러한 전자 통신 링크는, 적어도 부분적으로, 네트워크(124)를 통해 구축될 수 있다. 네트워크(들)(124)는 유선 및/또는 무선 통신(예를 들어, 블루투스, Wi-Fi 등) 중 하나 또는 모두를 포함할 수 있다. 이것은 한정하는 것으로 의도되지 않으며 본 개시 내용의 범위는 호스트 장치(102), 하나 이상의 다른 호스트 장치(123), 모바일 컴퓨팅 플랫폼(126), 하나 이상의 다른 모바일 컴퓨팅 플랫폼(121), 외부 리소스(들)(125) 및/또는 기타 컴포넌트 중 하나 이상이 일부 다른 통신 매체를 통해 작동 가능하게 연결될 수 있는 구현예를 포함한다는 것이 이해될 것이다. 일부 구현예에서, 네트워크(들)(118)는 네트워크(들)(124)와 동일할 수 있거나 네트워크는 분리되고 구별되는 네트워크일 수 있다.
외부 리소스(들)(125)는 정보 소스, 호스트, 시스템(100)에 참여하는 외부 엔티티, 가상 콘텐츠 제공자 및/또는 기타 리소스를 포함할 수 있다. 일부 구현예에서, 본 명세서에서 외부 리소스(들)(125)에 귀속되는 기능의 일부 또는 전부는 시스템(100)에 포함된 리소스에 의해 제공될 수 있다.
프로세서(들)(104)는 전자 스토리지(116) 및/또는 기타 컴포넌트를 포함할 수 있고 그리고/또는 이에 액세스할 수 있다. 프로세서(들)(104)는 네트워크 및/또는 시스템(100)의 다른 컴포넌트와의 정보 교환을 가능하게 하는 통신 라인 또는 포트를 포함할 수 있다. 도 1에서의 프로세서(들)(104)의 예시는 한정하는 것으로 의도되지 않는다. 프로세서(들)(104)는 본 명세서에서 프로세서(들)(104)에 귀속되는 기능을 제공하기 위해 함께 동작하는 복수의 하드웨어, 소프트웨어 및/또는 펌웨어 컴포넌트를 포함할 수 있다. 예를 들어, 프로세서(들)(104)는 프로세서(들)(104)와 함께 동작하는 컴퓨팅 플랫폼의 클라우드에 의해 구현될 수 있다.
전자 스토리지(116)는 정보를 전자적으로 저장하는 비일시적인 전자 저장 매체를 포함할 수 있다. 전자 스토리지(116)는 기계 판독 가능한 명령어(106)를 저장할 수 있다. 전자 스토리지(116)의 전자 저장 매체는 프로세서(들)(104)와 일체로(즉, 실질적으로 제거 불가능하게) 제공되는 시스템 스토리지 및/또는 예를 들어 포트 또는 드라이브를 통해 프로세서(들)(104)에 제거 가능하게 연결 가능한 제거 가능 스토리지 중 하나 또는 모두를 포함할 수 있다. 포트는 USB 포트, FIREWIRE 포트 및/또는 기타 포트를 포함할 수 있다. 드라이브는 디스크 드라이브 및/또는 기타 드라이브를 포함할 수 있다. 전자 스토리지(116)는 광학적으로 판독 가능한 저장 매체(예를 들어, 광학 디스크 등), 자기적으로 판독 가능한 저장 매체(예를 들어, 자기 테이프, 자기 하드 드라이브, 플로피 드라이브 등), 전하 기반 저장 매체(예를 들어, EEPROM, RAM 등), 솔리드 스테이트 저장 매체(예를 들어, 플래시 드라이브 등) 및/또는 기타 전자적으로 판독 가능한 저장 매체 중 하나 이상을 포함할 수 있다. 전자 스토리지(116)는 하나 이상의 가상 스토리지 리소스(예를 들어, 클라우드 스토리지, 가상 사설 네트워크 및/또는 기타 가상 스토리지 리소스)를 포함할 수 있다. 전자 스토리지(116)는 소프트웨어 알고리즘, 프로세서(들)(104)에 의해 결정된 정보, 시스템(100)의 다른 컴포넌트로부터 수신된 정보 및/또는 프로세서(들)(104)가 본 명세서에 설명된 바와 같이 기능할 수 있게 하는 기타 정보를 저장할 수 있다.
프로세서(들)(104)는 호스트 장치(102)를 위한 정보 처리 능력을 제공하도록 구성된다. 따라서, 프로세서(들)(104)는 물리적 프로세서, 디지털 프로세서, 아날로그 프로세서, 정보를 처리하도록 설계된 디지털 회로, 정보를 처리하도록 설계된 아날로그 회로, 상태 기계 및/또는 정보를 전자적으로 처리하기 위한 기타 메커니즘 중 하나 이상을 포함할 수 있다. 프로세서(들)(104)가 도 1에 단일 엔티티로 도시되어 있지만, 이는 단지 예시적인 목적을 위한 것이다. 일부 구현예에서, 프로세서(들)(104)는 하나 이상의 처리 유닛을 포함할 수 있다. 이 처리 유닛들은 물리적으로 동일한 장치 내에 위치될 수 있거나, 프로세서(들)(104)는 협력하여 동작하는 복수의 장치의 처리 기능을 나타낼 수 있다. 프로세서(들)(104)는 컴포넌트(108, 110, 112, 114) 및/또는 기타 컴포넌트를 실행하도록 구성될 수 있다. 프로세서(들)(104)는, 소프트웨어; 하드웨어; 펌웨어; 소프트웨어, 하드웨어 및/또는 펌웨어의 일부 조합; 및/또는 프로세서(들)(104)에 처리 능력을 구성하기 위한 기타 메커니즘에 의해 컴포넌트(108, 110, 112, 114) 및/또는 기타 컴포넌트를 실행하도록 구성될 수 있다.
비록 컴포넌트(108, 110, 112, 114)가 단일 처리 유닛 내에 함께 위치되는 것으로 도 1에 도시되어 있지만, 프로세서(들)(104)가 다수의 처리 유닛을 포함하는 구현예에서, 하나 이상의 컴포넌트가 다른 컴포넌트로부터 원격으로 위치될 수 있다는 것이 이해되어야 한다. 개별 컴포넌트에 의해 제공되는 기능에 대한 설명은 예시적인 목적을 위한 것이며, 주어진 컴포넌트가 설명된 것보다 더 많거나 적은 기능을 제공할 수 있기 때문에, 한정하는 것으로 의도되지 않는다. 예를 들어, 주어진 컴포넌트가 제거될 수 있고, 이의 기능의 일부 또는 전부가 다른 컴포넌트에 의해 제공될 수 있다. 다른 예로서, 프로세서(들)(104)는 컴포넌트(108, 110, 112, 114) 및/또는 다른 컴포넌트의 개별적인 컴포넌트에 귀속되는 기능의 일부 또는 전부를 수행할 수 있는 하나 이상의 추가 컴포넌트를 실행하도록 구성될 수 있다.
모바일 컴퓨팅 플랫폼(126)의 프로세서(들)(128)는 전자 스토리지(138) 및/또는 기타 컴포넌트를 포함할 수 있고 그리고/또는 이에 액세스할 수 있다. 프로세서(들)(128)는 네트워크 및/또는 시스템(100)의 다른 컴포넌트와의 정보 교환을 가능하게 하는 통신 라인 또는 포트를 포함할 수 있다. 도 1에서의 프로세서(들)(128)의 예시는 한정하는 것으로 의도되지 않는다. 프로세서(들)(128)는 본 명세서에서 프로세서(들)(128)에 귀속되는 기능을 제공하기 위해 함께 동작하는 복수의 하드웨어, 소프트웨어 및/또는 펌웨어 컴포넌트를 포함할 수 있다. 예를 들어, 프로세서(들)(128)는 프로세서(들)(128)와 함께 동작하는 컴퓨팅 플랫폼의 클라우드에 의해 구현될 수 있다.
전자 스토리지(138)는 정보를 전자적으로 저장하는 비일시적인 전자 저장 매체를 포함할 수 있다. 비한정적인 예시로서, 전자 스토리지(138)는 기계 판독 가능한 명령어(130)를 저장할 수 있다. 전자 스토리지(138)의 전자 저장 매체는 프로세서(들)(128)와 일체로(즉, 실질적으로 제거 불가능하게) 제공되는 시스템 스토리지 및/또는 예를 들어 포트 또는 드라이브를 통해 프로세서(들)(128)에 제거 가능하게 연결 가능한 제거 가능 스토리지 중 하나 또는 모두를 포함할 수 있다. 포트는 USB 포트, FIREWIRE 포트 및/또는 기타 포트를 포함할 수 있다. 드라이브는 디스크 드라이브 및/또는 기타 드라이브를 포함할 수 있다. 전자 스토리지(138)는 광학적으로 판독 가능한 저장 매체(예를 들어, 광학 디스크 등), 자기적으로 판독 가능한 저장 매체(예를 들어, 자기 테이프, 자기 하드 드라이브, 플로피 드라이브 등), 전하 기반 저장 매체(예를 들어, EEPROM, RAM 등), 솔리드 스테이트 저장 매체(예를 들어, 플래시 드라이브 등) 및/또는 기타 전자적으로 판독 가능한 저장 매체 중 하나 이상을 포함할 수 있다. 전자 스토리지(138)는 하나 이상의 가상 스토리지 리소스(예를 들어, 클라우드 스토리지, 가상 사설 네트워크 및/또는 기타 가상 스토리지 리소스)를 포함할 수 있다. 전자 스토리지(138)는 소프트웨어 알고리즘, 프로세서(들)(128)에 의해 결정된 정보, 시스템(100)의 다른 컴포넌트로부터 수신된 정보 및/또는 프로세서(들)(128)가 본 명세서에 설명된 바와 같이 기능할 수 있게 하는 기타 정보를 저장할 수 있다.
프로세서(들)(128)는 모바일 컴퓨팅 플랫폼(126)에서의 정보 처리 능력을 제공하도록 구성된다. 따라서, 프로세서(들)(128)는 물리적 프로세서, 디지털 프로세서, 아날로그 프로세서, 정보를 처리하도록 설계된 디지털 회로 정보를 처리하도록 설계된 아날로그 회로, 상태 기계 및/또는 정보를 전자적으로 처리하기 위한 기타 메커니즘 중 하나 이상을 포함할 수 있다. 프로세서(들)(128)가 도 1에 단일 엔티티로 도시되어 있지만, 이는 단지 예시적인 목적을 위한 것이다. 일부 구현예에서, 프로세서(들)(128)는 하나 이상의 처리 유닛을 포함할 수 있다. 이 처리 유닛들은 물리적으로 동일한 장치 내에 위치될 수 있거나, 프로세서(들)(128)는 협력하여 동작하는 복수의 장치의 처리 기능을 나타낼 수 있다. 프로세서(들)(128)는 컴포넌트(132, 134) 및/또는 기타 컴포넌트를 실행하도록 구성될 수 있다. 프로세서(들)(128)는, 소프트웨어; 하드웨어; 펌웨어; 소프트웨어, 하드웨어 및/또는 펌웨어의 일부 조합; 및/또는 프로세서(들)(128)에 처리 능력을 구성하기 위한 기타 메커니즘에 의해 컴포넌트(132, 134) 및/또는 기타 컴포넌트를 실행하도록 구성될 수 있다.
비록 컴포넌트(132 및/또는 134)가 단일 처리 유닛 내에 함께 위치되는 것으로 도 1에 도시되어 있지만, 프로세서(들)(128)가 다수의 처리 유닛을 포함하는 구현예에서, 하나 이상의 컴포넌트가 다른 컴포넌트로부터 원격으로 위치될 수 있다는 것이 이해되어야 한다. 개별 컴포넌트에 의해 제공되는 기능에 대한 설명은 예시적인 목적을 위한 것이며, 주어진 컴포넌트가 설명된 것보다 더 많거나 적은 기능을 제공할 수 있기 때문에, 한정하는 것으로 의도되지 않는다. 예를 들어, 주어진 컴포넌트가 제거될 수 있고, 이의 기능의 일부 또는 전부가 다른 컴포넌트에 의해 제공될 수 있다. 다른 예로서, 프로세서(들)(128)는 컴포넌트(132, 134) 및/또는 기타 컴포넌트의 개별적인 컴포넌트에 귀속되는 기능의 일부 또는 전부를 수행할 수 있는 하나 이상의 추가 컴포넌트를 실행하도록 구성될 수 있다.
도 2 및 도 3은 하나 이상의 구현예에 따라 인터랙티브 공간을 위한 물리적 인터페이스로서 모바일 컴퓨팅 플랫폼을 제공하기 위한 방법(200, 300)을 각각 도시한다. 아래에 제시된 방법(200) 및/또는 방법(300)의 개별 동작들의 동작은 예시적인 것으로 의도된다. 일부 구현예에서, 방법(200) 및/또는 방법(300)은 설명되지 않은 하나 이상의 추가 동작을 이용하여 그리고/또는 논의된 동작들 중 하나 이상 없이 달성될 수 있다. 추가적으로, 각각 도 2 및 도 3에 도시되고 아래에서 설명되는 방법(200) 및 방법(300)의 동작들의 순서는 한정하는 것으로 의도되지 않는다.
일부 구현예에서, 방법(200) 및/또는 방법(300)은 도 1에 도시되고 본 명세서에서 설명된 시스템(100)과 같은 시스템에서 그리고/또는 이를 사용하여 구현될 수 있다. 비한정적인 예시로서, 방법(200)은 도 1에서의 호스트 장치(102)의 하나 이상의 물리적 프로세서(104)와 동일하거나 유사한 하나 이상의 물리적 프로세스에 의해 구현될 수 있다. 비한정적인 예시로서, 방법(300)은 도 1에서의 모바일 컴퓨팅 플랫폼(126)의 하나 이상의 물리적 프로세서(128)와 동일하거나 유사한 하나 이상의 물리적 프로세서에 의해 구현될 수 있다. 하나 이상의 물리적 프로세서는 전자 저장 매체에 전자적으로 저장된 명령어에 응답하여 방법(200) 및/또는 방법(300)의 동작들 중 하나 이상을 실행하는 하나 이상의 장치를 각각 포함할 수 있다. 하나 이상의 처리 장치는 방법(200) 및/또는 방법(300)의 동작들 중 하나 이상을 실행하도록 특별히 설계된 하드웨어, 펌웨어 및/또는 소프트웨어를 통해 구성된 하나 이상의 장치를 포함할 수 있다.
도 2에서의 방법(200)을 참조하면, 동작 202에서, 장치와 모바일 컴퓨팅 플랫폼 사이의 무선 연결이 구축될 수 있다. 모바일 컴퓨팅 플랫폼은 장치로부터 분리되고 구별될 수 있다. 장치는 사용자의 머리에 착용되도록 구성될 수 있다. 장치는 하나 이상의 이미지 형성 컴포넌트 및/또는 기타 컴포넌트를 포함할 수 있다. 하나 이상의 이미지 형성 컴포넌트는 가상 콘텐츠의 이미지를 형성하기 위해 광선을 생성하도록 구성될 수 있다. 하나 이상의 이미지 형성 컴포넌트는 사용자에게 이미지를 제공하고 현실 세계의 뷰 위로 이미지를 중첩하여 인터랙티브 공간을 생성하도록 구성될 수 있다. 가상 콘텐츠는 현실 세계에 존재하는 것으로 인식될 수 있다. 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용은 인터랙티브 공간에서 가상 콘텐츠와의 사용자 상호 작용을 가능하게 할 수 있다. 일부 구현예에서, 동작 202는 통신 컴포넌트(114)(도 1에 도시되고 본 명세서에 설명됨)와 동일하거나 유사한 통신 컴포넌트를 실행하는 하나 이상의 물리적 프로세서에 의해 수행될 수 있다.
동작 204에서, 상대 위치 정보가 결정될 수 있다. 상대 위치 정보는 가상 콘텐츠의 인식된 위치 및/또는 방향에 상대적인 모바일 컴퓨팅 플랫폼의 위치 및/또는 방향을 전달할 수 있다. 일부 구현예에서, 동작 204는 상대 위치 컴포넌트(112)(도 1에 도시되고 본 명세서에 설명됨)와 동일하거나 유사한 상대 위치 컴포넌트를 실행하는 하나 이상의 물리적 프로세서에 의해 수행될 수 있다.
동작 206에서, 사용자 입력 정보가 획득될 수 있다. 사용자 입력 정보는 모바일 컴퓨팅 플랫폼의 하나 이상의 입력 요소의 사용자 입력 및/또는 선택을 전달할 수 있다. 하나 이상의 입력 요소의 사용자 입력 및/또는 선택은 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용의 일부를 포함할 수 있다. 일부 구현들에서, 동작 206은 통신 컴포넌트(114)(도 1에 도시되고 본 명세서에 설명됨)와 동일하거나 유사한 통신 컴포넌트를 실행하는 하나 이상의 물리적 프로세서에 의해 수행될 수 있다.
동작 208에서, 원격 명령 정보가 결정될 수 있다. 원격 명령 정보는 상대 위치 정보, 사용자 입력 정보 및/또는 기타 정보 중 하나 이상에 기초하여 결정될 수 있다. 원격 명령 정보는 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용에 기초하여 인터랙티브 공간에서 가상 콘텐츠와의 사용자 상호 작용을 실시하도록 구성될 수 있다. 일부 구현예에서, 동작 208은 제어 컴포넌트(110)(도 1에 도시되고 본 명세서에 설명됨)와 동일하거나 유사한 제어 컴포넌트를 실행하는 하나 이상의 물리적 프로세서에 의해 수행될 수 있다.
동작 210에서, 하나 이상의 이미지 형성 컴포넌트가 원격 명령 정보 및/또는 기타 정보에 기초하여 제어될 수 있다. 비한정적인 예시로서, 하나 이상의 이미지 형성 컴포넌트는 가상 콘텐츠의 이미지가 가상 콘텐츠와의 사용자 상호 작용을 반영하게 하도록 제어될 수 있다. 일부 구현예에서, 동작 210은 제어 컴포넌트(110)(도 1에 도시되고 본 명세서에 설명됨)와 동일하거나 유사한 제어 컴포넌트를 실행하는 하나 이상의 물리적 프로세서에 의해 수행될 수 있다.
도 3의 방법(300)을 참조하면, 동작 302에서, 장치와 모바일 컴퓨팅 플랫폼 사이의 무선 연결이 구축될 수 있다. 모바일 컴퓨팅 플랫폼은 장치로부터 분리되고 구별될 수 있다. 장치는 사용자의 머리에 착용되도록 구성될 수 있다. 장치는 하나 이상의 이미지 형성 컴포넌트 및/또는 다른 컴포넌트를 포함할 수 있다. 하나 이상의 이미지 형성 컴포넌트는 가상 콘텐츠의 이미지를 형성하기 위해 광선을 생성하도록 구성될 수 있다. 하나 이상의 이미지 형성 컴포넌트는 사용자에게 이미지를 제공하고 현실 세계의 뷰 위로 이미지를 중첩하여 인터랙티브 공간을 생성하도록 구성될 수 있다. 가상 콘텐츠는 현실 세계에 존재하는 것으로 인식될 수 있다. 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용은 인터랙티브 공간에서 가상 콘텐츠와의 사용자 상호 작용을 가능하게 할 수 있다. 일부 구현예에서, 동작 302는 통신 컴포넌트(132)(도 1에 도시되고 본 명세서에 설명됨)와 동일하거나 유사한 통신 컴포넌트를 실행하는 하나 이상의 물리적 프로세서에 의해 수행될 수 있다.
디스플레이가 아이들(idle) 상태이고 색상이 검은 색인 동안 가상 콘텐츠가 모바일 컴퓨팅 플랫폼(126)의 디스플레이(140) 위로 중첩될 때, 디스플레이는 본질적으로 사용자에게 보이지 않는 것처럼 보일 것이다(가상 세계로의 유리 조각 또는 윈도우와 유사하게 나타남). 다른 한편으로, 이미지가 디스플레이(140)에서 검은 색이 아닌 색상으로 렌더링될 때(또는 모바일 컴퓨팅 플랫폼(126)의 다른 부분에 고정될 때), 이러한 요소는 가상 콘텐츠에 대한 사용자의 인식에 추가될 수 있다(예를 들어, 가상 공간에서 2D 플로팅 요소 및/또는 3D 요소를 생성하여). 가상 콘텐츠의 이러한 공유되거나 복합적인 렌더링은, 유리하게는, 예를 들어, 호스트 장치(102)에 의해 생성된 인터랙티브 공간 내에 제공되는 확장된 시야(field-of-view(FOV))와 모바일 컴퓨팅 플랫폼의 고해상도 및 촉각 기능을 통합할 수 있다.
동작 304에서, 위치 정보 및/또는 방향 정보를 전달하는 출력 신호가 획득될 수 있다. 위치 정보 및/또는 방향 정보는 모바일 컴퓨팅 플랫폼의 위치 및/또는 방향을 전달할 수 있다. 일부 구현들에서, 동작 304는 입력 컴포넌트(134)(도 1에 도시되고 본 명세서에 설명됨)와 동일하거나 유사한 입력 컴포넌트를 실행하는 하나 이상의 물리적 프로세서에 의해 수행될 수 있다.
동작 306에서, 사용자 입력 정보가 획득될 수 있다. 사용자 입력 정보는 모바일 컴퓨팅 플랫폼의 하나 이상의 입력 요소의 사용자 입력 및/또는 선택을 전달할 수 있다. 하나 이상의 입력 요소의 사용자 입력 및/또는 선택은 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용의 일부를 포함할 수 있다. 일부 구현예에서, 동작 306은 입력 컴포넌트(134)(도 1에 도시되고 본 명세서에 설명됨)와 동일하거나 유사한 입력 컴포넌트를 실행하는 하나 이상의 물리적 프로세서에 의해 수행될 수 있다.
동작 308에서, 출력 신호, 사용자 입력 정보 및/또는 기타 정보의 장치로의 통신이 실시될 수 있다. 장치는 가상 콘텐츠의 이미지가 가상 콘텐츠와의 사용자 상호 작용을 반영하게 하도록 하나 이상의 이미지 형성 컴포넌트를 제어하기 위해 출력 신호, 사용자 입력 정보 및/또는 기타 정보를 활용할 수 있다. 일부 구현예에서, 동작 308은 통신 컴포넌트(132)(도 1에 도시되고 본 명세서에 설명됨)와 동일하거나 유사한 통신 컴포넌트를 실행하는 하나 이상의 물리적 프로세서에 의해 수행될 수 있다.
도 6 및 7을 다시 참조하면, 모바일 컴퓨팅 플랫폼(126)의 하부로부터 에서 상부로 중심선을 따라 연장되는 모바일 컴퓨팅 플랫폼(126)의 도시된 기준 축(608)은 단지 예시를 위한 것이며, 본 개시 내용에 따른 기준 축은, 모바일 컴퓨팅 플랫폼(126)의 평면 또는 그에 수직인 평면, 이의 임의의 외부 평면 또는 그 사이의 부피 내에 있는 것을 포함하는, 모바일 컴퓨팅 장치(126)를 교차하는 임의의 축을 따라 또는 그 축을 통해 연장될 수 있다. 예를 들어, 적합한 기준 축은 모바일 컴퓨팅 플랫폼(126)의 디스플레이 표면(126a)에 수직으로 연장되어, 모바일 컴퓨팅 플랫폼(126) 내의 디스플레이 표면(126a)의 반대편에 있는 표면 상에 배치된 이미지 센서(142)를 이용하여 비디오 또는 이미지를 캡처하기 위하여 종래에 사용된 방향으로 모바일 컴퓨팅 플랫폼(126), 예를 들어, 모바일 전화기를 배향함으로써 사용자로 하여금 가상 객체를 가리키고 이와 상호 작용할 수 있게 하도록, 방향은 예를 들어 모바일 컴퓨팅 플랫폼(126)의 디스플레이 표면(126a)의 반대편에 배치된 표면 외측으로 연장하는 방향으로 있다.
또한, 도 8 내지 10에 대하여, 사용자에 의한 인터랙티브 공간에 투영된 가상 콘텐츠와의 상호 작용을 가능하게 하기 위한 사용자 인터페이스 요소, 예를 들어, 모바일 컴퓨팅 플랫폼(126)의 디스플레이(140) 상에 제공된 사용자 인터페이스 요소(80X, 90X, 100X)는, 예를 들어, 메모리(138) 내에 저장되고 이러한 모바일 컴퓨팅 플랫폼(126)의 도 1에 도시된 프로세서(128)에 의해 실행되는 소프트웨어 애플리케이션 또는 앱(app)에 의해 생성될 수 있다. 또한, 이러한 소프트웨어 애플리케이션 또는 앱은, 인터랙티브 공간 내의 하나 이상의 가상 객체의 위치에 상대적인 이러한 모바일 컴퓨팅 플랫폼(126)의 배향 또는 방향에서의 이동 및/또는 변화에 단독으로 기초하여 또는 사용자에 의해 선택되고, 선택 해제되고, 활성화되고 그리고/또는 비활성화되는 이전의 디스플레이된 인터페이스 요소와의 조합에 기초하여, 다른 선택 가능한 인터페이스 요소, 예를 들어, 요소(80X, 90X, 100X)를 나타낼 수 있다.
또한, 도 1을 참조하면, 모바일 컴퓨팅 플랫폼(126)의 프로세서(들)(128)는, 예를 들어, 모바일 컴퓨팅 플랫폼(126)의 기준 축 (608)이 도 7에 도시된 가상 객체(604)와 같은 인터랙티브 공간에 디스플레이된 가상 객체의 선택 또는 선택 해제를 위한 방향에 있거나 또는 이를 위하여 배향될 때를 포함하는 특정 이벤트의 발생에 기초하여, 선택적으로, 진동하거나 또는 사용자에게 다른 유형의 촉각 피드백을 제공하여, 이러한 가상 객체(604)의 선택 또는 선택 해제를 확인하거나 원격 명령 정보 또는 다른 이벤트의 발생에 관련된 경고를 제공하도록 촉각 액추에이터(144)를 제어할 수 있다.
또한, 모바일 컴퓨팅 플랫폼(126)이 도 1의 이미지 센서(142)를 포함하는 경우, 모바일 컴퓨팅 플랫폼(126)의 알려진 위치에 상대적인 현실 세계 환경의 캡처된 이미지의 처리 또는 다른 것에 기초하여 물리적 배향 또는 방향의 판단을 가능하게 하도록 이미지 센서(142)를 사용하는 것이 유리할 것이다. 프로세서(128)에 의한 이러한 캡처된 이미지의 사용은 단독으로 사용되거나, 예를 들어, 자이로스코프 또는 각도 결정 기술을 포함하는 물리적 배향 또는 방향의 결정을 위한 다른 기술과 조합하여 사용될 수 있다.
도 11은, 예를 들어, 영숫자, 이모지, 이미지 또는 비디오와 같은 가상 이미지의 특정 그래픽 정보(1101)의 생성이 가상 객체(602)와 같은 객체와 선택적으로 연관될 수 있게 하기 위한 모바일 컴퓨팅 플랫폼(126)의 예시적인 동작을 도시한다. 이러한 연관은, 예를 들어, 대응하는 지시선(leader line)(1110)의 투영으로 나타낼 수 있다. 그래픽 이미지를 생성하고 객체, 예를 들어, 가상 객체(602)와 연관시키기 위한 하나의 예시적인 동작에 따라, 사용자는 본 명세서에 설명된 객체 선택 기술 중 하나에 따라 또는 다른 기술에 따라 가상 커서(600)를 사용하여 선택하도록 모바일 컴퓨팅 플랫폼(126)을 배치할 것이다. 사용자는 예를 들어 디스플레이(126a)에 디스플레이된 인터페이스 요소(1120)에 의해 모바일 컴퓨팅 플랫폼(126)에 그래픽 이미지 정보를 추가로 입력하고, 이러한 입력된 정보는 사용자가 가상 객체(602)와 연관되기를 원하는 그래픽 이미지를 나타낸다. 대응하는 그래픽 정보를 연관시킬 객체의 정보 입력 및 선택의 완료에 따라, 사용자는 적절한 인터페이스 요소(1130)를 선택하여 그래픽 정보(1101)가 바람직하게는 그 사이에 투영된 지시선(1110)을 이용하여 가상 객체(602)에 근접한 인터랙티브 공간에서 가상 이미지로 투영되는 연관 단계를 실행한다. 대안적으로, 본 개시 내용에 따라, 그래픽 이미지를 인터랙티브 공간 내에 위치된 가상 객체(602) 대신에 현실 세계 객체(도시되지 않음)와 연관시키는 것이 가능하다. 또한, 그래픽 이미지(1101)는, 예를 들어, 점선, 대응하는 선 투영 또는 그래픽 이미지(또는 그래픽 이미지의 적어도 일부를 둘러싸는 테두리) 및/또는 연관된 객체 이미지(또는 객체의 적어도 일부를 둘러싸는 테두리)의 동일하거나 상보적인 색상 또는 일부 다른 연관 지시자를 사용하여 지시선(1110)을 사용하지 않고 의도된 객체와 연관될 수 있다.
도 12a 및 12b는, 도 12a 및 12b에 도시된 가상 객체(602)와 같은 객체와 선택적으로 연관될 수 있는 가상 이미지로서 특정 그래픽 정보(1201)를 생성하도록 하기 위한 모바일 컴퓨팅 플랫폼(126)의 다른 예시적인 동작을 도시한다. 연관은, 예를 들어, 가상 객체(602)와 모바일 컴퓨팅 플랫폼(126) 사이의 거리가 미리 결정된 임계값 아래에 있다고 결정함으로써 결정될 수 있다.
도 12b에 도시된 바와 같이, 연관은, 예를 들어, 가상 객체(602)와 그래픽 정보(1201) 사이에 대응하는 가상 지시선(1210)을 투영함으로써 표현될 수 있다. 이 동작에서, 도 12a에 도시된 바와 같이, 모바일 컴퓨팅 플랫폼(126)은 그래픽 이미지(1201)를 도 11에 도시된 가상 커서(600)에 의해 표시된 위치로 투영하는데 사용되지 않고, 오히려 디스플레이 표면(126a) 상의 그래픽 정보(1201)의 위치가 그래픽 정보(1201)가 나타나는 인터랙티브 공간에서의 위치와 일치하도록 사용자에 의해 위치된다. 모바일 컴퓨팅 플랫폼(126)이 그래픽 정보(1201)를 이 위치에 배치하도록 위치되면, 사용자는 도 12a에 도시된 바와 같이 인터페이스 요소(1230)를 선택한 후, 지시선(1210)과 함께 원하는 위치에서 가상 그래픽 정보(1201)를 생성하기 위하여 도 12b에 도시된 바와 같이 모바일 컴퓨팅 플랫폼(126)을 뒤로 물린다. 그래픽 정보(1210)가 실선 직사각형 테두리를 갖는 것으로 도시되어 있지만, 그래픽 정보(1210)는 임의의 다양한 테두리 형상 및 음영으로 생성될 수 있거나 테두리 없이 생성될 수 있다는 것이 이해되어야 한다.
또한, 예를 들어, 도 3에서의 단계 302에 관한 본 개시 내용에서의 무선 통신에 대한 참조는 제1 및 제2 컴포넌트 사이의 직접 무선 통신 또는 간접 무선 통신을 의미하도록 의도된다. 간접 무선 통신에 의해, 제1 및 제2 컴포넌트 사이의 통신은 중간 컴포넌트 또는 컴포넌트들을 통해 이루어지며, 이러한 제1, 제2 또는 중간 컴포넌트 중 어느 하나 사이의 적어도 하나의 통신 경로는 무선 통신에 의한 반면, 다른 통신 경로는 유선 통신 경로일 수 있다.
개시된 기술이 현재 가장 실용적이고 바람직한 구현예로 간주되는 것을 기반으로 예시의 목적으로 상세하게 설명되었지만, 이러한 세부 사항은 오로지 그 목적을 위한 것이며 본 개시 내용은 임의의 특정 구현에 한정되지 않고, 반대로, 첨부된 청구범위의 사상 및 범위 내에 있는 수정 및 균등적 배치를 포함하도록 의도된다는 것이 이해되어야 한다. 예를 들어, 본 개시 내용은 가능한 한, 임의의 실시예의 하나 이상의 특징이 임의의 다른 구현예의 하나 이상의 특징과 결합될 수 있다는 것을 상정한다는 것이 이해되어야 한다.

Claims (39)

  1. 인터랙티브 공간(interactive space)을 위한 물리적 인터페이스로서 모바일 컴퓨팅 플랫폼을 제공하도록 구성된 시스템에 있어서,
    사용자의 머리에 착용되도록 구성된 장치;
    상기 장치에 의해 유지되는 하나 이상의 이미지 형성 컴포넌트 - 상기 하나 이상의 이미지 형성 컴포넌트는 가상 콘텐츠의 이미지를 형성하기 위해 광선을 생성하도록 구성되고, 상기 하나 이상의 이미지 형성 컴포넌트는 상기 사용자에게 상기 이미지를 제공하고 현실 세계 환경의 뷰 위로 이미지를 중첩하여 상기 가상 콘텐츠가 상기 현실 세계 환경에 제공되는 것으로 인식되게 인터랙티브 공간을 생성하도록 구성되고, 상기 가상 콘텐츠는 하나 이상의 가상 객체를 포함함 -;
    기계 판독 가능한 명령어에 의해:
    상기 장치와 상기 장치로부터 분리되고 구별되는 모바일 컴퓨팅 플랫폼 사이에 무선 연결을 구축하고 - 상기 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용은 상기 인터랙티브 공간에서 상기 가상 콘텐츠와의 사용자 상호 작용을 가능하게 함 -;
    상대 위치 정보를 획득하고 - 상기 상대 위치 정보는 상기 가상 콘텐츠의 인식된 위치 및/또는 방향(heading)에 상대적인 상기 모바일 컴퓨팅 플랫폼의 위치 및/또는 방향을 전달함 -;
    사용자 입력 정보를 획득하고 - 상기 사용자 입력 정보는 상기 모바일 컴퓨팅 플랫폼의 하나 이상의 입력 요소의 사용자 입력(entry) 및/또는 선택(selection)을 전달하고, 상기 하나 이상의 입력 요소의 상기 사용자 입력 및/또는 선택은 상기 모바일 컴퓨팅 플랫폼과의 상기 사용자 상호 작용의 일부를 포함함 -;
    상기 상대 위치 정보 및 상기 사용자 입력 정보에 기초하여 원격 명령 정보를 결정하고 - 상기 원격 명령 정보는 상기 모바일 컴퓨팅 플랫폼과의 상기 사용자 상호 작용에 기초하여 상기 인터랙티브 공간에서 상기 가상 콘텐츠와의 상기 사용자 상호 작용을 실시하도록 구성됨 -; 그리고
    상기 가상 콘텐츠의 상기 이미지가 상기 가상 콘텐츠와의 상기 사용자 상호 작용을 반영하게 하도록 상기 하나 이상의 이미지 형성 컴포넌트가 제어되게, 상기 원격 명령 정보에 기초하여 상기 하나 이상의 이미지 형성 컴포넌트를 제어하도록
    구성된 하나 이상의 물리적 프로세서
    를 포함하는, 시스템.
  2. 제1항에 있어서,
    상기 상대 위치 정보 및 상기 사용자 입력 정보에 기초하여 상기 원격 명령 정보를 결정하는 것은,
    상기 상대 위치 정보에 기초하여, 가상 객체의 인식된 선택을 결정하는 것; 및
    상기 모바일 컴퓨팅 플랫폼의 상기 하나 이상의 입력 요소의 상기 사용자 입력 및/또는 선택에 기초하여, 상기 인터랙티브 공간 내에서 선택된 상기 가상 객체를 결정하는 것
    을 포함하는, 시스템.
  3. 제1항에 있어서,
    상기 상대 위치 정보를 결정하는 것은,
    상기 모바일 컴퓨팅 플랫폼의 기준 축(principle axis)을 결정하는 것; 및
    상기 기준 축에 대한 상기 모바일 컴퓨팅 플랫폼의 기준 방향(principle direction)을 결정하는 것
    을 포함하는, 시스템.
  4. 제3항에 있어서,
    상기 상대 위치 정보를 결정하는 것은,
    상기 기준 방향을 따라 상기 기준 축과 교차하는 것으로 인식되는 가상 콘텐츠를 식별하는 것
    을 포함하는, 시스템.
  5. 제4항에 있어서,
    상기 하나 이상의 프로세서는, 상기 기계 판독 가능한 명령어에 의해,
    가상 커서의 이미지를 형성하는 광선을 생성하기 의하여 상기 하나 이상의 이미지 형성 컴포넌트를 제어하도록
    더 구성되고, 상기 가상 커서의 이미지는 상기 가상 커서가 인식된 교차점에 위치되는 것으로 인식되도록 구성되는, 시스템.
  6. 제4항에 있어서,
    상기 기준 방향을 따라 상기 기준 축과 교차하는 것으로 인식되는 상기 가상 콘텐츠의 식별은 상기 사용자에 의한 상기 가상 콘텐츠의 선택을 전달하는, 시스템.
  7. 제1항에 있어서,
    상기 모바일 컴퓨팅 플랫폼의 상기 하나 이상의 입력 요소는 물리적 요소 및 가상 요소 중 하나 또는 모두를 포함하고, 상기 가상 요소는 상기 모바일 컴퓨팅 플랫폼의 디스플레이에 제공되는, 시스템.
  8. 제7항에 있어서,
    개별 입력 요소는 상기 가상 콘텐츠와의 개별 상호 작용에 대응하는, 시스템.
  9. 제1항에 있어서,
    상기 인터랙티브 공간은 증강 현실 공간을 포함하는, 시스템.
  10. 인터랙티브 공간(interactive space)을 위한 물리적 인터페이스로서 모바일 컴퓨팅 플랫폼을 제공하는 방법에 있어서,
    장치와 상기 장치로부터 분리되고 구별되는 모바일 컴퓨팅 플랫폼 사이에 무선 연결을 구축하는 단계 - 상기 장치는 사용자의 머리에 착용되도록 구성되고, 상기 장치는 가상 콘텐츠의 이미지를 형성하기 위해 광선을 생성하도록 구성되는 하나 이상의 이미지 형성 컴포넌트를 포함하고, 상기 하나 이상의 이미지 형성 컴포넌트는 상기 사용자에게 상기 이미지를 제공하고 현실 세계 환경의 뷰 위로 상기 이미지를 중첩하여 상기 가상 콘텐츠가 상기 현실 세계 환경에 제공되는 것으로 인식되게 인터랙티브 공간을 생성하도록 구성되고, 상기 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용은 상기 인터랙티브 공간에서 상기 가상 콘텐츠와의 사용자 상호 작용을 가능하게 함 -;
    상대 위치 정보를 획득하는 단계 - 상기 상대 위치 정보는 상기 가상 콘텐츠의 인식된 위치 및/또는 방향(heading)에 상대적인 상기 모바일 컴퓨팅 플랫폼의 위치 및/또는 방향을 전달함 -;
    사용자 입력 정보를 획득하는 단계 - 상기 사용자 입력 정보는 상기 모바일 컴퓨팅 플랫폼의 하나 이상의 입력 요소의 사용자 입력(entry) 및/또는 선택(selection)을 전달하고, 상기 하나 이상의 입력 요소의 상기 사용자 입력 및/또는 선택은 상기 모바일 컴퓨팅 플랫폼과의 상기 사용자 상호 작용의 일부를 포함함 -;
    상기 상대 위치 정보 및 상기 사용자 입력 정보에 기초하여 원격 명령 정보를 결정하는 단계 - 상기 원격 명령 정보는 상기 모바일 컴퓨팅 플랫폼과의 상기 사용자 상호 작용에 기초하여 상기 인터랙티브 공간에서 상기 가상 콘텐츠와의 상기 사용자 상호 작용을 실시하도록 구성됨 -; 및
    상기 가상 콘텐츠의 상기 이미지가 상기 가상 콘텐츠와의 상기 사용자 상호 작용을 반영하게 하도록 상기 하나 이상의 이미지 형성 컴포넌트가 제어되게, 상기 원격 명령 정보에 기초하여 상기 하나 이상의 이미지 형성 컴포넌트를 제어하는 단계
    를 포함하는, 방법.
  11. 제10항에 있어서,
    상기 상대 위치 정보 및 상기 사용자 입력 정보에 기초하여 상기 원격 명령 정보를 결정하는 단계는,
    상기 상대 위치 정보에 기초하여, 가상 객체의 인식된 선택을 결정하는 단계; 및
    상기 모바일 컴퓨팅 플랫폼의 상기 하나 이상의 입력 요소의 상기 사용자 입력 및/또는 선택에 기초하여, 상기 인터랙티브 공간 내에서 선택된 상기 가상 객체를 결정하는 단계
    를 포함하는, 방법.
  12. 제10항에 있어서,
    상기 상대 위치 정보를 결정하는 단계는,
    상기 모바일 컴퓨팅 플랫폼의 기준 축(principle axis)을 결정하는 단계; 및
    상기 기준 축에 대한 상기 모바일 컴퓨팅 플랫폼의 기준 방향(principle direction)을 결정하는 단계
    를 포함하는, 방법.
  13. 제12항에 있어서,
    상기 상대 위치 정보를 결정하는 단계는,
    상기 기준 방향을 따라 상기 기준 축과 교차하는 것으로 인식되는 가상 콘텐츠를 식별하는 단계
    를 포함하는, 방법.
  14. 제13항에 있어서,
    가상 커서의 이미지를 형성하는 광선을 생성하기 위하여 상기 하나 이상의 이미지 형성 컴포넌트를 제어하는 단계를 더 포함하고,
    상기 가상 커서의 이미지는 상기 가상 커서가 인식된 교차점에 위치되는 것으로 인식되도록 구성되는, 방법.
  15. 제13항에 있어서,
    상기 기준 방향을 따라 상기 기준 축과 교차하는 것으로 인식되는 상기 가상 콘텐츠의 식별은 상기 사용자에 의한 상기 가상 콘텐츠의 선택을 전달하는, 방법.
  16. 제10항에 있어서,
    상기 모바일 컴퓨팅 플랫폼의 상기 하나 이상의 입력 요소는 물리적 요소 및 가상 요소 중 하나 또는 모두를 포함하고, 상기 가상 요소는 상기 모바일 컴퓨팅 플랫폼의 디스플레이에 제공되는, 방법.
  17. 기계 판독 가능한 명령어를 저장하는 비일시적인 전자 저장 매체에 있어서,
    상기 기계 판독 가능한 명령어는, 모바일 컴퓨팅 플랫폼에 의해 실행될 때, 상기 모바일 컴퓨팅 플랫폼이,
    상기 모바일 컴퓨팅 플랫폼과 사용자의 머리에 착용되도록 구성된 장치 사이에 무선 연결을 구축하고 - 상기 장치는 가상 콘텐츠의 이미지를 형성하기 위해 광선을 생성하도록 구성되는 하나 이상의 이미지 형성 컴포넌트를 포함하고, 상기 하나 이상의 이미지 형성 컴포넌트는 상기 사용자에게 상기 이미지를 제공하고 현실 세계 환경의 뷰 위로 상기 이미지를 중첩하여 상기 가상 콘텐츠가 상기 현실 세계 환경에 제공되는 것으로 인식되게 인터랙티브 공간(interactive space)을 생성하도록 구성되고, 상기 모바일 컴퓨팅 플랫폼과의 사용자 상호 작용은 상기 인터랙티브 공간에서 상기 가상 콘텐츠와의 사용자 상호 작용을 가능하게 함 -;
    위치 정보 및/또는 방향(heading)을 전달하는 출력 신호를 획득하고 - 상기 위치 정보 및/또는 방향 정보는 상기 모바일 컴퓨팅 플랫폼의 위치 및/또는 방향을 전달함 -;
    사용자 입력 정보를 획득하고 - 상기 사용자 입력 정보는 상기 모바일 컴퓨팅 플랫폼의 하나 이상의 입력 요소의 사용자 입력(entry) 및/또는 선택(selection)을 전달하고, 상기 하나 이상의 입력 요소의 상기 사용자 입력 및/또는 선택은 상기 모바일 컴퓨팅 플랫폼과의 상기 사용자 상호 작용의 일부를 포함함 -; 그리고
    상기 장치로의 상기 출력 신호와 상기 사용자 입력 정보의 통신을 실시
    하게 하고,
    상기 장치는 상기 가상 콘텐츠의 상기 이미지가 상기 가상 콘텐츠와의 상기 사용자 상호 작용을 반영하게 하도록 상기 하나 이상의 이미지 형성 컴포넌트를 제어하기 위하여 상기 출력 신호와 상기 사용자 입력 정보를 활용하는, 비일시적인 전자 저장 매체.
  18. 제17항에 있어서,
    방법이 상기 모바일 컴퓨팅 플랫폼의 디스플레이 상의 상기 하나 이상의 입력 컴포넌트의 제공을 실시하는 단계를 포함하는, 비일시적인 전자 저장 매체.
  19. 제17항에 있어서,
    상기 위치 정보 및/또는 방향 정보를 전달하는 상기 출력 신호는 상기 모바일 컴퓨팅 플랫폼에 포함된 하나 이상의 센서에 의해 생성되는, 비일시적인 전자 저장 매체.
  20. 제17항에 있어서,
    상기 모바일 컴퓨팅 플랫폼은 모바일 전화기 또는 태블릿 컴퓨팅 플랫폼인, 비일시적인 전자 저장 매체.
  21. 제3항에 있어서,
    상기 기준 축은 상기 모바일 컴퓨팅 플랫폼의 디스플레이 표면에 수직으로 연장되는, 시스템.
  22. 제21항에 있어서,
    상기 하나 이상의 물리적 프로세서는, 상기 기계 판독 가능한 명령어에 의해,
    가상 윤곽의 이미지를 형성하는 광선을 생성하기 위해 상기 하나 이상의 이미지 형성 컴포넌트를 제어하도록
    더 구성되고, 상기 가상 윤곽의 이미지는 상기 가상 윤곽이 인식된 교차점에 위치되는 것으로 인식되도록 구성되는, 시스템.
  23. 제22항에 있어서,
    상기 기준 방향을 따라 상기 기준 축과 교차하는 것으로 인식된 상기 가상 콘텐츠의 식별은 상기 사용자에 의한 상기 가상 콘텐츠의 선택을 전달하는, 시스템.
  24. 제22항에 있어서,
    상기 가상 윤곽은 상기 모바일 컴퓨팅 플랫폼의 윤곽을 나타내는 형상인, 시스템.
  25. 제10항에 있어서,
    상기 기준 축은 상기 모바일 컴퓨팅 플랫폼의 디스플레이 표면에 수직으로 연장되는, 방법.
  26. 제25항에 있어서,
    상기 원격 명령 정보를 결정하는 단계는,
    상기 기준 방향을 따라 상기 기준 축과 교차하는 것으로 인식된 가상 콘텐츠를 식별하는 단계
    를 포함하는, 방법.
  27. 제26항에 있어서,
    가상 윤곽의 이미지를 형성하는 광선을 생성하기 위해 상기 하나 이상의 이미지 형성 컴포넌트를 제어하는 단계
    를 더 포함하고, 상기 가상 윤곽의 이미지는 상기 가상 윤곽이 인식된 교차점에 위치되는 것으로 인식되도록 구성되는, 방법.
  28. 제27항에 있어서,
    상기 기준 방향을 따라 상기 기준 축과 교차하는 것으로 인식된 상기 가상 콘텐츠의 식별은 상기 사용자에 의한 상기 가상 콘텐츠의 선택을 전달하는, 방법.
  29. 제27항에 있어서,
    상기 가상 윤곽은 상기 모바일 컴퓨팅 플랫폼의 윤곽을 나타내는 형상인, 방법.
  30. 제3항에 있어서,
    상기 모바일 컴퓨팅 플랫폼은 상기 하나 이상의 물리적 프로세서에 작동 가능하게 결합되는 이미지 센서를 더 포함하고, 상기 이미지 센서는 상기 하나 이상의 물리적 프로세서가 상기 기준 축에 대한 상기 모바일 컴퓨팅 플랫폼의 상기 기준 방향을 결정하는 것을 가능하게 하는, 시스템.
  31. 제3항에 있어서,
    상기 모바일 컴퓨팅 플랫폼은 상기 하나 이상의 물리적 프로세서에 작동 가능하게 결합되는 촉각 피드백 액추에이터를 더 포함하고, 상기 하나 이상의 물리적 프로세서는, 원격 명령 정보 및 디스플레이된 상기 가상 콘텐츠에 상대적인 상기 모바일 컴퓨팅 플랫폼의 위치 및/또는 방향 중 적어도 하나와 관련된 이벤트의 발생을 사용자에게 경고하기 위하여 상기 촉각 피드백 액추에이터를 제어하도록 구성되는, 시스템.
  32. 제12항에 있어서,
    상기 상대 위치 정보는 상기 모바일 컴퓨팅 플랫폼 내에 배치된 이미지 센서에 의해 생성된 이미지 데이터에 의해 적어도 부분적으로 결정되는, 방법.
  33. 제12항에 있어서,
    원격 명령 정보 및 디스플레이된 상기 가상 콘텐츠에 상대적인 상기 모바일 컴퓨팅 플랫폼의 위치 및/또는 방향 중 적어도 하나와 관련된 이벤트의 발생을 상기 모바일 컴퓨팅 플랫폼의 사용자에게 경고하기 위하여 상기 사용자에 대한 촉각 피드백을 생성하는 단계를 더 포함하는, 방법.
  34. 제14항에 있어서,
    상기 가상 콘텐츠와 연관될 그래픽 정보를 식별하는 단계;
    상기 인터랙티브 공간 내의 가상 콘텐츠로서 상기 그래픽 정보를 제공하는 단계; 및
    상기 가상 그래픽 정보를 상기 가상 객체와 시각적으로 연관시키는 단계
    를 더 포함하는, 방법.
  35. 제34항에 있어서,
    상기 시각적 연관은 가상 지시선(leader line)에 의해 제공되는, 방법.
  36. 제11항에 있어서,
    상기 가상 객체의 인식된 선택을 결정하는 단계는, 상기 가상 객체와 상기 모바일 컴퓨팅 플랫폼 사이의 거리가 미리 결정된 임계값 미만인 것을 결정하는 단계를 더 포함하는, 방법.
  37. 제36항에 있어서,
    상기 가상 콘텐츠와 연관되는 그래픽 정보를 식별하는 단계;
    상기 인터랙티브 공간 내의 가상 콘텐츠로서 상기 그래픽 정보를 제공하는 단계; 및
    상기 가상 그래픽 정보를 상기 가상 객체와 시각적으로 연관시키는 단계
    를 더 포함하는, 방법.
  38. 제37항에 있어서,
    상기 시각적 연관은 가상 지시선(virtual leader line)에 의해 제공되는, 방법.
  39. 제36항에 있어서,
    상기 그래픽 정보가 상기 모바일 컴퓨팅 플랫폼에 디스플레이되어, 상기 모바일 컴퓨팅 플랫폼의 상기 디스플레이 상에서 자신의 위치에 근접한 상기 인터랙티브 공간에 위치되는, 방법.
KR1020217014912A 2018-10-17 2019-10-16 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼 KR20210102210A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862747005P 2018-10-17 2018-10-17
US62/747,005 2018-10-17
PCT/US2019/056529 WO2020081677A2 (en) 2018-10-17 2019-10-16 Systems and methods to provide a mobile computing platform as a physical interface tool for an interactive space

Publications (1)

Publication Number Publication Date
KR20210102210A true KR20210102210A (ko) 2021-08-19

Family

ID=70284208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217014912A KR20210102210A (ko) 2018-10-17 2019-10-16 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼

Country Status (5)

Country Link
US (1) US11697068B2 (ko)
EP (1) EP3867734A4 (ko)
KR (1) KR20210102210A (ko)
CN (1) CN113196212A (ko)
WO (1) WO2020081677A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024122801A1 (ko) * 2022-12-09 2024-06-13 삼성전자주식회사 외부 전자 장치의 위치에 기반하여 시각적 객체를 표시하기 위한 전자 장치 및 그 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140152558A1 (en) 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
WO2017070121A1 (en) * 2015-10-20 2017-04-27 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
WO2017201162A1 (en) 2016-05-17 2017-11-23 Google Llc Virtual/augmented reality input device
US10303323B2 (en) 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
DE202017104928U1 (de) 2016-08-23 2017-11-24 Google Inc. Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024122801A1 (ko) * 2022-12-09 2024-06-13 삼성전자주식회사 외부 전자 장치의 위치에 기반하여 시각적 객체를 표시하기 위한 전자 장치 및 그 방법

Also Published As

Publication number Publication date
US20210354038A1 (en) 2021-11-18
CN113196212A (zh) 2021-07-30
US11697068B2 (en) 2023-07-11
EP3867734A4 (en) 2022-07-13
EP3867734A2 (en) 2021-08-25
WO2020081677A9 (en) 2020-09-10
WO2020081677A2 (en) 2020-04-23
WO2020081677A3 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
US20240045509A1 (en) Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN107209386B (zh) 增强现实视野对象跟随器
KR20230025914A (ko) 음성 및 텍스트 캡션들을 사용한 증강 현실 경험들
ES2759054T3 (es) Región basada en gestos del cuerpo humano y selección de volumen para HMD
KR20230124732A (ko) 가상 및 그래픽 엘리먼트들을 제어하기 위한 미세 손제스처들
KR20230026505A (ko) 객체 조작을 사용한 증강 현실 경험들
US20150379770A1 (en) Digital action in response to object interaction
US11954268B2 (en) Augmented reality eyewear 3D painting
KR20230017849A (ko) 증강 현실 안내
CN117590582A (zh) 头戴式显示设备及其操作方法
US20230292077A1 (en) Immersive augmented reality experiences using spatial audio
US11675198B2 (en) Eyewear including virtual scene with 3D frames
US11195341B1 (en) Augmented reality eyewear with 3D costumes
KR20230022239A (ko) 증강 현실 환경 향상
JP2024512040A (ja) マップのためのデバイス、方法、及びグラフィカルユーザインタフェース
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US11697068B2 (en) Mobile platform as a physical interface for interaction
US20230007227A1 (en) Augmented reality eyewear with x-ray effect
KR20230073336A (ko) 가상 아이웨어 빔들을 사용한 증강 현실 게이밍
JP7505113B2 (ja) ウェアラブル端末装置、プログラムおよび表示方法
JP2017146647A (ja) 表示装置、入力装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム