KR20240072170A - 원격 디바이스들과의 사용자 상호작용들 - Google Patents
원격 디바이스들과의 사용자 상호작용들 Download PDFInfo
- Publication number
- KR20240072170A KR20240072170A KR1020247011138A KR20247011138A KR20240072170A KR 20240072170 A KR20240072170 A KR 20240072170A KR 1020247011138 A KR1020247011138 A KR 1020247011138A KR 20247011138 A KR20247011138 A KR 20247011138A KR 20240072170 A KR20240072170 A KR 20240072170A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- input
- input option
- guidance data
- option
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims description 124
- 238000000034 method Methods 0.000 claims abstract description 159
- 230000015654 memory Effects 0.000 claims abstract description 45
- 238000009877 rendering Methods 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 27
- 230000000007 visual effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 description 41
- 238000012545 processing Methods 0.000 description 34
- 238000007726 management method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 23
- 230000008054 signal transmission Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 17
- 239000011521 glass Substances 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 15
- 230000004044 response Effects 0.000 description 14
- 238000012790 confirmation Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 210000003811 finger Anatomy 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000004807 localization Effects 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000000811 metacarpophalangeal joint Anatomy 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
- G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
적어도 하나의 입력 옵션과 연관된 정보를 제시하기 위한 시스템들, 방법들, 및 비일시적 매체들이 제공된다. 예시적인 방법은 장면에서의 제1 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 단계; 적어도 하나의 메모리를 사용하는 것을 포함하여, 장면, 제1 디바이스, 및 제2 디바이스와 연관된 사용자 중 적어도 하나와 관련된 정보를 결정하는 단계; 및 하나 이상의 입력 옵션들 및 정보에 기초하여, 관련 컨텍스트 정보가 결정되었던 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 단계를 포함할 수 있다.
Description
본 개시내용은 일반적으로 원격 디바이스들과의 상호작용들에 관한 것이다. 예를 들어, 본 개시내용의 양태들은 원격 디바이스들과의 사용자 상호작용들을 위해 가상 콘텐츠를 필터링 및/또는 제안하는 것을 포함한다.
확장 현실 기술들은 가상 콘텐츠를 사용자들에게 제시하기 위해 사용될 수 있고/있거나 물리적 세계로부터의 실제 환경들과 가상 환경들을 결합하여 사용자들에게 확장 현실 경험들을 제공할 수 있다. 용어 확장 현실은 가상 현실, 증강 현실, 혼합 현실 등을 포함할 수 있다. 이들 형태들의 확장 현실의 각각은 사용자로 하여금 몰입형 가상 환경들 또는 콘텐츠를 경험하게 하거나 그들과 상호작용하게 한다. 예를 들어, 확장 현실 경험은 사용자로 하여금 가상 콘텐츠로 향상되거나 증강된 실제 또는 물리적 환경과 상호작용하게 할 수 있다.
확장 현실 기술들은, 다른 것들 중에서, 엔터테인먼트, 헬스케어, 소매, 교육, 소셜 미디어 등과 같은 광범위한 컨텍스트들에서 사용자 경험들을 향상시키도록 구현될 수 있다.
원격 디바이스 상호작용들에 대한 사용자 상호작용 데이터(예컨대, 확장 현실(XR) 디바이스와 하나 이상의 원격 디바이스들, 예컨대 사물 인터넷 디바이스 사이의 상호작용들)에 대한 사용자 상호작용 데이터를 결정하기 위한 시스템들, 장치들, 방법들, 및 컴퓨터 판독 가능 매체들이 개시된다. 적어도 하나의 예에 따르면, 적어도 하나의 입력 옵션과 연관된 정보를 제시하기 위한 방법이 제공된다. 본 방법은, 장면에서의 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 단계; 적어도 하나의 메모리를 사용하는 것을 포함하여, 장면, 디바이스, 및 전자 디바이스와 연관된 사용자 중 적어도 하나와 관련된 정보를 결정하는 단계; 및 하나 이상의 입력 옵션들 및 정보에 기초하여, 관련 컨텍스트 정보가 결정되었던 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 단계를 포함한다.
다른 예에서, 적어도 하나의 메모리 및 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서(예를 들어, 회로부에서 구현됨)를 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 제시하기 위한 장치가 제공된다. 적어도 하나의 프로세서는 장면에서의 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하도록 구성되고 이를 수신할 수 있고; 적어도 하나의 메모리를 사용하는 것을 포함하여, 장면, 디바이스, 및 전자 디바이스와 연관된 사용자 중 적어도 하나와 관련된 정보를 결정하도록 구성되고 이를 결정할 수 있고; 하나 이상의 입력 옵션들 및 정보에 기초하여, 관련 컨텍스트 정보가 결정되었던 입력 옵션에 대응하는 사용자 안내 데이터를 출력하도록 구성되고 이를 출력할 수 있다.
다른 예에서, 명령들을 저장한 비일시적 컴퓨터 판독 가능 매체가 제공되며, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금: 장면에서의 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하게 하고; 적어도 하나의 메모리를 사용하는 것을 포함하여, 장면, 디바이스, 및 전자 디바이스와 연관된 사용자 중 적어도 하나와 관련된 정보를 결정하게 하고; 하나 이상의 입력 옵션들 및 정보에 기초하여, 관련 컨텍스트 정보가 결정되었던 입력 옵션에 대응하는 사용자 안내 데이터를 출력하게 한다.
다른 예에서, 적어도 하나의 입력 옵션과 연관된 정보를 제시하기 위한 장치가 제공된다. 본 장치는, 장면에서의 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하기 위한 수단; 적어도 하나의 메모리를 사용하는 것을 포함하여, 장면, 디바이스, 및 전자 디바이스와 연관된 사용자 중 적어도 하나와 관련된 정보를 결정하기 위한 수단; 및 하나 이상의 입력 옵션들 및 정보에 기초하여, 관련 컨텍스트 정보가 결정되었던 입력 옵션에 대응하는 사용자 안내 데이터를 출력하기 위한 수단을 포함한다.
일부 양태들에서, 위에서 설명한 방법, 비일시적 컴퓨터 판독 가능 매체, 및 장치들은, 정보에 기초하여, 디바이스와의 사용자 상호작용을 예측하는 것; 및 하나 이상의 입력 옵션들 및 예측된 사용자 상호작용에 기초하여 입력 옵션에 대응하는 사용자 안내 데이터를 제시하는 것을 포함할 수 있다.
일부 예들에서, 사용자 안내 데이터는 입력 옵션과 연관된 사용자 입력 요소, 입력 옵션과 연관된 물리적 오브젝트 상의 가상 오버레이, 및/또는 입력 옵션과 연관된 입력을 제공하는 방법을 나타내는 큐 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 디바이스는 네트워크 통신 능력들을 갖는 연결된 디바이스를 포함할 수 있고, 위에서 설명된 방법, 비일시적 컴퓨터 판독 가능 매체, 및 장치들은, 정보 및 하나 이상의 입력 옵션들에 기초하여, 예측된 사용자 상호작용을 나타내는 손 제스처를 결정하는 것; 및 사용자 안내 데이터를 제시하는 것을 포함할 수 있다. 일부 예들에서, 예측된 사용자 상호작용은 디바이스에 대한 예측된 사용자 입력을 포함할 수 있다. 일부 경우들에서, 사용자 안내 데이터는, 검출될 때, 디바이스에서 실제 사용자 입력을 호출하는 손 제스처의 표시를 포함할 수 있다.
일부 양태들에서, 사용자 안내 데이터를 제시하는 것은, 전자 디바이스와 연관된 디스플레이에서, 디바이스의 표면 상에 위치되는 것으로 보이도록 구성되는 가상 오버레이를 렌더링하는 것을 포함할 수 있다. 일부 예들에서, 가상 오버레이는 입력 옵션과 연관된 사용자 인터페이스 요소를 포함할 수 있다. 일부 경우들에서, 사용자 인터페이스 요소는 입력 옵션과 연관된 가상 사용자 입력 오브젝트 및 입력 옵션에 대응하는 입력을 수신하도록 구성된 디바이스 상의 물리적 제어 오브젝트의 시각적 표시 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 정보는 사용자의 눈 시선 및 사용자의 포즈 중 적어도 하나를 포함하고, 위에서 설명된 방법, 비일시적 컴퓨터 판독 가능 매체, 및 장치들은, 사용자의 눈 시선 및 사용자의 포즈 중 적어도 하나에 기초하여 디바이스와의 사용자 상호작용을 예측하는 것; 사용자 안내 데이터를 제시한 후에, 입력 옵션과 연관된 실제 사용자 입력을 검출하는 것으로서, 실제 사용자 입력은 예측된 사용자 상호작용을 표현하는, 상기 실제 사용자 입력을 검출하는 것; 및 디바이스로, 입력 옵션과 연관된 실제 사용자 입력에 대응하는 커맨드를 송신하는 것을 포함할 수 있다.
일부 예들에서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 것은 사용자 안내 데이터를 디스플레이하는 것을 포함할 수 있다. 일부 예들에서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 것은 사용자 안내 데이터를 표현하는 오디오 데이터를 출력하는 것을 포함할 수 있다.
일부 예들에서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 것은 사용자 안내 데이터를 디스플레이하는 것; 및 디스플레이된 사용자 안내 데이터와 연관된 오디오 데이터를 출력하는 것을 포함할 수 있다.
일부 양태들에서, 위에서 설명된 방법, 비일시적 컴퓨터 판독 가능 매체, 및 장치들은, 디바이스로부터, 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 것을 포함할 수 있다. 일부 양태들에서, 위에서 설명된 방법, 비일시적 컴퓨터 판독 가능 매체, 및 장치들은, 서버로부터, 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 것을 포함할 수 있다.
일부 경우들에서, 디바이스는 하나 이상의 사용자 입력들을 수신하기 위한 외부 사용자 인터페이스를 갖지 않는다.
일부 양태들에서, 위에서 설명된 방법, 비일시적 컴퓨터 판독 가능 매체, 및 장치들은, 정보에 기초하여, 디바이스와 연관된 추가적인 사용자 안내 데이터를 제시하는 것을 억제하는 것을 포함할 수 있다.
일부 양태들에서, 위에서 설명된 방법, 비일시적 컴퓨터 판독 가능 매체, 및 장치들은, 사용자 안내 데이터를 제시한 후에, 입력 옵션과 연관된 사용자 입력을 획득하는 것; 및 디바이스로, 사용자 입력에 대응하는 명령을 송신하는 것을 포함할 수 있다. 일부 경우들에서, 명령은 디바이스의 하나 이상의 동작들을 제어하도록 구성될 수 있다.
일부 양태들에서, 장치는 카메라, 모바일 디바이스(예컨대, 모바일 전화기 또는 소위 "스마트폰" 또는 다른 모바일 디바이스), 웨어러블 디바이스, 확장 현실 디바이스(예컨대, 가상 현실(VR) 디바이스, 증강 현실(AR) 디바이스, 또는 혼합 현실(MR) 디바이스), 개인용 컴퓨터, 랩톱 컴퓨터, 서버 컴퓨터, 또는 다른 디바이스를 포함한다. 일부 양태들에서, 장치는 하나 이상의 이미지들을 캡처하기 위한 카메라 또는 다수의 카메라들을 포함한다. 일부 양태들에서, 장치는 하나 이상의 이미지들, 통지들 및/또는 다른 디스플레이 가능 데이터를 디스플레이하기 위한 디스플레이를 추가로 포함한다. 일부 양태들에서, 전술된 장치들은 하나 이상의 센서들을 포함할 수 있다.
이 발명의 내용은 청구 대상의 핵심적인 또는 본질적인 특징들을 확인하는 것으로 의도되는 것도, 청구 대상의 범위를 결정하기 위해 별개로 사용되는 것으로 의도되는 것도 아니다. 청구 대상은 본 특허의 전체 명세서의 적절한 부분들, 임의의 또는 모든 도면들, 및 각각의 청구항에 대한 참조에 의해 이해되어야 한다.
전술한 내용은 다른 특징들 및 실시예들과 함께, 다음의 명세서, 청구항들 및 첨부 도면들을 참조할 때 보다 명백해질 것이다.
본 출원의 예시적인 실시예들은 이하의 도면들을 참조하여 아래에 상세히 설명된다.
도 1은 본 개시의 일부 예들에 따른, 예시적인 확장 현실(XR) 시스템을 예시한 블록도이다.
도 2는 본 개시의 일부 예들에 따른, 손의 포지션들 및 가상 환경과의 손에 의한 상호작용들을 추적하기 위해 사용될 수 있는 손의 예시적인 랜드마크 포인트들을 예시한 다이어그램이다.
도 3은 본 개시의 일부 예들에 따른, XR 시스템이 사용자에 의해 착용되는 것의 일 예를 예시한 다이어그램이다.
도 4a, 도 4b, 및 도 4c는 본 개시의 일부 예들에 따른, 엘리베이터의 제어 패널과 상호작용하기 위해 XR 시스템을 사용하는 사용자의 일 예를 예시한 다이어그램들이다.
도 5a 및 도 5b는 본 개시의 일부 예들에 따른, 텔레비전을 제어할 수 있는 원격 제어와 상호작용하기 위해 XR 시스템을 사용하는 사용자의 일 예를 예시한 다이어그램들이다.
도 6a 및 도 6b는 본 개시의 일부 예들에 따른, 서모스탯(thermostat)과 상호작용하기 위해 XR 시스템을 사용하는 사용자의 일 예를 예시한 다이어그램들이다.
도 7a 및 도 7b는 본 개시의 일부 예들에 따른, 픽처 프레임과 상호작용하기 위한 사용자 인터페이스 입력 옵션들을 제공할지 여부를 결정할 수 있는 XR 시스템을 사용하는 사용자의 일 예를 예시한 다이어그램들이다.
도 8a 내지 도 8d는 본 개시의 일부 예들에 따른, 장면에 다수의 디바이스들이 있을 때 하나 이상의 디바이스들과 상호작용하기 위해 확장 현실 시스템을 사용하는 사용자의 예를 예시한 다이어그램들이다.
도 9는 본 개시의 일부 예들에 따른, 적어도 하나의 입력 옵션과 연관된 정보를 제시하기 위한 프로세스의 일 예를 예시한 순서도이다.
도 10은 본 개시의 일부 예들에 따른, 예시적인 컴퓨팅 시스템을 도시한다.
도 1은 본 개시의 일부 예들에 따른, 예시적인 확장 현실(XR) 시스템을 예시한 블록도이다.
도 2는 본 개시의 일부 예들에 따른, 손의 포지션들 및 가상 환경과의 손에 의한 상호작용들을 추적하기 위해 사용될 수 있는 손의 예시적인 랜드마크 포인트들을 예시한 다이어그램이다.
도 3은 본 개시의 일부 예들에 따른, XR 시스템이 사용자에 의해 착용되는 것의 일 예를 예시한 다이어그램이다.
도 4a, 도 4b, 및 도 4c는 본 개시의 일부 예들에 따른, 엘리베이터의 제어 패널과 상호작용하기 위해 XR 시스템을 사용하는 사용자의 일 예를 예시한 다이어그램들이다.
도 5a 및 도 5b는 본 개시의 일부 예들에 따른, 텔레비전을 제어할 수 있는 원격 제어와 상호작용하기 위해 XR 시스템을 사용하는 사용자의 일 예를 예시한 다이어그램들이다.
도 6a 및 도 6b는 본 개시의 일부 예들에 따른, 서모스탯(thermostat)과 상호작용하기 위해 XR 시스템을 사용하는 사용자의 일 예를 예시한 다이어그램들이다.
도 7a 및 도 7b는 본 개시의 일부 예들에 따른, 픽처 프레임과 상호작용하기 위한 사용자 인터페이스 입력 옵션들을 제공할지 여부를 결정할 수 있는 XR 시스템을 사용하는 사용자의 일 예를 예시한 다이어그램들이다.
도 8a 내지 도 8d는 본 개시의 일부 예들에 따른, 장면에 다수의 디바이스들이 있을 때 하나 이상의 디바이스들과 상호작용하기 위해 확장 현실 시스템을 사용하는 사용자의 예를 예시한 다이어그램들이다.
도 9는 본 개시의 일부 예들에 따른, 적어도 하나의 입력 옵션과 연관된 정보를 제시하기 위한 프로세스의 일 예를 예시한 순서도이다.
도 10은 본 개시의 일부 예들에 따른, 예시적인 컴퓨팅 시스템을 도시한다.
본 개시내용의 특정 양태들 및 실시예들이 아래에서 제공된다. 이러한 양태들 및 실시예들 중 일부는 독립적으로 적용될 수 있고, 이들 중 일부는 당해 기술분야에서 통상의 지식을 가진 자들에게 명백하듯이, 조합하여 적용될 수 있다. 다음의 설명에서는, 설명의 목적으로, 본 출원의 실시예들의 전반적인 이해를 제공하기 위해 특정 세부사항들이 제시된다. 그러나 다양한 실시예들은 이러한 특정 세부사항들 없이 실시될 수 있음이 명백할 것이다. 도면들 및 설명은 제한적인 것으로 의도되지 않는다.
다음의 설명은 오직 예시적인 실시형태들을 제공할 뿐이고, 본 개시내용의 범주, 적용 가능성, 또는 구성을 제한하도록 의도되지 않는다. 오히려, 예시적인 실시예들의 다음의 설명은 예시적인 실시예를 구현하기 위한 가능한 설명을 당업자들에게 제공할 것이다. 첨부된 청구항들에 제시된 바와 같이 본 출원의 사상 및 범위를 벗어나지 않으면서 요소들의 기능 및 배열에 다양한 변경들이 이루어질 수 있다고 이해되어야 한다.
사용자들은 사용자들에게 관심 있는 특정 기능성들을 제공할 수 있는 상이한 디바이스들과 종종 상호작용한다. 예를 들어, 사용자는 스마트 디바이스들(예컨대, 사물 인터넷(IoT) 또는 다른 네트워크 연결 디바이스들), 모바일 디바이스들, 제어 디바이스들(예컨대, 텔레비전, 어플라이언스, 스피커 등의 원격 제어), 시스템 제어 패널들, 어플라이언스들 등과 상호작용할 수 있다. 다양한 예시적인 예들에서, 사용자는 네트워크 연결된 텔레비전과 상호작용하여 네트워크 연결된 텔레비전의 뷰잉 콘텐츠를 관리하거나 전력 설정을 변경할 수 있고, 네트워크 연결된 전구와 상호작용하여 네트워크 연결된 전구에 의해 방출되는 광 또는 네트워크 연결된 전구의 동작을 제어할 수 있고, 네트워크 라우터와 상호작용하여 네트워크 라우터의 동작 및 설정들을 구성할 수 있고, 네트워크 연결된 서모스탯과 상호작용하여 네트워크 연결된 서모스탯의 온도 또는 구성 설정을 제어하는 등을 할 수 있다.
일부 경우들에서, 디바이스는 하드웨어 사용자 인터페이스를 포함할 수 있거나, (예컨대, 디스플레이 또는 다른 기술을 사용하여 사용자 인터페이스를 디스플레이함으로써) 그래픽 사용자 인터페이스를 제시할 수 있고, 이는 사용자가 디바이스와 상호작용하는 데 사용할 수 있다. 그러나, 일부 경우들에서, 사용자는 디바이스의 사용자 인터페이스를 통해 디바이스와 상호작용하는 것에 어려움을 가질 수 있다. 일 예에서, 사용자 인터페이스는 사용자의 손에 닿지 않을 수 있고, 이는 사용자가 디바이스와 연관된 사용자 인터페이스와 상호작용하는 것을 방지할 수 있다(또는 어렵게 만들 수 있다). 다른 예로서, 사용자 인터페이스에 의해 디스플레이되는 콘텐츠는 사용자가 이해하지 못하는 언어일 수 있고, 사용자가 인식하기에 너무 작거나, 아니면 사용자가 사용자 인터페이스를 사용하기 번거로울 수 있다. 일부 예들에서, 디바이스와 연관된 입력 옵션들(예컨대, 지원되는 입력들, 지원되는 입력 방법들 등)은 사용자가 쉽게 알 수 없거나 또는 쉽게 이해하지 못할 수 있으며(예컨대, 사용자 인터페이스 입력들이 아닌 제스처 또는 음성 커맨드들 등), 이는 사용자가 디바이스와 상호작용하는 것을 어렵게 할 수 있다. 다른 예들에서, 사용자 인터페이스는 시각적, 음성, 및/또는 청력 장애들을 갖는 사용자를 보조하기 위한 액세스 가능 설정들(또는 적절한 액세스 가능 설정들)을 갖지 않을 수 있다. 일부 경우들에서, 디바이스는 사용자에게 가시적이거나 다르게는 액세스 가능한 외측/외부 제어부들을 갖지 않을 수 있고/있거나 사용자가 디바이스와 상호작용하기 위해 사용할 수 있는 사용자 인터페이스를 제시하기 위한 디스플레이를 포함하지 않을 수 있다. 또한, 많은 경우들에서, 장면은 예를 들어 연결된 백열 전구, 텔레비전들, 연결된 플러그들, 연결된 스피커들 등과 같은 다수의 원격 디바이스들을 포함할 수 있다. 그러한 경우들에서, 장면에 다수의 디바이스들이 존재할 때, 사용자 디바이스가 장면에서의 다수의 디바이스들 중 특정 원격 디바이스와 상호작용하는 것 및/또는 상호작용들을 관리하는 것이 어려울 수 있다.
예를 들어, 방(예컨대, 주방, 침실, 사무실, 거실 등)은 접속성 및/또는 상호작용 능력들을 갖는 다수의 디바이스들을 가질 수 있다. 다수의 디바이스들 중 하나와의 통신 및/또는 상호작용을 개시하고/하거나 관리하기 위해, 사용자 디바이스는 다수의 디바이스들로부터 특정 디바이스를 식별하고, 그 특정 디바이스와의 사용자 상호작용들 및/또는 연관된 데이터를 관리하고/하거나 단순화하고, 그 특정 디바이스에 대한 관련 콘텐츠를 관리하는 것 등에 어려움을 가질 수 있다. 일부 경우들에서, 사용자 디바이스는 장면에서의 다수의 디바이스들로부터 상호작용 데이터(예컨대, 입력 옵션들/능력들, 입력들, 출력들, 그래픽 사용자 인터페이스들, 사용자 상호작용 보조 데이터 등)를 획득할 수 있다. 사용자 디바이스가 장면 및/또는 현재 컨텍스트의 충분한 지식 및/또는 이해를 갖지 않고/않거나 사용자로부터 명확한 명령들을 수신하지 않는 경우, 사용자 디바이스는 데이터(예컨대, 상호작용 데이터, 디바이스 데이터 등)로 오버로드될 수 있다. 일부 예들에서, 사용자 디바이스는 장면에서의 다수의 디바이스들 중 하나 이상과의 콘텐츠 및/또는 상호작용들을 관리하는 것에 어려움을 가질 수 있다. 그러나, 본원에서 설명된 시스템들 및 기법들은 사용자 디바이스로 하여금 컨텍스트 정보에 기초하여 장면에서의 원격 디바이스와 연관된 가상 콘텐츠를 제약, 제한, 필터링, 정리 등을 하게 할 수 있다. 일부 경우들에서, 본 명세서에서 설명된 시스템들 및 기법들을 사용하여, 사용자 디바이스는 장면에서의 원격 디바이스와의 통신들/상호작용들을 위해 프로세싱되고/되거나 제시된 콘텐츠를 정제할 수 있고/있거나, 컨텍스트에 가장 적합한/알맞는 방식으로(예컨대, 크거나, 작거나, 오버레이되거나, 세계 잠금되거나, 헤드 또는 디바이스 잠금된 등) 콘텐츠를 제시할 수 있다. 일부 예들에서, 사용자 디바이스는 장면에서의 특정 원격 디바이스와 어떻게 상호작용하는지, 어떤 상호작용 데이터 및/또는 가상 콘텐츠가 그 특정 원격 디바이스와 관련되는지, 장면에서의 원격 디바이스들 중 임의의 디바이스와의 상호작용들을 어떻게 관리하는지 등을 이해하기 위해 컨텍스트 정보를 사용할 수 있다.
본원에서 추가로 설명되는 바와 같이, 많은 경우들에서, 본원에서 설명된 시스템들 및 기법들은 디바이스로 하여금 장면에서의 원격 디바이스들과의 사용자 상호작용들을 통합 및/또는 단순화하게 할 수 있다. 위에서 언급된 경우들에서, 디바이스는 장면에서의 원격 디바이스들과의 통신들 및/또는 상호작용들을 더 양호하게 관리, 통합, 단순화, 및/또는 용이하게 할 수 있다. 일부 경우들에서, 디바이스는 심지어 더 도전적인 장면들 및/또는 조건들에서도 하나 이상의 원격 디바이스들과의 사용자 상호작용들을 용이하게 하고/하거나 지원할 수 있다. 예시하기 위해, 사용자 및/또는 사용자와 연관된 디바이스는 디바이스와 상호작용하는 것에 어려움을 가질 수 있다. 예를 들어, 사용자는, 열악한 조명 조건들 하에서, 원격 제어가 사용자의 손에 닿지 않을 때, 또는 다르게는 원격 제어의 버튼들이 사용자가 (예컨대, 사용자 장애, 버튼들의 크기, 버튼들의 라벨의 언어 등으로 인해) 보기에/이해하기에 어려울 때, 텔레비전 원격 제어와 상호작용하는 것에 어려움을 겪을 수 있다. 다른 예로서, 사용자는, 특히 사용자가 네트워크 라우터 또는 IoT 디바이스와 상호작용하기 위한 사용자 인터페이스에 액세스할 수 없는 경우, 외부 제어부들을 갖지 않는 네트워크 라우터 또는 연결된 디바이스(예컨대, 네트워크 연결된 서모스탯, 전구, 스피커, 카메라, 어플라이언스, 스위치 등)와 상호작용하는 것에 어려움을 겪을 수 있다. 또 다른 예로서, 사용자는, 제어 패널(또는 제어 패널의 특정 제어부들)이 사용자의 손에 닿지 않거나 또는 사용자가 원하는 동작/상호작용을 위해 어떤 제어부들을 사용해야 할지 모르는 경우, 차량 또는 엘리베이터 제어 패널과 같은 제어 패널과 상호작용하는 것에 어려움을 겪을 수 있다.
본원에서 더 상세히 설명된 바와 같이, 원격 디바이스들과의 사용자 상호작용들을 개선, 통합, 단순화, 및/또는 용이하게 하기 위한 시스템들, 장치들, 방법들(또한 프로세스들로도 지칭됨), 및 컴퓨터 판독 가능 매체들(총체적으로 본원에서 "시스템들 및 기법들" 로 지칭됨)이 본원에서 설명된다. 일부 예들에서, 전자 디바이스는, 예를 들어, 연결된 디바이스들(예컨대, 네트워크 연결된 디바이스들), 모바일 디바이스들, 외측/외부 제어부들을 결여한 디바이스들, 디스플레이 및/또는 사용자 인터페이스를 결여한 디바이스들, 디바이스들과 상호작용하기를 원하는 사용자에게 하나 이상의 어려움을 제시하는 특정 특성들을 갖는 그러한 디바이스들(예컨대, 사용자가 인식/이해할 수 없는 서로 다른 언어들로 된 인터페이스들을 갖거나, 제한된 접근성 옵션들 등을 갖는 디바이스들), 사용자의 손에 닿지 않는 제어부들/인터페이스들을 갖는 디바이스들, 및/또는 임의의 다른 디바이스들과 같은 다른 디바이스들과의 상호작용들을 통합, 단순화, 및/또는 용이하게 할 수 있다. 일부 예들에서, 다른 디바이스들과의 상호작용들을 용이하게 하도록 구성되는 전자 디바이스는 스마트폰, 스마트 웨어러블 디바이스(예컨대, 스마트 워치, 스마트 이어버드 등), 확장 현실(XR) 시스템 또는 디바이스(예컨대, 스마트 안경, 헤드 장착식 디스플레이(HMD) 등) 등을 포함할 수 있다. 예들은 본원에서 설명된 기법들을 구현할 수 있는 전자 디바이스의 예로서 XR 시스템을 사용하여 본원에서 설명되지만, 기법들은 다른 전자 디바이스들(예컨대, 모바일 디바이스, 스마트 웨어러블 디바이스 등)을 사용하여 수행될 수 있다.
일반적으로, XR 시스템들 또는 디바이스들은 사용자에게 가상 콘텐츠를 제공할 수 있고/있거나 실세계 또는 물리적 환경과 가상 환경들(가상 콘텐츠로 구성됨)을 결합하여 사용자들에게 XR 경험들을 제공할 수 있다. 실세계 환경은 책, 사람, 차량, 건물, 테이블, 의자, 및/또는 다른 실세계 또는 물리적 오브젝트와 같은 실세계 오브젝트(물리적 오브젝트라고도 함)를 포함할 수 있다. XR 시스템 또는 디바이스는 상이한 유형의 XR 환경과의 상호작용을 용이하게 할 수 있다(예: 사용자는 XR 시스템 또는 디바이스를 사용하여 XR 환경과 상호작용할 수 있음). XR 시스템은 VR 환경과의 상호작용을 용이하게 하는 가상 현실(VR) 시스템, AR 환경과의 상호작용을 용이하게 하는 증강 현실(AR) 시스템, MR 환경과의 상호작용을 용이하게 하는 혼합 현실(MR) 시스템, 및/또는 다른 XR 시스템을 포함할 수 있다. 본원에서 사용되는 바와 같이, 용어들 XR 시스템 및 XR 디바이스는 상호교환 가능적으로 사용된다. XR 시스템들 또는 디바이스들의 예들은, 다른 것들 중에서, HMD, 스마트 안경(예컨대, 통신 네트워크를 사용하여 통신할 수 있는 네트워크 접속 안경)을 포함한다.
AR은 물리적, 실세계 장면 또는 환경에 대한 사용자의 관점을 통해 가상 또는 컴퓨터 생성 콘텐츠(AR 콘텐츠라고 함)를 제공하는 기술이다. AR 콘텐츠는 비디오, 이미지, 그래픽 콘텐츠, 위치 데이터(예: 위성항법시스템(GPS) 데이터 또는 기타 위치 데이터), 사운드, 이들의 임의의 조합, 및/또는 기타 증강 콘텐츠와 같은 가상 콘텐츠를 포함할 수 있다. AR 시스템 또는 디바이스는 현실에 대한 사람의 현재 인식을 대체하는 것이 아니라 향상(또는 증강)하도록 설계된다. 예를 들어, 사용자는 AR 디바이스 디스플레이(예: AR 안경의 렌즈)를 통해 정지해 있거나 움직이는 실제 물리적 오브젝트를 볼 수 있지만, 물리적 오브젝트에 대한 사용자의 시각적 인식은 해당 오브젝트의 가상 이미지(예: DeLorean의 가상 이미지에 의해 대체된 실세계 자동차)에 의해, 물리적 오브젝트에 추가된 AR 콘텐츠(예: 살아있는 동물에 추가된 가상 날개), 물리적 오브젝트에 대해 디스플레이되는 AR 콘텐츠(예: 건물의 간판 근처에 디스플레이되는 정보 가상 콘텐츠, 하나 이상의 이미지 내의 실세계 테이블에 가상으로 고정된(예: 위에 배치된)가상 커피 컵 등)에 의해, 및/또는 다른 유형의 AR 콘텐츠를 디스플레이하는 것에 의해 증강되거나 향상될 수 있다. 다양한 유형의 AR 시스템을 게임, 엔터테인먼트 및/또는 기타 애플리케이션에 사용할 수 있다.
일부 경우들에서, AR 콘텐츠를 제공하는 데 사용될 수 있는 2가지 유형의 AR 시스템들은 비디오 시스루(비디오 패스스루라고도 함) 디스플레이들 및 광학 시스루 디스플레이들을 포함한다. 비디오 시스루 및 광학 시스루 디스플레이들은 실세계 또는 물리적 오브젝트들의 사용자의 시각적 인식을 향상시키는 데 사용될 수 있다. 비디오 시스루 시스템에서는, 실세계 시나리오의 라이브 비디오가 디스플레이된다(예: 라이브 비디오에서 증강되거나 향상된 하나 이상의 오브젝트들을 포함함). 비디오 시스루 시스템은 모바일 디바이스(예를 들어, 휴대폰 디스플레이 상의 비디오), HMD, 또는 비디오 및 컴퓨터 생성 오브젝트를 비디오 위에 디스플레이할 수 있는 다른 적절한 디바이스를 사용하여 구현될 수 있다.
AR 기능을 갖는 광학 시스루 시스템은 AR 콘텐츠를 실세계 장면의 뷰 상에 직접 디스플레이할 수 있다(예: 실세계 장면의 비디오 콘텐츠를 디스플레이하지 않음). 예를 들어, 사용자는 디스플레이(예를 들어, 안경 또는 렌즈)를 통해 실세계 장면에서의 물리적 오브젝트들을 볼 수 있고, AR 시스템은 디스플레이에 (예를 들어, 프로젝션되거나 다르게는 디스플레이된) AR 콘텐츠를 디스플레이하여 하나 이상의 실세계 오브젝트들에 대한 향상된 시각적 인식을 사용자에게 제공할 수 있다. 광학 시스루 AR 시스템들 또는 디바이스들의 예들은 AR 안경, HMD, 다른 AR 헤드셋, 또는 각각의 눈 앞의 렌즈 또는 유리(또는 양쪽 눈 위 모두의 단일 렌즈 또는 유리)를 포함하여 사용자가 물리적 오브젝트들을 갖는 실세계 장면을 직접 볼 수 있도록 하는 동시에 해당 오브젝트의 향상된 이미지 또는 추가의 AR 콘텐츠가 디스플레이 상에 프로젝션되어 실세계 장면에 대한 사용자의 시각적 인식을 증강할 수 있도록 하는 다른 유사한 디바이스이다.
VR은 실세계 환경의 가상 버전을 묘사하는 3차원 컴퓨터 생성 VR 환경 또는 비디오에서 완전한 몰입형 경험을 제공한다. VR 환경은 실제처럼 보이거나 물리적인 방식으로 상호작용될 수 있다. VR 환경을 경험하는 사용자가 실세계에서 움직임에 따라, 가상 환경에서 렌더링된 이미지도 또한 변경되어, 사용자가 VR 환경 내에서 움직이고 있다는 인식을 사용자에게 제공한다. 예를 들어, 사용자는 좌측 또는 우측으로 돌거나, 위 또는 아래를 보거나, 및/또는 앞으로 및 뒤로 움직여, VR 환경의 사용자의 관점을 변경할 수 있다. 사용자에게 제시되는 VR 콘텐츠가 그에 따라 변경될 수 있어, 사용자의 경험은 실세계에서만큼 심리스(seamless)하게 된다. VR 콘텐츠는 일부 경우들에 VR 비디오를 포함할 수 있으며, 이것은 매우 높은 품질로 캡처 및 렌더링되어, 잠재적으로, 진정한 몰입형 가상 현실 경험을 제공할 수 있다. 가상 현실 애플리케이션들은 특히 게이밍, 트레이닝, 교육, 스포츠 비디오, 온라인 쇼핑을 포함할 수 있다. VR 콘텐츠는 VR 경험 중에 사용자의 눈을 완전히 가리는 VR HMD 또는 기타 VR 헤드셋과 같은 VR 시스템 또는 디바이스를 사용하여 렌더링되고 디스플레이될 수 있다.
MR 기술은 VR과 AR의 양태들을 결합하여 사용자에게 몰입형 경험을 제공할 수 있다. 예를 들어, MR 환경에서 실세계와 컴퓨터 생성 오브젝트는 상호작용할 수 있다(예: 실제의 사람은 가상의 사람이 실제의 사람인 것처럼 가상의 사람과 상호작용할 수 있음).
일부 경우들에서, XR 시스템은 사용자의 일부들(예컨대, 사용자의 손 및/또는 손끝들)을 추적하여 사용자로 하여금 가상 콘텐츠의 아이템들과 상호작용하게 할 수 있다. 스마트 안경 또는 HMD와 같은 XR 시스템은 XR 시스템의 위치 및 XR 시스템이 위치되는 물리적 환경 내의 다른 오브젝트들을 추적하기 위해 카메라들 및/또는 하나 이상의 센서들을 구현할 수 있다. XR 시스템들은 그러한 추적 정보를 사용하여, XR 시스템의 사용자에게 현실적인 XR 경험을 제공할 수 있다. 예를 들어, XR 시스템은, 사용자가 몰입형 가상 환경들 또는 콘텐츠를 경험하거나 또는 그와 상호작용하게 할 수 있다. 현실적인 XR 경험들을 제공하기 위해, 일부 XR 시스템들 또는 디바이스들은 가상 콘텐츠를 물리적 세계와 통합할 수 있다. 일부 경우들에서, XR 시스템들 또는 디바이스들은 오브젝트들 및 디바이스들의 상대적 포즈 및 이동을 매칭시킬 수 있다. 예를 들어, XR 시스템은 추적 정보를 사용하여, 디바이스들, 오브젝트들, 및/또는 실세계 환경의 다른 부분들의 상대적 포지션 및 이동을 매칭시키기 위해 디바이스들, 오브젝트들, 및/또는 실세계 환경의 맵들의 상대적 포즈를 계산할 수 있다. 하나 이상의 디바이스들, 오브젝트들, 및/또는 실세계 환경의 다른 부분들의 포즈 및 이동을 사용하여, XR 시스템은 XR 시스템의 사용자에게 현실적으로 나타나는 방식으로 실세계 환경에 콘텐츠를 앵커링할 수 있다. 상대적 포즈 정보는 가상 콘텐츠를 사용자의 인지된 모션 및 디바이스들, 오브젝트들, 및 실세계 환경의 다른 부분들의 시공간 상태와 매칭시키는 데 사용될 수 있다.
일부 예들에서, XR 시스템은, 하나 이상의 연결된 디바이스들, 원격 제어기들, 제어 패널들, 모바일 디바이스들 등과 같은 하나 이상의 다른 디바이스들과 상호작용하기 위한 사용자 안내 데이터를 제공하는 데 사용될 수 있다. 본원에서 설명된 시스템들 및 기법들에 따르면, XR 시스템은 다른 디바이스들과의 더 직관적이고 자연스러운 콘텐츠 및/또는 상호작용들을 가능하게 하도록 활용될 수 있다. 일부 예들에서, XR 시스템은 장면에서의 다른 디바이스를 검출하고, 다른 디바이스와의 상호작용들을 용이하게 하고/하거나 관리할 수 있다. 일부 경우들에서, XR 시스템은 다른 디바이스와의 이전에 확립된 연결(예컨대, 페어링 등)을 가질 수 있고, 이는 XR 시스템으로 하여금 장면에서의 다른 디바이스를 검출하게 할 수 있다. 다른 예들에서, XR 시스템은 장면에 위치된 다른 디바이스들을 포함하는 장면의 맵을 유지할 수 있고, 이것을 이용하여 XR 시스템은 XR 시스템이 장면 내에 있을 때 다른 디바이스를 검출할 수 있다. 일부 예들에서, XR 시스템은 이미지 센서, 오디오 센서, 레이더 센서, LIDAR 센서 등과 같은 하나 이상의 센서들을 사용할 수 있고, 이것을 이용하여 XR 시스템은 장면에서 다른 디바이스를 감지할 수 있다. 일부 경우들에서, XR 시스템은 장면과 연관된 컨텍스트 정보를 사용하여 다른 디바이스가 장면 내에 있다고 결정할 수 있다. 예를 들어, XR 시스템은, 다른 디바이스가 장면 내에 존재함을 XR 디바이스에 나타내는 장면 및/또는 다른 디바이스에 대한 컨텍스트 정보를 포함할 수 있다. XR 시스템이 장면 내에 존재할 때, XR 시스템은 컨텍스트 정보에 기초하여, 다른 디바이스가 장면 내에 있다고 결정할 수 있다. XR 시스템은, 다른 디바이스와의 상호작용들을 용이하게 하고, 관리 등을 하기 위해 장면에서 검출된 다른 디바이스로부터의 정보를 획득할 수 있다.
예를 들어, XR 시스템은 장면에서 검출된 다른 디바이스로부터, 다른 디바이스에 대한 하나 이상의 입력 옵션들을 나타내거나 또는 식별하는 입력 데이터 및/또는 장면, 다른 디바이스, 및/또는 XR 시스템과 연관된 컨텍스트 정보를 획득할 수 있다. XR 시스템은 입력 데이터 및/또는 컨텍스트 정보를 프로세싱할 수 있고, XR 시스템을 사용(예컨대, 착용)하는 사용자에게 디바이스와 상호작용(예컨대, 제어하는 것, 콘텐츠에 액세스하는 것, 상태 정보에 액세스하는 것, 출력들에 액세스하는 것 등)하기 위한 사용자 인터페이스, 가상 콘텐츠, 및/또는 입력 옵션들을 제시할 수 있다. 일부 경우들에서, XR 시스템은 본원에서 추가로 설명되는 바와 같이, 입력 데이터 및/또는 컨텍스트 정보에 기초하여 장면에서의 다른 디바이스를 제어하는 데 또한 사용될 수 있다.
일부 예들에서, XR 시스템은, 다른 디바이스로부터, 서버(예컨대, 다른 디바이스의 동작과 관련된 클라우드 기반 서버)로부터, 및/또는 다른 소스로부터, 하나 이상의 입력 옵션들을 나타내는 입력 데이터를 획득 또는 수신할 수 있다. 입력 데이터는, 다른 정보 중에서, 입력 유형들(예컨대, 제스처 기반, 음성 기반, 터치 기반 등), 특정 입력들에 기초한 기능성(예컨대, 우측으로의 스와이프는 서모스탯으로 하여금 온도를 증가시키게 할 수 있는 것 등)과 같은, 다른 디바이스와 상호작용하는 데 사용될 수 있는 일부 또는 모든 입력 옵션들을 나타낼 수 있다. 일부 예들에서, 디바이스가 (예컨대, XR 시스템이 요청을 디바이스에 전송한 후) 임의의 입력 데이터를 XR 시스템에 통신하지 않는 경우, XR 시스템은 디바이스가 (예컨대, 무선 네트워크를 통해) XR 시스템과 통신하는 능력을 갖지 않는다고 결정하거나 추론할 수 있다. 그러한 예들에서, XR 시스템은 사용자가 디바이스와 어떻게 상호작용할지 결정하는 것을 돕기 위해 명령들 또는 다른 정보(예컨대, 디바이스 상의 특정 버튼을 하이라이팅함)를 제시할 수 있다.
XR 시스템은 컨텍스트 정보를 사용하여 사용자가 다른 디바이스와 상호작용하는 데 사용할 콘텐츠, 입력 옵션들, 사용자 인터페이스, 및/또는 출력할 양식들을 결정할 수 있다. 일부 예들에서, XR 시스템은 컨텍스트 정보를 (예컨대, 하나 이상의 카메라들, 하나 이상의 관성 측정 유닛들(IMU) 등과 같은 XR 시스템의 하나 이상의 센서들을 사용하여) 로컬로 및/또는 하나 이상의 원격 소스들(예컨대, 서버, 클라우드, 인터넷, 다른 디바이스들, 하나 이상의 센서들 등)로부터 획득 또는 수신할 수 있다. 컨텍스트 정보는 (사용자가 XR 시스템을 사용하여 상호작용할 수 있는) 다른 디바이스, XR 시스템 및/또는 다른 디바이스가 위치되는 장면 또는 환경, 다른 디바이스와 상호작용하려고 시도하는 XR 시스템의 사용자, 및/또는 임의의 주어진 시점에서의 다른 컨텍스트와 관련될 수 있다. 예를 들어, 컨텍스트 정보는 다른 디바이스와의 의도된 사용자 상호작용, 장면에서의 사용자의 하나 이상의 액션들, 사용자와 연관된 특성들 또는 개인 정보, 사용자 및 다른 디바이스와 연관된 이력 정보(예컨대, 사용자에 의한 디바이스의 과거 사용 등), 다른 디바이스의 사용자 인터페이스 능력(예컨대, 사용자가 볼 수 있거나 또는 달리 액세스 가능한 외측/외부 제어부들을 다른 디바이스가 갖는지 여부), 다른 디바이스와 연관된 정보(예컨대, 다른 디바이스가 XR 시스템으로부터 얼마나 멀리 위치하는지), 장면과 연관된 정보(예컨대, 조명, 잡음 등), 및/또는 다른 정보를 포함할 수 있다.
컨텍스트 정보는 사용자, XR 시스템, 다른 디바이스(들), 장면 등과 연관된 상황/컨텍스트의 컨텍스트 인식을 XR 시스템에 제공할 수 있다. 다른 디바이스와 연관된 입력 옵션들을 식별하는 데이터 및 컨텍스트 정보를 사용하여, XR 시스템은 다른 디바이스와의 사용자 상호작용들을 가능하게 하는 하나 이상의 입력 옵션들에 대응하는 사용자 상호작용 데이터를 출력(예컨대, 제시, 제공, 생성 등)할 수 있다. 일부 경우들에서, XR 시스템은 하나 이상의 입력 옵션들에 대응하는 시각적 콘텐츠/데이터를 제시할 수 있다. 예를 들어, 사용자 상호작용 데이터는 입력 옵션과 연관된 하나 이상의 사용자 인터페이스 요소들, 입력 옵션과 연관된 입력을 제공하는 방법을 나타내는 큐, 및/또는 다른 데이터를 포함할 수 있다. 일부 경우들에서, XR 시스템은 대안적으로 또는 추가적으로 하나 이상의 입력 옵션들에 대응하는 비시각적 데이터를 출력할 수 있다. 예를 들어, XR 시스템은 하나 이상의 입력 옵션들에 대응하는 오디오 큐 또는 명령과 같은 햅틱들 및/또는 오디오 정보를 출력할 수 있다.
컨텍스트 정보는, XR 시스템이 사용자, XR 시스템, 다른 디바이스, 장면과 연관된 상황/컨텍스트를 고려하여 컨텍스트적으로 적절하고/하거나, 아니면 다른 디바이스들과의 상호작용들을 용이하게 하는 콘텐츠(예컨대, 시각적 가상 콘텐츠, 오디오 콘텐츠, 햅틱 피드백 등)를 출력할 수 있게 할 수 있다. 일부 예들에서, XR 시스템은 컨텍스트 정보를 사용하여 사용자 상호작용들 및/또는 연관된 데이터/콘텐츠를 단순화할 수 있다. 예를 들어, 일부 경우들에서, 다른 디바이스는 다수의 입력 기능성들/능력들을 가질 수 있다. XR 시스템은 컨텍스트 정보를 사용하여 XR 시스템 및/또는 현재 컨텍스트에 관련된 디바이스와 연관된 입력 옵션들을 필터링할 수 있다. XR 시스템은 필터링된/감소된 수의 입력 옵션들을 출력하여 사용자 상호작용들, 사용자 상호작용 데이터/콘텐츠 등을 단순화할 수 있다.
위에서 언급된 바와 같이, XR 시스템은 입력 데이터 및 컨텍스트 정보를 사용하여 사용자가 XR 시스템으로부터의 다른 디바이스와 상호작용하도록 사용자 인터페이스 및/또는 입력 옵션들을 렌더링할 수 있다. 일부 경우들에서, XR 시스템은 다른 디바이스와 통신하여 XR 시스템에 의해 렌더링된 사용자 인터페이스와의 사용자 상호작용들에 기초하여 다른 디바이스에 입력들/커맨드들을 제공할 수 있다. 예를 들어, XR 시스템은 다른 디바이스 상의 오버레이 또는 다른 디바이스의 일부(예컨대, 제어, 표면, 디스플레이, 패널 등)로서 사용자에게 보이도록 사용자 인터페이스를 디스플레이하여 다른 디바이스와의 사용자 상호작용들을 용이하게 할 수 있다. XR 시스템은 사용자 인터페이스와의 사용자 상호작용들을 검출 및 변환하여 제어 커맨드들 및/또는 사용자 상호작용 명령들을 생성할 수 있다. 예를 들어, XR 시스템은 디바이스를 통해(예컨대, XR 시스템 및/또는 제어기를 통해) 사용자 제스처 및/또는 입력을 검출하고, 그러한 사용자 제스처 및/또는 입력을 사용자 인터페이스와의 상호작용으로서 해석/변환할 수 있다. 이어서, XR 시스템은 해석/변환된 사용자 제스처 및/또는 입력에 기초하여 다른 디바이스를 제어하기 위한 커맨드/명령을 생성할 수 있다. 오버레이된 사용자 인터페이스와의 상호작용들은 사용자 입력들에 기초하여 다른 디바이스를 제어하거나 및/또는 다른 디바이스로부터의 데이터/출력들에 액세스하기 위해 XR 시스템에 의해 사용될 수 있다. 일부 경우들에서, 다른 디바이스들과의 사용자 상호작용들을 용이하게 하고/하거나 개선하기 위해, XR 시스템은 다른 디바이스를 로컬라이징하고/하거나 맵핑하여 XR 시스템이 다른 디바이스 또는 다른 디바이스의 일부에 대해 사용자 인터페이스를 정확하게 렌더링하게 할 수 있다.
일부 예들에서, XR 시스템은 사용자 인터페이스를 통해 사용자에게 사용자 상호작용 안내 데이터 및/또는 입력 옵션들을 제공하기 위해, 세계 잠금 또는 스크린 잠금 방식으로 장면 위에 오버레이된 사용자 인터페이스를 제시할 수 있다. 일부 경우들에서, 오버레이는 하나 이상의 그래픽 사용자 인터페이스 요소들과 상호작용하는 방법을 사용자에게 나타내는 안내 정보를 갖는 하나 이상의 그래픽 사용자 인터페이스 요소들을 포함할 수 있다.
가상 사설 공간들의 생성에 관한 추가적인 상세들이 다양한 도면들에 관하여 본원에서 제공된다. 도 1은 본 개시의 일부 양태들에 따른, 예시적인 확장 현실(XR) 시스템(100)을 예시한 다이어그램이다. XR 시스템(100)은 XR 애플리케이션들을 구동(또는 실행)하고 XR 동작들을 구현할 수 있다. 일부 예들에서, XR 시스템(100)은 XR 경험의 일부로서, 트래킹(tracking) 및 로컬라이제이션, 물리적 세계(예를 들어, 장면)의 맵핑, 및 디스플레이(109) 상에 가상 콘텐츠의 포지셔닝 및 렌더링을 수행할 수 있다. 예를 들어, XR 시스템(100)은 물리적 세계에서 장면의 맵(예컨대, 3차원(3D) 맵)을 생성하고, 장면에 대한(예컨대, 장면의 3D 맵에 대한) XR 시스템(100)의 포즈(예컨대, 위치 및 포지션)를 추적하고, 장면의 맵 상의 특정 위치(들)에 가상 콘텐츠를 포지셔닝 및/또는 앵커링하고, 디스플레이(109) 상에 가상 콘텐츠를 렌더링할 수 있어, 가상 콘텐츠가 포지셔닝 및/또는 앵커링되는 장면의 맵 상의 특정 위치에 대응하는 장면에서의 위치에 가상 콘텐츠가 있는 것으로 보이게 한다. 디스플레이(109)는 유리, 스크린, 하나 이상의 렌즈, 프로젝터, 및/또는 사용자로 하여금 실세계 환경을 보게 하고 또한 XR 가상 콘텐츠로 하여금 그 위에 디스플레이되게 하는 다른 디스플레이 메커니즘을 포함할 수 있다.
이러한 예시적인 예에서, XR 시스템(100)은 하나 이상의 이미지 센서들(102), 가속도계(104), 자이로스코프(106), 저장부(107), 컴퓨트 컴포넌트들(110), XR 엔진(120), 입력 옵션 엔진(122), 컨텍스트 관리 엔진(123), 이미지 프로세싱 엔진(124), 및 렌더링 엔진(126)을 포함한다. 도 1에 도시된 컴포넌트들(102 내지 126)은 예시적이고 설명 목적으로 제공된 비제한적인 예들이며, 다른 예들은 도 1에 도시된 것들보다 더 많거나, 더 적거나, 또는 상이한 컴포넌트들을 포함할 수 있음을 유의해야 한다. 예를 들어, 일부 경우들에서, XR 시스템(100)은 하나 이상의 다른 센서들(예컨대, 가속도계(104) 및 자이로스코프(106) 이외의 하나 이상의 관성 측정 유닛들(IMU들), 레이더들, 광 검출 및 레인징(LIDAR) 센서들, 오디오 센서들 등), 하나 이상의 디스플레이 디바이스들, 하나 이상의 다른 프로세싱 엔진들, 하나 이상의 다른 하드웨어 컴포넌트들, 및/또는 도 1에 도시되지 않은 하나 이상의 다른 소프트웨어 및/또는 하드웨어 컴포넌트들을 포함할 수 있다. XR 시스템(100)에 의해 구현될 수 있는 예시적인 아키텍처 및 예시적인 하드웨어 컴포넌트들은 도 9와 관련하여 아래에서 추가로 설명된다.
더욱이, 간략화 및 설명의 목적들을 위해, 하나 이상의 이미지 센서들(102)은 본원에서 이미지 센서(102)로서(예컨대, 단수 형태로) 참조될 것이다. 하지만, 당업자는 XR 시스템(100)이 단일의 이미지 센서 또는 다중의 이미지 센서들을 포함할 수 있음을 인식할 것이다. 또한, 단수 또는 복수 형태로의 XR 시스템(100)의 컴포넌트들(예컨대, 102 내지 126) 중 임의의 것에 대한 언급들은 XR 시스템(100)에 의해 구현된 그러한 컴포넌트들의 수를 하나 이상으로 제한하는 것으로서 해석되지 않아야 한다. 예를 들어, 단수 형태로의 가속도계(104)에 대한 언급들은 XR 시스템(100)에 의해 구현된 가속도계들의 수를 하나로 제한하는 것으로서 해석되지 않아야 한다. 당업자는, 도 1에 도시된 컴포넌트들(102 내지 126) 중 임의의 컴포넌트에 대해, XR 시스템(100)이 그러한 컴포넌트(들) 중 오직 하나의 컴포넌트만을 또는 그러한 컴포넌트(들) 중 하나 초과의 컴포넌트들을 포함할 수 있음을 인식할 것이다.
XR 시스템(100)은 입력 디바이스(108)를 포함하거나 입력 디바이스(108)와 (유선 또는 무선으로) 통신한다. 입력 디바이스(108)는 터치스크린, 펜 또는 다른 포인터 디바이스, 키보드, 마우스, 버튼 또는 키, 음성 커맨드들을 수신하기 위한 마이크로폰, 제스처 커맨드들을 수신하기 위한 제스처 입력 디바이스, 이들의 임의의 조합, 및/또는 다른 입력 디바이스와 같은 임의의 적합한 입력 디바이스를 포함할 수 있다. 일부 경우들에서, 이미지 센서(102)는, 제스처 커맨드들을 해석하기 위해 프로세싱될 수 있는 이미지들을 캡처할 수 있다.
XR 시스템(100)은 단일의 컴퓨팅 디바이스 또는 다수의 컴퓨팅 디바이스들의 일부이거나 또는 그에 의해 구현될 수 있다. 일부 예들에서, XR 시스템(100)은 확장 현실 헤드 장착식 디스플레이(HMD) 디바이스, 확장 현실 안경(예컨대, 증강 현실 또는 AR 안경), 카메라 시스템(예컨대, 디지털 카메라, IP 카메라, 비디오 카메라, 보안 카메라 등), 전화 시스템(예컨대, 스마트폰, 셀룰러 전화, 컨퍼런싱 시스템 등), 데스크톱 컴퓨터, 랩톱 또는 노트북 컴퓨터, 태블릿 컴퓨터, 셋톱 박스, 스마트 텔레비전, 디스플레이 디바이스, 게이밍 콘솔, 비디오 스트리밍 디바이스, 사물 인터넷(IoT) 디바이스, 및/또는 임의의 다른 적합한 전자 디바이스(들)과 같은 전자 디바이스(또는 디바이스들)의 일부일 수 있다.
일부 구현들에서, 하나 이상의 이미지 센서들(102), 가속도계(104), 자이로스코프(106), 저장부(107), 컴퓨트 컴포넌트들(110), XR 엔진(120), 입력 옵션 엔진(122), 컨텍스트 관리 엔진(123), 이미지 프로세싱 엔진(124), 및 렌더링 엔진(126)은 동일한 컴퓨팅 디바이스의 일부일 수 있다. 예를 들어, 일부 경우들에서, 하나 이상의 이미지 센서들(102), 가속도계(104), 자이로스코프(106), 저장부(107), 컴퓨트 컴포넌트들(110), XR 엔진(120), 입력 옵션 엔진(122), 컨텍스트 관리 엔진(123), 이미지 프로세싱 엔진(124), 및 렌더링 엔진(126)은 HMD, 확장 현실 안경, 스마트폰, 랩톱, 태블릿 컴퓨터, 게이밍 시스템, 및/또는 임의의 다른 컴퓨팅 디바이스에 통합될 수 있다. 하지만, 일부 구현들에서, 하나 이상의 이미지 센서들(102), 가속도계(104), 자이로스코프(106), 저장부(107), 컴퓨트 컴포넌트들(110), XR 엔진(120), 입력 옵션 엔진(122), 컨텍스트 관리 엔진(123), 이미지 프로세싱 엔진(124), 및 렌더링 엔진(126)은 2 이상의 별도의 컴퓨팅 디바이스들의 일부일 수 있다. 예를 들어, 일부 경우들에서, 컴포넌트들(102 내지 126) 중 일부는 하나의 컴퓨팅 디바이스의 일부이거나 하나의 컴퓨팅 디바이스에 의해 구현될 수 있고, 나머지 컴포넌트들은 하나 이상의 다른 컴퓨팅 디바이스들의 일부이거나 하나 이상의 다른 컴퓨팅 디바이스들에 의해 구현될 수 있다.
저장부(107)는 데이터를 저장하기 위한 임의의 저장 디바이스(들)일 수 있다. 더욱이, 저장부(107)는 XR 시스템(100)의 컴포넌트들 중 임의의 컴포넌트로부터의 데이터를 저장할 수 있다. 예를 들어, 저장부(107)는 이미지 센서(102)로부터의 데이터(예컨대, 이미지 또는 비디오 데이터), 가속도계(104)로부터의 데이터(예컨대, 측정치들), 자이로스코프(106)로부터의 데이터(예컨대, 측정치들), 컴퓨트 컴포넌트들(110)로부터의 데이터(예컨대, 프로세싱 파라미터들, 선호도들, 가상 콘텐츠, 렌더링 콘텐츠, 장면 맵들, 추적 및 로컬라이제이션 데이터, 오브젝트 검출 데이터, 프라이버시 데이터, XR 애플리케이션 데이터, 얼굴 인식 데이터, 폐색 데이터 등), XR 엔진(120)으로부터의 데이터, 입력 옵션 엔진(122)으로부터의 데이터, 컨텍스트 관리 엔진(123)으로부터의 데이터, 이미지 프로세싱 엔진(124)으로부터의 데이터, 및/또는 렌더링 엔진(126)으로부터의 데이터(예컨대, 출력 프레임들)를 저장할 수 있다. 일부 예들에서, 저장부(107)는 컴퓨트 컴포넌트들(110)에 의한 프로세싱을 위한 프레임들을 저장하기 위한 버퍼를 포함할 수 있다.
하나 이상의 컴퓨트 컴포넌트들(110)은 중앙처리장치(CPU)(112), 그래픽 처리 장치(GPU)(114), 디지털 신호 프로세서(DSP)(116), 및/또는 이미지 신호 프로세서(ISP)(118)를 포함할 수 있다. 컴퓨트 컴포넌트들(110)은 이미지 향상, 컴퓨터 비전, 그래픽스 렌더링, 확장 현실(예컨대, 추적, 로컬라이제이션, 포즈 추정, 맵핑, 콘텐츠 앵커링, 콘텐츠 렌더링 등), 이미지/비디오 프로세싱, 센서 프로세싱, 인식(예컨대, 텍스트 인식, 얼굴 인식, 오브젝트 인식, 피처 인식, 추적 또는 패턴 인식, 장면 인식, 폐색 검출 등), 기계 학습, 필터링, 및 본원에서 설명된 다양한 동작들 중 임의의 것과 같은 다양한 동작들을 수행할 수 있다. 이 예에서, 컴퓨트 컴포넌트들(110)은 XR 엔진(120), 입력 옵션 엔진(122), 컨텍스트 관리 엔진(123), 이미지 프로세싱 엔진(124), 및 렌더링 엔진(126)을 구현한다. 다른 예들에서, 컴퓨트 컴포넌트들(110)은 또한, 하나 이상의 다른 프로세싱 엔진들을 구현할 수 있다.
이미지 센서(102)는 임의의 이미지 및/또는 비디오 센서들 또는 캡처링 디바이스들을 포함할 수 있다. 일부 예들에서, 이미지 센서(102)는 듀얼-카메라 조립체, 3-카메라 조립체, 4-카메라 조립체, 또는 다른 수의 카메라들과 같은 다중-카메라 조립체의 파트일 수 있다. 일부 예들에서, 이미지 센서(102)는 하나 이상의 가시광 카메라들의 임의의 조합(예컨대, 적색-녹색-청색 또는 RGB 이미지들과 같은 단색 또는 컬러 이미지들을 캡처하도록 구성됨), 하나 이상의 적외선(IR) 카메라들 및/또는 근적외선(NIR) 카메라들, 하나 이상의 심도 센서들, 및/또는 다른 유형의 이미지 센서(들) 또는 카메라(들)를 포함할 수 있다.
이미지 센서(102)는 이미지 및/또는 비디오 콘텐츠(예를 들어, 원시 이미지 및/또는 비디오 데이터)를 캡처할 수 있으며, 이는 이어서 본원에 설명된 바와 같이 컴퓨트 컴포넌트들(110), XR 엔진(120), 입력 옵션 엔진(122), 컨텍스트 관리 엔진(123), 이미지 프로세싱 엔진(124), 및/또는 렌더링 엔진(126)에 의해 프로세싱될 수 있다. 예를 들어, 이미지 센서(102)는 이미지 데이터를 캡처할 수 있고, 이미지 데이터에 기초하여 프레임들을 생성할 수 있고/있거나 이미지 데이터 또는 프레임들을 프로세싱을 위해 컴퓨트 컴포넌트들(110), XR 엔진(120), 입력 옵션 엔진(122), 컨텍스트 관리 엔진(123), 이미지 프로세싱 엔진(124), 및/또는 렌더링 엔진(126)에 제공할 수 있다. 프레임은 비디오 시퀀스 또는 스틸 이미지의 비디오 프레임을 포함할 수 있다. 프레임은, 장면을 나타내는 픽셀 어레이를 포함할 수 있다. 예를 들어, 프레임은 픽셀당 적색, 녹색 및 청색 색상 컴포넌트들을 갖는 적색-녹색-청색(RGB) 프레임; 픽셀당 루마 컴포넌트 및 2개의 크로마(색상) 컴포넌트들(크로마-적색 및 크로마-청색)을 갖는 루마, 크로마-적색, 크로마-청색(YCbCr) 프레임; 또는 임의의 다른 적합한 유형의 색상 또는 단색 픽처일 수 있다.
일부 경우들에서, 이미지 센서(102)(및/또는 XR 시스템(100)의 다른 카메라)는 또한, 심도 정보를 캡처하도록 구성될 수 있다. 예를 들어, 일부 구현들에서, 이미지 센서(102)(및/또는 다른 카메라)는 RGB-심도(RGB-D) 카메라를 포함할 수 있다. 일부 예들에서, XR 시스템(100)은, 이미지 센서(102)(및/또는 다른 카메라)와는 별도이고 심도 정보를 캡처할 수 있는 하나 이상의 심도 센서들(도시되지 않음)을 포함할 수 있다. 예를 들어, 그러한 심도 센서는 이미지 센서(102)와는 독립적으로 심도 정보를 획득할 수 있다. 일부 예들에서, 심도 센서는 이미지 센서(102)와 동일한 일반적 위치에서 물리적으로 설치될 수 있지만, 이미지 센서(102)와는 상이한 주파수 또는 프레임 레이트로 동작할 수도 있다. 일부 예들에서, 심도 센서는, 광의 하나 이상의 협대역들을 포함할 수도 있는 구조화된 또는 텍스처링된 광 패턴을 장면에서의 하나 이상의 오브젝트들 상으로 프로젝션할 수 있는 광원의 형태를 취할 수 있다. 그 다음, 심도 정보는, 오브젝트의 표면 형상에 의해 야기되는 프로젝션된 패턴의 기하학적 왜곡들을 활용함으로써 획득될 수 있다. 일 예에서, 심도 정보는, 카메라(예컨대, RGB 카메라)에 등록된 적외선 구조화된 광 프로젝터 및 적외선 카메라의 조합과 같은 스테레오 센서들로부터 획득될 수도 있다.
XR 시스템(100)은 또한 이미지 센서(102) 이외의 하나 이상의 센서들을 포함한다. 하나 이상의 센서들은 하나 이상의 가속도계들(예를 들어, 가속도계(104)), 하나 이상의 자이로스코프들(예를 들어, 자이로스코프(106)), 및/또는 다른 센서들을 포함할 수 있다. 하나 이상의 센서들은 속도, 배향, 및/또는 다른 포지션 관련 정보를 컴퓨트 컴포넌트들(110)에 제공할 수 있다. 예를 들어, 가속도계(104)는 XR 시스템(100)에 의한 가속도를 검출할 수 있고, 검출된 가속도에 기초하여 가속도 측정치들을 생성할 수 있다. 일부 경우들에서, 가속도계(104)는, XR 시스템(100)의 포지션 또는 포즈를 결정하기 위해 사용될 수 있는 하나 이상의 병진 벡터들(예컨대, 위/아래, 좌측/우측, 전방/후방)을 제공할 수 있다. 자이로스코프(106)는 XR 시스템(100)의 배향 및 각속도를 검출하고 측정할 수 있다. 예를 들어, 자이로스코프(106)는 XR 시스템(100)의 피치(pitch), 롤(roll), 및 요(yaw)를 측정하는 데 사용될 수 있다. 일부 경우들에서, 자이로스코프(106)는 하나 이상의 회전 벡터들(예컨대, 피치, 요, 롤)을 제공할 수 있다. 일부 예들에서, 이미지 센서(102) 및/또는 XR 엔진(120)은, XR 시스템(100)의 포즈를 계산하기 위해 가속도계(104)(예컨대, 하나 이상의 병진 벡터들) 및/또는 자이로스코프(106)(예컨대, 하나 이상의 회전 벡터들)에 의해 획득된 측정치들을 사용할 수 있다. 전술된 바와 같이, 다른 예들에서, XR 시스템(100)은 또한, 관성 측정 유닛(IMU), 자력계, 시선 및/또는 눈 추적 센서(예컨대, 눈 추척 카메라), 기계 비전 센서, 스마트 장면 센서, 스피치 인식 센서, 충돌 센서, 충격 센서, 포지션 센서, 기울기 센서 등과 같은 다른 센서들을 포함할 수 있다.
일부 경우들에서, 하나 이상의 센서들은 적어도 하나의 IMU를 포함할 수 있다. IMU는, 하나 이상의 가속도계들, 하나 이상의 자이로스코프들, 및/또는 하나 이상의 자력계들의 조합을 사용하여, XR 시스템(100)의 특정한 힘, 각도 레이트, 및/또는 배향을 측정하는 전자 디바이스이다. 일부 예들에서, 하나 이상의 센서들은, 이미지 센서(102)(및/또는 XR 시스템(100)의 다른 카메라)에 의해 캡처된 이미지의 캡처와 연관된 측정된 정보 및/또는 XR 시스템(100)의 하나 이상의 심도 센서들을 사용하여 획득된 심도 정보를 출력할 수 있다.
하나 이상의 센서들(예컨대, 가속도계(104), 자이로스코프(106), 하나 이상의 다른 유형의 IMU, 및/또는 다른 센서들)의 출력은, XR 시스템(100)의 포즈(머리 포즈라고도 함) 및/또는 이미지 센서(102)(또는 XR 시스템(100)의 다른 카메라)의 포즈를 결정하기 위해 확장 현실 엔진(120)에 의해 사용될 수 있다. 일부 경우들에서, XR 시스템(100)의 포즈 및 이미지 센서(102)(또는 다른 카메라)의 포즈는 동일할 수 있다. 이미지 센서(102)의 포즈는 (예컨대, 오브젝트(202)에 대한) 레퍼런스의 프레임에 대한 이미지 센서(102)의 포지션 및 배향을 지칭한다. 일부 구현들에서, 카메라 포즈는, 3개의 병진 컴포넌트들(예컨대, 이는 이미지 평면과 같은 레퍼런스의 프레임에 대해 X(수평), Y(수직), 및 Z(심도) 좌표들에 의해 주어질 수 있음) 및 3개의 각도 컴포넌트들(예컨대, 레퍼런스의 동일한 프레임에 대한 롤, 피치 및 요)을 지칭하는 6 자유도(6DOF)에 대해 결정될 수 있다.
일부 경우들에서, 디바이스 추적기(도시되지 않음)는, XR 시스템(100)의 포즈(예컨대, 6DOF 포즈)를 추적하기 위해 하나 이상의 센서들로부터의 측정치들 및 이미지 센서(102)로부터의 이미지 데이터를 사용할 수 있다. 예를 들어, 디바이스 추적기는, 물리적 세계(예컨대, 장면) 및 물리적 세계의 맵에 대한 XR 시스템(100)의 포지션 및 모션을 결정하기 위해 이미지 데이터로부터의 (예컨대, 시각적 추적 솔루션을 사용한) 시각적 데이터를 측정치들로부터의 관성 데이터와 융합할 수 있다. 하기에서 설명되는 바와 같이, 일부 예들에서, XR 시스템(100)의 포즈를 추적할 때, 디바이스 추적기는 장면(예컨대, 실세계)의 3차원(3D) 맵을 생성하고/하거나 장면의 3D 맵에 대한 업데이트들을 생성할 수 있다. 3D 맵 업데이트들은, 예를 들어 그리고 제한 없이, 장면 및/또는 장면의 3D 맵과 연관된 새로운 또는 업데이트된 피처들 및/또는 피처 또는 랜드마크 포인트들, 장면 및 장면의 3D 맵 내의 XR 시스템(100)의 포지션을 식별하거나 업데이트하는 로컬라이제이션 업데이트들 등을 포함할 수 있다. 3D 맵은 현실/물리적 세계에서 장면의 디지털 표현을 제공할 수 있다. 일부 예들에서, 3D 맵은 위치 기반 오브젝트들 및/또는 콘텐츠를 실세계 좌표들 및/또는 오브젝트들에 앵커링할 수 있다. XR 시스템(100)은, 물리적 세계와 가상 세계를 병합하고/하거나 가상 콘텐츠 또는 오브젝트들을 물리적 환경과 병합하기 위해 맵핑된 장면(예컨대, 3D 맵에 의해 표현되고/되거나 3D 맵과 연관된 물리적 세계에서의 장면)을 사용할 수 있다.
일부 양태들에서, 이미지 센서(102) 및/또는 XR 시스템(100)의 전체로서의 포즈는, 이미지 센서(102)(및/또는 XR 시스템(100)의 다른 카메라)에 의해 캡처된 이미지들에 기초하여 시각적 추적 솔루션을 사용하여 컴퓨트 컴포넌트들(110)에 의해 결정 및/또는 추적될 수 있다. 예를 들어, 일부 예들에서, 컴퓨트 컴포넌트들(110)은 컴퓨터 비전 기반 추적, 모델 기반 추적, 및/또는 동시 로컬라이제이션 및 맵핑(SLAM) 기법들을 사용하여 추적을 수행할 수 있다. 예를 들어, 컴퓨트 컴포넌트들(110)은 SLAM을 수행할 수 있거나 SLAM 엔진(도시되지 않음)과 통신(유선 또는 무선)할 수 있다. SLAM은, 환경의 맵(예컨대, XR 시스템(100)에 의해 모델링되는 환경의 맵)이 그 맵에 대해 카메라(예컨대, 이미지 센서(102)) 및/또는 XR 시스템(100)의 포즈를 동시에 추적하면서 생성되는 기법들의 클래스를 지칭한다. 맵은 SLAM 맵으로서 지칭될 수 있고, 3차원(3D)일 수 있다. SLAM 기법들은 이미지 센서(102)(및/또는 XR 시스템(100)의 다른 카메라)에 의해 캡처된 컬러 또는 그레이스케일 이미지 데이터를 사용하여 수행될 수 있고, 이미지 센서(102) 및/또는 XR 시스템(100)의 6DOF 포즈 측정치들의 추정치들을 생성하는 데 사용될 수 있다. 6DOF 추적을 수행하도록 구성된 그러한 SLAM 기법은 6DOF SLAM으로서 지칭될 수 있다. 일부 경우들에서, 하나 이상의 센서들(예컨대, 가속도계(104), 자이로스코프(106), 하나 이상의 IMU들, 및/또는 다른 센서들)의 출력은 추정된 포즈를 추정, 보정, 및/또는 그렇지 않으면 조정하기 위해 사용될 수 있다.
일부 경우들에서, 6DOF SLAM(예컨대, 6DOF 추적)은 이미지 센서(102)(및/또는 다른 카메라)로부터의 특정 입력 이미지들로부터 관측된 피처들을 SLAM 맵에 연관시킬 수 있다. 예를 들어, 6DOF SLAM은, 입력 이미지에 대한 이미지 센서(102) 및/또는 XR 시스템(100)의 포즈(포지션 및 배향)를 결정하기 위해 입력 이미지로부터의 피처 포인트 연관들을 사용할 수 있다. 6DOF 맵핑은 또한, SLAM 맵을 업데이트하기 위해 수행될 수 있다. 일부 경우들에서, 6DOF SLAM을 사용하여 유지되는 SLAM 맵은 2 이상의 이미지들로부터 삼각측량된 3D 피처 포인트들을 포함할 수 있다. 예를 들어, 키 프레임들은, 관측된 장면을 나타내기 위해 입력 이미지들 또는 비디오 스트림으로부터 선택될 수 있다. 모든 키 프레임에 대해, 이미지와 연관된 개별 6DOF 카메라 포즈가 결정될 수 있다. 이미지 센서(102) 및/또는 XR 시스템(100)의 포즈는 3D SLAM 맵으로부터의 피처들을 이미지 또는 비디오 프레임에 프로젝션하는 것 및 검증된 2D-3D 대응들로부터 카메라 포즈를 업데이트하는 것에 의해 결정될 수 있다.
하나의 예시적인 예에서, 컴퓨트 컴포넌트들(110)은 모든 입력 이미지로부터 또는 각각의 키 프레임으로부터 피처 포인트들을 추출할 수 있다. 본원에서 사용되는 바와 같은 피처 포인트(등록 포인트로서도 또한 지칭됨)는, 다른 것들 중에서, 손의 일부, 테이블의 에지와 같이 이미지의 독특한 또는 식별 가능한 일부이다. 캡처된 이미지로부터 추출된 피처들은 3차원 공간을 따라 별개의 피처 포인트들(예컨대, X, Y 및 Z축 상의 좌표들)을 나타낼 수 있고, 모든 피처 포인트는 연관된 피처 위치를 가질 수 있다. 키 프레임들에서의 피처 포인트들은 이전에 캡처된 입력 이미지들 또는 키 프레임들의 피처 포인트들과 일치(동일 또는 대응)하거나 또는 일치하는 데 실패한다. 피처 검출은 피처 포인트들을 검출하는데 사용될 수 있다. 피처 검출은, 피처가 특정 픽셀에 존재하는지 여부를 결정하기 위해 이미지의 하나 이상의 픽셀들을 검사하는데 사용되는 이미지 프로세싱 동작을 포함할 수 있다. 피처 검출은 전체 캡처된 이미지 또는 이미지의 특정 부분들을 프로세싱하는데 사용될 수 있다. 각각의 이미지 또는 키 프레임에 대해, 일단 피처들이 검출되었으면, 피처 주위의 로컬 이미지 패치가 추출될 수 있다. 피처들은 SIFT(Scale Invariant Feature Transform)(이는 피처들을 로컬라이징하고 그들의 디스크립션들을 생성함), SURF(Speed Up Robust Features), GLOH(Gradient Location-Orientation Histogram), NCC(Normalized Cross Correlation), 또는 다른 적합한 기법과 같은 임의의 적합한 기법을 사용하여 추출될 수도 있다.
일부 경우들에서, XR 시스템(100)은 또한, 사용자로 하여금 가상 환경에서의 가상 콘텐츠(예컨대, 가상 사설 공간에 디스플레이된 가상 콘텐츠)와 상호작용하게 하고/하거나 가상 콘텐츠를 제어하게 하도록 사용자의 손 및/또는 손가락들을 추적할 수 있다. 예를 들어, XR 시스템(100)은, 가상 환경과의 사용자 상호작용들을 식별하거나 변환하기 위해 사용자의 손 및/또는 손가락 끝들의 포즈 및/또는 움직임을 추적할 수 있다. 사용자 상호작용들은, 예를 들어 그리고 제한 없이, 가상 콘텐츠의 아이템을 이동시키는 것, 가상 콘텐츠의 아이템 및/또는 가상 사설 공간의 위치를 리사이징하는 것, 가상 사용자 인터페이스(예컨대, 모바일 폰의 가상 표현, 가상 키보드, 및/또는 다른 가상 인터페이스)에서 입력 인터페이스 요소를 선택하는 것, 가상 사용자 인터페이스를 통해 입력을 제공하는 것 등을 포함할 수 있다.
도 2는, 본원에서 설명된 바와 같은 가상 사설 공간 내에서 디스플레이된 가상 콘텐츠와 같이, 손(200)의 포지션들 및 가상 환경과의 손(200)에 의한 상호작용들을 추적하기 위해 사용될 수 있는 손(200)의 예시적인 랜드마크 포인트들을 예시한 다이어그램이다. 도 2에 도시된 랜드마크 포인트들은 손(200)의 손바닥 상의 랜드마크 포인트(235), 손(200)의 엄지 손가락 상의 랜드마크 포인트들(230), 손(200)의 집게 손가락 상의 랜드마크 포인트들(232), 손(200)의 중지 손가락 상의 랜드마크 포인트들(234), 손(200)의 약지 손가락 상의 랜드마크 포인트들(236), 및 손(200)의 새끼손가락 상의 랜드마크 포인트들(238)을 포함하여 손(200)의 상이한 일부들에 대응한다. 손(200)의 손바닥은 3개의 병진 방향들(예컨대, 이미지 평면과 같은 평면에 대해 X, Y, 및 Z 방향들로 측정됨) 및 3개의 회전 방향들(예컨대, 평면에 대해 요, 피치 및 롤로 측정됨)로 이동할 수 있고, 따라서, 등록 및/또는 추적을 위해 사용될 수 있는 6 자유도(6DOF)를 제공할 수 있다. 손바닥의 6DOF 움직임은, 범례(240)에 표시된 바와 같이, 도 2에서 정사각형으로서 예시된다.
손(200)의 손가락들의 상이한 관절들은, 범례(240)에 예시된 바와 같이, 상이한 정도의 움직임을 허용한다. 도 2에서 다이아몬드 형상들(예컨대, 다이아몬드(233))에 의해 예시된 바와 같이, 각각의 손가락의 기저부(근위 지골과 중수골 사이의 중수지절 관절(MCP)에 대응함)는 외전 및 내전뿐만 아니라 굴곡 및 신장에 대응하는 2 자유도(2DOF)를 갖는다. 도 2에서 원 형상들(예컨대, 원(231))에 의해 예시된 바와 같이, 각각의 손가락의 상부 관절들(원위, 중간, 및 근위 지골들 사이의 지절간 관절들에 대응함)의 각각은 굴곡 및 신장에 대응하는 1 자유도(1DOF)를 갖는다. 결과적으로, 손(200)은, XR 시스템(100)에 의해 렌더링된 가상 콘텐츠와의 손(200)에 의한 상호작용들 및 손(200)을 추적하기 위한 26 자유도(26DOF)를 제공한다.
XR 시스템(100)은, 손(200)을 추적(예컨대, 손(200)의 포즈 및/또는 움직임을 추적)하고 XR 시스템(100)에 의해 렌더링된 가상 환경과의 상호작용들을 추적하기 위해 손(200) 상의 랜드마크 포인트들 중 하나 이상을 사용할 수 있다. 상기에서 언급된 바와 같이, 손(200) 상의 하나 이상의 랜드마크 포인트들의 검출의 결과로서, XR 시스템(100)에 대한 상대적인 물리적 포지션에서의 랜드마크들(및 따라서, 손 및 손가락들)의 포즈가 확립될 수 있다. 예를 들어, 손(200)의 손바닥들 상의 랜드마크 포인트들(예컨대, 랜드마크 포인트(235))이 이미지에서 검출될 수 있고, 랜드마크 포인트들의 위치들은 XR 시스템(100)의 이미지 센서(102)에 대해 결정될 수 있다. XR 시스템(100)에 의해 렌더링된 가상 콘텐츠의 아이템의 포인트(예컨대, 질량 중심 또는 다른 중심 포인트와 같은 중심 포인트)는 손(200)의 손바닥들 상의 랜드마크 포인트들에 대해 결정된 위치들에 대한 XR 시스템(100)의 디스플레이(예컨대, 도 1의 디스플레이(109)) 상의 포지션(또는 디스플레이 상의 렌더링)으로 변환될 수 있다.
하기에서 설명되는 바와 같이, XR 시스템(100)은 또한, 가상 콘텐츠 및/또는 손(200)을(하나 이상의 이미지들에서 검출되는 바와 같은) 실세계에서의 포인트들에 및/또는 사용자의 다른 일부들에 등록할 수 있다. 예를 들어, 일부 구현들에서, XR 시스템(100)에 대한 손(200)(또는 XR 시스템(100))의 물리적 포즈 및/또는 가상 콘텐츠의 아이템을 결정하는 것에 부가하여, XR 시스템(100)은, 다른 것들 중에서, 벽들 상의 독특한 포인트들(피처 포인트들로서 지칭됨), 오브젝트들의 하나 이상의 코너들, 바닥 상의 피처들, 인간 얼굴 상의 포인트들, 인근 디바이스들 상의 포인트들과 같은 다른 랜드마크들의 위치를 결정할 수 있다. 일부 경우들에서, XR 시스템(100)은, 예를 들어, 환경에서의 검출된 오브젝트들 및/또는 인간들에 대응할 수 있는 환경에서 검출된 피처 포인트들에 대해 특정 포지션 내에 가상 콘텐츠를 배치할 수 있다.
일부 예들에서, XR 시스템(100)(및/또는 사용자의 머리)의 포즈는, 예를 들어, 이미지 센서(102)로부터의 이미지 데이터 및/또는 가속도계(104), 자이로스코프(106), 및/또는 하나 이상의 다른 센서들(예컨대, 하나 이상의 자력계들, 하나 이상의 관성 측정 유닛들(IMU들) 등)과 같은 하나 이상의 센서들로부터의 측정치들을 사용하여 결정될 수 있다. 머리 포즈는 가상 콘텐츠, 손(200), 및/또는 환경에서의 오브젝트들 및/또는 인간들의 포지션을 결정하는데 사용될 수 있다.
XR 엔진(120), 입력 옵션 엔진(122), 컨텍스트 관리 엔진(123), 이미지 프로세싱 엔진(124), 및 렌더링 엔진(126)(및 임의의 이미지 프로세싱 엔진들)에 대한 동작들은 컴퓨트 컴포넌트들(110) 중 임의의 것에 의해 구현될 수 있다. 하나의 예시적인 예에서, 렌더링 엔진(126)의 동작들은 GPU(114)에 의해 구현될 수 있고, XR 엔진(120), 입력 옵션 엔진(122), 컨텍스트 관리 엔진(123), 및 이미지 프로세싱 엔진(124)의 동작들은 CPU(112), DSP(116), 및/또는 ISP(118)에 의해 구현될 수 있다. 일부 경우들에서, 컴퓨트 컴포넌트들(110)은 본원에서 설명된 다양한 동작들 중 임의의 것을 수행하기 위해 다른 전자 회로들 또는 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있다.
일부 예들에서, XR 엔진(120)은 이미지 센서(102), 가속도계(104), 자이로스코프(106), 및/또는 하나 이상의 IMU들, 레이더들 등과 같은, XR 시스템(100) 상의 하나 이상의 센서들로부터의 데이터에 기초하여 XR 경험을 생성하기 위해 XR 동작들을 수행할 수 있다. 일부 예들에서, XR 엔진(120)은 트래킹, 로컬라이제이션, 포즈 추정, 맵핑, 콘텐츠 앵커링 동작들 및/또는 임의의 다른 XR 동작들/기능성들을 수행할 수 있다. XR 경험은 가상 세션 동안 사용자에게 XR 콘텐츠(예컨대, 가상 현실 콘텐츠, 증강 현실 콘텐츠, 혼합 현실 콘텐츠 등)를 제시하기 위한 XR 시스템(100)의 사용을 포함할 수 있다. 일부 예들에서, XR 콘텐츠 및 경험은, 다른 것들 중에서, 예를 들어, XR 게이밍 경험, XR 교실 경험, XR 쇼핑 경험, XR 엔터테인먼트 경험, XR 활동(예컨대, 동작, 트러블 슈팅 활동 등)과 같은 특정 XR 경험을 제공하는 XR 애플리케이션(예컨대, XR 엔진(120)에 의해 실행되거나 구현됨)을 통해 XR 시스템(100)에 의해 제공될 수 있다. XR 경험 동안, 사용자는 XR 시스템(100)을 사용하여 가상 콘텐츠를 뷰잉하고/하거나 가상 콘텐츠와 상호작용할 수 있다. 일부 경우들에서, 사용자는 가상 콘텐츠를 뷰잉하고/하거나 가상 콘텐츠와 상호작용할 수 있는 한편, 또한, 사용자 주위의 물리적 환경을 뷰잉하고/하거나 물리적 환경과 상호작용할 수 있어, 사용자로 하여금 물리적 환경과 그 물리적 환경과 혼합되거나 통합된 가상 콘텐츠 사이에 몰입형 경험을 갖게 할 수 있다.
XR 엔진(120), 입력 옵션 엔진(122), 및 컨텍스트 관리 엔진(123)은 하나 이상의 다른 디바이스들에 대해 특정 가상 콘텐츠를 어떻게, 어디에서, 및/또는 언제 렌더링할지 결정(및 관리)하기 위해 다양한 동작들을 수행할 수 있다. 예를 들어, XR 엔진(120), 입력 옵션 엔진(122), 및 컨텍스트 관리 엔진(123)은, 예를 들어 연결된 디바이스들(예컨대, 네트워크 연결된 카메라들, 스피커들, 전구들, 허브들, 잠금장치들, 플러그들, 서모스탯들, 디스플레이들, 알람 시스템들, 텔레비전들(TV), 도구들, 어플라이언스들 등), 모바일 디바이스들, 외측/외부 제어부들을 결여한 디바이스들, 디스플레이 및/또는 사용자 인터페이스를 결여한 디바이스들, 디바이스들과 상호작용하기를 원하는 사용자에게 하나 이상의 어려움을 제시하는 특정 특성들을 갖는 그러한 디바이스들(예컨대, 사용자가 이해할 수 없는 언어로 된 제어부들/인터페이스들, 사용자가 인식/이해할 수 없는 제어부들/인터페이스들, 제한된 접근성 옵션들, 사용자가 용이하게 인식/이해할 수 없는 입력 옵션들 등을 갖는 디바이스들), 사용자의 손에 닿지 않는 제어부들/인터페이스들을 갖는 디바이스들, 및/또는 임의의 다른 디바이스들과 같은 다른 디바이스들과의 상호작용들을 용이하게 할 수 있다. 예를 들어, 입력 옵션 엔진(122)은 다른 디바이스의 하나 이상의 입력 옵션들을 나타내거나 또는 식별하는 입력 데이터를 획득 또는 수신할 수 있다. 입력 옵션 엔진(122)은 입력 데이터를 XR 엔진(120)으로 전송할 수 있다. 컨텍스트 관리 엔진(123)은 (사용자가 XR 시스템(100)을 사용하여 상호작용할 수 있는) 다른 디바이스, XR 시스템 및/또는 다른 디바이스가 위치되는 장면 또는 환경, 다른 디바이스와 상호작용하려고 시도하는 XR 시스템의 사용자, 및/또는 다른 컨텍스트와 관련된 정보(예컨대, 컨텍스트 정보 등)를 획득 또는 수신할 수 있다. 컨텍스트 관리 엔진(123)은 컨텍스트 정보를 XR 엔진(120)으로 전송할 수 있다.
디바이스에 대한 하나 이상의 입력 옵션들을 나타내는 입력 데이터를 사용하여 및/또는 컨텍스트 정보를 사용하여, XR 엔진(120)은 렌더링 엔진(126)으로 하여금 관련 정보를 사용자에게 제시하게 할 수 있다. 예를 들어, XR 엔진(120)은 렌더링 엔진(126)으로 하여금 관련 컨텍스트 정보가 결정되었던 입력 옵션에 대응하는 안내 데이터를 출력하게 할 수 있다. 안내 데이터는, 다른 디바이스에 대해 어떤 입력 옵션들이 이용 가능한지, 그러한 입력들을 어떻게 제공하는지 등을 사용자에게 알릴 수 있다. 일부 예들에서, 안내 데이터는 (예컨대, XR 시스템(100), 장면, 다른 디바이스, 및/또는 XR 시스템(100)과 연관된 사용자와 관련된 정보의 관점에서) 현재 컨텍스트를 고려하여 덜 관련되거나 또는 이용 가능하지 않을 수 있는 입력 옵션들(및/또는 연관된 정보)을 필터링할 수 있다. 일부 예들에서, 디바이스에 대한 하나 이상의 입력 옵션들을 나타내는 입력 데이터를 사용 및/또는 컨텍스트 정보를 사용하여, XR 엔진(120)은 렌더링 엔진(126)으로 하여금 디바이스와 상호작용하기 위한(예컨대, 제어하는 것, 콘텐츠에 액세스하는 것, 상태 정보에 액세스하는 것, 출력들에 액세스하는 것 등) 사용자 인터페이스 및/또는 입력 옵션들을 제시하게 할 수 있다.
예를 들어, 다른 디바이스와 연관된 입력 옵션들을 식별하는 입력 데이터와 컨텍스트 정보에 기초하여, XR 엔진(120)은 렌더링 엔진(126)으로 하여금 다른 디바이스와의 사용자 상호작용들을 가능하게 하는 하나 이상의 입력 옵션들에 대응하는 사용자 상호작용 데이터를 제시하게 할 수 있다. 예를 들어, 사용자 상호작용 데이터는 입력 옵션과 연관된 하나 이상의 사용자 인터페이스 요소들(예컨대, 선택 가능한 제어 옵션 등), 입력 옵션과 연관된 입력을 제공하는 방법을 나타내는 큐(예컨대, 하이라이트, 화살표, 텍스트 등), 및/또는 다른 데이터를 포함할 수 있다. 컨텍스트 정보는, XR 엔진(120)이 사용자, XR 시스템(100), 다른 디바이스, 장면과 연관된 상황/컨텍스트를 고려하여 컨텍스트적으로 적절한/하거나, 아니면 다른 디바이스들과의 상호작용들을 용이하게 하는 콘텐츠(예컨대, 가상 콘텐츠, 오디오 콘텐츠, 사용자 인터페이스 콘텐츠 등)를 제시할 수 있게 할 수 있다. 일부 경우들에서, XR 엔진(120)은 렌더링 엔진(126)으로 하여금 콘텐츠를 제시하지 않거나, 또는 (예컨대, 사용자 인터페이스 옵션들의 서브세트를 디스플레이하기 위해) 컨텍스트에 기초하여 디스플레이할 가상 콘텐츠의 양을 감소 또는 필터링하게 할 수 있다.
일부 경우들에서, XR 엔진(120)은 다른 디바이스들과의 상호작용들을 용이하게 하기 위해 XR 엔진(120)의 XR 능력들을 활용할 수 있다. 예를 들어, XR 시스템(100)은, XR 시스템(100)의 디스플레이 상에 가상 콘텐츠를 디스플레이하는 능력과 같은 AR 능력들을 가질 수 있지만, 또한 사용자로 하여금 디스플레이를 통해 실세계 환경을 보게 할 수 있다. XR 엔진(120)은 AR 능력들을 활용하여 사용자가 다른 디바이스와 상호작용하기 위한 사용자 인터페이스를 직접 또는 (예컨대, 입력 디바이스(108)를 사용하여) XR 엔진(120)에 입력을 제공함으로써 렌더링할 수 있다. 예를 들어, 렌더링 엔진(126)은 사용자 인터페이스가 다른 디바이스 상의 오버레이 또는 다른 디바이스의 일부(예컨대, 제어, 표면, 디스플레이, 패널 등)로서 사용자에게 보이도록 디스플레이 상의 사용자 인터페이스를 렌더링하여 다른 디바이스와의 사용자 상호작용들을 용이하게 할 수 있다. 오버레이된 사용자 인터페이스와의 상호작용들은 사용자 입력들에 기초하여 다른 디바이스를 제어하거나 및/또는 다른 디바이스로부터의 데이터/출력들에 액세스하기 위해 XR 엔진(120)(또는 XR 시스템(100)의 다른 컴포넌트)에 의해 사용될 수 있다. 일부 경우들에서, 다른 디바이스들과의 사용자 상호작용들을 용이하게 하고/하거나 개선하기 위해, XR 시스템(100)은 다른 디바이스를 로컬라이징 하고/하거나 맵핑할 수 있다. 예를 들어, XR 시스템(100)은 다른 디바이스를 로컬라이징하고 로컬라이제이션 정보를 사용하여 다른 디바이스 또는 다른 디바이스의 일부 상에 오버레이된 사용자 인터페이스를 렌더링할 수 있다.
XR 시스템(100)은 장면에서의 검출된 피처 포인트들에 가상 콘텐츠의 아이템들(예컨대, 장면에서의 검출된 피처 포인트들에 대해 포지셔닝됨)을 등록 또는 앵커링할 수 있다. 예를 들어, 입력 옵션 엔진(122), 컨텍스트 관리 엔진(123), 및/또는 이미지 프로세싱 엔진(124)은 XR 엔진(120) 및/또는 렌더링 엔진(126)을 조정하여 사용자 인터페이스의 가상 콘텐츠를 가상 콘텐츠가 디스플레이될 표면의 피처 포인트들에 앵커링할 수 있다.
일부 예들에서, XR 시스템(100)은 하나 이상의 다른 디바이스들과 통신하여 렌더링 엔진(126)에 의해 렌더링된 사용자 인터페이스와의 사용자 상호작용들에 기초하여 다른 디바이스에 입력들/커맨드들을 제공할 수 있다. 예를 들어, XR 엔진(120)은, XR 시스템(100)으로 하여금 렌더링된 사용자 인터페이스 및/또는 입력 옵션들을 통해 수신된 사용자 입력에 기초하여 커맨드를 디바이스에 (송신기 또는 송수신기를 사용하여) 전송하게 할 수 있다. 커맨드는 디바이스로 하여금 사용자 입력에 기초하여 하나 이상의 기능들을 수행하게 할 수 있다.
다른 예들에서, XR 엔진(120)은 하나 이상의 상호작용 모드들(예컨대, 시각적, 음성/오디오, 제스처 기반, 모션 기반 등)을 활용하여 다른 디바이스와의 사용자 상호작용들을 용이하게 할 수 있다. 예를 들어, XR 엔진(120)은 손 추적 및/또는 제스처 인식 능력들을 사용하여 사용자로 하여금 다른 디바이스들과 상호작용(예컨대, 제어, 액세스 등)하기 위해 제스처들 및 다른 상호작용들을 사용하게 할 수 있다. 다른 예로서, XR 엔진(120)은 스피치 인식을 사용하여 사용자로 하여금 음성 커맨드들을 사용하여 다른 디바이스들과 상호작용하게 할 수 있다.
위에서 언급된 바와 같이, 입력 데이터는 다른 디바이스와 상호작용하는 데 사용될 수 있는 일부 또는 모든 입력 옵션들을 나타낼 수 있다. 예를 들어, 입력 옵션들은 다른 정보 중에서, 디바이스에 의해 지원되는 입력의 유형들(예컨대, 제스처 기반, 음성 기반, 터치 기반 등), 디바이스가 특정 입력들에 기초하여 수행할 수 있는 기능성(예컨대, 우측으로의 스와이프는 서모스탯으로 하여금 온도를 증가시키게 할 수 있는 것 등)을 포함할 수 있다.
일부 예들에서, 입력 옵션 엔진(122)은, 다른 디바이스로부터, 서버(예컨대, 다른 디바이스의 동작과 관련된 클라우드 기반 서버)로부터, 및/또는 다른 소스로부터, 다른 디바이스의 하나 이상의 입력 옵션들을 나타내는 입력 데이터를 획득 또는 수신할 수 있다. 예를 들어, 입력 옵션 엔진(122)은 디바이스에 입력 옵션들에 대한 요청을 전송(또는 송신기 또는 송수신기로 하여금 전송하게 함) 할 수 있다. 일 예에서, XR 시스템(100)은, 예컨대, 디바이스와 페어링하는 이전의 네트워크에 기초하여, 디바이스의 존재를 나타내는 디바이스에 의해 송신된 (예컨대, 브로드캐스트된) 주기적인 비컨(beacon) 신호에 기초하여, 이미지 센서(102)에 의해 제공된 하나 이상의 이미지들에서 디바이스를 검출하는 것 등에 기초하여, 디바이스를 검출 또는 감지할 수 있다. 디바이스를 검출 또는 감지하는 것에 응답하여, XR 시스템(100)은 디바이스로부터 입력 데이터를 요청할 수 있다. 요청에 응답하여, 디바이스는 디바이스와 연관된 임의의 입력 옵션들을 나타내는 입력 데이터로 응답할 수 있다. 다른 예에서, 입력 옵션 엔진(122)은 디바이스와 연관된 서버(예컨대, 구글 홈TM 디바이스와 연관된 구글TM 서버)로부터 주어진 디바이스에 대한 입력 옵션들을 요청할 수 있다. 서버는 디바이스와 연관된 입력 옵션들을 나타내는 입력 데이터로 응답할 수 있다.
일부 경우들에서, 입력 옵션 엔진(122)은 이미지 센서(102)에 의해 캡처된 다른 디바이스의 하나 이상의 이미지들을 처리함으로써 다른 디바이스의 하나 이상의 입력 옵션들을 결정할 수 있다. 예를 들어, 디바이스(엘리베이터)의 사용자 인터페이스의 예시적인 예로서 엘리베이터 제어 패널을 사용하면, 입력 옵션 엔진(122)은 이미지 센서(102)로부터 엘리베이터 제어 패널의 이미지들을 수신할 수 있다. 기계 학습 (예컨대, 하나 이상의 신경 네트워크 기반 오브젝트 검출기들 또는 분류기들을 사용하여), 컴퓨터 비전 (예컨대, 컴퓨터 비전 기반 오브젝트 검출기 또는 분류기를 사용하여), 또는 다른 이미지 분석 기법들을 사용하여, 입력 옵션 엔진(122)은 제어 패널이 건물의 층들에 대응하는 15개의 숫자들, 도어-개방 버튼, 도어-폐쇄 버튼, 긴급 버튼, 및/또는 다른 물리적 또는 가상 버튼들을 포함한다고 결정할 수 있다.
일부 예들에서, 디바이스가 (예컨대, XR 시스템이 요청을 디바이스에 전송한 후) 임의의 입력 데이터를 XR 시스템에 통신하지 않는 경우, XR 시스템은 디바이스가 (예컨대, 무선 네트워크를 통해) XR 시스템과 통신하는 능력을 갖지 않는다고 결정하거나 추론할 수 있다. 그러한 예들에서, XR 시스템은 사용자가 디바이스와 어떻게 상호작용할지 결정하는 것을 돕기 위해 명령들 또는 다른 정보(예컨대, 디바이스 상의 특정 버튼을 하이라이팅함)를 제시할 수 있다. 예를 들어, 위의 엘리베이터 예에서, 엘리베이터는 (예컨대, 통신 네트워크를 통해) XR 시스템과 통신하는 능력을 갖지 않을 수 있다. 그러한 일 예에서, XR 시스템은 수신된 사용자 입력에 기초하여 엘리베이터를 제어하기 위해 하나 이상의 커맨드들을 전송하는 대신에, 사용자가 엘리베이터와 상호작용하는 것을 돕는 가상 콘텐츠를 제시할 수 있다.
컨텍스트 관리 엔진(123)은 컨텍스트 정보를 XR 엔진(120)으로 전송할 수 있다. 컨텍스트 정보는 사용자, XR 시스템(100), 다른 디바이스(들), 장면 등과 연관된 상황/컨텍스트의 컨텍스트 인식을 XR 엔진(120)에 제공할 수 있다. XR 엔진(120)은 컨텍스트 정보를 사용하여, 다른 디바이스들과의 상호작용을 위해 사용자에게 제시할 콘텐츠, 입력 옵션들, 사용자 인터페이스, 및/또는 양식들을 관리, 조절, 및/또는 결정할 수 있다. 예를 들어, 위에서 언급된 바와 같이, 컨텍스트 정보는 사용자, XR 시스템(100), 다른 디바이스, 장면과 연관된 상황/컨텍스트와 컨텍스트적으로 관련되거나 및/또는 아니면 다른 디바이스들과의 상호작용들을 용이하게 하는 콘텐츠(예컨대, 가상 콘텐츠, 오디오 콘텐츠, 사용자 인터페이스 콘텐츠 등)를 제시하기 위해 XR 엔진(120)에 의해 사용될 수 있다.
컨텍스트 정보는 (사용자가 XR 시스템(100)을 사용하여 상호작용할 수 있는) 다른 디바이스, XR 시스템(100) 및/또는 다른 디바이스가 위치되는 장면 또는 환경, 다른 디바이스와 상호작용하려고 시도하는 XR 시스템(100)의 사용자, 및/또는 임의의 주어진 시점에서의 다른 컨텍스트와 관련될 수 있다. 일부 예들에서, 컨텍스트 정보는 디바이스와 상호작용하려는 의도와 같은 다른 디바이스와의 사용자의 의도된 상호작용을 포함할 수 있고, 디바이스의 사용자 인터페이스의 특정 입력 옵션과 상호작용하려는 의도(예컨대, 특정 사용자 인터페이스 제어 요소), 및/또는 다른 의도된 사용자 상호작용을 포함할 수 있다. 컨텍스트 관리 엔진(123)은, 눈 시선, 수행되는 특정 제스처, 다른 디바이스를 보유하는 사용자, 디바이스를 향해 걷는 사용자, 및/또는 다른 정보와 같은 의도된 사용자 상호작용을 추정할 수 있다. 예를 들어, 컨텍스트 관리 엔진(123)은, 사용자가 서모스탯를 응시하고 있다고 결정할 수 있고, 결정된 시선에 기초하여, 사용자가 서모스탯와 상호작용하려고 의도한다고 결정할 수 있다. 다른 예에서, 컨텍스트 정보는 장면에서의 사용자의 하나 이상의 액션들을 포함할 수 있다. 예를 들어, 하나 이상의 액션들은, 다른 것들 중에서, 사용자가 디바이스를 향해 걷는 것, 장면에서의 도어를 향해 걷는 것, 사용자가 전형적으로 텔레비전을 보는 의자에서 앉아 있는 것을 포함할 수 있다. 컨텍스트 정보의 다른 예들은, 사용자와 연관된 특성들(예컨대, 시력 품질, 발화된 언어(들) 등), 사용자 및 다른 디바이스와 연관된 이력 정보(예컨대, 사용자에 의한 디바이스의 과거 사용, 디바이스 또는 유사한 디바이스에 대한 사용자의 경험 레벨 등), 다른 디바이스의 사용자 인터페이스 능력(예컨대, 사용자에게 가시적이거나 그렇지 않으면 액세스 가능한 외측/외부 제어부들을 다른 디바이스가 갖는지 여부 등), 다른 디바이스와 연관된 정보(예컨대, 다른 디바이스가 XR 시스템(100)으로부터 얼마나 멀리 위치하는지), 장면과 연관된 정보(예컨대, 조명, 주변 사운드와 같은 잡음 레벨, XR 시스템(100)과 디바이스 사이의 오브젝트들 또는 다른 장애물들, 장면 내에 임의의 다른 사용자들이 있는지 등), 및/또는 다른 정보를 포함한다.
일부 예들에서, 컨텍스트 관리 엔진(123)은 컨텍스트 정보를 로컬로 결정, 획득, 또는 수신할 수 있다. 예를 들어, 컨텍스트 관리 엔진(123)은 XR 시스템(100)의 하나 이상의 센서들(예컨대, 이미지 센서(102), 가속도계(104), 자이로스코프(106), 및/또는 XR 시스템(100)의 다른 센서)로부터 센서 정보를 획득할 수 있다. 컨텍스트 관리 엔진(123)은 센서 정보를 프로세싱하여, 다른 디바이스와의 사용자의 하나 이상의 의도된 상호작용들, 장면에서의 사용자의 하나 이상의 액션들, 다른 디바이스의 사용자 인터페이스 능력, 다른 디바이스와 연관된 정보(예컨대, XR 시스템(100) 및 따라서 사용자로부터 디바이스의 거리), 장면과 연관된 정보(예컨대, 조명, 잡음, XR 시스템(100)과 디바이스 사이의 오브젝트들 또는 장애물들 등), 및/또는 다른 컨텍스트 정보와 같은 컨텍스트 정보를 결정할 수 있다. 하나의 예시적인 예에서, 컨텍스트 관리 엔진(123)은 사용자가 오븐을 보고 있음을 나타내는 이미지들을 이미지 센서(102)로부터 수신할 수 있고, 또한 사용자가 오븐을 향해 걷고 있음을 나타내는 센서 데이터를 가속도계(104) 및/또는 자이로스코프(106)로부터 수신할 수 있다. 이미지들 및 센서 데이터에 기초하여, 컨텍스트 관리 엔진(123)은 사용자가 오븐과 상호작용하려고 의도한다고 결정할 수 있다.
일부 예들에서, 컨텍스트 관리 엔진(123)은 하나 이상의 원격 소스들(예컨대, 서버, 클라우드, 인터넷, 다른 디바이스들, 하나 이상의 센서들 등)로부터 컨텍스트 정보를 획득 또는 수신할 수 있다. 예를 들어, 컨텍스트 관리 엔진(123)은, 사용자와 연관된 특성들(예컨대, 사용자의 시력 품질, 사용자에 의해 발화된 언어들 등) 및/또는 사용자 및 다른 디바이스와 연관된 이력 정보(예컨대, 하나 이상의 디바이스들에 대한 사용자의 경험 레벨, 사용자가 하나 이상의 디바이스들을 얼마나 오래 소유했는지 등)를 나타내는, 사용자와 연관된 네트워크 기반 또는 클라우드 기반 시스템 상에 저장된 사용자 프로필에 대한 액세스를 가질 수 있다. 일부 경우들에서, 사용자 프로필은 XR 시스템(100) 상에 로컬로 저장될 수 있다.
상기에서 언급된 바와 같이, 컨텍스트 정보는 XR 엔진(120)에 컨텍스트 인식을 제공하여, XR 시스템(100)은 XR 시스템(100)이 사용되고 있는 특정 상황과 컨텍스트적으로 관련된 콘텐츠를 제시할 수 있다. 예를 들어, 다른 디바이스들과의 사용자 상호작용들을 안내하고/하거나 보조하기 위해 어떤 AR 콘텐츠를 사용자에게 제시해야 할지 및/또는 AR 콘텐츠를 어떻게 제시해야 할지 결정할 때, XR 엔진(120)은 사용자, 다른 디바이스 등의 특성들을 포함하는 컨텍스트 정보를 사용할 수 있다. 일 예에서, XR 엔진(120)은 제시되는 AR 콘텐츠가 사용자에 의해 이해되는/발화되는 언어로 되어 있을 것을 보장하기 위해 사용자에 의해 이해되는/발화되는 언어를 고려할 수 있다. 다른 예로서, XR 엔진(120)은 디바이스의 사용자의 지식에 관한 예상들에 대한 사용자 인터페이스 안내를 조정할 수 있다. 하나의 예시적인 예에서, 사용자가 디바이스를 사용함에 있어서 초보자인 것으로 추정되는 경우(예컨대, 사용자가 디바이스를 소유했던 시간량, 사용자가 디바이스를 사용했던 횟수에 기초하여, 및/또는 다른 요인들에 기초하여), XR 엔진(120)은 (예컨대, 디바이스를 제어하는 데 어떤 입력들이 사용될 수 있는지에 대한 명령들을 제시함으로써) 사용자에 대해 추가적인 지원을 출력할 수 있다. 다른 예에서, 사용자가 디바이스를 사용함에 있어서 전문가인 것으로 추정되는 경우(예컨대, 사용자는 적어도 임계량의 경험/친숙성을 갖는 것으로 추정됨), XR 엔진(120)은 사용자에 대한 추가적인 지원을 제시하지 않을 수 있거나 그러한 지원을 감소/최소화할 수 있다. 다른 예로서, 사용자가 다른 디바이스와의 상호작용들에 영향을 미칠 수 있는 하나 이상의 아이템들을 착용하고 있는 경우, XR 엔진(120)은 사용자가 착용하고 있는 것을 고려하여 어떤 사용자 인터페이스, 제어부들, 및/또는 안내가 사용자에게 출력되는지 조정할 수 있다. 하나의 예시적인 예에서, XR 엔진(120)은, 사용자가 제어부들을 선택/터치하는 능력을 방해할 수 있는 장갑을 착용하고 있는 경우, 사용자가 가시성을 방해할 수 있는 안경 또는 선글라스를 착용하고 있는 경우(또는 안경을 착용하고 있지 않은 경우), 사용자가 사용자의 이동 및 특정 제어부들과 상호작용하는 능력을 제한하는 의료 기기를 갖는 경우 등에, XR 엔진(120)이 제공하는 사용자 인터페이스, 제어부들, 및/또는 안내를 조정할 수 있다.
다른 예로서, XR 엔진(120)은, 사용자에게 어떻게 AR 콘텐츠를 제시할지 및/또는 어떤 AR 콘텐츠를 제시할지 결정할 때 장면과 연관된 컨텍스트 정보(예컨대, 환경 요인들)를 사용할 수 있다. 예를 들어, XR 엔진(120)은 열악한 조명 또는 밝은 조명 조건들과 같은 조명 조건들(예컨대, 오디오 큐들 및/또는 시각적 큐들을 사용하는 것을 제안할 수 있음), 주변 사운드(예컨대, 오디오 큐들에 비해 시각적 큐들을 사용하는 것을 제안할 수 있음), 다른 사람들의 존재(예컨대, 임의의 오디오 출력을 제공하지 않는 것, 손 또는 제스처 모션들을 포함하는 입력 옵션들을 제시하지 않는 것 등 신중하거나 또는 프라이빗(private)할 필요가 있음을 제안할 수 있음) 등을 고려할 수 있다.
일부 예들에서, XR 엔진(120)은 다수의 디바이스들 중 어느 디바이스를 사용자가 상호작용하려고 의도하는지를 결정할 수 있다. 일부 경우들에서, XR 엔진(120)은 렌더링 엔진(126)으로 하여금 사용자가 상호작용하려고 의도하는 특정 디바이스와 사용자가 상호작용할 수 있게 하기 위해 사용자 인터페이스를 제시하게 할 수 있다. 일부 경우들에서, XR 엔진(120)은 특정 디바이스와 상호작용하고/하거나 제어하는 방법에 대해 (예컨대, 시각적 콘텐츠 또는 오디오 콘텐츠로서) 안내를 출력할 수 있다. 예를 들어, 음악을 재생하는 스마트 홈 어시스턴트, 연결된 냉장고, 및 연결된 스토브가 있는 주방에서, 사용자는 스토브의 온도를 변경하는 것에 관심이 있을 수 있다. 컨텍스트 관리 엔진(123)으로부터 수신된 컨텍스트 정보에 기초하여, XR 엔진(120)은 사용자가 스마트 홈 어시스턴트 또는 연결된 냉장고가 아닌 연결된 스토브와 상호작용하려고 의도한다고 결정할 수 있다. 예를 들어, 컨텍스트 정보에 기초하여, XR 엔진(120)은 사용자의 눈 시선, 포즈, 및/또는 이동을 결정할 수 있고, 사용자가 스마트 홈 어시스턴트 또는 연결된 냉장고가 아닌 연결된 스토브와 상호작용하도록 의도한다고 결정할 수 있다. 일부 예들에서, XR 엔진(120)은 사용자가 연결된 스토브와 상호작용하기 위해 수행할 수 있는 가능한 제스처들의 수를 결정할 수 있다. 예를 들어, XR 엔진(120)은 사용자가 손잡이를 돌리는 제스처를 사용하여 스토브의 온도를 변경할 수 있다고 결정할 수 있다. XR 엔진(120)은 사용자가 손잡이를 돌리는 제스처를 사용하여 스토브의 온도를 변경할 수 있음을 사용자에게 알리는 (예컨대, 시각적 큐, 오디오 큐 등을 통해) 출력을 제공할 수 있다. 일부 경우들에서, XR 엔진(120)은 사용자로부터 손잡이를 돌리는 제스처를 검출하고 연결된 스토브에 연관된 입력을 통신할 수 있다. 일부 경우들에서, 연결된 스토브는 손잡이를 돌리는 제스처를 직접 검출할 수 있다.
이미지 프로세싱 엔진(124)은 제시되는 가상 사용자 인터페이스 콘텐츠와 관련된 하나 이상의 이미지 프로세싱 동작들을 수행할 수 있다. 예를 들어, 이미지 프로세싱 엔진(124)은 이미지 센서(102)로부터의 데이터에 기초하여 이미지 프로세싱 동작들을 수행할 수 있다. 일부 경우들에서, 이미지 프로세싱 엔진(124)은 예를 들어, 필터링, 디모자이킹(demosaicing), 스케일링, 컬러 보정, 컬러 변환, 세그먼트화, 노이즈 감소 필터링, 공간 필터링, 아티팩트 보정 등과 같은 이미지 프로세싱 동작들을 수행할 수 있다. 렌더링 엔진(126)은 컴퓨트 컴포넌트들(110), 이미지 센서(102), XR 엔진(120), 입력 옵션 엔진(122), 컨텍스트 관리 엔진(123), 및/또는 이미지 프로세싱 엔진(124)에 의해 생성 및/또는 프로세싱된 이미지 데이터를 획득하고, 디스플레이 디바이스 상에 제시하기 위해 비디오 및/또는 이미지 프레임들을 렌더링할 수 있다.
XR 시스템(100)이 특정 컴포넌트들을 포함하는 것으로 도시되지만, 당업자는 XR 시스템(100)이 도 1에 도시된 컴포넌트들보다 더 많거나 더 적은 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다. 예를 들어, XR 시스템(100)은 또한, 일부 경우들에서, 도 1에 도시되지 않은 하나 이상의 메모리 디바이스들(예를 들어, RAM, ROM, 캐시 등), 하나 이상의 네트워킹 인터페이스들(예를 들어, 유선 및/또는 무선 통신 인터페이스들 등), 하나 이상의 디스플레이 디바이스들, 및/또는 다른 하드웨어 또는 프로세싱 디바이스들을 포함할 수 있다. XR 시스템(100)으로 구현될 수 있는 컴퓨팅 시스템 및 하드웨어 컴포넌트들의 예시적인 예가 도 9와 관련하여 아래에서 설명된다.
도 3은, 사용자(301)에 의해 착용되는 확장 현실 시스템(300)의 일 예를 예시한 다이어그램이다. 일부 경우들에서, 확장 현실 시스템(300)은 도 1의 XR 시스템(100)과 유사하고 도 1의 XR 시스템(100)과 유사한 동작들을 수행할 수 있다. 확장 현실 시스템(300)은 AR 또는 MR 안경, AR, VR, 또는 MR HMD, 또는 다른 XR 디바이스와 같은 임의의 적합한 유형의 XR 디바이스 또는 시스템을 포함할 수 있다. 하기에서 설명되는 일부 예들은 예시적인 목적들을 위해 AR을 사용하여 설명될 수 있다. 하지만, 하기에서 설명되는 양태들은 VR 및 MR과 같은 다른 타입들의 XR 에 적용될 수 있다. 도 3에 도시된 확장 현실 시스템(300)은, 사용자(301)로 하여금 확장 현실 시스템(300)을 착용하는 동안 실세계를 뷰잉하게 하는 광학 시스루 AR 디바이스를 포함할 수 있다.
예를 들어, 사용자(301)는, 사용자(301)로부터 떨어진 평면(304) 상의 실세계 환경에서의 오브젝트(303)를 뷰잉할 수 있다. 도 3에 도시된 바와 같이, 확장 현실 시스템(300)은 이미지 센서(302) 및 디스플레이(309)를 갖는다. 상기에서 설명된 바와 같이, 디스플레이(309)는 유리, 스크린, 렌즈, 및/또는 사용자(301)로 하여금 실세계 환경을 보게 하고 또한 AR 콘텐츠로 하여금 그 위에 디스플레이되게 하는 다른 디스플레이 메커니즘을 포함할 수 있다. AR 콘텐츠(예컨대, 이미지, 비디오, 그래픽, 가상 또는 AR 오브젝트, 또는 다른 AR 콘텐츠)는 디스플레이(309) 상에 프로젝션되거나 그렇지 않으면 디스플레이될 수 있다. 일 예에서, AR 콘텐츠는 오브젝트(303)의 증강 버전을 포함할 수 있다. 다른 예에서, AR 콘텐츠는, 오브젝트(303)와 관련되고 및/또는 실세계 환경에서의 하나 이상의 다른 오브젝트들과 관련된 추가적인 AR 콘텐츠를 포함할 수 있다. 하나의 이미지 센서(302) 및 하나의 디스플레이(309)가 도 3에 도시되어 있지만, 확장 현실 시스템(300)은 일부 구현들에서 다수의 카메라들 및/또는 다수의 디스플레이들(예를 들어, 우안용 디스플레이 및 좌안용 디스플레이)을 포함할 수 있다.
도 1과 관련하여 위에서 설명된 바와 같이, XR 엔진(122)은 디바이스에 대한 하나 이상의 입력 옵션들을 나타내는 입력 데이터 및 컨텍스트 데이터를 활용하여 렌더링 엔진(126)으로 하여금 디바이스와 상호작용하기 위한(예컨대, 제어하는 것, 콘텐츠에 액세스하는 것, 상태 정보에 액세스하는 것, 출력들에 액세스하는 것 등) 사용자 인터페이스 및/또는 입력 옵션들을 제시하게 할 수 있다. 하나의 예시적인 예에서, XR 시스템(100)은 엘리베이터 제어 패널, 차량의 제어 패널 등과 같은 제어 패널과 상호작용하는 사용자를 보조할 수 있다. 도 4a, 도 4b, 및 도 4c는 엘리베이터의 제어 패널(410)과 상호작용하기 위해 XR 시스템(400)을 사용하는 사용자의 일 예를 예시한 다이어그램들이다. 예를 들어, XR 시스템(400)을 착용한 사용자가 엘리베이터에 진입할 때, XR 시스템(400)은 사용자의 눈 시선(예컨대, 눈 시선 카메라 등에 기초하여, 시선 스캐닝을 통해) 및/또는 사용자의 손(405)을 사용하여 수행되는 제스처와 같은 하나 이상의 제스처들을 결정할 수 있다. 눈 시선 및/또는 제스처(들)에 기초하여, XR 시스템(400)은, 사용자가 엘리베이터 제어 패널(410)에 누를 층 수를 찾지 못하거나 또는 찾는 것에 어려움을 갖고 있다고 결정할 수 있다. 예를 들어, XR 시스템(400)은 (사용자가 정확한 숫자를 검색하고 있는 것처럼) 사용자의 눈 시선이 전후로 움직이고 있다고 결정할 수 있다.
XR 시스템(400)은 XR 시스템(400)에 의해 획득된 컨텍스트 정보에 기초하여, 사용자가 특정 층과 연관된 제어 버튼을 검색하고 있다고 결정할 수 있다. 예를 들어, 컨텍스트 정보는 호텔에서의 체크인 정보(예컨대, 호텔과 연관된 서버로부터 XR 시스템(400)에 의해 획득됨), 사용자에 의해 XR 시스템(400)에 제공되는 음성 커맨드, 사용자 선호도/입력(예컨대, 사용자는 XR 시스템(100)에 층 숫자를 입력할 수 있음), 사용자로부터 검출된 인식된 오디오(예컨대, XR 시스템(400)은 예컨대 상시 온 (always-on) 오디오를 사용하여 사용자가 "16층"이라는 단어를 말하는 것을 인식함), 검출된 방 번호(예컨대, 이미지 센서(102) 등에 의해 캡처된 하나 이상의 이미지들로부터 검출됨)를 포함할 수 있다.
XR 시스템(400)은 엘리베이터 제어 패널 상의 특정 층에 대한 제어 버튼과 연관된 큐를 제시하여 사용자를 정확한 버튼으로 안내할 수 있다. 예를 들어, XR 시스템(400)은 사용자가 16층에 대응하는 제어 버튼(도 4a 및 도 4b의 숫자 "16"을 갖는 버튼과 연관됨)을 검색하고 있다고 결정할 수 있다. 도 4b에 도시된 바와 같이, XR 시스템(400)은 16층에 대응하는 제어 버튼을 하이라이팅하는 가상 콘텐츠(412)를 디스플레이할 수 있다. 가상 콘텐츠(412)는 사용자가 검색하고 있는 제어 버튼을 사용자가 용이하게 식별하는 것을 돕기 위해 16층에 대응하는 실제 제어 버튼 위에 오버레이되고 있는 것처럼 보인다. 도 4c에 도시된 바와 같이, XR 시스템(400)은 16층에 대응하는 제어 버튼을 하이라이팅하는 가상 콘텐츠(412)를 디스플레이할 수 있고, 또한 텍스트(414)("16층 버튼은 여기 있습니다") 및 사용자가 정확한 제어 버튼을 식별하는 것을 돕기 위해 추가 정보를 제공하는 화살표 아이콘을 제시할 수 있다. 도 4b 및 도 4c는 시각적 큐들의 예로서 하이라이트 및 텍스트를 도시하지만, 큐는 다른 유형들의 시각적 큐들, 정확한 버튼의 식별 또는 위치를 사용자에게 나타내는 오디오 큐(예컨대, 손 추적에 기초하여 사용자의 손을 안내하기 위해), 및/또는 다른 유형의 큐를 추가적으로 또는 대안적으로 포함할 수 있다. 이는 장애를 갖는 사용자 또는 정확한 버튼을 기억/학습하는 것에 어려움을 갖는 사용자에게 특히 유용할 수 있다.
일부 경우들에서, 엘리베이터에의 다수의 탑승 후에, XR 시스템(400)은 사용자가 우측 버튼을 빠르게 및/또는 도움 없이 찾을 수 있다는 것을 학습할 수 있다. 이에 응답하여, XR 시스템(400)은 제어 버튼을 식별하는 것을 돕기 위해 가상 콘텐츠를 제공하는 것을 중지하도록 결정할 수 있다. 다른 경우들에서, XR 시스템(400)은 (예컨대, 사용자의 특성들을 갖는 컨텍스트 정보가 사용자가 장애를 갖는다는 것을 나타낼 때) 사용자에게 그러한 보조를 계속 제공할 수 있다. 일부 경우들에서, XR 시스템(400)은 다른 제어 패널들, 디바이스, 산업용 기계 등과의 사용자 상호작용들을 유사하게 보조할 수 있다.
다른 예시적인 예에서, XR 시스템(100)은 사용자가 디바이스를 제어하는 데 사용될 수 있는 원격 제어과 상호작용하는 것을 도울 수 있다. 도 5a 및 도 5b는 텔레비전(511)을 제어할 수 있는 원격 제어(510)와 상호작용하기 위해 XR 시스템(500)을 사용하는 사용자의 일 예를 예시한 다이어그램들이다. XR 시스템(500)은 다양한 인자들에 기초하여 사용자가 원격 제어(510)를 사용하는 것에 어려움을 가질 가능성이 있다고 결정할 수 있다. 예를 들어, XR 시스템(500)은, (예컨대, 이미지 센서(102)를 사용하여 획득된 룸의 하나 이상의 이미지들에 기초하여, XR 시스템(500)의 주변 광 센서에 기초하여 등) 텔레비전(511) 및 사용자가 위치한 방이 열악한 조명 조건들을 갖는다고 결정할 수 있다. 또한, 사용자의 특성들을 나타내는 XR 시스템(500)에 의해 획득된 컨텍스트 정보에 기초하여, XR 시스템(500)은 사용자가 열악한 근거리 시력을 갖는다고 결정할 수 있다. XR 시스템(500)은, 원격 제어(510)의 라벨들 또는 버튼들이 판독하기 어렵고, 사용자가 이해하지 못하는 언어로 되어있고/있거나 그렇지 않으면 원격 제어(510)를 사용자가 상호작용하기에 어렵게 만든다고 추가적으로 또는 대안적으로 결정할 수 있다. 이러한 컨텍스트 정보에 기초하여, XR 시스템(500)은 사용자가 원격 제어(510)의 제어부들/라벨들을 보는 것이 어려울 가능성이 있다고 결정할 수 있다. 일부 경우들에서, XR 시스템(500)은 추가적으로 또는 대안적으로 사용자가 원격 제어와 상호작용하는 것에 어려움을 갖는 것을 검출할 수 있다. 예를 들어, XR 시스템(500)은 눈 추적을 사용하여 사용자가 정확한 버튼들을 위해 원격 제어를 스퀸팅 및/또는 스캐닝하고 있다고 결정할 수 있다.
XR 시스템(500)은 사용자가 사용자에게 관심 이벤트를 재생하는 특정 채널(채널(34))로 전환하려고 의도함을 나타내는 추가 컨텍스트 정보를 획득할 수 있다. 예를 들어, XR 시스템(500)은 사용자가 사용자의 디지털 캘린더 상에서 스포츠 경기를 스케줄링했다고 결정할 수 있다. 다른 예에서, XR 시스템(500)은 사용자가 밤의 특정 시간에 특정 채널을 항상 시청한다고 결정할 수 있다. 원격 제어(510)가 상호작용하기 어려울 가능성이 있고 (예컨대, 사용자가 현재 시간에 특정 채널에서 이벤트를 빈번하게 시청하기 때문에) 사용자가 특정 채널로 전환하려고 의도한다는 컨텍스트 지식으로, XR 시스템(500)은 사용자가 특정 채널(34)로 스위칭하기 위해 버튼들을 식별하고 버튼들을 선택하는 것을 돕기 위해 원격 제어(510) 상의 정확한 "3" 및 "4" 버튼들을 하이라이팅하는 가상 데이터(512)를 디스플레이할 수 있다. 일부 예들에서, XR 시스템(500)은 버튼 "3" 및 이어서 버튼 "4"를 순차적으로 하이라이팅할 수 있으므로, 사용자는 버튼 "4"를 누르기 전에 버튼 "3"을 누를 것을 알고 있다.
일부 경우들에서, 위에서 설명된 바와 같이 숫자들을 하이라이팅 또는 그렇지 않으면 강조하는 것에 추가하여 또는 대안으로서, XR 시스템(500)은 오디오를 사용하여 XR 시스템(500)에 의해 결정된 옵션(예컨대, 이벤트 및/또는 연관된 버튼/채널)을 확인할 수 있다. 예를 들어, XR 시스템(500)은, 사용자가 이벤트를 재생하는 특정 채널로 전환하기를 원하는지 확인할 것을 사용자에게 요청하는 오디오 프롬프트를 제공할 수 있다. XR 시스템(500)은 (예컨대, 입력 디바이스(108)와 같은 입력 디바이스를 통해 제공되는 사용자 입력에 기초하여) 사용자로부터 확인을 수신할 수 있고, 보조를 계속할 수 있다. 일 예에서, 확인을 수신하는 것에 응답하여, XR 시스템(500)은 채널(예컨대, 채널(34))에 대응하는 원격 제어(510)의 정확한 버튼들(예컨대, "3" 및 "4" 버튼들)을 하이라이팅할 수 있다. 다른 예에서, 확인을 수신하는 것에 응답하여, XR 시스템(500)은 텔레비전(511)으로 하여금 채널(예컨대, 채널(34))로 변경되게 하는 커맨드를 텔레비전(511) 및/또는 원격 제어(510)에 자동으로 전송할 수 있다.
다른 예시적인 예에서, XR 시스템(100)은 사용자가 서모스탯와 상호작용하는 것을 도울 수 있다. 도 6a 및 도 6b는 서모스탯(610)과 상호작용하기 위해 XR 시스템(600)을 사용하는 사용자의 일 예를 예시한 다이어그램들이다. 예를 들어, 서모스탯(610)은 제스처 인식을 사용하여 하나 이상의 제스처들을 해석하도록 구성될 수 있고, 검출된 제스처들에 기초하여 하나 이상의 기능들을 수행할 수 있다. 그러나, 사용자는 서모스탯(610)으로 하여금 특정 기능들을 수행하게 하는 데 사용될 수 있는 정확한 제스처 커맨드들을 알지 못할 수 있다. 위에서 설명된 것과 유사하게, XR 시스템(600)은 획득된 컨텍스트 정보를 사용하여 사용자가 서모스탯(610)과 상호작용하는 데 문제를 갖고 있다고 결정할 수 있다. 예를 들어, XR 시스템(600)은 눈 추적을 사용하여, 사용자가 서모스탯(610)을 응시하고 있다고 결정할 수 있고/있거나 하나 이상의 이미지들을 프로세싱하여 사용자가 제스처들을 수행(예컨대, 손(605)을 사용하여)하고 있지만 서모스탯이 제스처들에 기초하여 아무 기능들도 수행하고 있지 않다고 결정할 수 있다. XR 시스템(600)은 임의의 다른 컨텍스트 정보를 사용하여 사용자가 서모스탯(610)과 상호작용하는 것에 어려움을 갖고 있다고 결정할 수 있다.
일부 경우들에서, 사용자는 사용자가 서모스탯(610)과 수행하기를 원하는 상호작용을 식별하는 음성 커맨드 또는 다른 입력을 실행할 수 있다. 예를 들어, 사용자는 "온도를 68도까지 설정하라" 라고 말할 수 있고, XR 시스템(600)은 음성 커맨드를 인식할 수 있다. XR 시스템(600)은, 예컨대 서모스탯(610)으로부터, 서모스탯(610)과 연관된 서버(예컨대, NestTM 서모스탯과 연관된 NestTM 서버)로부터 서모스탯(610)이 해석하도록 구성되는 제스처 커맨드들을 결정할 수 있다.
도 6b에 도시된 바와 같이, 음성 커맨드를 인식하는 것, 사용자의 원하는 설정을 나타내는 다른 입력을 수신하는 것, 및/또는 사용자가 서모스탯(610)과 상호작용하는 것에 어려움을 갖고 있다고 결정하는 것에 응답하여, XR 시스템(600)은, 서모스탯(610)으로 하여금 원하는 기능성을 수행하게 하기 위하여 (예컨대, 음성 커맨드들과 함께 또는 없이) 적용될 수 있는 제스처 커맨드들의 세트(제스처 커맨드(612), 제스처 커맨드(614), 및 제스처 커맨드(616)를 포함함)를 사용자에게 제시할 수 있다. 일부 경우들에서, 도 6b에 도시된 바와 같이, 제스처 커맨드들은, 서모스탯(610)으로 하여금 원하는 기능성을 수행하게 하기 위해 제스처 커맨드들(612, 614, 및 616)이 수행되어야 하는 순서를 나타내는 대응하는 숫자들을 가질 수 있다. 예를 들어, 사용자는 제스처 커맨드(612)를 수행하여 서모스탯(610)으로 하여금 온도 조정 모드로 진입하게 할 수 있다. 이어서 사용자는 제스처 커맨드(614)를 수행하여 서모스탯(610)으로 하여금 온도를 증가시킬 수 있다. 예를 들어, 사용자가 "썸즈 업(thumbs up)" 제스처 커맨드(614)를 수행할 때마다, 서모스탯(610)은 온도가 화씨 1도만큼 증가하게 할 수 있다. 이어서 사용자는 제스처 커맨드(616)를 수행하여 서모스탯(610)으로 하여금 온도 조정 모드를 빠져나가게 할 수 있다.
다른 예시적인 예에서, XR 시스템(100)은 사용자가 디지털 픽처 프레임들과 상호작용하는 것을 보조할 수 있다. 도 7a 및 도 7b는 디지털 픽처 프레임(710)과 상호작용하기 위한 사용자 인터페이스 입력 옵션들을 제공할지 여부를 결정할 수 있는 XR 시스템(700)을 사용하는 사용자(701)의 일 예를 예시한 다이어그램들이다. 예를 들어, 디지털 픽처 프레임(710)은 디지털 픽처 프레임(710)에 의해 디스플레이되고 있는 콘텐츠에 관한 메타데이터(예컨대, 디스플레이된 아트(art)의 설명, 배경, 사람(들) 등)를 디스플레이하도록 구성될 수 있다. 예를 들어, 도 7b에 도시된 바와 같이, 디지털 픽처 프레임(710)은 두 사람이 춤 추고 있는 사진 옆에 "이것은 결혼식 날의 낸시와 밥입니다"라는 캡션과 함께 메타데이터(712)를 디스플레이할 수 있다.
사용자(701)가 디지털 픽처 프레임(710)을 응시하고 있지 않는 경우, 사용자(701)가 디지털 픽처 프레임(710) 옆을 서둘러 걷고 있는 경우, 및/또는 그렇지 않으면 메타데이터(712)에 관심이 없을 가능성이 있는 경우, 메타데이터는 사용자(701)의 관심 대상이 아닐 수 있다. XR 시스템(700)은, 사용자가 디지털 픽처 프레임(710)을 보고 있지 않음을 나타내는 검출된 눈 시선, 사용자가 걷고 있음을 나타내는 감지된 모션, 사용자(701)의 캘린더(예컨대, 사용자가 서로 다른 위치에서 임박한 약속을 갖는 것을 나타냄), 사용자(701)의 선호도들, 사용자 이력 데이터, 사용자 통신들, 및/또는 다른 컨텍스트 정보와 같은 컨텍스트 정보를 획득할 수 있다. XR 시스템(700)에 의해 획득된 컨텍스트 정보에 기초하여, XR 시스템(700)은, 사용자가 디지털 픽처 프레임(710) 옆을 걷고 있고, 사용자가 디지털 픽처 프레임(710)을 보고 있지 않고/않거나 그렇지 않으면 사용자가 메타데이터(712)에 관심이 없을 가능성이 있다고 결정할 수 있다. 이어서 XR 시스템(700)은 디지털 픽처 프레임(710)에 커맨드를 전송하여 디지털 픽처 프레임(710)이 메타데이터(712)(잠재적으로 사용자에게 산만할 수 있음)를 제시하는 것을 방지할 수 있다.
도 8a는 장면에 다수의 디바이스들이 있을 때 하나 이상의 디바이스들과 상호작용하기 위해 XR 시스템(800)을 사용하는 사용자(802)의 예를 예시한 다이어그램이다. 이 예에서, 장면은 디지털 픽처 프레임(810), 원격 제어(812), 및 디지털 서모스탯(814)을 포함한다. 사용자(802)는 디지털 픽처 프레임(810), 원격 제어(812), 및/또는 디지털 서모스탯(814)을 포함하는 장면에서의 디바이스들 중 임의의 디바이스와 상호작용하기 위해 XR 시스템(800)을 사용할 수 있다. XR 시스템(800)은 디지털 픽처 프레임(810), 원격 제어(812), 및 디지털 서모스탯(814)으로부터 입력 옵션들 및/또는 연관된 데이터를 수신할 수 있고, 디지털 픽처 프레임(810), 원격 제어(812), 및/또는 디지털 서모스탯(814)에 대응하는 입력 옵션들과 연관된 사용자 안내 데이터를 제시할 수 있다.
일부 경우들에서, 도 8a에 도시된 바와 같이 장면이 다수의 원격 디바이스들을 포함할 때, XR 시스템(800)은, 장면에서의 다수의 디바이스들 중, 사용자(802)가 어느 디바이스와 상호작용하기를 원하는지 및/또는 XR 시스템(800)이 어느 디바이스에 대한 안내 데이터를 제시해야 하는지 결정하는 것에 어려움을 가질 수 있다. 일부 예들에서, XR 시스템(800)은 디지털 픽처 프레임(810), 원격 제어(812), 및 디지털 서모스탯(814)으로부터 입력 옵션들을 수신할 수 있다. 입력 옵션들은 디지털 픽처 프레임(810), 원격 제어(812), 및 디지털 서모스탯(814)에서 이용 가능한/허용 가능한 입력들의 유형들에 관한 정보를 포함할 수 있다. 그러나, 장면에서의 다수의 디바이스들로부터 그러한 데이터를 수신할 때, XR 시스템(800)은 다수의 디바이스들로부터의 데이터로 오버로드될 수 있다. 데이터 오버로드는 XR 시스템(800)이 관련 정보를 사용자(802)에게 제시하는 것, 상당한 클러터 없이 사용자에게 정보를 제시하는 것, 데이터 및/또는 디바이스들과의 상호작용들을 관리하는 것 등을 어렵게 할 수 있다.
예를 들어, 도 8b를 참조하면, XR 시스템(800)은 디지털 픽처 프레임(810)에 관한 디스플레이 데이터(820), 원격 제어(812)에 관한 데이터(822), 및 디지털 서모스탯(814)에 관한 데이터(824)를 디스플레이할 수 있다. 데이터(820, 822, 및 824)는 XR 시스템(800) 및/또는 사용자(802)에 대해 압도적으로 될 수 있다. 예를 들어, 도 8b에 도시된 바와 같이, XR 시스템(800)에 의해 제시될 때, 데이터(820, 822, 및 824)는 클러터링될 수 있고, XR 시스템(800)에 의해 렌더링된 정보는 오버로드되어 파싱, 관리, 이해 등이 어려워질 수 있다. 일부 예들에서, XR 시스템(800)은 디지털 픽처 프레임(810), 원격 제어(812), 및 디지털 서모스탯(814)으로부터의 데이터를 필터링하여 디지털 픽처 프레임(810), 원격 제어(812), 및 디지털 서모스탯(814)에 대해 XR 시스템(800)에 의해 제시된 데이터를 단순화하고/하거나 통합할 수 있다. 일부 경우들에서, XR 시스템(800)은 제시된 데이터를 관련성이 있는 특정 디바이스에 대응하는 데이터로 제한할 수 있다.
예시하기 위해, 도 8c를 참조하여, XR 시스템(800)은 사용자가 원격 디바이스(812)와 상호작용하기를 원하거나 또는 상호작용할 것을 예측할 수 있다. XR 시스템(800)은 이러한 정보를 사용하여, XR 시스템(800)에 의해 제시된 데이터를 단순화하기 위해 디지털 픽처 프레임(810)과 연관된 데이터(820) 및 디지털 서모스탯(814)과 연관된 데이터(824)를 필터링할 수 있다. XR 시스템(800)은 원격 디바이스(812)와 연관된 데이터(822)를 제시할 수 있고, 이는 사용자(802) 및/또는 현재 컨텍스트에 관련될 것으로 예측된다. 일부 예들에서, 데이터(822)는 사용자가 원격 제어(812)와 상호작용하는 데 사용할 수 있는 입력 옵션 및/또는 원격 제어(812)와 상호작용하는 방법을 사용자에게 알려주는 입력 옵션의 표시를 포함할 수 있다. 일부 경우들에서, 데이터(822)는 원격 디바이스(812)와의 사용자 상호작용들을 용이하게 하기 위해 사용자 안내 데이터를 포함할 수 있다. 일부 예들에서, 도 8c에 도시된 제시는 XR 시스템(800)에 의해 제시된 데이터를 정리 및/또는 단순화할 수 있다.
일부 경우들에서, XR 시스템(800)은 컨텍스트 정보를 사용하여, 디지털 픽처 프레임(810), 원격 제어(812), 및 디지털 서모스탯(814) 중 어느 것과 사용자(802)가 상호작용할 것인지, 어느 것이 사용자(802) 등과 관련이 있는지, 및/또는 디지털 픽처 프레임(810), 원격 제어(812), 및/또는 디지털 서모스탯(814)으로부터 어느 데이터를 사용자에게 제시할지 예측할 수 있다. 일부 경우들에서, XR 시스템(800)은 디지털 픽처 프레임(810), 원격 제어(812), 및 디지털 서모스탯(814)과 관련된 단순화된 정보를 제시할 수 있고, 이것을 사용하여 XR 시스템(800) 및 사용자(802)는 덜 관련된 정보를 필터링하고 사용자(802)에게 제시된 정보의 양을 사용자(802)와 가장 관련된 정보로 감소시킬 수 있다.
예를 들어, 도 8d를 참조하면, XR 시스템(800)은 입력 옵션들의 메뉴(840)를 제시할 수 있다. 메뉴(840)는 사용자 상호작용들에 이용 가능한 다양한 디바이스들을 나타낼 수 있고, 사용자(802)에게 사용자가 관심 있는 특정 디바이스를 선택하는 능력을 제공할 수 있다. 사용자가 특정 디바이스를 선택하는 경우, XR 시스템(800)은 그 특정 디바이스에 대응하는 입력 옵션들과 같은 데이터를 제시할 수 있다. 예를 들어, 사용자(802)가 메뉴(840)로부터 디지털 프레임(810)을 선택하는 경우, XR 시스템(800)은 이어서 디지털 프레임(810)과 관련된 데이터를 제시하고, 원격 제어(812) 및/또는 서모스탯(814)과 관련된 다른 데이터를 배제할 수 있다.
다른 예시적인 예에서, XR 시스템(100)은 사용자가 자동차 제어부들을 사용하는 것을 보조할 수 있다. 예를 들어, 차량을 운전하는 사용자는 도로변에 차량을 세울 수 있다. XR 시스템(100)은 (예컨대, 모션 정보, 사용자로부터의 음성 데이터, 차량으로부터의 데이터 등에 기초하여) 사용자가 도로변에 차량을 세웠다는 것을 검출할 수 있다. 사용자가 차량을 도로변에 세웠다고 결정하는 것에 기초하여, XR 시스템(100)은 사용자가 차량 상의 비상등을 활성화해야 한다고 결정할 수 있다. 사용자는 비상등 버튼을 찾으려 차량의 대시보드를 훑어볼 수 있다. XR 시스템(100)은 눈 추적, 이미지 분석, 및/또는 다른 기법을 사용하여 사용자가 비상등 버튼을 찾을 수 없거나 또는 찾는 것에 어려움을 갖고 있다고 결정할 수 있다. XR 시스템(100)은 그러한 컨텍스트 정보를 사용하여 사용자가 비상등 버튼을 찾는 데 도움이 필요하다고 결정할 수 있다. XR 시스템(100)은 비상등 버튼을 로컬라이징/식별하고 비상등 버튼 주위에 AR 콘텐츠를 오버레이(overlay)하여 사용자가 위험 버튼을 찾아내는 데 안내/보조할 수 있다.
사용자에게 제시할 입력 옵션들을 결정하기 위해 입력 데이터 및 컨텍스트 정보를 사용하는 XR 시스템(100)(및 다른 XR 시스템들)의 특정 예시적인 예들이 위에서 설명되지만, XR 시스템(100)은 입력 데이터 및 컨텍스트 정보에 기초하여 임의의 다른 기능성을 수행하여 XR 시스템(100)의 사용자가 하나 이상의 다른 디바이스들과 상호작용하는 것을 보조할 수 있다.
도 9는 본원에서 설명된 기법들 중 하나 이상을 사용하여 적어도 하나의 입력 옵션과 연관된 정보를 제시하기 위한 프로세스(900)의 일 예를 예시한 플로우차트이다. 블록(802)에서, 프로세스(900)는 장면에서의 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 것을 포함할 수 있다. 예를 들어, XR 시스템(예컨대, XR 시스템(100))은 장면에서의 하나 이상의 원격 디바이스들에서 어떤 입력 옵션들이 이용 가능한지 식별하는 데이터를 수신할 수 있다.
블록(904)에서, 프로세스(900)는, 적어도 하나의 메모리를 사용하는 것을 포함하여, 장면, 디바이스, 및 전자 디바이스와 연관된 사용자 중 적어도 하나와 관련된 정보를 결정하는 것(예컨대, XR 시스템(100))을 포함할 수 있다. 일부 예들에서, 정보는 컨텍스트 정보를 포함할 수 있다. 컨텍스트 정보는, 예를 들어, 장면, 사용자, 디바이스, 및/또는 전자 디바이스에 대한 정보를 제공할 수 있다.
블록(906)에서, 프로세스(900)는, 하나 이상의 입력 옵션들 및 정보에 기초하여, 관련 컨텍스트 정보가 결정되었던 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 것을 포함할 수 있다. 일부 예들에서, 사용자 안내 데이터는 입력 옵션과 연관된 사용자 입력 요소, 입력 옵션과 연관된 물리적 오브젝트 상의 가상 오버레이, 및/또는 입력 옵션과 연관된 입력을 제공하는 방법을 나타내는 큐 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(900)는, 정보에 기초하여, 디바이스와의 사용자 상호작용을 예측하는 것; 및 하나 이상의 입력 옵션들 및 예측된 사용자 상호작용에 기초하여 입력 옵션에 대응하는 사용자 안내 데이터를 제시하는 것을 포함할 수 있다.
일부 예들에서, 디바이스는 네트워크 통신 능력들을 갖는 연결된 디바이스를 포함할 수 있고, 프로세스(900)는, 정보 및 하나 이상의 입력 옵션들에 기초하여, 예측된 사용자 상호작용을 나타내는 손 제스처를 결정하는 것; 및 사용자 안내 데이터를 제시하는 것을 포함할 수 있다. 일부 예들에서, 예측된 사용자 상호작용은 디바이스에 대한 예측된 사용자 입력을 포함할 수 있다. 일부 경우들에서, 사용자 안내 데이터는, 검출될 때, 디바이스에서 실제 사용자 입력을 호출하는 손 제스처의 표시를 포함할 수 있다.
일부 양태들에서, 사용자 안내 데이터를 제시하는 것은, 전자 디바이스와 연관된 디스플레이에서, 디바이스의 표면 상에 위치되는 것으로 보이도록 구성되는 가상 오버레이를 렌더링하는 것을 포함할 수 있다. 일부 예들에서, 가상 오버레이는 입력 옵션과 연관된 사용자 인터페이스 요소를 포함할 수 있다. 일부 경우들에서, 사용자 인터페이스 요소는 입력 옵션과 연관된 가상 사용자 입력 오브젝트 및 입력 옵션에 대응하는 입력을 수신하도록 구성된 디바이스 상의 물리적 제어 오브젝트의 시각적 표시 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 정보는 사용자의 눈 시선 및 사용자의 포즈 중 적어도 하나를 포함하고, 프로세스(900)는 사용자의 눈 시선 및 사용자의 포즈 중 적어도 하나에 기초하여 디바이스와의 사용자 상호작용을 예측하는 것; 사용자 안내 데이터를 제시한 후에, 입력 옵션과 연관된 실제 사용자 입력을 검출하는 것으로서, 실제 사용자 입력은 예측된 사용자 상호작용을 표현하는, 상기 실제 사용자 입력을 검출하는 것; 및 디바이스로, 입력 옵션과 연관된 실제 사용자 입력에 대응하는 커맨드를 송신하는 것을 포함한다.
일부 예들에서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 것은 사용자 안내 데이터를 디스플레이하는 것을 포함할 수 있다. 일부 예들에서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 것은 사용자 안내 데이터를 표현하는 오디오 데이터를 출력하는 것을 포함할 수 있다.
일부 예들에서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 것은 사용자 안내 데이터를 디스플레이하는 것; 및 디스플레이된 사용자 안내 데이터와 연관된 오디오 데이터를 출력하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(900)는, 디바이스로부터, 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 것을 포함할 수 있다. 일부 양태들에서, 프로세스(900)는, 서버로부터, 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 것을 포함할 수 있다.
일부 경우들에서, 디바이스는 하나 이상의 사용자 입력들을 수신하기 위한 외부 사용자 인터페이스를 갖지 않는다. 일부 양태들에서, 프로세스(900)는, 정보에 기초하여, 디바이스와 연관된 추가적인 사용자 안내 데이터를 제시하는 것을 억제하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(900)는, 사용자 안내 데이터를 제시한 후에, 입력 옵션과 연관된 사용자 입력을 획득하는 것; 및 디바이스로, 사용자 입력에 대응하는 명령을 송신하는 것을 포함할 수 있다. 일부 경우들에서, 명령은 디바이스의 하나 이상의 동작들을 제어하도록 구성될 수 있다.
일부 예들에서, 본원에서 설명된 프로세스들(예를 들어, 프로세스(900) 및/또는 본원에서 설명된 다른 프로세스)은 컴퓨팅 디바이스 또는 장치에 의해 수행될 수 있다. 일 예에서, 프로세스(900)는 도 1의 XR 시스템(100)에 의해 수행될 수 있다. 다른 예에서, 프로세스(900)는 도 10에 도시된 컴퓨팅 시스템(1000)을 갖는 컴퓨팅 디바이스에 의해 수행될 수 있다. 예를 들어, 도 10에 도시된 컴퓨팅 아키텍처를 갖는 컴퓨팅 디바이스는 도 1의 XR 시스템(100)의 컴포넌트들을 포함할 수 있고 도 9의 동작들을 구현할 수 있다.
컴퓨팅 디바이스는 임의의 적합한 디바이스, 예컨대, 모바일 디바이스(예컨대, 모바일 폰), 데스크톱 컴퓨팅 디바이스, 태블릿 컴퓨팅 디바이스, 웨어러블 디바이스(예컨대, VR 헤드셋, AR 헤드셋, AR 안경, 네트워크 연결형 시계 또는 스마트워치, 또는 다른 웨어러블 디바이스), 서버 컴퓨터, 자율주행 차량 또는 자율주행 차량의 컴퓨팅 디바이스, 로보틱 디바이스, 텔레비전, 및/또는 프로세스(800)를 포함하는, 본원에서 설명된 프로세스들을 수행하기 위한 자원 능력들을 갖는 임의의 다른 컴퓨팅 디바이스를 포함할 수 있다. 일부 경우에서, 컴퓨팅 디바이스 또는 장치는 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들, 하나 이상의 프로세서들, 하나 이상의 마이크로프로세서들, 하나 이상의 마이크로컴퓨터들, 하나 이상의 카메라들, 하나 이상의 센서들, 및/또는 본원에 설명된 프로세스들의 단계들을 수행하도록 구성되는 다른 컴포넌트(들)과 같은 다양한 컴포넌트들을 포함할 수 있다. 일부 예에서, 컴퓨팅 디바이스는 디스플레이, 데이터를 통신 및/또는 수신하도록 구성된 네트워크 인터페이스, 이들의 임의의 조합, 및/또는 다른 컴포넌트(들)를 포함할 수 있다. 네트워크 인터페이스는 인터넷 프로토콜(IP) 기반 데이터 또는 다른 유형의 데이터를 통신 및/또는 수신하도록 구성될 수 있다.
컴퓨팅 디바이스의 컴포넌트들은 회로부에서 구현될 수 있다. 예를 들어, 컴포넌트들은 하나 이상의 프로그래밍 가능 전자 회로들(예컨대, 마이크로프로세서들, GPU(graphics processing unit)들, DSP(digital signal processor)들, CPU(central processing unit)들 및/또는 다른 적절한 전자 회로들)을 포함할 수 있는 전자 회로들 또는 다른 전자 하드웨어를 포함할 수 있고 그리고/또는 이들을 사용하여 구현될 수 있으며, 그리고/또는 본원에서 설명되는 다양한 동작들을 수행하기 위해 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있고 그리고/또는 이들을 사용하여 구현될 수 있다.
프로세스(900)는 논리 순서도들로서 예시되며, 그 동작은 하드웨어, 컴퓨터 명령들, 또는 이들의 조합에서 구현될 수 있는 동작들의 시퀀스를 표현한다. 컴퓨터 명령들과 관련하여, 동작들은 하나 이상의 컴퓨터 판독 가능 저장 매체들 상에 저장된 컴퓨터 실행 가능 명령들을 표현하며, 이러한 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 열거된 동작들을 수행한다. 일반적으로, 컴퓨터 실행 가능 명령들은 특정 기능들을 수행하거나 특정 데이터 유형들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되는 것으로 의도되지 않으며, 임의의 수의 설명되는 동작들이 임의의 순서로 그리고/또는 병렬로 조합되어 프로세스들을 구현할 수 있다.
부가적으로, 프로세스(900) 및/또는 본원에 설명된 다른 프로세스는 실행 가능 명령들로 구성된 하나 이상의 컴퓨터 시스템들의 제어 하에 수행될 수 있으며, 하나 이상의 프로세서들 상에서 집합적으로 실행하는 코드(예를 들어, 실행 가능 명령들, 하나 이상의 컴퓨터 프로그램들, 또는 하나 이상의 애플리케이션들)로서, 하드웨어에 의해, 또는 이들의 조합들로 구현될 수 있다. 위에서 언급된 바와 같이, 코드는 예를 들어, 하나 이상의 프로세서들에 의해 실행 가능한 복수의 명령들을 포함하는 컴퓨터 프로그램의 형태로, 컴퓨터 판독 가능 또는 기계 판독 가능 저장 매체 상에 저장될 수 있다. 컴퓨터 판독 가능 또는 기계 판독 가능 저장 매체는 비일시적일 수 있다.
도 10은 본 기술의 특정 양태들을 구현하기 위한 시스템의 일 예를 예시한 도면이다. 특히, 도 10은 예를 들어 내부 컴퓨팅 시스템, 원격 컴퓨팅 시스템, 카메라 또는 이들의 임의의 컴포넌트를 구성하는 임의의 컴퓨팅 디바이스일 수 있는 컴퓨팅 시스템(1000)의 예를 예시하고, 여기서 시스템의 컴포넌트들은 연결(1005)을 사용하여 서로 통신한다. 연결(1005)은 버스를 사용한 물리적 연결이거나, 또는 칩셋 아키텍처에서와 같이 프로세서(1010)로의 직접 연결일 수 있다. 연결(1005)은 가상 연결, 네트워크 연결, 또는 논리적 연결일 수 있다.
일부 실시예들에서, 컴퓨팅 시스템(1000)은 본 개시내용에서 설명된 기능들이 데이터 센터, 다중 데이터 센터들, 피어 네트워크 등 내에서 분산될 수 있는 분산 시스템이다. 일부 실시예들에서, 설명된 시스템 컴포넌트들 중 하나 이상은 컴포넌트가 설명된 기능의 일부 또는 전체를 각각 수행하는 많은 그러한 컴포넌트들을 표현한다. 일부 실시예에서, 컴포넌트는 물리적 디바이스 또는 가상 디바이스일 수 있다.
예시적인 시스템(1000)은 적어도 하나의 프로세싱 유닛(CPU 또는 프로세서)(1010), 및 판독 전용 메모리(ROM)(1020) 및 랜덤 액세스 메모리(RAM)(1025)와 같은 시스템 메모리(1015)를 포함하는 다양한 시스템 컴포넌트들을 프로세서(1010)에 커플링시키는 연결(1005)을 포함한다. 컴퓨팅 시스템(1000)은 프로세서(1010)와 직접 연결되거나, 이에 매우 근접하거나, 또는 이의 일부로서 통합된 고속 메모리의 캐시(1012)를 포함할 수 있다.
프로세서(1010)는 프로세서(1010)를 제어하도록 구성된 저장 디바이스(1030)에 저장된 서비스들(1032, 1034 및 1036)과 같은 임의의 범용 프로세서 및 하드웨어 서비스 또는 소프트웨어 서비스뿐만 아니라 소프트웨어 명령들이 실제 프로세서 설계에 통합되는 특수 목적 프로세서를 포함할 수 있다. 프로세서(1010)는 본질적으로 다중 코어 또는 프로세서, 버스, 메모리 제어기, 캐시 등을 포함하는 완전히 독립형 컴퓨팅 시스템일 수 있다. 다중 코어 프로세서는 대칭 또는 비대칭일 수 있다.
사용자 상호작용을 가능하게 하기 위해, 컴퓨팅 시스템(1000)은 스피치용 마이크로폰, 제스처 또는 그래픽 입력용 터치 감지 스크린, 키보드, 마우스, 모션 입력, 스피치 등과 같은 임의의 다수의 입력 메커니즘을 나타낼 수 있는 입력 디바이스(1045)를 포함한다. 컴퓨팅 시스템(1000)은 또한 다수의 출력 메커니즘 중 하나 이상일 수 있는 출력 디바이스(1035)를 포함할 수 있다. 일부 예에서, 다중모드 시스템은 사용자로 하여금 컴퓨팅 시스템(1000)과 통신하기 위해 다수의 유형의 입력/출력을 제공할 수 있게 할 수 있다. 컴퓨팅 시스템(1000)은, 사용자 입력 및 시스템 출력을 일반적으로 통제하고 관리할 수 있는 통신 인터페이스(1040)를 포함할 수 있다. 통신 인터페이스는 오디오 잭/플러그, 마이크로폰 잭/플러그, 범용 직렬 버스(USB) 포트/플러그, Apple® Lightning® 포트/플러그, 이더넷 포트/플러그, 광섬유 포트/플러그, 사유의(proprietary) 유선 포트/플러그, BLUETOOTH® 무선 신호 전송, BLUETOOTH® 저에너지(BLE) 무선 신호 전송, IBEACON® 무선 신호 전송, 무선 주파수 식별(RFID) 무선 신호 전송, 근거리 통신(NFC) 무선 신호 전송, DSRC(dedicated short range communication) 무선 신호 전송, 802.11 Wi-Fi 무선 신호 전송, WLAN(wireless local area network) 신호 전송, VLC(Visible Light Communication), WiMAX(Worldwide Interoperability for Microwave Access), 적외선(IR) 통신 무선 신호 전송, PSTN(Public Switched Telephone Network) 신호 전송, ISDN(Integrated Services Digital Network) 신호 전송, 3G/4G/5G/LTE 셀룰러 데이터 네트워크 무선 신호 전송, ad-hoc 네트워크 신호 전송, 전파 신호 전송, 마이크로파 신호 전송, 적외선 신호 전송, 가시광 신호 전송, 자외광 신호 전송, 전자기 스펙트럼을 따른 무선 신호 전송, 또는 이들의 일부 조합을 이용하는 것들을 포함하는, 유선 및/또는 무선 송수신기를 사용한 유선 또는 무선 통신 수신 및/또는 송신을 수행하거나 또는 가능하게 할 수 있다. 통신 인터페이스(1040)는 또한 하나 이상의 GNSS(Global Navigation Satellite System) 시스템과 연관된 하나 이상의 위성으로부터 하나 이상의 신호의 수신에 기초하여 컴퓨팅 시스템(1000)의 위치를 결정하는 데 사용되는 하나 이상의 GNSS 시스템 수신기 또는 송수신기를 포함할 수 있다. GNSS 시스템은 미국 기반의 GPS(Global Positioning System), 러시아 기반의 GLONASS(Global Navigation Satellite System), 중국 기반의 BDS(BeiDou Navigation Satellite System) 및 유럽 기반의 갈릴레오 GNSS를 포함하지만 이에 국한되지는 않는다. 임의의 특정 하드웨어 배열에 대해 동작하는 것에 제한이 없으며, 따라서, 여기에서의 기본 특징들은 이들이 개발됨에 따라 개선된 하드웨어 또는 펌웨어 배열들로 쉽게 대체될 수 있다.
저장 디바이스(1030)는 비휘발성 및/또는 비일시적 및/또는 컴퓨터 판독 가능 메모리 디바이스일 수 있고, 컴퓨터에 의해 액세스 가능한 데이터를 저장할 수 있는 하드 디스크 또는 다른 타입들의 컴퓨터 판독 가능 매체들, 이를테면 자기 카세트들, 플래시 메모리 카드들, 솔리드 스테이트 메모리 디바이스들, 디지털 다기능 디스크들, 카트리지들, 플로피 디스크, 가요성 디스크, 하드 디스크, 자기 테이프, 자기 스트립/스트라이프, 임의의 다른 자기 저장 매체, 플래시 메모리, 멤리스터 메모리, 임의의 다른 솔리드-스테이트 메모리, 컴팩트 디스크 판독 전용 메모리(CD-ROM) 광 디스크, 재기록 가능 컴팩트 디스크(CD) 광 디스크, 디지털 비디오 디스크(DVD) 광 디스크, 블루-레이 디스크(BDD) 광 디스크, 홀로그래픽 광 디스크, 다른 광학 매체, 보안 디지털(SD) 카드, 마이크로 보안 디지털(microSD) 카드, Memory Stick® 카드, 스마트카드 칩, EMV 칩, 가입자 식별 모듈(SIM) 카드, 미니/마이크로/나노/피코 SIM 카드, 다른 집적 회로(IC) 칩/카드, 랜덤 액세스 메모리(RAM), 정적 RAM(SRAM), 동적 RAM(DRAM), 판독 전용 메모리(ROM), 프로그래밍 가능 판독 전용 메모리(PROM), 소거 가능한 프로그래밍 가능 판독 전용 메모리(EPROM), 전기적으로 소거 가능한 프로그래밍 가능 판독 전용 메모리(EEPROM), 플래시 EPROM(FLASHEPROM), 캐시 메모리(L1/L2/L3/L4/L5/L#), 저항성 랜덤 액세스 메모리(RRAM/ReRAM), 위상 변화 메모리(PCM), 스핀 전달 토크 RAM(STT-RAM), 다른 메모리 칩 또는 카트리지, 및/또는 이들의 조합일 수 있다.
저장 디바이스(1030)는, 그러한 소프트웨어를 정의하는 코드가 프로세서(1010)에 의해 실행될 경우 시스템으로 하여금 기능을 수행하게 하는 소프트웨어 서비스들, 서버들, 서비스들 등을 포함할 수 있다. 일부 실시예들에서, 특정 기능을 수행하는 하드웨어 서비스는, 그 기능을 수행하기 위해, 프로세서(1010), 연결(1005), 출력 디바이스(1035) 등과 같은 필요한 하드웨어 컴포넌트들과 관련하여 컴퓨터 판독 가능 매체에 저장된 소프트웨어 컴포넌트를 포함할 수 있다. 용어 "컴퓨터 판독 가능 매체"는 휴대용 또는 고정식 저장 디바이스들, 광학 저장 디바이스들, 및 명령(들) 및/또는 데이터를 저장, 포함, 또는 반송할 수 있는 다양한 다른 매체들을 포함하지만 이에 한정되지 않는다. 컴퓨터 판독 가능 매체는 데이터가 저장될 수 있고 무선으로 또는 유선 접속들을 통해 전파되는 반송파들 및/또는 일시적 전자 신호들을 포함하지 않는 비일시적 매체를 포함할 수 있다. 비일시적인 매체의 예들은 자기 디스크 또는 테이프, CD(compact disk) 또는 DVD(digital versatile disk)와 같은 광학 저장 매체들, 플래시 메모리, 메모리 또는 메모리 디바이스들을 포함할 수 있지만, 이것들로 제한되지는 않는다. 컴퓨터 판독 가능 매체 상에는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들 또는 프로그램 명령문들의 임의의 조합을 나타낼 수 있는 코드 및/또는 기계 실행 가능 명령들이 저장될 수 있다. 코드 세그먼트는 정보, 데이터, 독립변수(argument)들, 파라미터들, 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수 있다. 정보, 독립변수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적당한 수단을 통해 전달, 포워딩 또는 송신될 수 있다.
일부 실시예들에서, 컴퓨터 판독 가능 저장 디바이스들, 매체들 및 메모리들은 비트 스트림 등을 포함하는 케이블 또는 무선 신호를 포함할 수 있다. 그러나 언급될 때, 비일시적 컴퓨터 판독 가능 저장 매체들은 에너지, 반송파 신호들, 전자기파들, 및 신호들 그 자체와 같은 매체들을 명시적으로 배제한다.
본원에서 제공되는 실시예들 및 예들의 철저한 이해를 제공하기 위해, 특정 세부사항들이 위의 설명에서 제공된다. 그러나 실시예들은 이러한 특정 세부사항들 없이 실시될 수 있음이 당해 기술분야에서 통상의 지식을 가진 자에 의해 이해될 것이다. 설명의 명료화를 위해, 일부 사례들에 있어서, 본 기술은 디바이스들, 디바이스 컴포넌트들, 소프트웨어에서 구현된 방법에서의 단계들 또는 루틴들, 또는 하드웨어와 소프트웨어의 조합들을 포함하는 개별 기능 블록들을 포함하는 것으로서 제시될 수도 있다. 도면들에 도시된 그리고/또는 본원에서 설명되는 것들 이외의 추가 컴포넌트들이 사용될 수 있다. 예를 들어, 불필요한 세부사항으로 실시예들을 모호하게 하지 않도록 회로들, 시스템들, 네트워크들, 프로세스들 및 다른 컴포넌트들은 블록도 형태로 컴포넌트들로서 도시될 수 있다. 다른 경우들에는, 실시예들을 모호하게 하는 것을 피하기 위해, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들 및 기법들은 불필요한 세부사항 없이 도시될 수 있다.
개별 실시예들은 위에서 흐름도, 순서도, 데이터 순서도, 구조도, 또는 블록도로서 도시된 프로세스 또는 방법으로서 설명될 수 있다. 흐름도가 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들의 대부분은 병렬로 또는 동시에 수행될 수 있다. 추가로, 동작들의 순서는 재배열될 수 있다. 프로세스는 프로세스의 동작들이 완료될 때 종료되지만 도면에 포함되지 않은 추가 단계들을 가질 수 있다. 프로세스는 방법, 함수, 프로시저, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응할 때, 그 종료는 호출 함수 또는 메인 함수로의 함수의 복귀에 대응할 수 있다.
위에서 설명된 예들에 따른 프로세스들 및 방법들은 컴퓨터 판독 가능 매체들로부터 저장되거나 아니면 컴퓨터 판독 가능 매체들로부터 이용 가능한 컴퓨터 실행 가능 명령들을 사용하여 구현될 수 있다. 이러한 명령들은 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터 또는 프로세싱 디바이스로 하여금 특정 기능 또는 기능들의 그룹을 수행하게 하거나 아니면 구성하는 명령들 및 데이터를 포함할 수 있다. 사용되는 컴퓨터 자원들의 부분들은 네트워크를 통해 액세스 가능할 수 있다. 컴퓨터 실행 가능 명령들은, 예를 들어, 어셈블리 언어, 펌웨어, 소스 코드와 같은 바이너리들, 중간 포맷 명령들일 수도 있다. 설명되는 예들에 따른 방법들 동안 생성된 정보, 명령들, 및/또는 사용되는 정보를 저장하는 데 사용될 수 있는 컴퓨터 판독 가능 매체들의 예들은 자기 또는 광 디스크들, 플래시 메모리, 비휘발성 메모리가 제공된 USB 디바이스들, 네트워크킹된 저장 디바이스들 등을 포함한다.
이러한 개시내용들에 따른 프로세스들 및 방법들을 구현하는 디바이스들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합을 포함할 수 있고, 다양한 폼 팩터들 중 임의의 폼 팩터를 취할 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들(예를 들어, 컴퓨터 프로그램 제품)은 컴퓨터 판독 가능 또는 기계 판독 가능 매체에 저장될 수 있다. 프로세서(들)는 필요한 작업들을 수행할 수 있다. 폼 팩터들의 통상적인 예들은 랩톱들, 스마트 폰들, 모바일 폰들, 태블릿 디바이스들 또는 다른 소형 폼 팩터 퍼스널 컴퓨터들, 퍼스널 디지털 어시스턴트들, 랙마운트 디바이스들, 독립형 디바이스들 등을 포함한다. 본원에서 설명되는 기능성은 또한 주변 기기들 또는 애드인(add-in) 카드들로 구현될 수 있다. 그러한 기능성은 또한 추가 예로서, 단일 디바이스에서 실행되는 상이한 프로세스들 또는 상이한 칩들 사이의 회로 기판 상에서 구현될 수 있다.
명령들, 그러한 명령들을 전달하기 위한 매체들, 명령들을 실행하기 위한 컴퓨팅 자원들, 및 그러한 컴퓨팅 자원들을 지원하기 위한 다른 구조들은 본 개시내용에서 설명되는 기능들을 제공하기 위한 예시적인 수단들이다.
위의 설명에서, 본 출원의 양태들은 본 출원의 특정 실시예들을 참조하여 설명되지만, 당해 기술분야에서 통상의 지식을 가진 자들은 본 출원이 이에 제한되지 않음을 인식할 것이다. 따라서 본 출원의 예시적인 실시예들이 본원에서 상세히 설명되었지만, 본 발명의 개념들은 다른 식으로 다양하게 구현 및 이용될 수 있고, 첨부된 청구항들은 종래 기술에 의해 제한된 것을 제외하면, 그러한 변형들을 포함하는 것으로 해석되어야 한다고 이해되어야 한다. 위에서 설명된 애플리케이션의 다양한 특징들 및 양태들은 개별적으로 또는 공동으로 사용될 수 있다. 추가로, 실시예들은, 본원의 더 넓은 사상 및 범위를 벗어나지 않으면서, 본 명세서에서 설명되는 것들 이외의 임의의 수의 환경들 및 애플리케이션들에서 이용될 수 있다. 이에 따라, 본 명세서 및 도면들은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다. 예시의 목적들로, 방법들은 특정 순서로 설명되었다. 대안적인 실시예들에서, 방법들은 설명된 것과 상이한 순서로 수행될 수 있다고 인식되어야 한다.
당업자는 본원에서 사용된 미만("<") 및 초과(">") 심볼들 또는 용어가 본 개시내용의 범주를 벗어나지 않으면서 이하("≤") 및 이상("≥") 심볼들로 각각 대체될 수 있음을 이해할 것이다.
컴포넌트들이 특정 동작을 수행하도록 "구성된" 것으로 기술되는 경우, 그러한 구성은 예를 들어, 전자 회로 또는 다른 하드웨어를 설계하여 그 동작을 수행하는 것에 의해, 프로그래밍 가능한 전자 회로(예를 들어, 마이크로프로세서 또는 다른 적절한 전자 회로)를 프로그래밍하여 그 동작을 수행하는 것에 의해 또는 이들의 임의의 조합에 의해, 달성될 수 있다.
문구 "~ 에 커플링된(coupled to)"은 다른 컴포넌트에 직접적으로 또는 간접적으로 물리적으로 접속된 임의의 컴포넌트, 및/또는, 다른 컴포넌트와 직접적으로 또는 간접적으로 통신하는(예컨대, 유선 또는 무선 접속, 및/또는 다른 적합한 통신 인터페이스를 통해 다른 컴포넌트에 접속된) 임의의 컴포넌트를 지칭한다.
세트 "중의 적어도 하나" 밑/또는 세트 "중의 하나 이상"을 인용하는 청구항 언어 또는 기타 언어는 그 세트 중의 하나의 멤버 또는 그 세트의 다수의 멤버들이 (임의의 조합으로) 청구항을 만족하는 것을 나타낸다. 예를 들어, "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나"를 언급하는 청구항 언어는 A, B, 또는 A 및 B를 의미한다. 다른 예에서, "A, B 및 C 중 적어도 하나" 또는 "A, B 또는 C 중 적어도 하나"를 언급하는 청구항 언어는 A, B, C, 또는 A 및 B, 또는 A 및 C, 또는 B 및 C, 또는 A 및 B 및 C를 의미한다. 그 언어, 세트 "중 적어도 하나" 및/또는 세트 중 "하나 이상"은 세트를 그 세트에 열거된 항목들로 제한하지 않는다. 예를 들어, "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나"를 인용하는 청구항 언어는 A, B, 또는 A 및 B를 의미할 수 있으며, A 및 B의 세트에 열거되지 않은 항목들을 부가적으로 포함할 수 있다.
본원에 개시된 예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 조합들로서 구현될 수도 있다. 하드웨어와 소프트웨어의 이러한 상호교환 가능성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 그것들의 기능성 관점들에서 일반적으로 위에서 설명되었다. 이러한 기능성이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 대해 부과된 설계 제한들에 의존한다. 당해 기술분야에서 통상의 지식을 가진 자들은 설명된 기능성을 특정 출원마다 다양한 방식들로 구현할 수 있지만, 이러한 구현 결정들이 본 출원의 범위를 벗어나게 하는 것으로 해석되지는 않아야 한다.
본원에서 설명되는 기법들은 또한 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 이러한 기법들은 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 적용을 포함하여 다수의 용도들을 갖는 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들 또는 집적 회로 디바이스들과 같은 다양한 디바이스들 중 임의의 디바이스에서 구현될 수 있다. 모듈들 또는 컴포넌트들로서 설명되는 임의의 특징들은 통합된 로직 디바이스로 함께 또는 개별적이지만 상호운용 가능한 로직 디바이스들로서 별개로 구현될 수 있다. 소프트웨어에서 구현되면, 그 기법들은, 실행될 경우 상기 설명된 방법들, 알고리즘들, 및/또는 동작들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터 판독 가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독 가능 데이터 저장 매체는 패키징 재료들을 포함할 수 있는 컴퓨터 프로그램 제품의 일부를 형성할 수 있다. 컴퓨터 판독 가능 매체는 메모리 또는 데이터 저장 매체들, 이를테면 RAM(random access memory), 이를테면 SDRAM(synchronous dynamic random access memory), ROM(read-only memory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), FLASH 메모리, 자기 또는 광 데이터 저장 매체들 등을 포함할 수 있다. 추가로 또는 대안으로, 이 기법들은 적어도 부분적으로는, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 운반 또는 전달하고 컴퓨터, 이를테면 전파 신호들 또는 파들 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터 판독 가능 통신 매체에 의해 실현될 수 있다.
프로그램 코드는 하나 이상의 프로세서들, 이를테면 하나 이상의 DSP(digital signal processor)들, 범용 마이크로프로세서들, ASIC(application specific integrated circuit)들, FPGA(field programmable logic array)들 또는 다른 대등한 집적 또는 이산 로직 회로를 포함할 수 있는 프로세서에 의해 실행될 수 있다. 그러한 프로세서는 본 개시내용에서 설명되는 기법들 중 임의의 기법을 수행하도록 구성될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만; 대안적으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 기계일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예컨대, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 조합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 이에 따라, 본원에서 사용된 바와 같은 용어 "프로세서"는 전술한 구조, 전술한 구조의 임의의 조합, 또는 본원에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 또는 장치 중 임의의 것을 지칭할 수 있다.
본 개시내용의 예시적인 양태들은 다음을 포함한다:
양태 1. 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치로서, 적어도 하나의 메모리; 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 장면에서의 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하고; 적어도 하나의 메모리를 사용하는 것을 포함하여, 장면, 디바이스, 및 장치와 연관된 사용자 중 적어도 하나와 관련된 정보를 결정하고; 하나 이상의 입력 옵션들 및 정보에 기초하여, 관련 컨텍스트 정보가 결정되었던 입력 옵션에 대응하는 사용자 안내 데이터를 출력하도록 구성되는, 장치.
양태 2. 양태 1에 있어서, 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하기 위해, 적어도 하나의 프로세서들은, 오브젝트를 동작시키기 위한 하나 이상의 입력 옵션들을 식별하기 위해 장면에서 오브젝트 인식을 수행하도록 구성되는, 장치.
양태 3. 양태 2에 있어서, 오브젝트는 사용자의 임계 근접 내에 있는 것 및 사용자의 시야(FOV) 내에 있는 것 중 적어도 하나인, 장치.
양태 4. 양태 1 내지 양태 3 중 어느 하나의 양태에 있어서, 적어도 하나의 프로세서는, 장면에서의 하나 이상의 추가적인 디바이스들을 검출하고; 정보에 기초하여, 사용자가 디바이스 또는 하나 이상의 추가적인 디바이스들과 상호작용할 것인지 여부를 예측하는 신뢰도 값을 결정하고; 결정된 신뢰도 값이 임계값을 초과하는 것에 응답하여, 디바이스와의 사용자 상호작용을 예측하도록 구성되는, 장치.
양태 5. 양태 4에 있어서, 적어도 하나의 프로세서는, 디바이스와의 사용자 상호작용을 예측하는 것에 응답하여, 하나 이상의 추가적인 디바이스들과 연관된 콘텐츠를 필터링하고; 디바이스와 연관된 콘텐츠를 출력하도록 구성되는, 장치.
양태 6. 양태 4 내지 양태 5 중 어느 하나의 양태에 있어서, 적어도 하나의 프로세서는, 디바이스 및 하나 이상의 추가적인 디바이스들 중 사용자가 상호작용할 것으로 예측되는 디바이스를 식별하도록 구성되는, 장치.
양태 7. 양태 4 내지 양태 6 중 어느 하나의 양태에 있어서, 적어도 하나의 프로세서는, 콘텐츠의 오버로드, 혼동, 및 콘텐츠 클러터(clutter) 중 적어도 하나를 피하기 위해 사용자 인터페이스 콘텐츠의 제시를 단순화하도록 구성되는, 장치.
양태 8. 양태 1 내지 양태 7 중 어느 하나의 양태에 있어서, 디바이스는 네트워크 통신 능력들을 갖는 연결된 디바이스를 포함하고, 적어도 하나의 프로세서는, 정보 및 하나 이상의 입력 옵션들에 기초하여, 예측된 사용자 상호작용을 나타내는 손 제스처를 결정하는 것으로서, 예측된 사용자 상호작용은 디바이스에 대한 예측된 사용자 입력을 포함하는, 상기 손 제스처를 결정하고; 사용자 안내 데이터를 제시하도록 구성되고, 사용자 안내 데이터는, 검출될 때, 디바이스에서 실제 사용자 입력을 호출하는 손 제스처의 표시를 포함하는, 장치.
양태 9. 양태 1 내지 양태 8 중 어느 하나의 양태에 있어서, 사용자 안내 데이터는 입력 옵션과 연관된 사용자 입력 요소, 입력 옵션과 연관된 물리적 오브젝트 상의 가상 오버레이, 및 입력 옵션과 연관된 입력을 제공하는 방법을 나타내는 큐 중 적어도 하나를 포함하는, 장치.
양태 10. 양태 7에 있어서, 적어도 하나의 프로세서는, 정보에 기초하여, 디바이스와의 사용자 상호작용을 예측하고; 하나 이상의 입력 옵션들 및 예측된 사용자 상호작용에 기초하여 입력 옵션에 대응하는 사용자 안내 데이터를 제시하도록 구성되는, 장치.
양태 11. 양태 1 내지 양태 10 중 어느 하나의 양태에 있어서, 사용자 안내 데이터를 제시하기 위해, 적어도 하나의 프로세서는, 장치와 연관된 디스플레이에서, 디바이스의 표면 상에 위치되는 것으로 보이도록 구성되는 가상 오버레이를 렌더링하도록 구성되고, 가상 오버레이는 입력 옵션과 연관된 사용자 인터페이스 요소를 포함하고, 사용자 인터페이스 요소는 입력 옵션과 연관된 가상 사용자 입력 오브젝트 및 입력 옵션에 대응하는 입력을 수신하도록 구성된 디바이스 상의 물리적 제어 오브젝트의 시각적 표시 중 적어도 하나를 포함하는, 장치.
양태 12. 양태 1 내지 양태 11 중 어느 하나의 양태에 있어서, 정보는 사용자의 눈 시선 및 사용자의 포즈 중 적어도 하나를 포함하고, 적어도 하나의 프로세서는, 사용자의 눈 시선 및 사용자의 포즈 중 적어도 하나에 기초하여 디바이스와의 사용자 상호작용을 예측하고; 사용자 안내 데이터를 제시한 후에, 입력 옵션과 연관된 실제 사용자 입력을 검출하는 것으로서, 실제 사용자 입력은 예측된 사용자 상호작용을 표현하는, 상기 실제 사용자 입력을 검출하고; 디바이스로, 입력 옵션과 연관된 실제 사용자 입력에 대응하는 커맨드를 송신하도록 구성되는, 장치.
양태 13. 양태 1 내지 양태 12 중 어느 하나의 양태에 있어서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하기 위해, 적어도 하나의 프로세서는, 사용자 안내 데이터를 디스플레이하도록 구성되는, 장치.
양태 14. 양태 1 내지 양태 13 중 어느 하나의 양태에 있어서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하기 위해, 적어도 하나의 프로세서는, 사용자 안내 데이터를 표현하는 오디오 데이터를 출력하도록 구성되는, 장치.
양태 15. 양태 1 내지 양태 14 중 어느 하나의 양태에 있어서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하기 위해, 적어도 하나의 프로세서는, 사용자 안내 데이터를 디스플레이하고; 디스플레이된 사용자 안내 데이터와 연관된 오디오 데이터를 출력하도록 구성되는, 장치.
양태 16. 양태 1 내지 양태 15 중 어느 하나의 양태에 있어서, 적어도 하나의 프로세서는, 디바이스로부터, 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하도록 구성되는, 장치.
양태 17. 양태 1 내지 양태 16 중 어느 하나의 양태에 있어서, 적어도 하나의 프로세서는, 서버로부터, 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하도록 구성되는, 장치.
양태 18. 양태 1 내지 양태 17 중 어느 하나의 양태에 있어서, 디바이스는 하나 이상의 사용자 입력들을 수신하기 위한 외부 사용자 인터페이스를 갖지 않는, 장치.
양태 19. 양태 1 내지 양태 18 중 어느 하나의 양태에 있어서, 적어도 하나의 프로세서는, 정보에 기초하여, 디바이스와 연관된 추가적인 사용자 안내 데이터를 제시하는 것을 억제하도록 구성되는, 장치.
양태 20. 양태 1 내지 양태 19 중 어느 하나의 양태에 있어서, 장치는 확장 현실 디바이스인, 장치.
양태 21. 양태 1 내지 양태 20 중 어느 하나의 양태에 있어서, 디스플레이를 추가로 포함하는, 장치.
양태 22. 양태 21에 있어서, 디스플레이는 적어도 사용자 안내 데이터를 디스플레이하도록 구성되는, 장치.
양태 23. 양태 1 내지 양태 22 중 어느 하나의 양태에 있어서, 적어도 하나의 프로세서는, 사용자 안내 데이터를 제시한 후에, 입력 옵션과 연관된 사용자 입력을 획득하고; 디바이스로, 사용자 입력에 대응하는 명령을 송신하도록 구성되고, 명령은 디바이스의 하나 이상의 동작들을 제어하도록 구성되는, 장치.
양태 24. 양태 1 내지 양태 23 중 어느 하나의 양태에 있어서, 장면, 디바이스, 및 사용자 중 적어도 하나와 관련된 정보는, 디바이스와의 예측된 사용자 상호작용, 장면에서의 사용자의 하나 이상의 액션들, 사용자와 연관된 특성들, 사용자 및 디바이스와 연관된 이력 정보, 디바이스의 사용자 인터페이스 능력, 디바이스와 연관된 정보, 및 장면과 연관된 정보 중 적어도 하나를 포함하는, 장치.
양태 25. 양태 1 내지 양태 24 중 어느 하나의 양태에 있어서, 적어도 하나의 프로세서는, 장면에서의 하나 이상의 추가적인 디바이스들을 검출하고; 컨텍스트 정보에 기초하여, 사용자가 디바이스 또는 하나 이상의 추가적인 디바이스들과 상호작용할 가능성을 나타내는 신뢰도 값을 결정하고; 결정된 신뢰도 값이 임계값을 초과하는 것에 응답하여, 사용자 상호작용을 예측하도록 구성되는, 장치.
양태 26. 양태 1 내지 양태 25 중 어느 하나의 양태에 있어서, 적어도 하나의 프로세서는, 사용자 상호작용 데이터에 대해 사용자로부터 확인을 수신하고; 사용자로부터의 확인에 응답하여 디바이스와 상호작용하도록 추가로 구성되는, 장치.
양태 27. 양태 26에 있어서, 확인은 오디오 확인인, 장치.
양태 28. 양태 26 내지 양태 27 중 어느 하나의 양태에 있어서, 확인은 장치에서 수신된 사용자 입력인, 장치.
양태 29. 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법으로서, 장면에서의 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 단계; 적어도 하나의 메모리를 사용하는 것을 포함하여, 장면, 디바이스, 및 전자 디바이스와 연관된 사용자 중 적어도 하나와 관련된 정보를 결정하는 단계; 및 하나 이상의 입력 옵션들 및 정보에 기초하여, 관련 컨텍스트 정보가 결정되었던 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 단계를 포함하는, 방법.
양태 30. 양태 29에 있어서, 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 단계는, 오브젝트를 동작시키기 위한 하나 이상의 입력 옵션들을 식별하기 위해 장면에서의 오브젝트 인식을 수행하는 것을 포함하는, 방법.
양태 31. 양태 30에 있어서, 오브젝트는 사용자의 임계 근접 내에 있는 것 및 그리고 사용자의 시야(FOV) 내에 있는 것 중 적어도 하나인, 방법.
양태 32. 양태 29 내지 양태 31 중 어느 하나의 양태에 있어서, 장면에서의 하나 이상의 추가적인 디바이스들을 검출하는 단계; 정보에 기초하여, 사용자가 디바이스 또는 하나 이상의 추가적인 디바이스들과 상호작용할 것인지 여부를 예측하는 신뢰도 값을 결정하는 단계; 및 결정된 신뢰도 값이 임계값을 초과하는 것에 응답하여, 디바이스와의 사용자 상호작용을 예측하는 단계를 추가로 포함하는, 방법.
양태 33. 양태 29 내지 양태 32 중 어느 하나의 양태에 있어서, 디바이스와의 사용자 상호작용을 예측하는 것에 응답하여, 하나 이상의 추가적인 디바이스들과 연관된 콘텐츠를 필터링하는 단계; 및 디바이스와 연관된 콘텐츠를 출력하는 단계를 추가로 포함하는, 방법.
양태 34. 양태 29 내지 양태 33 중 어느 하나의 양태에 있어서, 디바이스 및 하나 이상의 추가적인 디바이스들 중 어느 것과 사용자가 상호작용할 것으로 예측되는지를 식별하는 단계를 추가로 포함하는, 방법.
양태 35. 양태 34에 있어서, 콘텐츠의 오버로드, 혼동, 및 콘텐츠 클러터 중 적어도 하나를 피하기 위해 사용자 인터페이스 콘텐츠의 제시를 단순화하는 단계를 추가로 포함하는, 방법.
양태 36. 양태 29 내지 양태 35 중 어느 하나의 양태에 있어서, 사용자 안내 데이터는 입력 옵션과 연관된 사용자 입력 요소, 입력 옵션과 연관된 물리적 오브젝트 상의 가상 오버레이, 및 입력 옵션과 연관된 입력을 제공하는 방법을 나타내는 큐 중 적어도 하나를 포함하는, 방법.
양태 37. 양태 29 내지 양태 36 중 어느 하나의 양태에 있어서, 정보에 기초하여, 디바이스와의 사용자 상호작용을 예측하는 단계; 및 하나 이상의 입력 옵션들 및 예측된 사용자 상호작용에 기초하여 입력 옵션에 대응하는 사용자 안내 데이터를 제시하는 단계를 추가로 포함하는, 방법.
양태 38. 양태 37에 있어서, 디바이스는 네트워크 통신 능력들을 갖는 연결된 디바이스를 포함하고, 방법은, 정보 및 하나 이상의 입력 옵션들에 기초하여, 예측된 사용자 상호작용을 나타내는 손 제스처를 결정하는 단계로서, 예측된 사용자 상호작용은 디바이스에 대한 예측된 사용자 입력을 포함하는, 상기 손 제스처를 결정하는 단계; 및 사용자 안내 데이터를 제시하는 단계를 추가로 포함하고, 사용자 안내 데이터는, 검출될 때, 디바이스에서 실제 사용자 입력을 호출하는 손 제스처의 표시를 포함하는, 방법.
양태 39. 양태 29 내지 양태 38 중 어느 하나의 양태에 있어서, 사용자 안내 데이터를 제시하는 단계는, 전자 디바이스와 연관된 디스플레이에서, 디바이스의 표면 상에 위치되는 것으로 보이도록 구성되는 가상 오버레이를 렌더링하는 단계를 포함하고, 가상 오버레이는 입력 옵션과 연관된 사용자 인터페이스 요소를 포함하고, 사용자 인터페이스 요소는 입력 옵션과 연관된 가상 사용자 입력 오브젝트 및 입력 옵션에 대응하는 입력을 수신하도록 구성된 디바이스 상의 물리적 제어 오브젝트의 시각적 표시 중 적어도 하나를 포함하는, 방법.
양태 40. 양태 29 내지 양태 39 중 어느 하나의 양태에 있어서, 정보는 사용자의 눈 시선 및 사용자의 포즈 중 적어도 하나를 포함하고, 방법은, 사용자의 눈 시선 및 사용자의 포즈 중 적어도 하나에 기초하여 디바이스와의 사용자 상호작용을 예측하는 단계; 사용자 안내 데이터를 제시한 후에, 입력 옵션과 연관된 실제 사용자 입력을 검출하는 단계로서, 실제 사용자 입력은 예측된 사용자 상호작용을 표현하는, 상기 실제 사용자 입력을 검출하는 단계; 및 디바이스로, 입력 옵션과 연관된 실제 사용자 입력에 대응하는 커맨드를 송신하는 단계를 추가로 포함하는, 방법.
양태 41. 양태 29 내지 양태 40 중 어느 하나의 양태에 있어서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 단계는, 사용자 안내 데이터를 디스플레이하는 것을 포함하는, 방법.
양태 42. 양태 29 내지 양태 41 중 어느 하나의 양태에 있어서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 단계는, 사용자 안내 데이터를 표현하는 오디오 데이터를 출력하는 것을 포함하는, 방법.
양태 43. 양태 29 내지 양태 42 중 어느 하나의 양태에 있어서, 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 단계는, 사용자 안내 데이터를 디스플레이하는 것; 및 디스플레이된 사용자 안내 데이터와 연관된 오디오 데이터를 출력하는 것을 포함하는, 방법.
양태 44. 양태 29 내지 양태 43 중 어느 하나의 양태에 있어서, 디바이스로부터, 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 단계를 추가로 포함하는, 방법.
양태 45. 양태 29 내지 양태 44 중 어느 하나의 양태에 있어서, 서버로부터, 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 단계를 추가로 포함하는, 방법.
양태 46. 양태 29 내지 양태 45 중 어느 하나의 양태에 있어서, 디바이스는 하나 이상의 사용자 입력들을 수신하기 위한 외부 사용자 인터페이스를 갖지 않는, 방법.
양태 47. 양태 29 내지 양태 46 중 어느 하나의 양태에 있어서, 정보에 기초하여, 디바이스와 연관된 추가적인 사용자 안내 데이터를 제시하는 것을 억제하는 단계를 추가로 포함하는, 방법.
양태 48. 양태 29 내지 양태 47 중 어느 하나의 양태에 있어서, 사용자 안내 데이터를 제시한 후에, 입력 옵션과 연관된 사용자 입력을 획득하는 단계; 및 디바이스로, 사용자 입력에 대응하는 명령을 송신하는 단계를 추가로 포함하고, 명령은 디바이스의 하나 이상의 동작들을 제어하도록 구성되는, 방법.
양태 49. 양태 29 내지 양태 48 중 어느 하나의 양태에 있어서, 장면, 디바이스, 및 사용자 중 적어도 하나와 관련된 정보는, 디바이스와의 예측된 사용자 상호작용, 장면에서의 사용자의 하나 이상의 액션들, 사용자와 연관된 특성들, 사용자 및 디바이스와 연관된 이력 정보, 디바이스의 사용자 인터페이스 능력, 디바이스와 연관된 정보, 및 장면과 연관된 정보 중 적어도 하나를 포함하는, 방법.
양태 50. 양태 29 내지 양태 49 중 어느 하나의 양태에 있어서, 장면에서의 하나 이상의 추가적인 디바이스들을 검출하는 단계; 컨텍스트 정보에 기초하여, 사용자가 디바이스 또는 하나 이상의 추가적인 디바이스들과 상호작용할 가능성을 나타내는 신뢰도 값을 결정하는 단계; 및 결정된 신뢰도 값이 임계값을 초과하는 것에 응답하여, 사용자 상호작용을 예측하는 단계를 추가로 포함하는, 방법.
양태 51. 양태 29 내지 양태 50 중 어느 하나의 양태에 있어서, 사용자 상호작용 데이터에 대해 사용자로부터 확인을 수신하는 단계; 사용자로부터의 확인에 응답하여 디바이스와 상호작용하는 단계를 추가로 포함하는, 방법.
양태 52. 양태 51에 있어서, 확인은 오디오 확인인, 방법.
양태 53. 양태 51 내지 양태 52 중 어느 하나의 양태에 있어서, 확인은 장치에서 수신된 사용자 입력인, 방법.
양태 54. 명령들이 저장된 비일시적 컴퓨터 판독 가능 저장 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 양태 29 내지 53 중 어느 하나의 양태에 따른 방법을 수행하게 하는, 명령들이 저장된 비일시적 컴퓨터 판독 가능 저장 매체.
양태 55. 양태 29 내지 양태 53 중 어느 하나의 양태에 따른 방법을 수행하기 위한 수단을 포함하는 장치.
Claims (31)
- 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치로서,
적어도 하나의 메모리; 및
상기 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
장면에서의 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는
데이터를 수신하고;
적어도 하나의 메모리를 사용하는 것을 포함하여, 상기 장면, 상기 디
바이스, 및 상기 장치와 연관된 사용자 중 적어도 하나와 관련된 정보를 결
정하고; 그리고
상기 하나 이상의 입력 옵션들 및 상기 정보에 기초하여, 관련 컨텍스
트 정보가 결정되었던 입력 옵션에 대응하는 사용자 안내 데이터를 출력하도
록 구성되는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장
치. - 제1항에 있어서, 상기 사용자 안내 데이터는 상기 입력 옵션과 연관된 사용자 입력 요소, 상기 입력 옵션과 연관된 물리적 오브젝트 상의 가상 오버레이, 및 상기 입력 옵션과 연관된 입력을 제공하는 방법을 나타내는 큐 중 적어도 하나를 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치.
- 제1항에 있어서, 상기 적어도 하나의 프로세서는,
상기 정보에 기초하여, 상기 디바이스와의 사용자 상호작용을 예측하고; 그리고
상기 하나 이상의 입력 옵션들 및 예측된 상기 사용자 상호작용에 기초하여 상기 입력 옵션에 대응하는 상기 사용자 안내 데이터를 제시하도록 구성되는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치. - 제1항에 있어서, 상기 디바이스는 네트워크 통신 능력들을 갖는 연결된 디바이스를 포함하고, 상기 적어도 하나의 프로세서는,
상기 정보 및 상기 하나 이상의 입력 옵션들에 기초하여, 예측된 사용자 상호작용을 나타내는 손 제스처를 결정하는 것으로서, 상기 예측된 사용자 상호작용은 상기 디바이스에 대한 예측된 사용자 입력을 포함하는, 상기 손 제스처를 결정하고; 그리고
상기 사용자 안내 데이터를 제시하도록 구성되고, 상기 사용자 안내 데이터는, 검출될 때, 상기 디바이스에서 실제 사용자 입력을 호출하는 상기 손 제스처의 표시를 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치. - 제1항에 있어서, 상기 사용자 안내 데이터를 제시하기 위해, 상기 적어도 하나의 프로세서는,
상기 장치와 연관된 디스플레이에서, 상기 디바이스의 표면 상에 위치되는 것으로 보이도록 구성되는 가상 오버레이를 렌더링하도록 구성되고, 상기 가상 오버레이는 상기 입력 옵션과 연관된 사용자 인터페이스 요소를 포함하며, 상기 사용자 인터페이스 요소는 상기 입력 옵션과 연관된 가상 사용자 입력 오브젝트 및 상기 입력 옵션에 대응하는 상기 입력을 수신하도록 구성된 상기 디바이스 상의 물리적 제어 오브젝트의 시각적 표시 중 적어도 하나를 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치. - 제1항에 있어서, 상기 정보는 상기 사용자의 눈 시선 및 상기 사용자의 포즈 중 적어도 하나를 포함하고, 상기 적어도 하나의 프로세서는,
상기 사용자의 눈 시선 및 상기 사용자의 포즈 중 적어도 하나에 기초하여 상기 디바이스와의 사용자 상호작용을 예측하고;
상기 사용자 안내 데이터를 제시한 후에, 상기 입력 옵션과 연관된 실제 사용자 입력을 검출하는 것으로서, 상기 실제 사용자 입력은 상기 예측된 사용자 상호작용을 표현하는, 상기 실제 사용자 입력을 검출하고; 그리고
상기 디바이스로, 상기 입력 옵션과 연관된 상기 실제 사용자 입력에 대응하는 커맨드를 송신하도록 구성되는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치. - 제1항에 있어서, 상기 입력 옵션에 대응하는 상기 사용자 안내 데이터를 출력하기 위해, 상기 적어도 하나의 프로세서는,
상기 사용자 안내 데이터를 디스플레이하도록 구성되는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치. - 제1항에 있어서, 상기 입력 옵션에 대응하는 상기 사용자 안내 데이터를 출력하기 위해, 상기 적어도 하나의 프로세서는,
상기 사용자 안내 데이터를 표현하는 오디오 데이터를 출력하도록 구성되는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치. - 제1항에 있어서, 상기 입력 옵션에 대응하는 상기 사용자 안내 데이터를 출력하기 위해, 상기 적어도 하나의 프로세서는,
상기 사용자 안내 데이터를 디스플레이하고; 그리고
디스플레이된 상기 사용자 안내 데이터와 연관된 오디오 데이터를 출력하도록 구성되는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치. - 제1항에 있어서, 상기 적어도 하나의 프로세서는,
상기 디바이스로부터, 상기 디바이스와 연관된 상기 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하도록 구성되는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치. - 제1항에 있어서, 상기 적어도 하나의 프로세서는,
서버로부터, 상기 디바이스와 연관된 상기 하나 이상의 입력 옵션들을 식별하는 상기 데이터를 수신하도록 구성되는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치. - 제1항에 있어서, 상기 디바이스는 하나 이상의 사용자 입력들을 수신하기 위한 외부 사용자 인터페이스를 갖지 않는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치.
- 제1항에 있어서, 상기 적어도 하나의 프로세서는,
상기 정보에 기초하여, 상기 디바이스와 연관된 추가적인 사용자 안내 데이터를 제시하는 것을 억제하도록 구성되는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치. - 제1항에 있어서, 상기 장치는 확장 현실 디바이스인, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치.
- 제1 항에 있어서, 디스플레이를 추가로 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치.
- 제15항에 있어서, 상기 디스플레이는 적어도 상기 사용자 안내 데이터를 디스플레이하도록 구성되는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치.
- 제1항에 있어서, 상기 적어도 하나의 프로세서는,
상기 사용자 안내 데이터를 제시한 후에, 상기 입력 옵션과 연관된 사용자 입력을 획득하고; 그리고
상기 디바이스로, 상기 사용자 입력에 대응하는 명령을 송신하도록 구성되고, 상기 명령은 상기 디바이스의 하나 이상의 동작들을 제어하도록 구성되는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 장치. - 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법으로서,
장면에서의 디바이스와 연관된 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 단계;
적어도 하나의 메모리를 사용하는 것을 포함하여, 상기 장면, 상기 디바이스, 및 전자 디바이스와 연관된 사용자 중 적어도 하나와 관련된 정보를 결정하는 단계; 및
상기 하나 이상의 입력 옵션들 및 상기 정보에 기초하여, 관련 컨텍스트 정보가 결정되었던 입력 옵션에 대응하는 사용자 안내 데이터를 출력하는 단계를 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법. - 제18항에 있어서, 상기 사용자 안내 데이터는 상기 입력 옵션과 연관된 사용자 입력 요소, 상기 입력 옵션과 연관된 물리적 오브젝트 상의 가상 오버레이, 및 상기 입력 옵션과 연관된 입력을 제공하는 방법을 나타내는 큐 중 적어도 하나를 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법.
- 제18항에 있어서,
상기 정보에 기초하여, 상기 디바이스와의 사용자 상호작용을 예측하는 단계; 및
상기 하나 이상의 입력 옵션들 및 예측된 상기 사용자 상호작용에 기초하여 상기 입력 옵션에 대응하는 상기 사용자 안내 데이터를 제시하는 단계를 추가로 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법. - 제20항에 있어서, 상기 디바이스는 네트워크 통신 능력들을 갖는 연결된 디바이스를 포함하고, 상기 방법은,
상기 정보 및 상기 하나 이상의 입력 옵션들에 기초하여, 예측된 사용자 상호작용을 나타내는 손 제스처를 결정하는 단계로서, 상기 예측된 사용자 상호작용은 상기 디바이스에 대한 예측된 사용자 입력을 포함하는, 상기 손 제스처를 결정하는 단계; 및
상기 사용자 안내 데이터를 제시하는 단계를 추가로 포함하고, 상기 사용자 안내 데이터는, 검출될 때, 상기 디바이스에서 실제 사용자 입력을 호출하는 상기 손 제스처의 표시를 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법. - 제18 항에 있어서, 상기 사용자 안내 데이터를 제시하는 단계는,
상기 전자 디바이스와 연관된 디스플레이에서, 상기 디바이스의 표면 상에 위치되는 것으로 보이도록 구성되는 가상 오버레이를 렌더링하는 단계를 포함하고, 상기 가상 오버레이는 상기 입력 옵션과 연관된 사용자 인터페이스 요소를 포함하며, 상기 사용자 인터페이스 요소는 상기 입력 옵션과 연관된 가상 사용자 입력 오브젝트 및 상기 입력 옵션에 대응하는 상기 입력을 수신하도록 구성된 상기 디바이스 상의 물리적 제어 오브젝트의 시각적 표시 중 적어도 하나를 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법. - 제18항에 있어서, 상기 정보는 상기 사용자의 눈 시선 및 상기 사용자의 포즈 중 적어도 하나를 포함하고, 상기 방법은,
상기 사용자의 눈 시선 및 상기 사용자의 포즈 중 적어도 하나에 기초하여 상기 디바이스와의 사용자 상호작용을 예측하는 단계;
상기 사용자 안내 데이터를 제시한 후에, 상기 입력 옵션과 연관된 실제 사용자 입력을 검출하는 단계로서, 상기 실제 사용자 입력은 상기 예측된 사용자 상호작용을 표현하는, 상기 실제 사용자 입력을 검출하는 단계; 및
상기 디바이스로, 상기 입력 옵션과 연관된 상기 실제 사용자 입력에 대응하는 커맨드를 송신하는 단계를 추가로 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법. - 제18항에 있어서, 상기 입력 옵션에 대응하는 상기 사용자 안내 데이터를 출력하는 단계는,
상기 사용자 안내 데이터를 디스플레이하는 단계를 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법. - 제18항에 있어서, 상기 입력 옵션에 대응하는 상기 사용자 안내 데이터를 출력하는 단계는,
상기 사용자 안내 데이터를 표현하는 오디오 데이터를 출력하는 단계를 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법. - 제18항에 있어서, 상기 입력 옵션에 대응하는 상기 사용자 안내 데이터를 출력하는 단계는,
상기 사용자 안내 데이터를 디스플레이하는 단계; 및
디스플레이된 상기 사용자 안내 데이터와 연관된 오디오 데이터를 출력하는 단계를 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법. - 제18항에 있어서,
상기 디바이스로부터, 상기 디바이스와 연관된 상기 하나 이상의 입력 옵션들을 식별하는 데이터를 수신하는 단계를 추가로 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법. - 제18항에 있어서,
서버로부터, 상기 디바이스와 연관된 상기 하나 이상의 입력 옵션들을 식별하는 상기 데이터를 수신하는 단계를 추가로 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법. - 제18항에 있어서, 상기 디바이스는 하나 이상의 사용자 입력들을 수신하기 위한 외부 사용자 인터페이스를 갖지 않는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법.
- 제18항에 있어서,
상기 정보에 기초하여, 상기 디바이스와 연관된 추가적인 사용자 안내 데이터를 제시하는 것을 억제하는 단계를 추가로 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법. - 제18항에 있어서,
상기 사용자 안내 데이터를 제시한 후에, 상기 입력 옵션과 연관된 사용자 입력을 획득하는 단계; 및
상기 디바이스로, 상기 사용자 입력에 대응하는 명령을 송신하는 단계로서, 상기 명령은 상기 디바이스의 하나 이상의 동작들을 제어하도록 구성되는, 상기 명령은 송신하는 단계를 추가로 포함하는, 적어도 하나의 입력 옵션과 연관된 정보를 출력하기 위한 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/450,680 | 2021-10-12 | ||
| US17/450,680 US11960652B2 (en) | 2021-10-12 | 2021-10-12 | User interactions with remote devices |
| PCT/US2022/077812 WO2023064719A1 (en) | 2021-10-12 | 2022-10-07 | User interactions with remote devices |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240072170A true KR20240072170A (ko) | 2024-05-23 |
Family
ID=84329774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247011138A KR20240072170A (ko) | 2021-10-12 | 2022-10-07 | 원격 디바이스들과의 사용자 상호작용들 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11960652B2 (ko) |
| KR (1) | KR20240072170A (ko) |
| CN (1) | CN118103799A (ko) |
| TW (1) | TW202324041A (ko) |
| WO (1) | WO2023064719A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023091525A1 (en) * | 2021-11-19 | 2023-05-25 | Apple Inc. | Intention-based user interface control for electronic devices |
| US20240094822A1 (en) * | 2022-09-19 | 2024-03-21 | Sharon Moll | Ar glasses as iot remote control |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013022222A2 (en) * | 2011-08-05 | 2013-02-14 | Samsung Electronics Co., Ltd. | Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same |
| US20150193111A1 (en) * | 2013-10-01 | 2015-07-09 | Google Inc. | Providing Intent-Based Feedback Information On A Gesture Interface |
| US9799143B2 (en) | 2014-08-15 | 2017-10-24 | Daqri, Llc | Spatial data visualization |
| US10007413B2 (en) * | 2015-04-27 | 2018-06-26 | Microsoft Technology Licensing, Llc | Mixed environment display of attached control elements |
| EP4060462A1 (en) | 2016-05-20 | 2022-09-21 | Magic Leap, Inc. | Contextual awareness of user interface menus |
| US10957083B2 (en) * | 2016-08-11 | 2021-03-23 | Integem Inc. | Intelligent interactive and augmented reality based user interface platform |
| US11043206B2 (en) * | 2017-05-18 | 2021-06-22 | Aiqudo, Inc. | Systems and methods for crowdsourced actions and commands |
| US11010179B2 (en) | 2018-04-20 | 2021-05-18 | Facebook, Inc. | Aggregating semantic information for improved understanding of users |
| US10725629B2 (en) | 2018-06-25 | 2020-07-28 | Google Llc | Identifying and controlling smart devices |
| US11231827B2 (en) * | 2019-08-03 | 2022-01-25 | Qualcomm Incorporated | Computing device and extended reality integration |
| US11042259B2 (en) | 2019-08-18 | 2021-06-22 | International Business Machines Corporation | Visual hierarchy design governed user interface modification via augmented reality |
-
2021
- 2021-10-12 US US17/450,680 patent/US11960652B2/en active Active
-
2022
- 2022-10-07 WO PCT/US2022/077812 patent/WO2023064719A1/en active Application Filing
- 2022-10-07 CN CN202280067207.3A patent/CN118103799A/zh active Pending
- 2022-10-07 KR KR1020247011138A patent/KR20240072170A/ko unknown
- 2022-10-11 TW TW111138424A patent/TW202324041A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023064719A1 (en) | 2023-04-20 |
| CN118103799A (zh) | 2024-05-28 |
| TW202324041A (zh) | 2023-06-16 |
| US11960652B2 (en) | 2024-04-16 |
| US20230116190A1 (en) | 2023-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11995774B2 (en) | Augmented reality experiences using speech and text captions | |
| US20210405761A1 (en) | Augmented reality experiences with object manipulation | |
| US12008153B2 (en) | Interactive augmented reality experiences using positional tracking | |
| US11854147B2 (en) | Augmented reality guidance that generates guidance markers | |
| CN115867912A (zh) | 用于扩展现实的虚拟私用空间 | |
| US11869156B2 (en) | Augmented reality eyewear with speech bubbles and translation | |
| KR20240072170A (ko) | 원격 디바이스들과의 사용자 상호작용들 | |
| US11709370B2 (en) | Presentation of an enriched view of a physical setting | |
| US11195341B1 (en) | Augmented reality eyewear with 3D costumes | |
| US11582409B2 (en) | Visual-inertial tracking using rolling shutter cameras | |
| JP2024503881A (ja) | コンテキストアウェアエクステンデッドリアリティシステム | |
| US20210405363A1 (en) | Augmented reality experiences using social distancing | |
| US11741679B2 (en) | Augmented reality environment enhancement | |
| US20210406542A1 (en) | Augmented reality eyewear with mood sharing | |
| US11789266B1 (en) | Dynamic sensor selection for visual inertial odometry systems | |
| US10409464B2 (en) | Providing a context related view with a wearable apparatus | |
| US20240077935A1 (en) | Virtual interfaces for controlling iot devices | |
| US12028626B2 (en) | Visual-inertial tracking using rolling shutter cameras | |
| US20240119928A1 (en) | Media control tools for managing communications between devices | |
| US20240077934A1 (en) | Virtual ar interfaces for controlling iot devices using mobile device orientation sensors | |
| US20240077983A1 (en) | Interaction recording tools for creating interactive ar stories | |
| US20240077984A1 (en) | Recording following behaviors between virtual objects and user avatars in ar experiences | |
| US20230035360A1 (en) | Mapping networked devices |