KR20230117639A - 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기위한 방법 - Google Patents
사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기위한 방법 Download PDFInfo
- Publication number
- KR20230117639A KR20230117639A KR1020237025845A KR20237025845A KR20230117639A KR 20230117639 A KR20230117639 A KR 20230117639A KR 1020237025845 A KR1020237025845 A KR 1020237025845A KR 20237025845 A KR20237025845 A KR 20237025845A KR 20230117639 A KR20230117639 A KR 20230117639A
- Authority
- KR
- South Korea
- Prior art keywords
- user interface
- immersion
- electronic device
- level
- user
- Prior art date
Links
- 238000007654 immersion Methods 0.000 title claims abstract description 721
- 238000000034 method Methods 0.000 title claims description 157
- 230000004044 response Effects 0.000 claims description 88
- 230000003993 interaction Effects 0.000 claims description 86
- 230000008859 change Effects 0.000 claims description 47
- 238000004891 communication Methods 0.000 claims description 29
- 230000000694 effects Effects 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 description 79
- 230000001965 increasing effect Effects 0.000 description 38
- 210000004247 hand Anatomy 0.000 description 35
- 230000000007 visual effect Effects 0.000 description 23
- 230000003190 augmentative effect Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000007423 decrease Effects 0.000 description 16
- 230000014509 gene expression Effects 0.000 description 16
- 230000009471 action Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 210000003128 head Anatomy 0.000 description 13
- 230000003247 decreasing effect Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 230000007704 transition Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000003825 pressing Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000001953 sensory effect Effects 0.000 description 9
- 210000003811 finger Anatomy 0.000 description 8
- 238000005034 decoration Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- -1 802.3x Chemical compound 0.000 description 6
- 230000000994 depressogenic effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000005282 brightening Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 241001422033 Thestylus Species 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000001143 conditioned effect Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 231100001261 hazardous Toxicity 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 229910002091 carbon monoxide Inorganic materials 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000008933 bodily movement Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000010255 response to auditory stimulus Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04804—Transparency, e.g. transparent or translucent windows
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
일부 실시예들에서, 전자 디바이스는 사용자의 시선에 기초하여 사용자 인터페이스들을 강조 및/또는 강조약화시킨다(deemphasize). 일부 실시예들에서, 전자 디바이스는 상이한 사용자 인터페이스들에 대한 몰입 레벨들을 서로 독립적으로 정의한다. 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스와 연관된 몰입 레벨을 (예를 들어, 일시적으로) 감소시킨 후 이전에-디스플레이된 몰입 레벨에서 사용자 인터페이스의 디스플레이를 재개한다. 일부 실시예들에서, 전자 디바이스는 객체들, 사람들 및/또는 환경의 부분들이, 전자 디바이스에 의해 디스플레이된 사용자 인터페이스를 통해 보일 수 있게 한다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 특성들 및/또는 전자 디바이스의 물리적 환경에 기초하여 사용자 인터페이스와 연관된 몰입 레벨을 감소시킨다.
Description
관련 출원의 상호 참조
본 출원은 2020년 9월 25일자로 출원된 미국 가출원 제63/083,792호의 이익을 주장하며, 그 출원의 내용은 모든 목적들을 위해 그 전체가 참고로 본 명세서에 포함된다.
기술분야
본 출원은, 대체적으로, 가상 객체들을 포함하는 3차원 환경들을 디스플레이 생성 컴포넌트를 통해 제시하는 전자 디바이스들을 포함하지만 이에 제한되지 않는, 그래픽 사용자 인터페이스들을 제시하는 하나 이상의 입력 디바이스들 및 디스플레이 생성 컴포넌트를 갖는 컴퓨터 시스템들에 관한 것이다.
증강 현실을 위한 컴퓨터 시스템들의 개발은 최근에 상당히 증가하였다. 예시적인 증강 현실 환경들은 물리적 세계를 대체하거나 증강시키는 적어도 일부 가상 요소들을 포함한다. 컴퓨터 시스템들 및 다른 전자 컴퓨팅 디바이스들에 대한 입력 디바이스들, 예를 들어 카메라들, 제어기들, 조이스틱들, 터치 감응형 표면들, 및 터치-스크린 디스플레이들이 가상/증강 현실 환경들과 상호작용하기 위해 사용된다. 예시적인 가상 요소들은 디지털 이미지들, 비디오, 텍스트, 아이콘들, 및 버튼들 및 다른 그래픽들과 같은 제어 요소들을 포함하는 가상 객체들을 포함한다.
그러나, 적어도 일부 가상 요소들(예를 들어, 애플리케이션들, 증강 현실 환경들, 혼합 현실 환경들, 및 가상 현실 환경들)을 포함하는 환경들과 상호작용하기 위한 방법들 및 인터페이스들은 번거롭고, 비효율적이고, 제한된다. 예를 들어, 가상 객체들과 연관된 액션들을 수행하기 위한 불충분한 피드백을 제공하는 시스템들, 증강 현실 환경에서 원하는 결과를 달성하기 위해 일련의 입력들을 요구하는 시스템들, 및 가상 객체들의 조작이 복잡하고, 지루하며, 에러가 발생하기 쉬운 시스템들은 사용자에게 상당한 인지 부담을 생성하고, 가상/증강 현실 환경과의 경험을 손상시킨다. 게다가, 이러한 방법들은 필요 이상으로 오래 걸려서, 에너지가 낭비된다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.
따라서, 컴퓨터 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨터 시스템들에 대한 필요성이 존재한다. 그러한 방법들 및 인터페이스들은 선택적으로, 컴퓨터 생성 현실 경험들을 사용자들에게 제공하기 위한 종래의 방법들을 보완하거나 대체한다. 이러한 방법들 및 인터페이스들은, 사용자가 제공된 입력들과 입력들에 대한 디바이스 응답들 사이의 연결을 이해하는 것을 도움으로써 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄여서, 이에 의해 더 효율적인 인간-기계 인터페이스를 생성한다.
개시된 시스템들에 의해, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 대한 사용자 인터페이스들과 연관된 위의 결점들 및 다른 문제들이 감소되거나 제거된다. 일부 실시예들에서, 컴퓨터 시스템은 연관된 디스플레이를 갖는 데스크톱 컴퓨터이다. 일부 실시예들에서, 컴퓨터 시스템은 휴대용 디바이스(예를 들어, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 개인용 전자 디바이스(예를 들어, 시계 또는 머리 장착형 디바이스와 같은 웨어러블 전자 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 터치패드를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 터치 감응형 디스플레이("터치 스크린" 또는 "터치-스크린 디스플레이"로도 알려짐)를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 눈 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 손 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 디스플레이 생성 컴포넌트에 추가하여 하나 이상의 출력 디바이스들을 갖고, 출력 디바이스들은 하나 이상의 촉각적 출력 생성기들 및 하나 이상의 오디오 출력 디바이스들을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서들, 메모리, 및 다수의 기능들을 수행하기 위해 메모리에 저장되는 하나 이상의 모듈들, 프로그램들 또는 명령어들의 세트들을 갖는다. 일부 실시예들에서, 사용자는 터치 감응형 표면 상의 스타일러스 및/또는 손가락 접촉들 및 제스처들, 카메라들 및 다른 이동 센서들에 의해 캡처된 GUI 또는 사용자의 신체에 대한 공간에서의 사용자의 눈들 및 손의 이동, 및 하나 이상의 오디오 입력 디바이스들에 의해 캡처된 음성 입력들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 상호작용들을 통해 수행되는 기능들은, 선택적으로, 이미지 편집, 드로잉, 프레젠팅(presenting), 워드 프로세싱, 스프레드시트 작성, 게임 하기, 전화 걸기, 화상 회의, 이메일 보내기, 인스턴트 메시징(instant messaging), 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 메모하기(note taking), 및/또는 디지털 비디오 재생을 포함한다. 이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.
사용자 인터페이스들과 연관된 몰입을 조정 및/또는 제어하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들이 필요하다. 이러한 방법들 및 인터페이스들은 3차원 환경에서 사용자 인터페이스들을 디스플레이하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 이러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 정도, 및/또는 종류를 줄이고 더 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에서, 전자 디바이스는 사용자의 시선에 기초하여 사용자 인터페이스들을 강조 및/또는 강조약화시킨다(deemphasize). 일부 실시예들에서, 전자 디바이스는 상이한 사용자 인터페이스들에 대한 몰입 레벨들을 서로 독립적으로 정의한다. 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스와 연관된 몰입 레벨을 (예를 들어, 일시적으로) 감소시킨 후 이전에-디스플레이된 몰입 레벨에서 사용자 인터페이스의 디스플레이를 재개한다. 일부 실시예들에서, 전자 디바이스는 객체들, 사람들 및/또는 환경의 부분들이, 전자 디바이스에 의해 디스플레이된 사용자 인터페이스를 통해 보일 수 있게 한다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 특성들 및/또는 전자 디바이스의 물리적 환경에 기초하여 사용자 인터페이스와 연관된 몰입 레벨을 감소시킨다.
전술된 다양한 실시예들이 본 명세서에 기술된 임의의 다른 실시예들과 조합될 수 있음을 유의해야 한다. 본 명세서에 기술된 특징들 및 이점들은 모두를 포함하는 것은 아니며, 특히, 많은 추가적인 특징들 및 이점들이 도면, 명세서 및 청구범위를 고려하여 당업자에게 명백할 것이다. 그에 부가하여, 본 명세서에 사용된 표현은 주로 가독성 및 설명의 목적을 위해 선택되었고, 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택되지 않았을 수 있다는 것에 주목해야 한다.
다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6은 일부 실시예들에 따른 글린트-보조(glint-assisted) 시선 추적 파이프라인을 예시하는 흐름도이다.
도 7a 및 도 7b는 일부 실시예들에 따른, 전자 디바이스가 사용자의 시선에 기초하여 사용자 인터페이스들을 강조 및/또는 강조약화시키는 방법의 예들을 예시한다.
도 8a 내지 도 8d는 일부 실시예들에 따른, 사용자의 시선에 기초하여 사용자 인터페이스들을 강조 및/또는 강조약화시키는 방법을 예시하는 흐름도이다.
도 9a 내지 도 9c는 일부 실시예들에 따른, 상이한 사용자 인터페이스들에 대한 몰입 레벨들을 서로 독립적으로 정의하는 예들을 예시한다.
도 10a 내지 도 10k는 일부 실시예들에 따른, 상이한 사용자 인터페이스들에 대한 몰입 레벨들을 서로 독립적으로 정의하는 방법을 예시하는 흐름도이다.
도 11a 및 도 11b는 일부 실시예들에 따른, 사용자 인터페이스와 연관된 몰입 레벨을 (예를 들어, 일시적으로) 감소시킨 후 이전에-디스플레이된 몰입 레벨에서 사용자 인터페이스의 디스플레이를 재개하는 예들을 예시한다.
도 12a 내지 도 12d는 일부 실시예들에 따른, 사용자 인터페이스와 연관된 몰입 레벨을 (예를 들어, 일시적으로) 감소시킨 후 이전에-디스플레이된 몰입 레벨에서 사용자 인터페이스의 디스플레이를 재개하는 방법을 예시하는 흐름도이다.
도 13a 내지 도 13c는 일부 실시예들에 따른, 전자 디바이스에 의해 디스플레이된 사용자 인터페이스를 통해 객체들, 사람들 및/또는 환경의 부분들이 보일 수 있게 하는 예들을 예시한다.
도 14a 내지 도 14f는 일부 실시예들에 따른, 전자 디바이스에 의해 디스플레이된 사용자 인터페이스를 통해 객체들, 사람들, 및/또는 환경의 부분들이 보일 수 있게 하는 방법을 예시하는 흐름도이다.
도 15a 내지 도 15c는 일부 실시예들에 따른, 전자 디바이스의 특성들 및/또는 전자 디바이스의 물리적 환경에 기초하여 사용자 인터페이스와 연관된 몰입 레벨을 감소시키는 예들을 예시한다.
도 16a 내지 도 16c는 일부 실시예들에 따른, 전자 디바이스의 특성들 및/또는 전자 디바이스의 물리적 환경에 기초하여 사용자 인터페이스와 연관된 몰입 레벨을 감소시키는 방법을 예시하는 흐름도이다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6은 일부 실시예들에 따른 글린트-보조(glint-assisted) 시선 추적 파이프라인을 예시하는 흐름도이다.
도 7a 및 도 7b는 일부 실시예들에 따른, 전자 디바이스가 사용자의 시선에 기초하여 사용자 인터페이스들을 강조 및/또는 강조약화시키는 방법의 예들을 예시한다.
도 8a 내지 도 8d는 일부 실시예들에 따른, 사용자의 시선에 기초하여 사용자 인터페이스들을 강조 및/또는 강조약화시키는 방법을 예시하는 흐름도이다.
도 9a 내지 도 9c는 일부 실시예들에 따른, 상이한 사용자 인터페이스들에 대한 몰입 레벨들을 서로 독립적으로 정의하는 예들을 예시한다.
도 10a 내지 도 10k는 일부 실시예들에 따른, 상이한 사용자 인터페이스들에 대한 몰입 레벨들을 서로 독립적으로 정의하는 방법을 예시하는 흐름도이다.
도 11a 및 도 11b는 일부 실시예들에 따른, 사용자 인터페이스와 연관된 몰입 레벨을 (예를 들어, 일시적으로) 감소시킨 후 이전에-디스플레이된 몰입 레벨에서 사용자 인터페이스의 디스플레이를 재개하는 예들을 예시한다.
도 12a 내지 도 12d는 일부 실시예들에 따른, 사용자 인터페이스와 연관된 몰입 레벨을 (예를 들어, 일시적으로) 감소시킨 후 이전에-디스플레이된 몰입 레벨에서 사용자 인터페이스의 디스플레이를 재개하는 방법을 예시하는 흐름도이다.
도 13a 내지 도 13c는 일부 실시예들에 따른, 전자 디바이스에 의해 디스플레이된 사용자 인터페이스를 통해 객체들, 사람들 및/또는 환경의 부분들이 보일 수 있게 하는 예들을 예시한다.
도 14a 내지 도 14f는 일부 실시예들에 따른, 전자 디바이스에 의해 디스플레이된 사용자 인터페이스를 통해 객체들, 사람들, 및/또는 환경의 부분들이 보일 수 있게 하는 방법을 예시하는 흐름도이다.
도 15a 내지 도 15c는 일부 실시예들에 따른, 전자 디바이스의 특성들 및/또는 전자 디바이스의 물리적 환경에 기초하여 사용자 인터페이스와 연관된 몰입 레벨을 감소시키는 예들을 예시한다.
도 16a 내지 도 16c는 일부 실시예들에 따른, 전자 디바이스의 특성들 및/또는 전자 디바이스의 물리적 환경에 기초하여 사용자 인터페이스와 연관된 몰입 레벨을 감소시키는 방법을 예시하는 흐름도이다.
본 개시내용은 일부 실시예들에 따른, 컴퓨터 생성 현실(CGR) 경험을 사용자에게 제공하기 위한 사용자 인터페이스들에 관한 것이다.
본 명세서에 설명된 시스템들, 방법들 및 GUI들은 전자 디바이스가 사용자 인터페이스들과 연관된 몰입 레벨을 조정 및/또는 제어하기 위한 개선된 방법들을 제공한다.
일부 실시예들에서, 컴퓨터 시스템은 시스템이 사용자의 시선이 제1 사용자 인터페이스로 향함을 검출할 때 제1 사용자 인터페이스에 대하여 제2 사용자 인터페이스를 강조약화시킨다. 일부 실시예들에서, 시스템은 제1 사용자 인터페이스가 특정 유형의 애플리케이션(예를 들어, 미디어 플레이어 애플리케이션)의 사용자 인터페이스일 때 이러한 강조약화를 수행한다. 일부 실시예들에서, 제2 사용자 인터페이스는 시스템 또는 시스템의 물리적 환경의 부분들에 의해 디스플레이되는 가상 요소들 중 하나 이상의 가상 요소들의 표현들을 포함한다. 제2 사용자 인터페이스를 강조약화시키는 것은, 사용자가 제1 사용자 인터페이스 외부의 콘텐츠로부터 덜 주의산만해지면서 제1 사용자 인터페이스에 집중할 수 있다.
일부 실시예들에서, 컴퓨터 시스템은 상이한 사용자 인터페이스들에 대한 몰입 레벨들을 서로 독립적으로 정의한다. 시스템이 (예를 들어, 운영 체제의, 제1 애플리케이션의) 제1 사용자 인터페이스를 디스플레이하는 몰입 레벨의 변화들은, 선택적으로, 시스템이 (예를 들어, 제2 애플리케이션의) 제2 사용자 인터페이스를 디스플레이하는 몰입 레벨에 영향을 미치지 않는다. 일부 실시예들에서, 몰입은 컴퓨터 시스템과 연관된 기계적 입력 요소(예를 들어, 회전가능한 입력 요소)의 조작을 통해 제어되며, 여기서 기계적 입력 요소에서의 입력의 방향 및/또는 크기는 몰입 레벨의 변화의 크기 및/또는 방향을 정의한다. 몰입 레벨은, 선택적으로, 해당 사용자 인터페이스 이외의 콘텐츠(예를 들어, 시스템의 물리적 환경의 표현들, 사용자 인터페이스 외부의 가상 요소들 등)가 디스플레이를 통해 보이는 정도를 정의한다. 독립적으로 제어되는 몰입 레벨들을 제공하고/하거나 입력의 크기 및/또는 방향에 따라 그렇게 하는 것은, 다양한 사용자 인터페이스들에 대한 일관되고 예상되는 디스플레이 거동을 사용자에게 제공하고, 그 결과로서 이러한 사용자 인터페이스들과의 상호작용의 오류들을 감소시킨다.
일부 실시예들에서, 컴퓨터 시스템은 사용자 인터페이스와 연관된 몰입 레벨을 (예를 들어, 일시적으로) 감소시킨 후 이전에-디스플레이된 몰입 레벨에서 사용자 인터페이스의 디스플레이를 재개한다. 컴퓨터 시스템은 선택적으로 개별 사용자 인터페이스가 디스플레이되는 몰입 레벨을 감소시키기 위한 이벤트를 검출하고, 이벤트에 응답하여 몰입 레벨을 감소시킨다. 후속적으로, 이전에-디스플레이된 몰입 레벨에서 개별 사용자 인터페이스를 재디스플레이하라는 요청에 대응하는 이벤트를 검출하는 것에 응답하여, 시스템은 선택적으로 이전에-디스플레이된 몰입 레벨에서 개별 사용자 인터페이스의 디스플레이를 재개한다. 일부 실시예들에서, 몰입 레벨을 감소시키는 이벤트는 몰입을 제어하는 데 사용되는 기계적 입력 요소 상의 누르기 입력을 검출하는 것을 포함하고, 이전 몰입 레벨을 재개하는 이벤트는 몰입을 제어하는 데 사용되는 기계적 입력 요소의 해제를 검출하는 것을 포함한다. 이전 몰입 레벨에서 사용자 인터페이스의 디스플레이를 재개하는 것은, 복귀할 특정 몰입 레벨을 정의하는 사용자 입력을 요구하지 않고 이전에 시행된 몰입 레벨로 복귀하는 신속하고 효율적인 방식을 제공하며, 이는 또한 복귀할 잘못된 몰입 레벨들을 정의하는 잘못된 사용자 입력들을 방지한다.
일부 실시예들에서, 컴퓨터 시스템은 객체들, 사람들 및/또는 환경의 부분들이, 시스템에 의해 디스플레이된 사용자 인터페이스를 통해 보일 수 있게 한다. 시스템의 환경 내의 사람들의 표현들은, 선택적으로, 사용자로부터의 그들의 거리 및/또는 그들의 주의(예를 들어, 그것이 사용자로 향하는지 여부)에 기초하여 사용자 인터페이스를 통해 보여지게 된다. 시스템의 환경 내의 객체들의 표현들은, 선택적으로, 사용자로부터의 그들의 거리 및/또는 사용자를 향한 그들의 결정된 위험 레벨(예를 들어, 객체(들)가 사용자에게 위험이 되는지 여부)에 기초하여 사용자 인터페이스를 통해 보여지게 된다. 사용자 인터페이스를 통해 시스템의 물리적 환경의 표현들을 보이게 만드는 것은, 사용자들이 그들의 물리적 환경에서 위험을 피하는 것을 돕고, 그렇게 하기 위해 사용자로부터의 별도의 입력을 요구하지 않으면서 그들의 환경에서 사람들과의 상호작용을 용이하게 한다.
일부 실시예들에서, 컴퓨터 시스템은 시스템의 특성들 및/또는 시스템의 물리적 환경에 기초하여 사용자 인터페이스와 연관된 몰입 레벨을 감소시킨다. 컴퓨터 시스템이 속도 임계치보다 큰 속도로 그것이 이동하고 있다고 결정하는 경우, 시스템은 선택적으로 그것이 사용자 인터페이스(들)를 디스플레이하고 있는 몰입 레벨을 감소시켜서, 시스템의 사용자가 시스템을 통해 물리적 환경을 볼 수 있도록 한다. 컴퓨터 시스템이 잠재적인 위험과 연관된 소리가 시스템의 환경에서 검출된다고 결정하는 경우, 시스템은 선택적으로 그것이 사용자 인터페이스(들)를 디스플레이하고 있는 몰입 레벨을 감소시켜서, 시스템의 사용자가 시스템을 통해 물리적 환경을 볼 수 있도록 한다. 설명된 바와 같이 몰입 레벨을 감소시키는 것은, 그렇게 하기 위해 사용자로부터의 별도의 입력을 요구하지 않으면서, 시스템의 사용자가 물리적 환경을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공한다.
도 1 내지 도 6은 (방법들(800, 1000, 1200, 1400, 1600)을 참조하여 아래에서 설명된 바와 같은) 사용자들에게 CGR 경험들을 제공하기 위한 예시적인 컴퓨터 시스템들의 설명을 제공한다. 일부 실시예들에서, 도 1에 도시된 바와 같이, CGR 경험은 컴퓨터 시스템(101)을 포함하는 동작 환경(100)을 통해 사용자에게 제공된다. 컴퓨터 시스템(101)은 제어기(110)(예를 들어, 휴대용 전자 디바이스 또는 원격 서버의 프로세서들), 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스(head-mounted device, HMD), 디스플레이, 프로젝터, 터치-스크린 등), 하나 이상의 입력 디바이스들(125)(예를 들어, 눈 추적 디바이스(130), 손 추적 디바이스(140), 다른 입력 디바이스들(150)), 하나 이상의 출력 디바이스들(155)(예를 들어, 스피커들(160), 촉각적 출력 생성기들(170), 및 다른 출력 디바이스들(180)), 하나 이상의 센서들(190)(예를 들어, 이미지 센서들, 광 센서들, 깊이 센서들, 촉각 센서들, 배향 센서들, 근접 센서들, 온도 센서들, 위치 센서들, 모션 센서들, 속도 센서들 등), 그리고 선택적으로, 하나 이상의 주변 디바이스들(195)(예를 들어, 가전기기들, 웨어러블 디바이스들 등)을 포함한다. 일부 실시예들에서, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190) 및 주변 디바이스들(195) 중 하나 이상은 (예를 들어, 머리 장착형 디바이스 또는 핸드헬드 디바이스에서) 디스플레이 생성 컴포넌트(120)와 통합된다.
CGR 경험을 설명할 때, (예를 들어, CGR 경험을 생성하는 컴퓨터 시스템으로 하여금 컴퓨터 시스템(101)에 제공된 다양한 입력들에 대응하는 오디오, 시각적 및/또는 촉각적 피드백을 생성하게 하는, CGR 경험을 생성하는 컴퓨터 시스템(101)에 의해 검출된 입력들로) 사용자가 감지할 수 있고/있거나 사용자가 상호작용할 수 있는 몇몇 관련되지만 구별되는 환경들을 구별하여 지칭하기 위해 다양한 용어들이 사용된다. 다음은 이들 용어의 서브세트이다:
물리적 환경: 물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 빌딩들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고 그리고/또는 그와 상호작용할 수 있다.
컴퓨터-생성 현실: 대조적으로, 컴퓨터-생성 현실(computer-generated reality, CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 신체적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 이러한 뷰들 및 소리들이 변경되는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 신체적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다. 사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서의 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터-생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.
CGR의 예들은 가상 현실 및 혼합 현실을 포함한다.
가상 현실: 가상 현실(virtual reality, VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터-생성 이미지가 가상 객체들의 예들이다. 사람은, 컴퓨터-생성 환경에서의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터-생성 환경에서의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.
혼합 현실: 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(mixed reality, MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다. 일부 MR 환경들 내에서, 컴퓨터-생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.
증강 현실: 증강 현실(augmented reality, AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성될 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은 시스템을 사용하여 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스 스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있다. 증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터-생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스-스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그의 부분들을 그래픽적으로 수정(예컨대, 확대)함으로써 변환될 수 있어서, 수정된 부분은 원래 캡처된 이미지들의 대표적인 버전일 수 있지만, 실사 버전은 아닐 수 있다. 추가의 예로서, 물리적 환경의 표현은 그의 부분들을 그래픽적으로 제거하거나 흐리게 함(obfuscate)으로써 변환될 수 있다.
증강 가상: 증강 가상(augmented virtuality, AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채택할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치와 일치하는 그림자들을 채택할 수 있다.
하드웨어: 사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형의 전자 시스템들이 있다. 예들은 머리 장착형 시스템들, 투영 기반 시스템들, 헤드업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱(haptic) 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 머리 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 머리 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 머리 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 통합할 수 있다. 머리 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투영 기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투영하는 망막 투영 기술을 채용할 수 있다. 투영 시스템들은, 또한, 가상 객체들을 물리적 환경 내에, 예를 들어 홀로그램으로서, 또는 물리적 표면 상에 투영하도록 구성될 수 있다. 일부 실시예들에서, 제어기(110)는 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된다. 일부 실시예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2와 관련하여 아래에서 더욱 상세히 설명된다. 일부 실시예들에서, 제어기(110)는 장면(105)(예를 들어, 물리적 환경)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 장면(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 장면(105)의 외부에 위치된 원격 서버(예를 들어, 클라우드 서버, 중앙 서버 등)이다. 일부 실시예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예를 들어, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 생성 컴포넌트(120)(예를 들어, HMD, 디스플레이, 프로젝터, 터치-스크린 등)와 통신가능하게 결합된다. 다른 예에서, 제어기(110)는 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 하나 이상의 프로세서들을 포함하는 HMD 또는 휴대용 전자 디바이스 등)의 인클로저(enclosure)(예를 들어, 물리적 하우징), 입력 디바이스들(125) 중 하나 이상, 출력 디바이스들(155) 중 하나 이상, 센서들(190) 중 하나 이상, 및/또는 주변 디바이스들(195) 중 하나 이상 내에 포함되거나, 상기 중 하나 이상과 동일한 물리적 인클로저 또는 지지 구조를 공유한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 경험(예를 들어, 적어도 CGR 경험의 시각적 컴포넌트)을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 생성 컴포넌트(120)는 도 3과 관련하여 아래에서 더욱 상세히 설명된다. 일부 실시예들에서, 제어기(110)의 기능성들은 디스플레이 생성 컴포넌트(120)에 의해 제공되거나 및/또는 이와 조합된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트(120)는 사용자가 장면(105) 내에 가상으로 그리고/또는 물리적으로 존재하는 동안 CGR 경험을 사용자에게 제공한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 신체의 일부(예를 들어, 그의 머리에, 그의 손에 등)에 착용된다. 이와 같이, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 디스플레이하기 위해 제공되는 하나 이상의 CGR 디스플레이들을 포함한다. 예를 들어, 다양한 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 시야를 둘러싼다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 제시하도록 구성된 핸드헬드 디바이스(예컨대 스마트폰 또는 태블릿)이고, 사용자는 사용자의 시야를 향해 지향된 디스플레이 및 장면(105)을 향해 지향된 카메라를 갖는 디바이스를 유지한다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자의 머리에 착용된 인클로저 내에 배치된다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자 전방의 지지부(예를 들어, 삼각대) 상에 배치된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자가 디스플레이 생성 컴포넌트(120)를 착용하거나 유지하지 않는 CGR 콘텐츠를 제공하도록 구성된 CGR 챔버, 인클로저 또는 룸이다. CGR 콘텐츠를 디스플레이하기 위한 하나의 유형의 하드웨어(예를 들어, 핸드헬드 디바이스 또는 삼각대 상의 디바이스)를 참조하여 설명된 많은 사용자 인터페이스들은 CGR 콘텐츠를 디스플레이하기 위한 다른 유형의 하드웨어(예를 들어, HMD 또는 다른 웨어러블 컴퓨팅 디바이스) 상에서 구현될 수 있다. 예를 들어, 핸드헬드 또는 삼각대 장착형 디바이스 전방의 공간에서 발생하는 상호작용들에 기초하여 트리거된 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는, 상호작용들이 HMD 전방의 공간에서 발생하고 CGR 콘텐츠의 응답들이 HMD를 통해 디스플레이되는 HMD를 이용하여 유사하게 구현될 수 있다. 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손))에 대한 핸드헬드 또는 삼각대 장착형 디바이스의 이동에 기초하여 트리거되는 CRG 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손))에 대한 HMD의 이동에 의해 이동이 야기되는 HMD로 구현될 수 있다.
동작 환경(100)의 관련 특징부들이 도 1에 도시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 태양들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다.
도 2는 일부 실시예들에 따른 제어기(110)의 일 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시된 실시예들의 더 많은 관련 양태들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(GSM), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결하기 위한 하나 이상의 통신 버스들(204)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결하고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.
메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 CGR 경험 모듈(240)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 경험 모듈(240)은 1명 이상의 사용자들에 대한 하나 이상의 CGR 경험들(예를 들어, 1명 이상의 사용자들에 대한 단일 CGR 경험, 또는 1명 이상의 사용자들의 개개의 그룹들에 대한 다수의 CGR 경험들)을 관리하고 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 경험 모듈(240)은 데이터 획득 유닛(242), 추적 유닛(244), 조정 유닛(246), 및 데이터 송신 유닛(248)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(242)은 적어도 도 1의 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상으로부터 데이터(예를 들어, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(242)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 추적 유닛(244)은 장면(105)을 매핑하도록 그리고 도 1의 장면(105)에 대해 그리고 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 대해 적어도 디스플레이 생성 컴포넌트(120)의 포지션(position)/위치(location)를 추적하도록 구성된다. 이를 위해, 다양한 실시예들에서, 추적 유닛(244)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다. 일부 실시예들에서, 추적 유닛(244)은 손 추적 유닛(243), 및/또는 눈 추적 유닛(245)을 포함한다. 일부 실시예들에서, 손 추적 유닛(243)은 도 1의 장면(105)에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해 사용자의 손들의 하나 이상의 부분들의 포지션/위치 및/또는 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하도록 구성된다. 손 추적 유닛(243)은 도 4와 관련하여 아래에서 더욱 상세히 설명된다. 일부 실시예들에서, 눈 추적 유닛(245)은 장면(105)에 대해(예를 들어, 물리적 환경 및/또는 사용자(예를 들어, 사용자의 손)에 대해) 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 CGR 콘텐츠에 대해 사용자의 시선(또는 더 광범위하게는 사용자의 눈들, 얼굴 또는 머리)의 위치 및 이동을 추적하도록 구성된다. 눈 추적 유닛(245)은 도 5와 관련하여 아래에서 더욱 상세히 설명된다.
일부 실시예들에서, 조정 유닛(246)은 디스플레이 생성 컴포넌트(120)에 의해 그리고 선택적으로, 출력 디바이스들(155) 및/또는 주변 디바이스들(195) 중 하나 이상에 의해 사용자에게 제시되는 CGR 경험을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, 조정 유닛(246)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(248)은 적어도 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)이 단일 디바이스(예를 들어, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(244)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 2는 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 3은 일부 실시예들에 따른 디스플레이 생성 컴포넌트(120)의 일 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시된 실시예들의 더 많은 관련 양태들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, HMD(120)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 CGR 디스플레이들(312), 하나 이상의 선택적인 내부- 및/또는 외부-대면 이미지 센서들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결하기 위한 하나 이상의 통신 버스들(304)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들 사이의 통신을 상호연결하고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 비행 시간 등) 등 중 적어도 하나를 포함한다.
일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 CGR 경험을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, HMD(120)는 단일 CGR 디스플레이를 포함한다. 다른 예에서, HMD(120)는 사용자의 각각의 눈에 대한 CGR 디스플레이를 포함한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 및 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 또는 VR 콘텐츠를 제시할 수 있다.
일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일 부분에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 이들은 눈-추적 카메라로 지칭될 수 있다). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 손(들) 및 선택적으로 사용자의 팔(들)의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 이들은 손-추적 카메라로 지칭될 수 있다). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 HMD(120)가 존재하지 않았다면 사용자에 의해 보여질 장면에 대응하는 이미지 데이터를 획득하기 위해 전방-대면하도록 구성된다(그리고 장면 카메라로 지칭될 수 있음). 하나 이상의 선택적인 이미지 센서들(314)은 하나 이상의 RGB 카메라들(예를 들어, 상보성 금속-산화물-반도체(CMOS) 이미지 센서 또는 전하-결합 디바이스(CCD) 이미지 센서를 가짐), 하나 이상의 적외선(IR) 카메라들, 하나 이상의 이벤트-기반 카메라들 등을 포함할 수 있다.
메모리(320)는 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 CGR 제시 모듈(340)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 제시 모듈(340)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 사용자에게 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 모듈(340)은 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(342)은 적어도 도 1의 제어기(110)로부터 데이터(예컨대, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(342)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 제시 유닛(344)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 유닛(344)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 맵 생성 유닛(346)은 미디어 콘텐츠 데이터에 기초하여 CGR 맵(예를 들어, 컴퓨터 생성 현실을 생성하기 위해 컴퓨터 생성 객체들이 배치될 수 있는 혼합 현실 장면의 3D 맵 또는 물리적 환경의 맵)을 생성하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 맵 생성 유닛(346)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(348)은 적어도 제어기(110) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(348)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)이 단일 디바이스(예컨대, 도 1의 디스플레이 생성 컴포넌트(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 3은 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 4는 손 추적 디바이스(140)의 예시적인 실시예의 개략적인 그림 예시이다. 일부 실시예들에서, 손 추적 디바이스(140)(도 1)는 사용자의 손들의 하나 이상의 부분들의 포지션/위치, 및/또는 도 1의 장면(105)에 대해(예를 들어, 사용자를 둘러싸는 물리적 환경의 일부분에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 또는 사용자의 일부분(예를 들어, 사용자의 얼굴, 눈들, 또는 손)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해) 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하기 위해 손 추적 유닛(243)(도 2)에 의해 제어된다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스에 내장되거나 그에 부착됨)의 일부이다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)와 별개이다(예를 들어, 별개의 하우징들에 위치되거나 또는 별개의 물리적 지지 구조들에 부착됨).
일부 실시예들에서, 손 추적 디바이스(140)는 적어도 인간 사용자의 손(406)을 포함하는 3차원 장면 정보를 캡처하는 이미지 센서들(404)(예를 들어, 하나 이상의 IR 카메라들, 3D 카메라들, 깊이 카메라들 및/또는 컬러 카메라들 등)을 포함한다. 이미지 센서들(404)은 손가락들 및 이들 각자의 위치들이 구별될 수 있게 하기에 충분한 해상도로 손 이미지들을 캡처한다. 이미지 센서들(404)은 통상적으로, 또한 사용자의 신체의 다른 부분들, 또는 가능하게는 신체 전부의 이미지들을 캡처하고, 원하는 해상도로 손의 이미지들을 캡처하기 위한 향상된 배율을 갖는 전용 센서 또는 줌 능력들을 가질 수 있다. 일부 실시예들에서, 이미지 센서들(404)은 또한 손(406) 및 장면의 다른 요소들의 2D 컬러 비디오 이미지들을 캡처한다. 일부 실시예들에서, 이미지 센서들(404)은 장면(105)의 물리적 환경을 캡처하기 위해 다른 이미지 센서들과 함께 사용되거나, 장면(105)의 물리적 환경을 캡처하는 이미지 센서들의 역할을 한다. 일부 실시예들에서, 이미지 센서들(404)은, 이미지 센서들에 의해 캡처된 손 이동이 제어기(110)로의 입력들로서 취급되는 상호작용 공간을 정의하기 위해 이미지 센서들의 시야 또는 그의 일부가 사용되는 방식으로 사용자 또는 사용자의 환경에 대해 위치설정된다.
일부 실시예들에서, 이미지 센서들(404)은 3D 맵 데이터(및 가능하게는 또한 컬러 이미지 데이터)를 포함하는 프레임들의 시퀀스를 제어기(110)에 출력하며, 이는 맵 데이터로부터 고레벨 정보를 추출한다. 이러한 고레벨 정보는 전형적으로, 애플리케이션 프로그램 인터페이스(Application Program Interface, API)를 통해 제어기 상에서 실행되는 애플리케이션에 제공되며, 제어기는 그에 따라 디스플레이 생성 컴포넌트(120)를 구동한다. 예를 들어, 사용자는 자신의 손(408)을 이동시키고 자신의 손 자세를 변경함으로써 제어기(110) 상에서 실행되는 소프트웨어와 상호작용할 수 있다.
일부 실시예들에서, 이미지 센서들(404)은 손(406)을 포함하는 장면 상에 스폿들의 패턴을 투영하고 투영된 패턴의 이미지를 캡처한다. 일부 실시예들에서, 제어기(110)는 패턴 내의 스폿들의 횡방향 시프트들에 기초하여, 삼각측량에 의해 장면 내의 포인트들(사용자의 손의 표면 상의 포인트들을 포함함)의 3D 좌표들을 컴퓨팅한다. 이러한 접근법은 그것이 사용자가 임의의 종류의 비콘(beacon), 센서 또는 다른 마커를 유지하거나 착용할 것을 요구하지 않는다는 점에서 유리하다. 이는 이미지 센서들(404)로부터 소정 거리에서 미리 결정된 기준 평면에 대한 장면 내의 포인트들의 깊이 좌표들을 제공한다. 본 개시내용에서, 이미지 센서들(404)은, 장면 내의 포인트들의 깊이 좌표들이 이미지 센서들에 의해 측정된 z 컴포넌트들에 대응하도록 x, y, z 축들의 직교 세트를 정의하는 것으로 가정된다. 대안적으로, 손 추적 디바이스(440)는 단일 또는 다수의 카메라들 또는 다른 유형들의 센서들에 기초하여, 입체 이미징 또는 비행 시간 측정들과 같은 다른 3D 매핑 방법들을 사용할 수 있다.
일부 실시예들에서, 손 추적 디바이스(140)는 사용자의 손(예를 들어, 전체 손 또는 하나 이상의 손가락들)을 이동시키는 동안 사용자의 손을 포함하는 깊이 맵들의 시간적 시퀀스를 캡처 및 프로세싱한다. 이미지 센서들(404) 및/또는 제어기(110) 내의 프로세서 상에서 실행되는 소프트웨어는 이러한 깊이 맵들에서 손의 패치 디스크립터(patch descriptor)들을 추출하기 위해 3D 맵 데이터를 프로세싱한다. 소프트웨어는, 각각의 프레임에서 손의 포즈를 추정하기 위해, 이전 학습 프로세스에 기초하여, 데이터베이스(408)에 저장된 패치 디스크립터들에 이들 디스크립터들을 매칭한다. 포즈는 전형적으로 사용자의 손 관절들 및 손가락 팁들의 3D 위치들을 포함한다.
소프트웨어는 또한 제스처들을 식별하기 위해 시퀀스에서 다수의 프레임들에 걸친 손들 및/또는 손가락들의 궤적을 분석할 수 있다. 본 명세서에 설명된 포즈 추정 기능들은 모션 추적 기능들과 인터리빙될 수 있어서, 패치-기반 포즈 추정은 2개(또는 그 초과)의 프레임들마다 단 한번만 수행되는 한편, 나머지 프레임들에 걸쳐 발생하는 포즈의 변화들을 발견하기 위해 추적이 사용된다. 포즈, 모션 및 제스처 정보는 위에서 언급된 API를 통해 제어기(110) 상에서 실행되는 애플리케이션 프로그램에 제공된다. 이 프로그램은, 예를 들어, 포즈 및/또는 제스처 정보에 응답하여, 디스플레이 생성 컴포넌트(120) 상에 제시된 이미지들을 이동 및 수정하거나, 또는 다른 기능들을 수행할 수 있다.
일부 실시예들에서, 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 제어기(110)에 다운로드될 수 있거나, 또는 그것은 대안적으로는 광학, 자기, 또는 전자 메모리 매체들과 같은 유형적인 비일시적 매체들 상에 제공될 수 있다. 일부 실시예들에서, 데이터베이스(408)는 마찬가지로 제어기(110)와 연관된 메모리에 저장된다. 대안적으로 또는 추가적으로, 컴퓨터의 설명된 기능들 중 일부 또는 전부는 주문형 또는 반-주문형 집적회로 또는 프로그래밍가능 디지털 신호 프로세서(DSP)와 같은 전용 하드웨어로 구현될 수 있다. 제어기(110)가 예시적으로 이미지 센서들(440)과 별개의 유닛으로서 도 4에 도시되지만, 제어기의 프로세싱 기능들의 일부 또는 전부는 적합한 마이크로프로세서 및 소프트웨어에 의해, 또는 손 추적 디바이스(402)의 하우징 내의 또는 달리 이미지 센서들(404)과 연관된 전용 회로부에 의해 수행될 수 있다. 일부 실시예들에서, 이들 프로세싱 기능들의 적어도 일부가 (예를 들어, 텔레비전 세트, 핸드헬드 디바이스, 또는 머리 장착형 디바이스 내의) 디스플레이 생성 컴포넌트(120) 또는 게임 콘솔 또는 미디어 플레이어와 같은, 임의의 다른 적합한 컴퓨터화된 디바이스와 통합된 적합한 프로세서에 의해 수행될 수 있다. 이미지 센서들(404)의 감지 기능들은 센서 출력에 의해 제어될 컴퓨터 또는 다른 컴퓨터화된 장치 내에 마찬가지로 통합될 수 있다.
도 4는 일부 실시예들에 따른, 이미지 센서들(404)에 의해 캡처된 깊이 맵(410)의 개략적인 표현을 더 포함한다. 위에서 설명된 바와 같이, 깊이 맵은 각자의 깊이 값들을 갖는 픽셀들의 행렬을 포함한다. 손(406)에 대응하는 픽셀들(412)은 이 맵에서 배경 및 손목으로부터 분할되었다. 깊이 맵(410) 내의 각각의 픽셀의 밝기는 그의 깊이 값, 즉, 이미지 센서들(404)로부터 측정된 z 거리에 역으로 대응하며, 회색 음영은 깊이가 증가함에 따라 더 어두워진다. 제어기(110)는 인간 손의 특성들을 갖는 이미지의 컴포넌트(즉, 이웃 픽셀들의 그룹)를 식별 및 분할하기 위해 이러한 깊이 값들을 프로세싱한다. 이러한 특성들은, 예를 들어, 깊이 맵들의 시퀀스의 프레임마다 전체 크기, 형상 및 모션을 포함할 수 있다.
도 4는 또한, 일부 실시예들에 따른, 제어기(110)가 궁극적으로 손(406)의 깊이 맵(410)으로부터 추출하는 손 골격(414)을 개략적으로 예시한다. 도 4에서, 골격(414)은 오리지널 깊이 맵으로부터 분할된 손 배경(416) 상에 중첩된다. 일부 실시예들에서, 손(예를 들어, 손가락 관절(knuckle)들, 손가락 팁들, 손바닥의 중심, 손목에 연결되는 손의 단부 등에 대응하는 포인트들) 및 선택적으로, 손에 연결된 손목 또는 팔 상의 핵심 특징 포인트들이 손 골격(414) 상에 식별 및 위치된다. 일부 실시예들에서, 다수의 이미지 프레임들에 걸친 이러한 핵심 특징 포인트들의 위치 및 이동들은, 일부 실시예들에 따라, 손에 의해 수행되는 손 제스처들 또는 손의 현재 상태를 결정하기 위해 제어기(110)에 의해 사용된다.
도 5는 눈 추적 디바이스(130)(도 1)의 예시적인 실시예를 예시한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 장면(105)에 대한 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 CGR 콘텐츠에 대한 사용자의 시선의 위치 및 이동을 추적하기 위해 눈 추적 유닛(245)(도 2)에 의해 제어된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 통합된다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)가 머리 장착형 디바이스, 예를 들어, 헤드셋, 헬멧, 고글, 또는 안경, 또는 웨어러블 프레임에 배치된 핸드헬드 디바이스일 때, 머리 장착형 디바이스는 사용자가 보기 위한 CGR 콘텐츠를 생성하는 컴포넌트 및 CGR 콘텐츠에 대한 사용자의 시선을 추적하기 위한 컴포넌트 둘 모두를 포함한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 별개이다. 예를 들어, 디스플레이 생성 컴포넌트가 핸드헬드 디바이스 또는 CGR 챔버일 때, 눈 추적 디바이스(130)는 선택적으로 핸드헬드 디바이스 또는 CGR 챔버와 별개의 디바이스이다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스 또는 머리 장착형 디바이스의 부분이다. 일부 실시예들에서, 머리 장착형 눈 추적 디바이스(130)는 선택적으로, 또한 머리 장착된 디스플레이 생성 컴포넌트 또는 머리 장착되지 않은 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착형 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착되지 않은 디스플레이 생성 컴포넌트의 부분이다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 눈들 전방에서 좌측 및 우측 이미지들을 포함하는 프레임들을 디스플레이하기 위한 디스플레이 메커니즘(예를 들어, 좌측 및 우측 근안(near-eye) 디스플레이 패널들)을 사용하여 3D 가상 뷰들을 사용자에게 제공한다. 예를 들어, 머리 장착형 디스플레이 생성 컴포넌트는 디스플레이와 사용자의 눈들 사이에 위치된 좌측 및 우측 광학 렌즈들(본 명세서에서 눈 렌즈들로 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 디스플레이를 위해 사용자의 환경의 비디오를 캡처하는 하나 이상의 외부 비디오 카메라들을 포함하거나 또는 그에 결합될 수 있다. 일부 실시예들에서, 머리 장착형 디스플레이 생성 컴포넌트는 사용자가 물리적 환경을 직접 보고 투명 또는 반투명 디스플레이 상에 가상 객체들을 디스플레이할 수 있게 하는 투명 또는 반투명 디스플레이를 가질 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 가상 객체들을 물리적 환경에 투영한다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투영되어, 개인이 시스템을 사용하여, 물리적 환경 위에 중첩된 가상 객체들을 관찰하게 할 수 있다. 이러한 경우들에서, 좌측 및 우측 눈들에 대한 별개의 디스플레이 패널들 및 이미지 프레임들이 필요하지 않을 수 있다.
도 5에 도시된 바와 같이, 일부 실시예들에서, 시선 추적 디바이스(130)는 적어도 하나의 눈 추적 카메라(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들), 및 사용자의 눈들을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스들(예를 들어, LED들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)을 포함한다. 눈 추적 카메라들은 눈들로부터 직접적으로 광원들로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈들을 향해 지향될 수 있거나, 또는 대안적으로, 가시광이 통과할 수 있게 하면서 눈들로부터 눈 추적 카메라들로 IR 또는 NIR 광을 반사하는 디스플레이 패널들과 사용자의 눈들 사이에 위치된 "핫(hot)" 미러들을 향해 지향될 수 있다. 시선 추적 디바이스(130)는 선택적으로 사용자의 눈들의 이미지들을 (예를 들어, 60 내지 120 fps(frames per second)로 캡처된 비디오 스트림으로서) 캡처하고, 이미지들을 분석하여 시선 추적 정보를 생성하고, 시선 추적 정보를 제어기(110)에 통신한다. 일부 실시예들에서, 사용자의 2개의 눈들은 각자의 눈 추적 카메라들 및 조명 소스들에 의해 개별적으로 추적된다. 일부 실시예들에서, 사용자의 오직 하나의 눈만이 각자의 눈 추적 카메라 및 조명 소스들에 의해 추적된다.
일부 실시예들에서, 눈 추적 디바이스(130)는, 특정 동작 환경(100)에 대한 눈 추적 디바이스의 파라미터들, 예를 들어 LED들, 카메라들, 핫 미러들(존재하는 경우), 눈 렌즈들 및 디스플레이 스크린의 3D 기하학적 관계 및 파라미터들을 결정하기 위해 디바이스-특정 교정 프로세스를 사용하여 교정된다. 디바이스-특정 교정 프로세스는 AR/VR 장비를 최종 사용자에게 전달하기 전에 공장 또는 다른 설비에서 수행될 수 있다. 디바이스-특정 교정 프로세스는 자동화된 교정 프로세스 또는 수동 교정 프로세스일 수 있다. 사용자-특정 교정 프로세스는 특정 사용자의 눈 파라미터들, 예를 들어 동공 위치, 중심와 위치, 광학 축, 시각 축, 눈 간격 등의 추정을 포함할 수 있다. 디바이스-특정 및 사용자-특정 파라미터들이 눈 추적 디바이스(130)에 대해 결정되면, 일부 실시예들에 따라, 눈 추적 카메라들에 의해 캡처된 이미지들은 디스플레이에 대한 사용자의 현재의 시각 축 및 시선 포인트를 결정하기 위해 글린트-보조 방법을 사용하여 프로세싱될 수 있다.
도 5에 도시된 바와 같이, 눈 추적 디바이스(130)(예를 들어, 130A 또는 130B)는 눈 렌즈(들)(520), 및 눈 추적이 수행되는 사용자의 얼굴의 측부 상에 위치설정된 적어도 하나의 눈 추적 카메라(540)(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들)를 포함하는 시선 추적 시스템, 및 사용자의 눈(들)(592)을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스(530)(예를 들어, NIR 발광 다이오드(LED)들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)를 포함한다. 눈 추적 카메라들(540)은 (예를 들어, 도 5의 상단 부분에 도시된 바와 같이) 가시광이 통과하게 허용하면서 눈(들)(592)으로부터 IR 또는 NIR 광을 반사하는 디스플레이(510)(예를 들어, 머리 장착형 디스플레이의 좌측 또는 우측 디스플레이 패널, 또는 핸드헬드 디바이스의 디스플레이, 프로젝터 등)와 사용자의 눈(들)(592) 사이에 위치된 미러들(550) 쪽으로 지향될 수 있거나 또는 (예를 들어, 도 5의 하단 부분에 도시된 바와 같이) 눈(들)(592)으로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈(들)(592)을 향해 지향될 수 있다.
일부 실시예들에서, 제어기(110)는 AR 또는 VR 프레임들(562)(예를 들어, 좌측 및 우측 디스플레이 패널들에 대한 좌측 및 우측 프레임들)을 렌더링하고, 프레임들(562)을 디스플레이(510)에 제공한다. 제어기(110)는, 예를 들어 디스플레이를 위해 프레임들(562)을 프로세싱할 때, 다양한 목적들을 위해 눈 추적 카메라들(540)로부터의 시선 추적 입력(542)을 사용한다. 제어기(110)는 선택적으로, 글린트-보조 방법들 또는 다른 적합한 방법들을 사용하여 눈 추적 카메라들(540)로부터 획득된 시선 추적 입력(542)에 기초하여 디스플레이(510) 상의 사용자의 시선 포인트를 추정한다. 시선 추적 입력(542)으로부터 추정된 시선 포인트는 선택적으로, 사용자가 현재 보고 있는 방향을 결정하는 데 사용된다.
다음은 사용자의 현재 시선 방향에 대한 몇몇 가능한 사용 사례들을 설명하며, 제한하려는 의도가 아니다. 예시적인 사용 사례로서, 제어기(110)는 사용자의 시선의 결정된 방향에 기초하여 가상 콘텐츠를 상이하게 렌더링할 수 있다. 예를 들어, 제어기(110)는 주변 영역들에서보다 사용자의 현재 시선 방향으로부터 결정된 중심와 구역에서 더 높은 해상도로 가상 콘텐츠를 생성할 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 가상 콘텐츠를 위치설정하거나 이동시킬 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 특정 가상 콘텐츠를 디스플레이할 수 있다. AR 애플리케이션들에서의 다른 예시적인 사용 사례로서, 제어기(110)는 결정된 방향으로 포커싱하도록 CGR 경험의 물리적 환경들을 캡처하기 위한 외부 카메라들에 지시할 수 있다. 이어서, 외부 카메라들의 오토 포커스 메커니즘은 사용자가 현재 디스플레이(510) 상에서 보고 있는 환경 내의 객체 또는 표면에 포커싱할 수 있다. 다른 예시적인 사용 사례로서, 눈 렌즈들(520)은 포커싱가능한 렌즈들일 수 있고, 시선 추적 정보는, 사용자가 현재 보고 있는 가상 객체가 사용자의 눈들(592)의 수렴에 매칭하기 위해 적절한 버전스(vergence)를 갖도록 눈 렌즈들(520)의 포커스를 조정하기 위해 제어기에 의해 사용된다. 제어기(110)는, 사용자가 보고 있는 가까운 객체들이 올바른 거리에 나타나게 포커스를 조정하도록 눈 렌즈들(520)을 지향시키기 위해 시선 추적 정보를 레버리지할 수 있다.
일부 실시예들에서, 눈 추적 디바이스는 디스플레이(예를 들어, 디스플레이(510)), 2개의 눈 렌즈들(예를 들어, 눈 렌즈(들)(520)), 눈 추적 카메라들(예를 들어, 눈 추적 카메라(들)(540)) 및 웨어러블 하우징에 장착된 광원들(예를 들어, 광원들(530)(예를 들어, IR 또는 NIR LED들))을 포함하는 머리 장착형 디바이스의 일부이다. 광원들은 광(예를 들어, IR 또는 NIR 광)을 사용자의 눈(들)(592)을 향해 방출한다. 일부 실시예들에서, 광원들은 도 5에 도시된 바와 같이 렌즈들 각각 주위에 링들 또는 원들로 배열될 수 있다. 일부 실시예들에서, 일 예로서 8개의 광원들(530)(예를 들어, LED들)이 각각의 렌즈(520) 주위에 배열된다. 그러나, 더 많거나 또는 더 적은 광원들(530)이 사용될 수 있고, 광원들(530)의 다른 배열들 및 위치들이 사용될 수 있다.
일부 실시예들에서, 디스플레이(510)는 가시광 범위에서 광을 방출하고, IR 또는 NIR 범위에서 광을 방출하지 않아서, 시선 추적 시스템에 잡음을 도입하지 않는다. 눈 추적 카메라(들)(540)의 위치 및 각도는 예로서 주어진 것이며, 제한하려는 의도가 아님에 유의한다. 일부 실시예들에서, 단일 눈 추적 카메라(540)는 사용자의 얼굴의 각각의 측부 상에 위치된다. 일부 실시예들에서, 2개 이상의 NIR 카메라들(540)이 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 더 넓은 시야(field of view, FOV)를 갖는 카메라(540) 및 더 좁은 FOV를 갖는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 하나의 파장(예를 들어, 850 nm)에서 동작하는 카메라(540) 및 상이한 파장(예를 들어, 940 nm)에서 동작하는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다.
도 5에 예시된 바와 같은 시선 추적 시스템의 실시예들은, 예를 들어, 컴퓨터-생성 현실, 가상 현실, 증강 현실 및/또는 증강 가상 경험들을 사용자에게 제공하기 위해 컴퓨터-생성 현실, 가상 현실 및/또는 혼합 현실 애플리케이션들에서 사용될 수 있다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시한다. 일부 실시예들에서, 시선 추적 파이프라인은 글린트-보조 시선 추적 시스템(예를 들어, 도 1 및 도 5에 예시된 바와 같은 눈 추적 디바이스(130))에 의해 구현된다. 글린트-보조 시선 추적 시스템은 추적 상태를 유지할 수 있다. 초기에, 추적 상태는 오프 또는 "아니오"이다. 추적 상태에 있을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 윤곽 및 글린트들을 추적하기 위해 현재 프레임을 분석할 때 이전 프레임으로부터의 이전 정보를 사용한다. 추적 상태에 있지 않을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 및 글린트들을 검출하려고 시도하고, 성공적인 경우, 추적 상태를 "예"로 초기화하고, 추적 상태에서 다음 프레임으로 계속된다.
도 6에 도시된 바와 같이, 시선 추적 카메라들은 사용자의 좌측 및 우측 눈들의 좌측 및 우측 이미지들을 캡처할 수 있다. 이어서, 캡처된 이미지들은 610에서 시작하는 프로세싱을 위해 시선 추적 파이프라인에 입력된다. 요소(600)로 복귀하는 화살표에 의해 표시된 바와 같이, 시선 추적 시스템은, 예를 들어 초당 60 내지 120 프레임의 레이트로 사용자의 눈들의 이미지들을 캡처하는 것을 계속할 수 있다. 일부 실시예들에서, 캡처된 이미지들의 각각의 세트는 프로세싱을 위해 파이프라인에 입력될 수 있다. 그러나, 일부 실시예들에서 또는 일부 조건들 하에서, 캡처된 모든 프레임들이 파이프라인에 의해 프로세싱되는 것은 아니다.
610에서, 현재 캡처된 이미지들에 대해, 추적 상태가 예인 경우, 방법은 요소(640)로 진행한다. 610에서, 추적 상태가 아니오인 경우, 620에서 표시된 바와 같이, 이미지들에서 사용자의 동공들 및 글린트들을 검출하기 위해 이미지들이 분석된다. 630에서, 동공들 및 글린트들이 성공적으로 검출되는 경우, 방법은 요소(640)로 진행한다. 그렇지 않으면, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다.
640에서, 요소(410)로부터 진행하는 경우, 이전 프레임들로부터의 이전 정보에 부분적으로 기초하여 동공들 및 글린트들을 추적하기 위해 현재 프레임들이 분석된다. 640에서, 요소(630)로부터 진행하는 경우, 추적 상태는 현재 프레임들에서 검출된 동공들 및 글린트들에 기초하여 초기화된다. 요소(640)에서 프로세싱의 결과들은 추적 또는 검출의 결과들이 신뢰할 수 있음을 검증하기 위해 체크된다. 예를 들어, 동공 및 시선 추정을 수행하기에 충분한 수의 글린트들이 현재 프레임들에서 성공적으로 추적되거나 검출되는지를 결정하기 위해 결과들이 체크될 수 있다. 650에서, 결과들이 신뢰될 수 없다면, 추적 상태는 아니오로 설정되고, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다. 650에서, 결과들이 신뢰되는 경우, 방법은 요소(670)로 진행한다. 670에서, 추적 상태는 (이미 예가 아닌 경우) 예로 설정되고, 동공 및 글린트 정보는 사용자의 시선 포인트를 추정하기 위해 요소(680)에 전달된다.
도 6은 특정 구현에서 사용될 수 있는 눈 추적 기술의 일 예로서의 역할을 하도록 의도된다. 당업자들에 의해 인식되는 바와 같이, 현재 존재하거나 미래에 개발될 다른 눈 추적 기술들은, 다양한 실시예들에 따라, 사용자들에게 CGR 경험들을 제공하기 위해 컴퓨터 시스템(101)에서 본 명세서에 설명된 글린트-보조 눈 추적 기술 대신에 또는 그와 조합하여 사용될 수 있다.
따라서, 본 명세서의 설명은 현실 세계 객체들의 표현들 및 가상 객체들의 표현들을 포함하는 3차원 환경들(예를 들어, CGR 환경들)의 일부 실시예들을 포함한다. 예를 들어, 3차원 환경은, 선택적으로, (예를 들어, 전자 디바이스의 카메라들 및 디스플레이들을 통해 능동적으로, 또는 전자 디바이스의 투명 또는 반투명 디스플레이를 통해 수동적으로) 3차원 환경에서 캡처되고 디스플레이되는 물리적 환경에 존재하는 테이블의 표현을 포함한다. 이전에 설명된 바와 같이, 3차원 환경은, 선택적으로, 3차원 환경이 디바이스의 하나 이상의 센서들에 의해 캡처되고 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경에 기초하는 혼합 현실 시스템이다. 혼합 현실 시스템으로서, 디바이스는, 선택적으로, 물리적 환경의 개별 부분들 및/또는 객체들이 마치 전자 디바이스에 의해 디스플레이되는 3차원 환경에 존재하는 것처럼 보이도록, 물리적 환경의 부분들 및/또는 객체들을 선택적으로 디스플레이할 수 있다. 유사하게, 디바이스는, 선택적으로, 현실 세계에서 대응하는 위치들을 갖는 3차원 환경 내의 개별 위치들에 가상 객체들을 배치함으로써, 가상 객체들이 현실 세계(예를 들어, 물리적 환경)에 존재하는 것처럼 보이도록 3차원 환경에서 가상 객체들을 디스플레이할 수 있다. 예를 들어, 디바이스는, 선택적으로, 실제 꽃병이 물리적 환경에서 테이블 위에 배치된 것처럼 보이도록 꽃병을 디스플레이한다. 일부 실시예들에서, 3차원 환경 내의 각각의 위치는 물리적 환경 내의 대응하는 위치를 갖는다. 따라서, 디바이스가 물리적 객체에 대한 개별 위치(예를 들어, 사용자의 손 또는 그 근처, 또는 물리적 테이블 또는 그 근처의 위치와 같은)에서 가상 객체를 디스플레이하는 것으로서 설명될 때, 디바이스는 가상 객체가 물리적 세계 내의 물리적 객체에 또는 그 근처에 있는 것처럼 보이도록 3차원 환경 내의 특정 위치에서 가상 객체를 디스플레이한다(예를 들어, 가상 객체는, 가상 객체가 그 특정 위치에 있는 실제 객체라면 디스플레이되었을 물리적 환경 내의 위치에 대응하는 3차원 환경 내의 위치에서 디스플레이됨).
일부 실시예들에서, 3차원 환경에 디스플레이되는 물리적 환경에 존재하는 현실 세계 객체들은 3차원 환경에만 존재하는 가상 객체들과 상호작용할 수 있다. 예를 들어, 3차원 환경은 테이블 및 테이블 위에 배치된 꽃병을 포함할 수 있으며, 이때 테이블은 물리적 환경 내의 물리적 테이블의 뷰(또는 그의 표현)이고, 꽃병은 가상 객체이다.
유사하게, 사용자는 선택적으로 가상 객체들이 물리적 환경 내의 실제 객체들인 것처럼 하나 이상의 손들을 사용하여 3차원 환경 내의 가상 객체들과 상호작용할 수 있다. 예를 들어, 전술한 바와 같이, 디바이스의 하나 이상의 센서들은 선택적으로 사용자의 손들 중 하나 이상을 캡처하고 3차원 환경에서 사용자의 손들의 표현들을 디스플레이하거나(예를 들어, 전술한 3차원 환경에서 현실 세계 객체를 디스플레이하는 것과 유사한 방식으로), 또는 일부 실시예들에서, 사용자의 손들은 투명/반투명 표면 상으로 사용자 인터페이스 또는 사용자 인터페이스의 투영을 또는 사용자의 눈 상으로 또는 사용자 눈의 시야 내로 사용자 인터페이스의 투영을 디스플레이하고 있는 디스플레이 생성 컴포넌트의 일부분의 투명도/반투명도로 인해 사용자 인터페이스를 통해 물리적 환경을 볼 수 있는 능력을 통해 디스플레이 생성 컴포넌트를 통해 볼 수 있다. 따라서, 일부 실시예들에서, 사용자의 손들은 3차원 환경 내의 개별 위치에서 디스플레이되고, 물리적 환경 내의 실제 물리적 객체들인 것처럼 3차원 환경에서 가상 객체들과 상호작용할 수 있는 3차원 환경 내의 객체들인 것처럼 처리된다. 일부 실시예들에서, 사용자는 3차원 환경 내의 손들의 표현들이 사용자의 손의 이동과 함께 이동하게 하도록 그의 또는 그녀의 손들을 이동시킬 수 있다.
아래에 설명된 실시예들 중 일부에서, 디바이스는 선택적으로, 예를 들어, 물리적 객체가 가상 객체와 상호작용하고 있는지 여부(예를 들어, 손이 가상 객체를 터치하거나, 파지하거나, 들고 있는 등이거나, 가상 객체로부터 임계 거리 내에 있는지 여부)를 결정할 목적으로, 물리적 세계 내의 물리적 객체들과 3차원 환경 내의 가상 객체들 사이의 "유효" 거리를 결정할 수 있다. 예를 들어, 디바이스는 사용자가 가상 객체들과 상호작용하고 있는지 여부 및/또는 사용자가 가상 객체들과 어떻게 상호작용하고 있는지를 결정할 때 사용자의 손들과 가상 객체들 사이의 거리를 결정한다. 일부 실시예들에서, 디바이스는 3차원 환경 내의 손들의 위치와 3차원 환경 내의 관심 가상 객체의 위치 사이의 거리를 결정함으로써 사용자의 손들과 가상 객체 사이의 거리를 결정한다. 예를 들어, 사용자의 하나 이상의 손들은 물리적 세계 내의 특정 위치에 위치되며, 디바이스는 이를, 선택적으로 3차원 환경 내의 특정 대응하는 위치(예를 들어, 손들이 물리적이 아닌 가상 손들인 경우 디스플레이될 3차원 환경 내의 위치)에서 캡처하고 디스플레이한다. 사용자의 하나 이상의 손들과 가상 객체 사이의 거리를 결정하기 위해, 3차원 환경 내의 손들의 위치는 선택적으로 3차원 환경 내의 관심 가상 객체의 위치와 비교된다. 일부 실시예들에서, 디바이스는 선택적으로 (예를 들어, 3차원 환경에서의 위치들과 비교하는 것과 대조적으로) 물리적 세계에서의 위치들을 비교함으로써 물리적 객체와 가상 객체 사이의 거리를 결정한다. 예를 들어, 사용자의 하나 이상의 손들과 가상 객체 사이의 거리를 결정할 때, 디바이스는 선택적으로, 가상 객체의 물리적 세계에서의 대응하는 위치(예를 들어, 가상 객체가, 가상 객체가 아닌 물리적 객체라면 물리적 세계에서 위치되었을 위치)를 결정하고, 이어서 대응하는 물리적 위치와 사용자의 하나 이상의 손들 사이의 거리를 결정한다. 일부 실시예들에서, 임의의 물리적 객체와 임의의 가상 객체 사이의 거리를 결정하기 위해 동일한 기법들이 선택적으로 사용된다. 따라서, 본 명세서에 설명된 바와 같이, 물리적 객체가 가상 객체와 접촉하는지 여부 또는 물리적 객체가 가상 객체의 임계 거리 내에 있는지 여부를 결정할 때, 디바이스는 선택적으로 물리적 객체의 위치를 3차원 환경에 매핑하고/하거나 가상 객체의 위치를 물리적 세계에 매핑하기 위해 전술한 기법들 중 임의의 것을 수행한다.
일부 실시예들에서, 동일하거나 유사한 기법이, 사용자의 시선이 어디로 그리고 무엇으로 향하는지 및/또는 사용자가 들고 있는 물리적 스타일러스가 무엇을 가리키는지를 결정하기 위해 사용된다. 예를 들어, 사용자의 시선이 물리적 환경 내의 특정 위치로 향하는 경우, 디바이스는 선택적으로 3차원 환경 내의 대응하는 위치를 결정하고, 가상 객체가 그 대응하는 가상 위치에 위치되는 경우, 디바이스는 선택적으로 사용자의 시선이 그 가상 객체로 향한다고 결정한다. 유사하게, 디바이스는 선택적으로, 물리적 스타일러스의 배향에 기초하여, 물리적 세계에서 스타일러스가 가리키고 있는 곳에 결정할 수 있다. 일부 실시예들에서, 이 결정에 기초하여, 디바이스는 스타일러스가 가리키고 있는 물리적 세계 내의 위치에 대응하는 3차원 환경 내의 대응하는 가상 위치를 결정하고, 선택적으로, 스타일러스가 3차원 환경 내의 대응하는 가상 위치를 가리키고 있다고 결정한다.
유사하게, 본 명세서에 설명된 실시예들은 3차원 환경에서의 사용자(예를 들어, 디바이스의 사용자)의 위치 및/또는 디바이스의 위치를 지칭할 수 있다. 일부 실시예들에서, 디바이스의 사용자는 전자 디바이스를 들고 있거나, 착용하고 있거나, 또는 달리 전자 디바이스에 또는 그 근처에 위치된다. 따라서, 일부 실시예들에서, 디바이스의 위치는 사용자의 위치에 대한 프록시로서 사용된다. 일부 실시예들에서, 물리적 환경에서의 디바이스 및/또는 사용자의 위치는 3차원 환경에서의 개별 위치에 대응한다. 일부 실시예들에서, 개별 위치는 3차원 환경의 "카메라" 또는 "뷰"가 그로부터 연장되는 위치이다. 예를 들어, 디바이스의 위치는, 사용자가 디스플레이 생성 컴포넌트에 의해 디스플레이된 물리적 환경의 개별 부분에 대면하는 그 위치에 서있다면, 사용자가 디바이스의 디스플레이 생성 컴포넌트에 의해 디스플레이되는 것과 동일한 위치, 배향 및/또는 크기로(예를 들어, 절대적 차원에서 그리고/또는 서로에 대하여) 물리적 환경에서 객체들을 보게 될, 물리적 환경에서의 위치(및 3차원 환경에서의 그의 대응하는 위치)일 것이다. 유사하게, 3차원 환경에서 디스플레이된 가상 객체들이 물리적 환경에서의 물리적 객체들인 경우(예를 들어, 3차원 환경에서와 동일한 물리적 환경에서의 위치에 배치되고, 3차원 환경에서와 동일한 물리적 환경에서의 크기 및 배향을 가짐), 디바이스 및/또는 사용자의 위치는, 사용자가 디바이스의 디스플레이 생성 컴포넌트에 의해 디스플레이되는 것과 동일한 위치, 배향, 및/또는 크기로(예를 들어, 절대적 차원에서 그리고/또는 서로 및 현실 세계 객체들에 대하여) 물리적 환경에서 가상 객체들을 보게 될 위치이다.
본 개시내용에서, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 입력 방법들이 설명된다. 하나의 입력 디바이스 또는 입력 방법을 사용하여 일 예가 제공되고 다른 입력 디바이스 또는 입력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 입력 디바이스 또는 입력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 출력 방법들이 설명된다. 하나의 출력 디바이스 또는 출력 방법을 사용하여 일 예가 제공되고 다른 출력 디바이스 또는 출력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 출력 디바이스 또는 출력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템을 통한 가상 환경 또는 혼합 현실 환경과의 상호작용들과 관련하여 다양한 방법들이 설명된다. 가상 환경과의 상호작용들을 사용하여 일 예가 제공되고 혼합 현실 환경을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 방법들과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 따라서, 본 개시내용은, 각각의 예시적인 실시예의 설명에서 실시예의 모든 특징들을 철저히 열거하지 않으면서 다수의 예들의 특징들의 조합들인 실시예들을 개시한다.
게다가, 하나 이상의 단계들이 하나 이상의 조건들이 충족되었음을 조건으로 하는 본 명세서에서 설명되는 방법들에서, 설명된 방법은 다수의 반복들로 반복될 수 있어서, 반복들 동안, 방법의 단계들이 조건으로 하는 조건들 모두가 방법의 상이한 반복들로 충족되게 할 수 있다는 것이 이해되어야 한다. 예를 들어, 방법이, 조건이 충족되면 제1 단계를 그리고 조건이 충족되지 않으면 제2 단계를 수행할 것을 요구하는 경우, 당업자는, 조건이 충족되고 충족되지 않을 때까지, 청구된 단계들이 특정 순서 없이 반복된다는 것을 인식할 것이다. 따라서, 하나 이상의 조건들이 충족되었음을 조건으로 하는 하나 이상의 단계들로 설명되는 방법은, 방법에서 설명되는 조건들 각각이 충족될 때까지 반복되는 방법으로서 재작성될 수 있다. 그러나, 이는, 시스템 또는 컴퓨터 판독가능 매체가 대응하는 하나 이상의 조건들의 충족에 기초하여 조건부(contingent) 동작들을 수행하기 위한 명령어들을 포함하고, 그에 따라, 방법의 단계들이 조건으로 하는 조건들 모두가 충족될 때까지 방법의 단계들을 명시적으로 반복하지 않고서 우연성(contingency)이 충족되었는지 또는 충족되지 않았는지를 결정할 수 있는 시스템 또는 컴퓨터 판독가능 매체 청구항들에서는 요구되지 않는다. 당업자는, 또한, 조건부 단계들을 갖는 방법과 유사하게, 시스템 또는 컴퓨터 판독가능 저장 매체가 조건부 단계들 모두가 수행되었음을 보장하는 데 필요한 횟수만큼 방법의 단계들을 반복할 수 있다는 것을 이해할 것이다.
사용자 인터페이스들 및 연관된 프로세스들
이제, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들 및 (선택적으로) 하나 이상의 카메라들을 갖는 컴퓨터 시스템, 예를 들어 휴대용 다기능 디바이스 또는 머리 장착형 디바이스 상에서 구현될 수 있는 사용자 인터페이스들("UI") 및 연관된 프로세스들의 실시예들에 대해 주목한다.
도 7a 및 도 7b는 일부 실시예들에 따른, 사용자의 시선에 기초하여 전자 디바이스가 사용자 인터페이스들의 부분들을 강조 및/또는 강조약화시키는 방법의 예들을 예시한다.
도 7a는, 디스플레이 생성 컴포넌트(예를 들어, 도 1의 디스플레이 생성 컴포넌트(120))를 통해, 사용자 인터페이스에 3차원 환경(701)을 디스플레이하는 전자 디바이스(101)를 예시한다. 도 1 내지 도 6을 참조하여 전술한 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(예컨대, 터치 스크린) 및 복수의 이미지 센서들(예를 들어, 도 3의 이미지 센서들(314))을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 아래에 도시된 사용자 인터페이스들은 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 물리적 환경 및/또는 사용자의 손들의 이동들(예를 들어, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예를 들어, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에서 구현될 수 있다.
도 7a에 도시된 바와 같이, 디바이스(101)는 디바이스(101) 주위의 물리적 환경(700) 내의 하나 이상의 객체들을 포함하는, 디바이스(101) 주위의 물리적 환경(700)(예를 들어, 동작 환경(100))의 하나 이상의 이미지들을 캡처한다. 일부 실시예들에서, 디바이스(101)는 3차원 환경(701)에서 물리적 환경의 표현들을 디스플레이한다. 예를 들어, 3차원 환경(701)은 (예를 들어, 물리적 환경(700) 내의 나무(702a)에 대응하는) 나무의 표현(702b) 및 (예를 들어, 물리적 환경(700) 내의 사람(704a)에 대응하는) 사람의 표현(704b)을 포함한다. 일부 실시예들에서, 디바이스(101)는 또한 3차원 환경(701)에서 하나 이상의 가상 객체들(예를 들어, 물리적 환경(700)에 있지 않은 객체들)을 디스플레이한다. 예를 들어, 도 7a에서, 디바이스(101)는 나무의 표현(702b) 상의 가상 객체(710)(예를 들어, 장식), 사람의 표현(704b) 상의 가상 객체(706)(예를 들어, 모자), 및 태양의 표현(708)을 디스플레이하고 있다. 일부 실시예들에서, 태양의 표현(708)은 3차원 환경(701)에서 광원으로서 디스플레이되고 처리되며, 태양의 표현(708)으로부터 생성되는 조명 효과는, 디바이스(101)에 의해, 3차원 환경(701)에서 디스플레이된 물리적 객체들의 표현들 및/또는 가상 객체들에 적용된다.
도 7a에서, 디바이스(101)는 또한 3차원 환경(701)에서 애플리케이션(예를 들어, 앱 A)의 표현(712)을 디스플레이하고 있다. 표현(712)은 선택적으로 애플리케이션(예를 들어, 앱 A)의 사용자 인터페이스이고, 그 애플리케이션에 의해 디스플레이되는 콘텐츠(예를 들어, 영화 재생, 사진 모음 등)를 포함한다. 일부 실시예들에서, 표현(712)은, 3차원 환경(701)에서 하나 이상의 물리적 객체들의 표현들 및/또는 가상 객체들을 오버레이하도록 하는(예를 들어, 물리적 환경(700) 내의 사람(704a)에 대응하는 사람의 표현(704b)의 일부를 오버레이하고 그 앞에 있음) 3차원 환경(701) 내의 위치에서 디스플레이된다. 일부 실시예들에서, 표현(712)은, 하나 이상의 가상 객체들이 표현(712)의 일부 앞에 있고 이를 오버레이하고/하거나 물리적 객체들의 하나 이상의 표현들이 표현(712)의 일부 앞에 있고 이를 오버레이하도록, 3차원 환경(701) 내에 위치된다.
일부 실시예들에서, 디바이스(101)는 특정 몰입 레벨에서 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 3차원 환경(701) 및/또는 사용자 인터페이스들을 디스플레이한다. 도 9 내지 도 16을 참조하여 나중에 더 상세히 설명되는 바와 같이,
몰입 레벨은 선택적으로, 전자 디바이스(101)에 의해 디스플레이된 콘텐츠가 디바이스(101)에 의해 디스플레이되는 사용자 인터페이스들 및/또는 가상 객체들 주위의/뒤의 배경 콘텐츠(예를 들어, 표현들(702b, 704b)과 같은 물리적 환경에 대응하는 콘텐츠, 또는 관심 사용자 인터페이스 이외의 콘텐츠)를 모호하게 하는(obscure) 연관된 정도를 포함하며, 이는 선택적으로, 디스플레이된 배경 콘텐츠의 아이템들의 수 및 배경 콘텐츠가 디스플레이되는 시각적 특성들(예를 들어, 색상, 대비, 불투명도), 및/또는 디스플레이 생성 컴포넌트를 통해 디스플레이된 콘텐츠의 각도 범위(예를 들어, 낮은 몰입에서 콘텐츠의 60도가 디스플레이되고, 중간 몰입에서 콘텐츠의 120도가 디스플레이되고, 높은 몰입에서 콘텐츠의 180도가 디스플레이됨), 및/또는 전자 디바이스에 의해 디스플레이된 콘텐츠에 의해 소비된 디스플레이 생성을 통해 디스플레이된 시야의 비율(예를 들어, 낮은 몰입에서 전자 디바이스에 의해 디스플레이된 콘텐츠에 의해 시야의 33%가 소비되고, 중간 몰입에서 전자 디바이스에 의해 디스플레이된 콘텐츠에 의해 시야의 66%가 소비되고, 높은 몰입에서 전자 디바이스에 의해 디스플레이된 콘텐츠에 의해 시야의 100%가 소비됨)을 포함한다. 다양한 몰입 레벨들에서 사용자 인터페이스들을 디스플레이하는 것과 관련된 추가 세부사항들이 도 9 내지 도 16을 참조하여 설명된다.
도 7a에서, 디바이스(101)는, 물리적 객체들의 표현들(702b, 704b)이 디스플레이 생성 컴포넌트(120)를 통해 보이는 특정 몰입 레벨(718)(예를 들어, 몰입 스케일(716) 상에 표시됨 - 그 최좌측은 몰입 없음에 대응하고, 그 최우측은 최대 몰입에 대응함)에서 3차원 환경(701)을 디스플레이하고 있다. 일부 실시예들에서, 디바이스(101)는, 디바이스(101)가 3차원 환경(701)을 디스플레이하고 있는 몰입 레벨이 변하지 않을 때에도, 디바이스(101)의 사용자의 시선에 기초하여 3차원 환경(701)의 다양한 부분들을 강조 및/또는 강조약화시킨다. 예를 들어, 도 7a에서, 디바이스(101)의 사용자의 시선(714)은 물리적 나무의 표현(702b)으로 향한다. 그러나, 도 7b에서, 디바이스(101)는 디바이스(101)의 사용자의 시선(714)이 앱 A의 표현(712)으로 향함을 (예를 들어, 센서들(314)을 사용하여) 검출한다. 앱 A의 표현(712)으로 향하는 사용자의 시선(714)를 검출하는 것에 응답하여, 그리고 3차원 환경(701)이 디스플레이되는 특정 몰입 레벨(718)을 변경하지 않고, 디바이스(101)는 선택적으로 도 7b에 도시된 바와 같이 표현(712)에 대하여 표현(712) 외부의 3차원 환경의 부분들을 강조약화시킨다. 예를 들어, 디바이스(101)는, 선택적으로, 도 7b에 도시된 바와 같이, 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 물리적 환경(700)의 표현(들)(예를 들어, 표현들(702b, 704b) 및/또는 그러한 표현들이 디스플레이되는 물리적 환경의 표현)의 디스플레이를 어둡게 하거나, 블러링하거나, 다른 방식으로 모호하게 한다. 디바이스(101)는, 추가적으로 또는 대안적으로, 표현(712) 이외의 가상 객체들(예를 들어, 디바이스(101)의 사용자의 시선(714)이 향하는 가상 객체)의 디스플레이를 어둡게 하거나, 블러링하거나, 다른 방식으로 모호하게 한다-예를 들어, 디바이스(101)는 선택적으로, 도 7b에 도시된 바와 같이, 표현(710), 표현(708) 및 표현(706)의 디스플레이를 어둡게 하거나, 블러링하거나, 다른 방식으로 모호하게 한다. 일부 실시예들에서, 디바이스(101)는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 물리적 환경(700)의 표현(들)의 디스플레이 및 표현(712) 이외의 가상 객체들의 디스플레이 둘 모두를 어둡게 하거나, 블러링하거나, 다른 방식으로 모호하게 한다. 이러한 방식으로, 디바이스(101)는 디바이스(101)의 사용자가 보고 있는 표현 이외의 표현들에 의해 제기되는 산만함(들)을 감소시킬 수 있다. 일부 실시예들에서, 디바이스(101)가 사용자의 시선(714)이 표현(712)으로부터 멀어지게 향함(예를 들어, 도 7a에서와 같이, 표현(712) 외부의 3차원 환경(701)의 일부분으로 향하는 것으로 복귀함)을 검출하는 경우, 디바이스(101)는 선택적으로, 도 7b에서 강조약화되는 3차원 환경(701)의 부분들을 강조약화시키는 것을 중지하고, 도 7a에 도시된 다양한 표현들의 디스플레이로 복귀한다. 이전에 설명된 바와 같이, 일부 실시예들에서, 도 7a 및 도 7b를 참조하여 설명된 강조약화는 디바이스(101)가 다양한 사용자 인터페이스들을 디스플레이하는 몰입 레벨을 변경하는 것과 별개이고 독립적이며, 이는 도 9 내지 도 16을 참조하여 더 자세히 설명될 것이다.
일부 실시예들에서, 디바이스(101)는 디바이스(101)의 사용자가 소정 유형들의 객체들(예를 들어, 미디어 플레이어 애플리케이션들의 표현들)을 볼 때에만 전술한 강조약화를 수행하고, 다른 유형들의 객체들(예를 들어, 다른 유형들의 애플리케이션들의 표현들)에서는 수행하지 않는다. 예를 들어, 도 7a 및 도 7b에서, 앱 A는 선택적으로 미디어 플레이어 애플리케이션이다(예를 들어, 표현(712)은 영화 또는 텔레비전 쇼와 같은 미디어를 디스플레이하고 있다). 대신에 사용자의 시선(714)이 모자의 표현(706) 또는 비-미디어 플레이어 애플리케이션의 표현으로 향했다면, 디바이스(101)는 선택적으로 사용자가 보고 있던 것 이외의 객체들 또는 표현들을 강조약화시키지 않았을 것이다.
도 8a 내지 도 8d는 일부 실시예들에 따른, 사용자의 시선에 기초하여 사용자 인터페이스들을 강조 및/또는 강조약화시키는 방법(800)을 예시하는 흐름도이다. 일부 실시예들에서, 방법(800)은 디스플레이 생성 컴포넌트(예를 들어, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예를 들어, 헤드 업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예를 들어, 사용자의 손에서 하방을 향하는 카메라(예를 들어, 컬러 센서들, 적외선 센서들 및 다른 깊이-감지 카메라들) 또는 사용자의 머리로부터 전방을 향하는 카메라)을 포함하는 컴퓨터 시스템(예를 들어, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(800)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예컨대 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(800)에서의 일부 동작들은 선택적으로 조합되고/되거나, 일부 동작들의 순서는 선택적으로 변경된다.
방법(800)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스(예를 들어, 도 1의 컴퓨터 시스템(101))(예를 들어, 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)는, 하나 이상의 입력 디바이스들을 통해, 도 7a의 2차원 그림(708)을 그리는 사용자 입력과 같은 2차원 그림에 대응하는 사용자 입력을 수신한다(802)(예를 들어, 2차원 그림을 드로잉, 생성, 삽입, 또는 다른 방식으로 그것의 디스플레이를 야기하는 사용자 입력을 수신하는 것).
방법(800)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 눈 추적 디바이스와 통신하는 전자 디바이스(예를 들어, 도 1의 컴퓨터 시스템(101))(예를 들어, 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)는, 디스플레이 생성 컴포넌트를 통해, 도 7a의 사용자 인터페이스(712)와 같은 제1 애플리케이션과 연관된 제1 사용자 인터페이스(804), 및 도 7a의 3차원 환경(701)과 같은 제1 사용자 인터페이스의 적어도 일부분을 둘러싸는 제2 사용자 인터페이스(806)를 동시에 디스플레이한다(802). 일부 실시예들에서, 전자 디바이스는 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어 또는 웨어러블 디바이스) 또는 컴퓨터이다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스와 통합된 디스플레이(선택적으로, 터치 스크린 디스플레이), 외부 디스플레이, 예컨대 모니터, 프로젝터, 텔레비전, 또는 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 보이게 하기 위한 하드웨어 컴포넌트(선택적으로, 통합형 또는 외부) 등이다. 일부 실시예들에서, 전자 디바이스는 사용자 입력을 수신하고(예를 들어, 사용자 입력을 캡처하고, 사용자 입력을 검출하는 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함하는 하나 이상의 입력 디바이스들과 통신한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예를 들어, 외부), 트랙패드(선택적으로 통합형 또는 외부), 터치패드(선택적으로 통합형 또는 외부), 원격 제어 디바이스(예를 들어, 외부), 다른 모바일 디바이스(예를 들어, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예를 들어, 외부), 제어기(예를 들어, 외부), 카메라, 깊이 센서, 모션 센서(예를 들어, 손 추적 디바이스, 손 모션 센서), 및/또는 눈 추적 디바이스 등을 포함한다.
일부 실시예들에서, 전자 디바이스는 애플리케이션 윈도우에 제1 애플리케이션의 콘텐츠를 디스플레이한다. 예를 들어, 하나 이상의 유형들의 콘텐츠(예를 들어, 음악, 노래, 텔레비전 에피소드, 영화 등)가 브라우징될 수 있고/있거나 콘텐츠가 재생될 수 있게 하는 애플리케이션과 같은 비디오 콘텐츠 재생 애플리케이션에서 비디오를 디스플레이하는 것. 일부 실시예들에서, 제2 사용자 인터페이스는 제1 사용자 인터페이스가 디스플레이되는 전자 디바이스의 운영 체제의 사용자 인터페이스와 같은 시스템 사용자 인터페이스이다. 일부 실시예들에서, 제1 사용자 인터페이스는 제2 사용자 인터페이스 상에 오버레이된다. 일부 실시예들에서, 제1 사용자 인터페이스는, 전자 디바이스가 제2 사용자 인터페이스를 디스플레이하고 있는 동안에 수신된, 제1 사용자 인터페이스를 디스플레이하라는 입력에 응답하여 디스플레이되었다. 일부 실시예들에서, 제2 사용자 인터페이스는 특히 임의의 단일 애플리케이션과 연관되지 않는다(예를 들어, 그것은 애플리케이션 사용자 인터페이스가 아니라 운영 체제 사용자 인터페이스이기 때문임). 일부 실시예들에서, 제2 사용자 인터페이스는, 전자 디바이스에 의해 생성, 디스플레이, 또는 달리 보일 수 있게 되는, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경 내에서 제1 사용자 인터페이스를 디스플레이하는 것과 같이, 제1 사용자 인터페이스가 내부에 디스플레이되는 3차원 환경이거나 이를 포함한다.
일부 실시예들에서, 제1 사용자 인터페이스 및 제1 사용자 인터페이스의 적어도 일부분을 둘러싸는 제2 사용자 인터페이스의 일부분을 동시에 디스플레이하는 동안, 전자 디바이스는, 눈 추적 디바이스를 통해, 도 7b의 표현(712)으로 향하는 시선(714)과 같이 사용자의 시선이 제1 사용자 인터페이스로 향함을 검출한다(808)(예를 들어, 전자 디바이스는, 눈 추적 디바이스를 통해, 사용자가 제1 사용자 인터페이스 내의 영역, 또는 제1 사용자 인터페이스를 포함하는 제2 사용자 인터페이스의 영역/체적 내를 보고 있다고 결정한다. 일부 실시예들에서, 사용자의 시선은, 사용자의 시선이 제1 사용자 인터페이스의 임계 거리(예를 들어, 1 인치, 6 인치, 1 피트, 2 피트, 10 피트 등) 내에 있는 제2 사용자 인터페이스 내의 위치와 일치할 때, 제1 사용자 인터페이스로 향한다.
일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스로 향함을 검출하는 것에 응답하여, 하나 이상의 기준들이 충족된다는 결정에 따라(예를 들어, 하나 이상의 기준들은, 제1 애플리케이션이 제1 유형의 애플리케이션(예를 들어, 사진, 비디오, 영화 등을 브라우징 및/또는 보기 위한 미디어 플레이어 애플리케이션)일 때 충족되지만, 제1 애플리케이션이 제1 유형의 애플리케이션과 상이한 제2 유형의 애플리케이션(예를 들어, 워드 프로세싱 애플리케이션)일 때에는 충족되지 않는, 기준을 포함함. 일부 실시예들에서, 하나 이상의 기준들은, 사용자의 시선이 제1 사용자 인터페이스로 향하는 것 이외에 사용자로부터의 어떠한 추가 입력도 없이 충족됨(예를 들어, 제2 사용자 인터페이스는 시선 입력에 응답하여 제1 사용자 인터페이스에 대하여 자동으로 강조약화됨). 일부 실시예들에서, 하나 이상의 기준들은, 사용자의 시선이 0.5, 1, 2, 5, 10초와 같은 시간 임계치보다 더 오랫동안 제1 사용자 인터페이스로 향할 때 충족되지만 그렇지 않으면 충족되지 않는, 기준을 포함함), 전자 디바이스는, 도 7a의 표현(712)에 대하여 3차원 환경(701)의 콘텐츠를 강조약화시키는 것과 같이, 제1 사용자 인터페이스에 대하여 제2 사용자 인터페이스를 강조약화시킨다(810). 예를 들어, 제1 사용자 인터페이스는 밝아지고/지거나, 제2 사용자 인터페이스는 어두워진다/디밍(dimming)된다. 일부 실시예들에서, 제1 사용자 인터페이스는 제1 사용자 인터페이스의 개별 시각적 특성이, 제1 값을 갖는 것으로부터, 제1 값과 상이한 제2 값을 갖는 것으로 변하도록 업데이트된다. 일부 실시예들에서, 제2 사용자 인터페이스는 제2 사용자 인터페이스의 개별 시각적 특성이, 제3 값을 갖는 것으로부터, 제3 값과 상이한 제4 값을 갖는 것으로 변하도록 업데이트된다. 일부 실시예들에서, 제2 사용자 인터페이스는 블러링되거나(이전에 블러링되지 않았을 때) 또는 더 블러링된다(이전에 이미 블러링되었을 때). 일부 실시예들에서, 제1 사용자 인터페이스는 크기가 확장되고, 따라서 제2 사용자 인터페이스를 더 많이 점유하고/하거나 더 많이 오버레이한다. 일부 실시예들에서, 하나 이상의 기준들이 충족되지 않는 경우, 제2 사용자 인터페이스는 제1 사용자 인터페이스에 대하여 강조약화되지 않는다. 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스로부터 제2 사용자 인터페이스로 이동하는 경우, 제1 사용자 인터페이스에 대한 제2 사용자 인터페이스의 강조약화는 반전된다(예를 들어, 사용자의 시선이 제1 사용자 인터페이스로 향하기 전에 존재했던 상대적 강조로 되돌아간다). 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스로부터 제2 사용자 인터페이스로 이동하는 경우, 제1 사용자 인터페이스는 제2 사용자 인터페이스에 대하여 강조약화된다(예를 들어, 제1 사용자 인터페이스에 대하여 제2 사용자 인터페이스를 강조약화시키는 것과 관련하여 본 명세서에서 설명된 것과 동일하거나 유사한 방식들로). 제1 사용자 인터페이스에 대하여 제2 사용자 인터페이스를 강조약화시키는 전술한 방식은 제1 사용자 인터페이스가 포커스를 갖는 사용자 인터페이스임을 나타내는 효율적인 방법을 제공하며, 이는 (예컨대, 제2 사용자 인터페이스에 의한 산만함, 및 그에 따른 제2 사용자 인터페이스와의 불필요한 상호작용을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 하나 이상의 기준들은, 제1 애플리케이션이 제1 유형의 애플리케이션일 때 충족되고 제1 애플리케이션이 제1 유형과 상이한 제2 유형의 애플리케이션일 때 충족되지 않는 기준을 포함한다(812)(예를 들어, 기준은, 콘텐츠 또는 미디어를 브라우징 및/또는 보기 위한 애플리케이션들인 애플리케이션들(예를 들어, 영화, 이미지, 음악, 텔레비전 쇼 등을 볼 수 있는 애플리케이션들)에 대해 충족되고, 콘텐츠 또는 미디어를 보기 위한 애플리케이션들이 아닌 애플리케이션들(예를 들어, 워드 프로세싱 애플리케이션, 캘린더 애플리케이션, 스프레드시트 애플리케이션 등)에 대해서는 충족되지 않는다). 일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스로 향함을 검출하는 것에 응답하여, 하나 이상의 기준들이 충족되지 않는다는 결정에 따라(예를 들어, 제1 애플리케이션이 콘텐츠/미디어 브라우징 및/또는 보기 애플리케이션이 아니기 때문에), 전자 디바이스는 제1 사용자 인터페이스에 대하여 제2 사용자 인터페이스를 강조약화시키는 것을 보류한다(814). 예를 들어, 제1 사용자 인터페이스 및 제2 사용자 인터페이스의 디스플레이는 사용자의 시선이 제1 사용자 인터페이스로 향하는 것으로 검출되기 전의 상태 그대로 유지되고, 선택적으로, 제2 사용자 인터페이스에 대한 제1 사용자 인터페이스의 상대적 강조, 및 반대의 경우는, 사용자의 시선이 제1 사용자 인터페이스로 향하는 것으로 검출되기 전의 상태 그대로 유지된다. 따라서, 제2 사용자 인터페이스는 선택적으로, 사용자의 시선이 제1 사용자 인터페이스로 향하는 것에 응답하여 어두워지거나 블러링되지 않는다. 일부 실시예들에서, 제2 사용자 인터페이스에 대한 제1 사용자 인터페이스의 시선-기반 강조약화는 콘텐츠 및/또는 미디어 보기 애플리케이션들 이외의 애플리케이션들을 포함하는 모든 유형들의 애플리케이션들에 대해 발생한다(예를 들어, 하나 이상의 기준들은 전술한 애플리케이션 유형 기준을 포함하지 않음). 사용자 인터페이스들과 연관된 애플리케이션의 유형에 기초하여 사용자 인터페이스들의 시선-기반 강조약화를 수행하는 전술한 방식은, 그러한 강조/강조약화가 요구될 것같은 상황들에서만 사용자 인터페이스들을 강조/강조약화시키는 신속하고 효율적인 방법을 제공하며, 이는 (예컨대, 사용자 인터페이스들의 잘못된 강조/강조약화 - 이는 이어서 이를 수정하기 위한 추가 사용자 입력을 요구함 - 를 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스로 향함을 검출한 후 그리고 제2 사용자 인터페이스를 제1 사용자 인터페이스에 대하여 강조약화된 것으로서 디스플레이하는 동안(예를 들어, 제1 사용자 인터페이스로 향하는 사용자의 시선은, 제2 사용자 인터페이스가 제1 사용자 인터페이스에 대하여 강조약화되게 했음), 전자 디바이스는, 눈 추적 디바이스를 통해, 도 7a에서와 같이 시선(714)이 표현(712) 외부로 다시 이동하는 것과 같이 사용자의 시선이 제2 사용자 인터페이스로 향함을 검출한다(816)(예를 들어, 전자 디바이스는, 눈 추적 디바이스를 통해, 사용자가 제1 사용자 인터페이스에 의해 점유된 영역/체적 외부의, 제2 사용자 인터페이스 내의 영역을 보고 있다고 결정한다. 일부 실시예들에서, 사용자의 시선은, 사용자의 시선이 제2 사용자 인터페이스의 임계 거리(예를 들어, 1 인치, 6 인치, 1 피트, 2 피트, 10 피트 등) 내에 있는 제1 사용자 인터페이스 내의 위치와 일치할 때, 제2 사용자 인터페이스로 향한다). 일부 실시예들에서, 사용자의 시선이 제2 사용자 인터페이스로 향함을 검출하는 것에 응답하여, 하나 이상의 제2 기준들이 충족된다는 결정에 따라(일부 실시예들에서, 하나 이상의 제2 기준들은 제2 사용자 인터페이스로 향하는 사용자의 시선 이외의 사용자로부터의 어떠한 추가 입력 없이 충족된다(예를 들어, 제1 사용자 인터페이스는 시선 입력에 응답하여 제2 사용자 인터페이스에 대하여 자동으로 강조약화된다). 일부 실시예들에서, 하나 이상의 제2 기준들은, 사용자의 시선이 0.5, 1, 2, 5, 10초와 같은 시간 임계치보다 더 오랫동안 제2 사용자 인터페이스로 향할 때 충족되지만 그렇지 않으면 충족되지 않는 기준을 포함한다), 전자 디바이스는, 도 7a의 디스플레이를 야기하는 것과 같이 제1 사용자 인터페이스에 대하여 제2 사용자 인터페이스를 강조한다(818)(예를 들어, 그리고/또는 제2 사용자 인터페이스에 대하여 제1 사용자 인터페이스를 강조약화시킴).
일부 실시예들에서, 제1 사용자 인터페이스 및 제2 사용자 인터페이스의 디스플레이는 사용자의 시선이 제1 사용자 인터페이스로 향하는 것으로서 검출되기 전에 (예를 들어, 절대적 의미에서 그리고/또는 서로에 대해 상대적으로) 두 사용자 인터페이스들이 디스플레이되었던 방식으로 복귀한다. 일부 실시예들에서, 제2 사용자 인터페이스는 밝아지고/지거나 블러링해제(un-blur)되고/되거나 다른 방식으로 덜 모호해진다. 일부 실시예들에서, 제1 사용자 인터페이스는 어두워지고/지거나 블러링되고/되거나 다른 방식으로 더 모호해진다. 일부 실시예들에서, 제2 사용자 인터페이스는, 사용자의 시선이 제1 사용자 인터페이스로 지향되기 전의 제1 및 제2 사용자 인터페이스들의 상대적 디스플레이와 비교하여, 제1 사용자 인터페이스에 대하여 더 강조된다. 일부 실시예들에서, 제2 사용자 인터페이스는, 사용자의 시선이 제1 사용자 인터페이스로 지향되기 전의 제1 및 제2 사용자 인터페이스들의 상대적 디스플레이와 비교하여, 제1 사용자 인터페이스에 대하여 덜 강조된다. 시선에 기초하여 사용자 인터페이스들의 디스플레이를 되돌리는 전술한 방식은 사용자 인터페이스들의 이전 디스플레이로 복귀하는 신속하고 효율적인 방식을 제공하며, 이는 (예컨대, 사용자 인터페이스들의 디스플레이를 되돌리기 위한 추가의 또는 상이한 종류의 사용자 입력을 요구하지 않음으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스로 향함을 검출하기 전에, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 도 7a의 표현들(702b, 704b)과 같은 전자 디바이스의 물리적 환경의 적어도 일부분의 표현과 동시에 디스플레이된다(820)(예를 들어, 전자 디바이스의 물리적 환경 내의 일부분 및/또는 객체의 표현은 제1 사용자 인터페이스 및/또는 제2 사용자 인터페이스와 동시에 디스플레이되도록 디스플레이 생성 컴포넌트를 통해 패스-스루(pass through)된다). 일부 실시예들에서, 패스-스루 객체는 전자 디바이스에 의해 능동적으로 디스플레이된다(예를 들어, 전자 디바이스의 하나 이상의 센서들을 통해 캡처되고, 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 생성됨으로써). 일부 실시예들에서, 패스-스루 객체의 디스플레이는 전자 디바이스에 의해 모호해지지 않는다(예를 들어, 전자 디바이스의 물리적 환경의 부분들이 디스플레이 생성 컴포넌트를 통해 보이도록 하는 투명 또는 반투명 디스플레이 생성 컴포넌트의 경우). 일부 실시예들에서, 제2 사용자 인터페이스는 디스플레이 생성 컴포넌트를 통해 보이는 물리적 환경의 일부분(들)을 포함한다. 일부 실시예들에서, 제2 사용자 인터페이스 및 제1 사용자 인터페이스는, 디스플레이 생성 컴포넌트를 통해 보이는 물리적 환경의 일부분(들)을 포함하는, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내에 디스플레이된다. 일부 실시예들에서, 물리적 환경의 일부분은 전자 디바이스의 물리적 환경의 물리적 바닥 상에 배치된 물리적 테이블이다.
일부 실시예들에서, 제2 사용자 인터페이스를 제1 사용자 인터페이스에 대하여 강조약화시키는 것은, 도 7b에 도시된 표현들(702b, 704b)의 강조약화와 같은, 전자 디바이스의 물리적 환경의 일부분의 표현을 제1 사용자 인터페이스에 대하여 강조약화시키는 것을 포함한다(822). 예를 들어, 전자 디바이스의 물리적 환경의 일부분의 표현의 디스플레이를 어둡게 하는 것 및/또는 블러링하는 것 및/또는 다른 방식으로 모호하게 하는 것(예를 들어, 물리적 테이블의 표현을 어둡게 하는 것) 및/또는 제1 사용자 인터페이스의 디스플레이를 밝게 하는 것 및/또는 다른 방식으로 강조하는 것. 전자 디바이스의 물리적 환경의 부분들의 디스플레이를 제2 사용자 인터페이스와 유사하게 처리하는 전술한 방식은 사용자의 시선에 대한 전자 디바이스의 응답의 일관성을 유지하며, 이는 (예컨대, 전자 디바이스의 물리적 환경의 부분들에 의한 산만함, 및 그에 따른 그들과의 불필요한 상호작용을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스로 향하는 것을 검출하기 전에, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는, 도 7a의 표현들(706, 708, 710)과 같은, 전자 디바이스의 물리적 환경에 있지 않은 가상 객체와 동시에 디스플레이된다(824)(예를 들어, 물리적 객체 및/또는 전자 디바이스의 물리적 환경의 일부분의 표현이 아니라 가상 객체인 객체, 요소, 애플리케이션 등의 표현을 디스플레이함). 일부 실시예들에서, 제2 사용자 인터페이스는 가상 객체를 포함한다. 일부 실시예들에서, 가상 객체는 제1 및/또는 제2 사용자 인터페이스들의 외부에 디스플레이된다. 예를 들어, 전자 디바이스의 물리적 환경의 물리적 바닥 상에 배치된 물리적 테이블 상에 배치된 것처럼 디스플레이되는 가상(예를 들어, 물리적이 아닌, 실제가 아닌) 꽃병의 표현. 일부 실시예들에서, 제2 사용자 인터페이스를 제1 사용자 인터페이스에 대하여 강조약화시키는 것은, 도 7b에 도시된 표현들(706, 708, 710)의 강조약화와 같이, 가상 객체를 제1 사용자 인터페이스에 대하여 강조약화시키는 것을 포함한다(826). 예를 들어, 제1 사용자 인터페이스의 디스플레이를 밝게 하고/하거나 다른 방식으로 강조하면서, 가상 객체의 디스플레이를 어둡게 하는 것 및/또는 블러링하는 것 및/또는 다른 방식으로 모호하게 하는 것(예를 들어, 전자 디바이스의 물리적 환경 내의 물리적 테이블 상에 배치된 것처럼 디스플레이된 가상 꽃병을 어둡게 하는 것). 가상 객체들의 디스플레이를 제2 사용자 인터페이스와 유사하게 처리하는 전술한 방식은 사용자의 시선에 대한 전자 디바이스의 응답의 일관성을 유지하며, 이는 (예컨대, 가상 객체에 의한 산만함, 및 그에 따른 가상 객체와의 불필요한 상호작용을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스로 향함을 검출하기 전에, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 도 7a의 표현들(702b, 704b)과 같은 전자 디바이스의 물리적 환경의 적어도 일부분의 표현과 동시에 디스플레이된다(828)(예를 들어, 전자 디바이스의 물리적 환경 내의 일부분 및/또는 객체의 표현은 제1 사용자 인터페이스 및/또는 제2 사용자 인터페이스와 동시에 디스플레이되도록 디스플레이 생성 컴포넌트를 통해 패스-스루된다). 일부 실시예들에서, 패스-스루 객체는 전자 디바이스에 의해 능동적으로 디스플레이된다(예를 들어, 전자 디바이스의 하나 이상의 센서들을 통해 캡처되고, 디스플레이 생성 컴포넌트를 통한 디스플레이를 위해 생성됨으로써). 일부 실시예들에서, 패스-스루 객체의 디스플레이는 전자 디바이스에 의해 모호해지지 않는다(예를 들어, 전자 디바이스의 물리적 환경의 부분들이 디스플레이 생성 컴포넌트를 통해 보이도록 하는 투명 또는 반투명 디스플레이 생성 컴포넌트의 경우). 일부 실시예들에서, 제2 사용자 인터페이스는 디스플레이 생성 컴포넌트를 통해 보이는 물리적 환경의 일부분(들)을 포함한다. 일부 실시예들에서, 제2 사용자 인터페이스 및 제1 사용자 인터페이스는, 디스플레이 생성 컴포넌트를 통해 보이는 물리적 환경의 일부분(들)을 포함하는, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 3차원 환경 내에 디스플레이된다. 일부 실시예들에서, 물리적 환경의 일부분은 전자 디바이스의 물리적 환경의 물리적 바닥 상에 배치된 물리적 테이블이다.
일부 실시예들에서, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는, 도 7a의 표현들(706, 708, 710)과 같은, 전자 디바이스의 물리적 환경에 있지 않은 가상 객체와 동시에 디스플레이된다(828)(예를 들어, 물리적 객체 및/또는 전자 디바이스의 물리적 환경의 일부분의 표현이 아니라 가상 객체인 객체, 요소, 애플리케이션 등의 표현을 디스플레이함). 일부 실시예들에서, 제2 사용자 인터페이스는 가상 객체를 포함한다. 일부 실시예들에서, 가상 객체는 제1 및/또는 제2 사용자 인터페이스들의 외부에 디스플레이된다. 예를 들어, 전자 디바이스의 물리적 환경의 물리적 바닥 상에 배치된 물리적 테이블 상에 배치된 것처럼 디스플레이되는 가상(예를 들어, 물리적이 아닌, 실제가 아닌) 꽃병의 표현. 일부 실시예들에서, 제1 사용자 인터페이스에 대하여 제2 사용자 인터페이스를 강조약화시키는 것은, 도 7b에 도시된 바와 같이 제1 사용자 인터페이스에 대하여 전자 디바이스의 물리적 환경의 일부분의 표현을 강조약화시키는 것(832)(예를 들어, 제1 사용자 인터페이스의 디스플레이를 밝게 하고/하거나 다른 방식으로 강조하면서, 전자 디바이스의 물리적 환경의 일부분의 표현의 디스플레이를 어둡게 하고/하거나 블러링하고/하거나 다른 방식으로 모호하게 하는 것(예를 들어, 물리적 테이블의 표현을 어둡게 하는 것)), 및 도 7b에 도시된 바와 같이 제1 사용자 인터페이스에 대하여 가상 객체를 강조약화시키는 것(834)(예를 들어, 제1 사용자 인터페이스의 디스플레이를 밝게 하고/하거나 다른 방식으로 강조하면서, 가상 객체의 디스플레이를 어둡게 하고/하거나 블러링하고/하거나 다른 방식으로 모호하게 하는 것(예를 들어, 전자 디바이스의 물리적 환경 내의 물리적 테이블 상에 배치된 것처럼 디스플레이된 가상 꽃병을 어둡게 하는 것))을 포함한다(830). 가상 객체들 및 전자 디바이스의 물리적 환경의 부분들의 디스플레이를 제2 사용자 인터페이스와 유사하게 처리하는 전술한 방식은 사용자의 시선에 대한 전자 디바이스의 응답의 일관성을 유지하며, 이는 (예컨대, 가상 객체 및 물리적 환경의 부분들에 의한 산만함, 및 그에 따른 그들과의 불필요한 상호작용을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 사용자 인터페이스는 도 7a의 표현들(706, 708, 710)과 같은, 전자 디바이스의 물리적 환경에 있지 않은 가상 객체를 포함한다(836). 예를 들어, 제2 사용자 인터페이스 내의 가상 객체인 객체, 요소, 애플리케이션 등의 표현을 디스플레이하는 것(예를 들어, 물리적 객체 및/또는 전자 디바이스의 물리적 환경의 일부분의 표현과 비교할 때). 예를 들어, 전자 디바이스의 물리적 환경의 물리적 바닥 상에 배치된 물리적 테이블 상에 배치된 것처럼 제2 사용자 인터페이스에 디스플레이되는 가상(예를 들어, 물리적이 아닌, 실제가 아닌) 꽃병의 표현. 일부 실시예들에서, 제2 사용자 인터페이스는 제1 사용자 인터페이스가 그 위에 그리고/또는 내부에 디스플레이되는 배경이다(예를 들어, 그 결과 제1 사용자 인터페이스는 가상 객체를 포함하는 영역/체적 상에 오버레이됨). 일부 실시예들에서, 가상 객체는 또한 사용자의 시선이 제1 사용자 인터페이스로 향하는 것에 응답하여 (예를 들어, 제2 사용자 인터페이스와 유사하게) 제1 사용자 인터페이스에 대하여 강조약화된다. 사용자 인터페이스들의 시선-기반 강조/강조약화를 수행하는 전술한 방식은, 가상 객체들을 포함하는 디스플레이 공간들에서 사용자 인터페이스들을 강조/강조약화시키는 신속하고 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자의 시선이 제1 사용자 인터페이스로 향하는 것을 검출하기 전에, 제1 사용자 인터페이스는 도 7a의 몰입 레벨(718)과 같은 제1 몰입 레벨에서 디스플레이되고(838)(예를 들어, 방법들(1000, 1200 및/또는 1600)을 참조하여 설명된 바와 같이 개별 몰입 레벨에서 디스플레이됨), 제1 사용자 인터페이스에 대하여 제2 사용자 인터페이스를 강조약화시키는 것은, 도 7b에서 동일한 몰입 레벨(718)을 유지하는 것과 같이, 제1 사용자 인터페이스의 디스플레이를 제1 몰입 레벨에서 유지하는 것을 포함한다(840)(예를 들어, 방법들(1000, 1200 및/또는 1600)을 참조하여 설명된 바와 같이 개별 몰입 레벨에서 계속 디스플레이됨). 예를 들어, 방법(800)에서 여기에 설명된 제1 사용자 인터페이스에 대한 제2 사용자 인터페이스의 시선-기반 강조약화는 선택적으로, 디스플레이된 사용자 인터페이스(들)가 디스플레이되는 몰입 레벨을 변경하지 않는다. 일부 실시예들에서, 방법(800)에서 여기에 설명된 다른 사용자 인터페이스에 대한 하나의 사용자 인터페이스의 강조약화 및/또는 강조는, 방법들(1000, 1200 및/또는 1600)을 참조하여 설명된 바와 같이, 몰입 레벨들에서의 변화들로 인한 디스플레이 특성들의 변화들과 독립적이다. 일부 실시예들에서, 방법(800)에서 여기에 설명된 다른 사용자 인터페이스에 대한 하나의 사용자 인터페이스의 강조약화 및/또는 강조는, 방법들(1000, 1200 및/또는 1600)을 참조하여 설명된 바와 같이, 몰입 레벨들에서의 변화들로 인한 디스플레이 특성들의 변화들에 추가적이고/이거나 그와 조합된다(예를 들어, 긍정적 기여이든 부정적 기여이든). 사용자 인터페이스들의 시선-기반 강조/강조약화를 수행하는 전술한 방식은, 디스플레이된 사용자 인터페이스들의 몰입 레벨들을 변경하지 않고 사용자 인터페이스들을 강조/강조약화시키는 신속하고 효율적인 방식을 제공하며, 이는 (예컨대, 수정하기 위한 추가 사용자 입력을 요구하게 될, 디스플레이된 사용자 인터페이스들의 몰입 레벨들에 대한 잘못된 변화들을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제1 사용자 인터페이스는, 도 7a의 3차원 환경(701)의 콘텐츠 상에 오버레이된 표현(712)과 같이, 제2 사용자 인터페이스 상에 오버레이되어 디스플레이된다(842). 예를 들어, 제2 사용자 인터페이스는 제1 사용자 인터페이스가 그 위에 그리고/또는 내부에 디스플레이되는 배경이어서, 제2 사용자 인터페이스의 부분들은 제1 사용자 인터페이스에 의해 모호하게 되고(예를 들어, 보이지 않음)(예를 들어, 제1 사용자 인터페이스 뒤에 있는 제2 사용자 인터페이스의 부분들), 제2 사용자 인터페이스의 다른 부분들은 제1 사용자 인터페이스에 의해 모호하게 되지 않도록 한다(예를 들어, 보임)(예를 들어, 제1 사용자 인터페이스를 둘러싸는 그리고/또는 제1 사용자 인터페이스 뒤에 있지 않은 제2 사용자 인터페이스의 부분들). 다른 사용자 인터페이스 상에 오버레이된 사용자 인터페이스의 시선-기반 강조/강조약화를 수행하는 전술한 방식은, 오버레이하는 사용자 인터페이스를 강조/강조약화시키는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 오버레이하는 사용자 인터페이스 뒤의 배경에 의한 산만함, 및 그에 따른 그와의 불필요한 상호작용을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
도 9a 내지 도 9c는 애플리케이션 사용자 인터페이스들과 비교하여 운영 체제 사용자 인터페이스들에 대한 몰입 레벨들을 설정하는 예들을 예시한다.
도 9a는, 디스플레이 생성 컴포넌트(예를 들어, 도 1의 디스플레이 생성 컴포넌트(120))를 통해, 사용자 인터페이스에 3차원 환경(901)을 디스플레이하는 전자 디바이스(101)를 예시한다. 도 1 내지 도 6을 참조하여 전술한 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(예컨대, 터치 스크린) 및 복수의 이미지 센서들(예를 들어, 도 3의 이미지 센서들(314))을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 아래에 도시된 사용자 인터페이스들은 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 물리적 환경 및/또는 사용자의 손들의 이동들(예를 들어, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예를 들어, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에서 구현될 수 있다.
도 9a에 도시된 바와 같이, 디바이스(101)는 디바이스(101) 주위의 물리적 환경(900) 내의 하나 이상의 객체들을 포함하는, 디바이스(101) 주위의 물리적 환경(900)(예를 들어, 동작 환경(100))의 하나 이상의 이미지들을 캡처한다. 일부 실시예들에서, 디바이스(101)는 3차원 환경(901)에서 물리적 환경의 표현들을 디스플레이한다. 예를 들어, 3차원 환경(901)은 (예를 들어, 물리적 환경(900) 내의 나무(902a)에 대응하는) 나무의 표현(902b) 및 (예를 들어, 물리적 환경(900) 내의 사람(904a)에 대응하는) 사람의 표현(904b)을 포함한다. 일부 실시예들에서, 디바이스(101)는 또한 3차원 환경(901)에서 하나 이상의 가상 객체들(예를 들어, 물리적 환경(900)에 있지 않은 객체들)을 디스플레이한다. 예를 들어, 도 9a에서, 디바이스(101)는 나무의 표현(902b) 상의 가상 객체(910)(예를 들어, 장식), 사람의 표현(904b) 상의 가상 객체(906)(예를 들어, 모자), 및 태양의 표현(908)을 디스플레이하고 있다. 일부 실시예들에서, 태양의 표현(908)은 3차원 환경(901)에서 광원으로서 디스플레이되고 처리되며, 태양의 표현(908)으로부터 생성되는 조명 효과는, 디바이스(101)에 의해, 3차원 환경(901)에서 디스플레이된 물리적 객체들의 표현들 및/또는 가상 객체들에 적용된다.
도 9a에서, 디바이스(101)는 또한 디바이스(101)의 운영 체제의 사용자 인터페이스(912)를 디스플레이하고 있다. 사용자 인터페이스(912)는 선택적으로, 디바이스(101) 상에서 액세스가능한 하나 이상의 애플리케이션들이 디스플레이될/시작될 수 있는 디바이스(101)의 운영 체제의 애플리케이션 브라우징 사용자 인터페이스이다. 일부 실시예들에서, 사용자 인터페이스(912)는 디바이스(101)의 운영 체제의 임의의 다른 사용자 인터페이스이다(예를 들어, 디바이스(101) 상의 애플리케이션의 사용자 인터페이스인 것과 비교할 때). 도 9a에서, 사용자 인터페이스(912)는, 디바이스(101)의 디스플레이 생성 컴포넌트(120)를 통해 개별적인 선택된 애플리케이션을 디스플레이하도록 선택가능한, 디바이스(101) 상에서 액세스가능한 상이한 애플리케이션들에 대응하는 아이콘들(예를 들어, 앱 A용 아이콘, 앱 B용 아이콘, 앱 C용 아이콘 및 앱 D용 아이콘)을 포함한다. 일부 실시예들에서, 사용자 인터페이스(912)는, 3차원 환경(901)에서 하나 이상의 물리적 객체들의 표현들 및/또는 가상 객체들을 오버레이하도록 하는(예를 들어, 물리적 환경(900) 내의 사람(904a)에 대응하는 사람의 표현(904b)의 일부를 오버레이하고 그 앞에 있음) 3차원 환경(901) 내의 위치에서 디스플레이된다. 일부 실시예들에서, 사용자 인터페이스(912)는, 하나 이상의 가상 객체들이 사용자 인터페이스(912)의 일부 앞에 있고 이를 오버레이하고/하거나 물리적 객체들의 하나 이상의 표현들이 사용자 인터페이스(912)의 일부 앞에 있고 이를 오버레이하도록, 3차원 환경(901) 내에 위치된다.
일부 실시예들에서, 디바이스(101)는 특정 몰입 레벨에서 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 3차원 환경(901) 및/또는 사용자 인터페이스들을 디스플레이한다. 도 9a에서, 디바이스(101)는, 물리적 객체들의 표현들(902b, 904b)이 디스플레이 생성 컴포넌트(120)를 통해 보이는 특정 몰입 레벨(918)(예를 들어, 몰입 스케일(916) 상에 표시됨 - 그 최좌측은 몰입 없음에 대응하고, 그 최우측은 최대 몰입에 대응함)에서 3차원 환경(901)을 디스플레이하고 있다. 일부 실시예들에서, 몰입 레벨은 전자 디바이스에 의해 디스플레이된 콘텐츠가 사용자 인터페이스(912) 주위의/뒤의 배경 콘텐츠(예를 들어, 사용자 인터페이스(912) 이외의 콘텐츠)를 모호하게 하는 연관된 정도를 포함하며, 이는 선택적으로 디스플레이된 배경 콘텐츠의 아이템들의 수 및 배경 콘텐츠가 디스플레이되는 시각적 특성들(예를 들어, 색상, 대비, 불투명도)을 포함한다. 일부 실시예들에서, 배경 콘텐츠는 사용자 인터페이스(912)가 디스플레이되는 배경에 포함된다. 일부 실시예들에서, 배경 콘텐츠는 추가적인 사용자 인터페이스들(예를 들어, 애플리케이션들에 대응하는 디바이스(101)에 의해 생성된 사용자 인터페이스들, 시스템 사용자 인터페이스들 등), 사용자 인터페이스(912)와 연관되거나 그에 포함되지 않는 가상 객체들(예를 들어, 디바이스(101)에 의해 생성된 파일들, 다른 사용자들의 표현들 등), 및/또는 실제 객체들(예를 들어, 디스플레이 생성 컴포넌트에 의해 보이도록 디바이스에 의해 디스플레이되는 전자 디바이스(101)의 물리적 환경 내의 실제 객체들을 표현하는 패스-스루 객체들)을 포함한다. 일부 실시예들에서, 제1(예를 들어, 낮은) 몰입 레벨에서, 배경, 가상 및/또는 실제 객체들은 모호해지지 않은 방식으로 디스플레이된다. 예를 들어, 낮은 몰입 레벨을 갖는 개별 사용자 인터페이스는 선택적으로, 풀 밝기, 색상 및/또는 반투명도로 선택적으로 디스플레이되는 배경 콘텐츠와 동시에 디스플레이된다. 일부 실시예들에서, 제2(예를 들어, 더 높은) 몰입 레벨에서, 배경, 가상 및/또는 실제 객체들은 모호해진 방식으로(예를 들어, 디밍된, 블러링된, 디스플레이로부터 제거된 등) 디스플레이된다. 예를 들어, 높은 몰입 레벨을 갖는 개별 사용자 인터페이스는 (예를 들어, 풀 스크린 또는 풀 몰입 모드에서) 배경 콘텐츠를 동시에 디스플레이하지 않으면서 디스플레이된다. 다른 예로서, 중간 몰입 레벨로 디스플레이되는 사용자 인터페이스는 어두워진, 블러링된, 또는 다른 방식으로 강조약화된 배경 콘텐츠와 동시에 디스플레이된다. 일부 실시예들에서, 배경 객체들의 시각적 특성들은 배경 객체들 사이에서 변한다. 예를 들어, 특정 몰입 레벨에서, 하나 이상의 제1 배경 객체들은 하나 이상의 제2 배경 객체들보다 시각적으로 강조약화되고(예를 들어, 디밍되거나, 블러링되거나, 증가된 투명도로 디스플레이됨), 하나 이상의 제3 배경 객체들은 디스플레이되는 것이 중단된다. 몰입 레벨들에 대한 추가 세부사항들은 방법들(1200, 1400, 1600)을 참조하는 것을 포함하여 본 명세서에 설명된다.
도 9a에서, 입력이 디바이스(101)의 입력 요소(920) 상에서 수신된다. 입력 요소(920)는 선택적으로, 슬라이더 요소 또는 회전가능한 입력 요소와 같은, 디바이스(101)에 의해 현재-디스플레이된 사용자 인터페이스(들)의 몰입 레벨을 변경하기 위해 조작될 수 있는 기계적 입력 요소이며, 여기서 몰입의 변화의 양 및 방향(예를 들어, 증가 또는 감소)은 입력 요소(920)의 조작의 크기 및 방향(예를 들어, 입력 요소(920)의 이동의 방향 및/또는 크기, 또는 회전가능한 입력 요소의 회전의 방향 및/또는 크기)에 기초한다. 일부 실시예들에서, 디바이스(101) 및/또는 입력 요소(920)는 몰입 레벨이 변화함에 따라 촉각적 피드백을 생성한다(예를 들어, 몰입의 각각의 증가 또는 감소 단계에 대한 작은(minor) 촉각적 출력들, 및 최소 또는 최대 몰입에 도달할 때의 상이한 큰(major) 촉각적 출력들).
도 9a에서, 입력 요소(920) 상에서 수신된 입력은 입력 요소(920)를 상향으로 슬라이드하여, 현재 디스플레이된 사용자 인터페이스(들)의 몰입 레벨을 요소(920)의 상향 이동량에 기초한 양만큼 증가시키기 위한 입력이다. 도 9a의 입력에 응답하여, 디바이스(101)는, 도 9b 및 몰입 스케일(916)에 도시된 바와 같이, 운영 체제 사용자 인터페이스(912)가 디스플레이되는 몰입 레벨을 중간 몰입 레벨로 증가시킨다. 특히, 일부 실시예들에서, 사용자 인터페이스(912)가 디스플레이되는 몰입 레벨을 증가시키는 것은, 도 9b에 도시된 바와 같이, 디바이스(101)가 디스플레이 생성 컴포넌트(120)를 통해 더 큰 크기에서 사용자 인터페이스를 디스플레이하게 된다. 또한, 전술한 바와 같이, 추가적으로 또는 대안적으로, 사용자 인터페이스(912)를 둘러싸고/거나 그 뒤에 디스플레이된 콘텐츠(예를 들어, 물리적 객체들의 표현들(902b, 904b), 및 가상 객체들(910, 906))는 도 9b에서 어두워지고/거나 블러링되는 반면, 사용자 인터페이스(912)는 어두워지거나 블러링되지 않는다. 일부 실시예들에서, 현재-디스플레이된 사용자 인터페이스(들)가 디스플레이되는 몰입 레벨을 증가시키는 것은 추가적으로 또는 대안적으로, 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 가상 또는 물리적 객체들과 연관된 대기(atmospheric) 시각적 및/또는 오디오 효과를 증가시킨다. 예를 들어, 도 9b에서, 태양의 표현(908)으로부터 방출되는 광선은 길어졌고(예를 들어, 표현(908)으로부터 방출되는 더 많은 가상 광에 대응함), 그 결과 나무의 표현(902b) 상의 장식(910)은 빛나기 시작했다. 몰입 레벨들의 변화와 함께 대기 조명, 시각적, 오디오 등 효과의 추가적 또는 대안적 변화들이 유사하게 고려된다.
이전에 언급된 바와 같이, 일부 실시예들에서, 상이한 사용자 인터페이스들이 디스플레이되는 몰입 레벨들은, 선택적으로, 서로 독립적으로 설정된다. 예를 들어, 운영 체제 사용자 인터페이스들이 디스플레이되는 몰입 레벨의 변화는 선택적으로 애플리케이션 사용자 인터페이스들이 디스플레이되는 몰입 레벨을 변화시키지 않고, 일부 실시예들에서, 제1 애플리케이션의 사용자 인터페이스가 디스플레이되는 몰입 레벨의 변화는 제2 애플리케이션의 사용자 인터페이스가 디스플레이되는 몰입 레벨을 변화시키지 않는다. 따라서, 일부 실시예들에서, 하나의 사용자 인터페이스를 디스플레이하는 것으로부터 다른 사용자 인터페이스를 디스플레이하는 것으로 스위칭하라는 입력에 응답하여, 디바이스(101)는, 선택적으로, 현재-디스플레이된 사용자 인터페이스에 적용된 몰입의 어떠한 변화와도 관계없이, 스위칭된 사용자 인터페이스를 그 사용자 인터페이스가 마지막으로 디스플레이되었던 몰입 레벨에서 디스플레이한다.
예를 들어, 도 9b에서, 디바이스(101)는 사용자 인터페이스(912)에서 앱 C에 대응하는 아이콘을 선택하는 입력을 검출한다. 이에 응답하여, 디바이스(101)는 도 9c에 도시된 바와 같이 앱 C의 사용자 인터페이스(934)를 디스플레이한다. 앱 C는 선택적으로 디바이스(101)를 통해 액세스가능한(예를 들어, 그에 설치된) 애플리케이션이고, 선택적으로 임의의 유형의 애플리케이션(예를 들어, 콘텐츠 보기 애플리케이션, 워드 프로세싱 애플리케이션 등)이다. 앱 C는 선택적으로 디바이스(101)의 운영 체제와 상이하며, 따라서 사용자 인터페이스(934)는 선택적으로 디바이스(101)의 운영 체제의 사용자 인터페이스가 아니라 앱 C의 사용자 인터페이스이다.
도 9c에 도시된 바와 같이, 앱 C를 디스플레이하기 위한 입력에 응답하여, 디바이스(101)는 디바이스(101)가 도 9b에서 사용자 인터페이스(912)를 디스플레이하고 있었던 몰입 레벨(918)보다 더 높은 (예를 들어, 앱 C에 대한 몰입 스케일(930)에 의해 표시된 바와 같은) 몰입 레벨(932)에서 사용자 인터페이스(934)를 디스플레이하고 있다. 이는 선택적으로, 전술한 바와 같이, 애플리케이션들에 대해 설정된 몰입 레벨들이 디바이스(101)의 운영 체제에 대해 설정된 몰입 레벨과 독립적이기 때문이다. 따라서, 선택적으로, 디바이스(101)가 도 9c에서 앱 C의 사용자 인터페이스(934)를 디스플레이하고 있는 더 높은 몰입 레벨이 사용자 인터페이스(934)가 디바이스(101)에 의해 마지막으로 디스플레이되었던 몰입 레벨이라고 하는 것은 사실이다. 사용자 인터페이스(934)가 도 9b에 도시된 사용자 인터페이스(912)에 대한 몰입 레벨(918)보다 더 낮은 몰입 레벨에서 마지막으로 디스플레이되었다면, 디바이스(101)는 선택적으로 도 9c의 사용자 인터페이스(934)를, 도 9c에 도시된 더 높은 몰입 레벨에서가 아닌, 그 더 낮은 몰입 레벨에서 디스플레이했을 것이다. 또한 도 9c에는, 디스플레이 생성 컴포넌트(120) 상의 사용자 인터페이스(934)의 증가된 크기(도 9b의 사용자 인터페이스(912)의 크기와 비교하여) 및 사용자 인터페이스(934) 외부의/주위의 콘텐츠의 증가된 어두워짐 및/또는 블러링(도 9b의 사용자 인터페이스(912) 외부의/주위의 콘텐츠의 어두워짐 및/또는 블러링과 비교하여)이 도시되어 있다-디스플레이 특성들의 이러한 변화들은 선택적으로, 이전에 설명된 바와 같이, 증가된 몰입에 응답하여 발생하는 변화들 중 일부이다. 이전에 설명된 것들과 같은 디스플레이 특성들의 추가적 또는 대안적 변화들이 또한 고려된다.
전술한 바와 같이, 하나의 애플리케이션에서의 사용자 인터페이스가 디스플레이되는 몰입의 변화들은 선택적으로, 다른 애플리케이션들의 사용자 인터페이스들 및/또는 운영 체제의 사용자 인터페이스들이 디스플레이되는 몰입 레벨을 변화시키지 않는다. 예를 들어, 디바이스(101)가 도 9c에서 앱 C의 사용자 인터페이스(934)의 몰입 레벨을 변경하라는 입력을 (예를 들어, 입력 요소(920)를 통해) 검출하는 경우, 디바이스(101)는, 이전에 설명한 바와 같이, 그 입력에 따라 사용자 인터페이스(934)가 디스플레이되는 몰입 레벨을 변경할 것이다. 사용자 인터페이스(934)가 디스플레이되는 몰입 레벨을 변경한 후, 사용자 인터페이스(912)를 재디스플레이하라는 입력(예를 들어, 사용자 인터페이스(934)의 디스플레이를 중단하라는 입력)에 응답하여, 디바이스는 선택적으로, 사용자 인터페이스(912)가 몰입 레벨(918)에서 디스플레이되는 도 9b의 디스플레이로 복귀할 것이며, 몰입 레벨(918)은, 사용자 인터페이스(912)가 마지막으로 디스플레이되었던 몰입 레벨이고, 사용자 인터페이스(912)를 재디스플레이하라는 입력이 검출되었을 때 사용자 인터페이스(934)가 디스플레이되었던 변경된 몰입 레벨과 독립적이다.
일부 실시예들에서, 애플리케이션들(예를 들어, 앱 C)은 그러한 애플리케이션들이 디스플레이되는 몰입 레벨을 변경하기 위한 제어부들을 그들의 사용자 인터페이스들에 포함한다. 예를 들어, 일부 실시예들에서, 앱 C의 사용자 인터페이스(934)는 사용자 인터페이스(934)가 디스플레이되는 몰입 레벨을 증가 또는 감소시키기 위한 제어부들을 포함하고, 앱 C가 디스플레이되는 몰입은 입력 요소(920)와의 상호작용에 추가적으로 또는 대안적으로 이러한 제어부들의 상호작용에 응답하여 디바이스(101)에 의해 변경된다. 또한, 일부 실시예들에서, 운영 체제 사용자 인터페이스에 대한 임계치 초과의 몰입(예를 들어, 최대 몰입)은 입력 요소(920)에서 검출된 입력들에 응답하여 도달가능하다. 그러나, 일부 실시예들에서, 애플리케이션 사용자 인터페이스에 대한 그 임계치 초과의 몰입은 입력 요소(920)에서 검출된 입력들에 응답하여 도달가능하지 않다-일부 실시예들에서, 애플리케이션 사용자 인터페이스가 디스플레이되는 몰입은 입력 요소를 사용해서만 임계 몰입에 도달할 수 있고, 일단 그 임계가 되면, 애플리케이션 사용자 인터페이스가 디스플레이되는 몰입을 그 임계치를 넘어서 증가시키기 위해서 상이한 유형의 입력이 요구된다. 예를 들어, 도 9c에서, 사용자 인터페이스(934)가 디스플레이되는 몰입 레벨(932)은 선택적으로 입력 요소(920)에서의 입력들을 통해 사용자 인터페이스(934)에 대해 도달될 수 있는 가장 높은 몰입이다. 몰입 레벨(932)을 지나 몰입을 증가시키기 위해, 디바이스(101)는 선택적으로 사용자 인터페이스(934) 내에 도시된 사용자 인터페이스 요소를 선택하는 입력을 필요로 한다. 예를 들어, 도 9c에서, 사용자 인터페이스(934)는 사용자 인터페이스(934)가 디스플레이되는 몰입을 몰입 레벨(932)을 지나 증가시키기 위해 선택가능한 사용자 인터페이스 요소(950)를 포함한다(예를 들어, 사용자 인터페이스 요소(950)를 선택하는 사용자 입력은 선택적으로, 디바이스(101)가 사용자 인터페이스(934)를 최대 몰입, 또는 풀 스크린에서 디스플레이하는 것을 야기하며, 여기서 사용자 인터페이스(934)를 둘러싸는 어떠한 콘텐츠도 디바이스(101)에 의해 디스플레이되지 않는다). 일부 실시예들에서, 사용자 인터페이스(934)는 단지, 사용자 인터페이스(934)가 디스플레이되는 몰입 레벨이 이전에 설명된 임계 몰입 레벨에 도달하면, 요소(950)를 포함한다. 일부 실시예들에서, 사용자 인터페이스(934)는, 사용자 인터페이스(934)가 디스플레이되는 몰입 레벨이 이전에 설명된 임계 몰입 레벨에 도달했는지 여부에 관계없이, 요소(950)를 포함한다.
도 10a 내지 도 10k는 일부 실시예들에 따른, 서로 독립적으로 상이한 사용자 인터페이스들에 대한 몰입 레벨들을 정의하는 방법(1000)을 예시하는 흐름도이다. 일부 실시예들에서, 방법(1000)은 디스플레이 생성 컴포넌트(예를 들어, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예를 들어, 헤드 업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예를 들어, 사용자의 손에서 하방을 향하는 카메라(예를 들어, 컬러 센서들, 적외선 센서들 및 다른 깊이-감지 카메라들) 또는 사용자의 머리로부터 전방을 향하는 카메라)을 포함하는 컴퓨터 시스템(예를 들어, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1000)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예컨대 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1000)에서의 일부 동작들은 선택적으로 조합되고/되거나, 일부 동작들의 순서는 선택적으로 변경된다.
방법(1000)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스(예를 들어, 도 1의 컴퓨터 시스템(101))(예를 들어, 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)는, 도 9b의 사용자 인터페이스(912)와 같은, 전자 디바이스의 운영 체제의 제1 개별 사용자 인터페이스를 디스플레이한다(1002). 일부 실시예들에서, 전자 디바이스는 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어 또는 웨어러블 디바이스) 또는 컴퓨터이다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스와 통합된 디스플레이(선택적으로, 터치 스크린 디스플레이), 외부 디스플레이, 예컨대 모니터, 프로젝터, 텔레비전, 또는 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 보이게 하기 위한 하드웨어 컴포넌트(선택적으로, 통합형 또는 외부) 등이다. 일부 실시예들에서, 전자 디바이스는 사용자 입력을 수신하고(예를 들어, 사용자 입력을 캡처하고, 사용자 입력을 검출하는 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함하는 하나 이상의 입력 디바이스들과 통신한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예를 들어, 외부), 트랙패드(선택적으로 통합형 또는 외부), 터치패드(선택적으로 통합형 또는 외부), 원격 제어 디바이스(예를 들어, 외부), 다른 모바일 디바이스(예를 들어, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예를 들어, 외부), 제어기(예를 들어, 외부), 카메라, 깊이 센서, 모션 센서(예를 들어, 손 추적 디바이스, 손 모션 센서), 전자 디바이스에 포함된 물리적 기계적 입력 요소(예를 들어, 버튼, 회전하는 기계적 요소, 스위치 등), 및/또는 눈 추적 디바이스 등을 포함한다.
일부 실시예들에서, 제1 개별 사용자 인터페이스는, 전자 디바이스 상의(예를 들어, 그에 설치된) 애플리케이션에 의해서가 아니라, 전자 디바이스의 운영 체제에 의해 생성되고/되거나 디스플레이되는 사용자 인터페이스이다. 예를 들어, 제1 개별 사용자 인터페이스는 선택적으로 시스템 사용자 인터페이스인 애플리케이션 브라우징 및/또는 시작 사용자 인터페이스이고, 선택적으로, 선택될 때 전자 디바이스로 하여금 선택된 애플리케이션의 사용자 인터페이스를 디스플레이하게 하는(예를 들어, 선택된 애플리케이션을 시작하게 하는) 상이한 애플리케이션들의 복수의 선택가능한 표현들을 포함한다. 일부 실시예들에서, 제1 개별 사용자 인터페이스는, 전자 디바이스에 의해 생성, 디스플레이, 또는 달리 보일 수 있게 되는, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경 내에서 디스플레이된다.
일부 실시예들에서, 제1 개별 사용자 인터페이스는 도 9b의 몰입 레벨(918)과 같은 제1 몰입 레벨에서 디스플레이된다(1004)
(예를 들어, 일부 실시예들에서, 몰입 레벨은, 전자 디바이스에 의해 디스플레이된 콘텐츠가 제1 개별 사용자 인터페이스 주위의/뒤의 배경 콘텐츠(예를 들어, 제1 개별 사용자 인터페이스 이외의 콘텐츠)를 모호하게 하는 연관된 정도를 포함하며, 이는 선택적으로, 디스플레이된 배경 콘텐츠의 아이템들의 수 및 배경 콘텐츠가 디스플레이되는 시각적 특성들(예를 들어, 색상, 대비, 불투명도), 및/또는 디스플레이 생성 컴포넌트를 통해 디스플레이된 콘텐츠의 각도 범위(예를 들어, 낮은 몰입에서 콘텐츠의 60도가 디스플레이되고, 중간 몰입에서 콘텐츠의 120도가 디스플레이되고, 높은 몰입에서 콘텐츠의 180도가 디스플레이됨), 및/또는 전자 디바이스에 의해 디스플레이된 콘텐츠에 의해 소비된 디스플레이 생성을 통해 디스플레이된 시야의 비율(예를 들어, 낮은 몰입에서 전자 디바이스에 의해 디스플레이된 콘텐츠에 의해 시야의 33%가 소비되고, 중간 몰입에서 전자 디바이스에 의해 디스플레이된 콘텐츠에 의해 시야의 66%가 소비되고, 높은 몰입에서 전자 디바이스에 의해 디스플레이된 콘텐츠에 의해 시야의 100%가 소비됨)을 포함한다). 일부 실시예들에서, 배경 콘텐츠는, 그 위에 제1 개별 사용자 인터페이스가 디스플레이되는 배경에 포함된다. 일부 실시예들에서, 배경 콘텐츠는 추가적인 사용자 인터페이스들(예를 들어, 제1 개별 사용자 인터페이스의 애플리케이션들 이외의 애플리케이션들에 대응하는 디바이스에 의해 생성된 사용자 인터페이스들, 시스템 사용자 인터페이스들),
제1 개별 사용자 인터페이스와 연관되거나 그에 포함되지 않는 가상 객체들(예를 들어, 디바이스에 의해 생성된 파일들, 다른 사용자들의 표현들 등), 및/또는 실제 객체들(예를 들어, 전자 디바이스가 디스플레이 생성 컴포넌트를 통해 이들의 가시성을 모호하게 하거나/막지 않기 때문에 디스플레이 생성 컴포넌트에 의해 보이도록 그리고/또는 투명 또는 반투명 디스플레이 생성 컴포넌트를 통해 보이도록 디바이스에 의해 디스플레이되는 전자 디바이스의 물리적 환경 내의 실제 객체들을 표현하는 패스-스루 객체들)을 포함한다. 일부 실시예들에서, 제1(예를 들어, 낮은) 몰입 레벨에서, 배경, 가상 및/또는 실제 객체들은 모호해지지 않은 방식으로 디스플레이된다. 예를 들어, 낮은 몰입 레벨을 갖는 개별 사용자 인터페이스는 선택적으로, 풀 밝기, 색상 및/또는 반투명도로 선택적으로 디스플레이되는 배경 콘텐츠와 동시에 디스플레이된다. 일부 실시예들에서, 몰입 없이(또는 매우 낮은 몰입으로) 디스플레이되는 개별 사용자 인터페이스에서는, 어떠한 가상 사용자 인터페이스 요소도 디스플레이되지 않으며(또는 매우 적은 가상 사용자 인터페이스 요소가 디스플레이됨), 배경 콘텐츠만이(또는 단지 대부분) 선택적으로 디스플레이 생성 컴포넌트를 통해 디스플레이된다. 일부 실시예들에서, 제2(예를 들어, 더 높은) 몰입 레벨에서, 배경, 가상 및/또는 실제 객체들은 모호해진 방식으로(예를 들어, 디밍된, 블러링된, 디스플레이로부터 제거된 등) 디스플레이된다. 예를 들어, 높은 몰입 레벨을 갖는 개별 사용자 인터페이스는 (예를 들어, 풀 스크린 또는 풀 몰입 모드에서) 배경 콘텐츠를 동시에 디스플레이하지 않으면서 디스플레이된다. 다른 예로서, 중간 몰입 레벨로 디스플레이되는 사용자 인터페이스는 어두워진, 블러링된, 또는 다른 방식으로 강조약화된 배경 콘텐츠와 동시에 디스플레이된다. 일부 실시예들에서, 배경 객체들의 시각적 특성들은 배경 객체들 사이에서 변한다. 예를 들어, 특정 몰입 레벨에서, 하나 이상의 제1 배경 객체들은 하나 이상의 제2 배경 객체들보다 시각적으로 강조약화되고(예를 들어, 디밍되거나, 블러링되거나, 증가된 투명도로 디스플레이됨), 하나 이상의 제3 배경 객체들은 디스플레이되는 것이 중단된다. 몰입 레벨들에 대한 추가 세부사항들은 방법들(1200, 1400, 1600)을 참조하는 것을 포함하여 본 명세서에 설명된다.
일부 실시예들에서, 제1 몰입 레벨에서 제1 개별 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 9b의 앱 C에 대한 아이콘 상의 입력과 같은, 개별 애플리케이션의 제2 개별 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제1 사용자 입력을 수신한다(1006)(예를 들어, 애플리케이션 브라우징 사용자 인터페이스에서 개별 애플리케이션에 대한 애플리케이션 아이콘의 선택을 검출함). 일부 실시예들에서, 제1 사용자 입력은, 제1 개별 사용자 인터페이스에 디스플레이되는지 여부에 관계없이, 개별 애플리케이션에 대한 어떠한 아이콘도 선택하지 않고 개별 애플리케이션을 디스플레이하기 위한 음성 입력이다. 일부 실시예들에서, 제1 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 9c에 도시된 사용자 인터페이스(934)와 같은 개별 애플리케이션의 제2 개별 사용자 인터페이스를 디스플레이하며(1008)(예를 들어, 일부 실시예들에서, 제2 개별 사용자 인터페이스는 제1 개별 사용자 인터페이스 상에 오버레이되어 디스플레이되며, 이들 둘 모두는 선택적으로 배경 위에 그리고/또는 3차원 환경 내에서 계속 디스플레이됨. 일부 실시예들에서, 제2 개별 사용자 인터페이스를 디스플레이하는 것은, 제1 개별 사용자 인터페이스의 디스플레이를 중단하여 제2 개별 사용자 인터페이스(제1 개별 사용자 인터페이스가 아님)가 배경 위에 그리고/또는 3차원 환경 내에서 계속 디스플레이되도록 하는 것을 포함함), 여기서 개별 애플리케이션의 제2 개별 사용자 인터페이스는 도 9c에 도시된 몰입 레벨(932)과 같은 제2 몰입 레벨(예를 들어, 운영 체제 사용자 인터페이스의 몰입 레벨과 독립적인 몰입 레벨)에서 디스플레이된다(1010). 따라서, 일부 실시예들에서, 운영 체제 사용자 인터페이스들의 몰입 레벨은 애플리케이션 사용자 인터페이스들의 몰입 레벨에 영향을 미치지 않는다. 일부 실시예들에서, 제2 개별 사용자 인터페이스가 디스플레이되는 제2 몰입 레벨은 (제2 개별 사용자 인터페이스의 현재 디스플레이 이전에) 제2 개별 사용자 인터페이스가 마지막으로 디스플레이되었던 몰입 레벨이다. 일부 실시예들에서, 운영 체제 사용자 인터페이스들의 몰입 레벨은 애플리케이션 사용자 인터페이스들의 몰입 레벨에 영향을 미친다(예를 들어, 시스템 사용자 인터페이스가 제1 몰입 레벨에서 설정되는 경우, 후속적으로 애플리케이션 사용자 인터페이스를 디스플레이하는 것은, 애플리케이션 사용자 인터페이스가 상이한 몰입 레벨에서 마지막으로 디스플레이되었을지라도, 그 동일한 제1 몰입 레벨에서 애플리케이션 사용자 인터페이스를 디스플레이하는 것을 포함함).
일부 실시예들에서, 제2 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 9c의 입력 요소(920) 상의 입력과 같은, 전자 디바이스와 연관된 현재 몰입 레벨을 변경하라는 요청에 대응하는 제2 사용자 입력(예를 들어, 현재-디스플레이된 사용자 인터페이스의 몰입 레벨을 증가시키거나 감소시키라는 요청에 대응하는 음성 입력, 손 제스처, 디스플레이된 사용자 인터페이스 요소의 선택, 및/또는 전자 디바이스에 포함된 기계적 입력 요소에서의 입력(예를 들어, 회전 입력)의 검출)을 수신한다(1012). 일부 실시예들에서, 제2 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제2 몰입 레벨과 상이한 제3 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이한다(1014)(예를 들어, 제2 사용자 입력에 따라 제2 개별 사용자 인터페이스의 몰입 레벨을 증가 또는 감소시킴).
일부 실시예들에서, 제3 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 9c의 사용자 인터페이스(934)의 디스플레이를 중단하라는 입력과 같은 제1 개별 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제3 사용자 입력을 수신한다(1016)(예를 들어, 사용자 인터페이스의 몰입 레벨을 변경하라는 요청에 대응하는 명시적인 사용자 입력이 없이)(예를 들어, 제2 개별 사용자 인터페이스를 디스플레이하는 것을 중단하라는 입력, 전자 디바이스의 내비게이션 계층구조에서 뒤로 내비게이션하라는 입력, 애플리케이션 브라우징 사용자 인터페이스를 재디스플레이하라는 입력 등). 일부 실시예들에서, 제3 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제1 개별 사용자 인터페이스를 디스플레이하며(1018), 여기서 제1 개별 사용자 인터페이스는 도 9b의 몰입 레벨(918)에서의 사용자 인터페이스(912)와 같이 제1 몰입 레벨(예를 들어, 제2 개별 사용자 인터페이스가 제1 사용자 입력에 응답하여 디스플레이되었을 때 제1 개별 사용자 인터페이스가 가졌던 동일한 몰입 레벨)에서 디스플레이된다(1020). 따라서, 일부 실시예들에서, 제1 개별 사용자 인터페이스의 몰입 레벨은 제2 개별 사용자 인터페이스의 몰입 레벨의 변화의 결과로서 변화하지 않았다. 따라서, 일부 실시예들에서, 애플리케이션들의 사용자 인터페이스들의 몰입 레벨들에 대한 변화들은 선택적으로, 시스템 사용자 인터페이스들의 몰입 레벨들에 대한 대응하는 변화들을 야기하지 않는다. 일부 실시예들에서, 시스템 사용자 인터페이스들의 몰입 레벨들에 대한 변화들은 애플리케이션들의 사용자 인터페이스들의 몰입 레벨들에 대한 변화들을 야기하지 않는다. 일부 실시예들에서, 애플리케이션들의 사용자 인터페이스들의 몰입 레벨들에 대한 변화들은 선택적으로, 시스템 사용자 인터페이스들의 몰입 레벨들에 대한 대응하는 변화들을 야기하고/하거나(예를 들어, 몰입 레벨들이 함께 증가/감소함) 그 반대이다. 일부 실시예들에서, 운영 체제 사용자 인터페이스의 몰입 레벨은 전자 디바이스에 포함된 기계적 입력 요소를 통해 변경가능하지만, 애플리케이션 사용자 인터페이스의 몰입 레벨은 그 기계적 입력 요소를 통해 변경가능하지 않다-일부 실시예들에서, 애플리케이션 사용자 인터페이스의 몰입 레벨은 디스플레이 생성 컴포넌트를 통해 디스플레이된 제어부들을 통해 변경가능하다. 애플리케이션 사용자 인터페이스들의 몰입 레벨들의 변화들에도 불구하고 시스템 사용자 인터페이스들의 몰입 레벨을 유지하는 전술한 방식은, 몰입 레벨들이 상이한 사용자 인터페이스들에 대해 독립적으로 정의되고/되거나 변경될 수 있는 유연한 아키텍처를 제공하며, 이는 (예를 들어, 현재 사용자 인터페이스에서의 몰입 레벨 변화의 결과로 다른 사용자 인터페이스에서의 잘못된 몰입 레벨 변화들을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 하나 이상의 입력 디바이스들은 회전가능한 입력 요소를 포함하며, 전자 디바이스와 연관된 현재 몰입 레벨을 변경하라는 요청에 대응하는 제2 사용자 입력을 수신하는 것은, 입력 요소(920)를 참조하여 설명된 바와 같은, 회전가능한 입력 요소의 회전을 검출하는 것을 포함한다(1022). 예를 들어, 전자 디바이스는 그에 제공된 회전 사용자 입력에 응답하여 회전하는 기계적 입력 요소를 포함하거나 그와 통신하고, 일부 실시예들에서, 그에 제공된 누르기 사용자 입력에 응답하여 눌러질 수 있다. 일부 실시예들에서, 기계적 입력 요소의 회전 입력은 디스플레이 생성 컴포넌트를 통해 전자 디바이스에 의해 현재 디스플레이된 사용자 인터페이스(들)의 현재 몰입 레벨을 변경하기 위한 입력에 대응한다. 일부 실시예들에서, 회전의 방향(예를 들어, 시계 방향 또는 반시계 방향)은 입력이 디스플레이된 사용자 인터페이스(들)의 몰입 레벨을 증가(예를 들어, 시계 방향) 또는 감소(예를 들어, 반시계 방향)시키기 위한 요청인지 여부를 정의한다. 일부 실시예들에서, 회전의 크기는 디스플레이된 사용자 인터페이스(들)의 몰입 레벨이 변경되는 양을 정의한다. 디스플레이된 사용자 인터페이스(들)의 몰입 레벨을 변경하는 전술한 방식은 디스플레이된 사용자 인터페이스(들)의 몰입 레벨을 변경하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 몰입 레벨을 변경하기 위한 사용자 인터페이스 요소들을 디스플레이할 필요성을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 회전가능한 요소의 회전을 검출하는 동안(1024), 현재 디스플레이된 사용자 인터페이스의 현재 몰입 레벨이 최소 몰입 레벨이라는 결정에 따라, 전자 디바이스는, 촉각적 출력 생성기(예를 들어, 회전가능한 입력 요소에 결합되고/되거나, 회전가능한 입력 요소가 선택적으로 결합되는 디바이스의 하우징에 결합되는 등임)를 통해, 도 9a 내지 도 9c를 참조하여 설명된 바와 같은, 제1 값을 갖는 개별 특성을 갖는 제1 촉각적 출력을 생성한다(1026)(예를 들어, 회전 입력 요소에서 검출된 회전 입력에 응답하여 디스플레이된 사용자 인터페이스(들)가 최소 몰입 레벨(예를 들어, 몰입 없음)에 도달했다면, 전자 디바이스는 선택적으로, 디스플레이된 사용자 인터페이스(들)에 대한 이용가능한 몰입 레벨들의 범위 중 최소값에 도달했음을 나타내기 위해 회전 입력 요소에서 제1 유형의 촉각적 출력(예를 들어, 큰 촉각적 출력)을 생성한다). 제1 유형의 촉각적 출력은 선택적으로 제1 크기, 제1 텍스처, 제1 주파수 등을 갖는다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 하우징에서(예를 들어, 회전가능한 입력 요소에서/에 직접이 아닌) 촉각적 출력을 생성한다.
일부 실시예들에서, 현재 디스플레이된 사용자 인터페이스의 현재 몰입 레벨이 최대 몰입 레벨이라는 결정에 따라, 전자 디바이스는, 촉각적 출력 생성기를 통해, 도 9a 내지 도 9c를 참조하여 설명된 바와 같은, 제1 값을 갖는 개별 특성을 갖는 제2 촉각적 출력을 생성한다(1028)(예를 들어, 디스플레이된 사용자 인터페이스(들)가 회전 입력 요소에서 검출된 회전 입력에 응답하여 최대 몰입 레벨(예를 들어, 완전한 몰입)에 도달했다면, 전자 디바이스는 선택적으로, 디스플레이된 사용자 인터페이스(들)에 대한 이용가능한 몰입 레벨들의 범위 중 최대값에 도달했음을 나타내기 위해 회전 입력 요소에서 제1 유형의 촉각적 출력(예를 들어, 큰 촉각적 출력)을 생성한다). 제1 유형의 촉각적 출력은 선택적으로 제1 크기, 제1 텍스처, 제1 주파수 등을 갖는다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 하우징에서(예를 들어, 회전가능한 입력 요소에서/에 직접이 아닌) 촉각적 출력을 생성한다.
일부 실시예들에서, 현재 디스플레이된 사용자 인터페이스의 현재 몰입 레벨이 중간 몰입 레벨이라는 결정에 따라, 전자 디바이스는, 촉각적 출력 생성기를 통해, 도 9a 내지 도 9c를 참조하여 설명된 바와 같이, 제1 값과 상이한 제2 값을 갖는 개별 특성을 갖는 제3 촉각적 출력을 생성한다(1030). 예를 들어, 회전 입력 요소에서 검출된 회전 입력에 응답하여 디스플레이된 사용자 인터페이스(가)가 미리 정의된 중간 몰입 레벨들에 도달했다면(예를 들어, 하나의 몰입 단계로부터 다음 몰입 단계로 이동했다면), 전자 디바이스는 선택적으로, 디스플레이된 사용자 인터페이스(들)에 대한 이용가능한 몰입 레벨들의 범위 중 미리 정의된 레벨에 도달했음을 나타내기 위해 회전 입력 요소에서 제2 유형의 촉각적 출력(예를 들어, 작은 촉각적 출력)을 생성한다. 제2 유형의 촉각적 출력은 선택적으로 제2 크기, 제2 텍스처, 제2 주파수 등을 갖는다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 하우징에서(예를 들어, 회전가능한 입력 요소에서/에 직접이 아닌) 촉각적 출력을 생성한다. 일부 실시예들에서, 상이한 애플리케이션들 및/또는 운영 체제는 그들 개별 사용자 인터페이스들에 대해 상이한 최소, 최대 및/또는 미리 정의된 중간 몰입 레벨들을 갖고; 따라서, 일부 실시예들에서, 전술한 촉각적 출력들은 선택적으로, 어떤 사용자 인터페이스가 현재 조정되고 있는지에 따라 상이한 몰입 레벨들에서 생성된다. 일부 실시예들에서, 전자 디바이스는 다수의 몰입 단계들(예를 들어, 2개 내지 1000개의 몰입 단계들)에서(예를 들어, 그 중 하나에서) 사용자 인터페이스(들)를 디스플레이할 수 있다. 일부 실시예들에서, 몰입 단계들은 더 많은 몰입을 향해 단조적으로 진행된다(예를 들어, 몰입 없음으로부터 최대 몰입까지). 본 명세서에 설명된 바와 같이, 전자 디바이스가 하나의 몰입 단계로부터 다음 몰입 단계로 이동함에 따라, 전자 디바이스는 선택적으로 디스플레이된 사용자 인터페이스(들)의 하나 이상의 부분들의 디스플레이 특성들을 변경한다. 예를 들어, 몰입이 증가함에 따라, 전자 디바이스는, 사용자 인터페이스에 디스플레이되는 물리적 환경의 양을 감소시키는 것, 사용자 인터페이스에 디스플레이되는 물리적 환경의 밝기 또는 채도를 블러링 및/또는 감소시키는 것, 하나 이상의 가상 객체들에 의해 점유되는 디스플레이 생성 컴포넌트의 시야의 양을 증가시키는 것, 하나 이상의 가상 객체들의 밝기 또는 채도를 블러링해제 및/또는 증가시키는 것, 또는 방법들(1000, 1200, 1400 또는 1600)을 참조하여 본 명세서에 기술된 임의의 다른 효과 중 임의의 것 중 하나 이상을 수행한다. 일부 실시예들에서, 전자 디바이스는 선택적으로, 하나의 몰입 단계로부터 이전 몰입 단계로 감소하는 순서로 진행함에 따라 반대 변화들을 수행한다. 일부 실시예들에서, 상이한 몰입 단계들은 전자 디바이스가 디스플레이하는 것의 특성들의 상이한 변화들을 야기한다. 예를 들어, 한 세트의 몰입 단계들(예를 들어, 더 낮은 몰입 레벨 단계들)에서, 전자 디바이스는 먼저, 그것이 제1 세트의 몰입 단계들을 진행함에 따라, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경의 부분들의 블러링 또는 모호화를 증가시키는 단계들을 진행하고; 후속하는 제2 세트의 몰입 단계들에서, 전자 디바이스는 선택적으로, 그것이 제2 세트의 몰입 단계들을 진행함에 따라, 디스플레이 생성 컴포넌트를 통해 디스플레이된 물리적 환경의 (예를 들어, 블러링된) 부분들을 어둡게 하는 단계들을 진행하고; 후속하는 제3 세트의 몰입 단계들에서, 전자 디바이스는 선택적으로, 그것이 제3 세트의 몰입 단계들을 진행함에 따라, 디스플레이 생성 컴포넌트를 통해 디스플레이된 물리적 환경의 (예를 들어, 블러링된 및/또는 어둡게 된) 부분들을 가상 객체들로 대체하는 단계들을 진행한다. 일부 실시예들에서, 전자 디바이스는 선택적으로, 그것이 몰입 단계들의 세트들을 감소하는 순서로 진행함에 따라, 반대 변화들을 수행한다. 촉각적 출력들을 생성하는 전술한 방식은 디스플레이된 사용자 인터페이스(들)의 현재 몰입 레벨을 표시하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 몰입 레벨을 표시하기 위한 사용자 인터페이스 요소들을 디스플레이할 필요성을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 사용자 입력은 제1 부분 및 제2 부분(예를 들어, 360도의 총 시계 방향 회전 중, 180도의 제1 시계 방향 회전에 이어서, 180도의 제2 시계 방향 회전)을 포함한다(1032). 일부 실시예들에서, 제2 사용자 입력을 수신하는 동안(1034), 제2 사용자 입력의 제1 부분을 수신하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 9a 내지 도 9c를 참조하여 설명된 바와 같이, 제2 몰입 레벨과 제3 몰입 레벨 사이에 있는 제4 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이한다(1036)(예를 들어, 회전가능한 입력 요소가 회전함에 따라 그리고/또는 제2 사용자 입력의 제1 부분에서의 회전가능한 입력 요소의 회전의 양에 비례하여 몰입 레벨을 증가시킴). 일부 실시예들에서, 제2 사용자 입력의 제2 부분을 수신하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 9a 내지 도 9c를 참조하여 설명된 바와 같이, 제3 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이한다(1038)(예를 들어, 회전가능한 입력 요소가 회전함에 따라 그리고/또는 제2 사용자 입력의 제1 부분에서의 회전가능한 입력 요소의 회전의 양에 비례하여 몰입 레벨을 추가로 증가시킴). 따라서, 일부 실시예들에서, 전자 디바이스는 회전가능한 입력 요소가 회전됨에 따라 그리고/또는 회전가능한 입력 요소의 회전에 비례하여 그리고/또는 이에 따라(예를 들어, 사용자 입력의 크기 및/또는 방향에 기초하여) 디스플레이 사용자 인터페이스(들)의 몰입 레벨을 점진적으로 변경한다. 몰입 레벨을 변경하는 전술한 방식은 몰입 레벨을 변경하면서 사용자에게 실시간 피드백을 제공하며, 이는 (예를 들어, 부정확한 몰입 레벨로의 전이를 방지함으로써 - 이는 몰입 레벨의 변화의 일부 또는 전부를 반전시키기 위한 추가 사용자 입력에 대한 필요성을 방지함 -) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 전자 디바이스와 연관된 현재 몰입 레벨을 변경하라는 요청에 대응하는 제2 사용자 입력을 수신하는 것은, 제2 개별 사용자 인터페이스가 제1 애플리케이션의 사용자 인터페이스라는 결정에 따라, 제2 개별 사용자 인터페이스와 함께 디스플레이된 제1 개별 제어부와의 상호작용을 검출하는 것(1042), 및 제2 개별 사용자 인터페이스가 제1 애플리케이션과 상이한 제2 애플리케이션의 사용자 인터페이스라는 결정에 따라, 제2 사용자 인터페이스와 함께 디스플레이된, 제1 개별 제어부와 상이한, 제2 개별 제어부와의 상호작용을 검출하는 것(1044)을 포함하며(1040), 이는 도 9a 내지 도 9c를 참조하여 설명된 바와 같다. 예를 들어, 일부 실시예들에서, 상이한 애플리케이션들은 애플리케이션들의 사용자 인터페이스들의 몰입 레벨을 변경하기 위한 상이한 제어부들을 디스플레이하고/하거나 갖는다. 예를 들어, 제1 애플리케이션의 사용자 인터페이스는 선택적으로, 5개 몰입 단계들의 스텝들에 의해 사용자 인터페이스의 몰입 레벨을 변경하기 위한 제어부들(예를 들어, 몰입 단계들을 0부터 100까지 5씩 증분하여 스탭 업/다운하기 위한 업/다운 제어부들)을 갖는다. 제2 애플리케이션의 사용자 인터페이스는 선택적으로, 1개 몰입 단계들의 스텝들에 의해 사용자 인터페이스의 몰입 레벨을 변경하기 위한 제어부들(예를 들어, 디스플레이된 다이얼의 회전에 따라 0부터 100까지 1 단계씩 몰입 단계들을 스텝 업/다운하기 위한 사용자 입력에 응답하여 회전가능한 디스플레이된 다이얼)를 갖는다. 일부 실시예들에서, 일부 애플리케이션들 및/또는 사용자 인터페이스들은 몰입 레벨을 변경하기 위한 제어부들을 디스플레이하고(예를 들어, 따라서 몰입 레벨은 디스플레이된 제어부들과의 상호작용을 통해 변경될 수 있고 선택적으로 회전가능한 입력 요소의 회전을 통해 변경될 수 없거나 선택적으로 또한 회전가능한 입력 요소의 회전을 통해 변경될 수 있음), 일부 애플리케이션들 및/또는 사용자 인터페이스들은 몰입 레벨을 변경하기 위한 제어부들을 디스플레이하지 않는다(예를 들어, 몰입 레벨은 회전가능한 입력 요소의 회전을 통해서만 변경될 수 있음). 예를 들어, 일부 실시예들에서, 운영 체제 사용자 인터페이스의 몰입 레벨은 선택적으로 회전가능한 입력 요소의 회전을 통해(예를 들어, 디스플레이된 사용자 인터페이스 제어부들을 통해서는 아님) 변경가능한 반면, 전자 디바이스 상에서 실행되는 애플리케이션의 몰입 레벨은 선택적으로 회전가능한 입력 요소의 회전을 통해 그리고/또는 디스플레이된 사용자 인터페이스 제어부들을 통해 변경가능하다. 애플리케이션-기반 몰입을 갖는 전술한 방식은 디스플레이된 애플리케이션 및/또는 사용자 인터페이스에 잘-매칭되는 몰입을 변경하기 위한 수단을 제공하며, 이는 (예컨대, 사용자 인터페이스에 잘-매칭되지 않는 사용자 인터페이스에 대한 몰입 레벨을 변경하기 위한 입력들을 방지함으로써 - 이는 그러한 입력을 수정하는 추가 사용자 입력에 대한 필요성을 피함 -) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 도 9a 및 도 9b에 도시된 바와 같이, 제2 몰입 레벨에서, 전자 디바이스의 물리적 환경의 제1 양은, 디스플레이 생성 컴포넌트를 통해, 전자 디바이스에 의해 디스플레이된 개별 사용자 인터페이스로 대체되고(1046), 도 9b 및 도 9c에 도시된 바와 같이, 제3 몰입 레벨에서, 전자 디바이스의 물리적 환경의, 제1 양과 상이한 제2 양은, 디스플레이 생성 컴포넌트를 통해, 전자 디바이스에 의해 디스플레이된 개별 사용자 인터페이스로 대체된다(1048). 예를 들어, 일부 실시예들에서, 전자 디바이스는, 방법들(1200, 1400, 1600)을 참조하여 설명된 바와 같이, 전자 디바이스의 물리적 환경의 표현(들)(예를 들어, 물리적 환경 내의 객체들, 물리적 환경 내의 표면들 등)을 디스플레이하는 것에 추가하여 콘텐츠/사용자 인터페이스(들)를 디스플레이하고 있다. 일부 실시예들에서, 물리적 환경의 표현(들)은, 전술한 바와 같이, 디스플레이 생성 컴포넌트를 통해 패스-스루된다. 일부 실시예들에서, 더 낮은 몰입 레벨들에서, 전자 디바이스가 디스플레이 생성 컴포넌트를 통해 콘텐츠/사용자 인터페이스(들)를 디스플레이하는 동안, 물리적 환경의 더 많은 표현(들)이 디스플레이 생성 컴포넌트를 통해 패스 스루된다. 일부 실시예들에서, 더 높은 몰입 레벨들에서, 전자 디바이스가 디스플레이 생성 컴포넌트를 통해 콘텐츠/사용자 인터페이스(들)를 디스플레이하는 동안, 물리적 환경의 더 적은 표현(들)이 디스플레이 생성 컴포넌트를 통해 패스 스루된다. 예를 들어, 제1 몰입 레벨에서, 전자 디바이스는 선택적으로 디스플레이 생성 컴포넌트를 통해 물리적 환경의 표현(들)(예를 들어, 물리적 객체들의 표현들)의 80%를 패스 스루하는 반면, 제2의 더 높은 몰입 레벨에서, 전자 디바이스는 선택적으로 디스플레이 생성 컴포넌트를 통해 물리적 환경의 표현(들)(예를 들어, 물리적 객체들의 표현들)의 50%를 패스 스루한다. 일부 실시예들에서, 더 낮은 및 더 높은 몰입 레벨들은 선택적으로, 각각 물리적 환경의 더 많은 또는 더 적은 표현(들)이 디스플레이 생성 컴포넌트를 통해 패스 스루되게 한다. 일부 실시예들에서, 더 높은 몰입 레벨들에서, 물리적 환경의 더 많은 표현(들)이 전자 디바이스에 의해 디스플레이된 콘텐츠/사용자 인터페이스(들)로 대체되고(예를 들어, 콘텐츠/사용자 인터페이스(들)가 디스플레이 생성 컴포넌트의 디스플레이 영역의 더 큰 부분을 점유하기 때문에), 더 낮은 몰입 레벨들에서, 물리적 환경의 더 적은 표현(들)이 전자 디바이스에 의해 디스플레이된 콘텐츠/사용자 인터페이스(들)로 대체된다(예를 들어, 콘텐츠/사용자 인터페이스(들)가 디스플레이 생성 컴포넌트의 디스플레이 영역의 더 작은 부분을 점유하기 때문에). (예를 들어, 전자 디바이스에 의해 대체되는) 패스 스루 콘텐츠의 양을 변화시키는 전술한 방식은, 몰입 레벨이 증가됨에 따라 전자 디바이스에 의해 디스플레이된 사용자 인터페이스(들)와의 물리적 환경의 간섭을 감소시키며, 이는 (예컨대, 더 높은 몰입 레벨들에서 물리적 환경의 패스 스루에 의해 야기된 산만함을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 도 9a 및 도 9b에 도시된 바와 같이, 제2 몰입 레벨에서, 전자 디바이스의 물리적 환경의 제1 양은, 디스플레이 생성 컴포넌트를 통해, 전자 디바이스에 의해 강조약화되고(1050), 도 9b 및 도 9c에 도시된 바와 같이, 제3 몰입 레벨에서, 전자 디바이스의 물리적 환경의, 제1 양과 상이한 제2 양은, 디스플레이 생성 컴포넌트를 통해, 전자 디바이스에 의해 강조약화된다(1052). 예를 들어, 일부 실시예들에서, 전자 디바이스는, 방법들(1200, 1400, 1600)을 참조하여 설명된 바와 같이, 전자 디바이스의 물리적 환경의 표현(들)(예를 들어, 물리적 환경 내의 객체들, 물리적 환경 내의 표면들 등)을 디스플레이하는 것에 추가하여 콘텐츠/사용자 인터페이스(들)를 디스플레이하고 있다. 일부 실시예들에서, 물리적 환경의 표현(들)은, 전술한 바와 같이, 디스플레이 생성 컴포넌트를 통해 패스-스루된다. 일부 실시예들에서, 더 낮은 몰입 레벨들에서, 전자 디바이스가 디스플레이 생성 컴포넌트를 통해 콘텐츠/사용자 인터페이스(들)를 디스플레이하는 동안, 물리적 환경의 표현(들)은 디스플레이 생성 컴포넌트를 통해 제1 강조 레벨에서(예를 들어, 색상에 있어서, 밝은, 블러링되지 않은 등) 디스플레이된다. 일부 실시예들에서, 더 높은 몰입 레벨들에서, 전자 디바이스가 디스플레이 생성 컴포넌트를 통해 콘텐츠/사용자 인터페이스(들)를 디스플레이하는 동안, 물리적 환경의 표현(들)은 디스플레이 생성 컴포넌트를 통해 제1 강조 레벨보다 낮은 제2 강조 레벨에서(예를 들어, 채도가 더 낮은 색상들 또는 그레이스케일로, 덜 밝은, 더 블러링된 등) 디스플레이된다. 예를 들어, 제1 몰입 레벨에서, 전자 디바이스는 선택적으로 디스플레이 생성 컴포넌트를 통해 물리적 환경의 표현(들)(예를 들어, 물리적 객체들의 표현들)의 색상, 밝기 등의 80%를 패스 스루하는 반면, 제2의 더 높은 몰입 레벨에서, 전자 디바이스는 선택적으로 디스플레이 생성 컴포넌트를 통해 물리적 환경의 표현(들)(예를 들어, 물리적 객체들의 표현들)의 색상, 밝기 등의 50%를 패스 스루한다. 일부 실시예들에서, 더 낮은 및 더 높은 몰입 레벨들은 선택적으로, 디스플레이 생성 컴포넌트를 통해 패스 스루된 물리적 환경의 표현(들)의 더 작은 또는 더 많은 강조약화를 각각 야기한다. 패스-스루 콘텐츠의 강조를 변화시키는 전술한 방식은, 몰입 레벨이 증가됨에 따라 전자 디바이스에 의해 디스플레이된 사용자 인터페이스(들)와의 물리적 환경의 간섭을 감소시키며, 이는 (예컨대, 더 높은 몰입 레벨들에서 물리적 환경의 패스 스루에 의해 야기된 산만함을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 몰입 레벨에서, 디스플레이 생성 컴포넌트의 디스플레이 영역의 제1 양이 전자 디바이스에 의해 디스플레이된 개별 사용자 인터페이스에 의해 점유되고(1054), 제3 몰입 레벨에서, 디스플레이 생성 컴포넌트의 디스플레이 영역의, 제1 영역과 상이한, 제2 영역이 전자 디바이스에 의해 디스플레이된 개별 사용자 인터페이스에 의해 점유되며(1056), 이는 도 9a 및 도 9b로부터 도시된 사용자 인터페이스(912)의 영역과 같다. 일부 실시예들에서, 몰입 없음에서, 전자 디바이스에 의해 디스플레이된 콘텐츠/사용자 인터페이스(들)는 디스플레이 생성 컴포넌트의 디스플레이 공간의 어떠한 부분도 점유하지 않고, 선택적으로 디스플레이 생성 컴포넌트의 전체 디스플레이 공간은 전자 디바이스의 물리적 환경의 표현(들)(예를 들어, 물리적 환경 내의 객체들, 물리적 환경 내의 표면들 등)에 의해 점유되며, 이는 방법들(1200, 1400, 1600)을 참조하여 설명된 바와 같다. 일부 실시예들에서, 물리적 환경의 표현(들)은, 전술한 바와 같이, 디스플레이 생성 컴포넌트를 통해 패스-스루된다. 일부 실시예들에서, 완전한 몰입에서, 전자 디바이스에 의해 디스플레이된 콘텐츠/사용자 인터페이스(들)는 디스플레이 생성 컴포넌트의 디스플레이 공간의 전체를 점유하고, 선택적으로 디스플레이 생성 컴포넌트의 디스플레이 공간의 아무것도 전자 디바이스의 물리적 환경의 표현(들)(예를 들어, 물리적 환경 내의 객체들, 물리적 환경 내의 표면들 등)에 의해 점유되지 않으며, 이는 방법들(1200, 1400, 1600)을 참조하여 설명된 바와 같다. 일부 실시예들에서, 몰입 레벨이 몰입 없음/낮은 몰입으로부터 완전한/높은 몰입으로 증가함에 따라, 디스플레이 생성 컴포넌트의 디스플레이 공간의 점점 더 많은 부분이 전자 디바이스에 의해 디스플레이된 콘텐츠/사용자 인터페이스(들)에 의해 점유되고, 디스플레이 생성 컴포넌트의 디스플레이 공간의 점점 더 작은 부분이 전자 디바이스의 물리적 환경의 표현(들)에 의해 점유되며, 그 반대도 마찬가지이다. 전자 디바이스에 의해 디스플레이된 콘텐츠 및 전자 디바이스의 물리적 환경의 표현(들)에 의해 점유된 디스플레이 공간의 양을 변화시키는 전술한 방식은, 몰입 레벨이 증가됨에 따라 전자 디바이스에 의해 디스플레이된 사용자 인터페이스(들)와의 물리적 환경의 간섭을 감소시키며, 이는 (예컨대, 더 높은 몰입 레벨들에서 물리적 환경의 패스 스루에 의해 야기된 산만함을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 객체들(908, 910) 상의 도 9a로부터 도 9b로의 전이에서 보여지는 바와 같이, 제2 개별 사용자 인터페이스를 제2 몰입 레벨에서 디스플레이되는 것으로부터 제3 몰입 레벨에서 디스플레이되는 것으로 변경하는 것은, 디스플레이 생성 컴포넌트를 통해 디스플레이되는 대기 효과(atmospheric effects)를 변경하는 것을 포함한다(1058). 예를 들어, 일부 실시예들에서, 전자 디바이스는, 방법들(1200, 1400, 1600)을 참조하여 설명된 바와 같이, 전자 디바이스의 물리적 환경의 표현(들)(예를 들어, 물리적 환경 내의 객체들, 물리적 환경 내의 표면들 등)을 디스플레이한다. 일부 실시예들에서, 물리적 환경의 표현(들)은, 전술한 바와 같이, 디스플레이 생성 컴포넌트를 통해 패스-스루된다. 일부 실시예들에서, 전자 디바이스는 전자 디바이스에 의해 생성된 대기 효과에 대응하는 하나 이상의 시각적 효과로 그러한 표현들을 디스플레이하기 위해 디바이스의 물리적 환경의 그러한 표현(들)의 디스플레이를 수정한다. 예를 들어, 일부 실시예들에서, 대기 효과는 낮 동안의 황혼의 조명/소리 등의 시뮬레이트된 효과이다. 일부 실시예들에서, 낮은 몰입/몰입 없음에서, 물리적 환경의 표현(들)은 마치 대낮에 디스플레이되는 것처럼(예를 들어, 전자 디바이스가 예컨대 바깥에 있는 동안 맑은 날 정오에 그러한 경우) 디스플레이 생성 컴포넌트를 통해 디스플레이된다. 일부 실시예들에서, 몰입 레벨이 증가될 때, 전자 디바이스는 디스플레이 생성 컴포넌트를 통해 디스플레이된 햇빛의 밝기를 감소시키기 위해 물리적 환경의 표현(들)의 디스플레이를 수정하며, 이는, 하루 중 현재 시간이 정오가 아닌 황혼이었을 경우의 물리적 환경의 외관/대기를 모방하기 위해 잠재적으로 태양 또는 햇빛이 입사되는 물리적 객체들을 포함하는 다양한 객체들이 디스플레이 생성 컴포넌트를 통해 디스플레이되는 밝기를 감소시키는 것을 포함한다. 일부 실시예들에서, 이러한 대기 효과를 변경하는 것은, 상이한 가상 광원(예를 들어, 달, 또는 해가 지는 바로 그때 또는 태양이 진 직후에 광을 방출하게 될 때의 태양)을 3차원 환경에 추가하는 것, 및 그 새로운 광원에 의해 조명된다면 갖게 될 외관으로 물리적 환경의 표현(들)을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 최대 몰입에서, 물리적 환경의 표현(들)의 정오-시간 조명/대기/외관 등은 물리적 환경의 표현(들)의 황혼-시간의 조명/대기/외관 등으로 완전히 대체된다. 물리적 환경이 디스플레이되는 대기 효과를 변화시키는 전술한 방식은 몰입 레벨이 증가됨에 따라 사용자가 가상 경험으로 끌어들여지는 레벨을 증가시키며, 이는 (예컨대, 더 높은 몰입 레벨들에서 물리적 환경에 의해 야기된 산만함을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 개별 사용자 인터페이스는 전자 디바이스에 의해 디스플레이된 개별 사용자 인터페이스 요소를 포함하고, 제2 개별 사용자 인터페이스를 제2 몰입 레벨에서 디스플레이되는 것으로부터 제3 몰입 레벨에서 디스플레이되는 것으로 변경하는 것은, 도 9a로부터 도 9b로의 전이에서 객체들(906, 908 및/또는 910)의 디스플레이 변화와 같이, 개별 사용자 인터페이스 요소의 디스플레이를 변경하는 것을 포함한다(1060). 전술한 바와 같이, 그리고 방법들(1200, 1400, 1600)을 참조하여 설명된 바와 같이, 일부 실시예들에서, 전자 디바이스는 디스플레이 생성 컴포넌트를 통해 하나 이상의 가상 객체들을 디스플레이한다. 일부 실시예들에서, 가상 객체(들)는, 예를 들어, 애플리케이션의 사용자 인터페이스/콘텐츠이다. 일부 실시예들에서, 가상 객체는 전자 디바이스의 물리적 환경 내의 물리적 객체의 표현에 대한 소정 관계를 가지면서 디스플레이되는 가상 객체(예를 들어, 물리적 테이블의 표현 상에 디스플레이된 가상 꽃병)이다. 일부 실시예들에서, 가상 객체는 물리적 객체의 표현에 대한 관계 없이 디스플레이되는 가상 객체(예를 들어, 스펙에서 사용자에 의해 그려진 가상 그림)이다. 일부 실시예들에서, 몰입 레벨을 변경하는 것은 선택적으로 전자 디바이스가 디스플레이 생성 컴포넌트를 통해 그러한 가상 객체들의 디스플레이를 변경하게 한다. 예를 들어, 일부 실시예들에서, 몰입 레벨을 증가시키는 것은 선택적으로 가상 객체(들)가 확대되고(예를 들어, 디스플레이 생성 컴포넌트를 통해 더 많은 디스플레이 공간으로 디스플레이됨), 더 강조되어 디스플레이되고(예를 들어, 상이한 색상들, 상이한 음영, 상이한(예를 들어, 더 많은) 조명, 더 많은 밝기, 더 많은 선명도, 더 작은 반투명도 등), 사용자의 시점에 더 가깝게 디스플레이되는 등이 되게 한다. 일부 실시예들에서, 몰입 레벨을 감소시키는 것은 선택적으로 가상 객체(들)가 크기가 감소되고(예를 들어, 디스플레이 생성 컴포넌트를 통해 더 작은 디스플레이 공간으로 디스플레이됨), 덜 강조되어 디스플레이되고(예를 들어, 상이한 색상들, 상이한 음영, 상이한(예를 들어, 더 작은) 조명, 더 작은 밝기, 더 작은 선명도, 더 많은 반투명도 등), 사용자의 시점으로부터 더 멀리 디스플레이되는 등이 되게 한다. 가상 객체들의 디스플레이를 변화시키는 전술한 방식은 몰입 레벨이 증가됨에 따라 가상 객체들과의 사용자의 관여를 증가시키며, 이는 (예컨대, 더 높은 몰입 레벨들에서 물리적 객체들과 같은 다른 객체들에 의해 야기된 산만함을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 개별 사용자 인터페이스를 제2 몰입 레벨에서 디스플레이되는 것으로부터 제3 몰입 레벨에서 디스플레이되는 것으로 변경하는 것은, 전자 디바이스에 의해 생성된 오디오 효과를 변경하는 것을 포함한다(1062). 일부 실시예들에서, 전자 디바이스는 콘텐츠/사용자 인터페이스(들)를 디스플레이하면서 전자 디바이스와 통신하는 하나 이상의 스피커들 또는 오디오 출력 디바이스들(예를 들어, 헤드폰)을 통해 재생을 위한 오디오를 생성한다(예를 들어, 대기 소리 효과, 가상 객체들(예를 들어, 애플리케이션의 콘텐츠)에 대응하는(예를 들어, 그로부터 방출되는 것으로서 생성되는) 소리들, 전자 디바이스의 물리적 환경 내의 물리적 객체들에 대응하는(예를 들어, 그로부터 방출되는 것으로서 생성되는) 소리들 등). 일부 실시예들에서, 몰입 레벨을 변경하는 것은 선택적으로 전자 디바이스에 의해 생성된 오디오를 변경한다. 예를 들어, 일부 실시예들에서, 몰입 레벨을 증가시키는 것은 선택적으로 물리적 객체들에 대응하는 소리들이 강조약화되게(예를 들어, 볼륨, 선명도, 확장성 등이 감소됨) 하고/하거나 가상 객체들에 대응되는 소리들이 강조되게 한다(예를 들어, 볼륨, 선명도, 확장성이 증가됨). 일부 실시예들에서, 몰입 레벨을 증가시키는 것은 선택적으로 대기 소리 효과(예를 들어, 전술한 대기 효과에 대응하는 소리들)가 강조되게(예를 들어, 볼륨, 선명도, 확장성이 증가됨) 하고/하거나 물리적 객체들에 대응하는 소리들이 강조약화되게 한다(예를 들어, 볼륨, 선명도, 확장성 등이 감소됨). 일부 실시예들에서, 높은(예를 들어, 최대) 몰입에서, 물리적 객체들에 대응하는 소리들은 생성되지 않거나 낮은 레벨(예를 들어, 최소 레벨)로 감소되고, 가상 객체들에 대응하는 소리들은 높은 레벨(예를 들어, 최대 레벨)로 증가되고; 일부 실시예들에서, 낮은(예를 들어, 최소) 몰입에서, 물리적 객체들에 대응하는 소리들은 높은 레벨(예를 들어, 최대 레벨)로 증가되고, 가상 객체들에 대응하는 소리들은 생성되지 않거나 낮은 레벨(예를 들어, 최소 레벨)로 감소된다. 몰입에 기초하여 오디오 효과를 변화시키는 전술한 방식은, 몰입 레벨이 증가됨에 따라 전자 디바이스에 의해 디스플레이된 사용자 인터페이스(들)와의 물리적 환경의 간섭을 감소시키며, 이는 (예컨대, 더 높은 몰입 레벨들에서 물리적 환경에 대응하는 오디오에 의해 야기된 산만함을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이하는 것은, 디스플레이 생성 컴포넌트의 디스플레이 영역의 제1 부분에 제1 애플리케이션의 콘텐츠를, 그리고 디스플레이 생성 컴포넌트의 디스플레이 영역의 제2 부분에 전자 디바이스의 물리적 환경의 제1 개별 부분의 하나 이상의 표현들을 동시에 디스플레이하는 것을 포함하며(1064), 이는 도 9c의 사용자 인터페이스(934)를 참조하여 설명되고 도 9a 및 도 9b의 사용자 인터페이스(912)와 관련하여 도시된 바와 같다(예를 들어, 일부 실시예들에서, 전자 디바이스는, 방법들(1200, 1400, 1600)을 참조하여 설명된 바와 같이, 전자 디바이스의 물리적 환경의 표현(들)(예를 들어, 물리적 환경 내의 객체들, 물리적 환경 내의 표면들 등)을 디스플레이하는 것에 추가하여 콘텐츠/사용자 인터페이스(들)를 디스플레이하고 있음). 일부 실시예들에서, 물리적 환경의 표현(들)은, 전술한 바와 같이, 디스플레이 생성 컴포넌트를 통해 패스-스루된다. 일부 실시예들에서, 더 낮은 몰입 레벨들에서, 콘텐츠/사용자 인터페이스(들)는 디스플레이 생성 컴포넌트의 시야를 덜 점유하고(예를 들어, 시야의 아무것도 또는 소수), 물리적 환경의 표현(들)은 디스플레이 생성 컴포넌트의 시야를 더 많이 점유한다(예를 들어, 시야의 전부 또는 대부분). 일부 실시예들에서, 제3 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이하는 것은, 디스플레이 생성 컴포넌트의 디스플레이 영역의 제1 부분보다 더 큰 제3 부분에 제1 애플리케이션의 콘텐츠를, 그리고 디스플레이 생성 컴포넌트의 디스플레이 영역의 제2 부분보다 작은 제4 부분에 전자 디바이스의 물리적 환경의 제1 개별 부분과 상이한 제2 개별 부분의 하나 이상의 표현들을 동시에 디스플레이하는 것을 포함하며(1066), 이는 도 9c의 사용자 인터페이스(934)를 참조하여 설명되고 도 9a 및 도 9b의 사용자 인터페이스(912)와 관련하여 도시된 바와 같다. 일부 실시예들에서, 몰입 레벨이 증가됨에 따라, 콘텐츠/사용자 인터페이스(들)는 디스플레이 생성 컴포넌트의 시야를 점점 더 많이 점유하고(예를 들어, 시야의 전부 또는 대부분), 물리적 환경의 표현(들)은 디스플레이 생성 컴포넌트의 시야를 덜 점유한다(예를 들어, 시야의 아무것도 또는 소수). 일부 실시예들에서, 물리적 환경의 표현(들)이 디스플레이되는 시각적 특성들(예를 들어, 밝기, 선명도, 색상 등)은, 선택적으로, 몰입 레벨이 변화함에 따라 변경되지 않으며, 오히려 물리적 환경의 이들 표현(들)에 의해 점유되는 디스플레이 공간의 양이 변화한다. 따라서, 일부 실시예들에서, 몰입 레벨을 변경하는 것은 전자 디바이스에 의해 디스플레이된 콘텐츠/사용자 인터페이스(들)에 의해 점유되는 디스플레이 생성 컴포넌트의 시야의 양을 변경한다. 전자 디바이스에 의해 디스플레이된 콘텐츠 및 전자 디바이스의 물리적 환경의 표현(들)에 의해 점유된 디스플레이 공간/시야의 양을 변화시키는 전술한 방식은, 몰입 레벨이 증가됨에 따라 전자 디바이스에 의해 디스플레이된 사용자 인터페이스(들)와의 물리적 환경의 간섭을 감소시키며, 이는 (예컨대, 더 높은 몰입 레벨들에서 물리적 환경의 패스 스루에 의해 야기된 산만함을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이하는 것은, 도 9a 내지 도 9c에 도시된 바와 같이, 제1 애플리케이션의 콘텐츠(예를 들어, 비디오의 재생, 사진의 디스플레이 등) 및 물리적 환경의 하나 이상의 표현들을 동시에 디스플레이하는 것을 포함하며(1068)(예를 들어, 일부 실시예들에서, 전자 디바이스는, 방법들(1200, 1400, 1600)을 참조하여 설명된 바와 같이, 전자 디바이스의 물리적 환경의 표현(들)(예를 들어, 물리적 환경 내의 객체들, 물리적 환경 내의 표면들 등)을 디스플레이하는 것에 추가하여 콘텐츠/사용자 인터페이스(들)를 디스플레이하고 있음. 일부 실시예들에서, 물리적 환경의 표현(들)은, 전술한 바와 같이, 디스플레이 생성 컴포넌트를 통해 패스-스루됨.). 일부 실시예들에서, 제3 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이하는 것은, 제2 몰입 레벨에서 디스플레이되는 물리적 환경의 하나 이상의 표현들에 대하여 강조약화되는 물리적 환경의 하나 이상의 표현들 및 제1 애플리케이션의 콘텐츠를 동시에 디스플레이하는 것을 포함하며(1070), 이는 도 9c의 사용자 인터페이스(934)를 참조하여 설명되고 도 9a 및 도 9b의 사용자 인터페이스(912)와 관련하여 도시된 바와 같다. 일부 실시예들에서, 더 낮은 몰입 레벨들에서, 전자 디바이스가 디스플레이 생성 컴포넌트를 통해 콘텐츠/사용자 인터페이스(들)를 디스플레이하는 동안, 물리적 환경의 표현(들)은 디스플레이 생성 컴포넌트를 통해 제1 강조 레벨에서(예를 들어, 색상에 있어서, 밝은, 블러링되지 않은 등) 디스플레이된다. 일부 실시예들에서, 몰입 레벨이 증가됨에 따라, 전자 디바이스가 디스플레이 생성 컴포넌트를 통해 콘텐츠/사용자 인터페이스(들)를 디스플레이하는 동안, 물리적 환경의 표현(들)은 디스플레이 생성 컴포넌트를 통해 제1 강조 레벨보다 낮은 제2 강조 레벨들에서(예를 들어, 채도가 더 낮은 색상들 또는 그레이스케일로, 덜 밝은, 더 블러링된 등) 디스플레이된다. 예를 들어, 제1 몰입 레벨에서, 전자 디바이스는 선택적으로 디스플레이 생성 컴포넌트를 통해 물리적 환경의 표현(들)(예를 들어, 물리적 객체들의 표현들)의 색상, 밝기 등의 80%를 패스 스루하는 반면, 제2의 더 높은 몰입 레벨에서, 전자 디바이스는 선택적으로 디스플레이 생성 컴포넌트를 통해 물리적 환경의 표현(들)(예를 들어, 물리적 객체들의 표현들)의 색상, 밝기 등의 50%를 패스 스루한다. 일부 실시예들에서, 더 낮은 및 더 높은 몰입 레벨들은 선택적으로, 디스플레이 생성 컴포넌트를 통해 패스 스루된 물리적 환경의 표현(들)의 더 작은 또는 더 많은 강조약화를 각각 야기한다. 일부 실시예들에서, 몰입 레벨을 증가시키는 것은 제1 애플리케이션의 콘텐츠의 증가된 강조를 야기하고, 몰입 레벨을 감소시키는 것은 제1 애플리케이션의 콘텐츠의 감소된 강조를 야기한다. 일부 실시예들에서, 몰입 레벨을 증가시키거나 감소시키는 것은 제1 애플리케이션의 콘텐츠가 각각 디스플레이 생성 컴포넌트의 디스플레이 공간의 더 크거나 더 작은 부분을 점유하게 하지 않는다(따라서 선택적으로 물리적 환경의 표현(들)이 각각 디스플레이 생성 컴포넌트의 디스플레이 공간의 더 크거나 더 작은 부분을 점유하게 하지 않는다). 일부 실시예들에서, 몰입 레벨을 증가시키거나 감소시키는 것은 제1 애플리케이션의 콘텐츠가 각각 디스플레이 생성 컴포넌트의 디스플레이 공간의 더 크거나 더 작은 부분을 점유하게 한다(따라서 선택적으로 물리적 환경의 표현(들)이 각각 디스플레이 생성 컴포넌트의 디스플레이 공간의 더 작거나 더 큰 부분을 점유하게 한다). 패스-스루 콘텐츠의 강조를 변화시키는 전술한 방식은, 몰입 레벨이 증가됨에 따라 전자 디바이스에 의해 디스플레이된 사용자 인터페이스(들)와의 물리적 환경의 간섭을 감소시키며, 이는 (예컨대, 더 높은 몰입 레벨들에서 물리적 환경의 패스 스루에 의해 야기된 산만함을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제3 몰입 레벨에서 제2 개별 사용자 인터페이스를 그리고 제1 몰입 레벨에서 제1 개별 사용자 인터페이스를 디스플레이한 후, 그리고 제1 개별 사용자 인터페이스의 몰입 레벨을 제1 몰입 레벨로부터 변경하라는 입력을 수신하지 않고, 그리고 제2 개별 사용자 인터페이스의 몰입 레벨을 제3 몰입 레벨로부터 변경하라는 입력을 수신하지 않고(1072)(예를 들어, 제2 개별 사용자 인터페이스가 디스플레이되었던 마지막 몰입 레벨은 제3 몰입 레벨이었고, 제1 개별 사용자 인터페이스가 디스플레이되었던 마지막 몰입 레벨은 제1 몰입 레벨이었고, 이들 몰입 레벨들에서 이들 사용자 인터페이스들을 디스플레이한 후 이들 몰입 레벨들을 변경하라는 입력이 수신되지 않았음), 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 개별 애플리케이션과 상이한 제2 개별 애플리케이션의 제3 개별 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제4 사용자 입력을 수신한다(1074)(예를 들어, 입력은, 제2 개별 사용자 인터페이스를 제3 몰입 레벨에서, 제1 개별 사용자 인터페이스를 제1 몰입 레벨에서, 또는 상이한 사용자 인터페이스를 상이한 몰입 레벨에서 디스플레이하는 동안에 수신됨). 일부 실시예들에서, 제4 사용자 입력은 애플리케이션 브라우징 사용자 인터페이스에서 제2 개별 애플리케이션에 대한 애플리케이션 아이콘의 선택을 검출하는 것을 포함한다. 일부 실시예들에서, 제2 사용자 입력은 제2 개별 애플리케이션에 대한 어떠한 아이콘도 선택하지 않고 제2 개별 애플리케이션을 디스플레이하기 위한 음성 입력이다.
일부 실시예들에서, 제4 사용자 입력을 수신하는 것에 응답하여(1076), 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제3 개별 사용자 인터페이스를 제4 몰입 레벨에서 디스플레이한다(예를 들어, 일부 실시예들에서, 제3 개별 사용자 인터페이스는 제4 사용자 입력이 수신되었을 때 디스플레이되었던 사용자 인터페이스 상에 오버레이되어 디스플레이되며, 이들 둘 모두는 선택적으로 배경 위에 그리고/또는 3차원 환경 내에서 계속 디스플레이됨). 일부 실시예들에서, 제3 개별 사용자 인터페이스를 디스플레이하는 것은 제4 사용자 입력이 수신되었을 때 디스플레이되었던 사용자 인터페이스의 디스플레이를 중단하는 것을 포함한다. 일부 실시예들에서, 제4 몰입 레벨은 운영 체제 사용자 인터페이스 및/또는 개별 애플리케이션의 사용자 인터페이스의 몰입 레벨과 독립적이다. 따라서, 일부 실시예들에서, 운영 체제 사용자 인터페이스들 및/또는 애플리케이션들의 몰입 레벨은 다른 애플리케이션 사용자 인터페이스들의 몰입 레벨에 영향을 미치지 않는다(예를 들어, 각각의 애플리케이션은 그 자신의 독립적인 몰입 레벨을 가짐). 일부 실시예들에서, 제3 개별 사용자 인터페이스가 디스플레이되는 제4 몰입 레벨은 (제3 개별 사용자 인터페이스의 현재 디스플레이 이전에) 제3 개별 사용자 인터페이스가 마지막으로 디스플레이되었던 몰입 레벨이다. 일부 실시예들에서, 운영 체제 사용자 인터페이스들의 몰입 레벨은 애플리케이션 사용자 인터페이스들의 몰입 레벨에 영향을 미친다(예를 들어, 시스템 사용자 인터페이스가 제1 몰입 레벨에서 설정되는 경우, 후속적으로 애플리케이션 사용자 인터페이스를 디스플레이하는 것은, 애플리케이션 사용자 인터페이스가 상이한 몰입 레벨에서 마지막으로 디스플레이되었을지라도, 그 동일한 제1 몰입 레벨에서 애플리케이션 사용자 인터페이스를 디스플레이하는 것을 포함함).
일부 실시예들에서, 제4 몰입 레벨에서 제3 개별 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 입력 요소(920)에서의 입력과 같은, 전자 디바이스와 연관된 현재 몰입 레벨을 변경하라는 요청에 대응하는 제5 사용자 입력(예를 들어, 음성 입력, 손 제스처, 디스플레이된 사용자 인터페이스 요소의 선택, 및/또는 현재-디스플레이된 사용자 인터페이스의 몰입 레벨을 증가시키거나 감소시키라는 요청에 대응하는 전자 디바이스에 포함된 기계적 입력 요소에서의 입력(예를 들어, 회전 입력)의 검출)을 수신한다(1078). 일부 실시예들에서, 제5 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제4 몰입 레벨과 상이한 제5 몰입 레벨에서 제3 개별 사용자 인터페이스를 디스플레이한다(1080)(예를 들어, 제5 사용자 입력에 따라 제3 개별 사용자 인터페이스의 몰입 레벨을 증가 또는 감소시킴). 일부 실시예들에서, 제5 사용자 입력을 수신한 후(1082), 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 제1 개별 사용자 인터페이스를 디스플레이하라는 요청(예를 들어, 제3 개별 사용자 인터페이스의 몰입 레벨을 변경하라는 입력을 수신한 후 제1 개별 사용자 인터페이스를 재디스플레이하라는 요청)에 대응하는 제6 사용자 입력을 수신한다(1084). 일부 실시예들에서, 제6 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 9a에 도시된 몰입 레벨과 같은 제1 몰입 레벨에서 제1 개별 사용자 인터페이스를 디스플레이한다(1086)(예를 들어, 제1 개별 사용자 인터페이스가 마지막으로 디스플레이되었던 몰입 레벨에서 제1 개별 사용자 인터페이스를 디스플레이함). 일부 실시예들에서, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 제2 개별 사용자 인터페이스를 디스플레이하라는 요청(예를 들어, 제3 개별 사용자 인터페이스의 몰입 레벨을 변경하라는 입력을 수신한 후 제2 개별 사용자 인터페이스를 재디스플레이하라는 요청)에 대응하는 제7 사용자 입력을 수신한다(1088). 일부 실시예들에서, 제7 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 9c에 도시된 몰입 레벨과 같은 제3 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이한다(1090)(예를 들어, 제2 개별 사용자 인터페이스가 마지막으로 디스플레이되었던 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이함). 따라서, 일부 실시예들에서, 제1 애플리케이션의 사용자 인터페이스의 몰입 레벨을 변경하는 것은 전자 디바이스의 다른 애플리케이션들 및/또는 운영 체제의 사용자 인터페이스들의 몰입 레벨들에 영향을 미치지 않는다. 상이한 애플리케이션들에 대해 독립적으로 몰입을 설정하는 전술한 방식은, 몰입 레벨들이 상이한 사용자 인터페이스들에 대해 독립적으로 정의되고/되거나 변경될 수 있는 유연한 아키텍처를 제공하며, 이는 (예를 들어, 현재 사용자 인터페이스에서의 몰입 레벨 변화의 결과로 다른 사용자 인터페이스에서의 잘못된 몰입 레벨 변화들을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제3 사용자 입력을 수신한 후 그리고 제1 몰입 레벨에서 제1 개별 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 제2 개별 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제4 사용자 입력(예를 들어, 애플리케이션 브라우징 사용자 인터페이스와 같은 운영 체제의 사용자 인터페이스를 디스플레이하기 위해 개별 애플리케이션의 디스플레이를 중단한 후 개별 애플리케이션을 재디스플레이하라는 입력)을 수신한다(1092). 일부 실시예들에서, 제4 사용자 입력은 애플리케이션 브라우징 사용자 인터페이스를 디스플레이하는 동안 수신된다(예를 들어, 개별 애플리케이션에 대응하는 아이콘의 선택). 일부 실시예들에서, 제4 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 9c에 도시된 몰입 레벨(예를 들어, 제2 개별 사용자 인터페이스가 마지막으로 디스플레이되었던 몰입 레벨)과 같은 제3 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이한다(1094). 예를 들어, 일부 실시예들에서, 운영 체제로 빠져나간 후, 개별 애플리케이션을 재디스플레이하는 것은, 운영 체제 사용자 인터페이스의 몰입 레벨의 임의의 변화에 관계없이, 개별 애플리케이션이 마지막으로 디스플레이되었던 몰입 레벨에서 개별 애플리케이션이 디스플레이되게 한다. 이전에-종료된 애플리케이션에 대한 몰입을 유지하는 전술한 방식은, 몰입 레벨들이 상이한 사용자 인터페이스들에 대해 독립적으로 정의되고/되거나 유지될 수 있는 유연한 아키텍처를 제공하며, 이는 (예를 들어, 현재 사용자 인터페이스에서의 몰입 레벨 변화의 결과로 다른 사용자 인터페이스에서의 잘못된 몰입 레벨 변화들을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 사용자 입력은 제1 유형의 사용자 입력이고 전자 디바이스와 연관된 현재 몰입 레벨을 증가시키라는 요청에 대응하고, 제3 몰입 레벨은 제2 몰입 레벨보다 크다(1096)(예를 들어, 애플리케이션의 사용자 인터페이스(예를 들어, 전자 디바이스의 운영 체제의 사용자 인터페이스가 아닌)를 디스플레이하는 동안 현재 디스플레이 사용자 인터페이스의 몰입 레벨을 증가시키기 위한 전자 디바이스의 회전가능한 입력 요소의 시계방향 회전). 일부 실시예들에서, 제3 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 입력 요소(920)에서의 입력과 같은, 전자 디바이스와 연관된 현재 몰입 레벨을 증가시키라는 요청에 대응하는 제1 유형의 제4 사용자 입력을 수신한다(1098)(예를 들어, 개별 애플리케이션의 사용자 인터페이스를 디스플레이하는 동안 현재 디스플레이 사용자 인터페이스의 몰입 레벨을 증가시키기 위한 전자 디바이스의 회전가능한 입력 요소의 추가 시계방향 회전). 일부 실시예들에서, 제1 유형의 제4 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스는, 도 9c의 사용자 인터페이스(934)를 참조하여 설명된 바와 같이, 제3 몰입 레벨에서 제2 개별 사용자 인터페이스의 디스플레이를 유지한다(1097)(예를 들어, 제3 몰입 레벨은 선택적으로, 애플리케이션의 사용자 인터페이스를 디스플레이하는 동안 회전가능한 입력 요소의 회전을 통해 도달될 수 있는 가장 높은 몰입 레벨임). 일부 실시예들에서, 제3 몰입 레벨에서, 개별 애플리케이션의 사용자 인터페이스는 디스플레이 생성 컴포넌트의 시야 전체를 점유하지 않고/않거나 전자 디바이스의 물리적 환경의 적어도 일부 표현(들)과 함께 여전히 디스플레이된다. 일부 실시예들에서, 제3 몰입 레벨보다 더 높은 몰입 레벨이 달성가능하지만, 제1 유형의 입력을 사용하여 달성될 수는 없다. 일부 실시예들에서, 더 높은 몰입 레벨은 제1 유형의 입력(예를 들어, 회전가능한 입력 요소의 회전)을 사용하여 달성될 수 있지만, 이는 전자 디바이스의 운영 체제의 사용자 인터페이스들에 대해서만 그러하고 애플리케이션들의 사용자 인터페이스들에 대해서는 그렇지 않다.
일부 실시예들에서, 제3 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 9c의 요소(950)의 선택과 같은, 전자 디바이스와 연관된 현재 몰입 레벨을 증가시키라는 요청에 대응하는, 제1 유형과 상이한, 제2 유형의 제5 사용자 입력을 수신한다(1095)(예를 들어, 개별 애플리케이션의 몰입 레벨을 증가시키기 위한 제2 개별 사용자 인터페이스에서 개별 애플리케이션에 의해 디스플레이된 사용자 인터페이스 요소의 선택. 예를 들어, 제2 개별 사용자 인터페이스 내의 "풀 스크린" 사용자 인터페이스 요소의 선택). 일부 실시예들에서, 제2 유형의 제5 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 9c의 사용자 인터페이스(934)를 참조하여 설명된 바와 같이, 제3 몰입 레벨보다 큰 제4 몰입 레벨에서 제2 개별 사용자 인터페이스를 디스플레이한다(1093)(예를 들어, 개별 애플리케이션의 풀 몰입 또는 풀 스크린 디스플레이). 따라서, 일부 실시예들에서, 풀 몰입, 또는 적어도 제3 몰입 레벨 초과의 몰입 레벨들은, 애플리케이션의 사용자 인터페이스를 디스플레이할 때(예를 들어, 운영 체제의 사용자 인터페이스와 대조적으로) 제1 유형의 입력들을 통해 달성가능하지 않다. 일부 실시예들에서, 애플리케이션 사용자 인터페이스에 대한 제3 몰입 레벨을 초과하기 위해서는 상이한 유형의 입력(예를 들어, 사용자 인터페이스 요소의 선택)이 요구된다. 애플리케이션에 대한 높은 몰입들을 달성하기 위해 상이한 유형의 입력을 요구하는 전술한 방식은, 사용자가 그러한 높은 몰입 레벨들을 달성하기를 원한다는 추가 표시 없이 애플리케이션들에 대한 높은 몰입이 도달될 수 없음을 보장하며, 이는 (예를 들어, 높은 몰입 레벨들에서의 거동이 알려져 있지 않거나 예측불가능할 수 있는 애플리케이션들에 대한 높은 몰입 레벨들에 우발적으로 도달하는 것을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
도 11a 및 도 11b는 일부 실시예들에 따른, 사용자 인터페이스가 전자 디바이스에 의해 디스플레이되는 몰입 레벨을 감소시키고, 후속적으로 소정 시나리오들에서 그 몰입 레벨로부터 그 사용자 인터페이스의 디스플레이를 재개하는 예들을 예시한다.
도 11a는, 디스플레이 생성 컴포넌트(예를 들어, 도 1의 디스플레이 생성 컴포넌트(120))를 통해, 사용자 인터페이스에 3차원 환경(1101)을 디스플레이하는 전자 디바이스(101)를 예시한다. 도 1 내지 도 6을 참조하여 전술한 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(예컨대, 터치 스크린) 및 복수의 이미지 센서들(예를 들어, 도 3의 이미지 센서들(314))을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 아래에 도시된 사용자 인터페이스들은 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 물리적 환경 및/또는 사용자의 손들의 이동들(예를 들어, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예를 들어, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에서 구현될 수 있다.
도 11a에 도시된 바와 같이, 디바이스(101)는 디바이스(101) 주위의 물리적 환경(1100) 내의 하나 이상의 객체들을 포함하는, 디바이스(101) 주위의 물리적 환경(1100)(예를 들어, 동작 환경(100))의 하나 이상의 이미지들을 캡처한다. 일부 실시예들에서, 디바이스(101)는 3차원 환경(1101)에서 물리적 환경의 표현들을 디스플레이한다. 예를 들어, 3차원 환경(1101)은 (예를 들어, 물리적 환경(1100) 내의 나무(1102a)에 대응하는) 나무의 표현(1102b) 및 (예를 들어, 물리적 환경(1100) 내의 사람(1104a)에 대응하는) 사람의 표현(1104b)을 포함한다. 일부 실시예들에서, 디바이스(101)는 또한 3차원 환경(901)에서 하나 이상의 가상 객체들(예를 들어, 물리적 환경(1100)에 있지 않은 객체들)을 디스플레이한다. 예를 들어, 도 1a에서, 디바이스(101)는 나무의 표현(1102b) 상의 가상 객체(1110)(예를 들어, 장식), 사람의 표현(1104b) 상의 가상 객체(1106)(예를 들어, 모자), 및 태양의 표현(1108)을 디스플레이하고 있다. 일부 실시예들에서, 태양의 표현(1108)은 3차원 환경(1101)에서 광원으로서 디스플레이되고 처리되며, 태양의 표현(1108)으로부터 생성되는 조명 효과는, 디바이스(101)에 의해, 3차원 환경(1101)에서 디스플레이된 물리적 객체들의 표현들 및/또는 가상 객체들에 적용된다.
도 11a에서, 디바이스(101)는 또한 애플리케이션(예를 들어, 앱 C)의 사용자 인터페이스(1134)를 디스플레이하고 있다. 사용자 인터페이스(1134)는 선택적으로 디바이스(101)에 의해 디스플레이되는 임의의 사용자 인터페이스(예를 들어, 운영 체제 사용자 인터페이스, 콘텐츠(예를 들어, 음악, 영화, 비디오, 사진 등) 브라우징 및/또는 보기 애플리케이션의 사용자 인터페이스 등)이다. 일부 실시예들에서, 사용자 인터페이스(1134)는, 3차원 환경(1101)에서 하나 이상의 물리적 객체들의 표현들 및/또는 가상 객체들을 오버레이하도록 하는(예를 들어, 물리적 환경(1100) 내의 사람(1104a)에 대응하는 사람의 표현(1104b)의 일부를 오버레이하고 그 앞에 있음) 3차원 환경(1101) 내의 위치에서 디스플레이된다. 일부 실시예들에서, 사용자 인터페이스(1134)는, 하나 이상의 가상 객체들이 사용자 인터페이스(1112)의 일부 앞에 있고 이를 오버레이하고/하거나 물리적 객체들의 하나 이상의 표현들이 사용자 인터페이스(1112)의 일부 앞에 있고 이를 오버레이하도록, 3차원 환경(1101) 내에 위치된다.
일부 실시예들에서, 디바이스(101)는 특정 몰입 레벨에서 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 3차원 환경(1101) 및/또는 사용자 인터페이스들을 디스플레이한다. 예를 들어, 도 11a에서, 디바이스(101)는 몰입 스케일(1130) 상에서 상대적으로 높은 몰입 레벨(1132)에서 사용자 인터페이스(1134)를 디스플레이하고 있다. 예를 들어, 도 11a의 디스플레이는, 선택적으로, 도 9a를 참조하여 설명된 바와 같이, 디바이스(101)가 디바이스(101)의 입력 요소(1120)를 사용하여 사용자 인터페이스(1134)의 몰입 레벨을 몰입 레벨(1132)로 증가시키기 위한 입력을 검출한 결과이다. 이와 같이, 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)에 의해 디스플레이된 사용자 인터페이스(1134)를 둘러싸는 콘텐츠(예를 들어, 물리적 환경(1100) 및/또는 물리적 환경(1100) 내의 객체들의 표현들, 가상 객체들 등)는 상대적으로 매우 모호하게 된다(예를 들어, 방법(1000)을 참조하여 더 상세히 설명된 바와 같이). 일부 실시예들에서, 상대적으로 높은 몰입 레벨(1132)에서 사용자 인터페이스(1134)를 디스플레이하는 것과 관련된 세부사항들은 방법(1000)을 참조하여 설명된 바와 같다.
도 9a를 참조하여 설명된 것과 유사하게, 입력 요소(1120)는 선택적으로, 슬라이더 요소 또는 회전가능한 입력 요소와 같은, 디바이스(101)에 의해 현재-디스플레이된 사용자 인터페이스(들)의 몰입 레벨을 변경하기 위해 조작될 수 있는 기계적 입력 요소이며, 여기서 몰입의 변화의 양 및 방향(예를 들어, 증가 또는 감소)은 입력 요소(1120)의 조작의 크기 및 방향(예를 들어, 입력 요소(1120)의 이동의 방향 및/또는 크기, 또는 회전가능한 입력 요소의 회전의 방향 및/또는 크기)에 기초한다. 일부 실시예들에서, 디바이스(101) 및/또는 입력 요소(1120)는 몰입 레벨이 변화함에 따라 촉각적 피드백을 생성한다(예를 들어, 몰입의 각각의 증가 또는 감소 단계에 대한 작은 촉각적 출력들, 및 최소 또는 최대 몰입에 도달할 때의 상이한 큰 촉각적 출력들). 일부 실시예들에서, 입력 요소(1120)는 또한 (예를 들어, 이동가능하고/하거나 회전가능한 것에 더하여) 누를 수 있고/있거나 압력에 민감하여, 입력 요소 상에 누르기 입력(예를 들어, 버튼 클릭, 압력 임계치보다 높은 압력 등)을 제공하는 것은 디바이스(101)에 의해 입력으로서 검출가능하다.
일부 실시예들에서, 입력 요소(1120)의 누르기를 검출하는 것에 응답하여, 디바이스(101)는 현재 디스플레이된 사용자 인터페이스(들)가 디스플레이되는 몰입 레벨을 미리 결정된 몰입 레벨(예를 들어, 최소 또는 상대적으로 낮은 몰입 레벨)로 감소시키고, 입력 요소(1120)의 누르기의 해제를 검출하는 것에 응답하여, 디바이스(101)는 누르기 입력이 검출되었을 때 디스플레이되었던 몰입 레벨에서 사용자 인터페이스(들)의 디스플레이를 재개한다. 일부 실시예들에서, 디바이스(101)는 입력 요소(1120)의 누르기가, 낮은 몰입 레벨로 전이되기 전에, 시간 임계치(예를 들어, 0.1, 0.5, 1, 5, 10초)보다 더 길 것을 요구한다. 예를 들어, 도 11a에서, 디바이스(101)는 입력 요소(1120)의 누르기("입력 1")를 검출한다. 이에 응답하여, 디바이스는, 도 11b에 도시된 바와 같이, 몰입 레벨(1132)을 미리 결정된 상대적으로 낮은 몰입 레벨(예를 들어, 몰입 없음)로 감소시킨다. 도 11b에 도시된 바와 같이, 디바이스(101)는 3차원 환경(1101) 내의 모든 가상 객체들(예를 들어, 사용자 인터페이스(1134), 및 가상 객체들(1110, 1108, 1106)을 포함함)을 디스플레이하는 것을 중단했고, 물리적 환경(1100) 내의 객체들의 표현들(1102b, 1104b) 및/또는 물리적 환경(1100) 자체의 부분들의 디스플레이를 모호하게 하는 것을 중단했다(예를 들어, 어둡게 하는 것, 블러링하는 것, 또는 달리 강조약화시키는 것을 중단했다). 낮은 몰입 레벨 또는 몰입 없음으로 전이할 때 가상 객체들 및/또는 물리적 환경(1100)의 디스플레이 특성들에 관한 추가적인 또는 대안적인 세부사항들은 선택적으로 방법(1000)을 참조하여 설명된 바와 같다. 따라서, 일부 실시예들에서, 입력 요소(1120)의 누르기는 디바이스(101)가 3차원 환경(1101)에서 물리적 환경(1100)을 완전히 디스플레이하고/하거나 3차원 환경(1101)에서 임의의 가상 객체들의 디스플레이를 완전히 중단하게 한다. 이러한 방식으로, 디바이스(101)의 사용자는 모호해지지 않은 방식으로 물리적 환경(1100)을 보는 것으로 신속하고 쉽게 전이할 수 있다.
이전에 언급된 바와 같이, 일부 실시예들에서, 입력 요소(1120)의 해제를 검출하는 것에 응답하여, 디바이스(101)는 선택적으로, 입력 요소(1120)의 누르기가 검출되었을 때 사용자 인터페이스(들)를 디스플레이하고 있었던 이전 몰입 레벨로 복귀한다. 예를 들어, 도 11b에서, 디바이스(101)는 입력 요소(1120)의 해제("입력 2")를 검출한다. 이에 응답하여, 디바이스는 도 11a에 도시된 몰입 레벨(1132)로 복귀한다. 일부 실시예들에서, 입력 요소(1120)의 해제를 검출하는 것에 응답하여 이전 몰입 레벨로 복귀하는 것에 추가적으로 또는 대안적으로, 디바이스(101)는 현재 몰입 레벨을 증가시키기 위한 요청에 대응하는 입력 요소(1120)의 이동(예를 들어, 도 9a를 참조하여 설명된 바와 같이 몰입 레벨을 점진적으로 변경하기 위한 동일한 유형의 입력)을 검출하는 것에 응답하여 이전 몰입 레벨로 복귀한다. 일부 실시예들에서, 그러한 입력에 응답하여, 디바이스(101)는 이전 몰입 레벨에서 사용자 인터페이스(1134)를 디스플레이하는 것을 즉시 재개하거나(예를 들어, 입력 요소(1120)의 이동량이 도 11b의 레벨로부터 도 11a의 이전 몰입 레벨로 몰입 레벨을 증가시키기에 달리 충분하지 않았더라도), 또는 일부 실시예들에서, 디바이스(101)는 입력 요소(1120)의 이동이 도 11a의 이전 몰입 레벨에 도달하기에 충분할 때까지 (예를 들어, 입력 요소(1120)의 계속된 이동에 따라) 몰입 레벨을 점진적으로 증가시킨다. 디바이스(101)에 의해 검출된 특정 손 제스처, 디바이스(101)(예를 들어, 그의 센서들(314))에 의해 검출된 특정 시선-기반 제스처 등과 같은, 이전 몰입 레벨에서 사용자 인터페이스(1134)의 디스플레이를 재개하기 위한 다른 입력들이 또한 고려된다.
도 12a 내지 도 12d는 일부 실시예들에 따른, 사용자 인터페이스와 연관된 몰입 레벨을 (예를 들어, 일시적으로) 감소시킨 후 이전에-디스플레이된 몰입 레벨에서 사용자 인터페이스의 디스플레이를 재개하는 방법(1200)을 예시하는 흐름도이다. 일부 실시예들에서, 방법(1200)은 디스플레이 생성 컴포넌트(예를 들어, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예를 들어, 헤드 업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예를 들어, 사용자의 손에서 하방을 향하는 카메라(예를 들어, 컬러 센서들, 적외선 센서들 및 다른 깊이-감지 카메라들) 또는 사용자의 머리로부터 전방을 향하는 카메라)을 포함하는 컴퓨터 시스템(예를 들어, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1200)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예컨대 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1200)에서의 일부 동작들은 선택적으로 조합되고/되거나, 일부 동작들의 순서는 선택적으로 변경된다.
방법(1200)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스(예를 들어, 도 1의 컴퓨터 시스템(101))(예를 들어, 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)가, 제1 몰입 레벨에서 제1 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 9a를 참조하여 설명된 요소(920) 상의 입력과 같은, 전자 디바이스와 연관된 몰입 레벨을 증가시키기 위한 요청에 대응하는 제1 입력을 검출한다(1202). 일부 실시예들에서, 전자 디바이스는 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어 또는 웨어러블 디바이스) 또는 컴퓨터이다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스와 통합된 디스플레이(선택적으로, 터치 스크린 디스플레이), 외부 디스플레이, 예컨대 모니터, 프로젝터, 텔레비전, 또는 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 보이게 하기 위한 하드웨어 컴포넌트(선택적으로, 통합형 또는 외부) 등이다. 일부 실시예들에서, 전자 디바이스는 사용자 입력을 수신하고(예를 들어, 사용자 입력을 캡처하고, 사용자 입력을 검출하는 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함하는 하나 이상의 입력 디바이스들과 통신한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예를 들어, 외부), 트랙패드(선택적으로 통합형 또는 외부), 터치패드(선택적으로 통합형 또는 외부), 원격 제어 디바이스(예를 들어, 외부), 다른 모바일 디바이스(예를 들어, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예를 들어, 외부), 제어기(예를 들어, 외부), 카메라, 깊이 센서, 모션 센서(예를 들어, 손 추적 디바이스, 손 모션 센서), 전자 디바이스에 포함된 물리적 기계적 입력 요소(예를 들어, 버튼, 회전하는 기계적 요소, 스위치 등), 및/또는 눈 추적 디바이스 등을 포함한다.
일부 실시예들에서, 제1 사용자 인터페이스의 제1 몰입 레벨은 선택적으로 방법들(1000, 1400, 1600)을 참조하여 설명된 몰입 레벨들의 특성들 중 하나 이상을 갖는다. 제1 입력은 선택적으로, 현재-디스플레이된 사용자 인터페이스의 몰입 레벨을 증가시키거나 감소시키기 위한 요청에 대응하는, 하나 이상의 입력 디바이스들을 통해 검출된 사용자 입력, 예컨대 음성 입력, 손 제스처, 디스플레이된 사용자 인터페이스 요소의 선택 및/또는 전자 디바이스에 포함된 기계적 입력 요소에서의 입력(예를 들어, 회전 입력)의 검출이다. 일부 실시예들에서, 제1 사용자 인터페이스는, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경과 같은 컴퓨터-생성 현실(CGR) 환경과 같은, 디스플레이 생성 컴포넌트를 통해 전자 디바이스에 의해 디스플레이된 3차원 환경 내에 디스플레이된다. 일부 실시예들에서, 제1 입력을 검출하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 11a의 몰입 레벨(1132)에서 사용자 인터페이스(1134)를 디스플레이하는 것과 같이, 제1 몰입 레벨보다 큰 개별 몰입 레벨에서 제1 사용자 인터페이스를 디스플레이한다(1204)(예를 들어, 제1 입력에 따라 제1 사용자 인터페이스의 몰입 레벨을 증가시킴).
일부 실시예들에서, 개별 몰입 레벨에서 제1 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 11a의 입력 요소(1120) 상의 입력 1을 검출하는 것과 같은 제1 이벤트의 발생을 검출한다(1206)(예를 들어, 제1 몰입 레벨보다 낮은 전자 디바이스의 개별 미리 정의된 몰입 레벨(예를 들어, 몰입 없음 또는 최소 몰입과 같은, 전자 디바이스에 대한 가장 낮은 몰입 레벨)로 드롭 다운하기 위한 요청에 대응하는 입력을 검출함). 예를 들어, 입력은 선택적으로 제1 사용자 인터페이스의 몰입 레벨을 증가(또는 감소)시키기 위해 회전되었던 기계적 입력 요소의 (회전이기보다는) 누르기이다. 일부 실시예들에서, 제1 이벤트는, 방법들(1400 및/또는 1600)을 참조하여 설명된 바와 같이, 전자 디바이스의 물리적 환경과 연관된 특성을 검출하는 것이다. 일부 실시예들에서, 이벤트는, 디스플레이 생성 컴포넌트를 통해 이전에 볼 수 없었던 물리적 환경의 하나 이상의 부분들(예를 들어, 디스플레이 생성 컴포넌트가 물리적 환경의 그러한 부분들을 차단하거나 달리 모호하게 하는 콘텐츠를 디스플레이하고 있었기 때문에)이 디스플레이 생성 컴포넌트를 통해 볼 수 있게 되도록 하는(예를 들어, 디스플레이 생성 컴포넌트가 물리적 환경의 그 부분들을 차단하거나 달리 모호하게 하는 콘텐츠를 더 이상 디스플레이하지 않기 때문에), (예를 들어, 현재-디스플레이된 사용자 인터페이스(들)의) 전자 디바이스에서의 몰입 레벨을 감소시키기 위한 임의의 양 및/또는 입력의 검출이다. 따라서, 제1 이벤트는 선택적으로, 물리적 객체들/환경들이 디스플레이 생성 컴포넌트를 통해 패스 스루하고 디스플레이될 수 있게 하는 이벤트에 대응한다.
일부 실시예들에서, 제1 이벤트의 발생을 검출하는 것에 응답하여, 전자 디바이스는 디스플레이 생성 컴포넌트를 통해 디스플레이된 사용자 인터페이스의 몰입 레벨을, 도 11b에 도시된 몰입 레벨(1132)과 같은, 개별 몰입 레벨보다 낮은 제2 몰입 레벨로 감소시킨다(1208)(예를 들어, 일부 실시예들에서, 제2 몰입 레벨은 몰입 없음임(예를 들어, 물리적 환경은 디스플레이 생성 컴포넌트를 통해 패스 스루되는 것으로부터 전혀 모호해지지 않음)). 일부 실시예들에서, 제2 몰입 레벨은 단순히, 물리적 환경이 디스플레이 생성 컴포넌트를 통해 패스 스루되는 것으로부터 적어도 완전히 모호해지지 않도록, 개별 몰입 레벨보다 더 낮다. 일부 실시예들에서, 디스플레이 생성 컴포넌트에 의해 디스플레이된 사용자 인터페이스가 제2 몰입 레벨에서 디스플레이될 때, 제1 사용자 인터페이스는 디스플레이되는 것이 중단된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트에 의해 디스플레이된 사용자 인터페이스가 제2 몰입 레벨에서 디스플레이될 때 전자 디바이스의 물리적 환경의 표현(들)은 디스플레이 생성 컴포넌트를 통해 디스플레이된다(예를 들어, 그것들이, 제1 사용자 인터페이스가 제1 몰입 레벨 및/또는 개별 몰입 레벨에서 디스플레이되었을 때, 디스플레이되지 않았을 때). 일부 실시예들에서, 제1 사용자 인터페이스는 디스플레이 생성 컴포넌트를 통해 계속해서 디스플레이되지만, 몰입 레벨은 더 낮다.
일부 실시예들에서, 제2 몰입 레벨에서 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는, 하나 이상의 입력 디바이스들을 통해, 도 11b의 입력 요소(1120)에서의 입력 2를 검출하는 것과 같은, 제1 사용자 인터페이스를 디스플레이하는 것을 재개하기 위한 요청에 대응하는 제2 이벤트의 발생을 검출한다(1210)(예를 들어, 여기서 제2 이벤트는 전자 디바이스에 대한 특정 몰입 레벨을 나타내지 않음). 예를 들어, 제1 이벤트가 기계적 입력 요소의 누르기의 검출인 경우, 제2 이벤트는 선택적으로 기계적 입력 요소의 해제의 검출이다. 제1 이벤트가 전자 디바이스의 물리적 환경과 연관된 특성의 검출인 경우, 제2 이벤트는 선택적으로 그 특성이 전자 디바이스의 물리적 환경에서 더 이상 유효하지 않다는 검출이다(예를 들어, 제1 이벤트에 대응하는 소리가 중지되었음). 일부 실시예들에서, 제2 이벤트는 전자 디바이스의 몰입 레벨을 특정 몰입 레벨로 증가시키기 위한 요청에 대응하는 입력이 아니다. 예를 들어, 제2 이벤트는 선택적으로 기계적 입력 요소의 회전에 따라 전자 디바이스의 몰입 레벨을 증가(또는 감소)시키기 위해 이전에 검출되었던 기계적 입력 요소의 회전의 검출이 아니다.
일부 실시예들에서, 제2 이벤트의 발생을 검출하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 11a의 사용자 인터페이스(1134)의 디스플레이로 다시 되돌아가는 것과 같이, 제1 사용자 인터페이스의 디스플레이를 재개한다(1212). 일부 실시예들에서, 개별 몰입 레벨이 제3 몰입 레벨이라는 결정에 따라, 제1 사용자 인터페이스는 제3 몰입 레벨에서 디스플레이되고(1214), 개별 몰입 레벨이 제1 몰입 레벨과 상이한 제4 몰입 레벨이라는 결정에 따라, 제1 사용자 인터페이스는 제4 몰입 레벨에서 디스플레이된다(1216). 따라서, 일부 실시예들에서, 전자 디바이스는, 그러한 몰입 레벨을 나타내는 입력을 검출하지 않고, 제1 이벤트가 검출되었을 때 제1 사용자 인터페이스가 디스플레이되고 있었던 몰입 레벨에서 제1 사용자 인터페이스를 디스플레이하는 것으로 복귀한다. 일부 실시예들에서, 전자 디바이스는 제1 이벤트가 검출되었을 때 유효했던 몰입 레벨을 저장/기록하고, 제2 이벤트가 검출될 때 그 몰입 레벨에서 재개한다. 제1 이벤트가 검출되었을 때 유효했던 몰입 레벨에서 제1 사용자 인터페이스의 디스플레이를 재개하는 전술한 방식은 이전에 유효한 몰입 레벨로 복귀하는 신속하고 효율적인 방식을 제공하며, 이는 (예컨대, 복귀할 특정 몰입 레벨을 정의하는 사용자 입력을 요구하지 않음으로써 - 이는 또한 복귀할 잘못된 몰입 레벨들을 정의하는 잘못된 사용자 입력들을 방지함 -) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 몰입 레벨은 도 11b에 도시된 바와 같이 몰입 없음이다(1218). 예를 들어, 제1 이벤트의 발생을 검출하는 것은 전자 디바이스가 가장 낮은 또는 최소 몰입 레벨로 전이하게 하며, 여기서 전자 디바이스의 물리적 환경의 대부분 또는 전부가 디스플레이 생성 컴포넌트를 통해 보이고, 가상 요소들(예를 들어, 전자 디바이스에 의해 생성된 사용자 인터페이스들, 전자 디바이스에 의해 생성된 가상 객체 등)이 거의 또는 전혀 디스플레이 생성 컴포넌트를 통해 디스플레이되지 않는다. 가상 요소들 또는 객체들이 없는 전자 디바이스의 물리적 환경을 디스플레이하는 전술한 방식은 사용자에게 환경 인식을 제공하는 신속하고 효율적인 방법을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 하나 이상의 입력 디바이스들은 도 11a 및 도 11b를 참조하여 설명된 바와 같은 회전가능한 입력 요소를 포함한다(1220)(예를 들어, 전자 디바이스 상에/내에 포함된 또는 전자 디바이스와 통신하는 다른 디바이스 상에 포함된 회전가능한 입력 요소. 일부 실시예들에서, 회전가능한 입력 요소는 사용자 입력을 통해 회전가능함). 일부 실시예들에서, 제1 몰입 레벨에서 제1 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는 회전가능한 입력 요소의 개별 회전(예를 들어, 사용자에 의한 회전가능한 입력 요소의 시계 방향 또는 반시계 방향 회전)을 검출한다(1222). 일부 실시예들에서, 회전가능한 입력 요소의 개별 회전을 검출하는 것에 응답하여(1224), 개별 회전이 제1 방향(예를 들어, 시계 방향 회전)이라는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 11a 및 도 11b를 참조하여 설명된 바와 같이, 제1 몰입 레벨보다 큰 제5 몰입 레벨에서 제1 사용자 인터페이스를 디스플레이한다(1226)(예를 들어, 제1 방향으로 회전가능한 입력 요소를 회전시키는 것은 디스플레이 생성 컴포넌트를 통해 디스플레이된 사용자 인터페이스(들)의 몰입 레벨을 증가시킴. 몰입 레벨을 증가시키는 것은 선택적으로 방법(1000)을 참조하여 설명된 특성들 중 하나 이상을 가짐.). 일부 실시예들에서, 개별 방향이 제1 방향과 상이한 제2 방향(예를 들어, 반시계 방향 회전)이라는 결정에 따라, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 도 11a 및 도 11b를 참조하여 설명된 바와 같이, 제1 몰입 레벨보다 작은 제6 몰입 레벨에서 제1 사용자 인터페이스를 디스플레이한다(1228)(예를 들어, 제2 방향으로 회전가능한 입력 요소를 회전시키는 것은 디스플레이 생성 컴포넌트를 통해 디스플레이된 사용자 인터페이스(들)의 몰입 레벨을 감소시킴. 몰입 레벨을 감소시키는 것은 선택적으로 방법(1000)을 참조하여 설명된 특성들 중 하나 이상을 가짐.). 전자 디바이스의 몰입 레벨을 조정하는 전술한 방식은 그렇게 하는 신속하고 효율적인 방식을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제1 이벤트의 발생을 검출하는 것은, 도 11a의 입력 요소(1120) 상의 입력 1과 같은, 회전가능한 입력 요소의 누르기를 검출하는 것을 포함한다(1230). 예를 들어, 일부 실시예들에서, 회전가능한 입력 요소는 전자 디바이스에 회전-기반 입력들을 제공하도록 회전가능하고, 또한 전자 디바이스에 누르기 및/또는 해제-기반 입력들을 제공하도록 누름가능하다. 일부 실시예들에서, 회전가능한 입력 요소의 누르기를 검출하는 것은 선택적으로 전자 디바이스가 가장 낮은 또는 최소 몰입 레벨에서 사용자 인터페이스(들)를 디스플레이하게 한다. 회전가능한 입력 요소의 누르기에 응답하는 전술한 방식은 낮은 몰입 경험을 제공하는 신속하고 효율적인 방법을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 이벤트의 발생을 검출하는 것은, 도 11a 및 도 11b를 참조하여 설명된 바와 같은, 회전가능한 입력 요소의 회전을 검출하는 것을 포함한다(1232). 일부 실시예들에서, 제2 몰입 레벨로 전이한 후, 회전가능한 입력 요소의 임의의 회전량을 검출하는 것은, 제2 몰입 레벨로부터 개별 몰입 레벨로 몰입 레벨을 증가시키기 위해 일반적으로 필요한 회전량과 상이할지라도, 전자 디바이스가 개별 몰입 레벨로 다시 전이하게 한다. 일부 실시예들에서, 제2 몰입 레벨로부터 개별 몰입 레벨로 몰입 레벨을 증가시키기 위해 일반적으로 필요한 회전량은, 선택적으로, 전자 디바이스가 몰입 레벨을 제2 몰입 레벨로 점진적으로 감소시키기 위해 제1 이벤트의 검출을 통해서가 아니라, 상이한 유형의 입력-예컨대 회전가능한 입력 요소의 회전-의 검출을 통해 제2 몰입 레벨로 전이할 때 필요한 회전량이다. 예를 들어, 제2 몰입 레벨이 0 내지 10의 스케일 상에서 0의 레벨이고, 개별 몰입 레벨이 7의 레벨이고, 검출된 회전량이 그렇지 않았다면 3만큼의 몰입 레벨을 증가시켰을 양인 경우(예를 들어, 1에서 4까지, 또는 2에서 5까지 등), 전자 디바이스가 제1 이벤트의 검출을 통해 제2 몰입 레벨로 전이했다면, 검출된 회전량은 선택적으로 7의 몰입 레벨에서 제1 사용자 인터페이스를 재개한다(예를 들어, 몰입 레벨은 회전가능한 입력 요소의 회전량에 따라 제2 몰입 레벨로부터 점진적으로 증가하지 않음). 그러나, 전자 디바이스가 제1 이벤트의 검출을 통하지 않고(예를 들어, 오히려, 제2 몰입 레벨로 몰입 레벨을 감소시키기 위해 회전가능한 요소의 회전의 검출을 통해) 제2 몰입 레벨로 전이했다면, 검출된 회전량은 선택적으로 7의 몰입 레벨이 아닌 3의 몰입 레벨에서 제1 사용자 인터페이스를 디스플레이한다. 제1 사용자 인터페이스가 개별 몰입 레벨에서 디스플레이되게 하는 초기 회전량 후, 몰입 레벨을 증가 또는 감소시키기 위한 추가 회전(시계 방향 또는 반시계 방향)은 선택적으로 개별 몰입 레벨로부터의 몰입의 증가 또는 감소를 야기한다. 디바이스의 이전 몰입 레벨을 재개하는 전술한 방식은 디바이스의 몰입 레벨을 변경하기 위해 일반적으로 사용된 동일한 입력 방법을 사용하면서 이전에 유효한 몰입 레벨로 복귀하는 신속하고 효율적인 방법을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 몰입 레벨에서 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는 회전가능한 입력 요소의 제2 개별 회전을 검출하며, 이는 제2 개별 회전의 제1 부분 및 그에 뒤이은 제2 부분을 포함한다(1234)(예를 들어, 회전가능한 입력 요소의 시계 방향 회전의 제1 부분, 및 그에 뒤이은 회전가능한 입력 요소의 시계 방향 회전의 계속된 제2 부분을 검출함). 일부 실시예들에서, (예를 들어, 회전가능한 입력 요소의 제2 개별 회전을 검출하는 동안) 제2 개별 회전의 제1 부분을 검출하는 것에 응답하여, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 제2 몰입 레벨보다 크지만 개별 몰입 레벨보다 작은 제7 몰입 레벨에서 제1 사용자 인터페이스를 디스플레이한다(1236)(예를 들어, 제2 개별 회전의 제1 부분 동안 회전가능한 입력 요소의 회전량에 따라 제2 몰입 레벨로부터 점진적으로 몰입 레벨을 증가시킴). 일부 실시예들에서, (예를 들어, 회전가능한 입력 요소의 제2 개별 회전을 검출하는 동안) 제2 개별 회전의 제2 부분을 검출하는 것에 응답하여, 전자 디바이스는 제1 사용자 인터페이스의 몰입 레벨을 제7 몰입 레벨로부터 개별 몰입 레벨로 증가시킨다(1238). 예를 들어, 제2 개별 회전의 제2 부분 동안 회전가능한 입력 요소의 계속된 회전량에 따라 몰입 레벨을 계속 증가시킨다. 제2 개별 회전이 제2 몰입 레벨로부터 개별 몰입 레벨로 몰입 레벨을 증가시키기에 충분한 총 회전량을 포함하는 경우, 제1 사용자 인터페이스는 선택적으로 개별 몰입 레벨에서 디스플레이된다. 제2 개별 회전의 총 회전량이 개별 몰입 레벨 이외의 몰입 레벨에 대응하는 경우, 제1 사용자 인터페이스는 선택적으로 그 다른 몰입 레벨에서 디스플레이된다. 디바이스의 이전 몰입 레벨로 점진적으로 복귀하는 전술한 방식은 회전가능한 입력 요소의 회전에 대한 일관된 응답을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 이벤트의 발생을 검출하는 것은, 디스플레이 생성 컴포넌트와 통신하는 손 추적 디바이스를 통해, 전자 디바이스의 사용자의 손에 의해 수행된 개별 제스처를 검출하는 것을 포함한다(1240)(예를 들어, 사용자의 엄지와 검지와 같은 사용자의 손의 2개 이상의 손가락들 사이의 특정 핀치 제스처. 일부 실시예들에서, 제스처는 손의 핀치 제스처를 유지하는 동안 손의 특정 이동 및/또는 회전을 포함함. 일부 실시예들에서, 개별 제스처 이외의 상이한 제스처가 사용자의 손에 의해 수행되는 것으로 검출되는 경우, 전자 디바이스는 선택적으로 개별 몰입 레벨에서 제1 사용자 인터페이스의 디스플레이를 재개하지 않음. 일부 실시예들에서, 개별 손 제스처는 전자 디바이스가 제2 몰입 레벨로 전이하게 한 제1 이벤트와 상이함). 디바이스의 이전 레벨의 몰입을 재개하는 전술한 방식은 그러한 몰입으로의 우발적인 복귀를 방지하면서 이전에 유효한 몰입 레벨로 복귀하는 신속하고 효율적인 방법을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제1 이벤트의 발생을 검출하는 것은, 도 11a의 입력 요소(1120) 상의 입력 1과 유사한, 전자 디바이스와 통신하는 기계적 입력 요소의 누르기를 검출하는 것을 포함한다(1242). 일부 실시예들에서, 기계적 입력 요소는 전자 디바이스 내에/상에 또는 전자 디바이스와 통신하는 다른 디바이스 상에 포함된 버튼이다. 일부 실시예들에서, 기계적 입력 요소는 단지 눌리거나 해제될 수 있다(예를 들어, 회전되지 않음). 일부 실시예들에서, 기계적 입력 요소는 (예를 들어, 방법(1000)을 참조하여 설명된 바와 같이, 전자 디바이스에 의해 디스플레이되는 사용자 인터페이스(들)의 몰입 레벨을 변경하기 위해) 회전되는 것에 추가하여 눌리거나 해제될 수 있다. 일부 실시예들에서, 제1 이벤트는 기계적 입력 요소의 누르기이고, 기계적 입력 요소의 후속 해제를 포함하지 않는다. 일부 실시예들에서, 제1 이벤트는 기계적 입력 요소의 누르기 및 후속 해제를 포함한다. 일부 실시예들에서, 기계적 입력 요소는 압력에 민감하고, 기계적 입력 요소의 누르기를 검출하는 것은 임계 힘 또는 압력보다 큰 입력 요소 상의 힘 또는 압력을 검출하는 것을 포함하고(예를 들어, 버튼의 실제 이동-기반 누르기를 검출하는 것과 대조적으로), 기계적 입력 요소의 해제를 검출하는 것은 임계 힘 또는 압력보다 작은 힘 또는 압력(또는 힘 또는 압력 없음)을 검출하는 것을 포함한다. 입력 요소의 누르기에 응답하는 전술한 방식은 낮은 몰입 경험을 제공하는 신속하고 효율적인 방법을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제1 이벤트의 발생을 검출하는 것은, 도 11a의 입력 요소(1120) 상의 입력 1과 유사한, 시간 임계치보다 더 오랫동안 전자 디바이스와 통신하는 기계적 입력 요소의 누르기를 검출하는 것을 포함한다(1244). 일부 실시예들에서, 기계적 입력 요소는 전자 디바이스 내에/상에 또는 전자 디바이스와 통신하는 다른 디바이스 상에 포함된 버튼이다. 일부 실시예들에서, 기계적 입력 요소는 단지 눌리거나 해제될 수 있다(예를 들어, 회전되지 않음). 일부 실시예들에서, 기계적 입력 요소는 (예를 들어, 방법(1000)을 참조하여 설명된 바와 같이, 전자 디바이스에 의해 디스플레이되는 사용자 인터페이스(들)의 몰입 레벨을 변경하기 위해) 회전되는 것에 추가하여 눌리거나 해제될 수 있다. 일부 실시예들에서, 제1 이벤트는 시간 임계치(예를 들어, 0.1, 0.5, 1, 2, 5, 10초)보다 더 오랫동안의 기계적 입력 요소의 누르기이고, 기계적 입력 요소의 후속 해제를 포함하지 않는다. 일부 실시예들에서, 제1 이벤트는 기계적 입력 요소의 누르기 및 후속 해제를 포함한다. 일부 실시예들에서, 기계적 입력 요소가 시간 임계치 동안 눌리기 전의 기계적 입력 요소의 누르기 및 해제는 제1 이벤트에 대응하지 않으며, 전자 디바이스가 제2 몰입 레벨로 전이하게 하지 않는다. 일부 실시예들에서, 기계적 입력 요소는 압력에 민감하고, 기계적 입력 요소의 누르기를 검출하는 것은 임계 힘 또는 압력보다 큰 입력 요소 상의 힘 또는 압력을 검출하는 것을 포함하고(예를 들어, 버튼의 실제 이동-기반 누르기를 검출하는 것과 대조적으로), 기계적 입력 요소의 해제를 검출하는 것은 임계 힘 또는 압력보다 작은 힘 또는 압력(또는 힘 또는 압력 없음)을 검출하는 것을 포함한다. 입력 요소의 누르기에 응답하는 전술한 방식은 낮은 몰입 경험으로의 우발적인 전이를 방지하면서 그 낮은 몰입 경험을 제공하는 신속하고 효율적인 방법을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 제2 이벤트의 발생을 검출하는 것은, 도 11b의 입력 요소(1120)에서 검출된 입력 2와 같은, 전자 디바이스와 통신하는 기계적 입력 요소의 누르기의 해제를 검출하는 것을 포함한다(1246). 일부 실시예들에서, 기계적 입력 요소는 전자 디바이스 내에/상에 또는 전자 디바이스와 통신하는 다른 디바이스 상에 포함된 버튼이다. 일부 실시예들에서, 기계적 입력 요소는 단지 눌리거나 해제될 수 있다(예를 들어, 회전되지 않음). 일부 실시예들에서, 기계적 입력 요소는 (예를 들어, 방법(1000)을 참조하여 설명된 바와 같이, 전자 디바이스에 의해 디스플레이되는 사용자 인터페이스(들)의 몰입 레벨을 변경하기 위해) 회전되는 것에 추가하여 눌리거나 해제될 수 있다. 일부 실시예들에서, 전자 디바이스는 기계적 입력 요소의 누르기를 검출하는 것에 응답하여 제1 몰입 레벨에서의 제1 사용자 인터페이스로부터 제2 몰입 레벨로 전이하고, 기계적 입력 요소의 후속 해제를 검출하는 것에 응답하여 제2 몰입 레벨로부터 제1 몰입 레벨에서의 제1 사용자 인터페이스로 다시 전이한다. 일부 실시예들에서, 기계적 입력 요소는 압력에 민감하고, 기계적 입력 요소의 누르기를 검출하는 것은 임계 힘 또는 압력보다 큰 입력 요소 상의 힘 또는 압력을 검출하는 것을 포함하고(예를 들어, 버튼의 실제 이동-기반 누르기를 검출하는 것과 대조적으로), 기계적 입력 요소의 해제를 검출하는 것은 임계 힘 또는 압력보다 작은 힘 또는 압력(또는 힘 또는 압력 없음)을 검출하는 것을 포함한다. 대응하는 기능들을 수행하기 위해 회전하고 누름가능한 기계적 입력 요소를 사용하는 것은 전자 디바이스 상의 제어부들의 수를 감소시키고, 디바이스를 제조하는 복잡성을 감소시킨다. 추가로, 입력 요소의 해제에 응답하는 전술한 방식은 이전에 유효한 몰입 레벨로 복귀하는 신속하고 효율적인 방법을 제공하며, 이는 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
도 13a 내지 도 13c는 일부 실시예들에 따른, 전자 디바이스에 의해 디스플레이된 사용자 인터페이스(들)를 통해 사람들, 객체들, 및/또는 전자 디바이스의 물리적 환경의 부분들의 표현들을 디스플레이하는 예들을 예시한다.
도 13a는, 디스플레이 생성 컴포넌트(예를 들어, 도 1의 디스플레이 생성 컴포넌트(120))를 통해, 사용자 인터페이스(1334)를 디스플레이하는 전자 디바이스(101)를 예시한다. 도 1 내지 도 6을 참조하여 전술한 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(예컨대, 터치 스크린) 및 복수의 이미지 센서들(예를 들어, 도 3의 이미지 센서들(314))을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 아래에 도시된 사용자 인터페이스들은 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 물리적 환경 및/또는 사용자의 손들의 이동들(예를 들어, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예를 들어, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에서 구현될 수 있다.
디바이스(101)는 선택적으로, 디바이스(101) 주위의 물리적 환경(1300) 내의 하나 이상의 객체들을 포함하는, 디바이스(101) 주위의 물리적 환경(1300)(예를 들어, 동작 환경(100))의 하나 이상의 이미지들을 캡처한다. 예를 들어, 도 13a에서, 물리적 환경(1300)은 2개의 객체들(예를 들어, 나무(1304a) 및 공(1306a)) 및 2명의 사람들(예를 들어, 사람(1302a) 및 사람(1308a))을 포함한다. 범례(1303)는 물리적 환경(1300)의 평면도를 제공하며, 여기서 요소(101a)는 물리적 환경에서 디바이스(101)의 위치에 대응하고, 요소들(1302c, 1308c)은 각각 물리적 환경(130)에서 사람들(1302a, 1308a)의 위치들에 대응하고, 요소들(1304c, 1306c)은 각각 물리적 환경(1300)에서 나무(1304a) 및 공(1306a)의 위치들에 대응한다. 범례(1303)에 도시된 바와 같이, 도 13a의 사람들(1302a, 1308a) 및 객체들(1304a, 1306a) 각각은 거리(1340)보다 디바이스(101)로부터 더 멀리 떨어져 있다. 거리(1340)의 관련성은 아래에서 더 상세히 설명될 것이다.
도 13a에서, 디바이스(101)는 몰입 스케일(1330) 상의 상대적으로 높은(예를 들어, 최대) 몰입 레벨(1332)에서 (예를 들어, 애플리케이션 앱 C의) 사용자 인터페이스(1334)를 디스플레이하고 있다. 예를 들어, 도 13a의 디스플레이는, 선택적으로, 디바이스(101)가, 디바이스(101)의 입력 요소(예를 들어, 도 9a를 참조하여 설명된 바와 같은, 디바이스(101)의 입력 요소(920))를 사용하여 사용자 인터페이스(1334)의 몰입 레벨을 몰입 레벨(1332)로 증가시키기 위한 입력을 검출한 결과이다. 일부 실시예들에서, 사용자 인터페이스(1334)는 애플리케이션의 사용자 인터페이스와 대조적으로 디바이스(101)의 운영 체제의 사용자 인터페이스이다. 디바이스(101)가 도 13a에서 사용자 인터페이스(1334)를 디스플레이하고 있는 몰입 레벨(1332)에서, 사용자 인터페이스(1334)는 디스플레이 생성 컴포넌트(120)를 통해 디바이스(101)의 물리적 환경(1300)(예를 들어, 물리적 환경(1300) 내의 객체들, 사람들 등)의 디스플레이를 모호하게 하고 있어서(예를 들어, 완전히 모호하게 함), 사용자 인터페이스(1334)의 콘텐츠는 디스플레이 생성 컴포넌트(120)를 통해 보이지만, 물리적 환경(1300)의 표현(들)은 디스플레이 생성 컴포넌트(120)를 통해 보이지 않도록 한다. 일부 실시예들에서, 상대적으로 높은(예를 들어, 최대) 몰입 레벨(1332)에서 사용자 인터페이스(1334)를 디스플레이하는 것과 관련된 세부사항들은 방법(1000)을 참조하여 설명된 바와 같다. 도 13a 내지 도 13c의 설명이 상대적으로 높은 몰입 레벨(1332)을 갖는 사용자 인터페이스(1334)의 맥락에서 제공되지만, 도 13a 내지 도 13c 및 방법(1400)의 특징들은 선택적으로, 디바이스(101)에 의해 디스플레이된 가상 요소, 객체 등이 디스플레이 생성 컴포넌트(120)를 통한 물리적 환경(1300)의 임의의 부분의 디스플레이를 적어도 부분적으로 모호하게 하는, 임의의 상황에 유사하게 적용된다는 것이 이해된다.
일부 실시예들에서, 디바이스(101)는 객체들, 사람들, 물리적 환경(1300)의 하나 이상의 부분들 등의 하나 이상의 특성들을 검출할 수 있고, 소정 특성들을 검출하는 것에 응답하여, 디바이스(101)는 선택적으로 그러한 객체들, 사람들, 또는 물리적 환경(1300)의 하나 이상의 부분들의 하나 이상의 표현들이 사용자 인터페이스(1334)를 "관통하여 나타나(break through)", 이들이 디스플레이 생성 컴포넌트(120)를 통해 보일 수 있도록 한다(예를 들어, 이러한 특성들을 검출하기 전에 그것들이 보이지 않았을 때). 일부 실시예들에서, 그러한 객체들, 사람들, 또는 물리적 환경(1300)의 하나 이상의 부분들의 표현들은 그러한 객체들, 사람들, 또는 물리적 환경(1300)의 하나 이상의 부분들의 위치들에 대응하는 사용자 인터페이스(1334)의 부분들을 관통하여 나타나고, 사용자 인터페이스(1334)의 나머지 부분들은 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 채로 유지된다.
예를 들어, 도 13a에서, 사람(1302a)과 사람(1308a) 둘 모두는 디바이스(101)로부터 임계 거리(1340)(예를 들어, 1, 3, 5, 10, 15, 30, 50 등)보다 더 멀리 떨어져 있다. 그러한 거리들에서, 디바이스(101)는 선택적으로, 디바이스(101)가 사람의 주의가 디바이스(101)의 사용자로 향한다고 결정하는 경우, 그 사람이 사용자 인터페이스(1334)를 관통하여 나타나게 한다. 예를 들어, 도 13a에서, 디바이스(101)는 사용자(1302a)의 주의가 디바이스(101)의 사용자로 향하지 않는다고 결정했고, 따라서 사람(1302a)의 표현은 사용자 인터페이스(1334)를 통해 보이지 않는다. 그러나, 디바이스(101)는 사용자(1308a)의 주의가 디바이스(101)의 사용자로 향한다고 결정하였다. 이와 같이, 디바이스(101)는 사용자 인터페이스(1334)의 일부분을 관통하여(예를 들어, 본 개시내용에 설명된 바와 같이, 디바이스(101)를 포함하는 3차원 환경 내의 사람(1308a)의 위치에 대응하는 디스플레이 생성 컴포넌트(120)의 부분에서) 표현(1308b)을 디스플레이 생성 컴포넌트(120)를 통해 디스플레이한다. 이러한 방식으로, 디바이스(101)의 사용자는 물리적 환경(1300) 내의 사람들이 그들의 주의를 디바이스(101)의 사용자로 향하고 있을 때, 그 사람들이 디바이스(101)의 사용자로부터 멀리 떨어져 있을 때에도, 사용자 인터페이스(1334)를 통해 그 사람들을 볼 수 있다. 일부 실시예들에서, 디바이스(101)가 사람, 객체, 물리적 환경(1300)의 부분 등이 사용자 인터페이스(1334)를 관통하여 나타나게 할 때, 디바이스(101)는 사용자 인터페이스(1334)의 일부분을 디스플레이하는 것을 중단하고(예를 들어, 또는 사용자 인터페이스(1334)의 그 부분을 반투명하게 디스플레이하고), 사용자 인터페이스(1334)의 그 부분에서 그 사람, 객체, 물리적 환경(1300)의 부분의 표현을 디스플레이한다. 일부 실시예들에서, 그 사람, 객체, 물리적 환경(1300)의 부분 등의 표현은 가변 블러 효과로 디스플레이되어, 그 사람, 객체, 물리적 환경(1300)의 부분 등의 표현을 둘러싸는 사용자 인터페이스(1334)의 부분들이, 그 사람, 객체, 물리적 환경(1300)의 부분 등의 표현으로부터의 거리의 함수로서 감소하는 상이한 양들의 블러로 디스플레이되게 한다.
디바이스(101)는 선택적으로, 물리적 환경(1300)의 이미지들, 소리들을 캡처하고/하거나 달리 물리적 환경(1300)의 특성들을 검출하는, 디바이스(101) 상의 하나 이상의 센서들을 사용하여 사람의 주의가 디바이스(101)의 사용자로 향한다고 결정한다. 예를 들어, 일부 실시예들에서, 사람이 전자 디바이스 및/또는 전자 디바이스의 사용자를 향해 보고 있는 경우, 사람의 주의는 선택적으로 전자 디바이스의 사용자를 향하는 것으로 결정된다. 일부 실시예들에서, 사람이 전자 디바이스 및/또는 전자 디바이스의 사용자를 향해 말하고 있는 경우, 사람의 주의는 선택적으로 전자 디바이스의 사용자를 향하는 것으로 결정된다. 일부 실시예들에서, 사람과 연관된 전자 디바이스는, 그 전자 디바이스와 통신하는 센서들을 사용하여, 사람의 관련 주의를 검출하고 그러한 주의 정보를 사용자의 전자 디바이스에 송신하며, 이는 이어서 그에 따라 응답한다. 일부 실시예들에서, 사람의 주의의 결정은, 그 사람으로부터의 제스처들(예를 들어, 디바이스(101)의 사용자로 향하는 제스처들), 그 사람으로부터의 스피치(예를 들어, 디바이스(101)의 사용자로 향하는 스피치, 디바이스(101)의 사용자의 이름을 말하는 것 등), 사람이 디바이스(101)의 사용자를 향해 이동하고 있는 속도, 사람의 시선(예를 들어, 디바이스(101)의 사용자로 향하는 시선) 등에 기초하는 것을 포함하여, 방법(1400)을 참조하여 설명된 하나 이상의 인자들에 기초한다.
일부 실시예들에서, 물리적 환경(1300) 내의 사람의 주의에 관한 인자들을 사용하여 그 사람이 사용자 인터페이스(1334)를 관통하여 나타나게 하는 것에 추가적으로 또는 대안적으로, 디바이스(101)는 물리적 환경(1300) 내의 그 사람과 디바이스(101)의 사용자의 상호작용에 관한 하나 이상의 인자들을 이용하여 그 사람이 사용자 인터페이스(1334)를 관통하여 나타나게 한다. 예를 들어, 일부 실시예들에서, 디바이스(101)의 사용자가 사람과 관여하고 있고(예를 들어, 그 사람을 향해 제스처를 취하고, 말하고, 이동하는 등), 디바이스(101)가 그 사람과 사용자의 그러한 관여를 검출하는 경우, 디바이스(101)는 그 사람이 사용자 인터페이스(1334)를 관통하여 나타나게 한다. 일부 실시예들에서, 디바이스(101)는, 그 사람이 사용자 인터페이스(1334)를 관통하여 나타나게 하기 위해, 그 사람의 주의 및 그 사람과 디바이스(101)의 사용자의 관여를 포함하는 인자들의 조합을 사용한다.
일부 실시예들에서, 디바이스(101)가 디바이스(101)로부터 임계 거리(1340)보다 멀리 있는 객체들이 고위험 객체들이라고 결정하는 경우, 디바이스(101)는 유사하게 그러한 객체들이 사용자 인터페이스(1334)를 관통하여 나타나게 하여, 디바이스(101)의 사용자가 (예를 들어, 잠재적 위험을 피하기 위해) 디스플레이 생성 컴포넌트(120)를 통해 그러한 객체들을 볼 수 있도록 한다. 예를 들어, 디바이스(101)는 선택적으로, 객체들이 디바이스(101)의 사용자와 충돌할 것인지 여부를 포함하여(예를 들어, 그러한 객체들의 검출된 궤적들에 기초하여), 방법(1400)을 참조하여 설명된 하나 이상의 인자들에 기초하여 그러한 객체들이 고위험이라고 결정한다. 도 13a에서, 디바이스(101)는 공(1306a)이 디바이스(101)의 사용자와 충돌할 궤적 상에 있다고 결정하였다. 그 결과, 디바이스(101)는 공(1306a)이 사용자 인터페이스(1334)를 관통하여 나가도록 허용하고, 사용자 인터페이스(1334)를 통해 사람(1308a)의 표현(1308b)을 디스플레이하는 것을 참조하여 설명된 바와 유사한 방식으로 그리고/또는 그와 유사한 디스플레이 생성 컴포넌트(120) 상의 위치에서 디스플레이 생성 컴포넌트(120)를 관통하여 공(1306a)의 표현(1306b)을 디스플레이한다. 도 13a의 디바이스(101)는 반대로 나무(1304a)가 고위험 객체가 아니라고 결정하였고, 따라서 나무(1304a)가 사용자 인터페이스(1334)를 관통하여 나타나게 하지 않는다.
도 13a에 도시된 바와 같이, 사람들, 객체들, 물리적 환경(1300)의 부분들 등의 소정 표현들이 사용자 인터페이스(1334)를 관통하여 나타나도록 허용함에도 불구하고, 일부 실시예들에서, 디바이스(101)는 사용자 인터페이스(1334)의 나머지 부분들을 상대적으로 높은 몰입 레벨(1332)에서 계속 디스플레이한다. 따라서, 일부 실시예들에서, 사람들, 객체들, 물리적 환경(1300)의 부분들 등이 사용자 인터페이스(1334)를 관통하여 나타나게 하는 것은 선택적으로, 디바이스(101)가 현재 있는 또는 달리 사용자 인터페이스(들)를 디스플레이할 몰입 레벨(1332)을 감소되게 하지 않는다.
일부 실시예들에서, 디바이스(101)는, 객체가 고위험 객체라는 것(예를 들어, 객체들의 경우), 사람의 주의가 디바이스(101)의 사용자로 향한다는 것(예를 들어, 사람들의 경우), 디바이스(101)의 사용자가 사람과 관여하고 있다는 것(예를 들어, 사람들의 경우) 등의 결정의 신뢰도에 기초하여, 사람, 객체, 물리적 환경(1300)의 부분 등이 다양한 정도로 사용자 인터페이스(1334)를 관통하여 나타나도록 허용한다. 예를 들어, 일부 실시예들에서, 주어진 객체 또는 사람이 충족하는 방법(1400)을 참조하여 본 명세서에 설명된 관통(break through) 인자들이 더 적을수록, 그 관통과 연관된 신뢰도는 더 낮고, 주어진 객체 또는 사람이 충족하는 방법(1400)을 참조하여 본 명세서에 설명된 관통 인자들이 더 많을수록, 그 관통과 연관된 신뢰도는 더 높다. 일부 실시예들에서, 주어진 관통하여 나타남의 신뢰도가 증가함에 따라, 디바이스(101)는 그 사람, 객체 등의 표현을 더 작은 반투명도, 더 큰 채도, 더 높은 밝기 등으로 사용자 인터페이스(1334)를 관통하여 디스플레이하고/하거나, 그 사람, 객체 등의 표현이 관통하여 디스플레이되는 사용자 인터페이스(1334)의 부분을 더 큰 반투명도, 더 작은 채도, 더 낮은 밝기 등으로 디스플레이한다. 예를 들어, 도 13b에서, 디바이스(101)는 상대적으로 높은 신뢰도로 사람(1308a)의 주의가 디바이스(101)의 사용자로 향한다고 결정하였다-따라서, 디바이스(101)는 선택적으로, 사람(1308a)의 표현(1308b)을 사용자 인터페이스(1334)를 관통하여 상대적으로 낮은 반투명도, 상대적으로 높은 채도, 상대적으로 높은 밝기 등으로 디스플레이하고 있고/있거나, 표현(1308b)이 관통하여 디스플레이되고 있는 사용자 인터페이스(1334)의 부분을 상대적으로 높은 반투명도, 상대적으로 낮은 채도, 상대적으로 낮은 밝기 등으로 디스플레이하고 있다. 대조적으로, 도 13b에서, 디바이스(101)는 선택적으로 상대적으로 낮은 신뢰도로 객체(1306a)가 고위험 객체라고 결정하였다-따라서, 디바이스(101)는 선택적으로, 객체(1306a)의 표현(1306b)을 사용자 인터페이스(1334)를 관통하여 상대적으로 높은 반투명도, 상대적으로 낮은 채도, 상대적으로 낮은 밝기 등으로 디스플레이하고 있고/있거나, 표현(1306b)이 관통하여 디스플레이되고 있는 사용자 인터페이스(1334)의 부분을 상대적으로 낮은 반투명도, 상대적으로 높은 채도, 상대적으로 높은 밝기 등으로 디스플레이하고 있다.
일부 실시예들에서, 디바이스(101)는, 객체들이 고위험이든, 사람들의 주의가 디바이스(101)의 사용자로 향하고 있든, 또는 디바이스(101)의 사용자가 그 사람들과 관여하고 있든 아니든, 디바이스(101)의 임계 거리(1340) 내에 있는 객체들 또는 사람들을 관통하여 나타나게 한다. 예를 들어, 도 13c에서, 디바이스(101)는 디바이스(101)의 임계 거리(1340) 내에 있는 나무(1304a)를 검출하였다. 나무(1304a)는 선택적으로 고위험 객체가 아니지만(예를 들어, 본 명세서에서 그리고/또는 방법(1400)을 참조하여 설명된 고위험 기준들을 충족하지 않지만), 나무(1304a)가 디바이스의 임계 거리(1340) 내에 있기 때문에, 디바이스(101)는 선택적으로, 도 13c에 도시된 바와 같이, 사용자 인터페이스(1334)를 통해 나무(1304a)의 표현(1304b)을 디스플레이한다. 또한, 도 13c에서, 디바이스(101)는 공(1306a)이 고위험 객체가 아니거나, 또는 더 이상 고위험 객체가 아니라고 결정했고; 따라서, 공(1306a)은 디바이스(101)로부터 임계 거리(1340)보다 더 멀리 있기 때문에, 디바이스(101)는 사용자 인터페이스(1334)를 통해 공(1306a)의 표현을 디스플레이하고 있지 않다. 마지막으로, 도 13a와 대조적으로, 도 13c에서, 디바이스(101)는 사람(1302a)의 주의가 디바이스(101)의 사용자로 향하고 사람(1308a)의 주의가 디바이스(101)의 사용자로 향하지 않는다고 결정하였고; 이와 같이, 사람들(1302a, 1308a)은 디바이스(101)로부터 임계 거리(1340)보다 더 멀리 있기 때문에, 디바이스(101)는 사용자 인터페이스(1334)를 통해 사람(1302a)의 표현(1302b)을 디스플레이하지만, 사용자 인터페이스(1334)를 통해 사람(1308a)의 표현은 디스플레이하지 않는다.
도 14a 내지 도 14f는 일부 실시예들에 따른, 전자 디바이스에 의해 디스플레이된 사용자 인터페이스를 통해 객체들, 사람들, 및/또는 환경의 부분들이 보일 수 있게 하는 방법(1400)을 예시하는 흐름도이다. 일부 실시예들에서, 방법(1400)은 디스플레이 생성 컴포넌트(예를 들어, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예를 들어, 헤드 업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예를 들어, 사용자의 손에서 하방을 향하는 카메라(예를 들어, 컬러 센서들, 적외선 센서들 및 다른 깊이-감지 카메라들) 또는 사용자의 머리로부터 전방을 향하는 카메라)을 포함하는 컴퓨터 시스템(예를 들어, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1400)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예컨대 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1400)에서의 일부 동작들은 선택적으로 조합되고/되거나, 일부 동작들의 순서는 선택적으로 변경된다.
방법(1400)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스(예를 들어, 도 1의 컴퓨터 시스템(101))(예를 들어, 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)는, 도 13a의 사용자 인터페이스(1334)와 같은, 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이한다(1402). 일부 실시예들에서, 전자 디바이스는 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어 또는 웨어러블 디바이스) 또는 컴퓨터이다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스와 통합된 디스플레이(선택적으로, 터치 스크린 디스플레이), 외부 디스플레이, 예컨대 모니터, 프로젝터, 텔레비전, 또는 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 보이게 하기 위한 하드웨어 컴포넌트(선택적으로, 통합형 또는 외부) 등이다. 일부 실시예들에서, 전자 디바이스는 사용자 입력을 수신하고(예를 들어, 사용자 입력을 캡처하고, 사용자 입력을 검출하는 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함하는 하나 이상의 입력 디바이스들과 통신한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예를 들어, 외부), 트랙패드(선택적으로 통합형 또는 외부), 터치패드(선택적으로 통합형 또는 외부), 원격 제어 디바이스(예를 들어, 외부), 다른 모바일 디바이스(예를 들어, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예를 들어, 외부), 제어기(예를 들어, 외부), 카메라, 깊이 센서, 모션 센서(예를 들어, 손 추적 디바이스, 손 모션 센서), 전자 디바이스에 포함된 물리적 기계적 입력 요소(예를 들어, 버튼, 회전하는 기계적 요소, 스위치 등), 및/또는 눈 추적 디바이스 등을 포함한다.
일부 실시예들에서, 전자 디바이스는, 전자 디바이스에 의해 생성, 디스플레이, 또는 달리 보일 수 있게 되는, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경과 같은 3차원 환경을 디스플레이한다. 일부 실시예들에서, 사용자 인터페이스 요소는 가상 요소 또는 객체(예를 들어, 전자 디바이스 상의 애플리케이션의 사용자 인터페이스, 3차원 환경에 디스플레이되는 가상 객체 등)이다. 일부 실시예들에서, 전자 디바이스는 3차원 환경을 디스플레이하고 있는 것이 아니라, 디스플레이 생성 컴포넌트를 통해 단순히 콘텐츠(예를 들어, 사용자 인터페이스 요소를 갖는 사용자 인터페이스)를 디스플레이하고 있다.
일부 실시예들에서, 사용자 인터페이스 요소는, 도 13a에서 사람들(1302a, 1308a)의 디스플레이를 모호하게 하는 것과 같이, 전자 디바이스의 물리적 환경 내의 개별 사람의, 디스플레이 생성 컴포넌트를 통한 디스플레이를 적어도 부분적으로 모호하게 한다(1404)(예를 들어, 디스플레이 생성 컴포넌트는 선택적으로, 전자 디바이스에 의해 디스플레이된 가상 콘텐츠가 전자 디바이스의 물리적 환경의 부분들 상에 오버레이되어 디스플레이되지 않는 범위까지, 그 물리적 환경을 패스 스루함). 일부 실시예들에서, 전자 디바이스에 의해 디스플레이된 사용자 인터페이스 요소는 전자 디바이스의 물리적 환경 내의 개별 사람보다 전자 디바이스의 시점에 더 가깝게 또는 시점 "앞에" 디스플레이된다. 이와 같이, 사용자 인터페이스 요소는 선택적으로 디스플레이 생성 컴포넌트를 통한 개별 사람의 표현의 디스플레이를 모호하게 한다/차단한다(예를 들어, 개별 사람의 표현의 디스플레이를 완전히 모호하게 하거나(예를 들어, 사용자 인터페이스 요소는 완전히 불투명하고/하거나 개별 사람의 표현을 완전히 덮음) 또는 개별 사람의 표현의 디스플레이를 부분적으로 모호하게 함(예를 들어, 사용자 인터페이스 요소는 반투명하고/하거나 개별 사람의 표현을 완전히 덮지는 않음)). 일부 실시예들에서, 사용자 인터페이스 및/또는 그의 콘텐츠는 물리적 환경 전체를 가려서, 디스플레이 생성 컴포넌트를 통해 물리적 환경의 어떤 부분도 보이지 않도록 한다. 일부 실시예들에서, 사용자 인터페이스 및/또는 그의 콘텐츠는 물리적 환경 전체보다 작은 부분을 가려서, 물리적 환경의 부분들이 디스플레이 생성 컴포넌트를 통해 보이는 반면에, 다른 부분들(예를 들어, 개별 사람)은 디스플레이 생성 컴포넌트를 통해 보이지 않도록 한다. 일부 실시예들에서, 전자 디바이스는 방법들(1000, 1200, 1600)을 참조하여 설명된 바와 같이 개별 몰입 레벨에서 사용자 인터페이스를 디스플레이한다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안(1406), 도 13a의 사람들(1302a, 1308a)과 같이, 개별 사람이 물리적 환경에서 전자 디바이스로부터 임계 거리보다 더 멀리 있고(예를 들어, 사람은 전자 디바이스로부터 1, 3, 5, 10, 15, 50, 100피트 등보다 더 멀리 떨어져 있음. 일부 실시예들에서, 개별 사람은, 디스플레이 생성 컴포넌트를 통해 볼 수 있는 경우, 3차원 환경에서 전자 디바이스의 시점으로부터 1, 3, 5, 10, 15, 50, 100피트 등보다 더 많이 떨어져 있는 것으로서 전자 디바이스에 의해 디스플레이된 3차원 환경에서 디스플레이될 것임), 도 13a의 사람(1308a)과 같은, 개별 사람의 주의가 전자 디바이스의 사용자로 향한다는 결정에 따라(예를 들어, 전자 디바이스는 선택적으로, 전자 디바이스의 물리적 환경 내의 개별 사람의 주의 상태를 검출할 수 있는 하나 이상의 카메라들, 마이크로폰들, 또는 다른 센서들을 포함함. 일부 실시예들에서, 개별 사람이 전자 디바이스 및/또는 전자 디바이스의 사용자를 향해 보고 있는 경우, 개별 사람의 주의는 전자 디바이스의 사용자로 향함. 일부 실시예들에서, 개별 사람이 전자 디바이스 및/또는 전자 디바이스의 사용자를 향해 말하고 있는 경우, 개별 사람의 주의는 전자 디바이스의 사용자로 향함. 일부 실시예들에서, (예를 들어, 전자 디바이스 이외의) 개별 사람과 연관된 전자 디바이스는, 그 전자 디바이스와 통신하는 센서들을 사용하여, 개별 사람의 관련 주의를 검출하고 그러한 주의 정보를 전자 디바이스에 송신하며, 이는 이어서 그에 따라 응답함.), 전자 디바이스는, 도 13a의 표현(1308b)을 디스플레이하는 것과 같이, 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트한다(1408)(예를 들어, 사용자 인터페이스 요소를 디스플레이하는 것을 중단하여, 그것이 디스플레이 생성 컴포넌트를 통해 더 이상 개별 사람의 "앞에" 있지 않도록 하고, 따라서 전자 디바이스의 물리적 환경 내의 개별 사람의 표현이 디스플레이 생성 컴포넌트를 통해 보이도록 함). 일부 실시예들에서, 전자 디바이스는 개별 사람이 사용자 인터페이스 요소를 통해 보이게(또는 더 잘 보이게) 되도록 사용자 인터페이스 요소의 반투명도를 증가시킨다. 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스 내의 사용자 인터페이스 요소를 이동시켜, 그것이 더 이상 전자 디바이스의 물리적 환경 내의 개별 사람의 "앞에" 있지 않도록 한다. 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스 요소가 디스플레이 생성 컴포넌트를 통해 개별 사람의 디스플레이를 모호하게 하는 정도를 감소시킨다. 일부 실시예들에서, 전자 디바이스는 개별 사람의 존재 및/또는 주의를 시각적으로 나타낸다. 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스 요소의 시각적 외관을 블러링하거나 달리 변경한다. 일부 실시예들에서, 전자 디바이스는 전술한 바와 같이 디스플레이된 사용자 인터페이스의 전체(예를 들어, 사용자 인터페이스에 디스플레이된 모든 것)를 업데이트한다. 일부 실시예들에서, 전자 디바이스는 개별 사람을 가리는 사용자 인터페이스의 부분(예를 들어, 사용자 인터페이스의 그 부분에 디스플레이된 객체들)만을 업데이트하고, 사용자 인터페이스의 나머지의 디스플레이는 수정하지 않는다.
일부 실시예들에서, 개별 사람이 물리적 환경에서 전자 디바이스로부터 임계 거리보다 더 멀리 있고 개별 사람의 주의가 전자 디바이스의 사용자로 향하지 않는다는 결정에 따라(예를 들어, 개별 사람은 전자 디바이스 및/또는 전자 디바이스의 사용자를 보고 있지 않고/않거나 그를 향해 말하고 있지 않음), 전자 디바이스는, 도 13a의 사용자 인터페이스(1334)에 사람(1302a)의 표현을 디스플레이하지 않는 것과 같이, 사용자 인터페이스 요소의 디스플레이를 업데이트하는 것을 보류한다(1410). 예를 들어, 사용자 인터페이스 및/또는 사용자 인터페이스 요소의 디스플레이를 수정하지 않는다. 이와 같이, 사용자 인터페이스 요소는 선택적으로 이전에 그랬던 것과 동일한 정도까지 디스플레이 생성 컴포넌트를 통한 개별 사람의 디스플레이를 계속 모호하게 한다. 주의에 기초하여 사용자 인터페이스의 디스플레이를 선택적으로 변경하는 전술한 방식은, 개별 사람과의 상호작용의 가능성이 있을 때에만 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경 내의 사람을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안(1412), 개별 사람이 물리적 환경에서 전자 디바이스로부터 임계 거리(예를 들어, 3, 5, 10, 15 등)보다 더 가깝다는 결정에 따라, 전자 디바이스는 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트한다(1414)(예를 들어, 개별 사람의 주의가 전자 디바이스의 사용자로 향하는지 여부에 관계없이). 따라서, 일부 실시예들에서, 전자 디바이스는, 개별 사람의 주의 상태에 관계없이, 개별 사람이 가까이 있을 때 (예를 들어, 이전에 설명된 바와 같이) 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트한다. 사람이 전자 디바이스에 가까이 있을 때 사용자 인터페이스의 디스플레이를 변경하는 전술한 방식은 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경에서 가까운 사람을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 물리적 환경 내의 개별 사람의 존재를 나타내기 위해 별개의 사용자 입력을 요구하지 않음으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정하는 것은, 도 13a 내지 도 13c를 참조하여 설명된 바와 같이, 전자 디바이스와 통신하는 하나 이상의 센서들(예를 들어, 개별 사람을 포함하는, 전자 디바이스의 물리적 환경을 캡처하는 하나 이상의 광학 또는 다른 카메라들)에 의해 검출된 개별 사람에 의해 수행된 하나 이상의 제스처들에 기초한다(1416). 예를 들어, 전자 디바이스가 개별 사람이, 예를 들어 개별 사람의 하나 이상의 손들로, 전자 디바이스의 사용자를 가리키거나, 그에게 손을 흔들거나, 또는 다른 방식으로 그를 향해 제스처를 취하고 있음을 검출하는 경우(예를 들어, 일부 실시예들에서, 개별 사람이 사용자를 향해 얼마나 오랫동안 제스처를 취하고 있는지에 관계없이, 그리고 일부 실시예들에서는, 1, 3, 5, 10, 20초 등과 같은 시간 임계치보다 더 오랫동안 사용자를 향해 제스처를 취한 후), 전자 디바이스는 선택적으로 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정한다. 일부 실시예들에서, 전자 디바이스는 여기에 설명된 하나 이상의 다른 인자들(예를 들어, 개별 사람의 시선, 개별 사람의 스피치, 개별 사람의 속도 및/또는 이동 등)과 함께 전술한 제스처에 기초하여 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정하고, 본 명세서에 설명된 다른 인자들 중 하나 이상을 검출하지 않으면서 전술한 제스처가 검출될 때에는 개별 사람의 주의가 전자 디바이스의 사용자로 향하지 않는다고 결정한다. 개별 사람으로부터의 제스처들에 기초하여 개별 사람의 주의를 결정하는 전술한 방식은, 개별 사람과의 상호작용의 가능성이 있을 때 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경 내의 사람을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정하는 것은, 도 13a 내지 도 13c를 참조하여 설명된 바와 같이, 전자 디바이스와 통신하는 하나 이상의 센서들(예를 들어, 개별 사람을 포함하는, 전자 디바이스의 물리적 환경을 캡처하는 하나 이상의 광학 또는 다른 카메라들)에 의해 검출된 개별 사람의 시선에 기초한다(1418). 예를 들어, 전자 디바이스가 개별 사람이 (예를 들어, 전자 디바이스의 사용자 주위의 0.5, 1, 3, 5, 10, 20피트와 같은 임계 거리에서의 또는 임계 거리 내의 위치들의 범위 내에서) 전자 디바이스의 사용자를 또는 그를 향해 보고 있음을 검출하는 경우(예를 들어, 일부 실시예들에서, 개별 사람이 사용자를 향해 얼마나 오랫동안 보고 있는지에 관계없이, 그리고 일부 실시예들에서는, 1, 3, 5, 10, 20초 등과 같은 시간 임계치보다 더 오랫동안 사용자를 향해 본 후), 전자 디바이스는 선택적으로 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정한다. 일부 실시예들에서, 전자 디바이스는 여기에 설명된 하나 이상의 다른 인자들(예를 들어, 개별 사람의 제스처(들), 개별 사람의 스피치, 개별 사람의 속도 및/또는 이동 등)과 함께 전술한 시선에 기초하여 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정하고, 본 명세서에 설명된 다른 인자들 중 하나 이상을 검출하지 않으면서 전술한 시선이 검출될 때에는 개별 사람의 주의가 전자 디바이스의 사용자로 향하지 않는다고 결정한다. 개별 사람으로부터의 시선에 기초하여 개별 사람의 주의를 결정하는 전술한 방식은, 개별 사람과의 상호작용의 가능성이 있을 때 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경 내의 사람을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정하는 것은, 도 13a 내지 도 13c를 참조하여 설명된 바와 같이, 전자 디바이스와 통신하는 하나 이상의 센서들(예를 들어, 개별 사람을 포함하는, 전자 디바이스의 물리적 환경으로부터의 소리를 캡처하는 하나 이상의 마이크로폰들)에 의해 검출된 개별 사람으로부터의 검출된 스피치에 기초한다(1420). 예를 들어, 전자 디바이스가 개별 사람이 인사말(예를 들어, "안녕하세요 여러분!")을 말하고 있거나 달리 전자 디바이스의 사용자를 향해 말하고 있음을 검출하는 경우(예를 들어, 일부 실시예들에서, 개별 사람이 사용자를 향해 얼마나 오랫동안 말하고 있는지에 관계없이, 그리고 일부 실시예들에서는, 1, 3, 5, 10, 20초 등과 같은 시간 임계치보다 더 오랫동안 사용자를 향해 말한 후), 전자 디바이스는 선택적으로 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정한다. 일부 실시예들에서, 전자 디바이스는 여기에 설명된 하나 이상의 다른 인자들(예를 들어, 개별 사람의 제스처(들), 개별 사람의 시선, 개별 사람의 속도 및/또는 이동 등)과 함께 전술한 스피치에 기초하여 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정하고, 본 명세서에 설명된 다른 인자들 중 하나 이상을 검출하지 않으면서 전술한 스피치가 검출될 때에는 개별 사람의 주의가 전자 디바이스의 사용자로 향하지 않는다고 결정한다. 개별 사람으로부터의 스피치에 기초하여 개별 사람의 주의를 결정하는 전술한 방식은, 개별 사람과의 상호작용의 가능성이 있을 때 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경 내의 사람을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정하는 것은, 도 13a 내지 도 13c를 참조하여 설명된 바와 같이, 전자 디바이스가, 개별 사람으로부터의 스피치가 전자 디바이스의 사용자의 이름을 포함함을 검출했다는 결정에 기초한다(1422). 예를 들어, 개별 사람이 사용자의 이름을 말하는 경우, 일부 실시예들에서 임의의 맥락에서(예를 들어, "오늘 매장에서 톰(사용자)을 봤어요"와 같은 비인사성 문장에서), 그리고 일부 실시예들에서 특정 맥락에서만(예를 들어, "안녕, 톰(사용자)"과 같은 인사성 문장에서), 전자 디바이스는 선택적으로 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정한다. 일부 실시예들에서, 전자 디바이스는 여기에 설명된 하나 이상의 다른 인자들(예를 들어, 개별 사람의 제스처(들), 개별 사람의 시선, 개별 사람의 속도 및/또는 이동 등)과 함께 전술한 사용자의 이름을 말하는 것에 기초하여 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정하고, 본 명세서에 설명된 다른 인자들 중 하나 이상을 검출하지 않으면서 전술한 사용자의 이름을 말하는 것이 검출될 때에는 개별 사람의 주의가 전자 디바이스의 사용자로 향하지 않는다고 결정한다. 개별 사람으로부터 사용자의 이름을 말하는 것에 기초하여 개별 사람의 주의를 결정하는 전술한 방식은, 개별 사람과의 상호작용의 가능성이 있을 때 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경 내의 사람을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정하는 것은, 도 13a 내지 도 13c를 참조하여 설명된 바와 같이, 전자 디바이스와 통신하는 하나 이상의 센서들(예를 들어, 개별 사람을 포함하는, 전자 디바이스의 물리적 환경을 캡처하는 하나 이상의 광학 또는 다른 카메라들)에 의해 검출된 (예를 들어, 전자 디바이스의 사용자를 향하는) 개별 사람의 이동(예를 들어, 그 속도)에 기초한다(1424). 예를 들어, 전자 디바이스가 개별 사람이 전자 디바이스의 사용자를 향해 이동하고 있음을 검출하는 경우(예를 들어, 개별 사람의 현재 이동에 기초한 개별 사람의 궤적은 개별 사람을 전자 디바이스의 사용자로부터 0.5, 1, 3, 5, 10, 20피트와 같은 임계 거리보다 작은 거리로 이끌 것임), 전자 디바이스는 선택적으로 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정한다. 일부 실시예들에서, 전자 디바이스는 선택적으로 개별 사람이 전자 디바이스의 사용자를 향해 이동하는 것 외에 개별 사람의 이동의 속도가 소정 기준들(예를 들어, 0.3 m/s, 0.5 m/s, 1 m/s, 3 m/s, 5 m/s, 10 m/s, 20 m/s와 같은 임계치보다 높은 속도; 임계치보다 낮은 속도 등)을 충족할 것을 요구하며, 이 지점에서 전자 디바이스는 선택적으로 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정한다(그리고 선택적으로 그렇지 않으면 그렇게 결정하지 않음). 일부 실시예들에서, 전자 디바이스는 여기에 설명된 하나 이상의 다른 인자들(예를 들어, 개별 사람의 제스처(들), 개별 사람의 시선, 개별 사람의 스피치 등)과 함께 전술한 개별 사람의 속도 및/또는 이동에 기초하여 개별 사람의 주의가 전자 디바이스의 사용자로 향한다고 결정하고, 본 명세서에 설명된 다른 인자들 중 하나 이상을 검출하지 않으면서 전술한 개별 사람의 속도 및/또는 이동이 검출될 때에는 개별 사람의 주의가 전자 디바이스의 사용자로 향하지 않는다고 결정한다. 개별 사람의 속도 및/또는 이동에 기초하여 개별 사람의 주의를 결정하는 전술한 방식은, 개별 사람과의 상호작용의 가능성이 있을 때 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경 내의 사람을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는 전자 디바이스의 사용자가 개별 사람과의 상호작용에 관여함을 검출한다(1426). 일부 실시예들에서, 전자 디바이스의 사용자가 개별 사람과의 상호작용에 관여함을 검출하는 것에 응답하여, 전자 디바이스는, 도 13a 내지 도 13c를 참조하여 설명된 바와 같이, 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트한다(1428). 예를 들어, 전자 디바이스가, 하나 이상의 센서들(예를 들어, 전자 디바이스의 사용자의 시선을 검출하기 위한 눈 추적 디바이스, 전자 디바이스의 사용자에 대한 손 제스처들 및/또는 손 이동을 검출하기 위한 손 추적 디바이스, 전자 디바이스의 사용자로부터 스피치를 검출하기 위한 마이크로폰, 전자 디바이스의 이동을 검출하는 가속도계, 자이로스코프 및/또는 다른 관성 측정 유닛(IMU))을 사용하여, 전자 디바이스의 사용자가 개별 사람을 향해 제스처를 취하고 있음(예를 들어, 이전에 설명된 바와 같이, 개별 사람으로부터 검출된 제스처들과 유사하게), 개별 사람을 향해 말하고 있음(예를 들어, 이전에 설명된 바와 같이, 개별 사람으로부터 검출된 스피치와 유사하게), 개별 사람을 향해 이동하고 있음(예를 들어, 이전에 설명된 바와 같이, 개별 사람으로부터 검출된 속도 및/또는 이동과 유사하게), 개별 사람을 향해 보고 있음(예를 들어, 이전에 설명된 바와 같이, 개별 사람으로부터 검출된 시선과 유사하게) 등을 검출하는 경우, 전자 디바이스는 선택적으로 전자 디바이스의 사용자가 개별 사람과 관여한다고 결정한다. 일부 실시예들에서, 전자 디바이스는 전술한 인자들(예를 들어, 제스처들, 스피치, 이동, 시선) 중 하나에 기초하여 사용자가 개별 사람과 관여한다고 결정하고; 일부 실시예들에서, 전자 디바이스는 전술한 인자들 중 둘 이상에 기초하여 사용자가 개별 사람과 관여한다고 결정하고, 전술한 인자들 중 하나만 검출되는 경우 사용자가 개별 사람과 관여하지 않는다고 결정한다. 일부 실시예들에서, 전자 디바이스는 사용자가 개별 사람과 관여한다고 결정하기 위해 전술한 사용자-기반 인자들(예컨대, 제스처들, 스피치, 사용자의 이동, 시선) 및 적어도 하나 이상의 전술한 개별 사람-기반 인자들(예컨대, 개별 사람의 제스처(들), 개별 사람의 시선, 개별 사람의 속도 및/또는 이동, 개별 사람으로부터의 스피치) 중 적어도 하나 이상을 요구하고, 그렇지 않은 경우 사용자가 개별 사람과 관여하지 않는다고 결정한다. 일부 실시예들에서, 전자 디바이스가 사용자가 개별 사람과 관여하지 않는다고 결정하는 경우, 전자 디바이스는 선택적으로 물리적 환경 내의 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트하지 않는다(일부 실시예들에서, 전자 디바이스가, 이전에 설명된 바와 같이, 개별 사람의 주의에 기초하여 그렇게 하지 않는 한). 개별 사람과 사용자의 관여에 기초하여 사용자 인터페이스의 디스플레이를 변경하는 전술한 방식은, 개별 사람과의 상호작용의 가능성이 있을 때에만 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경 내의 사람을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트하는 것은, 하나 이상의 제1 기준들이 충족된다는 결정에 따라, 사용자 인터페이스 요소의 디스플레이를 제1 양만큼 변경하는 것을 포함한다(1430)(예를 들어, 다수의 전술한 인자들(예를 들어, 개별 사람의 제스처(들), 개별 사람의 시선, 개별 사람의 속도 및/또는 이동, 개별 사람으로부터의 스피치, 사용자의 제스처(들), 사용자의 시선, 사용자의 속도 및/또는 이동, 사용자로부터의 스피치) 중 임계 수(예를 들어, 2, 3) 미만이 충족되는 경우, 전자 디바이스는 선택적으로, 사용자 인터페이스 요소를 제1 양만큼 이동시키거나, 사용자 인터페이스 요소의 투명도를 제1 양만큼 증가시키거나, 사용자 인터페이스 요소를 제1 양만큼 블러링하거나, 사용자 인터페이스의 제1 부분을 업데이트하는 등과 같은 제1 방식으로 사용자 인터페이스 요소를 업데이트함). 일부 실시예들에서, 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트하는 것은(1432), 제1 기준들과 상이한 하나 이상의 제2 기준들이 충족된다는 결정에 따라, 도 13a 및 도 13b의 표현(1306b)의 상이한 디스플레이들과 같이, 제1 양과 상이한 제2 양만큼 사용자 인터페이스 요소의 디스플레이를 변경하는 것(1434)을 포함한다. 예를 들어, 다수의 전술한 인자들(예를 들어, 개별 사람의 제스처(들), 개별 사람의 시선, 개별 사람의 속도 및/또는 이동, 개별 사람으로부터의 스피치, 사용자의 제스처(들), 사용자의 시선, 사용자의 속도 및/또는 이동, 사용자로부터의 스피치) 중 임계 수(예를 들어, 2, 3)보다 많이 충족되는 경우, 전자 디바이스는 선택적으로, 사용자 인터페이스 요소를 제1 양과 상이한(예를 들어, 그보다 큰) 제2 양만큼 이동시키거나, 사용자 인터페이스 요소의 투명도를 제1 양과 상이한(예를 들어, 그보다 큰) 제2 양만큼 증가시키거나, 사용자 인터페이스 요소를 제1 양과 상이한(예를 들어, 그보다 큰) 제2 양만큼 블러링하거나, 제1 부분과 상이한(예를 들어, 그보다 큰) 사용자 인터페이스의 제2 부분을 업데이트하는 등과 같은, 제1 방식과 상이한 제2 방식으로 사용자 인터페이스 요소를 업데이트한다. 따라서, 일부 실시예들에서, 더 많은 개별 사람-주의 및/또는 사용자-관여 인자들이 전자 디바이스에 의해 검출됨에 따라, 전자 디바이스는 선택적으로, 예를 들어, 디스플레이 생성 컴포넌트를 통해 개별 사람의 표현을 더 잘 보이게 만들도록 사용자 인터페이스 요소의 디스플레이를 업데이트한다. 일부 실시예들에서, 더 적은 개별 사람-주의 및/또는 사용자-관여 인자들이 전자 디바이스에 의해 검출됨에 따라, 전자 디바이스는 선택적으로, 예를 들어, 디스플레이 생성 컴포넌트를 통해 개별 사람의 표현을 덜 보이게 만들도록 사용자 인터페이스 요소의 디스플레이를 업데이트한다. 이와 같이, 개별 사람의 주의가 사용자로 향하고/향하거나 사용자가 개별 사람과 관여한다는 신뢰도가 높을수록, 전자 디바이스는 사용자 인터페이스 요소의 디스플레이를 더 급격하게 업데이트하고, 개별 사람의 주의가 사용자로 향하고/향하거나 사용자가 개별 사람과 관여한다는 신뢰도가 작을수록, 전자 디바이스는 사용자 인터페이스 요소의 디스플레이를 덜 급격하게 업데이트한다. 개별 사람의 주의가 결정되는(또는 개별 사람과의 관여가 결정되는) 신뢰도에 따라 (예를 들어, 점진적인) 상이한 양만큼 사용자 인터페이스의 디스플레이를 변경하는 전술한 방식은, 개별 사람과의 상호작용이 가능성이 있는 한 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경 내의 사람을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자 인터페이스는 전자 디바이스의 물리적 환경 내의 개별 객체의, 디스플레이 생성 컴포넌트를 통한 디스플레이를 적어도 부분적으로 모호하게 하는 개별 사용자 인터페이스 요소를 포함하며(1436), 이는, 도 13a 내지 도 13c의 객체들(1304a, 1306a)과 같다(예를 들어, 천장 선풍기, 계단, 물리적 환경 내의 고도 드롭-오프(elevation drop-off), 다른 객체들 등. 일부 실시예들에서, 객체는 사용자와 충돌할 수 있는 객체임. 일부 실시예들에서, 객체는 사용자에게 상해를 입힐 수 있는 객체임). 일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안(1438), 도 13b의 객체들(1304a, 1306a)과 같이, 개별 객체가 물리적 환경에서 전자 디바이스로부터 개별 임계 거리보다 더 멀리 있고(예를 들어, 개별 사람에 대해 관련성 있는 임계 거리와 동일하거나, 또는 개별 사람에 대해 관련성 있는 임계 거리와 상이함(예컨대, 그로부터 더 멀거나 더 가까움))(예를 들어, 객체는 전자 디바이스로부터 3, 5, 10, 15, 30, 50피트 등보다 더 멂. 일부 실시예들에서, 객체는, 디스플레이 생성 컴포넌트를 통해 보이는 경우, 전자 디바이스에 의해 디스플레이되는 3차원 환경에서, 3차원 환경에서의 전자 디바이스의 시점으로부터 3, 5, 10, 15, 30, 50피트 등 초과인 것으로서 디스플레이될 것임), 그리고 도 13a의 객체(1306b)와 같이, 개별 객체가 하나 이상의 제1 기준들을 충족한다는 결정에 따라(예를 들어, 객체는 사용자에게 잠재적으로 위험한 객체임. 예를 들어, 사용자와의 충돌이 사용자 부상을 야기할 가능성이 있도록 충분한 속도(예를 들어, 0.5m/s, 1m/s, 2m/s, 4m/s, 10m/s, 20m/s보다 빠름)로 사용자를 향해 이동하는 객체. 일부 실시예들에서, 추가적으로 또는 대안적으로, 객체의 궤적 및/또는 속도가 객체가 사용자와 충돌할 것임을 나타내는 객체. 일부 실시예들에서, 추가적으로 또는 대안적으로, 사용자의 궤적 및/또는 속도가 사용자가 객체와 충돌하거나 그에 도착할 것임을 나타내는 객체(예를 들어, 사용자가 객체를 인식하지 못할 경우 넘어질 수 있는 테이블, 드롭-오프 또는 계단 등)), 전자 디바이스는, 도 13a의 표현(1306b)을 디스플레이하는 것과 같이, 개별 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 객체의 존재를 나타내도록 개별 사용자 인터페이스 요소의 디스플레이를 업데이트한다(1440)(예를 들어, 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트하는 것과 관련하여 이전에 설명된 것과 동일하거나 유사한 방식으로).
일부 실시예들에서, 개별 객체가 물리적 환경에서 전자 디바이스로부터 개별 임계 거리보다 더 멀리 있고, 그리고 도 13a의 객체(1304a)와 같이, 개별 객체가 하나 이상의 제1 기준들을 충족하지 않는다는 결정에 따라(예를 들어, 객체는 사용자에게 잠재적으로 위험한 객체가 아님. 예를 들어, 사용자와의 충돌이 사용자 부상을 야기할 가능성이 없도록 충분히 낮은 속도(예를 들어, 0.5m/s, 1m/s, 2m/s, 4m/s, 10m/s, 20m/s보다 낮음)로 사용자를 향해 이동하는 객체. 일부 실시예들에서, 추가적으로 또는 대안적으로, 객체의 궤적 및/또는 속도가 객체가 사용자와 충돌하지 않을 것임을 나타내는 객체. 일부 실시예들에서, 추가적으로 또는 대안적으로, 사용자의 궤적 및/또는 속도가 사용자가 객체와 충돌하지 않거나 그에 도착하지 않을 것임을 나타내는 객체(예를 들어, 사용자가 객체를 인식하지 못할 경우 넘어질 수 있는 테이블, 드롭-오프 또는 계단 등)), 전자 디바이스는, 도 13a의 사용자 인터페이스(1334)에 객체(1304a)의 표현을 디스플레이하지 않는 것과 같이, 개별 사용자 인터페이스 요소의 디스플레이를 업데이트하는 것을 보류한다(1442)(예를 들어, 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트하는 것을 보류하는 것과 관련하여 이전에 설명된 것과 동일하거나 유사한 방식으로). 일부 실시예들에서, 도 13c의 객체(1304a)와 같이, 개별 객체가 물리적 환경에서 전자 디바이스에 대한 개별 임계 거리보다 더 가깝다는 결정에 따라(예를 들어, 개별 객체가 하나 이상의 제1 기준들을 충족하든지 간에), 전자 디바이스는, 도 13c의 표현(1304b)을 디스플레이하는 것과 같이, 개별 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 객체의 존재를 나타내도록 개별 사용자 인터페이스 요소의 디스플레이를 업데이트한다(1444)(예를 들어, 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트하는 것과 관련하여 이전에 설명된 것과 동일하거나 유사한 방식으로). 전자 디바이스의 물리적 환경 내의 객체들의 존재에 기초하여 사용자 인터페이스의 디스플레이를 선택적으로 변경하는 전술한 방식은, 관련성이 있을 가능성이 있을 때에만(예를 들어, 전자 디바이스를 사용할 때 안전을 위해), 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 전자 디바이스의 물리적 환경 내의 객체가 없을 때 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트하기 전에, 물리적 환경 내의 개별 사람의 위치에 대응하는 사용자 인터페이스의 제2 개별 부분을 둘러싸는 사용자 인터페이스의 제1 개별 부분은 제1 값을 갖는 시각적 특성으로 디스플레이된다(1446)(예를 들어, 사용자 인터페이스 요소를 통해 개별 사람의 표현이 보였을 경우 개별 사람의 표현을 둘러쌀 사용자 인터페이스 요소의 부분은, 제1 색상 프로파일, 제1 밝기, 제1 반투명도 등으로, 비-블러링된 상태에서 디스플레이됨). 일부 실시예들에서, 사용자 인터페이스 요소에 대응하는 위치에서 물리적 환경 내의 개별 사람의 존재를 나타내도록 사용자 인터페이스 요소의 디스플레이를 업데이트한 후, 물리적 환경 내의 개별 사람의 위치에 대응하는 사용자 인터페이스의 제2 개별 부분을 둘러싸는 사용자 인터페이스의 제1 개별 부분은 제1 값과 상이한 제2 값을 갖는 시각적 특성으로 디스플레이된다(1448)(예를 들어, 사용자 인터페이스 요소를 통해 보이는 개별 사람의 표현을 둘러싸는 사용자 인터페이스 요소의 부분은, 제1 색상 프로파일과 상이한 제2 색상 프로파일, 제1 밝기와 상이한 제2 밝기, 제1 반투명도와 상이한 제2 반투명도 등으로, 블러링된 상태에서 디스플레이됨). 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트를 통해 보이는 개별 사람의 표현을 둘러싸는 디스플레이된 사용자 인터페이스의 부분들은 시각적 효과로(예를 들어, 블러링된, 더 투명한 등) 디스플레이된다. 일부 실시예들에서, 개별 사람의 표현을 둘러싸는 사용자 인터페이스의 부분들은 디스플레이 생성 컴포넌트를 통해 디스플레이되는 개별 사람의 표현의(그 경계의) 임계 거리(예를 들어, 0.5, 1, 3, 5, 20피트) 내에 있는 사용자 인터페이스의 그러한 부분들이다. 일부 실시예들에서, 개별 사람의 표현의(예를 들어, 그의 경계의) 임계 거리보다 더 먼 사용자 인터페이스의 부분들은 시각적 효과로 디스플레이되지 않는다(예를 들어, 개별 사람에 기초한 사용자 인터페이스 요소의 디스플레이의 업데이트의 결과로서 변경되지 않거나, 비-블러링되어 디스플레이되거나, 덜 투명하게 디스플레이되는 등). 일부 실시예들에서, 사용자 인터페이스에 적용된 시각적 효과는 개별 사람의 표현(예를 들어, 그의 경계)으로부터의 거리의 함수로서 크기가 감소한다. 개별 사람의 표현으로부터의 거리에 기초하여 상이한 양들만큼 사용자 인터페이스를 변경하는 전술한 방식은 사용자 인터페이스 내의 시각적 혼란을 감소시키며, 이는 (예를 들어, 개별 사용자의 존재를 사용자 인터페이스의 콘텐츠로부터 분리된 것으로서 명확하게 나타내도록 도움으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
도 15a 내지 도 15c는 일부 실시예들에 따른, 디바이스의 특성들 및/또는 디바이스의 환경의 특성들에 기초하여 사용자 인터페이스(들)를 디스플레이하고 있는 몰입 레벨을 감소시키는 전자 디바이스의 예들을 예시한다.
도 15a는, 디스플레이 생성 컴포넌트(예를 들어, 도 1의 디스플레이 생성 컴포넌트(120))를 통해, 사용자 인터페이스(1534)를 디스플레이하는 전자 디바이스(101)를 예시한다. 도 1 내지 도 6을 참조하여 전술한 바와 같이, 전자 디바이스(101)는, 선택적으로, 디스플레이 생성 컴포넌트(예컨대, 터치 스크린) 및 복수의 이미지 센서들(예를 들어, 도 3의 이미지 센서들(314))을 포함한다. 이미지 센서들은, 선택적으로, 가시광 카메라, 적외선 카메라, 깊이 센서, 또는 사용자가 전자 디바이스(101)와 상호작용하는 동안 전자 디바이스(101)가 사용자 또는 사용자의 일부의 하나 이상의 이미지들을 캡처하는 데 사용할 수 있을 임의의 다른 센서 중 하나 이상을 포함한다. 일부 실시예들에서, 아래에 도시된 사용자 인터페이스들은 또한, 사용자에게 사용자 인터페이스를 디스플레이하는 디스플레이 생성 컴포넌트, 및 물리적 환경 및/또는 사용자의 손들의 이동들(예를 들어, 사용자로부터 외향으로 향하는 외부 센서들), 및/또는 사용자의 시선(예를 들어, 사용자의 얼굴을 향해 내향으로 향하는 내부 센서들)을 검출하기 위한 센서들을 포함하는 머리 장착형 디스플레이 상에서 구현될 수 있다.
디바이스(101)는 선택적으로, 디바이스(101) 주위의 물리적 환경(1500) 내의 하나 이상의 객체들을 포함하는, 디바이스(101) 주위의 물리적 환경(1500)(예를 들어, 동작 환경(100))의 하나 이상의 이미지들을 캡처한다. 예를 들어, 도 15a에서, 물리적 환경(1500)은 2개의 객체들(예를 들어, 나무(1504a) 및 공(1506a)) 및 2명의 사람들(예를 들어, 사람(1502a) 및 사람(1508a))을 포함한다. 도 15a에서, 디바이스(101)는 몰입 스케일(1530) 상의 상대적으로 높은(예를 들어, 최대) 몰입 레벨(1532)에서 (예를 들어, 애플리케이션 앱 C의) 사용자 인터페이스(1534)를 디스플레이하고 있다. 예를 들어, 도 15a의 디스플레이는, 선택적으로, 디바이스(101)가, 디바이스(101)의 입력 요소(예를 들어, 도 9a를 참조하여 설명된 바와 같은, 디바이스(101)의 입력 요소(920))를 사용하여 사용자 인터페이스(1534)의 몰입 레벨을 몰입 레벨(1532)로 증가시키기 위한 입력을 검출한 결과이다. 일부 실시예들에서, 사용자 인터페이스(1534)는 애플리케이션의 사용자 인터페이스와 대조적으로 디바이스(101)의 운영 체제의 사용자 인터페이스이다. 디바이스(101)가 도 15a에서 사용자 인터페이스(1534)를 디스플레이하고 있는 몰입 레벨(1532)에서, 사용자 인터페이스(1534)는 디스플레이 생성 컴포넌트(120)를 통해 디바이스(101)의 물리적 환경(1500)(예를 들어, 물리적 환경(1500) 내의 객체들, 사람들 등)의 디스플레이를 모호하게 하고 있어서(예를 들어, 완전히 모호하게 함), 사용자 인터페이스(1534)의 콘텐츠(예를 들어, 가상 테이블 상의 가상 상자)는 디스플레이 생성 컴포넌트(120)를 통해 보이지만, 물리적 환경(1500)의 표현(들)은 디스플레이 생성 컴포넌트(120)를 통해 보이지 않도록 한다. 일부 실시예들에서, 상대적으로 높은(예를 들어, 최대) 몰입 레벨(1532)에서 사용자 인터페이스(1534)를 디스플레이하는 것과 관련된 세부사항들은 방법(1000)을 참조하여 설명된 바와 같다. 도 15a 내지 도 15c의 설명이 상대적으로 높은 몰입 레벨(1532)을 갖는 사용자 인터페이스(1534)의 맥락에서 제공되지만, 도 15a 내지 도 15c 및 방법(1600)의 특징들은 선택적으로, 디바이스(101)에 의해 디스플레이된 가상 요소, 객체 등이 디스플레이 생성 컴포넌트(120)를 통한 물리적 환경(1500)의 임의의 부분의 디스플레이를 적어도 부분적으로 모호하게 하는, 임의의 상황에 유사하게 적용된다는 것이 이해된다.
일부 실시예들에서, 디바이스(101)는 디바이스(101) 및/또는 환경(1500)의 하나 이상의 특성들을 검출할 수 있고, 소정 특성들을 검출하는 것에 응답하여, 디바이스(101)는 선택적으로 사용자 인터페이스(1534)를 디스플레이하는 몰입 레벨(1532)을 감소시켜, 객체들, 사람들 및/또는 물리적 환경(1500)의 하나 이상의 부분들이 디스플레이 생성 컴포넌트(120)를 통해 적어도 부분적으로 보이게 되도록 한다(예를 들어, 그것들이, 그러한 특성들을 검출하기 전에, 보이지 않았거나 완전히 보이지 않았을 때). 일부 실시예들에서, 디바이스(101)는 (예를 들어, 가속도계, GPS 위치 검출기 및/또는 다른 관성 측정 유닛(IMU)을 사용하여) 디바이스(101)의 이동(예컨대, 그의 속도)의 특성들을 검출하는 것에 응답하여 몰입 레벨(1532)을 감소시킨다(예컨대, 디바이스가 시속 0.5, 1, 3, 5, 10, 20, 50마일과 같은 속도 임계치보다 빠르게 이동하고 있는 경우). 일부 실시예들에서, 디바이스(101)는 (예를 들어, 카메라, 마이크로폰 등을 사용하여) 물리적 환경(1500)의 특성들을 검출하는 것에 응답하여 몰입 레벨(1532)을 감소시킨다(예를 들어, 환경(1500)이 잠재적으로 위험한 상황과 연관된 소리, 예컨대 유리 깨지는 소리 또는 화재 경보의 소리를 포함하는 경우). 일부 실시예들에서, 디바이스(101)는 디바이스(101)가 환경(1500)에서 객체들 및/또는 위험들을 검출하는 경우에만 전술한 몰입 감소들을 수행한다-디바이스(101)가 환경(1500)에서 객체들 및/또는 위험들을 검출하지 않는 경우, 디바이스(101)는 선택적으로, 필요한 속도 및/또는 소리 특성들이 디바이스(101)에 의해 검출되더라도, 위의 속도- 및/또는 소리-기반 몰입 감소들을 수행하지 않는다. 일부 실시예들에서, 디바이스(101)는 디바이스(101)가 사용자 인터페이스(1534)를 디스플레이하고 있는 몰입 레벨을 미리 결정된 상대적으로 낮은(예를 들어, 최소) 몰입 레벨로 감소시켜, 사용자 인터페이스(1534) 전체의 디스플레이가 수정되도록 한다(예를 들어, 사용자 인터페이스(1334)의 부분들의 디스플레이가 수정되는 반면에 사용자 인터페이스(1334)의 다른 부분들의 디스플레이는 수정되지 않는, 상이한 상황들에 응답하는 도 13a 내지 도 13c의 디바이스(101)의 응답과 비교하여).
예를 들어, 도 15a에서, 디바이스(101)의 속도(1552)는 속도 스케일(1550) 상에서 속도 임계치(1551)(예를 들어, 시속 0.5, 1, 3, 5, 10, 20, 50마일) 미만이다. 따라서, 디바이스(101)는 사용자 인터페이스(1534)의 몰입(1532)을 수정하지 않았고, 객체들, 사람들 및/또는 물리적 환경(1500)의 부분들은 사용자 인터페이스(1534)에 의해 모호해진 채로 유지된다.
도 15b에서, 디바이스(101)는 디바이스(101)의 속도(1552)가 속도 스케일(1550) 상에서 속도 임계치(1551)를 초과했음을 검출한다. 그 결과, 디바이스(101)는 선택적으로 사용자 인터페이스(1534)를 디스플레이하고 있었던 몰입 레벨(1532)을 수정한다. 일부 실시예들에서, 디바이스(101)가 그것이 차량(예를 들어, 자동차, 비행기 등) 내에서 이동하고 있다고 결정하는 경우, 그것은 속도 임계치(1551) 초과의 속도(1552)를 검출하는 것에 응답하여 몰입 레벨(1532)을 수정하지 않는다. 도 15b에서, 디바이스(101)는 몰입 레벨(1532)을 최소 몰입 레벨로 감소시켜, 사용자 인터페이스(1534)의 어떠한 것도 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되지 않고, 객체들(예를 들어, 1504b, 1506b), 사람들(예를 들어, 1502b, 1508b) 및/또는 물리적 환경(1500)의 부분들의 표현들이 디스플레이 생성 컴포넌트(120)를 통해 완전히 보이도록 하였다. 일부 실시예들에서, 디바이스(101)는 몰입 레벨(1532)을 최소 몰입 레벨로 감소시키지 않고, 오히려 상대적으로 낮은(예를 들어, 0이 아닌) 몰입 레벨로 감소시킨다. 상대적으로 낮은 몰입 레벨들에서의 사용자 인터페이스(1534) 및/또는 표현들(1502b, 1504b, 1506b, 1508b)의 디스플레이에 관한 세부사항들은 선택적으로 방법(1000)을 참조하여 설명된 바와 같다. 따라서, 전술한 바와 같이, 디바이스(101)는 선택적으로 디바이스(101)가 상대적으로 높은 속도(예를 들어, 속도 임계치 초과)로 이동하고 있을 때 디바이스(101)의 물리적 환경(1500)을 디스플레이 생성 컴포넌트(120)를 통해 보이게 만들어서, 디바이스(101)를 사용하고 있는 사용자가 그 속도에서의 이동으로부터 발생할 수 있는 잠재적으로 위험한 상황들을 피하기 위해 디스플레이 생성 컴포넌트(120)를 통해 물리적 환경(1500)을 볼 수 있도록 보장하는 것을 돕는다.
일부 실시예들에서, 디바이스(101)는, 디바이스(101)의 속도(1552)가 속도 임계치(1552) 아래로 떨어지는 것을 검출하는 것에 응답하여, 이전 몰입 레벨(예를 들어, 도 15a에 도시된 바와 같이, 몰입-감소 속도가 검출되었을 때 디바이스(101)가 사용자 인터페이스(1534)를 디스플레이하고 있었던 몰입 레벨)에서 사용자 인터페이스(1534)를 디스플레이하는 것으로 복귀한다. 일부 실시예들에서, 디바이스(101)는 디바이스(101)의 속도(1552)가 속도 임계치(1552) 아래로 떨어지는 것을 검출하는 것에 응답하여 이전 몰입 레벨에서 사용자 인터페이스(1534)를 디스플레이하는 것으로 복귀하지 않고-오히려, 일부 실시예들에서, 디바이스(101)는, 도 15b를 참조하여 설명된 바와 같이 그것을 감소시킨 후 (예를 들어, 도 11a 및 도 11b를 참조하여 설명된 바와 유사하게) 몰입 레벨(1532)을 증가시키기 위한 별개의 사용자 입력을 요구한다.
도 15c는, 디바이스(101)가 물리적 환경(1500)에서 소리(들)의 소정 특성들을 검출하는 것에 응답하여 그것이 사용자 인터페이스(1534)를 디스플레이하고 있는 몰입 레벨(1532)를 감소시키는, 시나리오를 예시한다. 특히, 도 15b에서, 디바이스(101)는 환경(1500)에서 소리(1560)를 검출한다. 소리(1560)는 선택적으로, 무언가 깨지는 소리, 높은 스트레스 값을 갖는 전자 디바이스의 물리적 환경에 있는 사람의 음성, 알람 소리(예를 들어, 연기, 화재, 일산화탄소, 강도 등) 등과 같은, 잠재적으로 위험한 상황과 연관된 소리이다. 그 결과, 디바이스(101)의 속도(1552)가 속도 임계치(1551) 미만이더라도, 디바이스(101)는 선택적으로 그것이 사용자 인터페이스(1534)를 디스플레이하고 있었던 몰입 레벨(1532)을 수정한다. 도 15c에서, 디바이스(101)는 몰입 레벨(1532)을 최소 몰입 레벨로 감소시켜, 사용자 인터페이스(1534)의 어떠한 것도 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되지 않고, 객체들(예를 들어, 1504b, 1506b), 사람들(예를 들어, 1502b, 1508b) 및/또는 물리적 환경(1500)의 부분들의 표현들이 디스플레이 생성 컴포넌트(120)를 통해 완전히 보이도록 하였다. 일부 실시예들에서, 디바이스(101)는 몰입 레벨(1532)을 최소 몰입 레벨로 감소시키지 않고, 오히려 상대적으로 낮은(예를 들어, 0이 아닌) 몰입 레벨로 감소시킨다. 상대적으로 낮은 몰입 레벨들에서의 사용자 인터페이스(1534) 및/또는 표현들(1502b, 1504b, 1506b, 1508b)의 디스플레이에 관한 세부사항들은 선택적으로 방법(1000)을 참조하여 설명된 바와 같다. 따라서, 전술한 바와 같이, 디바이스(101)는 선택적으로 디바이스(101)가 환경(1500)에서 잠재적으로 위험한 상황과 연관된 소리를 검출할 때 디바이스(101)의 물리적 환경(1500)이 디스플레이 생성 컴포넌트(120)를 통해 보이게 만들어서, 디바이스(101)를 사용하고 있는 사용자가 환경(1500)에 존재하거나 환경(1500)에서 발생했을 수 있는 잠재적으로 위험한 상황들을 피하기 위해 디스플레이 생성 컴포넌트(120)를 통해 물리적 환경(1500)을 볼 수 있도록 보장하는 것을 돕는다.
일부 실시예들에서, 디바이스(101)는, 소리(1560)가 디바이스(101)에 의해 더 이상 검출되지 않고/않거나 (예를 들어, 소리(1560)가 디바이스(101)에 의해 더 이상 검출되지 않은 후 1, 3, 5, 10, 30, 60초와 같은 시간 임계치 동안) 소리 기준들을 더 이상 충족하지 않는 것에 응답하여, 이전 몰입 레벨(예를 들어, 도 15a에 도시된 바와 같이, 소리(1560)가 검출되었을 때 디바이스(101)가 사용자 인터페이스(1534)를 디스플레이하고 있었던 몰입 레벨)에서 사용자 인터페이스(1534)를 디스플레이하는 것으로 복귀한다. 일부 실시예들에서, 디바이스(101)는 소리(1560)가 디바이스(101)에 의해 더 이상 검출되지 않고/않거나 소리 기준들을 더 이상 충족하지 않는 것에 응답하여 이전 몰입 레벨에서 사용자 인터페이스(1534)를 디스플레이하는 것으로 복귀하지 않고-오히려, 일부 실시예들에서, 디바이스(101)는, 도 15c를 참조하여 설명된 바와 같이 그것을 감소시킨 후 (예를 들어, 도 11a 및 도 11b를 참조하여 설명된 바와 유사하게) 몰입 레벨(1532)을 증가시키기 위한 별개의 사용자 입력을 요구한다.
도 16a 내지 도 16c는 일부 실시예들에 따른, 전자 디바이스의 특성들 및/또는 전자 디바이스의 물리적 환경에 기초하여 사용자 인터페이스와 연관된 몰입 레벨을 감소시키는 방법(1600)을 예시하는 흐름도이다. 일부 실시예들에서, 방법(1600)은 디스플레이 생성 컴포넌트(예를 들어, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예를 들어, 헤드 업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예를 들어, 사용자의 손에서 하방을 향하는 카메라(예를 들어, 컬러 센서들, 적외선 센서들 및 다른 깊이-감지 카메라들) 또는 사용자의 머리로부터 전방을 향하는 카메라)을 포함하는 컴퓨터 시스템(예를 들어, 태블릿, 스마트폰, 웨어러블 컴퓨터, 또는 머리 장착형 디바이스와 같은 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(1600)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예컨대 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(1600)에서의 일부 동작들은 선택적으로 조합되고/되거나, 일부 동작들의 순서는 선택적으로 변경된다.
방법(1600)에서, 일부 실시예들에서, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스(예를 들어, 도 1의 컴퓨터 시스템(101))(예를 들어, 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어, 또는 웨어러블 디바이스), 또는 컴퓨터)는, 도 15a의 사용자 인터페이스(1534)와 같은, 사용자 인터페이스 요소를 포함하는 사용자 인터페이스를 디스플레이한다(1602). 일부 실시예들에서, 전자 디바이스는 모바일 디바이스(예를 들어, 태블릿, 스마트폰, 미디어 플레이어 또는 웨어러블 디바이스) 또는 컴퓨터이다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 전자 디바이스와 통합된 디스플레이(선택적으로, 터치 스크린 디스플레이), 외부 디스플레이, 예컨대 모니터, 프로젝터, 텔레비전, 또는 사용자 인터페이스를 투영하기 위한 또는 사용자 인터페이스가 하나 이상의 사용자들에게 보이게 하기 위한 하드웨어 컴포넌트(선택적으로, 통합형 또는 외부) 등이다. 일부 실시예들에서, 전자 디바이스는 사용자 입력을 수신하고(예를 들어, 사용자 입력을 캡처하고, 사용자 입력을 검출하는 등) 사용자 입력과 연관된 정보를 전자 디바이스에 송신할 수 있는 전자 디바이스 또는 컴포넌트를 포함하는 하나 이상의 입력 디바이스들과 통신한다. 입력 디바이스들의 예들은 터치 스크린, 마우스(예를 들어, 외부), 트랙패드(선택적으로 통합형 또는 외부), 터치패드(선택적으로 통합형 또는 외부), 원격 제어 디바이스(예를 들어, 외부), 다른 모바일 디바이스(예를 들어, 전자 디바이스로부터 분리됨), 핸드헬드 디바이스(예를 들어, 외부), 제어기(예를 들어, 외부), 카메라, 깊이 센서, 모션 센서(예를 들어, 손 추적 디바이스, 손 모션 센서), 전자 디바이스에 포함된 물리적 기계적 입력 요소(예를 들어, 버튼, 회전하는 기계적 요소, 스위치 등), 및/또는 눈 추적 디바이스 등을 포함한다.
일부 실시예들에서, 전자 디바이스는, 전자 디바이스에 의해 생성, 디스플레이, 또는 달리 보일 수 있게 되는, 가상 현실(VR) 환경, 혼합 현실(MR) 환경, 또는 증강 현실(AR) 환경 등과 같은 컴퓨터-생성 현실(CGR) 환경과 같은 3차원 환경을 디스플레이한다. 일부 실시예들에서, 사용자 인터페이스 요소는 가상 요소 또는 객체(예를 들어, 전자 디바이스 상의 애플리케이션의 사용자 인터페이스, 3차원 환경에 디스플레이되는 가상 객체 등)이다. 일부 실시예들에서, 전자 디바이스는 3차원 환경을 디스플레이하고 있는 것이 아니라, 디스플레이 생성 컴포넌트를 통해 단순히 콘텐츠(예를 들어, 사용자 인터페이스 요소를 갖는 사용자 인터페이스)를 디스플레이하고 있다. 일부 실시예들에서, 사용자 인터페이스 요소는, 도 15a에서 1502a, 1504a, 1506a 및 1508a의 디스플레이를 모호하게 하는 것과 같이, 전자 디바이스의 물리적 환경의 개별 부분의 디스플레이 생성 컴포넌트를 통한 디스플레이를 적어도 부분적으로 모호하게 한다(1604)(예를 들어, 디스플레이 생성 컴포넌트는 선택적으로, 전자 디바이스에 의해 디스플레이된 가상 콘텐츠가 전자 디바이스의 물리적 환경의 부분들 상에 오버레이되어 디스플레이되지 않는 범위까지, 그 물리적 환경을 패스 스루함). 일부 실시예들에서, 전자 디바이스에 의해 디스플레이된 사용자 인터페이스 요소는 전자 디바이스의 물리적 환경의 개별 부분보다 전자 디바이스의 시점에 더 가깝게 또는 시점 "앞에" 디스플레이된다(예를 들어, 개별 부분은 물리적 환경 내의 사람, 물리적 환경 내의 객체 등을 포함함). 이와 같이, 사용자 인터페이스 요소는 디스플레이 생성 컴포넌트를 통한 물리적 환경의 개별 부분의 표현의 디스플레이를 선택적으로 모호하게 한다/차단한다(예를 들어, 개별 부분의 표현의 디스플레이를 완전히 모호하게 하거나(예를 들어, 사용자 인터페이스 요소는 완전히 불투명하고/하거나 물리적 환경의 개별 부분의 표현을 완전히 덮음) 또는 개별 부분의 표현의 디스플레이를 부분적으로 모호하게 함(예를 들어, 사용자 인터페이스 요소는 반투명하고/하거나 개별 부분의 표현을 완전히 덮지는 않음)). 일부 실시예들에서, 사용자 인터페이스 및/또는 그의 콘텐츠는 물리적 환경 전체를 가려서, 디스플레이 생성 컴포넌트를 통해 물리적 환경의 어떤 부분도 보이지 않도록 한다. 일부 실시예들에서, 사용자 인터페이스 및/또는 그의 콘텐츠는 물리적 환경 전체보다 작은 부분을 가려서, 물리적 환경의 부분들이 디스플레이 생성 컴포넌트를 통해 보이는 반면에, 다른 부분들(예를 들어, 개별 사람)은 디스플레이 생성 컴포넌트를 통해 보이지 않도록 한다. 일부 실시예들에서, 전자 디바이스는 방법들(1000, 1200, 1400)을 참조하여 설명된 바와 같이 개별 몰입 레벨에서 사용자 인터페이스를 디스플레이한다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안(1606), 도 15b에 도시된 바와 같이, 전자 디바이스의 이동 속도에 기초하여 충족되는 기준을 포함하는 하나 이상의 기준들이 충족된다는 결정에 따라(예를 들어, 가속도계, GPS 위치 검출기 및/또는 다른 관성 측정 유닛(IMU)을 통해 검출되는 것과 같은, 전자 디바이스가 이동하고 있는 속도가 속도 임계치(예를 들어, 시속 3, 5, 10마일)보다 큼. 예를 들어, 전자 디바이스의 사용자는 전자 디바이스를 유지, 착용 및/또는 다른 방식으로 사용하면서 달리고 있음), 전자 디바이스는 사용자 인터페이스 요소가 물리적 환경의 개별 부분의 디스플레이 생성 컴포넌트를 통한 디스플레이를 모호하게 하는 정도를 감소시키도록 사용자 인터페이스 요소의 디스플레이를 업데이트하는데(1608), 예컨대 도 15b의 사용자 인터페이스(1534)의 디스플레이를 감소시켜서 도 15b의 디스플레이 생성 컴포넌트(120)를 통해 표현들(1502b, 1504b, 1506b 및/또는 1508b)이 보이도록 한다(예를 들어, 사용자 인터페이스 요소를 디스플레이하는 것을 중단하여, 그것이 디스플레이 생성 컴포넌트를 통해 더 이상 개별 부분의 "앞에" 있지 않도록, 따라서 전자 디바이스의 물리적 환경 내의 개별 부분의 표현이 디스플레이 생성 컴포넌트를 통해 보이도록 함). 일부 실시예들에서, 전자 디바이스는 개별 부분이 사용자 인터페이스 요소를 통해 보이게(또는 더 잘 보이게) 되도록 사용자 인터페이스 요소의 반투명도를 증가시킨다. 일부 실시예들에서, 전자 디바이스는 사용자 인터페이스 내의 사용자 인터페이스 요소를 이동시켜, 그것이 더 이상 전자 디바이스의 물리적 환경의 개별 부분의 "앞에" 있지 않도록 한다. 일부 실시예들에서, 전자 디바이스는 전술한 바와 같이 디스플레이된 사용자 인터페이스의 전체(예를 들어, 사용자 인터페이스에 디스플레이된 모든 것)를 업데이트한다. 일부 실시예들에서, 전자 디바이스는 개별 부분을 가리는 사용자 인터페이스의 부분(예를 들어, 사용자 인터페이스의 그 부분에 디스플레이된 객체들)만을 업데이트하고, 사용자 인터페이스의 나머지의 디스플레이는 수정하지 않는다. 일부 실시예들에서, 전자 디바이스는, 방법(1000)을 참조하여 설명된 바와 같이, 낮은 몰입 레벨 또는 몰입 없음 레벨로 몰입 레벨을 감소시킨다. 일부 실시예들에서, 전자 디바이스의 이동 속도가 빠를수록, 전자 디바이스는 몰입 레벨을 더 많이 감소시킨다.
일부 실시예들에서, 하나 이상의 기준들이 충족되지 않는다는 결정에 따라, 전자 디바이스는 사용자 인터페이스 요소의 디스플레이를 업데이트하는 것을 보류한다(1610). 예를 들어, 사용자 인터페이스 및/또는 사용자 인터페이스 요소의 디스플레이를 수정하지 않는다(예를 들어, 전자 디바이스의 몰입 레벨을 유지함). 이와 같이, 사용자 인터페이스 요소는 선택적으로 이전에 그랬던 것과 동일한 정도까지 디스플레이 생성 컴포넌트를 통한 개별 부분의 디스플레이를 계속 모호하게 한다. 전자 디바이스의 속도에 기초하여 사용자 인터페이스의 디스플레이를 선택적으로 변경하는 전술한 방식은, 관련성이 있을 가능성이 있을 때에만(예를 들어, 전자 디바이스를 사용할 때 안전을 위해), 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 하나 이상의 기준들은, 전자 디바이스가 차량(예를 들어, 자동차, 비행기, 보트, 기차, 버스 등) 내에 위치되지 않을 때 충족되고 전자 디바이스가 차량 내에 위치될 때 충족되지 않는 기준을 포함한다(1612). 예를 들어, 전자 디바이스가 그것이 차량 내에 위치된다고 결정하는 경우, 사용자 인터페이스 요소가 물리적 환경의 개별 부분의 디스플레이 생성 컴포넌트를 통한 디스플레이를 모호하게 하는 정도를 감소시키도록 사용자 인터페이스 요소의 디스플레이를 업데이트하는 것은 선택적으로, 전자 디바이스의 이동 속도가 전자 디바이스의 이동 속도에 기초하여 충족되는 기준을 충족하더라도, 보류된다. 일부 실시예들에서, 전술한 바와 같이 사용자 인터페이스 요소의 디스플레이의 업데이트를 야기하는 전자 디바이스의 이동 속도는 물리적 환경 내의 인접 주위(immediate surroundings)에 대한 전자 디바이스의 이동 속도이며-따라서, 일부 실시예들에서, 차량 내에 있는 동안-차량이 전자 디바이스의 이동 속도에 기초하여 충족되는 기준을 충족할 속도로 이동하고 있더라도-전자 디바이스는 선택적으로 물리적 환경 내의 인접 주위(예를 들어, 차량 내)에 대해 빠르게 이동하고 있지 않을 것이고, 따라서 선택적으로 전술한 바와 같이 사용자 인터페이스 요소의 디스플레이를 업데이트하지 않을 것이다. 일부 실시예들에서, 전자 디바이스는 그것의 이동의 특성들(예를 들어, 사용자가 차량 내에 있지 않고서 이동할 수 있는 것보다 더 빠르게 이동함)에 기초하여, 그것의 주위의 이미지 인식에 기초하여, 그리고/또는 차량 내 전자 시스템(예를 들어, 차량의 인포테인먼트 시스템)과의 통신에 기초하여 그것이 차량 내에 있다고 결정한다. 일부 실시예들에서, 전자 디바이스가 센서들의 제1 세트를 사용하여(예컨대, IMU를 통해) 고속의 이동을 검출하지만, 센서들의 제2 세트를 사용하여(예컨대, 광학 카메라를 통해) 물리적 환경 내의 인접 주위에 대한 이동을 검출하지 않는 경우, 전자 디바이스는, 그것이 차량 내에 있거나, 또는 센서들의 제1 세트를 통한 검출된 고속의 이동이 여기에 설명된 바와 같이 사용자 인터페이스 요소의 업데이트를 야기하지 않아야 하는(그리고 야기하지 않을) 다른 위치에 있다고 결정한다. 전자 디바이스가 차량 내에서 이동하고 있는지 여부를 고려하는 전술한 방식은, 속도가 전자 디바이스의 인접 주위에 대한 것이 아닌 상황들에서 속도에 기초하여 사용자 인터페이스 요소의 디스플레이를 불필요하게 수정하는 것을 피하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 하나 이상의 기준들은, 전자 디바이스의 물리적 환경이 하나 이상의 검출된 위험들(예를 들어, 사용자가 넘어질 수 있는 계단, 사용자가 걸려 넘어질 수 있는 객체 등)을 포함할 때 충족되는 기준을 포함한다(1614). 일부 실시예들에서, 전자 디바이스는 전자 디바이스의 물리적 환경에서 하나 이상의 위험들을 검출 및/또는 식별하기 위해 하나 이상의 센서들(예를 들어, 카메라들)을 사용한다. 일부 실시예들에서, 전자 디바이스는 방법(1400)을 참조하여 설명된 방식들로(예를 들어, 사용자에 대한 근접성에 기초하여, 위험들의 이동 특성들에 기초하여 등) 검출된 위험들을 검출하고/하거나 그에 응답한다. 전자 디바이스의 물리적 환경 내의 위험들의 존재에 기초하여 사용자 인터페이스의 디스플레이를 선택적으로 변경하는 전술한 방식은, 관련성이 있을 가능성이 있을 때에만(예를 들어, 전자 디바이스를 사용할 때 안전을 위해), 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 전자 디바이스의 물리적 환경 내의 위험이 없을 때 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 하나 이상의 기준들은, 도 15a 및 도 15b에서와 같이, 전자 디바이스의 물리적 환경의 개별 부분이 하나 이상의 물리적 객체들을 포함할 때 충족되는 기준을 포함한다(1616). 예를 들어, 일부 실시예들에서, 전자 디바이스는, 사용자 인터페이스 요소에 의해 모호해진 물리적 환경의 일부가 하나 이상의 물리적 객체들(예를 들어, 방법(1600)을 참조하여 본 명세서에 설명되고/되거나 방법(1400)을 참조하여 설명된 바와 같은 위험들)을 포함하는 것으로 전자 디바이스에 의해 결정되는 경우에만, 사용자 인터페이스 요소의 디스플레이를 수정한다. 일부 실시예들에서, 사용자 인터페이스 요소에 의해 모호해진 물리적 환경의 일부가 하나 이상의 물리적 객체들(예를 들어, 위험들; 예를 들어, 전자 디바이스의 물리적 환경의 상이한 부분이 하나 이상의 물리적 객체들을 포함하는 경우)을 포함하지 않는 것으로 전자 디바이스에 의해 결정되는 경우, 전자 디바이스는 선택적으로 전술한 바와 같이 사용자 인터페이스 요소의 디스플레이를 수정하지 않는다. 디스플레이된 사용자 인터페이스가 전자 디바이스의 사용자에게 위험을 제기할 물리적 객체들의 디스플레이를 실제로 가리는지 여부에 기초하여 사용자 인터페이스의 디스플레이를 선택적으로 변경하는 전술한 방식은, 관련성이 있을 가능성이 있을 때에만(예를 들어, 전자 디바이스를 사용할 때 안전을 위해), 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 전자 디바이스에 의해 디스플레이된 사용자 인터페이스에 의해 가려지는 객체가 없을 때 사용자 인터페이스의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안(1618), 도 13a 내지 도 13c를 참조하여 설명된 바와 같이, 전자 디바이스의 물리적 환경 내의 하나 이상의 물리적 객체들의 하나 이상의 특성들에 기초하여 충족되는 기준을 포함하는 하나 이상의 제2 기준들이 충족된다는 결정에 따라(예를 들어, 방법(1400)을 참조하여 설명된 바와 같이 그리고/또는 방법(1600)을 참조하여 본 명세서에서 설명된 바와 같이, 전자 디바이스로 하여금 전자 디바이스의 물리적 환경 내의 물리적 객체들의 표현들이 이전보다 디스플레이 생성 컴포넌트를 통해 더 잘 보이도록 만들게 하는 그러한 물리적 객체들에 관한 기준들. 일부 실시예들에서, 하나 이상의 제2 기준들은 전자 디바이스의 이동 속도에 기초하여 충족되지 않음), 전자 디바이스는 도 13a 내지 도 13c와 도 15a 내지 도 15c를 비교하는 것과 같이, 사용자 인터페이스 요소가 물리적 환경의, 개별 부분보다 작은, 제2 개별 부분의 디스플레이 생성 컴포넌트를 통한 디스플레이를 모호하게 하는 정도를 감소시키도록 사용자 인터페이스 요소의 디스플레이를 업데이트한다(1620). 예를 들어, 일부 실시예들에서, 전자 디바이스의 물리적 환경 내의 하나 이상의 물리적 객체들의 특성들이 전자 디바이스로 하여금 디스플레이 생성 컴포넌트를 통해 디스플레이된 사용자 인터페이스의 디스플레이를 수정하게 하는 경우, 전자 디바이스는 디스플레이 생성 컴포넌트를 통한 그러한 하나 이상의 물리적 객체들의 표현들의 디스플레이를 모호하게 하는 사용자 인터페이스의 그러한 부분들의 디스플레이만 수정한다(예를 들어, 디스플레이 생성 컴포넌트를 통해 그러한 하나 이상의 물리적 객체들의 표현들을 더 잘 보이도록 만들기 위해). 일부 실시예들에서, 전자 디바이스는 그러한 하나 이상의 물리적 객체들의 표현들의 디스플레이를 모호하게 하지 않는 사용자 인터페이스의 다른 부분들의 디스플레이를 유지한다(예를 들어, 디스플레이를 수정하지 않음). 대조적으로, 일부 실시예들에서, 전자 디바이스의 이동 속도가, 전자 디바이스로 하여금 디스플레이 생성 컴포넌트를 통해 디스플레이된 사용자 인터페이스의 디스플레이를 수정하게 하는 것인 경우, 전자 디바이스는 선택적으로 디스플레이 생성 컴포넌트를 통해 디스플레이된 사용자 인터페이스의 더 큰 부분(또는 전부)을 수정하여, 물리적 환경의 표현의 더 큰 부분(또는 전부)이 디스플레이 생성 컴포넌트를 통해 보이게 만든다(예를 들어, 일부 실시예들에서, 전자 디바이스의 물리적 환경 내의 (예를 들어, 임의의) 물리적 객체들의 위치들과 무관하게). 무엇이 수정을 야기하는지에 따라 사용자 인터페이스의 상이한 부분들의 디스플레이를 수정하는 전술한 방식은, (예를 들어, 전자 디바이스를 사용할 때 안전을 위해) 수정이 필요할 가능성이 가장 높은 사용자 인터페이스의 부분(들)만 수정하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 사용자 인터페이스의 너무 많은 부분의 디스플레이를 불필요하게 업데이트하지 않아서, 디스플레이된 사용자 인터페이스의 더 큰 연속성을 유지하고 사용자 인터페이스의 잘못된 업데이트를 되돌리기 위한 사용자 입력들을 피함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 사용자 인터페이스를 디스플레이하는 동안(1622), 도 15c의 소리(1560)와 같은, 전자 디바이스의 물리적 환경에서 검출된 소리에 기초하여 충족되는 기준을 포함하는 하나 이상의 제2 기준들이 충족된다는 결정에 따라(예를 들어, 기준들은, 전자 디바이스가, 마이크로폰을 통해, 무언가 깨지는 소리, 높은 스트레스 값을 갖는 전자 디바이스의 물리적 환경에 있는 사람의 음성, 알람 소리(예를 들어, 연기, 화재, 일산화탄소, 강도 등) 등과 같은, 잠재적으로 위험한 상황과 일반적으로 연관되는 소리를 검출하는 경우 충족됨. 일부 실시예들에서, 하나 이상의 제2 기준들은, 소리의 볼륨이 소리의 소스가 인근에/전자 디바이스의 인근 물리적 환경에 있음을 나타내기 위한 임계 레벨보다 높을 때 충족되지만 그렇지 않으면 충족되지 않는, 다른 기준을 포함함. 일부 실시예들에서, 하나 이상의 제2 기준들은, 소리의 볼륨 이외의 소리의 특성(예를 들어, 주파수 등)이 소리의 소스가 인근에/전자 디바이스의 인근 물리적 환경에 있음을 나타낼 때 충족되고 그렇지 않으면 충족되지 않는 기준을 포함함), 전자 디바이스는, 표현들(1502b, 1504b, 1506b 및/또는 1508b)이 도 15c의 디스플레이 생성 컴포넌트(120)를 통해 보이도록 도 15c에서 사용자 인터페이스(1534)의 디스플레이를 감소시키는 것과 같이, 사용자 인터페이스 요소가 물리적 환경의 개별 부분의 디스플레이 생성 컴포넌트를 통한 디스플레이를 모호하게 하는 정도를 감소시키도록 사용자 인터페이스 요소의 디스플레이를 업데이트한다(1624). 일부 실시예들에서, 전자 디바이스는 하나 이상의 기준들(예를 들어, 속도-기반 기준 포함)이 충족될 때 그러한 것과 같이 하나 이상의 제2 기준들을 충족하는 소리들에 유사하게(또는 동일한 방식으로) 응답한다. 일부 실시예들에서, 소리의 소스가 전자 디바이스에 가까울수록, 전자 디바이스는 몰입 레벨을 더 많이 감소시킨다. 일부 실시예들에서, 하나 이상의 제2 기준들이 충족되지 않는 경우, 전자 디바이스는 검출된 소리에 기초하여 몰입 레벨을 감소시키지 않는다. 전자 디바이스에 의해 검출된 소리에 기초하여 사용자 인터페이스의 디스플레이를 선택적으로 변경하는 전술한 방식은, 다수의 잠재적으로 관련성 있는 트리거들에 기초하여 전자 디바이스의 사용자가 디스플레이 생성 컴포넌트를 통해 전자 디바이스의 물리적 환경을 볼 수 있도록 하는 신속하고 효율적인 방식을 제공하며, 이는 (예를 들어, 전자 디바이스가 물리적 환경을 더 잘 보이게 만드는 더 많은 방식들을 제공하여, 물리적 환경을 더 잘 보이게 만들기 위한 추가 사용자 입력을 필요로 하는 것을 방지함으로써) 사용자와 전자 디바이스 사이의 상호작용을 단순화하고 전자 디바이스의 동작성을 향상시키며 사용자-디바이스 인터페이스를 더 효율적으로 만들고, 이는 추가적으로, 사용자가 전자 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 전자 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선하면서 사용 시 오류를 감소시킨다.
일부 실시예들에서, 방법들(800, 1000, 1200, 1400, 1600)의 양태들/동작들은 이들 방법들 사이에서 상호교환, 대체, 및/또는 추가될 수 있다. 간결함을 위해, 이러한 상세사항들은 여기서 반복되지 않는다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여, 그에 의해 당업자들이 본 발명 및 다양한 설명된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 사용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.
Claims (18)
- 방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 전자 디바이스에서,
상기 디스플레이 생성 컴포넌트를 통해, 상기 전자 디바이스의 운영 체제의 제1 개별 사용자 인터페이스를 디스플레이하는 단계 - 상기 제1 개별 사용자 인터페이스는 제1 몰입 레벨에서 디스플레이됨 -;
상기 제1 몰입 레벨에서 상기 제1 개별 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 개별 애플리케이션의 제2 개별 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제1 사용자 입력을 수신하는 단계;
상기 제1 사용자 입력을 수신하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 개별 애플리케이션의 상기 제2 개별 사용자 인터페이스를 디스플레이하는 단계 - 상기 개별 애플리케이션의 상기 제2 개별 사용자 인터페이스는 제2 몰입 레벨에서 디스플레이됨 -;
상기 제2 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스와 연관된 현재 몰입 레벨을 변경하라는 요청에 대응하는 제2 사용자 입력을 수신하는 단계;
상기 제2 사용자 입력을 수신하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 몰입 레벨과는 상이한 제3 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 단계;
상기 제3 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 제1 개별 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제3 사용자 입력을 수신하는 단계; 및
상기 제3 사용자 입력을 수신하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 개별 사용자 인터페이스를 디스플레이하는 단계 - 상기 제1 개별 사용자 인터페이스는 상기 제1 몰입 레벨에서 디스플레이됨 -
를 포함하는 방법. - 제1항에 있어서,
상기 하나 이상의 입력 디바이스들은 회전가능한 입력 요소를 포함하고, 상기 전자 디바이스와 연관된 현재 몰입 레벨을 변경하라는 요청에 대응하는 상기 제2 사용자 입력을 수신하는 단계는 상기 회전가능한 입력 요소의 회전을 검출하는 단계를 포함하는, 방법. - 제2항에 있어서,
상기 회전가능한 요소의 회전을 검출하는 동안:
현재 디스플레이된 사용자 인터페이스의 현재 몰입 레벨이 최소 몰입 레벨이라는 결정에 따라, 촉각적 출력 생성기를 통해, 제1 값을 갖는 개별 특성을 갖는 제1 촉각적 출력을 생성하는 단계;
상기 현재 디스플레이된 사용자 인터페이스의 현재 몰입 레벨이 최대 몰입 레벨이라는 결정에 따라, 상기 촉각적 출력 생성기를 통해, 상기 제1 값을 갖는 개별 특성을 갖는 제2 촉각적 출력을 생성하는 단계; 및
상기 현재 디스플레이된 사용자 인터페이스의 현재 몰입 레벨이 중간 몰입 레벨이라는 결정에 따라, 상기 촉각적 출력 생성기를 통해, 상기 제1 값과 상이한 제2 값을 갖는 개별 특성을 갖는 제3 촉각적 출력을 생성하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 제2 사용자 입력은 제1 부분 및 제2 부분을 포함하고, 상기 방법은,
상기 제2 사용자 입력을 수신하는 동안:
상기 제2 사용자 입력의 상기 제1 부분을 수신하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 몰입 레벨과 상기 제3 몰입 레벨 사이에 있는 제4 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 단계; 및
상기 제2 사용자 입력의 상기 제2 부분을 수신하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제3 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 단계
를 더 포함하는 방법. - 제1항에 있어서,
상기 전자 디바이스와 연관된 현재 몰입 레벨을 변경하라는 요청에 대응하는 상기 제2 사용자 입력을 수신하는 단계는,
상기 제2 개별 사용자 인터페이스가 제1 애플리케이션의 사용자 인터페이스라는 결정에 따라, 상기 제2 개별 사용자 인터페이스와 함께 디스플레이된 제1 개별 제어부와의 상호작용을 검출하는 단계; 및
상기 제2 개별 사용자 인터페이스가 상기 제1 애플리케이션과 상이한 제2 애플리케이션의 사용자 인터페이스라는 결정에 따라, 상기 제2 사용자 인터페이스와 함께 디스플레이된, 상기 제1 개별 제어부와 상이한, 제2 개별 제어부와의 상호작용을 검출하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 제2 몰입 레벨에서, 상기 전자 디바이스의 물리적 환경의 제1 양은, 상기 디스플레이 생성 컴포넌트를 통해, 상기 전자 디바이스에 의해 디스플레이된 개별 사용자 인터페이스로 대체되고,
상기 제3 몰입 레벨에서, 상기 전자 디바이스의 물리적 환경의, 상기 제1 양과 상이한 제2 양은, 상기 디스플레이 생성 컴포넌트를 통해, 상기 전자 디바이스에 의해 디스플레이된 상기 개별 사용자 인터페이스로 대체되는, 방법. - 제1항에 있어서,
상기 제2 몰입 레벨에서, 상기 전자 디바이스의 물리적 환경의 제1 양은, 상기 디스플레이 생성 컴포넌트를 통해, 상기 전자 디바이스에 의해 강조약화되고(deemphasized),
상기 제3 몰입 레벨에서, 상기 전자 디바이스의 물리적 환경의, 상기 제1 양과 상이한 제2 양은, 상기 디스플레이 생성 컴포넌트를 통해, 상기 전자 디바이스에 의해 강조약화되는, 방법. - 제1항에 있어서,
상기 제2 몰입 레벨에서, 상기 디스플레이 생성 컴포넌트의 디스플레이 영역의 제1 양이 상기 전자 디바이스에 의해 디스플레이된 개별 사용자 인터페이스에 의해 점유되고,
상기 제3 몰입 레벨에서, 상기 디스플레이 생성 컴포넌트의 디스플레이 영역의, 상기 제1 영역과 상이한, 제2 영역이 상기 전자 디바이스에 의해 디스플레이된 상기 개별 사용자 인터페이스에 의해 점유되는, 방법. - 제1항에 있어서,
상기 제2 개별 사용자 인터페이스를 상기 제2 몰입 레벨에서 디스플레이되는 것으로부터 상기 제3 몰입 레벨에서 디스플레이되는 것으로 변경하는 것은, 상기 디스플레이 생성 컴포넌트를 통해 디스플레이되는 대기 효과(atmospheric effects)를 변경하는 것을 포함하는, 방법. - 제1항에 있어서,
상기 제2 개별 사용자 인터페이스는 상기 전자 디바이스에 의해 디스플레이된 개별 사용자 인터페이스 요소를 포함하고, 상기 제2 개별 사용자 인터페이스를 상기 제2 몰입 레벨에서 디스플레이되는 것으로부터 상기 제3 몰입 레벨에서 디스플레이되는 것으로 변경하는 것은, 상기 개별 사용자 인터페이스 요소의 디스플레이를 변경하는 것을 포함하는, 방법. - 제1항에 있어서,
상기 제2 개별 사용자 인터페이스를 상기 제2 몰입 레벨에서 디스플레이되는 것으로부터 상기 제3 몰입 레벨에서 디스플레이되는 것으로 변경하는 것은, 상기 전자 디바이스에 의해 생성된 오디오 효과를 변경하는 것을 포함하는, 방법. - 제1항에 있어서,
상기 제2 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 단계는, 상기 디스플레이 생성 컴포넌트의 디스플레이 영역의 제1 부분에 제1 애플리케이션의 콘텐츠를, 그리고 상기 디스플레이 생성 컴포넌트의 상기 디스플레이 영역의 제2 부분에 상기 전자 디바이스의 물리적 환경의 제1 개별 부분의 하나 이상의 표현들을 동시에 디스플레이하는 단계를 포함하고, 그리고
상기 제3 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 단계는 상기 디스플레이 생성 컴포넌트의 상기 디스플레이 영역의, 상기 제1 부분보다 큰, 제3 부분에 상기 제1 애플리케이션의 콘텐츠를, 그리고 상기 디스플레이 생성 컴포넌트의 상기 디스플레이 영역의, 상기 제2 부분보다 작은, 제4 부분에 상기 전자 디바이스의 물리적 환경의, 상기 제1 개별 부분과 상이한, 제2 개별 부분의 하나 이상의 표현들을 동시에 디스플레이하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 제2 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 단계는 제1 애플리케이션의 콘텐츠 및 물리적 환경의 하나 이상의 표현들을 동시에 디스플레이하는 단계를 포함하고,
상기 제3 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 단계는 상기 제2 몰입 레벨에서 디스플레이되는 상기 물리적 환경의 하나 이상의 표현들에 비해 강조약화된 상기 물리적 환경의 하나 이상의 표현들 및 상기 제1 애플리케이션의 콘텐츠를 동시에 디스플레이하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 제3 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 그리고 상기 제1 몰입 레벨에서 상기 제1 개별 사용자 인터페이스를 디스플레이한 후, 그리고 상기 제1 개별 사용자 인터페이스의 몰입 레벨을 상기 제1 몰입 레벨로부터 변경하라는 입력을 수신하지 않고, 그리고 상기 제2 개별 사용자 인터페이스의 몰입 레벨을 상기 제3 몰입 레벨로부터 변경하라는 입력을 수신하지 않고:
상기 하나 이상의 입력 디바이스들을 통해, 상기 개별 애플리케이션과 상이한, 제2 개별 애플리케이션의 제3 개별 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제4 사용자 입력을 수신하는 단계;
상기 제4 사용자 입력을 수신하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제3 개별 사용자 인터페이스를 제4 몰입 레벨에서 디스플레이하는 단계;
상기 제4 몰입 레벨에서 상기 제3 개별 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스와 연관된 현재 몰입 레벨을 변경하라는 요청에 대응하는 제5 사용자 입력을 수신하는 단계
상기 제5 사용자 입력을 수신하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제4 몰입 레벨과 상이한, 제5 몰입 레벨에서 상기 제3 개별 사용자 인터페이스를 디스플레이하는 단계; 및
상기 제5 사용자 입력을 수신한 후
상기 하나 이상의 입력 디바이스들을 통해, 상기 제1 개별 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제6 사용자 입력을 수신하는 단계;
상기 제6 사용자 입력을 수신하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 몰입 레벨에서 상기 제1 개별 사용자 인터페이스를 디스플레이하는 단계;
상기 하나 이상의 입력 디바이스들을 통해, 상기 제2 개별 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제7 사용자 입력을 수신하는 단계; 및
상기 제7 사용자 입력을 수신하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제3 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 단계
를 더 포함하는, 방법. - 제1항에 있어서,
상기 제3 사용자 입력을 수신한 후에 그리고 상기 제1 몰입 레벨에서 상기 제1 개별 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 제2 개별 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 제4 사용자 입력을 수신하는 단계; 및
상기 제4 사용자 입력을 수신하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제3 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 단계
를 더 포함하는 방법. - 제1항에 있어서,
상기 제2 사용자 입력은 제1 유형의 사용자 입력이고 상기 전자 디바이스와 연관된 현재 몰입 레벨을 증가시키라는 요청에 대응하고, 상기 제3 몰입 레벨은 상기 제2 몰입 레벨보다 크며, 상기 방법은,
상기 제3 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스와 연관된 현재 몰입 레벨을 증가시키라는 요청에 대응하는 상기 제1 유형의 제4 사용자 입력을 수신하는 단계;
상기 제1 유형의 상기 제4 사용자 입력을 수신하는 것에 응답하여, 상기 제3 몰입 레벨에서 상기 제2 개별 사용자 인터페이스의 디스플레이를 유지하는 단계;
상기 제3 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 전자 디바이스와 연관된 현재 몰입 레벨을 증가시키라는 요청에 대응하는, 상기 제1 유형과 상이한, 제2 유형의 제5 사용자 입력을 수신하는 단계; 및
상기 제2 유형의 상기 제5 사용자 입력을 수신하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제3 몰입 레벨보다 큰, 제4 몰입 레벨에서 상기 제2 개별 사용자 인터페이스를 디스플레이하는 단계
를 더 포함하는, 방법. - 전자 디바이스로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은 제1항 내지 제16항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스. - 하나 이상의 프로그램들을 저장한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 전자 디바이스로 하여금 제1항 내지 제16항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063083792P | 2020-09-25 | 2020-09-25 | |
| US63/083,792 | 2020-09-25 | ||
| PCT/US2021/071596 WO2022067343A2 (en) | 2020-09-25 | 2021-09-25 | Methods for adjusting and/or controlling immersion associated with user interfaces |
| KR1020237010429A KR102562285B1 (ko) | 2020-09-25 | 2021-09-25 | 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237010429A Division KR102562285B1 (ko) | 2020-09-25 | 2021-09-25 | 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230117639A true KR20230117639A (ko) | 2023-08-08 |
Family
ID=78463999
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237025845A KR20230117639A (ko) | 2020-09-25 | 2021-09-25 | 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기위한 방법 |
| KR1020237010429A KR102562285B1 (ko) | 2020-09-25 | 2021-09-25 | 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237010429A KR102562285B1 (ko) | 2020-09-25 | 2021-09-25 | 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11520456B2 (ko) |
| EP (1) | EP4200692A2 (ko) |
| JP (1) | JP2023542234A (ko) |
| KR (2) | KR20230117639A (ko) |
| CN (2) | CN116420130A (ko) |
| AU (2) | AU2021349382B2 (ko) |
| WO (1) | WO2022067343A2 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230117639A (ko) | 2020-09-25 | 2023-08-08 | 애플 인크. | 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기위한 방법 |
| US11747896B2 (en) | 2020-10-20 | 2023-09-05 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11609629B2 (en) * | 2020-10-20 | 2023-03-21 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11392198B2 (en) | 2020-10-20 | 2022-07-19 | ROVl GUIDES, INC. | Methods and systems of extended reality environment interaction based on eye motions |
| US11914835B2 (en) * | 2020-11-16 | 2024-02-27 | Samsung Electronics Co., Ltd. | Method for displaying user interface and electronic device therefor |
| US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
| US20230343049A1 (en) * | 2022-04-20 | 2023-10-26 | Apple Inc. | Obstructed objects in a three-dimensional environment |
| US11837067B2 (en) | 2022-04-25 | 2023-12-05 | Apple Inc. | User interfaces for facilitating operations |
| US20240061561A1 (en) * | 2022-08-22 | 2024-02-22 | Microsoft Technology Licensing, Llc | Visually-deemphasized effect for computing devices |
| US20240104836A1 (en) * | 2022-09-24 | 2024-03-28 | Apple Inc. | Methods for time of day adjustments for environments and environment presentation during communication sessions |
| US20240103685A1 (en) * | 2022-09-24 | 2024-03-28 | Apple Inc. | Methods for controlling and interacting with a three-dimensional environment |
Family Cites Families (102)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3006002A (en) | 1956-08-23 | 1961-10-31 | Frederick De W Pingree | Air-sea-rescue drift buoy |
| US5610828A (en) | 1986-04-14 | 1997-03-11 | National Instruments Corporation | Graphical system for modelling a process and associated method |
| CA2092632C (en) | 1992-05-26 | 2001-10-16 | Richard E. Berry | Display system with imbedded icons in a menu bar |
| US5524195A (en) | 1993-05-24 | 1996-06-04 | Sun Microsystems, Inc. | Graphical user interface for interactive television with an animated agent |
| US5619709A (en) | 1993-09-20 | 1997-04-08 | Hnc, Inc. | System and method of context vector generation and retrieval |
| US5515488A (en) | 1994-08-30 | 1996-05-07 | Xerox Corporation | Method and apparatus for concurrent graphical visualization of a database search and its search history |
| US5740440A (en) | 1995-01-06 | 1998-04-14 | Objective Software Technology | Dynamic object visualization and browsing system |
| US5758122A (en) | 1995-03-16 | 1998-05-26 | The United States Of America As Represented By The Secretary Of The Navy | Immersive visual programming system |
| GB2301216A (en) * | 1995-05-25 | 1996-11-27 | Philips Electronics Uk Ltd | Display headset |
| US5737553A (en) | 1995-07-14 | 1998-04-07 | Novell, Inc. | Colormap system for mapping pixel position and color index to executable functions |
| JP3400193B2 (ja) | 1995-07-31 | 2003-04-28 | 富士通株式会社 | ウィンドウ関係の識別アイコン付木構造一覧表示方法及び装置 |
| US5751287A (en) | 1995-11-06 | 1998-05-12 | Documagix, Inc. | System for organizing document icons with suggestions, folders, drawers, and cabinets |
| US6112015A (en) | 1996-12-06 | 2000-08-29 | Northern Telecom Limited | Network management graphical user interface |
| US6177931B1 (en) | 1996-12-19 | 2001-01-23 | Index Systems, Inc. | Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information |
| US5877766A (en) | 1997-08-15 | 1999-03-02 | International Business Machines Corporation | Multi-node user interface component and method thereof for use in accessing a plurality of linked records |
| US6108004A (en) | 1997-10-21 | 2000-08-22 | International Business Machines Corporation | GUI guide for data mining |
| US5990886A (en) | 1997-12-01 | 1999-11-23 | Microsoft Corporation | Graphically creating e-mail distribution lists with geographic area selector on map |
| US7844914B2 (en) | 2004-07-30 | 2010-11-30 | Apple Inc. | Activating virtual keys of a touch-screen virtual keyboard |
| US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| EP1717683A3 (en) | 1998-01-26 | 2010-03-17 | Apple Inc. | Method and apparatus for integrating manual input |
| US7663607B2 (en) | 2004-05-06 | 2010-02-16 | Apple Inc. | Multipoint touchscreen |
| US20060033724A1 (en) | 2004-07-30 | 2006-02-16 | Apple Computer, Inc. | Virtual input device placement on a touch screen user interface |
| US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
| US6456296B1 (en) | 1999-05-28 | 2002-09-24 | Sony Corporation | Color scheme for zooming graphical user interface |
| US20010047250A1 (en) | 2000-02-10 | 2001-11-29 | Schuller Joan A. | Interactive decorating system |
| US7445550B2 (en) * | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
| US6584465B1 (en) | 2000-02-25 | 2003-06-24 | Eastman Kodak Company | Method and system for search and retrieval of similar patterns |
| US7688306B2 (en) | 2000-10-02 | 2010-03-30 | Apple Inc. | Methods and apparatuses for operating a portable device based on an accelerometer |
| US7218226B2 (en) | 2004-03-01 | 2007-05-15 | Apple Inc. | Acceleration-based theft detection system for portable electronic devices |
| US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
| US7035903B1 (en) | 2000-11-22 | 2006-04-25 | Xerox Corporation | Systems and methods for the discovery and presentation of electronic messages that are related to an electronic message |
| US6677932B1 (en) | 2001-01-28 | 2004-01-13 | Finger Works, Inc. | System and method for recognizing touch typing under limited tactile feedback conditions |
| US6570557B1 (en) | 2001-02-10 | 2003-05-27 | Finger Works, Inc. | Multi-touch system and method for emulating modifier keys via fingertip chords |
| WO2003069884A2 (en) | 2002-02-12 | 2003-08-21 | Sorocco, Douglas, J. | Color conversion and standardization system and methods of making and using same |
| US7137074B1 (en) | 2002-05-31 | 2006-11-14 | Unisys Corporation | System and method for displaying alarm status |
| US11275405B2 (en) | 2005-03-04 | 2022-03-15 | Apple Inc. | Multi-functional hand-held device |
| US7334020B2 (en) | 2002-09-20 | 2008-02-19 | Goodcontacts Research Ltd. | Automatic highlighting of new electronic message address |
| US7373602B2 (en) | 2003-05-28 | 2008-05-13 | Microsoft Corporation | Method for reading electronic mail in plain text |
| US7330585B2 (en) | 2003-11-06 | 2008-02-12 | Behr Process Corporation | Color selection and coordination kiosk and system |
| US7230629B2 (en) | 2003-11-06 | 2007-06-12 | Behr Process Corporation | Data-driven color coordinator |
| US7409641B2 (en) | 2003-12-29 | 2008-08-05 | International Business Machines Corporation | Method for replying to related messages |
| US8171426B2 (en) | 2003-12-29 | 2012-05-01 | International Business Machines Corporation | Method for secondary selection highlighting |
| US8151214B2 (en) | 2003-12-29 | 2012-04-03 | International Business Machines Corporation | System and method for color coding list items |
| US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
| US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
| DE602005004901T2 (de) * | 2005-06-16 | 2009-02-26 | Electrolux Home Products Corporation N.V. | Wasserumwälzende Haushaltwaschmaschine mit automatischer Wäscharterfassung und dazugehörigem Verfahren |
| US7633076B2 (en) | 2005-09-30 | 2009-12-15 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
| US7657849B2 (en) | 2005-12-23 | 2010-02-02 | Apple Inc. | Unlocking a device by performing gestures on an unlock image |
| US8279180B2 (en) | 2006-05-02 | 2012-10-02 | Apple Inc. | Multipoint touch surface controller |
| US8006002B2 (en) | 2006-12-12 | 2011-08-23 | Apple Inc. | Methods and systems for automatic configuration of peripherals |
| US7957762B2 (en) | 2007-01-07 | 2011-06-07 | Apple Inc. | Using ambient light sensor to augment proximity sensor output |
| US9933937B2 (en) | 2007-06-20 | 2018-04-03 | Apple Inc. | Portable multifunction device, method, and graphical user interface for playing online videos |
| US20090231356A1 (en) | 2008-03-17 | 2009-09-17 | Photometria, Inc. | Graphical user interface for selection of options from option groups and methods relating to same |
| US9563342B2 (en) | 2009-07-22 | 2017-02-07 | Behr Process Corporation | Automated color selection method and apparatus with compact functionality |
| US9639983B2 (en) | 2009-07-22 | 2017-05-02 | Behr Process Corporation | Color selection, coordination and purchase system |
| US8319788B2 (en) | 2009-07-22 | 2012-11-27 | Behr Process Corporation | Automated color selection method and apparatus |
| CN102640502B (zh) * | 2009-10-14 | 2015-09-23 | 诺基亚公司 | 自动立体渲染和显示装置 |
| US9681112B2 (en) * | 2009-11-05 | 2017-06-13 | Lg Electronics Inc. | Image display apparatus and method for controlling the image display apparatus |
| KR101627214B1 (ko) * | 2009-11-12 | 2016-06-03 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
| US20110310001A1 (en) * | 2010-06-16 | 2011-12-22 | Visteon Global Technologies, Inc | Display reconfiguration based on face/eye tracking |
| US9851866B2 (en) * | 2010-11-23 | 2017-12-26 | Apple Inc. | Presenting and browsing items in a tilted 3D space |
| AU2012204570B2 (en) | 2011-01-04 | 2015-07-02 | Ppg Industries Ohio, Inc. | Web-based color selection system |
| KR101852428B1 (ko) * | 2011-03-09 | 2018-04-26 | 엘지전자 주식회사 | 이동 단말기 및 그의 3ｄ객체 제어방법 |
| US9779097B2 (en) | 2011-04-28 | 2017-10-03 | Sony Corporation | Platform agnostic UI/UX and human interaction paradigm |
| KR101851630B1 (ko) * | 2011-08-29 | 2018-06-11 | 엘지전자 주식회사 | 이동 단말기 및 그의 영상 변환 방법 |
| WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| US9229621B2 (en) | 2012-05-22 | 2016-01-05 | Paletteapp, Inc. | Electronic palette system |
| JP5580855B2 (ja) * | 2012-06-12 | 2014-08-27 | 株式会社ソニー・コンピュータエンタテインメント | 障害物回避装置および障害物回避方法 |
| US9645394B2 (en) | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
| CN104903834B (zh) | 2012-12-29 | 2019-07-05 | 苹果公司 | 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面 |
| US9395543B2 (en) * | 2013-01-12 | 2016-07-19 | Microsoft Technology Licensing, Llc | Wearable behavior-based vision system |
| US9563331B2 (en) * | 2013-06-28 | 2017-02-07 | Microsoft Technology Licensing, Llc | Web-like hierarchical menu display configuration for a near-eye display |
| US20170132822A1 (en) | 2013-11-27 | 2017-05-11 | Larson-Juhl, Inc. | Artificial intelligence in virtualized framing using image metadata |
| US9886087B1 (en) * | 2013-11-30 | 2018-02-06 | Allscripts Software, Llc | Dynamically optimizing user interfaces |
| KR20150069355A (ko) * | 2013-12-13 | 2015-06-23 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| JP6079614B2 (ja) * | 2013-12-19 | 2017-02-15 | ソニー株式会社 | 画像表示装置及び画像表示方法 |
| AU2015222821B2 (en) | 2014-02-27 | 2020-09-03 | Hunter Douglas Inc. | Apparatus and method for providing a virtual decorating interface |
| KR102004990B1 (ko) * | 2014-05-13 | 2019-07-29 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| US9207835B1 (en) * | 2014-05-31 | 2015-12-08 | Apple Inc. | Message user interfaces for capture and transmittal of media and location content |
| US9766702B2 (en) * | 2014-06-19 | 2017-09-19 | Apple Inc. | User detection by a computing device |
| US9798743B2 (en) | 2014-12-11 | 2017-10-24 | Art.Com | Mapping décor accessories to a color palette |
| US9857888B2 (en) | 2015-03-17 | 2018-01-02 | Behr Process Corporation | Paint your place application for optimizing digital painting of an image |
| JP2018526693A (ja) | 2015-08-04 | 2018-09-13 | グーグル エルエルシー | 仮想現実における注視対話のためのホバー挙動 |
| US20170038829A1 (en) | 2015-08-07 | 2017-02-09 | Microsoft Technology Licensing, Llc | Social interaction for remote communication |
| US9298283B1 (en) | 2015-09-10 | 2016-03-29 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
| US20180300023A1 (en) | 2015-10-30 | 2018-10-18 | Christine Hein | Methods, apparatuses, and systems for material coating selection operations |
| US10706457B2 (en) | 2015-11-06 | 2020-07-07 | Fujifilm North America Corporation | Method, system, and medium for virtual wall art |
| US10048751B2 (en) * | 2016-03-31 | 2018-08-14 | Verizon Patent And Licensing Inc. | Methods and systems for gaze-based control of virtual reality media content |
| EP3436855A4 (en) * | 2016-06-30 | 2019-12-11 | Hewlett-Packard Development Company, L.P. | SMART MIRROR |
| EP3497676A4 (en) | 2016-08-11 | 2020-03-25 | Magic Leap, Inc. | AUTOMATIC POSITIONING OF A VIRTUAL OBJECT IN A THREE-DIMENSIONAL SPACE |
| US10325407B2 (en) | 2016-09-15 | 2019-06-18 | Microsoft Technology Licensing, Llc | Attribute detection tools for mixed reality |
| US10817126B2 (en) * | 2016-09-20 | 2020-10-27 | Apple Inc. | 3D document editing system |
| US10754416B2 (en) | 2016-11-14 | 2020-08-25 | Logitech Europe S.A. | Systems and methods for a peripheral-centric augmented/virtual reality environment |
| IL290002B2 (en) * | 2016-12-29 | 2023-10-01 | Magic Leap Inc | Automatic control of a wearable display device based on external conditions |
| CA3059234A1 (en) * | 2017-04-19 | 2018-10-25 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
| KR102670987B1 (ko) | 2017-05-31 | 2024-05-30 | 매직 립, 인코포레이티드 | 눈 추적 교정 기술들 |
| EP4235263A3 (en) * | 2017-09-29 | 2023-11-29 | Apple Inc. | Gaze-based user interactions |
| WO2019067482A1 (en) * | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT |
| US10699488B1 (en) | 2018-09-07 | 2020-06-30 | Facebook Technologies, Llc | System and method for generating realistic augmented reality content |
| KR20220062031A (ko) | 2019-09-11 | 2022-05-13 | 사반트 시스템즈, 인크. | 홈 자동화 시스템을 위한 3차원 가상적 룸-기반 사용자 인터페이스 |
| KR20230117639A (ko) | 2020-09-25 | 2023-08-08 | 애플 인크. | 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기위한 방법 |
| US20220326837A1 (en) | 2021-04-13 | 2022-10-13 | Apple Inc. | Methods for providing an immersive experience in an environment |
-
2021
- 2021-09-25 KR KR1020237025845A patent/KR20230117639A/ko active Application Filing
- 2021-09-25 AU AU2021349382A patent/AU2021349382B2/en active Active
- 2021-09-25 JP JP2023518857A patent/JP2023542234A/ja active Pending
- 2021-09-25 CN CN202180065836.8A patent/CN116420130A/zh active Pending
- 2021-09-25 WO PCT/US2021/071596 patent/WO2022067343A2/en active Application Filing
- 2021-09-25 CN CN202310791788.1A patent/CN117555417A/zh active Pending
- 2021-09-25 US US17/448,876 patent/US11520456B2/en active Active
- 2021-09-25 KR KR1020237010429A patent/KR102562285B1/ko active IP Right Grant
- 2021-09-25 EP EP21801378.7A patent/EP4200692A2/en active Pending
-
2022
- 2022-09-15 US US17/932,655 patent/US11995285B2/en active Active
-
2023
- 2023-09-22 AU AU2023233175A patent/AU2023233175A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230008537A1 (en) | 2023-01-12 |
| US11520456B2 (en) | 2022-12-06 |
| CN117555417A (zh) | 2024-02-13 |
| US11995285B2 (en) | 2024-05-28 |
| KR20230048450A (ko) | 2023-04-11 |
| KR102562285B1 (ko) | 2023-08-02 |
| US20220155909A1 (en) | 2022-05-19 |
| AU2023233175A1 (en) | 2023-10-12 |
| WO2022067343A2 (en) | 2022-03-31 |
| WO2022067343A3 (en) | 2022-05-12 |
| AU2021349382A1 (en) | 2023-05-11 |
| JP2023542234A (ja) | 2023-10-05 |
| CN116420130A (zh) | 2023-07-11 |
| AU2021349382B2 (en) | 2023-06-29 |
| EP4200692A2 (en) | 2023-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102562285B1 (ko) | 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법 | |
| US11768579B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| AU2020356572B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11853527B2 (en) | Devices, methods, and graphical user interfaces for providing computer-generated experiences | |
| US11995230B2 (en) | Methods for presenting and sharing content in an environment | |
| US11720171B2 (en) | Methods for navigating user interfaces | |
| US11934569B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US20230093979A1 (en) | Devices, methods, and graphical user interfaces for content applications | |
| US20230092874A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20240094862A1 (en) | Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments | |
| US20230350539A1 (en) | Representations of messages in a three-dimensional environment | |
| KR20240047458A (ko) | 미디어 및 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 | |
| WO2024063786A1 (en) | Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments | |
| WO2023049111A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent |