CN114270295A - 用于人工现实***的暂停模式特征 - Google Patents
用于人工现实***的暂停模式特征 Download PDFInfo
- Publication number
- CN114270295A CN114270295A CN202080050249.7A CN202080050249A CN114270295A CN 114270295 A CN114270295 A CN 114270295A CN 202080050249 A CN202080050249 A CN 202080050249A CN 114270295 A CN114270295 A CN 114270295A
- Authority
- CN
- China
- Prior art keywords
- user
- artificial reality
- pause mode
- environment
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000004044 response Effects 0.000 claims description 40
- 238000009877 rendering Methods 0.000 claims description 32
- 230000004913 activation Effects 0.000 claims description 20
- 230000003068 static effect Effects 0.000 claims description 17
- 210000000707 wrist Anatomy 0.000 claims description 16
- 239000007787 solid Substances 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 description 27
- 230000002093 peripheral effect Effects 0.000 description 27
- 230000015654 memory Effects 0.000 description 25
- 210000003811 finger Anatomy 0.000 description 24
- 230000006855 networking Effects 0.000 description 23
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 18
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013475 authorization Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005562 fading Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000002096 quantum dot Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000034303 cell budding Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000009408 flooring Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一般而言,本公开描述了一种用于人工现实***的暂停模式特征,并且更具体地,描述了用于在执行人工现实应用期间生成暂停模式环境并在暂停模式环境内呈现和控制用户界面(UI)元素的***配置和技术。暂停模式特征使得用户能够在人工现实(AR)环境内与一个或多个其他用户(或者,与一个或多个化身,该一个或多个化身与一个或多个其他用户相对应)交互,以从用户的视角暂停AR环境。当在暂停模式环境中时,用户能够从AR环境中查看和选择其他用户。例如,用户可以从暂停模式环境中选择另一用户,以与该用户加好友、向该用户发消息、使该用户静音、屏蔽该用户、或者向该用户报告。
Description
本申请要于求2019年9月24日提交的美国临时专利申请第62/905,098号的权益,其全部内容以引用的方式并入本文中。
技术领域
本公开大体上涉及人工现实***,诸如虚拟现实***、混合现实***和/或增强现实***。
背景技术
人工现实***正变得越来越普遍,其应用在许多领域(诸如,计算机游戏、健康和安全、工业和教育)中。作为几个示例,人工现实***正被集成到移动设备、游戏控制台、个人计算机、电影院和主题公园中。一般而言,人工现实是已在呈现给用户之前已以一些方式进行了调整的现实的形式,人工现实可以包括例如虚拟现实、增强现实、混合现实、混杂现实、或者其一些组合和/或衍生物。
典型的人工现实***包括用于向用户渲染和显示内容的一个或多个设备。作为一个示例,人工现实***可以包含由用户穿戴且被配置为将人工现实内容输出给用户的头戴式显示器(HMD)。人工现实内容可以包括完全生成的内容或与捕获到的内容(例如,真实世界视频和/或图像)组合的所生成的内容。在操作期间,用户通常与人工现实***交互以选择内容、启动应用、或者以其他方式配置***。
发明内容
一般而言,本公开描述了一种用于人工现实***的暂停模式特征。更具体地,本公开描述了用于在执行人工现实应用期间生成暂停模式环境并在暂停模式环境内呈现和控制用户界面(UI)元素的***配置和技术。暂停模式特征使得用户能够在人工现实(AR)环境内与一个或多个其他用户(或者,与一个或多个化身,该一个或多个化身与一个或多个其他用户相对应)交互,以从用户的视角暂停AR环境。当在暂停模式环境中时,用户能够从AR环境中查看和选择其他用户。例如,用户可以从暂停模式环境中选择另一用户,以与该用户加好友、向该用户发消息、使该用户静音、屏蔽该用户、或者向该用户报告。
根据本发明的第一方面,提供了一种人工现实***,该人工现实***包括:头戴式显示器(HMD),被配置为将人工现实内容输出给HMD的用户,其中人工现实内容包括一个或多个化身,该一个或多个化身与参与人工现实环境的一个或多个其他用户相对应;以及暂停模式引擎,被配置为响应于用户输入,针对HMD的用户启用暂停模式环境,其中暂停模式引擎进行以下至少一项:在HMD处用暂停模式环境替换人工现实环境;在HMD处使一个或多个化身和人工现实环境静音;或者在暂停模式环境内的静态位置中渲染一个或多个化身。
该人工现实***还可以包括:图像捕获设备,被配置为捕获代表物理环境的图像数据;手势检测器,被配置为根据图像数据标识用户界面(UI)激活手势,该用户界面(UI)激活手势包括在图像捕获设备的视场中移动HMD的用户的手部的内侧手腕区域;UI引擎,被配置为响应于UI激活手势,生成暂停模式UI元素;和/或渲染引擎,被配置为在用户的手部附近或至少部分地在用户的手部上方渲染暂停模式UI元素。
用户输入可以与暂停模式选择手势相对应,该暂停模式选择手势包括将用户的化身的虚拟手部的一根或多根手指放置在暂停模式UI元素上。手势检测器还可以被配置为根据图形数据标识暂停模式选择手势。
暂停模式引擎还可以被配置为响应于暂停模式环境被启用,当一个或多个化身距用户的化身在个人空间阈值内时,将一个或多个化身从用户的化身移开。
暂停模式引擎还可以被配置为用暂停模式环境中的纯色背景替换人工现实环境内的虚拟背景和虚拟对象。
暂停模式引擎还可以被配置为在暂停模式环境中播放背景音乐。
HMD可以包括第一HMD,并且第一HMD的用户可以包括第一用户。该***还可以包括与一个或多个其他化身中的一个化身相对应的第二用户的第二HMD。第二HMD还可以被配置为将包括人工现实环境的人工现实内容输出给第二用户。在暂停模式在第一HMD处针对第一用户而被启用之后,第一用户的化身可以停止参与人工现实环境。在暂停模式在第一HMD处针对第一用户而被启用时,第二用户可以在第二HMD处继续参与人工现实环境。
在暂停模式在第一HMD处针对第一用户而被启用之后,第二HMD可以渲染与第一HMD的第一用户相对应的虚拟图形。
在暂停模式在第一HMD处针对第一用户而被启用之后,第二HMD的第二用户可能无法在人工现实环境内与第一HMD的第一用户的化身交互。
用户输入可以包括第一用户输入。暂停模式环境可以包括第一暂停模式环境。暂停模式引擎还可以被配置为响应于来自第二用户的第二用户输入,针对第二HMD的第二用户启用第二暂停模式环境,该第二暂停模式环境与第一暂停模式环境不同。第二HMD的第二用户可能无法在第一暂停模式环境或第二暂停模式环境内与第一用户的化身交互。
暂停模式引擎还可以被配置为:在暂停模式环境内针对一个或多个化身中的每个化身渲染用户界面(UI)元素,其中每个UI元素经由用户所执行的选择手势是可选择的;和/或响应于检测到第一UI元素的选择手势,该第一UI元素与一个或多个化身中的第一化身相对应,进行以下至少一项:渲染第一可选择虚拟元素,当用户返回到人工现实环境时,该第一可选择虚拟元素被配置为在被选择时在HMD处使第一化身静音;渲染第二可选择虚拟元素,当用户返回到人工现实环境时,该第二可选择虚拟元素被配置为在被选择时阻止第一化身与用户的化身交互;以及渲染第三可选择虚拟元素,该第三可选择虚拟元素被配置为在被选择时将第一化身报告给与AR体验相关联的审查实体。
当与第一化身相对应的第一UI元素被选择时,第一化身可以被突出显示。
第一化身如果被用户阻止,则可能无法在人工现实环境或任何其他人工现实环境中与用户的化身交互,无论暂停模式环境是否针对用户被启用。
根据本发明的第二方面,提供了一种方法,该方法包括:在人工现实***的头戴式显示器(HMD)处将人工现实内容输出给HMD的用户,其中人工现实内容包括一个或多个化身,该一个或多个化身与参与人工现实环境的一个或多个其他用户相对应;以及响应于用户输入,通过进行以下至少一项针对HMD的用户启用暂停模式环境:在HMD处用暂停模式环境替换人工现实环境;在HMD处使一个或多个化身和人工现实环境静音;或者在暂停模式环境内的静态位置中渲染一个或多个化身。
该方法还可以包括:由人工现实***经由图像捕获设备获得图像数据;根据图像数据标识用户界面(UI)激活手势,该用户界面(UI)激活手势包括在图像捕获设备的视场中移动HMD的用户的手部的内侧手腕区域;响应于UI激活手势,生成暂停模式UI元素;和/或在用户的手部附近或至少部分地在用户的手部上方渲染暂停模式UI元素。
用户输入可以与暂停模式选择手势相对应,该暂停模式选择手势包括将用户的化身的虚拟手部的一根或多根手指放置在暂停模式UI元素上。该方法还可以包括根据图像数据标识暂停模式选择手势。
暂停模式引擎还可以被配置为用暂停模式环境中的纯色背景替换人工现实环境内的虚拟背景和虚拟对象。
启用暂停模式环境还可以包括响应于暂停模式环境被启用,当一个或多个化身距用户的化身在个人空间阈值内时,将一个或多个化身从用户的化身移开。
在暂停模式在HMD处针对用户而被启用之后,用户的化身可以停止参与人工现实环境。在暂停模式在HMD处针对用户而被启用时,与一个或多个其他用户相对应的一个或多个化身可以继续参与人工现实环境。
根据本发明的第三方面,提供了一种包括指令的计算机可读存储介质,该指令将一个或多个可编程处理器配置为:在人工现实***的头戴式显示器(HMD)处将人工现实内容输出给HMD的用户,其中人工现实内容包括一个或多个化身,该一个或多个化身与参与人工现实环境的一个或多个其他用户相对应;以及响应于用户输入,通过进行以下至少一项启用暂停模式环境:在HMD处用暂停模式环境替换人工现实环境;在HMD处使一个或多个化身和人工现实环境静音;或者在暂停模式环境内的静态位置中渲染一个或多个化身。
技术可以提供一种或多种技术改进,该技术改进提供至少一个实际应用。例如,技术使得用户能够在HMD处快速启用暂停模式,同时继续接收与人工现实环境相对应的数据并允许其他用户在其他HMD处继续参与人工现实环境。通过继续接收与人工现实环境相对应的数据,而其他用户在其他HMD处继续参与人工现实环境,HMD将不具有在从暂停模式环境返回到人工现实环境时处理的积压的数据更新,这使得用户能够为了更愉悦的用户体验而通过减少数据处理延迟更快速地返回参与人工现实环境。
在附图和下面的描述中阐述了本公开的技术的一个或多个示例的细节。技术的其他特征、目的和优点将通过说明书和附图以及权利要求书而是清楚明白的。
附图说明
图1A是描绘了根据本公开的技术的具有暂停模式特征的示例人工现实***的图示。
图1B是描绘了根据本公开的技术的具有暂停模式特征的另一示例人工现实***的图示。
图2A是描绘了根据本公开的技术而操作的示例HMD的图示。
图2B是描绘了根据本公开中所描述的技术的另一示例HMD的图示。
图3是示出了根据本公开的技术的人工现实***的控制台、人工现实应用服务器和HMD的示例实现的框图,该人工现实***在执行人工现实应用期间生成暂停模式环境。
图4是描绘了根据本公开的技术的人工现实***的示例HMD和人工现实应用服务器的框图,该人工现实***在执行人工现实应用期间生成暂停模式环境。
图5是图示了用于多设备人工现实***的分布式架构的更详细的示例实现的框图,其中使用每个设备内的一个或多个SoC集成电路来实现一个或多个设备。
图6是图示了根据本公开的方面的启用用于人工现实***的暂停模式环境的示例操作的流程图。
图7是图示了根据本公开的方面的用于在人工现实***的暂停模式环境内时的示例操作的流程图。
图8是描绘了根据本公开的技术的与用于在执行人工现实应用期间进入暂停模式环境的示例手势驱动的UI的用户交互的图示。
图9是描绘了根据本公开的技术的人工现实应用的示例人工现实环境的图示。
图10是描绘了根据本公开的技术的暂停模式环境的示例的图示。
图11是描绘了根据本公开的技术的暂停模式环境的另一示例的图示。
贯穿图和说明书,相同的附图标号指代相同的元件。
具体实施方式
图1A是描绘了根据本公开的技术的具有暂停模式特征的示例人工现实***10的图示。在一些示例中,暂停模式特征可以被称为安全模式或安全区域特征。在图1A的示例中,人工现实(AR)***10包括头戴式设备(HMD)112、控制台106、人工现实应用服务器107,并且在一些示例中,包括一个或多个外部传感器90。
如所示的,HMD 112通常由用户110穿戴并包括用于将人工现实内容122呈现给用户110的电子显示器和光学组件。此外,HMD 112包括用于追踪HMD的运动的一个或多个传感器(例如,加速度计)并可以包括用于捕获周围物理环境的图像数据的一个或多个图像捕获设备138,例如相机、线扫描器等。尽管被图示为头戴式显示器,但是AR***10可以备选地或附加地包括用于将人工现实内容122呈现给用户110的眼镜或其他显示设备。
在该示例中,控制台106被示出为单个计算设备,诸如游戏控制台、工作站、台式计算机或膝上型计算机。在其他示例中,控制台106可以跨多个计算设备(诸如,分布式计算网络、数据中心或云计算***)分布。如该示例中所示的,控制台106、HMD 112和传感器90可以经由网络104通信耦接,该网络104可以是有线或无线网络,诸如Wi-Fi、网状网络或短距离无线通信介质。尽管HMD 112在该示例中被示出为与控制台106通信,例如与控制台106系接或无线通信,但是在一些实现中,HMD 112作为独立的移动人工现实***操作。
在该示例中,HMD 112被图示为经由网络104与人工现实应用服务器107通信,该人工现实应用服务器107针对在控制台106和/或HMD 112上执行的人工现实应用执行后端网络操作。在一些示例中,人工现实应用服务器107可以与任何形式的服务器或另一计算资源相对应。例如,人工现实应用服务器107可以是物理计算设备或可以是云计算***、服务器群和/或服务器集群(或者,其一部分)的部件。因此,人工现实应用服务器107可以表示向执行特定人工现实应用的客户端设备和其他设备或***提供服务的一个或多个物理计算设备、虚拟计算设备、虚拟机、容器和/或其他虚拟化计算设备。例如,人工现实应用服务器107可以管理用户之间的关系(例如,友谊)、维护用户的简档、协调与一个或多个用户的游戏(例如,将一个或多个用户置于游戏中、维护分数)等。
在图1A的示例中,用户110查看由在控制台106和/或HMD 112上执行的人工现实应用构造和渲染的人工现实内容122。在一些示例中,人工现实***10使用从真实世界3D物理环境捕获的信息来渲染人工现实内容122以用于显示给用户110。作为一个示例,人工现实内容122可以是消费者游戏应用,在该消费者游戏应用中,用户110被渲染为将虚拟手部136和虚拟手臂137包括在人工现实环境124内的化身。人工现实内容122还能够包括一个或多个其他用户,该一个或多个其他用户在人工现实环境124内被渲染为化身120和一个或多个虚拟对象128A、128B。在一些示例中,人工现实内容122可以包括真实世界图像与虚拟对象的混合,例如混合现实和/或增强现实。在其他示例中,人工现实内容122可以是例如社交网络应用、视频会议应用、导航应用、教育应用、训练或模拟应用或实现人工现实的其他类型的应用。在一些示例中,可以相对于与HMD 112的用户相关联的化身从第一人称的视角渲染人工现实内容122。
在操作期间,人工现实应用构造人工现实内容122,以用于通过追踪并计算参考系(通常为HMD 112的查看视角)的姿势信息来显示给用户110。将HMD 112用作参考系并基于如由HMD 112的当前估计姿势而确定的当前视场130,人工现实应用渲染3D人工现实内容,在一些示例中,该3D人工现实内容可以至少部分地覆盖在用户110的真实世界3D物理环境上。在该过程期间,人工现实应用使用从HMD 112接收的感测数据(诸如,移动信息和用户命令),并且在一些示例中,使用来自任何外部传感器90(诸如,外部相机)的数据来捕获真实世界物理环境内的3D信息,诸如用户110的运动和/或相对于用户110的特征追踪信息。基于感测数据,人工现实应用确定HMD 112的参考系的当前姿势,并且根据当前姿势,渲染人工现实内容122。
人工现实***10可以基于用户110的当前视场130来触发虚拟内容项的生成和渲染,如可以由用户的实时注视追踪或其他条件确定的。更具体地,HMD 112的图像捕获设备138捕获图像数据,该图像数据表示真实世界物理环境中的在图像捕获设备138的视场130内的对象。视场130通常与HMD 112的查看视角相对应。在一些示例中,人工现实应用呈现人工现实内容122,该人工现实内容122包括混合现实和/或增强现实。在一些示例中,人工现实应用可以诸如在人工现实内容122内连同虚拟对象一起渲染真实世界对象(诸如,用户110的手部132和/或手臂134在视场130内的部分)的图像。在其他示例中,人工现实应用可以在人工现实内容122内渲染用户110的手部132和/或手臂134在视场130内的部分的虚拟表示(例如,将真实世界对象渲染为虚拟对象,诸如虚拟手部136)。在任一示例中,用户110能够在人工现实内容122内查看其手部132、手臂134和/或任何其他真实世界对象在视场130内的部分。在其他示例中,人工现实应用可以不渲染用户的手部132或手臂134的表示。
在一些示例中,基于感测数据,人工现实***10检测由用户110执行的手势,并且响应于检测到一个或多个特定手势,生成一个或多个用户界面元素,该用户界面元素可以覆盖在呈现给用户110的潜在的人工现实内容122(诸如,图1A中的用户界面(UI)菜单140)上。更具体地,人工现实***10在由HMD 112的图像捕获设备138捕获的图像数据内执行对象识别来标识手部132,包括可选地标识单独手指或拇指和/或用户110的手臂134的全部或部分。人工现实***10在滑动时间窗口上方追踪手部132(可选地包括手部的特定手指)和/或手臂134的部分的位置、定向和配置。人工现实***10分析手部132和/或手臂134的部分的任何追踪到的运动、配置、位置和/或定向以标识由特定对象(例如,手部132(包括手部的特定手指)和/或用户110的手臂134的部分)执行的一个或多个手势。为了检测(多个)手势,人工现实应用可以将手部132和/或手臂134的部分的运动、配置、位置和/或定向与存储在人工现实***10的手势库中的手势定义进行比较,在人工现实***10中,手势库中的每个手势可以分别映射到一个或多个动作。在一些示例中,检测移动可以包括追踪手部132的手指中的一根或多根手指(单独手指和拇指)的位置,包括一根或多根手指是否被放置在与虚拟对象(例如,UI元素)相对应的区域处。在其他示例中,检测移动可以包括相对于HMD 112的当前姿势追踪手部132的定向(例如,指向HMD 112或远离HMD 112的手指)和/或手臂134的定向(即,面向HMD 112的手臂的法线),包括手部132的内侧手腕区域是否面向HMD 112。手部132(或者,其一部分)的位置和定向可备选地被称为手部132(或者,其一部分)的姿势。
根据本公开的技术,人工现实***10可以从用户110的视角暂停AR环境,并且响应于用户110在HMD 112处启用暂停模式特征,在执行人工现实应用期间生成暂停模式环境。例如,暂停模式特征可以在人工现实内容122中用暂停模式环境替换人工现实环境124,并且响应于选择暂停模式UI元素142的用户输入,在HMD 112处在静态位置中渲染来自人工现实环境124的一个或多个化身,如下文更详细地描述的。用户110然后可以选择呈现在暂停模式环境处的任何化身120来相对于与所选择的化身相对应的该用户执行附加操作,包括从暂停模式环境中查看用户的简档、与该用户加好友、向该用户发消息、使该用户静音、屏蔽该用户、或者向该用户报告。在一些示例中,人工现实应用服务器107执行人工现实应用后端网络操作以从暂停模式环境中与用户加好友、向该用户发消息、屏蔽该用户或者、向该用户报告。例如,人工现实应用可以制定指令,这些指令由人工现实应用服务器107执行以基于在HMD 112处呈现给用户110的用户界面上的用户输入来获得简档、与用户加好友、向该用户发消息、使该用户静音、屏蔽该用户、或者向该用户报告。在一些示例中,暂停模式特征可以在人工现实环境124中用虚拟图形替换用户110的化身,而化身120继续参与人工现实环境124。以这种方式,当在HMD 112处启用暂停模式特征时,化身120可以不与HMD 112的化身交互(反之亦然)。在一些示例中,暂停模式环境可以被称为安全模式或安全区域环境。
在一些示例中,人工现实***10可以检测一个或多个UI激活手势,该UI激活手势旨在触发人工现实应用的所期望的响应,诸如触发用于选择暂停模式环境的UI元素的显示和/或触发暂停模式环境的执行。例如,用户110可以将手部132的内侧手腕区域移动到当前视场130中以触发UI菜单140(例如,虚拟图标)在虚拟手部136和/或虚拟手臂137附近或至少部分地在虚拟手部136和/或虚拟手臂137上方的显示。该UI激活手势可以类似于用户看着腕表或任何其他可穿戴设备。虽然图1A示出了显示在虚拟手臂137的内侧表面(例如,手腕区域)上方的UI菜单140,但是应理解,UI菜单140可以显示在虚拟手部136和/或虚拟手臂137的任何(多个)表面附近或部分地显示在虚拟手部136和/或虚拟手臂137的任何(多个)表面上方。
如图1A中所示出的,UI菜单140可以包括暂停模式UI元素142和个人UI元素144,该暂停模式UI元素142在被选择时启用暂停模式特征,该个人UI元素144在被选择时使个人菜单项被显示。
在一些示例中,响应于选择个人UI元素144的用户输入而显示的个人菜单项可以包括:设置UI元素在被选择时允许用户改变人工现实应用设置或偏好;人UI元素,在被选择时允许用户在当前人工现实应用或环境中查看朋友和/或人;场所UI元素,在被选择时允许用户查看关于当前人工现实环境124或先前访问的场所/环境的信息;或者搜索UI元素,在被选择时允许用户搜索人、场所、人工现实体验(例如,游戏、应用)等。在一些示例中,人工现实应用服务器107执行后端网络操作以改变人工现实应用设置或偏好、获得关于人工现实环境中的用户的信息、获得关于人工现实环境或其他环境的信息、或者基于通过人工现实应用响应于个人菜单项处的用户输入而制定的指令来执行搜索。
在一些示例中,用户110可以选择暂停模式UI元素142或个人UI元素144,其中选择手势包括将一根或多根手指放置在对应的UI元素上或附近(例如,对应的UI元素被渲染的物理表面上或与UI元素相对应的物理地点附近)。在图1A中所示的示例中,UI菜单140呈现在虚拟手臂137的内侧表面上,并且用户110可以触摸手臂134的与暂停模式UI元素142或个人UI元素144的虚拟地点相对应的部分,这在选择了任一UI元素时向用户110提供自然触觉反馈。也就是说,用户的手部和手臂136的一根或多根手指之间的物理接触可以为用户提供感觉的模拟,该感觉是由用户在与物理用户输入对象(诸如,物理键盘或其他物理输入设备上的按钮)直接交互时感受到的。这能够简化并提高手势检测的精度。通过基于用户的手部的运动来定义UI激活手势,用户可以快速且直观地激活UI菜单140以启用暂停模式特征。以这种方式,用户110可以在不必取下HMD 112的情况下从人工现实环境124中休息一会儿,而HMD 112随着其他用户继续参与人工现实环境124而继续接收与人工现实环境124相对应的数据。通过继续接收与人工现实环境124相对应的数据,而其他用户继续参与人工现实环境124,HMD 112将不具有在用户110从暂停模式环境返回到人工现实环境124时处理的积压的数据更新,这使得用户110能够为了更愉悦的用户体验而通过减少数据处理延迟更快速地返回参与人工现实环境。
图1B是描绘了根据本公开的技术的具有暂停模式特征,同时执行人工现实应用的另一示例人工现实***20的图示。在图1B的示例中,人工现实***20包括外部相机102A和102B(被统称为“外部相机102”)、HMD 112A至112C(被统称为“HMD 112”)、控制器114A和114B(被统称为“控制器114”)、控制台166、人工现实应用服务器107和传感器90。
如图1B中所示出的,人工现实***20表示多用户环境,在该多用户环境中,在控制台106和/或HMD 112上执行的多个人工现实应用同时运行并基于针对相应用户的对应参考系的当前查看视角显示在呈现给用户110A至110C中的每个用户(被统称为“用户110”)的公共渲染场景上。也就是说,在该示例中,多个人工现实应用中的每个人工现实应用通过追踪并计算HMD 112中的每个HMD的参考系的姿势信息来构造人工现实环境124。人工现实***20使用从相机102、HMD 112和控制器114接收的数据来捕获真实世界环境内的3D信息(诸如,用户110的运动和/或相对于用户110和对象108的追踪信息),以用于计算HMD 112的对应参考系的更新后的姿势信息。在一些示例中,每个用户110可以位于相同或不同的真实世界环境中(例如,位于相同或不同的物理地点中)。无论哪种方式,多个人工现实应用可以基于针对HMD 112C确定的当前查看视角来在人工现实环境124内的相同场景上渲染人工现实内容122,该人工现实内容122具有虚拟对象128A至128C(被统称为“虚拟对象128”),该虚拟对象128A至128C如在空间上覆盖在真实世界对象108A至108C(被统称为“真实世界对象108”)上的。进一步地,从HMD 112C的视角看,人工现实***20在人工现实环境124内分别基于用户110A、110B的估计位置来渲染化身120A、120B。图1B中所示的人工现实内容122可以是根据本公开的技术的在启用暂停模式特征之前的人工现实环境的示例。
HMD 112中的每个HMD在人工现实***20内同时操作。在图1B的示例中,用户110中的每个用户可以是多个人工现实应用中的“参与者”(或者,“玩家”),并且用户110中的任何用户可以是多个人工现实应用中的“观众”或“观察者”。HMD 112C可以通过追踪用户110C的手部132和/或手臂134而基本上类似于图1A的HMD 112操作。HMD 112A也可以基本上类似于图1A的HMD 112操作并通过追踪用户110A的手部132A、132B的移动来接收用户输入。HMD112B可以从用户110B所持有的控制器114接收用户输入。控制器114可以使用短距离无线通信(诸如,蓝牙)的近场通信、使用有线通信链路、或者使用另一种类型的通信链路来与HMD 112B通信。
如在图1B中所示出的,除了经由HMD 112C的相机138捕获的图像数据以外或作为经由HMD 112C的相机138捕获到的图像数据的备选方案,来自外部相机102的输入数据可以用于追踪和检测用户110的手部和手臂(诸如,用户110C的手部132)的特定运动、配置、位置和/或定向,包括手部的单独手指(手指、拇指)和/或手指组合的移动。图像捕获设备102和138可以捕获可见光谱、红外光谱或其他光谱中的图像。例如,本文中所描述的用于标识对象、对象姿势和手势的图像处理可以包括处理红外图像、可见光谱图像等。
以类似于上文关于图1A所讨论的示例的方式,人工现实***20的控制台106和/或HMD 112C可以检测一个或多个UI激活手势,该UI激活手势旨在触发人工现实应用的所期望的响应,诸如触发用于选择暂停模式环境的UI元素的显示和/或触发暂停模式环境的执行。例如,用户110可以将手部132的内侧手腕区域移动到当前视场130中以触发UI菜单140(包括暂停模式UI元素142和个人UI元素144)至少部分地在虚拟手部136的虚拟手腕上方或附近的显示。用户110C可以键入用户输入,该用户输入选择暂停模式UI元素142来启用暂停模式特征。例如,用户110C可以用触摸手势选择暂停模式UI元素142,该触摸手势包括将用户的手部的一根或多根手指放置在与暂停模式UI元素142被渲染的位置相对应的区域,使得化身的一根或多根虚拟手指触摸人工现实环境124中的暂停模式UI元素142。
在激活时,暂停模式特征将冻结化身120A、120B(例如,在静态位置中渲染化身120A、120B),使来自人工现实环境124(包括来自化身120A、120B)的所有音频静音和/或在HMD 112C处用暂停模式环境替换包围化身120A、120B的人工现实环境124。也就是说,HMD112C将用包括纯色背景的暂停模式环境替换人工内容122内除了化身120A、120B之外的一切事物。例如,当处于暂停模式环境中时,HMD 112C将移除(例如,停止显示)除化身120A、120B以外的所有虚拟对象128。在一些示例中,HMD 112C将从化身120A、120B移除武器或手持对象。在一些示例中,HMD 112C将禁用任何麦克风,使得化身120A、120B可能听不到用户110。在一些示例中,当启用暂停模式特征时,用户110可能无法与人工现实环境124交互。以这种方式,用户110C可以在不必取下HMD 112C的情况下从人工现实环境124中休息一会儿,同时随着用户110A、110B继续参与人工现实环境124而继续接收与人工现实环境124相对应的数据。通过继续接收与人工现实环境124相对应的数据,而用户110A、110B分别在HMD112A、112B处继续参与人工现实环境,HMD 112C将不具有在从暂停模式环境返回到人工现实环境124时处理的积压的数据更新,这使得用户能够为了更愉悦的用户体验而通过减少数据处理延迟更快速地返回参与人工现实环境124。
在一些示例中,当启用暂停模式特征时,当一个或多个化身距用户在个人空间阈值内(例如,一米或两米内)时,暂停模式特征将在显示于HMD 112C处的暂停模式环境中将冻结化身中的一个或多个冻结化身移离用户110C。例如,当在HMD 112C处激活暂停模式特征时,如果化身120距用户110C在个人空间阈值内,那么HMD 112C将化身120A向后移动特定距离(例如,两米或三米)。在一些示例中,用户110C可能能够在处于暂停模式环境中时旋转视场130(例如,在所有方向上为360度),但是与用户110C相对应的化身将无法从其在暂停模式环境内的当前地点移动。在一些示例中,与用户110C相对应的化身可以在暂停模式环境内约特定半径(例如,三米)内移动。在一些示例中,在处于暂停模式环境中时将仅渲染一个或多个其他用户的化身,这些化身在启用暂停模式特征时处于来自用户110C的360度视线内。例如,其他用户的化身将在HMD 112C处显示在暂停模式环境中,这些化身在远处、在较高海拔下(例如,虚拟山顶上或任何其他虚拟对象上)或在较低海拔下(例如,在虚拟沟渠底部),但是从来自用户110C的360度视线中仍然可见,而在启用暂停模式特征时位于人工现实环境124中。相反,在启用暂停模式特征时位于虚拟墙壁后面或以其他方式被虚拟对象遮住的另一用户的化身将不会在暂停模式环境中被渲染。例如,即使在移除虚拟对象128A之后,HMD 112C也不会显示用户的化身,该化身在HMD 112C处的暂停模式环境内隐藏在虚拟对象128A后面。在一些示例中,HMD112C将会在将暂停模式环境显示给用户110C的同时播放环境声音(例如,背景声音或音乐)。
在一些示例中,用户110A和/或110B还可以分别在HMD 112A和/或112B处启用暂停模式特征。例如,用户110A可以在暂停模式特征也在HMD 112C处启用的时间段期间经由用户输入而在HMD112A处启用暂停模式特征。在该时间段期间,HMD 112C可以显示第一暂停模式环境且HMD 112A可以显示与第一暂停模式环境不同的第二暂停模式环境。例如,用户11C可能无法在第一暂停模式环境中与化身120A交互,而用户110A可能无法在第二暂停模式环境中与对应于用户110C的化身交互。在一些示例中,如果在112C处启用暂停模式特征时在HMD 112A处启用暂停模式特征,那么化身120A可以不由HMD 112C显示在第一暂停模式环境中,反之亦然。应理解,当第一暂停模式环境和第二暂停模式环境可以不同时,第一暂停模式环境和第二暂停模式环境两者可以包括相同的背景和/或环境声音(例如,两个环境可以看起来或感觉起来相同)。
图2A是描绘了根据本公开的技术操作的示例HMD 112的图示。图2A的HMD 112可以是图1A和图1B的HMD 112中的任何HMD的示例。HMD 112可以是人工现实***(诸如,图1A、图1B的人工现实***10、20)的一部分,或者可以作为被配置为实现本文中所描述的技术的独立的移动人工现实***操作。
在该示例中,HMD 112包括前刚性主体和带以将HMD 112固定到用户。此外,HMD112包括被配置为将人工现实内容呈现给用户的面向内部的电子显示器203。电子显示器203可以是任何合适的显示技术,诸如液晶显示器(LCD)、量子点显示器、点阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、阴极射线管(CRT)显示器、电子墨水或单色、彩色、或者任何其他类型的能够生成视觉输出的显示器。在一些示例中,电子显示器是用于向用户的每只眼睛提供单独图像的立体显示器。在一些示例中,当追踪HMD 112的位置和定向以根据HMD 112和用户的当前查看视角来渲染人工现实内容时,将显示器203相对于HMD 112的前刚性主体的已知定向和位置用作参考系,也被称为局部原点。在其他示例中,HMD可以采用其他可穿戴头戴式显示器(诸如,眼镜或护目镜)的形式。
如图2A中进一步示出的,在该示例中,HMD 112还包括一个或多个运动传感器206,诸如输出指示HMD 112的当前加速度的数据的一个或多个加速度计(也被称为惯性测量单元或“IMU”);输出指示HMD 112的地点的数据的GPS传感器;输出指示HMD 112与各种对象相距的距离的数据的雷达或声纳;或提供对HMD 112或物理环境内的其他对象的地点或定向的指示的其他传感器。而且,HMD112可以包括被配置为输出代表物理环境的图像数据的集成图像捕获设备138A和138B(被统称为“图像捕获设备138”),诸如摄像机、激光扫描器、多普勒雷达扫描器、深度扫描器等。更具体地,图像捕获设备138捕获代表物理环境中的对象(包括手部132)的图像数据,该对象在图像捕获设备138的视场130A、130B内,该视场130A、130B通常与HMD 112的查看视角相对应。HMD 112包括内部控制单元210,该内部控制单元210可以包括内部电源和一个或多个印刷电路板,该印刷电路板具有一个或多个处理器、存储器和硬件以提供用于执行可编程操作来处理感测数据并且将人工现实内容呈现在显示器203上的操作环境。
图2B是描绘了根据本公开中所描述的技术的另一示例HMD 112的图示。如图2B中所示出的,HMD 112可以采用眼镜的形式。图2A的HMD 112可以是图1A和图1B的HMD 112中的任何HMD的示例。HMD 112可以是人工现实***(诸如,图1A、图1B的人工现实***10、20)的一部分,或者可以作为被配置为实现本文中所描述的技术的独立的移动人工现实***操作。
在该示例中,HMD 112是包括前框的眼镜,该前框包括鼻梁架以允许HMD 112搁置在用户的鼻部和延伸于用户的耳朵上方的太阳穴(或者,“手臂”)上来将HMD 112固定到用户。此外,图2B的HMD112包括被配置为将人工现实内容呈现给用户的面向内部的电子显示器203A和203B(被统称为“电子显示器203”)。电子显示器203可以是任何合适的显示技术,诸如液晶显示器(LCD)、量子点显示器、点阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、阴极射线管(CRT)显示器、电子墨水或单色、彩色或任何其他类型的能够生成视觉输出的显示器。在图2B中所示的示例中,电子显示器203形成用于向用户的每只眼镜提供单独图像的立体显示器。在一些示例中,当追踪HMD 112的位置和定向以根据HMD112和用户的当前查看视角来渲染人工现实内容时,将显示器203相对于HMD 112的前框的已知定向和位置用作参考系,也被称为局部原点。
如图2B中进一步示出的,在该示例中,HMD 112还包括一个或多个运动传感器206,诸如输出指示HMD 112的当前加速度的数据的一个或多个加速度计(也被称为惯性测量单元或“IMU”);输出指示HMD 112的地点的数据的GPS传感器;输出指示HMD 112与各种对象相距的距离的数据的雷达或声纳;或提供对HMD 112或物理环境内的其他对象的地点或定向的指示的其他传感器。而且,HMD112可以包括被配置为输出代表物理环境的图像数据的集成图像捕获设备138A和138B(被统称为“图像捕获设备138”),诸如摄像机、激光扫描器、多普勒雷达扫描器、深度扫描器等。HMD 112包括内部控制单元210,该内部控制单元210可以包括内部电源和一个或多个印刷电路板,该印刷电路板具有一个或多个处理器、存储器和硬件以提供用于执行可编程操作来处理感测数据并且将人工现实内容呈现在显示器203上的操作环境。
图3是示出了根据本公开的技术的人工现实***的控制台106、人工现实应用服务器107和HMD 112的示例实现的框图,该人工现实***在执行人工现实应用期间生成暂停模式环境。在图3的示例中,控制台106针对人工现实应用执行姿势追踪、手势检测以及生成和渲染,该人工现实应用运行和输出内容以供显示在HMD 112的电子显示器203上。在一些示例中,可以在HMD 112处执行人工现实应用的姿势追踪、手势检测和/或生成和渲染,如下文参考图4所描述。
在该示例中,HMD 112包括一个或多个处理器302和存储器304,在一些示例中,该处理器302和存储器304提供用于执行操作***305的计算机平台,该操作***305可以是例如嵌入式实时多任务操作***或其他类型的操作***。转而,操作***305提供用于执行一个或多个软件部件307(包括应用引擎340)的多任务操作环境。如相对于图2A和图2B的示例所讨论的,处理器302耦接至电子显示器203、运动传感器206和图像捕获设备138。处理器302还耦接至一个或多个I/O接口319,这提供了I/O接口以用于与其他设备(诸如,显示设备、图像捕获设备、其他HMD等)通信。而且,一个或多个I/O接口319可以包括用于与网络(诸如,网络104)通信的一个或多个有线或无线网络接口控制器(NIC)。在一些示例中,处理器302和存储器304可以是单独离散部件。在其他示例中,存储器304可以是在单个集成电路内与处理器302并置的片上存储器。
通常,控制台106是处理从相机102(图1B)和/或HMD 112接收的图像和追踪信息以执行HMD 112的手势检测和用户界面生成的计算设备。在一些示例中,控制台106是单个计算设备,诸如服务器、工作站、台式计算机、膝上型计算机或游戏***。在一些示例中,控制台106的至少一部分(诸如,处理器312和/或存储器314)可以分布在云计算***、数据中心或网络(诸如,互联网、另一公共或私有通信网络,例如用于在计算***、服务器与计算设备(包括HMD)之间传输数据的宽带、蜂窝、Wi-Fi和/或其他类型的通信网络)上。
在图3的示例中,控制台106包括一个或多个处理器312和存储器314,在一些示例中,该处理器316和存储器304提供用于执行操作***316的计算机平台,该操作***316可以是例如嵌入式实时多任务操作***或其他类型的操作***。转而,操作***316提供用于执行一个或多个软件部件317的多任务操作环境。处理器312耦接至一个或多个I/O接口315,这提供了一个或多个I/O接口以用于与设备(诸如,键盘、游戏控制器、显示设备、图像捕获设备、HMD、输入设备等)通信。而且,一个或多个I/O接口315可以包括一个或多个有线或无线网络接口控制器(NIC)以用于与网络(诸如,网络104)通信。处理器302、312中的每个处理器可以包括以下任何一项或多项:多核处理器、控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或等效离散或集成逻辑电路***。存储器304、314可以包括用于存储数据和可执行软件指令的任何形式的存储器,诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除编程只读存储器(EPROM)、电子可擦除编程只读存储器(EEPROM)和闪速存储器。
控制台106的软件应用317包括应用引擎320、渲染引擎322、手势检测器324、姿势追踪器326、用户界面引擎328和暂停模式引擎332、人工现实应用引擎334。一般而言,应用引擎320包括以下功能性:提供和呈现人工现实应用,例如社交网络应用、电话会议应用、游戏应用、导航应用、教育应用、训练或模拟应用等。应用引擎320可以包括例如一个或多个软件封包、软件库、硬件驱动器和/或应用编程接口(API),以用于在控制台106上实现人工现实应用。响应于应用引擎320的控制,渲染引擎322生成3D人工现实内容以供由HMD 112的应用引擎340显示给用户。
应用引擎320和渲染引擎322根据如由姿势追踪器326确定的参考系的当前姿势信息(通常为HMD 112的查看视角)构造人工内容以供显示给用户110。基于当前查看视角,渲染引擎322构造3D人工现实内容,该3D人工现实内容在一些情况下可以至少部分地覆盖在用户110的真实世界3D环境上。在该过程期间,姿势追踪器326对从HMD 112接收的感测数据(诸如,移动信息和用户命令)进行操作,并且在一些示例中对来自任何外部传感器90(图1A、图1B)(诸如,外部相机)的数据进行操作,以捕获真实世界环境内的3D信息,诸如用户110的运动和/或相对于用户110的特征追踪信息。基于感测数据,姿势追踪器326确定HMD112的参考系的当前姿势,并且根据当前姿势,构造人工现实内容以供经由一个或多个I/O接口315传送给HMD 112以便显示给用户110。在一些示例中,应用引擎340允许HMD 112的用户捕获显示在电子设备203处的人工内容的图像数据。
基于来自图像捕获设备138或102中的任何图像捕获设备或其他传感器设备的感测数据,手势检测器324分析用户的HMD 112和/或物理对象(例如,手部、手臂、手腕、手指、手掌、拇指)的追踪运动、配置、位置和/或定向以标识由用户110执行的一个或多个手势。更具体地,手势检测器324分析在由HMD 112的图像捕获设备138和/或传感器90和外部相机102捕获到的图像数据内识别的对象,以标识用户110的手部和/或手臂并且追踪手部和/或手臂相对于HMD112的移动来标识由用户110执行的手势。手势检测器324可以基于捕获到的图像数据来追踪手臂、手部和/或手指的移动(包括位置和定向的变化)并且将对象的运动向量与手势库330中的一个或多个条目进行比较以检测由用户110执行的手势或手势组合。
手势库330中的一些条目可以分别将手势定义为一系列运动或运动模式,诸如用户的手部、特定手指、拇指、手腕和/或手臂的相对路径或空间平移和旋转。手势库330中的一些条目可以分别将手势定义为用户的手部和/或手臂(或者,其部分)在特定时间或一段时间内的配置、位置和/或定向。手势类型的其他示例是可能的。此外,手势库330中的条目中的每个条目可以针对所定义的手势或手势系列指定供手势或手势系列触发动作所需的条件,诸如与HMD 112的当前视场的空间关系、与用户当前正观察的特定区的空间关系(如可以由个人的实时注视追踪确定的)、正显示的人工内容的类型、正执行的应用的类型等。
手势库330中的条目中的每个条目还可以针对所定义的手势或手势组合/系列中的每一个指定待由软件应用317执行的所期望的响应或动作。例如,根据本公开的技术,某些专用手势可以被预定义为使得响应于检测到预定义手势中的一个预定义手势,应用引擎340可以生成包括暂停模式UI元素142的UI菜单140以供显示给用户110作为对人工现实应用的人工现实环境124(例如,如图1A、图1B中所示出)的虚拟内容的覆盖。用于生成UI菜单140的这些预定义手势可以包括将用户的手部的内侧手腕区域(或者,任何区域)移动到HMD112的当前视场中(例如,类似于用户看着腕表或其他可穿戴设备)。其他手势可以包括选择手势,该选择手势包括将用户的手部的一根或多根手指放置在与UI元素相对应的物理地点附近,使得HMD 112的用户的化身的虚拟手部的一根或多根手指与人工现实环境中的UI元素接触。
响应于手势检测器324检测到暂停模式UI元素142上的选择手势,暂停模式引擎332可以在执行人工现实应用期间启用HMD 112处的暂停模式特征。例如,暂停模式引擎332将用暂停模式环境替换人工现实环境124,使来自人工现实环境124的所有音频静音和/或在HMD 112处以静态姿势渲染来自人工现实环境的任何一个或多个化身(例如,位置和定向)。在一些示例中,暂停模式环境包括纯色背景。在一些示例中,当启用暂停模式特征时,当一个或多个化身距用户在个人空间阈值内(例如,一米或两米内)时,暂停模式特征332将在显示于HMD 112的电子显示器203处的暂停模式环境中将冻结化身中的一个或多个冻结化身移离用户。在一些示例中,暂停模式引擎332将会在将暂停模式环境显示在HMD 112的电子显示器203处的同时播放环境声音(例如,背景声音或音乐)。在一些示例中,暂停模式引擎332禁用HMD 112的用户捕获显示在电子设备203处的人工内容的图像数据的能力。例如,HMD 112的用户将无法在暂停模式环境中捕获经过渲染的化身的图像数据。在一些示例中,暂停模式引擎332禁用HMD 112的任何麦克风或停止从HMD 112向其他用户传输音频,使得人工现实环境中的其他用户无法听到HMD 112的用户。
在一些示例中,暂停模式引擎332允许HMD 112的用户从暂停模式环境中选择与另一用户相对应的经过渲染的化身并且执行与该化身/用户相对应的一个或多个操作。例如,HMD 112的用户可以选择化身并且查看对应用户的简档或与该用户加好友、向该用户发消息、屏蔽该用户或者、向该用户报告。在一些示例中,暂停模式引擎332可以制定指令,这些指令将由人工现实应用服务器107执行以基于在HMD 112处呈现给用户110的用户界面上的用户输入来获得简档、与用户加好友、向该用户发消息、使该用户静音、屏蔽该用户、或者向该用户报告。
在该示例中,HMD 112和控制台106被图示为与人工现实应用服务器107通信(例如,经由网络104),其针对在控制台106和/或HMD 112上执行的人工现实应用执行后端网络操作。如图3中所示出的,人工现实应用服务器107可以包括人工现实应用引擎334和(多个)I/O接口336。人工现实应用服务器可以包括其他硬件和软件部件,诸如一个或多个处理器、存储器、操作***等。出于简单起见未示出这些其他部件。
人工现实应用引擎334可以管理用户之间的关系(例如,友谊)、维护用户的简档、协调与一个或多个用户的游戏(例如,将一个或多个用户置于游戏中、维持分数)或执行任何其他网络端操作以在控制台106和/或HMD 112上执行人工现实应用。例如,人工现实应用引擎334可以包括如下功能性:响应于从HMD 112和/或控制台106接收的用户输入而获得特定用户的简档或与用户加好友,向该用户发消息、屏蔽该用户、或者向该用户报告。在一些示例中,人工现实应用引擎334可以包括一个或多个软件封包、软件库、硬件驱动器和/或应用编程接口(API),以用于在网络级别上实现简档、加好友、发消息、屏蔽和/或报告操作。
人工现实应用引擎334可以经由(多个)I/O接口336访问一个或多个数据库(未示出),该数据库包含用户简档。这些用户简档可以分别包括关于特定用户的一个或多个图片和/或信息。例如,如果HMD 112的用户屏蔽另一用户,那么另一个用户将无法在人工现实环境中(或者,在任何其他人工现实环境或应用中)看到HMD 112的用户或以其他方式与HMD112的用户交互(反之亦然),无法在网络上搜索HMD 112的用户,无法向HMD 112的用户发消息或无法经由人工现实应用服务器107与HMD 112的用户加好友。在一些示例中,人工现实应用引擎334可以防止这两个用户稍后被置于相同人工现实环境或人工现实应用中(例如,置于相同游戏中)。在一些示例中,HMD 112的用户可以指示是在当前人工现实应用完成(例如,游戏完成)之后或还是在用户退出人工现实环境时立即屏蔽另一个用户。在一些示例中,当HMD 112的用户退出人工现实环境时,HMD112的用户可以指示在人工现实环境内使另一个用户静音并且屏蔽该另一个用户(例如,在当前游戏期间使另一个用户静音并且一旦游戏结束就屏蔽这些用户)。在一些示例中,被屏蔽的用户将无法在人工现实环境中看到用户和/或其化身、听到用户和/或其化身或以其他方式与用户和/或其化身交互。如果HMD112的用户使另一用户静音,那么当HMD 112的用户返回到人工现实环境时,HMD 112的用户将无法听到来自另一个用户的音频。例如,暂停模式引擎332将在HMD112处使来自该另一个用户的音频静音。如果HMD 112的用户向另一用户报告,那么人工现实应用引擎334将标记该用户以供与人工现实环境或应用相关联的审查实体审查。在一些示例中,人工现实应用引擎334可以记录HMD 112的用户与人工现实环境内的另一个用户之间的交互以供审查。
在一些示例中,控制台106和/或HMD 112经由I/O接口315和/或319继续接收与人工现实环境相对应的数据(例如,游戏数据、位置数据),同时在HMD 112处启用暂停模式特征(例如来自其他HMD、控制台和/或人工现实应用服务器107)。例如,控制台106和/或HMD112可以继续接收一个或多个化身的位置信息,即使一个或多个化身在暂停模式环境中的位置并未更新,该一个或多个化身也继续参与人工现实环境。以这种方式,HMD 112的用户可以从人工现实环境中休息一会儿,而其他用户继续参与人工现实环境。通过继续接收与人工现实环境相对应的数据,HMD 112和/或控制台106将不具有在HMD 112的用户从暂停模式环境返回到人工现实环境时处理的积压的数据更新,这使得HMD 112的用户能够为了更愉悦的用户体验而通过减少数据处理延迟来更快速地重新开始参与人工现实环境124。
图4是描绘了根据本公开的技术的人工现实***的示例HMD112和人工现实应用服务器的框图,该人工现实***在执行人工现实应用期间生成暂停模式环境。
在该示例中,类似于图3,HMD 112包括一个或多个处理器302和存储器304,在一些示例中,该处理器302和存储器304提供用于执行操作***305的计算机平台,该操作***305可以是例如嵌入式实时多任务操作***或其他类型的操作***。转而,操作***305提供用于执行一个或多个软件部件417的多任务操作环境。而且,(多个)处理器302耦接至电子显示器203、运动传感器206、I/O接口319和图像捕获设备138。
在图4的示例中,软件部件417包括应用引擎440、渲染引擎422、手势检测器424、姿势追踪器426、界面引擎428和暂停模式引擎432。在各种示例中,软件部件417类似于图3的控制台106的对应部件(例如,应用引擎340、渲染引擎322、手势检测器324、姿势追踪器326、用户界面引擎328和暂停模式引擎332)而操作。在一些示例中,渲染引擎422构造3D人工现实内容,该3D人工现实内容可以至少部分地覆盖在用户110的真实世界物理环境上。
类似于相对于图3所描述的示例,应用引擎440和渲染引擎422根据如由姿势追踪器426确定的参考系的当前姿势信息(通常为HMD112的查看视角)构造人工内容以供显示给用户110。基于感测数据,姿势追踪器426确定HMD 112的参考系的当前姿势,并且根据当前姿势构造人工现实内容以供显示给用户110。
此外,基于感测数据,手势检测器424分析用户的对象(例如,手部、手臂、手腕、手指、手掌、拇指)的追踪运动、配置、位置和/或定向以标识由用户110执行的一个或多个手势。手势检测器424可以基于捕获到的图像数据来追踪手部、手指和/或手臂的移动(包括位置和定向的变化)并且将对象的运动向量与手势库430中的一个或多个条目进行比较以检测由用户110执行的手势或手势组合。手势库430类似于图3的手势库330。
例如,基于手势检测器424检测到UI激活手势,应用引擎440可以生成包括暂停模式UI元素142的UI菜单140以供显示给用户110作为对人工现实应用的人工现实环境124(例如,如上文参考图1A、图1B、图3所描述)的虚拟内容的覆盖。手势检测器然后可以检测暂停模式UI元素142上的选择手势,并且作为响应,暂停模式引擎432可以用暂停模式环境替换人工现实应用的人工现实环境,使来自人工现实环境的所有音频静音和/或在静态位置中渲染来自人工现实环境的任何一个或多个化身,如上文参考图3所描述。暂停模式引擎432还可以允许HMD 112的用户从暂停模式环境中选择与另一用户相对应的冻结化身并且执行一个或多个操作,包括在HMD 112处查看对应用户的简档或与该用户加好友、向该用户发消息、屏蔽该用户、或者向该用户报告,如上文参考图3所描述。在一些示例中,人工现实应用服务器107实现人工现实应用后端网络功能性以获得用户的简档或与用户加好友、向该用户发消息、屏蔽该用户、或者向该用户报告,如上文参考图3所描述。在一些示例中,暂停模式引擎432实现在HMD 112处使另一用户静音的功能性,如上文参考图3所描述。
图5是图示了用于多设备人工现实***的分布式架构的更详细的示例实现的框图,其中使用每个设备内的一个或多个SoC集成电路来实现一个或多个设备。在一些示例中,人工现实***包括与HMD 112结合操作的***设备502。在该示例中,***设备502是具有表面的物理真实世界设备,人工现实***在该表面上覆盖虚拟内容。***设备502可以包括一个或多个存在敏感表面,以用于通过检测触摸存在敏感表面的地点或悬停在存在敏感表面的地点上方的一个或多个对象(例如,手指、触控笔)的存在来检测用户输入。在一些示例中,***设备502可以包括输出显示器,该输出显示器可以是存在敏感显示器。在一些示例中,***设备502可以是智能电话、平板计算机、个人数据助理(PDA)或其他手持式设备。在一些示例中,***设备502可以是智能手表、智能环或其他可穿戴设备。***设备502也可以是信息亭或其他固定或移动***的一部分。***设备502可以或可以不包括用于将内容输出给屏幕的显示设备。
一般而言,图5中所示的SoC表示以分布式架构布置的专用集成电路的类集,其中每个SoC集成电路包括被配置为针对人工现实应用提供操作环境的各种专用功能块。图5仅仅是SoC集成电路的一种示例布置。多设备人工现实***的分布式架构可以包括SoC集成电路的任何类集和/或布置。
在该示例中,HMD 112的SoC 530A包括功能块,包括追踪570、加密/解密580、协处理器582、安全处理器583和接口584。追踪570提供用于眼睛追踪572(“眼睛572”)、手部追踪574(“手部574”)、深度追踪576(“深度576”)和/或同步定位和地图创建(SLAM)578(“SLAM578”)的功能块。例如,HMD 112可以接收来自如下各者的输入:输出指示HMD 112的当前加速度的数据的一个或多个加速度计(也被称为惯性测量单元或“IMU”);输出指示HMD 112的地点的数据的GPS传感器;输出指示HMD 112与各种对象相距的距离的数据的雷达或声纳;或提供对HMD 112或物理环境内的其他对象的地点或定向的指示的其他传感器。HMD 112还可以从一个或多个图像捕获设备588A至588N(被统称为“图像捕获设备588”)接收图像数据。图像捕获设备可以包括被配置为输出代表物理环境的图像数据的摄像机、激光扫描器、多普勒雷达扫描器、深度扫描器等。更具体地,图像捕获设备捕获代表物理环境中在图像捕获设备的视场内的对象(包括***设备502和/或手部)的图像数据,该视场通常与HMD112的查看视角相对应。基于感测数据和/或图像数据,追踪570例如确定HMD 112的参考系的当前姿势,并且根据当前姿势渲染人工现实内容。
加密/解密580是用于对传送给***设备502或安全服务器的传出数据进行加密并且对从***设备502或安全服务器传送的传入数据进行解密的功能块。加密/解密580可以支持对称密钥密码学以使用会话密钥(例如,秘密对称密钥)对数据进行加密/解密。
协同应用处理器582包括各种处理器,诸如视频处理单元、图形处理单元、数字信号处理器、编码器和/或解码器等。根据本公开中所描述的技术,后端外壳的全部或部分可以位于硬件、软件或硬件与软件的组合中。例如,并发应用引擎的后端外壳可以在协同应用处理器582上执行。多个人工现实应用可以在协同应用处理器582上同时执行。
安全处理器583在与AR环境结合使用的设备(例如,***设备606)配对时提供HMD112的安全设备证明和相互认证。安全处理器583可以认证HMD 112的SoC 530A至530C。
接口584是包括用于连接到SoC 530A的功能块的一个或多个接口的功能块。作为一个示例,接口584可以包括***部件互连高速(PCIe)插槽。SoC 530A可以使用接口584与SoC 530B、530C连接。SoC 530A可以使用接口584与通信设备(例如,无线电传输器)连接以与其他设备(例如,***设备136)通信。
SoC 530B和530C分别表示用于在相应显示器(例如,显示器586A、586B(被统称为“显示器586”))上输出人工现实内容的显示控制器。在该示例中,SoC 530B可以包括用于显示器558A的显示控制器以输出用户的左眼587A的人工现实内容。例如,SoC 530B包括解密块592A、解码器块594A、显示控制器596A和/或用于在显示器586A上输出人工现实内容的像素驱动器598A。类似地,SoC 530C可以包括用于显示器558B的显示控制器以输出用户的右眼587B的人工现实内容。例如,SoC 530C包括解密592B、解码器594B、显示控制器596B和/或用于在显示器586B上生成和输出人工现实内容的像素驱动器598B。显示器558可以包括用于显示AR内容的发光二极管(LED)显示器、有机LED(OLED)、量子点LED(QLED)、电子纸(电子墨水)显示器、液晶显示器(LCD)或其他类型的显示器。
***设备502包括被配置为支持人工现实应用的SoC 510A和510B。在该示例中,SoC 510A包括功能块,包括追踪540、加密/解密550、显示处理器552、接口554和安全处理器556。追踪540是提供眼睛追踪542(“眼睛542”)、手部追踪544(“手部544”)、深度追踪546(“深度546”)和/或同步定位和地图创建(SLAM)548(“SLAM548”)的功能块。例如,***设备502可以接收来自如下各者的输入:输出指示***设备502的当前加速度的数据的一个或多个加速度计(也被称为惯性测量单元或“IMU”);输出指示***设备502的地点的数据的GPS传感器;输出指示***设备502与各种对象相距的距离的数据的雷达或声纳;或提供对***设备502或物理环境内的其他对象的地点或定向的指示的其他传感器。在一些示例中,***设备502还可以从被配置为输出代表物理环境的图像数据的一个或多个图像捕获设备(诸如,摄像机、激光扫描器、多普勒雷达扫描器、深度扫描器等)接收图像数据。基于感测数据和/或图像数据,追踪块540例如确定***设备502的参考系的当前姿势,并且根据当前姿势向HMD 112渲染人工现实内容。
加密/解密550对传送给HMD 112或安全服务器的传出数据进行加密并且对从HMD112或安全服务器传送的传入数据进行解密。加密/解密550可以支持对称密钥密码学以使用会话密钥(例如,秘密对称密钥)对数据进行加密/解密。
显示处理器552包括用于向HMD 112渲染人工现实内容的一个或多个处理器,诸如视频处理单元、图形处理单元、编码器和/或解码器等。
接口554包括用于连接到SoC 510A的功能块的一个或多个接口。作为一个示例,接口584可以包括***部件互连高速(PCIe)插槽。SoC 510A可以使用接口584与SoC 510B连接。SoC 510A可以使用接口584与一个或多个通信设备(例如,无线电传输器)连接以与其他设备(例如,HMD 112)通信。
如相对于图5的示例所讨论的,安全处理器556在与AR环境结合使用的设备(例如,HMD 112)配对时提供***设备502的安全设备证明和相互认证。安全处理器556可以认证***设备502的SoC510A、510B。
SoC 510B包括协同应用处理器560和应用处理器562。在该示例中,协同应用处理器560包括各种处理器,诸如视觉处理单元(VPU)、图形处理单元(GPU)和/或中央处理单元(CPU)。应用处理器562可以包括处理单元以用于执行一个或多个人工现实应用以生成和渲染例如通向***设备502的表面的虚拟用户界面和/或检测由用户相对于***设备502执行的手势。
图6是图示了根据本公开的方面的用于针对人工现实***(图1A、图1B的人工现实***10、20)启用暂停模式环境的示例操作的流程图600。出于示例和解释的目的,相对于HMD 112解释了图6的方法。然而,应理解,控制台106可以执行该方法的操作中的一个或多个操作。
首先,HMD 112将人工现实内容输出给用户(602)。例如,HMD112可以输出人工现实应用的人工现实环境,诸如社交网络应用、电话会议应用、游戏应用、导航应用、教育应用、训练或模拟应用等。人工现实内容可以包括一个或多个化身,该一个或多个化身与参与人工现实环境的其他HMD的一个或多个其他用户相对应。接下来,HMD 112可以检测包括用户将其手部的内侧手腕区域(或者,任何区域)移动到HMD 112的视场中的UI激活手势,并且HMD 112将部分地在与用户的手部(例如,如图1A、图1B、图7中所示出)相对应的虚拟手部的任何(多个)表面上方或附近输出UI菜单(604)。UI菜单可以包括暂停模式UI元素和/或个人UI元素,如上文参考图1A、图1B所描述。
接下来,HMD 112可以检测UI菜单内的暂停模式UI元素的暂停模式选择手势(606)。例如,暂停模式选择手势可以包括将用户的一根或多根手指(物理的或虚拟的)放置在对应的UI元素上或附近(例如,暂停模式UI元素被渲染的物理表面上或与暂停模式UI元素被渲染的位置相对应的物理地点附近)。响应于检测到暂停模式选择手势,HMD 112启用暂停模式,包括冻结一个或多个其他化身(例如,在静态位置中渲染一个或多个化身)并且在HMD 112处输出暂停模式环境(608)。在一些示例中,一个或多个用户可以继续参与人工现实环境,同时在HMD 112处启用暂停模式。在一些示例中,HMD 112可以继续接收与人工现实环境相对应的数据,包括游戏状态(例如,分数、剩余生命)信息和/或人工环境中一个或多个化身的地点信息,但是HMD 112的用户可以不参与来自暂停模式环境的人工现实环境。HMD 112可以在后台中处理该数据(例如,不在暂停模式环境内显示更新)。
HMD 112然后将确定用户是否希望退出暂停模式(610)。例如,HMD 112可以确定用户是否选择了暂停模式环境内的UI元素。响应于确定了用户不希望退出暂停模式(610的“否”分支),HMD 112将保留在暂停模式中(例如,返回到608)。响应于确定了用户希望退出暂停模式(610的“是”分支),HMD 112将包括人工现实环境的人工现实内容输出给HMD 112的用户(例如,返回到602)。因为HMD112继续接收和处理与人工现实环境相对应的数据,所以HMD 112可以更快速地将用户从暂停模式环境返回到人工现实环境,这是因为HMD 112将不具有要处理的积压的数据。以这种方式,暂停模式环境与人工现实环境之间的过渡可以是尖锐的(例如,即时的或快速的)。在一些示例中,HMD 112可以在暂停模式环境与人工现实环境之间过渡时渲染衰落效应。
图7是图示了根据本公开的方面的用于人工现实***(图1A、图1B的人工现实***10、20)的暂停模式环境内的示例操作的流程图700。出于示例和解释的目的,相对于HMD112解释了图7的方法。然而,应理解,控制台106可以执行该方法的操作中的一个或多个操作。例如,流程图700是由暂停模式引擎332或432执行以在HMD 112处启用暂停模式特征的功能的一个示例(例如,图6的流程图600的步骤608)。
HMD 112用暂停模式环境替换人工现实应用的人工现实环境(702)。例如,HMD 112可以用纯色背景替换在HMD 112处渲染的人工现实内容。这可以包括停止显示人工现实环境中的结构、地面/地板、对象(包括手持式对象,诸如武器)等。例如,如果在启用暂停模式时化身站在桌子上,那么桌子将不会显示在暂停模式环境中,并且该化身在暂停模式环境中可能看起来是漂浮的。在一些示例中,暂停模式环境的背景可以由HMD 112的用户改变(例如,改变为(多种)其他颜色、图像或包括一个或多个图案)。
HMD 112还将在HMD 112处使来自人工现实环境的音频静音(704)。例如,HMD 112将使来自一个或多个化身的音乐、语音或其他噪音、背景噪音等静音。在一些示例中,HMD112可以播放与暂停模式环境相对应的环境声音(例如,背景声音、音乐或白噪音)。例如,HMD 112可以播放来自大自然的声音(例如,海浪拍打在沙滩上)、轻松的音乐或其他声音。在一些示例中,在暂停模式环境中播放的环境声音可以由HMD 112的用户改变(例如,改变为其他音乐或声音)。在一些示例中,HMD 112禁用HMD 112的任何麦克风或停止向其他用户或设备(例如,其他HMD、控制台106)传输音频,使得人工现实环境中的其他用户无法听到HMD 112的用户。
HMD 112将在暂停模式环境内渲染与处于静态姿势(例如,位置和定向)的其他用户相对应的一个或多个化身(706)。当在HMD 112处启用暂停模式时,静态姿势可以与一个或多个化身处于人工现实环境内的姿势相对应。在一些示例中,HMD 112可以确定经过渲染的化身中的一个或多个经过渲染的化身是否距HMD 112的用户在个人空间阈值内(例如,一米或两米内)(708)。响应于确定一个或多个经过渲染的化身在个人空间阈值内(708的“是”分支),HMD 112将一个或多个经过渲染的化身向后移动特定距离(例如,两米或三米)。例如,HMD 112可以渲染在个人空间阈值内向后滑动一个或多个经过渲染的化身的动画。在一些示例中,HMD 112可以简单地在处于或超出个人空间阈值的静态位置处渲染一个或多个经过渲染的化身。无论哪种方式,流程图700继续到712。
响应于确定一个或多个经过渲染的化身不在个人空间阈值内(708的“否”分支),HMD 112基于用户输入来执行与暂停模式环境中的一个或多个经过渲染的化身相对应的一个或多个操作(712)。例如,用户可以从暂停模式环境中选择另一用户的化身来与该用户加好友、向该用户发消息、使该用户静音、屏蔽该用户、或者向该用户报告(例如,如上文参考图1A、图3所描述)。在一些示例中,人工现实应用服务器107执行后端网络操作以与来自暂停模式环境的用户加好友、向该用户发消息、屏蔽该用户、或者向该用户报告(例如,如上文参考图1A、图3所描述)。例如,如果HMD 112的用户在网络级别屏蔽另一用户,那么另一个用户将无法在人工现实环境中(或者,在任何其他人工现实环境或应用中)看到HMD 112的用户或以其他方式与HMD 112的用户交互(反之亦然),无法在网络上搜索HMD 112的用户,无法向HMD 112的用户发消息或与HMD 112的用户加好友。如果HMD 112的用户和另一个用户已经是朋友,那么屏蔽另一个用户可以解除这两个用户的好友关系。在一些示例中,控制台106可以防止这两个用户稍后被置于相同人工现实环境或人工现实应用中(例如,置于相同游戏中)。在一些示例中,HMD 112的用户可以指示是在当前人工现实应用完成(例如,游戏完成)之后或还是在用户退出人工现实环境时立即屏蔽另一个用户(使得屏蔽将在用户从暂停模式环境返回到人工现实环境后生效)。在一些示例中,被屏蔽的用户将无法在人工现实环境中看到用户和/或其化身、听到用户和/或其化身或以其他方式与用户和/或其化身交互。如果HMD 112的用户使另一用户静音,那么当HMD 112的用户返回到人工现实环境时,HMD 112的用户将无法听到来自该另一个用户的音频。在一些示例中,HMD 112将继续接收来自该另一个用户的音频数据,但是将使该音频静音。
图8是描绘了根据本公开的技术的与用于在执行人工现实应用期间进入暂停模式环境的示例手势驱动UI的用户交互的图示。具体地,图8示出了虚拟手部136A、136B(被统称为“虚拟手部136”)和在虚拟手部136A附近的UI菜单140,包括暂停模式UI元素142和个人UI元素144。在一些示例中,可能已响应于HMD 112检测到用户的手部的内侧手腕区域(例如,在检测到如上文参考图1A所解释的UI激活手势之后)渲染了HMD 112,该手部与进入HMD112的视场中的虚拟手部136相对应。图8还示出了用户执行暂停模式选择手势,包括将虚拟手指802放置在暂停模式UI元素142上,这对应于用户将手指放置在与暂停模式UI元素被渲染的位置相对应的物理区域中。响应于HMD 112检测到暂停模式UI元素142上的选择手势(例如,经由用户的手部的捕获到的图像数据),HMD 112启用暂停模式特征。通过基于用户的手部的运动来定义UI激活和选择手势,用户可以快速且直观地启用暂停模式特征。
图9是描绘了根据本公开的技术的在HMD 112呈现给用户的人工现实应用的示例人工现实环境924的图示。在图9中所图示的示例中,人工现实环境924包括化身920A、920B、920C、920D、920E和920F(被统称为“化身920”)、虚拟对象928A和928B(被统称为“虚拟对象928”)和虚拟手持式对象914。具体地,化身920可以与HMD的其他用户对应并且人工现实环境924可以与游戏应用相对应。在一些示例中,一个或多个化身920可以穿戴服装、面具或配饰。例如,化身920E正戴着图9中的面具902。在一些示例中,每个化身所穿戴的服饰或服装可以由相应用户个性化。在一些示例中,化身920可以包括具有关于对应用户的信息的图形元素。例如,图9示出了具有与化身920相对应的用户的名字的图形元素。在其他示例中,这些图形可以附加地或备选地包括游戏分数、剩余寿命或关于对应用户的任何其他信息。在一些示例中,可以不将该图形元素包括在人工现实环境924中。图9中所示的人工现实环境924可以是根据本公开的技术的在启用暂停模式特征之前的人工现实环境的示例。
虽然图9示出了与六个不同用户相对应的六个化身,但是其他化身可以存在于人工现实环境924中,但是可以对HMD 112的用户不可见,这是因为这些化身不在HMD 112的视场中,位于虚拟对象后面(例如,位于虚拟墙壁928A后面)或太远(例如,定位于可见阈值之外)。例如,HMD 112的用户可以通过移动其视场(例如,转身或向虚拟墙壁928A后看)而看到附加化身。图9还图示了与无闲暇的用户(即,Jacob)相对应的虚拟图形904。虚拟图形904可以包括用户的简档图片和指示用户已离开或以其他方式无闲暇的消息。在一些示例中,与虚拟图形904相对应的用户可以无闲暇,这是因为该用户暂停了其HMD、取下了其HMD、在其HMD处启用了暂停模式特征等。无论哪种方式,虚拟图形904可以或可以不包括对用户无闲暇的原因的指示。在一些示例中,虚拟图形904可以是与用户相对应的“硬币”或代币。
图10是描绘了根据本公开的技术的示例暂停模式环境1024的图示。在图10中所图示的示例中,暂停模式环境1024与图9中的人工现实环境924相对应。也就是说,图10是在用户在参与图9的人工现实环境924的同时启用了暂停模式特征之后在HMD 112处显示的示例暂停模式环境1024。
如图10中所示出的,暂停模式环境1024包括分别与图9的化身920A、920B、920C、920D、920E和920F相对应的化身1020A、1020B、1020C、1020D、1020E和1020F(被统称为“化身1020”)。HMD 112以静态姿势(例如,位置和定向)呈现化身1020,该静态姿势与在HMD 112的用户启用了暂停模式特征时化身1020所处的姿势相对应。虽然化身1020在HMD 112处的暂停模式环境1024中以静态姿势呈现,但是化身920可以继续参与图9的人工环境924。HMD112可以在启用了暂停模式特征时继续接收关于人工现实环境924的数据,包括化身920中的每个化身的姿势信息。也就是说,当HMD 112的用户进入暂停模式环境1024时,人工现实环境924并未针对化身920暂停或以其他方式停止。值得注意的是,HMD 112并未在暂停模式环境1024中显示人工环境924的虚拟背景(包括虚拟对象928),相反呈现不同背景(例如,纯色背景)。例如,暂停模式环境1024不包括图9的虚拟对象928或虚拟手持式对象914。值得注意的是,HMD 112将不会在暂停模式环境1024中显示任何化身,这些化身在人工现实环境924中的虚拟对象928后面(例如,被虚拟对象928遮住)。在一些示例中,HMD 112继续呈现化身920的服装、面具或配饰。例如,HMD 112将呈现具有面具1002的化身1020E,该化身1020E与图9中的化身920E和面具902相对应。在一些示例中,化身1020可以包括具有与化身920中的一些化身相对应的用户的名字的图形元素。在其他示例中,这些图形可以附加地或备选地包括游戏分数、剩余寿命或关于对应用户的任何其他信息。在一些示例中,可以不将该图形元素包括在人工现实环境924中,但是可以将该图形元素包括在暂停模式环境1024中。在一些示例中,可以不将该图形元素包括在暂停模式环境1024中。
HMD 112还可以显示与一个或多个化身相对应的多个虚拟UI元素,这些化身在用户启用了暂停模式特征时处于虚拟现实环境924中。例如,暂停模式环境1024包括UI元素1050A、1050B、1050C、1050D和1050(被统称为“UI元素1050”或“信息面板1050”)。如图10中所示出的,UI元素1050中的每个UI元素可以包括与化身的相应用户相对应的图片、姓名或任何其他信息。在一些示例中,UI元素1050可以包括当前在暂停模式环境1024中不可见的化身的一个或多个UI元素。例如,与图10中的UI元素1050A相对应的化身不可见。该化身可以是不可见的,这是因为其不在HMD 112的视线中、其在虚拟对象或另一化身后面或其在HMD 112的用户启用了暂停模式特征时已“离开”。HMD 112还可以为UI元素1054呈现指令、附加信息和/或虚拟UI元素以退出暂停模式环境1024并且返回到人工现实环境924。在图10中所示的示例中,UI元素1054指示HMD 112的用户可以轻击用户简档(例如,UI元素1050中的任何UI元素)以获得附加选项。在该示例中,用户已通过在UI元素1050C上轻击选择了化身1020A。在一些示例中,HMD 112的用户可以通过看着化身或指向他们来选择化身1020。在一些示例中,例如,HMD 112的用户可以用语音选择来选择化身1020,包括口头描述化身的外貌(例如,描述化身的大小、服装、配饰或任何其他显着特点)或说出化身的名字。以这种方式,用户不需要滚动通过查找特定化身/用户的各种UI元素1050。在一些示例中,HMD 112可以在视觉上使化身1050静音,直到选择了这些化身为止。例如,化身1020B至1020F可以以灰度或以与人工现实环境924(由图10中的虚线表示)不同的其他方式呈现。HMD 112还可以以真彩色突出显示和/或呈现所选择的化身1020A(例如,如在人工现实环境924中)。例如,HMD 112可以在化身1020A下方呈现聚光灯或基部1056,并且呈现从HMD 112的用户到基部1056的线1058。在用户选择不同化身1020时,基部1056和线1058可以在化身1020之间移动。
响应于选择用户1020A,HMD 112渲染暂停模式UI 1052,该暂停模式UI 1052包括可选择的虚拟元素,这些虚拟元素允许用户通过暂停模式UI 1052与该用户接洽。例如,用户可以通过在暂停模式UI1052中选择对应虚拟元素来与用户1020A加好友、向用户1020A发消息、使用户1020A静音、屏蔽用户1020A和/或向用户1020A报告。在一些示例中,暂停模式UI 1052可以包括虚拟UI元素以退出暂停模式环境1024并且返回到人工现实环境924。
在一些示例中,屏蔽是在网络或服务器级别执行的(例如,通过如参考图3所描述的人工现实应用引擎334)并且静音是在HMD级别执行的(例如,通过如参考图4所描述的暂停模式引擎432)。例如,如果用户在网络上屏蔽用户1020A,那么在用户退出暂停模式环境之后,用户1020A将无法在人工现实环境924中(或者,在任何其他人工现实环境或应用中)看到用户或以其他方式与用户交互、无法在网络上搜索用户、无法向用户发消息或与用户加好友。在一些示例中,用户可以指示是在当前人工现实应用完成(例如,游戏完成)之后或还是在用户退出人工现实环境924时立即屏蔽用户902。在一些示例中,当HMD 112的用户退出人工现实环境时,HMD 112的用户可以指示在人工现实环境内使另一个用户静音并且屏蔽该另一个用户(例如,在当前游戏期间使另一个用户静音并且一旦游戏结束就屏蔽这些用户)。在一些示例中,被屏蔽的用户将无法看到用户和/或其化身、听到用户和/或其化身或以其他方式与用户和/或其化身交互。例如,返回参看图9,如果HMD 112的用户屏蔽化身920A并且化身920B稍后在用户返回到人工现实环境924时与HMD 112的用户交谈,那么化身920B将从与化身920A相对应的被屏蔽的用户的视角出现以免与任何人说话。
如果用户使另一用户静音,那么用户在处于人工现实环境924中时将无法听到来自该另一个用户的音频,这是因为HMD 112将使来自该另一个用户的音频静音。如果HMD112的用户报告另一用户,那么控制台106(或者,来自人工现实***的任何其他设备)将标记用户以供与人工现实环境或应用相关联的审查实体审查。在一些示例中,人工现实***可以记录HMD 112的用户与人工现实环境924内的其他用户之间的交互以供审查。
虽然化身920将继续参与人工现实环境924,同时在HMD 112处启用暂停模式特征,但是在人工现实环境924中将禁用与HMD 112的用户相对应的化身,并且图9的化身920将无法查看与HMD 112的用户相对应的化身或与该用户交互。相反,与化身920相对应的用户可以看到类似于图9的指示904的图形,该指示904指示HMD 112的用户无闲暇,而不指示用户启用暂停模式。在一些示例中,HMD 112的用户可能无法参与人工现实环境924。在一些示例中,HMD 112的用户可能无法在暂停模式环境1024内拍摄或记录化身1020。因为用户的化身可以表示用户的扩展(例如,人工现实环境中的用户的代理或角色),所以暂停模式特征可以在激活了暂停模式特征时帮助确保其他用户不会在用户不知道或未同意的情况下拍摄用户的化身、记录用户的化身或与用户的化身交互,反之亦然。.
当用户处于暂停模式环境1024中时,在人工现实环境中的用户的HMD(包括处于模式中的用户的HMD)之间的网络通信继续进行。例如,HMD 112将继续从其他HMD接收关于人工现实应用、人工现实环境和/或其他化身的更新。以这种方式,用户可以从人工现实应用中休息一会儿,稍后立即在人工现实应用的当前状态下重新进入人工现实环境1024。因为在用户处于暂停模式环境1024中时人工现实应用继续,所以化身920中的任何化身可以位于不同地点中和/或在用户退出暂停模式环境1024并且重新进入人工现实环境924时可能已退出了人工现实环境924。HMD 112将能够立即显示化身920的更新后的姿势,这是因为HMD 112将不会具有要处理的积压的更新,这是由于在启用了暂停模式时其已经处理了这些更新。
应理解,暂停模式特征与暂停模式不同。例如,在暂停模式环境中,HMD 112的用户可能无法访问或更新人工现实应用设置或偏好。作为另一示例,可以用人工现实环境924中的虚拟图形(例如,图9的虚拟图形904)替换HMD 112的用户的化身,而化身920继续参与人工现实环境924。以这种方式,当在HMD 112处启用了暂停模式特征时,化身920可以不与HMD112的化身交互(反之亦然)。
图11是描绘了根据本公开的技术的暂停模式环境1124的另一示例的图示。在图11中所示的示例中,从与图10的暂停模式环境1024不同的视角示出了暂停模式环境1124。具体地,从图11中的第三人称视角示出了暂停模式环境1124。暂停模式环境1124包括与HMD112的用户相对应的化身1110和与人工现实环境中的其他用户相对应的化身1120A、1120B和1120C(被统称为“化身1120”)。类似于图10,HMD 112在暂停模式环境1124中以静态姿势呈现化身1020。如图11中所示出的,可以将化身1110呈现在平台或基部1160上方。
在一些示例中,当一个或多个化身1120距化身1110在个人空间阈值内(例如,一米或两米内)时,HMD 112将一个或多个化身1120移离化身1110,如上文参考图7所描述。在一些示例中,化身1110可能能够在处于暂停模式环境中时使其视场旋转但将无法从其在暂停模式环境1124内的当前地点移动。例如,化身1110可以旋转360度并且向上和向下看但无法走到暂停模式环境1124内的另一地点。在一些示例中,化身1110可以在暂停模式环境内的半径平台1160内移动。在一些示例中,将仅在暂停模式环境中渲染化身,这些化身在HMD112的用户启用了暂停模式特征时处于化身1110的360度视线内。例如,化身1120将在该化身在暂停模式环境1124内位于HMD的视场内时显示,这些化身在较高级别/海拔下(例如,虚拟山顶上或任何其他虚拟对象上)或在较低级别/海拔下(例如,在虚拟沟渠底部),但是在用户启用了暂停模式特征时处于来自化身1110的360度视线内(即使用户可能尚未看着化身)。在暂停模式环境1124中可以不渲染在虚拟墙壁后面或以其他方式被虚拟对象遮住的另一用户的化身。在一些示例中,HMD 112可以在暂停模式环境中继续渲染化身1120的衣着和配饰1124,包括服装、头饰、鞋子、服装元素或构成化身的角色的任何其他元素。例如,HMD112可以继续在化身1120B上渲染虚拟耳机1162。以此方式,用户可以更容易地标识暂停模式环境1124内的化身1120中的每个化身。
当处于暂停模式环境1124中时,化身1110可以通过对UI元素1150A、1150B或1150C(被统称为“UI元素1150”)中的任何UI元素执行选择手势来选择化身1120中的任何化身以执行附加操作(例如,如参考图10中的UI元素1050所描述)。例如,当化身1110选择(例如,通过触摸手势)UI元素1150中的一个UI元素时,HMD 112渲染虚拟暂停模式UI 1152。当选择了化身时,HMD 112突出显示所选择的化身和/或使其他化身不重要(例如,使这些化身淡出)。例如,化身1110可以选择化身1120A并且HMD 112可以在化身1120A下方渲染聚光灯或基部1156并且呈现从平台1160到基部1056的线1158。基部1056和线1058可以随着用户选择不同化身1120而在化身1020之间移动。附加地或备选地,HMD 112通过例如使未经选择的化身1120B和1120C淡出或淡化(在图11中以虚线形式标识)来使未经选择的化身1120B和1120C不重要。
可以用硬件、软件、固件或其任何组合来至少部分地实现本公开所描述的技术。例如,可以在一个或多个处理器内实现所描述的技术的各种方面,该一个或多个处理器包括一个或多个微处理器、DSP、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其他等效的集成或离散逻辑电路***以及此类部件的任何组合。术语“处理器”或“处理电路***”通常可以指以下任何一项:单独或与其他逻辑电路***结合的前述逻辑电路***或任何其他等效的电路***。包括硬件的控制单元也可以执行本公开的技术中的一种或多种技术。
这种硬件、软件和固件可以实现在相同设备内或单独设备内以支持本公开中所描述的各种操作和功能。此外,所描述的单元、模块或部件中的任何单元、模块或部件可以一起或单独地被实现为离散逻辑设备,而不是互操作逻辑设备。对作为模块或单元的不同特征的描述旨在强调不同的功能方面,而并不一定意味着此类模块或单元必须由单独的硬件或软件部件实现。确切地说,与一个或多个模块或单元相关联的功能性可以由单独的硬件或软件部件执行,或者集成在公共的或单独的硬件或软件部件内。
本公开中所描述的技术还可以在包含指令的计算机可读介质(诸如,计算机可读存储介质)中实现或编码。嵌入或编码在计算机可读存储介质中的指令可以使可编程处理器或其他处理器例如在该指令被执行时执行该方法。计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除编程只读存储器(EPROM)、电可擦除编程只读存储器(EEPROM)、闪速存储器、硬盘、CD-ROM、软盘、盒式磁带、磁性介质、光学介质或其他计算机可读介质。
如本文中以各种示例的方式所描述,本公开的技术可以包括人工现实***或与人工现实***结合实现。如所描述,人工现实是已在呈现给用户之前以某种方式进行了调整的真实形式,人工现实可以包括例如虚拟现实VR、增强现实AR、混合现实MR、混杂现实、或者其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获到的内容(例如,真实世界照片)组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合,并且他们中的任何一者都可以在单个频道或多个频道中呈现(诸如,为观众产生三维效果的立体视频)。附加地,在一些实施例中,人工现实可以与应用、产品、附件、服务或其某种组合相关联,这些应用、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或用于人工现实中(例如,在人工现实中执行活动)。提供人工现实内容的人工现实***可以实现在各种平台上,这些平台包括连接到主机***的头戴式显示器(HMD)、独立的HMD、移动设备或计算***,或者能够向一个或多个观众提供人工现实内容的任何其他硬件平台。
在特定实施例中,计算***的一个或多个对象(例如,内容或其他类型的对象)可以与一种或多种隐私设置相关联。可以将一个或多个对象存储在任何合适的计算***或应用(诸如,例如社交网络***、客户端***、第三方***、社交网络应用、消息传送应用、照片共享应用或任何其他合适的计算***或应用)上或以其他方式与任何合适的计算***或应用相关联。尽管本文中所讨论的示例处于在线社交网络的背景中,但是可以将这些隐私设置应用于任何其他合适的计算***。对象的隐私设置(或者,“访问设置”)可以以任何合适的方式(诸如,例如与对象相关联,在授权服务器上的索引中,以另一合适的方式或其任何合适的组合)存储。对象的隐私设置可以指定对象(或者,与对象相关联的特定信息)在在线社交网络内能够如何被访问、存储或以其他方式使用(例如,查看、共享、修改、复制、执行、显露或标识)。当对象的隐私设置允许特定用户或其他实体访问该对象时,该对象可以被描述为相对于该用户或其他实体为“可见的”。作为示例而非限制,在线社交网络的用户可以针对用户简档页面指定隐私设置,该用户简档页面标识可以访问用户简档页面上的工作经验信息的用户集合,进而排除其他用户访问该信息。
在特定实施例中,对象的隐私设置可以指定用户或其他实体的“被屏蔽的列表”,这些用户和实体不应被允许访问与对象相关联的某些信息。在特定实施例中,被屏蔽的列表可以包括第三方实体。被屏蔽的列表可以执行一个或多个用户或实体,针对该用户或实体,对象为不可见的。作为示例而非限制,用户可以指定不能访问与该用户相关联的相册的用户集合,进而将那些用户排除在访问相册之外(同时也可能允许不在指定用户集合内的某些用户访问相册)。在特定实施例中,隐私设置可以与特定社交图元素相关联。社交图元素(诸如,节点或边缘)的隐私设置可以指定能够如何使用在线社交网络访问社交图元素、与社交图元素相关联的信息或与社交图元素相关联的对象。作为示例而非限制,与特定照片相对应的特定概念节点可以具有隐私设置,该隐私设置指定该照片只可以由在照片中标记的用户和在照片中标记的用户的朋友访问。在特定实施例中,隐私设置可以允许用户选择加入或选择退出使其内容、信息或动作由社交网络***存储/登录或与其他***(例如,第三方***)共享。尽管本公开描述了以特定方式使用特定隐私设置,但是本公开考虑以任何合适的方式使用任何合适的隐私设置。
在特定实施例中,隐私设置可以基于社交图的一个或多个节点或边缘。可以针对社交图的一个或多个边缘或边缘类型指定隐私设置,或者相对于社交图的一个或多个节点或节点类型指定隐私设置。应用于连接两个节点的特定边缘的隐私设置可以控制与节点相对应的两个实体之间的关系是否对在线社交网络的其他用户可见。类似地,应用于特定节点的隐私设置可以控制与节点相对应的用户或概念是否对在线社交网络的其他用户可见。作为示例而非限制,第一用户可以向社交网络***共享对象。对象可以与由边缘连接到第一用户的用户节点的概念节点相关联。第一用户可以指定应用于连接到对象的概念节点的特定边缘的隐私设置,或者可以指定应用于连接到概念节点的所有边缘的隐私设置。作为另一示例而非限制,第一用户可以共享特定对象类型的对象集合(例如,图像集合)。第一用户可以将相对于与该特定对象类型的第一用户相关联的所有对象的隐私设置指定为具有特定隐私设置(例如,指定由第一用户发布的所有图像仅对第一用户的朋友和/或在图像中标记的用户可见)。
在特定实施例中,社交网络***可以将“隐私向导”(例如,在网页、模块、一个或多个对话框或任何其他合适的界面内)呈现给第一用户以辅助第一用户指定一种或多种隐私设置。隐私向导可以显示指令、合适的隐私相关信息、当前隐私设置、用于接受来自第一用户的指定隐私设置的变化或确认的一个或多个输入的一个或多个输入字段或其任何合适的组合。在特定实施例中,社交网络***可以向第一用户提供“仪表板”功能性,其可以向第一用户显示第一用户的当前隐私设置。可以在任何适合的时间将仪表板功能性显示给第一用户(例如,在来自第一用户的输入召唤仪表板功能性之后、在特定事件或触发动作发生之后)。仪表板功能性可以允许第一用户在任何时间以任何合适的方式修改第一用户的当前隐私设置中的一种或多种当前隐私设置(例如,将第一用户重定向到隐私向导)。
与对象相关联的隐私设置可以指定准许访问或拒绝访问的任何合适的粒度。作为示例而非限制,可以针对特定用户(例如,只有我、我的室友、我的老板)、在特定分离程度内的用户(例如,朋友、朋友的朋友)、用户组(例如,游戏俱乐部、我的家人)、用户网络(例如,特定雇主的雇员、特定大学的学生或校友)、所有用户(“公共”)、无用户(“私人”)、第三方***的用户、特定应用(例如,第三方应用、外部网站)、其他合适的实体或其任何合适的组合指定访问或拒绝访问。尽管本公开描述了准许访问或拒绝访问的特定粒度,但是本公开考虑了准许访问或拒绝访问的任何合适的粒度。
在特定实施例中,一个或多个服务器可以是用于施行隐私设置的授权/隐私服务器。响应于来自用户(或者,其他实体)对存储在数据存储库中的特定对象的请求,社交网络***可以将该对象的请求发送给数据存储库。如果授权服务器基于与对象相关联的隐私设置来确定用户被授权访问对象,那么请求可以标识与请求相关联的用户并且可以仅将对象发送给用户(或者,用户的客户端***)。如果请求用户未被授权访问对象,那么授权服务器可以阻止从数据存储库中获取所请求的对象或可以阻止将所请求的对象发送给用户。在搜索查询背景中,只有在查询用户被授权访问对象时(例如,只有在对象的隐私设置允许该对象被显露给查询用户、被查询用户发现或以其他方式对查询用户可见时)才可以将对象提供为搜索结果。在特定实施例中,对象可以表示通过新闻供应对用户可见的内容。作为示例而非限制,一个或多个对象可以对用户“趋势”页面可见。在特定实施例中,对象可以与特定用户相对应。对象可以是与特定用户相关联的内容,或者可以是特定用户的账户或存储在社交网络***或其他计算***上的信息。作为示例而非限制,第一用户可以通过在线社交网络的“你可能认识的人”功能或通过查看第一用户的朋友列表来查看在线社交网络的一个或多个第二用户。作为示例而非限制,第一用户可以指定他们不希望在其新闻供应或朋友列表中看到与特定第二用户相关联的对象。如果对象的隐私设置不允许对象被显露给用户、被用户发现或对用户可见,那么对象可以从搜索结果中排除。尽管本公开描述了以特定方式施行隐私设置,但是本公开考虑以任何合适的方式施行隐私设置。
在特定实施例中,与用户相关联的相同类型的不同对象可以具有不同的隐私设置。与用户相关联的不同类型的对象可以具有不同类型的隐私设置。作为示例而非限制,第一用户可以指定第一用户的状态更新是公开的,但是由第一用户共享的任何图像在线社交网络上仅对第一用户的朋友可见。作为另一示例而非限制,用户可以针对不同类型的实体指定不同的隐私设置,诸如个人用户、朋友的朋友、追随者、用户组或公司实体。作为另一示例而非限制,第一用户可以指定可以查看由第一用户发布的视频的用户组,同时保持视频对第一用户的雇主不可见。在特定实施例中,可以为不同的用户组或用户人口统计提供不同的隐私设置。作为示例而非限制,第一用户可以指定与第一用户在同一所大学就读的其他用户可以查看第一用户的图片,但是作为第一用户的家庭成员的其他用户不能查看那些相同图片。
在特定实施例中,社交网络***可以针对特定对象类型的每个对象提供一个或多个默认隐私设置。被设置为默认值的对象的隐私设置可以由与该对象相关联的用户改变。作为示例而非限制,由第一用户发布的所有图像可以具有仅对第一用户的朋友可见的默认隐私设置,并且针对特定图像,第一用户可以改变要对朋友和朋友的朋友可见的图像的隐私设置。
在特定实施例中,出于任何目的,隐私设置可以允许第一用户指定(例如,通过选择退出、通过不选择加入)社交网络***是否可以接收、收集、记载或存储与用户相关联的特定对象或信息。在特定实施例中,隐私设置可以允许第一用户指定特定应用或过程是否可以访问、存储或使用与用户相关联的特定对象或信息。隐私设置可以允许第一用户选择加入或选择退出使对象或信息由特定应用或过程访问、存储或使用。社交网络***可以访问这种信息以便向第一用户提供特定功能或服务,而社交网络***不必出于任何其他目的访问该信息。在访问、存储或使用此类对象或信息之前,社交网络***可以提示用户提供隐私设置,该隐私设置指定哪些应用或过程(若存在)可以在允许任何这种动作之前访问、存储或使用对象或信息。作为示例而非限制,第一用户可以经由与在线社交网络相关的应用(例如,消息传送app)向第二用户传输消息,并且可以指定此类消息不应由社交网络***存储的隐私设置。
在特定实施例中,用户可以指定与第一用户相关联的特定类型的对象或信息是否可以由社交网络***访问、存储或使用。作为示例而非限制,第一用户可以指定由第一用户通过社交网络***发送的图像不能由社交网络***存储。作为另一示例而非限制,第一用户可以指定从第一用户发送给特定第二用户的消息不能由社交网络***存储。作为再一示例而非限制,第一用户可以指定经由特定应用发送的所有对象可以由社交网络***保存。
在特定实施例中,隐私设置可以允许第一用户指定与第一用户相关联的特定对象或信息是否可以从特定客户端***或第三方***访问。隐私设置可以允许第一用户选择加入或选择退出使对象或信息从特定设备(例如,用户智能手机上的电话簿)、从特定应用(例如,消息传送app)或从特定***(例如,电子邮件服务器)访问。社交网络***可以相对于每个设备、***或应用提供默认隐私设置,和/或可以提示第一用户指定每个背景指定特定隐私设置。作为示例而非限制,第一用户可以利用社交网络***的地点服务特征来针对在用户附近的餐馆或其他场所提供推荐。第一用户的默认隐私设置可以指定社交网络***可以使用从第一用户的客户端设备提供的地点信息来提供基于地点的服务,但是社交网络***可以不存储第一用户的地点信息或向任何第三方***提供该地点信息。第一用户然后可以更新隐私设置以允许由第三方图像共享应用使用地点信息,以便对照片进行地理标记。
Claims (15)
1.一种人工现实***,包括:
头戴式显示器(HMD),被配置为将人工现实内容输出给所述HMD的用户,其中所述人工现实内容包括一个或多个化身,所述一个或多个化身与参与人工现实环境的一个或多个其他用户相对应;以及
暂停模式引擎,被配置为响应于用户输入,针对所述HMD的所述用户启用暂停模式环境,其中所述暂停模式引擎进行以下至少一项:
在所述HMD处用所述暂停模式环境替换所述人工现实环境;
在所述HMD处使所述一个或多个化身和所述人工现实环境静音;或者
在所述暂停模式环境内的静态位置中渲染所述一个或多个化身。
2.根据权利要求1所述的人工现实***,还包括:
图像捕获设备,被配置为捕获代表物理环境的图像数据;
手势检测器,被配置为根据所述图像数据标识用户界面(UI)激活手势,所述用户界面(UI)激活手势包括在所述图像捕获设备的视场中移动所述HMD的所述用户的手部的内侧手腕区域;
UI引擎,被配置为响应于所述UI激活手势,生成暂停模式UI元素;以及
渲染引擎,被配置为在所述用户的所述手部附近或至少部分地在所述用户的所述手部上方渲染所述暂停模式UI元素;
优选地其中所述用户输入与暂停模式选择手势相对应,所述暂停模式选择手势包括将所述用户的化身的虚拟手部的一根或多根手指放置在所述暂停模式UI元素上,并且所述手势检测器还被配置为根据所述图像数据标识所述暂停模式选择手势。
3.根据权利要求1或权利要求2所述的人工现实***,其中所述暂停模式引擎还被配置为响应于所述暂停模式环境被启用,当所述一个或多个化身距所述用户的所述化身在个人空间阈值内时,将所述一个或多个化身从所述用户的化身移开。
4.根据前述权利要求中的任一项所述的人工现实***,其中所述暂停模式引擎还被配置为用所述暂停模式环境中的纯色背景替换所述人工现实环境内的虚拟背景和虚拟对象;
优选地其中所述暂停模式引擎还被配置为在所述暂停模式环境中播放背景音乐。
5.根据前述权利要求中的任一项所述的人工现实***,其中所述HMD包括第一HMD,并且所述第一HMD的所述用户包括第一用户,所述***还包括与一个或多个其他化身中的一个化身相对应的第二用户的第二HMD,其中所述第二HMD还被配置为将包括所述人工现实环境的人工现实内容输出给所述第二用户;
其中在所述暂停模式在所述第一HMD处针对所述第一用户被启用之后,所述第一用户的化身停止参与所述人工现实环境;以及
其中在所述暂停模式在所述第一HMD处针对所述第一用户被启用之后,所述第二用户在所述第二HMD处继续参与所述人工现实环境。
6.根据权利要求5所述的人工现实***,其中在所述暂停模式在所述第一HMD处针对所述第一用户被启用之后,所述第二HMD渲染与所述第一HMD的所述第一用户相对应的虚拟图形。
7.根据权利要求5或权利要求6所述的人工现实***,其中在所述暂停模式在所述第一HMD处针对所述第一用户被启用之后,所述第二HMD的所述第二用户无法在所述人工现实环境内与所述第一HMD的所述第一用户的所述化身交互。
8.根据权利要求5至7中的任一项所述的人工现实***,
其中所述用户输入包括第一用户输入,并且所述暂停模式环境包括第一暂停模式环境;
其中所述暂停模式引擎还被配置为响应于来自所述第二用户的第二用户输入,针对所述第二HMD的所述第二用户启用第二暂停模式环境,所述第二暂停模式环境与所述第一暂停模式环境不同;以及
其中所述第二HMD的所述第二用户无法在所述第一暂停模式环境或所述第二暂停模式环境内与所述第一用户的所述化身交互。
9.根据前述权利要求中的任一项所述的人工现实***,其中所述暂停模式引擎还被配置为:
在所述暂停模式环境内针对所述一个或多个化身中的每个化身渲染用户界面(UI)元素,其中每个UI元素经由所述用户所执行的选择手势是可选择的;以及
响应于检测到第一UI元素的所述选择手势,所述第一UI元素与所述一个或多个化身中的第一化身相对应,进行以下至少一项:
渲染第一可选择虚拟元素,当所述用户返回到所述人工现实环境时,所述第一可选择虚拟元素被配置为在被选择时在所述HMD处使所述第一化身静音;
渲染第二可选择虚拟元素,当所述用户返回到所述人工现实环境时,所述第二可选择虚拟元素被配置为在被选择时阻止所述第一化身与所述用户的化身交互;以及
渲染第三可选择虚拟元素,所述第三可选择虚拟元素被配置为在被选择时将所述第一化身报告给与AR体验相关联的审查实体。
10.根据权利要求9所述的人工现实***,其中当与所述第一化身相对应的所述第一UI元素被选择时,所述第一化身被突出显示;
优选地其中所述第一化身如果被所述用户阻止将无法在所述人工现实环境或任何其他人工现实环境中与所述用户的所述化身交互,无论所述暂停模式环境是否针对所述用户被启用。
11.一种方法,包括:
在人工现实***的头戴式显示器(HMD)处将人工现实内容输出给所述HMD的用户,其中所述人工现实内容包括一个或多个化身,所述一个或多个化身与参与人工现实环境的一个或多个其他用户相对应;以及
响应于用户输入,通过进行以下至少一项针对所述HMD的所述用户启用暂停模式环境:
在所述HMD处用所述暂停模式环境替换所述人工现实环境;
在所述HMD处使所述一个或多个化身和所述人工现实环境静音;或者
在所述暂停模式环境内的静态位置中渲染所述一个或多个化身。
12.根据权利要求11所述的方法,还包括:
由所述人工现实***经由图像捕获设备获得图像数据;
根据所述图像数据标识用户界面(UI)激活手势,所述用户界面(UI)激活手势包括在所述图像捕获设备的视场中移动所述HMD的所述用户的手部的内侧手腕区域;
响应于所述UI激活手势,生成暂停模式UI元素;以及
在所述用户的所述手部附近或至少部分地在所述用户的所述手部上方渲染所述暂停模式UI元素;
优选地其中所述用户输入与暂停模式选择手势相对应,所述暂停模式选择手势包括将所述用户的化身的虚拟手部的一根或多根手指放置在所述暂停模式UI元素上;以及
所述方法还包括根据所述图像数据标识所述暂停模式选择手势。
13.根据权利要求11或权利要求12所述的方法,其中所述暂停模式引擎还被配置为用所述暂停模式环境中的纯色背景替换所述人工现实环境内的虚拟背景和虚拟对象;
优选地其中启用所述暂停模式环境还包括响应于所述暂停模式环境被启用,当所述一个或多个化身距所述用户的所述化身在个人空间阈值内时,将所述一个或多个化身从所述用户的化身移开。
14.根据权利要求11至13中的任一项所述的方法,其中在所述暂停模式在所述HMD处针对所述用户被启用之后,所述用户的化身停止参与所述人工现实环境;并且其中在所述暂停模式在所述HMD处针对所述用户被启用时,与所述一个或多个其他用户相对应的所述一个或多个化身继续参与所述人工现实环境。
15.一种包括指令的计算机可读存储介质,所述指令将一个或多个可编程处理器配置为:
在人工现实***的头戴式显示器(HMD)处将人工现实内容输出给所述HMD的用户,其中所述人工现实内容包括一个或多个化身,所述一个或多个化身与参与人工现实环境的一个或多个其他用户相对应;以及
响应于用户输入,通过进行以下至少一项来启用暂停模式环境:
在所述HMD处用所述暂停模式环境替换所述人工现实环境;
在所述HMD处使所述一个或多个化身和所述人工现实环境静音;或者
在所述暂停模式环境内的静态位置中渲染所述一个或多个化身。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962905098P | 2019-09-24 | 2019-09-24 | |
US62/905,098 | 2019-09-24 | ||
US16/734,093 | 2020-01-03 | ||
US16/734,093 US11119568B2 (en) | 2019-09-24 | 2020-01-03 | Suspend mode feature for artificial reality systems |
PCT/US2020/049282 WO2021061369A1 (en) | 2019-09-24 | 2020-09-03 | Safe mode feature for artificial reality systems |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114270295A true CN114270295A (zh) | 2022-04-01 |
CN114270295B CN114270295B (zh) | 2024-06-14 |
Family
ID=74880087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080050249.7A Active CN114270295B (zh) | 2019-09-24 | 2020-09-03 | 用于人工现实***的暂停模式特征 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11119568B2 (zh) |
EP (1) | EP4034969A1 (zh) |
JP (1) | JP2022548810A (zh) |
KR (1) | KR20220065039A (zh) |
CN (1) | CN114270295B (zh) |
WO (1) | WO2021061369A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11119568B2 (en) | 2019-09-24 | 2021-09-14 | Facebook Technologies, Llc | Suspend mode feature for artificial reality systems |
US11481965B2 (en) * | 2020-04-10 | 2022-10-25 | Samsung Electronics Co., Ltd. | Electronic device for communicating in augmented reality and method thereof |
KR20220049907A (ko) * | 2020-10-15 | 2022-04-22 | 라인플러스 주식회사 | 위치 기반 아바타 메신저 서비스 제공 방법 및 장치 |
EP4216167A4 (en) * | 2021-01-13 | 2024-05-01 | Samsung Electronics Co., Ltd. | ELECTRONIC DEVICE AND METHOD FOR OPERATING AN AVATAR VIDEO SERVICE |
US11568579B2 (en) * | 2021-04-01 | 2023-01-31 | Edx Technologies, Inc. | Augmented reality content generation with update suspension |
US11743430B2 (en) * | 2021-05-06 | 2023-08-29 | Katmai Tech Inc. | Providing awareness of who can hear audio in a virtual conference, and applications thereof |
US11537198B1 (en) * | 2021-11-08 | 2022-12-27 | Meta Platforms Technologies, Llc | Reconfigurable headset that transitions between virtual reality, augmented reality, and actual reality |
US11815687B2 (en) * | 2022-03-02 | 2023-11-14 | Google Llc | Controlling head-mounted device with gestures into wearable device |
WO2024029718A1 (ko) * | 2022-08-02 | 2024-02-08 | 삼성전자주식회사 | 적어도 하나의 외부 객체에 기반하여 적어도 하나의 외부 전자 장치를 선택하기 위한 전자 장치 및 그 방법 |
US20240070948A1 (en) * | 2022-08-23 | 2024-02-29 | At&T Intellectual Property I, L.P. | Virtual reality avatar attention-based services |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107667331A (zh) * | 2015-05-28 | 2018-02-06 | 微软技术许可有限责任公司 | 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全 |
CN109891369A (zh) * | 2016-12-05 | 2019-06-14 | 谷歌有限责任公司 | 虚拟会议中的信息隐私 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3452189A1 (en) * | 2016-05-04 | 2019-03-13 | Google LLC | Avatars in virtual environments |
US10722800B2 (en) | 2016-05-16 | 2020-07-28 | Google Llc | Co-presence handling in virtual reality |
US20180095542A1 (en) | 2016-09-30 | 2018-04-05 | Sony Interactive Entertainment Inc. | Object Holder for Virtual Reality Interaction |
US11119568B2 (en) | 2019-09-24 | 2021-09-14 | Facebook Technologies, Llc | Suspend mode feature for artificial reality systems |
-
2020
- 2020-01-03 US US16/734,093 patent/US11119568B2/en active Active
- 2020-09-03 WO PCT/US2020/049282 patent/WO2021061369A1/en unknown
- 2020-09-03 JP JP2021577042A patent/JP2022548810A/ja active Pending
- 2020-09-03 KR KR1020227013369A patent/KR20220065039A/ko active Search and Examination
- 2020-09-03 CN CN202080050249.7A patent/CN114270295B/zh active Active
- 2020-09-03 EP EP20775764.2A patent/EP4034969A1/en active Pending
-
2021
- 2021-09-13 US US17/473,473 patent/US11416067B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107667331A (zh) * | 2015-05-28 | 2018-02-06 | 微软技术许可有限责任公司 | 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全 |
CN109891369A (zh) * | 2016-12-05 | 2019-06-14 | 谷歌有限责任公司 | 虚拟会议中的信息隐私 |
Also Published As
Publication number | Publication date |
---|---|
EP4034969A1 (en) | 2022-08-03 |
US20210405738A1 (en) | 2021-12-30 |
JP2022548810A (ja) | 2022-11-22 |
US20210089117A1 (en) | 2021-03-25 |
CN114270295B (zh) | 2024-06-14 |
US11119568B2 (en) | 2021-09-14 |
US11416067B2 (en) | 2022-08-16 |
WO2021061369A1 (en) | 2021-04-01 |
KR20220065039A (ko) | 2022-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114270295B (zh) | 用于人工现实***的暂停模式特征 | |
EP3458937B1 (en) | Co-presence handling in virtual reality | |
US10445523B2 (en) | Information privacy in virtual reality | |
CN109891369B (zh) | 虚拟会议中的信息隐私 | |
US10075491B2 (en) | Directing communications using gaze interaction | |
US11100694B2 (en) | Virtual reality presentation of eye movement and eye contact | |
US10642991B2 (en) | System level virtual reality privacy settings | |
US11743064B2 (en) | Private collaboration spaces for computing systems | |
US20230350628A1 (en) | Intuitive augmented reality collaboration on visual data | |
US11055920B1 (en) | Performing operations using a mirror in an artificial reality environment | |
CN108697935B (zh) | 虚拟环境中的化身 | |
US11908086B2 (en) | Techniques for participation in a shared setting | |
CN111903137B (zh) | 基于用户的姿势混合音频 | |
US20220291808A1 (en) | Integrating Artificial Reality and Other Computing Devices | |
US20230299989A1 (en) | Avatar Spatial Modes | |
US20230300250A1 (en) | Selectively providing audio to some but not all virtual conference participants reprsented in a same virtual space | |
US11816757B1 (en) | Device-side capture of data representative of an artificial reality environment | |
JP2024509668A (ja) | アプリケーション間仮想現実設定における適応可能なパーソナル・ユーザ・インターフェース | |
US11921970B1 (en) | Coordinating virtual interactions with a mini-map | |
US11991222B1 (en) | Persistent call control user interface element in an artificial reality environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Applicant before: Facebook Technologies, LLC |
|
GR01 | Patent grant | ||
GR01 | Patent grant |