CN111279292B - 检测物理边界 - Google Patents

检测物理边界 Download PDF

Info

Publication number
CN111279292B
CN111279292B CN201880063520.3A CN201880063520A CN111279292B CN 111279292 B CN111279292 B CN 111279292B CN 201880063520 A CN201880063520 A CN 201880063520A CN 111279292 B CN111279292 B CN 111279292B
Authority
CN
China
Prior art keywords
electronic device
physical object
distance
physical
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880063520.3A
Other languages
English (en)
Other versions
CN111279292A (zh
Inventor
S·梅尔奥赛尼
A·巴-兹夫
D·A·K·麦克罗伯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN111279292A publication Critical patent/CN111279292A/zh
Application granted granted Critical
Publication of CN111279292B publication Critical patent/CN111279292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本文公开了用于向沉浸在虚拟现实环境中的用户警示其物理环境中的物理障碍的技术。

Description

检测物理边界
相关申请的交叉引用
本专利申请要求于2018年2月15日提交的标题为“PHYSICAL BOUNDARY GUARDIAN”的美国临时专利申请62/631,048和于2017年9 月29日提交的标题为“PHYSICAL BOUNDARYGUARDIAN”的美国临时专利申请62/566,306的优先权。这两个专利申请的内容全文以引用方式并入本文以用于所有目的。
背景技术
本公开整体涉及计算机模拟现实界面，并且更具体地，涉及用于在虚拟现实环境中指示物理障碍的技术。
虚拟现实设备使用户沉浸在虚拟环境中。用户可能变得沉浸在虚拟环境中以至于当在虚拟环境中四处移动时，用户与物理环境中的相邻物理对象发生碰撞。例如，在穿戴着虚拟现实头戴式设备时，用户可在虚拟现实中在大的(虚拟)房间中四处移动，但在该过程中，与用户实际所处的物理房间的物理壁碰撞。
发明内容
本公开描述了用于在用户沉浸在虚拟现实环境中时指示在用户的近邻物理环境中的物理障碍的技术。在一个示例性实施方案中，显示虚拟现实环境。确定电子设备与物理对象之间的距离。此外，确定电子设备与物理对象之间的距离是否在第一阈值距离内。根据确定距离在第一阈值距离内，显示虚拟现实环境中的视觉效应。此外，确定电子设备与物理对象之间的距离是否在第二阈值距离内。根据确定距离在第二阈值距离内，显示物理环境的至少一部分的视觉表示。视觉表示由一个或多个相机提供。
在一个示例性实施方案中，当虚拟现实环境被显示在电子设备的显示器上时，确定电子设备与物理环境的物理对象之间的距离。此外，确定电子设备与物理环境的物理对象之间的距离是否在阈值距离内。虚拟现实环境具有表示地表面的表面。根据确定距离在阈值距离内，在虚拟现实环境中显示视觉效应。视觉效应对应于与物理对象相关联的距离。此外，视觉效应设置在虚拟现实环境的虚拟地表面上。
在一个示例性实施方案中，提供了一种非暂态计算机可读存储介质，其存储一个或多个程序，所述一个或多个程序被配置为由电子设备的一个或多个处理器执行。所述一个或多个程序包括用于显示虚拟现实环境和确定电子设备与物理对象之间的距离的指令。所述一个或多个程序还包括用于确定电子设备与物理对象之间的距离是否在第一阈值距离内的指令。所述一个或多个程序还包括用于根据确定距离在第一阈值距离内而在虚拟现实环境中显示视觉效应的指令。所述一个或多个程序还包括用于确定电子设备与物理对象之间的距离是否在第二阈值距离内的指令；以及根据确定距离在第二阈值距离内，显示物理环境的至少一部分的视觉表示。视觉表示由一个或多个相机提供。
在一个示例性实施方案中，提供了一种电子设备。所述电子设备包括一个或多个处理器、以及存储被配置为由所述一个或多个处理器执行的一个或多个程序的存储器。所述一个或多个程序包括用于显示虚拟现实环境和确定电子设备与物理对象之间的距离的指令。所述一个或多个程序还包括用于确定电子设备与物理对象之间的距离是否在第一阈值距离内的指令。所述一个或多个程序还包括用于根据确定距离在第一阈值距离内而在虚拟现实环境中显示视觉效应的指令。所述一个或多个程序还包括用于确定电子设备与物理环境中的物理对象之间的距离是否在第二阈值距离内的指令；以及根据确定距离在第二阈值距离内，显示物理环境的至少一部分的视觉表示。视觉表示由一个或多个相机提供。
在一个示例性实施方案中，提供了一种电子设备。所述电子设备包括用于显示虚拟现实环境的装置和用于确定电子设备与物理对象之间的距离的装置。所述电子设备还包括用于确定电子设备与物理对象之间的距离是否在第一阈值距离内的装置。所述电子设备还包括根据确定距离在第一阈值距离内，用于在虚拟现实环境中显示视觉效应的装置。所述电子设备还包括用于确定电子设备与物理对象之间的距离是否在第二阈值距离内的装置；以及根据确定距离在第二阈值距离内，用于显示物理环境的至少一部分的视觉表示的装置。视觉表示由一个或多个相机提供。
在一个示例性实施方案中，提供了一种非暂态计算机可读存储介质，其存储一个或多个程序，所述一个或多个程序被配置为由电子设备的一个或多个处理器执行。所述一个或多个程序包括用于当在电子设备的显示器上显示虚拟现实环境，虚拟现实环境具有表示地表面的表面时，确定电子设备与物理环境的物理对象之间的距离的指令。所述一个或多个程序还包括用于确定电子设备与物理环境的物理对象之间的距离是否在阈值距离内的指令。所述一个或多个程序还包括用于根据确定距离在阈值距离内而在虚拟现实环境中显示视觉效应的指令。视觉效应对应于与物理对象相关联的距离，并且视觉效应设置在虚拟现实环境的地表面上。
在一个示例性实施方案中，一种电子设备包括一个或多个处理器，以及存储被配置为由所述一个或多个处理器执行的一个或多个程序的存储器。所述一个或多个程序包括用于当在电子设备的显示器上显示虚拟现实环境，虚拟现实环境具有表示地表面的表面时，确定电子设备与物理环境的物理对象之间的距离的指令。所述一个或多个程序还包括用于确定电子设备与物理环境的物理对象之间的距离是否在阈值距离内的指令。所述一个或多个程序还包括用于根据确定距离在阈值距离内而在虚拟现实环境中显示视觉效应的指令。视觉效应对应于与物理对象相关联的距离，并且视觉效应设置在虚拟现实环境的地表面上。
在一个示例性实施方案中，提供了一种电子设备。所述电子设备包括当在电子设备的显示器上显示虚拟现实环境，虚拟现实环境具有表示地表面的表面时，用于确定电子设备与物理环境的物理对象之间的距离的装置。所述电子设备还包括用于确定电子设备与物理环境的物理对象之间的距离是否在阈值距离内的装置。所述电子设备还包括根据确定距离在阈值距离内，用于在虚拟现实环境中显示视觉效应的装置。视觉效应对应于与物理对象相关联的距离，并且视觉效应设置在虚拟现实环境的地表面上。
附图说明
图1A至图1B示出了用于包括虚拟现实和混合现实的各种计算机模拟的现实技术的示例性***。
图2示出了示例性物理环境，用户设备设置在其中并且用户设备显示示例性虚拟现实环境。
图3A示出了定位在距物理对象比第一阈值距离大的距离处的用户设备和用户设备所显示的对应示例性虚拟现实环境。
图3B示出了定位在第一阈值距离内的距离处的用户设备和在对应虚拟现实环境中显示的示例性虚拟指示。
图3C示出了定位在第二阈值距离内的距离处的用户设备和用户设备所显示的物理环境的图像。
图3D示出了定位在第二阈值距离内的距离处并且被取向为背离物理对象的用户设备和用户设备所显示的示例性虚拟现实环境。
图4A-4E示出了对应于定位在第一阈值距离内的距离处的用户设备的虚拟现实环境中所显示的各种示例性视觉效应。
图5A-5C示出了定位在第二阈值距离内各个距离处的用户设备以及用户设备所显示的示例性物理环境的至少一部分的对应图像。
图6A-6B示出了定位在第二阈值距离内并且被取向为背离物理对象的用户设备和用户设备所显示的示例性虚拟现实环境和/或物理环境的图像。
图7A-7B示出了用于在混合现实环境中指示物理障碍的示例性技术的流程图。
具体实施方式
本文描述了电子***以及与各种模拟现实技术有关的用于使用此类***的技术的各种实施方案，所述各种模拟现实技术包括虚拟现实和混合现实(其结合来自物理环境的感官输入)。
物理环境是指无需电子***帮助个体就能够感知和/或个体能够交互的世界。物理环境(例如，物理森林)包括物理元素(例如，物理树、物理结构和物理动物)。个体可直接与物理环境相互作用和/或感知物理环境，诸如通过触摸、视觉、嗅觉、听觉和味觉。物理场景也可称为物理环境或真实环境。物理元素也可被称为物理对象或物理物品。
相比之下，模拟现实(SR)环境是指经由电子***个体能够感知和/或个体能够交互的完全或部分由计算机创建的环境。在SR中，监测个体移动的子集，并且响应于该子集，以符合一个或多个物理定律的方式更改SR环境中的一个或多个虚拟对象的一个或多个属性。例如，SR***可检测到个体向前走几步，并且响应于此，以类似于此类情景和声音在物理环境中会如何变化的方式来调节呈现给个体的图形和音频。也可响应于移动的表示 (例如，音频指令)而进行对SR环境中一个或多个虚拟对象的一个或多个属性的修改。
个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与 SR对象进行交互和/或感知SR对象。例如，个体可与创建多维(例如，三维)或空间听觉环境和/或实现听觉透明性的听觉对象进行交互和/或感知听觉对象。多维或空间听觉环境为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下，听觉透明性选择性地结合来自物理环境的声音。在一些SR环境中，个体可仅与听觉对象进行交互和/或仅感知听觉对象。
SR的一个示例是虚拟现实(VR)。VR环境是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟环境。VR环境包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的环境内模拟个体动作的子集和/或通过对个体或其在计算机创建的环境内的存在的模拟，来与VR环境中的虚拟对象进行交互和/或感知VR环境中的虚拟对象。
SR的另一个示例是混合现实(MR)。MR环境是指被设计为将计算机创建的感官输入(例如，虚拟对象)与来自物理环境的感官输入或其表示集成的模拟环境。在现实谱系上，混合现实环境介于一端的VR环境和另一端的完全物理环境之间并且不包括这些环境。
在一些MR环境中，计算机创建的感官输入可以适应于来自物理环境的感官输入的变化。另外，用于呈现MR环境的一些电子***可以监测相对于物理环境的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理环境的物理元素或其表示)交互。例如，***可监测移动，使得虚拟植物相对于物理建筑物看起来是静止的。
混合现实的一个示例是增强现实(AR)。AR环境是指至少一个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，电子***可具有不透明显示器和至少一个成像传感器，成像传感器用于捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。***将图像或视频与虚拟对象组合，并在不透明显示器上显示该组合。个体使用***经由物理环境的图像或视频间接地查看物理环境，并且观察叠加在物理环境之上的虚拟对象。当***使用一个或多个图像传感器捕获物理环境的图像，并且使用那些图像在不透明显示器上呈现AR环境时，所显示的图像被称为视频透传。另选地，用于显示AR环境的电子***可具有透明或半透明显示器，个体可通过该显示器直接查看物理环境。该***可在透明或半透明显示器上显示虚拟对象，使得个体使用该***观察叠加在物理环境之上的虚拟对象。又如，***可包括将虚拟对象投影到物理环境中的投影***。虚拟对象可例如在物理表面上或作为全息图被投影，使得个体使用该***观察叠加在物理环境之上的虚拟对象。
增强现实环境也可指其中物理环境的表示被计算机创建的感官信息改变的模拟环境。例如，物理环境的表示的一部分可被以图形方式改变(例如，放大)，使得所改变的部分仍可代表一个或多个初始捕获的图像但不是忠实再现的版本。又如，在提供视频透传时，***可改变传感器图像中的至少一者以施加不同于一个或多个图像传感器捕获的视点的特定视点。再如，物理环境的表示可通过以图形方式将其部分进行模糊处理或消除其部分而被改变。
混合现实的另一个示例是增强虚拟(AV)。AV环境是指计算机创建环境或虚拟环境并入来自物理环境的至少一个感官输入的模拟环境。来自物理环境的一个或多个感官输入可为物理环境的至少一个特征的表示。例如，虚拟对象可呈现由一个或多个成像传感器捕获的物理元素的颜色。又如，虚拟对象可呈现出与物理环境中的实际天气条件相一致的特征，如经由天气相关的成像传感器和/或在线天气数据所识别的。在另一个示例中，增强现实森林可具有虚拟树木和结构，但动物可具有从对物理动物拍摄的图像精确再现的特征。
许多电子***使得个体能够与各种SR环境进行交互和/或感知各种SR 环境。一个示例包括头戴式***。头戴式***可具有不透明显示器和一个或多个扬声器。另选地，头戴式***可以被设计为接收外部显示器(例如，智能电话)。头戴式***可具有分别用于拍摄物理环境的图像/视频和/ 或捕获物理环境的音频的一个或多个成像传感器和/或麦克风。头戴式***也可具有透明或半透明显示器。透明或半透明显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。显示器可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任意组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个实施方案中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。又如，电子***可以是基于投影的***。基于投影的***可使用视网膜投影将图像投影到个体的视网膜上。另选地，投影***还可将虚拟对象投影到物理环境中(例如，投影到物理表面上或作为全息图)。SR***的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、头戴式耳机或耳塞式耳机、扬声器布置、输入机构(例如，具有或不具有触觉反馈的控制器)、平板电脑、智能电话，以及台式计算机或膝上型计算机。
计算机模拟现实中的一个挑战是，在与头戴式设备所显示的虚拟对象进行交互时，用户可能沉浸在虚拟现实环境中以至于其不能意识到其物理邻近区域中的物理障碍和/或边界。在一些实施方案中，头戴式设备可以是不透明的并且覆盖用户的两只眼睛。因此，用户可能无法看到(例如，直接看到)用户的物理环境。因此，期望用户设备向用户提供指示以帮助避开物理障碍和/或导航绕过它们。此外，期望用户设备以不显著影响用户虚拟现实体验的方式提供这些指示。
根据本文所述的一些实施方案，在向用户显示虚拟现实环境时，虚拟现实设备确定设备与物理环境的物理对象之间的距离。虚拟现实设备进一步确定设备是否已进入到与物理环境的物理对象的(第一)阈值距离内。如果设备确定其太靠近物理对象，则设备在虚拟现实环境中显示视觉效应，向用户警示附近物理障碍的存在。视觉效应对应于与物理对象相关联的距离，并且包括例如一个或多个虚拟对象。在一些示例中，视觉效应具有玻璃窗格的外观，以表示如果用户继续向前移动则用户可能与之发生碰撞的附近物理壁。其他示例在下文中讨论。因此，虚拟现实设备向用户警示附近物理对象。如果用户继续朝物理对象移动，使得虚拟现实设备尽管有视觉效应也甚至更靠近物理对象(在第二阈值距离内)，则设备显示物理环境的实时图像或视频。通过这种方式，为用户提供对物理环境的透视视觉，使得用户可以在不移除头戴式虚拟现实设备的情况下看到确切的物理障碍。
图1A和图1B描绘了用于各种模拟现实技术的示例性***100，这些技术包括虚拟现实和混合现实。
在一些实施方案中，如图1A所示，***100包括设备100a。设备 100a包括各种部件，诸如一个或多个处理器102、一个或多个RF电路 104、一个或多个存储器106、一个或多个图像传感器108、一个或多个取向传感器110、一个或多个麦克风112、一个或多个位置传感器116、一个或多个扬声器118、一个或多个显示器120和一个或多个触敏表面122。这些部件任选地通过设备100a的一个或多个通信总线150进行通信。
在一些实施方案中，***100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型电脑)中实现，并且***100的其他元件在第二设备(例如，头戴式设备)中实现。在一些示例中，设备100a 在基站设备或第二设备中实现。
如图1B所示，在一些实施方案中，***100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括一个或多个处理器102、一个或多个RF电路104和一个或多个存储器106。这些部件可选地通过设备100b的一个或多个通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如一个或多个处理器102、一个或多个RF电路104、一个或多个存储器106、一个或多个图像传感器108、一个或多个取向传感器110、一个或多个麦克风 112、一个或多个位置传感器116、一个或多个扬声器118、一个或多个显示器120和一个或多个触敏表面122。这些部件可选地通过设备100c的一个或多个通信总线150进行通信。
***100包括一个或多个处理器102和一个或多个存储器106。一个或多个处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/ 或一个或多个数字信号处理器。在一些实施方案中，一个或多个存储器106 是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由一个或多个处理器102执行以执行下述技术。
***100包括一个或多个RF电路104。一个或多个RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。一个或多个RF电路104可选地包括用于使用近场通信和/或短程通信(诸如
Figure GDA0002429626850000091
)进行通信的电路。
***100包括一个或多个显示器120。一个或多个显示器120可具有不透明显示器。一个或多个显示器120可具有透明或半透明显示器，该显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。一个或多个显示器120可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任何组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个实施方案中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。一个或多个显示器120的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、平板电脑、智能电话以及台式计算机或膝上型计算机。另选地，***100可以被设计为接收外部显示器(例如，智能电话)。在一些实施方案中，***100是基于投影的***，该***使用视网膜投影将图像投影到个体的视网膜上或将虚拟对象投影到物理环境中(例如，投影到物理表面上或作为全息图)。
在一些实施方案中，***100包括用于接收用户输入的一个或多个触敏表面122，诸如轻击输入和轻扫输入。在一些示例中，一个或多个显示器 120和一个或多个触敏表面122形成一个或多个触敏显示器。
***100包括一个或多个图像传感器108。一个或多个图像传感器108 任选地包括可操作以从物理环境获取物理元素的图像的一个或多个可见光图像传感器，诸如电荷耦合设备(CCD)传感器和/或互补金属氧化物半导体 (CMOS)传感器。一个或多个图像传感器还任选地包括一个或多个红外 (IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自物理环境的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到物理环境中。一个或多个图像传感器108还任选地包括一个或多个事件相机，该事件相机被配置为捕获物理环境中物理元素的移动。一个或多个图像传感器108还任选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理元素与***100的距离。在一些示例中，***100组合使用CCD传感器、事件相机和深度传感器来检测*** 100周围的物理环境。在一些示例中，一个或多个图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器任选地被配置为从两个不同的视角捕获物理环境中物理元素的图像。在一些示例中，***100使用一个或多个图像传感器108来接收用户输入，诸如手势。在一些示例中，***100使用一个或多个图像传感器108来检测*** 100和/或一个或多个显示器120在物理环境中的位置和取向。例如，*** 100使用一个或多个图像传感器108来跟踪一个或多个显示器120相对于物理环境中的一个或多个固定元件的位置和取向。
在一些实施方案中，***100包括一个或多个麦克风112。***100使用一个或多个麦克风112来检测来自用户和/或用户的物理环境的声音。在一些示例中，一个或多个麦克风112包括麦克风阵列(包括多个麦克风)，麦克风任选地协同操作，以标识环境噪声或在物理环境的空间中定位声源。
***100包括用于检测***100和/或一个或多个显示器120的取向和/ 或移动的一个或多个取向传感器110。例如，***100使用一个或多个取向传感器110来跟踪***100和/或一个或多个显示器120的位置和/或取向的变化，诸如相对于物理环境中的物理元素。一个或多个取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。
现在转向图2、图3A-3D、图4A-4E、图5A-5C、和图6A-6B，描述了根据一些实施方案用于在电子设备(例如，100a)上显示虚拟现实环境时指示物理障碍的示例性电子设备和用户界面。这些附图用于例示下文描述的过程，包括图7A和图7B中的过程。
图2示出了用户设备206设置在其中的示例性物理环境200以及用户设备206显示的示例性虚拟现实环境260。在本实施方案中，用户设备206 是独立设备，诸如手持移动设备(例如，智能电话)或独立头戴式设备。应该认识到，在其他实施方案中，用户设备206可以通信地耦接到另一设备，诸如基站设备(例如，基站设备100b)。在这些实施方案中，下面描述的用于在计算机模拟现实环境中指示物理障碍的操作可以任何方式在用户设备206和所述另一设备之间进行划分。例如，执行本专利申请中所述的任何方法或过程的电子设备可以是用户设备206和基站设备100b的组合。
图2示出了其中用户设备206被用作头戴式设备的实施方案。在一些实施方案中，头戴式设备是不透明的并且覆盖用户204的两只眼睛。因此，在一些情况下，穿戴用户设备206的用户204不能直接看到物理环境 200中的物理对象。用户设备206也可以使用一个或多个相机获取图像和视频。相机例如可以是捕获数字图像或视频的数字相机(例如，电荷耦合器件 (CCD)型相机)。相机可以是事件相机，诸如动态视觉传感器(DVS)相机。在一些实施方案中，事件相机输出异步尖峰的流，每个异步尖峰具有像素位置、符号和精确定时，指示各个像素何时记录阈值强度(例如，对数强度)变化。例如，事件相机可由物理环境的变化(例如，新的物理对象诸如人员进入房间等)触发。
参考图2，在一些实施方案中，物理环境200是室内环境，诸如包括一个或多个物理对象208A-E(统称为物理对象208)的房间。物理环境中的物理对象可以包括例如墙壁、桌子、椅子、窗、人、动物、植物等。
在一些实施方案中，用户设备206可相对于设置在物理环境200中的物理对象移动。例如，当用户204相对于(例如，朝向)物理对象208A和 208E移动时，用户设备206也相对于物理对象208A和208E移动。在一些实施方案中，用户设备206可被配置为确定其是否正在朝物理环境200中的物理对象移动。用户设备206可被配置为使用用户设备206的一个或多个相机和/或深度传感器进行此类确定。例如，使用多个相机(例如，数字相机、红外相机)，用户设备206可确定用户设备206与物理环境200中的一个或多个物理对象之间的距离。例如，该距离是基于由用户设备206的两个或更多个相机捕获的3D感知的差异来确定的。又如，深度传感器(例如，3D飞行时间传感器)用于估计物理环境200中的每个物理对象与用户设备206之间的距离。深度传感器可为例如激光雷达传感器。
参考图2，用户设备206显示示例性虚拟现实环境260(例如，描绘沙滩的虚拟室外环境)。在一些实施方案中，用户设备206所显示的虚拟现实环境260可响应于用户设备206在物理环境200中的移动而改变。例如，当用户204与用户设备206向前或向后移动时，虚拟现实环境260中的对象(例如，虚拟沙滩椅262A和虚拟沙滩伞262B)可以看起来更靠近/更远离用户204。又如，在用户204与用户设备206向左或向右移动其头部时，虚拟现实环境260中所显示的图像/视频中的对象可改变其相对于用户204的视角的位置/角度。
参考图3A，在操作期间，用户设备206监视用户设备206与物理环境 200中的一个或多个特定物理对象之间的距离的变化，并确定其是否正相对于所述一个或多个物理对象移动。例如，参考图3A，如果物理对象 208A(例如，电脑桌)与用户设备206之间的距离被确定为正在减小、没有改变或正在增大，则用户设备206被配置为分别确定其正在朝着物理对象 208A移动，没有移动(静止)，或者移动远离物理对象208A。
在一些实施方案中，如果用户设备206被确定为正在朝物理对象208A 移动，则用户设备206可被进一步配置为确定用户设备206与物理对象 208A之间的距离304A是否小于或等于第一阈值距离306。如果用户设备 206被确定为没有移动或者正移动远离物理对象208A，则用户设备206继续监视用户设备206的移动。例如，用户204可以正坐在或站在物理对象 208A的前面，并且作为响应，用户设备206可确定其没有移动。因此，虽然用户设备206与物理对象208A之间的距离可能小于第一阈值距离306并且因此在第一阈值距离内，但不需要立即向用户204提供对应于物理对象 208A的视觉效应，因为可以不需要使用户204意识到物理对象208A(例如，用户204与物理对象208A之间不存在碰撞的风险)。在这些情况下，用户设备206继续监视移动，同时继续向用户204显示虚拟现实环境260。
如上所述，用户设备206可被配置为例如使用深度传感器或多个相机中的至少一者来确定用户设备206与物理环境200中的物理对象(例如，图 2中所示的对象208A-E)中每一者之间的距离。因此，用户设备206可确定用户设备206与物理对象208A之间的距离304A，并且将所确定的距离 304A与第一阈值距离306进行比较。第一阈值距离306表示一个距离，在该距离处，对应于一个或多个物理对象(例如，对象208A和208E)的一个或多个视觉效应要在虚拟环境260中显示给用户204从而使用户204意识到物理对象。第一阈值距离306可被配置为例如是3至5英尺。
参考图3A，用户设备206可确定用户设备206与物理对象208A之间的距离304A是否小于或等于第一阈值距离306。如图3A中所示，在一些实施方案中，用户设备206确定距离304大于第一阈值距离306，指示不需要使用户204意识到物理对象208A，因为用户设备206仍远离物理对象 208A。因此，用户设备206继续显示虚拟现实环境260，而不显示任何视觉效应或物理对象208A的图像/视频。
图3B示出了定位在第一阈值距离306内的距离304B处的用户设备 206和在对应虚拟现实环境260中显示的示例性虚拟指示324。参考图 3B，用户设备206可以在用户204行走更靠近物理对象208A时继续朝物理对象208A移动。用户设备206确定用户设备206与物理环境200的物理对象208A之间的距离304B是否小于或等于第一阈值距离306。如果是，则用户设备206确定距离304B在第一阈值距离内。虽然图3A示出了使用第一阈值距离306作为用于确定是否应显示视觉效应以使用户意识到物理对象的第一阈值条件的实施方案，但应当理解，第一阈值条件可包括其他条件中的一者或多者，诸如用户设备206的角度、用户设备206的移动方向、物理对象208A的类型等。
在一些实施方案中，用户设备206进一步确定距离304B是否大于第二阈值距离406。如果是，则用户设备206确定距离304B不在第二阈值距离 406内。参考图3B，在一些实施方案中，根据确定距离304B小于或等于第一阈值距离306并且大于第二阈值距离406，用户设备206被配置为在虚拟现实环境260中显示视觉效应。在一些实施方案中，视觉效应例如指示物理对象208A相对于用户设备206位于第一阈值距离306(例如，3英尺)内，但仍位于第二阈值距离406(例如，1英尺)外。
在一些实施方案中，视觉效应包括一个或多个虚拟对象。应当理解，视觉效应也可包括表示物理环境的一个或多个对象的对象(例如，物理对象的图像)。在一些示例中，用于提供视觉效应的所述一个或多个虚拟对象可以对应于正被显示的虚拟现实环境中的现有虚拟对象。如图3B中所示，例如，用户设备206当前正在显示虚拟现实环境260。为了提供对应于物理环境200中的物理对象208A的视觉效应，用户设备206可被配置为显示虚拟玻璃壁324，虚拟沙滩椅262A和虚拟沙滩伞262B可透过该虚拟玻璃壁查看。在一些示例中，虚拟玻璃壁324可对应于物理环境200中的物理对象 208A并且为用户204提供视觉效应(例如，半透明度)从而使用户204意识到设置在用户移动路径中的物理对象208A。
在一些实施方案中，(虚拟)玻璃的窗格的位置对应于与物理环境200相关联的第二阈值距离406。在物理环境200中，第二阈值距离406可以是指示用户设备206非常接近物理对象(例如，物理对象208A和208E、椅子、桌子、墙壁)的距离。如果用户设备206在第二阈值距离406内，则用户设备206所显示的视觉效应可能不足以使用户204意识到物理环境。因此，在一些实施方案中，用户设备206显示物理环境的至少一部分的图像。第二阈值距离406可以在虚拟现实环境260中例如被表示成虚拟对象(例如，虚拟沙滩椅262A、虚拟沙滩伞262B、虚拟壁、虚拟绘画等)与虚拟玻璃壁 324之间的距离。如下文更详细所述，如果用户设备206被定位在小于或等于第二阈值距离406的距离处，则用户设备206显示物理环境200的至少一部分的视觉表示(例如，图像/视频)。相应地，在虚拟现实环境260中，用户设备206可生成效应(例如，虚拟玻璃壁324破裂或破碎)并显示物理环境200的至少一部分的视觉表示。在一些实施方案中，用户设备206可被配置为在用户设备206与物理对象之间的距离变化时显示与虚拟玻璃壁324 相关联的不同图案和/或不透明度。例如，当用户设备206移动更靠近物理环境200中的物理对象208A时，虚拟玻璃壁324可变得越来越不透明。
在一些实施方案中，虚拟沙滩椅262A和虚拟沙滩伞262B是被显示的虚拟现实环境260中的现有虚拟对象。虚拟玻璃壁324是用户设备206新生成的虚拟对象，并且根据确定用户设备206定位在第一阈值距离306内的距离处而被添加到虚拟现实环境260。因此，虚拟玻璃壁324可以不对应于虚拟现实环境260中已存在的任何虚拟对象。在一些实施方案中，使用虚拟玻璃壁324使得用户能够透过虚拟玻璃壁324查看现有虚拟对象，从而降低将新虚拟对象添加到虚拟现实环境260的影响。降低在虚拟现实环境中添加新虚拟对象作为视觉效应的影响就增强了用户体验。应当理解，虽然图3B示出了虚拟对象诸如用于提供虚拟指示的虚拟玻璃壁324，但是任何虚拟对象(例如，虚拟现实环境中的现有虚拟对象或者新的虚拟对象)可用于提供视觉效应，从而使用户意识到与用户设备206相距小于阈值距离的一个或多个物理对象。图4A-4E提供了用作视觉效应的虚拟对象的更多示例，如下文更详细地讨论。
图3C示出了定位在第二阈值距离406内的距离304C处的用户设备 206和用户设备206所显示的物理环境200的图像430。参考图3C，用户设备206可被配置为确定用户设备206与物理环境200中物理对象208A之间的距离304C是否在第二阈值距离406内。在一些实施方案中，在确定距离 304C在第一阈值距离306内之后，用户设备206被配置为进一步确定用户设备206是否继续朝物理对象208A移动(例如，用户204与用户设备206 继续朝物理对象208A行进)。如果用户设备206确定其继续朝物理对象 208A移动，则用户设备206可被进一步配置为确定距离304C是否在第二阈值距离406内。如果用户设备206确定用户设备206没有移动或者正在移动远离物理对象208A，则用户设备206继续监视其移动，如上所述。例如，在看到视觉效应(例如，虚拟玻璃壁)之后，用户可以认识到他或她正在接近物理对象，并且停止移动使得用户正坐在或站在物理对象208A的前面。因此，用户设备206确定用户设备206没有移动。因此，不需要用户设备206立即向用户204提供对物理对象208A的进一步警告，并且因此用户设备206继续监视其移动。
参考图3C，第二阈值距离406可以例如是物理环境200中的物理对象 208A与用户设备206之间的距离。如上所述，用户设备206使用深度传感器或多个相机中的至少一者来确定用户设备206与物理环境200中的物理对象中每一者之间的距离。因此，用户设备206可确定用户设备206与物理对象208A之间的距离304C，并且将所确定的距离304C与第二阈值距离 406进行比较。第二阈值距离406指示用户设备206位于视觉效应(例如，使用虚拟对象)可能不足以(例如，及时地)使用户204意识到设置在用户204 的路径中的一个或多个物理对象的距离处。相反，用户设备206可以为用户204提供物理环境的视觉表示。例如，物理环境200中的一个或多个物理对象208(例如，对象208A和208E)的视觉表示(例如，显示的图像或视频) 可被显示给用户204，使得用户204进一步意识到用户204的路径中的物理对象208。
在一些实施方案中，第一阈值距离和第二阈值距离基于用户设备206 和/或物理对象(诸如物理对象208)的一个或多个属性。例如，用户设备206 可确定用户移动的速度；并且第一阈值距离和第二阈值距离可基于所确定的速度来动态地和/或自适应地配置。因此，如果用户204正在跑动并且用户设备206确定用户移动的速度超过极限，则用户设备206可被配置为增大第一阈值距离和第二阈值距离以考虑用户移动的速度。增大阈值距离可以提供足够的时间来显示视觉效应(例如，虚拟对象)或物理环境的视觉表示 (例如，图像)，使得用户204可以避免与物理对象208碰撞。作为另一实施方案，用户设备206可确定物理对象的类型，并且第一阈值距离和第二阈值距离可基于物理对象的类型来动态地和/或自适应地配置。例如，与其他类型的物理对象(例如，桌子、椅子、沙发)相比，用户设备206对于某些类型的物理对象(例如，壁炉、炉灶、游泳池)可以在更大的距离处提供视觉效应或物理环境的视觉表示。
参考图3C，用户设备206可通过确定用户设备206与物理环境200的物理对象208A之间的距离304C是否小于或等于第二阈值距离406来将距离304C与第二阈值距离406进行比较。例如，如果用户设备206确定距离 304C为0.5英尺，小于第二阈值距离1英尺，则用户设备206确定距离 304C在第二阈值距离406内。虽然图3C使用第二阈值距离406作为例示作为第二阈值条件，但应当理解，第二阈值条件可以包括其他条件中的一者或多者，诸如用户设备206的角度、用户设备206的移动方向、物理对象208的类型等。
参考图3C，用户设备206可被配置为根据确定距离304C在第二阈值距离406内，将虚拟现实环境的显示的至少一部分替换成物理环境的至少一部分的视觉表示。视觉表示可以是物理环境的图像和/或视频(例如，实时流视频)。视觉表示可由用户设备206的一个或多个相机提供，以指示物理对象208A相对于用户设备206在第二阈值距离(例如，1英尺)内。因此，在距离304C处，物理对象208A可以非常靠近用户204，并且作为响应，用户设备206向用户204显示物理对象208A的图像和/或视频。在图3C所示的实施方案中，用户设备206将整个虚拟现实环境260替换成显示的图像430(例如，物理对象208A和208E的至少一部分的图像和/或视频)。如下文更详细所述，在一些实施方案中，用户设备206可以用物理环境的视觉表示替换虚拟现实环境的一部分，而不是整个虚拟现实环境。
参考图3D，用户设备206定位在第二阈值距离406内的距离304C处并且被取向为背离物理对象，并且示例性虚拟现实环境514被用户设备206 显示。如上文在图3C中所述，如果用户设备206确定其与物理对象208A 的距离在第二阈值距离406内，则用户设备206可将虚拟现实环境的显示的至少一部分替换成物理环境200的视觉表示(例如，图像/视频)。在一些实施方案中，在将虚拟现实环境的显示的至少一部分替换成物理环境200 的至少一部分的视觉表示(例如，图像/视频)之后，用户设备206确定用户 204的注视是否移动离开物理环境200的至少一部分的视觉表示。用户设备 206可通过检测用户设备206的取向是否改变来进行此类确定。例如，使用一个或多个运动传感器、相机、加速度计等，用户设备206可确定用户设备206的取向发生改变(例如，用户204转身背离物理对象)。作为响应，用户设备206确定用户设备206正在转离物理对象208A并恢复至少部分地显示虚拟现实环境260，如图3D中所示。用户设备206也可通过检测设备是否正在移动远离物理对象208A，例如通过检测设备与物理对象之间的距离是否正在增加来进行此类确定。
图3D示出了用户设备206的显示器的显示区域512。用户设备206可在显示区域512中显示第二虚拟现实环境514。第二虚拟现实环境514可例如在用户设备206确定用户204已转身背离物理对象208A之后被显示。在一些实施方案中，虚拟现实环境514与在被物理环境200的视觉表示(例如，图像/视频)的至少一部分替换之前所显示的先前虚拟现实环境260相同或相似(如参照图3C所述)。例如，第二虚拟现实环境514可被显示成如同用户204转身那样所查看的虚拟现实环境260的一部分。显示区域512可以具有窗口、闸门或任何其他期望形状的形状。
如上所述，如果用户设备206与物理对象208A之间的距离304C在第二阈值距离406内，则用户设备206显示物理环境200的视觉表示(例如，图3C中所示的图像430)(例如，将整个虚拟现实环境替换成物理环境200 的至少一部分的视觉表示)。参考图3D，如果用户设备206与物理对象 208A之间的距离304C增大和/或用户设备206的取向发生变化(例如，用户设备206在用户204转身时背离物理对象208A)，则继续显示物理环境200 的至少一部分的图像/视频可能不是所期望或需要的。因此，在一些实施方案中，用户设备206任选地移除、加深或停止显示物理环境200的至少一部分的视觉表示(例如，使背景区域502为空白或暗的)。如图3D中所示，用户设备206在背景区域502内的显示区域512中显示第二虚拟现实环境 514。在一些实施方案中，显示区域512的至少一个维度基于用户设备206 与物理对象208之间的距离而变化。例如，随着用户设备206与物理对象 208A之间的距离304C增大，显示区域512被放大，使得第二虚拟现实环境514的更多区域被显示。
在一些实施方案中，显示在显示区域512中的第二虚拟现实环境514 是先前被物理环境的视觉表示替换的相同虚拟现实环境。例如，如图3D所示，显示在显示区域512中的第二虚拟现实环境514可以是在被物理环境200的视觉表示替换之前先前在虚拟现实环境260中显示的相同虚拟海滩 (如同用户204转身那样所观察的)。
如上文关于图3B所述，如果用户设备206确定距离304B小于第一阈值距离306并且大于第二阈值距离406，则用户设备206被配置为在虚拟现实环境260中显示视觉效应。图3B示出虚拟玻璃壁324作为视觉效应的示例。图4A-4E示出了对应于用户设备被定位在与物理对象208(例如，对象 208A和208E)的小于第一阈值距离306并且大于第二阈值距离406的距离处的在虚拟现实环境260中显示的各种附加示例性视觉效应。
例如，如图4A所示，虚拟现实环境260可包括一个或多个虚拟对象 (例如，虚拟沙滩伞262B)。在一些实施方案中，为了提供对应于物理环境 200中的物理对象的视觉效应，用户设备206可被配置为显示虚拟壁314和 /或悬挂在虚拟壁314上的虚拟绘画312。虚拟壁314和/或虚拟绘画312可以向用户提供视觉效应，从而使用户意识到设置在用户移动的路径中的物理对象。在一些实施方案中，虚拟壁314和/或虚拟绘画312可对应于在虚拟现实环境260中存在的其他虚拟对象(例如，是其副本)。用户设备206任选地例如被配置为重新使用这些现有虚拟对象来生成提供对应于物理对象的视觉效应的新虚拟对象。重新使用现有虚拟对象，而不是使用本来在虚拟现实环境中不存在的对象，可降低视觉效应对虚拟现实环境的显示的影响。降低视觉效应的影响就增强了用户体验并且提高了生成虚拟对象的效率，而不必显著改变虚拟现实环境。
提供对应于与物理对象相关联的距离304B的视觉效应的另一实施方案在图4B中示出。参考图4B，虚拟现实环境260被显示，并且可包括虚拟沙滩椅、虚拟沙滩伞等。如图4B所示，在一些实施方案中，用户设备206 可以改变虚拟对象的外观作为虚拟指示。外观的变化可以基于用户设备206 与物理对象208(例如，208A和208E)之间的距离。例如，当用户设备206 移动更靠近物理对象208A时，虚拟对象262A-B(图3A中所示)的外观可分别转变成虚拟对象332A-B的外观(图4B中所示)。虚拟对象332A-B可以具有分别类似于虚拟对象262A-B的形状，但可具有颗粒/羽化效应。在一些实施方案中，当用户设备206移动更靠近物理对象208A时，虚拟对象 332A-B可以变得较不透明和/或具有更致密的颗粒(或反之亦然)。较不透明的虚拟对象或具有更致密颗粒的虚拟对象可提供视觉效应以指示对应的物理对象比更透明或具有更稀疏颗粒的虚拟对象更靠近。在一些实施方案中，这种类型的视觉效应可以是直观的并且容易被用户理解或捕获，从而进一步增强用户体验并改善视觉效应的功效。应当理解，虽然图4B使用虚拟对象332A-B来例示虚拟对象，但是可使用任何虚拟对象(例如，虚拟现实环境中的现有对象或者新的虚拟对象)提供视觉效应，从而使用户意识到用户正在朝其接近的物理环境中的物理对象。
提供对应于与物理对象相关联的距离304B的视觉效应的附加实施方案在图4C-4D中示出。参考图4C，用户设备206当前正在显示虚拟现实环境 260。虚拟现实环境260可包括虚拟对象，诸如虚拟沙滩椅262A和虚拟沙滩伞262B等。为了提供对应于物理环境200中的物理对象(例如，对象 208A)的视觉效应，用户设备206显示设置在一个或多个现有虚拟对象(诸如虚拟沙滩椅262A和虚拟沙滩伞262B)前方的虚拟雾352。在一些实施方案中，虚拟现实环境260中雾的位置可指示物理环境200中物理对象(例如，对象208A)相对于用户204的位置。在一些实施方案中，通过融合和/ 或模糊下面的虚拟对象(例如，262A-B)产生半透明视觉效应来产生雾352 的外观。
在一些实施方案中，如图4D所示，用户设备206可类似地降低虚拟现实环境260的一个或多个虚拟对象和/或部分的亮度或对其应用加深效应 354，以指示物理环境200的一个或多个物理对象208(例如，208A)相对于用户204的位置。虚拟雾352和/或加深效应354可以为用户提供视觉效应，从而使用户意识到设置在用户的路径中的物理对象。在一些实施方案中，基于虚拟雾352或加深效应354生成的视觉效应可以是直观的并且容易被用户理解或捕获，从而进一步增强用户体验并改善视觉效应的功效。例如，用户通常不太可能移动进入或者更可能避开模糊或加深区域。
提供对应于与物理对象相关联的距离304B的视觉效应的附加实施方案在图4E中示出。参考图4E，用户设备206当前正在显示虚拟现实环境 260。虚拟现实环境260包括虚拟对象，诸如虚拟沙滩椅262A和虚拟沙滩伞262B等。为了提供对应于物理环境200中的物理对象的视觉效应，用户设备206可被配置为显示加深区域362。在一些实施方案中，加深区域362 设置在虚拟地表面366上(例如，在虚拟沙滩上)并且对应于物理环境200中的物理对象(例如，对象208A、208E和208F)的位置。例如，加深区域362 可被配置为具有对应于(例如，跟踪)物理对象208A(例如，桌子)、208E(例如，椅子)和208F(例如，沙发)的位置或边界的边界。
在一些实施方案中，加深区域诸如加深区域362的至少一个维度可被配置为指示物理对象的对应维度。例如，如果物理对象的纵向维度大于横向维度，则加深区域362可被配置为也具有对应的较大纵向维度。在一些实施方案中，用户设备206可被配置为基于用户设备206与物理对象之间的距离来改变加深区域362中的加深程度。例如，当用户设备206移动更靠近物理对象时，加深区域362被加深的程度可增大(例如，变得更深)或减小。在一些示例中，加深区域可具有任何形状。加深区域可例如为基本上三角形、矩形、圆形、椭圆形或任何其他形状。
加深区域362为用户提供视觉效应，从而使用户意识到设置在用户的路径中的物理对象。如上所述，基于虚拟现实环境中某个区域的加深而生成的视觉效应可以是直观的并且容易被用户理解或捕获，从而进一步增强用户体验并改善视觉效应的功效。例如，用户通常不太可能移动进入或者更可能避开加深区域。应当理解，虽然图4E例示使用加深区域362作为视觉效应，但是可将任何虚拟效应(例如，阴影、着色、扭曲、模糊、摇动等) 以任何方式应用于虚拟现实环境(例如，应用于天花板、墙壁、地板或者一个或多个对象)以提供视觉效应，从而使用户意识到设置在用户附近和/或用户正接近的物理环境中的物理对象。
如上所述，如果用户设备206确定距离304B在第一阈值306内(如图 3B和图4A-4E所示)并且任选地不在第二阈值距离406内(如图3B和图 4A-4E所示)，则可将各种视觉效应(例如，虚拟壁、虚拟玻璃、虚拟雾、颗粒/羽化效应、加深区域等)应用于或设置在虚拟现实环境中。在一些实施方案中，如上所述，尽管向用户204提供视觉效应，但用户(和用户穿戴的用户设备206)可继续朝物理对象移动超过第一阈值距离306，并且因此用户设备206与物理对象之间的距离304B可继续减小至距离304C。
如上所述，图3C示出了示例，其中用户设备206确定距离304C在第二阈值距离406内，并且因此将虚拟现实环境260的整个显示替换成物理环境200的至少一部分的视觉表示(例如，图像430)。图5A-5C示出了定位在第二阈值距离406内各个距离处的用户设备206以及用户设备206所显示的示例性物理环境200的至少一部分的对应图像。
在图5A的示例中，在一些实施方案中，用户设备206位于物理对象 208的距离304D处。距离304D可例如小于第二阈值距离406但大于第三阈值距离506。如上所述，因为距离304D被确定为小于第二阈值距离 406(并且因此在第二阈值距离406内)，所以用户设备206显示物理环境 200的至少一部分(例如，物理对象208A和208E)的视觉表示416A(例如，图像和/或视频)和虚拟现实环境260的至少一部分(例如，虚拟沙滩和虚拟天空)。如图5A所示，因为距离304D大于或等于第三阈值距离506(在下文中更详细地描述)，所以用户设备260将虚拟现实环境260的显示的仅一部分而非全部替换成视觉表示416A；并且当用户设备206与物理对象208A 之间的距离(例如，图3C和图5C中所示的距离304C)小于第三阈值距离 506时，用户设备260替换虚拟现实环境260的整个显示。在一些示例中，视觉表示416A可具有窗口、闸门或任何其他期望形状的形状。
在一些实施方案中，虚拟表示416A的至少一个维度基于用户设备206 与物理对象208(例如，对象208A)之间的距离而变化。如图5A所示，可在显示的任何区域(例如左下角)提供视觉表示416A以替换虚拟现实环境 260的一部分。在一些实施方案中，如果用户设备206继续移动更靠近物理对象208A，则用户设备206增大用于显示视觉表示416A的区域的维度。如图5B所示，当用户设备206移动更靠近物理对象208A(例如，移动到距离304E)时，用户设备206可以用视觉表示416B来替换虚拟现实环境260 的更大部分。例如，视觉表示416B具有比图5B中所示视觉表示416A的维度(例如，宽度和/或长度)大的维度。在一些实施方案中，用于显示视觉表示的区域的至少一个维度基于物理对象的类型而变化。例如，与对于其他类型的物理对象(例如，桌子、椅子、沙发)相比，对于某些类型的物理对象(例如壁炉、炉灶、游泳池)，用于显示视觉表示的区域替代虚拟现实环境 260的更多区域。
在一些实施方案中，物理对象可定位为非常靠近用户(例如，在用户能触摸或感觉到的距离内)，并且在显示区域的一部分中使用视觉表示以用于指示或突出强调可能是不够的。图5C提供了用物理环境200的至少一部分的视觉表示(例如，图像430)替换整个虚拟现实环境260的示例。例如，可将用户设备206移动到与物理对象208A相距小于第三阈值距离506的距离 304C。第三阈值距离506小于第二阈值距离406。在一些实施方案中，如果用户设备206被定位在第三阈值距离506内，则用户设备206可确定需要立即注意或警告以防止用户204与物理对象208A碰撞。例如，物理对象 208A可定位在用户的紧邻前方或定位在使得用户能触摸物理对象208A的距离内。如果用户设备206确定距离304C小于或等于第三阈值距离506，则用户设备206将整个虚拟现实环境替换成包括物理对象208(例如，对象 208A和208E)的物理环境200的至少一部分的视觉表示(例如，图像430)。如图5C所示，用户设备206以全屏模式显示虚拟表示(例如，图像或视频 430)，从而替换整个虚拟现实环境260。在一些实施方案中，相比于在用于显示虚拟现实环境的区域的一部分中显示视觉表示，将整个虚拟现实环境替换成物理环境的视觉表示可以提供提高水平的指示，向用户突出强调和/ 或警告。因此，用户设备206现在显示虚拟现实环境260，并且用户204可采取立即动作以避免与位于物理环境200中的任何物理对象或障碍发生接触或碰撞。例如，用户204可停止朝物理对象208A移动，向另一方向移动，或移动远离物理对象208A。
如上文关于图3D所述，在一些实施方案中，如果用户设备206确定用户设备206正转离物理对象208A(例如，用户204相对于物理对象208A转身)，则在将先前虚拟现实环境260的显示的至少一部分替换成物理环境的至少一部分的视觉表示之后，用户设备206显示第二虚拟现实环境514。在图3D所示的实施方案中，第二虚拟现实环境514被显示在显示区域512 内。在显示区域512之外的背景区域502中的物理环境200的图像和/或视频被移除、加深或停止显示。
图6A-6B示出了定位在第二阈值距离406内的距离304C处并且被取向为背离物理对象的用户设备206和用户设备206所显示的示例性虚拟现实环境和/或物理环境的图像。参照图6A和图6B，用户设备206响应于例如用户设备206确定用户204已转身或移动远离物理对象208A而在显示区域512中显示第二虚拟现实环境514。显示区域512可以具有窗口、闸门或任何其他期望形状的形状。
图6A示出了在显示区域512内显示第二虚拟现实环境514的一部分 (例如，虚拟沙滩)以及在显示区域512之外(例如，在背景区域502中)显示第二虚拟现实环境514的另一部分的实施方案。在该实施方案中，用户设备206将先前显示的物理环境200的整个视觉表示替换成虚拟现实环境514。因此，用户设备206在显示区域512中显示第二虚拟现实环境514的一部分并且在显示区域512之外的背景区域502中显示另一部分。在一些实施方案中，当用户设备206在物理环境200中转身或移动远离物理对象 208A时，提供类似于或延续先前显示的虚拟现实环境260的第二虚拟现实环境514可产生如同用户正在重新进入先前显示的虚拟现实环境260那样的效应。该效应增强用户体验。
图6B示出了显示区域526，在其中显示第三虚拟现实环境520。如图 6B所示，用户设备206响应于例如用户设备206确定用户设备206的取向在用户204转身和/或移动远离物理对象208A时已改变而在显示区域526 中显示第三虚拟现实环境520。如上文关于图3C所述，如果用户设备206 与物理对象208(例如，208A)之间的距离304C在第二阈值距离406内，则用户设备260可将整个虚拟现实环境260替换成物理环境的至少一部分的视觉表示(例如，图像/视频)(例如，当距离304C小于第三阈值距离506 时)。图6B示出了物理环境200的此类图像524。如果用户设备206确定用户204的注视移动远离物理环境的图像524(例如，用户转身或用户设备206 的取向改变)和/或用户设备206与物理对象208A之间的距离增大，则用户设备206可在显示区域526中显示第三虚拟现实环境520。在一些实施方案中，显示区域526的至少一个维度可被配置为基于用户设备206与物理对象208A之间的距离而变化。例如，随着用户设备206与物理对象208A之间的距离增大，显示区域526的维度变得更大，使得第三虚拟现实环境520 的更多区域被显示。如图6B所示，显示区域526可以具有闸门或门的形状，并且第三虚拟现实环境520可类似于或延续先前显示的虚拟现实环境 260。因此，提供显示区域526就可产生用户正走进闸门或门以进入(或重新进入)先前显示的虚拟现实环境260的效应。通过相对于地来定位显示区域 526，用户可以更容易地确定用户设备206与显示区域526的位置之间的距离，就如同其在物理环境中那样。
现在转向图7A，示出了用于在混合现实环境中指示物理障碍的示例性过程700的流程图。在下面的描述中，过程700被描述为使用用户设备 (例如，设备100a)来执行。用户设备为例如手持式移动设备或头戴式设备，诸如图1A的设备100a以及图2、图3A-3D、图4A-4E、图 5A-5C和图6A-6B的设备206。应当认识到，在其他实施方案中，使用两个或更多个电子设备来执行过程700，诸如通信地耦接到另一设备(诸如基础设备)的用户设备。在这些实施方案中，过程700的操作以任何方式分布在用户设备与一个或多个其他设备之间。此外，应当理解，用户设备的显示器可以是透明的或不透明的。应当理解，可省略过程700的一个或多个框和/或可在过程700期间的任何点执行一个或多个附加框。
在框702处，虚拟现实环境被显示在电子设备的显示器上。在框704 处，确定电子设备与物理环境的物理对象之间的距离。电子设备是虚拟现实受话器。在框706处，确定电子设备与物理环境的物理对象之间的距离是否在第一阈值距离内。在一些实施方案中，确定电子设备与物理对象之间的距离是否在第一阈值距离内包括确定电子设备是否正在朝物理环境中的物理对象移动。
在框708处，根据确定距离在第一阈值距离内，在虚拟现实环境中显示视觉效应。视觉效应对应于与物理对象相关联的距离。根据确定距离不在第一阈值距离内，虚拟现实环境继续被显示，而没有物理对象的任何视觉效应。
在一些实施方案中，显示虚拟指示包括在所显示的虚拟现实环境上显示一个或多个虚拟对象(例如，虚拟壁、虚拟玻璃壁、虚拟雾、颗粒/羽化效应、加深)。所述一个或多个虚拟对象指示物理对象在与电子设备的第一阈值距离内。在一些实施方案中，所述一个或多个虚拟对象中至少一者的外观基于电子设备与物理对象之间的距离而变化。
在一些实施方案中，显示虚拟指示包括在所显示的虚拟现实环境的虚拟地上显示加深区域。加深区域对应于物理对象在物理环境中的位置。加深区域中的加深程度可基于电子设备与物理对象之间的距离而变化。加深区域的至少一个维度可指示物理对象的一个或多个对应维度。在一些实施方案中，加深区域具有基本上三角形形状。
在框710处，确定电子设备与物理环境中的物理对象之间的距离是否在第二阈值距离内。在一些实施方案中，确定电子设备是否继续朝物理对象移动超过第一阈值距离。根据确定电子设备继续朝物理对象移动超过第一阈值距离，确定电子设备与物理环境的物理对象之间的距离是否小于或等于第二阈值距离。
在一些实施方案中，基于电子设备的移动速度和/或基于物理对象的类型来配置第一阈值距离和第二阈值距离中的一者或两者。
在框712处，根据确定距离在第二阈值距离内，显示物理环境的至少一部分的视觉表示。视觉表示由一个或多个相机提供。在一些实施方案中，确定电子设备是正在朝物理对象移动还是远离物理对象移动。根据确定电子设备正朝物理对象移动，基于电子设备与物理对象之间的距离来加深所述加深区域。根据确定电子设备正远离物理对象移动，使加深区域变淡。视觉表示的至少一个维度可基于电子设备与物理对象之间的距离和/或基于物理对象的类型而变化。
在一些实施方案中，在用物理环境的至少一部分的视觉表示替换所显示的虚拟现实环境的至少一部分之后，确定电子设备与物理对象之间的距离是否正在增大。例如，如果用户设备正移动远离物理对象，则距离正在增大。根据确定电子设备与物理对象之间的距离正在增大，显示第二虚拟现实环境。
在一些实施方案中，第二虚拟现实环境是被物理环境的至少一部分的视觉表示替换的先前显示的虚拟现实环境的延续。显示第二虚拟现实环境可包括将物理环境的至少一部分的整个视觉表示替换成第二虚拟现实环境。在一些实施方案中，当电子设备与物理对象之间的距离增大时，第二入口的至少一个维度可增大。
现在转向图7B，示出了用于在虚拟现实环境中指示物理障碍的示例性过程740的流程图。在以下描述中，过程740被描述为使用用户设备(例如，设备100a或206)来执行。用户设备例如是手持式移动设备或头戴式设备。应当认识到，在其他实施方案中，使用一个或多个电子设备来执行过程740，诸如通信地耦接到另一设备(诸如基础设备)的用户设备。在这些实施方案中，过程740的操作以任何方式分布在用户设备与所述另一设备之间。此外，应当理解，用户设备的显示器可以是透明的或不透明的。应当理解，过程740的一个或多个框可以是任选的和/或可以执行附加框。
在框742处，虚拟现实环境被显示在电子设备的显示器上，并且确定电子设备与物理环境的物理对象之间的距离。在一些实施方案中，电子设备是虚拟现实受话器、智能电话或平板电脑。在一些实施方案中，虚拟现实环境具有表示地表面的表面。在框744处，确定电子设备与物理环境的物理对象之间的距离是否在阈值距离内。在框748处，根据确定距离在阈值距离内，在虚拟现实环境中显示视觉效应。在一些实施方案中，视觉效应对应于与物理对象相关联的距离，并且被设置在虚拟现实环境的地表面上。
在一些实施方案中，应用于虚拟地的视觉效应的外观可基于电子设备与物理对象之间的距离而变化。应用于虚拟地的视觉效应的至少一个维度基于物理对象的尺寸。应用于虚拟地的视觉效应是基本上三角形形状的加深区域。
应当认识到，虽然过程700和740是参考虚拟现实环境来描述的，但过程700和740并不因此受到限制。以举例的方式，在一些情况下，使用增强现实环境来实现过程700和740。例如，可将一个或多个虚拟对象(包括但不限于用于视觉效应的那些)替换成物理环境中物理对象的视觉表示。
出于例示和描述的目的呈现了具体实施方案的前述描述。它们并非旨在穷举或将权利要求的范围限制于所公开的精确形式，并且应当理解，鉴于上述教导，许多修改和变型是可能的。

Claims (37)

1.一种用于在显示虚拟现实环境时指示物理障碍的方法，所述方法包括：
在具有一个或多个处理器、存储器和一个或多个相机的电子设备处：
显示虚拟现实环境，其中显示所述虚拟现实环境包括显示表示地表面的表面；
确定所述电子设备与物理对象之间的距离；
确定所述电子设备与所述物理对象之间的所述距离是否在第一阈值距离内；
根据确定所述距离在所述第一阈值距离内，在所述虚拟现实环境中显示视觉效应，其中显示所述视觉效应包括：在所述地表面上显示加深区域，而不显示所述物理对象的视觉表示，其中所述加深区域对应于物理环境中的所述物理对象相对于所述电子设备的位置；
确定所述电子设备与所述物理对象之间的所述距离是否在第二阈值距离内；以及
根据确定所述距离在所述第二阈值距离内，显示所述物理环境的至少一部分的视觉表示，所述视觉表示使用所述一个或多个相机提供。
2.根据权利要求1所述的方法，其中所述电子设备是可穿戴受话器。
3.根据权利要求1-2中任一项所述的方法，其中确定所述电子设备与所述物理对象之间的所述距离是否在所述第一阈值距离内包括：
确定所述电子设备是否正在朝所述物理环境中的所述物理对象移动。
4.根据权利要求1-2中任一项所述的方法，其中所述第一阈值距离和所述第二阈值距离中的至少一者基于所述电子设备的移动速度。
5.根据权利要求1-2中任一项所述的方法，还包括：
基于所述物理对象来确定所述第一阈值距离和所述第二阈值距离。
6.根据权利要求1-2中任一项所述的方法，其中显示所述视觉效应包括：
在所述虚拟现实环境中显示一个或多个虚拟对象，其中所述一个或多个虚拟对象是所述物理对象在与所述电子设备的所述第一阈值距离内的指示。
7.根据权利要求6所述的方法，还包括：
基于所述电子设备与所述物理对象之间的所述距离来改变所显示的一个或多个虚拟对象中至少一者的外观。
8.根据权利要求1所述的方法，还包括：
确定所述电子设备是正在朝所述物理对象还是远离所述物理对象移动；以及
根据确定所述电子设备正在朝所述物理对象移动，基于所述电子设备与所述物理对象之间的所述距离来加深所述加深区域。
9.根据权利要求8所述的方法，还包括：
根据确定所述电子设备正在远离所述物理对象移动，使所述加深区域变淡。
10.根据权利要求1中任一项所述的方法，其中所述加深区域的维度对应于所述物理对象的尺寸。
11.根据权利要求1-2中任一项所述的方法，其中确定所述电子设备与所述物理环境中的所述物理对象之间的所述距离是否在所述第二阈值距离内包括：
确定所述电子设备是否正在朝所述物理对象移动；以及
根据确定所述电子设备正在朝所述物理对象移动，确定所述电子设备与所述物理环境的所述物理对象之间的所述距离是否小于或等于所述第二阈值距离。
12.根据权利要求1-2中任一项所述的方法，其中所述视觉效应对应于与所述物理对象相关联的距离。
13.一种存储计算机可执行指令的计算机可读存储介质，所述指令当由具有一个或多个相机的电子设备的一个或多个处理器执行时，使得所述电子设备执行以下操作：
显示虚拟现实环境，其中显示所述虚拟现实环境包括显示表示地表面的表面；
确定所述电子设备与物理对象之间的距离；
确定所述电子设备与所述物理对象之间的所述距离是否在第一阈值距离内；
根据确定所述距离在所述第一阈值距离内，在所述虚拟现实环境中显示视觉效应，其中显示所述视觉效应包括：在所述地表面上显示加深区域，而不显示所述物理对象的视觉表示，其中所述加深区域对应于物理环境中的所述物理对象相对于所述电子设备的位置；
确定所述电子设备与所述物理对象之间的所述距离是否在第二阈值距离内；以及
根据确定所述距离在所述第二阈值距离内，显示所述物理环境的至少一部分的视觉表示，所述视觉表示使用所述一个或多个相机提供。
14.根据权利要求13所述的计算机可读存储介质，其中所述电子设备是可穿戴受话器。
15.根据权利要求13-14中任一项所述的计算机可读存储介质，其中确定所述电子设备与所述物理对象之间的所述距离是否在所述第一阈值距离内包括：
确定所述电子设备是否正在朝所述物理环境中的所述物理对象移动。
16.根据权利要求13-14中任一项所述的计算机可读存储介质，其中所述第一阈值距离和所述第二阈值距离中的至少一者基于所述电子设备的移动速度。
17.根据权利要求13-14中任一项所述的计算机可读存储介质，其中所述计算机可执行指令包括进一步指令，所述指令使得所述电子设备执行以下操作：
基于所述物理对象来确定所述第一阈值距离和所述第二阈值距离。
18.根据权利要求13-14中任一项所述的计算机可读存储介质，其中显示所述视觉效应包括：
在所述虚拟现实环境中显示一个或多个虚拟对象，其中所述一个或多个虚拟对象是所述物理对象在与所述电子设备的所述第一阈值距离内的指示。
19.根据权利要求18所述的计算机可读存储介质，其中所述计算机可执行指令包括进一步指令，所述指令使得所述电子设备执行以下操作：
基于所述电子设备与所述物理对象之间的所述距离来改变所显示的一个或多个虚拟对象中至少一者的外观。
20.根据权利要求13所述的计算机可读存储介质，其中所述计算机可执行指令包括进一步指令，所述指令使得所述电子设备执行以下操作：
确定所述电子设备是正在朝所述物理对象还是远离所述物理对象移动；以及
根据确定所述电子设备正在朝所述物理对象移动，基于所述电子设备与所述物理对象之间的所述距离来加深所述加深区域。
21.根据权利要求20所述的计算机可读存储介质，其中所述计算机可执行指令包括进一步指令，所述指令使得所述电子设备执行以下操作：
根据确定所述电子设备正在远离所述物理对象移动，使所述加深区域变淡。
22.根据权利要求13中任一项所述的计算机可读存储介质，其中所述加深区域的维度对应于所述物理对象的尺寸。
23.根据权利要求13-14中任一项所述的计算机可读存储介质，其中确定所述电子设备与所述物理环境中的所述物理对象之间的所述距离是否在所述第二阈值距离内包括：
确定所述电子设备是否正在朝所述物理对象移动；以及
根据确定所述电子设备正在朝所述物理对象移动，确定所述电子设备与所述物理环境的所述物理对象之间的所述距离是否小于或等于所述第二阈值距离。
24.根据权利要求13-14中任一项所述的计算机可读存储介质，其中所述视觉效应对应于与所述物理对象相关联的距离。
25.一种电子设备，包括：
一个或多个相机；
存储器；
一个或多个处理器，所述一个或多个处理器可操作地耦接至所述存储器；和
计算机可执行指令，所述计算机可执行指令存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述计算机可执行指令包括以下指令：
显示虚拟现实环境，其中显示所述虚拟现实环境包括显示表示地表面的表面；
确定所述电子设备与物理对象之间的距离；
确定所述电子设备与所述物理对象之间的所述距离是否在第一阈值距离内；
根据确定所述距离在所述第一阈值距离内，在所述虚拟现实环境中显示视觉效应，其中显示所述视觉效应包括：在所述地表面上显示加深区域，而不显示所述物理对象的视觉表示，其中所述加深区域对应于物理环境中的所述物理对象相对于所述电子设备的位置；
确定所述电子设备与所述物理对象之间的所述距离是否在第二阈值距离内；以及
根据确定所述距离在所述第二阈值距离内，显示所述物理环境的至少一部分的视觉表示，所述视觉表示使用所述一个或多个相机提供。
26.根据权利要求25所述的电子设备，其中所述电子设备是可穿戴受话器。
27.根据权利要求25-26中任一项所述的电子设备，其中确定所述电子设备与所述物理对象之间的所述距离是否在所述第一阈值距离内包括：
确定所述电子设备是否正在朝所述物理环境中的所述物理对象移动。
28.根据权利要求25-26中任一项所述的电子设备，其中所述第一阈值距离和所述第二阈值距离中的至少一者基于所述电子设备的移动速度。
29.根据权利要求25-26中任一项所述的电子设备，其中所述计算机可执行指令还包括以下指令：
基于所述物理对象来确定所述第一阈值距离和所述第二阈值距离。
30.根据权利要求25-26中任一项所述的电子设备，其中显示所述视觉效应包括：
在所述虚拟现实环境中显示一个或多个虚拟对象，其中所述一个或多个虚拟对象是所述物理对象在与所述电子设备的所述第一阈值距离内的指示。
31.根据权利要求30所述的电子设备，其中所述计算机可执行指令还包括以下指令：
基于所述电子设备与所述物理对象之间的所述距离来改变所显示的一个或多个虚拟对象中至少一者的外观。
32.根据权利要求25所述的电子设备，其中所述计算机可执行指令还包括以下指令：
确定所述电子设备是正在朝所述物理对象还是远离所述物理对象移动；以及
根据确定所述电子设备正在朝所述物理对象移动，基于所述电子设备与所述物理对象之间的所述距离来加深所述加深区域。
33.根据权利要求32所述的电子设备，其中所述计算机可执行指令还包括以下指令：
根据确定所述电子设备正在远离所述物理对象移动，使所述加深区域变淡。
34.根据权利要求25中任一项所述的电子设备，其中所述加深区域的维度对应于所述物理对象的尺寸。
35.根据权利要求25-26中任一项所述的电子设备，其中确定所述电子设备与所述物理环境中的所述物理对象之间的所述距离是否在所述第二阈值距离内包括：
确定所述电子设备是否正在朝所述物理对象移动；以及
根据确定所述电子设备正在朝所述物理对象移动，确定所述电子设备与所述物理环境的所述物理对象之间的所述距离是否小于或等于所述第二阈值距离。
36.根据权利要求25-26中任一项所述的电子设备，其中所述视觉效应对应于与所述物理对象相关联的距离。
37.一种电子设备，包括：
一个或多个相机；和
用于执行根据权利要求1和2中任一项所述的方法的装置。
CN201880063520.3A 2017-09-29 2018-09-25 检测物理边界 Active CN111279292B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762566306P 2017-09-29 2017-09-29
US62/566,306 2017-09-29
US201862631048P 2018-02-15 2018-02-15
US62/631,048 2018-02-15
PCT/US2018/052719 WO2019067470A1 (en) 2017-09-29 2018-09-25 PHYSICAL LIMIT DETECTOR

Publications (2)

Publication Number Publication Date
CN111279292A CN111279292A (zh) 2020-06-12
CN111279292B true CN111279292B (zh) 2022-06-14

Family

ID=64017436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880063520.3A Active CN111279292B (zh) 2017-09-29 2018-09-25 检测物理边界

Country Status (6)

Country Link
US (2) US11127182B2 (zh)
EP (1) EP3688562A1 (zh)
JP (1) JP7029526B2 (zh)
KR (1) KR102552403B1 (zh)
CN (1) CN111279292B (zh)
WO (1) WO2019067470A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
EP3688562A1 (en) 2017-09-29 2020-08-05 Apple Inc. Physical boundary guardian
CA3114040A1 (en) * 2018-09-26 2020-04-02 Guardian Glass, LLC Augmented reality system and method for substrates, coated articles, insulating glass units, and/or the like
US11494051B1 (en) 2018-11-01 2022-11-08 Intuit, Inc. Image template-based AR form experiences
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
KR102250870B1 (ko) * 2020-09-09 2021-05-11 한국전자기술연구원 가상현실 플랫폼에서의 다중 사용자 충돌 및 이탈 방지를 위한 운용 시스템 및 방법
US12032803B2 (en) 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11507246B2 (en) * 2020-10-07 2022-11-22 Htc Corporation Method for dynamically showing virtual boundary, electronic device and computer readable storage medium thereof
WO2022147146A1 (en) * 2021-01-04 2022-07-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11556169B2 (en) * 2021-02-11 2023-01-17 Meta Platforms Technologies, Llc Adaptable personal user interfaces in cross-application virtual reality settings
WO2022200249A1 (de) * 2021-03-22 2022-09-29 Manfred Weigl Vorrichtung zur ansteuerung von aktuatoren
US11927756B2 (en) 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
GB2614539B (en) * 2022-01-05 2024-05-08 Sony Interactive Entertainment Inc Content generation system and method
US20230264697A1 (en) * 2022-02-22 2023-08-24 Toyota Research Institute, Inc. Varying extended reality content based on driver attentiveness
US12005919B2 (en) 2022-02-22 2024-06-11 Toyota Research Institute, Inc. Varying extended reality content based on risk level of a driving environment
JP2023157275A (ja) * 2022-04-14 2023-10-26 キヤノン株式会社 情報処理装置、情報処理システム、表示装置、情報処理方法、プログラム
WO2024029804A1 (ko) * 2022-08-02 2024-02-08 삼성전자 주식회사 장애물 관련 정보를 표시하기 위한 웨어러블 전자 장치, 동작 방법, 및 저장 매체
JP2024027905A (ja) * 2022-08-19 2024-03-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
WO2024043527A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치
WO2024071862A1 (ko) * 2022-09-28 2024-04-04 삼성전자 주식회사 응시점에 기반한 정보 제공을 위한 방법 및 이를 위한 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016073783A1 (en) * 2014-11-05 2016-05-12 Valve Corporation Sensory feedback systems and methods for guiding users in virtual reality environments
JP2016532178A (ja) * 2013-06-08 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法
CN106295581A (zh) * 2016-08-15 2017-01-04 联想(北京)有限公司 障碍物检测方法、装置及虚拟现实设备
CN106575155A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 沉浸在虚拟现实环境中时的防绊倒
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
CN107850936A (zh) * 2015-01-28 2018-03-27 Ccp公司 用于提供物理环境的虚拟显示的方法和***

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2301216A (en) 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US8508363B2 (en) * 2009-05-15 2013-08-13 First Principles, Inc. Systems and methods for permitting movement of an object outside a predetermined proximity distance threshold
JP2011128838A (ja) 2009-12-17 2011-06-30 Panasonic Corp 画像表示装置
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
CN102859470B (zh) 2011-03-15 2015-12-02 松下电器（美国）知识产权公司 对象控制装置、对象控制方法以及集成电路
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9792724B2 (en) * 2013-03-14 2017-10-17 Robert Bosch Gmbh System and method for generation of shadow effects in three-dimensional graphics
US10229523B2 (en) 2013-09-09 2019-03-12 Empire Technology Development Llc Augmented reality alteration detector
KR102332326B1 (ko) 2014-01-23 2021-11-30 소니그룹주식회사 화상 표시 장치 및 화상 표시 방법
JP5851544B2 (ja) 2014-03-28 2016-02-03 ソフトバンク株式会社 非透過型ヘッドマウントディスプレイ及びプログラム
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US11010972B2 (en) 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US20170287215A1 (en) 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
CA3019664A1 (en) 2016-04-12 2017-10-19 R-Stor Inc. Method and apparatus for presenting imagery within a virtualized environment
US10347053B2 (en) * 2016-05-17 2019-07-09 Google Llc Methods and apparatus to project contact with real objects in virtual reality environments
US20170372499A1 (en) 2016-06-27 2017-12-28 Google Inc. Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
US10311543B2 (en) 2016-10-27 2019-06-04 Microsoft Technology Licensing, Llc Virtual object movement
US10373385B2 (en) 2016-12-14 2019-08-06 Microsoft Technology Licensing, Llc Subtractive rendering for augmented and virtual reality systems
US10445935B2 (en) 2017-05-26 2019-10-15 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
EP3688562A1 (en) 2017-09-29 2020-08-05 Apple Inc. Physical boundary guardian
US10546426B2 (en) 2018-01-05 2020-01-28 Microsoft Technology Licensing, Llc Real-world portals for virtual reality displays
US11182964B2 (en) 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
US11132052B2 (en) 2019-07-19 2021-09-28 Disney Enterprises, Inc. System for generating cues in an augmented reality environment
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
JP2023504917A (ja) 2019-12-09 2023-02-07 ニコベンチャーズ トレーディング リミテッド 制御された放出を有する経口製品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016532178A (ja) * 2013-06-08 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
CN106575155A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 沉浸在虚拟现实环境中时的防绊倒
WO2016073783A1 (en) * 2014-11-05 2016-05-12 Valve Corporation Sensory feedback systems and methods for guiding users in virtual reality environments
CN107850936A (zh) * 2015-01-28 2018-03-27 Ccp公司 用于提供物理环境的虚拟显示的方法和***
CN106295581A (zh) * 2016-08-15 2017-01-04 联想(北京)有限公司 障碍物检测方法、装置及虚拟现实设备

Also Published As

Publication number Publication date
US20220108508A1 (en) 2022-04-07
JP7029526B2 (ja) 2022-03-03
KR20200044102A (ko) 2020-04-28
US11734867B2 (en) 2023-08-22
KR102552403B1 (ko) 2023-07-07
WO2019067470A1 (en) 2019-04-04
US11127182B2 (en) 2021-09-21
US20200258278A1 (en) 2020-08-13
EP3688562A1 (en) 2020-08-05
CN111279292A (zh) 2020-06-12
JP2020536305A (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
CN111279292B (zh) 检测物理边界
US11756269B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
US11880911B2 (en) Transitioning between imagery and sounds of a virtual environment and a real environment
US11842449B2 (en) Presenting an environment based on user movement
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
US11714519B2 (en) Moving about a setting
CN111213148A (zh) 用于计算机模拟现实的隐私屏幕
US11900520B1 (en) Specifying effects for entering or exiting a computer-generated reality environment
CN112955850A (zh) 用于衰减模拟现实(sr)空间中的联合用户交互的方法和设备
US11151798B1 (en) Depth rate up-conversion
WO2012047905A2 (en) Head and arm detection for virtual immersion systems and methods
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US20240062487A1 (en) Presenting an environment based on user movement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant