CN107430439A - 虚拟/增强现实转变***和方法 - Google Patents

虚拟/增强现实转变***和方法 Download PDF

Info

Publication number
CN107430439A
CN107430439A CN201680018870.9A CN201680018870A CN107430439A CN 107430439 A CN107430439 A CN 107430439A CN 201680018870 A CN201680018870 A CN 201680018870A CN 107430439 A CN107430439 A CN 107430439A
Authority
CN
China
Prior art keywords
electronic devices
consumer electronic
world
virtual
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680018870.9A
Other languages
English (en)
Inventor
曼纽尔·克里斯蒂安·克莱蒙特
亚历山大·詹姆斯·法堡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107430439A publication Critical patent/CN107430439A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种操作生成虚拟沉浸式体验的视听***的***和方法，可以包括：与跟踪设备进行通信的电子用户设备，跟踪设备可以跟踪用户在现实世界空间中的物理移动并且将跟踪的物理移动变换为该用户设备所生成的虚拟世界中的相对应移动。该***可以检测用户和用户设备何时接近跟踪区域的边界，并且自动发起离开虚拟世界并进入现实世界的转变。在用户遇到边界时在虚拟世界和现实世界之间的平滑或优雅的转变可以避免用户继续在现实世界中移动时可能发生的错误定向，同时运动表现为在到达跟踪边界时已经停止。

Description

虚拟/增强现实转变***和方法
相关申请的交叉引用
本申请要求于2015年4月27日提交的题为“VIRTUAL/AUGMENTED REALITYTRANSITION SYSTEM AND METHOD(虚拟/增强现实转变***和方法)”的美国专利申请No.14/696,716的优先权并且作为其继续申请，上述申请的公开内容通过引用全文结合于此。
技术领域
本文总体上涉及虚拟或增强现实***。
背景技术
在诸如由虚拟现实(VR)***或增强现实(AR)***生成的体验之类的沉浸式体验中，在VR/AR***所生成的沉浸式体验或“虚拟”世界与该虚拟世界以外的环境或“现实”世界之间可能存在着相对清晰的边界。将用户的现实世界位置变换至虚拟世界之中时的准确性可以提升用户存在于虚拟世界中的感官。
发明内容
在一个方面，一种操作被配置为生成虚拟沉浸式体验的视听***的方法可以包括：激活跟踪设备并且跟踪用户电子设备在现实世界空间中的位置，检测转变条件，并且响应于该转变条件而执行转变过程以转变离开该用户电子设备所生成的虚拟世界。
在另一个方面，一种操作被配置为生成虚拟沉浸式体验的视听***的方法可以包括：激活跟踪设备，跟踪设备具有定义的跟踪区域并且跟踪用户电子设备在现实世界空间中的移动，将该用户电子设备在现实世界空间中的现实世界移动变换为由该用户电子设备生成的虚拟世界中的虚拟移动，确定该用户电子设备的当前位置何时处于***边界的阈值之内，并且在该用户电子设备的当前位置处于***边界的阈值之内时执行转变过程。
在另一个方面，一种视听***可以包括：生成虚拟世界体验的用户电子设备，该用户电子设备能够在现实世界空间中移动；与该用户电子设备进行通信的跟踪设备，该跟踪设备跟踪该用户电子设备在现实世界空间中的位置以及该用户电子设备在现实世界空间中的现实世界移动；以及处理器。该处理器可以将检测到的该用户电子设备的现实世界移动变换为由该用户电子设备所生成的虚拟世界中的虚拟移动，当该跟踪设备与该跟踪区域的边界之间的距离小于或等于预设阈值距离时可以自动执行离开该用户电子设备所生成的虚拟世界的转变，而使得离开虚拟世界的转变在该用户电子设备到达该边界时或在此之前完成，并且可以在该跟踪设备检测到该用户电子设备已经越过该边界并且再次进入该跟踪区域时执行该用户电子设备返回虚拟世界的转变。
一种或多种实施方式的细节在附图和以下描述中被给出。其它特征将由于该描述和附图以及由于权利要求而是显而易见的。
附图说明
图1A和1B是依据本文宽泛描述的实施例的头戴式显示设备的透视图且图1C是其侧视图。
图2是依据本文宽泛描述的实施例的头戴式显示设备的框图。
图3A-3C图示了依据本文宽泛描述的实施例的用于自动变换进入和离开沉浸式体验的***的一种示例实施方式。
图4图示了依据本文宽泛描述的实施例的用于自动变换进入和离开沉浸式体验的***的另一种示例实施方式。
图5A和5B图示了依据本文宽泛描述的实施例的用于自动变换进入和离开沉浸式体验的***的另一种示例实施方式。
图6A和6B图示了依据本文宽泛描述的实施例的图1A-1C所示的示例头戴式显示器所生成的外部指示器的示例实施方式。
图7图示了依据本文宽泛描述的实施例的图1A-1C所示的示例头戴式显示器的透过模式。
图8图示了依据本文宽泛描述的实施例的图1A-1C所示的示例头戴式显示器的透明模式。
图9图示了依据本文宽泛描述的实施例的图1A-1C所示的示例头戴式显示器的旋转。
图10是依据本文宽泛描述的实施例的发起转变过程的示例过程的流程图。
图11是依据本文宽泛描述的实施例的图10所示的转变过程的流程图。
具体实施方式
虚拟现实(VR)***和/或增强现实(AR)***例如可以包括头戴式显示设备(HMD)或类似设备，该设备例如被用户佩戴于用户的头上从而生成由该用户所体验的沉浸式VR环境。用户在现实世界中的移动可以被变换为虚拟世界中所生成的环境中的相对应移动。例如，诸如房间和/或房间中物体的界限之类的现实世界的物理边界与虚拟世界的边界的差异可能会在用户接近和/或遇到这些虚拟边界之一和/或这些物理边界之一时导致沉浸式体验的差别或中断以及错误定向。例如，在用户遇到虚拟世界的边界时从虚拟世界到现实世界的平滑或优雅的转变可以避免用户继续在现实世界中移动时可能发生的错误定向和晕动症，同时运动表现为在到达虚拟世界的边界时已经停止。
图1A和1B是示例HMD的透视图且图1C是其侧视图，该HMD可以被用户佩戴以生成沉浸式虚拟体验。示例HMD 100可以包括其中可以容纳光学组件的外壳110。外壳110可以耦合至框架120，例如可旋转耦合和/或可移除接合，这允许外壳110被安装或佩戴在用户的头上。音频输出设备130也可以耦合至框架120，并且例如可以包括安装在头戴式耳机之中且耦合在框架120上的扬声器。
如图1B所示，外壳110的前面110a旋转远离外壳110的基座部分110b或者以其它方式可旋转地接合至基座部分110b。例如，诸如智能电话或其它显示设备的显示器140可以被安装在外壳110的前面110a上。镜头150可以被安装在外壳110中，当前面110a处于相对外壳110的基座部分110b的接近位置时，处于用户的眼睛和显示器140之间。镜头150的位置可以由调节设备158进行调节，而使得镜头150可以与用户眼睛的相应光学轴线对齐从而提供相对宽的视场以及相对短的焦距。
HMD 100还可以包括感测***160和控制***170，上述感测***160包括各种感测***设备162-164，而上述控制***170包括各种控制***设备171-176，以便促进HMD 100的人工用户控制和自动控制。控制***170还可以包括处理器190，以便在人工和独立操作时而且还在响应于感测***160响应于由控制***170接收到的命令检测/感测到的条件进行操作时，对控制***170的组件的操作进行控制。
在一些实施例中，HMD 100还可以包括相机180，其可以捕捉现实世界环境的静态和移动图像，并且在透过模式中在显示器140上向用户显示这些图像。在透过模式中，用户能够离开虚拟事件并且临时返回现实世界而并不移除HMD 100或者以其它方式改变HMD100的配置，作为示例，诸如将外壳110移出用户的视线之外。在一些实施例中，显示器140可以是透明显示器，这允许用户在一些操作模式中通过显示器140看到现实世界环境。
图2示出了用于从虚拟/增强现实环境转变至外界环境的***200的框图。***200可以包括用户电子设备250——作为示例，诸如以上关于图1A-1C所描述的HMD——以生成虚拟现实环境，其与跟踪现实世界的物理空间中的用户位置的跟踪***240进行通信，而使得用户在现实世界空间中的物理移动可以被***200变换为虚拟现实世界中的移动。设备250可以包括感测***260和控制***270，它们可以分别类似于图1A-1C所示的感测***160和控制***170。在图2所示的示例实施例中，感测***260包括光传感器262、距离/接近度传感器263和音频传感器264，并且控制***270包括电源控制设备271、暂停控制设备272、人工音频控制设备273、人工视频控制设备274，用于控制外壳相对于框架的旋转的旋转控制设备275，用于调节设备250的光学组件的光学调节设备258，以及用于控制虚拟环境和外界环境之间的转变的转变控制设备。在一些实施例中，根据特定实施方式，感测***260和/或控制***270可以包括更多或更少的设备。感测***260和/或控制***270中所包括的元件例如在不同于图1A-1C所示的HMD 100的HMD内可以具有不同的物理部署形式(例如，不同的物理位置)。
在VR***中，用户可以在***被容纳于其中并进行操作的规定物理空间中进行物理移动。该***可以跟踪用户在物理空间或“现实”世界中的移动，并且使得虚拟世界与用户在现实世界中的移动协调地进行移动。因此，该位置跟踪可以跟踪用户在现实世界中的位置，并且将该移动变换至虚拟世界之中从而生成存在于虚拟世界中的提升的感官。
在一些实施例中，空间中的这种运动跟踪例如可以通过跟踪设备来完成，上述跟踪设备诸如是位于空间中并且与基站进行通信的相机，上述基站生成用户沉浸于其中的虚拟世界。该基站例如可以是独立计算设备，或者是在用户所佩戴的HMD中包括的计算设备。在图3A所示的示例实施方式中，跟踪设备310——作为示例，诸如相机310——位于物理的现实世界空间300中，并且被取向为利用其视场捕捉空间300的尽可能大的部分。例如由跟踪设备310的视场和范围所定义的该跟踪区域320由图3A所示的示例中示出的空间300的阴影部分来表示。在该示例中，跟踪设备310的跟踪区域320小于该***被接纳于其中的现实世界空间300。当沉浸于虚拟世界中的用户A通过现实世界空间300移动时，在用户A保持在跟踪设备310的视场或跟踪区域320之内的情况下，用户A在空间300中的位置可以被跟踪设备310所跟踪并且被变换为虚拟世界中的位置/移动。在该示例中，由于跟踪区域320小于现实世界空间300，所以用户A可能移出跟踪区域320之外而仍然处于空间300之中。如果用户A移出跟踪区域320，或者出于一些其它原因而无法被跟踪设备310所“看到”(例如，诸如被障碍物所遮挡)，则用户A在现实世界空间3200中的移动将不会被变换为虚拟世界中的相对应移动。相反，在跟踪丢失之后，在用户A在现实世界空间300中继续移动的同时，虚拟世界将保持静止或者看上去被卡住。
如图3A所示，沉浸于虚拟世界中的用户A例如可以连续地从位置1至位置5在现实世界空间300中移动。在位置1、2和3，用户A完全处于跟踪设备310的视场或跟踪区域320之内。在位置3，用户A处于跟踪区域320内，但是接近于现实世界空间300的边界，作为示例，诸如墙壁。在位置4，用户A恰好处于跟踪区域320内，非常接近于跟踪区域320的边界。在位置5，该用户已经越过了跟踪区域320的边界并且已经完全移出跟踪设备310的视场或跟踪区域320之外。
在图3A所示的位置1、2和3，由于用户A处于跟踪区域320之内，所以由跟踪设备310所跟踪的用户A在现实世界空间300中的移动可以被变换为虚拟世界中的相对应移动。在位置4，跟踪设备310仍然可以跟踪用户A在现实世界空间300中的移动并且将该跟踪的现实世界移动变换为虚拟世界中的移动。然而，由于用户接近于跟踪区域320的边缘或者跟踪设备310不再能够对用户A的移动进行跟踪的点，所以可以认为用户A在位置4即将超出预定阈值，在该预定阈值处跟踪丢失可能邻近，或迫近，如在位置5。也就是说，如上文所讨论的，如果用户A在跟踪设备310失去对用户A的跟踪之后继续在房间300中移动，则虚拟世界在用户A继续移动的同时会保持静止或看上去被卡住，这会导致错误定向、晕动症、对虚拟沉浸式体验不满意，等待。在虚拟世界中实际达到该静止或卡住的点之前，从虚拟世界至现实世界的流畅的或优雅的转变可以缓解错误定向、晕动症等的负面影响。
在图3B所示的示例中，用户A周围的理论区Z由在位置1至5中的每一个包围用户A的虚线所表示。虽然为了便于讨论和图示，图3B中所示的示例分区Z基本上是包围用户A的圆形，但是分区Z可以具有其它形状和/或相对于用户A跨不同区域进行延伸。例如，在用户以特定方向移动时，分区Z可以由主要在用户A的前方延伸的区域所定义。无论该分区Z的形状或轮廓如何，分区Z例如都可以表示与用户A在空间300中相对于跟踪设备310的跟踪区域320的位置相关联的警告阈值或边界。在位置1、2和3，用户A以及包围用户A的分区Z完全处于跟踪区域320内，并且用户A在空间300中的物理移动可以如以上所描述地被变换为虚拟世界中的相对应移动。在位置4，用户A处于跟踪区域320之内但是接近于跟踪区域320的边缘或边界，其中包围用户A的分区Z的一部分处于跟踪区域320之外。在位置5，用户A以及包围用户A的分区Z完全处于跟踪区域320之外。
如上文所提到的，在处于位置4的同时，跟踪设备310仍然可以跟踪用户A在空间300中的移动并且将跟踪到的物理移动变换为虚拟世界中的移动。然而，用户接近于跟踪区域320的边缘，并且分区Z的一部分的移动接近或超出跟踪区域320的边界，这可能在跟踪完全丢失且现实世界的物理移动不再能够被变换为虚拟世界中的移动之前触发从虚拟世界至现实世界的流畅的或优雅的转变。这可以避免可能与虚拟世界在用户A继续在现实世界中移动时更为突然的终止相关联的不适和错误定向。
在一些实施例中，跟踪设备310可能并非仅跟踪用户A在空间300中的物理位置和移动，而且还检测用户A何时处于可能即将失去跟踪的、跟踪区域320的边界或边缘的预定距离或阈值之内。如图3B中图示的示例所示，在用户实际移动至空间300中跟踪设备310无法跟踪的区域中以前，例如可以在分区Z接近于跟踪区域320的边界时认为即将发生跟踪设备310的这种失去跟踪。例如，在用户处于位置4时，即使用户在位置4处仍然在跟踪区域320之中，该***也可以发出警告或指示器，和/或可以自动发起离开虚拟世界的流畅的或优雅的转变，使得在用户到达位置5时，离开虚拟世界的转变将会完成，并且用户将会避免由于失去跟踪所导致的错误定向和/或不适。
在一些实施例中，在其发起转变过程的分区Z可以基于一种或多种不同因素进行设置，作为示例，诸如空间300的大小/尺寸、HMD 100所生成的虚拟沉浸式体验的类型、用户在空间300中的移动量和/或速度、跟踪设备310的位置、用户偏好，以及其它这样的因素。在图3B所示的示例实施方式中，如果空间300的尺寸例如为12英尺乘12英尺，具有图3B的空间300中的虚线部分所表示的跟踪区域320，并且在其发起转变过程的分区Z例如基于以上所描述的不同因素而被设置在用户周围的3英尺半径，则可以如图3C所示来实行渐进式转变离开虚拟世界。
如图3C所示，用户在位置3A完全处于跟踪区域320之内。在用户从位置3A移动直至位置3B时，用户接近于位置3B处的点，所建立的3英尺半径的分区边缘在该点处碰到跟踪区域320的边界。在HMD100和/或跟踪设备310或者该***的其它组件确定用户位于预先设定的阈值(在该特定示例中，如位置3B处的跟踪区域320的3英尺边界)之内时，***100可以发起离开虚拟世界的渐进式转变。在位置4，该用户已经移动至更接近于跟踪区域320的边界(例如，如图3C所图示的示例中所示，处于边界的1英尺之内)。在位置4，离开虚拟世界的转变可以至少部分完成，其中该转变过程在用户到达位置5并完全处于跟踪区域320之外时完全完成。
用于将用户从位置3A处的完全沉浸的虚拟现实状态转变至位置5处的现实世界状态的转变过程可以遵循各种不同的简档。转变简档例如可以与由HMD 100所生成的沉浸式虚拟体验的类型、用户在空间300中移动的速度和/或方向，预先设定的用户偏好以及其它这样的因素相一致。在图3C所示的示例实施方式中，简单地为了便于讨论和说明，如果假设线性转变简档，则该转变过程可以在用户距边界3英尺(该示例中的预设分区)时在位置3B处发起，并且可以在用户在位置4位于距边界1英尺处时完成2/3。在一些实施例中，指示器可以以信号表示该转变过程的发起。该指示器例如可以包括视觉指示器、听觉指示器、物理指示器，作为示例，诸如HMD 100所生成的蜂鸣声或振动，等等。
从虚拟世界到现实世界的该线性转变进程的该示例仅是可以如何完成虚拟世界和现实世界之间的转变的一个示例。在一些实施例中，虚拟世界和现实世界之间的转变例如可以遵循非线性简档、阶梯式简档，或者基于如以上所提到的各种不同因素的其它简档。在一些实施例中，该***可以自动调节转变简档，作为示例，诸如例如基于用户接近边界的速度变化、用户的方向变化以及其它这样的因素而选择不同的转变简档和/或调节该简档的加速度。
在一些实施例中，跟踪设备310可以检测用户与跟踪区域320的边界的接近度，或者检测用户处于跟踪区域320的边界的阈值距离之内。在一些实施例中，HMD 100可以包括检测用户与跟踪区域320的边界的接近度或者用户处于跟踪区域320的边界的阈值距离之内的传感器。例如，感测***160的传感器之一(例如，接近度传感器163)和/或HMD 100的相机180可以检测与边界的该接近度，并且控制***170/处理器180可以如以上所描述地发起转变。
在图3A-3C所示的示例实施方式汇总，跟踪区域320小于***在其中进行操作的空间300，这导致了空间300中的处于跟踪设备310的视场之外的区域，并且因此用户在那些区域中的移动无法被跟踪。在一些实施例中，例如基于空间300的尺寸、跟踪设备310的能力、跟踪设备310在空间300中的安装位置等，跟踪设备310的跟踪区域320可以等同于或大于与空间300自身的大小。
在图4所示的示例实施方式中，跟踪设备310能够基本上在其视场或跟踪区域320中捕捉整个现实世界空间300。在该示例中，对用户的跟踪并不会由于用户离开跟踪区域320而丢失，并且当用户顺序地从位置1移动至位置5时，跟踪设备310可以跟踪用户在空间300中的物理移动，并且该物理移动可以被变换为虚拟世界中的相对应移动。为了避免房间中例如可能对用户带来危险的障碍物，可以在用户接近障碍物时如以上所描述地执行离开虚拟世界的渐进式转变。在图4所示的示例中，用户在位置4处于接近空间300的墙壁的预定阈值或分区之内。因此，在位置4，该***可以发起离开虚拟世界体验的渐进式转变，而使得在用户到达位置5时，该离开虚拟世界的转变完成并且用户可以避免撞到墙壁。类似方法可以被应用于其它检测以及避免存在于空间300中的其它障碍物，作为示例，诸如桌子、椅子、楼梯等。在一些实施例中，该***可能事先获知并存储空间300的配置，作为示例，诸如尺寸以及房间中的任何家具等。在一些实施例中，该***可以在发起VR体验之前扫描并存储空间300的配置。
例如，在一些实施例中，跟踪设备310可以被配置为扫描并收集空间300的图像，以基本上绘制或构造空间300的图像。该扫描例如可以在会话发起时完成，或者可以定期或基本上持续地进行更新。在图5A所示的示例实施方式中，跟踪设备310在用户从位置1移动至位置2时对空间300中的用户进行跟踪。在跟踪设备310被配置为间歇式地扫描并重新绘制空间300的实施方式中，除了跟踪用户之外，跟踪设备310例如可以检测空间300中可能对用户形成障碍物的其它物体，或者可以检测空间300中的变化，作为示例，诸如门315从图5A所示的关闭位置移动至图5B所示的打开位置。由于图5B中所示的打开的门315可能对用户造成障碍物或危险，所以该***可以生成警告指示器，和/或可以在检测到障碍物时发起转变过程，而使得该障碍物能够被用户看到和/或用户获知该障碍物。
如以上所提到的，在一些实施例中，该***可以在检测到已经存在于房间中的障碍物——即静止障碍物——时生成警告指示器和/或发起转变过程，作为示例，上述障碍物诸如家具等。该警告指示器例如可以包括视觉指示器和/或听觉指示器和/或物理指示器，作为示例，诸如HMD 100的蜂鸣声或振动。该***还可以在检测到跟踪设备310扫描并更新空间300的配置时所检测到的新障碍物时，作为示例，诸如图5B所示的门315的打开，生成警告指示器和/或发起转变过程。在一些实施例中，该***还可以在例如其中另一个人接近用户的情况下生成警告指示器和/或发起转变过程。在多个玩家或用户处于虚拟现实沉浸式体验中所采用的相同空间300中的情况下，在用户需要注意到另一个人的情况下，以及其它这样的情形中，这可以被实施以避免多个玩家之间的碰撞。如以上所提到的，警告指示器和/或转变过程被发起并执行的速率可以基于多种不同的因素，例如包括虚拟现实沉浸式体验的属性、空间300中用户的速度和/或方向，等等。
在一些实施例中，虚拟世界和现实世界之间的转变例如可以在用户接近跟踪区域320的边界时，或者在用户的路径中检测到障碍物时，在加入VR体验的另一个用户处于用户路径中时，在用户需要注意到另一个人时，以及如以上详细讨论的其它这样的情形下被发起。在一些实施例中，当从虚拟世界转变至现实世界时，该转变可以包括HMD 100的显示器140上所显示的图像的渐进式衰减。该渐进式衰减可以包括从与虚拟世界相关联的图像渐进式衰减为例如单色显示，作为示例，诸如全白屏幕或全黑屏幕等。在一些实施例中，该转变可以包括显示器140上的现实世界环境的透过图像的显示，器例如由HMD 100上的相机180所捕捉。在一些实施例中，这些透过图像例如可以被叠加在其140上所显示的虚拟现实图像上或者在其上形成重影。在一些实施例中，HMD 100的显示器140可以是透明显示器，这允许在虚拟图像不再被显示之后能够通过显示器140看到现实世界环境。
在一些实施例中，HMD 100的显示器140上所显示的虚拟图像的淡出，以及例如单色显示或者由相机180捕捉并被送至显示器140的现实世界的图像的淡入，或者透明显示器所承担的世界的可见性，可以以对称的方式来实施，而使得随着在虚拟世界的图像衰减，虚拟图像以相对应的速率被现实世界的图像所替代。在一些实施例中，虚拟图像的淡出以及例如单色显示或者由相机180捕捉并被送至显示器140的现实世界的图像的淡入，或者透明显示器所承担的世界的可见性可以以非对称的方式来实施。
在一些实施例中，执行转变的速率可以例如基于HMD 100所生成的虚拟沉浸式体验的类型，用户的速度和/或方向，其它用户的速度、方向和/或接近度，虚拟世界和现实世界之间的环境差异(作为示例，诸如亮度水平差异、声音水平差异)，用户偏好等而被动态调节。
在一些实施例中，转变可以包括虚拟世界的移动或动作序列的暂停，或者进行衰减之前的颜色变化(例如，从全色到黑白)，以便用作要发生转变的指示器。
在一些实施例中，转变可以包括声音内容的衰减。例如，当从虚拟世界转变至现实世界时，与虚拟世界相关联的音频内容可以淡出，伴随着周围声音的淡入。在一些实施例中，虚拟音频内容的淡出和周围声音的淡入可以伴随着虚拟图像的淡出和现实世界图像的淡入。在一些实施例中，虚拟音频内容的淡出和周围声音的淡入可以串行完成，而使得周围声音并不被叠加在虚拟音频内容上或者并不与虚拟音频内容在相同时间输出。
在一些实施例中，该***可以被配置为模仿与虚拟世界相关联的其它环境因素，作为示例，诸如温度、气味等。当被如此配置时，该***还可以以类似方式将这些环境因素从虚拟世界逐渐转变为周围环境中的那些环境因素。
在一些实施例中，该***可以被配置为检测用户何时重新进入跟踪区域320，或者已经移动远离障碍物，或者相同空间300中的两个用户不再处于碰撞路径上，并且可以以类似于以上关于从虚拟世界转变至现实世界的过程的方式执行从现实世界返回虚拟世界的转变。也就是说，在一些实施例中，从现实世界返回虚拟世界的转变可以包括对称或非对称方式的显示器上所显示的现实世界图像的淡出以及虚拟世界图像的淡入。在一些实施方式中，从现实世界返回虚拟世界的转变可以包括随着现实世界图像淡出并且被虚拟世界图像所替代，将虚拟世界图像以重影形成于现实世界图像上。在一些实施例中，从现实世界返回虚拟世界的转变可以包括发起该转变之前的指示器，作为示例，诸如视觉指示器和/或听觉指示器和/或物理指示器。在一些实施例中，该返回虚拟世界的转变可以允许用户继续在发起从虚拟世界至现实世界的转变时在虚拟世界中的活动，从而避免内容和功能的丢失。
如以上所提到的，在一些实施例中，响应于另一个人或外部方接近于用户或者以其它方式尝试获得沉浸于HMD 100所生成的虚拟体验之中的用户的注意而发起该转变过程。例如，HMD 100可以将外部方所实施的手势识别为获得用户注意的请求。这种手势例如可以是挥手或者由相机180所捕捉并且被HMD 100识别为获得用户注意的请求的其它这样的手势。在一些实施例中，HMD 100可以将外部方的接近识别为获得用户注意的请求，作为示例，上述外部方诸如是并未参与虚拟沉浸式体验的另一个人。在一些实施例中，HMD 100可以将特定关键词或声音识别为获得用户注意的请求。HMD 100可以响应于识别出获得用户注意的请求而发起该转变过程。
在一些实施例中，当响应于来自另一个人或外部方获得用户注意的请求而发起转变过程时，HMD 100可以生成外部指示器以向外部方确认该转变正在进行或者已经完成，并且用户脱离虚拟世界并且能够与在现实世界中该外部方进行交互。在一些实施例中，针对外部方的该外部指示器可以由HMD 100所生成，并且例如可以是视觉指示器、听觉指示器、诸如HMD 100的移动的物理指示器，以及这些类型的指示器的各种组合。
在一些实施例中，该外部指示器例如可以包括HMD 100中可以被外部方看到的一些部分的物理外观变化。该外观的物理变化例如可以包括HMD 100上的指示灯点亮，作为示例，诸如控制***170的控制***设备171-176中的一个或多个的点亮，或者在HMD 100上提供的一个或多个指示灯181(参见图1A)的点亮。在一些实施例中，该物理变化例如可以包括HMD 100的某些部分的外观变化。HMD 100的该外观变化例如可以包括HMD 100的外壳110和/或框架120的某些部分的颜色变化，上述颜色变化例如由在HMD 100之中和/或之上所提供的一个或多个光源来实现，诸如能够改变点亮颜色、闪烁等的一系列发光二极管的点亮。
在一些实施例中，HMD 100的外壳110和/或框架120的部分可以由能够在不透明状态和透明状态之间转变的材料制成，作为示例，诸如聚合物分散液晶(PDLC)材料。当被关机时，这种材料可以是不透明的。当被光激励时，分散在该材料中中的液晶微滴可以透过该材料传输，使得该材料从不透明状态转变为如图6A所示的清晰或透明状态。HMD 100的外壳110和/或框架120中由这种材料所制成的部分可以影响能够作为用户脱离虚拟世界并且能够在现实世界中进行交互的指示器而被外部方所看到的HMD 100的物理外观的变化。
在一些实施例中，能够被外部方所看到的HMD 100的物理外观的变化例如可以包括如图6B所示的显示器140的外部可见侧的外观变化。例如，在一些实施例中，显示器140可以是以可移除方式耦合在外壳110中的智能电话，或者是包括能够由用户从设备朝向内部的侧面所看到的显示表面以及能够由外部方从设备朝向外部的侧面所看到的显示表面的其它电子设备。在这种类型的部署中，图像可以显示在该设备朝向外部的侧面上，其能够作为用户脱离虚拟世界并且能够在现实世界中进行交互的指示器而被外部方看到。向外部方显示的图像例如可以包括设备的外部表面的简单颜色变化，字符和/或图标形式的消息，用于模仿用户将注视目光返回至外部方的眼睛集合的图像，等等。
在一些实施例中，响应于来自外部方的获得用户注意的请求的转变还可以包括向用户显示透过图像。这些透过图像可以被相机180捕捉并且显示在HMD 100的显示器140上，如图7所示。
在一些实施例中，显示器140可以是透明显示器。在这种情况下，响应于来自外部方的获得用户注意的请求，控制***170可以发起虚拟世界的转变，并且使得显示器140在虚拟世界图像衰减或者以其它方式不再被显示时转变为透明状态，如图8所示。在透明状态，用户可以直接通过显示器140看到外部方，并且例如如图6A所示，用户的眼睛可以被外部方通过该透明显示器而看到，这指示用户从虚拟世界脱离并且能够在现实世界中进行交互。
在一些实施例中，响应于来自外部方的获得用户注意的请求，控制***180可以激活转变控制模块176以发起离开虚拟世界的转变。转变控制模块176的激活可以使得外壳110(以及容纳于其中的光学组件)关于框架120从向下/关闭位置旋转至打开位置，如图9所示，而使得外壳110和光学组件处于用户的视线之外，从而用户具有现实世界的无遮挡视野，并且用户的眼睛能够被外部方看到。
如以上所提到的，从虚拟世界至现实世界或者从现实世界到虚拟世界的转变可以例如基于沉浸式虚拟体验的类型、用户的方向和/或速度、用户偏好以及其它这样的因素而遵循特定简档。该转变还可以考虑环境因素，作为示例，诸如与HMD 100所生成的虚拟沉浸式体验中的亮度水平和声音水平相比较的现实世界空间300中的亮度水平和声音水平。例如，在一些实施例中，空间300中的亮度水平可以被感测***160中的光传感器162感测，或者由相机180中所包括的光传感器感测，并且空间300中的声音水平则可以由感测***160的音频传感器164感测，或者由相机180中所包括的麦克风感测。当要发起转变时，由感测***感测的现实世界空间300中的亮度水平和声音水平可以由处理器190与虚拟世界中的亮度水平和声音水平进行比较，并且可以考虑虚拟世界和现实世界中的这些环境因素之间的差异程度来选择/建立转变过程，例如转变简档。
图10是依据本文宽泛描述的实施例的用于发起虚拟环境和周围环境之间的转变的过程的流程图。如图10所示，在框1010，用户可以激活包括HMD 100的***以允许HMD 100生成虚拟沉浸式体验，并且允许跟踪设备310在空间300中跟踪用户，如上文所详细描述的。如果在***操作的某个时点接收到转变命令，如在框1020，则可以在框1050发起转变过程。如上文所详细描述的，该转变命令例如可以是由用户例如经由HMD 100的控制***170输入的直接请求，或者是由HMD 100识别的其它用户手势或关键词。在一些实施例中，该转变命令可以是由HMD 100识别的来自外部方的手势或关键词，或者其它这样的输入。在一些实施例中，该转变命令例如可以是对用户路径中的障碍物的检测，如上文所详细描述的，其触发离开虚拟世界的转变。
在没有从虚拟世界进行转变的具体命令的情况下，如上所述，HMD 100和/或跟踪设备310可以在框1030确定用户在跟踪区域320中的当前位置。如果在框1040确定用户处于跟踪区域320的边界的设定阈值或范围之内，则可以在框1050发起转变过程，跟踪设备310所进行的跟踪在上述阈值或范围处可能即将丢失。图11中更为详细地示出了该转变过程。
如图11所示，用户与跟踪区域320的边界之间的当前距离可以被检测，并且可以在框1051与之前所检测的用户和边界之间的距离进行比较。基于该比较，用户移动的方向和/或速度和/或加速度可以在框1052被确定，从而在框1053确认用户正在接近该边界。如果在框1053确认用户正在接近/靠近该边界(以及将要进入跟踪设备310可能无法继续跟踪用户在空间300中的物理移动的区域)，则可以在框1054基于各种因素来实施转变简档，作为示例，上述因素诸如虚拟环境、在其中实施虚拟环境的现实世界空间300、与用户移动相关联的方向和/或速度和/或加速度，以及其它这样的因素。
如果在框1055确定该转变简档包括视频参数，则在框1056，在HMD 100的显示器140上显示的与虚拟世界相关联的虚拟图像可以被依据该简档在显示器140上显示的转变图像替代。如上文所讨论的，利用转变图像替代虚拟图像例如可以包括伴随着转变图像的淡入的虚拟图像的对称或非对称的淡出。例如，如以上详细讨论的，转变图像可以包括单色显示、文本和/或字符和/或图标的显示、叠加在虚拟图像上的现实世界的重影图像、透过图像，等等。该转变还可以包括透明显示器140转变至透明状态而使得用户能够通过该透明显示器看到现实世界，或者HMD 100的一部分移动至用户视场之外而使得用户能够直接看到现实世界。
如果在框1057确定转变简档包括音频参数，则在框1058，与虚拟世界相关联并且经由HMD 100的音频输出设备130向用户输出的虚拟音频输出可以被依据该简档的转变音频输出替代。如上文所讨论的，利用转变音频输出替代虚拟视频输出例如可以包括虚拟音频的串行淡出，后跟有转变音频输出的淡入。转变音频输出例如可以包括在现实世界空间300中所生成的实际声音、预设音调、无声音，等等。
如上文所提到的，虚拟世界和现实世界中的环境因素可以在该转变过程中被考虑，从而便于在虚拟世界和现实世界之间进行转变，以提升转变期间的用户舒适度。一旦所实施的转变简档中包括的不同因素/参数中的每一个都已经被转变，则该转变过程可以在框1059完成。
如上文所提到的，在该转变过程已经完成之后，HMD 100和/或跟踪设备310还可以检测用户何时重新进入跟踪区域310，并且可以从现实世界转变回到虚拟世界之中。在一些实施例中，这种从现实世界回到虚拟世界的转变可以允许用户重新进入在发起离开虚拟世界的转变的时点的虚拟世界，这允许用户基本上在他/她离开的地方重新开始。
在依据如本文宽泛描述的实施例的***和方法中，虚拟世界和现实世界之间的变换可以基于用户在空间的跟踪区域中的位置而自动执行，跟踪设备可以在上述跟踪区域中跟踪用户在该空间中的物理移动并且将该物理移动变换为虚拟世界中的相对应移动。在失去对用户的物理移动的跟踪之前自动发起该转变可以避免与失去跟踪相关联的错误定向和不适以及虚拟世界中相对应的移动丢失。
本文所描述的各种技术的实施方式可以数字电子电路来实施，或者以计算机硬件、固件、软件或它们的组合来实施。实施方式可以被实施为计算机程序产品，即以有形方式体现于信息载体中的计算机程序，例如被体现于机器可读存储设备(计算机可读介质)中用于由数据处理装置处理或者控制器操作，上述数据处理装置例如可编程处理器、计算机或多个计算机。因此，计算机可读存储介质可以被配置为存储指令，该指令在被执行时使得处理器(例如，主机设备处的处理器，客户端设备处的处理器)实行过程。
诸如上文所描述的计算机程序的计算机程序能够以任意形式的编程语言来编写，包括编译或解释语言，并且其可以以任意形式被部署，包括作为独立程序或者作为适于在计算环境中使用的模块、组件、子程序或其它单元。计算机程序能够被部署为在一个计算机或者位于一个地点或跨多个地点分布并且通过通信网络进行互连的多个计算机上被处理。
方法步骤可以由一个或多个可编程处理器来执行，所述可编程处理器通过对输入数据进行操作并生成输出而执行一个或多个计算机程序从而实行功能。方法步骤也可以由专用逻辑电路来执行并且装置可以被实施为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任意类型的数字计算机的任意一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或其二者接收指令和数据。计算机的元件可以包括至少一个用于执行指令的处理器以及一个或多个用于存储指令和数据的存储器设备。通常，计算机还可以包括一个或多个用于存储数据的大型存储设备，或者***作耦合以往来于该一个或多个大型存储设备接收或发送数据，上述大型存储设备例如磁盘、磁光盘或光盘。适于体现计算机程序指令和数据的信息载体包括所有形式的非易失性存储器，作为示例，包括例如EPROM、EEPROM和闪存的半导体存储器；例如内部硬盘或可移除盘的磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以被补充以专用逻辑电路，或者被集成在专用逻辑电路之中。
为了提供与用户的交互，实施方式可以在具有用于向用户显示信息的显示设备以及用户能够通过其向计算机提供输入的键盘和例如鼠标或轨迹球之类的指示设备的计算机上实现，显示设备例如是CRT(阴极射线管)或LCD(液晶显示器)监视器。也可以使用其它类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任意类型的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以以任意形式来接收，包括声音、语音或触觉输入。
实施方式可以在计算***中实施，计算***包括例如作为数据服务器的后端组件，或者包括例如应用服务器的中间件组件，或者包括例如客户端计算机的前端组件，客户端计算机具有用户能够通过其与实施方式进行交互的图形用户界面或Web浏览器，或者计算***包括这样的后端、中间件或前端组件的任意组合。组件可通过例如通信网络的任意形式或介质的数字数据通信进行互连。通信网络的示例包括局域网(LAN)和广域网(WAN)，例如互联网。
贯穿该说明书对于“一个实施例”或“实施例”的引用意味着结合该实施例所描述的特定特征、结构或特性包括在至少一种实施例中。因此，贯穿本说明书各处出现的短语“在一个实施例中”或“在实施例中”并非必然全部指代相同的实施例。此外，术语“或”意在表示包含性“或”而非排他性“或”。
虽然已经如本文所描述地对描述的实施方式的某些特征进行了说明，但是本领域技术人员限制将会意识到许多的修改、替代、改变和等同形式。因此，所要理解的是，所附权利要求意在覆盖落入实施方式范围之内的所有这样的修改和变化。应当理解的是，它们仅是作为示例而非限制被给出，并且可以进行形式和细节的各种变化。本文所描述的装置和/或方法的任意部分可以以任意组合形式进行组合，除非是互相排斥的组合形式。本文所描述的实施方式可以包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。
虽然已经如本文所描述地对描述的实施方式的某些特征进行了说明，但是本领域技术人员限制将会意识到许多的修改、替代、改变和等同形式。因此，所要理解的是，所附权利要求意在覆盖落入实施方式范围之内的所有这样的修改和变化。应当理解的是，它们仅是作为示例而非限制被给出，并且可以进行形式和细节的各种变化。本文所描述的装置和/或方法的任意部分可以以任意组合形式进行组合，除非是互相排斥的组合形式。本文所描述的实施方式可以包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。

Claims (20)

1.一种操作被配置为生成虚拟沉浸式体验的视听***的方法，所述方法包括：
激活跟踪设备并且跟踪用户电子设备在现实世界空间中的位置；
检测转变条件；以及
响应于所述转变条件，执行转变过程，以转变离开所述用户电子设备生成的虚拟世界。
2.根据权利要求1所述的方法，其中检测转变条件包括：
比较所述用户电子设备和所述现实世界空间内由所述跟踪设备跟踪的跟踪区域的至少一个边界之间的距离；以及
当所述用户电子设备和所述跟踪区域的所述至少一个边界之间的距离小于或等于预先设定的阈值距离时，生成转变命令以发起所述转变过程。
3.根据权利要求2所述的方法，其中比较所述用户电子设备和所述现实世界空间内由所述跟踪设备跟踪的跟踪区域的至少一个边界之间的距离还包括：
将所述跟踪设备检测的所述用户电子设备的当前位置与所述跟踪设备检测的所述用户电子设备的至少一个先前位置进行比较；以及
基于所述当前位置与所述至少一个先前位置的比较，确定所述用户电子设备在所述现实世界空间中的移动的方向、速度或加速度中的至少一个。
4.根据权利要求3所述的方法，其中执行转变过程以转变离开所述用户电子设备生成的虚拟世界包括：
基于所确定的所述用户电子设备的移动的方向、速度或加速度中的至少一个、所述用户电子设备生成的虚拟世界的环境参数、或者预先设定的用户偏好，来选择转变简档。
5.根据权利要求2所述的方法，其中执行转变过程包括：
响应于所述转变命令发起所述转变过程，并且执行所述转变过程而使得转变离开所述虚拟世界是在所述用户电子设备到达所述跟踪区域的所述至少一个边界时或在此之前完成。
6.根据权利要求5所述的方法，其中执行转变过程还包括：
检测所述用户电子设备已经越过所述至少一个边界并且处于所述跟踪设备的跟踪区域之外；
检测所述用户电子设备已经从所述跟踪区域之外移动并越过所述跟踪区域的所述至少一个边界并且已经再次进入所述跟踪区域；以及
当所述跟踪设备检测到所述用户电子设备已经再次进入所述跟踪区域时，转变回到所述虚拟世界之中。
7.根据权利要求1所述的方法，其中执行转变过程包括以下至少一种：
淡出所述用户电子设备的显示器上显示的所述虚拟世界的虚拟图像输出，并且淡入所述用户电子设备的显示器上显示的转变图像输出；或者
淡出由所述用户电子设备输出的所述虚拟世界的音频输出，并且淡入由所述用户电子设备输出的转变音频输出。
8.根据权利要求7所述的方法，其中淡出虚拟图像输出和淡入转变图像输出包括：利用单色显示替代所述显示器上显示的所述虚拟世界的虚拟视频输出。
9.根据权利要求7所述的方法，其中淡出虚拟图像输出和淡入转变图像输出包括：利用所述用户电子设备的成像设备捕捉的所述现实世界的透过图像替代所述显示器上显示的所述虚拟世界的虚拟视频输出。
10.根据权利要求7所述的方法，其中淡出虚拟图像输出和淡入转变图像输出包括：
将所述显示器从非透明状态转变为透明状态，同时淡出所述显示器上显示的所述虚拟图像输出，使得在所述虚拟图像输出的淡出完成时能够通过所述显示器看到所述现实世界图像。
11.根据权利要求1所述的方法，其中检测转变条件包括：
检测在所述现实世界空间内所述用户电子设备在所述跟踪设备的跟踪区域内的移动路径中的障碍物；
比较所述用户电子设备和所检测的障碍物之间的距离；以及
当所述用户电子设备和所检测的障碍物之间的距离小于或等于预先设定的阈值距离时，生成转变命令以发起所述转变过程。
12.根据权利要求11所述的方法，其中检测在所述现实世界空间内所述用户电子设备在所述跟踪设备的跟踪区域内的移动路径中的障碍物包括：
间歇性地扫描所述跟踪区域并且捕捉所述跟踪区域的图像；
将所述跟踪区域的当前图像与所述跟踪区域所捕捉的至少一个先前图像进行比较；以及
基于在将所述跟踪区域的所述当前图像与所述跟踪区域的所述至少一个先前图像进行比较时检测到的至少一种变化，检测所述用户电子设备的移动路径中的障碍物。
13.根据权利要求1所述的方法，其中检测转变条件包括：
检测外部输入；
将所检测的外部输入识别为外部生成的转变命令；以及
执行所述转变过程。
14.根据权利要求13所述的方法，其中检测外部输入包括：检测外部方所作出的预先设定的手势，检测所述外部方所生成的预先设定的语音命令，或者检测所述外部方的接近或所述外部方的眼睛注视中的至少一种，并且其中执行所述转变过程包括：生成向所述外部方指示所述转变过程完成的视觉、听觉或物理指示器的至少一个。
15.一种操作被配置为生成虚拟沉浸式体验的视听***的方法，所述方法包括：
激活跟踪设备，所述跟踪设备具有限定的跟踪区域并且跟踪用户电子设备在现实世界空间中的移动；
将所述用户电子设备在所述现实世界空间中的现实世界移动变换为由所述用户电子设备生成的虚拟世界中的虚拟移动；
确定所述用户电子设备的当前位置何时处于***边界的阈值之内；以及
在所述用户电子设备的所述当前位置处于所述***边界的所述阈值之内时执行转变过程。
16.根据权利要求15所述的方法，其中所述现实世界空间的区域大于所述跟踪设备的所述跟踪区域，并且所述***边界对应于所述跟踪设备的所述跟踪区域的边界，其中确定所述用户电子设备的当前位置何时处于***边界的阈值之内包括：
比较在所述现实世界空间中所述用户电子设备和所述跟踪设备的所述跟踪区域的边界之间的距离；以及
当所述用户电子设备和所述跟踪区域的边界之间的距离小于或等于预先设定的阈值距离时，生成转变命令以发起所述转变过程。
17.根据权利要求16所述的方法，其中执行转变过程包括：
响应于所述转变命令发起所述转变过程；
应用转变简档，并且基于所述转变简档中包括的转变参数来转变离开由所述用户电子设备生成的所述虚拟世界；以及
在所述用户电子设备到达所述边界时或在此之前完成所述转变过程。
18.根据权利要求17所述的方法，其中应用转变简档并且基于所述转变简档中包括的转变参数来转变离开由所述用户电子设备生成的所述虚拟世界包括以下至少一个：
基于所述转变简档中包括的所述转变参数，利用所述显示器上显示的转变图像输出替代在所述虚拟世界中所述用户电子设备的显示器上显示的虚拟图像输出，所述转变图像输出包括单色显示或者由所述用户电子设备的相机所捕捉的透过现实世界图像中的至少一个；或者
利用转变音频输出替代所述虚拟世界中由所述用户电子设备生成的虚拟音频输出，所述转变音频输出包括预先设定的信号或音调、或者由所述用户电子设备的麦克风捕捉的透过的现实世界声音中的至少一个。
19.根据权利要求17所述的方法，其中执行转变过程包括：
检测所述用户电子设备已经从所述跟踪区域外部越过所述边界并且已经再次进入所述跟踪区域；以及
转变回到所述虚拟世界之中，并且继续在由所述用户电子设备生成的所述虚拟世界中的交互。
20.一种视听***，包括：
生成虚拟世界体验的用户电子设备，所述用户电子设备能够在现实世界空间中移动；
与所述用户电子设备进行通信的跟踪设备，所述跟踪设备跟踪所述用户电子设备在所述现实世界空间中的位置以及所述用户电子设备在所述现实世界空间中的现实世界移动；以及
处理器，所述处理器被配置为：
将检测到的所述用户电子设备的现实世界移动变换为由所述用户电子设备生成的所述虚拟世界中的虚拟移动；
当所述跟踪设备与所述跟踪区域的边界之间的距离小于或等于预设阈值距离时，自动执行转变离开所述用户电子设备生成的所述虚拟世界，使得转变离开所述虚拟世界在所述用户电子设备到达所述边界时或在此之前完成；以及
当所述跟踪设备检测到所述用户电子设备已经越过所述边界并且再次进入所述跟踪区域时，执行所述用户电子设备返回所述虚拟世界的转变。
CN201680018870.9A 2015-04-27 2016-03-21 虚拟/增强现实转变***和方法 Pending CN107430439A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/696,716 US9690374B2 (en) 2015-04-27 2015-04-27 Virtual/augmented reality transition system and method
US14/696,716 2015-04-27
PCT/US2016/023414 WO2016175937A1 (en) 2015-04-27 2016-03-21 Virtual/augmented reality transition system and method

Publications (1)

Publication Number Publication Date
CN107430439A true CN107430439A (zh) 2017-12-01

Family

ID=55637500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680018870.9A Pending CN107430439A (zh) 2015-04-27 2016-03-21 虚拟/增强现实转变***和方法

Country Status (4)

Country Link
US (2) US9690374B2 (zh)
EP (1) EP3289400A1 (zh)
CN (1) CN107430439A (zh)
WO (1) WO2016175937A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427501A (zh) * 2018-03-19 2018-08-21 网易（杭州）网络有限公司 虚拟现实中移动控制方法和装置
CN108628442A (zh) * 2018-03-22 2018-10-09 北京奇艺世纪科技有限公司 一种信息提示方法、装置以及电子设备
CN109862339A (zh) * 2019-02-19 2019-06-07 浙江舜宇光学有限公司 增强现实的再现方法、装置、***、存储介质和处理器
CN110716639A (zh) * 2018-07-12 2020-01-21 苹果公司 具有基于眼睛活动的显示器操作的电子设备
CN111488056A (zh) * 2019-01-25 2020-08-04 苹果公司 使用被跟踪的物理对象来操纵虚拟对象
CN112074800A (zh) * 2018-05-08 2020-12-11 苹果公司 用于在沉浸水平之间切换的技术
CN113260969A (zh) * 2018-10-31 2021-08-13 脸谱科技有限责任公司 用于修改虚拟现实***的安全边界的***和方法
TWI788601B (zh) * 2019-08-20 2023-01-01 日商日本煙草產業股份有限公司 通訊支援方法、程式及通訊伺服器

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2534580B (en) * 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing
JP2016208348A (ja) * 2015-04-24 2016-12-08 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US9690374B2 (en) 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
KR101700767B1 (ko) * 2015-06-02 2017-01-31 엘지전자 주식회사 헤드 마운티드 디스플레이
US10464482B2 (en) * 2015-07-21 2019-11-05 Utherverse Digital Inc. Immersive displays
US10666760B2 (en) * 2015-08-31 2020-05-26 Ebay Inc. Passive social media contact engagement
US11188988B2 (en) 2015-08-31 2021-11-30 Ebay Inc. Image generation for social media contact engagement
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
US10474411B2 (en) * 2015-10-29 2019-11-12 Samsung Electronics Co., Ltd. System and method for alerting VR headset user to real-world objects
DE102015226580A1 (de) * 2015-12-22 2017-06-22 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
DE102016001313A1 (de) * 2016-02-05 2017-08-10 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
JP6074525B1 (ja) * 2016-02-12 2017-02-01 株式会社コロプラ 仮想空間における視界領域調整方法、およびプログラム
KR20180002255A (ko) * 2016-06-29 2018-01-08 엘지전자 주식회사 글래스 타입의 이동 단말기
EP3264259A1 (en) 2016-06-30 2018-01-03 Nokia Technologies Oy Audio volume handling
US10617956B2 (en) * 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
US11826651B2 (en) * 2016-09-30 2023-11-28 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
US9980078B2 (en) 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering
US10234688B2 (en) * 2016-10-25 2019-03-19 Motorola Mobility Llc Mobile electronic device compatible immersive headwear for providing both augmented reality and virtual reality experiences
WO2018096599A1 (en) * 2016-11-22 2018-05-31 Sony Mobile Communications Inc. Environment-aware monitoring systems, methods, and computer program products for immersive environments
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US10459236B2 (en) * 2016-12-09 2019-10-29 Lg Electronics Inc. Head-mounted display device with earbud holder
CN106843475A (zh) * 2017-01-03 2017-06-13 京东方科技集团股份有限公司 一种实现虚拟现实交互的方法及***
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
US11074036B2 (en) * 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
US10416837B2 (en) * 2017-06-26 2019-09-17 Facebook, Inc. Virtual reality safety bounding box
US10748340B1 (en) 2017-07-31 2020-08-18 Apple Inc. Electronic device with coordinated camera and display operation
US10459234B2 (en) 2017-08-29 2019-10-29 Facebook, Inc. Controlling a head-mounted display system in low power situations
US10338766B2 (en) 2017-09-06 2019-07-02 Realwear, Incorporated Audible and visual operational modes for a head-mounted display device
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
US10134084B1 (en) 2017-11-17 2018-11-20 Capital One Services, Llc Augmented reality systems for facilitating a purchasing process at a merchant location
CN107992215A (zh) * 2017-11-28 2018-05-04 苏州三星电子电脑有限公司 移动设备、固定设备以及移动设备与固定设备的交互方法
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
US10275919B1 (en) * 2018-02-06 2019-04-30 International Business Machines Corporation Preventing transition shocks during transitions between realities
US10726765B2 (en) * 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
JP2019149122A (ja) * 2018-02-28 2019-09-05 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
US10540824B1 (en) 2018-07-09 2020-01-21 Microsoft Technology Licensing, Llc 3-D transitions
US10891922B1 (en) 2018-07-17 2021-01-12 Apple Inc. Attention diversion control
WO2020051490A1 (en) * 2018-09-07 2020-03-12 Ocelot Laboratories Llc Inserting imagery from a real environment into a virtual environment
US11899214B1 (en) 2018-09-18 2024-02-13 Apple Inc. Head-mounted device with virtually shifted component locations using a double-folded light path
KR102242703B1 (ko) * 2018-10-24 2021-04-21 주식회사 알파서클 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법
CN109709989A (zh) * 2019-01-09 2019-05-03 中德（珠海）人工智能研究院有限公司 一种定位***、定位方法及增强现实***
US11210772B2 (en) 2019-01-11 2021-12-28 Universal City Studios Llc Wearable visualization device systems and methods
DE112020000642T5 (de) * 2019-01-22 2021-11-25 Sony Group Corporation Informationsverarbeitungsgerät und -verfahren
US20200279318A1 (en) * 2019-03-01 2020-09-03 Forkbeard Technologies AS Automated Product Localization Through Mobile Data Analysis
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
US11998287B1 (en) 2019-03-18 2024-06-04 Dopl Technologies Inc. Platform for facilitating remote robotic medical procedures
US10937218B2 (en) * 2019-07-01 2021-03-02 Microsoft Technology Licensing, Llc Live cube preview animation
US11132052B2 (en) * 2019-07-19 2021-09-28 Disney Enterprises, Inc. System for generating cues in an augmented reality environment
US11340756B2 (en) 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US12033240B2 (en) 2019-09-27 2024-07-09 Apple Inc. Method and device for resolving focal conflict
US10757528B1 (en) * 2019-10-11 2020-08-25 Verizon Patent And Licensing Inc. Methods and systems for simulating spatially-varying acoustics of an extended reality world
US11602691B2 (en) * 2020-03-13 2023-03-14 Harmonix Music Systems, Inc. Techniques for virtual reality boundaries and related systems and methods
US11126850B1 (en) 2020-04-09 2021-09-21 Facebook Technologies, Llc Systems and methods for detecting objects within the boundary of a defined space while in artificial reality
US11307651B2 (en) * 2020-06-30 2022-04-19 At&T Intellectual Property I, L.P. Immersion control system for extended reality systems
US11269667B2 (en) * 2020-07-16 2022-03-08 Lenovo (Singapore) Pte. Ltd. Techniques to switch between different types of virtual assistance based on threshold being met
US11893206B2 (en) * 2020-09-02 2024-02-06 Autodesk, Inc. Transitions between states in a hybrid virtual reality desktop computing environment
US11302085B2 (en) 2020-09-15 2022-04-12 Facebook Technologies, Llc Artificial reality collaborative working environments
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11507246B2 (en) * 2020-10-07 2022-11-22 Htc Corporation Method for dynamically showing virtual boundary, electronic device and computer readable storage medium thereof
US11405484B2 (en) 2020-11-30 2022-08-02 At&T Intellectual Property I, L.P. Variable-intensity immersion for extended reality media
US11854230B2 (en) 2020-12-01 2023-12-26 Meta Platforms Technologies, Llc Physical keyboard tracking
US11232644B1 (en) * 2020-12-31 2022-01-25 Facebook Technologies, Llc Systems and methods for providing spatial awareness in virtual reality
US20240162198A1 (en) * 2022-06-15 2024-05-16 Lumileds Llc Low-density electrical traces on a transparent or reflective substrate
US11972039B1 (en) * 2022-12-02 2024-04-30 ARMaps Augmented reality skydiving system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414425A (zh) * 2007-10-16 2009-04-22 宋学锋 显示装置及其显示方法
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互***和方法
US20130335301A1 (en) * 2011-10-07 2013-12-19 Google Inc. Wearable Computer with Nearby Object Response
CN103593051A (zh) * 2013-11-11 2014-02-19 百度在线网络技术（北京）有限公司 头戴式显示设备
CN104380237A (zh) * 2012-06-19 2015-02-25 高通股份有限公司 用于头戴式显示器的反应性用户接口
US20150092015A1 (en) * 2013-09-30 2015-04-02 Sony Computer Entertainment Inc. Camera based safety mechanisms for users of head mounted displays

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730129B2 (en) * 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
US5513129A (en) * 1993-07-14 1996-04-30 Fakespace, Inc. Method and system for controlling computer-generated virtual environment in response to audio signals
GB2301216A (en) 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US6278418B1 (en) * 1995-12-29 2001-08-21 Kabushiki Kaisha Sega Enterprises Three-dimensional imaging system, game device, method for same and recording medium
US20050105772A1 (en) * 1998-08-10 2005-05-19 Nestor Voronka Optical body tracker
US6630915B1 (en) * 1999-01-26 2003-10-07 Lsa. Inc. Wireless transmission system for transmitting data to a simulation system user
US8396592B2 (en) 2001-06-12 2013-03-12 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US9128486B2 (en) 2002-01-24 2015-09-08 Irobot Corporation Navigational control system for a robotic device
JP3945279B2 (ja) 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
US7996197B1 (en) 2002-09-12 2011-08-09 Sandia Corporation Clearance detector and method for motion and distance
US9153074B2 (en) * 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US7358973B2 (en) 2003-06-30 2008-04-15 Microsoft Corporation Mixture model for motion lines in a virtual reality environment
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
US9229540B2 (en) * 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US20050215879A1 (en) * 2004-03-12 2005-09-29 Bracco Imaging, S.P.A. Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
CA2518005A1 (en) * 2004-09-02 2006-03-02 International Microtech Corporation Virtual fence
US8726195B2 (en) * 2006-09-05 2014-05-13 Aol Inc. Enabling an IM user to navigate a virtual world
US9891435B2 (en) * 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US8370207B2 (en) * 2006-12-30 2013-02-05 Red Dot Square Solutions Limited Virtual reality system including smart objects
US8159519B2 (en) * 2007-05-31 2012-04-17 Eastman Kodak Company Personal controls for personal video communications
JP4931245B2 (ja) * 2007-11-30 2012-05-16 インターナショナル・ビジネス・マシーンズ・コーポレーション アクセス制御方法、サーバ装置およびシステム
JP5111210B2 (ja) * 2008-04-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
US8542232B2 (en) * 2008-12-28 2013-09-24 Avaya Inc. Method and apparatus for monitoring user attention with a computer-generated virtual environment
US9299184B2 (en) * 2009-04-07 2016-03-29 Sony Computer Entertainment America Llc Simulating performance of virtual camera
US20120188279A1 (en) * 2009-09-29 2012-07-26 Kent Demaine Multi-Sensor Proximity-Based Immersion System and Method
US20110181601A1 (en) * 2010-01-22 2011-07-28 Sony Computer Entertainment America Inc. Capturing views and movements of actors performing within generated scenes
US20110211737A1 (en) * 2010-03-01 2011-09-01 Microsoft Corporation Event Matching in Social Networks
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
KR101329935B1 (ko) * 2011-01-27 2013-11-14 주식회사 팬택 이종 마커를 이용해서 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법
KR101338700B1 (ko) * 2011-01-27 2013-12-06 주식회사 팬택 마커를 분할해서 공유하는 증강 현실 시스템 및 그 방법
WO2012103525A2 (en) * 2011-01-28 2012-08-02 Intouch Technologies, Inc. Interfacing with a mobile telepresence robot
US10585472B2 (en) * 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
KR101601805B1 (ko) * 2011-11-14 2016-03-11 한국전자통신연구원 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법
EP2817785B1 (en) * 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US20140022283A1 (en) * 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
WO2014193342A1 (en) * 2013-05-28 2014-12-04 Hewlett-Packard Development Company, L.P. Mobile augmented reality for managing enclosed areas
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US20150046252A1 (en) * 2013-08-12 2015-02-12 Airvirtise Augmented Reality System
JP6348732B2 (ja) * 2014-03-05 2018-06-27 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
GB201414609D0 (en) * 2014-08-18 2014-10-01 Tosas Bautista Martin Systems and methods for dealing with augmented reality overlay issues
JP5777786B1 (ja) * 2014-09-12 2015-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US20160092726A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Using gestures to train hand detection in ego-centric video
US10166466B2 (en) * 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US10449445B2 (en) * 2014-12-11 2019-10-22 Elwha Llc Feedback for enhanced situational awareness
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
EP3037915B1 (en) * 2014-12-23 2017-08-16 Nokia Technologies OY Virtual reality content control
US9728010B2 (en) * 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
KR102144515B1 (ko) * 2015-01-07 2020-08-14 삼성전자주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
US20160225188A1 (en) * 2015-01-16 2016-08-04 VRstudios, Inc. Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
US9690374B2 (en) 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
EP4254145A3 (en) * 2015-09-16 2023-11-01 Magic Leap, Inc. Head pose mixing of audio files
US10628770B2 (en) * 2015-12-14 2020-04-21 Saudi Arabian Oil Company Systems and methods for acquiring and employing resiliency data for leadership development
US9990689B2 (en) * 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US10055895B2 (en) * 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
US10048751B2 (en) * 2016-03-31 2018-08-14 Verizon Patent And Licensing Inc. Methods and systems for gaze-based control of virtual reality media content
US10453431B2 (en) * 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10802711B2 (en) * 2016-05-10 2020-10-13 Google Llc Volumetric virtual reality keyboard methods, user interface, and interactions
US10042604B2 (en) * 2016-07-01 2018-08-07 Metrik LLC Multi-dimensional reference element for mixed reality environments
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10552014B2 (en) * 2017-01-10 2020-02-04 Cast Group Of Companies Inc. Systems and methods for tracking and interacting with zones in 3D space
KR102623391B1 (ko) * 2017-01-10 2024-01-11 삼성전자주식회사 영상 출력 방법 및 이를 지원하는 전자 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414425A (zh) * 2007-10-16 2009-04-22 宋学锋 显示装置及其显示方法
US20130335301A1 (en) * 2011-10-07 2013-12-19 Google Inc. Wearable Computer with Nearby Object Response
CN104380237A (zh) * 2012-06-19 2015-02-25 高通股份有限公司 用于头戴式显示器的反应性用户接口
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互***和方法
US20150092015A1 (en) * 2013-09-30 2015-04-02 Sony Computer Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
CN103593051A (zh) * 2013-11-11 2014-02-19 百度在线网络技术（北京）有限公司 头戴式显示设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427501A (zh) * 2018-03-19 2018-08-21 网易（杭州）网络有限公司 虚拟现实中移动控制方法和装置
CN108628442A (zh) * 2018-03-22 2018-10-09 北京奇艺世纪科技有限公司 一种信息提示方法、装置以及电子设备
CN112074800A (zh) * 2018-05-08 2020-12-11 苹果公司 用于在沉浸水平之间切换的技术
CN112074800B (zh) * 2018-05-08 2024-05-07 苹果公司 用于在沉浸水平之间切换的技术
CN110716639A (zh) * 2018-07-12 2020-01-21 苹果公司 具有基于眼睛活动的显示器操作的电子设备
CN110716639B (zh) * 2018-07-12 2022-06-21 苹果公司 具有基于眼睛活动的显示器操作的电子设备
US11782503B2 (en) 2018-07-12 2023-10-10 Apple Inc. Electronic devices with display operation based on eye activity
CN113260969A (zh) * 2018-10-31 2021-08-13 脸谱科技有限责任公司 用于修改虚拟现实***的安全边界的***和方法
CN111488056A (zh) * 2019-01-25 2020-08-04 苹果公司 使用被跟踪的物理对象来操纵虚拟对象
CN111488056B (zh) * 2019-01-25 2023-08-08 苹果公司 使用被跟踪的物理对象来操纵虚拟对象
CN109862339A (zh) * 2019-02-19 2019-06-07 浙江舜宇光学有限公司 增强现实的再现方法、装置、***、存储介质和处理器
TWI788601B (zh) * 2019-08-20 2023-01-01 日商日本煙草產業股份有限公司 通訊支援方法、程式及通訊伺服器

Also Published As

Publication number Publication date
US20170262046A1 (en) 2017-09-14
US9690374B2 (en) 2017-06-27
WO2016175937A1 (en) 2016-11-03
US20160313790A1 (en) 2016-10-27
US10254826B2 (en) 2019-04-09
EP3289400A1 (en) 2018-03-07

Similar Documents

Publication Publication Date Title
CN107430439A (zh) 虚拟/增强现实转变***和方法
US11562528B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US10788673B2 (en) User-based context sensitive hologram reaction
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US10474336B2 (en) Providing a user experience with virtual reality content and user-selected, real world objects
CN117555417B (zh) 用于调节和/或控制与用户界面相关联的沉浸度的方法
US11615596B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US9844119B2 (en) Dynamic lighting for head mounted device
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
TWI549505B (zh) 用於擴展現實顯示的基於理解力和意圖的內容
US20160343168A1 (en) Virtual personification for augmented reality system
CN107787472A (zh) 用于虚拟现实中的凝视交互的悬停行为
CN107577045A (zh) 用于头戴式显示器的预测跟踪的方法、装置及存储介质
US11720171B2 (en) Methods for navigating user interfaces
US20180190019A1 (en) Augmented reality user interface visibility
US20230094522A1 (en) Devices, methods, and graphical user interfaces for content applications
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20220301264A1 (en) Devices, methods, and graphical user interfaces for maps
WO2022055821A1 (en) Method of displaying user interfaces in an environment and corresponding electronic device and computer readable storage medium
US20240257441A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240095877A1 (en) System and method for providing spatiotemporal visual guidance within 360-degree video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information