CN105264461B - 虚拟对象与表面的交互 - Google Patents

虚拟对象与表面的交互 Download PDF

Info

Publication number
CN105264461B
CN105264461B CN201480027872.5A CN201480027872A CN105264461B CN 105264461 B CN105264461 B CN 105264461B CN 201480027872 A CN201480027872 A CN 201480027872A CN 105264461 B CN105264461 B CN 105264461B
Authority
CN
China
Prior art keywords
virtual objects
user
real world
attached
world surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480027872.5A
Other languages
English (en)
Other versions
CN105264461A (zh
Inventor
A·G·鲍罗斯
E·M·圭布勒
A·汤姆林
C·布朗
D·麦克洛克
B·芒特
D·克罗伊曼
G·L·阿尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105264461A publication Critical patent/CN105264461A/zh
Application granted granted Critical
Publication of CN105264461B publication Critical patent/CN105264461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了涉及在包括显示***的增强现实计算设备上操作用户界面的实施例。例如，一个公开的实施例包括经由所述显示***将虚拟对象显示为自由漂浮，检测将所述对象显示为附连到表面的触发，以及响应于所述触发，经由所述显示***将所述虚拟对象显示为附连到所述表面。方法可进一步包括检测使所述虚拟对象与所述表面分离的触发，以及响应于使所述虚拟对象与所述表面分离的触发，使所述虚拟对象与所述表面分离并且将所述虚拟对象显示为自由漂浮。

Description

虚拟对象与表面的交互
背景
增强现实计算设备可显示叠放在包括真实对象和现实世界表面(例如墙壁、桌子等)的环境上的虚拟或全息对象。例如，头戴式显示设备可包括透视显示***，该透视显示***被配置成显示图像但不遮蔽透过透视显示***可看到的现实世界背景。
概述
公开了用于在包括显示***的增强现实计算设备上操作用户界面的实施例。例如，一个公开的实施例提供了一种方法，包括经由所述显示***将虚拟对象显示为自由漂浮，检测将所述对象显示为附连到表面的触发，以及响应于所述触发，经由所述显示***将所述虚拟对象显示为附连到所述表面。方法可进一步包括检测使所述虚拟对象与所述表面分离的触发，以及响应于使所述虚拟对象与所述表面分离的触发，使所述虚拟对象与所述表面分离并且将所述虚拟对象显示为自由漂浮。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1A和1B示出对增强现实计算***的示例使用环境的示意描绘。
图2示意性示出了增强现实显示设备的一个示例实施例。
图3是图2的显示设备的框图。
图4-10示出根据本公开的增强现实显示设备用户与增强现实环境中的虚拟对象的示例交互。
图11示出根据本公开的用于操作增强现实计算设备上的用户界面的示例方法。
图12示意性地示出了示例计算***。
详细描述
透视显示***，例如头戴式显示(HMD)设备或其他近眼显示设备可以用于向用户呈现背景场景的增强现实视图。此类增强的现实环境可以包括用户可经由用户输入(诸如，语音输入、姿势输入、眼睛跟踪输入、运动输入和/或任何其他合适的输入类型)与其交互的各种虚拟对象和真实对象。
透视显示***的用户可能想要某种类型的虚拟对象以在不变得在用户的视野中过于侵扰的情况下保留在用户的视野中。例如，增强现实计算设备的用户可能想要让漂浮的全息电视在用户在环境中执行各种任务时跟随在用户周围。可在用户的视野中向用户持久显示的其它示例虚拟对象可包括漂浮的全息机器人助手或控制面板界面，它们允许用户改变环境的属性，以例如改变房间的颜色。
为了将这样的虚拟对象保持在用户的持久视野中而同时减少该虚拟对象在用户的视野中的侵扰性，在一些示例中，持久虚拟对象可被附连到环境中的现实世界表面，例如附连到墙壁上，使得虚拟对象可漂浮在墙壁的表面上。例如，虽然被显示在表面上，但是虚拟对象的旋转可与该表面对准，并且可在表面上滑动到对于用户舒服的观看位置。类似的，虚拟对象还可被附连到虚拟表面，诸如虚拟墙壁或其它虚拟环境结构。
然而，在管理这类持久虚拟对象与增强现实环境中的现实世界表面的交互中可能出现各种问题。例如，可能期望准许用户控制何时以及如何将虚拟对象附连到现实世界表面。此外，虚拟对象到现实世界表面的附连可取决于虚拟对象的类型和状态以及现实世界表面的特性。另外，当持久虚拟对象在现实世界环境中移来移去时，在将虚拟对象从自由漂浮状态转变到表面附连状态方面以及在将虚拟对象从环境中的一个位置转变到另一位置方面可能存在各种环境方面的挑战。
因此，公开了与促成持久虚拟对象在增强现实环境中移动以及管理虚拟对象与增强现实环境中的现实世界表面的附连有关的各实施例。简而言之，公开的实施例涉及将虚拟对象作为自由漂浮显示在增强现实显示设备上，并且响应于将该对象显示为附连到(真实或虚拟的)表面的触发，将虚拟对象显示为附连到该表面。触发可包括任何合适的条件或事件，包括但不限于用户输入以及虚拟对象和现实世界表面之间的阈值距离。虽然以下呈现的实施例是在现实世界表面的上下文中描述的，但是将会理解，所解说的概念可被用于任何合适的表面，无论是真实的还是虚拟的。类似的，虽然各实施例是在透视头戴式显示***中描述的，但是将会理解任何其它合适类型的增强现实显示***可被使用。示例包括但不限于具有相机和被配置成显示相机所获取的图像数据的显示器的便携式设备(例如，平板计算机、智能手机、膝上型计算机等)，其中增强现实图像可以虚拟对象与图像传感器所获取的现实世界图像数据合成在一起的形式显示在显示器上。
图1A和1B示出了头戴式显示设备104的实施例的使用环境的示例实施例，其中环境100采用了客厅的形式。应当理解，环境100是出于示例的目的被呈现的，并且使用环境可采取任何其它合适的形式。
用户106正在透过透视头戴式显示设备104形式的增强现实计算设备查看客厅房间并且可以经由显示设备104的用户界面与增强的环境进行交互。图1A和1B还描绘了用户视野102，其包括通过显示设备104可查看到的部分环境，并且因此所述部分环境可用经由显示设备104所显示的虚拟图像来增强。在某些实施例中，用户视野102实质上可以与用户的实际视界同延，而在其它实施例中，用户视野102可以占据比用户的实际视界更小的部分。
增强环境可包括多个现实世界表面和现实世界对象。例如，如图1A和1B中所示，环境包括沙发114、桌子116、第一墙壁或表面118、第二墙壁120、以及第三墙壁122。此外，环境100中的现实世界表面可包括各种表面间断，诸如拐角、门、窗、耦合到或邻近表面的现实世界对象等。图1A和1B中示出的示例表面间断包括墙壁120与表面118的对接处的拐角或间断124、表面118和墙壁122的对接处的拐角126、以及墙壁122中的门128。应当理解，图1A和1B中示出的示例现实世界表面是非限制性示例。其它示例现实世界表面可包括外表面，例如建筑物的侧面、购物中心内的玻璃店面、以及任何其他适当的表面。
如下面将要更详细描述的，显示设备104可以包括一个或多个朝外的图像传感器(例如，二维相机和/或深度相机)，其配置为在用户导航环境时获取表示用户环境100的图像数据(例如，彩色/灰度图像、深度图像/点云图像等)。这种图像数据可被用于获取与环境布局(例如，三维表面图等)和其中包含的对象(诸如，沙发114、桌子116、墙壁120、表面118、墙壁122、门128、以及拐角或间断126和124)有关的信息。此外，图像数据可被用于获取与环境中的现实世界表面的特性或属性有关的信息。现实世界表面的示例特性或属性可包括颜色、纹理、形状、大小等。如以下更详细描述的，这样的表面特性或属性可被用于规定虚拟对象如何与环境中的现实世界表面对接的策略中。
如以上提到的，在一些示例中，一个或多个虚拟对象可经由透视显示设备104显示给用户106，使得当用户在环境中移来移去或环顾四周时，该一个或多个虚拟对象保留在用户106的视野102中。例如，图1A示出经由透视显示设备104向用户106显示为自由漂浮在环境100中的示例虚拟对象130。例如，自由漂浮的虚拟对象130可以是自由漂浮的全息电视，其基于用户106在环境100内的位置和/或基于用户106的凝视或聚焦132在环境中的位置而在环境中移来移去。自由漂浮的虚拟对象130可以是任何适合的虚拟对象，例如诸如漂浮的虚拟电视或家居自动化控制面板之类的平面对象，或者诸如花、植物、雕塑、艺术品等之类的非平面3-D虚拟对象。
图1A示出显示用户聚焦132在环境100中的位置处的自由漂浮虚拟对象130。在一些示例中，自由漂浮的虚拟对象130可持久地显示在用户聚焦132的位置处，即使当用户聚焦位置发生变化时。例如，如果用户106将聚焦132的位置改变到环境100内的新位置，则虚拟对象130可被显示在环境中的该新位置，使得虚拟对象保留在环境中用户凝视的位置。例如，如以下更详细描述的，显示设备104可包括各种传感器，用来确定用户凝视或聚焦在环境中的位置和/或用户在环境中的朝向和/或姿势，使得自由漂浮的虚拟对象的显示可被相应调整。例如，自由漂浮的对象的旋转可基于用户106在环境中的朝向或身体姿势来调整。
在一些示例中，用户106可能想要将自由漂浮的虚拟对象(例如，图1A中示出的自由漂浮的虚拟对象130)附连到环境100中的现实世界表面。例如，如图1B中所显示的，虚拟对象可被附连到现实世界墙壁或表面118，使得虚拟对象不遮挡用户对环境中的其他对象的查看。作为另一示例，虚拟对象可被附连到桌子116的顶面，或附连到沙发114上的某一位置、或附连到环境100中的其他合适的表面。
环境100中显示的自由漂浮的虚拟对象可以任何合适的方式被附连到现实世界表面或与现实世界表面分离。例如，如图1A和1B中所示，用户106可通过将用户聚焦132的位置从图1A中示出的第一位置改变为如图1B中示出的位于表面118附近的位置处的第二用户聚焦位置132(可能与另一触发结合)来致使图1A中示出的自由漂浮虚拟对象130向表面118移动。如以下更详细描述的，各种触发可被用于致使虚拟对象被显示为附连到现实世界表面。例如，在通过改变凝视位置使虚拟对象130移动至靠近表面118的位置之后，用户可提供语音命令或语音输入来将虚拟对象附连到表面118。作为另一示例，在某些环境条件被满足时，例如当虚拟对象130和表面118或用户106和表面118之间的距离小于阈值距离时，虚拟对象130可自动显示为附连到表面118。此外，如以下更详细描述的，各种触发可被用于将虚拟对象从现实世界表面分离或将附连的虚拟对象沿其附连到的现实世界表面移动。例如，在虚拟对象被附连到现实世界表面之后，在一些示例中，虚拟对象可随着用户改变环境内的位置和/或凝视方向而沿现实世界表面移动。然而，在其他示例中，附连到现实世界的虚拟对象可被钉到现实世界表面，使得虚拟对象被显示在现实世界表面上的固定位置上。
在一些示例中，一个或多个策略可被获取并用于管理持久的虚拟对象与现实世界表面的附连。例如，策略可表述虚拟对象可被附连到哪些现实世界表面以及在什么条件下虚拟对象可被附连到现实世界表面中的一个或多个。虚拟对象可随后基于与该虚拟对象相关联的一个或多个策略而被显示在透视显示***上。在一些示例中，这些策略可在创建对象时被指定，使得策略被构建到该对象中。在其他示例中，这些策略可基于用户输入以允许用户偏好将获得的某些区域和特定全息对象，或抑制接收特定特性。
例如，这样的策略可规定虚拟对象是否可被附连的特定的现实世界表面和/或虚拟对象是否可被钉到现实世界表面，例如虚拟对象是否能够被附连在现实世界表面上的固定位置。此外，这样的策略可取决于虚拟对象的类型和/或状态。例如，取决于对象的类型和/或状态，对象可被准许附连到某些类型的现实世界表面并且不被准许附连到其它类型的现实世界表面。
此外，这些策略可规定虚拟对象和现实世界表面之间的附连如何显示。这些策略可取决于现实世界表面的各种属性，例如如经由显示设备104中的一个或多个传感器检测到的属性。例如，现实世界表面的诸如表面的类型(例如“墙壁”或“桌子”)、表面透明度(例如，透明或不透明)、表面纹理(例如木头或者玻璃)等之类的属性可被确定并在与虚拟对象相关联的策略中指出以表述虚拟对象如何相对于现实世界表面来显示。
例如，如果虚拟对象是自由漂浮的全息电视，则该虚拟对象可被准许附连到墙壁的未被遮挡的区域的指定高度处(例如高于五英尺或某个其它的高度阈值)，或者可被准许附连到桌子顶面但可不被准许附连到环境中的沙发。作为另一示例，虚拟棋盘对象可被准许吸附到桌子表面但不被准许附连到墙壁。作为另一示例，虚拟海报可被准许吸附到墙壁的未被遮挡区域但不被准许附连到桌子表面上。此外，虚拟海报可被准许仅附连到带有与虚拟海报相匹配的颜色的墙壁。作为另一示例，虚拟电视可被显示为该虚拟电视的底部边缘附连到桌子的表面，而当附连到墙壁时，虚拟电视可被显示为其背面贴近墙壁。作为又一示例，策略可规定虚拟对象周围的边距空间。例如，某些类型的虚拟对象可被显示为在对象周围具有小量的边距空间，使得该虚拟对象被准许显示成相对于周围的表面特征而紧密的贴合在表面上，而在对象周围提供大量的边距空间的其它类型的虚拟对象可仅被准许显示在表面上。
根据本公开的透视显示设备可以采用任何合适的形式，包括但不限于诸如图1A和1B的头戴式显示设备104之类的近眼设备。图2示出了透视显示***300的一个示例，而图3显示了显示***300的框图。
显示***300包括形成显示子***304一部分的一个或多个透镜302，从而使图像可以经由透镜302(例如，经由透镜302上的投影、纳入透镜302中的(诸)波导***，和/或任何其他合适方式)被显示。显示***300还包括一个或多个朝外图像传感器306，配置来获取用户查看的背景场景和/或物理空间的图像，并且可以包括配置为检测诸如用户的语音命令的声音的一个或多个话筒308。朝外图像传感器306可以包括一个或多个深度传感器和/或一个或多个二维图像传感器。
如以上所描述的，显示***300可以进一步包括被配置成检测用户每只眼睛的凝视方向或聚焦的方向或位置的凝视检测子***310。凝视检测子***310可以配置来以任何合适方式确定用户每只眼睛的凝视方向。例如，在所描绘的实施例中，凝视检测子***310包括一个或多个闪烁源312，诸如红外线光源，配置来使得闪烁的光从用户的每个眼球反射，以及一个或多个图像传感器314，诸如朝内传感器，配置来捕捉用户每个眼球的图像。根据经由(诸)图像传感器314收集的图像数据所确定的用户眼球的闪烁变化和/或用户瞳孔的位置可以用于确定凝视方向。此外，从用户眼睛投射的凝视线与外部显示器交叉的位置可以用于确定用户凝视的对象(例如，所显示的虚拟对象和/或真实的背景对象)。凝视检测子***310可以具有任意合适数量和排布的光源和图像传感器。
显示***300还可以包括附加的传感器。显示***300还可以包括附加的传感器。例如，显示***300可以包括全球定位(GPS)子***316以能够确定显示***300的位置。例如，这允许显示***300的用户被呈现与在不同位置处的所选对象相关联的不同组命令。
显示***300还可以包括一个或多个运动传感器318，以在用户戴着显示***300时检测用户头的移动。可以将运动数据，可能还有眼睛跟踪闪烁数据和朝外图像数据，用于凝视检测以及图像稳定，以帮助校正(诸)朝外图像传感器306的图像中的模糊之处。即使无法解析朝外图像传感器306的图像数据，运动数据的使用可以允许追踪凝视位置的变化。同样，运动传感器318以及(诸)话筒308和凝视检测子***310也可以用作用户输入设备，这样用户可以通过眼、脖和/或头的姿势以及通过口头命令与显示***300互动。将会理解，图2和3所描绘的传感器是出于示例的目的而示出的，且不旨在以任何方式进行限制，因为可以使用任何其他合适的传感器和/或传感器的组合。
显示***300还包括控制器320，其具有与传感器、凝视检测子***310及显示子***304通信的逻辑子***322和数据保持子***324(还可以被称作存储***)。数据保持子***324包括存储在其上的指令，这些指令能被逻辑子***322执行例如用以：接收并解释来自传感器的输入；表示用户的运动；检测用户对一个或多个对象的选择；以及对所选择的对象执行动作或命令和其他任务等。
将理解，所描绘的显示设备104和300是出于示例目的描述的并且因此不意味着进行限制。可以理解，所述显示设备可以包括除显示的那些之外未偏离本公开文本范畴的附加和/或替代的传感器、相机、话筒、输入设备、输出设备等。此外，显示设备的物理配置及其各种传感器和子组件可以采取不偏离本公开文本范畴的各种不同形式。
图4-10示出佩戴增强现实显示设备104的用户106与增强现实环境中的持久虚拟对象的相对于现实世界表面的示例交互。如以上提到的，在一些示例中，虚拟对象可被显示为持久的自由漂浮的虚拟对象，该虚拟对象追随用户对于环境的凝视。在特定条件期间，可能期望将这一虚拟对象的显示从环境内的自由漂浮状态转变为附连状态，在附连状态下，虚拟对象被显示为至少部分附连到环境中的现实世界表面。各种触发可被用于将虚拟对象从自由漂浮状态转变为附连状态。
例如，图4示出增强现实环境中的用户聚焦132的位置404处的自由漂浮虚拟对象130。自由漂浮虚拟对象130是经由透视显示设备104向用户106显示的虚拟对象，其被显示为未附连到该增强现实环境中的任意现实世界表面。例如，图4示出环境内的位置404处的自由漂浮虚拟对象130未被附连到现实世界表面118或从其分离。例如，现实世界表面118可以是墙壁、商店的玻璃橱窗、公告板等。
位置404处的自由漂浮虚拟对象130可基于用户106所执行的动作在增强现实环境内移动。例如，用户106可输入语音命令，诸如“抓起”，并且改变其聚焦在环境内的位置132以将自由漂浮对象移动至新的位置。作为另一示例，自由漂浮的对象可响应于用户聚焦132的位置的改变而自动移动，使得该自由漂浮虚拟对象被显示在用户的聚焦点或凝视轴处，或者用户的聚焦点或凝视轴所指代的位置处。
如以上提到的，在一些示例中，在某些条件期间，用户106可能想要将自由漂浮的虚拟对象附连到环境内的现实世界表面，以便减少虚拟对象在用户的视野中的侵扰性。此外，将自由漂浮的虚拟对象附连到环境中的各表面可协助用户使用他们的空间记忆来将对象放置在环境中。例如，用户可将虚拟对象放置在他们的家中的某些显示世界位置处，并且基于已知的现实世界位置来放置对象。作为更详细的示例，用户可能知道他们的虚拟电视可在厨房的角落中找到，因为用户常常在准备晚餐时在那个位置观看电视。因此，位置404处的自由漂浮虚拟对象130可响应于触发事件转变到表面118上的附连位置，示出在404’。作为一个示例，触发可包括将虚拟对象附连到靠近该虚拟对象的表面的语音输入命令。作为另一示例，当虚拟对象和表面之间的距离406小于阈值距离时，自由漂浮虚拟对象可自动附连到表面118。以此方式，自由漂浮的虚拟对象可看上去变得“吸”到附近的现实世界表面并且可在虚拟对象由用户移动至距表面的阈值距离时自动吸附到该表面。在一些示例中，虚拟对象的朝向可被修改以在虚拟对象附连到表面时匹配表面118的朝向。将对象的朝向修改为匹配于对象所附连的表面的朝向可帮助避免虚拟对象看上去刺入现实世界表面，并由此帮助维持虚拟对象存在于现实世界环境中的幻像。
参照图5，在一些示例中，一旦虚拟对象130在位置404处被附连到表面118，则虚拟对象130可基于用户106的凝视位置或聚焦位置在表面118上或沿着表面118移动或滑动。例如，图5示出用户106具有在第一时刻在沿虚拟对象130所附连的表面118上的第一位置404处的第一聚焦位置502。响应于用户聚焦或凝视位置的变化，附连的虚拟对象可随用户聚焦一起移动，同时维持附连到表面118。例如，如图5中所示，在第一时刻之后的第二时刻，用户106将用户聚焦位置从第一聚焦位置502改变到第二、不同的聚焦位置504。在这一示例中，附连的虚拟对象130从初始位置404移动至新的位置404’，使得附连的虚拟对象保持在用户聚焦位置处。
如图6中所示，在一些示例中，附连到虚拟表面118的虚拟对象130的显示可响应于用户106的朝向、旋转、或位置而调整，同时保持在表面118上的固定位置。例如，虚拟对象可被显示为在面向第一位置602处的用户的第一朝向位置404处附连到表面118，其中第一聚焦方向604实质上射向表面118。然而，响应于用户在环境中的位置从第一位置602改变到第二位置606，虚拟对象可被显示为在第二朝向位置404’处附连到表面118，使得虚拟对象保持附随位于第二位置606处的用户的聚焦方向608。
参照图7，如702所示，一旦虚拟对象130在位置404处被附连到表面118，则该虚拟对象可基于用户凝视方向或聚焦位置的改变而在表面118上移动或滑动。例如，图7示出用户106具有在第一时刻在沿虚拟对象130所附连的表面118上的第一位置404处的第一聚焦位置706。响应于用户聚焦或凝视位置的变化，附连的虚拟对象可随用户聚焦一起移动，同时维持附连到表面118。例如，如图7中702所示，在第一时刻之后的第二时刻，用户106将用户聚焦位置从第一聚焦位置706改变到第二、不同的聚焦位置708，并且虚拟对象130进而移动到表面118上的对应于第二聚焦位置708的新位置404'。
如图7中所示，在一些示例中，在新位置404’处的附连的虚拟对象可变得“钉”到表面，使得附连的虚拟对象130变得固定在表面118上的位置404’处。例如，用户106可将虚拟对象移动至新位置404’并且可提供输入(例如语音输入)以在其当前位置将虚拟对象钉到表面。在这一示例中，用户将虚拟对象130从第一附连位置404移动至404’处新附连位置，并且随后提供输入以将虚拟对象固定地附连在位置404’处。这一钉操作致使对象冻结其在墙壁上的当前位置，不再追随用户的视野。如图7中704所示，在虚拟对象被钉到位置404’之后，虚拟对象将被维持在该固定位置404’，即使当用户的凝视方向发生改变。例如，如704所示，虚拟对象130保持在规定位置404'，即使当用户聚焦位置返回到位置706。
此外，在一些示例中，404’处示出的被钉住的虚拟对象130可变为不再钉住表面118。例如，用户106可提供输入(例如语音输入)来使虚拟对象不再钉在404’处的其当前固定位置。作为另一示例，解除钉住对象可响应于用户106执行的动作来执行。例如，用户106可尝试通过聚焦在对象上并改变其焦点离开该固定位置来将虚拟对象130推离其当前固定位置。如果这一用户聚焦的改变大于阈值量，则对象可变为不被钉住。在虚拟对象不在钉住表面之后，该虚拟对象可再次随用户聚焦的改变一起移动，同时保持附连到表面118。
虚拟对象可被附连到的现实世界表面可包括各种间断，其阻碍了虚拟对象沿表面的移动。间断的示例包括拐角、门、窗、附连到现实世界表面的其他对象等。图8-10示出将附连到现实世界表面118的虚拟对象移动通过表面中的间断124的各个示例。
例如，图8示出跳跃或吸附操作，其中虚拟对象130被示为在第一位置404处附连到具有间断124的表面118，随后跳跃或吸附通过间断124到第二位置404’。例如，图8中示出的表面118可包括第一现实世界表面802，其与第二现实世界表面802对接，间断124位于表面802与表面804的对接处。用户聚焦位置806可最初位于表面802上的位置404处，虚拟对象130最初被附连到该位置。然而，随着用户将聚焦位置从聚焦806改为通过间断124并且在表面404上的聚焦808，虚拟对象从位置404吸附到通过间断的表面804上的新位置404’。例如，响应于用户聚焦的方向和第二现实世界表面804之间的角度符合阈值条件，虚拟对象可被显示在第二现实世界表面804上并且不显示在第一现实世界表面802上。
作为另一示例，图9示出当虚拟对象130移动跨过在表面118中的间断124时对虚拟对象130执行的弯曲或变形操作。例如，图9中示出的表面118可包括第一现实世界表面802，其与第二现实世界表面802对接，间断124位于表面802与表面804的对接处。用户聚焦位置902可最初位于表面804上的位置404处，虚拟对象130被附连到该位置。然而，当用户将聚焦位置从聚焦902改为间断124处的聚焦904时，虚拟对象弯曲或变形以适应间断处表面的形状，使得虚拟对象的第一部分被显示在第一现实世界表面802上靠近间断处，而虚拟对象130的第二部分被显示在第二现实世界表面804上靠近间断处。当用户继续调整其聚焦位置通过间断朝向表面804时，虚拟对象继续在间断附近弯曲，使得虚拟对象包含在显示在第二表面804上的第一部分中的量增加直到整个虚拟对象被转变为跨过间断到达第二表面804。
作为又一示例，图10示出当虚拟对象130移动跨过在表面118中的间断124时对虚拟对象130执行的搭桥或分离操作。在这一示例中，用户聚焦1002最初位于表面118上的位置404处，虚拟对象118被显示为在该位置附连到表面118。然而，当用户聚焦位置从聚焦1002改变到间断处的聚焦1004时，虚拟对象在间断处与现实世界表面118分离，并随后在通过间断之后的位置重新附连。例如，当用户凝视接近间断124达到一阈值量时，虚拟对象可被显示为与表面118分离或者可看上去在间断处搭桥以移动通过间断。将会理解图8－10的实施例仅出于示例目的呈现并且不旨在以任何方式是限制性的，因为附连到物理表面的虚拟对象可被配置成以任何其它适合的方式来处理物理表面的间断。
图11示出用于操作增强现实计算设备上用户界面以管理增强现实环境中的持久虚拟对象的附连操作的示例方法1100。例如，如以上所描述的，在特定条件期间，虚拟对象可基于与虚拟对象相关联的策略来附连到环境中的各个现实世界表面或与其上分离。
在1102，方法1100包括经由透视显示***将虚拟对象显示为自由漂浮。例如，如图1A中所示，虚拟对象130可经由透视显示设备显示为在环境100中自由漂浮。
在1104，方法1100包括检测触发以将虚拟对象显示为附连到现实世界表面。例如，在1106，触发可包括用户输入(例如语音输入)，并且方法1100可包括接收用户输入以触发将虚拟对象附连到现实世界表面。作为另一示例，触发可包括虚拟对象或用户与现实世界表面之间的阈值距离。因此，在1108，方法1100可包括确定虚拟对象或用户与现实世界表面的接近度。
在1110，方法1100包括响应于触发经由透视显示***将虚拟对象显示为附连到现实世界表面。此外，在一些示例中，虚拟对象可基于与虚拟对象相关联的策略来显示为附连到现实世界表面。例如，与虚拟对象相关联的一个或多个策略可以被获取，其中该一个或多个策略可表述虚拟对象可被附连到哪些现实世界表面以及在什么条件下虚拟对象可被附连到现实世界表面中的一个或多个。虚拟对象可基于与该虚拟对象相关联的一个或多个策略而被显示在透视显示***上。
如以上提到的，虚拟对象被显示为附连到表面可基于用户聚焦位置。例如，在1112，方法1100可包括例如经由显示设备104中的一个或多个传感器来检测现实世界表面上的用户聚焦位置。在1114，方法1100可包括将虚拟对象显示在现实世界表面上的用户聚焦位置处。
此外，在1116，方法1100可包括将虚拟对象显示为钉在表面。例如，虚拟对象可被显示在透视显示***上的现实世界表面上的固定位置，该固定位置不根据用户聚焦位置的改变而改变。作为另一示例，在1118，方法1100可包括将虚拟对象显示为不钉在表面，使得对象可在表面上移来移去同时保持附连到表面。
将会理解，在任何时候，用户可选择将虚拟对象相对于其附连的表面钉住或不钉住。因此，在1120，方法1100包括接收将虚拟对象相对于现实世界表面钉住或不钉住的用户输入。钉住和不钉住可以任何适合的方式发生。例如，如以上所描述的，在一些实施例中，用户可提供输入(例如语音输入)来将钉住或不钉住附连到现实世界表面的虚拟对象。
在1122，方法1100包括检测用户聚焦位置的改变。例如，在经由透视显示***将虚拟对象显示为附连到现实世界表面之后，可检测到现实世界表面上的用户聚焦位置的改变。在1124，方法1100包括确定虚拟对象是否被钉在现实世界表面上的固定位置。如果在1124虚拟对象被钉在现实世界表面上的固定位置，则方法前进到1126。在1126，方法1100包括将虚拟对象维持在现实世界表面上的固定位置。
然而，如果在1124虚拟对象未被钉在现实世界表面上的固定位置，则方法前进到1128。在1128，方法1100包括将虚拟对象显示为在新的用户聚焦位置处附连到表面。例如，在未钉住状态下，虚拟对象可响应于用户聚焦的改变而移动，或者基于用户凝视位置的改变而更新，使得对象保持在用户的直接视野中。
如以上提到的，虚拟对象所附连到的物理表面可包括间断，诸如拐角、开口(例如门)等。因此，在1130，方法1100可选地包括检测用户聚焦在现实世界中间断的位置处的改变。在一些示例中，这可包括检测第一现实世界表面和第二现实世界表面之间的间断。作为响应，在1132，方法1100包括将虚拟对象移动通过现实世界表面中的间断。例如，在1134，对象可跳跃或吸附以移动通过间断。作为另一示例，在1136，对象可弯曲或变形以移动通过间断。作为又一示例，在1138，对象可搭桥或从表面分离以移动通过间断。例如，虚拟对象可在间断处与第一现实世界表面分离，随后在通过间断的位置处重新附连。
在1140，方法1100包括检测使虚拟对象与现实世界表面分离的触发。例如，触发可包括用户输入(例如语音输入)和/或用户动作或手势。在1142，方法1100包括响应于该触发，使虚拟对象与现实世界表面分离并将该虚拟对象显示为自由漂浮。
在一些实施例中，上述的方法和过程可以涉及具有一个或多个计算设备的计算***。尤其地，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图12示意性地示出计算***1200的非限制性实施例，该计算***可以进行上述方法和过程中的一个或多个。显示设备104可以是计算***1200的一个非限制性实例。计算***1200以简化形式示出。应该理解，可以使用实际上任何计算机架构，而不偏离本发明的范围。在不同的实施例中，计算***1200可以采取显示设备、可穿戴计算设备、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)等等的形式。
计算***1200包括逻辑子***1202和存储子***1204。计算***1200可任选地包括显示子***1206、输入子***1208、通信子***1210和/或在图12中未示出的其他组件。
逻辑子***1202包括被配置为执行指令的一个或多个物理设备。例如，逻辑子***可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态或以其它方式达到所需的结果。
逻辑子***可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子***可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子***的处理器可以是单核或多核的，而其上执行的程序可以被配置为进行串行、并行或分布式处理。逻辑子***可以任选地包括分布在两个或更多设备之间的独立组件，这些独立组件在一些实施例中可以位于远程和/或被配置用于进行协调处理。逻辑子***的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子***1204包括一个或多个物理设备，该一个或多个物理设备被配置成保持逻辑子***可执行来实现本文中所述的方法和过程的数据和/或指令。在实现此类方法和过程时，存储子***1204的状态可以被变换——例如，以保持不同的数据。
存储子***1204可以包括可移动介质和/或内置设备。存储子***1204可包括光学存储设备(例如，CD、DVD、HD－DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子***1204可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
将理解，存储子***1204包括一个或多个物理设备，并排除传播信号自身。然而，在一些实施例中，本文描述的指令的各方面可经由通信介质通过纯信号(例如，电磁信号、光学信号等)来传播，而不是被存储在存储设备上。此外，与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。
在一些实施例中，逻辑子***1202和存储子***1204的各方面可以被一起集成到一个或多个硬件-逻辑组件中，通过所述组件来执行在此所述的功能性。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上***(SOC)***以及复杂可编程逻辑设备(CPLD)。
在被包括时，显示子***1206可用于呈现由存储子***1204保存的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储子***保持的数据，并由此变换了存储子***的状态，因此同样可以转变显示子***1206的状态以视觉地表示底层数据的改变。显示子***1206可以包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子***1202和/或存储子***1204组合在共享封装中，或此类显示设备可以是***显示设备。
当被包括时，输入子***1208可包括诸如键盘、鼠标、触摸屏或游戏控制器等一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中，输入子***可以包括或相接于所选择的自然用户输入(NUI)部件。这种部件可以是集成的或***的，输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部***、眼睛***、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
当包括通信子***1210时，通信子***1210可以被配置成将计算***1200与一个或多个其他计算设备可通信地耦合。通信子***1210可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子***可以被配置用于经由无线电话网络、或者有线或无线局域网或广域网来通信。在一些实施例中，通信子***可允许计算***1200经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、***和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (11)

1.一种用于在包括显示***的增强现实计算设备上操作用户界面的方法，所述方法包括：
经由所述显示***将虚拟对象显示为自由漂浮；
检测将所述对象显示为附连到表面的触发，其中所述触发包括所述虚拟对象与所述表面之间的阈值距离；以及
响应于所述触发，经由所述显示***将所述虚拟对象显示为附连到所述表面。
2.如权利要求1所述的方法，其特征在于，所述表面包括现实世界表面。
3.如权利要求1所述的方法，其特征在于，还包括基于用户凝视位置的改变更新所述虚拟对象在所述显示***上的显示。
4.如权利要求1所述的方法，其特征在于，还包括获得与所述虚拟对象相关联的一个或多个策略，其中所述一个或多个策略表述所述虚拟对象可被附连到哪些表面以及在什么条件下所述虚拟对象可被附连到表面中的一个或多个，以及基于与所述虚拟对象相关联的所述一个或多个策略将所述虚拟对象显示在所述显示***上。
5.如权利要求1所述的方法，其特征在于，进一步包括：
检测使所述虚拟对象与所述表面分离的触发；以及
响应于使所述虚拟对象与所述表面分离的触发，使所述虚拟对象与所述表面分离并且将所述虚拟对象显示为自由漂浮。
6.如权利要求1所述的方法，其特征在于，进一步包括：
检测所述表面上的用户聚焦位置；以及
基于所述用户聚焦位置将所述虚拟对象显示在所述表面上的某一位置。
7.一种可穿戴增强现实计算设备，包括：
透视显示设备；
包括一个或多个传感器的传感器***；
逻辑子***；以及
存储子***，所述存储子***包括存储在其上的可由所述逻辑子***执行的指令以：
检测用户聚焦方向；
基于所述用户聚焦方向在所述透视显示设备上显示自由漂浮的虚拟对象；
检测用户聚焦方向的改变；
基于所述用户聚焦方向的改变将所述自由漂浮的虚拟对象显示在所述透视显示设备上的不同位置；
检测将所述自由漂浮对象附连到现实世界表面的触发，其中所述触发包括所述虚拟对象与所述现实世界表面之间的阈值距离；以及
响应于所述触发，在所述透视显示设备上将附连到现实世界表面的虚拟对象显示在所述现实世界表面上的用户聚焦位置处。
8.如权利要求7所述的设备，其特征在于，所述现实世界表面是第一现实世界表面，并且其中存储子***包括存储在其上的能够进一步由所述逻辑子***执行的指令以：
检测所述现实世界表面上的用户聚焦位置处的间断；以及
在所述间断处使所述虚拟对象与所述第一现实世界表面分离，并且随后在通过所述间断的位置处将所述虚拟对象重新附连到所述现实世界表面。
9.如权利要求7所述的设备，其特征在于，所述现实世界表面是第一现实世界表面，并且其中存储子***包括存储在其上的能够进一步由所述逻辑子***执行的指令以：
检测所述第一现实世界表面和第二现实世界表面之间的间断；以及
将所述虚拟对象的第一部分显示为附连到所述第一现实世界表面，并且将所述虚拟对象的第二部分显示为附连到所述间断附近的所述第二现实世界表面。
10.一种包括用于执行如权利要求1-6中的任一项所述的方法的装置的计算机***。
11.一种具有指令的计算机可读存储介质，所述指令在被执行时使机器执行如权利要求1-6中的任一项所述的方法。
CN201480027872.5A 2013-05-13 2014-05-12 虚拟对象与表面的交互 Active CN105264461B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/893,146 2013-05-13
US13/893,146 US9245388B2 (en) 2013-05-13 2013-05-13 Interactions of virtual objects with surfaces
PCT/US2014/037614 WO2015047453A2 (en) 2013-05-13 2014-05-12 Interactions of virtual objects with surfaces

Publications (2)

Publication Number Publication Date
CN105264461A CN105264461A (zh) 2016-01-20
CN105264461B true CN105264461B (zh) 2018-09-18

Family

ID=51864470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480027872.5A Active CN105264461B (zh) 2013-05-13 2014-05-12 虚拟对象与表面的交互

Country Status (4)

Country Link
US (3) US9245388B2 (zh)
EP (1) EP2997449B1 (zh)
CN (1) CN105264461B (zh)
WO (1) WO2015047453A2 (zh)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9037297B2 (en) * 2011-09-15 2015-05-19 Persimmon Technologies Corporation System and method for operation of a robot
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
JP2014153645A (ja) * 2013-02-13 2014-08-25 Seiko Epson Corp 画像表示装置および画像表示装置の表示制御方法
US9383819B2 (en) * 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US9354702B2 (en) * 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
EP3005300A4 (en) * 2013-06-06 2016-05-25 Ericsson Telefon Ab L M COMBINATION OF A DIGITAL IMAGE WITH A VIRTUAL UNIT
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
US20150145887A1 (en) * 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
CN105874528B (zh) * 2014-01-15 2018-07-20 麦克赛尔株式会社 信息显示终端、信息显示***以及信息显示方法
US20170046879A1 (en) * 2014-04-30 2017-02-16 Robert Paul Severn Augmented reality without a physical trigger
JP6476657B2 (ja) * 2014-08-27 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
KR102194787B1 (ko) * 2014-09-24 2020-12-24 삼성전자주식회사 사용자 기반 센서 정보 획득 방법 및 그 전자 장치
CN105527825B (zh) * 2014-09-28 2018-02-27 联想(北京)有限公司 电子设备和显示方法
US10943395B1 (en) * 2014-10-03 2021-03-09 Virtex Apps, Llc Dynamic integration of a virtual environment with a physical environment
JP6357412B2 (ja) * 2014-12-15 2018-07-11 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
DE102015200750A1 (de) * 2015-01-20 2016-07-21 Bayerische Motoren Werke Aktiengesellschaft Anzeige von Darstellungen auf einem HMD
US9858718B2 (en) * 2015-01-27 2018-01-02 Microsoft Technology Licensing, Llc Dynamically adaptable virtual lists
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US10216982B2 (en) * 2015-03-12 2019-02-26 Microsoft Technology Licensing, Llc Projecting a virtual copy of a remote object
US9791917B2 (en) * 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US10099382B2 (en) 2015-04-27 2018-10-16 Microsoft Technology Licensing, Llc Mixed environment display of robotic actions
US10559086B1 (en) * 2015-05-15 2020-02-11 4DMobile, LLC System for volume dimensioning via holographic sensor fusion
CN107852488B (zh) * 2015-05-22 2021-03-30 三星电子株式会社 用于通过hmd设备显示虚拟图像的***和方法
JP6780642B2 (ja) * 2015-06-15 2020-11-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10416835B2 (en) * 2015-06-22 2019-09-17 Samsung Electronics Co., Ltd. Three-dimensional user interface for head-mountable display
EP3109734A1 (en) * 2015-06-22 2016-12-28 Samsung Electronics Co., Ltd Three-dimensional user interface for head-mountable display
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
EP3113106A1 (en) * 2015-07-02 2017-01-04 Nokia Technologies Oy Determination of environmental augmentation allocation data
US9952656B2 (en) * 2015-08-21 2018-04-24 Microsoft Technology Licensing, Llc Portable holographic user interface for an interactive 3D environment
US10007352B2 (en) 2015-08-21 2018-06-26 Microsoft Technology Licensing, Llc Holographic display system with undo functionality
JP6367166B2 (ja) * 2015-09-01 2018-08-01 株式会社東芝 電子機器及び方法
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
CN105913495A (zh) * 2016-03-31 2016-08-31 联想(北京)有限公司 一种信息处理方法及电子设备
KR102548818B1 (ko) * 2016-04-21 2023-06-28 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
US10469976B2 (en) * 2016-05-11 2019-11-05 Htc Corporation Wearable electronic device and virtual reality system
KR20230113663A (ko) 2016-05-20 2023-07-31 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
KR102577634B1 (ko) 2016-07-25 2023-09-11 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
WO2018031621A1 (en) * 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
CN106249611A (zh) * 2016-09-14 2016-12-21 深圳众乐智府科技有限公司 一种基于虚拟现实的智能家居定位方法、装置和***
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
US10134192B2 (en) * 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object
CN107977071B (zh) * 2016-10-24 2020-02-28 ***通信有限公司研究院 一种适用于空间***的操作方法及装置
WO2018081176A1 (en) * 2016-10-24 2018-05-03 Aquifi, Inc. Systems and methods for contextual three-dimensional staging
GB2555838A (en) * 2016-11-11 2018-05-16 Sony Corp An apparatus, computer program and method
KR20180096078A (ko) * 2017-02-20 2018-08-29 엘지전자 주식회사 모듈형 가정용 로봇
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US10325409B2 (en) 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
US10504277B1 (en) 2017-06-29 2019-12-10 Amazon Technologies, Inc. Communicating within a VR environment
US10817128B2 (en) * 2017-07-11 2020-10-27 Logitech Europe S.A. Input device for VR/AR applications
CN107682236B (zh) * 2017-08-28 2021-07-06 深圳广田智能科技有限公司 基于计算机图像识别的智能家居交互***及方法
CN107656613B (zh) * 2017-09-08 2020-12-18 国网智能科技股份有限公司 一种基于眼动追踪的人机交互***及其工作方法
EP4235263A3 (en) * 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
CN109697002B (zh) * 2017-10-23 2021-07-16 腾讯科技（深圳）有限公司 一种在虚拟现实中对象编辑的方法、相关设备及***
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
JP7118650B2 (ja) * 2018-01-18 2022-08-16 キヤノン株式会社 表示装置
US10839214B2 (en) 2018-03-13 2020-11-17 International Business Machines Corporation Automated intent to action mapping in augmented reality environments
US10467816B2 (en) * 2018-03-23 2019-11-05 Microsoft Technology Licensing, Llc Mixed reality objects
US10916065B2 (en) * 2018-05-04 2021-02-09 Facebook Technologies, Llc Prevention of user interface occlusion in a virtual reality environment
EP3803688A4 (en) * 2018-06-05 2021-08-04 Magic Leap, Inc. MATCHING CONTENT WITH A 3D SPATIAL ENVIRONMENT
US10747302B2 (en) * 2018-06-08 2020-08-18 Facebook Technologies, Llc Artificial reality interaction plane
CN110825280A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 控制虚拟物***置移动的方法、装置和计算机可读存储介质
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US11854148B2 (en) * 2018-11-16 2023-12-26 Microsoft Technology Licensing, Llc Virtual content display opportunity in mixed reality
CN109785445B (zh) * 2019-01-22 2024-03-08 京东方科技集团股份有限公司 交互方法、装置、***及计算机可读存储介质
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
US11137874B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Ergonomic mixed reality information delivery system for dynamic workflows
US10964122B2 (en) * 2019-03-06 2021-03-30 Microsofttechnology Licensing, Llc Snapping virtual object to target surface
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
CN113574591A (zh) * 2019-03-29 2021-10-29 索尼互动娱乐股份有限公司 边界设置设备、边界设置方法和程序
CA3045132C (en) * 2019-06-03 2023-07-25 Eidos Interactive Corp. Communication with augmented reality virtual agents
CN112241198A (zh) * 2019-07-17 2021-01-19 腾讯科技（深圳）有限公司 增强现实场景的实现方法、装置及存储介质
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11475639B2 (en) * 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11669988B1 (en) 2020-02-10 2023-06-06 4DMobile, LLC System and method for three-dimensional box segmentation and measurement
US11354869B2 (en) * 2020-03-17 2022-06-07 Apple Inc. XR preferred movement along planes
JP2023520765A (ja) * 2020-03-24 2023-05-19 マジック リープ， インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
US11763427B2 (en) * 2020-03-31 2023-09-19 Unity IPR ApS Method and system for intelligent importing and transformation of digital assets
CN115461700A (zh) * 2020-05-11 2022-12-09 直观外科手术操作公司 用于基于区域的呈现增强内容的***和方法
US11995774B2 (en) * 2020-06-29 2024-05-28 Snap Inc. Augmented reality experiences using speech and text captions
CN111880657B (zh) * 2020-07-30 2023-04-11 北京市商汤科技开发有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质
US11157740B1 (en) * 2020-08-11 2021-10-26 Amazon Technologies, Inc. Augmented reality object model configuration based on placement location
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
CN116324680A (zh) * 2020-09-11 2023-06-23 苹果公司 用于操纵环境中的对象的方法
CN117032450A (zh) * 2020-09-25 2023-11-10 苹果公司 用于操纵环境中的对象的方法
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
WO2022147031A1 (en) * 2020-12-31 2022-07-07 Snap Inc. Determining gaze direction to generate augmented reality content
US20220221976A1 (en) * 2021-01-13 2022-07-14 A9.Com, Inc. Movement of virtual objects with respect to virtual vertical surfaces
WO2022173724A1 (en) * 2021-02-15 2022-08-18 Dathomir Laboratories Llc Transitioning content in views of three-dimensional environments using alternative positional constraints
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US20230135974A1 (en) * 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control
WO2024029784A1 (ko) * 2022-08-04 2024-02-08 삼성전자 주식회사 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2024128843A1 (ko) * 2022-12-16 2024-06-20 삼성전자주식회사 사용자의 신체 정보에 기반하여 형성된 영역을 이용하여 어플리케이션을 나타내는 시각적 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929391A (zh) * 2012-10-23 2013-02-13 中国石油化工股份有限公司 增强现实的分布式控制***人机交互设备及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10063089C1 (de) 2000-12-18 2002-07-25 Siemens Ag Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
US7843449B2 (en) 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
EP2475182A3 (en) 2011-01-04 2013-04-03 Samsung Electronics Co., Ltd. Display apparatus, 3D glasses, and control method thereof
US8860688B2 (en) 2011-03-02 2014-10-14 Smart Technologies Ulc 3D interactive input system and method
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929391A (zh) * 2012-10-23 2013-02-13 中国石油化工股份有限公司 增强现实的分布式控制***人机交互设备及方法

Also Published As

Publication number Publication date
US9245388B2 (en) 2016-01-26
EP2997449A2 (en) 2016-03-23
US10008044B2 (en) 2018-06-26
WO2015047453A3 (en) 2015-06-11
US20140333666A1 (en) 2014-11-13
EP2997449B1 (en) 2021-12-22
US9530252B2 (en) 2016-12-27
US20170103583A1 (en) 2017-04-13
WO2015047453A2 (en) 2015-04-02
CN105264461A (zh) 2016-01-20
US20160155270A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
CN105264461B (zh) 虚拟对象与表面的交互
KR102435628B1 (ko) 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치
EP3430498B1 (en) Virtual object pathing
JP6730286B2 (ja) 拡張現実視野オブジェクトフォロワー
CN107209570B (zh) 动态自适应虚拟列表
US10409443B2 (en) Contextual cursor display based on hand tracking
TWI567659B (zh) 照片表示視圖的基於主題的增強
KR20170090490A (ko) 시선 타겟 애플리케이션 런처
US10152851B2 (en) Notification artifact display
KR20160148623A (ko) 디스플레이 디바이스 뷰어 시선 유인
CN107209565B (zh) 用于显示固定大小的增强现实对象的方法和***
KR20170036704A (ko) 헤드 마운트형 디스플레이 디바이스를 사용한 다중 유저 시선 투영
KR20170035995A (ko) 가상 현실 환경에서 몰입된 때의 안티 트립

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant