CN109564472B - 用于选取与虚拟对象的交互方法的方法、介质和*** - Google Patents

用于选取与虚拟对象的交互方法的方法、介质和*** Download PDF

Info

Publication number
CN109564472B
CN109564472B CN201780048985.7A CN201780048985A CN109564472B CN 109564472 B CN109564472 B CN 109564472B CN 201780048985 A CN201780048985 A CN 201780048985A CN 109564472 B CN109564472 B CN 109564472B
Authority
CN
China
Prior art keywords
interaction
virtual object
user
virtual
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780048985.7A
Other languages
English (en)
Other versions
CN109564472A (zh
Inventor
J·施瓦茨
J·蒂奇诺
Y·谢里
D·J·卡拉巴瑟
B·阿卢瓦利亚
R·彭杰利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109564472A publication Critical patent/CN109564472A/zh
Application granted granted Critical
Publication of CN109564472B publication Critical patent/CN109564472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在各种实施例中，提供了用于选取与在沉浸式环境中被绘制的虚拟对象的交互方法的计算机化的方法和***。从在至少部分虚拟的环境中被绘制的一个或多个虚拟对象标识预期目标。确定预期目标与用户或用户延伸的相对接近度。基于所确定的与预期目标的相对接近度等，选择用于与预期目标交互的交互方法。然后向用户提供所选交互方法的指示。

Description

用于选取与虚拟对象的交互方法的方法、介质和***
背景技术
诸如虚拟现实、增强现实以及混合现实的沉浸式技术使得用户能够观看并感知计算机生成的三维对象，犹如对象实际存在于用户所感知的环境内。计算的发展已经推动了将这些技术应用于娱乐和企业市场两者的极大开发努力。在一些实例中包括全息图的计算机生成的三维对象的现实感知是这些开发努力中的最大挑战之一。该挑战已经用各种新的创新来满足，诸如头戴式显示器、位置和定向传感器、立体显示器、眼睛跟踪传感器等。
用计算机生成的三维对象提供现实交互式体验是沉浸式技术的另一但非常重要的方面。虽然在该领域中已经取得许多进展，但它仍然是挑战。已经各自开发包括基于控制器的交互方法、自然交互方法以及超自然交互方法的各种交互方法，来促进用户与计算机生成的三维对象的虚拟交互。这些交互方法中的每一个出于它们的预期目的而非常良好地起作用，但是与其他情形相比，其与一些情形更相关。即，一个交互方法在特定情形下可能更直观且自然，而在不同情形下不是那么直观和自然。在动态且不断变化的沉浸式环境中，重要的是对于任何给定情形向用户提供最自然且直观的交互模式。
发明内容
本文所描述的实施例提供用于在沉浸式环境中在交互方法之间选取(mediating)的方法和***。更具体地，基于被分析的上下文信息对于在沉浸式环境内绘制的(rendered)预期目标选择适当的交互方法。本质上，对于任何给定场景动态地选择用于与被绘制对象虚拟交互的适当交互方法。
从在沉浸式环境中绘制的一个或多个虚拟对象标识预期目标。进行上下文信息的分析，以确定用于与预期目标交互的最适当交互方法。然后选择最适当的交互方法，以便用户与预期目标交互。一旦选择用于用户与预期目标交互的适当交互方法，则提供所选交互方法的指示。为此，可以动态地选择用于在沉浸式环境中绘制的任何对象的最适当交互方法，以促进直观交互且沉浸式的体验。
本发明内容被提供为以简化形式引入下面在具体实施方式中被进一步描述的概念的选择。该发明内容不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在被孤立地用作确定所要求保护的主题内容的范围的帮助。
附图说明
下面参照所附附图详细描述本发明，在附图中：
图1是根据本公开的一些实施例的示例性头戴式显示单元的框图；
图2A是根据本公开的一些实施例的、示出了示例性虚拟现实设备环境的示意图；
图2B是根据本公开的一些实施例的、示出了经由示例性头戴式显示器感知的示例性视场的示意图；
图3A至图3C是根据本公开的一些实施例的、示出了描绘自然交互方法的示例性实施方式的示例性视场的示意图；
图4A至图4D是根据本公开的一些实施例的、示出了描绘超自然交互方法的示例性实施方式的示例性视场的示意图；
图5A至图5C是根据本公开的一些实施例的、示出了描绘自然交互方法的另一示例性实施方式的示例性视场的示意图；
图6A至图6C是根据本公开的一些实施例的、示出了描绘超自然交互方法的另一示例性实施方式的示例性视场的示意图；
图7A至图7B是根据本公开的一些实施例的、示出了由可达距离和/或阈值接近度限定的示例性覆盖区域的示意图；
图8A至图8B是根据本公开的一些实施例的、示出了可以由示例性头戴式显示单元或其组件区别地识别的示例性手部特性的示意图；
图9是根据本公开的一些实施例的、示出了用于选取与虚拟对象的交互方法的方法的流程图；
图10是根据本公开的一些实施例的、示出了用于选取与虚拟对象的交互方法的另一方法的流程图；
图11是根据本公开的一些实施例的、示出了头戴式显示单元的示例性增强现实图像的示意图；
图12是根据本公开的一些实施例的示例性头戴式显示单元的框图；以及
图13是适用于在实施本公开的实施例中使用的示例性计算环境的框图。
具体实施方式
沉浸式技术可以启用计算机生成的三维(“3D”)对象的现实感知，并且在一些配置中，可以启用与这些对象的感知交互性。有存在于3D交互研究中的三种主要设计方法：自然主义(即，“自然”)、魔法以及超自然。“自然主义尝试设计确切地以现实世界工作的方式工作或至少在实践中尽可能接近的交互技术。魔法技术尝试通过向用户给予用于执行任务的新能力和非自然方法来增强可用性和性能。超自然技术是使用自然移动但通过向用户给予新能力或智能引导来使得自然移动更有力的魔法技术。提高的交互保真度是区分超自然技术与标准魔法技术的因素。”R.P.McMahan、Kopper,R.以及Bowman,D.A.,“Principles forDesigning Effective 3D Interaction Techniques”,在“虚拟环境手册：设计，实施和应用”，第2版，K.Hale和Stanney,K.Boca Raton,FL:CRC Press,2015年，第285-311页。
然而，这些交互方法或技术中的每一种具有它们的优点和缺点。与3D对象的自然交互具有为用户所熟悉的优点，因为它与我们如何与现实世界中的对象交互对应。然而，与手臂够不到的3D对象交互可能困难。在远处，超自然或魔法交互方法通常优于自然交互方法。通过示例，射线投射是通常由用于与远处对象交互的各种超自然交互方法采用的特征。利用射线投射，例如从用户的手或头投射的各种各样的虚拟光线可以使得用户能够与在远处或够不到的对象交互。然而，使用射线投射与对象交互可能具有挑战性。换言之，特定交互方法根据情况比其他交互方法更适当。
出于本公开的目的，超自然和魔法交互方法将被分组在一起并且被引用为超自然交互方法。然而，预期的是在一些实施例中，魔法和超自然交互方法可以被区分并且认为是与众不同的交互方法，并且对超自然交互方法的任何引用可以引用魔法和超自然交互方法中任何独立的一个或两个。
另一公知的交互方法是基于控制器的交互方法。即，可以利用诸如鼠标、键盘、操纵杆、虚拟现实控制器等的输入设备(或“控制器”)来从被绘制对象标识预期目标，并且在沉浸式环境中与预期目标交互。虽然控制器通常被用于游戏应用，但它们可以在用于与被绘制对象进行基础到高级交互的任何类型的沉浸式应用中被使用。基于控制器的交互方法不一定在每种情形下都是实用的。通过示例，如果绘制的对象可以凭借利用自然交互技术来容易地交互，则控制器可能在一些方面上更受限。在一些其他情形(像游戏)下，控制器可以提供用于与对象交互的更舒适的部件。
本公开的实施例提供了用于在最佳地适于在沉浸式环境中被绘制的预期目标的交互方法之间选取的***和方法。换言之，在沉浸式环境中的用户可以基于所分析的上下文信息以最直观方式与绘制的对象交互。在一些实施例中，还可以基于所分析的上下文信息标识预期目标。
如本文将描述的，上下文信息可以包括所存储数据、所处理数据、和/或所获得的输入数据。根据本文所描述的实施例，输入数据可以包括传感器数据、控制器数据、输入设备数据、或可以被处理并解释为从在沉浸式环境中被绘制的一个或多个虚拟对象确定期望的交互主体的任何其他所获得的电子数据。换言之，可以处理指示从一个或多个绘制的对象进行的用户选择的电子数据，以标识预期目标。预期目标可以在任何距离处、以任何角度或定向虚拟地绘制，或者换言之以强制用户感知如相对于用户被定位在任何距离处、以任何角度或定向而被定位的预期目标的方式来提供，以便显示。
一旦被标识，则根据本公开的实施例可以分析各种类型的上下文信息，以确定用于用户与预期目标交互的最适当交互方法。通过非限制性示例，一种类型的上下文信息可以包括用户与预期目标的相对接近度。即，用户或用户的延伸与预期目标之间的所计算距离。以这种方式，可以针对阈值距离(诸如手臂的平均可达距离(例如，0.7米))进行相对距离的比较，以确定预期目标相对于用户是“靠近”(例如，可触及)还是“远离”(例如，无法触及)。在各种实施例中，上下文信息可以源于确定特定交互方法是否最适合于预期目标的数据或电子信息，该数据或电子信息与预期目标、沉浸式环境、其他绘制的对象、现实世界对象、传感器数据、用户简档、应用状态、或其任何组合相关联。前述示例仅是示例性的，并且不旨在以任何方式限制。
在分析上下文信息之后，确定并选择最适当的交互方法，以向用户提供所确定的、用于与预期目标交互的最佳技术。仅通过示例，如果所分析的上下文信息指示预期目标靠近用户，那么可以确定自然交互方法最适于预期目标。在这方面，用户可以采用任何实施的自然交互方法(例如，用对象控制点进行的直接姿势交互)来与预期目标交互。然而，如果所分析的上下文信息指示预期目标远离用户，那么可以确定超自然交互方法最适于预期目标，并且用户可以采用任何实施的超自然交互方法(例如，利用对象控制点加姿势进行的视线光标交互)来与预期目标交互。在另一示例中，如果所分析的上下文信息指示不管预期目标的相对距离如何，用户已经捡起控制器设备或正在与控制器设备交互，那么可以确定基于控制器的交互方法最适于预期目标。以这种方式，用户可以在需要时始终使用控制器设备，并且控制器可以优先于用于用户与预期目标交互的任何其他交互方法。
根据本文所描述的实施例，沉浸式环境可以包括虚拟现实(“VR”)环境、增强现实(“AR”)环境、以及混合现实(“MR”)环境中的任何一个，每个环境至少部分地被一个或多个计算设备绘制，并且被提供为向用户沉浸式显示。术语“环境”可以引用可用于向用户可感知显示的绘制的对象的一部分或整个集合。例如，在完全虚拟的环境(例如，VR)中，环境可以引用一组或多组绘制的对象、绘制的背景或粒子***或其任何部分和/或组合。在部分虚拟的环境(例如，AR或MR)中，环境可以引用一组或多组绘制的对象、粒子***、现实世界空间或背景幕、或其任何部分和/或组合。
现在参照图1，根据本发明的一些实施例提供了示例性头戴式显示(“HMD”)单元的框图100。HMD 110可以包括若干组件(例如，(多个)传感器组件112、(多个)A/V(音频/视频)输出组件114、光输入组件116、音频输入组件118、和/或计算组件或计算设备120)。如本文所使用的组件是指任何设备、过程或服务或其组合。组件可以使用硬件、软件、固件、专用设备、或其任何组合来实施。组件可以被集成到单个设备中，或者它可以分布在多个设备上。组件的各种方面可以位于一处或为分布式的。组件可以由其他组件及其方面形成。
除了所示出的布置和元件(例如，机器、接口、功能、顺序以及功能的分组等)之外或代替它们，还可以使用它布置和元件，并且可以完全省略一些元件。进一步地，本文所描述的元件中的许多是可以作为离散或分布式组件或连同其他组件且以任何合适组合和位置而被实施的功能实体。本文中被描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来实施。例如，各种功能可以由执行被存储在存储器中的指令的处理器来实施。
在各种实施例中，(多个)传感器组件112、(多个)A/V输出组件114、(多个)光输入组件116、和/或(多个)音频输入组件118可以被集成到HMD 110中，被集成到计算设备120中，或者至少部分地与HMD 110和计算设备120中的每一个集成。类似地，计算设备120可以被集成在HMD 110内，被耦合到HMD 110，或者被***到HMD 110中。
在一些配置中，HMD 110可以采用(多个)传感器组件112等来从沉浸式环境的绘制的部分标识预期目标，确定HMD 110的位置和/或定向，跟踪佩戴HMD 110的用户(未被示出)的物理移动(例如，眼睛跟踪、身体跟踪)，并且在一些实施例中跟踪佩戴HMD 110的用户的生物反馈(例如，脑电波)。在各种配置中，(多个)传感器组件112可以促进用户的视线位置的确定。
在一些另外配置中，HMD 110可以采用(多个)A/V输出组件114来显示或投影用于由用户观察的至少部分虚拟环境的绘制(rendering)。类似地，HMD 110可以采用(多个)光输入组件116来接收用于环境分析和姿势检测的光或运动数据，和/或采用(多个)音频输入组件118来接收用于环境分析和语音命令检测的音频数据。
如下面将更详细描述的，计算设备120除了别的之外还可以包括虚拟对象绘制组件122、虚拟对象目标确定组件124、和/或交互选取组件126。根据本文所描述的实施例，预期前面提及的组件可以被实施在计算设备120的任何一个或多个组件或子组件中。例如，组件122、124、126中的任何一个可以至少部分地被实施在图形处理单元(GPU)、应用代码、固件等内。
根据本文所描述的实施例，(多个)传感器组件112可以包括(多个)定向传感器组件(例如，陀螺仪、加速计以及磁强计)和/或(多个)定位传感器组件(例如，红外光、红外照相机、运动传感器、光传感器、3D扫描仪、CMOS传感器、GPS无线电等)，它们可以促进生成与HMD 110的定向和位置相对应的跟踪数据，该跟踪数据还与由HMD 110的用户感知的视场相对应。
所生成的跟踪数据可以被通信到虚拟对象绘制组件122，该虚拟对象绘制组件可以分析跟踪数据，以修改虚拟化对象被如何绘制并被佩戴HMD 110的用户最终感知。换言之，可以由虚拟对象绘制组件122变换由虚拟对象绘制组件122生成的、在沉浸式环境中被绘制的任何一个或多个虚拟对象，以根据HMD 110的位置和定向修改(多个)绘制的虚拟对象的位置、大小、形状或角度。由虚拟对象绘制组件122绘制的每个虚拟对象被定位在相对于HMD(从而还相对于佩戴HMD的用户)的对应位置处。而且，(多个)绘制的虚拟对象可以根据HMD 110的变化位置和定向由虚拟对象绘制组件122实时连续地修改，以维持绘制的虚拟对象的合适感知和配置。在这方面，如果用户移动为更靠近绘制的虚拟对象，则其相对距离将看似更靠近用户。类似地，如果用户移动离开绘制的虚拟对象，则其相对距离将看似离用户更远。
根据本文所描述的实施例，虚拟对象绘制组件122可以处理所接收的输入数据，以变换从绘制的虚拟对象标识的预期目标。即，各种应用(例如，沉浸式技术软件)可以包括促进由多个交互方法之一促进的、与一个或多个绘制的虚拟对象的用户交互的指令或代码。在标识预期目标时，用户可能能够利用所选的交互方法来移动(例如，重新定位)、变换(例如，缩放、旋转、歪斜、拉伸、扭曲等)、或删除绘制的对象，或者甚至创建新对象。如本文在上面描述的，交互方法可以包括自然或直接交互方法、超自然交互方法、或基于控制器的交互方法等，这些方法各自促进用户交互。
虚拟对象目标确定组件124可以基于所接收到的用户输入来从在沉浸式环境中被绘制的一个或多个虚拟对象确定预期目标。即，基于由HMD获得的输入数据，虚拟对象目标确定组件124可以从在沉浸式环境中的多个绘制的虚拟对象标识预期目标。
根据本文所描述的实施例，由HMD获得的输入数据可以包括由传感器组件112、光输入组件116、音频输入组件118、其任何组合、或可操作为向HMD通信所感测到的电子信息以便分析的任何其他组件获得的电子信息的任何片段。在一个示例中，光输入组件116可以检测用户的手相对于虚拟对象的可感知绘制位置的位置，以感测预期目标。在另一示例中，可以利用眼睛跟踪传感器来检测被指向特定绘制的虚拟对象的用户视线，以感测预期目标。在另一示例中，传感器组件112可以包括侵入式或非侵入式脑机接口。可以利用诸如脑电图(EEG)的非侵入式技术来感测来自用户的预期目标。还可以利用诸如脑皮层电图(ECoG)或被直接植入大脑中的电极(主要被用来帮助具有视觉或运动障碍的人)的侵入式技术来感测来自用户的预期目标。
在一些实施例中，可以简单地基于预期目标与HMD或用户的相对接近度来标识预期目标。例如，如果在HMD用户的可观察视场内绘制第一虚拟对象，那么可以将它标识为预期目标。如果用户遍历环境，使第一虚拟对象在可观察视场之外，以便在可观察视场内绘制第二虚拟对象，那么可以将第二虚拟对象标识为预期目标。
在一些另外的实施例中，预期目标可以由虚拟对象目标确定组件124标识为在用户或其延伸的可及范围内被绘制的一组虚拟对象中的一个。即，可以在用户的可达距离内绘制一组虚拟对象，使得可以与每个虚拟对象直接或自然交互。以这种方式，可以虚拟地触摸该组虚拟对象中的任何一个，并且从而将其标识为预期目标。通过示例，如果在离用户位置0.7米内绘制一组虚拟苏打罐，则用户可以简单地伸出与特定虚拟苏打罐交互，并且通过虚拟地接触特定虚拟苏打罐，用户可以使虚拟对象目标确定组件124将其标识为预期目标。根据本文所描述的实施例，可以经由由用户执行的所识别的姿势来促进自然交互。用户可以使用他们的四肢(例如，手臂、手指、腿、脚趾等)来执行姿势，四肢可以经由光输入组件116(诸如照相机、运动传感器、IR传感器等)来检测。
在一些另外的实施例中，预期目标可以基于到来自一组虚拟对象的一个虚拟对象的所确定的近似用户的手距离，由虚拟对象目标确定组件124来标识。换言之，虚拟对象与用户的手的接近度的近似可以利用由传感器组件112和/或光输入组件116等接收的输入数据来进行。在一些配置中，每个虚拟对象的位置针对朝向由所接收的输入数据指示的方向延伸的用户的手臂的近似或预定义长度(例如，0.7米)之间的简单距离比较可以支持预期目标的标识。在这方面，如果两个虚拟对象被放置为在同一平面上彼此相邻，并且位于离用户相对相等的距离处，则可以将被确定为最靠近用户的手的虚拟对象标识为预期目标。
在一些另外的实施例中，可以分析与用户的手相关联的更复杂细节来促进预期目标的标识。更具体地，基于所接收的输入数据的分析可检测的手的定向、手指定位以及关节角度、姿势(例如，指向)或其他手特性可以使得虚拟对象目标确定组件124能够从一组绘制的虚拟对象标识预期目标。
在一些另外的实施例中，预期目标可以由虚拟对象目标确定组件124标识为超过用户或其延伸的可及范围而被绘制的一组虚拟对象中的一个。即，可以超过用户的可达距离绘制一组虚拟对象，使得不能够与每个虚拟对象直接或自然交互。以这种方式，可以与该组虚拟对象中的任何一个超自然地交互，并且由此将其标识为预期目标。通过示例，如果超过离用户位置0.7米绘制一组虚拟苏打罐，则用户将不能伸出与特定虚拟苏打罐交互。如此，可以利用超自然交互方法的方面来与罐交互。在这方面，用户可以采用各种超自然交互技术(例如，调整视线位置)来选择特定虚拟苏打罐，并且使虚拟对象目标确定组件124将其标识为预期目标。
在一些另外的实施例中，预期目标可以由虚拟对象目标确定组件124标识为在用户或其延伸的可及范围内和超过该范围两者而被绘制的一组虚拟对象中的一个。即，可以靠近或远离用户绘制一组虚拟对象，使得可以与虚拟对象中的一些直接交互，而不能够与其他虚拟对象直接交互。在这种情况下，预期可以实施用于从该组选择预期目标的各种方法。例如，可以采用超自然交互技术的方面(诸如检测用户的视线位置)来标识被定位在用户的可及范围内或超过该范围的绘制的虚拟对象。
在一些另外实施例中，虚拟对象目标确定组件124可以采用(多个)音频输入组件114来检测可识别语音命令、可识别对象名称、或其他可识别的可听输入，以促进预期目标的标识。通过示例，代替视线位置，虚拟对象目标确定组件124可以被配置为经由(多个)音频输入组件114来接收以音频形式的用户输入，以基于用户输入来标识预期目标。在一些实施例中，虚拟对象目标确定组件124可以基于所接收的音频输入接收音频输入(例如，语音输入)或指令，以确定接收与在沉浸式环境中被绘制的特定虚拟对象相对应的关键词、短语或对象名称。以这种方式，在检测到(例如，用户说出)与特定虚拟对象对应的关键词、短语或名称时，可以将该特定虚拟对象标识为预期目标。然后预期随后的用户输入(例如，姿势)可以促进与预期目标的交互(例如，经由虚拟对象绘制组件122)。
根据本文所描述的实施例，预期所描述的实施例中的任何一个或其组合可以由虚拟对象目标确定组件124采用，来从在沉浸式环境中被绘制的一个或多个虚拟对象标识预期目标。还预期可以单独或与所描述的实施方式组合地采用用于选择特定的绘制的虚拟对象的任何其他未被公开的实施例，来促进由虚拟对象目标确定组件124进行的预期目标的标识。
在由虚拟对象目标确定组件124标识预期目标之后，交互选取组件126可以基于由HMD获得或由与HMD通信的组件获得的上下文信息的分析，来选择用于与预期目标交互的最适当的交互方法。根据本文所描述的实施例，可以利用上下文信息的一个或多个片段来动态地分析每个情形，其中，上下文信息的每个片段独立地或与上下文信息的其他片段组合地可以影响用于预期目标的最适当的交互方法的确定和选择。根据本文所描述的实施例，上下文信息可以包括预期目标的特性、所检测的交互的特性、应用状态、用户交互历史、用户简档、以及多用户交互状态，仅举几个例子。
在一些情况下，与预期目标的自然交互方法通常比超自然交互方法优选，使得向用户提供最自然且现实的体验。在这方面，自然与超自然交互方法的选择之间的标准基线确定可以基于预期目标的特性。例如，可以使用预期目标相对于用户(或HMD)的距离来确定是自然还是超自然交互方法最适于与预期目标交互。可以进行确定来确定预期目标是否在相对于用户的阈值距离(例如，D1)内。即，在确定预期目标等于或小于阈值距离(例如，用户的平均可达距离或实际手臂长度)时，可以选择自然交互方法用于与预期目标交互。然而，如果确定预期目标大于阈值距离，则选择超自然交互方法用于与预期目标交互。如本文所描述的，虚拟对象的距离可以由其绘制的位置来确定，该绘制位置可以至少部分地基于虚拟对象的变换矩阵的位置坐标(特别是深度值)等。
还预期交互选取组件126可以向上下文信息的特定片段给予更多的权重，或在一些实例中给予全部的权重。例如，上下文信息的一些片段可能会影响交互选取组件126可以针对预期目标与用户的相对距离比较的阈值距离。在这方面，如果上下文信息的片段引起交互选取组件126针对预期目标与用户的相对距离比较的阈值距离的增加，则用户将更难以与预期目标直接交互。相反，用户可能必须向预期目标倾斜更多或走近预期目标来与预期目标直接交互。诸如用户简档、用户偏好或应用状态等的各种因素可以改变阈值距离，从而调整交互选取组件126的选择灵敏度。
通过示例，如果启用多用户交互，则在多于一个用户可以与同一对象视觉交互的情况下，可能延长阈值距离，因此用户不能够像他们正常可以一样容易地与预期目标交互(例如，他们将不得不伸出得比平常更远一点)。在另一示例中，如果用户简档限定了用户的手臂长度或者限定了阈值距离，则该所限定的距离可以直接转变成预定义阈值距离。在另一示例中，如果用户在一个位置处(例如，在工作)与在另一位置处(例如，在家)相比不同地与预期目标交互，那么可以考虑该上下文信息(例如，GPS位置)来相应地调整阈值距离。在另一示例中，还可以考虑所检测的、对用户的手(例如，张开的手指)的调整来调整阈值距离。在另一示例中，还可以考虑指示用户在各种上下文情形下如何与各种预期目标交互的用户历史来调整阈值距离。
例如，上下文信息的一些片段可以优先于上下文信息的其他片段，使得基于上下文信息的优先片段，对于预期目标选择特定交互方法。虽然在一些情况下，自然交互方法通常可以比超自然交互方法优选，但在一些实施方式中，基于控制器的交互方法可以比自然和超自然交互方法这两者优选。仅通过示例，如果存在使用控制器来与预期目标交互的清楚意图(例如，所检测的控制器按钮的推动、或所检测的控制器的触摸、或所检测的控制器定向或位置的变化等)，则上下文信息的该片段可以指示用户-控制器交互，并且由此立即优先于上下文信息的其他片段，使得由交互选取组件126选择基于控制器的交互方法。
在另一实例中，应用的某些状态(例如，沉浸式技术软件)可能限制可用于用户的交互方法。在这方面，应用状态可以是优先于上下文信息的其他片段的上下文信息的一个片段，使得交互选取组件126基于应用状态选择用于预期目标的特定交互方法。通过示例，如果应用需要在该应用的特定部分期间(例如，介绍场景)选择控制器交互方法，那么应用状态(即，需要控制器交互方法)可以指示控制器交互方法的选择。根据本文所描述的实施例，关于任何已知的交互方法，上述情况也可以适用。
在选择交互方法时，可以接收各种形式的用户输入(例如，经由传感器、输入设备等)，并且这些用户输入如何被解释可以取决于选择哪一种交互方法。以这种方式，在一些实施方式中，一次仅可以利用用于与虚拟对象交互的一种所选交互方法。通过示例，如果选择基于控制器的交互方法，那么经由操纵杆、鼠标、键盘、IR控制器、VR控制器或其他用户输入设备而被接收的用户输入可以支持用户与预期目标的交互。同时，可以忽略由通常经由用于交互的其他交互方法标识的其他输入组件112、116、118检测或感测的其他用户输入(例如，姿势)。
参照图2A至图6C，可以使用示例更详细地解释本公开的实施例。出于解释的目的，在作为预期目标的用户修改(特别是重新调整大小或旋转)的示例中描述与预期目标的交互。在各种实施方式中，绘制的虚拟对象可以包括促进与其自然或超自然交互的一个或多个控制点。如将关于图3A至图3C以及图5A至图5C更详细描述的，可以绘制具有促进与虚拟对象的自然交互的控制点的虚拟对象。以这种方式，用户可以与虚拟对象控制点直接交互，以与虚拟对象交互。在一些另外的实施方式中，可以与预期目标的所选控制点直接交互，以促进基于所选控制点进行的指向的交互或对预期目标的修改。对于自然交互方法，虚拟对象目标确定组件124可以采用(多个)光输入组件116等来检测对控制点直接执行的所识别的姿势(例如，捏和调整)。
对于超自然交互方法，通常与超自然交互关联的各种用户输入可以允许与一些虚拟对象的交互。如上所述且将关于图4A至图4D以及图6A至图6C更详细描述的，可以绘制具有促进与虚拟对象的交互的控制点的虚拟对象。在一些实施例中，虚拟对象目标确定组件124可以基于所检测的用户的视线位置来标识预期目标。通过示例，视线位置可以通过获得基于所接收传感器组件数据(例如，经由(多个)传感器组件112，包括位置传感器、定向传感器、眼睛移动***等中的至少一个)的视场中心值来确定。在一些实施方式中，可以提供视线位置指示符(例如，十字光标)，以便在选择超自然交互方法时向用户显示。根据一些实施例，如果所确定的视线位置与绘制的虚拟对象的一部分相对应，则可以将其标识为预期目标。在一些另外的实施方式中，可以利用视线指示符来选择预期目标的特定控制点，以基于所选控制点执行指向的交互或对预期目标的修改。
现在看图2A，连同由位于其中的用户207操作的HMD 208一起示出了具有由壁205a-205d围绕的房间的示例性操作环境200a。HMD 208或被耦合到HMD的组件可以呈现沉浸式环境或换言之呈现至少部分虚拟的环境，以便向用户207显示并被用户感知。这里，佩戴HMD 208的用户207沿由箭头209指示的方式被定向，使得至少部分虚拟环境的可感知视场210包括左壁和前壁205a、205d的一部分。虽然本文中的图示描绘了混合现实环境，但预期任何沉浸式环境(例如，VR、AR或MR)也可以落在本公开的范围内。由HMD(和/或耦合到HMD的组件)绘制且可由用户207感知的是三个虚拟苏打罐220a-220c，这些苏打罐相对于用户的位置各自被定位在不同距离D1 230a、D2 230b以及D3 230c处。出于这些示例的目的，假定距离D1 230a、D2 230b以及D3 230c各自相对于HMD 208的位置来测量。D1 230a被假定为大约手臂的可达长度(例如，0.7米)远。D2 230b被假定为距离D1 230a的大约两倍(例如，1.4米)，而D3 230c被假定为距离D1 230a的大约三倍(例如，2.1米)。
现在参照图2B，图形图示200b描绘了如在图2A中所配置的并且根据本公开的一些实施方式的、由佩戴HMD 208的用户207感知的视场210。被图示为在视场210内被感知的是用户的现实世界环境(例如，壁205a、205d和地板)以及被描画为苏打罐220a-220c的三个虚拟对象，其中，每个罐220a-220c经由HMD 208来绘制，以增强用户的可观察视场210。虽然这里的图示用增强现实或混合现实来描绘，但预期虚拟现实也在本公开的范围内。
如上所述，每个苏打罐220a-220c相对于用户的位置被定位在不同的距离D1230a、D2 230b以及D3 230c处。同样如上所述，距离D1 230a被假定为大约手臂的可达长度(例如，0.7米)远。用户的左臂240被描绘为部分地延伸且具有与被最近定位的苏打罐220a自然交互的至少足够可及范围。在这方面，预期用于与第一苏打罐220a交互的自然交互方法将最适当。其他苏打罐220b、220c被感知为被定位为超过用户的可及范围，并且因此预期与苏打罐220b、220c自然交互的方法将不适当。相反，与更远的苏打罐220b、220c交互的超自然交互方法可以为用户提供更佳的交互体验。
在各种实施例中，图1的虚拟对象目标确定组件124可以被配置为从诸如苏打罐220a-220c的一个或多个绘制的虚拟对象标识预期目标。如上所述，在一些实施例中，预期目标可以是在用户的可达距离(D1)230a内的绘制的虚拟对象，诸如苏打罐220a。在一些另外的实施例中，预期目标可以是被确定为最靠近用户的手240定位的绘制的虚拟对象，该对象在这里再次将为苏打罐220a。预期可以处理具有用户的手臂的预定义或近似长度的用户的手臂的向量方向，以计算用户的手的相对可达距离。可以将该所计算的相对可达距离与每个绘制的虚拟对象的绘制的位置进行比较，以确定哪个对象最接近用户的手。以这种方式，可以将最近的绘制的虚拟对象标识为预期目标。在一些另外的实施例中，预期目标可以是被确定为与视线位置相交的绘制的虚拟对象。如关于图4A至图4D以及图6A至图6C将更详细描述的，视线位置可以由用户可调整地定位为与特定的绘制的虚拟对象相交，从而选择性地标识预期目标。在更多另外的实施例中，预期目标可以是在由HMD的一个或多个组件(诸如图1的虚拟对象目标确定组件124)检测到可识别姿势的同时被确定为与视线位置相交的绘制的虚拟对象。
现在看图3A，描绘了图形图示300a，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场310。在视场310内的是表示其上配置有八个控制点340a-340h的苏打罐330的绘制的虚拟对象。苏打罐330被定位(即，绘制)用于在用户右手325的可及范围内感知，如此，自然交互方法将最适于该给定情形。在这里并且根据本文所描述的实施例，苏打罐330是在所感知视场310内被绘制的唯一虚拟对象，并且例如可以由图1的虚拟对象目标确定组件124标识为预期目标。而且，因为苏打罐330在预定义阈值距离内的相对距离(例如，小于用户的手臂长度)处被绘制，所以图1的交互选取组件126可以选择用于与苏打罐330交互的最适当的交互方法，在这里为自然交互方法。
现在看图3B，描绘了另一图形图示300b，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场310。这里，用户320已经伸出他的右手325来与苏打罐330的控制点340d直接交互。更具体地，用户已经用他的右手325做出捏的姿势，由此，他的手指捏住苏打罐的最近控制点340d，以实现苏打罐330的修改(例如，拉伸)。
现在看图3C，描绘了另一图形图示300c，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场310。这里，用户320已经执行对应于控制点340d的拉伸姿势(例如，捏和拉)，该控制点与苏打罐330相关联。结果，该自然交互已经引起对苏打罐330的修改，特别是对其放大。
现在参照图4A，描绘了图形图示400a，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场410。在图3A至图3C中描绘的示例之后，用户320使自己远离苏打罐330。在视场410内的是表示其上配置有八个控制点340a-340h的苏打罐330的绘制的虚拟对象。作为用户的所检测到的位置变化(例如，从苏打罐330离开)的结果，HMD可以确定苏打罐330现在被定位(即，绘制)为超过用户的右手325的可及范围(或换言之，超过预定义阈值距离)感知。在这方面，超自然交互方法将最适于给定情形。基于所确定的位置变化，图1的交互选取组件126可以如由视线位置十字光标420指示的选择用于与苏打罐330交互的最适当的交互方法，这里为超自然交互方法。
现在看图4B，描绘了另一图形图示400b，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场410。这里，用户320已经采用超自然交互方法(诸如重定位他的视线位置)来对齐视线位置十字光标420与苏打罐330的控制点340d。如所描述的，视线位置的调整使得用户320能够与远处的虚拟对象交互。在一些方面中，超自然交互方法促进比自然交互方法可以允许的、与远处预期目标的更准确交互。
现在看图4C，描绘了另一图形图示400c，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场410。这里，用户320已经将其右手325引入到可观察视场410中。这里预期由HMD分析(例如，经由光输入组件116)引入到视场中的现实世界对象，以识别用于与预期目标交互的姿势。这里，用户320在他将视线位置十字光标420定位在苏打罐330的控制点340d上的同时用他的右手325做出捏的姿势。姿势被标识为控制点340d处的预期目标的所识别的交互(例如，拉伸)，并且HMD等待来自用户320的另外输入。
现在看图4D，描绘了又一个图形图示400d，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场410。在用户如图4C图示的将其右手325引入到可观察视场410中并且在视线位置十字光标420被定位在控制点340d上的同时用他的右手325做出捏的姿势之后，用户320做出与图3C中类似地执行的拉伸姿势(例如，捏和拉)。虽然用户320已经再次执行了对应于与苏打罐330相关联的控制点340d的拉伸姿势，但在这里，相同操作利用由图1的交互选取组件126为用户320自动选择的超自然交互方法来执行。结果，该自然交互已经引起对苏打罐330的修改，特别是对其放大。
现在看图5A，描绘了图形图示500a，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场510。在视场510内的是表示其上配置有三个控制点520a-520c的苏打罐330的绘制的虚拟对象。苏打罐330被定位(即，绘制)为在用户的右手325的可及范围内感知，如此，自然交互方法将最适于给定情形。在这里并且根据本文所描述的实施例，苏打罐330是在所感知的视场510内被绘制的唯一虚拟对象，并且例如可以由图1的虚拟对象目标确定组件124标识为预期目标。而且，因为苏打罐330在预定义阈值距离内的相对距离(例如，小于用户的手臂长度)处被绘制，所以图1的交互选取组件126可以选择用于与苏打罐330交互的最适当的交互方法，这里为自然交互方法。
现在看图5B，描绘了另一图形图示500b，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场510。这里，用户320已经伸出他的右手325来与苏打罐330的控制点520a直接交互。更具体地，用户已经用他的右手325做出捏的姿势，由此，他的手指捏住苏打罐330的最近控制点520a，以实现苏打罐330的修改(例如，旋转)。
现在看图5C，描绘了又一个图形图示500c，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场510。这里，用户320已经执行对应于控制点520a的旋转姿势(例如，捏和旋转)，该控制点与苏打罐330相关联。结果，该自然交互已经引起对苏打罐330的修改，特别是沿着其轴线的旋转。
现在参照图6A，描绘了图形图示600a，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320(未被示出)感知的视场610。在图5A至图5C中所描绘的示例之后，用户320使自己远离苏打罐330。在视场610内的是表示其上配置有三个控制点520a-520c的苏打罐330的绘制的虚拟对象。作为用户的所检测位置变化(例如，从苏打罐330离开)的结果，HMD可以确定苏打罐330现在被定位(即，绘制)为超过用户的可及范围(或换言之，超过预定义阈值距离)感知。在这方面，超自然交互方法将最适于给定情形。基于所确定的位置变化，图1的交互选取组件126可以如由视线位置十字光标620指示的选择用于与苏打罐330交互的最适当的交互方法，这里为超自然交互方法。
现在看图6B，描绘了另一图形图示600b，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场610。这里，用户320已经采用超自然交互方法(诸如重定位他的视线位置)来对齐视线位置十字光标620与苏打罐330的控制点520b。如所描述的，视线位置的选择性调整使得用户320能够与远处的虚拟对象交互。在一些方面中，超自然交互方法促进比自然交互方法通常可以允许的、与远处预期目标的更准确交互。如所图示的，用户320可以在他将视线位置十字光标620定位在苏打罐330的控制点520b上的同时用他的右手325做出捏的姿势。姿势被标识为控制点520b处的预期目标的所识别的交互(例如，旋转)，并且HMD等待来自用户320的另外输入。
现在看图6C，描绘了又一个图形图示600c，该图示示出了根据本公开的一些实施方式的、由佩戴HMD(未被示出)的用户320感知的视场610。在用户如图6B图示的将其右手325引入到可观察视场610中并且在视线位置十字光标620被定位在控制点520b上的同时用他的右手325做出捏的姿势之后，用户320做出与图5C中类似地执行的旋转姿势(例如，捏和旋转)。虽然用户320已经再次执行了对应于与苏打罐330相关联的控制点520b的旋转姿势，但在这里，相同操作利用超自然交互方法来执行，该超自然交互方法通过图1的交互选取组件126为用户320自动选择。结果，该自然交互已经引起对苏打罐330的修改，特别是其旋转。
现在参照图7A至图7B以及图8A至图8B，可以使用所提供的图示来更详细地解释本公开的方面。如本文所描述的，用户的可达距离可以用平均人类可达距离值(例如，0.7米)来预定义，可以是为用户定制的输入值，或者可以基于所获得的输入数据而被确定为近似值。在任何实例中，可达距离(D1)710等可以大致等同于由本文所描述的实施例利用的阈值，以标识预期目标和/或确定用于预期目标的最适当的交互方法。
现在看图7A和图7B，描绘了图形图示700a、700b，这些图示示出了由被定义为大致接近值D1 710的可达距离和/或阈值限定的覆盖区域。还可以限定具有源自对应的参考点(诸如用户的肩膀720)处的半径D1 710的球形覆盖区域。在这方面，在由半径D1 710限定的球形区域内被绘制的任何虚拟对象可以向HMD(特别是虚拟对象目标确定组件124和/或交互选取组件126)提供上下文信息，以动态地选择用于标识预期目标和/或与预期目标交互的自然交互方法。另一方面，在由半径D1 710限定的球形区域之外被绘制的任何虚拟对象可以向HMD(特别是虚拟对象目标确定组件124和/或交互选取组件126)提供上下文信息，以动态地选择用于标识预期目标和/或与预期目标交互的超自然交互方法。
现在看图8A和图8B，描绘了图形图示800a、800b，这些图形图示示出了可以由HMD(特别是虚拟对象目标确定组件124和/或交互选取组件126)分析的变化的手特性。每个变化的手特性可以被处理为上下文信息，该上下文信息用于确定特定的绘制的虚拟对象是否是预期目标和/或特定的交互方法是否最适于预期目标。看图8A，并且出于该示例的目的，阈值距离由是相对距离的D1 810定义，用户820或其延伸必须跨越该相对距离，以便将特定的绘制的虚拟对象标识为预期目标或确定应选择自然交互方法来与预期目标交互。这里，用户820用其手指825握拳，这可以由HMD或其组件识别为限制用户820的可达距离。换言之，可以在上下文信息中推断完全展开的手的故障，以确定用户820尚未指示参与特定的绘制的虚拟对象或切换到特定交互方法的明确期望。在这方面，用户820横跨阈值距离D1 810的故障可以被识别为上下文信息，以防止特定的绘制的虚拟对象被标识为预期目标或维持用于与虚拟对象交互而被选择的超自然交互方法。
然而，现在从图8A继续看图8B，现在用户的手指825伸开，使得用户的指尖830现在延伸超过阈值距离D1 810。为此，HMD或其组件可以将伸开的手指825识别为上下文信息，以确定特定的绘制的虚拟对象(例如，被直接定位在所指向的手指前面的对象)将被标识为预期目标，或者自然交互方法最适于预期目标。
前述示例旨在为非限制性的，并且仅是由本文所描述的实施例覆盖的许多潜在实施例的示例。预期可以利用各种实施方式来表示对象、姿势、方法或阈值(包括其变体或布置)中的任何一个。
现在鉴于图1至图8B参照图9，图9是示出了用于选取与在沉浸式环境中被绘制的虚拟对象的交互方法的方法900的流程图。方法900和本文所描述的其他方法的每个框包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，各种功能可以由执行被存储在存储器中的指令的处理器来执行。方法还可以被体现为被存储在计算机存储介质上的计算机可用指令。举几个例子，方法可以由独立的应用、服务或托管服务(独立或与另一托管服务组合)或到另一产品的插件来提供。
最初，在框910处，例如由图1的虚拟对象目标确定组件124从在沉浸式环境中被绘制的一个或多个虚拟对象标识预期目标。沉浸式环境可以包括在假的计算机生成的世界(例如，VR)中被绘制的一个或多个虚拟对象，或者可以包括用于现实世界(例如，AR/MR)的增强或与现实世界的混合而被绘制的一个或多个虚拟对象。
在框920处，例如使用从图1的虚拟对象绘制组件122接收的信息来确定与所标识的预期目标的相对接近度。换言之，确定用户与在框910处被标识的预期目标之间的距离。如本文所描述的，相对接近度可以基于与预期目标相关联的绘制信息来确定。该绘制信息可以从与预期目标相关联的变换矩阵或投影矩阵等提取。在一些实例中，相对接近度还可以基于用户的延伸(例如，用户的手、脚或手持的对象)与预期目标之间的近似的或计算的距离。根据本文所描述的实施例，该距离可以利用HMD或被耦合到HMD的组件来确定。
在框930处，基于所确定的与预期目标的相对接近度，例如由图1的交互选取组件126选择用于与预期目标交互的交互方法。即，可以基于用户到预期目标的距离(还包括用户的延伸)来选择用于与预期目标交互的最适当方法。
在框940处，提供用于与预期目标交互的所选交互方法的指示。即，一旦选择所选交互方法，则通知用户当前采用特定交互方法用于与预期目标交互。通过示例，如果选择超自然交互方法(特别是视线和姿势组合方法)来与预期目标交互，则可以向用户呈现可以明确指示超自然交互方法的选择的视线位置十字光标。另一方面，如果选择自然交互方法，则视线位置十字光标可能消失，使得与附近虚拟对象的任何直接自然交互可用于用户。
现在鉴于图1至图8B参照图10，图10是示出了用于选取与在沉浸式环境中被绘制的虚拟对象的交互方法的方法1000的流程图。方法1000和本文所描述的其他方法的每个框包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，各种功能可以由执行被存储在存储器中的指令的处理器来执行。方法还可以被体现为被存储在计算机存储介质上的计算机可用指令。举几个例子，方法可以由独立的应用、服务或托管服务(独立或与另一托管服务组合)或到另一产品的插件来提供。
最初，在框1010处，从在沉浸式环境中被绘制的一个或多个虚拟对象标识预期目标。沉浸式环境可以包括在假的计算机生成的世界(例如，VR)中被绘制的一个或多个虚拟对象，或者可以包括用于现实世界(例如，AR/MR)的增强或与现实世界的混合而被绘制的一个或多个虚拟对象。例如，根据本文所描述的实施例，可以采用图1的虚拟对象目标确定组件124来促进基于所接收的输入数据和/或所分析的上下文信息进行的、预期目标的标识。
在框1020处，选择多个交互方法之一用于与预期目标交互。该选择基于上下文信息来动态地进行，该上下文信息例如由图1的交互选取组件126来获得。通过示例，可以采用图1的交互选取组件126来根据所分析的上下文信息的片段进行自然交互方法、超自然交互方法或基于控制器的交互方法的选择。
在框1030处，提供用于与预期目标交互的所选交互方法的指示。即，一旦选择所选交互方法，则通知用户当前采用特定交互方法来与预期目标交互。通过示例，如果选择超自然交互方法(特别是视线和姿势组合方法)来与预期目标交互，则可以向用户呈现可以明确指示超自然交互方法的选择的视线位置十字光标。另一方面，如果选择自然交互方法，则视线位置十字光标可能消失，使得与附近虚拟对象的任何直接自然交互可用于用户。
参照图11，描绘了头戴式显示(HMD)设备1102的示例性图像。由HMD设备提供的绘制的虚拟对象通常出现在虚拟现实配置中的绘制的空间中。然而，在增强现实配置中，虚拟对象(例如，1104A和1104B)可以看似被叠加在现实世界背景上，并且可以看似与背景交互或与背景一体。在增强现实配置中，背景由现实世界场景(例如，用户将在没有由HMD设备发射的增强现实图像的情况下感知的场景)组成。例如，苏打罐1104B可以看似位于架子顶上，而苏打罐1104A可以看似位于工作台面顶上。
转到图12，根据本文所描述的实施例描述了用于增强现实应用的混合现实HMD设备1202，增强现实应用具有虚拟对象绘制组件1204、虚拟对象目标确定组件1206以及交互选取组件1208等。HMD设备1202包括***片1210，该***片与眼镜镜片类似地被放置在用户眼睛1212的前面。预期可以提供一对***片1210，一个镜片用于一只眼睛1212。镜片1210包括光显示组件1214，诸如分束器(例如，半镀银镜)。HMD设备1202包括促进更改增强现实图像的亮度的增强现实发射器1220。除了未被示出的其他组件之外，HMD设备还包括处理器1222、存储器1224、接口1226、总线1228、以及附加的HMD组件1230。增强现实发射器1220发射表示由光线1242例示的增强现实图像1240的光。来自现实世界场景1250的光(诸如光线1252)到达镜片1210。可以使用附加的光学器件来重新聚焦增强现实图像1240，使得它看似源于离眼睛1212几英尺远，而不是显示组件1214实际上处于的一英寸远。存储器1224可以包含由处理器1222执行为使得增强现实发射器1220能够执行如所描述的功能的指令。处理器中的一个或多个可以被认为是控制电路。增强现实发射器使用总线1228和其他合适的通信路径与附加的HMD组件1230通信。如由光线1216例示的，增强现实图像1240由显示组件1214朝向用户的眼睛反射，使得用户看到图像1218。在图像1218中，现实世界场景1250的一部分(诸如工作台面)连同诸如罐的整个增强现实图像1240一起可见。因此，用户可以看到罐在该示例中位于工作台面顶上的混合现实图像1218。
除了所示出的布置和元件(例如，机器、接口、功能、顺序以及功能的分组等)之外或代替它们，还可以使用其它布置和元件，并且可以完全省略一些元件。进一步地，本文所描述的元件中的许多是可以作为离散或分布式组件或与其他组件一起并且以任何合适组合和位置实施的功能性实体。本文中被描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如，各种功能可以由执行被存储在存储器中的指令的存储器来执行。
已经描述了本发明的实施例，下面描述可以实施本发明的实施例的示例性操作环境，以便提供用于本发明的各种方面的一般上下文。最初特别地参照图13，用于实施本发明的实施例的示例性操作环境被示出并通常指定为计算设备1300。计算设备1300仅是合适计算环境的一个示例并且不旨在暗示关于本发明的使用范围或功能的任何限制。计算设备1300也不应被解释为具有关于所图示组件中的任何一个或组合的任何依赖关系或要求。
本发明可以在计算机代码或机器可用指令的一般上下文中被描述，计算机代码或机器可用指令包括由计算机或其他机器(诸如个人数字助理或另一手持式设备)执行的计算机可执行指令，诸如程序模块。通常，包括例程、程序、对象、组件、数据结构等的程序模块涉及执行特定任务或实施特定抽象数据类型的代码。本发明可以在各种***配置(包括手持式设备、消费者电子产品、通用计算机、更专用的计算设备等)中被实践。本发明还可以在分布式计算环境中被实践，其中任务由通过通信网络被链接的远程处理设备来执行。
参照图13，计算设备1300包括总线1310，该总线1310直接或间接地耦合以下设备：存储器1312、一个或多个处理器1314、一个或多个呈现组件1316、输入/输出端口1318、输入/输出组件1320以及图示性电源1322。总线1310表示可以为一个或多个总线(诸如地址总线、数据总线或其组合)的内容。虽然为了清楚起见，图13的各种框用线来示出，但实际上，描画出各种组件不是如此清晰，并且比喻地，线更准确地将为灰色且模糊的。例如，人可以将诸如显示设备的呈现组件认为是I/O组件。而且，处理器具有存储器。我们认识到：这是本领域的性质，并且重申：图13的图仅图示了可以结合本发明的一个或多个实施例使用的示例性计算设备。在诸如“工作站”、“服务器”、“膝上型电脑”、“手持式设备”等的这种类别之间不进行区分，因为所有这些类别被预期在图13的范围内且参考“计算设备”。
计算设备1300通常包括各种计算机可读介质。计算机可读介质可以是由计算设备1300可以访问的任何可用介质，并且包括易失性和非易失性介质、可移除和不可移除介质两者。通过示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。
计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性的、可移除和不可移除的介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪速存储器或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光盘存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备或可以被用来存储期望信息并且可以由计算设备1300访问的任何其他介质。计算机存储介质排除信号本身。
通信介质通常体现计算机可读指令、数据结构、程序模块或经调制数据信号(诸如载波或其他传输机制)中的其他数据，并且包括任何信息递送介质。术语“经调制数据信号”意指其一个或多个特性以编码信号中的信息的这种方式来设置或改变的信号。通过示例而非限制，通信介质包括有线介质(诸如有线网络或直接连线连接)和无线介质(诸如声学、RF、红外以及另一无线介质)。上述中的任何内容的组合也应被包括在计算机可读介质的范围内。
存储器1312包括为易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移除的、不可移除的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备1300包括从各种实体(诸如存储器1312或I/O组件1320)读取数据的一个或多个处理器。(多个)呈现组件1316向用户或另一设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等。
I/O端口1318允许计算设备1300被逻辑地耦合到包括I/O组件1320的其他设备，I/O组件中的一些可以是内置的。图示的组件包括麦克风、操纵杆、游戏垫、碟形卫星天线、扫描仪、打印机、无线设备等。
以下段落中所描述的实施例可以与具体描述的备选方案中的一个或多个组合。特别地，被要求保护的实施例在备选方案中可以包含对多于一个其他实施例的参考。被要求保护的实施例可以指定所要求保护的主题内容的另外限制。
相应地，在本文所描述的一个实施例中，提供了一种用于选取与在沉浸式环境中被绘制的虚拟对象的交互方法的方法。方法包括：从在至少部分虚拟的环境中被绘制的一个或多个虚拟对象标识预期目标。方法还包括：确定与预期目标的相对接近度。方法还包括：至少部分地基于所确定的与预期目标的相对接近度选择用于与预期目标交互的交互方法。方法还包括：提供用于与预期目标交互的所选交互方法的指示。
在一些实施例中，交互方法是自然交互方法、超自然交互方法以及基于控制器的交互方法中的任一个。
在一些实施例中，预期目标基于所接收输入数据来标识。
在一些实施例中，选择用于与预期目标交互的交互方法还部分地基于所接收的输入数据。
在一些实施例中，所接收的输入数据包括视线数据、眼睛跟踪数据、音频数据、语音数据、输入设备数据、光数据、红外数据、位置数据、定位数据、定向数据、脑电波数据(例如，EEG数据)、所植入的电极数据以及姿势数据中的至少一个。
在一些实施例中，相对接近度是预期目标相对于头戴式显示器、用户的所检测身体部分以及用户的所检测延伸中的至少一个的距离。
在一些实施例中，用于与预期目标交互的交互方法还部分地基于所确定的相对接近度与阈值接近度或“距离”之间的比较来选择。
在一些实施例中，在所确定的相对接近度在阈值接近度内时，选择自然交互方法，并且其中，在所确定的相对接近度超过阈值接近度时，选择超自然交互方法。
在一些实施例中，在检测到控制器设备交互时，选择控制器交互方法。
在一些实施例中，阈值接近度至少部分地基于上下文信息。
在一些实施例中，上下文信息包括用户简档、传感器数据、用户输入数据、用户交互历史、应用状态以及多用户交互状态中的至少一个。
在一些实施例中，与预期目标的相对接近度至少部分地基于与预期目标相关联的变换矩阵的一部分。
在本文所描述的另一实施例中，提供了其上体现有计算机可执行指令的一个或多个计算机存储介质，这些指令在由一个或多个处理器执行时，使一个或多个处理器执行操作，这些操作用于选取针对在沉浸式环境中被绘制的虚拟对象的虚拟交互方法。操作包括从在至少部分虚拟的环境中被绘制的至少一个虚拟对象标识预期目标。操作还包括基于上下文信息选择用于与预期目标交互的多个交互方法中的一个。操作还包括提供用于与预期目标交互的所选交互方法的指示。
在一些实施例中，交互方法是自然交互方法和超自然交互方法中的一个。
在一些实施例中，上下文信息包括应用状态。
在一些实施例中，上下文信息还包括所确定的与预期目标的相对接近度。
在一些实施例中，相对接近度是预期目标相对于头戴式显示器、用户的所检测身体部分以及用户的所检测延伸中的至少一个的距离。
在本文所描述的又一实施例中，提供了一种用于选取沉浸式环境中的虚拟交互方法的***。***包括处理器和被配置用于向处理器提供与计算机组件相关联的计算机程序指令的存储器。***还包括交互选取组件，该交互选取组件被配置为至少部分地基于应用状态选择用于与预期目标虚拟交互的多个交互方法中的一个，预期目标是在至少部分虚拟环境中被绘制的至少一个虚拟对象。
在一些实施例中，***还包括被配置为绘制至少部分虚拟环境中的多个虚拟对象的虚拟对象绘制组件。
在一些实施例中，***还包括被配置为基于所接收的用户输入数据来从至少一个绘制的虚拟对象标识预期目标的虚拟对象目标确定组件。
在一些实施例中，交互选取组件被配置为还基于控制器设备交互状态选择多个交互方法中的一个以用于与预期目标虚拟交互。
本文具体描述了本发明的实施例的主题内容，以满足法定要求。然而，描述本身不旨在限制本专利的范围。相反，发明人已经预期：所要求保护的主题内容还可以连同其他当前或将来技术一起以其他方式而被体现为包括与本文档中所描述的步骤不同的步骤或类似的步骤的组合。而且，虽然术语“步骤”和/或“框”在本文可以被用来暗示所采用方法的不同元素，但术语不应被解释为暗指本文所公开的各种步骤中或之间的任何特定顺序，除非且除了在明确描述单独步骤的顺序时。
出于本公开的目的，词语“包括(including)”具有与词语“包括(comprising)”相同的广义含义，并且词语“访问(accessing)”包括“接收(receiving)”、“引用(referencing)”或“检索(retrieving)”。另外，诸如“一(a)”和“一个(an)”的词语除非另有相反指示，否则包括复数以及单数。因此，例如，在一个或多个特征存在的情况下满足“特征”的约束。而且，术语“或”包括连接词、反义连接词以及两者(因此，a或b包括：a或b其中一个、以及a和b)。
出于上述的详细讨论的目的，参照头戴式显示单元描述了本发明的实施例；然而，本文所描绘的头戴式显示单元仅是示例性的。组件可以被配置用于执行实施例的新颖方面，其中，被配置用于包括：被编程以执行特定任务、或使用代码实施特定抽象数据类型。进一步地，虽然本发明的实施例可以一般地涉及头戴式显示单元以及本文所描述的示意图，但应该理解，所描述的技术可以被延伸到其他实施方式上下文。
已经关于特定实施例描述了本发明的实施例，这些特定实施例旨在在所有方面上为图示性的，而不是限制性的。备选实施例将在不偏离本发明范围的情况下对本发明所属领域的普通技术人员变得明显。
从上述内容，将看到，本发明整体上良好地适于将上文中所阐述的所有目标和目的连同明显且为结构固有的其他优点一起实现。
将理解，特定特征和子组合是实用的，并且可以在不参照其他特征或子组合的情况下被采用。这由权利要求预期并且在权利要求的范围内。

Claims (20)

1.一种用于选取与虚拟对象的交互方法的计算机实现的方法，所述方法包括：
由被耦合至头戴式显示器的计算设备基于在至少部分虚拟的环境中被绘制的第一虚拟对象的确定的相对距离选择针对所述第一虚拟对象的多个交互方法中的一个交互方法，使得与所述第一虚拟对象的第一确定的相对距离相关联的交互方法与关联于第二确定的相对距离的交互方法离散地不同；
由所述计算设备至少部分地基于对应于所述第一虚拟对象的第一接收的输入标识所述第一虚拟对象是预期目标对象，所述第一接收的输入根据所述虚拟对象的所选的所述交互方法而被检测；以及
由所述计算设备提供第一指示，所述第一指示与所述第一虚拟对象的所选的所述交互方法对应，所选的所述交互方法用以促进与所述第一虚拟对象的交互。
2.根据权利要求1所述的计算机实现的方法，其中所选的所述交互方法是以下中的一个：用于直接操纵虚拟对象的自然交互方法和用于间接操纵虚拟对象的超自然交互方法。
3.根据权利要求2所述的计算机实现的方法，其中所述第一确定的相对距离进一步基于限定的阈值距离而被确定。
4.根据权利要求3所述的计算机实现的方法，其中所述自然交互方法基于针对所述第一确定的相对距离在所述限定的阈值距离内的第一确定来选择，并且其中所述超自然交互方法基于针对所述第一确定的相对距离超出所述限定的阈值距离的第二确定来选择。
5.根据权利要求4所述的计算机实现的方法，其中控制器交互方法基于针对控制器设备交互被接收的第三确定来选择。
6.根据权利要求3所述的计算机实现的方法，其中所述限定的阈值距离基于所获得的上下文信息来限定。
7.根据权利要求6所述的计算机实现的方法，其中所述所获得的上下文信息包括以下中的至少一项：所存储的用户简档、所存储的用户交互历史、确定的应用状态、确定的交互特性以及确定的多用户交互状态。
8.根据权利要求1所述的计算机实现的方法，其中针对多个虚拟对象中的每个虚拟对象，所述多个交互方法中的一个交互方法进一步部分地基于以下来选择：确定的应用状态、所存储的用户交互历史、所存储的用户简档、以及确定的多用户交互状态。
9.根据权利要求1所述的计算机实现的方法，其中所述第一接收的输入包括以下中的至少一项：视线数据、眼睛跟踪数据、音频数据、语音数据、输入设备数据、光数据、红外数据、位置数据、定位数据、定向数据以及姿势数据。
10.根据权利要求1所述的计算机实现的方法，其中所述第一确定的相对距离基于以下中的至少一项来确定：所述头戴式显示器的确定的位置、所述头戴式显示器的用户的身体部分的确定的位置以及所述用户的延伸的确定的位置。
11.根据权利要求1所述的计算机实现的方法，其中所述第一确定的相对距离至少部分地基于与所述第一虚拟对象相关联的变换矩阵的一部分来确定。
12.根据权利要求1所述的计算机实现的方法，所述方法进一步包括：
由所述计算设备至少部分地基于对应于第二虚拟对象的第二接收的输入标识所述第二虚拟对象，所述第二接收的输入根据所述第二虚拟对象的所选的所述交互方法而被检测；以及
由所述计算设备提供第二指示，所述第二指示与所述第二虚拟对象的所选的所述交互方法对应，所选的所述交互方法用以促进与所述第二虚拟对象的交互。
13.根据权利要求12所述的计算机实现的方法，基于所述第一虚拟对象的所述第一确定的相对距离与所述第二虚拟对象的所述第二确定的相对距离的不同，所述第二指示与所述第一指示不同。
14.一个或多个计算机存储介质，其上实施有计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使所述一个或多个处理器执行一种用于选取虚拟交互方法的方法，所述方法包括：
基于在至少部分虚拟的环境中被绘制的虚拟对象的所确定的相对距离，确定用以与所述虚拟对象相关联的多个交互方法中的一个交互方法，使得与所述虚拟对象的第一相对距离相关联的交互方法与关联于第二相对距离的交互方法离散地不同；
至少部分地基于对应于所述虚拟对象的接收的输入，标识所述虚拟对象是预期目标对象，所述输入根据与所标识的所述虚拟对象相关联的所确定的交互方法而被接收；以及
提供指示，所述指示与与所标识的所述虚拟对象相关联的所述确定的交互方法对应，所述确定的交互方法用以促进与所标识的所述虚拟对象的至少一个交互。
15.根据权利要求14所述的一个或多个计算机存储介质，其中所述确定的交互方法包括以下中的一个：用于直接操纵虚拟对象的自然交互方法和用于间接操纵虚拟对象的超自然交互方法。
16.根据权利要求14所述的一个或多个计算机存储介质，其中所述至少部分虚拟的环境经由应用而被绘制，并且其中所述虚拟对象进一步部分地基于所述应用的确定的状态而被标识。
17.根据权利要求14所述的一个或多个计算机存储介质，其中所述确定的相对距离对应于所述虚拟对象与以下至少一项的确定的距离：头戴式显示器，所述至少部分虚拟的环境在所述头戴式显示器上被显示、与所述头戴式显示器的用户的所检测的身体部分相对应的确定的位置、以及与所述用户的所检测的延伸相对应的另一确定的位置。
18.一种用于选取虚拟交互方法的***，所述***包括：
处理器和被配置为向所述处理器提供计算机程序指令的存储器；以及
交互选取组件，所述交互选取组件被配置为提供与被选择用于与所标识的预期目标对象相关联的交互方法相对应的指示，所述指示至少部分地基于与所述标识的预期目标对象相对应的接收的输入来提供，其中针对所述标识的预期目标对象，来自多个交互方法的所述交互方法基于所述标识的预期目标对象的确定的相对距离而被选择，使得与所述预期目标对象的第一确定的相对距离相关联的交互方法与关联于第二确定的相对距离的交互方法离散地不同。
19.根据权利要求18所述的***，进一步包括：
虚拟对象绘制组件，所述虚拟对象绘制组件被配置为在至少部分虚拟的环境中绘制多个虚拟对象，所述预期目标对象基于所述接收的输入从被绘制的所述多个虚拟对象中被标识；以及
虚拟对象目标确定组件，所述虚拟对象目标确定组件被配置为基于所述接收的输入从所述多个虚拟对象中标识所述预期目标对象。
20.根据权利要求18所述的***，所述交互选取组件进一步被配置为基于所检测的控制器设备交互状态来选择用于与所述标识的预期目标对象的虚拟交互的控制器交互方法。
CN201780048985.7A 2016-08-11 2017-08-03 用于选取与虚拟对象的交互方法的方法、介质和*** Active CN109564472B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/234,805 US10234935B2 (en) 2016-08-11 2016-08-11 Mediation of interaction methodologies in immersive environments
US15/234,805 2016-08-11
PCT/US2017/045208 WO2018031354A1 (en) 2016-08-11 2017-08-03 Mediation of interaction methodologies in immersive environments

Publications (2)

Publication Number Publication Date
CN109564472A CN109564472A (zh) 2019-04-02
CN109564472B true CN109564472B (zh) 2022-03-15

Family

ID=59582062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048985.7A Active CN109564472B (zh) 2016-08-11 2017-08-03 用于选取与虚拟对象的交互方法的方法、介质和***

Country Status (4)

Country Link
US (1) US10234935B2 (zh)
EP (1) EP3497542A1 (zh)
CN (1) CN109564472B (zh)
WO (1) WO2018031354A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10360736B2 (en) * 2017-03-15 2019-07-23 Facebook, Inc. Visual editor for designing augmented-reality effects
US10957119B2 (en) * 2017-03-15 2021-03-23 Facebook, Inc. Visual editor for designing augmented-reality effects
US10254846B1 (en) * 2017-03-15 2019-04-09 Meta Company Systems and methods to facilitate interactions with virtual content in an augmented reality environment
US10639510B2 (en) * 2017-03-20 2020-05-05 The Trustees Of Columbia University In The City Of New York Human musculoskeletal support and training system methods and devices
US10565671B2 (en) 2017-04-24 2020-02-18 Intel Corporation Reduce power by frame skipping
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
US10515484B1 (en) * 2017-10-20 2019-12-24 Meta View, Inc. Systems and methods to facilitate interactions with virtual content in an interactive space using visual indicators
US11733824B2 (en) 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
US10810758B2 (en) * 2018-06-27 2020-10-20 General Electric Company Method and system using augmentated reality for positioning of ECG electrodes
CN111309142A (zh) 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
WO2020121483A1 (ja) * 2018-12-13 2020-06-18 マクセル株式会社 表示端末、表示制御システムおよび表示制御方法
US11107265B2 (en) * 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Holographic palm raycasting for targeting virtual objects
US11320957B2 (en) * 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Near interaction mode for far virtual object
US11334212B2 (en) * 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US11422669B1 (en) 2019-06-07 2022-08-23 Facebook Technologies, Llc Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
FR3104743B1 (fr) * 2019-12-17 2022-07-15 Orange Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants.
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
CN111610997A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、展示***及装置
CN111610998A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
WO2021238145A1 (zh) * 2020-05-26 2021-12-02 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11954266B2 (en) * 2021-12-20 2024-04-09 Htc Corporation Method for interacting with virtual world, host, and computer readable storage medium
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102356373A (zh) * 2009-03-20 2012-02-15 微软公司 虚拟对象操纵
CN104246682A (zh) * 2012-03-26 2014-12-24 苹果公司 增强的虚拟触摸板和触摸屏
CN105518575A (zh) * 2013-08-05 2016-04-20 微软技术许可有限责任公司 与自然用户界面的双手交互

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090109215A1 (en) 2007-10-31 2009-04-30 Fein Gene S Method and apparatus for user interface communication with an image manipulator
CN102150072B (zh) 2008-07-10 2013-08-21 实景成像有限公司 宽视角显示和用户接口
US8717360B2 (en) 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US20140152558A1 (en) 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9443354B2 (en) 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US20160019718A1 (en) * 2014-07-16 2016-01-21 Wipro Limited Method and system for providing visual feedback in a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102356373A (zh) * 2009-03-20 2012-02-15 微软公司 虚拟对象操纵
CN104246682A (zh) * 2012-03-26 2014-12-24 苹果公司 增强的虚拟触摸板和触摸屏
CN105518575A (zh) * 2013-08-05 2016-04-20 微软技术许可有限责任公司 与自然用户界面的双手交互

Also Published As

Publication number Publication date
US20180046245A1 (en) 2018-02-15
EP3497542A1 (en) 2019-06-19
US10234935B2 (en) 2019-03-19
CN109564472A (zh) 2019-04-02
WO2018031354A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
CN109564472B (zh) 用于选取与虚拟对象的交互方法的方法、介质和***
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11557102B2 (en) Methods for manipulating objects in an environment
JP7492558B2 (ja) 視野周辺の視覚的背光
US11367410B2 (en) Eclipse cursor for mixed reality displays
US20220084279A1 (en) Methods for manipulating objects in an environment
US9829989B2 (en) Three-dimensional user input
US20180157323A1 (en) Eye gaze determination
US20230186578A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
CN114995594A (zh) 使用姿势和多dof控制器与3d虚拟对象的交互
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
US11314396B2 (en) Selecting a text input field using eye gaze
JPWO2014141504A1 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
CN114647317A (zh) 由***设备启用的远程触摸检测
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230152935A1 (en) Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant