CN110007750A - 实体对象与虚拟对象的增强现实绑定 - Google Patents

实体对象与虚拟对象的增强现实绑定 Download PDF

Info

Publication number
CN110007750A
CN110007750A CN201811510734.9A CN201811510734A CN110007750A CN 110007750 A CN110007750 A CN 110007750A CN 201811510734 A CN201811510734 A CN 201811510734A CN 110007750 A CN110007750 A CN 110007750A
Authority
CN
China
Prior art keywords
posture
virtual
virtually
binding
computer equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811510734.9A
Other languages
English (en)
Inventor
G·J·安德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN110007750A publication Critical patent/CN110007750A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了实体对象与虚拟对象的增强现实绑定。提供了用于生成虚拟绑定的***、装置和用于管理数据存储的计算机可读介质。在实施例中，用户可执行一个或多个姿势和/或话音命令，以创建与实体对象的虚拟绑定，其中，所创建的虚拟绑定可基于实体对象的属性来呈现属性并创建/执行动作。投影设备可识别实体对象并且响应于不同的用户姿势和/或话音命令而使得绑定和/或所投射的虚拟对象执行各种动作。另外，***可响应于用户姿势/话音命令而指示一些实体对象(例如，机器人、机电设备等)，以使得这些实体设备执行各种动作。描述和/或要求保护其他实施例。

Description

实体对象与虚拟对象的增强现实绑定
技术领域
本公开涉及增强现实***和设备领域，并且具体而言，涉及用于创建和管理增强现实对象与实体对象之间的虚拟绑定的装置、方法和存储介质。
背景技术
本文中所提供的背景描述是出于总体上呈现本公开的上下文的目的。除非在本文中另有指示，否则本部分中描述的材料不是本申请中的权利要求的现有技术，并且不因为包含在本部分中而被承认为现有技术。
增强现实(AR)***包括利用计算机生成的感官输入(诸如声音、视频、图形、触觉反馈等)来增强用户对物理(即“现实世界”)环境的观看的设备。现有AR***不提供将实体对象与计算机生成的感官输入附连或关联的机制。
附图说明
所包括的附图是为了说明的目的并且用于提供针对所公开的实施例的可能的结构和操作的示例。在不背离所公开的概念的精神和范围的情况下，附图决不限制可由本领域技术人员作出的形式上和细节上的任何改变。
图1图示出可在其中实施各实施例的环境。
图2图示出根据各实施例所述的计算机设备的示例实现方式。
图3图示出非瞬态计算机可读存储介质的示例，该非瞬态计算机可读存储介质可适合用于存储指令，这些指令响应于由装置对这些指令的执行而使得该装置实施本公开的所选择的方面。
图4图示出根据各实施例所述的示例过程。
图5图示出根据各实施例所述的另一示例过程。
图6-图7图示出根据各实施例所述的与实体对象的用户交互的示例。
图8图示出根据各实施例所述的与仪器对象的用户交互的示例。
具体实施方式
所公开的实施例涉及用于与增强现实进行交互的用户交互设备，并且更具体地，涉及允许用户与用户域(即，“现实世界”)中的虚拟对象进行交互的技术。当前可用的增强现实***可允许用户与显示在显示设备(例如，电视、平板计算机等)上的虚拟对象进行交互，在这些***中，用户可通过执行由运动捕捉设备捕捉的各种姿势来与虚拟对象进行交互。在实施例中，用户可执行一个或多个姿势以创建与现实(实体)对象的虚拟绑定，其中，所创建的虚拟绑定可基于现实对象呈现属性并创建/执行动作。投影设备可识别现实(实体)对象并且响应于不同的用户姿势和/或话音命令而使得绑定和/或所投射的虚拟对象执行各种动作。另外，***可响应于用户姿势/话音命令而向仪器实体对象(例如，机器人、机电设备等)发送指令以使得那些实体设备执行各种动作。
下列具体实施方式参考了所附的附图。可在不同附图中使用相同的附图标记来标识相同的或类似的元素。在下列描述中，出于解释而非限制的目的，阐述了诸如特定结构、架构、接口、技术等之类具体细节，以便提供对所要求保护的发明的各方面的透彻理解。然而，对受益于本公开的本领域技术人员将显而易见的是，可在脱离这些具体细节的其他示例中实施的所要求保护的发明的各方面。在某些实例中，省略了对公知的设备、电路和方法的描述，以免因不必要的细节而使本发明的描述模糊。
将使用本领域技术人员所通常采用的术语来描述说明性实施例的各方面，以将他们工作的实质内容传达给本领域的其他技术人员。然而，对本领域技术人员将显而易见的是，可仅利用所描述方面中的一些来实施替代实施例。出于解释的目的，阐述了具体的数量、材料以及配置，以便提供对说明性实施例的透彻理解。然而，对本领域技术人员将显而易见的是，可在没有这些具体细节的情况下实施替代实施例。在其他实例中，省略或简化了公知的特征以免使说明性实施例模糊。
进一步地，各操作将被描述为多个分立的操作，进而将以最有助于理解说明性实施例的方式描述这些操作；然而，描述的次序不应当被解释为暗示这些操作必然依赖于次序。具体而言，这些操作不必以展示的次序执行。
短语“在各实施例中”、“在一些实施例中”以及类似的短语被反复使用。该短语一般不指代相同的实施例；然而，它可以指代相同实施例。术语“包括”、“具有”以及“包含”是同义的，除非上下文另作规定。短语“A和/或B”意指(A)、(B)或(A和B)。短语“A/B”和“A或B”意指(A)、(B)或(A和B)，类似于短语“A和/或B”。为了本公开的目的，短语“A和B中的至少一者”意指(A)、(B)或(A和B)。说明书可使用短语“在实施例中”或“在多个实施例中”、“在一些实施例中”和/或“在各实施例中”，这些短语可各自指代相同或不同实施例中的一个或多个。此外，如关于本公开的实施例所使用，术语包含“包括”、“包含”、“具有”以及类似的术语是同义的。
示例实施例可被描述为被描绘为流程表、流程图、数据流程图、结构图或框图的过程。虽然流程表可将操作描述为顺序过程，但可并行、并发或同时执行这些操作中的许多操作。另外，可重新布置操作的次序。过程可能会在其操作被完成时被终止，但也可能具有未包含在(多个)示图中的附加步骤。过程可对应于方法、函数、程序、子例程、子程序等等。当过程对应于函数时，该过程的终止可能对应于该函数返回到调用函数和/或主函数。
示例实施例可在计算机可执行指令的一般上下文中被描述，该计算机可执行指令诸如，由前述电路中的一个或多个电路执行的程序代码、软件模块和/或功能过程。这些程序代码、软件模块和/或功能过程可包括执行特定任务或实现特定数据类型的例程、程序、对象、组件、数据结构等。本文中所描述的程序代码、软件模块和/或功能过程可使用现有硬件在现有通信网络中实现。例如，本文中所讨论的程序代码、软件模块和/或功能过程可使用现有硬件在现有网络元件或控制节点处实现。
如本文中所使用，术语“电路”是指被配置成用于提供所描述的功能的硬件组件、是这些硬件组件的部分或者包括这些硬件组件，这些硬件组件诸如，电子电路、逻辑电路、处理器(共享的、专用的或组)和/或存储器(共享的、专用的或组)、专用集成电路(ASIC)、现场可编程器件(FPD)(例如，现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、复杂PLD(CPLD)、高容量PLD(HCPLD)、结构化ASIC、或可编程芯片上***(SoC)、数字信号处理器(DSP)等。在一些实施例中，电路可执行一个或多个软件或固件，以提供所描述的功能中的至少一些。
如本文中所使用，术语“处理器电路”可指能够顺序地且自动地执行算术或逻辑操作序列，记录、存储和/或传输数字数据的电路，“处理器电路”是此类电路的部分，或者“处理器电路”包括此类电路。术语“处理器电路”可指一个或多个应用处理器、一个或多个基带处理器、物理中央处理单元(CPU)、单核处理器、双核处理器、三核处理器、四核处理器、和/或能够执行或以其他方式操作计算机可执行指令的任何其他设备，该计算机可执行指令诸如程序代码、软件模块和/或功能过程。
如本文中所使用，术语“接口电路”可指提供两个或更多个组件或设备之间的信息交换的电路、是此类电路的部分、或者包括此类电路。术语“接口电路”可指一个或多个硬件接口(例如，总线、输入/输出(I/O)接口、***组件接口、网络接口卡和/或类似的接口)。如本文中所使用，术语“进行实例化(instantiate)”、“实例化(instantiation)”或类似术语可指对实例的创建，并且“实例(instance)”可指对象的具体发生，例如，对象可在程序代码的执行期间发生。
如本文中所使用，术语“计算机设备”可描述能够顺序地且自动地执行算术或逻辑操作序列、被装备成用于将数据记录/存储在机器可读介质上并且传送和接收来自通信网络中的一个或多个其他设备的数据的任何物理硬件设备。计算机设备可被认为与计算机、计算平台、计算设备等同义，并且可在此后偶尔被称为计算机、计算平台、计算设备等。术语“计算机***”可包括任何类型互连的电子设备、计算机设备、或其组件。另外，术语“计算机***”和/或“***”可指计算机的彼此通信地耦合的各种组件。此外，术语“计算机***”和/或“***”可指彼此通信地耦合并且被配置成共享计算和/或联网资源的多个计算机设备和/或多个计算***。“计算机设备”、“计算机***”等的示例可包括蜂窝电话或智能电话、功能电话、平板个人计算机、可穿戴计算设备、自主传感器、膝上型计算机、台式个人计算机、视频游戏控制台、数字媒体播放器、手持式消息收发设备、个人数字助理、电子书阅读器、增强现实设备、服务器计算机设备(例如，独立式、机架式、刀片式等)、云计算设备/***、网络元件、车载信息娱乐(IVI)、车载娱乐(ICE)设备、仪表盘(IC)、平视显示(HUD)设备、车载诊断(OBD)设备、仪表板(dashtop)移动装备(DME)、移动数据终端(MDT)、电子引擎管理***(EEMS)、电子/引擎控制单元(ECU)、电子/引擎控制模块(ECM)、嵌入式***、微控制器、控制模块、引擎管理***(EMS)、网络化或“智能”家电、机器类型通信(MTC)设备、机器对机器(M2M)、物联网(IoT)设备、和/或任何其他类似的电子设备。此外，术语“车辆嵌入式计算机设备”可指物理地安装在车辆上、内置在车辆中、或以其他方式嵌入在车辆中的任何计算机设备和/或计算机***。
如本文中所使用，术语“网络元件”可被认为与网络化计算机、联网硬件、网络装备、路由器、交换机、集线器、网桥、无线电网络控制器、无线电接入网络设备、网关、服务器和/或其他类似设备同义，或者被称为这些设备。术语“网络元件”可描述有线或无线通信网络的、并且被配置成用于主控虚拟机的物理计算设备。此外，术语“网络元件”可描述为网络与一个或多个用户之间的数据和/或话音连接性提供无线电基带功能的装备。术语“网络元件”可被认为与“基站”同义，和/或被描述为“基站”。如本文中所使用，术语“基站”可被认为与节点B、增强或演进节点B(eNB)、下一代节点B(gNB)、基站收发器(BTS)、接入点(AP)、路边单元(RSU)等同义和/或被称为以上各项，并且可以描述为网络与一个或多个用户之间的数据和/或话音连接性提供无线电基带功能的装备。如本文中所使用，术语“车辆对车辆”和“V2V”可指涉及车辆作为消息源或目的地的任何通信。另外，如本文中所使用的“车辆对车辆”和“V2V”还可包括或等同于车辆对基础设施(V2I)通信、车辆对网络(V2N)通信、车辆对行人(V2P)通信或V2X通信。
如本文中所使用，术语“信道”可指用于传送数据或数据流的任何有形或无形传输介质。术语“信道”可与“通信信道”、“数据通信信道”、“传输信道”、“数据传输信道”、“接入信道”、“数据访问信道”、“链接”、“数据链接”、“载体”、“射频载体”、和/或表示传送数据所通过的路径或介质的其他类似术语同义，和/或等同于这些术语。另外，术语“链接”可指两个设备之间为了传送和接收信息的目的通过无线电接入技术(RAT)的连接。
对示图进行参考，图1图示出可在其中实施各实施例的布置100。布置100包括增强现实(AR)平台105、网络150、本地网络155以及一个或多个服务器145。本地网络155可包括戴有可穿戴设备110的用户108和环境115。环境115可包括传感器阵列120、输出阵列122以及对象131。
AR平台105可以是能够检测运动和/或对象、基于所检测到的对象和/或动作来生成虚拟绑定和/或虚拟对象的一个或多个计算机设备，并且根据本文中的各实施例，AR平台105可使得虚拟绑定和虚拟对象将显示在环境115内。在此方面中，AR平台105可包括(多个)处理器、(多个)存储器设备、(多个)通信设备、和/或用于执行本文中的实施例的功能的其他类似组件。示出并参考图2描述了AR平台105的示例实现方式。
AR平台105可(例如，利用从传感器阵列120和/或可穿戴设备110的传感器获取的数据)检测一个或多个用户交互，以创建虚拟绑定135A-B，将这些绑定135A-B连接或关联到实体(“现实”)对象131P(例如，实体对象131P)、虚拟对象131V和/或仪器对象131I。用户交互可包括由用户108执行的空中和触摸姿势和/或由用户108发出的话音命令。例如，用户108可使用话音命令来向绑定135分配属性或为特定会话和设置选择事件和物理，并且用户108可使用姿势来选择和操纵绑定135。
在图1的示例中，用户108通过与AR平台105的交互来创建虚拟绑定135A并将该绑定135A与虚拟对象131V-1及实体对象131P连接或关联。另外，用户108通过与AR平台105的交互来创建虚拟绑定135B并将该绑定135B与虚拟对象131V-2及仪器对象131I连接或关联。虚拟绑定135基于所检测到的实体/仪器对象来呈现属性和/或执行动作。在实施例中，属性和/或动作可基于环境115的上下文、环境中的其他对象和绑定、和/或环境115中各对象与绑定之间的关系。环境115的“上下文”可指相关的状况或情况，在该相关的状况或情况下，存在或发生对象131在环境115中的设置或布置，并且环境115的“上下文”可基于该设置或布置之前的各种事件、状况、标准等。
AR平台105可控制传感器阵列120中的传感器，以识别对象131并使得绑定135以适当的物理属性(例如，根据物理定律)和其他有意义的响应来表现。AR平台105还可解释用户姿势(包括空中和触摸姿势)、话音命令和/或其他用户输入，以向绑定分配属性。例如，当用户108执行拉动或拖拽姿势以在绑定135上拉动时，AR平台105可基于环境上下文向绑定135分配诸如弹性、刚度、硬度、流动性、颜色等之类的物理性质。在另一示例中，用户108可例如使用手指来执行绘制类型姿势，以绘制特定类型的绑定135，诸如具有特定形状或尺寸的绑定。另外，AR平台105可基于用户姿势等来与仪器对象131I进行通信，以使得仪器对象131I执行对应于用户姿势的动作。
环境115可以是用户108可在其中/或其上与实体对象、仪器对象以及虚拟对象进行交互的任何类型的设置或区域。在一些实施例中，环境115可以是桌子、物理平台或其他类似的家具对象，并且可将各种虚拟图像投射到该桌子、物理平台等的表面上。在一些实施例中，环境115可以是可将虚拟图像投射到其中(例如，用于提供非触摸式用户界面(TUI))的房间或房间内的区域。在一些实施例中，环境115可以是在其中通过向上朝向用户投射图像/光来显示各种虚拟图像的桌面(table-top)显示设备。在一个实施例中，环境115可包括利用光衍射来创建一个或多个虚拟对象131V的虚拟三维(3D)图像的全息显示***。在替代实施例中，用户108可使用AR头饰、单筒镜或双筒镜光学头戴式显示器(OHMD)、具有3D眼镜的3D电视等等来观看环境115，而不是使用先前所讨论的基于桌子或对象类型的环境。可将AR平台105和环境115统称为“AR***”或类似称谓。
如所示，环境115可包括传感器阵列120和输出阵列122。传感器阵列120可包括一个或多个传感器(例如，参考图2所示出和描述的传感器220)，该一个或多个传感器可以是这样的设备：该设备能够感测、检测、捕捉、测量事件或物理环境115中的改变并将所感测到的事件或环境的改变转换为可以由计算设备读取的信号和/或传感器数据。传感器阵列120中的传感器可尤其包括一个或多个图像/运动检测/捕捉设备(例如，相机、深度传感器、红外相机等)、(多个)加速度计、(多个)陀螺仪、(多个)重力计、(多个)磁力计、(多个)接近度传感器、(多个)环境光传感器、(多个)话筒、(多个)压力传感器、电容表面、传导检测器，电磁能量(例如射频(RF)、红外、可见光等)检测器，振动检测器、接近度检测器，基准标记检测器等等。在一些实现方式中，传感器阵列120可包括立体相机***(包括彼此关系已知的两个或更多个相机)、和/或深度传感器/相机或3D扫描仪***(例如，谐振MEMS微镜装置、微光电机电***(MOEMS)、飞行时间(ToF)相机/传感器等)，该深度传感器/相机或3D扫描仪***使用结构光、ToF和/或红外激光投影、三角测量技术来扫描和分析现实世界的物体或环境，以收集关于其形状和可能的外观(例如，颜色，纹理等)的数据。在一个示例实现方式中，传感器阵列120可包括含有具有车载图像处理电路的立体相机***的单个壳体，其中，图像处理电路可测量任何对象131上的落入立体相机的相机视场内的像素之间的距离。传感器阵列的示例可包括实感TM(RealSenseTM)深度相机、KinectTM传感器、由Occipital公司的结构传感器(Structure Sensor)、Tango设备、动作对比3D扫描(MC3D)相机、或一些其他类似设备。
传感器阵列120中的传感器可检测例如环境115中的实体对象131P和/或仪器对象131I的数字或物理特性。这些特性可包括例如时间、取向、位置、位置/定向的改变速率、相对位置、编码信息、颜色、形状、尺寸、声音、材料或其他类似物理性质。位置、取向以及位置/取向的改变速率可相对于传感器、相对于其他对象(例如，实体对象、虚拟对象或仪器对象)或者相对于参考的外部框架。在各实施例中，所检测到的特性可由AR平台105使用，以仿真绑定135和/或虚拟对象131V的各种物理特性/性质。所检测到的特性还可用于诸如通过生成并显示附加或替代的虚拟对象131V或指示仪器对象131I执行一个或动作来触发事件或转变播放状态。在实施例中，特性可由AR平台105存储为对象简档322和/或跟踪历史323记录(参见例如图3)。
输出阵列122可包括被配置成用于将电子地生成的信号/数据转换为可由人类感知***理解的媒介。可使用各种输出模态，包括视觉、触觉、音频和化学的。例如，绑定135上的用户交互(例如，姿势或话音命令)可使得AR平台105生成并显示各种图像，在对象131和环境115的表面上发出声音效果或触觉振动，和/或发出气体、化学气味等。在实施例中，输出阵列122中的输出设备可包括显示设备、音频输出设备、触觉输出设备、化学品发出设备等等。显示设备可以是能够基于所接收的电信号以视觉形式呈现信息的任何类型的输出设备。在大多数实施例中，显示设备可以是图像或视频投影仪，其可基于所接收的信号(例如，参考图2示出和描述的图片生成单元(PGU)230和全息光学元件(HOE)231)将图像或移动中的图像投射到环境115的显示表面上。在其他实施例中，显示设备可包括监视器，诸如发光二极管(LED)显示设备、有机LED(OLED)显示设备、液晶显示(LCD)设备、量子点显示设备和/或类似设备。显示设备可用于显示与虚拟对象131V-1和131V-2相关联的一个或多个图像。触觉输出设备可包括机电组件(EMC)阵列(例如，参考图2示出和描述的EMC 222)，可控制环境115和/或环境115中的对象131。
网络150和本地网络155可包括计算机、计算机之间的网络连接以及用于实现计算机之间通过网络连接的通信的软件例程。在此方面中，网络150和本地网络155可各自包括一个或多个网络元件，该一个或多个网络元件可包括一个或多个处理器、通信***(例如，包括网络接口控制器、连接到一根或多根天线的一个或多个发射器/接收器等)以及计算机可读介质。此类网络元件的示例可包括无线接入点(WAP)、家庭/商业服务器(具有或不具有射频(RF)通信电路)、路由器、交换机、集线器、无线电信标、基站、微微蜂窝或小型蜂窝基站、和/或任何其他类似网络设备。到网络150或本地网络155的连接可使用以下所讨论的各种通信协议经由有线或无线连接。如本文中所使用，有线或无线通信协议可指由通信设备/***实现以与其他设备进行通信的的一组标准化规则或指令，包括用于对数据进行打包/拆包、对信号进行调制/解调的指令，协议栈的实现方式等等。所图示的设备之间的通信会话中可涉及多于一个网络。到网络150和/或本地网络155的连接可能要求计算机执行实现例如无线(蜂窝)电话网络中计算机联网的OSI模型的七层或等效物的软件例程。
网络150可用于实现相对长程的通信，诸如例如一个或多个服务器145与AR平台105或本地网络155中的组件之间的通信。网络150可表示互联网、一个或多个蜂窝网络、包括专有和/或企业网络的局域网(LAN)或广域网(WAN)、基于传输控制协议(TCP)/互联网协议(IP)的网络、或其组合。以下参考图2描述此类网络和/或协议的示例。在此类实施例中，网络150可与拥有或控制提供网络相关服务所必需的装备和其他元件的网络操作者相关联，诸如一个或多个基站或接入点、用于路由数字数据或电话呼叫的一个或多个服务器(例如，核心网络或骨干网络)等。
本地网络155可用于实现相对短程的通信，诸如例如，AR平台105与传感器阵列120中的传感器、输出阵列122中的输出设备、仪器对象131I、可穿戴设备110或类似设备之间的通信。本地网络155可表示短程网络或者可以表示本文中所讨论的任何其他网络或协议，该短程网络诸如，个人对个人(P2P)或个域网(PAN)(例如，包括ZigBee、低功率无线个域网上的IPv6(6LoWPAN)、WirelessHART、MiWi、Thread等的基于IEEE 802.15.4的协议，WiFi直接(WiFi-direct)，蓝牙/BLE协议，ANT协议，Z波、LTE D2D或ProSe、UPnP等等)。
一个或多个服务器145可以是一个或多个硬件计算设备，该一个或多个硬件计算设备可包括可通过网络(例如，网络150)向用户(例如，用户108和/或AR平台105)提供一个或多个服务的一个或多个***和/或应用。一个或多个服务器145可包括一个或多个服务器、一个或多个存储器设备、一个或多个网络接口等。另外，一个或多个服务器145可以是单个物理硬件设备，或者可以与其他网络设备物理地或逻辑地连接。另外，一个或多个服务器145可被连接到一个或多个数据存储设备(未示出)或者以其他方式与该一个或多个数据存储设备相关联。(多个)服务器145可包括可提供用于对服务器的一般管理和操作的可执行程序指令的操作***(OS)，并且可包括存储指令的计算机可读介质，这些指令在由服务器的处理器执行时可允许服务器执行它们的预期功能。针对OS的合适的实现方式和服务器的一般功能是已知的或者商业上可用的，并且容易由具有本领域普通技术人员实现。
在实施例中，由(多个)服务器145提供的服务可包括引起或以其他方式操作沉浸式游戏体验。例如，服务可包括提供将用于生成虚拟对象131V、绑定135、和/或用于仪器对象131I的指令的数据，以及基于用户交互、对象/绑定属性、上下文、游戏玩法规则、订阅数据和/或其他标准或参数来操纵对象/绑定。服务可包括创建、存储和改变/调整与用户108、游戏等相关联的用户简档。用户简档可指示与同一个游戏连接的用户相关联的或与同玩一个或多个游戏的多个用户相关的游戏标准或参数。服务还可包括跟踪或计算游戏玩法积分/财产和/或游戏玩法效果，诸如虚拟货币/财产/积分计数(包括积分、健康、损失、力量水平、“魔力”等)、虚拟或实体开/关、打开/关闭、和/或锁定/解锁指示、实体分配量、虚拟分配量和/或类似物。游戏玩法财产可被表示为由(多个)服务器145计算的数字值、字符串等，并且基于各种因素增加或减少，这些因素诸如经过的时间、一天中的时间和/或日期、正在完成的任务、环境115中各对象的位置/取向(或位置/取向的改变)、环境115中各对象彼此之间的关系(或关系的改变)和/或类似因素。(多个)服务器145还可执行或促进用户设置和游戏注册，包括：将一个或多个实体对象、虚拟对象和/或仪器对象与授权用户108相关联，发起并控制环境115内元件或设备的软件和/或固件更新，记录与一个或多个游戏相关联的结果，提供所请求的用户验证证书，提供内容管理，提供用于设置新游戏和/或修改现有游戏的用户界面和/或控制元件，和/或执行用于AR平台105和/或环境115内的组件/设备的计算密集型任务。在一些实施例中，由(多个)服务器145执行的功能中的一些或全部可由AR平台105执行，反之亦然。
虚拟对象131V和绑定135可以是基于用户交互(例如，姿势、话音命令等)、环境115中的各实体对象131P、环境115中的各仪器对象131I、环境115中的各种绑定135、一个或多个游戏中标准和/或类似物来显示的一个或多个图像、动画、视频剪辑、全息图、全息性光学元件等。根据用于生成计算机图形的一个或多个已知方法，虚拟对象131I和绑定135可由图像生成模块和/或渲染模块(例如，如参考图3所描述的AR引擎331和/或AR渲染器333)生成和渲染(即，显示和/或投射)。例如，与虚拟对象131I及绑定135相关联的图像可以是使用光栅成像应用生成的二维(2D)像素图形、使用级联样式表(CSS)生成的子画面图形、根据可缩放向量图形(SVG)标准生成的向量图形、使用一个或多个已知3D建模和/或3D渲染应用生成的三维(3D)图形、计算机生成的图像(CGI)等。在一些实现方式中，虚拟对象131I可使用可扩展标记语言(XML)、JavaScript对象表示法(JSON)、增强现实标记语言(ARML)和/或其他类似数据结构或语言或其变体来描述。如先前所述，虚拟对象131I和绑定135可以基于2D或3D模型根据一个或多个已知方法诸如通过下列步骤来生成和渲染：从一个或多个数据包获取对象数据和/或图像数据，考虑几何信息、视点信息、场景信息、纹理信息、照明信息、阴影信息、特征信息、视觉资产信息、锚点(例如，几何形状、可跟踪的、相对于屏幕的锚点等)和/或类似信息将对象数据和/或图像数据处理为场景文件，并且将经处理的数据输出至数字图像文件、光栅图像文件等等。由图像生成模块和渲染模块(例如，参考图3所描述的AR引擎331和/或AR渲染器333)使用的硬件设备可包括图形处理单元(GPU)和/或被配置成用于执行复杂的渲染计算的其他类似硬件设备。所生成的图像可根据一个或多个已知的视频映射或投影映射方法、一个或多个已知的投影方法和/或任何其他类似的用于显示图像的已知方法来显示。
虽然虚拟对象131I和绑定135两者能以相同的或类似的方式生成和/或渲染，但虚拟对象131I和绑定135可在一些方面中是不同的。在实施例中，虚拟对象131I可以是表示现实世界对象的数字图像(包括现实和虚拟图像)，而绑定135可以是绑定到一个或多个对象(包括实体对象131P、虚拟对象131V、仪器对象131I和/或其他绑定135)或者以其他方式与该一个或多个对象相关联的数字图像。在实施例中，绑定可以基于环境115中的其他对象(或其之间的关系)、用户交互、或如由传感器阵列120中的传感器检测到的类似物而呈现属性。在实施例中，这些属性可定义(或可用于定义)绑定135将要仿真的各种物理属性。
在实施例中，AR平台105可使得用户106能够选择具有不同物理方面的多个虚拟绑定类型中的一个，允许用户108选择绑定135的行为和外观。在一个示例中，AR平台105可投射多个绑定类型，并且用户108可执行一个或多个姿势以选择这些绑定类型中所期望的一个绑定类型。另外，多个绑定135和对象131可由多个用户108同时使用。
实体对象131P可以是实体地存在于环境115中的任何类型的对象，并且可包括例如卡片(例如，扑克牌，可收集卡片，交易卡片等)、模拟玩具(例如，动作人偶/玩偶、建筑装置或建筑装置件、玩具车、拼图或拼图件、棋盘游戏等)、家具、办公用品(如书写工具、打孔器、邮票、订书机、订书钉、回形针等)、运动装备(如棒球棒、棒球手套、高尔夫球杆、高尔夫球、网球拍、网球等)和/或其他类似实体对象。虽然前述示例是静态对象，但本文中的实施例也可适用于动态对象(例如，机器人或其他机械设备)和/或生物体(例如，狗、猫或其他类型的宠物)。
仪器对象131I可以是嵌入有硬件组件和/或机电设备(EMC)的实体对象，该硬件组件和/或机电设备使得该仪器对象131I能够执行一个或多个动作并且任选地捕捉/记录与事件有关的数据并通过具有很少或没有用户干预的网络将该数据传送给一个或多个其他设备。在实施例中，仪器对象131I可包括嵌入在某一其他设备或对象中的计算机设备/***，诸如机器人、智能玩具、智能家电和/或类似的计算机设备/***，并且仪器对象131I可包括微控制器或微处理器、存储器/存储设备、通信电路(例如，(多个)收发器、调制解调器、天线元件等)、传感器/仪表、图像捕捉设备、话筒、发光设备、音频发射设备、图像/视频回放设备、EMC和/或可与本文中所讨论的那些相同或相似的其他类似组件。
仪器对象131I可存储程序代码(或具有以适当的逻辑块/构造或类似物预配置的FPD)以执行先前所提到的一个或多个动作。根据各实施例，仪器对象131I的通信电路可接收来自AR平台105的一个或多个消息，该一个或多个消息可包括用于执行一个或多个动作中所指定的动作的指令。这些指令可基于由AR平台105所检测到的用户交互。这可允许仪器对象131I基于环境115中的各种用户交互而与用户108或其他对象(例如，实体、虚拟或仪器对象)进行交互。在其中仪器对象131I可捕捉、存储/记录并传送与事件相关联的数据的实施例中，由仪器对象131I所捕捉到的事件数据可用于增强或补充使用来自传感器阵列120中的传感器的传感器数据完成的环境建模机制。
用户108可以是AR平台105的操作者，并且可与环境115中的各种对象131进行交互。在一些实现方式中，用户108可将可穿戴110固定或耦合至他的/她的身体。如所示，可穿戴110与用户108的手腕耦合；然而，用户108可将多个可穿戴110固定至他的/她的身体，诸如针对用户108的每个手腕有一个可穿戴设备110、与用户108的躯干耦合的可穿戴设备110或类似的可穿戴设备。由可穿戴110捕捉到的传感器数据可用于确定用户108的一个或多个身体部位的位置和/或取向信息、和/或身体运动。另外，虽然图1仅示出单个用户108，但本文中的实施例可允许多个用户108与多个对象131及多个绑定135进行交互。
可穿戴设备110(或“可穿戴110”)可以是嵌入有实现对可穿戴110的动作、加速度、旋转和或取向的测量和/或检测的硬件的惯性传感器单元(IMU)或某一其他合适的设备。可穿戴110可包括一个或多个微机电***(MEMS)或传感器，诸如加速度计、陀螺仪、磁力计和/或其他类似传感器。一个或多个MEMS/传感器可被配置成用于确定可穿戴110的速度、加速度和/或运动的量值和方向，并且将可穿戴110的速度、加速度和/或运动转换成位置和/或取向信息。可穿戴110的位置和/或取向的改变可指示由可穿戴110的用户108执行的生物力学运动。一个或多个MEMS/传感器可被配置成用于检测作为传感器数据的生物力学运动。传感器数据可包括或以其他方式指示可穿戴110的位置和/或取向的一个或多个空间坐标(或空间坐标的改变)。传感器数据随后可被传递到可穿戴110的一个或多个处理器和/或传感器中枢，以被转换成生物力学序列、传感器坐标、和/或经分析、处理或格式化的数据的任何其他类型的格式。此外，可穿戴110可通过在传感器数据被收集和/或处理时对其加时间戳来跟踪生物力学运动的定时。可穿戴110还可包括通信电路或与通信电路耦合，该通信电路使得可穿戴110能够通过网络(例如，网络150或本地网络155)经由具有很少或没有用户干扰的有线或无线网络与一个或多个其他设备(例如，AR平台105和/或(多个)服务器145)进行通信。在此方面中，一个或多个存储器设备以及一个或多个处理器。例如，可穿戴110可以是任何类型的可穿戴计算机设备或可穿戴技术，诸如智能手表、健身或活动***、嵌入装备或衣服中的传感器***、遥测***和/或类似物。在其中用户108使用可穿戴110的实施例中，由可穿戴110捕捉的传感器数据可用于增强或补充使用来自传感器阵列120中的传感器的传感器数据的姿势检测机制。
虽然图1示出了各种设备和/或组件，但是根据各实施例，可存在任何数量的计算设备(客户端和服务器)、传感器、输出设备、用户和/或数据库(未示出)。另外，由图1示出的设备组件中的一些或全部可以是分开的或者能以各种布置定位、彼此并置、驻留在一个物理硬件设备上或者以其他方式彼此完全集成、被实现为虚拟机、和/或设置在众多的实现方式、布置和/或环境中。因此，图1的说明性实施例的描绘应当被视为性质上是说明性的并且不限于本公开的范围。
图2图示出根据各实施例所述的计算机设备200的示例实现方式。图2示出了可在计算机200中存在的组件的示例的框图。计算机设备200可包括图2中示出的组件的任何组合。这些组件可被实现为集成电路(IC)或其部分，分立的电子设备，或者在计算机设备200中适配的其他模块、逻辑、硬件、软件、固件、中间件或其组合，或者被实现为以其他方式结合在一个更大的***的底盘内的组件。
计算机设备200可以是嵌入式***或本文中所讨论的任何其他类型的计算机设备。在由图2示出的示例中，可在增强现实(AR)平台105或如本文中所讨论的其他类似设备/***中采用计算机设备200，或者将计算机设备200用作AR平台105或如本文中所讨论的其他类似设备/***。虽然图2示出了如在AR平台105中实现的计算机设备200，但是计算机设备200或类似于计算机设备200的计算机设备能以本文中所讨论的任何其他设备实现，诸如仪器对象131I以及一个或多个服务器145。在另一示例中，计算机设备200可以是专门被设计成用于执行本文中所讨论的实施例的AR方案的分开的专用和/或专门目的的计算机设备。
(多个)处理器202(也被称为“处理器电路202”)可以是被配置成用于通过执行指令来执行基本算数、逻辑和输入/输出操作的一个或多个处理元件。处理器电路202可被实现为独立***/设备/封装，或者被实现为AR***110的现有***/设备/封装的部分。处理器电路202可以是一个或多个微处理器、一个或多个单核处理器、一个或多个多核处理器、一个或多个多线程处理器、一个或多个GPU、一个或多个超低电压处理器、一个或多个嵌入式处理器、一个或多个DSP、一个或多个FPD(硬件加速器)(诸如，FPGA、结构化ASIC、可编程SoC(PSoC)等)、和/或其他处理器或处理/控制电路。处理器电路202可以是芯片上***(SoC)的部分，处理器电路202和本文中所讨论的其他组件在该SOC中被形成为单个IC或单个封装。作为示例，处理器电路202可包括一个或多个 酷睿(Core)处理器；超微半导体(AMD)加速处理单元(APU)或处理器；(多个)苹果公司A系列、S系列、W系列等处理器；(多个)处理器；(多个)处理器；和/或类似处理器。
在实施例中，处理器电路202可包括传感器中枢，该传感器中枢可通过处理从传感器220获取的数据而充当协处理器。传感器中枢可包括被配置成用于通过执行算术、逻辑和输入/输出操作来集成从传感器220中的每个传感器获取的数据的电路。在实施例中，传感器中枢可以能够对所获取的传感器数据加时间戳，响应于对传感器数据的查询而将此类数据提供给处理器电路202，缓冲传感器数据，将传感器数据连续地流送到处理器电路202(包括用于每个传感器322的独立流)，基于预定义的阈值或条件/触发器来报告传感器数据，和/或其他类似的数据处理功能。
存储器204(也被称为“存储器电路204”或类似称谓)可以是被配置成用于存储用于操作计算机设备200的数据或逻辑的电路。存储器电路204可包括可用于提供给定数量的***存储器的数个存储器设备。例如，存储器电路204可以是任何合适类型、数量的能以如已知的任何合适的实现方式配置的易失性存储器设备(例如，随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SAM)等)和/或非易失性存储器设备(例如，只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、反熔丝等)和/或这些存储器设备的组合。在各实现方式中，各个存储器设备可由任何数量的不同封装类型形成，这些不同的封装类型诸如单管芯封装(SDP)、双管芯封装(DDP)或四管芯封装(Q17P)，双列直插式存储器模块(DIMM)(诸如微DIMM或微型DIMM)和/或任何其他类似的存储器设备。为了提供诸如数据、应用、操作***等等之类的信息的持久性存储，存储器电路204可包括：一个或多个大容量存储设备，诸如固态盘驱动器(SSDD)；诸如SD卡、微SD卡、xD图片卡等等之类的闪存卡以及USB闪存驱动器；与处理器电路202相关联的管芯上存储器或寄存器(例如，在低功率实现方式中)；微硬盘驱动器(HDD)；和等三维交叉点(3DXPOINT)存储器等。
在使用FPD的情况下，处理器电路202和存储器电路204(和/或设备存储电路208)可包括逻辑块或逻辑构造、存储器单元、输入/输出(I/O)块、以及可被编程为用于执行本文中所讨论的示例实施例的各种功能的其他互连的资源。存储器单元可用于将数据存储在由处理器电路202使用的查找表(LUT)中，以实现各种逻辑功能。存储器单元可包括各级别的存储器/存储的任何组合，包括但不限于EPROM、EEPROM、闪存、SRAM、反熔丝等。
具有共享或相应控制器的数据存储电路208(也被称为“存储电路208”或类似称谓)可提供诸如模块209、操作***等的信息的持久性存储。存储电路208可被实现为：固态驱动器(SSD)；固态硬盘驱动器(SSDD)；串行AT附件(SATA)存储设备(例如，SATA SSD)；闪存驱动器；诸如SD卡、微SD卡、xD图片卡等等之类的闪存卡以及USB闪存驱动器；三维交叉点(3DXpoint)存储器设备；与处理器电路202相关联的管芯上存储器或寄存器；硬盘驱动器(HDD)；微HDD；阻变存储器；相变存储器；全息图存储器；或化学存储器；等等。如所示，存储电路208被包括在计算机设备200中；然而，在其他实施例中，存储电路208可被实现为安装在AR平台105中的与计算设备200的其他元件分开的一个或多个分开的设备。
在一些实施例中，存储电路208可包括操作***(OS)(未示出)，该操作***可以是通用操作***或者专门为计算机设备200编写和定制的操作***。OS可包括一个或多个驱动程序、库和/或应用程序编程接口(API)，其为模块209提供程序代码和/或软件组件，和/或控制***配置以控制和/或获取/处理来自一个或多个传感器220和/或EMC 222的数据。
模块209可以是用于执行计算机设备200的各种功能和/或用于执行本文中所讨论的示例实施例的功能的软件模块/组件。在其中处理器电路202和存储器电路204包括硬件加速器(例如，FPGA单元)以及处理器核的实施例中，硬件加速器(例如，FPGA单元)可被预配置(例如，以适当的比特流、逻辑块/构造等)有用于执行本文中的实施例的一些功能的逻辑(代替采用将由(多个)处理器核执行的编程指令)。例如，模块209可包括用于参考图3所讨论的对应实体的逻辑，即，建模引擎301、用户输入分析引擎311、对象识别模块321、AR引擎331、上下文引擎341以及内容/应用351。参考图3更详细地描述这些实体。
计算机设备200和/或AR***110的组件可通过总线206彼此通信。总线206可包括任何数量的技术，诸如，本地互连网络(LIN)；工业标准架构(ISA)；扩展ISA(EISA)；PCI；扩展的PCI(PCIx)；PCIe；内部集成电路(I2C)总线；并行小型计算机***接口(SPI)总线；通用应用程序编程接口(CAPI)；点对点接口；功率总线；专有总线，例如，超路径接口(UPI)，加速器链路(IAL)或在基于SoC的接口中使用的某一其他专有总线；或任何数量的其他技术。在一些实施例中，总线206可以是控制器区域网络(CAN)总线***、时间触发协议(TTP)***或FlexRay***，其可允许各种设备(例如，传感器220、EMC 222等)使用消息或帧来彼此通信。
通信电路305可包括用于与无线网络或有线网络进行通信的电路。例如，通信电路305可包括收发器(Tx)211和网络接口控制器(NIC)212。通信电路305可包括专用于特定无线通信协议的一个或多个处理器(例如，基带处理器、调制解调器等)。
可包括NIC 212以提供到网络150和/或其他设备的有线通信链接。有线通信可提供以太网连接、USB上的以太网和/或类似物，或者可基于其他类型的网络，诸如设备网(DeviceNet)、控制网(ControlNet)、数据高速公路+(Data Highway+)、现场总线(PROFIBUS)或工业以太网(PROFINET)等等。可包括附加NIC 212以允许连接到第二网络(未示出)或其他设备，诸如提供通过以太网到网络150的通信的第一NIC 212、提供通过另一类型的网络到其他设备的通信的第二NIC 212，该另一类型的网络诸如包括个人计算机(PC)设备的个域网(PAN)。在一些实施例中，环境115的诸如传感器220、EMC 222、PGU 230等之类的各组件可通过如以上所讨论的NIC 212而不是通过下面讨论的I/O电路218连接到***110。
Tx 211可包括一个或多个无线电，以与网络150和/或其他设备无线地通信。Tx211可包括使用通过固体或非固体介质的已调电磁辐射来实现与有线网络和/或其他设备的通信的硬件设备。此类硬件设备可包括交换机、滤波器、放大器、天线元件等等，以便通过生成或以其他方式产生无线电波以将数据传送到一个或多个其他设备并且将所接收的信号转换为可使用的信息来促进空中(OTA)通信，该可使用的信息诸如可被提供给计算机设备200的一个或多个其他组件的数字数据。在一些实施例中，环境115的诸如传感器220、EMC222、PGU 230等之类的各组件可通过如以上所讨论的Tx 211而不是通过下面讨论的I/O电路218连接到***110。在一个示例中，一个或多个传感器220可经由短程通信协议(诸如BLE或类似协议)与***110耦合。在另一示例中，PGU可经由无线连接(例如，经由Tx 211或类似物)与***110耦合，并且结合一个或多个远程显示协议进行操作，该远程显示协议诸如，无线千兆联盟(WiGiG)协议、远程桌面协议(RDP)、IP上PC(PCoIP)协议、高清体验(HDX)协议和/或其他类似的远程显示协议。
Tx211可包括与任何数量的3GPP(第三代合作伙伴计划)规范、特别是长期演进(LTE)、长期演进高级(LTE-A)、长期演进高级专业版(LTE-A Pro)和第五代(5G)新无线电(NR)规范兼容的一个或多个无线电。可以注意到，可选择与任何数量的其他固定的、移动的或卫星通信技术和标准兼容的无线电。这些可包括例如任何蜂窝广域无线电通信技术，其可包括例如，5G通信***、全球移动通信***(GSM)无线电通信技术、通用分组无线电服务(GPRS)无线电通信技术、或GSM演进增强数据速率(EDGE)无线电通信技术。可使用的其他第三代合作伙伴计划(3GPP)无线电通信技术包括UMTS(通用移动电信***)、FOMA(多媒体接入自由)、3GPP LTE(长期演进)、3GPPLTE高级(长期演进高级)、3GPP LTE Advanced Pro(长期演进高级专业版)、CDMA2000(码分多址2000)、CDPD(蜂窝数字分组数据)、流动电文(Mobitex)，3G(第三代)、CSD(电路交换数据)，HSCSD(高速电路交换数据)、UMTS(3G)(通用移动电信***(第三代))、W-CDMA(UMTS)(宽带码分多址(通用移动电信***))、HSPA(高速分组接入)、HSDPA(高速下行链路分组接入)，HSUPA(高速上行链路分组接入)、HSPA+(高速分组接入加)、UMTS-TDD(通用移动电信***-时分双工)、TD-CDMA(时分-码分多址)、TD-SCDMA(时分-同步码分多址)，3GPP Rel.8(Pre-4G)(Pre-4G)(第3代合作伙伴计划第8版(前第4代))、3GPP Rel.9(第三代合作伙伴计划第9版)、3GPP Rel.10(第三代合作伙伴计划第10版)，3GPP Rel.11(第三代合作伙伴计划第11版)、3GPP Rel.12(第三代合作伙伴计划第12版)、3GPP Rel.13(第三代合作伙伴计划第13版)、3GPP Rel.14(第三代合作伙伴计划第14版)、3GPP LTE额外、LTE许可辅助接入(LAA)、UTRA(UMTS陆地无线电接入)、E-UTRA(演进UMTS陆地无线电接入)、LTE高级(4G)(长期演进高级(第4代))、cdmaOne(移动通信标准)(2G)、CDMA2000(3G)(码分多址2000(第三代))、EV-DO(演进数据优化或仅演进数据)、AMPS(1G)(高级移动电话***(第1代))、TACS/ETACS(总接入通信***/扩展总接入通信***)、D-AMPS(2G)(数字AMPS(第2代))、PTT(按键通话)、MTS(移动电话***)、IMTS(改进的移动电话***)、AMTS(高级移动电话***)、OLT(用于挪威Offentlig Landmobil Telefoni，公共陆地移动电话)、MTD(针对瑞典Mobiltelefonisystem D、即Mobile telephony system D的缩写)、Autotel/PALM(公共自动陆地移动)、ARP(芬兰语为Autoradiopuhelin，“汽车无线电话”)、NMT(北欧的移动电话)、Hicap(NTT(日本电报和电话)的高容量版本)、CDPD(蜂窝数字分组数据)、Mobitex、DataTAC、iDEN(集成数字增强网络)、PDC(个人数字蜂窝)、CSD(电路交换数据)、PHS(个人手持电话***)、WiDEN(宽带集成数字增强网络)、iBurst、非许可移动接入(UMA，也称为3GPP通用接入网络，或GAN标准))、无线千兆联盟(WiGig)标准，该WiGig标准通常为mmWave标准(在10-90GHz及以上运行的无线***，例如WiGig、IEEE 802.11ad、IEEE802.11ay等)。除以上所列举的标准之外，还可使用任何数量的卫星上行链路技术用于上行收发器711，该卫星上行链路技术包括例如符合ITU(国际电信联盟)或ETSI(欧洲电信标准协会)发布的标准的无线电等等。本文中所提供的示例因此可被理解为适用于各种现有的和尚未制定的各种其他通信技术。前述协议的实现方式、组件和细节可以是本领域中已知的那些，并且为了简洁起见在本文中省略。
输入/输出(I/O)接口218可包括用于将计算机设备200与诸如传感器220、EMC222、PGU 230等之类的外部组件/设备连接的电路，诸如外部扩展总线(例如，通用串行总线(USB)、火线、雷电接口(Thunderbolt)、PCI/PCIe/PCIx等)。I/O接口电路218可包括任何合适的接口控制器和连接器，以使得处理器电路202、存储器电路204、数据存储电路208、通信电路305以及计算设备200的其他组件中的一者或多者互连。接口控制器可包括但不限于，存储器控制器、存储控制器(例如，独立磁盘冗余阵列(RAID)控制器、基板管理控制器(BMC))、输入/输出控制器、主机控制器等。连接器可包括例如总线(例如，总线206)、端口、插槽、跳线、互连模块、插口、模块化连接器等。I/O电路218可经由有线连接(诸如使用USB、火线、雷电接口、RCA、视频图形阵列(VGA)、数字视觉接口(DVI)和/或微型DVI、高清多媒体接口(HDMI)、S视频和/或类似的有线连接)将***110与传感器220、EMC 320、PGU等耦合。虽然图2示出了传感器220、EMC 222和PGU 230经由接口电路218与计算机设备200耦合，但在其他实施例中，传感器220、EMC 222和PGU 230可经由Tx 211使用短程无线电链接、WiFi信号传递或类似物与计算机设备200通信地耦合。
传感器220可以是被配置成用于检测事件或环境改变、将所检测到的事件转换为电信号和/或数字信号、并且将这些信号/数据传送/发送到计算机设备200和/或一个或多个EMC 222。传感器220中的一些可以是用于在环境115中提供计算机生成的传感输入的传感器。传感器220中的一些可以是用于运动和/或对象检测的传感器。此类传感器220的示例可尤其包括电荷耦合设备(CCD)、互补金属氧化物半导体(CMOS)有源像素传感器(APS)、无透镜图像捕捉设备/相机、热成像(红外)相机、光成像检测和测距(LIDAR)***和/或类似物。在一些实现方式中，传感器220可包括无透镜图像捕捉机制，该无透镜图像捕捉机制包括孔元件阵列，其中穿过孔元件阵列的光限定图像的像素。在实施例中，运动检测传感器220可与例如一个或多个红外投影仪之类的光生成设备耦合或与其相关联，以将红外光网格投射到场景或环境115上，其中，红外相机可记录所反射的红外光以计算深度信息。
传感器220中的一些可用于位置和/或取向检测、周围/环境状况检测等等。此类传感器220的示例可尤其包括具有压电、压阻和/或电容组件的微机电***(MEMS)，该MEMS可用于确定与计算机设备200相关的环境状况或位置信息。在实施例中，MEMS可包括3轴加速度计、3轴陀螺仪和/或磁力计。在一些实施例中，传感器220还可包括一个或多个重力计、高度计、气压计、接近度传感器(例如，(例如)红外辐射检测器等等)、深度传感器、环境光传感器、热传感器(温度计)、超声收发器和/或类似传感器。
EMC 222可以是允许计算机设备200改变状态、位置、取向、移动，和/或控制机制或***的设备。EMC 222可包括：一个或多个交换机；触觉输出设备，诸如致动器和/或电机(例如，偏心旋转质量(ERM)致动器、线性谐振致动器(LRA)、压电致动器、伺服机构(servomechanisms)、旋转电机、线性电机和步进电机等)、推进器、抛射体喷射设备(例如，使用弹簧加载或压缩空气/流体)和/或类似物。在实施例中，EMC 222可包括扬声器，(多个)数字渲染模块(例如，其中具有数字渲染模块的实体对象)，和/或用于控制声学能量发射、电磁辐射发射、电能应用、磁场、以及由实体对象130P(包括由仪器对象131I)发射或体验的加速或减速的另一方式。在实施例中，计算机设备200可被配置成用于基于所检测到的用户交互或其他类似事件而通过传送/发送指令或控制信号到EMC 222来操作一个或多个EMC222。
图片生成单元(PGU)230和光学元件(OE)232。PGU 230可生成可被定向和/或重定向到OE 232(例如，显示表面)的光(例如，基于数字图像)。数字图像可以是由存储电路208存储、经由通信电路205从远程设备流送、和/或基于来自各种传感器220、EMC 222和/或仪器对象131I的输出的任何类型的内容。所生成的光可与同样被重定向到同一OE 232的外部(例如，自然)光组合或重叠。将所生成的光与外部光组合的OE 232可被称为“组合器元件”或“组合器”。
PGU 230可以是创建/生成将要被定向到OE 232的数字图像的一个或多个电子设备。PGU 230可以是或包括可基于所接收的信号将静止或移动图像经由一个或多个反射表面(例如，镜)投射到OE 232的(多个)表面上的投影仪。每个PGU 330的投影仪可以是LED投影仪、激光二极管投影仪、LCD投影仪、数字光处理(DLP)投影仪、硅上液晶(LCoS)投影仪、和/或其他类似的投影设备。投影仪可包括光源和可生成用于显示的图像的各种电子设备(或电子***)，诸如一个或多个处理器/GPU、一个或多个存储器设备以及其他类似组件。这可通过将图像转换为用于控制光源的信号以生成/输出不同颜色和强度的光来完成。投影仪还可包括组合器(也被称为“组合器光学元件”等等)，该组合器将不同光路组合为一个光路以限定颜色的调色板。在一些实施例中，投影仪可包括逐像素复制图像并随后投射图像以用于显示的扫描镜。在一些实施例中，PGU 230可包括中继透镜组装件和组合器元件(其可不同于投影仪的组合器)。中继透镜组装件可包括一个或多个中继透镜，这些中继透镜将来自投影仪的图像重新成像为中间图像，该中间图像随后通过反射器到达OE 232(例如，组合器元件)。
组合器元件(以及其他OE 232)可以是显示表面，该显示表面可以是完全或部分不透明或透明的，该组合器元件将由投影仪/PGU 230输出的数字图像与所观看的现实世界对象混合以促进增强现实。OE 232中的一个或多个可以是透射光学元件，其中，所发射的光束(参考光束)撞击OE 232，并且(多个)所衍射的光束穿过OE 232。一个或多个OE 232可以是反射光学元件，其中，所发射的光束(参考光束)撞击OE 232，并且(多个)所衍射的光束反射出OE 232(例如，参考光束和所衍射的光束在OE 232的同一侧面上)。在实施例中，OE 232可以是全息OE，并且在一些实施例中，组合器元件可以是全息图或全息性图像(例如，透射HOE或反射HOE)。
在使用HOE 232的情况下，HOE 232中的一个或多个可使用波导全息技术来渐进地提取由波导管中的全内反射(TIR)引导的准直图像。波导管可以是玻璃或塑料薄片，所生成的光通过该玻璃或塑料薄片反弹以将所生成的光路由至观看者/用户。在一些实施例中，HOE 232可利用全息性衍射光栅(例如，布拉格衍射光栅)在临界角处将所生成的光提供给波导，所生成的光行进通过该波导。由利用全息性衍射光栅的一个或多个其他HOE 232引导光朝向用户/观看者。这些HOE 232可包括沟槽反射光栅和/或具有交变折射率的多个层(例如，包括液晶、光阻基板等)；沟槽反射光栅和/或折射率层可提供相加干涉和相消干涉以及小波色散。
电池228可对计算机设备200供电。在实施例中，电池328可以是锂离子电池、金属-空气电池(诸如，锌-空气电池、铝-空气电池、锂-空气电池)、锂聚合物电池，等等。电池监视器226可包括在计算机设备200中，以跟踪/监视电池228的各参数，诸如电池228的充电状态(SoCh)、健康状态(SoH)、以及电池228的功能状态(SoF)。电池监视器226可包括电池监视IC，该电池监视IC可通过总线206将电池信息传输至处理器电路202。
总线206可允许计算机设备200和/或AR***110的组件彼此通信。总线206可包括任何数量的技术，诸如，本地互连网络(LIN)；工业标准架构(ISA)；扩展ISA(EISA)；***组件互连(PCI)；PCI扩展(PCIx)；快速PCI(PCIe)；集成电路间(I2C)总线；并行小型计算机***接口(SPI)总线；点对点接口；功率接口；专属总线，例如在基于SoC的接口中使用；或任何数量的其他技术。此类总线***的合适的实现方式和一般功能是已知的，并且易于由本领域普通技术人员实现。
尽管未示出，但是各种其他设备可存在于计算机设备200内或连接到计算机设备200。例如，诸如显示器、触摸屏或键盘之类的I/O设备可经由总线206连接到计算机设备200，以接受输入并显示输出。在另一示例中，计算机设备200可包括定位电路或与定位电路耦合，该定位电路被配置成用于基于从全球导航卫星***(GNSS)星座接收的信号来确定坐标。在另一示例中，通信电路305可包括通用集成电路卡(UICC)、嵌入式UICC(eUICC)和/或可用于通过一个或多个无线网络进行通信的其他元件/组件。
图3是非瞬态机器可读介质(NTMRM)300的框图，该NTMRM 300包括用于指引处理器302执行由本文中所讨论的实施例描述的各种功能的代码。在实施例中，非瞬态机器可读介质300可实现在AR平台105和/或(多个)服务器145中。处理器302可通过总线306访问该非瞬态机器可读介质300。处理器302和总线306可分别与参考图2的处理器202和总线206所描述的相同或类似。该非瞬态机器可读介质300可包括针对图2的大容量存储208所描述的设备，或者可包括光盘、拇指驱动器或任何数量的其他硬件设备。在替代实施例中，机器可读介质200可以是瞬态的，例如信号。NTMRM 300可包括建模引擎301的代码，以指引处理器302获取来自传感器阵列120中的传感器220的第一传感器数据。该第一传感器数据可表示环境115中的物理环境(例如，环境115)和/或实体对象131P。在一些实施例中，建模引擎301可指引处理器302基于第一传感器数据的信息来跟踪环境115中的实体对象131P。在一些实施例中，建模引擎301可指引处理器302基于第一传感器数据为AR环境生成物理环境115的三维(3D)模型303。3D模型303可以是通过各种几何形状或实体连接的3D空间中的数据点的合适的集合，并且可包括针对环境115的各表面的纹理信息。3D模型303可使用任何合适的建模工艺/技术来生成。在一些实施例中，建模引擎301可将3D模型303与由传感器220捕捉的其他传感器数据(例如，图像或视频数据)进行比较。
NTMRM 300可包括用户输入分析引擎311的代码，以引导处理器302从传感器阵列120中的传感器220获取表示一个或多个用户交互的第二传感器数据。用户交互可包括由用户108执行的姿势和/或由用户108发出的话音命令。在一些实施例中，第二传感器数据可包括从由用户108穿戴的可穿戴110获取的传感器数据，该传感器数据可用于增强或补充第二传感器数据。
就姿势识别而言，在一个示例中，用户输入分析引擎311可使用基于3D/骨骼的模型中的关键标志或基于外观的模型来检测姿势，该姿势的检测包括身体部位的特征检测，并且用户输入分析引擎311可利用使具体姿势与一个或多个特定动作相关的姿势库来确定动作。在其中环境115包括电容性、电阻性或其他类似的触摸表面的实施例中，用户输入分析引擎311可获取来自触摸表面的电路的触摸信号。该触摸信号可包括关于触摸位置(例如，描述触摸的面积、形状或骨架的一个或多个(x,y)坐标组)、触摸压力(例如，如通过用户的手指或可变形的触控笔与触摸屏104之间的接触面积或由压力传感器所检测)、接触持续时间的信息，任何其他合适的信息，或此类信息的组合。在该实施例中，用户输入分析引擎311可基于触摸信号的信息并且利用先前所讨论的姿势库来标识(多个)姿势。
就话音识别而言，用户输入分析引擎311可使用声学建模、语言建模方式、隐马尔可夫建模、动态时间规整、神经网络和/或类似物来执行语音识别；并且可使用(多个)自然语言处理(NLP)算法根据识别的速度标识特定的话音命令。可使用话音命令库将所检测到的话音命令变换为一个或多个动作，该话音命令库可与先前所讨论的姿势库相同或类似。动作可包括生成并提供各种投影/显示、触觉、声音和/或化学输出。动作还可包括生成消息并向仪器对象131I发送消息，以指示仪器对象131I执行各种动作。
NTMRM 300可包括对象识别引擎321的代码，以指引处理器302标识3D模型303内的实体对象。例如，对象识别引擎321可包括特征检测器、假设器、假设验证器、以及包括对象模型的模型数据库。特征检测器可将操作器应用到3D模型303，并且可标识各特征的位置以用于形成对象假设。特征可以是对象的属性，诸如尺寸、颜色、形状、与其他对象的关系等。可由对象识别引擎321使用的特征可取决于由对象简档322和/或跟踪历史323所指示的对象以及模型数据库的组织。通过使用所检测到的特征，假设器可将可能性/概率分配给3D模型303中的每个潜在对象，以产生候选对象。验证器可使用来自模型数据库的对象模型来验证该假设并细化分配给对象的可能性/概率。模型数据库中的对象模型可以是定性的或功能性的描述、几何表面信息和/或抽象特征向量。可使用某种类型的索引方案来组织模型数据库，以促进将不太可能的对象候选者从可能的考虑中消除。对象识别引擎321可为每个候选对象从对象模型中选择具有最高可能性/概率的对象作为所检测到的对象。
如所示，对象识别引擎321可包括对象简档322和跟踪历史323。对象简档322可指示所检测到的对象131(包括实体对象131P、虚拟对象131V、仪器对象131I和/或其他绑定135)的将用于对象识别的各种属性(诸如尺寸、形状、颜色等)，并且可包括或指示可影响各绑定135的创建和/或操纵的各种绑定或有关游戏玩法的属性。这些绑定或有关游戏玩法的属性可指示绑定135应当具有/展示/仿真的各种物理性质，例如尺寸、形状、(多个)颜色、弹性、刚度、流动性等。在角色扮演游戏(RPG)或者基于对抗或对决的游戏中，绑定或有关游戏玩法的属性可指示生命点数、生命期限或其他类似属性。此外，对象简档322还可包括基于关系的属性，该基于关系的属性可以是基于相关联的对象131而应用到绑定135的属性。例如，当用户108将绑定135与一个或多个实体对象131P相关联时，绑定135可包括一个或多个虚拟绑定到实体对象(VB-PO)属性；当用户108将绑定135与一个或多个虚拟对象131V相关联时，绑定135可包括一个或多个虚拟绑定到VO(VB-VO)属性；并且当用户108将绑定135与一个或多个仪器对象131I相关联时，绑定135可包括一个或多个虚拟绑定到仪器对象131I(VB-IO)属性。VB-PO、VB-VO和/或VB-IO属性可基于如由对象简档322所指示的对应的实体对象131P、虚拟对象131V和/或仪器对象131I的属性。此外，仪器对象131I的对象简档322可包括用于指示仪器对象131I执行各种动作的信息，诸如用于执行单独的动作的指令、所支持的消息格式、所支持的信令协议和/或类似的信息。跟踪历史323可指示先前所检测到的对象和/或先前所检测到的对象的属性，并且可影响与绑定135相关联的属性。对象简档322和跟踪历史323可使用任何合适的格式来形成，该格式诸如XML、JSON、第一号抽象语法标记(ASN.1)、ARML或某种其他合适的数据结构。
NTMRM 300可包括AR引擎331的代码，以指引处理器302基于一个或多个所标识/所检测到的对象131(例如，如由对象识别引擎321所确定)以及所标识/所检测到的用户交互(例如，如由用户输入分析引擎311所确定)来生成虚拟绑定135的实例。虚拟绑定135的实例可具有影响可由虚拟绑定135或使用绑定135执行的一个或多个动作的一个或多个属性，该一个或多个属性可基于所检测到的对象131的对象简档322中的属性。AR引擎331可包括绑定模型332，该绑定模型332可基于对象简档322中的一个或多个属性来描述或定义用于生成绑定135的实例的过程。AR渲染器333可与AR引擎331结合操作，以根据一种或多种已知的视频映射或投影映射方法、一种或多种已知的投影方法、和/或用于显示/投射图像的任何其他类似的已知的方法来显示/投射所生成的图像。由AR引擎331和AR渲染器333所使用的硬件设备可包括一个或多个GPU、和/或被配置成用于执行复杂的图像生成和/或渲染计算的任何其他类似的硬件设备。
AR引擎331可将绑定135的所生成的实例提供给接口电路，该接口电路可提供要显示/渲染/投射的绑定135的该实例，以使得一旦显示该实例，虚拟绑定135就可看起来被附连至对象131或看起来与对象131交互。另外，AR引擎331可将指令/命令提供给接口电路和/或通信电路，该接口电路和/或通信电路可将这些指令/命令提供给仪器对象131I以执行各种动作。
在第一示例中，当所检测到的用户交互是指示对特定虚拟绑定135的选择的用户交互时，AR引擎331可获取来自所检测到的对象131的对象简档322的一个或多个对象属性，并且生成虚拟绑定135的选择实例，以仿真由一个或多个所获取的属性指示的各种物理性质。
在第二示例中，当所检测到的用户交互是将虚拟绑定135与所检测到的对象131相关联的用户交互时，AR引擎331可生成虚拟绑定135的关联实例，以使得虚拟绑定135一旦显示就看起来被附连至所检测到的对象131或以其他方式与所检测到的对象131交互。取决于所检测到的对象131的对象类型，AR引擎331可标识虚拟绑定135与实体对象131P的关联的一个或多个VB-PO/VO/IO属性，并且该VB-PO/VO/IO属性可指示虚拟绑定135将要如何交互和/或***纵。
在实施例中，AR引擎331还可基于所检测到的对象131、所检测到的用户交互、和/或各绑定135来生成虚拟对象131V的实例。虚拟对象131V可包括由对应的对象简档322指示的对象属性。AR引擎331可将虚拟对象131V的所生成的实例提供给接口电路，该接口电路可提供要显示/渲染/投射的虚拟对象131V的所生成的实例。
NTMRM 300可包括上下文引擎341的代码，以指引处理器302确定一个或多个上下文属性，该一个或多个上下文属性可用于影响绑定135将要如何被创建/操纵。上下文引擎341可确定可允许AR平台105确定在给定情形下可能存在什么所期望的动作的方面，诸如用户活动、用户属性、语义位置、社交情况、周围/环境状况、电子设备的存在、日程表、通信等。用户活动上下文可包括与用户108有关的任何信息，诸如身体(或身体部位)位置/取向。用户属性可包括与用户108有关的任何信息，诸如用户对于各种游戏或对象131的偏好、和/或指示用户的口味、兴趣、目标等等的任何其他类似的偏好。用户偏好可由用户108设置或者从计算设备110上运行的一个或多个应用351获取。用户偏好可显式地(例如，通过获取用户评级和/或排名)或隐式地(例如，通过挖掘内容/应用351的点击数据、日志数据、用户简档数据等等)获取。用户属性还可包括其他信息，诸如互联网服务或蜂窝服务订阅类型或数据计划、对一个或多个内容提供服务的订阅、用户偏好、人口统计数据信息等。基于环境的上下文信息可包括诸如用户108与环境115中各种对象131之间的距离、环境照明、背景噪声、周围的电磁场、和/或围绕用户108和/或环境115的任何其他类似的生物或非生物因素之类的信息。该上下文还可包括设备属性，诸如指示AR平台105的一个或多个***设备(例如，传感器220、EMC 222等等)和/或内部组件(例如，处理器类型、存储器设备等)、和/或环境115的组件的信息。
虽然图3示出了由NTMRM 300存储的各种模块或引擎的程序代码，但在一些实现方式中，程序代码与用于执行程序代码的功能的硬件元件(或在电气或电子***中使用的电路的组合)(例如，处理器302、NTMRM 300、总线306等等)的组合可被称为特定类型的电路。例如，各种硬件元件与建模引擎301的组合可被称为“建模电路”，各种硬件元件与用户输入分析引擎311的组合可被称为“用户输入电路”，各种硬件元件与对象识别引擎321的组合可被称为“对象识别电路”，各种硬件元件与AR引擎331的组合可被称为“AR电路”，并且各种硬件元件与上下文引擎341的组合可被称为“上下文电路”。在其他实施例中，其他组合可以是可能的。
图4-图5图示出根据各实施例的用于生成和显示绑定135的过程400-500。为了说明性的目的，上述过程的操作被描述为由参考图1-图3所讨论的各种元件执行。然而，应当注意，在多种实现方式、布置和/或环境中，其他计算设备(或其组件)可操作过程400-500。在实施例中，过程400-500可被实现为程序代码，该程序代码在由处理器执行时，使得计算机***执行这些过程的各种操作。尽管在图4-图5中图示出特定的示例和操作次序，但在各实施例中，这些操作可被重新排序、分成附加操作、组合或者完全省略。
参考图4，在AR平台105被开启或以其他方式被激活之后，或者当用户108控制AR平台105进行操作时，过程400可开始。在操作405处，AR平台105的用户输入分析引擎311可标识对虚拟绑定135的选择，该选择可基于表示一个或多个用户交互(例如，姿势、话音命令等)的传感器数据。在操作410处，用户输入分析引擎311可检测用户交互以将虚拟绑定135附连至实体对象131P。AR平台105可控制传感器阵列120中的传感器220扫描环境115，并且可生成表示所扫描的环境115的传感器数据。AR***110可获取该传感器数据并生成环境115的3D模型303，该3D模型303包括环境115中的任何实体或仪器对象131。在3D模型303被创建之后，AR平台105可控制传感器阵列120中的传感器220检测包括姿势和/或话音命令的用户交互。
在操作415处，AR平台105的对象识别引擎321可识别实体对象131P，并且在操作420处，AR平台105的AR引擎331可使用所标识的实体对象131P的对象简档322来确定实体对象131P的一个或多个物理属性。在操作420处，AR平台105的AR引擎331可基于实体对象131P属性和/或使用对象简档322来确定虚拟绑定135到实体对象131P(VB-PO)属性。在操作430处，AR平台105的AR引擎331可生成虚拟绑定135的实例，并且可控制AR平台105的接口电路提供虚拟绑定135的该实例以供显示。
在操作435处，AR平台105的用户输入分析引擎311可检测另一用户交互，以将虚拟对象131V与虚拟绑定135相关联。在操作440处，AR平台105的AR引擎331可确定虚拟绑定135到虚拟对象131V(VB-VO)属性，该VB-VO属性可基于虚拟对象131V的属性和/或虚拟对象131V的对象简档322。在操作445处，AR平台105的用户输入分析引擎311可检测用户交互，以操纵虚拟绑定135。在操作445处，AR平台105的AR引擎331可生成虚拟绑定135的操纵实例，并且可控制AR平台105的接口电路，以提供要显示的虚拟绑定135的该操纵实例。在执行操作450之后，过程400可在必要时重复或者结束。
参考图5，在AR平台105被开启或以其他方式被激活之后，或者当用户108控制AR平台105进行操作时，过程500可开始。在操作505处，AR平台105的用户输入分析引擎311可标识对虚拟绑定135的选择，该选择可基于表示一个或多个用户交互(例如，姿势、话音命令等)的传感器数据。在操作510处，用户输入分析引擎311可检测用户交互以将虚拟绑定135附连至仪器对象131V。操作505和510可与过程400的操作405和410相同或类似。
在操作515处，AR平台105的对象识别引擎321可标识仪器对象131I。在操作520处，AR平台105的AR引擎331可控制通信电路205建立与仪器对象131I的连接。在操作525处，AR平台105的AR引擎331可生成虚拟绑定135的实例，并且可控制AR平台105的接口电路提供要显示的虚拟绑定135的该实例。
在操作530处，AR平台105的AR引擎331可确定仪器对象131I的属性和/或基于仪器对象131I属性的VB-IO属性。这些属性可从与仪器对象131I相关联的对象简档322标识，该对象简档322由对象识别引擎321存储。这些属性还可包括用于指示仪器对象131I执行一个或多个动作的指令和/或其他类似信息。
在操作535处，用户输入分析引擎311可检测用户交互以操纵虚拟绑定135和/或仪器对象131I，并且在操作540处，AR平台105的AR引擎331可控制通信电路205将所选择的指令传送到仪器对象131I，以基于在操作535处所检测到的用户交互来执行一个或多个动作。在执行操作540之后，过程500可在必要时重复或者结束。
图6-图7图示出根据各实施例的各种用户交互阶段。由图6-图7示出的实例可以是弹弓保龄球游戏，其中，用户尝试使用虚拟绑定(例如，绑定635)用抛射体(虚拟对象630V-2)来击倒一组球瓶(例如，虚拟对象630V-1)。
参考图6，在阶段1，用户608(由图6中的手来表示)可通过轻击-长按(tap-hold)姿势在第一实体对象630P-1处使用食指并将食指的指尖从第一实体对象630P-1拖向第二实体对象630P-2使得将要由AR平台105生成的绑定635将第一实体对象630P-1与第二实体对象630P-2绑定。一旦用户608的是指到达第二实体对象630P-2，AR平台105就可将绑定635的端部连接到第二实体对象630P-2，并且用户608可释放长按姿势。在该示例中，实体对象630P-1和630P-2可表示典型地在经典弹弓中使用的Y形框架的末端。阶段1还示出了第三实体对象630P-3(例如，标尺)和所投射的虚拟对象630V-1(图5中的球瓶形成)。在该示例中，游戏可要求用户608射击抛射体以通过对象630P-3的弹开来击倒对象630V-1的球瓶。
在阶段2，用户608可在绑定上执行抓取并长按姿势，并且随后执行拉动姿势而将绑定635向用户608拉伸。当用户608拉伸绑定635时，绑定635的多个实例可由AR平台105生成，并且以使得绑定635看起来呈现各种物理性质的此类方式来显示。例如，典型的弹弓使用存储的弹性能量以高速射击抛射体，其中弹性能量在弹弓操作者拉回连接到弹弓的Y形框架的橡皮筋时产生并存储。在该示例中，当用户608执行抓取和拉动姿势时，AR平台105可仿真要存储在绑定635中的弹性能量，例如通过使用线性或非线性弹性方程。
在阶段3中，虚拟对象630V-2可由AR平台105生成，并且被显示。在该示例中，虚拟对象630V-2可以是将要在对象630V-1出经由实体对象630P-3射击的抛射体。在实施例中，利用绑定635或围绕绑定635执行的姿势可指示要生成的所期望的虚拟对象。在该示例中，在阶段2将绑定635拉向用户608的动作可指示用户608希望创建弹弓口袋。响应于在阶段2检测到抓取和/或拉动姿势，AR平台105可在阶段3处由弯曲绑定635创建的弹弓口袋中生成并显示抛射体对象630V-2。
参考图7，在阶段4，用户608可执行用于释放绑定635的姿势，并且作为响应，AR平台105可生成并显示示出绑定635和虚拟对象630V-2对该姿势作出反应的各种图像或动画，这通过阶段4、5和6来示出。在该示例中，一旦执行释放姿势，绑定635的各实例就可被生成并显示，示出由绑定635存储的弹性能量被释放并且被转换成抛射体对象630V-2的动能。在阶段6，AR平台105可生成并显示示出虚拟对象630V-2自实体对象630P-3反弹的各种图像或动画。在阶段7，AR平台105可生成并显示示出虚拟对象630V-2与虚拟对象630V-1彼此进行交互的各种图像或动画。在该示例中，AR平台105可生成并显示示出球瓶组630V-3在抛射体630V-2自实体对象630P-3反弹之后被该抛射体630V-2击倒的各种图像或动画。
图8图示出根据各实施例所述的各种用户交互阶段。由图8示出的示例示出了用户808与仪器对象830I进行交互。在该示例中，仪器对象830I为玩具车，其可具有用于与AR平台105进行通信的电路，并且还可具有用于控制EMC的电路(例如，处理器、存储器等)，诸如用于推进该玩具车的车轮。另外，绑定835可充当或仿真绳、线、橡皮筋、手柄或一些其他类似的连接器。
在阶段1，用户808(由图8中的手和手臂表示)可通过使用食指在仪器对象830I处执行轻击-长按姿势并且拖拽食指指尖远离仪器对象830I来使得AR平台105生成绑定835以与仪器对象830I绑定。一旦用户808的食指到达远离仪器对象830I的预定距离处，或者当用户808停止拖拽食指时，AR平台105可设置或建立绑定835。
在阶段2，用户808可执行捏合并长按姿势以指示与绑定835和/或仪器对象830I交互或者操纵绑定835和/或仪器对象830I。在阶段2-3，用户808可在继续执行捏合并长按姿势的同时执行拖拽姿势，以使用绑定835来移动仪器对象830I。在阶段2-3，当用户808执行拖拽姿势时，AR平台105可向仪器对象830I发送指示该仪器对象830I执行一个或多个动作的指令。在该示例中，指令可指示仪器对象830I激活其EMC，以便在与拖拽姿势对应的方向上推进该仪器对象830I。
如下是一些非限制性示例。
示例1可包括一种在增强现实(AR)***中采用的计算机设备，该计算机设备包括：建模电路，用于获取来自传感器阵列的第一传感器数据，其中，该第一传感器数据表示物理环境和该物理环境中的实体对象，并且该建模电路用于基于第一传感器数据跟踪物理环境中的实体对象；用户输入电路，用于从传感器阵列获取表示由用户执行的姿势的第二传感器数据；对象识别电路，用于标识所跟踪的实体对象；AR电路，用于基于所标识的实体对象和姿势来生成虚拟绑定的实例，其中，该虚拟绑定的实例具有一个或多个虚拟绑定属性，该一个或多个虚拟绑定属性影响虚拟绑定基于所标识的实体对象而要执行的一个或多个动作；以及接口电路，用于提供要显示的虚拟绑定的实例，以使得一旦显示该实例则虚拟绑定将看起来被附连至实体对象或者看起来与该实体对象进行交互。
示例2可包括如示例1和/或本文中的某一其他示例所述的计算机设备，其中，AR电路用于在姿势是用于指示对特定虚拟绑定的选择的姿势时生成虚拟绑定的实例。
示例3可包括如示例1和/或本文中的某一其他示例所述的计算机设备，其中，AR电路用于获取实体对象的一个或多个对象属性并且基于该一个或多个对象属性来生成虚拟绑定的实例。
示例4可包括如示例1和/或本文中的某一其他示例所述的计算机设备，其中，实例是选择实例，并且其中：AR电路用于：当姿势是用于指示将虚拟绑定与实体对象相关联的姿势时生成该虚拟绑定的关联实例，以及标识该虚拟绑定与实体对象的关联的一个或多个虚拟绑定到实体对象(VB-PO)属性；并且接口电路用于提供要显示的该虚拟绑定的关联实例，其中，一个或多个VB-PO属性用于指示一旦显示关联实例、则虚拟绑定是将看起来被附连至实体对象还是看起来与该实体对象进行交互。
示例5可包括如示例4和/或本文中的某一其他示例所述的计算机设备，其中：AR电路用于在姿势是用于操纵虚拟绑定的姿势时生成该虚拟绑定的PO操纵实例；并且接口电路用于提供要显示的该虚拟绑定的PO操纵实例，以使得虚拟绑定将看起来响应于姿势的执行而***纵。
示例6可包括如示例5和/或本文中的某一其他示例所述的计算机设备，进一步包括：上下文电路，用于确定一个或多个上下文属性，其中，该一个或多个上下文属性包括用户活动、语义位置、社交情况、环境状况、一个或多个电子设备的存在、日程表、以及用户通信，其中，AR电路用于基于该一个或多个上下文属性来生成PO操纵实例。
示例7可包括如示例1-6和/或本文中的某一其他示例所述的计算机设备，其中，实例是选择实例，并且其中：AR电路用于：当姿势是用于指示选择虚拟对象(VO)的姿势时生成VO，当姿势是用于指示将虚拟绑定与该VO相关联的姿势时生成虚拟绑定的VO实例，标识该虚拟绑定与VO的关联的一个或多个虚拟绑定到VO(VB-VO)属性，以及当姿势是用于操纵虚拟绑定的姿势时，生成该虚拟绑定的VO操纵实例；并且接口电路用于：提供要显示的VO和虚拟绑定的VO实例，其中，一个或多个VB-VO属性用于指示一旦显示该VO实例和VO、则虚拟绑定是将看起来被附连至该VO还是看起来与该VO进行交互，以及提供要显示的虚拟绑定的VO操纵实例，以使得该虚拟绑定将看起来响应于用于操纵该虚拟绑定的姿势的执行而***纵。
示例8可包括如示例1-7和/或本文中的某一其他示例所述的计算机设备，其中，建模电路用于生成物理环境的三维(3D)模型，并且其中，对象识别电路用于标识该3D模型内的实体对象。
示例9可包括如示例1-8和/或本文中的某一其他示例所述的计算机设备，其中，实例是选择实例，并且其中：AR电路用于：当姿势是用于指示将虚拟绑定与仪器对象相关联的姿势时，生成该虚拟绑定的仪器对象(IO)实例，以及标识该虚拟绑定与IO的关联的一个或多个虚拟绑定到IO(VB-IO)属性；并且接口电路用于：使得将建立与该仪器对象的网络连接，以及提供要显示的虚拟绑定的IO实例，其中，一个或多个VB-IO属性用于指示一旦显示该IO实例、则虚拟绑定是将看起来被附连至仪器对象还是看起来与该仪器对象进行交互。
示例10可包括如示例9和/或本文中的某一其他示例所述的计算机设备，其中，AR电路用于在姿势是用于操纵虚拟绑定以作用于仪器对象的姿势时生成该虚拟绑定的IO操纵实例；并且接口电路用于：提供要显示的虚拟绑定的IO操纵实例，以使得该虚拟绑定将看起来响应于姿势的执行而***纵，并且使得消息将通过网络连接被传送至仪器对象，其中，指令用于指示仪器对象响应于对虚拟绑定的操纵而执行一个或多个动作。
示例11可包括一个或多个计算机可读介质(CRM)，包括指令，该指令在由计算机设备的一个或多个处理器执行时将使得该计算机设备：获取来自传感器阵列的第一传感器数据，其中，该第一传感器数据表示物理环境；基于该第一传感器数据来跟踪物理环境中的实体对象；标识对象以及与所标识的对象相关联的对象属性；从传感器阵列获取表示由用户执行的姿势的第二传感器数据；基于该第二传感器数据来标识该姿势；响应于该姿势的标识，基于对象属性来生成虚拟绑定的实例，其中，该虚拟绑定的实例具有一个或多个虚拟绑定属性，该一个或多个虚拟绑定属性影响将要由虚拟绑定执行的一个或多个动作；以及提供要显示的虚拟绑定的实例，以使得一旦显示该实例则虚拟绑定将看起来被附连至对象或者看起来与该对象进行交互。
示例12可包括如示例11和/或本文中的某一其他示例所述的一个或多个CRM，其中，当姿势是用于指示对特定虚拟绑定的选择的姿势时，虚拟绑定的实例是选择实例。
示例13可包括如示例11和/或本文中的某一其他示例所述的一个或多个CRM，其中，指令的执行将使得计算机设备：获取与所标识的对象相关联的对象简档，从该对象简档标识对象属性，并且基于该对象属性来确定虚拟绑定属性。
示例14可包括如示例11和/或本文中的某一其他示例所述的一个或多个CRM，其中，对象是实体对象，并且指令的执行将使得计算机设备：当姿势是用于指示将虚拟绑定与实体对象相关联的姿势时，生成该虚拟绑定的关联实例；标识该虚拟绑定与实体对象的关联的一个或多个虚拟绑定到实体对象(VB-PO)属性；以及提供要显示的虚拟绑定的关联实例，其中，一个或多个VB-PO属性用于指示一旦显示该关联实例、则虚拟绑定是将看起来被附连至实体对象还是看起来与该实体对象进行交互。
示例15可包括示例14和/或本文中的某一其他示例所述的一个或多个CRM，其中，指令的执行将使得计算机设备：当姿势是用于操纵虚拟绑定的姿势时，生成该虚拟绑定的PO操纵实例；以及提供要显示的虚拟绑定的PO操纵实例，以使得该虚拟绑定将看起来响应于姿势的执行并且根据虚拟绑定属性而***纵。
示例16可包括示例15和/或本文中的某一其他示例所述的一个或多个CRM，其中，指令的执行将使得计算机设备：确定一个或多个上下文属性，其中，该一个或多个上下文属性包括用户活动、语义位置、社交情况、环境状况、一个或多个电子设备的存在、日程表、以及用户通信；以及基于该一个或多个上下文属性来生成PO操纵实例。
示例17可包括示例11和/或本文中的某一其他示例所述的一个或多个CRM，其中，指令的执行将使得计算机设备：当姿势是用于指示选择虚拟对象(VO)的姿势时，生成VO；当姿势是用于指示将虚拟绑定与VO相关联的姿势时，生成该虚拟绑定的VO实例；标识虚拟绑定与VO的关联的一个或多个虚拟绑定到VO(VB-VO)属性；当姿势是用于操纵虚拟绑定的姿势时，生成该虚拟绑定的VO操纵实例；提供要显示的VO和虚拟绑定的VO实例，其中，一个或多个VB-VO属性用于指示一旦显示该VO实例和VO、则虚拟绑定是将看起来被附连至VO还是看起来与该VO进行交互并且根据所述虚拟绑定属性；以及提供要显示的虚拟绑定的VO操纵实例，以使得该虚拟绑定看起来响应于姿势的执行并且根据虚拟绑定属性而***纵。
示例18可包括示例17和/或本文中的某一其他示例所述的一个或多个CRM，其中，指令的执行将使得计算机设备：基于传感器数据来为AR环境生成物理环境的三维(3D)模型；以及标识该3D模型内的实体对象。
示例19可包括如示例11和/或本文中的某一其他示例所述的一个或多个CRM，其中，指令的执行将使得计算机设备：当姿势是用于指示将虚拟绑定与仪器对象相关联的姿势时，生成该虚拟绑定的仪器对象(IO)实例；标识该虚拟绑定与IO的关联的一个或多个虚拟绑定到IO(VB-IO)属性；使得将建立与该仪器对象的网络连接；以及提供要显示的虚拟绑定的IO实例，其中，一个或多个VB-IO属性用于指示一旦显示该IO实例/则虚拟绑定是将看起来被附连至仪器对象还是看起来与该仪器对象进行交互并且根据虚拟绑定属性。
示例20可包括如示例19和/或本文中的某一其他示例所述的一个或多个CRM，其中，指令的执行将使得计算机设备：当姿势是用于操纵虚拟绑定以作用于仪器对象的姿势时，生成该虚拟绑定的IO操纵实例；提供要显示的虚拟绑定的IO操纵实例，以使得该虚拟绑定将看起来响应于姿势的执行而***纵；以及使得消息将通过网络连接被传送至仪器对象，其中，指令用于指示仪器对象响应于对虚拟绑定的操纵而执行一个或多个动作。
示例21可包括一种用于由计算机设备执行的方法，该方法包括：由计算机设备获取来自传感器阵列的第一传感器数据，其中，该第一传感器数据表示物理环境；由计算机设备基于第一传感器数据来跟踪物理环境中的实体对象；由计算机设备标识物理环境内的对象以及与所标识的对象相关联的对象属性；由计算机设备从传感器阵列获取表示由用户执行的姿势的第二传感器数据；由计算机设备基于所述第二传感器数据来标识该姿势；由所述计算机设备响应于该姿势的标识而基于对象属性来生成虚拟绑定的实例，其中，该虚拟绑定的实例具有一个或多个虚拟绑定属性，该一个或多个虚拟绑定属性影响将要由虚拟绑定执行的一个或多个动作；以及由计算机设备提供要显示的虚拟绑定的实例，以使得一旦显示该实例则虚拟绑定将看起来被附连至对象或者看起来与该对象进行交互。
示例22可包括如示例21和/或本文中的某一其他示例所述的方法，其中，当姿势是用于指示对特定虚拟绑定的选择的姿势时，虚拟绑定的实例是选择实例。
示例23可包括如示例21和/或本文中的某一其他示例所述的方法，进一步包括：由计算机设备获取与所标识的对象相关联的对象简档，由计算机设备从该对象简档标识对象属性，以及由计算机设备基于该对象属性来确定虚拟绑定属性。
示例24可包括如示例21和/或本文中的某一其他示例所述的方法，其中，对象是实体对象，并且指令的执行将使得计算机设备：由计算机设备在姿势是用于指示将虚拟绑定与实体对象相关联的姿势时生成该虚拟绑定的关联实例；由计算机设备标识该虚拟绑定与实体对象的关联的一个或多个虚拟绑定到实体对象(VB-PO)属性；以及由计算机设备提供要显示的该虚拟绑定的关联实例，其中，一个或多个VB-PO属性用于指示一旦显示该关联实例、则虚拟绑定是将看起来被附连至实体对象还是看起来与该实体对象进行交互。
示例25可包括如示例24和/或本文中的某一其他示例所述的方法，进一步包括：由该计算机设备在姿势是用于操纵虚拟绑定的姿势时生成该虚拟绑定的PO操纵实例；以及由计算机设备提供要显示的虚拟绑定的PO操纵实例，以使得虚拟绑定将看起来响应于姿势的执行并且根据虚拟绑定属性而***纵。
示例26可包括示例25和/或本文中的某一其他示例所述的方法，其中，指令的执行将使得计算机设备：由计算机设备确定一个或多个上下文属性，其中，该一个或多个上下文属性包括用户活动、语义位置、社交情况、环境状况、一个或多个电子设备的存在、日程表、以及用户通信；以及由计算机设备基于该一个或多个上下文属性来生成PO操纵实例。
示例27可包括示例21和/或本文中的某一其他示例所述的方法，进一步包括：由计算机设备在姿势是用于指示选择虚拟对象(VO)的姿势时生成VO；由计算机设备在姿势是用于指示将虚拟绑定与VO相关联的姿势时生成该虚拟绑定的VO实例；由计算机设备标识虚拟绑定与VO的关联的一个或多个虚拟绑定到VO(VB-VO)属性；由计算机设备在姿势是用于操纵虚拟绑定的姿势时生成该虚拟绑定的VO操纵实例；由计算机设备提供要显示的VO和虚拟绑定的VO实例，其中，一个或多个VB-VO属性用于指示一旦显示该VO实例和VO、则虚拟绑定是将看起来被附连至VO还是看起来与该VO进行交互并且根据所述虚拟绑定属性；以及由计算机设备提供要显示的虚拟绑定的VO操纵实例，以使得该虚拟绑定将看起来响应于姿势的执行并且根据虚拟绑定属性而***纵。
示例28可包括示例27和/或本文中的某一其他示例所述的方法，其中，指令的执行将使得计算机设备：由计算机设备基于传感器数据来为AR环境生成物理环境的三维(3D)模型；以及由计算机设备标识该3D模型内的对象。
示例29可包括如示例21和/或本文中的某一其他示例所述的方法，其中，实例是第一实例，并且其中指令的执行将使得计算机设备：由计算机设备在姿势是用于指示将虚拟绑定与仪器对象相关联的姿势时生成该虚拟绑定的仪器对象(IO)实例；由计算机设备标识该虚拟绑定与IO的关联的一个或多个虚拟绑定到IO(VB-IO)属性；由计算机设备建立与该仪器对象的网络连接；以及由计算机设备提供要显示的虚拟绑定的IO实例，其中，一个或多个VB-IO属性用于指示一旦显示该IO实例、则虚拟绑定是将看起来被附连至仪器对象还是看起来与该仪器对象进行交互并且根据虚拟绑定属性。
示例30可包括如示例29和/或本文中的某一其他示例所述的方法，其中，指令的执行将使得计算机设备：由计算机设备在姿势是用于操纵虚拟绑定以作用于仪器对象的姿势时，生成该虚拟绑定的IO操纵实例；由计算机设备提供要显示的虚拟绑定的IO操纵实例，以使得该虚拟绑定将看起来响应于姿势的执行而***纵；以及由计算机设备将消息通过网络连接传送至仪器对象，其中，指令用于指示仪器对象响应于对虚拟绑定的操纵而执行一个或多个动作。
示例31可包括一种增强现实(AR)***，包括：环境，包括传感器阵列和输出设备阵列，其中，该传感器阵列包括一个或多个传感器，并且该输出设备阵列包括一个或多个机电设备；以及AR平台，与传感器阵列及输出设备阵列通信地耦合，该AR平台包括：与存储器电路、通信电路、以及接口电路耦合的处理器电路，其中，该处理器电路用于：控制接口电路或通信电路以获取来自所述传感器阵列中的一个或多个传感器的第一传感器数据；基于该第一传感器数据来跟踪环境内的实体对象；标识3D模型内的对象以及与所标识的对象相关联的对象属性；获取来自传感器阵列中的一个或多个传感器的第二传感器数据，其中，该第二传感器数据表示由用户执行的姿势；基于该第二传感器数据来标识姿势；响应于该姿势的标识，基于对象属性来生成虚拟绑定的实例，其中，该虚拟绑定的实例具有一个或多个虚拟绑定属性，该一个或多个虚拟绑定属性影响将要由所述虚拟绑定执行的一个或多个动作；以及控制接口电路或通信电路以向输出设备阵列中的一个或多个输出设备中的个别的输出设备提供虚拟绑定的实例，其中，该个别的输出设备用于显示虚拟绑定的实例，以使得一旦显示该实例则虚拟绑定将看起来被附连至对象或者看起来与该对象进行交互。
示例32可包括如示例31和/或本文中的某一其他示例所述的AR***，其中，当姿势是用于指示对特定虚拟绑定的选择的姿势时，虚拟绑定的实例是选择实例。
示例33可包括如示例31和/或本文中的某一其他示例所述的AR***，其中，处理器用于获取与所标识的对象相关联的对象简档，从该对象简档标识对象属性，并且基于该对象属性来确定虚拟绑定属性。
示例34可包括如示例31和/或本文中的某一其他示例所述的AR***，其中，处理器电路用于：当姿势是用于指示将虚拟绑定与实体对象相关联的姿势时，生成该虚拟绑定的关联实例；标识该虚拟绑定与实体对象的关联的一个或多个虚拟绑定到实体对象(VB-PO)属性；以及控制接口电路或通信电路以提供要显示的该虚拟绑定的关联实例，其中，一个或多个VB-PO属性用于指示一旦显示关联实例、则虚拟绑定是将看起来被附连至实体对象还是看起来与该实体对象进行交互。
示例35可包括如示例34和/或本文中的某一其他示例所述的AR***，其中，处理器电路用于：当姿势是用于操纵虚拟绑定的姿势时，生成该虚拟绑定的PO操纵实例；以及控制接口电路或通信电路以提供要显示的该虚拟绑定的PO操纵实例，以使得虚拟绑定将看起来响应于姿势的执行并且根据虚拟绑定属性而***纵。
示例36可包括如示例35和/或本文中的某一其他示例所述的AR***，其中，所述处理器电路用于：确定一个或多个上下文属性，其中，该一个或多个上下文属性包括用户活动、语义位置、社交情况、环境状况、一个或多个电子设备的存在、日程表、以及用户通信；以及基于该一个或多个上下文属性来生成PO操纵实例。
示例37可包括示例31和/或本文中的某一其他示例所述的AR***，处理器电路用于：当姿势是用于指示选择虚拟对象(VO)的姿势时，生成VO；当姿势是用于指示将虚拟绑定与VO相关联的姿势时，生成该虚拟绑定的VO实例；标识虚拟绑定与VO的关联的一个或多个虚拟绑定到VO(VB-VO)属性；当姿势是用于操纵虚拟绑定的姿势时，生成该虚拟绑定的VO操纵实例；控制接口电路或通信电路以提供要显示的VO和虚拟绑定的VO实例，其中，一个或多个VB-VO属性用于指示一旦显示该VO实例和VO、则虚拟绑定是将看起来被附连至VO还是看起来与该VO进行交互并且根据所述虚拟绑定属性；以及控制接口电路或通信电路以提供要显示的虚拟绑定的VO操纵实例，以使得该虚拟绑定将看起来响应于姿势的执行并且根据虚拟绑定属性而***纵。
示例38可包括示例37和/或本文中的某一其他示例所述的AR***，处理器电路用于：基于传感器数据来为AR环境生成物理环境的三维(3D)模型；以及标识该3D模型内的实体对象。
示例39可包括如示例31和/或本文中的某一其他示例所述的AR***，处理器电路用于：当姿势是用于指示将虚拟绑定与仪器对象相关联的姿势时，生成该虚拟绑定的仪器对象(IO)实例；标识该虚拟绑定与IO的关联的一个或多个虚拟绑定到IO(VB-IO)属性；使得将建立与该仪器对象的网络连接；以及控制接口电路或通信电路以提供要显示的虚拟绑定的IO实例，其中，一个或多个VB-IO属性用于指示一旦显示该IO实例、则虚拟绑定是将看起来被附连至仪器对象还是看起来与该仪器对象进行交互并且根据虚拟绑定属性。
示例40可包括如示例39和/或本文中的某一其他示例所述的AR***，其中，处理器电路用于：当姿势是用于操纵虚拟绑定以作用于仪器对象的姿势时，生成该虚拟绑定的IO操纵实例；控制接口电路或通信电路以提供要显示的虚拟绑定的IO操纵实例，以使得该虚拟绑定将看起来响应于姿势的执行而***纵，并且控制通信电路以将消息通过网络连接传送至仪器对象，其中，指令用于指示仪器对象响应于对虚拟绑定的操纵而执行一个或多个动作。
示例41可包括一种在增强现实(AR)***中采用的计算机设备，该计算机设备包括：用于基于第一传感器数据来生成物理环境的三维(3D)模型的建模装置，其中，该第一传感器数据从传感器阵列获取；用于基于从传感器阵列获取的第二传感器数据来确定用户交互的用户输入分析装置，第二传感器数据表示用户的用户交互；用于标识3D模型内的实体对象的对象识别装置；用于基于所标识实体对象和姿势来生成虚拟绑定的实例的AR装置，其中，该虚拟绑定的实例具有一个或多个虚拟绑定属性，该一个或多个虚拟绑定属性影响将要由所述虚拟绑定基于所标识的实体对象执行的一个或多个动作；以及用于显示要显示的虚拟绑定的实例以使得一旦显示该实例则虚拟绑定将看起来被附连至实体对象或者看起来与该实体对象进行交互的显示装置。
示例42可包括如示例41和/或本文中的某一其他示例所述的计算机设备，其中，AR装置用于在姿势是用于指示对特定虚拟绑定的选择的姿势时生成虚拟绑定的实例。
示例43可包括如示例41和/或本文中的某一其他示例所述的计算机设备，其中，AR装置用于获取实体对象的一个或多个对象属性并且用于基于该一个或多个对象属性来生成虚拟绑定的实例。
示例44可包括如示例41和/或本文中的某一其他示例所述的计算机设备，其中，AR装置用于：在姿势是用于指示将虚拟绑定与实体对象相关联的姿势时生成该虚拟绑定的关联实例，以及标识该虚拟绑定与实体对象的关联的一个或多个虚拟绑定到实体对象(VB-PO)属性；并且显示装置用于显示要显示的虚拟绑定的关联实例，其中，一个或多个VB-PO属性用于指示一旦显示关联实例、则虚拟绑定是将看起来被附连至实体对象还是看起来与该实体对象进行交互。
示例45可包括如示例44和/或本文中的某一其他示例所述的计算机设备，其中：AR装置用于在姿势是用于操纵虚拟绑定的姿势时生成该虚拟绑定的PO操纵实例；并且显示电路用于显示要显示的该虚拟绑定的PO操纵实例，以使得虚拟绑定将看起来响应于姿势的执行而***纵。
示例46可包括如示例45和/或本文中的某一其他示例所述的计算机设备，进一步包括：用于确定一个或多个上下文属性的上下文装置，其中，该一个或多个上下文属性包括用户活动、语义位置、社交情况、环境状况、一个或多个电子设备的存在、日程表、以及用户通信，其中，AR装置用于基于该一个或多个上下文属性来生成PO操纵实例。
示例47可包括如示例41和/或本文中的某一其他示例所述的计算机设备，其中，实例是选择实例，并且其中：AR装置用于：当姿势是用于指示选择虚拟对象(VO)的姿势时生成VO，当姿势是用于指示将虚拟绑定与VO相关联的姿势时生成该虚拟绑定的VO实例，标识虚拟绑定与VO的关联的一个或多个虚拟绑定到VO(VB-VO)属性；并且显示装置用于显示要显示的VO和虚拟绑定的VO实例，其中，一个或多个VB-VO属性用于指示一旦显示该VO实例和VO、则虚拟绑定是将看起来被附连至VO还是看起来与该VO进行交互。
示例48可包括如示例47和/或本文中的某一其他示例所述的计算机设备，其中：AR装置用于在姿势是用于操纵虚拟绑定的姿势时生成该虚拟绑定的VO操纵实例；并且显示电路用于显示要显示的该虚拟绑定的VO操纵实例，以使得虚拟绑定将看起来响应于姿势的执行而***纵。
示例49可包括如示例41和/或本文中的某一其他示例所述的计算机设备，其中，实例是选择实例，并且其中：AR装置用于：当姿势是用于指示将虚拟绑定与仪器对象相关联的姿势时生成该虚拟绑定的仪器对象(IO)实例，以及标识该虚拟绑定与IO的关联的一个或多个虚拟绑定到IO(VB-IO)属性；并且显示装置用于显示要显示的虚拟绑定的IO实例，其中，一个或多个VB-IO属性用于指示一旦显示该IO实例、则虚拟绑定是将看起来被附连至仪器对象还是看起来与该仪器对象进行交互，并且该设备包括用于建立将要建立与仪器对象的网络连接的通信装置。
示例50可包括如示例49和/或本文中的某一其他示例所述的计算机设备，其中：AR装置用于在姿势是用于操纵虚拟绑定以作用于仪器对象的姿势时生成该虚拟绑定的IO操纵实例；并且显示装置用于显示要显示的虚拟绑定的IO操纵实例，以使得该虚拟绑定将看起来响应于姿势的执行而***纵，并且通信装置用于将消息将通过网络连接传送至仪器对象，其中，指令用于指示仪器对象响应于对虚拟绑定的操纵而执行一个或多个动作。
对于本领域技术人员将是显而易见的是，可在所公开的设备和相关联的方法的所公开的实施例中作出各种修改和变型，而不背离本公开的精神和范围。因此，如果修改和变型落入任何权利要求及其等效方案的范围之内，则本公开旨在涵盖以上所公开的多个实施例的修改和变型。

Claims (25)

1.一种在增强现实AR平台中采用的计算机设备，所述计算机设备包括：
建模电路，用于获取来自传感器阵列的第一传感器数据，其中，所述第一传感器数据表示物理环境和所述物理环境中的实体对象，并且所述建模电路用于基于所述第一传感器数据跟踪所述物理环境中的所述实体对象；
用户输入分析电路，用于从所述传感器阵列获取表示由用户执行的姿势的第二传感器数据；
对象识别电路，用于标识所跟踪的实体对象；
AR电路，用于基于所标识的实体对象和所述姿势来生成虚拟绑定的实例，其中，所述虚拟绑定的所述实例具有一个或多个虚拟绑定属性，所述一个或多个虚拟绑定属性影响所述虚拟绑定基于所标识的实体对象而要执行的一个或多个动作；以及
接口电路，用于提供要显示的所述虚拟绑定的所述实例，以使得一旦显示所述实例则所述虚拟绑定将看起来被附连至所述实体对象或者看起来与所述实体对象进行交互。
2.如权利要求1所述的计算机设备，其中，所述AR电路用于在所述姿势是用于指示对特定虚拟绑定的选择的姿势时生成所述虚拟绑定的所述实例。
3.如权利要求1所述的计算机设备，其中，所述AR电路用于获取所述实体对象的一个或多个对象属性并且基于所述一个或多个对象属性来生成所述虚拟绑定的所述实例。
4.如权利要求1所述的计算机设备，其中，所述实例是选择实例，并且其中：
所述AR电路用于：
当所述姿势是用于指示将所述虚拟绑定与所述实体对象相关联的姿势时，生成所述虚拟绑定的关联实例，以及
标识所述虚拟绑定与所述实体对象的所述关联的一个或多个虚拟绑定到实体对象VB-PO属性；并且
所述接口电路用于提供要显示的所述虚拟绑定的所述关联实例，其中，所述一个或多个VB-PO属性用于指示一旦显示所述关联实例、则所述虚拟绑定是将看起来被附连至所述实体对象还是看起来与所述实体对象进行交互。
5.如权利要求4所述的计算机设备，其中：
所述AR电路用于在所述姿势是用于操纵所述虚拟绑定的姿势时生成所述虚拟绑定的PO操纵实例；并且
所述接口电路用于提供要显示的所述虚拟绑定的所述PO操纵实例，以使得所述虚拟绑定将看起来响应于所述姿势的执行而***纵。
6.如权利要求5所述的计算机设备，进一步包括：
上下文电路，用于确定一个或多个上下文属性，其中，所述一个或多个上下文属性包括用户活动、语义位置、社交情况、环境状况、一个或多个电子设备的存在、日程表、以及用户通信，
其中，所述AR电路用于基于所述一个或多个上下文属性来生成所述PO操纵实例。
7.如权利要求1所述的计算机设备，其中，所述实例是选择实例，并且其中：
所述AR电路用于：
当所述姿势是用于指示选择虚拟对象VO的姿势时，生成所述VO，当所述姿势是用于指示将所述虚拟绑定与所述VO相关联的姿势时，生成所述虚拟绑定的VO实例，
标识所述虚拟绑定与所述VO的所述关联的一个或多个虚拟绑定到VO VB-VO属性，以及
当所述姿势是用于操纵所述虚拟绑定的姿势时，生成所述虚拟绑定的VO操纵实例；并且
所述接口电路用于：
提供要显示的所述VO和所述虚拟绑定的所述VO实例，其中，所述一个或多个VB-VO属性用于指示一旦显示所述VO实例和所述VO、则所述虚拟绑定是将看起来被附连至所述VO还是看起来与所述VO进行交互，以及
提供要显示的所述虚拟绑定的所述VO操纵实例，以使得所述虚拟绑定将看起来响应于用于操纵所述虚拟绑定的所述姿势的执行而***纵。
8.如权利要求1-7和9中任一项所述的计算机设备，其中，所述建模电路用于生成所述物理环境的三维3D模型，并且其中，所述对象识别电路用于标识所述3D模型内的所述实体对象。
9.如权利要求1所述的计算机设备，其中，所述实例是选择实例，并且其中：
所述AR电路用于：
当所述姿势是用于指示将所述虚拟绑定与仪器对象相关联的姿势时，生成所述虚拟绑定的仪器对象IO实例，以及
标识所述虚拟绑定与所述IO的所述关联的一个或多个虚拟绑定到IO VB-IO属性；并且
所述接口电路用于：
使得将建立与所述仪器对象的网络连接，以及
提供要显示的所述虚拟绑定的所述IO实例，其中，所述一个或多个VB-IO属性用于指示一旦显示所述IO实例、则所述虚拟绑定是将看起来被附连至所述仪器对象还是看起来与所述仪器对象进行交互。
10.如权利要求9所述的计算机设备，其中：
所述AR电路用于在所述姿势是用于操纵所述虚拟绑定以作用于所述仪器对象的姿势时生成所述虚拟绑定的IO操纵实例；并且
所述接口电路用于：
提供要显示的所述虚拟绑定的所述IO操纵实例，以使得所述虚拟绑定将看起来响应于所述姿势的执行而***纵，以及
使得消息将通过所述网络连接被传送至所述仪器对象，其中，所述指令用于指示所述仪器对象响应于对所述虚拟绑定的操纵而执行一个或多个动作。
11.一种包括一个或多个处理器以及一个或多个计算机可读介质CRM的装置，所述一个或多个计算机可读介质CRM包括指令，所述指令在由计算机设备的所述一个或多个处理器执行时将使得所述计算机设备：
获取来自传感器阵列的第一传感器数据，其中，所述第一传感器数据表示物理环境；
基于所述第一传感器数据来检测所述物理环境中的对象；
标识所述对象以及与所标识的对象相关联的对象属性；
从所述传感器阵列获取表示由用户执行的姿势的第二传感器数据；
基于所述第二传感器数据来标识所述姿势；
响应于所述姿势的标识，基于所述对象属性来生成虚拟绑定的实例，其中，所述虚拟绑定的所述实例具有一个或多个虚拟绑定属性，所述一个或多个虚拟绑定属性影响将要由所述虚拟绑定执行的一个或多个动作；以及
提供要显示的所述虚拟绑定的所述实例，以使得一旦显示所述实例则所述虚拟绑定将看起来被附连至所述对象或者看起来与所述对象进行交互。
12.如权利要求11所述的装置，其中，当所述姿势是用于指示对特定虚拟绑定的选择的姿势时，所述虚拟绑定的所述实例是选择实例。
13.如权利要求11所述的装置，其中，所述指令的执行将使得所述计算机设备获取与所标识的对象相关联的对象简档，从所述对象简档标识所述对象属性，并且基于所述对象属性来确定所述虚拟绑定属性。
14.如权利要求11或13所述的装置，其中，所述对象是实体对象，并且所述指令的执行将使得所述计算机设备：
当所述姿势是用于指示将所述虚拟绑定与所述实体对象相关联的姿势时，生成所述虚拟绑定的关联实例；
标识所述虚拟绑定与所述实体对象的所述关联的一个或多个虚拟绑定到实体对象VB-PO属性；以及
提供要显示的所述虚拟绑定的所述关联实例，其中，所述一个或多个VB-PO属性用于指示一旦显示所述关联实例、则所述虚拟绑定是将看起来被附连至所述实体对象还是看起来与所述实体对象进行交互。
15.如权利要求14所述的装置，其中，所述指令的执行将使得所述计算机设备：
当所述姿势是用于操纵所述虚拟绑定的姿势时，生成所述虚拟绑定的PO操纵实例；以及
提供要显示的所述虚拟绑定的所述PO操纵实例，以使得所述虚拟绑定将看起来响应于所述姿势的执行并且根据所述虚拟绑定属性而***纵。
16.一种用于由计算机设备执行的方法，所述方法包括：
由所述计算机设备获取来自传感器阵列的第一传感器数据，其中，所述第一传感器数据表示物理环境；
由所述计算机设备基于所述第一传感器数据来为AR环境生成所述物理环境的三维3D模型；
由所述计算机设备标识所述3D模型内的对象以及与所标识的对象相关联的对象属性；
由所述计算机设备从所述传感器阵列获取表示由用户执行的姿势的第二传感器数据；
由所述计算机设备基于所述第二传感器数据来标识所述姿势；
由所述计算机设备响应于所述姿势的标识而基于所述对象属性来生成虚拟绑定的实例，其中，所述虚拟绑定的所述实例具有一个或多个虚拟绑定属性，所述一个或多个虚拟绑定属性影响将要由所述虚拟绑定执行的一个或多个动作；以及
由所述计算机设备提供要显示的所述虚拟绑定的所述实例，以使得一旦显示所述实例则所述虚拟绑定将看起来被附连至所述对象或者看起来与所述对象进行交互。
17.如权利要求16所述的方法，进一步包括：
由所述计算机设备在所述姿势是用于指示选择虚拟对象VO的姿势时生成所述VO；
由所述计算机设备在所述姿势是用于指示将所述虚拟绑定与所述VO相关联的姿势时生成所述虚拟绑定的VO实例；
由所述计算机设备标识所述虚拟绑定与所述VO的所述关联的一个或多个虚拟绑定到VO VB-VO属性；以及
由所述计算设备提供要显示的所述VO和所述虚拟绑定的所述VO实例，其中，所述一个或多个VB-VO属性用于指示一旦显示所述VO实例和所述VO、则所述虚拟绑定是将看起来被附连至所述VO还是看起来与所述VO进行交互并且根据所述虚拟绑定属性。
18.如权利要求17所述的方法，其中，所述指令的执行将使得所述计算机设备：
由所述计算机设备在所述姿势是用于操纵所述虚拟绑定的姿势时生成所述虚拟绑定的所述VO操纵实例；以及
由所述计算设备提供要显示的所述虚拟绑定的所述VO操纵实例，以使得所述虚拟绑定将看起来响应于所述姿势的执行并且根据所述虚拟绑定属性而***纵。
19.如权利要求16所述的方法，其中，所述实例是第一实例，并且其中，所述指令的执行将使得所述计算机设备：
由所述计算机设备在所述姿势是用于指示将所述虚拟绑定与仪器对象相关联的姿势时生成所述虚拟绑定的仪器对象IO实例；
由所述计算机设备标识所述虚拟绑定与所述IO的所述关联的一个或多个虚拟绑定到IO VB-IO属性；
由所述计算机设备建立与所述仪器对象的网络连接；以及
由所述计算机设备提供要显示的所述虚拟绑定的所述IO实例，其中，所述一个或多个VB-IO属性用于指示一旦显示所述IO实例、则所述虚拟绑定是将看起来被附连至所述仪器对象还是看起来与所述仪器对象进行交互并且根据所述虚拟绑定属性。
20.如权利要求19所述的方法，其中，所述指令的执行将使得所述计算机设备：
由所述计算机设备在所述姿势是用于操纵所述虚拟绑定以作用于所述仪器对象的姿势时生成所述虚拟绑定的IO操纵实例；
由所述计算设备提供要显示的所述虚拟绑定的所述IO操纵实例，以使得所述虚拟绑定将看起来响应于所述姿势的执行而***纵；以及
由所述计算机设备将消息通过所述网络连接传送至所述仪器对象，其中，所述指令用于指示所述仪器对象响应于对所述虚拟绑定的操纵而执行一个或多个动作。
21.一种增强现实AR***，包括：
环境，包括传感器阵列和输出设备阵列，其中，所述传感器阵列包括一个或多个传感器，并且所述输出设备阵列包括一个或多个机电设备；以及
AR平台，与所述传感器阵列及所述输出设备阵列通信地耦合，所述AR平台包括：与存储器电路、通信电路、以及接口电路耦合的处理器电路，其中，所述处理器电路用于：
控制所述接口电路或所述通信电路以获取来自所述传感器阵列中的一个或多个传感器的第一传感器数据；
基于所述第一传感器数据生成所述环境的三维3D模型；
标识3D模型内的对象以及与所标识的对象相关联的对象属性；
获取来自所述传感器阵列中的一个或多个传感器的第二传感器数据，其中，所述第二传感器数据表示由用户执行的姿势；
基于所述第二传感器数据来标识所述姿势；
响应于所述姿势的标识，基于所述对象属性来生成虚拟绑定的实例，其中，所述虚拟绑定的所述实例具有一个或多个虚拟绑定属性，所述一个或多个虚拟绑定属性影响将要由所述虚拟绑定执行的一个或多个动作；以及
控制所述接口电路或所述通信电路以向所述输出设备阵列中的一个或多个输出设备中的个别的输出设备提供所述虚拟绑定的实例，其中，所述个别的输出设备用于显示所述虚拟绑定的所述实例，以使得一旦显示所述实例则所述虚拟绑定将看起来被附连至所述对象或者看起来与所述对象进行交互。
22.如权利要求21所述的AR***，其中，所述处理器电路用于：
当所述姿势是用于指示将所述虚拟绑定与所述实体对象相关联的姿势时，生成所述虚拟绑定的关联实例；
标识所述虚拟绑定与所述实体对象的所述关联的一个或多个虚拟绑定到实体对象VB-PO属性；以及
控制所述接口电路或所述通信电路以提供要显示的所述虚拟绑定的所述关联实例，其中，所述一个或多个VB-PO属性用于指示一旦显示所述关联实例、则所述虚拟绑定是将看起来被附连至所述实体对象还是看起来与所述实体对象进行交互；
当所述姿势是用于操纵所述虚拟绑定的姿势时，生成所述虚拟绑定的PO操纵实例；以及
控制所述接口电路或所述通信电路以提供要显示的所述虚拟绑定的所述PO操纵实例，以使得所述虚拟绑定将看起来响应于所述姿势的执行并且根据所述虚拟绑定属性而***纵。
23.如权利要求21所述的AR***，所述处理器电路用于：
当所述姿势是用于操纵所述虚拟绑定的姿势时，生成所述虚拟绑定的VO操纵实例；以及
控制所述接口电路或所述通信电路以提供要显示的所述虚拟绑定的所述VO操纵实例，以使得所述虚拟绑定将看起来响应于所述姿势的执行并且根据所述虚拟绑定属性而***纵。
24.如权利要求21所述的AR***，所述处理器电路用于：
当所述姿势是用于指示将所述虚拟绑定与仪器对象IO相关联的姿势时，生成所述虚拟绑定的仪器对象IO实例；
标识所述虚拟绑定与所述IO的所述关联的一个或多个虚拟绑定到IO VB-IO属性；
使得将建立与所述仪器对象的网络连接；以及
控制所述接口电路或所述通信电路以提供要显示的所述虚拟绑定的所述IO实例，其中，所述一个或多个VB-IO属性用于指示一旦显示所述IO实例、则所述虚拟绑定是将看起来被附连至所述仪器对象还是看起来与所述仪器对象进行交互并且根据所述虚拟绑定属性。
25.如权利要求24所述的AR***，所述处理器电路用于：
当所述姿势是用于操纵所述虚拟绑定以作用于所述仪器对象的姿势时，生成所述虚拟绑定的IO操纵实例；
控制所述接口电路或所述通信电路以提供要显示的所述虚拟绑定的所述IO操纵实例，以使得所述虚拟绑定将看起来响应于所述姿势的执行而***纵；以及
控制所述通信电路以将消息通过所述网络连接传送至所述仪器对象，其中，所述指令用于指示所述仪器对象响应于对所述虚拟绑定的操纵而执行一个或多个动作。
CN201811510734.9A 2018-01-04 2018-12-11 实体对象与虚拟对象的增强现实绑定 Pending CN110007750A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/862,280 US10937240B2 (en) 2018-01-04 2018-01-04 Augmented reality bindings of physical objects and virtual objects
US15/862,280 2018-01-04

Publications (1)

Publication Number Publication Date
CN110007750A true CN110007750A (zh) 2019-07-12

Family

ID=65229756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811510734.9A Pending CN110007750A (zh) 2018-01-04 2018-12-11 实体对象与虚拟对象的增强现实绑定

Country Status (4)

Country Link
US (1) US10937240B2 (zh)
JP (1) JP7315318B2 (zh)
CN (1) CN110007750A (zh)
DE (1) DE102018130603A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569121A (zh) * 2019-09-12 2019-12-13 华润万家有限公司 基于应用机器人的多线程并发处理方法和装置
CN112947901A (zh) * 2019-12-11 2021-06-11 中华电信股份有限公司 扩增实境的内容控制***、方法及计算机存储介质
CN114422873A (zh) * 2021-12-15 2022-04-29 浙江中控技术股份有限公司 动态接入工业互联网标识解析平台的方法、装置及设备
TWI792580B (zh) * 2020-11-11 2023-02-11 日商索尼互動娛樂股份有限公司 基於表面剛度隨機化之機器人訓練方法、訓練控制輸入系統之方法、輸入控制系統、電腦可讀媒體
CN117075784A (zh) * 2023-10-17 2023-11-17 苏州元脑智能科技有限公司 中央处理器的绑定方法、装置、***、设备及介质
US12017359B2 (en) 2020-11-11 2024-06-25 Sony Interactive Entertainment Inc. Method for robotic training based on randomization of surface damping

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363556A (zh) * 2018-01-30 2018-08-03 百度在线网络技术（北京）有限公司 一种基于语音与增强现实环境交互的方法和***
US10969600B2 (en) * 2018-03-08 2021-04-06 Apple Inc. Electronic devices with optical markers
WO2019227485A1 (zh) * 2018-06-01 2019-12-05 西门子股份公司 用于无线电模拟的增强现实的方法、设备
US10725629B2 (en) 2018-06-25 2020-07-28 Google Llc Identifying and controlling smart devices
CN110727200A (zh) * 2018-07-17 2020-01-24 珠海格力电器股份有限公司 一种智能家居设备的控制方法及终端设备
CN109189210A (zh) * 2018-08-06 2019-01-11 百度在线网络技术（北京）有限公司 混合现实交互方法、装置及存储介质
EP3833012A4 (en) * 2018-09-20 2021-08-04 Huawei Technologies Co., Ltd. AUGMENTED REALITY COMMUNICATION PROCESS AND ELECTRONIC DEVICES
US11461976B2 (en) * 2018-10-17 2022-10-04 Mapbox, Inc. Visualization transitions for augmented reality
CN109726693B (zh) * 2019-01-02 2021-05-07 京东方科技集团股份有限公司 用于评估设备环境噪声的方法、装置、介质及电子设备
WO2020183655A1 (ja) * 2019-03-13 2020-09-17 日本たばこ産業株式会社 端末装置、情報処理装置、情報処理方法及びプログラム
US11030459B2 (en) * 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
US11941762B2 (en) 2019-07-15 2024-03-26 Samsung Electronics Co., Ltd. System and method for augmented reality scenes
US20230005262A1 (en) * 2019-11-25 2023-01-05 Alon Melchner System and method for dynamic synchronization between real and virtual environments
JP7395137B2 (ja) * 2019-12-12 2023-12-11 株式会社関電工 ヘッドマウント型温度分布認識装置
CN111312240A (zh) * 2020-02-10 2020-06-19 北京达佳互联信息技术有限公司 数据控制方法、装置、电子设备及存储介质
WO2021247940A1 (en) * 2020-06-03 2021-12-09 Mr Fun, Llc Location based augmented reality gaming system
CN113763090B (zh) * 2020-11-06 2024-05-21 北京沃东天骏信息技术有限公司 信息处理方法及装置
US11921872B2 (en) * 2020-12-16 2024-03-05 International Business Machines Corporation Access control for a data object including data with different access requirements
US11855831B1 (en) 2022-06-10 2023-12-26 T-Mobile Usa, Inc. Enabling an operator to resolve an issue associated with a 5G wireless telecommunication network using AR glasses

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5443260A (en) 1994-05-23 1995-08-22 Dynamic Sports Technology Virtual reality baseball training and amusement system
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7544137B2 (en) 2003-07-30 2009-06-09 Richardson Todd E Sports simulation system
US20060063574A1 (en) 2003-07-30 2006-03-23 Richardson Todd E Sports simulation system
US7532196B2 (en) 2003-10-30 2009-05-12 Microsoft Corporation Distributed sensing techniques for mobile devices
US7578742B2 (en) 2004-03-26 2009-08-25 Nintendo Co., Ltd. Recording medium storing video game program and video game device
KR20070034767A (ko) 2005-09-26 2007-03-29 엘지전자 주식회사 다중 표시영역을 갖는 이동통신 단말기 및 이를 이용한 디스플레이 간의 데이터 표시 방법
US7788607B2 (en) 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
JP5085059B2 (ja) 2006-06-28 2012-11-28 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
US8335345B2 (en) 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
US9740386B2 (en) 2007-06-13 2017-08-22 Apple Inc. Speed/positional mode translations
US20080310707A1 (en) 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
KR101141087B1 (ko) 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
JP4670860B2 (ja) 2007-11-22 2011-04-13 ソニー株式会社 記録再生装置
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8077157B2 (en) 2008-03-31 2011-12-13 Intel Corporation Device, system, and method of wireless transfer of files
US20090289900A1 (en) * 2008-05-20 2009-11-26 Samsung Electronics Co., Ltd. Game world manipulation
ATE489804T1 (de) 2008-05-29 2010-12-15 Lg Electronics Inc Transparente anzeige und betriebsverfahren dafür
CA2740109C (en) 2008-10-08 2016-01-19 Interactive Sports Technologies Inc. Sports simulation system
TW201019241A (en) 2008-11-14 2010-05-16 Topseed Technology Corp Method for identifying and tracing gesture
JP2010176332A (ja) 2009-01-28 2010-08-12 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
EP2452258B1 (en) 2009-07-07 2019-01-23 Elliptic Laboratories AS Control using movements
US20110107216A1 (en) 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
WO2011085468A1 (en) 2010-01-13 2011-07-21 Smart Technologies Ulc Method for handling and transferring data in an interactive input system, and interactive input system executing the method
US10007393B2 (en) 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
KR101184460B1 (ko) 2010-02-05 2012-09-19 연세대학교 산학협력단 마우스 포인터 제어 장치 및 방법
US8490002B2 (en) 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US9418479B1 (en) 2010-12-23 2016-08-16 Amazon Technologies, Inc. Quasi-virtual objects in an augmented reality environment
US9354804B2 (en) 2010-12-29 2016-05-31 Microsoft Technology Licensing, Llc Touch event anticipation in a computing device
KR101048090B1 (ko) 2011-03-22 2011-07-08 (주) 골프존 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
US9152306B2 (en) * 2011-03-29 2015-10-06 Intel Corporation Techniques for touch and non-touch user interaction input
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US8717318B2 (en) 2011-03-29 2014-05-06 Intel Corporation Continued virtual links between gestures and user interface elements
US20130024819A1 (en) 2011-07-18 2013-01-24 Fuji Xerox Co., Ltd. Systems and methods for gesture-based creation of interactive hotspots in a real world environment
US9557819B2 (en) * 2011-11-23 2017-01-31 Intel Corporation Gesture input with multiple views, displays and physics
US9952820B2 (en) * 2011-12-20 2018-04-24 Intel Corporation Augmented reality representations across multiple devices
WO2013119221A1 (en) 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US20130278633A1 (en) 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
WO2014053346A1 (en) 2012-10-02 2014-04-10 Sony Corporation Augmented reality system
US10168873B1 (en) * 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control
US9704295B2 (en) 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
US10518188B2 (en) * 2014-06-30 2019-12-31 Microsoft Technology Licensing, Llc Controlling physical toys using a physics engine
US9861882B2 (en) * 2014-09-05 2018-01-09 Trigger Global Inc. Augmented reality gaming systems and methods
WO2017019991A1 (en) * 2015-07-29 2017-02-02 Sensel Inc. Systems and methods for manipulating a virtual environment
US20170038829A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
US9846970B2 (en) 2015-12-16 2017-12-19 Intel Corporation Transitioning augmented reality objects in physical and digital environments
CN114327043A (zh) * 2016-02-02 2022-04-12 索尼公司 信息处理装置、信息处理方法和记录介质
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
AU2017261591A1 (en) * 2016-11-18 2018-06-07 Peterson, David MR Virtual Built Environment Mixed Reality Platform
WO2018160593A1 (en) * 2017-02-28 2018-09-07 Magic Leap, Inc. Virtual and real object recording in mixed reality device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569121A (zh) * 2019-09-12 2019-12-13 华润万家有限公司 基于应用机器人的多线程并发处理方法和装置
CN110569121B (zh) * 2019-09-12 2024-03-22 华润万家有限公司 基于应用机器人的多线程并发处理方法和装置
CN112947901A (zh) * 2019-12-11 2021-06-11 中华电信股份有限公司 扩增实境的内容控制***、方法及计算机存储介质
TWI792580B (zh) * 2020-11-11 2023-02-11 日商索尼互動娛樂股份有限公司 基於表面剛度隨機化之機器人訓練方法、訓練控制輸入系統之方法、輸入控制系統、電腦可讀媒體
US12017359B2 (en) 2020-11-11 2024-06-25 Sony Interactive Entertainment Inc. Method for robotic training based on randomization of surface damping
CN114422873A (zh) * 2021-12-15 2022-04-29 浙江中控技术股份有限公司 动态接入工业互联网标识解析平台的方法、装置及设备
CN114422873B (zh) * 2021-12-15 2023-12-08 浙江中控技术股份有限公司 动态接入工业互联网标识解析平台的方法、装置及设备
CN117075784A (zh) * 2023-10-17 2023-11-17 苏州元脑智能科技有限公司 中央处理器的绑定方法、装置、***、设备及介质
CN117075784B (zh) * 2023-10-17 2024-02-09 苏州元脑智能科技有限公司 中央处理器的绑定方法、装置、***、设备及介质

Also Published As

Publication number Publication date
US10937240B2 (en) 2021-03-02
JP2019121362A (ja) 2019-07-22
DE102018130603A1 (de) 2019-07-04
US20190043260A1 (en) 2019-02-07
JP7315318B2 (ja) 2023-07-26

Similar Documents

Publication Publication Date Title
CN110007750A (zh) 实体对象与虚拟对象的增强现实绑定
US10665020B2 (en) Apparatuses, methods and systems for tethering 3-D virtual elements to digital content
US10269089B2 (en) Multi-user virtual reality processing
WO2019205879A1 (zh) 一种实现虚拟场景转换的方法及相关装置
CN112651288B (zh) 用于产生虚拟和增强现实的方法和***
JP2023100884A (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
CN108984087B (zh) 基于三维虚拟形象的社交互动方法及装置
US10328342B2 (en) Magic wand methods, apparatuses and systems for defining, initiating, and conducting quests
US20170093848A1 (en) Magic wand methods, apparatuses and systems for authenticating a user of a wand
US9888090B2 (en) Magic wand methods, apparatuses and systems
KR20190141777A (ko) 혼합 현실 환경에서의 콘텍스트관련 애플리케이션들
CN109791446A (zh) 使用虚拟射线控制对象
US20190026950A1 (en) Program executed on a computer for providing virtual space, method and information processing apparatus for executing the program
CN108064364A (zh) 用于实现多用户虚拟环境的方法和***
CN108434726A (zh) 自动局部触觉生成***
US20170080332A1 (en) Magic wand methods, apparatuses and systems for conducting wand duels
CN109416825A (zh) 用于设备的双重存在的现实到虚拟现实门户
CN106648038A (zh) 在虚拟现实中显示交互对象的方法和装置
CN109215007A (zh) 一种图像生成方法及终端设备
US20170083083A1 (en) Image processing virtual reality controller system and method
CN109426343A (zh) 基于虚拟现实的协作训练方法及***
US20200118323A1 (en) Conversion of 2d diagrams to 3d rich immersive content
KR20120076532A (ko) 스마트폰 기반의 체감형 퍼즐 게임 시스템 및 그 실행 방법
KR101574993B1 (ko) 모션 커맨드 입력 방식의 가상 대전 방법
KR101659917B1 (ko) 모션 커맨드 입력 방식의 가상 대전 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination