CN106055090A - 利用移动装置的虚拟现实和增强现实控制 - Google Patents

利用移动装置的虚拟现实和增强现实控制 Download PDF

Info

Publication number
CN106055090A
CN106055090A CN201610301722.XA CN201610301722A CN106055090A CN 106055090 A CN106055090 A CN 106055090A CN 201610301722 A CN201610301722 A CN 201610301722A CN 106055090 A CN106055090 A CN 106055090A
Authority
CN
China
Prior art keywords
user
data
virtual
action
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610301722.XA
Other languages
English (en)
Inventor
李方炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN106055090A publication Critical patent/CN106055090A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种用于将来自用户的物理输入转换为虚拟现实或增强现实环境中的动作的***和方法。具体实施例包括：从图像捕获子***中接收图像数据，该图像数据包括至少一个参考图像的至少一部分，该至少一个参考图像表示一组参考数据的一部分；接收该图像捕获子***的位置和方位数据，所述位置和方位数据表示该参考数据的另一部分；当物理输入被应用至该跟踪子***时，通过数据处理器的使用，测量相对于该参考数据的空间关系的改变；以及生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变。

Description

利用移动装置的虚拟现实和增强现实控制
优先权专利申请
这是要求于2015年2月10日提交的序列号为第62/114,417号的共同未决美国临时专利申请的优先权的非临时专利申请。本非临时专利申请要求所引用的临时专利申请的优先权。所引用专利申请的整个公开被当作本申请的公开的一部分并因此通过引用整体结合在此。
技术领域
本公开一般地涉及虚拟现实***和方法。更具体地，本公开涉及用于将来自用户的物理输入转换为虚拟现实或增强现实环境中的动作的***和方法。
背景技术
随着消费电子产品的激增，可穿戴技术被重新聚焦，其包括例如结合增强现实(AR)或虚拟现实(VR)技术的可穿戴计算机或装置的创新。AR和VR技术两者都涉及为消费者提供体验内容的全新方式的计算机生成的环境。在增强现实中，计算机生成的环境叠加在现实世界上(例如，在谷歌眼镜(Google Glass)TM中)。相反，在虚拟现实中，用户沉浸在该计算机生成的环境中(例如，通过虚拟现实耳机例如Oculus RiftTM)。
然而，现有的AR和VR装置具有一些缺点。例如，AR装置通常被限制于显示信息，并且可以不具备检测真实世界物理输入(例如用户的手势或运动)的能力。另一方面，VR装置通常是笨重的且需要连接至电源的电线。具体地，所述线会约束用户的移动性，并且给用户的虚拟现实体验带来负面影响。
发明内容
示例实施例至少解决了在现有增强现实和虚拟现实装置中的上述缺点。在各种示例实施例中，公开了利用移动装置进行虚拟现实和增强现实控制的 ***和方法。具体地，示例实施例公开了用于将来自用户的物理输入转换为增强现实或虚拟现实环境中的动作的便携式无绳光输入***和方法，其中该***也能进行现实生活化身(avatar)控制。
根据示例实施例的示例***包括跟踪装置、用户装置、图像捕获装置和耦接至该用户装置和该图像捕获装置的数据转换器。在一个具体实施例中，该图像捕获装置获得跟踪装置上的第一标记和第二标记的图像。该数据转换器利用所获得的图像确定在时间t0处该第一标记和该第二标记的参考位置，且测量在时间t1处该第一标记和该第二标记两者/之间的空间关系的改变，其中该改变由该跟踪装置上的用户输入生成。该时间t1是晚于时间t0的时间点。该数据转换器还确定在时间t1处该第一标记和该第二标记两者/之间的空间关系的改变是否落入预定阈值范围内，并且如果空间关系的改变落入该预定阈值范围内，则在用户装置上生成虚拟世界中的动作。
在一些实施例中，该图像捕获装置可被配置为获得跟踪装置上的多个标记的参考图像，且基于所获得的图像跟踪所述装置。在这里描述的其他实施例中，我们将参考图像或多个参考图像定义为可用于确定空间关系的改变的更广参考数据集的一部分或一份。在示例实施例中，该参考数据可包括：1)来自多个标记的使用的数据，所述标记的一个或多个是参考图像(例如，参考数据的一部分)；2)来自一个标记的使用的数据，所述标记的图像在多个时刻被采样，所述图像样本的一个或多个是参考图像(例如，该参考数据的另一部分)；3)图像捕获装置的位置/方位数据(例如，该参考数据的另一部分)，空间关系的改变与该图像捕获装置的位置/方位数据相关；以及4)跟踪装置的位置/方位数据(例如，该参考数据的另一部分)，空间关系的改变与跟踪装置的位置/方位数据相关。鉴于这里的公开，对本领域技术人员来说将显而易见的是，该参考数据可包括可用于确定空间关系的改变的其他数据分量。
在一些实施例中，基于该标记的可观察存在，可生成虚拟世界中的动作。在那些实施例中，在时间t0和t1之间的个别标记的消失和/或重现会导致在虚拟世界中生成的特定动作。
根据示例实施例的方法的实施例包括在跟踪装置上获得第一标记和第二标记的图像，利用所获得的图像确定在时间t0处该第一标记和该第二标记的参考位置，测量在时间t1处该第一标记和该第二标记两者/之间的空间关 系的改变，由此该改变由在该跟踪装置上的用户输入生成，确定在时间t1处该第一标记和该第二标记两者/之间的空间关系的改变是否落入阈值范围内，并且如果该空间关系的改变落入预定的阈值范围内，则在该用户装置上生成虚拟世界中的动作。
结合通过示例说明示例实施例的原理的附图，从下面的详细描述中，示例实施例的其他方面和优点将是显而易见的。
附图说明
为了更好地理解这些示例实施例，应当结合附图参考下面的详细描述，其中：
图1图示了与示例实施例一致的示例***的框图。
图2、3、4、5、6、7、8和9图示了根据不同实施例的用户装置。
图10、11和12描绘了根据实施例的跟踪装置的不同透视图。
图13图示了其装配前的示例索具(rig)的平面图。
图14和15图示了用于图10、11和12的第一标记和第二标记的示例图案。
图16、17和18图示了用户对示例***的操作。
图19和20图示了虚拟世界中生成的示例动作，这些动作对应于来自用户的不同物理输入。
图21、22、23、24和25图示了在示例跟踪装置上可用的物理输入的空间范围。
图26和27图示了其中使用单个图像捕获装置的示例***。
图28图示了图27的图像捕获装置的视场。
图29图示了当调节透镜附接至图27和28的图像捕获装置时、视场的增加。
图30、31和32图示了其中多个用户在相同虚拟世界中连接的示例***。
图33、34、35、36、37、38和39图示了根据不同实施例在虚拟世界中生成的示例动作。
图40图示了使用一个标记在虚拟世界中跟踪用户的手的示例***。
图41描绘了在各种实施例中的标记的多种配置。图42图示了具有利用加速度计或计步器实现的角色导航的示例实施例。
图43和44描绘了光学标记附接至游戏控制器的实施例。
图45描绘了其中方向控制按钮和动作按钮集成至跟踪装置上的实施例。
图46是图示了用于将来自用户的物理输入转换至虚拟世界中的动作的示例方法的流程图。
图47是图示了如这里描述的方法的示例实施例的处理流程图；以及
图48示出了按照移动计算和/或通信***的示例形式的机器的图解表示，其中指令集被执行时和/或处理逻辑被激活时可促使该机器执行这里描述和/或要求保护的方法的任意一个或多个。
具体实施方式
现在将对附图中图示的示例实施例进行详细参考。只要可能，将贯穿附图使用相同的附图标记来指示相同或相似的部分。
这里公开的方法和***解决了上述需求。例如，这里公开的方法和***能将来自用户的物理输入转换为虚拟世界中的动作。该方法和***能在低功率移动装置和/或3D显示装置上实现。该方法和***也能使能现实生活化身控制。该虚拟世界可包括提供给该用户的视觉环境，且可以基于增强现实或虚拟现实。
在一个实施例中，提供了用于移动装置的无绳便携式输入***。用户可使用该***来：(1)输入精确和高分辨率的位置和方位数据；(2)用真实的一对一反馈调用(invoke)模拟动作(例如，脚踏或抓取)；(3)使用多个交互模式以执行虚拟世界中的多个任务或控制现实生活化身(例如，机器人)；和/或(4)基于虚拟世界中的动作接收触觉反馈。
该***是轻量级的且低成本的，且因此作为便携式虚拟现实***是理想的。该***也能用作多用户环境例如剧场中的可再循环的用户装置。该***采用具有多个图像标记的跟踪装置作为输入机构。这些标记能利用移动装置上的摄像头跟踪，以获得虚拟现实世界中的指针的位置和方位数据。该***能用在各种领域包括游戏、医疗、建筑或军事领域。
图1图示了与示例实施例一致的示例***100的框图。如图1所示，***100可包括媒体源10、用户装置12、输出装置14、数据转换器16、图像捕获装置18和跟踪装置20。每个组件10、12、14、16和18可操作地经由网络或允许数据从一个组件到另一组件传输的任何类型的通信链路彼此连 接。该网络可包括局域网(LAN)、广域网(WAN)、蓝牙、和/或近场通信(NFC)技术，且可以是无线、有线或其组合。媒体源10可以是能够存储成像数据例如视频或静态图像的任何类型的存储媒体。视频或静态图像可在输出装置14上渲染的虚拟世界中显示。例如，媒体源10能被提供为CD、DVD、蓝光盘、硬盘、磁带、闪存卡/驱动器、固态驱动器、易失性或非易失性存储器、全息数据存储器、和任何其他类型的存储媒体。媒体源10也可以是能够提供成像数据至用户装置12的计算机。
作为另一示例，媒体源10能够是网络服务器、公司服务器或任何其他类型的计算机服务器。媒体源10能够是这样的计算机，其被编程以从用户装置12接受请求(例如，HTTP、或能启动数据传输的其他协议)并用所请求的成像数据来服务用户装置12。此外，媒体源10能够是用于分发成像数据的广播设施，例如免费播送、线缆、卫星和其他广播设施。该媒体源10也可以是数据网络(例如，云计算网络)中的服务器。
用户装置12能够是例如，虚拟现实耳机、头戴式装置(HMD)、蜂窝电话或智能电话、个人数字助理(PDA)、计算机、膝上型电脑、平板PC、媒体内容播放器、视频游戏站/***、或能提供或渲染成像数据的任何电子装置。用户装置12可包括允许用户装置12与网络或本地存储媒体通信、并从网络或本地存储媒体接收成像数据的软件应用程序。如上提及的，用户装置12能从媒体源10接收数据，上面提供了其示例。
作为另一示例，用户装置12能够是网络服务器、公司服务器或任何其他类型的计算机服务器。用户装置12能够是这样的计算机，其被编程以接受用于将来自用户的物理输入转换为虚拟世界中的动作的请求(例如，HTTP、或能启动数据传输的其他协议)，并提供由数据转换器16生成的虚拟世界中的动作。在一些实施例中，用户装置12能够是用于分发成像数据(包括虚拟世界中3D格式的成像数据)的广播设施，例如免费播送、线缆、卫星、和其他广播设施。
在图1的示例中，数据转换器16能被实现为由处理器和/或硬件执行的软件程序，其基于来自用户的物理输入将模拟数据转换为虚拟世界中的动作。虚拟世界中的动作能够被描绘在2D或3D格式的视频帧或静态图像之一中，能够是现实生活和/或动画的，能够是彩色的、黑/白、或灰度色标，且能够在任何颜色空间中。
输出装置14可以是显示装置例如显示板、监视器、电视、投影仪或任何其他显示装置。在一些实施例中，输出装置14可以是例如蜂窝电话或智能电话、个人数字助理(PDA)、计算机、膝上型电脑、桌面型电脑、平板PC、媒体内容播放器、机顶盒、包括广播调谐器的电视机、视频游戏站/***、或能访问数据网络和/或接收成像数据的任何电子装置。
图像捕获装置18可以是例如，物理成像装置例如相机。在一个实施例中，该图像捕获装置18可以是移动装置上的相机。图像捕获装置18可以配置为捕获关联于跟踪装置20的成像数据。该成像数据可对应于例如跟踪装置20上的标记图案的静态图像或视频帧。图像捕获装置18可提供所捕获的成像数据至数据转换器16用于数据处理/转换，从而在用户装置12上生成虚拟世界中的动作。
在一些实施例中，图像捕获装置18可以延伸超出物理成像装置。例如，图象捕获装置18可以包括能捕获和/或生成跟踪装置20上的标记图案的图像的任何技术。在一些实施例中，图像捕获装置18可参考能处理从另一物理装置获得的图像的算法。
虽然在图1中示出为可操作连接的单独组件，但是媒体源10、用户装置12、输出装置14、数据转换器16和图像捕获装置18中的任意一个或全部可以共同位于一个装置中。例如，媒体源10可以位于用户装置12或输出装置14内、或者形成用户装置12或输出装置14的部分，输出装置14可以位于用户装置12内、或者形成用户装置12的部分，数据转换器16可以位于媒体源10、用户装置12、输出装置14或图像捕获装置内、或者形成媒体源10、用户装置12、输出装置14或图像捕获装置的部分，以及图像捕获装置18可以位于用户装置12或输出装置14内、或者形成用户装置12或输出装置14的部分。可以理解图1中示出的配置仅仅出于说明的目的。特定的组件或装置可被移除或组合，且其他组件或装置可被增加。
在图1的实施例中，跟踪装置20可以是被图像捕获装置18实时光学跟踪的任何物理对象或结构。该跟踪装置20可以包括例如可以在图像捕获装置18捕获的图像中容易地检测到的唯一标记图案。通过使用可容易地检测的标记图案，可以避免复杂且计算开销很大的图像处理。光学跟踪具有几个优点。例如，光学跟踪考虑到无线“传感器”，不易受噪声影响，且允许同时跟踪很多对象(例如，各种标记图案)。
图像捕获装置18和跟踪装置20之间的交互是通过视径(在图1中由虚线指示)。注意到，跟踪装置20不可操作地连接至图1中的任意其他组件。替代的，跟踪装置20是可由用户操作的独立物理对象或结构。例如，跟踪装置20可以以允许该跟踪装置20被图像捕获装置18光学跟踪的方式由用户的手/胳膊抓住或附接到用户的手/胳膊。在一些实施例中，该跟踪装置20可配置为提供触觉反馈至用户，其中该触觉反馈基于接收自用户的模拟输入。该模拟输入可对应于例如该跟踪装置20上的光学标记的平移或旋转。任何类型、范围和幅度的运动被预期。
接下来，根据实施例的该用户装置20将参考图2、3、4、5和6被描述。参照图2，按照虚拟现实头戴式装置(HMD)的形式提供该用户装置12。图2图示了用户穿戴该用户装置12且单手操作该跟踪装置20。图3图示了组装状态下用户装置12的不同透视图。该用户装置12包括HMD外壳12-1、透镜组件12-2、输出装置14(未示出)、以及该图像捕获装置18。如先前提及的，该用户装置12、输出装置14和图象捕获装置18可以共同位于一个装置中(例如，图2和3的虚拟HMD)。图3的用户装置12中的组件将参考图4、5和6更详细地描述。具体地，图4和5图示了预组装状态下的用户装置12，而图6图示了用户对用户装置12的操作。在图2至6的实施例中，该图像捕获装置18位于该输出装置14上。
参考图4、5和6，该HMD外壳12-1包括用于将该用户装置12安装到用户头部的头带12-1S、用于附接该透镜组件12-2的位置12-1A、用于暴露该图像捕获装置18的透镜的洞12-1C、用于用户左眼的左眼洞12-1L、用于用户右眼的右眼洞12-1R、以及用于放置用户的鼻子的洞12-1N。该HMD外壳12-1可以由各种材料制作，例如泡沫橡胶、氯丁橡胶(Neoprene)TM、织物等。该泡沫橡胶可包括例如，由乙烯乙酸乙烯酯(Ethylene Vinyl Acetate，EVA)制成的泡沫片。
该透镜组件12-2配置为保持该输出装置14。在该输出装置14上显示的图像可以划分为左眼图像14L和右眼图像14R。在该输出装置14上显示的图像可以是虚拟现实或增强现实世界的图像。该透镜组件12-2包括用于为用户的左眼聚焦该左眼图像14L的左眼透镜12-2L、用于为用户的右眼聚焦该右眼图像14R的右眼透镜12-2R、以及用于容纳(seat)用户的鼻子的洞12-2N。该左和右眼透镜12-2L和12-2R可包括任何类型的光学聚焦透镜， 例如凸透镜或凹透镜。当用户透过该左和右眼孔洞12-1L和12-1R来看时，该用户的左眼将看到该左眼图像14L(如由左眼透镜12-2L所聚焦的)，而该用户的右眼将看到该右眼图像14R(如由右眼透镜12-2R所聚焦的)。
在一些实施例中，该用户装置12还可包括用于控制在该输出装置14上生成的图像的触发(toggle)按钮(未示出)。如先前提到的，该媒体源10和数据转换器16可位于该用户装置12中或远离该用户装置12。
为了组装该用户装置12，该输出装置14(包括该图像捕获装置18)和该透镜组件12-2被首先放置在该HMD外壳12-1上的他们的指定位置。随后该HMD外壳12-1以图4的右图所示的方式折叠。具体地，该HMD外壳12-1被折叠从而该左和右孔洞12-1L和12-1R分别与左和右眼透镜12-2L和12-2R对齐，洞12-1N与洞12-2N对齐，且该洞12-1C露出该图像捕获装置18的透镜。一个头带12-1S也可附接至另一头带12-1S(例如使用VelcroTM、按钮、捆缚装置等)从而将该用户装置12安装至该用户的头部。
在一些实施例中，该透镜组件12-2可被提供作为可折叠的透镜组件，例如如在图5中所示。在那些实施例中，当该用户装置12不在使用时，用户可从该HMD外壳12-1上拆卸该透镜组件12-2，且还可从该透镜组件12-2上移除该输出装置14。因此，该用户可举起盖子12-2F且将该透镜组件12-2折叠成扁平的二维形状以易于存储。同样，该HMD外壳12-1也可被折叠为扁平的二维形状以易于存储。相应地，该HMD外壳12-1和该透镜组件12-2可连同该输出装置14和图像捕获装置18(其可在智能电话中提供)一起被相对压缩以适合口袋、钱包或任何类型的个人提包。如此，该用户装置12是高度便携的，且可容易地到处携带。此外，通过使该HMD外壳12-1可拆卸，用户可交换且使用具有不同个性化设计图案的各种HMD外壳12-1(类似于为移动电话交换不同的保护壳)。此外，由于该HMD外壳12-1是可拆卸的，所以其在使用后易于清洗或回收。
在一些实施例中，该用户装置12可包括将该用户装置12耦接至该跟踪装置20的反馈生成器12-1F。具体地，当该用户操作该用户装置12和跟踪装置20时，该反馈生成器12-1F可与不同的触觉反馈机制联合使用，以提供触觉反馈给用户。
还注意到，该HMD外壳12-1可被装备不同数量的头带12-1S。在一些实施例中，该HMD外壳12-1可包括两个头带12-1S(例如参见图7)。在另 外的实施例中，该HMD外壳12-1可包括三个头带12-1S(例如参见图8)从而更安全地将该用户装置12安装至该用户头部。可预期任意数目的头带。在一些替换实施例中，若该虚拟现实HMD已经具有安装机制(例如参见图9)，则该HMD外壳12-1不需要具有头带。在示例实施例中，为了确保用户能用他们的全身体验VR，头部挂载索具可以用弹性材料片制作，以将该VR阅读器舒适地挂载在用户头部上。
图10、11和12描绘了根据实施例的跟踪装置的不同透视图。参考图10，跟踪装置20包括索具22和光学标记24。该跟踪装置20被设计为保持多个光学标记24，且当用户提供物理输入至跟踪装置20时(例如通过推、拉、弯曲、旋转等)，改变它们的空间关系。该索具22包括手柄22-1、扳机22-2和标记固定器22-3。该手柄22-1可按照人体工程学设计以适合用户的手从而该用户可舒服地抓住该索具22。该扳机22-2被放置于一位置从而当抓住该手柄22-1时用户可滑动手指(例如食指)至该扳机22-2的洞中。该标记固定器22-3作为用于保持该光学标记24的基座。在一个实施例中，该索具22和该光学标记24可分开形成，且随后通过附接该光学标记24至该标记固定器22-3而被组装在一起。该光学标记24可使用任何用于附接的部件例如VelcroTM、胶水、粘合带、钉、螺钉、螺栓、弹性扣合(plastic snapfits)、衔接机制等附接至该标记固定器22-3。
该光学标记24包括含有光学图案“A”的第一标记24-1和含有光学图案“B”的第二标记24-2。光学图案“A”和“B”可以是能由图像捕获装置18容易地成像和跟踪的独特图案。具体地，当用户握住跟踪装置20时，该图像捕获装置18可跟踪至少一个光学标记24以获得用户的手在真实世界中的位置和方位。此外，光学标记24之间的空间关系提供能被映射成虚拟世界中不同动作的模拟值。
尽管在图10、11和12的示例中图示了两个光学标记24，但是应当注意到示例实施例不限于仅仅两个光学标记。例如，在另外的实施例中，该跟踪装置20可包括三个或更多光学标记24。在可选实施例中，该跟踪装置20可仅包括一个光学标记24。
参考图12，该跟踪装置20还包括用于操纵该光学标记24的驱动机制22-4。具体地，该驱动机制22-4可相对于彼此移动光学标记24(例如，通过平移、旋转等)，从而改变光学标记24之间的空间关系，如说明书中详细 描述的那样。
在图12的示例中，该驱动机制22-4以附接至索具22上的各个点的橡皮带的形式提供。当用户用他的手指按下扳机22-2时，该驱动机制22-4将该第二标记24-2移动至相对于该第一标记24-1的新位置。当该用户释放该扳机22-2时，由于该橡皮带的弹性，该第二标记24-2移回至其原始位置。特别地，可使用提供弹性范围得橡皮带，从而当用户按下和释放该扳机22-2时，在各种条件下提供足够的张力(从而，触觉反馈至用户)。用于提供触觉反馈的不同实施例将参考图43、44、45和17稍后在说明书中更详细地描述。
尽管上面已经描述了橡皮带驱动机制，但是应当注意到该驱动机制22-4不限于橡皮带。该驱动机制22-4可包括能够在索具22上相对于彼此移动该光学标记24的任何机制。在一些实施例中，该驱动机制22-4可以例如是弹性加载机制、空气活塞机制(由气压驱动)、电池操作马达装置等。
图13图示了其装配前的示例索具的二维视图。在图10、11和12的示例中，该索具22可由卡板制作。首先，索具22的二维布局(图13中所示)形成在一片卡板上，随后沿着其虚线折叠以形成三维索具22。随后该驱动机制22-4(橡皮带)被附接至指示为“橡皮带”的区域。为了提高耐久性且承受大量使用，索具22可以由更强的材料例如木材、塑料、金属等制成。
图14和15图示了用于光学标记的示例图案。具体地，图14图示了用于第一标记24-1的光学图案“A”，而图15图示了用于第二标记24-2的光学图案“B”。如先前提到的，光学图案“A”和“B”是易于由图像捕获装置18成像和跟踪的独特的图案。该光学图案“A”和“B”可以是黑白图案或彩色图案。为了形成光学标记24，该光学图案“A”和“B”可使用例如喷墨或激光打印机被打印在白纸卡上，且被附接至该标记固定器22-3。在光学图案“A”和“B”是彩色图案的那些实施例中，该彩色图案可通过在白纸卡上打印反射/发射不同波长光的材料而形成，且该图像捕获装置18可以配置为检测不同波长的光。图14和15中的光学标记已被发现一般在明亮环境中能很好地工作。然而，该光学标记24可通过使用其它材料例如在黑暗中发光的材料(例如草酸二苯酯(diphenyl oxalate)-CyalumeTM)、发光二极管(LED)、热敏材料(可由红外相机检测的)等被修改用于低光和黑暗的环境。因此，该光学标记24可被用于通过使用特殊的材料和技术(例如热成像)来检测在不可见范围内 的光(例如，红外线和/或紫外线)。
应当注意到该光学标记24不仅仅限于二维卡。在一些其它实施例中，该光学标记24可以是三维对象。一般地，该光学标记24可以包括具有一个或多个可识别结构或图案的任何对象。同样，预期任何形状或尺寸的光学标记24。
在图14和15的实施例中，该光学标记24无源地反射光。然而，示例实施例并不限于此。在一些其它实施例中，该光学标记24也可有源地发射光，例如通过使用用于该光学标记24的发光二极管(LED)板。
在一些实施例中，当该跟踪装置20没有在使用时，用户可从该标记固定器22-3中拆卸该光学标记24，且将该索具22折叠回扁平的二维形状以易于存储。该折叠的索具22和光学标记24可被相对压缩以适合口袋、钱包或任何类型的个人提包。如此，该跟踪装置20是高度便携的，且可容易地与用户装置12一起到处携带。在一些实施例中，跟踪装置20和用户装置12可被一起折叠以最大化便携性。
图16、17和18图示了用户对示例***的操作。参考图16，用户装置12按照虚拟现实头载装置(HMD)的形式提供，具有在该用户装置12中合并的输出装置14和图像捕获装置18。该用户装置12可对应于图2和3中描绘的实施例。如先前所提及的，媒体源10和数据转换器16可位于用户装置12中或远离用户装置12。如图16中所示，该跟踪装置20可被握在用户手中。在***操作期间，因为该跟踪装置20不需要通过线路物理地连接至该用户装置12，所以用户的移动性不受限制。如此，该用户独立于用户装置12到处自由地移动该跟踪装置20。
参考图17，用户的手指从该扳机22-2处释放，且该第一标记24-1和第二标记24-2被布置在相对于彼此的初始位置。该初始位置对应于该光学标记24的参考位置。该初始位置也提供世界空间中用户的手的近似位置。当光学标记24位于该图像捕获装置18的视场中时，光学标记24的第一组图像由图像捕获装置18捕获。光学标记24的参考位置可利用第一组图像由数据转换器16确定。在一个实施例中，真实世界空间中用户的手的位置可通过跟踪第一标记24-1而获得。
参考图18，用户通过在扳机22-2上按下其手指来提供物理输入至跟踪装置20，这导致该驱动机制22-4将该第二标记24-2移动至相对于第一标记 24-1的新位置。在一些实施例中，该驱动机制22-4可相对于彼此同时移动第一标记24-1和第二标记24-2两者。因此，在那些实施例中，可获得第一标记24-1和第二标记24-2之间的空间关系的更大改变。预期运动的任何类型、范围和幅度。
随后光学标记24的第二组图像由图像捕获装置18捕获。该光学标记24的新位置由该数据转换器16利用该第二组捕获的图像确定。随后，由于来自用户的物理输入导致的第一标记24-1和第二标记24-2之间的空间关系的改变由该数据转换器16利用光学标记24的新和参考位置之间的差别和/或光学标记24的两个新位置之间的差别而被计算。接着该数据转换器16将光学标记24之间空间关系的改变转换成在用户装置12上渲染的虚拟世界中的动作。该动作可以包括例如扳机动作、抓取动作、触发动作等。在一些实施例中，虚拟世界中的动作可基于标记的可观察表现而被生成。在那些实施例中，时间t0和t1之间的个别标记的消失和/或重现会导致在虚拟世界中生成的特定动作，其中时间t1是在时间t0后面出现的时间点。例如，在一个特定实施例中，可有包括第一标记、第二标记、第三标记和第四标记的四个标记。用户可通过掩盖第一标记生成虚拟世界中的第一动作，通过掩盖第二标记生成虚拟世界中的第二动作等等。这些标记可使用各种方法从视图中掩盖。例如，可通过利用由不透明材料制成的卡片阻挡标记，或通过将标记移出该图像捕获装置的视场，来掩盖这些标记。由于前述实施例是基于标记的可观察存在的(即存在或不存在)，因此这些实施例非常适合二进制输入从而生成例如触发或开关动作。
应当注意到标记的空间关系或标记之间的空间关系的改变包括每个标记的空间改变、以及两个或更多标记之间的空间差别。预期任何类型的空间关系的改变。例如，在这里描述的各种实施例中，我们将参考图像或多个参考图像定义为可用于确定空间关系的改变的参考数据的更广集合的一部分或一份。在示例实施例中，该参考数据可包括：1)来自多个标记的使用的数据，所述标记的一个或多个是参考图像(例如，参考数据的一部分)；2)来自一个标记的使用的数据，所述标记的图像在多个时刻被采样，所述图像样本的一个或多个是参考图像(例如，该参考数据的另一部分)；3)图像捕获装置的位置/方位数据(例如，该参考数据的另一部分)，空间关系的改变与该图像捕获装置的位置/方位数据相关；以及4)跟踪装置的位置/方位数 据(例如，该参考数据的另一部分)，空间关系的改变与跟踪装置的位置/方位数据相关。鉴于本公开，对本领域技术人员来说将显而易见的是，该参考数据可包括可用于确定空间关系的改变的其他数据分量。
图19和20图示了对应于光学标记的参考和新位置、在用户装置上的虚拟世界中的视觉输出。在图19和20中，虚拟世界25被显示在用户装置12的输出装置14上。虚拟对象26(以虚拟的手的形状)被提供在虚拟世界25中。参考图19，当光学标记24在它们的参考位置处时(由此该第二标记24-2紧邻该第一标记24-1而在标记之间没有任何间隙)，该虚拟对象26处于“打开”的位置26-1。参考图20，当光学标记24在它们的新位置处时(由此该第二标记24-2相对于该第一标记24-1旋转角度θ)，该第一标记24-1和第二标记24-2之间的空间关系的改变由数据转换器16转换成虚拟世界25中的动作。为了视觉地指示已发生了该动作，该虚拟对象26从“打开”位置26-1改变至“关闭”位置26-2。在图20的示例中，“关闭”位置26-2对应于抓取动作，其中该虚拟的手呈紧握拳头的形状。在一些其他实施例中，该“关闭”位置26-2可以对应于扳机动作、触发动作或虚拟世界25中的任何其他动作或移动。
图21、22、23和24图示了在示例跟踪装置上可用的物理输入的空间范围。
参考图21，光学标记24在它们的参考位置。这些参考位置可对应于光学标记24的默认位置(即，当没有从用户处接收物理输入时的光学标记24的位置)。当光学标记24在其参考位置处时，该扳机22-2和驱动机制22-4没有被激活。如先前参考图19所述的，当光学标记24在其参考位置处时(即没有动作由对象26执行或在对象26上执行)，虚拟世界25中的对象26可以在“打开”位置26-1。如图21中所示，当光学标记24在其参考位置处时，该第二标记24-2紧邻该第一标记24-1而在两者中间没有任何间隙。
参考图22，用户可应用一种类型的物理输入至该跟踪装置20。具体地，用户可在该扳机22-2上按下其手指，这导致该驱动机制22-4围绕点O相对于该第一标记24-1旋转该第二标记24-2(参见，例如图18和20)。该第一标记24-1和第二标记24-2之间的旋转角由θ给出。在一些实施例中，用户可通过应用不同压力至该扳机22-2、在恒定压力下握住该扳机22-2达到不同时间长度、或上述方式的组合，来改变该角旋转。例如，用户可通过施加 更大压力至该扳机22-2来增加角旋转，或通过减少施加至该扳机22-2的压力来减少角旋转。类似的，用户可通过以恒定压力握住扳机22-2达到一段更长的时间来增加角旋转，或通过减少施加至该扳机22-2的压力来减少角旋转。为了改进用户体验，可以例如通过调整驱动机制22-4/扳机22-2中的物理抗力(例如弹簧拉力)，来修改从跟踪装置20至用户的触觉反馈。
该光学标记24的角度旋转对应于来自用户的一种类型的模拟物理输入。依赖于旋转角度，可在虚拟世界25中指定不同的动作。例如，参考图22，当用户应用第一物理输入从而该旋转角度θ落入第一预定角度阈值范围θ1中时，该数据转换器16将该第一物理输入转换成虚拟世界25中的第一动作R1。类似地，当用户应用第二物理输入从而旋转角度θ落入第二预定角度阈值范围θ2中时，该数据转换器16将该第二物理输入转换为虚拟世界25中的第二动作R2。同样地，当用户应用第三物理输入从而旋转角度θ落入第三预定角度阈值范围θ3中时，该数据转换器16将该第三物理输入转换为虚拟世界25中的第三动作R3。该第一预定角度阈值范围θ1由该第一标记24-1的边缘和从点O向外延伸的虚线L1之间的角度定义。该第二预定角度阈值范围θ2由该虚线L1和另一从点O向外延伸的虚线L2之间的角度定义。该第三预定角度阈值范围θ3由该虚线L2和第二标记24-2的边缘之间的角度定义。预期每个范围的任意幅度。
注意到，预定角度阈值范围的数量无需限制为3。在一些实施例中，取决于该图像捕获装置18的敏感性和分辨率以及其他要求(例如，游戏功能等)，预定角度阈值范围的数量可以多于3(或少于3)。
还注意到，至跟踪装置20的物理输入无需限制为光学标记24的角度旋转。在一些实施例中，至跟踪装置20的物理输入可对应于光学标记24的平移动作。例如，参考图23，用户可在扳机22-2上按下他的手指，这使得驱动机制22-4平移该第二标记24-2远离该第一标记24-1一段距离。图23中的驱动机制22-4不同于图22中的。具体地，图22中的驱动机制22-4旋转该光学标记24，然而图23中的驱动机制22-4平移该光学标记24。参考图23，第一标记24-1和第二标记24-2的最近边缘之间的平移距离由D给出。在一些实施例中，用户可通过施加不同压力至扳机22-2、以固定压力握住扳机22-2不同时长或上述方式的组合，来改变该平移距离。例如，用户可通过应用更大压力至扳机22-2来增加该平移距离，或通过减少应用至扳机22-2 的压力来减少该平移距离。同样地，用户可通过以恒定压力握住该扳机22-2达到更长时间段来增加平移距离，或通过减少应用至扳机22-2的压力来减少平移距离。如先前所提及的，例如，通过调整驱动机制22-4/扳机22-2中的物理阻力(例如弹簧张力)，从该跟踪装置20至用户的触觉反馈可以被修改以改进用户体验。
光学标记24的平移对应于来自用户的另一种类型的模拟物理输入。取决于该平移距离，可以在虚拟世界25中指定不同的动作。例如，参考图23，当用户应用第四物理输入从而该平移距离D落入第一预定距离范围D1中时，该数据转换器16将该第四物理输入转换为虚拟世界25中的第四动作T1。类似地，当用户应用第五物理输入从而该平移距离D落入第二预定距离范围D2中时，该数据转换器16将该第五物理输入转换为虚拟世界25中的第五动作T2。同样地，当用户应用第六物理输入从而该平移距离D落入第三预定距离范围D3中时，该数据转换器16将该第六物理输入转换为虚拟世界25中的第六动作T3。该第一预定距离范围D1由该第一标记24-1的边缘和平行于第一标记24-1的边缘延伸的虚线L3之间的最短距离定义。该第二预定距离范围D2由该虚线L3和平行于该虚线L3延伸的另一虚线L4之间的最短距离定义。该第三预定距离范围D3由该虚线L4和平行于虚线L4的第二标记24-2的边缘之间的最短距离定义。预期每个距离范围的任何幅度。
注意到，预定距离范围的数量无需限制为3。在一些实施例中，取决于该图像捕获装置18的敏感性和分辨率以及其他要求(例如，游戏功能等)，预定距离范围的数量可以多于3(或少于3)。
虚拟世界25中的动作可以包括离散动作，例如扳机、抓取、触发等。然而，由于光学标记24之间的空间关系的改变(旋转/平移)是连续的，所以该改变可以被映射至虚拟世界25中的模拟动作，例如，以渐进抓取动作或连续蹬踏动作的形式。示例实施例不限于由虚拟对象26执行或在虚拟对象26上执行的动作。例如，在其他实施例中，当空间关系的改变超过预定阈值或落入预定阈值范围内时，可在虚拟世界25中触发事件(其不关联于虚拟对象26)。
尽管图22和23分别以两维图示了光学标记24的旋转和平移，但是注意的是每个光学标记24的运动可以被外推至具有六个自由度的三维。光学 标记24可被配置为在笛卡尔坐标系中以三个轴X、Y和Z中的任何一个或多个来旋转或平移。例如，如图24中所示，具有图案“A”的该第一标记24-1可在X轴(Tx)、Y轴(Ty)或Z轴(Tz)上平移。同样地，该第一标记24-1也可围绕X轴(Rx)、Y轴(Ry)或Z轴(Rz)中的任何一个或多个旋转。图25图示了用于不同数目光学标记24的***配置的示例。预期光学标记24的任何数量和配置。例如，在一个实施例中，该跟踪装置20可包括具有图案“A”的第一光学标记24-1，由此该光学标记24-1在六个自由度中自由移动。在另一实施例中，该跟踪装置20可包括具有图案“A”的第一光学标记24-1和具有图案“B”的第二光学标记24-2，由此每个光学标记24-1和24-2在六个自由度中自由移动。在又一实施例中，该跟踪装置20可包括具有图案“A”的第一光学标记24-1、具有图案“B”的第二光学标记24-2和具有图案“C”的第三光学标记24-3，由此每个光学标记24-1、24-2和24-3在六个自由度中自由移动。
图26图示了示例***，其中单个图像捕获装置18被用于检测光学标记24之间的空间关系的改变。如图26中所示，该数据转换器16被连接在图像捕获装置18和用户装置12之间。该数据转换器16可被配置以控制该图像捕获装置18，从图像捕获装置18处接收成像数据，处理该成像数据以确定光学标记24的参考位置，当用户提供物理输入至跟踪装置20时测量光学标记24之间空间关系的改变，确定空间关系中的该改变是否落入预定阈值范围内，以及如果空间关系中的该改变落入该预定阈值范围内、则在用户装置12上生成虚拟世界25中的动作。
如上所提及，图26中的***具有单个图像捕获装置18。图26的***中用于每个自由度的可检测距离/角度范围在图27中图示，且由图像捕获装置18的视场限制。例如，在一个实施例中，光学标记24之间可检测的平移距离可升至X方向上的1英尺、Y方向上的1英尺以及Z方向上的5英尺；且光学标记24的可检测的角旋转可升至围绕X轴的180°、围绕Y轴的180°以及围绕Z轴的360°。
在一些实施例中，该***可包括若该跟踪装置移出了自由度中的可检测距离/角度范围、则允许该***利用跟踪装置20的最近已知位置的失效保护机制。例如，若该图像捕获装置18失去了光学标记24的踪迹，或如果该跟踪数据指示了过量运动(其可以指示跟踪错误)，则该***代替使用最近已 知的跟踪值。
图28图示了图27的图像捕获装置18的视场。在一些实施例中，调节透镜18-1可附接至该图像捕获装置18以增加其视场，如图29中所示。例如，比较图28和29中的实施例，在调节透镜18-1已附接至该图像捕获装置18之后，光学标记24之间的可检测的平移距离可在X方向上从1英尺增加至3英尺、以及在Y方向上从1英尺增加至3英尺。
在一些实施例中，为了进一步增加每个自由度的可检测的距离/角度范围，多个图像捕获装置18可被放置在不同地点和方位，以捕获更广范围自由度的光学标记24。
在一些实施例中，多个用户可沉浸在多用户虚拟世界25中，例如，在大型多玩家在线角色扮演游戏中。图30图示了允许用户在虚拟世界25中彼此交互的多用户***200。参考图30，该多用户***200包括中央服务器202和多个***100。
该中央服务器202可以包括网络服务器、公司服务器或任何其他类型的计算机服务器，且可以被计算机编程以从每个***100接收请求(例如，HTTP或其他可启动数据传输的协议)，且以所请求的数据服务每个***100。此外，该中央服务器202可以是广播设施，例如免费播送、线缆、卫星和其他用于分发数据的广播设施。
图30中的每个***100可对应于图1中描绘的***100。每个***100可具有参与者。“参与者”可以是人。在一些具体实施例中，“参与者”可以是无生命实体例如机器人等。参与者们沉浸在相同的虚拟世界25中，且可利用虚拟对象和/或动作在虚拟世界25中彼此交互。该***100可以共存于例如房间或剧场里。当***100是共同定位时，多个图像捕获装置(例如，N个图像捕获装置，其中N大于或等于2)可被安装在该位置以提高参与者的光学覆盖且消除盲点。然而，注意到该***100无需在相同位置。例如，在一些其他实施例中，***100可以在远程地理位置(例如，在世界上的不同城市)。
该多用户***200可以包括多个节点。具体地，每个***100对应于“节点”。“节点”是***200中逻辑独立的实体。如果“***100”后面跟着数字或字母，则这意味着“***100”对应于共享该相同数字或字母的节点。例如，如图30中所示，***100-1对应于节点1，其关联于参与者1，且***100-k 对应于节点k，其关联于参与者k。每个参与者在其光学标记24上可具有唯一的图案，从而区分它们的身份。
参考图30，每个***100中的中央服务器202和数据转换器16之间的双向箭头指示该中央服务器202和每个***100之间的双向数据传递能力。***100可经由中央服务器202彼此通信。例如，成像数据、以及处理数据和关于虚拟世界25的指令，可以在***100之间、传送至/传送来自该***100和该中央服务器202。
该中央服务器202从每个***100中收集数据，且生成合适的虚拟世界25的定制视图，以在每个***100的输出装置14处呈现。注意到，该虚拟世界25的视图可以为每个参与者独立地定制。
图31是根据另一实施例的多用户***202，且图示了数据转换器16不需要驻留在每个节点处的***100内。如图31中所示，该数据转换器16可被集成至中央服务器202中，且因此远离***100。在图31的实施例中，每个***100中的图像捕获装置18或用户装置12将成像数据传送至中央服务器202中的数据转换器16以进行处理。具体地，每当参与者提供物理输入至其跟踪装置20时，该数据转换器16可检测每个跟踪装置20处的光学标记24之间的空间关系的改变，且可生成对应于空间关系改变的虚拟世界25中的动作。此动作可以被提供物理输入的参与者、以及虚拟世界25中的其他参与者观察到。
图32是根据另一实施例的多用户***204，且类似于图30和31中描绘的多用户***200和202，除了下面的区别。在图32的实施例中，***100不需要通过中央服务器202彼此连接。如在图32中所示，***100可通过网络直接彼此连接。该网络可以是局域网(LAN)且可以是无线的、有线的或者其组合。
图33、34和35图示了根据不同实施例在虚拟世界中生成的示例动作。在图33、34和35的每个中，虚拟世界25被显示在用户装置12的输出装置14上。用户接口(UI)元件可以被提供在虚拟世界25中以改进用户对该示例***的体验。UI元件可包括虚拟臂、虚拟手、虚拟装置(例如虚拟枪或激光指针)、虚拟对象等。用户可以利用UI元件在该虚拟世界25中导航(navigate through)，且在虚拟世界25中执行不同的动作。
图33是虚拟世界25中导航交互的示例。具体地，用户可以通过移动真 实世界中的跟踪装置20来在虚拟世界25进行导航。在图33中，在虚拟世界25中提供用手抓住虚拟枪30的虚拟臂28。虚拟臂28和虚拟枪30创建强列的视觉暗示，帮助用户沉浸在虚拟世界25中。如图33中所示，虚拟臂28的上部28-1(肘以上)在虚拟世界25中被绑至假想的肩膀位置，且虚拟臂28的下部28-2(虚拟手)被绑至虚拟枪30。虚拟臂28的肘位置和方位可以利用本领域技术人员已知的逆动力学来内插。
该虚拟世界25的比例可被调节，从而虚拟世界25中的虚拟装置(虚拟臂28和枪30)的位置看上去对应于真实世界中用户的手的位置。该虚拟装置也可定制为反映用户的操作。例如，当用户按下索具22上的扳机22-2时，虚拟枪30上的扳机将相应地移动。
在图33的示例中，该用户可将该跟踪装置20使用作为操纵杆以在虚拟世界25中导航。如先前所提及的，该图像捕获装置18具有有限的视场，其限制了跟踪装置20上的可检测的运动范围。在一些实施例中，累积控制方案可被用在***中，从而用户可使用跟踪装置20的小运动以控制虚拟世界25中的更大运动。该累积控制方案可如下述提供。
首先，该用户按下跟踪装置20上的扳机22-2以记录参考变换。其次，用户移动该跟踪装置20离开其参考/原始位置一距离D。接下来，该数据转换器16计算当前变换和参考变换之间的位置和旋转的差异。接下来，位置和旋转的差异被用于计算该虚拟对象围绕虚拟世界25移动的速度和角速度。注意到，若用户保持与该参考变换相同的相对差异，则该虚拟对象将不断地移向那个方向。例如，虚拟枪30的速度Vg可利用下面的等式计算：
Vg＝Cx(Tref-Tcurrent)
其中C是速度常量，Tref是参考转换，而Tcurrent是当前转换。
参考图33，当用户在真实世界中以距离D和速度V移动该跟踪装置20时，该虚拟臂28在虚拟世界25中以距离D`和速度V`从第一位置30`移动该虚拟枪30至第二位置30``。虚拟世界25中的距离D`和速度V`可以相对于真实世界中的距离D和速度V按比例缩放。因此，用户可直观感受虚拟枪30移动了多少，以及该虚拟枪30在虚拟世界25中移动得多快。
在图33的示例中，该虚拟枪30沿着虚拟世界25的X轴从左移动至右。然而，应该理解，用户可通过平移和/或旋转沿着或围绕虚拟世界25的X、Y和Z轴在任何位置移动该虚拟臂28和枪30。
在一些实施例中，用户可步行或在虚拟交通工具中导航和探索该虚拟世界25。这包括在虚拟世界25的地面、水或空气中导航。当步行导航时，用户可前/后移动该跟踪装置20以前/后移动对应虚拟元件，或向左/右移动该跟踪装置20以扫射(斜着移动虚拟元件)。用户也可转动用户装置12以转动虚拟元件或改变虚拟世界25中的视图。当控制虚拟交通工具时，用户可使用跟踪装置20向前/后走，或向左或右转动/倾斜。例如，当使该虚拟交通工具飞行时，用户可向上/向下移动该跟踪装置20，且移动扳机22-2以控制风门(throttle)。由于用户应当能在虚拟世界25中环顾四周而无需该虚拟交通工具改变方向(如在真实世界中那样)，所以转动该用户装置12应当不会对该虚拟交通工具的方向产生影响。
如前面所述，如果光学标记24之间空间关系的改变落入预定阈值范围内，则虚拟世界25中可生成动作。图34和35图示了可在虚拟世界25中生成的不同类型的动作。具体地，图34和35包括使用遥感(telekinesis)方案以在虚拟世界25中移动对象，由此移动范围大于跟踪装置20的感应区域。使用遥感方案，用户可抓取、举起或转动虚拟世界25中的远程虚拟对象。遥感提供了与虚拟世界25中的虚拟对象交互的方式，特别是当物理反馈(例如，对象硬度、重量等)不可用时。遥感可以与累积控制方案(之前图33中描述的)或微型控制方案联合使用。
图34是虚拟世界25中累积遥感交互的示例。具体地，图34图示了用户可利用虚拟臂28和虚拟枪30移动另一虚拟对象32的动作。在图34中，该虚拟对象32位于离该虚拟枪30一距离处，且与该虚拟枪30同步，从而该虚拟对象32与该虚拟枪30按比例移动。为了移动该虚拟对象32，用户可提供物理输入至跟踪装置20导致光学标记24中/之间的空间关系的改变。空间关系的改变可以是，例如跟踪装置20沿着真实世界的X轴平移距离D。若空间关系中的该改变(即距离D)落入预定距离范围内，则该数据转换器16生成虚拟世界25中的动作。具体地，该动作包括通过虚拟世界中X轴中的距离D`和围绕Z轴的角度θ`将该虚拟枪30从第一位置30`移动至第二位置30``。虚拟世界25中的距离D`和角度θ`可与真实世界中的距离D和角度θ成比例。因此，用户可直观感受虚拟枪30移动了多少，虚拟枪30移动得多快，以及由虚拟枪30在虚拟世界25中行进的实际路径。如前所提及，由于该虚拟对象32与该虚拟枪30同步，且与虚拟枪30一起移动，因此该虚 拟对象32也在虚拟世界25中移动了X轴的距离D`和围绕Z轴的角度θ`。因此，用户可使用该虚拟枪30控制虚拟世界25中一距离处的对象。该虚拟对象32的速度Vo可利用下面的等式计算：
Vo＝Cx(Tref-Tcurrent)
其中C是速度常量，Tref是参考变换，而Tcurrent是当前变换。
图35是在虚拟世界25中微型遥感交互的示例。图35也图示了用户可利用该虚拟臂28和虚拟枪30移动另一虚拟对象32的动作。然而，与图34的示例不同，图35中的该虚拟对象32与该虚拟枪30同步，从而该虚拟对象32以相对于该虚拟枪30的更大比例移动。为了移动图35中的该虚拟对象32，用户可提供物理输入至跟踪装置20导致光学标记24之间的空间关系的改变。空间关系的改变可以是，例如跟踪装置20沿着真实世界的X轴平移距离D。若空间关系中的该改变(即距离D)落入预定距离范围内，则该数据转换器16生成虚拟世界25中的动作。具体地，该动作包括通过虚拟世界25中X轴中的距离D`和围绕Z轴的角度θ`将该虚拟枪30从第一位置30`移动至第二位置30``。虚拟世界25中的距离D`和角度θ`可与真实世界中的距离D和角度θ成比例。因此，用户可直观感受虚拟枪30移动了多少，虚拟枪30移动得多快，以及由虚拟枪30在虚拟世界25中行进的实际路径。如前面提及的，图35中的虚拟对象32与该虚拟枪30同步，且相对于虚拟枪30以更大比例移动。因此，该动作也包括通过虚拟世界25中X轴中的距离D``和围绕Z轴的角度θ``将该虚拟对象32从第一位置32`移动至第二位置32``，其中D``＞D`而θ``＝θ`。因此，用户可使用该虚拟枪30控制虚拟世界25中一距离处的虚拟对象，且操纵该虚拟对象以在虚拟世界25中具备更广的运动范围。
如图35中所示，虚拟对象32中的微型版本32-1被布置在虚拟枪30上。该微型遥感控制方案可如下提供。首先，用户按下跟踪装置20上的扳机22-2以记录参考变换。然后，用户从该参考变换移动跟踪装置20一特定距离至一新的变换。随后，计算该当前变换和该参考变换之间的变换矩阵。随后，该变换矩阵乘以缩放因子，其反映了对象32和微型版本32-1之间的比例差。图35中该虚拟对象32的新变换Tnew可用下面的等式计算：
Tnew＝Torig+Sx(Tref-Tcurrent)
其中Torig是该虚拟对象32的原始变换，S是对象32和微型版本32-1之间 的比例常量，Tref是参考变换，而Tcurrent是当前变换。
可增加额外的UI(用户接口)向导以帮助用户理解跟踪或动作的状态。例如，可使用直线箭头表示该虚拟元件沿着直线移动多远/多快，而使用曲线箭头表示该虚拟元件旋转得多远/多快。这些箭头可以是直线箭头和曲线箭头的结合，例如，如图33、34和35中所示。在一些实施例中，状态条或圆形可被用于表示用户输入的模拟值(例如，用户脚蹬多快)。
在图34和35的示例中，使用遥感方案控制该虚拟对象32，这在阴影(shadowing)上提供了如下好处。在阴影中，虚拟角色精确地跟随人的移动。首先，如果该虚拟角色具有与控制器不同的比例或缩放，则阴影不工作。不同于阴影，该示例***在不同比例和缩放下很好地工作。特别地，比例在示例***中不是重要因素，因为使用相对运动控制该虚拟臂28。
第二，用户在阴影期间通常需要用绳子穿戴笨重的传感器。相反，该示例***是轻量级的且无绳的。
第三，在阴影中，当控制器的臂被物理障碍阻挡或当负重时，虚拟臂的移动可能被阻碍。相反，示例***中的遥感控制方案更直观，因为其不经受物理阻碍且该控制是相对的。
图36、37、38和39图示了根据不同实施例在虚拟世界中生成的更多的示例动作。图36、37、38和39中的实施例与图33、34和35中描述的那些类似，但是至少具有下面的区别。在图36、37、38和39的实施例中，虚拟枪30包括生成激光束34的指针，且该虚拟世界25包括其他类型的用户接口和虚拟元件。该激光束34表示该虚拟枪30指向的方向，且为用户提供了可视线索(因此作为指针装置)。此外，该激光束34可被用于聚焦在不同虚拟对象上，且对虚拟世界25中的不同虚拟对象执行各种动作(例如，射击、推、选择等)。
参考图36，用户可通过利用图33中描述的方法移动该虚拟枪30，而将激光束34聚焦在虚拟对象32上。一旦激光束34被聚焦在虚拟对象32上，就可执行不同的动作(例如，射击、倾倒、移动等)。例如，用户可提供物理输入至该跟踪装置20，导致光学标记24之间的空间关系的改变。若空间关系的改变落入预定阈值范围内，则该数据转换器16生成虚拟世界25中的动作，由此该虚拟枪30朝虚拟对象32射击，导致该虚拟对象32倒塌或消失。在一些实施例中，在该激光束34被聚焦在虚拟对象32上之后，用户可 利用图34或35中描述的一个或多个方法四处移动该虚拟对象32。例如，为了“锁定”至虚拟对象32，用户可按下且保持该跟踪装置20上的扳机22-2。为了四处拖拽或移动该虚拟对象32，用户可按下该扳机22-2，且利用该激光束34作为向导工具移动该跟踪装置20。
在一些实施例中，用户可使用虚拟枪30以与虚拟世界25中的不同虚拟用户接口(UI)交互。与虚拟UI交互的模式可以和与传统UI的真实世界交互类似(例如，按钮、拨号盘、检查框、键盘等)。例如，参考图37，虚拟用户接口可包括一叠(tile)虚拟按钮36，且用户可通过将激光束34聚焦在该虚拟按钮上来选择特定的按钮36。如图38中所示，另一类虚拟用户接口可以是虚拟键盘38，且用户可通过将激光束34聚焦在该虚拟键上来选择虚拟键盘38上的具体按键。例如，为了选择(“点击”)虚拟按钮或按键，用户可在跟踪装置20上按压一次扳机22-2。
在一些实施例中，可在虚拟世界25中提供多个虚拟用户接口40，如图39中所示。在那些实施例中，用户可使用指针/激光束34，以与每个不同虚拟用户接口40同时交互。由于示例***允许虚拟空间中六个自由度的广范围的运动，因此虚拟用户接口40可被放置在虚拟世界25中的任何位置。
在示例实施例中，虚拟指针可利用唯一标记和上述图像识别技术实现。在最简单的实施例中，我们使用一个标记来跟踪虚拟世界中用户的手。图40中示出了示例实施例。此实施例可被实施如下：
●我们可使用VR耳机以为我们提供虚拟现实中角色头部的变换。由于我们的物理头部围绕颈关节旋转，我们可将表示这个运动的值存储在：Tneck中。若装置不提供绝对位置跟踪且仅具有方位跟踪(例如，仅使用陀螺仪)，则我们可使用平均的成人高度作为该位置(例如(0，AverageAdultHeight，0))；
●该相机透镜具有与Tneck相反的相对变换；我们可将表示这个变换的值存储在Tneck-camera中；
●图像识别软件可分析由相机提供的图像且获取与该相机透镜相反的标记A的变换；我们可将表示此变换的值存储在Tcamera-marker中；
●在真实世界中，标记A具有与用户的手腕或手相反的变换；我们可将表示此变换的值存储在Tmarker-hand中；
●该虚拟角色的变换可存储在Tcharacter中；以及
●用户的手的绝对变换Thand可如下计算：
Thand＝Tcharacter+Tneck+Tneck-camera+Tcamera-marker+Tmarker-hand
在示例实施例中，我们可增加另一标记且使用空间差异以执行不同的动作。同样，我们可包括更多的标记至***中用于更多的动作。图41中示出各种示例实施例。此外，标记不限于2D平面标记；我们可以使用3D对象作为我们的标记。
在另一示例实施例中，角色导航可用加速计或步数计来实现。我们可使用此过程从用户装置的加速计中获取加速度数据，且将该加速度数据转换为虚拟世界中的角色速度。此实施例可实现如下：
●我们记录加速度数据；
●用噪声减小功能来处理原始加速度值；以及
●当所处理的值超过特定的预定限制时，步数加1，且随后将特定速度加至虚拟角色，从而其在虚拟世界中移动。
此实施例可以具体实现如下：
使用上述的示例实施例，用户可仅在该地点步行或在适当的位置步行，并且它们的虚拟角色将在虚拟世界中按照对应的方式步行。图42中示出了这个示例实施例。
图43和44描绘了光学标记适于游戏控制器的不同的实施例。参考图43和44，该跟踪装置20可由挂载了光学标记24(例如，第一标记24-1和第二标记24-2)的游戏控制器42替代。游戏控制器42可包括把手42-1和标记握持器42-2。光学标记24被配置为附接至标记握持器42-2。跟踪装置20上的“扳机”机制可由游戏控制器42上的方向控制按钮42-3和动作按钮42-4替代。具体地，方向控制按钮42-3可被用于控制虚拟世界中导航的方向，且动作按钮42-4可被用于执行虚拟世界中的特定动作(例如，射击、切换等)。
在一些实施例中，方向控制按钮42-3和动作按钮42-4可以被集成至跟踪装置20上，例如，如图45中所示。
在图43、44和45的实施例中，方向控制按钮42-3和动作按钮42-4可被配置以发送电信号至图1中描述的一个或多个元件，并从图1中描述的一个或多个元件接收电信号。如此，图44中的游戏控制器42和图45中的跟踪装置20同样可经由网络或允许从一个组件至另一组件的数据传输的任何类型通信链接，来可操作地连接至图1中描绘的媒体源10、用户装置12、输出装置14、数据转换器16和图像捕获装置18中的一个或多个。该网络可包括局域网(LAN)、广域网(WAN)、蓝牙(BluetoothTM)和/或近场通信(NFC)技术，以及可以是无线的、有线的或其组合。
图46是图示了用于将来自用户的物理输入转换至虚拟世界中的动作的示例方法的流程图。参考图46，方法300包括下面的步骤。首先，获得跟踪 装置(例如跟踪装置20)上一个或多个标记的图像(步骤302)。这些图像可使用图像捕获装置(例如，图像捕获装置18)捕获。其次，使用所获得的图像确定在时间t0处相对于一个或多个标记的参考数据(步骤304)。参考数据可以使用数据转换器(例如，数据转换器16)确定。其次，测量在时间t1处相对于一个或多个标记的参考数据和位置的空间关系的改变，由此空间关系的改变由应用至跟踪装置上的物理输入生成(步骤306)。时间t1是晚于时间t0的时间点。空间关系的改变可由数据转换器测量。用户输入可对应于至跟踪装置20的物理输入，使得一个或多个标记相对于彼此移动。用户输入也可对应于真实世界中跟踪装置20的移动。其次，数据转换器确定时间t1处相对于一个或多个标记的空间关系的改变是否落入预定阈值范围内(步骤308)。若时间t1处相对于一个或多个标记的空间关系的改变落入预定阈值范围内，则该数据转换器生成在用户装置(例如用户装置12)上渲染的虚拟世界中的动作(步骤310)。在一些实施例中，一个或多个标记的任一个可被用于确定虚拟世界中对象的位置。具体地，该数据转换器可计算时间t0和t1之间一个或多个标记的任一个的空间差异，以确定虚拟世界中对象的位置。在一些实施例中，虚拟世界中的动作可基于标记的可观察的出现而被生成。在那些实施例中，时间t0和t1之间的个别标记的消失和/或重现会导致虚拟世界中生成的特定动作。
这里公开的方法可以被实现为计算机程序产品，即在非易失性信息载体例如机器可读存储装置或有形非易失性计算机可读介质中有形实施的计算机程序，用于由数据处理设备执行或控制数据处理设备的操作，数据处理设备例如是可编程处理器、计算机或多个计算机。计算机程序可以以任意形式的程序语言撰写，包括编译的或注释的语言，且其可以任何形式部署，包括作为单机程序或作为模块、组件、子例程或其他适于在计算环境中使用的单元。计算机程序可被部署以在一个地点的或者通过多个地点分布且经由通信网络互连的一个计算机或多个计算机上执行。这里公开的***的部分或全部也可由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)、印刷电路板(PCB)、数字信号处理器(DSP)、可编程逻辑组件和可编程互连的组合、单个中央处理单元(CPU)芯片、组合在母板上的CPU芯片、通用目的计算机、或基于这里公开的方法能够处理光学图像数据和生成虚拟世界中动作的装置或模块的任何其他组合来实施。可以理 解，上述示例实施例仅仅是说明性的目的，而不限于所要求保护的主题。***的特定部分可被删除、组合或重排，且额外的部分可增加至***。然而，明显的是可作出各种修改和改变，而不脱离如随后权利要求中阐述的所要求保护的主题的较广精神和范围。说明书和附图因此被认为是说明性的而不是限制性的。通过考虑说明书以及这里公开的所要求保护的主题的实施，所要求保护的主题的其他实施例对于本领域技术人员来说可以是显而易见的。
现在参考图47，处理流程图图示了如这里描述的方法1100的示例实施例。示例实施例的方法1100包括：从图像捕获子***接收图像数据，该图像数据包括至少一个参考图像的至少一部分，所述至少一个参考图像表示一组参考数据的一部分(处理块1110)；接收该图像捕获子***的位置和方位数据，该位置和方位数据表示参考数据的另一部分(处理块1120)；当物理输入被应用到跟踪子***时，通过使用数据处理器来测量相对于参考数据的空间关系的改变(处理块1130)；以及生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变(处理块1140)。
图48示出了电子装置的示例形式的机器的图解表示，电子装置例如移动计算和/或通信***700，其中当一组指令被执行时和/或处理逻辑被激活时，可使得机器执行这里描述和/或要求保护的方法的任一个或多个。在可选实施例中，机器操作为单机装置操作，或可被连接(例如联网)至其他机器。在联网实现中，该机器可在服务器-客户端网络环境中在服务器或客户端机器的地位中操作，或作为对等(分布式)网络环境中的对等机器。该机器可以是个人电脑(PC)、膝上型电脑、平板计算***、个人数字助理(PDA)、蜂窝电话、智能电话、网络器具、机顶盒(STB)、网络路由器、开关或桥接器、或能执行一组指令(顺序或按照别的方式)或启动指定将由机器执行的动作的处理逻辑的任何机器。此外，尽管仅图示了一单个机器，但是术语“机器”也可被当作包括个别地或联合地执行一组(或多组)指令或处理逻辑以执行这里所描述和/或要求保护的方法的任一个或多个的机器的任意集合。
该示例移动计算和/或通信***700包括数据处理器702(例如，片上***[SoC]、通用处理内核、图形内核、和可选的其他处理逻辑)和存储器704，其能经由总线或其他数据传输***706彼此通信。该移动计算和/或通信***700还可包括各种输入/输出(I/O)装置和/或接口710，例如触摸屏显示器、音频插孔、和可选的网络接口712。在示例实施例中，该网络接口712可包 括配置为与任何一个或多个标准无线和/或移动协议或接入技术(例如，2代(2G)、2.5代、3代(3G)、4代(4G)、以及未来一代用于蜂窝***的无线电接入、全球移动通信***(GSM)、通用分组无线电服务(GPRS)、增强数据GSM环境(EDGE)、宽带码分多址(WCDMA)、LTE、CDMA2000、WLAN、无线路由器(WR)网格等)兼容的一个或多个无线电收发器。网络接口712也可被配置用于与各种其他有线和/或无线通信协议一起使用，协议包括TCP/IP、UDP、SIP、SMS、RTP、WAP、CDMA、TDMA、UMTS、UWB、WiFi、WiMax、蓝牙、IEEE 802.11x等。本质上，网络接口712可包括或虚拟地支持任何有线和/或无线通信机制，通过其，信息可经由网络714在移动计算和/或通信***700和另一计算或通信***之间传输。
存储器704可表示机器可读介质，在其上存储一组或多组指令、软件、固件或其他处理逻辑(例如逻辑708)，实现这里描述和/或要求保护的任意一个或多个方法或功能。在由移动计算和/或通信***700执行期间，逻辑708或其一部分也可完全或至少部分地驻留在处理器702中。如此，存储器704和处理器702也可构建机器可读介质。逻辑708或其部分也可被配置为处理逻辑或逻辑，其至少一部分以硬件部分地实现。逻辑708或其一部分还可经由网络接口712在网络714上传送或接收。尽管示例实施例的机器可读介质可以是单个介质，术语“机器可读介质”应当被认为包括存储了一组或多组指令的单个非瞬时介质或多个非瞬时介质(例如，集中的或分布式的数据库、和/或关联高速缓存和计算***)。术语“机器可读介质”也可被认为包括能存储、编码或携带指令集的任何非瞬时介质，所述指令集用于由机器执行且促使机器执行各种实施例中的任何一个或多个方法，或能够存储、编码或携带由这样的指令集利用或与这样的指令集关联的数据结构。术语“机器可读介质”可相应地被认为包括但不限于，固态存储器、光学介质、和磁介质。
一般性地参考这里使用的符号和术语，这里呈现的描述可根据在计算机或计算机网络上执行的程序过程公开。这些过程性的描述和展示可由本领域技术人员使用，以将他们的工作传达给其他本领域技术人员。
过程被一般地构思为在能被存储、传递、组合、比较、和按照别的方式操纵的电、磁、或光信号上执行的前后一致的操作序列。这些信号可以称为位、值、元素、符号、字符、术语、数字等。然而应该注意，所有这些和类似术语都应关联于合适的物理量，且仅仅是应用于这些量的便捷的标签。进 而，所执行的操纵通常在术语上被称为例如增加或比较，其操作可以由一个或多个机器执行。用于执行各种实施例的操作的有用机器可包括通用目的数字计算机或类似的装置。各种实施例也涉及用于执行这些操作的设备或***。这些设备可以根据目的具体构建，或其可包括如由存储在计算机中的计算机程序选择性地激活或重新配置的通用目的计算机。这里展示的过程不是本质上与具体计算机或其他设备相关。各种通用目的机器可与根据这里的教义撰写的程序一起使用，或其可证实对于构建更多专用设备以执行这里描述的方法是便利的。
提供本公开的摘要以允许读者快速明确本技术公开的本质。应当理解其将不用来解释或限制权利要求的范围或含义。此外，在前面的具体实施方式中，可以看到，为了使本公开简化的目的，各种特征可以被一起分组在单个实施例中。本公开的方法不应被解释为反映所要求保护的实施例需要比在每项权利要求中明确说明的特征更多的特征的意图。相反地，如下面的权利要求所反映的，本发明的主题决不在于单个公开实施例的所有特征。因此，下面的权利要求被合并至具体实施方式中，其中每个权利要求独立地作为单独的实施例。

Claims (20)

1.一种设备，包括：
处理器；
图像捕获子***；
跟踪子***，包括至少一个参考图像；以及
数据转换子***，与该处理器和该图像捕获子***进行数据通信，该数据转换子***用以：
从图像捕获子***接收图像数据，该图像数据包括至少一个参考图像的至少一部分，该至少一个参考图像表示一组参考数据的一部分；
接收该图像捕获子***的位置和方位数据，该位置和方位数据表示该参考数据的另一部分；
当物理输入被应用至该跟踪子***时，测量相对于该参考数据的空间关系的改变；以及
生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变。
2.如权利要求1所述的设备，其中该数据转换子***被进一步配置以确定空间关系的改变是否落入预定阈值范围内，并且如果空间关系的改变落入该预定阈值范围内，则生成虚拟世界中的动作。
3.如权利要求1所述的设备，其中该跟踪子***包括一个或多个标记，该数据转换子***被进一步配置以当物理输入被应用至该跟踪子***时，测量相对于所述一个或多个标记的空间关系的改变。
4.如权利要求1所述的设备，其中被应用至该跟踪子***的物理输入是该跟踪子***的一部分的旋转或平移。
5.如权利要求1所述的设备，其中被应用至该跟踪子***的物理输入是该跟踪子***自身的旋转或平移。
6.如权利要求1所述的设备，其中所述空间关系的改变是在二维空间或三维空间中测量的。
7.如权利要求1所述的设备，其中该图像捕获子***包括多个图像捕获装置，且该数据转换子***被进一步配置以从多个图像捕获装置的每个中接收图像数据，并同步从所述多个图像捕获装置所接收的图像数据。
8.如权利要求1所述的设备，其中该虚拟世界中的动作是虚拟对象的移动或操纵、或虚拟用户接口的操纵。
9.如权利要求1所述的设备，其中该虚拟世界中的动作对应于真实世界装置的控制。
10.如权利要求1所述的设备，其中该参考数据包括来自用户装置的加速计数据。
11.一种方法，包括：
从图像捕获子***接收图像数据，该图像数据包括至少一个参考图像的至少一部分，该至少一个参考图像表示一组参考数据的一部分；
接收该图像捕获子***的位置和方位数据，所述位置和方位数据表示该参考数据的另一部分；
当物理输入被应用至该跟踪子***时，通过使用数据处理器，来测量相对于该参考数据的空间关系的改变；以及
生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变。
12.如权利要求11所述的方法，包括确定空间关系的改变是否落入预定阈值范围内，并且如果空间关系的改变落入该预定阈值范围内，则生成虚拟世界中的动作。
13.如权利要求11所述的方法，包括当物理输入被应用至该跟踪子***时，测量相对于一个或多个标记的空间关系的改变。
14.如权利要求11所述的方法，其中被应用至该跟踪子***的物理输入是跟踪子***自身或跟踪子***的一部分的旋转或平移。
15.如权利要求11所述的方法，其中该参考数据包括来自用户装置的加速计数据。
16.如权利要求11所述的方法，其中所述空间关系的改变是在二维空间或三维空间中测量的。
17.如权利要求11所述的方法，包括从多个图像捕获装置的每个中接收图像数据，且同步从所述多个图像捕获装置所接收的图像数据。
18.如权利要求11所述的方法，其中虚拟世界中的动作对应于虚拟对象的移动或操纵、或虚拟用户接口的操纵、或真实世界装置的控制。
19.一种包含指令的非瞬时机器可用存储介质，当所述指令由机器执行时，促使该机器：
从图像捕获子***接收图像数据，该图像数据包括至少一个参考图像的至少一部分，该至少一个参考图像表示一组参考数据的一部分；
接收该图像捕获子***的位置和方位数据，所述位置和方位数据表示该参考数据的另一部分；
当物理输入被应用至该跟踪子***时，测量相对于该参考数据的空间关系的改变；以及
生成虚拟世界中的动作，该动作对应于所测量的空间关系的改变。
20.如权利要求19所述的机器可用存储介质中包含的指令，被进一步配置以确定空间关系的改变是否落入预定阈值范围内，并且如果空间关系的改变落入该预定阈值范围内，则生成虚拟世界中的动作。
CN201610301722.XA 2015-02-10 2016-02-14 利用移动装置的虚拟现实和增强现实控制 Pending CN106055090A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562114417P 2015-02-10 2015-02-10
US62/114,417 2015-02-10
US14/745,414 2015-06-20
US14/745,414 US20160232713A1 (en) 2015-02-10 2015-06-20 Virtual reality and augmented reality control with mobile devices

Publications (1)

Publication Number Publication Date
CN106055090A true CN106055090A (zh) 2016-10-26

Family

ID=56566942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610301722.XA Pending CN106055090A (zh) 2015-02-10 2016-02-14 利用移动装置的虚拟现实和增强现实控制

Country Status (2)

Country Link
US (1) US20160232713A1 (zh)
CN (1) CN106055090A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045389A (zh) * 2017-04-14 2017-08-15 腾讯科技（深圳）有限公司 一种实现控制固定被控物的方法及装置
CN109069920A (zh) * 2017-08-16 2018-12-21 广东虚拟现实科技有限公司 手持式控制器、跟踪定位方法以及***
CN109697002A (zh) * 2017-10-23 2019-04-30 腾讯科技（深圳）有限公司 一种在虚拟现实中对象编辑的方法、相关设备及***
CN110023884A (zh) * 2016-11-25 2019-07-16 森索里克斯股份公司 可穿戴运动跟踪***
CN110298889A (zh) * 2019-06-13 2019-10-01 高新兴科技集团股份有限公司 一种视频标签调节方法、***和设备
CN112241200A (zh) * 2019-07-17 2021-01-19 苹果公司 头戴式设备的对象跟踪
CN112514411A (zh) * 2018-08-10 2021-03-16 索尼公司 将对象映射到虚拟空间中的位置的方法
CN112805660A (zh) * 2018-08-02 2021-05-14 萤火维度有限公司 用于人与虚拟对象交互的***和方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140278718A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Enhanced time-management and recommendation system
US9946077B2 (en) * 2015-01-14 2018-04-17 Ginger W Kong Collapsible virtual reality headset for use with a smart device
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
EP3298454B1 (en) * 2015-05-20 2019-11-06 King Abdullah University of Science and Technology Pop-up virtual reality viewer for an electronic display such as in a mobile device
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
WO2018084082A1 (ja) * 2016-11-02 2018-05-11 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法
US10282909B2 (en) * 2017-03-23 2019-05-07 Htc Corporation Virtual reality system, operating method for mobile device, and non-transitory computer readable storage medium
DE102018201612A1 (de) * 2018-02-02 2019-08-08 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur Erzeugung eines Steuersignals, Markeranordnung und steuerbares System
EP3557380B1 (en) 2018-04-20 2024-07-03 Cadwalk Global Pty Ltd An arrangement for the relocating of virtual object images within a real non-electronic space
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
EP3588989A1 (en) * 2018-06-28 2020-01-01 Nokia Technologies Oy Audio processing
US11250641B2 (en) * 2019-02-08 2022-02-15 Dassault Systemes Solidworks Corporation System and methods for mating virtual objects to real-world environments
US10854016B1 (en) 2019-06-20 2020-12-01 Procore Technologies, Inc. Computer system and method for creating an augmented environment using QR tape
US20220317782A1 (en) * 2021-04-01 2022-10-06 Universal City Studios Llc Interactive environment with portable devices

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110023884B (zh) * 2016-11-25 2022-10-25 森索里克斯股份公司 可穿戴运动跟踪***
CN110023884A (zh) * 2016-11-25 2019-07-16 森索里克斯股份公司 可穿戴运动跟踪***
CN107045389A (zh) * 2017-04-14 2017-08-15 腾讯科技（深圳）有限公司 一种实现控制固定被控物的方法及装置
CN109069920A (zh) * 2017-08-16 2018-12-21 广东虚拟现实科技有限公司 手持式控制器、跟踪定位方法以及***
WO2019033322A1 (zh) * 2017-08-16 2019-02-21 广东虚拟现实科技有限公司 手持式控制器、跟踪定位方法以及***
CN109069920B (zh) * 2017-08-16 2022-04-01 广东虚拟现实科技有限公司 手持式控制器、跟踪定位方法以及***
CN109697002B (zh) * 2017-10-23 2021-07-16 腾讯科技（深圳）有限公司 一种在虚拟现实中对象编辑的方法、相关设备及***
CN109697002A (zh) * 2017-10-23 2019-04-30 腾讯科技（深圳）有限公司 一种在虚拟现实中对象编辑的方法、相关设备及***
CN112805660A (zh) * 2018-08-02 2021-05-14 萤火维度有限公司 用于人与虚拟对象交互的***和方法
CN112514411A (zh) * 2018-08-10 2021-03-16 索尼公司 将对象映射到虚拟空间中的位置的方法
US11656734B2 (en) 2018-08-10 2023-05-23 Sony Corporation Method for mapping an object to a location in virtual space
CN112514411B (zh) * 2018-08-10 2024-03-05 索尼公司 将对象映射到虚拟空间中的位置的方法、设备、计算机可读存储介质
CN110298889A (zh) * 2019-06-13 2019-10-01 高新兴科技集团股份有限公司 一种视频标签调节方法、***和设备
CN112241200A (zh) * 2019-07-17 2021-01-19 苹果公司 头戴式设备的对象跟踪

Also Published As

Publication number Publication date
US20160232713A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
CN106055090A (zh) 利用移动装置的虚拟现实和增强现实控制
US20160232715A1 (en) Virtual reality and augmented reality control with mobile devices
US9229540B2 (en) Deriving input from six degrees of freedom interfaces
US20160098095A1 (en) Deriving Input from Six Degrees of Freedom Interfaces
US11826636B2 (en) Depth sensing module and mobile device including the same
US9235934B2 (en) Computer interface employing a wearable article with an absolute pose detection component
US7826641B2 (en) Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
CN109313495A (zh) 融合惯性手持控制器与手动跟踪的六自由度混合现实输入
CN103347437B (zh) 3d映射环境中的凝视检测
CN102915112B (zh) 用于近距离动作跟踪的***和方法
CN107533369A (zh) 带有***装置的手套指尖的磁性跟踪
CN109643014A (zh) 头戴式显示器追踪
CN109313500A (zh) 纤细形状因子的无源光学和惯性跟踪
CN110168475A (zh) 将用户接口装置导入虚拟现实/增强现实的***
CN102193624A (zh) 用于基于姿势的用户界面的物理交互区
CN104995583A (zh) 用于混合现实环境的直接交互***
CN102959616A (zh) 自然交互的交互真实性增强
CN102622774A (zh) 起居室电影创建
JP7316282B2 (ja) 拡張現実のためのシステムおよび方法
CN106200985A (zh) 桌面型个人沉浸虚拟现实交互设备
CN109314775A (zh) 用于增强深度相机***的信噪比性能的***和方法
CN109255749A (zh) 自主和非自主平台中的地图构建优化
CN110140100A (zh) 三维增强现实对象用户界面功能
CN109564703A (zh) 信息处理装置、方法及计算机程序
Qian et al. Arnnotate: An augmented reality interface for collecting custom dataset of 3d hand-object interaction pose estimation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161026