CN108107592A - 虚拟现实***的校准 - Google Patents

虚拟现实***的校准 Download PDF

Info

Publication number
CN108107592A
CN108107592A CN201810054065.2A CN201810054065A CN108107592A CN 108107592 A CN108107592 A CN 108107592A CN 201810054065 A CN201810054065 A CN 201810054065A CN 108107592 A CN108107592 A CN 108107592A
Authority
CN
China
Prior art keywords
rigid body
locator
helmets
image
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810054065.2A
Other languages
English (en)
Other versions
CN108107592B (zh
Inventor
多夫·卡茨
乔纳森·夏因
罗宾·米勒
马克西姆·卡采夫
尼尔·康岑
史蒂文·拉瓦列
迈克尔·安东诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Oculus VR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oculus VR Inc filed Critical Oculus VR Inc
Publication of CN108107592A publication Critical patent/CN108107592A/zh
Application granted granted Critical
Publication of CN108107592B publication Critical patent/CN108107592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了虚拟现实***的校准。虚拟现实(VR)操纵台从成像设备接收慢速校准数据并从包括前刚体和后刚体的VR头盔上的惯性测量单元接收快速校准数据。慢速校准数据包括仅后刚体上的***可见的图像。从慢速校准数据确定观察位置并从快速校准数据确定预测位置。如果观察位置与预测位置之间的差值大于阈值，则通过临时偏移调整预测位置直至差值小于阈值。一旦前刚体和后刚体两者上的***在慢速校准数据中的图像中均可见，通过将后刚体对前刚体重新校准来移除临时偏移。

Description

虚拟现实***的校准
本申请是分案申请，其母案申请的申请号为201580003318.8，申请日为2015年1月6日，发明名称为“虚拟现实***的校准”。
技术领域
本公开总体涉及校准***，并且更具体地，涉及校准虚拟现实***。
背景技术
运动跟踪是在很多设备中已解决的老问题。实例包括全球定位***、飞行器雷达***、机器人***、以及家庭娱乐***。在最后一种情况下，现有的设备跟踪游戏控制器或与游戏交互的人的运动。
几个重要的特性决定感测的类型及最适合的计算硬件：1)刚体的尺寸，2)在刚体上可以移动的空间的体积，3)对身体的速度和加速度的最大速率的限制，4)刚体的可预测性。
在运动跟踪***中，通常要求在相对小的空间(通常在固定的室内中)时跟踪与人体保持接触的设备的运动，但是这不是必须的。更具体地，意图是当用户头部佩戴头戴式显示器时跟踪头部的运动，以便达到虚拟现实和增强现实的目的。这就导致对***的性能要求非常严格。例如，对于虚拟现实，位置和方向上的误差会引起不良体验，因为用户不会感觉真正置身其中。此外，在看显示器时通过人类前庭***提供至大脑的信号与通过人类视觉***提供至大脑的信号之间可能会不匹配。
该示例性使用案例暗示可以在空间的体积上进行的运动存在限制。此外限制了从人体运动诱发的那些运动的速度和加速度；然而，运动通常无法预测也是至关重要的。此外，由于人体运动运动的复杂度及其与其他刚体的交互很难对支配运动的物理进行建模。
虚拟现实(VR)设备包括用于确定用户所佩带的头盔的位置和移动的部件。这些部件需要在各种时间进行校准，最初是由于制造公差然后是由于***的正常使用。不准确地操作校准的VR设备可能会导致头盔的位置或运动的不正确的跟踪，从而引起用户运动和经由头盔向用户呈现的媒体之间的不协调。此外，确定头盔位置和移动的一个或多个组件会随着时间或使用而失去校准。例如，温度或振动的变化会引起对头盔的运动进行成像的照相机失去校准。
发明内容
虚拟现实(VR)***的VR头盔包括前刚体和后刚体，它们非刚性地联接在一起。例如，前刚体通过弹性头带联接至后刚体，因此在前刚体远离VR***中所包含的成像设备定向时，VR***继续检测佩带VR头盔的实体的移动。前刚体和后刚体两者都包括用于跟踪VR头盔的位置的***。***是相对于VR头盔的一个或多个部件(诸如另一***)并相对于VR头盔上的参考点位于VR头盔上的特定位置的对象。由于前刚体与后刚体之间的关系不必固定，因此VR***可能失去前刚体相对于后刚体而言的位置的跟踪，从而导致VR***重新校准以重新获得跟踪VR头盔。在一些实施方式中，VR操纵台使用快速校准数据和通过偏移值调整的位置向量，确定在仅包括来自后刚体的***的慢速校准数据中的图像的特定图像时间值之后的时间内的后刚体的后续预测位置，直至前刚体至后刚体之间能够发生重新校准。
当失去前刚体的位置或后刚体的位置的跟踪时，VR***重新校准其自身。例如，VR***基于后体上的***的估计位置与由第一刚体内的惯性测量单元(IMU)根据来自第一刚体中包含的一个或多个位置传感器(例如，加速计、陀螺仪)的数据确定的前刚体上的参考点的中间估计位置之间的测量差，确定何时进行重新校准。参考点的中间估计位置是从快速校准数据确定的位置并且可能与和图像相关联的时间相关联，或者与和图像相关联的时间及与来自慢速校准数据的后续图像相关联的时间之间的时间相关联。
对虚拟现实(VR)***的部件进行校准，以保持跟踪与VR***相关联的VR头盔。VR***使用从成像设备接收的慢速校准数据和从VR头盔中所包含的内部测量单元(IMU)接收的快速校准数据，用于校准。在一些实施方式中，可以通过最初将一个或多个缺省参数应用于部件，对VR***的部件进行校准。基于缺省参数，VR***通过识别与VR头盔上所包含的一个或多个***相关联的位置来跟踪VR头盔的移动。***是相对于VR头盔的一个或多个部件(诸如另一***)并相对于VR头盔上的参考点位于VR头盔上的特定位置的对象。在一些实施方式中，VR头盔包括非刚性彼此联接的两个刚体，且刚体中每一个上所包含的***用于跟踪用户头部的位置与方位。VR***调整一个或多个校准参数直至一个或多个***的估计位置与一个或多个***的观察位置之间差值小于阈值。
在一些实施方式中，VR***包括接收慢速校准数据的VR操纵台，慢速校准数据包括来自成像设备的示出VR头盔上的多个***的部分的一系列图像。每个图像通过图像时间值与系列中的后续图像分离。此外，VR操纵台从VR头盔中所包含的IMU中接收快速校准数据，快速校准数据包括VR头盔上的参考点的一个或多个中间位置。参考点的中间估计位置是从快速校准数据确定的位置并且可能与和图像相关联的时间相关联，或者与和图像相关联的时间及来自慢速校准数据的后续图像相关联的时间之间的时间相关联。IMU基于从VR头盔中所包含的一个或多个位置传感器(例如，加速计、陀螺仪)的数据确定参考点的中间估计位置。每个中间估计位置与后续中间估计位置相隔了位置时间值，该位置时间值小于图像时间值。
在一些实施方式中，VR***中所包含的VR操纵台接收慢速校准数据，慢速校准数据包括来自成像设备的以图像时间值拍摄的VR头盔的一系列图像。该系列图像中至少一个图像仅包括后刚体上的***并且与特定图像时间值相关联。此外，VR操纵台从IMU接收快速校准数据，包括根据VR头盔的前刚体中所包含的一个或多个位置传感器所确定的VR头盔的前刚体的参考点的一个或多个中间估计位置。VR操纵台使用慢速校准数据确定对于特定图像时间值的后刚体的观察位置，并且使用快速校准数据以及描述前刚体与后刚体之间的校准偏移的位置向量确定针对与图像相关联的图像时间值的后刚体的预测位置，该图像包括仅来自VR头盔的后刚体的***。
VR操纵台确定后刚体的观察位置与后刚体的预测位置之间的差值。如果差值大于阈值，VR操纵台通过临时偏置值调整后刚体的预测位置，从而后刚体的观察位置与后刚体的预测位置之间的差值小于阈值。在一些实施方式中，VR操纵台使用快速校准数据和通过偏移值调整的位置向量确定在慢速校准数据中仅包括来自后刚体的***的图像的特定图像时间值之后的时间内的后刚体的后续预测位置，直至前刚体与后刚体之间能够进行重新校准。
重新校准使用来自慢速校准数据的至少一个图像，其具有在仅包括后刚体上的***的图像的特定时间之后的时间并且包括前刚体上的至少前阈值数量的观察***和后刚体上的后阈值数量的***。VR操纵台使用VR头盔的头盔模型识别与来自慢速校准数据中的图像的观察的***对应的模型***。例如，VR操纵台从慢速校准数据中的图像提取***信息，***信息描述给定图像中VR头盔上的观察的***相对于彼此的位置。在来自慢速校准数据的图像的至少一个中，VR操纵台识别与前刚体和后刚体两者上的观察的***对应的模型***。VR操纵台将***信息与头盔模型进行比较，以识别与观察的***对应的模型***。
基于***信息，VR操纵台使用头盔模型生成针对观察的***的估计位置。例如，VR操纵台使用头盔模型和识别所观察的***的位置的信息，以确定用于将(通过头盔模型描述的)理想的位置转换至成像设备的(通过观察的***的图像描述的)图像平面上的位置的投影矩阵。VR操纵台使用投影矩阵估计所观察的***的位置。VR操纵台使用投影矩阵估计所观察的地点的估计位置，并且调整一个或多个校准参数以调整前刚体上的所观察的***的一个或多个估计位置，直至前刚体上的观察的***的调整的估计位置与它们通过头盔模型观察的位置确定的对应的位置之间的相对距离小于阈值。相似地，VR操纵台确定后刚体上观察的***的估计位置并且如上所述调整后刚体上的观察的地点的估计位置。基于所观察的第一刚体上的***的调整的估计位置，VR操纵台确定针对来自慢速校准数据的一个或多个图像的第一刚体的参考点的校准位置。
VR操纵台确定后刚体相对于第一刚体的参考点的位置。例如，VR操纵台使用后刚体上观察的***的调整的估计位置，识别后刚体上的后参考点。VR操纵台然后识别后参考点相对于前刚体上的参考点的位置。在可替换实施方式中，VR操纵台识别后刚体上的每个观察的***相对于前刚体上的参考点的位置。VR操纵台另外调整一个或多个校准参数，从而前刚体上的参考点和/或后参考点的中间估计位置在根据来自慢速校准数据的(例如，经由曲线拟合)前刚体上的参考点的校准位置和/或后参考点的校准位置确定的前刚体上的参考点和后参考点的预测位置的阈值内。
不同于使用多个照相机，VR***的实施方式通过仅使用单个照相机提供了高度精确跟踪，并且通过主体的表面上多个良好分隔的LED实现高准确度。调制方法解决了允许唯一地识别每个LED，从而产生对遮挡和来自附近光源的干扰更鲁棒的***。此外，与数字硬件结合的调制方法降低功耗，原因在于只有当照相机快门打开时才为LED供电。
VR***解决了头戴式显示器或其他物体(诸如，游戏控制器)的跟踪问题，且性能的水平适合于虚拟和增强现实，而同时与现有技术相比显著地减小经济和逻辑需求。
附图说明
图1是根据实施方式虚拟现实操纵台运行的***环境的框图。
图2A是根据实施方式的虚拟现实头盔的布线图。
图2B是根据实施方式的包括前刚体和后刚体的虚拟现实头盔的布线图。
图3是根据实施方式的虚拟现实操纵台的跟踪模块的框图。
图4是根据实施方式用于校准虚拟现实***的方法的流程图。
图5是根据实施方式用于重新建立虚拟现实***中所包含的虚拟现实头盔中的两个刚体之间的校准的方法的流程图。
图6是根据实施方式用于保持虚拟现实***中所包含的虚拟现实头盔中的两个刚体之间的位置关系的方法的流程图。
图7是示出了根据实施方式的虚拟现实头盔的一系列校准位置的示例图。
图8是位置跟踪***的示例性简要图。
图9示出了所观察的亮点和预测突起的实例。
图10示出了姿势优化的实例。
附图仅为了说明的目的描述了本公开内容的实施方式。本领域技术人员从下列描述中容易认识到，在不背离此处所描述的本公开内容的原理或推崇的益处的情况下，可以采用本发明中所示出的结构和方法的替代实施方式。
具体实施方式
***架构
图1是VR操纵台110在其中运行的虚拟现实(VR)***环境100的一个实施方式的框图。图1中示出的***环境100包括各自耦接至VR操纵台110的VR头盔105、成像设备135、以及VR输入接口140。虽然图1示出了包括一个VR头盔105、一个成像设备135、以及一个VR输入接口140的示例性***100，但在其他实施方式中，***100中可以包含任意数量的这些部件。例如，可能存在各自具有相关联的VR输入接口140并由一个或多个成像设备135监测的多个VR头盔105，且每个VR头盔105、VR输入接口140、以及成像设备135与VR操纵台110通信。在可替换配置中，***环境100中可以包括不同的和/或附加部件。
VR头盔105是向用户呈现媒体的头戴式显示器。由VR头盔呈现的媒体的实例包括一个或多个图像、视频、音频、或它们的组合。在一些实施方式中，经由从VR头盔105、VR操纵台110、或两者接收音频信息并且基于音频信息呈现音频数据的外部设备(例如，扬声器和/或听筒)呈现音频。下面结合图2A和图2B进一步描述了VR头盔105的示例性实施方式。
在各种实施方式中，VR头盔105可包括一个或多个刚体，刚体可以刚性或非刚性地彼此联接。刚体之间的刚性联接使得联接的刚体起单个刚性实体的作用。与此相反，刚体之间的非刚性联接允许刚体彼此相对移动。下面结合图2B进一步描述包括非刚性联接在一起的两个刚体的VR头盔105的实施方式。
VR头盔105包括电子显示器115、一个或多个***120、一个或多个位置传感器125、以及惯性测量单元(IMU)130。电子显示器115根据从VR操纵台110接收的数据向用户显示图像。在各种实施方式中，电子显示器115可包括单个电子显示器或多个电子显示器(例如，用于用户的每个眼睛的显示器)。电子显示器115的实例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、一些其他显示器、或某种组合。此外，电子显示器115可与校正一种或多种类型的光学误差(例如，场曲、散光、桶形失真、枕形失真、色差、色差等)的一个或多个光学部件相关联。在一些实施方式中，对提供至电子显示器115以呈现给用户的媒体进行预失真，以帮助校正一种或多种类型的光学误差。此外，光学部件可以通过放大或者通过另一合适的方法增大所显示媒体的视野。例如，所显示的媒体的视野为使得使用几乎所有的(例如，110度对角线)并且在一些情况下用户的全部视野呈现所显示的媒体。
***120是相对于彼此并且相对于VR头盔105上的特定参考点定位在VR头盔105上的特定位置的对象。***120可以是发光二极管(LED)、隅角立方体反射器、反射标记、与VR头盔105运行的环境形成对比的一种类型的光源、或它们的组合。在实施方式中，其中***120是有源的(即，LED或其他类型的发光器件)，***120可以在可见频带(～380nm至750nm)、在红外(IR)频带(～750nm至1nm)、在紫外线频带(10nm至380nm)、电磁光谱的某个其他部分、或其某种组合中发光。
在一些实施方式中，***位于VR头盔105的外表面之下，其对***120发射或反射的光的波长是透明的或者薄到足以基本上不会减弱***120发射或反射的光的波长。此外，在一些实施方式中，VR头盔105的外表面或其他部分在可见频带中是不透明的。因此，***120可以在作为在IR频带中透明但在可见频带中不透明的外表面下方，在IR频带中发射光。
IMU 130是基于从一个或多个位置传感器125接收的测量信号生成快速校准数据的电子设备。位置传感器125响应于VR头盔105的运动生成一个或多个测量信号。位置传感器125的实例包括：一个或多个加速计、一个或多个陀螺仪、一个或多个磁力仪、或者任何其他合适的类型的传感器、或其某种组合。位置传感器125可以位于IMU 130的外部、IMU 130的内部、或其某种组合。
基于来自一个或多个位置传感器125的一个或多个测量信号，IMU130生成表示相对于VR头盔105的初始位置而言VR头盔105的估计位置的快速校准数据。例如，位置传感器125包括多个加速计以测量转换运动(前/后、上/下、左/右)和多个陀螺仪以测量旋转运动(例如，倾斜、偏转、滚动)。在一些实施方式中，IMU 130对测量信号进行快速采样并且根据采样数据计算VR头盔105的估计位置。例如，IMU 130在时间上对于从加速计接收的测量信号进行积分以估计速度矢量并且在时间上对速度矢量进行积分以确定VR头盔105上的参考点的估计位置(例如，中间估计位置)。替换地，IMU 130将采样测量信号提供至VR操纵台110，VR操纵台确定快速校准数据。参考点是可以用于描述VR头盔105的位置的点。虽然参考点通常可以定义为空间中的点；然而，实际上参考点被定义为VR头盔105内的点(例如，IMU130的中心)。
IMU 130从VR操纵台110接收一个或多个校准参数。如以下进一步讨论的，一个或多个校准参数用于保持对VR头盔105的跟踪。基于所接收的校准参数(例如，IMU参数)，IMU130可以调整其操作(例如，改变采样率等)。在一些实施方式中，如以下进一步描述的，某些校准参数使IMU 130将VR头盔105的估计位置偏移，从而对于在只有VR头盔105的某个部分对成像设备135可见时可能出现的位置误差进行更正。在一些实施方式中，某些校准参数使IMU 130更新参考点的初始位置，从而其对应于参考点的下一校准位置。更新参考点的初始位置作为参考点的下一个校准位置有助于减少与所确定的估计位置相关联的累积误差。累积误差，也称为漂移误差，使参考点的估计位置随着时间“漂移”远离参考点的实际位置。
成像设备135根据从VR操纵台110接收的校准参数生成慢速校准数据。慢速校准数据包括示出由成像设备135可检测的***120的观察的位置的一个或多个图像。成像设备135可以包括一个或多个照相机、一个或多个摄像机、能够捕获包括一个或多个***120的图像的任何其他设备、或其某种组合。此外，成像设备135可以包括一个或多个滤波器(例如，用于增大信噪比)。成像设备135被配置为在成像设备135的视野中检测从***120发射或反射的光。在***120包括无源元件(例如，后向反射器)的实施方式中，成像设备135可以包括照亮一些或全部***120的光源，***向成像设备135中的光源反向反射光。慢速校准数据从成像设备135传送至VR操纵台110。成像设备135从VR操纵台110接收一个或多个校准参数，并且可以基于校准参数调整一个或多个成像参数(例如，焦距、焦点、帧速率、ISO、传感器温度、快门速度、光圈等)。
VR输入接口140是允许用户向VR操纵台110发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用或在应用内执行特定动作。VR输入接口140可以包括一个或多个输入设备。示例性输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将所接收的动作请求传送至VR操纵台110的任何其他合适的设备。由VR输入接口140接收的动作请求被传送至VR操纵台110，VR操纵台执行对应于动作请求的动作。在一些实施方式中，VR输入接口140可以根据从VR操纵台110接收的指令向用户提供触觉反馈。例如，当接收动作请求时提供触觉反馈，或者VR操纵台110将指令传送至VR输入接口140使得当VR操纵台110执行动作时VR输入接口140生成触觉反馈。
VR操纵台110根据从成像设备135、VR头盔105、以及VR输入接口140中的一个或多个接收的信息向VR头盔105提供媒体以呈现给用户。在图1中示出的实例中，VR操纵台110包括媒体存储器145、跟踪模块150、以及虚拟现实(VR)引擎155。VR操纵台110的一些实施方式具有与结合图1描述的那些模块不同的模块。相似地，可以以与这里描述的方式不同的方式在VR操纵台110的部件中分配下面进一步描述的功能。
应用存储器145存储由VR操纵台110执行的一个或多个应用。应用是当被处理器执行时生成媒体以呈现给用户的一组指令。由应用生成的媒体可以响应于经由HR头盔105或VR接口设备140的移动从用户接收的输入。应用的实例包括游戏应用、会议应用、视频播放应用、或其他合适的应用。
跟踪模块150使用一个或多个校准参数校准***环境100。如以下结合图3至图5进一步描述的，跟踪模块150可以调整一个或多个校准参数以减少确定VR头盔105的位置的误差。例如，跟踪模块150调整成像设备135的焦点以获得针对VR头盔105上观察的***的更精确的位置。此外，由跟踪模块150执行的校准还考虑了从IMU 130接收的信息。此外，如以下结合图4和图5更详细地论述的，如果丢失对于VR头盔105的跟踪(例如，成像设备135丢失至少阈值数量的***120的视线)，则跟踪模块140重新校准一部分或全部***环境100。如本文中使用的，“跟踪丢失”可以泛指成像设备135或IMU 130的校准丢失，VR头盔105中的一种或多种刚体的相对位置丢失、VR头盔105相对于成像设备135的位置丢失、或其某种组合。
***环境100的重新校准通常对用户是透明的。在一些实施方式中，跟踪模块150可以提示用户将VR头盔105移动至VR头盔105的一侧或多侧对于成像设备135可见的方位。例如，跟踪模块150提示用户向上看、向下看、向左看、向右看、或看向另一特定方向，这样VR头盔105的一侧或多侧对于成像设备135可见。一旦由成像设备135对VR头盔105上阈值数量的***120进行成像，跟踪模块150重新建立校准。在一些实施方式中，跟踪模块150可以连续校准***环境100或者以周期性间隔校准***环境100以保持精确跟踪VR头盔105。
跟踪模块150可以校准***环境100，***环境包括VR头盔105，VR头盔包括一个或多个刚体(例如，参见图2A和图2B)。此外，如以下结合图3和图5进一步描述的，校准可以考虑包括非刚性联接的(例如，经由弹力带联接在一起)两个刚体的VR头盔105。两个刚体可以是放置在用户的眼睛前方的包括IMU 130的前刚体，和放置在用户的头的后面的后刚体。前刚体和后刚体的这种配置允许用户相对于成像设备135转动360度。然而，由于前刚体与后刚体之间的关系不是必须固定的，***环境100可能失去前刚体相对于后刚体而言的位置的校准。此外，如以下参照图6详细地论述的，在一些实施方式中，如果失去在VR头盔105中的多个刚体之间的跟踪，则跟踪模块150可以偏移刚体的位置直至可以进行重新校准。在这些情况下，在一些实施方式中，跟踪模块150可以确定对于VR头盔105的中间估计位置的偏移值并且将其作为校准参数提供至IMU 130。可替换地，跟踪模块150可以通过偏移值调整描述前刚体与后刚体的相对位置的位置向量。在一些实施方式中，跟踪模块150基于由后刚体上的***120表示的移动与使用从IMU 130接收的快速校准数据预测的移动之间所测量的差值，确定何时进行重新校准。跟踪模块150使用包括一个或多个图像的慢速校准数据重新校准，该一个或多个图像包括在前刚体上的***120和后刚体上的***。
此外，跟踪模块150使用来自成像设备13的慢速校准数据跟踪VR头盔105的移动。如以下结合图3进一步所描述的，跟踪模块150使用从慢速校准数据所观察的***和VR头盔105的模型确定VR头盔105的参考点的位置。跟踪模块150还使用来自快速校准数据的位置信息确定VR头盔105的参考点的位置。此外，在一些实施方式中，跟踪模块150可以使用快速校准数据一部分、慢速校准数据的一部分、或其某种组合，以预测头盔105的未来位置。跟踪模块150将VR头盔105的估计或预测未来位置提供至VR引擎155。
VR引擎155在***环境内执行应用并且从跟踪模块150接收VR头盔105的位置信息、加速度信息、速度信息、预测未来位置、或其某种组合。基于所接收的信息，VR引擎155确定提供至VR头盔105的媒体以呈现给用户。例如，如果所接收的信息表示用户已向左看，VR引擎155生成用于VR头盔105的在虚拟环境中镜像用户的移动的媒体。此外，VR引擎155响应于从VR输入接口140接收的动作请求在VR操纵台110上执行的应用内执行动作并且将该动作被执行的反馈提供至用户。所提供的反馈可以是经由VR头盔105的视觉反馈或听觉反馈或者2016-6-16经由VR输入接口140的触觉反馈。
图2A是虚拟现实头盔的一个实施方式的布线图。VR头盔200是VR头盔105的实施方式并且包括前刚体205和带210。前刚体205包括电子显示器115(未示出)、IMU 130、一个或多个位置传感器125、以及***120。在图2A示出的实施方式中，位置传感器125位于IMU130内，并且用户既看不到位置传感器125也看不到IMU 130。
***120相对于彼此并且相对于参考点215位于前刚体205上的固定位置。在图2A的实例中，参考点215位于IMU 130的中心。各个***120发射成像设备135可检测到的光。在图2A的实例中，***120、或***120的一部分位于前刚体205的前侧220A、顶侧220B、底侧220C、右侧220D、及左侧220E。
图2B是包括前刚体205和后刚体230的VR头盔225的实施方式的布线图。图2B中示出的VR头盔225是前刚体205和后刚体230经由带210被联接在一起的VR头盔105的实施方式。带210是非刚性(例如，弹性的)，因此前刚体205未刚性联接至后刚体210。因此，后刚体230可以相对于前刚体205移动，并且具体地，相对于参考点215移动。如以下结合图3和图5进一步论述的，即使前刚体205对于成像设备135不可见，后刚体230允许VR操纵台110保持跟踪VR头盔105。后刚体230上的***120相对于彼此并且相对于前刚体205上的参考点215位于固定位置中。在图2B的实例中，后刚体230上的一个或多个***120或者***120的一部分位于后刚体230的前侧235A、顶侧235B、底侧235C、右侧235D、以及左侧235E。
图3是包含在VR操纵台110中的跟踪模块150的一个实施方式的框图。跟踪模块150的一些实施方式具有与本文中描述的那些模块不同的模块。类似地，结合图3描述的功能可以用与文中描述的方式不同的方式在部件中分配。在图3的实例中，跟踪模块150包括跟踪数据库310、初始化模块320、估计模块330、参数调整模块340、以及监测模块350。
跟踪数据库310存储由跟踪模块150跟踪一个或多个VR头盔105所使用的信息。例如，跟踪数据库310存储一个或多个头盔模型、一个或多个校准参数值、或者任何其他合适的信息以跟踪VR头盔105。如以上针对图1进行的参考，头盔模型描述各个***120相对于彼此以及参考点215的理想位置。每个***120与头盔模型中的对应模型***相关联；因此对应于***120的模型***描述了根据头盔模型的***120的理想位置。此外，头盔模型可以包括描述***的或者参考点215的模型位置的变化信息，作为不同的校准参数的函数。在一些实施方式中，头盔模型可以描述后刚体230上的***120相对于彼此的模型位置，描述后刚体230的位置的后参考点的模型位置、后参考点相对于前刚体205上的参考点215的默认位置、后刚体230上的***120的模型位置相对于参考点215的默认位置、或其某种组合。
校准参数是可以调整以影响VR头盔105的校准的参数。示例性校准参数包括成像参数、IMU参数、或其某种组合。成像参数和IMU参数可以包括在校准参数中。成像参数的实例包括：焦距、焦点、帧速率、ISO、快门速度、光圈、照相机方位、源触发(在实施方式中，其中成像设备135使用源来照亮反射***120)、成像传感器相对于成像设备135的透镜中心的偏移、透镜畸变参数、传感器温度、或者成像设备135用于输出慢速校准数据的任何其他参数。IMU参数是控制快速校准数据的收集的参数。IMU参数的实例包括：来自位置传感器125的一个或多个测量信号的采样率、快速校准数据的输出率、由IMU 130用于生成快速校准数据的其他合适的参数、为IMU 130接通电源或断开电源的命令、将初始位置更新至参考点的当前位置的命令、偏移信息(例如，位置偏移的信息)、或者任何其他合适的信息。
初始化模块320使用来自跟踪数据库310的信息(诸如从跟踪数据库310检索的校准参数)初始化***环境100。在***环境100先前未被校准的实施方式中，从跟踪数据库310中检索默认校准参数。如果先前校准了***环境100，可以从跟踪数据库310检索经调整的校准参数。初始化模块320将检索到的校准参数提供至IMU 130和/或成像设备130。
估计模块330从VR头盔105和/或从IMU 130接收慢速校准数据和/或快速校准数据。以慢数据速率(例如，20Hz)从成像设备135接收慢速校准数据。与此相反，以显著地比接收慢速校准数据的数据速率快的数据速率(例如，200Hz或更大)从IMU 130接收快速校准数据。因此，快速校准数据可以用于确定慢速校准数据中所包含的VR头盔105的图像之间的VR头盔105的位置信息。
使用来自跟踪数据库310的头盔模型和来自成像设备135的慢速校准数据，估计模块330识别与从成像设备135捕获的图像中识别的VR头盔135上的一个或多个***对应的模型***。估计模块330从慢速校准数据中的图像提取***信息，***信息描述所观察的***120在给定图像中相对于彼此的位置。对于给定图像，***信息描述了图像中观察的***120之间的相对位置。例如，如果图像示出了观察的***A、B、及C，则***信息包括描述A与B、A与C、以及B与C之间的相对距离的数据。如上所述，头盔模型包括用于VR头盔105上的***的一个或多个模型位置。估计模型330将观察的***120的相对位置与模型***的相对位置进行比较，以确定VR头盔105上观察的***120与来自头盔模型的模型***之间的对应。在对包括多个刚体的VR头盔225进行校准的实施方式中，从慢速校准数据的至少一个图像中识别与前刚体205和后刚体230两者上观察的***对应的模型***。
此外，基于头盔模型和描述模型***和观察的***120的信息，估计模块330生成针对所观察的***120的估计位置。估计模块330基于头盔模型和描述模型***和所观察的***120的信息确定投影矩阵。投影矩阵是数学构造，该数学构造将通过头盔模型描述的***120的理想位置转换至通过成像设备135的所观察的***120的图像描述的图像平面上的位置。因此，估计模块330使用投影矩阵和在头盔模型中描述的模型***的位置估计所观察的***120的位置。一个或多个校准参数可以应用于投影矩阵，因此对一个或多个校准参数的调整更改所观察的***120的估计位置。
估计模块330还从快速校准数据中提取中间位置信息、中间速度信息、中间加速度信息、或者其某种组合。由于与慢速校准数据相比，更频繁地接收快速校准数据，因此从快速校准数据中提取的信息允许估计模块330确定针对来自慢速校准数据的图像之间的时间间隔的位置信息、速度信息、或者加速度信息。中间估计位置信息(例如，中间估计位置)描述了在与来自慢速校准数据的图像相关联的时间、或者与来自慢速校准数据的图像相关联的时间和后续图像相关联的时间之间的时间处的参考点215的位置。中间速度信息描述了在与图像相关联的时间和与来自慢速校准数据的后续图像相关联的时间之间的时间处与参考点215相关联的速度矢量。中间加速度信息描述了在与来自慢速校准数据的图像相关联的时间和与后续图像相关联的时间之间的时间处、与参考点215相关联的加速度矢量。在一些实施方式中，估计模块330被配置为使用中间加速度信息或从中间速度信息获得中间估计位置信息。估计模块330将中间位置提供至参数调整模块340。
参数调整模块340调整一个或多个校准参数以调整估计位置直至观察的***120的经调整的估计位置与它们对应的模型***的位置之间的相对距离小于阈值。如果观察的***120的估计位置与其对应的模型***的位置之间的相对距离等于或超过阈值(例如，1mm)，参数调整模块340调整一个或多个校准参数(例如，成像参数)直至相对距离小于该阈值。例如，参数调整模块340更改一个校准参数同时使其他校准参数保持固定，以确定所修改的校准参数的值导致小于观察的***120的估计位置与其对应的模型***的位置之间的阈值距离。参数调整模块340然后可以固定该校准参数至所确定的值并且重复修改单独校准参数的值的过程同时使其他校准参数保持为恒定值，直至至少阈值数量的所观察的***120的经调整估计位置与它们对应的模型***的位置之间的相对距离小于阈值。使用观察的***120的经调整估计位置，参数调整模块340生成针对慢速校准数据的一个或多个帧的参考点215的校准位置。
在VR头盔105(例如，VR头盔225)包括两个刚体的实施方式中，参数调整模块340确定后刚体230相对于前刚体205上的参考点215的位置。在一些实施方式中，参数调整模块340使用后刚体230上的观察的***120和它们对应的模型***识别后刚体230上的后参考点。参数调整模块340然后识别后参考点相对于前刚体205上的参考点215的位置。替换地，VR操纵台110识别后刚体230上的所观察的各个***120相对于前刚体205上的参考点215的位置。在一些实施方式中，响应于确定对每个刚体205、230的一侧或多侧的阈值数量的***(观察的***)成像或者对每个刚体205、230的所有侧的阈值数量的***(观察的***)成像，参数调整模块340生成参考点215的校准位置。例如，在刚体205、230一侧上成像的***的阈值数量大于或等于零。如果未对阈值数量的***成像，参数调整模块340可以经由VR头盔105或经由另一合适的部件提示用户相对于成像设备135在具体方向上定向VR头盔105或者继续移动VR头盔105直至阈值数量的***被成像。
参数调整模块340还确定预测函数(其预测参考点215的位置)并且调整一个或多个校准参数直至来自快速校准数据的参考点215的中间估计位置在参考点215的预测位置的阈值内。例如，通过对一系列校准位置的曲线进行拟合生成预测函数。参数调整模块340然后调整一个或多个校准参数直至参考点215的中间估计位置与参考点215的预测位置之间的距离小于阈值。例如，参数调整模块340可以增大IMU 140的采样率直至参考点215的中间估计位置与参考点215的预测位置之间的距离是1mm以下。在其他实施方式中，参数调整模块340调整一个或多个校准参数，从而每个中间估计位置与和图像相关联的参考点215的校准位置(例如，CP1)之间的距离小于与图像相关联的参考点215的校准位置(例如，CP1)和与后续图像相关联的参考点215的校准位置(例如，CP2)之间的距离值。
在一些实施方式中，参数调整模块340将IMU 130的初始位置更新为参考点215的下一校准位置。如以上结合图1并在下文结合图6所讨论的，IMU 130相对于由IMU 130先前确定的参考点215的位置收集快速校准数据。因此，在没有将初始位置更新为校准位置的情况下，IMU 130收集数据越长，漂移误差增大。参数调整模块340将中间估计位置与更新阈值进行比较。如果一个或多个中间估计位置超过更新阈值，参数调整模块340将指令传送至IMU 130以将初始位置更新为与下一校准位置相关联的位置。替换地，在确定校准位置之后，参数调整模块340指示IMU 130将初始位置更新为确定的校准位置。参数调整模块340将针对所调整的校准参数的值存储在跟踪数据库310中并且还可以将所调整的校准参数提供至VR操纵台110中的其他部件。
针对失去校准，监测模块350监测***环境100。在各种实施方式中，监测模块350监测所观察的***120的经调整的估计位置与它们对应的模型***的位置之间的相对距离。如果观察的***的经调整估计位置与其对应模型***的位置之间的相对距离小于阈值(例如，1mm)，则监测模块350将根据所观察的***120的位置确定的参考点215的校准位置提供至VR引擎155。与此相反，如果观察的***与其对应的模型***之间的相对距离大于阈值(例如，1mm)，则监测模块350确定失去校准并且提示参数调整模块340重新校准***环境100。
为了监测由参数调整模块340确定的中间估计位置与它们对应的预测位置之间的相对距离。如果预测位置与其对应中间估计位置之间的距离小于阈值(例如，1mm)，监测模块350将中间估计位置提供至VR引擎155。在一些实施方式中，监测模块350还可以将从快速校准数据提取的中间速度信息或中间加速度信息提供至VR引擎155。与此相反，如果预测位置与其对应中间估计位置之间的距离大于阈值，监测模块350确定失去校准并且使***环境100重新建立校准。
在一些情况下，后刚体230上的***120仅对成像设备135可见。当只有后刚体230上的***120对成像设备135可见，在一些实施方式中，如果后刚体230的(例如，从后刚体230上的观察的***120生成的)估计位置与后刚体230的(例如，可以使用快速校准数据生成的)预测位置之间的差值大于阈值，则监测模块350确定已失去校准并且使***环境100重新建立校准。此外，如果后刚体230的估计位置与后刚体230的预测位置之间的差值大于阈值，VR操纵台110通过临时偏移值调整后刚体230的预测位置从而后刚体230的估计位置与后刚体230的预测位置之间的差值小于阈值。监测模块350然后可以使用临时偏移值(或随后生成的临时偏移值)以更准确地预测后刚体230的位置，直至可以在前刚体205与后刚体230之间进行重新校准。替换地，如果后刚体230上的***120相对于参考点215的估计位置与它们对应的模型***相对于参考点215的位置之间的差值大于阈值，监测模块350确定已失去校准并且使***环境100重新建立校准。在一些实施方式中，当慢速校准数据包括含有前刚体205上的阈值数量的***和后刚体230上的阈值数量的***图像时，跟踪模块150开始重新校准。此外，在一些实施方式中，一旦失去跟踪，监测模块350自动提示用户调整VR头盔105使得前刚体205以及后刚体230上的***都可见。
校准虚拟现实***
图4是用于校准VR***的过程的一个实施方式的流程图，VR***诸如是以上结合图1描述的***环境100。在其他实施方式中，过程包括与图4描述的那些步骤不同的、附加的、或更少的步骤。此外，在一些实施方式中，可以不同的顺序执行结合图4描述的步骤。
VR操纵台110使用一个或多个校准参数来初始化410***环境。例如，VR操纵台110从跟踪数据库310检索与VR头盔105相关联的一个或多个校准参数。在一些实施方式中，如果先前针对特定VR头盔105校准成像设备135或IMU 130，VR操纵台110从跟踪数据库310检索经调整的校准参数。如果先前没有对VR头盔105校准成像设备135或IMU130，VR操纵台110从跟踪数据库310检索默认校准参数。VR操纵台110将校准参数提供至IMU 130或成像设备135。
VR操纵台110从成像设备135接收420慢速校准数据并从IMU 130接收快速校准数据。慢速校准数据包括一系列图像，该一系列图像包括VR头盔105上的一个或多个***120。来自慢速校准数据的图像中包含的***120在本文中称为“所观察的***”。快速校准数据可以包括参考点215(例如，IMU 130的中心)的一个或多个中间估计位置。在其他实施方式中，快速校准数据包括中间加速度信息和/或中间速度信息，VR操纵台110从该中间加速度信息和/或中间速度信息中确定参考点215的一个或多个中间估计位置。
至少部分基于慢速校准数据和头盔模型，VR操纵台110识别430模型***，该模型***是头盔模型中的***。VR操纵台110从慢速校准数据中提取描述所观察的***120相对于彼此的位置的***信息并且将***信息与从跟踪数据库310检索的头盔模型进行比较，以识别430对应于所观察的***的模型***。模型***是头盔模型的部件，因此识别430与所观察的***相关联的模型***，这允许VR操纵台110随后将所观察的***的位置与来自与所观察的***相关联的模型***的头盔模型理想的位置进行比较。
使用头盔模型，VR操纵台110生成440针对一个或多个所观察的***120的估计位置。头盔模型描述***120与参考点215之间的理想定位。在各种实施方式中，VR操纵台110使用头盔模型和***信息以确定投影矩阵，以将头盔模型中的理想位置转换至成像设备135的图像平面上的位置。VR操纵台110使用投影矩阵来估计所观察的地点的位置。因此，所观察的***120的估计位置在来自慢速校准数据的图像的图像平面上确定所观察的***120的理想位置。
至少部分基于一个或多个观察的***120的估计位置与对应于该一个或多个观察的***120的模型***的位置之间的相对距离，VR操纵台110调整450一个或多个校准参数，该一个或多个校准参数调整一个或多个***120的估计位置，使得所观察的***120的估计位置和它们对应的来自头盔模型的模型***的位置之间的相对距离小于阈值(例如，1mm)。调整校准参数影响投影矩阵(例如，改变焦距等)，因此改变一个或多个校准参数可能影响所观察的***120的估计位置。如果观察的***120的估计位置与它们对应的模型***的位置之间的距离等于或超过阈值，在一个实施方式中，VR操纵台110调整450一个校准参数同时保持其他校准参数固定，以确定被调整的校准参数的值，该被调整的校准参数的值导致观察的***120的估计位置与其对应的模型***的位置之间的距离小于阈值。校准参数然后可以固定为该确定值，而对另一校准参数进行修改，从而额外***120的估计位置与该额外***对应的模型***的额外位置之间的距离小于阈值。如上所述可以调整450各种校准参数，从而至少阈值数量的所观察的***120的调整估计位置与它们对应的模型***的位置之间的相对距离小于阈值。如果至少阈值数量的所观察的***120的估计位置与它们对应的模型***的位置之间的距离小于阈值，则不对校准参数进行调整450。
VR操纵台110确定460阈值数量的所观察的***120是否来自前刚体205的各个侧(即，前侧220A、顶侧220B、底侧220C、右侧220C、左侧220D)。如果阈值数量的所观察的***120与各个侧相关联，VR操纵台110使用所观察的***的调整估计位置生成470针对慢速校准数据的一个或多个帧的参考点215的校准位置。在VR头盔105包括多个刚体的实施方式中，响应于确定在每个刚体205、230的一侧或多侧对阈值数量的***(观察的***)成像或者响应于确定在每个刚体205、230的所有侧对阈值数量的***(观察的***)成像，VR操纵台110生成参考点215的校准位置。如果阈值数量的所观察的***120不是与每一侧相关联，VR操纵台110可以经由VR头盔105或另一部件向用户传送提示，以重新定位VR头盔105使得可以获取包括来自VR头盔150的一侧或多侧的***的慢速校准数据。
VR操纵台110进一步调整480一个或多个校准参数，直至从快速校准数据接收的VR头盔105的中间估计位置在针对VR头盔105或参考点215的预测位置的阈值距离内，其中，从与来自慢速校准数据的各种图像相关联的参考点215的校准位置中确定预测位置。在一些实施方式中，VR操纵台110通过使用与来自慢速校准数据的不同的图像相关联的参考点215的校准位置生成(例如，经由曲线拟合)预测函数，确定参考点215的预测位置。VR操纵台110调整一个或多个校准参数，直至参考点215的中间估计位置与参考点215的预测位置之间的距离小于阈值距离。例如，VR操纵台110可以增大IMU 130的采样率，直至参考点215的中间估计位置与参考点215的预测位置之间的距离全部为1mm以下，或者直至参考点215的至少阈值数量的中间估计位置与参考点215的预测位置之间的距离小于1mm。在其他实施方式中，VR操纵台110将参考点215的预测位置确定为与来自慢速校准数据的图像相关联的参考点215的校准位置和与来自慢速校准数据的后续图像相关联的参考点215的校准位置之间的位置。VR操纵台110然后调整480一个或多个校准参数，从而每个中间估计位置和与图像相关联的参考点215的校准位置(例如，CP1)之间的距离小于与图像相关联的参考点215的校准位置(例如，CP1)和与后续图像相关联的参考点215的校准位置(例如，CP2)之间的距离。此外，VR操纵台110可以将IMU 130的初始位置更新为参考点215的校准位置。
在一些实施方式中，VR操纵台110将针对所调整的校准参数的值存储在跟踪数据库310中或者将针对所调整的校准参数的值提供至VR操纵台110中的其他部件。所调整的校准值可以减少***环境100的后步操作的校准次数，从而改善用户体验。
针对失去校准，VR操纵台110监测490***环境100。例如，VR操纵台110监测所观察的***120的调整的估计位置与它们对应的模型***的位置之间的相对距离。如果所观察的***120的调整估计位置与其对应的模型***的位置之间的相对距离小于阈值(例如，1mm)，则VR操纵台110将校准位置提供至VR引擎155。与此相反，如果所观察的***的估计位置与其对应的模型***的位置之间的相对距离大于(或者等于或超过)阈值(例如，1mm)，则VR操纵台110确定失去校准，接收420慢速校准数据和快速校准数据并且执行以上识别的功能以重新校准***环境110。
此外，VR操纵台110监测490参考点215的中间估计位置与参考点215的预测位置之间的相对距离。例如，如果参考点215的预测位置的曲线与参考点215的中间估计位置之间的距离小于阈值距离(例如，1mm)，则VR操纵台110将中间估计位置提供至VR引擎155。在一些实施方式中，VR操纵台110还可以将从快速校准数据提取的中间速度信息或中间加速度信息提供至VR引擎155。与此相反，如果参考点215的预测位置与参考点215的中间估计位置之间的距离大于或等于或超过阈值距离，则VR操纵台110确定失去校准，接收420慢速校准数据和快速校准数据并且执行以上识别的功能以重新校准***环境100。
在一些实施方式中，可以同时校准IMU 130和成像设备135。为了同时校准IMU 130和成像设备135，VR操纵台110使用观察的***的估计位置估计一系列图像的参考点215的位置。此外，当校准IMU 130和成像设备135时，VR操纵台110使用包括在对应于慢速校准数据中的图像的特定时间值处的参考点215的中间估计位置的快速校准数据。当同时调整IMU 130和成像设备135的校准参数时，VR操纵台110：(1)调整所观察的***的估计位置，从而所观察的***的调整估计位置与它们对应的模型***的位置之间的相对距离小于阈值；以及(2)调整参考点的估计位置，从而在对应于慢速校准数据中的图像的特定时间值处的参考点的估计位置与从模型***确定的模型参考点的位置之间的相对距离小于阈值。
图5是示出了用于重新建立***环境100中所包含的虚拟现实头盔225的两个刚体之间的校准的过程的一个实施方式的流程图。在其他实施方式中，过程包括与图5描述的那些步骤不同的、附加的、或更少的步骤。此外，在一些实施方式中，可以不同的顺序执行结合图5描述的步骤。
VR操纵台110接收510包括图像的慢速校准数据，该图像示出了VR头盔225的前刚体205上的前阈值数量的***120和后刚体230上的后阈值数量(例如，至少一个)的***120。来自慢速校准数据的图像中包含的***120在本文中称为“所观察的***”。如以上结合图2至图4描述的，VR操纵台110从成像设备135接收150慢速校准数据并从IMU 130接收快速校准数据。快速校准数据还可以包括中间加速度信息和/或中间速度信息，VR操纵台110从该中间加速度信息和/或中间速度信息确定VR头盔225的参考点215的一个或多个中间估计位置。
至少部分基于慢速校准数据和头盔模型，VR操纵台110识别520模型***，该模型***是头盔模型中的***。VR操纵台110从慢速校准数据中提取描述所观察的***120相对于彼此的位置的***信息，并且将***信息与从跟踪数据库310检索的头盔模型进行比较，以识别520对应于所观察的***120的模型***。在至少一个图像中，识别与VR头盔225的前刚体205和后刚体230两者上所观察的***对应的模型***。模型***是头盔模型的部件，因此识别520与所观察的***相关联的模型***允许VR操纵台110随后将观察的***的位置与从所观察的***相关联的模型***的头盔模型的理想位置进行比较。
使用头盔模型，VR操纵台110生成530针对一个或多个观察的***120的估计位置。头盔模型描述***120与参考点215之间的理想定位。在各种实施方式中，VR操纵台110使用头盔模型和***信息以确定投影矩阵，该投影矩阵将头盔模型中的理想位置转换至成像设备135的图像平面上的位置。VR操纵台110使用投影矩阵估计所观察的***120的位置。因此，观察的***120的估计位置在来自慢速校准数据的图像的图像平面上识别所观察的***120的理想位置。
至少部分基于一个或多个观察的***120和与该一个或多个观察的***120对应的模型***的位置之间的相对距离，VR操纵台110调整540第一刚体205上的观察的***的估计位置与它们对应的模型***的位置之间的相对距离小于阈值(例如，1mm)。调整校准参数影响投影矩阵(例如，改变焦距等)，因此改变一个或多个校准参数可能影响观察的***120的估计位置。如果观察的***120的估计位置和它们对应的模型***的位置之间的距离等于或超过阈值，在一个实施方式中，VR操纵台110调整540一个校准参数同时保持其他校准参数固定，以确定被调整的校准参数的值，该被调整的校准参数的值导致观察的***120的估计位置与其对应的模型***的位置之间的距离小于阈值。以上进一步结合图4描述校准参数的调整540。如果至少阈值数量的观察的***120的估计位置与它们对应的模型***的位置之间的距离小于阈值，则不对校准参数进行调整540。
在调整540校准参数之后，从而观察的***的估计位置与它们对应的模型***的位置之间的阈值数量的相对距离小于阈值，VR操纵台110使用观察的***120的调整估计位置生成550与慢速校准数据的一个或多个图像相关联的参考点215的校准位置。在一些实施方式中，响应于确定在每个刚体205、230的一侧或多侧上阈值数量的***(观察的***)成像或者确定在每个刚体205、230的所有侧对阈值数量的***(观察的***)成像，VR操纵台110生成参考点215的校准位置。如果未对阈值数量的***(在刚体205、230侧上或在每个刚体205、230的所有侧上)成像，VR操纵台110可以经由VR头盔105或经由另一合适的部件提示用户以相对于成像设备135在具体方向上定向VR头盔105或者继续移动VR头盔105直至阈值数量的***被成像。
VR操纵台110还确定560后刚体230相对于参考点215的位置。在一些实施方式中，VR操纵台110使用观察的***120及它们对应的模型***识别后刚体230上的后参考点。VR操纵台110然后识别后参考点相对于前刚体205上的参考点215的位置，使得后参考点通过位置向量相对于参考点215定位。替换地，VR操纵台110识别后刚体230上每个观察的***相对于参考点215的位置，因此后刚体230上每个观察的***的位置通过它们自身的方位向量相对于参考点215定位。
VR操纵台110调整570一个或多个校准参数，从而参考点215的中间估计位置在参考点215的预测位置的阈值距离内。以上结合图4进一步描述调整校准参数从而参考点215的中间估计位置在参考点的预测位置的阈值内。如以上结合图4所描述的，在调整570一个或多个校准参数之后，针对失去校准，VR操纵台110监测580***环境100。
当针对失去校准进行监测580时，VR操纵台110使用来自慢速校准数据的图像，该图像可以包括第一刚体205、后刚体230、或其某种组合上的***120的观察位置。在一些实施方式中，观察的***120的位置与其对应的模型***的位置之间的阈值可以基于观察的***120所定位于的刚体而不同。例如，针对前刚体205上观察的***120，阈值可以是1mm，针对后刚体230上观察的***120，阈值可以是2mm。
此外，在一些情形下，成像设备135不能看到前刚体205上的***120，但是能够看到后刚体230上的***。在这些情形中，使用针对图6描述的方法对跟踪进行监测。
当慢速校准数据包括含有了前刚体205上的阈值数量的***和后刚体230上的阈值数量的***图像时，重复结合图5描述的步骤以重新建立***环境100的校准。在一些实施方式中，当失去跟踪时，VR操纵台110自动提示用户调整VR头盔105，从而前刚体205和后刚体230两者上的***对成像设备135可见。向用户呈现的提示可以为用户提供具体指令以定位VR头盔105，从而前刚体205和后刚体230两者上的***对成像设备135可见。
图6是示出了用于保持***环境100中所包含的虚拟现实头盔225的两个刚体之间的位置关系的过程的一个实施方式的流程图。在其他实施方式中，过程包括与图6描述的那些步骤不同的、附加的、或更少的步骤。此外，在一些实施方式中，可以不同的顺序执行结合图6描述的步骤。
VR操纵台110从成像设备135接收610慢速校准数据。慢速校准数据包括一系列图像，该一系列图像包括与图像时间值相关联的图像并且仅仅使后刚体230上的观察的***120对成像设备135可见。图像时间值是当由成像设备135获取图像时的时间值。此外，VR操纵台110从IMU130接收620快速校准数据，该快速校准数据包括针对含有图像时间值的一系列时间值的参考点215的中间估计位置。
基于慢速校准数据，VR操纵台110确定630图像时间值处的后刚体230的观察位置。为了确定620后刚体230的观察位置，VR操纵台110从慢速校准数据提取描述后刚体230上观察的***120相对于彼此的位置的信息，并且将***信息与从跟踪数据库310检索的头盔模型进行比较以识别对应于观察的***120的模型***。在识别模型***之后，VR操纵台110确定对应于每个模型***的所观察的***120并且使用所观察的***120的位置确定针对后刚体230的后参考点。在一些实施方式中，后刚体230的观察位置是后参考点的位置。在可替换实施方式中，后刚体230的观察的位置可以观察到一个或多个所观察的***的位置。
VR操纵台110使用快速校准数据和位置向量确定640图像时间值处的后刚体230的预测位置。位置向量描述前刚体205与后刚体230之间的校准偏移。例如，位置向量描述与前刚体205相关联的参考点215和与后刚体230相关联的后参考点之间校准的偏移。此外，在一些实施方式中，位置向量可以包括一个或多个子向量，该各个子向量描述参考点215与后刚体230上的不同***之间的相对校准偏移。
根据快速校准数据，VR操纵台110确定前刚体205上的参考点215的中间估计位置。在一些实施方式中，VR操纵台110基于位置向量将后刚体230的预测位置确定为相对于参考点215的位置的位置。例如，位置向量确定后刚体230上的后参考点相对于参考点215的相对位置。替换地，位置向量识别后刚体230上的一个或多个***120(包括观察的***)相对于参考点215的相对定位。
VR操纵台110确定650观察位置与预测位置之间的差值是否大于阈值(例如，1mm)。如果差值小于阈值，保持跟踪VR头盔225并接收610慢速校准数据，过程按如上所述继续。然而，如果后刚体230的观察位置之间的差值超过阈值，则VR操纵台110确定失去VR头盔105的跟踪并通过偏移值调整660预测位置。确定偏移值从而后刚体230的观察位置与后刚体230的预测位置之间的差值小于阈值。例如，VR操纵台110使用通过偏移值修改的位置向量以更准确地从快速校准数据中确定后刚体230的位置。替换地，在不修改位置向量的情况下，VR操纵台110将指令传送至IMU 130以基于偏移值偏移估计中间位置。
基于快速校准数据和所调整的向量，VR操纵台110确定670后刚体的后续预测位置，直至进行重新校准(例如，如以上针对图5进一步描述的)。在一些实施方式中，当失去跟踪时，VR操纵台110提示用户调整VR头盔105从而前刚体205和后刚体230两者上的***对成像设备135可见。呈现给用户的提示可为用户提供具体指令，以定位VR头盔105从而前刚体205和后刚体230两者上的***对成像设备135可见以便于进行如以上参考图5详细地描述的重新校准。
图7示出了示例性曲线图700，该曲线图示出了虚拟现实头盔105的一系列校准位置。在图7中，纵轴代表位置，横轴代表时间。曲线图700包括分别在时间T1、T2、及T3处的VR头盔105的参考点的一系列校准位置710A至710C。曲线图700还包括参考点的一系列中间估计位置715A至715D和720A至720H。使用来自成像设备135的慢速校准数据生成校准位置710A至710C并且使用来自VR头盔105上所包含的IMU 130的快速校准数据生成715A至715D和720A至720H。注意，校准位置710A至710C和中间估计位置715A至715D的相对时间刻度不同，并且比校准位置710A至710C更频繁地确定中间估计位置715A至715D和720A至720H。
曲线图700示出了由描述参考点的预测位置的预测函数所描述的预测位置曲线725。通过对校准位置710A至710C的曲线进行拟合并且确定描述拟合曲线的函数来生成预测函数。可以使用任何合适的方法从校准位置710A至710C确定位置函数。
在图7的实例中，中间估计位置715A至715D是在调整校准参数之前使用快速校准数据确定的初始中间估计位置。中间估计位置715A相对靠近图7中的预测位置曲线，但随着时间发展，中间估计位置移动得离预测位置曲线725更远，且图7中的中间估计位置715D离预测位置曲线725最远。预测位置曲线与中间估计位置之间的差值可归因于实际用户移动、漂移误差、以及附加因素的组合。如上所述，因为IMU 130相对于先前确定的位置确定中间估计位置，所以错误复合式导致随着时间的过去预测位置曲线725与中间估计位置15之间出现更大的偏差。为了考虑漂移误差，VR操纵台110可以更新IMU 130的初始位置作为后续校准位置。IMU 130随后相对于更新的初始位置和在初始位置之后确定的中间估计位置生成快速校准。在该实施方式中，VR操纵台110更新初始点作为校准位置710B。
减小与中间估计位置相关联的误差的另一种方式是通过提高确定中间估计位置的频率。在图7的实例中，VR操纵台110以中间估计位置715A至715D的频率的两倍确定中间估计位置720A至720H，从而导致中间估计位置720A至720H与预测位置曲线725之间的差值较小。
附加配置信息
介绍了用于跟踪刚体的无法预测的运动的刚体跟踪***。这样的刚体跟踪***可能对于虚拟现实、增强现实、游戏、教育、训练、及治疗是有用的。
刚体跟踪***的一个实施方式是跟踪附接至用户的头部的头戴式显示器的运动。在这种情况下，LED附接至显示器的表面。惯性测量单元安装在显示器内部并且可以包括测量角速度的传感器，诸如一个或多个陀螺仪。可以进一步包括一个或多个加速计和一个或多个磁力仪。独立的照相机放置在面向用户的固定位置。在一些实施方式中，刚体跟踪***是VR***100。
在另一个实施方式中，被跟踪的刚体可握在用户的手中。例如，这使得在虚拟现实体验中能够保持手的位置和方位。在另一个实施方式中，照相机可以跟踪多个刚体，包括多于一个的头盔和多于一个的附加手持物体。
构成惯性测量单元的传感器提供用于估计刚体方位的充分测量。这些传感器包括陀螺仪、加速计、以及可能的磁力仪。如果刚体在固定式照相机的视野内并在合适的距离处，那么能够推断附加方位信息。此外，推断刚体的位置。跟踪方法将来自包括一个或多个照相机的所有感测源的测量进行组合，使得准确地保持刚体的位置与方位。对刚体跟踪***至关重要的是LED在刚体的表面上的放置、数量、以及调制。这些因素共同导致刚体的可靠的、高度精确的跟踪。
应注意，可以单独地或者组合地实践本发明的各种特征。下面将结合图8至图10在具体实施方式中更详细地描述本发明的这些及其他特征。
刚体跟踪***通过将来自以下两个源的传感器数据相融合来工作：刚体内部的惯性测量单元和观察主体的固定式照相机。最常见的实施方式是刚体是被固定到人类头部上的头戴式显示器。在这种情况下，必须以低延迟和低抖动跟踪头部的位置和方位。由源提供的信息在惯性测量单元对头部方位提供最有力的限制及照相机对头部位置提供最有力的限制的意义上互补。这些一起将输入提供至估计头部位置与方位的滤波器。
惯性测量输入的最重要的部件是测量刚体的角速度的高频三轴陀螺仪。当在时间上对累积的传感器数据进行数值积分时，相对于初始方位估计当前方位。为了考虑在时间上累积的推算定位误差，加速计或其他传感器可以用于估计“向下”的方向以补偿倾斜误差。磁力仪可能会包含在惯性测量中以补偿相对于绕垂直(平行于重力)轴的旋转在估计方位上的误差。当刚体不在照相机的视野内时这尤其有用；否则，照相机可替换地提供该校正。
尽管在其他实施方式中，较高和较低的速率均可提供优势，但照相机以60Hz的标准速率捕获帧。分辨率是640×480(标准的VGA)，也可以使用其他分辨率。图像通过串行通信链路(USB)发送到中央处理器。照相机与VR头盔之间还存在串行链路。这被用于命令照相机在较短的、准确的时间间隔内打开和关闭其快门。典型的时间曝光时间是0.1毫秒。透镜可以是任何屈光度的，包括窄视角、宽视角、或鱼眼。照相机在其透镜上可具有或可不具有红外(IR)滤色片。
为佩带VR头盔的用户成像并准备从真实世界神奇地传输至虚拟世界。理想地，用户在真实世界中的头部运动应当完美地镜像到虚拟世界中，使得用户的大脑完全被欺骗。当向用户的眼镜呈现虚拟世界图像时，它们应当基于用户的沉浸感准确地对应于用户期望看到的东西。实现这个目的的关键元素是头部跟踪，这包括从传感器收集数据并且对这些数据进行处理以确定用户的头部如何移动。
用户的头部和VR头盔可一起被看做是移动通过3D空间的刚体。刚体具有多达六个自由度(DOF)，这意味着需要六个独立参数在空间中完全指定其位置和方位。使用这六个参数，我们能够计算主体上任何点的坐标。(在物理学史中想到这点花费很长时间，在18世纪后期，大多数信任是对于Euler和Lagrange。)尽管有很多方式选择这些参数，但它们通常完成，从而三个对应于方位(主体如何旋转)并且三个对应于位置(主体放置在何处)。这可以称为方位参数偏转、倾斜、及滚动。在仅跟踪这三个参数的先前的方法中，导致3-DOF跟踪。利用这些，VR***将会知道你的头部所指向的路线，但令人遗憾地，将要猜测用户的眼睛可能落在哪。
使用三个参数，在头部模型的基点应用3D旋转，并且眼睛移到似乎合理的位置，但未必正确。第一个问题是测量头部模型：用户的头有多大？更大的问题是无法保持用户从它们的头部的基点移动。例如，当用户注视前方并且从一侧移动到另一侧时，它们的头部旋转很少，但位置变化非常多。可替换地，如果用户在他们的臀部处向前弯曲同时使他们的颈部保持固定，他们的头部的基点会行进地更远。未能考虑头部基点的这种运动引起前庭不匹配，这可能导致模拟幻境头晕。问题是用户的内耳中的传感器与他们的眼睛所看到的不一致。内耳检测到运动，但眼睛并未看到。
刚体跟踪***直接跟踪来自传感器数据的所有六个参数，而不是必须猜测另外的三个位置参数。这是6-DOF跟踪，其允许刚体跟踪***可靠地估计用户所面向的方向和随着他们到处移动他们的头他们的眼球的位置。这假定已测量一些固定的、人专有的量，诸如，瞳距(IPD)。除了前庭不匹配减小之外，水平浸没是惊人的！用户可向前和向后移动他们的头部以对深度做出判断。当站在海盗的木板上时，用户能够弯腰注视令人恐惧的海水。可能性是无限的！
基于视觉的位置跟踪
位置跟踪不是VR中的新问题。存在很多使用各种技术进行的尝试：单镜头或多镜头照相机、结构光、飞行时间和磁性传感器等。解决方案随成本、电力消耗、精度、必要的计算、及环境约束而变。为此，一些实施方式描述了依靠单个便宜的低分辨率的照相机的位置跟踪解决方案。
基于照相机的位置跟踪(也被称为姿势评估)是很多计算机视觉和机器人应用的重要问题。相关文献是巨大的。然而，大部分这样的文献并不涉及精度、计算资源、及延迟。当在沙漠中导航汽车时，几厘米内的位置估计是很好的，并且没有必要非常频繁地更新位置。与此相反，在VR的环境内，跟踪必须是非常精确的，延迟低，且不能采用偏离所渲染的内容的计算资源。
在一些实施方式中，位置跟踪***由三个部分组成：嵌入在VR头盔(例如，VR头盔105)中的一组标记物、IMU和外部照相机。图8示出了刚体跟踪***的简要流程图。
刚体跟踪***获取VR头盔的图像。通过图像处理，刚体跟踪***提取标记物的图像位置。每个标记物是IR LED。基于标记物的图像位置和VR头盔的已知的3D模型，刚体跟踪***计算6D姿势。算法利用来自IMU(陀螺仪、磁力仪、以及加速计)的其可用的信息。在将视觉和IMU数据融合之后，确定最佳头盔姿势。结果被提供至用于渲染的应用。现在更详细地来看算法的独立部分。
刚体跟踪***识别可见标记物(LED)中的每一个。在每个获取的图像中，刚体跟踪***检测多个亮点。每个点对应于LED。刚体跟踪***识别哪个物理LED产生各个点。一旦这完成以后，刚体跟踪***使VR头盔上的LED的已知3D模型与它们观察的图像投影相关联。利用该关联，已经给定校准照相机，刚体跟踪能够估计最佳说明点的观察模式的姿势。
结果证明，识别问题是难的。为了识别单独的LED，刚体跟踪***提取有关每个的一些唯一的信息。这可以通过很多方式实现。例如，刚体跟踪***可使用各种可见光LED并且基于颜色对它们进行区分。另一令人感兴趣的方法是嵌入以线或其他形状的形式的几何信息。基于如何组织点，刚体跟踪***可确定它们单独的ID。而且，诸如仅允许共面标记物的空间排列也可简化标识。
这些想法大多计算复杂，不能够抗遮挡和噪声，或者将严格的要求强加于VR头盔的几何形状和外观上。在一些实施方式中，在普通的3D配置中使用IR LED。LED是不能基于外观进行区分的。它们看起来都像亮点。此外，不存在能够简化它们的标识的任何特殊几何排列。亮点在图像中也十分丰富；噪声、其他光源及我们的LED都看起来一样。并且最后，由于LED全部分布于VR头盔上，只有一部分LED在任何给定图像中是可见的，并且可能由用户的手挡住一些LED。
LED嵌入VR头盔中。在一些实施方式中，解决方案依靠调制LED的亮度。随着时间的过去，每个LED显示独特图案的光。由于LED在近红外光谱中操作，所以它们对人眼是不可见的。然而，在红外光谱中，LED非常亮并且具有宽视场照明(～120度)。照相机被设计成对近红外频率中的光敏感，并且具有宽视场透镜。这些特性(亮LED和广视野)实现大跟踪体积。
视觉算法检测单独的LED并且通过几个帧跟踪它们。然后分析显示的光的图案以确定每个LED唯一的ID。由于刚体跟踪***单独解码每个LED，该方法对噪声和遮挡是鲁棒的。然而，在实现解码之前确实使用了几个帧。这还意味着在任何给定帧中，可能存在一些新的LED(还没有解码的)并且一些解码的LED可能在视野内消失。重建算法对假阳性必须是稳健的。
应注意，照相机具有非常短的快门(小于一毫秒长)并且LED同步使得仅当快门打开时它们照亮。因此，刚体跟踪***可大大地减少由照相机收集的环境光线的量、节省店里、使快速头部运动期间的模糊最小化，并且最主要地维持照相机与VR头盔之间已知的定时。当刚体跟踪***执行IMU与视觉测量之间的传感器融合时，这可能是重要的。
姿势重构
一旦已知每个LED的ID，并且给出LED的已知3D模型，刚体跟踪***准备解决经典的投影几何学问题-什么是最佳说明LED的观察投影的VR头盔的6D姿势(3D位置与定位)。
刚体跟踪***具有两种类型的姿势重构模式：自扩展和递增。
当刚体跟踪***第一次对LED成像时，发生第一变形自扩展。刚体跟踪***先前解决了识别问题，这意味着其可具有有关帧中的一些亮点的ID的猜测。但是刚体跟踪***必须小心：一些ID可能是错误的，一些点可能还没被识别出来，并且一些点可以是由于环境中的其他光源。在自扩展期间，刚体跟踪***必须迅速解决这一切冲突并且计算VR头盔的姿势。
自扩展是在计算上是非常有效的方法，用于基于解码的LED生成姿势假设。刚体跟踪***使用RanSAC(随机抽样一致性)的变形对这些假设进行分类以查找被正确地识别的LED的子集。
为了领会这些姿势假设是什么，采用投影到图像平面三角形上的三角形ABC。姿势假设反向工作；其告诉刚体跟踪***说明图像的三角形的位置与定位是什么。在A、B、及C3点的情况下，可存在多于一个具有相同投影的姿势。重要的是应注意，该姿势含糊当点不共面时消失，并在多于三个点时减少。
通过尽可能多地包含LED，自扩展的最后一部分使重构姿势细化。刚体跟踪***通过使用所计算的姿势将我们的3D模型投影到图像上来进行。然后，刚体跟踪***使预期LED位置与观察相匹配。这允许刚体跟踪***显著地增加识别的LED的数目并且因此使我们所计算的姿势细化。结果证明使所预期的LED图像位置与观察相匹配是解决第二版的姿势重构问题的关键：增量问题。
图9示出观察的亮点(较大的点)和预测的投影(较小的点)。在一些情况下，将预测和观察的LED匹配成对会有挑战性。
值得注意的是匹配预期和观察的LED位置会非常有挑战性，具体地，在快速头部运动下并且由于所有的LED看起来一样。
姿势估计问题的第二变形更为容易。幸运地是，大多数时间必须解决一个刚体跟踪***！当刚体跟踪***处于增量模式时，刚体跟踪***可使用来自先前帧的VR头盔的姿势作为计算其在当前帧中的姿势的起点。其如何工作？简而言之：预测。在增量模式期间，刚体跟踪***将来自视觉和IMU的信息融合以计算VR头盔期望在哪里。刚体跟踪***然后将预测与观察匹配，并且根据需要执行修正。
增量估计已应用于很多不同是问题。例如，很多最优化算法使用每个步骤稍微都更接近解的迭代方法。另一实例是实时(在线)提供测量的问题。已提出各种各样的过滤器，在这些过滤器中最受欢迎的是贝氏过滤器族。该族包括卡尔曼过滤器、扩展卡尔曼过滤器、序列蒙特卡罗过滤器、及其他。还经常使用贝氏过滤器应付实时姿势估计。
刚体跟踪***使用融合信息的定制过滤器并且可进行预测。起点是在先前帧中计算的位置与方位。这是个良好的起点，但在照相机框架中肯定会移动相当多(16.6ms@60Hz)。如果刚体跟踪***在最后几个帧考察姿势，其会基于速度进行一定的预测。现在，我们更靠近了一些。幸运地，刚体跟踪***还具有IMU。这意味着先前图像与当前图像之间，刚体跟踪***实际上具有角速度和线性加速度的大约16个测量。我们的定制过滤器将所有的这种信息进行融合，并且提供基于历史的姿势估计，该姿势估计是基于位置、速度、及加速度的。最终结果是非常接近当前帧中的真实姿势。
刚体跟踪***使用预测姿势将LED投影到图像平面上。刚体跟踪***然后将预测的LED图像坐标与观察进行配对。如果预测是正确的，则匹配是理想的。并且最后，刚体跟踪***计算导致完美匹配的估计姿势的所需校正。
图10示出了姿势优化步骤。其示出了2D风景，其中最优解是全局极小值。刚体跟踪***从基于历史、速度、及加速度的预测姿势开始。使用梯度下降优化反复改进解，直至刚体跟踪***找到最佳姿势。增量姿势估计在计算上有效，并且这是刚体跟踪***时常期望的模式。一旦自扩展成功，并且只要VR头盔对于照相机是可见的，***可继续经历这个过程：预测姿势-与观察匹配-细化姿势。
刚体跟踪***的三个主要因素对遮挡、有效计算、及精度是鲁棒的。方法本身对遮挡就是鲁棒的。在识别期间，刚体跟踪***可识别单独的LED。一个条件是了解针对几个帧的几个LED。而且姿势重构对遮挡是鲁棒的。刚体跟踪***能够验证预测并且基于每个帧看见几个LED细化VR头盔的姿势估计。
VR中的头部跟踪的精确度要求高。刚体跟踪***通过将LED放置在VR头盔上的精心设计以及LED、IMU及照相机之间的可靠同步提供必要的稳定性(<0.1mm且<0.1度)。正是将所有的信息融合在一起才最终能够准确预测并流畅跟踪。
令人感兴趣的位置跟踪的特性是接地。例如，刚体跟踪***现在可将含义附加至“向前看”。其仅是指看照相机。与陀螺仪、加速计和磁力仪形成对比，视觉不会漂移。因此，利用位置跟踪，刚体跟踪***对于漂移校正具有可靠而简单的解决方案。
位置跟踪开启了一些值得注意的问题。标尺就是一个很好的例子。用户期望现实世界和虚拟世界的运动之间的1对1映射？可能是的，因为任何不匹配都会干扰用户的前庭***。但另一方面却存在一些使用情况，其中基于头部位移来控制速度-用户离中心越进一步用户移动的更快。另一个值得注意的问题是如何鼓励用户停留在照相机的视野中。
另一实例是当用户离开视野时，刚体跟踪***失去位置跟踪但是由于IMU仍然具有方位跟踪。每当刚体跟踪***再次获得位置跟踪时，其从3D返回至6D。在再进入6D时刚体跟踪***应当做什么？一旦再次获得视觉并且慢慢***到正确的位置，两个可能的解卡到正确的位置，但两个解以不同的方式扰乱。
感兴趣的区域
一种刚体跟踪***，其由于布置在主体表面上的多个调制的LED实现了高精确度和遮挡鲁棒性，且附加***部件为：至少一个静止数字照相机，在被跟踪的主体的外部；一个内部测量单元，其刚性地附接至被跟踪的主体；以及数字硬件，在内部测量单元、照相机、及主CPU的部件之间接收并发送信息。
刚体跟踪***，其中惯性测量包含三轴陀螺仪以测量角速度。
刚体跟踪***，其中惯性测量包含三轴加速计。
刚体跟踪***，其中惯性测量可以包含三轴磁力仪。
刚体跟踪***，其中表面LED布置成非共面的精心图案并且在相邻LED之间提供充分分离。
刚体跟踪***，其中LED调制为使得它们可以在期望时间间隔维持两个或更多个预定红外亮度级中的一个。
刚体跟踪***，其中LED的调制是由数字硬件组件控制的。
刚体跟踪***，其中可以用幅度、频率、某种组合、或其他信号编码的方式对LED进行调制。
刚体跟踪***，其中LED可以是可见光谱或红外光谱。
刚体跟踪***，其中，在照相机快门打开或者惯性测量单元提供新的测量的时间，由数字硬件组件生成并且记录亚毫秒时间戳。
一种刚体跟踪的方法，与头戴式显示器接合使用，头部跟踪方法包括：从通过内部测量单元中的陀螺仪测量的高频(至少1000Hz)角速度测量更新主体方位估计；更新从包含唯一识别的子集的LED的图像中估计的主***置；通过紧密地积分来自内部测量单元和一个或多个照相机的测量提高计算效率和估计准确度；以及提供主***置和方位估计，还有预测将来位置和方位的附加能力。
根据如上所述的方法，其中加速计测量用于补偿方位倾斜航位推算误差。
根据如上所述的方法，其中，照相机图像以及可能的磁力仪测量用于补偿方位偏转航位推算误差。
根据如上所述的方法，其中，执行低级图像处理以在子像素精度内提取图像中的LED中心位置。
根据如上所述的方法，其中，LED调制电平在连续的照相机图像提供数字编码标识符，从而解决了LED识别问题。
根据如上所述的方法，其中，从帧到帧增量地计算从图像进行的位置与方位估计。
根据如上所述的方法，其中，利用在连续的快门开口之间的时间间隔内来自陀螺仪和加速计进行的测量。
根据如上所述的方法，其中通过将从先前帧进行的估计与积累的陀螺仪和加速计测量相结合对位置与方位进行准确的预测估计。
根据如上所述的方法，其中方法反复干扰预测估计直至新的位置与方位估计优化误差，误差是图像中的预期LED中心位置与图像中它们的测量位置之间的不匹配。
总结
本公开实施方式的上述描述仅出于说明的目的而呈现，并且不旨在穷尽或者将本公开局限于所公开的确切形式。相关领域技术人员应认识到，根据上述公开内容，可以有多种修改和变化。
本公开实施方式的上述描述仅出于说明的目的而呈现，并且不旨在穷尽或者将本公开局限于所公开的确切形式。相关领域技术人员应认识到，根据上述公开内容，可以有多种修改和变化。
本说明书的一些部分从信息运算的算法和符号表示法的角度描述了本公开的实施方式。这些算法描述和表示通常由数据处理领域的技术人员使用，以便将他们的工作实质有效传达给本领域的其他技术人员。这些运算，当被描述为功能性的、计算性的或逻辑性的时，被理解为由计算机程序或其他等同电路、微码等实施。此外，有时，把这些运算的安排称为模块也是方便的，并且不失其一般性。运算及其关联模块可具体化为软件、固件、硬件或以上设备的任意组合。
本文的任何步骤、操作或流程可被一个或多个硬件或软件模块单独或与其他设备组合执行或实施。在一个实施方式中，软件模块可被计算机程序产品实施，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可被用于执行任何或所有步骤、操作或流程的计算机处理器执行。
本公开的实施方式还可涉及一种用于执行本文中的操作的装置。该装置可针对需要目的而具体构造和/或该装置可包括由存储在计算机中的计算机程序选择性激活或者重新配置的通用计算设备。这种计算机程序可存储在非易失性的有形计算机可读存储介质中或者适用于存储电子指令的耦合至计算机***总线的任何类型的介质中。而且，本说明书中提及的任何计算***可包括单一处理器或者可以是采用多处理器设计的架构，以提高计算能力。
本公开的实施方式还可以涉及由本文中所描述的计算过程制造的产品。该产品可包括由计算过程产生的信息，其中，信息存储在非易失性的有形计算机可读存储介质中并且可包括计算机程序产品或者此处所描述的其他数据组合的任何实施方式。
最后，原则上出于可读性和说明性之目的来选择本说明书中使用的语言，并且所使用的语言并不被选择来划定或者限制本发明的主题。因此，本公开的范围并不旨在由具体实施方式来限定，而是由基于具体实施方式的本申请所发布的任何权利要求来限定。因此，实施方式的公开内容旨在用于说明，而非限制在所附权利要求中阐述的本公开的范围。

Claims (18)

1.一种***，包括：
虚拟现实(VR)头盔，包括前刚体，后刚体，位于所述前刚体和所述后刚体中的每一者上的多个***，以及配置为输出快速校准数据的惯性测量单元(IMU)，所述快速校准数据包括所述VR头盔上的参考点的一个或多个中间估计位置，所述估计位置描述所述VR头盔的估计位置，其中，每个所述中间估计位置通过位置时间值与后续中间估计位置分离，其中，所述前刚体通过弹性头带非刚性地联接至所述后刚体；
所述VR头盔外部的成像设备，配置为获取所述VR头盔的图像并输出慢速校准数据，所述慢速校准数据包括示出位于所述VR头盔上的所述多个***的所观察的部分***的一系列图像，每个图像通过大于所述位置时间值的图像时间值与所述系列中的后续图像分离；以及
VR操纵台包括：
处理器；以及
存储器，耦接至所述处理器并且所述存储器包括指令，所述指令在被所述处理器执行时使得所述处理器使用所述慢速校准数据和所述快速校准数据跟踪所述VR头盔。
2.根据权利要求1所述的***，其中，所述IMU包括三轴陀螺仪以测量角速度。
3.根据权利要求1所述的***，其中，所述IMU包括三轴加速计。
4.根据权利要求1所述的***，其中，所述IMU包括三轴磁力仪。
5.根据权利要求1所述的***，其中，所述多个***在所述VR头盔上布置成非共面的图案。
6.根据权利要求1所述的***，其中，所述多个***为发光二极管(LED)。
7.根据权利要求6所述的***，其中，所述LED被调制为在时间间隔维持两个或更多个预定亮度级中的一者。
8.根据权利要求7所述的***，其中，所述LED的调制选自以下各项组成的组：幅度调制、频率调制、及它们的任意组合。
9.根据权利要求7所述的***，其中，所述LED发射处于特定频带内的光，所述特定频带选自以下各项组成的组：可见频带，红外频带。
10.根据权利要求6所述的***，其中，所述多个***在红外频带中发射，所述VR头盔的外表面在红外频带中是透明的但在可见频带中是不透明的。
11.根据权利要求1所述的***，进一步包括校准指令，所述校准指令在被所述处理器执行时使得所述处理器：
使用所存储的与所述VR头盔相关联的头盔模型，识别模型***，每个所述模型***对应于所述VR头盔上的并包含在来自所述慢速校准数据的至少一个图像中的***；
使用所述头盔模型生成所述VR头盔上的并包含在来自所述慢速校准数据的至少一个图像中的一个或多个所述***的估计位置；
调整一个或多个校准参数以调整所述估计位置，从而所述VR头盔上的并包含在来自所述慢速校准数据的至少一个图像中的一个或多个所述***的经调整的所述估计位置与它们对应的模型***的位置之间的相对距离小于阈值；
至少部分基于所述VR头盔上的并包含在来自所述慢速校准数据的至少一个图像中的一个或多个所述***的经调整的估计位置生成所述参考点的校准位置，校准位置与来自所述慢速校准数据的图像相关联；
至少部分基于所述参考点的所述校准位置确定所述参考点的一个或多个预测位置，预测位置与来自所述慢速校准数据的后续图像之间的时间相关联；以及
调整一个或多个所述校准参数，从而所述参考点的所述中间估计位置在所述参考点的经确定的所述预测位置的阈值距离内。
12.根据权利要求1所述的***，进一步包括校准指令，所述校准指令在被所述处理器执行时使得所述处理器：
使用所述慢速校准数据确定针对特定图像时间值的所述后刚体的观察位置；
使用所述快速校准数据和描述所述前刚体与所述后刚体之间的校准偏移的位置向量，确定针对所述特定图像时间值的所述后刚体的预测位置；
确定所述观察位置与所述预测位置之间的差值大于阈值；
响应于确定所述后刚体的所述观察位置与所述后刚体的所述预测位置之间的差值大于阈值，将所述位置向量调整了偏移值，从而所述观察位置与所述预测位置之间的差值小于所述阈值；以及
基于所述快速校准数据和经调整的所述位置向量，确定针对来自所述一系列图像中的与所述图像时间值之后发生的后续图像时间值相关联的图像的所述后刚体的后续预测位置。
13.一种***，包括：
虚拟现实(VR)头盔，包括前刚体，后刚体，位于所述前刚体和所述后刚体中的每一者上的多个***，以及配置为输出快速校准数据的惯性测量单元(IMU)，所述快速校准数据包括所述VR头盔上的参考点的一个或多个中间估计位置，所述估计位置描述所述VR头盔的估计位置，其中，每个所述中间估计位置通过位置时间值与后续中间估计位置分离，其中，所述前刚体通过弹性头带非刚性地联接至所述后刚体；
成像设备，配置为输出慢速校准数据，所述慢速校准数据包括示出所述VR头盔上的所述多个***的所观察的部分所述***的一系列图像，每个图像通过大于所述位置时间值的图像时间值与所述系列中的后续图像分离；以及
VR操纵台包括：
处理器；以及
存储器，耦接至所述处理器并且包括指令，所述指令在被所述处理器执行时使得所述处理器使用所述慢速校准数据和所述快速校准数据跟踪所述VR头盔。
14.根据权利要求13所述的***，其中，所述多个***包括作为LED的***，所述LED被调制为在时间间隔维持两个或更多个预定亮度级中的一者。
15.根据权利要求14所述的***，其中，所述LED的调制选自以下各项组成的组：幅度调制、频率调制、及它们的任意组合。
16.根据权利要求14所述的***，其中，所述LED发射处于特定频带内的光，所述特定频带选自以下各项组成的组：可见频带，红外频带。
17.根据权利要求16所述的***，其中，所述LED在红外频带中发射，所述VR头盔的外表面在红外频带中是透明的但在可见频带中是不透明的。
18.根据权利要求13所述的***，其中，所述VR头盔包括均具有一个或多个***的前刚体和后刚体，并且所述前刚体包括所述IMU。
CN201810054065.2A 2014-01-06 2015-01-06 虚拟现实***的校准 Active CN108107592B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201461923895P 2014-01-06 2014-01-06
US61/923,895 2014-01-06
US201462088088P 2014-12-05 2014-12-05
US201462088085P 2014-12-05 2014-12-05
US62/088,085 2014-12-05
US62/088,088 2014-12-05
US14/589,755 US9524580B2 (en) 2014-01-06 2015-01-05 Calibration of virtual reality systems
US14/589,774 2015-01-05
US14/589,774 US9600925B2 (en) 2014-01-06 2015-01-05 Calibration of multiple rigid bodies in a virtual reality system
US14/589,755 2015-01-05
CN201580003318.8A CN105850113B (zh) 2014-01-06 2015-01-06 虚拟现实***的校准

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580003318.8A Division CN105850113B (zh) 2014-01-06 2015-01-06 虚拟现实***的校准

Publications (2)

Publication Number Publication Date
CN108107592A true CN108107592A (zh) 2018-06-01
CN108107592B CN108107592B (zh) 2019-11-05

Family

ID=53495596

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810054065.2A Active CN108107592B (zh) 2014-01-06 2015-01-06 虚拟现实***的校准
CN201580003318.8A Active CN105850113B (zh) 2014-01-06 2015-01-06 虚拟现实***的校准

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580003318.8A Active CN105850113B (zh) 2014-01-06 2015-01-06 虚拟现实***的校准

Country Status (11)

Country Link
US (4) US9524580B2 (zh)
EP (1) EP3017591B1 (zh)
JP (2) JP6110573B2 (zh)
KR (2) KR102121994B1 (zh)
CN (2) CN108107592B (zh)
AU (1) AU2015203932B2 (zh)
BR (1) BR112016013563A8 (zh)
CA (1) CA2930773C (zh)
IL (1) IL245813A (zh)
MX (1) MX348608B (zh)
WO (1) WO2015103621A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711302A (zh) * 2018-12-18 2019-05-03 北京诺亦腾科技有限公司 模型参数校准方法、装置、计算机设备和存储介质
CN110688002A (zh) * 2019-09-06 2020-01-14 广东虚拟现实科技有限公司 虚拟内容的调整方法、装置、终端设备及存储介质
CN110826375A (zh) * 2018-08-10 2020-02-21 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
CN111988534A (zh) * 2020-07-23 2020-11-24 首都医科大学附属北京朝阳医院 一种基于多摄像头的画面拼接方法和装置
CN113498505A (zh) * 2019-03-04 2021-10-12 脸谱公司 通过预测传感器数据对被跟踪对象的姿态建模

Families Citing this family (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9052161B2 (en) * 2005-12-19 2015-06-09 Raydon Corporation Perspective tracking system
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
TWM491843U (zh) * 2014-07-24 2014-12-11 Shou-Lan Zhang 可攜式虛擬實境眼鏡
RU2017106629A (ru) 2014-08-03 2018-09-04 Поготек, Инк. Система носимых камер и устройств, а также способ прикрепления систем камер или других электронных устройств к носимым изделиям
SG11201705196QA (en) 2014-12-23 2017-07-28 Pogotec Inc Wireless camera system and methods
US9659411B2 (en) * 2015-01-14 2017-05-23 Oculus Vr, Llc Passive locators for a virtual reality headset
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US10271042B2 (en) 2015-05-29 2019-04-23 Seeing Machines Limited Calibration of a head mounted eye tracking system
US10481417B2 (en) 2015-06-10 2019-11-19 PogoTec, Inc. Magnetic attachment mechanism for electronic wearable device
EP3308216B1 (en) 2015-06-10 2021-04-21 Pogotec, Inc. Eyewear with magnetic track for electronic wearable device
US10073531B2 (en) * 2015-10-07 2018-09-11 Google Llc Electronic device pose identification based on imagery and non-image sensor data
CN108141558B (zh) 2015-10-08 2021-03-16 索尼互动娱乐股份有限公司 控制装置、头戴式显示器、控制***、控制方法
DE102015012961B4 (de) * 2015-10-08 2022-05-05 Kastanienbaum GmbH Robotersystem
JP6556015B2 (ja) 2015-10-09 2019-08-07 ソニー株式会社 情報処理装置、位置および／または姿勢の推定方法、およびコンピュータプログラム
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
TW201729610A (zh) 2015-10-29 2017-08-16 帕戈技術股份有限公司 適用於無線功率接收之助聽器
CN105391858A (zh) * 2015-11-04 2016-03-09 深圳维爱特科技有限公司 虚拟现实眼镜及其控制方法、装置和***
US10440355B2 (en) * 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
US9805512B1 (en) 2015-11-13 2017-10-31 Oculus Vr, Llc Stereo-based calibration apparatus
EP3389268B1 (en) * 2016-01-12 2021-05-12 Huawei Technologies Co., Ltd. Depth information acquisition method and apparatus, and image collection device
CN105487233B (zh) * 2016-02-03 2019-01-04 深圳多哚新技术有限责任公司 一种vr眼镜以及其散热结构
WO2017132863A1 (zh) * 2016-02-03 2017-08-10 深圳多哚新技术有限责任公司 一种vr眼镜以及其散热结构
US10422976B2 (en) 2016-02-26 2019-09-24 Samsung Electronics Co., Ltd. Aberration corrected optical system for near-eye displays
US11558538B2 (en) 2016-03-18 2023-01-17 Opkix, Inc. Portable camera system
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US20170300116A1 (en) * 2016-04-15 2017-10-19 Bally Gaming, Inc. System and method for providing tactile feedback for users of virtual reality content viewers
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US11017610B2 (en) 2016-05-18 2021-05-25 Google Llc System and method for fault detection and recovery for concurrent odometry and mapping
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
US10802147B2 (en) * 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
WO2017223042A1 (en) * 2016-06-20 2017-12-28 PogoTec, Inc. Image alignment systems and methods
DE102016111707B4 (de) * 2016-06-27 2019-08-14 Volkswagen Aktiengesellschaft Verfahren und System zum Erfassen einer Relativposition eines mobilen Endgeräts in Bezug auf ein Fahrzeug
CN106123901B (zh) * 2016-07-20 2019-08-06 上海乐相科技有限公司 一种定位方法及装置
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
WO2018022658A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Adaptive system for deriving control signals from measurements of neuromuscular activity
US10496168B2 (en) 2018-01-25 2019-12-03 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
WO2018022657A1 (en) * 2016-07-25 2018-02-01 Ctrl-Labs Corporation System and method for measuring the movements of articulated rigid bodies
US10915165B2 (en) 2016-07-29 2021-02-09 Emmanuel Lusinchi Methods and systems for controlling a displacement of a virtual point of view in a virtual reality environment
US10212414B2 (en) 2016-08-01 2019-02-19 Microsoft Technology Licensing, Llc Dynamic realignment of stereoscopic digital consent
CN107690067B (zh) * 2016-08-05 2019-06-21 成都理想境界科技有限公司 头戴式显示设备帧率的检测方法及装置
CN106054392B (zh) * 2016-08-10 2018-12-04 深圳多哚新技术有限责任公司 Vr设备中光学镜头与显示屏的对准方法及***
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
CN106354205A (zh) * 2016-08-25 2017-01-25 安徽协创物联网技术有限公司 一种可穿戴虚拟现实实现***
WO2018064627A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
EP3529629B1 (en) * 2016-10-20 2023-11-29 Spookfish Innovations Pty Ltd. An aerial camera boresight calibration system
CN106485788B (zh) * 2016-10-21 2019-02-19 重庆虚拟实境科技有限公司 一种游戏引擎混合现实拍摄方法
CN106338712A (zh) * 2016-10-21 2017-01-18 泉州装备制造研究所 一种基于相机通信的可见光室内定位方法及***
US10591584B2 (en) * 2016-10-25 2020-03-17 GM Global Technology Operations LLC Radar calibration with known global positioning of static objects
CN106546238B (zh) * 2016-10-26 2020-09-01 北京小鸟看看科技有限公司 可穿戴设备及在可穿戴设备中确定用户位移的方法
CN107024980A (zh) * 2016-10-26 2017-08-08 阿里巴巴集团控股有限公司 基于增强现实的用户位置定位方法及装置
US10863060B2 (en) 2016-11-08 2020-12-08 PogoTec, Inc. Smart case for electronic wearable device
CN106657609A (zh) * 2016-11-18 2017-05-10 成都六维人科技有限公司 一种虚拟现实设备及其控制装置和方法
KR102540236B1 (ko) * 2016-12-05 2023-06-02 삼성전자주식회사 이미지 처리 장치 및 시스템
US10248191B2 (en) * 2016-12-12 2019-04-02 Microsoft Technology Licensing, Llc Virtual rigid framework for sensor subsystem
JP2018107695A (ja) * 2016-12-27 2018-07-05 フォーブ インコーポレーテッド 推定システム、推定方法及び推定プログラム
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10437343B2 (en) 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
US20180224927A1 (en) * 2017-01-18 2018-08-09 Htc Corporation Positioning apparatus and method
CN117311494A (zh) 2017-04-27 2023-12-29 奇跃公司 发光用户输入设备
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US10785471B1 (en) * 2017-05-12 2020-09-22 Facebook Technologies, Llc Upsampling content for head-mounted displays
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
US10540006B2 (en) 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
US10304207B2 (en) 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
WO2019013712A1 (en) * 2017-07-13 2019-01-17 Mediatek Singapore Pte. Ltd. METHOD AND APPARATUS FOR PRESENTING MULTIMEDIA CONTENT OF VIRTUAL REALITY BEYOND OMNIDIRECTIONAL MULTIMEDIA CONTENT
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CN107560637B (zh) * 2017-08-21 2021-02-19 歌尔光学科技有限公司 头戴显示设备校准结果验证方法及头戴显示设备
CN115327780A (zh) * 2017-09-11 2022-11-11 杜比实验室特许公司 用于ar/vr/mr的模块化拆卸式可穿戴装置
KR102402457B1 (ko) 2017-09-15 2022-05-26 삼성전자 주식회사 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
CN112040858B (zh) 2017-10-19 2024-06-07 元平台技术有限公司 用于识别与神经肌肉源信号相关的生物结构的***和方法
CN108876891B (zh) * 2017-11-27 2021-12-28 北京旷视科技有限公司 人脸图像数据采集方法及人脸图像数据采集装置
CN109862345B (zh) 2017-11-30 2022-09-30 京东方科技集团股份有限公司 视场角测试方法和***
AU2018379105B2 (en) 2017-12-10 2023-12-21 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US10521011B2 (en) 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
US20220178692A1 (en) * 2017-12-21 2022-06-09 Mindmaze Holding Sa System, method and apparatus of a motion sensing stack with a camera system
CN108151738B (zh) * 2017-12-22 2019-07-16 北京轻威科技有限责任公司 带姿态解算的可编码主动光标识球
US10509464B2 (en) 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
WO2019147949A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Real-time processing of handstate representation model estimates
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
WO2019147928A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Handstate reconstruction based on multiple inputs
WO2019147956A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Visualization of reconstructed handstate information
WO2019148002A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
IL312231A (en) 2018-02-06 2024-06-01 Magic Leap Inc Systems and methods for augmented reality
CN110163885B (zh) * 2018-02-12 2022-06-03 杭州海康威视数字技术股份有限公司 一种目标跟踪方法及装置
SG11202006100QA (en) * 2018-02-23 2020-07-29 Ericsson Telefon Ab L M Coordinating alignment of coordinate systems used for a computer generated reality device and a haptic device
KR102050059B1 (ko) * 2018-03-13 2020-01-08 서강대학교 산학협력단 헤드 마운티드 디스플레이의 자기 보정 장치 및 방법
JP7344896B2 (ja) 2018-03-15 2023-09-14 マジック リープ， インコーポレイテッド 視認デバイスのコンポーネントの変形に起因する画像補正
US10475196B2 (en) * 2018-03-22 2019-11-12 Microsoft Technology Licensing, Llc Hybrid depth detection and movement detection
WO2019204638A1 (en) 2018-04-19 2019-10-24 Pcms Holdings, Inc. Systems and methods employing predictive overfilling for virtual reality
US11454783B2 (en) 2018-04-25 2022-09-27 Samsung Electronics Co., Ltd. Tiled triplet lenses providing a wide field of view
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
CN109974581B (zh) * 2018-05-07 2021-07-13 苹果公司 使用增强现实进行测量的设备和方法
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10623743B1 (en) * 2018-05-22 2020-04-14 Facebook Technologies, Llc Compression of captured images including light captured from locations on a device or object
WO2019226259A1 (en) 2018-05-25 2019-11-28 Ctrl-Labs Corporation Methods and apparatus for providing sub-muscular control
CN112261907A (zh) 2018-05-29 2021-01-22 脸谱科技有限责任公司 表面肌电信号测量中降噪的屏蔽技术及相关***和方法
JP2021525902A (ja) 2018-05-30 2021-09-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 小型の可変焦点構成
WO2019231850A1 (en) * 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
CN112400157B (zh) * 2018-06-05 2024-07-09 奇跃公司 观看***的基于单应性变换矩阵的温度校准
WO2019237099A1 (en) 2018-06-08 2019-12-12 Magic Leap, Inc. Augmented reality viewer with automated surface selection placement and content orientation placement
WO2019241701A1 (en) 2018-06-14 2019-12-19 Ctrl-Labs Corporation User identification and authentication with neuromuscular signatures
CN108965863B (zh) * 2018-06-21 2019-09-17 歌尔股份有限公司 相机光学中心和vr透镜中心对齐的控制方法及装置
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11045137B2 (en) 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
WO2020028834A1 (en) 2018-08-02 2020-02-06 Magic Leap, Inc. A viewing system with interpupillary distance compensation based on head motion
WO2020028191A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
EP3836836B1 (en) 2018-08-13 2024-03-20 Meta Platforms Technologies, LLC Real-time spike detection and identification
US11100713B2 (en) 2018-08-17 2021-08-24 Disney Enterprises, Inc. System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
EP3840645A4 (en) 2018-08-22 2021-10-20 Magic Leap, Inc. PATIENT VISUALIZATION SYSTEM
WO2020047429A1 (en) 2018-08-31 2020-03-05 Ctrl-Labs Corporation Camera-guided interpretation of neuromuscular signals
EP3857342A4 (en) 2018-09-26 2021-12-01 Facebook Technologies, LLC. NEUROMUSCULAR CONTROL OF PHYSICAL OBJECTS IN AN ENVIRONMENT
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
CN112822992A (zh) 2018-10-05 2021-05-18 脸谱科技有限责任公司 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
WO2020081090A1 (en) * 2018-10-18 2020-04-23 Hewlett-Packard Development Company, L.P. Video capture device positioning based on participant movement
WO2020102237A1 (en) 2018-11-13 2020-05-22 Opkix, Inc. Wearable mounts for portable camera
WO2020102412A1 (en) 2018-11-16 2020-05-22 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器***的自动校准的方法和装置
US10802282B2 (en) 2018-12-21 2020-10-13 Microsoft Technology Licensing, Llc Controlling light source intensities on optically trackable object
CN109801341B (zh) * 2019-01-30 2020-11-03 北京经纬恒润科技有限公司 一种标定靶的位置校验方法及装置
JP7515489B2 (ja) 2019-02-06 2024-07-12 マジック リープ， インコーポレイテッド 複数のプロセッサによって発生される総熱を限定するための標的意図ベースのクロック速度の決定および調節
JP7247636B2 (ja) * 2019-02-15 2023-03-29 株式会社Ｊｖｃケンウッド 画像調整システム、画像調整装置、及び画像調整方法
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
WO2020185405A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
KR102222136B1 (ko) * 2019-04-15 2021-03-04 주식회사 스토익엔터테인먼트 가상 현실 컨텐츠 제어 장치, 가상 현실 어트랙션 및 이의 보정 방법
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供***和方法
CN109976535B (zh) * 2019-05-05 2022-12-02 北京七鑫易维信息技术有限公司 一种校准方法、装置、设备及存储介质
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的***和方法
US10809797B1 (en) 2019-08-07 2020-10-20 Finch Technologies Ltd. Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
JP7360282B2 (ja) * 2019-09-10 2023-10-12 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
US10976863B1 (en) 2019-09-19 2021-04-13 Finch Technologies Ltd. Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
US11175729B2 (en) 2019-09-19 2021-11-16 Finch Technologies Ltd. Orientation determination based on both images and inertial measurement units
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
CN112578901A (zh) * 2019-09-30 2021-03-30 Oppo广东移动通信有限公司 眼球追踪校准方法及相关设备
CN114730490A (zh) 2019-11-14 2022-07-08 奇跃公司 用于虚拟现实和增强现实的***和方法
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
US10705597B1 (en) 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
CN111583310B (zh) * 2020-04-29 2023-06-30 南京睿悦信息技术有限公司 一种用于虚拟现实和增强现实设备的虚实配准方法及装置
CN112015269A (zh) * 2020-08-03 2020-12-01 深圳市瑞立视多媒体科技有限公司 头显设备的显示校正方法、设备及存储介质
US20230306633A1 (en) * 2020-08-18 2023-09-28 Foresight Automotive Ltd. System and method for pose estimation of sensors using motion and angular shift
KR20220030641A (ko) * 2020-09-03 2022-03-11 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US20220075447A1 (en) * 2020-09-08 2022-03-10 Google Llc Persistent calibration of extended reality systems
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
CN112541932B (zh) * 2020-11-30 2024-03-26 西安电子科技大学昆山创新研究院 基于双光相机不同焦距变换参数的多源图像配准方法
WO2022146786A1 (en) * 2020-12-30 2022-07-07 Snap Inc. Periodic parameter estimation visual-inertial tracking systems
US11662805B2 (en) * 2020-12-30 2023-05-30 Snap Inc. Periodic parameter estimation for visual-inertial tracking systems
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
WO2022246388A1 (en) * 2021-05-18 2022-11-24 Snap Inc. Intrinsic parameters estimation in visual tracking systems
US11688101B2 (en) 2021-05-18 2023-06-27 Snap Inc. Intrinsic parameters estimation in visual tracking systems
BE1029715B1 (nl) * 2021-08-25 2023-03-28 Rods&Cones Holding Bv Geautomatiseerde kalibratie van hoofdgedragen handenvrije camera
CN114286075B (zh) * 2021-12-01 2024-06-14 图腾视界(广州)数字科技有限公司 校正参数调整方法、装置、电子设备及可读介质
WO2023130046A1 (en) * 2021-12-30 2023-07-06 Canon U.S.A., Inc. Systems and methods for virtual reality immersive calling
WO2022266556A1 (en) * 2022-08-09 2022-12-22 Innopeak Technology, Inc. Methods and systems for motion prediction
US11983337B1 (en) 2022-10-28 2024-05-14 Dell Products L.P. Information handling system mouse with strain sensor for click and continuous analog input
US11914800B1 (en) 2022-10-28 2024-02-27 Dell Products L.P. Information handling system stylus with expansion bay and replaceable module
US11983061B1 (en) 2022-10-28 2024-05-14 Dell Products L.P. Information handling system peripheral device sleep power management

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1802586A (zh) * 2003-06-12 2006-07-12 西门子共同研究公司 校准真实和虚拟视图
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN103179692A (zh) * 2011-12-26 2013-06-26 陈建新 基于ZigBee/IEEE802.15.4的人体运动追踪***
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
CN203314184U (zh) * 2013-02-04 2013-12-04 浙江铭众生物医学创业投资有限公司 头戴式设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003079272A1 (en) * 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US7002551B2 (en) 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display
US6867753B2 (en) 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
JP2005107247A (ja) 2003-09-30 2005-04-21 Canon Inc 位置姿勢推定方法および装置
JP2007071782A (ja) 2005-09-08 2007-03-22 Canon Inc 位置姿勢計測システム及びその計測方法、並びに制御プログラム
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
JP4967546B2 (ja) * 2006-09-05 2012-07-04 株式会社島津製作所 ヘッドモーショントラッカ装置
JP5292725B2 (ja) 2007-05-24 2013-09-18 株式会社島津製作所 モーショントラッカ装置
EP2012170B1 (en) 2007-07-06 2017-02-15 Harman Becker Automotive Systems GmbH Head-tracking system and operating method thereof
US8678282B1 (en) 2010-11-29 2014-03-25 Lockheed Martin Corporation Aim assist head-mounted display apparatus
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
US9529426B2 (en) * 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
JP2013258614A (ja) * 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US9239460B2 (en) * 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US9303999B2 (en) * 2013-12-30 2016-04-05 Google Technology Holdings LLC Methods and systems for determining estimation of motion of a device
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
WO2015139005A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1802586A (zh) * 2003-06-12 2006-07-12 西门子共同研究公司 校准真实和虚拟视图
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
CN103179692A (zh) * 2011-12-26 2013-06-26 陈建新 基于ZigBee/IEEE802.15.4的人体运动追踪***
CN203314184U (zh) * 2013-02-04 2013-12-04 浙江铭众生物医学创业投资有限公司 头戴式设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826375A (zh) * 2018-08-10 2020-02-21 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
CN109711302A (zh) * 2018-12-18 2019-05-03 北京诺亦腾科技有限公司 模型参数校准方法、装置、计算机设备和存储介质
CN109711302B (zh) * 2018-12-18 2019-10-18 北京诺亦腾科技有限公司 模型参数校准方法、装置、计算机设备和存储介质
CN113498505A (zh) * 2019-03-04 2021-10-12 脸谱公司 通过预测传感器数据对被跟踪对象的姿态建模
CN110688002A (zh) * 2019-09-06 2020-01-14 广东虚拟现实科技有限公司 虚拟内容的调整方法、装置、终端设备及存储介质
CN110688002B (zh) * 2019-09-06 2023-12-19 广东虚拟现实科技有限公司 虚拟内容的调整方法、装置、终端设备及存储介质
CN111988534A (zh) * 2020-07-23 2020-11-24 首都医科大学附属北京朝阳医院 一种基于多摄像头的画面拼接方法和装置

Also Published As

Publication number Publication date
AU2015203932B2 (en) 2017-04-06
CA2930773C (en) 2017-07-11
US10001834B2 (en) 2018-06-19
MX348608B (es) 2017-06-21
US9524580B2 (en) 2016-12-20
IL245813A (en) 2017-08-31
JP6381711B2 (ja) 2018-08-29
MX2016008908A (es) 2016-09-16
CN108107592B (zh) 2019-11-05
US20150193983A1 (en) 2015-07-09
JP2017503418A (ja) 2017-01-26
CN105850113B (zh) 2018-02-13
KR20160105796A (ko) 2016-09-07
US20170147066A1 (en) 2017-05-25
US20150193949A1 (en) 2015-07-09
CA2930773A1 (en) 2015-07-09
CN105850113A (zh) 2016-08-10
JP2017142813A (ja) 2017-08-17
US9600925B2 (en) 2017-03-21
KR101762297B1 (ko) 2017-07-28
EP3017591A4 (en) 2017-09-27
IL245813A0 (en) 2016-07-31
US9779540B2 (en) 2017-10-03
AU2015203932A1 (en) 2016-06-09
JP6110573B2 (ja) 2017-04-05
EP3017591A1 (en) 2016-05-11
WO2015103621A1 (en) 2015-07-09
EP3017591B1 (en) 2018-12-12
BR112016013563A2 (zh) 2017-08-08
BR112016013563A8 (pt) 2020-05-19
US20170053454A1 (en) 2017-02-23
KR20170086707A (ko) 2017-07-26
KR102121994B1 (ko) 2020-06-11

Similar Documents

Publication Publication Date Title
CN105850113B (zh) 虚拟现实***的校准
US12031838B2 (en) System, methods, device and apparatuses for preforming simultaneous localization and mapping
US10848745B2 (en) Head-mounted display tracking system
CN108351514B (zh) 使用结构光的眼睛追踪
CN106462733B (zh) 一种用于视线检测校准的方法和计算设备
CN108780223A (zh) 用于生成眼睛模型的角膜球跟踪
WO2018134686A2 (en) Systems, methods, device and apparatuses for performing simultaneous localization and mapping
CN106575039A (zh) 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
US11914762B2 (en) Controller position tracking using inertial measurement units and machine learning
US10705606B1 (en) Tracking sensor integration system and method for recursive estimation of pose of user&#39;s body part
CN109643152A (zh) 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画
US10109067B2 (en) Corneal sphere tracking for generating an eye model
US11585931B2 (en) Light direction detector systems and methods
CN110554501B (zh) 头戴式显示器及用于确定佩戴其的用户的视线的方法
WO2022146858A1 (en) Controller position tracking using inertial measurement units and machine learning
Jatesiktat et al. Recovery of forearm occluded trajectory in kinect using a wrist-mounted inertial measurement unit
Calloway Adaptive Three-Tier Sensor Fusion Model with Application to See-Through Augmented Reality in Urban Environments
Kam Robust Combined Approach for Human Action Recognition and Medical Diagnostics
e Sousa et al. INTEGRATION OF VISION AND INERTIAL SENSING

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: California, USA

Applicant before: OCULUS VR, LLC

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder