CN108604383A - 重新定位***和方法 - Google Patents

重新定位***和方法 Download PDF

Info

Publication number
CN108604383A
CN108604383A CN201680080997.3A CN201680080997A CN108604383A CN 108604383 A CN108604383 A CN 108604383A CN 201680080997 A CN201680080997 A CN 201680080997A CN 108604383 A CN108604383 A CN 108604383A
Authority
CN
China
Prior art keywords
image
data structure
dimensional vector
method described
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680080997.3A
Other languages
English (en)
Inventor
B·施罗德
T·J·马利耶维奇
A·拉比诺维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN108604383A publication Critical patent/CN108604383A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

一种确定图像捕获设备的姿态的方法包括使用图像捕获设备捕获图像。所述方法还包括生成与所捕获的图像对应的数据结构。所述方法进一步包括将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构。此外，所述方法包括读取与所述最相似的已知数据结构对应的元数据以确定所述图像捕获设备的姿态。

Description

重新定位***和方法
相关申请的交叉引用
本申请要求2015年12月4日提交的序列号为62/263,529、名称为“RELOCALIZATIONSYSTEMS AND METHODS(重新定位***和方法)”、代理案卷号为9512-30061.00US的美国临时申请的优先权。本申请包括与2016年5月9日提交的序列号为15/150,042、名称为“DEVICES,METHODS AND SYSTEMS FOR BIOMETRIC USER RECOGNITION UTILIZING NEURALNETWORKS(用于利用神经网络的生物用户识别的设备、方法和***)”、代理案卷号为ML.20028.00的美国实用新型专利申请中描述的主题类似的主题。上述专利申请的全部内容通过引用特此明确地全部并入此文，就像完整阐述一样。
本文中的主题可以与诸如由诸如佛罗里达州劳德代尔堡的奇跃公司等的组织设计的那些可穿戴计算***及其部件的各种***一起应用和/或使用。以下文献的全部内容通过引用特此明确地全部并入此文，就像完整阐述一样：序列号为14/641,376的美国专利申请；序列号为14/555,585的美国专利申请；序列号为14/205,126的美国专利申请；序列号为14/212,961的美国专利申请；序列号为14/690,401的美国专利申请；序列号为13/663,466的美国专利申请；以及序列号为13/684,489的美国专利申请。
技术领域
本公开涉及用于定位姿态敏感***的设备、方法和***。特别地，本公开涉及用于重新定位已经或丢失和/或尚未建立***姿态的姿态敏感***的设备、方法和***。
背景技术
越来越多的***需要姿态信息以使***最优运行。为了最优性能而需要姿态信息的***的示例包括但不限于机器人技术和混合现实(MR)***(即，虚拟现实(VR)和/或增强现实(AR)***)。这样的***可以被统称为“姿态敏感”***。姿态信息的一个示例是在三维空间中对姿态敏感***进行定位和定向的沿六个自由度的空间信息。
姿态敏感***可能在各种事件后“丢失”(即，失去对***姿态的追踪)。这些事件中的一些包括：1.快速相机运动(例如，在运动参与者穿戴的AR***中)；2.遮挡(例如，被走入视场的人遮挡)；3.运动模糊(例如，在AR***用户快速转动头部的情况下)；4.照明不良(例如，闪烁的灯)；5.偶发***故障(例如，电源故障)；以及6.无特征的环境(例如，具有素色墙的房间)。这些事件中和许多其他事件中的任一事件可以极大地影响基于特征的追踪，例如当前具有鲁棒追踪前端的同时定位和建图(“SLAM”)***所采用的追踪，从而导致这些***丢失。
因此，重新定位(即，当***在已经建图的空间中“丢失”时在图中找到***的姿态)是实时视觉追踪的有挑战性的关键方面。追踪故障是SLAM***中的重要问题，且***恢复(或者重新定位)的能力依赖于***精确地识别其先前已经访问过的位置的能力。
机器人技术中基于图像的定位问题通常被称为丢失机器人问题(或者绑架机器人问题)。丢失机器人问题还与唤醒机器人问题和循环闭合检测两者都有关。唤醒机器人问题涉及首次开启***。循环闭合检测涉及重新访问先前访问过的位置的成功追踪的***。在循环闭合检测中，图像定位***必须识别出之前***已经访问过该位置。这样的循环闭合检测有助于防止定位漂移，且在构建大型环境的3D地图时是重要的。因此，姿态敏感***定位在除丢失***场景以外的情况下是有用的。
MR***(例如AR***)具有比典型机器人***更高的定位要求。本文描述的和要求保护的用于定位姿态敏感***的设备、方法和***可以有助于全部姿态敏感***的最优运行。
发明内容
在涉及一种确定图像捕获设备的姿态的方法的一个实施例中，所述方法包括使用图像捕获设备捕获图像。所述方法还包括生成与所捕获的图像对应的数据结构。所述方法进一步包括将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构。此外，所述方法包括读取与所述最相似的已知数据结构对应的元数据以确定所述图像捕获设备的姿态。
在一个或多个实施例中，所述数据结构是所捕获的图像的紧凑表示。所述数据结构可以是N维矢量。所述数据结构可以是128维矢量。
在一个或多个实施例中，生成与所捕获的图像对应的数据结构包括使用神经网络将所捕获的图像映射为所述N维矢量。所述神经网络可以是卷积神经网络。
在一个或多个实施例中，所述多个已知数据结构中的每个是N维空间中的相应的已知N维矢量。所述多个已知数据结构中的每个可以是128维空间中的相应的已知128维矢量。
所述数据结构可以是N维矢量。将所述数据结构与所述多个已知数据结构进行比较以识别最相似的已知数据结构可以包括确定所述N维矢量与每个相应的已知N维矢量之间的相应的欧几里德距离。将所述数据结构与所述多个已知数据结构进行比较以识别最相似的已知数据结构还可以包括将与所述N维矢量具有最小距离的已知N维矢量识别为所述最相似的已知数据结构。
在一个或多个实施例中，所述方法还包括通过将多个已知图像映射为所述多个已知数据结构来训练神经网络。所述神经网络可以是卷积神经网络。训练所述神经网络可以包括基于对所述多个已知图像中的已知图像的对进行的比较来修改所述神经网络。
在一个或多个实施例中，训练所述神经网络包括基于对所述多个已知图像中的三元组(triplet)进行的比较来修改所述神经网络。所述多个已知图像中的每个已知图像可以具有包括姿态数据的相应元数据。训练所述神经网络可以包括访问用所述相应元数据注释的所述已知图像的数据库。所述姿态数据可以对与已知图像对应的相机的平移和旋转进行编码。
在一个或多个实施例中，所述多个已知数据结构中的每个已知数据结构是N维空间中的相应的已知N维矢量。所述三元组中的第一已知图像可以是所述三元组中的第二已知图像的匹配图像。所述三元组中的第三已知图像可以是所述三元组中的所述第一已知图像的不匹配图像。在与匹配的第一已知图像和第二已知图像对应的相应的第一和第二姿态数据之间的第一欧几里德距离可以小于预定阈值。在与不匹配的第一已知图像和第三已知图像对应的相应的第一姿态数据和第三姿态数据之间的第二欧几里德距离可以大于所述预定阈值。
在一个或多个实施例中，训练所述神经网络包括减小在N维空间中与匹配的第一已知图像和第二已知图像分别对应的第一已知N维矢量和第二已知N维矢量之间的第一欧几里德距离。训练所述神经网络还可以包括增大在所述N维空间中与不匹配的第一已知图像和第三已知图像分别对应的第一已知N维矢量和第三已知N维矢量之间的第二欧几里德距离。
在一个或多个实施例中，所述方法还包括将所述数据结构与所述多个已知数据结构进行比较以实时识别所述最相似的已知数据结构。与所述最相似的已知数据结构对应的元数据可以包括与所述最相似的已知数据结构对应的姿态数据。所述方法还包括根据所述最相似的已知数据结构的元数据中的姿态数据确定所述图像捕获设备的姿态。
附图说明
附图示出了本发明的各种实施例的设计和使用。应当注意，附图未按比例绘制，并且在所有附图中，相似的结构或功能的元件由相同的参考标记表示。为了更好地理解如何获得本发明的各种实施例的上述和其它优点和目的，将通过参考在附图中示出的具体实施例来对上面简要描述的本发明进行更详细的描述。应当理解，这些附图仅描绘了本发明的典型实施例，因此不应被认为限制本发明的范围，通过使用附图，将更加具体和详细地描述和解释本发明，附图中：
图1是根据一个实施例的用于定位/重新定位***的查询图像和六个已知图像的示意图；
图2是根据一个实施例的将图像嵌入数据结构的示意图；
图3是根据一个实施例的用于训练神经网络的方法的示意图；
图4是根据一个实施例的用于定位/重新定位姿态敏感***的方法中的数据流的示意图；
图5是示出根据一个实施例的用于定位/重新定位姿态敏感***的方法的流程图。
具体实施方式
本发明的各种实施例在单个实施例或多个实施例中涉及用于定位/重新定位姿态敏感***(例如增强现实(AR)***)的方法、***和制品。在具体实施方式、附图以及权利要求中描述了本发明的其他目的、特征以及优点。
现在将参照附图详细描述各种实施例，提供各种实施例作为本发明的例示性示例以使本领域技术人员能够实践本发明。值得注意的是，以下附图和示例不旨在限制本发明的范围。在可以使用已知部件(或方法或过程)部分地或完全地实施本发明的某些要素的情况下，将仅描述这样的已知部件(或方法或过程)的对本发明的理解所必需的那些部分，且将省略这样的已知组件(或方法或过程)的其他部分的详细描述以不使本发明模糊。另外，各种实施例包含对本文中以例示的方式提到的部件的现在或未来已知的等同物。
定位/重新定位***和方法
增强现实显示***的各种实施例已在2014年11月27日提交的序列号为14/555,585、名称为“VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS(虚拟与增强现实***和方法)”、代理案卷号为ML-30011-US的共有美国实用新型专利申请，以及2014年5月30日提交的序列号为62/005,834、名称为“METHODS AND SYSTEM FOR CREATING FOCALPLANES IN VIRTUAL AND AUGMENTED REALITY(用于在虚拟与增强现实中创建焦平面的方法和***)”、代理案卷号为ML 30017.00的共有美国临时专利申请中讨论，上述美国专利申请的内容通过引用在此明确地全部并入此文，就像全面阐述一样。定位/重新定位***可独立于AR***实现，但仅为了说明的目的，关于AR***描述了下面多个实施例。
公开了用于定位/重新定位姿态敏感***的设备、方法和***。在一个实施例中，姿态敏感***可以是头戴式AR显示***。在其他实施例中，姿态敏感***可以是机器人。下面将针对头戴式AR***的定位/重新定位来描述各种实施例，但应当理解，本文公开的实施例可独立于任何现有的和/或已知的AR***使用。
例如，当AR***在经历一个上述混乱事件(例如快速相机移动、遮挡、运动模糊、照明不良、偶发***故障、无特征环境等)后“丢失”其姿态追踪时，所述AR***执行根据一个实施例的重新定位程序以重新建立最优***性能所需的***的姿态。AR***通过使用耦接到其上的一个或多个相机捕获一个或多个图像来开始重新定位程序。接下来，AR***将所捕获的图像与多个已知图像进行比较以识别与所捕获的图像最匹配的已知图像。然后，AR***访问包括姿态数据的用于最匹配已知图像的元数据，并使用所述最匹配已知图像的姿态数据来重新建立***的姿态。
图1示出了表示由丢失的AR***捕获的图像的查询图像110。图1还示出了与查询图像110进行比较的多个(例如，六个)已知图像112a-112f。已知图像112a-112f可以已被丢失的AR***新近捕获。图1所示的实施例中，已知图像112a是与查询图像110最匹配的已知图像。因此，AR***将使用与已知图像112a相关联的姿态数据来重新建立其姿态。姿态数据可对与最匹配的已知图像112a对应的相机的平移和旋转进行编码。
然而，逐像素地比较大量的(例如，多于10,000个)图像对在计算上是密集的。此限制使得逐像素比较对于实时(例如，每秒60或更多帧)姿态敏感***重新定位而言过于低效。因此，图1仅示意性示出了用于***重新定位的图像比较。
根据一个实施例，将查询图像(例如查询图像110)和多个已知图像(例如已知图像112a-112f)转换成既易于处理及比较又易于存储及组织的数据结构。特别地，通过将图像投影成保持三角形不等式的较低维流形来使每个图像“被嵌入”。三角形不等式是对于不在一条线上的任意单个点，任意两边的和大于第三边的几何特性。
在一个实施例中，较低维流形是N维矢量形式的数据结构。特别地，N维矢量可以是128维矢量。这样的128维矢量在数据结构的大小和对数据结构表示的图像进行分析的能力之间达到有效平衡。改变基于图像的定位/重新定位方法的N维矢量的维数可以影响相似性度量计算和端到端训练的速度(如下所述)。在所有其他因素相同的情况下，优选最低维表示。使用128维矢量导致基于图像的定位/重新定位方法的精简但鲁棒的嵌入。这样的矢量可以与卷积神经网络一起使用，使得定位/重新定位***能用新数据改善，并在新数据集上高效地起作用。
图2通过一系列分析/简化/减小步骤212示意性示出了图像210的嵌入。图像210可以是120像素×160像素的图像。在步骤212中对图像210的操作的结果是表示图像210的N维(例如，128维)矢量214。尽管本文描述的实施例使用128维矢量作为数据结构，但根据本文的实施例，包括具有不同维数的矢量的任何其他数据结构，可以表示在定位/重新定位***中待分析的图像。
对于定位/重新定位，图像的此紧凑表示(即嵌入)可被用于通过比较N维矢量之间的欧几里德(Euclidean)距离来比较一个位置与另一个位置的相似度。用基于室内和室外位置两者的数据集(如下所述)训练的与已知训练图像对应的已知N维矢量的网络可被配置为学习视觉相似性(正图像)和相异性(负图像)。基于此学习过程，嵌入能够以相对小的数据结构成功地对特定位置或区域的较大程度的外观变化进行编码，使其在定位/重新定位***中高效地表示位置。
网络训练
在网络可被用于高效地将图像嵌入数据结构之前必须对网络进行训练。图3示意性示出了根据一个实施例的用于使用图像三元组310、312、314训练网络300的方法。网络300可以是卷积神经网络300。网络训练***对一个训练周期使用查询图像312、正(匹配)图像310以及负(不匹配)图像314。图3中的查询图像312和正图像310各自描绘了可能来自不同观察点的同一对象(即，个人)。图3中的查询图像312和负图像314描绘了不同的对象(即，人)。同一网络310学习全部图像310、312、314，但被训练以使两个匹配图像310、312的分数320、322尽可能接近，并使不匹配的图像314的分数324与两个匹配图像310、312的分数320、322尽可能不同。用大量图像重复此训练过程。
当训练完成时，网络300将同一图像的不同视图靠近在一起映射，并将不同图像的不同视图分开较远映射。然后，此网络可被用于将图像编码到最靠近的相邻空间。当新捕获的图像被分析时(如上所述)，该最新捕获的图像被编码(例如，编码成N维矢量)。然后，定位/重新定位***可以确定所捕获的图像的最靠近的其他编码图像的距离。如果靠近某个(某些)编码图像，则认为所捕获的图像与那个(那些)图像匹配。如果远离某个编码图像，则认为所捕获的图像与那个图像不匹配。如在本申请中所使用的，“近”及“远”包括但不限于在两个姿态之间和/或两个N维矢量之间的相对欧几里德距离。
学习神经网络的权重(即训练算法)包括比较多个已知数据结构中的已知数据结构的三元组。所述三元组由查询图像、正图像和负图像构成。在与查询图像和正图像对应的相应的第一姿态数据和第二姿态数据之间的第一欧几里德距离小于预定阈值，并且在与查询图像和负图像对应的相应的第一姿态数据和第三姿态数据之间的第二欧几里德距离大于预定阈值。网络为三元组中的每个图像产生128维矢量，且如果负图像比正图像距查询图像更近(在欧几里德距离方面)，则误差项是非零的。误差通过使用神经网络反向传播算法的网络而被传播。可以通过减小N维空间中的与查询图像和正图像对应的第一和第二128维矢量之间的第一欧几里德距离，并且增大N维空间中的与查询图像和负图像对应的第一与第三128维矢量之间的第二欧几里德距离，来训练网络。在通过网络传递大量的三元组之后，实现网络的最终配置。
期望基于外观的重新定位***对于观察点、照度、比例的改变一般不变。上述深度量学习网络适用于解决外观不变的重新定位问题。在一个实施例中，三元组卷积神经网络模型将图像嵌入较低维空间，在所述较低维空间中***可以测量图像间的有意义的距离。通过仔细选择由形成相似图像的锚-正对和相异图像的锚-负对的三个图像构成的三元组，可以针对包括变化的位置的各种位置对卷积神经网络进行训练。
尽管上述训练实施例使用图像的三元组，但根据其他实施例的网络训练可利用其他多个图像(例如对和四元组(quadruplet))。对于图像对训练，查询图像可与正图像和负图像顺序配对。对于图像四元组训练，四元组应至少包括查询图像、正图像和负图像。基于网络被训练用于的预期应用，剩余的图像可以是附加的正图像或负图像。对于通常涉及不匹配多于匹配的定位/重新定位，四元组训练中的第四图像可以是负图像。
尽管上述训练实施例使用单个卷积神经网络，但其他训练实施例可以利用多个可操作地耦合的网络。在另外的其他实施例中，一个或多个网络可以是具有反向传播的其他类型的神经网络。
示例性网络架构
根据一个实施例的与定位/重新定位***一起使用的示例性神经网络具有3x3卷积和单个全连接层。此架构允许***利用常见架构的新兴硬件加速技以及对来自ImageNet预训练权重进行初始化的能力。此3x3卷积架构足以解决同一网络架构的各种问题。
此示例性神经网络架构包括8个卷积层和4个最大池化层(pooling layer)，接着是尺寸为128的单个全连接层。在每两个卷积块之后布置最大池化层，ReLU用于非线性，并在每个卷积之后布置BatchNorm层。最终的全连接层将尺寸为[8×10×128]的blob映射为128×1矢量，且自定义可微分L2-归一化提供最终嵌入。
定位/重新定位***和方法
既然已经描述了根据一个实施例的卷积神经网络的训练，图4和图5示出了根据两个实施例的定位/重新定位姿态敏感***的两个相似方法400、500。
图4示意性示出了被神经网络412嵌入到对应的查询数据结构414中的查询图像410。查询图像410可以已经被丢失的姿态敏感***获取以用于重新定位。神经网络412可以是被训练过的卷积神经网络(参见图3中的300)。查询数据结构414可以是128维矢量。
将与查询图像410对应的查询数据结构414与已知数据结构418a-418e的数据库416进行比较。每个已知数据结构418a-418e在数据库416中与对应的元数据420a-420e相关联，元数据420a-420e包括用于捕获与已知数据结构418对应的已知图像的***的姿态数据。比较的结果是与查询图像410对应的查询数据结构414的最近邻居(即，最佳匹配)的识别。所述最近邻居是具有距查询数据结构414最短的相对欧几里德距离的已知数据结构(例如，已知数据结构418b)。
在已经识别出最近邻居已知数据结构(在此实施例中，418b)之后，向***传送相关联的元数据420b。然后，***可以使用元数据420b中的姿态数据来定位/重新定位先前丢失的姿态敏感***。
图5是示出了基于图像的定位/重新定位的方法500的流程图。在步骤502，无姿态信息的姿态敏感***捕获图像。在步骤504，该***将所捕获的图像与多个已知图像进行比较。在步骤506，该***识别与所捕获的图像最匹配的已知图像。在步骤508，该***访问用于所述最匹配的已知图像的姿态元数据。在步骤510，该***根据用于所述最匹配的已知图像的姿态元数据为自身生成姿态信息。
使用三元组卷积神经网络的重新定位在精度和效率两方面都优于当前重新定位方法。
基于图像的建图
当定位/重新定位***被用于基于编码图像形成地图时，***获取位置图像，使用三元组网络对那些图片进行编码，并基于与所获取的图像最接近的一个或多个图像对应的位置将所述***定位在地图上。
在此描述了本发明的各种示例性实施例。在非限制性的意义上参考这些示例。提供这些示例是为了示出本发明的更广泛的可应用方面。在不脱离本发明的真实精神和范围的情况下，可对所描述的发明进行各种改变并可用等同物来替换。此外，可以进行很多修改以适应针对本发明的目的、精神或范围的特定情况、材料、物质的组合物、过程、过程动作或步骤。进一步地，如本领域的技术人员所理解的，在不脱离本发明的范围或精神的情况下，在此描述和示出的每个单独的变型具有独立的组件和特征，其可容易地与其他若干实施例的任意一个的特征分离或组合。所有这些修改旨在处于与本公开相关联的权利要求的范围之内。
本发明包括可使用主题设备执行的方法。该方法可包括提供这种合适的设备的动作。这种提供可由终端用户执行。换言之，“提供”动作仅需要终端用户的获得、访问、处理、定位、设置、激活、通电或其它动作，以在主题方法中提供必要的设备。在此所述的方法可按逻辑上可能的所述事件的任何顺序以及以所述的事件顺序来执行。
以上已经阐述了本发明的示例性方面以及关于材料选择和制造的细节。对于本发明的其它细节，可结合以上参考的专利和出版物以及本领域的技术人员通常知道或理解的来理解。这在关于如通常或逻辑上采用的附加动作的方面，关于本发明的基于方法的方面同样成立。
此外，虽然已经参考可选地包括各种特征的若干示例描述了本发明，但是本发明并不限于被描述或指示为针对本发明的每个变型所预期的。在不脱离本发明的真实精神和范围的情况下，可以对所描述的本发明进行各种变化，并且可用等同物(无论是本文所陈述的还是为了简洁的目的而未被包括的)来代替。此外，如果提供值的范围，则应当理解，在该范围的上限和下限之间的每个中间值和在该说明的范围中的任何其它说明的或中间的值被包括在本发明之内。
此外，可预期的是，所描述的本发明变型的任何可选特征可以独立地或者与本文描述的任何一个或多个特征组合来阐述和要求权利。对单数项目的引用包括存在多个相同项的可能性。更具体地，除非另有具体说明，当本文和与本文相关联的权利要求中所使用时，单数形式“一”、“一个”、“所述”和“该”包括复数指示对象。换言之，使用所述冠词允许有上述说明书以及与本公开相关联的权利要求中主题项中的“至少一个”。还应注意，可以撰写这样的权利要求以排除任何可选要素。因此，本声明旨在作为使用与权利要求要素的使用相关的“只”、“仅”等排他性术语或使用“否定”限制的先行基础。
在不使用这种排他性术语的情况下，与本公开相关联的权利要求中的术语“包括”应允许包括任何附加要素，不管在这样的权利要求中是否列举了给定数量的要素，或者所述特征的添加可以被视为转变在这些权利要求中阐述的要素的性质。除非本文中具体限定，否则本文使用的全部技术术语和科学术语在保持权利要求有效性的同时被赋予尽可能宽的通常理解的含义。
本发明的广度不限于所提供的示例和/或主题说明书，而是仅由与本公开相关联的权利要求语言的范围限制。
在前述说明书中，已经参考本发明的具体实施例对本发明进行了描述。然而，显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对本发明进行各种修改和改变。例如，参考处理动作的特定顺序来描述上述处理流程。然而，可以改变许多所描述的处理动作的排序而不影响本发明的范围或操作。因此，说明书和附图应被视为说明性的而非限制性的。

Claims (21)

1.一种确定图像捕获设备的姿态的方法，包括：
使用图像捕获设备捕获图像；
生成与所捕获的图像对应的数据结构；
将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构；
读取与所述最相似的已知数据结构对应的元数据以确定所述图像捕获设备的姿态。
2.根据权利要求1所述的方法，其中，所述数据结构是所捕获的图像的紧凑表示。
3.根据权利要求2所述的方法，其中，所述数据结构是N维矢量。
4.根据权利要求3所述的方法，其中，生成与所捕获的图像对应的所述数据结构包括使用神经网络将所捕获的图像映射为所述N维矢量。
5.根据权利要求4所述的方法，其中，所述神经网络是卷积神经网络。
6.根据权利要求3所述的方法，其中，所述数据结构是128维矢量。
7.根据权利要求1所述的方法，其中，所述多个已知数据结构中的每个是N维空间中的相应的已知N维矢量。
8.根据权利要求7所述的方法，其中，所述数据结构是N维矢量，并且
其中，将所述数据结构与所述多个已知数据结构进行比较以识别所述最相似的已知数据结构包括：
确定所述N维矢量与每个相应的已知N维矢量之间的相应的欧几里德距离，以及
将与所述N维矢量具有最小距离的已知N维矢量识别为所述最相似的已知数据结构。
9.根据权利要求7所述的方法，其中，所述多个已知数据结构中的每个是128维空间中的相应的已知128维矢量。
10.根据权利要求1所述的方法，进一步包括通过将多个已知图像映射为所述多个已知数据结构来训练神经网络。
11.根据权利要求10所述的方法，其中，所述神经网络是卷积神经网络。
12.根据权利要求10所述的方法，其中，训练所述神经网络包括基于对所述多个已知图像中的已知图像的对进行的比较来修改所述神经网络。
13.根据权利要求10所述的方法，其中，训练所述神经网络包括基于对所述多个已知图像中的已知图像的三元组进行的比较来修改所述神经网络。
14.根据权利要求10所述的方法，其中，所述多个已知图像中的每个已知图像具有相应的元数据，所述元数据包括姿态数据，以及
其中，训练所述神经网络包括访问用所述相应的元数据注释的所述已知图像的数据库。
15.根据权利要求14所述的方法，其中，所述姿态数据对与已知图像对应的相机的平移和旋转进行编码。
16.根据权利要求14所述的方法，其中，所述多个已知数据结构中的每个已知数据结构是N维空间中的相应的已知N维矢量，
其中，所述三元组中的第一已知图像是所述三元组中的第二已知图像的匹配图像，以及
其中，所述三元组中的第三已知图像是所述三元组中的所述第一已知图像的不匹配图像。
17.根据权利要求16所述的方法，其中，在与匹配的第一已知图像和第二已知图像对应的相应的第一姿态数据和第二姿态数据之间的第一欧几里德距离小于预定阈值，以及
其中，在与不匹配的第一已知图像和第三已知图像对应的相应的第一姿态数据和第三姿态数据之间的第二欧几里德距离大于所述预定阈值。
18.根据权利要求16所述的方法，其中，训练所述神经网络包括：
减小在N维空间中与所述匹配的第一已知图像和第二已知图像分别对应的第一已知N维矢量和第二已知N维矢量之间的第一欧几里德距离；以及
增大在所述N维空间中与所述不匹配的第一已知图像和第三已知图像分别对应的第一已知N维矢量和第三已知N维矢量之间的第二欧几里德距离。
19.根据权利要求1所述的方法，进一步包括将所述数据结构与所述多个已知数据结构进行比较以实时识别所述最相似的已知数据结构。
20.根据权利要求1所述的方法，其中，与所述最相似的已知数据结构对应的所述元数据包括与所述最相似的已知数据结构对应的姿态数据。
21.根据权利要求20所述的方法，进一步包括根据所述最相似的已知数据结构的所述元数据中的所述姿态数据确定所述图像捕获设备的姿态。
CN201680080997.3A 2015-12-04 2016-12-05 重新定位***和方法 Pending CN108604383A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562263529P 2015-12-04 2015-12-04
US62/263,529 2015-12-04
PCT/US2016/065001 WO2017096396A1 (en) 2015-12-04 2016-12-05 Relocalization systems and methods

Publications (1)

Publication Number Publication Date
CN108604383A true CN108604383A (zh) 2018-09-28

Family

ID=58798069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680080997.3A Pending CN108604383A (zh) 2015-12-04 2016-12-05 重新定位***和方法

Country Status (9)

Country Link
US (2) US10909711B2 (zh)
EP (1) EP3384468A4 (zh)
JP (1) JP2018536244A (zh)
KR (1) KR20180090355A (zh)
CN (1) CN108604383A (zh)
AU (1) AU2016365422A1 (zh)
CA (1) CA3007367A1 (zh)
IL (1) IL259766B (zh)
WO (1) WO2017096396A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522436A (zh) * 2018-11-29 2019-03-26 厦门美图之家科技有限公司 相似图像查找方法及装置
CN111739105A (zh) * 2020-08-07 2020-10-02 北京理工大学 一种直播机位摄像方案自动学习方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
NZ735465A (en) 2015-03-05 2021-07-30 Magic Leap Inc Systems and methods for augmented reality
CA3007367A1 (en) 2015-12-04 2017-06-08 Magic Leap, Inc. Relocalization systems and methods
IL303182B2 (en) 2016-08-02 2024-07-01 Magic Leap Inc Virtual and augmented reality systems at a fixed distance and methods
US10902243B2 (en) * 2016-10-25 2021-01-26 Deep North, Inc. Vision based target tracking that distinguishes facial feature targets
AU2017361096B2 (en) 2016-11-16 2022-09-01 Magic Leap, Inc. Thermal management systems for wearable components
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
WO2018148493A1 (en) * 2017-02-09 2018-08-16 Painted Dog, Inc. Methods and apparatus for detecting, filtering, and identifying objects in streaming video
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
EP3596702A4 (en) 2017-03-17 2020-07-22 Magic Leap, Inc. MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS
CA3054619C (en) 2017-03-17 2024-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
JP7009494B2 (ja) 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法
CN110770717B (zh) * 2017-05-17 2024-04-16 谷歌有限责任公司 通过通信网络与指定用户的自动图像共享
CN109308678B (zh) * 2017-07-28 2023-10-27 株式会社理光 利用全景图像进行重定位的方法、装置及设备
US10515295B2 (en) * 2017-10-27 2019-12-24 Adobe Inc. Font recognition using triplet loss neural network training
CN110134117B (zh) * 2018-02-08 2022-07-29 杭州萤石软件有限公司 一种移动机器人重定位方法、移动机器人及电子设备
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3750029A1 (en) 2018-02-09 2020-12-16 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters using a neural network
EP3750028B1 (en) 2018-02-09 2022-10-19 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
EP3827584A4 (en) 2018-07-23 2021-09-08 Magic Leap, Inc. INTRA-FIELD SUB-CODE SYNCHRONIZATION IN SEQUENTIAL FIELD DISPLAYS
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
CN116300091A (zh) 2018-07-23 2023-06-23 奇跃公司 用于使用位置向量解析半球模糊度的方法和***
US10318842B1 (en) * 2018-09-05 2019-06-11 StradVision, Inc. Learning method, learning device for optimizing parameters of CNN by using multiple video frames and testing method, testing device using the same
US10810468B2 (en) * 2019-01-30 2020-10-20 Mitsubishi Electric Research Laboratories, Inc. System for training descriptor with active sample selection
US20200272895A1 (en) * 2019-02-25 2020-08-27 International Business Machines Corporation Answering cognitive queries from sensor input signals
US11669558B2 (en) * 2019-03-28 2023-06-06 Microsoft Technology Licensing, Llc Encoder using machine-trained term frequency weighting factors that produces a dense embedding vector
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11216505B2 (en) * 2019-09-05 2022-01-04 Adobe Inc. Multi-resolution color-based image search
WO2021173862A1 (en) 2020-02-26 2021-09-02 Magic Leap, Inc. Cross reality system with buffering for localization accuracy
CN113807512B (zh) * 2020-06-12 2024-01-23 株式会社理光 机器阅读理解模型的训练方法、装置及可读存储介质
DE102020116774A1 (de) * 2020-06-25 2021-12-30 Connaught Electronics Ltd. Automatische visuelle Wahrnehmung mittels eines künstlichen neuronalen Netzes
US11887217B2 (en) 2020-10-26 2024-01-30 Adobe Inc. Text editing of digital images
TW202230211A (zh) * 2020-12-10 2022-08-01 美商尼安蒂克公司 使用圖像神經網路及相關姿勢監督之視覺攝影機重新局部化
EP4016377A1 (en) * 2020-12-21 2022-06-22 Axis AB A device and a method for associating object detections between frames using a neural network
US20230260249A1 (en) * 2022-02-16 2023-08-17 Donde Fashion, Inc. Systems and methods for training and using a machine learning model for matching objects
CN114545400B (zh) * 2022-04-27 2022-08-05 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面机器人的全局重定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110184950A1 (en) * 2010-01-26 2011-07-28 Xerox Corporation System for creative image navigation and exploration
US20130290222A1 (en) * 2012-04-27 2013-10-31 Xerox Corporation Retrieval system and method leveraging category-level labels
US20140212027A1 (en) * 2012-05-04 2014-07-31 Aaron Hallquist Single image pose estimation of image capture devices
CN104299035A (zh) * 2014-09-29 2015-01-21 国家电网公司 基于聚类算法和神经网络的变压器故障诊断方法
US20150163345A1 (en) * 2013-12-06 2015-06-11 Digimarc Corporation Smartphone-based methods and systems
US20150178554A1 (en) * 2013-12-19 2015-06-25 Objectvideo, Inc. System and method for identifying faces in unconstrained media
CN104866829A (zh) * 2015-05-25 2015-08-26 苏州大学 一种基于特征学习的跨年龄人脸验证方法

Family Cites Families (231)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462165A (en) 1983-01-31 1984-07-31 The Boeing Company Three axis orientation sensor for an aircraft or the like
US6701296B1 (en) 1988-10-14 2004-03-02 James F. Kramer Strain-sensing goniometers, systems, and recognition algorithms
US5047952A (en) 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
CA2358682A1 (en) 1992-08-14 1994-03-03 British Telecommunications Public Limited Company Position location system
CA2142338C (en) 1992-08-14 1999-11-30 John Stuart Bladen Position location system
US5583974A (en) 1993-05-10 1996-12-10 Apple Computer, Inc. Computer graphics system having high performance multiple layer Z-buffer
TW275590B (en) 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5592401A (en) 1995-02-28 1997-01-07 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5684498A (en) 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
CA2238693C (en) 1995-11-27 2009-02-24 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
US5784115A (en) 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6163155A (en) 1999-01-28 2000-12-19 Dresser Industries, Inc. Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations
US6407736B1 (en) 1999-06-18 2002-06-18 Interval Research Corporation Deferred scanline conversion architecture
GB9917591D0 (en) 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
AU2001233019A1 (en) 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
WO2001067749A2 (en) 2000-03-07 2001-09-13 Sarnoff Corporation Camera pose estimation
US6891533B1 (en) 2000-04-11 2005-05-10 Hewlett-Packard Development Company, L.P. Compositing separately-generated three-dimensional images
US6738044B2 (en) 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
US20020180727A1 (en) 2000-11-22 2002-12-05 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors
US6691074B1 (en) 2001-02-08 2004-02-10 Netmore Ltd. System for three dimensional positioning and tracking
US6861982B2 (en) 2001-08-16 2005-03-01 Itt Manufacturing Enterprises, Inc. System for determining position of an emitter
US7113618B2 (en) 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP3984907B2 (ja) 2002-11-29 2007-10-03 キヤノン株式会社 画像観察システム
US20070155589A1 (en) 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
JP2004213350A (ja) 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
US20050107870A1 (en) 2003-04-08 2005-05-19 Xingwu Wang Medical device with multiple coating layers
US7643025B2 (en) 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7443154B1 (en) 2003-10-04 2008-10-28 Seektech, Inc. Multi-sensor mapping omnidirectional sonde and line locator
CA2450837A1 (en) 2003-11-25 2005-05-25 University Of New Brunswick Induction magnetometer
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
JP4508820B2 (ja) 2004-10-19 2010-07-21 株式会社ワコム ３次元情報検出システム及び３次元情報入力装置
EP1814101A1 (en) 2004-11-19 2007-08-01 Daem Interactive, Sl Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US8567953B2 (en) 2005-04-26 2013-10-29 Imax Corporation Systems and methods for projecting composite images
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4437228B2 (ja) 2005-11-07 2010-03-24 大学共同利用機関法人情報・システム研究機構 焦点ぼけ構造を用いたイメージング装置及びイメージング方法
KR100722229B1 (ko) 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
JP4196302B2 (ja) * 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4804256B2 (ja) 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8194088B1 (en) 2006-08-03 2012-06-05 Apple Inc. Selective composite rendering
US7921120B2 (en) 2006-11-30 2011-04-05 D&S Consultants Method and system for image recognition using a similarity inverse matrix
CN101093586A (zh) 2007-07-12 2007-12-26 上海交通大学 面向复杂场景实时交互操作的并行碰撞检测方法
US8165352B1 (en) 2007-08-06 2012-04-24 University Of South Florida Reconstruction of biometric image templates using match scores
US10095815B2 (en) 2008-11-19 2018-10-09 Elbit Systems Ltd. System and a method for mapping a magnetic field
IL195389A (en) 2008-11-19 2013-12-31 Elbit Systems Ltd Magnetic Field Mapping System and Method
US20090115406A1 (en) 2007-11-01 2009-05-07 General Electric Company System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system
US9013505B1 (en) 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US7795596B2 (en) 2008-01-03 2010-09-14 Alcatel-Lucent Usa Inc. Cloaking device detection system
WO2009091563A1 (en) 2008-01-18 2009-07-23 Thomson Licensing Depth-image-based rendering
US20090184825A1 (en) 2008-01-23 2009-07-23 General Electric Company RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System
GB2468994B (en) 2008-01-23 2012-11-28 Intel Corp Method, apparatus and computer program product for improved graphics performance
US8926511B2 (en) 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US8446426B2 (en) 2008-04-28 2013-05-21 Apple Inc. Technique for visually compositing a group of graphical objects
KR20090120159A (ko) 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
US8929877B2 (en) 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
JP5415054B2 (ja) 2008-10-28 2014-02-12 セイコーエプソン株式会社 駆動方法および電気光学装置
EP2354896B1 (en) 2008-11-14 2016-12-21 Sony Interactive Entertainment Inc. Operating device and information processing apparatus
US8188745B2 (en) 2008-12-05 2012-05-29 Metrotech Corporation Inc. Precise location and orientation of a concealed dipole transmitter
US9465129B1 (en) 2009-03-06 2016-10-11 See Scan, Inc. Image-based mapping locating system
US8860723B2 (en) 2009-03-09 2014-10-14 Donya Labs Ab Bounded simplification of geometrical computer data
JP5177078B2 (ja) 2009-05-26 2013-04-03 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
US8441962B1 (en) 2010-04-09 2013-05-14 Sprint Spectrum L.P. Method, device, and system for real-time call announcement
TWI399688B (zh) 2010-06-08 2013-06-21 Waltop Int Corp 整合電磁式及電容感應輸入裝置
JP2012043308A (ja) * 2010-08-20 2012-03-01 Canon Inc 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
US20120086630A1 (en) 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
FR2966251B1 (fr) 2010-10-19 2014-04-25 Astrium Sas Systeme d'orientation et de positionnement d'un recepteur electromagnetique
US8660369B2 (en) 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
US8745061B2 (en) 2010-11-09 2014-06-03 Tibco Software Inc. Suffix array candidate selection and index data structure
US9235894B2 (en) * 2011-01-27 2016-01-12 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
JP5724544B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9206007B2 (en) 2011-05-31 2015-12-08 Twist-Ease Inc. Bag dispenser
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
US20150100380A1 (en) 2011-07-20 2015-04-09 Raymond P. Jones, JR. Systems and methods for providing financial controls for aggregated weather-based work
WO2013023706A1 (en) 2011-08-18 2013-02-21 Layar B.V. Computer-vision based augmented reality system
US20150040074A1 (en) 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US8749396B2 (en) 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
WO2013029674A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
WO2013040274A2 (en) 2011-09-13 2013-03-21 Sadar 3D, Inc. Synthetic aperture radar apparatus and methods
US8821286B2 (en) 2011-09-29 2014-09-02 Wms Gaming, Inc. Wagering game system having motion sensing controllers
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9215293B2 (en) 2011-10-28 2015-12-15 Magic Leap, Inc. System and method for augmented and virtual reality
CN107664847B (zh) 2011-11-23 2021-04-06 奇跃公司 三维虚拟和增强现实显示***
US8989775B2 (en) 2012-02-29 2015-03-24 RetailNext, Inc. Method and system for WiFi-based identification of person tracks
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
EP2704055A1 (en) 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
JP2014049934A (ja) 2012-08-31 2014-03-17 Sony Corp ヘッドマウントディスプレイ
US9134954B2 (en) 2012-09-10 2015-09-15 Qualcomm Incorporated GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault
EP2711670B1 (en) 2012-09-21 2019-01-30 NavVis GmbH Visual localisation
GB201217372D0 (en) 2012-09-28 2012-11-14 Ucl Business Plc A system and method for annotating images by propagating information
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9188694B2 (en) 2012-11-16 2015-11-17 Halliburton Energy Services, Inc. Optical interferometric sensors for measuring electromagnetic fields
US9160727B1 (en) 2012-11-30 2015-10-13 Microstrategy Incorporated Providing credential information
US9026847B2 (en) 2012-12-21 2015-05-05 Advanced Micro Devices, Inc. Hardware based redundant multi-threading inside a GPU for improved reliability
US20140176591A1 (en) 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
WO2014105385A1 (en) 2012-12-27 2014-07-03 The Regents Of The University Of California Anamorphic stretch image compression
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
WO2014164901A1 (en) 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9542613B2 (en) 2013-03-15 2017-01-10 Orcam Technologies Ltd. Systems and methods for processing images
CN108628446B (zh) 2013-03-15 2021-10-26 奇跃公司 显示***和方法
US20140323148A1 (en) 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US9269003B2 (en) 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US9367960B2 (en) 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US10254855B2 (en) 2013-06-04 2019-04-09 Wen-Chieh Geoffrey Lee High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9712473B2 (en) 2013-07-11 2017-07-18 Facebook, Inc. Methods, systems, and user interfaces for community-based location ratings
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP6192010B2 (ja) * 2013-09-05 2017-09-06 国立大学法人 東京大学 重み設定装置および方法
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
NZ755272A (en) 2013-11-27 2020-05-29 Magic Leap Inc Virtual and augmented reality systems and methods
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
US9360935B2 (en) 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US20160147063A1 (en) 2014-11-26 2016-05-26 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9405122B2 (en) 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
EP3170131A2 (en) 2014-03-04 2017-05-24 Google, Inc. Map personalization based on social clues
US20160203624A1 (en) 2014-03-05 2016-07-14 Google Inc. System and Method for Providing Combined Multi-Dimensional Map Views
WO2015134958A1 (en) 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN105005457B (zh) 2014-04-25 2019-04-09 腾讯科技（深圳）有限公司 地理位置展示方法及装置
US9953243B2 (en) 2014-04-25 2018-04-24 Google Llc Electronic device localization based on imagery
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9727341B2 (en) 2014-05-09 2017-08-08 Samsung Electronics Co., Ltd. Control flow in a thread-based environment without branching
EP3926589A1 (en) 2014-06-03 2021-12-22 Apple Inc. Method and system for presenting a digital information related to a real object
US20150358539A1 (en) 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
US20150379772A1 (en) 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
WO2016002409A1 (ja) 2014-07-01 2016-01-07 シャープ株式会社 フィールドシーケンシャル画像表示装置および画像表示方法
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10162177B2 (en) 2014-07-11 2018-12-25 Sixense Entertainment, Inc. Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking
US9363644B2 (en) 2014-07-16 2016-06-07 Yahoo! Inc. System and method for detection of indoor tracking units
US9719871B2 (en) 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
EP3192058A4 (en) 2014-09-08 2018-05-02 Simx LLC Augmented reality simulator for professional and educational training
JP2017532847A (ja) 2014-09-09 2017-11-02 ノキア テクノロジーズ オーユー 立体録画及び再生
US20160104308A1 (en) 2014-10-14 2016-04-14 Microsoft Technology Licensing, Llc. Performance optimization for data visualization
US9478029B2 (en) 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
WO2016073557A1 (en) 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
US9818170B2 (en) 2014-12-10 2017-11-14 Qualcomm Incorporated Processing unaligned block transfer operations
WO2016100717A1 (en) * 2014-12-17 2016-06-23 Google Inc. Generating numeric embeddings of images
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
NZ735465A (en) 2015-03-05 2021-07-30 Magic Leap Inc Systems and methods for augmented reality
JP6814752B2 (ja) 2015-03-07 2021-01-20 ベリティ ストゥディオス アーゲー 分散された位置特定システムおよび方法ならびに自己位置特定装置
US9874932B2 (en) 2015-04-09 2018-01-23 Microsoft Technology Licensing, Llc Avoidance of color breakup in late-stage re-projection
US9814430B1 (en) 2015-04-17 2017-11-14 Bertec Corporation System and method for measuring eye movement and/or eye position and postural sway of a subject
KR20230136683A (ko) 2015-05-04 2023-09-26 매직 립, 인코포레이티드 가상 및 증강 현실을 위한 분리된 동공 광학 시스템들 및 이를 사용하여 이미지들을 디스플레이하기 위한 방법들
US10721280B1 (en) 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US20160378863A1 (en) * 2015-06-24 2016-12-29 Google Inc. Selecting representative video frames for videos
US10062010B2 (en) * 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US9875427B2 (en) * 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
WO2017044965A1 (en) 2015-09-10 2017-03-16 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
GB201518112D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US10026212B2 (en) 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
US20170161853A1 (en) 2015-12-03 2017-06-08 James Carroll Gossweiler Mapping system that identifies site-specific real estate due diligence professionals and related service providers
CA3007367A1 (en) 2015-12-04 2017-06-08 Magic Leap, Inc. Relocalization systems and methods
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
FR3046261B1 (fr) 2015-12-24 2018-08-31 Starbreeze Paris Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee
US10130429B1 (en) 2016-01-06 2018-11-20 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
KR20180110051A (ko) 2016-02-05 2018-10-08 매직 립, 인코포레이티드 증강 현실을 위한 시스템들 및 방법들
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
WO2017147178A1 (en) 2016-02-22 2017-08-31 Google Inc. Separate time-warping for a scene and an object for display of virtual reality content
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10453272B2 (en) 2016-05-29 2019-10-22 Google Llc Time-warping adjustment based on depth information in a virtual/augmented reality system
US10366536B2 (en) 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
IL303182B2 (en) 2016-08-02 2024-07-01 Magic Leap Inc Virtual and augmented reality systems at a fixed distance and methods
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
CA2976464A1 (en) 2016-08-16 2018-02-16 Sergi Berna Sague Method and system for wireless location and movement mapping, tracking and analytics
US10318115B2 (en) 2016-10-14 2019-06-11 OneMarket Network LLC System and method for presenting optimized map labels
US10942252B2 (en) 2016-12-26 2021-03-09 Htc Corporation Tracking system and tracking method
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
JP7009494B2 (ja) 2017-03-17 2022-01-25 マジック リープ， インコーポレイテッド カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法
EP3596702A4 (en) 2017-03-17 2020-07-22 Magic Leap, Inc. MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS
CA3054619C (en) 2017-03-17 2024-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
EP3619704A4 (en) 2017-05-01 2020-11-11 Pure Depth Inc. SACCADED SEQUENTIAL FIELD FRAGMENTATION REDUCTION BASED ON HEAD TRACKING
US10620710B2 (en) 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
GB201709752D0 (en) 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10403032B2 (en) 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10445922B2 (en) 2017-08-31 2019-10-15 Intel Corporation Last-level projection method and apparatus for virtual and augmented reality
US10481689B1 (en) 2018-01-10 2019-11-19 Electronic Arts Inc. Motion capture glove
US10861215B2 (en) 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11176901B1 (en) 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
US10843067B1 (en) 2019-10-04 2020-11-24 Varjo Technologies Oy Input device, system, and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110184950A1 (en) * 2010-01-26 2011-07-28 Xerox Corporation System for creative image navigation and exploration
US20130290222A1 (en) * 2012-04-27 2013-10-31 Xerox Corporation Retrieval system and method leveraging category-level labels
US20140212027A1 (en) * 2012-05-04 2014-07-31 Aaron Hallquist Single image pose estimation of image capture devices
US20150163345A1 (en) * 2013-12-06 2015-06-11 Digimarc Corporation Smartphone-based methods and systems
US20150178554A1 (en) * 2013-12-19 2015-06-25 Objectvideo, Inc. System and method for identifying faces in unconstrained media
CN104299035A (zh) * 2014-09-29 2015-01-21 国家电网公司 基于聚类算法和神经网络的变压器故障诊断方法
CN104866829A (zh) * 2015-05-25 2015-08-26 苏州大学 一种基于特征学习的跨年龄人脸验证方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522436A (zh) * 2018-11-29 2019-03-26 厦门美图之家科技有限公司 相似图像查找方法及装置
CN111739105A (zh) * 2020-08-07 2020-10-02 北京理工大学 一种直播机位摄像方案自动学习方法

Also Published As

Publication number Publication date
AU2016365422A1 (en) 2018-06-28
EP3384468A1 (en) 2018-10-10
IL259766B (en) 2021-03-25
KR20180090355A (ko) 2018-08-10
US20170161919A1 (en) 2017-06-08
WO2017096396A1 (en) 2017-06-08
US10909711B2 (en) 2021-02-02
CA3007367A1 (en) 2017-06-08
EP3384468A4 (en) 2019-01-30
IL259766A (en) 2018-07-31
US11288832B2 (en) 2022-03-29
JP2018536244A (ja) 2018-12-06
NZ743271A (en) 2021-06-25
US20200334849A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
CN108604383A (zh) 重新定位***和方法
CN111819568B (zh) 人脸旋转图像的生成方法及装置
CN108717531B (zh) 基于Faster R-CNN的人体姿态估计方法
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
CN103839277A (zh) 一种户外大范围自然场景的移动增强现实注册方法
Lu et al. Localize me anywhere, anytime: a multi-task point-retrieval approach
CN109508679A (zh) 实现眼球三维视线跟踪的方法、装置、设备及存储介质
CN107644445A (zh) 利用单个球及圆切线的性质标定拋物折反射摄像机的方法
CN109784232A (zh) 一种融合深度信息的视觉slam回环检测方法及装置
CN107657645A (zh) 利用直线及圆的共轭直径的性质标定拋物折反射摄像机
Chen et al. CSR-Net: Learning adaptive context structure representation for robust feature correspondence
Chen et al. A hierarchical consensus attention network for feature matching of remote sensing images
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
CN109978928A (zh) 一种基于加权投票的双目视觉立体匹配方法及其***
CN103136513B (zh) 一种改进的asm人脸特征点定位方法
Ohshima et al. Visual place recognition from eye reflection
Fang et al. MR-CapsNet: a deep learning algorithm for image-based head pose estimation on CapsNet
Ko et al. A novel distant target region detection method using hybrid saliency-based attention model under complex textures
Lei et al. Human Pose Estimation of Diver Based on Improved Stacked Hourglass Model
Zhang et al. An Efficient Feature Extraction Scheme for Mobile Anti-Shake in Augmented Reality
Goh et al. Real-time and automatic map stitching through aerial images from UAV
Micusik et al. Ego-Motion Alignment from Face Detections for Collaborative Augmented Reality
Liu et al. Free-head pose estimation under low-resolution scenarios
Chen et al. Gaze estimation based on swin transformer
Zhang Sparse Visual Localization in GPS-Denied Indoor Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180928