CN108604383A - 重新定位***和方法 - Google Patents
重新定位***和方法 Download PDFInfo
- Publication number
- CN108604383A CN108604383A CN201680080997.3A CN201680080997A CN108604383A CN 108604383 A CN108604383 A CN 108604383A CN 201680080997 A CN201680080997 A CN 201680080997A CN 108604383 A CN108604383 A CN 108604383A
- Authority
- CN
- China
- Prior art keywords
- image
- data structure
- dimensional vector
- method described
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Library & Information Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
一种确定图像捕获设备的姿态的方法包括使用图像捕获设备捕获图像。所述方法还包括生成与所捕获的图像对应的数据结构。所述方法进一步包括将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构。此外,所述方法包括读取与所述最相似的已知数据结构对应的元数据以确定所述图像捕获设备的姿态。
Description
相关申请的交叉引用
本申请要求2015年12月4日提交的序列号为62/263,529、名称为“RELOCALIZATIONSYSTEMS AND METHODS(重新定位***和方法)”、代理案卷号为9512-30061.00US的美国临时申请的优先权。本申请包括与2016年5月9日提交的序列号为15/150,042、名称为“DEVICES,METHODS AND SYSTEMS FOR BIOMETRIC USER RECOGNITION UTILIZING NEURALNETWORKS(用于利用神经网络的生物用户识别的设备、方法和***)”、代理案卷号为ML.20028.00的美国实用新型专利申请中描述的主题类似的主题。上述专利申请的全部内容通过引用特此明确地全部并入此文,就像完整阐述一样。
本文中的主题可以与诸如由诸如佛罗里达州劳德代尔堡的奇跃公司等的组织设计的那些可穿戴计算***及其部件的各种***一起应用和/或使用。以下文献的全部内容通过引用特此明确地全部并入此文,就像完整阐述一样:序列号为14/641,376的美国专利申请;序列号为14/555,585的美国专利申请;序列号为14/205,126的美国专利申请;序列号为14/212,961的美国专利申请;序列号为14/690,401的美国专利申请;序列号为13/663,466的美国专利申请;以及序列号为13/684,489的美国专利申请。
技术领域
本公开涉及用于定位姿态敏感***的设备、方法和***。特别地,本公开涉及用于重新定位已经或丢失和/或尚未建立***姿态的姿态敏感***的设备、方法和***。
背景技术
越来越多的***需要姿态信息以使***最优运行。为了最优性能而需要姿态信息的***的示例包括但不限于机器人技术和混合现实(MR)***(即,虚拟现实(VR)和/或增强现实(AR)***)。这样的***可以被统称为“姿态敏感”***。姿态信息的一个示例是在三维空间中对姿态敏感***进行定位和定向的沿六个自由度的空间信息。
姿态敏感***可能在各种事件后“丢失”(即,失去对***姿态的追踪)。这些事件中的一些包括:1.快速相机运动(例如,在运动参与者穿戴的AR***中);2.遮挡(例如,被走入视场的人遮挡);3.运动模糊(例如,在AR***用户快速转动头部的情况下);4.照明不良(例如,闪烁的灯);5.偶发***故障(例如,电源故障);以及6.无特征的环境(例如,具有素色墙的房间)。这些事件中和许多其他事件中的任一事件可以极大地影响基于特征的追踪,例如当前具有鲁棒追踪前端的同时定位和建图(“SLAM”)***所采用的追踪,从而导致这些***丢失。
因此,重新定位(即,当***在已经建图的空间中“丢失”时在图中找到***的姿态)是实时视觉追踪的有挑战性的关键方面。追踪故障是SLAM***中的重要问题,且***恢复(或者重新定位)的能力依赖于***精确地识别其先前已经访问过的位置的能力。
机器人技术中基于图像的定位问题通常被称为丢失机器人问题(或者绑架机器人问题)。丢失机器人问题还与唤醒机器人问题和循环闭合检测两者都有关。唤醒机器人问题涉及首次开启***。循环闭合检测涉及重新访问先前访问过的位置的成功追踪的***。在循环闭合检测中,图像定位***必须识别出之前***已经访问过该位置。这样的循环闭合检测有助于防止定位漂移,且在构建大型环境的3D地图时是重要的。因此,姿态敏感***定位在除丢失***场景以外的情况下是有用的。
MR***(例如AR***)具有比典型机器人***更高的定位要求。本文描述的和要求保护的用于定位姿态敏感***的设备、方法和***可以有助于全部姿态敏感***的最优运行。
发明内容
在涉及一种确定图像捕获设备的姿态的方法的一个实施例中,所述方法包括使用图像捕获设备捕获图像。所述方法还包括生成与所捕获的图像对应的数据结构。所述方法进一步包括将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构。此外,所述方法包括读取与所述最相似的已知数据结构对应的元数据以确定所述图像捕获设备的姿态。
在一个或多个实施例中,所述数据结构是所捕获的图像的紧凑表示。所述数据结构可以是N维矢量。所述数据结构可以是128维矢量。
在一个或多个实施例中,生成与所捕获的图像对应的数据结构包括使用神经网络将所捕获的图像映射为所述N维矢量。所述神经网络可以是卷积神经网络。
在一个或多个实施例中,所述多个已知数据结构中的每个是N维空间中的相应的已知N维矢量。所述多个已知数据结构中的每个可以是128维空间中的相应的已知128维矢量。
所述数据结构可以是N维矢量。将所述数据结构与所述多个已知数据结构进行比较以识别最相似的已知数据结构可以包括确定所述N维矢量与每个相应的已知N维矢量之间的相应的欧几里德距离。将所述数据结构与所述多个已知数据结构进行比较以识别最相似的已知数据结构还可以包括将与所述N维矢量具有最小距离的已知N维矢量识别为所述最相似的已知数据结构。
在一个或多个实施例中,所述方法还包括通过将多个已知图像映射为所述多个已知数据结构来训练神经网络。所述神经网络可以是卷积神经网络。训练所述神经网络可以包括基于对所述多个已知图像中的已知图像的对进行的比较来修改所述神经网络。
在一个或多个实施例中,训练所述神经网络包括基于对所述多个已知图像中的三元组(triplet)进行的比较来修改所述神经网络。所述多个已知图像中的每个已知图像可以具有包括姿态数据的相应元数据。训练所述神经网络可以包括访问用所述相应元数据注释的所述已知图像的数据库。所述姿态数据可以对与已知图像对应的相机的平移和旋转进行编码。
在一个或多个实施例中,所述多个已知数据结构中的每个已知数据结构是N维空间中的相应的已知N维矢量。所述三元组中的第一已知图像可以是所述三元组中的第二已知图像的匹配图像。所述三元组中的第三已知图像可以是所述三元组中的所述第一已知图像的不匹配图像。在与匹配的第一已知图像和第二已知图像对应的相应的第一和第二姿态数据之间的第一欧几里德距离可以小于预定阈值。在与不匹配的第一已知图像和第三已知图像对应的相应的第一姿态数据和第三姿态数据之间的第二欧几里德距离可以大于所述预定阈值。
在一个或多个实施例中,训练所述神经网络包括减小在N维空间中与匹配的第一已知图像和第二已知图像分别对应的第一已知N维矢量和第二已知N维矢量之间的第一欧几里德距离。训练所述神经网络还可以包括增大在所述N维空间中与不匹配的第一已知图像和第三已知图像分别对应的第一已知N维矢量和第三已知N维矢量之间的第二欧几里德距离。
在一个或多个实施例中,所述方法还包括将所述数据结构与所述多个已知数据结构进行比较以实时识别所述最相似的已知数据结构。与所述最相似的已知数据结构对应的元数据可以包括与所述最相似的已知数据结构对应的姿态数据。所述方法还包括根据所述最相似的已知数据结构的元数据中的姿态数据确定所述图像捕获设备的姿态。
附图说明
附图示出了本发明的各种实施例的设计和使用。应当注意,附图未按比例绘制,并且在所有附图中,相似的结构或功能的元件由相同的参考标记表示。为了更好地理解如何获得本发明的各种实施例的上述和其它优点和目的,将通过参考在附图中示出的具体实施例来对上面简要描述的本发明进行更详细的描述。应当理解,这些附图仅描绘了本发明的典型实施例,因此不应被认为限制本发明的范围,通过使用附图,将更加具体和详细地描述和解释本发明,附图中:
图1是根据一个实施例的用于定位/重新定位***的查询图像和六个已知图像的示意图;
图2是根据一个实施例的将图像嵌入数据结构的示意图;
图3是根据一个实施例的用于训练神经网络的方法的示意图;
图4是根据一个实施例的用于定位/重新定位姿态敏感***的方法中的数据流的示意图;
图5是示出根据一个实施例的用于定位/重新定位姿态敏感***的方法的流程图。
具体实施方式
本发明的各种实施例在单个实施例或多个实施例中涉及用于定位/重新定位姿态敏感***(例如增强现实(AR)***)的方法、***和制品。在具体实施方式、附图以及权利要求中描述了本发明的其他目的、特征以及优点。
现在将参照附图详细描述各种实施例,提供各种实施例作为本发明的例示性示例以使本领域技术人员能够实践本发明。值得注意的是,以下附图和示例不旨在限制本发明的范围。在可以使用已知部件(或方法或过程)部分地或完全地实施本发明的某些要素的情况下,将仅描述这样的已知部件(或方法或过程)的对本发明的理解所必需的那些部分,且将省略这样的已知组件(或方法或过程)的其他部分的详细描述以不使本发明模糊。另外,各种实施例包含对本文中以例示的方式提到的部件的现在或未来已知的等同物。
定位/重新定位***和方法
增强现实显示***的各种实施例已在2014年11月27日提交的序列号为14/555,585、名称为“VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS(虚拟与增强现实***和方法)”、代理案卷号为ML-30011-US的共有美国实用新型专利申请,以及2014年5月30日提交的序列号为62/005,834、名称为“METHODS AND SYSTEM FOR CREATING FOCALPLANES IN VIRTUAL AND AUGMENTED REALITY(用于在虚拟与增强现实中创建焦平面的方法和***)”、代理案卷号为ML 30017.00的共有美国临时专利申请中讨论,上述美国专利申请的内容通过引用在此明确地全部并入此文,就像全面阐述一样。定位/重新定位***可独立于AR***实现,但仅为了说明的目的,关于AR***描述了下面多个实施例。
公开了用于定位/重新定位姿态敏感***的设备、方法和***。在一个实施例中,姿态敏感***可以是头戴式AR显示***。在其他实施例中,姿态敏感***可以是机器人。下面将针对头戴式AR***的定位/重新定位来描述各种实施例,但应当理解,本文公开的实施例可独立于任何现有的和/或已知的AR***使用。
例如,当AR***在经历一个上述混乱事件(例如快速相机移动、遮挡、运动模糊、照明不良、偶发***故障、无特征环境等)后“丢失”其姿态追踪时,所述AR***执行根据一个实施例的重新定位程序以重新建立最优***性能所需的***的姿态。AR***通过使用耦接到其上的一个或多个相机捕获一个或多个图像来开始重新定位程序。接下来,AR***将所捕获的图像与多个已知图像进行比较以识别与所捕获的图像最匹配的已知图像。然后,AR***访问包括姿态数据的用于最匹配已知图像的元数据,并使用所述最匹配已知图像的姿态数据来重新建立***的姿态。
图1示出了表示由丢失的AR***捕获的图像的查询图像110。图1还示出了与查询图像110进行比较的多个(例如,六个)已知图像112a-112f。已知图像112a-112f可以已被丢失的AR***新近捕获。图1所示的实施例中,已知图像112a是与查询图像110最匹配的已知图像。因此,AR***将使用与已知图像112a相关联的姿态数据来重新建立其姿态。姿态数据可对与最匹配的已知图像112a对应的相机的平移和旋转进行编码。
然而,逐像素地比较大量的(例如,多于10,000个)图像对在计算上是密集的。此限制使得逐像素比较对于实时(例如,每秒60或更多帧)姿态敏感***重新定位而言过于低效。因此,图1仅示意性示出了用于***重新定位的图像比较。
根据一个实施例,将查询图像(例如查询图像110)和多个已知图像(例如已知图像112a-112f)转换成既易于处理及比较又易于存储及组织的数据结构。特别地,通过将图像投影成保持三角形不等式的较低维流形来使每个图像“被嵌入”。三角形不等式是对于不在一条线上的任意单个点,任意两边的和大于第三边的几何特性。
在一个实施例中,较低维流形是N维矢量形式的数据结构。特别地,N维矢量可以是128维矢量。这样的128维矢量在数据结构的大小和对数据结构表示的图像进行分析的能力之间达到有效平衡。改变基于图像的定位/重新定位方法的N维矢量的维数可以影响相似性度量计算和端到端训练的速度(如下所述)。在所有其他因素相同的情况下,优选最低维表示。使用128维矢量导致基于图像的定位/重新定位方法的精简但鲁棒的嵌入。这样的矢量可以与卷积神经网络一起使用,使得定位/重新定位***能用新数据改善,并在新数据集上高效地起作用。
图2通过一系列分析/简化/减小步骤212示意性示出了图像210的嵌入。图像210可以是120像素×160像素的图像。在步骤212中对图像210的操作的结果是表示图像210的N维(例如,128维)矢量214。尽管本文描述的实施例使用128维矢量作为数据结构,但根据本文的实施例,包括具有不同维数的矢量的任何其他数据结构,可以表示在定位/重新定位***中待分析的图像。
对于定位/重新定位,图像的此紧凑表示(即嵌入)可被用于通过比较N维矢量之间的欧几里德(Euclidean)距离来比较一个位置与另一个位置的相似度。用基于室内和室外位置两者的数据集(如下所述)训练的与已知训练图像对应的已知N维矢量的网络可被配置为学习视觉相似性(正图像)和相异性(负图像)。基于此学习过程,嵌入能够以相对小的数据结构成功地对特定位置或区域的较大程度的外观变化进行编码,使其在定位/重新定位***中高效地表示位置。
网络训练
在网络可被用于高效地将图像嵌入数据结构之前必须对网络进行训练。图3示意性示出了根据一个实施例的用于使用图像三元组310、312、314训练网络300的方法。网络300可以是卷积神经网络300。网络训练***对一个训练周期使用查询图像312、正(匹配)图像310以及负(不匹配)图像314。图3中的查询图像312和正图像310各自描绘了可能来自不同观察点的同一对象(即,个人)。图3中的查询图像312和负图像314描绘了不同的对象(即,人)。同一网络310学习全部图像310、312、314,但被训练以使两个匹配图像310、312的分数320、322尽可能接近,并使不匹配的图像314的分数324与两个匹配图像310、312的分数320、322尽可能不同。用大量图像重复此训练过程。
当训练完成时,网络300将同一图像的不同视图靠近在一起映射,并将不同图像的不同视图分开较远映射。然后,此网络可被用于将图像编码到最靠近的相邻空间。当新捕获的图像被分析时(如上所述),该最新捕获的图像被编码(例如,编码成N维矢量)。然后,定位/重新定位***可以确定所捕获的图像的最靠近的其他编码图像的距离。如果靠近某个(某些)编码图像,则认为所捕获的图像与那个(那些)图像匹配。如果远离某个编码图像,则认为所捕获的图像与那个图像不匹配。如在本申请中所使用的,“近”及“远”包括但不限于在两个姿态之间和/或两个N维矢量之间的相对欧几里德距离。
学习神经网络的权重(即训练算法)包括比较多个已知数据结构中的已知数据结构的三元组。所述三元组由查询图像、正图像和负图像构成。在与查询图像和正图像对应的相应的第一姿态数据和第二姿态数据之间的第一欧几里德距离小于预定阈值,并且在与查询图像和负图像对应的相应的第一姿态数据和第三姿态数据之间的第二欧几里德距离大于预定阈值。网络为三元组中的每个图像产生128维矢量,且如果负图像比正图像距查询图像更近(在欧几里德距离方面),则误差项是非零的。误差通过使用神经网络反向传播算法的网络而被传播。可以通过减小N维空间中的与查询图像和正图像对应的第一和第二128维矢量之间的第一欧几里德距离,并且增大N维空间中的与查询图像和负图像对应的第一与第三128维矢量之间的第二欧几里德距离,来训练网络。在通过网络传递大量的三元组之后,实现网络的最终配置。
期望基于外观的重新定位***对于观察点、照度、比例的改变一般不变。上述深度量学习网络适用于解决外观不变的重新定位问题。在一个实施例中,三元组卷积神经网络模型将图像嵌入较低维空间,在所述较低维空间中***可以测量图像间的有意义的距离。通过仔细选择由形成相似图像的锚-正对和相异图像的锚-负对的三个图像构成的三元组,可以针对包括变化的位置的各种位置对卷积神经网络进行训练。
尽管上述训练实施例使用图像的三元组,但根据其他实施例的网络训练可利用其他多个图像(例如对和四元组(quadruplet))。对于图像对训练,查询图像可与正图像和负图像顺序配对。对于图像四元组训练,四元组应至少包括查询图像、正图像和负图像。基于网络被训练用于的预期应用,剩余的图像可以是附加的正图像或负图像。对于通常涉及不匹配多于匹配的定位/重新定位,四元组训练中的第四图像可以是负图像。
尽管上述训练实施例使用单个卷积神经网络,但其他训练实施例可以利用多个可操作地耦合的网络。在另外的其他实施例中,一个或多个网络可以是具有反向传播的其他类型的神经网络。
示例性网络架构
根据一个实施例的与定位/重新定位***一起使用的示例性神经网络具有3x3卷积和单个全连接层。此架构允许***利用常见架构的新兴硬件加速技以及对来自ImageNet预训练权重进行初始化的能力。此3x3卷积架构足以解决同一网络架构的各种问题。
此示例性神经网络架构包括8个卷积层和4个最大池化层(pooling layer),接着是尺寸为128的单个全连接层。在每两个卷积块之后布置最大池化层,ReLU用于非线性,并在每个卷积之后布置BatchNorm层。最终的全连接层将尺寸为[8×10×128]的blob映射为128×1矢量,且自定义可微分L2-归一化提供最终嵌入。
定位/重新定位***和方法
既然已经描述了根据一个实施例的卷积神经网络的训练,图4和图5示出了根据两个实施例的定位/重新定位姿态敏感***的两个相似方法400、500。
图4示意性示出了被神经网络412嵌入到对应的查询数据结构414中的查询图像410。查询图像410可以已经被丢失的姿态敏感***获取以用于重新定位。神经网络412可以是被训练过的卷积神经网络(参见图3中的300)。查询数据结构414可以是128维矢量。
将与查询图像410对应的查询数据结构414与已知数据结构418a-418e的数据库416进行比较。每个已知数据结构418a-418e在数据库416中与对应的元数据420a-420e相关联,元数据420a-420e包括用于捕获与已知数据结构418对应的已知图像的***的姿态数据。比较的结果是与查询图像410对应的查询数据结构414的最近邻居(即,最佳匹配)的识别。所述最近邻居是具有距查询数据结构414最短的相对欧几里德距离的已知数据结构(例如,已知数据结构418b)。
在已经识别出最近邻居已知数据结构(在此实施例中,418b)之后,向***传送相关联的元数据420b。然后,***可以使用元数据420b中的姿态数据来定位/重新定位先前丢失的姿态敏感***。
图5是示出了基于图像的定位/重新定位的方法500的流程图。在步骤502,无姿态信息的姿态敏感***捕获图像。在步骤504,该***将所捕获的图像与多个已知图像进行比较。在步骤506,该***识别与所捕获的图像最匹配的已知图像。在步骤508,该***访问用于所述最匹配的已知图像的姿态元数据。在步骤510,该***根据用于所述最匹配的已知图像的姿态元数据为自身生成姿态信息。
使用三元组卷积神经网络的重新定位在精度和效率两方面都优于当前重新定位方法。
基于图像的建图
当定位/重新定位***被用于基于编码图像形成地图时,***获取位置图像,使用三元组网络对那些图片进行编码,并基于与所获取的图像最接近的一个或多个图像对应的位置将所述***定位在地图上。
在此描述了本发明的各种示例性实施例。在非限制性的意义上参考这些示例。提供这些示例是为了示出本发明的更广泛的可应用方面。在不脱离本发明的真实精神和范围的情况下,可对所描述的发明进行各种改变并可用等同物来替换。此外,可以进行很多修改以适应针对本发明的目的、精神或范围的特定情况、材料、物质的组合物、过程、过程动作或步骤。进一步地,如本领域的技术人员所理解的,在不脱离本发明的范围或精神的情况下,在此描述和示出的每个单独的变型具有独立的组件和特征,其可容易地与其他若干实施例的任意一个的特征分离或组合。所有这些修改旨在处于与本公开相关联的权利要求的范围之内。
本发明包括可使用主题设备执行的方法。该方法可包括提供这种合适的设备的动作。这种提供可由终端用户执行。换言之,“提供”动作仅需要终端用户的获得、访问、处理、定位、设置、激活、通电或其它动作,以在主题方法中提供必要的设备。在此所述的方法可按逻辑上可能的所述事件的任何顺序以及以所述的事件顺序来执行。
以上已经阐述了本发明的示例性方面以及关于材料选择和制造的细节。对于本发明的其它细节,可结合以上参考的专利和出版物以及本领域的技术人员通常知道或理解的来理解。这在关于如通常或逻辑上采用的附加动作的方面,关于本发明的基于方法的方面同样成立。
此外,虽然已经参考可选地包括各种特征的若干示例描述了本发明,但是本发明并不限于被描述或指示为针对本发明的每个变型所预期的。在不脱离本发明的真实精神和范围的情况下,可以对所描述的本发明进行各种变化,并且可用等同物(无论是本文所陈述的还是为了简洁的目的而未被包括的)来代替。此外,如果提供值的范围,则应当理解,在该范围的上限和下限之间的每个中间值和在该说明的范围中的任何其它说明的或中间的值被包括在本发明之内。
此外,可预期的是,所描述的本发明变型的任何可选特征可以独立地或者与本文描述的任何一个或多个特征组合来阐述和要求权利。对单数项目的引用包括存在多个相同项的可能性。更具体地,除非另有具体说明,当本文和与本文相关联的权利要求中所使用时,单数形式“一”、“一个”、“所述”和“该”包括复数指示对象。换言之,使用所述冠词允许有上述说明书以及与本公开相关联的权利要求中主题项中的“至少一个”。还应注意,可以撰写这样的权利要求以排除任何可选要素。因此,本声明旨在作为使用与权利要求要素的使用相关的“只”、“仅”等排他性术语或使用“否定”限制的先行基础。
在不使用这种排他性术语的情况下,与本公开相关联的权利要求中的术语“包括”应允许包括任何附加要素,不管在这样的权利要求中是否列举了给定数量的要素,或者所述特征的添加可以被视为转变在这些权利要求中阐述的要素的性质。除非本文中具体限定,否则本文使用的全部技术术语和科学术语在保持权利要求有效性的同时被赋予尽可能宽的通常理解的含义。
本发明的广度不限于所提供的示例和/或主题说明书,而是仅由与本公开相关联的权利要求语言的范围限制。
在前述说明书中,已经参考本发明的具体实施例对本发明进行了描述。然而,显而易见的是,在不脱离本发明的更广泛的精神和范围的情况下,可以对本发明进行各种修改和改变。例如,参考处理动作的特定顺序来描述上述处理流程。然而,可以改变许多所描述的处理动作的排序而不影响本发明的范围或操作。因此,说明书和附图应被视为说明性的而非限制性的。
Claims (21)
1.一种确定图像捕获设备的姿态的方法,包括:
使用图像捕获设备捕获图像;
生成与所捕获的图像对应的数据结构;
将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构;
读取与所述最相似的已知数据结构对应的元数据以确定所述图像捕获设备的姿态。
2.根据权利要求1所述的方法,其中,所述数据结构是所捕获的图像的紧凑表示。
3.根据权利要求2所述的方法,其中,所述数据结构是N维矢量。
4.根据权利要求3所述的方法,其中,生成与所捕获的图像对应的所述数据结构包括使用神经网络将所捕获的图像映射为所述N维矢量。
5.根据权利要求4所述的方法,其中,所述神经网络是卷积神经网络。
6.根据权利要求3所述的方法,其中,所述数据结构是128维矢量。
7.根据权利要求1所述的方法,其中,所述多个已知数据结构中的每个是N维空间中的相应的已知N维矢量。
8.根据权利要求7所述的方法,其中,所述数据结构是N维矢量,并且
其中,将所述数据结构与所述多个已知数据结构进行比较以识别所述最相似的已知数据结构包括:
确定所述N维矢量与每个相应的已知N维矢量之间的相应的欧几里德距离,以及
将与所述N维矢量具有最小距离的已知N维矢量识别为所述最相似的已知数据结构。
9.根据权利要求7所述的方法,其中,所述多个已知数据结构中的每个是128维空间中的相应的已知128维矢量。
10.根据权利要求1所述的方法,进一步包括通过将多个已知图像映射为所述多个已知数据结构来训练神经网络。
11.根据权利要求10所述的方法,其中,所述神经网络是卷积神经网络。
12.根据权利要求10所述的方法,其中,训练所述神经网络包括基于对所述多个已知图像中的已知图像的对进行的比较来修改所述神经网络。
13.根据权利要求10所述的方法,其中,训练所述神经网络包括基于对所述多个已知图像中的已知图像的三元组进行的比较来修改所述神经网络。
14.根据权利要求10所述的方法,其中,所述多个已知图像中的每个已知图像具有相应的元数据,所述元数据包括姿态数据,以及
其中,训练所述神经网络包括访问用所述相应的元数据注释的所述已知图像的数据库。
15.根据权利要求14所述的方法,其中,所述姿态数据对与已知图像对应的相机的平移和旋转进行编码。
16.根据权利要求14所述的方法,其中,所述多个已知数据结构中的每个已知数据结构是N维空间中的相应的已知N维矢量,
其中,所述三元组中的第一已知图像是所述三元组中的第二已知图像的匹配图像,以及
其中,所述三元组中的第三已知图像是所述三元组中的所述第一已知图像的不匹配图像。
17.根据权利要求16所述的方法,其中,在与匹配的第一已知图像和第二已知图像对应的相应的第一姿态数据和第二姿态数据之间的第一欧几里德距离小于预定阈值,以及
其中,在与不匹配的第一已知图像和第三已知图像对应的相应的第一姿态数据和第三姿态数据之间的第二欧几里德距离大于所述预定阈值。
18.根据权利要求16所述的方法,其中,训练所述神经网络包括:
减小在N维空间中与所述匹配的第一已知图像和第二已知图像分别对应的第一已知N维矢量和第二已知N维矢量之间的第一欧几里德距离;以及
增大在所述N维空间中与所述不匹配的第一已知图像和第三已知图像分别对应的第一已知N维矢量和第三已知N维矢量之间的第二欧几里德距离。
19.根据权利要求1所述的方法,进一步包括将所述数据结构与所述多个已知数据结构进行比较以实时识别所述最相似的已知数据结构。
20.根据权利要求1所述的方法,其中,与所述最相似的已知数据结构对应的所述元数据包括与所述最相似的已知数据结构对应的姿态数据。
21.根据权利要求20所述的方法,进一步包括根据所述最相似的已知数据结构的所述元数据中的所述姿态数据确定所述图像捕获设备的姿态。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562263529P | 2015-12-04 | 2015-12-04 | |
US62/263,529 | 2015-12-04 | ||
PCT/US2016/065001 WO2017096396A1 (en) | 2015-12-04 | 2016-12-05 | Relocalization systems and methods |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108604383A true CN108604383A (zh) | 2018-09-28 |
Family
ID=58798069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680080997.3A Pending CN108604383A (zh) | 2015-12-04 | 2016-12-05 | 重新定位***和方法 |
Country Status (9)
Country | Link |
---|---|
US (2) | US10909711B2 (zh) |
EP (1) | EP3384468A4 (zh) |
JP (1) | JP2018536244A (zh) |
KR (1) | KR20180090355A (zh) |
CN (1) | CN108604383A (zh) |
AU (1) | AU2016365422A1 (zh) |
CA (1) | CA3007367A1 (zh) |
IL (1) | IL259766B (zh) |
WO (1) | WO2017096396A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109522436A (zh) * | 2018-11-29 | 2019-03-26 | 厦门美图之家科技有限公司 | 相似图像查找方法及装置 |
CN111739105A (zh) * | 2020-08-07 | 2020-10-02 | 北京理工大学 | 一种直播机位摄像方案自动学习方法 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
NZ735465A (en) | 2015-03-05 | 2021-07-30 | Magic Leap Inc | Systems and methods for augmented reality |
CA3007367A1 (en) | 2015-12-04 | 2017-06-08 | Magic Leap, Inc. | Relocalization systems and methods |
IL303182B2 (en) | 2016-08-02 | 2024-07-01 | Magic Leap Inc | Virtual and augmented reality systems at a fixed distance and methods |
US10902243B2 (en) * | 2016-10-25 | 2021-01-26 | Deep North, Inc. | Vision based target tracking that distinguishes facial feature targets |
AU2017361096B2 (en) | 2016-11-16 | 2022-09-01 | Magic Leap, Inc. | Thermal management systems for wearable components |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
WO2018148493A1 (en) * | 2017-02-09 | 2018-08-16 | Painted Dog, Inc. | Methods and apparatus for detecting, filtering, and identifying objects in streaming video |
US11347054B2 (en) | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
EP3596702A4 (en) | 2017-03-17 | 2020-07-22 | Magic Leap, Inc. | MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS |
CA3054619C (en) | 2017-03-17 | 2024-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
JP7009494B2 (ja) | 2017-03-17 | 2022-01-25 | マジック リープ, インコーポレイテッド | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
CN110770717B (zh) * | 2017-05-17 | 2024-04-16 | 谷歌有限责任公司 | 通过通信网络与指定用户的自动图像共享 |
CN109308678B (zh) * | 2017-07-28 | 2023-10-27 | 株式会社理光 | 利用全景图像进行重定位的方法、装置及设备 |
US10515295B2 (en) * | 2017-10-27 | 2019-12-24 | Adobe Inc. | Font recognition using triplet loss neural network training |
CN110134117B (zh) * | 2018-02-08 | 2022-07-29 | 杭州萤石软件有限公司 | 一种移动机器人重定位方法、移动机器人及电子设备 |
US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
EP3750029A1 (en) | 2018-02-09 | 2020-12-16 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters using a neural network |
EP3750028B1 (en) | 2018-02-09 | 2022-10-19 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
EP3827584A4 (en) | 2018-07-23 | 2021-09-08 | Magic Leap, Inc. | INTRA-FIELD SUB-CODE SYNCHRONIZATION IN SEQUENTIAL FIELD DISPLAYS |
WO2020023383A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
CN116300091A (zh) | 2018-07-23 | 2023-06-23 | 奇跃公司 | 用于使用位置向量解析半球模糊度的方法和*** |
US10318842B1 (en) * | 2018-09-05 | 2019-06-11 | StradVision, Inc. | Learning method, learning device for optimizing parameters of CNN by using multiple video frames and testing method, testing device using the same |
US10810468B2 (en) * | 2019-01-30 | 2020-10-20 | Mitsubishi Electric Research Laboratories, Inc. | System for training descriptor with active sample selection |
US20200272895A1 (en) * | 2019-02-25 | 2020-08-27 | International Business Machines Corporation | Answering cognitive queries from sensor input signals |
US11669558B2 (en) * | 2019-03-28 | 2023-06-06 | Microsoft Technology Licensing, Llc | Encoder using machine-trained term frequency weighting factors that produces a dense embedding vector |
US11676422B2 (en) | 2019-06-05 | 2023-06-13 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
US11216505B2 (en) * | 2019-09-05 | 2022-01-04 | Adobe Inc. | Multi-resolution color-based image search |
WO2021173862A1 (en) | 2020-02-26 | 2021-09-02 | Magic Leap, Inc. | Cross reality system with buffering for localization accuracy |
CN113807512B (zh) * | 2020-06-12 | 2024-01-23 | 株式会社理光 | 机器阅读理解模型的训练方法、装置及可读存储介质 |
DE102020116774A1 (de) * | 2020-06-25 | 2021-12-30 | Connaught Electronics Ltd. | Automatische visuelle Wahrnehmung mittels eines künstlichen neuronalen Netzes |
US11887217B2 (en) | 2020-10-26 | 2024-01-30 | Adobe Inc. | Text editing of digital images |
TW202230211A (zh) * | 2020-12-10 | 2022-08-01 | 美商尼安蒂克公司 | 使用圖像神經網路及相關姿勢監督之視覺攝影機重新局部化 |
EP4016377A1 (en) * | 2020-12-21 | 2022-06-22 | Axis AB | A device and a method for associating object detections between frames using a neural network |
US20230260249A1 (en) * | 2022-02-16 | 2023-08-17 | Donde Fashion, Inc. | Systems and methods for training and using a machine learning model for matching objects |
CN114545400B (zh) * | 2022-04-27 | 2022-08-05 | 陕西欧卡电子智能科技有限公司 | 基于毫米波雷达的水面机器人的全局重定位方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110184950A1 (en) * | 2010-01-26 | 2011-07-28 | Xerox Corporation | System for creative image navigation and exploration |
US20130290222A1 (en) * | 2012-04-27 | 2013-10-31 | Xerox Corporation | Retrieval system and method leveraging category-level labels |
US20140212027A1 (en) * | 2012-05-04 | 2014-07-31 | Aaron Hallquist | Single image pose estimation of image capture devices |
CN104299035A (zh) * | 2014-09-29 | 2015-01-21 | 国家电网公司 | 基于聚类算法和神经网络的变压器故障诊断方法 |
US20150163345A1 (en) * | 2013-12-06 | 2015-06-11 | Digimarc Corporation | Smartphone-based methods and systems |
US20150178554A1 (en) * | 2013-12-19 | 2015-06-25 | Objectvideo, Inc. | System and method for identifying faces in unconstrained media |
CN104866829A (zh) * | 2015-05-25 | 2015-08-26 | 苏州大学 | 一种基于特征学习的跨年龄人脸验证方法 |
Family Cites Families (231)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4462165A (en) | 1983-01-31 | 1984-07-31 | The Boeing Company | Three axis orientation sensor for an aircraft or the like |
US6701296B1 (en) | 1988-10-14 | 2004-03-02 | James F. Kramer | Strain-sensing goniometers, systems, and recognition algorithms |
US5047952A (en) | 1988-10-14 | 1991-09-10 | The Board Of Trustee Of The Leland Stanford Junior University | Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove |
CA2358682A1 (en) | 1992-08-14 | 1994-03-03 | British Telecommunications Public Limited Company | Position location system |
CA2142338C (en) | 1992-08-14 | 1999-11-30 | John Stuart Bladen | Position location system |
US5583974A (en) | 1993-05-10 | 1996-12-10 | Apple Computer, Inc. | Computer graphics system having high performance multiple layer Z-buffer |
TW275590B (en) | 1994-12-09 | 1996-05-11 | Sega Enterprises Kk | Head mounted display and system for use therefor |
US5930741A (en) | 1995-02-28 | 1999-07-27 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
US5592401A (en) | 1995-02-28 | 1997-01-07 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
US5684498A (en) | 1995-06-26 | 1997-11-04 | Cae Electronics Ltd. | Field sequential color head mounted display with suppressed color break-up |
CA2238693C (en) | 1995-11-27 | 2009-02-24 | Cae Electronics Ltd. | Method and apparatus for displaying a virtual environment on a video display |
US5784115A (en) | 1996-12-31 | 1998-07-21 | Xerox Corporation | System and method for motion compensated de-interlacing of video frames |
US6163155A (en) | 1999-01-28 | 2000-12-19 | Dresser Industries, Inc. | Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations |
US6407736B1 (en) | 1999-06-18 | 2002-06-18 | Interval Research Corporation | Deferred scanline conversion architecture |
GB9917591D0 (en) | 1999-07-28 | 1999-09-29 | Marconi Electronic Syst Ltd | Head tracker system |
AU2001233019A1 (en) | 2000-01-28 | 2001-08-07 | Intersense, Inc. | Self-referenced tracking |
US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
WO2001067749A2 (en) | 2000-03-07 | 2001-09-13 | Sarnoff Corporation | Camera pose estimation |
US6891533B1 (en) | 2000-04-11 | 2005-05-10 | Hewlett-Packard Development Company, L.P. | Compositing separately-generated three-dimensional images |
US6738044B2 (en) | 2000-08-07 | 2004-05-18 | The Regents Of The University Of California | Wireless, relative-motion computer input device |
US20020180727A1 (en) | 2000-11-22 | 2002-12-05 | Guckenberger Ronald James | Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors |
US6691074B1 (en) | 2001-02-08 | 2004-02-10 | Netmore Ltd. | System for three dimensional positioning and tracking |
US6861982B2 (en) | 2001-08-16 | 2005-03-01 | Itt Manufacturing Enterprises, Inc. | System for determining position of an emitter |
US7113618B2 (en) | 2001-09-18 | 2006-09-26 | Intel Corporation | Portable virtual reality |
JP2003337963A (ja) | 2002-05-17 | 2003-11-28 | Seiko Epson Corp | 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体 |
US9153074B2 (en) | 2011-07-18 | 2015-10-06 | Dylan T X Zhou | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
JP3984907B2 (ja) | 2002-11-29 | 2007-10-03 | キヤノン株式会社 | 画像観察システム |
US20070155589A1 (en) | 2002-12-04 | 2007-07-05 | Philip Feldman | Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System |
JP2004213350A (ja) | 2002-12-27 | 2004-07-29 | Seiko Epson Corp | 力覚提示装置及び画像補正方法 |
US20050107870A1 (en) | 2003-04-08 | 2005-05-19 | Xingwu Wang | Medical device with multiple coating layers |
US7643025B2 (en) | 2003-09-30 | 2010-01-05 | Eric Belk Lange | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates |
US7443154B1 (en) | 2003-10-04 | 2008-10-28 | Seektech, Inc. | Multi-sensor mapping omnidirectional sonde and line locator |
CA2450837A1 (en) | 2003-11-25 | 2005-05-25 | University Of New Brunswick | Induction magnetometer |
US20160098095A1 (en) | 2004-01-30 | 2016-04-07 | Electronic Scripting Products, Inc. | Deriving Input from Six Degrees of Freedom Interfaces |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
JP4508820B2 (ja) | 2004-10-19 | 2010-07-21 | 株式会社ワコム | 3次元情報検出システム及び3次元情報入力装置 |
EP1814101A1 (en) | 2004-11-19 | 2007-08-01 | Daem Interactive, Sl | Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method |
JP5631535B2 (ja) | 2005-02-08 | 2014-11-26 | オブロング・インダストリーズ・インコーポレーテッド | ジェスチャベースの制御システムのためのシステムおよび方法 |
US8567953B2 (en) | 2005-04-26 | 2013-10-29 | Imax Corporation | Systems and methods for projecting composite images |
US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
JP4437228B2 (ja) | 2005-11-07 | 2010-03-24 | 大学共同利用機関法人情報・システム研究機構 | 焦点ぼけ構造を用いたイメージング装置及びイメージング方法 |
KR100722229B1 (ko) | 2005-12-02 | 2007-05-29 | 한국전자통신연구원 | 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법 |
US8537111B2 (en) | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US8531396B2 (en) | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US8370383B2 (en) | 2006-02-08 | 2013-02-05 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US9910497B2 (en) | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
US9823747B2 (en) | 2006-02-08 | 2017-11-21 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
JP4151982B2 (ja) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
JP4684147B2 (ja) | 2006-03-28 | 2011-05-18 | 任天堂株式会社 | 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム |
JP4196302B2 (ja) * | 2006-06-19 | 2008-12-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP4804256B2 (ja) | 2006-07-27 | 2011-11-02 | キヤノン株式会社 | 情報処理方法 |
US8194088B1 (en) | 2006-08-03 | 2012-06-05 | Apple Inc. | Selective composite rendering |
US7921120B2 (en) | 2006-11-30 | 2011-04-05 | D&S Consultants | Method and system for image recognition using a similarity inverse matrix |
CN101093586A (zh) | 2007-07-12 | 2007-12-26 | 上海交通大学 | 面向复杂场景实时交互操作的并行碰撞检测方法 |
US8165352B1 (en) | 2007-08-06 | 2012-04-24 | University Of South Florida | Reconstruction of biometric image templates using match scores |
US10095815B2 (en) | 2008-11-19 | 2018-10-09 | Elbit Systems Ltd. | System and a method for mapping a magnetic field |
IL195389A (en) | 2008-11-19 | 2013-12-31 | Elbit Systems Ltd | Magnetic Field Mapping System and Method |
US20090115406A1 (en) | 2007-11-01 | 2009-05-07 | General Electric Company | System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system |
US9013505B1 (en) | 2007-11-27 | 2015-04-21 | Sprint Communications Company L.P. | Mobile system representing virtual objects on live camera image |
KR20090055803A (ko) | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
US7795596B2 (en) | 2008-01-03 | 2010-09-14 | Alcatel-Lucent Usa Inc. | Cloaking device detection system |
WO2009091563A1 (en) | 2008-01-18 | 2009-07-23 | Thomson Licensing | Depth-image-based rendering |
US20090184825A1 (en) | 2008-01-23 | 2009-07-23 | General Electric Company | RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System |
GB2468994B (en) | 2008-01-23 | 2012-11-28 | Intel Corp | Method, apparatus and computer program product for improved graphics performance |
US8926511B2 (en) | 2008-02-29 | 2015-01-06 | Biosense Webster, Inc. | Location system with virtual touch screen |
US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
US9495013B2 (en) | 2008-04-24 | 2016-11-15 | Oblong Industries, Inc. | Multi-modal gestural interface |
US9740922B2 (en) | 2008-04-24 | 2017-08-22 | Oblong Industries, Inc. | Adaptive tracking system for spatial input devices |
US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9684380B2 (en) | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US8723795B2 (en) | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
US8446426B2 (en) | 2008-04-28 | 2013-05-21 | Apple Inc. | Technique for visually compositing a group of graphical objects |
KR20090120159A (ko) | 2008-05-19 | 2009-11-24 | 삼성전자주식회사 | 영상합성장치 및 영상합성방법 |
US8929877B2 (en) | 2008-09-12 | 2015-01-06 | Digimarc Corporation | Methods and systems for content processing |
JP5415054B2 (ja) | 2008-10-28 | 2014-02-12 | セイコーエプソン株式会社 | 駆動方法および電気光学装置 |
EP2354896B1 (en) | 2008-11-14 | 2016-12-21 | Sony Interactive Entertainment Inc. | Operating device and information processing apparatus |
US8188745B2 (en) | 2008-12-05 | 2012-05-29 | Metrotech Corporation Inc. | Precise location and orientation of a concealed dipole transmitter |
US9465129B1 (en) | 2009-03-06 | 2016-10-11 | See Scan, Inc. | Image-based mapping locating system |
US8860723B2 (en) | 2009-03-09 | 2014-10-14 | Donya Labs Ab | Bounded simplification of geometrical computer data |
JP5177078B2 (ja) | 2009-05-26 | 2013-04-03 | 富士通モバイルコミュニケーションズ株式会社 | 情報処理装置 |
US9933852B2 (en) | 2009-10-14 | 2018-04-03 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US8581905B2 (en) | 2010-04-08 | 2013-11-12 | Disney Enterprises, Inc. | Interactive three dimensional displays on handheld devices |
US8441962B1 (en) | 2010-04-09 | 2013-05-14 | Sprint Spectrum L.P. | Method, device, and system for real-time call announcement |
TWI399688B (zh) | 2010-06-08 | 2013-06-21 | Waltop Int Corp | 整合電磁式及電容感應輸入裝置 |
JP2012043308A (ja) * | 2010-08-20 | 2012-03-01 | Canon Inc | 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム |
WO2012046392A1 (ja) * | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
US20120086630A1 (en) | 2010-10-12 | 2012-04-12 | Sony Computer Entertainment Inc. | Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system |
FR2966251B1 (fr) | 2010-10-19 | 2014-04-25 | Astrium Sas | Systeme d'orientation et de positionnement d'un recepteur electromagnetique |
US8660369B2 (en) | 2010-10-25 | 2014-02-25 | Disney Enterprises, Inc. | Systems and methods using mobile devices for augmented reality |
US8745061B2 (en) | 2010-11-09 | 2014-06-03 | Tibco Software Inc. | Suffix array candidate selection and index data structure |
US9235894B2 (en) * | 2011-01-27 | 2016-01-12 | Metaio Gmbh | Method for determining correspondences between a first and a second image, and method for determining the pose of a camera |
US8587583B2 (en) * | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
JP5724544B2 (ja) | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9206007B2 (en) | 2011-05-31 | 2015-12-08 | Twist-Ease Inc. | Bag dispenser |
US20120306850A1 (en) | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
US20120327116A1 (en) | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
US8933913B2 (en) | 2011-06-28 | 2015-01-13 | Microsoft Corporation | Electromagnetic 3D stylus |
US20150100380A1 (en) | 2011-07-20 | 2015-04-09 | Raymond P. Jones, JR. | Systems and methods for providing financial controls for aggregated weather-based work |
WO2013023706A1 (en) | 2011-08-18 | 2013-02-21 | Layar B.V. | Computer-vision based augmented reality system |
US20150040074A1 (en) | 2011-08-18 | 2015-02-05 | Layar B.V. | Methods and systems for enabling creation of augmented reality content |
US8749396B2 (en) | 2011-08-25 | 2014-06-10 | Satorius Stedim Biotech Gmbh | Assembling method, monitoring method, communication method, augmented reality system and computer program product |
WO2013029674A1 (en) * | 2011-08-31 | 2013-03-07 | Metaio Gmbh | Method of matching image features with reference features |
WO2013040274A2 (en) | 2011-09-13 | 2013-03-21 | Sadar 3D, Inc. | Synthetic aperture radar apparatus and methods |
US8821286B2 (en) | 2011-09-29 | 2014-09-02 | Wms Gaming, Inc. | Wagering game system having motion sensing controllers |
US9286711B2 (en) | 2011-09-30 | 2016-03-15 | Microsoft Technology Licensing, Llc | Representing a location at a previous time period using an augmented reality display |
US9215293B2 (en) | 2011-10-28 | 2015-12-15 | Magic Leap, Inc. | System and method for augmented and virtual reality |
CN107664847B (zh) | 2011-11-23 | 2021-04-06 | 奇跃公司 | 三维虚拟和增强现实显示*** |
US8989775B2 (en) | 2012-02-29 | 2015-03-24 | RetailNext, Inc. | Method and system for WiFi-based identification of person tracks |
US9116666B2 (en) | 2012-06-01 | 2015-08-25 | Microsoft Technology Licensing, Llc | Gesture based region identification for holograms |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9582072B2 (en) | 2013-09-17 | 2017-02-28 | Medibotics Llc | Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways |
US9384737B2 (en) | 2012-06-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Method and device for adjusting sound levels of sources based on sound source priority |
EP2704055A1 (en) | 2012-08-31 | 2014-03-05 | Layar B.V. | Determining space to display content in augmented reality |
JP2014049934A (ja) | 2012-08-31 | 2014-03-17 | Sony Corp | ヘッドマウントディスプレイ |
US9134954B2 (en) | 2012-09-10 | 2015-09-15 | Qualcomm Incorporated | GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault |
EP2711670B1 (en) | 2012-09-21 | 2019-01-30 | NavVis GmbH | Visual localisation |
GB201217372D0 (en) | 2012-09-28 | 2012-11-14 | Ucl Business Plc | A system and method for annotating images by propagating information |
US9177404B2 (en) | 2012-10-31 | 2015-11-03 | Qualcomm Incorporated | Systems and methods of merging multiple maps for computer vision based tracking |
US9188694B2 (en) | 2012-11-16 | 2015-11-17 | Halliburton Energy Services, Inc. | Optical interferometric sensors for measuring electromagnetic fields |
US9160727B1 (en) | 2012-11-30 | 2015-10-13 | Microstrategy Incorporated | Providing credential information |
US9026847B2 (en) | 2012-12-21 | 2015-05-05 | Advanced Micro Devices, Inc. | Hardware based redundant multi-threading inside a GPU for improved reliability |
US20140176591A1 (en) | 2012-12-26 | 2014-06-26 | Georg Klein | Low-latency fusing of color image data |
WO2014105385A1 (en) | 2012-12-27 | 2014-07-03 | The Regents Of The University Of California | Anamorphic stretch image compression |
US9788714B2 (en) | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
WO2014164901A1 (en) | 2013-03-11 | 2014-10-09 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US9898866B2 (en) | 2013-03-13 | 2018-02-20 | The University Of North Carolina At Chapel Hill | Low latency stabilization for head-worn displays |
US9542613B2 (en) | 2013-03-15 | 2017-01-10 | Orcam Technologies Ltd. | Systems and methods for processing images |
CN108628446B (zh) | 2013-03-15 | 2021-10-26 | 奇跃公司 | 显示***和方法 |
US20140323148A1 (en) | 2013-04-30 | 2014-10-30 | Qualcomm Incorporated | Wide area localization from slam maps |
US9269003B2 (en) | 2013-04-30 | 2016-02-23 | Qualcomm Incorporated | Diminished and mediated reality effects from reconstruction |
US9367960B2 (en) | 2013-05-22 | 2016-06-14 | Microsoft Technology Licensing, Llc | Body-locked placement of augmented reality objects |
US10254855B2 (en) | 2013-06-04 | 2019-04-09 | Wen-Chieh Geoffrey Lee | High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9129430B2 (en) | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
US9443355B2 (en) | 2013-06-28 | 2016-09-13 | Microsoft Technology Licensing, Llc | Reprojection OLED display for augmented reality experiences |
US9712473B2 (en) | 2013-07-11 | 2017-07-18 | Facebook, Inc. | Methods, systems, and user interfaces for community-based location ratings |
US10228242B2 (en) | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
WO2015006784A2 (en) | 2013-07-12 | 2015-01-15 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9514571B2 (en) | 2013-07-25 | 2016-12-06 | Microsoft Technology Licensing, Llc | Late stage reprojection |
JP6192010B2 (ja) * | 2013-09-05 | 2017-09-06 | 国立大学法人 東京大学 | 重み設定装置および方法 |
US9729864B2 (en) | 2013-09-30 | 2017-08-08 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
JP6353214B2 (ja) | 2013-11-11 | 2018-07-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
NZ755272A (en) | 2013-11-27 | 2020-05-29 | Magic Leap Inc | Virtual and augmented reality systems and methods |
US11402629B2 (en) | 2013-11-27 | 2022-08-02 | Magic Leap, Inc. | Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same |
US9360935B2 (en) | 2013-12-20 | 2016-06-07 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Integrated bi-sensing optical structure for head mounted display |
EP2887311B1 (en) | 2013-12-20 | 2016-09-14 | Thomson Licensing | Method and apparatus for performing depth estimation |
US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
US20160147063A1 (en) | 2014-11-26 | 2016-05-26 | Osterhout Group, Inc. | See-through computer display systems |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9405122B2 (en) | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
EP3170131A2 (en) | 2014-03-04 | 2017-05-24 | Google, Inc. | Map personalization based on social clues |
US20160203624A1 (en) | 2014-03-05 | 2016-07-14 | Google Inc. | System and Method for Providing Combined Multi-Dimensional Map Views |
WO2015134958A1 (en) | 2014-03-07 | 2015-09-11 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
CN105005457B (zh) | 2014-04-25 | 2019-04-09 | 腾讯科技(深圳)有限公司 | 地理位置展示方法及装置 |
US9953243B2 (en) | 2014-04-25 | 2018-04-24 | Google Llc | Electronic device localization based on imagery |
US9652893B2 (en) | 2014-04-29 | 2017-05-16 | Microsoft Technology Licensing, Llc | Stabilization plane determination based on gaze location |
US9727341B2 (en) | 2014-05-09 | 2017-08-08 | Samsung Electronics Co., Ltd. | Control flow in a thread-based environment without branching |
EP3926589A1 (en) | 2014-06-03 | 2021-12-22 | Apple Inc. | Method and system for presenting a digital information related to a real object |
US20150358539A1 (en) | 2014-06-06 | 2015-12-10 | Jacob Catt | Mobile Virtual Reality Camera, Method, And System |
US20150379772A1 (en) | 2014-06-30 | 2015-12-31 | Samsung Display Co., Ltd. | Tracking accelerator for virtual and augmented reality displays |
WO2016002409A1 (ja) | 2014-07-01 | 2016-01-07 | シャープ株式会社 | フィールドシーケンシャル画像表示装置および画像表示方法 |
US10056054B2 (en) | 2014-07-03 | 2018-08-21 | Federico Fraccaroli | Method, system, and apparatus for optimising the augmentation of radio emissions |
US10198865B2 (en) * | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
US10162177B2 (en) | 2014-07-11 | 2018-12-25 | Sixense Entertainment, Inc. | Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking |
US9363644B2 (en) | 2014-07-16 | 2016-06-07 | Yahoo! Inc. | System and method for detection of indoor tracking units |
US9719871B2 (en) | 2014-08-09 | 2017-08-01 | Google Inc. | Detecting a state of a wearable device |
EP3192058A4 (en) | 2014-09-08 | 2018-05-02 | Simx LLC | Augmented reality simulator for professional and educational training |
JP2017532847A (ja) | 2014-09-09 | 2017-11-02 | ノキア テクノロジーズ オーユー | 立体録画及び再生 |
US20160104308A1 (en) | 2014-10-14 | 2016-04-14 | Microsoft Technology Licensing, Llc. | Performance optimization for data visualization |
US9478029B2 (en) | 2014-10-23 | 2016-10-25 | Qualcomm Incorporated | Selection strategy for exchanging map information in collaborative multi-user SLAM systems |
US10650574B2 (en) | 2014-10-31 | 2020-05-12 | Fyusion, Inc. | Generating stereoscopic pairs of images from a single lens camera |
WO2016073557A1 (en) | 2014-11-04 | 2016-05-12 | The University Of North Carolina At Chapel Hill | Minimal-latency tracking and display for matching real and virtual worlds |
US9818170B2 (en) | 2014-12-10 | 2017-11-14 | Qualcomm Incorporated | Processing unaligned block transfer operations |
WO2016100717A1 (en) * | 2014-12-17 | 2016-06-23 | Google Inc. | Generating numeric embeddings of images |
US9696549B2 (en) | 2014-12-22 | 2017-07-04 | International Business Machines Corporation | Selectively pairing an application presented in virtual space with a physical display |
US9846968B2 (en) | 2015-01-20 | 2017-12-19 | Microsoft Technology Licensing, Llc | Holographic bird's eye view camera |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
NZ735465A (en) | 2015-03-05 | 2021-07-30 | Magic Leap Inc | Systems and methods for augmented reality |
JP6814752B2 (ja) | 2015-03-07 | 2021-01-20 | ベリティ ストゥディオス アーゲー | 分散された位置特定システムおよび方法ならびに自己位置特定装置 |
US9874932B2 (en) | 2015-04-09 | 2018-01-23 | Microsoft Technology Licensing, Llc | Avoidance of color breakup in late-stage re-projection |
US9814430B1 (en) | 2015-04-17 | 2017-11-14 | Bertec Corporation | System and method for measuring eye movement and/or eye position and postural sway of a subject |
KR20230136683A (ko) | 2015-05-04 | 2023-09-26 | 매직 립, 인코포레이티드 | 가상 및 증강 현실을 위한 분리된 동공 광학 시스템들 및 이를 사용하여 이미지들을 디스플레이하기 위한 방법들 |
US10721280B1 (en) | 2015-05-29 | 2020-07-21 | Sprint Communications Company L.P. | Extended mixed multimedia reality platform |
US20160378863A1 (en) * | 2015-06-24 | 2016-12-29 | Google Inc. | Selecting representative video frames for videos |
US10062010B2 (en) * | 2015-06-26 | 2018-08-28 | Intel Corporation | System for building a map and subsequent localization |
US10192361B2 (en) | 2015-07-06 | 2019-01-29 | Seiko Epson Corporation | Head-mounted display device and computer program |
US10750161B2 (en) | 2015-07-15 | 2020-08-18 | Fyusion, Inc. | Multi-view interactive digital media representation lock screen |
US9875427B2 (en) * | 2015-07-28 | 2018-01-23 | GM Global Technology Operations LLC | Method for object localization and pose estimation for an object of interest |
WO2017044965A1 (en) | 2015-09-10 | 2017-03-16 | Duke University | Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance |
GB201518112D0 (en) | 2015-10-13 | 2015-11-25 | Bae Systems Plc | Improvements in and relating to displays |
US10338677B2 (en) | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
US10026212B2 (en) | 2015-11-20 | 2018-07-17 | Google Llc | Electronic display stabilization using pixel velocities |
US20170161853A1 (en) | 2015-12-03 | 2017-06-08 | James Carroll Gossweiler | Mapping system that identifies site-specific real estate due diligence professionals and related service providers |
CA3007367A1 (en) | 2015-12-04 | 2017-06-08 | Magic Leap, Inc. | Relocalization systems and methods |
US10241569B2 (en) | 2015-12-08 | 2019-03-26 | Facebook Technologies, Llc | Focus adjustment method for a virtual reality headset |
FR3046261B1 (fr) | 2015-12-24 | 2018-08-31 | Starbreeze Paris | Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee |
US10130429B1 (en) | 2016-01-06 | 2018-11-20 | Ethicon Llc | Methods, systems, and devices for controlling movement of a robotic surgical system |
KR20180110051A (ko) | 2016-02-05 | 2018-10-08 | 매직 립, 인코포레이티드 | 증강 현실을 위한 시스템들 및 방법들 |
US10788791B2 (en) | 2016-02-22 | 2020-09-29 | Real View Imaging Ltd. | Method and system for displaying holographic images within a real object |
US10334076B2 (en) | 2016-02-22 | 2019-06-25 | Google Llc | Device pairing in augmented/virtual reality environment |
WO2017147178A1 (en) | 2016-02-22 | 2017-08-31 | Google Inc. | Separate time-warping for a scene and an object for display of virtual reality content |
US9639935B1 (en) | 2016-05-25 | 2017-05-02 | Gopro, Inc. | Apparatus and methods for camera alignment model calibration |
US10453272B2 (en) | 2016-05-29 | 2019-10-22 | Google Llc | Time-warping adjustment based on depth information in a virtual/augmented reality system |
US10366536B2 (en) | 2016-06-28 | 2019-07-30 | Microsoft Technology Licensing, Llc | Infinite far-field depth perception for near-field objects in virtual environments |
IL303182B2 (en) | 2016-08-02 | 2024-07-01 | Magic Leap Inc | Virtual and augmented reality systems at a fixed distance and methods |
US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
CA2976464A1 (en) | 2016-08-16 | 2018-02-16 | Sergi Berna Sague | Method and system for wireless location and movement mapping, tracking and analytics |
US10318115B2 (en) | 2016-10-14 | 2019-06-11 | OneMarket Network LLC | System and method for presenting optimized map labels |
US10942252B2 (en) | 2016-12-26 | 2021-03-09 | Htc Corporation | Tracking system and tracking method |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
JP7009494B2 (ja) | 2017-03-17 | 2022-01-25 | マジック リープ, インコーポレイテッド | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
EP3596702A4 (en) | 2017-03-17 | 2020-07-22 | Magic Leap, Inc. | MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS |
CA3054619C (en) | 2017-03-17 | 2024-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
EP3619704A4 (en) | 2017-05-01 | 2020-11-11 | Pure Depth Inc. | SACCADED SEQUENTIAL FIELD FRAGMENTATION REDUCTION BASED ON HEAD TRACKING |
US10620710B2 (en) | 2017-06-15 | 2020-04-14 | Microsoft Technology Licensing, Llc | Displacement oriented interaction in computer-mediated reality |
GB201709752D0 (en) | 2017-06-19 | 2017-08-02 | Advanced Risc Mach Ltd | Graphics processing systems |
US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
US10403032B2 (en) | 2017-08-22 | 2019-09-03 | Qualcomm Incorporated | Rendering an image from computer graphics using two rendering computing devices |
US10445922B2 (en) | 2017-08-31 | 2019-10-15 | Intel Corporation | Last-level projection method and apparatus for virtual and augmented reality |
US10481689B1 (en) | 2018-01-10 | 2019-11-19 | Electronic Arts Inc. | Motion capture glove |
US10861215B2 (en) | 2018-04-30 | 2020-12-08 | Qualcomm Incorporated | Asynchronous time and space warp with determination of region of interest |
WO2020023383A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
US11176901B1 (en) | 2019-08-13 | 2021-11-16 | Facebook Technologies, Llc. | Pan-warping and modifying sub-frames with an up-sampled frame rate |
US10843067B1 (en) | 2019-10-04 | 2020-11-24 | Varjo Technologies Oy | Input device, system, and method |
-
2016
- 2016-12-05 CA CA3007367A patent/CA3007367A1/en not_active Abandoned
- 2016-12-05 AU AU2016365422A patent/AU2016365422A1/en not_active Abandoned
- 2016-12-05 US US15/369,646 patent/US10909711B2/en active Active
- 2016-12-05 EP EP16871733.8A patent/EP3384468A4/en not_active Ceased
- 2016-12-05 WO PCT/US2016/065001 patent/WO2017096396A1/en active Application Filing
- 2016-12-05 KR KR1020187019205A patent/KR20180090355A/ko unknown
- 2016-12-05 CN CN201680080997.3A patent/CN108604383A/zh active Pending
- 2016-12-05 JP JP2018528977A patent/JP2018536244A/ja active Pending
-
2018
- 2018-06-03 IL IL259766A patent/IL259766B/en active IP Right Grant
-
2020
- 2020-07-07 US US16/922,145 patent/US11288832B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110184950A1 (en) * | 2010-01-26 | 2011-07-28 | Xerox Corporation | System for creative image navigation and exploration |
US20130290222A1 (en) * | 2012-04-27 | 2013-10-31 | Xerox Corporation | Retrieval system and method leveraging category-level labels |
US20140212027A1 (en) * | 2012-05-04 | 2014-07-31 | Aaron Hallquist | Single image pose estimation of image capture devices |
US20150163345A1 (en) * | 2013-12-06 | 2015-06-11 | Digimarc Corporation | Smartphone-based methods and systems |
US20150178554A1 (en) * | 2013-12-19 | 2015-06-25 | Objectvideo, Inc. | System and method for identifying faces in unconstrained media |
CN104299035A (zh) * | 2014-09-29 | 2015-01-21 | 国家电网公司 | 基于聚类算法和神经网络的变压器故障诊断方法 |
CN104866829A (zh) * | 2015-05-25 | 2015-08-26 | 苏州大学 | 一种基于特征学习的跨年龄人脸验证方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109522436A (zh) * | 2018-11-29 | 2019-03-26 | 厦门美图之家科技有限公司 | 相似图像查找方法及装置 |
CN111739105A (zh) * | 2020-08-07 | 2020-10-02 | 北京理工大学 | 一种直播机位摄像方案自动学习方法 |
Also Published As
Publication number | Publication date |
---|---|
AU2016365422A1 (en) | 2018-06-28 |
EP3384468A1 (en) | 2018-10-10 |
IL259766B (en) | 2021-03-25 |
KR20180090355A (ko) | 2018-08-10 |
US20170161919A1 (en) | 2017-06-08 |
WO2017096396A1 (en) | 2017-06-08 |
US10909711B2 (en) | 2021-02-02 |
CA3007367A1 (en) | 2017-06-08 |
EP3384468A4 (en) | 2019-01-30 |
IL259766A (en) | 2018-07-31 |
US11288832B2 (en) | 2022-03-29 |
JP2018536244A (ja) | 2018-12-06 |
NZ743271A (en) | 2021-06-25 |
US20200334849A1 (en) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108604383A (zh) | 重新定位***和方法 | |
CN111819568B (zh) | 人脸旋转图像的生成方法及装置 | |
CN108717531B (zh) | 基于Faster R-CNN的人体姿态估计方法 | |
CN107329962B (zh) | 图像检索数据库生成方法、增强现实的方法及装置 | |
CN103839277A (zh) | 一种户外大范围自然场景的移动增强现实注册方法 | |
Lu et al. | Localize me anywhere, anytime: a multi-task point-retrieval approach | |
CN109508679A (zh) | 实现眼球三维视线跟踪的方法、装置、设备及存储介质 | |
CN107644445A (zh) | 利用单个球及圆切线的性质标定拋物折反射摄像机的方法 | |
CN109784232A (zh) | 一种融合深度信息的视觉slam回环检测方法及装置 | |
CN107657645A (zh) | 利用直线及圆的共轭直径的性质标定拋物折反射摄像机 | |
Chen et al. | CSR-Net: Learning adaptive context structure representation for robust feature correspondence | |
Chen et al. | A hierarchical consensus attention network for feature matching of remote sensing images | |
McIlroy et al. | Kinectrack: 3d pose estimation using a projected dense dot pattern | |
CN109978928A (zh) | 一种基于加权投票的双目视觉立体匹配方法及其*** | |
CN103136513B (zh) | 一种改进的asm人脸特征点定位方法 | |
Ohshima et al. | Visual place recognition from eye reflection | |
Fang et al. | MR-CapsNet: a deep learning algorithm for image-based head pose estimation on CapsNet | |
Ko et al. | A novel distant target region detection method using hybrid saliency-based attention model under complex textures | |
Lei et al. | Human Pose Estimation of Diver Based on Improved Stacked Hourglass Model | |
Zhang et al. | An Efficient Feature Extraction Scheme for Mobile Anti-Shake in Augmented Reality | |
Goh et al. | Real-time and automatic map stitching through aerial images from UAV | |
Micusik et al. | Ego-Motion Alignment from Face Detections for Collaborative Augmented Reality | |
Liu et al. | Free-head pose estimation under low-resolution scenarios | |
Chen et al. | Gaze estimation based on swin transformer | |
Zhang | Sparse Visual Localization in GPS-Denied Indoor Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180928 |