CN108700947A - 用于并发测距和建图的***和方法 - Google Patents

用于并发测距和建图的***和方法 Download PDF

Info

Publication number
CN108700947A
CN108700947A CN201780013650.1A CN201780013650A CN108700947A CN 108700947 A CN108700947 A CN 108700947A CN 201780013650 A CN201780013650 A CN 201780013650A CN 108700947 A CN108700947 A CN 108700947A
Authority
CN
China
Prior art keywords
electronic equipment
feature descriptor
environment
module
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780013650.1A
Other languages
English (en)
Other versions
CN108700947B (zh
Inventor
伊莎·内鲁卡
西蒙·吕嫩
赵胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202111282461.9A priority Critical patent/CN114185427B/zh
Publication of CN108700947A publication Critical patent/CN108700947A/zh
Application granted granted Critical
Publication of CN108700947B publication Critical patent/CN108700947B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种电子设备[100]在环境中跟踪其运动，同时构建用于校正跟踪运动中的漂移的所述环境的三维视觉表示[225]。运动跟踪模块[210]基于与所述环境中的对象的空间特征的视觉外观相对应的特征描述符[215]来估计所述电子设备的姿势。建图模块[220]基于存储的多个地图[417]以及从所述运动跟踪模块接收的所述特征描述符和估计的设备姿势来构建所述环境的三维视觉表示。定位模块通过最小化匹配特征描述符之间的差异而执行循环闭包来计算定位姿势。所述定位姿势校正由所述运动跟踪模块生成的所述估计姿势的漂移。

Description

用于并发测距和建图的***和方法
技术领域
本公开一般涉及成像捕获和处理，并且更具体地涉及使用捕获的成像的机器视觉。
背景技术
机器视觉和显示技术，例如同时定位和建图(SLAM)、视觉惯性测距(VIO)、区域学习应用、增强现实(AR)和虚拟现实(VR)，通常依赖于通过分析设备所捕获的本地环境的成像识别所述设备的本地环境内的对象。为了支持这些技术，设备通过环境，同时构建环境的地图或增强环境的一个或多个现有地图。然而，用于在构建环境的地图的同时跟踪运动的传统技术通常花费相对大量的时间和资源并累积错误，从而限制了机器视觉技术的效用和有效性。
附图说明
通过参考附图，可以更好地理解本公开，并且本公开的许多特征和优点对于所属领域的技术人员而言是显而易见的。在不同附图中使用相同的附图标记表示相似或相同的项目。
图1是示出根据本公开的至少一个实施例的电子设备的图，所述电子设备被配置成使用基于非图像传感器数据和图像传感器数据生成的姿势信息估计本地环境中的电子设备的姿势，同时构建本地环境的地图。
图2是示出根据本公开的至少一个实施例的图1的电子设备的并发测距和建图模块的图，所述并发测距和建图模块被配置成估计电子设备的当前姿势并更新环境的地图以对估计的当前姿势进行定位。
图3是示出根据本公开的至少一个实施例的图2的并发测距和建图模块的运动跟踪模块的图，所述运动跟踪模块被配置成生成环境中的对象的空间特征的特征描述符，用于更新环境的地图并估计电子设备的姿势。
图4是示出根据本公开的至少一个实施例的图2的并发测距和建图模块的建图模块的图，所述建图模块被配置成基于生成的特征描述符和多个存储的地图来生成并添加电子设备的环境的三维表示。
图5是示出根据本公开的至少一个实施例的图2的并发测距和建图模块的定位模块的图，所述定位模块被配置成生成电子设备的定位姿势。
图6是示出根据本公开的至少一个实施例的用于跟踪运动并更新环境的三维表示的电子设备的操作流程图。
具体实施方式
以下描述旨在通过提供多个具体实施例和细节来传达对本公开的透彻理解，所述具体实施例和细节涉及基于电子设备的本地环境中的对象的基于图像的识别来确定电子设备的相对位置或相对定向。然而，应理解，本公开不限于仅作为示例的这些特定实施例和细节，并且本公开的范围相应地仅旨在由所附权利要求书及其等同物限制。还应理解，根据已知的***和方法，所属领域的普通技术人员将了解，根据具体设计和其它需要，本公开在任何数量的替代实施例中用于其预期目的和益处。
图1-6示出的各种技术用于跟踪环境中的电子设备的运动，同时构建用于校正跟踪的运动中的漂移的环境的三维视觉表示。前端运动跟踪模块从视觉、惯性和深度传感器接收传感器数据，并跟踪可由应用程序编程接口(API)使用的电子设备的运动(即，估计随时间变化的姿势)。前端运动跟踪模块基于与环境中的对象的空间特征的视觉外观对应的特征描述符来估计随时间变化的姿势，并估计空间特征的三维位置(称为3D点位置)。前端运动跟踪模块还将捕获的特征描述符和估计的设备姿势提供给后端建图模块。后端建图模块被配置成基于存储的特征描述符来存储多个地图，并且当电子设备移动通过环境的过程中生成额外的特征描述符和估计的设备姿势时定期地从前端运动跟踪模块接收所述额外的特征描述符和估计的设备姿势。后端建图模块基于存储的多个地图和接收的特征描述符来构建环境的三维视觉表示(地图)。后端建图模块将环境的三维视觉表示提供给定位模块，所述定位模块将生成的特征描述符与来自存储的多个地图中的存储的特征描述符进行比较，并识别存储的和观察到的特征描述符之间的对应关系。定位模块通过最小化匹配特征描述符之间的差异而执行循环闭包来计算定位姿势。定位姿势校正由前端运动跟踪模块生成的估计姿势的漂移，并且定期地发送到前端运动跟踪模块以输出到API。
通过基于视觉和惯性传感器数据单独跟踪运动并基于多个存储的地图以及定期更新的生成的特征描述符构建环境的三维表示，并通过在生成的特征描述符与三维表示之间执行循环闭包来校正跟踪的运动中的漂移，电子设备即使在受限资源的情况下也可以执行高度精确的运动跟踪和环境的地图构建，从而允许电子设备记录环境的表示并因此识别出通过多个会话访问相同的环境。为了说明，在至少一个实施例中，前端运动跟踪模块仅维护跟踪运动的有限历史(例如，仅针对单个先前会话或单个先前时间段的跟踪运动数据)，并将任何先前生成的特征点位置估计看作是固定的，因此限制了计算估计的当前姿势和3D点位置的计算负担，从而使前端跟踪模块能够以相对高的速率更新估计的当前姿势。后端建图模块维护环境中的3D点位置和电子设备的姿势的更广泛历史，从而使后端建图模块能够基于存储的地图和从前端运动跟踪模块接收的观察到的特征描述符来构建环境的更精确的三维表示。因为后端建图模块承载更大的计算负担以基于多个存储的地图来构建环境的三维表示并且基于来自前端运动跟踪模块的额外生成的特征描述符的定期输入来更新三维表示，所以后端建图模块以相对慢的速率更新环境的三维表示。此外，定位模块通过求解将先前生成的3D点位置看作变量的协同优化算法来优化三维表示和估计的当前姿势。因此，定位模块校正估计的当前姿势中的漂移以生成定位姿势，并将定位姿势发送到前端运动跟踪模块以输出到API。
图1示出了根据本公开的至少一个实施例的电子设备100，所述电子设备被配置成使用图像和非视觉传感器数据来支持基于位置的功能，例如SLAM、VR或AR。电子设备100可以包括用户便携式移动设备，例如平板电脑、支持计算的蜂窝电话(例如，“智能手机”)、头戴式显示器(HMD)、笔记本电脑、个人数字助理(PDA)、游戏***遥控器、电视遥控器等。在其它实施例中，电子设备100可以包括其它类型的移动设备，例如汽车、机器人、遥控无人机或其它机载设备等。为了便于说明，本文一般在移动设备的示例上下文中描述电子设备100，例如平板电脑或智能手机；然而，电子设备100不限于这些示例实现。
在所描绘的示例中，电子设备100包括壳体102，所述壳体具有与另一表面106相对的表面104。在示例中，所示的薄矩形块形状因子，表面104和106基本上平行，并且壳体102进一步包括在表面104与表面106之间的四个侧表面(顶部、底部、左侧和右侧)。壳体102可以许多其它形状因子实现，并且表面104和106可以具有非平行定向。对于所示的平板电脑实施方案，电子设备100包括设置在表面106处的显示器108，用于向用户110呈现视觉信息。因此，为了便于参考，表面106在本文中称为“前向”表面，并且表面104在本文中称为“面向用户的”表面，作为电子设备100相对于用户110的这种示例定向的反映，但是这些表面的定向不受这些关系指定的限制。
电子设备100包括多个传感器以获得关于电子设备100的本地环境112的信息。电子设备100经由成像传感器114和116和设置在前向表面106处的深度传感器120以及设置在面向用户的表面104处的成像传感器118获得本地环境112的视觉信息(成像)。在一个实施例中，成像传感器114被实现为具有鱼眼镜头或其它广角镜头的广角成像传感器，以提供面向表面106的本地环境112的更广角度视图。成像传感器116被实现为具有典型视角镜头的窄角成像传感器，以提供面向表面106的本地环境112的更窄角度视图。因此，成像传感器114和成像传感器116在本文中也分别称为“广角成像传感器114”和“窄角成像传感器116”。如下面更详细描述的，广角成像传感器114和窄角成像传感器116可以安置和定向在前向表面106上，使得它们的视场从距电子设备110的指定距离处开始重叠，因此通过图像分析能够深度感测位于重叠视场区域中的本地环境112中的对象。成像传感器118可用于捕获面向表面104的本地环境112的图像数据。此外，在一些实施例中，成像传感器118被配置用于跟踪头部122的运动或用于面部识别，从而提供可用于调整经由显示器108呈现的成像的视角的头部跟踪信息。
在一个实施例中，深度传感器120使用调制光投射器119将调制光图案从前向表面106投射到本地环境中，并使用成像传感器114和116中的一个或两个来在调制的光图案从本地环境112中的对象反射回来时捕获调制的光图案的反射。这些调制的光图案可以是空间上调制的光图案或时间上调制的光图案。所捕获的调制光图案的反射在本文中称为“深度成像”。然后，深度传感器120可基于对深度成像的分析来计算对象的深度，即，对象距电子设备100的距离。从深度传感器120获得的所得深度数据可用于校准或以其它方式增强从成像传感器114和116捕获的图像数据的图像分析(例如，立体分析)获得的深度信息。替代地，来自深度传感器120的深度数据可以用于代替从图像分析获得的深度信息。为了说明，多视图分析通常更适合于明亮的照明条件以及当对象相对较远时，而调制的基于光的深度感测更适合于较低光照条件或当观察到的对象相对较近时(例如，在4-5米内)。因此，当电子设备100感测到它在室外或者处于相对良好的照明条件下时，电子设备100可以选择使用基于多视图的重建来确定对象深度。相反，当电子设备100感测到它在室内或者在相对较差的照明条件下时，电子设备100可以切换到经由深度传感器120使用调制的基于光的深度感测。
电子设备100还可以依赖于非视觉姿势信息来进行姿势检测。这种非视觉姿势信息可以由电子设备100经由一个或多个非视觉传感器(图1中未示出)获得，例如包括一个或多个陀螺仪、磁力计和加速度计的IMU。在至少一个实施例中，IMU可用于沿多个运动轴产生姿势信息，包括平移轴，表示为电子设备100的参考系的X、Y和Z轴，以及旋转轴，表示为电子设备100的参考系的滚动轴、俯仰轴和偏转轴。非视觉传感器还可以包括环境光传感器和位置传感器，例如GPS传感器，或可以用于识别电子设备100的位置的其它传感器，例如一个或多个无线电、蜂窝无线电等。
为了促进可在资源受限的移动设备上运行的无漂移、高度精确的运动跟踪，电子设备100包括并发测距和建图模块150，以基于图像传感器数据134、136和非图像传感器数据142跟踪电子设备100的运动，并且构建本地环境112的三维表示。并发测距和建图模块150利用基于图像传感器数据和非视觉传感器数据生成的特征描述符定期地更新本地环境112的三维表示。并发测距和建图模块150使用本地环境112的更新的三维表示来校正跟踪运动中的漂移和其它姿势误差。
在操作中，电子设备100使用图像传感器数据和非视觉传感器数据来跟踪电子设备100的运动(估计姿势)。在至少一个实施例中，在重置之后，电子设备100基于如下文进一步描述的地理位置数据、其它非视觉传感器数据、视觉传感器数据或其组合来确定初始估计的姿势。随着电子设备100的姿势改变，非视觉传感器以相对高的速率生成反映设备姿势的变化的非视觉姿势信息。同时，视觉传感器捕获也反映设备姿势变化的图像。基于这种非视觉和视觉姿势信息，电子设备100更新初始估计姿势以反映设备的当前估计姿势或跟踪运动。
电子设备100基于由成像传感器114、116和118中的一个或多个捕获的图像数据中的空间特征的检测来生成视觉姿势信息。为了说明，在图1描绘的示例中，本地环境112包括办公楼的走廊，其包括三个角124、126和128、基板130和电源插座132。用户110已经安置和定向电子设备100，使得前向成像传感器114和116分别捕获广角成像传感器图像数据134和窄角成像传感器图像数据136，其包括走廊的这些空间特征。在这个示例中，深度传感器120还捕获深度数据138，深度数据138反映这些空间特征相对于电子设备100的当前姿势的相对距离。此外，面向用户的成像传感器118捕获表示用户110的头部122的当前姿势的头部跟踪数据140的图像数据。非视觉传感器数据142，例如来自IMU的读数，也由电子设备100以其当前姿势收集。
根据此输入数据，电子设备100可以确定其相对姿势或跟踪运动的估计，而无需来自外部源的显式绝对定位信息。为了说明，电子设备100可以执行广角成像传感器图像数据134和窄角成像传感器图像数据136的分析，以确定电子设备100与角124、126、128之间的距离。替代地，从深度传感器120获得的深度数据138可用于确定空间特征的距离。根据这些距离，电子设备100可以三角测量或以其它方式推断其在由本地环境112表示的办公室中的相对位置。作为另一示例，电子设备100可以识别存在于图像数据134和136的一个捕获图像集合中的空间特征，并确定到这些空间特征的初始距离，然后跟踪这些空间特征在随后捕获的成像中的位置和距离的变化，以确定电子设备100在自由参考系中的姿势变化。在这个方法中，某些非视觉传感器数据(例如陀螺仪数据或加速度计数据)可用于将在一个图像中观察到的空间特征与在后续图像中观察到的空间特征相关联。
在至少一个实施例中，电子设备100使用图像数据和非视觉数据来生成在捕获的成像中识别的空间特征的特征描述符。每个生成的特征描述符描述一个或多个所识别的空间特征的定向、重力方向、比例和其它方面。将生成的特征描述符与本地环境112的多个存储的地图的存储的描述符的集合(为了描述的目的，称为“已知的特征描述符”)进行比较，每个存储的描述符识别先前识别的空间特征及其对应的姿势。在至少一个实施例中，每个已知特征描述符是先前已由电子设备100或另一电子设备生成并且其姿势确定地建立的描述符。估计的设备姿势、3D点位置和已知的特征描述符可以存储在电子设备100处、远程服务器(其可以组合来自多个电子设备的数据)或其它存储设备或其组合处。因此，可以在电子设备100、远程服务器或其它设备或其组合处执行生成的特征描述符的比较。
在至少一个实施例中，通过将生成的特征描述符的每个方面(例如，对应特征的定向、对应特征的比例等)与已知特征描述符的相应方面进行比较并确定指示比较的特征之间的方差的误差值，将生成的特征描述符与已知特征描述符进行比较。因此，例如，如果生成的特征描述符中的特征的定向由矢量A识别，并且已知特征描述符中的特征的定向由矢量B识别，则电子设备100可以通过计算矢量A和B之间的差异来识别特征描述符的定向方面的误差值。可以根据指定的统计技术(例如最小二乘法技术)组合误差值，以识别每个正被比较的已知特征描述符的组合误差值，并且匹配的已知特征描述符识别为具有最小组合误差值的已知特征描述符。
每个已知特征描述符包括识别相应空间特征的点位置以及从中看到相应空间特征的相机姿势的一个或多个字段。因此，已知特征描述符可以包括指示在指定分辨率(例如，1cm)内在指定坐标系(例如，代表地球的地理坐标系)内的空间特征的位置的姿势信息、空间特征的视点的定向、视点与特征的距离等。将观察到的特征描述符与存储在地图中的特征描述符进行比较，以识别多个匹配的已知特征描述符。然后将匹配的已知特征描述符与非视觉姿势数据一起存储为定位数据，所述定位数据既可以用于校正电子设备100的跟踪运动(或估计姿势)中的漂移，又可以增强扩大电子设备100的本地环境的多个存储的地图。
在一些场景中，匹配过程将识别与对应的观察到的特征描述符匹配的多个已知特征描述符，从而指示在电子设备100的本地环境中存在先前已被识别的多个特征。匹配的已知特征描述符的对应位置可以变化，指示电子设备100不在由匹配的已知特征描述符指示的姿势中的特定一个姿势中。因此，电子设备100可以通过在由匹配的已知特征描述符指示的姿势与使用传统内插技术计算的姿势之间内插其姿势来细化其估计的姿势。在一些场景中，如果匹配的已知特征描述符与计算的在线估计之间的误差/差异高于阈值，则电子设备100可将其估计的姿势对齐到由已知特征描述符指示的姿势。
在至少一个实施例中，并发测距和建图模块150基于图像传感器数据134、136和非图像传感器数据142以相对高的速率生成电子设备100的估计姿势(即，跟踪运动)以用于输出到API。并发测距和建图模块150还基于图像传感器数据和非视觉传感器数据生成特征描述符。并发测距和建图模块150存储包含已知特征描述符的多个地图，从中构建本地环境112的三维表示。并发测距和建图模块150使用已知特征描述符来地图本地环境。例如，并发测距和建图模块150可以使用已知特征描述符来生成地图文件，所述地图文件指示包括在已知特征描述符中的每个特征在电子设备100的参考系中的位置。随着并发测距和建图模块150基于图像传感器数据和非视觉传感器数据生成新的特征描述符，它通过将生成的特征描述符与已知的特征描述符进行匹配来定期地增强本地环境112的三维表示。并发测距和建图模块150使用环境112的三维表示来定期地校正跟踪运动中的漂移。以这种方式，并发测距和建图模块150生成本地精确的估计姿势以便以相对高的频率输出到API，并使用本地环境112的三维表示来定期地校正估计姿势中的全局漂移，以生成定位姿势。估计和定位的姿势可用于支持各种基于位置的服务中的任何一种。例如，在一个实施例中，估计和定位的姿势可以用于生成表示电子设备100的本地环境的虚拟现实环境或其一部分。
图2示出了图1的电子设备100的并发测距和建图模块250的组件。并发测距和建图模块250包括前端运动跟踪模块210、后端建图模块220和定位模块230。并发测距和建图模块250被配置成向API模块240输出定位和估计的姿势。并发测距和建图模块250被配置成跟踪运动以估计电子设备的当前姿势并更新环境的地图以对估计的当前姿势进行定位。在一些实施例中，并发测距和建图模块250被配置成以第一相对较高的速率跟踪运动(估计姿势)，并且以第二相对较低的速率更新用于对估计的姿势进行定位的环境的地图。
前端运动跟踪模块210被配置成从成像相机114和116接收视觉传感器数据136，从深度传感器120接收深度数据138，以及从图1的非图像传感器(未示出)接收惯性传感器数据142。前端运动跟踪模块210根据接收到的传感器数据生成估计的姿势214，并生成本地环境112中对象的空间特征的特征描述符215。在一些实施例中，前端运动跟踪模块210存储有限的跟踪运动历史(例如，单个先前会话或单个先前时间段)。在一些实施例中，前端运动跟踪模块210通过基于生成的特征描述符生成线性化点并基于所述线性化点和先前基于存储的跟踪运动的有限历史生成的线性化点来求解空间特征的非线性估计而估计电子设备100的当前姿势。在一些实施例中，为了解决空间特征的非线性估计，前端运动跟踪模块将任何先前生成的3D点位置估计视为固定值的集合。因为先前生成的线性化点被视为非变量，所以求解空间特征的非线性估计的计算负担低于先前生成的线性化点被视为变量的计算负担。然而，先前生成的线性化点中的任何误差可能无法通过非线性估计的解决方案来纠正。因此，估计的当前姿势可以与电子设备100的实际当前位置和定向不同。
在一些实施例中，前端运动跟踪模块210基于传感器数据的连续或高频接收以相对高的速率更新估计的姿势214。基于传感器数据，前端运动跟踪模块210被配置成生成在本地精确但受全局漂移影响的估计的姿势214。前端运动跟踪模块210将估计的姿势214提供给API模块240，API模块240被配置成使用估计的姿势214来生成表示电子设备100的本地环境的虚拟现实环境或其一部分。前端运动跟踪模块210将生成的特征描述符215提供给建图模块220。前端运动跟踪模块210定期地查询定位模块230以检查定位姿势235。当定位模块230已生成定位姿势235时，定位模块230将定位姿势235提供给运动跟踪模块210，运动跟踪模块210将定位姿势235提供给API 240。在一些实施例中，由于生成定位姿势235的计算要求，定位模块230以相对低的速率更新定位姿势235。
建图模块220被配置成存储包括已知特征描述符的多个地图(未示出)并且从运动跟踪模块210接收生成的特征描述符215。存储的多个地图形成环境的压缩历史和电子设备100的跟踪运动。建图模块220被配置成利用新生成的跟踪运动来增强存储的多个地图。在一些实施例中，建图模块220定期地(例如，每五秒)从运动跟踪模块210接收生成的特征描述符。在一些实施例中，在前端运动跟踪模块210已经接收到传感器数据的阈值量之后，建图模块220从前端运动跟踪模块210接收生成的特征描述符215。建图模块220基于存储的多个地图的已知特征描述符和从运动跟踪模块210接收到的生成的特征描述符来构建电子设备100的本地环境112的三维表示。建图模块220将一个或多个空间特征与多个存储的地图的空间特征相匹配，以生成电子设备100的三维表示225。在一些实施例中，建图模块220搜索每个生成的特征描述符215以确定存储的多个地图的任何匹配的已知特征描述符。
在一些实施例中，建图模块220通过基于生成的特征描述符生成3D点位置的估计并且基于设备姿势和基于存储的特征描述符和来自惯性传感器的数据的3D点位置求解三维表示的非线性估计来添加从运动跟踪模块210接收的生成的特征描述符。在一些实施例中，为了求解三维表示的非线性估计，先前生成的线性化点被认为可变。建图模块220将本地环境112的三维表示225提供给定位模块230。
定位模块230被配置成例如通过应用循环闭包算法使用匹配的描述符来将估计的姿势214与存储的多个地图对齐。因此，定位模块230可以使用匹配的特征描述符来估计存储的多个地图中的一个或多个的变换，由此定位模块230变换与生成的具有匹配描述符的估计姿势214的特征描述符相关联的几何数据，以使其与和存储的具有相应匹配描述符的地图相关联的几何数据对齐。当定位模块230从生成的特征描述符215和存储的地图中找到足够数量的匹配特征描述符以确认生成的特征描述符215和存储的地图包含对共同视觉地标的描述时，定位模块230执行生成的特征描述符215与匹配的已知特征描述符之间的变换，从而对齐匹配的特征描述符的几何数据。此后，定位模块230可以应用协同优化算法来细化电子设备100的估计的姿势214的姿势和场景的对齐，以生成定位姿势235。
图3示出了图1和2的前端运动跟踪模块310的组件。运动跟踪模块310包括特征识别模块312和环境地图器320。这些模块中的每一个代表硬件、软件或其组合，其被配置成执行如本文所述的操作。具体地，特征识别模块312被配置成接收表示由成像传感器114、116、118捕获的图像的成像305，以及非视觉传感器数据142。基于此接收的数据，特征识别模块312通过生成特征描述符315并将特征描述符与如上面参考图2所述的存储的跟踪运动的有限历史中的已知特征描述符进行比较来识别成像305中的特征。特征识别模块312将生成的特征描述符315提供给建图模块220。特征识别模块312另外将特征描述符315与任何相关联的非视觉数据一起存储为定位数据317。在至少一个实施例中。当电子设备100在其本地环境中移动通过不同的位置和定向时，电子设备100可以使用定位数据317来估计电子设备100的一个或多个姿势。这些估计的姿势可以与先前生成和存储的用于本地环境的地图信息结合使用，以支持或增强电子设备100的基于位置的服务。
环境地图器320被配置成基于定位数据317生成或修改电子设备100的本地精确估计的姿势214。具体地，环境地图器320分析定位数据317中的特征描述符以识别特征在电子设备100的参考系中的位置。例如，每个特征描述符可以包括指示来自电子设备100的相应特征的相对位置的位置数据。在一些实施例中，环境地图器320基于定位数据317生成线性化点，并基于所述线性化点和先前基于来自存储的跟踪运动的有限历史的存储的特征描述符生成的线性化点来求解环境的非线性估计，例如最小二乘。环境地图器320估计设备姿势随时间的演变以及环境112中的3D点的位置。为了基于传感器数据找到这些值的匹配值，环境地图器320求解非线性优化问题。在一些实施例中，环境地图器320通过使问题线性化并应用用于求解线性方程组的标准技术来解决非线性优化问题。在一些实施例中，环境地图器320将先前生成的线性化点视为固定的，以便求解环境的非线性估计。环境地图器320可以协调不同特征的相对位置以识别每个特征在参考系中的位置，并将这些位置存储在本地精确的估计的姿势214中。前端运动跟踪模块310提供估计的姿势214并且以相对高的速率将估计的姿势214更新到电子设备100的API模块214(例如)以生成本地环境的虚拟现实显示。
环境地图器320还被配置成定期地向定位模块230查询更新的定位姿势235。在一些实施例中，定位模块230以相对低的速率更新定位姿势235。当更新的定位姿势235可用时，定位模块230将更新的定位姿势235提供给环境地图器320。环境地图器320将更新的定位姿势235提供给API模块240。
图4是示出根据本公开的至少一个实施例的图2的并发测距和建图模块250的后端建图模块420的图，所述后端建图模块被配置成基于生成的特征描述符315和多个存储的地图417来生成并添加电子设备100的环境的三维表示。后端建图模块420包括存储模块415和特征描述符匹配模块425。
存储模块415被配置成存储电子设备100的环境的多个地图417。在一些实施例中，多个地图417可以包括先前在之前的建图会话期间由电子设备100生成的地图。在一些实施例中，多个地图417还可以包括VR或AR地图，其包含在电子设备100的物理环境中未找到的特征。多个地图417包括环境中的对象的空间特征的存储的(已知的)特征描述符422，其可以共同用于生成环境的三维表示225。
特征描述符匹配模块425被配置成从运动跟踪模块210接收生成的特征描述符315。特征描述符匹配模块425将生成的特征描述符315与已知的特征描述符422进行比较。特征描述符匹配模块425基于存储的多个地图417的已知特征描述符422和从前端运动跟踪模块210接收的生成的特征描述符315构建电子设备100的本地环境112的三维表示225。
在一些实施例中，特征描述符匹配模块425通过基于生成的特征描述符生成线性化点并且基于所述线性化点和先前基于已知的特征描述符422生成的线性化点求解三维表示的非线性估计来添加从运动跟踪模块210接收的生成的特征描述符315。在一些实施例中，为了求解三维表示的非线性估计，先前生成的线性化点被认为可变。特征描述符匹配模块425将环境的三维表示225提供给定位模块230，并且在一些实施例中，以相对低的速率更新三维表示225。
建图模块420定期地从运动跟踪模块210接收生成的特征描述符315。在一些实施例中，建图模块420以规则的时间间隔(例如，每五秒)从前端运动跟踪模块210接收生成的特征描述符315。在一些实施例中，建图模块420在建图会话结束时或在前端运动跟踪模块210已接收到阈值量的传感器数据之后从前端运动跟踪模块210接收生成的特征描述符315。
图5是示出根据本公开的至少一个实施例的图2的并发测距和建图模块250的定位模块530的图，所述定位模块被配置成生成电子设备100的定位姿势235。定位模块530包括特征描述符差异检测器515和循环闭包模块525。
特征描述符差异检测器515被配置成从并发测距和建图模块250的后端建图模块220接收环境的三维表示225。特征描述符差异检测器515分析三维表示225的匹配的特征描述符，并识别匹配的特征描述符之间的差异。特征描述符差异检测器515变换与生成的具有匹配描述符的估计姿势214的特征描述符相关联的几何数据，以与和具有相应匹配描述符的存储的地图相关联的几何数据对齐。当定位模块230从生成的特征描述符215和存储的地图中找到足够数量的匹配特征描述符以确认生成的特征描述符215和存储的地图包含对共同视觉地标的描述时，定位模块230计算生成的特征描述符215与匹配的已知特征描述符之间的变换，从而对齐匹配特征描述符的几何数据。
循环闭包模块525被配置成通过求解协同优化算法以细化匹配特征描述符的对齐，在给定环境中的3D位置点及其在当前图像中的观察结果的情况下找到设备的匹配姿势。可以通过高斯-牛顿(Gauss-Newton)或列文伯格-马夸尔特(Levenberg-Marquardt)算法或用于优化变换的另一种已知算法来求解协同优化问题，以生成电子设备100的定位姿势235。在一些实施例中，循环闭包模块525将已知的特征描述符看作变量。因此，闭环模块525生成校正估计的姿势214中的漂移的定位姿势235，并将定位姿势235发送到前端运动跟踪模块210。可以将定位姿势235馈送到在电子设备100处执行的应用程序，通过允许电子设备100更有效和精确地识别其先前已经遍历的本地环境112来启用增强现实或其它基于位置的功能。
图6是示出了根据本公开的至少一个实施例的用于跟踪运动并更新环境的三维表示的电子设备的方法600的流程图。方法600在框602处开始，其中当用户使电子设备100移动通过本地环境中的不同姿势时，电子设备100捕获成像和非视觉数据。在框604处，前端运动跟踪模块210基于成像305和非图像传感器数据142识别本地环境的特征，并生成用于后端建图模块220的识别特征的特征描述符215和定位数据317。在框606处，运动跟踪模块210使用定位数据317来估计本地环境112中的电子设备100的当前姿势214。估计的姿势214可用于支持电子设备的基于位置的功能。例如，估计的姿势214可以用于将电子设备100的用户定向在电子设备100处执行的虚拟现实或增强现实应用程序中。
在框608处，后端建图模块220将生成的特征描述符215与多个存储的地图的已知特征描述符进行比较。在框610处，后端建图模块220构建和/或更新其提供给定位模块230的电子设备的环境的三维表示225。在框612处，定位模块230识别匹配特征描述符之间的差异，并执行循环闭包以使估计的姿势214与三维表示225对齐。在框614处，定位模块定位电子设备的当前姿势，并且并发测距和建图模块250将定位姿势提供给API模块240。
在一些实施例中，上述技术的某些方面可以由执行软件的处理***的一个或多个处理器实现。所述软件包括存储或以其它方式有形地体现在非暂时性计算机可读存储介质上的一组或多组可执行指令。所述软件可以包括指令和某些数据，所述指令和数据当由一个或多个处理器执行时操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可包括例如磁盘或光盘存储设备、诸如闪存的固态存储设备、高速缓存、随机存取存储器(RAM)或其它非易失性存储设备或装置，等等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或由一个或多个处理器解释或以其它方式可执行的其它指令格式。
计算机可读存储介质可以包括在使用期间可由计算机***访问以向计算机***提供指令和/或数据的任何存储介质或存储介质的组合。这种存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字通用光盘(DVD)、蓝光光盘)、磁介质(例如，软盘、磁带或磁性硬盘)、易失性存储器(例如，随机存取存储器(RAM)或高速缓冲存储器)、非易失性存储器(例如，只读存储器(ROM)或闪存)，或基于微机电***(MEMS)的存储介质。计算机可读存储介质可以嵌入在计算***(例如，***RAM或ROM)中、固定地附接到计算***(例如，磁性硬盘驱动器)、可移除地附接到计算***(例如，光盘或基于通用串行总线(USB)的闪存)，或经由有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机***。
注意，并非需要以上在一般描述中描述的所有活动或元素，因此可能不需要特定活动或设备的一部分，并且除了所描述的那些之外可以执行一个或多个其它活动或包括其它元素。此外，列出活动的顺序不一定是它们的执行顺序。而且，已经参考特定实施例描述了这些概念。然而，所属领域的普通技术人员认识到，在不脱离如所附权利要求书所阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图应视为说明性而非限制性意义，并且所有这些修改旨在包括在本公开的范围内。
上面已经关于特定实施例描述了益处、其它优点和问题的解决方案。然而，益处、优点、问题的解决方案以及可能导致任何利益、优势或解决方案发生或变得更加明显的任何特征不应被解释为任何或全部权利要求的关键、必需或必要特征。此外，以上公开的特定实施例仅是说明性的，因为所公开的主题可以以受益于本文教导的所属领域的技术人员显而易见的不同但等效的方式进行修改和实践。除了在所附权利要求中描述的之外，对于本文所示的构造或设计的细节没有限制。因此显而易见的是，可以改变或修改上面公开的特定实施例，并且所有这些变化都被认为在所公开的主题的范围内。因此，本文寻求的保护如所附权利要求书所述。

Claims (15)

1.一种方法，包括：
基于表示电子设备[100]的环境中的对象的一个或多个空间特征的特征描述符[215]，在所述电子设备处估计所述电子设备的当前姿势[214]，其中基于从一个或多个视觉传感器捕获的图像[305]和来自一个或多个非图像传感器的非视觉数据[142]生成所述特征描述符；
基于包括存储的特征描述符的多个存储的地图[417]，在所述电子设备处生成所述电子设备的所述环境的三维表示[225]；以及
基于所述环境的第一三维表示[235]来对估计的当前姿势进行定位。
2.根据权利要求1所述的方法，其中估计所述当前姿势包括：
基于生成的特征描述符来生成线性化点；以及
基于生成的线性化点和基于来自估计姿势的存储历史的特征描述符的先前生成的线性化点，来求解所述一个或多个空间特征的非线性估计，其中求解所述非线性估计包括：将所述先前生成的线性化点保存为固定值的集合。
3.根据权利要求1所述的方法，进一步包括：通过将所述生成的特征描述符添加到所述环境的所述第一三维表示来更新[610]所述三维表示。
4.根据权利要求3所述的方法，其中添加所述生成的特征描述符包括：基于所述生成的特征描述符来生成线性化点，并基于所述线性化点和基于所述存储的特征描述符的所述先前生成的线性化点，来求解所述三维表示的非线性估计，其中先前生成的线性化点被认为是可变的。
5.根据权利要求3所述的方法，其中将所述生成的特征描述符定期地添加到所述环境的所述三维表示中。
6.根据权利要求3所述的方法，进一步包括：构建包括更新的三维表示的特征描述符的集束调整问题以及解决所述集束调整问题。
7.根据权利要求1所述的方法，其中对所述估计的当前姿势进行定位包括：将所述生成的特征描述符与所述存储的特征描述符进行匹配[608]。
8.根据权利要求7所述的方法，其中对所述估计的当前姿势进行定位进一步包括：识别匹配的生成的特征描述符与存储的特征描述符之间的差异，并最小化所述差异[612]。
9.根据权利要求1所述的方法，其中估计当前姿势包括：以比对所述估计的当前姿势进行定位更高的速率估计所述当前姿势。
10.一种电子设备[100]，包括：
运动跟踪模块[210]，被配置成基于表示电子设备的环境中的一个或多个对象的一个或多个空间特征的特征描述符[215]来跟踪所述电子设备相对于所述环境的运动，其中基于从一个或多个视觉传感器捕获的图像[305]和来自一个或多个非图像传感器的非视觉数据[142]，以第一速率生成所述特征描述符；
建图模块[220]，被配置成基于包括存储的特征描述符的多个存储的地图[417]，以第二速率生成所述电子设备的所述环境的三维视觉表示[225]；以及
定位模块[230]，被配置成将所述一个或多个空间特征匹配到所述多个存储的地图的空间特征，以生成所述电子设备的定位姿势[235]。
11.根据权利要求10所述的电子设备，其中所述建图模块进一步用于通过将所跟踪的运动添加到所述环境的第一三维表示，来更新所述三维表示。
12.根据权利要求11所述的电子设备，其中所述建图模块进一步用于基于生成的特征描述符来生成线性化点，并基于所述线性化点和所述存储的特征描述符来求解所述三维表示的非线性估计。
13.根据权利要求11所述的电子设备，其中所述建图模块用于将所述生成的特征描述符定期地添加到所述环境的所述三维表示中。
14.根据权利要求10所述的电子设备，其中所述第一速率高于所述第二速率。
15.根据权利要求10所述的电子设备，其中所述定位模块进一步用于识别匹配的生成的特征描述符与存储的特征描述符之间的差异并最小化所述差异。
CN201780013650.1A 2016-05-18 2017-05-18 用于并发测距和建图的***和方法 Expired - Fee Related CN108700947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111282461.9A CN114185427B (zh) 2016-05-18 2017-05-18 用于并发测距和建图的***和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662337987P 2016-05-18 2016-05-18
US62/337,987 2016-05-18
US15/595,617 US10802147B2 (en) 2016-05-18 2017-05-15 System and method for concurrent odometry and mapping
US15/595,617 2017-05-15
PCT/US2017/033321 WO2017201282A1 (en) 2016-05-18 2017-05-18 System and method for concurrent odometry and mapping

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111282461.9A Division CN114185427B (zh) 2016-05-18 2017-05-18 用于并发测距和建图的***和方法

Publications (2)

Publication Number Publication Date
CN108700947A true CN108700947A (zh) 2018-10-23
CN108700947B CN108700947B (zh) 2021-11-16

Family

ID=59071067

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780013650.1A Expired - Fee Related CN108700947B (zh) 2016-05-18 2017-05-18 用于并发测距和建图的***和方法
CN202111282461.9A Active CN114185427B (zh) 2016-05-18 2017-05-18 用于并发测距和建图的***和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111282461.9A Active CN114185427B (zh) 2016-05-18 2017-05-18 用于并发测距和建图的***和方法

Country Status (4)

Country Link
US (3) US10802147B2 (zh)
EP (1) EP3458941A1 (zh)
CN (2) CN108700947B (zh)
WO (1) WO2017201282A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113811920A (zh) * 2019-05-16 2021-12-17 高通股份有限公司 分布式姿势估计

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
US10012504B2 (en) 2014-06-19 2018-07-03 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
US11466990B2 (en) * 2016-07-22 2022-10-11 Regents Of The University Of Minnesota Square-root multi-state constraint Kalman filter for vision-aided inertial navigation system
CN107065195B (zh) * 2017-06-02 2023-05-02 那家全息互动(深圳)有限公司 一种模块化mr设备成像方法
US11080931B2 (en) 2017-09-27 2021-08-03 Fisher-Rosemount Systems, Inc. Virtual x-ray vision in a process control environment
CN108876854B (zh) * 2018-04-27 2022-03-08 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
US11940277B2 (en) 2018-05-29 2024-03-26 Regents Of The University Of Minnesota Vision-aided inertial navigation system for ground vehicle localization
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN112805750A (zh) 2018-08-13 2021-05-14 奇跃公司 跨现实***
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US11073407B2 (en) * 2018-10-19 2021-07-27 Htc Corporation Electronic device and pose-calibration method thereof
CN111951325B (zh) * 2019-05-14 2024-01-12 虹软科技股份有限公司 位姿跟踪方法、位姿跟踪装置及电子设备
US10832417B1 (en) * 2019-06-04 2020-11-10 International Business Machines Corporation Fusion of visual-inertial-odometry and object tracker for physically anchored augmented reality
WO2021076748A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with wireless fingerprints
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
CN112785715B (zh) * 2019-11-08 2024-06-25 华为技术有限公司 虚拟物体显示方法以及电子设备
EP4059007A4 (en) 2019-11-12 2023-11-01 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH LOCATION SERVICE AND SHARED LOCATION-BASED CONTENT
CN114762008A (zh) 2019-12-09 2022-07-15 奇跃公司 简化的虚拟内容编程的交叉现实***
WO2021163289A1 (en) * 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system for large scale environments
EP4104145A4 (en) 2020-02-13 2024-01-24 Magic Leap, Inc. CROSS-REALLY SYSTEM PRIORITIZING GEOLOCALIZATION INFORMATION FOR LOCALIZATION
CN115427758A (zh) 2020-02-13 2022-12-02 奇跃公司 具有精确共享地图的交叉现实***
EP4104001A4 (en) 2020-02-13 2024-03-13 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH MAP PROCESSING USING MULTIPLE RESOLUTION FRAME DESCRIPTORS
CN115461787A (zh) 2020-02-26 2022-12-09 奇跃公司 具有快速定位的交叉现实***
US11900547B2 (en) 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
US11557100B2 (en) 2021-04-08 2023-01-17 Google Llc Augmented reality content experience sharing using digital multimedia files
CN113094462B (zh) * 2021-04-30 2023-10-24 腾讯科技（深圳）有限公司 数据处理方法和装置及存储介质
US11776012B2 (en) * 2021-12-06 2023-10-03 Jpmorgan Chase Bank, N.A. Systems and methods for third-party service integration in an application

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070076267A1 (en) * 2005-09-30 2007-04-05 Rockwell Automation Technologies, Inc. Multi-rate optimized connection between industrial control scanner and industrial controller
US20080012935A1 (en) * 2005-11-22 2008-01-17 Gateway Inc. Inappropriate content detection and distribution prevention for wireless cameras/camcorders with e-mail capabilities and camera phones
CN102541256A (zh) * 2010-10-28 2012-07-04 微软公司 具有视觉反馈的位置知晓姿势作为输入方法
US20120194644A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Mobile Camera Localization Using Depth Maps
US20150071524A1 (en) * 2013-09-11 2015-03-12 Motorola Mobility Llc 3D Feature Descriptors with Camera Pose Information
CN104424382A (zh) * 2013-08-21 2015-03-18 北京航天计量测试技术研究所 一种多特征点位置姿态冗余解算方法
US20150193949A1 (en) * 2014-01-06 2015-07-09 Oculus Vr, Llc Calibration of multiple rigid bodies in a virtual reality system
CN104811683A (zh) * 2014-01-24 2015-07-29 三星泰科威株式会社 用于估计位置的方法和设备
WO2015164696A1 (en) * 2014-04-25 2015-10-29 Google Technology Holdings LLC Electronic device localization based on imagery
US9259840B1 (en) * 2013-03-13 2016-02-16 Hrl Laboratories, Llc Device and method to localize and control a tool tip with a robot arm
US20160078303A1 (en) * 2006-12-01 2016-03-17 Sri International Unified framework for precise vision-aided navigation
CN105424026A (zh) * 2015-11-04 2016-03-23 中国人民解放军国防科学技术大学 一种基于点云轨迹的室内导航定位方法与***
CN105447867A (zh) * 2015-11-27 2016-03-30 西安电子科技大学 基于isar图像的空间目标姿态估计方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6176837B1 (en) 1998-04-17 2001-01-23 Massachusetts Institute Of Technology Motion tracking system
US6474159B1 (en) 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
US7145478B2 (en) 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
US8751151B2 (en) 2012-06-12 2014-06-10 Trx Systems, Inc. System and method for localizing a trackee at a location and mapping the location using inertial sensor information
US8855819B2 (en) 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
CN102426019B (zh) 2011-08-25 2014-07-02 航天恒星科技有限公司 一种无人机景象匹配辅助导航方法及***
US9197891B1 (en) 2012-01-02 2015-11-24 Marvell International Ltd. Systems and methods for periodic structure handling for motion compensation
US9552648B1 (en) 2012-01-23 2017-01-24 Hrl Laboratories, Llc Object tracking with integrated motion-based object detection (MogS) and enhanced kalman-type filtering
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
CN104520913B (zh) 2012-07-03 2016-12-07 歌乐株式会社 车载环境识别装置
US9488492B2 (en) 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪***
US9606848B2 (en) 2013-03-12 2017-03-28 Raytheon Company Iterative Kalman filtering
US9377310B2 (en) * 2013-05-02 2016-06-28 The Johns Hopkins University Mapping and positioning system
US20150092048A1 (en) 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
CN103472478A (zh) 2013-09-29 2013-12-25 中核能源科技有限公司 核电站中子剂量当量率分布图的自动绘制***及其方法
US9524434B2 (en) 2013-10-04 2016-12-20 Qualcomm Incorporated Object tracking based on dynamically built environment map data
US9996976B2 (en) 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US9483879B2 (en) 2014-09-18 2016-11-01 Microsoft Technology Licensing, Llc Using free-form deformations in surface reconstruction
EP3078935A1 (en) 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
US10146414B2 (en) 2015-06-09 2018-12-04 Pearson Education, Inc. Augmented physical and virtual manipulatives
US9940542B2 (en) 2015-08-11 2018-04-10 Google Llc Managing feature data for environment mapping on an electronic device
US10073531B2 (en) * 2015-10-07 2018-09-11 Google Llc Electronic device pose identification based on imagery and non-image sensor data
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070076267A1 (en) * 2005-09-30 2007-04-05 Rockwell Automation Technologies, Inc. Multi-rate optimized connection between industrial control scanner and industrial controller
US20080012935A1 (en) * 2005-11-22 2008-01-17 Gateway Inc. Inappropriate content detection and distribution prevention for wireless cameras/camcorders with e-mail capabilities and camera phones
US20160078303A1 (en) * 2006-12-01 2016-03-17 Sri International Unified framework for precise vision-aided navigation
CN102541256A (zh) * 2010-10-28 2012-07-04 微软公司 具有视觉反馈的位置知晓姿势作为输入方法
US20120194644A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Mobile Camera Localization Using Depth Maps
US9259840B1 (en) * 2013-03-13 2016-02-16 Hrl Laboratories, Llc Device and method to localize and control a tool tip with a robot arm
CN104424382A (zh) * 2013-08-21 2015-03-18 北京航天计量测试技术研究所 一种多特征点位置姿态冗余解算方法
US20150071524A1 (en) * 2013-09-11 2015-03-12 Motorola Mobility Llc 3D Feature Descriptors with Camera Pose Information
US20150193949A1 (en) * 2014-01-06 2015-07-09 Oculus Vr, Llc Calibration of multiple rigid bodies in a virtual reality system
CN104811683A (zh) * 2014-01-24 2015-07-29 三星泰科威株式会社 用于估计位置的方法和设备
WO2015164696A1 (en) * 2014-04-25 2015-10-29 Google Technology Holdings LLC Electronic device localization based on imagery
CN105424026A (zh) * 2015-11-04 2016-03-23 中国人民解放军国防科学技术大学 一种基于点云轨迹的室内导航定位方法与***
CN105447867A (zh) * 2015-11-27 2016-03-30 西安电子科技大学 基于isar图像的空间目标姿态估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIU DING;XIAOQING DING;CHI FANG: ""Continuous Pose Normalization for Pose-Robust Face Recognition"", 《IEEE SIGNAL PROCESSING LETTERS》 *
江进: "" 基于超宽带和支持向量机的人体姿势识别"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113811920A (zh) * 2019-05-16 2021-12-17 高通股份有限公司 分布式姿势估计

Also Published As

Publication number Publication date
EP3458941A1 (en) 2019-03-27
CN114185427A (zh) 2022-03-15
US11734846B2 (en) 2023-08-22
CN108700947B (zh) 2021-11-16
US10802147B2 (en) 2020-10-13
US20230360242A1 (en) 2023-11-09
US20170336511A1 (en) 2017-11-23
US20200278449A1 (en) 2020-09-03
WO2017201282A1 (en) 2017-11-23
CN114185427B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
CN108700947A (zh) 用于并发测距和建图的***和方法
CN108700946B (zh) 用于并行测距和建图的故障检测和恢复的***和方法
US10852847B2 (en) Controller tracking for multiple degrees of freedom
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
CN108283018B (zh) 电子设备和用于电子设备的姿态识别的方法
CN102622762B (zh) 使用深度图的实时相机跟踪
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及***
US10733798B2 (en) In situ creation of planar natural feature targets
CN109084732A (zh) 定位与导航方法、装置及处理设备
KR20150013709A (ko) 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
US20170118400A1 (en) Balancing exposure and gain at an electronic device based on device motion and scene distance
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
Kurz et al. Handheld augmented reality involving gravity measurements
WO2023083256A1 (zh) 位姿显示方法、装置及***、服务器以及存储介质
EP3392748B1 (en) System and method for position tracking in a virtual reality system
Liu et al. HyperSight: Boosting distant 3D vision on a single dual-camera smartphone
US20220051018A1 (en) Method and device for detecting a vertical planar surface
Li et al. Handheld pose tracking using vision-inertial sensors with occlusion handling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211116