CN109791048A - 使用场景捕获数据校准惯性测量单元（imu）的组件的方法和*** - Google Patents

使用场景捕获数据校准惯性测量单元（imu）的组件的方法和*** Download PDF

Info

Publication number
CN109791048A
CN109791048A CN201780057987.2A CN201780057987A CN109791048A CN 109791048 A CN109791048 A CN 109791048A CN 201780057987 A CN201780057987 A CN 201780057987A CN 109791048 A CN109791048 A CN 109791048A
Authority
CN
China
Prior art keywords
calibration
image
imu
orientation
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780057987.2A
Other languages
English (en)
Other versions
CN109791048B (zh
Inventor
玛坦·普洛特
莫蒂·库什尼尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Infinity Augmented Reality Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infinity Augmented Reality Israel Ltd filed Critical Infinity Augmented Reality Israel Ltd
Publication of CN109791048A publication Critical patent/CN109791048A/zh
Application granted granted Critical
Publication of CN109791048B publication Critical patent/CN109791048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/265—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Navigation (AREA)

Abstract

本文提供了一种用于经由校准目标的图像校准惯性测量单元(IMU)的方法和***。该方法可包括：经由IMU测量参数；捕获包含至少一个校准目标的场景的多个校准图像，其中，校准图像取自不同的位置和/或方位，其中，每个校准图像与至少一个其他校准图像共享共同校准目标；基于该至少一个共同校准目标，针对校准图像的捕获的每个位置，计算感测设备相对于校准目标的位置和方位；并且通过将基于计算的相对位置和方位的两个校准图像之间的相对运动与由IMU在对应于至少两个校准图像的时间范围内获取的参数的测量进行比较来校准IMU。

Description

使用场景捕获数据校准惯性测量单元（IMU）的组件的方法和 ***
技术领域
本发明一般涉及校准惯性测量单元(IMU)的领域，并且更具体地，涉及使用场景捕获数据校准惯性测量单元。
背景技术
在阐述本发明的背景之前，阐述将在下文中使用的某些术语的定义可以是有帮助的。
本文中使用的术语“惯性测量单元”或“IMU”是允许测量各种物理量并从中推断设备运动的硬件设备。它用于各种场景：车辆和个人导航；智能手机，用于游戏(测量设备的倾斜或运动)、步数计数器、导航、安全(即，当感测到设备处于自由落体状态时关闭设备)等事情；诸如智能眼镜的平视显示器(HUD)，以补偿用户的运动并投影正确的视角；和各种控制器(例如，WiiTM遥控器、XboxTM控制器)，以确定用户的运动并将其转换成运动。IMU中至少有三个主要组件，其中至少有一个必须存在才可获得信息：
本文中使用的术语“加速度计”是测量施加在设备上的总力(包括重力)并推断总加速度的设备。因为它测量重力，当设备静止时，设备的输出是g(重力)。当设备处于加速状态时，设备的输出是总加速度(重力加身体加速度)的矢量。
加速度计可以是1轴、2轴或3轴配置。实际上，该设备测量总加速度矢量(因为它具有方向和大小)对设备具有的轴数的投影。最常见的是 2轴和3轴。
加速度计可以用于测量设备的俯仰和滚转(即，相对于地平线的角度)。当设备静止时，重力在其轴上的投影完全由其俯仰和滚转确定，并且因此通过测量这些投影，可反向计算俯仰和滚转。
加速度计还可以用于测量设备的位移。通过去除已知大小和重力的方向(假设我们即使在运动中也能准确地知道俯仰和滚转-陀螺仪或外部源可以用于此)，我们剩下的是实际的身体加速度。通过对加速度积分，我们得到物体速度，并且根据对速度的积分，我们得到物***移。
实际上，由于采样率有限，测量中的噪声以及不知道高精度的重力，位移仅是近似的，并且估计的质量随时间恶化。
本文中使用的术语“回转仪”或“陀螺仪”是测量设备围绕其具有的每个轴(1、2或3)的旋转速率的设备。这允许估计设备的当前角度(如果角度在先前的时间点已知)，并且随时间对旋转的速率(速度)积分。
当测量角度时，陀螺仪和加速度计之间存在差异：加速度计可以仅测量俯仰和滚转，陀螺仪测量全部三个；加速度计测量绝对角度，而陀螺仪仅测量变化。这意味着，加速度计的精度与时间无关(它仅取决于设备是否静止以及测量的精度)，而如果仅依靠陀螺仪，则精度会随着时间的推移而恶化。
陀螺仪直接测量角度的变化，加速度计通过测量外部已知的固定量 (重力)来测量。
本文中使用的术语“磁力计”是测量环境中的总磁场的设备。与加速度计类似，磁力计测量磁场在其轴(1、2或3轴)上的投影。与加速度计使用重力来测量俯仰和滚转类似，磁力计使用磁场来测量方位角，因为假设磁场通常与重力正交。注意，方位角是相对于局部磁场的，并且不一定接近“实际”方位角(指向地球的磁场的，或指向北极的一个)。使用磁力计允许测量围绕两个轴的旋转，这两个轴垂直于磁场方向。如果已知磁场相对于重力的方位(在这种情况下，计算与重力垂直的组件)，则可以恢复方位角。
根据磁力计读数计算方位角类似于根据加速度计计算俯仰和滚转。
使用磁力计测量方位角的一个问题是假设磁场是恒定的。通常，该设备连接到附加的电设备，这些电设备产生它们自己的磁场，这些磁场在时间上不是恒定的。因此，方位角估计容易出错。
附加组件可以是：温度计、压力传感器、气压传感器等。
为了从IMU获得高精度的运动估计，重要的是具有两种类型的精度：
A.实际测量精度-即加速度计、陀螺仪和磁力计的输出是准确的。
B.制造精度-由于制造过程，组件不理想。一些示例：
·每个组件的轴不完全正交(90度)
·各个组件的轴未完全对齐(例如，加速度计的x轴与陀螺仪的x轴不完全平行)。
·偏置-设备的“0”不是测量量的“0”(即，如果B是偏置，当真实测量值为0时设备将输出B，并且当真实测量值为B时将输出0)。这是每个组件，每个轴。偏置具有恒定的组件，以及可以随时间变化的组件。
·漂移-偏置随时间的变化率。与偏置类似，漂移也有一个恒定的组件，以及可以随时间变化的组件。
·缩放-恒定因子，用于转换测量值和表示它的电信号强度。
测量精度可能随时间而变化，这意味着这些误差不能被平均。此外，制造上的不准确性是***性的-这意味着它们很快就会累积。没有外部信息来源，无法估计这些不准确性。
本文中使用的术语“校准”是称之为估计制造上的不准确性的过程。校准的结果是知道所有这些参数-轴配置(每个组件的轴配置和组件之间的轴配置)、偏置、漂移等。校准还可以包括对测量不准确性(例如，平均值和标准偏差)进行建模。
为了进行校准过程，需要一种获得设备的方位(和位置)的方法，其独立于设备自身的传感器。此外，为了获得高精度，该设备的许多不同的方位组合需要该外部信息(即，仅一个方位是不够的)。
各种IMU之间的价格差异有时是由于投入校准过程的工作量的不同。
有时，通过将IMU附接到旋转台来执行校准，旋转台能够非常精确地测量其自身的角度，因此提供关于校准过程所需的角度的外部信息。在校准过程中，确定所有制造不准确性，以及IMU和旋转台之间的相对方位。
然而，前述校准设备是昂贵的，不是移动的，并且不总是可用的。因此，有一种使用其他装置的针对IMU的校准方法将是有利的。
发明内容
为了克服当前可获得的用于校准IMU的方法的缺点，本文建议通过将IMU刚性地连接到具有测量其自身角度的能力的感测设备来校准IMU。这种感测设备可以是相机、深度传感器等。该校准方法可以利用已经具有集成在一起的IMU和捕获设备的容易获得的设备(诸如智能手机、汽车导航***和平视显示器(HMD))来实现。
本发明的一些实施例提供了一种能够经由至少一个校准目标的图像校准惯性测量单元(IMU)的方法和***。该***可以包括被配置成测量惯性参数的惯性测量单元(IMU)；耦接到IMU的感测设备，其中感测设备被配置为捕获场景的多个图像，其中，图像取自不同的位置和/或方位，并且每个图像包含与另一图像的至少一个共同校准目标；以及计算机处理器，被配置为：分析所捕获的图像，并基于至少一个共同校准目标，针对每对捕获的图像计算该感测设备相对于该校准目标的位置变化和方位变化；并且基于至少一对图像之间的至少一个相对运动来校准IMU，并将其与IMU在与获取至少一对图像时相同的时间段内的位置上获取的该惯性参数的测量进行比较。
根据本发明的方法可以以不同的架构实现上述***。根据本发明的实施例的方法的步骤可以包括：经由IMU测量参数；捕获包含至少一个校准目标的场景的多个校准图像，其中校准图像取自不同的位置和/或方位，其中每个校准图像与至少一个其他校准图像共享共同校准目标；基于至少一个共同校准目标，针对捕获校准图像的每个位置，计算感测设备相对于校准目标的位置和方位；并通过将基于所计算的相对位置和方位的两个校准图像之间的相对运动与IMU在对应于至少两个校准图像的时间范围内获取的参数的测量进行比较来校准IMU。
附图说明
在说明书的结论部分中特别指出并清楚地要求保护被视为本发明的主题。然而，当结合附图阅读时，通过参考以下详细描述，可以最好地理解本发明的组织和操作方法以及其目的、特征和优点，其中：
图1是示出根据本发明实施例的***的非限制性示例性架构的框图；
图2A是示出根据本发明实施例的***的非限制性示例性用例的框图；
图2B是示出根据本发明实施例的***的另一非限制性示例性用例的框图；
图3是示出根据本发明实施例的非限制性示例性方法的高级流程图；
图4A是示出根据本发明实施例的另一方面的框图；和
图4B是示出根据本发明实施例的又一方面的框图。
应当理解，为了说明的简单和清楚，附图中所示的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件被夸大。此外，在认为适当的情况下，可以在附图中重复附图标记以指示对应或类似的元件。
具体实施方式
在以下描述中，将描述本发明的各个方面。出于说明的目的，阐述了具体配置和细节以便提供对本发明的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有本文中给出的具体细节的情况下实践本发明。此外，可以省略或简化公知的特征，以免模糊本发明。
除非另有明确说明，否则从以下讨论中可明显看出，应当理解，在整个说明书中，利用诸如“处理”、“计算”、“测算”、“确定”等术语的讨论指的是计算机或计算***或类似电子计算设备的动作和/或过程，其将表示为计算***的寄存器和/或存储器内的物理(诸如电子)量的数据操纵和/ 或变换为类似地表示为计算***的存储器、寄存器或其他此类信息存储、传输或显示设备中的物理量的其他数据。
图1是示出可以在其上实现本发明的实施例的示例性架构的框图。***100可以包括惯性测量单元(IMU)110，其被配置为测量指示惯性数据的参数(诸如方向、速度、重力和磁化)。***100还可以包括耦接到 IMU的感测设备120，其中感测设备120被配置为捕获场景的多个图像，其中图像取自不同位置并且包含针对每对图像的至少一个共同校准目标。
***100可以包括计算机处理器130，其被配置为：分析捕获的图像，并且针对捕获图像的每个位置，基于至少一个共同校准目标10，计算感测设备120相对于校准目标10的位置和方位；并且基于至少一对图像之间的至少一个相对运动来校准IMU，并将其与IMU在对应于至少一对图像的位置中获取的参数的测量进行比较。
根据一些实施例，校准目标10可以包括至少三个地标，只要它们不位于公共线上即可。优选实施例是某种类型的棋盘图案，其角或至少三个点是已知的。
根据一些实施例，***100还可以包括：数据库，被配置为存储该地标的场景内的近端位置，并且其中，计算机处理器被配置为使用来自数据库的近端位置来确定捕获图像的相对位置。
根据一些实施例，由IMU组件测量的参数可以包括以下任何一个：速度、方位、重力和磁化。
根据一些实施例，计算机处理器还被配置为计算感测设备和IMU的轴的相对校准。
根据一些实施例，计算机处理器还被配置为计算目标在空间中的方位，包括：相对于地平线的俯仰和滚转。
根据一些实施例，计算机处理器还被配置为基于至少一对图像之间的至少一个相对运动来校准感测设备。
根据一些实施例，感测设备是2D相机。可选地，它是非光学图像捕获设备。
图2A是示出说明本发明的实施例的示例性用例的框图。具有一起操作的IMU 110、捕获设备120和计算机处理器130的***100被示出为在场景中从点A移动到点B。在这样做的同时，捕获设备捕获场景的图像 20A和20B，并且具体地，分别捕获位于图像20A和20B中的不同位置 10A和10B的地标10。同时，IMU 110稍后记录***100的传感器输出以由计算机处理器130分析。
在操作中，计算机处理器130被配置为基于图像20B中的地标位置 10B与图像20A中的地标位置10A的比较变化来计算点“A”和点“B”之间的空间变换(即，位置的变化和方位的变化)，产生基于地标的变换矢量210。同时，由IMU 110在点“A”和点“B”记录的传感器输出被用于计算基于IMU的变换矢量220。通过减去基于地标的变换矢量210 和基于IMU的变换矢量220获得的误差矢量230源于校准误差和随机测量误差。计算机处理器130还被配置为顺序地修改校准参数134以减小误差矢量230的幅度，直到不可能进一步减小为止。然后确定使用修改的校准参数134校准***。
应当理解，上面讨论的变换可以仅仅是方位的旋转或变化而不改变空间中的位置或者位置的旋转和变化的组合，并且还可以仅应用于变换的一些部分(即，包括即使发生了位置变化，也只有方位发生变化)。
图2B是示出说明本发明的实施例的替代示例性用例的框图。在替代用例中，计算机处理器130可以被配置为基于在位置A处获取的图像20A 中的计算位置10A、传感器输出和校准参数134来计算取自位置B的图像 20B中的地标10的预期位置10B'。计算机处理器130还被配置为测量位置10B'相对于实际检测位置10B的估计中的误差230B'。计算机处理器130 还被配置为顺序地修改校准参数134以减小误差矢量230B'的幅度，直到不可能进一步减小为止。然后确定使用修改的校准参数134校准***。
进一步注意到，在计算基于地标的变换时校准目标是非静止的任何情况下，校准目标的移动应该以地标10自身的变换矢量的形式被考虑。
根据本发明的一些实施例，前述校准过程可以相对于一次性的方式以正在进行的方式执行，因此随着更多数据可用，校准参数估计得到改善。
在某些情况下，鉴于其他组件已经过校准，可校准IMU的某些组件。例如，校准的陀螺仪和加速度计可以用于校准磁力计而无需任何其他外部数据。
根据一些实施例，使用通常包括在IMU中的温度传感器112将是有利的。这是因为校准可能与温度有关的事实。因此建议在不同的温度水平下进行多次测量，以便可以实现在指定的温度范围内的校准。然后，当实际操作IMU时，测量当前温度并且可以使用与当前温度相关联的相应校准参数。受益于温度依赖关系的一种方法是寻找最接近校准的工作点并基于校准的工作点工作。另一种方法是对至少一些温度校准点进行插值并将校准基于插值曲线。温度校准过程可作为在温度变化环境中与IMU一起工作的推动因素。
本发明实施例的上述逻辑可以通过以下步骤实现：经由惯性测量单元 (IMU)测量参数；捕获包含至少一个校准目标的场景的多个校准图像，其中校准图像取自不同的位置和/或方位，其中每个校准图像与至少一个其他校准图像共享至少一个共同校准目标；对于至少一个校准图像，检测来自感测设备的传感器上的校准目标的至少一个元件的捕获位置和/或方位；基于校准图像中的校准目标的至少一个元件的检测位置和/或方位，基于校准参数，估计元件在另一校准图像中的位置和/或方位；并且通过将计算出的一个图像中的校准目标的位置和/或方位与如从不同的校准图像估计的该图像中的校准目标的估计位置和/或方位进行比较，校准IMU的一个组件的至少一个参数。
图3是示出可以在其上实现本发明的实施例的示例性过程的流程图。方法300可以包括以下步骤：经由惯性测量单元(IMU)测量参数310；捕获包含至少一个校准目标的场景的多个校准图像，其中校准图像取自不同的位置和/或方位，其中每个校准图像与至少一个其他校准图像共享至少一个共同校准目标320；基于至少一个共同校准目标，针对捕获的该校准图像的每个位置，计算该感测设备相对于该校准目标的位置和方位330；并且通过将基于计算的相对位置和方位的至少两个校准图像之间的相对运动与IMU在对应于至少两个校准图像的时间范围内获取的该参数的测量进行比较来校准IMU的至少一个组件340。
根据一些实施例，方法300还可以包括在该地标的场景内存储近端位置的步骤，并且使用来自数据库的近端位置来确定从中捕获图像的相对位置。
根据一些实施例，方法300还可以包括计算感测设备和IMU的轴的相对校准的步骤。
根据一些实施例，方法300还可以包括计算空间中的至少一个校准目标的方位的步骤，包括：相对于地平线的俯仰和滚转。
根据一些实施例，方法300还可以包括基于至少一对图像之间的至少一个相对运动来校准感测设备的步骤。
图4A是说明根据如上图2A中详述的本发明实施例的又一方面的框图。在此描述了根据本发明实施例的算法的示例性实现。感测设备120提供校准图像122，该校准图像122被输入到为特定感测设备定制的公式410。然后该公式估计感测设备在两个校准图像420之间的运动，然后由比较器 430将其与由IMU 110直接测量的IMU参数112进行比较。然后，为了使比较器330的乘积Δδ最小化，以本领域已知的各种方式调整位置412、角度314和校准参数316，以使得Δ最小。一旦Δδ最小化，现在校准IMU 或其参数被测量的IMU的至少一个组件，并且可以存储调整后的校准参数。
图4B是说明根据如上图2B中详述的本发明的实施例的又一方面的框图。在此描述了根据本发明实施例的算法的示例性实现。感测设备120 提供从位置A获取的校准图像1122A，其被输入到公式410B，公式410B 是为特定的感测设备定制的并且进一步由IMU参数112馈送。公式410B 估计从位置B 422获取的图像2中的地标位置，然后，比较器430将其与在图像2 422B中直接检测到的地标位置进行比较。然后，为了使作为比较器330的乘积的Δδ最小化，以本领域已知的各种方式调整位置412、角度314和校准参数316，以使得Δ最小。一旦Δδ最小化，现在校准IMU 或其参数被测量的IMU的至少一个组件，并且可以存储调整后的校准参数。
在以上描述中，实施例是本发明的示例或实现。“一个实施例”、“实施例”或“一些实施例”的各种外观不一定都指代相同的实施例。
尽管可以在单个实施例的上下文中描述本发明的各种特征，但是这些特征也可以单独提供或以任何合适的组合提供。相反，尽管为了清楚起见，本文可以在单独的实施例的上下文中描述本发明，但是本发明也可以在单个实施例中实现。
说明书中对“一些实施例”、“实施例”、“一个实施例”或“其他实施例”的引用意味着结合实施例描述的具体特征、结构或特性包括在至少一些实施例中，而不一定是本发明的所有实施例。
应理解，本文采用的措辞和术语不应被解释为限制性的，仅用于描述性目的。
参考所附说明书、附图和示例，可以更好地理解本发明教导的原理和用途。
应理解，本文所述的细节不构成对本发明的应用的限制。
此外，应该理解，本发明可以以各种方式实施或实践，并且本发明可在除了以上描述中概述的实施例之外的实施例中实现。
应理解，术语“包括”、“包含”，“组成”及其语法变体不排除添加一个或多个组件、特征、步骤或整数或其组，并且术语应被解释为指定组件、特征、步骤或整数。
如果说明书或权利要求涉及“附加”元件，则不排除存在多于一个的附加元件。
应理解，在权利要求或说明书提及“一个”元件的情况下，这种提及不应被解释为仅存在该元件中的一个。
应理解，在说明书陈述组件、特征、结构或特性“可”、“可能”、“能够”或“可以”被包括在内的情况下，该特定组件、特征、结构或特性不需要包括在内。
在适用的情况下，尽管可使用状态图、流程图或两者来描述实施例，但是本发明不限于那些图或相应的描述。例如，流程图不需要移动通过每个所示的框或状态，或者以所示和所述的完全相同的顺序移动。
可通过手动、自动或其组合，执行或完成所选步骤或任务来实现本发明的方法。
权利要求和说明书中呈现的描述、示例、方法和材料不应被解释为限制性的，而仅仅是说明性的。
除非另外定义，否则本文使用的技术和科学术语的含义应由本发明所属领域的普通技术人员通常理解。
本发明可以在测试或实践中使用与本文描述的那些等效或类似的方法和材料来实施。
虽然已经关于有限数量的实施例描述了本发明，但是这些实施例不应被解释为对本发明范围的限制，而是作为一些优选实施例的例示。其他可能的变化、修改和应用也在本发明的范围内。

Claims (30)

1.一种***，包括：
惯性测量单元(IMU)，被配置为测量参数；
耦接到所述IMU的感测设备，其中，所述感测设备被配置为捕获包含至少一个校准目标的场景的多个校准图像，其中，所述校准图像取自不同的位置和/或方位，其中，所述校准图像中的每一个与至少一个其他校准图像共享至少一个共同校准目标；和
计算机处理器，被配置为：
基于所述至少一个共同校准目标，针对捕获所述校准图像的每个位置，计算所述感测设备相对于所述校准目标的位置和/或方位；并且
通过将基于计算的相对位置或方位的至少一个元素的至少两个校准图像之间的相对运动与所述IMU在对应于所述至少两个校准图像的时间范围内获取的所述参数的测量进行比较来校准所述IMU的至少一个组件。
2.根据权利要求1所述的***，其中，所述校准目标包括不位于公共线上的至少三个地标。
3.根据权利要求1所述的***，还包括：数据库，所述数据库被配置为存储地标的场景内的近端位置，并且其中，所述计算机处理器被配置为使用来自所述数据库的所述近端位置来确定捕获所述图像的相对位置。
4.根据权利要求1所述的***，其中，所述参数包括以下中的至少一个：速度、方位、旋转速度、加速度、重力、磁场和总力。
5.根据权利要求1所述的***，其中，所述计算机处理器还被配置为计算所述感测设备和所述IMU的轴的相对校准。
6.根据权利要求1所述的***，其中，所述计算机处理器还被配置为计算所述目标在空间中的方位，所述方位包括：相对于地平线的俯仰和滚转。
7.根据权利要求1所述的***，其中，所述计算机处理器还被配置为基于至少一对图像之间的至少一个相对运动来校准所述感测设备。
8.根据权利要求1所述的***，其中，所述感测设备是2D相机。
9.根据权利要求1所述的***，其中，所述感测设备是非光学图像捕获设备。
10.根据权利要求1所述的***，其中，所述校准目标包括棋盘图案。
11.根据权利要求1所述的***，还包括：温度传感器，所述温度传感器被配置为测量所述IMU的温度，其中，所述计算机处理器还被配置为获得多个温度水平的校准参数，并且通过寻找最接近的校准工作点并基于所述校准工作点进行工作；以及对至少一些温度校准点进行插值并将校准基于插值曲线中的至少一个来校准所述IMU的所述至少一个组件。
12.根据权利要求1所述的***，其中，所述计算机处理器还被配置为基于所述位置、传感器输出和所述校准参数来计算所述图像中的地标的预期位置。
13.根据权利要求1所述的***，其中，所述计算机处理器还被配置为测量相对于实际检测位置的位置估计中的误差。
14.根据权利要求1所述的***，其中，所述计算机处理器还被配置为顺序地修改所述校准参数，以减小误差向量的大小，直到不能进一步减少为止。
15.一种方法，包括：
经由惯性测量单元(IMU)测量参数；
捕获包含至少一个校准目标的场景的多个校准图像，其中，所述校准图像取自不同位置和/或方位，其中，所述校准图像中的每一个与至少一个其他校准图像共享至少一个共同校准目标；
基于所述至少一个共同校准目标，针对捕获所述校准图像的每个位置，计算感测设备相对于所述校准目标的位置和/或方位；并且
通过将基于计算的相对位置或方位的至少一个元素的至少两个校准图像之间的相对运动与所述IMU在对应于所述至少两个校准图像的时间范围内获取的所述参数的测量进行比较来校准所述IMU的至少一个组件。
16.根据权利要求15所述的方法，其中，所述校准目标包括不位于公共线上的至少三个地标。
17.根据权利要求15所述的方法，还包括存储地标的场景内的近端位置，并使用来自数据库的所述近端位置来确定捕获所述图像的相对位置。
18.根据权利要求15所述的方法，其中，所述参数包括以下中的至少一个：速度、方位和重力。
19.根据权利要求15所述的方法，还包括计算所述感测设备和所述IMU的轴的相对校准。
20.根据权利要求15所述的方法，还包括计算所述目标在空间中的方位，所述方位包括：相对于地平线的俯仰和滚转。
21.根据权利要求15所述的方法，还包括基于至少一对图像之间的至少一个相对运动来校准所述感测设备。
22.根据权利要求15所述的方法，其中，所述感测设备是2D相机。
23.根据权利要求15所述的方法，其中，所述感测设备是非光学图像捕获设备。
24.根据权利要求15所述的方法，其中，所述校准目标包括棋盘图案。
25.根据权利要求15所述的方法，还包括：测量所述IMU的温度；获得多个温度水平的校准参数；并且通过寻找最近的校准工作点并基于所述校准工作点进行工作；以及对至少一些温度校准点进行插值并将校准基于插值曲线中的至少一个通过使用所述校准参数来校准所述IMU的所述至少一个组件。
26.根据权利要求15所述的方法，其中，所述计算机处理器还被配置为基于所述位置、传感器输出和所述校准参数来计算所述图像中的地标的预期位置。
27.根据权利要求15所述的方法，其中，所述计算机处理器还被配置为测量相对于实际检测位置的位置估计中的误差。
28.根据权利要求15所述的方法，其中，所述计算机处理器还被配置为顺序地修改所述校准参数，以减小误差向量的大小，直到不能进一步减少为止。
29.一种方法，包括：
经由惯性测量单元(IMU)测量IMU参数；
捕获包含至少一个校准目标的场景的多个校准图像，其中，所述校准图像取自不同位置和/或方位，其中，所述校准图像中的每一个与至少一个其他校准图像共享至少一个共同校准目标；
针对所述校准图像中的至少第一校准图像，检测来自感测设备的传感器上的校准目标的至少一个元件的捕获位置和/或方位；
基于所述IMU参数和检测到的第二校准图像中的校准目标的至少一个元件的位置和/或方位，估计所述第一校准图像中的元件的位置和/或方位；以及
通过将检测到的第一图像中的校准目标的位置和/或方位与如从不同的所述第二校准图像估计的所述第一图像中估计的校准目标的位置和/或方位进行比较，来校准所述IMU的一个组件的至少一个IMU参数。
30.一种***，包括：
惯性测量单元(IMU)，被配置为测量IMU参数；
耦接到所述IMU的感测设备，其中，所述感测设备被配置为捕获包含至少一个校准目标的场景的多个校准图像，其中，所述校准图像取自不同的位置和/或方位，其中，所述校准图像中的每一个与至少一个其他校准图像共享至少一个共同校准目标；和
计算机处理器，被配置为：
针对所述校准图像中的至少第一校准图像，检测来自所述感测设备的传感器上的校准目标的至少一个元件的捕获位置和/或方位；
基于所述IMU参数和检测到的第二校准图像中的校准目标的至少一个元件的位置和/或方位，估计所述第一校准图像中的元件的位置和/或方位；以及
通过将检测到的第一图像中的校准目标的位置和/或方位与如从不同的所述第二校准图像估计的所述第一图像中估计的校准目标的位置和/或方位进行比较，来校准所述IMU的一个组件的至少一个IMU参数。
CN201780057987.2A 2016-08-01 2017-07-23 使用场景捕获数据校准惯性测量单元（imu）的组件的方法和*** Active CN109791048B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/224,707 2016-08-01
US15/224,707 US10012517B2 (en) 2016-08-01 2016-08-01 Method and system for calibrating components of an inertial measurement unit (IMU) using scene-captured data
PCT/IB2017/054456 WO2018025115A2 (en) 2016-08-01 2017-07-23 Method and system for calibrating components of an inertial measurement unit (imu) using scene-captured data

Publications (2)

Publication Number Publication Date
CN109791048A true CN109791048A (zh) 2019-05-21
CN109791048B CN109791048B (zh) 2021-10-15

Family

ID=61009410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780057987.2A Active CN109791048B (zh) 2016-08-01 2017-07-23 使用场景捕获数据校准惯性测量单元（imu）的组件的方法和***

Country Status (4)

Country Link
US (2) US10012517B2 (zh)
EP (1) EP3491334B1 (zh)
CN (1) CN109791048B (zh)
WO (1) WO2018025115A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112146678A (zh) * 2019-06-27 2020-12-29 华为技术有限公司 一种确定校准参数的方法及电子设备
CN112560565A (zh) * 2019-09-10 2021-03-26 未来市股份有限公司 人类行为理解***及人类行为理解方法
CN113008271A (zh) * 2019-08-15 2021-06-22 深圳市瑞立视多媒体科技有限公司 校准3d旋转差异的数学模型构建方法、校准方法及其装置
CN113242421A (zh) * 2021-04-02 2021-08-10 青岛小鸟看看科技有限公司 相机校准方法、装置及虚拟现实设备
WO2023092765A1 (zh) * 2021-11-23 2023-06-01 歌尔股份有限公司 音箱的校准控制方法、装置、设备及可读存储介质
WO2023092766A1 (zh) * 2021-11-23 2023-06-01 歌尔股份有限公司 音箱的校准控制方法、装置、设备及可读存储介质
WO2023092767A1 (zh) * 2021-11-23 2023-06-01 歌尔股份有限公司 音箱的校准控制方法、装置、设备及可读存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9681118B2 (en) * 2015-10-01 2017-06-13 Infinity Augmented Reality Israel Ltd. Method and system for recalibrating sensing devices without familiar targets
US10012517B2 (en) * 2016-08-01 2018-07-03 Infinity Augmented Reality Israel Ltd. Method and system for calibrating components of an inertial measurement unit (IMU) using scene-captured data
US10948299B1 (en) * 2017-09-28 2021-03-16 Apple Inc. Relative inertial measurement system with visual correction
CN109284479B (zh) * 2018-09-30 2023-12-29 上海电气风电集团股份有限公司 一种获取自然界流场能量最大跟踪的方法
CN109682398B (zh) * 2018-12-25 2022-07-08 中国科学院长春光学精密机械与物理研究所 立体测绘相机整机内方位元素定标方法、装置及***
CN110646014B (zh) * 2019-09-30 2023-04-25 南京邮电大学 基于人体关节位置捕捉设备辅助的imu安装误差校准方法
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
CN111708033B (zh) * 2020-06-17 2023-06-23 北京百度网讯科技有限公司 坐标系标定方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110010026A1 (en) * 2009-07-13 2011-01-13 Utah State University Calibration Method for Aerial Vehicles
EP2600109A2 (en) * 2011-11-30 2013-06-05 Sony Ericsson Mobile Communications AB Method for calibration of a sensor unit and accessory comprising the same
CN103282793A (zh) * 2011-01-11 2013-09-04 高通股份有限公司 以照相机为基础的定位位置及基于图像处理的导航
CN103344257A (zh) * 2013-06-28 2013-10-09 武汉大学 一种惯性测量单元的快速温度标定方法
CN103438904A (zh) * 2013-08-29 2013-12-11 深圳市宇恒互动科技开发有限公司 一种使用视觉辅助校正的惯性定位方法及***
CN103954283A (zh) * 2014-04-01 2014-07-30 西北工业大学 基于景象匹配/视觉里程的惯性组合导航方法
US20150192439A1 (en) * 2014-01-03 2015-07-09 Motorola Mobility Llc Methods and Systems for Calibrating Sensors of a Computing Device
US20150362579A1 (en) * 2014-06-12 2015-12-17 Google Inc. Methods and Systems for Calibrating Sensors Using Recognized Objects
US20160005164A1 (en) * 2013-02-21 2016-01-07 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
CN105675013A (zh) * 2014-11-21 2016-06-15 中国飞行试验研究院 民用飞机惯导动态校准方法
CN105699696A (zh) * 2014-12-12 2016-06-22 罗伯特·博世有限公司 用于惯性传感器的调整和自测试的装置及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4961473B2 (ja) * 2006-04-28 2012-06-27 ノキア コーポレイション 較正
WO2010001940A1 (ja) * 2008-07-01 2010-01-07 株式会社トプコン 位置測定方法、位置測定装置、およびプログラム
US8744763B2 (en) * 2011-11-17 2014-06-03 Honeywell International Inc. Using structured light to update inertial navigation systems
US9135705B2 (en) * 2012-10-16 2015-09-15 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
US20150092048A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
WO2016099443A1 (en) * 2014-12-15 2016-06-23 Intelligent Technologies International, Inc. Mapping techniques using probe vehicles
US9528834B2 (en) * 2013-11-01 2016-12-27 Intelligent Technologies International, Inc. Mapping techniques using probe vehicles
US9681118B2 (en) * 2015-10-01 2017-06-13 Infinity Augmented Reality Israel Ltd. Method and system for recalibrating sensing devices without familiar targets
US9805512B1 (en) * 2015-11-13 2017-10-31 Oculus Vr, Llc Stereo-based calibration apparatus
US10345914B2 (en) * 2016-01-26 2019-07-09 Infinity Augmented Reality Israel Ltd. Method and system for generating a synthetic database of postures and gestures
US10012517B2 (en) * 2016-08-01 2018-07-03 Infinity Augmented Reality Israel Ltd. Method and system for calibrating components of an inertial measurement unit (IMU) using scene-captured data
US10948299B1 (en) * 2017-09-28 2021-03-16 Apple Inc. Relative inertial measurement system with visual correction

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110010026A1 (en) * 2009-07-13 2011-01-13 Utah State University Calibration Method for Aerial Vehicles
CN103282793A (zh) * 2011-01-11 2013-09-04 高通股份有限公司 以照相机为基础的定位位置及基于图像处理的导航
EP2600109A2 (en) * 2011-11-30 2013-06-05 Sony Ericsson Mobile Communications AB Method for calibration of a sensor unit and accessory comprising the same
US20160005164A1 (en) * 2013-02-21 2016-01-07 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
CN103344257A (zh) * 2013-06-28 2013-10-09 武汉大学 一种惯性测量单元的快速温度标定方法
CN103438904A (zh) * 2013-08-29 2013-12-11 深圳市宇恒互动科技开发有限公司 一种使用视觉辅助校正的惯性定位方法及***
US20150192439A1 (en) * 2014-01-03 2015-07-09 Motorola Mobility Llc Methods and Systems for Calibrating Sensors of a Computing Device
CN103954283A (zh) * 2014-04-01 2014-07-30 西北工业大学 基于景象匹配/视觉里程的惯性组合导航方法
US20150362579A1 (en) * 2014-06-12 2015-12-17 Google Inc. Methods and Systems for Calibrating Sensors Using Recognized Objects
CN105675013A (zh) * 2014-11-21 2016-06-15 中国飞行试验研究院 民用飞机惯导动态校准方法
CN105699696A (zh) * 2014-12-12 2016-06-22 罗伯特·博世有限公司 用于惯性传感器的调整和自测试的装置及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112146678A (zh) * 2019-06-27 2020-12-29 华为技术有限公司 一种确定校准参数的方法及电子设备
CN112146678B (zh) * 2019-06-27 2022-10-11 华为技术有限公司 一种确定校准参数的方法及电子设备
CN113008271A (zh) * 2019-08-15 2021-06-22 深圳市瑞立视多媒体科技有限公司 校准3d旋转差异的数学模型构建方法、校准方法及其装置
CN112560565A (zh) * 2019-09-10 2021-03-26 未来市股份有限公司 人类行为理解***及人类行为理解方法
CN113242421A (zh) * 2021-04-02 2021-08-10 青岛小鸟看看科技有限公司 相机校准方法、装置及虚拟现实设备
WO2023092765A1 (zh) * 2021-11-23 2023-06-01 歌尔股份有限公司 音箱的校准控制方法、装置、设备及可读存储介质
WO2023092766A1 (zh) * 2021-11-23 2023-06-01 歌尔股份有限公司 音箱的校准控制方法、装置、设备及可读存储介质
WO2023092767A1 (zh) * 2021-11-23 2023-06-01 歌尔股份有限公司 音箱的校准控制方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
EP3491334A4 (en) 2020-04-08
US20180283898A1 (en) 2018-10-04
WO2018025115A3 (en) 2018-11-08
EP3491334B1 (en) 2022-05-04
EP3491334A2 (en) 2019-06-05
CN109791048B (zh) 2021-10-15
US11125581B2 (en) 2021-09-21
US20180031389A1 (en) 2018-02-01
WO2018025115A2 (en) 2018-02-08
US10012517B2 (en) 2018-07-03

Similar Documents

Publication Publication Date Title
CN109791048A (zh) 使用场景捕获数据校准惯性测量单元（imu）的组件的方法和***
CN105698765B (zh) 双imu单目视觉组合测量非惯性系下目标物位姿方法
CN104718431B (zh) 陀螺仪调节及陀螺仪相机对准
CN111149002B (zh) 用于校准磁力计的方法
RU2566427C1 (ru) Способ определения температурных зависимостей масштабных коэффициентов, смещений нуля и матриц ориентации осей чувствительности лазерных гироскопов и маятниковых акселерометров в составе инерциального измерительного блока при стендовых испытаниях
US20160225191A1 (en) Head mounted display calibration
US8396684B2 (en) Method and system for motion tracking
CN105030331A (zh) 位置传感器与三维腹腔镜摄像机标定装置及方法
US9560335B2 (en) Device and system for three-dimensional scanning, and method thereof
CN107421523A (zh) 方位角校准方法、装置、存储介质和计算机设备
US9916659B2 (en) Operating device, operating method, and program therefor
CN108827341A (zh) 用于确定图像采集装置的惯性测量单元中的偏差的方法
CN108692661A (zh) 基于惯性测量单元的便携式三维测量***及其测量方法
CN113267794A (zh) 一种基线长度约束的天线相位中心校正方法及装置
RU2683144C1 (ru) Способ определения ошибок ориентации измерительных осей лазерных гироскопов и маятниковых акселерометров в бесплатформенной инерциальной навигационной системе
JP5168629B2 (ja) 方位角計測装置及び方位角計測方法
KR100735494B1 (ko) 방위각 측정장치 및 그 측정방법
Yang et al. IMU signal software simulator
JP2013117442A (ja) 方位誤差補償装置、方位誤差補償方法、方位誤差補償プログラム、誤差角度補償装置、３軸磁気センサ及びセンサモジュール
RU2758891C1 (ru) Способ комбинированной калибровки блока акселерометров
JP5424226B2 (ja) 傾斜角度推定システム
CN108801248B (zh) 基于ukf的平面视觉惯性导航方法
KR101855870B1 (ko) 3차원 공간에서의 위치 추정에 이용되는 회전이동값 추정 방법 및 장치
Deliyski Virtual Measurement System for Length Measurement Based on Visual-Inertial Odometry
CN117705097A (zh) 一种棱镜杆装置、地物碎部点测量方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200131

Address after: 3 / F, No.20, galiarehapura, helzria, Israel

Applicant after: Alibaba (Israel) Technology Co.,Ltd.

Address before: Paktikwa, Israel

Applicant before: Infinity Augmented Reality Israel Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230410

Address after: Room 516, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba Dharma Institute (Hangzhou) Technology Co.,Ltd.

Address before: 3 / F, No.20, galiarehapura, helzria, Israel

Patentee before: Alibaba (Israel) Technology Co.,Ltd.

TR01 Transfer of patent right