CN110880189A - 联合标定方法及其联合标定装置和电子设备 - Google Patents
联合标定方法及其联合标定装置和电子设备 Download PDFInfo
- Publication number
- CN110880189A CN110880189A CN201811036954.2A CN201811036954A CN110880189A CN 110880189 A CN110880189 A CN 110880189A CN 201811036954 A CN201811036954 A CN 201811036954A CN 110880189 A CN110880189 A CN 110880189A
- Authority
- CN
- China
- Prior art keywords
- inertial
- image
- sequence
- visual
- acquisition unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种联合标定方法及其联合标定装置和电子设备。该联合标定方法，用于标定一视觉惯性联合装置，其中该视觉惯性联合装置包括一图像获取单元和一惯性测量单元。该联合标定方法包括步骤：通过对获取的图像数据序列进行处理，获得该图像采集单元的一视觉位姿序列；通过将该视觉位姿序列拟合成一连续样条曲线，获得与该惯性测量单元的惯性时间戳相对应的视觉计算数据序列；通过对获取的惯性数据序列与该视觉计算数据序列进行互相关程度分析，获得该图像采集单元和该惯性测量单元之间的一时延初值；以及通过分析该视觉计算数据与该惯性数据序列之间的最小化误差，获得该图像采集单元和该惯性测量单元之间的一位姿初值。
Description
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种联合标定方法及其联合标定装置和电子设备。
背景技术
在同时定位与构图方案中，往往采用相机与惯性测量单元(英文：InertialMeasurement Unit，简称IMU)相结合的方式以融合两种传感器的优势及弥补单个传感器的弊端。在这种相机与IMU相结合的算法方案中，传感器间的数据同步与对齐是直接影响算法效果的重要前提，时间同步指的是传感器数据对应的时间戳是针对于同一时钟而言的，时间对齐指的是将输出频率高的传感器数据与频率低的传感器数据配对。
一方面，在时间同步问题上，大多数算法都假设相机与IMU之间的数据是同步的，实际上多传感器同步在实际操作中很具挑战性。目前主要使用两种方式使二者同步，一种是硬件同步方式，这种方法在硬件上使用单个处理器，在相机或IMU的信号线发生变化时，处理器通过中断检测信号发生的时间以获取多传感器的同步数据；另一种是软件同步，它利用软件算法，将相机时钟与IMU时钟变换到同一个时钟上，然后再输出。另一方面，在传感器时间对齐问题上，一般的算法会将处于相邻帧图像时间戳之间的IMU数据进行预积分，然后再将视觉计算结果与IMU预积分结果融合。当然，也有的算法直接寻找与图像时间戳相差最小的IMU数据作为其对齐数据。
然而，虽然在以上提到的时间同步及对齐方案中，硬件同步和软件同步都可以获得较好的时间同步效果，但是硬件同步需要特殊的硬件支持，如高精度的定位模块，这增加了硬件集成的复杂度。相应地，软件同步同样要求每个设备都要由相应的算法模块支持，这种设备也需要特别定制。因此，并没有一个适应范围较广的时间同步方法来解决多触感器同步的问题。
此外，虽然现有的数据对齐方法具有较好的适用性，但是这些现有的数据对齐方法都需要降采样IMU数据，导致IMU数据存在较大的损失，并且就近匹配的方式一旦碰到有时延的情况，就会造成计算精度的大幅下降。
发明内容
本发明的一个主要优势在于提供一种联合标定方法及其联合标定装置和电子设备，其能够标定出图像采集单元和惯性测量单元之间的时延初值和位姿初值，以便后续算法的应用。
本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其能够解决该图像采集单元的图像时间戳与该惯性测量单元的惯性时间戳不同步的问题，也就是说，其能够解决图像数据输出时间与惯性数据输出时间不同步的问题。
本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其不需要对该惯性测量单元所测量的惯性数据进行降采样，以保证所述惯性数据的完整，有助于提高标定结果的精度。
本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其能够在保证标定结果不失稳定性和精度的情况下，加快联合标定的速度，以节省标定时间和标定成本。
本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其能够通过样条拟合的方式，使得低帧率的图像数据与高帧率的惯性数据以高帧率形式对齐，有助于提高标定结果的精度。
本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其能够预先优化该图像采集单元和该惯性测量单元的位姿参数，为捆集优化提供可靠的初值，以得到更稳定可靠的标定结果。
本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其中所述联合标定方法实施简单，适用性强，对降低工业生产成本、减少开发周期、提高后期算法的准确性上有重要意义。
本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其对基于多传感器融合的各种智能***或装置均具有很大的应用价值，适于被应用于增强现实、定位跟踪等领域。
本发明的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。
依本发明的一个方面，能够实现前述目的和其他目的和优势的本发明的一联合标定方法，用于标定一视觉惯性联合装置，其中该视觉惯性联合装置包括一图像获取单元和一惯性测量单元，包括步骤：
通过对获取的图像数据序列进行处理，获得该图像采集单元的一视觉位姿序列；
通过将该视觉位姿序列拟合成一连续样条曲线，获得与该惯性测量单元的惯性时间戳相对应的视觉计算数据序列；
通过对获取的惯性数据序列与该视觉计算数据序列进行互相关程度分析，获得该图像采集单元和该惯性测量单元之间的一时延初值；以及
通过分析该视觉计算数据与该惯性数据序列之间的最小化误差，获得该图像采集单元和该惯性测量单元之间的一位姿初值。
根据本发明的一个实施例，所述的联合标定方法，还包括步骤：
藉由该视觉惯性联合装置，联合获取该图像数据序列和该惯性数据序列，其中该图像数据序列包括通过该图像采集单元采集的一组带有图像时间戳的图像数据，该惯性数据序列包括通过该惯性测量单元测量的一组带有该惯性时间戳的惯性数据。
根据本发明的一个实施例，所述藉由该视觉惯性联合装置，联合获取该图像数据序列和该惯性数据序列，其中该图像数据序列包括通过该图像采集单元采集的一组带有图像时间戳的图像数据，该惯性数据序列包括通过该惯性测量单元测量的一组带有该惯性时间戳的惯性数据的步骤，包括步骤：
在一预定时间内移动该视觉惯性联合装置，以激活该惯性测量单元，并保持一标板始终位于该图像采集单元的视场；
藉由该惯性测量单元，在该预定时间内测量一组该惯性数据，其中每该惯性数据包括在相应的该惯性时间戳时该惯性测量单元绕着该惯性测量单元的体坐标系旋转的测量角速度；以及
藉由该图像采集单元，在该预定时间内采集一组该图像数据，其中每该图像数据包括在相应的该图像时间戳时通过该图像采集单元拍摄该标板而采集的标板图像。
根据本发明的一个实施例，所述藉由该视觉惯性联合装置，联合获取该图像数据序列和该惯性数据序列，其中该图像数据序列包括通过该图像采集单元采集的一组带有图像时间戳的图像数据，该惯性数据序列包括通过该惯性测量单元测量的一组带有该惯性时间戳的惯性数据的步骤，还包括步骤：
设计一预定运动轨迹并编码至一机械臂，以通过该机械臂按照该预定运动轨迹移动该视觉惯性联合装置，以在各个方向上激活该视觉惯性联合装置的加速度，使得该惯性测量单元在各个方向上均得到激活。
根据本发明的一个实施例，所述通过对获取的图像数据序列进行处理，获得该图像采集单元的一视觉位姿序列的步骤，包括步骤：
基于该图像数据序列，检测出该图像数据序列中每该图像数据的角点坐标；
基于每该图像数据的该角点坐标和一虚拟标板的角点坐标，求解出在每图像时间戳时该虚拟标板和该图像采集单元的一图像平面之间的单应性矩阵；以及
通过分解在每该图像时间戳时的该单应性矩阵，获得在每该图像时间戳时该图像采集单元相对于该虚拟标板的位姿，以获得该视觉位姿序列，其中该视觉位姿序列包括在每该图像时间戳时该图像采集单元相对于该虚拟标板的位姿。
根据本发明的一个实施例，所述通过对获取的图像数据序列进行处理，获得该图像采集单元的一视觉位姿序列的步骤，还包括步骤：
基于输入的标板参数，计算出该虚拟标板的该角点坐标。
根据本发明的一个实施例，所述通过将该视觉位姿序列拟合成一连续样条曲线，获得与该惯性测量单元的惯性时间戳相对应的视觉计算数据序列的步骤，包括步骤：
通过将该视觉位姿序列代入一样条曲线段拟合模型，得到一线性方程组；
利用线性求解库求解该线性方程组，获得该样条曲线段拟合模型的样条参数；以及
在获得该样条参数之后，通过对该样条曲线段拟合模型进行处理，求解出该视觉计算数据序列，其中该视觉计算数据序列包括一组与该惯性时间戳相对应的主动旋转角速度。
根据本发明的一个实施例，所述通过将该视觉位姿序列拟合成一连续样条曲线，获得与该惯性测量单元的惯性时间戳相对应的视觉计算数据序列的步骤，包括步骤：
通过将该视觉位姿序列代入一样条曲线段拟合模型，得到一线性方程组；
利用线性求解库求解该线性方程组，获得该样条曲线段拟合模型的样条参数；以及
在获得该样条参数之后，通过对该样条曲线段拟合模型进行处理，求解出该视觉计算数据序列，其中该视觉计算数据序列包括一组与该惯性时间戳相对应的主动旋转角速度。
根据本发明的一个实施例，所述在获得该样条参数之后，通过对该样条曲线段拟合模型进行处理，求解出该视觉计算数据序列，其中该视觉计算数据序列包括一组与该惯性时间戳相对应的主动旋转角速度的步骤，包括步骤：
通过求解该样条曲线段拟合模型的一阶导，获得在每该惯性时间戳时的被动旋转角速度，其中该被动旋转角速度为该图像采集单元绕着该虚拟标板的体坐标系旋转的角速度；和
将该被动旋转角速度转化为该主动旋转角速度，其中该主动旋转角速度为在该惯性时间戳时该图像采集单元绕着该图像采集单元的体坐标系旋转的角速度。
根据本发明的一个实施例，所述通过对获取的惯性数据序列与该视觉计算数据序列进行互相关程度分析，获得该图像采集单元和该惯性测量单元之间的一时延初值的步骤，包括步骤：
求取该惯性数据序列的每该测量角速度和该视觉计算数据序列的每该主动旋转角速度之间的相关值，以获得一互相关系数序列，其中该互相关系数序列包括一组与相关系数相对应的该相关值；
通过比较该互相关系数序列中所有的该相关值的大小，获得一最佳相关系数，其中该最佳相关系数与最大的该相关值相对应；以及
基于该最佳相关系数，求解出该图像采集单元与该惯性测量单元之间的时延值，以作为该时延初值。
根据本发明的一个实施例，所述通过分析该视觉计算数据与该惯性数据序列之间的最小化误差，获得该图像采集单元和该惯性测量单元之间的一位姿初值的步骤，包括步骤：
将该视觉计算数据序列的每该主动旋转角速度转化为绕着该惯性测量单元的体坐标系旋转的角速度，以获得被转化的视觉计算数据序列；
对该惯性数据序列的每该测量角速度与该被转化的视觉计算数据序列中相应的转化角速度作差，以获得每该测量角速度与相应的该转化角速度之间的误差项；以及
利用线性求解库，求解出与该最小化误差相对应的该惯性测量单元到该图像采集单元的旋转值，以作为该图像采集单元和该惯性测量单元之间的该位姿初值的旋转初值。
根据本发明的一个实施例，所述的联合标定方法，还包括步骤：
基于该时延初值和该位姿初值，通过捆集优化获得该图像采集单元和该惯性测量单元之间的最优时延和最优位姿。
根据本发明的一个实施例，所述基于该时延初值和该位姿初值，通过捆集优化获得该图像采集单元和该惯性测量单元之间的最优时延和最优位姿的步骤，包括步骤：
基于该惯性时间戳和该时延初值，获得该虚拟标板到该惯性测量单元的位姿；
基于该虚拟标板到该惯性测量单元的该位姿和该时延初值，通过观测模型对该虚拟标板的世界角点坐标变换处理，获得新标板图像的角点坐标；以及
通过误差模型求解出该新标板图像的该角点坐标与该惯性数据序列中该标板图像的该角点坐标之间的误差，捆集优化所有的该误差，以得到该最优时延和该最优位姿。
根据本发明的一个实施例，所述的联合标定方法，还包括步骤：
通过标定该图像采集单元，获得该图像采集单元的相机参数。
根据本发明的一个实施例，在所述通过标定该图像采集单元，获得该图像采集单元的相机参数的步骤：
通过双目标定该图像采集单元，获得该图像采集单元的该相机参数的内参和外参。
根据本发明的一个实施例，在所述通过标定该图像采集单元，获得该图像采集单元的相机参数的步骤中：
通过单目标定该图像采集单元，获得该图像采集单元的该相机参数的内参。
依本发明的另一个方面，本发明进一步提供了一联合标定装置，用于标定一视觉惯性联合装置，其中该视觉惯性联合装置包括一图像获取单元和一惯性测量单元，其中所述联合标定装置包括：
一视觉位姿获得单元，用于通过对获取的图像数据序列进行处理，获得该图像采集单元的一视觉位姿序列；
一样条曲线拟合单元，用于通过将该视觉位姿序列拟合成一连续样条曲线，获得与该惯性测量单元的惯性时间戳相对应的视觉计算数据序列；
一互相关程度分析单元，用于通过对获取的惯性数据序列与该视觉计算数据序列进行互相关程度分析，获得该图像采集单元和该惯性测量单元之间的一时延初值；以及
一最小化误差分析单元，用于通过分析该视觉计算数据与该惯性数据序列之间的最小化误差，获得该图像采集单元和该惯性测量单元之间的一位姿初值。
根据本发明的一个实施例，所述的联合标定装置，还包括一联合获取单元，用于藉由所述视觉惯性联合装置，联合获取所述图像数据序列和所述惯性数据序列，其中所述图像数据序列包括通过所述图像采集单元采集的一组带有图像时间戳的图像数据，所述惯性数据序列包括通过所述惯性测量单元测量的一组带有惯性时间戳的惯性数据。
根据本发明的一个实施例，所述联合获取单元，还用于：
在一预定时间内移动该视觉惯性联合装置，以激活该惯性测量单元，并保持一标板始终位于该图像采集单元的视场；
藉由该惯性测量单元，在该预定时间内测量一组该惯性数据，其中每该惯性数据包括在相应的该惯性时间戳时该惯性测量单元绕着该惯性测量单元的体坐标系旋转的测量角速度；以及
藉由该图像采集单元，在该预定时间内采集一组该图像数据，其中每该图像数据包括在相应的该图像时间戳时通过该图像采集单元拍摄该标板而采集的标板图像。
根据本发明的一个实施例，所述联合获取单元，还用于设计一预定运动轨迹并编码至一机械臂，以通过该机械臂按照该预定运动轨迹移动该视觉惯性联合装置，以在各个方向上激活该视觉惯性联合装置的加速度，使得该惯性测量单元在各个方向上均得到激活。
根据本发明的一个实施例，所述视觉位姿获得单元，还用于：
基于该图像数据序列，检测出该图像数据序列中每该图像数据的角点坐标；
基于每该图像数据的该角点坐标和一虚拟标板的角点坐标，求解出在每图像时间戳时该虚拟标板和该图像采集单元的一图像平面之间的单应性矩阵；以及
通过分解在每该图像时间戳时的该单应性矩阵，获得在每该图像时间戳时该图像采集单元相对于该虚拟标板的位姿，以获得该视觉位姿序列，其中该视觉位姿序列包括在每该图像时间戳时该图像采集单元相对于该虚拟标板的位姿。
根据本发明的一个实施例，所述视觉位姿获得单元，还用于基于输入的标板参数，计算出该虚拟标板的该角点坐标。
根据本发明的一个实施例，所述样条曲线拟合单元，还用于：
通过将该视觉位姿序列代入一样条曲线段拟合模型，得到一线性方程组；
利用线性求解库求解该线性方程组，获得该样条曲线段拟合模型的样条参数；以及
在获得该样条参数之后，通过对该样条曲线段拟合模型进行处理，求解出该视觉计算数据序列，其中该视觉计算数据序列包括一组与该惯性时间戳相对应的主动旋转角速度。
根据本发明的一个实施例，所述样条曲线拟合单元，还用于：
通过求解该样条曲线段拟合模型的一阶导，获得在每该惯性时间戳时的被动旋转角速度，其中该被动旋转角速度为该图像采集单元绕着该虚拟标板的体坐标系旋转的角速度；和
将该被动旋转角速度转化为该主动旋转角速度，其中该主动旋转角速度为在该惯性时间戳时该图像采集单元绕着该图像采集单元的体坐标系旋转的角速度。
根据本发明的一个实施例，所述互相关程度分析单元，还用于：
求取该惯性数据序列的每该测量角速度和该视觉计算数据序列的每该主动旋转角速度之间的相关值，以获得一互相关系数序列，其中该互相关系数序列包括一组与相关系数相对应的该相关值；
通过比较该互相关系数序列中所有的该相关值的大小，获得一最佳相关系数，其中该最佳相关系数与最大的该相关值相对应；以及
基于该最佳相关系数，求解出该图像采集单元与该惯性测量单元之间的时延值，以作为该时延初值。
根据本发明的一个实施例，所述最小化误差分析单元，还用于：
将该视觉计算数据序列的每该主动旋转角速度转化为绕着该惯性测量单元的体坐标系旋转的角速度，以获得被转化的视觉计算数据序列；
对该惯性数据序列的每该测量角速度与该被转化的视觉计算数据序列中相应的转化角速度作差，以获得每该测量角速度与相应的该转化角速度之间的误差项；以及
利用线性求解库，求解出与该最小化误差相对应的该惯性测量单元到该图像采集单元的旋转值，以作为该图像采集单元和该惯性测量单元之间的该位姿初值的旋转初值。
根据本发明的一个实施例，所述的联合标定装置，还包括一捆集优化单元，用于基于该时延初值和该位姿初值，通过捆集优化获得该图像采集单元和该惯性测量单元之间的最优时延和最优位姿。
根据本发明的一个实施例，所述捆集优化单元，还用于：
基于该惯性时间戳和该时延初值，获得该虚拟标板到该惯性测量单元的位姿；
基于该虚拟标板到该惯性测量单元的该位姿和该时延初值，通过观测模型对该虚拟标板的世界角点坐标变换处理，获得新标板图像的角点坐标；以及
通过误差模型求解出该新标板图像的该角点坐标与该惯性数据序列中该标板图像的该角点坐标之间的误差，捆集优化所有的该误差，以得到该最优时延和该最优位姿。
根据本发明的一个实施例，所述的联合标定装置，还包括一相机参数标定单元，用于通过标定该图像采集单元，获得该图像采集单元的相机参数。
根据本发明的一个实施例，所述相机参数标定单元，还用于通过双目标定该图像采集单元，获得该图像采集单元的该相机参数的内参和外参。
依本发明的另一个方面，本发明进一步提供了一电子设备，包括
至少一处理器；以及
至少一存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述联合标定方法。
依本发明的另一个方面，本发明进一步提供了一种计算机可读存储介质，其中所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行上述联合标定方法。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：
图1是根据本发明的一个较佳实施例的一联合标定方法的流程示意图。
图2是根据本发明的上述较佳实施例的所述联合标定方法中数据联合获取的过程示意图。
图3是根据本发明的上述较佳实施例的所述联合标定方法中视觉位姿获取的过程示意图。
图4是根据本发明的上述较佳实施例的所述联合标定方法中样条曲线拟合的过程示意图。
图5A是根据本发明的上述较佳实施例的所述联合标定方法中互相关程度分析的过程示意图。
图5B示出了一互相关系数变化图的示意图。
图6是根据本发明的上述较佳实施例的所述联合标定方法中最小化误差分析的过程示意图。
图7是根据本发明的上述较佳实施例的所述联合标定方法中捆集优化的过程示意图。
图8是根据本发明的上述较佳实施例的一联合标定装置的框图示意图。
图9是根据本发明的上述较佳实施例的一电子设备的框图示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的较佳实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
定位和构图是机器人导航和控制研究领域的两个基本问题，而同时定位与构图技术一直都是机器人和计算机视觉领域的研究热门。近年来，人们越来越多地将这些技术应用到诸如小型无人机、手持移动设备以及增强现实设备这样的小型平台上。由于视觉惯性联合装置将图像采集单元(如相机等等)和惯性测量单元(如陀螺仪等等)这两种传感器固定地联结，使得所述视觉惯性联合装置能融合这两种传感器的各自优势并弥补单种传感器的弊端，使得所述视觉惯性联合装置渐渐成为定位和构图领域的研究焦点。
众所周知，在视觉与惯性相结合的算法方案中，通过所述图像采集单元获取的图像数据和通过所述惯性测量单元测量的惯性数据之间的时间同步与时间对齐是直接影响算法效果的重要前提，也就是说，想要获得准确的算法结果，就必须先解决图像数据的输出时间与惯性数据的输出时间之间的同步和对齐问题。然而，一方面，现有的时间同步方法中硬件同步需要特殊的硬件支持，增加了硬件集成的复杂度，软件同步同样要求每个设备都需要特别定制以由相应的算法模块支持，无法适应较广的应用范围；另一方面，现有的时间对齐方法则都需要对惯性数据进行降采样，导致惯性数据存在较大的损失，从而造成计算精度的大大下降。
针对上述技术问题，本发明的基本构思是通过深入分析相机成像及惯性视觉联合定位***的工作原理，设计一种标定方法，用于联合标定所述视觉惯性联合装置，以基于样条插值估计所述图像采集单元和所述惯性测量单元之间的时延初值和外参初值。该方法首先将纯视觉得到的位姿拟合成连续样条曲线；接着通过基于样条求解的视觉计算数据和测量的惯性数据之间的互相关程度初始化所述图像采集单元和所述惯性测量单元之间的时延值，用作所述图像采集单元和所述惯性测量单元之间的时延初值；最后通过最小化视觉计算数据与所述惯性数据之间的误差，得到所述图像采集单元和所述惯性测量单元之间较好的位姿初值。该标定方法操作简单，角点检测快而有效，标定结果稳定，对融合视觉与惯性的同时定位与构图***的实际应用具有重要意义。
基于此，本发明提供了一联合标定方法及其联合标定装置和电子设备，用于标定一视觉惯性联合装置，其中所述视觉惯性联合装置包括一图像采集单元和一惯性测量单元，其首先通过对获取的图像数据序列进行处理，获得所述图像采集单元的一视觉位姿序列；接着，通过将所述视觉位姿序列拟合成一连续样条曲线，获得与所述惯性测量单元的惯性时间戳相对应的视觉计算数据序列；然后，通过对获取的惯性数据序列与所述视觉计算数据序列进行互相关程度分析，获得所述图像采集单元和所述惯性测量单元之间的一时延初值；最后，通过最小化经坐标转化后的所述视觉计算数据与所述惯性数据序列之间的误差，获得所述图像采集单元和所述惯性测量单元之间的一位姿初值。这样，通过将所述视觉位姿序列拟合成连续样条曲线，以使得在不需要对所述惯性数据序列进行降采样的情况下，就能够完成所述图像数据序列和所述惯性数据序列的对齐融合，以确保所述惯性数据序列的完整性，使得所述联合标定方法能够获得高精度的标定结果，有助于提高后续算法的计算精度。
在介绍了本发明的基本原理之后，下面将参考附图来具体介绍本发明的各种非限制性实施例。
应当理解，在本发明中，所述视觉惯性联合装置的所述图像采集单元可以但不限于被实施为单目相机、双目相机或多目相机；所述视觉惯性联合装置的所述惯性测量单元(英文：Inertial Measurement Unit，简称IMU)被实施为用于物体三轴姿态角(或角速率)以及加速度的装置。
示意性方法
图1示出了根据本发明的较佳实施例的联合标定方法的流程示意图，其中所述联合标定方法，用于联合标定一视觉惯性联合装置，其中所述视觉惯性装置包括一图像采集单元和一惯性测量单元，其中所述联合标定方法包括步骤：
S220：通过对获取的图像数据序列进行处理，获得所述图像采集单元的一视觉位姿序列；
S230：通过将所述视觉位姿序列拟合成一连续样条曲线，获得与所述惯性测量单元相对应的视觉计算数据序列；
S240：通过对获取的惯性数据序列与所述视觉计算数据序列进行互相关程度分析，获得所述图像采集单元和所述惯性测量单元之间的一时延初值；以及
S250：通过分析所述视觉计算数据与所述惯性数据序列之间的最小化误差，获得所述图像采集单元和所述惯性测量单元之间的一位姿初值。
进一步地，如图1所示，在所述步骤220之前，所述联合标定方法还包括步骤：
S210：藉由所述视觉惯性联合装置，联合获取所述图像数据序列和所述惯性数据序列，其中所述图像数据序列包括通过所述图像采集单元采集的一组带有图像时间戳的图像数据，所述惯性数据序列包括通过所述惯性测量单元测量的一组带有惯性时间戳的惯性数据。
应当理解，所述图像数据序列中的所述图像时间戳为所述图像采集单元输出所述图像数据的时刻，又称相机时间戳或相机时刻，也就是说，所述图像数据序列中每所述图像数据与每所述图像时间戳相对应；所述惯性数据序列中的所述惯性时间戳为所述图像采集单元输出所述惯性数据的时刻，又称IMU时间戳或IMU时刻，也就是说，所述惯性数据序列中每所述惯性数据与每所述惯性时间戳相对应。
具体地，如图2所示，所述步骤S210包括步骤：
S211：在一预定时间内移动所述视觉惯性联合装置，以激活所述惯性测量单元，并保持一标板始终位于所述图像采集单元的视场；
S212：藉由所述惯性测量单元，在所述预定时间内测量一组所述惯性数据，其中每所述惯性数据包括在相应的所述惯性时间戳时所述惯性测量单元绕着所述惯性测量单元的体坐标系旋转的测量角速度；以及
S213：藉由所述图像采集单元，在所述预定时间内采集一组所述图像数据，其中每所述图像数据包括在相应的所述图像时间戳时通过所述图像采集单元拍摄所述标板而采集的标板图像。
更具体地，所述步骤S211包括步骤：
设计一预定运动轨迹并编码至一机械臂，以通过所述机械臂按照所述预定运动轨迹移动所述视觉惯性联合装置，以在各个方向上激活所述视觉惯性联合装置的加速度，使得所述惯性测量单元在各个方向上均得到激活。
优选地，优化所述预定运动轨迹，以在保证在各个方向上激活所述惯性测量单元的同时，避免因所述视觉惯性联合装置运动速度过快而造成所述标板图像模糊。
更优选地，所述预定时间在30秒和45秒之间，以确保所述视觉惯性联合装置获取足够的所述图像数据序列和所述惯性数据序列。应当理解，在联合采集数据时，通过特定的速度变换与位姿规划，在尽可能短的时间激活所述惯性测量单元的各种旋转与加速度，加快了联合标定的速度，同时确保标定结果的高稳定性与高精度。
示例性地，首先计算最优的运动轨迹并编码到机械臂，使得所述运动轨迹需满足在30～45s内让加速度在各个方向上得到激活、IMU在各轴的旋转得到激活，同时运动的速度不至于造成图像模糊；接着，在采集数据时，将一标板静置于一标定台，然后用所述机械臂按照已编码的运动轨迹移动所述视觉惯性联合装置，以改变所述视觉惯性联合装置的位姿，与此同时，通过所述视觉惯性联合装置采集图像数据及IMU数据(惯性数据)。
根据本发明的所述较佳实施例，在所述步骤S220中，通过对获取的图像数据序列进行处理，获得所述图像采集单元的一视觉位姿序列。这里，在图像处理领域，通常采用分解所述图像数据序列与一虚拟标板之间的单应性矩阵，以获得所述视觉位姿序列，其中所述视觉位姿序列包括一组在所述图像时间戳时所述图像采集单元相对于所述虚拟标板的位姿。本领域人员可以理解的是，所述虚拟标板上的角点坐标可由被所述图像采集单元拍摄的标板的标板参数算出，在此不再赘述。
具体地，如图3所示，所述步骤S220包括步骤：
S221：基于所述图像数据序列，检测出所述图像数据序列中每所述图像数据的角点坐标；
S222：基于每所述图像数据的角点坐标和一虚拟标板的角点坐标，求解出在每所述图像时间戳时所述虚拟标板和该图像采集单元的一图像平面之间的单应性矩阵；以及
S223：通过分解在每所述图像时间戳时的所述单应性矩阵，获得在每所述图像时间戳时所述图像采集单元相对于所述虚拟标板的位姿，以获得所述视觉位姿序列，其中所述视觉位姿序列包括在每所述图像时间戳时所述图像采集单元相对于所述虚拟标板的位姿。
进一步地，所述步骤S220还包括步骤：基于输入的标板参数，计算出所述虚拟标板的角点坐标。
值得一提的是，所述视觉惯性联合装置的所述图像采集单元可以但不限于被实施为一单目相机、一双目相机或一多目相机。本领域技术可以理解的是，由于当所述图像采集单元被实施为单目相机时，所述图像采集单元的所述图像时间戳被实施为所述单目相机的时间戳，因此需要通过分析所述单目相机与所述惯性测量单元之间的时延值来标定出所述图像采集单元与所述惯性测量单元之间的时延初值。相应地，所述图像采集单元在每所述图像时间戳时仅采集一张所述标板图像，也就是说，每所述图像时间戳与每标板图像一一对应，使得所述图像数据序列仅包括通过所述单目相机采集的一组所述图像数据，并且每所述图像数据包括一张与相应的所述图像时间戳相对应的所述标板图像，因此，在所述步骤S220中需要对所述图像数据序列中所有的所述图像数据进行处理，以获得所述图像采集单元的所述视觉位姿序列，其中所述视觉位姿序列包括在每所述图像时间戳时所述单目相机相对于所述虚拟标板的位姿。
这里，虽然所述图像采集单元也可以被实施为双目相机或多目相机，但是双目相机或多目相机中至少二相机之间的时间戳是一致的，以使所述图像采集单元的所述图像时间戳被实施为所述双目相机或所述多目相机中任一相机的时间戳。因此仅需要通过分析所述双目相机或所述多目相机中任一相机与所述惯性测量单元之间的时延值，就能够标定出所述图像采集单元与所述惯性测量单元之间的时延初值。相应地，当所述图像采集单元被实施为双目相机或者多目相机时，所述图像采集单元在每所述图像时间戳时获得至少两张标板图像，也就是说，每所述图像时间戳对应于至少两张标板图像，使得所述图像数据序列包括通过所述双目相机或多目相机采集的至少两组所述图像数据，并且每组所述图像数据中每所述图像数据包括通过所述双目相机或多目相机中相应的相机采集的一张与相应的所述图像时间戳相对应的所述标板图像。
然而，由于当所述图像采集单元被实施为双目相机或者多目相机时，只需分析所述双目相机或所述多目相机中任一相机与所述惯性测量单元之间的时延值，就能够标定出所述图像采集单元与所述惯性测量单元之间的时延初值。此外，由于双目相机或多目相机中至少二相机之间的相对位姿是不变的，使得所述双目相机或多目相机中的任一相机与所述惯性测量单元之间的位姿都能通过其他相机与所述图像采集单元之间的位姿来求出，因此仅需要通过分析所述双目相机或所述多目相机中任一相机与所述惯性测量单元之间的位姿值，就能够标定出所述图像采集单元与所述惯性测量单元之间的位姿初值。
因此，在本发明的所述联合标定方法的所述步骤S220中，不需要对所述图像数据序列中所有的所述图像数据进行处理，仅需要对所述图像数据序列中通过所述双目相机或所述多目相机中任一相机采集的所述图像数据进行处理即可。这样有助于减少整个标定过程中的计算量。
具体地，在本发明的所述联合标定方法的所述步骤S220中：当所述图像采集单元被实施为双目相机或者多目相机时，仅对所述图像数据序列中某一组图像数据进行处理，以获得所述图像采集单元的视觉位姿序列，其中所述视觉位姿序列包括在每所述图像时间戳时所述图像采集单元中与所述某一组图像数据相对应的相机相对于所述虚拟标板的位姿。
举例地，当所述图像采集单元被实施为双目相机时，首先通过所述双目相机的左相机在每所述图像时间戳时拍摄所述标板以采集左标板图像，与此同时，通过所述双目相机的右相机在每所述图像时间戳时拍摄所述标板以采集右标板图像，使得所述图像数据序列包括一组左图像数据和一组右图像数据，其中每所述左图像数据包括在相应的所述图像时间戳时通过所述左相机采集的所述左标板图像，所述右图像数据包括在相应的所述图像时间戳时通过所述右相机采集的所述右标板图像；然后对所述图像数据序列中所有的所述左图像数据进行处理，以获得所述双目相机的视觉位姿序列，其中所述视觉位姿序列包括在每所述图像时间戳时所述双目相机中所述左相机相对于所述虚拟标板的位姿，以减少一半的计算量。可以理解的是，在本发明的其他示例中，也可以仅对所述图像数据序列中所有的所述右图像数据进行处理，以获得所述双目相机的视觉位姿序列，其中所述视觉位姿序列包括在每所述图像时间戳时所述双目相机中所述右相机相对于所述虚拟标板的位姿。
接下来以对通过所述双目相机的所述左相机采集的所述左图像数据进行处理为例，阐述本发明的所述联合标定方法中的所述步骤S220的特征。
详细地，首先根据输入的标板参数计算虚拟标板的角点坐标pwi＝(xwi，ywi)；接着根据采集好的左图像数据，检测左标板图像的角点坐标pci＝(xci，yci)；然后将虚拟标板与左标板图像的角点坐标对代入平面变换模型(如公式1)得到线性方程组，求解该线性方程组得每左图像与虚拟标板之间的单应性矩阵H；最后分解每一该单应性矩阵H，即得在每图像时间戳时左相机相对于该虚拟标板的位姿。当然，当对所有的通过左图像数据求解的H作分解解时，则可得到在所有的图像时间戳时左相机的位姿Tw，el，从而通过将所有左相机位姿Tw，el的旋转部分用旋转向量标识，就能够得到所述视觉位姿序列p，其中所述视觉位姿序列p包括在每所述图像时间戳ti时所述左相机相对于所述虚拟标板的位姿
其中前三个为位置坐标，后三个为旋转向量。
具体地，标板图像平面和虚拟标板平面之间的平面变换模型为：
式中：H表示标板图像平面和虚拟标板平面之间的映射矩阵(即单应性矩阵)；上标T表示转置；pci＝(xci，yci，1)表示标板图像平面中第i个角点的齐次形式坐标；pwi＝(xwi，ywi)是对应的第i个角点在虚拟标板平面中的坐标。
根据本发明的所述较佳实施例，如图4所示，所述联合标定方法的所述步骤S230包括步骤：
S231：通过将所述视觉位姿序列代入一样条曲线段拟合模型，得到一线性方程组；
S232：利用线性求解库求解这个线性方程组，获得所述样条曲线段拟合模型的样条参数；以及
S233：在获得所述样条参数之后，通过对所述样条曲线段拟合模型进行处理，求解出所述视觉计算数据序列，其中所述视觉计算数据序列包括一组与所述惯性时间戳相对应的主动旋转角速度。
具体地，所述样条曲线段拟合模型如下：
其中：Bj，k(t)＝[1，u，u2，...，uk-1]Mk(i)，
式中：B代表基函数；c代表由基函数B通过线性组合而成的样条曲线段；t代表归一化时间戳；ti为将图像时间戳归一化后均分得到的归一化时间戳；u通过将归一化时间戳t对应到节点区间[ti，ti+1)而得到；M为计算样条的基础矩阵；N为矩阵M的元素；k代表构成曲线的基函数B的最高次数；V代表控制向量(即样条参数向量)。
可以理解的是，B样条是由一系列曲线段c组成的，这些曲线段c由基函数B线性组合而成。而样条的曲线形状由节点向量、次数以及控制向量三个量决定，其中节点向量{t0，t1，t2，...，tm}由图像时间戳范围经归一化后均分得到，即t0＝0，tm＝1，t1-t0＝ti+1-ti；次数k表示构成曲线的基函数的最高次数；控制向量V表示基函数线性组合时的组合权重。
这样，假设某个视觉位姿的归一化时间戳为t，将t对应到其所在节点区间[ti，ti+1)便得到公式2中的u。由于从基函数B的定义式(公式2.1)可知，基函数B只与u和M有关，而M矩阵中的元素N为由Boor-Cox迭代公式(公式2.3和公式2.4)及样条基变换(公式2.5)推导的递推量，也是仅与时间戳有关的量。此外，公式2定义了在节点区间的样条曲线段只与第i-k+1至第i个基函数有关。因此，首先将现有的视觉位姿序列p代入公式2，并将所述视觉位姿序列对应的归一化时间戳序列转化成u去计算基函数B，则构成了一个以控制向量V为参数的线性方程组。接着，利用线性求解库求解这个线性方程组可得到样条参数，即把位姿离散序列表示成连续的曲线，之后便可获得样条上任意时间的位姿。
根据位姿的组成成分分析可知，纯视觉下虚拟标定板体坐标系下的角速度与通过样条计算的位姿的后三个维度的一阶导数值直接相关，即对U＝[1，u，u2，...，uk-1]中各元素求导，可得所述图像采集单元绕虚拟标板体坐标系旋转的被动旋转角速度。之后，将所获得的被动旋转角速度转化为所述图像采集单元绕图像体坐标系旋转的主动旋转角速度即可。
具体地，如图4所示，所述步骤S233还包括步骤：
S2331：通过求解所述样条曲线段拟合模型的一阶导，获得在每所述惯性时间戳时的被动旋转角速度，其中所述被动旋转角速度为所述图像采集单元绕着所述虚拟标板的体坐标系旋转的角速度；和
S2332：将所述被动旋转角速度转化为所述主动旋转角速度，其中每所述主动旋转角速度为在每所述惯性时间戳时所述图像采集单元绕着所述图像采集单元的体坐标系旋转的角速度。
换句话说，通过角速度转化模型将所述被动旋转角速度转化为所述主动旋转角速度，使得所获得的所述视觉计算数据序列包括一组与所述惯性时间戳相对应的主动旋转角速度，其中每所述主动旋转角速度为在每所述惯性时间戳时所述图像采集单元绕着所述图像采集单元的体坐标系旋转的角速度。应当理解，通过样条拟合和样条求导，得到了所述图像数据序列与所述惯性数据序列的对接方式，使得帧率差别大的所述图像数据与所述惯性数据可以以高帧率(所述惯性时间戳)形式对齐。
更具体地，在所述步骤S2332中通常藉由被动旋转角速度转化模型来转化所述被动旋转角速度，其中所述被动旋转角速度转化模型如下：
其中：
式中：wprediction为主动旋转角速度；
为旋转向量的一阶导；
为旋转向量的角度；a为旋转向量的轴表示，即旋转向量
a×为a元素组成的矩阵。
示例性地，以双目相机的左相机为例，首先对于任意所述惯性时间戳，根据所述步骤S230中样条节点的划分可以得到其对应的u值；接着代入所述步骤S230中所述样条曲线段拟合模型(公式2)得到的样条表达式，可以通过样条表达式得到该惯性时间戳下视觉位姿；之后在u值下对样条表达式求导，则可得到视觉位姿的一阶导数，其中前三维为所述左相机的的移动线速度，后三维为所述左相机绕虚拟坐标旋转的一阶导
此为被动旋转角速度；最后可通过所述角速度转化模块(公式3)将所述被动旋转角速度
转化为所述左相机绕左相机的体坐标系旋转的所述主动旋转角速度wprediction。
根据本发明的所述较佳实施例的所述步骤S240，在获得所述视觉计算数据序列之后，通过对获取的惯性数据序列与所述视觉计算数据序列进行互相关程度分析，获得所述图像采集单元和所述惯性测量单元之间的一时延初值。这里，所述惯性数据序列包括通过所述惯性测量单元测量的一组与所述惯性时间戳相对应的测量角速度，其中每所述测量角速度为在每惯性时间戳时所述图像采集单元绕着所述惯性测量单元的体坐标系旋转的角速度。
具体地，如图5A所示，所述步骤S240包括步骤：
S241：求取所述惯性数据序列的每所述测量角速度和所述视觉计算数据序列的每所述主动旋转角速度之间的相关值，以获得一互相关系数序列，其中所述互相关系数序列包括一组与相关系数相对应的所述相关值；
S242：通过比较所述互相关系数序列中所有的相关值的大小，获得一最佳相关系数，其中所述最佳相关系数与最大的所述相关值相对应；以及
S243：基于所述最佳相关系数，求解出所述图像采集单元与所述惯性测量单元之间的时延值，以作为所述时延初值。
示例性地，在求取所述测量角速度和所述主动旋转角速度之间的相关值时，通常采用互相关系数模型(公式4)进行求解，其中所述互相关系数模型如下：
corr(1)＝wmeasurement(1)*wprediction(M)
corr(2)＝wmeasurement(1)*wprediction(M-1)+wmeasurement(2)*wprediction(M)
...
corr(2M-1)＝wmeasurement(M)*wprediction(1) (公式4)
式中：corr代表相关值；wmeasurement代表所述惯性数据序列中的测量角速度；wpredicition代表所述视觉计算数据序列中的主动旋转角速度；M代表序列长度。
应当理解，所述惯性数据序列的长度为所述惯性数据序列中所述测量角速度的个数；所述视觉计算数据序列的长度为所述视觉计算数据序列中所述主动旋转角速度的个数。此外，当所述惯性数据序列的长度和所述视觉计算数据序列的长度均为M时，所述互相关系数模型的相关系数id在0至2M-1之间。
接着，比较所求取的所述相关值的大小以挑选出最大的相关值，并将获得的与最大的所述相关值相对应的相关系数id作为所述最佳相关系数x。当然，也可以通过互相关系数变化图(如图5B所示)来分析出最大的相关度对应的相关系数id(也就是所述最佳相关系数x)的大概范围，示例性地，在图4所示的互相关系数变化图中，所述最佳相关系数x在6000至8000之间。
最后，通过一时延初值求解模型来求解出所述时延初值d0，其中所述时延初值求解模型如下：
式中：d0代表时延初值；
代表所述图像数据序列中相邻的两帧图像之间的时间间隔；x为最佳相关系数；M为序列长度。
可以理解的是，根据互相关系数的求解过程可知，在两个序列时间戳完全对齐的情况下，所述惯性数据序列和所述视觉计算数据序列之间最大的相关值应该对应于两序列完全重叠的情形，即相关系数id为M-1也就是说，所述最佳相关系数x为M-1。
根据本发明的所述较佳实施例的所述联合标定方法，在所述步骤250中，通过最小化所述视觉计算数据序列与所述惯性数据序列之间的误差，获得所述图像采集单元和所述惯性测量单元之间的一位姿初值。这里，由于所述视觉计算数据序列中每所述主动旋转角速度为在每所述惯性时间戳时所述图像采集单元绕着所述图像采集单元的体坐标系旋转的角速度，而所述惯性数据序列中每所述测量角速度为在每所述惯性时间戳时所述图像采集单元绕着所述惯性测量单元的体坐标系旋转的角速度，也就是说，所述视觉计算数据序列的所述主动旋转角速度与所述惯性数据序列的所述测量角速度所参照的体坐标系不同，因此，在最小化所述视觉计算数据序列与所述惯性数据序列之间的误差时，需要先将所述视觉计算数据序列的每所述主动旋转角速度转化为绕着所述惯性测量单元的体坐标系旋转的角速度，以获得被转化后的视觉计算数据序列，其中被转化的所述视觉计算数据序列包括一组转化角速度，其中每所述转化角速度为在每所述惯性时间戳时所述图像采集单元绕着所述惯性测量单元的体坐标系旋转的角速度。
具体地，如图6所示，所述步骤S250包括步骤：
S251：将所述视觉计算数据序列的每所述主动旋转角速度转化为绕着所述惯性测量单元的体坐标系旋转的角速度，以获得被转化的视觉计算数据序列；
S252：对所述惯性数据序列中每所述测量角速度与所述被转化的视觉计算数据序列中相应的转化角速度作差，以获得每所述测量角速度与相应的所述转化角速度之间的误差项；以及
S253：利用线性求解库，求解出与所述最小误差相对应的所述惯性测量单元到所述图像采集单元的旋转值，以作为所述图像采集单元和所述惯性测量单元之间的所述位姿初值的旋转初值。
可以理解的是，所述视觉计算数据序列与所述惯性数据序列之间的误差为所述被转化的视觉计算数据序列中每所述转化角速度与所述惯性数据序列中相应的所述测量角速度之间的所述误差项之和。此外，所述位姿初值包括位置初值和旋转初值，在本发明的所述步骤S253中求出所述位姿初值中的所述旋转初值，而所述位姿初值中的所述位置初值直接被赋值一预设初值。例如，所述位置初值可以但不限于被赋值为0，本发明对此不作进一步限制。
更具体地，在将所述视觉计算数据序列的每所述主动旋转角速度转化为绕着所述惯性测量单元的体坐标系旋转的角速度的过程中，需要利用一主动旋转角速度转化模型来转化所述主动旋转角速度，其中所述主动旋转角速度模型如下：
w’＝T×wprediction (公式5)
式中：w'为所述转化角速度；wprediction为所述主动旋转角速度；T为所述惯性测量单元到所述图像获取单元的旋转值。
随后，通过误差项构建模型来获得每所述测量角速度与相应的所述转化角速度之间的误差项，其中所述误差项构建模型如下：
e＝wmeasurement-w' (公式6)
式中，e为所述测量角速度与所述转化角速度之间的误差项；wmeasurement代表所述测量角速度；w'为所述转化角速度。
最后，利用线性求解库，求解所有的所述误差项之和以及相对应的旋转值T，并将与最小的所述误差项之和相对应的位姿值作为所述图像采集单元和所述惯性测量单元之间的所述位姿初值T0。
示例性地，以所述双目相机的左相机为例，首先利用公式5将所述视觉计算数据序列中绕着所述左相机的体坐标系旋转的角速度(所述测量角速度)转化为绕着所述惯性测量单元的体坐标系旋转的角速度(所述转化角速度)，以获得转化的所述视觉计算数据序列；接着，利用公式6获得每所述测量角速度与相应的所述转化角速度之间的误差项e；最后，利用线性求解库，求解出与最小的所述误差项之和相对应的所述惯性测量元件到所述左相机之间的旋转值，以获得所述图像采集单元和所述惯性测量单元之间的所述位姿初值T0的旋转初值。
值得一提的是，在获得所述时延初值d0和所述位姿初值T0之后，本发明的所述较佳实施例的所述联合标定方法还可以继续标定出所述图像采集单元和所述惯性测量单元之间的最优时延和最优位姿。
具体地，如图1所示，所述联合标定方法还包括步骤：
S260：基于所述时延初值和所述位姿初值，通过捆集优化获得该图像采集单元和该惯性测量单元之间的最优时延和最优位姿。
值得注意的是，通过所述步骤S240求解相关性，为捆集优化所述图像采集单元与惯性测量单元之间的时延参数提供了较可靠的时延初值，有助于通过捆集优化的方式获得稳定可靠的标定结果(即所述最优时延)。此外，通过所述步骤S250最小化所述视觉计算数据序列与所述惯性数据序列之间的误差，预先优化了所述图像采集单元与惯性测量单元之间的位姿参数，为捆集优化所述图像采集单元与惯性测量单元之间的位姿参数提供了可靠的位姿初值，使对初值敏感的最优化捆集优化算法得到更稳定可靠的标定结果(即所述最优位姿)。本领域技术人员可以理解的是，捆集优化指的是利用所有的图像信息同时优化所有想优化的对象。
具体地，如图7所示，所述步骤S260包括步骤：
S261：基于所述惯性时间戳和所述时延初值，获得所述虚拟标板到所述惯性测量单元的位姿；
S262：基于所述虚拟标板到所述惯性测量单元的位姿和所述时延初值，通过观测模型对所述虚拟标板的世界角点坐标变换处理，获得新标板图像的角点坐标；以及
S263：通过误差模型求解出所述新标板图像的角点坐标与所述惯性数据序列中所述标板图像的角点坐标之间的误差，捆集优化所有的所述误差，以得到所述最优时延和所述最优位姿。
示例性地，首先基于之前步骤求解的时延初值d0及位姿初值T0，根据观测方程，可构造如下由公式7、公式8组成的误差模型，使得针对于每一帧图像上的每一个角点都可以得到一个误差err；之后，通过捆集优化所有的err，便得到所述最优时延dB和所述最优位姿TB。
特别地，所述误差模型如下：
p′c＝h(TTTi，w(t+d)Pw) (公式7)
式中：p′c为新标板图像的角点坐标；h为观测模型；T为所述图像采集单元与所述惯性测量单元之间的位姿参数；上标T代表转置；Ti，w为所述虚拟标板到所述惯性测量单元的位姿；t为所述惯性时间戳；d为所述图像采集单元与惯性测量单元之间的时延参数；Pw代表虚拟标板中世界角点坐标(即角点的三维坐标)。
err＝pc-p′c (公式8)
式中：err为误差；pc为所述图像数据序列中所述标板图像的角点坐标；p′c为所述新标板图像的角点坐标。
应当理解，公式7表示：先将虚拟标板中角点的三维坐标Pw通过位姿变换Ti，w变换到所述惯性测量单元的体坐标系；然后再通过位姿变换T变换到所述图像采集单元的体坐标系；最后经过相机观测模型h，重新将空间中的三维点投影到各位姿相机中，得到新的图像坐标p′c。公式8表示：求解重投影得到的新标板图像的角点坐标p′c与从拍摄图像检测出的角点坐标pc之间的误差。
这里，所述图像采集单元与所述惯性测量单元之间的位姿参数T的初始值为通过所述步骤S250计算的位姿初值T0；所述虚拟标板到所述惯性测量单元的位姿Ti，w的初始值设为相机位姿，其中所述相机位姿可先根据所述惯性时间戳t和所述时延参数d求出所述公式(2.1)中的u值，再将u值代入所述步骤S220中的样条曲线即可得到所述相机位姿，其中所述时延参数d的初始值为通过所述步骤S240计算的时延初值d0。Pw为世界坐标系中的一点，举例地，整个标定过程，以根据标板构造的虚拟标板的左下角为世界坐标系，故所述虚拟标板上任意角点的三维坐标都是已知的。
此外，根据所述误差模型可知，可以进一步调整所述观测模型h中的相机内参，但因为相机标定技术相对成熟，所以可以选择固定相机内参，在所述步骤S260中仅优化所述图像采集元件与所述惯性测量单元之间的时延d和位姿T。
因此，根据本发明的所述较佳实施例，所述联合标定方法还可以先标定所述图像采集单元，以获得所述图像采集单元的内外参，进而确定所述步骤S260中的所述观测模型h。具体地，如图1所示，所述联合标定方法进一步包括步骤：
S200：通过标定所述图像采集单元，获得所述图像采集单元的相机参数。
应当理解，所述步骤S200可以在所述步骤S210之前被执行，也可以在所述步骤S210和所述步骤S260之间被执行。此外，当所述图像采集单元为单目相机时，需要对所述图像采集单元进行单目标定，以获得所述图像采集单元的相机内参；当所述图像擦剂单元为双目相机时，需要对所述图像采集单元进行双目标定，以获得所述图像采集单元的左右相机内参以及左右相机外参。
示例性地，以双目相机为例，定制不反光漫反射的高精度标板，保持所述图像惯性联合装置被静止地放置在支撑架上，变换标板的位姿，采集10～20张定点拍摄图像，使标板在标板图像的位置呈九宫格覆盖，且尽量使每张标板图像中标板的角度、尺度不同。之后进行双目标定得到左右相机内参Kl、Kr，左右相机畸变dl、dr及左右相机外参Tr，l，以便通过所述左右相机内参确定所述图像采集单元的所述观测模型。
值得注意的是，在双目标定时，使用高精度标定板作为标板，并采用定点拍摄方法，使标板的移动、旋转、覆盖足够充分，标定数据不会造成过拟合，即加快了标定速度，同时也为后续联合标定的正确性提供了好条件。此外，在所述联合标定的过程中，优选地采用了优于棋盘格的april标板作为本发明的标板，通过所述april标板的精确尺寸信息、二维点对的映射关系及欧式坐标系的变换原理，准确地估计出所述双目相机之间的内外参数，以保证通过所述联合标定方法获得的标定结果具有较高的精度。
示意性装置
图8示出了根据本发明的所述较佳实施例的联合标定装置的框图示意图。如图8所示，根据本发明的所述较佳实施例的所述联合标定装置300，包括：一视觉位姿获得单元320，用于通过对获取的图像数据序列进行处理，获得所述图像采集单元的一视觉位姿序列；一样条曲线拟合单元330，用于通过将所述视觉位姿序列拟合成一连续样条曲线，获得与所述惯性测量单元的惯性时间戳相对应的视觉计算数据序列；一互相关程度分析单元340，用于通过对获取的惯性数据序列与所述视觉计算数据序列进行互相关程度分析，获得所述图像采集单元和所述惯性测量单元之间的一时延初值；以及一最小化误差分析单元350，用于通过分析所述视觉计算数据与所述惯性数据序列之间的最小化误差，获得该所述图像采集单元和所述惯性测量单元之间的一位姿初值。
进一步地，如图8所示，所述联合标定装置300还包括一联合获取单元310，用于藉由所述视觉惯性联合装置，联合获取所述图像数据序列和所述惯性数据序列，其中所述图像数据序列包括通过所述图像采集单元采集的一组带有图像时间戳的图像数据，所述惯性数据序列包括通过所述惯性测量单元测量的一组带有惯性时间戳的惯性数据。
优选地，如图8所示，所述联合标定装置300还包括一捆集优化单元360，用于基于所述时延初值和所述位姿初值，通过捆集优化获得该图像采集单元和该惯性测量单元之间的最优时延和最优位姿。
更优选地，如图8所示，所述联合标定装置300还包括一相机参数标定单元370，用于通过标定所述图像采集单元，获得所述图像采集单元的相机参数。
在一个示例中，所述联合标定装置300的所述联合获取单元310，用于：在一预定时间内移动所述视觉惯性联合装置，以激活所述惯性测量单元，并保持一标板始终位于所述图像采集单元的视场；藉由所述惯性测量单元，在所述预定时间内测量一组所述惯性数据，以获取所述惯性数据序列，其中每所述惯性数据包括在相应的所述惯性时间戳时所述惯性测量单元绕着所述惯性测量单元的体坐标系旋转的角速度；以及藉由所述图像采集单元，在所述预定时间内采集一组所述图像数据，以获取所述图像数据序列，其中每所述图像数据包括在相应的所述图像时间戳时通过所述图像采集单元拍摄所述标板而采集的标板图像。
在一个示例中，所述联合标定装置300的所述联合获取单元310，还用于：设计一预定运动轨迹并编码至一机械臂，以通过所述机械臂按照所述预定运动轨迹移动所述视觉惯性联合装置，以在各个方向上激活所述视觉惯性联合装置的加速度，使得所述惯性测量单元在各个方向上均得到激活。
在一个示例中，所述联合标定装置300的所述联合获取单元310，还用于：优化所述预定预定轨迹，以在保证在各个方向上激活所述惯性测量单元的同时，避免因所述视觉惯性联合装置运动速度过快而造成所述标板图像模糊。
在一个示例中，所述联合标定装置300的所述视觉位姿获得单元320，用于：基于所述图像数据序列，检测出所述图像数据序列中每所述图像数据的角点坐标；基于每所述图像数据的角点坐标和一虚拟标板的角点坐标，求解出在每所述图像时间戳时所述虚拟标板和该图像采集单元的一图像平面之间的单应性矩阵；以及通过分解在每所述图像时间戳时的所述单应性矩阵，获得在每所述图像时间戳时所述图像采集单元相对于所述虚拟标板的位姿，以获得所述视觉位姿序列，其中所述视觉位姿序列包括在每所述图像时间戳时所述图像采集单元相对于所述虚拟标板的位姿。
在一个示例中，所述联合标定装置300的所述视觉位姿获得单元320，还用于：基于输入的标板参数，计算出所述虚拟标板的角点坐标。
在一个示例中，所述联合标定装置300的所述样条曲线拟合单元330，用于：通过将所述视觉位姿序列代入一样条曲线段拟合模型，得到一线性方程组；利用线性求解库求解这个线性方程组，获得所述样条曲线段拟合模型的样条参数；以及在获得所述样条参数之后，通过对所述样条曲线段拟合模型进行处理，求解出所述视觉计算数据序列。
在一个示例中，所述联合标定装置300的所述样条曲线拟合单元330，还用于：通过求解所述样条曲线段拟合模型的一阶导，获得在每所述惯性时间戳时的被动旋转角速度，其中所述被动旋转角速度为所述图像采集单元绕着所述虚拟标板的体坐标系旋转的角速度；和将所述被动旋转角速度转化为所述主动旋转角速度，以获得所述视觉计算数据序列。
在一个示例中，所述联合标定装置300的所述互相关程度分析单元340，用于：求取所述惯性数据序列的每所述测量角速度和所述视觉计算数据序列的每所述主动旋转角速度之间的相关值，以获得一互相关系数序列，其中所述互相关系数序列包括一组与相关系数相对应的所述相关值；通过比较所述互相关系数序列中所有的相关值的大小，获得一最佳相关系数，其中所述最佳相关系数与最大的所述相关值相对应；以及基于所述最佳相关系数，求解出所述图像采集单元与所述惯性测量单元之间的时延值，以作为所述时延初值。
在一个示例中，所述联合标定装置300的所述最小化误差分析单元350，用于：将所述视觉计算数据序列的每所述主动旋转角速度转化为绕着所述惯性测量单元的体坐标系旋转的角速度，以获得被转化的视觉计算数据序列；对所述惯性数据序列中每所述测量角速度与所述被转化的视觉计算数据序列中相应的所述转化角速度作差，以获得每所述测量角速度与相应的所述转化角速度之间的误差项；以及利用线性求解库，求解出与最小的所述误差相对应的所述惯性测量单元到所述图像采集单元的旋转值，以作为所述图像采集单元和所述惯性测量单元之间的所述位姿初值的旋转初值。
在一个示例中，所述联合标定装置300的所述捆集优化单元360，用于：基于所述惯性时间戳和所述时延初值，获得所述虚拟标板到所述惯性测量单元的位姿；基于所述虚拟标板到所述惯性测量单元的位姿和所述时延初值，通过观测模型对所述虚拟标板的世界角点坐标变换处理，获得新标板图像的角点坐标；以及通过误差模型求解出所述新标板图像的角点坐标与所述惯性数据序列中所述标板图像的角点坐标之间的误差，捆集优化所有的所述误差，以得到所述最优时延和所述最优位姿。
在一个示例中，所述联合标定装置300的所述相机参数标定单元370，用于：对所述图像采集单元进行单目标定，以获得所述图像采集单元的相机内参。
在一个示例中，所述联合标定装置300的所述相机参数标定单元370，用于：对所述图像采集单元进行双目标定，以获得所述图像采集单元的左右相机内参和左右相机外参。
示意性电子设备
下面，参考图9来描述根据本发明的所述较佳实施例的电子设备。
如图9所示，所述电子设备10包括一个或多个处理器11和存储器12。
所述处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
所述存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本发明的各个实施例的联合标定方法以及/或者其他期望的功能。
在一个示例中，如图9所示，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
例如，该输入装置13可以是例如用于输入标板参数的键盘等等。
该输出装置14可以向外部输出各种信息，包括标定结果等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图9中仅示出了该电子设备10中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示意性计算机程序产品
除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示意性方法”部分中描述的根据本发明各种实施例的联合标定方法中的部分步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“，还语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示意性方法”部分中描述的根据本发明各种实施例的联合标定方法中的部分步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
Claims (35)
1.一联合标定方法，用于标定一视觉惯性联合装置，其中该视觉惯性联合装置包括一图像获取单元和一惯性测量单元，其特征在于，包括步骤：
通过对获取的图像数据序列进行处理，获得该图像采集单元的一视觉位姿序列；
通过将该视觉位姿序列拟合成一连续样条曲线，获得与该惯性测量单元的惯性时间戳相对应的视觉计算数据序列；
通过对获取的惯性数据序列与该视觉计算数据序列进行互相关程度分析，获得该图像采集单元和该惯性测量单元之间的一时延初值；以及
通过分析该视觉计算数据与该惯性数据序列之间的最小化误差，获得该图像采集单元和该惯性测量单元之间的一位姿初值。
2.如权利要求1所述的联合标定方法，还包括步骤：
藉由该视觉惯性联合装置，联合获取该图像数据序列和该惯性数据序列，其中该图像数据序列包括通过该图像采集单元采集的一组带有图像时间戳的图像数据，该惯性数据序列包括通过该惯性测量单元测量的一组带有该惯性时间戳的惯性数据。
3.如权利要求2所述的联合标定方法，其中，所述藉由该视觉惯性联合装置，联合获取该图像数据序列和该惯性数据序列，其中该图像数据序列包括通过该图像采集单元采集的一组带有图像时间戳的图像数据，该惯性数据序列包括通过该惯性测量单元测量的一组带有该惯性时间戳的惯性数据的步骤，包括步骤：
在一预定时间内移动该视觉惯性联合装置，以激活该惯性测量单元，并保持一标板始终位于该图像采集单元的视场；
藉由该惯性测量单元，在该预定时间内测量一组该惯性数据，其中每该惯性数据包括在相应的该惯性时间戳时该惯性测量单元绕着该惯性测量单元的体坐标系旋转的测量角速度；以及
藉由该图像采集单元，在该预定时间内采集一组该图像数据，其中每该图像数据包括在相应的该图像时间戳时通过该图像采集单元拍摄该标板而采集的标板图像。
4.如权利要求3所述的联合标定方法，其中，所述藉由该视觉惯性联合装置，联合获取该图像数据序列和该惯性数据序列，其中该图像数据序列包括通过该图像采集单元采集的一组带有图像时间戳的图像数据，该惯性数据序列包括通过该惯性测量单元测量的一组带有该惯性时间戳的惯性数据的步骤，还包括步骤：
设计一预定运动轨迹并编码至一机械臂，以通过该机械臂按照该预定运动轨迹移动该视觉惯性联合装置，以在各个方向上激活该视觉惯性联合装置的加速度，使得该惯性测量单元在各个方向上均得到激活。
5.如权利要求1所述的联合标定方法，其中，所述通过对获取的图像数据序列进行处理，获得该图像采集单元的一视觉位姿序列的步骤，包括步骤：
基于该图像数据序列，检测出该图像数据序列中每该图像数据的角点坐标；
基于每该图像数据的该角点坐标和一虚拟标板的角点坐标，求解出在每图像时间戳时该虚拟标板和该图像采集单元的一图像平面之间的单应性矩阵；以及
通过分解在每该图像时间戳时的该单应性矩阵，获得在每该图像时间戳时该图像采集单元相对于该虚拟标板的位姿，以获得该视觉位姿序列，其中该视觉位姿序列包括在每该图像时间戳时该图像采集单元相对于该虚拟标板的位姿。
6.如权利要求4所述的联合标定方法，其中，所述通过对获取的图像数据序列进行处理，获得该图像采集单元的一视觉位姿序列的步骤，包括步骤：
基于该图像数据序列，检测出该图像数据序列中每该图像数据的角点坐标；
基于每该图像数据的该角点坐标和一虚拟标板的角点坐标，求解出在每该图像时间戳时该虚拟标板和该图像采集单元的一图像平面之间的单应性矩阵；以及通过分解在每该图像时间戳时的该单应性矩阵，获得在每该图像时间戳时该图像采集单元相对于该虚拟标板的位姿，以获得该视觉位姿序列，其中该视觉位姿序列包括在每该图像时间戳时该图像采集单元相对于该虚拟标板的位姿。
7.如权利要求6所述的联合标定方法，其中，所述通过对获取的图像数据序列进行处理，获得该图像采集单元的一视觉位姿序列的步骤，还包括步骤：
基于输入的标板参数，计算出该虚拟标板的该角点坐标。
8.如权利要求1所述的联合标定方法，其中，所述通过将该视觉位姿序列拟合成一连续样条曲线，获得与该惯性测量单元的惯性时间戳相对应的视觉计算数据序列的步骤，包括步骤：
通过将该视觉位姿序列代入一样条曲线段拟合模型，得到一线性方程组；
利用线性求解库求解该线性方程组，获得该样条曲线段拟合模型的样条参数；以及
在获得该样条参数之后，通过对该样条曲线段拟合模型进行处理，求解出该视觉计算数据序列，其中该视觉计算数据序列包括一组与该惯性时间戳相对应的主动旋转角速度。
9.如权利要求7所述的联合标定方法，其中，所述通过将该视觉位姿序列拟合成一连续样条曲线，获得与该惯性测量单元的惯性时间戳相对应的视觉计算数据序列的步骤，包括步骤：
通过将该视觉位姿序列代入一样条曲线段拟合模型，得到一线性方程组；
利用线性求解库求解该线性方程组，获得该样条曲线段拟合模型的样条参数；以及
在获得该样条参数之后，通过对该样条曲线段拟合模型进行处理，求解出该视觉计算数据序列，其中该视觉计算数据序列包括一组与该惯性时间戳相对应的主动旋转角速度。
10.如权利要求9所述的联合标定方法，其中，所述在获得该样条参数之后，通过对该样条曲线段拟合模型进行处理，求解出该视觉计算数据序列，其中该视觉计算数据序列包括一组与该惯性时间戳相对应的主动旋转角速度的步骤，包括步骤：
通过求解该样条曲线段拟合模型的一阶导，获得在每该惯性时间戳时的被动旋转角速度，其中该被动旋转角速度为该图像采集单元绕着该虚拟标板的体坐标系旋转的角速度；和
将该被动旋转角速度转化为该主动旋转角速度，其中该主动旋转角速度为在该惯性时间戳时该图像采集单元绕着该图像采集单元的体坐标系旋转的角速度。
11.如权利要求10所述的联合标定方法，其中，所述通过对获取的惯性数据序列与该视觉计算数据序列进行互相关程度分析，获得该图像采集单元和该惯性测量单元之间的一时延初值的步骤，包括步骤：
求取该惯性数据序列的每该测量角速度和该视觉计算数据序列的每该主动旋转角速度之间的相关值，以获得一互相关系数序列，其中该互相关系数序列包括一组与相关系数相对应的该相关值；
通过比较该互相关系数序列中所有的该相关值的大小，获得一最佳相关系数，其中该最佳相关系数与最大的该相关值相对应；以及
基于该最佳相关系数，求解出该图像采集单元与该惯性测量单元之间的时延值，以作为该时延初值。
12.如权利要求11所述的联合标定方法，其中，所述通过分析该视觉计算数据与该惯性数据序列之间的最小化误差，获得该图像采集单元和该惯性测量单元之间的一位姿初值的步骤，包括步骤：
将该视觉计算数据序列的每该主动旋转角速度转化为绕着该惯性测量单元的体坐标系旋转的角速度，以获得被转化的视觉计算数据序列；
对该惯性数据序列的每该测量角速度与该被转化的视觉计算数据序列中相应的转化角速度作差，以获得每该测量角速度与相应的该转化角速度之间的误差项；以及
利用线性求解库，求解出与该最小化误差相对应的该惯性测量单元到该图像采集单元的旋转值，以作为该图像采集单元和该惯性测量单元之间的该位姿初值中的旋转初值。
13.如权利要求1至11中任一所述的联合标定方法，还包括步骤：
基于该时延初值和该位姿初值，通过捆集优化获得该图像采集单元和该惯性测量单元之间的最优时延和最优位姿。
14.如权利要求12所述的联合标定方法，还包括步骤：
基于该时延初值和该位姿初值，通过捆集优化获得该图像采集单元和该惯性测量单元之间的最优时延和最优位姿。
15.如权利要求14所述的联合标定方法，其中，所述基于该时延初值和该位姿初值，通过捆集优化获得该图像采集单元和该惯性测量单元之间的最优时延和最优位姿的步骤，包括步骤：
基于该惯性时间戳和该时延初值，获得该虚拟标板到该惯性测量单元的位姿；
基于该虚拟标板到该惯性测量单元的该位姿和该时延初值，通过观测模型对该虚拟标板的世界角点坐标变换处理，获得新标板图像的角点坐标；以及
通过误差模型求解出该新标板图像的该角点坐标与该惯性数据序列中该标板图像的该角点坐标之间的误差，捆集优化所有的该误差，以得到该最优时延和该最优位姿。
16.如权利要求1至12中任一所述的联合标定方法，还包括步骤：
通过标定该图像采集单元，获得该图像采集单元的相机参数。
17.如权利要求15所述的联合标定方法，还包括步骤：
通过标定该图像采集单元，获得该图像采集单元的相机参数。
18.如权利要求17所述的联合标定方法，其中，在所述通过标定该图像采集单元，获得该图像采集单元的相机参数的步骤中：
通过双目标定该图像采集单元，获得该图像采集单元的该相机参数的内参和外参。
19.如权利要求17所述的联合标定方法，其中，在所述通过标定该图像采集单元，获得该图像采集单元的相机参数的步骤中：
通过单目标定该图像采集单元，获得该图像采集单元的该相机参数的内参。
20.一联合标定装置，用于标定一视觉惯性联合装置，其中该视觉惯性联合装置包括一图像获取单元和一惯性测量单元，其特征在于，其中所述联合标定装置包括：
一视觉位姿获得单元，用于通过对获取的图像数据序列进行处理，获得该图像采集单元的一视觉位姿序列；
一样条曲线拟合单元，用于通过将该视觉位姿序列拟合成一连续样条曲线，获得与该惯性测量单元的惯性时间戳相对应的视觉计算数据序列；
一互相关程度分析单元，用于通过对获取的惯性数据序列与该视觉计算数据序列进行互相关程度分析，获得该图像采集单元和该惯性测量单元之间的一时延初值；以及
一最小化误差分析单元，用于通过分析该视觉计算数据与该惯性数据序列之间的最小化误差，获得该图像采集单元和该惯性测量单元之间的一位姿初值。
21.如权利要求20所述的联合标定装置，还包括一联合获取单元，用于藉由所述视觉惯性联合装置，联合获取所述图像数据序列和所述惯性数据序列，其中所述图像数据序列包括通过所述图像采集单元采集的一组带有图像时间戳的图像数据，所述惯性数据序列包括通过所述惯性测量单元测量的一组带有惯性时间戳的惯性数据。
22.如权利要求21所述的联合标定装置，其中，所述联合获取单元，还用于：
在一预定时间内移动该视觉惯性联合装置，以激活该惯性测量单元，并保持一标板始终位于该图像采集单元的视场；
藉由该惯性测量单元，在该预定时间内测量一组该惯性数据，其中每该惯性数据包括在相应的该惯性时间戳时该惯性测量单元绕着该惯性测量单元的体坐标系旋转的测量角速度；以及
藉由该图像采集单元，在该预定时间内采集一组该图像数据，其中每该图像数据包括在相应的该图像时间戳时通过该图像采集单元拍摄该标板而采集的标板图像。
23.如权利要求22所述的联合标定装置，其中，所述联合获取单元，还用于设计一预定运动轨迹并编码至一机械臂，以通过该机械臂按照该预定运动轨迹移动该视觉惯性联合装置，以在各个方向上激活该视觉惯性联合装置的加速度，使得该惯性测量单元在各个方向上均得到激活。
24.如权利要求23所述的联合标定装置，其中，所述视觉位姿获得单元，还用于：
基于该图像数据序列，检测出该图像数据序列中每该图像数据的角点坐标；
基于每该图像数据的该角点坐标和一虚拟标板的角点坐标，求解出在每图像时间戳时该虚拟标板和该图像采集单元的一图像平面之间的单应性矩阵；以及
通过分解在每该图像时间戳时的该单应性矩阵，获得在每该图像时间戳时该图像采集单元相对于该虚拟标板的位姿，以获得该视觉位姿序列，其中该视觉位姿序列包括在每该图像时间戳时该图像采集单元相对于该虚拟标板的位姿。
25.如权利要求24所述的联合标定装置，其中，所述视觉位姿获得单元，还用于基于输入的标板参数，计算出该虚拟标板的该角点坐标。
26.如权利要求25所述的联合标定装置，其中，所述样条曲线拟合单元，还用于：
通过将该视觉位姿序列代入一样条曲线段拟合模型，得到一线性方程组；
利用线性求解库求解该线性方程组，获得该样条曲线段拟合模型的样条参数；以及
在获得该样条参数之后，通过对该样条曲线段拟合模型进行处理，求解出该视觉计算数据序列，其中该视觉计算数据序列包括一组与该惯性时间戳相对应的主动旋转角速度。
27.如权利要求26所述的联合标定装置，其中，所述样条曲线拟合单元，还用于：
通过求解该样条曲线段拟合模型的一阶导，获得在每该惯性时间戳时的被动旋转角速度，其中该被动旋转角速度为该图像采集单元绕着该虚拟标板的体坐标系旋转的角速度；和
将该被动旋转角速度转化为该主动旋转角速度，其中该主动旋转角速度为在该惯性时间戳时该图像采集单元绕着该图像采集单元的体坐标系旋转的角速度。
28.如权利要求27所述的联合标定装置，其中，所述互相关程度分析单元，还用于：
求取该惯性数据序列的每该测量角速度和该视觉计算数据序列的每该主动旋转角速度之间的相关值，以获得一互相关系数序列，其中该互相关系数序列包括一组与相关系数相对应的该相关值；
通过比较该互相关系数序列中所有的该相关值的大小，获得一最佳相关系数，其中该最佳相关系数与最大的该相关值相对应；以及
基于该最佳相关系数，求解出该图像采集单元与该惯性测量单元之间的时延值，以作为该时延初值。
29.如权利要求28所述的联合标定装置，其中，所述最小化误差分析单元，还用于：
将该视觉计算数据序列的每该主动旋转角速度转化为绕着该惯性测量单元的体坐标系旋转的角速度，以获得被转化的视觉计算数据序列；
对该惯性数据序列的每该测量角速度与该被转化的视觉计算数据序列中相应的转化角速度作差，以获得每该测量角速度与相应的该转化角速度之间的误差项；以及
利用线性求解库，求解出与该最小化误差相对应的该惯性测量单元到该图像采集单元的旋转值，以作为该图像采集单元和该惯性测量单元之间的该位姿初值的旋转初值。
30.如权利要求20至29中任一所述的联合标定装置，还包括一捆集优化单元，用于基于该时延初值和该位姿初值，通过捆集优化获得该图像采集单元和该惯性测量单元之间的最优时延和最优位姿。
31.如权利要求30所述的联合标定装置，其中，所述捆集优化单元，还用于：
基于该惯性时间戳和该时延初值，获得该虚拟标板到该惯性测量单元的位姿；
基于该虚拟标板到该惯性测量单元的该位姿和该时延初值，通过观测模型对该虚拟标板的世界角点坐标变换处理，获得新标板图像的角点坐标；以及
通过误差模型求解出该新标板图像的该角点坐标与该惯性数据序列中该标板图像的该角点坐标之间的误差，捆集优化所有的该误差，以得到该最优时延和该最优位姿。
32.如权利要求31所述的联合标定装置，还包括一相机参数标定单元，用于通过标定该图像采集单元，获得该图像采集单元的相机参数。
33.如权利要求32所述的联合标定装置，其中，所述相机参数标定单元，还用于通过双目标定该图像采集单元，获得该图像采集单元的该相机参数的内参和外参。
34.一电子设备，其特征在于，包括
至少一处理器；以及
至少一存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至19中任一项所述的联合标定方法。
35.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行如权利要求1至19中任一项所述的联合标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811036954.2A CN110880189B (zh) | 2018-09-06 | 2018-09-06 | 联合标定方法及其联合标定装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811036954.2A CN110880189B (zh) | 2018-09-06 | 2018-09-06 | 联合标定方法及其联合标定装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110880189A true CN110880189A (zh) | 2020-03-13 |
| CN110880189B CN110880189B (zh) | 2022-09-09 |
Family
ID=69727133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811036954.2A Active CN110880189B (zh) | 2018-09-06 | 2018-09-06 | 联合标定方法及其联合标定装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110880189B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111537995A (zh) * | 2020-05-19 | 2020-08-14 | 北京爱笔科技有限公司 | 一种时延获取方法、装置及电子设备 |
| CN111551191A (zh) * | 2020-04-28 | 2020-08-18 | 浙江商汤科技开发有限公司 | 传感器外参数标定方法及装置、电子设备和存储介质 |
| CN111739102A (zh) * | 2020-05-27 | 2020-10-02 | 杭州易现先进科技有限公司 | 电子设备的内外参标定方法、装置和计算机设备 |
| CN111986265A (zh) * | 2020-08-04 | 2020-11-24 | 禾多科技（北京）有限公司 | 用于标定相机方法、装置、电子设备和介质 |
| CN112362084A (zh) * | 2020-11-23 | 2021-02-12 | 北京三快在线科技有限公司 | 一种数据标定方法、装置及数据标定*** |
| CN113298881A (zh) * | 2021-05-27 | 2021-08-24 | 中国科学院沈阳自动化研究所 | 单目相机-imu-机械臂的空间联合标定方法 |
| CN113587924A (zh) * | 2021-06-16 | 2021-11-02 | 影石创新科技股份有限公司 | 拍摄***标定方法、装置、计算机设备和存储介质 |
| CN113765611A (zh) * | 2020-06-03 | 2021-12-07 | 杭州海康威视数字技术股份有限公司 | 时间戳确定方法及相关设备 |
| CN114025158A (zh) * | 2022-01-07 | 2022-02-08 | 浙江大华技术股份有限公司 | 延迟时间确定方法、装置、图像采集设备和存储介质 |
| CN114979456A (zh) * | 2021-02-26 | 2022-08-30 | 影石创新科技股份有限公司 | 视频数据的防抖处理方法、装置、计算机设备和存储介质 |
| WO2022193318A1 (zh) * | 2021-03-19 | 2022-09-22 | 深圳市大疆创新科技有限公司 | 外参标定方法、装置、可移动平台及计算机可读存储介质 |
| CN115311353A (zh) * | 2022-08-29 | 2022-11-08 | 上海鱼微阿科技有限公司 | 一种多传感器多手柄控制器图优化紧耦合追踪方法及*** |
| WO2023109249A1 (zh) * | 2021-12-13 | 2023-06-22 | 成都拟合未来科技有限公司 | 一种imu数据与视频数据对齐的方法及*** |
| WO2023155434A1 (zh) * | 2022-02-18 | 2023-08-24 | 上海商汤智能科技有限公司 | 位姿预测方法及装置、设备、介质、计算机程序、计算机程序产品 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105698765A (zh) * | 2016-02-22 | 2016-06-22 | 天津大学 | 双imu单目视觉组合测量非惯性系下目标物位姿方法 |
| CN106548475A (zh) * | 2016-11-18 | 2017-03-29 | 西北工业大学 | 一种适用于空间非合作自旋目标运动轨迹的预测方法 |
| CN106679648A (zh) * | 2016-12-08 | 2017-05-17 | 东南大学 | 一种基于遗传算法的视觉惯性组合的slam方法 |
| CN107255476A (zh) * | 2017-07-06 | 2017-10-17 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
| CN107888828A (zh) * | 2017-11-22 | 2018-04-06 | 网易（杭州）网络有限公司 | 空间定位方法及装置、电子设备、以及存储介质 |
| CN108051002A (zh) * | 2017-12-04 | 2018-05-18 | 上海文什数据科技有限公司 | 基于惯性测量辅助视觉的运输车空间定位方法及*** |
| CN108253964A (zh) * | 2017-12-29 | 2018-07-06 | 齐鲁工业大学 | 一种基于时延滤波器的视觉/惯性组合导航模型构建方法 |
-
2018
- 2018-09-06 CN CN201811036954.2A patent/CN110880189B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105698765A (zh) * | 2016-02-22 | 2016-06-22 | 天津大学 | 双imu单目视觉组合测量非惯性系下目标物位姿方法 |
| CN106548475A (zh) * | 2016-11-18 | 2017-03-29 | 西北工业大学 | 一种适用于空间非合作自旋目标运动轨迹的预测方法 |
| CN106679648A (zh) * | 2016-12-08 | 2017-05-17 | 东南大学 | 一种基于遗传算法的视觉惯性组合的slam方法 |
| CN107255476A (zh) * | 2017-07-06 | 2017-10-17 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
| CN107888828A (zh) * | 2017-11-22 | 2018-04-06 | 网易（杭州）网络有限公司 | 空间定位方法及装置、电子设备、以及存储介质 |
| CN108051002A (zh) * | 2017-12-04 | 2018-05-18 | 上海文什数据科技有限公司 | 基于惯性测量辅助视觉的运输车空间定位方法及*** |
| CN108253964A (zh) * | 2017-12-29 | 2018-07-06 | 齐鲁工业大学 | 一种基于时延滤波器的视觉/惯性组合导航模型构建方法 |
Non-Patent Citations (2)
| Title |
|---|
| MARY B.ALATISE ET AL.: ""Pose Estimation of a Mobile Robot Based on Fusion of IMU Data and Vision Data Using an Extended Kalman Filter"", 《SENSORS(BASEL)》 * |
| 郭力 等: ""基于单目视觉的室内微型飞行器位姿估计与环境构建"", 《南京航空航天大学学报》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111551191A (zh) * | 2020-04-28 | 2020-08-18 | 浙江商汤科技开发有限公司 | 传感器外参数标定方法及装置、电子设备和存储介质 |
| CN111551191B (zh) * | 2020-04-28 | 2022-08-09 | 浙江商汤科技开发有限公司 | 传感器外参数标定方法及装置、电子设备和存储介质 |
| CN111537995B (zh) * | 2020-05-19 | 2022-08-12 | 北京爱笔科技有限公司 | 一种时延获取方法、装置及电子设备 |
| CN111537995A (zh) * | 2020-05-19 | 2020-08-14 | 北京爱笔科技有限公司 | 一种时延获取方法、装置及电子设备 |
| CN111739102B (zh) * | 2020-05-27 | 2023-07-21 | 杭州易现先进科技有限公司 | 电子设备的内外参标定方法、装置和计算机设备 |
| CN111739102A (zh) * | 2020-05-27 | 2020-10-02 | 杭州易现先进科技有限公司 | 电子设备的内外参标定方法、装置和计算机设备 |
| CN113765611A (zh) * | 2020-06-03 | 2021-12-07 | 杭州海康威视数字技术股份有限公司 | 时间戳确定方法及相关设备 |
| CN111986265B (zh) * | 2020-08-04 | 2021-10-12 | 禾多科技（北京）有限公司 | 用于标定相机方法、装置、电子设备和介质 |
| CN111986265A (zh) * | 2020-08-04 | 2020-11-24 | 禾多科技（北京）有限公司 | 用于标定相机方法、装置、电子设备和介质 |
| CN112362084A (zh) * | 2020-11-23 | 2021-02-12 | 北京三快在线科技有限公司 | 一种数据标定方法、装置及数据标定*** |
| CN114979456B (zh) * | 2021-02-26 | 2023-06-30 | 影石创新科技股份有限公司 | 视频数据的防抖处理方法、装置、计算机设备和存储介质 |
| CN114979456A (zh) * | 2021-02-26 | 2022-08-30 | 影石创新科技股份有限公司 | 视频数据的防抖处理方法、装置、计算机设备和存储介质 |
| WO2022179555A1 (zh) * | 2021-02-26 | 2022-09-01 | 影石创新科技股份有限公司 | 视频数据的防抖处理方法、装置、计算机设备和存储介质 |
| WO2022193318A1 (zh) * | 2021-03-19 | 2022-09-22 | 深圳市大疆创新科技有限公司 | 外参标定方法、装置、可移动平台及计算机可读存储介质 |
| CN113298881A (zh) * | 2021-05-27 | 2021-08-24 | 中国科学院沈阳自动化研究所 | 单目相机-imu-机械臂的空间联合标定方法 |
| CN113298881B (zh) * | 2021-05-27 | 2023-09-12 | 中国科学院沈阳自动化研究所 | 单目相机-imu-机械臂的空间联合标定方法 |
| CN113587924A (zh) * | 2021-06-16 | 2021-11-02 | 影石创新科技股份有限公司 | 拍摄***标定方法、装置、计算机设备和存储介质 |
| CN113587924B (zh) * | 2021-06-16 | 2024-03-29 | 影石创新科技股份有限公司 | 拍摄***标定方法、装置、计算机设备和存储介质 |
| WO2023109249A1 (zh) * | 2021-12-13 | 2023-06-22 | 成都拟合未来科技有限公司 | 一种imu数据与视频数据对齐的方法及*** |
| CN114025158A (zh) * | 2022-01-07 | 2022-02-08 | 浙江大华技术股份有限公司 | 延迟时间确定方法、装置、图像采集设备和存储介质 |
| WO2023155434A1 (zh) * | 2022-02-18 | 2023-08-24 | 上海商汤智能科技有限公司 | 位姿预测方法及装置、设备、介质、计算机程序、计算机程序产品 |
| CN115311353A (zh) * | 2022-08-29 | 2022-11-08 | 上海鱼微阿科技有限公司 | 一种多传感器多手柄控制器图优化紧耦合追踪方法及*** |
| CN115311353B (zh) * | 2022-08-29 | 2023-10-10 | 玩出梦想(上海)科技有限公司 | 一种多传感器多手柄控制器图优化紧耦合追踪方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110880189B (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110880189B (zh) | 联合标定方法及其联合标定装置和电子设备 | |
| US11285613B2 (en) | Robot vision image feature extraction method and apparatus and robot using the same | |
| US20210190497A1 (en) | Simultaneous location and mapping (slam) using dual event cameras | |
| CN107747941B (zh) | 一种双目视觉定位方法、装置及*** | |
| CN111415387B (zh) | 相机位姿确定方法、装置、电子设备及存储介质 | |
| WO2019170166A1 (zh) | 深度相机标定方法以及装置、电子设备及存储介质 | |
| US10109104B2 (en) | Generation of 3D models of an environment | |
| JP6734940B2 (ja) | 三次元計測装置 | |
| WO2021043213A1 (zh) | 标定方法、装置、航拍设备和存储介质 | |
| CN109506642A (zh) | 一种机器人多相机视觉惯性实时定位方法及装置 | |
| CN111295714B (zh) | 在虚拟环境中使用高精度传感器数据来训练低精度传感器数据以进行对象定位的双精度传感器*** | |
| CN111983620B (zh) | 一种面向水下机器人搜寻探摸的目标定位方法 | |
| JP2022510418A (ja) | 時間同期処理方法、電子機器及び記憶媒体 | |
| JP2011027623A (ja) | 位置姿勢計測方法及び装置 | |
| CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
| WO2019191288A1 (en) | Direct sparse visual-inertial odometry using dynamic marginalization | |
| CN113516692A (zh) | 一种多传感器融合的slam方法和装置 | |
| CN110720113A (zh) | 一种参数处理方法、装置及摄像设备、飞行器 | |
| JP7166446B2 (ja) | ロボットの姿勢を推定するシステムおよび方法、ロボット、並びに記憶媒体 | |
| CN110428461B (zh) | 结合深度学习的单目slam方法及装置 | |
| CN113790711B (zh) | 一种无人机低空飞行位姿无控多视测量方法及存储介质 | |
| CN110415329B (zh) | 三维建模装置及应用于其的校准方法 | |
| KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
| WO2020070856A1 (ja) | 座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム | |
| CN115311353B (zh) | 一种多传感器多手柄控制器图优化紧耦合追踪方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |