CN103278177A

CN103278177A - 基于摄像组网测量的惯性测量组合标定方法

Info

Publication number: CN103278177A
Application number: CN2013101535983A
Authority: CN
Inventors: 张红良; 张小虎; 朱宪伟; 于起峰
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2013-04-27
Filing date: 2013-04-27
Publication date: 2013-09-04
Anticipated expiration: 2033-04-27
Also published as: CN103278177B

Abstract

本发明提出了一种基于摄像组网测量标定惯性测量组合（Inertial Measurement Unit，IMU）的方法。本方法通过构建摄像机测量网络，建立与当地地理坐标系相关的摄像测量坐标系，在IMU载体表面设置合作标志，利用摄像机跟踪测量合作标志，计算得到IMU的位置姿态，进而得到重力加速度和转动角度或角速度输入激励在IMU载体系的投影，通过对比此输入激励与IMU中加速度计和陀螺的输出，优化计算IMU标定参数，实现IMU标定。本方法利用摄像组网***测量IMU的输入激励，取代了转台在传统IMU标定中的输入激励测量作用，可作为一种IMU无转台标定方法。本方法成本低，易于布设，在IMU现场标定和低成本惯导***IMU的标定中具有优势。

Description

基于摄像组网测量的惯性测量组合标定方法

技术领域

本发明涉及惯性导航、计算机视觉技术领域，具体指利用摄像机网络测量惯性测量组合（Inertial Measurement Unit，IMU）的加速度和转动输入激励，标定IMU参数的方法。

背景技术

目前IMU常用的标定方法是以转台为核心的标定方法，存在诸多弊端，如标定一般只能在精密的实验室进行，条件要求高，标定过程复杂，难以用于惯导***现场标定；标定费用较高，甚至数倍于低成本惯性器件（如MEMS IMU）的研制生产成本。

目前开展的基于无转台或低精度转台的IMU标定方法主要分为两类：模观测标定方法和***级标定方法。这类IMU标定方法的研究还待进一步深入，还不能完全适应现场标定和低精度IMU标定的需求，实际***中的应用不多。

利用摄像机组网对目标成像，通过分析目标图像特征，对目标形貌、目标运动或自身运动进行测量，具有非接触、高精度、便于进行动态测量等诸多优势，已经广泛应用于各种物体的姿态、位置精密测量和运动测量。

利用摄像机测量标定IMU的相关研究极为稀少，目前仅搜索到三篇相关文献，一篇是Kim等利用光学跟踪***跟踪测量安装在IMU上的LED灯，测量IMU运动的角速度和加速度，优化估计IMU的参数；另两篇是哈尔滨工业大学陈杰春等提出的利用双向准直激光束在屏幕上生成指示光斑，利用CMOS高速摄像机拍摄光斑求解世界系与载体系的位姿关系，计算IMU运动角速度和加速度，用于标定IMU参数。本发明提出的基于摄像组网测量标定IMU是一种较新的方法。

发明内容

本发明提出了一种基于摄像组网测量标定惯性测量组合（IMU）的方法，原理示意图如图1所示，构建摄像机测量网络，标定摄像机，建立与当地地理坐标系相关的摄像测量坐标系，在惯性测量组合（IMU）载体表面设置合作标志，利用摄像机跟踪测量合作标志，计算得到IMU的位置姿态，进而得到重力加速度和转动角度或角速度输入激励在IMU载体系的投影，通过对比此输入激励与IMU中加速度计和陀螺的输出，优化计算IMU标定参数，实现IMU标定。

本发明利用摄像机组网实现IMU输入激励测量，实现IMU标定，具体包含如下关键步骤：

1) 构建摄像组网测量***。在待标定的IMU周围架设多台摄像机，合理设置摄像机数量、布局和视场，保证标定过程中IMU载体上的每个合作标志有至少两台摄像机可以同时看到，以满足摄像交会测量条件。在IMU载体表面布设合作标志，合作标志在IMU载体坐标系的位置精确已知，采用易于在图像中提取和精确定位的可视化标志（如十字丝、对角标志或LED灯等）。组网摄像机采用同步触发模式，对IMU同步采集图像，IMU中加速度计和陀螺的输出也进行同步采集，以用于标定计算。

2) 标定摄像测量***。利用平面靶板、铅垂线、控制点等标定摄像组网测量***相关参数（包括摄像机内参数、多台摄像机间的位姿关系等），建立与当地地理坐标系相关的摄像测量坐标系，能够表征当地重力方向、当地水平面、地球自转方向等。

3) IMU加速度激励摄像组网测量。在静态条件下IMU的加速度输入为重力加速度，将IMU静态放置，利用组网摄像机对IMU成像，提取图像中IMU载体表面布设的合作标志，双目或多目交会得到合作标志在摄像测量坐标系内的坐标表示，当测量三个以上不共线合作标志时，可根据合作标志在IMU载体系的坐标，计算得到IMU载体坐标系相对摄像测量坐标系的位置、姿态关系。由于重力方向在摄像测量坐标系的表示已知，因此可得到重力在IMU载体坐标系的三维矢量表示，即测量得到IMU的加速度输入激励。

4）IMU转动激励摄像组网测量。利用组网摄像机对IMU实时同步成像，动态跟踪测量IMU载体表面布设的合作标志，双目或多目交会得到每个成像时刻合作标志在摄像测量坐标系内的坐标表示，当每个时刻测量三个以上不共线合作标志时，可计算得到该时刻IMU载体坐标系相对摄像测量坐标系的位置、姿态关系。利用不同时刻间的IMU载体的实时姿态变化得到IMU的转动角度或角速度。根据IMU载体系和摄像测量坐标系的实时位姿关系，得到IMU载体坐标系表示的转动角度或角速度矢量，即测量得到IMU的转动输入激励。

5）IMU标定参数优化解算。优化设计IMU的静态放置位置和转动顺序，利用步骤3)、4)的方法测量IMU多个静态位置、多次转动的输入激励。在测量IMU加速度激励和转动激励输入的同时，同步采集IMU中加速度计和陀螺的测量输出。比较IMU的输入和输出，根据IMU输入输出模型和测量误差规律，优化计算IMU各标定参数，实现IMU的标定。

本发明可以达到以下的技术效果：

本发明将摄像测量技术应用于IMU标定领域，提供了IMU标定的新思路，创新了IMU标定模式。利用摄像组网***测量IMU的输入激励，取代了转台在传统IMU标定中的输入激励测量作用，因此本发明可作为一种IMU无转台标定方法。与高精度转台相比，本发明的摄像组网测量***成本低，易于布设，本发明在IMU现场标定和低成本惯导***IMU的标定中具有优势。

附图说明

图1基于摄像组网测量的IMU标定***示意图，

图2利用铅垂线和控制点建立摄像测量IMU标定坐标系示意图，

图3 IMU加速度激励摄像组网测量示意图，

图4 IMU转动激励摄像组网测量示意图。

具体实施方式

1、摄像测量IMU标定坐标系的建立

摄像测量IMU标定坐标系建立是通过标定摄像机网络，建立与当地地理坐标系（n系）相关的摄像测量坐标系（以下称做m系），利用摄像机表征水平基准、重力方向等关键物理量。

如图2所示，利用铅垂线将重力方向可视化，为增强可视化效果，可以将悬垂线涂上颜色、在悬垂线上作标志或采用LED线灯作悬垂线。利用铅垂线可建立水平面-重力方向坐标系。若有北向基准，可利用全站仪等确定控制点与北向基准间的关系，从而将当地地理坐标系通过铅垂线和控制点可视化，用于标定摄像机网络。对于MEMS IMU标定，一般地球自转的影响可忽略，则可以不用北向基准，建立水平面-重力方向坐标系为IMU标定坐标系。

由于摄像测量IMU标定坐标系的X轴、Y轴在当地水平面内，Z轴与重力方向平行。重力方向单位矢量在IMU标定坐标系内的坐标为

，其中g^m为当地重力加速度在IMU标定坐标系的表示，g=|g^m|为重力加速度的大小。

2、IMU加速度激励摄像组网测量

静态条件下，IMU的加速度激励为重力。将IMU静态放置，则IMU测量满足

其中

为IMU载体坐标系（b系）与摄像测量坐标系间（m系）的姿态转换矩阵，f^b为IMU的比力测量。

IMU加速度计组合标定需已知比力f^b，从公式(1)可知，若能够测量得到IMU的摆放姿态，即IMU载体系于摄像测量坐标系建的姿态转换矩阵

，就可以测量得到f^b。

如图3所示，在IMU载体表面布设3个以上非共线特征点，特征点在IMU载体坐标系中的位置坐标已知，设分别为

（j=1,2,3…），利用摄像机交会测量得到这些特征点在摄像测量坐标系（即IMU标定坐标系）的坐标，设分别为

（j=1,2,3…），设IMU载体坐标系原点O_b在摄像测量坐标系中的位置为

，则有

利用3个以上非共线特征点的坐标表示

、（j=1,2,3…），根据公式(2)可以求解得到

和

。

根据IMU标定坐标系的建立方法，重力加速度在摄像测量坐标系的表示为

根据(1)、(3)可知，IMU的比力输入为

即

3、IMU转动激励摄像组网测量

如图4所示，IMU从位置1转动到位置2，载体坐标系从b₁变到b₂。在IMU载体表面布设3个以上非共线合作标志，利用摄像机交会测量这些合作标志的位置坐标。设位置1时，合作标志在摄像测量坐标系内的坐标为

（j=1,2,3…），转到位置2后，合作标志在摄像测量坐标系内的坐标为

（j=1,2,3…）。合作标志在IMU载体坐标系内的坐标为（j=1,2,3…）已知，则有

其中

、

分别为载体坐标系b₁、b₂到摄像测量坐标系m的姿态转换矩阵，

、

分别为载体坐标系b₁、b₂的原点在摄像测量坐标系中的位置矢量。

根据公式(5)，利用已知的坐标

（j=1,2,3…）和已测量的坐标

、

（j=1,2,3…）可以求得

、

和

、

。得到IMU的转动前后姿态转换矩阵为

记

，则对应四元数可写成

其中μ为旋转角度矢量，μ=|μ|为旋转角度大小。根据公式(7)可得到位置1到位置2旋转角度矢量μ。

采用高速摄像机拍摄IMU的连续旋转，则相邻两帧间的时间很短，IMU转动角度很小，相邻两帧间的旋转角度矢量μ近似为在载体系内的表示μ^b，瞬时旋转角速度可近似为

ω^b(t)=μ^b/τ （8）

其中τ为摄像测量相邻两帧成像间的时间间隔。经历一段时间T的旋转后，IMU总的旋转角度矢量为

对于MEMS IMU标定，可以不考虑地球自转角速度的影响，则陀螺角速度输入

满足

对于高精度IMU标定，还须考虑地球自转角速度的影响，则

4、IMU标定参数计算

若IMU采用如下一阶输入输出模型：

其中，f^b是比力矢量在IMU载体坐标系b系的表示，

为输入角速度矢量在b系的表示， N^a是单位时间的加速度计脉冲输出，N^g是单位时间的陀螺脉冲输出， K^a、K^g分别表示加速度计和陀螺的刻度因子和安装关系矩阵，f₀、ω₀是陀螺和加速度计的零偏，δ_f和δ_ω是噪声部分，一般建模成白噪声。

根据以上介绍的方法，可以利用摄像测量***测量IMU多个位置的比力输入(f^b)_k（k=1,2,…）和多次转动的角速度输入

（k=1,2,…），根据加速度计和陀螺的测量输出，可利用最小二乘法等方法优化求解得到K^a、K^g和f₀、ω₀，从而实现IMU标定参数解算。

若IMU采用其他输入输出模型，则对应根据测量的输入激励和IMU加速度计和陀螺的输出，优化求解模型参数，实现IMU标定。标定计算采用合适的参数优化解算方法，抑制相关误差，提高标定精度。

Claims

1.基于摄像组网测量的惯性测量组合标定方法，其特征在于，构建摄像机测量网络，建立与当地地理坐标系相关的摄像测量坐标系，在惯性测量组合（Inertial Measurement Unit，IMU）载体表面设置合作标志，利用摄像机跟踪测量合作标志，计算得到IMU的位置姿态，进而得到重力加速度和转动角度或角速度输入激励在IMU载体系的投影，通过对比此输入激励与IMU中加速度计和陀螺的输出，优化计算IMU标定参数，实现IMU标定，

具体包含如下步骤：

1) 构建摄像组网测量***：在待标定的IMU周围架设多台摄像机，保证标定过程中IMU载体上的每个合作标志有至少两台摄像机可以同时看到，在IMU载体表面布设合作标志，合作标志在IMU载体坐标系的位置精确已知，组网摄像机采用同步触发模式，对IMU同步采集图像，IMU中加速度计和陀螺的输出也进行同步采集，用于标定计算；

2) 标定摄像测量***：利用平面靶板、铅垂线、控制点标定摄像组网测量***相关参数，包括摄像机内参数、多台摄像机间的位姿关系，建立与当地地理坐标系相关的摄像测量坐标系，表征当地重力方向、当地水平面、地球自转方向；

3) IMU加速度激励摄像组网测量：将IMU静态放置，利用组网摄像机对IMU成像，提取图像中IMU载体表面布设的合作标志，双目或多目交会得到合作标志在摄像测量坐标系内的坐标表示，当测量三个以上不共线合作标志时，根据合作标志在IMU载体系的坐标，计算得到IMU载体坐标系相对摄像测量坐标系的位置、姿态关系，重力方向在摄像测量坐标系的表示已知，可得到重力在IMU载体坐标系的三维矢量表示，即测量得到IMU的加速度输入激励；

4）IMU转动激励摄像组网测量：利用组网摄像机对IMU实时同步成像，动态跟踪测量IMU载体表面布设的合作标志，双目或多目交会得到每个成像时刻合作标志在摄像测量坐标系内的坐标表示，当每个时刻测量三个以上不共线合作标志时，计算得到该时刻IMU载体坐标系相对摄像测量坐标系的位置、姿态关系，利用不同时刻间的IMU载体的实时姿态变化得到IMU的转动角度或角速度，根据IMU载体系和摄像测量坐标系的实时位姿关系，得到IMU载体坐标系表示的转动角度或角速度矢量，即测量得到IMU的转动输入激励；

5）IMU标定参数优化解算：利用步骤3)、4)的方法测量IMU多个静态位置、多次转动的输入激励，在测量IMU加速度激励和转动激励输入的同时，同步采集IMU中加速度计和陀螺的测量输出，比较IMU的输入和输出，根据IMU输入输出模型和测量误差规律，优化计算IMU各标定参数，实现IMU的标定。

2.根据权利要求1所述的基于摄像组网测量的惯性测量组合标定方法，其特征在于，所述合作标志采用易于在图像中提取和精确定位的可视化标志，如十字丝、对角标志或LED灯。

3.根据权利要求1所述的基于摄像组网测量的惯性测量组合标定方法，其特征在于，所述标定摄像测量***，具体建立过程为：通过标定摄像机网络，建立与当地地理坐标系n系相关的摄像测量坐标系m系，利用摄像机表征水平基准、重力方向关键物理量，利用铅垂线将重力方向可视化，建立水平面-重力方向坐标系，若有北向基准，可利用全站仪确定控制点与北向基准间的关系，将当地地理坐标系通过铅垂线和控制点可视化，用于标定摄像机网络。

4.根据权利要求1所述的基于摄像组网测量的惯性测量组合标定方法，其特征在于，所述IMU加速度激励摄像组网测量，具体过程为：

将IMU静态放置，IMU的加速度激励为重力加速度，IMU测量满足

其中

为IMU载体坐标系b系与摄像测量坐标系m系间的姿态转换矩阵，f^b为IMU的比力测量，g^m为重力加速度在摄像测量坐标系，即IMU标定坐标系的表示；

在IMU载体表面布设3个以上非共线特征点，特征点在IMU载体坐标系中的位置坐标已知，设分别为

（j=1,2,3…），利用摄像机交会测量得到这些特征点在摄像测量坐标系的坐标，设分别为

（j=1,2,3…），设IMU载体坐标系原点O_b在摄像测量坐标系中的位置为，则有

利用3个以上非共线特征点的坐标表示

、（j=1,2,3…），求解得到

和

；

根据IMU标定坐标系的建立方法，重力加速度在摄像测量坐标系的表示g^m已知，因此可以测量得到IMU的比力输入

5.根据权利要求1所述的基于摄像组网测量的惯性测量组合标定方法，其特征如下：所述IMU转动激励摄像组网测量，具体过程为：

将IMU从位置1转动到位置2，载体坐标系从b₁变到b₂，在IMU载体表面布设3个以上非共线合作标志，利用摄像机交会测量这些合作标志的位置坐标，设位置1时，合作标志在摄像测量坐标系内的坐标为（j=1,2,3…），转到位置2后，合作标志在摄像测量坐标系内的坐标为

（j=1,2,3…），合作标志在IMU载体坐标系内的坐标为

（j=1,2,3…）已知，则有

其中

、分别为载体坐标系b₁、b₂到摄像测量坐标系m的姿态转换矩阵，

、

分别为载体坐标系b₁、b₂的原点在摄像测量坐标系中的位置矢量；

利用已知的坐标

（j=1,2,3…）和已测量的坐标

、

（j=1,2,3…）求得

、

和

、

，IMU的转动前后姿态转换矩阵为

设

对应的位置1到位置2的旋转角度矢量为μ，采用高速摄像机拍摄IMU的连续旋转，则相邻两帧间的时间很短，IMU转动角度很小，相邻两帧间的旋转角度矢量μ近似为在载体系内的表示μ^b，瞬时旋转角速度近似为

ω^b(t)=μ^b/τ （6）

其中τ为摄像测量相邻两帧成像间的时间间隔，经历一段时间T的旋转后，IMU总的旋转角度矢量为

若不考虑地球自转角速度的影响，则陀螺角速度输入

满足

若考虑地球自转角速度的影响，则

6.根据权利要求1所述的基于摄像组网测量的惯性测量组合标定方法，其特征在于，所述IMU标定参数优化解算，具体过程为：若IMU采用如下一阶输入输出模型：

其中，f^b为b系表示的比力矢量，

为b系表示的输入角速度矢量， N^a是单位时间的加速度计脉冲输出，N^g是单位时间的陀螺脉冲输出，K^a、K^g分别表示加速度计和陀螺的刻度因子和安装关系矩阵，f₀、ω₀是陀螺和加速度计的零偏， δ_f和δ_ω是噪声部分，利用摄像测量***测量IMU多个位置的比力输入(f^b)_k（k=1,2,…）和多次转动的角速度输入

（k=1,2,…），根据加速度计和陀螺的测量输出，优化求解得到K^a、K^g和f₀、ω₀，实现IMU标定参数解算。

7.根据权利要求1所述的基于摄像组网测量的惯性测量组合标定方法，其特征在于，IMU采用其他输入输出模型，则对应根据测量的输入激励和IMU加速度计和陀螺的输出，优化求解模型参数，实现IMU标定。