CN111811421B - 一种高速实时形变监测方法及*** - Google Patents

Abstract

本发明公开了一种高速实时形变监测方法及***。通过将高频、低误差的惯性传感器与低频、无偏置的基于视觉的相对姿态估计相融合输入到高效扩展卡尔曼滤波器(EKF)中，实现了两个像机‑惯性测量单元装置间相对位姿的高速实时估计。基于此对大型结构待监测点进行交会测量，将待监测点形变数据统一到指定的全局坐标系下，实现其形变自动监测。相比之前的方法，本发明提出的方法，测量设备成本低廉且测量精度高、频率高、速度快，具有重要的理论研究意义和广泛的应用前景。

Description

一种高速实时形变监测方法及***

技术领域

本发明属于形变监测领域，尤其涉及一种高速实时形变监测方法及***。

背景技术

大型结构的形变测量是其动态性能实验、质量检验和安全监测的关键一环，在实际中具有重要应用价值，例如，大型飞行器飞行试验过程中要求在线实时监测机体的形变。大型结构的形变测量主要面临以下问题：(1).由于大型结构自身及其周围地基随着时间推移或者外部施加作用下均可能存在变形，导致安装在其结构或周围地基上的双目像机之间的安装关系一直在变化，难以直接实施交会测量，故必须在形变监测过程中实时标定像机之间的安装关系；(2).大型结构的形变测量同时要求测量的频率高，采用高速像机的图像数据处理量大，对平台计算处理能力要求较高，而野外实验中监测平台通常计算能力有限。

目前，形变测量方法有接触式的和非接触等方法。接触式测量方法会对测量对象本身造成干扰，而且测量***布置繁琐、测量点有限，无法满足对大型结构形貌和变形进行全场、高精度测量以及动态监测的需求。GPS形变监测虽能较好地解决这一问题，但是又具有较高成本和苛刻条件：如每个观测点都需要布设接收机天线；测量必须在GPS信号较好的条件下。非接触测量方法主要是摄影测量和摄像测量方法，国防科技大学于起峰院士提出的串联像机网络、串并联像机网络的测量方法，利用测量单元内部的固连约束和像机成像的几何约束关系，解算待测点在全局坐标系的动态形变数据，较好的解决了问题(1)，但是其测量需要用到多组像机增大了控制误差传递方面的挑战，而且测量频率受制于平台的处理能力。

发明内容

本发明要解决的技术问题是怎样在现有平台计算处理性能条件下，快速准确的在线对大型结构进行测量，提出了一种高速实时形变监测方法及***。

为解决该问题，本发明所采用的技术方案是：

一种高速实时形变监测方法，包括以下步骤：

步骤1：根据大型结构形变监测的现场要求，设立像机-惯性测量单元装置对构成双目视觉测量，选取某一测量单元装置坐标系作为全局坐标系；

步骤2：所述测量单元装置对同步采集待测目标的图像、测量单元装置的姿态角和加速度信息作为测量数据；

步骤3：根据步骤2中同步采集的测量数据，以及所述测量单元装置安装初始时刻两组所述测量单元装置之间的相对位姿构建扩展卡尔曼滤波预测模型，实时估计出两组测量单元装置之间的相对位置和姿态；

步骤4：根据实时估计出的两组测量单元装置之间的相对位置和姿态，通过双目或者多目交会测量待测点在所述全局坐标系中的三维坐标，获得所有待测点在全局坐标系下的动态形变数据；

本发明还提供了一种高速实时形变监测***，包括处理器，以及与所述处理器连接的存储器，所述存储器存储有一种高速实时形变监测方法的程序，所述程序执行时实现上述方法的步骤。

与现有技术相比，本发明所取得的有益效果是:

本发明一种高速实时形变监测方法通过将高频、低方差的惯性传感器与低频、无偏置的基于视觉的相对姿态估计相融合输入到高效扩展卡尔曼滤波器(EKF)中，实现测量单元装置间相对位置和姿态的高速实时估计，在得到测量单元装置件的相对位置和姿态后，选择某一测量单元坐标系作为形变监测的全局坐标系，通过双目或多目像机交会测量待监测点在该全局坐标系中的三维位置，就可以获得大型结构的连续形变数据。

本发明通过将测量数据和先验知识构建扩展卡尔曼滤波预测模型，实时估计出两组测量单元装置之间的相对位置和姿态，因此只要两个测量装置的在满足视场覆盖监测范围的条件下位置选取不限。像机和惯性测量单元融合的高速实时形变监测方法可根据工程现场情况安装测量单元，实现大型结构待测量点形变的自动监测。

本发明由于使用的是两组测量单元装置之间的相对位置和姿态，利用惯性传感器的高频、低方差特点，实现了对大型结构形变的实时、高速、自动、高精度、长时间、连续测量，并且测量设备成本低且测量精度高，速度快。

附图说明

图1为高速实时的大型结构形变测量方法流程示意图；

图2为双目视觉测量示意图；

图3为高速实时形变测量方法工作场景直观图。

具体实施方式

下面给出本发明一种高速实时形变监测方法的具体实施例，以两个测量单元监测斜拉桥沉降为例，测量核心方法流程如图1所示，工作场景直观图如图3，具体包括以下步骤：

步骤1：根据大型结构形变监测的现场要求，设立像机-惯性测量单元装置对构成双目视觉测量，选取某一测量单元装置坐标系作为全局坐标系。本实施例中的像机-惯性测量单元装置，由像机和惯性测量单元组成。所述像机和惯性测量单元在组装时像机和惯性测量单元的位置应满足两个条件：便于标定计算；重心尽量靠近(增加安装的稳定性)。本实施例中的像机沿用了摄像测量学中的习惯，侧重于动态、实时的采集图像和测量，具体类型和型号可根据实际需要和采样频率来选定。惯性测量单元则为包含了三个单轴的加速度计和三个单轴的陀螺仪，可测量物体在三维空间中的角速度和加速度的装置，具体类型和型号可根据实际需要和采样频率来选定。

如图3所示，用于沉降测量的仪器设备包括两个像机-惯性测量单元1和1*、一个合作标志2-2，测量对象为斜拉桥2，不妨取P为其上具体一待测点2-1。坐标系包括全局坐标系3、合作标志坐标系4、测量单元坐标系5，注意本实例中全局坐标系与某一测量单元坐标系一致。所述像机-惯性测量单元1和1*均包含像机1-1和惯性测量单元1-2，其中像机和惯性测量单元的安装位置可以通过标定获得，之所以标定是因为如果随意安装往往会导致计算上不必要的复杂度。

步骤2：所述测量单元装置对同步采集待测目标的图像、测量单元装置的姿态角和加速度信息作为测量数据；

步骤3：根据步骤2中同步采集的测量数据，以及所述测量单元装置安装初始时刻两组所述测量单元装置之间的相对位姿构建扩展卡尔曼滤波预测模型，实时估计出两组测量单元装置之间的相对位置和姿态；

本实施例中构建扩展卡尔曼滤波预测模型的方法是：

1)建立状态向量x；

其中，ω_i,i＝1,2表示第i个像机-惯性测量单元装置在其测量单元坐标系下的角速度；

a_i,i＝1,2表示第i个像机-惯性测量单元装置在全局坐标系下的线性加速度；

表示两个像机-惯性测量单元装置之间的相对方位的旋转Hamilton四元数,其中第一个元素是实部，剩下的元素是虚部；

v表示两个像机-惯性测量单元装置之间的相对速度；

p表示两个像机-惯性测量单元装置之间的相对位置；

2)列出状态方程：

式中，

ω'₁、ω'₂、p'、v'、a'₁、a'₂分别表示

ω₁、ω₂、p、v、a₁、a₂对时间的导数；

假设角速度ω₁,ω₂和线性加速度a₁,a₂满足独立随机的零均值高斯分布，分别表示为

为了方便计算，角速度向量改写为

C表示对应四元数

的旋转矩阵，

表示斜对称矩阵。

3)误差的状态表示；根据状态向量x，则误差状态向量表示为：

则误差状态方程更新为：

其中

为

的旋转矩阵，

表示斜对称矩阵；

字母上面的点表示对时间的导数，

表示估计状态，Δ代表一个加性误差的误差状态，δθ表示

的误差；

4)预测状态协方差：

对于连续***矩阵

对于噪声矩阵

其中

假设连续***矩阵F_c在其积分区间连续，则给定时间变化量Δt有F_d＝exp(Δt·F_c)展开为

即F_d≈I+F_cΔt，I为单位矩阵；

连续时间噪声协方差矩阵为

离散时间噪声协方差矩阵为：

则状态协方差更新为：

5)状态预测，基于上述公式，扩展卡尔曼滤波的状态预测推导结果为：

各符号中的下标k表示第k个时刻的估计值，k+1表示根据第k时刻的估计值所预测出的第k+1时刻的预测值，a_i,k表示第i个像机-惯性测量单元装置在k时刻全局坐标系下的线性加速度，ω_i,k表示表示第i个像机-惯性测量单元装置在其测量单元坐标系下的角速度。

本实施例中根据卡尔曼滤波预测模型进行实时估计两组测量单元装置之间的相对位姿的估计方法是：

步骤3.1：首先将所述测量单元装置安装的初始时刻，测量单元装置之间的相对位姿作为先验知识是已知的，通过测量惯性测量单元的姿态角和加速度信息得到测量单元装置相对位姿的测量值，用方向平移的单位向量p和表示旋转的四元数q表示；

步骤3.2：其次通过基于视觉的相对位姿估计，并融合基线的相对位姿变化误差得到测量单元装置之间融合基线和视觉的相对位姿估计值；

本实施例中基于视觉的相对位姿估计需要以下几个步骤：

步骤3.2.1：利用图像特征匹配算法在两幅影像中分别提取图像特征匹配点对；本实施例中使用的是SURF(Speeded Up Robust Features)等图像特征匹配算法进行提取。考虑到匹配的图像特征点对之间不可避免地存在误匹配点对，采用随机样本一致性RANSAC框架剔除图像误匹配点对。

步骤3.2.2：然后对提取的图像特征点对利用相对位姿估计算法确定两幅影像之间的相对位姿：表示方向平移的单位向量

和表示旋转的四元数

和

分别是基于视觉的相对姿态估计的平移方向估计值和旋转的四元数估计值，Δp_v,

分别表示平移方向和旋转的四元数对应的测量误差；

旋转的四元数误差

以一个微小的角度δθ_v近似估计，则基于视觉的相对位姿

误差转换表示为一个六维向量

此误差近似用一个协方差为∑_v的零均值高斯分布表示。

本实施例中基线的相对位姿变化量估计需要以下步骤：

建立基线模型：基于定标基线

和随机向量δT的概率误差模型得到基线模型；所述定标基线指的是两个测量单元装置之间初始时刻的基线相对位姿。

基线的旋转四元数表示为乘性误差

基线的相对位置表示为加性误差p＝p_μ+Δp；

四元数

由一个小的角度δθ近似估计，则随机向量δT＝[δθ^T，Δp^T]^T，随机向量δT的是零均值的，所以在EKF中，基线误差近似用协方差为∑_c的零均值高斯分布表示：δT～N(0，Σ_c)，则协方差矩阵∑_c为一个对角阵：

本实施例中，通过基于视觉的相对位姿估计，并融合基线的相对位姿误差得到测量单元装置之间融合基线和视觉的相对位姿估计方法是：

视觉估计表示为相对于定标基线的偏差

则

误差四元数

可由一个小的角度

近似估计。

通过融合获得最大后验估计

和

且获得的结果也是服从零均值高斯分布的。

基线误差的新的估计值表示为

由此融合视觉测量和定标基线的基线估计值

同样地，

可以用一个小的角度

近似。

将基于视觉的相对位姿估计值与基线的相对位姿误差的融合解释为EKF更新步骤，融合基线和视觉的相对位姿估计值和后验协方差矩阵如下:

Σ_f＝Σ_c-Σ_c(Σ_c+Σ_v)^-1Σ_c

步骤3.3：最后将所述测量单元装置相对位姿的测量值和融合基线和视觉的相对位姿估计值融入到扩展卡尔曼滤波模型中，得到测量单元装置之间的相对位姿。

本发明通过将高频、低方差的惯性传感器与低频、无偏置的基于视觉的相对位姿估计相融合，即将视觉测量值与惯性测量单元的测量值输入到高效扩展卡尔曼滤波器(EKF)中，实现测量单元装置间相对位置和姿态的高速实时估计，在得到测量单元装置件的相对位置和姿态后，选择某一测量单元坐标系作为形变监测的全局坐标系，通过双目或多目像机交会测量待监测点在该全局坐标系中的三维位置，就可以获得大型结构的连续形变数据。

步骤4：根据实时估计出的两组测量单元装置之间的相对位置和姿态，通过双目或者多目交会测量待监测点(如图2所示)在所述全局坐标系中的三维坐标，获得所有待测点在全局坐标系下的动态形变数据。

当其中一个装置的坐标系(像机坐标系)为全局坐标系，另一个装置相对于前者的位置和姿态已测量出，根据坐标系的平移和旋转变换可得到其(另一装置)在全局坐标系下的位置和姿态。根据双目测量原理，两个测量装置的位置和姿态都已知的条件满足，即可测量出待测点在全局坐标系下的位置，并将连续测量结果统一到全局坐标系，最终实现对大型结构的实时高速形变测量。

在有合作标志的情况下，有了测量单元间的相对位置关系后，只要连续测量待测点数据，就可以得到连续形变数据。在缺少合作标志时，目标的坐标是相对于变化的全局坐标系的，测量的是相对某一个部位的相对形变数据。

此外，对于需要将大型结构形变测量结果统一到某一固定参考坐标系的应用场景，可选用任一测量单元中的像机观测安装在固定不动或安装在形变已知位置上的合作标志，通过上述扩展卡尔曼滤波预测模型实时估计该全局坐标系与合作标志参考坐标系之间的位姿关系，即可将表示在全局坐标系中的大型结构变形测量数据转换到合作标志参考坐标系中。这里所述的相机安装在位置固定不动位置上或安装在形变已知位置上合作标志是为了获得绝对的三维坐标，若没有合作标志，不影响最终的形变测量，只是获得的形变结果为相对值。

本实施例中的形变结果将以待测点三维位移的形式呈现。首先需要确定同名点，所述同名点既包括用于立体匹配的两个相机拍摄的两幅影像中的同名点，也包括用于时序匹配的时序同名点，求解同时刻的两幅影像中的同名点可以确定当前时刻待测点的三维坐标，求解时序上的同名点则可以确定单点的三维位移。。

根据初始时刻t₀待测点P在左右相片中的图像坐标

我们可以计算得到P点在全局坐标系下的三维坐标

同理，在t₁时刻我们可以得到P点的三维坐标

从而我们可以得到P点从t₀到t₁时刻的三维位移

以此类推，便可得到待测点连续的三维位移，即形变。

本发明通过将测量数据和先验知识构建扩展卡尔曼滤波预测模型，实时估计出两组测量单元装置之间的相对位置和姿态，因此只要两个测量装置的在满足视场覆盖监测范围的条件下位置选取不限。像机和惯性测量单元融合的高速实时形变监测方法可根据工程现场情况安装测量单元，实现大型结构待测量点形变的自动监测。

本发明可以在大型结构的各处均存在变形，由于使用的是两组测量单元装置之间的相对位置和姿态，利用惯性传感器的高频、低方差特点，实现了对大型结构形变的实时、高速、自动、高精度、长时间、连续测量。并且测量设备成本低且测量精度高，速度快。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种高速实时形变监测方法，其特征在于，包括以下步骤：

步骤1：根据大型结构形变监测的现场要求，设立像机-惯性测量单元装置对构成双目视觉测量，选取某一像机-惯性测量单元装置坐标系作为全局坐标系；

步骤2：所述像机-惯性测量单元装置对同步采集待测目标的图像、像机-惯性测量单元装置的姿态角和加速度信息作为测量数据；

步骤3：将所述测量数据输入到扩展卡尔曼滤波预测模型中，实时估计出两组像机-惯性测量单元装置之间的相对位姿；所述扩展卡尔曼滤波预测模型为：

1)建立状态向量x；

其中，ω_i,i＝1,2表示第i个像机-惯性测量单元装置在其测量单元坐标系下的角速度；

a_i,i＝1,2表示第i个像机-惯性测量单元装置在全局坐标系下的线性加速度；

表示两个像机-惯性测量单元装置之间的相对方位的旋转Hamilton四元数,其中第一个元素是实部，剩下的元素是虚部；

v表示两个像机-惯性测量单元装置之间的相对速度；

p表示两个像机-惯性测量单元装置之间的相对位置；

2)列出状态方程：

式中，

ω'₁、ω'₂、p'、v'、a'₁、a'₂分别表示

ω₁、ω₂、p、v、a₁、a₂对时间的导数；

假设角速度ω₁,ω₂和线性加速度a₁,a₂满足独立随机的零均值高斯分布，分别表示为

为了方便计算，角速度向量改写为

C表示对应四元数

的旋转矩阵，

表示斜对称矩阵；

3)误差的状态表示；根据状态向量x，则误差状态向量表示为：

则误差状态方程更新为：

其中

为

的旋转矩阵，

表示估计状态，Δ代表一个加性误差的误差状态，δθ表示

的误差；

4)预测状态协方差：

对于连续***矩阵

表示斜对称矩阵；

对于噪声矩阵

其中

假设连续***矩阵F_c在其积分区间连续，则给定时间变化量Δt有F_d＝exp(Δt·F_c)展开为

即F_d≈I+F_cΔt，I为单位矩阵；

连续时间噪声协方差矩阵为

离散时间噪声协方差矩阵为：

则状态协方差更新为：

5)状态预测，扩展卡尔曼滤波的状态预测推导结果为：

各符号中的下标k表示第k个时刻的估计值，k+1表示根据第k时刻的估计值所预测出的第k+1时刻的预测值，a_i,k表示第i个像机-惯性测量单元装置在k时刻全局坐标系下的线性加速度，ω_i,k表示第i个像机-惯性测量单元装置在其测量单元坐标系下的角速度；

步骤4：根据实时估计出的两组像机-惯性测量单元装置之间的相对位姿，通过双目交会测量待测点在所述全局坐标系中的三维坐标，获得所有待测点在全局坐标系下的动态形变数据。

2.根据权利要求1所述的方法，其特征在于，所述像机-惯性像机-惯性测量单元装置，由像机和惯性测量单元组成。

3.根据权利要求2所述的方法，其特征在于，步骤3中根据卡尔曼滤波预测模型进行实时估计两组像机-惯性测量单元装置之间的相对位姿的估计方法是：

步骤3.1：将所述像机-惯性测量单元装置安装的初始时刻，像机-惯性测量单元装置之间的相对位姿作为先验知识是已知的，通过测量惯性测量单元的姿态角和加速度信息得到像机-惯性测量单元装置相对位姿的测量值，用方向平移的单位向量p和表示旋转的四元数q表示；

步骤3.2：通过基于视觉的相对位姿估计，并融合基线的相对位姿变化误差得到像机-惯性测量单元装置之间融合基线和视觉的相对位姿估计值；

步骤3.3：将所述像机-惯性测量单元装置相对位姿的测量值和融合基线和视觉的相对位姿估计值融入到扩展卡尔曼滤波模型中，得到像机-惯性测量单元装置之间的相对位姿。

4.根据权利要求1所述的方法，其特征在于，步骤3.2中融合基线和视觉的相对位姿估计方法为：

步骤3.2.1：首先利用图像特征匹配算法在两幅影像中分别提取图像特征匹配点对；

步骤3.2.2：然后对提取的所述图像特征匹配点对利用相对位姿估计算法确定两幅影像之间的相对位姿：表示方向平移的单位向量

和表示旋转的四元数

和

分别是基于视觉的相对姿态估计的平移方向估计值和旋转的四元数估计值，Δp_v,

分别表示平移方向和旋转的四元数对应的测量误差；

以一个微小的角度δθ_v为步长逼近误差四元数

则基于视觉的相对位姿

误差转换表示为一个六维向量

此误差近似用一个协方差为∑_v的零均值高斯分布表示；

步骤3.2.3：建立基线模型：基于定标基线

和随机向量δT的概率误差模型得到基线模型；所述定标基线指的是两个像机-惯性测量单元装置之间初始时刻的基线相对位姿；

基线的旋转四元数表示为乘性误差

基线的相对位置表示为加性误差p＝p_μ+Δp；

四元数

由一个小的角度δθ近似估计，则随机向量δT＝[δθ^T,Δp^T]^T，随机向量δT_μ的是零均值的，所以在扩展卡尔曼滤波预测模型中，基线误差近似用协方差为∑_c的零均值高斯分布表示：δT～N(0,Σ_c)，则协方差矩阵∑_c为一个对角阵：

步骤3.2.4：将视觉估计表示为相对于定标基线的偏差

则

误差四元数

由一个小的角度δθ近似估计；

步骤3.2.5：通过融合获得最大后验估计

和

且获得的结果也是服从零均值高斯分布的，基线误差的新的估计值表示为

由此融合视觉测量和定标基线的基线估计值

用一个小的角度

近似；

步骤3.2.6：将基于视觉的相对位姿测量值与基线的相对位姿误差的融合解释为扩展卡尔曼滤波预测模型更新步骤，融合基线和视觉的相对位姿估计值和后验协方差矩阵如下:

5.根据权利要求4所述的方法，其特征在于：在进行特征匹配时，采用随机样本一致性RANSAC框架剔除图像误匹配点对。

6.根据权利要求5所述的方法，其特征在于：所述像机和惯性测量单元在组装时像机和惯性测量单元的位置应满足两个条件：便于标定计算；重心尽量靠近。

7.根据权利要求1所述的方法，其特征在于：对于需要将大型结构形变测量结果统一到某一固定参考坐标系的应用场景，选用任一测量单元中的像机观测安装在固定不动或形变已知位置上的合作标志，通过实时估计该全局坐标系与合作标志参考坐标系之间的位姿关系，即可将表示在全局坐标系中的大型结构变形测量数据转换到合作标志参考坐标系中。

8.一种高速实时形变监测***，其特征在于，包括处理器，以及与所述处理器连接的存储器，所述存储器存储有一种高速实时形变监测方法的程序，所述程序执行时实现上述权利要求1～7任一项所述方法的步骤。

Images