CN112525326A - 一种无标记结构三维振动的计算机视觉测量方法 - Google Patents

Abstract

一种结构三维振动无标记测量的计算机视觉方法，步骤如下：1)利用双目相机对结构不同视角下的振动进行视频记录；2)对初始帧图像进行多尺度差分空间表征，分别筛选出初始帧不同视角下结构虚拟特征点；3)选取以虚拟特征点为中心的像素区域，基于图像像素亮度、梯度等特征分别构建初始帧不同视角下虚拟特征点的描述符向量；4)对所得描述符向量间进行欧式距离计算，获取同一虚拟特征点不同视角下的像素坐标；5)以所得像素坐标为基础，逐帧计算同一虚拟特征点同视角下的像素坐标；6)构建相机坐标系与空间控标系间的映射关系，获取结构的三维振动信息。本发明测量装置安装简单，无需对结构进行标记，适用于多种场景下的结构三维振动测量。

Description

一种无标记结构三维振动的计算机视觉测量方法

技术领域

本发明属于结构振动测量相关技术领域，特别涉及一种无标记结构三维振动的计算机视觉测量方法。

背景技术

结构的三维振动信息能反映结构的真实运动，是对结构运动细节信息进行描述重要手段，因此，发展高效、快捷的三维振动测量方法具有很重要的意义。现有的基于计算机视觉下的三维振动测量方法，具有非接触、高精度等被广泛应用，如三维数字图像相关技术，三维点跟踪技术等。然而，目前所采用的视觉方法在测量结构三维振动时，需要依赖于人工标记的特征，如散斑、几何标记等，但在测量过程中，标记容易脱落，给测量带来不便。同时，对于大型结构和服役于恶劣环境中的结构，该方法操作起来成本高，单次标记需要大量的人力和物力，给实际的工程应用带来极大的挑战。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种无标记结构三维振动的计算机视觉测量方法，以解决目前结构的三维振动测量技术依赖于人工标记，很难满足实际工程的应用的不足，本发明融合了光流算法和特征匹配算法理论的各自优点，不需要对结构表面进行标记等预处理，仅利用结构表面的纹理特征实现结构运动测量。

为了实现上述目的，本发明采用的技术方案是：

一种无标记结构三维振动的计算机视觉测量方法，包括以下步骤：

步骤1)，利用双目相机对结构不同视角下的振动进行视频记录；

步骤2)，对初始帧图像进行多尺度差分空间表征，通过对比不同尺度上像素点的亮度信息，分别筛选出初始帧不同视角下结构虚拟特征点；

步骤3)，选取以虚拟特征点为中心的像素区域，基于图像像素亮度和梯度分别构建初始帧不同视角下虚拟特征点的描述符向量；

步骤4)，对不同视角下的虚拟特征点的描述符向量间进行欧式距离计算，获取初始帧同一虚拟特征点不同视角下的像素坐标；

步骤5)，以初始帧同一虚拟特征点不同视角下的像素坐标为基础，采用光流算法分别计算同一虚拟特征点不同视角下的像素坐标；

步骤6)，利用双目相机视差，基矩、焦距等条件，构建相机坐标系与空间控标系间的映射关系，基于不同时刻虚拟特征点不同视角下的像素坐标获取虚拟特征点不同时刻的三维空间坐标；

步骤7)，基于不同时刻虚拟特征点的三维空间坐标，测量结构的三维振动。

与现有技术相比，本发明的有益效果是：

1)无需对被测结构表面预处理，更广的适用范围。

2)所提出的方法对图像尺度、旋转、光照变化等噪声也具有良好的稳定性，测量精度也更高。

附图说明

图1为本发明所提出的结构三维振动无标记测量方法流程示意图。

图2为图像多尺度差分空间示意图。

图3为基于图像差分空间特征点检测原理示意图。

图4为基于像素亮度梯度的特征点描述符向量示意图。

图5为光流算法逐帧计算特征点空间位置信息的流程示意图。

图6为双目高速摄影机测量结构三维振动的几何关系示意图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明提出一种无标记结构三维振动的计算机视觉测量方法，该方法通过结构表面虚拟特征点筛选、虚拟特征点描述符向量构建、不同视角下虚拟特征点匹配、虚拟特征点空间三维坐标合成等步骤对结构的三维振动进行无标记测量，其原理如图1所示，具体步骤包括：

步骤1：利用双目相机对结构不同视角下的振动进行视频记录。

步骤2：如图2所示，为能够检测到视频图像中稳定的虚拟特征点，本发明利用不同尺度高斯核函数与初始帧图像进行卷积，获取不同尺度的图像，即：

式中：L(x，y，σ)为高斯核函数卷积后的图像，G(x，y，σ)为尺度σ的高斯基函数，

为卷积运算，I(x，y)表示图像像素亮度信息。

采用不同尺度图像构建图像的高斯差分空间，描述为：

D(x，y，σ)＝L(x，y，(l+1)σ)-L(x，y，lσ)l＝1，2，3，...，M+1 (2)

式中：D(x，y，σ)表示尺度为σ的差分图像，l表示所建立高斯差分空间图像的层数。

如图3所示，本发明基于图像多尺度差分空间的像素极值检测来获取结构虚拟特征点，对极值点进行检测的过程中，像素点亮度要与尺度空间相邻的26个像素点的亮度相比较，通过对比该像素点与其邻域内像素点的灰度值，以判断其亮度值大于或者小于该点在尺度域的相邻点，筛选出结构表面的虚拟特征点。26个像素包括自身尺度层中的8个像素点，以及分别位于其上下两个尺度层中的18个像素点。

步骤3：如图4所示，选取以虚拟特征点为中心的16×16像素区域，计算区域内每个像素亮度梯度大小和方向，并将每个4×4小块上像素梯度方向按照0°，45°，90°，135°，180°，225°，270°，315°等8个方向进行统计，每个方向上数值的大小由区域内像素亮度梯度大小进行累积。其中，像素亮度梯度大小和方向表示为：

θ(x，y)＝arctan(G_y/G_x) (4)

式中：G_x(x，y)和G_y(x，y)分别为(x，y)位置像素亮度在x、y方向上的梯度，计算如下：

式中：I(x，y)为图像像素亮度，

表示卷积运算，H_x和H_y分别为x、y方向上的梯度算子，表示如下：

将每4×4小块上像素区域生成一个种子点，每个虚拟特征点是由4×4个种子点构成，则每个种子点都具有8个方向的向量信息，共产生16×8＝128个特征点的信息，作为一个虚拟特征点的描述符向量。

步骤4：假设初始帧不同视角下的两幅图像分别为m、n，通过步骤3创建的结构虚拟特征点描述符向量集合分别为

和

s为m、n图像中所筛选出的虚拟特征点数目。

在图像m中，选取一个特征点i，其像素坐标为

描述符向量为

分别计算

和

之间的欧式距离，获取最小距离描述符向量所对应的虚拟特征点的像素坐标，记为

此时，图像m中的虚拟特征点

对应于图像n中虚拟特征点

步骤5：对于单一的虚拟特征点k来说，根据光流算法假设，建立光流方程如下：

式中：

和

分别表示为虚拟特征点k的亮度在x和y两个方向上的梯度，

为图像亮度关于时间的导数，u和v表示虚拟特征点k沿x、y方向上的光流。

由于任意时刻图像中各点的亮度值可通过拍摄器材获取，为已知量，每个虚拟特征点点在x和y两个方向的梯度可直接通过图像像素亮度求解，但考虑到该方程具有两个未知量u和v，无法直接求解。因此，引入像素邻域内运动相似性的假设，即虚拟特征点k与其相邻n个像素具有相似的运动，满足：

为简化起见，上式可记作A^kd^k＝b^k，其中，

在本发明中，采用最小二乘法求解上式，即满足|A^ks^k-b^k|²的值为最小时的解，因此，虚拟特征点k的光流为：

d^k＝A^k-1b^k (9)

根据计算的相邻两帧间虚拟特征点的光流，虚拟特征点在不同帧图像的像素坐标可以描述为：

式中：

虚拟特征点k在t、t+Δt时刻的水平像素坐标，

虚拟特征点k在t、t+Δt时刻的竖直像素坐标。

最终通过该步骤可以获得同视角下特征点在不同帧下的像素坐标，计算流程如图5所示。

步骤6：如图6所示，设结构上虚拟特征点k在t时刻不同视角下的像素坐标为

和

设t时刻虚拟特征点k的空间坐标为

将两相机固定在同一平面上，即

根据被测结构、双目相机间的三角关系可得：

式中：f代表相机的焦距，B代表相机间的基矩，

相机表示t时刻左相机虚拟特征的像素坐标，

表示t时刻右相机虚拟特征的像素坐标。

因此，虚拟特征点k的空间坐标表示为：

式中：Disparity代表相机间的视差，其等于

最终通过此步骤，可获得结构虚拟特征点在不同帧时的三维空间坐标。

步骤7：利用步骤6所计算的不同时刻结构虚拟特征点的空间三维坐标，计算结构的空间运动，即：

式中：d_t代表结构在t时刻的位移。

Claims (7)

1.一种无标记结构三维振动的计算机视觉测量方法，其特征在于，包括以下步骤：

步骤1)，利用双目相机对结构不同视角下的振动进行视频记录；

步骤2)，对初始帧图像进行多尺度差分空间表征，通过对比不同尺度上像素点的亮度信息，分别筛选出初始帧不同视角下结构虚拟特征点；

步骤3)，选取以虚拟特征点为中心的像素区域，基于图像像素亮度和梯度分别构建初始帧不同视角下虚拟特征点的描述符向量；

步骤4)，对不同视角下的虚拟特征点的描述符向量间进行欧式距离计算，获取初始帧同一虚拟特征点不同视角下的像素坐标；

步骤5)，以初始帧同一虚拟特征点不同视角下的像素坐标为基础，采用光流算法分别计算同一虚拟特征点不同视角下的像素坐标；

步骤6)，构建相机坐标系与空间控标系间的映射关系，基于不同时刻虚拟特征点不同视角下的像素坐标获取虚拟特征点不同时刻的三维空间坐标；

步骤7)，基于不同时刻虚拟特征点的三维空间坐标，测量结构的三维振动。

2.根据权利要求1所述无标记结构三维振动的计算机视觉测量方法，其特征在于，所述步骤2)中，利用不同尺度高斯核函数与初始帧图像进行卷积，获取不同尺度的图像，即：

式中：L(x，y，σ)为高斯核函数卷积后的图像，G(x，y，σ)为尺度σ的高斯基函数，

为卷积运算，I(x，y)表示图像像素亮度信息；

利用不同尺度图像构建图像的多尺度差分空间，描述为：

D(x，y，σ)＝L(x，y，(l+1)σ)-L(x，y，lσ)

式中：D(x，y，σ)表示尺度为σ的差分图像，l表示建立高斯差分空间图像的层数，l＝1，2，3；

在建立高斯多尺度差分空间的基础上，图像像素亮度要与尺度空间相邻的26个像素亮度相比较，以判断其亮度值大于或者小于该点在尺度域的相邻点，对图像像素亮度的极值点进行检测，筛选出结构表面的虚拟特征点，其中26个像素包括自身尺度层中的8个像素点，以及分别位于其上下两个尺度层中的18个像素点。

3.根据权利要求1所述无标记结构三维振动的计算机视觉测量方法，其特征在于，所述步骤3)中，选取以虚拟特征点为中心的16×16像素区域，计算区域内每个像素亮度梯度大小和方向，并将每个4×4小块上像素梯度方向按照0⁰，45⁰，90⁰，135⁰，180⁰，225⁰，270⁰，315⁰共8个方向进行统计，每个方向上数值的大小由区域内像素亮度梯度大小进行累积，其中，像素亮度梯度大小g(x，y)和方向θ(x，y)表示为：

θ(x，y)＝arctan(G_y(x，y)/G_x(x，y))

式中：G_x(x，y)和G_y(x，y)分别为(x，y)位置像素亮度在x、y方向上的梯度，计算如下：

式中：I(x，y)为图像像素亮度，

表示卷积运算，H_x和H_y分别为x、y方向上的梯度算子，表示如下：

将每4×4小块上像素区域生成一个种子点，每个虚拟特征点由4×4个种子点构成，则每个种子点都具有8个方向的向量信息，共产生16×8＝128个特征点的信息，作为一个虚拟特征点的描述符向量；

重复步骤3)，获得初始帧不同视角下结构虚拟特征点的描述符向量。

4.根据权利要求3所述无标记结构三维振动的计算机视觉测量方法，其特征在于，所述步骤4)中，初始帧不同视角下的两幅图像分别为m、n，通过步骤3)创建的结构虚拟特征点的描述符向量的集合分别为

和

s为m、n图像中所筛选出的虚拟特征点数目；

在图像m中，选取一个特征点i，其像素坐标为

描述符向量为

分别计算

和

之间的欧式距离，获取最小距离描述符向量所对应的虚拟特征点的像素坐标，记为

此时，图像m中的虚拟特征点

对应于图像n中虚拟特征点

5.根据权利要求4所述无标记结构三维振动的计算机视觉测量方法，其特征在于，所述步骤5)中，对于单一的虚拟特征点k，根据光流算法假设，建立光流方程如下：

式中：

和

分别表示为虚拟特征点k的亮度在x和y两个方向上的梯度，

为图像亮度关于时间的导数，u和v分别表示虚拟特征点k沿x、y方向上的光流；

虚拟特征点k与其相邻n个像素具有相似的运动，满足：

采用最小二乘法求解上式，得到虚拟特征点k的光流，根据计算的相邻两帧间虚拟特征点的光流，虚拟特征点k在不同帧图像的像素坐标描述为：

式中：

分别表示虚拟特征点k在t、t+Δt时刻的水平像素坐标，

分别表示虚拟特征点k在t、t+Δt时刻的竖直像素坐标；

最终，通过该步骤获得同视角不同帧下的虚拟特征点像素坐标。

6.根据权利要求5所述无标记结构三维振动的计算机视觉测量方法，其特征在于，所述步骤6)中，结构上虚拟特征点k在t时刻不同视角下的像素坐标为

和

t时刻虚拟特征点k的空间坐标为

将两相机固定在同一平面上，即

根据被测结构、双目相机间的三角关系可得：

式中：f代表相机的焦距，B代表相机间的基矩，

相机表示t时刻左相机虚拟特征的像素坐标，

表示t时刻右相机虚拟特征的像素坐标；

则虚拟特征点k的空间坐标表示为：

式中：Disparity代表相机间的视差，其等于

最终，通过此步骤获得结构虚拟特征点在不同帧时的三维空间坐标。

7.根据权利要求6所述无标记结构三维振动的计算机视觉测量方法，其特征在于，所述步骤7)中，利用步骤6)所计算的不同时刻结构虚拟特征点的空间三维坐标，计算结构的空间运动，即：

式中：d_t代表结构在t时刻的位移。

Images