CN112419425B - 用于结构变形测量的抗扰动高精度相机群测量方法 - Google Patents

Abstract

本发明涉及用于结构变形测量的抗扰动高精度相机群测量方法，包括以下步骤：1.相机群***的搭建，组装便携式测量装置，便携式测量装置由树莓派、相机、无线模块、GPS模块和电源模块组成，将若干套便携式测量装置与计算机连接，构成相机群***；2.图像采集；3.相机群***参数的标定；4.重构三维；5.大区域变形量测量设置。本发明利用无线模块实现无线远程连接，确保大范围内的信息传输，相机群***能够通过增加中继的方式实现更大范围的信号覆盖；本发明采用测量环境点之间的距离结合场景点对外参进行准确标定，或采用测量各相机光心距离结合场景点对外参进行准确标定，无需人工标识点；本发明能够实现对大跨度结构的全局大区域测量。

Description

用于结构变形测量的抗扰动高精度相机群测量方法

技术领域

本发明涉及用于结构变形测量的抗扰动高精度相机群测量方法，属于光测实验力学技术领域。

背景技术

各种桥梁、输电塔以及房屋建筑等户外设施，在使用一定时间之后，为了了解其稳定性是否满足要求，还能否继续服役，需要对其进行定期的检查。但是目前对这种大型结构的测量技术是不够成熟的，没有很好的方法能实现高精度、大跨度的结构变形测量。目前，工程应用中，可以通过单目相机，并且在待测区域贴标识点的方式，实现对小区域的位移测量。但是这种方法，测量区域局限，且只能测量平面内的位移。双目测量也较为成熟，但是双目的方式也只是实现三维的测量，并没有很好地解决环境扰动对成像产生的误差。而且，目前大多测试设备都是采用有线连接的方式，这对现场测试来说，是比较不利的，如果待测目标很大，那么通过有线的方式就很难实现。

发明内容

为了解决上述技术问题，本发明提供一种用于结构变形测量的抗扰动高精度相机群测量方法，其具体技术方案如下：

用于结构变形测量的抗扰动高精度相机群测量方法，包括以下步骤：

步骤一：相机群***的搭建：组装便携式测量装置，便携式测量装置由树莓派、相机、无线模块、GPS模块和电源模块组成，将若干套便携式测量装置与计算机连接，构成相机群***，在测量区域前进行相机群***的组装搭建；

步骤二：图像采集：在无线网络下，通过GPS模块的时钟信号源，实现计算机远程控制连接到树莓派上的相机进行图像同步采集，采集到的图像存储到树莓派本地并共享给计算机；

步骤三：相机群***参数的标定：使用不同的方法对相机外参进行标定：

I.通过测量相机视场内最大两点之间的实际距离，结合视场内特征点对外参进行准确标定，通过测量相机视场内最大两点之间的实际距离，结合视场内特征点对外参进行准确标定时，其推导过程如下：

sp＝A[R t]P (1)

式中s是比例因子，A是相机内部参数矩阵，R是世界坐标与相机坐标之间的旋转矩阵，t是世界坐标与相机坐标之间的平移向量，p是特征点的图像坐标，P是特征点的世界坐标；采用设置有三个相机直线分布的便携式测量装置，将世界坐标系定义为与中间相机坐标系重合，为了标准化图像像素坐标为图像物理坐标，分离世界坐标，两端同时乘R^-1和A^-1,并将用Surf算法提取出的中间相机作为0号相机的某一点的图像坐标(u₀，v₀，1)、与中间相机相邻的一侧相机为1号相机对应点的图像坐标(u₁，v₁，1)和中间相机相邻的另一侧相机为2号相机对应点的图像坐标(u₂，v₂，1)，和对应点的世界坐标(X，Y，Z，1)分别代入公式(1)得，

式中，s₀，s₁，s₂分别是物点到0、1、2号相机光心的距离在光轴方向的投影，R₁和t₁是世界坐标和1号相机之间的旋转矩阵和平移向量，R₂和t₂是世界坐标和2号相机之间的旋转矩阵和平移向量，

和

分别是0号、1号和2号相机的图像主点即光轴与图像平面交点的图像坐标，

分别是0号、1号和2号相机在x和y方向上的等效焦距，形式为

L是物距，f是相机焦距，d_x、d_y是像元尺寸，联立公式(2)和(3)，消去世界坐标得

其中

式中，

是平移向量在x、y、z轴上的分量，

是旋转角

的三角组合函数，

定义为将世界坐标系变换到与相机坐标系姿态一致而分别绕三个坐标轴转过的欧拉角,n₁是旋转向量，与旋转矩阵之间的关系为罗德里格斯变换，消去s₀和s₁得，

采用L-M迭代方法优化公式(8)即求出旋转向量及平移向量，其中旋转向量初值选取为n₁＝[0 0 0]^T,平移向量选取为t₁＝[1 0 0]^T；从公式(8)可以看出，方程两边同时乘以一个比例系数对公式两边没有任何影响，因此在迭代中取值为1的

不参与迭代过程，此时求出的平移向量为关于

归一化的平移向量，与真实平移向量相差倍；采用归一化的平移向量进行三维重构，计算某两点之间的距离l，通过测量得到该两点之间的实际距离L，比例因子为L/l，将比例因子与归一化的平移向量相乘得到真实的平移向量,完成外参的准确标定；

II.通过测量相机光心之间的实际距离，结合视场内特征点对工业相机外参进行准确标定，所述步骤三中通过测量各相机光心之间的实际距离，再结合视场内特征点对相机外参进行准确标定时，采用设置有三个相机直线分布的便携式测量装置，其计算公式为：

其中d是两个相机光心之间的实际距离，t′＝[1 t′_y t′_z]是归一化方法求出的平移向量，(1，t′_y，t′_z)是归一化平移向量在x、y和z轴的分量，解得真实的平移向量t＝[t_x t_yt_z]^T，(t_x，t_y，t_z)是真实平移向量在x、y和z轴的分量，完成外参的准确标定；

步骤四：重构三维：通过标定后的相机群参数，使用三个相机采集图像，对测量区域进行三维重构，获得各个点的世界坐标，结合多组图片计算相机视场内变形量；

步骤五：大区域变形量测量设置：将若干套便携式测量装置呈链式分布安装于测量区域各个分区，重复步骤二至步骤四操作，将各分区测量结果整合分析，实现对大跨度区域设施的无线远程、抗扰动、高精度和全局同步变形测量监控。

进一步的，所述步骤一中便携式测量装置的布置方式包括直线分布、三角分布和链式分布。

进一步的，所述直线分布的便携式测量装置设置有三个相机，所述相机均朝向测量区域同向拍摄，两侧相机与中间相机之间的拍摄夹角为15°至20°。

进一步的，所述中间相机正上方设置有测距仪，中间相机两侧的相机正上方设置有靶标，靶标反射测距仪发射的激光，实现各相机光心之间的距离测量。

进一步的，所述步骤四中重构三维是通过三幅图像中的特征点像素坐标用最小二乘原理进行重构，采用设置有三个相机的便携式测量装置，定义中心相机为0号相机，中心相机两侧相机分别为1号相机和2号相机；将世界坐标定义为与0号相机坐标系重合，其坐标系相对于世界坐标系的旋转矩阵为单位矩阵，平移向量为0向量；1号相机向相对于世界坐标系的旋转矩阵和平移向量为标定出的R₁和t₁，2号相机向相对于世界坐标系的旋转矩阵和平移向量为标定出的R₂和t₂，根据公式(1)，0号、1号和2号相机的投影方程分别可以写成：

上式中，

和

依次为0号、1号和2号相机的图像坐标，旋转矩阵和平移向量的形式如公式(7)，内参矩阵分别为A⁽⁰⁾、A⁽¹⁾和A⁽²⁾：

式中

为0号、1号和2号相机图像平面两个坐标轴之间的倾斜因子，转化成矩阵形式为MP_w＝Q，P_w＝(X_w Y_w Z_w)^T是待求点的三维坐标，通过最小二乘法求解点的三维坐标，M和Q的表达式如下：

本发明的工作原理：

本发明设计一种便携式测量装置，该装置由树莓派、工业相机、无线模块、GPS模块和电源模块构成，多套便携式测量装置与一台计算机构成相机群***。利用无线模块将无线网络覆盖在测量区域，远程控制相机拍摄现场图片；通过测量相机视场内最大两点之间的实际距离，结合视场内特征点对外参进行准确标定，或通过测量相机光心之间的实际距离，结合视场内特征点对工业相机外参进行准确标定；然后进行三维重构，进而计算待测结构的变形和位移。

本发明的有益效果：

本发明利用无线模块实现无线远程连接，确保大范围内的信息传输，相机群***能够通过增加中继的方式实现更大范围的信号覆盖；本发明采用测量环境点之间的距离结合场景点对外参进行准确标定，或采用测量各相机光心距离结合场景点对外参进行准确标定，无需人工标识点；本发明相比于双目测量，能够减小环境扰动对成像的影响，实现高精度测量；本发明能够实现对大跨度结构的全局大区域测量。

附图说明

图1是本发明的流程示意图，

图2是本发明的便携式测量装置结构示意图，

图3是本发明相机群直线排布方式示意图，

图4是本发明的相机群直线排布方式俯视图，

图5是本发明的相机群三角排布方式示意图，

图6是本发明的相机群***对大型桥梁结构的测量示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图2所示，本发明的便携式测量设备，设备主要由五个模块构成，分别是树莓派4、IDS工业相机、无线模块、GPS模块和电源模块。其中树莓派4的处理器是基于ARMv8架构的Boradcom BCM2711 64位ARM Cortex-A72处理器，工作主频为1.5GHz，搭载1GB内存。IDS工业相机型号为UI-3370CP-M-GL Rev.2。

如图1所示，用于结构变形测量的抗扰动高精度相机群测量方法，包括以下步骤相机群***的搭建：组装便携式测量装置，便携式测量装置由树莓派、相机、无线模块、GPS模块和电源模块组成，将若干套便携式测量装置与计算机连接，构成相机群***，在测量区域前进行相机群***的组装搭建。首先，无线模块是通过无线路由器构建无线局域网，可根据实际情况，选择是否增加中继，以获取更大的信号覆盖范围,保证测量设备和计算机主机的正常通讯；然后，根据选择相机类型，采用USB或者网线等接口将相机与树莓派连接；接着，打开相机的驱动程序，获取相机实时采集画面，调节焦距、光圈等，直至画面清晰；然后，对某一特定区域测量时，将相机群搭设为直线方式，如图3和图4，或者三角分布方式如图5，且任意一个相机与中心相机的夹角为15°到20°；最后，对大区域进行变形测量时，如大跨度桥梁结构测量，将便携式测量装置链式分布布置，如图6所示，保证相机群***视场包含整个测量结构。

图像采集：在无线网络下，通过GPS模块的时钟信号源，实现计算机远程控制连接到树莓派上的相机进行图像同步采集，采集到的图像存储到树莓派本地并共享给计算机。计算机控制各树莓派相机***同步采图并将图像共享给控制台计算机。通过引入GPS时钟信号源，实现各测量设备的时间同步功能。通过IDS公司提供的该相机的SDK，可通过软件触发相机的拍照功能，并且可以自由配置相机的各项参数。无线模块可实现在较远距离下，也可以与基站建立稳定的连接。在树莓派上安装并打开Samba服务，就可以实现对服务端的文件共享，可自由下载拍摄的图片。

相机群***参数的标定：使用不同的方法对相机外参进行标定：I.通过测量相机视场内最大两点之间的实际距离，结合视场内特征点对外参进行准确标定。通过测量相机视场内最大两点之间的实际距离，根据视场大小，选择合适的方式进行。当视场较小时，可以通过用米尺进行测量；当视场较大时，是通过固定测距仪在其中一个点，再在另一个点处设立一个支撑靶标，能反射测距仪发射的激光，来实现测量。结合视场内特征点对外参进行准确标定时，其推导过程如下：

sp＝A[R t]P (1)

式中s是比例因子，A是相机内部参数矩阵，R是世界坐标与相机坐标之间的旋转矩阵，t是世界坐标与相机坐标之间的平移向量，p是特征点的图像坐标，P是特征点的世界坐标；采用设置有三个相机直线分布的便携式测量装置，将世界坐标系定义为与中间相机坐标系重合，为了标准化图像像素坐标为图像物理坐标，分离世界坐标，两端同时乘R^-1和A^-1,并将用Surf算法提取出的中间相机作为0号相机的某一点的图像坐标(u₀，v₀，1)、与中间相机相邻的一侧相机为1号相机对应点的图像坐标(u₁，v₁，1)和中间相机相邻的另一侧相机为2号相机对应点的图像坐标(u₂，v₂，1)，和对应点的世界坐标(X，Y，Z，1)分别代入公式(1)得，

式中，s₀，s₁，s₂依次是物点到0、1、2号相机光心的距离在光轴方向的投影，R₁和t₁是世界坐标和1号相机之间的旋转矩阵和平移向量，R₂和t₂是世界坐标和2号相机之间的旋转矩阵和平移向量，

和

分别是0号、1号和2号相机的图像主点即光轴与图像平面交点的图像坐标，

分别是0号、1号和2号相机在x和y方向上的等效焦距，形式为

L是物距，f是相机焦距，相机采用定焦镜头，d_x、d_y是像元尺寸，联立公式(2)和(3)，消去世界坐标得

其中

式中，

是平移向量在x、y、z轴上的分量，

是旋转角

的三角组合函数，

定义为将世界坐标系变换到与相机坐标系姿态一致而分别绕三个坐标轴转过的欧拉角，n₁是旋转向量，与旋转矩阵之间的关系为罗德里格斯变换，消去s₀和s₁得

采用L-M迭代方法优化公式(8)即求出旋转向量及平移向量，其中旋转向量初值选取为n₁＝[0 0 0]^T,平移向量选取为t₁＝[1 0 0]^T；从公式(8)可以看出，方程两边同时乘以一个比例系数对公式两边没有任何影响，因此在迭代中取值为1的

不参与迭代过程，此时求出的平移向量为关于归一化的平移向量，与真实平移向量相差

倍；采用归一化的平移向量进行三维重构，计算某两点之间的距离l，通过测量得到该两点之间的实际距离L，比例因子为L/l，将比例因子与归一化的平移向量相乘得到真实的平移向量,完成外参的准确标定。

II.通过测量相机光心之间的实际距离，结合视场内特征点对工业相机外参进行准确标定。光心间距的测量是固定测距仪在其中一个点，再在另一个点处设立一个支撑靶标，能反射测距仪发射的激光，来实现测量。采用设置有三个相机直线分布的便携式测量装置，其计算公式为：

其中d是两个相机光心之间的实际距离，t′＝[1 t′_y t′_z]是归一化方法求出的平移向量，(1，t′_y，t′_z)是归一化平移向量在x、y和z轴的分量，解得真实的平移向量t＝[t_x t_yt_z]^T，(t_x，t_y，t_z)是真实平移向量在x、y和z轴的分量，完成外参的准确标定。

重构三维：通过标定后的相机群参数，使用三个相机采集图像，对测量区域进行三维重构，获得各个点的世界坐标，结合多组图片计算相机视场内变形量。通过三幅图像中的特征点像素坐标用最小二乘原理进行重构，采用设置有三个相机的便携式测量装置，定义中心相机为0号相机，中心相机两侧相机分别为1号相机和2号相机；将世界坐标定义为与0号相机坐标系重合，其坐标系相对于世界坐标系的旋转矩阵为单位矩阵，平移向量为0向量；1号相机向相对于世界坐标系的旋转矩阵和平移向量为标定出的R₁和t₁，2号相机向相对于世界坐标系的旋转矩阵和平移向量为标定出的R₂和t₂，根据公式(1)，0号、1号和2号相机的投影方程分别可以写成：

上式中，

和

依次为0号、1号和2号相机的图像坐标，旋转矩阵和平移向量的形式如公式(7)，内参矩阵分别为A⁽⁰⁾、A⁽¹⁾和A⁽²⁾：

式中

和

分别是0号、1号和2号相机的图像主点即光轴与图像平面交点的图像坐标，

分别是0号、1号和2号相机在x和y方向上的等效焦距，

为0号、1号和2号相机图像平面两个坐标轴之间的倾斜因子，转化成矩阵形式为MP_w＝Q，P_w＝(X_w Y_w Z_w)^T是待求点的三维坐标，通过最小二乘法求解点的三维坐标，M和Q的表达式如下：

大区域变形量测量设置：将若干套便携式测量装置呈链式分布安装于测量区域各个分区，依次重复图像采集、相机群***参数的标定和重构三维的步骤操作，将各分区测量结果整合分析，根据不同时刻的图片重构出不同时刻的三维坐标，通过特征点匹配，找出变形后特征点的位置，即可计算出变形情况。结合所有相机群的计算结果，可以得到整个大跨度桥梁结构的连续变形测量结果。实现对大跨度区域设施的无线远程、抗扰动、高精度和全局同步变形测量监控。

本发明利用无线模块实现无线远程连接，确保大范围内的信息传输，相机群***能够通过增加中继的方式实现更大范围的信号覆盖；本发明采用测量环境点之间的距离结合场景点对外参进行准确标定，或采用测量各相机光心距离结合场景点对外参进行准确标定，无需人工标识点；本发明相比于双目测量，能够减小环境扰动对成像的影响，实现高精度测量；本发明能够实现对大跨度结构的全局大区域测量。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (5)

1.用于结构变形测量的抗扰动高精度相机群测量方法，其特征在于：包括以下步骤：

步骤一：相机群***的搭建：组装便携式测量装置，便携式测量装置由树莓派、相机、无线模块、GPS模块和电源模块组成，将若干套便携式测量装置与计算机连接，构成相机群***，在测量区域前进行相机群***的组装搭建；

步骤二：图像采集：在无线网络下，通过GPS模块的时钟信号源，实现计算机远程控制连接到树莓派上的相机进行图像同步采集，采集到的图像存储到树莓派本地并共享给计算机；

步骤三：相机群***参数的标定：使用不同的方法对相机外参进行标定：

I.通过测量相机视场内最大两点之间的实际距离，结合视场内特征点对外参进行准确标定，通过测量相机视场内最大两点之间的实际距离，结合视场内特征点对外参进行准确标定时，其推导过程如下：

sp＝A[R t]P (1)

式中s是比例因子，A是相机内部参数矩阵，R是世界坐标与相机坐标之间的旋转矩阵，t是世界坐标与相机坐标之间的平移向量，p是特征点的图像坐标，P是特征点的世界坐标；采用设置有三个相机直线分布的便携式测量装置，将世界坐标系定义为与中间相机坐标系重合，为了标准化图像像素坐标为图像物理坐标，分离世界坐标，两端同时乘R^-1和A^-1,并将用Surf算法提取出的中间相机作为0号相机的某一点的图像坐标(u₀，v₀，1)、与中间相机相邻的一侧相机为1号相机对应点的图像坐标(u₁，v₁，1)和中间相机相邻的另一侧相机为2号相机对应点的图像坐标(u₂，v₂，1)，和对应点的世界坐标(X，Y，Z，1)分别代入公式(1)得，

式中，s₀，s₁，s₂分别是物点到0、1、2号相机光心的距离在光轴方向的投影，R₁和t₁是世界坐标和1号相机之间的旋转矩阵和平移向量，R₂和t₂是世界坐标和2号相机之间的旋转矩阵和平移向量，

和

分别是0号、1号和2号相机的图像主点即光轴与图像平面交点的图像坐标，

分别是0号、1号和2号相机在x和y方向上的等效焦距，形式为

L是物距，f是相机焦距，d_x、d_y是像元尺寸，联立公式(2)和(3)，消去世界坐标得

其中

式中，

是平移向量在x、y、z轴上的分量，

是旋转角

的三角组合函数，

定义为将世界坐标系变换到与相机坐标系姿态一致而分别绕三个坐标轴转过的欧拉角，n₁是旋转向量，与旋转矩阵之间的关系为罗德里格斯变换，消去s₀和s₁得，

采用L-M迭代方法优化公式(8)即求出旋转向量及平移向量，其中旋转向量初值选取为n₁＝[0 0 0]^T，平移向量选取为t₁[1 0 0]^T；从公式(8)看出，方程两边同时乘以一个比例系数对公式两边没有任何影响，因此在迭代中取值为1的

不参与迭代过程，此时求出的平移向量为关于归一化的平移向量，与真实平移向量相差倍；采用归一化的平移向量进行三维重构，计算某两点之间的距离l，通过测量得到该两点之间的实际距离L，比例因子为L/l，将比例因子与归一化的平移向量相乘得到真实的平移向量,完成外参的准确标定；II.通过测量相机光心之间的实际距离，结合视场内特征点对工业相机外参进行准确标定，通过测量各相机光心之间的实际距离，再结合视场内特征点对相机外参进行准确标定时，采用设置有三个相机直线分布的便携式测量装置，其计算公式为：

其中d是两个相机光心之间的实际距离，t′＝[1 t′_y t′_z]是归一化方法求出的平移向量，(1，t′_y，t′_z)是归一化平移向量在x、y和z轴的分量，解得真实的平移向量t＝[t_x t_y t_z]^T，(t_x，t_y，t_z)是真实平移向量在x、y和z轴的分量，完成外参的准确标定；

步骤四：重构三维：通过标定后的相机群参数，使用三个相机采集图像，对测量区域进行三维重构，获得各个点的世界坐标，结合多组图片计算相机视场内变形量；

步骤五：大区域变形量测量设置：将若干套便携式测量装置呈链式分布安装于测量区域各个分区，重复步骤二至步骤四操作，将各分区测量结果整合分析，实现对大跨度区域设施的无线远程、抗扰动、高精度和全局同步变形测量监控。

2.根据权利要求1所述的用于结构变形测量的抗扰动高精度相机群测量方法，其特征在于：所述步骤一中便携式测量装置的布置方式包括直线分布、三角分布和链式分布。

3.根据权利要求2所述的用于结构变形测量的抗扰动高精度相机群测量方法，其特征在于：所述直线分布的便携式测量装置设置有三个相机，所述相机均朝向测量区域同向拍摄，两侧相机与中间相机之间的拍摄夹角为15°至20°。

4.根据权利要求1所述的用于结构变形测量的抗扰动高精度相机群测量方法，其特征在于：所述中间相机正上方设置有测距仪，中间相机两侧的相机正上方设置有靶标，靶标反射测距仪发射的激光，实现各相机光心之间的距离测量。

5.根据权利要求1所述的用于结构变形测量的抗扰动高精度相机群测量方法，其特征在于：所述步骤四中重构三维是通过三幅图像中的特征点像素坐标用最小二乘原理进行重构，采用设置有三个相机的便携式测量装置，定义中心相机为0号相机，中心相机两侧相机分别为1号相机和2号相机；将世界坐标定义为与0号相机坐标系重合，其坐标系相对于世界坐标系的旋转矩阵为单位矩阵，平移向量为0向量；1号相机向相对于世界坐标系的旋转矩阵和平移向量为标定出的R₁和t₁，2号相机向相对于世界坐标系的旋转矩阵和平移向量为标定出的R₂和t₂，根据公式(1)，0号、1号和2号相机的投影方程分别写成：

上式中，

和

依次为0号、1号和2号相机的图像坐标，旋转矩阵和平移向量的形式如公式(7)，内参矩阵分别为A⁽⁰⁾、A⁽¹⁾和A⁽²)：

式中

为0号、1号和2号相机图像平面两个坐标轴之间的倾斜因子，转化成矩阵形式为MP_w＝Q，P_w＝(X_w Y_w Z_w)^T是待求点的三维坐标，通过最小二乘法求解点的三维坐标，M和Q的表达式如下：

Images