CN109472778A - 一种基于无人机的高耸结构外观检测方法 - Google Patents

Abstract

本发明公开了一种基于无人机的高耸结构外观检测方法，利用无人机进行高耸结构物外观检测，无人机可以快速采集图像，且不受地理环境影响进行外业工作，提出了专为无人机拍摄图像的多站点图像拼接技术，可以通过图像处理技术得到结构物全景高清图和图像几何信息，得到高耸结构物表面的所有表观缺陷信息，观测到亚毫米级的裂纹、侵蚀、泄漏、剥落等缺陷信息，满足实际工程的需求。

Description

一种基于无人机的高耸结构外观检测方法

技术领域

本发明涉及一种基于无人机的高耸结构外观检测方法。

背景技术

一种高耸结构外观检测装置及方法(CN201510875509)提供了双轴平台采集高耸结构物表面病害的方法和装置。但这种方法有存在一定的局限性：采集平台的仰角大于45°将导致图像畸变严重，图像信息缺失；随着平台与检测物距离增加，精度逐渐降低等局限性。

无人机在各行各业的逐渐应用，它已经变成会飞的生产工具，将无人机平台应用到高耸结构物外观检测，配合相应的飞行路径规划方法和图像处理技术，将极大的提高检测效率，增加适用范围，更好的解决高耸结构物检测难题。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于无人机的高耸结构外观检测方法，通过图像处理技术得到结构物全景高清图和图像几何信息，得到高耸结构物表面的所有表观缺陷信息。

为解决上述技术问题，本发明所采用的技术方案是：一种基于无人机的高耸结构外观检测方法，包括以下步骤：

1)根据监测精度γ要求、相机横向和高度方向分辨率α_L和α_H、图像重叠率ol，确定单幅图像拍摄长度S_L和高度S_H；

2)由镜头焦距、传感器尺寸、拍摄长度S_L和高度S_H，计算出无人机距离待检结构物最小距离d；

3)将无人机飞行至待检结构物右下角，并通过测距传感器调整无人机至待检结构物距离，两者距离为d，并停留获取此位置的经纬度(Lon₁,Lat₁)和高度信息(H₁)；然后飞行至待检结构物左上角，调整无人机至待检结构物距离为d，获取此位置的经纬度(Lon₂,Lat₂)和高度信息(H₂)，由此获得待检结构物的检测范围(L,H)；

4)将待检结构物进行矩阵模式分区，形成无人机的位置矩阵M(n₁,n₂)；其中，横向和高度方向飞行区域数量分别为：

5)根据无人机位置矩阵M(n₁,n₂)自动规划飞行路径，按位置矩阵序列依次给无人机发送飞行任务；首先从待检结构物左上角出发，即首先到达矩阵M(n₁,n₂)位置，接着到达M(n₁,n₂-1)，直至到M(n₁,1)，接着依次到达M(n₁-1,1)和M(n₂-1,2)，直至最后到达M(1,1)，无人机返航；无人机在RTK定位信息指引依次到达位置矩阵中每个元素标注的位置，并在元素指定位置悬停拍照，存储图像及其位置信息；

6)获取无人机***拍摄的位置矩阵序列高清图像数据和位置信息；

7)无人机拍摄图像为移动站点拍摄，即多站点图像数据，采用多权重迭代最优缝合缝方法将图像进行拼接处理；

8)对拼接后的图像进行配准处理；

9)矢量CAD文件确定配准后图像像元尺寸，并根据像元个数确定缺陷的长度、宽度和面积。

步骤1)中，20％≤ol≤50％。

步骤1)中，S_L＝γ×α_L×(1-ol)；S_H＝γ×α_H×(1-ol)。

步骤2)中，d_L＝f×S_L/SS_L；d_W＝f×S_W/SS_W；d＝min(d_L,d_H)；其中，f为相机焦距，SS_L和SS_H为相机传感器感光片的长度和高度。

步骤3)中，

H＝H₂-H₁；其中ER为地球半径。

步骤7)中，将图像进行拼接处理的具体实现过程包括：

1)根据无人机路径点顺序，对待拼接图像I_c之间的拼接顺序进行预排序，其中c表示待拼接图像的数量；

2)采用SURF特征点检测算法，查找图像特征点；

3)选取待配准的相邻图像I_i，I_j，采用RANSAC算法结合图像之间的几何信息进行特征点提纯，得到初始匹配对；

4)从初始匹配对中通过多次迭代随机选取k个特征点匹配对，k≥4；对图像进行粗配准，并利用公式估算投影变换矩阵H，其中v₁＝(x₁,y₁,z₁)，v₂＝(x₂,y₂,z₂)为I_i，I_j中对应的特征点，令z＝1，通过v₁，v₂之间的齐次线性变换关系，求得H中元素H_i,j的值，H是一个3×3的齐次矩阵；

5)采用结构保持变形算法，对粗配准后的图像进行变形，得到I_i'，I_j'；

6)采用Graphcut算法，查找I_i'，I_j'重叠区域的最佳缝合缝；

7)利用公式计算图像重叠区域中的特征点到缝合缝上像素点的距离，作为配准误差，其中v_f表示随机选取的特征点，m表示v_f的数量，v_s表示缝合缝上像素点，n表示v_s的数量；

8)重复步骤3)～步骤7)，计算所有可能的图像配准关系，将配准误差E(v)＜δ的特征点对保留下来，通常取δ＝100，对所有保留下来的特征点对合并，以此计算最终的图像配准关系，作为图像对I_i，I_j的最佳配准关系；

9)重复步骤8)，计算所有相邻图像对之间的最佳配准关系；

10)采用光束法平差算法，对所有的图像配准关系进行优化；

11)采用Graphcut算法，查找步骤10)中最终配准后图像I_c之间重叠区域的最佳缝合缝；

12)采用多波段融合技术实现图像I_c的无缝融合拼接。

与现有技术相比，本发明所具有的有益效果为：本发明利用无人机进行高耸结构物外观检测，无人机可以快速采集图像，且不受地理环境影响进行外业工作，提出了专为无人机拍摄图像的多站点图像拼接技术，可以通过图像处理技术得到结构物全景高清图和图像几何信息，得到高耸结构物表面的所有表观缺陷信息，观测到亚毫米级的裂纹、侵蚀、泄漏、剥落等缺陷信息，满足实际工程的需求；还可以获得高耸结构的表面缺陷宏观和微观的演变趋势，并建立结构物健康电子档案***。

附图说明

图1是本发明提供的基于无人机的高耸结构物外观检测***的流程图；

图2是本发明提供的无人机采集平台；

100为无人机，101高清图像采集模块，102测距仪，103GPS和RTK

图3是本发明无人机拍摄区域矩阵模式分区图；

图4是多站点图像拼接算法框图；

图5(1)是CAD图；图5(2)是配准前图像。

具体实施方式

下面结合附图对本发明进行详细的说明。

(1)无人机高清图像采集平台

无人机高清图像采集平台包括了无人机飞行翼电池等常规无人机模块100，厘米级导航定位RTK模块103，高分率(大于2000万像素)图像传感器的图像采集模块101，测距传感器102，无线传输模块和控制模块；其中无线传输模块将所拍摄的图像信息和RTK等定位信息发送到地面控制中心，控制中心将指令传输给无人机。实施过程如下：

首先根据结构物检测精度要求、无人机的相机焦距及其传感器尺寸、图像重叠率确定无人机航线横向步长S_L和竖向步长S_H，并计算出无人机距离待检结构物最小距离d。

接着无人机在地面控制操作下到达图3的右下角即图中①点位置，调整无人机至结构物距离，直至测距传感器测距为d，通过无人机定位***读取此点的经纬度(Lon₁,Lat₁)和高度信息(H₁)；然后地面控制操作下到达图3的左上角即图中②点位置，调整无人机至结构物距离，直至测距传感器测距为d，读取此点的经纬度(Lon₂,Lat₂)和高度信息(H₂)，至此自动确定了检测区域，即如图3所示的整个区域。

然后根据检测区域和步长，计算出结构物的网格划分即位置矩阵M(n₁,n₂)，无人机根据位置矩阵网格，规划飞行路径。首先无人机从图3的2点即M(n₁,n₂)开始悬停，通过地面中心控制***自动完成图像对焦和拍摄；无人机自动向左横向移动至下一个网格点即图3中的黑色圆点，悬停对焦拍摄；到达最后网格一列M(n₁,1)，接着无人机沿着箭头向下飞行至黑色圆点，悬停对焦拍摄，然后沿着箭头方向向右横移，往返飞行，直至到达图中①点位置，悬停对焦拍摄，最后返航，这个检测区域图像采集工作结束。

(2)图像拼接处理

图3所示，无人机根据结构物的网格矩阵拍摄了n₁×n₂张高清图像，这些图像是无人机在不同位置上近距离拍摄的一系列图像，不同于固定位置的相机，这些图像存在运动视差，因此多站点图像拼接是此项技术的核心工作。

首先根据将这些图像文件整理成为矩阵式图像序列，如图3所示。具体拼接算法过程如图4所示，算法具体实现过程如下：

1)根据无人机路径点顺序，对待拼接图像I_c之间的拼接顺序进行预排序，其中c表示待拼接图像的数量；

2)采用SURF特征点检测算法，查找图像特征点；

3)选取待配准的相邻图像I_i，I_j，采用RANSAC算法结合图像之间的几何信息进行特征点提纯，得到初始匹配对；

4)从初始匹配对中通过多次迭代随机选取k个特征点匹配对，k≥4；对图像进行粗配准，并利用公式估算投影变换矩阵H，其中v₁＝(x₁,y₁,z₁)，v₂＝(x₂,y₂,z₂)为I_i，I_j中对应的特征点，令z＝1，通过v₁，v₂之间的齐次线性变换关系，求得H中元素H_i,j的值，H是一个3×3的齐次矩阵；

5)采用结构保持变形算法，对粗配准后的图像进行变形，得到I_i'，I_j'；

6)采用Graphcut算法，查找I_i'，I_j'重叠区域的最佳缝合缝；

7)利用公式计算图像重叠区域中的特征点到缝合缝上像素点的距离，作为配准误差，其中v_f表示随机选取的特征点，m表示v_f的数量，v_s表示缝合缝上像素点，n表示v_s的数量；

8)重复步骤3)～步骤7)，计算所有可能的图像配准关系，将配准误差E(v)＜δ的特征点对保留下来，通常取δ＝100，对所有保留下来的特征点对合并，以此计算最终的图像配准关系，作为图像对I_i，I_j的最佳配准关系；

9)重复步骤8)，计算所有相邻图像对之间的最佳配准关系；

10)采用光束法平差算法，对所有的图像配准关系进行优化；

11)采用Graphcut算法，查找步骤10)中最终配准后图像I_c之间重叠区域的最佳缝合缝；

12)采用多波段融合技术实现图像I_c的无缝融合拼接。

(3)图形配准处理

上一步骤完成了高清图片的拼接工作，结构物全景图像已经建立起来。接下来就是高清图像的配准工作，其目的是：对高清全景图像进行裁剪和校准，使得图像中结构物与相应的CAD矢量图坐标、尺寸相一致，即将结构物图像配准到CAD图形之中。

配准的方法是通过坐标变化将图像中的每个像素变换到CAD坐标系中对应的坐标位置，使得图像变成与地图类似具备几何坐标和尺寸信息的图像文件。其具体步骤如下：

a)将上述高清图图形进行灰度化、均衡化和二值化处理，获取图像中结构物的边界位置信息。

b)全景图像中的结构物与其实际形状和尺寸有偏差，如图5(1)和图5(2)所示，图形配准的目的就是将图像数据进行几何变换，实现与CAD图形一一对应。将图像中结构物边界坐标与CAD图中结构物边界坐标一一对应，通过双线性变化，来为图像中每个像素确定正确的坐标位置(x,y)，图5(1)和图5(2)的双线映射关系如下：

c)将A和A’、B和B’等相应4个点分别带入式(9)，即可求出上述a-h的8个系数。

e)通过上述变换后，实现每个像素的坐标与实际CAD图纸坐标一一对应，完成图像与CAD图纸配准。

(4)数据库***

图形进行配准后，由矢量CAD文件确定了图像像素与结构实际尺寸的关系。并根据像素个数确定缺陷的长度、宽度和面积。完成配准后的图像可以采用地图集的方式对结构物外观的缺陷进行标记和量测。并将这些缺陷数据如：位置、长度、宽度和面积记录到数据库之中，形成缺陷信息数据库。

在配准后的图像文件之中，对缺陷分类标注和编号，测量其位置和尺寸，得到能反映结构物健康状态的缺陷信息数据库。将历史检测结果进行对比分析，结合大数据技术，研究和判断结构物健康状态和趋势。为高耸结构物的管养和维护提供科学、全面的数据。

Claims (6)

1.一种基于无人机的高耸结构外观检测方法，其特征在于，包括以下步骤：

1)根据监测精度γ要求、相机横向和高度方向分辨率α_L和α_H、图像重叠率ol，确定单幅图像拍摄长度S_L和高度S_H；

2)由镜头焦距、传感器尺寸、拍摄长度S_L和高度S_H，计算出无人机距离待检结构物最小距离d；

3)将无人机飞行至待检结构物右下角，并通过测距传感器调整无人机至待检结构物距离，两者距离为d，并停留获取此位置的经纬度(Lon₁，Lat₁)和高度信息(H₁)；然后飞行至待检结构物左上角，调整无人机至待检结构物距离为d，获取此位置的经纬度(Lon₂，Lat₂)和高度信息(H₂)，由此获得待检结构物的检测范围(L，H)；

4)将待检结构物进行矩阵模式分区，形成无人机的位置矩阵M(n₁，n₂)；其中，横向和高度方向飞行区域数量分别为：

5)根据无人机位置矩阵M(n₁，n₂)自动规划飞行路径，按位置矩阵序列依次给无人机发送飞行任务；首先从待检结构物左上角出发，即首先到达矩阵M(n₁，n₂)位置，接着到达M(n₁，n₂-1)，直至到M(n₁，1)，接着依次到达M(n₁-1，1)和M(n₂-1，2)，直至最后到达M(1，1)，无人机返航；无人机在RTK定位信息指引依次到达位置矩阵中每个元素标注的位置，并在元素指定位置悬停拍照，存储图像及其位置信息；

6)获取无人机***拍摄的位置矩阵序列高清图像数据和位置信息；

7)无人机拍摄图像为移动站点拍摄，即多站点图像数据，采用“多权重迭代最优缝合缝”方法将图像进行拼接处理；

8)对拼接后的图像进行配准处理；

9)矢量CAD文件确定配准后图像像元尺寸，并根据像元个数确定缺陷的长度、宽度和面积。

2.根据权利要求1所述的方法，其特征在于，步骤1)中，20％≤ol≤50％。

3.根据权利要求1所述的方法，其特征在于，步骤1)中，S_L＝γ×α_L×(1-ol)；S_H＝γ×α_H×(1-ol)。

4.根据权利要求1所述的方法，其特征在于，步骤2)中，d_L＝f×S_L/SS_L；d_W＝f×S_W/SS_W；d＝min(d_L，d_H)；其中，f为相机焦距，SS_L和SS_H为相机传感器感光片的长度和高度。

5.根据权利要求1所述的方法，其特征在于，步骤3)中，

；

H＝H₂-H₁；其中ER为地球半径。

6.根据权利要求1所述的方法，其特征在于，步骤7)中，将图像进行拼接处理的具体实现过程包括：

1)根据无人机路径点顺序，对待拼接图像I_c之间的拼接顺序进行预排序，其中c表示待拼接图像的数量；

2)采用SURF特征点检测算法，查找图像特征点；

3)选取待配准的相邻图像I_i，I_j，采用RANSAC算法结合图像之间的几何信息进行特征点提纯，得到初始匹配对；

4)从初始匹配对中通过多次迭代随机选取k个特征点匹配对，k≥4；对图像进行粗配准，并利用公式估算投影变换矩阵H，其中v₁＝(x₁，y₁，z₁)，v₂＝(x₂，y₂，z₂)为I_i，I_j中对应的特征点，令z＝1，通过v₁，v₂之间的齐次线性变换关系，求得H中元素H_i，j的值，H是一个3×3的齐次矩阵；

5)采用结构保持变形算法，对粗配准后的图像进行变形，得到I_i′，I_j′；

6)采用Graphcut算法，查找I_i′，I_j′重叠区域的最佳缝合缝；

7)利用公式计算图像重叠区域中的特征点到缝合缝上像素点的距离，作为配准误差，其中v_f表示随机选取的特征点，m表示v_f的数量，v_s表示缝合缝上像素点，n表示v_s的数量；

8)重复步骤3)～步骤7)，计算所有可能的图像配准关系，将配准误差E(v)＜δ的特征点对保留下来，通常取δ＝100，对所有保留下来的特征点对合并，以此计算最终的图像配准关系，作为图像对I_i，I_j的最佳配准关系；

9)重复步骤8)，计算所有相邻图像对之间的最佳配准关系；

10)采用光束法平差算法，对所有的图像配准关系进行优化；

11)采用Graphcut算法，查找步骤10)中最终配准后图像I_c之间重叠区域的最佳缝合缝；

12)采用多波段融合技术实现图像I_c的无缝融合拼接。