CN105735150A - 一种移动多目视觉桥梁常规检测方法 - Google Patents

Abstract

一种移动多目视觉桥梁常规检测方法，具体实施步骤如下：A.搭建无人机装置、参数设置及机载装置标定；B.桥梁结构三维模型扫描构建与飞行路线确定；C.桥梁常规扫描检测和外观图像传输与存储；D.桥梁状态评估及多媒体诊断总结。

Description

一种移动多目视觉桥梁常规检测方法

技术领域

本发明涉及到使用无人机、高清摄像头、数字图像处理技术对桥梁进行常规检测。

背景技术

桥梁是确保道路、公路、铁路等畅通的咽喉，在交通***中发挥着极为重要的作用，桥梁安全在国家经济发展中起到举足轻重的作用。然而由于环境腐蚀、设计不当、材料缺陷、车辆超载、不可抗力因素等会引起桥梁结构发生不同程度的损伤。近年来各地桥梁发生的事故大多由于桥梁检测缺少和养护不当引起。这些损伤最终会导致桥梁出现结构坏损，甚至垮塌造成重大的人员和财产损失。桥梁常规检测可以有效的侦测早期安全隐患，防止损伤的不断积累，避免灾难性事故发生。因此，通过实施桥梁的经常性安全检测以预防桥梁安全事故的发生具有重要意义。桥梁常规检测主要包括对桥梁进行外观检查，如裂缝、锈蚀、锈胀、剥落、表面缺陷、桥台错位、伸缩缝异常、桥头平顺性检查、路面缺陷以及特殊构件如螺栓等缺少问题。

传统的常规桥梁检测方式主要是人工巡检。所采用的设备主要检测设备或方法有普通数码相机、望远镜和远程拍摄、桥检车、预置轨道视频检测等。然而，作为人工巡检方式除了耗时耗力、效率低和容易漏检等缺陷之外，使用这些检测设备或方法也存在如下弊端：

(1)普通数码相机：采用数码相机进行人工巡检过程中只能对人们容易拍摄到的地方进行检查和记录，对一些难以拍摄到的位置则很难拍摄到清晰的图像，这就不得不借用桥检车、船舶等特殊交通工具才能实现，并且普通数码相机只能对检测对象进行平面拍摄，不能得到如裂缝、锈蚀等桥梁结构缺陷的三维特征；

(2)桥检车：检测成本高、时间长，影响正常交通，检测人员高空作业存在安全隐患，检测范围受桥梁周围环境影响，对高墩、特殊结构桥梁，存在检测盲区；

(3)人工望远镜和远程拍摄：距离检测目标较远，不易发现桥梁裂缝、结构件脱落等病害，存在检测盲区，高倍望远镜人工监测仪器架设受地形影响大，检测人员工作量巨大，桥墩病害不易准确定位和描述；

(4)预置轨道视频检测不方便实施，施工时间长、成本高，轨道不能在其他桥梁上重复应用。

传统的桥梁常规检测方法虽然也有如激光扫描、雷达检测、超声波检测等无损检测方法和智能化检测方法，但是都需要借助精密仪器、检测技术复杂、操作繁琐、检测成本高等。在当前桥梁安全检测需求迅速增长的情况下，如果能够使用一种操作简单、成本低、安全性高的检测***或方法，将有助于提高桥梁检测效率和检测质量，从而保证桥梁安全运营。

发明内容

本发明要克服传统的桥梁常规检测方法的弊端，提出一种移动多目视觉桥梁常规检测方法。本检测方法主要采用无人机搭载多个高清摄像头、雷达、照明光源、无线高速图像传输装置以及平板电脑等对被检测桥梁进行全方位的扫描拍摄，并将图像数据保存，再通过平板电脑上的数字图像数据处理平台进行数据处理，从而实现桥梁健康状态安全检测和评估。

本发明要解决以下几个方面的问题：

一是解决传统人工巡检出现的效率低、可靠度低、人工工作量大及漏检事件多的缺陷；

二是解决传统的桥梁常规检测需要封闭交通等带来的交通拥堵问题；

三是解决传统方法中采用普通数码相机只能对桥梁结构进行二维评估，而不能对被检测结构的三维特点进行全方面评估带来的不足；

四是解决传统检测方法需要桥检测、船舶等特殊交通工具带来的不便和检测人员安全隐患；

五是解决传统检测方法中远距离拍摄不能清楚检测目标细观特征等缺陷；

六是解决传统检测方法中只能采用文本和图片作为检测结果形式，而不能全面的阐明桥梁健康状态的弊端。

本发明所述的一种移动多目视觉桥梁常规检测方法，具体实施步骤如下：

A.搭建无人机装置、参数设置及机载装置标定；

A1.搭建移动多目视觉桥梁常规检测方法，每个无人机携带多个高清摄像头、雷达和照明光源等；

A2.在当前桥梁检测环境下进行无人机试飞实验，反复调整控制参数以适应当前风速风向等带来的无人机飞行及悬停稳定性问题，使得携带装备的无人机能稳定飞行和悬停；

A3.调整无人机主方向两个摄像头拍摄参数及朝向，反复调整照明光源的亮度及角度以得到测量区域的最佳图像；

A4.利用雷达测距进行空间尺寸量度，并结合空间几何信息对多个摄像头进行几何标定，建立图像空间与实际空间的关系；

B.桥梁结构三维模型扫描构建与飞行路线确定；

B1.启动多个无人机对被测桥梁进行快速空间扫描，并将所有图像数据传输到控制端的平板电脑当中，无人机扫描采用雷达进行避障，防止无人机被撞坏；

B2.整合多个无人机拍摄到的图像数据及无人机的扫描路线，建立桥梁像素尺度三维虚拟模型；

B3.根据A中的几何标定关系将桥梁像素尺度虚拟模型转换为桥梁空间尺度模型，并保存在平板电脑中；

B4.根据桥梁空间尺度模型确定无人机进行桥梁检测的路线，并制定自动化桥梁结构图像扫描策略；

C.桥梁常规扫描检测和外观图像传输与存储；

C1.检查无人机电源装置，并进行电源补给；

C2.多个无人机按照B中制定的自动化桥梁结构图像扫描策略对桥梁结构进行全面检测，并实时传输到平板电脑中，拍摄到的图像根据无人机所处位置反馈至桥梁空间尺度模型当中，无人机行进过程中通过雷达进行避障处理，防止扫描中撞到桥梁结构而损坏，直到扫描任务完成进入下一步；

D.桥梁状态评估及多媒体诊断总结；

D1.对摄像头拍摄到的所有图像进行降噪处理，通过图像恢复和图像增强的方法得到预处理图像；

D2.对图像进行Hough变换，采用图像边缘处理算法得到图像上的特征通过区域分割和支持向量机的方法对结构损伤等进行分类识别；

D3.识别桥梁所有拍摄区域内的裂缝、锈蚀、锈胀、剥落、表面缺陷、桥台错位、伸缩缝异常、桥头不平顺性、路面缺陷、特殊部件缺失等，并将发生的缺陷问题与桥梁空间模型对应，并建立桥梁检测数据库；

D4.通过数字图像处理方法和标定信息对桥梁结构缺陷进行定量化分析，确定缺陷的尺寸及严重程度(如裂缝长度、宽度、深度和发展方向等)，并做评估；

D5.完成桥梁检测报告，并通过多媒体方式(桥梁检测空间模型、文本、图像等)方式对检测结果进行展示。

本发明中使用多个无人机进行桥梁全面检测，由于单个无人机续航能力有限，对于大型的桥梁结构来讲，常规扫描检查的工作量较大，单个无人机不能完成任务。所以在实际的操作过程中需要根据检测工作量来确定参与检测的无人机的数量。在进行正式的桥梁检测之前需要采用无人机对桥梁进行快速空间扫描，以建立桥梁空间尺度模型，在后续的检测工作当中所有的检测区域均可以在桥梁空间尺度模型中进行对应。本发明中采用了雷达进行测距，并将测距结果当做标定参照信息。另外，本发明中采用雷达进行避障处理，防止无人机撞到桥梁结构而毁坏。为了方便检测，控制端的平板电脑可以对无人机的扫描路线进行设定，让无人机对桥梁进行自动化扫描。无人机拍摄到的图像通过无线方式直接传递到控制端的平板电脑当中，平板电脑安装有一套图像处理软件，可以对拍摄到的图像进行数字处理和特征识别以及结构外观损伤量化分析。本发明的多目是指由多个摄像头来模拟人眼，通过摄像头拍照的形式给出三维视觉信号。将机器代替人眼用以执行传统人工巡检中人工的那部分功能，如此更加客观化和标准化，而且在长时间的桥梁检测过程中具有更好的稳定性。

本发明的优点是：

1、解决了传统人工巡检出现的效率低、可靠度低、人工工作量大及漏检事件多的缺陷；

2、解决了传统的桥梁常规检测需要封闭交通等带来的交通拥堵问题；

3、解决了传统方法中采用普通数码相机只能对桥梁结构进行二维评估，而不能对被检测结构的三维特点进行全方面评估带来的不足，通过多个摄像头可以对桥梁检测对象进行三维量化评估分析；

4、解决了传统检测方法需要桥检车、船舶等特殊交通工具带来的不便和检测人员安全隐患；

5、解决了传统检测方法中远距离拍摄不能清楚检测目标细观特征等缺陷，无人机可以近距离进行桥梁检测；

6、采用雷达测距技术为多摄像头拍摄的图像进行三维构建提供标定参照信息；

7、采用雷达避障技术防止无人机在桥梁检测过程当中因为撞到桥梁而发生毁坏的事故；

8、通过多个无人机对桥梁进行快速扫描，构建桥梁的三维模型；

9、采用多个无人机对桥梁进行检测，解决了单个无人机续航能力有限的弊端；

10、通过数字图像处理技术来对拍摄到的桥梁检测目标进行处理，使检测结果具有客观性和准确性；

11、解决传统检测方法中只能采用文本和图片作为检测结果形式，而不能全面的阐明桥梁健康状态的弊端，这里检测结果可以通过多媒体方式(桥梁检测空间模型、文本、图像)方式进行展示。

附图说明

图1本发明的装置示意图。

图2本发明的实施流程图。

图例说明：图1中的代号分别表示：

1——无人机，

2——雷达，

3到10——高清摄像头，

11——照明光源，

12——平板电脑，

13——桥梁。

备注：本发明中选取一座斜拉桥为例对整个实施过程进行说明，无人机搭载了8个高清摄像头进行扫描拍摄。为了确定无人机的主方向，其上面每个摄像头均用不同标号，其中3和10两个摄像头的朝向为无人机主方向。在桥梁检测过程中启用了多个无人机，这里统一用标号1来表示。

具体实施方式

以下结合图1中所示的案例、图2中所示的实施流程图进一步阐述本发明。

参见图1和图2，本发明中所举案例为利用一种移动多目视觉桥梁常规检测方法对一座斜拉桥进行常规检测，具体的实施步骤如下：

本发明所述的，具体实施步骤如下：

A.搭建无人机装置、参数设置及机载装置标定；

A1.搭建移动多目视觉桥梁常规检测***，每个无人机1携带多个高清摄像头(3到10)、雷达2和照明光源11等；

A2.在当前桥梁13检测环境下进行无人机1试飞实验，反复调整控制参数以适应当前风速风向等带来的无人机1飞行及悬停稳定性问题，使得携带装备的无人机1能稳定飞行和悬停；

A3.调整无人机主方向两个摄像头(3和10)拍摄参数及朝向，反复调整照明光源11的亮度及角度以得到测量区域的最佳图像；

A4.利用雷达2测距进行空间尺寸量度，并结合空间几何信息对多个摄像头(3和10)进行几何标定，建立图像空间与实际空间的关系；

B.桥梁结构三维模型扫描构建与飞行路线确定；

B1.启动多个无人机1对被测桥梁13进行快速空间扫描，并将所有图像数据传输到控制端的平板电脑12当中，无人机1扫描采用雷达2进行避障，防止无人机1被撞坏；

B2.整合多个无人机1拍摄到的图像数据及无人机的扫描路线，建立桥梁13像素尺度三维虚拟模型；

B3.根据A中的几何标定关系将桥梁13像素尺度虚拟模型转换为桥梁13空间尺度模型，并保存在平板电脑12中；

B4.根据桥梁13空间尺度模型确定无人机进行桥梁检测的路线，并制定自动化桥梁结构图像扫描策略；

C.桥梁常规扫描检测和外观图像传输与存储；

C1.检查无人机1电源装置，并进行电源补给；

C2.多个无人机1按照B中制定的自动化桥梁结构图像扫描策略对桥梁13结构进行全面检测，并实时传输到平板电脑12中，拍摄到的图像根据无人机1所处位置反馈在桥梁13空间尺度模型当中，无人机1行进过程中通过雷达2进行避障处理，防止扫描中撞到桥梁13结构而损坏，直到扫描任务完成进入下一步；

D.桥梁状态评估及多媒体诊断总结；

D1.对摄像头(3和10)拍摄到的所有图像进行降噪处理，通过图像恢复和图像增强的方法得到预处理图像；

D2.对图像进行Hough变换，采用图像边缘处理算法得到图像上的特征通过区域分割和支持向量机的方法对结构损伤等进行分类识别；

D3.识别桥梁所有拍摄区域内的裂缝、锈蚀、锈胀、剥落、表面缺陷、桥台错位、伸缩缝异常、桥头不平顺性、路面缺陷、特殊部件缺失等，并将发生的缺陷问题与桥梁空间模型对应，并建立桥梁检测数据库；

D4.通过数字图像处理方法和标定信息对桥梁13结构缺陷进行定量化分析，确定缺陷的尺寸及严重程度(如裂缝长度、宽度、深度和发展方向等)，并做评估；

D5.完成桥梁检测报告，并通过多媒体方式(桥梁检测空间模型、文本、图像等)方式对检测结果进行展示。

本发明中使用了多个无人机进行桥梁全面检测，由于单个无人机续航能力有限，对于大型的桥梁结构来讲，常规扫描检查的工作量较大，单个无人机不能完成任务。所以在实际的操作过程中需要根据检测工作量来确定参与检测的无人机的数量。在进行正式的桥梁检测之前需要采用无人机对桥梁进行快速空间扫描，以建立桥梁空间尺度模型，在后续的检测工作当中所有的检测区域均可以在桥梁空间尺度模型中进行对应。本发明中采用了雷达进行测距，并将测距结果当做标定参照信息。另外，本发明中采用雷达进行避障处理，防止无人机撞到桥梁结构而毁坏。为了方便检测，控制端的平板电脑可以对无人机的扫描路线进行设定，让无人机对桥梁进行自动化扫描。无人机拍摄到的图像通过无线方式直接传递到控制端的平板电脑当中，平板电脑安装有一套图像处理软件，可以对拍摄到的图像进行数字处理和特征识别以及结构外观损伤量化分析。本发明的多目是指由多个摄像头来模拟人眼，通过摄像头拍照的形式给出三维视觉信号。将机器代替人眼用以执行传统人工巡检中人工的那部分功能，如此更加客观化和标准化，而且在长时间的桥梁检测过程中具有更好的稳定性。

本说明书实施案例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施案例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种移动多目视觉桥梁常规检测方法，具体实施步骤如下：

A.搭建无人机装置、参数设置及机载装置标定；

A1.搭建移动多目视觉桥梁常规检测***，每个无人机携带多个高清摄像头、雷达和照明光源等；

A2.在当前桥梁检测环境下进行无人机试飞实验，反复调整控制参数以适应当前风速风向等带来的无人机飞行及悬停稳定性问题，使得携带装备的无人机能稳定飞行和悬停；

A3.调整无人机主方向两个摄像头拍摄参数及朝向，反复调整照明光源的亮度及角度以得到测量区域的最佳图像；

A4.利用雷达测距进行空间尺寸量度，并结合空间几何信息对多个摄像头进行几何标定，建立图像空间与实际空间的关系；

B.桥梁结构三维模型扫描构建与飞行路线确定；

B1.启动多个无人机对被测桥梁进行快速空间扫描，并将所有图像数据传输到控制端的平板电脑当中，无人机扫描采用雷达进行避障，防止无人机被撞坏；

B2.整合多个无人机拍摄到的图像数据及无人机的扫描路线，建立桥梁像素尺度三维虚拟模型；

B3.根据A中的几何标定关系将桥梁像素尺度虚拟模型转换为桥梁空间尺度模型，并保存在平板电脑中；

B4.根据桥梁空间尺度模型确定无人机进行桥梁检测的路线，并制定自动化桥梁结构图像扫描策略；

C.桥梁常规扫描检测和外观图像传输与存储；

C1.检查无人机电源装置，并进行电源补给；

C2.多个无人机按照B中制定的自动化桥梁结构图像扫描策略对桥梁结构进行全面检测，并实时传输到平板电脑中，拍摄到的图像根据无人机所处位置反馈至桥梁空间尺度模型当中，无人机行进过程中通过雷达进行避障处理，防止扫描中撞到桥梁结构而损坏，直到扫描任务完成进入下一步；

D.桥梁状态评估及多媒体诊断总结；

D1.对摄像头拍摄到的所有图像进行降噪处理，通过图像恢复和图像增强的方法得到预处理图像；

D2.对图像进行Hough变换，采用图像边缘处理算法得到图像上的特征通过区域分割和支持向量机的方法对结构损伤等进行分类识别；

D3.识别桥梁所有拍摄区域内的裂缝、锈蚀、锈胀、剥落、表面缺陷、桥台错位、伸缩缝异常、桥头不平顺性、路面缺陷、特殊部件缺失等，并将发生的缺陷问题与桥梁空间模型对应，并建立桥梁检测数据库；

D4.通过数字图像处理方法和标定信息对桥梁结构缺陷进行定量化分析，确定缺陷的尺寸及严重程度(如裂缝长度、宽度、深度和发展方向等)，并做评估；

D5.完成桥梁检测报告，并通过多媒体方式(桥梁检测空间模型、文本、图像等)方式对检测结果进行展示。