CN109978032B - 基于空间金字塔空洞卷积网络的桥梁裂缝检测方法 - Google Patents

Abstract

本发明公开了一种基于空间金字塔空洞卷积网络的桥梁裂缝检测方法，其步骤为：1、构建空间金字塔空洞卷积网络；2、生成训练集、标签、测试集；3、对训练集和测试集中的每一幅图像进行预处理；4、训练空间金字塔空洞卷积网络；5、对测试集进行检测；6、计算桥梁裂缝图像的测试指标。本发明通过搭建空间金字塔空洞卷积网络，保证了空间金字塔空洞卷积网络对桥梁裂缝图像的检测，利用随机梯度下降方法对空间金字塔空洞卷积网络在大数据集上进行训练，保证了空间金字塔空洞卷积网络对桥梁裂缝图像检测的鲁棒性和准确率，并且使得训练能够在较短时间内完成。

Description

基于空间金字塔空洞卷积网络的桥梁裂缝检测方法

技术领域

本发明属于物理技术领域，更进一步涉及图像处理技术领域的一种基于空间金字塔空洞卷积网络的混凝土桥梁裂缝检测方法。本发明可应用于对混凝土桥梁图像中的裂缝进行检测。

背景技术

衡量混凝土桥梁病害程度的指标是由裂缝长度、宽度和数量等信息所构成。常见的混凝土桥梁裂缝信息获取方法有：放大镜测量法或者裂缝测量仪是手工操作，效率低，测试精度低，成本高并且在混凝土桥梁现场可能对工人造成一定的危险；深度学习检测方法是自动化的操作方法，效率高，测量精度高，成本低，是目前混凝土桥梁裂缝检测领域研究最多的技术，该方法是通过高清摄像机完成图像采集，计算机对采集的混凝土桥梁裂缝图像进行处理和计算得到裂缝的长度，宽度，数量等相关信息，从而根据得到的这些信息对混凝土桥梁病害程度进行评定。

西安电子科技大学在其申请的专利文献“基于HOG特征的混凝土桥梁表面裂缝检测方法”(专利申请号：2017102250202，申请公开号：CN107169953A)中提出利用HOG(Histogram of Oriented Gradient)特征对混凝土桥梁裂缝进行检测的方法。该方法的步骤是，输入彩色图像H，转化为灰度图并进行去噪滤波，然后对滤波图像进行二值化处理，统计梯度方向直方图，并根据统计结果对去噪灰度二值图像块进行初步处理与合并，得到图像H的完整二值图像；接下来计算图像H的HOG(Histogram of Oriented Gradient)特征，训练SVM分类器，计算彩色图像N的HOG(Histogram of Oriented Gradient)特征，输入SVM分类器，对图像N的各像素点进行分类，并标记分类结果，得到检测到的裂缝图。该方法虽然可以通过HOG(Histogram of Oriented Gradient)特征进行分类训练，但是，该方法仍然存在的不足之处是，由于混凝土桥梁裂缝图像的噪音点较多，HOG特征(Histogram of OrientedGradient)对噪点相当敏感，造成提取HOG(Histogram of Oriented Gradient)特征时精度降低，由于HOG特征提取精度低，造成SVM利用HOG特征分类时精度降低，从而造成混凝土桥梁裂缝检测精度降低。

南京理工大学在其申请的专利文献“基于多种低层显著特征的路面裂缝检测方法”(专利申请号：201410141476.7，申请公开号：103903268A)中提出了一种基于多种低层显著特征的路面裂缝检测方法。该方法的步骤是，采集路面灰度图像，将图像划分为几个局部分块，计算每个像素的稀少性概率，生成裂缝特征图，通过贝叶斯理论的双邻域扩张提取裂缝，再通过自适应阈值分割进行区域增长增强进一步提取裂缝，最后计算裂缝的面积、位置等各项具体参数。该方法虽然能够检测出裂缝，但是该方法的不足之处在于，由于裂缝图像背景像素的干扰，在计算像素稀少性概率时造成误差较大，因此检测的裂缝图像分辨率较差。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于空间金字塔空洞卷积网络的混凝土桥梁裂缝检测方法，通过构建于空间金字塔空洞卷积网络，设置检测状态，快速的检测混凝土桥梁图像中是否含有裂缝。

为实现上述目的，本发明的方法包括如下步骤：

(1)构造空间金字塔空洞卷积网络：

(1a)搭建一个由主网络和子网络并联组成的空间金字塔空洞卷积网络；

所述主网络由输入层和第1个卷积层组成；

所述子网络由四个分支并联组成：分支1由主网络的输入层与第1个空洞卷积层组成；分支2由主网络的输入层与第2个空洞卷积层组成；分支3由主网络的输入层与第3个空洞卷积层组成；分支4由主网络的输入层与池化层组成；

(1b)设置空间金字塔空洞卷积网络的各层参数如下：

将输入层的特征映射图数目设置为1024；

将四个卷积层的特征映射图数目均设置为512，卷积核的大小依次设置为1×1、3×3、3×3、3×3，第2个卷积层、第3个卷积层和第4个卷积层的空洞率设置依次为为6、12、18；

将池化层下采样滤波器尺寸设置为2×2；

(2)生成训练数据集、标签数据集、测试数据集：

(2a)实时采集至少1000张混凝土桥梁裂缝图像，且每张都均有混凝土桥梁裂缝，将所采集的图片组成空间金字塔空洞卷积网络数据集，从空间金字塔空洞卷积网络数据集中随机提取70％的图片组成训练数据集，剩余的30％图片组成测试数据集；

(2b)对训练数据集中的每一张混凝土桥梁裂缝图像中的裂缝像素进行人工标注，生成标注图像，组成标签数据集；

(3)对待检测的混凝土桥梁裂缝图像进行预处理：

(3a)利用梯度计算方法，对混凝土桥梁裂缝图像在横向和纵向做卷积核操作，计算每个像素点的梯度值，并根据横向和纵向的梯度值，计算梯度方向角度，将所有梯度值组成一个梯度图像；

(3b)对混凝土桥梁裂缝图像矩阵和特征矩阵进行归一化，将图像中的元素值归一化到[0，1]之间，得到归一化的图像；

(4)训练空间金字塔空洞卷积神经网络：

将训练数据集输入到空间金字塔空洞卷积神经网络，采用梯度下降方法，不断调整优化网络训练参数，直到空间金字塔空洞卷积神经网络损失值小于预先设定值0.3，得到训练好的空间金字塔空洞卷积神经网络；

(5)对测试数据集进行检测：

将测试数据集输入到训练好的空间金字塔空洞卷积神经网络，从混凝土桥梁裂缝图像中提取裂缝像素。

与现有技术相比本发明有以下优点：

第一，由于本发明搭建了空间金字塔空洞卷积网络对混凝土桥梁裂缝进行检测，克服了现有技术因混凝土桥梁裂缝图像背景复杂导致的检测精确率低的问题，使得本发明提高了混凝土桥梁裂缝检测的精确率。

第二，由于本发明通过将测试集输入到训练好的空间金字塔空洞卷积网络中，对混凝土桥梁裂缝进行检测，克服了现有技术对图像的多尺度物体检测不到的问题，使得本发明提高了混凝土桥梁裂缝检测的分辨率。

附图说明

图1为本发明的流程图。

图2为本发明的仿真效果图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，对本发明实现的具体步骤做进一步的详细描述。

为实现上述目的，本发明的方法包括如下步骤：

步骤1，构造空间金字塔空洞卷积网络：

搭建一个由主网络和子网络并联组成的空间金字塔空洞卷积网络，其中，所述主网络由输入层和第1个卷积层组成；

所述子网络由四个分支并联组成：分支1由主网络的输入层与第1个空洞卷积层组成；分支2由主网络的输入层与第2个空洞卷积层组成；分支3由主网络的输入层与第3个空洞卷积层组成；分支4由主网络的输入层与池化层组成；

设置空间金字塔空洞卷积网络的各层参数如下：将输入层的特征映射图数目设置为1024；将四个卷积层的特征映射图数目均设置为512，卷积核的大小依次设置为1×1、3×3、3×3、3×3，第2个卷积层、第3个卷积层和第4个卷积层的空洞率设置依次为为6、12、18；将池化层下采样滤波器尺寸设置为2×2；

步骤2，生成训练数据集、标签数据集和测试数据集：

采集至少1000张混凝土桥梁裂缝图像且每张都均有混凝土桥梁裂缝，将所采集的图片组成空间金字塔空洞卷积网络数据集，从空间金字塔空洞卷积网络数据集中随机提取70％的图片组成训练数据集，剩余的30％图片组成测试数据集；对训练数据集中的每一张混凝土桥梁裂缝图像中的裂缝像素进行人工标注，生成标注图像，组成标签数据集。

步骤3，对待检测的混凝土桥梁裂缝图像进行预处理：

利用梯度计算方法，对混凝土桥梁裂缝图像在横向Gx和纵向Gy做卷积核运算，计算每个像素点的梯度值，并根据横向和纵向的梯度值，计算梯度方向角度，将所有梯度值组成一个梯度图像，Gx方向卷积核与Gy方向的卷积核如下：

I为输入的混凝土桥梁裂缝图像3×3矩阵。

对混凝土桥梁裂缝图像矩阵进行归一化，将图像矩阵中的元素值归一化到[0，1]之间，得到归一化的图像矩阵；

步骤4，训练空间金字塔空洞卷积神经网络：

将深度学习网络的网络参数和网络结构加载到电脑内存中；

将训练数据集的样本输入到空间金字塔空洞卷积神经网络中，采用随机梯度下降方法，对空间金字塔空洞卷积神经网络参数进行迭代更新，得到训练好的空间金字塔空洞卷积神经网络。

所述梯度下降方法的步骤如下：

第一步，在[10000,12000]的范围，任意选取一个值作为金字塔空洞卷积网络的迭代次数，将5层金字塔空洞卷积网络的所有164778个参数值均设置成高斯随机数，所述高斯随机数的均值为0.0001，方差设置为0.5，学习速率设置为0.005；

第二步，从金字塔空洞卷积的训练数据集中随机选取10张图像

第三步，按照下式，计算所有训练数据集损失值的平均值：

其中，L表示所有训练数据集损失值的平均值，∑表示求和操作，i表示训练数据集中每一幅图像的序号，i＝1,2,3,4，y_i表示训练数据集每一幅图像的期望输出，y_{i_}表示训练数据集每一幅图像训练的实际输出。

第四步，按照下式，更新金字塔空洞卷积网络中每一个参数：

其中，

表示金字塔空洞卷积网络中第x个参数更新后的值，θ_x表示金字塔空洞卷积网络中第x个参数更新前的值，

表示求导操作；

第五步，判断当前迭代次数是否等于设定的金字塔空洞卷积网络的迭代次数，若是，则执行第六部，否则，执行第二步；

第六部，得到训练好的金字塔空洞卷积网络。

步骤5，对测试数据集进行检测：

将测试数据集输入到训练好的空间金字塔空洞卷积神经网络，输出测试数据集中每一张裂缝图像对应的检测图像。

步骤6，计算混凝土桥梁裂缝图像的测试指标。

通过计算测试数据集中样本图像中检测到的像素占标签像素的比例，即准确率，将其作为衡量本发明的检测指标。

参考图2对本发明的实验仿真进行阐述：

1、实验仿真条件：

本发明的仿真实验所用计算机配置如下：处理器为Intel Core i5CPU，显卡为NVIDIA GeForce GTX 950M，内存为256GB。计算机***为windows 7，使用基于Tenserflow后端的Keras框架深度学习网络框架，以及PyCharm软件编译环境实现仿真实验。

本发明所使用的训练数据集和测试数据集是从多个不同的混凝土桥梁裂缝场景中获取，通过图像采集设备获得图像，获取的图像中需要包含有光照不均，油渍污染等有不同变化的混凝土桥梁裂缝图像，本发明的仿真实验所使用的测试数据来自陕西省宝鸡市一座混凝土桥梁底面。

2、实验仿真内容：

本发明的仿真实验是采用本发明的方法和U-net卷积神经网络相结合，从采集的数据集中随机选取其中的70％裂缝图像作为训练数据集，剩余的30％裂缝用作测试数据集，对所搭建的空间金字塔空洞卷积网络在训练数据集上进行训练，得到训练好的空间金字塔空洞卷积网络。

3、实验仿真效果：

附图2为本发明的仿真实验结果图，图2(a)为混凝土桥梁裂缝的测试样本图像，该图像采集于陕西省宝鸡市一座混凝土桥梁底面，图2(b)为本发明对图2(a)进行检测得到的结果图。

通过图2(b)可以看出，在复杂的背景干扰下，得到的检测结果可以将裂缝清晰准确的的显示出来。为了说明本方法的准确率，将基于U-net卷积网络混凝土桥梁裂缝检测方法与本发明的方法进行对比验证，准确率与召回率的对比结果如下表格1所示。

通过表格1可以看出本发明的准确率要比U-net网络模型更高一些。表1混凝土桥梁裂缝图检测结果对比

算法	U-net网络结构	本文网络结构
			评价标准	准确率/召回率	精确度/召回率
第一幅图像	71.9％/85.5％	87.3％/72.6％
			第二幅图像	78.5％/83.8％	92.7％/70.3％
第三幅图像	76.8％/83.1％	89.6％/65.1％

Claims (4)

1.一种基于空间金字塔空洞卷积网络的桥梁裂缝检测方法，其特征在于，构建并训练空间金字塔空洞卷积网络，实时的检测桥梁裂缝图像，该方法的具体步骤包括如下：

(1)构造空间金字塔空洞卷积网络：

(1a)搭建一个由主网络和子网络并联组成的空间金字塔空洞卷积网络；

所述主网络由输入层和第1个卷积层组成；

所述子网络由四个分支并联组成：分支1由主网络的输入层与第1个空洞卷积层组成；分支2由主网络的输入层与第2个空洞卷积层组成；分支3由主网络的输入层与第3个空洞卷积层组成；分支4由主网络的输入层与池化层组成；

(1b)设置空间金字塔空洞卷积网络的各层参数如下：

将输入层的特征映射图数目设置为1024；

将四个卷积层的特征映射图数目均设置为512，卷积核的大小依次设置为1×1、3×3、3×3、3×3，第2个卷积层、第3个卷积层和第4个卷积层的空洞率设置依次为为6、12、18；

将池化层下采样滤波器尺寸设置为2×2；

(2)生成训练数据集、标签数据集、测试数据集：

(2a)实时采集至少1000张桥梁裂缝图像，且每张都均有桥梁裂缝，将所采集的图片组成空间金字塔空洞卷积网络数据集，从空间金字塔空洞卷积网络数据集中随机提取70％的图片组成训练数据集，剩余的30％图片组成测试数据集；

(2b)对训练数据集中的每一张桥梁裂缝图像中的裂缝像素进行人工标注，生成标注图像，组成标签数据集；

(3)对待检测的桥梁裂缝图像进行预处理：

(3a)利用梯度计算方法，对桥梁裂缝图像在横向和纵向做卷积核操作，计算每个像素点的梯度值，并根据横向和纵向的梯度值，计算梯度方向角度，将所有梯度值组成一个梯度图像；

(3b)对桥梁裂缝图像矩阵和特征矩阵进行归一化，将图像中的元素值归一化到[0，1]之间，得到归一化的图像；

(4)训练空间金字塔空洞卷积神经网络：

将训练数据集输入到空间金字塔空洞卷积神经网络，采用梯度下降方法，不断调整优化网络训练参数，直到空间金字塔空洞卷积神经网络损失值小于预先设定值0.3，得到训练好的空间金字塔空洞卷积神经网络；

(5)对测试数据集进行检测：

将测试数据集输入到训练好的空间金字塔空洞卷积神经网络，从桥梁裂缝图像中提取裂缝像素。

2.根据权利要求1所述的基于空间金字塔空洞卷积网络的桥梁裂缝检测方法，其特征在于，步骤(3a)中所述梯度计算方法的具体步骤如下：

第一步：分别计算桥梁裂缝图像的x方向与y方向梯度；

第二步：按照下式，计算桥梁裂缝图像的梯度：

其中，G^表示裂缝图像像素点的梯度值，G_x表示裂缝图像像素点的横向差值，G_y表示裂缝图像像素点的纵向差值，

表示开根号操作；

第三步：按照下式，计算桥梁裂缝图像的梯度角度：

其中，θ^表示裂缝图像像素点梯度的方向角度值，arctan表示反正切操作，G_x表示裂缝图像像素点的横向差值，G_y表示裂缝图像像素点的纵向差值。

3.根据权利要求1所述的基于空间金字塔空洞卷积网络的桥梁裂缝检测方法，其特征在于，步骤(3b)中所述对桥梁裂缝图像矩阵和特征矩阵进行归一化的具体步骤如下：

第一步，分别求出桥梁裂缝图像矩阵和特征矩阵每一通道的最大值和最小值；

第二步，桥梁裂缝图像矩阵每一通道的所有元素均减去该通道像素最小值，再除以该通道像素最大值减像素最小值，得到归一化后的桥梁裂缝图像矩阵；

第三步，采用与第二步相同的方法，得到归一化的特征矩阵。

4.根据权利要求1中所述的基于空间金字塔空洞卷积网络的桥梁裂缝检测方法，其特征在于，步骤(4)中所述梯度下降方法的步骤如下：

第一步，在[10000,12000]的范围，任意选取一个值作为金字塔空洞卷积网络的迭代次数，将5层金字塔空洞卷积网络的所有9472个参数值均设置成高斯随机数，所述高斯随机数的均值为0.0001，方差设置为1.00，学习速率设置为0.005；

第二步，从金字塔空洞卷积的训练数据集中随机选取10张图像

第三步，按照下式，计算所有训练数据集损失值的平均值：

其中，L表示所有训练数据集损失值的平均值，Σ表示求和操作，i表示训练数据集中每一幅图像的序号，i＝1,2,3,4，y_i表示训练数据集每一幅图像的期望输出，y_{i_}表示训练数据集每一幅图像训练的实际输出；

第四步，按照下式，更新金字塔空洞卷积网络中每一个参数：

其中，

表示金字塔空洞卷积网络中第x个参数更新后的值，θ_x表示金字塔空洞卷积网络中第x个参数更新前的值，

表示求导操作；

第五步，判断当前迭代次数是否等于设定的金字塔空洞卷积网络的迭代次数，若是，则执行第六部，否则，执行第二步；

第六部，得到训练好的金字塔空洞卷积网络。

Images