CN111721770A - 一种基于分频卷积的自动化裂缝检测方法 - Google Patents

Abstract

本发明实施例公开了一种基于分频卷积的自动化裂缝检测方法，所述方法包括：用相机拍摄道路图像，创建道路裂缝图像的训练集和测试集；创建包含分频卷积、分频转置卷积、空洞卷积模块和跳跃连接结构的深度卷积神经网络；利用创建好的训练集训练深度卷积神经网络；利用测试集对训练好的深度卷积神经网络模型测试，并输出裂缝图像。本发明方法具有检测过程简单，检测效率高，劳动强度低，便于携带，可操作性强等优点。

Description

一种基于分频卷积的自动化裂缝检测方法

技术领域

本发明涉及结构健康检测与评估领域，尤其是涉及一种基于分频卷积的自动化裂缝检测方法。

背景技术

随着中国经济的快速发展，中国公路网的普及和建设得到了迅速发展，路面的完好率和平整度是确保行车车辆在高速路上行驶的重要因素。裂缝是道路受损的重要标志，如果路面出现凹凸不平和裂缝等情况，会严重影响道路的寿命以及驾驶人的安全，需要定期的对其健康状况做出评估，因此对道路和桥梁裂缝进行检测有着至关重要的作用。

目前，道路桥梁的裂缝检测方法主要是基于传统的图像处理算法和人眼识别。单单依靠人眼进行裂缝检测与识别，效率不高。采用图像处理方法，主要是针对同一材质和纹理背景图像进行裂缝检测，无法对彩色图像直接进行裂缝检测。基于深度学习框架的道路裂缝检测可以实现对彩色图像的裂缝检测处理，可以实现端到端的图像处理，无需卷积神经网路的滑块处理。因此，基于深度学习框架的道路裂缝检测方法，可以实现道路裂缝的自动化检测。因此，如何提高路面裂缝检测的监测效率和效果，是路面裂缝检测领域需要攻克的技术难题。

发明内容

基于此，本发明的目的是提供一种基于分频卷积的自动化裂缝检测方法。该方法可解决人眼观察和图像处理裂缝检测中定位精度不高，误差大等问题。

为了解决上述现有技术问题，本发明实施例提供了一种基于分频卷积的自动化裂缝检测方法，该方法具体包括以下步骤：

S1、用相机拍摄道路图像，创建道路裂缝图像的训练集和测试集；

S2、创建包含分频卷积、分频转置卷积、空洞卷积模块和跳跃连接结构的深度卷积神经网络；

S3、利用创建好的训练集训练深度卷积神经网络；

S4、利用测试集对训练好的深度卷积神经网络模型测试，并输出裂缝图像。

进一步地，所述步骤S1具体包括：

S11、利用自己所有的智能终端拍摄裂缝图像，或者利用公共的裂缝图像数据集CFD和AigleRN以及其它的裂缝图像数据集，将裂缝图像分为训练集和测试集；

S12、将所采集到的不同结构表面裂缝图像，构建裂缝图像数据库，对构建的裂缝图像库进行数据增强，扩充数据集，将扩充后的裂缝图像库中的裂缝图像的裂缝区域实施人工标签标注，然后将裂缝图像库中的图像分为训练集和测试集。

更进一步地，所述步骤S2具体包括：

S21、搭建深度神经网络结构模型：确定所述深度卷积神经网络卷中编码器和解码器层数，以及每个分频卷积层中高频率和低频率中所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、分频转置卷积层的层数和每个反卷积层中高频率和低频率中所含有的特征图数量，跳跃连接的连接方式以及空洞卷积模块中空洞比率的大小；

S22、选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择为交叉熵损失函数、以及激活函数的Relu，同时，在损失代价函数中加入权值衰减正则化项，在卷积层中加入dropout来减少过拟合，所述深度神经网络中训练使用优化算法SGD；

S23、所述的搭建分频卷积层X＝{X^H,X^L}和Y＝{Y^H，Y^L}表示输入和输出，其中Y^L＝Y^{H →L}+Y^L→L，和Y^H＝Y^H→H+Y^L→H表示输出频率的变化，

W^H＝[W^H→H，W^L→H]，W^L＝[W^H→L，W^L→L]表示卷积核频率的变化，分频卷积操作中高低频率的变化用下面公式表示：

其中(p，q)表示像素点位置，k表示卷积核大小，σ(·)表示激活函数，b表示偏值变化，X^H，X^L分别表示输入特征图的高频率和低频率特征图，Y^H，Y^L分别表示输出特征图的高频率和低频率特征图，H→L表示特征图由高频率转换到低频率，L→H表示特征图由低频率转换到高频率，H→H表示特征图由高频率转换到高频率，L→L表示特征图由低频率转换到低频率，m和n用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围；

S24、所述的搭建分频转置卷积层X＝{X^H,X^L}和

表示输入和输出，其中

和

表示分频转置输出的变化，W^H＝[W^H→H，W^L→H]，W^L＝[W^H→L，W^L→L]表示卷积高低频率的变化，分频转置卷积操作中高低频率的变化用下面公式表示：

和

分别表示分频转置卷积输出特征图的高频率和低频率特征图，m和n的取值用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围，k表示卷积核大小；

S25、所述深度卷积神经网络中编码器与解码器通过跳跃连接实现连接；

S26、所述深度卷积神经网络中，输入图像与编码器部分，以及各个编码器之间通过跳跃连接来实现连接，可以实现图像信息的传递；

S27、所述深度卷积神经网络中空洞卷积模块中，其输入是编码器最后一层卷积层中特征图的输出，空洞卷积模块是由不同空洞率的卷积层组成的，其输出是通过不同空洞率卷积得到的特征图叠加融合得到的；

S28、所述深度卷积神经网络中使用深度学习库包：Caffe、Tensorflow、PyTorch实现以上所述深度神经网络结构，根据划分好的训练集和测试集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值。

更进一步地，所述步骤S3具体包括：

S31、根据所述步骤S21、S22、S23、S24、S25、S26、S27和S28，利用训练集训练深度卷积神经网络，通过后向传播不断优化神经网络的参数，降低损失函数的值，使网络达到最优，实现端到端训练。

更进一步地，所述步骤S4具体包括：

S41、根据所述步骤S31，利用测试集对训练好的的神经网络模型进行测试；

S42、对神经网络模型的输出值进行归一化，输出裂缝图像的概率图。

附图说明

图1是本发明一种基于空洞卷积的自动化裂缝检测方法的流程图；

图2是本发明一实施例的深度卷积神经网络模型流程图；

图3是本发明一实施例的分频卷积模型流程图；

图4是本发明一实施例的分频转置卷积模型流程图；

图5是本发明一实施例的空洞卷积模块流程图；

图6是本发明一实施例的深度卷积神经网络输出结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

本发明实施例的实验环境为某实验楼、墙壁以及某条公路中的路面，均为室外环境。在本实施例中，裂缝图像的选取为室外环境的公开区域。

本实施例中使用含有Nvidia显卡的PC。所采用的实施方法为Ubuntu方法，并搭建Tensorflow方法平台，采用Tensorflow中的开源软件库。

请参阅图1，本发明实施例提供的一种基于空洞卷积的自动化裂缝检测方法，包括如下步骤：

S1、用相机拍摄道路图像，创建道路裂缝图像的训练集和测试集。

本发明实例中采用公共的数据集CFD，此公共的数据集含有118张原始彩色图像和118张标签数据图像，将数据集划分为训练集合测试集，其中训练集中，每份含有100张原始彩色图像和相对应的100张标签数据图像，测试集中含有18张原始彩色图像和相对应的18张标签数据图像。

同时，为了扩充图像数据量，对CFD数据集中的裂缝图像进行数据增强，本发明实例中对已分好的每份数据中的原始彩色图像和标签数据图像进行旋转、剪切来增加裂缝图像的数量。

S2、创建包含编码器、解码器、空洞卷积模块和跳跃连接结构的深度卷积神经网络。

本发明实施例中所采用的深度卷积神经网络模型基础为U－net模型，对此网络模型进行改进。本发明实施例所使用的深度卷积神经网络模型流程图请参阅图2。

该深度神经网络大模型结构建立包括确定所述深度卷积神经网络卷中编码器和解码器层数，以及每个分频卷积层中高频率和低频率中所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、分频转置卷积层的层数和每个反卷积层中高频率和低频率中所含有的特征图数量，跳跃连接的连接方式以及空洞卷积模块中空洞比率的大小。

选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择为交叉熵损失函数、以及激活函数的Relu，同时，在损失代价函数中加入权值衰减正则化项，在卷积层中加入dropout来减少过拟合，所述深度神经网络中训练使用优化算法SGD。

本发明实施例所搭建分频卷积层(如图3)X＝{X^H,X^L}和Y＝{Y^H,Y^L}表示输入和输出，其中Y^L＝Y^H→L+Y^L→L，和Y^H＝Y^H→H+Y^L→H表示输出频率的变化，

W^H＝[W^H→H，W^L→H]，W^L＝[W^H→L，W^L→L]表示卷积核频率的变化，分频卷积操作中高低频率的变化用下面公式表示：

其中(p，q)表示像素点位置，k表示卷积核大小，σ(·)表示激活函数，b表示偏值变化，X^H，X^L分别表示输入特征图的高频率和低频率特征图，Y^H，Y^L分别表示输出特征图的高频率和低频率特征图，H→L表示特征图由高频率转换到低频率，L→H表示特征图由低频率转换到高频率，H→H表示特征图由高频率转换到高频率，L→L表示特征图由低频率转换到低频率，m和n用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围；

本发明实施例所述的搭建分频转置卷积层(如图4)X＝{X^H，X^L}和

表示输入和输出，其中

和

表示分频转置输出的变化，W^H＝[W^H→H，W^L→H]，W^L＝[W^H→L，W^L→L]表示卷积高低频率的变化，分频转置卷积操作中高低频率的变化用下面公式表示：

和

分别表示分频转置卷积输出特征图的高频率和低频率特征图，m和n的取值用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围，k表示卷积核大小。

本发明实施例中深度神经网络大模型中的卷积层所采用的激活函数为ReLU，最后一层输出中采用sigmoid激活函数来输出logit，本发明实施例使用的损失函数公式为：

其中α和β是超参数，

是标签数据的真实值，

是原始图像经过深度网络的预测值。同时本发明实施例使用Adam优化算法进行优化，学习率为0.001，来最小化损失函数。

本发明实施例中深度卷积神经网络中U－net结构中的编码器部分与解码器部分通过条约来接实现相连，该跳跃连接功能可以实现将图像的质地信息传送给解码器，避免了因池化层或者下采样导致图像特征丢失。

同时，深度卷积神经网络中，输入图像与编码器部分，以及各个编码器之间通过跳跃连接来实现连接，可以实现图像信息的传递，这样可以保证输入图像在经过一系列卷积和池化后，通过来自跳跃连接输入仍然能保持输入图像原有的特征信息，避免图像质地信息的丢失。

本发明实例中所使用的深度神经网络的深度学习库为TensorFlow，利用该深度学习库，根据划分好的训练集和验证集来进行交叉验证，通过不断的减少损失函数来学习深度神经网络的参数，确定深度神经网络大模型中参数的值。

在本发明深度卷积神经网络中空洞卷积模块中(如图5)，期输入是编码器最后一层卷积层中特征图的输出，空洞卷积模块输出是通过不同空洞率卷积得到的特征图叠加融合得到的。

深度卷积神经网络中使用深度学习的库包括Caffe、Tensorflow实现以上所述深度神经网络结构，根据划分好的训练集和验证集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值。

S3、利用创建好的训练集训练深度卷积神经网络。

利用训练集训练深度卷积神经网络，通过后向传播不断优化神经网络的参数，降低损失函数的值，使网络达到最优，实现端到端训练。

S4、利用测试集对训练好的深度卷积神经网络模型测试，并输出裂缝图像。

利用测试集对训练好的的神经网络模型进行测试，然后对神经网络模型的输出值进行归一化，输出裂缝图像的概率图，请参阅图6，从左到右依次为：真实图像，标签，预测结果。

以上该实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于分频卷积的自动化裂缝检测方法，其特征在于，所述方法具体包括以下步骤：

S1、用相机拍摄道路图像，创建道路裂缝图像的训练集和测试集；

S2、创建包含分频卷积、分频转置卷积、空洞卷积模块和跳跃连接结构的深度卷积神经网络；

S3、利用创建好的训练集训练深度卷积神经网络；

S4、利用测试集对训练好的深度卷积神经网络模型测试，并输出裂缝图像。

2.根据权利要求1所述的一种基于分频卷积的自动化裂缝检测方法，其特征在于，所述步骤S1具体包括：

S11、利用智能终端拍摄裂缝图像，或者利用公共的裂缝图像数据集CFD和AigleRN，将裂缝图像分为训练集和测试集；

S12、将所采集到的不同结构表面裂缝图像，构建裂缝图像数据库，对构建的裂缝图像库进行数据增强，扩充数据集，将扩充后的裂缝图像库中的裂缝图像的裂缝区域实施人工标签标注，然后将裂缝图像库中的图像分为训练集和测试集。

3.根据权利要求2所述的一种基于分频卷积的自动化裂缝检测方法，其特征在于，所述步骤S2具体包括：

S21、搭建深度神经网络结构模型：确定所述深度卷积神经网络卷中编码器和解码器层数，以及每个分频卷积层中高频率和低频率中所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、分频转置卷积层的层数和每个反卷积层中高频率和低频率中所含有的特征图数量，跳跃连接的连接方式以及空洞卷积模块中空洞比率的大小；

S22、选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择为交叉熵损失函数、以及激活函数的Relu，同时，在损失代价函数中加入权值衰减正则化项，在卷积层中加入dropout来减少过拟合，所述深度神经网络中训练使用优化算法SGD；

S23、所述的搭建分频卷积层X＝{X^H,X^L}和Y＝{Y^H,Y^L}表示输入和输出，其中Y^L＝Y^H→L+Y^{L →L}和Y^H＝Y^H→H+Y^L→H表示输出频率的变化，W^H＝[W^H→H W^L→H]，W^L＝[W^H→L，W^L→L]表示卷积核频率的变化，分频卷积操作中高低频率的变化用下面公式表示：

其中(p，q)表示像素点位置，k表示卷积核大小，σ(·)表示激活函数，b表示偏值变化，X^H，X^L分别表示输入特征图的高频率和低频率特征图，Y^H，Y^L分别表示输出特征图的高频率和低频率特征图，H→L表示特征图由高频率转换到低频率，L→H表示特征图由低频率转换到高频率，H→H表示特征图由高频率转换到高频率，L→L表示特征图由低频率转换到低频率，m和n用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围；

S24、所述的搭建分频转置卷积层X＝{X^H,X^L}和

表示输入和输出，其中

和

表示分频转置输出的变化，W^H＝[W^H→H，W^{L →H}]，W^L＝[W^H→L，W^L→L]表示卷积高低频率的变化，分频转置卷积操作中高低频率的变化用下面公式表示：

其中，

和

分别表示分频转置卷积输出特征图的高频率和低频率特征图，m和n的取值用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围，k表示卷积核大小；

S25、所述深度卷积神经网络中编码器与解码器通过跳跃连接实现连接；

S26、所述深度卷积神经网络中，输入图像与编码器部分，以及各个编码器之间通过跳跃连接来实现连接，可以实现图像信息的传递；

S27、所述深度卷积神经网络中空洞卷积模块中，其输入是编码器最后一层卷积层中特征图的输出，空洞卷积模块是由不同空洞率的卷积层组成的，其输出是通过不同空洞率卷积得到的特征图叠加融合得到的；

S28、所述深度卷积神经网络中使用深度学习库包：Caffe、Tensorflow、PyTorch实现以上所述深度神经网络结构，根据划分好的训练集和测试集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值。

4.根据权利要求3所述的一种基于分频卷积的自动化裂缝检测方法，其特征在于，所述步骤S3具体包括：

S31、根据所述步骤S21、S22、S23、S24、S25、S26、S27和S28，利用训练集训练深度卷积神经网络，通过后向传播不断优化神经网络的参数，降低损失函数的值，使网络达到最优，实现端到端训练。

5.根据权利要求4所述的一种基于分频卷积的自动化裂缝检测方法，其特征在于，所述步骤S4具体包括：

S41、根据所述步骤S31，利用测试集对训练好的的神经网络模型进行测试；

S42、对神经网络模型的输出值进行归一化，输出裂缝图像的概率图。

Images