CN111738324A - 一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法 - Google Patents

Abstract

本发明实施例公开了一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法，所述方法包括：创建基于深度学习的道路裂缝图像的训练集和测试集；创建分频卷积模块和分频转置模块；创建多频率分层特征提取模块；利用训练集和测试集训练深度卷积深度神经网络；将深度卷积神经网络中多频率分层特征提取模块的结果叠加，并输出裂缝图像。本发明方法具有检测过程简单，检测效率高，劳动强度低，便于携带，可操作性强等优点。

Description

一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测 方法

技术领域

本发明涉及结构健康检测与评估领域，尤其是涉及一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法。

背景技术

随着全国范围内公路路网的建成，全国公路建设得到了快速的发展。汽车在公路上行驶过程中，路面的完好率和平整度是确保行车安全的重要因素。裂缝是判断道路受损和寿命的重要标志，如果路面出现凹凸和裂缝等情况，会严重影响道路的寿命以及行车的安全，因此对道路和桥梁裂缝进行检测有着至关重要的作用。

目前，道路桥梁的裂缝检测方法主要是基于传统的图像处理算法和人眼识别。利用人眼进行裂缝检测与识别，效率不高而且成本大。采用图像处理方法，主要是针对同一类型的图像进行裂缝检测，无法对彩色图像直接进行裂缝检测。基于深度学习框架的道路裂缝检测可以实现彩色图像的裂缝检测，通过神经网络端到端的图像处理，无需卷积神经网路的滑块处理，获得输入和输出相同尺度的大小。因此，基于深度学习框架的道路裂缝检测方法，可以实现道路裂缝的自动化检测。因此，如何提高路面裂缝检测的监测效率和效果，是路面裂缝检测领域需要攻克的技术难题。

发明内容

基于此，本发明的目的是提供一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法。该方法可解决人眼观察和图像处理裂缝检测中定位精度不高，误差大等问题。

为了解决上述现有技术问题，本发明实施例提供了一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法，该方法具体包括以下步骤：

S1、创建基于深度学习的道路裂缝图像的训练集和测试集；

S2、创建分频卷积模块和分频转置模块；

S3、创建多频率分层特征提取模块；

S4、利用训练集和测试集训练深度卷积神经网络；

S5、将深度卷积神经网络中多频率分层特征提取模块的结果叠加，并输出裂缝图像。

进一步地，所述步骤S1具体包括：

S11、利用公共的裂缝图像数据集CFD和AigleRN以及其它的裂缝图像数据集，将裂缝图像分为训练集和测试集；

S12、利用智能终端采集到的不同结构表面裂缝图像，构建裂缝图像数据库，对构建的裂缝图像库进行数据增强，将数据增强后的裂缝图像库中的裂缝图像的裂缝区域实施标签标注，然后将裂缝图像库中的图像分为训练集和测试集。

更进一步地，所述步骤S2具体包括：

S21、搭建深度神经网络结构模型：确定所述深度卷积神经网络卷中编码器和解码器层数，以及每个分频卷积层中高频率和低频率中所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、分频转置卷积层的层数和每个反卷积层中高频率和低频率中所含有的特征图数量；

S22、选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择为交叉熵损失函数、平方损失函数等，以及激活函数的选择Relu，softmax，sigmoid等，在损失代价函数中加入权值衰减正则化项，同时在卷积层中加入dropout来减少过拟合，所述深度神经网络中训练使用优化算法包括SGD，Adam等其它优化算法；

优化算法；

S23、所述的搭建分频卷积层X＝{X^H，X^L}和Y＝{Y^H，Y^L}表示输入和输出，其中Y^L＝Y^{H →L}+Y^L→L，和Y^H＝Y^H→H+Y^L→H表示输出频率的变化，

W^H＝[W^H→H，W^L→H]，W^L＝[W^H→L，W^L→L]表示卷积核频率的变化，分频卷积操作中高低频率的变化用下面公式表示：

其中(p，q)表示像素点位置，k表示卷积核大小，σ(·)表示激活函数，b表示偏值变化，X^H，X^L分别表示输入特征图的高频率(High frequency，简写H)和低频率(lowfrequency，简写L)特征图，Y^H，Y^L分别表示输出特征图的高频率(Highfrequency，简写H)和低频率(low frequency，简写L)特征图，H→L表示特征图由高频率转换到低频率，H→H表示特征图由高频率转换到高频率，L→L表示特征图由低频率转换到低频率，L→H表示特征图由低频率转换到高频率，m和n用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围；

S24、所述的搭建分频转置卷积层X＝{X^H，X^L}和

表示输入和输出，其中

和

表示分频转置输出的变化，W^H＝[W^H→H，W^L→H]，W^L＝[W^H→L，W^L→L]表示卷积高低频率的变化，分频转置卷积操作中高低频率的变化用下面公式表示：

和

分别表示分频转置卷积输出特征图的高频率(High frequency，简写H)和低频率(low frequency，简写L)特征图，H→L表示特征图由高频率转换到低频率，H→H表示特征图由高频率转换到高频率，L→L表示特征图由低频率转换到低频率，L→H表示特征图由低频率转换到高频率，m和n的取值用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围，k表示卷积核大小。

更进一步地，所述步骤S3具体包括：

S31、创建多频率分层特征提取模块，确定高频率和低频率中所含有的特征图的数量、卷积核的大小以及反卷积层的卷积核大小；

S32、所述的多频率分层特征提取模块，其输入是对应的编码器一层的输入和上一个解码器的输出，其输出包含用于当前解码器的输入和用于最后多频率分层特征提取模块融合两部分；

S33、所述深度卷积神经网络中编码器与解码器，需要通过多频率分层特征提取模块实现连接，获得其输出结果。

S34、所述深度卷积神经网络中使用深度学习的库包括Caffe、Tensorflow实现以上所述深度神经网络结构，根据划分好的训练集和验证集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值。

更进一步地，所述步骤S4具体包括：

S41、根据所述步骤S21、S22、S23、S24、S31、S32、S33、和S34，利用训练集和测试集训练深度卷积神经网络，深度卷积神经网络中的卷积层所采用的激活函数为ReLU，分层特征提取模块最后一层输出中采用sigmoid激活函数来输出logit，其中每层损失函数公式为；

其中α和β是超参数，y_i是标签数据的真实值，

是原始图像经过深度网络预测值；

S42、分层特征提取模块最后融合损失函数L＿fuse＝L＿side，N表示图像像素的数目；

S43、所述深度卷积神经网络中最后总的损失函数是，每个解码器层的输出损失函数和分层特征提取模块输出损失函数相加融合得到损失函数：

表示多频率分层特征提取模块的数量。

更进一步地，所述步骤S4具体包括：

S51、根据所述步骤S41，S42和S43，所述深度卷积神经网络中融合多频率分层特征提取模块，其输入的特征图是每个多频率分层特征提取模块的特征图通过叠加融合后得到的特征图，其输出是融合后得到的特征图通过过卷积和反卷积操作得到的；

S52、所述深度卷积神经网络中，多频率分层特征提取模块融合最后的输出结果是神经网络最后的输出裂缝分割图像。

附图说明

图1是本发明一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法的流程图；

图2是本发明一实施例的深度卷积神经网络模型流程图；

图3是本发明一实施例的分频卷积模型流程图；

图4是本发明一实施例的分频转置卷积模型流程图；

图5是本发明一实施例的多频率分层特征提取模块流程图；

图6是本发明一实施例的深度卷积神经网络输出结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

本发明实施例的实验环境为某实验楼、墙壁以及某条公路中的路面，均为室外环境。在本实施例中，裂缝图像的选取为室外环境的公开区域。

本实施例中使用含有Nvidia显卡的PC。所采用的实施方法为Ubuntu方法，并搭建Tensorflow方法平台，采用Tensorflow中的开源软件库。

请参阅图1，本发明实施例提供的一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法，包括如下步骤：

S1、创建基于深度学习的道路裂缝图像的训练集和测试集。

本发明实例中采用公共的数据集CFD，此数据集含有118张原始彩色图像和118张标签数据图像，将数据集划分为训练集合测试集，其中训练集中，每份含有100张原始彩色图像和相对应的100张标签数据图像，测试集中含有18张原始彩色图像和相对应的18张标签数据图像。

同时，为了扩充图像数据量，对CFD数据集中的裂缝图像进行数据增强，本发明实例中对已分好的每份数据中的原始彩色图像和标签数据图像进行旋转、剪切来增加裂缝图像的数量。

S2、创建分频卷积模块和分频转置模块。

本发明实施例中所采用的深度卷积神经网络模型基础为U－net架构模型，对此网络模型进行改进。本发明实施例所使用的深度卷积神经网络模型流程图请参阅图2。

该深度神经网络大模型结构建立包括确定所述深度卷积神经网络卷中编码器和解码器层数，以及每个分频卷积层中高频率和低频率中所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、分频转置卷积层的层数和每个反卷积层中高频率和低频率中所含有的特征图数量。

本发明实施例中深度神经网络大模型中的卷积层所采用的激活函数为ReLU，最后一层输出中采用sigmoid激活函数来输出logit，本发明实施例使用的损失函数公式为：

其中α和β是超参数，y_i是标签数据的真实值，

是原始图像经过深度网络的预测值。同时本发明实施例使用Adam优化算法进行优化，学习率为0.001，来最小化损失函数。

本发明实施例中所述的分频卷积层X＝{X^H，X^L}和Y＝{Y^H，Y^L}表示输入和输出，其中Y^L＝Y^H→L+Y^L→L和Y^H＝Y^H→H+Y^L→H表示输出频率的变化，W^H＝[W^H→HW^L→H]，W^L＝[W^H→L，W^L→L]表示卷积核频率的变化，分频卷积操作中高低频率(如图3)的变化用下面公式表示：

其中(p，q)表示像素点位置，k表示卷积核大小，σ(·)表示激活函数，b表示偏值变化；X^H，X^L分别表示输入特征图的高频率和低频率特征图，Y^H，Y^L分别表示输出特征图的高频率和低频率特征图，H→L表示特征图由高频率转换到低频率，L→H表示特征图由低频率转换到高频率，H→H表示特征图由高频率转换到高频率，L→L表示特征图由低频率转换到低频率，m和n用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围。

本发明实施例中所述的分频转置卷积层X＝{X^H，X^L}和

表示输入和输出，其中

和

表示分频转置输出的变化，W^H＝[W^H→H，W^L→H]，W^L＝[W^H→L，W^L→L]表示卷积高低频率的变化，分频转置卷积操作中高低频率(如图4)的变化用下面公式表示：

和

分别表示分频转置卷积输出特征图的高频率和低频率特征图，H→L表示特征图由高频率转换到低频率，H→H表示特征图由高频率转换到高频率，L→L表示特征图由低频率转换到低频率，L→H表示特征图由低频率转换到高频率，m和n的取值用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围，k表示卷积核大小。

S3、创建多频率分层特征提取模块。

本发明实施例中创建多频率分层特征提取模块(如图5)，确定高频率和低频率中所含有的特征图的数量、卷积核的大小以及反卷积层的卷积核大小；

本发明实施例中创建的多频率分层特征提取模块，其输入是对应的编码器一层的输入和上一个解码器的输出，其输出包含用于当前解码器的输入和用于最后多频率分层特征提取模块融合两部分；

本发明实施例中所述深度卷积神经网络中编码器与解码器，需要通过多频率分层特征提取模块实现连接，获得其输出结果。

本发明实施例中所述深度卷积神经网络中使用深度学习的库包括Caffe、Tensorflow实现以上所述深度神经网络结构，根据划分好的训练集和验证集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值。

S4、利用训练集和测试集训练深度卷积深度神经网络。

在训练过程中，深度卷积神经网络中的卷积层所采用的激活函数为ReLU，分层特征提取模块最后一层输出中采用sigmoid激活函数来输出logit，其中每层损失函数公式为；

N表示图像像素的数目。

其中α和β是超参数，y_i是标签数据的真实值，

是原始图像经过深度网络预测值。分层特征提取模块最后融合损失函数L＿fuse＝L＿side。

深度卷积神经网络中最后总的损失函数是，每个解码器层的输出损失函数和分层特征提取模块输出损失函数相加融合得到损失函数：

M表示多频率分层特征提取模块的数量。

S5、将深度卷积神经网络中多频率分层特征提取模块的结果叠加，并输出裂缝图像。

深度卷积神经网络中融合多频率分层特征提取模块，其输入的特征图是每个多频率分层特征提取模块的特征图通过叠加融合后得到的特征图，其输出是融合后得到的特征图通过过卷积和反卷积操作得到的；

本实例中所述深度卷积神经网络中，多频率分层特征提取模块融合最后的输出结果是神经网络最后的输出裂缝分割图像，请参阅图6，图中从左到右依次为：真实图像，标签，预测结果。

以上该实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法，其特征在于，所述方法具体包括以下步骤：

S1、创建基于深度学习的道路裂缝图像的训练集和测试集；

S2、创建分频卷积模块和分频转置模块；

S3、创建多频率分层特征提取模块，使用所述分频卷积模块和分频转置模块和多频率分层特征提取模块组成深度卷积神经网络；

S4、利用训练集和测试集训练所述深度卷积神经网络；

S5、将所述深度卷积神经网络中多频率分层特征提取模块的结果叠加，并输出裂缝图像。

2.根据权利要求1所述的一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法，其特征在于，所述步骤S1具体包括：

利用包括公共的裂缝图像数据集CFD和AigleRN的裂缝图像数据集，将裂缝图像分为训练集和测试集。

3.根据权利要求1所述的一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法，其特征在于，所述步骤S1具体包括：

利用智能终端采集到的不同结构表面裂缝图像，构建裂缝图像数据库，对构建的裂缝图像库进行数据增强，将数据增强后的裂缝图像库中的裂缝图像的裂缝区域实施标签标注，然后将裂缝图像库中的图像分为训练集和测试集。

4.根据权利要求2或3所述的一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法，其特征在于，所述步骤S2具体包括：

S21、搭建深度神经网络结构模型：确定所述深度卷积神经网络卷中编码器和解码器层数，以及每个分频卷积层中高频率和低频率中所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、分频转置卷积层的层数和每个反卷积层中高频率和低频率中所含有的特征图数量；

S22、选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择为交叉熵损失函数或平方损失函数，以及激活函数的选择Relu，softmax，sigmoid之一，在损失代价函数中加入权值衰减正则化项，同时在卷积层中加入dropout用于减少过拟合，所述深度神经网络中训练使用优化算法包括SGD，Adam之一的优化算法；

S23、所述创建分频卷积模块使用X＝{X^H，X^L}和Y＝{Y^H，Y^L}表示输入和输出，其中Y^L＝Y^{H →L}+Y^L→L和Y^L＝Y^H→L+Y^L→L表示输出频率的变化，

W^H＝[W^H→H，W^L→H]，W^L＝[W^H→L，W^L→L]表示卷积核频率的变化，分频卷积操作中高低频率的变化用下面公式表示：

其中(p，q)表示像素点位置，k表示卷积核大小，σ(·)表示激活函数，b表示偏值变化，X^H，X^L分别表示输入特征图的高频率和低频率特征图，Y^H，Y^L分别表示输出特征图的高频率和低频率特征图，H→L表示特征图由高频率转换到低频率，L→H表示特征图由低频率转换到高频率，H→H表示特征图由高频率转换到高频率，L→L表示特征图由低频率转换到低频率，m和n用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围；

S24、所述创建分频转置模块X＝{X^H，X^L}和

表示输入和输出，其中

和

表示分频转置输出的变化，W^H＝[W^H→H，W^L→H]，W^L＝[W^H→L，W^L→L]表示卷积高低频率的变化，分频转置卷积操作中高低频率的变化用下面公式表示：

和

分别表示分频转置卷积输出特征图的高频率和低频率特征图，m和n的取值用于决定以(p，q)为像素中心点的局部感受野在输入X上的范围，k表示卷积核大小。

5.根据权利要求4所述的一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法，其特征在于，所述步骤S3具体包括：

S31、所述创建多频率分层特征提取模块，确定高频率和低频率中所含有的特征图的数量、卷积核的大小以及反卷积层的卷积核大小；

S32、所述多频率分层特征提取模块，其输入是对应的编码器一层的输入和上一个解码器的输出，其输出包含用于当前解码器的输入和用于最后多频率分层特征提取模块融合两部分；

S33、所述深度卷积神经网络中编码器与解码器，通过多频率分层特征提取模块实现连接，获得其输出结果；

S34、所述深度卷积神经网络中使用深度学习的库包括Caffe、Tensorflow实现以上所述深度神经网络结构，根据划分好的训练集和验证集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值。

6.根据权利要求5所述的一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法，其特征在于，所述步骤S4具体包括：

S41、根据所述步骤S21、S22、S23、S24、S31、S32、S33和S34，利用训练集和测试集训练深度卷积神经网络，深度卷积神经网络中的卷积层所采用的激活函数为ReLU，多频率分层特征提取模块最后一层输出中采用sigmoid激活函数来输出logit，其中每层损失函数公式为；

其中α和β是超参数，y_i是标签数据的真实值，

是原始图像经过深度网络预测值；

S42、多频率分层特征提取模块最后融合损失函数L＿fuse＝L＿side；

S43、所述深度卷积神经网络中最后总的损失函数是，每个多频率分层特征提取模块输出损失函数相加融合得到损失函数：

其中M表示多频率分层特征提取模块的数量，L＿side^m表示第m个多频率分层特征提取模块的损失函数。

7.根据权利要求6所述的一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法，其特征在于，所述步骤S5具体包括：

S51、根据所述步骤S41，S42和S43，所述深度卷积神经网络中融合多频率分层特征提取模块，其输入的特征图是每个多频率分层特征提取模块的特征图通过叠加融合后得到的特征图，其输出是融合后得到的特征图通过过卷积和反卷积操作得到的；

S52、所述深度卷积神经网络中，多频率分层特征提取模块融合最后的输出结果是神经网络最后的输出裂缝分割图像。

Images