CN111369526A - 基于半监督深度学习的多类型旧桥裂痕识别方法 - Google Patents

Abstract

本发明公开了一种基于半监督深度学习的多类型旧桥裂痕识别方法，该方法包括：对原始旧桥裂痕区域图像进行自商滤波处理；进行二值化处理、连通域分析筛选，得到裂痕图像；通过计算子区域的LBP特征来获得裂痕图像的全局LBP特征；利用标注孪生网络对图像进行自动标注；利用自动标注过的样本集对裂痕类型识别深度卷积神经网络进行训练，从而识别桥梁裂痕类型。利用本发明，在旧桥裂痕识别中，提高了裂痕类型识别精度和效率，降低了人工标注工作量。

Description

基于半监督深度学习的多类型旧桥裂痕识别方法

技术领域

本发明涉及深度学习、计算机视觉技术领域，基于半监督深度学习的多类型旧桥裂痕识别方法。

背景技术

随着我国社会经济和交通运输事业的快速发展，修建于多年前的桥梁，其交通荷载已超过其设计荷载值数倍。桥梁设计之初，由于工艺、材料、施工水平等方面的欠缺，加上年久失修，许多旧桥已经出现了多种桥梁病害。大部分的病害都集中表现在裂痕方面，如挠度加大而出现裂痕、表面破损而出现裂痕、混凝土碳化造成钢筋锈蚀而产生裂痕等。

目前对桥梁裂痕的检测还停留在人工判别的基础上。但是桥梁众多，人工判别不但成本高昂，其效率和准确性也难以满足对数量庞大的旧桥设施持续监测的需求。

基于计算机视觉检测技术具有非接触、高效性和经济性等显著优势，在多类型旧桥裂痕自动识别领域有着广泛的应用前景。因此，也曾有国外研究机构提出采用计算机视觉的方法对多类型的旧桥裂痕进行检测。但由于检测处在自然光条件下，外界环境干扰较多，加上其特征选取的不够精准，导致其检测鲁棒性很低，无法满足实际应用的需求。

也有研究提出采用深度学习的方式来对旧桥裂痕进行分类。众所周知，深度学习需要大量的正确的样本数据对模型中的参数进行更新，用最优化方法迭代得到最优的参数值。一方面，裂痕种类繁多；另一方面，图像数据众多。这些都需要人工标注，来确定当前图像的真实类别。此种方式成本高昂，效率较低，难以大规模应用。

因此，现有桥梁裂痕识别技术存在裂痕类型识别精度低、识别效率低、人工标注工作量大的问题。

发明内容

本发明提供了一种基于半监督深度学习的多类型旧桥裂痕识别方法，实现了旧桥裂痕识别，提高了裂痕类型识别精度和效率，降低了人工标注工作量。

一种基于半监督深度学习的多类型旧桥裂痕识别方法，该方法包括：

步骤一，对采集的原始旧桥裂痕区域图像进行自商滤波处理，得到滤波图像；

步骤二，采用大津阈值法对滤波图像进行二值化处理，并对二值化结果进行连通域分析筛选，得到裂痕图像；

步骤三，将裂痕图像划分为多个子区域，对每个子区域的像素点基于固定尺寸的模板计算二进制LBP值；

步骤四，将得到的二进制LBP值进行向右循环移位操作，每完成一次移位操作计算其十进制数值，直到所有移位操作结束，取最小十进制数数值对应的二进制LBP值作为该像素点的LBP值；

步骤五，计算每个子区域的LBP直方图，并将子区域的LBP直方图连接起来形成全局LBP特征；

步骤六，将已有分类标注信息的原始旧桥裂痕区域图像的全局LBP特征输入标注孪生网络，对样本集进行自动标注；

步骤七，将自动标注过的原始旧桥裂痕区域图像样本集作为输入，对裂痕类型识别深度卷积神经网络进行训练，利用训练好的网络对旧桥裂痕区域图像进行推理，从而得到裂痕类别。

步骤一包括：

对采集的原始旧桥裂痕区域图像进行高斯模糊处理；

对原始旧桥裂痕区域图像进行自商滤波：

其中，G为原始旧桥裂痕区域图像，I为经过高斯模糊处理的图像，SQI为滤波图像。

步骤一中的高斯模糊核尺寸为3*3，高斯半径为1.5。

步骤三中模板尺寸为5*5。

步骤六包括：

将已有分类标注信息的原始旧桥区域图像的全局LBP特征作为输入，根据对比损失函数训练标注孪生网络；

根据训练好的标注孪生网络对未分类的样本集图像进行自动标注。

步骤七中的裂痕类型识别深度卷积神经网络采用VGG16，包括13个卷积层，5个池化层，3个全连接层，全连接层最后一层包含M个神经元，M为裂痕类型数目。

本发明的有益效果在于：

1、本发明采用自商滤波法去除旧桥裂痕图像光照不均匀的情况，能够提高后续裂痕检测的鲁棒性。

2、本发明采用大津阈值化、连通域分析筛选方法获得裂痕的二值图像，从而去除干扰信息，获取准确的裂痕图像，提高了方法的整体精度。

3、本发明采用改进的LBP特征，不仅能够准确地表达局部特征，而且具有旋转不变特性，提高了后续自动标注精度，进一步提高了裂痕类型检测精度。

4、本发明在提取的LBP特征基础上采用标注孪生网络，在根据少量标注样本的基础上，自动生成大量准确样本以供深度学习使用，实现了半监督学习，降低了人工标注的工作量。

5、本发明在自动标注的样本集的基础上，采用深度卷积神经网络对样本集进行训练，最终实现鲁棒性更强、泛化能力更强、无需调参的计算机视觉分类***。

附图说明

图1为本发明方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于半监督深度学习的多类型旧桥裂痕识别方法，流程图如图1所示。下面通过具体实施例来进行说明。

实施例一：

基于半监督深度学习的多类型旧桥裂痕识别方法，该方法包括：

步骤一，对摄像头采集的原始旧桥裂痕区域图像进行自商滤波处理，得到滤波图像。

本发明基于计算机视觉技术来进行旧桥裂痕识别，需要使用摄像头采集原始旧桥裂痕区域图像。具体地，可人工使用摄像机采集旧桥裂痕区域图像，也可使用无人机航拍方法获取旧桥裂痕区域图像。如此，可以得到原始旧桥裂痕区域图像G(x,y)。

为了实现对旧桥裂痕的精准分类，首先需要将裂痕区域从整张图像中截取出来，以达到顾虑干扰信息的效果，提高分类准确性的效果。

然而，众所周知，坏境光照是不均匀且多变的，若采用固定阈值分割的方法会得到错误的裂痕区域。因此，本发明首先针对图像光照不均匀进行处理，采用自商滤波去除光照不均匀现象。

根据成像原理可知：一幅通过物理光学过程产生的图像都可以表示为照射分量与反射分量的乘积：

G(x,y)＝I(x,y)×R(x,y)

其中，G(x,y)为原始图像，I(x,y)照射分量图像，R(x,y)为反射分量图像，x,y为像素点坐标。

从上述公式可以看出，图像的照射分量是反射分量相乘关系，在信号学当中很难分开。

物体的反射分量图像由物体的材料、形状、姿态灯因素决定，与光照无关，因此，可采用自商滤波的方式去除光照不均匀现象，具体地采用下述公式：

R(x,y)＝G(x,y)/I(x,y)

其中，I(x,y)可以采用如下方式得到：

首先,采用高斯模糊算法，对图像进行模糊处理。其中高斯半径σ的取值规则是：σ越大意味着图像模糊程度越高。需要说明的是，高斯模糊算法是公知的，在此不再赘述，也不作为发明保护内容。本发明中σ取1.5，高斯卷积核采用3*3的模板对原图像进行高斯模糊处理即可得到图像I。

代入公式，即可得到：

至此，可以得到消除光照现象的图像SQI。

步骤二，采用大津阈值法对滤波图像进行二值化处理，并对二值化结果进行连通域分析筛选，得到裂痕图像。

采用大津阈值法对图像SQI进行二值化，即可得到裂痕的二值图像。采用轮廓查找的方式进一步确定裂痕区域的矩形包围框，并按照包围框对大图进行裁剪即可得到去除了周围干扰信息的裂痕图像Z。具体地，对二值化处理后的图像进行轮廓查找，得到裂痕感兴趣区域，然后，根据筛选规则过滤掉干扰的连通域，得到准确的仅包含裂痕的裂痕图像。筛选规则可以根据实施需求具体限定，例如可以根据连通域面积、填充率、长宽比进行筛选，如此可以过滤掉噪声，得到裂痕图像。

步骤三，将裂痕图像划分为多个子区域，对每个子区域的像素点基于固定尺寸的模板计算二进制LBP值。

将一幅图片划分为若干的子区域，对每个子区域内的每个像素点都提取LBP特征。进一步的，提取裂痕图像Z的LBP特征，使用该特征对裂痕特征进行描述：

以固定尺寸的模板遍历整张图像，本发明根据裂痕的成像尺寸，采用5X5的模板。

针对每个5X5的模板覆盖区域，按照如下方法计算初始局部LBP特征：

模板中的25个点为P_i(0≤i≤24)，其中模板中心点为P₁₂，假设该点灰度值为N，若模板中其他点的灰度值大于N，则该点的编码值置G_i为1，否则为0。可得该中心点的LBP特征，它是一个一维的二进制编码。

步骤四，将得到的二进制LBP值进行向右循环移位操作，每完成一次移位操作计算其十进制数值，直到所有移位操作结束，取最小十进制数数值对应的二进制LBP值作为该像素点的LBP值。

当同一图像发生旋转时，上述特征描述方式会生成一个完全不同的特征表示，即上述方式还无法适应图像的旋转不变性。

因此，需要对上述特征进行进一步处理。具体方式为：将得到的二进制LBP特征进行向右循环移位操作，移位的步长为1，每完成一次移位操作计算其十进制数值，直到所有移位操作结束，即可得到24个数值，取其中的最小值，该最小值对应的二进制特征即为具有旋转不变性的LBP特征f^r(p)：

f^r(p)＝min(ROR(f(p),i))，0≤i≤23

其中ROR为移位操作，i表示移位索引值，min表示取最小值，f(p)为LBP二进制编码对应的十进制数值。

步骤五，计算每个子区域的LBP直方图，并将子区域的LBP直方图连接起来形成全局LBP特征。

在每个子区域内建立LBP特征的统计直方图。将每个子区域的LBP直方图整合起来即可得到图像的全局LBP特征。需要说明的是，直方图的整合方式是公知的，在此不再赘述，也不作为发明保护内容。

步骤六，将已有分类标注信息的原始旧桥裂痕区域图像的全局LBP特征输入标注孪生网络，对样本集进行自动标注。

进一步地，假设旧桥裂痕共有M个类别，当前每个类别中都已有少量带有标注信息的图片。孪生网络能够在小样本上实现较为精准的分类，基于此本发明采用孪生网络来自动生成多类别的数据样本。

具体地，将图像的LBP特征做为孪生神经网络的两个输入，分别输入到两个神经网络中，这两个神经网络的权重是共享的。孪生网络分别通过编码器将输入映射到新的空间，形成在新的空间中的特征表示。通过损失函数对网络权重进行迭代更新，评价两个输入的相似度。

训练阶段，将已有带标注信息数据样本的LBP特征两两一组分成多组对孪生网络进行训练。需要说明的是，每组数据可以是相同类别的数据，也可以是不同类别的数据。其中，孪生网络的损失函数为对比损失函数：

其中，Y值为1或0。如果模型预测输入是相似的，即两个输入属于同一类的旧桥裂痕，那么Y的值为0，否则，若模型预测两个输入为不同类的旧桥裂痕，则Y为1。D_w为孪生网络的欧式距离：

对网络进行训练即可得到样本相似度评价模型，通过相似度评价模型对未标注样本进行预测，即可得到未标注图片的标注信息。

至此，可以将所有未标注的样本按照上述方法得到其准确的标注信息，并基于此标注信息对深度神经网络进行训练。

利用裂痕图像的LBP直方图特征，采用孪生网络对采集的桥梁区域图像进行自动标注，可以大大降低人工标注的成本。

步骤七，将自动标注过的原始旧桥裂痕区域图像样本集作为输入，对裂痕类型识别深度卷积神经网络进行训练，利用训练好的网络对旧桥裂痕区域图像进行推理，从而得到裂痕类别。

构建卷积神经网络模型VGG16，网络模型包括13个卷积层，5个池化层，3个全连接层。其中，将最后一层的全连接层输出改为M，代表M类裂痕。损失函数为：

其中，i为训练集对应的索引，

为预测值，y_i为真实值，N为样本数量。

在训练时，将所有样本按照8：1：1的比例，分为训练集、验证集、测试集。采用随机梯度下降法对参数进行优化，目标误差为0.00001，初始学习率为0.001，为防止模型陷入局部极小值，学习率需要按照每100个iteration降低10倍的方式进行递减

实施者需观察网络收敛情况，适时停止训练。

本发明采用自商滤波法去除旧桥裂痕图像光照不均匀的情况，能够提高后续裂痕检测的鲁棒性。本发明采用大津阈值化、轮廓查找方法获得裂痕的二值图像，从而去除干扰信息，获取准确的裂痕图像，提高了方法的整体精度。本发明采用改进的LBP特征，不仅能够准确地表达局部特征，而且具有旋转不变特性，提高了后续自动标注精度，进一步提高了裂痕类型检测精度。在提取的LBP特征基础上采用标注孪生网络，在根据少量标注样本的基础上，自动生成大量准确样本以供深度学习使用，实现了半监督学习，降低了人工标注的工作量。在自动标注的样本集的基础上，采用深度卷积神经网络对样本集进行训练，最终实现鲁棒性更强、泛化能力更强、无需调参的计算机视觉分类***。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于半监督深度学习的多类型旧桥裂痕识别方法，其特征在于，该方法包括：

步骤一，对采集的原始旧桥裂痕区域图像进行自商滤波处理，得到滤波图像；

步骤二，采用大津阈值法对滤波图像进行二值化处理，并对二值化结果进行连通域分析筛选，得到裂痕图像；

步骤三，将裂痕图像划分为多个子区域，对每个子区域的像素点基于固定尺寸的模板计算二进制LBP值；

步骤四，将得到的二进制LBP值进行向右循环移位操作，每完成一次移位操作计算其十进制数值，直到所有移位操作结束，取最小十进制数数值对应的二进制LBP值作为该像素点的LBP值；

步骤五，计算每个子区域的LBP直方图，并将子区域的LBP直方图连接起来形成全局LBP特征；

步骤六，将已有分类标注信息的原始旧桥裂痕区域图像的全局LBP特征输入标注孪生网络，对样本集进行自动标注；

步骤七，将自动标注过的原始旧桥裂痕区域图像样本集作为输入，对裂痕类型识别深度卷积神经网络进行训练，利用训练好的网络对旧桥裂痕区域图像进行推理，从而得到裂痕类别。

2.如权利要求1所述的基于半监督深度学习的多类型旧桥裂痕识别方法，其特征在于，所述步骤一包括：

对采集的原始旧桥裂痕区域图像进行高斯模糊处理；

对原始旧桥裂痕区域图像进行自商滤波：

其中，G为原始旧桥裂痕区域图像，I为经过高斯模糊处理的图像，SQI为滤波图像。

3.如权利要求1所述的基于半监督深度学习的多类型旧桥裂痕识别方法，其特征在于，所述步骤一中的高斯模糊核尺寸为3*3，高斯半径为1.5。

4.如权利要求1所述的基于半监督深度学习的多类型旧桥裂痕识别方法，其特征在于，所述步骤三中模板尺寸为5*5。

5.如权利要求1所述的基于半监督深度学习的多类型旧桥裂痕识别方法，其特征在于，所述步骤六包括：

将已有分类标注信息的原始桥梁区域图像的全局LBP特征作为输入，根据对比损失函数训练标注孪生网络；

根据训练好的标注孪生网络对未分类的样本集图像进行自动标注。

6.如权利要求1所述的基于半监督深度学习的多类型旧桥裂痕识别方法，其特征在于，所述步骤七中的裂痕类型识别深度卷积神经网络采用VGG16，包括13个卷积层，5个池化层，3个全连接层，全连接层最后一层包含M个神经元，M为裂痕类型数目。

Images