CN112241950A

CN112241950A - 一种塔式起重机裂缝图像的检测方法

Info

Publication number: CN112241950A
Application number: CN202011117717.6A
Authority: CN
Inventors: 陈国栋; 王翠瑜
Original assignee: Fuzhou University
Current assignee: Fuzhou University
Priority date: 2020-10-19
Filing date: 2020-10-19
Publication date: 2021-01-19

Abstract

本发明涉及一种塔式起重机裂缝图像的检测方法，包括以下步骤：步骤S1:采集塔式起重机裂缝图像，并预处理后分为训练集和测试集；步骤S2:构建改进Faster R‑CNN模型；步骤S3:基于训练集，采用迁移学习方法对改进Faster R‑CNN模型进行学习训练，得到训练后的Faster R‑CNN模型；步骤S4:对训练后的Faster R‑CNN模型进行微调，得到最终的检测模型；步骤S5:将待测图像输入检测模型，获取裂缝的位置。本发明能够准确地识别各种尺度的裂缝，回归定位更加准确。

Description

一种塔式起重机裂缝图像的检测方法

技术领域

本发明涉及图像检测领域，具体涉及一种塔式起重机裂缝图像的检测方法。

背景技术

在工地施工中，塔式起重机长期超载、作业频繁、位置高、冲击力大，以及长期受自然环境影响，塔身结构容易出现裂缝，导致承载力不足，造成一定的施工风险。据统计，我国在2000—2012年间建筑起重机械责任事故发生了655起，其中塔式起重机安全事故占了472起；2012—2014年间，塔式起重机事故发生了162起，其中倒塌、折断事故占123起，占总事故的75.93％，而这主要是由于塔式起重机的金属结构开裂、出现裂纹导致承重力不够、失去平衡引起的。塔式起重机的钢结构件在焊接时基本采用手工气体保护焊,受条件和人员限制,很容易产生焊缝缺陷，同时塔式起重机主要处于工地中的复杂环境，自重高达上百吨，工作时间久了容易出现裂损的问题，由于塔式起重机的结构多，塔身高，出现的裂缝难以被及时发现，这些裂缝缺陷会削弱塔式起重机的承载力，为工地施工埋下安全隐患。近年来，塔式起重机的安全事故发生得越来越多，因此对塔式起重机的严格管理是必要的，保证塔式起重机的可靠性和安全性是非常重要的。现有的塔式起重机安全管理主要是基于人工的检查，但人工检测塔式起重机的裂缝会有主观影响，对一些小尺度的裂缝和一些结构位置较高的裂缝容易遗漏，同时将耗费大量的人力、财力、精力，难以保证效率和准确率，因此需要更多的技术支持。

发明内容

有鉴于此，本发明的目的在于提供一种塔式起重机裂缝图像的检测方法，具有更好的检测效果和更高的检测精度，实现了应用于塔式起重机裂缝图像的检测。

为实现上述目的，本发明采用如下技术方案：

一种塔式起重机裂缝图像的检测方法，包括以下步骤：

步骤S1:采集塔式起重机裂缝图像，并预处理后分为训练集和测试集；

步骤S2:构建改进Faster R-CNN模型；

步骤S3:基于训练集，采用迁移学习方法对改进FasterR-CNN模型进行学习训练，得到训练后的Faster R-CNN模型；

步骤S4:对训练后的Faster R-CNN模型进行微调，得到最终的检测模型；

步骤S5:将待测图像输入检测模型，获取裂缝的位置。

进一步的，所述步骤S1具体为：

步骤S11:获取不同的光照效果、角度、形状和尺寸大小的塔式起重机裂缝图像，得到塔式起重机裂缝数据集；

步骤S12:对塔式起重机裂缝图像进行平移、缩放和旋转，扩充塔式起重机裂缝数据集，并加入铁路裂缝图像、公路裂缝图像和桥梁裂缝图像，得到扩充后的数据集；

步骤S13:对扩充后的数据集使用LabelImg工具对裂缝目标进行标注，将其转换为VOC 2007数据集格式，并按预设比例分为训练集和数据集。

进一步的，所述改进Faster R-CNN模型采用多尺度特征金字塔结构代替原始的RPN结构，改进锚框的数量和大小；并改进RoI Pooling层，引入RoI Align方法。

进一步的，所述多尺度特征金字塔结构为基于ResNet-50，结合FPN算法，实现的多尺度特征金字塔结构。

进一步的，所述多尺度特征金字塔结构包括自下而上的通道、自上而下的通道和横向连接三部分，具体如下:

对输入的图片，其特征图提取方式采用自下而上；

通过自上而下的方法实现了2倍上采样，然后与特征图实现特征融合；

进行横向连接，通过对自下而上生成的特征图进行1x1的卷积操作。

进一步的，所述的改进锚框的数量和大小具体为：在原始三种不同的尺度及三种比例1：1，1：2，2：1上，增加尺度为32x32和64x64的锚点，改进后anchor为五种不同的尺度，分别为32x32，64x64，128x128，256x256，512x512，比例采用原始比例1：1，1：2，2：1，一共组合成15种不同尺度不同长宽比的anchor。

进一步的，所述改进RoI Pooling层具体为：采用Mask R-CNN算法中提出的RoIAlign方法，对RoI Pooling层进行改进，采用双线性插值方法，保留浮点数。

一种塔式起重机裂缝图像的检测***，包括包括存储器、处理器，所述存储器上存储有计算机程序，处理器在运行该计算机程序时，能够实现如权利要求1-7任一项所述的方法步骤。

本发明与现有技术相比具有以下有益效果：

1、本发明能够准确地识别各种尺度的裂缝，回归定位更加准确。

2、本发明具有更好的检测效果和更高的检测精度，实现了应用于塔式起重机裂缝图像的检测。

附图说明

图1是本发明一实施例中工作流程图；

图2是本发明一实施例中的RPN结构；

图3是本发明一实施例中多尺度特征金字塔结构；

图4是本发明一实施例中迁移学习应用流程图；

图5是本发明一实施例中检测效果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种塔式起重机裂缝图像的检测方法，包括以下步骤：

步骤S2:构建改进Faster R-CNN模型；

步骤S3:基于训练集，采用迁移学习方法对改进Faster R-CNN模型进行学习训练，得到训练后的Faster R-CNN模型；

步骤S5:将待测图像输入检测模型，获取裂缝的位置。

在本实施例中，所述步骤S1具体为：

在本实施中，所述改进Faster R-CNN模型的CNN特征提取网络基于ResNet-50，结合FPN算法，实现多尺度特征金字塔结构，用来代替原始的RPN结构。ResNet-50可以用来解决深层网络训练困难的问题，引入bottleneck结构，利用1x1的卷积操作来使通道数减少，从而可以降低计算量，通过恒等映射实现跳层连接，使得收敛速度加快，从而减少了优化网络模型的难度。

所述RPN结构是一种全卷积网络，通过在卷积层输出的特征图上进行滑窗处理，映射成d维特征向量，然后输入到分类层和回归层，进行下一步的类别和位置的判断。在每个滑动窗口的位置上同时预测k个候选区域，回归层具有4k个输出，代表k个候选框的4个坐标，在分类层中，有2k个得分输出，代表每个候选框是否为目标的估计概率。为了能够让算法更好地适用在不同尺寸和形状的目标，将特征图上的每个位置设置多个anchor box，从而用来预测输入图像的不同长宽比和不同尺度的候选区域。训练RPN时，整体损失(loss)函数为：

其中，i表示第i个anchor，p_i是anchor中含有目标的概率；当anchor是正样本时，p_i ^*＝1，若为负样本，则p_i ^*＝0；t_i是坐标向量，用来预测候选框，t_i＝(t_x,t_y,t_w,t_h)，t_i ^*则对应真实目标框，t_i ^*＝(t_x ^*,t_y ^*,t_w ^*,t_h ^*)，t_i和t_i ^*的定义为：

其中，x,y,w,h是RPN预测框的中心坐标及其宽高，x_a,y_a,w_a,h_a对应anchor box，x^*,y^*,w^*,h^*对应真实框；N_cls为批处理的大小，N_reg为anchor的总数，λ是平衡权重，通过N_cls和N_reg以及λ进行归一化。L_cls是分类损失函数，定义为：

L_cls(p_i,p_i ^*)＝-log[p_i ^*p_i+(1-p_i ^*)(1-p_i)]

L_reg是回归损失函数，定义为：

其中，Smooth_L1为鲁棒损失函数，定义为：

参考图3，在本实施例中，优选的，多尺度特征金字塔算法整体分为三部分：自下而上的通道、自上而下的通道、横向连接。首先，输入一张图片，其特征图提取方式采用自下而上。其次，通过自上而下的方法实现了2倍上采样，然后与特征图实现特征融合。最后进行横向连接，通过对自下而上生成的特征图进行1x1的卷积操作，其目的是为了与上采样的结果具有相同的通道数，然后通过3x3的卷积，作用于每个融合结果，从而消除上采样带来的混叠效应。经过上述的操作，融合的特征层为(P2，P3，P4，P5)，融合了更多浅层特征目标位置细节信息。之后经过RPN网络生成候选框，进一步判断目标的类别和位置。结合了FPN算法，会获得多个特征图，RoI根据不同尺度的特征图选择不同的特征层，具体的选择方式为：

其中，k₀为5，代表P5层的输出；w、h分别表示RoI区域的宽和高；224是图像数据集的标准输入。

②改进锚框：

在原始的参数下，增加尺度为32x32和64x64的锚点，改进后anchor为五种不同的尺度，分别为(32x32，64x64，128x128，256x256，512x512)，比例采用原始比例(1：1，1：2，2：1)，一共组合成15种不同尺度不同长宽比的anchor。

③改进RoI Pooling层：

采用Mask R-CNN算法中提出的RoI Align方法，对RoI Pooling层进行改进，采用双线性插值方法，保留浮点数，避免了量化带来的精度损失。将输入的图像大小设为900x900，假设待检测的塔式起重机裂缝图像中目标尺寸的大小为330x330，经过特征提取网络时会进行4次最大值池化，将区域建议框缩小为原图的1/16，尺寸变为20.63x20.63；经过第一次量化后，RoI Pooling取整，区域建议框尺寸变为20x20，RoI Align保留浮点数，尺寸还是20.63x20.63；然后将候选区域进行池化，尺寸固定为7x7，经过第二次量化，RoIPooling取20/7＝2.86，20/7＝2.86，取整后特征子图尺寸变为2x2，而RoI Align取20.63/7＝2.95，20.63/7＝2.95，保留浮点数后特征子图尺寸为2.95x2.95；最后每个特征子图取最大值进行输出，形成49个像素值，组成7x7的特征图。RoI Pooling两次量化都取整，在特征图上映射的区域建议框尺寸由20x20变为14x14，具有很大的像素偏差，不利于回归定位操作。因此，利用RoI Align方法可以更好地提高回归定位的准确性，从而获得更精确的目标区域。

参考图4，所述迁移学***滑，为了防止在后续迁移学习过程中参数被过度扭曲，利用SGD算法优化参数，设置迁移学习模型的初始学习率为0.001，batchsize为1，动量因子为0.9，权重衰减因子为0.0005，迭代次数为20000，之后再对模型进行微调得到最终模型。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims

1.一种塔式起重机裂缝图像的检测方法，其特征在于，包括以下步骤：

步骤S2:构建改进Faster R-CNN模型；

步骤S5:将待测图像输入检测模型，获取裂缝的位置。

2.根据权利要求1所述的一种塔式起重机裂缝图像的检测方法，其特征在于，所述步骤S1具体为：

步骤S13:对扩充后的数据集使用LabelImg工具对裂缝目标进行标注，将其转换为VOC2007数据集格式，并按预设比例分为训练集和数据集。

3.根据权利要求1所述的一种塔式起重机裂缝图像的检测方法，其特征在于，所述改进Faster R-CNN模型采用多尺度特征金字塔结构代替原始的RPN结构，改进锚框的数量和大小；并改进RoI Pooling层，引入RoI Align方法。

4.根据权利要求3所述的一种塔式起重机裂缝图像的检测方法，其特征在于，所述多尺度特征金字塔结构为基于ResNet-50，结合FPN算法，实现的多尺度特征金字塔结构。

5.根据权利要求4所述的一种塔式起重机裂缝图像的检测方法，其特征在于，所述多尺度特征金字塔结构包括自下而上的通道、自上而下的通道和横向连接三部分，具体如下:

对输入的图片，其特征图提取方式采用自下而上；

6.根据权利要求3所述的一种塔式起重机裂缝图像的检测方法，其特征在于，所述的改进锚框的数量和大小具体为：在原始三种不同的尺度及三种比例1：1，1：2，2：1上，增加尺度为32x32和64x64的锚点，改进后anchor为五种不同的尺度，分别为32x32，64x64，128x128，256x256，512x512，比例采用原始比例1：1，1：2，2：1，一共组合成15种不同尺度不同长宽比的anchor。

7.根据权利要求3所述的一种塔式起重机裂缝图像的检测方法，其特征在于，所述改进RoI Pooling层具体为：采用Mask R-CNN算法中提出的RoI Align方法，对RoI Pooling层进行改进，采用双线性插值方法，保留浮点数。

8.一种塔式起重机裂缝图像的检测***，其特征在于，包括包括存储器、处理器，所述存储器上存储有计算机程序，处理器在运行该计算机程序时，能够实现如权利要求1-7任一项所述的方法步骤。