CN116543303A - 一种基于深度学习的桥梁板式橡胶支座病害识别检测方法 - Google Patents
一种基于深度学习的桥梁板式橡胶支座病害识别检测方法 Download PDFInfo
- Publication number
- CN116543303A CN116543303A CN202310488349.3A CN202310488349A CN116543303A CN 116543303 A CN116543303 A CN 116543303A CN 202310488349 A CN202310488349 A CN 202310488349A CN 116543303 A CN116543303 A CN 116543303A
- Authority
- CN
- China
- Prior art keywords
- detection
- rubber support
- type rubber
- bridge plate
- plate type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 149
- 201000010099 disease Diseases 0.000 title claims abstract description 117
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 117
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000003062 neural network model Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 239000011800 void material Substances 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000010008 shearing Methods 0.000 claims description 6
- 238000011282 treatment Methods 0.000 claims description 6
- 230000002068 genetic effect Effects 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000005336 cracking Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims 1
- 230000001629 suppression Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明属于桥梁病害检测技术领域，涉及一种基于深度学习的桥梁板式橡胶支座病害识别检测方法，包括以下步骤：搭建神经网络模型，训练初始检测模型，构造病害数据集，训练检测模型，检测图像病害；本发明能够通过对部分图像的标注、人工校正并将数据多次输入模型训练，构造出桥梁板式橡胶支座病害数据集，实现桥梁板式橡胶支座数据的半自动标注，节省了标注的工作量，减少了因人为标注所带来的标注错误及标注格式不统一问题，进而实现对桥梁板式橡胶支座病害的识别检测，节省标注时间，使用Soft‑NMS代替NMS非极大值抑制以得到更好地目标检测框，提高检测效率和准确率。
Description
技术领域
本发明属于桥梁病害检测技术领域，涉及一种基于深度学习的桥梁板式橡胶支座病害识别检测方法，能够通过对部分图像的标注、人工校正并将数据多次输入模型训练，构造出桥梁板式橡胶支座病害数据集，实现桥梁板式橡胶支座数据的半自动标注，进而实现对桥梁板式橡胶支座病害的识别检测，节省标注时间，提高检测效率和准确率。
背景技术
随着近年来我国基础设施建设的不断发展，道路桥梁建设数量呈现出迅猛增长的趋势。桥梁橡胶支座作为桥梁的关键组成部分，对保证桥梁结构健康和正常通行皆具有重要作用，橡胶支座一旦出现病害，会影响整个桥梁结构的受力状态进而威胁到过往车辆及行人的交通安全。因此，对桥梁橡胶支座检测和橡胶支座病害识别在桥梁养护工作中是必不可少的。传统的桥梁板式橡胶支座检测方法为人工实地检测，该方法费时费力，成本高、耗费大量的人力物力，与当今日益增长的桥梁养护需求不符。目前国内外对于桥梁橡胶支座的识别正在实现由传统人工实地检测到自动化提取的转变，这种转变大大提高了桥梁橡胶支座病害检测的效率，为桥梁养护管理提供数据支撑。但是，传统的数字图像识别桥梁板式橡胶支座病害易受光照影响，容易造成识别错误或漏失的后果；数据集的标注工作量大，耗费大量人力、时间，且人为主观标注数据易造成标注错误，不同工作人员之间的标注又易造成标注格式的不统一；桥梁橡胶支座裂缝在数学形态上具有细长、不规则、不连续性，基于回归框预测的深度学习方法在细长物体上难以取得良好的成效。
在现有技术中，中国专利CN108288269A公开了一种基于无人机与卷积神经网络的桥梁板式橡胶支座病害自动识别方法，包括如下步骤：获取桥梁板式橡胶支座病害自动识别方法照片，运用图像处理的方法，增加用于训练卷积神经网络的数据量；将获取的桥梁板式橡胶支座病害自动识别方法照片划分训练集和测试集；建立卷积神经网络，并通过梯度下降法与反向传播算法迭代训练卷积神经网络各层的权值；得到具有自动识别桥梁板式橡胶支座病害自动识别方法功能的卷积神经网络模型；地面控制***控制无人机进行巡航，并使用无人机携带的图像采集设备获取桥梁板式橡胶支座的照片；将无人机采集的数据传入云端进行数据处理，使用已经训练好的卷积神经网络模型进行桥梁板式橡胶支座病害自动识别方法的自动识别；中国专利CN110222701B公开了一种桥梁病害自动识别方法，包括以下步骤：S1：构建桥梁病害检测数据集；S2：将数据集划分为训练集和测试集；S3：基于卷积神经网络SSD构建桥梁病害的目标检测模型；并对S3中的构建的桥梁病害的目标检测模型进行训练，对训练后的桥梁病害的目标检测模型进行评估，如通过了评估标准，则将待检测的带有病害的桥梁图像输入更新参数后的目标检测模型，通过特征融合确定最终的病害位置、种类及尺寸；中国专利CN115713647A公开了一种基于深度学习的桥梁表观信息三分级识别方法和识别***，先将训练数据集逐级分类，得到每个桥梁部位的训练数据集、每个桥梁构件的训练数据集、每个病害类别的训练数据集；然后，用前面的训练数据集分别训练改进的VGG16模型，得到每个桥梁部位的部位识别模型、每个构件的构件识别模型和每个病害类别的病害识别模型，组成三分级识别模型；最后将待预测的桥梁表观图像输入部位识别模型，识别出该图像对应的桥梁部位，然后再输入对应桥梁部位的构件识别模型，识别出该图像对应的构件；最后输入对应构件的病害识别模型，输出待预测的包含桥梁表观信息的图像的病害类别。但是，上述现有技术均不能通过构造训练集来实现桥梁板式橡胶支座数据的半自动标注，进而训练出高效率的综合性病害的检测模型，检测复杂度较高。
发明内容
本发明的目的在于克服现有技术的缺点，设计提供一种基于深度学习的桥梁板式橡胶支座病害识别检测方法，解决现有技术中无法实现通过构造训练集来实现桥梁板式橡胶支座数据的半自动标注，进而训练出高效率的综合性病害的检测模型的问题。
为了实现上述目的，本发明提供的基于深度学习的桥梁板式橡胶支座病害识别检测方法，具体包括以下步骤：
S1：搭建神经网络模型：搭建桥梁板式橡胶支座病害检测神经网络模型，网络最终输出为图像上预测的病害类别和位置信息；
S2：训练初始检测模型：采集桥梁板式橡胶支座图像，对采集到的部分图像进行标注，得到初始数据，使用初始数据对步骤S1中搭建的桥梁板式橡胶支座病害检测神经网络模型进行训练，得到适用于桥梁板式橡胶支座病害检测任务的初始检测模型；
S3：构造病害数据集：使用初始检测模型对步骤S2中采集到的图像中未标注部分的图像进行检测，并对该检测结果进行人工校正，得到校正数据，将校正数据与初始数据进行合并并处理，得到桥梁板式橡胶支座病害数据集；
S4：训练检测模型：使用桥梁板式橡胶支座病害数据集训练步骤S1中搭建的桥梁板式橡胶支座病害检测神经网络模型，得到适用于桥梁板式橡胶支座病害检测任务的检测模型；
S5：检测图像病害：将需要检测的图像输入步骤S4得到的检测模型中进行检测，删掉其他重复结果，保留效果最好的检测结果。
本发明涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其中步骤S1具体包括以下步骤：
S11：以YOLOv4神经网络模型为基础，搭建桥梁板式橡胶支座病害检测神经网络模型；其中，包括图像预处理模块、检测模块、损失函数模块；
S12：建立图像预处理模块，用于对输入图像尺寸统一进行调整至608*608或416*416；使用Moscaic数据增强方式，一次获取4张输入图像并按随机缩放、随机裁剪和随机排布的方式进行拼接，以丰富待检测物体背景，提高模型训练速度；
S13：建立检测模块，用于在DarkNet53每个残差块后加上CSPX模块，构成主干网络CSPDarkNet53以对输入图像提取特征信息，CSPX模块由卷积层和X个Resblock模块连接而成；使用空间池化金字塔结构增加感受野，使用路径聚合网络PANet将提取得到的特征信息转换为坐标，类别信息，使用上采样和下采样进行特征融合，并输出大小为77*77*255、38*38*355、19*19*255的三个特征图；将输出结果与真实标签做对比，计算出损失函数，从而对图像特征进行预测，生成边界框并预测类别；
S14：建立损失函数模块，损失函数由三部分组成：位置损失(LOSScoor)、分类损失(LOSSclass)、置信度损失(LOSSconf)；
其中，位置损失定义如下：
位置损失使用的CIOU定义如下：
分类损失定义如下：
置信度损失定义如下：
上述式(1)、式(2)、式(3)、式(4)中，λcoor为正样本权重系数，λnoobj为负样本权重系数，判断是否为正样本，取值非0即1；c是一个类别索引，表示预测的类别，其取值范围从0到C-1，其中C是类别数，c∈classes为待检测目标类别数，c＝4；K是网格大小，也就是将图像划分为K×K个网格，每个网格负责预测一个边界框，/>表示遍历所有预测框，K*K＝13*13+26*26+52*52，M＝3,/>为样本值，Ci为预测值；b，bgt分别代表了预测框和真实框的中心点，ρ代表两个中心点间的欧式距离；c代表能够同时包含预测框和真实框的最小闭包区域的对角线距离，/>是用于平衡比例的参数，v用来衡量锚框和真实框之间的比例一致性；Wi：预测框中心点宽，Hi：预测框中心点高；p^i(c)是第i个网格中第j个边界框预测属于类别c的概率；αt是一个权重系数，表示对正样本(真实类别为c)和负样本(真实类别不为c)的不同处理，其取值范围从0到1，一般来说，对于少数类的正样本，αt会比较大，对于多数类的负样本，αt会比较小；γ是一个调节系数，表示对难易样本的不同处理，它的取值范围是从0到无穷大，一般来说，对于难样本(预测概率低)，γ会放大它们的损失，对于易样本(预测概率高)，γ会缩小它们的损失。
本发明涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其中步骤S2具体包括以下步骤：
S21：在历次桥梁人工巡检中，通过手机、无人机、摄像机等图像采集装置收集桥梁板式橡胶支座图像，所采集的图像均为桥梁板式橡胶支座正视图，能清晰反映桥梁板式橡胶支座及其周围结构；
S22：对步骤S21中采集的图像进行筛选，挑出能清晰反映支座破损、支座脱空、支座剪切变形的图像；选择其中部分图像并使用LabelImg标注软件对得到的支座破损、支座脱空、支座剪切变形及支座本身图像进行xml格式的标注，分别标注为Crack damage、Void、Shear deformation、Bearing，得到初始数据；
S23：使用k-means聚类和遗传算法得到适用于本数据集的先验框，使用步骤S22中得到的人工标注数据对步骤S1中搭建的桥梁板式橡胶支座病害检测神经网络模型进行训练，保留效果最好的模型权重，得到初始模型。
本发明涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其中步骤S3具体包括以下步骤：
S31：将步骤S2中采集到的图像中未标注部分的图像输入初始模型进行检测，将检测结果作为未标注数据标签，对标签结果进行审查，并手动校正标签遗漏、标签错误、标签不够准确情况，得到校正数据；
S32：将初始数据与校正数据进行合并，通过随机调整亮度至原亮度的0.35-1.2倍，随机平移(最大平移量至标注框边界处)、随机旋转(旋转角度范围为-15°至+15°)、水平镜像翻转并矫正标注框坐标的方式对得到的已标注后的所有样本图像进行增广，按6:2:2将数据集划分为训练集、验证集、测试集，得到桥梁板式橡胶支座病害数据集。
本发明涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其中步骤S4具体包括以下步骤：
S41：将桥梁板式橡胶支座病害数据集中的训练集输入步骤S1构建的桥梁板式橡胶支座病害检测神经网络模型中对其进行训练；
S42：通过查看训练集和验证集的损失值随着epoch的变化关系判断模型是否过拟合，如果是则及时停止训练，并根据情况调整模型结构和超参数，验证集上的表现决定超参数拥有的性能差距，通过在验证集上验证，自适应调整网络模型超参数，并保留效果最好的模型权重，得到适用于桥梁板式橡胶支座病害检测任务的检测模型。
本发明涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其中步骤S5具体包括以下步骤：
S51：首先将输入的橡胶支座图片经8倍下采样后划分为76*76个格网，经16倍下采样后划分为38*38个格网，经32倍下采样后划分为19*19个格网；每个网格负责预测中心落入该网格的目标，并计算出3个预测框，每个预测框对应5+4个值；其中4表示数据集中的类别总数，即橡胶支座、开裂破损、脱空、剪切变形，5代表预测边界框的中心点坐标(x，y)、框的宽高尺寸(w，h)和置信度参数信息；输入的图像大小为608*608*3，模型最终输出76*76*27、38*38*27、19*19*27三个尺度的张量(其中27＝(4+5)*3，4为桥梁板式橡胶支座病害数据集上的类别总数)，经过对这三个张量的解析，并使用Soft-NMS筛选出置信度值较高的预测框作为目标检测框，实现目标的定位并输出检测框类别、置信度及坐标值；
S52：在输入的图像上绘制步骤S51得到的检测框，并注释类别、置信度信息作为输出图像，将类别、检测框坐标值及置信度按图像名称输出至txt文件。
本发明与现有技术相比，具有以下优点：(1)本发明通过对部分图像的标注、人工校正并将数据多次输入模型训练，构造出桥梁板式橡胶支座病害数据集，从数据标注层面上采用了一种板式桥梁橡胶支座半自动标注方法，节省了标注的工作量，减少了因人为标注所带来的标注错误及标注格式不统一问题；(2)在模型上采用k-means聚类和遗传算法得到适用于本数据集的先验框，使先验框的宽高比更符合板式桥梁橡胶支座病害分布特征，使用Soft-NMS代替NMS非极大值抑制以得到更好地目标检测框，提高了检测准确率和效率。
附图说明
图1为本发明涉及的一种基于深度学习的桥梁板式橡胶支座病害识别检测方法的工艺流程框图。
具体实施方式
下面结合附图和具体实施例，对本发明的技术方案进一步描述。
实施例1：
本实施例涉及一种基于深度学习的桥梁板式橡胶支座病害识别检测方法，包括以下步骤：
S1：搭建神经网络模型：搭建桥梁板式橡胶支座病害检测神经网络模型，网络最终输出为图像上预测的病害类别和位置信息；
S2：训练初始检测模型：采集桥梁板式橡胶支座图像，对采集到的部分图像进行标注，得到初始数据，使用初始数据对步骤S1中搭建的桥梁板式橡胶支座病害检测神经网络模型进行训练，得到适用于桥梁板式橡胶支座病害检测任务的初始检测模型；
S3：构造病害数据集：使用初始检测模型对步骤S2中采集到的图像中未标注部分的图像进行检测，并对该检测结果进行人工校正，得到校正数据，将校正数据与初始数据进行合并并处理，得到桥梁板式橡胶支座病害数据集；
S4：训练检测模型：使用桥梁板式橡胶支座病害数据集训练步骤S1中搭建的桥梁板式橡胶支座病害检测神经网络模型，得到适用于桥梁板式橡胶支座病害检测任务的检测模型；
S5：检测图像病害：将需要检测的图像输入步骤S4得到的检测模型中进行检测，删掉其他重复结果，保留效果最好的检测结果。
本实施例涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其中步骤S1具体包括以下步骤：
S11：以YOLOv4神经网络模型为基础，搭建桥梁板式橡胶支座病害检测神经网络模型；其中，包括图像预处理模块、检测模块、损失函数模块；
S12：建立图像预处理模块，用于对输入图像尺寸统一进行调整至608*608或416*416；使用Moscaic数据增强方式，一次获取4张输入图像并按随机缩放、随机裁剪和随机排布的方式进行拼接，以丰富待检测物体背景，提高模型训练速度；
S13：建立检测模块，用于在DarkNet53每个残差块后加上CSPX模块，构成主干网络CSPDarkNet53以对输入图像提取特征信息，CSPX模块由卷积层和X个Resblock模块连接而成；使用空间池化金字塔结构增加感受野，使用路径聚合网络PANet将提取得到的特征信息转换为坐标，类别信息，使用上采样和下采样进行特征融合，并输出大小为77*77*255、38*38*355、19*19*255的三个特征图；将输出结果与真实标签做对比，计算出损失函数，从而对图像特征进行预测，生成边界框并预测类别；
S14：建立损失函数模块，损失函数由三部分组成：位置损失(LOSScoor)、分类损失(LOSSclass)、置信度损失(LOSSconf)；
其中，位置损失定义如下：
位置损失使用的CIOU定义如下：
分类损失定义如下：
置信度损失定义如下：
上述式(1)、式(2)、式(3)、式(4)中，λcoor为正样本权重系数，λnoobj为负样本权重系数，判断是否为正样本，取值非0即1；c是一个类别索引，表示预测的类别，其取值范围从0到C-1，其中C是类别数，c∈classes为待检测目标类别数，c＝4；K是网格大小，也就是将图像划分为K×K个网格，每个网格负责预测一个边界框，/>表示遍历所有预测框，K*K＝13*13+26*26+52*52，M＝3,/>为样本值，Ci为预测值；b，bgt分别代表了预测框和真实框的中心点，ρ代表两个中心点间的欧式距离；c代表能够同时包含预测框和真实框的最小闭包区域的对角线距离，/>是用于平衡比例的参数，v用来衡量锚框和真实框之间的比例一致性；Wi：预测框中心点宽，Hi：预测框中心点高；p^i(c)是第i个网格中第j个边界框预测属于类别c的概率；αt是一个权重系数，表示对正样本(真实类别为c)和负样本(真实类别不为c)的不同处理，其取值范围从0到1，一般来说，对于少数类的正样本，αt会比较大，对于多数类的负样本，αt会比较小；γ是一个调节系数，表示对难易样本的不同处理，它的取值范围是从0到无穷大，一般来说，对于难样本(预测概率低)，γ会放大它们的损失，对于易样本(预测概率高)，γ会缩小它们的损失。
本实施例涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其中步骤S2具体包括以下步骤：
S21：在历次桥梁人工巡检中，通过手机、无人机、摄像机等图像采集装置收集桥梁板式橡胶支座图像，所采集的图像均为桥梁板式橡胶支座正视图，能清晰反映桥梁板式橡胶支座及其周围结构；
S22：对步骤S21中采集的图像进行筛选，挑出能清晰反映支座破损、支座脱空、支座剪切变形的图像；选择其中部分图像并使用LabelImg标注软件对得到的支座破损、支座脱空、支座剪切变形及支座本身图像进行xml格式的标注，分别标注为Crack damage、Void、Shear deformation、Bearing，得到初始数据；
S23：使用k-means聚类和遗传算法得到适用于本数据集的先验框，使用步骤S22中得到的人工标注数据对步骤S1中搭建的桥梁板式橡胶支座病害检测神经网络模型进行训练，保留效果最好的模型权重，得到初始模型。
本实施例涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其中步骤S3具体包括以下步骤：
S31：将步骤S2中采集到的图像中未标注部分的图像输入初始模型进行检测，将检测结果作为未标注数据标签，对标签结果进行审查，并手动校正标签遗漏、标签错误、标签不够准确情况，得到校正数据；
S32：将初始数据与校正数据进行合并，通过随机调整亮度至原亮度的0.35-1.2倍，随机平移(最大平移量至标注框边界处)、随机旋转(旋转角度范围为-15°至+15°)、水平镜像翻转并矫正标注框坐标的方式对得到的已标注后的所有样本图像进行增广，按6:2:2将数据集划分为训练集、验证集、测试集，得到桥梁板式橡胶支座病害数据集。
本实施例涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其中步骤S4具体包括以下步骤：
S41：将桥梁板式橡胶支座病害数据集中的训练集输入步骤S1构建的桥梁板式橡胶支座病害检测神经网络模型中对其进行训练；
S42：通过查看训练集和验证集的损失值随着epoch的变化关系判断模型是否过拟合，如果是则及时停止训练，并根据情况调整模型结构和超参数，验证集上的表现决定超参数拥有的性能差距，通过在验证集上验证，自适应调整网络模型超参数，并保留效果最好的模型权重，得到适用于桥梁板式橡胶支座病害检测任务的检测模型。
本实施例涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其中步骤S5具体包括以下步骤：
S51：首先将输入的橡胶支座图片经8倍下采样后划分为76*76个格网，经16倍下采样后划分为38*38个格网，经32倍下采样后划分为19*19个格网；每个网格负责预测中心落入该网格的目标，并计算出3个预测框，每个预测框对应5+4个值；其中4表示数据集中的类别总数，即橡胶支座、开裂破损、脱空、剪切变形，5代表预测边界框的中心点坐标(x，y)、框的宽高尺寸(w，h)和置信度参数信息；输入的图像大小为608*608*3，模型最终输出76*76*27、38*38*27、19*19*27三个尺度的张量(其中27＝(4+5)*3，4为桥梁板式橡胶支座病害数据集上的类别总数)，经过对这三个张量的解析，并使用Soft-NMS筛选出置信度值较高的预测框作为目标检测框，实现目标的定位并输出检测框类别、置信度及坐标值；
S52：在输入的图像上绘制步骤S51得到的检测框，并注释类别、置信度信息作为输出图像，将类别、检测框坐标值及置信度按图像名称输出至txt文件。
实施例2：
本实施例的实施在于验证实施例1涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法在实际中的检测效果，主要进行了以下的对比实验：
(1)实验设备：使用本实施例1涉及的基于深度学习的桥梁板式橡胶支座病害识别检测方法；
(2)实验方法：将需要检测的图像输入到适用于桥梁板式橡胶支座病害检测任务的检测模型，根据其检测速度、计算速度进行检测评估。
(3)实验结果：
表1示教结果表
| 名称 | 实际结果 | 期望结果 |
| 准确率 | 100％ | 100％ |
| 检测时间 | 10ms | <0.1s |
| 检测效果 | 极好 | 极好 |
通过表1可知，本发明提供的基于深度学习的桥梁板式橡胶支座病害识别检测方法，通过对部分图像的标注、人工校正并将数据多次输入模型训练，构造出桥梁板式橡胶支座病害数据集，节省了标注的工作量，减少了标注错误，增加模型训练后检测准确率，在模型上采用k-means聚类和遗传算法得到适用于本数据集的先验框，使先验框的宽高比更符合板式桥梁橡胶支座病害分布特征，使用Soft-NMS代替NMS非极大值抑制以得到更好地目标检测框，进一步提高了检测准确率和效率，具有良好得出应用前景。
Claims (10)
1.一种基于深度学习的桥梁板式橡胶支座病害识别检测方法，其特征在于：包括以下步骤：
S1：搭建神经网络模型：搭建桥梁板式橡胶支座病害检测神经网络模型，网络最终输出为图像上预测的病害类别和位置信息；
S2：训练初始检测模型：采集桥梁板式橡胶支座图像，对采集到的部分图像进行标注，得到初始数据，使用初始数据对步骤S1中搭建的桥梁板式橡胶支座病害检测神经网络模型进行训练，得到适用于桥梁板式橡胶支座病害检测任务的初始检测模型；
S3：构造病害数据集：使用初始检测模型对步骤S2中采集到的图像中未标注部分的图像进行检测，并对该检测结果进行人工校正，得到校正数据，将校正数据与初始数据进行合并并处理，得到桥梁板式橡胶支座病害数据集；
S4：训练检测模型：使用桥梁板式橡胶支座病害数据集训练步骤S1中搭建的桥梁板式橡胶支座病害检测神经网络模型，得到适用于桥梁板式橡胶支座病害检测任务的检测模型；
S5：检测图像病害：将需要检测的图像输入步骤S4得到的检测模型中进行检测，删掉其他重复结果，保留效果最好的检测结果。
2.根据权利要求1所述的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其特征在于：所述的步骤S1具体包括以下步骤：
S11：以YOLOv4神经网络模型为基础，搭建桥梁板式橡胶支座病害检测神经网络模型；其中，包括图像预处理模块、检测模块、损失函数模块；
S12：建立图像预处理模块，用于对输入图像尺寸统一进行调整至608*608或416*416；使用Moscaic数据增强方式，一次获取4张输入图像并按随机缩放、随机裁剪和随机排布的方式进行拼接，以丰富待检测物体背景，提高模型训练速度；
S13：建立检测模块，用于在DarkNet53每个残差块后加上CSPX模块，构成主干网络CSPDarkNet53以对输入图像提取特征信息，CSPX模块由卷积层和X个Resblock模块连接而成；使用空间池化金字塔结构增加感受野，使用路径聚合网络PANet将提取得到的特征信息转换为坐标，类别信息，使用上采样和下采样进行特征融合，并输出大小为77*77*255、38*38*355、19*19*255的三个特征图；将输出结果与真实标签做对比，计算出损失函数，从而对图像特征进行预测，生成边界框并预测类别；
S14：建立损失函数模块，损失函数由三部分组成：位置损失(LOSScoor)、分类损失(LOSSclass)、置信度损失(LOSSconf)。
3.根据权利要求2所述的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其特征在于：所述的位置损失定义如下：
所述的位置损失使用的CIOU定义如下：
所述的分类损失定义如下：
所述的置信度损失定义如下：
上述式(1)、式(2)、式(3)、式(4)中，λcoor为正样本权重系数，λnoobj为负样本权重系数，判断是否为正样本，取值非0即1；c是一个类别索引，表示预测的类别，其取值范围从0到C-1，其中C是类别数，c∈classes为待检测目标类别数，c＝4；K是网格大小，也就是将图像划分为K×K个网格，每个网格负责预测一个边界框，/>表示遍历所有预测框，K*K＝13*13+26*26+52*52，M＝3,/>为样本值，Ci为预测值；b，bgt分别代表了预测框和真实框的中心点，ρ代表两个中心点间的欧式距离；c代表能够同时包含预测框和真实框的最小闭包区域的对角线距离，/>是用于平衡比例的参数，v用来衡量锚框和真实框之间的比例一致性；Wi：预测框中心点宽，Hi：预测框中心点高；p^i(c)是第i个网格中第j个边界框预测属于类别c的概率；αt是一个权重系数，表示对正样本即真实类别为c的样本和负样本即真实类别不为c的样本的不同处理，其取值范围从0到1，；γ是一个调节系数，表示对难易样本的不同处理，取值范围从0到无穷大。
4.根据权利要求1所述的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其特征在于：所述的步骤S2具体包括以下步骤：
S21：在历次桥梁人工巡检中，通过手机、无人机、摄像机等图像采集装置收集桥梁板式橡胶支座图像，所采集的图像均为桥梁板式橡胶支座正视图，能清晰反映桥梁板式橡胶支座及其周围结构；
S22：对步骤S21中采集的图像进行筛选，挑出能清晰反映支座破损、支座脱空、支座剪切变形的图像；选择其中部分图像并使用LabelImg标注软件对得到的支座破损、支座脱空、支座剪切变形及支座本身图像进行xml格式的标注，分别标注为Crack damage、Void、Sheardeformation、Bearing，得到初始数据；
S23：使用k-means聚类和遗传算法得到适用于本数据集的先验框，使用步骤S22中得到的人工标注数据对步骤S1中搭建的桥梁板式橡胶支座病害检测神经网络模型进行训练，保留效果最好的模型权重，得到初始模型。
5.根据权利要求1所述的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其特征在于：所述的步骤S3具体包括以下步骤：
S31：将步骤S2中采集到的图像中未标注部分的图像输入初始模型进行检测，将检测结果作为未标注数据标签，对标签结果进行审查，并手动校正标签遗漏、标签错误、标签不够准确情况，得到校正数据；
S32：将初始数据与校正数据进行合并，通过对得到的已标注后的所有样本图像进行处理，按6:2:2将数据集划分为训练集、验证集、测试集，得到桥梁板式橡胶支座病害数据集。
6.根据权利要求5所述的基于深度学***移且最大平移量至标注框边界处、随机旋转且旋转角度范围为-15°至+15°、水平镜像翻转并矫正标注框坐标的方式对得到的已标注后的所有样本图像进行增广。
7.根据权利要求1所述的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其特征在于：所述的步骤S4具体包括以下步骤：
S41：将桥梁板式橡胶支座病害数据集中的训练集输入步骤S1构建的桥梁板式橡胶支座病害检测神经网络模型中对其进行训练；
S42：通过查看训练集和验证集的损失值随着epoch的变化关系判断模型是否过拟合，如果是则及时停止训练，并根据情况调整模型结构和超参数，验证集上的表现决定超参数拥有的性能差距，通过在验证集上验证，自适应调整网络模型超参数，并保留效果最好的模型权重，得到适用于桥梁板式橡胶支座病害检测任务的检测模型。
8.根据权利要求1所述的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其特征在于：所述的步骤S5具体包括以下步骤：
S51：首先将输入的橡胶支座图片经三次下采样后划分为数个网格；每个网格负责预测中心落入该网格的目标，并计算出3个预测框，每个预测框对应5+4个值；其中4表示数据集中的类别总数，即橡胶支座、开裂破损、脱空、剪切变形，5代表预测边界框的中心点坐标(x，y)、框的宽高尺寸(w，h)和置信度参数信息；按照输入的图像大小，模型最终输出数个尺度的张量，经过对这数个张量的解析，并使用Soft-NMS筛选出置信度值较高的预测框作为目标检测框，实现目标的定位并输出检测框类别、置信度及坐标值；
S52：在输入的图像上绘制步骤S51得到的检测框，并注释类别、置信度信息作为输出图像，将类别、检测框坐标值及置信度按图像名称输出至txt文件。
9.根据权利要求8所述的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其特征在于：所述的经三次下采样后划分为数个网格分别具体为经8倍下采样后划分为76*76个网格，经16倍下采样后划分为38*38个网格，经32倍下采样后划分为19*19个网格。
10.根据权利要求8所述的基于深度学习的桥梁板式橡胶支座病害识别检测方法，其特征在于：所述的输入的图像大小为608*608*3，模型最终输出的为76*76*27、38*38*27、19*19*27三个尺度的张量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310488349.3A CN116543303A (zh) | 2023-05-04 | 2023-05-04 | 一种基于深度学习的桥梁板式橡胶支座病害识别检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310488349.3A CN116543303A (zh) | 2023-05-04 | 2023-05-04 | 一种基于深度学习的桥梁板式橡胶支座病害识别检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116543303A true CN116543303A (zh) | 2023-08-04 |
Family
ID=87449947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310488349.3A Pending CN116543303A (zh) | 2023-05-04 | 2023-05-04 | 一种基于深度学习的桥梁板式橡胶支座病害识别检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543303A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079256A (zh) * | 2023-10-18 | 2023-11-17 | 南昌航空大学 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
| CN117455902A (zh) * | 2023-12-15 | 2024-01-26 | 北京交通大学 | 一种基于预训练大模型的轨道缺陷检测方法及装置 |
-
2023
- 2023-05-04 CN CN202310488349.3A patent/CN116543303A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079256A (zh) * | 2023-10-18 | 2023-11-17 | 南昌航空大学 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
| CN117079256B (zh) * | 2023-10-18 | 2024-01-05 | 南昌航空大学 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
| CN117455902A (zh) * | 2023-12-15 | 2024-01-26 | 北京交通大学 | 一种基于预训练大模型的轨道缺陷检测方法及装置 |
| CN117455902B (zh) * | 2023-12-15 | 2024-03-08 | 北京交通大学 | 一种基于预训练大模型的轨道缺陷检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754498B (zh) | 一种基于YOLOv3的传送带托辊检测方法 | |
| CN110660052B (zh) | 一种基于深度学习的热轧带钢表面缺陷检测方法 | |
| US20220196459A1 (en) | Real-time vehicle overload detection method based on convolutional neural network | |
| WO2022077605A1 (zh) | 一种风力机叶片图像损伤检测和定位方法 | |
| CN116543303A (zh) | 一种基于深度学习的桥梁板式橡胶支座病害识别检测方法 | |
| CN111444821A (zh) | 一种城市道路标志自动识别方法 | |
| Feng et al. | Pavement crack detection and segmentation method based on improved deep learning fusion model | |
| CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
| CN108711148B (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
| CN108257114A (zh) | 一种基于深度学习的输电设备缺陷自动识别方法 | |
| CN111724355B (zh) | 一种鲍鱼体型参数的图像测量方法 | |
| CN116612120B (zh) | 一种针对数据不平衡的两阶段式道路缺陷检测方法 | |
| CN116863274A (zh) | 一种基于半监督学习的钢板表面缺陷检测方法及*** | |
| CN111985325A (zh) | 特高压环境评价中的航拍小目标快速识别方法 | |
| CN112613569A (zh) | 图像识别方法、图像分类模型的训练方法及装置 | |
| CN114898327A (zh) | 一种基于轻量化深度学习网络的车辆检测方法 | |
| CN114359702A (zh) | 一种基于Transformer的宅基地遥感图像违建识别方法及*** | |
| CN115131747A (zh) | 基于知识蒸馏的输电通道工程车辆目标检测方法及*** | |
| CN116109616A (zh) | 基于YOLOv5的路面裂缝检测及小面元拟合检测方法 | |
| CN115171045A (zh) | 一种基于yolo的电网作业现场违章识别方法及终端 | |
| CN116664846B (zh) | 基于语义分割实现3d打印桥面施工质量监测方法及*** | |
| CN117197085A (zh) | 基于改进YOLOv8网络的公路快检图像路面病害检测方法 | |
| CN112132088A (zh) | 一种巡检点位漏巡识别方法 | |
| CN112084941A (zh) | 一种基于遥感图像的目标检测与识别方法 | |
| CN114943693B (zh) | 一种基于JetsonNano桥梁裂纹检测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |