CN114419049A - 一种桥梁钢索断裂探测方法及*** - Google Patents
一种桥梁钢索断裂探测方法及*** Download PDFInfo
- Publication number
- CN114419049A CN114419049A CN202210327726.0A CN202210327726A CN114419049A CN 114419049 A CN114419049 A CN 114419049A CN 202210327726 A CN202210327726 A CN 202210327726A CN 114419049 A CN114419049 A CN 114419049A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- frame
- feature map
- steel cable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 74
- 239000010959 steel Substances 0.000 title claims abstract description 74
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 230000007547 defect Effects 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000001629 suppression Effects 0.000 claims abstract description 24
- 238000011176 pooling Methods 0.000 claims description 23
- 230000007797 corrosion Effects 0.000 claims description 16
- 238000005260 corrosion Methods 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000006378 damage Effects 0.000 claims description 8
- 230000001174 ascending effect Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 230000000717 retained effect Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- FBOUIAKEJMZPQG-AWNIVKPZSA-N (1E)-1-(2,4-dichlorophenyl)-4,4-dimethyl-2-(1,2,4-triazol-1-yl)pent-1-en-3-ol Chemical compound C1=NC=NN1/C(C(O)C(C)(C)C)=C/C1=CC=C(Cl)C=C1Cl FBOUIAKEJMZPQG-AWNIVKPZSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及一种桥梁钢索断裂探测方法及***,属于图像检测领域。该方法包括:获取基于Faster‑RCNN的网络模型;将所述特征提取网络的骨干网络替换为残差网络,并将所述残差网络的第五个卷积层替换为SENet注意力模块;对区域推荐网络中的非最大值抑制算法进行改进,得到缺陷检测模型;获取待检测桥梁钢索图像;所述待检测桥梁钢索图像包括RGB图像和深度图像;将所述RGB图像与所述深度图像进行融合,得到融合后的图像;将所述融合后的图像输入所述缺陷检测模型,得到待检测桥梁钢索的缺陷探测结果。本发明可以提升桥梁钢索断裂探测的准确度和效率。
Description
技术领域
本发明涉及图像检测领域,特别是涉及一种桥梁钢索断裂探测方法及***。
背景技术
桥梁钢索由高强钢丝组成,具有优秀的抗拉强度,常作为大跨度桥梁的主要受力构件,然而,高强钢丝的力学性能会随着锈蚀的出现而大幅下降,目前已发生过多起因钢丝锈蚀引发的缆索破断事故。因此及时发现桥梁钢索的病害情况可以避免重大事故发生。但传统的检测方法通常基于人工现场勘测,这种方法存在准确率低、效率低下且安全性极低的缺陷。
发明内容
本发明的目的是提供一种桥梁钢索断裂探测方法及***,以提升桥梁钢索断裂探测的准确度和效率。
为实现上述目的,本发明提供了如下方案:
一种桥梁钢索断裂探测方法,包括:
获取基于Faster-RCNN的网络模型;所述基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络;所述特征提取网络的骨干网络为VGG16网络;
将所述特征提取网络的骨干网络替换为残差网络,并将所述残差网络的第五个卷积层替换为SENet注意力模块;
对区域推荐网络中的非最大值抑制算法进行改进,得到缺陷检测模型;改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选,图像的每一帧均用五元组(x1,y1,x2,y2,score)表示;(x1,y1)表示当前帧图像左上角的位置坐标,(x2,y2)表示当前帧图像右下角的位置坐标,score表示目标对象包含在当前帧图像中的置信度;
获取待检测桥梁钢索图像;所述待检测桥梁钢索图像包括RGB图像和深度图像;
将所述RGB图像与所述深度图像进行融合,得到融合后的图像;
将所述融合后的图像输入所述缺陷检测模型,得到待检测桥梁钢索的缺陷探测结果。
可选的,所述SENet注意力模块用于计算各个特征的分布向量,具体过程为:
利用对特征图进行全局平均池化,得到实数列;其中,Fgap(·)为全局平均池化函数,H表示特征图空间维度的高,W表示特征图空间维度的宽,特征图为,m表示特征图中横向的像素点,n表示特征图中纵向的像素点,xc表示索引为c的特征图;
可选的,所述对区域推荐网络中的非最大值抑制算法进行改进,具体包括:
按照目标对象包含在当前帧图像中的置信度升序的方式对所有帧进行排序,得到图像帧序列;
可选的,所述将所述RGB图像与所述深度图像进行融合,得到融合后的图像,具体包括:
使用所述RGB图像的G通道替换所述深度图像的A通道,得到融合后的图像;所述深度图像的A通道表示地面法向量夹角。
可选的,所述待检测桥梁钢索的缺陷探测结果包括:均匀锈蚀、点蚀、索股机械损伤或断丝。
一种桥梁钢索断裂探测***,包括:
网络模型获取模块,用于获取基于Faster-RCNN的网络模型;所述基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络;所述特征提取网络的骨干网络为VGG16网络;
骨干网络更新模块,用于将所述特征提取网络的骨干网络替换为残差网络,并将所述残差网络的第五个卷积层替换为SENet注意力模块;
非最大值抑制算法改进模块,用于对区域推荐网络中的非最大值抑制算法进行改进,得到缺陷检测模型;改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选,图像的每一帧均用五元组(x1,y1,x2,y2,score)表示;(x1,y1)表示当前帧图像左上角的位置坐标,(x2,y2)表示当前帧图像右下角的位置坐标,score表示目标对象包含在当前帧图像中的置信度;
图像获取模块,用于获取待检测桥梁钢索图像;所述待检测桥梁钢索图像包括RGB图像和深度图像;
融合模块,用于将所述RGB图像与所述深度图像进行融合,得到融合后的图像;
检测模块,用于将所述融合后的图像输入所述缺陷检测模型,得到待检测桥梁钢索的缺陷探测结果。
可选的,所述SENet注意力模块包括:
全局平均池化单元,用于利用对特征图进行全局平均池化,得到实数列;其中,Fgap(·)为全局平均池化函数,H表示特征图空间维度的高,W表示特征图空间维度的宽,特征图为,m表示特征图中横向的像素点,n表示特征图中纵向的像素点,xc表示索引为c的特征图;
可选的,所述非最大值抑制算法改进模块具体包括:
排序单元,用于按照目标对象包含在当前帧图像中的置信度升序的方式对所有帧进行排序,得到图像帧序列;
可选的,所述融合模块具体包括:
通道替换单元,用于使用所述RGB图像的G通道替换所述深度图像的A通道,得到融合后的图像;所述深度图像的A通道表示地面法向量夹角。
可选的,所述待检测桥梁钢索的缺陷探测结果包括:均匀锈蚀、点蚀、索股机械损伤或断丝。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
传统的Faster-RCNN模型的特征提取网络使用VGG16,本发明将其替换为Resnet34网络,并将其第五卷积层的3×3卷积替换为SENet注意力模块,使特征提取网络通过计算各特征的特征分布向量以更加关注对分类贡献度大的特征,提升特征提取模块的计算效率。并且,本发明对非最大值抑制算法进行了改进,大大提升了模型的检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明桥梁钢索断裂探测方法的流程示意图;
图2为本发明SENet注意力模块的结构示意图;
图3为本发明桥梁钢索断裂探测***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明桥梁钢索断裂探测方法的流程示意图。如图1所示,本发明桥梁钢索断裂探测方法包括以下步骤:
步骤100:获取基于Faster-RCNN的网络模型。基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络,其中,特征提取网络的骨干网络为VGG16网络。
步骤200:将特征提取网络的骨干网络替换为残差网络,并将残差网络的第五个卷积层替换为SENet注意力模块。本发明将VGG16替换为残差网络(Resnet34网络),并将其第五个卷积层的3×3卷积替换为SENet注意力模块,使特征提取网络通过计算各特征的特征分布向量以更加关注对分类贡献度大的特征,提升特征提取模块的计算效率。如图2所示,SENet注意力模块计算各特征的特征分布向量的具体步骤如下:
对每个特征图进行全局平均池化,得到实数列:;其中,Fgap(·)为全局平均池化函数,H表示特征图空间维度的高,W表示特征图空间维度的宽,m表示特征图中横向的像素点,n表示特征图中纵向的像素点,c表示特征图索引,xc表示索引为c的特征图。
将更新后的通道特征输入到区域推荐网络中。
步骤300:对区域推荐网络中的非最大值抑制算法进行改进,得到缺陷检测模型。改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选,图像的每一帧均用五元组(x1,y1,x2,y2,score)表示;(x1,y1)表示当前帧图像左上角的位置坐标,(x2,y2)表示当前帧图像右下角的位置坐标,score表示目标对象包含在当前帧图像中的置信度。改进后的非最大值抑制算法具体过程如下:
按照目标对象包含在当前帧图像中的置信度score升序的方式对所有帧进行排序,得到图像帧序列;
当Sumi≥α时,丢弃帧p;否则,保留帧p。
截止阈值α的值由总帧数n决定。例如,在具体实施例中,当n<2050时,不执行改进的NMS算法;当n>3000时,保留分数较高的前2000帧。这种改进不仅可以将候选框的数量减少到2000,而且可以更准确地选择一个局部的候选区。
利用Softmax分类器计算每个候选区分类为缺陷的置信度分数,同时对每个候选区进行边框回归,得到每个候选区相对于真实框的偏移量预测值,用于对候选区进行修正,得到定位更精确的目标建议框,输出置信度分数较高的目标建议框作为最终识别结果。
缺陷检测模型构建好之后,需要对该模型进行训练,具体过程如下:
Step1:使用无人机对桥梁钢索进行拍摄获得原始图像数据,其中包括完整钢索图像、完好局部图像以及缺陷局部图像。拍摄桥梁钢索整体图像,为后续定位缺陷位置提供背景数据基础。桥梁钢索局部图像按照一定频率拍摄,并筛选出缺陷位置图像。
为了不遗漏桥梁钢索缺陷位置,将每条桥梁钢索分为n段进行拍摄。为了减少各段之间分界处的遗漏检测概率,各段之间包含重合距离为a cm。定义桥梁钢索局部使用Lij表示各段桥梁钢索,其中i表示第i条桥梁钢索,j表示第j段桥梁钢索,则一条长度为N的桥梁钢索每张图像包含的桥梁钢索长度为(N/n)+a cm。当检测到桥梁钢索存在异常时,将异常图像Lij′与桥梁钢索整体图像进行比较,确认异常准确位置。缺陷位置分为以下四个缺陷类别:均匀锈蚀、点蚀、索股机械损伤、断丝。
Step2:对Step1中的图像使用形态学去噪方法进行去噪处理,使用直方图增强方法对图像进行增强处理,完成预处理过程。然后,使用标注工具labelme采用人工标注的方法对预处理后的缺陷图像的缺陷位置进行标注,得到“完好、均匀锈蚀、点蚀、索股机械损伤、断丝”五个标签种类。并构建为桥梁钢索缺陷检测数据集,并按照8:2的比例划分为训练集和测试集。
Step3:将RGB图像与深度图像进行融合,去除深度图像的A通道,使用RGB图像的G通道作为替换,得到融合后的HHG图像。具体的,使用傅立叶公式对桥梁钢索图像的频域特征进行分析。公式如下:
经计算发现RGB图像三个通道的视觉特征均较明显且相似,而深度图像(HHA)的两个H通道分布不一致,且其A通道的频率分布较为分散,特征不明显,因此使用RGB图像的G通道去替换深度图像HHA的A通道,得到HHG图像。
这种方法可以在尽可能保留图像特征的同时减少信息量,充分考虑了彩色图像和深度图像信息,因此在训练时无需单独训练彩色图像和深度图像,在加快模型训练速度的同时,也提高了模型性能。
Step4:构建基于改进Faster-RCNN的缺陷检测模型。该模型包括以Resnet34-SENet为骨干网络的特征提取网络、区域推荐网络、感兴趣区域池化网络以及回归分类网络。回归分类网络中利用Softmax分类器计算每个候选区分类为缺陷的置信度分数,同时对每个候选区进行边框回归,得到每个候选区相对于真实框的偏移量预测值,用于对候选区进行修正,得到定位更精确的目标建议框,输出置信度分数较高的目标建议框作为最终识别结果,即为桥梁钢索缺陷位置,与此同时输出桥梁钢索缺陷类别。
Step5:使用Step2中的训练集对Step4中的进行训练,获得初始模型。具体的:
采用随机梯度下降更新权重,定义模型训练的迭代次数为epoch,设置epoch=1000。
训练轮次为batch,设置batch=1000。
学习率为learning_rate,前600个batch中learning_rate=0.001,剩余400个batch中learning_rate=0.0001。
优化器使用随机梯度下降(SGD),设置权重衰减为0.0005,动量设为0.9。
使用Step2中的训练集和上述参数对Step4中的模型进行训练,直至网络模型收敛,使得模型可以准确地对桥梁钢索陷状况的五种标签进行分类。
至此基于改进Faster-RCNN的桥梁钢索缺陷检测模型训练结束,得到初始模型。
Step6:采用Step2中的测试集对Step5中的模型进行测试并输出检测结果,并将良好的模型部署至桥梁钢索缺陷检测***中。然后,将Step2中的测试集输入到桥梁钢索缺陷检测模型中,输出对四种桥梁钢索破损情况和完好情况进行分类,并输出模型的评价指标。将测试后评价指标优秀的模型部署到桥梁钢索缺陷检测***中,实现自动对待检测的桥梁钢索图像进行缺陷检测,并将数据传回至工作人员。
步骤400:获取待检测桥梁钢索图像。待检测桥梁钢索图像包括RGB图像和深度图像。通过两个相隔一定距离的摄像机同时获取同一场景的两幅图像,通过立体匹配算法找到两幅图像中对应的像素“点,随后根据三角原理计算出时差信息,而视差信息通过转换可用于表征场景中物体的深度信息。基于立体匹配算法,还可通过拍摄同一场景下不同角度的一组图像来获得该场景的深度图像。
步骤500:将RGB图像与深度图像进行融合,得到融合后的图像。本发明使用RGB图像的G通道替换深度图像的A通道,得到融合后的图像。具体的,使用傅立叶公式对桥梁钢索图像的频域特征进行分析。经计算发现RGB图像三个通道的视觉特征均较明显且相似,而深度图像的两个H通道分布不一致,且其A通道的频率分布较为分散,特征不明显,因此使用RGB图像的G通道去替换深度图像HHA的A通道,得到HHG图像。
深度图像包括HHA三个通道,第一个H为水平图像视差,第二个H是到地面的高度,A为地面法向量夹角。G通道是彩色图像的灰度图像。
步骤600:将融合后的图像输入缺陷检测模型,得到待检测桥梁钢索的缺陷探测结果。缺陷探测结果包括:均匀锈蚀、点蚀、索股机械损伤或断丝。
本发明具有以下优点:
1、图像融合:针对大型桥梁钢索位置较高导致图像光照不均匀的问题,本发明创新地提出不分别训练RGB图像和深度图像,而是将RGB图像和深度图像融合,增强融合图像特征信息的同时,大大提高了模型训练的速度。
2、特征提取:传统的Faster-RCNN模型的特征提取网络使用VGG16,本发明将其替换为Resnet34网络,并将其C5的3×3卷积替换为SENet注意力模块,使特征提取网络通过计算各特征的特征分布向量以更加关注对分类贡献度大的特征,提升特征提取模块的计算效率。
3、区域推荐:在区域推荐网络,本发明对非最大值抑制算法(NMS)进行了改进,大大提升了模型的检测准确率。
基于上述方法,本发明还提供一种桥梁钢索断裂探测***,图3为本发明桥梁钢索断裂探测***的结构示意图。如图3所示,桥梁钢索断裂探测***包括:
网络模型获取模块301,用于获取基于Faster-RCNN的网络模型;基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络,特征提取网络的骨干网络为VGG16网络。
骨干网络更新模块302,用于将特征提取网络的骨干网络替换为残差网络,并将残差网络的第五个卷积层替换为SENet注意力模块。
非最大值抑制算法改进模块303,用于对区域推荐网络中的非最大值抑制算法进行改进,得到缺陷检测模型;改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选,图像的每一帧均用五元组(x1,y1,x2,y2,score)表示;(x1,y1)表示当前帧图像左上角的位置坐标,(x2,y2)表示当前帧图像右下角的位置坐标,score表示目标对象包含在当前帧图像中的置信度。
图像获取模块304,用于获取待检测桥梁钢索图像;待检测桥梁钢索图像包括RGB图像和深度图像。
融合模块305,用于将RGB图像与深度图像进行融合,得到融合后的图像。
检测模块306,用于将融合后的图像输入缺陷检测模型,得到待检测桥梁钢索的缺陷探测结果。
作为另一实施例,本发明的桥梁钢索断裂探测***中,SENet注意力模块包括:
全局平均池化单元,用于利用对特征图进行全局平均池化,得到实数列;其中,Fgap(·)为全局平均池化函数,H表示特征图空间维度的高,W表示特征图空间维度的宽,特征图为,m表示特征图中横向的像素点,n表示特征图中纵向的像素点,xc表示索引为c的特征图。
作为另一实施例,本发明的桥梁钢索断裂探测***中,非最大值抑制算法改进模块303具体包括:
排序单元,用于按照目标对象包含在当前帧图像中的置信度升序的方式对所有帧进行排序,得到图像帧序列。
作为另一实施例,本发明的桥梁钢索断裂探测***中,融合模块305具体包括:
通道替换单元,用于使用RGB图像的G通道替换深度图像的A通道,得到融合后的图像;深度图像的A通道表示地面法向量夹角。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种桥梁钢索断裂探测方法,其特征在于,包括:
获取基于Faster-RCNN的网络模型;所述基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络;所述特征提取网络的骨干网络为VGG16网络;
将所述特征提取网络的骨干网络替换为残差网络,并将所述残差网络的第五个卷积层替换为SENet注意力模块;
对区域推荐网络中的非最大值抑制算法进行改进,得到缺陷检测模型;改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选,图像的每一帧均用五元组(x1,y1,x2,y2,score)表示;(x1,y1)表示当前帧图像左上角的位置坐标,(x2,y2)表示当前帧图像右下角的位置坐标,score表示目标对象包含在当前帧图像中的置信度;
获取待检测桥梁钢索图像;所述待检测桥梁钢索图像包括RGB图像和深度图像;
将所述RGB图像与所述深度图像进行融合,得到融合后的图像;
将所述融合后的图像输入所述缺陷检测模型,得到待检测桥梁钢索的缺陷探测结果。
2.根据权利要求1所述的桥梁钢索断裂探测方法,其特征在于,所述SENet注意力模块用于计算各个特征的分布向量,具体过程为:
利用对特征图进行全局平均池化,得到实数列;其中,Fgap(·)为全局平均池化函数,H表示特征图空间维度的高,W表示特征图空间维度的宽,特征图为,m表示特征图中横向的像素点,n表示特征图中纵向的像素点,xc表示索引为c的特征图;
4.根据权利要求1所述的桥梁钢索断裂探测方法,其特征在于,所述将所述RGB图像与所述深度图像进行融合,得到融合后的图像,具体包括:
使用所述RGB图像的G通道替换所述深度图像的A通道,得到融合后的图像;所述深度图像的A通道表示地面法向量夹角。
5.根据权利要求1所述的桥梁钢索断裂探测方法,其特征在于,所述待检测桥梁钢索的缺陷探测结果包括:均匀锈蚀、点蚀、索股机械损伤或断丝。
6.一种桥梁钢索断裂探测***,其特征在于,包括:
网络模型获取模块,用于获取基于Faster-RCNN的网络模型;所述基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络;所述特征提取网络的骨干网络为VGG16网络;
骨干网络更新模块,用于将所述特征提取网络的骨干网络替换为残差网络,并将所述残差网络的第五个卷积层替换为SENet注意力模块;
非最大值抑制算法改进模块,用于对区域推荐网络中的非最大值抑制算法进行改进,得到缺陷检测模型;改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选,图像的每一帧均用五元组(x1,y1,x2,y2,score)表示;(x1,y1)表示当前帧图像左上角的位置坐标,(x2,y2)表示当前帧图像右下角的位置坐标,score表示目标对象包含在当前帧图像中的置信度;
图像获取模块,用于获取待检测桥梁钢索图像;所述待检测桥梁钢索图像包括RGB图像和深度图像;
融合模块,用于将所述RGB图像与所述深度图像进行融合,得到融合后的图像;
检测模块,用于将所述融合后的图像输入所述缺陷检测模型,得到待检测桥梁钢索的缺陷探测结果。
7.根据权利要求6所述的桥梁钢索断裂探测***,其特征在于,所述SENet注意力模块包括:
全局平均池化单元,用于利用对特征图进行全局平均池化,得到实数列;其中,Fgap(·)为全局平均池化函数,H表示特征图空间维度的高,W表示特征图空间维度的宽,特征图为,m表示特征图中横向的像素点,n表示特征图中纵向的像素点,xc表示索引为c的特征图;
9.根据权利要求6所述的桥梁钢索断裂探测***,其特征在于,所述融合模块具体包括:
通道替换单元,用于使用所述RGB图像的G通道替换所述深度图像的A通道,得到融合后的图像;所述深度图像的A通道表示地面法向量夹角。
10.根据权利要求6所述的桥梁钢索断裂探测***,其特征在于,所述待检测桥梁钢索的缺陷探测结果包括:均匀锈蚀、点蚀、索股机械损伤或断丝。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210327726.0A CN114419049A (zh) | 2022-03-31 | 2022-03-31 | 一种桥梁钢索断裂探测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210327726.0A CN114419049A (zh) | 2022-03-31 | 2022-03-31 | 一种桥梁钢索断裂探测方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114419049A true CN114419049A (zh) | 2022-04-29 |
Family
ID=81263058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210327726.0A Pending CN114419049A (zh) | 2022-03-31 | 2022-03-31 | 一种桥梁钢索断裂探测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114419049A (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112149591A (zh) * | 2020-09-28 | 2020-12-29 | 长沙理工大学 | 用于sar图像的ssd-aeff自动桥梁检测方法及*** |
CN113592839A (zh) * | 2021-08-06 | 2021-11-02 | 广东电网有限责任公司 | 基于改进Faster RCNN的配网线路典型缺陷诊断方法及*** |
-
2022
- 2022-03-31 CN CN202210327726.0A patent/CN114419049A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112149591A (zh) * | 2020-09-28 | 2020-12-29 | 长沙理工大学 | 用于sar图像的ssd-aeff自动桥梁检测方法及*** |
CN113592839A (zh) * | 2021-08-06 | 2021-11-02 | 广东电网有限责任公司 | 基于改进Faster RCNN的配网线路典型缺陷诊断方法及*** |
Non-Patent Citations (3)
Title |
---|
JIE HU等: ""Squeeze-and-Excitation Networks"", 《ARXIV》, 5 September 2017 (2017-09-05), pages 1 - 11 * |
辛立杰: ""基于深度学习的架空输电装备识别及其缺陷检测"", 《中国优秀硕士学位论文全文数据库》, 15 January 2022 (2022-01-15), pages 18 - 24 * |
邓广晖: ""基于卷积神经网络的 RGB-D 图像物体检测和语义分割"", 《中国优秀硕士学位论文全文数据库》, 15 July 2018 (2018-07-15), pages 23 - 26 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
CN110175576B (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
CN112950634B (zh) | 基于无人机巡检的风力机叶片损伤识别方法、设备和*** | |
CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
CN110910378A (zh) | 一种基于深度融合网络的双模态图像能见度检测方法 | |
CN111414807A (zh) | 一种基于yolo技术的潮水识别与危机预警方法 | |
CN114973002A (zh) | 一种基于改进的YOLOv5的麦穗检测方法 | |
CN112633149A (zh) | 一种域自适应雾天图像目标检测方法和装置 | |
CN112749654A (zh) | 一种用于视频大雾监测的深度神经网络模型构建方法、***及装置 | |
CN112101138A (zh) | 基于深度学习的桥梁拉索表面缺陷实时识别***及方法 | |
CN113313107A (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
CN114419421A (zh) | 一种基于影像的地铁隧道裂缝识别***及方法 | |
CN111275020A (zh) | 一种房间状态识别方法 | |
CN112801021B (zh) | 基于多级语义信息的车道线检测方法及*** | |
CN116681657B (zh) | 基于改进YOLOv7模型的沥青路面病害检测方法 | |
CN113128581A (zh) | 基于机器学习的能见度检测方法、装置、***和存储介质 | |
CN115984360B (zh) | 一种基于图像处理的计算干滩长度的方法及*** | |
CN114419049A (zh) | 一种桥梁钢索断裂探测方法及*** | |
CN116977931A (zh) | 一种基于深度学习的高空抛物识别方法 | |
KR102421289B1 (ko) | 패러렐 디시전 보팅 알고리즘에 따른 영상기반 시정 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
CN110837775A (zh) | 一种基于二值化网络的井下机车行人及距离检测方法 | |
CN113947723B (zh) | 基于尺寸平衡fcos的高分辨率遥感场景目标检测方法 | |
CN116050963A (zh) | 基于交通路况的配送路径选择方法、***、装置及介质 | |
CN116309270A (zh) | 一种基于双目图像的输电线路典型缺陷识别方法 | |
CN112949630B (zh) | 基于边框分级筛选的弱监督目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220429 |
|
RJ01 | Rejection of invention patent application after publication |