CN114241310B - 基于改进yolo模型的堤防管涌险情智能识别方法 - Google Patents
基于改进yolo模型的堤防管涌险情智能识别方法 Download PDFInfo
- Publication number
- CN114241310B CN114241310B CN202111569461.7A CN202111569461A CN114241310B CN 114241310 B CN114241310 B CN 114241310B CN 202111569461 A CN202111569461 A CN 202111569461A CN 114241310 B CN114241310 B CN 114241310B
- Authority
- CN
- China
- Prior art keywords
- module
- cross
- piping
- thermal infrared
- stage local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims description 64
- 238000005070 sampling Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 15
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进YOLO模型的堤防管涌险情智能识别方法,该方法包括改进和训练YOLO模型流程和基于改进YOLO模型堤防管涌识别的过程。改进和训练YOLO模型流程包括数据采集、制作样本、图像去背景处理和模型改进和训练步骤;基于改进YOLO模型识别的堤防管涌过程包括获取图像、划分窗口、图像处理与堤防管涌识别和输出最终识别结果等步骤。本发明利用单个YOLO模型实现堤防管涌目标特征提取、识别、目标定位等过程,克服人工特征提取的不足深层次挖掘数据所含信息;修改了原始YOLO模型,提升到小目标识别能力和速度,利用针对性的图像背景方法,分离大部分图像的背景,减少图像背景的干扰,提高堤防管涌识别精度。
Description
技术领域
本发明属于图像处理技术领域,特别涉及利用改进YOLO模型进行堤防管涌识别方法,可用于堤防的巡查。
背景技术
堤防管涌识别是使用计算机视觉等方法判断图像中是否存在堤防管涌险情,并给出在图像中的精准位置。我国洪涝灾害问题突出,防洪减灾关系人民生命财产安全、社会稳定与可持续发展。堤防工程是我国防洪体系的重要基础。堤防险情一旦致灾,将给沿岸人民的生命财产带来重大损失。堤防管涌是堤防险情中最为严重的,堤防管涌识别是现代水利工程迫切需要解决的技术难题。
目前,已经发展出一些堤防管涌识别方法,这些方法是采用专业设备对堤防管涌进行识别。例如:使用电阻率层析成像(ERT)方法可以通过电性变化间接识别,利用光纤分布式温度传感识别管涌,采用专业地质雷达对防护堤土层的密实程度和管涌等病害情况进行了无损探测。但这些方法识别速度慢,成本高。
近年来,卷积神经网络由于具有良好的迁移性、能够提取目标的深层特征,更好地表现目标的本质信息,具有良好的鲁棒性,因此,其在目标识别和识别等众多领域中取得令人瞩目的成绩,YOLO模型是基于卷积神经网络的目标识别模型,具有良好的目标识别性能。但由于在堤防管涌识别问题中,目标小,并且采用的是热红外图像,不是常见的彩色图像,所以不适宜直接用于堤防管涌识别,提高堤防管涌识别的识别速度和精度,还有待于研究。
本发明通过对标准YOLO模型进行改进,可用于基于无人机热红外图像的堤防管涌识别,具有识别速度快,成本低的优势。目前没有发现同本发明类似技术的说明或报道,也尚未收集到国内外类似的资料。
发明内容
本发明的目的是针对现有技术的不足,提供一种基于改进YOLO模型的堤防管涌险情智能识别方法。
为实现上述目的,本发明采用了下述技术方案:一种基于改进YOLO模型的堤防管涌险情智能识别方法,包括改进和训练YOLO模型和堤防管涌识别两个过程;
所述改进和训练YOLO模型的具体步骤如下:
步骤S11、数据采集:使用携带热红外传感器的无人机巡检堤防获取得的河坝的热红外图像数据,包含有堤防管涌热红外图像以及无堤防管涌热红外图像;
步骤S12、制作样本:包括数据标注整理和堤防管涌样本生成两步;
步骤S13、图像去背景处理;
步骤S14、模型改进和训练:改进的YOLO模型由CBL卷积模块、跨阶段局部融合网络模块、空间金字塔池化模块组成;跨阶段局部融合网络模块包括一个跨阶段局部融合网络CSP1_4模块、两个跨阶段局部融合网络CSP1_12模块、一个跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块;YOLO模型的输入是经过去背景处理后的640*640热红外图像;第一个输入端连接一个CBL卷积模块和跨阶段局部融合网络CSP1_4模块,得到特征图A;跨阶段局部融合网络CSP1_4模块后连接第二个CBL卷积模块和第一个跨阶段局部融合网络CSP1_12模块,第一个跨阶段局部融合网络CSP1_12模块输出特征图B;第一个跨阶段局部融合网络CSP1_12模块后连接第三个CBL卷积模块和第二个跨阶段局部融合网络CSP1_12模块,第二个跨阶段局部融合网络CSP1_12模块输出特征图C;第二个跨阶段局部融合网络CSP1_12模块后连接第四个CBL卷积模块、第一个空间金字塔池化模块SPP和跨阶段局部融合网络CSP2_1模块,跨阶段局部融合网络CSP2_1模块输出特征图D;跨阶段局部融合网络CSP2_1模块后连接第一个上采样模块,第一个上采样模块的输出与特征图C跨接形成新的特征图E;特征图E连接第一个跨阶段局部融合网络CSP2_4模块、第五个CBL卷积模块和第二个上采样模块,第二个上采样模块的输出与特征图B跨接,形成新的特征图F;将特征图F连接第二个跨阶段局部融合网络CSP2_4模块和第六个CBL模块和第三个上采样模块,第三个上采样模块的输出与特征图A跨接,形成新的特征图G;特征图G连接第三个跨阶段局部融合网络CSP2_4模块和一个卷积层,得到模型的输出。
作为优选,所述跨阶段局部融合网络CSP1_4模块和跨阶段局部融合网络CSP1_12模块均包含一个CBL模块、X个残差模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接,再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。
作为优选,所述跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块均包含一个CBL模块、2X个CBL模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接,再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。
作为优选,所述空间金字塔池化模块包含一个CBL层,3个最大池化层,然后将3个最大池化层的输出进行跨接并连接一个CBL层。
作为优选,步骤S12中数据标注整理过程为:对采集到的热红外图像数据集进行标记,将特征明显的热红外图像挑选出来,将其中难以识别或已经检修后的无效数据剔除,并将选择挑选后的热红外图像,使用640*640的像素大小对整张的堤防热红外图像进行分割,然后将分割完成的数据集,使用Labelme软件标出所有堤防管涌的特征,使用矩形框进行标注,以“leakage”作为堤防管涌标识,获得一组与热红外图像对应的标注集;另外选取一些没有堤防管涌的常见的堤防热红外图像作为负样本。
作为优选,步骤S12中堤防管涌样本生成过程为:采用随机裁剪、翻转、模糊和改变亮度、对比度、随机排布扩增样本;所有的样本统一缩放为640*640像素;将生成的样本和采集到的样本按照8:2:1随机划分为训练集、验证集、测试集;使用K-means算法对训练集中标注的候选框进行聚类以优化预测框的大小。
作为优选,步骤S13中图像去背景处理过程为:将彩色热红外图像转化成灰度图像,利用统计方法确定阈值τ,该阈值为水体灰度值的上限,通过公式(1)对图像进行二值化:
式中,x表示水体灰度值;然后通过形态学腐蚀、膨胀操作,减少噪声和空洞的影响,得到彩色热红外图像的前景区域和背景区域;
根据公式(2)对彩色热红外图像进行处理,
当p位于背景区域,其灰度xp设置为0,否则,将其灰度xp设置为255-xp;通过以上处理,保留了前景信息,去除了背景信息,可以减少背景信息的干扰。
进一步地,所述堤防管涌识别的步骤如下:
步骤S21、获取图像:通过携带热红外传感器的无人机获取堤防的热红外图像;
步骤S22、划分窗口:建立划分窗口的规则,将热红外图像分成具有20%重叠的窗口,以480像素为滑动步长,采用640*640大小的滑动窗口,遍历整个输入图像;最后将高度和宽度不足640像素的窗口,通过将左上角坐标向上和向左移动,使窗口大小保持640*640像素;
记录每一窗口图像块在原始大图中对应的编号和左上角坐标,记为(R,C,X,Y),其中R为行数,C表示列数,X,Y是对应的左上角坐标。
步骤S23、图像处理与堤防管涌识别:将每个窗口的热红外图像安装步骤S13方法进行图像去背景处理,并将其输入到已经训练好的改进YOLO模型,设置置信度阈值,得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度;
根据下式计算预测框在原始大图中的真实位置:
其中,是第k个预测框中心点在原始图像中的位置;(Xi,Yi)是预测框所在当前窗口的左上角坐标,是第k个预测框中心点在当前窗口图像中的位置;最终,得到每个窗口识别出管涌在原始图像中的中心点位置、大小、类别及置信度。
步骤S24、输出最终识别结果:当所有窗口识别完成后,在原始大图上得到多个预测框,再利用加权非极大抑制剔除重叠预测框,得到最终识别结果。
采用本发明所述技术方案所具有的有益效果:
利用单个YOLO模型实现堤防管涌目标特征提取、识别、目标定位等过程,克服人工特征提取的不足深层次挖掘数据所含信息;(2)利用针对性的图像预处理方法,分离大部分图像的背景,减少图像背景的干扰,提高识别精度;(3)本发明针对堤防管涌小目标识别问题对YOLO模型进行了改进,提升的识别的精度和速度。
附图说明
图1为本发明中改进和训练YOLO模型流程图。
图2为本发明中的堤防管涌识别流程图。
图3为本发明中改进的YOLO模型网络结构图。
具体实施方式
为了使本领域的技术人员更好的理解本申请方案,下面对本申请实施例中的技术方案进行清晰,完整,详细的描述,且所描述的实施例部分为本申请的一部分实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范畴。
一种基于改进YOLO模型的堤防管涌险情智能识别方法,包括改进和训练YOLO模型和堤防管涌识别两个过程。
如图1所示,改进和训练YOLO模型的具体步骤如下:
步骤S11、数据采集。使用携带热红外传感器的无人机巡检堤防获取得的堤防的热红外图像数据,包含有堤防管涌热红外图像以及无堤防管涌热红外图像。从无人机巡检图像集中收集堤防各种状态的热红外图像,包含堤防部分热红外图像、水体部分热红外图像、堤防周边的植被部分热红外图像以及堤防管涌部分热红外图像,其中,无堤防管涌热红外图像为常规堤防热红外图像,有堤防管涌热红外图像为已经发生管涌热红外图像。
步骤S12、制作样本:包括数据标注整理和堤防管涌样本生成两步。
a.数据标注整理:对采集到的热红外图像数据集进行标记,将特征明显的热红外图像挑选出来,将其中难以识别或已经检修后的无效数据剔除,并将选择挑选后的热红外图像,使用640*640的像素大小对整张的堤防热红外图像进行分割,然后将分割完成的数据集,使用Labelme软件标出所有堤防管涌,使用矩形框进行标注,以“leakage”作为堤防管涌标识,获得一组与热红外图像对应的标注集;另外选取一些没有堤防管涌的常见的堤防热红外图像作为负样本。
b.堤防管涌样本生成:由于堤防管涌样本难以获取,所以采用随机裁剪、翻转、模糊和改变亮度、对比度、随机排布等随机形变方法扩增样本;所有的样本统一缩放为640*640像素;将生成的样本和采集到的样本按照8:2:1随机划分为训练集、验证集、测试集;使用K-means算法对训练集中标注的候选框进行聚类以优化预测框的大小。
步骤S13、图像去背景处理:将彩色热红外图像转化成灰度图像,利用统计方法确定阈值τ,该阈值为水体灰度值的上限,通过公式(1)对灰度图像进行二值化:
式中,x表示水体灰度值;然后通过形态学腐蚀、膨胀操作,减少噪声和空洞的影响,得到彩色热红外图像的前景区域和背景区域;
根据公式(2)对彩色热红外图像进行处理,
当p位于背景区域,其灰度xp设置为0,否则,将其灰度xp设置为255-xp;通过以上处理,保留了前景信息,去除了背景信息,可以减少背景信息的干扰。
步骤S14、模型改进和训练:对原始YOLO模型的进行具体优化为:(1)原始YOLO模型中的Focus模块使图像的分辨率下降了一半,为了识别堤防管涌小目标,本发明删去原始YOLO模型中的Focus模块,使得原始YOLO模型能够识别的最小目标为8*8像素,提升到能够识别4*4像素的目标;(2)在原始YOLO模型上增加了一次上采样过程和一个跨阶段局部融合网络CSP模块,从而实现在更大的特征层上做预测,提高堤防管涌小目标的识别能力;(3)原始YOLO模型有3个预测分枝,其中两个用于预测较大的目标,而在堤防管涌识别问题中没有较大的目标,所以删除原始YOLO模型中用于识别大目标的2个分枝,以减少预测分枝的干扰和提升识别速度。本发明的改进后的YOLO模型如图3所示,改进后的YOLO模型由普通的CBL(conv–bn–leakyrelu)卷积模块、跨阶段局部融合网络模块(CSP)、空间金字塔池化模块(SPP)组成,跨阶段局部融合网络模块(CSP)包括一个跨阶段局部融合网络CSP1_4模块、两个跨阶段局部融合网络CSP1_12模块、一个跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块。具体如下:
YOLO模型的输入是经过去背景处理后的640*640热红外图像;第一个输入端连接一个CBL卷积模块和跨阶段局部融合网络CSP1_4模块,得到特征图A;跨阶段局部融合网络CSP1_4模块后连接第二个CBL卷积模块和第一个跨阶段局部融合网络CSP1_12模块,第一个跨阶段局部融合网络CSP1_12模块输出特征图B;第一个跨阶段局部融合网络CSP1_12模块后连接第三个CBL卷积模块和第二个跨阶段局部融合网络CSP1_12模块,第二个跨阶段局部融合网络CSP1_12模块输出特征图C;第二个跨阶段局部融合网络CSP1_12模块后连接第四个CBL卷积模块、第一个空间金字塔池化模块SPP、跨阶段局部融合网络CSP2_1模块和第五个CBL卷积模块,第五个CBL卷积模块输出特征图D;跨阶段局部融合网络CSP2_1模块后连接第一个上采样模块,第一个上采样模块的输出与特征图C跨接形成新的特征图E;特征图E连接第一个跨阶段局部融合网络CSP2_4模块、第六个CBL卷积模块和第二个上采样模块,第二个上采样模块的输出与特征图B跨接,形成新的特征图F;
接着,在原始YOLO模型中增加了以下模块:将特征图F连接第二个跨阶段局部融合网络CSP2_4模块和第七个CBL模块和第三个上采样模块,第三个上采样模块的输出与特征图A跨接,形成新的特征图G;
接着,特征图G连接第三个跨阶段局部融合网络CSP2_4模块和一个卷积层(CONV),得到模型的输出(预测结果)。
在本实施例中,CBL卷积模块、跨阶段局部融合网络CSP1_X模块、跨阶段局部融合网络CSP2_X模块和SPP模块具体如图3所示。所述CBL卷积模块由一个卷积层(CONV),BN层和Leaky Relu激活函数组成;
跨阶段局部融合网络CSP1_X模块(跨阶段局部融合网络CSP1_4模块、两个跨阶段局部融合网络CSP1_12模块)包含一个CBL模块、X个残差模块(Res unit)和一个卷积层(CONV)后的输出与模块输入经过一个卷积层(CONV)的输出进行跨接(Concat),再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。
跨阶段局部融合网络CSP2_X模块(跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块)包含一个CBL模块、2X个CBL模块和一个卷积层(CONV)后的输出与模块输入经过一个卷积层(CONV)的输出进行跨接(Concat),再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。
空间金字塔池化模块(SPP)包含一个CBL层,3个最大池化层(Maxpool),然后将3个最大池化层的输出进行跨接并连接一个CBL层。
在本实施例中,通过Python编程语言和Pytorch深度学习框架实现改进的YOLO模型。采用COCO数据集对改进YOLO模型进行预训练,然后再利用步骤S12中建立的训练集、验证集、测试集微调改进YOLO模型并测试的网络的识别效果。训练过程中,采用GIOU Loss函数计算边框预测的损失,类别概率损失则采用交叉熵损失函数(BCEcls loss)。
进一步地,基于改进YOLO模型的堤防管涌识别的步骤如下:
步骤S21、获取图像:通过携带热红外传感器的无人机获取堤防的热红外图像。
步骤S22、划分窗口:因为改进YOLO模型的输入是640*640像素,所以建立划分窗口的规则,将热红外图像分成具有20%重叠的窗口。以480像素为滑动步长,采用640*640大小的滑动窗口,遍历整个输入图像。最后将高度和宽度不足640像素的窗口,通过将左上角坐标向上和向左移动,使窗口大小保持640*640像素。
记录每一窗口图像块在原始大图中对应的编号和左上角坐标,记为(R,C,X,Y),其中R为行数,C表示列数,X,Y是对应的左上角坐标。
步骤S23、图像处理与堤防管涌识别:将每个窗口的热红外图像安装步骤S13方法进行图像去背景处理,并将其输入到已经训练好的改进YOLO模型,设置置信度阈值,得到置信度超过阈值的预测框的中心点位置、大小及置信度;
根据下式计算预测框在原始大图中的真实位置:
其中,是第k个预测框中心点在原始图像中的位置;(Xi,Yi)是预测框所在当前窗口的左上角坐标,是第k个预测框中心点在当前窗口图像中的位置。最终,得到每个窗口识别出堤防管涌在原始图像中的中心点位置、大小、及置信度。
步骤S24、输出最终识别结果:当所有窗口识别完成后,在原始大图上得到多个预测框,再利用加权非极大抑制剔除重叠预测框,得到最终识别结果。
以上对本发明所提供的一种基于改进YOLO模型的堤防管涌识别***和方法进行了详细的介绍,本文中应用了具体的隔离对本发明的原理和实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法以及核心思想,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种基于改进YOLO模型的堤防管涌险情智能识别方法,包括改进和训练YOLO模型和堤防管涌识别两个过程;其特征在于,所述改进和训练YOLO模型的具体步骤如下:
步骤S11、数据采集:使用携带热红外传感器的无人机巡检堤防获取得的堤防的热红外图像数据,包含有堤防管涌热红外图像以及无堤防管涌热红外图像;
步骤S12、制作样本:包括数据标注整理和堤防管涌样本生成两步;
步骤S13、图像去背景处理;
步骤S14、模型改进和训练:改进的YOLO模型由CBL模块、跨阶段局部融合网络模块、空间金字塔池化模块组成;跨阶段局部融合网络模块包括一个跨阶段局部融合网络CSP1_4模块、两个跨阶段局部融合网络CSP1_12模块、一个跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块;YOLO模型的输入是经过去背景处理后的640*640热红外图像;第一个输入端连接一个CBL模块和跨阶段局部融合网络CSP1_4模块,得到特征图A;跨阶段局部融合网络CSP1_4模块后连接第二个CBL模块和第一个跨阶段局部融合网络CSP1_12模块,第一个跨阶段局部融合网络CSP1_12模块输出特征图B;第一个跨阶段局部融合网络CSP1_12模块后连接第三个CBL模块和第二个跨阶段局部融合网络CSP1_12模块,第二个跨阶段局部融合网络CSP1_12模块输出特征图C;第二个跨阶段局部融合网络CSP1_12模块后连接第四个CBL模块、第一个空间金字塔池化模块SPP和跨阶段局部融合网络CSP2_1模块,跨阶段局部融合网络CSP2_1模块输出特征图D;跨阶段局部融合网络CSP2_1模块后连接第一个上采样模块,第一个上采样模块的输出与特征图C跨接形成新的特征图E;特征图E连接第一个跨阶段局部融合网络CSP2_4模块、第五个CBL模块和第二个上采样模块,第二个上采样模块的输出与特征图B跨接,形成新的特征图F;将特征图F连接第二个跨阶段局部融合网络CSP2_4模块和第六个CBL模块和第三个上采样模块,第三个上采样模块的输出与特征图A跨接,形成新的特征图G;特征图G连接第三个跨阶段局部融合网络CSP2_4模块和一个卷积层,得到模型的输出;
所述跨阶段局部融合网络CSP1_4模块和跨阶段局部融合网络CSP1_12模块均包含一个CBL模块、X个残差模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接,再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块;
所述跨阶段局部融合网络CSP2_1模块和跨阶段局部融合网络CSP2_4模块均包含一个CBL模块、2X个CBL模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接,再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。
2.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法,其特征在于,所述空间金字塔池化模块包含一个CBL层,3个最大池化层,然后将3个最大池化层的输出进行跨接并连接一个CBL层。
3.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法,其特征在于,步骤S12中数据标注整理过程为:对采集到的热红外图像数据集进行标记,将特征明显的热红外图像挑选出来,将其中难以识别或已经检修后的无效数据剔除,并将选择挑选后的热红外图像,使用640*640的像素大小对整张的堤防热红外图像进行分割,然后将分割完成的数据集,使用Labelme软件标出所有堤防管涌的特征,使用矩形框进行标注,以“leakage”作为堤防管涌标识,获得一组与热红外图像对应的标注集;另外选取一些没有堤防管涌的常见的堤防热红外图像作为负样本。
4.根据权利要求3所述的基于改进YOLO模型的堤防管涌险情智能识别方法,其特征在于,步骤S12中堤防管涌样本生成过程为:采用随机裁剪、翻转、模糊和改变亮度、对比度、随机排布扩增样本;所有的样本统一缩放为640*640像素;将生成的样本和采集到的样本按照8:2:1随机划分为训练集、验证集、测试集;使用K-means算法对训练集中标注的候选框进行聚类以优化预测框的大小。
6.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法,其特征在于,所述堤防管涌识别的步骤如下:
步骤S21、获取图像:通过携带热红外传感器的无人机获取堤防的热红外图像;
步骤S22、划分窗口:建立划分窗口的规则,将热红外图像分成具有20%重叠的窗口,以480像素为滑动步长,采用640*640大小的滑动窗口,遍历整个输入图像;最后将高度和宽度不足640像素的窗口,通过将左上角坐标向上和向左移动,使窗口大小保持640*640像素;
记录每一窗口图像块在原始大图中对应的编号和左上角坐标,记为(R,C,X,Y),其中R为行数,C表示列数,X,Y是对应的左上角坐标;
步骤S23、图像处理与堤防管涌识别:将每个窗口的热红外图像安装步骤S13方法进行图像去背景处理,并将其输入到已经训练好的改进YOLO模型,设置置信度阈值,得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度;根据下式计算预测框在原始大图中的真实位置:
步骤S24、输出最终识别结果:当所有窗口识别完成后,在原始大图上得到多个预测框,再利用加权非极大抑制剔除重叠预测框,得到最终识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111569461.7A CN114241310B (zh) | 2021-12-21 | 2021-12-21 | 基于改进yolo模型的堤防管涌险情智能识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111569461.7A CN114241310B (zh) | 2021-12-21 | 2021-12-21 | 基于改进yolo模型的堤防管涌险情智能识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114241310A CN114241310A (zh) | 2022-03-25 |
CN114241310B true CN114241310B (zh) | 2022-09-02 |
Family
ID=80760104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111569461.7A Active CN114241310B (zh) | 2021-12-21 | 2021-12-21 | 基于改进yolo模型的堤防管涌险情智能识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114241310B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116721136B (zh) * | 2023-07-05 | 2024-03-19 | 应急管理部国家自然灾害防治研究院 | 管涌险情识别方法、电子设备及存储介质 |
CN116580328B (zh) * | 2023-07-12 | 2023-09-19 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766214A (zh) * | 2019-10-17 | 2020-02-07 | 中南林业科技大学 | 一种基于边缘计算和大数据的实时防洪监测*** |
CN111626170A (zh) * | 2020-05-20 | 2020-09-04 | 中铁二院工程集团有限责任公司 | 一种铁路边坡落石侵限检测的图像识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139528B (zh) * | 2021-06-21 | 2021-09-07 | 江西省水利科学院 | 基于Faster_RCNN的无人机热红外图像堤坝险情检测方法 |
CN113807464B (zh) * | 2021-09-29 | 2022-05-13 | 东南大学 | 基于改进yolo v5的无人机航拍图像目标检测方法 |
-
2021
- 2021-12-21 CN CN202111569461.7A patent/CN114241310B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766214A (zh) * | 2019-10-17 | 2020-02-07 | 中南林业科技大学 | 一种基于边缘计算和大数据的实时防洪监测*** |
CN111626170A (zh) * | 2020-05-20 | 2020-09-04 | 中铁二院工程集团有限责任公司 | 一种铁路边坡落石侵限检测的图像识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114241310A (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN110378308B (zh) | 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法 | |
CN114241310B (zh) | 基于改进yolo模型的堤防管涌险情智能识别方法 | |
CN112288008B (zh) | 一种基于深度学习的马赛克多光谱图像伪装目标检测方法 | |
CN110232380A (zh) | 基于Mask R-CNN神经网络的火灾夜间场景复原方法 | |
Liu et al. | A night pavement crack detection method based on image‐to‐image translation | |
CN111462140B (zh) | 一种基于区块拼接的实时图像实例分割方法 | |
CN113052876A (zh) | 一种基于深度学习的视频接力跟踪方法及*** | |
CN114299033A (zh) | 一种基于YOLOv5的光伏板红外图像热斑检测方法及*** | |
CN112949633A (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
Mei et al. | Deep learning based automated inspection of weak microscratches in optical fiber connector end-face | |
CN116612106A (zh) | 一种基于yolox算法的光学元件表面缺陷检测方法 | |
CN115240069A (zh) | 一种全雾天场景下的实时性障碍物检测方法 | |
CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
Zhang et al. | Surface defect detection of wind turbine based on lightweight YOLOv5s model | |
CN113936034B (zh) | 一种结合帧间光流的表观运动联合弱小运动目标检测方法 | |
CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
CN110942026B (zh) | 基于深度学习的胶囊机器人排水管病害检测方法及*** | |
CN116342496A (zh) | 一种用于智能巡检的异常物体检测方法和*** | |
CN116758026B (zh) | 一种基于双目遥感图像显著性分析的大坝渗水区域测量方法 | |
CN114627046B (zh) | 一种基于可见光多滤波维度的电力线检测方法及*** | |
CN116310999B (zh) | 一种水力发电站库区大型漂浮物检测方法 | |
Liu et al. | Research on traffic sign detection algorithm in complex weather | |
CN116805429A (zh) | 一种深度学习驱动的背景滤除人体异常行为检测方法 | |
Fan et al. | Novel Road Crack Detection Technology Based on Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |