CN114663375B - 基于小样本学习的浮空器主缆绳表面缺陷检测方法及*** - Google Patents
基于小样本学习的浮空器主缆绳表面缺陷检测方法及*** Download PDFInfo
- Publication number
- CN114663375B CN114663375B CN202210247802.7A CN202210247802A CN114663375B CN 114663375 B CN114663375 B CN 114663375B CN 202210247802 A CN202210247802 A CN 202210247802A CN 114663375 B CN114663375 B CN 114663375B
- Authority
- CN
- China
- Prior art keywords
- main cable
- aerostat
- cable
- defect
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 166
- 230000007547 defect Effects 0.000 title claims abstract description 145
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 11
- 239000011521 glass Substances 0.000 description 7
- 230000003042 antagnostic effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000009191 jumping Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本发明提供基于小样本学习的浮空器主缆绳表面缺陷检测方法及***包括:设置***软硬件环境;采集并通过预置对抗网络扩充处理浮空器主缆绳表面图像,以得到缆绳表面增强图像数据并标注,据以构建缺陷样本库;以DenseNet网络及主电缆缺陷特点设计网络模型,利用小样本学习构建网络模型,根据缺陷样本库训练网络模型;以经训练的网络模型利用yolov4单阶段检测算法处理缺陷样本库中的查询集,据以得到浅层纹理特征及高层语义特征;利用网络模型的DenseNet网络的结构,通过跳跃连接将浅层纹理特征传递至高层语义特征中并以度量逻辑处理;在终端选择获取不同模式下的浮空器主缆绳表面缺陷检测数据。解决了缺陷漏检率、误检率高及检测效率低的技术问题。
Description
技术领域
本发明涉及浮空器的线缆缺陷检测技术,具体涉及一种基于小样本学习的浮空器主缆绳表面缺陷检测方法及***。
背景技术
线缆表面的外护套是防备外界因素侵蚀线缆绝缘层的结构部分,主要作用是提高线缆的机械强度以及防化学腐蚀、防水、防燃烧等。然而,在线缆的生产过程中,由于加工设备、生产工艺、生产原料等因素,会不可避免地造成折痕、划痕、小孔、鼓包、绝缘皮破损等表面缺陷。这些缺陷不仅有损产品性能、影响商业用途,而且严重的表观质量甚至会造成后期使用的安全隐患。
申请号为CN202111068447.9的发明专利《一种基于小样本学习的玻璃面板表面缺陷检测方法》包括以下步骤:S1:采集少量有缺陷的玻璃面板图像,并标注边界框和缺陷类别;S2:对玻璃面板图像进行预处理及数量扩展,构建玻璃面板表面缺陷检测数据集;S3:构建用于对玻璃面板图像进行识别和定位的缺陷检测网络,所述的缺陷检测网络包含由ResNet101和特征金字塔网络构成的主干特征提取网络、改进的RPN网络、ROIpooling层、全局ROI提取层、边框回归网络和分类网络;所述的主干特征提取网络用于提取图像的全局特征,改进的RPN网络和ROIpooling层用于提取图像的候选区域特征,全局ROI提取层用于融合全局特征和候选区域特征,对候选区域特征进行更新,边框回归网络和分类网络用于根据更新后的候选区域特征生成定位边界框和缺陷类别;S4:使用玻璃面板表面缺陷检测数据集对构建的缺陷检测网络进行训练,得到训练好的缺陷检测模型;S5:使用训练好的缺陷检测模型对玻璃面板图像进行缺陷检测,输出缺陷定位边界框和所属的缺陷类别。前述现有专利中虽然也采用了小样本学习以及样本扩展的方法,但其采用的小样本学习以及样本扩展的具体技术方案与本申请技术方案中披露的小样本学习和样本扩充方案不同,二者采用的缺陷检测网络模型等存在区别。同时,前述现有专利并非应用于浮空器的线缆检测领域,也并非用于线缆检测。目前,国内企业的线缆表面缺陷检测技术主要依靠人工目测和手触判断的方法,这两种方法的检测效率很难达到高速生产线的检测要求,漏检率和误检率极高。因此,现有技术中的浮空器线缆检测技术存在缺陷漏检率、误检率高及检测效率低的技术问题。
发明内容
本发明所要解决的技术问题在于如何解决现有技术中的浮空器线缆检测技术存在的缺陷漏检率、误检率高及检测效率低的技术问题。
本发明是采用以下技术方案解决上述技术问题的:一种基于小样本学习的浮空器主缆绳表面缺陷检测方法包括:
S1、初始化***环境,设置***参数及检测作业模式;
S2、采集并通过预置对抗网络扩充处理浮空器主缆绳表面图像,以得到缆绳表面增强图像数据并标注,据以构建缆绳表面缺陷样本库;
S3、以DenseNet网络及主电缆缺陷特点设计主电缆缺陷检测网络模型,利用小样本学习构建所述主电缆缺陷检测网络模型,根据所述缆绳表面缺陷样本库训练所述主电缆缺陷检测网络模型;
S4、以经过前述训练的所述主电缆缺陷检测网络模型利用yolov4单阶段检测算法处理所述缆绳表面缺陷样本库中的查询集,据以得到所述浅层纹理特征及所述高层语义特征;
S5、利用所述主电缆缺陷检测网络模型的所述DenseNet网络的结构,通过跳跃连接将所述浅层纹理特征传递至所述高层语义特征中,以下述度量逻辑综合处理所述浅层纹理特征及所述高层语义特征:
euc(x,ωc)=‖x-ωc‖#(2)
其中,ωc是属于c类的所有样本经过函数变化的均值,euc(x,ωc)是距离函数,p(y=c|x)是概率函数,以得到浮空器主缆绳表面缺陷检测数据;
S6、在终端选择不同的所述检测作业模式,据以获取不同的所述检测作业模式下的所述浮空器主缆绳表面缺陷检测数据。
本发明选择基于深度神经网络的yolov4单阶段检测算法作为线缆缺陷检测的基准算法,其在当前的目标检测算法中具有一定的技术优势,在同样的算法耗时下具有更好的检测效果。为了综合利用浅层的纹理特征与高层的语义特征,在本发明中选用DenseNet网络作为检测算法的基础框架,其通过跳跃连接频繁地将底层特征传递到高层特征中,有助于检测效果的提升。
在更具体的技术方案中,步骤S1包括:
S11、采集并存储主线缆运行环境数据;
S12、根据所述主线缆运行环境数据设置图像采集设备并预置图像滤波器。
在更具体的技术方案中,步骤S12中的图像滤波器的滤波方式包括:中值滤波。
在更具体的技术方案中,步骤S12中的图像采集设备包括不少于2台相机,所述相机设于预置线缆缺陷图像采集位置。
在更具体的技术方案中,步骤S2包括:
S21、以预置的图像采集设备采集浮空器主缆绳表面图像;
S22、增强处理所述浮空器主缆绳表面图像以得到所述浮空器主缆绳表面增强图像;
S23、通过所述预置对抗网络以下述逻辑扩充处理所述浮空器主缆绳表面增强图像,以得到所述缆绳表面增强图像数据:
S24、标注所述缆绳表面增强图像数据,据以构建所述缆绳表面缺陷样本库。
本发明针对缺陷样本不均衡、人工标注困难、现场环境变化多样等挑战,本项目在利用图像增强扩充现有样本多样性的同时,还通过构建对抗神经网络进行样本的扩充。
在更具体的技术方案中,步骤S21中的所述浮空器主缆绳表面图像包括:雷击穿孔图像、裂纹图像及正常图像。
本发明考虑到线缆终点击穿孔、裂纹都是非常小的缺陷,当经过深度神经网络的逐层提取后极有可能在高层特征中被丢失,同时高层特征又具有极强的语义性,在分类判断时具有重要的意义,故本发明选用DenseNet网络作为检测算法的基础框架,利用其跳跃连接将底层特征传递到高层特征中,以提升对终点击穿孔、裂纹等细微缺陷的检测效果。
在更具体的技术方案中,步骤S3包括:
S31、获取所述主电缆缺陷特点,采用所述DenseNet网络作为基础框架,根据所述主线缆缺陷特点设计主电缆缺陷检测网络模型;
S32、以小样本学***滑策略训练所述主电缆缺陷检测网络模型。
本发明在深度神经网络训练时使用focol loss和标签平滑策略,以进一步缓解类别不均衡的影响。
在更具体的技术方案中,步骤S32包括:
S321、提取所述所述缆绳表面缺项样本库中的所述支持集;
S322、设置所述主电缆缺陷检测网络模型中的小样本学习编码器的卷积层为4层;
S323、设置所述卷积层的尺寸为3x3;
S324、设置所述小样本学习编码器的卷积核为64。
在更具体的技术方案中,步骤S6中的所述检测作业模式包括:图像采集模式、离线检测模式及在线检测模式,其中,以所述图像采集模式对相机拍摄的图片进行收集供后期处理;以所述离线检测模式对本地已采集的图片进行缺陷检测;以所述在线检测模式融合所述图像采集模式及所述离线检测模式用以在线检测所述浮空器主缆绳表面缺陷检测数据。
本发明为满足现场作业人员的实际需求,特提供了图像采集、离线检测、在线检测三种作业模式,其中图像采集模式只是对相机拍摄的图片进行收集方便后期处理,离线检测模式则对本地已经采集好的图片进行缺陷检测,在线检测模式则在收集图片的同时进行缺陷检测,在线检测模式可以理解为图片采集和离线检测的融合。三种作业模式具有不同的硬件需求和作业特性,其中在线检测模式具有较高的硬件配置要求,现场工作人员根据现场硬件配置情况和使用需求做出设置,更加易于操作。
在更具体的技术方案中,一种基于小样本学习的浮空器主缆绳表面缺陷检测***包括:
软硬件环境设置模块,用以初始化***环境,设置***参数及检测作业模式;
样本库扩充构建模块,用以采集并通过预置对抗网络扩充处理所述浮空器主缆绳表面图像,以得到缆绳表面增强图像数据并标注,据以构建缆绳表面缺陷样本库,所述样本库扩充构建模块与所述软硬件环境设置模块连接;
模型构建训练模块,用于以DenseNet网络及主电缆缺陷特点设计主电缆缺陷检测网络模型,利用小样本学习构建所述主电缆缺陷检测网络模型,根据所述缆绳表面缺陷样本库训练所述主电缆缺陷检测网络模型,所述模型构建训练模块与所述样本库扩充构建模块连接;
特征模块,用于以经过前述训练的所述主电缆缺陷检测网络模型利用yolov4单阶段检测算法处理所述缆绳表面缺陷样本库中的查询集,据以得到所述浅层纹理特征及所述高层语义特征,所述特征模块与所述模型构建训练模块连接;
浮空器缺陷检测检测模块,用以利用所述主电缆缺陷检测网络模型的所述DenseNet网络的结构,通过跳跃连接将所述浅层纹理特征传递至所述高层语义特征中,以下述度量逻辑综合处理所述浅层纹理特征及所述高层语义特征:
euc(x,ωc)=‖x-ωc‖#(2)
其中,ωc是属于c类的所有样本经过函数变化的均值,euc(x,ωc)是距离函数,p(y=c|x)是概率函数,以得到浮空器主缆绳表面缺陷检测数据,所述浮空器缺陷检测模块与所述特征模块连接;
终端多模式操作模块,用以在终端选择不同的所述检测作业模式,据以获取不同的所述检测作业模式下的所述浮空器主缆绳表面缺陷检测数据,所述多模式材质模块与所述浮空器缺陷检测模块及所述软硬件环境设置模块连接。
本发明相比现有技术具有以下优点:本发明选择基于深度神经网络的yolov4单阶段检测算法作为线缆缺陷检测的基准算法,其在当前的目标检测算法中具有一定的技术优势,在同样的算法耗时下具有更好的检测效果。为了综合利用浅层的纹理特征与高层的语义特征,在本发明中选用DenseNet网络作为检测算法的基础框架,其通过跳跃连接频繁地将底层特征传递到高层特征中,有助于检测效果的提升。
本发明针对缺陷样本不均衡、人工标注困难、现场环境变化多样等挑战,本项目在利用图像增强扩充现有样本多样性的同时,还通过构建对抗神经网络进行样本的扩充。
本发明考虑到线缆终点击穿孔、裂纹都是非常小的缺陷,当经过深度神经网络的逐层提取后极有可能在高层特征中被丢失,同时高层特征又具有极强的语义性,在分类判断时具有重要的意义,故本发明选用DenseNet网络作为检测算法的基础框架,利用其跳跃连接将底层特征传递到高层特征中,以提升对终点击穿孔、裂纹等细微缺陷的检测效果。本发明在深度神经网络训练时使用focol loss和标签平滑策略,以进一步缓解类别不均衡的影响。
本发明为满足现场作业人员的实际需求,特提供了图像采集、离线检测、在线检测三种作业模式,三种作业模式具有不同的硬件需求和作业特性,其中在线检测模式具有较高的硬件配置要求,现场工作人员根据现场硬件配置情况和使用需求做出设置,更加易于操作。
本发明解决了现有技术中存在的缺陷漏检率、误检率高及检测效率低的技术问题。
附图说明
图1为实施例1的基于小样本学习的浮空器主缆绳表面缺陷检测方法流程示意图;
图2为小样本度量学习的流程示意图;
图3为对抗神经网络示意图;
图4为DenseNet网络架构示意图;
图5为小样本学习编码器结构示意图;
图6为基于小样本学习的浮空器主缆绳表面缺陷检测***界面示意图;
图7为雷击、穿孔及正常图片样本示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,以下述步骤提供一个基于小样本学习的浮空器主缆绳表面缺陷检测***:
S1、根据需求分析数据设置软硬件运行环境,可选的,基于主电缆缺陷检测的需求:进行相关运行环境调研,实现***功能分解,明确***开发内容;
S2、设计图像采集装备,可选的,在硬件设计阶段,根据主电缆运行的环境及电缆表面情况,设计电缆图像采集设施;
S3、采集图像,可选的,图像采集及预先处理:利用采集设备进行图像采集;
S4、建立样本库;
S5、增强图像,可选的,完成必要的图像预处理工作,并利用图像增强及对抗网络对样本库进行扩充;
S6、标注图像,可选的,设计标注软件,对样本进行标注,构建样本数据库;
S7、构建模型,可选的,根据主电缆缺陷特点,设计网络模型;
S8、模型学习及迭代;
S9、优化模型的算法实时性,可选的,迭代并优化前述模型以满足检测需求。对算法进行优化;
S10、***设计及部署,可选的,根据实时性及性能要求对模型进行修改及裁剪,并根据多种浮空器主缆绳表面缺陷检测模式完成***部署。
实施例2
如图2所示,从图中可以看到,小样本度量学习的方法主要由特征编码模块和度量模块组成。图中支持集表示该数据集中的样本类别我们是已知的,查询集表示该数据集中的样本属于待检测样本。
样本数据增强
如图3所示,针对缺陷样本不均衡、人工标注困难、现场环境变化多样等挑战,本项目在利用图像增强扩充现有样本多样性的同时,还通过构建对抗神经网络进行样本的扩充,在深度神经网络训练时为了进一步缓解类别不均衡的影响进一步使用了focol loss和标签平滑策略。
本文中采用的度量方式可用如下公式表达:
euc(x,ωc)=||x-ωc||#(2)
其中ωc是属于c类的所有样本经过函数变化的均值
上述公式是距离函数,第三个是概率函数,待判断样本离ωc越近,其概率越接近1。c是类,第三个公式含义是离c类越近离其他类c'越远,那么他属于c概率越大。对抗神经网络可采用例如下述逻辑对样本进行扩充:
网络结构设计
如图4所示,考虑项目中线缆缺陷检测具有实时性的需求,在单相机5帧时三个相机每秒需要检测15帧图片,在该项目中我们选择基于深度神经网络的yolov4单阶段检测算法作为线缆缺陷检测的基准算法,其在当前的目标检测算法中具有一定的技术优势,在同样的算法耗时下具有更好的检测效果。同时,考虑到线缆却终点击穿孔、裂纹都是非常小的缺陷,当经过深度神经网络的逐层提取后极有可能在高层特征中被丢失,同时高层特征又具有极强的语义性,在分类判断时具有重要的意义。为了综合利用浅层的纹理特征与高层的语义特征,在该项目中选用DenseNet网络作为检测算法的基础框架,其通过跳跃连接频繁地将底层特征传递到高层特征中,有助于检测效果的提升。
如图5所示,我们采用小样本学习中的经典的编码器结构,编码器的结构如图5所示。该编码器由4层卷积层组成,卷积层的尺寸大小为3x3,卷积核的数量为64。卷积层的主要作用就是将图片映射到相同的特征空间中,在这个特征空间中,同一类别的图像提取的特征上会更加的相似。
***界面设计
如图6所示,***实时采集三台相机的图片,在界面左上方实时显示当前待检测的电缆图,若检测到缺陷时在界面左下方显示缺陷图像,供人员进行最终确认,并储存对应的缺陷图片,供以后查询。在界面右边对缺陷检测结果进行汇总并显示缺陷检测详细记录,并提供了检测报告生成与检测记录保存按钮。为满足现场作业人员的实际需求,特提供了图像采集、离线检测、在线检测三种作业模式,其中图像采集模式只是对相机拍摄的图片进行收集方便后期处理,离线检测模式则对本地已经采集好的图片进行缺陷检测,在线检测模式则在收集图片的同时进行缺陷检测,在线检测模式可以理解为图片采集和离线检测共呢的融合。三种作业模式具有不同的硬件需求和作业特性,其中在线检测模式具有较高的硬件配置要求,现场工作人员根据现场硬件配置情况和使用需求做出设置,更加易于操作。
试验验证
如图7所示,用相机对主缆绳进行拍摄,获得了包含缺陷数据样本与正常数据样本。之后,我们对每个图像进行中值滤波,去除拍摄时的噪声干扰。我们获得的数据集包含三类数据,分别为雷击穿孔,裂纹和正常的图像。数据集中总共包含60张图片。图7中展示了数据集中的部分样本。数据集中各类别的图片数量如下表1所示:
表1各个类别数据详情
综上,本发明选择基于深度神经网络的yolov4单阶段检测算法作为线缆缺陷检测的基准算法,其在当前的目标检测算法中具有一定的技术优势,在同样的算法耗时下具有更好的检测效果。为了综合利用浅层的纹理特征与高层的语义特征,在本发明中选用DenseNet网络作为检测算法的基础框架,其通过跳跃连接频繁地将底层特征传递到高层特征中,有助于检测效果的提升。
本发明针对缺陷样本不均衡、人工标注困难、现场环境变化多样等挑战,本项目在利用图像增强扩充现有样本多样性的同时,还通过构建对抗神经网络进行样本的扩充。
本发明考虑到线缆终点击穿孔、裂纹都是非常小的缺陷,当经过深度神经网络的逐层提取后极有可能在高层特征中被丢失,同时高层特征又具有极强的语义性,在分类判断时具有重要的意义,故本发明选用DenseNet网络作为检测算法的基础框架,利用其跳跃连接将底层特征传递到高层特征中,以提升对终点击穿孔、裂纹等细微缺陷的检测效果。本发明在深度神经网络训练时使用focol loss和标签平滑策略,以进一步缓解类别不均衡的影响。
本发明为满足现场作业人员的实际需求,特提供了图像采集、离线检测、在线检测三种作业模式,三种作业模式具有不同的硬件需求和作业特性,其中在线检测模式具有较高的硬件配置要求,现场工作人员根据现场硬件配置情况和使用需求做出设置,更加易于操作。
本发明解决了现有技术中存在的缺陷漏检率、误检率高及检测效率低的技术问题。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于小样本学习的浮空器主缆绳表面缺陷检测方法,其特征在于,所述方法包括:
S1、初始化***环境,设置***参数及检测作业模式;
S2、采集并通过预置对抗网络扩充处理浮空器主缆绳表面图像,以得到缆绳表面增强图像数据并标注,据以构建缆绳表面缺陷样本库;
S3、以DenseNet网络及主电缆缺陷特点设计主电缆缺陷检测网络模型,利用小样本学习构建所述主电缆缺陷检测网络模型,根据所述缆绳表面缺陷样本库训练所述主电缆缺陷检测网络模型;
S4、以经过前述训练的所述主电缆缺陷检测网络模型利用yolov4单阶段检测算法处理所述缆绳表面缺陷样本库中的查询集,据以得到浅层纹理特征及高层语义特征;
S5、利用所述主电缆缺陷检测网络模型的所述DenseNet网络的结构,通过跳跃连接将所述浅层纹理特征传递至所述高层语义特征中,以下述度量逻辑综合处理所述浅层纹理特征及所述高层语义特征:
euc(x,ωc)=‖x-ωc‖# (2)
其中,ωc是属于c类的所有样本经过函数变化的均值,euc(x,ωc)是距离函数,p(y=c|x)是概率函数,以得到浮空器主缆绳表面缺陷检测数据,Sc为支持集中c类别的图像样本,xsc为Sc中抽取的某个c类别的图像样本,x为查询集图像,c为样本类别;
S6、在终端选择不同的所述检测作业模式,据以获取不同的所述检测作业模式下的所述浮空器主缆绳表面缺陷检测数据。
2.根据权利要求1所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法,其特征在于,所述步骤S1包括:
S11、采集并存储主线缆运行环境数据;
S12、根据所述主线缆运行环境数据设置图像采集设备并预置图像滤波器。
3.根据权利要求2所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法,其特征在于,所述步骤S12中的图像滤波器的滤波方式包括:中值滤波。
4.根据权利要求2所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法,其特征在于,所述步骤S12中的图像采集设备包括不少于2台相机,所述相机设于预置线缆缺陷图像采集位置。
6.根据权利要求5所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法,其特征在于,所述步骤S21中的所述浮空器主缆绳表面图像包括:雷击穿孔图像、裂纹图像及正常图像。
7.根据权利要求1所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法,其特征在于,所述步骤S3包括:
S31、获取所述主电缆缺陷特点,采用所述DenseNet网络作为基础框架,根据所述主电缆缺陷特点设计主电缆缺陷检测网络模型;
S32、以小样本学***滑策略训练所述主电缆缺陷检测网络模型。
8.根据权利要求7所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法,其特征在于,所述步骤S32包括:
S321、提取所述所述缆绳表面缺陷样本库中的所述支持集;
S322、设置所述主电缆缺陷检测网络模型中的小样本学习编码器的卷积层为4层;
S323、设置所述卷积层的尺寸为3x3;
S324、设置所述小样本学习编码器的卷积核为64。
9.根据权利要求1所述的一种基于小样本学习的浮空器主缆绳表面缺陷检测方法,其特征在于,所述步骤S6中的所述检测作业模式包括:图像采集模式、离线检测模式及在线检测模式,其中,以所述图像采集模式对相机拍摄的图片进行收集供后期处理;以所述离线检测模式对本地已采集的图片进行缺陷检测;以所述在线检测模式融合所述图像采集模式及所述离线检测模式用以在线检测所述浮空器主缆绳表面缺陷检测数据。
10.一种基于小样本学习的浮空器主缆绳表面缺陷检测***,其特征在于,所述***包括:
软硬件环境设置模块,用以初始化***环境,设置***参数及检测作业模式;
样本库扩充构建模块,用以采集并通过预置对抗网络扩充处理浮空器主缆绳表面图像,以得到缆绳表面增强图像数据并标注,据以构建缆绳表面缺陷样本库,所述样本库扩充构建模块与所述软硬件环境设置模块连接;
模型构建训练模块,用于以DenseNet网络及主电缆缺陷特点设计主电缆缺陷检测网络模型,利用小样本学习构建所述主电缆缺陷检测网络模型,根据所述缆绳表面缺陷样本库训练所述主电缆缺陷检测网络模型,所述模型构建训练模块与所述样本库扩充构建模块连接;
特征模块,用于以经过前述训练的所述主电缆缺陷检测网络模型利用yolov4单阶段检测算法处理所述缆绳表面缺陷样本库中的查询集,据以得到浅层纹理特征及高层语义特征,所述特征模块与所述模型构建训练模块连接;
浮空器缺陷检测检测模块,用以利用所述主电缆缺陷检测网络模型的所述DenseNet网络的结构,通过跳跃连接将所述浅层纹理特征传递至所述高层语义特征中,以下述度量逻辑综合处理所述浅层纹理特征及所述高层语义特征:
euc(x,ωc)=‖x-ωc‖# (2)
其中,ωc是属于c类的所有样本经过函数变化的均值,euc(x,ωc)是距离函数,p(y=c|x)是概率函数,以得到浮空器主缆绳表面缺陷检测数据,Sc为支持集中c类别的图像样本,xsc为Sc中抽取的某个c类别的图像样本,x为查询集图像,c为样本类别,所述浮空器缺陷检测模块与所述特征模块连接;
终端多模式操作模块,用以在终端选择不同的所述检测作业模式,据以获取不同的所述检测作业模式下的所述浮空器主缆绳表面缺陷检测数据,所述多模式操作模块与所述浮空器缺陷检测模块及所述软硬件环境设置模块连接。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210247802.7A CN114663375B (zh) | 2022-03-14 | 2022-03-14 | 基于小样本学习的浮空器主缆绳表面缺陷检测方法及*** |
PCT/CN2022/133525 WO2023173798A1 (zh) | 2022-03-14 | 2022-11-22 | 基于小样本学习的浮空器主缆绳表面缺陷检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210247802.7A CN114663375B (zh) | 2022-03-14 | 2022-03-14 | 基于小样本学习的浮空器主缆绳表面缺陷检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114663375A CN114663375A (zh) | 2022-06-24 |
CN114663375B true CN114663375B (zh) | 2023-07-07 |
Family
ID=82028712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210247802.7A Active CN114663375B (zh) | 2022-03-14 | 2022-03-14 | 基于小样本学习的浮空器主缆绳表面缺陷检测方法及*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114663375B (zh) |
WO (1) | WO2023173798A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114663375B (zh) * | 2022-03-14 | 2023-07-07 | 中国电子科技集团公司第三十八研究所 | 基于小样本学习的浮空器主缆绳表面缺陷检测方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160184A (zh) * | 2021-04-26 | 2021-07-23 | 贵州电网有限责任公司 | 一种基于深度学习的无人机智能巡检电缆表面缺陷检测方法 |
CN113379699A (zh) * | 2021-06-08 | 2021-09-10 | 上海电机学院 | 基于深度学习的输电线路绝缘子缺陷检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10896341B2 (en) * | 2018-11-15 | 2021-01-19 | International Business Machines Corporation | Efficient defect localization/segmentation for surface defect inspection |
CN114170161A (zh) * | 2021-11-25 | 2022-03-11 | 云南大学 | 一种烟支外观缺陷检测方法及*** |
CN114663375B (zh) * | 2022-03-14 | 2023-07-07 | 中国电子科技集团公司第三十八研究所 | 基于小样本学习的浮空器主缆绳表面缺陷检测方法及*** |
-
2022
- 2022-03-14 CN CN202210247802.7A patent/CN114663375B/zh active Active
- 2022-11-22 WO PCT/CN2022/133525 patent/WO2023173798A1/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160184A (zh) * | 2021-04-26 | 2021-07-23 | 贵州电网有限责任公司 | 一种基于深度学习的无人机智能巡检电缆表面缺陷检测方法 |
CN113379699A (zh) * | 2021-06-08 | 2021-09-10 | 上海电机学院 | 基于深度学习的输电线路绝缘子缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2023173798A1 (zh) | 2023-09-21 |
CN114663375A (zh) | 2022-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112534470B (zh) | 用于基于图像的目标对象检验的***及方法 | |
CN107808133B (zh) | 基于无人机巡线的油气管道安全监测方法、***及软件存储器 | |
CN112766103B (zh) | 一种机房巡检方法及装置 | |
CN109655259A (zh) | 基于深度解耦卷积神经网络的复合故障诊断方法及装置 | |
CN103279765B (zh) | 基于图像匹配的钢丝绳表面损伤检测方法 | |
CN109671071B (zh) | 一种基于深度学习的地下管道缺陷定位及等级判定方法 | |
CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
JP2015172576A5 (ja) | 複合アイテムの検査方法及びシステム | |
CN112686833B (zh) | 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置 | |
CN109060826B (zh) | 一种不停机的风电叶片检测装置 | |
CN114663375B (zh) | 基于小样本学习的浮空器主缆绳表面缺陷检测方法及*** | |
CN113076816A (zh) | 基于红外与可见光图像的太阳能光伏组件热斑识别方法 | |
CN111986145B (zh) | 一种基于Faster-RCNN的轴承滚子瑕疵检测方法 | |
WO2019176989A1 (ja) | 検査システム、識別システム、及び学習データ生成装置 | |
CN115829995A (zh) | 基于像素级的多尺度特征融合的布匹瑕疵检测方法及*** | |
CN112101138A (zh) | 基于深度学习的桥梁拉索表面缺陷实时识别***及方法 | |
Yixuan et al. | Aeroengine blade surface defect detection system based on improved faster RCNN | |
CN117030129A (zh) | 纸杯在线检漏方法及其*** | |
Huang et al. | Structural defect detection technology of transmission line damper based on UAV image | |
CN115239646A (zh) | 输电线路的缺陷检测方法、装置、电子设备及存储介质 | |
CN114842243A (zh) | 一种基于大跨度巡线机器人的故障检测方法、***及设备 | |
CN110618129A (zh) | 一种电网线夹自动检测与缺陷识别方法及装置 | |
Özer et al. | An approach based on deep learning methods to detect the condition of solar panels in solar power plants | |
CN113034359A (zh) | 发电机组定转子缺陷智能诊断方法、装置、计算机设备及存储介质 | |
CN110992361A (zh) | 基于代价平衡的发动机紧固件检测***及检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |