CN112508857B - 基于改进型Cascade R-CNN的铝材表面缺陷检测方法 - Google Patents
基于改进型Cascade R-CNN的铝材表面缺陷检测方法 Download PDFInfo
- Publication number
- CN112508857B CN112508857B CN202011282968.XA CN202011282968A CN112508857B CN 112508857 B CN112508857 B CN 112508857B CN 202011282968 A CN202011282968 A CN 202011282968A CN 112508857 B CN112508857 B CN 112508857B
- Authority
- CN
- China
- Prior art keywords
- defect
- network
- batch
- classification
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进型Cascade R‑CNN的铝材表面缺陷检测方法,包括步骤:1)对铝材表面图片进行尺寸标准化,切割并分类;2)对图片集进行归一化和在线数据增强,并划分批次;3)将所有批次的图片使用改进型Cascade R‑CNN算法进行迭代训练;4)重复步骤2)至步骤3),迭代训练得到铝材表面缺陷检测模型;5)将待检测的铝材表面图片输入铝材表面缺陷检测模型,得到检测结果。本发明可有效降低光照、曝光和位移等条件对缺陷检测的影响,提高了检测稳定性,同时大幅提高了极端长宽比缺陷的检出率,降低了误检率。
Description
技术领域
本发明涉及铝材表面缺陷检测的技术领域,尤其是指一种基于改进型Cascade R-CNN的铝材表面缺陷检测方法。
背景技术
缺陷检测是生产流程中的重要一环,它保障了工业产品的可靠性。铝材的表面缺陷检测需要对表面上是否存在缺陷进行二分类,再对存在的缺陷位置进行精确定位,并对定位后的缺陷进行精准分类,是一个分类问题和目标检测问题的结合。在此之前,铝材的表面缺陷检测技术通常使用传统机器视觉技术,进行图片灰度二值化、边缘轮廓提取以及模板匹配等操作,此类的缺点是对图片的光照、位移等变化十分敏感,鲁棒性较差。此外,之前的一些基于深度学习的铝材表面缺陷检测方法没有专门为缺陷检测的特点进行设计,其漏检率和误检率都比较高,效果不佳。
深度学习中的目标检测由卷积神经网络作为特征提取器,其提取出来的特征图对光照、位移等变化不敏感,鲁棒性较好。由区域提议网络(Region Proposal Network)和分类回归网络组成了一个两阶段目标检测器,区域提议网络负责生成目标可能所在区域的建议,分类回归网络对建议的区域进行分类,并对标注框进行微调。网络的函数由分类损失和回归损失加权组成,并采用随机梯度下降法进行反向传播迭代。
现有的两阶段深度学习目标检测器精度较高,通用性也较好,但在铝材表面缺陷检测中仍然存在难以检测极端长宽比缺陷,不带缺陷的正常图片无法参与模型训练使得误检率较高等问题。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提出了一种基于改进型CascadeR-CNN的铝材表面缺陷检测方法,可有效降低光照、曝光和位移等条件对缺陷检测的影响,提高了检测稳定性。同时,设计的网络能对正常图像和缺陷图像进行训练,同时完成二分类和目标检测任务,极大地降低了误检率。此外,还加入了候选生成网络,提高了极端长宽比缺陷的检出率。在铝材表面缺陷检测上具有效率高、泛化性强、精度高、稳定性好等优点。
为实现上述目的,本发明所提供的技术方案为:基于改进型Cascade R-CNN的铝材表面缺陷检测方法,包括以下步骤:
1)对铝材表面图片集进行尺寸标准化操作,其中含有缺陷的图片有对应的缺陷标注文件,根据图片是否含有缺陷标注文件将图片集划分为正常图片集和缺陷图片集;
2)将步骤1)得到的图片集进行归一化和在线随机数据增强,包括上下左右随机翻转,并划分批次;
3)将步骤2)得到的每个批次的图片和标注,使用改进型Cascade R-CNN算法进行迭代训练,训练完所有批次后完成一个轮次的训练;
4)完成一个轮次的训练后,重复进行步骤2)至步骤3),直至达到设定的迭代轮次,把网络中的参数输出并保存,得到铝材表面缺陷检测模型;
5)将待检测的铝材表面图片输入铝材表面缺陷检测模型,即可输出待检测的铝材表面图片的缺陷位置和类别信息。
在步骤1)中,铝材表面图片集包括含缺陷的缺陷图片集X、不含缺陷的正常图片集Y及由每种纹理模板的样式示例图片组成的模板图片集Z;其中,缺陷图片集X含有标注,每一条缺陷的标注为一个矩形标注框,其格式为(name,category,xmin,ymin,xmax,ymax),name表示图片名称,category表示缺陷的种类,(xmin,ymin)表示矩形标注框左上角的横纵坐标,(xmax,ymax)表示矩形标注框右下角的横纵坐标,正常图片集Y和模板图片集Z都没有标注信息;对缺陷图片集X、正常图片集Y和模板图片集Z进行尺寸标准化,使所有图片均为H*W的RGB图片,H和W为图片的高和宽。
在步骤2)中,对图片集划分批次的规则为,每个批次包含n张图片,且同一批次的所有图片均来自缺陷图片集X或正常图片集Y,缺陷图片和正常图片在一个批次内不同时出现,并将分好的每个批次根据图片来源标记为缺陷批次和正常批次。
在步骤3)中,所述改进型Cascade-RCNN算法包括主干网络、候选生成网络、区域提议网络、分类回归网络四个部分,分别用来提取特征、生成候选框、候选框的前后景分类和微调以及候选框的最终分类和微调;其中,使用卷积神经网络ResNet-101和特征金字塔FPN作为主干网络,候选生成网络使用Light Guided Anchoring,区域提议网络使用稀疏目标区域提议网络,分类回归网络使用稀疏目标级联分类回归网络;
候选生成网络Light Guided Anchoring是Guided Anchoring上的改进,GuidedAnchoring由三个子模块构成,分别为形状预测模块、位置预测模块和特征调整模块,其中,形状预测模块和位置预测模块由两个并联的1*1卷积构成,输入为特征图FI,输出为分别是特征图上每个点的候选框形状Ishape和候选框出现概率Iloc;特征调整模块串联在形状预测模块之后,输入为特征图上每个点的候选框形状Ishape和原始特征图FI,它首先将Ishape输入一个1*1卷积,得到一个特征调整偏移量offset,再将特征调整偏移量offset和特征图FI输入一个3*3可形变卷积进行特征调整,得到输出特征图Fo;Light Guided Anchoring为分别训练正常批次和缺陷批次设计了两个通道,分别为缺陷批次通道和正常批次通道;当输入批次为缺陷批次时,将图片输入缺陷批次通道,缺陷批次通道包含了形状预测模块、位置预测模块和特征调整模块;当输入批次为正常批次时,将图片输入正常批次通道,正常批次通道仅包含了位置预测模块,输出为候选框形状Ishape,候选框出现概率Iloc=0,输出特征图Fo=FI,且两个通道的位置预测模块共享所有参数;
稀疏目标区域提议网络是区域提议网络上的改进,区域提议网络包括一个3*3卷积串联着2个并联的1*1卷积,分别为区域提议网络的分类层和回归层,输入为候选生成网络的输出特征图Fo、候选框形状Ishape和候选框出现概率Iloc;稀疏目标区域提议网络为分别训练正常批次和缺陷批次设计了两个通道,分别为缺陷批次通道和正常批次通道;输入的特征图首先经过3*3卷积,在此之后,当输入批次为缺陷批次时,将图片输入缺陷批次通道,缺陷批次通道包含了分类层和回归层;当输入批次为正常批次时,将图片输入正常批次通道,正常批次通道仅包含了分类层,且两个通道的位置预测模块共享所有参数;稀疏目标区域提议网络的输出为产生的所有候选框B0;
稀疏目标级联分类回归网络是级联分类回归网络上的改进,级联分类回归网络是由三个相同结构的分类归回归网络N1、N2、N3串联而成;每个分类回归网络由RoIAlign、全连接层、分类层和回归层组成;三个分类归回归网络N1、N2、N3的区别在于,每个网络设定的区分前景和背景的阈值不同,该阈值表示候选框与矩形标注框的交并比IoU,计算公式为:
其中,bbox为候选框,gt为矩形标注框;分类回归网络N1的输入为特征图Fo和候选框B0,输出为候选框B1和它的分类结果与置信度;分类回归网络N2的输入为特征图Fo和候选框B1,输出为候选框B2和它的分类结果与置信度;分类回归网络N3的输入为特征图Fo和候选框B2,输出为预测框B3和它的分类结果与置信度;稀疏目标级联分类回归网络调整了级联分类网络的训练方式,当输入为缺陷批次时,网络正常训练;当输入为正常批次时,分类归回归网络N1、N2、N3的回归层参数固定,不进行更新,且分类归回归网络N1、N2、N3的训练速率乘以系数r,r<1;稀疏目标级联分类归回网络的输出为预测框B3和它的分类结果cls与置信度score;
所述步骤3)包括以下步骤:
3.1)将步骤2)中得到的一个批次输入主干网络,即卷积神经网络ResNet-101和特征金字塔FPN,提取特征,输出特征图FI;
3.2)将步骤3.1)中得到的特征图FI输入候选生成网络Light Guided Anchoring,根据批次选择对应的通道进行训练,输出特征图Fo、候选框形状Ishape和候选框出现概率Iloc;
3.3)将步骤3.2)得到的特征图Fo、候选框形状Ishape和候选框出现概率Iloc输入稀疏目标区域提议网络,根据批次选择对应的通道进行训练,得到候选框B0;
3.4)将步骤3.3)中得到的候选框B0和步骤3.2)中得到的特征图Fo输入稀疏目标级联分类回归网络,根据批次选择对应的训练方法,输出预测框B3和它的分类结果cls与置信度score。
在步骤5),进行如下检测过程:
5.1)对于一张待检测的铝材表面图片,使用步骤4)得到的铝材表面缺陷检测模型在待检测图片上进行检测,再将结果映射回原图的区域上,得到每一条缺陷的标注格式为(B3,cls,score),cls表示预测的缺陷类别,B3表示缺陷的预测框,score表示缺陷判断的置信度,置信度取值为(0,1)之间;
5.2)对步骤5.1)中得到的缺陷进行过滤,对于每一条缺陷,若它的置信度score大于设定阈值t,则予以保留,否则删除;
5.3)对5.2)中得到的待检测的铝材表面图片上的结果,若不存在缺陷,则判断铝材表面图片没有缺陷;若存在缺陷,则输出铝材表面图片的缺陷位置和类别信息。
本发明与现有技术相比,具有如下优点与有益效果:
1、本发明方法采用深度学习目标检测作为整体检测框架,降低了环境光照、相机曝光以及位移导致的算法质量下降问题,提高了算法对于铝材表面缺陷检测的稳定性。
2、本发明方法提出了一种改进的候选生成网络Light Guided Anchoring,通过自东学习的方法对候选框的尺寸进行了预设,相比于传统的固定候选框的方法,该方法能极大提高极端长宽比缺陷的检出率;同时通过双通道的设计,避免了正常图片训练时对候选生成网络产生负面的影响,提高了算法的总体缺陷检出率。
3、本发明方法提出了稀疏目标区域提议网络,使得正常图片和缺陷图片可以同时参与模型的训练过程,通过削减正常图片的训练步骤提高了训练效率,同时也使得算法的稳定性更好,大幅降低了正常图片的误检率。
4、稀疏目标级联分类回归网络,使得正常图片在训练过程不影响回归层的参数,且由于图片集中的不平衡性普遍存在,通过增加权重可以保正正常图片的训练不过度干扰缺陷图片的训练过程,缓解因图片样本不平衡产生的精度损失,增加模型的稳定性。
附图说明
图1是本发明方法的训练流程图。
图2是本发明方法的缺陷检测流程图。
图3是本发明方法中候选生成网络Light Guided Anchoring的结构示意图。
图4是本发明方法中稀疏目标区域提议网络的结构示意图。
图5是本发明方法中稀疏目标级联分类回归网络的结构示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
实例采用真实采集的铝材表面图片数据,其中包括不导电、擦花、桔皮、脏点等10种缺陷,若干的正常图片和带标注的缺陷图片,图片尺寸为2560*1920。
如图1和图2所示,本实施例所提供的基于改进型Cascade R-CNN的铝材表面缺陷检测方法,包括以下步骤:
1)对铝材表面图片集进行尺寸标准化操作,对所有图片尺寸统一缩放到1280*960。其中含有缺陷的图片有对应的缺陷标注文件,根据图片是否含有缺陷标注文件将图片集划分为正常图片集和缺陷图片集。
铝材表面图片集包括含缺陷的缺陷图片集X、不含缺陷的正常图片集Y和每种纹理模板的样式示例图片组成的模板图片集Z,其中,缺陷图片集X含有标注,每一条缺陷的标注为一个矩形标注框,其格式为(name,category,xmin,ymin,xmax,ymax),其中name表示图片名称,category表示缺陷的种类,(xmin,ymin)表示矩形标注框左上角的横纵坐标,(xmax,ymax)表示矩形标注框右下角的横纵坐标,图片集Y和Z都没有标注信息;对三个图片集进行尺寸标准化,使所有图片均为1280*960的RGB图片;
2)将步骤1)得到的图片集进行归一化和在线随机数据增强,包括上下左右随机翻转,并划分批次。对图片集划分批次的规则为,每个批次包含n张图片,且同一批次的所有图片均来自缺陷图片集X或正常图片集Y,缺陷图片和正常图片在一个批次内不同时出现,并将分好的每个批次根据图片来源标记为缺陷批次和正常批次,本案例中设置单批次数目n=2。
3)将步骤2)得到的每个批次的图片和标注,使用改进型Cascade-RCNN算法进行迭代训练,训练完所有批次后完成一个轮次的训练。
所述改进型Cascade-RCNN算法包括主干网络、候选生成网络、区域提议网络、分类回归网络四个部分,分别用来提取特征,生成候选框,候选框的前后景分类和微调以及候选框的最终分类和微调;其中,使用卷积神经网络ResNet-101和特征金字塔FPN作为主干网络,候选生成网络使用Light Guided Anchoring,区域提议网络使用稀疏目标区域提议网络,分类回归网络使用稀疏目标级联分类回归网络。
候选生成网络Light Guided Anchoring是Guided Anchoring上的改进,其结构如图3所示。Guided Anchoring由三个子模块构成,分别为形状预测模块、位置预测模块和特征调整模块,其中形状预测模块和位置预测模块由两个并联的1*1卷积构成,输入为特征图FI,输出为分别为特征图上每个点的候选框形状Ishape和候选框出现概率Iloc;特征调整模块串联在形状预测模块之后,输入为特征图上每个点的候选框形状Ishape和原始特征图FI,它首先将Ishape输入一个1*1卷积,得到一个特征调整偏移量offset,再将特征调整偏移量offset和特征图FI输入一个3*3可形变卷积进行特征调整,得到输出特征图Fo。LightGuided Anchoring算法为分别训练正常批次和缺陷批次设计了两个通道,分别为缺陷批次通道和正常批次通道。当输入批次为缺陷批次时,将图片输入缺陷批次通道,缺陷批次通道包含了形状预测模块、位置预测模块和特征调整模块;当输入批次为正常批次时,将图片输入正常批次通道,正常批次通道仅包含了位置预测模块,输出为候选框形状Ishape,候选框出现概率Iloc=0,输出特征图Fo=FI,且两个通道的位置预测模块共享所有参数。
稀疏目标区域提议网络是区域提议网络上的改进,其结构如图4所示,区域提议网络包括一个3*3卷积串联着2个并联的1*1卷积,分别为区域提议网络的分类层和回归层,输入为候选生成网络的输出特征图Fo,候选框形状Ishape和候选框出现概率Iloc。稀疏目标区域提议网络算法为分别训练正常批次和缺陷批次设计了两个通道,分别为缺陷批次通道和正常批次通道。输入的特征图首先经过3*3卷积,在此之后,当输入批次为缺陷批次时,将图片输入缺陷批次通道,缺陷批次通道包含了分类层和回归层;当输入批次为正常批次时,将图片输入正常批次通道,正常批次通道仅包含了分类层,且两个通道的位置预测模块共享所有参数。稀疏目标区域提议网络的输出为产生的所有候选框B0。
稀疏目标级联分类回归网络是级联分类回归网络上的改进,其结构如图5所示,级联分类回归网络的由三个相同结构的分类归回归网络N1,N2,N3串联而成,每个分类回归网络由RoIAlign、全连接层、分类层和回归层组成。分类归回归网络N1,N2,N3的区别在于,每个网络设定的区分前景和背景的阈值不同,该阈值表示候选框与矩形标注框的交并比IoU,计算公式为:
其中,bbox为候选框,gt为矩形标注框,本案例中N1,N2,N3的阈值分别为0.5、0.6、0.7。分类回归网络N1的输入为特征图Fo和候选框B0,输出为候选框B1和它的分类结果与置信度;分类回归网络N2的输入为特征图Fo和候选框B1,输出为候选框B2和它的分类结果与置信度;分类回归网络N3的输入为特征图Fo和候选框B2,输出为预测框B3和它的分类结果与置信度。稀疏目标级联分类回归网络调整了级联分类网络的训练方式,当输入为缺陷批次时,网络正常训练;当输入为正常批次时,N1,N2,N3的回归层参数固定,不进行更新,且N1,N2,N3的训练速率乘以系数r(r<1)。稀疏目标级联分类归回网络的输出为预测框B3和它的分类结果cls与置信度score。
3.1)将步骤2)中得到的一个批次输入主干网络ResNet-101+FPN提取特征,输出特征图FI。
3.2)将步骤3.1)中得到的特征图输入候选生成网络Light Guided Anchoring,根据批次选择对应的通道进行训练,输出特征图Fo,候选框形状Ishape和候选框出现概率Iloc。
3.3)将步骤3.2)得到的特征图Fo,候选框形状Ishape和候选框出现概率Iloc输入稀疏目标区域提议网络,根据批次选择对应的通道进行训练,得到候选框B0。
3.4)将步骤3.3)中得到的候选框B0和步骤3.2)中得到的特征图Fo输入稀疏目标级联分类回归网络,根据批次选择对应的训练方法,输出预测框B3和它的分类结果cls与置信度score。
4)完成一个轮次的训练后,重复进行步骤2)至步骤3),直至达到设定的迭代轮次,把网络中的参数输出并保存,得到铝材表面缺陷检测模型,本案例中设定迭代轮次为15。
5)将待检测的铝材表面图片输入步骤4)中得到的铝材表面缺陷检测模型,即可输出待检测铝材图片的缺陷位置和类别信息。
5.1)对于一张待检测的铝材表面图片,使用步骤4)得到的铝材表面缺陷检测模型在待检测图片上进行检测,再将结果映射回原图的区域上,得到每一条缺陷的标注格式为(B3,cls,score),cls表示预测的缺陷类别,B3表示缺陷的预测框,score表示缺陷判断的置信度,置信度取值为(0,1)之间;
5.2)对步骤5.1)中得到的缺陷进行过滤,对于每一条缺陷,若它的置信度score大于设定阈值t,则予以保留,否则删除,本案例中使用的置信度阈值t=0.05。
5.3)对5.2)中得到的待检测的铝材表面图片上的结果,若不存在缺陷,则判断铝材表面图片没有缺陷;若存在缺陷,则输出铝材表面图片的缺陷位置和类别信息。
将本发明提出的改进型Cascade R-CNN算法与原Cascade R-CNN算法的实施结果进行比较,得到两种算法的分类准确率和平均定位精准度如下表所示。
算法 | 分类准确率 | 平均定位精准度 |
Cascade R-CNN | 79.63% | 69.64% |
改进型Cascade R-CNN | 98.40% | 82.16% |
可以看出在分类准确率和平均定位精度上,本发明提出的改进型Cascade R-CNN算法更有显著的提升,值得推广。
上述实施例为本发明效果较好的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (4)
1.基于改进型Cascade R-CNN的铝材表面缺陷检测方法,其特征在于,包括以下步骤:
1)对铝材表面图片集进行尺寸标准化操作,其中含有缺陷的图片有对应的缺陷标注文件,根据图片是否含有缺陷标注文件将图片集划分为正常图片集和缺陷图片集;
2)将步骤1)得到的图片集进行归一化和在线随机数据增强,包括上下左右随机翻转,并划分批次;
3)将步骤2)得到的每个批次的图片和标注,使用改进型Cascade R-CNN算法进行迭代训练,训练完所有批次后完成一个轮次的训练;
所述改进型Cascade R-CNN 算法包括主干网络、候选生成网络、区域提议网络、分类回归网络四个部分,分别用来提取特征、生成候选框、候选框的前后景分类和微调以及候选框的最终分类和微调;其中,使用卷积神经网络ResNet-101和特征金字塔FPN作为主干网络,候选生成网络使用Light Guided Anchoring,区域提议网络使用稀疏目标区域提议网络,分类回归网络使用稀疏目标级联分类回归网络;
候选生成网络Light Guided Anchoring是Guided Anchoring上的改进,GuidedAnchoring由三个子模块构成,分别为形状预测模块、位置预测模块和特征调整模块,其中,形状预测模块和位置预测模块由两个并联的1*1卷积构成,输入为特征图FI,输出为分别是特征图上每个点的候选框形状Ishape和候选框出现概率Iloc;特征调整模块串联在形状预测模块之后,输入为特征图上每个点的候选框形状Ishape和原始特征图FI,它首先将Ishape输入一个1*1卷积,得到一个特征调整偏移量offset,再将特征调整偏移量offset和特征图FI输入一个3*3可形变卷积进行特征调整,得到输出特征图Fo;Light Guided Anchoring为分别训练正常批次和缺陷批次设计了两个通道,分别为缺陷批次通道和正常批次通道;当输入批次为缺陷批次时,将图片输入缺陷批次通道,缺陷批次通道包含了形状预测模块、位置预测模块和特征调整模块;当输入批次为正常批次时,将图片输入正常批次通道,正常批次通道仅包含了位置预测模块,输出为候选框形状Ishape,候选框出现概率Iloc=0,输出特征图Fo=FI,且两个通道的位置预测模块共享所有参数;
稀疏目标区域提议网络是区域提议网络上的改进,区域提议网络包括一个3*3卷积串联着2个并联的1*1卷积,分别为区域提议网络的分类层和回归层,输入为候选生成网络的输出特征图Fo、候选框形状Ishape和候选框出现概率Iloc;稀疏目标区域提议网络为分别训练正常批次和缺陷批次设计了两个通道,分别为缺陷批次通道和正常批次通道;输入的特征图首先经过3*3卷积,在此之后,当输入批次为缺陷批次时,将图片输入缺陷批次通道,缺陷批次通道包含了分类层和回归层;当输入批次为正常批次时,将图片输入正常批次通道,正常批次通道仅包含了分类层,且两个通道的位置预测模块共享所有参数;稀疏目标区域提议网络的输出为产生的所有候选框B0;
稀疏目标级联分类回归网络是级联分类回归网络上的改进,级联分类回归网络是由三个相同结构的分类归回归网络N1、N2、N3串联而成;每个分类回归网络由RoIAlign、全连接层、分类层和回归层组成;三个分类归回归网络N1、N2、N3的区别在于,每个网络设定的区分前景和背景的阈值不同,该阈值表示候选框与矩形标注框的交并比IoU,计算公式为:
其中,bbox为候选框,gt为矩形标注框;分类回归网络N1的输入为特征图Fo和候选框B0,输出为候选框B1和它的分类结果与置信度;分类回归网络N2的输入为特征图Fo和候选框B1,输出为候选框B2和它的分类结果与置信度;分类回归网络N3的输入为特征图Fo和候选框B2,输出为预测框B3和它的分类结果与置信度;稀疏目标级联分类回归网络调整了级联分类网络的训练方式,当输入为缺陷批次时,网络正常训练;当输入为正常批次时,分类归回归网络N1、N2、N3的回归层参数固定,不进行更新,且分类归回归网络N1、N2、N3的训练速率乘以系数r,r<1;稀疏目标级联分类归回网络的输出为预测框B3和它的分类结果cls与置信度score;
所述步骤3)包括以下步骤:
3.1)将步骤2)中得到的一个批次输入主干网络,即卷积神经网络ResNet-101和特征金字塔FPN,提取特征,输出特征图FI;
3.2)将步骤3.1)中得到的特征图FI输入候选生成网络Light Guided Anchoring,根据批次选择对应的通道进行训练,输出特征图Fo、候选框形状Ishape和候选框出现概率Iloc;
3.3)将步骤3.2)得到的特征图Fo、候选框形状Ishape和候选框出现概率Iloc输入稀疏目标区域提议网络,根据批次选择对应的通道进行训练,得到候选框B0;
3.4)将步骤3.3)中得到的候选框B0和步骤3.2)中得到的特征图Fo输入稀疏目标级联分类回归网络,根据批次选择对应的训练方法,输出预测框B3和它的分类结果cls与置信度score;
4)完成一个轮次的训练后,重复进行步骤2)至步骤3),直至达到设定的迭代轮次,把网络中的参数输出并保存,得到铝材表面缺陷检测模型;
5)将待检测的铝材表面图片输入铝材表面缺陷检测模型,即可输出待检测的铝材表面图片的缺陷位置和类别信息。
2.根据权利要求1所述的基于改进型Cascade R-CNN的铝材表面缺陷检测方法,其特征在于:在步骤1)中,铝材表面图片集包括含缺陷的缺陷图片集X、不含缺陷的正常图片集Y及由每种纹理模板的样式示例图片组成的模板图片集Z;其中,缺陷图片集X含有标注,每一条缺陷的标注为一个矩形标注框,其格式为(name,category,xmin,ymin,xmax,ymax),name表示图片名称,category表示缺陷的种类,(xmin,ymin)表示矩形标注框左上角的横纵坐标,(xmax,ymax)表示矩形标注框右下角的横纵坐标,正常图片集Y和模板图片集Z都没有标注信息;对缺陷图片集X、正常图片集Y和模板图片集Z进行尺寸标准化,使所有图片均为H*W的RGB图片,H和W为图片的高和宽。
3.根据权利要求1所述的基于改进型Cascade R-CNN的铝材表面缺陷检测方法,其特征在于:在步骤2)中,对图片集划分批次的规则为,每个批次包含n张图片,且同一批次的所有图片均来自缺陷图片集X或正常图片集Y,缺陷图片和正常图片在一个批次内不同时出现,并将分好的每个批次根据图片来源标记为缺陷批次和正常批次。
4.根据权利要求1所述的基于改进型Cascade R-CNN的铝材表面缺陷检测方法,其特征在于:在步骤5),进行如下检测过程:
5.1)对于一张待检测的铝材表面图片,使用步骤4)得到的铝材表面缺陷检测模型在待检测图片上进行检测,再将结果映射回原图的区域上,得到每一条缺陷的标注格式为(B3,cls,score),cls表示预测的缺陷类别,B3表示缺陷的预测框,score表示缺陷判断的置信度,置信度取值为(0,1)之间;
5.2)对步骤5.1)中得到的缺陷进行过滤,对于每一条缺陷,若它的置信度score大于设定阈值t,则予以保留,否则删除;
5.3)对5.2)中得到的待检测的铝材表面图片上的结果,若不存在缺陷,则判断铝材表面图片没有缺陷;若存在缺陷,则输出铝材表面图片的缺陷位置和类别信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011282968.XA CN112508857B (zh) | 2020-11-17 | 2020-11-17 | 基于改进型Cascade R-CNN的铝材表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011282968.XA CN112508857B (zh) | 2020-11-17 | 2020-11-17 | 基于改进型Cascade R-CNN的铝材表面缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112508857A CN112508857A (zh) | 2021-03-16 |
CN112508857B true CN112508857B (zh) | 2022-04-22 |
Family
ID=74956404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011282968.XA Active CN112508857B (zh) | 2020-11-17 | 2020-11-17 | 基于改进型Cascade R-CNN的铝材表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112508857B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113020428B (zh) * | 2021-03-24 | 2022-06-28 | 北京理工大学 | 级进模的加工监控方法、装置、设备及存储介质 |
CN113205136A (zh) * | 2021-04-30 | 2021-08-03 | 浙大城市学院 | 一种用于电源适配器外观缺陷的实时高精度检测方法 |
CN113269739B (zh) * | 2021-05-19 | 2024-02-27 | 绍兴文理学院 | 一种木材节子缺陷定量检测方法 |
CN117007611B (zh) * | 2023-09-28 | 2024-01-09 | 杭州百子尖科技股份有限公司 | 片状材料的周期性缺陷检测方法、装置、设备以及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109711474A (zh) * | 2018-12-24 | 2019-05-03 | 中山大学 | 一种基于深度学习的铝材表面缺陷检测算法 |
CN111161243A (zh) * | 2019-12-30 | 2020-05-15 | 华南理工大学 | 基于样本增强的工业产品表面缺陷检测方法 |
CN111161260A (zh) * | 2020-01-02 | 2020-05-15 | 中冶赛迪重庆信息技术有限公司 | 一种基于深度学习的热轧带钢表面缺陷检测方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276754B (zh) * | 2019-06-21 | 2021-08-20 | 厦门大学 | 一种表面缺陷检测方法、终端设备及存储介质 |
CN111161244B (zh) * | 2019-12-30 | 2021-12-21 | 华南理工大学 | 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法 |
CN111402226A (zh) * | 2020-03-13 | 2020-07-10 | 浙江工业大学 | 一种基于级联卷积神经网络的表面疵点检测方法 |
-
2020
- 2020-11-17 CN CN202011282968.XA patent/CN112508857B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109711474A (zh) * | 2018-12-24 | 2019-05-03 | 中山大学 | 一种基于深度学习的铝材表面缺陷检测算法 |
CN111161243A (zh) * | 2019-12-30 | 2020-05-15 | 华南理工大学 | 基于样本增强的工业产品表面缺陷检测方法 |
CN111161260A (zh) * | 2020-01-02 | 2020-05-15 | 中冶赛迪重庆信息技术有限公司 | 一种基于深度学习的热轧带钢表面缺陷检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
井下行人检测的改进Cascade R-CNN算法;袁海娣 等;《齐鲁工业大学学报》;20200630;第34卷(第3期);第68-73页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112508857A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111161243B (zh) | 基于样本增强的工业产品表面缺陷检测方法 | |
CN112508857B (zh) | 基于改进型Cascade R-CNN的铝材表面缺陷检测方法 | |
CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
CN115082683B (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
CN109255344B (zh) | 一种基于机器视觉的数显式仪表定位与读数识别方法 | |
CN109829914B (zh) | 检测产品缺陷的方法和装置 | |
CN109377485B (zh) | 一种方便面包装缺陷机器视觉检测方法 | |
CN115082419B (zh) | 一种吹塑箱包生产缺陷检测方法 | |
CN107316036B (zh) | 一种基于级联分类器的害虫识别方法 | |
CN111753828B (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN108334881B (zh) | 一种基于深度学习的车牌识别方法 | |
CN115018828A (zh) | 一种电子元器件的缺陷检测方法 | |
CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
CN111666938A (zh) | 一种基于深度学习的两地双车牌检测识别方法及*** | |
CN114972356B (zh) | 塑料制品表面缺陷检测识别方法及*** | |
CN110598698B (zh) | 基于自适应区域建议网络的自然场景文本检测方法和*** | |
CN113221956B (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
CN113379703A (zh) | 基于Yolo-v4网络结构光伏面板暗斑缺陷检测方法 | |
CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和*** | |
CN111259893A (zh) | 一种基于深度学习的智能工具管理方法 | |
CN115082776A (zh) | 一种基于图像识别的电能表自动检测***及方法 | |
CN111340032A (zh) | 一种基于金融领域应用场景的字符识别方法 | |
CN112884741B (zh) | 一种基于图像相似性对比的印刷表观缺陷检测方法 | |
CN111738237B (zh) | 一种基于异构卷积的多核迭代rpn的目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |