CN112633327A - 分阶段金属表面缺陷检测方法、***、介质、设备及应用 - Google Patents

分阶段金属表面缺陷检测方法、***、介质、设备及应用 Download PDF

Info

Publication number
CN112633327A
CN112633327A CN202011395512.4A CN202011395512A CN112633327A CN 112633327 A CN112633327 A CN 112633327A CN 202011395512 A CN202011395512 A CN 202011395512A CN 112633327 A CN112633327 A CN 112633327A
Authority
CN
China
Prior art keywords
defect
layer
areas
training
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011395512.4A
Other languages
English (en)
Other versions
CN112633327B (zh
Inventor
张建龙
刘池帅
崔梦莹
王斌
李桥
何建辉
郭鑫宇
时国强
方光祖
余鑫城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202011395512.4A priority Critical patent/CN112633327B/zh
Publication of CN112633327A publication Critical patent/CN112633327A/zh
Application granted granted Critical
Publication of CN112633327B publication Critical patent/CN112633327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于金属缺陷检测技术领域,公开了一种分阶段金属表面缺陷检测方法、***、介质、设备及应用,利用VGG预训练模型提取图像第k‑1和第k层特征;取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T;用n*n的滑动窗口取出所有训练样本第k‑1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集;将特征向量送入SVM,训练得到分类器。本发明规避了人工设计特征不鲁棒且耗时的难点;同时利用深层丰富的语义特征进行粗定位,利用浅层丰富的位置特征精细定位,在保证精度的情况下提高了检测效率。

Description

分阶段金属表面缺陷检测方法、***、介质、设备及应用
技术领域
本发明属于金属缺陷检测技术领域,尤其涉及一种分阶段金属表面缺陷检测方法、***、介质、设备及应用。
背景技术
目前:我国是一个钢铁生产大国,在需求量逐步扩张的同时,其质量也越来越受到人们的重视。由于受生产设备、钢板来料、加工工艺、人工技术和外部环境等因素的影响,钢板表面易出现缺陷,影响板材的外观、抗腐蚀性、抗磨性、疲劳极限等性能,甚至影响板材的正常使用。主要有以下缺陷类型(1)表面夹杂,钢板压入异物,一般分为金属夹杂、非金属夹杂和混合夹杂,特点是金属表面出现点状、片状、或条状组织,位置和颜色没有特定的规律。(2)气泡,金属表面出现的大小不一的圆形鼓包,开裂后会留下不规则空隙,影响美观。(3)裂纹,金属表面形成深度、长度、宽度、形状不同的裂缝,边缘处有严重的脱碳现象和部分夹杂,严重破坏金属的物理特性,甚至可能引发严重的安全事故。
在工业生产的早期,对产品的要求不是很高,一般采用人工目测的方法。由于人工抽检方法的检测速度和检测范围十分有限,而且受人的主观影响较大,没有确定的标准,所以在该方法已经逐步被取代。随着机器视觉的逐步发展,基于视觉的解决方案也越来越多,主要分为(1)基于人工特征的传统图像方法,其代表算法为2005年Dalal提出的HOG(Histogram ofOriented Gradients)特征+SVM(Support VectorMachine)的检测方法,该方法最初被广泛应用到行人检测上。之后研究者又提出改进版的HOG特征以及其它人工特征,如LBP纹理特征等,使得该算法可以根据场景调整相应的特征提取方法,泛化能力得到一定的增强。但仍需要研究人员花费大量的精力去寻找合适的特征提取方式。(2)相较于手工提取特征描述子的计算机视觉算法,基于卷积神经网络的目标检测算法无疑有着更好的效果。例如比较成熟的单阶段目标检测网络YOLOv3,两阶段目标检测网络faster-rcnn等等。但是基于卷积神经网络的目标检测网络普遍需要大量的训练数据,在小数据集下很容易出现过拟合现象。但工业场景中的缺陷往往出现概率低、采集成本高,很难收集到大量的缺陷数据。
通过上述分析,现有技术存在的问题及缺陷为:
(1)现有人工抽检方式效率太低,且容易被人的主观因素所影响,造成误检。
(2)传统设计特征的方式的局限性太大,往往和具体的场景有关,需要研究人员花费大量的精力去调试并不断优化,泛化能力弱,导致大量的误检。
(3)现有深度学习的目标检测方法需要大量的样本数据,基于目前的数据训练,造成了过拟合现象,验证数据集上的性能较差,且深度学习的硬件成本高,运行效率不高。
解决以上问题及缺陷的难度为:如何选择合适特征提取方式,以及如何提高检测效率。
解决以上问题及缺陷的意义为:金属缺陷检测能大大提高钢材或其他金属原件的良品产出率,并节约大量的人工成本,推动金属制造领域的进步。
发明内容
针对现有技术存在的问题,本发明提供了一种分阶段金属表面缺陷检测方法、***、介质、设备及应用。
本发明是这样实现的,一种分阶段金属表面缺陷检测方法,所述分阶段金属表面缺陷检测方法包括:
利用VGG预训练模型提取图像第k-1和第k层特征;
取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T;
用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集;
将特征向量送入SVM,训练得到分类器。
进一步,所述取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T具体包括:利用VGG网络提取数据集中每一幅图像的第k-1层的深度特征记为Fk-1和第k层的深度特征记为Fk;采用VGG16网络结构,只保留特征提取部分;整个网络由13个卷积层与5个池化层组成,每经过一个池化层特征图尺寸缩小至上一层的1/4,层数越深语义特征越丰富,层数越浅位置信息越丰富;使用来自于Imagenet的VGG预训练模型来提取特征,令k=3。
进一步,Fk-1与Fk均为三维矩阵,对每个通道求和得到二维矩阵分别记为F’k-1与F’k;转换公式如下:
Figure BDA0002814566900000031
其中,N为第k-1层的特征通道数,M为第k层的特征通道数,x,y分别为特征图前两个维度的索引。
进一步,所述取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T,在F’k上提取训练集中所有缺陷区域的局部特征图,求得所有局部特征图中的最小特征值,即为阈值T;
1)用[(x1,y1),(x2,y2)]表示缺陷在原图中的左上角和右下角坐标,特征图中缺陷位置用[(x1',y1'),(x2',y2')]表示,有如下的对应关系:
n'=[n/2^k] n∈[x1,y1,x2,y2];
k表示选择的特征层数,[]表示向下取整。
2)将每个缺陷位置在特征图中的最小值存入集合S,最终集合S中的最小值记为阈值T。
进一步,所述用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集具体包括:在F’k-1上提取训练集中所有缺陷区域的局部特征图,组成正样本,提取部分背景区域的局部特征图,组成负样本,送入SVM得到检测器;
1)选取n*n的滑动窗口s1,在原图上滑动,滑动步长为n/2,若s1与缺陷位置的IOU大于0.7,则认为该滑窗为正样例;若IOU值小于0.3,则认为该滑窗为负样例。两个区域IOU的定义如下:
Figure BDA0002814566900000041
2)找出样例在F’k-1中的特征图,并按行扩展为一维向量,从负样本集中随机抽样出和正样本集一样数量的样例构成新的负样本集,将新的负样本集和正样本集送入SVM训练得到分类器模型;
3)训练器的参数设置:
核函数kernel:线性核
惩罚项C:1.7
滑动窗口大小:32
滑动步长:16。
进一步,所述分阶段金属表面缺陷检测方法还包括:测试阶段,重复利用VGG网络提取数据集中每一幅图像的第k-1层的深度特征记为Fk-1和第k层的深度特征记为Fk和Fk-1与Fk均为三维矩阵,对每个通道求和得到二维矩阵分别是第k-1层的特征F’k-1和第k层的特征F’k;定义和第k层同样大小的二维矩阵为D,矩阵D反应了该样本的显著性区域:
Figure BDA0002814566900000051
D的显著性区域映射到第k-1层特征上的区域D’,在特征图F’k-1的D’区域内,利用n*n的滑动窗口取出特征,扩展为一维向量,送入训练的SVM判别器中,判定该滑窗是否存在缺陷;将所有存在缺陷的滑窗标记出来,重叠区域过多的区域可以合并,完成金属缺陷检测任务。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
利用VGG预训练模型提取图像第k-1和第k层特征;
取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T;
用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集;
将特征向量送入SVM,训练得到分类器。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
利用VGG预训练模型提取图像第k-1和第k层特征;
取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T;
用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集;
将特征向量送入SVM,训练得到分类器。
本发明的另一目的在于提供一种金属缺陷检测信息数据处理终端,所述金属缺陷检测信息数据处理终端用于实现所述的分阶段金属表面缺陷检测方法。
本发明的另一目的在于提供一种实施所述分阶段金属表面缺陷检测方法的分阶段金属表面缺陷检测***,所述分阶段金属表面缺陷检测***包括:
图像特征提取模块,用于利用VGG预训练模型提取图像第k-1和第k层特征;
缺陷区域提取模块,用于取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T;
样本集形成模块,用于使用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集;
分类器获取模块,用于将特征向量送入SVM,训练得到分类器。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明基于VGG深度特征及SVM的分阶段金属表面缺陷检测方法,用于解决现有的缺陷检测方法中特征选择困难的问题。本发明采用VGG预训练模型提取目标的深度特征,规避了人工设计特征不鲁棒且耗时的难点;同时利用深层丰富的语义特征进行粗定位,利用浅层丰富的位置特征精细定位,在保证精度的情况下提高了检测效率。引入机器学习中的SVM算法对输入的特征进行分类,在小样本的情况下比神经网络有更强的鲁棒性。
与现有的技术相比,本发明具有如下优点:
(1)本发明引入VGG网络提取目标深度特征,不需要人工设计特征。
(2)本发明采用基于结构风险最小化理论的SVM作为缺陷分类器,准确的对输入的特征向量分类,提高模型的检测精度,减小了过拟合风险。
(3)本发明利用深层特征粗定位和浅层特征精细定位的分阶段检测方法,提高了检测效率。
表1本发明的方法与现有技术的对比:
Figure BDA0002814566900000061
Figure BDA0002814566900000071
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的分阶段金属表面缺陷检测方法流程图。
图2是本发明实施例提供的分阶段金属表面缺陷检测***的结构示意图;
图2中:1、图像特征提取模块;2、缺陷区域提取模块;3、样本集形成模块;4、分类器获取模块。
图3是本发明实施例提供的分阶段金属表面缺陷检测方法的实现流程图。
图4是本发明实施例提供的VGG特征提取结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种分阶段金属表面缺陷检测方法、***、介质、设备及应用,下面结合附图对本发明作详细的描述。
如图1所示,本发明提供的分阶段金属表面缺陷检测方法包括以下步骤:
S101:利用VGG预训练模型提取图像第k-1和第k层特征;
S102:取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T;
S103:用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集;
S104:将特征向量送入SVM,训练得到分类器。
本发明提供的分阶段金属表面缺陷检测方法业内的普通技术人员还可以采用其他的步骤实施,图1的本发明提供的分阶段金属表面缺陷检测方法仅仅是一个具体实施例而已。
如图2所示,本发明提供的分阶段金属表面缺陷检测***包括:
图像特征提取模块1,用于利用VGG预训练模型提取图像第k-1和第k层特征;
缺陷区域提取模块2,用于取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T;
样本集形成模块3,用于使用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集;
分类器获取模块4,用于将特征向量送入SVM,训练得到分类器。
下面结合附图对本发明的技术方案作进一步的描述。
如图3所示,本发明实施例提供的分阶段金属表面缺陷检测方法包括以下步骤:具体包括以下步骤:
步骤一,获取一定数量的表面存在缺陷的金属图像数据。
步骤二,利用VGG网络提取数据集中每一幅图像的第k-1层的深度特征记为Fk-1和第k层的深度特征记为Fk;采用VGG16网络结构,只保留特征提取部分,如图4所示。整个网络由13个卷积层与5个池化层组成,每经过一个池化层特征图尺寸缩小至上一层的1/4,层数越深语义特征越丰富,层数越浅位置信息越丰富。本发明中使用来自于Imagenet的VGG预训练模型来提取特征,令k=3。
步骤三,Fk-1与Fk均为三维矩阵,对每个通道求和得到二维矩阵分别记为F’k-1与F’k;转换公式如下:
Figure BDA0002814566900000091
其中,N为第k-1层的特征通道数,M为第k层的特征通道数,x,y分别为特征图前两个维度的索引。
步骤四,在F’k上提取训练集中所有缺陷区域的局部特征图,求得所有局部特征图中的最小特征值,即为阈值T;
1)用[(x1,y1),(x2,y2)]表示缺陷在原图中的左上角和右下角坐标,特征图中缺陷位置用[(x1',y1'),(x2',y2')]表示,有如下的对应关系:
n'=[n/2^k] n∈[x1,y1,x2,y2];
k表示选择的特征层数,[]表示向下取整。
2)将每个缺陷位置在特征图中的最小值存入集合S,最终集合S中的最小值记为阈值T。
步骤五,在F’k-1上提取训练集中所有缺陷区域的局部特征图,组成正样本,提取部分背景区域的局部特征图,组成负样本,送入SVM得到检测器。
1)选取n*n的滑动窗口s1,在原图上滑动,滑动步长为n/2,若s1与缺陷位置的IOU大于0.7,则认为该滑窗为正样例;若IOU值小于0.3,则认为该滑窗为负样例。两个区域IOU的定义如下:
Figure BDA0002814566900000092
2)找出样例在F’k-1中的特征图,并按行扩展为一维向量,由于所有样例都由相同大小的滑窗生成,所以向量的维度自然保持一致。一般来说,正样例的数量会远小于负样例的数量,而不均衡数据训练得到的模型检测性能会较差。所以之后从负样本集中随机抽样出和正样本集一样数量的样例构成新的负样本集,将新的负样本集和正样本集送入SVM训练得到分类器模型。
3)训练器的参数设置:
核函数kernel:线性核
惩罚项C:1.7
滑动窗口大小:32
滑动步长:16。
步骤六,测试阶段,重复步骤2和步骤3,得到第k-1层的特征F’k-1和第k层的特征F’k。定义和第k层同样大小的二维矩阵为D,矩阵D反应了该样本的显著性区域,即可能存在缺陷的区域,用以减少滑动窗口的搜索范围:
Figure BDA0002814566900000101
步骤七,步骤六的D的显著性区域映射到第k-1层特征上的区域D’。在特征图F’k-1的D’区域内,利用n*n的滑动窗口取出特征,将其扩展为一维向量,送入步骤5训练的SVM判别器中,从而判定该滑窗是否存在缺陷。将所有存在缺陷的滑窗标记出来,重叠区域过多的区域可以合并。至此完成金属缺陷检测任务。
下面结合仿真对本发明的技术效果作详细的描述。
1、仿真条件
本发明是在CPU为Intel(R)Core(TM)i5-4590、CPU3.30GHz、RAM 16.00GB、Windows10操作***的PC上,运用Python语言完成本发明仿真实验。
2、仿真实验内容
本发明的训练数据为200幅存在缺陷的单通道金属图像,测试数据为50幅带缺陷的图像与50幅不带缺陷的图像。在SVM训练阶段,以滑动窗口为基本单位划分正负样例,根据步骤五的方式划分样例,正样例(缺陷)为276例,负样例数量远大于正样例,所以从中随机抽取276个当作负样本集。训练之后对模型性能进行测试。为了验证本发明的有效性,设计对比实验与本发明方法进行对比,表中除了YOLOv3外,其他的方法都是基于滑动窗口的检测方式,结果如表1所示。
表1本发明的方法与现有技术的对比:
Figure BDA0002814566900000111
根据以上结果可知,基于网络的特征提取方法(VGG)比传统的特征提取方式(HOG、LBP)检测精度高,但耗时较高。本发明利用分阶段检测的策略大大缩小了待检测的区域从而减少了检测时间,提高了效率;且粗定位方式效果显著,检测精度高于所有区域都检查的方式,说明粗定位之外的区域存在一定的干扰。总体来说,本发明显提高了金属缺陷检测的准确率。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行***,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种分阶段金属表面缺陷检测方法,其特征在于,所述分阶段金属表面缺陷检测方法包括:
利用VGG预训练模型提取图像第k-1和第k层特征;
取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T;
用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集;
将特征向量送入SVM,训练得到分类器。
2.如权利要求1所述的分阶段金属表面缺陷检测方法,其特征在于,所述取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T具体包括:利用VGG网络提取数据集中每一幅图像的第k-1层的深度特征记为Fk-1和第k层的深度特征记为Fk;采用VGG16网络结构,只保留特征提取部分;整个网络由13个卷积层与5个池化层组成,每经过一个池化层特征图尺寸缩小至上一层的1/4,层数越深语义特征越丰富,层数越浅位置信息越丰富;使用来自于Imagenet的VGG预训练模型来提取特征,令k=3。
3.如权利要求2所述的分阶段金属表面缺陷检测方法,其特征在于,Fk-1与Fk均为三维矩阵,对每个通道求和得到二维矩阵分别记为F’k-1与F’k;转换公式如下:
Figure FDA0002814566890000011
其中,N为第k-1层的特征通道数,M为第k层的特征通道数,x,y分别为特征图前两个维度的索引。
4.如权利要求1所述的分阶段金属表面缺陷检测方法,其特征在于,所述取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T在F’k上提取训练集中所有缺陷区域的局部特征图,求得所有局部特征图中的最小特征值,即为阈值T;
1)用[(x1,y1),(x2,y2)]表示缺陷在原图中的左上角和右下角坐标,特征图中缺陷位置用[(x1',y1'),(x2',y2')]表示,有如下的对应关系:
n'=[n/2^k] n∈[x1,y1,x2,y2];
k表示选择的特征层数,[]表示向下取整;
2)将每个缺陷位置在特征图中的最小值存入集合S,最终集合S中的最小值记为阈值T。
5.如权利要求1所述的分阶段金属表面缺陷检测方法,其特征在于,所述用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集具体包括:在F’k-1上提取训练集中所有缺陷区域的局部特征图,组成正样本,提取部分背景区域的局部特征图,组成负样本,送入SVM得到检测器;
1)选取n*n的滑动窗口s1,在原图上滑动,滑动步长为n/2,若s1与缺陷位置的IOU大于0.7,则认为该滑窗为正样例;若IOU值小于0.3,则认为该滑窗为负样例,两个区域IOU的定义如下:
Figure FDA0002814566890000021
2)找出样例在F’k-1中的特征图,并按行扩展为一维向量,从负样本集中随机抽样出和正样本集一样数量的样例构成新的负样本集,将新的负样本集和正样本集送入SVM训练得到分类器模型;
3)训练器的参数设置:
核函数kernel:线性核
惩罚项C:1.7
滑动窗口大小:32
滑动步长:16。
6.如权利要求1所述的分阶段金属表面缺陷检测方法,其特征在于,所述分阶段金属表面缺陷检测方法还包括:测试阶段,重复利用VGG网络提取数据集中每一幅图像的第k-1层的深度特征记为Fk-1和第k层的深度特征记为Fk,,Fk-1与Fk均为三维矩阵,对每个通道求和得到二维矩阵分别记为F’k-1与F’k;定义和第k层同样大小的二维矩阵为D,矩阵D反应了该样本的显著性区域,:
Figure FDA0002814566890000031
D的显著性区域映射到第k-1层特征上的区域D’,在特征图F’k-1的D’区域内,利用n*n的滑动窗口取出特征,扩展为一维向量,送入训练的SVM判别器中,判定该滑窗是否存在缺陷;将所有存在缺陷的滑窗标记出来,重叠区域过多的区域可以合并,完成金属缺陷检测任务。
7.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
利用VGG预训练模型提取图像第k-1和第k层特征;
取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T;
用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集;
将特征向量送入SVM,训练得到分类器。
8.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
利用VGG预训练模型提取图像第k-1和第k层特征;
取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T;
用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集;
将特征向量送入SVM,训练得到分类器。
9.一种金属缺陷检测信息数据处理终端,其特征在于,所述金属缺陷检测信息数据处理终端用于实现权利要求1~6任意一项所述的分阶段金属表面缺陷检测方法。
10.一种实施权利要求1~6任意一项所述分阶段金属表面缺陷检测方法的分阶段金属表面缺陷检测***,其特征在于,所述分阶段金属表面缺陷检测***包括:
图像特征提取模块,用于利用VGG预训练模型提取图像第k-1和第k层特征;
缺陷区域提取模块,用于取出所有训练样本的第k层特征中缺陷区域,将其中的最小特征值定为阈值T;
样本集形成模块,用于使用n*n的滑动窗口取出所有训练样本第k-1层特征中的缺陷区域,并按行扩展成一维向量,记为正样本集,同时取出和正样本数量相当的背景区域,并按行扩展为一维向量,记为负样本集;
分类器获取模块,用于将特征向量送入SVM,训练得到分类器。
CN202011395512.4A 2020-12-02 2020-12-02 分阶段金属表面缺陷检测方法、***、介质、设备及应用 Active CN112633327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011395512.4A CN112633327B (zh) 2020-12-02 2020-12-02 分阶段金属表面缺陷检测方法、***、介质、设备及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011395512.4A CN112633327B (zh) 2020-12-02 2020-12-02 分阶段金属表面缺陷检测方法、***、介质、设备及应用

Publications (2)

Publication Number Publication Date
CN112633327A true CN112633327A (zh) 2021-04-09
CN112633327B CN112633327B (zh) 2023-06-30

Family

ID=75307530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011395512.4A Active CN112633327B (zh) 2020-12-02 2020-12-02 分阶段金属表面缺陷检测方法、***、介质、设备及应用

Country Status (1)

Country Link
CN (1) CN112633327B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554631A (zh) * 2021-07-30 2021-10-26 西安电子科技大学 一种基于改进网络的芯片表面缺陷检测方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996209A (zh) * 2014-05-21 2014-08-20 北京航空航天大学 一种基于显著性区域检测的红外舰船目标分割方法
RU2570592C1 (ru) * 2014-10-27 2015-12-10 Алексей Николаевич Кузьмин Способ регистрации и анализа сигналов акустической эмиссии
CN105574527A (zh) * 2015-12-14 2016-05-11 北京工业大学 一种基于局部特征学习的快速物体检测方法
US20170255832A1 (en) * 2016-03-02 2017-09-07 Mitsubishi Electric Research Laboratories, Inc. Method and System for Detecting Actions in Videos
CN107491762A (zh) * 2017-08-23 2017-12-19 珠海安联锐视科技股份有限公司 一种行人检测方法
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其***
US20190073568A1 (en) * 2017-09-06 2019-03-07 Kla-Tencor Corporation Unified neural network for defect detection and classification
CN109685030A (zh) * 2018-12-29 2019-04-26 哈尔滨理工大学 一种基于卷积神经网络的马克杯杯口缺陷检测分类方法
CN109934147A (zh) * 2019-03-05 2019-06-25 北京联合大学 基于深度神经网络的目标检测方法、***及装置
CN110084131A (zh) * 2019-04-03 2019-08-02 华南理工大学 一种基于深度卷积网络的半监督行人检测方法
CN110276754A (zh) * 2019-06-21 2019-09-24 厦门大学 一种表面缺陷检测方法、终端设备及存储介质
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN110796643A (zh) * 2019-10-18 2020-02-14 四川大学 一种铁轨扣件缺陷检测方法和***
EP3633605A1 (en) * 2017-05-22 2020-04-08 Canon Kabushiki Kaisha Information processing device, information processing method, and program
CN111209848A (zh) * 2020-01-03 2020-05-29 北京工业大学 一种基于深度学习的实时跌倒检测方法
US20200175352A1 (en) * 2017-03-14 2020-06-04 University Of Manitoba Structure defect detection using machine learning algorithms
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996209A (zh) * 2014-05-21 2014-08-20 北京航空航天大学 一种基于显著性区域检测的红外舰船目标分割方法
RU2570592C1 (ru) * 2014-10-27 2015-12-10 Алексей Николаевич Кузьмин Способ регистрации и анализа сигналов акустической эмиссии
CN105574527A (zh) * 2015-12-14 2016-05-11 北京工业大学 一种基于局部特征学习的快速物体检测方法
US20170255832A1 (en) * 2016-03-02 2017-09-07 Mitsubishi Electric Research Laboratories, Inc. Method and System for Detecting Actions in Videos
US20200175352A1 (en) * 2017-03-14 2020-06-04 University Of Manitoba Structure defect detection using machine learning algorithms
EP3633605A1 (en) * 2017-05-22 2020-04-08 Canon Kabushiki Kaisha Information processing device, information processing method, and program
CN107491762A (zh) * 2017-08-23 2017-12-19 珠海安联锐视科技股份有限公司 一种行人检测方法
US20190073568A1 (en) * 2017-09-06 2019-03-07 Kla-Tencor Corporation Unified neural network for defect detection and classification
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其***
CN109685030A (zh) * 2018-12-29 2019-04-26 哈尔滨理工大学 一种基于卷积神经网络的马克杯杯口缺陷检测分类方法
CN109934147A (zh) * 2019-03-05 2019-06-25 北京联合大学 基于深度神经网络的目标检测方法、***及装置
CN110084131A (zh) * 2019-04-03 2019-08-02 华南理工大学 一种基于深度卷积网络的半监督行人检测方法
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110276754A (zh) * 2019-06-21 2019-09-24 厦门大学 一种表面缺陷检测方法、终端设备及存储介质
CN110796643A (zh) * 2019-10-18 2020-02-14 四川大学 一种铁轨扣件缺陷检测方法和***
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN111209848A (zh) * 2020-01-03 2020-05-29 北京工业大学 一种基于深度学习的实时跌倒检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN SHOUHONG 等: "基于多特征的SVM多分类PCB焊点缺陷检测方法", 《激光杂志》 *
HONGLING CHEN 等: "Face Recognition Algorithm Based on VGG Network Model and SVM", 《JOURNAL OF PHYSICS: CONFERENCE SERIES》 *
NING LV 等: "Clothing Images Attributes Classification Based on Deep Neural Network", 《2019 IEEE INTERNATIONAL CONFERENCE ON SMART INTERNET OF THINGS (SMARTIOT)》 *
杜超等: "改进的VGG网络的二极管玻壳图像缺陷检测", 《图学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554631A (zh) * 2021-07-30 2021-10-26 西安电子科技大学 一种基于改进网络的芯片表面缺陷检测方法
CN113554631B (zh) * 2021-07-30 2024-02-20 西安电子科技大学 一种基于改进网络的芯片表面缺陷检测方法

Also Published As

Publication number Publication date
CN112633327B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN108765412B (zh) 一种带钢表面缺陷分类方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN109190752A (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN111027443B (zh) 一种基于多任务深度学习的票据文本检测方法
CN106557740B (zh) 一种遥感图像中油库目标的识别方法
CN110334594A (zh) 一种基于批再规范化处理的yolo算法的目标检测方法
CN113298809B (zh) 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN113487600B (zh) 一种特征增强尺度自适应感知船舶检测方法
CN112749673A (zh) 一种基于遥感影像智能提取储油罐库存的方法及装置
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN111896540A (zh) 一种基于区块链的水质在线监测***
CN112949408A (zh) 一种过鱼通道目标鱼类实时识别方法和***
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
CN110659374A (zh) 一种基于神经网络提取车辆特征值及属性的以图搜图方法
CN111754502A (zh) 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
CN112633327B (zh) 分阶段金属表面缺陷检测方法、***、介质、设备及应用
CN108520539B (zh) 一种基于稀疏学习可变模型的图像目标检测方法
Gui et al. A fast caption detection method for low quality video images
CN117351371A (zh) 一种基于深度学习的遥感图像目标检测方法
CN108257148A (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
CN103455798A (zh) 基于最大几何流向直方图的人体检测方法
US20230386023A1 (en) Method for detecting medical images, electronic device, and storage medium
Dong A pixel-wise framework based on convolutional neural network for surface defect detection
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN111259974B (zh) 一种小样本柔性ic基板的表面缺陷定位和分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant