CN113379675A - 一种基于选择分割网络的表面缺陷检测方法 - Google Patents

一种基于选择分割网络的表面缺陷检测方法 Download PDF

Info

Publication number
CN113379675A
CN113379675A CN202110471888.7A CN202110471888A CN113379675A CN 113379675 A CN113379675 A CN 113379675A CN 202110471888 A CN202110471888 A CN 202110471888A CN 113379675 A CN113379675 A CN 113379675A
Authority
CN
China
Prior art keywords
network
sample
training
selective
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110471888.7A
Other languages
English (en)
Inventor
李竹
林宏伟
杨家玉
夏云飞
刘圆圆
盛庆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110471888.7A priority Critical patent/CN113379675A/zh
Publication of CN113379675A publication Critical patent/CN113379675A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于选择分割网络的表面缺陷检测方法，包括以下步骤：获取待识别的缺陷检测样本图像；使用获取到的图像制作数据集；通过模板匹配算法定位数据集中的待检测样品；搭建选择分割网络模型；训练选择分割网络；利用训练好的选择分割网络对测试集中的样本图片进行识别和分割；添加新的未标注样本，对网络进行新一次的训练。

Description

一种基于选择分割网络的表面缺陷检测方法
技术领域
本发明属于图像识别领域，涉及一种基于选择分割网络的表面缺陷检测方法。
背景技术
外观缺陷检测***作为一种机器视觉检测技术，已经广泛应用于各行各业。产品缺陷检测技术是指对检测样本的表面斑点、凹坑、划痕、色差、缺损和内部结构等缺陷进行检测,获得检测样本表面或内部的缺陷深度、大小、轮廓、缺陷类别等相关信息。以时间为主线,国内外目前主流的缺陷检测方法有磁粉检测法、渗透检测法、涡流检测法、超声波检测法、X射线检测和机器视觉缺陷检测技术，除此之外，近年来兴起的基于深度学习的缺陷检测技术也是一大热门技术。
就目前的发展现状而言,质量相关的缺陷预测和诊断技术的研究还处于一个相对初步的探索阶段,现有的方法大多是基于缺陷检测的优劣产品分类上，仍有诸多难点需要突破。在硬件设备方面，外观缺陷检测***一般由机械运动、电气控制、视觉等各式传感器组成，且***倾向于定制化，难以跨领域批量复制，不便移动、能耗过大和成本增加等问题随即出现；在应用方面，经常遇到许多明显的缺陷，因为之前没有发生过，或者发生的模式过分多样而被漏检的情况。
发明内容
为解决上述问题，本发明针对传统的经典表面缺陷检测方法的缺点，提出了一种基于选择分割网络的表面缺陷检测方法，以实现药品表面缺陷的高速、准确的检测。
为实现上述目的，本发明的技术方案如下：
一种基于选择分割网络的表面缺陷检测方法，至少包括以下步骤：
步骤S10:获取待识别的缺陷检测样本图像；
步骤S20:使用获取到的图像制作数据集；
步骤S30:通过模板匹配算法定位数据集中的待检测样品；
步骤S40:搭建选择分割网络模型；
步骤S50:训练选择分割网络；
步骤S60:练好的选择分割网络对测试集中的样本图片进行识别和分割；
步骤S70:添加新的未标注样本，对网络进行新一次的训练。
作为进一步的改进方案，步骤S10中，使用工业相机、镜头和条形光源获取待识别的缺陷检测样本图像。
作为进一步的改进方案，步骤S20中,首先将获取的图像进行标注；然后将标注好的图像按照一定的比例分为训练集和测试集；其中，训练集用于S50步骤中选择分割网络的训练，测试集用于测试训练完成后的网络的性能。
作为进一步的改进方案，步骤S30通过模板匹配算法定位数据集中的待检测样品中，模板匹配的公式为：
Figure BDA0003045765520000021
其中M、N为模板图片的长和宽，i、j表示图片像素的第i行以及第j列，RNCC是匹配的得分结果，I(i,j)和T(i,j)分别代表原图和模板图上的对应的点的坐标。
作为进一步的改进方案，步骤S40搭建选择分割网络模型中，网络包括以下三个层：二输入层、选择网络层、和分割网络层；选择网络层搭建两个权值共享的卷积神经网络Network_1和Network_2作为孪生网络，每个网络包含卷积层和池化层。
作为进一步的改进方案，步骤S50训练选择分割网络中，包括以下步骤：
S501：将训练集中图像输入网络，得到选择网络的结果；
S502：根据中间的分类结果计算选择网络的损失值；
设定：
Figure BDA0003045765520000031
公式(2)中，pi表示Anchor[i]的预测分类的概率，
Figure BDA0003045765520000032
则表示Anchor[i]为正样本时值为1，负样本时则值为0，Ncls是mini-batch size，Nreg是Anchor Location的数量，对于lreg，有
Figure BDA0003045765520000033
其中ti是Anchor[i]预测的Bounding Box的参数化坐标，
Figure BDA0003045765520000034
表示Anchor[i]的Ground Truth的Bounding Box的参数化坐标，R是Smooth L1函数；lcls是两个类别的对数损失，有
Figure BDA0003045765520000035
S503反向转播更新网络权重，多次循环，待选择网络收敛后完成训练；
S504根据网络的分割结果计算分割网络的损失值；
Figure BDA0003045765520000036
其中l代表损失函数值，yi表示样本的label，pi表示样本为正的概率
S505将选择网络和分割网络的损失值相加得到网络的总体损失：
Figure BDA0003045765520000037
步骤S60利用训练好的网络对测试集中的图像进行识别，由网络得到最终的分割结果。
与现有技术相比，本发明的有益效果如下：
(1)针对目前存在的未标签缺陷类型无法识别和分类的问题，在本发明中加入了可以手动添加新类型缺陷的选择分割网络，避免了在实际应用上因缺陷模式过分多样而出现的漏检和误检情况；
(2)基于缺陷检测技术的智能装备故障预测,将产品信息加以处理分析,在明确产品缺陷或故障信息产生原因后,将缺陷或故障信息反馈给本机***,实现产品在线生产与自我纠错,从而提高产品生产质量,降低人力物力和生产成本。
附图说明
图1为本发明方法实施一种基于选择分割网络的表面缺陷检测方法的步骤流程图；
图2为本发明选择匹配网络的结构框图。
图3为本发明分割网络的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
参见图1，为本发明一种基于选择分割网络的表面缺陷检测方法的流程框图，至少包括以下步骤：
S10:获取待识别的缺陷检测样本图像；
S20:使用获取到的图像制作数据集；
S30:通过模板匹配算法定位数据集中的待检测样品；
S40:搭建选择分割网络模型；
S50:训练选择分割网络；
S60：利用训练好的选择分割网络对测试集中的样本图片进行识别和分割；
S70:添加新的未标注样本，对网络进行新一次的训练。
步骤S10获取待识别的缺陷检测样本图像中，为了能有效的识别和处理样本，并通过***的设计解决此类缺陷的分类处理，应正面采集图像，硬件设备使用工业相机、镜头和条形光源。
步骤S20使用获取到的图像制作数据集,首先需要将获取的图像进行标注，这里可根据不同的缺陷类型对图像进行标注，具体的标签数量由实际情况决定；然后将标注好的图像按照一定的比例分为训练集和测试集。训练集用于S5步骤中选择分割网络的训练，测试集用于测试训练完成后的网络的性能。
步骤S30通过模板匹配算法定位数据集中的待检测样品中，模板匹配的公式为：
Figure BDA0003045765520000051
其中M、N为模板图片的长和宽，i、j表示图片像素的第i行以及第j列，RNCC是匹配的得分结果，I(i,j)和T(i,j)分别代表原图和模板图上的对应的点的坐标。
步骤S40搭建选择分割网络模型中，，网络包括以下三个层：二输入层、选择网络层、和分割网络层。选择网络层运用类似孪生网络的思想，搭建两个权值共享的卷积神经网络Network_1和Network_2，网络主要包含卷积层和池化层，具体结构如图2所示。分割网络层由4层步长为2的下采样、4层步长为2的上采样和3个跳层连接组成，具体网络如图3所示。
步骤S50训练选择分割网络中，包括以下步骤：
S501将训练集中图像输入网络，得到选择网络的结果；
S502根据中间的分类结果计算选择网络的损失值；
设定：
Figure BDA0003045765520000061
公式(2)中，pi表示Anchor[i]的预测分类的概率，
Figure BDA0003045765520000062
则表示Anchor[i]为正样本时值为1，负样本时则值为0，Ncls是mini-batch size，Nreg是Anchor Location的数量，对于lreg，有
Figure BDA0003045765520000063
其中ti是Anchor[i]预测的Bounding Box的参数化坐标，
Figure BDA0003045765520000064
表示Anchor[i]的Ground Truth的Bounding Box的参数化坐标，R是Smooth L1函数；lcls是两个类别的对数损失，有
Figure BDA0003045765520000065
S503反向转播更新网络权重，多次循环，待选择网络收敛后完成训练；
S504根据网络的分割结果计算分割网络的损失值；
Figure BDA0003045765520000066
其中l代表损失函数值，yi表示样本的label，pi表示样本为正的概率
S505将选择网络和分割网络的损失值相加得到网络的总体损失：
Figure BDA0003045765520000067
步骤S60利用训练好的网络对测试集中的图像进行识别。是将步骤S20中准备好的测试集图像输入到步骤S50训练完成的网络中，由网络得到最终的分割结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于选择分割网络的表面缺陷检测方法，其特征在于，至少包括以下步骤：
步骤S10:获取待识别的缺陷检测样本图像；
步骤S20:使用获取到的图像制作数据集；
步骤S30:通过模板匹配算法定位数据集中的待检测样品；
步骤S40:搭建选择分割网络模型；
步骤S50:训练选择分割网络；
步骤S60:利用训练好的选择分割网络对测试集中的样本图片进行识别和分割；
步骤S70:添加新的未标注样本，对网络进行新一次的训练。
2.根据权利要求1所述的基于选择分割网络的表面缺陷检测方法，其特征在于，步骤S10中，使用工业相机、镜头和条形光源获取待识别的缺陷检测样本图像。
3.根据权利要求1所述的基于选择分割网络的表面缺陷检测方法，其特征在于，步骤S20中,首先将获取的图像进行标注；然后将标注好的图像按照一定的比例分为训练集和测试集；其中，训练集用于S5步骤中选择分割网络的训练，测试集用于测试训练完成后的网络的性能。
4.根据权利要求1所述的基于选择分割网络的表面缺陷检测方法，其特征在于，步骤S30通过模板匹配算法定位数据集中的待检测样品中，模板匹配的公式为：
Figure FDA0003045765510000011
其中M、N为模板图片的长和宽，i、j表示图片像素的第i行以及第j列，RNCC是匹配的得分结果，I(i,j)和T(i,j)分别代表原图和模板图上的对应的点的坐标。
5.根据权利要求1所述的基于选择分割网络的表面缺陷检测方法，其特征在于，步骤S40搭建选择分割网络模型中，网络包括以下三个层：二输入层、选择网络层、和分割网络层；选择网络层搭建两个权值共享的卷积神经网络Network_1和Network_2作为孪生网络，每个网络包含3层卷积层和2层池化层。
6.根据权利要求1所述的基于选择分割网络的表面缺陷检测方法，其特征在于，步骤S50训练选择分割网络中，包括以下步骤：
S501：将训练集中图像输入网络，得到选择网络的结果；
S502：根据中间的分类结果计算选择网络的损失值；
设定：
Figure FDA0003045765510000021
公式(2)中，pi表示Anchor[i]的预测分类的概率，
Figure FDA0003045765510000022
则表示Anchor[i]为正样本时值为1，负样本时则值为0，Ncls是mini-batch size，Nreg是Anchor Location的数量，对于lreg，有
Figure FDA0003045765510000023
其中ti是Anchor[i]预测的Bounding Box的参数化坐标，
Figure FDA0003045765510000024
表示Anchor[i]的Ground Truth的Bounding Box的参数化坐标，R是Smooth L1函数；lcls是两个类别的对数损失，有
Figure FDA0003045765510000025
S503反向转播更新网络权重，多次循环，待选择网络收敛后完成训练；
S504根据网络的分割结果计算分割网络的损失值；
Figure FDA0003045765510000026
其中l代表损失函数值，yi表示样本的label，pi表示样本为正的概率
S505将选择网络和分割网络的损失值相加得到网络的总体损失：
Figure FDA0003045765510000031
步骤S60利用训练好的网络对测试集中的图像进行识别，由网络得到最终的分割结果。
CN202110471888.7A 2021-04-29 2021-04-29 一种基于选择分割网络的表面缺陷检测方法 Pending CN113379675A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110471888.7A CN113379675A (zh) 2021-04-29 2021-04-29 一种基于选择分割网络的表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110471888.7A CN113379675A (zh) 2021-04-29 2021-04-29 一种基于选择分割网络的表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN113379675A true CN113379675A (zh) 2021-09-10

Family

ID=77570704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110471888.7A Pending CN113379675A (zh) 2021-04-29 2021-04-29 一种基于选择分割网络的表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113379675A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测***及方法
CN111768388A (zh) * 2020-07-01 2020-10-13 哈尔滨工业大学（深圳） 一种基于正样本参考的产品表面缺陷检测方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测***及方法
CN111768388A (zh) * 2020-07-01 2020-10-13 哈尔滨工业大学（深圳） 一种基于正样本参考的产品表面缺陷检测方法及***

Similar Documents

Publication Publication Date Title
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN109919934B (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣***
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及***
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、***、装置及存储介质
CN105844621A (zh) 一种印刷品质量检测方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
Jiang et al. A machine vision-based realtime anomaly detection method for industrial products using deep learning
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN111738994B (zh) 一种轻量级的pcb缺陷检测方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN111160389A (zh) 一种基于融合vgg的岩性识别方法
CN114581782A (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN114359245A (zh) 一种工业场景下产品表面缺陷检测方法
CN116029979A (zh) 一种基于改进Yolov4的布料瑕疵视觉检测方法
CN114332086B (zh) 基于风格迁移和人工智能的纺织品缺陷检测方法及***
CN115830407A (zh) 一种基于yolov4目标检测模型的电缆管线故障判别算法
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及***
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及***
CN116843615B (zh) 一种基于柔性光路的引线框架智能全检方法
CN117079075A (zh) 一种基于伪标签生成与校正的小样本目标检测方法
Ouyang et al. An anchor-free detector with channel-based prior and bottom-enhancement for underwater object detection
CN113379675A (zh) 一种基于选择分割网络的表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination