CN111915593A - 模型建立方法、装置、电子设备及存储介质 - Google Patents
模型建立方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111915593A CN111915593A CN202010775330.3A CN202010775330A CN111915593A CN 111915593 A CN111915593 A CN 111915593A CN 202010775330 A CN202010775330 A CN 202010775330A CN 111915593 A CN111915593 A CN 111915593A
- Authority
- CN
- China
- Prior art keywords
- flaw
- image
- defect
- detection
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 108
- 230000007547 defect Effects 0.000 claims abstract description 106
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000010586 diagram Methods 0.000 claims description 59
- 238000000605 extraction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 13
- 239000004744 fabric Substances 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
一种用于瑕疵检测的模型建立方法、装置、电子设备及存储介质，应用于检测技术领域，包括：建立图像集，所述图像集中包括不同类型的瑕疵；基于所述图像集和Faster R‑CNN搭建瑕疵检测网络模型；训练所述瑕疵检测网络模型，得到分类检测模型；其中，所述分类检测模型，用于对待检测图像进行瑕疵检测，输出所述待检测图像中瑕疵的类型、形状和位置。可用于极端尺寸的瑕疵检测。
Description
技术领域
本公开涉及图像检测技术领域，尤其涉及一种用于瑕疵检测的模型建立方法、装置、电子设备及存储介质。
背景技术
近年来，随着科技的发展，产品质量检测的自动化成为现代生产发展的主要趋势之一，自动化检验瑕疵对减轻劳动力、提高生产效率、推进行业智能化有重要意义。
传统的人工目检的方法存在检测效率低、检测速度慢、检测精度低、检测标准不一致等问题。由于检测工作时间长，检验人员很容易产生视觉疲劳，不仅误检率和漏检率居高不下，对人眼的损伤也极大。所以，基于机器视觉和深度学习的瑕疵检测方法应运而生。
针对瑕疵检测深度学习算法被广泛研究，主要应用在面料、毛毯、地砖等表面瑕疵检测上。现有技术中，有的利用基础网络、区域提议网络以及Fast R-CNN检测网络，建立基于深度学习的图像分类模型，在训练过程中每次迭代对输入数据进行特征提取，无需人工设计繁琐的图像特征提取器，但也仅仅是针对常规形状瑕疵完成初步的图像数据筛选，没有进行面料等瑕疵的特征加强，此外，卷积过程也将丢失较细小的瑕疵特征，因此检测精度不高。有的通过快速循环卷积神经网络方法搜索定位瑕疵区域，将特征和检测器结合到一个框架中，自动检测布匹瑕疵。其中运用RPN网络生成建议窗口，每张图片生成300个建议窗口，建议窗口的数量非常大，导致检测速度很慢。
发明内容
本公开的主要目的在于提供一种用于瑕疵检测的模型建立方法、装置、电子设备及存储介质，检测精度高，可用于极端尺寸的瑕疵检测。
为实现上述目的，本公开实施例第一方面提供一种用于瑕疵检测的模型建立方法，包括：
建立图像集，所述图像集中包括不同类型的瑕疵；
基于所述图像集和Faster R-CNN搭建瑕疵检测网络模型；
训练所述瑕疵检测网络模型，得到分类检测模型；
其中，所述分类检测模型，用于对待检测图像进行瑕疵检测，输出所述待检测图像中瑕疵的类型、形状和位置。
可选的，所述建立图像集包括：
采集至少一个图像，并对所述图像中的瑕疵采用标签进行标注，得到所述图像集；
其中，所述标签标注有瑕疵的类型、形状和位置信息中的至少一个。
可选的，所述基于所述图像集和Faster R-CNN搭建瑕疵检测网络模型包括：
将所述图像集输入特征金字塔网络，得到第一瑕疵特征图，所述特征金字塔网络采用ResNet-50特征提取网络；
将所述第一瑕疵特征图输入先验锚生成网络，构建基于Faster R-CNN的瑕疵检测网络模型。
可选的，所述将所述图像集输入特征金字塔网络，得到第一瑕疵特征图包括：
将所述图像集输入所述特征金字塔网络；
对所述图像集中的标注的瑕疵自下而上做卷积以获取尺寸依次减小的初步瑕疵特征图；
将所有初步瑕疵特征图均进行1*1卷积降维，得到中间瑕疵特征图；
将所有中间瑕疵特征图均自上而下进行上采样，并均与相邻的下一尺寸的中间瑕疵特征图进行融合，得到尺寸依次减小第一瑕疵特征图。
可选的，所述将所述第一瑕疵特征图输入先验锚生成网络，构建基于Faster R-CNN的瑕疵检测网络模型包括：
在尺寸依次减小第一瑕疵特征图中生成候选子区域；
根据每个图像中标签标注的瑕疵的位置，得到真值框；
将每个图像的候选子区域与真值框进行比较，筛选出候选锚；
通过回归调整所述候选锚的形状，使每个图像的候选锚趋近于真值框，得到与所述尺寸依次减小第一瑕疵特征图对应的先验锚；
将所述尺寸依次减小第一瑕疵特征图和所述第一瑕疵特征图对应的先验锚输入预设的分类网络，确定所述瑕疵检测网络模型的参数。
可选的，所述分类网络包括1个池化层和4个全连接层，所述将所述尺寸依次减小第一瑕疵特征图和所述第一瑕疵特征图对应的先验锚输入预设的分类网络，确定所述瑕疵检测网络模型的参数包括：
将所述尺寸依次减小第一瑕疵特征图和所述第一瑕疵特征图对应的先验锚输入至所述池化层，得到尺寸均相同的特征图和与所述特征图相对应的先验锚；
将所述尺寸均相同的特征图和与所述特征图相对应的先验锚作为第一个全连接层的输入，得到所述第一个全连接层的输出；
将所述第一个全连接层的输出作为第二个全连接层的输入，得到所述第二个全连接层的输出；
将所述第二个全连接层的输出作为第三个全连接层的输入，使所述第三个全连接层通过回归输出每个图像中瑕疵的位置和形状信息；
将所述第二个全连接层的输出作为第四个全连接层的输入，使所述第四个全连接层通过Softmax分类输出每个图像中瑕疵的类型信息。
可选的，在训练所述瑕疵检测网络模型的过程中，采用交叉熵损失函数和先验锚的形状预测损失函数对所述瑕疵检测网络模型的训练过程进行约束。
本公开实施例第二方面提供一种用于瑕疵检测的模型建立装置，包括：
建立模块，用于建立图像集，所述图像集中包括不同类型的瑕疵；
搭建模块，用于基于所述图像集和Faster R-CNN搭建瑕疵检测网络模型；
训练模块，用于训练所述瑕疵检测网络模型，得到分类检测模型；
其中，所述分类检测模型，用于对待检测图像进行瑕疵检测，输出所述待检测图像中瑕疵的类型、形状和位置。
本公开实施例第三方面提供了一种电子设备，包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现本公开实施例第一方面提供的用于瑕疵检测的模型建立方法。
本公开实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本公开实施例第一方面提供的用于瑕疵检测的模型建立方法。
从上述本公开实施例可知，本公开提供的用于瑕疵检测的模型建立方法、装置、电子设备及存储介质，通过特征金字塔网络的多尺寸特征融合算法，把本层特征与相邻的下一层特征融合，解决了传统神经网络中多层卷积提取特征时只选取最上层特征图造成的瑕疵特征信息丢失的问题，增强了小瑕疵的细节特征，使得瑕疵特征提取更准确，提高了对小瑕疵和细长瑕疵等极端形状瑕疵的敏感度和检测能力。通过对各尺寸第一瑕疵特征图上候选子区域的选择，得到较少数量的候选锚，再利用回归调整候选锚的尺寸，最终得到与瑕疵特征尺寸最接近的先验锚，该方法确定的先验锚不仅适用于极端尺寸的瑕疵检测，解决了Faster R-CNN网络中锚的形状固定的问题，有效地避免了锚的形状与瑕疵尺寸相差较大的情况，同时确定先验锚的过程也大大减少了候选锚的数量，有效地提高了检测速度。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开一实施例提供的用于瑕疵检测的模型建立方法的流程示意图；
图2为本公开一实施例提供的特征金字塔网络的示意图；
图3为本公开一实施例提供的先验锚生成网络的示意图；
图4为本公开一实施例提供的分类检测模型的训练流程图；
图5为本公开一实施例提供的用于瑕疵检测的模型建立装置的结构示意图；
图6示出了一种电子设备的硬件结构示意图。
具体实施方式
为使得本公开的公开目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开分类检测模型包括特征提取网络、感兴趣区域生成网络、R-CNN分类和定位网络，其中特征提取网络为特征金字塔网络，不仅避免细小特征信息的丢失，还会将瑕疵特征进行补充增强，从而更准确地提取到瑕疵特征，所述的感兴趣区域生成网络采用先验锚生成网络，通过不同尺寸特征图上候选锚与真值框的比较确定先验锚的位置形状，为训练提供更准确的先验锚的位置形状，同时大大减少了候选锚的数量，有效地提高了定位精度和检测速度，对极端形状的瑕疵依然有显著效果。
请参阅图1，图1为本公开一实施例提供的用于瑕疵检测的模型建立方法的流程示意图，该方法主要包括以下步骤：
S101、建立图像集，该图像集中包括不同类型的瑕疵；
具体的，每种瑕疵类型的图像应为多张，例如，100张、200张等等，图像尺寸不要求。因面料瑕疵涵盖极端形状较多，所以本公开以面料瑕疵为例。面料的瑕疵的类型分为无疵点、破洞、污渍、抽丝、结、花板跳、百脚、粗经、粗纬、断经、断纬、稀密档、磨痕、轧痕、死皱、双纬、双经、筘路、纬纱不良等等。
S102、基于该图像集和Faster R-CNN搭建瑕疵检测网络模型；
S103、训练该瑕疵检测网络模型，得到分类检测模型；
其中，该分类检测模型，用于对待检测图像进行瑕疵检测，输出该待检测图像中瑕疵的类型、形状和位置。
在本公开其中一个实施例中，步骤S101包括：
采集至少一个图像，并对该图像中的瑕疵采用标签进行标注，得到该图像集；
其中，该标签标注有瑕疵的类型、形状和位置信息中的至少一个。
可选的，可以基于标签建立标签库，标签库中的标签文件按照COCO格式建立，以面料瑕疵为例，将采集到的所有带有瑕疵的面料图像数据构成图像集。
在本实施例中，通过基于图像集和Faster R-CNN搭建瑕疵检测网络模型，再训练瑕疵检测网络模型，得到分类检测模型。可有效地提高定位精度和检测速度，对极端形状的瑕疵依然有显著效果。
在本公开其中一个实施例中，步骤S102包括：
S1021、将该图像集输入特征金字塔网络，得到第一瑕疵特征图，该特征金字塔网络采用ResNet-50特征提取网络；
S1022、将该第一瑕疵特征图输入先验锚生成网络，构建基于Faster R-CNN的瑕疵检测网络模型。
具体的，ResNet-50特征提取网络包含49个卷积层和一个全连接层，对采集到的面料图像自下而上做卷积进行尺寸依次减小的瑕疵特征提取，除了第一层是7*7卷积外，其余皆为1*1卷积和3*3卷积，得到一系列不同尺寸的特征图(尺寸依次减小)，示例性的，如图2所示，可以从中选取第10层、第40层，第49层的初步瑕疵特征图C1、C2、C3进行1*1卷积降维和/或上采样。需要说明的是，本公开对选取的初步瑕疵特征图的层数和数量均不做限制，以上仅为示意性说明。
在本实施例中，将特征提取网络选取为特征金字塔网络，不仅避免细小特征信息的丢失，还会将瑕疵特征进行补充增强，从而更准确地提取到瑕疵特征，将感兴趣区域生成网络采用先验锚生成网络，可以为瑕疵检测网络的训练提供更准确的先验锚的位置形状，同时大大减少了候选锚的数量，有效地提高了定位精度和检测速度，对极端形状的瑕疵依然有显著效果。
在本公开其中一个实施例中，请参阅图2，步骤S1021包括：
将该图像集输入该特征金字塔网络；
对该图像集中的标注的瑕疵自下而上做卷积以获取尺寸依次减小的初步瑕疵特征图；
将所有初步瑕疵特征图均进行1*1卷积降维，得到中间瑕疵特征图；
将所有中间瑕疵特征图均自上而下进行上采样，并均与相邻的下一尺寸的中间瑕疵特征图进行融合，得到尺寸依次减小第一瑕疵特征图。
可理解的，参阅图2，图2中C1、C2和C3为尺寸依次减小的初步瑕疵特征图，F1、F2和F3为尺寸依次减小的第一瑕疵特征图，其中对应的初步瑕疵特征图、中间瑕疵特征图和第一瑕疵特征图的尺寸相同(图2中未示出中间瑕疵特征图)，例如，C1的尺寸与F1相同，C2的尺寸与F2相同，C3的尺寸与F3相同。
可理解的，第一瑕疵特征图包含初步瑕疵特征图和与该初步瑕疵特征图相邻的下一尺寸的初步瑕疵特征图中的所有瑕疵特征信息。具体的，请参阅图2，与C1相邻的下一尺寸的初步瑕疵特征图为C2，与C2相邻的下一尺寸的初步瑕疵特征图为C3。F1包括C1和C2的瑕疵特征信息，F2包括C2和C3的特征信息，其中，若C3为最后一个初步瑕疵特征图，由于最后一个尺寸的C3没有相邻的下一尺寸的初步瑕疵特征图，从而仅对C3进行1*1卷积降维，而不进行接下来的自上而下进行上采样，故F3仅包括C3的所有瑕疵特征信息。若C3具有相邻的下一尺寸的初步瑕疵特征图，则进行正常的1*1卷积降维，和自上而下的上采样。需要说明的是，图2仅为一种示意性说明，本公开不对做卷积得到的尺寸依次减小的初步瑕疵特征图的数量进行限定，其可以是1个、2个、3个、4个等等。
在本实施例中，把本层特征与相邻的下一层特征融合，解决了传统神经网络中多层卷积提取特征时只选取最上层特征图造成的瑕疵特征信息丢失的问题，增强了小瑕疵的细节特征，使得瑕疵特征提取更准确，提高了对小瑕疵和细长瑕疵等极端形状瑕疵的敏感度和检测能力。
在本公开其中一个实施例中，请参阅图3，步骤S1022包括：
在尺寸依次减小第一瑕疵特征图中生成候选子区域；
根据每个图像中标签标注的瑕疵的位置，得到真值框；
将每个图像的候选子区域与真值框进行比较，筛选出候选锚；
通过回归调整该候选锚的形状，使每个图像的候选锚趋近于真值框，得到与该尺寸依次减小第一瑕疵特征图对应的先验锚；
将该尺寸依次减小第一瑕疵特征图和该第一瑕疵特征图对应的先验锚输入预设的分类网络，确定该瑕疵检测网络模型的参数。
具体的，先验锚生成网络包含位置预测和形状预测两个步骤。位置预测也就是预测候选锚的中心点，将尺寸依次减小的第一瑕疵特征图中每个通道(通道数可自行设置)的图像均分别减去对应第一瑕疵特征图的所有通道的图像均值并通过1*1卷积和sigmoid函数得到与第一瑕疵特征图尺寸相同的概率图(概率图中包括第一瑕疵特征图中每个像素是瑕疵的概率)。将预定义的阈值ΔL与每个像素是瑕疵的概率进行比较，确定超过该阈值的像素，得到若干候选子区域，筛选包含真值框中心点的候选子区域即为候选锚，该候选子区域的中心点即为候选锚的中心点。形状预测是预测先验锚的形状尺寸，将原始图像中瑕疵真值框映射到尺寸依次减小的第一瑕疵特征图上，得到该第一瑕疵特征图上的真值框，通过回归调整尺寸依次减小的第一瑕疵特征图上候选锚的宽和高，最终使得调整后的候选锚与对应第一瑕疵特征图上真值框的交并比最大，即为该尺寸第一瑕疵特征图对应的先验锚。
其中，阈值ΔL可以根据实际情况进行设定，例如0.5、0.6、.065等等。本公开对此不做限制。
在本实施例中，通过尺寸依次减小的第一瑕疵特征图上候选锚与真值框的比较确定先验锚的位置形状，为训练瑕疵检测网络模型提供更准确的先验锚的位置形状，同时大大减少了候选锚的数量，有效地提高了定位精度和检测速度，对极端形状的瑕疵依然有显著效果，还解决了Faster R-CNN网络中锚的形状固定的问题，有效地避免了锚的形状与瑕疵尺寸相差较大的情况。
在本公开其中一个实施例中，该分类网络包括1个池化层和4个全连接层，该将该尺寸依次减小第一瑕疵特征图和该第一瑕疵特征图对应的先验锚输入预设的分类网络，确定该瑕疵检测网络模型的参数包括：
将该尺寸依次减小第一瑕疵特征图和该第一瑕疵特征图对应的先验锚输入至该池化层，得到尺寸均相同的特征图和与所述特征图相对应的先验锚；
将该尺寸均相同的特征图和与所述特征图相对应的先验锚作为第一个全连接层的输入，得到该第一个全连接层的输出；
将该第一个全连接层的输出作为第二个全连接层的输入，得到该第二个全连接层的输出；
将该第二个全连接层的输出作为第三个全连接层的输入，使该第三个全连接层通过回归输出每个图像中瑕疵的位置和形状信息；
将该第二个全连接层的输出作为第四个全连接层的输入，使该第四个全连接层通过Softmax分类输出每个图像中瑕疵的类型信息。
在本公开其中一个实施例中，在训练该瑕疵检测网络模型的过程中，采用交叉熵损失函数和先验锚的形状预测损失函数对该瑕疵检测网络模型的训练过程进行约束。
具体的，可以将S101中的图像集分为训练集和测试集，将训练集输入瑕疵检测网络模型中进行训练，在训练瑕疵检测网络模型的过程中，采用交叉熵损失函数和先验锚的形状预测损失函数对该瑕疵检测网络模型的训练过程进行约束。训练完成后，利用测试集对瑕疵检测网络模型进行测试。
其中，训练集与测试集按照9∶1，8∶2或者7∶3的比例进行划分，本公开对此不做限制。
更多的，在一个示例中，训练所用的初始化模型为在微软的COCO目标检测数据集上训练所得的模型，该模型的参数更新方式是Momentum，初始学习率为0.001，在迭代达到30000次后，学习率为0.0001，动量系数为0.9，批次大小为16，非极大值抑制的IoU阈值为0.7。
以上请参阅图4，图4为本公开一实施例提供的分类检测模型的训练流程图。本公开与现有技术相比的优点在于：通过特征金字塔网络的多尺寸特征融合算法，把本层特征与相邻的下一层特征融合，解决了传统神经网络中多层卷积提取特征时只选取最上层特征图造成的瑕疵特征信息丢失的问题，增强了小瑕疵的细节特征，使得瑕疵特征提取更准确，提高了对小瑕疵和细长瑕疵等极端形状瑕疵的敏感度和检测能力。通过对各尺寸第一瑕疵特征图上候选子区域的选择，得到较少数量的候选锚，再利用回归调整候选锚的尺寸，最终得到与瑕疵特征尺寸最接近的先验锚，该方法确定的先验锚不仅适用于极端尺寸的瑕疵检测，解决了Faster R-CNN网络中锚的形状固定的问题，有效地避免了锚的形状与瑕疵尺寸相差较大的情况，同时确定先验锚的过程也大大减少了候选锚的数量，有效地提高了检测速度。
请参阅图5，图5是本公开一实施例提供的用于瑕疵检测的模型建立装置的结构示意图，该装置可内置于电子设备中，该装置主要包括：
建立模块501，用于建立图像集，该图像集中包括不同类型的瑕疵；
搭建模块502，用于基于该图像集和Faster R-CNN搭建瑕疵检测网络模型；
训练模块503，用于训练该瑕疵检测网络模型，得到分类检测模型；
其中，该分类检测模型，用于对待检测图像进行瑕疵检测，输出该待检测图像中瑕疵的类型、形状和位置。
该建立模块501包括：
采集子模块，由于采集至少一个图像；
标注子模块，用于对该图像中的瑕疵采用标签进行标注，得到该图像集；
其中，该标签标注有瑕疵的类型、形状和位置信息中的至少一个。
在本公开其中一个实施例中，该搭建模块502包括：
第一输入子模块，用于将该图像集输入特征金字塔网络，得到第一瑕疵特征图，该特征金字塔网络采用ResNet-50特征提取网络；
第二输入子模块，用于将该第一瑕疵特征图输入先验锚生成网络，构建基于Faster R-CNN的瑕疵检测网络模型。
在本公开其中一个实施例中，该第一输入子模块具体用于：将该图像集输入该特征金字塔网络；对该图像集中的标注的瑕疵自下而上做卷积以获取尺寸依次减小的初步瑕疵特征图；将所有初步瑕疵特征图均进行1*1卷积降维，得到中间瑕疵特征图；将所有中间瑕疵特征图均自上而下进行上采样，并均与相邻的下一尺寸的中间瑕疵特征图进行融合，得到尺寸依次减小第一瑕疵特征图。
在本公开其中一个实施例中，该第二输入子模块具体用于：在尺寸依次减小第一瑕疵特征图中生成候选子区域；根据每个图像中标签标注的瑕疵的位置，得到真值框；将每个图像的候选子区域与真值框进行比较，筛选出候选锚；通过回归调整该候选锚的形状，使每个图像的候选锚趋近于真值框，得到与该尺寸依次减小第一瑕疵特征图对应的先验锚；将该尺寸依次减小第一瑕疵特征图和该第一瑕疵特征图对应的先验锚输入预设的分类网络，确定该瑕疵检测网络模型的参数。
在本公开其中一个实施例中，该分类网络包括1个池化层和4个全连接层，该将该尺寸依次减小第一瑕疵特征图和该第一瑕疵特征图对应的先验锚输入预设的分类网络，确定该瑕疵检测网络模型的参数包括：将该尺寸依次减小第一瑕疵特征图和该第一瑕疵特征图对应的先验锚输入至该池化层，得到尺寸均相同的特征图和与所述特征图相对应的先验锚；将该尺寸均相同的特征图和与所述特征图相对应的先验锚作为第一个全连接层的输入，得到该第一个全连接层的输出；将该第一个全连接层的输出作为第二个全连接层的输入，得到该第二个全连接层的输出；将该第二个全连接层的输出作为第三个全连接层的输入，使该第三个全连接层通过回归输出每个图像中瑕疵的位置和形状信息；将该第二个全连接层的输出作为第四个全连接层的输入，使该第四个全连接层通过Softmax分类输出每个图像中瑕疵的类型信息。
在本公开其中一个实施例中，在训练该瑕疵检测网络模型的过程中，采用交叉熵损失函数和先验锚的形状预测损失函数对该瑕疵检测网络模型的训练过程进行约束。
上述实施例未尽细节之处请参阅图1至图4所示实施例的相关描述，在此不再赘述。
请参见图6，图6示出了一种电子设备的硬件结构图。
本实施例中所描述的电子设备，包括：
存储器61、处理器62及存储在存储器61上并可在处理器上运行的计算机程序，处理器执行该程序时实现前述图1所示实施例中描述的于瑕疵检测的模型建立方法。
进一步地，该电子设备还包括：
至少一个输入设备63；至少一个输出设备64。
上述存储器61、处理器62输入设备63和输出设备64通过总线65连接。
其中，输入设备63具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备64具体可为显示屏。
存储器61可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器61用于存储一组可执行程序代码，处理器62与存储器61耦合。
进一步地，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子设备中，该计算机可读存储介质可以是前述图5所示实施例中的电子设备。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1所示实施例中描述的用于瑕疵检测的模型建立方法。进一步地，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种用于瑕疵检测的模型建立方法、装置、电子设备及存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种用于瑕疵检测的模型建立方法，其特征在于，包括：
建立图像集，所述图像集中包括不同类型的瑕疵；
基于所述图像集和Faster R-CNN搭建瑕疵检测网络模型；
训练所述瑕疵检测网络模型，得到分类检测模型；
其中，所述分类检测模型，用于对待检测图像进行瑕疵检测，输出所述待检测图像中瑕疵的类型、形状和位置。
2.根据权利要求1所述的模型建立方法，其特征在于，所述建立图像集包括：
采集至少一个图像，并对所述图像中的瑕疵采用标签进行标注，得到所述图像集；
其中，所述标签标注有瑕疵的类型、形状和位置信息中的至少一个。
3.根据权利要求1所述的模型建立方法，其特征在于，所述基于所述图像集和FasterR-CNN搭建瑕疵检测网络模型包括：
将所述图像集输入特征金字塔网络，得到第一瑕疵特征图，所述特征金字塔网络采用ResNet-50特征提取网络；
将所述第一瑕疵特征图输入先验锚生成网络，构建基于Faster R-CNN的瑕疵检测网络模型。
4.根据权利要求3所述的模型建立方法，其特征在于，所述将所述图像集输入特征金字塔网络，得到第一瑕疵特征图包括：
将所述图像集输入所述特征金字塔网络；
对所述图像集中的标注的瑕疵自下而上做卷积以获取尺寸依次减小的初步瑕疵特征图；
将所有初步瑕疵特征图均进行1*1卷积降维，得到中间瑕疵特征图；
将所有中间瑕疵特征图均自上而下进行上采样，并均与相邻的下一尺寸的中间瑕疵特征图进行融合，得到尺寸依次减小第一瑕疵特征图。
5.根据权利要求4所述的模型建立方法，其特征在于，所述将所述第一瑕疵特征图输入先验锚生成网络，构建基于Faster R-CNN的瑕疵检测网络模型包括：
在尺寸依次减小第一瑕疵特征图中生成候选子区域；
根据每个图像中标签标注的瑕疵的位置，得到真值框；
将每个图像的候选子区域与真值框进行比较，筛选出候选锚；
通过回归调整所述候选锚的形状，使每个图像的候选锚趋近于真值框，得到与所述尺寸依次减小第一瑕疵特征图对应的先验锚；
将所述尺寸依次减小第一瑕疵特征图和所述第一瑕疵特征图对应的先验锚输入预设的分类网络，确定所述瑕疵检测网络模型的参数。
6.根据权利要求5所述的模型建立方法，其特征在于，所述分类网络包括1个池化层和4个全连接层，所述将所述尺寸依次减小第一瑕疵特征图和所述第一瑕疵特征图对应的先验锚输入预设的分类网络，确定所述瑕疵检测网络模型的参数包括：
将所述尺寸依次减小第一瑕疵特征图和所述第一瑕疵特征图对应的先验锚输入至所述池化层，得到尺寸均相同的特征图和与所述特征图对应的先验锚；
将所述尺寸均相同的特征图和与所述特征图对应的先验锚作为第一个全连接层的输入，得到所述第一个全连接层的输出；
将所述第一个全连接层的输出作为第二个全连接层的输入，得到所述第二个全连接层的输出；
将所述第二个全连接层的输出作为第三个全连接层的输入，使所述第三个全连接层通过回归输出每个图像中瑕疵的位置和形状信息；
将所述第二个全连接层的输出作为第四个全连接层的输入，使所述第四个全连接层通过Softmax分类输出每个图像中瑕疵的类型信息。
7.根据权利要求1至6任意一项所述的模型建立方法，其特征在于，在训练所述瑕疵检测网络模型的过程中，采用交叉熵损失函数和先验锚的形状预测损失函数对所述瑕疵检测网络模型的训练过程进行约束。
8.一种用于瑕疵检测的模型建立装置，其特征在于，包括：
建立模块，用于建立图像集，所述图像集中包括不同类型的瑕疵；
搭建模块，用于基于所述图像集和Faster R-CNN搭建瑕疵检测网络模型；
训练模块，用于训练所述瑕疵检测网络模型，得到分类检测模型；
其中，所述分类检测模型，用于对待检测图像进行瑕疵检测，输出所述待检测图像中瑕疵的类型、形状和位置。
9.一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任一项所述的用于瑕疵检测的模型建立方法中的各个步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任一项所述的用于瑕疵检测的模型建立方法中的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010775330.3A CN111915593A (zh) | 2020-08-04 | 2020-08-04 | 模型建立方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010775330.3A CN111915593A (zh) | 2020-08-04 | 2020-08-04 | 模型建立方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111915593A true CN111915593A (zh) | 2020-11-10 |
Family
ID=73288034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010775330.3A Pending CN111915593A (zh) | 2020-08-04 | 2020-08-04 | 模型建立方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915593A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614101A (zh) * | 2020-12-17 | 2021-04-06 | 广东道氏技术股份有限公司 | 基于多层特征提取的抛光砖瑕疵检测方法及相关设备 |
| CN113610848A (zh) * | 2021-10-09 | 2021-11-05 | 阿里巴巴（中国）有限公司 | 数字化布料处理***、布料瑕疵检测方法、设备及介质 |
| CN114219807A (zh) * | 2022-02-22 | 2022-03-22 | 成都爱迦飞诗特科技有限公司 | 乳腺超声检查图像分级方法、装置、设备和存储介质 |
| CN115082386A (zh) * | 2022-06-07 | 2022-09-20 | 华南理工大学 | 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598287A (zh) * | 2018-10-30 | 2019-04-09 | 中国科学院自动化研究所 | 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法 |
| WO2019091464A1 (zh) * | 2017-11-12 | 2019-05-16 | 北京市商汤科技开发有限公司 | 目标检测方法和装置、训练方法、电子设备和介质 |
| CN110647906A (zh) * | 2019-08-02 | 2020-01-03 | 杭州电子科技大学 | 基于Faster R-CNN方法的服饰目标检测方法 |
| CN110889838A (zh) * | 2019-11-26 | 2020-03-17 | 武汉纺织大学 | 一种织物疵点检测方法及装置 |
| CN111179239A (zh) * | 2019-12-24 | 2020-05-19 | 浙江大学 | 一种利用背景特征进行重排名的轮胎x光瑕疵检测方法 |
-
2020
- 2020-08-04 CN CN202010775330.3A patent/CN111915593A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019091464A1 (zh) * | 2017-11-12 | 2019-05-16 | 北京市商汤科技开发有限公司 | 目标检测方法和装置、训练方法、电子设备和介质 |
| CN109598287A (zh) * | 2018-10-30 | 2019-04-09 | 中国科学院自动化研究所 | 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法 |
| CN110647906A (zh) * | 2019-08-02 | 2020-01-03 | 杭州电子科技大学 | 基于Faster R-CNN方法的服饰目标检测方法 |
| CN110889838A (zh) * | 2019-11-26 | 2020-03-17 | 武汉纺织大学 | 一种织物疵点检测方法及装置 |
| CN111179239A (zh) * | 2019-12-24 | 2020-05-19 | 浙江大学 | 一种利用背景特征进行重排名的轮胎x光瑕疵检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李宗洪等: "改进Faster R-CNN模型的汽车喷油器 阀座瑕疵检测算法", 广西科技大学学报, vol. 31, no. 1, 31 March 2020 (2020-03-31), pages 1 - 9 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614101A (zh) * | 2020-12-17 | 2021-04-06 | 广东道氏技术股份有限公司 | 基于多层特征提取的抛光砖瑕疵检测方法及相关设备 |
| CN112614101B (zh) * | 2020-12-17 | 2024-02-20 | 广东道氏技术股份有限公司 | 基于多层特征提取的抛光砖瑕疵检测方法及相关设备 |
| CN113610848A (zh) * | 2021-10-09 | 2021-11-05 | 阿里巴巴（中国）有限公司 | 数字化布料处理***、布料瑕疵检测方法、设备及介质 |
| CN113610848B (zh) * | 2021-10-09 | 2022-04-12 | 阿里巴巴（中国）有限公司 | 数字化布料处理***、布料瑕疵检测方法、设备及介质 |
| CN114219807A (zh) * | 2022-02-22 | 2022-03-22 | 成都爱迦飞诗特科技有限公司 | 乳腺超声检查图像分级方法、装置、设备和存储介质 |
| CN115082386A (zh) * | 2022-06-07 | 2022-09-20 | 华南理工大学 | 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 |
| CN115082386B (zh) * | 2022-06-07 | 2024-04-26 | 华南理工大学 | 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915593A (zh) | 模型建立方法、装置、电子设备及存储介质 | |
| CN111402203B (zh) | 一种基于卷积神经网络的织物表面缺陷检测方法 | |
| JP7004145B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
| CN110047073B (zh) | 一种x射线焊缝图像缺陷定级方法及*** | |
| CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
| KR102150673B1 (ko) | 외관불량 검사방법 및 외관불량 검사 시스템 | |
| CN107123111B (zh) | 一种用于手机屏幕缺陷检测的深度残差网络构造方法 | |
| CN109671071B (zh) | 一种基于深度学习的地下管道缺陷定位及等级判定方法 | |
| CN111402226A (zh) | 一种基于级联卷积神经网络的表面疵点检测方法 | |
| CN110889838A (zh) | 一种织物疵点检测方法及装置 | |
| CN111382785A (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
| CN112906794A (zh) | 一种目标检测方法、装置、存储介质及终端 | |
| CN113538603B (zh) | 一种基于阵列产品的光学检测方法、***和可读存储介质 | |
| CN114743102A (zh) | 一种面向家具板材的瑕疵检测方法、***及装置 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及***、电子设备和存储介质 | |
| CN114255212A (zh) | 一种基于cnn的fpc表面缺陷检测方法及其*** | |
| CN110706224A (zh) | 基于暗场图像的光学元件弱划痕检测方法、***和装置 | |
| CN115829995A (zh) | 基于像素级的多尺度特征融合的布匹瑕疵检测方法及*** | |
| CN112330594A (zh) | 一种纸筒缺陷检测方法、装置、电子设备及存储介质 | |
| CN112991271A (zh) | 基于改进yolov3的铝型材表面缺陷视觉检测方法 | |
| CN115187544A (zh) | 基于DR-RSBU-YOLOv5的织物瑕疵检测方法 | |
| CN112669300A (zh) | 瑕疵检测方法及装置、计算机设备和存储介质 | |
| CN116503340A (zh) | 一种micro oled面板缺陷检测方法、装置以及设备 | |
| CN113362347B (zh) | 一种基于超像素特征增强的图像缺陷区域分割方法和*** | |
| CN115937095A (zh) | 融合图像处理算法和深度学习的印刷缺陷检测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |