CN113034476A - 皮革瑕疵检测方法、***、储存介质及计算机设备 - Google Patents
皮革瑕疵检测方法、***、储存介质及计算机设备 Download PDFInfo
- Publication number
- CN113034476A CN113034476A CN202110342426.5A CN202110342426A CN113034476A CN 113034476 A CN113034476 A CN 113034476A CN 202110342426 A CN202110342426 A CN 202110342426A CN 113034476 A CN113034476 A CN 113034476A
- Authority
- CN
- China
- Prior art keywords
- leather
- image
- detected
- detection
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 239000010985 leather Substances 0.000 title claims abstract description 81
- 230000007547 defect Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 238000003062 neural network model Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 238000005065 mining Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000001914 filtration Methods 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000006378 damage Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明针对现有技术皮革瑕疵检测技术的局限性，提出了一种皮革瑕疵检测方法、***、储存介质及计算机设备，运用三元组网络快速过滤掉没有缺陷的图像，可以提高处理效率，节省检测成本，更符合现实运行的情况；同时，所述三元组网络对原图、模板以及差值的三通道进行了融合，可以提取更加有效的信息，从而提升检测的精度，在模板与原图偏移长度情况下，也具有更好的检测精度，降低了对模板的要求，一定程度上也减少了人力成本；另外，本发明提供的分类检测器以Context ROI网络架构对所述待检测皮革图像进行特征提取，采用BiFPN的方式进行特征融合，既能有效利用全局信息，提升大缺陷检测精度，又能适应小目标检测，提升了小目标检测精度。
Description
技术领域
本发明涉及制造业生产检测技术领域，具体涉及深度学习在布匹缺陷检测方面的应用，更具体地，涉及一种皮革瑕疵检测方法、***、储存介质及计算机设备。
背景技术
随着皮革自动化生产程度的提高，流水线式的生产过程中皮革表面不可避免地产生气泡、小孔、裂痕等表面瑕疵。目前的检测手段多数停留在离线人工检测，但高强度的检测工作以及生产线上的高噪声、光线昏暗、气味浑浊等恶劣环境对检测工人的身体伤害极大。因此，考虑到人视觉停留和视觉疲劳会造成瑕疵的漏检与误检，而且人工检测的主观判断缺乏统一的量化标准，造成皮革质量参差不齐，使得生产商在激烈的市场竞争中处在不利地位。
公开日为2019.06.14，公布号为CN109886344A的中国申请专利：基于深度学习的皮革破损识别方法、***及设备和介质，公开了一种基于深度学习的皮革破损识别方案。但该方案仍有一定的局限性。
发明内容
针对现有技术的局限，本发明提出一种皮革瑕疵检测方法、***、储存介质及计算机设备，本发明采用的技术方案是：
一种皮革瑕疵检测方法，包括以下步骤：
S1，获取待检测皮革图像；
S2，运用三元组网络将待检测皮革图像与预设的模板图像进行对比，检测所述待检测皮革图像是否存在缺陷，若是转入步骤S3，否则结束；
S3，运用分类检测器对所述待检测皮革图像进行检测，获取所述缺陷的置信度、类别以及位置。
相较于现有技术，本发明运用三元组网络快速过滤掉没有缺陷的图像，可以提高处理效率，节省检测成本，更符合现实运行的情况；同时，所述三元组网络对原图、模板以及差值的三通道进行了融合，可以提取更加有效的信息，从而提升检测的精度，在模板与原图偏移长度情况下，也具有更好的检测精度，降低了对模板的要求，一定程度上也减少了人力成本；另外，本发明提供的分类检测器以Context ROI网络架构对所述待检测皮革图像进行特征提取，采用BiFPN的方式进行特征融合，既能有效利用全局信息，提升大缺陷检测精度，又能适应小目标检测，提升了小目标检测精度。因此，本发明提供的方案整体准确度高达94.1％，具有较高的实用性。
作为一种优选方案，在所述步骤S2中，所述三元组网络采用三通道融合的方式，以所述待检测皮革图像、模板图像以及待检测皮革图像与模板图像的差值作为输入数据对所述待检测皮革图像进行缺陷检测。
作为一种优选方案，所述三元组网络以resnet50作为主干网络；所述三元组网络的网络架构中设有MaxBlurPool池化层；所述模板图像被设置为按随机上下左右若干个像素点进行抖动。
作为一种优选方案，所述分类检测器由Cascade R-CNN三阶段级联神经网络模型经过训练后获得。
进一步的，所述Cascade R-CNN三阶段级联神经网络模型在第一阶段和第三阶段的网络架构中设有Deformable ConvNet可变形卷积层；所述Cascade R-CNN三阶段级联神经网络模型采用OHEM在线困难负例挖掘的选择方式进行采样。
进一步的，所述Cascade R-CNN三阶段级联神经网络模型以Context ROI网络架构对所述待检测皮革图像进行特征提取，采用BiFPN的方式进行特征融合。
进一步的，所述Cascade R-CNN三阶段级联神经网络模型在训练过程中使用的训练样本以图像增强的方式增加所述训练样本，所述图像增强的方式包括镜像变换、高斯噪声、亮度变化、旋转、Cutout以及Mixup。
本发明还提供以下内容：
一种皮革瑕疵检测***，包括图像获取模块、模板比对检测模块以及分类检测模块；所述图像获取模块分别连接所述模板比对检测模块以及分类检测模块，所述模板比对检测模块连接分类检测模块；其中：
所述图像获取模块用于获取待检测皮革图像；
所述模板比对检测模块用于运用三元组网络将待检测皮革图像与预设的模板图像进行对比，检测所述待检测皮革图像是否存在缺陷，若是转入模块，否则结束；
所述分类检测模块用于运用分类检测器对所述待检测皮革图像进行检测，获取所述缺陷的置信度、类别以及位置。
一种储存介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现前述的皮革瑕疵检测方法的步骤。
一种计算机设备，包括储存介质、处理器以及储存在所述储存介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现前述皮革瑕疵检测方法的步骤。
附图说明
图1为本发明实施例提供的皮革瑕疵检测方法的步骤流程图；
图2为本发明实施例提供的皮革瑕疵检测方法的总逻辑图；
图3为本发明实施例提供的Cascade R-CNN三阶段级联神经网络模型示意图；
图4为FPN、PANet、NAS-FPN、BiFPN搜索路径示意图；
图5为本发明实施例训练样本的采集图像示例；
图6本发明实施例提供的皮革瑕疵检测***示意图；
附图标记说明：1、图像获取模块；2、模板比对检测模块；3、分类检测模块。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。以下结合附图和实施例对本发明做进一步的阐述。
为了解决现有技术的局限性，本实施例提供了一种技术方案，下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
请参考图1，一种皮革瑕疵检测方法，包括以下步骤：
S1，获取待检测皮革图像；
S2，运用三元组网络将待检测皮革图像与预设的模板图像进行对比，检测所述待检测皮革图像是否存在缺陷，若是转入步骤S3，否则结束；
S3，运用分类检测器对所述待检测皮革图像进行检测，获取所述缺陷的置信度、类别以及位置。
具体的，在所述步骤S2中，所述三元组网络(Triplet Network)以模板中的正常无缺陷图像作为正样本，以含有缺陷图像作为负样本；所述待检测皮革图像在所述步骤S2的检测过程中，所述三元组网络会得到一个关于所述待检测皮革图像的检测值，当该检测值超过预设的差别阈值时，则判断所述待检测皮革图像存在缺陷，转入步骤S3；当该检测值没有超过预设的差别阈值时，则判断所述待检测皮革图像不存在缺陷，结束对这张待检测皮革图像的检测，处理下一张待检测皮革图像。
所述分类检测器通过回归边界框对瑕疵进行定位，以及对每个提议框(proposal)进行分类，得到各类别标签的概率，这个概率可以用来做该提议框的分类置信度。
请参阅图2，作为一种优选的实施例，在所述步骤S2中，所述三元组网络采用三通道融合的方式，以所述待检测皮革图像、模板图像以及待检测皮革图像与模板图像的差值作为输入数据对所述待检测皮革图像进行缺陷检测。
具体的，由于直接将图像输入到神经网络中，模板信息可能会丢失；通过以上设置，使得在所述步骤S2中所述三元组网络(Triplet Network)能够从所述待检测皮革图像上提取到更加丰富的特征，减少信息的丢失，可以带来3.2％检测精度的提升。
作为一种优选实施例，所述三元组网络以resnet50作为主干网络；所述三元组网络的网络架构中设有MaxBlurPool池化层；所述模板图像被设置为按随机上下左右若干个像素点进行抖动。
具体的，resnet50具有较深的网络深度，同时也具备较好的运行效率。在一种可选实施例中，所述模板图像被设置为按随机上下左右10个像素点进行抖动。
通过对模板图像进行抖动并增加MaxBlurPool池化层，能缓解对齐问题，提升背景差分的泛化性与稳定性。
作为一种优选实施例，所述分类检测器由Cascade R-CNN三阶段级联神经网络模型经过训练后获得。
具体的，以Cascade R-CNN三阶段级联神经网络模型作为训练框架，在不同阶段设置相应的IOU值(Intersection over Union，交并比)，可以通过差别式的筛选出合适的样本信息，有利于模型的精确度。其中，在一种可选实施例中，所述Cascade R-CNN三阶段级联神经网络模型第一阶段的IOU值为0.4，第二阶段的IOU值为0.5，第三阶段的IOU值为0.6。
进一步的，所述Cascade R-CNN三阶段级联神经网络模型在第一阶段和第三阶段的网络架构中设有Deformable ConvNet可变形卷积层；所述Cascade R-CNN三阶段级联神经网络模型采用OHEM在线困难负例挖掘的选择方式进行采样。
本实施例中采用的Cascade R-CNN三阶段级联神经网络模型请参阅图3，其中：“I”表示输入图像，“Conv”表示可变性卷积，“Pool”表示区域特征提取，“H”为网络头部，“B表示检测边框”，“C”为分类器，“B0”在所有结构中都有应用。
具体的，一般卷积核为3x3的矩阵卷积核；但大部分情况下，缺陷的形状都是不规则的，为了拟合不规则缺陷的情况，本实施在所述Cascade R-CNN三阶段级联神经网络模型中添加Deformable ConvNet可变形卷积可以进一步提升检测精度，但是添加过多的Deformable ConvNet可变形卷积会显著增加计算量从而降低检测的速度，因此合理的添加Deformable ConvNet可变形卷积显得尤为重要，经过实践数据证明，在第一阶段和第三阶段，添加Deformable ConvNet卷积，精度和效率最佳,检测准确度增加3％，速度稍有降低。
OHEM(Online Hard negative Example Mining，在线难例挖掘)中，所谓的难例，即困难负样本，是指神经网络难以区分的负样本。在模型不断训练的过程中，模型通常会对正样本有着比较高的confidence，但少不了对某些负样本也留有余芥，给了一个不那么接近0的confidence。OHEM就是找到这些负例，然后针对性地训练。OHEM提出是一种线上的困难负例挖掘解决方案。本实施对此进行改进以后，检测模型的准确性有一定提升。现有CascadeRCNN原来的是random Sampler，采用随机选择的方式，一定程度上可以增加泛化能力，但是有些重要样本的信息却没有得到充分利用，因此本实施例在Cascade RCNN的阶段中合理的合理设置OHEM sampler和random sampler一定程度上可以保持泛化能力同时提升检测精度。在这个前提下，尽量降低计算量的增加，在经过试验证明，在Cascade RCNN的第一阶段添加OHEM Sampler，第二三阶段添加random Sampler取得更佳的效果，实验证明检测精度增加1.3％。
进一步的，所述Cascade R-CNN三阶段级联神经网络模型以Context ROI网络架构对所述待检测皮革图像进行特征提取，采用BiFPN的方式进行特征融合。
在本实施例中，针对微小孔等缺陷目标，进行使用BiFPN多层多尺度进行检测。具体的，主干网络采用的是resnet50，具有较深的网络深度，同时也具备较好的运行效率。但残差网络过滤背景特征的同时也一定程度上破坏了瑕疵周围的语义信息。Context ROI结构将整个图像作为ROI进行全局特征提取，将全局特征叠加到每一个建议的ROI特征中，可以为局部瑕疵特征提供必要的周围全局信息。局部特征可以通过全局特征提供的先验信息对目标进行更准确的判断，加入之后精度提高了1.2％，全局信息对检测精度一定程度上也有提高。
BiFPN是一种高效的多尺度特征融合方式，以往的特征融合是平等地对待不同尺度特征，而BiFPN引入了权重(类似于attention)，更好地平衡不同尺度的特征信息。
请参阅图4，FPN(Feature Parymid Network，特征金字塔网络)引入了一条自顶向下的通道来融合特征；PANet在FPN基础上增加了一条自底向上的通道；NAS-FPN使用了搜索出来的不规则的拓扑结构；BiFPN从PANet出发，移除掉了只有一个输入的节点，将PANet简化，并且在相同level的输入和输出节点之间通过skip-connection相连，期望能融合更多特征。此外，BiFPN的理论中认为以往的特征金字塔融合特征时直接将不同尺度的特征相加的方式不合理，因为这样假设这两层的特征有了相同的权重。从更复杂的建模角度出发，应该每一个feature在相加的时候都要乘一个自己的权重，且在weighted的时候，权重理论上要用softmax归一化至和为1，但由于softmax的指数运算开销比较大，故简化为一个快速的方式，将每个权重除以总和进行归一化。最终BiFPN在一众特征融合方法中取得了最优的效果，且参数量也相对较少。
进一步的，所述Cascade R-CNN三阶段级联神经网络模型在训练过程中使用的训练样本以图像增强的方式增加所述训练样本，所述图像增强的方式包括镜像变换、高斯噪声、亮度变化、旋转、Cutout以及Mixup。
具体的，所述训练样本的样本图像可以采用dalsa线扫相机进行采集，获取的图像可参阅图5，样本图像的缺陷主要分为四类，包括气泡，脏污，条纹，小孔；在一种可选实施例中，所述训练样本的样本图像也可以根据需求采用RGBD摄像头进行采集，额外提取深度信息，采用四通道融入的方法，更好的辨别脏污这类缺陷。
图像增强技术，采用镜像变换、高斯噪声、亮度变化、旋转、cutout和mixup等策略做图像增强处理，大大增加训练样本的数量，提升数据集的多样性，使得在不同的角度和灰度上具有更强的泛化能力。
本发明基于集成学习的思想，核心内容分为两部分，首先通过快速检测判断是否存在缺陷，在应用精细化检测得到缺陷的类型、位置以及置信度。其中，快速检测由三元组网络实现，主要是与模板进行对比，检测有无缺陷。精细检测部分由Cascade RCNN结合context ROI Align、DCN v2——拓展可变性卷积、OHEM算法、SE等多个基础网络结构，在训练过程中通过多维度学习瑕疵样本特征，并基于此实现一种能兼顾检测实时性和准确性的在线缺陷检测器，通过大数据支撑与计算机自学习功能，实现皮革瑕疵的无偏检测。此外，在数据增强方面，本发明采用Mixup等算法对数据集进行处理，通过线性插值的方式来构建新的训练样本和标签：一方面通过线性的过度，降低了模型在在不同瑕疵分类过程中发生震荡的可能性，抑制学习的过拟合问题，进而提升了模型的泛化能力；另一方面可以实现数据样本的拓充，提高模型的鉴别能力，以降低误检率。
相较于现有技术，本发明的有益结果如下：通过运用三元组网络快速过滤掉没有缺陷的图像，可以提高处理效率，节省检测成本，更符合现实运行的情况；同时，所述三元组网络对原图、模板以及差值的三通道进行了融合，可以提取更加有效的信息，从而提升检测的精度，在模板与原图偏移长度情况下，也具有更好的检测精度，降低了对模板的要求，一定程度上也减少了人力成本；另外，本发明提供的分类检测器以Context ROI网络架构对所述待检测皮革图像进行特征提取，采用BiFPN的方式进行特征融合，既能有效利用全局信息，提升大缺陷检测精度，又能适应小目标检测，提升了小目标检测精度。因此，本发明提供的方案整体准确度高达94.1％，具有较高的实用性。
实施例2
一种皮革瑕疵检测***，请参阅图6，包括图像获取模块1、模板比对检测模块2以及分类检测模块3；所述图像获取模块1分别连接所述模板比对检测模块2以及分类检测模块3，所述模板比对检测模块2连接分类检测模块3；其中：
所述图像获取模块1用于获取待检测皮革图像；
所述模板比对检测模块2用于运用三元组网络将待检测皮革图像与预设的模板图像进行对比，检测所述待检测皮革图像是否存在缺陷，若是转入模块(3)，否则结束；
所述分类检测模块3用于运用分类检测器对所述待检测皮革图像进行检测，获取所述缺陷的置信度、类别以及位置。
实施例3
一种储存介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现实施例1中的皮革瑕疵检测方法的步骤。
实施例4
一种计算机设备，包括储存介质、处理器以及储存在所述储存介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现实施例1中的皮革瑕疵检测方法的步骤。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种皮革瑕疵检测方法，其特征在于，包括以下步骤：
S1，获取待检测皮革图像；
S2，运用三元组网络将待检测皮革图像与预设的模板图像进行对比，检测所述待检测皮革图像是否存在缺陷，若是转入步骤S3，否则结束；
S3，运用分类检测器对所述待检测皮革图像进行检测，获取所述缺陷的置信度、类别以及位置。
2.根据权利要求1所述的皮革瑕疵检测方法，其特征在于，在所述步骤S2中，所述三元组网络采用三通道融合的方式，以所述待检测皮革图像、模板图像以及待检测皮革图像与模板图像的差值作为输入数据对所述待检测皮革图像进行缺陷检测。
3.根据权利要求1所述的皮革瑕疵检测方法，其特征在于，所述三元组网络以resnet50作为主干网络；所述三元组网络的网络架构中设有MaxBlurPool池化层；所述模板图像被设置为按随机上下左右若干个像素点进行抖动。
4.根据权利要求1所述的皮革瑕疵检测方法，其特征在于，所述分类检测器由CascadeR-CNN三阶段级联神经网络模型经过训练后获得。
5.根据权利要求4所述的皮革瑕疵检测方法，其特征在于，所述Cascade R-CNN三阶段级联神经网络模型在第一阶段和第三阶段的网络架构中设有Deformable ConvNet可变形卷积层；所述Cascade R-CNN三阶段级联神经网络模型采用OHEM在线困难负例挖掘的选择方式进行采样。
6.根据权利要求4所述的皮革瑕疵检测方法，其特征在于，所述Cascade R-CNN三阶段级联神经网络模型以Context ROI网络架构对所述待检测皮革图像进行特征提取，采用BiFPN的方式进行特征融合。
7.根据权利要求4所述的皮革瑕疵检测方法，其特征在于，所述Cascade R-CNN三阶段级联神经网络模型在训练过程中使用的训练样本以图像增强的方式增加所述训练样本，所述图像增强的方式包括镜像变换、高斯噪声、亮度变化、旋转、Cutout以及Mixup。
8.一种皮革瑕疵检测***，其特征在于，包括图像获取模块(1)、模板比对检测模块(2)以及分类检测模块(3)；所述图像获取模块(1)分别连接所述模板比对检测模块(2)以及分类检测模块(3)，所述模板比对检测模块(2)连接分类检测模块(3)；其中：
所述图像获取模块(1)用于获取待检测皮革图像；
所述模板比对检测模块(2)用于运用三元组网络将待检测皮革图像与预设的模板图像进行对比，检测所述待检测皮革图像是否存在缺陷，若是转入模块(3)，否则结束；
所述分类检测模块(3)用于运用分类检测器对所述待检测皮革图像进行检测，获取所述缺陷的置信度、类别以及位置。
9.一种储存介质，其上储存有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的皮革瑕疵检测方法的步骤。
10.一种计算机设备，其特征在于：包括储存介质、处理器以及储存在所述储存介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的皮革瑕疵检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110342426.5A CN113034476A (zh) | 2021-03-30 | 2021-03-30 | 皮革瑕疵检测方法、***、储存介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110342426.5A CN113034476A (zh) | 2021-03-30 | 2021-03-30 | 皮革瑕疵检测方法、***、储存介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113034476A true CN113034476A (zh) | 2021-06-25 |
Family
ID=76453133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110342426.5A Pending CN113034476A (zh) | 2021-03-30 | 2021-03-30 | 皮革瑕疵检测方法、***、储存介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034476A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113716146A (zh) * | 2021-07-23 | 2021-11-30 | 武汉纺织大学 | 基于深度学习的纸巾产品包装检测方法 |
| CN113888542A (zh) * | 2021-12-08 | 2022-01-04 | 常州微亿智造科技有限公司 | 产品缺陷检测方法和装置 |
| CN115311273A (zh) * | 2022-10-11 | 2022-11-08 | 富联裕展科技(深圳)有限公司 | 检测模型的训练方法、缺陷检测方法、装置及存储介质 |
| CN116842359A (zh) * | 2023-06-08 | 2023-10-03 | 东莞中科迪宏人工智能科技有限公司 | 一种基于度量学习的屏蔽罩类外观缺陷检测方法 |
| EP4365834A1 (en) * | 2022-11-04 | 2024-05-08 | Samsung Electronics Co., Ltd. | Method and device with defect detection |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886954A (zh) * | 2019-02-28 | 2019-06-14 | 湖南大学 | 一种印刷品缺陷检测方法 |
| CN110782183A (zh) * | 2019-11-07 | 2020-02-11 | 山东浪潮人工智能研究院有限公司 | 一种基于Faster R-CNN的铝材缺陷检测方法 |
| CN111815621A (zh) * | 2020-07-27 | 2020-10-23 | 北京联想软件有限公司 | 一种数据处理方法、装置及电子设备 |
| CN112233088A (zh) * | 2020-10-14 | 2021-01-15 | 哈尔滨市科佳通用机电股份有限公司 | 基于改进的Faster-rcnn的制动软管丢失检测方法 |
| CN112508090A (zh) * | 2020-12-04 | 2021-03-16 | 重庆大学 | 一种外包装缺陷检测方法 |
-
2021
- 2021-03-30 CN CN202110342426.5A patent/CN113034476A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886954A (zh) * | 2019-02-28 | 2019-06-14 | 湖南大学 | 一种印刷品缺陷检测方法 |
| CN110782183A (zh) * | 2019-11-07 | 2020-02-11 | 山东浪潮人工智能研究院有限公司 | 一种基于Faster R-CNN的铝材缺陷检测方法 |
| CN111815621A (zh) * | 2020-07-27 | 2020-10-23 | 北京联想软件有限公司 | 一种数据处理方法、装置及电子设备 |
| CN112233088A (zh) * | 2020-10-14 | 2021-01-15 | 哈尔滨市科佳通用机电股份有限公司 | 基于改进的Faster-rcnn的制动软管丢失检测方法 |
| CN112508090A (zh) * | 2020-12-04 | 2021-03-16 | 重庆大学 | 一种外包装缺陷检测方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113716146A (zh) * | 2021-07-23 | 2021-11-30 | 武汉纺织大学 | 基于深度学习的纸巾产品包装检测方法 |
| CN113888542A (zh) * | 2021-12-08 | 2022-01-04 | 常州微亿智造科技有限公司 | 产品缺陷检测方法和装置 |
| CN115311273A (zh) * | 2022-10-11 | 2022-11-08 | 富联裕展科技(深圳)有限公司 | 检测模型的训练方法、缺陷检测方法、装置及存储介质 |
| EP4365834A1 (en) * | 2022-11-04 | 2024-05-08 | Samsung Electronics Co., Ltd. | Method and device with defect detection |
| CN116842359A (zh) * | 2023-06-08 | 2023-10-03 | 东莞中科迪宏人工智能科技有限公司 | 一种基于度量学习的屏蔽罩类外观缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113034476A (zh) | 皮革瑕疵检测方法、***、储存介质及计算机设备 | |
| CN109584221B (zh) | 一种基于监督式生成对抗网络的异常图像检测方法 | |
| WO2022062812A1 (zh) | 屏幕缺陷检测方法、装置和电子设备 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN109613002B (zh) | 一种玻璃缺陷检测方法、装置和存储介质 | |
| CN109191459B (zh) | 连铸坯低倍组织中心偏析缺陷的自动识别与评级方法 | |
| CN114757900B (zh) | 基于人工智能的纺织品缺陷类型识别方法 | |
| CN115082683A (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
| Ruz et al. | A neurofuzzy color image segmentation method for wood surface defect detection | |
| CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| CN108665458A (zh) | 透明体表面缺陷提取及识别方法 | |
| CN111626112A (zh) | 一种基于轻量化3D-RDNet模型的烟雾视频检测方法及*** | |
| CN111047655A (zh) | 基于卷积神经网络的高清摄像机布料疵点检测方法 | |
| CN115330645B (zh) | 一种焊接图像增强方法 | |
| CN112200045A (zh) | 基于上下文增强的遥感图像目标检测模型建立方法及应用 | |
| CN112991271B (zh) | 基于改进yolov3的铝型材表面缺陷视觉检测方法 | |
| CN111798409A (zh) | 一种基于深度学习的pcb缺陷数据生成方法 | |
| CN113706490B (zh) | 一种晶片缺陷检测方法 | |
| CN114612472B (zh) | 一种基于SegNet改进的皮革缺陷分割网络算法 | |
| CN106780464A (zh) | 一种基于改进阈值分割的织物疵点检测方法 | |
| CN113221881B (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
| CN113658131A (zh) | 一种基于机器视觉巡游式环锭纺断纱检测方法 | |
| CN115731228B (zh) | 一种镀金芯片缺陷检测***和方法 | |
| CN114005081A (zh) | 一种烟丝异物智能检测装置及方法 | |
| CN110992314A (zh) | 一种路面缺陷检测方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |