CN114022446A - 一种基于改进YOLOv3的皮革瑕疵检测方法及*** - Google Patents
一种基于改进YOLOv3的皮革瑕疵检测方法及*** Download PDFInfo
- Publication number
- CN114022446A CN114022446A CN202111302497.9A CN202111302497A CN114022446A CN 114022446 A CN114022446 A CN 114022446A CN 202111302497 A CN202111302497 A CN 202111302497A CN 114022446 A CN114022446 A CN 114022446A
- Authority
- CN
- China
- Prior art keywords
- leather
- neural network
- network model
- target neural
- yolov3
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000010985 leather Substances 0.000 title claims abstract description 154
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000003062 neural network model Methods 0.000 claims abstract description 107
- 238000012549 training Methods 0.000 claims abstract description 85
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012795 verification Methods 0.000 claims abstract description 27
- 238000009499 grossing Methods 0.000 claims abstract description 24
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 230000007547 defect Effects 0.000 claims description 82
- 238000000605 extraction Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000003416 augmentation Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010003399 Arthropod bite Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000002649 leather substitute Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提出一种基于改进YOLOv3的皮革瑕疵检测方法及***，涉及皮革瑕疵检测的技术领域，首先构建样本皮革瑕疵图像数据集，并对数据集中的皮革瑕疵进行边框标注，将数据集划分为训练集、验证集和测试集；然后构建YOLOv3目标神经网络模型，基于kmeans聚类算法及标签平滑技术改进模型，利用训练集对改进的YOLOv3目标神经网络模型进行训练，并通过验证集验证训练中的YOLOv3目标神经网络模型的性能，得到训练好的YOLOv3目标神经网络模型；最后基于训练好的模型，对测试集图像数据进行皮革瑕疵检测。本发明通过改进YOLOv3提高了模型的泛化性，降低了瑕疵误检漏检概率，进一步提高了皮革瑕疵检测的准确率。
Description
技术领域
本发明涉及皮革瑕疵检测的技术领域，更具体地，涉及一种基于改进YOLOv3的皮革瑕疵检测方法及***。
背景技术
皮革是由塑料异型材料构成的人造革产品。随着科学技术的不断发展以及人们生活品质的提升，人们对皮革的表面质量要求也越来越高，如汽车内饰皮革是其必不可少的装饰配件,汽车购买者对乘用小汽车内饰皮革的要求越来越挑剔，而蚊虫叮咬或加工过程的精细不足可能会使得原始皮革表面不可避免地产生各种缺陷,如孔洞、条纹、划伤﹑气泡﹑垫伤等，这些缺陷将严重影响皮革的表面质量，因此，皮革瑕疵检测对保证皮革成品的优良品质至关重要，皮革瑕疵检测已然成为皮革生产和质量管理的重要环节。
传统的皮革瑕疵检测方法主要是人工检测，人工检测的效率低下，而且准确率较低。为克服当前人工检测方式的缺陷，基于深度学习的瑕疵检测方式作为一种比较高性能的方法被广泛应用，2021年1月5日，中国发明专利(公布号：CN112184679A)中公开了一种基于YOLOv3的酒瓶瑕疵自动检测方法，属于瑕疵检测的技术领域，该方案利用YOLOv3网络结构学习到通过人工采集标记的酒瓶瑕疵图片数据中的缺陷特征之后，得到一个可以自动识别生产中的酒瓶上是否含有瑕疵的模型，然后将这个模型加载到一个实时酒瓶识别***中去，实时拍摄然后实时返回识别的结果，解决人工检测方式的低效率和精度的问题，皮革瑕疵与酒瓶瑕疵虽相似，但皮革瑕疵背景较为复杂，对于尺寸相差较大的皮革瑕疵类型，应用基础的YOLOv3算法容易出现误检漏检问题，导致检测准确度较低的不良后果。
发明内容
为解决利用传统YOLOv3算法进行皮革瑕疵检测的方法容易出现瑕疵漏检误检的问题，本发明提出一种基于改进YOLOv3的皮革瑕疵检测方法及***，通过改进YOLOv3以提高其泛化性，降低瑕疵误检漏检概率，提高皮革瑕疵检测的准确率。
为了达到上述技术效果，本发明的技术方案如下：
一种基于改进YOLOv3的皮革瑕疵检测方法，所述方法包括以下步骤：
构建样本皮革瑕疵图像数据集，并对数据集中的皮革瑕疵进行边框标注；
将边框标注后的样本皮革瑕疵图像数据集划分为训练集、验证集和测试集；
构建YOLOv3目标神经网络模型，基于kmeans聚类算法及标签平滑技术，改进YOLOv3目标神经网络模型；
利用训练集对改进的YOLOv3目标神经网络模型进行训练，并通过验证集验证训练中的YOLOv3目标神经网络模型的性能，得到最终训练好的YOLOv3目标神经网络模型；
基于训练好的YOLOv3目标神经网络模型，对测试集图像数据进行皮革瑕疵检测。
优选地，所述数据集中的皮革瑕疵的类型包括：bubble气泡、dirt污渍、stripe条纹、hole孔洞、ribbon色线。
优选地，将样本皮革瑕疵图像数据集划分为训练集、验证集和测试集时，划分到训练集、验证集和测试集中的样本皮革瑕疵图像均通过随机抽样法从样本皮革瑕疵图像数据集中获得，保证划分后的样本皮革瑕疵图像数据集中的每一个图像数据更贴合实际情况中数据的随机不确定性。
优选地，所述构建的YOLOv3目标神经网络模型包括Darknet53特征提取模块、多尺度预测与特征融合模块，Darknet53特征提取模块用于提取样本皮革瑕疵图像特征，Darknet53特征提取模块提取样本皮革瑕疵图像特征后，将样本皮革瑕疵图像特征输出至多尺度预测与特征融合模块，多尺度预测与特征融合模块包括三个卷积层网络Convs及检测输出层，Darknet-53特征提取模块提取样本皮革瑕疵图像特征后，输出三个预测尺度的样本皮革瑕疵图像特征，三个预测尺度的样本皮革瑕疵图像特征经过三个卷积层网络Convs后，每一个卷积层网络Convs的一条分支输出为检测输出，另一条经过2倍上采样与Darknet-53特征提取模块输出的三个预测尺度的样本皮革瑕疵图像特征进行特征融合，最后通过检测输出层识别瑕疵。
优选地，Darknet-53特征提取模块包括依次连接的初始卷积层、第一残差单元、第二残差单元、第三残差单元、第四残差单元及第五残差单元，第一残差单元包括依次连接的第一单独卷积层及第一重复执行卷积层1x，第二残差单元包括依次连接的第二单独卷积层及第二重复执行卷积层2x，第三残差单元包括依次连接的第三单独卷积层及第三重复执行卷积层8x，第四残差单元包括依次连接的第四单独卷积层及第四重复执行卷积层8x，第五残差单元包括依次连接的第五单独卷积层及第五重复执行卷积层4x；所述初始卷积层是通道为32、size为3*3的卷积核，输入为样本皮革瑕疵图像数据集，第一重复执行卷积层1x、第二重复执行卷积层2x、第三重复执行卷积层8x、第四重复执行卷积层8x及第五重复执行卷积层4x分别重复执行1次、2次、8次、8次、4次，滤波器数量先减半，再恢复，一共是52层；多尺度预测与特征融合模块的输入包括第五重复执行卷积层4x输出的第一预测尺度Scale1样本皮革瑕疵图像特征、第四重复执行卷积层8x输出的第二预测尺度Scale2样本皮革瑕疵图像特征及第三重复执行卷积层8x输出的第三预测尺度Scale3样本皮革瑕疵图像特征。
优选地，基于kmeans聚类算法改进YOLOv3目标神经网络模型的过程为：
S101.从边框标注后的样本皮革瑕疵图像数据集中随机选定k个标注边框作为初始聚类中心，每个初始聚类中心存放皮革瑕疵中瑕疵边框的宽和高；
S102.基于交并比IoU计算数据集中的每个真实瑕疵边框xj到每个初始聚类中心ki的质心的距离di，然后将真实瑕疵边框按距离最小的分配原则分配到最邻近聚类簇，距离di求解表达式为：
di(xj)＝1-IoU(xj,ki)
其中，xj表示数据集中的所有真实瑕疵边框中的第j个真实边框；ki表示k个初始聚类中心中第i个初始聚类中心；
S103.利用每个聚类簇的真实瑕疵边框样本均值更新聚类中心；
S104.重复步骤S102和步骤S103，直至聚类中心不再发生变化，得到最终的聚类中心和划分的k个聚类簇；
S105.YOLOv3目标神经网络模型的检测输出层识别瑕疵时基于anchor box实现，将k个聚类簇作为anchor box新的anchor值，改进YOLOv3目标神经网络模型。
在此，考虑皮革瑕疵的大小类型不同，通过kmeans聚类算法重新聚类anchor box，改进YOLOv3检测输出层的anchor box，将k个聚类簇作为anchor box新的anchor值，新的anchor值更加适合皮革大小相差较大的瑕疵，提高了皮革瑕疵检测的准确率。
优选地，基于标签平滑技术改进YOLOv3目标神经网络模型的过程为：
设以交叉熵损失函数作为YOLOv3目标神经网络模型的预测损失，表达式为：
L＝-[y log p+(1-y)log(1-p)]
其中，y表示真实值，p表示预测值；在检测瑕疵准确时，p＝1，否则，p＝0；
利用标签平滑技术对YOLOv3目标神经网络模型的交叉熵损失函数进行标签平滑，表达式为：
其中，l表示瑕疵类型的总数，ε是一个介于0～1之间的常数，为惩罚参数；经标签平滑后，在检测瑕疵准确时，p＝1-ε，否则，p＝0。
在此，考虑皮革本身背景的复杂性和干扰性，对YOLOv3目标神经网络模型的交叉熵损失函数中加入标签平滑，防止过拟合，提高模型的泛化性，可以降低误检率，一定程度缓解误检皮革背景的问题。
优选地，利用训练集对改进的YOLOv3目标神经网络模型进行训练之前还包括对训练集、验证集及测试集的图像数据进行数据增强，数据增强方式包括颜色扩增、平移、尺度变换以及随机剪裁。
在此，采用数据增强的方式以提高数据的多样性，从而保证数据在后续应用在模型中时，提高模型的泛化能力。
优选地，利用训练集对改进的YOLOv3目标神经网络模型进行训练的过程为：
设置训练基本参数，选定优化器，设定最大迭代轮次N，利用梯度下降法对改进的YOLOv3目标神经网络模型进行训练，训练目标以YOLOv3目标神经网络模型的mAP精度衡量，在每一迭代轮次训练结束后，利用验证集验证训练中的YOLOv3目标神经网络模型的性能，以精准率Precision和召回率Recall衡量，在达到最大迭代轮次N时，训练结束，得到最终训练好的YOLOv3目标神经网络模型。
本发明还提出一种基于改进YOLOv3的皮革瑕疵检测***，所述***包括：
图像数据集构建标注模块，用于构建样本皮革瑕疵图像数据集，对数据集中的皮革瑕疵进行边框标注；
数据集划分模块，将边框标注后的样本皮革瑕疵图像数据集划分为训练集、验证集和测试集；
目标神经网络模型构建模块，用于构建YOLOv3目标神经网络模型，基于kmeans聚类算法及标签平滑技术，改进YOLOv3目标神经网络模型；
目标神经网络模型训练模块，利用训练集对改进的YOLOv3目标神经网络模型进行训练，并通过验证集验证训练中的YOLOv3目标神经网络模型的性能，得到最终训练好的YOLOv3目标神经网络模型；
测试模块，基于训练好的YOLOv3目标神经网络模型，对测试集图像数据进行皮革瑕疵检测。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种基于改进YOLOv3的皮革瑕疵检测方法及***，首先构建了YOLOv3目标神经网络模型，然后考虑皮革中瑕疵大小以及皮革瑕疵背景比较复杂的问题，基于kmeans聚类算法及标签平滑技术，改进YOLOv3目标神经网络模型，基于样本皮革瑕疵图像数据集对改进的YOLOv3目标神经网络模型进行训练和验证，得到最终训练好的YOLOv3目标神经网络模型，用于皮革瑕疵检测。本发明技术方案通过改进YOLOv3提高了模型的泛化性，降低了瑕疵误检漏检概率，进一步提高了皮革瑕疵检测的准确率。
附图说明
图1表示本发明实施例1中提出的基于改进YOLOv3的皮革瑕疵检测方法的流程示意图；
图2表示本发明实施例1中提出的改进的YOLOv3目标神经网络模型的结构图；
图3表示本发明实施例1中提出的使用经典YOLOv3算法进行第一种皮革瑕疵检测的检测效果图；
图4表示本发明实施例1中提出的基于改进的YOLOv3目标神经网络模型进行第一种皮革瑕疵检测的检测效果图；
图5表示本发明实施例1中提出的使用经典YOLOv3算法进行第二种皮革瑕疵检测的检测效果图；
图6表示本发明实施例1中提出的基于改进的YOLOv3目标神经网络模型进行第二种皮革瑕疵检测的检测效果图；
图7表示本发明实施例1中提出的使用经典YOLOv3算法时，各项指标随着迭代训练轮次的变化所表现出的变化趋势示意图；
图8表示本发明实施例1中提出的基于改进的YOLOv3目标神经网络模型时，各项指标随着迭代训练轮次的变化所表现出的变化趋势示意图；
图9表示本发明实施例2中提出的基于改进YOLOv3的皮革瑕疵检测***的结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，本发明实施例提出了一种基于改进YOLOv3的皮革瑕疵检测方法，所述方法包括以下步骤：
S1.构建样本皮革瑕疵图像数据集，并对数据集中的皮革瑕疵进行边框标注；在本实施例中，样本皮革瑕疵图像数据集均来自实际的皮革生产工厂，数据集中的皮革瑕疵的类型包括：bubble气泡、dirt污渍、stripe条纹、hole孔洞、ribbon色线，皮革瑕疵可以通过专用的软件标注笔进行边框标注。
S2.将边框标注后的样本皮革瑕疵图像数据集划分为训练集、验证集和测试集；
在本实施例中，为保证划分后的样本皮革瑕疵图像数据集中的每一个图像数据更贴合实际情况中数据的随机不确定性，将样本皮革瑕疵图像数据集划分为训练集、验证集和测试集时，划分到训练集、验证集和测试集中的样本皮革瑕疵图像均通过随机抽样法从样本皮革瑕疵图像数据集中获得。
S3.构建YOLOv3目标神经网络模型，基于kmeans聚类算法及标签平滑技术，改进YOLOv3目标神经网络模型；
参见图2，构建的YOLOv3目标神经网络模型包括Darknet53特征提取模块1、多尺度预测与特征融合模块2，Darknet53特征提取模块1用于提取样本皮革瑕疵图像特征，提取样本皮革瑕疵图像特征后，将样本皮革瑕疵图像特征输出至多尺度预测与特征融合模块2，多尺度预测与特征融合模块2包括三个卷积层网络Convs及检测输出层22，三个卷积层网络Convs用标记21表示，Darknet-53特征提取模块1提取样本皮革瑕疵图像特征后，输出三个预测尺度的样本皮革瑕疵图像特征，三个预测尺度的样本皮革瑕疵图像特征经过三个卷积层网络Convs后，每一个卷积层网络Convs的一条分支输出为检测输出，另一条经过2倍上采样与Darknet-53特征提取模块1输出的三个预测尺度的样本皮革瑕疵图像特征进行特征融合，最后通过检测输出层22识别瑕疵，Darknet-53特征提取模块1包括依次连接的初始卷积层11、第一残差单元12、第二残差单元13、第三残差单元14、第四残差单元15及第五残差单元16，第一残差单元12包括依次连接的第一单独卷积层及第一重复执行卷积层1x，第二残差单元13包括依次连接的第二单独卷积层及第二重复执行卷积层2x，第三残差单元14包括依次连接的第三单独卷积层及第三重复执行卷积层8x，第四残差单元15包括依次连接的第四单独卷积层及第四重复执行卷积层8x，第五残差单元16包括依次连接的第五单独卷积层及第五重复执行卷积层4x；所述初始卷积层12是通道为32、size为3*3的卷积核，输入为样本皮革瑕疵图像数据集，第一重复执行卷积层1x、第二重复执行卷积层2x、第三重复执行卷积层8x、第四重复执行卷积层8x及第五重复执行卷积层4x分别重复执行1次、2次、8次、8次、4次，滤波器数量先减半，再恢复，一共是52层；多尺度预测与特征融合模块2的输入包括第五重复执行卷积层4x输出的第一预测尺度Scale1样本皮革瑕疵图像特征、第四重复执行卷积层8x输出的第二预测尺度Scale2样本皮革瑕疵图像特征及第三重复执行卷积层8x输出的第三预测尺度Scale3样本皮革瑕疵图像特征。
在此，多尺度预测与特征融合模块经上采样，YOLOv3中对前面两层得到的featuremap进行2倍上采样，将更之前得到的feature map与经过上采样得到的feature map进行连接，这种方法可以获得上采样层的语义信息以及更之前层的细粒度信息，将合并得到的feature map经过几个卷积层处理最终得到一个之前层两倍大小的张量。
对于基础的YOLOv3目标神经网络模型，考虑皮革瑕疵的大小类型不同，通过kmeans聚类算法重新聚类anchor box，改进YOLOv3检测输出层的anchor box，基于kmeans聚类算法改进YOLOv3目标神经网络模型的过程为：
S101.从边框标注后的样本皮革瑕疵图像数据集中随机选定k个标注边框作为初始聚类中心，每个初始聚类中心存放皮革瑕疵中瑕疵边框的宽和高；
S102.基于交并比IoU计算数据集中的每个真实瑕疵边框xj到每个初始聚类中心ki的质心的距离di，然后将真实瑕疵边框按距离最小的分配原则分配到最邻近聚类簇，距离di求解表达式为：
di(xj)＝1-IoU(xj,ki)
其中，xj表示数据集中的所有真实瑕疵边框中的第j个真实边框；ki表示k个初始聚类中心中第i个初始聚类中心；交并比计算公式为：
S103.利用每个聚类簇的真实瑕疵边框样本均值更新聚类中心；因为聚类中心更新的具体做法是本领域比较熟知的内容，此处不再赘述。
S104.重复步骤S102和步骤S103，直至聚类中心不再发生变化，得到最终的聚类中心和划分的k个聚类簇；
S105.YOLOv3目标神经网络模型的检测输出层识别瑕疵时基于anchor box实现，将k个聚类簇作为anchor box新的anchor值，改进YOLOv3目标神经网络模型。
除此之外，考虑皮革本身背景的复杂性和干扰性，对于YOLOv3目标神经网络模型还包括：基于标签平滑技术改进YOLOv3目标神经网络模型的交叉熵损失函数，设以交叉熵损失函数作为YOLOv3目标神经网络模型的预测损失，表达式为：
L＝-[y log p+(1-y)log(1-p)]
其中，y表示真实值，p表示预测值；在检测瑕疵准确时，p＝1，否则，p＝0；
利用标签平滑技术对YOLOv3目标神经网络模型的交叉熵损失函数进行标签平滑，表达式为：
其中，l表示瑕疵类型的总数，ε是一个介于0～1之间的常数，为惩罚参数；经标签平滑后，在检测瑕疵准确时，p＝1-ε，否则，p＝0。对YOLOv3目标神经网络模型的交叉熵损失函数中加入标签平滑，防止过拟合，提高模型的泛化性，可以降低误检率，一定程度缓解误检皮革背景的问题，在本发明实施例中，ε的值设为0.1，通过标签平滑的方式，降低了模型的置信度，例如当输入x＝[0,1]时，用标签平滑对其改动为：
[0,1]×(1-0.1)+0.5×0.1＝[0.05,0.95]
输入由原来的[0,1]变成了[0.05,0.95],即原来分类准确的时p＝1，不准确时p＝0；在经过标签平滑后分别变为了p＝1-ε和ε。
S4.利用训练集对改进的YOLOv3目标神经网络模型进行训练，并通过验证集验证训练中的YOLOv3目标神经网络模型的性能，得到最终训练好的YOLOv3目标神经网络模型；
利用训练集对改进的YOLOv3目标神经网络模型进行训练之前还包括对训练集、验证集及测试集的图像数据进行数据增强，数据增强方式包括颜色扩增、平移、尺度变换以及随机剪裁。采用数据增强的方式以提高数据的多样性，从而保证数据在后续应用在模型中时，提高模型的泛化能力。
利用训练集对改进的YOLOv3目标神经网络模型进行训练的过程为：
设置训练基本参数，选定优化器，设定最大迭代轮次N，在每一迭代轮次训练结束后，利用验证集验证训练中的YOLOv3目标神经网络模型的性能，以均值平均精度mAP衡量，在达到最大迭代轮次N时，训练结束，得到最终训练好的YOLOv3目标神经网络模型。
其中，精准率Precision和召回率Recall的计算公式为：
其中，若检测框中有一个目标，标记为TP，反之则标记为FP；若检测框内中有一个目标，标记为FN，反之则标记为TN。
S4.基于训练好的YOLOv3目标神经网络模型，对测试集图像数据进行皮革瑕疵检测。
下面结合实际的试验验证本发明实施例1中提出的方法的有效性。试验主要在PC端完成，PC端的主要配置为CPU:i7－9700K，GPU:NVIDIA RTX-2070 8GB，内存:16GB，***:Ubuntu 18.04，框架:Pytorch，语言:Python。主要参数有：Batch_size等于4，激活函数为LeakyRelu，NMS测试阈值等于0.6，学***移、尺度变换以及随机剪裁，每个步骤均以0.5的概率选择是否使用。采用随机抽样法将样本皮革瑕疵图像数据集中16095张图像集作为用于训练目标神经网络模型的训练集，179张图像集用于训练目标神经网络模型的验证集，另外1609张图像集用于测试目标神经网络模型的测试集；利用标注工具对数据集中的皮革瑕疵进行边框标注，从边框标注后的样本皮革瑕疵图像数据集中随机选定k个标注边框作为初始聚类中心，在本实验中，k取9，经过步骤S101～S105后，聚类得到的anchors的值如表1所示。
表1
将9个新的anchor值聚类簇作为anchor box的anchor值，改进YOLOv3目标神经网络模型，得到最终的改进的YOLOv3目标神经网络模型如图2所示，然后对YOLOv3目标神经网络模型交叉熵损失函数进行标签平滑。结合上述参数设置，利用训练集对改进的YOLOv3目标神经网络模型进行训练，训练目标以YOLOv3目标神经网络模型的mAP精度衡量，在每一迭代轮次训练结束后，利用验证集验证训练中的YOLOv3目标神经网络模型的性能，以精准率Precision和召回率Recall衡量，在达到最大迭代轮次N时，训练结束，实质上，没有绝对的结束标志，当mAP近乎饱和，不再有明显提升时就可以结束，训练得到最终训练好的YOLOv3目标神经网络模型。为验证本发明实施例中提出的改进的YOLOv3目标神经网络模型的有效性，将其与使用经典YOLOv3算法的测试效果进行对比，图3表示使用经典YOLOv3算法进行第一种皮革瑕疵检测的检测效果图，图4表示基于改进的YOLOv3目标神经网络模型进行第一种皮革瑕疵检测的检测效果图，两幅图针对同一种皮革的瑕疵检测，图3和图4中的边框表示不同的皮革瑕疵；图5表示使用经典YOLOv3算法进行第二种皮革瑕疵检测的检测效果图；图6表示基于改进的YOLOv3目标神经网络模型进行第二种皮革瑕疵检测的检测效果图；两幅图针对同一种皮革的瑕疵检测，图5和图6中的边框表示不同的皮革瑕疵；分别通过图3和图4对比，图5和图6对比可以看出，经典YOLOv3算法精度低且存在漏检的项目，改进后的模型可以缓解漏检的缺陷，同时也能提高检测精度，使用基于改进YOLOv3的皮革瑕疵检测算法对皮革瑕疵检测准确性能起到了一定的提升作用。
图7表示使用经典YOLOv3算法时，各项指标随着迭代训练轮次的变化所表现出的变化趋势示意图；图8表示基于改进的YOLOv3目标神经网络模型时，各项指标随着迭代训练轮次的变化所表现出的变化趋势示意图；参见图7及图8，所有趋势图中的横坐标均表示迭代训练轮次，纵坐标依次为各项指标，分别为交并比IoU、损失函数Objectness、精准率Precision、召回率Recall、mAP及F1指数随着迭代训练轮次的变化所表现出的变化趋势示意图；mAP@＝0.5是指IoU＝0.5时测得模型的精度；F1指数的计算公式为：
取epoch第一次和最后一次时的执行结果，可得出测试结果如表2所示：
表2
由表2可以看出，在经过100次迭代训练之后，改进后YOLOv3的效果好于经典YOLOv3的效果；重点分析epoch为99时的几个常见参数，经典YOLOv3的精准率为0.488，改进后YOLOv3的精准率为0.804，提高了0.316；经典YOLOv3的召回率为0.619，改进后YOLOv3的精准率为0.747，提高了0.128；经典YOLOv3的[email protected]为0.498，改进后YOLOv3的[email protected]为0.751，提高了0.261；经典YOLOv3的F1为0.524，改进后YOLOv3的F1为0.751，提高了0.227。本发明只训练了epoch为100，却也证明了改进后YOLOv3算法优于改进前的。
实施例2
如图9所示，本发明还提出一种基于改进YOLOv3的皮革瑕疵检测***，用于实现实施例1所述的方法，包括：
图像数据集构建标注模块，用于构建样本皮革瑕疵图像数据集，对数据集中的皮革瑕疵进行边框标注；
数据集划分模块，将边框标注后的样本皮革瑕疵图像数据集划分为训练集、验证集和测试集；
目标神经网络模型构建模块，用于构建YOLOv3目标神经网络模型，基于kmeans聚类算法及标签平滑技术，改进YOLOv3目标神经网络模型；
目标神经网络模型训练模块，利用训练集对改进的YOLOv3目标神经网络模型进行训练，并通过验证集验证训练中的YOLOv3目标神经网络模型的性能，得到最终训练好的YOLOv3目标神经网络模型；
测试模块，基于训练好的YOLOv3目标神经网络模型，对测试集图像数据进行皮革瑕疵检测。
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于改进YOLOv3的皮革瑕疵检测方法，其特征在于，所述方法包括以下步骤：
构建样本皮革瑕疵图像数据集，并对数据集中的皮革瑕疵进行边框标注；
将边框标注后的样本皮革瑕疵图像数据集划分为训练集、验证集和测试集；
构建YOLOv3目标神经网络模型，基于kmeans聚类算法及标签平滑技术，改进YOLOv3目标神经网络模型；
利用训练集对改进的YOLOv3目标神经网络模型进行训练，并通过验证集验证训练中的YOLOv3目标神经网络模型的性能，得到最终训练好的YOLOv3目标神经网络模型；
基于训练好的YOLOv3目标神经网络模型，对测试集图像数据进行皮革瑕疵检测。
2.根据权利要求1所述的基于改进YOLOv3的皮革瑕疵检测方法，其特征在于，所述数据集中的皮革瑕疵的类型包括：bubble气泡、dirt污渍、stripe条纹、hole孔洞、ribbon色线。
3.根据权利要求1所述的基于改进YOLOv3的皮革瑕疵检测方法，其特征在于，将样本皮革瑕疵图像数据集划分为训练集、验证集和测试集时，划分到训练集、验证集和测试集中的样本皮革瑕疵图像均通过随机抽样法从样本皮革瑕疵图像数据集中获得。
4.根据权利要求1所述的基于改进YOLOv3的皮革瑕疵检测方法，其特征在于，所述构建的YOLOv3目标神经网络模型包括Darknet53特征提取模块、多尺度预测与特征融合模块，Darknet53特征提取模块用于提取样本皮革瑕疵图像特征，Darknet53特征提取模块提取样本皮革瑕疵图像特征后，将样本皮革瑕疵图像特征输出至多尺度预测与特征融合模块，多尺度预测与特征融合模块包括三个卷积层网络Convs及检测输出层，Darknet-53特征提取模块提取样本皮革瑕疵图像特征后，输出三个预测尺度的样本皮革瑕疵图像特征，三个预测尺度的样本皮革瑕疵图像特征经过三个卷积层网络Convs后，每一个卷积层网络Convs的一条分支输出为检测输出，另一条经过2倍上采样与Darknet-53特征提取模块输出的三个预测尺度的样本皮革瑕疵图像特征进行特征融合，最后通过检测输出层识别瑕疵。
5.根据权利要求4所述的基于改进YOLOv3的皮革瑕疵检测方法，其特征在于，Darknet-53特征提取模块包括依次连接的初始卷积层、第一残差单元、第二残差单元、第三残差单元、第四残差单元及第五残差单元，第一残差单元包括依次连接的第一单独卷积层及第一重复执行卷积层1x，第二残差单元包括依次连接的第二单独卷积层及第二重复执行卷积层2x，第三残差单元包括依次连接的第三单独卷积层及第三重复执行卷积层8x，第四残差单元包括依次连接的第四单独卷积层及第四重复执行卷积层8x，第五残差单元包括依次连接的第五单独卷积层及第五重复执行卷积层4x；所述初始卷积层是通道为32、size为3*3的卷积核，输入为样本皮革瑕疵图像数据集，第一重复执行卷积层1x、第二重复执行卷积层2x、第三重复执行卷积层8x、第四重复执行卷积层8x及第五重复执行卷积层4x分别重复执行1次、2次、8次、8次、4次，滤波器数量先减半，再恢复，一共是52层；多尺度预测与特征融合模块的输入包括第五重复执行卷积层4x输出的第一预测尺度Scale1样本皮革瑕疵图像特征、第四重复执行卷积层8x输出的第二预测尺度Scale2样本皮革瑕疵图像特征及第三重复执行卷积层8x输出的第三预测尺度Scale3样本皮革瑕疵图像特征。
6.根据权利要求5所述的基于改进YOLOv3的皮革瑕疵检测方法，其特征在于，基于kmeans聚类算法改进YOLOv3目标神经网络模型的过程为：
S101.从边框标注后的样本皮革瑕疵图像数据集中随机选定k个标注边框作为初始聚类中心，每个初始聚类中心存放皮革瑕疵中瑕疵边框的宽和高；
S102.基于交并比IoU计算数据集中的每个真实瑕疵边框xj到每个初始聚类中心ki的质心的距离di，然后将真实瑕疵边框按距离最小的分配原则分配到最邻近聚类簇，距离di求解表达式为：
di(xj)＝1-IoU(xj,ki)
其中，xj表示数据集中的所有真实瑕疵边框中的第j个真实边框；ki表示k个初始聚类中心中第i个初始聚类中心；
S103.利用每个聚类簇的真实瑕疵边框样本均值更新聚类中心；
S104.重复步骤S102和步骤S103，直至聚类中心不再发生变化，得到最终的聚类中心和划分的k个聚类簇；
S105.YOLOv3目标神经网络模型的检测输出层识别瑕疵时基于anchor box实现，将k个聚类簇作为anchor box新的anchor值，改进YOLOv3目标神经网络模型。
7.根据权利要求6所述的基于改进YOLOv3的皮革瑕疵检测方法，其特征在于，基于标签平滑技术改进YOLOv3目标神经网络模型的过程为：
设以交叉熵损失函数作为YOLOv3目标神经网络模型的预测损失，表达式为：
L＝-[y log p+(1-y)log(1-p)]
其中，y表示真实值，p表示预测值；在检测瑕疵准确时，p＝1，否则，p＝0；
利用标签平滑技术对YOLOv3目标神经网络模型的交叉熵损失函数进行标签平滑，表达式为：
其中，l表示瑕疵类型的总数，ε是一个介于0～1之间的常数，为惩罚参数；经标签平滑后，在检测瑕疵准确时，p＝1-ε，否则，p＝0。
8.根据权利要求1所述的基于改进YOLOv3的皮革瑕疵检测方法，其特征在于，利用训练集对改进的YOLOv3目标神经网络模型进行训练之前还包括对训练集、验证集及测试集的图像数据进行数据增强，数据增强方式包括颜色扩增、平移、尺度变换以及随机剪裁。
9.根据权利要求7所述的基于改进YOLOv3的皮革瑕疵检测方法，其特征在于，利用训练集对改进的YOLOv3目标神经网络模型进行训练的过程为：
设置训练基本参数，选定优化器，设定最大迭代轮次N，利用梯度下降法对改进的YOLOv3目标神经网络模型进行训练，训练目标以YOLOv3目标神经网络模型的mAP精度衡量，在每一迭代轮次训练结束后，利用验证集验证训练中的YOLOv3目标神经网络模型的性能，以精准率Precision和召回率Recall衡量，在达到最大迭代轮次N时，训练结束，得到最终训练好的YOLOv3目标神经网络模型。
10.一种基于改进YOLOv3的皮革瑕疵检测***，其特征在于，所述***包括：
图像数据集构建标注模块，用于构建样本皮革瑕疵图像数据集，对数据集中的皮革瑕疵进行边框标注；
数据集划分模块，将边框标注后的样本皮革瑕疵图像数据集划分为训练集、验证集和测试集；
目标神经网络模型构建模块，用于构建YOLOv3目标神经网络模型，基于kmeans聚类算法及标签平滑技术，改进YOLOv3目标神经网络模型；
目标神经网络模型训练模块，利用训练集对改进的YOLOv3目标神经网络模型进行训练，并通过验证集验证训练中的YOLOv3目标神经网络模型的性能，得到最终训练好的YOLOv3目标神经网络模型；
测试模块，基于训练好的YOLOv3目标神经网络模型，对测试集图像数据进行皮革瑕疵检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111302497.9A CN114022446B (zh) | 2021-11-04 | 2021-11-04 | 一种基于改进YOLOv3的皮革瑕疵检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111302497.9A CN114022446B (zh) | 2021-11-04 | 2021-11-04 | 一种基于改进YOLOv3的皮革瑕疵检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114022446A true CN114022446A (zh) | 2022-02-08 |
| CN114022446B CN114022446B (zh) | 2024-07-23 |
Family
ID=80061330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111302497.9A Active CN114022446B (zh) | 2021-11-04 | 2021-11-04 | 一种基于改进YOLOv3的皮革瑕疵检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022446B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612472A (zh) * | 2022-05-11 | 2022-06-10 | 泉州装备制造研究所 | 一种基于SegNet改进的皮革缺陷分割网络算法 |
| CN115049619A (zh) * | 2022-06-16 | 2022-09-13 | 浙江理工大学 | 一种针对复杂场景的高效瑕疵检测方法 |
| CN115980322A (zh) * | 2023-02-09 | 2023-04-18 | 百福工业缝纫机（张家港）有限公司 | 一种织物瑕疵智能检测方法及*** |
| CN116106319A (zh) * | 2023-02-14 | 2023-05-12 | 浙江迈沐智能科技有限公司 | 一种合成革瑕疵自动化检测方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104906A (zh) * | 2019-12-19 | 2020-05-05 | 南京工程学院 | 一种基于yolo的输电塔鸟巢故障检测方法 |
| WO2020164282A1 (zh) * | 2019-02-14 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于yolo的图像目标识别方法、装置、电子设备和存储介质 |
| CN111754498A (zh) * | 2020-06-29 | 2020-10-09 | 河南科技大学 | 一种基于YOLOv3的传送带托辊检测方法 |
| WO2020206861A1 (zh) * | 2019-04-08 | 2020-10-15 | 江西理工大学 | 基于YOLO v3的针对交通枢纽关键物体的检测方法 |
| CN112184679A (zh) * | 2020-09-30 | 2021-01-05 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于YOLOv3的酒瓶瑕疵自动检测方法 |
| CN113192040A (zh) * | 2021-05-10 | 2021-07-30 | 浙江理工大学 | 一种基于YOLO v4改进算法的织物瑕疵检测方法 |
-
2021
- 2021-11-04 CN CN202111302497.9A patent/CN114022446B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020164282A1 (zh) * | 2019-02-14 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于yolo的图像目标识别方法、装置、电子设备和存储介质 |
| WO2020206861A1 (zh) * | 2019-04-08 | 2020-10-15 | 江西理工大学 | 基于YOLO v3的针对交通枢纽关键物体的检测方法 |
| CN111104906A (zh) * | 2019-12-19 | 2020-05-05 | 南京工程学院 | 一种基于yolo的输电塔鸟巢故障检测方法 |
| CN111754498A (zh) * | 2020-06-29 | 2020-10-09 | 河南科技大学 | 一种基于YOLOv3的传送带托辊检测方法 |
| CN112184679A (zh) * | 2020-09-30 | 2021-01-05 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于YOLOv3的酒瓶瑕疵自动检测方法 |
| CN113192040A (zh) * | 2021-05-10 | 2021-07-30 | 浙江理工大学 | 一种基于YOLO v4改进算法的织物瑕疵检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 朱凌云;严飞华;李汶松: "基于视觉显著度的皮革表面瑕疵检测", 计算机工程与科学, vol. 38, no. 3, 15 March 2016 (2016-03-15) * |
| 胡贵桂;: "改进的YOLOv3算法在道路环境目标检测中的应用", 汽车实用技术, no. 05, 15 March 2020 (2020-03-15) * |
| 钟润阳;戴青云;周科;王美林;刘源;刘泽禧;: "基于RFID的Web实时***构建与实现", 现代计算机(专业版), no. 09, 25 September 2008 (2008-09-25) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612472A (zh) * | 2022-05-11 | 2022-06-10 | 泉州装备制造研究所 | 一种基于SegNet改进的皮革缺陷分割网络算法 |
| CN115049619A (zh) * | 2022-06-16 | 2022-09-13 | 浙江理工大学 | 一种针对复杂场景的高效瑕疵检测方法 |
| CN115049619B (zh) * | 2022-06-16 | 2024-04-09 | 浙江理工大学 | 一种针对复杂场景的高效瑕疵检测方法 |
| CN115980322A (zh) * | 2023-02-09 | 2023-04-18 | 百福工业缝纫机（张家港）有限公司 | 一种织物瑕疵智能检测方法及*** |
| CN116106319A (zh) * | 2023-02-14 | 2023-05-12 | 浙江迈沐智能科技有限公司 | 一种合成革瑕疵自动化检测方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114022446B (zh) | 2024-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114022446A (zh) | 一种基于改进YOLOv3的皮革瑕疵检测方法及*** | |
| CN110660052B (zh) | 一种基于深度学习的热轧带钢表面缺陷检测方法 | |
| CN109214399B (zh) | 一种嵌入SENet结构的改进YOLOV3目标识别方法 | |
| CN110675370A (zh) | 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法 | |
| CN109241808A (zh) | 一种时尚图像中二维码自动筛选方法 | |
| CN109978872B (zh) | 基于白质纤维束的白质微结构特征筛选***及方法 | |
| CN109509170A (zh) | 一种压铸件缺陷检测方法及装置 | |
| CN109255289A (zh) | 一种基于统一式生成模型的跨衰老人脸识别方法 | |
| CN113393438B (zh) | 一种基于卷积神经网络的树脂镜片缺陷检测方法 | |
| CN109685030A (zh) | 一种基于卷积神经网络的马克杯杯口缺陷检测分类方法 | |
| CN114170411A (zh) | 一种融合多尺度信息的图片情感识别方法 | |
| CN114511710A (zh) | 一种基于卷积神经网络的图像目标检测方法 | |
| CN113011243A (zh) | 基于胶囊网络的面部表情分析方法 | |
| CN109523514A (zh) | 对逆合成孔径雷达isar的批量成像质量评估方法 | |
| CN108154199B (zh) | 一种基于深度学习的高精度快速单类目标检测方法 | |
| CN110188662A (zh) | 一种水表数字的ai智能识别方法 | |
| CN107563327B (zh) | 一种基于自步反馈的行人重识别方法及*** | |
| CN117576038A (zh) | 基于YOLOv8网络的织物瑕疵检测方法及*** | |
| CN117437186A (zh) | 一种基于深度学习算法的透明件表面缺陷检测方法及*** | |
| CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 | |
| CN117058716A (zh) | 基于图像预融合的跨域行为识别方法及装置 | |
| CN117079099A (zh) | 一种基于改进YOLOv8n的违规行为检测方法 | |
| CN113627522B (zh) | 基于关系网络的图像分类方法、装置、设备及存储介质 | |
| CN113450321B (zh) | 基于边缘检测的单阶段目标检测方法 | |
| CN114898215A (zh) | 一种声屏障自动布置方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |