CN113838034A - 基于机器视觉的糖果包装表面缺陷快速检测方法 - Google Patents
基于机器视觉的糖果包装表面缺陷快速检测方法 Download PDFInfo
- Publication number
- CN113838034A CN113838034A CN202111137495.9A CN202111137495A CN113838034A CN 113838034 A CN113838034 A CN 113838034A CN 202111137495 A CN202111137495 A CN 202111137495A CN 113838034 A CN113838034 A CN 113838034A
- Authority
- CN
- China
- Prior art keywords
- model
- defect
- image
- detection
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 230000007547 defect Effects 0.000 title claims abstract description 64
- 235000009508 confectionery Nutrition 0.000 title claims abstract description 51
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 40
- 230000002950 deficient Effects 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000012854 evaluation process Methods 0.000 claims description 2
- 238000004880 explosion Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 230000010355 oscillation Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 230000008030 elimination Effects 0.000 abstract description 6
- 238000003379 elimination reaction Methods 0.000 abstract description 6
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于机器视觉的糖果包装缺陷快速检测方法，包括：(1)图像采集；(2)图像处理，图像处理***中基于深度学习的缺陷快速检测算法，算法为改进的VGG16深度学习模型，通过对产线上真实的糖果数据集进行预处理、训练、评估与优化得到，检测为缺陷时，发出不良品信号；(3)不良品剔除，剔除***接受不良品信号并执行剔除操作。本发明实现了糖果包装缺陷的在线检测与剔除，图像采集速率、不合格品识别速率与剔除速率均能满足每秒10颗糖的生产速率，解决人工检测精度低、成本高问题的同时，大幅提高了缺陷检测的效率和可靠性；易于扩展到其他领域的缺陷在线检测，如同类型产品包装缺陷在线检测、手机壳缺陷在线检测。
Description
技术领域
本发明属于人工智能技术和基于机器视觉的产品外包装缺陷快速检测领域，具体涉及一种糖果包装表面缺陷的快速检测方法。
背景技术
现代自动化生产线中，糖果包装表面可能会存在缺陷，这种产品为不合格品，减少不合格品流入市场能够给消费者带来好的感官体验，增加产品的竞争力。糖果包装生产线的出料速度一般很快，达到0.1s/颗的速度，包装的过程中，由于机械振动或其他环境因素会造成包装破损、空囊、褶皱等质量问题。传统的检测方法是人工目视法检查包装是否存在缺陷，但人工检测存在效率低、准确率低和成本高的问题。依据机器视觉原理的在线检测可以解决上述问题。机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、I/O卡等)。一个典型的机器视觉应用***包括图像捕捉、光源***、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。
对糖果包装缺陷的在线判别需要匹配生产线的实时生产速度的同时还要保证一定的准确率，故在线检测对视觉器件、软件算法以及剔除机构都有一定的要求。首先为了满足实时检测，需设置产品拍照的触发条件，工业相机的分辨率和图像传输速率也需要考虑。图像的识别采用深度卷积网络，深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
本发明提出了一种基于机器视觉的糖果包装缺陷快速检测方法，方法核心是基于深度学习的缺陷快速检测算法，单个糖果检测时间小于0.1s，配合硬件***实现糖果包装缺陷的在线检测与不良品剔除。
发明内容
1、本发明的目的
本发明的目的是提供一种糖果包装缺陷快速检测方法，实现包装缺陷糖果的在线检测和剔除，本发明的核心是提供一种基于深度学习的包装缺陷快速检测算法。
2、本发明所采用的技术方案
本发明提出了一种基于机器视觉的糖果包装缺陷快速检测方法，包括：
步骤1：图像采集
采用彩色面阵相机配合平面无影光源打光拍摄得到高速运动的糖果表面图像，并将图像存储与相机缓存；
步骤2：图像处理
基于深度学习的缺陷快速检测算法读取图像，出现包装缺陷糖果时，发送不良品信号给剔除***；
步骤2.1：图像预处理，具体为转换数据格式、图像尺寸调整、数据集划分和数据增强；
步骤2.2：缺陷快速检测算法的构建与模型训练，将预处理后的数据输入缺陷识别网络，训练出缺陷检测模型，获得糖果包装缺陷分类结果；
步骤2.3：模型性能评估，将训练后得到的模型进行性能评估；
步骤2.4：模型优化，结合步骤2.3评估的结果，对模型进行进一步的优化；
步骤3：不良品剔除
接受到不良品信号，剔除***迅速做出反应，翻转剔除不良品。
优选的，所述的步骤1中，采用彩色面阵工业相机，经过调整竖直方向位置对不同类型的产品包装进行检测；使用的平面无影光源能有效消除铝塑包装产生的反光，提高缺陷检测与分类的准确率；通过红外对射传感器灵敏捕捉糖果经过，并触发拍照。
优选的，所述的步骤2.1中，转换数据格式与尺寸调整过程是将图像数据集的格式转换为面向Keras框架的数据输入格式，工业相机内获取的图像原始格式为BYTE，需要转换为Mat矩阵才能够输入神经网络中进行处理，直接拍摄得到的图像像素大小为1000×1000×3，为了提高图像处理速度与识别速度，通过图像插值将图像尺寸调整为150×150×3；数据集划分过程是将数据集按8:2的比例划分为训练集和测试集；数据增强过程是将训练集中的图像进行旋转、平移、翻转、尺度变换、缩放和随机裁剪，扩大训练集规模，增强模型的泛化能力。
优选的，所述的步骤2.2中，通过深度学习神经网络来对输入的图像进行分类检测，将VGG16卷积基部分作为特征提取的预训练网络并添加全连接层作为分类器组成缺陷识别网络，训练模型过程，首先冻结主干卷积网络，使用训练集训练分类器以及调整超参数；然后加载训练好的模型，解冻靠近分类器的卷积块，利用训练集对模型解冻的卷积层和分类器再次训练，进一步提高模型的准确度；最终模型以.h5文件形式保存于模型所在文件夹中；超参数包括学习率、批量大小、迭代次数；VGG16模型的训练过程即为权重更新的过程，权重更新包含如下激活函数、损失函数与优化器；卷积层内部选取Relu激活函数，函数公式为：
f(x)＝max(0,x)
其中x为神经网络每一层的输出；全连接层采用Softmax函数，将多分类结果以概率形式展现出来，函数公式为：
VGG16神经网络最后一层输出层C个神经元，其中Wy为最后一层第y个神经元的权重，Wc为每一个神经元的权重；选取categorical crossentropy分类交叉熵函数作为损失函数，步骤如下：
n为样本数，m为分类数，yim为判断输入属于第m类的概率，
为输入实际属于的类别，该变量为0或1；交叉熵函数为多输出损失函数，其损失值也为多个；
…
使用RMSprop作为优化器，限制垂直方向上的振荡，使模型快速收敛，算法方程如下：
vdw＝β·vdw+(1-β)·dw2
vdb＝β·vdw+(1-β)·db2
dW和db为mini-batch下的微分，vdW与vdb为指数加权平均数，β表示动量值，设置为0.9；参数∈用于防止vdw接近0时导致的权值***和梯度上升，α为超参数。
优选的，在步骤2.3中，缺陷分类精度评估过程，使用未参与训练的测试集作为评估用数据集，最终模型在测试集上表现优异；具体地，以精准率Precision和召回率Recall作为评估指标；精准率衡量的是所有预测为正例的结果中，预测正确的比例；召回率衡量的是实际的正例有多少被模型预测为正例；TP为真正例的数量、TN为真反例的数量、FP为假正例的数量、FN为假反例的数量；
优选的，在步骤2.3中，检测速度评估，需要待模型稳定运行一段时间后，以单张图片检测速度作为评估指标，生产线中单台机器每分钟的糖果产出为500颗，因此单张图片的检测时长需要低于0.1s；模型需要在首次运行时加载模型文件，故运行第二次以后且稳定运行模型的单张图片检测时间才作为合理评估模型好坏的评价指标，如果低于0.1s则为可接受的。
优选的，在步骤2.4中，分析步骤2.3中的评估指标，检测精度与检测速度是一对相互制约的指标，需要在保证检测速度的前提下提升检测精度，以满足检测的实时性和较高的精度。
一种基于机器视觉的糖果包装缺陷快速检测装置，包括存储器和处理器，存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的方法步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现所述的方法步骤。
3、本发明所采用的有益效果
(1)本发明设计了通过传感器触发的在线拍摄视觉硬件***，采用彩色面阵工业相机清晰采集高速运动糖果的表面图像，采用平面无影光源有效消除了铝塑包装产生的反光，检测与剔除均能匹配糖果生产线的2m/s的实际生产速度
(2)本发明为了更好地提取糖果图片的缺陷特征，基于VGG16的卷积基部分作为特征提取网络，添加两层全连接层组成的分类器，用糖果图片训练集对分类器进行训练，并解冻部分卷积块并利用相同的糖果训练集对模型进行微调，得到了更适合糖果缺陷分类的模型。
(3)本发明利用的数据增强技术可以丰富训练数据的分布、提高模型的泛化能力和鲁棒性以及防止过度拟合，克服了糖果缺陷品样本不够全面导致的模型表现差的问题。
(4)软硬件数据交互，自动检测与剔除，解放人力。有用户交互界面，可以对缺陷品进行溯源，从源头减少缺陷品的产生，避免漏检和误检，降低操作人员的劳动程度，提高生产线的自动化程度。
附图说明
图1糖果包装缺陷检测方法示意图。
图2糖果包装缺陷检测装置结构示意图。
图3缺陷检测算法搭建流程图。
图4缺陷检测网络结构图。
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
实施例1
请参阅图1与图2，一种基于机器视觉的糖果包装缺陷快速检测方法，具体实施步骤如下：
步骤1：图像采集。
具体为，糖果从生产线中完成包装后，通过传送带进入图像采集单元后，到达平面无影光源正下方，触发红外传感器，从而发出信号给工业相机触发拍照，并保存到相机内存中。
步骤2：图像处理。
图像处理软件接收到处理器内存中的图片后自动做出判断，若判断为不合格，便迅速将不良品信号传递给剔除机构。
步骤3：缺陷品剔除。
接受到不良品信号后，传输信号给到PLC，PLC控制翻转装置剔除掉不合格品，合格产品进入下一道工序。
请参阅图3，本发明的核心为基于深度学习的包装缺陷快速检测算法，包括以下步骤：
步骤2.1：图像预处理。
具体为，以采集得到的图像所在文件夹路径为参数，经过数据提升、归一化后得到面向Keras框架的批量数据输入格式，其中输入图片尺寸均调整为150×150×3，批量大小为10。对数据集划分成训练集400张(5种类型各80张)，测试集100张(5种类型各20张)。对训练集图像随机进行旋转、平移、翻转、尺度变换、缩放和裁剪等数据增强操作，增强后生成的训练集共1800张图像。
步骤2.2：缺陷识别模型训练。
本发明中涉及的缺陷识别网络采用Windows操作***，编程语言为Python，深度学习框架Keras进行运算。首先在VGG16卷积层作为预训练模型的基础上添加全连接层(分类器)构成缺陷检测网络如图4所示，开展深度学习模型训练，具体为：使用VGG16主干卷积网络提取特征，在糖果缺陷训练集上对分类器进行第一次训练以及超参数调整，调整超参数时将学习率设为0.00002，批量大小设为10，迭代次数设为20。然后解冻主干卷积神经网络靠近分类器卷积块5，用同样的训练集对分类器和解冻后的部分卷积层进行微调。训练完成后的缺陷分类模型以.h5文件形式保存于模型所在文件夹中。
步骤2.3：在糖果缺陷测试集上对训练得到的模型进行评估。对于检测精度，计算精准率和召回率作为评估指标，首先计算TP(真正例)、FP(假正例)、FN(假反例)和TN(真反例)值，通过以下公式计算得到精准率和召回率：
待模型稳定运行一段时间后，输出单张图片检测速度作为性能评估指标。
在此过程中，共100张图片作为测试集，其中包括40张正常品(正面、背面)和60张缺陷品(连糖、裸糖、虚封)。计算得到平均精确率为：84.4％，平均召回率为：84.4％，其中虚封召回率较低，为63.5％。模型稳定运行后输出的单张图片检测速度为0.25s。
步骤2.4：结合步骤2.3评估的结果，对模型进行进一步的优化。第一，首要条件是满足产线实时性的要求，在全连接层中添加参数为0.5的dropout层减少模型参数缩小模型规模，使得单张预测时间从0.25s缩短至0.07s，满足产线实时性要求。第二，针对虚封召回率低导致检测精度平均值偏低的情况，重新拍摄了虚封缺陷图片数据集50张，并将数据集增强至250张，加入训练集重新训练模型，最终虚封召回率提升至83.2％，平均召回率提升至88.3％，满足检测精度要求。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (9)
1.一种基于机器视觉的糖果包装缺陷快速检测方法，其特征在于：
步骤1：图像采集
采用彩色面阵相机配合平面无影光源打光拍摄得到高速运动的糖果表面图像，并将图像存储与相机缓存；
步骤2：图像处理
基于深度学习的缺陷快速检测算法读取图像，出现包装缺陷糖果时，发送不良品信号给剔除***；
步骤2.1：图像预处理，具体为转换数据格式、图像尺寸调整、数据集划分和数据增强；
步骤2.2：缺陷快速检测算法的构建与模型训练，将预处理后的数据输入缺陷识别网络，训练出缺陷检测模型，获得糖果包装缺陷分类结果；
步骤2.3：模型性能评估，将训练后得到的模型进行性能评估；
步骤2.4：模型优化，结合步骤2.3评估的结果，对模型进行进一步的优化；
步骤3：不良品剔除
接受到不良品信号，剔除***迅速做出反应，翻转剔除不良品。
2.根据权利要求1所述的基于机器视觉的糖果包装缺陷快速检测方法，其特征在于：所述的步骤1中，采用彩色面阵工业相机，经过调整竖直方向位置对不同类型的产品包装进行检测；使用的平面无影光源能有效消除铝塑包装产生的反光，提高缺陷检测与分类的准确率；通过红外对射传感器灵敏捕捉糖果经过，并触发拍照。
3.根据权利要求1所述的基于机器视觉的糖果包装缺陷快速检测方法，其特征在于：所述的步骤2.1中，转换数据格式与尺寸调整过程是将图像数据集的格式转换为面向Keras框架的数据输入格式，工业相机内获取的图像原始格式为BYTE，需要转换为Mat矩阵才能够输入神经网络中进行处理，直接拍摄得到的图像像素大小为1000×1000×3，为了提高图像处理速度与识别速度，通过图像插值将图像尺寸调整为150×150×3；数据集划分过程是将数据集按8:2的比例划分为训练集和测试集；数据增强过程是将训练集中的图像进行旋转、平移、翻转、尺度变换、缩放和随机裁剪，扩大训练集规模，增强模型的泛化能力。
4.根据权利要求3所述的基于机器视觉的糖果包装缺陷快速检测方法，其特征在于：所述的步骤2.2中，通过深度学习神经网络来对输入的图像进行分类检测，将VGG16卷积基部分作为特征提取的预训练网络并添加全连接层作为分类器组成缺陷识别网络，训练模型过程，首先冻结主干卷积网络，使用训练集训练分类器以及调整超参数；然后加载训练好的模型，解冻靠近分类器的卷积块，利用训练集对模型解冻的卷积层和分类器再次训练，进一步提高模型的准确度；最终模型以.h5文件形式保存于模型所在文件夹中；超参数包括学习率、批量大小、迭代次数；VGG16模型的训练过程即为权重更新的过程，权重更新包含如下激活函数、损失函数与优化器；卷积层内部选取Relu激活函数，函数公式为：
f(x＝max(0,x)
其中x为神经网络每一层的输出；全连接层采用Softmax函数，将多分类结果以概率形式展现出来，函数公式为：
VGG16神经网络最后一层输出层C个神经元，其中Wy为最后一层第y个神经元的权重，Wc为每一个神经元的权重；选取categorical crossentropy分类交叉熵函数作为损失函数，步骤如下：
n为样本数，m为分类数，yim为判断输入属于第m类的概率，
为输入实际属于的类别，该变量为0或1；交叉熵函数为多输出损失函数，其损失值也为多个；
…
使用RMSprop作为优化器，限制垂直方向上的振荡，使模型快速收敛，算法方程如下：
vdw＝β·vdw+(1-β)·dw2
vdb＝β·vdw+(1-β)·db2
dW和db为mini-batch下的微分，vdW与vdb为指数加权平均数，β表示动量值，设置为0.9；参数∈用于防止vdw接近0时导致的权值***和梯度上升，α为超参数。
5.根据权利要求4所述的基于机器视觉的糖果包装缺陷快速检测方法，其特征在于：在步骤2.3中，缺陷分类精度评估过程，使用未参与训练的测试集作为评估用数据集，最终模型在测试集上表现优异；具体地，以精准率Precision和召回率Recall作为评估指标；精准率衡量的是所有预测为正例的结果中，预测正确的比例；召回率衡量的是实际的正例有多少被模型预测为正例；TP为真正例的数量、TN为真反例的数量、FP为假正例的数量、FN为假反例的数量；
6.根据权利要求5所述的基于机器视觉的糖果包装缺陷快速检测方法，其特征在于：在步骤2.3中，检测速度评估，需要待模型稳定运行一段时间后，以单张图片检测速度作为评估指标，生产线中单台机器每分钟的糖果产出为500颗，因此单张图片的检测时长需要低于0.1s；模型需要在首次运行时加载模型文件，故运行第二次以后且稳定运行模型的单张图片检测时间才作为合理评估模型好坏的评价指标，如果低于0.1s则为可接受的。
7.根据权利要求6所述的基于机器视觉的糖果包装缺陷快速检测方法，其特征在于：在步骤2.4中，分析步骤2.3中的评估指标，检测精度与检测速度是一对相互制约的指标，需要在保证检测速度的前提下提升检测精度，以满足检测的实时性和较高的精度。
8.一种基于机器视觉的糖果包装缺陷快速检测装置，包括存储器和处理器，存储器存储有计算机程序，其特征在于；所述处理器执行所述计算机程序时实现如权利要求1-7任一所述的方法步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述的计算机程序被处理器执行时实现如权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111137495.9A CN113838034B (zh) | 2021-09-27 | 2021-09-27 | 基于机器视觉的糖果包装表面缺陷快速检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111137495.9A CN113838034B (zh) | 2021-09-27 | 2021-09-27 | 基于机器视觉的糖果包装表面缺陷快速检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113838034A true CN113838034A (zh) | 2021-12-24 |
| CN113838034B CN113838034B (zh) | 2023-11-21 |
Family
ID=78971026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111137495.9A Active CN113838034B (zh) | 2021-09-27 | 2021-09-27 | 基于机器视觉的糖果包装表面缺陷快速检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113838034B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114088730A (zh) * | 2022-01-24 | 2022-02-25 | 心鉴智控(深圳)科技有限公司 | 一种运用图像处理检测铝塑泡罩瑕疵的方法及*** |
| CN114354628A (zh) * | 2022-01-05 | 2022-04-15 | 威海若维信息科技有限公司 | 一种基于机器视觉的根茎类农产品缺陷检测方法 |
| CN114463327A (zh) * | 2022-04-08 | 2022-05-10 | 深圳市睿阳精视科技有限公司 | 电子产品内衬包装水印缺陷的多节拍成像检测设备与方法 |
| CN114577816A (zh) * | 2022-01-18 | 2022-06-03 | 广州超音速自动化科技股份有限公司 | 一种氢燃料双极板检测方法 |
| CN115452842A (zh) * | 2022-10-20 | 2022-12-09 | 颖态智能技术(上海)有限公司 | 一种面向阀口袋包装机的褶皱检测方法 |
| CN116309597A (zh) * | 2023-05-23 | 2023-06-23 | 成都工业学院 | 一种药盒混装缺陷的视觉在线检测方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190088089A (ko) * | 2017-12-26 | 2019-07-26 | 세종대학교산학협력단 | 용접 표면 결점 검출 장치 및 방법 |
| CN110363253A (zh) * | 2019-07-25 | 2019-10-22 | 安徽工业大学 | 一种基于卷积神经网络的热轧带钢表面缺陷分类方法 |
| CN110610475A (zh) * | 2019-07-07 | 2019-12-24 | 河北工业大学 | 一种深度卷积神经网络的视觉缺陷检测方法 |
| WO2020048119A1 (en) * | 2018-09-04 | 2020-03-12 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
| CN111862025A (zh) * | 2020-07-14 | 2020-10-30 | 中国船舶重工集团公司第七一六研究所 | 基于深度学习的pcb缺陷自动检测方法 |
| CN112381787A (zh) * | 2020-11-12 | 2021-02-19 | 福州大学 | 一种基于迁移学习的钢板表面缺陷的分类方法 |
| CN213933621U (zh) * | 2020-10-26 | 2021-08-10 | 力度工业智能科技(苏州)有限公司 | 一种基于机器视觉的糖果包装缺陷检测平台 |
-
2021
- 2021-09-27 CN CN202111137495.9A patent/CN113838034B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190088089A (ko) * | 2017-12-26 | 2019-07-26 | 세종대학교산학협력단 | 용접 표면 결점 검출 장치 및 방법 |
| WO2020048119A1 (en) * | 2018-09-04 | 2020-03-12 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
| CN110610475A (zh) * | 2019-07-07 | 2019-12-24 | 河北工业大学 | 一种深度卷积神经网络的视觉缺陷检测方法 |
| CN110363253A (zh) * | 2019-07-25 | 2019-10-22 | 安徽工业大学 | 一种基于卷积神经网络的热轧带钢表面缺陷分类方法 |
| CN111862025A (zh) * | 2020-07-14 | 2020-10-30 | 中国船舶重工集团公司第七一六研究所 | 基于深度学习的pcb缺陷自动检测方法 |
| CN213933621U (zh) * | 2020-10-26 | 2021-08-10 | 力度工业智能科技(苏州)有限公司 | 一种基于机器视觉的糖果包装缺陷检测平台 |
| CN112381787A (zh) * | 2020-11-12 | 2021-02-19 | 福州大学 | 一种基于迁移学习的钢板表面缺陷的分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张志晟 等: "基于深度学习的易拉罐缺陷检测技术", 包装工程, vol. 41, no. 19, pages 259 - 266 * |
| 项宇杰 等: "基于深度卷积神经网络的木材表面缺陷检测***设计", ***仿真技术, vol. 15, no. 04, pages 253 - 257 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114354628A (zh) * | 2022-01-05 | 2022-04-15 | 威海若维信息科技有限公司 | 一种基于机器视觉的根茎类农产品缺陷检测方法 |
| CN114354628B (zh) * | 2022-01-05 | 2023-10-27 | 威海若维信息科技有限公司 | 一种基于机器视觉的根茎类农产品缺陷检测方法 |
| CN114577816A (zh) * | 2022-01-18 | 2022-06-03 | 广州超音速自动化科技股份有限公司 | 一种氢燃料双极板检测方法 |
| CN114088730A (zh) * | 2022-01-24 | 2022-02-25 | 心鉴智控(深圳)科技有限公司 | 一种运用图像处理检测铝塑泡罩瑕疵的方法及*** |
| CN114463327A (zh) * | 2022-04-08 | 2022-05-10 | 深圳市睿阳精视科技有限公司 | 电子产品内衬包装水印缺陷的多节拍成像检测设备与方法 |
| CN115452842A (zh) * | 2022-10-20 | 2022-12-09 | 颖态智能技术(上海)有限公司 | 一种面向阀口袋包装机的褶皱检测方法 |
| CN116309597A (zh) * | 2023-05-23 | 2023-06-23 | 成都工业学院 | 一种药盒混装缺陷的视觉在线检测方法及装置 |
| CN116309597B (zh) * | 2023-05-23 | 2023-08-01 | 成都工业学院 | 一种药盒混装缺陷的视觉在线检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113838034B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113838034B (zh) | 基于机器视觉的糖果包装表面缺陷快速检测方法 | |
| CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
| CN113077450B (zh) | 基于深度卷积神经网络的樱桃分级检测方法及*** | |
| CN113469050A (zh) | 基于图像细分类的火焰检测方法 | |
| CN113361326B (zh) | 一种基于计算机视觉目标检测的智慧电厂管控*** | |
| CN110909672A (zh) | 一种基于双流卷积神经网络和svm的抽烟动作识别方法 | |
| Bjørlykhaug et al. | Vision system for quality assessment of robotic cleaning of fish processing plants using CNN | |
| CN113538342B (zh) | 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法 | |
| CN117095155A (zh) | 一种基于改进的yolo自适应注意力-特征增强网络的多尺度数码管检测方法 | |
| CN115953719A (zh) | 一种多目标识别的计算机图像处理*** | |
| Burkapalli et al. | TRANSFER LEARNING: INCEPTION-V3 BASED CUSTOM CLASSIFICATION APPROACH FOR FOOD IMAGES. | |
| CN112837281A (zh) | 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备 | |
| CN112488213A (zh) | 一种基于多尺度特征学习网络的火灾图片分类方法 | |
| Cao et al. | A spatial pyramid pooling convolutional neural network for smoky vehicle detection | |
| CN116704267A (zh) | 一种基于改进yolox算法的深度学习3d打印缺陷检测方法 | |
| CN115546894A (zh) | 基于轻量化OpenPose时空图网络的行为检测方法 | |
| Sema et al. | Automatic Detection and Classification of Mango Disease Using Convolutional Neural Network and Histogram Oriented Gradients | |
| CN111191575B (zh) | 一种基于火苗跳动建模的明火检测方法及*** | |
| Kuo et al. | Design and Implementation of AI aided Fruit Grading Using Image Recognition | |
| CN212586906U (zh) | 一种乱序烟支的识别*** | |
| CN112101469A (zh) | 基于深度学习和光学反射结构的沸腾现象判断装置及方法 | |
| Deng et al. | Image classification and detection of cigarette combustion cone based on inception resnet V2 | |
| He et al. | Fabric defect detection based on improved object as point | |
| CN112395994A (zh) | 一种基于双流网络的跌倒检测算法 | |
| Chen et al. | Novel Embedded Smart Gateway Framework for Fruit/Vegetable Quality Classification. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |