CN111667455A - 一种刷具多种缺陷的ai检测方法 - Google Patents

Abstract

本发明实施例公开了一种刷具多种缺陷的AI检测方法，包括以下步骤：获取无缺陷牙刷及缺陷牙刷表面的原始图像数据；将所述原始图像数据，通过图像处理转换为灰度图，并对缺陷牙刷图像的缺陷进行标注，按照预设的样本比例，完成缺陷特征样本及无缺陷特征样本的构建；按照分割网络结合多标签分类网络的方式搭建好初始卷积神经网络模型后，输入所述特征样本，激活预设的卷积神经网络模型，根据预设训练代数、网络参数进行迭代训练，完成模型测试后，保存训练好的卷积神经网络模型；将待检测的样本图像数据输入所述训练好的卷积神经网络模型中进行多种缺陷识别。采用本发明，能对刷具的常见缺陷进行自动识别，在避免反复调参及保证检测算法泛化能力的前提下，智能判别多种缺陷；通过进一步优化算法框架，适应现今工业需求，每类缺陷使用少于或等于30张缺陷样本即可完成训练。

Description

一种刷具多种缺陷的AI检测方法

技术领域

本发明涉及智能检测领域，特别涉及一种刷具多种缺陷的AI检测方法。

背景技术

目前牙刷产品的生产具有产量高、生产速率快等生产特点，同时牙刷产品种类繁多，在生产过程中产生的缺陷种类也不少，部分缺陷特征非常细微，高效准确地完成牙刷的缺陷检测及分类有一定的难度。当前牙刷缺陷检测的方法有人工检测、视觉检测等，人工检测容易造成工人疲劳，且检测效率和准确性并不稳定；基于视觉的牙刷缺陷检测通常根据具体应用场景设定相应的模型和参数，模型泛化能力不足，对不同工况的适应性较差。人工智能已成为当下热门的研究领域，在工业领域常被应用于产品表面缺陷检测，但采用深度学习实现牙刷缺陷检测的相关研究目前尚少，同时也面临传统的深度学习模型需要成千上万的数据样本，导致其在工业领域难以落地应用。

专利CN 108362705 A提供了一种基于视觉分析的牙刷刷毛检测方法，通过在牙刷底部打背光，摄像机向下对牙刷拍照，这样具有牙刷毛的位置被显示为黑色，通过检测牙刷毛孔里的白色像素判断牙刷毛的根数，即根据白色像素面积判断牙刷毛根数是否缺少，当牙刷到达剔除位置时调出检测结果，若牙刷刷毛根数小于设定的阈值，由剔除伺服器将不合格的牙刷剔除掉。该方法需要根据设备的光照强度，角度等参数确定白色像素的阈值，当照明器材发生老化或者频闪等导致光照强度改变时会导致原有参数不再适用，可能产生漏检或误检问题，故该方法对硬件设备一致性要求高，可移植性差；另一方面，面对一些新款牙刷产品，该方法无法通过原有算法参数调整实现算法迁移，必须大幅度修改算法架构才能达到期望目的，研发成本较高；

专利CN 110658202 A提供了一种基于深度学***台上，在稳定、均匀的照明环境下，使用检测平台上的相机获取待测工件外表面的图像数据；然后对获取的图像数据进行图像前期处理(包括去噪、滤波、裁剪、旋转、拉伸、亮度修正、颜色转换、图像分割、分辨率调整、二值化、区域标记和轮廓提取)，得到待诊断图像；基于深度学习构建卷积神经网络模型，根据样本图像数据集对卷积神经网络模型进行迭代训练，然后进行测试，测试完成后输出训练成功的卷积神经网络模型；最后对待诊断图像进行判断，并自动判断缺陷类型和参数指标，最终输出待测图像的识别结果。其深度学习模型设计简单，为普通卷积神经网络模型(使用24个卷积层和2个全连接层即完成卷积神经网络模型搭建)，作为传统的深度学习模型，这种模型需要基于大量的样本图像数据集对卷积神经网络模型进行迭代训练达到模型的优化，这种方法一方面需要进行大量的样本标记，耗费的人力成本较高；另一方面，传统的深度学习模型对样本不一定有适应性，在面对复杂或区分度较小的缺陷分类问题时，训练的效率和模型的准确度都不高。

发明内容

本发明实施例所要解决的技术问题在于，提供一种刷具多种缺陷的AI检测方法。可使得牙刷缺陷检测能在较少样本的情况下就能完成准确的多种缺陷识别以及多标签分类。

为了解决上述技术问题，本发明实施例提供了一种刷具多种缺陷的AI检测方法，包括以下步骤：

S1：获取牙刷表面的原始图像数据；

S2：将所述原始图像数据，通过图像处理转换为灰度图，并对缺陷牙刷图像的缺陷进行标注，按照预设的样本比例，完成缺陷特征样本及无缺陷特征样本的构建；

S3：按照分割网络结合多标签分类网络的方式搭建好初始卷积神经网络模型后，输入所述特征样本，激活预设的卷积神经网络模型，根据预设训练代数、网络参数进行迭代训练，完成模型测试后，保存训练好的卷积神经网络模型；

S4：将待检测的样本图像数据输入所述训练好的卷积神经网络模型中进行识别。

进一步地，所述缺陷特征样本的缺陷特征图像少于或等于30张，且其中无缺陷特征样本的数量与缺陷特征样本的数量保持均衡。

更进一步地，所述步骤S2还包括样本特征标记方法，所述样本特征标记方法包括以下流程：

对所述原始图像对应的灰度图进行去噪、滤波、分辨率调整处理使样本图像便于分割，再针对缺陷特征进行图像分割，并通过二值化、区域提取获取二值化的缺陷特征，最后把原始图像的二值化的缺陷特征区域设为白色，其余区域为黑色，完成特征标记。

更进一步地，所述分割网络用于对刷具表面的缺陷进行像素级定位。

更进一步地，所述卷积神经网络模型的分割网络由11个卷积层和3个最大池化层组成，每个卷积层后面都有一个特征归一化和一个非线性ReLU层，特征归一化将每个信道归一化为具有单位方差的零均值分布。

更进一步地，前9个所述卷积层使用5x5的内核大小，后2个层分别使用 15x15和1x1的内核大小。

更进一步地，将所述分割网络的第10层卷积层与分割网络的最后单通道输出映射图连接在一起，生成具有1025通道的层，作为所述多标签分类网络的最大池化层和5×5卷积层的输入，所述最大池化层和5×5卷积层重复3次，且分别具有8、16和32个通道，所述多标签分类网络最后执行全局最大池化和平均池化。所述多标签分类网络的另一输入为所述分割网络的单通道输出映射图，其特征在于，所述单通道输出映射图执行全局最大池化和平均池化，与所述多标签分类网络最后执行全局最大池化和平均池化的结果拼接成最终输出层。

更进一步地，考虑到分割网络的输出效果仅需要判断是否成功提取出各缺陷区域的像素数据，从像素角度属于二分类问题。而多标签分类网络中，单张牙刷图片中可能同时存在多种缺陷类别，例如欠孔和散毛缺陷并存，或者长毛与长短毛缺陷并存等情况，属于典型的多标签分类问题。故所述分割网络和多标签分类网络最后一层都使用sigmoid函数作为激活函数进行分类预测，而且训练阶段都采用二分类交叉熵作为损失函数：

在分割网络中，i是单个像素序号，n是图像像素总数和，y_i是第i个像素的期望输出，

表示第i个像素的原始实际输出；

在多标签分类网络中，i是图像序号，n是图像总数量，y_i是第i张图像分类的期望输出，

表示第i张图像分类的原始实际输出。

更进一步地，所述分割网络的参数优化方式及所述多标签分类网络的优化方式为采用动量参数及学习率衰减参数的随机梯度下降法优化。

实施本发明实施例，具有如下有益效果：本发明具有算法模型无需重复调参，泛化能力高，且需求的标记样本数据少(少于或等于30张)的优点。通过深度学习模型进行多标签缺陷分类的技术手段，依靠深度学习模型不断优化，自动挖掘缺陷特征的潜在特性，避免了视觉检测技术依靠阈值进行分割判断的缺点，且能适应一般的环境差异；通过分割网络配合多标签分类网络的双网络架构进行特征分类，一方面把特征图例的每个像素点分别作为单独的训练样本，增加了训练样本的有效数量，防止了训练样本的过拟合；另一方面通过采用多层卷积和下采样的方式，增加特征容量和感受野大小，增强网络捕捉小细节的能力，最终仅利用少量样本(少于或等于30张)即可达到传统深度学习模型数百、上千张以上样本的训练效果。

附图说明

图1是本发明方法流程示意图；

图2是卷积神经网络模型的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

参照图1、图2所示的结构示意图。

本发明实施例所提供的一种刷具多种缺陷的AI检测方法，通过以下步骤进行实施。

S1：将牙刷移动到检测平台上，通过稳定、均匀的照明环境进行充分打光，然后激活固定的工业相机，获取牙刷表面的原始图像数据。

S2：将S1的原始图像数据传输到深度学习推断服务器，通过图像处理把其转换为二值化的缺陷特征样本，按照预设的样本比例，完成缺陷特征样本的构建。

上述缺陷特征样本通过对图像进行ROI类型的区域提取建立。

具体的，区域提取的方法有圆形、方形、套索、自由划区多种提取方式。

进一步的，无缺陷特征图像无需提取缺陷特征。

进一步的，缺陷特征图像在缺陷特征样本构建方面，每种缺陷均只需提取转换30张或以下的二值化的缺陷特征样本，并使得无缺陷的二值化的缺陷特征样本数量大于缺陷特征样本的数量。

S201：对原始图像进行去噪、滤波、分辨率调整处理使样本图像便于分割，再针对缺陷特征进行图像分割，并通过二值化、区域提取获取二值化的缺陷特征，最后把原始图像的二值化的缺陷特征(如牙刷无缺陷则缺陷特征为空集) 区域设为白色，其余区域为黑色，完成特征标记。

S3：按照分割网络结合多标签分类网络的方式预设好初始卷积神经模型后，输入S2的缺陷特征样本(每种缺陷样本数量在30张或以下)，激活预设的卷积神经网络模型，根据预设训练代数进行迭代训练，直至达到预设的训练代数或理想的训练效果后，训练自动结束并进行模型测试，确认模型测试结果理想后，完成模型测试并保存训练好的卷积神经网络模型。

S301：卷积神经网络模型结构解释如下：卷积神经网络模型由分割网络和多标签分类网络两个部分组成，第一部分是分割网络，作用为对表面缺陷进行像素级定位。该网络有效地将每个像素作为单独的训练样本，从而增加了训练样本的有效数量，防止了训练样本的过拟合；第二部分为多标签分类网络，把分割网络的输出作为多标签分类网络的输入，作用为对缺陷特征二值化图像进行多标签分类。

如图2所示为本发明所述卷积神经网络模型结构图，具体描述如下：

具体的，卷积神经网络模型的分割网络由11个卷积层和3个最大池化层组成，每个卷积层后面都有一个特征归一化和一个非线性ReLU层，特征归一化将每个信道归一化为具有单位方差的零均值分布。前9个卷积层使用5x5的内核大小，后两个层分别使用15x15和1x1的内核大小。不同的通道分配给不同的层，通过应用1x1卷积层来减少输出通道的数量，得到最终的输出掩模。最后产生一个单通道输出映射，其输出图像的分辨率相比神经网络模型的输入图像降低了8倍。

进一步的，为确保小而重要的细节不会被破坏，分割网络在设计网络时细节如下：

1)卷积网络采用多个较大核尺寸的卷积核进行组合，随后紧跟一个额外的下采样层，这样的设计用来显著增加图像特征接受域的大小。

2)每个下采样间隔的卷积网络组合的层数设计的特征为，网络组合较浅部分的特征层数至较深部分的特征层数，由少变多。

具体的，多标签分类网络将分割网络的第10层卷积层(1024个通道)，与分割网络的最后单通道输出映射图连接在一起，生成具有1025通道的层，作为后续多标签分类网络最大池化层和5×5卷积层的输入。这种最大池化层和5x5 卷积层的两层组合方式重复3次，其中第一，第二和第三卷积层分别具有8、16 和32个通道。通道数量随特征分辨率的降低而增加，从而使得每一层的计算量需求相同，这样设计可以使得最后卷积层的分辨率比原始图像小64倍。最后执行全局最大池化和平均池化，从而产生64个输出神经元。此外，将分割网络输出映射图上做全局最大池化和平均池化的结果连接为两个输出神经元，为在分割图确保检测理想的情况下提供便利。由此设计组合产生66个输出神经元，这些输出神经元与线性权重组合为最终输出神经元。

进一步的，为避免过量使用不需要的特征图以及参数的过拟合，多标签分类网络在设计网络时细节如下：

1)通过使用多层卷积和下采样来确保网络具有大型复杂缺陷的检测能力。不仅可以捕获局部小缺陷，而且可以捕获在图像上占面积较大的缺陷。

2)分类网络不仅使用分割网络最后一次1×1卷积操作减少通道数量之前的特征量，还使用了1×1卷积操作减少通道数量之后的最终分割输出图。

S302：卷积神经网络模型工作流程如下：首先，冻结多标签分类网络参数，只对分割网络进行独立训练，优化分割网络参数；然后对分割网络的参数进行冻结，只对多标签分类网络进行训练，这个阶段训练的优化只对多标签分类网络的参数进行微调，避免了分割网络中大量模型参数可能造成的过拟合问题。具体的，考虑到分割网络中仅需要判断样本像素是否属于缺陷内容，从像素角度属于二分类问题。而多标签分类网络中，单张牙刷图片中可能同时存在多种缺陷类别，例如欠孔和散毛缺陷并存，或者长毛与长短毛缺陷并存等情况，属于典型的多标签分类问题。故所述分割网络和多标签分类网络最后一层都使用sigmoid函数进行预测，而且训练阶段都采用二分类交叉熵作为损失函数：

在分割网络中，i是单个像素序号，n是图像像素总数和，y_i是第i个像素的期望输出，

表示第i个像素的原始实际输出；

在多标签分类网络中，i是图像序号，n是图像总数量，y_i是第i张图像分类的期望输出，

表示第i张图像分类的原始实际输出。

进一步的，分割网络的参数优化方式及所述多标签分类网络的优化方式为采用动量参数及学习率衰减参数的随机梯度下降法优化。

S4：在S1所述平台上再次进行牙刷图像数据拍摄获取实际样本图像数据，把实际样本图像数据输入步骤3的卷积神经网络模型，识别牙刷缺陷并输出牙刷是否有缺陷以及相应的多个缺陷种类。

具体的，判断方式为分析S301最终输出的针对各缺陷的概率分数值，判断牙刷是否有缺陷以及属于那几种缺陷。

本发明相比现有技术具有如下优点：

1)本发明采用深度学习模型进行缺陷判断分类，模型训练、测试完成后无需根据环境差异反复调参。目前的牙刷视觉检测依赖固定的阈值对刷毛的数量等特征进行判断，如专利108362705 A所述牙刷刷毛缺陷检测方法就是通过与预设的白色像素阈值比较来确定刷毛剩余的数量，这个预设的白色像素阈值由环境以及分析经验决定的固定参数，不能根据环境的更改而智能调整，外界发生干扰刷毛显色的问题(如灯光老化，刷柄反光灯)这个预设的数值不一定有效适用。另一方面，基于机器视觉的缺陷识别对于不同缺陷需要重设网络或反复调参，算法对于不同特征一般没有直接移植性；本发明基于深度学习模型利用标记样本进行模型训练，模型参数经过多次迭代优化自动调整，能自动判断缺陷特征且适应一定程度的环境干扰，且本发明包含的样本标记软件能有效标记长短毛、欠孔、叉毛、散毛等多个缺陷特征，不会因为为了适应各种牙刷品种及牙刷缺陷种类而带来检测算法的大量修改。

2)本发明使用了分割网络配合多标签分类网络的双网络架构进行刷具缺陷提取及缺陷特征分类，同时把特征图例的每个像素点分别作为单独的训练样本，达到使用少量标记样本(30张或以下)完成模型训练。传统的深度学习卷积神经网络模型，如专利CN110658202 A所述方法需使用大量标记样本输入模型进行迭代训练，否则可能发生过拟合的问题，另一方面牙刷的部分缺陷细节并不明显，可能会在无缺陷样本和微小缺陷样本间的分类上造成误判；本发明使用了分割网络配合多标签分类网络的双网络架构进行特征分类，通过使用多层卷积和降采样来保证对大型复杂形状的适当处理能力，使得网络不仅可以捕获局部形状，还可以捕获跨越图像大部分区域的全局形状。同时把特征图例的每个像素点分别作为单独的训练样本，充分降低标记样本量的需求，并防止神经网络模型参数的过拟合。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种刷具多种缺陷的AI检测方法，其特征在于，包括以下步骤：

S1：获取牙刷表面的原始图像数据；

S2：将所述原始图像数据，通过图像处理转换为灰度图，并对缺陷牙刷图像的缺陷进行标注，按照预设的样本比例，完成缺陷特征样本及无缺陷特征样本的构建；

S3：按照分割网络结合多标签分类网络的方式搭建好初始卷积神经网络模型后，输入所述特征样本，激活预设的卷积神经网络模型，根据预设训练代数、网络参数进行迭代训练，完成模型测试后，保存训练好的卷积神经网络模型；

S4：将待检测的样本图像数据输入所述训练好的卷积神经网络模型中进行识别。

2.根据权利要求1所述的刷具多种缺陷的AI检测方法，其特征在于，所述缺陷特征样本的数量少于或等于30张，且其中无缺陷特征样本的数量与缺陷特征样本的数量保持均衡。

3.根据权利要求1所述的刷具多种缺陷的AI检测方法，其特征在于，所述步骤S2还包括样本特征标记方法，所述样本特征标记方法包括以下流程：

对所述原始图像对应的灰度图进行去噪、滤波、分辨率调整处理使样本图像便于分割，再针对缺陷特征进行图像分割，并通过二值化、区域提取获取二值化的缺陷特征，最后把原始图像的二值化的缺陷特征区域设为白色，其余区域为黑色，完成特征标记。

4.根据权利要求1所述的刷具多种缺陷的AI检测方法，其特征在于，所述分割网络用于对刷具表面的缺陷进行像素级定位。

5.根据权利要求1所述的刷具多种缺陷的AI检测方法，其特征在于，所述卷积神经网络模型的分割网络由11个卷积层和3个最大池化层组成，每个卷积层后面都有一个特征归一化和一个非线性ReLU层，特征归一化将每个通道归一化为具有单位方差的零均值分布。

6.根据权利要求5所述的刷具多种缺陷的AI检测方法，其特征在于，前9个卷积层使用5x 5的内核大小，后2个层分别使用15 x 15和1 x 1的内核大小。

7.根据权利要求6所述的刷具多种缺陷的AI检测方法，其特征在于，将所述分割网络的第10层卷积层与分割网络的最后单通道输出映射图连接在一起，生成具有1025通道的层，作为所述多标签分类网络的最大池化层和5×5卷积层的输入，所述最大池化层和5×5卷积层重复3次，其中第一，第二和第三卷积层分别具有8、16和32个通道，所述多标签分类网络最后执行全局最大池化和平均池化。所述多标签分类网络的另一输入为所述分割网络的单通道输出映射图，其特征在于，所述单通道输出映射图执行全局最大池化和平均池化，与所述多标签分类网络最后执行全局最大池化和平均池化的结果拼接成最终输出层。

8.根据权利要求1－7任一项所述的刷具多种缺陷的AI检测方法，其特征在于，所述分割网络的参数优化方式及所述多标签分类网络的优化方式为采用动量参数及学习率衰减参数的随机梯度下降法优化。

9.根据权利要求8所述的刷具多种缺陷的AI检测方法，其特征在于，所述分割网络和多标签分类网络最后一层都使用sigmoid函数作为激活函数，而且训练阶段都采用二分类交叉熵作为损失函数：

在分割网络中，i是单个像素序号，n是图像像素总数和，y_i是第i个像素的期望输出，

表示第i个像素的原始实际输出；

在多标签分类网络中，i是图像序号，n是图像总数量，y_i是第i张图像分类的期望输出，

表示第i张图像分类的原始实际输出。

Images