CN112381787A - 一种基于迁移学习的钢板表面缺陷的分类方法 - Google Patents

Abstract

本发明涉及一种基于迁移学习的钢板表面缺陷的分类方法，首先从NEU数据库中获取钢板表面缺陷典型图像样本，并对样本进行数据增强预处理；然后使用在ImageNet数据集（1400万张图像）上预先训练的神经网络Mobilenet模型在NEU钢板表面缺陷样本搭建分类网络实现迁移学习，最后对分类模型所得的结果进行评价。本发明的方法识别钢板表面缺陷的准确率高，分类速度快，解决了传统分类泛化性能差，过程耗时，和模型数据样本不足的问题。能够有效地应用于分类检测钢板的表面缺陷。

Description

一种基于迁移学习的钢板表面缺陷的分类方法

技术领域

本发明涉及计算机深度学习领域，特别是一种基于迁移学习的钢板表面缺陷的分类方法。

背景技术

表面缺陷检测是机器视觉领域中非常重要的一项研究内容，近些年来,随着以卷积神经网络(CNN)为代表的深度学习模型的兴起，不少基于深度学习的缺陷检测方法被广泛应用在各种工业场景中。缺陷检测按需求不同可以划分为三个不同的层次:“缺陷分类”、“缺陷定位”和“缺陷分割”。“缺陷分类”需要给出图像的类别信息.“缺陷定位”需要给出缺陷的具***置，“缺陷分割”需要分割出缺陷并给出缺陷的长度、面积、位置等等一系列信息。

基于深度学习的表面缺陷检测方法，依据数据标签的不同,将其整体分为全监督学习模型、无监督学习模型和其他方法(半监督学习模型和弱监督学习模型)。在全监督模型中,依据输入图像方式和损失函数的差异,分为基于表征学习和度量学习的方法。在表征学习中,根据网络结构的不同可以进一步细分为分类网络、检测网络和分割网络。

在分类网络类别里，由于CNN强大的特征提取能力,采用基于CNN的分类网络目前已成为表面缺陷分类中最常用的模式。通常CNN分类网络的特征提取部分由级联的卷机层+pooling层组成,后面连接全连接层(或averagepooling层)+softmax结构用于分类.一般来说,现有表面缺陷分类的网络常常采用AlexNet,VGG,GoogLeNet,ResNet,DenseNet,SENet,shufftlenet,Mobilenet等网络结构。

在实际热轧带钢生产过程中，因各种物理和化学因素及热轧工艺的复杂性，导致钢板表面易出现压入氧化皮、划痕、麻面、夹杂、斑块、裂缝等各式各样的缺陷，给产品制造商带来巨大的经济和商业声誉损失。热轧带钢表面温度高，辐射光强，并且存在水、氧化铁皮及不均匀光照影响等问题，已经成为采用机器视觉对其进行缺陷检测的主要难点之一，同时其缺陷形态多样、类内差异大、类间相似性高，更增加了热轧带钢表面缺陷识别算法的开发难度。在目前热轧带钢的缺陷分类任务中，分类准确率和分类速度一直相互制约的两个指标，在满足识别精度的同时很难达到实时性要求。因此，实时、正确的热轧带钢表面缺陷分类研究对带钢生产和质量控制非常重要。

发明内容

有鉴于此，本发明的目的是提供一种基于迁移学习的钢板表面缺陷的分类方法，以解决传统分类泛化性能差，过程耗时和模型数据样本不足的问题。

本发明采用以下方案实现：一种基于迁移学习的钢板表面缺陷的分类方法，包括以下步骤：

步骤S1：从NEU surface defect database数据集中获取钢板表面缺陷典型图像样本，并对样本进行预处理；

步骤S2：使用在ImageNet数据集上预先训练的神经网络Mobilenet模型在NEU钢板表面缺陷样本搭建分类网络，用以实现迁移学习；

步骤S3：对步骤S2中搭建的分类模型性能进行评估，计算AP值，绘制召回曲线、AUC曲线和混淆矩阵，用以实现模型评价的可视化；将缺陷图片送入步骤S2迁移学习得到的神经网络模型中得到分类结果。

进一步地，步骤S1中所述对样本进行预处理的具体包括以下步骤：

步骤SA：将数据集中1800张图片按类别分成6类包括网纹、夹杂、斑块、表面麻点、氧化铁皮压入和划伤，每类样本有300张200x200分辨率的灰度图像，数据集中给出的图像为.bmp格式，随机取每类缺陷检测数据集的72％作为训练集，18％作为验证集，剩下10％作为测试集；

步骤SB：数据集在训练时每次在训练集随机抽取16张图片输入到神经网络中，图片运用数据增强，定义训练集和测试集的图像生成器部分，具体内容如下：

水平垂直投影变换设置0.2，缩放比例设置为0.2，开启水平垂直翻转，生成可信图像的随机变换，用以使神经网络mobilenet模型能够识别到更多不一样的特征，增加模型的泛化能力。

进一步地，步骤S2中所述搭建分类网络具体包括以下步骤：

步骤Sa：模型搭建:基于Mobilenet_1.0_224预训练模型，冻结Mobilenet_1.0_224预训练模型的所有层，在训练过程中选择不更新基本模型的权重；

步骤Sb：为了使模型适用于6种缺陷分类，在Mobilenet_1.0_224预训练模型上去掉最后的全连接层即输出层，使用全局平均池化层(GlobalAveragePooling2D层)，池化层后面添加具有ReLU激活函数的密集层，然后将其送到具有6个概率函数的softmax层,判断输入属于6类缺陷中的哪一类；计算概率属于此类的概率接近1，属于其他类的概率接近0；计算方式如下:

式中:

表示第L层第j个神经元的输入；计算出每个值所占比率，保证总和为1，输出向量即为各类的概率；

步骤Sc：以分类交叉熵为损失函数，采用随机梯度下降(SGD)化器，设置学习率更新规则；

计算公式如下:

式中，decay_lr是衰减后的学习率，lr为起步设置的学习率，decay_rate为衰减系数，global_step为当前迭代步数，decay_step为学习率变化一次经过的步数；

步骤Sd：模型训练：设置模型的初始训练5epoch；

步骤Se：模型微调：微调时设置冻结训练后模型的前2/3层，在模型微调过程中运用早停法。

进一步地，所述步骤Se的具体内容为：

微调时设置冻结训练后模型的前2/3层，因为模型共有87层，则从第58层开始微调，在模型微调过程中运用了早停法即当在验证集上获取测试结果，随着epoch的增加，如果在验证集上三代以内验证集精度没有提高则停止训练；使用上一次迭代结果中的参数作为模型的最终参数。

进一步地，步骤S3中所述分类性能评估的具体内容为：

为了测试步骤S2最后得到的网络模型在测试集的有效性，通过网络模型输出的每个输入图像的预测缺陷类别，计算出TP、FP和FN值；利用某类模型准确率P，Precision＝TP/(TP+FP)、召回率R(Recall＝TP/(TP+FN))绘制召回曲线，横坐标是召回率R，纵坐标是某类模型准确率P，计算出精确召回图中阴影部分的面积占比即平均准确率AP值，最后计算每一类的AP均值得到均值平均精度mAP为1；其中,TP代表真正例，是实际为正且预测为正的数量；FP代表假正例，是实际为负但预测为正的数量；FN代表假反例，是实际为正但预测为负的数量；TN代表真反例是实际为负且预测为负的数量。

与现有技术相比，本发明具有以下有益效果：

本发明识别钢板表面缺陷的准确率高，分类速度快，时间代价小，具有很好的鲁棒性，解决了传统分类泛化性能差，过程耗时，和模型数据样本不足的问题。能够有效地应用于分类检测钢板的表面缺陷。

本发明准确率高体现在mAP值为1，测试所有缺陷样本完全分类正确。超过了传统的其他神经网络分类准确率。

本发明分类速度快，时间代价小，体现在该模型是迁移的Mobilenet模型，该模型对比于其他传统卷积神经网络来说模型更高效，模型卷积层数小，参数量小，出分类结果就会更快，而且由于是迁移学习，从程序上也可看出模型总共运行了8代就得到了非常好的分类结果，时间代价小。

本发明鲁棒性好体现在迁移学习的方法可以适用于其他缺陷表面的数据集。

附图说明

图1为本发明实施例的方法流程图。

图2为本发明实施例的NEU数据库中6种典型的缺陷图像样本图。

图3为本发明实施例的数据增强处理时某图片的变换图。

图4为本发明实施例的传统卷积和深度可分离卷积过程对比图。

图5为本发明实施例的模型训练和微调过程精度图像。

图6为本发明实施例的模型PR曲线图。

图7为本发明实施例的模型AUC曲线图。

图8为本发明实施例的模型混淆矩阵图。

图9为本发明实施例的模型归一化混淆矩阵。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供一种基于迁移学习的钢板表面缺陷的分类方法，包括以下步骤：

步骤S1：从NEU surface defect database数据集中获取钢板表面缺陷典型图像样本，并对样本进行预处理；

步骤S2：使用在ImageNet数据集(1400万张图像)上预先训练的神经网络Mobilenet模型在NEU钢板表面缺陷样本搭建分类网络，用以实现迁移学习；

步骤S3：对步骤S2中搭建的分类模型性能进行评估，计算AP值，绘制召回曲线、AUC曲线和混淆矩阵，用以实现模型评价的可视化；将缺陷图片送入步骤S2迁移学习得到的神经网络模型中得到分类结果。

在本实施例中，步骤S1中所述对样本进行预处理的具体包括以下步骤：

步骤SA：为保证测试结果的客观性，将数据集中1800张图片按类别分成6类包括网纹、夹杂、斑块、表面麻点、氧化铁皮压入和划伤，每类样本有300张200x200分辨率的灰度图像，数据集中给出的图像为.bmp格式，随机取每类缺陷检测数据集的72％作为训练集，18％作为验证集，剩下10％作为测试集；

步骤SB：数据集在训练时每次在训练集随机抽取16张图片输入到神经网络中，图片运用数据增强，定义训练集和测试集的图像生成器部分，具体内容如下：

水平垂直投影变换设置0.2，缩放比例设置为0.2，开启水平垂直翻转，生成可信图像的随机变换，用以使神经网络mobilenet模型能够识别到更多不一样的特征，增加模型的泛化能力。

在本实施例中，步骤S2中所述搭建分类网络具体包括以下步骤：

步骤Sa：模型搭建:基于Mobilenet_1.0_224预训练模型，冻结Mobilenet_1.0_224预训练模型的所有层，在训练过程中选择不更新基本模型的权

步骤Sb：为了使模型适用于6种缺陷分类，在Mobilenet_1.0_224预训练模型上去掉最后的全连接层即输出层，使用全局平均池化层GlobalAveragePooling2D层，池化层后面添加具有ReLU激活函数的密集层，然后将其送到具有6个概率函数的softmax层,判断输入属于6类缺陷中的哪一类；计算概率属于此类的概率接近1，属于其他类的概率接近0；计算方式如下:

式中:

表示第L层(通常是最后一层)第j个神经元的输入；计算出每个值所占比率，保证总和为1，输出向量即为各类的概率；

步骤Sc：以分类交叉熵为损失函数，采用随机梯度下降(SGD)化器，设置学习率更新规则；

计算公式如下:

式中，decay_lr是衰减后的学习率，lr为起步设置的学习率，decay_rate为衰减系数，global_step为当前迭代步数，decay_step为学习率变化一次经过的步数；

步骤Sd：模型训练：设置模型的初始训练5epoch；

步骤Se：模型微调：微调时设置冻结训练后模型的前2/3层，在模型微调过程中运用早停法。

在本实施例中，模型训练就是设定好训练的代数输入图片数据到神经网络模型进行分类训练；前文介绍过就是在预训练模型的后面接上全连接层，用于特征提取，然后用softmax对网络进行分类；训练几次后网络的分类准确性会提高。

微调模型的含义是调整模型。模型可以在目标钢铁数据集中的输入-输出上选择性地进行微调，以让它适应目标任务。通常采取的办法就是在训练时冻结模型的一部分参数不变，只调整更新模型的一部分参数，这里选择的是冻结模型的前2/3层。

在本实施例中，所述步骤Se的具体内容为：

微调时设置冻结训练后模型的前2/3层，因为模型共有87层，则从第58层开始微调，在模型微调过程中运用了早停法即当在验证集上获取测试结果，随着epoch的增加，如果在验证集上三代以内验证集精度没有提高则停止训练；使用上一次迭代结果中的参数作为模型的最终参数。

在本实施例中，步骤S3中所述分类性能评估的具体内容为：

为了测试步骤S2最后得到的网络模型在测试集的有效性，通过网络模型输出的每个输入图像的预测缺陷类别，计算出TP、FP和FN值；利用某类模型准确率P，Precision＝TP/(TP+FP)、召回率R(Recall＝TP/(TP+FN))绘制召回曲线，横坐标是召回率R，纵坐标是某类模型准确率P，计算出精确召回图中阴影部分的面积占比即平均准确率AP值，最后计算每一类的AP均值得到均值平均精度mAP为1；其中,TP代表真正例，是实际为正且预测为正的数量；FP代表假正例，是实际为负但预测为正的数量；FN代表假反例，是实际为正但预测为负的数量；TN代表真反例是实际为负且预测为负的数量。

其中，某类模型的原因是得到模型在网纹、夹杂、斑块、表面麻点、氧化铁皮压入和划伤上每一类各自的P，R和AP。

较佳的，本实施例将钢板表面缺陷的图片加入到训练好的神经网络模型中，模型就会输出图片的预测结果，模型会判断它是六种缺陷中的哪一种，输出的值就是模型认为的缺陷结果。这样输入所有不带标签的原始图片，模型都会给出自己的分类结果，就能实现对原先图片的分类。

较佳的，本实施例采用了基于Mobilenet卷积神经网络的迁移学习，先进行小规模图像数据增强等预处理，再对大规模数据集预训练模型进行迁移学习，修改密集连接分类层。在此基础上进行微调小规模数据集上的卷积基参数，得出识别分类结果。

具体为：该卷积神经网络是分类网络，输出的预测值就是分类结果，比如输入一张网纹图片，模型就会判断它是六种缺陷中的哪一种，输出的值就是模型认为的缺陷结果。这样输入所有不带标签的原始图片，模型都会给出自己的分类结果，就能实现对原先图片的分类。

较佳的，本实施例的具体实现过程如下：

步骤一：从NEU surface defect database数据集中获取钢板表面缺陷典型图像样本，并对样本进行预处理。

NEU surface defect database数据集是东北大学宋克臣等人开放的缺陷检测数据集。该数据集包含六类热轧钢带表面缺陷，即网纹(Crazing,Cr)、夹杂(Inclusion,In)、斑块(Patches,Pa)、表面麻点(Pitted Surface,PS)、氧化铁皮压入(Rolled-in Scale,RS)和划伤(Scratches,Sc)，每类样本有300张200x200分辨率的灰度图像，总样本数量为1800，数据集中给出的图像为.bmp格式。图2显示了六类钢带典型表面缺陷图像的示例样本，可以清楚地观察到相同类别缺陷在外观上存在较大差异，如划伤缺陷有垂直、倾斜和水平等多种存在形态。而且，不同类别缺陷具有相似性，如网纹(Cr)、表面麻点(PS)和氧化铁皮压入(RS)。此外，受光照和生产环境变化的影响，同类缺陷图像的灰度值具有一定差异。为识别带来了一定难度。

该步骤中，包括以下两个步骤：

S1.1:为保证测试结果的客观性，将数据集中1800张图片按类别分成6类，随机取每类缺陷检测数据集的72％作为训练集，18％作为验证集，剩下10％作为测试集，测试样本有180个，用于检测算法模型在测试集中能否正确分类这六类缺陷。NEU surface defectdatabase数据集中的缺陷样本分布如表一所示：

表一

样本类型	训练样本	验证样本	测试样本	标签	总计
						Cr	216	54	30	0	300
In	216	54	30	1	300
						PS	216	54	30	2	300
Pa	216	54	30	3	300
						RS	216	54	30	4	300
Sc	216	54	30	5	300
						总计	1296	324	180	--	1800

S1.2:数据集在训练时采用随机抽取小批量进行输入，图片运用数据增强，定义训练集和测试集的图像生成器部分，水平垂直投影变换设置0.2，缩放比例0.2，开启水平垂直翻转，生成可信图像的随即变换，让模型能够识别到更多不一样的特征，增加模型的泛化能力，数据增强部分如图3所示。

步骤二：使用在ImageNet数据集(1400万张图像)上预先训练的神经网络Mobilenet模型在NEU钢板表面缺陷样本搭建分类网络，实现迁移学习。下面对算法模型设计思路，参数设置及优化进行解释说明：

本实施例采用的算法模型设计思路是使用在ImageNet数据集(1400万张图像)上预先训练的“MobileNet”模型实现迁移学习。

迁移学习的步骤包括模型搭建，模型训练和模型微调。

S2.1:模型搭建

MobileNet是Google提出的一种深度学习网络，具有高效、低耗的特性，在图像分类、图像识别等任务中，可以保持较高的准确率。MobileNet算法对传统的全卷积方式进行了优化，将全卷积操作分解为两部分，分别是Depthwise卷积以及Pointwise卷积(深度可分离卷积)，大大减少了需要学习的参数量，同时，这种稀疏化表达方式也减少了很多的冗余信息。在此基础上，模型又设置了两个超参数，分别为宽度因子和分辨率因子，以控制模型的大小和输入图像的分辨率。图4左侧为神经网络中传统的卷积方式，经3×3卷积后，再经过BN(Batch Normalization)层和Relu(Rectified Linear Unit)激活函数；右边是MobileNet算法提出的深度可分离卷积方式：3×3的传统卷积方式被替换为Depthwise卷积和1×1的Pointwise卷积，然后与传统卷积一样分别经过BN和ReLU激活函数。

此次预训练基于的模型是Mobilenet_1.0_224，开始时为了利用网络从ImageNet数据集学习到的知识。我们首先冻结基础模型的所有层，在训练过程中选择不更新“基本模型”的权重。

为了将模型适用于6种缺陷分类，在原有模型上去掉最后的全连接层(输出层)，使用全局池化层“GlobalAveragePooling2D”层，全局平均池化对应于均

值池化，均值池化是选择提取出的特征图像上对应滤波器的大小区域，将区域中不为零的数取均值。此种方法得到的特征信息对背景信息敏感，而所谓全局即针对整幅featuremap进行取均值，保证全局信息，且减小模型的参数。

池化层后面添加具有“ReLU”激活函数的密集层为网络添加非线性因素，解决线性表达能力不足的缺陷，且“Relu”计算简单，有助于提升机器运行效率，公式如下:

F(x)＝max(0，x)

然后将其送到具有6个概率函数的softmax层,判断输入属于6类缺陷中的哪一类。计算概率属于此类就接近1，属于其他类的概率接近0。本算法主要应用于多分类，计算方式如下:

式中:

表示第L层第j个神经元的输入；计算出每个值所占比率，保证总和为1，输出向量即为各类的概率；

搭建模型总参数:3756742；训练参数:3734854；未训练参数:21888，表二给出了MobileNet模型框架更改部分的信息。

表二

网络层	输出维度	参数量
			全局平均池化层	1024	0
激活函数密集层	512	524800
			softmax分类层	6	3078

设置数据输入网络进行训练的批量大小为16。此外，从生成器中检索模型的标签映射，建立验***。以分类交叉熵为损失函数，采用随机梯度下降(SGD)化器，设置初始学习率，为了快速达到最小函数值附近，随着迭代次数的增大，逐步退化学习率，避免因学习率较大而引起结果振荡。学习率的衰减速度由迭代代数及衰减系数来一起决定。计算公式如下:

式中，decay_lr是衰减后的学习率，lr为起步设置的学习率，decay_rate为衰减系数，global_step为当前迭代步数，decay_step为学习率变化一次经过的步数；

S2.1:模型训练

模型训练时，设置模型的初始训练epoch为5代，验证精度从0.6389提升到了0.9969。

S2.2:模型微调

下面进入模型的微调过程，一个典型的迁移学习过程是这样的：首先通过transferlearning对新的数据集进行训练，训练过一定epoch之后，改用微调方法继续训练，同时降低学习率。这样做是因为如果一开始就采用微调方法的话，网络还没有适应新的数据，那么在进行参数更新的时候，比较大的梯度可能会导致原本训练的比较好的参数被污染，反而导致效果下降。这里因为数据集较小，微调时设置冻结模型的前2/3层，因为模型共有87层，则从第58层开始微调，在模型微调过程中运用了早停法，早停法是一种被广泛使用的方法，当模型在验证集上的表现开始下降时，停止训练，这样就能避免继续训练导致过拟合的问题。方法为每隔一个周期计算模型在验证集上的误差，当模型在验证集上(权重的更新低于某个阈值；预测的错误率低于某个阈值；达到一定的迭代次数)，则停止训练，使用上一次迭代结果中的参数作为模型的最终参数。此次实验设置为精度3代不提高则早停。表三给出了微调过程中的分类损失和精度值，模型在第6代测试精度到了1，到第9代算法结束。

表3

	训练精度	训练损失	验证精度	验证损失
					第六代	0.9961	0.0214	1.0000	0.0014
第七代	0.9915	0.0286	0.9907	0.0015
					第八代	0.9954	0.0172	0.9938	0.0037
第九代	0.9923	0.0236	0.9938	2.3573e-05

图5给出了模型训练和微调过程中训练准确度(和损失)与验证准确度(和损失)的图像。可以看出算法总共经过5代调整后即第6代得到了最好的结果。

步骤三：对基于步骤二搭建的分类模型性能进行评估。

S3.1:实验平台：

实验环境:CPU I7-6700；计算平台:GPU NVIDIA 960m；环境管理器：Anaconda 4.8.3下的jupyternotebook；编程语言：Python 3.7.3；深度学习架构：Tensorflow1.14.0。

S3.2:性能评价指标

为了测试该模型在测试集的有效性，每次送入一个样本，通过获取每个输入测试图像的预测指标，计算AP值，绘制精确召回曲线，ROC曲线和混淆矩阵，实现模型评价的可视化。

在目标检测中，利用某类模型准确率P(precision)、召回率R(recall)计算出平均准确率AP(average precision，)，最后把均值平均精度mAP(mean Average Precision)作为目标检测模型的性能评估的标准。

查准率(精准率)：Precision＝TP/(TP+FP)；

查全率(召回率)：Recall＝TP/(TP+FN)；

正确率(准确率)：Accuracy＝(TP+TN)/(TP+FP+TN+FN)

F值(F1-scores)：Precision和Recall加权调和平均数，并假设两者一样重要：F1-score＝(2Recall*Precision)/(Recall+Precision)。

其中,TP：真正例，实际为正预测为正；FP：假正例，实际为负但预测为正；FN：假反例，实际为正但预测为负；TN：真反例，实际为负预测为负。

为了便于观察，将6个类别的AP值和精确召回曲线在一张图中绘制。如图6所示，平均准确率AP即图中阴影部分的面积占比。其中横坐标是召回率R(recall)，竖坐标是某类模型准确率P(precision)。由于这里模型分类较好，可以看到6个类别的AP值都为1，则mAP为1，精确召回PR曲线呈一条直线。说明模型将所有测试样本都分类正确了，为了进一步探究，可以输出ROC曲线，和混淆矩阵来观察佐证是否正确。

ROC曲线如图7所示

混淆矩阵用来计算分类准确率，混淆矩阵有助于可视化我们的测试图像的预测标签。可以看到，模型对所有的测试图像都进行了正确的预测。图8给出了混淆矩阵，测试图像由六种缺陷组成，每组缺陷有三十张图片，6种缺陷的真实结果为Cr 30,In 30,Pa 30,PS 30,Rs 30,Sc 30。图9给出了归一化的混淆矩阵，6种钢缺陷的精度分别为Cr 1,In 1,Pa 1,PS1,Rs 1,Sc 1。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于迁移学习的钢板表面缺陷的分类方法，其特征在于：包括以下步骤：

步骤S1：从NEU surface defect database数据集中获取钢板表面缺陷典型图像样本，并对样本进行预处理；

步骤S2：使用在ImageNet数据集上预先训练的神经网络Mobilenet模型在NEU钢板表面缺陷样本搭建分类网络，用以实现迁移学习；

步骤S3：对步骤S2中搭建的分类模型性能进行评估，计算AP值，绘制召回曲线、AUC曲线和混淆矩阵，用以实现模型评价的可视化；将缺陷图片送入步骤S2迁移学习得到的神经网络模型中得到分类结果。

2.根据权利要求1所述的一种基于迁移学习的钢板表面缺陷的分类方法，其特征在于：步骤S1中所述对样本进行预处理的具体包括以下步骤：

步骤SA：将数据集中1800张图片按类别分成6类包括网纹、夹杂、斑块、表面麻点、氧化铁皮压入和划伤，每类样本有300张200x200分辨率的灰度图像，数据集中给出的图像为.bmp格式，随机取每类缺陷检测数据集的72％作为训练集，18％作为验证集，剩下10％作为测试集；

步骤SB：数据集在训练时每次在训练集随机抽取16张图片输入到神经网络中，图片运用数据增强，定义训练集和测试集的图像生成器部分，具体内容如下：

水平垂直投影变换设置0.2，缩放比例设置为0.2，开启水平垂直翻转，生成可信图像的随机变换，用以使神经网络mobilenet模型能够识别到更多不一样的特征，增加模型的泛化能力。

3.根据权利要求1所述的一种基于迁移学习的钢板表面缺陷的分类方法，其特征在于：步骤S2中所述搭建分类网络具体包括以下步骤：

步骤Sa：模型搭建:基于Mobilenet_1.0_224预训练模型，冻结Mobilenet_1.0_224预训练模型的所有层，在训练过程中选择不更新基本模型的权重；

步骤Sb：为了使模型适用于6种缺陷分类，在Mobilenet_1.0_224预训练模型上去掉最后的全连接层即输出层，使用全局平均池化层，池化层后面添加具有ReLU激活函数的密集层，然后将其送到具有6个概率函数的softmax层,判断输入属于6类缺陷中的哪一类；计算概率属于此类的概率接近1，属于其他类的概率接近0；计算方式如下:

式中:

表示第L层第j个神经元的输入；计算出每个值所占比率，保证总和为1，输出向量即为各类的概率；

步骤Sc：以分类交叉熵为损失函数，采用随机梯度下降化器，设置学习率更新规则；

计算公式如下:

式中，decay_lr是衰减后的学习率，lr为起步设置的学习率，decay_rate为衰减系数，global_step为当前迭代步数，decay_step为学习率变化一次经过的步数；

步骤Sd：模型训练：设置模型的初始训练5epoch；

步骤Se：模型微调：微调时设置冻结训练后模型的前2/3层，在模型微调过程中运用早停法。

4.根据权利要求3所述的一种基于迁移学习的钢板表面缺陷的分类方法，其特征在于：所述步骤Se的具体内容为：

微调时设置冻结训练后模型的前2/3层，因为模型共有87层，则从第58层开始微调，在模型微调过程中运用了早停法即当在验证集上获取测试结果，随着epoch的增加，如果在验证集上三代以内验证集精度没有提高则停止训练；使用上一次迭代结果中的参数作为模型的最终参数。

5.根据权利要求1所述的一种基于迁移学习的钢板表面缺陷的分类方法，其特征在于：步骤S3中所述分类性能评估的具体内容为：

为了测试步骤S2最后得到的网络模型在测试集的有效性，通过网络模型输出的每个输入图像的预测缺陷类别，计算出TP、FP和FN值；利用某类模型准确率P，Precision＝TP/(TP+FP)、召回率R(Recall＝TP/(TP+FN))绘制召回曲线，横坐标是召回率R，纵坐标是某类模型准确率P，计算出精确召回图中阴影部分的面积占比即平均准确率AP值，最后计算每一类的AP均值得到均值平均精度mAP为1；其中,TP代表真正例，是实际为正且预测为正的数量；FP代表假正例，是实际为负但预测为正的数量；FN代表假反例，是实际为正但预测为负的数量；TN代表真反例是实际为负且预测为负的数量。

Images