CN113724231B - 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于语义分割和目标检测融合模型的工业缺陷检测方法，包括以下步骤：S1：获取待检测图像并进行像素色度分析，根据色度分析结果对待检测图像进行语义分割得到掩膜图；S2：将掩膜图与待检测图像的原图叠加得到分割输出图像；S3：将分割输出图像进行滑窗操作得到若干个滑窗图像，将得到的滑窗图像分别输入至卷积神经网络进行分类，得到滑窗图像对应的分类结果；S4：将卷积神经网络输出的分类结果分别输入至对应的目标检测网络，输出检测结果。本发明通过将语义分割、卷积神经网络与目标检测网络相融合，能够实现对多种复杂缺陷进行检测，同时提高了缺陷检测的准确率。

Description

一种基于语义分割和目标检测融合模型的工业缺陷检测方法

技术领域

本发明涉及工业缺陷检测技术领域，更具体地，涉及一种基于语义分割和目标检测融合模型的工业缺陷检测方法。

背景技术

玻璃面板缺陷检测的过程按缺陷类型主要可以分为单种类缺陷检测，多种缺陷检测，还有多种复杂缺陷检测，而当中多种缺陷检测和多种复杂缺陷检测过程比较困难。单种类缺陷检测是在一个玻璃面板上只存在单一类玻璃面板的缺陷；多种缺陷检测是在一个玻璃面板上存在多种不同的玻璃面板缺陷，检测难度会比单缺陷检测大得多；多种复杂缺陷常常可能出现一个检测区域同时存在多种缺陷混杂，并且缺陷存在形式比较难以判断，比如可能存在缺陷像素色度值比较低和各类缺陷的尺寸相差甚大等问题。这些情况就导致了在实际检测环境中设备对于产品的检测难度变大，检测的精度下降。

现有的检测方法大部分采用faster RCNN目标检测网络，经过一定的调整，可以处理单种缺陷和多种缺陷检测的问题，但是对于多种复杂缺陷检测依然没有很合适的解决方案，对多种复杂缺陷检测检测能力不足。存在该问题的原因可能在于：第一，一个缺陷区域存在多种缺陷的特征，目标检测网络最终对缺陷特征进行预测类别时，可能会根据特征最明显的缺陷，然后来对其进行判断，然而这个区域内却是具有多个缺陷在内的，所以也导致了漏检的问题；第二，缺陷像素色度低，导致了特征提取网络提取到的特征不明显，导致目标检测网络对缺陷检测不到；第三，各种缺陷的尺寸相差很大，利用提取的特征，然后进行特征判断，可能大小差异，大缺陷需要用深层的特征进行判断，小缺陷需要用浅层的特征进行判断。

现有技术中，公开号为：CN106651837A中国发明专利，于2017年5月10日公开了一种白玻璃板表面崩边缺陷检测方法，针对于传统的肉眼识别的检测方式效率低下、精度有限、自动化水平低的问题。该检测方法通过扫描白玻璃板图像，并进行二值化处理；然后提取白玻璃板的外轮廓；根据外轮廓各部分的形状特征，分别沿不同方向检测各部分边缘的宽度；对检测到的边缘宽度值进行聚类，以元素数目最多的类的均值为依据，检测白玻璃板的崩边缺陷。该方案基于外轮廓各部分的形状特征对玻璃白边进行检测，其无法实现对复杂缺陷的检测。

发明内容

本发明为解决现有的工业缺陷检测方法无法检测复杂的缺陷，检测的准确率低的问题，提供一种基于语义分割和目标检测融合模型的工业缺陷检测方法。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

一种基于语义分割和目标检测融合模型的工业缺陷检测方法，包括以下步骤：

S1：获取待检测图像并进行像素色度分析，根据色度分析结果对待检测图像进行语义分割得到掩膜图；

S2：将掩膜图与待检测图像的原图叠加得到分割输出图像；

S3：将分割输出图像进行滑窗操作得到若干个滑窗图像，将得到的滑窗图像分别输入至卷积神经网络进行分类，得到滑窗图像对应的分类结果；

S4：将卷积神经网络输出的分类结果分别输入至对应的目标检测网络，输出检测结果。

进一步地，步骤S1中的根据色度分析结果对待检测图像进行语义分割得到掩膜图，具体为：若待检测图像色度值小于预设值则舍弃当前待检测图像并重新获取；若待检测图像色度值大于或等于预设值，则将待检测图像进行语义分割。

进一步地，步骤S1所述的语义分割采用unet语义分割模型，

所述unet语义分割模型包括预处理单元和unet语义分割单元，其中所述预处理单元处理的处理过程为：首先将输入的图像进行图像锐化，然后进行自适应直方图均衡化；

所述unet语义分割单元特征提取部分和上采样部分，所述特征提取部分首先对预处理后的图像进行特征提取，得到特征图，将得到的特征图进行上采样和多层特征融合，得到融合后的特征图，最后将融合后的特征图回归到跟原始图像一样尺寸的像素点的分类，得到掩膜图。

进一步地，所述unet语义分割模型包括训练过程和测试过程，其中训练过程如下：

a)首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；

b)利用图像相似度算法对得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签进行计算，得到相似度值；

c)最后将相似度值与预设的第二阈值进行比较，若相似度值大于预设的第二阈值，则输出预测的掩模图；若相似度值小于或等于预设的第二阈值，则返回预处理单元，将预处理单元的可调参数加1，然后继续上述步骤a)-步骤b)，直到相似度值大于预设的第二阈值或者循环次数达到设定次数，则输出预测的掩模图；

所述测试过程如下：

首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；

然后，把掩膜图中所有分割出来像素点记录个数，作为判断条件，然后返回预处理单元，将预处理单元的可调参数加1，再次根据预处理后的图像生成掩模图，然后继续上述步骤，把掩膜图中所有分割出来像素点记录个数，与上一次循环得到的判断条件进行比较，若此次掩膜图中所有分割出来像素点记录个数小于上一次循环得到的判断条件，则输出上一次循环unet语义分割单元所预测的掩模图；

若此次掩膜图中所有分割出来像素点记录个数大于上一次循环得到的判断条件，则将此次掩膜图中所有分割出来像素点记录个数作为新的判断条件，把上一次循环得到的判断条件代替，往复循环，直到掩膜图中所有分割出来像素点记录个数小于上一次循环得到的判断条件或者循环个数达到上限，则输出本次循环unet语义分割单元所预测的掩模图。

进一步地，利用图像相似度算法对得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签进行计算，得到相似度值，具体过程为：

分别利用ORB算法、局部敏感哈希phash算法、直方图相似度算法计算得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签的相似度值，分别记为：第一相似度值、第二相似度值、第三相似度值；

将得到的三个相似度值中的最大值与预设的第一阈值比较，若所述最大值大于或等于预设的第一阈值，则将所述最大值作为最终的相似度值；

若所述最大值小于预设的第一阈值，则将第一相似度值、第二相似度值、第三相似度值中最小值作为最终的相似度值。

进一步地，所述卷积神经网络依次包括：输入层、第一卷积层、线性整流层、池化层、第二卷积层、全连接层、输出层，其中，所述输入层用于特征向量的输入，所述第一卷积层和第二卷积层用于提取输入的不同特征；

所述线性整流层用于使用线性整流函数对输入向量进行线性整流激活并输出；

所述池化层将特征分成若干块，每个块均包括若干子块，输出每个块中像素值最大的子块，从而得到维度更小的特征；

所述全连接层把所有局部特征结合变成全局特征，用来计算最后的分类得分。

进一步地，S4：将卷积神经网络的分类结果分别输入至对应的目标检测网络，输出检测结果，具体为：

所述卷积神经网络的分类结果包括：团状缺陷，线状缺陷和无缺陷；

若待检测图像为团状缺陷则输入至第一目标检测网络；若待检测图像为线状缺陷待检测图像输入至第二目标检测网络；待检测图像同时包括团状缺陷和线状缺陷则分别输入至第一目标检测网络和第二目标检测网络，并把检测结果合并；

若待检测图像无缺陷，则不进行检测。

进一步地，所述第一目标检测网络和所述第二目标检测网络具有相同的网络结构，不同的网络权重参数，所述第一目标检测网络和第二目标检测网络均包括有：特征提取网络、候选区域生成网络、ROI Pooling层、分类与回归部分，具体的检测过程为：

将卷积神经网络的输出的分类结果作为输入，特征提取网络进行特征提取，得到特征图；

将特征图利用候选区域生成网络生成候选区域并进行筛选得出候选框；

将特征图与候选框输入至ROI Pooling层，输出固定尺寸的特征图；

将固定尺寸的特征图输入至分类与回归部分，输出候选区域所属的类别和候选区域在图像中的精确位置。

进一步地，候选区域生成网络采用K-means聚类算法替代人工设定候选框尺寸的操作，即对人工标定的标签中候选框宽高进行聚类操作，得到一组合适的候选框的宽高尺寸。

进一步地，采用K-means聚类算法替代人工设定候选框尺寸的操作具体步骤为：

首先，根据人工标注的标签所生成的xml文件进行提取相应边框的数据，获得所有人工标注缺陷的候选框的宽高，然后根据所有的候选框的宽高数据进行K-means聚类，得到聚类K组聚类结果，其中K为7，所述7组聚类结果作为候选框的固定宽高。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过将语义分割、卷积神经网络与目标检测网络相融合，能够实现对多种复杂缺陷进行检测，同时提高了缺陷检测的准确率。

附图说明

图1为本发明一种基于语义分割和目标检测融合模型的工业缺陷检测方法流程图。

图2为本发明实施例中unet语义分割模型处理流程示意图。

图3为本发明实施例中卷积神经网络结构图。

图4为本发明实施例中目标检测网络结构图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1

如图1所示，一种基于语义分割和目标检测融合模型的工业缺陷检测方法，包括以下步骤：

S1：获取待检测图像并进行像素色度分析，根据色度分析结果对待检测图像进行语义分割得到掩膜图；

需要说明的是，本发明首先对获取的待检测图像进行像素的色度分析，计算待检测图像色度值，若待检测图像色度值小于预设值则舍弃当前待检测图像并重新获取；若待检测图像色度值大于或等于预设值，则将待检测图像进行语义分割。

图2为unet语义分割模型处理流程示意图。

在本发明中，采用unet语义分割模型进行语义分割，所述unet语义分割模型包括预处理单元和unet语义分割单元，其中所述预处理单元处理的处理过程为：首先将输入的图像进行图像锐化，增强图像细节边缘和轮廓，然后进行自适应直方图均衡化，提升图像的对比度，凸显出图像的特征信息。

所述unet语义分割单元特征提取部分和上采样部分，所述特征提取部分首先对预处理后的图像进行特征提取，得到特征图，将得到的特征图进行上采样和多层特征融合，得到融合后的特征图，最后将融合后的特征图回归到跟原始图像一样尺寸的像素点的分类，得到掩膜图。

在本发明中为了得到unet语义分割模型需要对模型进行训练和测试，具体的训练过程如下：

a)首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；

b)利用图像相似度算法对得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签进行计算，得到相似度值；

c)最后将相似度值与预设的第二阈值进行比较，若相似度值大于预设的第二阈值，则输出预测的掩模图；若相似度值小于或等于预设的第二阈值，则返回预处理单元，将预处理单元的可调参数加1，然后继续上述步骤a)-步骤b)，直到相似度值大于预设的第二阈值或者循环次数达到设定次数，则输出预测的掩模图；

需要说明的是，本发明计算得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签的相似度值的具体过程为：分别利用ORB算法、局部敏感哈希phash算法、直方图相似度算法计算得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签的相似度值，分别记为：第一相似度值、第二相似度值、第三相似度值；

将得到的三个相似度值中的最大值与预设的第一阈值比较，若所述最大值大于或等于预设的第一阈值，则将所述最大值作为最终的相似度值；

若所述最大值小于预设的第一阈值，则将第一相似度值、第二相似度值、第三相似度值中最小值作为最终的相似度值。

需要说明的是，所述预设的第一阈值的取值范围为0到1。

测试过程为：

首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；

然后，把掩膜图中所有分割出来像素点记录个数，作为判断条件，然后返回预处理单元，将预处理单元的可调参数加1，再次根据预处理后的图像生成掩模图，然后继续上述步骤，把掩膜图中所有分割出来像素点记录个数，与上一次循环得到的判断条件进行比较，若此次掩膜图中所有分割出来像素点记录个数小于上一次循环得到的判断条件，则输出上一次循环unet语义分割单元所预测的掩模图；

若此次掩膜图中所有分割出来像素点记录个数大于上一次循环得到的判断条件，则将此次掩膜图中所有分割出来像素点记录个数作为新的判断条件，把上一次循环得到的判断条件代替，往复循环，直到掩膜图中所有分割出来像素点记录个数小于上一次循环得到的判断条件或者循环个数达到上限，则输出本次循环unet语义分割单元所预测的掩模图。

S2：将掩膜图与待检测图像的原图叠加得到分割输出图像；

需要说明的是，通过将掩膜图与待检测图像的原图叠加得到分割输出图像，得到的分割输出图像会比原始图像特征更加明显。

S3：将分割输出图像进行滑窗操作得到若干个滑窗图像，将得到的滑窗图像分别输入至卷积神经网络进行分类，得到滑窗图像对应的分类结果；

需要说明的是，如图3所示，所述卷积神经网络依次包括：输入层、第一卷积层、线性整流层、池化层、第二卷积层、全连接层、输出层，其中，所述输入层用于特征向量的输入，所述第一卷积层和第二卷积层用于提取输入的不同特征；

所述线性整流层用于使用线性整流函数对输入向量进行线性整流激活并输出；

所述池化层将特征分成若干块，每个块均包括若干子块，输出每个块中像素值最大的子块，从而得到维度更小的特征；

所述全连接层把所有局部特征结合变成全局特征，用来计算最后的分类得分。

S4：将卷积神经网络输出的分类结果分别输入至对应的目标检测网络，输出检测结果。

将卷积神经网络的分类结果分别输入至对应的目标检测网络，输出检测结果，具体为：

所述卷积神经网络的分类结果包括：团状缺陷，线状缺陷和无缺陷；

若待检测图像为团状缺陷则输入至第一目标检测网络；若待检测图像为线状缺陷待检测图像输入至第二目标检测网络；待检测图像同时包括团状缺陷和线状缺陷则分别输入至第一目标检测网络和第二目标检测网络，并把检测结果合并；若待检测图像无缺陷，则不进行检测。

需要说明的是，对于不同的分类结果(即不同的缺陷类型)分别采用对应的目标检测网络进行检测，同时在目标检测网络中加入了K-means聚类算法，所生成的候选框会较于普通的fasterRCNN人工设定生成的候选框更加切合标注的候选框尺寸。

此外通过卷积神经网络进行分类，能够有效的解决同一个检测区域同时存在多种缺陷的问题。也就是说根据分类根据分类结果，输入至对应的目标检测网络进行检测，而且各不干扰，能预测出一个区域同时出现多种缺陷的情况，最终可以实现对同一区域出现多种缺陷的情况，互不影响的分别进行检测，合并得到最后的结果。

其中，如图4所示，所述第一目标检测网络和所述第二目标检测网络具有相同的网络结构，不同的网络权重参数，所述第一目标检测网络和第二目标检测网络均包括有：特征提取网络、候选区域生成网络、ROI Pooling层、分类与回归部分，具体的检测过程为：

将卷积神经网络的输出的分类结果作为输入，特征提取网络进行特征提取，得到特征图；

将特征图利用候选区域生成网络生成候选区域并进行筛选得出候选框；

需要说明的是，候选区域生成网络采用K-means聚类算法替代人工设定候选框尺寸的操作，即对人工标定的标签中候选框宽高进行聚类操作，得到一组合适的候选框的宽高尺寸。所述K-means聚类算法一般流程为：首先，根据实际需求选择合适的K值,第二步,将对象点分到距离聚类中心最近的那个簇中需要最近邻的度量策略，在欧式空间中采用的是欧式距离，其计算公式为：

其中，x_n表示n维空间中第n个点的横坐标，y_n表示n维空间中第n个点的纵坐标。

第三步，计算新的质心，对于分类后的产生的k个簇，分别计算到簇内其他点距离均值最小的点作为质心(对于拥有坐标的簇可以计算每个簇坐标的均值作为质心)，最后一步，当质心不再改变，则聚类结束。

本发明中，采用K-means聚类算法替代人工设定候选框尺寸的操作具体步骤为：

首先，根据人工标注的标签所生成的xml文件进行提取相应边框的数据，获得所有人工标注缺陷的候选框的宽高，然后根据所有的候选框的宽高数据进行K-means聚类，得到聚类K组聚类结果，其中K为7，所述7组聚类结果作为候选框的固定宽高。

K-means聚类算法效果是可以获得最大程度拟合人工标注的先候选框尺寸，生成相对比较合适的候选框。

将特征图与候选框输入至ROI Pooling层，输出固定尺寸的特征图；

将固定尺寸的特征图输入至分类与回归部分，输出候选区域所属的类别和候选区域在图像中的精确位置。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，包括以下步骤：

S1：获取待检测图像并进行像素色度分析，根据色度分析结果对待检测图像进行语义分割得到掩膜图；

具体为：若待检测图像色度值小于预设值则舍弃当前待检测图像并重新获取；若待检测图像色度值大于或等于预设值，则将待检测图像进行语义分割得到掩膜图；

S2：将掩膜图与待检测图像的原图叠加得到分割输出图像；

S3：将分割输出图像进行滑窗操作得到若干个滑窗图像，将得到的滑窗图像分别输入至卷积神经网络进行分类，得到滑窗图像对应的分类结果；

S4：将卷积神经网络输出的分类结果分别输入至对应的目标检测网络，输出检测结果；

具体为：

所述卷积神经网络的分类结果包括：团状缺陷，线状缺陷和无缺陷；

若待检测图像为团状缺陷则输入至第一目标检测网络；若待检测图像为线状缺陷待检测图像输入至第二目标检测网络；待检测图像同时包括团状缺陷和线状缺陷则分别输入至第一目标检测网络和第二目标检测网络，并把检测结果合并；若待检测图像无缺陷，则不进行检测。

2.根据权利要求1所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，步骤S1所述的语义分割采用unet语义分割模型，

所述unet语义分割模型包括预处理单元和unet语义分割单元，其中所述预处理单元处理的处理过程为：首先将输入的图像进行图像锐化，然后进行自适应直方图均衡化；

所述unet语义分割单元特征提取部分和上采样部分，所述特征提取部分首先对预处理后的图像进行特征提取，得到特征图，将得到的特征图进行上采样和多层特征融合，得到融合后的特征图，最后将融合后的特征图回归到跟原始图像一样尺寸的像素点的分类，得到掩膜图。

3.根据权利要求2所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，所述unet语义分割模型包括训练过程和测试过程，其中训练过程如下：

a)首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；

b)利用图像相似度算法对得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签进行计算，得到相似度值；

c)最后将相似度值与预设的第二阈值进行比较，若相似度值大于预设的第二阈值，则输出预测的掩模图；若相似度值小于或等于预设的第二阈值，则返回预处理单元，将预处理单元的可调参数加1，然后继续上述步骤a)-步骤b)，直到相似度值大于预设的第二阈值或者循环次数达到设定次数，则输出预测的掩模图；

所述测试过程如下：

首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；

然后，把掩膜图中所有分割出来像素点记录个数，作为判断条件，然后返回预处理单元，将预处理单元的可调参数加1，再次根据预处理后的图像生成掩模图，然后继续上述步骤，把掩膜图中所有分割出来像素点记录个数，与上一次循环得到的判断条件进行比较，若此次掩膜图中所有分割出来像素点记录个数小于上一次循环得到的判断条件，则输出上一次循环unet语义分割单元所预测的掩模图；

若此次掩膜图中所有分割出来像素点记录个数大于上一次循环得到的判断条件，则将此次掩膜图中所有分割出来像素点记录个数作为新的判断条件，把上一次循环得到的判断条件代替，往复循环，直到掩膜图中所有分割出来像素点记录个数小于上一次循环得到的判断条件或者循环个数达到上限，则输出本次循环unet语义分割单元所预测的掩模图。

4.根据权利要求3所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，利用图像相似度算法对得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签进行计算，得到相似度值，具体过程为：

分别利用ORB算法、局部敏感哈希phash算法、直方图相似度算法计算得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签的相似度值，分别记为：第一相似度值、第二相似度值、第三相似度值；

将得到的三个相似度值中的最大值与预设的第一阈值比较，若所述最大值大于或等于预设的第一阈值，则将所述最大值作为最终的相似度值；

若所述最大值小于预设的第一阈值，则将第一相似度值、第二相似度值、第三相似度值中最小值作为最终的相似度值。

5.根据权利要求1所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，所述卷积神经网络依次包括：输入层、第一卷积层、线性整流层、池化层、第二卷积层、全连接层、输出层，其中，所述输入层用于特征向量的输入，所述第一卷积层和第二卷积层用于提取输入的不同特征；

所述线性整流层用于使用线性整流函数对输入向量进行线性整流激活并输出；

所述池化层将特征分成若干块，每个块均包括若干子块，输出每个块中像素值最大的子块，从而得到维度更小的特征；

所述全连接层把所有局部特征结合变成全局特征，用来计算最后的分类得分。

6.根据权利要求1所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，所述第一目标检测网络和所述第二目标检测网络具有相同的网络结构，不同的网络权重参数，所述第一目标检测网络和第二目标检测网络均包括有：特征提取网络、候选区域生成网络、ROIPooling层、分类与回归部分，具体的检测过程为：

将卷积神经网络的输出的分类结果作为输入，特征提取网络进行特征提取，得到特征图；

将特征图利用候选区域生成网络生成候选区域并进行筛选得出候选框；

将特征图与候选框输入至ROIPooling层，输出固定尺寸的特征图；

将固定尺寸的特征图输入至分类与回归部分，输出候选区域所属的类别和候选区域在图像中的精确位置。

7.根据权利要求6所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，候选区域生成网络采用K-means聚类算法替代人工设定候选框尺寸的操作，即对人工标定的标签中候选框宽高进行聚类操作，得到一组合适的候选框的宽高尺寸。

8.根据权利要求7所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，采用K-means聚类算法替代人工设定候选框尺寸的操作具体步骤为：

首先，根据人工标注的标签所生成的xml文件进行提取相应边框的数据，获得所有人工标注缺陷的候选框的宽高，然后根据所有的候选框的宽高数据进行K-means聚类，得到聚类K组聚类结果，其中K为7，所述7组聚类结果作为候选框的固定宽高。