CN115272335A - 基于显著性检测的冶金金属表面缺陷检测方法 - Google Patents
基于显著性检测的冶金金属表面缺陷检测方法 Download PDFInfo
- Publication number
- CN115272335A CN115272335A CN202211194777.7A CN202211194777A CN115272335A CN 115272335 A CN115272335 A CN 115272335A CN 202211194777 A CN202211194777 A CN 202211194777A CN 115272335 A CN115272335 A CN 115272335A
- Authority
- CN
- China
- Prior art keywords
- pixel
- pixel points
- significance
- area
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002184 metal Substances 0.000 title claims abstract description 114
- 230000007547 defect Effects 0.000 title claims abstract description 106
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000009826 distribution Methods 0.000 claims description 44
- 239000013598 vector Substances 0.000 claims description 37
- 238000004220 aggregation Methods 0.000 claims description 34
- 230000002776 aggregation Effects 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 239000003086 colorant Substances 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000012216 screening Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005272 metallurgy Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据处理技术领域，具体涉及基于显著性检测的冶金金属表面缺陷检测方法。该方法是一种应用电子设备进行识别的方法，利用人工智能***完成金属制品表面的缺陷检测。该方法首先通过相机识别金属表面图像，对金属表面图像进行数据处理得到多个待选类别和对应的显著性；进一步的，对多个待选类别进行数据处理，得到待选划痕缺陷区域和对应的最终显著性；由最终显著性构建显著图，对显著图进行缺陷检测得到最终划痕区域。避免将金属表面的表面特征区域划分至划痕区域，提高了对含有纹理特征的金属制品缺陷检测的准确性。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及基于显著性检测的冶金金属表面缺陷检测方法。
背景技术
在金属制造的过程中，由于组成材料、铸造工艺、工业环境等众多因素的影响，金属工作在生产过程中常会出现划痕、黄斑、杂质等缺陷问题。如果没有及时发现这些缺陷问题，在后续的加工过程中或者在金属制品的使用阶段其性能会受损，严重的可能会因此设备故障。故对金属制品的表面缺陷进行缺陷检测，是提高金属制品的生产质量的重要环节。尤其是应用于在开关、继电器等重要控制功能的金属器件而言，该类金属器件很大程度上直接影响了控制电路或者控制开关是否有效，其质量决定了产品性能的可靠性。
目前，常见的对金属制品表面进行缺陷检测的方法为在复杂的背景中提取出作为前景的工件目标，进而进行缺陷检测。而常见的缺陷检测方法在对金属表面有纹理特征的金属工件进行缺陷检测时，由于金属表面的纹理特征的影响，难以将金属表面的纹理特征与划痕区分开，会将纹理特征划分至划痕，影响划痕检测的结果。
发明内容
为了解决上述技术问题，本发明的目的在于提供基于显著性检测的冶金金属表面缺陷检测方法，所采用的技术方案具体如下：
采集金属表面图像，预处理所述金属表面图像得到HSV表面图像；
基于所述HSV表面图像上像素点像素值和属于同一像素值的像素点数量，对像素点分类，得到多个待选类别；基于各个待选类别内的像素点在HSV颜色空间中三个维度上的值，计算待选类别的分布方差；获取各待选类别内的像素均值，由所述待选类别内各像素点的像素值与像素均值的差异值、对应的分布方差计算显著性；
构建像素点的特征信息向量，所述特征信息向量内的元素包括：像素点在HSV颜色空间中的三个维度的值、像素点位置坐标和显著性；在金属表面图像上滑动滑窗，计算滑窗窗口内任意两个像素点之间的位置距离和特征信息向量内元素之间的差异值之和，作为两个像素点的密度聚合距离；基于所述密度聚合距离的大小将各待选类别内的像素点分为两类；由两类像素点分别构成多个区域，分别为第一类区域和第二类区域；第一类区域和第二类区域中区域数量较小的区域类别为待选划痕缺陷区域；
结合所述待选划痕缺陷区域内像素点的显著性均值和区域面积占比得到待选划痕缺陷区域内像素点的最终显著性；由所述最终显著性构建显著图，对所述显著图进行缺陷检测，得到最终划痕区域。
优选的，所述基于所述HSV表面图像上像素点像素值和属于同一像素值的像素点数量，对像素点分类，得到多个待选类别，包括：
将所述HSV表面图像上同一像素值的像素点分至同一初始类别；获取初始类别内像素点数量，选取Top-K个像素点数量对应的初始类别作为待选类别。
优选的，所述基于各个待选类别内的像素点在HSV颜色空间中三个维度上的值，计算待选类别的分布方差，包括：
计算各个待选类别内的像素点在HSV颜色空间中三个维度上的均值；将待选类别内各像素点在HSV颜色空间中三个维度的值与待选类别对应的均值的方差作为分布方差。
优选的，所述由所述待选类别内各像素点的像素值与像素均值的差异值、对应的分布方差计算显著性，包括：
所述显著性的计算公式为：
其中，
为第i个待选类别内的第n个像素点对应的显著性；
为第i个待选类别对应的分布方差；
为第i个类别内第n个像素点的像素值；
为第i个待选类别内所有像素点的像素均值；
为增益系数；
为第i个待选类别内的像素点数量。
优选的，所述计算滑窗窗口内任意两个像素点之间的位置距离和特征信息向量内元素之间的差异值之和，作为两个像素点的密度聚合距离，包括：
所述密度聚合距离的计算公式为：
其中，
为窗口内第i个像素点与第j个像素点的密度聚合距离；
为第i个像素点与第j个像素点之间的欧式距离；
为第i个像素点与第j个像素点均属于窗口范围W内；
为第i个像素点和第j个像素点是两个不重复的像素点；
为窗口内第i个像素点的特征信息向量内第a个元素值；
为窗口内第j个像素点的特征信息向量内第a个元素值；
为特征信息向量内的元素数量。
优选的，所述基于所述密度聚合距离的大小将各待选类别内的像素点分为两类，包括：
以像素点对应的最大的密度聚合距离作为最终密度聚合距离；
将最终密度聚合距离小于等于预设距离阈值的像素点分至第一类像素点；将最终密度聚合距离大于预设距离阈值的像素点分至第二类像素点。
优选的，所述结合所述待选划痕缺陷区域内像素点的显著性均值和区域面积占比得到待选划痕缺陷区域内像素点的最终显著性，包括：
任意待选划痕缺陷区域的面积加上预设增益系数得到调节面积；所述调节面积和所有待选划痕缺陷区域的面积之和的比值作为待选划痕缺陷区域的区域面积占比；
所述区域面积占比加上待选划痕缺陷区域内像素点的显著性均值，得到待调节显著性；以自然常数为底，以所述待调节显著性为指数的指数函数乘上预设增益系数，得到待选划痕缺陷区域内像素点的最终显著性。
优选的，所述预处理所述金属表面图像得到HSV表面图像，包括：
对所述金属表面图像进行去噪处理得到去噪后的金属表面图像，将去噪后的金属表面图像转换至HSV颜色空间中得到HSV表面图像。
本发明实施例至少具有如下有益效果：
获取金属表面图像和对应的HSV表面图像，对HSV表面图像上像素点分类得到多个待选类别；计算待选类别内像素点的分布方差；由待选类别内各像素点的像素值差异和分布方差计算显著性，将金属表面图像从RGB颜色空间换成至HSV颜色空间得到颜色空间内的各待选类别内像素点的显著性，由显著性能够反映出该类别内像素点的明显程度，从一定程度上能够反映像素点为缺陷概率的程度。
构建像素点的特征信息向量，计算滑窗内任意两个像素点的位置距离和特征信息向量内元素之间的差异值之和作为密度聚合距离，将各待选类别内的像素点分为两类，构成多个区域，从中筛选出待选划痕缺陷区域；结合显著性和待选划痕缺陷区域面积占比得到最终显著性；由最终显著性构建显著图，对显著图进行缺陷检测得到最终划痕区域。从由分类后的像素点构建的多个区域，筛选出待选划痕缺陷区域，实现对颜色空间内颜色近似的金属表面特征和划痕区域进行再次划分，最后根据最终显著性构建的显著图，实现将两次检测结果加以融合，得到可信度更高的显著性结果，使得将金属表面图像中的划痕区域划分出来，避免将金属表面的表面特征区域划分至划痕区域，提高了对含有纹理特征的金属制品进行缺陷检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的基于显著性检测的冶金金属表面缺陷检测方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于显著性检测的冶金金属表面缺陷检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了基于显著性检测的冶金金属表面缺陷检测方法的具体实施方法，该方法适用于金属表面缺陷检测场景。该场景下检测的金属制品的表面存在固定的纹理特征，如下水道井盖等金属制品。为了解决常见的缺陷检测方法在对金属表面有纹理特征的金属工件进行缺陷检测时，由于金属表面的纹理特征的影响，难以将金属表面的纹理特征与划痕区分开的问题，本发明通过对金属表面图像对应的HSV表面图像上的像素点进行分类，筛选出待选类别，对待选类别首次计算显著性，再结合像素点的显著性、像素点的位置坐标、像素点在HSV颜色空间中的三个维度上的值以及像素点与其他像素点之间的位置距离，将像素点进行再次分类，并构建多个区域，筛选出待选划痕缺陷区域，再次计算待选划痕缺陷区域内像素点的最终显著性，由最终显著性构建显著图，对显著图进行缺陷检测得到最终划痕区域。避免将金属表面的表面特征区域划分至划痕区域，提高了对含有纹理特征的金属制品进行缺陷检测的准确性。
下面结合附图具体的说明本发明所提供的基于显著性检测的冶金金属表面缺陷检测方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于显著性检测的冶金金属表面缺陷检测方法的步骤流程图，该方法包括以下步骤：
步骤S100，采集金属表面图像，预处理所述金属表面图像得到HSV表面图像。
利用CCD相机获取多个角度的金属表面图像，由于工业环境下光线不均匀、烟尘污垢等外部环境的影响，获取到的金属表面图像中往往含有各类干扰，会影响后续的图像处理进程。因此需要对获取的金属表面图像进行预处理操作，预处理金属表面图像得到HSV表面图像，具体的：对金属表面图像进行去噪处理得到去噪后的金属表面图像，进行去噪处理可以降低干扰因素带来的后果，减少噪声带来的干扰。在图像处理领域，常用的去噪处理方法有高斯滤波、均值滤波、双边滤波等，在本发明实施例中采用高斯滤波消除图像噪声。将去噪后的金属表面图像转换至HSV颜色空间中得到HSV表面图像。
步骤S200，基于所述HSV表面图像上像素点像素值和属于同一像素值的像素点数量，对像素点分类，得到多个待选类别；基于各个待选类别内的像素点在HSV颜色空间中三个维度上的值，计算待选类别的分布方差；获取各待选类别内的像素均值，由所述待选类别内各像素点的像素值与像素均值的差异值、对应的分布方差计算显著性。
一般情况下经冶金工艺制造的金属表面的划痕颜色与金属表面颜色存在差异，同类划痕和表面纹理特征之间的颜色相对一致。例如金属表面是银白色、划痕呈现淡褐色。获取的金属表面图像经过预处理后，表面高亮更加均匀，将金属表面图像从RGB颜色空间转换到HSV颜色空间得到HSV表面图像，此时在HSV颜色空间内主要包含几种颜色：一是金属表面原有颜色；二是划痕之类的缺陷区域的颜色；三是滤波未消除干扰在颜色空间的体现；四是金属表面某些固有表面纹理特征表现出的颜色。
首先初步检测分割背景，对于金属表面而言，纹理、颜色分布相对同一且面积较大；对于划痕区域而言，颜色分布相对一致且面积较小；滤波未消除干扰的在HSV颜色空间内的呈现具有成像颜色相对一致，空间分布零散，面积微小的特点。
从HSV表面图像上筛选出表面纹理特征和缺陷区域内的所属像素点。首先基于HSV表面图像上像素点像素值和属于同一像素值的像素点数量，对像素点分类，得到多个待选类别，具体的：将HSV表面图像上同一像素值的像素点划分至同一初始类别；获取初始类别内像素点数量，选取Top-K个像素点数量对应的初始类别作为待选类别，对筛选出的待选类别进行后续的处理。也即筛选出出现概率最高的前K类初始类别作为待选类别。在本发明实施例中K的取值为4，在其他实施例中实施者可根据实际情况调整该取值。
可以根据各类像素在HSV颜色空间的分布特征表达不同的种类的颜色，计算各个待选类别内像素点对应的分布方差，也即基于各个待选类别内的像素点在HSV颜色空间中三个维度上的值，可以计算待选类别对应的分布方差，具体的：
分别计算各个待选类别内的像素点在HSV颜色空间中色调H、饱和度S、明度V，这三个维度上的均值。将待选类别内各像素点在HSV颜色空间中三个维度的值与待选类别对应的均值的方差作为分布方差。
第
个待选类别的分布方差
的计算公式为：
其中，
为第
个待选类别内像素点的数量；
为第
个待选类别内各像素点在对应的H色调维度上的均值；
为第
个待选类别内各像素点在对应的S饱和度维度上的均值；
为第
个待选类别内各像素点在对应的V明度维度上的均值；
为第
个待选类别内第
个像素点在H色调维度的值；
为第
个待选类别内第
个像素点在S饱和度维度的值；
为第
个待选类别内第
个像素点在V明度维度的值。
在各待选类别的分布方差的结果中，根据计算各类待选类别的分布方差计算显著性，在获取的金属表面图像的各类像素中，表面像素是频率最高的，空间分布方差
最大，因此应当赋予最小的显著性系数，划痕像素的分布方差相对较小，赋予的显著性系数应当偏大。依据显著性原理，遵循方差越小，显著性越大的的分配准则，分配各个待选类别的显著性系数
。分配N个待选类别的显著性系数后，计算各个待选类别中像素点的显著性，最终得到颜色空间内颜色方差显著图T。由待选类别内各像素点的像素值与像素均值的差异、对应的分布方差计算显著性。
该显著性的计算公式为：
其中，
为第i个待选类别内的第n个像素点对应的显著性；
为第i个待选类别对应的分布方差；
为第i个类别内第n个像素点的像素值；
为第i个待选类别内所有像素点的像素均值；
为增益系数；
为第i个待选类别内的像素点数量。在本发明实施例中增益系数的取值为10，在其他实施例中实施者可根据实际情况调整该取值。
待选类别内的像素点在颜色空间内出现的频率越高，则该待选类别对应的分布方差越大，对应的该待选类别的显著性系数
就越小，在颜色空间中该待选类别的显著性就越小；反之，待选类别内的像素点在颜色空间内出现的频率越低，则该待选类别对应的分布方差越小，对应的该待选类别的显著性系数
就越大，在颜色空间中该待选类别的显著性就越大。
在本发明中每一个待选类别内的每个像素点的显著性是一致的，不同类别内的像素点的显著性在颜色空间内存有明显差异。通过计算每个像素点的显著性，能够将划痕区域和表面特征区域这两类从HSV颜色空间中检测出来，得到仅含有颜色近似的表面特征区域和划痕区域。
根据得到的显著性构建初始显著图，该初始显著图的大小和金属表面图像的大小相同，初始显著图中有对应显著性的像素点的像素值更新为其对应的显著性，没有对应显著性的像素点的像素值为0。
步骤S300，构建像素点的特征信息向量，所述特征信息向量内的元素包括：像素点在HSV颜色空间中的三个维度的值、像素点位置坐标和显著性；在金属表面图像上滑动滑窗，计算滑窗窗口内任意两个像素点之间的位置距离和特征信息向量内元素之间的差异值之和，作为两个像素点的密度聚合距离；基于所述密度聚合距离的大小将各待选类别内的像素点分为两类；由两类像素点分别构成多个区域，分别为第一类区域和第二类区域；第一类区域和第二类区域中区域数量较小的区域类别为待选划痕缺陷区域。
为了消除金属表面固有特征表征出的近似颜色的影响，使经过颜色空间的显著性检测后，能够准确地将表面背景与划痕区域划分开，但是金属表面并非是完全光滑的，表面会存在某些固有表面特征用于表征冶金金属的功能。在获取图像中，这些固有表面特征的颜色与划痕区域的颜色接近。经过上述预处理、颜色空间方差计算后，两类区域内的像素，被分为颜色相同的类别，被赋予近似的显著性。在检测到所有非背景区的显著区域后，需要从金属表面图像中将划痕区域和表面特征区域精准的分割开，也即得到四个待选类别后，将四个待选类别内的属于划痕区域的像素点和属于表面特征区域的像素点区分开。
图论常用于表征事物与周围环境之间的关系，利用完全图描述划痕的真实分布情况，有利于从显著图中检测出真正的划痕缺陷，本方案采用最小生成树描述划痕缺陷的空间分布相对零散的特征，实现对划痕区域的检测。通过分析划痕和表面特征的空间分布，可以通过确定这些颜色类似区域的具***置，选取能够代表划痕区域的关键点，通过这些关键点生成每个区域的最小生成树。
将待检测金属表面图像整体作为一个无向图，图的顶点是像素，图的边线反映了像素之间的关系，边的权值是根据像素之间的某些特征的相似性或者差异性。此时的待检测图像中包含表面特征类、划痕缺陷两类像素，如果能够将待检测图像中的划痕区域和表面特征区域内的像素进行一个同类像素的划分，那么后续生成树中，可以保证每个生成树只对应一类像素。
对于金属表面图像中任意一个像素点i，构建像素点i的特征信息向量，该特征信息向量内的元素包括：像素点在HSV颜色空间中的三个维度的值、在金属表面图像上的像素点位置坐标和所属缺陷像素点类别的显著性，像素点i对应的特征信息向量为：
，其中，
分别为像素点在HSV颜色空间中的三个维度的值，
为在金属表面图像上的像素点位置坐标，
所属缺陷像素点类别的显著性。依次获取金属表面图像中的所有像素点的特征向量信息H。使滑窗在金属表面图像上滑动，对于滑窗窗口内任意两个像素点，计算两个像素点之间的位置距离和特征信息向量内元素之间的差异值之和，作为两个像素点的密度聚合距离。如以像素点i为中心对应的滑窗窗口W，其中滑窗窗口的大小取9*9，对于滑窗窗口内的两个像素点i、j，它们分布的不同之处主要体现在位置距离和像素特征空间距离上，根据两个像素点之间的位置距离和特征信息向量内元素之间的差异值之和，计算两个像素点的密度聚合距离。该密度距离距离不仅反映了两个像素点之间的距离远近，还反映了两个像素点之间的特征信息向量的差异，两个像素点的特征信息向量的差异越小，则两个像素点属于同一特征的概率越大，如两个像素点同属于金属表面特征的概率越大，或者两个像素点同属于缺陷区域的概率越大。
该密度聚合距离的计算公式为：
其中，
为窗口内第i个像素点与第j个像素点的密度聚合距离；
为第i个像素点与第j个像素点之间的欧式距离；
为第i个像素点与第j个像素点均属于窗口范围W内；
为第i个像素点和第j个像素点是两个不重复的像素点；
为窗口内第i个像素点的特征信息向量内第a个元素值；
为窗口内第j个像素点的特征信息向量内第a个元素值；
为特征信息向量内的元素数量。需要说明的是，计算两点之间的欧式距离为公知技术，在此不再赘述。
其中，由于特征信息向量内含有五个元素，故在本发明实施例中a的取值范围为[1，5]，当a=1时，取特征信息向量H中的第一个元素，对应的HSV颜色空间中像素点的h维度的值，依次类推分别进行取值计算。
、
分别代表像素点i、j的特征信息向量中第a个位置的元素值。需要说明的是，每次a取值时，保证两个像素所取a值是一致的。
至此，得到任意两个像素点之间的密度聚合距离，在金属表面图像的一个区域内，两个像素点的密度聚合距离
的值越大，则反映两个像素点的距离、特征信息向量中对应的三个通道的值、坐标差异以及对应的显著性之间的差异越大，说明这两个像素点越不可能是同一类像素，如果密度聚合距离
的值越小，则反映两个像素点的距离、特征信息向量中对应的单个通道的值、坐标差异以及对应的显著性之间的差异越小，说明这两个像素点越有可能是同一类像素。需要说明的是，可能存在一个像素点对应多个密度聚合距离，将像素点对应的最大的密度聚合距离作为该像素点最终对应的最终密度聚合距离。
将最终密度聚合距离小于等于预设距离阈值的像素点分至第一类像素点；将最终密度聚合距离大于预设距离阈值的像素点分至第二类像素点。例如像素点i对应的最终密度聚合距离
小于等于预设距离阈值Y，那么将像素点i分至第一类像素点；当像素点i对应的最终密度聚合距离
大于距离阈值Y，那么将像素点i分至第二类像素点，遍历区域内的所有像素点，将待选类别区域内的像素点被分为两类。在本发明实施例中预设距离阈值的取值为170，在其他实施例中实施者可根据实际情况调整该取值。
将相邻的属于同一类别的像素点进行连接，得到多个区域。也即将两类像素点分别构成多个区域，分为第一类区域和第二类区域。其中，第一类区域是由相邻的第一类像素点连接得到的，第二类区域是由相邻的第二类像素点连接得到的。将属于同一类别的像素点进行连接，得到同一类别的像素点的区域。虽然得到了第一类区域和第二类区域，但是还未对金属表面图像中的划痕区域和表面特征区域进行划分。
故进一步的，遍历整张金属表面图像，最终得到所有区域内两类像素对应的区域。可能会发生窗口把一个区域分开的情况，此时对于两个相邻窗口中的同类的区域结果进行区域聚合。得到多个第一类区域和第二类区域，避免了在一个区域内出现两类像素影响后续树的生成情况。
借助中心点的信息表达区域的位置信息，首先对于每一个第一类区域和第二类区域，获取各区域的中心点，将区域的中心点作为目标点，统计金属表面图像中各区域的目标点的集合V。将同类区域的关键点分别进行连接，也即将第一类区域对应的目标点进行连接，将第二类区域对应的目标点进行连接，得到两类区域对应的完全图。
相邻同类区域对应的目标点之间连接线的权值通过两个区域的距离表示，区域之间的距离有多种表达方式：如通过计算区域重心的欧氏距离，也可以通过计算区域之间的最小距离来表征，但是由于划痕缺陷的大小不一、形状各异，很可能存在重心距离大，但是区域紧邻的现象，故本发明通过计算两个区域之间的类间距离最小值作为构造完全图边的权值。
对于表面特征分布较大的金属工件，其划痕区域在金属表面图像中的占比应远小于金属表面图像的占比，首先得到目标点集合V中的多个点，对其进行编号，得到完全图G=(V,E)。
完全图中的顶点为了各个区域的目标点，完全图中顶点之间的连接线的权重为顶点对应的区域之间的距离，由顶点和连接线构成了完全图。其中，第一类区域对应一个完全图，第二类区域对应一个完全图。
最小生成树是完全图的生成树中权值累加和最小的一颗，能够描述点集的聚集性，通过分析划痕区域和表面特征区域，可知划痕区域相对于表面特征区域占比较少，划痕区域对应的目标点的分布相对稀疏，表面特征区域相对于划痕区域占比较多，故固有的表面特征区域对应的点的分布相对密集，因此分析第一类区域和第二类区域对应的最小生成树结果，认为最小生成树连接线数量较小的区域类别对应的是金属表面图像中的划痕区域概率更大，也即第一类区域和第二类区域中数量较小的区域类别为待选划痕缺陷区域。
步骤S400，结合所述待选划痕缺陷区域内像素点的显著性均值和区域面积占比得到待选划痕缺陷区域内像素点的最终显著性；由所述最终显著性构建显著图，对所述显著图进行缺陷检测，得到最终划痕区域。
经过图像特征分析后，分别获得了由显著性构成的初始显著图、表面特征区域和划痕区域最小生成树的结果。为了获得一张最具代表的显著图用以缺陷检测判别，融合上述初始显著图和最小生成树的结果的描述特征，得到最终融合的显著图。结合待选划痕缺陷区域内像素点的显著性均值和区域面积占比得到待选划痕缺陷区域内像素点的最终显著性，具体的：任意待选划痕缺陷区域的面积加上预设增益系数得到调节面积；调节面积和待选划痕缺陷面积的面积之和的比值作为待选划痕缺陷区域的区域面积占比。区域面积占比加上待选划痕缺陷区域内像素点的显著性均值，得到待调节显著性；以自然常数为底，以待调节显著性为指数的指数函数乘上预设增益系数，得到待选划痕缺陷区域内像素点的最终显著性。其中，待选划痕缺陷区域内像素点的显著性均值为待选划痕缺陷区域内所有像素点对应的显著性的均值。
该最终显著性的计算公式为：
其中，
为自然常数；
为第j个待选划痕缺陷区域的显著性均值；
为第j个待选划痕缺陷区域的最终显著性；
为j个待选划痕缺陷区域的区域面积占比；
为第j个待选划痕缺陷区域的区域面积；
为第j个待选划痕缺陷区域的待调节显著性；
为预设增益系数。在本发明实施例中预设增益系数的取值为２，在其他实施例中实施者可根据实际情况调整该取值。
其中，考虑金属表面上划痕区域和表面特征区域的面积并不相同，因此通过附加一个面积权值，也即附加一个区域面积占比
，目的是为了让划痕区域和表面特征区域之间的区分更明显。对于窗口内的一类像素，数量越多、分布越广泛，其最小生成树就会越复杂，面积权值
就会越小，最终显著性
越小，则认为该区域是表面特征；对于窗口内的一类像素，数量越少，待检测图像中分布相对集中，最小生成树越是简单，面积权值
就会越大，最终计算的显著性
就越大，说明窗口内该区域越有可能是划痕区域。
计算得到各待选划痕缺陷区域的最终显著性后，由最终显著性构建显著图。确定最小生成树各顶点对应的待选划痕缺陷区域的区域图像，将计算的最终显著性赋予待选划痕缺陷区域内每一个像素点。这种最终显著性的计算方式，有效的融合由显著性构成的初始显著图和最小生成树的结果，获得融合后的显著图，相较于单独特征的初始显著图，融合后的显著图有效的保留了真实的缺陷区域，使目标区域的最终显著性处于高值状态，使得检测更为准确。其中，显著图的大小和金属表面图像的大小相同，显著图中有对应的最终显著性的像素点的像素值为其对应的最终显著性，没有最终显著性的像素点的像素值为0。
通过得到的显著图判定金属表面的划痕缺陷，评估划痕对金属器件的影响。得到的显著图中，划痕区域会明显的呈现出来，此时对显著图进行缺陷检测，得到最终划痕区域，可以排除金属表面特征区域的干扰。再通过PC端的GUI检测界面上给出的最终划痕区域的最终面积大小和划痕深浅对最终划痕区域的缺陷程度进行评价，以确定划痕对金属表面平整度的影响以及是否会影响金属器件的正常使用。
综上所述，本发明涉及数据处理技术领域。该方法首先获取金属表面图像，对像素点分类得到多个待选类别；计算待选类别内像素点的分布方差；由待选类别内各像素点的像素值差异和分布方差计算显著性；构建像素点的特征信息向量；由滑窗内任意两个像素点的位置距离和特征信息向量内元素的差异，将各待选类别内的像素点分为两类，构成多个区域，从中筛选出待选划痕缺陷区域；结合显著性和待选划痕缺陷区域面积占比得到最终显著性；由最终显著性构建显著图，对显著图进行缺陷检测得到最终划痕区域。避免将金属表面的表面特征区域划分至划痕区域，提高了对含有纹理特征的金属制品缺陷检测的准确性。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.基于显著性检测的冶金金属表面缺陷检测方法，其特征在于，该方法包括以下步骤：
采集金属表面图像，预处理所述金属表面图像得到HSV表面图像；
基于所述HSV表面图像上像素点像素值和属于同一像素值的像素点数量，对像素点分类，得到多个待选类别；基于各个待选类别内的像素点在HSV颜色空间中三个维度上的值，计算待选类别的分布方差；获取各待选类别内的像素均值，由所述待选类别内各像素点的像素值与像素均值的差异值、对应的分布方差计算显著性；
构建像素点的特征信息向量，所述特征信息向量内的元素包括：像素点在HSV颜色空间中的三个维度的值、像素点位置坐标和显著性；在金属表面图像上滑动滑窗，计算滑窗窗口内任意两个像素点之间的位置距离和特征信息向量内元素之间的差异值之和，作为两个像素点的密度聚合距离；基于所述密度聚合距离的大小将各待选类别内的像素点分为两类；由两类像素点分别构成多个区域，分别为第一类区域和第二类区域；第一类区域和第二类区域中区域数量较小的区域类别为待选划痕缺陷区域；
结合所述待选划痕缺陷区域内像素点的显著性均值和区域面积占比得到待选划痕缺陷区域内像素点的最终显著性；由所述最终显著性构建显著图，对所述显著图进行缺陷检测，得到最终划痕区域。
2.根据权利要求1所述的基于显著性检测的冶金金属表面缺陷检测方法，其特征在于，所述基于所述HSV表面图像上像素点像素值和属于同一像素值的像素点数量，对像素点分类，得到多个待选类别，包括：
将所述HSV表面图像上同一像素值的像素点分至同一初始类别；获取初始类别内像素点数量，选取Top-K个像素点数量对应的初始类别作为待选类别。
3.根据权利要求1所述的基于显著性检测的冶金金属表面缺陷检测方法，其特征在于，所述基于各个待选类别内的像素点在HSV颜色空间中三个维度上的值，计算待选类别的分布方差，包括：
计算各个待选类别内的像素点在HSV颜色空间中三个维度上的均值；将待选类别内各像素点在HSV颜色空间中三个维度的值与待选类别对应的均值的方差作为分布方差。
4.根据权利要求1所述的基于显著性检测的冶金金属表面缺陷检测方法，其特征在于，所述由所述待选类别内各像素点的像素值与像素均值的差异值、对应的分布方差计算显著性，包括：
所述显著性的计算公式为：
其中，
为第i个待选类别内的第n个像素点对应的显著性；
为第i个待选类别对应的分布方差；
为第i个类别内第n个像素点的像素值；
为第i个待选类别内所有像素点的像素均值；
为增益系数；
为第i个待选类别内的像素点数量。
5.根据权利要求1所述的基于显著性检测的冶金金属表面缺陷检测方法，其特征在于，所述计算滑窗窗口内任意两个像素点之间的位置距离和特征信息向量内元素之间的差异值之和，作为两个像素点的密度聚合距离，包括：
所述密度聚合距离的计算公式为：
其中，
为窗口内第i个像素点与第j个像素点的密度聚合距离；
为第i个像素点与第j个像素点之间的欧式距离；
为第i个像素点与第j个像素点均属于窗口范围W内；
为第i个像素点和第j个像素点是两个不重复的像素点；
为窗口内第i个像素点的特征信息向量内第a个元素值；
为窗口内第j个像素点的特征信息向量内第a个元素值；
为特征信息向量内的元素数量。
6.根据权利要求1所述的基于显著性检测的冶金金属表面缺陷检测方法，其特征在于，所述基于所述密度聚合距离的大小将各待选类别内的像素点分为两类，包括：
以像素点对应的最大的密度聚合距离作为最终密度聚合距离；
将最终密度聚合距离小于等于预设距离阈值的像素点分至第一类像素点；将最终密度聚合距离大于预设距离阈值的像素点分至第二类像素点。
7.根据权利要求1所述的基于显著性检测的冶金金属表面缺陷检测方法，其特征在于，所述结合所述待选划痕缺陷区域内像素点的显著性均值和区域面积占比得到待选划痕缺陷区域内像素点的最终显著性，包括：
任意待选划痕缺陷区域的面积加上预设增益系数得到调节面积；所述调节面积和所有待选划痕缺陷区域的面积之和的比值作为待选划痕缺陷区域的区域面积占比；
所述区域面积占比加上待选划痕缺陷区域内像素点的显著性均值，得到待调节显著性；以自然常数为底，以所述待调节显著性为指数的指数函数乘上预设增益系数，得到待选划痕缺陷区域内像素点的最终显著性。
8.根据权利要求1所述的基于显著性检测的冶金金属表面缺陷检测方法，其特征在于，所述预处理所述金属表面图像得到HSV表面图像，包括：
对所述金属表面图像进行去噪处理得到去噪后的金属表面图像，将去噪后的金属表面图像转换至HSV颜色空间中得到HSV表面图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211194777.7A CN115272335A (zh) | 2022-09-29 | 2022-09-29 | 基于显著性检测的冶金金属表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211194777.7A CN115272335A (zh) | 2022-09-29 | 2022-09-29 | 基于显著性检测的冶金金属表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115272335A true CN115272335A (zh) | 2022-11-01 |
Family
ID=83756098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211194777.7A Pending CN115272335A (zh) | 2022-09-29 | 2022-09-29 | 基于显著性检测的冶金金属表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272335A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797299A (zh) * | 2022-12-05 | 2023-03-14 | 常宝新材料(苏州)有限公司 | 一种光学复合膜的缺陷检测方法 |
| CN115861325A (zh) * | 2023-03-01 | 2023-03-28 | 山东中科冶金矿山机械有限公司 | 基于图像数据的悬架弹簧缺陷检测方法及*** |
| CN116523904A (zh) * | 2023-06-26 | 2023-08-01 | 深圳市佳合丰科技有限公司 | 一种基于人工智能的金属冲压件表面划痕检测方法 |
| CN117437279A (zh) * | 2023-12-12 | 2024-01-23 | 山东艺达环保科技有限公司 | 一种包装盒表面平整度检测方法及*** |
| CN117745724A (zh) * | 2024-02-20 | 2024-03-22 | 高唐县瑞景精密机械有限公司 | 基于视觉分析的石材打磨加工缺陷区域分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020107717A1 (zh) * | 2018-11-30 | 2020-06-04 | 长沙理工大学 | 视觉显著性区域检测方法及装置 |
| CN114119466A (zh) * | 2021-10-09 | 2022-03-01 | 武汉禾富信科技有限公司 | 铝箔表面缺陷检测方法、装置、设备及计算机存储介质 |
| CN114937039A (zh) * | 2022-07-21 | 2022-08-23 | 阿法龙(山东)科技有限公司 | 一种钢管缺陷智能检测方法 |
| CN115049656A (zh) * | 2022-08-15 | 2022-09-13 | 海门市刘氏铸造有限公司 | 硅钢轧制过程中缺陷的显著性识别与分类方法 |
-
2022
- 2022-09-29 CN CN202211194777.7A patent/CN115272335A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020107717A1 (zh) * | 2018-11-30 | 2020-06-04 | 长沙理工大学 | 视觉显著性区域检测方法及装置 |
| CN114119466A (zh) * | 2021-10-09 | 2022-03-01 | 武汉禾富信科技有限公司 | 铝箔表面缺陷检测方法、装置、设备及计算机存储介质 |
| CN114937039A (zh) * | 2022-07-21 | 2022-08-23 | 阿法龙(山东)科技有限公司 | 一种钢管缺陷智能检测方法 |
| CN115049656A (zh) * | 2022-08-15 | 2022-09-13 | 海门市刘氏铸造有限公司 | 硅钢轧制过程中缺陷的显著性识别与分类方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797299A (zh) * | 2022-12-05 | 2023-03-14 | 常宝新材料(苏州)有限公司 | 一种光学复合膜的缺陷检测方法 |
| CN115797299B (zh) * | 2022-12-05 | 2023-09-01 | 常宝新材料(苏州)有限公司 | 一种光学复合膜的缺陷检测方法 |
| CN115861325A (zh) * | 2023-03-01 | 2023-03-28 | 山东中科冶金矿山机械有限公司 | 基于图像数据的悬架弹簧缺陷检测方法及*** |
| CN116523904A (zh) * | 2023-06-26 | 2023-08-01 | 深圳市佳合丰科技有限公司 | 一种基于人工智能的金属冲压件表面划痕检测方法 |
| CN116523904B (zh) * | 2023-06-26 | 2023-09-08 | 深圳市佳合丰科技有限公司 | 一种基于人工智能的金属冲压件表面划痕检测方法 |
| CN117437279A (zh) * | 2023-12-12 | 2024-01-23 | 山东艺达环保科技有限公司 | 一种包装盒表面平整度检测方法及*** |
| CN117437279B (zh) * | 2023-12-12 | 2024-03-22 | 山东艺达环保科技有限公司 | 一种包装盒表面平整度检测方法及*** |
| CN117745724A (zh) * | 2024-02-20 | 2024-03-22 | 高唐县瑞景精密机械有限公司 | 基于视觉分析的石材打磨加工缺陷区域分割方法 |
| CN117745724B (zh) * | 2024-02-20 | 2024-04-26 | 高唐县瑞景精密机械有限公司 | 基于视觉分析的石材打磨加工缺陷区域分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115272335A (zh) | 基于显著性检测的冶金金属表面缺陷检测方法 | |
| CN113781402B (zh) | 芯片表面划痕缺陷的检测方法、装置和计算机设备 | |
| CN113808138B (zh) | 一种基于人工智能的电线电缆表面缺陷检测方法 | |
| US5872864A (en) | Image processing apparatus for performing adaptive data processing in accordance with kind of image | |
| CN114372983B (zh) | 一种基于图像处理的屏蔽盒涂装质量检测方法及*** | |
| CN111415363B (zh) | 一种图像边缘识别方法 | |
| CN116758083B (zh) | 基于计算机视觉的金属洗脸盆缺陷快速检测方法 | |
| CN115775250B (zh) | 基于数字图像分析的金手指电路板缺陷快速检测*** | |
| CN115082683A (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
| CN115829883A (zh) | 一种异性金属结构件表面图像去噪方法 | |
| CN115082451B (zh) | 一种基于图像处理的不锈钢汤勺缺陷检测方法 | |
| US20070263922A1 (en) | Multiple optical input inspection system | |
| CN109975196B (zh) | 一种网织红细胞检测方法及其*** | |
| US20060204082A1 (en) | Fusion of color space data to extract dominant color | |
| CN107180439B (zh) | 一种基于Lab色度空间的色偏特征提取和色偏检测方法 | |
| CN115578374A (zh) | 一种机械零件铸造质量评估方法与*** | |
| JPH08125857A (ja) | 画像処理装置 | |
| CN116402810B (zh) | 基于图像处理的润滑油抗磨粒质量检测方法 | |
| CN108921857A (zh) | 一种面向监视场景的视频图像焦点区域分割方法 | |
| CN115274486B (zh) | 一种半导体表面缺陷识别方法 | |
| US20040240733A1 (en) | Image transmission system, image transmission unit and method for describing texture or a texture-like region | |
| CN112488955A (zh) | 一种基于波长补偿的水下图像复原方法 | |
| CN115272350A (zh) | 一种计算机pcb主板生产质量检测方法 | |
| CN113221881A (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
| CN111709964A (zh) | 一种pcba目标边缘检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20221101 |
|
| WD01 | Invention patent application deemed withdrawn after publication |