CN117689655B - 基于计算机视觉的金属钮扣表面缺陷检测方法 - Google Patents
基于计算机视觉的金属钮扣表面缺陷检测方法 Download PDFInfo
- Publication number
- CN117689655B CN117689655B CN202410129930.0A CN202410129930A CN117689655B CN 117689655 B CN117689655 B CN 117689655B CN 202410129930 A CN202410129930 A CN 202410129930A CN 117689655 B CN117689655 B CN 117689655B
- Authority
- CN
- China
- Prior art keywords
- pixel
- analyzed
- pixel points
- gradient
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002184 metal Substances 0.000 title claims abstract description 99
- 230000007547 defect Effects 0.000 title claims abstract description 97
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims description 19
- 230000002950 deficient Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及基于计算机视觉的金属钮扣表面缺陷检测方法,该方法包括:获取金属纽扣表面图像;根据像素点的灰度分布得到各像素点的灰度波动因子;进而提取待分析像素点;根据像素点的梯度幅值的变化情况构建像素点的梯度变化系数;根据像素点的梯度方向构建像素点的方向一致因子和方向相似因子;基于方向一致因子和方向相似因子构建方向一致性系数;根据梯度变化系数、方向一致性系数及灰度波动因子构建缺陷置信度;根据缺陷置信度构建自适应显著值;利用语义分割神经网络实现对金属纽扣的缺陷检测。本发明可实现针对性的加强疑似缺陷像素点的显著程度,提高后续缺陷检测的准确性。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及基于计算机视觉的金属钮扣表面缺陷检测方法。
背景技术
随着金属制造业的发展,金属钮扣逐渐成为一种常见的服装辅料,不仅可以用于衣物的扣合,而且能点缀衣物。由于生产过程等原因,金属钮扣存在裂纹、刮痕、缺损等缺陷,为保证金属钮扣生产的高标准和高质量,需要对金属钮扣的表面缺陷进行检测。
在缺陷检测之前进行显著性检测可以帮助识别出图像中的重要区域或者目标,从而聚焦于这些区域或目标进行缺陷检测,提高缺陷检测任务的准确性和效率,目前应用较为广泛的显著性检测算法是HC算法。
然而HC算法作为一种基于颜色直方图的颜色对比度算法,仅基于颜色特征定义像素点的显著值,容易导致与正常区域颜色相似的缺陷像素点显著程度较低,影响后续缺陷检测结果的准确性。
发明内容
为了解决上述技术问题,本发明提供基于计算机视觉的金属钮扣表面缺陷检测方法,以解决现有的问题。
本发明的基于计算机视觉的金属钮扣表面缺陷检测方法采用如下技术方案:
本发明一个实施例提供了基于计算机视觉的金属钮扣表面缺陷检测方法,该方法包括以下步骤:
获取金属纽扣表面图像,并进行预处理;
采用大津阈值法获取剔除背景的金属纽扣表面图像灰度图;以各像素点为中心构建方形窗口,根据各方形窗口内像素点的灰度分布得到各方形窗口中心像素点的灰度波动因子;根据灰度波动因子与预设灰度波动因子阈值的差异提取疑似边界像素点及疑似缺陷像素点,记为待分析像素点;利用Sobel算子计算各待分析像素点的梯度,根据各待分析像素点的所述方形窗口内像素点的梯度幅值的变化情况构建各待分析像素点的梯度变化系数;对待分析像素点进行霍夫圆检测,将圆上各像素点作为金属纽扣的边界像素点,根据待分析像素点与相邻像素点的梯度方向的差异及边界像素点与相邻像素点的梯度方向的差异构建待分析像素点的方向一致因子;根据待分析像素点的梯度方向与边界像素点的梯度方向的相似程度构建待分析像素点的方向相似因子;根据待分析像素点的所述方向一致因子和所述方向相似因子构建待分析像素点的方向一致性系数;根据待分析像素点的所述梯度变化系数、所述方向一致性系数及所述灰度波动因子构建待分析像素点的缺陷置信度;根据缺陷置信度以及结合HC算法所获取的各像素点的显著值构建各像素点的自适应显著值;
结合各像素点的自适应显著值利用语义分割神经网络实现对金属纽扣的表面缺陷检测。
进一步地,所述根据各方形窗口内像素点的灰度分布得到各方形窗口中心像素点的灰度波动因子,包括:
对于各像素点的方形窗口,计算窗口内各像素点灰度值与窗口内所有像素点的灰度值均值的差值,将窗口内所有像素点的所述差值的平方的均值记为平方均值,将所述平方均值的归一化值作为窗口中心像素点的灰度波动因子。
进一步地,所述根据灰度波动因子与预设灰度波动因子阈值的差异提取疑似边界像素点及疑似缺陷像素点,记为待分析像素点,包括:
将灰度波动因子大于预设灰度波动因子阈值的像素点作为疑似边界像素点及疑似缺陷像素点,记为待分析像素点。
进一步地,所述根据各待分析像素点的所述方形窗口内像素点的梯度幅值的变化情况构建各待分析像素点的梯度变化系数,包括:
对于各待分析像素点的方形窗口,统计窗口内所有像素点的梯度幅值的最大值和最小值,计算所述最大值和所述最小值的差值,计算窗口内所有像素点的梯度幅值的标准差,将所述标准差与所述差值的乘积作为待分析像素点的梯度变化系数。
进一步地,所述根据待分析像素点与相邻像素点的梯度方向的差异及边界像素点与相邻像素点的梯度方向的差异构建待分析像素点的方向一致因子,包括:
计算待分析像素点与左相邻像素点的梯度方向的余弦相似度,记为第一余弦相似度,计算待分析像素点与右相邻像素点的梯度方向的余弦相似度,记为第二余弦相似度;
将圆心作为金属纽扣的圆心,对于各待分析像素点,从金属纽扣的圆心作一条朝向所述待分析像素点的射线,射线与边界有交点,计算所述待分析像素点与所有所述交点的欧式距离,获取欧式距离最小值对应交点所在的边界,将所述欧式距离最小值对应交点记为各待分析像素点的最优交点,将所述最优交点所在的边界记为最优边界;计算最优交点与最优边界上所述最优交点的左相邻像素点的梯度方向的余弦相似度,记为第三余弦相似度,计算最优交点与最优边界上所述最优交点的右相邻像素点的梯度方向的余弦相似度,记为第四余弦相似度,计算所述第一余弦相似度与所述第二余弦相似度的和值,记为第一和值,计算所述第三余弦相似度与所述第四余弦相似度的和值,记为第二和值,将所述第一和值与所述第二和值的比值作为所述待分析像素点的方向一致因子。
进一步地,所述根据待分析像素点的梯度方向与边界像素点的梯度方向的相似程度构建待分析像素点的方向相似因子,包括:
计算所述待分析像素点的左相邻像素点与最优交点在最优边界上的左相邻像素点的梯度方向的余弦相似度,记为第五余弦相似度,计算所述待分析像素点与最优交点的梯度方向的余弦相似度,记为第六余弦相似度,计算所述待分析像素点的右相邻像素点与最优交点在最优边界上的右相邻像素点的梯度方向的余弦相似度,记为第七余弦相似度,计算所述第五余弦相似度、所述第六余弦相似度和所述第七余弦相似度的均值,将所述均值作为所述待分析像素点的方向相似因子。
进一步地,所述根据待分析像素点的所述方向一致因子和所述方向相似因子构建待分析像素点的方向一致性系数,包括:
将待分析像素点的方向一致因子作为以自然常数为底的指数函数的指数,记为第一指数函数,将所述待分析像素点的方向相似因子作为以自然常数为底的指数函数的指数,记为第二指数函数,将所述第一指数函数与所述第二指数函数的和值作为所述待分析像素点的方向一致性系数。
进一步地,所述根据待分析像素点的所述梯度变化系数、所述方向一致性系数及所述灰度波动因子构建待分析像素点的缺陷置信度,包括:
将待分析像素点的梯度变化系数作为以自然常数为底的指数函数的指数,记为第一指数函数,将所述待分析像素点的方向一致性系数作为以自然常数为底的指数函数的指数,记为第二指数函数,获取所述第二指数函数与预设数值的和值,计算所述第一指数函数与所述和值的比值,将所述比值与所述待分析像素点的灰度波动因子的乘积作为所述待分析像素点的缺陷置信度。
进一步地,所述根据缺陷置信度以及结合HC算法所获取的各像素点的显著值构建各像素点的自适应显著值,包括:
当像素点为待分析像素点时,将像素点的缺陷置信度作为以自然常数为底的对数函数的真数,根据HC算法对金属纽扣表面图像的Lab图进行显著分析得到各像素点的初始显著值,计算所述初始显著值与所述对数函数的和值,将所述和值作为像素点的自适应显著值;
当像素点为除待分析像素点之外的像素点时,像素点的自适应显著值为所述初始显著值。
进一步地,所述结合各像素点的自适应显著值利用语义分割神经网络实现对金属纽扣的表面缺陷检测,包括:
语义分割神经网络的输入为金属钮扣显著效果图,输出为缺陷检测效果图,统计金属钮扣缺陷检测效果图中缺陷像素点数量与金属钮扣显著效果图中像素点总数量的比值,记为金属钮扣的质量不良率,当金属钮扣的质量不良率大于预设阈值时,金属钮扣质量不合格,反之,金属纽扣质量合格。
本发明至少具有如下有益效果:
针对金属材料具有反光性,可能导致金属钮扣表面图像中缺陷区域与正常区域颜色相近,进而导致显著效果图中缺陷区域显著性较低的问题,本发明在计算显著值时将金属钮扣像素点的灰度值与梯度考虑进去。首先根据灰度变化情况构建灰度波动因子,提取金属钮扣具有特征的待分析像素点,其次根据边界像素点梯度与缺陷像素点梯度的差异,构建梯度变化系数和方向一致性系数,再次构建缺陷置信度,计算待分析像素点为缺陷像素点的置信度,方便后续对缺陷置信度越大的像素点进行越高的显著程度,最后根据缺陷置信度对初始显著值进行赋值,在根据像素点色差进行显著的基础上,充分考虑像素点为缺陷像素点的置信度,对越可能为缺陷的像素点赋予越高的显著值。本发明在满足图像显著的基础上,针对性的加强了疑似缺陷像素点的显著程度,提高了后续缺陷检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明提供的基于计算机视觉的金属钮扣表面缺陷检测方法的步骤流程图;
图2为金属纽扣表面图像的灰度图;
图3为自适应显著值的获取流程示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于计算机视觉的金属钮扣表面缺陷检测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于计算机视觉的金属钮扣表面缺陷检测方法的具体方案。
本发明一个实施例提供的基于计算机视觉的金属钮扣表面缺陷检测方法,具体的,提供了如下的基于计算机视觉的金属钮扣表面缺陷检测方法,请参阅图1,该方法包括以下步骤:
步骤S001,采集金属钮扣表面图像,并对图像进行预处理。
将金属钮扣带有花纹的一面朝上,利用CCD工业相机从上向下进行俯视拍摄,得到金属钮扣表面图像。由于采集的金属钮扣原图中存在噪声,为避免噪声对后续操作的影响,利用中值滤波算法对金属钮扣表面图像进行去噪处理,并对去噪后的金属钮扣表面图像进行灰度转化及CIE-Lab颜色空间转化,得到金属钮扣表面图像灰度图及Lab图,金属纽扣表面图像的灰度图如图2所示。中值滤波算法是公知技术,本实施例不再进行赘述。
步骤S002,首先根据灰度值的变化情况构建灰度波动因子,获取所有待分析像素点,然后根据待分析像素点的灰度梯度变化特征构建梯度变化系数和方向一致性系数,最后构建缺陷置信度,并根据缺陷置信度构建自适应显著值。
传统的HC算法在检测金属钮扣表面图像的Lab图中像素点的显著性时,仅考虑了颜色特征,一个像素点的显著值是通过与图像中所有其它像素点的色差定义的,相同颜色的像素点具有相同的显著值,如果缺陷像素点与正常像素点的颜色相近时,存在缺陷像素点显著性较低、不能很好的突出缺陷像素点的问题,因此本发明针对显著值的计算进行改进。
金属钮扣表面图像灰度图中包含背景,为了减少计算量以及对金属钮扣进行精确分析,需将背景从金属钮扣表面图像灰度图中剔除。由于金属钮扣部分与背景部分的灰度值差异较大,因此可以利用大津阈值OTSU对金属钮扣部分与背景部分进行分割,获取剔除背景部分的金属钮扣灰度图。由于大津阈值OTSU技术是公知技术,本实施例不再进行赘述。
由于光照、金属表面具有反光性等原因,金属钮扣边界处像素点的灰度值存在变化情况,同时缺陷像素点与周围像素点也存在差异,因此可以根据像素点的局部差异程度提取边界像素点及缺陷像素点。首先以像素点为中心,构建/>的窗口,/>的设定实施者可自行选取,本实施例中/>为5,计算像素点/>的灰度波动因子/>:
式中,表示像素点/>的灰度波动因子,/>表示归一化操作,/>表示以像素点/>为中心的窗口的边长,/>表示以像素点/>为中心的窗口内像素点/>的灰度值,/>表示以像素点/>为中心的窗口内所有像素点的灰度值均值。
以像素点为中心的窗口内像素点灰度值的波动程度越大,所述窗口内各像素点灰度值与所述灰度值均值的差值的平方的均值越大,则像素点/>的灰度波动因子/>越大,表明像素点/>为边界像素点或缺陷像素点的概率越大。
进一步,本发明设置一个灰度波动因子阈值,将灰度波动因子/>大于灰度波动因子阈值/>的像素点作为疑似边界像素点及疑似缺陷像素点,将疑似边界像素点及疑似缺陷像素点记为待分析像素点。灰度波动因子阈值/>的设定实施者可自行选取,本实施例中/>为0.3,至此可根据灰度波动因子获取所有的待分析像素点。
由于金属钮扣具有反光性,因此边界两侧的像素点,一侧灰度值较低,一侧灰度值较高,边界像素点的灰度梯度呈现一定的变化规律,缺陷像素点的灰度梯度变化较为杂乱,因此针对像素点的梯度进行分析。使用Sobel算子计算像素点在水平方向的梯度,以及像素点在垂直方向上的梯度/>,则像素点的梯度幅值可以表示为/>,梯度方向角可以表示为/>,在获取梯度方向角之后,可以获取梯度的方向,梯度方向用/>来表示。
以待分析像素点为中心,构建/>的窗口,根据窗口内像素点梯度幅值的变化情况构建梯度变化系数/>:
式中,表示待分析像素点/>的梯度变化系数,/>表示以待分析像素点/>为中心的窗口中所有像素点梯度幅值的标准差,/>表示以待分析像素点/>为中心的窗口中像素点/>的梯度幅值,/>表示取最大值操作,/>表示取最小值操作。
当待分析像素点为缺陷像素点时,以待分析像素点/>为中心的窗口中像素点的梯度幅值差异较大,因此像素点梯度幅值的最大值与最小值相差较大,且梯度幅值标准差/>较大,则待分析像素点/>的梯度变化系数/>较大,当待分析像素点/>为边界像素点时,以待分析像素点/>为中心的窗口中像素点的梯度幅值近似相等,因此像素点梯度幅值的最大值与最小值相差较小,且梯度标准差/>较小,则待分析像素点/>的梯度变化系数/>较小,故待分析像素点/>的梯度变化系数/>越大,待分析像素点/>为缺陷像素点的概率越大。
由于金属钮扣边界呈现较为规则的圆形,而缺陷一般无规则,对上述待分析像素点进行霍夫圆检测,可以得到L个圆,本实施例中L为5,将圆上各像素点作为金属纽扣的边界像素点。霍夫圆检测算法为公知技术,本实施例不再进行赘述。同一条边界上相邻像素点距离极近,相邻像素点所在边界对应极小的圆弧,上述圆弧趋近于一条直线,因此同一条边界上相邻像素点的梯度方向近似相同,梯度方向呈现一定的变化规律,缺陷的纹路通常是无规律的,缺陷区域相邻像素点的梯度方向较为杂乱,没有规律,因此根据像素点的梯度方向进行区分。具体实施过程为:霍夫圆检测出的5个圆具有相同的圆心,将所述圆心作为金属纽扣的圆心,从金属钮扣的圆心/>作一条朝向待分析像素点/>的射线,射线与边界有交点,计算待分析像素点/>与所有交点的欧式距离,找出欧式距离最小值对应交点所在的边界,将距离最小值对应交点记为边界像素点/>。根据上述梯度方向变化特征构建方向一致性系数/>:
式中,表示待分析像素点/>的方向一致性系数,/>表示待分析像素点/>的方向一致因子,/>表示待分析像素点/>的方向相似因子,/>表示余弦相似度,/>分别表示待分析像素点/>的梯度方向,/>表示边界像素点的梯度方向,/>表示取均值操作。
边界上相邻像素点的梯度方向近似相同,即边界像素点的梯度方向/>、边界像素点/>的梯度方向/>与边界像素点/>的梯度方向/>近似相同,则相邻两个像素点的梯度方向的余弦相似度/>与/>都近似为1;当待分析像素点/>位于缺陷区域时,待分析像素点/>周围的像素点灰度值较为离散,待分析像素点/>与相邻像素点的梯度方向差异较大,则待分析像素点/>的梯度方向/>与相邻像素点/>的梯度方向/>的余弦相似度/>较小,待分析像素点/>的梯度方向/>与相邻像素点/>的梯度方向/>的余弦相似度/>也较小,因此待分析像素点/>的方向一致因子/>较小。
虽然同一条边界上相邻像素点的梯度方向近似相同,但是整条边界上像素点的梯度方向存在差异,因此在计算待分析像素点与边界像素点/>的梯度方向差异时,边界像素点/>需要根据所述条件进行限制。当待分析像素点/>位于缺陷区域时,像素点/>的梯度方向/>与边界像素点/>的梯度方向/>差异较大,则像素点/>的梯度方向/>与边界像素点/>的梯度方向/>的余弦相似度/>较小,同理/>和也较小,因此待分析像素点/>的方向相似因子/>较小。
当待分析像素点位于缺陷区域时,待分析像素点/>的方向一致因子/>较小,待分析像素点/>的方向相似因子/>较小,则待分析像素点/>的方向一致性系数/>较小,待分析像素点/>的方向一致性系数/>越小,表明待分析像素点/>为缺陷像素点的概率越大。
由于梯度变化系数反映像素点梯度分布的均匀性,方向一致性系数/>反映像素点梯度方向的一致性,灰度波动因子/>反映像素点灰度值的波动程度,因此根据梯度变化系数/>、方向一致性系数/>及灰度波动因子/>构建缺陷置信度/>:
式中,表示待分析像素点/>的缺陷置信度,/>表示待分析像素点/>的梯度变化系数,/>表示待分析像素点/>的方向一致性系数,/>表示待分析像素点/>的灰度波动因子,/>是极小的正数,用来避免分母为0的情况。
当待分析像素点位于缺陷区域时,待分析像素点/>与边界像素点/>的梯度方向差异较大,待分析像素点/>的方向一致性系数/>较小,以待分析像素点/>为中心的窗口内像素点的梯度幅值差异较大,待分析像素点/>的梯度变化系数/>较大,且以待分析像素点/>为中心的窗口内像素点灰度值的波动程度较大,待分析像素点/>的灰度波动因子/>较大,则待分析像素点/>的缺陷置信度/>较大。待分析像素点/>的缺陷置信度/>越大时,待分析像素点/>为缺陷像素点的概率越高。
进一步,本实施例采用HC算法对金属纽扣表面图像的Lab图进行显著性分析,获取金属纽扣表面图像中各像素点的初始显著值,根据缺陷置信度对初始显著值进行赋值,得到自适应显著值:
式中,表示自适应显著值,/>表示根据HC算法对金属纽扣表面图像的Lab图进行显著性分析时得到的初始显著值,初始显著值的计算是公知技术,本实施例不再进行赘述,/>表示像素点/>的缺陷置信度,/>表示像素点/>为待分析像素点,/>表示像素点/>为除待分析像素点外的像素点。
当像素点为待分析像素点时,在根据色差进行显著的基础上,根据由灰度值及梯度构建的缺陷置信度/>对像素点进行附加显著,像素点/>的缺陷置信度/>越高,像素点/>的自适应显著值/>越大,在金属钮扣的显著效果图中越突出,方便后续缺陷检测。
至此,获取金属钮扣的显著效果图,自适应显著值的获取流程示意图如图3所示。
步骤S003,利用语义分割神经网络对金属钮扣的显著效果图进行缺陷检测。
语义分割神经网络的输入为金属钮扣显著效果图,输出为缺陷检测效果图,网络训练的损失函数为交叉熵损失函数,网络训练的标签数据为:金属钮扣显著效果图中的缺陷像素点人为标注为1,其余像素点标注为0,基于标签数据结合损失函数对神经网络进行训练,神经网络模型及训练过程为公知技术,本实施例不再进行赘述。统计金属钮扣缺陷检测效果图中缺陷像素点数量与金属钮扣显著效果图中像素点总数量的比值,作为金属钮扣的质量不良率,进一步设置一个质量不良率阈值,当金属钮扣的质量不良率大于质量不良率阈值时,金属钮扣质量不合格,反之,金属纽扣质量合格,不影响金属钮扣的后续使用。至此,实现对金属钮扣表面缺陷的视觉检测。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。
Claims (8)
1.基于计算机视觉的金属钮扣表面缺陷检测方法,其特征在于,该方法包括以下步骤:
获取金属纽扣表面图像,并进行预处理;
采用大津阈值法获取剔除背景的金属纽扣表面图像灰度图;以各像素点为中心构建方形窗口,根据各方形窗口内像素点的灰度分布得到各方形窗口中心像素点的灰度波动因子;根据灰度波动因子与预设灰度波动因子阈值的差异提取疑似边界像素点及疑似缺陷像素点,记为待分析像素点;利用Sobel算子计算各待分析像素点的梯度,根据各待分析像素点的所述方形窗口内像素点的梯度幅值的变化情况构建各待分析像素点的梯度变化系数;对待分析像素点进行霍夫圆检测,将圆上各像素点作为金属纽扣的边界像素点,根据待分析像素点与相邻像素点的梯度方向的差异及边界像素点与相邻像素点的梯度方向的差异构建待分析像素点的方向一致因子;根据待分析像素点的梯度方向与边界像素点的梯度方向的相似程度构建待分析像素点的方向相似因子;根据待分析像素点的所述方向一致因子和所述方向相似因子构建待分析像素点的方向一致性系数;根据待分析像素点的所述梯度变化系数、所述方向一致性系数及所述灰度波动因子构建待分析像素点的缺陷置信度;根据缺陷置信度以及结合HC算法所获取的各像素点的显著值构建各像素点的自适应显著值;
结合各像素点的自适应显著值利用语义分割神经网络实现对金属纽扣的表面缺陷检测;
所述根据待分析像素点与相邻像素点的梯度方向的差异及边界像素点与相邻像素点的梯度方向的差异构建待分析像素点的方向一致因子,包括:
计算待分析像素点与左相邻像素点的梯度方向的余弦相似度,记为第一余弦相似度,计算待分析像素点与右相邻像素点的梯度方向的余弦相似度,记为第二余弦相似度;
将圆心作为金属纽扣的圆心,对于各待分析像素点,从金属纽扣的圆心作一条朝向所述待分析像素点的射线,射线与边界有交点,计算所述待分析像素点与所有所述交点的欧式距离,获取欧式距离最小值对应交点所在的边界,将所述欧式距离最小值对应交点记为各待分析像素点的最优交点,将所述最优交点所在的边界记为最优边界;计算最优交点与最优边界上所述最优交点的左相邻像素点的梯度方向的余弦相似度,记为第三余弦相似度,计算最优交点与最优边界上所述最优交点的右相邻像素点的梯度方向的余弦相似度,记为第四余弦相似度,计算所述第一余弦相似度与所述第二余弦相似度的和值,记为第一和值,计算所述第三余弦相似度与所述第四余弦相似度的和值,记为第二和值,将所述第一和值与所述第二和值的比值作为所述待分析像素点的方向一致因子;
所述根据待分析像素点的梯度方向与边界像素点的梯度方向的相似程度构建待分析像素点的方向相似因子,包括:
计算所述待分析像素点的左相邻像素点与最优交点在最优边界上的左相邻像素点的梯度方向的余弦相似度,记为第五余弦相似度,计算所述待分析像素点与最优交点的梯度方向的余弦相似度,记为第六余弦相似度,计算所述待分析像素点的右相邻像素点与最优交点在最优边界上的右相邻像素点的梯度方向的余弦相似度,记为第七余弦相似度,计算所述第五余弦相似度、所述第六余弦相似度和所述第七余弦相似度的均值,将所述均值作为所述待分析像素点的方向相似因子。
2.如权利要求1所述的基于计算机视觉的金属钮扣表面缺陷检测方法,其特征在于,所述根据各方形窗口内像素点的灰度分布得到各方形窗口中心像素点的灰度波动因子,包括:
对于各像素点的方形窗口,计算窗口内各像素点灰度值与窗口内所有像素点的灰度值均值的差值,将窗口内所有像素点的所述差值的平方的均值记为平方均值,将所述平方均值的归一化值作为窗口中心像素点的灰度波动因子。
3.如权利要求1所述的基于计算机视觉的金属钮扣表面缺陷检测方法,其特征在于,所述根据灰度波动因子与预设灰度波动因子阈值的差异提取疑似边界像素点及疑似缺陷像素点,记为待分析像素点,包括:
将灰度波动因子大于预设灰度波动因子阈值的像素点作为疑似边界像素点及疑似缺陷像素点,记为待分析像素点。
4.如权利要求1所述的基于计算机视觉的金属钮扣表面缺陷检测方法,其特征在于,所述根据各待分析像素点的所述方形窗口内像素点的梯度幅值的变化情况构建各待分析像素点的梯度变化系数,包括:
对于各待分析像素点的方形窗口,统计窗口内所有像素点的梯度幅值的最大值和最小值,计算所述最大值和所述最小值的差值,计算窗口内所有像素点的梯度幅值的标准差,将所述标准差与所述差值的乘积作为待分析像素点的梯度变化系数。
5.如权利要求1所述的基于计算机视觉的金属钮扣表面缺陷检测方法,其特征在于,所述根据待分析像素点的所述方向一致因子和所述方向相似因子构建待分析像素点的方向一致性系数,包括:
将待分析像素点的方向一致因子作为以自然常数为底的指数函数的指数,记为第一指数函数,将所述待分析像素点的方向相似因子作为以自然常数为底的指数函数的指数,记为第二指数函数,将所述第一指数函数与所述第二指数函数的和值作为所述待分析像素点的方向一致性系数。
6.如权利要求1所述的基于计算机视觉的金属钮扣表面缺陷检测方法,其特征在于,所述根据待分析像素点的所述梯度变化系数、所述方向一致性系数及所述灰度波动因子构建待分析像素点的缺陷置信度,包括:
将待分析像素点的梯度变化系数作为以自然常数为底的指数函数的指数,记为第一指数函数,将所述待分析像素点的方向一致性系数作为以自然常数为底的指数函数的指数,记为第二指数函数,获取所述第二指数函数与预设数值的和值,计算所述第一指数函数与所述第二指数函数与预设数值的和值的比值,将所述比值与所述待分析像素点的灰度波动因子的乘积作为所述待分析像素点的缺陷置信度。
7.如权利要求1所述的基于计算机视觉的金属钮扣表面缺陷检测方法,其特征在于,所述根据缺陷置信度以及结合HC算法所获取的各像素点的显著值构建各像素点的自适应显著值,包括:
当像素点为待分析像素点时,将像素点的缺陷置信度作为以自然常数为底的对数函数的真数,根据HC算法对金属纽扣表面图像的Lab图进行显著分析得到各像素点的初始显著值,计算所述初始显著值与所述对数函数的和值,将所述初始显著值与所述对数函数的和值作为像素点的自适应显著值;
当像素点为除待分析像素点之外的像素点时,像素点的自适应显著值为所述初始显著值。
8.如权利要求1所述的基于计算机视觉的金属钮扣表面缺陷检测方法,其特征在于,所述结合各像素点的自适应显著值利用语义分割神经网络实现对金属纽扣的表面缺陷检测,包括:
语义分割神经网络的输入为金属钮扣显著效果图,输出为缺陷检测效果图,统计金属钮扣缺陷检测效果图中缺陷像素点数量与金属钮扣显著效果图中像素点总数量的比值,记为金属钮扣的质量不良率,当金属钮扣的质量不良率大于预设阈值时,金属钮扣质量不合格,反之,金属纽扣质量合格。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410129930.0A CN117689655B (zh) | 2024-01-31 | 2024-01-31 | 基于计算机视觉的金属钮扣表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410129930.0A CN117689655B (zh) | 2024-01-31 | 2024-01-31 | 基于计算机视觉的金属钮扣表面缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117689655A CN117689655A (zh) | 2024-03-12 |
CN117689655B true CN117689655B (zh) | 2024-04-19 |
Family
ID=90128459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410129930.0A Active CN117689655B (zh) | 2024-01-31 | 2024-01-31 | 基于计算机视觉的金属钮扣表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117689655B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117893531B (zh) * | 2024-03-14 | 2024-06-11 | 凯森蒙集团有限公司 | 一种服装加工过程中服装质量智能检测方法 |
CN117893532B (zh) * | 2024-03-14 | 2024-05-24 | 山东神力索具有限公司 | 基于图像处理的模锻索具用模具裂纹缺陷检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019200775A (ja) * | 2018-05-10 | 2019-11-21 | 国立大学法人岩手大学 | 表面欠陥検査装置及び表面欠陥検査方法 |
CN113989266A (zh) * | 2021-11-11 | 2022-01-28 | 汶上海纬机车配件有限公司 | 基于图像处理的机械配件表面缺陷检测方法 |
CN115049656A (zh) * | 2022-08-15 | 2022-09-13 | 海门市刘氏铸造有限公司 | 硅钢轧制过程中缺陷的显著性识别与分类方法 |
CN115375676A (zh) * | 2022-10-24 | 2022-11-22 | 微山三利特不锈钢有限公司 | 一种基于图像识别的不锈钢制品质量检测方法 |
CN116758083A (zh) * | 2023-08-21 | 2023-09-15 | 浙江莫克智造有限公司 | 基于计算机视觉的金属洗脸盆缺陷快速检测方法 |
CN116823822A (zh) * | 2023-08-29 | 2023-09-29 | 山东航宇游艇发展有限公司 | 基于视觉特征的船艇钣金件焊接缺陷检测方法 |
CN116912261A (zh) * | 2023-09-15 | 2023-10-20 | 张家港市神舟机械有限公司 | 一种塑料模具注塑表面缺陷检测方法 |
CN117197140A (zh) * | 2023-11-07 | 2023-12-08 | 东莞市恒兴隆实业有限公司 | 基于机器视觉的不规则金属扣成型检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6829381B2 (en) * | 2001-11-28 | 2004-12-07 | Applied Materials, Inc. | Method for detecting defects |
-
2024
- 2024-01-31 CN CN202410129930.0A patent/CN117689655B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019200775A (ja) * | 2018-05-10 | 2019-11-21 | 国立大学法人岩手大学 | 表面欠陥検査装置及び表面欠陥検査方法 |
CN113989266A (zh) * | 2021-11-11 | 2022-01-28 | 汶上海纬机车配件有限公司 | 基于图像处理的机械配件表面缺陷检测方法 |
CN115049656A (zh) * | 2022-08-15 | 2022-09-13 | 海门市刘氏铸造有限公司 | 硅钢轧制过程中缺陷的显著性识别与分类方法 |
CN115375676A (zh) * | 2022-10-24 | 2022-11-22 | 微山三利特不锈钢有限公司 | 一种基于图像识别的不锈钢制品质量检测方法 |
CN116758083A (zh) * | 2023-08-21 | 2023-09-15 | 浙江莫克智造有限公司 | 基于计算机视觉的金属洗脸盆缺陷快速检测方法 |
CN116823822A (zh) * | 2023-08-29 | 2023-09-29 | 山东航宇游艇发展有限公司 | 基于视觉特征的船艇钣金件焊接缺陷检测方法 |
CN116912261A (zh) * | 2023-09-15 | 2023-10-20 | 张家港市神舟机械有限公司 | 一种塑料模具注塑表面缺陷检测方法 |
CN117197140A (zh) * | 2023-11-07 | 2023-12-08 | 东莞市恒兴隆实业有限公司 | 基于机器视觉的不规则金属扣成型检测方法 |
Non-Patent Citations (1)
Title |
---|
基于图像灰度梯度特征的钢轨表面缺陷检测;闵永智 等;仪器仪表学报;20180415(第04期);第223-232页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117689655A (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116721106B (zh) | 一种基于图像处理的型材瑕疵视觉检测方法 | |
US11580647B1 (en) | Global and local binary pattern image crack segmentation method based on robot vision | |
CN111292305B (zh) | 一种改进型yolo-v3的金属加工表面缺陷检测方法 | |
CN117689655B (zh) | 基于计算机视觉的金属钮扣表面缺陷检测方法 | |
CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
CN117078672B (zh) | 基于计算机视觉的手机屏幕缺陷智能检测方法 | |
CN116205919B (zh) | 基于人工智能的五金零件生产质量检测方法及*** | |
CN114219805B (zh) | 一种玻璃缺陷智能检测方法 | |
CN114998323B (zh) | 基于注意力机制的螺纹钢异常判定方法 | |
CN113658131B (zh) | 一种基于机器视觉巡游式环锭纺断纱检测方法 | |
CN116452589B (zh) | 基于图像处理的人造板表面缺陷智能检测方法 | |
CN117764986B (zh) | 基于图像处理的钛板表面缺陷检测方法 | |
CN117197140B (zh) | 基于机器视觉的不规则金属扣成型检测方法 | |
CN115564771A (zh) | 一种基于建筑物基柱的混凝土裂纹识别方法 | |
CN116883408B (zh) | 基于人工智能的积算仪壳体缺陷检测方法 | |
CN117011292A (zh) | 一种复合板表面质量快速检测方法 | |
CN116664565A (zh) | 一种光伏太阳能电池片的隐裂检测方法及*** | |
CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
CN115984662A (zh) | 一种多模态数据预训练及识别方法、装置、设备及介质 | |
CN114863189A (zh) | 一种基于大数据的图像智能识别方法 | |
CN116385440B (zh) | 一种弧形刀片视觉检测方法 | |
CN111292346B (zh) | 一种噪声环境下浇铸箱体轮廓的检测方法 | |
CN114511851B (zh) | 一种基于显微镜图像的游丝藻类细胞统计方法 | |
Wang et al. | Color edge detection using the normalization anisotropic Gaussian kernel and multichannel fusion | |
CN114548250A (zh) | 一种基于数据分析的手机外观检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |