CN115797314A - 零件表面缺陷检测方法、***、设备及存储介质 - Google Patents
零件表面缺陷检测方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN115797314A CN115797314A CN202211624391.5A CN202211624391A CN115797314A CN 115797314 A CN115797314 A CN 115797314A CN 202211624391 A CN202211624391 A CN 202211624391A CN 115797314 A CN115797314 A CN 115797314A
- Authority
- CN
- China
- Prior art keywords
- defect
- features
- image
- feature extraction
- mark points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 160
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012216 screening Methods 0.000 claims description 18
- 230000005855 radiation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种零件表面缺陷检测方法、***、设备及存储介质,涉及图像识别技术领域,使用特征提取模型对所述表面图像进行深度卷积,能够识别较为复杂场景下的图像特征,并且在深度卷积中增加残差网络,避免识别准确率下降,对表面图像中的特征进行筛选,过滤掉干扰特征,得到感兴趣的缺陷特征,减少后续计算量,提高预测的效率;然后对感兴趣的缺陷特征处的标记点覆盖范围进行调整,提取出完整的缺陷特征,能够适应不同尺寸的缺陷,保证提取出的缺陷与实际缺陷更贴合,在将提取的缺陷特征与预设缺陷类型进行比对时,能够提高最终缺陷检测结果的准确性,从而满足对复杂零件的缺陷检测,同时使得检测准确性和检测效率不降低。
Description
技术领域
本发明涉及图像识别技术领域,具体而言,涉及一种零件表面缺陷检测方法、***、设备及存储介质。
背景技术
在生产过程中,能有效地筛选出不符合质量标准的缺损零件,提高工厂生产中的零件检测效率,是零件工厂乃至整个汽车行业的共同要求。减少缺陷汽车零配件的投入使用,对解决行车安全问题至关重要。
汽车零件,例如结构复杂的发动机,其表面质量是厂家生产过程的重要指标,在生产及加工过程中,由于制造或生产工艺的技术失误,可能会对汽车发动机造成缺陷,缺陷主要有轴承表面出现擦伤、磕碰损坏等。如若不对发送机进行详细精确地检测,出厂后该类缺陷会影响发动机的使用寿命,对驾驶者产生安全威胁。
随着图像处理技术的蓬勃发展,利用机器视觉技术进行缺陷检测的方法不断涌现,对获取到的待检测图像进行特征提取,最终实现对缺陷特征的预测和识别。其中,特征提取通常使用机器学习和图像处理等算法。但传统机器视觉缺陷检测方法主要是采用浅层模型和人为定义特征来对数据进行处理,因此存在如下主要问题:一是对于需要提取大量的特征信息的复杂场景而言,浅层模型很难满足要求;二是对于存在形态多变缺陷的复杂场景,人为定义特征缺乏针对性,同时容易产生冗余特征,对检测结果的准确性和检测效率产生严重影响。
发明内容
本发明所要解决的问题是传统机器视觉检测方法难以满足对复杂零件的缺陷检测,进而影响检测准确性和检测效率。
为解决上述问题,一方面,本发明提供了一种零件表面缺陷检测方法包括:
使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在所述特征所在位置处设置标记点;
对所述标记点处的所述特征进行筛选,得到感兴趣的缺陷特征;
调整所述缺陷特征对应的所述标记点的覆盖范围,形成特征提取区域;
将所述特征提取区域中的所述缺陷特征与预设缺陷类型进行比对,得到相似度;
将最大所述相似度对应的预设缺陷类型确定为所述特征提取区域的缺陷检测结果。
可选地,所述使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在特征所在位置处设置标记点之前,还包括:
获取待测目标的图像集;
使用所述图像集对初始卷积神经网络进行训练,得到初始模型;
在所述初始卷积神经网络中的卷积层中增加残差网络,得到改进模型,其中,所述改进模型继承所述初始模型的权重参数;
在所述改进模型的卷积层中***自适应卷积层,得到特征提取模型。
可选地,所述自适应卷积层内设置有可变形卷积核,用于根据特征尺寸自适应调节识别范围的尺寸,所述自适应卷积层位于所述改进模型中第一层所述卷积层之后且位于最后一层所述卷积层之前。
可选地,所述使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在特征所在位置处设置标记点包括:
在所述表面图像上设置所述标记点;
以固定步长移动所述标记点,对所述表面图像进行扫描;
提取所述标记点处的图像特征,其中,所述图像特征包括颜色和纹理;
将所述图像特征与所述表面图像的前景进行相似度分析;
当所述相似度大于或等于相似度阈值时,剔除所述图像特征对应的所述标记点;
当所述相似度小于所述相似度阈值时,保留所述图像特征对应的所述标记点。
可选地,所述对所述标记点处的特征进行筛选,得到感兴趣的缺陷特征包括:
根据所述标记点的位置信息和所述标记点处的所述图像特征进行筛选,剔除目标范围以外的所述标记点以及所述图像特征正常的所述标记点,得到感兴趣的缺陷特征。
可选地,所述调整所述缺陷特征对应的所述标记点的覆盖范围,形成特征提取区域包括:
以所述缺陷特征对应的所述标记点为中心,向周围各方向辐射其他所述标记点;
分析其他所述标记点处的图像特征与所述中心处的所述标记点的所述图像特征之间的差异度;
当所述差异度大于差异度阈值时,停止向该方向继续辐射所述标记点;
当所有方向上的辐射都停止后,将每个方向上最后辐射的标记点依次相连,形成所述特征提取区域。
可选地,所述获取待测目标的图像集后,所述零件表面缺陷检测方法还包括:
对所述图像集进行预处理,所述预处理包括翻转、滤波或裁剪。
另外一方面,本发明还提供了一种零件表面缺陷检测***包括:
标记模块,用于使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在特征所在位置处设置标记点;
筛选模块,用于对所述标记点处的特征进行筛选,得到感兴趣的缺陷特征;
调整模块,用于调整所述缺陷特征对应的所述标记点的覆盖范围,形成特征提取区域;
比对模块,用于将所述特征提取区域中的缺陷特征与预设缺陷类型进行比对,得到相似度;还用于将最大所述相似度对应的预设缺陷类型确定为所述特征提取区域的缺陷检测结果。
第三方面,本发明还提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,当所述处理器执行所述计算机程序时,实现上述零件表面缺陷检测方法。
第四方面,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时,实现上述零件表面缺陷检测方。
与现有技术相比,本发明具有如下有益效果:
本发明提供的一种零件表面缺陷检测方法、***、设备及存储介质,使用特征提取模型对所述表面图像进行深度卷积,能够识别较为复杂场景下的图像特征,并且在深度卷积中增加残差网络,避免识别准确率下降,对表面图像中的特征进行筛选,过滤掉干扰特征,得到感兴趣的缺陷特征,减少后续计算量,提高预测的效率;然后对感兴趣的缺陷特征处的标记点覆盖范围进行调整,提取出完整的缺陷特征,能够适应不同尺寸的缺陷,保证提取出的缺陷与实际缺陷更贴合,在将提取的缺陷特征与预设缺陷类型进行比对时,能够提高最终缺陷检测结果的准确性,从而满足对复杂零件的缺陷检测,保证检测准确性和检测效率。
附图说明
图1示出了本发明实施例中零件表面缺陷检测方法的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例,然而应当理解的是,本发明可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是,本发明的附图及实施例仅用于示例性作用,并非用于限制本发明的保护范围。
应当理解,本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”;术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意,本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
图1示出了本发明实施例中零件表面缺陷检测方法的流程图,所述零件表面缺陷检测方法包括:
S100:使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在特征所在位置处设置标记点。所述特征提取模型包括残差网络和自适应卷积层,残差网络能够无损传播梯度,从而避免梯度消失,在特征提取模型中设置多个残差模块堆叠,可以在特征提取模型卷积深度增加的同时,不让识别准确率下降。这里所述的标记点可以是一个点、也可以是一个矩形框或者圆圈,将识别出的特征标记出来。
S200:对所述标记点处的特征进行筛选,得到感兴趣的缺陷特征。由于识别出的特征不一定都是想要的特征,例如识别的特征所处的位置不是自己想要识别的位置等,可以将这些明显不符合要求或者明显不是缺陷的特征剔除,减少后续计算量,提高预测的效率。
S300:调整所述缺陷特征对应的所述标记点的覆盖范围,形成特征提取区域。由于不同位置处的缺陷特征尺寸不同,如果使用同样大小的标记点,或者有规律的布设标记点,最终识别出的缺陷特征会不完整或者有多余不属于缺陷特征的内容被归为缺陷特征,导致识别出的缺陷特征不准确,因此需要根据不同缺陷的大小适应性的调整标记点的覆盖范围,使得最终提取的缺陷特征大小形状与实际缺陷相符。
S400:将所述特征提取区域中的缺陷特征与预设缺陷类型进行比对,得到相似度。
S500:将最大所述相似度对应的预设缺陷类型确定为所述特征提取区域的缺陷检测结果。提取的缺陷仅是图片信息,为了更快更好的了解缺陷类型,可以将提取的缺陷特征图片与预设的缺陷图片进行比较,进一步确认缺陷的类型,从而能够在进行质量筛选的时候提高筛选的速度。
在本实施例中,使用特征提取模型对所述表面图像进行深度卷积,能够识别较为复杂场景下的图像特征,并且在深度卷积中增加残差网络,避免识别准确率下降,对表面图像中的特征进行筛选,过滤掉干扰特征,得到感兴趣的缺陷特征,减少后续计算量,提高预测的效率;然后对感兴趣的缺陷特征处的标记点覆盖范围进行调整,提取出完整的缺陷特征,能够适应不同尺寸的缺陷,保证提取出的缺陷与实际缺陷更贴合,在将提取的缺陷特征与预设缺陷类型进行比对时,能够提高最终缺陷检测结果的准确性,从而满足对复杂零件的缺陷检测,保证检测准确性和检测效率。
在本发明的一种实施例中,所述使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在特征所在位置处设置标记点之前,还包括:
获取待测目标的图像集;
使用所述图像集对初始卷积神经网络进行训练,得到初始模型。其中所述初始卷积神经网络可以选用VGG16(Visual Geometry Group Network,神经网络),用VGG16网络训练出一个预训练网络,利用学到的特征的空间层次结构作为初始模型。预训练通过大量图片和时间训练模型,然后通过反向传播进行损失函数的计算并将损失函数最小化,在此过程中反复修改卷积核参数和全连接层每个神经元的权重进行微调。
在所述初始卷积神经网络中的卷积层中增加残差网络,得到改进模型,其中,所述改进模型继承所述初始模型的权重参数。另外还可以将VGG16的主干网络直接替换成ResNet101卷积层,ResNet101卷积层使用更小的卷积核,相比于传统的深度学习网络,在保证同样的感受野的情况下,减少参数和计算量;采用小卷积核替代原有的大卷积核,更有利于描述表面图像的缺陷细节信息,并且ResNet101增加了网络的层数,更多的网络层可以使提取到的不同尺度的抽象特征更加丰富,更有利于提取零件表面不同尺度的缺陷。残差网络形成残差模块,设置于多个卷积层之间,保证在增加卷积层层数的同时,避免梯度损失,保证卷积层的准确性。
用初始模型的参数来初始化改进模型的初始权重参数。通过这种方式,可以解决没有大量图像反复学习权重的问题,而且节省了大量的计算资源和计算时间,利用旧的参数帮助新模型从旧经验中成功执行新任务。
在所述改进模型的卷积层中***自适应卷积层,得到特征提取模型,其中,所述自适应卷积层内设置有可变形卷积核,用于根据特征尺寸自适应调节识别范围的尺寸,所述自适应卷积层位于所述改进模型中第一层所述卷积层之后且位于最后一层所述卷积层之前。传统卷积识别网络对形状不规则的目标识别存在困难,这种困难来自于它的网络结构:卷积层对输入特征图的固定位置进行采样;池化层以固定的比例进行池化。这会导致在同一个卷积层中,所有激活单元的识别范围是一样的,但由于发动机缺陷图像中不同位置可能存在不同尺度或变形的缺陷区域,所以要想进行缺陷的精确定位,需要对尺度或者识别范围大小进行自应调整,使其能够优化识别范围,进行更精细的识别。而增加自适应层,就能够在现有阶段的基础上,改变识别范围的大小,来增强对不同尺度特征提取效果。
在本发明的一种实施例中,所述使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在特征所在位置处设置标记点包括:
在所述表面图像上设置所述标记点;这里所述的标记点可以是一个点,也可以是一个具有一定形状和面积的图形,例如矩形框或者圆形框,用于标记某一点或者某一个小范围。
以固定步长移动所述标记点,对所述表面图像进行扫描;
提取所述标记点处的图像特征,其中,所述图像特征包括颜色和纹理;
将所述图像特征与所述表面图像的前景或背景进行相似度分析;
当所述相似度大于或等于相似度阈值时,剔除所述图像特征对应的所述标记点;
当所述相似度小于所述相似度阈值时,保留所述图像特征对应的所述标记点。
在本实施例中,可以设置一个固定大小的矩形框,比如10*10像素的矩形框,对图像以固定步长进行扫描,如一次移动5个像素点,这么做是为了识别图像中有多少个目标以及目标的位置。然后提取每个矩形框内的特征判断属于哪类物体,如提取颜色、纹理等特征与前景的相似程度或与背景的相似程度,将图像分成若干个不同类别的候选框,然后从这些候选的矩形框中根据我们希望得到的特征区域筛选出感兴趣区域,过滤掉不相干的图像区域和特征,减小计算量,提高预测效率。
在本发明的一种实施例中,所述对所述标记点处的特征进行筛选,得到感兴趣的缺陷特征包括:
根据所述标记点的位置信息和所述标记点处的所述图像特征进行筛选,剔除目标范围以外的所述标记点以及所述图像特征正常的所述标记点,得到感兴趣的缺陷特征,例如汽车发动机的表面范围较大,但是实际上影响其性能的关键位置是气缸的表面质量,对于发动机固定安装部位的要求不严格,因此可以根据表面图像的位置信息或者图像中的颜色或者形状等信息,初步过滤掉不需要识别的区域,减少运算,将更多的运算资源集中到感兴趣的区域。
在本发明的一种实施例中,所述调整所述缺陷特征对应的所述标记点的覆盖范围,形成特征提取区域包括:
以所述缺陷特征对应的所述标记点为中心,向周围各方向辐射其他所述标记点。辐射方式和辐射方向可以是圆形层层向外辐射,也可以是自定义指定方向辐射,也可以采用额外的一个卷积层嵌套如插值法、生长法等算法判断向哪个方向进行扩张。
当所述差异度大于差异度阈值时,停止向该方向继续辐射所述标记点。
具体地,分析其他所述标记点处的图像特征与所述中心处的所述标记点的所述图像特征之间的差异度。由于发动机表面的缺陷多为划痕、凹坑、凸起或缺损等,这些缺陷被判定为不合格产品需要达到一定的量级,当缺陷特征符合不合格产品的评判标准时,其与周围合格表面的差异较大,能够通过对比识别出来。因此以中心位置处的图像特征为参照基础,当其他辐射标记点位置处的图像特征与其相差较大的时候,可能其他辐射标记点是处于正常表面的位置,这时候可以停止向该方向辐射。
当所有方向上的辐射都停止后,将每个方向上最后辐射的标记点依次相连,形成所述特征提取区域。当所有方向都停止辐射的时候,即代表识别范围调整完成,将每个方向上最后辐射的标记点依次相连,就能够得到包络完整缺陷特征的最小范围,这样既能够识别完整的缺陷,又不在完整缺陷图像的***增加多余的干扰图像,能够提高缺陷特征识别的准确性。
在本发明的一种实施例中,所述获取待测目标的图像集后,所述零件表面缺陷检测方法还包括:
对所述图像集进行预处理,所述预处理包括翻转、滤波或裁剪。由于使用的图像集为极度不平衡图像集,所以为了易于网络训练要将图像集进行数据增强,主要包括翻转:将汽车发动机缺陷图片翻转180°;滤波:使用自适应中值滤波进行去噪;裁剪:将多余背景剔除,以更好地训练缺陷特征。
在本发明的一种实施例中,还提供一种零件表面缺陷检测***包括:
标记模块10,用于使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在特征所在位置处设置标记点;
筛选模块20,用于对所述标记点处的特征进行筛选,得到感兴趣的缺陷特征;
调整模块30,用于调整所述缺陷特征对应的所述标记点的覆盖范围,形成特征提取区域;
比对模块40,用于将所述特征提取区域中的缺陷特征与预设缺陷类型进行比对,得到相似度;还用于将最大所述相似度对应的预设缺陷类型确定为所述特征提取区域的缺陷检测结果。
在本实施例中,标记模块10使用特征提取模型对所述表面图像进行深度卷积,能够识别较为复杂场景下的图像特征,并且在深度卷积中增加残差网络,避免识别准确率下降,初步识别所述表面图像中的特征,在特征所在位置处设置标记点。筛选模块20对表面图像中的特征进行筛选,过滤掉干扰特征,得到感兴趣的缺陷特征,减少后续计算量,提高预测的效率;调整模块30对感兴趣的缺陷特征处的标记点覆盖范围进行调整,提取出完整的缺陷特征,能够适应不同尺寸的缺陷,保证提取出的缺陷与实际缺陷更贴合,比对模块40在将提取的缺陷特征与预设缺陷类型进行比对时,能够提高最终缺陷检测结果的准确性。
在本发明的一种实施例中,所述零件表面缺陷检测***还包括:
图像获取模块50,用于获取待测目标的图像集;
训练模块60,用于使用所述图像集对初始卷积神经网络进行训练,得到初始模型;
修改模块70,用于在所述初始卷积神经网络中的卷积层中增加残差网络,得到改进模型,其中,所述改进模型继承所述初始模型的权重参数;还用于在所述改进模型的卷积层中***自适应卷积层,得到特征提取模型,其中,所述自适应卷积层用于根据特征尺寸自适应调节识别范围的尺寸。
本发明另一实施例的一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,当所述处理器执行所述计算机程序时,实现如上所述的零件表面缺陷检测方法。
本发明实施例中的计算设备与上述零件表面缺陷检测方法的技术效果相近似,在此不再进行赘述。
本发明另一实施例的一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时,实现如上所述的零件表面缺陷检测方法。
本发明所述的计算机可读存储介质与上述零件表面缺陷检测方法的技术效果相近似,在此不再进行赘述。
一般来说,用于实现本发明方法的计算机指令可以采用一个或多个计算机可读存储介质任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质,除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言,特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
虽然本公开披露如上,但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。
Claims (10)
1.一种零件表面缺陷检测方法,其特征在于,包括:
使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在所述特征所在位置处设置标记点;
对所述标记点处的所述特征进行筛选,得到感兴趣的缺陷特征;
调整所述缺陷特征对应的所述标记点的覆盖范围,形成特征提取区域;
将所述特征提取区域中的所述缺陷特征与预设缺陷类型进行比对,得到相似度;
将最大所述相似度对应的预设缺陷类型确定为所述特征提取区域的缺陷检测结果。
2.根据权利要求1所述的零件表面缺陷检测方法,其特征在于,所述使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在特征所在位置处设置标记点之前,还包括:
获取待测目标的图像集;
使用所述图像集对初始卷积神经网络进行训练,得到初始模型;
在所述初始卷积神经网络中的卷积层中增加残差网络,得到改进模型,其中,所述改进模型继承所述初始模型的权重参数;
在所述改进模型的卷积层中***自适应卷积层,得到特征提取模型。
3.根据权利要求2所述的零件表面缺陷检测方法,其特征在于,所述自适应卷积层内设置有可变形卷积核,用于根据所述特征的尺寸自适应调节识别范围的尺寸,所述自适应卷积层位于所述改进模型中第一层所述卷积层之后且位于最后一层所述卷积层之前。
4.根据权利要求1所述的零件表面缺陷检测方法,其特征在于,所述使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在特征所在位置处设置标记点包括:
在所述表面图像上设置所述标记点;
以固定步长移动所述标记点,对所述表面图像进行扫描;
提取所述标记点处的图像特征,其中,所述图像特征包括颜色和纹理;
将所述图像特征与所述表面图像的前景进行相似度分析;
当所述相似度大于或等于相似度阈值时,剔除所述图像特征对应的所述标记点;
当所述相似度小于所述相似度阈值时,保留所述图像特征对应的所述标记点。
5.根据权利要求4所述的零件表面缺陷检测方法,其特征在于,所述对所述标记点处的特征进行筛选,得到感兴趣的缺陷特征包括:
根据所述标记点的位置信息和所述标记点处的所述图像特征进行筛选,剔除目标范围以外的所述标记点以及所述图像特征正常的所述标记点,得到感兴趣的所述缺陷特征。
6.根据权利要求4所述的零件表面缺陷检测方法,其特征在于,所述调整所述缺陷特征对应的所述标记点的覆盖范围,形成特征提取区域包括:
以所述缺陷特征对应的所述标记点为中心,向周围各方向辐射其他所述标记点;
分析其他所述标记点处的所述图像特征与所述中心处的所述标记点的所述图像特征之间的差异度;
当所述差异度大于差异度阈值时,停止向该方向继续辐射所述标记点;
当所有方向上的辐射都停止后,将每个方向上最后辐射的所述标记点依次相连,形成所述特征提取区域。
7.根据权利要求2-5任一所述的零件表面缺陷检测方法,其特征在于,所述获取待测目标的图像集后,还包括:
对所述图像集进行预处理,所述预处理包括翻转、滤波或裁剪。
8.一种零件表面缺陷检测***,其特征在于,包括:
标记模块,用于使用特征提取模型对零件的表面图像进行卷积,初步识别所述表面图像中的特征,在特征所在位置处设置标记点;
筛选模块,用于对所述标记点处的特征进行筛选,得到感兴趣的缺陷特征;
调整模块,用于调整所述缺陷特征对应的所述标记点的覆盖范围,形成特征提取区域;
比对模块,用于将所述特征提取区域中的缺陷特征与预设缺陷类型进行比对,得到相似度;还用于将最大所述相似度对应的预设缺陷类型确定为所述特征提取区域的缺陷检测结果。
9.一种计算设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,当所述处理器执行所述计算机程序时,实现如权利要求1-7中任一项所述的零件表面缺陷检测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序被处理器执行时,实现如权利要求1-7中任一项所述的零件表面缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211624391.5A CN115797314B (zh) | 2022-12-16 | 2022-12-16 | 零件表面缺陷检测方法、***、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211624391.5A CN115797314B (zh) | 2022-12-16 | 2022-12-16 | 零件表面缺陷检测方法、***、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115797314A true CN115797314A (zh) | 2023-03-14 |
CN115797314B CN115797314B (zh) | 2024-04-12 |
Family
ID=85426005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211624391.5A Active CN115797314B (zh) | 2022-12-16 | 2022-12-16 | 零件表面缺陷检测方法、***、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115797314B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116645362A (zh) * | 2023-06-29 | 2023-08-25 | 日照鲁光电子科技有限公司 | 一种碳化硅晶圆的质量智能检测方法及*** |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11118731A (ja) * | 1997-10-20 | 1999-04-30 | Nissan Motor Co Ltd | 被検査面の欠陥検査方法およびその装置 |
CN103983651A (zh) * | 2014-05-23 | 2014-08-13 | 清华大学 | 基于概率预测的焊缝x射线自动检测伪缺陷剔除方法 |
US20160247661A1 (en) * | 2015-02-24 | 2016-08-25 | Fei Company | Pattern matching using a lamella of known shape for automated s/tem acquisition and metrology |
JP2017106776A (ja) * | 2015-12-08 | 2017-06-15 | 株式会社Sumco | 特定欠陥の検出方法、特定欠陥の検出システムおよびプログラム |
CN111161243A (zh) * | 2019-12-30 | 2020-05-15 | 华南理工大学 | 基于样本增强的工业产品表面缺陷检测方法 |
WO2020259732A1 (de) * | 2019-06-27 | 2020-12-30 | MTU Aero Engines AG | Verfahren zum erkennen von fehlstellen in einem bauteil, verfahren zum trainieren eines maschinellen lernsystems, computerprogrammprodukt, computerlesbares medium und system zum erkennen von fehlstellen in einem bauteil |
CN112508939A (zh) * | 2020-12-22 | 2021-03-16 | 郑州金惠计算机***工程有限公司 | 法兰表面缺陷检测方法及***和设备 |
CN112541884A (zh) * | 2020-10-30 | 2021-03-23 | 浙江大华技术股份有限公司 | 缺陷检测方法及设备、计算机可读存储介质 |
CN113421263A (zh) * | 2021-08-24 | 2021-09-21 | 深圳市信润富联数字科技有限公司 | 零件缺陷检测方法、设备、介质及计算机程序产品 |
CN113516618A (zh) * | 2021-04-08 | 2021-10-19 | 河南中烟工业有限责任公司 | 基于Faster RCNN的卷烟爆珠缺陷检测方法、装置以及设备 |
CN114004818A (zh) * | 2021-11-04 | 2022-02-01 | 中国联合网络通信集团有限公司 | 喷丝嘴缺陷检测方法、装置、电子设备及可读存储介质 |
CN114155246A (zh) * | 2022-02-10 | 2022-03-08 | 国网江西省电力有限公司电力科学研究院 | 一种基于可变形卷积的输电塔销钉缺陷检测方法 |
WO2022053001A1 (zh) * | 2020-09-10 | 2022-03-17 | 上海航天精密机械研究所 | 焊缝内部缺陷智能检测装置、方法及介质 |
CN115063421A (zh) * | 2022-08-16 | 2022-09-16 | 成都数联云算科技有限公司 | 极片区域检测方法及***及装置及介质及缺陷检测方法 |
CN115294063A (zh) * | 2022-08-05 | 2022-11-04 | 中国电信股份有限公司 | 电子元件的缺陷检测方法、装置、***、电子设备及介质 |
-
2022
- 2022-12-16 CN CN202211624391.5A patent/CN115797314B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11118731A (ja) * | 1997-10-20 | 1999-04-30 | Nissan Motor Co Ltd | 被検査面の欠陥検査方法およびその装置 |
CN103983651A (zh) * | 2014-05-23 | 2014-08-13 | 清华大学 | 基于概率预测的焊缝x射线自动检测伪缺陷剔除方法 |
US20160247661A1 (en) * | 2015-02-24 | 2016-08-25 | Fei Company | Pattern matching using a lamella of known shape for automated s/tem acquisition and metrology |
JP2017106776A (ja) * | 2015-12-08 | 2017-06-15 | 株式会社Sumco | 特定欠陥の検出方法、特定欠陥の検出システムおよびプログラム |
WO2020259732A1 (de) * | 2019-06-27 | 2020-12-30 | MTU Aero Engines AG | Verfahren zum erkennen von fehlstellen in einem bauteil, verfahren zum trainieren eines maschinellen lernsystems, computerprogrammprodukt, computerlesbares medium und system zum erkennen von fehlstellen in einem bauteil |
CN111161243A (zh) * | 2019-12-30 | 2020-05-15 | 华南理工大学 | 基于样本增强的工业产品表面缺陷检测方法 |
WO2022053001A1 (zh) * | 2020-09-10 | 2022-03-17 | 上海航天精密机械研究所 | 焊缝内部缺陷智能检测装置、方法及介质 |
CN112541884A (zh) * | 2020-10-30 | 2021-03-23 | 浙江大华技术股份有限公司 | 缺陷检测方法及设备、计算机可读存储介质 |
CN112508939A (zh) * | 2020-12-22 | 2021-03-16 | 郑州金惠计算机***工程有限公司 | 法兰表面缺陷检测方法及***和设备 |
CN113516618A (zh) * | 2021-04-08 | 2021-10-19 | 河南中烟工业有限责任公司 | 基于Faster RCNN的卷烟爆珠缺陷检测方法、装置以及设备 |
CN113421263A (zh) * | 2021-08-24 | 2021-09-21 | 深圳市信润富联数字科技有限公司 | 零件缺陷检测方法、设备、介质及计算机程序产品 |
CN114004818A (zh) * | 2021-11-04 | 2022-02-01 | 中国联合网络通信集团有限公司 | 喷丝嘴缺陷检测方法、装置、电子设备及可读存储介质 |
CN114155246A (zh) * | 2022-02-10 | 2022-03-08 | 国网江西省电力有限公司电力科学研究院 | 一种基于可变形卷积的输电塔销钉缺陷检测方法 |
CN115294063A (zh) * | 2022-08-05 | 2022-11-04 | 中国电信股份有限公司 | 电子元件的缺陷检测方法、装置、***、电子设备及介质 |
CN115063421A (zh) * | 2022-08-16 | 2022-09-16 | 成都数联云算科技有限公司 | 极片区域检测方法及***及装置及介质及缺陷检测方法 |
Non-Patent Citations (3)
Title |
---|
WANYUE KONG 等: "Automatic Detection and Assessment of Pavement Marking Defects with Street View Imagery at the City Scale", 《REMOTE SENSING》, vol. 2022, pages 1 - 29 * |
段志达 等: "基于Hough变换圆检测和边缘模板匹配的轴承缺陷检测与定位", 《安徽工程大学学报》, vol. 35, no. 4, pages 60 - 68 * |
高枭禹: "摩托车车轮铸造面磕碰伤视觉检测***研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, vol. 2022, no. 4, pages 035 - 609 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116645362A (zh) * | 2023-06-29 | 2023-08-25 | 日照鲁光电子科技有限公司 | 一种碳化硅晶圆的质量智能检测方法及*** |
CN116645362B (zh) * | 2023-06-29 | 2024-01-23 | 日照鲁光电子科技有限公司 | 一种碳化硅晶圆的质量智能检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN115797314B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11488294B2 (en) | Method for detecting display screen quality, apparatus, electronic device and storage medium | |
CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
CN111754498A (zh) | 一种基于YOLOv3的传送带托辊检测方法 | |
CN109632808B (zh) | 棱边缺陷检测方法、装置、电子设备及存储介质 | |
CN113498528A (zh) | 图像缺陷确定方法与装置、电子设备及存储介质 | |
CN111242026B (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
CN113469997B (zh) | 平面玻璃的检测方法、装置、设备和介质 | |
CN114782329A (zh) | 一种基于图像处理的轴承缺陷损伤程度评估方法及*** | |
US20190272627A1 (en) | Automatically generating image datasets for use in image recognition and detection | |
CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测*** | |
WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
CN116012291A (zh) | 工业零件图像缺陷检测方法及***、电子设备和存储介质 | |
CN115797314B (zh) | 零件表面缺陷检测方法、***、设备及存储介质 | |
CN117094975A (zh) | 钢铁表面缺陷检测方法、装置及电子设备 | |
CN112396582B (zh) | 一种基于Mask RCNN的均压环歪斜检测方法 | |
CN113537037A (zh) | 路面病害识别方法、***、电子设备及存储介质 | |
CN116363136B (zh) | 一种机动车部件自动化生产在线筛选方法及*** | |
CN116030056A (zh) | 一种钢表面裂缝的检测方法及*** | |
CN116152191A (zh) | 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备 | |
CN110751623A (zh) | 基于联合特征的缺陷检测方法、装置、设备及存储介质 | |
CN115239663A (zh) | 隐形眼镜瑕疵检测方法及***、电子设备、存储介质 | |
CN111833289B (zh) | 缺陷识别方法、装置和设备 | |
CA2997335C (en) | Automatically generating image datasets for use in image recognition and detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |