CN115931898A - 一种陶瓷基板表面缺陷视觉检测方法、装置及存储介质 - Google Patents
一种陶瓷基板表面缺陷视觉检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN115931898A CN115931898A CN202211650082.5A CN202211650082A CN115931898A CN 115931898 A CN115931898 A CN 115931898A CN 202211650082 A CN202211650082 A CN 202211650082A CN 115931898 A CN115931898 A CN 115931898A
- Authority
- CN
- China
- Prior art keywords
- image
- light source
- ceramic substrate
- stroboscopic
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请实施例公开了一种陶瓷基板表面缺陷视觉检测方法、装置及存储介质,其中陶瓷基板表面缺陷视觉检测方法包括步骤:通过传送装置驱动待检测的陶瓷基板做匀速运动,陶瓷基板下方设有通孔;基于通孔上方设置的线阵相机的行频,通过光源控制器确定连接的第一频闪光源和第二频闪光源的频闪时序,第一频闪光源设置在通孔的下方,第二频闪光源设置在通孔的斜上方;按照频闪时序,利用线阵相机对陶瓷基板的图像进行采集,获得分别在第一频闪光源和第二频闪光源照射下的陶瓷基板的第一图像和第二图像;根据不同的表面缺陷的图像表面特征,选择对应的第一图像和/或第二图像进行分析处理,得到表面缺陷的检测结果。
Description
技术领域
本申请涉及表面检测技术领域,具体涉及一种陶瓷基板表面缺陷视觉检测方法、装置及存储介质。
背景技术
陶瓷基板表面缺陷检测,目前市场上多采用面阵CCD视觉检测方案,采用一个背光和4个条形光源组合的方式,由于陶瓷基板检测正反两面,总共需要4个工位,每个工位采用一组相机和镜头,共需要4组。片子在工位之间的运动采用带吸嘴的运动平台搬运,中间还需要一个翻片机构,用于将陶瓷基板由正面翻转到反面。其机构见图如图1所示。图1中的方案,具有以下几个缺点:
1.至少需要4个检测工位,机械结构较为复杂,且需要4组大靶面的面阵相机和镜头,成本较高。
2.待测物体需要使用运动平台1从上料位置搬运到工位1,在搬运到工位2,在搬运到前端皮带,皮带将物体传送进翻片机构,翻片机构完成翻片动作,在流进后端皮带,然后由运动平台2将物体搬运到工位3,然后在搬运到工位4,检测完成后还要从工位4搬运到下料料框。整个运动过程复杂。
3.由于运动过程复杂导致检测效率较低,勉强达到每分钟40片。
4.物体在运动过程中的多次搬运,造成物体与载物台和翻片机构之间多次刚性碰撞,容易造成陶瓷基板碎裂。
发明内容
本申请实施例的目的在于提供一种陶瓷基板表面缺陷视觉检测方法、装置及存储介质,用以解决现有技术中陶瓷基板表面缺陷检测方案的硬件成本高、检测装置的机械结构和运动过程复杂、检测效率低、容易对产品产生二次损坏的问题。
为实现上述目的,本申请实施例提供一种陶瓷基板表面缺陷视觉检测方法,包括步骤:通过传送装置驱动待检测的陶瓷基板做匀速运动,所述陶瓷基板下方设有通孔;
基于所述通孔上方设置的线阵相机的行频,通过光源控制器确定连接的第一频闪光源和第二频闪光源的频闪时序,所述第一频闪光源设置在所述通孔的下方,所述第二频闪光源设置在所述通孔的斜上方;
按照所述频闪时序,利用所述线阵相机对所述陶瓷基板的图像进行采集,获得分别在所述第一频闪光源和所述第二频闪光源照射下的所述陶瓷基板的第一图像和第二图像;
根据不同的表面缺陷的图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理,得到所述表面缺陷的检测结果。
可选地,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法包括:
对所述第一图像进行滤波平滑处理,得到平滑背景图像;
将进行滤波平滑处理前的所述第一图像与所述平滑背景图像相减,得到关于第一缺陷的疑似高亮区域;
基于所述疑似高亮区域的面积大小和/或形状特征判断并筛选出所述第一缺陷。
可选地,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法包括:
从所述第一图像中提取出所述陶瓷基板的主体区域;
从所述主体区域的角部区域分别提取边缘,并根据每个所述角部区域的所述边缘所在的直线,获取对应的直角区域;
通过将所述直角区域与对应的所述角部区域相减,得到空白区域,根据所述空白区域的面积大小和/或形状特征判断是否存在第二缺陷。
可选地,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法还包括:
从所述第一图像中提取出所述陶瓷基板的主体区域;
从所述主体区域的边部区域提取边缘点,使用所述边缘点获得拟合直线,根据所述边缘点中的离散点到所述拟合直线的距离判断是否存在第二缺陷。
可选地,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法包括:
对所述第二图像进行滤波平滑处理,得到平滑背景图像,从所述平滑背景图像中提取明亮区域和灰暗区域;
通过将所述明亮区域和所述灰暗区域连通以判断是否成对形成连通域的方式判断是否存在第三缺陷。
可选地,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法还包括:
利用深度学习方法构建基于FCN模型为基础的进行过微调的分割模型;
使用所述分割模型检测所述第二图像,判断是否存在第三缺陷。
可选地,在使用所述分割模型检测所述第二图像之前,还包括:
利用深度学习方法构建基于ResNet50模型为基础的分类模型;
通过所述分类模型对所述第二图像进行分类,将所述第二图形分类为不同类别的第三缺陷类图像和无第三缺陷类图像。
可选地,所述第二频闪光源为三色光源,可以频闪出红绿蓝三色光;
所述第二图像包括红光图像、绿光图像和/或蓝光图像;
所述线阵相机为CCD相机,所述线阵相机的行频是所述第一频闪光源和所述第二频闪光源频闪频率的四倍。
为实现上述目的,本申请还提供一种陶瓷基板表面缺陷视觉检测装置,包括:传送装置,所述传送装置用于驱动待检测的陶瓷基板做匀速运动,所述传送装置设置有通孔,所述陶瓷基板位于所述通孔上方;
线阵相机,所述线阵相机设置在所述通孔上方,用于对所述陶瓷基板的图像进行采集;
第一频闪光源和第二频闪光源,所述第一频闪光源设置在所述通孔的下方,所述第二频闪光源设置在所述通孔的斜上方;
光源控制器,所述光源控制器分别与所述第一频闪光源和第二频闪光源连接,用于基于线阵相机的行频确定所述第一频闪光源和第二频闪光源的频闪时序;
翻片机构,用于翻转所述陶瓷基板;
分析***,用于获取所述线阵相机采集的图像,根据不同的表面缺陷的图像表面特征,对所述图像进行分析处理,得到所述表面缺陷的检测结果。
为实现上述目的,本申请还提供一种计算机存储介质,其上存储有计算机程序,其中所述计算机程序被机器执行时实现如上所述的方法的步骤。
本申请实施例具有如下优点:
本申请实施例提供一种陶瓷基板表面缺陷视觉检测方法,包括步骤:通过传送装置驱动待检测的陶瓷基板做匀速运动,所述陶瓷基板下方设有通孔;基于所述通孔上方设置的线阵相机的行频,通过光源控制器确定连接的第一频闪光源和第二频闪光源的频闪时序,所述第一频闪光源设置在所述通孔的下方,所述第二频闪光源设置在所述通孔的斜上方;按照所述频闪时序,利用所述线阵相机对所述陶瓷基板的图像进行采集,获得分别在所述第一频闪光源和所述第二频闪光源照射下的所述陶瓷基板的第一图像和第二图像;根据不同的表面缺陷的图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理,得到所述表面缺陷的检测结果。
通过上述方法,采用线阵相机配合传输装置和多组分时频闪光源的组合,降低了硬件成本,简化了机械结构和运动过程,提升了检测效率,并且简化后能够很大程度上避免检测过程中对产品的二次损坏,如碰撞碎裂,污染等。
附图说明
为了更清楚地说明本申请的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
图1为陶瓷基板表面缺陷检测的现有技术方案简图;
图2为本申请实施例提供的一种陶瓷基板表面缺陷视觉检测方法的流程图;
图3为本申请实施例提供的一种陶瓷基板表面缺陷视觉检测方法的待测陶瓷基板的正面示意图;
图4为本申请实施例提供的一种陶瓷基板表面缺陷视觉检测方法的光源频闪时序示意图;
图5为本申请实施例提供的一种陶瓷基板表面缺陷视觉检测方法的气孔缺陷的图像表现示意图;
图6为本申请实施例提供的一种陶瓷基板表面缺陷视觉检测方法的裂纹缺陷的图像表现示意图;
图7为本申请实施例提供的一种陶瓷基板表面缺陷视觉检测方法的缺损缺陷的图像表现示意图;
图8为本申请实施例提供的一种陶瓷基板表面缺陷视觉检测方法的空白区域示意图;
图9为本申请实施例提供的一种陶瓷基板表面缺陷视觉检测方法的黏附与伤痕缺陷的图像表现示意图;
图10为本申请实施例提供的一种陶瓷基板表面缺陷视觉检测装置的结构示意图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
此外,下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本申请一实施例提供一种陶瓷基板表面缺陷视觉检测方法,参考图2,图2为本申请的一实施方式中提供的一种陶瓷基板表面缺陷视觉检测方法的流程图,应当理解的是,该方法还可以包括未示出的附加框和/或可以省略所示出的框,本申请的范围在此方面不受限制。
本申请的实施例中用以举例说明的待测陶瓷基板的特点包括:
1.待测陶瓷基板状陶瓷基板形状近似为倒角矩形,且尺寸相对单一,长70毫米,宽60毫米,厚度在0.3到0.5毫米之间,不同的规格产品具有不同的厚度。
2.待测陶瓷基板四角做倒角处理,其中一个倒角的尺寸较大,其余三个较小,不同规格的产品较大倒角出现的位置可能不同。
3.待测陶瓷基板四条边缘的其中一条上具有1到2个半圆形缺口,不同规格的产品缺口个数和位置可能不同。
4.待测陶瓷基板正面具有规则的矩形刻痕,不同规格的产品其刻痕的分布和深度可能不同。
待检测的陶瓷基板正面示意图如图3所示,由于待测陶瓷基板反面与正面基本一致,只是没有红色刻痕线,所以不另作示意图。
应当理解的是,本申请的方案还适用于具备相似特点的待测陶瓷基板,以及,只要是基于本申请方案的原理能够进行表面缺陷视觉检测的待测陶瓷基板,本申请对这些待测陶瓷基板的具体形态和特点不做限制。
本实施例提供了一种利用单个线阵相机配合多种光源分时交替采集图像检测物体表面缺陷的复合式检测设备来检测表面缺陷的方法。
在步骤101处,通过传送装置驱动待检测的陶瓷基板做匀速运动,所述陶瓷基板下方设有通孔。
具体地,在一些实施例中,所述传送装置是柔性传送带,通过传送带带动待检测的陶瓷基板做匀速运动。传送带可以分为两段,两段传送带之间存在通孔,在本实施例中,通孔为缝隙状,待检测的陶瓷基板在两段传送带上匀速运动,并从缝隙上方通过,使下表面通过缝隙暴露出来。传送装置可以是其他形式,通孔可以是其他形状,只有能够暴露出待检测的陶瓷基板的下表面均可,根据实际需要来决定通孔的形状。
在步骤102处,基于所述通孔上方设置的线阵相机的行频,通过光源控制器确定连接的第一频闪光源和第二频闪光源的频闪时序,所述第一频闪光源设置在所述通孔的下方,所述第二频闪光源设置在所述通孔的斜上方。
在一些实施例中,所述第二频闪光源为三色光源,可以频闪出红绿蓝三色光;所述第二图像包括红光图像、绿光图像和/或蓝光图像;所述线阵相机为CCD相机。
具体地,缝隙正上方布置一个线阵CCD相机负责采集陶瓷基板的图像,同时在两段传送带之间的缝隙正下方布置一个背光光源(第一频闪光源),光线垂直照射陶瓷基板,在两段传送带1之间缝隙的右上方布置一个低角度三色光源(第二频闪光源),光线低角度倾斜照射陶瓷基板,两个光源同时接入光源控制器,整个***接入PC(分析***),最后由PC负责对采集到的图像进行运算分析,给出检测结果。
在步骤103处,按照所述频闪时序,利用所述线阵相机对所述陶瓷基板的图像进行采集,获得分别在所述第一频闪光源和所述第二频闪光源照射下的所述陶瓷基板的第一图像和第二图像。
具体地,低角度三色光源交替频闪红绿蓝三色光并配合背光光源(可以是白光),相当于4种(色)光源按照一定时序交替频闪,该时序由光源控制器配合线阵CCD相机的行频共同决定。光源频闪时序图参考图4。
在一些实施例中,采用的线阵CCD相机行频是光源频闪频率的4倍,即线阵CCD相机采集的第1,2,3,4行图像分别对应第一频闪光源的背光,第二频闪光源的三色光(红)、三色光(绿)、三色光(蓝)交替频闪点亮时采集到的信息。同理,线阵CCD相机采集的第5,6,7,8行图像分别对应下一个循环的光源点亮时序,并依此类推,直到采集完整个陶瓷基板的完整图像,并最终根据将图像按行分解成4幅不同光源的条件下的完整图像,其中第一图像有1幅,第二图像由3幅。后续,软件和算法会根据不同缺陷类型在不同光源下的表现形式,选择合适的光源光照条件下采集到的图像进行运算处理,并最终给出检测结果。
在步骤104处,根据不同的表面缺陷的图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理,得到所述表面缺陷的检测结果。
以下实施例解释说明陶瓷基板表面缺陷的分析检测方法。陶瓷基板表面主要缺陷包括气孔,边缘缺损,裂片,黏附,伤痕,脏污等,每种缺陷根据其不同的图像表面特征,制定了针对各个缺陷专用的处理算法。下文将针对不同的缺陷分类介绍。应当理解的是,其他种类的待检测的陶瓷基板有相同或者相似的表面缺陷的也同样适用以下实施例中介绍的分析检测方法,只要是基于下述方法的原理能够分析检测出的各类陶瓷基板的各类缺陷类型均可,本申请对此不做限制。
在一些实施例中,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法包括:
对所述第一图像进行滤波平滑处理,得到平滑背景图像;
将进行滤波平滑处理前的所述第一图像与所述平滑背景图像相减,得到关于第一缺陷的疑似高亮区域;
基于所述疑似高亮区域的面积大小和/或形状特征判断并筛选出所述第一缺陷。
具体地,第一缺陷可以是气孔或者裂纹。
气孔:
气孔是指陶瓷基板表面上完全贯穿或者部分贯穿的通孔,在背光图像上表现为灰暗背景上的亮点,如图5所示,图5中带刻痕线的左图是陶瓷基板正面图像,右图为陶瓷基板的背面图像,且两幅截图并非同一个陶瓷基板的两面,而是分别属于不同的两个陶瓷基板。在一些实施例中,还包括翻片机构,可以通过翻片机构对陶瓷基板进行翻面,从而能够获取正面和背面的图像。
气孔缺陷需要在图像背景中找出灰度值较高的亮点,然后在根据气孔的形态特征剔除刻痕线等其他非缺陷亮点的干扰,大致可分为如下三个步骤。
1.对第一图像进行滤波平滑,一般采用高斯滤波器对图像进行离线卷积处理,得到平滑的背景图像,图像滤波运算时为提高效率一般采用在图像的宽和高两个方向上分别进行一次一维高斯滤波运算,而不是采用同时在两个方向上的二维高斯滤波运算,采用的高斯基本公式如下
2.图像平滑背景之后,此时采用第一图像原图与平滑背景之后的平滑背景图像相减,并设置亮度阈值,即可得到气孔的疑似高亮区域。
3.在上述步骤得到的疑似区域基础之上,通过面积大小和/或形状特征筛选真正的气孔区域。因为气孔缺陷近似于圆形,因此采用圆度作为形状筛选的一个主要形状特征。一个区域的圆度特征计算方式如下:
C=mi n(1,C0)
其中,A表示此疑似高亮区域的面积,dmax表示疑似高亮区域的中心到区域边缘的最大距离,C0为初始圆度,C为最终求得的圆度。
裂纹:
陶瓷基板本身表面存在横纵相间的刻痕,在生产和搬运过程中会产生内部裂纹和完全开裂裂纹,内部裂纹指陶瓷基板并没有产生贯穿陶瓷基板表面的裂纹,而是在陶瓷基板内部开裂,背光的第一图像上表现为一道黑色线状缺陷;完全开裂裂纹指陶瓷基板产生了贯穿表面的开裂,第一图像上表现是一道白色的裂口。如图6所示,图6中,左图为内部裂纹,表现为黑色线,右图为完全开裂裂纹,表现为白色裂口。为排除陶瓷基板的刻痕干扰,陶瓷基板裂纹检测在陶瓷基板背面进行检测。检测方法与气孔类似,首先平滑灰度背景,然后利用灰度差提取裂纹区域,在根据裂纹的“线性”形状特征提取真正的裂纹区域,其中灰暗线性区域为内部裂纹,高亮线性区域为贯穿开口裂纹。具体实施方法参考前述气孔的检测方法,此处不再赘述。
在一些实施例中,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法包括:
从所述第一图像中提取出所述陶瓷基板的主体区域;
从所述主体区域的角部区域分别提取边缘,并根据每个所述角部区域的所述边缘所在的直线,获取对应的直角区域;
通过将所述直角区域与对应的所述角部区域相减,得到空白区域,根据所述空白区域的面积大小和/或形状特征判断是否存在第二缺陷。
具体地,第二缺陷可以为边缘缺损,边缘缺损是指陶瓷基板边缘或四角处由于磕碰等原因造成的边缘缺口或四角缺失,如图7所示,图7中,左图表现为陶瓷基板的右上角缺失,右图表现为陶瓷基板的左边缘缺损。需要指出的是,不同型号的陶瓷基板本身在其某一边缘的固定位置都会有1到2个缺口,用来标识不同型号的陶瓷基板,检测缺损时,需要将其剔除。图7右图左边缘靠下部分的那个缺口就是型号标识缺口,该图中只有靠上部分位置的较小缺口是真正的缺陷。检测缺损缺陷的大致步骤如下:
1.从第一图像中提取陶瓷基板的主体区域,根据陶瓷基板不同规格型号,将陶瓷基板分为3大类区域,角部区域,边部区域和型号标识区域。
2.将四角的角部区域分别提取边缘并计算边缘直线的交点。如上文图1所示,陶瓷基板四角带有倒角,且倒角大小有所不同,因此需要根据计算出的直角区域与陶瓷基板主体真实边角区域相减,得到理论空白区域WD,如图8所示,图8中白色三角形区域即为计算所得的WD区域,接下来可根据WD区域面积和形状判断陶瓷基板四角是否存在缺损。
在一些实施例中,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法还包括:
从所述第一图像中提取出所述陶瓷基板的主体区域;
从所述主体区域的边部区域提取边缘点,使用所述边缘点获得拟合直线,根据所述边缘点中的离散点到所述拟合直线的距离判断是否存在第二缺陷。
具体地,基于前述实施例,计算四边的边部区域缺损时,先从第一图像中提取陶瓷基板的边缘点,再使用边缘点通过最小二乘法拟合直线,然后计算边缘上的离散点到拟合直线的距离,根据距离的阈值判断该点周围是否存在边缘缺损。至于陶瓷基板本身标识型号的缺口区域,可根据图像四角及其所在片子本身的固定位置,通过仿射变换排除。最小二乘法计算方式如下:
设定最小二乘直线目标方程为:
f(x)=kx+b
根据最小二乘原理,误差的平方为
其中,y(x)是提取到的真实边缘轮廓点集。根据误差的平方和最小为准则,分别对k和b求偏导并令偏导为零
求解可得:
计算处直线方程之后,然后在计算边缘上没一点到直线的距离,并根据计算的距离结果,做出缺陷判断。
在一些实施例中,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法包括:
对所述第二图像进行滤波平滑处理,得到平滑背景图像,从所述平滑背景图像中提取明亮区域和灰暗区域;
通过将所述明亮区域和所述灰暗区域连通以判断是否成对形成连通域的方式判断是否存在第三缺陷。
具体地,第三缺陷可以为黏附和伤痕。陶瓷基板的黏附缺陷是指由于陶瓷基板生产过程中,表面附着的颗粒杂质没有及时处理而造成的烧结在陶瓷基板表面的细小颗粒物,表现为陶瓷基板平滑表面上的小凸起。与黏附相反,伤痕是生产过程中对陶瓷基板表面造成的刮伤和划痕等,表现为陶瓷基板平滑表面上的小的凹坑或者沟壑。黏附与伤痕采集图像时,采用低角度表面光源,当低角度光源照射到平面上的黏附(突起物)时,靠近光源的一侧高亮,远离光源的一侧灰暗;与之相反,伤痕缺陷的表现是靠近光源的一侧灰暗,远离光源的一侧高亮。类似于夕阳余晖照射到山岭(黏附)与河流或者峡谷(伤痕)效果类似,如图9所示,图9中,左图是陶瓷基板背面的黏附缺陷,右图是陶瓷基板正面伤痕缺陷,之所以黏附与伤痕放在一起阐述,是因为其在图像上的表现具有相似之处,所采用的处理方法也类似。具体分析检测步骤包括:
传统视觉算法处理黏附与伤痕:
根据上文阐述的黏附和伤痕在图像上“明暗相邻”的灰度特征,可根据检测气孔和裂纹类似的方法提取平滑背景下的明亮和灰暗区域,不同是在提取出明亮和灰暗区域之后,需要对明亮和灰暗区域做邻域判断,通过灰度形态学运算,将那些明亮和灰暗区域连通,能明暗成对形成连通域的区域,初步判定为黏附和伤痕。
在一些实施例中,上述对第二图像进行分析处理的方法还包括:
利用深度学习方法构建基于FCN模型为基础的进行过微调的分割模型;
使用所述分割模型检测所述第二图像,判断是否存在第三缺陷。
具体地,通过深度学习算法分割模型处理黏附与伤痕:
传统视觉通过明暗连通域辅之区域形状特征可处理大部分黏附和伤痕区域,但是随着设备在产线上不断运行遇到的黏附和伤痕种类缺陷样本不断增加,形态表现各异,单纯的传统视觉算法和参数调节越来越难以满足需求,因此引入了深度学习算法,使用深度学习中一个基于FCN模型为基础进行过微调的分割模型,实现像素级的分类,随着训练样本的增加,不断微调模型参数,分割模型的检测能力越来越强,与传统视觉算法配合,最终满足设备的检测需求。
在一些实施例中,在使用所述分割模型检测所述第二图像之前,还包括:
利用深度学习方法构建基于ResNet50模型为基础的分类模型;
通过所述分类模型对所述第二图像进行分类,将所述第二图形分类为不同类别的第三缺陷类图像和无第三缺陷类图像。
具体地,黏附缺陷,伤痕缺陷和误检区域的分类:
采用传统算法检测出的黏附和伤痕区域一开始仅仅依靠光源打光方向区分黏附和伤痕,但是因为缺陷形态各异,如地图中大地上的山脉与峡谷,走向多种多样,并不能简单依靠“阳面”与“阴面”区分,所以造成黏附和伤痕缺陷分类混乱。加之传统算法和深度学习分割模型都会引入部分误检,因此需要对误检的OK区域,黏附区域和伤痕区域做精细分类。为了完成分类工作,同样引入了深度学习领域最擅长的分类方法,同样以经典的ResNet50模型为基础,训练了一个针对黏附,伤痕和过检OK品三类图像的分类模型,黏附与伤痕缺陷通过检测与分类两步走,最终大大降低了误检率并显著提高了黏附与伤痕缺陷的分类准确性。
通过上述方法,采用线阵相机配合传输装置和多组分时频闪光源的组合,降低了硬件成本,简化了机械结构和运动过程,提升了检测效率,并且简化后能够很大程度上避免检测过程中对产品的二次损坏,如碰撞碎裂,污染等。
本申请的优点还包括:
1.光源组合方式灵活,可以根据不同类型的陶瓷基板状产品的表面缺陷特性,灵活搭配不同的光源,结合线阵相机固有的图像采集特点,可以实现一个相机分时采集不同光源光照条件下的多幅图像,进而选择合适的图像检测不同类型的缺陷。
2.检测速度快,因为线阵相机配合多种光源分时采集多幅图像的特性,使设备的检测速度可达每分钟65片以上。
3.检测工位少,结构简单,本发明只需要两个相机搭配一个翻片机构即可实现对产品正反面的全部缺陷检测,这样只需要一正一反两个工位。如果采用面阵相机配合不同的光源,则需要多个工位。
4.设备搭配高性能GPU,采用深度学习算法,解决了传统视觉算法难以解决的不规则伤痕,不规则黏附等疑难缺陷的检测。
图10为本申请实施例提供的一种陶瓷基板表面缺陷视觉检测装置的模块框图。该装置包括:
传送装置1,所述传送装置1用于驱动待检测的陶瓷基板4做匀速运动,所述传送装置设置有通孔,所述陶瓷基板4位于所述通孔上方;
线阵相机5,所述线阵相机5设置在所述通孔上方,用于对所述陶瓷基板4的图像进行采集;
第一频闪光源3和第二频闪光源2,所述第一频闪光源3设置在所述通孔的下方,所述第二频闪光源2设置在所述通孔的斜上方;
光源控制器6,所述光源控制器6分别与所述第一频闪光源3和第二频闪光源2连接,用于基于线阵相机5的行频确定所述第一频闪光源3和第二频闪光源2的频闪时序;
翻片机构,用于翻转所述陶瓷基板4;
分析***7,用于获取所述线阵相机5采集的图像,根据不同的表面缺陷的图像表面特征,对所述图像进行分析处理,得到所述表面缺陷的检测结果。
具体实现方法参考前述方法实施例,此处不再赘述。
本申请可以是方法、装置、***和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
注意,除非另有直接说明,否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此,除非另有明确说明,否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下,进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头,该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
虽然,上文中已经用一般性说明及具体实施例对本申请作了详尽的描述,但在本申请基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本申请精神的基础上所做的这些修改或改进,均属于本申请要求保护的范围。
Claims (10)
1.一种陶瓷基板表面缺陷视觉检测方法,其特征在于,包括以下步骤:
通过传送装置驱动待检测的陶瓷基板做匀速运动,所述陶瓷基板下方设有通孔;
基于所述通孔上方设置的线阵相机的行频,通过光源控制器确定连接的第一频闪光源和第二频闪光源的频闪时序,所述第一频闪光源设置在所述通孔的下方,所述第二频闪光源设置在所述通孔的斜上方;
按照所述频闪时序,利用所述线阵相机对所述陶瓷基板的图像进行采集,获得分别在所述第一频闪光源和所述第二频闪光源照射下的所述陶瓷基板的第一图像和第二图像;
根据不同的表面缺陷的图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理,得到所述表面缺陷的检测结果。
2.根据权利要求1所述的陶瓷基板表面缺陷视觉检测方法,其特征在于,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法包括:
对所述第一图像进行滤波平滑处理,得到平滑背景图像;
将进行滤波平滑处理前的所述第一图像与所述平滑背景图像相减,得到关于第一缺陷的疑似高亮区域;
基于所述疑似高亮区域的面积大小和/或形状特征判断并筛选出所述第一缺陷。
3.根据权利要求1所述的陶瓷基板表面缺陷视觉检测方法,其特征在于,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法包括:
从所述第一图像中提取出所述陶瓷基板的主体区域;
从所述主体区域的角部区域分别提取边缘,并根据每个所述角部区域的所述边缘所在的直线,获取对应的直角区域;
通过将所述直角区域与对应的所述角部区域相减,得到空白区域,根据所述空白区域的面积大小和/或形状特征判断是否存在第二缺陷。
4.根据权利要求1或3所述的陶瓷基板表面缺陷视觉检测方法,其特征在于,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法还包括:
从所述第一图像中提取出所述陶瓷基板的主体区域;
从所述主体区域的边部区域提取边缘点,使用所述边缘点获得拟合直线,根据所述边缘点中的离散点到所述拟合直线的距离判断是否存在第二缺陷。
5.根据权利要求1所述的陶瓷基板表面缺陷视觉检测方法,其特征在于,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法包括:
对所述第二图像进行滤波平滑处理,得到平滑背景图像,从所述平滑背景图像中提取明亮区域和灰暗区域;
通过将所述明亮区域和所述灰暗区域连通以判断是否成对形成连通域的方式判断是否存在第三缺陷。
6.根据权利要求1或5所述的陶瓷基板表面缺陷视觉检测方法,其特征在于,根据不同的所述表面缺陷的所述图像表面特征,选择对应的所述第一图像和/或所述第二图像进行分析处理的方法还包括:
利用深度学习方法构建基于FCN模型为基础的进行过微调的分割模型;
使用所述分割模型检测所述第二图像,判断是否存在第三缺陷。
7.根据权利要求6所述的陶瓷基板表面缺陷视觉检测方法,其特征在于,在使用所述分割模型检测所述第二图像之前,还包括:
利用深度学习方法构建基于ResNet50模型为基础的分类模型;
通过所述分类模型对所述第二图像进行分类,将所述第二图形分类为不同类别的第三缺陷类图像和无第三缺陷类图像。
8.根据权利要求1所述的陶瓷基板表面缺陷视觉检测方法,其特征在于,
所述传送装置为柔性传送带;
所述第二频闪光源为三色光源,可以频闪出红绿蓝三色光;
所述第二图像包括红光图像、绿光图像和/或蓝光图像;
所述线阵相机为CCD相机,所述线阵相机的行频是所述第一频闪光源和所述第二频闪光源频闪频率的四倍。
9.一种陶瓷基板表面缺陷视觉检测装置,其特征在于,包括:
传送装置,所述传送装置用于驱动待检测的陶瓷基板做匀速运动,所述传送装置设置有通孔,所述陶瓷基板位于所述通孔上方;
线阵相机,所述线阵相机设置在所述通孔上方,用于对所述陶瓷基板的图像进行采集;
第一频闪光源和第二频闪光源,所述第一频闪光源设置在所述通孔的下方,所述第二频闪光源设置在所述通孔的斜上方;
光源控制器,所述光源控制器分别与所述第一频闪光源和第二频闪光源连接,用于基于线阵相机的行频确定所述第一频闪光源和第二频闪光源的频闪时序;
翻片机构,用于翻转所述陶瓷基板;
分析***,用于获取所述线阵相机采集的图像,根据不同的表面缺陷的图像表面特征,对所述图像进行分析处理,得到所述表面缺陷的检测结果。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被机器执行时实现如权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211650082.5A CN115931898A (zh) | 2022-12-21 | 2022-12-21 | 一种陶瓷基板表面缺陷视觉检测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211650082.5A CN115931898A (zh) | 2022-12-21 | 2022-12-21 | 一种陶瓷基板表面缺陷视觉检测方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115931898A true CN115931898A (zh) | 2023-04-07 |
Family
ID=86553677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211650082.5A Pending CN115931898A (zh) | 2022-12-21 | 2022-12-21 | 一种陶瓷基板表面缺陷视觉检测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115931898A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116609345A (zh) * | 2023-07-19 | 2023-08-18 | 北京阿丘机器人科技有限公司 | 电池盖板缺陷检测方法、装置、设备及存储介质 |
CN116626052A (zh) * | 2023-07-19 | 2023-08-22 | 北京阿丘机器人科技有限公司 | 电池盖板表面检测方法、装置、设备及存储介质 |
CN117853493A (zh) * | 2024-03-08 | 2024-04-09 | 山东天意机械股份有限公司 | 一种基于图像处理的墙板生产质量检测方法 |
-
2022
- 2022-12-21 CN CN202211650082.5A patent/CN115931898A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116609345A (zh) * | 2023-07-19 | 2023-08-18 | 北京阿丘机器人科技有限公司 | 电池盖板缺陷检测方法、装置、设备及存储介质 |
CN116626052A (zh) * | 2023-07-19 | 2023-08-22 | 北京阿丘机器人科技有限公司 | 电池盖板表面检测方法、装置、设备及存储介质 |
CN116609345B (zh) * | 2023-07-19 | 2023-10-17 | 北京阿丘机器人科技有限公司 | 电池盖板缺陷检测方法、装置、设备及存储介质 |
CN116626052B (zh) * | 2023-07-19 | 2023-10-17 | 北京阿丘机器人科技有限公司 | 电池盖板表面检测方法、装置、设备及存储介质 |
CN117853493A (zh) * | 2024-03-08 | 2024-04-09 | 山东天意机械股份有限公司 | 一种基于图像处理的墙板生产质量检测方法 |
CN117853493B (zh) * | 2024-03-08 | 2024-05-24 | 山东天意机械股份有限公司 | 一种基于图像处理的墙板生产质量检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115931898A (zh) | 一种陶瓷基板表面缺陷视觉检测方法、装置及存储介质 | |
CN114723701B (zh) | 基于计算机视觉的齿轮缺陷检测方法和*** | |
CN110286124B (zh) | 基于机器视觉的耐火砖测量*** | |
CN109115785B (zh) | 一种铸件打磨质量检测方法、装置及其使用方法 | |
US20220084183A1 (en) | Defect detection device, defect detection method, and program | |
CN110288584B (zh) | 基于机器视觉的陶瓷热浸镀铝表面缺陷检测方法及装置 | |
CN108230324B (zh) | 磁瓦表面微缺陷视觉检测方法 | |
US9007458B2 (en) | Method for monitoring the quality of the primer layer applied to a motor-vehicle body prior to painting | |
CN109685760B (zh) | 一种基于matlab的slm粉床铺粉图像凸包凹陷缺陷检测方法 | |
CN115791822A (zh) | 晶圆表面缺陷的视觉检测算法及检测*** | |
CN108665458A (zh) | 透明体表面缺陷提取及识别方法 | |
CN108020554A (zh) | 一种带钢表面缺陷识别检测方法 | |
CN111239142A (zh) | 膏体外观缺陷检测设备及方法 | |
CN115112682A (zh) | 一种可视化的手机曲面玻璃检测装置和方法 | |
Jovančević et al. | Airplane tire inspection by image processing techniques | |
CN111833350A (zh) | 机器视觉检测方法与*** | |
JP2019200775A (ja) | 表面欠陥検査装置及び表面欠陥検査方法 | |
WO2018068414A1 (zh) | 色环电阻的检测方法、装置和自动光学检测*** | |
CN114187269B (zh) | 小零器件表面缺陷边缘快速检测方法 | |
JPH03175343A (ja) | 外観検査による欠陥抽出方法 | |
CN113763491A (zh) | 一种烟丝桶残余物的视觉检测方法 | |
CN112200805A (zh) | 一种工业品图像目标提取及缺陷判断方法 | |
RU2787314C1 (ru) | Автоматизированный способ люминесцентного контроля детали | |
JP2020118572A (ja) | 表面欠陥検査装置及び表面欠陥検査方法 | |
Martinez et al. | Image fusion for surface finishing inspection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |