CN115797354A - 用于检测激光焊接焊缝外观缺陷的方法 - Google Patents

用于检测激光焊接焊缝外观缺陷的方法 Download PDF

Info

Publication number
CN115797354A
CN115797354A CN202310083936.4A CN202310083936A CN115797354A CN 115797354 A CN115797354 A CN 115797354A CN 202310083936 A CN202310083936 A CN 202310083936A CN 115797354 A CN115797354 A CN 115797354A
Authority
CN
China
Prior art keywords
image
plane
point
defect
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310083936.4A
Other languages
English (en)
Other versions
CN115797354B (zh
Inventor
林福赐
李佐霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Weiya Intelligent Technology Co ltd
Original Assignee
Xiamen Weiya Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Weiya Intelligence Technology Co ltd filed Critical Xiamen Weiya Intelligence Technology Co ltd
Priority to CN202310083936.4A priority Critical patent/CN115797354B/zh
Publication of CN115797354A publication Critical patent/CN115797354A/zh
Application granted granted Critical
Publication of CN115797354B publication Critical patent/CN115797354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10Energy storage using batteries
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及激光焊接的焊缝外观缺陷检测和电照相技术领域,特别涉及一种用于检测激光焊接焊缝外观缺陷的方法,包括:获取焊接后产品的深度图像和2D图像;将深度图像转换为3D点云图像,对3D点云图像进行处理,从处理后的3D点云图像识别得到第一缺陷数据;对2D图像进行处理,从处理的2D图像识别得到第二缺陷数据;通过对第一缺陷数据和第二缺陷数据进行结合分析,输出焊缝外观缺陷检测结果。本发明基于计算机视觉技术,结合点云算法和深度学习算法,能够成功的识别激光焊接焊缝外观的缺陷,从检测结果上看,本发明相比于人工目检的方法,大大提高焊缝外观缺陷的检测效率,并可以提高产品的品质一致性和良品率。

Description

用于检测激光焊接焊缝外观缺陷的方法
技术领域
本发明涉及激光焊接的焊缝外观缺陷检测和电照相技术领域,特别涉及一种用于检测激光焊接焊缝外观缺陷的方法。
背景技术
锂电池密封钉一般采用激光焊接,由于激光焊接过程中存在能量异常或是焊缝内杂质地原因,焊接后有时会产生异常凹凸缺陷,此类缺陷严重影响电池质量,例如美国专利文献US20080253410A1公开了一种激光设备及电池的制造方法。传统检测方法一般采用人工目检的方式识别缺陷,人工目检存在以下几个缺点:上线周期长,目检员上岗前需进行一段时间的培训,培训周期长且耗费人力;对缺陷的判断是主观的,不同的目检员对缺陷的判断标准不一致;有些缺陷尺寸很小,肉眼无法观察;目检员无法精确把控产品的判断时间,导致产线节拍不一致。这几个缺点会严重影响电池的整体质量,影响生产效率,因此,人工目检的缺陷识别方式已经不再适应现阶段的生产要求。
近年来,越来越多的行业引入计算机视觉技术识别缺陷;相比于人工目检,其上线周期快,对于同一种产品,可用同一套检测方法,且其判断标准是客观的,检测时间也相对固定,既提高了检测效率,又保证了缺陷检测结果的一致性,提高了产品良品率。但是,如何在激光焊接的焊缝外观缺陷检测方面引入计算机视觉技术,达到提高产品缺陷检测结果的一致性和良品率的目的,是一个亟待解决的问题。
发明内容
为了解决上述技术问题,本发明提供了一种用于检测激光焊接焊缝外观缺陷的方法,包括:
S100:获取焊接后产品的深度图像和2D图像;
S200:将深度图像转换为3D点云图像,对3D点云图像进行处理,从处理后的3D点云图像识别得到第一缺陷数据;
S300:对2D图像进行处理,从处理的2D图像识别得到第二缺陷数据;
S400:通过对第一缺陷数据和第二缺陷数据进行结合分析,输出焊缝外观缺陷检测结果。
可选的,在S100步骤中,深度图像通过3D传感器采集得到;2D图像采用CCD相机拍摄得到。
可选的,在S200步骤中,将深度图像转换为3D点云图像包括:
确定深度图像的转换系数:采用x_res代表同一行上相隔一个像素实际对应的距离,y_res代表同一列上相隔一个像素实际对应的距离,z_res代表深度图像上像素值大小相对于实际高度的转化比例;
实施空间点云转换:遍历深度图像上的像素点,通过转换系数将各像素点转换为3D点云图像中的空间点,转换式为:X=i*x _res,Y=j*y_res, Z=value* z _res;其中,X、Y、Z代表3D点云图像中的空间点坐标,i代表深度图像的行,j代表深度图像的列,value代表深度图像上像素点(i,j)的像素值。
可选的,在S200步骤中,将深度图像转换为3D点云图像后,进行降采样,即通过体素网格降采样方法降低点云数量,具体方式如下:
设降采样前点云集合为A,降采样后点云集合为B,采用体素网格降采样的过程为:将空间分割为若干大小相等的正方体,若点云集合A在正方体内存在一个或多个点,即在点云集合B对应位置的正方体中心赋值一个点,以此达到降采样的目的。
可选的,在S200步骤中,对3D点云图像进行处理包括:
S210:去除3D点云图像中的离群点;
S220:识别3D点云图像中的凸起点和凹陷点,具体为:首先,拟合基准平面;其次,遍历3D点云图像中的所有点,计算各点到基准平面的距离,最后,若距离大于设定的距离阈值,则表示该点属于凸起点或者凹陷点;
S230:对凸起点或者凹陷点进行量化处理,具体为:采用聚类算法将凸起点或者凹陷点聚类成集合,得到点集图像;计算点集图像的第一特征尺寸,将第一特征尺寸作为第一缺陷数据。
可选的,在S220步骤中,利用随机采样一致性拟合平面算法拟合基准平面,拟合基准平面的过程如下:
S221:随机在3D点云图像中选取3个不共线的目标点,求由3个目标点所形成平面的平面方程,得到平面模型;
S222:选取3D点云图像中的其他点并计算选取点到平面方程确定的平面模型的点面距离,将点面距离与预设的最小距离阈值比较,若点面距离小于最小距离阈值则该选取点为内点,否则为外点,记录平面模型下的所有内点的个数;
S223:重复S221和S222步骤,当前的平面模型的内点数量超过前一平面模型的内点数量,则记录当前的平面模型;
S224:重复S221-S223步骤进行迭代,直到迭代结束,得到内点最多的平面模型即为基准平面。
可选的,在S300步骤中,对2D图像进行处理包括:
S310:通过目标检测技术抓取平面缺陷,包括:
首先,收集一定数量的平面缺陷图片,然后对平面缺陷位置进行标注,得到训练集;其次,采用YOLO目标检测网络对训练集进行训练,得到检测模型;最后,将检测模型用于2D图像的平面缺陷检测,即得到咬边状的平面缺陷以及平面缺陷在2D图像上的具***置;
S320:对平面缺陷进行量化处理,包括:
对平面缺陷进行置信度分析得到置信度;对平面缺陷进行最小包围框算法分析,筛选出第二特征尺寸大于设定的第二尺寸阈值的平面缺陷;以筛选出的平面缺陷的第二特征尺寸和其置信度作为第二缺陷数据。
可选的,在S400步骤中,结合分析方式如下:
S410:在3D点云图像中筛选出第一特征尺寸大于第一尺寸阈值的点集图像;将筛选出的点集图像对应的凸起区域或者凹陷区域作为第一外观缺陷;
S420:将置信度大于置信度阈值的平面缺陷对应区域作为第二外观缺陷;
S430:对于置信度不大于置信度阈值的平面缺陷,根据该平面缺陷在2D图像上的位置,在3D点云图像中查找对应位置是否存在凸起或者凹陷的点集图像;若不存在则剔除该平面缺陷;若存在且3D点云图像中对应位置的点集图像大于第三尺寸阈值,则将平面缺陷与对应位置点集图像进行点位区域合并,将合并后的点位区域作为第三外观缺陷。
可选的,在S320步骤中,置信度分析包括:
确定平面缺陷的置信区间;
采用正态分布分析平面缺陷抓取可靠性落入置信区间的概率;
根据平面缺陷抓取可靠性落入置信区间的概率确定平面缺陷的置信度。
可选的,在S300步骤中,对2D图像进行处理还包括图像预处理,具体为:
对2D图像进行灰度化处理,得到对应的灰度化处理后的2D图像;
基于所述灰度化处理后的2D图像中每一个像素点,将R通道像素值与R通道加权值的乘积、G通道像素值与G通道加权值的乘积以及B通道像素值与B通道加权值的乘积相加以获取针对的像素点的灰度值,采用高斯滤波算法对灰度化处理后2D图像的像素点将图像窗口的固有变差和图像窗口总变差结合起来,形成结构与纹理分解正则化器,进行平滑处理,得到平滑处理后的2D图像;
对所述平滑处理后的2D图像进行图像增强处理,即对平滑处理后的2D图像采用图像增强模型进行有监督的模型训练,得到图像增强后的2D图像;
将图像增强后的2D图像用于平面缺陷抓取。
本发明的用于检测激光焊接焊缝外观缺陷的方法,通过采集焊接后产品的深度图像和2D图像,并对深度图像和2D图像进行分别处理,分别得到第一缺陷数据和第二缺陷数据,在分别处理的基础上,对第一缺陷数据和第二缺陷数据进行结合分析,根据分析结果输出焊缝外观缺陷检测结果;本发明基于计算机视觉技术,结合点云算法和深度学习算法,能够成功的识别激光焊接焊缝外观的缺陷,从检测结果上看,相比于人工目检的方法,大大提高焊缝外观缺陷的检测效率,并可以提高产品的品质一致性和良品率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种用于检测激光焊接焊缝外观缺陷的方法的流程图;
图2为本发明的用于检测激光焊接焊缝外观缺陷的方法实施例中采用的将深度图像转换为3D点云图像的流程图;
图3为本发明的用于检测激光焊接焊缝外观缺陷的方法实施例中对3D点云图像进行处理的流程图;
图4为本发明的用于检测激光焊接焊缝外观缺陷的方法实施例中拟合基准平面的流程图;
图5为本发明的用于检测激光焊接焊缝外观缺陷的方法实施例中对2D图像进行处理的流程图;
图6为本发明的用于检测激光焊接焊缝外观缺陷的方法实施例中采用的结合分析方式的流程图;
图7为本发明的用于检测激光焊接焊缝外观缺陷的方法应用于锂电池激光焊接的焊缝外观缺陷检测的应用流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
如图1所示,本发明实施例提供了一种用于检测激光焊接焊缝外观缺陷的方法,包括:
S100:获取焊接后产品的深度图像和2D图像;
S200:将深度图像转换为3D点云图像,对3D点云图像进行处理,从处理后的3D点云图像识别得到第一缺陷数据;
S300:对2D图像进行处理,从处理的2D图像识别得到第二缺陷数据;
S400:通过对第一缺陷数据和第二缺陷数据进行结合分析,输出焊缝外观缺陷检测结果。
上述技术方案的工作原理和有益效果为:本方案通过采集焊接后产品的深度图像和2D图像,并对深度图像和2D图像进行分别处理,分别得到第一缺陷数据和第二缺陷数据,在分别处理的基础上,对第一缺陷数据和第二缺陷数据进行结合分析,根据分析结果输出焊缝外观缺陷检测结果;本方案基于计算机视觉技术,结合点云算法和深度学习算法,能够成功的识别激光焊接焊缝外观的缺陷,从检测结果上看,相比于人工目检的方法,大大提高焊缝外观缺陷的检测效率,并可以提高产品的良品率;例如针对锂电池行业,可以提高锂电池产品的品质一致性和良品率。
在一个实施例中,在S100步骤中,深度图像通过3D传感器采集得到;2D图像采用CCD相机拍摄得到。
上述技术方案的工作原理和有益效果为:本方案中的3D传感器可以采用3D相机,获取的深度图像中能够隐含带有三维关联数据,从而便于后续进行3D点云图像转换和处理;2D图像采用CCD相机拍摄,能够在2D图像反映更细微的表面情况;本方案为后续图像分析打下较好的基础,有利于提高分析结果的精度。
在一个实施例中,在S200步骤中,将深度图像转换为3D点云图像包括:
确定深度图像的转换系数:采用x_res代表同一行上相隔一个像素实际对应的距离,y_res代表同一列上相隔一个像素实际对应的距离,z_res代表深度图像上像素值大小相对于实际高度的转化比例;
实施空间点云转换:遍历深度图像上的像素点,通过转换系数将各像素点转换为3D点云图像中的空间点,转换式为:X=i*x _res,Y=j*y_res, Z=value* z _res;其中,X、Y、Z代表3D点云图像中的空间点坐标,i代表深度图像的行,j代表深度图像的列,value代表深度图像上像素点(i,j)的像素值。
上述技术方案的工作原理和有益效果为:深度图像其实可以看作是3D点云的一种表达方式,因此深度图像与3D点云存在固定的转化系数;其中,三个转化参数用x_res、y_res和z_res是3D相机设置里的固定参数,可由3D相机得到;已知一张深度图像和其对应的转换系数,转换为3D点云图像的过程例如:获得深度图像的行和列的大小,i代表图像的行,j代表图像的列,先设i=0,j=0,获得深度图像上像素行为i,列为j的像素值,设为value,则此像素点(i,j)对应的空间点坐标为X=i*x _res,Y=j*y_res, Z=value* z _res,设点云集合为cloud,此空间点即属于点云集合,当j>cols时候,cols表示深度图像的总列数,进入下一步,否则,赋j=j+1,进行同像素行中下一个像素点的转换;当i>rows时,rows表示深度图像的总行数,结束,输出点云集合,否则赋i=i+1,进行下一行中像素点的转换;该转换为3D点云图像的计算流程如图2所示。
在一个实施例中, 在S200步骤中,将深度图像转换为3D点云图像后,进行降采样,即通过体素网格降采样方法降低点云数量,具体方式如下:
设降采样前点云集合为A,降采样后点云集合为B,采用体素网格降采样的过程为:将空间分割为若干大小相等的正方体,若点云集合A在正方体内存在一个或多个点,即在点云集合B对应位置的正方体中心赋值一个点,以此达到降采样的目的。
上述技术方案的工作原理和有益效果为:在深度图转化为点云后,点云数据量较大,检测时间过长,且原始数据本身存在冗余,降低点云数量也不会影响检测结果,因此,本方案通过体素网格降采样方法降低点云数量,降采样后,点云数量减少,提高了检测的速度;本方案中正方体的大小决定了降采样后点云的数量。
在一个实施例中,如图3所示,在S200步骤中,对3D点云图像进行处理包括:
S210:去除3D点云图像中的离群点;
S220:识别3D点云图像中的凸起点和凹陷点,具体为:首先,拟合基准平面;其次,遍历3D点云图像中的所有点,计算各点到基准平面的距离,最后,若距离大于设定的距离阈值,则表示该点属于凸起点或者凹陷点;
S230:对凸起点或者凹陷点进行量化处理,具体为:采用聚类算法将凸起点或者凹陷点聚类成集合,得到点集图像;计算点集图像的第一特征尺寸,将第一特征尺寸作为第一缺陷数据。
上述技术方案的工作原理和有益效果为:图像采集过程中,不可避免地存在噪点,使用算法检测时,容易受到异常噪点的干扰,导致检测结果不准确,因此,需要识别噪点并将其从点云集合中去除。噪点在点云集合中一般表现为离散、孤立的离群点形式,可以通过离群点去除方法识别并将其去除。遍历点云集合中的所有点,设置一个检测半径r,以点为球心,计算半径r的球范围内的点云数量,计算集合中的所有点球内的点云数量的平均值,当某点球内的点云数量比平均值小,且小于的量大于一定阈值(点云平均数量阈值)时,则将此点从点云集合中删除,达到去除离群点的目的。密封钉焊缝上的凸起和凹陷会影响密封质量,需要对此类缺陷进行识别。激光焊接的焊缝外观在正常情况下与基准面为一个平面,若焊道上存在凸起或凹陷,则凸起或凹陷的缺陷点不在平面上,这些点与平面的距离也会比较大,因此可以先拟合基准平面,遍历集合中的点,计算点到基准平面的距离,若此距离大于一定值,则这个点属于凸起点或凹陷点。单点没有长宽高特征,无法做量化处理,因此需要将点聚类成集合,对数量大于一定值的点集进行处理。首先将缺陷点用聚类算法,将间距小的点聚类成单独的点集,然后再分别计算点集的长宽高等特征,进行量化处理;利用点云中点与点之间的欧式距离进行聚类,当点与点之间的欧式距离小于设定的阈值则视为一类,遍历缺陷点,将缺陷点根据欧式距离聚类成缺陷点集,然后,计算缺陷点集的长、宽、高缺陷特征,缺陷点集的长、宽、高即为第一特征尺寸;至此,得到了利用3D算法求解凸起点和凹陷点的第一缺陷数据。
在一个实施例中,在S230步骤中,通过建立三维坐标系,聚类算法采用以下公式计算欧氏距离:
Figure SMS_1
上式中,
Figure SMS_2
表示第i个和第j个凸起点或者凹陷点的欧氏距离;
Figure SMS_3
表示第i个凸起点或者凹陷点的三维坐标值;
Figure SMS_4
表示第j个凸起点或者凹陷点的三维坐标值;
若计算得到两个凸起点或者凹陷点的欧氏距离不大于预设的欧氏距离阈值,则将这两个凸起点或者凹陷点聚类到同一个集合,同一个集合中包含的所有凸起点或者凹陷点形成点集图像。
上述技术方案的工作原理和有益效果为:本方案通过上述公式计算3D点云图像中两个凸起点或者凹陷点的欧氏距离,通过预设的欧氏距离阈值,确定是否对所计算的两个凸起点或者凹陷点进行聚类,采用欧氏距离算法简单、有效用易操作实施,计算量小,计算速度快,有利于提高外观缺陷检测效率。
在一个实施例中,如图4所示,在S220步骤中,利用随机采样一致性拟合平面算法拟合基准平面,拟合基准平面的过程如下:
S221:随机在3D点云图像中选取3个不共线的目标点,求由3个目标点所形成平面的平面方程,得到平面模型;
S222:选取3D点云图像中的其他点并计算选取点到平面方程确定的平面模型的点面距离,将点面距离与预设的最小距离阈值比较,若点面距离小于最小距离阈值则该选取点为内点,否则为外点,记录平面模型下的所有内点的个数;
S223:重复S221和S222步骤,当前的平面模型的内点数量超过前一平面模型的内点数量,则记录当前的平面模型;
S224:重复S221-S223步骤进行迭代,直到迭代结束,得到内点最多的平面模型即为基准平面。
上述技术方案的工作原理和有益效果为:本方案的基准平面为空间中的平面,例如其表达形式为
Figure SMS_5
,利用随机采样一致性拟合平面算法拟合平面,这种方法是用计算机进行“随机概率实验” ,通过迭代和精度控制,会记录每次实验的结果,满足条件后退出,从实验中找到“数据中最优平面”的算法,能够抵抗数据的异样干扰,稳定得到平面。首先随机选取3个不共线的点,求一个平面方程,得到平面方程确定的平面模型;其次,用剩余的点计算到该平面方程的距离(点面距离),将距离与所设定值的“最小距离精度”(最小距离阈值)做比较,如果小于则该点为内点;否则为外点,记录该模型参数中所有内点的个数,然后,重复前两步,当前模型(平面模型)内点数量超过之前模型的内点数量,说明当前平面模型更优化,记录当前最优模型;最后,重复前面三步,直到迭代结束,找到内点最多的平面模型,这个平面模型即为最优的基准平面。得到模型参数后,遍历焊缝集合内的所有点,计算点到基准平面的距离,例如设点为
Figure SMS_6
,基准平面方程为
Figure SMS_7
,则点到基准面的距离为
Figure SMS_8
,计算dis的绝对值,若大于一定阈值(距离阈值),则证明该点属于凸起点或凹陷点。
在一个实施例中,如图5所示,在S300步骤中,对2D图像进行处理包括:
S310:通过目标检测技术抓取平面缺陷,包括:
首先,收集一定数量的平面缺陷图片,然后对平面缺陷位置进行标注,得到训练集;其次,采用YOLO目标检测网络对训练集进行训练,得到检测模型;最后,将检测模型用于2D图像的平面缺陷检测,即得到咬边状的平面缺陷以及平面缺陷在2D图像上的具***置;
S320:对平面缺陷进行量化处理,包括:
对平面缺陷进行置信度分析得到置信度;对平面缺陷进行最小包围框算法分析,筛选出第二特征尺寸大于设定的第二尺寸阈值的平面缺陷;以筛选出的平面缺陷的第二特征尺寸和其置信度作为第二缺陷数据。
上述技术方案的工作原理和有益效果为:本方案采用2D图像能够更准确地获取物体表面的颜色信息;激光焊接焊缝外观存在一种焊缝内侧或者外侧咬边状的黑洞,此缺陷在2D图像上形态明显;因此,通过YOLO目标检测网络训练的检测模型进行检测,利用2D图像检测,即可检测出咬边状的黑洞缺陷(平面缺陷),得到平面缺陷的在2D图像上的具***置;在2D图像的平面缺陷识别后,得到平面缺陷结果的置信度以及平面缺陷的最小包围框,平面缺陷结果的置信度是结果为平面缺陷的概率值,越接近1结果越可靠;计算最小包围框的长度、宽度和像素面积,最小包围框的长度、宽度和像素面积即为最小包围框的第二特征尺寸,当长度、宽度和像素面积都大于一定阈值(即第二尺寸阈值)时,此结果才归类为筛选出的平面缺陷,否则不认为存在缺陷;由此即可提取筛选出的平面缺陷的第二特征尺寸,得到第二缺陷数据。
在一个实施例中,如图6所示,在S400步骤中,结合分析方式如下:
S410:在3D点云图像中筛选出第一特征尺寸大于第一尺寸阈值的点集图像;将筛选出的点集图像对应的凸起区域或者凹陷区域作为第一外观缺陷;
S420:将置信度大于置信度阈值的平面缺陷对应区域作为第二外观缺陷;
S430:对于置信度不大于置信度阈值的平面缺陷,根据该平面缺陷在2D图像上的位置,在3D点云图像中查找对应位置是否存在凸起或者凹陷的点集图像;若不存在则剔除该平面缺陷;若存在且3D点云图像中对应位置的点集图像大于第三尺寸阈值,则将平面缺陷与对应位置点集图像进行点位区域合并,将合并后的点位区域作为第三外观缺陷。
上述技术方案的工作原理和有益效果为:本方案对于凹凸类缺陷,此特征在深度图像上明显,且在2D图像上部分无特征,因此,对于3D图像上检测出的凹凸缺陷,只要缺陷长、宽、高同时大于一定阈值(即第一尺寸阈值)就属于缺陷点集合,可以直接归为最终的输出缺陷。对于2D图像上检测的焊缝内侧或者外侧咬边状的黑洞缺陷,焊缝上存在一些黑点的干扰,黑点仅为颜色上的异常,不影响产品质量,这些黑点与黑洞状缺陷颜色和面积相似,容易造成误判,但黑点的边缘是缓慢地由黑向正常色过度,而咬边状黑洞缺陷的边缘变化较为锐利,所以黑点2D检测结果的置信度比较低,且咬边状黑洞缺陷在3D上伴随轻微凹凸,黑点在3D上无凹凸;因此,对于此平面缺陷应当区分判断,当2D图像上检测出缺陷,且缺陷的置信度大于一定值时,此缺陷归为最终输出结果;否则,进行2D和3D图像的结合判断,计算对应位置3D点云的长度、宽度、高度,当这三个值都大于一定值(第三尺寸阈值)时,此缺陷才归为最终输出缺陷,否则,将此缺陷过滤。通过以上3D和2D图像的结合分析,得到最终的输出缺陷。
在一个实施例中,在S320步骤中,置信度分析包括:
确定平面缺陷的置信区间;
采用正态分布分析平面缺陷抓取可靠性落入置信区间的概率;
根据平面缺陷抓取可靠性落入置信区间的概率确定平面缺陷的置信度。
上述技术方案的工作原理和有益效果为:本方案通过确定平面缺陷的置信区间,引用正态分布理论,考察平面缺陷抓取可靠性落入置信区间的概率,然后根据考察结果得到平面缺陷的置信度;置信度分析采用概率评估,确定平面缺陷的置信度,从而降低平面缺陷的误判率,提高平面缺陷检测精准度。
在一个实施例中,在S300步骤中,对2D图像进行处理还包括图像预处理,具体为:
对2D图像进行灰度化处理,得到对应的灰度化处理后的2D图像;
基于所述灰度化处理后的2D图像中每一个像素点,将R通道像素值与R通道加权值的乘积、G通道像素值与G通道加权值的乘积以及B通道像素值与B通道加权值的乘积相加以获取针对的像素点的灰度值,采用高斯滤波算法对灰度化处理后2D图像的像素点将图像窗口的固有变差和图像窗口总变差结合起来,形成结构与纹理分解正则化器,进行平滑处理,得到平滑处理后的2D图像;
对所述平滑处理后的2D图像进行图像增强处理,即对平滑处理后的2D图像采用图像增强模型进行有监督的模型训练,得到图像增强后的2D图像;
将图像增强后的2D图像用于平面缺陷抓取。
上述技术方案的工作原理和有益效果为:本方案对2D图像的预处理包括灰度化处理、平滑处理和图像增强处理,其中,灰度化处理可能降低2D图像处理的数据量,提高处理效率;通过平滑处理将2D图像中有意义的结构和纹理单元融合在一起,使得图像纹理清晰;采用图像增强模型进行有监督的模型训练,通过图像增强处理提高2D图像的质量和可辨识性,从而提高外观缺陷检测的准确性;其中,固有变差是指一个图像窗口中主要结构产生的比包含在另一个图像窗口的复杂纹理具有更多相似方向的梯度;图像窗口总变差是反映2D图像质量的参量。
在一个实施例中,图像预处理采用的结构与纹理分解正则化器中,图像窗口总变差采用以下总变差模型表示:
Figure SMS_10
上式中,Q表示图像窗口的总变差模型;P表示输出结构图像;Sk表示输出结构图像中k像素点的灰度值;Ik表示输入图像中k像素点的灰度值;k表示像素点;q表示以k像素点为中心的一个正方形区域内所有的像素点的索引;
Figure SMS_14
表示以
Figure SMS_18
像素点为中心的一个正方形区域内所有的像素点的索引集;x和y分别表示图像的横向和纵向像素坐标;
Figure SMS_9
表示修正因子,可取
Figure SMS_15
Figure SMS_17
表示高斯核函数,有
Figure SMS_20
上式中,
Figure SMS_12
表示k像素点的横向像素坐标;
Figure SMS_13
表示q像素点索引的横向像素坐标;
Figure SMS_16
表示k像素点纵向像素坐标;
Figure SMS_19
表示q像素点索引纵向像素坐标;
Figure SMS_11
表示高斯空间尺度。
上述技术方案的工作原理和有益效果为:本方案在2D图像平滑处理时,对图像窗口总变差采用上述算法模型表示,此算法模型依赖于2D图像局部的数据,不需要认为2D图像局部的梯度是各项同性的,只要在一个2D图像局部窗口中方向相反的梯度相互抵消,不管梯度模式是不是各项同性的或是异性的都能生效,从而可以起到锐化边缘的效果;通过上述算法模型处理获得结构图像,在进行结构图像的边缘检测时,便于边缘提取,提高2D图像的可辨识性,提高平面缺陷抓取的精度。
随着中国制造业的蓬勃发展,其对生产效率的提高与产品质量的把控有着越来越高的要求,引入人工智能技术,成为制造行业转型的重要环节,本发明基于计算机视觉技术,结合点云算法和深度学习算法,针对锂电池行业,就锂电池的激光焊接焊缝外观缺陷进行检测。
针对锂电池的激光焊接,在焊接后,采用本发明检测焊缝外观缺陷,如图7所示,首先通过3D相机拍摄得到激光焊接后锂电池的深度图像,通过CCD相机拍摄激光焊接后锂电池的2D图像;其次,对于深度图像依次进行以下处理过程:转化为点云,降采样——去除离群点——提取异常凸起和凹陷点——3D缺陷量化处理,对于2D图像依次进行以下处理过程:通过目标检测技术抓取缺陷——2D缺陷量化处理;最后结合深度图像和2D图像的处理结果进行分析,得到锂电池的焊缝外观缺陷检测结果,并输出最终结果。本发明基于计算机视觉技术,结合点云算法和深度学习算法,能够成功的识别锂电池的激光焊接焊缝外观的缺陷,从检测结果上看,相比于人工目检的方法,大大提高焊缝外观缺陷的检测效率,并可以提高产品的良品率。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种用于检测激光焊接焊缝外观缺陷的方法,其特征在于,包括:
S100:获取焊接后产品的深度图像和2D图像;
S200:将深度图像转换为3D点云图像,对3D点云图像进行处理,从处理后的3D点云图像识别得到第一缺陷数据;
S300:对2D图像进行处理,从处理的2D图像识别得到第二缺陷数据;
S400:通过对第一缺陷数据和第二缺陷数据进行结合分析,输出焊缝外观缺陷检测结果。
2.根据权利要求1所述的用于检测激光焊接焊缝外观缺陷的方法,其特征在于,在S100步骤中,深度图像通过3D传感器采集得到;2D图像采用CCD相机拍摄得到。
3.根据权利要求1所述的用于检测激光焊接焊缝外观缺陷的方法,其特征在于,在S200步骤中,将深度图像转换为3D点云图像包括:
确定深度图像的转换系数:采用x_res代表同一行上相隔一个像素实际对应的距离,y_res代表同一列上相隔一个像素实际对应的距离,z_res代表深度图像上像素值大小相对于实际高度的转化比例;
实施空间点云转换:遍历深度图像上的像素点,通过转换系数将各像素点转换为3D点云图像中的空间点,转换式为:X=i*x _res,Y=j*y_res, Z=value* z _res;其中,X、Y、Z代表3D点云图像中的空间点坐标,i代表深度图像的行,j代表深度图像的列,value代表深度图像上像素点(i,j)的像素值。
4.根据权利要求1所述的用于检测激光焊接焊缝外观缺陷的方法,其特征在于,在S200步骤中,将深度图像转换为3D点云图像后,进行降采样,即通过体素网格降采样方法降低点云数量,具体方式如下:
设降采样前点云集合为A,降采样后点云集合为B,采用体素网格降采样的过程为:将空间分割为若干大小相等的正方体,若点云集合A在正方体内存在一个或多个点,即在点云集合B对应位置的正方体中心赋值一个点,以此达到降采样的目的。
5.根据权利要求1所述的用于检测激光焊接焊缝外观缺陷的方法,其特征在于,在S200步骤中,对3D点云图像进行处理包括:
S210:去除3D点云图像中的离群点;
S220:识别3D点云图像中的凸起点和凹陷点,具体为:首先,拟合基准平面;其次,遍历3D点云图像中的所有点,计算各点到基准平面的距离,最后,若距离大于设定的距离阈值,则表示该点属于凸起点或者凹陷点;
S230:对凸起点或者凹陷点进行量化处理,具体为:采用聚类算法将凸起点或者凹陷点聚类成集合,得到点集图像;计算点集图像的第一特征尺寸,将第一特征尺寸作为第一缺陷数据。
6.根据权利要求5所述的用于检测激光焊接焊缝外观缺陷的方法,其特征在于,在S220步骤中,利用随机采样一致性拟合平面算法拟合基准平面,拟合基准平面的过程如下:
S221:随机在3D点云图像中选取3个不共线的目标点,求由3个目标点所形成平面的平面方程,得到平面模型;
S222:选取3D点云图像中的其他点并计算选取点到平面方程确定的平面模型的点面距离,将点面距离与预设的最小距离阈值比较,若点面距离小于最小距离阈值则该选取点为内点,否则为外点,记录平面模型下的所有内点的个数;
S223:重复S221和S222步骤,当前的平面模型的内点数量超过前一平面模型的内点数量,则记录当前的平面模型;
S224:重复S221-S223步骤进行迭代,直到迭代结束,得到内点最多的平面模型即为基准平面。
7.根据权利要求5所述的用于检测激光焊接焊缝外观缺陷的方法,其特征在于,在S300步骤中,对2D图像进行处理包括:
S310:通过目标检测技术抓取平面缺陷,包括:
首先,收集一定数量的平面缺陷图片,然后对平面缺陷位置进行标注,得到训练集;其次,采用YOLO目标检测网络对训练集进行训练,得到检测模型;最后,将检测模型用于2D图像的平面缺陷检测,即得到咬边状的平面缺陷以及平面缺陷在2D图像上的具***置;
S320:对平面缺陷进行量化处理,包括:
对平面缺陷进行置信度分析得到置信度;对平面缺陷进行最小包围框算法分析,筛选出第二特征尺寸大于设定的第二尺寸阈值的平面缺陷;以筛选出的平面缺陷的第二特征尺寸和其置信度作为第二缺陷数据。
8.根据权利要求7所述的用于检测激光焊接焊缝外观缺陷的方法,其特征在于,在S400步骤中,结合分析方式如下:
S410:在3D点云图像中筛选出第一特征尺寸大于第一尺寸阈值的点集图像;将筛选出的点集图像对应的凸起区域或者凹陷区域作为第一外观缺陷;
S420:将置信度大于置信度阈值的平面缺陷对应区域作为第二外观缺陷;
S430:对于置信度不大于置信度阈值的平面缺陷,根据该平面缺陷在2D图像上的位置,在3D点云图像中查找对应位置是否存在凸起或者凹陷的点集图像;若不存在则剔除该平面缺陷;若存在且3D点云图像中对应位置的点集图像大于第三尺寸阈值,则将平面缺陷与对应位置点集图像进行点位区域合并,将合并后的点位区域作为第三外观缺陷。
9.根据权利要求7所述的用于检测激光焊接焊缝外观缺陷的方法,其特征在于,在S320步骤中,置信度分析包括:
确定平面缺陷的置信区间;
采用正态分布分析平面缺陷抓取可靠性落入置信区间的概率;
根据平面缺陷抓取可靠性落入置信区间的概率确定平面缺陷的置信度。
10.根据权利要求1所述的用于检测激光焊接焊缝外观缺陷的方法,其特征在于,在S300步骤中,对2D图像进行处理还包括图像预处理,具体为:
对2D图像进行灰度化处理,得到对应的灰度化处理后的2D图像;
基于所述灰度化处理后的2D图像中每一个像素点,将R通道像素值与R通道加权值的乘积、G通道像素值与G通道加权值的乘积以及B通道像素值与B通道加权值的乘积相加以获取针对的像素点的灰度值,采用高斯滤波算法对灰度化处理后2D图像的像素点将图像窗口的固有变差和图像窗口总变差结合起来,形成结构与纹理分解正则化器,进行平滑处理,得到平滑处理后的2D图像;
对所述平滑处理后的2D图像进行图像增强处理,即对平滑处理后的2D图像采用图像增强模型进行有监督的模型训练,得到图像增强后的2D图像;
将图像增强后的2D图像用于平面缺陷抓取。
CN202310083936.4A 2023-02-09 2023-02-09 用于检测激光焊接焊缝外观缺陷的方法 Active CN115797354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310083936.4A CN115797354B (zh) 2023-02-09 2023-02-09 用于检测激光焊接焊缝外观缺陷的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310083936.4A CN115797354B (zh) 2023-02-09 2023-02-09 用于检测激光焊接焊缝外观缺陷的方法

Publications (2)

Publication Number Publication Date
CN115797354A true CN115797354A (zh) 2023-03-14
CN115797354B CN115797354B (zh) 2023-05-30

Family

ID=85430482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310083936.4A Active CN115797354B (zh) 2023-02-09 2023-02-09 用于检测激光焊接焊缝外观缺陷的方法

Country Status (1)

Country Link
CN (1) CN115797354B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309576A (zh) * 2023-05-19 2023-06-23 厦门微亚智能科技有限公司 一种锂电池焊缝缺陷检测方法、***及存储介质
CN116703914A (zh) * 2023-08-07 2023-09-05 浪潮云洲工业互联网有限公司 基于生成式人工智能的焊接缺陷检测方法、设备及介质
CN116818780A (zh) * 2023-05-26 2023-09-29 深圳市大德激光技术有限公司 纽扣电池壳体激光焊接后视觉2d和3d检测***
CN117078666A (zh) * 2023-10-13 2023-11-17 东声(苏州)智能科技有限公司 二维和三维结合的缺陷检测方法、装置、介质和设备
CN117078665A (zh) * 2023-10-13 2023-11-17 东声(苏州)智能科技有限公司 产品表面缺陷检测方法、装置、存储介质和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967243A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN113516660A (zh) * 2021-09-15 2021-10-19 江苏中车数字科技有限公司 适用于列车的视觉定位与缺陷检测方法和装置
US20220198647A1 (en) * 2021-02-09 2022-06-23 Nanjing University Of Aeronautics And Astronautics Method for detecting and recognizing surface defects of automated fiber placement composite based on image converted from point cloud
CN115009794A (zh) * 2022-06-30 2022-09-06 佛山豪德数控机械有限公司 全自动板材传输生产线及其生产控制***
CN115147370A (zh) * 2022-06-30 2022-10-04 章鱼博士智能技术(上海)有限公司 一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备
CN115496746A (zh) * 2022-10-20 2022-12-20 复旦大学 基于图像和点云数据融合的板材表面缺陷检测方法和***
CN115601359A (zh) * 2022-12-12 2023-01-13 广州超音速自动化科技股份有限公司(Cn) 一种焊缝检测方法及装置
CN115619738A (zh) * 2022-10-18 2023-01-17 宁德思客琦智能装备有限公司 一种模组侧缝焊焊后检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220198647A1 (en) * 2021-02-09 2022-06-23 Nanjing University Of Aeronautics And Astronautics Method for detecting and recognizing surface defects of automated fiber placement composite based on image converted from point cloud
CN112967243A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN113516660A (zh) * 2021-09-15 2021-10-19 江苏中车数字科技有限公司 适用于列车的视觉定位与缺陷检测方法和装置
CN115009794A (zh) * 2022-06-30 2022-09-06 佛山豪德数控机械有限公司 全自动板材传输生产线及其生产控制***
CN115147370A (zh) * 2022-06-30 2022-10-04 章鱼博士智能技术(上海)有限公司 一种电池顶盖焊接缺陷检测方法、装置、介质及电子设备
CN115619738A (zh) * 2022-10-18 2023-01-17 宁德思客琦智能装备有限公司 一种模组侧缝焊焊后检测方法
CN115496746A (zh) * 2022-10-20 2022-12-20 复旦大学 基于图像和点云数据融合的板材表面缺陷检测方法和***
CN115601359A (zh) * 2022-12-12 2023-01-13 广州超音速自动化科技股份有限公司(Cn) 一种焊缝检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵杰 等著, 北京:机械工业出版社, pages: 10 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309576A (zh) * 2023-05-19 2023-06-23 厦门微亚智能科技有限公司 一种锂电池焊缝缺陷检测方法、***及存储介质
CN116309576B (zh) * 2023-05-19 2023-09-08 厦门微亚智能科技股份有限公司 一种锂电池焊缝缺陷检测方法、***及存储介质
CN116818780A (zh) * 2023-05-26 2023-09-29 深圳市大德激光技术有限公司 纽扣电池壳体激光焊接后视觉2d和3d检测***
CN116818780B (zh) * 2023-05-26 2024-03-26 深圳市大德激光技术有限公司 纽扣电池壳体激光焊接后视觉2d和3d检测***
CN116703914A (zh) * 2023-08-07 2023-09-05 浪潮云洲工业互联网有限公司 基于生成式人工智能的焊接缺陷检测方法、设备及介质
CN116703914B (zh) * 2023-08-07 2023-12-22 浪潮云洲工业互联网有限公司 基于生成式人工智能的焊接缺陷检测方法、设备及介质
CN117078666A (zh) * 2023-10-13 2023-11-17 东声(苏州)智能科技有限公司 二维和三维结合的缺陷检测方法、装置、介质和设备
CN117078665A (zh) * 2023-10-13 2023-11-17 东声(苏州)智能科技有限公司 产品表面缺陷检测方法、装置、存储介质和电子设备
CN117078666B (zh) * 2023-10-13 2024-04-09 东声(苏州)智能科技有限公司 二维和三维结合的缺陷检测方法、装置、介质和设备
CN117078665B (zh) * 2023-10-13 2024-04-09 东声(苏州)智能科技有限公司 产品表面缺陷检测方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN115797354B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN115797354B (zh) 用于检测激光焊接焊缝外观缺陷的方法
CN113469177B (zh) 基于深度学习的排水管道缺陷检测方法及***
CN103499585B (zh) 基于机器视觉的非连续性锂电池薄膜缺陷检测方法及其装置
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN114638784B (zh) 一种基于fe-yolo的铜管表面缺陷检测方法及装置
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN105930852B (zh) 一种气泡图像识别方法
CN110598613B (zh) 一种高速公路团雾监测方法
CN104992429A (zh) 一种基于图像局部增强的山体裂缝检测方法
CN116485717B (zh) 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN109859199B (zh) 一种sd-oct图像的淡水无核珍珠质量检测的方法
CN115597494B (zh) 一种基于点云的预制构件预留孔的精度检测方法、***
CN113435460A (zh) 一种亮晶颗粒灰岩图像的识别方法
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN115656182A (zh) 基于张量投票主成分分析的板材点云缺陷检测方法
CN116563262A (zh) 基于多模态的建筑裂缝检测算法
CN116205879A (zh) 一种基于无人机图像及深度学习的小麦倒伏面积估算方法
CN111582270A (zh) 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法
CN115018790A (zh) 一种基于异常检测的工件表面缺陷检测方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN110751687B (zh) 一种基于计算机视觉最小最大圆的苹果大小分级方法
CN116740036A (zh) 一种钢管管端引熄弧板切割点位检测方法和***
CN114742849B (zh) 一种基于图像增强的水准仪距离测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 361000 room 201a, Jinfeng Building, information photoelectric Park, Xiamen Torch hi tech Zone, Xiamen City, Fujian Province

Patentee after: Xiamen Weiya Intelligent Technology Co.,Ltd.

Address before: 361000 room 201a, Jinfeng Building, information photoelectric Park, Xiamen Torch hi tech Zone, Xiamen City, Fujian Province

Patentee before: XIAMEN WEIYA INTELLIGENCE TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder