CN108320280B - 基于视觉清晰度与轮廓提取的熔池图像异常检测方法 - Google Patents

Abstract

本专利提出了一种根据视觉清晰度的值与轮廓的宽度的变化从而判别该熔池图像所属异常类别的检测方法；本专利从图像视觉角度出发，结合清晰度以及轮廓提取的运算特性，先用清晰度算子进行初分类，再结合轮廓宽度对焊速进行再分类，在一定程度上减小了运算时间。且本专利所采用双光路视觉感知装置，有效的提高视觉轮廓和清晰度提取精度。

Description

基于视觉清晰度与轮廓提取的熔池图像异常检测方法

技术领域

本发明属于熔池视觉领域，具体涉及FPGA模块触发的双光路视觉传感装置和一种清晰度以及轮廓协同判断的熔池图像异常检测方法。

背景技术

焊接是制造业重要的加工工艺方法之一，广泛地应用于材料加工和结构制造中。熟练焊工可以通过观察熔池表面信息结合经验对焊缝质量进行预判和控制，随着智能机器人焊接逐渐取代人工焊，熔池信息的准确传感是焊接过程智能化控制的重要前提，需要建立稳定可靠的视觉传感***保证获取的熔池图像信息尽可能全面、准确。

熔池二维视觉传感主要通过视觉传感方法对熔池进行图像传感采集，通过图像处理和特征提取，分析图像特征与焊接质量之间的关系并建立控制模型。随着研究的不断深入，研究者结合不同材料、不同焊接方法中熔池的特点建立合理的视觉传感***，在熔池图像传感方法、图像处理算法、图像特征定义和提取方法和基于视觉的焊接质量控制等方面取得了较大进展。熔池信息的准确传感是焊接过程智能化控制的重要前提，需要建立稳定可靠的视觉传感***保证获取的熔池图像信息尽可能全面、准确。如果直接利用视觉传感器摄取焊接过程中的熔池图像，强烈的电弧光将使CCD的感光基元达到光饱和，熔池信息几乎完全被电弧光湮没。

为削弱电弧光的影响，本专利采用熔池视觉与工艺参数协同感知装置，针对基于清晰度以及轮廓提取的视觉计算需求，设计成像方案。由于计算熔池轮廓需要较强的边界对比度，需要带通高曝光；计算熔池表面视觉清晰度需要抑制弧光，需要高通低曝，因此本专利采用分光棱镜将熔池光束分为850nm高通和650nm带通的双光路视觉传感装置。如此可兼得高对比度的熔池边界和低弧光干扰的熔池表面信息，提高了后续熔池轮廓提取和清晰度计算精度。获得图像后，为了减少各种随机噪声和图像畸变影响，本专利采用中频拉伸的方法再对图像进行预处理，抑制无用噪声信息，改善图像质量，便于清晰度的计算与轮廓提取。

发明内容

本发明基于视觉清晰度与轮廓提取的熔池图像异常检测方法，包括以下步骤：

步骤1：确定熔池图像可能出现的异常类别；

步骤2：设计工艺参数协同感知FPGA模块，根据不同视觉计算需求，设计针对性成像方案；

步骤3：对步骤2设计的光路采集正样本和各类负样本；

步骤4：对采集的所有熔池图像样本进行中频拉伸处理并计算其清晰度值，根据结果分布，设定划分各类异常组的阈值，确定电流参数异常，电压参数异常以及保护气参数异常的清晰度范围；

步骤5：将步骤4所得结果中电参数和保护气参数一致情况下的正常组进行轮廓特征信息的提取，进行数据分析从而得到不同焊速等级的分类结果，实现熔池焊速异常的检测。

更进一步的，步骤2所述的根据不同视觉计算需求，设计针对性成像方案，具体过程为：如计算熔池轮廓需要较强的边界对比度，可采用带通高曝光；计算熔池表面视觉清晰度需要抑制弧光，可采用高通低曝光；因此采用分光棱镜将熔池光束分为两束，一束采用850nm高通、一束采用650nm带通，形成双光谱视觉传感装置；且确保双光谱采样同步。

更进一步的，步骤4所述的对采集的所有熔池图像样本进行中频拉伸处理并计算其清晰度值，包括以下步骤：

步骤3-1：对所获得的熔池图像进行中频拉伸的预处理，提取图像中较为重要的细节分量；

中频分量拉伸公式如下：

式中，H(x,y)为拉伸后的图像频域，D(x,y)为原输入图像的频域，d_l为中频拉伸的起始频率，d_h为中频拉伸的截至频率，m，n为滤波器的阶数；

步骤3-2：选用步骤3-1清晰度算子对图像的清晰度进行计算；

步骤3-3：手动划定分类结果，找到清晰度值与其对应的类别关系；

分别计算上述清晰度算子的值，手动设定各类异常结果的阈值，得出能量梯度算子的判别准确率最高，能量梯度的清晰度评价算子结果如下：

即将图像行方向和列方向上相邻像素点的灰度值的差分相加得到的该图像的清晰度值，式中，I(x,y)为图像I在(x,y)处的灰度值，q(I)为该函数的输出结果清晰度值。

更进一步的，步骤3所述的在双光路条件下采集正样本和各类负样本，具体包括电流异常，电压异常，保护气异常以及焊速异常。

更进一步的，步骤5所述将步骤4所得结果中电参数和保护气参数一致情况下的正常组进行轮廓特征信息的提取的具体步骤为：

步骤5-1：熔池的ROI设置；

首先，设置大ROI去除多余的背景区域；其次，根据熔池的整体特性，即头部亮度较高且容易受弧光干扰，尾部半凝固区域亮度较低而干扰较少，可以将其分为ROI1和ROI2；根据头部和尾部区域的成像特性，分别进行小比例灰度拉伸，灰度拉伸公式如下：

式中，对于小比例拉伸

的值较小可以去除高亮区域，对于大比例拉伸

的值较大，可以增强尾部整体的对比度；

步骤5-2：熔池的分块预处理；

对ROI1中灰度拉伸过的图像进行高斯滤波和开运算来减弱边缘处弧光的干扰，再用Canny算子进行低阈值边缘检测并滤除过小的边缘轮廓；由于ROI2区域的干扰较小，灰度分布相对比较均匀，因此对ROI2区域直接进行大津法阈值分割并用Canny算子进行高阈值边缘检测；

步骤5-3：轮廓合并以及连接；

将ROI1和ROI2检测到的边缘轮廓进行合并，并对图像的8邻域和16邻域进行搜索，连接轮廓中小尺度的断裂，之后对于大尺度的断裂进行轮廓端点的检测，将相邻端点进行连接，最终得到熔池连通的轮廓。

本发明的有益效果为：本专利从图像视觉角度出发，结合清晰度以及轮廓提取的运算特性，先用清晰度算子进行初分类，再结合轮廓宽度对焊速进行再分类，在一定程度上减小了运算时间。且本专利所采用双光路视觉感知装置，有效的提高视觉轮廓和清晰度提取精度。

附图说明

图1为本发明触发同步850高通、650带通图像；

图2为本发明清晰度的分类结果；

图3为本发明熔池轮廓的提取；

图4为本发明熔池焊速的分类。

具体实施方式

参阅图1、2、3、4本专利的具体实现步骤如下：

步骤1，设计工艺参数协同感知FPGA模块，搭建双光路熔池视觉传感器采集熔池图像；

步骤2，对所采集的850高通图像通过傅里叶变换转换到频率域，进行频域细节增强，并利用傅里叶反变换将图像再次从频域转回时域，得到中频拉伸后的结果图；

步骤3，选用各种清晰度算子对拉伸后的图像进行清晰度评价，并根据实验样本所属类别进行分类，找到归类效果最好的清晰度算子；

步骤4，步骤3中能量梯度算子归类效果最好，如图2所示，能量梯度算子能够将Ar＝0组，电流过低组，以及电压过低组这些异常现象进行分类，根据手动设定阈值划分，保护气异常的清晰度值q>5,电流异常：q<0.6,低电压组：0.6<q<2,和电参数与保护气参数正常组：2<q<5。并且上述各部分的识别准确率分别为保护气异常：90.0％；电流异常：98.44％；电压异常：91.33％，电参数与保护气参数正常：98.68％。总体准确率达：95.23％；

步骤5，用测试图像进行实时异常检测时，若出现清晰度q的值大于5或小于2的情况，则暂停焊接并检查所对应的异常，若清晰度值2<q<5，则进行轮廓提取，并进一步检测是否出现焊速异常现象；

步骤6，根据得到的熔池轮廓提取熔池的特征信息，如：熔池宽度、熔池长度、熔池后拖角、熔池的长宽比。根据提取出的宽度信息可以通过硬阈值分割，区分出同样焊接工艺以及同样焊接电参数，在相机角度不变的条件下的焊速等级。焊速越高熔池宽度越小，熔池长度越长，反之焊速越低熔池宽度越大，熔池长度越小。通过对数据进行分析分别得到不同焊速等级的硬分割阈值，从th1到th6。其中等级一对应焊速为2mm/s,等级二对应焊速为4mm/s，等级三对应焊速为6mm/s，等级四对应焊速为8mm/s，等级五对应焊速为12mm/s，等级六对应焊速的16mm/s，如图4所示。

Claims (4)

1.基于视觉清晰度与轮廓提取的熔池图像异常检测方法，其特征在于，包括以下步骤：

步骤1：确定熔池图像出现的异常类别；

步骤2：设计工艺参数协同感知FPGA模块，根据不同视觉计算需求，设计针对性成像方案；步骤2所述的根据不同视觉计算需求，设计针对性成像方案，具体过程为：计算熔池轮廓需要较强的边界对比度，采用带通高曝光；计算熔池表面视觉清晰度需要抑制弧光，采用高通低曝光；因此采用分光棱镜将熔池光束分为两束，一束采用850nm高通、一束采用650nm带通，形成双光谱视觉传感装置；且确保双光谱采样同步；

步骤3：对步骤2设计的光路采集正样本和各类负样本；

步骤4：对采集的所有熔池图像样本进行中频拉伸处理并计算其清晰度值，根据结果分布，设定划分各类异常组的阈值，确定电流参数异常，电压参数异常以及保护气参数异常的清晰度范围；

步骤5：将步骤4所得结果中电参数和保护气参数一致情况下的正常组进行轮廓特征信息的提取，进行数据分析从而得到不同焊速等级的分类结果，实现熔池焊速异常的检测。

2.根据权利要求1所述的基于视觉清晰度与轮廓提取的熔池图像异常检测方法，其特征在于，步骤4所述的对采集的所有熔池图像样本进行中频拉伸处理并计算其清晰度值，包括以下步骤：

步骤4-1：对所获得的熔池图像进行中频拉伸的预处理，提取图像中较为重要的细节分量；

中频分量拉伸公式如下：

式中，H(x,y)为拉伸后的图像频域，D(x,y)为原输入图像的频域，d_l为中频拉伸的起始频率，d_h为中频拉伸的截至频率，m，n为滤波器的阶数；

步骤4-2：选用步骤4-1清晰度算子对图像的清晰度进行计算；

步骤4-3：手动划定分类结果，找到清晰度值与其对应的类别关系；

分别计算上述清晰度算子的值，手动设定各类异常结果的阈值，得出能量梯度算子的判别准确率最高，能量梯度的清晰度评价算子结果如下：

即将图像行方向和列方向上相邻像素点的灰度值的差分相加得到的该图像的清晰度值，式中，I(x,y)为图像I在(x,y)处的灰度值，q(I)为该函数的输出结果清晰度值。

3.根据权利要求1所述的基于视觉清晰度与轮廓提取的熔池图像异常检测方法，其特征在于，步骤3所述的在双光路条件下采集正样本和各类负样本，具体包括电流异常，电压异常，保护气异常以及焊速异常。

4.根据权利要求1所述的基于视觉清晰度与轮廓提取的熔池图像异常检测方法，其特征在于，步骤5所述将步骤4所得结果中电参数和保护气参数一致情况下的正常组进行轮廓特征信息的提取的具体步骤为：

步骤5-1：熔池的ROI设置；

首先，设置大ROI去除多余的背景区域；其次，根据熔池的整体特性，即头部亮度较高且容易受弧光干扰，尾部半凝固区域亮度较低而干扰较少，可以将其分为ROI1和ROI2；根据头部和尾部区域的成像特性，分别进行小比例灰度拉伸，灰度拉伸公式如下：

式中，对于小比例拉伸

的值较小可以去除高亮区域，对于大比例拉伸

的值较大，可以增强尾部整体的对比度；

步骤5-2：熔池的分块预处理；

对ROI1中灰度拉伸过的图像进行高斯滤波和开运算来减弱边缘处弧光的干扰，再用Canny算子进行低阈值边缘检测并滤除过小的边缘轮廓；由于ROI2区域的干扰较小，灰度分布相对比较均匀，因此对ROI2区域直接进行大津法阈值分割并用Canny算子进行高阈值边缘检测；

步骤5-3：轮廓合并以及连接；

将ROI1和ROI2检测到的边缘轮廓进行合并，并对图像的8邻域和16邻域进行搜索，连接轮廓中小尺度的断裂，之后对于大尺度的断裂进行轮廓端点的检测，将相邻端点进行连接，最终得到熔池连通的轮廓。

Images