CN107248170A - 基于图像匹配的焊缝跟踪方法 - Google Patents

Abstract

本发明公开一种基于图像匹配的焊缝跟踪方法，综合考虑焊缝区域和背景图像以及两者之间的特征差异，焊缝跟踪不受焊缝深浅粗细等限制，且不受光照等环境条件影响，解决了焊缝视觉特征随光照等成像条件逐渐变化而出现的焊缝跟丢等问题，普适性高且具有较高鲁棒性和精确性。

Description

基于图像匹配的焊缝跟踪方法

技术领域

本发明涉及一种焊缝跟踪方法，尤其是一种不受焊缝及环境条件限制，具有较高鲁棒性和精确性的基于图像匹配的焊缝跟踪方法。

背景技术

目前，基于视觉传感器的焊缝跟踪方法主要为如下两种：一种是基于主动光，即将辅助光源产生的光条打到焊缝上产生形变，运用图像处理技术找到焊缝中心进行跟踪。由于光条在焊缝较小、较浅时不易产生形变，因此该方法对于细微焊缝的跟踪效果不好，当外界对辅助光源有干扰时跟踪不稳定而且实施起来复杂且成本较高；另一种是基于被动光，即利用周围自然光引起工件表面漫反射成像检测焊缝跟踪或者直接利用焊接熔池图像进行焊缝跟踪，具体有模板匹配跟踪方法和边缘检测跟踪方法。模板匹配跟踪方法主要是利用模板的灰度值特征，在焊缝图像中找到与模板灰度值差别最小的区域进行焊缝匹配跟踪，具有操作简单、成本较低等优点，但对光照极其敏感、跟踪速度较慢而且抗干扰能力差；边缘检测跟踪方法是利用焊缝边缘进行焊缝跟踪，该方法不易受光照影响、跟踪速度较快，但当焊缝边缘不明显时或焊缝周围边缘较多时跟踪效果不好。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种不受焊缝及环境条件限制，具有较高鲁棒性和精确性的基于图像匹配的焊缝跟踪方法。

本发明的技术解决方案是：一种基于图像匹配的焊缝跟踪方法，其特征在于由初始焊缝滤波器训练阶段和在线跟踪阶段构成，

所述初始焊缝滤波器训练阶段按照如下步骤进行：

A1.取k幅样本图像；

A2.人工标记提取样本图像中的焊缝区域；

A3.自动截取焊缝区域两侧的区域作为背景图像；

A4.分别提取焊缝区域和背景图像的特征；

A5.计算初始焊缝滤波器；

A6.保存所得到的初始焊缝滤波器；

所述在线跟踪阶段按照如下步骤进行：

B1. 人工设置焊缝中心在图像中初始位置的坐标并令初始搜索中心；

B2.获取初始焊缝滤波器;

B3.实时采集一幅被测图像；

B4.提取被测图像中以坐标为中心的矩形区域作为搜索区域；

B5.提取搜索区域的特征；

B6.计算搜索区域的特征与滤波器的最大响应值及在图像中的位置坐标；

同时进行B7.1和B7.2：

B7.1.1计算和的像素偏差；

B7.1.2像素偏差入栈；

B7.1.3 判断是否栈满；是，计算偏差控制量，输出偏差控制量给运动控制模块，释放栈，更新；否，更新；

B7.1.4 判断跟踪是否结束；否，返回至B3；是，跟踪结束；

B7.2.1 以坐标为中心采集焊缝区域及其两侧的背景图像；

B7.2.2 分别提取焊缝区域和背景图像的特征；

B7.2.3 计算背景图像特征与滤波器的最大响应值；

B7.2.4 判断；是，更新滤波器；否，判断跟踪是否结束，是，跟踪结束，否，返回至B3。

本发明综合考虑焊缝特征和背景特征以及两者之间的特征差异，不受焊缝深浅粗细等限制，且不受光照等环境条件影响，解决了焊缝视觉特征随光照等成像条件逐渐变化而出现的焊缝跟丢等问题，普适性高且具有较高鲁棒性和精确性。

附图说明

图1是本发明实施例的流程图。

图2是本发明实施例的焊缝跟踪效果示意图。

具体实施方式

本发明实施例的硬件部分同现有技术，即有图像采集模块（CCD摄像机和图像采集卡等）、运动控制模块、动力传动模块及焊接模块等构成组成。本发明实施例的基于图像匹配的焊缝跟踪方法，如图1所示由初始焊缝滤波器训练阶段和在线跟踪阶段构成。

初始焊缝滤波器训练阶段按照如下步骤进行：

A1.取k幅样本图像：从训练集中，选择幅包含焊缝的图像；

A2.人工标记提取样本图像中的焊缝区域：从每幅图像中选择一块能够表明焊缝特征的部分作为焊缝区域，焊缝区域选择要求：取形状为矩形，长为，宽为地矩形区域，矩形中垂直焊缝方向的边要短些，平行于焊缝的边要长些；焊缝的中心位于矩形框的中央，则焊缝区域样本集合；

A3.自动截取焊缝区域两侧的区域作为背景图像；

在焊缝区域的两侧分别自动抠取一幅与焊缝区域大小相同的图像作为背景图像，其中表示焊缝区域标识，则背景图像样本集合；

A4.分别提取焊缝区域和背景图像的特征；

分别提取焊缝区域和背景图像样本的FHOG特征和灰度特征，其中FHOG特征的提取方法参见文献“Object detection with discriminatively trained part-based models.PAMI, 32(9):1627–1645, 2010.”。将每幅样本图像的FHOG特征所形成的27幅特征图和一幅灰度特征图按序合在一起作为该样本的特征。用表示第个焊缝区域的第个特征图，同理，表示第个背景图像的第个特征图；

A5.计算初始焊缝滤波器：

根据公式（1）计算焊缝滤波器

（1）

其中，，；表示互相关；表示焊缝滤波器与焊缝的响应，是一个与焊缝区域图像大小相同的高斯分布窗口；表示焊缝滤波器与背景的响应，是一个较小数组成的矩阵，令其为全0矩阵；、、是表示三项的权重因子；

具体计算过程如下：

选取一个和焊缝区域图像大小相同的高斯分布窗口作为滤波器的输出，要求的峰值刚好位于模板图像的中心位置，该位置即为预先设定的焊缝中心位置；

在频域，对公式（1）相对于焊缝滤波器求偏导，焊缝输入图像特征及其期望输出，背景输入图像特征及其期望输出以及滤波器经过FFT变换后分别表示为、、、以及，可得初始焊缝滤波器频域表示形式为：

（2）

其中，表示频域中滤波器的第层，表示复共轭；

A6.保存所得到的初始焊缝滤波器；

在线跟踪阶段按照如下步骤进行：

B1. 人工设置焊缝中心在图像中初始位置的坐标并令初始搜索中心:手工调整运动控制模块使焊枪（焊枪与摄像头是绑定的）对准焊缝中心；同时在摄像头所拍摄的图像中，标记焊缝中心的初始位置，其坐标记为；

B2.获取初始焊缝滤波器：获取通过初始焊缝滤波器训练阶段所计算得到初始滤波器；

B3.实时采集一幅被测图像；

B4.提取被测图像中以坐标为中心的矩形区域作为搜索区域：

对于实时采集的一幅图像，以坐标为中心、宽高分别为和的矩形区域作为该幅图像中焊缝中心的搜索区域，所述和与初始焊缝滤波器训练阶段的值大小相同；

B5.提取搜索区域的特征：

提取搜索区域的FHOG特征，将27维FHOG特征和灰度图按序形成该幅图像的特征，并对其进行离散傅里叶变换，得到；

B6.计算搜索区域的特征与滤波器的最大响应值及在图像中的位置坐标；

将所得到的特征与滤波器（公式2）作相关运算，得到响应，公式如下：

（3）

其中，为空域的响应输出，则的最大值在图像坐标中的位置即为焊缝的中心位置，该位置的坐标记为；

之后同时进行B7.1和B7.2：

B7.1.1计算和的像素偏差；

B7.1.2像素偏差入栈：栈层需根据***输出间隔设定，本发明实施例设定为7层；

B7.1.3 判断是否栈满；是，去掉偏差值中的最大值和最小值，将剩余的偏差值取平均作为运动偏差控制量，输出运动偏差控制量给运动控制模块，从而控制电机开始运动，进而控制焊枪与摄像头的运动，然后释放掉栈，同时更新搜索区域的中心坐标；否，更新；

B7.1.4 判断跟踪是否结束；否，返回至B3；是，跟踪结束；

B7.2.1 以坐标为中心采集焊缝区域及其两侧的背景图像：具体方法同初始焊缝滤波器训练阶段；

B7.2.2 分别提取焊缝区域和背景图像的特征：具体方法同初始焊缝滤波器训练阶段；

B7.2.3 计算背景图像特征与滤波器的最大响应值：计算公式同式（3），得到背景图像特征与滤波器的最大响应值；

B7.2.4 判断（本发明中=1.2）；是，更新滤波器：

如果时，表明焊缝区域的最大响应值与背景图像的最大响应值差距很大，说明焊缝清晰明显，此时对滤波器进行更新，即将滤波器修正为当前计算的滤波器与前一次滤波器的加权和，即：

（4）

其中，表示第帧时滤波器的第个，表示第帧时滤波器的第个是指示函数，若为真，则等于1；否则，等于0。

如果，则表明焊缝区域的最大响应值与背景图像的最大响应值的差距不是很大，说明焊缝不明显，此时无需更新滤波器；则判断跟踪是否结束，是，跟踪结束，否，返回至B3。

实验结果：

本发明以两个焊缝实验为例，如图2所示，以虚线（零误差）作为基准，实线表示本实验的焊缝跟踪结果与标准结果之间的误差值，得到的平均误差分别为 0.553和 0.347个像素，该实验结果证明了本发明的鲁棒性和精确性。

Claims (4)

1.一种基于图像匹配的焊缝跟踪方法，其特征在于由初始焊缝滤波器训练阶段和在线跟踪阶段构成，

所述初始焊缝滤波器训练阶段按照如下步骤进行：

A1.取k幅样本图像；

A2.人工标记提取样本图像中的焊缝区域；

A3.自动截取焊缝区域两侧的区域作为背景图像；

A4.分别提取焊缝区域和背景图像的特征；

A5.计算初始焊缝滤波器；

A6.保存所得到的初始焊缝滤波器；

所述在线跟踪阶段按照如下步骤进行：

B1.人工设置焊缝中心在图像中初始位置的坐标并令初始搜索中心；

B2.获取初始焊缝滤波器;

B3.实时采集一幅被测图像；

B4.提取被测图像中以坐标为中心的矩形区域作为搜索区域；

B5.提取搜索区域的特征；

B6.计算搜索区域的特征与滤波器的最大响应值及在图像中的位置坐标；

同时进行B7.1和B7.2：

B7.1.1计算和的像素偏差；

B7.1.2像素偏差入栈；

B7.1.3 判断是否栈满；是，计算偏差控制量，输出偏差控制量给运动控制模块，释放栈，更新；否，更新；

B7.1.4 判断跟踪是否结束；否，返回至B3；是，跟踪结束；

B7.2.1 以坐标为中心采集焊缝区域及其两侧的背景图像；

B7.2.2 分别提取焊缝区域和背景图像的特征；

B7.2.3 计算背景图像特征与滤波器的最大响应值；

B7.2.4 判断；是，更新滤波器；否，判断跟踪是否结束，是，跟踪结束，否，返回至B3。

2.根据权利要求1所述基于图像匹配的焊缝跟踪方法，其特征在于所述A5步骤计算初始焊缝滤波器按如下步骤进行：

根据公式计算焊缝滤波器

（1）

其中，，；表示互相关；表示焊缝滤波器与焊缝的响应，是一个与焊缝区域图像大小相同的高斯分布窗口；表示焊缝滤波器与背景的响应，是一个较小数组成的矩阵，令其为全0矩阵；、、是表示三项的权重因子；

具体计算过程如下：

选取一个和焊缝区域图像大小相同的高斯分布窗口作为滤波器的输出，要求的峰值刚好位于模板图像的中心位置，该位置即为预先设定的焊缝中心位置；

在频域，对公式（1）相对于焊缝滤波器求偏导，焊缝输入图像特征及其期望输出，背景输入图像特征及其期望输出以及滤波器经过FFT变换后分别表示为、、、以及，可得初始焊缝滤波器频域表示形式为：

（2）

其中，表示频域中滤波器的第层， 表示复共轭。

3.根据权利要求2所述基于图像匹配的焊缝跟踪方法，其特征在于所述B7.1.3步骤的计算偏差控制量是去掉偏差值中的最大值和最小值，将剩余的偏差值取平均作为运动偏差控制量。

4.根据权利要求3所述基于图像匹配的焊缝跟踪方法，其特征在于所述B7.2.4步骤的更新滤波器是将滤波器修正为当前计算的滤波器与前一次滤波器的加权和，即：

其中，表示第帧时滤波器的第个，表示第帧时滤波器的第个是指示函数，若为真，则等于1；否则，等于0。