CN110264457A - 基于旋转区域候选网络的焊缝自主识别方法 - Google Patents

Abstract

本发明公开了一种基于旋转区域候选网络的焊缝自主识别方法，将焊缝识别的四大主要步骤（图像预处理、阈值分割、识别焊缝、拟合焊缝）整合在一个深度神经网络下，对复杂场景下的多类型焊缝，实现了准确、快速、端到端的识别。网络的核心在于针对焊缝方向特征的区域候选网络，通过引入网络中锚点框的倾角参数，消除了水平候选区域带来的歧义。

Description

基于旋转区域候选网络的焊缝自主识别方法

技术领域

本发明涉及一种基于旋转区域候选网络的焊缝自主识别方法，属于计算机视觉领域。

背景技术

工业设备通常是由钢板焊接而成，焊缝的高质量焊接和定期保养是保持其强度的重要手段。现阶段的焊接和焊缝探伤，通常由人工作业完成。然而，人工作业依赖工人的技艺，作业质量存在较大的不稳定因素。另外，焊接过程中的高温、有害气体等易对工人产生危害；大型设备的焊接与保养，不仅需要脚手架、高空作业等额外辅助设备，而且高空作业存在较高的坠落伤亡隐患。

因此，使用自动化设备代替人工执行焊缝的无人自主焊接及保养任务，是一种安全高效的措施，可以提高焊接及保养作业的精度与效率，并能够在人工无法作业的极端条件下工作。而无人自主焊缝焊接及保养作业的前提是要实现对焊缝的准确识别。由于图像包含的信息量丰富，基于图像的焊缝识别方法越来越受到研究人员的重视。

传统的焊缝识别方式通常分为四步：图像预处理、阈值分割、检测焊缝、拟合焊缝。

图像预处理。图像预处理，将原始彩色图像转为灰度图像，并消除图像中的噪声。不同类型的噪声，适用于不同的滤波方式。

阈值分割。阈值分割将图像分为目标和背景两部分区域。通过分析图像的灰度分布，选取合适的阈值。该阈值在灰度分布直方图上，将灰度显著地分为两部分。然而，对于焊缝和背景灰度差异不大的焊缝类型，阈值分割的效果将会很差。尤其是由于污渍和锈迹的存在，使得焊缝的灰度产生较大的变化，这类变化无法被自适应阈值分割所识别，造成分割焊缝的效果不佳。

检测焊缝。检测焊缝通常使用边缘检测的方式，Hough变换通常只适用于焊接过程的焊缝线提取。对于焊接后的焊缝检测，通常使用边缘检测技术。然而边缘检测的效果极度依赖图像中物体的纹理信息，如果阈值分割后焊缝的边缘和周围物体的边缘界限不明显，会给焊缝的边缘定位带来极大的误差，甚至丢失焊缝目标。

拟合焊缝。提取焊缝的特征通常是通过焊缝的边沿坐标，计算得到焊缝中心的坐标，进而拟合出焊缝中心线。

实际上，实现自主识别焊缝仍存在许多待解决的问题，现存的问题包括：光照与阴影对图像质量的影响、焊缝种类对识别算法适应能力的挑战、锈迹或污渍对焊缝目标的干扰或遮盖等等。根据上述传统焊缝检测方法的分析可知，基于图像形态学处理和专家算法的焊缝检测方法存在一定缺陷：传统的焊缝检测瓶颈在于检测焊缝的能力，对于复杂环境下的不同种类焊缝，传统焊缝检测方法易失去目标或提取错误目标。因此，仍然需要一种快速且通用、可以应对具有不同特征焊缝的检测方式或模型。近几年，神经网络在目标检测上表现出优越的性能，尤其是复杂背景下多类目标的检测。

R-CNN首次提出了使用选择性搜索提取候选框，避免了旧算法在每个像素上生成候选框，相比后者大幅度减小了卷积网络的计算量。但R-CNN需要对不同尺寸的候选框进行裁剪或拉伸操作，使其成为同一固定尺寸，然后在提取候选框内的特征图，最后送入分类和边界回归网络，不仅耗费时间，还会造成图像数据的丢失或几何的失真。

SPP-Net引入了金字塔思想，通过SPP层将不同尺度的候选框输出成同一尺度的候选框，且不丢失原图的信息。另外，相比R-CNN，SPP-Net只对原图像进行一次卷积操作提取特征图，在这一部分比R-CNN有100倍左右的提速。但SPP-Net的网络层数仍较多，关键的步骤没有得到本质的简化，计算量仍是影响其时间的主要问题。

Fast R-CNN借鉴了SPP-Net的思路，采用了本质上为单层SPP-Net的池化层，称为兴趣区域池化，完成了变换候选框尺寸的工作。另外，Fast R-CNN共享了目标分类和边界回归任务的部分卷积层，降低了两个任务的总计算量。相比R-CNN，Fast R-CNN提高了约25倍的检测速度。如此一来，选择性搜索成为了制约Fast R-CNN目标检测速度的瓶颈。

Faster R-CNN提出区域候选网络，替代了选择性搜索，将目标检测的所有步骤都整合在神经网络中。经过区域候选网络，可以直接得到图像的候选框信息。通过引入区域候选网络，Faster R-CNN比Fast R-CNN提高了约10倍检测速度。

如图1a-1d所示，然而，Faster R-CNN的区域候选网络只能生成水平或竖直方向上的候选框，这类候选框包围了目标的外轮廓，却不能获得目标的角度信息。对于焊缝跟踪来说，目标的角度信息十分重要，直接影响机器人的焊缝跟踪能力。理想的焊缝检测方法，应该能针对焊缝的方向，生成带有倾斜角度的边界框，紧密包围焊缝。

发明内容

本发明的目的在于克服现有技术的不足，提供一种针对焊缝特点，生成倾斜候选框的技术方案，优化神经网络的性能，提高了对焊缝边界的拟合能力。

本发明的目的是通过以下技术方案来实现的：

一种基于旋转区域候选网络的焊缝自主识别方法，包括离线训练阶段和在线检测阶段，所述的离线训练阶段包括以下步骤：

S1：人工控制载具，利用机载相机从不同位置拍摄焊缝视频，并间隔固定帧数截取视频画面；

S2：使用带有倾角的矩形框标注图像中的焊缝，记录矩形框的中心坐标、长宽和与水平方向的夹角共5个参数，并将数据集随机划分为训练集与测试集；

S3：将图像与对应的焊缝信息输入网络，通过特征提取层计算得原始图像对应的特征图；

S4：在特征图上使用滑窗创建一系列的锚点框，在同一位置有尺寸、长宽比和倾角不同的多个锚点框，作为候选区域；

S5：非极大值抑制，计算各个候选区域和人工标注的真实焊缝矩形框之间的差异，保留重叠比例较大的部分；

S6：将保留下的候选区域与特征图共同输入兴趣区域池化网络，计算各个候选区域的分数，并通过边界回归网络优化候选区域的中心坐标、长宽和与倾角；

S7：获得训练后的神经网络，并保存网络参数；

所述的在线检测阶段包括以下步骤：

S8：输入相机图像信号，依据计算机运算性能和载具行进速度间隔固定帧数截取画面；

S9：加载预先训练好的网络参数，向神经网络逐张输入图像；

S10：通过特征提取层计算得原始图像对应的特征图；

S11：基于预先训练的参数，在特征图上创建一系列的锚点框，作为候选区域；

S12：通过非极大值抑制，保留重叠面积最多的部分候选区域；

S13：将保留下的候选区域与特征图共同输入兴趣区域池化网络，计算各个候选区域的分数，并通过边界回归网络优化候选区域的中心坐标、长宽和与倾角；

S14：输出分数最高的候选区域的外形轮廓及位置信息，提供给载具的运动控制设备，并将该候选区域标注在视频画面中，作为焊缝区域的检测结果。

具体地，所述的步骤S4创建候选区域包括以下子步骤：

S4-1：将经过S3步骤后得到的特征图作为输入，通过一个小型滑窗将每一点的特征映射到一个低维特征。这个特征被输入到两个同胞全连接层，分别是边界框回归层和边界框分类层。

S4-2：在每个滑窗的位置生成多个候选区域，每个位置可能生成的最多候选区域数目设为k。对于尺寸为W×H的特征图来说，经过这一步骤会得到WHk个锚点框。因此，边界框回归层具有5k个输出，分别对应边界框的中心点的横纵坐标、边界框的宽与高和边界框的旋转角度。边界框分类层具有2k个输出，分别估计每个候选区域属于目标和不属于目标的概率。

具体地，所述的步骤S5非极大值抑制中损失函数的定义如下：

其中，i是一批数据集中锚点的索引值，p_i是锚点i属于目标的预测概率。如果锚点标记为正，真实标签p_i ^*为1；如果锚点标记为负，真实标签为0。t_i是表示边界框坐标及角度的5个参数的向量，ti*是正锚点对应的真实边界框坐标及角度。分类损失L_cls是两个类别上的对数损失。回归损失，使用L_reg(t_i,t_i ^*)＝R(t_i-t_i ^*)，其中R是Fast R-CNN中定义的鲁棒损失函数。p_i ^*L_reg表示回归损失仅对于正锚点，pi和ti分别是cls和reg层的输出。损失函数的两项分别用N_cls和N_reg进行标准化，且引入平衡参数λ。

reg层的输出向量t_i，由t_x,t_y,t_w,t_h,t_θ五个参数构成。相对应t_i ^*也由t_x*,t_y ^*,t_w ^*,t_h ^*,t_θ ^*五个参数构成。

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a

t_w＝log(w/w_a),t_h＝log(h/h_a)，

x,x_a和x^*分别是预测框、锚点框和真实框的中心点横坐标，其余y,h,w,θ参数类似。运算是指θ-θ_a+kπ，k∈Z，保证

经过回归训练，区域候选网络针对每个输出一组[t_x,t_y,t_w,t_h,t_θ]的变换量，以完成对边界框的修正，最终输出一系列待识别的矩形框，框内是区域候选网络计算出的疑似焊缝区域。

本发明的有益效果是：

1.本发明可以在复杂的光照条件和环境背景下，检测具有不同特征的焊缝，相比传统的焊缝检测方法，有更好的场景适应性和任务通用性；

2.本发明将传统焊缝检测方法的四大步骤统一在一个深度神经网络下，避免了数据在不同模型间传递，减少了其中耗费的时间和计算资源，提高了算法的统一性；

3.本发明提取了原始图像的特征图，综合考虑了焊缝的轮廓、纹理等特征，保证了检查结果的准确性，而传统的焊缝检测方法针对焊缝的特点选用边缘检测或纹理检测，检测手段单一，难以保证检测结果的准确性；

4.本发明对操作人员的专业知识要求较低，仅需标注焊缝的轮廓即可完成人工工作部分，而传统焊缝检测方法需要操作人员自行修改算法参数，对人员要求较高，相比之下本发明更有利于方法推广与工程应用。

附图说明

图1a-1d为Faster R-CNN的区域候选网络生成的水平或竖直方向上的候选框及理想的带有倾斜角度的边界框；图1a焊缝偏左，识别结果认为焊缝正中；图1b焊缝偏右，识别结果认为焊缝正中；图1c焊缝偏左，识别结果认为焊缝偏左；图1d焊缝偏右，识别结果认为焊缝偏右。

图2为本发明的检测方法流程图。

具体实施方式

以下结合附图进一步说明本发明的技术方案，但本发明所保护的内容不局限以下所述。

本发明的基于旋转区域候选网络的焊缝自主识别方法，包括离线训练阶段和在线检测阶段，所述的离线训练阶段包括以下步骤：

S1：人工控制载具，利用机载相机从不同位置拍摄焊缝视频，并间隔固定帧数截取视频画面；

S2：使用带有倾角的矩形框标注图像中的焊缝，记录矩形框的中心坐标、长宽和与水平方向的夹角共5个参数，并将数据集随机划分为训练集与测试集；

S3：将图像与对应的焊缝信息输入网络，通过特征提取层计算得原始图像对应的特征图；

S4：在特征图上使用滑窗创建一系列的锚点框，在同一位置有尺寸、长宽比和倾角不同的多个锚点框，作为候选区域；

S5：非极大值抑制，计算各个候选区域和人工标注的真实焊缝矩形框之间的差异，保留重叠比例较大的部分；

S6：将保留下的候选区域与特征图共同输入兴趣区域池化网络，计算各个候选区域的分数，并通过边界回归网络优化候选区域的中心坐标、长宽和与倾角；

S7：获得训练后的神经网络，并保存网络参数；

所述的在线检测阶段包括以下步骤：

S8：输入相机图像信号，依据计算机运算性能和载具行进速度间隔固定帧数截取画面；

S9：加载预先训练好的网络参数，向神经网络逐张输入图像；

S10：通过特征提取层计算得原始图像对应的特征图；

S11：基于预先训练的参数，在特征图上创建一系列的锚点框，作为候选区域；

S12：通过非极大值抑制，保留重叠面积最多的部分候选区域；

S13：将保留下的候选区域与特征图共同输入兴趣区域池化网络，计算各个候选区域的分数，并通过边界回归网络优化候选区域的中心坐标、长宽和与倾角；

S14：输出分数最高的候选区域的外形轮廓及位置信息，提供给载具的运动控制设备，并将该候选区域标注在视频画面中，作为焊缝区域的检测结果。

具体地，所述的步骤S4创建候选区域包括以下子步骤：

S4-1：将上一步得到的特征图作为输入，通过一个小型滑窗将每一点的特征映射到一个低维特征。这个特征被输入到两个同胞全连接层，分别是边界框回归层和边界框分类层。

S4-2：在每个滑窗的位置生成多个候选区域，每个位置可能生成的最多候选区域数目设为k。对于尺寸为W×H的特征图来说，经过这一步骤会得到WHk个锚点框。因此，边界框回归层具有5k个输出，分别对应边界框的中心点的横纵坐标、边界框的宽与高和边界框的旋转角度。边界框分类层具有2k个输出，分别估计每个候选区域属于目标和不属于目标的概率。

具体地，所述的步骤S5非极大值抑制中损失函数的定义如下：

其中，i是一批数据集中锚点的索引值，p_i是锚点i属于目标的预测概率。如果锚点标记为正，真实标签p_i ^*为1；如果锚点标记为负，真实标签为0。t_i是表示边界框坐标及角度的5个参数的向量，ti*是正锚点对应的真实边界框坐标及角度。分类损失L_cls是两个类别上的对数损失。回归损失，使用L_reg(t_i,t_i ^*)＝R(t_i-t_i ^*)，其中R是Fast R-CNN中定义的鲁棒损失函数。p_i ^*L_reg表示回归损失仅对于正锚点，pi和ti分别是cls和reg层的输出。损失函数的两项分别用N_cls和N_reg进行标准化，且引入平衡参数λ。

reg层的输出向量t_i，由t_x,t_y,t_w,t_h,t_θ五个参数构成。相对应t_i ^*也由t_x*,t_y ^*,t_w ^*,t_h ^*,t_θ ^*五个参数构成。

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a

t_w＝log(w/w_a),t_h＝log(h/h_a)，

x,x_a和x^*分别是预测框、锚点框和真实框的中心点横坐标，其余y,h,w,θ参数类似。运算是指θ-θ_a+kπ，k∈Z，保证经过回归训练，区域候选网络针对每个输出一组[t_x,t_y,t_w,t_h,t_θ]的变换量，以完成对边界框的修正，最终输出一系列待识别的矩形框，框内是区域候选网络计算出的疑似焊缝区域。

Claims (3)

1.一种基于旋转区域候选网络的焊缝自主识别方法，包括离线训练阶段和在线检测阶段，所述的离线训练阶段包括以下步骤：

S1：人工控制载具，利用机载相机从不同位置拍摄焊缝视频，并间隔固定帧数截取视频画面；

S2：使用带有倾角的矩形框标注图像中的焊缝，记录矩形框的中心坐标、长宽和与水平方向的夹角共5个参数，并将数据集随机划分为训练集与测试集；

S3：将图像与对应的焊缝信息输入网络，通过特征提取层计算得原始图像对应的特征图；

S4：在特征图上使用滑窗创建一系列的锚点框，在同一位置有尺寸、长宽比和倾角不同的多个锚点框，作为候选区域；

S5：计算各个候选区域和人工标注的真实焊缝矩形框之间的差异，保留重叠比例较大的部分；

S6：将保留下的候选区域与特征图共同输入兴趣区域池化网络，计算各个候选区域的分数，并通过边界回归网络优化候选区域的中心坐标、长宽和与倾角；

S7：获得训练后的神经网络，并保存网络参数；

所述的在线检测阶段包括以下步骤：

S8：输入相机图像信号，依据计算机运算性能和载具行进速度间隔固定帧数截取画面；

S9：加载预先训练好的网络参数，向神经网络逐张输入图像；

S10：通过特征提取层计算得原始图像对应的特征图；

S11：基于预先训练的参数，在特征图上创建一系列的锚点框，作为候选区域；

S12：通过非极大值抑制，保留重叠面积最多的部分候选区域；

S13：将保留下的候选区域与特征图共同输入兴趣区域池化网络，计算各个候选区域的分数，并通过边界回归网络优化候选区域的中心坐标、长宽和与倾角；

S14：输出分数最高的候选区域的外形轮廓及位置信息，提供给载具的运动控制设备，并将该候选区域标注在视频画面中，作为焊缝区域的检测结果。

2.根据全力要求1所述的一种基于旋转区域候选网络的焊缝自主识别方法，其特征在于：所述的步骤S4包括以下子步骤：

S4-1：将经过步骤S3后得到的特征图作为输入，通过一个小型滑窗将每一点的特征映射到一个低维特征；这个特征被输入到两个同胞全连接层，分别是边界框回归层和边界框分类层；

S4-2：在每个滑窗的位置生成多个候选区域，每个位置可能生成的最多候选区域数目设为k。对于尺寸为W×H的特征图来说，经过这一步骤会得到WHk个锚点框。因此，边界框回归层具有5k个输出，分别对应边界框的中心点的横纵坐标、边界框的宽与高和边界框的旋转角度；边界框分类层具有2k个输出，分别估计每个候选区域属于目标和不属于目标的概率。

3.根据权利要求1所述的一种基于旋转区域候选网络的焊缝自主识别方法，其特征在于：所述的步骤S5非极大值抑制中损失函数的定义如下：

其中，i是一批数据集中锚点的索引值，p_i是锚点i属于目标的预测概率。如果锚点标记为正，真实标签p_i ^*为1；如果锚点标记为负，真实标签为0。t_i是表示边界框坐标及角度的5个参数的向量，ti*是正锚点对应的真实边界框坐标及角度；分类损失L_cls是两个类别上的对数损失；回归损失，使用L_reg(t_i,t_i ^*)＝R(t_i-t_i ^*)，其中R是鲁棒损失函数。p_i ^*L_reg表示回归损失仅对于正锚点，pi和ti分别是cls和reg层的输出。损失函数的两项分别用N_cls和N_reg进行标准化，且引入平衡参数λ；

reg层的输出向量t_i，由t_x,t_y,t_w,t_h,t_θ五个参数构成；相对应t_i ^*也由t_x*,t_y ^*,t_w ^*,t_h ^*,t_θ ^*五个参数构成：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a

t_w＝log(w/w_a),t_h＝log(h/h_a)，

x,x_a和x^*分别是预测框、锚点框和真实框的中心点横坐标，其余y,h,w,θ参数类似。运算是指θ-θ_a+kπ，k∈Z，保证

经过回归训练，区域候选网络针对每个输出一组[t_x,t_y,t_w,t_h,t_θ]的变换量，以完成对边界框的修正，最终输出一系列待识别的矩形框，框内是区域候选网络计算出的疑似焊缝区域。