CN116030098B - 一种基于方向特征驱动的焊缝目标跟踪方法及*** - Google Patents

一种基于方向特征驱动的焊缝目标跟踪方法及*** Download PDF

Info

Publication number
CN116030098B
CN116030098B CN202310300244.0A CN202310300244A CN116030098B CN 116030098 B CN116030098 B CN 116030098B CN 202310300244 A CN202310300244 A CN 202310300244A CN 116030098 B CN116030098 B CN 116030098B
Authority
CN
China
Prior art keywords
weld
image
hog
target
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310300244.0A
Other languages
English (en)
Other versions
CN116030098A (zh
Inventor
马凤英
孙玉和
纪鹏
罗光欣
陈新明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202310300244.0A priority Critical patent/CN116030098B/zh
Publication of CN116030098A publication Critical patent/CN116030098A/zh
Application granted granted Critical
Publication of CN116030098B publication Critical patent/CN116030098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提出了一种基于方向特征驱动的焊缝目标跟踪方法及***，属于视觉目标跟踪领域。包括获取多张单帧焊缝图像，在第一张单帧焊缝图像中框选待跟踪的目标；对预处理后的当前帧焊缝图像提取多个方向的Gabor特征；对多个方向的Gabor特征图提取HOG特征，将多个方向的HOG特征加权融合；使用加权融合后的HOG特征训练相关滤波器；将加权融合后的HOG特征与训练好的相关滤波器进行卷积运算，得到相关滤波器的响应图，响应图中响应值最大的坐标位置即为当前帧焊缝图像跟踪到的目标位置。本发明应用Gabor特征和HOG特征的加权融合特征提取算法，能够保证目标跟踪算法的准确性和鲁棒性。

Description

一种基于方向特征驱动的焊缝目标跟踪方法及***
技术领域
本发明属于视觉目标跟踪技术领域，尤其涉及一种基于方向特征驱动的焊缝目标跟踪方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
目标跟踪是计算机视觉领域一个重要的部分，目前在安防领域、监控领域、巡检领域、智慧生活和智慧工业等领域得到了广泛应用。自从目标跟踪概念被提出之后，在国内外学者的共同研究努力下，该领域取得了不小的进展。
两块有一定厚度的板材进行焊接连接的时候，往往会在连接处切割出一个坡口，通过坡口进行焊接可以让板材间的连接更加紧固。焊接过程中在辅助光源红外激光的倾斜照射下，可以在焊缝坡口处出现一定角度的激光条纹，使用工业相机通过光学三角法实时捕获带激光条纹的焊缝图像进行目标跟踪。但焊接过程中会存在烟尘、弧光、金属飞溅等各种干扰，由于捕获到的焊缝图像本身的特性以及这些干扰的存在，导致焊接时存在复杂的光照等噪声干扰和目标区域与背景区域区分不明显。单纯的KCF目标跟踪算法面对此类问题时在准确性和鲁棒性上难以得到保证，此类问题是焊缝目标跟踪领域的难点。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于方向特征驱动的焊缝目标跟踪方法及***，应用了Gabor特征和HOG特征的加权融合特征提取算法，在复杂的光照等噪声干扰以及待跟踪的目标区域和背景无法区分的环境下，能够保证目标跟踪算法的准确性和鲁棒性。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了一种基于方向特征驱动的焊缝目标跟踪方法。
一种基于方向特征驱动的焊缝目标跟踪方法，包括以下步骤：
步骤一：获取连续的多张单帧焊缝图像，在获取的第一张单帧焊缝图像中框选待跟踪的目标；
步骤二：对当前帧焊缝图像进行预处理，得到预处理后的当前帧焊缝图像；
步骤三：对预处理后的当前帧焊缝图像提取多个方向的Gabor特征，得到多个方向的Gabor特征图；
步骤四：对多个方向的Gabor特征图分别提取HOG特征，得到多个方向的HOG特征图，将多个方向的HOG特征进行加权融合，得到加权融合后的HOG特征；
步骤五：使用加权融合后的HOG特征训练相关滤波器，得到训练好的相关滤波器；
步骤六：将加权融合后的HOG特征与训练好的相关滤波器进行卷积运算，得到相关滤波器的响应图，响应图中响应值最大的坐标位置即为当前帧焊缝图像跟踪到的目标位置；
步骤七：对目标外观模板和滤波器模型进行更新；
步骤八：判断是否继续跟踪，若继续跟踪，则将下一张单帧焊缝图像作为当前帧焊缝图像，循环执行步骤二至步骤八，否则停止跟踪。
本发明第二方面提供了一种基于方向特征驱动的焊缝目标跟踪***。
一种基于方向特征驱动的焊缝目标跟踪***，包括：
单帧焊缝图像获取模块，被配置为：获取连续的多张单帧焊缝图像，在获取的第一张单帧焊缝图像中框选待跟踪的目标；
预处理模块，被配置为：对当前帧焊缝图像进行预处理，得到预处理后的当前帧焊缝图像；
Gabor特征图获取模块，被配置为：对预处理后的当前帧焊缝图像提取多个方向的Gabor特征，得到多个方向的Gabor特征图；
HOG特征获取模块，被配置为：对多个方向的Gabor特征图分别提取HOG特征，得到多个方向的HOG特征图，将多个方向的HOG特征进行加权融合，得到加权融合后的HOG特征；
训练模块，被配置为：使用加权融合后的HOG特征训练相关滤波器，得到训练好的相关滤波器；
目标位置跟踪模块，被配置为：将加权融合后的HOG特征与训练好的相关滤波器进行卷积运算，得到相关滤波器的响应图，响应图中响应值最大的坐标位置即为当前帧焊缝图像跟踪到的目标位置；
更新模块，被配置为：对目标外观模板和滤波器模型进行更新；
判断模块，被配置为：判断是否继续跟踪，若继续跟踪，则将下一张单帧焊缝图像作为当前帧焊缝图像，循环执行预处理模块至判断模块，否则停止跟踪。
本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于方向特征驱动的焊缝目标跟踪方法中的步骤。
本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于方向特征驱动的焊缝目标跟踪方法中的步骤。
以上一个或多个技术方案存在以下有益效果：
本发明提出的算法更加符合焊接过程中坡口的图像特征，在提取HOG特征之前，使用Gabor特征提取算法进行不同方向的特征提取，之后根据焊缝坡口的角度特性选择有助于对焊缝进行跟踪的角度，并在加权融合的过程中赋予其较大权重，既可凸显需要的特征，同时将不需要的特征尽量淡化，将焊接工作中需要的特征更加准确的提取出来，同时本发明算法更加稳定，误差波动范围更小，准确性和鲁棒性得到改善。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的方法流程图。
图2为预处理流程图。
图3为本发明滤波方法与其他滤波方法实验对比图。
图4为Gabor特征提取可视图。
图5为第二个实施例的***结构图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明提出的总体思路：
本发明可以有效解决烟尘、弧光、金属飞溅等各种干扰和目标区域与背景区分不明显导致的目标跟踪效果差的问题，由于焊缝坡口处的激光条纹角度与其他平面区域角度并不相同，本发明采用的Gabor特征提取算法可以在不同方向上提取图像的细节纹理特征，因此可以利用焊缝坡口处激光条纹的角度特性，经过HOG特征提取之后，在各个角度图像进行加权融合时，增大坡口处的权重系数来突出坡口区域，淡化其余背景区域，保证了对焊缝的跟踪过程中的准确性和鲁棒性。
实施例一
本实施例公开了一种基于方向特征驱动的焊缝目标跟踪方法。
如图1所示，一种基于方向特征驱动的焊缝目标跟踪方法，包括以下步骤：
步骤一：获取连续的多张单帧焊缝图像，在获取的第一张单帧焊缝图像中框选待跟踪的目标；
步骤二：对当前帧焊缝图像进行预处理，得到预处理后的当前帧焊缝图像；
步骤三：对预处理后的当前帧焊缝图像提取多个方向的Gabor特征，得到多个方向的Gabor特征图；
步骤四：对多个方向的Gabor特征图分别提取HOG特征，得到多个方向的HOG特征图，将多个方向的HOG特征进行加权融合，得到加权融合后的HOG特征；
步骤五：使用加权融合后的HOG特征训练相关滤波器，得到训练好的相关滤波器；
步骤六：将加权融合后的HOG特征与训练好的相关滤波器进行卷积运算，得到相关滤波器的响应图，响应图中响应值最大的坐标位置即为当前帧焊缝图像跟踪到的目标位置；
步骤七：对目标外观模板和滤波器模型进行更新；
步骤八：判断是否继续跟踪，若继续跟踪，则将下一张单帧焊缝图像作为当前帧焊缝图像，循环执行步骤二至步骤八，否则停止跟踪。
具体的：
步骤一中的多张单帧焊缝图像，包括工业相机实时捕获到的每一帧图片或者视频中的每一帧图片。获取捕获到的视频中的第一帧焊缝图像，框选待跟踪的目标。
步骤二中对焊缝处激光条纹的预处理流程如图2所示，步骤为：
（1）首先将焊缝图像进行灰度化处理得到灰度图。图像灰度化的方法，本发明选择使用加权平均法。
（2）在获得灰度图之后，需要对图像进行平滑滤波，去除图像噪声。平滑滤波方式本发明选择高斯滤波。
（3）经过了（2）的平滑滤波，去除了图像的噪声,下一步要将图像进行二值化处理，使图像从0-255的灰度状态，变成非黑即白的二值状态。二值化方法本发明选择全局二值化方法。
（4）得到二值化图像之后，对图像进行开闭运算的形态学滤波处理。本发明选择闭运算进行形态学滤波处理。
以上4步图像预处理效果如图3所示，最后得到尽可能过滤掉弧光，飞溅和光照等噪声之后的焊缝图像。
步骤三对步骤二预处理后的焊缝图像提取多个方向的Gabor特征，得到如图4所示的多个方向的Gabor特征图，图4中（a）为核尺寸为5、7、9、11、13和角度为0°、30°、45°、60°、90°和135°的Gabor滤波器可视图，图4中（b）为Gabor特征提取效果图。
Gabor特征是一种可以用来描述图像纹理信息的特征，Gabor滤波器的频率和方向特别适合于纹理表示与判别。
具体步骤为：
Gabor函数的数学表达式为：
Figure SMS_1
（1）
其中，
Figure SMS_8
表示滤波的波长，/>
Figure SMS_5
表示Gabor核函数图像的倾斜角度，/>
Figure SMS_17
表示相位偏移量，范围是-180°~180°，/>
Figure SMS_6
表示高斯函数的标准差，/>
Figure SMS_15
表示长宽比，/>
Figure SMS_14
和/>
Figure SMS_20
别表示像素的坐标位置。
Figure SMS_16
和/>
Figure SMS_21
表示旋转前像素的坐标位置；/>
Figure SMS_2
，/>
Figure SMS_10
，/>
Figure SMS_4
和/>
Figure SMS_13
表示旋转后像素的坐标位置。其中/>
Figure SMS_19
的值可以设有多个角度，本实施例中，将/>
Figure SMS_23
的值设为0°、30°、45°、60°、90°和135°，滤波器组的核尺寸为5、7、9、11和13，Gabor特征提取可视图如图4所示。实验对比表明，本实施例图像需要的角度为45°、90°和135°，核尺寸为5。将上述45°和135°方向的Gabor特征融合为一幅特征图/>
Figure SMS_7
，90°方向的Gabor特征/>
Figure SMS_11
暂时不变。将得到的Gabor特征/>
Figure SMS_18
在特征层面上的特征模型表示为/>
Figure SMS_22
，其中/>
Figure SMS_3
表示第/>
Figure SMS_12
帧，/>
Figure SMS_9
表示特征模型。
步骤四对步骤三中得到的多个方向的Gabor特征图分别提取HOG特征，得到多个方向的HOG特征。方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。
步骤为：
得到Gabor特征图之后对Gabor特征图提取HOG特征。设
Figure SMS_24
方向为水平方向，/>
Figure SMS_25
方向为垂直方向；设/>
Figure SMS_26
处的像素值为/>
Figure SMS_27
，则/>
Figure SMS_28
方向和/>
Figure SMS_29
方向梯度值计算公式为：
Figure SMS_30
（2）
Figure SMS_31
（3）
其中，
Figure SMS_33
表示水平方向梯度，/>
Figure SMS_35
表示垂直方向梯度，/>
Figure SMS_37
、/>
Figure SMS_34
分别表示输入图像中像素点/>
Figure SMS_36
处的水平方向梯度、垂直方向梯度。像素点/>
Figure SMS_38
处梯度/>
Figure SMS_39
和方向/>
Figure SMS_32
表示为：
Figure SMS_40
（4）
Figure SMS_41
（5）
将获取到的梯度和梯度方向计算得到梯度方向直方图之后，对幅度进行归一化得到上述两张Gabor特征的HOG特征
Figure SMS_42
和/>
Figure SMS_43
。将得到的HOG特征在特征层面上的特征模型表示为/>
Figure SMS_44
，其中/>
Figure SMS_45
表示第/>
Figure SMS_46
帧。
步骤五：将得到的多个方向的HOG特征进行加权融合。因为焊缝坡口处的激光条纹角度与图像其他区域角度并不相同，因此赋予不同角度不同的权重可以将我们需要的区域凸显出来。为此，在多个方向的HOG特征中，给能将焊缝坡口凸显出来的HOG特征赋予第一权重系数，第一权重系数的取值范围为0.7-1；将不需要的HOG特征赋予第二权重系数，第二权重系数取值范围为0-0.3；第一权重系数和第二权重系数相加的和为1，最终得到加权融合后的HOG特征。这一过程可以将不需要的特征尽量淡化，也会将焊接过程中的部分干扰过滤掉，加权融合后的图像更加便于跟踪。
加权融合计算公式为：
Figure SMS_47
（6）
其中，
Figure SMS_48
为特征融合系数。此次/>
Figure SMS_49
取值为0.8。
步骤六：对相关滤波器进行训练。
基于核相关滤波的跟踪算法如MOSSE、CSK、KCF、BACF、SAMF将通信领域的相关滤波(衡量两个信号的相似程度)引入到了目标跟踪中，相关滤波器利用了相关滤波跟踪的基本思想，所以被称为相关滤波器，相关滤波器是本领域通用名词。相关滤波的跟踪算法始于2012年P.Martins 提出的 CSK 方法，作者提出了一种基于循环矩阵的核跟踪方法，并且从数学上完美解决了密集采样（Dense Sampling）的问题，利用傅里叶变换快速实现了检测的过程。相比于光流法、Kalman、Meanshift等传统算法，相关滤波类算法跟踪速度更快，精度更高。相关滤波跟踪的基本思想就是，设计一个滤波模板，利用该模板与目标候选区域做相关运算，最大输出响应的位置即为当前帧的目标位置。本实施例选用的是KCF目标跟踪算法。
对相关滤波器的训练过程为：
6.1.KCF目标跟踪算法训练相关滤波器使用岭回归进行实现。使用岭回归训练的目标是找到一个函数
Figure SMS_50
，/>
Figure SMS_51
为滤波器参数，/>
Figure SMS_52
表示矩阵的转置运算，使样本/>
Figure SMS_53
及其回归目标/>
Figure SMS_54
的平方误差最小，损失函数为：
Figure SMS_55
（7）
其中，
Figure SMS_56
为控制过拟合的正则化参数。矩阵形式可以表示为：
Figure SMS_57
（8）
式中，
Figure SMS_58
为循环矩阵,由样本/>
Figure SMS_59
组成；/>
Figure SMS_60
为/>
Figure SMS_61
对应的标签向量，由回归目标/>
Figure SMS_62
组成；当损失函数的值为0时，求导可得：
Figure SMS_63
（9）
Figure SMS_64
是/>
Figure SMS_65
的/>
Figure SMS_66
转置，/>
Figure SMS_67
是单位矩阵。
6.2.根据其中循环矩阵能够被离散傅里叶矩阵对角化的性质，使得矩阵求逆转换为特征值求逆的性质；能够将
Figure SMS_68
的求解转换到频域进行运算，应用离散傅里叶变换提高运算速度，然后再将解逆变换回时域从而得到响应最大的解。
Figure SMS_69
（10）
上式为循环矩阵
Figure SMS_70
，其中第一行表示初始样本，之后每一行是初始样本进行/>
Figure SMS_71
次循环得到的。/>
Figure SMS_72
被离散傅里叶变换的矩阵形式/>
Figure SMS_73
对角化：
Figure SMS_74
（11）
其中
Figure SMS_75
是/>
Figure SMS_76
的傅里叶变换，/>
Figure SMS_77
是离散傅里叶变换的矩阵形式，/>
Figure SMS_78
表示傅里叶变换的矩阵形式的/>
Figure SMS_79
转置。代入公式（9）中，可得：
Figure SMS_80
（12）
Figure SMS_81
表示/>
Figure SMS_82
的共轭，/>
Figure SMS_83
表示对应位置的元素相乘。利用反对角化性质，可得：
Figure SMS_84
（13）
其中
Figure SMS_85
为/>
Figure SMS_86
矩阵。再利用循环矩阵卷积性质：/>
Figure SMS_87
得到：
Figure SMS_88
（14）
其中，
Figure SMS_89
是/>
Figure SMS_90
的傅里叶变换。
6.3.为了解决在高维空间计算复杂度较大的问题，找到一个核函数，其公式可以表示为:
Figure SMS_91
（15）
其中
Figure SMS_93
和/>
Figure SMS_96
属于循环矩阵/>
Figure SMS_98
，/>
Figure SMS_94
是低维空间，/>
Figure SMS_97
表示非线性变换函数，/>
Figure SMS_99
表示内积运算，/>
Figure SMS_100
表示核函数，属于高维空间。将/>
Figure SMS_92
用/>
Figure SMS_95
的非线性表达出来：
Figure SMS_101
（16）
其中，
Figure SMS_102
表示第/>
Figure SMS_103
个样本的对偶空间系数。
6.4.将上式带入到公式（8）中，对
Figure SMS_104
的求解就转换成对/>
Figure SMS_105
的求解，带入后可得：
Figure SMS_106
（17）
其中
Figure SMS_107
即为岭回归问题频域中的最终解，/>
Figure SMS_108
表示/>
Figure SMS_109
大小的列向量，是滤波器参数/>
Figure SMS_110
所对应的对偶空间系数；/>
Figure SMS_111
，令/>
Figure SMS_112
，/>
Figure SMS_113
表示核空间的核矩阵，且是循环矩阵。利用核函数在频域中的对角化的性质可以得到：
Figure SMS_114
（18）
其中
Figure SMS_115
为核函数/>
Figure SMS_116
的第一行元素，/>
Figure SMS_117
是/>
Figure SMS_118
的傅里叶变换。
6.5.设输入上述公式（6）中特征加权融合后的结果
Figure SMS_119
时，滤波器就转化为：
Figure SMS_120
（19）
令
Figure SMS_121
，/>
Figure SMS_122
表示核空间的核矩阵，且是循环矩阵。用循环矩阵的性质对上式进行傅里叶变换可以得到：
Figure SMS_123
（20）
其中
Figure SMS_124
为核函数/>
Figure SMS_125
的第一行元素，/>
Figure SMS_126
是一个向量，/>
Figure SMS_127
是/>
Figure SMS_128
的对角化形式，包含/>
Figure SMS_129
的所有循环移位的输出。
步骤七：当核函数完成训练之后，新输入的样本特征被映射到核空间，通过核函数对样本中全部位置进行运算，并得到相应的响应结果，得到的响应结果就是响应图，响应图中的最强响应就是这一帧目标的位置。
步骤八：本发明也延续了KCF目标跟踪算法的更新策略，更新包括对目标外观模板和滤波器模型两部分的更新。目标外观模板部分是将当前帧图像提取到的加权融合后的HOG特征与上一帧图像提取的加权融合后的HOG特征进行加权更新，得到当前帧的目标外观模板；相关滤波器模型的更新部分是首先利用当前帧中目标图像加权融合后的HOG特征训练得到相关滤波器，然后将该相关滤波器与上一帧更新得到的相关滤波器进行加权更新，从而得到当前帧的相关滤波器。
步骤九.判断是否继续跟踪，若继续跟踪，则返回到步骤二，否则停止跟踪。
实施例二
本实施例公开了一种基于方向特征驱动的焊缝目标跟踪***。
如图5所示，一种基于方向特征驱动的焊缝目标跟踪***，其特征在于：包括：
单帧焊缝图像获取模块，被配置为：获取连续的多张单帧焊缝图像，在获取的第一张单帧焊缝图像中框选待跟踪的目标；
预处理模块，被配置为：对当前帧焊缝图像进行预处理，得到预处理后的当前帧焊缝图像；
Gabor特征图获取模块，被配置为：对预处理后的当前帧焊缝图像提取多个方向的Gabor特征，得到多个方向的Gabor特征图；
HOG特征获取模块，被配置为：对多个方向的Gabor特征图分别提取HOG特征，得到多个方向的HOG特征图，将多个方向的HOG特征进行加权融合，得到加权融合后的HOG特征；
训练模块，被配置为：使用加权融合后的HOG特征训练相关滤波器，得到训练好的相关滤波器；
目标位置跟踪模块，被配置为：将加权融合后的HOG特征与训练好的相关滤波器进行卷积运算，得到相关滤波器的响应图，响应图中响应值最大的坐标位置即为当前帧焊缝图像跟踪到的目标位置；
更新模块，被配置为：对目标外观模板和滤波器模型进行更新；
判断模块，被配置为：判断是否继续跟踪，若继续跟踪，则将下一张单帧焊缝图像作为当前帧焊缝图像，循环执行预处理模块至判断模块，否则停止跟踪。
实施例三
本实施例的目的是提供计算机可读存储介质。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例1所述的基于方向特征驱动的焊缝目标跟踪方法中的步骤。
实施例四
本实施例的目的是提供电子设备。
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于方向特征驱动的焊缝目标跟踪方法中的步骤。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于方向特征驱动的焊缝目标跟踪方法，其特征在于，包括以下步骤：
步骤一：获取连续的多张单帧焊缝图像，在获取的第一张单帧焊缝图像中框选待跟踪的目标；
步骤二：对当前帧焊缝图像进行预处理，得到预处理后的当前帧焊缝图像；
步骤三：对预处理后的当前帧焊缝图像提取多个方向的Gabor特征，得到多个方向的Gabor特征图；
步骤四：对多个方向的Gabor特征图分别提取HOG特征，得到多个方向的HOG特征图，将多个方向的HOG特征进行加权融合，得到加权融合后的HOG特征；
在多个方向的HOG特征中，给能将焊缝坡口凸显出来的HOG特征赋予第一权重系数，第一权重系数的取值范围为0.7-1；将不需要的HOG特征赋予第二权重系数，第二权重系数取值范围为0-0.3；第一权重系数和第二权重系数相加的和为1，由此得到加权融合后的HOG特征；
步骤五：使用加权融合后的HOG特征训练相关滤波器，得到训练好的相关滤波器；
步骤六：将加权融合后的HOG特征与训练好的相关滤波器进行卷积运算，得到相关滤波器的响应图，响应图中响应值最大的坐标位置即为当前帧焊缝图像跟踪到的目标位置；
步骤七：对目标外观模板和滤波器模型进行更新；
步骤八：判断是否继续跟踪，若继续跟踪，则将下一张单帧焊缝图像作为当前帧焊缝图像，循环执行步骤二至步骤八，否则停止跟踪。
2.如权利要求1所述的基于方向特征驱动的焊缝目标跟踪方法，其特征在于，所述多张单帧焊缝图像为通过工业相机实时捕获到的每一帧图片或者视频中的每一帧图片。
3.如权利要求1所述的基于方向特征驱动的焊缝目标跟踪方法，其特征在于，对当前帧焊缝图像依次进行灰度化处理、平滑滤波处理、二值化处理、开闭运算的形态学滤波处理，得到预处理后的图像。
4.如权利要求1所述的基于方向特征驱动的焊缝目标跟踪方法，其特征在于，Gabor函数的数学表达式为：
Figure QLYQS_1
其中，
Figure QLYQS_4
表示滤波的波长，/>
Figure QLYQS_6
表示Gabor核函数图像的倾斜角度，/>
Figure QLYQS_9
表示相位偏移量，/>
Figure QLYQS_3
表示高斯函数的标准差，/>
Figure QLYQS_7
表示长宽比，/>
Figure QLYQS_10
和/>
Figure QLYQS_12
分别表示像素的坐标位置；/>
Figure QLYQS_2
，
Figure QLYQS_5
，/>
Figure QLYQS_8
和/>
Figure QLYQS_11
表示旋转后像素的坐标位置。
5.如权利要求1所述的基于方向特征驱动的焊缝目标跟踪方法，其特征在于，获取Gabor特征图像素点
Figure QLYQS_13
处的像素值，基于像素点/>
Figure QLYQS_14
处的像素值计算/>
Figure QLYQS_15
方向和/>
Figure QLYQS_16
方向梯度值，基于/>
Figure QLYQS_17
方向和/>
Figure QLYQS_18
方向梯度值计算像素点/>
Figure QLYQS_19
处梯度和梯度方向，基于梯度和梯度方向计算梯度方向直方图，对梯度方向直方图的幅度进行归一化，得到HOG特征。
6.如权利要求1所述的基于方向特征驱动的焊缝目标跟踪方法，其特征在于，对目标外观模板和滤波器模型进行更新，具体为：将当前帧焊缝图像提取到的特征与上一帧焊缝图像提取到的特征进行加权更新，对当前帧的目标外观模板进行更新；将当前帧焊缝图像得到的相关滤波器与上一帧焊缝图像得到的相关滤波器进行加权更新，完成对滤波器模型的更新。
7.一种基于方向特征驱动的焊缝目标跟踪***，其特征在于：包括：
单帧焊缝图像获取模块，被配置为：获取连续的多张单帧焊缝图像，在获取的第一张单帧焊缝图像中框选待跟踪的目标；
预处理模块，被配置为：对当前帧焊缝图像进行预处理，得到预处理后的当前帧焊缝图像；
Gabor特征图获取模块，被配置为：对预处理后的当前帧焊缝图像提取多个方向的Gabor特征，得到多个方向的Gabor特征图；
HOG特征获取模块，被配置为：对多个方向的Gabor特征图分别提取HOG特征，得到多个方向的HOG特征图，将多个方向的HOG特征进行加权融合，得到加权融合后的HOG特征；
在多个方向的HOG特征中，给能将焊缝坡口凸显出来的HOG特征赋予第一权重系数，第一权重系数的取值范围为0.7-1；将不需要的HOG特征赋予第二权重系数，第二权重系数取值范围为0-0.3；第一权重系数和第二权重系数相加的和为1，由此得到加权融合后的HOG特征；
训练模块，被配置为：使用加权融合后的HOG特征训练相关滤波器，得到训练好的相关滤波器；
目标位置跟踪模块，被配置为：将加权融合后的HOG特征与训练好的相关滤波器进行卷积运算，得到相关滤波器的响应图，响应图中响应值最大的坐标位置即为当前帧焊缝图像跟踪到的目标位置；
更新模块，被配置为：对目标外观模板和滤波器模型进行更新；
判断模块，被配置为：判断是否继续跟踪，若继续跟踪，则将下一张单帧焊缝图像作为当前帧焊缝图像，循环执行预处理模块至判断模块，否则停止跟踪。
8.计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的基于方向特征驱动的焊缝目标跟踪方法中的步骤。
9.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的基于方向特征驱动的焊缝目标跟踪方法中的步骤。
CN202310300244.0A 2023-03-27 2023-03-27 一种基于方向特征驱动的焊缝目标跟踪方法及*** Active CN116030098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310300244.0A CN116030098B (zh) 2023-03-27 2023-03-27 一种基于方向特征驱动的焊缝目标跟踪方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310300244.0A CN116030098B (zh) 2023-03-27 2023-03-27 一种基于方向特征驱动的焊缝目标跟踪方法及***

Publications (2)

Publication Number Publication Date
CN116030098A CN116030098A (zh) 2023-04-28
CN116030098B true CN116030098B (zh) 2023-06-13

Family

ID=86079728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310300244.0A Active CN116030098B (zh) 2023-03-27 2023-03-27 一种基于方向特征驱动的焊缝目标跟踪方法及***

Country Status (1)

Country Link
CN (1) CN116030098B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426179A (zh) * 2012-05-17 2013-12-04 深圳中兴力维技术有限公司 一种基于均值偏移多特征融合的目标跟踪方法及装置
CN113706580A (zh) * 2021-08-11 2021-11-26 西安交通大学 一种基于相关滤波***的目标跟踪方法、***、设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY137246A (en) * 2002-04-30 2009-01-30 Jfe Steel Corp Method and instrument for measuring bead cutting shape of electric welded tube
CN104200237B (zh) * 2014-08-22 2019-01-11 浙江生辉照明有限公司 一种基于核化相关滤波高速自动多目标跟踪方法
CN105224849B (zh) * 2015-10-20 2019-01-01 广州广电运通金融电子股份有限公司 一种多生物特征融合身份鉴别方法以及装置
CN107767405B (zh) * 2017-09-29 2020-01-03 华中科技大学 一种融合卷积神经网络的核相关滤波目标跟踪方法
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法
CN210334836U (zh) * 2019-01-15 2020-04-17 深圳大学 一种基于平行结构光的焊缝线跟踪装置
CN112700441A (zh) * 2021-01-28 2021-04-23 中北大学 基于纹理特征的焊缝自动搜寻方法
CN114905507A (zh) * 2022-04-18 2022-08-16 广州东焊智能装备有限公司 一种基于环境视觉分析的焊接机器人精度控制方法
CN116071392A (zh) * 2023-01-31 2023-05-05 齐鲁工业大学(山东省科学院) 一种结合前景轮廓提取的运动目标检测方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426179A (zh) * 2012-05-17 2013-12-04 深圳中兴力维技术有限公司 一种基于均值偏移多特征融合的目标跟踪方法及装置
CN113706580A (zh) * 2021-08-11 2021-11-26 西安交通大学 一种基于相关滤波***的目标跟踪方法、***、设备及介质

Also Published As

Publication number Publication date
CN116030098A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN111274916B (zh) 人脸识别方法和人脸识别装置
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
CN104331682B (zh) 一种基于傅里叶描述子的建筑物自动识别方法
CN111325769B (zh) 一种目标对象检测方法及装置
CN109961399B (zh) 基于图像距离变换的最佳缝合线搜寻方法
CN109919960B (zh) 一种基于多尺度Gabor滤波器的图像连续边缘检测方法
CN111178252A (zh) 多特征融合的身份识别方法
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
Nehashree Simulation and Performance Analysis of Feature Extraction and Matching Algorithms for Image Processing Applications
CN108154496B (zh) 一种适用于电力作业机器人的电力设备外观变化识别方法
CN113763274B (zh) 一种联合局部相位锐度定向描述的多源图像匹配方法
Gal Automatic obstacle detection for USV’s navigation using vision sensors
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN116030098B (zh) 一种基于方向特征驱动的焊缝目标跟踪方法及***
Mainali et al. Lococo: Low complexity corner detector
CN111402185B (zh) 一种图像检测方法及装置
Dai et al. An Improved ORB Feature Extraction Algorithm Based on Enhanced Image and Truncated Adaptive Threshold
Zhou et al. Speeded-up robust features based moving object detection on shaky video
Pang et al. Low frame rate video target localization and tracking testbed
CN115409890B (zh) 基于msr和广义霍夫变换的自定义标志检测方法及***
Sina et al. Object recognition on satellite images with biologically-inspired computational approaches
Zhang et al. Electric Vehicle Charging Robot Charging Port Identification Method Based on Multi-Algorithm Fusion
Narasimhamurthy et al. A Copy-Move Image Forgery Detection Using Modified SURF Features and AKAZE Detector.
Khadane et al. Real-Time Object Size Dimensioning in Raspberry Pi

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant