CN114821390A - 基于注意力和关系检测的孪生网络目标跟踪方法及*** - Google Patents
基于注意力和关系检测的孪生网络目标跟踪方法及*** Download PDFInfo
- Publication number
- CN114821390A CN114821390A CN202210263162.9A CN202210263162A CN114821390A CN 114821390 A CN114821390 A CN 114821390A CN 202210263162 A CN202210263162 A CN 202210263162A CN 114821390 A CN114821390 A CN 114821390A
- Authority
- CN
- China
- Prior art keywords
- attention
- regression
- features
- classification
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于注意力和关系检测的孪生网络目标跟踪方法及***,获取视频序列,将第一帧作为模板图像,当前帧作为搜索图像;在模板分支和搜索分支中,将模板图像和搜索图像输入到网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,将增强处理得到的模板和搜索注意力特征,对应输入到目标跟踪模块中得到分类和回归结果;将分类和回归结果分别进行加权融合,得到融合后的分类和回归结果;基于融合后的回归结果,输入到关系检测器中以度量回归结果中目标和预测图像的关系,得到回归分支的分数图;将回归分支的分数图与分类分支的分数图进行点乘,将点乘结果经过卷积操作,得到最后的分类得分,并获取的预测框。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是涉及基于注意力和关系检测的孪生网络目标跟踪方法及***。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术,并不必然构成现有技术。
随着孪生网络引入到目标跟踪领域,基于孪生网络的***在单目标跟踪方面不断地取得了优异的成绩。由于兼顾了准确率和速度成为主流的方法之一,但依旧存在着很多问题。
首先,目标跟踪结果受多种因素的影响,如光照变化、视频模糊、遮挡、目标快速移动、尺度变化、出视野等等。这些都让目标跟踪变得非常困难,容易导致目标不能被准确的识别,造成跟踪失败,并对后续任务会造成极大的困难。然而注意力机制可以在某种程度上应对这些挑战。最常用的注意力机制主要分为两种:通道注意力和空间注意力,这两种机制都通过用不同的聚集策略、转换和增强功能聚集来自所有位置的相同特征来增强原始特征。但大多数基于注意力机制的目标跟踪算法依赖于单一注意力机制,没有很好的将通道注意力和空间注意力完美的结合起来。
其次,基于孪生网络的目标***的分类和回归通常是独立优化的,会导致他们之间会存在不匹配的问题。具体来说,分类置信度最高的位置对应的框并不一定是最准确的,甚至可能是错误。
发明内容
为了解决现有技术的不足,本发明提供了基于注意力和关系检测的孪生网络目标跟踪方法及***;
第一方面,本发明提供了基于注意力和关系检测的孪生网络目标跟踪方法;
基于注意力和关系检测的孪生网络目标跟踪方法,包括:
获取视频序列,将第一帧作为模板图像,当前帧作为搜索图像;
在模板分支中,将模板图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个模板注意力特征;
在搜索分支中,根据前一帧的跟踪结果裁剪出搜索图像,将搜索图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个搜索注意力特征;
将三个模板注意力特征和三个搜索注意力特征,分别对应输入到目标跟踪模块Siamese RPN中得到三个分类结果和三个回归结果;将三个分类结果和三个回归结果分别进行加权融合,得到融合后的分类结果和融合后的回归结果;
基于融合后的回归结果,输入到关系检测器中以度量回归结果中目标和预测图像的关系,得到回归分支的分数图;将回归分支的分数图与分类分支的分数图进行点乘,以过滤掉背景中的干扰;将过滤掉干扰的分数图经过卷积操作,得到最后的分类得分,并获取最大响应位置对应的预测框。
第二方面,本发明提供了基于注意力和关系检测的孪生网络目标跟踪***;
基于注意力和关系检测的孪生网络目标跟踪***,包括:
获取模块,其被配置为:获取视频序列,将第一帧作为模板图像,当前帧作为搜索图像;
模板特征提取增强模块,其被配置为:在模板分支中,将模板图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个模板注意力特征;
搜索特征提取增强模块,其被配置为:在搜索分支中,根据前一帧的跟踪结果裁剪出搜索图像,将搜索图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个搜索注意力特征;
分类回归模块,其被配置为:将三个模板注意力特征和三个搜索注意力特征,分别对应输入到目标跟踪模块Siamese RPN中得到三个分类结果和三个回归结果;将三个分类结果和三个回归结果分别进行加权融合,得到融合后的分类结果和融合后的回归结果;
预测跟踪模块,其被配置为:基于融合后的回归结果,输入到关系检测器中以度量回归结果中目标和预测图像的关系,得到回归分支的分数图;将回归分支的分数图与分类分支的分数图进行点乘,以过滤掉背景中的干扰;将过滤掉干扰的分数图经过卷积操作,得到最后的分类得分,并获取最大响应位置对应的预测框。
与现有技术相比,本发明的有益效果是:
本发明加入的注意力模块,将空间注意力和通道注意力融合在一起,空间注意力捕捉丰富的语义信息,通道注意力选择性的增强相关依赖的通道特征,在不影响算法效率的基础上,提高了鲁棒性。
本发明加入的关系检测模块,增强了目标对于干扰和复杂背景的辨别能力,同时解决了分类和回归之间不匹配的问题,从而实现更准确和稳定的跟踪目标。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为实施例一的SiamAR的跟踪模型图;
图2为实施例一的注意力模块;
图3(a)~图3(c)为实施例一的关系检测模型;
图4(a)~图4(i)为实施例一的实验结果;
图5(a)~图5(l)为实施例一的消融实验对比图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上,对数据的合法应用。
实施例一
本实施例提供了基于注意力和关系检测的孪生网络目标跟踪方法;
如图1所示,基于注意力和关系检测的孪生网络目标跟踪方法,包括:
S101:获取视频序列,将第一帧作为模板图像,当前帧作为搜索图像;
S102:在模板分支中,将模板图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个模板注意力特征;
S103:在搜索分支中,根据前一帧的跟踪结果裁剪出搜索图像,将搜索图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个搜索注意力特征;
S104:将三个模板注意力特征和三个搜索注意力特征,分别对应输入到目标跟踪模块Siamese RPN中得到三个分类结果和三个回归结果;将三个分类结果和三个回归结果分别进行加权融合,得到融合后的分类结果和融合后的回归结果;
S105:基于融合后的回归结果,输入到关系检测器中以度量回归结果中目标和预测图像的关系,得到回归分支的分数图;将回归分支的分数图与分类分支的分数图进行点乘,以过滤掉背景中的干扰;将过滤掉干扰的分数图经过卷积操作,得到最后的分类得分,并获取最大响应位置对应的预测框。
示例性地,模板图像为127×127,搜索图像为255×255。
进一步地,所述采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个模板注意力特征;具体是指:
对ResNet-50网络中的covn3_x层、covn4_x层、covn5_x层提取的特征f3(z)、f4(z)、f5(z)用注意力模块进行特征增强,生成模板注意力特征f3(z’)、f4(z’)、f5(z’)。
进一步地,所述采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个搜索注意力特征;具体包括:
对ResNet-50网络中的covn3_x层、covn4_x层、covn5_x层提取的特征f3(x)、f4(x)、f5(x)用注意力模块进行特征增强,生成搜索注意力特征f3(x‘)、f4(x‘)、f5(x‘)。
进一步地,如图2所示,所述注意力模块,工作原理:
将从ResNet-50骨干网络中提取的的特征图分成多个组,采用通道分离,分成两个分支并行处理各组的子特征;
对于通道注意力分支,使用全局平局池化生成通道统计量,用一对参数来缩放和移动通道向量;
对于空间注意力分支,使用group norm生成空间统计量,用类似于通道注意力分支生成相关特征。然后将两个分支结合起来。随后将所有子特征聚集。使用通道混合实现不同子特征之间的通信;最后输出注意力特征。
示例性地,对于给定的特征映射X∈RC×H×W,其中C、H、W分别表示通道数、空间高度和宽度。首先将X沿着通道维度划分为G组,即
X=[X1,…,XG],Xk∈RC/G×H×W
其中,每个子特征Xk在训练过程中逐渐捕获一个语义特征响应。
然后,利用注意力模块为每一个子特征生成对应的系数。具体来说,在每一个注意力模块的开始,沿着通道维度将Xk分成两个分支,即Xk1,Xk2∈RC/2G×H×W。一个分支利用通道间的相互关系生成通道注意力图,另一个分支利用特征图的空间关系生成空间注意力图。
对于通道注意力分支,首先,利用全局平局池化来嵌入全局信息,从而生成通道统计量s∈RC/2G×1×1,其中统计量可以通过通道维度H×W来收缩Xk1计算:
此外,还得到了一个特征,通过一个简单门控机制sigmoid函数来实现精确的选择。
然后,获得通道注意力的最终输出:
X′k1=σ(Fc(s))·Xk1=σ(W1s+b1)·Xk1 (3)
其中,σ(·)=sigmoid(·),Fc(x)=Wx+b,Xk∈RC/2G×1×1,b1∈RC/2G×1×1是用来缩放和位移s的参数。
X′k2=σ(W2·GN+b2)·Xk2 (4)
其中,W2,b2∈RC/2G×1×1
最后,将两个分支链接起来,使通道数和输入数相同,即
X′k1=[X′k1,X′k2]∈RC/G×H×W (5)
在此之后,将所有子特征聚集;
最后,采用一个类似于ShuffleNet V2的通道混合实现跨组信息交流。
在单个注意力单元中,每个分支的通道为C/2G,因此总参数为3C/G,其中G通常为32或64,所以更方便计算,获得更高的效率。
进一步地,所述S104:将三个模板注意力特征和三个搜索注意力特征,分别对应输入到目标跟踪模块Siamese RPN中得到三个分类结果和三个回归结果;将三个分类结果和三个回归结果分别进行加权融合,得到融合后的分类结果和融合后的回归结果;是指:
将第i个模板注意力特征和第i搜索注意力特征输入到SiamRPN++中的第i目标跟踪模块Siamese RPN中,得到第i分类结果和第i回归结果;其中,i的取值为1到3;
将三个分类结果和三个回归结果分别进行加权融合,得到融合后的分类结果和融合后的回归结果。
应理解地,将模板注意力特征和搜索注意力特征输入到SiamRPN++中的SiameseRPN模块中,由于三个Siamese RPN模块的输出大小相同,因此直接进行加权融合。组合权重被分开分别用于分类和归回。
进一步地,所述S105:基于融合后的回归结果,输入到关系检测器中以度量回归结果中目标和预测图像的关系,得到回归分支的分数图;具体包括:
先提取模板特征并通过ROI pooling(Region of interest pooling,感兴趣区域池化)提取ROI特征;
后续帧对回归分支响应图的每个位置都预测一个框,提取其ROI特征,与目标模板的ROI特征共同送入到关系检测模块中;
关系检测器是由三个检测器组成,每一个检测器最终生成一个匹配分数来度量回归结果中目标和预测图像的关系分数;
将三个分数进行加权平均得到回归分支的分数图。
进一步地,如图3(a)~图3(c)所示,所述关系检测器,包括:用于学习全局信息的全局检测器,用于捕捉像素级和深度级的局部检测器,以及用来学习深度非线性度量且建立一对多的块检测器;其中,
全局检测器,将目标和预测图像的ROI特征拼接后做全局池化,经过若干层全连接层得到全局分数;
局部检测器,将两个ROI特征做Depth-wise cross correlation(深度互相关)得到局部分数;
块检测器,将两个ROI特征拼接后经过若干卷积得到块分数。
将三个分数进行加权平均得到一个25×25×1的分数图,反映的是每个位置预测框内的物体与目标之间的相似性与目标的相似度,该分数图能够同时考虑全局、局部以及块之间的关系。
进一步地,ResNet-50骨干网络、注意力模块、Siamese RPN模块和关系检测模块共同组成了目标跟踪模型;所提出的目标跟踪模型是以端到端的方式进行训练,训练总损失是分类损失、回归损失、分数匹配回归损失多个函数的加权组合,总的损失函数的数学表示公式为:
L=λ1Lcls+λ2Lreg+λ3Lmatching
其中,λ1、λ2、λ3分别为分类、回归、匹配损失函数的权重。Lcls为分类损失函数,采用交叉熵损失函数。Lreg为回归损失函数,采用了L1损失函数。Lmatching为分数匹配回归损失函数,即
Lmatching=(ri.j-yi,j)2
其中,ri.j为该点回归关系得分,yi,j代表该点的分类结果(目标还是背景)。
实验结果及实验对比如图4(a)~图4(i)、图5(a)~图5(l)所示。
实施例二
本实施例提供了基于注意力和关系检测的孪生网络目标跟踪***;
基于注意力和关系检测的孪生网络目标跟踪***,包括:
获取模块,其被配置为:获取视频序列,将第一帧作为模板图像,当前帧作为搜索图像;
模板特征提取增强模块,其被配置为:在模板分支中,将模板图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个模板注意力特征;
搜索特征提取增强模块,其被配置为:在搜索分支中,根据前一帧的跟踪结果裁剪出搜索图像,将搜索图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个搜索注意力特征;
分类回归模块,其被配置为:将三个模板注意力特征和三个搜索注意力特征,分别对应输入到目标跟踪模块Siamese RPN中得到三个分类结果和三个回归结果;将三个分类结果和三个回归结果分别进行加权融合,得到融合后的分类结果和融合后的回归结果;
预测跟踪模块,其被配置为:基于融合后的回归结果,输入到关系检测器中以度量回归结果中目标和预测图像的关系,得到回归分支的分数图;将回归分支的分数图与分类分支的分数图进行点乘,以过滤掉背景中的干扰;将过滤掉干扰的分数图经过卷积操作,得到最后的分类得分,并获取最大响应位置对应的预测框。
此处需要说明的是,上述获取模块、模板特征提取增强模块、搜索特征提取增强模块、分类回归模块和预测跟踪模块对应于实施例一中的步骤S101至S105,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.基于注意力和关系检测的孪生网络目标跟踪方法,其特征是,包括:
获取视频序列,将第一帧作为模板图像,当前帧作为搜索图像;
在模板分支中,将模板图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个模板注意力特征;
在搜索分支中,根据前一帧的跟踪结果裁剪出搜索图像,将搜索图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个搜索注意力特征;
将三个模板注意力特征和三个搜索注意力特征,分别对应输入到目标跟踪模块Siamese RPN中得到三个分类结果和三个回归结果;将三个分类结果和三个回归结果分别进行加权融合,得到融合后的分类结果和融合后的回归结果;
基于融合后的回归结果,输入到关系检测器中以度量回归结果中目标和预测图像的关系,得到回归分支的分数图;将回归分支的分数图与分类分支的分数图进行点乘,以过滤掉背景中的干扰;将过滤掉干扰的分数图经过卷积操作,得到最后的分类得分,并获取最大响应位置对应的预测框。
2.如权利要求1所述的基于注意力和关系检测的孪生网络目标跟踪方法,其特征是,所述采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个模板注意力特征;具体是指:
对ResNet-50网络中的covn3_x层、covn4_x层、covn5_x层提取的特征f3(z)、f4(z)、f5(z)用注意力模块进行特征增强,生成模板注意力特征f3(z’)、f4(z’)、f5(z’)。
3.如权利要求1所述的基于注意力和关系检测的孪生网络目标跟踪方法,其特征是,所述采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个搜索注意力特征;具体包括:
对ResNet-50网络中的covn3_x层、covn4_x层、covn5_x层提取的特征f3(x)、f4(x)、f5(x)用注意力模块进行特征增强,生成搜索注意力特征f3(x‘)、f4(x‘)、f5(x‘)。
4.如权利要求1所述的基于注意力和关系检测的孪生网络目标跟踪方法,其特征是,所述注意力模块,工作原理:
将从ResNet-50骨干网络中提取的的特征图分成多个组,采用通道分离,分成两个分支并行处理各组的子特征;
对于通道注意力分支,使用全局平局池化生成通道统计量,用一对参数来缩放和移动通道向量;
对于空间注意力分支,使用group norm生成空间统计量,用类似于通道注意力分支生成相关特征;然后将两个分支结合起来;随后将所有子特征聚集;使用通道混合实现不同子特征之间的通信;最后输出注意力特征。
5.如权利要求4所述的基于注意力和关系检测的孪生网络目标跟踪方法,其特征是,对于通道注意力分支,首先,利用全局平局池化来嵌入全局信息,从而生成通道统计量s∈RC /2G×1×1,其中统计量可以通过通道维度H×W来收缩Xk1计算:
然后,获得通道注意力的最终输出:
X′k1=σ(Fc(s))·Xk1=σ(W1s+b1)·Xk1
其中,σ(·)=sigmoid(·),Fc(x)=Wx+b,Xk∈RC/2G×1×1,b1∈RC/2G×1×1是用来缩放和位移s的参数;
X′k2=σ(W2·GN+b2)·Xk2;
其中,W2,b2∈RC/2G×1×1;
最后,将两个分支链接起来,使通道数和输入数相同:
X′k1=[X′k1,X′k2]∈RC/G×H×W;
在此之后,将所有子特征聚集;
最后,采用一个类似于ShuffleNet V2的通道混合实现跨组信息交流。
6.如权利要求4所述的基于注意力和关系检测的孪生网络目标跟踪方法,其特征是,将三个模板注意力特征和三个搜索注意力特征,分别对应输入到目标跟踪模块Siamese RPN中得到三个分类结果和三个回归结果;将三个分类结果和三个回归结果分别进行加权融合,得到融合后的分类结果和融合后的回归结果;是指:
将第i个模板注意力特征和第i搜索注意力特征输入到SiamRPN++中的第i目标跟踪模块Siamese RPN中,得到第i分类结果和第i回归结果;其中,i的取值为1到3;
将三个分类结果和三个回归结果分别进行加权融合,得到融合后的分类结果和融合后的回归结果。
7.如权利要求6所述的基于注意力和关系检测的孪生网络目标跟踪方法,其特征是,基于融合后的回归结果,输入到关系检测器中以度量回归结果中目标和预测图像的关系,得到回归分支的分数图;具体包括:
先提取模板特征并通过感兴趣区域池化ROIpooling操作,提取ROI特征;
后续帧对回归分支响应图的每个位置都预测一个框,提取其ROI特征,与目标模板的ROI特征共同送入到关系检测模块中;
关系检测器是由三个检测器组成,每一个检测器最终生成一个匹配分数来度量回归结果中目标和预测图像的关系分数;
将三个分数进行加权平均得到回归分支的分数图。
8.如权利要求7所述的基于注意力和关系检测的孪生网络目标跟踪方法,其特征是,所述关系检测器,包括:用于学习全局信息的全局检测器,用于捕捉像素级和深度级的局部检测器,以及用来学习深度非线性度量且建立一对多的块检测器;其中,
全局检测器,将目标和预测图像的ROI特征拼接后做全局池化,经过若干层全连接层得到全局分数;
局部检测器,将两个ROI特征做深度互相关Depth-wise cross correlation得到局部分数;
块检测器,将两个ROI特征拼接后经过若干卷积得到块分数。
9.如权利要求7所述的基于注意力和关系检测的孪生网络目标跟踪方法,其特征是,ResNet-50骨干网络、注意力模块、Siamese RPN模块和关系检测模块共同组成了目标跟踪模型;所提出的目标跟踪模型是以端到端的方式进行训练,训练总损失是分类损失、回归损失、分数匹配回归损失多个函数的加权组合,总的损失函数的数学表示公式为:
L=λ1Lcls+λ2Lreg+λ3Lmatching
其中,λ1、λ2、λ3分别为分类、回归、匹配损失函数的权重;
Lcls为分类损失函数,采用交叉熵损失函数;Lreg为回归损失函数,采用了L1损失函数;Lmatching为分数匹配回归损失函数:
Lmatching=(ri.j-yi,j)2
其中,ri.j为该点回归关系得分,yi,j代表该点的分类结果。
10.基于注意力和关系检测的孪生网络目标跟踪***,其特征是,包括:
获取模块,其被配置为:获取视频序列,将第一帧作为模板图像,当前帧作为搜索图像;
模板特征提取增强模块,其被配置为:在模板分支中,将模板图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个模板注意力特征;
搜索特征提取增强模块,其被配置为:在搜索分支中,根据前一帧的跟踪结果裁剪出搜索图像,将搜索图像输入到ResNet-50骨干网络中,进行特征提取;采用注意力模块对最后三层提取的特征分别进行特征增强处理,得到三个搜索注意力特征;
分类回归模块,其被配置为:将三个模板注意力特征和三个搜索注意力特征,分别对应输入到目标跟踪模块Siamese RPN中得到三个分类结果和三个回归结果;将三个分类结果和三个回归结果分别进行加权融合,得到融合后的分类结果和融合后的回归结果;
预测跟踪模块,其被配置为:基于融合后的回归结果,输入到关系检测器中以度量回归结果中目标和预测图像的关系,得到回归分支的分数图;将回归分支的分数图与分类分支的分数图进行点乘,以过滤掉背景中的干扰;将过滤掉干扰的分数图经过卷积操作,得到最后的分类得分,并获取最大响应位置对应的预测框。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210263162.9A CN114821390B (zh) | 2022-03-17 | 2022-03-17 | 基于注意力和关系检测的孪生网络目标跟踪方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210263162.9A CN114821390B (zh) | 2022-03-17 | 2022-03-17 | 基于注意力和关系检测的孪生网络目标跟踪方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114821390A true CN114821390A (zh) | 2022-07-29 |
CN114821390B CN114821390B (zh) | 2024-02-23 |
Family
ID=82529796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210263162.9A Active CN114821390B (zh) | 2022-03-17 | 2022-03-17 | 基于注意力和关系检测的孪生网络目标跟踪方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114821390B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578421A (zh) * | 2022-11-17 | 2023-01-06 | 中国石油大学(华东) | 一种基于多图注意力机制的目标跟踪算法 |
CN116168216A (zh) * | 2023-04-21 | 2023-05-26 | 中国科学技术大学 | 一种基于场景提示的单目标跟踪方法 |
CN116188804A (zh) * | 2023-04-25 | 2023-05-30 | 山东大学 | 一种基于transformer的孪生网络目标搜索*** |
CN117727053A (zh) * | 2024-02-08 | 2024-03-19 | 西南科技大学 | 一种多类别汉字单样本字体识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179314A (zh) * | 2019-12-30 | 2020-05-19 | 北京工业大学 | 一种基于残差密集孪生网络的目标跟踪方法 |
CN113297959A (zh) * | 2021-05-24 | 2021-08-24 | 南京邮电大学 | 一种基于角点注意力孪生网络的目标跟踪方法及*** |
CN113706581A (zh) * | 2021-08-13 | 2021-11-26 | 河南大学 | 基于残差通道注意与多层次分类回归的目标跟踪方法 |
CN113705588A (zh) * | 2021-10-28 | 2021-11-26 | 南昌工程学院 | 基于卷积自注意力模块的孪生网络目标跟踪方法与*** |
US20210397828A1 (en) * | 2020-06-18 | 2021-12-23 | Institute Of Automation, Chinese Academy Of Sciences | Bi-directional interaction network (binet)-based person search method, system, and apparatus |
CN114049381A (zh) * | 2021-12-21 | 2022-02-15 | 重庆大学 | 一种融合多层语义信息的孪生交叉目标跟踪方法 |
-
2022
- 2022-03-17 CN CN202210263162.9A patent/CN114821390B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179314A (zh) * | 2019-12-30 | 2020-05-19 | 北京工业大学 | 一种基于残差密集孪生网络的目标跟踪方法 |
US20210397828A1 (en) * | 2020-06-18 | 2021-12-23 | Institute Of Automation, Chinese Academy Of Sciences | Bi-directional interaction network (binet)-based person search method, system, and apparatus |
CN113297959A (zh) * | 2021-05-24 | 2021-08-24 | 南京邮电大学 | 一种基于角点注意力孪生网络的目标跟踪方法及*** |
CN113706581A (zh) * | 2021-08-13 | 2021-11-26 | 河南大学 | 基于残差通道注意与多层次分类回归的目标跟踪方法 |
CN113705588A (zh) * | 2021-10-28 | 2021-11-26 | 南昌工程学院 | 基于卷积自注意力模块的孪生网络目标跟踪方法与*** |
CN114049381A (zh) * | 2021-12-21 | 2022-02-15 | 重庆大学 | 一种融合多层语义信息的孪生交叉目标跟踪方法 |
Non-Patent Citations (1)
Title |
---|
董吉富;刘畅;曹方伟;凌源;高翔;: "基于注意力机制的在线自适应孪生网络跟踪算法", 激光与光电子学进展, no. 02, 25 January 2020 (2020-01-25) * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578421A (zh) * | 2022-11-17 | 2023-01-06 | 中国石油大学(华东) | 一种基于多图注意力机制的目标跟踪算法 |
CN116168216A (zh) * | 2023-04-21 | 2023-05-26 | 中国科学技术大学 | 一种基于场景提示的单目标跟踪方法 |
CN116168216B (zh) * | 2023-04-21 | 2023-07-18 | 中国科学技术大学 | 一种基于场景提示的单目标跟踪方法 |
CN116188804A (zh) * | 2023-04-25 | 2023-05-30 | 山东大学 | 一种基于transformer的孪生网络目标搜索*** |
CN117727053A (zh) * | 2024-02-08 | 2024-03-19 | 西南科技大学 | 一种多类别汉字单样本字体识别方法 |
CN117727053B (zh) * | 2024-02-08 | 2024-04-19 | 西南科技大学 | 一种多类别汉字单样本字体识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114821390B (zh) | 2024-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114821390A (zh) | 基于注意力和关系检测的孪生网络目标跟踪方法及*** | |
CN109410242B (zh) | 基于双流卷积神经网络的目标跟踪方法、***、设备及介质 | |
CN110910391B (zh) | 一种双模块神经网络结构视频对象分割方法 | |
CN111259940B (zh) | 一种基于空间注意力地图的目标检测方法 | |
CN111696137B (zh) | 一种基于多层特征混合与注意力机制的目标跟踪方法 | |
CN110334779A (zh) | 一种基于PSPNet细节提取的多聚焦图像融合方法 | |
CN112529178A (zh) | 一种适用于无预选框检测模型的知识蒸馏方法及*** | |
CN115171165A (zh) | 全局特征与阶梯型局部特征融合的行人重识别方法及装置 | |
CN113011329A (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
CN112507920B (zh) | 一种基于时间位移和注意力机制的考试异常行为识别方法 | |
CN111696136B (zh) | 一种基于编解码结构的目标跟踪方法 | |
CN114998777A (zh) | 一种针对跨模态视频检索模型的训练方法及装置 | |
CN113129345A (zh) | 一种基于多特征图融合和多尺度膨胀卷积的目标跟踪方法 | |
CN114140623A (zh) | 一种图像特征点提取方法及*** | |
CN115239765A (zh) | 基于多尺度可形变注意力的红外图像目标跟踪***及方法 | |
CN116563355A (zh) | 一种基于时空交互注意力机制的目标跟踪方法 | |
CN113554032A (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
CN117576473A (zh) | 基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法 | |
CN114842316A (zh) | 一种结合卷积神经网络及Transformer网络的实时目标检测方法 | |
CN114022730B (zh) | 一种基于自监督学习神经网络的点目标相位检索方法 | |
CN114492755A (zh) | 基于知识蒸馏的目标检测模型压缩方法 | |
CN113609904B (zh) | 一种基于动态全局信息建模和孪生网络的单目标跟踪算法 | |
Wang et al. | Siamese spectral attention with channel consistency for hyperspectral image classification | |
Yang et al. | A feature temporal attention based interleaved network for fast video object detection | |
Wei et al. | Lightweight multimodal feature graph convolutional network for dangerous driving behavior detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |