CN113610888A - 一种基于高斯平滑的孪生网络目标跟踪方法 - Google Patents
一种基于高斯平滑的孪生网络目标跟踪方法 Download PDFInfo
- Publication number
- CN113610888A CN113610888A CN202110725901.7A CN202110725901A CN113610888A CN 113610888 A CN113610888 A CN 113610888A CN 202110725901 A CN202110725901 A CN 202110725901A CN 113610888 A CN113610888 A CN 113610888A
- Authority
- CN
- China
- Prior art keywords
- image
- search area
- target
- template
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000004044 response Effects 0.000 claims abstract description 21
- 238000009499 grossing Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于高斯平滑的孪生网络目标跟踪方法,属于计算机视觉技术领域。该方法包括如下步骤:1、选择目标模板;2、获取搜索区域;3、将获取的模板图像和搜索区域图像分别输入到孪生特征提取网络中进行特征提取;4、特征提取后得到模板图像特征和搜索区域图像特征,对得到的搜索区域图像特征进行高斯平滑处理;5、将模板图像特征和高斯平滑后的搜索区域图像特征进行互相关运算,得到响应图;6、将响应图用双三线性插值放大到搜索区域图像大小,放大后响应图上得分最大的点,即为预测目标的位置。本发明使提取到的图像特征更具有判别性;同时,防止跟踪漂移,使跟踪结果更准确。
Description
技术领域
本发明涉及一种基于高斯平滑的孪生网络目标跟踪方法,属于计算机视觉技术领域。
背景技术
近几年来,深度学习技术在计算机视觉中的应用越来越广泛,在图像分类、图像检测、图像分割方面均取得了长足的进步,在目标跟踪领域也不例外。受深度学习在其他不同领域内的启发,应用深度学习的目标跟踪算法不断涌现,其中基于卷积神经网络(Convolutional Neural Network,CNN)的目标跟踪算法占据了主导地位。
构造传统特征需要考虑特征的尺度不变性、光照不变性、旋转不变性等特性,但是卷积特征只需要大量的图像进行训练便可以得到具有更强判别力的特征,这是传统特征所无法比拟的。CNN在目标跟踪中的应用,不仅仅因为CNN提取的特征具有非常强的判别能力,更得益于CNN的网络结构具有很强的迁移能力。在其他任务中训练得到的网络模型进行微调便可以应用于目标跟踪任务。因此,基于CNN的目标跟踪算法在其他计算机视觉任务的影响下得到了迅猛发展。HCF(分层卷积特征算法)发现不同层次的卷积层对于目标跟踪具有不同的作用,高层卷积层具有更多的语义信息,低层卷积层具有更多的纹理信息,将不同卷积层的响应进行加权可以到了更好的跟踪效果。ECO(高效卷积操作符算法)通过特征降维、目标函数求解优化、模型更新策略调整等方面对跟踪过程进行了加速,兼顾了性能与速度。
上述使用CNN与相关性滤波结合的方法,集结了深度学***衡了目标跟踪中跟踪速度与跟踪精度的关系,打破了相关滤波方法在目标跟踪中的垄断地位,于是成为了当前最经典的孪生网络目标跟踪算法。但SiamFC算法仍存在针对遮挡、相似语义背景信息干扰下跟踪漂移,鲁棒性差等问题。如何克服目标在视频中的遮挡、背景信息干扰等因素影响,从而实现准确的目标跟踪,仍是科研人员急需解决的问题。
发明内容
本发明提出了一种基于高斯平滑的孪生网络目标跟踪方法,在SiamFC算法的基础上,充分利用当前更强的骨干网络,使提取到的图像特征更具有判别性;同时,通过高斯平滑函数抑制目标周边具有相似语义信息干扰的背景信息,防止跟踪漂移,使跟踪结果更准确。
本发明为解决其技术问题采用如下技术方案:
一种基于高斯平滑的孪生网络目标跟踪方法,包括如下步骤:
第一步:选择目标模板,模板图像为初始帧中以目标为中心框选一个刚好包住目标的图像,记为z;
第二步:获取搜索区域,搜索区域图像是以上一帧的目标为中心,大小是模板图像的4倍的区域图像,记为x;
第六步:将响应图用双三线性插值放大到搜索区域图像大小,放大后响应图上得分最大的点,即为预测目标的位置。
本发明的有益效果如下:
1、本发明使提取到的图像特征更具有判别性。
2、本发明防止跟踪漂移,使跟踪结果更准确。
附图说明
图1为方法框架图。
图2为高斯分布蒙版图。
具体实施方式
下面结合附图对本发明创造做进一步详细说明。
在本发明中,跟踪任意目标的任务可以看做是相似性学***滑处理,具体操作是用乘上高斯分布蒙版,最后将模板图像特征和搜索区域图像特征进行互相关运算,得到响应图,响应图上得分最大的点,即为预测目标的位置。相似性度量函数如式(1)所示:
G(i,j)表示高斯分布蒙版的亮度范围是从1到0,*表示互相关运算。
如图2所示,高斯分布蒙版的亮度范围是从1到0,从中心到边缘逐渐减弱,中心的亮度值最高为1,边缘的亮度值最低为0.图像上任何一点的亮度值为:
高斯分布蒙版能有效抑制搜索区域图像中目标周边的背景信息,使经过互相关运算后得到的响应图上的打分更准确,提升跟踪鲁棒性。
算法训练过程
式(1)得到的孪生网络f通过在VID、GOT-10k数据集上进行离线训练,在训练的过程中,利用判别的方法对f进行训练,其损失函数定义如式(5)、(6)所示:
l(y,v)=log(1+exp(-yv)) (5)
其中,y∈[-1,+1]表示标签值,D是互相关运算后的生成的响应图,v是响应图上的实际得分,u为响应图中任意一点,|D|为响应图的大小。响应图的标签值按照公式(7)进行标记:
其中:c为响应图的中心,||u-c||是u与c的欧氏距离,T为距离的阈值,k网络的下采样步长。
表1修改后的VGG16网络结构
Claims (3)
1.一种基于高斯平滑的孪生网络目标跟踪方法,其特征在于,包括如下步骤:
第一步:选择目标模板,模板图像为初始帧中以目标为中心框选一个刚好包住目标的图像,记为z;
第二步:获取搜索区域,搜索区域图像是以上一帧的目标为中心,大小是模板图像的4倍的区域图像,记为x;
第六步:将响应图用双三线性插值放大到搜索区域图像大小,放大后响应图上得分最大的点,即为预测目标的位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110725901.7A CN113610888B (zh) | 2021-06-29 | 2021-06-29 | 一种基于高斯平滑的孪生网络目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110725901.7A CN113610888B (zh) | 2021-06-29 | 2021-06-29 | 一种基于高斯平滑的孪生网络目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113610888A true CN113610888A (zh) | 2021-11-05 |
CN113610888B CN113610888B (zh) | 2023-11-24 |
Family
ID=78336930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110725901.7A Active CN113610888B (zh) | 2021-06-29 | 2021-06-29 | 一种基于高斯平滑的孪生网络目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113610888B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299111A (zh) * | 2021-12-21 | 2022-04-08 | 中国矿业大学 | 一种基于半监督孪生网络的红外弱小目标跟踪方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100245587A1 (en) * | 2009-03-31 | 2010-09-30 | Kabushiki Kaisha Topcon | Automatic tracking method and surveying device |
JP2011243229A (ja) * | 2011-09-05 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | 対象物追跡装置及び対象物追跡方法 |
CN104036528A (zh) * | 2014-06-26 | 2014-09-10 | 西北农林科技大学 | 一种基于全局搜索的实时分布场目标跟踪方法 |
CN106570892A (zh) * | 2015-08-18 | 2017-04-19 | 航天图景(北京)科技有限公司 | 一种基于边缘增强模板匹配的运动目标主动跟踪方法 |
WO2018076484A1 (zh) * | 2016-10-25 | 2018-05-03 | 华南理工大学 | 一种基于视频的捏合指尖跟踪方法 |
CN110569793A (zh) * | 2019-09-09 | 2019-12-13 | 西南交通大学 | 一种无监督相似性判别学习的目标跟踪方法 |
US20200026954A1 (en) * | 2019-09-27 | 2020-01-23 | Intel Corporation | Video tracking with deep siamese networks and bayesian optimization |
CN110992378A (zh) * | 2019-12-03 | 2020-04-10 | 湖南大学 | 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及*** |
CN111179307A (zh) * | 2019-12-16 | 2020-05-19 | 浙江工业大学 | 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法 |
CN111260688A (zh) * | 2020-01-13 | 2020-06-09 | 深圳大学 | 一种孪生双路目标跟踪方法 |
CN112183600A (zh) * | 2020-09-22 | 2021-01-05 | 天津大学 | 一种基于动态记忆库模板更新的目标跟踪方法 |
CN112184752A (zh) * | 2020-09-08 | 2021-01-05 | 北京工业大学 | 一种基于金字塔卷积的视频目标跟踪方法 |
CN112509003A (zh) * | 2020-12-01 | 2021-03-16 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 解决目标跟踪框漂移的方法及*** |
-
2021
- 2021-06-29 CN CN202110725901.7A patent/CN113610888B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100245587A1 (en) * | 2009-03-31 | 2010-09-30 | Kabushiki Kaisha Topcon | Automatic tracking method and surveying device |
JP2011243229A (ja) * | 2011-09-05 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | 対象物追跡装置及び対象物追跡方法 |
CN104036528A (zh) * | 2014-06-26 | 2014-09-10 | 西北农林科技大学 | 一种基于全局搜索的实时分布场目标跟踪方法 |
CN106570892A (zh) * | 2015-08-18 | 2017-04-19 | 航天图景(北京)科技有限公司 | 一种基于边缘增强模板匹配的运动目标主动跟踪方法 |
WO2018076484A1 (zh) * | 2016-10-25 | 2018-05-03 | 华南理工大学 | 一种基于视频的捏合指尖跟踪方法 |
CN110569793A (zh) * | 2019-09-09 | 2019-12-13 | 西南交通大学 | 一种无监督相似性判别学习的目标跟踪方法 |
US20200026954A1 (en) * | 2019-09-27 | 2020-01-23 | Intel Corporation | Video tracking with deep siamese networks and bayesian optimization |
CN110992378A (zh) * | 2019-12-03 | 2020-04-10 | 湖南大学 | 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及*** |
CN111179307A (zh) * | 2019-12-16 | 2020-05-19 | 浙江工业大学 | 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法 |
CN111260688A (zh) * | 2020-01-13 | 2020-06-09 | 深圳大学 | 一种孪生双路目标跟踪方法 |
CN112184752A (zh) * | 2020-09-08 | 2021-01-05 | 北京工业大学 | 一种基于金字塔卷积的视频目标跟踪方法 |
CN112183600A (zh) * | 2020-09-22 | 2021-01-05 | 天津大学 | 一种基于动态记忆库模板更新的目标跟踪方法 |
CN112509003A (zh) * | 2020-12-01 | 2021-03-16 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 解决目标跟踪框漂移的方法及*** |
Non-Patent Citations (6)
Title |
---|
LUCA BERTINETTO 等: "Fully-Convolutional Siamese Networks for Object Tracking", 《EUROPEAN CONFERENCE ON COMPUTER VISION 2016》 * |
吴天成: "基于视频的目标检测与跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
张云飞 等: "一种基于孪生网络的高鲁棒性实时单目标船舶跟踪方法", 《舰船科学技术》 * |
张智帆: "视觉跟踪中的目标模型自适应更新研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
谭敏: "基于全卷积孪生网络的单目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
邓杨 等: "基于孪生检测网络的实时视频追踪算法", 《计算机应用》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299111A (zh) * | 2021-12-21 | 2022-04-08 | 中国矿业大学 | 一种基于半监督孪生网络的红外弱小目标跟踪方法 |
CN114299111B (zh) * | 2021-12-21 | 2022-11-04 | 中国矿业大学 | 一种基于半监督孪生网络的红外弱小目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113610888B (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | SAR image change detection using PCANet guided by saliency detection | |
Hsu et al. | Unsupervised CNN-based co-saliency detection with graphical optimization | |
CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
CN111260688A (zh) | 一种孪生双路目标跟踪方法 | |
CN107301644B (zh) | 基于均值漂移和模糊聚类的自然图像无监督分割方法 | |
CN113706581B (zh) | 基于残差通道注意与多层次分类回归的目标跟踪方法 | |
CN112446900B (zh) | 孪生神经网络目标跟踪方法及*** | |
CN109727272B (zh) | 一种基于双分支时空正则化相关滤波器的目标跟踪方法 | |
CN108846404A (zh) | 一种基于相关约束图排序的图像显著性检测方法及装置 | |
CN112183675A (zh) | 一种基于孪生网络的针对低分辨率目标的跟踪方法 | |
CN114663707A (zh) | 基于Faster RCNN改进的少样本目标检测方法 | |
Yuan et al. | Self-supervised object tracking with cycle-consistent siamese networks | |
Zhang et al. | Learning background-aware and spatial-temporal regularized correlation filters for visual tracking | |
Li et al. | Efficient convolutional neural network with multi-kernel enhancement features for real-time facial expression recognition | |
CN113610888B (zh) | 一种基于高斯平滑的孪生网络目标跟踪方法 | |
CN108491883B (zh) | 一种基于条件随机场的显著性检测优化方法 | |
CN112750071B (zh) | 一种用户自定义的表情制作方法及*** | |
CN112767440A (zh) | 一种基于siam-fc网络的目标跟踪方法 | |
Dalara et al. | Entity Recognition in Indian Sculpture using CLAHE and machine learning | |
Chu et al. | Regressive scale estimation for visual tracking | |
Wang et al. | Learning convolutional self-attention module for unmanned aerial vehicle tracking | |
CN114662572B (zh) | 一种基于定位感知的高速孪生网络目标跟踪方法 | |
CN113379799B (zh) | 基于轮廓估计的无锚框目标跟踪方法 | |
Huang et al. | A Faster, lighter and stronger deep learning-based approach for place recognition | |
CN113688842B (zh) | 一种基于解耦合的局部图像特征提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |