CN106651917A - 基于神经网络的图像目标跟踪算法 - Google Patents
基于神经网络的图像目标跟踪算法 Download PDFInfo
- Publication number
- CN106651917A CN106651917A CN201611271054.7A CN201611271054A CN106651917A CN 106651917 A CN106651917 A CN 106651917A CN 201611271054 A CN201611271054 A CN 201611271054A CN 106651917 A CN106651917 A CN 106651917A
- Authority
- CN
- China
- Prior art keywords
- tracking
- image
- target
- destination object
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于神经网络的图像目标跟踪算法,主要包括:步骤一,使用收集的图像训练自编码器,得到神经网络;步骤二,预处理需要跟踪的图像序列,使用自编码器进行特征提取;步骤三,使用滤波的方法对目标进行跟踪;步骤四,根据每一帧的跟踪结果对***进行更新;步骤五,根据跟踪效果动态调整更新参数。本发明有效克服亮度变化以及被跟踪的目标外形变化对跟踪效果的不利影响,同时对跟踪过程进行动态调整,使得目标外形变化较快或较慢时都能得到较好的跟踪效果。
Description
技术领域
本发明属于人工神经网络和计算机视觉领域,涉及自编码器神经网络和目标追踪技术,尤其涉及一种基于神经网络的图像目标跟踪算法。
背景技术
图像序列目标跟踪具有非常广泛的应用,是计算机视觉中最经典的问题之一。图像序列目标跟踪解决如下问题:在图像序列的某一帧中使用一个矩形框来界定需要被跟踪的目标对象,目标跟踪算法在后续的图像序列中给出被跟踪的目标对象在当前图像中的位置。图像目标跟踪算法在机器人技术、航天、安全监控、军事等诸多领域有着广泛的应用前景。
基于区域的目标跟踪算法把目标一开始所在的区域的矩形框作为目标对象的模板,在后序的图像序列中,使用目标对象的模板与图像中所有可能的位置进行相关度的匹配,匹配度越高说明相关性越强。基于区域的跟踪使用了目标对象的全局信息,因此可信度较高,但目标发生严重形变时容易造成跟踪失败的发生。
基于特征的目标跟踪算法使用目标的显著的特征来表示目标,比较常用的目标特征有颜色特征、灰度特征、纹理特征等,然后在新的图像上进行特征的匹配,然后根据原特征和新图像上的特征的相似性来确定目标对象的位置。
基于运动的目标跟踪算法会利用一系列图像序列中的目标的运动信息来对目标对象进行跟踪。由于二维的图像无法完整地表示三维空间中物体的运动状态,在目标对象发生复杂的运动时,这种方法通常会不稳定。
在实际的目标跟踪过程中,目标对象的外形变化和运动状态都非常复杂,当目标对象的外形和运动状态发生变化时,上述跟踪方法难以快速适应这些变化,容易造成跟踪效果差甚至跟踪失败的情况。
发明内容
本发明的目的在于克服上述现有技术的不足,采用神经网络对原图像进行编码,有效克服亮度变化以及被跟踪的目标外形变化对跟踪效果的不利影响,同时对跟踪过程进行动态调整,使得目标外形变化较快或较慢时都能得到较好的跟踪效果。
本发明的技术方案是提供一种基于神经网络的图像目标跟踪算法,包括如下:
步骤一:使用收集的图像训练自编码器,得到神经网络;
训练的目标最小化下式(1):
其中:x表示神经网络的输入,W表示网络权值,h表示隐藏层的向量;
步骤二:预处理需要跟踪的图像序列,使用自编码器进行特征提取;
步骤三:使用滤波的方法对目标进行跟踪;
步骤四:根据每一帧的跟踪结果对***进行更新;
步骤五:根据跟踪效果动态调整更新参数。
所述步骤一具体如下:
(1)、收集一系列具有明显特征的图像;
(2)、切割每个图像成多个小的图像块;
(3)、使用切割后的图像块训练自编码器;
(4)、训练出来的神经网络用于提取图像的特征向量。
所述步骤二具体如下:将输入图像分割成M×N个图像块,使用训练得到的神经网络对每个图像块进行编码,得到一组特征向量。
所述步骤三具体如下:使用窗函数过滤提取出特征,首先将经过窗函数过滤的特征向量映射到傅立叶域,使用第一帧图像的特征向量建立一个线性相关模型;对之后的每一帧图像,使用该模型预测目标对象在当前图像的位置。
所述步骤四具体如下:根据目标对象新的位置对跟踪模型的参数进行调整,以适应目标对象的外形变化。
所述步骤五具体如下:在跟踪过程中,如检测到目标对象外形变化速率较快,则提高上述步骤四中模型更新的速率,反之则降低该速率。
本发明的有益效果:
本发明有效克服亮度变化对目标对象特征的影响;实时调整跟踪模型,以适应目标对象的外形变化,得到更精确的跟踪效果;同时能够在跟踪过程中根据实际情况动态调整学习参数,使目标外形变化快慢均能取得好的跟踪效果。
本发明的算法保证了目标跟踪的准确性和鲁棒性。
附图说明
图1为本发明的算法流程图。
图2为测试序列跟踪窗口偏移图。
具体实施方式
下面通过具体实施例和附图对本发明作进一步的说明。本发明的实施例是为了更好地使本领域的技术人员更好地理解本发明,并不对本发明作任何的限制。
本发明基于神经网络的图像目标跟踪算法,如图1所示,算法包括如下步骤:步骤一、使用收集的图像训练自编码器,得到神经网络,具体:
收集一系列具有明显特征的图像,将每个图像切割成多个小的图像块,使用这些图像块对自编码器进行训练,训练的目标是最小化下式(1):
其中:x表示神经网络的输入,W表示网络权值,h表示隐藏层的向量;
训练出来的神经网络用于提取图像的特征向量,并减少目标旋转和光照变化的影响。
步骤二、预处理需要跟踪的图像序列,使用自编码器进行特征提取,具体如下:
将输入图像分割成M×N个图像块,使用训练得到的神经网络对每个图像块进行编码,特征提取得到一组特征向量,即M×N个特征向量。
步骤三、使用滤波的方法对目标进行跟踪;由于目标对象的位于中心的特征更能代表目标对象,而位于边缘的部分更多的是背景的特征,因此使用窗函数过滤提取出特征,将经过窗函数过滤的特征向量映射到傅立叶域,使用第一帧图像的特征向量建立一个线性相关模型;对随后的每一帧图像,使用该模型预测目标对象在当前图像的位置,具体为:
(1)、为了使跟踪有更好的效率,相关的计算将在傅立叶域进行,因此需要将特征向量映射到傅立叶域;
(2)、根据M×N个特征向量建立基于相关滤波跟踪模型,根据第一帧图像建立跟踪模型,模型的训练输入就是目标对象的特征,记作x,模型的训练输出记作y,为了表示相关性与相关响应输出的关系,使y为在图像中心的具有方差为2.0的二维高斯形状的峰。
为了得到将训练输入映射到目标输出的相关滤波器,并使得相关的实际输出与期望的相关输出之间的误差最小,这个最小化问题的数学表示形式,如下式(2)所示,其中w表示所求的相关滤波器,γ是正则化参数。
式(2)表示的是一个线性岭回归模型,这个目标函数的解如下式(3)所示
w=∑m,nrm,n·xm,n (3)
其中参数r的定义如上式(3)、(4)所示,F表示快速傅立叶变换(FFT)算子,y表示二维的高斯形状。
(3)、将第一帧中的跟踪窗口的特征向量带入上式(4)中,得到回归模型R,在其余的图像序列中使用模型R来进行目标对象的跟踪。
假设在新的图像中跟踪窗口的特征表示为z,原来的图像中跟踪窗口的特征表示为x,新图像中跟踪窗口与原图像中跟踪窗口的相关响应由下式(5)表示。
响应映射结果与跟踪窗口裁剪成的图像块有相同的大小,即M×N,响应映射越大,则表示图像的相关性越大。
步骤四、根据每一帧的跟踪结果对***进行更新,以适应目标的变化;由于发生了运动,目标对象的特征必定会有所变化,根据目标对象新的位置对跟踪模型的参数进行调整,以适应目标对象的外形变化。假设在第i帧中,跟踪窗口的特征向量表示为xi,线性回归模型表示为Ri,可以通过下式(6)来更新跟踪窗口的特征向量:
其中,t表示模型的学习速率。
步骤五、根据跟踪效果动态调整更新参数,在跟踪过程中,如检测到目标对象外形变化速率较快,则提高步骤四中模型更新的速率,反之则降低该速率。学***时,可以确定被跟踪的目标对象外形变化较慢,这时应当将学习速率慢慢减小,以防止过度学习引起模型对新的目标对象特征的过度依赖。
实验对多组有挑战性的图像序列进行测试,并通过调整模型的初始更新速率因子来提高跟踪的效果。
同时,本发明通过对比跟踪模型预测的目标对象位置和目标对象的真实位置来评估跟踪效果,平均像素误差D可以使用公式(7)表示:
其中:N表示图像序列包含的图像数,x和y表示目标的真实位置,x’和y’表示***预测的目标位置,结果D越小表示跟踪效果越好。
由于不同的图像序列跟踪的目标变化情况不同,有的目标外形变化较大,而其他的目标外形变化较小。实验结果表明,当跟踪模型的初始更新速率调整为0.01时,跟踪结果有较好的效果。
如图2所示,随着时序的变化,预测的目标位置也在不断变化。当误差变化较大时,认为目标外形发生了较大的变化,应当调高更新速率;反之,当误差变化较小时,应当调低更新速率,以防止环境变化对跟踪过程产生不良的影响。
应当理解的是,这里所讨论的实施方案及实例只是为了说明,对本领域技术人员来说,可以加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (6)
1.基于神经网络的图像目标跟踪算法,其特征在于,包括如下:
步骤一:使用收集的图像训练自编码器,得到神经网络;
训练的目标最小化下式(1):
其中:x表示神经网络的输入,W表示网络权值,h表示隐藏层的向量;
步骤二:预处理需要跟踪的图像序列,使用自编码器进行特征提取;
步骤三:使用滤波的方法对目标进行跟踪;
步骤四:根据每一帧的跟踪结果对***进行更新;
步骤五:根据跟踪效果动态调整更新参数。
2.根据权利要求1所述的算法,其特征在于,所述步骤一具体如下:
(1)、收集一系列具有明显特征的图像;
(2)、切割每个图像成多个小的图像块;
(3)、使用切割后的图像块训练自编码器;
(4)、训练出来的神经网络用于提取图像的特征向量。
3.根据权利要求1所述的算法,其特征在于,所述步骤二具体如下:将输入图像分割成M×N个图像块,使用训练得到的神经网络对每个图像块进行编码,得到一组特征向量。
4.根据权利要求1所述的算法,其特征在于,所述步骤三具体如下:使用窗函数过滤提取出特征向量,将特征向量映射到傅立叶域,使用第一帧图像的特征向量建立一个线性相关模型;对随后的每一帧图像,使用该模型预测目标对象在当前图像的位置。
5.根据权利要求1所述的算法,其特征在于,所述步骤四具体如下:根据目标对象新的位置对跟踪模型的参数进行调整,以适应目标对象的外形变化。
6.根据权利要求1所述的算法,其特征在于,所述步骤五具体如下:在跟踪过程中,如检测到目标对象外形变化速率较快,则提高上述步骤四中模型更新的速率,反之则降低该速率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611271054.7A CN106651917A (zh) | 2016-12-30 | 2016-12-30 | 基于神经网络的图像目标跟踪算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611271054.7A CN106651917A (zh) | 2016-12-30 | 2016-12-30 | 基于神经网络的图像目标跟踪算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106651917A true CN106651917A (zh) | 2017-05-10 |
Family
ID=58838235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611271054.7A Pending CN106651917A (zh) | 2016-12-30 | 2016-12-30 | 基于神经网络的图像目标跟踪算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106651917A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898619A (zh) * | 2018-06-08 | 2018-11-27 | 上海大学 | 一种基于pvanet神经网络的目标跟踪方法 |
CN108960084A (zh) * | 2018-06-19 | 2018-12-07 | 清华大学深圳研究生院 | 目标追踪方法、***、可读存储介质及电子设备 |
CN110832408A (zh) * | 2017-07-03 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 通过飞行器的基于神经网络的图像目标跟踪 |
CN111696136A (zh) * | 2020-06-09 | 2020-09-22 | 电子科技大学 | 一种基于编解码结构的目标跟踪方法 |
CN112703533A (zh) * | 2018-09-17 | 2021-04-23 | 诺基亚通信公司 | 对象跟踪 |
CN116518868A (zh) * | 2023-07-05 | 2023-08-01 | 深圳市海塞姆科技有限公司 | 基于人工智能的变形测量方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103824286A (zh) * | 2014-02-14 | 2014-05-28 | 同济大学 | 一种svd-ransac亚像素相位相关匹配方法 |
CN105654509A (zh) * | 2015-12-25 | 2016-06-08 | 燕山大学 | 基于复合深度神经网络的运动跟踪方法 |
CN105894008A (zh) * | 2015-01-16 | 2016-08-24 | 广西卡斯特动漫有限公司 | 结合特征点匹配及深度神经网络检测的目标运动跟踪方法 |
CN106056628A (zh) * | 2016-05-30 | 2016-10-26 | 中国科学院计算技术研究所 | 基于深度卷积神经网络特征融合的目标跟踪方法及*** |
-
2016
- 2016-12-30 CN CN201611271054.7A patent/CN106651917A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103824286A (zh) * | 2014-02-14 | 2014-05-28 | 同济大学 | 一种svd-ransac亚像素相位相关匹配方法 |
CN105894008A (zh) * | 2015-01-16 | 2016-08-24 | 广西卡斯特动漫有限公司 | 结合特征点匹配及深度神经网络检测的目标运动跟踪方法 |
CN105654509A (zh) * | 2015-12-25 | 2016-06-08 | 燕山大学 | 基于复合深度神经网络的运动跟踪方法 |
CN106056628A (zh) * | 2016-05-30 | 2016-10-26 | 中国科学院计算技术研究所 | 基于深度卷积神经网络特征融合的目标跟踪方法及*** |
Non-Patent Citations (2)
Title |
---|
NAIYAN WANG等: "Learning a Deep Compact Image Representation for Visual Tracking", 《PROCEEDINGS OF ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS》 * |
李寰宇等: "一种易于初始化的类卷积神经网络视觉跟踪算法", 《电子与信息学报》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110832408A (zh) * | 2017-07-03 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 通过飞行器的基于神经网络的图像目标跟踪 |
CN110832408B (zh) * | 2017-07-03 | 2022-03-25 | 深圳市大疆创新科技有限公司 | 通过飞行器的基于神经网络的图像目标跟踪 |
CN108898619A (zh) * | 2018-06-08 | 2018-11-27 | 上海大学 | 一种基于pvanet神经网络的目标跟踪方法 |
CN108898619B (zh) * | 2018-06-08 | 2021-02-23 | 上海大学 | 一种基于pvanet神经网络的目标跟踪方法 |
CN108960084A (zh) * | 2018-06-19 | 2018-12-07 | 清华大学深圳研究生院 | 目标追踪方法、***、可读存储介质及电子设备 |
CN112703533A (zh) * | 2018-09-17 | 2021-04-23 | 诺基亚通信公司 | 对象跟踪 |
CN111696136A (zh) * | 2020-06-09 | 2020-09-22 | 电子科技大学 | 一种基于编解码结构的目标跟踪方法 |
CN116518868A (zh) * | 2023-07-05 | 2023-08-01 | 深圳市海塞姆科技有限公司 | 基于人工智能的变形测量方法、装置、设备及存储介质 |
CN116518868B (zh) * | 2023-07-05 | 2023-08-25 | 深圳市海塞姆科技有限公司 | 基于人工智能的变形测量方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106651917A (zh) | 基于神经网络的图像目标跟踪算法 | |
CN111062973B (zh) | 基于目标特征敏感性和深度学习的车辆跟踪方法 | |
CN110135500A (zh) | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 | |
CN106056628A (zh) | 基于深度卷积神经网络特征融合的目标跟踪方法及*** | |
CN108346159A (zh) | 一种基于跟踪-学习-检测的视觉目标跟踪方法 | |
CN108399406A (zh) | 基于深度学习的弱监督显著性物体检测的方法及*** | |
CN104820997B (zh) | 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法 | |
CN103886325B (zh) | 一种分块的循环矩阵视频跟踪方法 | |
CN106570893A (zh) | 一种基于相关滤波的快速稳健视觉跟踪方法 | |
CN108549839A (zh) | 自适应特征融合的多尺度相关滤波视觉跟踪方法 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN105678278A (zh) | 一种基于单隐层神经网络的场景识别方法 | |
CN108520530A (zh) | 基于长短时记忆网络的目标跟踪方法 | |
CN107369166A (zh) | 一种基于多分辨率神经网络的目标跟踪方法及*** | |
CN106778687A (zh) | 基于局部评估和全局优化的注视点检测方法 | |
CN109146912A (zh) | 一种基于目标性分析的视觉目标跟踪方法 | |
CN107146237A (zh) | 一种基于在线状态学习与估计的目标跟踪方法 | |
CN110348356A (zh) | 一种基于深度光流网络的连续帧rd图像目标识别方法 | |
CN103440510A (zh) | 一种面部图像中特征点的定位方法 | |
CN105096345B (zh) | 一种基于动态测量矩阵的目标跟踪方法及*** | |
CN109544600A (zh) | 一种基于上下文相关和判别相关滤波器的目标跟踪方法 | |
CN107945210A (zh) | 基于深度学习和环境自适应的目标跟踪算法 | |
CN110472577A (zh) | 一种基于自适应相关滤波的长时视频跟踪方法 | |
CN108664994A (zh) | 一种遥感图像处理模型构建***和方法 | |
CN113223055B (zh) | 图像目标跟踪模型建立方法及图像目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |
|
RJ01 | Rejection of invention patent application after publication |