CN107657627A - 基于人脑记忆机制的时空上下文目标跟踪方法 - Google Patents

基于人脑记忆机制的时空上下文目标跟踪方法 Download PDF

Info

Publication number
CN107657627A
CN107657627A CN201710733989.0A CN201710733989A CN107657627A CN 107657627 A CN107657627 A CN 107657627A CN 201710733989 A CN201710733989 A CN 201710733989A CN 107657627 A CN107657627 A CN 107657627A
Authority
CN
China
Prior art keywords
memory space
target
template
space
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710733989.0A
Other languages
English (en)
Other versions
CN107657627B (zh
Inventor
宋勇
李旭
赵尚男
赵宇飞
李云
陈学文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201710733989.0A priority Critical patent/CN107657627B/zh
Publication of CN107657627A publication Critical patent/CN107657627A/zh
Application granted granted Critical
Publication of CN107657627B publication Critical patent/CN107657627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脑记忆机制的时空上下文目标跟踪方法。该方法将人脑记忆机制的视觉信息处理认知模型引入到STC方法的时空关系模型更新过程，使得每个模板都要经过瞬时记忆、短时记忆和长时记忆三个空间的传输和处理，形成基于记忆的模型更新策略。通过记忆先前出现的场景，使得该方法在当前目标发生光照变化、姿态突变、遮挡、短暂消失后重现等问题时依然能持续鲁棒的跟踪。此外，在根据时空上下文信息计算置信图时，设置N个目标中心位置候选点，从中选取与目标模板相似度最大的目标中心位置作为最终跟踪结果，从而减少了置信图引起的误差，提高了跟踪精度。最终，形成一种精度高、鲁棒性强的运动目标跟踪方法。

Description

基于人脑记忆机制的时空上下文目标跟踪方法
技术领域
本发明涉及一种视频图像中运动目标的跟踪方法，具体涉及一种基于人脑记忆机制的时空上下文目标跟踪(STC,Spatio-Temporal Context)方法，属于计算机视觉技术领域。
背景技术
作为计算机视觉领域重要的研究方向，目标跟踪在视频监控、人机交互、智能交通领域具有广泛的应用前景。
根据目标表观建模不同，典型的目标跟踪方法可分为：生成式目标跟踪方法和判别式目标跟踪方法。其中，生成式目标跟踪方法通过特征学习一个目标模型，然后搜索与目标模型最相近的区域实现目标跟踪。判别式跟踪方法将跟踪构建为一个二元分类问题，对样本和背景分别建模，利用背景和目标信息寻找将其分开的决策边界。相对于生成式跟踪方法，判别式跟踪方法计算量相对较小，且可有效利用背景信息，逐渐成为目标跟踪方法的主流。
作为一种新型判别式跟踪方法-时空上下文目标跟踪(STC)方法(Zhang Kaihua,Zhang Lei,et al."Fast Tracking via Spatio-Temporal Context Learning."ComputerScience,2013.)，是通过贝叶斯框架对要跟踪的目标和它的局部上下文之间的时空关系进行建模，得到目标及其周围区域的统计相关性。根据这一时空关系计算置信图，利用置信图中似然概率最大的位置预测出新的目标位置。这种方法同时结合了时间信息和空间信息，考虑了目标和周围环境信息，并且时空关系的学习是根据傅里叶变换得到的，因而具有较高的目标跟踪准确性和速率。因此，STC方法在目标跟踪领域具有重要的应用前景。
另一方面，在STC方法中，基于贝叶斯框架建立的时空关系是目标与其周围的区域在低级特征(像素强度值)上的统计相关性。当出现光照变化、目标姿态突变、遮挡、短暂消失后重现等情况时，容易跟偏或者跟丢目标，导致目标跟踪准确性下降。因此，研究STC方法在复杂条件下(光照变化、目标姿态突变、遮挡、短暂消失后重现等)的鲁棒性目标跟踪问题，具有重要的研究意义。
发明内容
为了解决STC方法在目标跟踪过程中光照变化、目标姿态突变、遮挡、短暂消失后重现等情况下的跟踪精度下降问题，本发明提出了一种基于人脑记忆机制的时空上下文目标跟踪方法。该方法将人脑记忆机制的视觉信息处理认知模型引入到STC方法的时空上下文模型更新过程，使得每个模板都要经过瞬时记忆、短时记忆和长时记忆三个空间的传输和处理，形成基于记忆的模型更新策略。通过有效记忆先前出现的场景，使得该方法在当前目标发生光照变化、姿态突变、遮挡、短暂消失后重现等问题时依然能持续鲁棒的跟踪。此外，该方法在根据时空上下文信息计算置信图时，设置N个目标中心位置候选点，从中选取与目标模板相似度最大的目标中心位置作为最终跟踪结果，从而减少了置信图引起的误差，提高了跟踪精度。最终，形成一种精度高、鲁棒性强的运动目标跟踪方法。
本发明是通过下述技术方案实现的。
本发明公开的一种基于人脑记忆机制的时空上下文目标跟踪方法。将基于人脑记忆机制的视觉信息处理认知模型引入到STC方法的时空关系模型更新过程，形成一种全新的基于记忆的模型更新策略，使得每个模板都要经过瞬时记忆、短时记忆和长时记忆三个空间的传输和处理。形成一种基于记忆的模型更新策略。
目标跟踪过程中，根据当前帧目标模板与记忆空间中目标模板的匹配程度按照不同的更新策略对目标模板进行更新。若当前帧目标模板里的彩色直方图特征和记忆空间中目标模板里的彩色直方图特征相似度系数满足要求，则匹配成功，同时更新记忆空间匹配模板参数，为下一帧目标的预测和跟踪做好准备；若匹配不成功，当前的目标模板若满足一定的条件，则作为新的目标模板存储到记忆空间中。通过记忆先前出现的场景，使得该方法在当前目标发生光照变化、目标姿态突变、遮挡、短暂消失后重现等情况时仍可准确的跟踪目标。
此外，为了减少了置信图引起的误差、提高跟踪精度，在根据时空上下文信息计算置信图时，设置N个目标中心位置候选点，从中选取与目标模板相似度最大的目标中心位置作为最终跟踪结果。
本发明公开的基于人脑记忆机制的时空上下文目标跟踪方法，包括如下步骤：
步骤1：初始化记忆空间和跟踪窗口。
初始化两层记忆空间，两层记忆空间分别用来保存目标匹配模板的特征qt、时空上下文关系。每一层均构建为瞬时记忆空间、短时记忆空间和长时记忆空间。
步骤2：学习第一帧空间上下文模型。
在步骤1已知初始目标跟踪窗口的情况下可求得置信图，由第一帧的置信图和上下文先验概率计算出第一帧的空间上下文模型，第一帧的空间上下文模型同时作为下一帧时空上下文模型。空间上下文模型描述的是条件概率函数p(x|c(z),o)，表示建模目标与周围上下文信息的空间关系，定义为：
hsc(x-z)＝p(x|c(z),o) (1)
步骤3：目标定位。
由时空上下文模型计算置信图，找到最大值，即为目标位置，但是由于置信图的误差特性，目标位置可能位于置信图的第二大或者其他位置。所以选取置信图最大的N个位置作为目标中心位置候选点。
置信图的计算公式为：
其中，为时空上下文模型，为上下文先验概率。
目标位置候选点的计算公式为：
步骤4：计算目标位置候选点彩色直方图特征。
计算求得N个候选目标跟踪窗的彩色直方图特征，以及N个彩色直方图特征与记忆空间存储的目标模板的相似系数，取相似度最大的候选点作为当前帧的跟踪结果。
步骤5：更新记忆空间。
根据匹配规则更新记忆空间和时空上下文模型，为下一帧目标的预测和跟踪做准备。
更新具体过程如下：
(1)瞬时记忆空间存储。
视频输入为当前估计模板，将当前帧的目标估计模板(彩色直方图特征)存储于瞬时记忆空间。
(2)短时记忆空间匹配。
当前模板存储于短时记忆空间的第一个位置，将瞬时记忆空间存储的彩色直方图与短时记忆空间中的S个模板依次进行匹配，计算出相似度，根据相似度与匹配阈值的比较结果确定是否匹配成功。
若在短时记忆空间中匹配成功，则根据当前模板对目标模板进行更新，如下式所示：
qt＝(1-ε)qt-1+εp (4)
其中，qt为当前模板，p是瞬时空间的估计模板，ε是更新速率。
如果短时记忆空间中的S个模板匹配都不成功，将短时记忆空间中最后一个分布记为MK，同时与长时记忆空间中的模板进行匹配。
(3)长时记忆空间匹配。
将瞬时记忆空间存储的彩色直方图与长时记忆空间中的S个模板依次进行匹配，计算相似度，根据相似度与匹配阈值的大小比较确定是否匹配成功。
如果找到匹配，根据公式(4)更新匹配模板，同时在MK不可记忆的情况下提取匹配的模板遗忘MK，在MK可记忆的情况下，交换匹配模板和MK。
如果长时记忆空间中也不存在匹配模板，则将估计模板存储在短时记忆空间的第一个位置作为当前模板，在MK不可记忆的情况下遗忘MK；在MK可记忆且长时记忆空间未满的情况下把MK记忆到长时记忆空间；在MK可记忆且长时记忆空间已满的情况下，比较MK与长时记忆空间模板的权重，遗忘权重小的模板。
此外，当第一层记忆空间匹配模板参数qt进行更新时，第二层记忆空间中的时空上下文信息也同时进行更新，如下式所示：
其中，是上一帧时空上下文信息，是当前帧空间上下文信息，是当前帧时空上下文信息，ρ是更新速率。
有益效果：
1、速率快。本发明公开的一种基于人脑记忆机制和时空上下文结合的运动目标跟踪方法，由于STC方法把求解置信图问题转换到傅里叶变换域计算，从而大大降低了目标跟踪算法的复杂度，具有良好的速率特性。记忆机制的引入仅影响目标模板的更新过程，对于速度的影响相对较小，从而使本发明提出的方法具有较高的运算速度。
2、鲁棒性强。本发明将基于人脑记忆机制模型引入到STC方法的时空上下文模型更新过程，使得算法在跟踪时记忆先前出现的场景，从而在当前目标发生光照变化、姿态突变、遮挡、短暂消失后重现等问题时依然能持续稳定的跟踪，有效提高了算法的鲁棒性。同时，根据时空上下文信息计算置信图，得到N个目标中心位置候选点，从中选取与目标模板相似度最大的目标中心位置作为最终跟踪结果，减少了置信图引起的误差。
3、抗遮挡能力强。本发明公开的一种基于人脑记忆机制和时空上下文结合的运动目标跟踪方法，结合人脑记忆机制模型形成了一种模型更新策略。当目标发生遮挡时，该方法可通过记忆遮挡前出现的场景，有效对抗目标遮挡问题。提高了目标跟踪的准确性。
附图说明
图1本发明的基于人脑记忆机制的时空上下文目标跟踪方法流程图；
图2本发明方法中记忆空间与时空上下文更新的具体过程；
图3本发明方法与常规STC方法、粒子滤波方法的跟踪结果；
图4本发明方法与常规STC方法、粒子滤波方法的跟踪精度曲线。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例：
本实施例公开的一种基于人脑记忆机制和时空上下文结合的目标跟踪方法，其整体过程如附图1所示，具体包括如下步骤：
步骤1：初始化记忆空间和跟踪窗口。
初始化两层记忆空间，每一层均构建为瞬时记忆空间、短时记忆空间和长时记忆空间。其中，短时记忆空间和长时记忆空间分别存储S个模板。瞬时记忆空间用于保存当前帧目标数据(估计模板)；第一层短时记忆空间和第一层长时记忆空间用于保存目标匹配模板的特征qt；第二层短时记忆空间和第二层长时记忆空间用于保存时空上下文模型。
输入视频第一帧，确定初始目标跟踪窗口。
步骤2：学习第一帧空间上下文模型。
在步骤1已知初始目标跟踪窗口的情况下求得置信图，由第一帧的置信图和上下文先验概率计算出第一帧的空间上下文模型，第一帧的空间上下文模型同时作为下一帧时空上下文模型。空间上下文模型描述的是条件概率函数p(x|c(z),o)，表示建模目标与周围上下文信息的空间关系，定义为：
hsc(x-z)＝p(x|c(z),o) (6)
置信图、上下文先验概率学和空间上下文模型的关系式为：
空间上下文模型计算公式为：
步骤3：目标定位。
由时空上下文模型计算置信图，找到最大值，即为目标位置，但是由于置信图的误差特性，目标位置可能位于置信图的第二大或者其他位置。所以选取置信图最大的N个位置作为目标中心位置候选点。
置信图的计算公式为：
其中，为时空上下文模型，为上下文先验概率。
目标位置候选点的计算公式为：
步骤4：计算目标位置候选点彩色直方图特征。
计算求得N个候选目标跟踪窗的彩色直方图特征，以及N个彩色直方图特征与记忆空间存储的目标模板的相似系数，取相似度最大的候选点作为当前帧的跟踪结果。
步骤5：更新记忆空间。
根据匹配规则更新记忆空间和时空上下文模型，为下一帧目标的预测和跟踪做准备。
更新具体过程如下：
(1)瞬时记忆空间存储。
视频输入为当前估计模板，将当前帧的目标估计模板(彩色直方图特征)存储于瞬时记忆空间。
(2)短时记忆空间匹配。
当前模板存储于短时记忆空间的第一个位置，将瞬时记忆空间存储的彩色直方图与短时记忆空间中的S个模板依次进行匹配，计算出瞬时记忆空间存储的彩色直方图与短时记忆空间中的第一个模板的相似度ρ，定义当前模板的匹配阈值为Tc，如果ρ>Tc，则定义匹配成功，否则定义为匹配失败，继而与短时记忆就空间的后(S-1)个模板依次进行匹配。
定义短时记忆空间后(S-1)个模板的匹配阈值为Ts，如果ρ>Ts，则定义匹配成功，否则定义为匹配失败。
若在短时记忆空间中匹配成功，则根据当前模板对目标模板进行更新，如下式所示：
qt＝(1-ε)qt-1+εp (11)
其中，qt为当前模板，p是瞬时空间的估计模板，ε是更新速率。
如果短时记忆空间中的S个模板匹配都不成功，将短时记忆空间中最后一个分布记为MK，同时与长时记忆空间中的模板进行匹配。
(3)长时记忆空间匹配。
若(2)中匹配失败，将瞬时记忆空间存储的彩色直方图与长时记忆空间中的S个模板依次进行匹配，计算相似度ρ，定义长时记忆空间模板的匹配阈值为Tl，如果ρ>Tl，则定义匹配成功，否则定义为匹配失败。
如果找到匹配，根据公式(11)更新匹配模板，同时在MK不可记忆的情况下提取匹配的模板遗忘MK，在MK可记忆的情况下，交换匹配模板和MK。
如果长时记忆空间中也不存在匹配模板，则将估计模板存储在短时记忆空间的第一个位置作为当前模板，在MK不可记忆的情况下遗忘MK；在MK可记忆且长时记忆空间未满的情况下把MK记忆到长时记忆空间；在MK可记忆且长时记忆空间已满的情况下，比较MK与长时记忆空间模板的权重，遗忘权重小的模板。
此外，当第一层记忆空间匹配模板参数qt进行更新时，第二层记忆空间中的时空上下文信息也同时进行更新，更新规则如下式所示：
其中，一帧时空上下文信息，前帧空间上下文信息，是当前帧时空上下文信息，ρ是更新速率。
本实施例中，步骤3中的N定义为选取的目标中心位置候选点的数量，N取5；步骤5所述的Tc，Ts，Tl分别是定义的当前模板的匹配阈值、短时记忆空间模板的匹配阈值和长时记忆空间模板的匹配阈值，取经验值Tc，Ts，Tl分别为0.87、0.85和0.85；步骤5中的S定义短时记忆空间和长时记忆空间存储的模板数量，取S＝5；
本发明的仿真效果可以通过下述仿真实验说明：
1.仿真条件：
本发明在Intel(R)Core(TM)i3CPU 3.07GHz，4.00G的PC机上，使用MATLAB 2013a平台，对Visual Tracker Benchmark视频测试集中的视频序列(http:// cvlab.hanyang.ac.kr/tracker_benchmark/datasets.html)完成仿真。
2.仿真结果：
图3(a)是对目标光照变化的视频序列跟踪结果图，分别是第45、70、90和120帧，图中的矩形方框表示常规STC方法、粒子滤波跟踪算法和本发明方法跟踪到的结果。从图3(a)可以看出，在运动目标存在明显遮挡后又重新出现的过程中，本发明可以对目标进行准确跟踪。图3(b)是对目标存在姿态突变的视频序列跟踪结果图，分别是第234、244、254和285帧，从图3(b)可以看出，在运动目标发生明显遮挡后又重新出现的过程中，本发明可以对目标进行准确跟踪。图3(c)是对多帧视频序列跟踪结果图，分别是第343、373、393和412帧，从图3(c)可以看出，本发明鲁棒性强，对于多帧序列仍然能够实现鲁棒性跟踪。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于人脑记忆机制的时空上下文目标跟踪方法，其特征在于：
包括如下步骤：
步骤1：初始化记忆空间和跟踪窗口。
初始化两层记忆空间，两层记忆空间分别用来保存目标匹配模板的特征qt、时空上下文关系。每一层均构建为瞬时记忆空间、短时记忆空间和长时记忆空间。
步骤2：学习第一帧空间上下文模型。
在步骤1已知初始目标跟踪窗口的情况下可求得置信图，由第一帧的置信图和上下文先验概率计算出第一帧的空间上下文模型，第一帧的空间上下文模型同时作为下一帧时空上下文模型。
步骤3：目标定位。
由时空上下文模型计算置信图，找到最大值，即为目标位置，但是由于置信图的误差特性，目标位置可能位于置信图的第二大或者其他位置。所以选取置信图最大的N个位置作为目标中心位置候选点。
步骤4：计算目标位置候选点彩色直方图特征。
计算求得N个候选目标跟踪窗的彩色直方图特征，以及N个彩色直方图特征与记忆空间存储的目标模板的相似系数，取相似度最大的候选点作为当前帧的跟踪结果。
步骤5：更新记忆空间。
根据匹配规则更新记忆空间和时空上下文模型，为下一帧目标的预测和跟踪做准备。
2.如权利要求1所述的基于人脑记忆机制的时空上下文目标跟踪方法，其特征在于：
步骤1：记忆空间的创建
创建两层记忆空间，每一层分为3个记忆空间，分别为瞬时记忆空间、短时记忆空间、长时记忆空间。两层分别用来存储目标匹配模板的特征qt、时空上下文关系。
步骤2：由第一帧的目标位置计算出第一帧的空间上下文模型，作为下一帧时空上下文模型，存入第一层记忆空间中的短时记忆空间；同时初始化跟踪窗口的彩色直方图特征，存入第二层记忆空间中的短时记忆空间。
3.如权利要求1所述的基于人脑记忆机制的时空上下文目标跟踪方法，其特征在于：
步骤3所述的目标定位过程中，由于目标可能在置信图相应最大的位置或是在其旁峰出，所以本发明由时空上下文模型计算置信图，选取置信图最大的N个位置作为目标中心位置候选点。
求置信图最大位置公式为：
目标位置候选点的计算公式为：
<mrow> <msubsup> <mi>x</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>*</mo> </msubsup> <mo>=</mo> <mi>arg</mi> <munder> <mi>max</mi> <mrow> <mi>x</mi> <mo>&amp;Element;</mo> <msub> <mi>&amp;Omega;</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>*</mo> </msup> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>c</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
4.如权利要求1所述的基于人脑记忆机制的时空上下文目标跟踪方法，其特征在于：
步骤5中记忆空间和时空上下文模型的更新过程如下：
(1)瞬时记忆空间存储。
视频输入为当前估计模板，将当前帧的目标估计模板(彩色直方图特征)存储于瞬时记忆空间。
(2)短时记忆空间匹配。
当前模板存储于短时记忆空间的第一个位置，将瞬时记忆空间存储的彩色直方图与短时记忆空间中的S个模板依次进行匹配，计算出瞬时记忆空间存储的彩色直方图与短时记忆空间中的第一个模板的相似度ρ，定义当前模板的匹配阈值为Tc，如果ρ>Tc，则定义匹配成功，否则定义为匹配失败，若匹配失败则与短时记忆就空间的后(S-1)个模板依次进行匹配。
定义短时记忆空间后(S-1)个模板的匹配阈值为Ts，如果ρ>Ts，则定义匹配成功，否则定义为匹配失败。
若在短时记忆空间中匹配成功，则根据当前模板对目标模板进行更新，如下式所示：
qt＝(1-ε)qt-1+εp (3)
其中，qt为当前模板，p是瞬时空间的估计模板，ε是更新速率。
如果短时记忆空间中的S个模板匹配都不成功，将短时记忆空间中最后一个分布记为MK，同时与长时记忆空间中的模板进行匹配。
(3)长时记忆空间匹配。
若(2)中匹配失败，将瞬时记忆空间存储的彩色直方图与长时记忆空间中的S个模板依次进行匹配，计算相似度ρ，定义长时记忆空间模板的匹配阈值为Tl，如果ρ>Tl，则定义匹配成功，否则定义为匹配失败。
如果找到匹配，根据公式(3)更新匹配模板，同时在MK不可记忆的情况下提取匹配的模板遗忘MK，在MK可记忆的情况下，交换匹配模板和MK。
如果长时记忆空间中也不存在匹配模板，则将估计模板存储在短时记忆空间的第一个位置作为当前模板，在MK不可记忆的情况下遗忘MK；在MK可记忆且长时记忆空间未满的情况下把MK记忆到长时记忆空间；在MK可记忆且长时记忆空间已满的情况下，比较MK与长时记忆空间模板的权重，遗忘权重小的模板。
此外，当第一层记忆空间匹配模板参数qt进行更新时，第二层记忆空间中的时空上下文信息也同时进行更新，更新规则如下式所示：
<mrow> <msubsup> <mi>H</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>s</mi> <mi>t</mi> <mi>c</mi> </mrow> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;rho;</mi> <mo>)</mo> </mrow> <msubsup> <mi>H</mi> <mi>t</mi> <mrow> <mi>s</mi> <mi>t</mi> <mi>c</mi> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>&amp;rho;h</mi> <mi>t</mi> <mrow> <mi>s</mi> <mi>c</mi> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中，是上一帧时空上下文信息，是当前帧空间上下文信息，是当前帧时空上下文信息，ρ是更新速率。
5.如权利要求1所述的基于人脑记忆机制的时空上下文目标跟踪方法，其特征在于：
步骤3中的置信图候选点数量N越大，跟踪结果越准确，但同时增加了计算量。本发明N取5，在保证计算量不复杂的情况下，增加了跟踪结果的精确性。
6.如权利要求1、2、3、4、5所述的基于人脑记忆机制的时空上下文目标跟踪方法，其特征在于：
该方法将人脑记忆机制的视觉信息处理认知模型引入到STC方法的时空上下文模型更新过程，使得每个模板都要经过瞬时记忆、短时记忆和长时记忆三个空间的传输和处理，形成基于记忆的模型更新策略。通过记忆先前出现的场景，使得该方法在当前目标发生光照变化、目标姿态突变、遮挡、短暂消失后重现等问题时依然能持续鲁棒的跟踪。此外，在根据时空上下文信息计算置信图时，设置N个目标中心位置候选点，从中选取与目标模板相似度最大的目标中心位置作为最终跟踪结果，从而减少了置信图引起的误差，提高了跟踪精度。最终，形成一种精度高、鲁棒性强的运动目标跟踪方法。
CN201710733989.0A 2017-08-24 2017-08-24 基于人脑记忆机制的时空上下文目标跟踪方法 Active CN107657627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710733989.0A CN107657627B (zh) 2017-08-24 2017-08-24 基于人脑记忆机制的时空上下文目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710733989.0A CN107657627B (zh) 2017-08-24 2017-08-24 基于人脑记忆机制的时空上下文目标跟踪方法

Publications (2)

Publication Number Publication Date
CN107657627A true CN107657627A (zh) 2018-02-02
CN107657627B CN107657627B (zh) 2021-07-30

Family

ID=61127808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710733989.0A Active CN107657627B (zh) 2017-08-24 2017-08-24 基于人脑记忆机制的时空上下文目标跟踪方法

Country Status (1)

Country Link
CN (1) CN107657627B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416796A (zh) * 2018-02-13 2018-08-17 中国传媒大学 双向马尔可夫蒙特卡罗粒子滤波器的人体运动跟踪方法
CN108492318A (zh) * 2018-03-01 2018-09-04 西北工业大学 一种基于仿生技术的目标跟踪的方法
CN115061574A (zh) * 2022-07-06 2022-09-16 陈伟 一种基于视觉核心算法的人机交互***
CN116307283A (zh) * 2023-05-19 2023-06-23 青岛科技大学 基于mim模型和时空交互记忆的降水预测***及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408592A (zh) * 2016-09-09 2017-02-15 南京航空航天大学 一种基于目标模板更新的目标跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408592A (zh) * 2016-09-09 2017-02-15 南京航空航天大学 一种基于目标模板更新的目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANTONIO S.MONTEMAYOR等: ""A Memory-Based Particle Filter for Visual Tracking through Occlusions"", 《INTERNATIONAL WORK-CONFERENCE ON THE INTERPLAY》 *
KAIHUA ZHANG等: ""Fast Tracking via Spatio-Temporal Context Learning"", 《HTTPS://ARXIV.ORG/ABS/1311.1939》 *
鲍华: ""复杂场景下基于局部分块和上下文信息的单视觉目标跟踪"", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416796A (zh) * 2018-02-13 2018-08-17 中国传媒大学 双向马尔可夫蒙特卡罗粒子滤波器的人体运动跟踪方法
CN108492318A (zh) * 2018-03-01 2018-09-04 西北工业大学 一种基于仿生技术的目标跟踪的方法
CN108492318B (zh) * 2018-03-01 2022-04-26 西北工业大学 一种基于仿生技术的目标跟踪的方法
CN115061574A (zh) * 2022-07-06 2022-09-16 陈伟 一种基于视觉核心算法的人机交互***
CN115712354A (zh) * 2022-07-06 2023-02-24 陈伟 一种基于视觉和算法的人机交互***
CN116307283A (zh) * 2023-05-19 2023-06-23 青岛科技大学 基于mim模型和时空交互记忆的降水预测***及方法
CN116307283B (zh) * 2023-05-19 2023-08-18 青岛科技大学 基于mim模型和时空交互记忆的降水预测***及方法

Also Published As

Publication number Publication date
CN107657627B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN107689052B (zh) 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN108520530B (zh) 基于长短时记忆网络的目标跟踪方法
CN107657627B (zh) 基于人脑记忆机制的时空上下文目标跟踪方法
CN108198209B (zh) 在发生遮挡和尺度变化情况下行人跟踪方法
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及***
CN110473231B (zh) 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法
CN109859241B (zh) 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN111523447B (zh) 车辆跟踪方法、装置、电子设备及存储介质
CN111105439B (zh) 一种使用残差注意力机制网络的同步定位与建图方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN107622507B (zh) 一种基于深度学习的空中目标跟踪方法
CN107368802B (zh) 基于kcf和人脑记忆机制的运动目标跟踪方法
CN111583294B (zh) 一种结合尺度自适应与模型更新的目标跟踪方法
CN111008991B (zh) 一种背景感知的相关滤波目标跟踪方法
CN108734109B (zh) 一种面向图像序列的视觉目标跟踪方法及***
CN110084201B (zh) 一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法
CN110895820A (zh) 一种基于kcf的尺度自适应目标跟踪方法
CN108846850B (zh) 一种基于tld算法的目标跟踪方法
CN111008996A (zh) 一种通过分层特征响应融合的目标跟踪方法
CN111402303A (zh) 一种基于kfstrcf的目标跟踪架构
CN113312973A (zh) 一种手势识别关键点特征提取方法及***
CN111080671B (zh) 一种基于深度神经网络的运动预测方法和智能终端
CN117036397A (zh) 一种基于融合信息关联和相机运动补偿的多目标跟踪方法
CN110147768B (zh) 一种目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant