CN107194951B - 基于受限结构图搜索的目标跟踪方法 - Google Patents
基于受限结构图搜索的目标跟踪方法 Download PDFInfo
- Publication number
- CN107194951B CN107194951B CN201710302422.8A CN201710302422A CN107194951B CN 107194951 B CN107194951 B CN 107194951B CN 201710302422 A CN201710302422 A CN 201710302422A CN 107194951 B CN107194951 B CN 107194951B
- Authority
- CN
- China
- Prior art keywords
- target
- model
- state
- solving
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于受限结构图搜索的目标跟踪方法,其包括以下步骤:S0、初始化目标模型;S1、输入下一视频帧;S2、求解目标部件标签;S3、求解目标状态;S4、更新目标模型;S5、在步骤S4中,如果能量减小则接受模型更新,转到步骤S2继续迭代优化,否则退出迭代循环,输出当前帧最优的目标状态,转到步骤S1。本发明的有益之处在于:(1)将顺序组织的模块在能量最小化框架中统一考虑,能更好挖掘各模块之间的相互支持关系,使它们相互约束和促进,提升跟踪效果;(2)采用基于轮换迭代的优化方法,将原始的多变量优化问题分解为多个较易处理的能量最小化子问题来逐一求解,提高了目标跟踪精度。
Description
技术领域
本发明涉及一种目标跟踪方法,具体涉及一种基于受限结构图搜索的目标跟踪方法,属于计算机技术领域。
背景技术
目标跟踪方法是计算机视觉领域的重要研究课题之一。精确的目标跟踪能为视频数据的进一步分析提供可靠的基础,所以广泛应用于自动驾驶、视频监控、无人机和人机交互等重要场合。虽然目标跟踪已经取得较大发展,但是仍然面临着诸多挑战制约其性能的提高,比如目标的几何形变、部分遮挡和背景杂乱等。
目前,绝大多数目标跟踪算法按照目标表示方法分类,可以分为基于目标整体框模型的跟踪算法和基于目标部件模型的跟踪算法。其中,前者采用一个矩形框表示目标,强调对目标整体的表象学习,该方法对光照变化、背景杂乱等情况鲁棒,但是在因形变、遮挡或者尺度变化引起的表象剧烈变化时容易跟踪失败,后者采用目标部件(像素、超像素或矩形部件等)的集合表示目标,主要学习其局部结构信息,因为单个目标部件鉴别力低,通常需要建立目标结构图来考虑部件之间的结构信息,将目标跟踪问题转化为图匹配问题。
基于图模型的跟踪算法通常包含以下三个顺序模块:目标部件选择、目标部件匹配和目标状态估计。其中,目标部件选择是指使用表象模型从背景中区分出候选目标部件,目标部件匹配是指根据表象和结构相似性来关联相邻两帧的部件,目标状态估计是指根据匹配结果估计出目标状态(目标中心位置和目标尺度)。
但是这样的顺序机制并不足以实现在复杂场景下的鲁棒跟踪。
首先,目标部件选择和后续两个模块相对独立,使得不精确的表象模型会直接对匹配结果造成负面影响,进而造成跟踪失败。
其次,它们并没有考虑全局限制,使其在杂乱背景下对背景噪声比较敏感。
进一步的,该机制不足以反映这三个模块的真实关系:
(1)连续两帧的部件匹配能为当前帧的部件选择提供补充信息,反之亦然;
(2)部件选择和匹配提取了局部表象变化,有助于整体目标状态估计;
(3)估计的目标状态反过来能为部件选择和匹配提供一个整体约束,取得更高精度。
如果能同时考虑三个模块之间的相互支持和促进关系,将有助于建立更加精确的跟踪模型。而先前的工作并没有考虑这些问题。
发明内容
为解决现有基于图模型的跟踪算法局限于局部表象建模,而不能同时考虑各模块相互支持促进的不足,本发明的目的在于提供一种基于受限结构图搜索的目标跟踪方法。
为了实现上述目标,本发明采用如下的技术方案:
基于受限结构图搜索的目标跟踪方法,其特征在于,包括以下步骤:
S0、初始化目标模型
根据第一帧标定的目标状态,得到目标尺度两倍大小的目标搜索区域R,然后将该目标搜索区域R过分割为一系列颜色相似像素的超像素收集在目标框内的超像素为正样本,目标框外的超像素为负样本,这样学习一个线性支持向量机模型作为表象模型M以及相关滤波器模型F作为整体约束,另外,建立目标结构图模型G={V,C},其中V表示目标部件集合,C表示临近目标部件集合关系组成的边的集合;
S1、输入下一视频帧
根据上一帧的目标状态B,确定当前帧的目标搜索区域,在目标中心位置的两倍当前目标尺度搜索,然后将该目标搜索区域过分割为一系列超像素;
S2、求解目标部件标签
给定目标模型M,G,F和目标状态B,则能量最小化函数可表示为:
然后使用图割算法求解得到目标部件标签L;
S3、求解目标状态
得到目标部件标签L以后,联合相关滤波器模型F求解目标状态B;
S4、更新目标模型
根据求解得到的目标部件标签L和目标状态B更新目标模型M,G,F,如下式所示:
其中,Eda表示超像素部件p属于前景或者背景的概率,EPM表示目标部件匹配的能量,F(B,R)表示搜索区域R中任意目标状态B对应的响应分数,λ1为平衡两项的系数;
各项相互独立,可以分别更新各个模型,通过目标部件标签L和目标状态B得到训练样本,学习新的目标模型M,G,F;
S5、输出当前帧目标状态
在步骤S4中,如果能量减小,则接受模型更新,转到步骤S2继续迭代优化;否则,退出迭代循环,输出当前帧最优的目标状态,转到步骤S1。
前述的基于受限结构图搜索的目标跟踪方法,其特征在于,在步骤S3中,求解目标状态B的方法为:
(1)使用采样方法得到一系列候选目标状态;
(2)基于上一帧目标尺度选择当前帧的目标中心位置;
(3)选出使目标函数能量最小的目标尺度。
本发明的有益之处在于:
(1)相比于之前基于结构图模型的目标跟踪算法相对独立考虑各模块的促进作用,本发明将基于图模型的跟踪算法的顺序组织的模块在能量最小化框架中统一考虑,能更好挖掘各模块之间的相互支持关系,使它们相互约束和促进,提升跟踪效果;
(2)本发明采用基于轮换迭代的优化方法,将原始的多变量优化问题分解为多个较易处理的能量最小化子问题来逐一求解,使得学习到的目标结构图模型在全局目标表象约束下更好地表示目标结构的局部变化,提高了目标跟踪精度。
附图说明
图1是本发明的基于受限结构图搜索的目标跟踪示意图;
图2是本发明的基于受限结构图搜索的目标跟踪方法流程图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
参照图1和图2,本发明的基于受限结构图搜索的目标跟踪方法包括以下步骤:
S0、初始化目标模型
根据第一帧标定的目标状态,得到目标尺度两倍大小的目标搜索区域R,然后使用Simple Linear Iterative Clustering算法(SLIC算法)将该目标搜索区域R过分割为一系列颜色相似像素的超像素超像素相比于规则的图像块,能更好地保留目标边缘信息,减小背景噪声。
收集在目标框内的超像素为正样本,目标框外的超像素为负样本,这样学习一个线性支持向量机模型作为表象模型M以及相关滤波器模型F作为整体约束,另外,建立目标结构图模型G={V,C},其中V表示目标部件集合,C表示临近目标部件集合关系组成的边的集合。
S1、输入下一视频帧
根据上一帧的目标状态B,确定当前帧的目标搜索区域,即在目标中心位置的两倍当前目标尺度搜索,然后将该目标搜索区域过分割为一系列超像素。
S2、求解目标部件标签
对于目标部件选择,其目标为借助于表象模型M从背景(记作f0)中选择出目标部件为了对目标结构信息进行建模,建立一个目标结构图模型G来区分每一个目标部件。为方便起见,使用目标部件标签集合来表达其状态。在此基础上,相关滤波器模型F可以为目标状态B提供一个全局约束。
终上所述,本发明建立的能量最小化模型如下式所示:
其中,EPS、EPM和ESE分别表示目标部件选择的能量、目标部件匹配的能量和目标状态估计的能量,λSE为平衡系数。
各项具体定义如下:
(1)目标部件选择的能量EPS的定义为:
其中,Eda表征超像素部件属于前景或者背景的概率,Esm确保了标签标记的连续性,λb为平衡系数。
(2)目标部件匹配的能量EPM的定义为:
其中,Eap衡量超像素部件对结构图模型G中目标部件的相似性,Ege衡量目标部件的局部结构的相似性,λb为平衡系数。
(3)目标状态估计的能量ESE的定义为:
在给定了目标模型M,G,F和目标状态B之后,本发明的能量最小化模型可以重新表示为:
由于上述能量最小化模型包含了多类变量,很难同时优化,所以本发明采用轮换迭代的优化方式将优化过程分为三个阶段:
(1)固定目标模型M,G,F和目标状态B,求解目标部件标签L;
(2)固定目标模型M,G,F和目标部件标签L,求解目标状态B;
(3)固定目标状态B和目标部件标签L,更新目标模型M,G,F。
如此三个阶段交替进行,直到总能量不再降低而退出迭代循环,最后计算得到当前帧最优的目标状态B*(如图1所示)。
在求解目标部件标签L这一步中,我们执行的是上述优化过程的第一个阶段,即固定目标模型M,G,F和目标状态B,求解目标部件标签L,并具体使用图割算法求解得到目标部件标签L。
S3、求解目标状态
求解目标状态B的方法具体为:
(1)使用采样方法得到一系列候选目标状态;
(2)基于上一帧目标尺度选择当前帧的目标中心位置;
(3)选出使目标函数能量最小的目标尺度。
S4、更新目标模型
在更新目标模型M,G,F这一步中,我们执行的是上述优化过程的第三个阶段,即为了适应目标在运动过程中的表象变化,根据求解得到的目标部件标签L和目标状态B,更新目标模型M,G,F,如下式所示:
其中,Eda表示超像素部件p属于前景或者背景的概率,EPM表示目标部件匹配的能量,F(B,R)表示搜索区域R中任意目标状态B对应的响应分数,λ1为平衡两项的系数。
各项相互独立,可以分别更新各个模型,具体地,通过目标部件标签L和目标状态B得到训练样本,学习新的目标模型M,G,F。
S5、输出当前帧目标状态
在步骤S4中,如果能量减小,则接受模型更新,转到步骤S2继续迭代优化;如果能量不再降低,则退出迭代循环,输出当前帧最优的目标状态B*,转到步骤S1。
综上所述,本发明通过建立一个统一的能量最小化模型,将基于图模型的目标跟踪算法的各模块集成到了一起,不仅同时考虑到了算法各模块的促进作用,而且还挖掘了其相互支持的关系,最终使得跟踪效果得到了进一步提高。
此外,针对该能量最小化模型,本发明采用轮换迭代的优化方法对各变量进行求解,基于能量逐渐减小的迭代过程,可以在全局目标表象的约束下搜索得到更加可靠的目标结构图模型用以表达目标部件的表象和结构。
需要说明的是,上述实施例不以任何形式限制本发明,凡采用等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。
Claims (3)
1.基于受限结构图搜索的目标跟踪方法,其特征在于,包括以下步骤:
S0、初始化目标模型
根据第一帧标定的目标状态,得到目标尺度两倍大小的目标搜索区域R,然后将该目标搜索区域R过分割为一系列颜色相似像素的超像素收集在目标框内的超像素为正样本,目标框外的超像素为负样本,这样学习一个线性支持向量机模型作为表象模型M以及相关滤波器模型F作为整体约束,另外,建立目标结构图模型G={V,C},其中V表示目标部件集合,C表示临近目标部件集合关系组成的边的集合;
S1、输入下一视频帧
根据上一帧的目标状态B,确定当前帧的目标搜索区域,在目标中心位置的两倍当前目标尺度搜索,然后将该目标搜索区域过分割为一系列超像素;
S2、求解目标部件标签
给定目标模型M,G,F和目标状态B,则能量最小化函数可表示为:
其中:
然后固定目标模型M,G,F和目标状态B,求解目标部件标签L,并具体使用图割算法求解得到目标部件标签L;
S3、求解目标状态
得到目标部件标签L以后,联合相关滤波器模型F求解目标状态B;
S4、更新目标模型
根据求解得到的目标部件标签L和目标状态B更新目标模型M,G,F,如下式所示:
其中,Eda表示超像素部件p属于前景或者背景的概率,EPM表示目标部件匹配的能量,F(B,R)表示搜索区域R中任意目标状态B对应的响应分数,λ1为平衡两项的系数;
各项相互独立,可以分别更新各个模型,通过目标部件标签L和目标状态B得到训练样本,学习新的目标模型M,G,F;
S5、输出当前帧目标状态
在步骤S4中,如果能量减小,则接受模型更新,转到步骤S2继续迭代优化;否则,退出迭代循环,输出当前帧最优的目标状态,转到步骤S1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710302422.8A CN107194951B (zh) | 2017-05-02 | 2017-05-02 | 基于受限结构图搜索的目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710302422.8A CN107194951B (zh) | 2017-05-02 | 2017-05-02 | 基于受限结构图搜索的目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107194951A CN107194951A (zh) | 2017-09-22 |
CN107194951B true CN107194951B (zh) | 2020-08-21 |
Family
ID=59872846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710302422.8A Expired - Fee Related CN107194951B (zh) | 2017-05-02 | 2017-05-02 | 基于受限结构图搜索的目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107194951B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615640B (zh) * | 2018-11-19 | 2021-04-30 | 北京陌上花科技有限公司 | 相关滤波目标跟踪方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8520956B2 (en) * | 2009-06-09 | 2013-08-27 | Colorado State University Research Foundation | Optimized correlation filters for signal processing |
CN104574445B (zh) * | 2015-01-23 | 2015-10-14 | 北京航空航天大学 | 一种目标跟踪方法 |
CN105913275A (zh) * | 2016-03-25 | 2016-08-31 | 哈尔滨工业大学深圳研究生院 | 一种基于视频主角识别的服装广告投放方法及*** |
CN106127811A (zh) * | 2016-06-30 | 2016-11-16 | 西北工业大学 | 基于上下文的目标尺度自适应跟踪方法 |
-
2017
- 2017-05-02 CN CN201710302422.8A patent/CN107194951B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN107194951A (zh) | 2017-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | DXSLAM: A robust and efficient visual SLAM system with deep features | |
CN110781262B (zh) | 基于视觉slam的语义地图的构建方法 | |
Tan et al. | Night-time scene parsing with a large real dataset | |
CN108596053B (zh) | 一种基于ssd和车辆姿态分类的车辆检测方法和*** | |
CN108985334B (zh) | 基于自监督过程改进主动学习的通用物体检测***及方法 | |
US20210183097A1 (en) | Spare Part Identification Using a Locally Learned 3D Landmark Database | |
CN110390396B (zh) | 用于估计观测变量之间的因果关系的方法、装置和*** | |
KR101348904B1 (ko) | 고차 상관 클러스터링을 이용한 이미지 분할 방법, 이를 처리하는 시스템 및 기록매체 | |
US11816149B2 (en) | Electronic device and control method thereof | |
CN109522900B (zh) | 自然场景文字识别方法及装置 | |
CN110796679B (zh) | 一种面向航拍影像的目标跟踪方法 | |
CN113628244B (zh) | 基于无标注视频训练的目标跟踪方法、***、终端及介质 | |
CN115512251A (zh) | 基于双分支渐进式特征增强的无人机低照度目标跟踪方法 | |
CN110728694A (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
CN107194948B (zh) | 基于集成式预测与时空域传播的视频显著性检测方法 | |
CN109426832A (zh) | 场景三维建模中的闭环检测方法、存储介质及电子设备 | |
CN113313166A (zh) | 基于特征一致性学习的船舶目标自动标注方法 | |
CN116448019A (zh) | 建筑节能工程质量平面度智能检测装置及方法 | |
CN112966553A (zh) | 基于孪生网络的强耦合目标跟踪方法、装置、介质及设备 | |
CN115605862A (zh) | 训练用于3d模型数据库查询的可微分渲染器和神经网络 | |
Lukyanenko et al. | Developmental stage classification of embryos using two-stream neural network with linear-chain conditional random field | |
CN107194951B (zh) | 基于受限结构图搜索的目标跟踪方法 | |
KR101700030B1 (ko) | 사전 정보를 이용한 영상 물체 탐색 방법 및 이를 수행하는 장치 | |
CN112597871A (zh) | 基于二阶段聚类的无监督车辆重识别方法、***及存储介质 | |
CN116958057A (zh) | 一种策略引导的视觉回环检测的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200821 |
|
CF01 | Termination of patent right due to non-payment of annual fee |