CN107358620B - 基于混成***的全遮挡行人跟踪方法及其装置 - Google Patents
基于混成***的全遮挡行人跟踪方法及其装置 Download PDFInfo
- Publication number
- CN107358620B CN107358620B CN201610303631.XA CN201610303631A CN107358620B CN 107358620 B CN107358620 B CN 107358620B CN 201610303631 A CN201610303631 A CN 201610303631A CN 107358620 B CN107358620 B CN 107358620B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- tracking
- model
- pedestrians
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
一种基于混成***的全遮挡行人跟踪方法,根据行人运动特点以及在跟踪中需要学习的行人特征,构建相应的跟踪模型和辨识模型,行人未被遮挡时,跟踪模型跟踪行人的同时学习行人特征,行人被遮挡时通过模型转移规则的感知条件感知行人被遮挡并切换为辨识模型;辨识模型利用学习到的行人特征从检测结果中根据模型转移规则的辨识条件不断辨识失跟行人;在辨识模型辨识到失跟行人时,通过模型转移规则的重置条件重置跟踪行人的状态并切换到跟踪模型继续跟踪,实现存在全遮挡情况下的行人跟踪;本发明设计合理,将模型驱动和数据驱动算法利用混成***的思想整合在一起解决了这个实际问题,大大提高了跟踪的准确度和成功率。
Description
技术领域
本发明涉及的是一种计算机视觉监控目标跟踪领域的技术,具体是一种基于混成***的全遮挡行人跟踪方法及其装置。
背景技术
传统的单个行人跟踪主要有两大类方法:目标表示和定位、滤波与数据关联。目前常用的行人跟踪算法为第一类方法。这类方法又可分为三小类方法:生成式跟踪、判别式跟踪和检测与跟踪混合式跟踪。生成式算法学习一个代表性模型表示跟踪目标并且利用该模型搜索使得重建误差最小的图像区域;判别式算法将跟踪问题视为一个在局部搜索区域的二分类问题,利用学习到的分类器在当前帧搜索得到与背景最具区分度的图像区域。
基于目标表示和定位的算法在最近十年来得到了长足发展。针对行人的遮挡提出了一些切实有效的算法,比如L1跟踪算法(Xue Mei and Haibin Ling,Robust VisualTracking and Vehicle Classification via Sparse Representation[J].IEEE TPAMI,November 2011,vol.33(11):2259-2271)将跟踪转化为在粒子滤波框架下稀疏近似问题。在跟踪过程中,候选目标利用目标模板和琐碎模板进行线性表示。在遮挡出现时,有限的稀疏模板将被激活但是整个系数矢量仍然保持稀疏。FCT(Kaihua Zhang,Lei Zhang andMing-Hsuan Yang,Fast compressive tracking[J].IEEE T PAMI,October 2014,vol.36(10):2002-2015)模型是基于保留图像结构的非自适应随机映射的表观模型。一个非常稀疏的量测矩阵从前景和背景目标中提取有效的压缩特征,跟踪的任务由一个压缩域中带有在线更新功能的二分类器完成。表观模型从不相关的量测中学习到了的目标和背景的差异性,可以减小背景像素的影响,从而可以处理遮挡和跟踪目标姿态变化的问题。总而言之,这两种方法利用他们具有区分性的目标表观表示和模型更新机制有效处理部分遮挡甚至严重遮挡。在遮挡出现时,他们充分利用了未被遮挡部分的目标特征跟踪目标。但是当目标被全遮挡后,如果目标的表观模型停止模板更新,那么当丢失目标重新出现在目标搜索范围内时算法能继续跟踪目标。如果模板更新出现偏差或者丢失目标出现在目标搜索范围以外,算法就会失效。
检测和跟踪结合的代表算法是TLD(Zdenek Kalal,Krystian Mikolajczyk,JiriMatas.Tracking-learning-detection[J].IEEE T PAMI,July 2012,34(7):1409-1422)算法。该算法中检测器和***同时估计目标的候选位置。当跟踪结果更有效时输出跟踪结果,当检测结果更有效时重置目标的位置。学习器利用最佳估计结果迭代训练更好的检测器。该算法对刚性目标有很好的跟踪能力,但是对于行人跟踪尤其存在全遮挡的行人跟踪效果不好。滤波和数据关联的方法中针对单目标跟踪常用的方法有PF滤波和Kalman滤波及其衍生的EKF滤波和UKF滤波。这些算法结合门技术可以实现目标丢失的可靠判断。然而当目标存在全遮挡的情况时,由于目标运动信息的丢失导致后续跟踪失效。为了实现行人遮挡前后的连续跟踪,需要1)在行人被遮挡前很好的跟踪行人并训练一些能辨识该行人的特征以便该行人在遮挡后再次出现时能被有效辨识;2)在行人被遮挡后停止基于行人状态的跟踪和对行人特征的学习;3)利用学习到的特征从检测结果辨识到失跟行人时重置跟踪状态进行跟踪。
混成***是一类既包含连续动态行为又包含离散动态行为的***,这些连续和离散动力学行为不仅共同存在,而且相互作用。混成***的发展演化既取决于对离散的瞬时事件的响应,又取决于对微分和差分方程表示的随时间变化的动力学行为的响应。该方法被广泛应用于计算机科学领域、建模和仿真领域、***与控制科学领域(Arjian van derSchaft and Hans Schumacher.An introduction to hybrid dynamical systems[B].1sted.vol.251.Springer,London,UK,2000.),然而该算法很少用在视频目标跟踪领域。
由于监控场景中单个摄像头视角局限,不可避免的存在行人全遮挡情况,在这种情况下对行人跟踪就需要算法能够辨识到遮挡并且在失跟行人再次出现时继续跟踪。
经过对现有技术的检索发现,中国专利文献号CN102663409A,公布日2012.9.12,公开了一种基于HOG-LBP描述的行人跟踪方法,包含如下步骤:A1、样本建立;A2、特征提取;A3、建立SVM模型;A4、分类器训练;A5、视频捕获与预处理;A6、视频行人检测;A7、视频行人跟踪:使用基于HOG-LBP特征的粒子滤波跟踪方法对步骤A6检测到的行人进行跟踪。但该技术1)由于HOG-LBP描述子加SVM分类器的行人检测算法的缺陷,在选取正负样本时往往需要加入跟踪行人的训练样本,不利于对未知行人的检测;2)在解决遮挡问题时没有考虑行人落在粒子滤波预测区域之外的情况;3)算法没有航迹终结机制,在行人被遮挡后仍然更新模板,必然会导致模板更新错误,无法进行后续行人跟踪;4)根据算法描述如果行人被全遮挡一段时间后出现在粒子滤波未预测到的位置,易被识别为新生目标。
发明内容
本发明针对现有技术存在的上述不足,提出一种基于混成***的全遮挡行人跟踪方法及其装置,通过构建行人跟踪模型和行人辨识模型,在行人被全遮挡前通过行人跟踪模型跟踪并学习行人特征,在跟踪行人被全遮挡时停止学习,通过行人辨识模型利用学习到的行人特征从检测结果中辨识出失跟行人并继续进行跟踪。
本发明是通过以下技术方案实现的:
本发明涉及一种基于混成***的全遮挡行人跟踪方法,根据行人运动特点以及在跟踪中需要学习的行人特征,构建相应的跟踪模型和辨识模型,行人未被遮挡时,跟踪模型跟踪行人的同时学习行人特征,行人被遮挡时通过模型转移规则的感知条件感知行人被遮挡并切换为辨识模型;辨识模型利用学习到的行人特征从检测结果中不断辨识失跟行人;在辨识模型辨识到失跟行人时,根据模型转移规则的重置条件重置跟踪行人的状态并切换到跟踪模型继续跟踪,实现存在全遮挡情况下的行人跟踪。
所述的检测结果是指:采用行人检测算法ACF检测行人区域。
所述的辨识模型包括:行人运动的可达性子模型、尺度子模型和表观子模型。
所述的尺度子模型为P′t|t-1=Q′+F′P′t-1FT,S′=H′P′t|t-1H′T+R′,其中:z′为含有噪声的关于检测结果的尺度信息,F′=I2,H′=I2,如果γ′为二维椭球门门限,则尺度子模型成立。
本发明涉及一种实现上述方法的装置,包括:视频采集单元、跟踪和特征学习单元、辨识单元和转移规则单元,其中:跟踪和特征学习单元在跟踪行人的同时学习行人特征,辨识单元根据跟踪和特征学习单元学习到的行人特征从检测结果中辨识失跟行人;转移规则单元根据感知条件、辨识条件和重置条件进行跟踪和特征学习单元和辨识单元间的切换和状态重置。
技术效果
与现有技术相比,本发明设计合理,基于混成***对存在全遮挡的行人进行跟踪辨识,易于控制,极大了提升了行人跟踪的准确度和成功率,并且本算法不需要跟踪行人的样本信息进行训练,利用先进的行人检测算法ACF结合INRIA数据库即可实现未知行人的检测。
附图说明
图1为全遮挡行人跟踪方法示意图;
图2为实施例定性结果图;
图3为全遮挡行人跟踪装置示意图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
如图1所示,本实施例涉及一种基于混成***的全遮挡行人跟踪方法,包括以下步骤:
步骤1、根据行人检测算法ACF检测到的N个行人的行人区域作为检测结果,基于行人运动一般符合常速运动模型的假设,结合Kalman滤波算法构建跟踪模型,实现行人跟踪,并学习行人特征。
所述的行人检测算法ACF(Aggregated Channel Features)引自Piotr Dollar等人的《Fast feature pyramids for object detection》([J].IEEET PAMI,August 2014,36(8):1532-1545)一文。
其中:σu为过程噪声标准差,σv为观测噪声标准差。
所述的行人分类器具体是指:在行人跟踪的同时,在跟踪结果附近抽取Npos个正样本和Nneg个负样本并根据模板计算相应的值,并基于这些值采用增量SVM训练一个基于行人特征的能从检测结果中标识跟踪行人的分类器。
所述的正样本在以估计行人中心为中心,以跟踪行人宽度的Sw为半径的圆形区域抽取,负样本在以估计行人中心为中心,分别以跟踪行人宽度的Swi和Swo为内外半径的圆环区域抽取。
所述的正样本和负样本的值以抽取的正负样本和模板的相似度sim(T,y)表示,其中:T为模板图像,y为正样本和负样本的图像。
所述的模板图像T以及正样本和负样本的图像y在调整到相同图像大小后(如128×64),采用行人相似度度量算法或类似手段进行行人相似度度量。
所述的行人相似度度量算法引自Zhao等人的《Unsupervised Salience Learningfor Person Re-identification》(In proceeding of Conferenceon Computer Visionand Pattern Recognition[C],Portland,OR,USA,25-27June 2013:3586-3593)一文。
所述的增量式SVM可采用Diehl等人的《SVM incremental learning,adaptationand optimization》(In Proceedings of the International Joint Conference onNeural Networks[C],Portland,OR,USA,20-24July 2003:2685-2690)。
步骤2、构建辨识模型,结合行人运动的可达性、尺度信息和表观信息从检测结果中筛选出可能作为跟踪行人的目标。
所述的尺度子模型为P′t|t-1=Q′+F′P′t-1FT,S′=H′P′t|t-1H′T+R′,其中:z′为含有噪声的关于检测结果的尺度信息,F′=I2,H′=I2,如果γ′为二维椭球门门限,则尺度子模型成立。
所述的尺度子模型可采用椭球门算法,引自Blackman等人的《Design andanalysis of modern tracking sysyems》(Artech House,Boston,1999)一文。
所述的二维椭球门门限引自周宏仁等人的《机动目标跟踪》([B]国防工业出版社,1991)一书。
步骤3、创建模型转移规则并实时判断当前时刻起作用的模型,并进行实验检测。
所述的模型转移规则包括感知条件τ1、辨识条件τ2和重置条件τ3。
所述的实验检测的数据采用自拍的存在行人全遮挡的视频。
所述的视频在跟踪行人进群和出群前后姿态有很大的变化。
所述的视频在跟踪行人被全遮挡后,干扰行人先出并且失跟行人出群的位置未知。
本实施例的参数取值如表1所示。
表1参数设置表
如图2所示,为本实施例的定性实验结果,由图可知本实施例能够保证跟踪行人失跟前稳定的跟踪;在跟踪行人被遮挡后能够及时判断出遮挡;在干扰行人出现时不跟踪,在真正目标出现后及时辨识到失跟行人并进行跟踪;所述算法不受失跟行人再出现位置的影响(行人被遮挡后无论是沿遮挡前行进方向行走还是按原路返回,算法都能辨识和再跟踪失跟行人)。
本实施例与FCT、LIAPG和TLD算法在五组测试视频中的平均中心误差比较如表2所示。
表2平均中心误差比较表
Test1 | Test2 | Test3 | Test4 | |
FCT | 28 | 40 | 64 | 17 |
TLD | 45 | 49 | 26 | 13 |
L1APG | 20 | 44 | 41 | 7 |
Ours | 2 | 3 | 2 | 4 |
由表2可知,由于在完全遮挡后能够准确从检测结果中捕获到失跟行人,本实施例在每组测试中的平均中心误差均最小。其他算法由于搜索范围或者对行人辨识能力差的原因平均中心误差较高。
本实施例与FCT、LIAPG和TLD算法在四组测试视频中的跟踪成功率结果如表3所示。
表3跟踪成功率结果
Test1 | Test2 | Test3 | Test4 | |
FCT | 0.63 | 0.60 | 0.01 | 0.57 |
TLD | 0.36 | 0.52 | 0.70 | 0.74 |
L1APG | 0.65 | 0.60 | 0.53 | 0.91 |
Ours | 0.99 | 0.93 | 0.96 | 0.93 |
由表3可得,本实施例在存在全遮挡时行人跟踪成功率最高,并且在测试中保持稳定,可以实现跟踪行人消失后及时的跟踪终止,并且能够从检测结果中准确辨识到失跟目标并进行跟踪。
本实施例的模型转移规则采用椭球门算法,当检测结果并非只有一个落在跟踪行人的椭球门内时,模型需要从跟踪模型转移到辨识模型;当辨识模型未能从其检测结果中辨识到失跟行人时模型再次跳转到辨识模型;当辨识模型从其检测结果中辨识到跟踪行人时,重置行人跟踪位置状态并从辨识模型转移到跟踪模型。
如图3所示,本实施例涉及一种实现上述方法的装置,包括:视频采集单元、跟踪和特征学习单元、辨识单元和转移规则单元,其中:跟踪单元在跟踪行人的同时学习行人特征,辨识单元根据跟踪和特征学习单元学习到的行人特征从对检测结果中辨识失跟行人;转移规则单元根据感知条件、辨识条件和重置条件进行跟踪和特征学习单元和辨识单元间的切换和状态重置。
Claims (4)
1.一种基于混成***的全遮挡行人跟踪方法,其特征在于,根据行人运动特点以及在跟踪中需要学习的行人特征,构建相应的跟踪模型和辨识模型,行人未被遮挡时,跟踪模型跟踪行人的同时学习行人特征,行人被遮挡时通过模型转移规则的感知条件感知行人被遮挡并切换为辨识模型;辨识模型利用学习到的行人特征从检测结果中不断辨识失跟行人;在辨识模型辨识到失跟行人时,通过模型转移规则的重置条件重置跟踪行人的状态并切换到跟踪模型继续跟踪,实现存在全遮挡情况下的行人跟踪;
所述的检测结果是指:采用行人检测算法ACF检测到的行人区域;
所述的辨识模型包括:行人运动的可达性子模型、尺度子模型和表观子模型,其中:
4.一种实现权利要求1~3中任一所述方法的装置,包括:视频采集单元、跟踪和特征学习单元、辨识单元和转移规则单元,其中:跟踪和特征学习单元在行人跟踪的同时学习行人特征,辨识单元根据特征学习单元学习到的行人特征建立辨识模型并对检测结果中辨识失跟行人;转移规则单元根据感知条件、辨识条件和重置条件进行跟踪单元和辨识单元间的切换和状态重置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610303631.XA CN107358620B (zh) | 2016-05-10 | 2016-05-10 | 基于混成***的全遮挡行人跟踪方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610303631.XA CN107358620B (zh) | 2016-05-10 | 2016-05-10 | 基于混成***的全遮挡行人跟踪方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107358620A CN107358620A (zh) | 2017-11-17 |
CN107358620B true CN107358620B (zh) | 2020-07-10 |
Family
ID=60271264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610303631.XA Active CN107358620B (zh) | 2016-05-10 | 2016-05-10 | 基于混成***的全遮挡行人跟踪方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107358620B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007033286A2 (en) * | 2005-09-13 | 2007-03-22 | Verificon Corporation | System and method for object tracking and activity analysis |
CN102646279A (zh) * | 2012-02-29 | 2012-08-22 | 北京航空航天大学 | 一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法 |
CN102881022A (zh) * | 2012-07-20 | 2013-01-16 | 西安电子科技大学 | 基于在线学习的遮挡目标跟踪方法 |
CN104951758A (zh) * | 2015-06-11 | 2015-09-30 | 大连理工大学 | 市区环境下基于视觉的车载行人检测与跟踪方法及*** |
-
2016
- 2016-05-10 CN CN201610303631.XA patent/CN107358620B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007033286A2 (en) * | 2005-09-13 | 2007-03-22 | Verificon Corporation | System and method for object tracking and activity analysis |
CN102646279A (zh) * | 2012-02-29 | 2012-08-22 | 北京航空航天大学 | 一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法 |
CN102881022A (zh) * | 2012-07-20 | 2013-01-16 | 西安电子科技大学 | 基于在线学习的遮挡目标跟踪方法 |
CN104951758A (zh) * | 2015-06-11 | 2015-09-30 | 大连理工大学 | 市区环境下基于视觉的车载行人检测与跟踪方法及*** |
Non-Patent Citations (1)
Title |
---|
A cascade framework for unoccluded and occluded pedestrian detection;Aayush Ankit等;《Proceedings of the 2014 IEEE Students" Technology Symposium》;20140501;62-67 * |
Also Published As
Publication number | Publication date |
---|---|
CN107358620A (zh) | 2017-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
LaLonde et al. | Clusternet: Detecting small objects in large scenes by exploiting spatio-temporal information | |
US11195038B2 (en) | Device and a method for extracting dynamic information on a scene using a convolutional neural network | |
Yahiaoui et al. | Fisheyemodnet: Moving object detection on surround-view cameras for autonomous driving | |
Choudhury et al. | Vehicle detection and counting using haar feature-based classifier | |
Zhou et al. | Robust vehicle detection in aerial images using bag-of-words and orientation aware scanning | |
Cao et al. | Vehicle detection and motion analysis in low-altitude airborne video under urban environment | |
CN106886216B (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和*** | |
CN108416780B (zh) | 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法 | |
Zhang et al. | Detection and tracking of multiple humans with extensive pose articulation | |
CN105913459B (zh) | 基于高分辨率连拍图像的运动目标检测方法 | |
CN103246896A (zh) | 一种鲁棒性车辆实时检测与跟踪方法 | |
Denman et al. | Multi-spectral fusion for surveillance systems | |
Teutsch et al. | Robust detection of moving vehicles in wide area motion imagery | |
Vignesh et al. | Abnormal event detection on BMTT-PETS 2017 surveillance challenge | |
Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification | |
Amrouche et al. | Vehicle Detection and Tracking in Real-time using YOLOv4-tiny | |
CN107292908A (zh) | 基于klt特征点跟踪算法的行人跟踪方法 | |
Miller et al. | Person tracking in UAV video | |
Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
CN110349184B (zh) | 基于迭代滤波和观测判别的多行人跟踪方法 | |
Liu et al. | Multi-view vehicle detection and tracking in crossroads | |
Yang et al. | Edge-based moving object tracking algorithm for an embedded system | |
Ma et al. | Depth assisted occlusion handling in video object tracking | |
CN107358620B (zh) | 基于混成***的全遮挡行人跟踪方法及其装置 | |
Bardas et al. | 3D tracking and classification system using a monocular camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |