CN106682573B - 一种单摄像头的行人跟踪方法 - Google Patents
一种单摄像头的行人跟踪方法 Download PDFInfo
- Publication number
- CN106682573B CN106682573B CN201611004661.7A CN201611004661A CN106682573B CN 106682573 B CN106682573 B CN 106682573B CN 201611004661 A CN201611004661 A CN 201611004661A CN 106682573 B CN106682573 B CN 106682573B
- Authority
- CN
- China
- Prior art keywords
- motion profile
- object observing
- image
- feature
- pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 3
- 239000000284 extract Substances 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 210000003746 feather Anatomy 0.000 claims description 3
- 244000144992 flock Species 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 241001239379 Calophysus macropterus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种单摄像头的行人跟踪方法。本发明采用分层次跟踪的策略,先把检测目标连接成稳定可靠的小段运动轨迹,然后通过匹配小段运动轨迹并填充小段运动轨迹间的空白段,形成最终的跟踪轨迹。该策略有利于解决跟踪过程中由于行人被短时间遮挡而引起的轨迹中断问题。在小段运动轨迹的构造中,本发明提出了基于级联思想的两步匹配方法,先采用高效的直方图匹配方法处理匹配难度小的情况,再进一步采用鲁棒的稀疏表示分类器解决目标表观相似引起的混淆问题。在小段运动轨迹之间的匹配中,本发明提出了基于稀疏表示的轨迹距离度量方法,对由环境变化和目标形变引起的目标表观变化情况有较好的鲁棒性。另外,本发明还提出计算量小的基于层次聚类的轨迹匹配方法,提高全局多轨迹匹配的效率。
Description
技术领域
本发明涉及智能安防领域,更具体地,涉及一种单摄像头的行人跟踪方法。
背景技术
智能视频监控作为安防领域一项极具发展前景的技术,需要对视频中的兴趣目标进行跟踪、检测识别和行为分析。多目标跟踪技术需要从场景视频中检测出多个目标的轨迹,为目标的行为分析提供依据。同时,采集视频录像的行人轨迹数据并加以分析,能够为设施规划提供更多有用的信息,甚至发掘出潜在的商业价值。因此,实现智能化的多目标跟踪具有广阔的应用前景。
基于多摄像头的多目标跟踪方法在解决目标遮挡问题时有一定优势。这类方法一般通过多目视觉算法计算目标的深度信息,来改善跟踪效果。然而,绝大多数的视频录像是由单摄像头拍摄的,无法使用基于多摄像头的跟踪方法。基于多摄像头的多目标跟踪***成本一般更高,且需要进行摄像头的安装规划。
目前已有的基于单摄像头的多目标跟踪方法主要基于两种主流的匹配方法:基于能量函数的优化方法以及基于图论的优化方法。其中基于能量函数的优化方法所使用的一般是高度非凸函数,往往不能求解出全局最优解,很容易出现目标交汇混淆的问题,而且优化效率很低。基于图论的匹配算法多采用匈牙利算法或是最小代价网络流算法,这些算法在人数较多的情境下往往效率低下。在目标表达方面,已有方法多采用直方图或者是在线学习表观模型。基于直方图的匹配方法虽然计算量小,但是难以充分解决不同目标表观相似和同一目标表观变化等问题。而在线学习表观模型易于在轨迹初始化时遭遇样本过小的问题,或是效率不高。
发明内容
本发明为解决以上现有技术的难题,提供了一种单摄像头的行人跟踪方法,该方法先把视频帧中的观察目标连接成稳定可靠的运动轨迹,然后通过匹配运动轨迹并填充运动轨迹间的空白段,形成最终的跟踪轨迹。该策略能够很好地解决跟踪过程中行人短时间被遮挡引起的轨迹中断问题。
为实现以上发明目的,采用的技术方案是:
一种单摄像头的行人跟踪方法,包括以下步骤:
S1.对视频图像进行检测,将检测出来的行人称为观察目标;
S2.设在当前帧t检测到有κ个观察目标,提取这κ个观察目标的特征;
S3.设在当前帧t,同时存在若干条在当前帧t之前的运动轨迹,T={ds,ds+1,...,de}表示一条运动轨迹,其中s、e分别为轨迹T的起始时刻和终止时刻;对于运动轨迹通过位置约束条件选出在当前帧t可能关联的观察目标,然后计算运动轨迹Ti与可能关联的观察目标的相似度,将与运动轨迹Ti相似度最高的观察目标作为该运动轨迹的最佳观察目标;
S4.经过步骤S3的匹配后,每个观察目标遇到以下三种情况之一:
A.观察目标不是任何运动轨迹的的最佳观察目标,因而未能成功配对;
B.观察目标仅是一条运动轨迹的最佳观察目标,则将该观察目标与该运动轨迹配对;
C.观察目标是多条运动轨迹的最佳观察目标,则利用稀疏表示分类器对观察目标进行分类,利用分类器确定该观察目标所属的运动轨迹,将观察目标与该运动轨迹配对;
S5.执行步骤S4后,对运动轨迹进行更新:
D.对于未成功配对到运动轨迹的观察目标,新建立一条以该观察目标为起点的运动轨迹;
E.对于成功配对到运动轨迹的观察目标,将该观察目标连接到运动轨迹的末端;
F.对于未成功配对到观察目标的运动轨迹,则利用该运动轨迹在当前帧t之前m帧的位置线性预测出其在当前帧t的位置,并将其称之为预测目标,若预测目标和运动轨迹的相似度大于阈值,则将预测目标连接到运动轨迹的末端;
S6.重复执行步骤S3-S5,直到遍历完图像序列,低层次数据关联过程结束;
S7.通过时空约束条件选出有可能关联的运动轨迹对(Ta,Tb);
S8.采集足够数量的行人图像;若图像中行人腿部是呈靠拢状态的,则标记为正样本,否则标记为负样本;对图像中行人腿部计算梯度方向直方图,并且以此作为特征,离线训练一个能够区分图像中行人腿部是否呈靠拢状态的支持向量机;
S9.使用支持向量机判别Ta、Tb的每张图像中行人腿部是否呈靠拢状态,并选出判别结果为正的图像作为Ta、Tb的代表性图像子集(Aa,Ab);
S10.对运动轨迹对(Ta,Tb)的代表性图像子集(Aa,Ab)进行图像特征提取,然后基于提取的特征使用双向重构的策略来计算运动轨迹对(Ta,Tb)的距离,若运动轨迹对(Ta,Tb)的距离大于指定阈值,则舍弃该运动轨迹对;
S11.基于层次聚类的轨迹匹配:
将运动轨迹视为点,将S10得到的运动轨迹对视为边,边的权值取运动轨迹对的距离,由此构成一个无向图G=(V,E),其中V={T1,T2,...,Tn},E={(Ta,Tb,D(Ta,Tb))|D(Ta,Tb)<θD且1≤a,b≤n,n为运动轨迹数;
聚类开始时,设类别数为n,每个类只包含一个点;每个点具有一个时间跨度Zi={si,si+1,...,ei};每个类的时间跨度为该类所有点的时间跨度的并集;然后进行如下聚类:
G.从边集中选出权值最小的边l;
H.若边l的两端点所属类的时间跨度没有交集,则把这两个类聚合成一个类;
I.从边集中删除边l,若边集为空集,聚类结束,否则返回G;
J.聚类结束后,每一类表示一个行人目标;
S12.轨迹修复:
对于S11得到的每一个类,把所有观察目标的垂直坐标x、水平坐标y、检测窗口高度h分开处理,使用样条线分别拟合x-t曲线、y-t曲线、h-t曲线,以填补缺失的轨迹点并对轨迹进行平滑。
上述方案中,本发明提出的方法采用分层次跟踪的策略,先把视频帧中的检测目标连接成稳定可靠的小段运动轨迹,然后通过匹配小段运动轨迹并填充小段运动轨迹间的空白段,形成最终的跟踪轨迹。该策略能够很好地解决跟踪过程中行人短时间被遮挡引起的轨迹中断问题。进一步地,本发明使用了基于稀疏表示的目标匹配和轨迹距离度量方法,能够很好地处理由环境变化和目标形变引起的同一目标表观变化问题,改善由于不同目标表观相似而导致的目标混淆。
优选地,所述步骤S2中,提取观察目标特征的具体过程如下:提取观察目标对应的图像区域的颜色直方图和梯度方向直方图作为观察目标的特征;
其中提取颜色直方图的具体步骤如下:
把观察目标图像在竖直方向等分成两部分,分别提取两部分的HSV概率直方图,每通道分32个等级,每部分得到96维特征cupper和clower,颜色直方图为c=[cupper,clower];
提取梯度方向直方图的具体步骤如下:
把观察目标图像归一化到64×32像素的尺寸,然后提取其HOG特征;其中采用大小为8×8像素的单元,从中提取9维直方图,每2×2个单元构成一个块,各单元的9维直方图向量级联构成36维特征向量并归一化;在水平和垂直方向上每间隔8像素提取一个块特征,可获得21个块,将各块对应的特征向量级联构成756维特征向量g。
优选地,所述步骤S3中,提取运动轨迹Ti在当前帧t之前m帧的平均颜色特征作为运动轨迹Ti的特征,然后分别计算运动轨迹和观察目标两部分HSV直方图的巴氏系数BCupper和BClower,相似度定义为
优选地,所述步骤S5中,若运动轨迹连续4帧未成功匹配到观察目标,则不再参与低层次数据关联。
优选地,所述步骤S4中,利用稀疏表示分类器求出该观察目标所属的运动轨迹的具体过程如下:
分类任务使用的特征为v=[gT/||g||2,cT/||c||2]T,将观察目标作为测试图像,其特征为β,将可能与该观察目标关联的各条运动轨迹末端的k个目标图像的特征组成字典A=[A1,A2,...,An],其中1≤u≤n表示类别u的训练图像子集;
通过求解式(2),获得最优重构系数
若式(2)无解,则通过求解式(3),获得最优重构系数
最后根据式(4)求出观察目标所属的运动轨迹;
其中α表示重构系数,ε表示允许的最大重构误差,表示保留最优系数中对应类别u的系数,其余系数设置为0。
优选地,所述步骤S7中,若运动轨迹对(Ta,Tb)满足以下条件,则两者之间为可能关联的运动轨迹对(Ta,Tb):
A.Ta和Tb在时间区间上错开,且间隔小于阈值θf;
B.观察目标速度在一定范围内,即其中是观察目标和的检测框的平均宽度;pa、pb表示观察目标和的位置。
优选地,所述步骤S10中,使用双向重构的策略计算运动轨迹对(Ta,Tb)的距离的具体过程如下:
A.用图像子集Aa作为字典矩阵,对图像子集Ab的每个样本分别进行重构,根据式(5)求得每个样本的重构残差:
B.用图像子集Ab作为字典矩阵,对图像子集Aa的每个样本分别进行重构,根据式(6)求得每个样本的重构残差:
C.从所有残差值中选取最小的k个,计算这前k个最小残差值的平均数,作为两个图像集的距离D(Ta,Tb)。
与现有技术相比,本发明的有益效果是:
本发明采用分层次跟踪的策略,先把检测目标连接成稳定可靠的小段运动轨迹,然后通过匹配小段运动轨迹并填充小段运动轨迹间的空白段,形成最终的跟踪轨迹。该策略有利于解决跟踪过程中由于行人被短时间遮挡而引起的轨迹中断问题。进一步地,在小轨迹段的构造中,本发明提出了基于级联思想的两步匹配方法。对于匹配难度小的情况,选用计算量小的直方图匹配方法,而且这些情况在实际运行中占大多数,有利于提高处理效率。对于匹配难度大的情况,选用具有较强判别力的稀疏表示分类器来进行分类。因此,两步匹配方法既可以减少计算量,提高匹配效率,又能解决目标表观相似引起混淆的问题,提高小段运动轨迹的可靠性。本发明提出了基于稀疏表示的轨迹距离度量方法和基于层次聚类的轨迹匹配方法。基于稀疏表示的轨迹距离度量方法对由环境变化和目标形变引起的目标表观变化情况具有很好的鲁棒性,能够很好地处理由目标交汇引起的标签切换问题。基于层次聚类的轨迹匹配方法具有线性的计算复杂度,提高了全局多轨迹匹配的效率。
附图说明
图1为单摄像头的行人跟踪方法的流程示意图。
图2为训练支持向量机的示意图。
图3为低层次数据关联(生成小段运动轨迹)的示意图。
图4为高层次数据关联(运动轨迹对进行匹配)的示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
本发明提供的单摄像头的行人跟踪方法,如图1、3、4所示,包括以下步骤:
S1.对视频图像进行检测,将检测出来的行人称为观察目标;
S2.设在当前帧t检测到有κ个观察目标,提取这κ个观察目标的特征;
S3.设在当前帧t,同时存在若干条在当前帧t之前的运动轨迹,T={ds,ds+1,...,de}表示一条运动轨迹,其中s、e分别为轨迹T的起始时刻和终止时刻;对于运动轨迹通过位置约束条件选出在当前帧t可能关联的观察目标,然后计算运动轨迹Ti与可能关联的观察目标的相似度,将与运动轨迹Ti相似度最高的观察目标作为该运动轨迹的最佳观察目标;
S4.经过步骤S3的匹配后,每个观察目标遇到以下三种情况之一:
A.观察目标不是任何运动轨迹的的最佳观察目标,因而未能成功配对;
B.观察目标仅是一条运动轨迹的最佳观察目标,则将该观察目标与该运动轨迹配对;
C.观察目标是多条运动轨迹的最佳观察目标,则利用稀疏表示分类器对观察目标进行分类,利用分类器确定该观察目标所属的运动轨迹,将观察目标与该运动轨迹配对;
S5.执行步骤S4后,对运动轨迹进行更新:
D.对于未成功配对到运动轨迹的观察目标,新建立一条以该观察目标为起点的运动轨迹;
E.对于成功配对到运动轨迹的观察目标,将该观察目标连接到运动轨迹的末端;
F.对于未成功配对到观察目标的运动轨迹,则利用该运动轨迹在当前帧t之前m帧的位置线性预测出其在当前帧t的位置,并将其称之为预测目标,若预测目标和运动轨迹的相似度大于阈值,则将预测目标连接到运动轨迹的末端;
S6.重复执行步骤S3-S5,直到遍历完图像序列,低层次数据关联过程结束;
S7.通过时空约束条件选出有可能关联的运动轨迹对(Ta,Tb);
S8.采集足够数量的行人图像;若图像中行人腿部是呈靠拢状态的,则标记为正样本,否则标记为负样本;对图像中行人腿部计算梯度方向直方图,并且以此作为特征,离线训练一个能够区分图像中行人腿部是否呈靠拢状态的支持向量机;
S9.使用支持向量机判别Ta、Tb的每张图像中行人腿部是否呈靠拢状态,并选出判别结果为正的图像作为Ta、Tb的代表性图像子集(Aa,Ab);
S10.对运动轨迹对(Ta,Tb)的代表性图像子集(Aa,Ab)进行图像特征提取,然后基于提取的特征使用双向重构的策略来计算运动轨迹对(Ta,Tb)的距离,若运动轨迹对(Ta,Tb)的距离大于指定阈值,则舍弃该运动轨迹对;
S11.基于层次聚类的轨迹匹配:
将运动轨迹视为点,将S10得到的运动轨迹对视为边,边的权值取运动轨迹对的距离,由此构成一个无向图G=(V,E),其中V={T1,T2,...,Tn},E={(Ta,Tb,D(Ta,Tb))|D(Ta,Tb)<θD且1≤a,b≤n,n为运动轨迹数;
聚类开始时,设类别数为n,每个类只包含一个点;每个点具有一个时间跨度Zi={si,si+1,...,ei};每个类的时间跨度为该类所有点的时间跨度的并集;然后进行如下聚类:
G.从边集中选出权值最小的边l;
H.若边l的两端点所属类的时间跨度没有交集,则把这两个类聚合成一个类;
I.从边集中删除边l,若边集为空集,聚类结束,否则返回G;
J.聚类结束后,每一类表示一个行人目标;
S12.轨迹修复:
对于S11得到的每一个类,把所有观察目标的垂直坐标x、水平坐标y、检测窗口高度h分开处理,使用样条线分别拟合x-t曲线、y-t曲线、h-t曲线,以填补缺失的轨迹点并对轨迹进行平滑。
上述方案中,本发明提出的方法采用分层次跟踪的策略,先把视频帧中的检测目标连接成稳定可靠的小段运动轨迹,然后通过匹配小段运动轨迹并填充小段运动轨迹间的空白段,形成最终的跟踪轨迹。该策略能够很好地解决跟踪过程中行人短时间被遮挡引起的轨迹中断问题。进一步地,本发明使用了基于稀疏表示的目标匹配和轨迹距离度量方法,能够很好地处理由环境变化和目标形变引起的同一目标表观变化问题,改善由于不同目标表观相似而导致的目标混淆。
在具体的实施过程中,所述步骤S2中,提取观察目标特征的具体过程如下:提取观察目标对应的图像区域的颜色直方图和梯度方向直方图作为观察目标的特征;
其中提取颜色直方图的具体步骤如下:
把观察目标图像在竖直方向等分成两部分,分别提取两部分的HSV概率直方图,每通道分32个等级,每部分得到96维特征cupper和clower,颜色直方图为c=[cupper,clower];
提取梯度方向直方图的具体步骤如下:
把观察目标图像归一化到64×32像素的尺寸,然后提取其HOG特征;其中采用大小为8×8像素的单元,从中提取9维直方图,每2×2个单元构成一个块,各单元的9维直方图向量级联构成36维特征向量并归一化;在水平和垂直方向上每间隔8像素提取一个块特征,可获得21个块,将各块对应的特征向量级联构成756维特征向量g。
在具体的实施过程中,所述步骤S3中,提取运动轨迹Ti在当前帧t之前m帧的平均颜色特征作为运动轨迹Ti的特征,然后分别计算运动轨迹和观察目标两部分HSV直方图的巴氏系数BCupper和BClower,相似度定义为
在具体的实施过程中,所述步骤S5中,若运动轨迹连续4帧未成功匹配到观察目标,则不再参与低层次数据关联。
在具体的实施过程中,所述步骤S4中,利用稀疏表示分类器求出该观察目标所属的运动轨迹的具体过程如下:
分类任务使用的特征为v=[gT/||g||2,cT/||c||2]T,将观察目标作为测试图像,其特征为β,将可能与该观察目标关联的各条运动轨迹末端的k个目标图像的特征组成字典A=[A1,A2,...,An],其中1≤u≤n表示类别u的训练图像子集;
通过求解式(2),获得最优重构系数
若式(2)无解,则通过求解式(3),获得最优重构系数
最后根据式(4)求出观察目标所属的运动轨迹;
其中α表示重构系数,ε表示允许的最大重构误差,表示保留最优系数中对应类别u的系数,其余系数设置为0。
在具体的实施过程中,所述步骤S7中,若运动轨迹对(Ta,Tb)满足以下条件,则两者之间为可能关联的运动轨迹对(Ta,Tb):
A.Ta和Tb在时间区间上错开,且间隔小于阈值θf;
B.观察目标速度在一定范围内,即其中是观察目标和的检测框的平均宽度;pa、pb表示观察目标和的位置。
在具体的实施过程中,所述步骤S10中,使用双向重构的策略计算运动轨迹对(Ta,Tb)的距离的具体过程如下:
A.用图像子集Aa作为字典矩阵,对图像子集Ab的每个样本分别进行重构,根据式(5)求得每个样本的重构残差:
B.用图像子集Ab作为字典矩阵,对图像子集Aa的每个样本分别进行重构,根据式(6)求得每个样本的重构残差:
C.从所有残差值中选取最小的k个,计算这前k个最小残差值的平均数,作为两个图像集的距离D(Ta,Tb)。
实施例2
本实施例对实施例1所提供的方法进行了具体的测试,本次测试采用PETS2009数据库中两个不同密度的视频,分别是S2L1序列和S2L2序列,并且和目前最高水平的方法进行比较。方法一[1]构造出包含物理约束和利用图像证据的能量函数,通过最优化该连续能量函数找到目标轨迹。方法二[2]通过构造无向分等级关联的超图来完成观察目标的匹配,是基于图论优化的方法。性能评估指标及其意义如下,其中带“↑”表示数值越大跟踪结果越好,带“↓”表示数值越小跟踪结果越好:
标签切换数(IDs↓,ID Switch),同一真实目标的标签切换次数的总和。
中断次数(FM↓,Fragmentation),真值轨迹的中断次数的总和。
多目标跟踪准确度(MOTA↑,Multi-Object Tracking Accuracy),衡量多目标跟踪效果的综合性指标,其定义见式(6),其中FN是漏检测的目标数,FP是误检测的目标数,GTDet是真值目标数。
多目标跟踪精准度(MOTP↑,Multi-Object Tracking Precision),正确跟踪的目标和对应真值目标的平均位置偏差。
跟踪成功的轨迹数(MT↑,Mostly Tracked),跟踪长度超过真值轨迹长度80%的轨迹数。
跟踪失败的轨迹数(ML↓,Mostly Lost),跟踪长度低于真值轨迹长度20%的轨迹数。
本发明与方法一、方法二的对比测试效果如表1所示。从对比测试可以看出,相对现有其他方法,本发明具有更高的效率,同时还能保证获得较高的跟踪准确率和精确率。在跟踪轨迹层面,本发明方法能够明显改善标签切换和轨迹中断的问题。
表1多目标跟踪性能评估结果
[1]A.Milan,K.Schindler,S.Roth,Multi-Target Tracking by Discrete-Continuous Energy Minimization,IEEE Transaction on Pattern Analysis andMachine Intelligence,Vol.30,No.10,2016,pp.2054-2068
[2]L.Wen,W.Li,J.Yan,Z.Lei,D.Yi,S.Z.Li,Multiple Target Tracking Basedon Undirected Hierarchical Relation Hypergraph,IEEE Conference on ComputerVision and Pattern Recognition,2014,pp.1282-1289
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.一种单摄像头的行人跟踪方法,其特征在于:包括以下步骤:
S1.对视频图像进行检测,将检测出来的行人称为观察目标;
S2.设在当前帧t检测到有κ个观察目标,提取这κ个观察目标的特征;
S3.设在当前帧t,同时存在若干条在当前帧t之前的运动轨迹,T={ds,ds+1,...,de}表示一条运动轨迹,其中s、e分别为轨迹T的起始时刻和终止时刻;对于运动轨迹通过位置约束条件选出在当前帧t可能关联的观察目标,然后计算运动轨迹Ti与可能关联的观察目标的相似度,将与运动轨迹Ti相似度最高的观察目标作为该运动轨迹的最佳观察目标;
S4.经过步骤S3的匹配后,每个观察目标遇到以下三种情况之一:
A.观察目标不是任何运动轨迹的的最佳观察目标,因而未能成功配对;
B.观察目标仅是一条运动轨迹的最佳观察目标,则将该观察目标与该运动轨迹配对;
C.观察目标是多条运动轨迹的最佳观察目标,则利用稀疏表示分类器对观察目标进行分类,利用分类器确定该观察目标所属的运动轨迹,将观察目标与该运动轨迹配对;
S5.执行步骤S4后,对运动轨迹进行更新:
D.对于未成功配对到运动轨迹的观察目标,新建立一条以该观察目标为起点的运动轨迹;
E.对于成功配对到运动轨迹的观察目标,将该观察目标连接到运动轨迹的末端;
F.对于未成功配对到观察目标的运动轨迹,则利用该运动轨迹在当前帧t之前m帧的位置线性预测出其在当前帧t的位置,并将其称之为预测目标,若预测目标和运动轨迹的相似度大于阈值,则将预测目标连接到运动轨迹的末端;
S6.重复执行步骤S3-S5,直到遍历完图像序列,低层次数据关联过程结束;
S7.通过时空约束条件选出有可能关联的运动轨迹对(Ta,Tb);
S8.采集足够数量的行人图像;若图像中行人腿部是呈靠拢状态的,则标记为正样本,否则标记为负样本;对图像中行人腿部计算梯度方向直方图,并且以此作为特征,离线训练一个能够区分图像中行人腿部是否呈靠拢状态的支持向量机;
S9.使用支持向量机判别Ta、Tb的每张图像中行人腿部是否呈靠拢状态,并选出判别结果为正的图像作为Ta、Tb的代表性图像子集(Aa,Ab);
S10.对运动轨迹对(Ta,Tb)的代表性图像子集(Aa,Ab)进行图像特征提取,然后基于提取的特征使用双向重构的策略来计算运动轨迹对(Ta,Tb)的距离,若运动轨迹对(Ta,Tb)的距离大于指定阈值,则舍弃该运动轨迹对;
S11.基于层次聚类的轨迹匹配:
将运动轨迹视为点,将S10得到的运动轨迹对视为边,边的权值取运动轨迹对的距离,由此构成一个无向图G=(V,E),其中V={T1,T2,...,Tn},E={(Ta,Tb,D(Ta,Tb))|D(Ta,Tb)<θD且1≤a,b≤n,n为运动轨迹数;
聚类开始时,设类别数为n,每个类只包含一个点;每个点具有一个时间跨度Zi={si,si+1,...,ei};每个类的时间跨度为该类所有点的时间跨度的并集;然后进行如下聚类:
G.从边集中选出权值最小的边l;
H.若边l的两端点所属类的时间跨度没有交集,则把这两个类聚合成一个类;
I.从边集中删除边l,若边集为空集,聚类结束,否则返回G;
J.聚类结束后,每一类表示一个行人目标;
S12.轨迹修复:
对于S11得到的每一个类,把所有观察目标的垂直坐标x、水平坐标y、检测窗口高度h分开处理,使用样条线分别拟合x-t曲线、y-t曲线、h-t曲线,以填补缺失的轨迹点并对轨迹进行平滑。
2.根据权利要求1所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S2中,提取观察目标特征的具体过程如下:提取观察目标对应的图像区域的颜色直方图和梯度方向直方图作为观察目标的特征;
其中提取颜色直方图的具体步骤如下:
把观察目标图像在竖直方向等分成两部分,分别提取两部分的HSV概率直方图,每通道分32个等级,每部分得到96维特征cupper和clower,颜色直方图为c=[cupper,clower];
提取梯度方向直方图的具体步骤如下:
把观察目标图像归一化到64×32像素的尺寸,然后提取其HOG特征;其中采用大小为8×8像素的单元,从中提取9维直方图,每2×2个单元构成一个块,各单元的9维直方图向量级联构成36维特征向量并归一化;在水平和垂直方向上每间隔8像素提取一个块特征,可获得21个块,将各块对应的特征向量级联构成756维特征向量g。
3.根据权利要求1所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S3中,提取运动轨迹Ti在当前帧t之前m帧的平均颜色特征作为运动轨迹Ti的特征,然后分别计算运动轨迹和观察目标两部分HSV直方图的巴氏系数BCupper和BClower,相似度定义为
4.根据权利要求1所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S5中,若运动轨迹连续4帧未成功匹配到观察目标,则不再参与低层次数据关联。
5.根据权利要求2所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S4中,利用稀疏表示分类器求出该观察目标所属的运动轨迹的具体过程如下:
分类任务使用的特征为v=[gT/||g||2,cT/||c||2]T,将观察目标作为测试图像,其特征为β,将可能与该观察目标关联的各条运动轨迹末端的k个目标图像的特征组成字典A=[A1,A2,...,An],其中表示类别u的训练图像子集;
通过求解式(2),获得最优重构系数
若式(2)无解,则通过求解式(3),获得最优重构系数
最后根据式(4)求出观察目标所属的运动轨迹;
其中α表示重构系数,ε表示允许的最大重构误差,表示保留最优系数中对应类别u的系数,其余系数设置为0。
6.根据权利要求1所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S7中,若运动轨迹对(Ta,Tb)满足以下条件,则两者之间为可能关联的运动轨迹对(Ta,Tb):
A.Ta和Tb在时间区间上错开,且间隔小于阈值θf;
B.观察目标速度在一定范围内,即其中是观察目标和的检测框的平均宽度;pa、pb表示观察目标和的位置。
7.根据权利要求1所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S10中,使用双向重构的策略计算运动轨迹对(Ta,Tb)的距离的具体过程如下:
A.用图像子集Aa作为字典矩阵,对图像子集Ab的每个样本分别进行重构,根据式(5)求得每个样本的重构残差:
B.用图像子集Ab作为字典矩阵,对图像子集Aa的每个样本分别进行重构,根据式(6)求得每个样本的重构残差:
C.从所有残差值中选取最小的k个,计算这前k个最小残差值的平均数,作为两个图像集的距离D(Ta,Tb)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611004661.7A CN106682573B (zh) | 2016-11-15 | 2016-11-15 | 一种单摄像头的行人跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611004661.7A CN106682573B (zh) | 2016-11-15 | 2016-11-15 | 一种单摄像头的行人跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106682573A CN106682573A (zh) | 2017-05-17 |
CN106682573B true CN106682573B (zh) | 2019-12-03 |
Family
ID=58840361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611004661.7A Active CN106682573B (zh) | 2016-11-15 | 2016-11-15 | 一种单摄像头的行人跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106682573B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107610151B (zh) * | 2017-08-24 | 2021-07-13 | 汇纳科技股份有限公司 | 行人轨迹线处理方法/***、计算机可读存储介质及设备 |
CN108447080B (zh) * | 2018-03-02 | 2023-05-23 | 哈尔滨工业大学深圳研究生院 | 基于分层数据关联和卷积神经网络的目标跟踪方法、***和存储介质 |
CN110443833B (zh) * | 2018-05-04 | 2023-09-26 | 佳能株式会社 | 对象跟踪方法和设备 |
CN109753883A (zh) * | 2018-12-13 | 2019-05-14 | 北京字节跳动网络技术有限公司 | 视频定位方法、装置、存储介质和电子设备 |
CN109784173A (zh) * | 2018-12-14 | 2019-05-21 | 合肥阿巴赛信息科技有限公司 | 一种单摄像头的商店客人在线跟踪算法 |
CN112131904B (zh) * | 2019-06-24 | 2024-03-15 | 曜科智能科技(上海)有限公司 | 基于图匹配的多目标跨镜追踪方法、装置、设备和介质 |
CN112561954B (zh) * | 2020-09-11 | 2023-07-14 | 浙江大华技术股份有限公司 | 目标对象跟踪轨迹的确定方法和装置、存储介质 |
CN114066944B (zh) * | 2022-01-17 | 2022-04-12 | 天津聚芯光禾科技有限公司 | 基于行人跟踪的光模块生产车间工人岗位行为分析方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102148921A (zh) * | 2011-05-04 | 2011-08-10 | 中国科学院自动化研究所 | 基于动态群组划分的多目标跟踪方法 |
CN102629385A (zh) * | 2012-02-28 | 2012-08-08 | 中山大学 | 一种基于多摄像机信息融合的目标匹配与跟踪***及方法 |
CN102663775A (zh) * | 2012-03-30 | 2012-09-12 | 温州大学 | 面向低帧率视频的目标跟踪方法 |
US8395620B2 (en) * | 2007-02-08 | 2013-03-12 | Edge 3 Technologies Llc | Method and system for tracking of a subject |
CN103778647A (zh) * | 2014-02-14 | 2014-05-07 | 中国科学院自动化研究所 | 一种基于层次超图优化的多目标跟踪方法 |
US9182813B2 (en) * | 2012-08-10 | 2015-11-10 | Ulsee Inc. | Image-based object tracking system in 3D space using controller having multiple color clusters |
CN105741326A (zh) * | 2016-03-21 | 2016-07-06 | 西安电子科技大学 | 一种基于聚类融合的视频序列的目标跟踪方法 |
-
2016
- 2016-11-15 CN CN201611004661.7A patent/CN106682573B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8395620B2 (en) * | 2007-02-08 | 2013-03-12 | Edge 3 Technologies Llc | Method and system for tracking of a subject |
CN102148921A (zh) * | 2011-05-04 | 2011-08-10 | 中国科学院自动化研究所 | 基于动态群组划分的多目标跟踪方法 |
CN102629385A (zh) * | 2012-02-28 | 2012-08-08 | 中山大学 | 一种基于多摄像机信息融合的目标匹配与跟踪***及方法 |
CN102663775A (zh) * | 2012-03-30 | 2012-09-12 | 温州大学 | 面向低帧率视频的目标跟踪方法 |
US9182813B2 (en) * | 2012-08-10 | 2015-11-10 | Ulsee Inc. | Image-based object tracking system in 3D space using controller having multiple color clusters |
CN103778647A (zh) * | 2014-02-14 | 2014-05-07 | 中国科学院自动化研究所 | 一种基于层次超图优化的多目标跟踪方法 |
CN105741326A (zh) * | 2016-03-21 | 2016-07-06 | 西安电子科技大学 | 一种基于聚类融合的视频序列的目标跟踪方法 |
Non-Patent Citations (5)
Title |
---|
Efficient multi-target tracking via discovering dense subgraphs;Behzad Bozorgtabar 等;《Computer Vision and Image Understanding》;20160331;第144卷;全文 * |
Multiple Target Tracking Based on Undirected Hierarchical Relation Hypergraph;Longyin Wen 等;《2014 IEEE Conference on Computer Vision and Pattern Recognition》;20140925;全文 * |
Online multi-person tracking based on global sparse collaborative representations;Low Fagot-Bouquet 等;《2015 IEEE International Conference on Image Processing (ICIP)》;20151210;全文 * |
Robust visual tracking using local salient coding and PCA subspace modeling;Dajun Lin 等;《2013 IEEE International Workshop on Information Forensics and Security (WIFS)》;20140109;全文 * |
基于检测的目标跟踪算法研究;向伟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215;第2016年卷(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN106682573A (zh) | 2017-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106682573B (zh) | 一种单摄像头的行人跟踪方法 | |
CN113034548B (zh) | 一种适用于嵌入式终端的多目标跟踪方法及其*** | |
CN105224912B (zh) | 基于运动信息和轨迹关联的视频行人检测和跟踪方法 | |
Merad et al. | Fast people counting using head detection from skeleton graph | |
CN103164858A (zh) | 基于超像素和图模型的粘连人群分割与跟踪方法 | |
CN109191497A (zh) | 一种基于多种信息融合的实时在线多目标跟踪方法 | |
CN109800624A (zh) | 一种基于行人重识别的多目标跟踪方法 | |
CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
CN104574445A (zh) | 一种目标跟踪方法及装置 | |
Elmezain et al. | Hand trajectory-based gesture spotting and recognition using HMM | |
KR102132722B1 (ko) | 영상 내 다중 객체 추적 방법 및 시스템 | |
Chen et al. | A joint estimation of head and body orientation cues in surveillance video | |
CN104992453A (zh) | 基于极限学习机的复杂背景下目标跟踪方法 | |
CN104008370A (zh) | 一种视频人脸识别方法 | |
CN102243765A (zh) | 基于多相机的多目标定位跟踪方法及*** | |
CN105654139A (zh) | 一种采用时间动态表观模型的实时在线多目标跟踪方法 | |
CN103279768A (zh) | 一种基于增量学习人脸分块视觉表征的视频人脸识别方法 | |
CN103593679A (zh) | 一种基于在线机器学习的视觉人手跟踪方法 | |
CN107194950B (zh) | 一种基于慢特征分析的多人跟踪方法 | |
CN109035305A (zh) | 一种基于rgb-d低视角情况下的室内人体检测与跟踪方法 | |
CN110991398A (zh) | 一种基于改进步态能量图的步态识别方法及*** | |
Weng et al. | On-line human action recognition by combining joint tracking and key pose recognition | |
Mao et al. | Training a scene-specific pedestrian detector using tracklets | |
CN107230219A (zh) | 一种单目机器人上的目标人发现与跟随方法 | |
Akpinar et al. | Video action recognition using an optical flow based representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
OL01 | Intention to license declared | ||
OL01 | Intention to license declared |