CN103310462A - 一种基于联合特征模型的多人体跟踪方法 - Google Patents

Abstract

本发明公开了一种基于联合特征模型的多人体跟踪方法，包括以下步骤：（1）建立目标人体模型；（2）将实时检测到的人体区域与建立的目标人体模型进行匹配，满足匹配要求即为跟踪目标。本发明的一种基于联合特征模型的多人体跟踪方法不仅步骤简单，而且便于操作，还能在场景的动态变化中正确选择目标特征并完成目标匹配，从而极大地提高了跟踪率，因此适合推广使用。

Description

一种基于联合特征模型的多人体跟踪方法

技术领域

本发明涉及一种多人体跟踪方法，尤其涉及一种基于联合特征模型的多人体跟踪方法。

背景技术

多运动人体跟踪是智能视觉监控的难点问题，同时也是高层视觉分析如目标语义分析、行为理解的基础。对于采用静止摄像机的视觉监控***，为实现在固定监控场景中跟踪多运动目标，常用方法主要包含两个步骤：首先用背景减除法分割出当前帧的前景目标，再通过连续帧间目标特征匹配实现跟踪。但是，场景的动态变化（如光线、树木晃动等）使得难以正确选择目标特征及完成目标匹配，因此其跟踪率极低。

发明内容

本发明的目的在于克服目前用于多人体跟踪的方法由于场景的动态变化而难以正确选择目标特征并完成目标匹配，从而造成其跟踪率极低的缺陷，提供一种不仅步骤简单，而且便于操作，还能在场景的动态变化中正确选择目标特征并完成目标匹配，从而极大地提高了跟踪率的基于联合特征模型的多人体跟踪方法。

本发明的目的通过下述技术方案实现：一种基于联合特征模型的多人体跟踪方法，包括以下步骤：

（1）建立目标人体模型；

（2）将实时检测到的人体区域与建立的目标人体模型进行匹配，满足匹配要求即为跟踪目标。

进一步的，所述的目标人体模型根据检测到的人体区域建立。

再进一步的，所述的目标人体模型更新速度为一次/一帧。

同时，所述的目标人体模型包括颜色模型与形状模型以及线性运动模型。

更进一步的，所述的颜色模型为颜色直方图。

所述的形状模型包括目标人体的头部、上身以及下肢。

为了满足需要，步骤（2）中当跟踪目标发生遮挡时则进行如下步骤：

（2a）对发生相互遮挡的人体区域进行颜色聚类分割，并生成碎片；

（2b）计算碎片的颜色直方图；

（2c）根据碎片的颜色直方图与目标人体的颜色直方图确定匹配度β，当β>0.5时，所述碎片的坐标即为跟踪目标的坐标；当β<0.5时，根据上一帧中的跟踪目标的位置，采用滤波器预测跟踪目标在当前帧中的位置。

为了更好地满足需要，步骤（2b）中先根据建立的各目标人体模型的颜色直方图确定区分度α；当α>0.5时，碎片的颜色直方图由步骤（2a）中生成的碎片直接生成；当α<0.5时，将上一帧中得到的形状模型的各身体部分的中心坐标采用滤波器进行预测并得到人体区域在当前帧中的预测位置，根据上一帧中得到的各身体部分外接矩形框的大小得到人体区域在当前帧中各身体部分的预测外接矩形框，将中心点处于外接矩形框内的各碎片分别与各身体部分的预测外接矩形框计算相交区域，并得到该相交区域的颜色直方图，该相交区域的颜色直方图即碎片的颜色直方图。

为了更好地实现发明，步骤（2a）中将实时检测到的前景区域中各像素点用灰度值表示，相同灰度值为一个碎片。

为了确保效果，步骤（2a）中设定碎片合并规则：当碎片矩形框内含有小碎片矩形框，则丢弃小碎片矩形框；当两碎片矩形框相交面积大于其中较小碎片面积的80%，则合并两碎片；当碎片面积小于10个像素，则丢弃。

本发明较现有技术相比，具有以下优点及有益效果：

（1）本发明的一种基于联合特征模型的多人体跟踪方法包括建立目标人体模型，然后将实时检测到的人体区域与建立的目标人体模型进行匹配，满足匹配要求即为跟踪目标两个步骤。本发明的方法不仅步骤简单、便于操作，而且还能在场景的动态变化中正确选择目标特征并完成目标匹配，因此极大地提高了跟踪率。

（2）本发明的目标人体模型根据检测到的人体区域建立，便于后续的实时跟踪过程中将检测到的人体区域与建立的目标人体模型进行匹配。

（3）本发明的目标人体模型更新速度为一次/一帧，从而便于实时的跟踪动态的人体。

（4）本发明的目标人体模型包括颜色模型、形状模型以及线性运动模型，从而将人体形状、颜色以及运动有机的结合，因此可实现多人体处于遮挡情况下的准确跟踪。

（5）本发明的颜色模型为颜色直方图，从而便于将检测到的人体区域的颜色与目标人体的颜色模型进行比对以及匹配。

（6）本发明的形状模型包括目标人体的头部、上身以及下肢，从而便于将检测到的人体区域的形状与目标人体的形状模型进行比对以及匹配。

（7）本发明的步骤（2）中当跟踪目标发生遮挡时则对发生相互遮挡的人体区域进行颜色聚类分割，并生成碎片；然后计算碎片的颜色直方图；最后根据碎片的颜色直方图与目标人体的颜色直方图确定匹配度β，当β>0.5时，所述碎片的坐标即为跟踪目标的坐标；当β<0.5时，根据上一帧中的跟踪目标的位置，采用滤波器预测跟踪目标在当前帧中的位置，通过以上步骤方便在多人体发生相互遮挡时对动态的目标人体进行跟踪。

（8）本发明的步骤（2b）中先根据建立的各目标人体模型的颜色直方图确定区分度α；当α>0.5时，碎片的颜色直方图由步骤（2a）中生成的碎片直接生成；当α<0.5时，将上一帧中得到的形状模型的各身体部分的中心坐标采用滤波器进行预测并得到人体区域在当前帧中的预测位置，根据上一帧中得到的各身体部分外接矩形框的大小得到人体区域在当前帧中各身体部分的预测外接矩形框，将中心点处于外接矩形框内的各碎片分别与各身体部分的预测外接矩形框计算相交区域，并得到该相交区域的颜色直方图，该相交区域的颜色直方图即碎片的颜色直方图。通过以上步骤方便计算出更为精确的碎片颜色直方图，从而能提高多人体发生相互遮挡时对动态的目标人体的跟踪率。

（9）本发明的步骤（2a）中将实时检测到的前景区域中各像素点用灰度值表示，相同灰度值为一个碎片，方便通过对发生相互遮挡的人体区域进行颜色聚类分割生成碎片，从而便于后续步骤的进行并对多人体发生相互遮挡时对动态的目标人体进行跟踪。

（10）本发明的步骤（2a）中设定碎片合并规则：当碎片矩形框内含有小碎片矩形框，则丢弃小碎片矩形框；当两碎片矩形框相交面积大于其中较小碎片面积的80%，则合并两碎片；当碎片面积小于10个像素，则丢弃。本发明的碎片能反应前景区域即检测的人体区域的主要颜色特征，通过对碎片的合并方便计算并得出碎片的颜色直方图，从而便于将碎片的颜色直方图与目标人体的颜色直方图进行匹配，即实现对多人体发生相互遮挡时对动态的目标人体进行跟踪。

具体实施方式

下面结合实施例对本发明作进一步地详细说明：

实施例

本发明的一种基于联合特征模型的多人体跟踪方法，首先需要建立目标人体模型。本发明将人体外观的颜色、空间特征结合，建立联合特征模型，根据不同遮挡情况进行跟踪。因此，本发明建立的目标人体模型包括颜色模型、形状模型以及线性运动模型。本发明的目标人体模型根据检测到的人体区域建立，首次建立目标人体模型时采用的人体区域为完整的单个人体，以便于后续跟踪时进行匹配。同时，该目标人体模型每一帧得到跟踪结果后进行更新替换，即该目标人体模型每一帧更新一次，然后将该目标人体模型作为跟踪依据在连续视频帧中识别其对应的人体，从而便于实时的跟踪目标人体。

所述的颜色模型为颜色直方图，而所述的形状模型则包括目标人体的头部、上身以及下肢。本实施例中使用h_j表示目标人体模型的颜色直方图，其中，j为人体各部分，即头部、上身或下肢，并使用外接矩形框进行标注，该外接矩形框的长、宽值作为该目标人体模型的形状模型，记录该外接矩形框的中心点的坐标p_i，其中，i为人体区域标号。通过该颜色直方图h_j与外接矩形框可将目标人体模型的颜色与空间特征有机的结合为一个整体。

本实施例中对实时检测到的多个人体区域分别建立颜色直方图h_i，同样的，其中的i为人体区域标号。然后根据建立的各目标人体模型的颜色直方图确定区分度α，该区分度α为表示其中一个目标人体模型的颜色直方图与其他目标人体模型的颜色直方图相区别的一个参数，该区分度α即为其中一个目标人体模型的颜色直方图与其他目标人体模型的颜色直方图的相似度L_ij，该相似度L_ij的计算公式为 $L_{\mathrm{ij}}=\underset{i,j=1}{\overset{72}{\mathrm{\&Sigma;}}}\min \{h_i,h_j\}.$

为了便于在多个人体区域发生相互遮挡时将实时检测到的人体区域与建立的目标人体模型进行匹配，以便于进行跟踪，需要将相互遮挡的人体区域进行颜色聚类分割，并生成碎片。多人体相互遮挡时，只能得到一个检测前景区域，将实施检测到的前景区域中个像素点用灰度值表示，相同灰度值为一个碎片。为了保留遮挡区域的主要特征，以便于后续的计算，本发明还对目标人体设定有一个将目标人体整体包含在内的外接矩形框，同时，本发明还设定了碎片的合并规则：当碎片矩形框内含有小碎片矩形框，则丢弃小碎片矩形框；当两碎片矩形框相交面积大于其中较小碎片面积的80%，则合并两碎片；当碎片面积小于10个像素，则丢弃。采用此合并规则后，碎片能反应前景区域的主要颜色特征，因此极大地减小了后续计算的复杂度。

然后计算碎片的颜色直方图，对于区分度α>0.5的人体区域，碎片的颜色直方图由碎片直接生成，具体计算过程为统计碎片中每个颜色分量的象素数占总象素数的比例，从而得到图象各种颜色分量的比例分布，即颜色直方图δ_i，其中i表示碎片的标号。当α<0.5时，将上一帧中得到的形状模型的各身体部分的中心坐标采用滤波器进行预测并得到人体区域在当前帧中的预测位置，根据上一帧中得到的各身体部分外接矩形框的大小得到人体区域在当前帧中各身体部分的预测外接矩形框，将中心点处于外接矩形框内的各碎片分别与各身体部分的预测外接矩形框计算相交区域，取相交区域最大的前三个碎片，并得到该相交区域的颜色直方图，该相交区域的颜色直方图即碎片的颜色直方图。本发明中使用的滤波器可以是Kalman滤波器，还可以是粒子滤波器等其他的滤波器，在本实施例中则选用Kalman滤波器。

最后根据碎片的颜色直方图与目标人体的颜色直方图确定匹配度β，所述的匹配度β为碎片的颜色直方图与目标人体的颜色直方图的相似度L(δ_i,h_i)，取区分度最大的碎片记性计算。当β>0.5时，则认为该碎片属于该人体区域，该碎片的横坐标即为遮挡人体即目标人体区域的横坐标，该碎片的纵坐标则根据遮挡人体记录的形状模型中的长、宽确定，即所述碎片的坐标即为跟踪目标的坐标。

由于视频中至少满足每秒25帧图像，才能达到实时视频的要求，即实时视频每帧仅占用1/25秒的极短时间，因此目标在每两帧之间的运动可以近似为匀速运动。本发明的线性运动模型即为匀速运动模型，并设向量p表示位置，v表示速度。当β<0.5时，则认为该人体被遮挡，根据上一帧中目标中心点位置p_i(t-1)，采用Kalman滤波器预测跟踪目标在当前帧中的中心点位置p_i(t)，并将该Kalman滤波器预测的中心点位置p_i(t)作为跟踪目标在当前帧中的中心点的实际位置p_i(t)。

本发明的一种基于联合特征模型的多人体跟踪方法在室内外监控场景下进行了实验，使用分辨率为250×370的监控视频，在配置为奔4处理器（主频3.00Ghz）、1GB内存的台式计算机上，处理速度大约每秒13-14帧。如采用配置更高的计算机及将标记优化算法用并行算法实现，处理速度将提高，能更好地满足实时视频监控需求。在定量分析的实验中，采用常用的性能指标检测率（DR）和误检率（FAR）来分析跟踪性能：DR=TP/(TP+FN)、FAR=FP/(TP+FP)。其中，TP表示跟踪的人体中正确跟踪的人体数；FP表示跟踪的人体中跟踪错误的人体数；FN是应跟踪但未跟踪到的人体数，实验结果如表1。

表1为使用本发明的跟踪方法对多人体进行跟踪的性能指标

	FN	TP	FP	DR（%）	FAR（%）
						1	0	6	0	100	0
2	1	12	1	92.3	7.7
						3	0	8	0	100	0
4	2	18	1	90	5.3

本发明的跟踪方法在跟踪目标为10个以下的检测率达到100%，误检率达到0%，能满足绝大多数监控需求，跟踪目标在10个以上的极为复杂的视觉监控中的检测率达到90%以上，而误检率不足8%，与已有的跟踪方法相比，大大提高了跟踪性能，特别是在发生遮挡时的跟踪准确性明显提高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于联合特征模型的多人体跟踪方法，其特征在于，包括以下步骤：

（1）建立目标人体模型；

（2）将实时检测到的人体区域与建立的目标人体模型进行匹配，满足匹配要求即为跟踪目标。

2.按照权利要求1所述的一种基于联合特征模型的多人体跟踪方法，其特征在于：所述的目标人体模型根据检测到的人体区域建立。

3.按照权利要求2所述的一种基于联合特征模型的多人体跟踪方法，其特征在于：所述的目标人体模型更新速度为一次/一帧。

4.按照权利要求1～3任一项所述的一种基于联合特征模型的多人体跟踪方法，其特征在于：所述的目标人体模型包括颜色模型与形状模型以及线性运动模型。

5.按照权利要求4所述的一种基于联合特征模型的多人体跟踪方法，其特征在于：所述的颜色模型为颜色直方图。

6.按照权利要求5所述的一种基于联合特征模型的多人体跟踪方法，其特征在于：所述的形状模型包括目标人体的头部、上身以及下肢。

7.按照权利要求6所述的一种基于联合特征模型的多人体跟踪方法，其特征在于，步骤（2）中当跟踪目标发生遮挡时则进行如下步骤：

（2a）对发生相互遮挡的人体区域进行颜色聚类分割，并生成碎片；

（2b）计算碎片的颜色直方图；

（2c）根据碎片的颜色直方图与目标人体的颜色直方图确定匹配度β，当β>0.5时，所述碎片的坐标即为跟踪目标的坐标；当β<0.5时，根据上一帧中的跟踪目标的位置，采用滤波器预测跟踪目标在当前帧中的位置。

8.按照权利要求7所述的一种基于联合特征模型的多人体跟踪方法，其特征在于：步骤（2b）中先根据建立的各目标人体模型的颜色直方图确定区分度α；当α>0.5时，碎片的颜色直方图由步骤（2a）中生成的碎片直接生成；当α<0.5时，将上一帧中得到的形状模型的各身体部分的中心坐标采用滤波器进行预测并得到人体区域在当前帧中的预测位置，根据上一帧中得到的各身体部分外接矩形框的大小得到人体区域在当前帧中各身体部分的预测外接矩形框，将中心点处于外接矩形框内的各碎片分别与各身体部分的预测外接矩形框计算相交区域，并得到该相交区域的颜色直方图，该相交区域的颜色直方图即碎片的颜色直方图。

9.按照权利要求7或8所述的一种基于联合特征模型的多人体跟踪方法，其特征在于：步骤（2a）中将实时检测到的前景区域中各像素点用灰度值表示，相同灰度值为一个碎片。

10.按照权利要求9所述的一种基于联合特征模型的多人体跟踪方法，其特征在于，步骤（2a）中设定碎片合并规则：当碎片矩形框内含有小碎片矩形框，则丢弃小碎片矩形框；当两碎片矩形框相交面积大于其中较小碎片面积的80%，则合并两碎片；当碎片面积小于10个像素，则丢弃。