CN103942535A - 多目标跟踪方法及装置 - Google Patents

多目标跟踪方法及装置 Download PDF

Info

Publication number
CN103942535A
CN103942535A CN201410126335.8A CN201410126335A CN103942535A CN 103942535 A CN103942535 A CN 103942535A CN 201410126335 A CN201410126335 A CN 201410126335A CN 103942535 A CN103942535 A CN 103942535A
Authority
CN
China
Prior art keywords
target
tracked
spot
pixel
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410126335.8A
Other languages
English (en)
Other versions
CN103942535B (zh
Inventor
沈三明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vtron Group Co Ltd
Original Assignee
Vtron Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vtron Technologies Ltd filed Critical Vtron Technologies Ltd
Priority to CN201410126335.8A priority Critical patent/CN103942535B/zh
Publication of CN103942535A publication Critical patent/CN103942535A/zh
Application granted granted Critical
Publication of CN103942535B publication Critical patent/CN103942535B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种多目标跟踪方法及装置,所述方法包括以下步骤:在获取视频图像后,对所述视频图像进行分割,根据分割的结果提取所有待跟踪目标的斑点;对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联;根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡;则对待跟踪目标及相应的斑点进行遮挡分析,并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标,使得待跟踪目标与相应斑点中的预定像素一一对应后,对各待跟踪目标进行跟踪。本发明的多目标跟踪方法及装置能有效提高目标跟踪的稳定性。

Description

多目标跟踪方法及装置
技术领域
本发明涉及目标跟踪技术领域,特别是涉及一种多目标跟踪方法及一种多目标跟踪装置。
背景技术
目标跟踪是机器视觉的核心问题之一,是一个融合图像处理、模式识别、人工智能及自动控制等不同领域先进成果的高新技术,在军事制导、视频监控、医疗诊断、产品检测、虚拟现实等众多领域有重要的实用价值和广阔的发展前景。
然而,由于被跟踪目标本身特征的多样性和外部环境的复杂性,目标跟踪一直是一个极富挑战性的课题。一个鲁棒的目标跟踪算法必须要能够解决跟踪过程中遇到的各种困难,如旋转、尺寸变化、光照变化等,其中遮挡问题是其中的难点。遮挡是目标跟踪中的常见情况。主要有以下两种遮挡:一是被背景中的静止目标所遮挡;二是多目标之间的互相遮挡;目标遮挡的过程又分为三个阶段:一是目标开始进入遮挡,这时关于目标的信息会逐渐丢失;二是目标处于遮挡之中,该过程中信息一直保持丢失状态;三是目标离开遮挡,目标信息逐渐恢复。
复杂背景下的目标跟踪由于很难提取出目标进行跟踪,因此在复杂背景下很难达到性能稳定的目标提取效果,一般采用基于模板的相关匹配跟踪技术。对于近距离面目标或尺寸很大的面目标,目标图像占据视场的大部分或充满视场,图像相关匹配的数据和计算量很大。图像相关匹配的计算实时性在一定程度上决定了该技术的实用性。
在复杂背景下,运动目标存在不同程度的遮挡,此时不能根据图像特征来分辨遮挡物,一般采用基于模板的相关跟踪算法。但是常用的单模板跟踪算法存在着不确定性:匹配点与极值点的不确定性、相关峰宽度的不确定性、图像变化造成的不确定性和判定准则的不确定性。为了改善单模板匹配存在的问题,业界提出了采用动态模板和遮挡检测的方法来解决目标发生遮挡时的跟踪问题,但更新后的模板与真正目标差异仍然很大,跟踪稳定性较差。
发明内容
基于此,本发明提供一种多目标跟踪方法及装置,能够有效提高目标跟踪的稳定性。
一种多目标跟踪方法,包括以下步骤:
在获取视频图像后,对所述视频图像进行分割,根据分割的结果提取所有待跟踪目标的斑点;
对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联;
根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡;
若是,则对待跟踪目标及相应的斑点进行遮挡分析,并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标,使得待跟踪目标与相应斑点中的预定像素一一对应后,对各待跟踪目标进行跟踪。
一种多目标跟踪装置,包括:
图像分割及斑点获取模块,在获取视频图像后,对所述视频图像进行分割,根据分割的结果提取所有待跟踪目标的斑点;
关联模块,用于对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联;
判断模块,根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡;
赋值模块,用于当所述判断模块的判断结果为是时,对待跟踪目标及相应的斑点进行遮挡分析,并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标,使得待跟踪目标与相应斑点中的预定像素一一对应后,对各待跟踪目标进行跟踪。
由以上方案可以看出,本发明的多目标跟踪方法及装置在获取视频图像后获取待跟踪目标的斑点,对各斑点进行拟合得到相应的目标,并将所述斑点与目标进行关联,当出现多个目标发生遮挡时,则进行遮挡分析得出遮挡物与被遮挡物分别对应斑点中的像素集,再根据关联的结果及遮挡分析的结果将各斑点的像素赋给相应的目标。本发明通过对各待跟踪目标赋予相应斑点的像素,使得各待跟踪目标与相应斑点的像素集一一对应,即利用了空间分布和纹理信息来将各斑点的像素与对应目标关联起来,从而提高了对目标的跟踪的稳定性。另外,本发明根据所述关联的结果及遮挡分析的结果使得待跟踪目标与相应斑点中的像素进行对应后,对待跟踪目标进行跟踪,从而使得跟踪的速度更快、准确度更高。
附图说明
图1为本发明实施例中一种多目标跟踪方法的流程示意图;
图2为本发明实施例中目标和斑点可能存在的关系示意图;
图3为本发明实施例中两个目标发生遮挡过程的示意图;
图4为本发明实施例中一种多目标跟踪装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1所示,一种多目标跟踪方法,包括以下步骤:
步骤S101,在获取视频图像后,对所述视频图像进行分割,根据分割的结果提取所有待跟踪目标的斑点。所述斑点可以是通过高斯背景建模识别出来的没经过任何处理的数据。
步骤S102,对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联;
步骤S103,根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡;若是,则说明一个斑点所拟合的拟合形状可能对应着多个目标,即发生了多目标间的遮挡,此时执行步骤S104。否则,根据所述拟合形状与目标关联的结果将各待跟踪目标与相应斑点的像素一一对应,以提高目标跟着的稳定性。
如图2所示,b1、b2和b3为经过高斯背景建模提取出来的斑点,而o1、o2、o3和o4为拟合得到的拟合形状。假设在时刻t检测到有M个斑点bj,1≤j≤M,其中有N个目标(oi,1≤i≤N)已经处于跟踪的状态。由于遮挡的原因,一个或多个目标有可能表现为一个闭合的斑点,如图2中的b2可能就是由目标o2和o3叠加的。因此,可以得到M≤N,即一个斑点可能对应着一个或者多个目标,即发生了目标间的遮挡。
步骤S104,当所述步骤S103的判断结果为是时,则进行遮挡分析,并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标,使得待跟踪目标与相应斑点中的预定像素一一对应后,对各待跟踪目标进行跟踪。由于发生遮挡时,有可能一个斑点对应多个待跟踪目标,此步骤中各待跟踪目标所对应的预定可能是相应斑点中的某部分的像素,例如为对应斑点中关联度最高的像素。
遮挡的分析可以在是在拟合形状及待跟踪目标的分布空间和纹理上进行。如图3(a)至图3(e)中所示的为在遮挡前的两个目标。当遮挡发生时,只能得到一个斑点,两个目标都会把这个斑点的像素当作自己的像素。但是,如果斑点中的像素符合某个目标的纹理,那么该像素还是会赋给该目标,如图3(a)至图3(e)中的矩形目标,这样,在观察矩形目标时是不会发生什么变化的,而被遮挡的目标,会随着赋给它的像素越来越少而逐渐消失,如图三(b)中的圆形目标。定义目标oi的遮挡率Ri为某个目标与其他目标交于斑点的像素点数,定义一个阈值T,当Ri≤T时,就可以假设该目标已经被完全遮挡了。
在进行遮挡分析时,不仅要知道一个目标是否发生遮挡,更要确认出遮挡者。根据已知在被遮挡的目标再次出现之前,它都会被假定在遮挡目标的后面,并且随着该遮挡目标一起运动。但当被遮挡的目标在遮挡目标附近重新出现时,将这两个目标分开,并且重新建立一个空间模型。
本发明的提出了一个多目标跟踪方法可以解决长时间遮挡的多目标跟踪算法。该方法基于“目标存在的持久性”这个原理,即一个被完全遮挡的目标可能还重新出现在遮挡它的目标旁边出现。本发明的方法不需要提前对目标的形状、颜色、大小等特征进行训练,可以自适应的建立目标的模型。由于建立了数据关联机制,使得可以很好的解决遮挡问题,提高了目标跟踪的准确度。
作为一个较好的实施例,所述在获取视频图像后,对所述视频图像进行分割,根据分割的结果提取所有待跟踪目标的斑点的过程,具体可以包括以下步骤:
步骤S1011,在获取视频图像后,采用高斯混合模型(GMM,Gaussian MixtureModel)进行背景建模。目标的纹理g由高斯混合模型g=g(wk,ukk)来表示,其中1≤k≤K,(wk,ukk)则表示混合模型的第k个高斯分量的加权系数、均值和协方差。高斯混合模型的参数主要是通过EM算法估计得到。同样,定义像素值为c的像素点是由GMM算法得到的概率为:其中PA(p,g)为p的颜色是否符合高斯模型g的一个度量。
步骤S1012,根据在后一帧视频图像的建模结果与在前一帧视频图像的背景建模结果进行计算,分割出后一帧视频图像的待跟踪目标。即可将后一帧视频图像的建模结果减去在前一帧视频图像的背景建模结果得到待跟踪目标。
步骤S1013,获取各待跟踪目标的像素集合,该像素集合为所述各待跟踪目标的斑点。
由于图像中每个像素点的值(或特征)在短时间内都是围绕与某一中心值一定距离内分布,通常,中心值可以用均值来代替,距离可以用方差来代替。这种分布是有规律的。根据统计定律,如果数据点足够多的话,可以说明这些点呈正态分布,也称为高斯分布。根据这个特点,如果像素点的值偏离中心值较远,那么,这个像素值属于前景,如果像素点的值偏离中心值很近(在一定方差范围内),那么可以说该像素点属于背景。
混合高斯模型使用K个(K基本为3到5个)高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点,否则为前景点。每个高斯模型,他主要是有方差和均值两个参数决定,对均值和方差的学习,采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性。由于本发明是对运动目标的背景提取建模,因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力,改进方法对均值和方差的更新采用不同的学习率;为提高在繁忙的场景下,大而慢的运动目标的检测效果,引入权值均值的概念,建立背景图像并实时更新,然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。假设对每个输入像素值It,若满足:
|Iti,t-1|≤D·σi,t-1
其中μi,t-1为均值,D为参数,σi,t-1为标准差。
则It和该高斯函数匹配,其参数按如下公式更新:
ωi,t=(1-α)ωi,t-1+α;
μi,t=(1-α)μi,t-1+ρIt
σ i , t 2 = ( 1 - α ) σ i , t 2 + ρ ( I t - μ i , t ) 2 .
其中α为学习率,且0≤α≤1,ρ是参数学习率,且ρ=α/ωi,t。如果没有分布和It匹配,则权值最小的分布将被新的分布所更新,新分布均值为It,初始化一个较大标准差σ0和较小权值ω0。余下的分布保持相同的均值和方差,但权值会衰减,即:ωi,t=(1-α)ωi,t-1
最后,把所有权值归一化,并把各个高斯分布按ωi,ti,t从大到小排列。如果i1,i2,...,ik是各高斯分布按ωi,ti,t由大到小的排列次序,若前M个分布满足下式,则这M个分布被认为是背景分布,即:其中τ为权重阈值。若It和背景分布匹配,则被认为是运动前景,否则It为背景像素。
作为一个较好的实施例,所述对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联的过程具体可以包括以下步骤:
步骤S1021,通过空间分布模型对斑点进行拟合,所述空间分布模型包括目标的位置信息以及空间分布信息。本实施例中所述空间分布模型采用一个椭圆来进行估计。首先原始图像的p=(x,y)像素点增加一个值,变为为p=(x,y,c),其中,(x,y)为图像的像素坐标,c为图像的像素值。椭圆e=(cx,cy,α,β,θ)表示位于(cx,cy)的目标,它的方向为θ,α和β分别为椭圆的长短轴。根据给定的包含目标的图像,可以根据目标区域的像素的协方差矩阵来得到椭圆e。
步骤S1022,获取与各待跟踪目标相交的所有斑点,并对各待跟踪目标及与其相交的斑点进行计算。
步骤S1023,根据计算的结果查询相应斑点中与各待跟踪目标关联度最高的像素。
步骤S1024,将各待跟踪目标分别与相应斑点中关联度最高的像素进行关联。所述关联的结果可以包括:某写斑点不包含任何目标;某些目标与任何斑点都不相关;各待跟踪目标分别与各斑点一一对应;某些斑点分别与多个目标相关。
若某个斑点与任何一个目标都不相关:假设一个斑点满足如下公式:
此时说明,没有一个目标能够证明这个斑点的存在性。因此,该目标可能是一个新的目标,即第一次出现在视野中的目标,如图2中的b1。在这种情况下,所述该目标是新的进入场景的待跟踪目标,因此在后续过程对其进行跟踪。
若某个目标与任何斑点不相关:假设目标o满足如下公式:
此时说明,不能从前景的斑点像素中来推导出任何目标o。即该目标本来知情的视频图像中,但此时该目标已经从运动到场景之外,不在当前帧的视频图像中了,即应该停止对该目标的跟踪。所以,需要将目标o从相应场景删除,如图2中的o1
若各待跟踪目标与斑点一一对应:当一个目标对应于一个斑点时,目标的包含区域与斑点中的区域是相同的,即场景中既没有新的目标出现,也没有目标出场景,而且目标之间没有发生遮挡。如图2中的o4与b3
若某个斑点与目标一对多:当两个目标发生遮挡时,在进行前景提取时会被当作一个斑点,如图2中所示的目标o2和o3,它们都与斑点b2有关。由于每个目标都关联了一个斑点,因此,本发明只在斑点b2里找到分别属于目标o2和o3的像素。并将斑点b2中的像素p与赋值给相应的目标o*(o2或者o3),采用公式将斑点中的像素p来赋给目标o*,最小化了空间距离以及最大化了目标的相似度,这样就可以将遮挡的目标分开。
作为一个较好的实施例,所述空间分布模型可以为:
v → = cos ( θ ) - sin ( θ ) sin ( θ ) cos ( θ ) ( x - x c α , y - y c β ) ;
其中e为椭圆,e=(cx,cy,α,β,θ),表示位于(cx,cy)的目标;θ表示为e的方向;α和β分别为e的长短轴;D(p,e)为各待跟踪目标的像素点到e的距离,p=(x,y)表示各待跟踪目标的像素点;(x,y)为图像的像素坐标;c为图像的像素值。由于各像素点可以在椭圆e内、椭圆e上和椭圆e外三种情况,对应的D(p,e)分别为小于1.0、等于1.0和大于1.0。根据D(p,e)小于1.0可以得到属于椭圆的一组点I(e)。
作为一个较好的实施例,所述对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联的过程,具体还可以包括以下步骤:根据高斯混合模型g=g(wk,ukk)计算目标的纹理;
其中1≤k≤K,(wk,ukk)则表示高斯混合模型的第k个高斯分量的加权系数、均值和协方差。
作为一个较好的实施例,所述对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联的过程具体还可以包括如下步骤:
判断出现遮挡的各待跟踪目标的纹理是否相同;
若否,则根据公式计算发生遮挡的各待跟踪目标与相应斑点的相似度;可用于对于所有的斑点bj和目标椭圆ei相交的斑点,都要判断其是否是符合相应目标的外表模型。然后将目标与其关联度最高的斑点关联起来,即是目标与斑点纹理的相似度,也就是外表相似度。
根据所述相似度采用公式计算与发生遮挡的各待跟踪目标的关联度最大的斑点。这样就可使得一个目标只与一个斑点相关。但是一个斑点仍然可能跟很多个目标相关。其中:C(bj,oi)可表示各待跟踪目标与相应斑点的相似度;PA(p,g)可表示p的颜色是否符合高斯模型的一个度量;I(e)可表示属于椭圆e的点;bj可表示各斑点;I可表示各斑点像素值,可表示与各待跟踪目标的关联度最大的斑点。
作为一个较好的实施例,所述判断出现遮挡的各待跟踪目标的纹理是否相同的过程中,当判断的结果为是时;首先需要定量的表征两个目标的纹理相似度。由于采用了GMM模型来表征目标的外观,这个问题就变成采用一个准则来衡量两个GMM之间的相似度。因此,本专利一种基于巴氏距离的方法,即两个高斯混合模型g和g’的巴氏距离Δ(g,g')定义如下:
Δ ( g , g ′ ) = Σ i = 1 K Σ j = 1 K w i w j ′ B ( g i , g j ′ ) ;
在式(8)中,g和g’都有K个核,gi和g′j代表相应的核参数,wi和wj为混合权重,B(·)函数则代表两个高斯核的巴氏距离,计算公式如下:
B ( g , g ′ ) = 1 8 ( μ - μ ′ ) T ( Σ + Σ ′ 2 ) - 1 ( μ - μ ′ ) + 1 2 ln | Σ + Σ ′ 2 | | Σ | | Σ ′ | ;
假设纹理相似的几个目标同时相交于一个斑点。根据公式可得,只需要在对应的斑点中进行搜索,判断哪些像素属于哪些目标。该判断规则如下所示:
根据公式计算出出现遮挡的各待跟踪目标对应的斑点,并在该斑点中查找各待跟踪目标相应斑点的像素;
根据查找的结果计算出各待跟踪目标的关联度最大的斑点;o*可表示各待跟踪目标对应的斑点。查找的结果包括:斑点的像素与出现遮挡的目标中的一个目标o=(e,g)的相关联,且p∈I(e);或者斑点的像素不属于任何一个目标,则其中 o * = arg min o D ( p , e ) .
与上述一种多目标跟踪方法相对应,本发明还提供一种多目标跟踪装置,如图4所示,包括:
图像分割及斑点获取模块101,用于在获取视频图像后,对所述视频图像进行分割,根据分割的结果提取所有待跟踪目标的斑点;
关联模块102,用于对各斑点进行拟合得到相应的目标,并将所述斑点与目标进行关联;
判断模块103,用于根据所述斑点及目标的数量判断是否发生遮挡;
赋值模块104,用于当所述判断模块的判断结果为是时,对待跟踪目标及相应的斑点进行遮挡分析,并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标,使得待跟踪目标与相应斑点中的预定像素一一对应后,对各待跟踪目标进行跟踪。
作为一个较好的实施例,所述关联模块具体可以包括:
拟合模块,用于通过空间分布模型对斑点进行拟合,所述空间分布模型包括目标的位置信息以及空间分布信息;
计算模块,用于获取与各待跟踪目标相交的所有斑点,并对各待跟踪目标及与其相交的斑点进行计算;
查询模块,用于根据计算的结果查询与各待跟踪目标关联度最高的斑点;
关联子模块,用于将各待跟踪目标分别与其关联度最高的斑点进行关联。所述关联的结果可以包括:一个斑点不包含任何目标;一个目标与任何斑点都不相关;各待跟踪目标分别与各斑点一一对应;一个斑点与多个目标相关。
作为一个较好的实施例,所述图像分割及斑点获取模块具体可以包括:
背景建模模块,用于在获取视频图像后,采用采用高斯混合模型进行背景建模;
分割模块,用于通过在后一帧视频图像的建模结果与在前一帧视频图像的背景建模结果进行计算,从而分割出后一帧视频图像的目标;
斑点获取模块,用于获取该目标的像素集合,该像素集合为上述的斑点。
上述一种多目标跟踪装置的其它技术特征与本发明的一种多目标跟踪方法相同,此处不予赘述。
通过以上方案可以看出,本发明的多目标跟踪方法及装置在获取视频图像后获取待跟踪目标的斑点,对各斑点进行拟合得到相应的目标,并将所述斑点与目标进行关联,当出现多个目标发生遮挡时,则进行遮挡分析得出遮挡物与被遮挡物分别对应斑点中的像素集,再根据关联的结果及遮挡分析的结果将各斑点的像素赋给相应的目标。本发明通过对各待跟踪目标赋予相应斑点的像素,使得各待跟踪目标与相应斑点的像素集一一对应,即:利用了空间分布和纹理信息来将各斑点的像素与对应目标关联起来,从而提高了对目标的跟踪的稳定性。另外,本发明根据所述关联的结果及遮挡分析的结果使得待跟踪目标与相应斑点中的像素进行对应后,对待跟踪目标进行跟踪,从而使得跟踪的速度快、准确度高。
除非上下文另有特定清楚的描述,本发明中的元件和组件,数量既可以单个的形式存在,也可以多个的形式存在,本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列,但并不用于限定步骤的先后次序,除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础,否则步骤的相对次序是可以调整的。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多目标跟踪方法,其特征在于,包括以下步骤:
在获取视频图像后,对所述视频图像进行分割,根据分割的结果提取所有待跟踪目标的斑点;
对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联;
根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡;
若是,则对待跟踪目标及相应的斑点进行遮挡分析,并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标,使得待跟踪目标与相应斑点中的预定像素一一对应后,对各待跟踪目标进行跟踪。
2.根据权利要求1所述的多目标跟踪方法,其特征在于,所述对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联的过程包括以下步骤:
通过空间分布模型对斑点进行拟合,所述空间分布模型包括待跟踪目标的位置信息以及空间分布信息;
获取与各待跟踪目标相交的所有斑点,并对各待跟踪目标及与其相交的斑点进行计算;
根据计算的结果查询相应斑点中与各待跟踪目标关联度最高的像素;
将各待跟踪目标分别与相应斑点中关联度最高的像素进行关联。
3.根据权利要求2所述的多目标跟踪方法,其特征在于,所述空间分布模型为:
v → = cos ( θ ) - sin ( θ ) sin ( θ ) cos ( θ ) ( x - x c α , y - y c β ) ;
其中,e为椭圆,e=(cx,cy,α,β,θ),表示位于(cx,cy)的目标;θ表示e的方向;α和β分别为e的长短轴;D(p,e)为各待跟踪目标的像素点到e的距离,p=(x,y)表示各待跟踪目标的像素点;(x,y)为图像的像素坐标;c为图像的像素值。
4.根据权利要求2或3所述的多目标跟踪方法,其特征在于,所述对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联的过程还包括以下步骤:
根据高斯混合模型g=g(wk,ukk)计算待跟踪目标的纹理;其中,1≤k≤K,(wk,ukk)分别表示高斯混合模型的第k个高斯分量的加权系数、均值和协方差。
5.根据权利要求4所述的多目标跟踪方法,其特征在于,所述对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联的过程还包括以下步骤:
判断出现遮挡的待跟踪目标的纹理是否相同;
若否,则根据公式计算发生遮挡的各待跟踪目标与相应斑点的相似度;
根据所述相似度采用公式计算与发生遮挡的各待跟踪目标的关联度最大的斑点;
其中:C(bj,oi)表示各待跟踪目标与相应斑点的相似度;PA(p,g)表示p的颜色是否符合高斯模型的一个度量;I(e)表示属于椭圆e的点;bj表示各斑点;I表示各斑点像素值,表示与各待跟踪目标的关联度最大的斑点。
6.根据权利要求5所述的多目标跟踪方法,其特征在于,还包括以下步骤:
若所述判断出现遮挡的各待跟踪目标的纹理是否相同的判断的结果为是,则根据公式计算出现遮挡的各待跟踪目标对应的斑点,并在该斑点中查找各待跟踪目标相应斑点的像素;
根据查找的结果计算出各待跟踪目标的关联度最大的斑点;
其中:o*表示各待跟踪目标对应的斑点。
7.根据权利要求4所述的多目标跟踪方法,其特征在于,所述在获取视频图像后,对所述视频图像进行分割,根据分割的结果提取所有待跟踪目标的斑点的过程包括以下步骤:
在获取视频图像后,采用高斯混合模型进行背景建模;
根据在后一帧视频图像的建模结果与在前一帧视频图像的背景建模结果进行计算,分割出后一帧视频图像的待跟踪目标;
获取各待跟踪目标的像素集合,该像素集合为所述各待跟踪目标的斑点。
8.一种多目标跟踪装置,其特征在于,包括:
图像分割及斑点获取模块,在获取视频图像后,对所述视频图像进行分割,根据分割的结果提取所有待跟踪目标的斑点;
关联模块,用于对各斑点进行拟合得到相应的拟合形状,并将所述拟合形状的像素与待跟踪目标进行关联;
判断模块,根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡;
赋值模块,用于当所述判断模块的判断结果为是时,对待跟踪目标及相应的斑点进行遮挡分析,并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标,使得待跟踪目标与相应斑点中的预定像素一一对应后,对各待跟踪目标进行跟踪。
9.根据权利要求8所述的多目标跟踪装置,其特征在于,所述关联模块包括:
拟合模块,用于通过空间分布模型对斑点进行拟合,所述空间分布模型包括目标的位置信息以及空间分布信息;
计算模块,用于获取与各待跟踪目标相交的所有斑点,并对各待跟踪目标及与其相交的斑点进行计算;
查询模块,用于根据计算的结果查询与各待跟踪目标关联度最高的斑点;
关联子模块,用于将各待跟踪目标分别与其关联度最高的斑点进行关联。
10.根据权利要求8所述的多目标跟踪装置,其特征在于,所述图像分割及斑点获取模块包括:
背景建模模块,用于在获取视频图像后,采用高斯混合模型进行背景建模;
分割模块,用于根据在后一帧视频图像的建模结果与在前一帧视频图像的背景建模结果进行计算,从而分割出后一帧视频图像的目标;
斑点获取模块,用于获取各待跟踪目标的像素集合,该像素集合为所述各待跟踪目标的斑点。
CN201410126335.8A 2014-03-28 2014-03-28 多目标跟踪方法及装置 Expired - Fee Related CN103942535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410126335.8A CN103942535B (zh) 2014-03-28 2014-03-28 多目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410126335.8A CN103942535B (zh) 2014-03-28 2014-03-28 多目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN103942535A true CN103942535A (zh) 2014-07-23
CN103942535B CN103942535B (zh) 2017-04-12

Family

ID=51190199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410126335.8A Expired - Fee Related CN103942535B (zh) 2014-03-28 2014-03-28 多目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN103942535B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置
CN106952294A (zh) * 2017-02-15 2017-07-14 北京工业大学 一种基于rgb‑d数据的视频跟踪方法
CN108320302A (zh) * 2018-01-26 2018-07-24 西安电子科技大学 基于随机超曲面的CBMeMBer多目标跟踪方法
CN108346158A (zh) * 2017-01-22 2018-07-31 山东大学 基于主块数据关联的多目标跟踪方法及***
CN110288625A (zh) * 2019-07-04 2019-09-27 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN110297221A (zh) * 2019-06-19 2019-10-01 西安电子科技大学 一种基于高斯混合模型的数据关联方法
CN111480180A (zh) * 2017-11-29 2020-07-31 赛峰电子与防务公司 用于检测和跟踪目标的方法
CN115439509A (zh) * 2022-11-07 2022-12-06 成都泰盟软件有限公司 一种多目标跟踪方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408983A (zh) * 2008-10-29 2009-04-15 南京邮电大学 基于粒子滤波和活动轮廓模型的多目标跟踪方法
CN103440667A (zh) * 2013-07-19 2013-12-11 杭州师范大学 一种遮挡状态下运动目标稳定追踪的自动装置
CN103679749A (zh) * 2013-11-22 2014-03-26 北京奇虎科技有限公司 一种基于运动目标跟踪的图像处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408983A (zh) * 2008-10-29 2009-04-15 南京邮电大学 基于粒子滤波和活动轮廓模型的多目标跟踪方法
CN103440667A (zh) * 2013-07-19 2013-12-11 杭州师范大学 一种遮挡状态下运动目标稳定追踪的自动装置
CN103679749A (zh) * 2013-11-22 2014-03-26 北京奇虎科技有限公司 一种基于运动目标跟踪的图像处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙中森: "一种抗遮挡的运动目标跟踪算法", 《光学精密工程》 *
田伟: "遮挡情况下多目标跟踪的一种新方法", 《计算机工程与应用》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置
CN108346158A (zh) * 2017-01-22 2018-07-31 山东大学 基于主块数据关联的多目标跟踪方法及***
CN108346158B (zh) * 2017-01-22 2020-04-07 山东大学 基于主块数据关联的多目标跟踪方法及***
CN106952294B (zh) * 2017-02-15 2019-10-08 北京工业大学 一种基于rgb-d数据的视频跟踪方法
CN106952294A (zh) * 2017-02-15 2017-07-14 北京工业大学 一种基于rgb‑d数据的视频跟踪方法
CN111480180A (zh) * 2017-11-29 2020-07-31 赛峰电子与防务公司 用于检测和跟踪目标的方法
CN111480180B (zh) * 2017-11-29 2022-07-12 赛峰电子与防务公司 用于检测和跟踪目标的方法和装置、光电设备
CN108320302A (zh) * 2018-01-26 2018-07-24 西安电子科技大学 基于随机超曲面的CBMeMBer多目标跟踪方法
CN108320302B (zh) * 2018-01-26 2019-10-11 西安电子科技大学 基于随机超曲面的CBMeMBer多目标跟踪方法
CN110297221A (zh) * 2019-06-19 2019-10-01 西安电子科技大学 一种基于高斯混合模型的数据关联方法
CN110297221B (zh) * 2019-06-19 2021-04-06 西安电子科技大学 一种基于高斯混合模型的数据关联方法
CN110288625A (zh) * 2019-07-04 2019-09-27 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN115439509A (zh) * 2022-11-07 2022-12-06 成都泰盟软件有限公司 一种多目标跟踪方法、装置、计算机设备及存储介质
CN115439509B (zh) * 2022-11-07 2023-02-03 成都泰盟软件有限公司 一种多目标跟踪方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN103942535B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
CN103942535A (zh) 多目标跟踪方法及装置
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN105654139B (zh) 一种采用时间动态表观模型的实时在线多目标跟踪方法
CN103268616B (zh) 多特征多传感器的移动机器人运动人体跟踪方法
CN107424171B (zh) 一种基于分块的抗遮挡目标跟踪方法
Yang et al. Multi-object tracking with discriminant correlation filter based deep learning tracker
CN103886619B (zh) 一种融合多尺度超像素的目标跟踪方法
CN102903119A (zh) 一种目标跟踪方法和装置
CN102799646B (zh) 一种面向多视点视频的语义对象分割方法
CN106228539A (zh) 一种三维点云中多种几何基元自动识别方法
CN110852269A (zh) 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN101877134B (zh) 一种机场监视视频目标鲁棒跟踪方法
Li et al. Transmission line detection in aerial images: An instance segmentation approach based on multitask neural networks
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN103761523A (zh) 一种机载遥感视频特定人造区域自动识别跟踪方法
CN104834894A (zh) 一种结合二进制编码和类-Hausdorff距离的手势识别方法
Chen et al. Robust vehicle detection and viewpoint estimation with soft discriminative mixture model
Qasim et al. A hybrid swarm intelligence based approach for abnormal event detection in crowded environments
CN104463909A (zh) 基于信度组合地图模型的视觉目标跟踪方法
Wu et al. Realtime single-shot refinement neural network with adaptive receptive field for 3D object detection from LiDAR point cloud
CN102663773A (zh) 视频目标的双核式自适应融合跟踪方法
CN103996207A (zh) 一种物体跟踪方法
CN104504692A (zh) 基于区域对比度的图像中显著对象的提取方法
CN106599815A (zh) 基于标记分布的解决类别缺失问题的头部姿态估计方法
Yin et al. Learning for graph matching based multi-object tracking in auto driving

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Kezhu road high tech Industrial Development Zone, Guangzhou city of Guangdong Province, No. 233 510670

Patentee after: Wei Chong group Limited by Share Ltd

Address before: 510670 Guangdong city of Guangzhou province Kezhu Guangzhou high tech Industrial Development Zone, Road No. 233

Patentee before: Guangdong Weichuangshixun Science and Technology Co., Ltd.

CP03 Change of name, title or address
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20210328

CF01 Termination of patent right due to non-payment of annual fee