CN107886522B - 尺度自适应的目标模型更新方法及装置 - Google Patents
尺度自适应的目标模型更新方法及装置 Download PDFInfo
- Publication number
- CN107886522B CN107886522B CN201710970365.0A CN201710970365A CN107886522B CN 107886522 B CN107886522 B CN 107886522B CN 201710970365 A CN201710970365 A CN 201710970365A CN 107886522 B CN107886522 B CN 107886522B
- Authority
- CN
- China
- Prior art keywords
- target
- scale
- image
- determining
- image layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种尺度自适应的目标模型更新方法及装置,属于计算机视觉领域。该方法包括:基于尺度金字塔,确定目标的最优图像尺度;当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。由于尺度金字塔具有较大的尺度范围,能够适应目标尺度的剧烈变化。利用灰度分布特征作为目标尺度估计中使用的特征,该特征根据目标像素点位置和灰度作出统计直方图。由于考虑到了目标位置信息,灰度分布特征比灰度直方图更能够体现目标特点,能够利用该特征较准确的估计尺度。
Description
技术领域
本发明涉及计算机视觉领域,更具体地,涉及一种尺度自适应的目标模型更新方法及装置。
背景技术
目标尺度自适应多年来一直都是目标跟踪研究的热点,为了解决目标尺寸变化的问题,许多学者提出了有效的尺度自适应方案。随着这些方案的不断改进和发展,尺度自适应方案变得越来越完善。相关技术中提出了一种尺度自适应方案,主要是通过提取上一帧的跟踪框以及上一帧跟踪框大小的0.9倍和1.1倍模板分别进行MeanShift跟踪,计算三个模板与当前更新目标之间的Bhattacharyya系数,选择系数最大的模板作为目标模板,并按照目标模板完成尺度的更新。
在实现本发明的过程中,申请人发现相关技术至少存在如下问题:
当尺度变化较小时,尺度震荡较大,尺度更新过程中会出现不断放大缩小的情况。当尺度变化较大时,如在超出0.9倍或1.1倍的情况下,可能出现尺度来不及变化,造成跟踪漂移或者跟踪失败。
发明内容
为了解决上述问题,本发明提供一种克服上述问题或者至少部分地解决上述问题的尺度自适应的目标模型更新方法及装置。
根据本发明的第一方面,提供了一种尺度自适应的目标模型更新方法,该方法包括:
基于尺度金字塔,确定目标的最优图像尺度;
当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。
本发明实施例提供的方法,通过基于尺度金字塔,确定目标的最优图像尺度。当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。由于尺度金字塔具有较大的尺度范围,能够适应目标尺度的剧烈变化。利用灰度分布特征作为目标尺度估计中使用的特征,该特征根据目标像素点位置和灰度作出统计直方图。由于考虑到了目标位置信息,灰度分布特征比灰度直方图更能够体现目标特点,能够利用该特征较准确的估计尺度。
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,基于尺度金字塔,确定目标的最优图像尺度之前,还包括:
基于预设层数,确定每一图像层对应的长与宽;
以目标的目标坐标为中心,按照每一图像层对应的长与宽,对目标的当前帧图像进行缩放,以得到尺度金字塔。
结合第一方面的第一种可能的实现方式,在第三种可能的实现方式中,基于尺度金字塔,确定目标的最优图像尺度,包括:
确定尺度金字塔中每一图像层对应的归一化灰度分布直方图;
确定目标的当前帧图像的目标模型对应的归一化灰度分布直方图;
基于每一图像层对应的归一化灰度分布直方图及当前帧图像的目标模型对应的归一化灰度分布直方图,确定目标的最优图像尺度。
结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中,确定尺度金字塔中每一图像层对应的归一化灰度分布直方图,包括:
基于每一图像层中每一像素的位置权重以及灰度等级,确定每一图像层对应的灰度分布直方图;
对每一图像层对应的灰度分布直方图进行归一化,得到每一图像层对应的归一化灰度分布直方图。
结合第一方面的第四种可能的实现方式,在第五种可能的实现方式中,基于每一图像层中每一像素的位置权重以及灰度等级,确定每一图像层对应的灰度分布直方图之前,还包括:
基于目标的目标坐标、每一图像层中每一像素的横纵坐标及每一图像层的长宽,确定每一图像层中每一像素的位置权重;
基于每一图像层中每一像素的像素灰度值,确定每一图像层中每一像素的灰度等级。
结合第一方面的第三种可能的实现方式,在第六种可能的实现方式中,基于每一图像层对应的归一化灰度分布直方图及当前帧图像的目标模型对应的归一化灰度分布直方图,确定目标的最优图像尺度,包括:
计算每一图像层对应的归一化灰度分布直方图与当前帧图像的目标模型对应的归一化灰度分布直方图之间的巴氏系数;
确定最大巴氏系数,将最大巴氏系数对应图像层对应的图像尺度作为目标的最优图像尺度。
结合第一方面的第一种可能的实现方式,在第七种可能的实现方式中,基于最优图像尺度,更新目标的下一帧图像的目标模型之前,还包括:
获取当前帧图像中***计算得到的相关峰峰值;
当相关峰峰值不小于预设阈值时,确定目标未被遮挡。
结合第一方面的第一种可能的实现方式,在第八种可能的实现方式中,基于最优图像尺度,更新目标的下一帧图像的目标模型,包括:
基于最优图像尺度,确定目标模型的尺度参数;
基于概率参数、目标的当前帧图像的目标模型以及上一帧图像的目标模型,更新下一帧图像的目标模型。
结合第一方面的第八种可能的实现方式,在第九种可能的实现方式中,基于概率参数、目标的当前帧图像的目标模型以及上一帧图像的目标模型,更新下一帧图像的目标模型之前,还包括:
基于当前帧图像中***计算得到的相关峰峰值,确定概率参数。
根据本发明的第二方面,提供了一种尺度自适应的目标模型更新装置,包括:
第一确定模块,用于基于尺度金字塔,确定目标的最优图像尺度;
更新模块,用于当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。
应当理解的是,以上的一般描述和后文的细节描述是示例性和解释性的,并不能限制本发明。
附图说明
图1为本发明实施例的一种尺度自适应的目标模型更新方法的流程示意图;
图2为本发明实施例的一种尺度自适应的目标模型更新方法的流程示意图;
图3为本发明实施例的一种尺度自适应的目标模型更新装置的结构示意图;
图4为本发明实施例的一种尺度自适应的目标模型更新设备的框图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
目标尺度自适应多年来一直都是目标跟踪研究的热点,为了解决目标尺寸变化的问题,许多学者提出了有效的尺度自适应方案。随着这些方案的不断改进和发展,尺度自适应方案变得越来越完善。相关技术中提出了一种尺度自适应方案,主要是通过提取上一帧的跟踪框以及上一帧跟踪框大小的0.9倍和1.1倍模板分别进行MeanShift跟踪,计算三个模板与当前更新目标之间的Bhattacharyya系数,选择系数最大的模板作为目标模板,并按照目标模板完成尺度的更新。其中,当尺度变化较小时,尺度震荡较大,尺度更新过程中会出现不断放大缩小的情况。当尺度变化较大时,如在超出0.9倍或1.1倍的情况下,可能出现尺度来不及变化,造成跟踪漂移或者跟踪失败。
相关技术中还提供了另一种方案,主要是利用矩计算目标尺度,先将目标区域进行扩大,在扩大的候选区域中采用基于距离加权的方法计算零阶矩以对目标区域进行评估,由目标模板和候选模板中提取出来的权重图可以表示图像中的像素点属于目标的可能性。由于该方案只利用了目标的颜色特征空间,对于可见光图像效果较好,但是对于红外图像来说颜色特征较少,效果并不明显。
针对上述问题,本发明实施例提供了一种尺度自适应的目标模型更新方法。参考图1,该方法包括:101、基于尺度金字塔,确定目标的最优图像尺度;102、当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。
本发明实施例提供的方法,通过基于尺度金字塔,确定目标的最优图像尺度。当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。由于尺度金字塔具有较大的尺度范围,能够适应目标尺度的剧烈变化。利用灰度分布特征作为目标尺度估计中使用的特征,该特征根据目标像素点位置和灰度作出统计直方图。由于考虑到了目标位置信息,灰度分布特征比灰度直方图更能够体现目标特点,能够利用该特征较准确的估计尺度。
作为一种可选实施例,基于尺度金字塔,确定目标的最优图像尺度之前,还包括:
基于预设层数,确定每一图像层对应的长与宽;
以目标的目标坐标为中心,按照每一图像层对应的长与宽,对目标的当前帧图像进行缩放,以得到尺度金字塔。
作为一种可选实施例,基于尺度金字塔,确定目标的最优图像尺度,包括:
确定尺度金字塔中每一图像层对应的归一化灰度分布直方图;
确定目标的当前帧图像的目标模型对应的归一化灰度分布直方图;
基于每一图像层对应的归一化灰度分布直方图及当前帧图像的目标模型对应的归一化灰度分布直方图,确定目标的最优图像尺度。
作为一种可选实施例,确定尺度金字塔中每一图像层对应的归一化灰度分布直方图,包括:
基于每一图像层中每一像素的位置权重以及灰度等级,确定每一图像层对应的灰度分布直方图;
对每一图像层对应的灰度分布直方图进行归一化,得到每一图像层对应的归一化灰度分布直方图。
作为一种可选实施例,基于每一图像层中每一像素的位置权重以及灰度等级,确定每一图像层对应的灰度分布直方图之前,还包括:
基于目标的目标坐标、每一图像层中每一像素的横纵坐标及每一图像层的长宽,确定每一图像层中每一像素的位置权重;
基于每一图像层中每一像素的像素灰度值,确定每一图像层中每一像素的灰度等级。
作为一种可选实施例,基于每一图像层对应的归一化灰度分布直方图及当前帧图像的目标模型对应的归一化灰度分布直方图,确定目标的最优图像尺度,包括:
计算每一图像层对应的归一化灰度分布直方图与当前帧图像的目标模型对应的归一化灰度分布直方图之间的巴氏系数;
确定最大巴氏系数,将最大巴氏系数对应图像层对应的图像尺度作为目标的最优图像尺度。
作为一种可选实施例,基于最优图像尺度,更新目标的下一帧图像的目标模型之前,还包括:
获取当前帧图像中***计算得到的相关峰峰值;
当相关峰峰值不小于预设阈值时,确定目标未被遮挡。
作为一种可选实施例,基于最优图像尺度,更新目标的下一帧图像的目标模型,包括:
基于最优图像尺度,确定目标模型的尺度参数;
基于概率参数、目标的当前帧图像的目标模型以及上一帧图像的目标模型,更新下一帧图像的目标模型。
作为一种可选实施例,基于概率参数、目标的当前帧图像的目标模型以及上一帧图像的目标模型,更新下一帧图像的目标模型之前,还包括:
基于当前帧图像中***计算得到的相关峰峰值,确定概率参数。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
基于上述实施例的内容,本发明实施例提供了一种尺度自适应的目标模型更新方法。参见图2,该方法包括:201、基于预设层数,确定每一图像层对应的长与宽;202、以目标的目标坐标为中心,按照每一图像层对应的长与宽,对目标的当前帧图像进行缩放,以得到尺度金字塔;203、基于尺度金字塔,确定目标的最优图像尺度;204、当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。
其中,201、基于预设层数,确定每一图像层对应的长与宽。
其中,预设层数为后续尺度金字塔划分的层数。尺度金字塔是一种以多分辨率来解释图像的结构,通过对原始图像进行多尺度像素采样的方式,生成S个不同分辨率的图像。把具有最高级别分辨率的图像放在底部,以金字塔形状排列,往上是一系列像素(尺寸)逐渐降低的图像,一直到金字塔的顶部只包含一个像素点的图像,这就构成了尺度金字塔。为了便于描述,设目标的目标坐标为(x,y)。若目标的长宽分别为R和C,而尺度金字塔的层数为S,从而第n层金字塔的长和宽,也即第n个图像层对应的长与宽分别为:
在上述公式中,Rn表示第n个图像层对应的长,Cn表示第n个图像层对应的宽。a是尺度因子,决定每层金字塔尺度的变化大小。对于n∈{1,...,S},kn的取值为:
需要说明的是,尺度金字塔中每一图像层都是以(x,y)为中心,Rn、Cn为长宽的矩形图像。
其中,202、以目标的目标坐标为中心,按照每一图像层对应的长与宽,对目标的当前帧图像进行缩放,以得到尺度金字塔。
由上述步骤201可知,尺度金字塔是由图像经过缩放得到。通过上述步骤201,可得到每一图像层的长与宽。按照每一图像层的长与宽,可对当前帧图像的尺度进行放大和缩小,从而可得到一系列的样本,进而全面包含了可能出现的目标尺度,能够适应尺度波动范围较大的情形,以得到更好的预测结果。通过上述步骤,可得到尺度金字塔。
其中,203、基于尺度金字塔,确定目标的最优图像尺度。
本发明实施例不对基于尺度金字塔,确定目标的最优图像尺度的方式作具体限定,包括但不限于:确定尺度金字塔中每一图像层对应的归一化灰度分布直方图;确定目标的当前帧图像的目标模型对应的归一化灰度分布直方图;基于每一图像层对应的归一化灰度分布直方图及当前帧图像的目标模型对应的归一化灰度分布直方图,确定目标的最优图像尺度。
其中,在确定尺度金字塔中每一图像层对应的归一化灰度分布直方图时,可基于每一图像层中每一像素的位置权重以及灰度等级,确定每一图像层对应的灰度分布直方图;对每一图像层对应的灰度分布直方图进行归一化,得到每一图像层对应的归一化灰度分布直方图。
对于任一图像层中每一像素,如以in,jn表示第n层中某一像素的横纵坐标,以grayn(in,jn)表示该像素的像素灰度值。其中,in,jn的取值范围如下:
在基于每一图像层中每一像素的位置权重以及灰度等级,确定每一图像层对应的灰度分布直方图之前,还可基于目标的目标坐标、每一图像层中每一像素的横纵坐标及每一图像层的长宽,确定每一图像层中每一像素的位置权重;基于每一图像层中每一像素的像素灰度值,确定每一图像层中每一像素的灰度等级。
具体地,可令rn=Rn 2+Cn 2,dn=(in-x)2+(jn-y)2,从而可计算比值ki,j。ki,j可通过如下公式计算:
相应地,该像素的位置权重可通过如下公式计算:
在确定每一图像层中每一像素的位置权重,可基于每一图像层中每一像素的像素灰度值,可确定每一图像层中每一像素的灰度等级。具体地,对于上述示例像素,若该像素的像素灰度值为grayn(in,jn),灰度分布直方图的总级数为b,尺度金字塔由8位灰度图像构成。通过每一图像层中的像素灰度值grayn(in,jn)可以计算得到对应的灰度等级ti,j,具体可参考如下公式:
在得到每一图像层中每一像素的位置权重以及灰度等级之后,可确定每一图像层对应的灰度分布直方图。对于每一图像层,将每一图像层中每一像素的灰度等级ti,j加上像素值对应的权重,即可得到每一图像层对应的灰度分布直方图,具体可参考如下公式:
Hn(ti,j)=Hn(ti,j)+wi,j
其中,Hn(ti,j)为第n个图像层中第ti,j灰度级的值。灰度分布计算完成后可对直方图进行归一化,得到归一化的灰度分布直方图,具体过程可参考如下公式:
上述公式中,u表示直方图的第u级,u从1开始取值。
在得到每一图像层对应的归一化灰度分布直方图之后,本发明实施例不对基于每一图像层对应的归一化灰度分布直方图及当前帧图像的目标模型对应的归一化灰度分布直方图,确定目标的最优图像尺度的方式作具体限定,包括但不限于:计算每一图像层对应的归一化灰度分布直方图与当前帧图像的目标模型对应的归一化灰度分布直方图之间的巴氏系数;确定最大巴氏系数,将最大巴氏系数对应图像层对应的图像尺度作为目标的最优图像尺度。
具体地,在计算出当前帧图像的目标模型对应的归一化灰度分布直方图以及每一图像层对应的归一化灰度分布直方图之后,可通过计算Bhattacharyya巴氏系数比较两者之间的相似度,具体计算过程可参考如下公式:
通过上述公式计算得到的巴氏系数越大,则说明相似度也越高。通过上述过程,每一图像层可计算得到一个对应的巴氏系数,从而可将最大巴氏系数对应图像层的图像尺度作为目标的最优图像尺度。其中,巴氏系数可作为一种距离度量,利用距离比较相似性。
其中,204、当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。
在执行本步骤之前,可先判断目标是否被遮挡。本发明实施例不对判断目标是否被遮挡的方式作具体限定,包括但不限于:获取当前帧图像中***计算得到的相关峰峰值;当相关峰峰值不小于预设阈值时,确定目标未被遮挡。
其中,预设阈值可根据需求进行设置,本发明实施例对此不作具体限定。具体地,根据***的相关峰大小判断目标是否遮挡,在发生遮挡时不对目标特征进行更新。假设本帧图像中***计算得到的相关峰峰值为p,当p<0.2时认为目标发生遮挡,此时不进行更新。在上述过程中,预设阈值为0.2。
本发明实施例不对基于最优图像尺度,更新目标的下一帧图像的目标模型的方式作具体限定,包括但不限于:基于最优图像尺度,确定目标模型的尺度参数;基于概率参数、目标的当前帧图像的目标模型以及上一帧图像的目标模型,更新下一帧图像的目标模型。
在基于概率参数、目标的当前帧图像的目标模型以及上一帧图像的目标模型,更新下一帧图像的目标模型之前,还可确定概率参数。本发明实施例不对确定概率参数的方式作具体限定,包括但不限于:基于当前帧图像中***计算得到的相关峰峰值,确定概率参数。
具体地,设概率参数为η。采用自适应学习率的方法,η可根据本帧图像中目标与模型的相似程度进行更新,η的计算过程如下所示:
其中,p为上述过程计算得到的相关峰峰值。
在基于概率参数、目标的当前帧图像的目标模型以及上一帧图像的目标模型,更新下一帧图像的目标模型时,可采用如下公式进行特征更新,即采用逐帧更新的方式,但每一帧更新时依然保留部分原始的模型信息:
Mt+1=(1-η)Mt-1+ηMt
其中,Mt+1为更新得到的目标模型,Mt-1为上一帧的目标模型,Mt为当前帧的目标模型。
本发明实施例提供的方法,通过基于预设层数,确定每一图像层对应的长与宽。以目标的目标坐标为中心,按照每一图像层对应的长与宽,对目标的当前帧图像进行缩放,以得到尺度金字塔。基于尺度金字塔,确定目标的最优图像尺度。当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。由于尺度金字塔具有较大的尺度范围,能够适应目标尺度的剧烈变化。利用灰度分布特征作为目标尺度估计中使用的特征,该特征根据目标像素点位置和灰度作出统计直方图。由于考虑到了目标位置信息,灰度分布特征比灰度直方图更能够体现目标特点,能够利用该特征较准确的估计尺度。
另外,由于采用了自适应学习率的特征更新方法,即根据模板匹配时的相关峰峰值以确定目标模板的更新程度,从而有利于在目标形态变化时继续跟踪上目标。
基于上述实施例所提供的尺度自适应的目标模型更新方法,本发明实施例提供了一种尺度自适应的目标模型更新装置。参见图3,该装置包括:
第一确定模块301,用于基于尺度金字塔,确定目标的最优图像尺度;
更新模块302,用于当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。
作为一种可选实施例,该装置还包括:
第二确定模块,用于基于预设层数,确定每一图像层对应的长与宽;
缩放模块,用于以目标的目标坐标为中心,按照每一图像层对应的长与宽,对目标的当前帧图像进行缩放,以得到尺度金字塔。
作为一种可选实施例,第一确定模块301,包括:
第一确定单元,用于确定尺度金字塔中每一图像层对应的归一化灰度分布直方图;
第二确定单元,用于确定目标的当前帧图像的目标模型对应的归一化灰度分布直方图;
第三确定单元,用于基于每一图像层对应的归一化灰度分布直方图及当前帧图像的目标模型对应的归一化灰度分布直方图,确定目标的最优图像尺度。
作为一种可选实施例,第一确定单元,用于基于每一图像层中每一像素的位置权重以及灰度等级,确定每一图像层对应的灰度分布直方图;对每一图像层对应的灰度分布直方图进行归一化,得到每一图像层对应的归一化灰度分布直方图。
作为一种可选实施例,第一确定单元,还包括:
第四确定单元,用于基于目标的目标坐标、每一图像层中每一像素的横纵坐标及每一图像层的长宽,确定每一图像层中每一像素的位置权重;
第五确定单元,用于基于每一图像层中每一像素的像素灰度值,确定每一图像层中每一像素的灰度等级。
作为一种可选实施例,第三确定单元,用于计算每一图像层对应的归一化灰度分布直方图与当前帧图像的目标模型对应的归一化灰度分布直方图之间的巴氏系数;确定最大巴氏系数,将最大巴氏系数对应图像层对应的图像尺度作为目标的最优图像尺度。
作为一种可选实施例,该装置还包括:
获取模块,用于获取当前帧图像中***计算得到的相关峰峰值;
第三确定模块,用于当相关峰峰值不小于预设阈值时,确定目标未被遮挡。
作为一种可选实施例,更新模块302,包括:
第六确定单元,用于基于最优图像尺度,确定目标模型的尺度参数;
更新单元,用于基于概率参数、目标的当前帧图像的目标模型以及上一帧图像的目标模型,更新下一帧图像的目标模型。
作为一种可选实施例,更新模块302,还包括:
第七确定单元,用于基于当前帧图像中***计算得到的相关峰峰值,确定概率参数。
本发明实施例提供的装置,通过基于尺度金字塔,确定目标的最优图像尺度。当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。由于尺度金字塔具有较大的尺度范围,能够适应目标尺度的剧烈变化。利用灰度分布特征作为目标尺度估计中使用的特征,该特征根据目标像素点位置和灰度作出统计直方图。由于考虑到了目标位置信息,灰度分布特征比灰度直方图更能够体现目标特点,能够利用该特征较准确的估计尺度。
另外,由于采用了自适应学习率的特征更新方法,即根据模板匹配时的相关峰峰值以确定目标模板的更新程度,从而有利于在目标形态变化时继续跟踪上目标。
本发明实施例提供了一种尺度自适应的目标模型更新设备。参见图4,该尺度自适应的目标模型更新设备包括:处理器(processor)401、存储器(memory)402和总线403;
其中,处理器401及存储器402分别通过总线403完成相互间的通信;
处理器401用于调用存储器402中的程序指令,以执行上述实施例所提供的尺度自适应的目标模型更新方法,例如包括:基于尺度金字塔,确定目标的最优图像尺度;当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。
本发明提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令使计算机执行上述实施例所提供的尺度自适应的目标模型更新方法,例如包括:基于尺度金字塔,确定目标的最优图像尺度;当目标未被遮挡时,基于最优图像尺度,更新目标的下一帧图像的目标模型。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的信息交互设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后,本申请的方法仅为较佳的实施方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种尺度自适应的目标模型更新方法,其特征在于,包括:
基于尺度金字塔,确定目标的最优图像尺度;
当所述目标未被遮挡时,基于所述最优图像尺度,更新所述目标的下一帧图像的目标模型;
其中,所述基于尺度金字塔,确定目标的最优图像尺度,包括:
确定所述尺度金字塔中每一图像层对应的归一化灰度分布直方图;
确定所述目标的当前帧图像的目标模型对应的归一化灰度分布直方图;
基于每一图像层对应的归一化灰度分布直方图及当前帧图像的目标模型对应的归一化灰度分布直方图,确定所述目标的最优图像尺度;
其中,所述确定所述尺度金字塔中每一图像层对应的归一化灰度分布直方图,包括:
基于每一图像层中每一像素的位置权重以及灰度等级,确定每一图像层对应的灰度分布直方图;
对每一图像层对应的灰度分布直方图进行归一化,得到每一图像层对应的归一化灰度分布直方图;
所述基于每一图像层对应的归一化灰度分布直方图及当前帧图像的目标模型对应的归一化灰度分布直方图,确定所述目标的最优图像尺度,包括:
计算每一图像层对应的归一化灰度分布直方图与当前帧图像的目标模型对应的归一化灰度分布直方图之间的巴氏系数;
确定最大巴氏系数,将最大巴氏系数对应图像层对应的图像尺度作为所述目标的最优图像尺度。
2.根据权利要求1所述的方法,其特征在于,所述基于尺度金字塔,确定目标的最优图像尺度之前,还包括:
基于预设层数,确定每一图像层对应的长与宽;
以所述目标的目标坐标为中心,按照每一图像层对应的长与宽,对所述目标的当前帧图像进行缩放,以得到所述尺度金字塔。
3.根据权利要求2所述的方法,其特征在于,所述基于每一图像层中每一像素的位置权重以及灰度等级,确定每一图像层对应的灰度分布直方图之前,还包括:
基于所述目标的目标坐标、每一图像层中每一像素的横纵坐标及每一图像层的长宽,确定每一图像层中每一像素的位置权重;
基于每一图像层中每一像素的像素灰度值,确定每一图像层中每一像素的灰度等级。
4.根据权利要求1所述的方法,其特征在于,所述基于所述最优图像尺度,更新所述目标的下一帧图像的目标模型之前,还包括:
获取当前帧图像中***计算得到的相关峰峰值;
当所述相关峰峰值不小于预设阈值时,确定所述目标未被遮挡。
5.根据权利要求1所述的方法,其特征在于,所述基于所述最优图像尺度,更新所述目标的下一帧图像的目标模型,包括:
基于所述最优图像尺度,确定目标模型的尺度参数;
基于概率参数、所述目标的当前帧图像的目标模型以及上一帧图像的目标模型,更新下一帧图像的目标模型。
6.根据权利要求5所述的方法,其特征在于,所述基于概率参数、所述目标的当前帧图像的目标模型以及上一帧图像的目标模型,更新下一帧图像的目标模型之前,还包括:
基于当前帧图像中***计算得到的相关峰峰值,确定所述概率参数。
7.一种尺度自适应的目标模型更新装置,其特征在于,包括:
第一确定模块,用于基于尺度金字塔,确定目标的最优图像尺度;
更新模块,用于当所述目标未被遮挡时,基于所述最优图像尺度,更新所述目标的下一帧图像的目标模型;
其中,所述第一确定模块包括:
第一确定单元,用于确定所述尺度金字塔中每一图像层对应的归一化灰度分布直方图;
第二确定单元,用于确定所述目标的当前帧图像的目标模型对应的归一化灰度分布直方图;
第三确定单元,用于基于每一图像层对应的归一化灰度分布直方图及当前帧图像的目标模型对应的归一化灰度分布直方图,确定所述目标的最优图像尺度;
其中,第一确定单元用于:
基于每一图像层中每一像素的位置权重以及灰度等级,确定每一图像层对应的灰度分布直方图;
对每一图像层对应的灰度分布直方图进行归一化,得到每一图像层对应的归一化灰度分布直方图;
第三确定单元用于:
计算每一图像层对应的归一化灰度分布直方图与当前帧图像的目标模型对应的归一化灰度分布直方图之间的巴氏系数;
确定最大巴氏系数,将最大巴氏系数对应图像层对应的图像尺度作为所述目标的最优图像尺度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710970365.0A CN107886522B (zh) | 2017-10-16 | 2017-10-16 | 尺度自适应的目标模型更新方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710970365.0A CN107886522B (zh) | 2017-10-16 | 2017-10-16 | 尺度自适应的目标模型更新方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107886522A CN107886522A (zh) | 2018-04-06 |
CN107886522B true CN107886522B (zh) | 2020-06-12 |
Family
ID=61781722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710970365.0A Active CN107886522B (zh) | 2017-10-16 | 2017-10-16 | 尺度自适应的目标模型更新方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107886522B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101924871A (zh) * | 2010-02-04 | 2010-12-22 | 苏州大学 | 基于均值偏移的视频目标跟踪方法 |
CN104123714A (zh) * | 2013-04-27 | 2014-10-29 | 华中科技大学 | 一种人流量统计中最优目标检测尺度的生成方法 |
CN106296729A (zh) * | 2016-07-27 | 2017-01-04 | 南京华图信息技术有限公司 | 一种鲁棒的实时红外成像地面运动目标跟踪方法和*** |
-
2017
- 2017-10-16 CN CN201710970365.0A patent/CN107886522B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101924871A (zh) * | 2010-02-04 | 2010-12-22 | 苏州大学 | 基于均值偏移的视频目标跟踪方法 |
CN104123714A (zh) * | 2013-04-27 | 2014-10-29 | 华中科技大学 | 一种人流量统计中最优目标检测尺度的生成方法 |
CN106296729A (zh) * | 2016-07-27 | 2017-01-04 | 南京华图信息技术有限公司 | 一种鲁棒的实时红外成像地面运动目标跟踪方法和*** |
Non-Patent Citations (8)
Title |
---|
Adaptive pyramid mean shift for global real-time visual tracking;Shu-Xiao Li等;《Image and Vision Computing》;20101231;第 424–437页 * |
Discriminative Scale Space Tracking;Martin Danelljan等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20170831;第39卷(第8期);第1561-1575页 * |
Kernel-Based Object Tracking;Dorin Comaniciu等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20030531;第25卷(第5期);第564-577页 * |
Pixel-Wise Spatial Pyramid-Based Hybrid Tracking;Huchuan Lu等;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20120930;第22卷(第9期);第1365-1376页 * |
Scale and orientation adaptive mean shift tracking;J.Ning等;《IET Computer Vision》;20101231;第52-61页 * |
Visual Tracking and Recognition Using Appearance-Adaptive Models in Particle Filters;Shaohua Zhou等;《 IEEE Transactions on Image Processing 》;20041231;第1-37页 * |
一种自适应的金字塔式Lucas-Kanade目标跟踪算法;唐建宇;《计算机技术应用》;20131231;第225页 * |
自适应尺度的快速相关滤波跟踪算法;马晓楠等;《计算机辅助设计与图形学学报》;20170331;第29卷(第3期);第450-458页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107886522A (zh) | 2018-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7236545B2 (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
US20200167554A1 (en) | Gesture Recognition Method, Apparatus, And Device | |
CN110738101B (zh) | 行为识别方法、装置及计算机可读存储介质 | |
US20150154450A1 (en) | Optical Flow Tracking Method and Apparatus | |
WO2019136591A1 (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及*** | |
CN112241976A (zh) | 一种训练模型的方法及装置 | |
CN112381061B (zh) | 一种面部表情识别方法及*** | |
CN112509003B (zh) | 解决目标跟踪框漂移的方法及*** | |
US20180357212A1 (en) | Detecting occlusion of digital ink | |
CN111784624A (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
CN114998595B (zh) | 弱监督语义分割方法、语义分割方法及可读存储介质 | |
CN111445496B (zh) | 一种水下图像识别跟踪***及方法 | |
JP5216902B2 (ja) | 対象物追跡装置及び対象物追跡方法 | |
CN111209908A (zh) | 更新标注框的方法、装置、存储介质和计算机设备 | |
CN111488779A (zh) | 视频图像超分辨率重建方法、装置、服务器及存储介质 | |
CN108229650B (zh) | 卷积处理方法、装置及电子设备 | |
JP2010122734A (ja) | 対象物追跡装置、対象物追跡方法及び対象物追跡プログラム | |
CN113542868A (zh) | 视频关键帧选取方法、装置、电子设备、存储介质 | |
CN112801890A (zh) | 一种视频处理方法、装置及设备 | |
CN107886522B (zh) | 尺度自适应的目标模型更新方法及装置 | |
JP4879257B2 (ja) | 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム | |
CN110751163A (zh) | 目标定位方法及其装置、计算机可读存储介质和电子设备 | |
CN108062741B (zh) | 双目图像处理方法、成像装置和电子设备 | |
CN111985510B (zh) | 生成模型训练方法、图像生成方法及装置、介质、终端 | |
CN117475357B (zh) | 基于深度学习的监控视频图像遮挡检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |