CN111429477B - 目标追踪方法及装置、存储介质、计算机设备 - Google Patents

目标追踪方法及装置、存储介质、计算机设备 Download PDF

Info

Publication number
CN111429477B
CN111429477B CN202010286778.9A CN202010286778A CN111429477B CN 111429477 B CN111429477 B CN 111429477B CN 202010286778 A CN202010286778 A CN 202010286778A CN 111429477 B CN111429477 B CN 111429477B
Authority
CN
China
Prior art keywords
frame
target
tracking
frames
tracking target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010286778.9A
Other languages
English (en)
Other versions
CN111429477A (zh
Inventor
王非凡
何佳伟
熊佳
刘艳艳
邓麟
彭晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202010286778.9A priority Critical patent/CN111429477B/zh
Publication of CN111429477A publication Critical patent/CN111429477A/zh
Application granted granted Critical
Publication of CN111429477B publication Critical patent/CN111429477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种目标追踪方法及装置、存储介质、计算机设备,其中,所述方法包括:获取目标视频流,所述目标视频流包括若干帧图像;从所述目标视频流的各帧图像中识别追踪目标;当维多帧的稳定追踪时,判断所述追踪目标是否保持静止;若判断结果为是,则设置当前帧中追踪目标的位置与所述当前帧的上一帧中追踪目标的位置相同。通过上述方法,能够有效提高目标追踪的性能。

Description

目标追踪方法及装置、存储介质、计算机设备
技术领域
本发明涉及计算机视觉领域,具体地涉及一种目标追踪方法及装置、存储介质、计算机设备。
背景技术
运动目标追踪是计算机视觉领域的重要课题之一,尤其在智能交通、视频监控、人机交互、医学研究等方面发挥着重要作用。在追踪条件复杂的情况下,实现运动目标实时与稳定的追踪仍然面对着巨大的挑战,这些挑战主要有:追踪目标的尺寸变化、形态变化,追踪目标被遮挡或消失,采集的图像模糊等。其中,追踪目标的尺寸变化是指当目标尺度变大或缩小,此时若追踪框不能自适应地缩放,会导致目标模型的信息更新错误或者信息不全;追踪目标的形态变化是指当运动的目标发生姿态变化,如旋转或较小的形变,此时容易导致跟踪失败;追踪目标被遮挡或消失是指追踪目标在运动过程中可能出现被遮挡或者短暂消失的情况,跟踪框会因为包含了遮挡物或其他的背景信息,导致后续帧中目标跟踪框漂移到遮挡物上面或导致追踪失败;采集的图像模糊是指当光照强度变化,目标快速移动,运动目标与背景相似时,需要选择明显的特征来区分目标与背景。
为克服上述挑战,现有技术中提供了一些算法,其中,均值漂移(Mean Shift)算法是目标追踪的经典算法,该算法基于密度梯度上升的无参数估计,其优点在于计算量小,无需先验知识支持,简单易实现,能实时跟踪和快速收敛。虽然以均值漂移为算法核心的目标追踪算法通过增加特征,权重等方法进一步提高了追踪的准确性和鲁棒性,但是在实际应用中仍然存在着因尺度或背景变化导致的追踪框视觉抖动问题和因遮挡或消失导致的误漂移或追踪失败等问题,从而降低了目标追踪的性能。
发明内容
本发明解决的技术问题是如何提供一种目标追踪方法及装置、存储介质、计算机设备,以提高目标追踪的性能。
为解决上述技术问题,本发明实施例提供一种目标追踪方法,所述方法包括:获取目标视频流,所述目标视频流包括若干帧图像;从所述目标视频流的各帧图像中识别追踪目标;当维多帧的稳定追踪时,判断所述追踪目标是否保持静止;若判断结果为是,则设置当前帧中追踪目标的位置与所述当前帧的上一帧中追踪目标的位置相同。
可选的,所述判断所述追踪目标是否保持静止,包括:获取包括当前帧在内的最后若干帧,判断所述最后若干帧中所述追踪目标的大小是否相近;当最后若干帧中所述追踪目标的大小相近时,计算所述最后若干帧之间的亮度差值;当所述亮度差值小于亮度阈值时,所述追踪目标保持静止。
可选的,所述判断所述最后若干帧中所述追踪目标的大小是否相近,包括:对于最后若干帧中的每一帧,获取所述追踪目标的长轴和短轴;当每一帧中所述追踪目标的长轴与其他帧中所述追踪目标的长轴之间的差值在预设范围内、且每一帧中所述追踪目标的短轴与其他帧中所述追踪目标的短轴之间的差值在预设范围内时,最后若干帧中所述追踪目标的大小相近。
可选的,所述计算所述最后若干帧之间的亮度差值,包括:将所述最后若干帧中的每一帧分割为预设个区域,并计算分割后每一区域的亮度值;对于最后若干帧,分别计算各帧每一区域之间的亮度差值;根据各帧每一区域之间的亮度差值得到最后若干帧之间的亮度差值。
可选的,根据下述公式计算最后若干帧中两帧之间的亮度差值,包括:
Figure GDA0003730794620000021
其中,j为帧数且j的取值为0或1,当j=0时,表示该两帧中的第1帧,当j=1时,表示该两帧中的第2帧,m为每一帧分割的区域数量且m为常数,BlkSumj为第j帧的加权亮度和,avgji为第j帧中第i区域的亮度值,wji为第j帧中第i块区域的预设权重;
Figure GDA0003730794620000022
其中,BlkRatioj为BlkSumj归一化后的值;
Figure GDA0003730794620000031
其中,RatioDiff为该两帧之间的亮度差值,Blkratio0为j=0时BlkRatioj的值,Blkratio1为j=1时BlkRatioj的值。
可选的,所述方法还包括:当维持多帧稳定追踪时,若所述追踪目标消失,根据均值漂移算法计算所述追踪目标在消失的第一帧中的目标位置,开始累计失败帧数;当在下一帧中未成功追踪到追踪目标时,保持所述目标位置至再下一帧,并对失败帧数加一;当所述失败帧数超出帧数阈值时,对所述追踪目标追踪失败。
可选的,所述方法还包括:当在下一帧成功追踪到所述追踪目标时,找回所述追踪目标。
可选的,所述追踪目标在每一帧中的位置以目标框表示,所述保持所述目标位置至下一帧之后,所述方法还包括:扩大所述追踪目标的目标框。
本发明实施例还提供一种目标追踪装置,所述装置包括:视频流获取模块,用于获取目标视频流,所述目标视频流包括若干帧图像;追踪模块,用于从所述目标视频流的各帧图像中识别追踪目标;静止判定模块,用于当维多帧的稳定追踪时,判断所述追踪目标是否保持静止;静止防抖模块,用于若判断结果为是,则设置当前帧中追踪目标的位置与所述当前帧的上一帧中追踪目标的位置相同。
本发明实施例还提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项目标追踪方法的步骤。
本发明实施例还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项目标追踪方法的步骤。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
本发明实施例提供一种目标追踪方法,所述方法包括:获取目标视频流,所述目标视频流包括若干帧图像;从所述目标视频流的各帧图像中识别追踪目标;当维多帧的稳定追踪时,判断所述追踪目标是否保持静止;若判断结果为是,则设置当前帧中追踪目标的位置与所述当前帧的上一帧中追踪目标的位置相同。较之现有技术,本发明方案中,在对目标视频流逐帧进行目标追踪时,可对于静止的追踪目标进行位置维持,以实现连续帧追踪的防抖效果。当以均值漂移法进行目标追踪时,则解决了复杂环境下追踪目标的相对位置不变时的追踪框视觉抖动问题。
进一步地,对稳定追踪的多帧的最后若干帧,从追踪目标的大小和多帧之间的亮度两方面进行对比,以判定追踪目标在最后若干帧中的被识别情况是否相近,若相近,则可判定该追踪目标保持静止。
进一步地,可将最后若干帧分割为多个区域,结合各个区域的特殊性计算各帧的亮度值,再进行亮度对比,以准确获取最后若干帧之间的亮度对比结果,从而准确地判定追踪目标是否静止。
进一步地,实现了追踪目标的物体被遮挡或临时丢失后重新出现时的再跟踪功能,进一步增加了追踪的鲁棒性,符合视觉监控应用中的长期特性。
附图说明
图1为本发明实施例的一种目标追踪方法的流程示意图;
图2为本发明实施例的一种目标追踪方法的部分流程示意图;
图3为本发明实施例的一种对最后两帧的区域分割示意图;
图4为本发明实施例的另一种目标追踪方法的部分流程示意图;
图5是本发明实施例的一种目标追踪装置的结构示意图。
具体实施方式
如背景技术所述,现有技术中采用了均值漂移算法进行目标追踪,然而,在实际应用中仍然存在着因尺度或背景变化导致的追踪框视觉抖动问题,从而降低了目标追踪的性能。
其中,出现视觉抖动问题的原因是均值漂移算法的实时性特性会在每帧不断预测物体新位置,当目标物体相对位置几乎不变,尺度轻微变化或背景发生改变时,计算出的位置会出现小范围的波动,在视频中连续出现造成视觉上的抖动。
为解决现有技术中存在的上述问题,本发明实施例提供一种目标追踪方法,所述方法包括:获取目标视频流,所述目标视频流包括若干帧图像;从所述目标视频流的各帧图像中识别追踪目标;当维多帧的稳定追踪时,判断所述追踪目标是否保持静止;若判断结果为是,则设置当前帧中追踪目标的位置与所述当前帧的上一帧中追踪目标的位置相同。
通过该方案,能够有效提高目标追踪的性能。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
请参见图1,图1为本发明实施例提供的一种目标追踪方法的流程示意图,该方法可以包括以下步骤:
步骤S101,获取目标视频流,并对所述目标视频流逐帧识别追踪目标,所述目标视频流包括若干帧图像;
目标视频流是在进行目标追踪时所采集的视频流,该视频流包括若干帧采集到的图像。目标视频流可以为利用拍摄设备对某一区域采集得到的视频流。
步骤S102,从所述目标视频流的各帧图像中识别追踪目标;
可选的,可采用均值漂移法对目标视频流逐帧进行追踪目标的识别,以获取追踪目标在各帧图像中的位置,从而对追踪目标进行连续追踪。
均值漂移法主要的算法步骤为:确定初始帧中追踪目标的初始框的位置、形状、大小、特征;计算初始框的特征信息作为目标样本;根据当前帧追踪框的信息与初始框对比,计算出偏移均值,再以此为起点继续移动直到满足一定的条件结束。
步骤S103,当维持多帧的稳定追踪时,判断所述追踪目标是否保持静止;
当在目标视频流中连续多帧都可稳定追踪到追踪目标,则可判断该追踪目标是否处于静止状态,若是,则可进入静止防抖算法。
其中,在每帧计算均值漂移算法确定追踪目标的当前帧追踪框时,若当前帧追踪框和初始框相似度达到一定的条件,则此帧输出稳定标志量,若连续,则连续记录稳定追踪帧数,可将稳定追踪帧数设定为stab_cout。当稳定追踪帧数大于帧数阈值(如thrd0)时,也即stab_cout>thrd0时,对追踪目标维持多帧的稳定追踪。
步骤S104,若判断结果为是,则设置当前帧中追踪目标的位置与所述当前帧的上一帧中追踪目标的位置相同。
当判定追踪目标处于静止状态,则将当前帧中追踪目标的位置与上一帧中追踪目标的位置设置为相同的位置。
对于均值漂移法,各帧中追踪目标的位置为各帧中的追踪框,即保持静止的追踪目标在连续多帧中的追踪框的位置一致,实现防抖的效果。
通过上述目标追踪方法,在对目标视频流逐帧进行目标追踪时,可对于静止的追踪目标进行位置维持,以实现连续帧追踪的防抖效果。当以均值漂移法进行目标追踪时,则解决了复杂环境下追踪目标的相对位置不变时的追踪框视觉抖动问题。
在一个实施例中,请继续参见图1,图1中步骤S103所述判断所述追踪目标是否保持静止,可以包括:获取包括当前帧在内的最后若干帧,判断所述最后若干帧中所述追踪目标的大小是否相近;当最后若干帧中所述追踪目标的大小相近时,计算所述最后若干帧之间的亮度差值;当所述亮度差值小于亮度阈值时,所述追踪目标保持静止。
当持续多帧稳定追踪时,可对稳定追踪的多帧中的最后若干帧(即当前帧以及当前帧之间的几帧,当前帧为最后一帧)进行分析以判定追踪目标是否保持静止状态。
当追踪目标保持静止状态时,持续追踪的最后若干帧中该追踪目标的大小应相近,且各帧之间的亮度相似,故可从追踪目标的大小和相邻帧之间的亮度差值两个方面来进行分析。
其中,亮度阈值为判定最后若干帧的亮度相似的预设值,可根据需要设定为某一常数值。
本实施例中,对稳定追踪的多帧的最后若干帧,从追踪目标的大小和多帧之间的亮度两方面进行对比,以判定追踪目标在最后若干帧中的被识别情况是否相近,若相近,则可判定该追踪目标保持静止。
在一个实施例中,上述判断所述最后若干帧中所述追踪目标的大小是否相近,可以包括:对于最后若干帧中的每一帧,获取所述追踪目标的长轴和短轴;当每一帧中所述追踪目标的长轴与其他帧中所述追踪目标的长轴之间的差值在预设范围内、且每一帧中所述追踪目标的短轴与其他帧中所述追踪目标的短轴之间的差值在预设范围内时,最后若干帧中所述追踪目标的大小相近。
均值漂移算法计算出来的目标的大小用协方差矩阵(即椭圆)表征,可获取追踪目标的椭圆的长轴和短轴来表示追踪目标的大小。当最后若干帧中每帧的追踪目标的长轴(或短轴)与其他帧的长轴(或短轴)之间的差值都未超出预设范围,则判定最后若干帧中追踪目标的大小相近。
例如,当最后若干帧取最后三帧时,最后三帧分别设为倒数第三帧previousframe、倒数第二帧lastframe和当前帧current frame,每一帧追踪目标的长轴记为axis0,短轴记为axis1,故倒数三帧的长短轴记作:倒数第二帧(prv_axis0,prv_axis1),倒数第二帧(last_axis0,last_axis1),当前帧(cur_axis0,cur_axis1),则该三帧之间追踪目标的大小关系应满足下述公式(1)至公式(6),以保证最后三帧的长轴(或短轴)之间的差值在预设范围内:
prv_axis0×thrd1<last_axis0<prv_axis0×thrd2 (1)
last_axis0×thrd1<cur_axis0<last_axis0×thrd2 (2)
cur_axis0×thrd1<prv_axis0<cur_axis0×thrd2 (3)
last_axis1×thrd1<cur_axis1<last_axis1×thrd2 (4)
last_axis1×thrd1<cur_axis1<last_axis1×thrd2 (5)
cur_axis1×thrd1<prv_axis1<cur_axis1×thrd2 (6)
其中,thrd1和thrd2为预设系数,可根据需要设置为任意常数。
在一个实施例中,上述计算所述最后若干帧之间的亮度差值,可以包括图2中的步骤S201至S203,其中:
步骤S201,将所述最后若干帧中的每一帧分割为预设个区域,并计算分割后每一区域的亮度值;
可选的,将最后若干帧每一帧的画面分割成3×3=9个区域(Block),计算每一区域的平均亮度。
步骤S202,对于最后若干帧,分别计算各帧每一区域之间的亮度差值;
步骤S203,根据各帧每一区域之间的亮度差值得到最后若干帧之间的亮度差值。
在最后若干帧进行亮度对比时,可分别比较各帧的每一对应区域的亮度差值(或平均亮度的差值),以得到各帧的各个对应区域之间的亮度对比结果,进而得到各帧的亮度对比结果。
可选的,可对各帧的每一区域添加权重,以增加该区域的特殊性,各个区域的权重可根据实际亮度情况具体设置。例如每帧分割成的9个区域中,中间的区域的权重最大,即中间区域的特殊性最强。
可选的,根据下述公式(7)、公式(8)和公式(9)计算该两帧之间的亮度差值,例如可选择最后两帧(last frame和current frame)作为亮度对比的两帧:
Figure GDA0003730794620000081
其中,j为帧数且j的取值为0或1,当j=0时,表示该两帧中的第1帧,当j=1时,表示该两帧中的第2帧,m为每一帧分割的区域数量且m为常数,BlkSumj为第j帧的加权亮度和,avgji为第j帧中第i区域的亮度值,wji为第j帧中第i块区域的预设权重;
Figure GDA0003730794620000082
其中,BlkRatioj为BlkSumj归一化后的值;
Figure GDA0003730794620000083
其中,RatioDiff为该两帧之间的亮度差值,Blkratio0为j=0时BlkRatioj的值,Blkratio1为j=1时BlkRatioj的值。
请参见图3,图3提供了对最后两帧的区域分割示意图,分割后的各个区域表示为avgji,其中,j=0或1,当j=0时,表示该两帧中的第1帧,当j=1时,表示该两帧中的第2帧;i=0,1,2,…,8,分别表示将每帧分割得到的9个区域。
本实施例中,可将最后若干帧分割为多个区域,结合各个区域的特殊性计算各帧的亮度值,再进行亮度对比,以准确获取最后若干帧之间的亮度对比结果,从而准确地判定追踪目标是否静止。
可选的,对上述图1和图2的目标追踪方法,可引入置信度阈值计算,将最后若干帧中追踪目标的大小和最后若干帧之间的亮度差值都作为置信度计算的一个条件,若满足一个条件,则置信度加1,当置信度超过预设值时,则判定追踪目标处于静止状态,执行静止画面防抖处理,也即执行图1中的步骤S104操作。
可选的,请继续参见图1,图1中的步骤S103判断所述追踪目标是否保持静止之后,当判断结果为否时,则退出后续处理流程,继续采用均值漂移算法进行目标追踪。
另一方面,现有技术中对于追踪目标临时消失或部分隐藏,由于均值漂移法在实时迭代计算的过程中不断探寻与初始框目标样本相似的区域,若满足一定的相似条件,会误漂移到新(假)目标区域上,使得后续的追踪错误,若未找到相似的条件,则会宣告追踪失败。
为解决该问题,请参见图4,本发明实施例提供的目标追踪方法还可以包括下述步骤S401至S403,其中:
步骤S401,当维持多帧稳定追踪时,若所述追踪目标消失,根据均值漂移算法计算所述追踪目标在消失的第一帧中的目标位置,开始累计失败帧数;
基于多帧稳定追踪的前提下,也即预判断持续追踪的帧数大于预设帧数(thrd4)时,若追踪目标在追踪的画面中消失,暂不结束追踪,而是进入丢失待找回状态,此时继续根据均值漂移算法预测追踪目标的位置,并开始累计追踪失败的帧数,即失败帧数(可设置为stay_cout)。
可选的,此时可上报临时失败状态。
步骤S402,当在下一帧中未成功追踪到追踪目标时,保持所述目标位置至再下一帧,并对失败帧数加一;
之后每多一帧未成功追踪到追踪目标时,都对失败帧数加一。
步骤S403,当所述失败帧数超出帧数阈值时,对所述追踪目标追踪失败。
当失败帧数超出帧数阈值(可设置为thrd)时,即stay_cout>thrd时,判定追踪失败。
可选的,追踪失败后,退出均值漂移算法,上报追踪失败。
可选的,所述保持所述目标位置至下一帧之后,还包括:当在下一帧成功追踪到所述追踪目标时,找回所述追踪目标。
若在帧数阈值内重新识别追踪目标到,则实现了遮挡/临时消失后找回的功能。
可选的,所述追踪目标在每一帧中的位置以目标框表示,所述保持所述目标位置至下一帧之后,还包括:扩大所述追踪目标的目标框。
若进入丢失待找回状态,在下一帧仍在追踪目标的目标框位置提取特征信息与初始框对比,同时参考扩大目标框位置提取特征信息与备用初始框(相同扩大比例的初始框)的对比。
本实施例中,实现了追踪目标的物体被遮挡或临时丢失后重新出现时的再跟踪功能,进一步增加了追踪的鲁棒性,符合视觉监控应用中的长期特性。
请参见图5,本发明还提供一种目标追踪装置,该装置可包括:
视频流获取模块501,用于获取目标视频流,所述目标视频流包括若干帧图像;
追踪模块502,用于从所述目标视频流的各帧图像中识别追踪目标;
静止判定模块503,用于当维多帧的稳定追踪时,判断所述追踪目标是否保持静止;
静止防抖模块504,用于若判断结果为是,则设置当前帧中追踪目标的位置与所述当前帧的上一帧中追踪目标的位置相同。
在一个实施例中,所述静止判定模块503,包括:
尺寸比较单元,用于获取包括当前帧在内的最后若干帧,判断所述最后若干帧中所述追踪目标的大小是否相近;
亮度对比单元,用于当最后若干帧中所述追踪目标的大小相近时,计算所述最后若干帧之间的亮度差值;
静止确定单元,用于当所述亮度差值小于亮度阈值时,所述追踪目标保持静止。
在一个实施例中,所述尺寸比较单元包括:
长短轴获取子单元,用于对于最后若干帧中的每一帧,获取所述追踪目标的长轴和短轴;
尺寸比较子单元,用于当每一帧中所述追踪目标的长轴与其他帧中所述追踪目标的长轴之间的差值在预设范围内、且每一帧中所述追踪目标的短轴与其他帧中所述追踪目标的短轴之间的差值在预设范围内时,最后若干帧中所述追踪目标的大小相近。
在一个实施例中,所述亮度对比单元包括:
区域分割子单元,用于将所述最后若干帧中的每一帧分割为预设个区域,并计算分割后每一区域的亮度值;
区域亮度对比子单元,用于对于最后若干帧,分别计算各帧每一区域之间的亮度差值;
帧亮度对比子单元,用于根据各帧每一区域之间的亮度差值得到最后若干帧之间的亮度差值。
可选的,根据下述公式计算最后若干帧中两帧之间的亮度差值,包括:
Figure GDA0003730794620000111
其中,j为帧数且j的取值为0或1,当j=0时,表示该两帧中的第1帧,当j=1时,表示该两帧中的第2帧,m为每一帧分割的区域数量且m为常数,BlkSumj为第j帧的加权亮度和,avgji为第j帧中第i区域的亮度值,wji为第j帧中第i块区域的预设权重;
Figure GDA0003730794620000121
其中,BlkRatioj为BlkSumj归一化后的值;
Figure GDA0003730794620000122
其中,RatioDiff为该两帧之间的亮度差值,Blkratio0为j=0时BlkRatioj的值,Blkratio1为j=1时BlkRatioj的值。
在一个实施例中,本发明实施例的目标追踪装置还包括:
消失检测模块,用于当维持多帧稳定追踪时,若所述追踪目标消失,根据均值漂移算法计算所述追踪目标在消失的第一帧中的目标位置,开始累计失败帧数;
保持追踪模块,用于当在下一帧中未成功追踪到追踪目标时,保持所述目标位置至再下一帧,并对失败帧数加一;
追踪失败模块,用于当所述失败帧数超出帧数阈值时,对所述追踪目标追踪失败。
在一个实施例中,本发明实施例的目标追踪装置还包括:
追踪找回模块,用于当在下一帧成功追踪到所述追踪目标时,找回所述追踪目标。
在一个实施例中,所述追踪目标在每一帧中的位置以目标框表示,本发明实施例的目标追踪装置还包括:
目标框扩大模块,用于扩大所述追踪目标的目标框。
关于目标追踪装置的工作原理、工作方式的更多内容,可以参照上述图1至图4中目标追踪方法的相关描述,这里不再赘述。
进一步地,本发明实施例还公开一种存储介质,其上存储有计算机指令,计算机指令运行时执行上述图1至图4所示实施例中的目标追踪方法的技术方案。优选地,存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。存储介质可以包括ROM、RAM、磁盘或光盘等。
进一步地,本发明实施例还公开一种计算机设备,包括存储器和处理器,存储器上存储有能够在处理器上运行的计算机指令,处理器运行计算机指令时执行上述图1至图4所示实施例中的目标追踪方法的技术方案。该计算机设备可指手机、手表、服务器、平板电脑、智能手表等设备。
本方明技术方案可适用于5G(5Generation)通信***,还可适用于4G、3G通信***,还可适用于未来新的各种通信***,例如6G、7G等。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述,仅作示意与区分描述对象之用,没有次序之分,也不表示本申请实施例中对设备个数的特别限定,不能构成对本申请实施例的任何限制。
本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式,以实现设备间的通信,本申请实施例对此不做任何限定。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (9)

1.一种目标追踪方法,其特征在于,所述方法包括:
获取目标视频流,所述目标视频流包括若干帧图像;
从所述目标视频流的各帧图像中识别追踪目标;
当维多帧的稳定追踪时,判断所述追踪目标是否保持静止;
若判断结果为是,则设置当前帧中追踪目标的位置与所述当前帧的上一帧中追踪目标的位置相同;
其中,所述判断所述追踪目标是否保持静止,包括:
获取包括当前帧在内的最后若干帧,判断所述最后若干帧中所述追踪目标的大小是否相近;
当最后若干帧中所述追踪目标的大小相近时,计算所述最后若干帧之间的亮度差值;
当所述亮度差值小于亮度阈值时,所述最后若干帧之间的亮度相似,所述追踪目标保持静止;
所述判断所述最后若干帧中所述追踪目标的大小是否相近,包括:
对于最后若干帧中的每一帧,获取所述追踪目标的长轴和短轴;
当每一帧中所述追踪目标的长轴与其他帧中所述追踪目标的长轴之间的差值在预设范围内、且每一帧中所述追踪目标的短轴与其他帧中所述追踪目标的短轴之间的差值在预设范围内时,最后若干帧中所述追踪目标的大小相近。
2.根据权利要求1所述的方法,其特征在于,所述计算所述最后若干帧之间的亮度差值,包括:
将所述最后若干帧中的每一帧分割为预设个区域,并计算分割后每一区域的亮度值;
对于最后若干帧,分别计算各帧每一区域之间的亮度差值;
根据各帧每一区域之间的亮度差值得到最后若干帧之间的亮度差值。
3.根据权利要求2所述的方法,其特征在于,根据下述公式计算最后若干帧中两帧之间的亮度差值,包括:
Figure FDA0003730794610000021
其中,j为帧数且j的取值为0或1,当j=0时,表示该两帧中的第1帧,当j=1时,表示该两帧中的第2帧,m为每一帧分割的区域数量且m为常数,BlkSumj为第j帧的加权亮度和,avgji为第j帧中第i区域的亮度值,wji为第j帧中第i块区域的预设权重;
Figure FDA0003730794610000022
其中,BlkRatioj为BlkSumj归一化后的值;
Figure FDA0003730794610000023
其中,RatioDiff为该两帧之间的亮度差值,Blkratio0为j=0时BlkRatioj的值,Blkratio1为j=1时BlkRatioj的值。
4.根据权利要求1所述的方法,其特征在于,还包括:
当维持多帧稳定追踪时,若所述追踪目标消失,根据均值漂移算法计算所述追踪目标在消失的第一帧中的目标位置,开始累计失败帧数;
当在下一帧中未成功追踪到追踪目标时,保持所述目标位置至再下一帧,并对失败帧数加一;
当所述失败帧数超出帧数阈值时,对所述追踪目标追踪失败。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当在下一帧成功追踪到所述追踪目标时,找回所述追踪目标。
6.根据权利要求4所述的方法,其特征在于,所述追踪目标在每一帧中的位置以目标框表示,所述保持所述目标位置至下一帧之后,还包括:
扩大所述追踪目标的目标框。
7.一种目标追踪装置,其特征在于,所述装置包括:
视频流获取模块,用于获取目标视频流,所述目标视频流包括若干帧图像;
追踪模块,用于从所述目标视频流的各帧图像中识别追踪目标;
静止判定模块,用于当维多帧的稳定追踪时,判断所述追踪目标是否保持静止;
静止防抖模块,用于若判断结果为是,则设置当前帧中追踪目标的位置与所述当前帧的上一帧中追踪目标的位置相同;
所述静止判定模块包括:尺寸比较单元,用于获取包括当前帧在内的最后若干帧,判断所述最后若干帧中所述追踪目标的大小是否相近;亮度对比单元,用于当最后若干帧中所述追踪目标的大小相近时,计算所述最后若干帧之间的亮度差值;静止确定单元,用于当所述亮度差值小于亮度阈值时,所述最后若干帧之间的亮度相似,所述追踪目标保持静止;
所述尺寸比较单元包括:长短轴获取子单元,用于对于最后若干帧中的每一帧,获取所述追踪目标的长轴和短轴;尺寸比较子单元,用于当每一帧中所述追踪目标的长轴与其他帧中所述追踪目标的长轴之间的差值在预设范围内、且每一帧中所述追踪目标的短轴与其他帧中所述追踪目标的短轴之间的差值在预设范围内时,最后若干帧中所述追踪目标的大小相近。
8.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法的步骤。
CN202010286778.9A 2020-04-13 2020-04-13 目标追踪方法及装置、存储介质、计算机设备 Active CN111429477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010286778.9A CN111429477B (zh) 2020-04-13 2020-04-13 目标追踪方法及装置、存储介质、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010286778.9A CN111429477B (zh) 2020-04-13 2020-04-13 目标追踪方法及装置、存储介质、计算机设备

Publications (2)

Publication Number Publication Date
CN111429477A CN111429477A (zh) 2020-07-17
CN111429477B true CN111429477B (zh) 2022-08-26

Family

ID=71556258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010286778.9A Active CN111429477B (zh) 2020-04-13 2020-04-13 目标追踪方法及装置、存储介质、计算机设备

Country Status (1)

Country Link
CN (1) CN111429477B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070036A (zh) * 2020-09-11 2020-12-11 联通物联网有限责任公司 基于多帧图片的目标检测方法、装置及存储介质
CN115082515A (zh) * 2021-03-15 2022-09-20 北京字跳网络技术有限公司 一种目标跟踪方法、装置、设备及介质
CN113392820B (zh) * 2021-08-17 2021-11-30 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、电子设备及可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875415B (zh) * 2016-12-29 2020-06-02 北京理工雷科电子信息技术有限公司 一种动态背景中弱小动目标的连续稳定跟踪方法
CN109118516A (zh) * 2018-07-13 2019-01-01 高新兴科技集团股份有限公司 一种目标从运动到静止的跟踪方法及装置
CN109325967B (zh) * 2018-09-14 2023-04-07 腾讯科技(深圳)有限公司 目标跟踪方法、装置、介质以及设备
CN109377518A (zh) * 2018-09-29 2019-02-22 佳都新太科技股份有限公司 目标追踪方法、装置、目标追踪设备及存储介质
CN110555862A (zh) * 2019-08-23 2019-12-10 北京数码视讯技术有限公司 目标追踪的方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111429477A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111429477B (zh) 目标追踪方法及装置、存储介质、计算机设备
US11164323B2 (en) Method for obtaining image tracking points and device and storage medium thereof
KR100544677B1 (ko) 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
US9785245B2 (en) Image processing apparatus, image processing method, and program for recognizing a gesture
CN107886048A (zh) 目标跟踪方法及***、存储介质及电子终端
CN109033955B (zh) 一种人脸跟踪方法和***
US8311351B2 (en) Apparatus and method for improving frame rate using motion trajectory
JP5484184B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US20210124928A1 (en) Object tracking methods and apparatuses, electronic devices and storage media
JP2011134114A (ja) パターン認識方法およびパターン認識装置
CN113723190A (zh) 一种面向同步移动目标的多目标跟踪方法
CN109543534B (zh) 一种目标跟踪中目标丢失重检的方法及装置
CN111723713B (zh) 一种基于光流法的视频关键帧提取方法及***
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
US10872423B2 (en) Image detection device, image detection method and storage medium storing program
CN116363753A (zh) 一种基于运动历史图像的摔倒检测方法和装置、电子设备
CN112232113B (zh) 人员识别方法、人员识别装置、存储介质与电子设备
CN111429478B (zh) 目标追踪方法及相关设备
TWI736063B (zh) 物件偵測方法以及電子裝置
CN104754248A (zh) 一种获取目标快照的方法及装置
CN114511803A (zh) 一种面向视觉跟踪任务的目标遮挡检测方法
CN103268606B (zh) 一种运动模糊图像的深度信息补偿方法和装置
CN111126113A (zh) 一种人脸图像处理的方法及装置
JP2013246601A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant