CN111476814B - 目标跟踪方法、装置、设备及存储介质 - Google Patents
目标跟踪方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111476814B CN111476814B CN202010204982.1A CN202010204982A CN111476814B CN 111476814 B CN111476814 B CN 111476814B CN 202010204982 A CN202010204982 A CN 202010204982A CN 111476814 B CN111476814 B CN 111476814B
- Authority
- CN
- China
- Prior art keywords
- tracking
- tracking target
- model
- target
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000000903 blocking effect Effects 0.000 claims abstract description 21
- 238000009928 pasteurization Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标跟踪方法、装置、设备及存储介质,该方法包括:从当前帧图像选定跟踪目标,基于跟踪目标所在的目标区域建立目标模型;基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型,由候选模型确定跟踪目标的位置信息;计算目标模型与候选模型的第一巴氏系数,根据第一巴氏系数判断跟踪目标是否被遮挡;若没有被遮挡,则执行建立候选模型的步骤;若被遮挡,则通过遮挡预测方案对跟踪目标进行跟踪,直到跟踪目标脱离遮挡。由此,基于跟踪算法和遮挡预测方案在所述跟踪目标被遮挡后进行跟踪,由候选模型确定跟踪目标的位置信息,解决了跟踪目标被遮挡后无法继续跟踪且检测范围过大、检测效率不够高的问题。
Description
技术领域
本发明涉及机器学习技术领域,尤其涉及一种目标跟踪方法、装置、设 备及存储介质。
背景技术
视觉跟踪在安全监控、交通管制等各种场合得到了广泛应用,逐渐成为 工程领域和科学领域的一个研究热点。对于视频图像序列中的运动目标跟踪, 首先要在图像序列中检测出跟踪目标的区域,然后在后续序列中标识出这些 跟踪目标或区域。在长时间的跟踪过程中,跟踪目标一般都会发生被遮挡、 消失等现象。
传统的跟踪算法中,当跟踪目标被遮挡后,很难再被跟踪,跟踪目标丢 失后无法继续跟踪。并且跟踪目标的检测范围过大,检测效率不够高。
发明内容
本发明提供一种目标跟踪方法、装置、设备及存储介质,旨在解决跟踪 目标被遮挡后无法继续跟踪且检测范围过大、检测效率不够高的问题。
为实现上述目的,本发明提供一种目标跟踪方法,该方法包括:
从当前帧图像选定跟踪目标,基于所述跟踪目标所在的目标区域建立目 标模型;
基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型,由所述候 选模型确定所述跟踪目标的位置信息;
计算所述目标模型与所述候选模型的第一巴氏系数,根据所述第一巴氏 系数判断所述跟踪目标是否被遮挡;
若所述跟踪目标没有被遮挡,则执行步骤:基于跟踪算法建立所述跟踪 目标在下一帧图像中的候选模型;
若所述跟踪目标被遮挡,则通过遮挡预测方案对所述跟踪目标进行跟踪, 直到所述跟踪目标脱离遮挡。
优选地,所述通过遮挡预测方案对所述跟踪目标进行跟踪的步骤包括:
通过预先构建的灰色预测模型获得所述跟踪目标的预测位置,获得所述 跟踪目标的预测位置;
基于所述预测位置建立预测模型,并建立对应的比较帧图像的比较模型, 基于所述预测模型和所述比较模型计算第二巴氏系数;
根据所述第二巴氏系数判断所述跟踪目标是否脱离遮挡;
若所述跟踪目标已脱离遮挡,并继续执行步骤:基于跟踪算法建立所述 跟踪目标在下一帧图像中的候选模型;
若所述跟踪目标未脱离遮挡,并执行步骤:通过预先构建的灰色预测模 型获得所述跟踪目标的预测位置。
优选地,所述根据所述第一巴氏系数判断所述跟踪目标是否被遮挡的步 骤包括:
比较所述第一巴氏系数与第一巴氏系数阈值;
若所述第一巴氏系数大于或等于所述第一巴氏系数阈值,则判定所述跟 踪目标没有被遮挡;
反之,若所述第一巴氏系数小于所述第一巴氏系数阈值,则判定所述跟 踪目标被遮挡。
优选地,所述跟踪算法是均值漂移算法(meanshift)与跟踪学习检测算 法(Tracking-Learning-Detection,TLD)的融合算法;
基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型的步骤包括:
在所述下一帧图像中,通过meanshift算法中的核函数进行概率密度计算, 获得所述跟踪目标的初始候选模型;
计算所述跟踪目标的参考目标模型与所述初始候选模型的相似度;
基于所述相似度和基于TLD模型确定的迭代起点不断对所述初始候选模 型进行迭代更新,直至收敛,保存所述初始候选模型收敛时的模型参数,获 得所述候选模型。
优选地,所述基于所述相似度和基于TLD模型确定的迭代起点不断对所 述初始候选模型进行迭代更新,直至收敛,保存所述初始候选模型收敛时的 模型参数,获得所述候选模型的步骤之前还包括:
基于TLD模型获得TLD跟踪目标位置,基于所述TLD跟踪目标位置确 定TLD跟踪框和TLD中心点,计算所述TLD跟踪框的置信度,并比较所述 置信度与置信度阈值;
当所述置信度大于或等于置信度阈值时,将所述TLD中心点确定为迭代 起点;
当所述置信度小于置信度阈值时,将所述初始候选模型确定的中心点确 定为迭代起点。
优选地,所述通过预先构建的灰色预测模型获得所述跟踪目标的预测位 置的步骤之前包括:
获取所述跟踪目标的若干个位置信息,根据所述若干个位置信息生成初 始序列;
通过累加生成的方式获得所述初始序列的生成序列,基于所述生成序列 获得灰色预测模型。
优选地,所述通过累加生成的方式获得所述初始序列的生成序列,基于 所述生成序列获得灰色预测模型的步骤之后还包括:
计算所述灰色预测模型的模型精度,根据所述模型精度判断所述灰色预 测模型是否符合要求。
为实现上述目的,本发明还提供一种目标跟踪装置,所述装置包括:
第一建立模块,用于从当前帧图像选定跟踪目标,基于所述跟踪目标所 在的目标区域建立目标模型;
第二建立模块,用于基于跟踪算法建立所述跟踪目标在下一帧图像中的 候选模型,由所述候选模型确定所述跟踪目标的位置信息;
计算模块,用于计算所述目标模型与所述候选模型的第一巴氏系数,根 据所述第一巴氏系数判断所述跟踪目标是否被遮挡;
若所述跟踪目标没有被遮挡,则执行步骤:基于跟踪算法建立所述跟踪 目标在下一帧图像中的候选模型;
若所述跟踪目标被遮挡,则通过遮挡预测方案对所述跟踪目标进行跟踪, 直到所述跟踪目标脱离遮挡。
为实现上述目的,本发明还提供一种目标跟踪设备,所述目标跟踪设备 包括处理器,存储器以及存储在所述存储器中的目标跟踪程序,所述目标跟 踪程序被所述处理器运行时,实现如上所述的目标跟踪方法的步骤。
为实现上述目的,本发明还提供一种计算机存储介质,所述计算机存储介 质上存储有目标跟踪程序,所述目标跟踪程序被处理器运行时实现如上所述 目标跟踪方法的步骤。
相比现有技术,本发明公开了一种目标跟踪方法、装置、设备及存储介 质,该方法包括:从当前帧图像选定跟踪目标,基于所述跟踪目标所在的目 标区域建立目标模型;基于跟踪算法建立所述跟踪目标在下一帧图像中的候 选模型,由所述候选模型确定所述跟踪目标的位置信息;计算所述目标模型 与所述候选模型的第一巴氏系数,根据所述第一巴氏系数判断所述跟踪目标 是否被遮挡;若所述跟踪目标没有被遮挡,则执行步骤:基于跟踪算法建立 所述跟踪目标在下一帧图像中的候选模型;若所述跟踪目标被遮挡,则通过遮挡预测方案对所述跟踪目标进行跟踪,直到所述跟踪目标脱离遮挡。由此,基于跟踪算法和遮挡预测方案在所述跟踪目标被遮挡后进行跟踪,由候选模 型确定跟踪目标的位置信息,解决了跟踪目标被遮挡后无法继续跟踪且检测 范围过大、检测效率不够高的问题。
附图说明
图1是本发明各实施例涉及的目标跟踪设备的硬件结构示意图;
图2是本发明目标跟踪方法第一实施例的流程示意图;
图3是本发明目标跟踪方法第一实施例的第一跟踪目标的跟踪检测示意 图;
图4是本发明目标跟踪方法第一实施例的第二跟踪目标的跟踪检测示意 图
图5是本发明目标跟踪装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步 说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限 定本发明。
本发明实施例主要涉及的目标跟踪设备是指能够实现网络连接的网络连 接设备,所述目标跟踪设备可以是服务器、云平台等。
参照图1,图1是本发明各实施例涉及的目标跟踪设备的硬件结构示意图。 本发明实施例中,目标跟踪设备可以包括处理器1001(例如中央处理器Central ProcessingUnit、CPU),通信总线1002,输入端口1003,输出端口1004, 存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;输入 端口1003用于数据输入;输出端口1004用于数据输出,存储器1005可以是 高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。 本领域技术人员可以理解,图1中示出的硬件结构并不构成对本发明的限定, 可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种可读存储介质的存储器1005可以包括操 作***、网络通信模块、应用程序模块以及目标跟踪程序。在图1中,网络 通信模块主要用于连接服务器,与服务器进行数据通信;而处理器1001用于 调用存储器1005中存储的目标跟踪程序,并执行如下操作:从当前帧图像选 定跟踪目标,基于所述跟踪目标所在的目标区域建立目标模型;基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型,由所述候选模型确定所述 跟踪目标的位置信息;计算所述目标模型与所述候选模型的第一巴氏系数, 根据所述第一巴氏系数判断所述跟踪目标是否被遮挡;若所述跟踪目标没有 被遮挡,则执行步骤:基于跟踪算法建立所述跟踪目标在下一帧图像中的候 选模型;若所述跟踪目标被遮挡,则通过遮挡预测方案对所述跟踪目标进行跟踪,直到所述跟踪目标脱离遮挡。
基于上述目标跟踪提出本法明目标跟踪方法第一实施例。图2是本发明 目标跟踪方法第一实施例的流程示意图。
如图2所示,所述目标跟踪方法包括:
步骤S101:从当前帧图像选定跟踪目标,基于所述跟踪目标所在的目标 区域建立目标模型;
本实施例中,从各种监控视频监控设备拍摄的视频图像中选取包括跟踪 目标的当前帧图像。在所述当前帧图像中,能清楚地获得该跟踪目标的相关 数据。
对于所述当前帧图像,假定所述跟踪目标所在的目标区域的位置的点集 为{xi},i=1,2,3…,n,目标区域中心坐标为x0,并按区域大小h进行归一 化。则基于Mean-Shift算法,将中心坐标在x0的目标区域,由核函数进行概 率密度估计获得xi的目标模型
其中:Ch为归一化常数,满足k(x)为核函数K(x)的轮 廓函数,n为像素点个数。所述核函数可以是Uniform核,也可以是Gaussian 核。
步骤S102:基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型, 由所述候选模型确定所述跟踪目标的位置信息;
具体地,所述步骤S102包括:
步骤S102a:在所述下一帧图像中,通过meanshift算法中的核函数进行概率 密度计算,获得所述跟踪目标的初始候选模型;
将所述跟踪目标在所述下一帧图像中可能出现的区域设为候选目标区 域,所述候选目标区域的中心坐标为z,所述候选区域目标的像素点为xi(i=1, 2,…,nh),则将所述候选区域的初始候选模型表示为:
步骤S102b:计算所述跟踪目标的参考目标模型与所述初始候选模型的相 似度;
本实施例中,所述参考目标模型为所述跟踪目标在上一帧图像(也即步 骤S101中的“当前帧图像”)的目标模型通过Bahttacharyya系数(巴氏系 数)计算所述参考目标模型和所述候选模型的相似度/>
步骤S102c:基于所述相似度和基于TLD模型确定的迭代起点不断对所述 初始候选模型进行迭代更新,直至收敛,保存所述初始候选模型收敛时的模 型参数,获得所述候选模型。
基于所述相似度取z0为初始位置,对所述相似度/>在z0处进行泰勒 级数展开并整理得:
上式第一项与常量z0有关,当第二项取得最大值时,表明 所述候选模型/>与所述目标模型/>相似度最大。其中,第二项/>表示轮廓函数为k(x)、权重为wi的核概率密度估计,根据 上述Mean-Shift优化方法,对所述核概率密度估计求一阶导,可在梯度方向得 到极大值。所以,不断对所述初始候选模型进行Mean-Shift迭代优化,直至所 述初始候选模型的中心位置不再变化或者收敛,即可获得所述跟踪目标在所述下一帧图像中的位置信息。
本实施例中,所述目标跟踪方法以传统的TLD模型 (Tracking-Learning-Detection,跟踪学习检测算法)为基础,对传统的TLD 模型进行优化,以获得更好地跟踪效果。为了提高目标跟踪方法的抗遮挡能 力,本实施例通过所述TLD模型获得的TLD跟踪目标位置确定TLD跟踪框 和TLD中心点,计算所述TLD跟踪框的置信度,根据所述质询度确定建立所述初始候选模型更新的迭代起点。
具体地,所述步骤S102C的步骤之前还包括:
步骤S102C1:基于TLD模型获得TLD跟踪目标位置,基于所述TLD跟 踪目标位置确定TLD跟踪框和TLD中心点,计算所述TLD跟踪框的置信度, 并比较所述置信度与置信度阈值;
TLD是一种在线检测的单目标跟踪算法,该算法的优势在于将传统检测 算法和跟踪算法结合起来,克服跟踪目标在运动过程中因发生形变和遮挡目 标丢失的问题。同时,通过在线学习模块不断的学习来更新目标模板和参数 以及跟踪模块目标的特征点,使得跟踪效果具有鲁棒性。TLD算法主要由三 个模块构成:跟踪模块(tracker),检测模块(detector)和学习模块(learning)。 并且检测模块和跟踪模块,互不干涉,并行进行处理。一般地,所述跟踪模块主要用到的是中值光流(Median-Flow)跟踪算法。通过所述跟踪模块可以 获得TLD跟踪目标位置。
步骤S102C2:当所述置信度大于或等于置信度阈值时,将所述TLD中 心点确定为迭代起点;
所述置信度阈值根据经验设置。当所述置信度大于或等于置信度阈值时 说明所述TLD模型确定的TLD跟踪目标位置的准确度比较高,因而可以将所 述TLD中心点确定为迭代起点。
步骤S102C3:当所述置信度小于置信度阈值时,将所述初始候选模型确 定的中心点确定为迭代起点。
当所述置信度小于置信度阈值时说明所述TLD模型确定的TLD跟踪目标 位置的准确度不够高,因而可以将述初始候选模型确定的中心点确定为迭代 起点。
本实施例通过合理的设置置信度阈值和Mean-Shift迭代起点,可以较好 的提高目标跟踪方法的抗遮挡能力。
步骤S103:计算所述目标模型与所述候选模型的第一巴氏系数,根据所 述第一巴氏系数判断所述跟踪目标是否被遮挡;
具体地,所述根据所述第一巴氏系数判断所述跟踪目标是否被遮挡的步 骤包括:比较所述第一巴氏系数与第一巴氏系数阈值;若所述第一巴氏系数 大于或等于所述第一巴氏系数阈值,则判定所述跟踪目标没有被遮挡;反之, 若所述第一巴氏系数小于所述第一巴氏系数阈值,则判定所述跟踪目标被遮 挡。本实施例中,所述第一巴氏系数阈值根据经验设置。
若所述跟踪目标没有被遮挡,则执行步骤:基于跟踪算法建立所述跟踪 目标在下一帧图像中的候选模型;
步骤S104:若所述跟踪目标被遮挡,则通过遮挡预测方案对所述跟踪目 标进行跟踪,直到所述跟踪目标脱离遮挡。
若所述跟踪目标被遮挡,则所述候选模型难以获得跟踪目标的位置信息。 此时,需要启动遮挡预测方案。
本实施例中,所述遮挡预测方案是灰色预测模型与TLD的融合。
具体地,所述通过遮挡预测方案对所述跟踪目标进行跟踪的步骤包括:
步骤S104a:通过预先构建的灰色预测模型获得所述跟踪目标的预测位置, 获得所述跟踪目标的预测位置;
本实施例中,所述步骤S104a的步骤之前包括:
步骤S104a1:获取所述跟踪目标的若干个位置信息,根据所述若干个位 置信息生成初始序列;
步骤S104a2:通过累加生成的方式获得所述初始序列的生成序列,基于 所述生成序列获得灰色预测模型。
灰色预测的优点是不需要很多的数据,一般只需要4个数据就够,能解决 历史数据少、序列的完整性及可靠性低的问题;能利用微分方程来充分挖掘 ***的本质,精度高;能将无规律的原始数据进行生成得到规律性较强的生 成序列,运算简便,易于检验。将原始数据列中的数据,按照某种要求作数 据处理称为灰色生成,数据生成的常用方式有累加生成、累减生成和加权累 加生成。
本实施例采用累加生成的数据生成方式,通过数列间各时刻数据的依个 累加以得到新的数据和数列。累加前的数列称为原始数列,累加后的数列称 为生成数列。
灰色预测的核心体系是灰色预测模型(Grey Model,简称GM),即对原 始数据作累加生成得到近似的指数规律再进行建模的方法。灰色预测模型对 于不同问题采用不同模型,本实施例采用的GM(1,1)是一阶微分方程模型,主 要解决生成序列是有指数变化规律。
本实施例中,获取所述跟踪目标的若干个位置信息,将所述若干个位置 信息分别表示为X(0)(1)、X(0)(2)……X(0)(n);
根据所述若干个位置信息生成初始序列,将所述初始序列表示为:
x(0)=(X(0)(1),X(0)(2),...,X(0)(n));
对该序列进行一次累加生成序列得:
x(1)=(X(1)(1),X(1)(2),...,X(1)(n));
其中,
令Z(1)为X(1)的紧邻均值生成序列:
Z(1)=(z(1)(2),z(1)(3),...,z(1)(n));
其中,
z(1)(k)=0.5x(1)(k)+0.5x(1)(k-1);
建立GM(1,1)的灰微分方程模型为:
x(0)(k)+az(1)(k)=b;
其中a为发展系数,b为灰色作用量,设为待估参数向量,/>则灰微分方程的最小二乘估计列应满足:
其中,
再建立灰色微分方程的白化方程,也称影子方程:
则将影子方程的解,也称时间相应函数表示为:
将相应的GM(1,1)模型灰色微分方程的时间响应序列表示为:
k=1,...,n-1;
再做累加还原后可得预测方程:
其中发展系数a反映的是与/>的发展趋势,灰色作用量b是从背景值 中挖掘出来的一个参数值。
将所述预测方程标记为灰色预测模型。灰色作用量b能够很好的反映输入 数据序列的变化规律,能判断并呈现出数据变化的规律是否符合灰色性。也 是将灰色预测模型与其他输入输出数学模型区分开来的一个重要参数。
获得所述灰色预测模型后,需要检测所述灰色预测模型的模型精度。
进一步地,所述步骤S104a2的步骤之后还包括:
所述步骤S104a2-1:计算所述灰色预测模型的模型精度,根据所述模型 精度判断所述灰色预测模型是否符合要求。
所述灰色预测模型确定之后,需要经过检验才能判定其是否合理,只有 通过检验的模型才能用来做预测,本实施例通过后验差检验法检验所述灰色 预测模型的模型精度。
按GM(1,1)建模法已求出并将/>做一次累减转化为/>即
计算残差得:
其中k=1,2,…,n
然后计算原始序列x(0)的方差S1,和残差e的方差S2,
其中然后计算后验差比:
其中C和p是后验差检验的两个重要指标,指标C越小越好,C越小表 示S1大而S2越小。S1大表示原始数据方差大,即原始数据离散程度大。S2小表 示残方差小,即残差离散程度小。C小就表明尽管原始数据很离散,而模型 所得计算值与实际值之差并不太离散。具体的模型精度与均方差比值C的关 系如下4种情况:
1)C<=0.35,则模型精度1级,非常好;
2)0.35<C<=0.5,则模型精度2级,合格;
3)0.5<C<=0.65,则模型精度3级,勉强合格;
4)C>0.65,则模型精度4级,不合格;
显然,GM(1,1)模型只需几个初始序列就可以进行预测,本实施例以 跟踪目标的位置信息作为预测的初始序列,为了预测的准确性,采用跟踪目 标前5个位置信息进行预测下一位置,并用得到的位置信息及时更新历史数 据,以便对后续遮挡进行准确预测。
步骤S104b:基于所述预测位置建立预测模型,并建立对应的比较帧图像 的比较模型,基于所述预测模型和所述比较模型计算第二巴氏系数;
本实施例中,通过所述灰色预测模型在所述跟踪目标被遮挡后预测所述 跟踪目的预测位置。获得所述预测位置后,基于所述预测位置判定所述跟踪 目标是否脱离遮挡。
基于所述预测位置建立预测模型,并建立对应的比较帧图像的比较模型, 基于所述预测模型和所述比较模型计算第二巴氏系数。
所述第二巴氏系数的计算方法与所述第一巴氏系数的计算方法相同,此 处不再赘述。
步骤S104c:根据所述第二巴氏系数判断所述跟踪目标是否脱离遮挡;
将所述第二巴氏系数与预设第二巴氏系数阈值进行对比,若所述第二巴 氏系数小于所述预设第二巴氏系数阈值,则判定所述跟踪目标还未脱离遮挡; 若所第二巴氏系数大于或等于所述预设第二巴氏系数阈值,则判定所述跟着 走目标已脱离遮挡。
若所述跟踪目标已脱离遮挡,并继续执行步骤:基于跟踪算法建立所述 跟踪目标在下一帧图像中的候选模型。此时,需要将跟踪模块初始化,重新 经最新获得的视频或照片中确定当前帧图像,并确定新的下一帧图像。
若所述跟踪目标未脱离遮挡,并执行步骤:通过预先构建的灰色预测模 型获得所述跟踪目标的预测位置。
本实施例中,通过灰色预测模型得到所述跟踪目标的预测位置后,以预 测位置为中心划定一个矩形区域,所述矩形区域的长宽比与所述跟踪目标包 围框一致,而长与宽设置为包围框的若干倍(所述包围框不大于视频图像的 宽和高)。由此,过滤掉大部分无效框,仅将与此区域有重叠的子窗口送入 TLC模型的检测模块进行处理,从而减少需要处理的子窗口数目来提高运行速度。
如此,不断地对所述跟踪目标进行跟踪,不断地获得所述跟踪目标的最 新位置信息,并且在所述跟踪目标被遮挡后重新对跟踪目标进行跟踪,不至 于丢失跟踪目标。
本实施例中,获得所述跟踪目标在图像中的区域后,将所述区域用框图 框出,例如用亮线矩形框标记所述灰色预测模型获得的预测位置,用暗线矩 形框标记所述跟踪目标的实际位置。将所述暗线矩形框与所述亮线矩形框的 重合部分标记为子窗口,并仅将所述子窗口发送至检测模块进行检测,如此, 即可大大缩小检测范围。一般地,暗线矩形框在亮线矩形框的内部。
为了验证算法的有效性与可行性,本实施例对不同环境下的图像序列进 行了目标跟踪实验。分别在监控视频和手机拍摄的室外环境下目标被遮挡时 使用本文提出的算法进行实验,实验采用Visual Studio 2013软件在windows 下编程实现,实验环境是CPU3.30GHz,8GB内存。本实施例分别对网上公 开的Walking2、girl2视频序列进行实验测试,包含了在跟踪会出现的跟踪目 标部分遮挡、跟踪目标丢失、跟踪目标姿态的改变、跟踪目标的缩放和特征变化、光照变化,还有图像的分辨率变化,利用本实施例提出的目标跟踪方法进行跟踪所得出的跟踪结果,如图3所示,图3是本发明目标跟踪方法第 一实施例的第一跟踪目标的跟踪检测示意图。图3选取了网上公开的Walking2 视频序列。将Walking2视频中的行人作为第一跟踪目标。图3中,A、B、C、 D分别选取了具有代表性的4帧,分别是行人(第一跟踪目标)开始、出现 遮挡、遮挡结束时的跟踪结果,可知能一直跟踪该行人,其次通过结合灰色 预测模型,进行了无效框的过滤。本实施例中,以准确率(Accuracy,AC)表征所述目标跟踪方法的效果。AC是指所述灰色预测模型预测后过滤的无效框体 的数量除以总框体的数量,代表着过滤了百分之几的框体,当过滤了越多的 框即预测的位置越准确,所以用准确率来描述预测过滤的框体百分比,同时 相比原来的TLD全图搜索要高效很多,即能达到提速的目的。在图3A中行 人开始出现,未被遮挡,并不会进行过滤,因为能够进行跟踪,从图3B开始出现了遮挡,此时能够过滤掉超过90%的无效框,图3B中,AC为98.57%; 图3C中,AC为96.33%;图3D中,AC为99.81%;如此,大大提高了跟踪效率和速度。
进一步地,参考图4,图4是本发明目标跟踪方法第一实施例的第二跟踪目 标的跟踪检测示意图;图4中girl2视频中的小女孩为第二跟踪目标。选取了视 频序列中有代表性的6帧。图4的4A和4B图显示正常跟踪,AC为0%,但随后 出现了完全遮挡,4C图出现了短暂的跟丢,AC为90.87%;当小女孩再度出现 时即4D和4E,跟踪算法再次跟踪上,4D和4E中,AC分别为98.51%94.93;图 4F中小女孩完全无遮挡,此时AC为94.935。在跟踪过程中,小女孩的特征一 直在变化,且图像分辨率也发生了变化,但一直能成功跟踪。在跟踪的过程 中,灰色预测模型一直在进行预测范围的提取和结合TLD的检测模块进行跟 踪目标的位置检测,有效的过滤了无效检测框,提升了检测效率。
本实施例通过上述步骤,从当前帧图像选定跟踪目标,基于所述跟踪目 标所在的目标区域建立目标模型;基于跟踪算法建立所述跟踪目标在下一帧 图像中的候选模型,由所述候选模型确定所述跟踪目标的位置信息;计算所 述目标模型与所述候选模型的第一巴氏系数,根据所述第一巴氏系数判断所 述跟踪目标是否被遮挡;若所述跟踪目标没有被遮挡,则执行步骤:基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型;若所述跟踪目标被遮 挡,则通过遮挡预测方案对所述跟踪目标进行跟踪,直到所述跟踪目标脱离遮挡。由此,基于跟踪算法和遮挡预测方案在所述跟踪目标被遮挡后进行跟 踪,由候选模型确定跟踪目标的位置信息,解决了跟踪目标被遮挡后无法继 续跟踪且检测范围过大、检测效率不够高的问题。
进一步地,为实现上述目的,本发明还提供一种目标跟踪装置,具体地, 参见图5,图5是本发明目标跟踪装置第一实施例的功能模块示意图,所述装 置包括:
第一建立模块10,用于从当前帧图像选定跟踪目标,基于所述跟踪目标 所在的目标区域建立目标模型;
第二建立模块20,用于基于跟踪算法建立所述跟踪目标在下一帧图像中 的候选模型,由所述候选模型确定所述跟踪目标的位置信息;
计算模块30,用于计算所述目标模型与所述候选模型的第一巴氏系数, 根据所述第一巴氏系数判断所述跟踪目标是否被遮挡;
执行模块40,若所述跟踪目标没有被遮挡,则执行步骤:基于跟踪算法 建立所述跟踪目标在下一帧图像中的候选模型;
跟踪模块50,用于若所述跟踪目标被遮挡,则通过遮挡预测方案对所述 跟踪目标进行跟踪,直到所述跟踪目标脱离遮挡。
进一步地,所述跟踪模块包括:
获得单元,用于通过预先构建的灰色预测模型获得所述跟踪目标的预测 位置,获得所述跟踪目标的预测位置;
建立单元,用于基于所述预测位置建立预测模型,并建立对应的比较帧 图像的比较模型,基于所述预测模型和所述比较模型计算第二巴氏系数;
第一判断单元,用于根据所述第二巴氏系数判断所述跟踪目标是否脱离 遮挡;
第一执行单元,用于若所述跟踪目标已脱离遮挡,并继续执行步骤:基 于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型;
第二执行单元,用于若所述跟踪目标未脱离遮挡,并执行步骤:通过预 先构建的灰色预测模型获得所述跟踪目标的预测位置。
进一步地,所述计算模块包括:
比较单元,用于比较所述第一巴氏系数与第一巴氏系数阈值;
第一判定单元,用于若所述第一巴氏系数大于或等于所述第一巴氏系数 阈值,则判定所述跟踪目标没有被遮挡;
第二判定单元,用于若所述第一巴氏系数小于所述第一巴氏系数阈值, 则判定所述跟踪目标被遮挡。
进一步地,所述第二建立模块包括:
第一计算单元,用于在所述下一帧图像中,通过meanshift算法中的核函数 进行概率密度计算,获得所述跟踪目标的初始候选模型;
第二计算单元,用于计算所述跟踪目标的参考目标模型与所述初始候选模 型的相似度;
更新单元,用于基于所述相似度和基于TLD模型确定的迭代起点不断对所 述初始候选模型进行迭代更新,直至收敛,保存所述初始候选模型收敛时的 模型参数,获得所述候选模型。
进一步地,所述更新单元还包括:
第三计算单元,用于基于TLD模型获得TLD跟踪目标位置,基于所述 TLD跟踪目标位置确定TLD跟踪框和TLD中心点,计算所述TLD跟踪框的 置信度,并比较所述置信度与置信度阈值;
第一确定单元,用于当所述置信度大于或等于置信度阈值时,将所述TLD 中心点确定为迭代起点;
第二确定单元,用于当所述置信度小于置信度阈值时,将所述初始候选 模型确定的中心点确定为迭代起点。
进一步地,所述获得单元还包括:
第一生成单元,用于获取所述跟踪目标的若干个位置信息,根据所述若 干个位置信息生成初始序列;
第二生成单元,用于通过累加生成的方式获得所述初始序列的生成序列, 基于所述生成序列获得灰色预测模型。
进一步地,所述第二生成单元还包括:
第三判断单元,用于计算所述灰色预测模型的模型精度,根据所述模型 精度判断所述灰色预测模型是否符合要求。
此外,本发明实施例还提供一种计算机存储介质,所述计算机存储介质 上存储有目标跟踪程序,所述目标跟踪程序被处理器运行时实现如上所述目 标跟踪方法的步骤,此处不再赘述。
相比现有技术,本发明提出的一种目标跟踪方法、装置、设备及存储介 质,该方法包括:从当前帧图像选定跟踪目标,基于所述跟踪目标所在的目 标区域建立目标模型;基于跟踪算法建立所述跟踪目标在下一帧图像中的候 选模型,由所述候选模型确定所述跟踪目标的位置信息;计算所述目标模型与所述候选模型的第一巴氏系数,根据所述第一巴氏系数判断所述跟踪目标 是否被遮挡;若所述跟踪目标没有被遮挡,则执行步骤:基于跟踪算法建立 所述跟踪目标在下一帧图像中的候选模型;若所述跟踪目标被遮挡,则通过遮挡预测方案对所述跟踪目标进行跟踪,直到所述跟踪目标脱离遮挡。由此, 基于跟踪算法和遮挡预测方案在所述跟踪目标被遮挡后进行跟踪,由候选模 型确定跟踪目标的位置信息,解决了跟踪目标被遮挡后无法继续跟踪且检测范围过大、检测效率不够高的问题。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变 体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品 或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是 还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的 情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通 过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、 磁碟、光盘)中,包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围, 凡是利用本发明说明书及附图内容所作的等效结构或流程变换,或直接或间 接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种目标跟踪方法,其特征在于,该方法包括:
从当前帧图像选定跟踪目标,基于所述跟踪目标所在的目标区域建立目标模型;
基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型,由所述候选模型确定所述跟踪目标的位置信息,所述跟踪算法是均值漂移算法与跟踪学习检测算法的融合算法;
计算所述目标模型与所述候选模型的第一巴氏系数,根据所述第一巴氏系数判断所述跟踪目标是否被遮挡;
若所述跟踪目标没有被遮挡,则执行步骤:基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型;
若所述跟踪目标被遮挡,则通过遮挡预测方案对所述跟踪目标进行跟踪,直到所述跟踪目标脱离遮挡;
其中,所述通过遮挡预测方案对所述跟踪目标进行跟踪的步骤包括:
通过预先构建的灰色预测模型获得所述跟踪目标的预测位置,获得所述跟踪目标的预测位置;
基于所述预测位置建立预测模型,并建立对应的比较帧图像的比较模型,基于所述预测模型和所述比较模型计算第二巴氏系数;
根据所述第二巴氏系数判断所述跟踪目标是否脱离遮挡;
若所述跟踪目标已脱离遮挡,并继续执行步骤:基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型;
若所述跟踪目标未脱离遮挡,并执行步骤:通过预先构建的灰色预测模型获得所述跟踪目标的预测位置;
所述通过预先构建的灰色预测模型获得所述跟踪目标的预测位置的步骤之前包括:
获取所述跟踪目标的若干个位置信息,根据所述若干个位置信息生成初始序列;
通过累加生成的方式获得所述初始序列的生成序列,基于所述生成序列获得灰色预测模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一巴氏系数判断所述跟踪目标是否被遮挡的步骤包括:
比较所述第一巴氏系数与第一巴氏系数阈值;
若所述第一巴氏系数大于或等于所述第一巴氏系数阈值,则判定所述跟踪目标没有被遮挡;
反之,若所述第一巴氏系数小于所述第一巴氏系数阈值,则判定所述跟踪目标被遮挡。
3.根据权利要求1所述的方法,其特征在于,所述基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型的步骤包括:
在所述下一帧图像中,通过meanshift算法中的核函数进行概率密度计算,获得所述跟踪目标的初始候选模型;
计算所述跟踪目标的参考目标模型与所述初始候选模型的相似度;
基于所述相似度和基于TLD模型确定的迭代起点不断对所述初始候选模型进行迭代更新,直至收敛,保存所述初始候选模型收敛时的模型参数,获得所述候选模型。
4.根据权利要求3所述的方法,其特征在于,所述基于所述相似度和基于TLD模型确定的迭代起点不断对所述初始候选模型进行迭代更新,直至收敛,保存所述初始候选模型收敛时的模型参数,获得所述候选模型的步骤之前还包括:
基于TLD模型获得TLD跟踪目标位置,基于所述TLD跟踪目标位置确定TLD跟踪框和TLD中心点,计算所述TLD跟踪框的置信度,并比较所述置信度与置信度阈值;
当所述置信度大于或等于置信度阈值时,将所述TLD中心点确定为迭代起点;
当所述置信度小于置信度阈值时,将所述初始候选模型确定的中心点确定为迭代起点。
5.根据权利要求1所述的方法,其特征在于,所述通过累加生成的方式获得所述初始序列的生成序列,基于所述生成序列获得灰色预测模型的步骤之后还包括:
计算所述灰色预测模型的模型精度,根据所述模型精度判断所述灰色预测模型是否符合要求。
6.一种目标跟踪装置,其特征在于,所述装置包括:
第一建立模块,用于从当前帧图像选定跟踪目标,基于所述跟踪目标所在的目标区域建立目标模型;
第二建立模块,用于基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型,由所述候选模型确定所述跟踪目标的位置信息,所述跟踪算法是均值漂移算法与跟踪学习检测算法的融合算法;
计算模块,用于计算所述目标模型与所述候选模型的第一巴氏系数,根据所述第一巴氏系数判断所述跟踪目标是否被遮挡;
若所述跟踪目标没有被遮挡,则执行步骤:基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型;
若所述跟踪目标被遮挡,则通过遮挡预测方案对所述跟踪目标进行跟踪,直到所述跟踪目标脱离遮挡;
其中,所述计算模块,还用于通过预先构建的灰色预测模型获得所述跟踪目标的预测位置,获得所述跟踪目标的预测位置;基于所述预测位置建立预测模型,并建立对应的比较帧图像的比较模型,基于所述预测模型和所述比较模型计算第二巴氏系数;根据所述第二巴氏系数判断所述跟踪目标是否脱离遮挡;若所述跟踪目标已脱离遮挡,并继续执行步骤:基于跟踪算法建立所述跟踪目标在下一帧图像中的候选模型;若所述跟踪目标未脱离遮挡,并执行步骤:通过预先构建的灰色预测模型获得所述跟踪目标的预测位置;
所述计算模块,还用于获取所述跟踪目标的若干个位置信息,根据所述若干个位置信息生成初始序列;通过累加生成的方式获得所述初始序列的生成序列,基于所述生成序列获得灰色预测模型。
7.一种目标跟踪设备,其特征在于,所述目标跟踪设备包括处理器,存储器以及存储在所述存储器中的目标跟踪程序,所述目标跟踪程序被所述处理器运行时,实现如权利要求1-5中任一项所述的目标跟踪方法的步骤。
8.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有目标跟踪程序,所述目标跟踪程序被处理器运行时实现如权利要求1-5中任一项所述目标跟踪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010204982.1A CN111476814B (zh) | 2020-03-25 | 2020-03-25 | 目标跟踪方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010204982.1A CN111476814B (zh) | 2020-03-25 | 2020-03-25 | 目标跟踪方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111476814A CN111476814A (zh) | 2020-07-31 |
CN111476814B true CN111476814B (zh) | 2024-05-24 |
Family
ID=71749562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010204982.1A Active CN111476814B (zh) | 2020-03-25 | 2020-03-25 | 目标跟踪方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111476814B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112378397B (zh) * | 2020-11-02 | 2023-10-10 | 中国兵器工业计算机应用技术研究所 | 无人机跟踪目标的方法、装置及无人机 |
CN112598698B (zh) * | 2021-03-08 | 2021-05-18 | 南京爱奇艺智能科技有限公司 | 长时间单目标跟踪方法及*** |
CN113763428A (zh) * | 2021-09-07 | 2021-12-07 | 中移(杭州)信息技术有限公司 | 目标跟踪方法、跟踪装置及可读存储介质 |
CN114092515B (zh) * | 2021-11-08 | 2024-03-05 | 国汽智控(北京)科技有限公司 | 用于障碍遮挡的目标跟踪检测方法、装置、设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105825525A (zh) * | 2016-03-16 | 2016-08-03 | 中山大学 | 一种基于Mean-shift模型优化的TLD目标跟踪方法及其装置 |
CN110458862A (zh) * | 2019-05-22 | 2019-11-15 | 西安邮电大学 | 一种遮挡背景下的运动目标跟踪方法 |
-
2020
- 2020-03-25 CN CN202010204982.1A patent/CN111476814B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105825525A (zh) * | 2016-03-16 | 2016-08-03 | 中山大学 | 一种基于Mean-shift模型优化的TLD目标跟踪方法及其装置 |
CN110458862A (zh) * | 2019-05-22 | 2019-11-15 | 西安邮电大学 | 一种遮挡背景下的运动目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111476814A (zh) | 2020-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476814B (zh) | 目标跟踪方法、装置、设备及存储介质 | |
CN107886048B (zh) | 目标跟踪方法及***、存储介质及电子终端 | |
CN110782483B (zh) | 基于分布式相机网络的多视图多目标跟踪方法及*** | |
US10474921B2 (en) | Tracker assisted image capture | |
EP2352128B1 (en) | Mobile body detection method and mobile body detection apparatus | |
CN113971751A (zh) | 训练特征提取模型、检测相似图像的方法和装置 | |
CN111178261B (zh) | 一种基于视频编码技术的人脸检测加速方法 | |
CN112509003B (zh) | 解决目标跟踪框漂移的方法及*** | |
CN113420682A (zh) | 车路协同中目标检测方法、装置和路侧设备 | |
CN111354022B (zh) | 基于核相关滤波的目标跟踪方法及*** | |
CN110766061B (zh) | 一种道路场景匹配方法及装置 | |
CN114898111B (zh) | 预训练模型生成方法和装置、目标检测方法和装置 | |
CN115527050A (zh) | 图像特征匹配方法、计算机设备和可读存储介质 | |
CN112528927A (zh) | 基于轨迹分析的置信度确定方法、路侧设备及云控平台 | |
CN116740126A (zh) | 目标跟踪方法、高速相机及存储介质 | |
CN113129332A (zh) | 执行目标对象跟踪的方法和装置 | |
CN116630367B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
Yang et al. | Improved visual background extractor with adaptive range change | |
CN113989721A (zh) | 目标检测方法和目标检测模型的训练方法、装置 | |
CN112308917A (zh) | 一种基于视觉的移动机器人定位方法 | |
CN109166138B (zh) | 基于高阶累积量的目标跟踪方法、装置及存储介质 | |
CN116012421A (zh) | 目标跟踪方法及装置 | |
CN111507999A (zh) | 一种基于fdsst算法的目标追踪方法及装置 | |
CN115131315A (zh) | 一种图像的变化检测方法、装置、设备及存储介质 | |
CN114972465A (zh) | 图像目标深度的检测方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |