CN105894538A - 一种目标跟踪方法和装置 - Google Patents

一种目标跟踪方法和装置 Download PDF

Info

Publication number
CN105894538A
CN105894538A CN201610204077.XA CN201610204077A CN105894538A CN 105894538 A CN105894538 A CN 105894538A CN 201610204077 A CN201610204077 A CN 201610204077A CN 105894538 A CN105894538 A CN 105894538A
Authority
CN
China
Prior art keywords
tracking box
tracking
frame video
video image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610204077.XA
Other languages
English (en)
Inventor
冷佳旭
高伟杰
王智慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Co Ltd
Original Assignee
Hisense Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Co Ltd filed Critical Hisense Group Co Ltd
Priority to CN201610204077.XA priority Critical patent/CN105894538A/zh
Publication of CN105894538A publication Critical patent/CN105894538A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开一种目标跟踪方法和装置,涉及视觉跟踪技术领域,为解决目标跟踪的准确性低的问题。所述目标跟踪方法包括:根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数,得到多个不同尺寸的跟踪框;分别提取各个不同尺寸的跟踪框中的图像特征;将跟踪框中的图像特征代入上一帧视频图像的相关滤波器,得到图像特征的综合响应值;获取综合响应值中的最大值,并将最大的综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。本发明提供的目标跟踪方法和装置用于对视频影像中的跟踪目标进行跟踪。

Description

一种目标跟踪方法和装置
技术领域
本发明涉及视觉跟踪技术领域,尤其涉及一种目标跟踪方法和装置。
背景技术
目标跟踪是一项融合图像处理、模式识别、人工智能及自动控制等多种不同技术的综合性应用技术,广泛应用于各种领域中。目标跟踪是指对图像序列中的运动目标或是特征单一的物体进行检测、识别和跟踪,通过获取目标的位置、速度等参数或是目标的形状和颜色等特征,对其进一步处理,从而实现对运动目标物的准确跟踪。
在目标跟踪的研究领域中,众多学者提出了大量的跟踪方法,在这些跟踪方法中,往往采用跟踪框来对跟踪目标进行跟踪,但在跟踪框对跟踪目标进行跟踪的过程中,由于跟踪目标是运动的,跟踪目标在视频图像中的大小和位置会随着时间而发生变化,当跟踪目标在视频图像中的大小较小或较大时,现有技术中的跟踪框容易丢失正在跟踪的跟踪目标,从而降低了目标跟踪的准确性。
发明内容
本发明的目的在于提供一种目标跟踪方法和装置,用于适应目标的尺度变化和/或旋转变化,提高目标跟踪的准确度。
为了实现上述目的,本发明提供如下技术方案:
一方面,本发明提供了一种目标跟踪方法,包括:
根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数,得到多个不同尺寸的跟踪框;
分别提取所述各个不同尺寸跟踪框中的图像特征;
将所述跟踪框中的图像特征代入上一帧视频图像的相关滤波器,得到所述图像特征的综合响应值;
获取所述综合响应值中的最大值,并将最大的所述综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。
另一方面,本发明提供了一种目标跟踪装置,包括:
获取模块,用于根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数,得到多个不同尺寸的跟踪框;
特征提取模块,用于分别提取各个不同尺寸的跟踪框中的图像特征;
相关滤波器,用于接收跟踪框中的图像特征,得到所述图像特征的综合响应值;
跟踪框确定模块,用于获取所述综合响应值中的最大值,并将最大的所述综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。
本发明提供的目标跟踪方法和装置中,根据上一帧视频图像的跟踪框尺寸和预设的跟踪框系数,得到多个不同尺寸的跟踪框,得到各个不同尺寸的跟踪框中的图像特征的综合响应值,将最大的综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。当跟踪目标运动时,跟踪目标的尺度变化因子、旋转变化因子等发生改变,从而使跟踪目标在视频图像中的大小发生改变,与利用固定大小的跟踪框跟踪目标,不能适应跟踪目标的尺度变化和/或旋转变化的现有技术相比,本发明能够设定与上一帧视频图像的跟踪框尺寸相关的多个不同尺寸的跟踪框,并选取综合响应值最大的跟踪框尺寸作为当前视频图像帧的跟踪框尺寸,从而使得跟踪目标的跟踪框尺寸能够适应大小发生变化的跟踪目标,也就是说在视频图像中进行的目标跟踪能够适应跟踪目标的尺度变化和/或旋转变化,准确地跟踪到大小和位置发生变化的跟踪目标,提高了目标跟踪的准确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例中一种目标跟踪方法的流程图一;
图2为本发明实施例中一种目标跟踪的方法流程图二;
图3为本发明实施例中一种目标跟踪的方法流程图三;
图4为本发明实施例中一种目标跟踪的方法流程图四;
图5a为本发明实施例中第一帧视频图像及其中的跟踪框的示意图;
图5b为本发明实施例中第二帧视频图像及其中的跟踪框的示意图;
图5c为本发明实施例中第三帧视频图像及其中的跟踪框的示意图一;
图5d为本发明实施例中第三帧视频图像及其中的跟踪框的示意图二;
图6为本发明实施例中一种目标跟踪方法流程图五;
图7为本发明实施例中一种目标跟踪方法流程图六;
图8为本发明实施例中一种目标跟踪装置的结构示意图一;
图9为本发明实施例中一种目标跟踪装置的结构示意图二;
图10为本发明实施例中一种目标跟踪装置的结构示意图三;
图11为本发明实施例中一种目标跟踪装置的结构示意图四;
图12为本发明实施例中一种目标跟踪装置的结构示意图五;
图13为本发明实施例中一种目标跟踪装置的结构示意图六。
具体实施方式
为了进一步说明本发明实施例提供的目标跟踪方法和装置,下面结合说明书附图进行详细描述。
在本发明实施例提供的目标跟踪方法,应用于目标跟踪装置,示例的,应用于智能交通领域的目标车辆跟踪、社区内的目标人物跟踪或者视频录像中的目标跟踪等。本发明的执行主体包括但不限于,设置在智能手机、台式电脑、智能电视、笔记本电脑、平板电脑等终端设备中的目标跟踪模块或其他独立的目标跟踪装置。
请参阅图1,本发明实施例提供的目标跟踪方法包括:
步骤101,获取一帧视频图像。示例的,获取正在执行拍摄工作的摄像头拍摄的一帧视频图像,或者,获取待处理的一段视频中某一帧视频图像等等。需要说明的是,一帧视频图像的跟踪框尺寸是一帧视频图像中跟踪目标的跟踪框尺寸。需要说明的是,如果该帧视频图像为待处理视频图像的初始帧视频图像,则跳转步骤108执行,否则,跳转步骤102执行。
步骤102,根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数,得到多个不同尺寸的跟踪框。其中,预设的跟踪框系数有多个,由于相邻的两帧视频图像中跟踪目标的大小和位置的变化均较小,因此利用上一帧视频图像的跟踪框尺寸和预设的跟踪框系数,为确定当前帧视频图像的跟踪框尺寸提供多个候选的不同尺寸的跟踪框。比如,预设的跟踪框系数分别为s1、s2和s3,则跟踪框系数s1对应的跟踪框尺寸为k1,跟踪框系数s2对应的跟踪框尺寸为k2,跟踪框系数s3对应的跟踪框尺寸为k3。
步骤103,分别提取各个不同尺寸的跟踪框中的图像特征。其中,可以利用不同的提取方法提取出跟踪框中的不同种类的图像特征,比如,可以利用HOG(Histogram ofOriented Gradient,方向梯度直方图)提取方法得到跟踪框尺寸为k1的跟踪框中的HOG图像特征,和/或利用LBP(Local Binary Pattern,局部二值模式)提取方法得到跟踪框尺寸为k1的跟踪框中的LBP图像特征,提取出的图像特征的种类包括但并不限于上述两种方式。
步骤104,将跟踪框中的图像特征代入上一帧视频图像的相关滤波器,得到图像特征的综合响应值。需要说明的是,若提取的跟踪框中的图像特征只有一种,则综合响应值为这一种图像特征代入上一帧视频图像的相关滤波器得到的响应值;若提取的跟踪框中的图像特征有多种,则综合响应值为多种图像特征代入上一帧视频图像的相关滤波器中得到的响应值的和,响应值具体可以为回归响应值。需要说明的是,在跟踪框中提取的图像特征的种类越多,在后续的目标跟踪过程中,对跟踪目标的跟踪就越精确,但同时提取的图像特征的种类越多,在目标跟踪过程中的计算量就越大,因此,需要根据具体的工作场景以及期望效果来决定提取的图像特征的种类的数目。
步骤105,获取综合响应值中的最大值,并将最大的综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。比如,预设的跟踪框系数分别为s1、s2和s3,则跟踪框系数s1对应的跟踪框尺寸为k1,跟踪框系数s2对应的跟踪框尺寸为k2,跟踪框系数s3对应的跟踪框尺寸为k3,若跟踪框尺寸为k3的跟踪框中图像特征对应的综合响应值最大,则将k3作为当前帧视频图像的跟踪框尺寸。
需要说明的是,为了使当前帧视频图形的跟踪框尺寸更为精确,可以在第一次得到最大的综合响应值后,利用最大的综合响应值对应的跟踪框尺寸和跟踪框系数,再一次得到多个不同尺寸的跟踪框,提取新得到的跟踪框中的图像特征,并将图像特征带入相关滤波器,计算新得到的图像特征的综合响应值,第二次得到最大的综合响应值,并将第二次得到的最大的综合响应值对应的跟踪框尺寸作为当前帧视频图像的跟踪框尺寸。当然,针对同一帧视频图像还可以进行更多次求取最大的综合响应值的过程,但由于进行求取最大的综合响应值的次数越多,计算量越大,目标跟踪的实时性就越差,因此,可以依据目标跟踪方法的应用场景的要求,设置求取最大的综合响应值的次数。
本发明提供的目标跟踪方法中,根据上一帧视频图像的跟踪框尺寸和预设的跟踪框系数,得到多个不同尺寸的跟踪框,得到各个不同尺寸的跟踪框中的图像特征的综合响应值,将最大的综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。当跟踪目标运动时,跟踪目标的尺度变化因子、旋转变化因子等特性发生改变,从而使跟踪目标在视频图像中的大小发生改变,与利用固定大小的跟踪框跟踪目标,不能适应跟踪目标的尺度变化和/或旋转变化的现有技术相比,本发明能够设定与上一帧视频图像的跟踪框尺寸相关的多个不同尺寸的跟踪框,并选取综合响应值最大的跟踪框尺寸作为当前视频图像帧的跟踪框尺寸,从而使得跟踪目标的跟踪框尺寸能够适应大小发生变化的跟踪目标,也就是说在视频图像中进行的目标跟踪能够适应跟踪目标的尺度变化和/或旋转变化,准确地跟踪到大小和位置发生变化的跟踪目标,提高了目标跟踪的准确性。
请参阅图2,在步骤102之前还可以包括步骤106,来选取合适的跟踪框系数,具体内容如下:
步骤106,选取跟踪框系数的数值范围,在数值范围中分散地选取多个跟踪框系数。其中,在选取的数值范围中可以均匀分散的选取多个跟踪框系数,也可以随机分散的选取多个跟踪框系数。比如,选取的数值范围为0.9~1.1,在0.9~1.1内可以均匀分散的选取5个跟踪框系数,分别为0.9、0.95、1、1.05和1.1;也可以在0.9~1.1内随机分散的选取5个跟踪框系数,分别为0.92、0.98、1、1.05、1.08。
请参阅图3,在步骤101之前还可以包括步骤107,来选取合适的跟踪框系数,具体内容如下:
步骤107,选取跟踪框系数的中心值,将中心值以及从中心值向两侧分别选取预设个数的数值作为跟踪框系数。其中,先设定一个中心值,使得选取的跟踪框系数围绕中心值来选取,具体的,在从中心值向两侧分别选取其他的跟踪框系数时,可以均匀的选取,也可以随机的选取。比如,设定中心值为1,从中心值向两侧各均匀选取两个跟踪框系数,分别为0.96、0.98、1.02和1.04,也就是说,选取的跟踪框系数为0.96、0.98、1、1.02和1.04;或者,从中心值向两侧各随机选取两个跟踪框系数,分别为0.907、0.952、1.05和1.103,也就是说,选取的跟踪框系数为0.907、0.952、1、1.05和1.103。
需要说明的是,上一帧视频图像的跟踪框尺寸与多个不同的跟踪框系数相乘,得到多个不同尺寸的跟踪框。比如,上述实施例中的步骤101具体可以为:将上一帧视频图像的跟踪框尺寸分别与中心值以及从中心值向两侧分别选取的预设个数的跟踪框系数相乘,得到多个不同尺寸的跟踪框。比如:选取的跟踪框系数分别为0.9、0.95、1、1.05和1.1,1为中心值,上一帧视频图像的跟踪框尺寸为k1,则得到的多个不同尺寸的跟踪框的尺寸分别为0.9k1、0.95k1、k1、1.05k1和1.1k1。上述实施例中的步骤101具体还可以为:将上一帧视频图像的跟踪框尺寸分别与在数值范围中选取的多个跟踪框系数相乘,得到多个不同尺寸的跟踪框。
请参阅图4,在步骤101之前,目标跟踪方法还可以包括步骤108,来选取第一帧视频图像中的跟踪目标,具体内容如下:
步骤108,接收用户对第一帧视频图像的目标选取指令,并根据目标选取指令,选定跟踪目标。其中,第一帧视频图像也就是初始帧视频图像,在第一帧视频图像中,需要用户选择在这一段视频中的跟踪目标,用户可以通过按钮、触屏等方式发出目标选取指令,目标跟踪装置接收用户的目标选取指令,选定跟踪目标,选定跟踪目标后,可以得到跟踪目标在第一帧视频图像中的跟踪框,跟踪框的尺寸略大于跟踪目标,能够将跟踪目标圈在跟踪框内。
下面结合具体的视频图像进行说明,请参阅图5a-图5c,图5a为一段视频的第一帧视频图像,图5a中的车辆为跟踪目标,跟踪框K1为第一帧视频图像中的跟踪框,且跟踪框K1的尺寸为k1;图5b为该段视频的第二帧视频图像,其中,预设的跟踪框系数分别为0.95、1和1.05,根据第一帧视频图像的跟踪框K1的跟踪框尺寸k1以及三个预设的跟踪框系数,可以得到三个跟踪框,分别为跟踪框K2、跟踪框K3和跟踪框K4,跟踪框K2的跟踪框尺寸为0.95k1,跟踪框K3的跟踪框尺寸为k1,跟踪框K4的跟踪框尺寸为1.05k1,将三个跟踪框K2、K3和K4中的图像特征代入第一帧视频图像中的相关滤波器,得到三个综合响应值,最大的综合响应值对应的是跟踪框K2,则将跟踪框尺寸0.95k1作为第二帧视频图像的跟踪框尺寸;图5c为该段视频的第三帧视频图像,其中,预设的跟踪框系数依然分别为0.95、1和1.05,根据第二帧视频图像的跟踪框尺寸0.95k1以及三个预设的跟踪框系数,可以得到三个跟踪框,分别为跟踪框K5、跟踪框K6和跟踪框K7,跟踪框K5的跟踪框尺寸为0.95×0.95k1=0.9025k1,跟踪框K6的跟踪框尺寸为0.95k1,跟踪框K7的跟踪框尺寸为1.05×0.95k1=0.9975k1,将三个跟踪框K5、K6和K7中的图像特征代入第二帧视频图像中的相关滤波器,得到三个综合响应值,最大的综合响应值对应的是跟踪框K5,则将跟踪框尺寸0.9025k1作为第三帧视频图像的跟踪框尺寸。
这里需要说明的是,还可以根据前几帧视频图像中的跟踪框尺寸的变化趋势,调整预设的跟踪框系数,该跟踪框系数分别用于调整后续视频图像的跟踪框尺寸,比如,根据图5a和图5b所示的视频图像,可以判断跟踪目标在这一段视频中的尺寸逐渐变小,因此,可以判断跟踪框尺寸也在逐渐减小,则请参阅图5d,图5d为该段视频的第三帧视频图像,其中,预设的跟踪框系数分别设定为0.9、0.95和1,根据第二帧视频图像的跟踪框尺寸0.95k1以及三个预设的跟踪框系数,可以得到三个跟踪框,分别为跟踪框K8、跟踪框K9和跟踪框K10,跟踪框K8的跟踪框尺寸为0.9×0.95k1=0.855k1,跟踪框K9的跟踪框尺寸为0.95×0.95k1=0.9025k1,跟踪框K10的跟踪框尺寸为0.95k1,将三个跟踪框K8、K9和K10中的图像特征代入第二帧视频图像中的相关滤波器,得到三个综合响应值,最大的综合响应值对应的是跟踪框K8,则将跟踪框尺寸0.855k1作为第三帧视频图像的跟踪框尺寸。
请参阅图6,上述实施例中的步骤104具体可以细化为步骤1041,具体内容如下:
步骤1041,将跟踪框中的图像特征代入上一帧视频图像的相关滤波器,利用公式计算得到综合响应值其中,为上一帧视频图像的相关滤波器,x为跟踪框中的图像特征,为x的傅里叶变换。当跟踪框中的图像特征只有一种的情况下,将该图像特征带入公式中得到的响应值即综合响应响应值。当提取的跟踪框中的图像特征的种类有多种时,每一种图像特征对应有一个相关滤波器,将同一跟踪框中不同种类的图像特征分别代入对应的相关滤波器,分别得到不同种类的图像特征对应的响应值,将同一跟踪框中不同种类的图像特征对应的响应值相加,得到同一跟踪框中的图像特征的综合响应值。比如,提取出了跟踪框尺寸为k1的跟踪框中的HOG图像特征和LBP图像特征,则HOG图像特征代入上一帧视频图像的相关滤波器A中得到了响应值f1,LBP图像特征代入上一帧视频图像的相关滤波器B中得到了响应值f2,将跟踪框尺寸为k1的跟踪框中的HOG图像特征得到的响应值f1,与LBP图像特征得到的响应值f2相加,得到的响应值之和即为跟踪框尺寸为k1的跟踪框中的图像特征的综合响应值。
需要说明的是,可以利用公式获取最大的综合响应值,将最大的综合响应值对应的跟踪框尺寸作为当前帧视频图像的跟踪框尺寸,其中,max表示求最大值,F-1表示傅里叶反变换,表示多个跟踪框系数中的第i个跟踪框系数对应的跟踪框中的图像特征。
请参阅图7,还可以对当前帧视频图像的相关滤波器进行更新,本发明实施例中还可以包括步骤109-步骤110,具体内容如下:
步骤109,利用最大的综合响应值对应的图像特征,训练当前帧视频图像的滤波器。当前帧视频图像的滤波器用于更新当前帧视频图形的相关滤波器。
步骤110,利用上一帧视频图像的相关滤波器和训练后的当前帧视频图像的滤波器,更新得到当前帧视频图像的相关滤波器。在下一帧图像帧中进行目标跟踪时重复上述目标跟踪的方法,但是相关滤波器为更新后当前帧视频图像的相关滤波器。具体的,根据公式更新得到当前帧视频图像的相关滤波器其中,为上一帧视频图像中使用的相关滤波器,为训练后的当前帧视频图像的滤波器,θ为第一权衡参量,0≤θ≤1,需要说明的是,一般1-θ>θ,比如,θ可以取值为0.012。
需要说明的是,本发明实施例中的当前帧视频图像的滤波器为其中,为当前帧视频图像的滤波器,x为跟踪框中的图像特征,为x的傅里叶变换,为x的傅里叶变换后的共轭,为高斯形回归标签,λ为第二权衡参量,0≤λ≤1。需要说明的是,⊙为点乘符号,表示两个矩阵之中对应位置的元素相乘,从而简化本发明的跟踪目标方法中在傅里叶域中的计算。
下面将以一具体数据实例来说明上述计算过程:最大的综合响应值对应的图像特征λ=0.0002,代入公式训练得到当前帧视频图像的滤波器利用当前帧视频图像的滤波器和上一帧视频图像的相关滤波器得到当前帧视频图像的相关滤波器在确定下一帧视频图像的跟踪框尺寸的过程中,预设的跟踪框系数分别为0.95、1和1.05,则得到的三个不同尺寸的跟踪框中的图像特征分别为 将上述三个不同尺寸的跟踪框中的图像特征代入更新得到的当前帧视频图像的滤波器中,并得到各个尺寸的跟踪框中的图像特征的综合响应值分别为可以得到最大的综合响应值为则将对应的跟踪框尺寸作为下一帧视频图像的跟踪框尺寸。当然,此处仅是举例说明,并不代表本发明实施例的具体数值局限于此。
请参阅图8,本发明实施例中还提供了一种目标跟踪装置20,包括:
获取模块21,用于根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数,得到多个不同尺寸的跟踪框;
特征提取模块22,用于分别提取各个不同尺寸的跟踪框中的图像特征;
相关滤波器23,用于接收跟踪框中的图像特征,得到图像特征的综合响应值;
跟踪框确定模块24,用于获取综合响应值中的最大值,并将最大的综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。
本发明提供的目标跟踪装置20中,获取模块21根据上一帧视频图像的跟踪框尺寸和预设的跟踪框系数,得到多个不同尺寸的跟踪框,通过特征提取模块22和相关滤波器23得到各个不同尺寸的跟踪框中的图像特征的综合响应值,跟踪框确定模块24将最大的综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。当跟踪目标运动时,跟踪目标的尺度变化因子、旋转变化因子等特性发生改变,从而使跟踪目标在视频图像中的大小发生改变,与利用固定大小的跟踪框跟踪目标,不能适应跟踪目标的尺度变化和/或旋转变化的现有技术相比,本发明能够设定与上一帧视频图像的跟踪框尺寸相关的多个不同尺寸的跟踪框,并选取综合响应值最大的跟踪框尺寸作为当前视频图像帧的跟踪框尺寸,从而使得跟踪目标的跟踪框尺寸能够适应大小发生变化的跟踪目标,也就是说在视频图像中进行的目标跟踪能够适应跟踪目标的尺度变化和/或旋转变化,准确地跟踪到大小和位置发生变化的跟踪目标,提高了目标跟踪的准确性。
请参阅图9,当提取的跟踪框中的图像特征的种类等于或大于二时,提取的跟踪框中的图像特征的种类与相关滤波器23的个数相等且一一对应。
请参阅图10,目标跟踪装置20还包括第一系数设定模块25,第一系数设定模块25用于选取跟踪框系数的数值范围,在数值范围中分散地选取多个跟踪框系数。
或者,请参阅图11,目标跟踪装置20还包括第二系数设定模块26,第二系数设定模块26用于选取中心值,将中心值以及从中心值向两侧分别选取预设个数的数值作为跟踪框系数。
进一步地,获取模块21具体用于将上一帧视频图像的跟踪框尺寸分别与中心值以及从中心值向两侧分别选取的预设个数的跟踪框系数相乘,得到多个不同尺寸的跟踪框,中心值为1。
请参阅图12,目标跟踪装置20还包括目标选定模块27,用于接收用户对第一帧图像的目标选取指令,并根据目标选取指令,选定跟踪目标。
具体的,相关滤波器23还用于接收跟踪框中的图像特征,利用公式计算得到综合响应值其中,为上一帧视频图像的相关滤波器,x为跟踪框中的图像特征,为x的傅里叶变换。
请参阅图13,所述目标跟踪装置20还包括训练模块28和更新模块29。
训练模块28,用于利用最大的综合响应值对应的图像特征,训练当前帧视频图像的滤波器。具体的,更新模块具体用于根据公式更新得到当前帧视频图像的相关滤波器其中,为上一帧视频图像的相关滤波器,为训练后的当前帧视频图像的滤波器,θ为第一权衡参量,0≤θ≤1。当前帧视频图像的滤波器为其中,为当前帧视频图像的滤波器,x为跟踪框中的图像特征,为x的傅里叶变换,为x的傅里叶变换后的共轭,为高斯形回归标签,λ为第二权衡参量,0≤λ≤1。
更新模块29,用于利用上一帧视频图像的相关滤波器和训练后的当前帧视频图像的滤波器,更新得到当前帧视频图像的相关滤波器。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。对于目标跟踪的装置的实施例而言,由于其基本相似于目标跟踪的方法的实施例,所以描述得比较简单,相关之处参见目标跟踪的方法的实施例的部分说明即可。
在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种目标跟踪方法,其特征在于,包括:
根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数,得到多个不同尺寸的跟踪框;
分别提取所述各个不同尺寸跟踪框中的图像特征;
将所述跟踪框中的图像特征代入上一帧视频图像的相关滤波器,得到所述图像特征的综合响应值;
获取所述综合响应值中的最大值,并将最大的所述综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。
2.根据权利要求1所述的目标跟踪方法,其特征在于,在根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数,得到多个不同尺寸的跟踪框之前,还包括:
选取所述跟踪框系数的数值范围,在所述数值范围中分散地选取多个所述跟踪框系数。
3.根据权利要求1所述的目标跟踪方法,其特征在于,在根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数,得到多个不同尺寸的跟踪框之前,还包括:
选取中心值,将所述中心值以及从所述中心值向两侧分别选取预设个数的数值作为所述跟踪框系数。
4.根据权利要求3所述的目标跟踪方法,其特征在于,所述中心值为1;根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数,得到多个不同尺寸的跟踪框,包括:
将上一帧视频图像的跟踪框尺寸分别与所述中心值以及从所述中心值向两侧分别选取的预设个数的跟踪框系数相乘,得到多个不同尺寸的跟踪框。
5.根据权利要求1所述的目标跟踪方法,其特征在于,还包括:
接收用户对第一帧视频图像的目标选取指令,并根据所述目标选取指令,选定所述跟踪目标。
6.根据权利要求1所述的目标跟踪方法,其特征在于,将跟踪框中的图像特征代入上一帧视频图像的相关滤波器,得到所述图像特征的综合响应值,包括:
将所述跟踪框中的图像特征代入上一帧视频图像的相关滤波器,利用公式计算得到综合响应值其中,为上一帧视频图像的相关滤波器,x为所述跟踪框中的图像特征,为x的傅里叶变换。
7.根据权利要求1所述的目标跟踪方法,其特征在于,在将最大的所述综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸之后,还包括:
利用最大的所述综合响应值对应的图像特征,训练当前帧视频图像的滤波器;
利用上一帧视频图像的相关滤波器和训练后的当前帧视频图像的滤波器,更新得到当前帧视频图像的相关滤波器。
8.根据权利要求7所述的目标跟踪方法,其特征在于,利用上一帧视频图像的相关滤波器和训练后的当前帧视频图像的滤波器,更新得到当前帧视频图像的相关滤波器,包括:
根据公式更新得到当前帧视频图像的相关滤波器其中,为上一帧视频图像的相关滤波器,为训练后的当前帧视频图像的滤波器,θ为第一权衡参量,0≤θ≤1。
9.根据权利要求8所述的目标跟踪方法,其特征在于,所述当前帧视频图像的滤波器为其中,为所述当前帧视频图像的滤波器,x为所述跟踪框中的图像特征,为x的傅里叶变换,为x的傅里叶变换后的共轭,为高斯形回归标签,λ为第二权衡参量,0≤λ≤1。
10.一种目标跟踪装置,其特征在于,包括:
获取模块,用于根据上一帧视频图像的跟踪框尺寸以及预设的跟踪框系数,得到多个不同尺寸的跟踪框;
特征提取模块,用于分别提取各个不同尺寸的跟踪框中的图像特征;
相关滤波器,用于接收跟踪框中的图像特征,得到所述图像特征的综合响应值;
跟踪框确定模块,用于获取所述综合响应值中的最大值,并将最大的所述综合响应值对应的跟踪框尺寸确定为当前帧视频图像的跟踪框尺寸。
11.根据权利要求10所述装置,其特征在于,所述目标跟踪的装置还包括第一系数设定模块,所述第一系数设定模块用于选取所述跟踪框系数的数值范围,在所述数值范围中分散地选取多个所述跟踪框系数。
12.根据权利要求10所述装置,其特征在于,所述目标跟踪的装置还包括第二系数设定模块,所述第二系数设定模块用于选取中心值,将所述中心值以及从所述中心值向两侧分别选取预设个数的数值作为所述跟踪框系数。
13.根据权利要求10所述装置,其特征在于,所述相关滤波器还用于接收所述跟踪框中的图像特征,利用公式计算得到综合响应值其中,为上一帧视频图像的相关滤波器,x为所述跟踪框中的图像特征,为x的傅里叶变换。
14.根据权利要求10所述装置,其特征在于,所述目标跟踪装置还包括训练模块和更新模块;
所述训练模块,用于利用最大的所述综合响应值对应的图像特征,训练当前帧视频图像的滤波器;
所述更新模块,用于利用上一帧视频图像的相关滤波器和训练后的当前帧视频图像的滤波器,更新得到当前帧视频图像的相关滤波器。
15.根据权利要求14所述装置,其特征在于,所述更新模块具体用于根据公式更新得到当前帧视频图像的相关滤波器其中,为上一帧视频图像的相关滤波器,为训练后的当前帧视频图像的滤波器,θ为第一权衡参量,0≤θ≤1。
CN201610204077.XA 2016-04-01 2016-04-01 一种目标跟踪方法和装置 Pending CN105894538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610204077.XA CN105894538A (zh) 2016-04-01 2016-04-01 一种目标跟踪方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610204077.XA CN105894538A (zh) 2016-04-01 2016-04-01 一种目标跟踪方法和装置

Publications (1)

Publication Number Publication Date
CN105894538A true CN105894538A (zh) 2016-08-24

Family

ID=57013325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610204077.XA Pending CN105894538A (zh) 2016-04-01 2016-04-01 一种目标跟踪方法和装置

Country Status (1)

Country Link
CN (1) CN105894538A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530327A (zh) * 2016-11-07 2017-03-22 北京航空航天大学 一种基于多局部特征学习的快速实时判别型跟踪方法
CN107644217A (zh) * 2017-09-29 2018-01-30 中国科学技术大学 基于卷积神经网络和相关滤波器的目标跟踪方法
CN107943077A (zh) * 2017-11-24 2018-04-20 歌尔股份有限公司 一种无人机降落目标的追踪方法、装置和无人机
CN108053425A (zh) * 2017-12-25 2018-05-18 北京航空航天大学 一种基于多通道特征的高速相关滤波目标跟踪方法
CN108154522A (zh) * 2016-12-05 2018-06-12 北京深鉴科技有限公司 目标追踪***
CN108171719A (zh) * 2017-12-25 2018-06-15 北京奇虎科技有限公司 基于自适应跟踪框分割的视频穿越处理方法及装置
CN108229456A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 目标跟踪方法和装置、电子设备、计算机存储介质
CN108280808A (zh) * 2017-12-15 2018-07-13 西安电子科技大学 基于结构化输出相关滤波器的目标跟踪方法
CN108475072A (zh) * 2017-04-28 2018-08-31 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器
CN108711165A (zh) * 2018-05-21 2018-10-26 西安电子科技大学 滤波器训练方法及目标跟踪方法
CN108983956A (zh) * 2017-11-30 2018-12-11 成都通甲优博科技有限责任公司 体感交互方法及装置
CN109712167A (zh) * 2017-10-25 2019-05-03 财团法人资讯工业策进会 目标侦测与追踪方法及***
CN112132864A (zh) * 2020-09-21 2020-12-25 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
WO2021057309A1 (zh) * 2019-09-27 2021-04-01 深圳云天励飞技术股份有限公司 跟踪目标确定方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YANG LI 等: "A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration", 《13TH EUROPEAN CONFERENCE ON COMPUTER VISION》 *
张三喜: "《弹道特征参数摄像测量》", 31 March 2014 *
张雷 等: "基于相关滤波器的视觉目标跟踪方法", 《光电子 激光》 *
朱虹: "《数字图像技术与应用》", 31 May 2011 *
高志清: "《AutoCAD建筑设计培训教程》", 31 October 2004 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530327A (zh) * 2016-11-07 2017-03-22 北京航空航天大学 一种基于多局部特征学习的快速实时判别型跟踪方法
CN108154522A (zh) * 2016-12-05 2018-06-12 北京深鉴科技有限公司 目标追踪***
CN108154522B (zh) * 2016-12-05 2022-07-12 赛灵思电子科技(北京)有限公司 目标追踪***
US11587355B2 (en) 2017-04-28 2023-02-21 SZ DJI Technology Co., Ltd. Tracking control method, device, and aircraft
CN108475072A (zh) * 2017-04-28 2018-08-31 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器
CN107644217A (zh) * 2017-09-29 2018-01-30 中国科学技术大学 基于卷积神经网络和相关滤波器的目标跟踪方法
CN107644217B (zh) * 2017-09-29 2020-06-26 中国科学技术大学 基于卷积神经网络和相关滤波器的目标跟踪方法
CN109712167A (zh) * 2017-10-25 2019-05-03 财团法人资讯工业策进会 目标侦测与追踪方法及***
CN108229456A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 目标跟踪方法和装置、电子设备、计算机存储介质
CN107943077A (zh) * 2017-11-24 2018-04-20 歌尔股份有限公司 一种无人机降落目标的追踪方法、装置和无人机
CN108983956B (zh) * 2017-11-30 2021-07-06 成都通甲优博科技有限责任公司 体感交互方法及装置
CN108983956A (zh) * 2017-11-30 2018-12-11 成都通甲优博科技有限责任公司 体感交互方法及装置
CN108280808A (zh) * 2017-12-15 2018-07-13 西安电子科技大学 基于结构化输出相关滤波器的目标跟踪方法
CN108171719B (zh) * 2017-12-25 2021-07-23 北京奇虎科技有限公司 基于自适应跟踪框分割的视频穿越处理方法及装置
CN108171719A (zh) * 2017-12-25 2018-06-15 北京奇虎科技有限公司 基于自适应跟踪框分割的视频穿越处理方法及装置
CN108053425A (zh) * 2017-12-25 2018-05-18 北京航空航天大学 一种基于多通道特征的高速相关滤波目标跟踪方法
CN108711165A (zh) * 2018-05-21 2018-10-26 西安电子科技大学 滤波器训练方法及目标跟踪方法
WO2021057309A1 (zh) * 2019-09-27 2021-04-01 深圳云天励飞技术股份有限公司 跟踪目标确定方法及相关设备
CN112132864A (zh) * 2020-09-21 2020-12-25 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112132864B (zh) * 2020-09-21 2024-04-09 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人

Similar Documents

Publication Publication Date Title
CN105894538A (zh) 一种目标跟踪方法和装置
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN109598234B (zh) 关键点检测方法和装置
CN106097393B (zh) 一种基于多尺度与自适应更新的目标跟踪方法
CN103260081B (zh) 一种视频图像缩放处理方法及装置
CN109343700B (zh) 眼动控制校准数据获取方法和装置
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN106952294B (zh) 一种基于rgb-d数据的视频跟踪方法
CN106097385B (zh) 一种目标跟踪的方法和装置
CN110345610B (zh) 空调器的控制方法及装置、空调设备
CN110472577A (zh) 一种基于自适应相关滤波的长时视频跟踪方法
CN110909565B (zh) 图像识别和行人再识别方法及装置,电子和存储设备
CN110443183A (zh) 一种上课状态监测方法、装置、存储介质及服务器
CN114170303A (zh) 雷达和摄像头的联合标定方法、装置、***、设备及介质
CN114495169A (zh) 一种人体姿态识别的训练数据处理方法、装置及设备
CN110322479B (zh) 一种基于时空显著性的双核kcf目标跟踪方法
CN113538509B (zh) 基于自适应相关滤波特征融合学习的视觉跟踪方法及装置
CN111027589A (zh) 一种多分制目标检测算法评价***及方法
CN113269808B (zh) 视频小目标跟踪方法和装置
Zelinsky Specifying the components of attention in a visual search task
CN112099330B (zh) 基于外部相机和穿戴式显控设备的全息人体重建方法
CN106033550A (zh) 目标跟踪方法及装置
CN112966546A (zh) 一种基于无人机侦察图像的嵌入式姿态估计方法
CN112597801B (zh) 一种录播***中教师检测与跟踪方法及***
CN110738685B (zh) 一种融合颜色直方图响应的时空上下文跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160824