WO2020228522A1 - 目标跟踪方法、装置、存储介质及电子设备 - Google Patents

目标跟踪方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
WO2020228522A1
WO2020228522A1 PCT/CN2020/087041 CN2020087041W WO2020228522A1 WO 2020228522 A1 WO2020228522 A1 WO 2020228522A1 CN 2020087041 W CN2020087041 W CN 2020087041W WO 2020228522 A1 WO2020228522 A1 WO 2020228522A1
Authority
WO
WIPO (PCT)
Prior art keywords
nth
feature map
input feature
target area
tracking target
Prior art date
Application number
PCT/CN2020/087041
Other languages
English (en)
French (fr)
Inventor
孙冲
孙宇轩
卢湖川
沈小勇
戴宇荣
贾佳亚
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Priority to EP20805061.7A priority Critical patent/EP3968280A4/en
Priority to JP2021536748A priority patent/JP7125562B2/ja
Publication of WO2020228522A1 publication Critical patent/WO2020228522A1/zh
Priority to US17/365,893 priority patent/US11610321B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the target tracking algorithm based on correlation filtering is one of the current target tracking methods.
  • Fast acquisition of samples through cyclic convolution is the characteristic of Correlation Filters.
  • Danelljan et al. proposed to add a regularization term to the filter to suppress edge information, promote the filter to learn the target center area, and effectively solve the boundary effect.
  • the BACF (Learning Background-Aware Correlation Filters for Visual Tracking) algorithm provides another feasible method for solving boundary effects, generating real training samples, and greatly improving the recognition ability of learning filters.
  • the present application provides a target tracking method and target tracking device that will not cause parameter overfitting and can increase the robustness of the corresponding correlation filtering model, thereby improving the accuracy and effectiveness of target tracking.
  • a tracking target area setting module for acquiring a plurality of continuous picture frames of the target video; setting the nth tracking target area corresponding to the nth picture frame in the plurality of continuous picture frames, where n is a positive integer;
  • the feature extraction module is configured to perform a feature extraction operation on the nth tracking target area to obtain the nth area input feature map corresponding to the nth tracking target area; wherein the nth area input feature map Including multiple characteristic channels;
  • the weight filter calculation module is used to calculate the nth weight filter corresponding to the nth region input feature map according to the relevant filtering algorithm and the average pooling constraint condition; wherein the nth weight filter includes the Input the filter weight corresponding to each feature channel in the feature map in the nth region;
  • the tracking target area confirmation module is used to use the nth weight filter and the n+1th picture frame to input the feature map, calculate the n+1th output response, and confirm according to the n+1th output response
  • the n+1th tracking target area corresponding to the n+1th picture frame, and the n+1th picture frame input feature map is the n+1th picture frame among the plurality of consecutive picture frames Input feature map;
  • the counting module is used to count the feature extraction operations.
  • the related filter model creation unit includes:
  • the binarization mask setting subunit is configured to set a binarization mask for the nth weight filter to reduce the filter weight of the corresponding weight filter outside the nth tracking target area.
  • the related filter model creation unit includes:
  • the regularization weight setting subunit is configured to set a regularization weight for the n-th weight filter, so as to increase the filtering weight of the n-th weight filter in the central part of the n-th tracking target area.
  • An embodiment of the present application also provides a storage medium that stores processor-executable instructions in the storage medium, and the instructions are loaded by one or more processors to execute the aforementioned target tracking method.
  • An embodiment of the present application further provides an electronic device including a processor and a memory, the memory stores a computer program, and the processor is used to execute the above-mentioned target tracking method by calling the computer program.
  • the target tracking method, device, storage medium, and electronic equipment of the present application perform an average pooling operation on the filter weights corresponding to different feature channels of the input feature map, so as to reduce algorithm parameters, and there is no need to track the target.
  • the area is reduced, thereby ensuring the number of training sample features of the input feature map, avoiding the occurrence of parameter over-fitting, and improving the accuracy and effectiveness of target tracking; it effectively solves the problem of target tracking methods and easy target tracking devices.
  • FIG. 1 is a flowchart of an embodiment of the target tracking method of this application
  • FIG. 3 is a schematic diagram of the processing process of the tracking target area of the picture frame by the correlation filtering model with constraints
  • FIG. 5 is a schematic structural diagram of an embodiment of the target tracking device of this application.
  • FIG. 6 is a schematic structural diagram of a weight filter calculation module of an embodiment of the target tracking device of this application.
  • FIG. 8 is a schematic diagram of target tracking of the target tracking method and target tracking device of the present application.
  • the target tracking method and target tracking device of the present application can be installed in any electronic device and used to track a specified object or a specific object in a video screen.
  • This electronic device includes but is not limited to wearable devices, head-mounted devices, medical and health platforms, personal computers, server computers, handheld or laptop devices, mobile devices (such as mobile phones, personal digital assistants (PDAs), media players) Etc.), multi-processor systems, consumer electronic devices, small computers, large computers, distributed computing environments including any of the above systems or devices, etc.
  • the electronic device can be a screen processing terminal or a screen processing server. The user can accurately confirm the specified object or specific object in the continuous frame of the video through the electronic device, thereby performing high-precision detection of the specified object or specific object in the video. Effective tracking.
  • Step S101 Acquire multiple continuous picture frames of the target video; set a tracking target area of the nth picture frame in the multiple continuous picture frames, where n is a positive integer.
  • the tracking target area is the tracking target area corresponding to the nth picture frame
  • the tracking target area may be used as the nth tracking target area.
  • the electronic device creates the related filtering model of the first weight filter corresponding to the input feature map of the first region as:
  • the number of picture frames before the nth picture frame is less than or equal to 50 frames, then the input feature maps of all picture frames before the nth picture frame can be used to calculate the weight filter of the nth picture frame; If the number of picture frames before each picture frame is more than 50, the picture frames before the nth picture frame can be merged to generate 50 picture frames after fusion, and according to the input characteristics of the merged 50 picture frames The figure performs the calculation of the nth weight filter corresponding to the nth picture frame.
  • the correlation filter model creation unit 41 is used to create a correlation filter model of the nth weight filter corresponding to the input feature map of the nth region based on the ridge regression discriminant function, and set the constraint condition of the correlation filter model as:
  • the filter weights corresponding to the feature channels are equal;
  • the regional pooling-related filter model generation unit 42 is used to transform the constraint conditions using the augmented Lagrangian multiplier method to generate a regional pooling-related filter model;
  • the model optimization unit 43 is used to use The conjugate gradient descent method optimizes the regional pooling correlation filter model to obtain the nth weight filter corresponding to the nth regional input feature map.
  • Can include:
  • the correlation filter model creation unit 41 sets equal filter weights corresponding to the characteristic channels in the pooling area as the constraint condition of the correlation filter model.
  • the pooling area here is that the model setting module 36 sets the range size in the tracking target area (such as setting a pixel size of 2*2 or 3*3), and adjacent pooling areas can share boundaries, but adjacent pools The ranges of the chemical regions do not overlap. In this way, the pooling area can be quickly set, and the algorithm parameters in the correlation filtering model can be effectively reduced, avoiding the occurrence of parameter overfitting, and improving the accuracy of target tracking.
  • the model setting module 36 sets the range size in the tracking target area (such as setting a pixel size of 2*2 or 3*3), and adjacent pooling areas can share boundaries, but adjacent pools The ranges of the chemical regions do not overlap.
  • the components of the electronic device 712 may be connected through various interconnections (such as buses). Such interconnections may include Peripheral Component Interconnect (PCI) (such as PCI Express), Universal Serial Bus (USB), FireWire (IEEE 1394), optical bus structure, and so on.
  • PCI Peripheral Component Interconnect
  • USB Universal Serial Bus
  • FireWire IEEE 1394
  • optical bus structure and so on.
  • the components of the electronic device 712 may be interconnected through a network.
  • the memory 718 may be composed of multiple physical memory units located in different physical locations and interconnected by a network.
  • an electronic device including a processor and a memory, the memory stores a computer program, and the processor invokes the computer program to perform the following operations:
  • the range of multiple pooling areas of the tracking target area is set, wherein the ranges of adjacent pooling areas do not overlap.
  • the correlation filtering model based on multiple frames is calculated to obtain the nth weight filter.
  • the regularization weight is set for the n-th weight filter to increase the filtering weight of the n-th weight filter in the central part of the n-th tracking target area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种目标跟踪方法，其包括：获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧的跟踪目标区域；对第n个画面帧的跟踪目标区域进行特征提取操作，以获取跟踪目标区域的输入特征图；根据相关滤波算法以及平均池化约束条件，计算跟踪目标区域的输入特征图对应的权重滤波器；使用权重滤波器以及多个连续的画面帧中的第n+1个画面帧的输入特征图，计算第n+1个画面帧的输出响应，并根据第n+1个画面帧的输出响应确认第n+1个画面帧的跟踪目标区域；直至获取所有连续的画面帧的跟踪目标区域。本申请还提供一种目标跟踪装置，本申请提高了目标跟踪的精度以及有效性。

Description

目标跟踪方法、装置、存储介质及电子设备
本申请要求于2019年05月10日提交、申请号为201910391497.7、发明名称为“画面目标跟踪方法、装置、存储介质及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像数据处理领域，特别是涉及一种目标跟踪方法、装置、存储介质及电子设备。
背景技术
目标跟踪是在视频的连续帧中，对人工指定的目标对象进行定位操作。近几十年来，目标跟踪在自动驾驶、人机交互以及行为识别领域得到广泛的应用。但是由于有限的训练数据，目标跟踪仍然是一项非常具有挑战性的任务。
基于相关滤波的目标跟踪算法是目前的目标跟踪方法之一，通过循环卷积快速获取样本是相关滤波(Correlation Filters)的特点。2015年Danelljan等人提出将滤波器上加入正则化项，抑制边缘信息，促进滤波器学习目标中心区域，有效解决边界效应。2017年BACF(Learning Background-Aware Correlation Filters for Visual Tracking)算法为解决边界效应提供了另一种可行的方法，产生真实的训练样本，大大提高了学习滤波器的识别能力。
但是相关技术中的基于相关滤波的目标跟踪算法中复杂的公式需要引入大量的参数，有限的样本数可能无法进行匹配操作，从而造成参数过拟合；如使用普通池化操作进行参数减少操作，同样也会对样本数进行缩减，依然不能有效解决参数与样本数不平衡的技术问题。
发明内容
本申请提供一种既不会造成参数过拟合、又能增加对应的相关滤波模型的鲁棒性的目标跟踪方法以及目标跟踪装置，从而提高了目标跟踪的精度以及有效性。
本申请实施例提供一种目标跟踪方法，其包括：
获取目标视频的多个连续的画面帧；设置所述多个连续的画面帧中的第n个画面帧对应的第n个跟踪目标区域，其中n为正整数；
对所述第n个跟踪目标区域进行特征提取操作，以获取所述第n个跟踪目标区域对应的第n个区域输入特征图；其中所述第n个区域输入特征图包括多个特征通道；
根据相关滤波算法以及平均池化约束条件，计算所述第n个区域输入特征图对应的第n个权重滤波器；其中所述第n个权重滤波器包括所述第n个区域输入特征图中各个特征通道对应的滤波权重；
使用所述第n个权重滤波器以及第n+1个画面帧输入特征图，计算第n+1个输出响应，并根据所述第n+1个输出响应确认所述第n+1个画面帧对应的第n+1个跟踪目标区域，所述第n+1个画面帧输入特征图为所述多个连续的画面帧中的第n+1个画面帧的输入特征图；
对所述第n+1个跟踪目标区域进行特征提取，以获取所述第n+1个跟踪目标区域对应的 第n+1个区域输入特征图，并计算所述第n+1个区域输入特征图对应的第n+1个权重滤波器，直至获取所有连续的画面帧的跟踪目标区域。
本申请实施例还提供一种目标跟踪装置，其包括：
跟踪目标区域设置模块，用于获取目标视频的多个连续的画面帧；设置所述多个连续的画面帧中的第n个画面帧对应的第n个跟踪目标区域，其中n为正整数；
特征提取模块，用于对所述第n个跟踪目标区域进行特征提取操作，以获取所述第n个跟踪目标区域对应的第n个区域输入特征图；其中所述第n个区域输入特征图包括多个特征通道；
权重滤波器计算模块，用于根据相关滤波算法以及平均池化约束条件，计算所述第n个区域输入特征图对应的第n个权重滤波器；其中所述第n个权重滤波器包括所述第n个区域输入特征图中各个特征通道对应的滤波权重；
跟踪目标区域确认模块，用于使用所述第n个权重滤波器以及第n+1个画面帧输入特征图，计算第n+1个输出响应，并根据所述第n+1个输出响应确认所述第n+1个画面帧对应的第n+1个跟踪目标区域，所述第n+1个画面帧输入特征图为所述多个连续的画面帧中的第n+1个画面帧的输入特征图；
计数模块，用于对特征提取操作进行计数操作。
在本申请所述的目标跟踪装置中，相关滤波模型创建单元包括：
二值化掩膜设置子单元，用于对所述第n个权重滤波器设置二值化掩膜，以减小所述第n个跟踪目标区域外对应的权重滤波器的滤波权重。
在本申请所述的目标跟踪装置中，相关滤波模型创建单元包括：
正则化权重设置子单元，用于对所述第n个权重滤波器设置正则化权重，以提高所述第n个权重滤波器在所述第n个跟踪目标区域的中心部分的滤波权重。
本申请实施例还提供一种存储介质，所述存储介质内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述目标跟踪方法。
本申请实施例还提供一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过调用所述计算机程序，用于执行上述目标跟踪方法。
相较于相关技术，本申请的目标跟踪方法、装置、存储介质及电子设备通过对输入特征图的不同特征通道对应的滤波权重进行平均池化操作，以减少算法参数，且不需要对跟踪目标区域进行缩减操作，从而保证了输入特征图的训练样本特征的数量，避免了参数过拟合的产生，提高了目标跟踪的精度以及有效性；有效的解决了目标跟踪方法以及目标跟踪装置中容易造成参数过拟合或跟踪精度较低的技术问题。
附图说明
图1为本申请的目标跟踪方法的一种实施例的流程图；
图2为本申请的目标跟踪方法的一种实施例的步骤S103的流程图；
图3为具有约束条件的相关滤波模型对画面帧的跟踪目标区域的处理过程示意图；
图4为本申请的目标跟踪方法的一种实施例的画面帧特征变化示意图；
图5为本申请的目标跟踪装置的一种实施例的结构示意图；
图6为本申请的目标跟踪装置的一种实施例的权重滤波器计算模块的结构示意图；
图7为本申请的目标跟踪装置的一种实施例的权重滤波计算模块的相关滤波模型创建单 元的结构示意图；
图8为本申请的目标跟踪方法及目标跟踪装置的目标跟踪示意图；
图9是本申请的目标跟踪方法及目标跟踪装置的目标跟踪流程图；
图10为本申请的目标跟踪装置所在的电子设备的工作环境结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一个适当的运算环境中来举例说明。以下的说明是基于所例示的本申请可选实施例，其不应被视为限制本申请未在此详述的其它可选实施例。
在以下的说明中，本申请的可选实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存***中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实***置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本申请的目标跟踪方法及目标跟踪装置可设置在任何电子设备中，用于对视频画面中的指定物体或特定物体进行跟踪操作。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器***、消费型电子设备、小型计算机、大型计算机、包括上述任意***或设备的分布式计算环境，等等。该电子设备可以为画面处理终端或画面处理服务器，用户通过该电子设备可对视频的连续画面帧中的指定物体或特定物体进行准确确认，从而对视频中的指定物体或特定物体进行高精度的有效跟踪。
请参照图1，图1为本申请的目标跟踪方法的一种实施例的流程图。本实施例的目标跟踪方法可使用上述的电子设备进行实施，本实施例的目标跟踪方法包括：
步骤S101，获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧的跟踪目标区域，其中n为正整数。
其中，由于该跟踪目标区域为第n个画面帧对应的跟踪目标区域，因此该跟踪目标区域可以作为第n个跟踪目标区域。
步骤S102，对第n个画面帧的跟踪目标区域进行特征提取操作，以获取跟踪目标区域的输入特征图；其中输入特征图包括多个特征通道。
其中，由于该跟踪目标区域为第n个跟踪目标区域，该输入特征图为该第n个跟踪目标区域对应的输入特征图，且该输入特征图表示的是跟踪目标区域的特征，因此该输入特征图可以作为第n个区域输入特征图。
步骤S103，根据相关滤波算法以及平均池化约束条件，计算跟踪目标区域的输入特征图对应的权重滤波器；其中权重滤波器包括输入特征图中各个特征通道对应的滤波权重。
其中，由于该输入特征图为第n个区域输入特征图，该权重滤波器为该第n个区域输入特征图对应的权重滤波器，因此该权重滤波器可以作为第n个权重滤波器。
步骤S104，使用权重滤波器以及多个连续的画面帧中的第n+1画面帧的输入特征图，计算第n+1个画面帧的输出响应，并根据n+1个画面帧的输出响应确认第n+1个画面帧的跟踪目标区域。
其中，由于该输入特征图为第n+1个画面帧对应的输入特征图，且该输入特征图表示的是画面帧的特征，因此该输入特征图可以作为第n+1个画面帧输入特征图。由于该输出响应为第n+1个画面帧对应的输出响应，因此该输出响应可以作为第n+1个输出响应。
步骤S105，对第n+1个画面帧的跟踪目标区域进行特征提取，以获取第n+1个画面帧的跟踪目标区域的输入特征图，并计算第n+1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器，直至获取所有连续的画面帧的跟踪目标区域。
其中，由于该跟踪目标区域为第n+1个画面帧对应的跟踪目标区域，因此该跟踪目标区域可以作为第n+1个跟踪目标区域。由于该输入特征图为第n+1个跟踪目标区域对应的输入特征图，且该输入特征图表示的是跟踪目标区域的特征，因此该输入特征图可以作为第n+1个区域输入特征图。由于该权重滤波器为第n+1个区域输入特征图对应的权重滤波器，因此该权重滤波器可以作为第n+1个权重滤波器。
下面以从多个连续的画面帧中的第1个画面帧开始进行处理为例，详细说本实施例的目标跟踪方法的各步骤的流程。
在步骤S101中，电子设备(如画面处理服务器)获取目标视频的多个连续的画面帧；为了便于对目标视频中的特定物体或指定物体进行跟踪操作，这里设置多个连续的画面帧中的第1个画面帧对应的第1个跟踪目标区域。其中，该第1个跟踪目标区域即为多个连续的画面帧中的第1个画面帧的跟踪目标区域。
这里的第1个跟踪目标区域即特定物体或指定物体在画面帧中的画面区域，这里的特定物体或指定物体可为预先设定的人物、动物、交通工具或任何运动物体，这样可根据第一个画面帧中的跟踪目标区域的特征，在后续的其他画面帧中查找到对应的跟踪目标区域。
在步骤S102中，电子设备对第n个跟踪目标区域进行特征提取操作，以获取第n个跟踪目标区域对应的第n个区域输入特征图，这里的n＝1。其中，该第n个跟踪目标区域即为第n个画面帧的跟踪目标区域，第n个区域输入特征图即为第n个画面帧的跟踪目标区域的输入特征图。
可选地，这里可将第n个跟踪目标区域划分为a*a尺寸的网格区域，然后用d种不同尺寸的卷积核，对上述a*a尺寸的网格区域进行卷积抽样操作，从而获取具有d个特征通道的第n个区域输入特征图，其中卷积核的尺寸小于网格区域的尺寸。
在步骤S103中，电子设备根据相关滤波算法以及平均池化约束条件，计算第1个区域输入特征图对应的第1个权重滤波器，其中第1个权重滤波器包括输入特征图中各个特征通道对应的滤波权重。该第1个权重滤波器即为第1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
请参照图2，图2为本申请的目标跟踪方法的上述实施例的步骤S103的流程图。该步骤S103包括：
步骤S201，电子设备基于岭回归判别函数，创建第1个区域输入特征图对应的第1个权重滤波器的相关滤波模型，将相关滤波模型的约束条件设置为：池化区域中的特征通道对应的滤波权重相等。
可选地，电子设备基于岭回归判别函数，创建第1个区域输入特征图对应的第1个权重滤波器的相关滤波模型为：
Figure PCTCN2020087041-appb-000001
其中y为跟踪目标区域的期望输出响应，x d为跟踪目标区域的特征通道d的输入特征图，ω d为跟踪目标区域的特征通道d的输入特征图对应的滤波权重，D为特征通道的数量，p d为跟踪目标区域的特征通道d对应的权重滤波器的二值化掩膜，g d为跟踪目标区域的特征通道d对应的权重滤波器的正则化权重。
输出响应为画面帧中跟踪目标区域与背景区域的深度网络提取的卷积特征在对应权重滤波器作用下的目标响应，其中期望输出响应为预设的能够区分出画面帧的跟踪目标区域与背景区域的输出响应，该期望输出响应应满足高斯分布，即越接近跟踪目标区域的区域特征对应的目标响应越大。
其中二值化掩膜可有效的减小跟踪目标区域外对应的权重滤波器的滤波权重，从而减少后续背景区域对跟踪目标区域的判定影响；即如判断输入特征图对应的区域为跟踪目标区域外的背景区域，则通过二值化掩膜减小相关权重滤波器的滤波权重。用户可根据自身的要求选择是否使用上述二值化掩膜。
正则化权重则可有效的提高跟踪目标区域对应的权重滤波器在跟踪目标区域的中心部分的滤波权重，即直接对跟踪目标区域的中心部分的滤波权重进行增加。跟踪目标区域的中心部分的画面特征重要度最大，因此增加跟踪目标区域的中心部分的滤波权重可进一步加大跟踪目标区域的识别的准确性。用户可根据自身的要求选择是否使用上述正则化权重。
随后电子设备设置池化区域中的同一特征通道对应的滤波权重相等作为相关滤波模型的约束条件。
Figure PCTCN2020087041-appb-000002
其中P为对应的池化区域，K为权重相等等式约束个数，如池化区域中输入特征图的特征数量为k，则K＝C k 2，i，j为池化区域中输入特征图对应的位置。
这里的池化区域为在跟踪目标区域中进行范围大小的设置(如设置2*2或3*3的像素尺寸大小)，并且相邻池化区域可共用边界，但相邻池化区域的范围不重叠。这样可快速对池化区域进行设定，且可有效的减少相关滤波模型中的算法参数，避免了参数过拟合的产生，提高了目标跟踪的精度。
上述具有约束条件的相关滤波模型对画面帧的跟踪目标区域的处理过程如图3所示，相当于：将第1个跟踪目标区域通过卷积抽样进行裁剪操作，随后对裁剪后的特征图内相邻区域进行池化操作，即通过对池化区域内的滤波权重进行设置完成了裁剪后的相邻区域的池化操作，随后得到对应的第1个区域输入特征图。
由于没有对原画面帧直接进行池化操作(即没有缩小原画面帧的尺寸)，使得裁剪后的样本数量较多，同时对每个裁剪后的画面区域的相邻区域进行池化操作，又减少了相关滤波模型中的算法参数，因此可有效的避免参数过拟合的产生。
步骤S202，电子设备使用增广拉格朗日乘子法对步骤S201获取的具有约束条件的相关滤波模型进行转化，生成区域池化相关滤波模型。
首先基于帕斯瓦尔定理，对上述的相关滤波模型以及对应的约束条件进行傅里叶变换，变换后的相关滤波模型为：
Figure PCTCN2020087041-appb-000003
Figure PCTCN2020087041-appb-000004
其中F d为傅里叶变换矩阵，
Figure PCTCN2020087041-appb-000005
为傅里叶逆变化矩阵，
Figure PCTCN2020087041-appb-000006
为跟踪目标区域的输出响应的傅里叶系数，
Figure PCTCN2020087041-appb-000007
为跟踪目标区域的特征通道d的输入特征图对应的二值化掩膜的傅里叶系数构造的托普利茨矩阵，
Figure PCTCN2020087041-appb-000008
为跟踪目标区域的特征通道d的输入特征图对应的滤波权重的傅里叶系数，
Figure PCTCN2020087041-appb-000009
为跟踪目标区域的特征通道d的输入特征图的傅里叶系数，
Figure PCTCN2020087041-appb-000010
为跟踪目标区域的特征通道d的输入特征图对应的正则化权重的傅里叶系数构造的托普利茨矩阵。
其中
Figure PCTCN2020087041-appb-000011
和
Figure PCTCN2020087041-appb-000012
为以1或0为条目的索引矩阵，其中
Figure PCTCN2020087041-appb-000013
Figure PCTCN2020087041-appb-000014
上述变换后的相关滤波模型可简化为：
Figure PCTCN2020087041-appb-000015
Figure PCTCN2020087041-appb-000016
其中
Figure PCTCN2020087041-appb-000017
为一对角矩阵，
Figure PCTCN2020087041-appb-000018
随后电子设备使用增广拉格朗日乘子法对简化后的相关滤波模型以及约束条件进行转化，生成区域池化相关滤波模型，区域池化相关滤波模型为为：
Figure PCTCN2020087041-appb-000019
其中ξ d为跟踪目标区域的特征通道d对应的拉格朗日乘子，
Figure PCTCN2020087041-appb-000020
Υ d为惩罚参数。
步骤S203，电子设备使用共轭梯度下降法，对步骤S202获取的区域池化相关滤波模型进行优化，以获取第1个区域输入特征图对应的第1个权重滤波器。
这里使用交替方向乘子法来交替获取区域池化相关滤波模型中优化后的拉格朗日乘子以及滤波权重。当拉格朗日乘子为固定的时候，可使用共轭梯度下降法来计算对应的滤波权重， 即计算上述区域池化相关滤波模型中关于滤波权重
Figure PCTCN2020087041-appb-000021
的目标函数的梯度，并在设置梯度为零矢量时，获取一组线性方程：
Figure PCTCN2020087041-appb-000022
其中E＝[E 1，E 2，...，E D]，
Figure PCTCN2020087041-appb-000023
当滤波权重
Figure PCTCN2020087041-appb-000024
被计算出来，ξ d可通过下式进行优化：
Figure PCTCN2020087041-appb-000025
其中使用
Figure PCTCN2020087041-appb-000026
表示第i次迭代运算中的拉格朗日乘子ξ d。
同时对惩罚参数Υ d进行优化，
Figure PCTCN2020087041-appb-000027
其中i表示迭代次数。
通过上述迭代优化运算，最终可获取跟踪目标区域的输入特征图对应的权重滤波器
Figure PCTCN2020087041-appb-000028
这样即完成了根据第1个区域输入特征图以及跟踪目标区域的期望输出响应，计算第1个权重滤波器的过程。
可选地，当设置第1个区域输入特征图以及期望输出响应时(设置画面帧中的特定物体作为跟踪目标区域的中心)，电子设备直接根据上述相关滤波算法以及平均池化约束条件，使用第1个区域输入特征图以及期望输出响应，计算第1个权重滤波器。
需要说明的是，本实施例中以n＝1为例，详细说明了根据第1个区域输入特征图以及跟踪目标区域的期望输出响应，计算第1个权重滤波器的过程，后续可以根据第1个画面帧对应的第1个权重滤波器，继续对第1个画面帧之后的多个画面帧进行处理，因此n不再等于1，而是以1为单位逐渐递增，如n＝2、3、4……也即是n可以大于等于2。
因此，当随后获取第n个画面帧输入特征图以及第n-1个权重滤波器、且n大于等于2时，则电子设备可根据相关滤波算法以及平均池化约束条件，使用第n个画面帧输入特征图以及第n-1个权重滤波器，计算第n个输出响应。其中，第n个画面帧输入特征图即为第n个画面帧的输入特征图，第n-1个权重滤波器即为第n-1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器，第n个输出响应即为第n个画面帧的输出响应。
随后电子设备根据第n个输出响应，获取第n个跟踪目标区域的位置、以及第n个区域输入特征图。即电子设备将输出响应最大的点作为第n个跟踪目标区域的中心，从而确定第n个区域输入特征图。其中，第n个跟踪目标区域即为第n个画面帧的跟踪目标区域，第n个区域输入特征图即为第n个画面帧的跟踪目标区域的输入特征图。
然后电子设备可根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应，以及第n个区域输入特征图，计算第n个区域输入特征图对应的第n个权重滤波器。该第n个权重滤波器即为第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。本步骤和上述的计算第1个权重滤波器的过程相似。
为了进一步提高计算出的第n个权重滤波器的准确性。电子设备可根据相关滤波算法以 及平均池化约束条件，使用跟踪目标区域的期望输出响应、和第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，计算第n个权重滤波器。
可选地，电子设备根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，进行每个画面帧相关滤波损失函数的线性加权融合，得到基于多帧的相关滤波模型；
即获取以下基于多帧的相关滤波模型：
Figure PCTCN2020087041-appb-000029
μ t为每个样本t的权重，即第t个画面帧的权重。
第n个画面帧之前的画面帧的数量少于等于50帧，则可取所有的第n个画面帧之前的画面帧的输入特征图进行第n个画面帧的权重滤波器的计算；如第n个画面帧之前的画面帧的数量多于50帧，则可将第n个画面帧之前的画面帧进行融合，生成融合后的50个画面帧，并根据融合后的50个画面帧的输入特征图进行第n个画面帧对应的第n个权重滤波器的计算。
其中，距离第n个画面帧越近的画面帧对应的权重越大。
在步骤S104中，电子设备对多个连续的画面帧中的第n+1个画面帧进行特征提取，以得到第n+1个画面帧输入特征图。这里n+1＝2。该第n+1个画面帧输入特征图即为第n+1个画面帧的输入特征图。
随后电子设备使用步骤S103获取的第1个权重滤波器计算第2个输出响应，该第2个输出响应即为第2个画面帧的输入特征图对应的输出响应。并使用第2个输出响应与步骤S102中的输出响应进行对比，将最接近步骤S102中的输出响应(最大的输出响应)对应的画面帧区域确认为第2个跟踪目标区域，该第2个跟踪目标区域即为第2个画面帧的跟踪目标区域。
在步骤S105中，对特征提取操作进行计数操作，由于重新执行了步骤S102，执行特征提取操作的次数增加了1，则此时对特征提取操作进行计数操作，可以得到执行特征提取操作的次数为2。计算第2个区域输入特征图对应的第2个权重滤波器，直至在步骤S104中获取目标视频的所有连续的画面帧的跟踪目标区域。该第2个区域输入特征图即为第2个画面帧的跟踪目标区域的输入特征图，该第2个权重滤波器即为第2个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
电子设备即可根据所有连续的画面帧的跟踪目标区域，对目标视频中的指定物体或特定物体进行有效跟踪操作。
这样即完成了本实施例的目标跟踪方法的对目标视频中指定物体或特定物体的跟踪过程。
图4为本申请的目标跟踪方法的上述实施例的画面帧特征变化示意图；其中曲线2c1为相关技术的目标跟踪方法的第一帧与其他各帧同一区域特征差值的L2范数距离的变化曲线，曲线2c2为本实施例的目标跟踪方法的第一帧与其他各帧同一区域特征差值的L2范数距离的变化曲线。从图4中可以看出本实施例的目标跟踪方法中的L2范数距离的变化幅度较小，即同一特征区域在不同画面帧中的特征差异较小，这样可以更好的实现对目标视频中的指定物体或特定物体进行有效跟踪操作。
本实施例的目标跟踪方法通过对输入特征图的不同特征通道对应的滤波权重进行平均池化操作，以减少算法参数，且不需要对跟踪目标区域进行缩减操作，从而保证了输入特征图的训练样本特征的数量，避免了参数过拟合的产生，提高了目标跟踪的精度以及有效性。
本申请还提供一种目标跟踪装置，请参照图5，图5为本申请的目标跟踪装置的一种实施例的结构示意图，本实施例的目标跟踪装置可使用上述的目标跟踪方法的实施例进行实施，本实施例的目标跟踪装置30包括跟踪目标区域设置模块31、特征提取模块32、权重滤波器计算模块33、跟踪目标区域确认模块34、计数模块35以及模型设置模块36。
跟踪目标区域设置模块31用于获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧的跟踪目标区域，其中n为正整数；特征提取模块32用于对第n个画面帧的跟踪目标区域进行特征提取操作，以获取跟踪目标区域的输入特征图；权重滤波器计算模块33用于根据相关滤波算法以及平均池化约束条件，计算第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器；跟踪目标区域确认模块34用于使用权重滤波器以及多个连续的画面帧中的第n+1个画面帧的输入特征图，计算第n+1个画面帧的输出响应，并根据第n+1个画面帧的输出响应确认第n+1个画面帧的跟踪目标区域；计数模块35用于对特征提取操作进行计数操作；模型设置模块36用于对跟踪目标区域的池化区域的范围进行设置。
其中，基于与上述方法实施例中相同的理由，多个连续的画面帧中的第n个画面帧的跟踪目标区域可以作为第n个跟踪目标区域，第n个画面帧的跟踪目标区域的输入特征图可以作为第n个区域输入特征图，第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器可以作为第n个权重滤波器。多个连续的画面帧中的第n+1个画面帧的输入特征图可以作为第n+1个画面帧输入特征图，第n+1个画面帧的输出响应可以作为第n+1个输出响应。第n+1个画面帧的跟踪目标区域可以作为第n+1个跟踪目标区域。
请参照图6，图6为本申请的目标跟踪装置的一种实施例的权重滤波器计算模块的结构示意图。该权重滤波器计算模块33包括相关滤波模型创建单元41、区域池化相关滤波模型生成单元42以及模型优化单元43。
相关滤波模型创建单元41用于基于岭回归判别函数，创建第n个区域输入特征图对应的第n个权重滤波器的相关滤波模型，将相关滤波模型的约束条件设置为：池化区域中的特征通道对应的滤波权重相等；区域池化相关滤波模型生成单元42用于使用增广拉格朗日乘子法对约束条件进行转化，生成区域池化相关滤波模型；模型优化单元43用于使用共轭梯度下降法，对区域池化相关滤波模型进行优化，以获取第n个区域输入特征图对应的第n个权重滤波器。
请参照图7，图7为本申请的目标跟踪装置的一种实施例的权重滤波计算模块的相关滤波模型创建单元的结构示意图。该相关滤波模型创建单元41包括二值化掩膜设置子单元51以及正则化权重设置子单元52。
二值化掩膜设置子单元51用于对第n个权重滤波器设置二值化掩膜，以减小第n个跟踪目标区域外对应的权重滤波器的滤波权重。正则化权重设置子单元52用于对第n个权重滤波器设置正则化权重，以提高第n个权重滤波器在第n个跟踪目标区域的中心部分的滤波权重。
本实施例的目标跟踪装置30使用时，首先跟踪目标区域设置模块31获取目标视频的多个连续的画面帧；为了便于对目标视频中的特定物体或指定物体进行跟踪操作，这里设置多个连续的画面帧中的第1个画面帧对应的第1个跟踪目标区域，该第1个跟踪目标区域即为 多个连续的画面帧中的第1个画面帧的跟踪目标区域。
这里的第1个跟踪目标区域即特定物体或指定物体在画面帧中的画面区域，这里的特定物体或指定物体可为预先设定的人物、动物、交通工具或任何运动物体，这样可根据第一个画面帧中的跟踪目标区域的特征，在后续的其他画面帧中查找到对应的跟踪目标区域。
随后特征提取模块32对第n个跟踪目标区域进行特征提取操作，以获取第n个跟踪目标区域对应的第n个区域输入特征图，这里的n＝1。其中，该第n个跟踪目标区域即为第n个画面帧的跟踪目标区域，该第n个区域输入特征图即为多个连续的画面帧中的第n个画面帧的跟踪目标区域的输入特征图。
可选地，特征提取模块32可将第n个跟踪目标区域划分为a*a尺寸的网格区域，然后用d种不同尺寸的卷积核，对上述a*a尺寸的网格区域进行卷积抽样操作，从而获取具有d个特征通道的第n个区域输入特征图，其中卷积核的尺寸小于网格区域的尺寸。
然后权重滤波器计算模块33根据相关滤波算法以及平均池化约束条件，计算第1个区域输入特征图对应的第1个权重滤波器，其中第1个权重滤波器包括输入特征图中各个特征通道对应的滤波权重。该第1个权重滤波器即为第1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
可以包括：
权重滤波器计算模块33的相关滤波模型创建单元41基于岭回归判别函数，创建第1个区域对应的第1个权重滤波器的相关滤波模型，将相关滤波模型的约束条件设置为：池化区域中的特征通道对应的滤波权重相等。
可选地，相关滤波模型创建单元41基于岭回归判别函数，创建第1个区域输入特征图对应的第1个权重滤波器的相关滤波模型为：
Figure PCTCN2020087041-appb-000030
其中y为跟踪目标区域的期望输出响应，x d为跟踪目标区域的特征通道d的输入特征图，ω d为跟踪目标区域的特征通道d的输入特征图对应的滤波权重，D为特征通道的数量，p d为相关滤波模型创建单元41的二值化掩膜设置子单元51设置的跟踪目标区域的特征通道d的输入特征图对应的二值化掩膜，g d为相关滤波模型创建单元41的正则化权重设置子单元52设置的跟踪目标区域的特征通道d的输入特征图对应的正则化权重。
输出响应为画面帧中跟踪目标区域与背景区域的深度网络提取的卷积特征在对应权重滤波器作用下的目标响应，其中期望输出响应为预设的能够区分出画面帧的跟踪目标区域与背景区域的输出响应，该期望输出响应应满足高斯分布，即越接近跟踪目标区域的区域特征对应的目标响应越大。
其中二值化掩膜可有效的减小跟踪目标区域外对应的权重滤波器的滤波权重，从而减少后续背景区域对跟踪目标区域的判定影响；即如判断输入特征图对应的区域为跟踪目标区域外的背景区域，则通过二值化掩膜减小相关权重滤波器的滤波权重。用户可根据自身的要求选择是否使用上述二值化掩膜。
正则化权重则可有效的提高跟踪目标区域对应的权重滤波器在跟踪目标区域的中心部分的滤波权重，即直接对跟踪目标区域的中心部分的滤波权重进行增加。跟踪目标区域的中心部分的画面特征重要度最大，因此增加跟踪目标区域的中心部分的滤波权重可进一步加大跟 踪目标区域的识别的准确性。用户可根据自身的要求选择是否使用上述正则化权重。
随后相关滤波模型创建单元41设置池化区域中的特征通道对应的滤波权重相等作为相关滤波模型的约束条件。
Figure PCTCN2020087041-appb-000031
其中P为对应的池化区域，K为池化区域中输入特征图的特征数量，i，j为池化区域中输入特征图对应的位置。
这里的池化区域为模型设置模块36在跟踪目标区域中进行范围大小的设置(如设置2*2或3*3的像素尺寸大小)，并且相邻池化区域可共用边界，但相邻池化区域的范围不重叠。这样可快速对池化区域进行设定，且可有效的减少相关滤波模型中的算法参数，避免了参数过拟合的产生，提高了目标跟踪的精度。
权重滤波器计算模块33的区域池化相关滤波模型生成单元42使用增广拉格朗日乘子法对获取的具有约束条件的相关滤波模型进行转化，生成区域池化相关滤波模型。
首先区域池化相关滤波模型生成单元42基于帕斯瓦尔公式，对上述的相关滤波模型以及对应的约束条件进行傅里叶变换，变换后的相关滤波模型为：
Figure PCTCN2020087041-appb-000032
Figure PCTCN2020087041-appb-000033
其中F d为傅里叶变换矩阵，
Figure PCTCN2020087041-appb-000034
为傅里叶逆变化矩阵，
Figure PCTCN2020087041-appb-000035
为跟踪目标区域的输出响应的傅里叶系数，
Figure PCTCN2020087041-appb-000036
为跟踪目标区域的特征通道d的输入特征图对应的二值化掩膜的傅里叶系数构造的托普利茨矩阵，
Figure PCTCN2020087041-appb-000037
为跟踪目标区域的特征通道d的输入特征图对应的滤波权重的傅里叶系数，
Figure PCTCN2020087041-appb-000038
为跟踪目标区域的特征通道d的输入特征图的傅里叶系数，
Figure PCTCN2020087041-appb-000039
为跟踪目标区域的特征通道d的输入特征图对应的正则化权重的傅里叶系数构造的托普利茨矩阵。
其中
Figure PCTCN2020087041-appb-000040
和
Figure PCTCN2020087041-appb-000041
为以1或0为条目的索引矩阵，其中
Figure PCTCN2020087041-appb-000042
Figure PCTCN2020087041-appb-000043
因此上述变换后的相关滤波模型可简化为：
Figure PCTCN2020087041-appb-000044
Figure PCTCN2020087041-appb-000045
其中
Figure PCTCN2020087041-appb-000046
为一对角线矩阵，
Figure PCTCN2020087041-appb-000047
随后区域池化相关滤波模型生成单元42使用增广拉格朗日乘子法对简化后的相关滤波模型以及约束条件进行转化，生成区域池化相关滤波模型，区域池化相关滤波模型为：
Figure PCTCN2020087041-appb-000048
其中ξ d为跟踪目标区域的特征通道d的拉格朗日乘子，
Figure PCTCN2020087041-appb-000049
Υ d为惩罚参数。
权重滤波器计算模块33的模型优化单元43使用共轭梯度下降法，对获取的区域池化相关滤波模型进行优化，以获取第1个区域输入特征图对应的第1个权重滤波器。
这里使用交替方向乘子法来交替获取区域池化相关滤波模型中优化后的拉格朗日乘子以及滤波权重。当拉格朗日乘子为固定的时候，可使用共轭梯度下降法来计算对应的滤波权重，即计算上述区域池化相关滤波模型中关于滤波权重的目标函数的梯度，并在设置梯度为零矢量时，获取一组线性方程：
Figure PCTCN2020087041-appb-000050
其中E＝[E 1，E 2，...，E D]，
Figure PCTCN2020087041-appb-000051
当滤波权重
Figure PCTCN2020087041-appb-000052
被计算出来，ξ d可通过下式进行优化：
Figure PCTCN2020087041-appb-000053
其中使用
Figure PCTCN2020087041-appb-000054
表示第i次迭代运算中的拉格朗日乘子ξ d。
同时对惩罚参数Υ d进行优化，
Figure PCTCN2020087041-appb-000055
其中i表示迭代次数。
通过上述迭代优化运算，最终可获取跟踪目标区域的输入特征图对应的权重滤波器
Figure PCTCN2020087041-appb-000056
这样即完成了根据第1个区域输入特征图以及跟踪目标区域的期望输出响应，计算第1个权重滤波器的过程。
可选地，当设置第1个区域输入特征图以及期望输出响应时(设置画面帧中的特定物体作为跟踪目标区域的中心)，权重滤波器计算模块33直接根据上述相关滤波算法以及平均池化约束条件，使用第1个区域输入特征图以及期望输出响应，计算第1个权重滤波器。
需要说明的是，本实施例中以n＝1为例，详细说明了根据第1个区域输入特征图以及跟踪目标区域的期望输出响应，计算第1个权重滤波器的过程，后续可以根据第1个画面帧对应的第1个权重滤波器，继续对第1个画面帧之后的多个画面帧进行处理，因此n不再等于1，而是以1为单位逐渐递增，如n＝2、3、4……也即是n可以大于等于2。
因此，当随后获取第n个画面帧输入特征图以及第n-1个权重滤波器、且n大于等于2时，则权重滤波器计算模块33可根据相关滤波算法以及平均池化约束条件，使用第n个画面 帧输入特征图以及第n-1个权重滤波器，计算第n个输出响应。其中，第n个画面帧输入特征图即为第n个画面帧的输入特征图，第n-1个权重滤波器即为第n-1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器，第n个输出响应即为第n个画面帧的输出响应。
随后权重滤波器计算模块33根据第n个输出响应，获取第n个跟踪目标区域的位置、以及第n个区域输入特征图。即权重滤波器计算模块33将输出响应最大的点作为第n个画面帧的跟踪目标区域的中心，从而确定第n个区域输入特征图。其中，第n个跟踪目标区域即为第n个画面帧的跟踪目标区域，第n个区域输入特征图即为第n个画面帧的跟踪目标区域的输入特征图。
然后权重滤波器计算模块33可根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应，以及第n个区域输入特征图，计算第n个区域输入特征图对应的第n个权重滤波器，该第n个权重滤波器即为第n个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。本步骤和上述的计算第1个权重滤波器的过程相似。
为了进一步提高计算出的第n个权重滤波器的准确性。权重滤波器计算模块33可根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，计算第n个权重滤波器。
可选地，权重滤波器计算模块33根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，进行每个画面帧相关滤波损失函数的线性加权融合，得到基于多帧的相关滤波模型；
即获取以下基于多帧的相关滤波模型：
Figure PCTCN2020087041-appb-000057
μ t为每个样本t的权重，即第t个画面帧的权重。
第n个画面帧之前的画面帧的数量少于等于50帧，则可取所有的第n个画面帧之前的画面帧的输入特征图进行第n个画面帧的权重滤波器的计算；如第n个画面帧之前的画面帧的数量多于50帧，则可将第n个画面帧之前的画面帧进行融合，生成融合后的50个画面帧，并根据融合后的50个画面帧的输入特征图进行第n个画面帧对应的第n个权重滤波器的计算。
其中，距离第n个画面帧越近的画面帧对应的权重越大。
随后跟踪目标区域确认模块34对多个连续的画面帧中的第n+1个画面帧进行特征提取，以得到第n+1个画面帧输入特征图。这里n+1＝2。该第n+1个画面帧输入特征图即为第n+1个画面帧的输入特征图。
随后跟踪目标区域确认模块34使用获取的第1个权重滤波器计算第2个输出响应，该第2个输出响应即为第2个画面帧的输入特征图对应的输出响应。并使用第2个输出响应与特征提取模块的输出响应进行对比，将最接近特征提取模块的输出响应(最大的输出响应)对应的画面帧区域确认为第2个跟踪目标区域，该第2个跟踪目标区域即为第2个画面帧的跟踪目标区域。
最后计数模块35对特征提取操作进行计数操作，由于重新执行了步骤S102，执行特征 提取操作的次数增加了1，则此时对特征提取操作进行计数操作，可以得到执行特征提取操作的次数为2。权重滤波器计算模块33计算第2个区域输入特征图对应的第2个权重滤波器，直至跟踪目标区域确认模块34获取目标视频的所有连续的画面帧的跟踪目标区域。该第2个区域输入特征图即为第2个画面帧的跟踪目标区域的输入特征图，该第2个权重滤波器即为第2个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
目标跟踪装置30即可根据所有连续的画面帧的跟踪目标区域，对目标视频中的指定物体或特定物体进行有效跟踪操作。
这样即完成了本实施例的目标跟踪装置30的对目标视频中指定物体或特定物体的跟踪过程。
本实施例的目标跟踪装置通过对输入特征图的不同特征通道对应的滤波权重进行平均池化操作，以减少算法参数，且不需要对跟踪目标区域进行缩减操作，从而保证了输入特征图的训练样本特征的数量，避免了参数过拟合的产生，提高了目标跟踪的精度以及有效性。
下面通过一可选实施例说明本申请的目标跟踪方法及目标跟踪装置的详细工作原理。请参照图8和图9，图8为本申请的目标跟踪方法及目标跟踪装置的目标跟踪示意图，图9是本申请的目标跟踪方法及目标跟踪装置的目标跟踪流程图。
本实施例中，通过摄像头61获取特定物体的动态视频，随后画面处理服务器62对该动态视频中的特定物体进行目标跟踪操作，从而获取特定物体在动态视频中的运动轨迹。本实施例的目标跟踪的流程包括：
步骤S601，摄像头61获取特定物体的动态视频,，并将该动态视频发送至画面处理服务器62。
步骤S602，画面处理服务器62将动态视频转换为多个连续的画面帧，并获取多个连续的画面帧中的第1个画面帧。
步骤S603，设置第1个画面帧对应的第1个跟踪目标区域，即图8中的汽车区域601。该第1个跟踪目标区域即为第1个画面帧的跟踪目标区域。
步骤S604，画面处理服务器62对第1个跟踪目标区域进行特征提取操作，即通过设定尺寸的卷积核对跟踪目标区域进行卷积特征提取操作，从而获取第1个跟踪目标区域对应的第1个区域输入特征图，该第1个区域输入特征图即为第1个画面帧的跟踪目标区域的输入特征图。
步骤S605，画面处理服务器62根据相关滤波算法以及平均池化约束条件，基于步骤S604获取的第1个区域输入特征图以及期望输出响应，获取该第1个区域输入特征图对应的第1个权重滤波器，该第1个权重滤波器即为第1个画面帧的跟踪目标区域的输入特征图对应的权重滤波器。
步骤S606，画面处理服务器62使用步骤S605获取的第1个权重滤波器以及后续画面帧的输入特征图，逐一依次计算后续画面帧的输出响应，并基于输出响应不断对后续画面帧的跟踪目标区域的输入特征图进行修正。
随后使用修正后的后续画面帧的跟踪目标区域的输入特征图以及期望输出响应，不断对后续画面帧的权重滤波器进行修正。这样可根据后续画面帧的输出响应确定后续画面帧的跟踪目标区域，即图8中的汽车区域602、汽车区域603以及汽车区域604。
步骤S607，画面处理服务器62根据动态视频中所有画面帧的跟踪目标区域，获取对应 特定物体在动态视频中的运动轨迹；并基于特定物体的运动轨迹控制摄像头61的后续拍摄方向，以便摄像头61可继续对特定物体进行运动轨迹捕捉操作。
这样即完成了本实施例的目标跟踪方法及目标跟踪装置的目标跟踪流程。
本申请的目标跟踪方法及目标跟踪装置通过对输入特征图的不同特征通道对应的滤波权重进行平均池化操作，以减少算法参数，且不需要对跟踪目标区域进行缩减操作，解决了相关滤波算法的原生性缺陷，从而保证了输入特征图的训练样本特征的数量，避免了参数过拟合的产生，增强了相关算法的鲁棒性。提高了目标跟踪的精度以及有效性；有效的解决了相关技术的目标跟踪方法以及目标跟踪装置中容易造成参数过拟合或跟踪精度较低的技术问题。
如本申请所使用的术语“组件”、“模块”、“***”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
图10和随后的讨论提供了对实现本申请的视频画面渲染装置所在的电子设备的工作环境的简短、概括的描述。图10的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。
尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。
图10图示了包括本申请的目标跟踪装置中的一个或多个实施例的电子设备712的实例。在一种配置中，电子设备712包括至少一个处理单元716和存储器718。根据电子设备的确切配置和类型，存储器718可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图10中由虚线714图示。
在其他实施例中，电子设备712可以包括附加特征和/或功能。例如，设备712还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图10中由存储装置720图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置720中。存储装置720还可以存储用于实现操作***、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器718中由例如处理单元716执行。
本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器718和存储装置720是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备712访问的任何其他介质。任意这样的计算机存储介 质可以是电子设备712的一部分。
电子设备712还可以包括允许电子设备712与其他设备通信的通信连接726。通信连接726可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备712连接到其他电子设备的其他接口。通信连接726可以包括有线连接或无线连接。通信连接726可以发射和/或接收通信媒体。
术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
电子设备712可以包括输入设备724，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备712中也可以包括输出设备722，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备724和输出设备722可以经由有线连接、无线连接或其任意组合连接到电子设备712。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备712的输入设备724或输出设备722。
电子设备712的组件可以通过各种互连(比如总线)连接。这样的互连可以包括***组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE 1394)、光学总线结构等等。在另一个实施例中，电子设备712的组件可以通过网络互连。例如，存储器718可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。
本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络728访问的后台服务器730可以存储用于实现本申请所提供的一个或多个实施例的计算机可读指令。电子设备712可以访问后台服务器730并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备712可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备712处执行并且一些指令可以在后台服务器730处执行。
在本申请实施例中，提供了一种电子设备，包括处理器和存储器，存储器储存有计算机程序，处理器通过调用该计算机程序，用于执行如下操作：
获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧对应的第n个跟踪目标区域，其中n为正整数；
对第n个跟踪目标区域进行特征提取操作，以获取第n个跟踪目标区域对应的第n个区域输入特征图；其中第n个区域输入特征图包括多个特征通道；
根据相关滤波算法以及平均池化约束条件，计算第n个区域输入特征图对应的第n个权重滤波器；其中第n个权重滤波器包括第n个区域输入特征图中各个特征通道对应的滤波权重；
使用第n个权重滤波器以及第n+1个画面帧输入特征图，计算第n+1个输出响应，并根据第n+1个输出响应确认第n+1个画面帧对应的第n+1个跟踪目标区域，第n+1个画面帧输入特征图为多个连续的画面帧中的第n+1个画面帧的输入特征图；
对第n+1个跟踪目标区域进行特征提取，以获取第n+1个跟踪目标区域对应的第n+1个区域输入特征图，并计算第n+1个区域输入特征图对应的第n+1个权重滤波器，直至获取所有连续的画面帧的跟踪目标区域。
可选地，该处理器通过调用该计算机程序，用于执行如下操作：
基于岭回归判别函数，创建第n个区域输入特征图对应的第n个权重滤波器的相关滤波模型，将相关滤波模型的约束条件设置为：池化区域中的特征通道对应的滤波权重相等；
使用增广拉格朗日乘子法，对具有约束条件的相关滤波模型进行转化，生成区域池化相关滤波模型；
使用共轭梯度下降法，对区域池化相关滤波模型进行优化，以获取第n个区域输入特征图对应的第n个权重滤波器。
可选地，该处理器通过调用该计算机程序，用于执行如下操作：
对跟踪目标区域的多个池化区域的范围进行设置，其中相邻池化区域的范围不重叠。
可选地，该处理器通过调用该计算机程序，用于执行如下操作：
当获取第1个区域输入特征图时，则根据相关滤波算法以及平均池化约束条件，使用第1个区域输入特征图以及跟踪目标区域的期望输出响应，计算第1个区域输入特征图对应的第1个权重滤波器，第1个区域输入特征图为第1个画面帧对应的第1个跟踪目标区域的输入特征图；
当获取第n个画面帧输入特征图以及第n-1个权重滤波器、且n大于等于2时，则根据相关滤波算法以及平均池化约束条件，使用第n个画面帧输入特征图以及第n-1个权重滤波器，计算第n个输出响应，第n个画面帧输入特征图为第n个画面帧的输入特征图，第n-1个权重滤波器为第n-1个画面帧对应的权重滤波器；
根据第n个输出响应，获取第n个画面帧的跟踪目标区域的位置、以及第n个区域输入特征图；
根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应，以及第n个区域输入特征图，计算第n个权重滤波器。
可选地，该处理器通过调用该计算机程序，用于执行如下操作：
当获取第n个画面帧输入特征图以及第n-1个权重滤波器、且n大于等于2时，则根据相关滤波算法以及平均池化约束条件，使用第n个画面帧输入特征图以及第n-1个权重滤波器，计算第n个输出响应，第n个画面帧输入特征图为第n个画面帧的输入特征图，第n-1个权重滤波器为第n-1个画面帧对应的权重滤波器；
根据第n个输出响应，获取第n个画面帧的跟踪目标区域的位置、以及第n个区域输入特征图；
根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，计算第n个权重滤波器。
可选地，该处理器通过调用该计算机程序，用于执行如下操作：
根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，进行每个画面帧的相关滤波损失函数的线性加权融合，得到基于多帧的相关滤波模型；
对基于多帧的相关滤波模型进行计算，得到第n个权重滤波器。
可选地，该处理器通过调用该计算机程序，用于执行如下操作：
对第n个权重滤波器设置二值化掩膜，以减小第n个跟踪目标区域外对应的权重滤波器的滤波权重。
可选地，该处理器通过调用该计算机程序，用于执行如下操作：
对第n个权重滤波器设置正则化权重，以提高第n个权重滤波器在第n个跟踪目标区域的中心部分的滤波权重。
本文提供了实施例的各种操作。在一个实施例中，的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。
而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本申请实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或***，可以执行相应方法实施例中的方法。
在本申请实施例中，提供了一种存储介质，该存储介质内存储有处理器可执行指令，该指令由一个或一个以上处理器加载，以执行如下操作：
获取目标视频的多个连续的画面帧；设置多个连续的画面帧中的第n个画面帧对应的第n个跟踪目标区域，其中n为正整数；
对第n个跟踪目标区域进行特征提取操作，以获取第n个跟踪目标区域对应的第n个区域输入特征图；其中第n个区域输入特征图包括多个特征通道；
根据相关滤波算法以及平均池化约束条件，计算第n个区域输入特征图对应的第n个权重滤波器；其中第n个权重滤波器包括第n个区域输入特征图中各个特征通道对应的滤波权重；
使用第n个权重滤波器以及第n+1个画面帧输入特征图，计算第n+1个输出响应，并根据第n+1个输出响应确认第n+1个画面帧对应的第n+1个跟踪目标区域，第n+1个画面帧输入特征图为多个连续的画面帧中的第n+1个画面帧的输入特征图；
对第n+1个跟踪目标区域进行特征提取，以获取第n+1个跟踪目标区域对应的第n+1个区域输入特征图，并计算第n+1个区域输入特征图对应的第n+1个权重滤波器，直至获取所有连续的画面帧的跟踪目标区域。
可选地，该指令由一个或一个以上处理器加载，以执行如下操作：
基于岭回归判别函数，创建第n个区域输入特征图对应的第n个权重滤波器的相关滤波 模型，将相关滤波模型的约束条件设置为：池化区域中的特征通道对应的滤波权重相等；
使用增广拉格朗日乘子法，对具有约束条件的相关滤波模型进行转化，生成区域池化相关滤波模型；
使用共轭梯度下降法，对区域池化相关滤波模型进行优化，以获取第n个区域输入特征图对应的第n个权重滤波器。
可选地，该指令由一个或一个以上处理器加载，以执行如下操作：
对跟踪目标区域的多个池化区域的范围进行设置，其中相邻池化区域的范围不重叠。
可选地，该指令由一个或一个以上处理器加载，以执行如下操作：
当获取第1个区域输入特征图时，则根据相关滤波算法以及平均池化约束条件，使用第1个区域输入特征图以及跟踪目标区域的期望输出响应，计算第1个区域输入特征图对应的第1个权重滤波器，第1个区域输入特征图为第1个画面帧对应的第1个跟踪目标区域的输入特征图；
当获取第n个画面帧输入特征图以及第n-1个权重滤波器、且n大于等于2时，则根据相关滤波算法以及平均池化约束条件，使用第n个画面帧输入特征图以及第n-1个权重滤波器，计算第n个输出响应，第n个画面帧输入特征图为第n个画面帧的输入特征图，第n-1个权重滤波器为第n-1个画面帧对应的权重滤波器；
根据第n个输出响应，获取第n个画面帧的跟踪目标区域的位置、以及第n个区域输入特征图；
根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应，以及第n个区域输入特征图，计算第n个权重滤波器。
可选地，该指令由一个或一个以上处理器加载，以执行如下操作：
当获取第n个画面帧输入特征图以及第n-1个权重滤波器、且n大于等于2时，则根据相关滤波算法以及平均池化约束条件，使用第n个画面帧输入特征图以及第n-1个权重滤波器，计算第n个输出响应，第n个画面帧输入特征图为第n个画面帧的输入特征图，第n-1个权重滤波器为第n-1个画面帧对应的权重滤波器；
根据第n个输出响应，获取第n个画面帧的跟踪目标区域的位置、以及第n个区域输入特征图；
根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，计算第n个权重滤波器。
可选地，该指令由一个或一个以上处理器加载，以执行如下操作：
根据相关滤波算法以及平均池化约束条件，使用跟踪目标区域的期望输出响应、和第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，进行每个画面帧的相关滤波损失函数的线性加权融合，得到基于多帧的相关滤波模型；
对基于多帧的相关滤波模型进行计算，得到第n个权重滤波器。
可选地，该指令由一个或一个以上处理器加载，以执行如下操作：
对第n个权重滤波器设置二值化掩膜，以减小第n个跟踪目标区域外对应的权重滤波器的滤波权重。
可选地，该指令由一个或一个以上处理器加载，以执行如下操作：
对第n个权重滤波器设置正则化权重，以提高第n个权重滤波器在第n个跟踪目标区域 的中心部分的滤波权重。
综上，虽然本申请已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本申请各实施例的顺序不造成限制。并且，上述实施例并非用以限制本申请，本领域的普通技术人员，在不脱离本申请的精神和范围内，均可作各种更动与润饰，因此本申请的保护范围以权利要求界定的范围为准。

Claims (15)

  1. 一种目标跟踪方法，其特征在于，应用于电子设备，包括：
    获取目标视频的多个连续的画面帧；设置所述多个连续的画面帧中的第n个画面帧对应的第n个跟踪目标区域，其中n为正整数；
    对所述第n个跟踪目标区域进行特征提取操作，以获取所述第n个跟踪目标区域对应的第n个区域输入特征图；其中所述第n个区域输入特征图包括多个特征通道；
    根据相关滤波算法以及平均池化约束条件，计算所述第n个区域输入特征图对应的第n个权重滤波器；其中所述第n个权重滤波器包括所述第n个区域输入特征图中各个特征通道对应的滤波权重；
    使用所述第n个权重滤波器以及第n+1个画面帧输入特征图，计算第n+1个输出响应，并根据所述第n+1个输出响应确认所述第n+1个画面帧对应的第n+1个跟踪目标区域，所述第n+1个画面帧输入特征图为所述多个连续的画面帧中的第n+1个画面帧的输入特征图；
    对所述第n+1个跟踪目标区域进行特征提取，以获取所述第n+1个跟踪目标区域对应的第n+1个区域输入特征图，并计算所述第n+1个区域输入特征图对应的第n+1个权重滤波器，直至获取所有连续的画面帧的跟踪目标区域。
  2. 根据权利要求1所述的目标跟踪方法，其特征在于，所述根据相关滤波算法以及平均池化约束条件，计算所述第n个区域输入特征图对应的第n个权重滤波器的步骤包括：
    基于岭回归判别函数，创建所述第n个区域输入特征图对应的第n个权重滤波器的相关滤波模型，将所述相关滤波模型的约束条件设置为：池化区域中的特征通道对应的滤波权重相等；
    使用增广拉格朗日乘子法，对具有约束条件的相关滤波模型进行转化，生成区域池化相关滤波模型；
    使用共轭梯度下降法，对所述区域池化相关滤波模型进行优化，以获取所述第n个区域输入特征图对应的第n个权重滤波器。
  3. 根据权利要求2所述的目标跟踪方法，其特征在于，所述目标跟踪方法还包括：
    对所述跟踪目标区域的多个池化区域的范围进行设置，其中相邻池化区域的范围不重叠。
  4. 根据权利要求1所述的目标跟踪方法，其特征在于，所述根据相关滤波算法以及平均池化约束条件，计算所述第n个区域输入特征图对应的第n个权重滤波器的步骤包括：
    当获取第1个区域输入特征图时，则根据所述相关滤波算法以及所述平均池化约束条件，使用所述第1个区域输入特征图以及跟踪目标区域的期望输出响应，计算所述第1个区域输入特征图对应的第1个权重滤波器，所述第1个区域输入特征图为第1个画面帧对应的第1个跟踪目标区域的输入特征图；
    当获取第n个画面帧输入特征图以及第n-1个权重滤波器、且n大于等于2时，则根据所述相关滤波算法以及所述平均池化约束条件，使用所述第n个画面帧输入特征图以及所述第n-1个权重滤波器，计算第n个输出响应，所述第n个画面帧输入特征图为所述第n个画面帧的输入特征图，所述第n-1个权重滤波器为所述第n-1个画面帧对应的权重滤波器；
    根据所述第n个输出响应，获取所述第n个画面帧的跟踪目标区域的位置、以及所述第 n个区域输入特征图；
    根据所述相关滤波算法以及所述平均池化约束条件，使用所述跟踪目标区域的期望输出响应，以及所述第n个区域输入特征图，计算所述第n个权重滤波器。
  5. 根据权利要求1所述的目标跟踪方法，其特征在于，所述根据相关滤波算法以及平均池化约束条件，计算所述第n个区域输入特征图对应的第n个权重滤波器的步骤包括：
    当获取所述第n个画面帧输入特征图以及第n-1个权重滤波器、且n大于等于2时，则根据所述相关滤波算法以及所述平均池化约束条件，使用所述第n个画面帧输入特征图以及所述第n-1个权重滤波器，计算第n个输出响应，所述第n个画面帧输入特征图为所述第n个画面帧的输入特征图，所述第n-1个权重滤波器为第n-1个画面帧对应的权重滤波器；
    根据所述第n个输出响应，获取所述第n个画面帧的跟踪目标区域的位置、以及所述第n个区域输入特征图；
    根据所述相关滤波算法以及所述平均池化约束条件，使用跟踪目标区域的期望输出响应、和所述第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，计算所述第n个权重滤波器。
  6. 根据权利要求5所述的目标跟踪方法，其特征在于，所述根据所述相关滤波算法以及所述平均池化约束条件，使用跟踪目标区域的期望输出响应、和所述第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，计算所述第n个权重滤波器的步骤包括：
    根据所述相关滤波算法以及所述平均池化约束条件，使用跟踪目标区域的期望输出响应、和所述第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输入特征图，进行每个画面帧的相关滤波损失函数的线性加权融合，得到基于多帧的相关滤波模型；
    对所述基于多帧的相关滤波模型进行计算，得到所述第n个权重滤波器。
  7. 根据权利要求1所述的目标跟踪方法，其特征在于，所述根据相关滤波算法以及平均池化约束条件，计算所述第n个区域输入特征图对应的第n个权重滤波器的步骤包括：
    对所述第n个权重滤波器设置二值化掩膜，以减小所述第n个跟踪目标区域外对应的权重滤波器的滤波权重。
  8. 根据权利要求1所述的目标跟踪方法，其特征在于，所述根据相关滤波算法以及平均池化约束条件，计算所述第n个区域输入特征图对应的第n个权重滤波器的步骤包括：
    对所述第n个权重滤波器设置正则化权重，以提高所述第n个权重滤波器在所述第n个跟踪目标区域的中心部分的滤波权重。
  9. 一种目标跟踪装置，其特征在于，包括：
    跟踪目标区域设置模块，用于获取目标视频的多个连续的画面帧；设置所述多个连续的画面帧中的第n个画面帧对应的第n个跟踪目标区域，其中n为正整数；
    特征提取模块，用于对所述第n个跟踪目标区域进行特征提取操作，以获取所述第n个跟踪目标区域对应的第n个区域输入特征图；其中所述第n个区域输入特征图包括多个特征通道；
    权重滤波器计算模块，用于根据相关滤波算法以及平均池化约束条件，计算所述第n个区域输入特征图对应的第n个权重滤波器；其中所述第n个权重滤波器包括所述第n个区域 输入特征图中各个特征通道对应的滤波权重；
    跟踪目标区域确认模块，用于使用所述第n个权重滤波器以及第n+1个画面帧输入特征图，计算第n+1个输出响应，并根据所述第n+1个输出响应确认所述第n+1个画面帧对应的第n+1个跟踪目标区域，所述第n+1个画面帧输入特征图为所述多个连续的画面帧中的第n+1个画面帧的输入特征图；
    计数模块，用于对特征提取操作进行计数操作。
  10. 根据权利要求9所述的目标跟踪装置，其特征在于，所述权重滤波器计算模块包括：
    相关滤波模型创建单元，用于基于岭回归判别函数，创建所述第n个区域输入特征图对应的第n个权重滤波器的相关滤波模型，将所述相关滤波模型的约束条件设置为：池化区域中的特征通道对应的滤波权重相等；
    区域池化相关滤波模型生成单元，用于使用增广拉格朗日乘子法，对具有约束条件的相关滤波模型进行转化，生成区域池化相关滤波模型；
    模型优化单元，用于使用共轭梯度下降法，对所述区域池化相关滤波模型进行优化，以获取所述第n个区域输入特征图对应的第n个权重滤波器。
  11. 根据权利要求9所述的目标跟踪装置，其特征在于，所述目标跟踪装置还包括：
    模型设置模块，用于对所述跟踪目标区域的池化区域的范围进行设置，其中相邻池化区域的范围不重叠。
  12. 根据权利要求8所述的目标跟踪装置，其特征在于，所述权重滤波器计算模块用于当获取第1个区域输入特征图时，则根据所述相关滤波算法以及所述平均池化约束条件，使用所述第1个区域输入特征图以及跟踪目标区域的期望输出响应，计算所述第1个区域输入特征图对应的第1个权重滤波器，所述第1个区域输入特征图为第1个画面帧对应的第1个跟踪目标区域的输入特征图；
    当获取第n个画面帧输入特征图以及第n-1个权重滤波器、且n大于等于2时，则根据所述相关滤波算法以及所述平均池化约束条件，使用所述第n个画面帧输入特征图以及所述第n-1个权重滤波器，计算第n个输出响应，所述第n个画面帧输入特征图为所述第n个画面帧的输入特征图，所述第n-1个权重滤波器为所述第n-1个画面帧对应的权重滤波器；
    根据所述第n个输出响应，获取所述第n个画面帧的跟踪目标区域的位置、以及所述第n个区域输入特征图；
    根据所述相关滤波算法以及所述平均池化约束条件，使用所述跟踪目标区域的期望输出响应，以及所述第n个区域输入特征图，计算所述第n个权重滤波器。
  13. 根据权利要求8所述的目标跟踪装置，其特征在于，所述权重滤波器计算模块用于当获取所述第n个画面帧输入特征图以及第n-1个权重滤波器、且n大于等于2时，则根据所述相关滤波算法以及所述平均池化约束条件，使用所述第n个画面帧输入特征图以及所述第n-1个权重滤波器，计算第n个输出响应，所述第n个画面帧输入特征图为所述第n个画面帧的输入特征图，所述第n-1个权重滤波器为第n-1个画面帧对应的权重滤波器；
    根据所述第n个输出响应，获取所述第n个画面帧的跟踪目标区域的位置、以及所述第n个区域输入特征图；
    根据所述相关滤波算法以及所述平均池化约束条件，使用跟踪目标区域的期望输出响应、和所述第n个区域输入特征图以及第n个画面帧之前的多个画面帧的跟踪目标区域的输 入特征图，计算所述第n个权重滤波器。
  14. 一种存储介质，所述存储介质内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行如权利要求1至8中任一的目标跟踪方法。
  15. 一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过调用所述计算机程序，用于执行如权利要求1至8中任一的目标跟踪方法。
PCT/CN2020/087041 2019-05-10 2020-04-26 目标跟踪方法、装置、存储介质及电子设备 WO2020228522A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20805061.7A EP3968280A4 (en) 2019-05-10 2020-04-26 TARGET TRACKING METHOD AND APPARATUS, STORAGE MEDIA AND ELECTRONIC DEVICE
JP2021536748A JP7125562B2 (ja) 2019-05-10 2020-04-26 目標追跡方法、コンピュータプログラム、及び電子機器
US17/365,893 US11610321B2 (en) 2019-05-10 2021-07-01 Target tracking method and apparatus, storage medium, and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910391497.7A CN110148157B (zh) 2019-05-10 2019-05-10 画面目标跟踪方法、装置、存储介质及电子设备
CN201910391497.7 2019-05-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/365,893 Continuation US11610321B2 (en) 2019-05-10 2021-07-01 Target tracking method and apparatus, storage medium, and electronic device

Publications (1)

Publication Number Publication Date
WO2020228522A1 true WO2020228522A1 (zh) 2020-11-19

Family

ID=67595267

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/087041 WO2020228522A1 (zh) 2019-05-10 2020-04-26 目标跟踪方法、装置、存储介质及电子设备

Country Status (5)

Country Link
US (1) US11610321B2 (zh)
EP (1) EP3968280A4 (zh)
JP (1) JP7125562B2 (zh)
CN (1) CN110148157B (zh)
WO (1) WO2020228522A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344973A (zh) * 2021-06-09 2021-09-03 南京信息工程大学 一种基于时空正则化和特征可靠性评估的目标跟踪方法
CN113393493A (zh) * 2021-05-28 2021-09-14 京东数科海益信息科技有限公司 目标对象的跟踪方法及装置
CN114596337A (zh) * 2022-03-03 2022-06-07 捻果科技(深圳)有限公司 一种基于多摄像机位联动性的自识别目标追踪方法及***

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148157B (zh) 2019-05-10 2021-02-02 腾讯科技（深圳）有限公司 画面目标跟踪方法、装置、存储介质及电子设备
CN112446255A (zh) * 2019-08-31 2021-03-05 华为技术有限公司 一种视频图像处理方法及装置
CN111161321B (zh) * 2019-12-31 2023-07-04 北京理工大学重庆创新中心 一种基于背景感知的相关滤波跟踪方法
KR102504321B1 (ko) * 2020-08-25 2023-02-28 한국전자통신연구원 온라인 행동 탐지 장치 및 방법
CN113808171B (zh) * 2021-09-27 2024-07-09 山东工商学院 基于特征权重池的动态特征选择的无人机视觉跟踪方法
CN116051385A (zh) * 2021-10-28 2023-05-02 北京三星通信技术研究有限公司 图像处理方法、装置、电子设备及存储介质
CN116309710B (zh) * 2023-02-27 2024-07-09 荣耀终端有限公司 目标追踪方法和电子设备
CN116863342B (zh) * 2023-09-04 2023-11-21 江西啄木蜂科技有限公司 一种基于大尺度遥感影像的松材线虫病死木提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550126A (zh) * 2018-04-18 2018-09-18 长沙理工大学 一种自适应相关滤波器目标跟踪方法及***
US20190005655A1 (en) * 2017-06-29 2019-01-03 Sogang University Research Foundation Method and system of tracking an object based on multiple histograms
CN109448024A (zh) * 2018-11-06 2019-03-08 深圳大学 利用深度数据构建约束相关滤波器的视觉跟踪方法、***
CN109543615A (zh) * 2018-11-23 2019-03-29 长沙理工大学 一种基于多级特征的双学习模型目标跟踪方法
CN110148157A (zh) * 2019-05-10 2019-08-20 腾讯科技（深圳）有限公司 画面目标跟踪方法、装置、存储介质及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913453A (zh) * 2016-04-01 2016-08-31 海信集团有限公司 一种目标跟踪方法和装置
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN107240122A (zh) * 2017-06-15 2017-10-10 国家新闻出版广电总局广播科学研究院 基于时空连续相关滤波的视频目标跟踪方法
CN107644217B (zh) * 2017-09-29 2020-06-26 中国科学技术大学 基于卷积神经网络和相关滤波器的目标跟踪方法
US10628961B2 (en) * 2017-10-13 2020-04-21 Qualcomm Incorporated Object tracking for neural network systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005655A1 (en) * 2017-06-29 2019-01-03 Sogang University Research Foundation Method and system of tracking an object based on multiple histograms
CN108550126A (zh) * 2018-04-18 2018-09-18 长沙理工大学 一种自适应相关滤波器目标跟踪方法及***
CN109448024A (zh) * 2018-11-06 2019-03-08 深圳大学 利用深度数据构建约束相关滤波器的视觉跟踪方法、***
CN109543615A (zh) * 2018-11-23 2019-03-29 长沙理工大学 一种基于多级特征的双学习模型目标跟踪方法
CN110148157A (zh) * 2019-05-10 2019-08-20 腾讯科技（深圳）有限公司 画面目标跟踪方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3968280A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393493A (zh) * 2021-05-28 2021-09-14 京东数科海益信息科技有限公司 目标对象的跟踪方法及装置
CN113393493B (zh) * 2021-05-28 2024-04-05 京东科技信息技术有限公司 目标对象的跟踪方法及装置
CN113344973A (zh) * 2021-06-09 2021-09-03 南京信息工程大学 一种基于时空正则化和特征可靠性评估的目标跟踪方法
CN113344973B (zh) * 2021-06-09 2023-11-24 南京信息工程大学 一种基于时空正则化和特征可靠性评估的目标跟踪方法
CN114596337A (zh) * 2022-03-03 2022-06-07 捻果科技(深圳)有限公司 一种基于多摄像机位联动性的自识别目标追踪方法及***
CN114596337B (zh) * 2022-03-03 2022-11-25 捻果科技(深圳)有限公司 一种基于多摄像机位联动性的自识别目标追踪方法及***

Also Published As

Publication number Publication date
CN110148157B (zh) 2021-02-02
EP3968280A4 (en) 2022-06-22
EP3968280A1 (en) 2022-03-16
US11610321B2 (en) 2023-03-21
JP7125562B2 (ja) 2022-08-24
JP2022516055A (ja) 2022-02-24
US20210327076A1 (en) 2021-10-21
CN110148157A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
WO2020228522A1 (zh) 目标跟踪方法、装置、存储介质及电子设备
US11321593B2 (en) Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
US10733431B2 (en) Systems and methods for optimizing pose estimation
US10796452B2 (en) Optimizations for structure mapping and up-sampling
WO2019233244A1 (zh) 图像处理方法、装置、计算机可读介质及电子设备
US10565729B2 (en) Optimizations for dynamic object instance detection, segmentation, and structure mapping
CN106780512B (zh) 分割图像的方法、应用及计算设备
CN110473137B (zh) 图像处理方法和装置
CN111402130B (zh) 数据处理方法和数据处理装置
WO2020233010A1 (zh) 基于可分割卷积网络的图像识别方法、装置及计算机设备
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN111860398A (zh) 遥感图像目标检测方法、***及终端设备
US9025889B2 (en) Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN111160288A (zh) 手势关键点检测方法、装置、计算机设备和存储介质
WO2020228181A1 (zh) 手掌图像裁剪方法、装置、计算机设备及存储介质
EP4024270A1 (en) Gesture recognition method, electronic device, computer-readable storage medium, and chip
CN111444807B (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN109902588B (zh) 一种手势识别方法、装置及计算机可读存储介质
CN112789627A (zh) 一种神经网络处理器、数据处理方法及相关设备
CN110956131A (zh) 单目标追踪方法、装置及***
CN110717929A (zh) 图像目标检测方法、装置及存储介质
CN115457364A (zh) 一种目标检测知识蒸馏方法、装置、终端设备和存储介质
CN110211017B (zh) 图像处理方法、装置及电子设备
CN111627029B (zh) 图像实例分割结果的获取方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20805061

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536748

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020805061

Country of ref document: EP

Effective date: 20211210