CN108182695B - 目标跟踪模型训练方法及装置、电子设备和存储介质 - Google Patents

目标跟踪模型训练方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN108182695B
CN108182695B CN201711487026.3A CN201711487026A CN108182695B CN 108182695 B CN108182695 B CN 108182695B CN 201711487026 A CN201711487026 A CN 201711487026A CN 108182695 B CN108182695 B CN 108182695B
Authority
CN
China
Prior art keywords
detection
model
value
verified
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711487026.3A
Other languages
English (en)
Other versions
CN108182695A (zh
Inventor
魏俊生
张志敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Priority to CN201711487026.3A priority Critical patent/CN108182695B/zh
Publication of CN108182695A publication Critical patent/CN108182695A/zh
Application granted granted Critical
Publication of CN108182695B publication Critical patent/CN108182695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种目标跟踪模型训练方法及装置、电子设备和存储介质。所述方法包括：利用样本数据训练学习模型，获得待验证模型；向所述待验证模型输入验证样本的输入量，得到所述待验证模型的输出量；将对应于所述输入量的真实量及所述输出量代入一个损失函数，得到损失值；其中所述损失值，用于指示所述待验证模型检测和跟踪目标对象的累积偏差；比较所述损失值和目标值；若所述损失值小于所述目标值，确定所述待验证模型为训练得到的同时具有检测和跟踪功能的端到端跟踪模型。

Description

目标跟踪模型训练方法及装置、电子设备和存储介质
技术领域
本发明涉及信息技术领域，尤其涉及一种目标跟踪模型训练方法及装置、电子设备和存储介质。
背景技术
目前已有的视觉跟踪***主要由检测模块及跟踪模块等多个模块组成。
在处理视频中的某一帧图像时，检测模块从中检测到感兴趣的目标，跟踪模块再从中确定所跟踪的目标。首先，要保证检测模块能够高效的检测出目标，之后需要设计跟踪模块，提取图像中的颜色等特征，再结合过去时刻记录的跟踪目标的尺寸，位置等信息，从所检测出的目标中确定正在跟踪的目标，还要能够处理目标被遮挡，丢失等复杂的情况。
首先，不同的功能模块是需要确立模型，单独每一个模型都会有其误差，利用这种多个连接的功能模块进行目标跟踪，导致误差累积从而导致跟踪精确度低。
其次，每一个功能模块需要分别选择对应的模型，并确定模型参数，这样的话，这些模型的开发周期长、维护成本大，且***运行分别运行这些模块的开销大。
发明内容
有鉴于此，本发明实施例期望提供一种目标跟踪模型训练方法及装置、电子设备和存储介质，至少部分解决上述问题。
为达到上述目的，本发明的技术方案是这样实现的：
第一方面，本发明实施例提供一种目标跟踪模型训练方法，包括：
利用样本数据训练学习模型，获得待验证模型；
向所述待验证模型输入验证样本的输入量，得到所述待验证模型的输出量；
将对应于所述输入量的真实量及所述输出量代入一个损失函数，得到损失值；其中所述损失值，用于指示所述待验证模型检测和跟踪目标对象的累积偏差；
比较所述损失值和目标值；
若所述损失值小于所述目标值，确定所述待验证模型为训练得到的同时具有检测和跟踪功能的端到端跟踪模型。
可选地，所述向所述待验证模型输入验证样本的输入量，得到所述待验证模型的输出量，包括：
向所述待验证模型输入第一时刻的采集图像，得到采集图像中检测对象的检测参数的检测量，其中，所述检测参数包括：坐标参数及属性参数；所述检测量包括：坐标值和属性值，所述坐标值，用于表征所述检测对象的位置；所述属性值，用于表征所述检测对象的属性。
可选地，所述坐标参数，包括：在x方向上x参数和在y方向上的y参数，其中，所述x方向垂直于所述y方向；
所述属性参数，包括：检测对象的宽度、高度及类型的至少其中之一。
可选地，所述损失函数如下：
Figure BDA0001534951050000021
其中，所述L为所述损失值；
λcoord为预先确定的坐标权重系数；
λclass为预先确定的类型权重系数；
λreg为预先确定的坐标变换量的权重系数；
x，y为所述真实量中的坐标值；
Figure BDA0001534951050000022
为所述检测量中的坐标值；
w为所述真实量中的宽度值；
Figure BDA0001534951050000023
为所述检测量中的宽度值；
h为所述真实量中的高度值
Figure BDA0001534951050000031
为所述检测量中的高度值；
Δt为所述真实值中坐标对应于时刻t的坐标变化量；
Figure BDA0001534951050000032
为所述检测值中坐标对应于时刻t的坐标变化量；
Figure BDA0001534951050000033
为基于x，y及
Figure BDA0001534951050000034
计算的L2范数；
Figure BDA0001534951050000035
为基于w，
Figure BDA0001534951050000036
h及
Figure BDA0001534951050000037
计算的L2范数；
Lclass为基于检测参数中的类型及真实值中的类型，计算的类型损失；
Figure BDA0001534951050000038
为基于Δt和
Figure BDA0001534951050000039
计算的坐标损失。
可选地，所述利用样本数据训练学习模型，获得待验证模型，包括：
利用样本数据训练未确定网络参数的神经网络，得到已确定网络参数的神经网络。
可选地，所述神经网络包括：
特征层，用于提取所述采集图像中的检测对象的特征，得到第一类特征图；
检测层，用于对所述第一类特征图进行处理，提取出所述检测对象的检测值；
回归层，用于对不同时刻的所述采集图像中同一检测检测对象进行映射，并确定出同一检测对象的运动轨迹。
可选地，所述检测层包括：一个或多个卷积层或一个或多个全连接层；
所述卷积层，用于通过卷积运算得到所述检测值；
所述全连接层，用于通过矩阵乘法得到所述检测值。
可选地，所述检测层包括：
目标框网络RPN层，用于确定检测对象所在的目标区域；
兴趣区域池化层，用于从所述目标区域提取所述检测值。
第二方面，本发明实施例提供一种目标跟踪模型训练装置，包括：
训练单元，用于利用样本数据训练学习模型，获得待验证模型；
验证单元，用于向所述待验证模型输入验证样本的输入量，得到所述待验证模型的输出量；
计算单元，用于将对应于所述输入量的真实量及所述输出量代入一个损失函数，得到损失值；其中所述损失值，用于指示所述待验证模型检测和跟踪目标对象的累积偏差；
比较单元，用于比较所述损失值和目标值；
确定单元，用于若所述损失值小于所述目标值，确定所述待验证模型为训练得到的同时具有检测和跟踪功能的端到端跟踪模型。
第三方面，本发明实施例一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并由所述处理器执行的计算机程序；
所述处理器与所述存储器连接，用于通过执行所述计算机程序，实现前述一个或多个技术方案提供的目标跟踪模型训练方法。
第四方面，本发明实施例一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被执行后，能够实现前述一个或多个技术方案提供的目标跟踪模型训练方法。
本发明实施例提供的目标跟踪模型训练方法及装置、电子设备和存储介质，在进行已经完成训练的待验证模型进行验证时，第一方面不再是分功能模块的验证，而是采用利用统一的验证样本进行验证，故一个模型的验证次数少，验证效率高。第二方面，利用同一个损失函数同时对待验证模型的不同功能模块验证中的累积损失，相对于不同模块利用不同的损失函数计算损失，至少减少验证的计算量，从而提升了模型训练效率。第三方面，利用同一个损失函数进行损失值的计算，计算的是多个模块的累积损失。采用这种方式得到的端到端跟踪模型的累积偏差是可控的，避免分别进行不同功能验证导致的累积偏差被忽略导致的累积偏差过大的问题，从而提升了跟踪模型的跟踪精确度，并减少了跟踪丢失的现象。
附图说明
图1为本发明实施例提供的一种目标跟踪模型训练方法的流程示意图；
图2为本发明实施例提供的一种目标跟踪模型训练装置的结构示意图；
图3为本发明实施例提供的第一种电子设备的结构示意图；
图4为本发明实施例提供的另一种目标跟踪模型训练方法的流程示意图；
图5为本发明实施例提供的再一种目标跟踪模型训练方法的流程示意图；
图6为本发明实施例提供的一种物体检测的示意图；
图7为本发明实施例提供的另一种物体检测的示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
如图1所示，本实施例提供一种目标跟踪模型训练方法，包括：
步骤S110：利用样本数据训练学习模型，获得待验证模型；
步骤S120：向所述待验证模型输入验证样本的输入量，得到所述待验证模型的输出量；
步骤S130：将对应于所述输入量的真实量及所述输出量代入一个损失函数，得到损失值；其中，所述损失值，用于指示所述待验证模型检测和跟踪目标对象的累积偏差；
步骤S140：比较所述损失值和目标值；
步骤S150：若所述损失值小于所述目标值，确定所述待验证模型为训练得到的同时具有检测和跟踪功能的端到端跟踪模型。
在实施例中，利用样本数据训练学习模型，这里的学习模型可为各种类型的神经网络、学习机、基于线性回归算法、二叉树或多叉树算法的学习模型等，获得待验证的待验证模型。
在本实施例中，所述步骤S110中可以采用统一数据样本同时训练待验证模型的检测能力及跟踪能力。在一些实施例中，也可以利用不同的数据样本分别训练待验证模型的检测能力和跟踪能力。所述检测能力为从图像中检测目标对象的能力，所述跟踪能力基于在检测目标对象之后，基于目标对象在图像中的位置参数等进行目标对象的位置跟踪的能力。
在步骤S120中，将验证样本的输入量，得到待验证模型。在本实施例中所述验证样本为同时验证所述待验证模型的检测能力和跟踪能力的验证样本。在本实施例中验证样本的输入量输入到待验证模型之后，待验证模型会利用自身的模型参数对输入量进行处理，然后得到一个输出量。在本实施例中，会将所述输出量与输入量的真实量作为一个同时验证待验证模型的检测能力和跟踪能力的损失函数中，得到所述损失值。所述损失值为衡量当前待验证模型的处理能力的计算值。所述损失值为待验证模型的对象检测和对象跟踪的累积偏差。将损失值与目标值进行比较，若损失值小于目标值，说明当前的待验证模型的不同处理模块之间的累积偏差是小于预定值的，是满足了预定精度需求的模型。在本实施例中，所述待验证模型为一种端到端模型。相对于现有技术中，采用多个模块分别训练各个模型，然后利用不同的损失函数进行损失值的确定，避免了模块之间的累积偏差没有得到限定导致的训练出的模型的跟踪精确度低的问题。采用本实施例提供的方法，训练出的端到端跟踪模型具有不同功能部分的累积偏差小，跟踪精确度高的特点，减少了因为跟踪模型的不同模块之间的累积偏差导致的跟踪丢失率高的问题。
可选地，所述步骤S130可包括：
向所述待验证模型输入第一时刻的采集图像，得到采集图像中检测对象的检测参数的检测量，其中，所述检测参数包括：坐标参数及属性参数；所述检测量包括：坐标值和属性值，所述坐标值，用于表征所述检测对象的位置；所述属性值，用于表征所述检测对象的属性。
在本实施例中所述检测量包括：坐标参数对应的坐标值，属性参数对应的属性值。所述坐标值可以为直角坐标系的坐标值，或者，球形坐标系的坐标值。所述属性值可包括：检测对象的尺度值，所述尺度值可包括：检测对象的长、宽等参数，但是具体实现时不限于尺度值。例如，在一些实施例中，所述属性值还可包括：类型参数的类型值。在采集图像中车辆和人可属于不同类型的检测对象。在本实施例中，可以利用类型值来指示检测对象的类型。
所述属性值可以用于目标对象的检测，所述位置值可以用于目标对象的跟踪。
可选地，所述坐标参数，包括：在x方向上x参数和在y方向上的y参数，其中，所述x方向垂直于所述y方向；
所述属性参数，包括：检测对象的宽度、高度及类型的至少其中之一。
在一个采集图像中若摄像头的焦距等采集参数一定的话，若采集对象离摄像头越远则在采集图像中的成像就越小，否则就越大。故在本实施例中尅基于检测对象的宽度和/或高度来确定检测对象建立采集设备的距离，可以利用所述位置值来确定检测对象与采集设备之间的角度等。
在一些实施例中，所述属相参数还可包括：外观特征参数的外观特征值。所述外观特征值可包括：检测对象的成像的颜色直方图和/或方向梯度图等，该外观特征值可以用于目标对象的检测。一个被跟踪的人，由于衣服发型等不会发生瞬间变化，故在一段时间内的采集图像中的成像的颜色和/或纹理等特征都会保持一致，故可以基于此进行目标对象的检测，一旦目标对象确定了，就可以目标对象在采集图像中成像的位置参数等，进行目标对象的跟踪。
所述损失函数如下：
Figure BDA0001534951050000071
其中，所述L为所述损失值；
λcoord为预先确定的坐标权重系数；
λclass为预先确定的类型权重系数；
λreg为预先确定的坐标变换量的权重系数；
x，y为所述真实量中的坐标值；
Figure BDA0001534951050000072
为所述检测量中的坐标值；
w为所述真实量中的宽度值；
Figure BDA0001534951050000081
为所述检测量中的宽度值；
h为所述真实量中的高度值
Figure BDA0001534951050000082
为所述检测量中的高度值；
Δt为所述真实值中坐标对应于时刻t的坐标变化量；
Figure BDA0001534951050000083
为所述检测值中坐标对应于时刻t的坐标变化量；
Figure BDA0001534951050000084
为基于x，y及
Figure BDA0001534951050000085
计算的L2范数；
Figure BDA0001534951050000086
为基于w，
Figure BDA0001534951050000087
h及
Figure BDA0001534951050000088
计算的L2范数；
Lclass为基于检测参数中的类型及真实值中的类型，计算的类型损失；
Figure BDA0001534951050000089
为基于Δt和
Figure BDA00015349510500000810
计算的坐标损失。
所述损失函数有多种，以上提供了一种损失函数。
可选地，所述步骤S110可包括：利用样本数据训练未确定网络参数的神经网络，得到已确定网络参数的神经网络。
在本实施例中被训练的学习模型为神经网络，所述神经网络是分层结果，可包括：输入层、隐藏层和输出层。一个层可包括多个计算节点。不同层的计算节点之间利用计算符号进行连接，并设置有计算权重。在本实施例中，所述计算符号可包括：加、减、乘及除等各种计算法符号。所述计算符号和所述计算权重均为待验证模型训练之后的模型参数。
在本实施例中，所述神经网络包括：
特征层，用于提取所述采集图像中的检测对象的特征，得到第一类特征图；在本实施例中，所述第一类特征图可包括：颜色直方图和/或方向灰度图等，但是不局限于这两种特征图。
检测层，用于对所述第一类特征图进行处理，提取出所述检测对象的检测值；在本实施例中检测层与特征层连接，通过第一类特征图的进一步处理，提取出数值化的检测值。
回归层，用于对不同时刻的所述采集图像中同一检测检测对象进行映射，并确定出同一检测对象的运动轨迹。回归层可以对不同时刻的采集图像中的同一个检测对象进行映射，例如，不同图像帧的同一个检测对象的特征的关联，并确定出同一个检测对象的运动轨迹，从而实现跟踪。
可选地，在一些实施例中，所述检测层包括：一个或多个卷积层或一个或多个全连接层；所述卷积层，用于通过卷积运算得到所述检测值；所述全连接层，用于通过矩阵乘法得到所述检测值。
在另一些实施例中，所述检测层包括：目标框网络RPN层，用于确定检测对象所在的目标区域；兴趣区域池化层，用于从所述目标区域提取所述检测值。
如图2所示，本实施例还提供一种目标跟踪模型训练装置，包括：
训练单元110，用于利用样本数据训练学习模型，获得待验证模型；
验证单元120，用于向所述待验证模型输入验证样本的输入量，得到所述待验证模型的输出量；
计算单元130，用于将对应于所述输入量的真实量及所述输出量代入一个损失函数，得到损失值；其中所述损失值，用于指示所述待验证模型检测和跟踪目标对象的累积偏差；
比较单元140，用于比较所述损失值和目标值；
确定单元150，用于若所述损失值小于所述目标值，确定所述待验证模型为训练得到的同时具有检测和跟踪功能的端到端跟踪模型。
本实施例提供的所述目标跟踪模型训练装置可应用于各种电子设备，例如，应用于模型训练服务器中，也可以直接应用于跟踪设备中的具有信息处理的装置。所述跟踪设备可为地面移动的机器人、低空飞行的跟踪机器人等各种可自行移动的电子设备。
所述训练单元110、验证单元120、计算单元130、比较单元140及确定单元150均可以对应于程序代码构成的程序单元，可以通过处理器或处理电路的执行，实现上述各个单元的功能，从而实现目标跟踪模型的训练。
可选地，所述验证单元120，用于向所述待验证模型输入第一时刻的采集图像，得到采集图像中检测对象的检测参数的检测量，其中，所述检测参数包括：坐标参数及属性参数；所述检测量包括：坐标值和属性值，所述坐标值，用于表征所述检测对象的位置；所述属性值，用于表征所述检测对象的属性。
可选地，所述坐标参数，包括：在x方向上x参数和在y方向上的y参数，其中，所述x方向垂直于所述y方向；所述属性参数，包括：检测对象的宽度、高度及类型的至少其中之一。
可选地，所述损失函数如下：
Figure BDA0001534951050000101
其中，所述L为所述损失值；
λcoord为预先确定的坐标权重系数；
λclass为预先确定的类型权重系数；
λreg为预先确定的坐标变换量的权重系数；
x，y为所述真实量中的坐标值；
Figure BDA0001534951050000102
为所述检测量中的坐标值；
w为所述真实量中的宽度值；
Figure BDA0001534951050000103
为所述检测量中的宽度值；
h为所述真实量中的高度值
Figure BDA0001534951050000104
为所述检测量中的高度值；
Δt为所述真实值中坐标对应于时刻t的坐标变化量；
Figure BDA0001534951050000105
为所述检测值中坐标对应于时刻t的坐标变化量；
Figure BDA0001534951050000106
为基于x，y及
Figure BDA0001534951050000107
计算的L2范数；
Figure BDA0001534951050000108
为基于w，
Figure BDA0001534951050000109
h及
Figure BDA00015349510500001010
计算的L2范数；
Lclass为基于检测参数中的类型及真实值中的类型，计算的类型损失；
Figure BDA00015349510500001011
为基于Δt和
Figure BDA00015349510500001012
计算的坐标损失。
所述训练单元110，具体用于利用样本数据训练未确定网络参数的神经网络，得到已确定网络参数的神经网络。
可选地，所述神经网络包括：特征层，用于提取所述采集图像中的检测对象的特征，得到第一类特征图；检测层，用于对所述第一类特征图进行处理，提取出所述检测对象的检测值；回归层，用于对不同时刻的所述采集图像中同一检测检测对象进行映射，并确定出同一检测对象的运动轨迹。可选地，所述检测层包括：一个或多个卷积层或一个或多个全连接层；所述卷积层，用于通过卷积运算得到所述检测值；所述全连接层，用于通过矩阵乘法得到所述检测值。进一步地，兴趣区域池化层，用于从所述目标区域提取所述检测值。
如图3所示，本实施例提供一种电子设备，包括：存储器210、处理器220及存储在所述存储器210上并由所述处理器220执行的计算机程序；
所述处理器220与所述存储器210连接，用于通过执行所述计算机程序，实现前述一个或多个技术方案提供的目标跟踪模型训练方法。
本实施例提供的电子设备可为前述端到端跟踪模型的训练设备，例如，训练服务器，或训练服务器组。
所述存储器210可为包括：计算机存储介质的存储器210件，例如，随机存储器210、只读存储器210、闪存、固态硬盘或机械硬盘等。
所述处理器220可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、应用处理器、可编程阵列或专用集成电路。
所述处理器220与存储器210可通过集成总线等总线进行连接。
所述处理器220可以通过计算机程序的执行，对空白模板的学习模型进行训练，得到模型的模型参数，从而获得所述端到端目标跟踪模型，例如，执行如图1所示的目标跟踪模型训练方法。
本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被执行后，能够前述一个或多个技术方案提供的目标跟踪模型训练方法。
所述计算机存储介质可包括：移动存储设备、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述计算机存储介质可为非瞬间存储介质。
以下结合上述任意实施例提供几个具体示例。
示例1：
本示例将检测和跟踪合并为一个损失函数，提出了一种端到端的多任务学习模型，可训练得到一个能同时处理检测和跟踪任务的端到端目标跟踪模型。在视觉跟踪时，模型可检测相邻若干帧图像上的检测目标，并预测相邻图像上跟踪目标的位置变化及尺寸变化，据此确定跟踪目标在这些图像上的轨迹。相比于多模块的***，本示例无需过多的人工设计和测试，模型可从数据中学到如何处理遮挡，目标丢失等问题，鲁棒性强；同时适用于单目标和多目标跟踪；可通过优化模型结构来提高性能，提升潜力大。
本示例提出的端到端多任务学习***分为模型训练和模型使用两个阶段。本示例先提供一个能够检测模型的物体检测和跟踪任务的损失函数L，
Figure BDA0001534951050000121
其中λcoord，λclass和λreg分别是各部分损失的权重系数，
Figure BDA0001534951050000122
为基于x，y及
Figure BDA0001534951050000123
计算的L2范数，Lclass为基于检测参数中的类型及真实值中的类型，计算的类型损失，例如，是检测目标类别的SoftMax损失
Figure BDA0001534951050000124
为基于Δt和
Figure BDA0001534951050000125
计算的坐标损失。本示例中模型的输入至少为两帧图片，可根据平台的计算能力，按一定的时间间隔，从视频中选择当前帧和过去时刻的若干帧图片。以两帧为例，本示例提出的端到端的学习模型如图4所示，
t1时刻和t2时刻的图像分别用同一个神经网络处理，得到各自的特征图像，再经过物体检测层处理，预测图像中物体的类别和坐标，预测值与真实值的误差构成了损失层的一部分。此外，计算两幅特征图的相关，与物体检测层输出的两幅特征图合并，作为回归层的输入，预测两幅图像上各个物体的位置和尺寸变化，其与真实值误差构成了损失函数层的其余部分。以最小化损失函数为目标，用迭代优化算法不断地更新模型的参数，使得物体检测层和回归层的预测值与真实值越来越小，最终得到一个具备检测和跟踪能力的模型。
图5展示了跟踪多个人时，模型是如何推断目标的轨迹的，输入的图片经模型处理，分别输出了两幅图像上各个人的坐标和类别，以及t1时刻各个人到t2时刻的位置和尺寸变化，如此可将t1时刻与t2时刻的各个人联系起来，得到各自的轨迹。在图5中会对输入的t1时刻与t2时刻的图像进行图像处理，例如，特征提取从输出特征图，这里的特征图可为颜色直方图和/或方向梯度直方图等描述被检测的物体的特点的信息。然后物体检测层基于输入的特征图进行物体检测，通过回归层的处理得到跟踪的结果。将该结果作为输出值，输入到损失函数层进行损失值的计算。图5中的损失函数层，为进行验证的输出值及真实值之间计算损失值的处理层。在图5中展示了由神经网络、物体检测层及回归层形成的端到端学习模型，对输入的采集图像进行处理之后，输出如图5所示的位置变化值及尺度变化值；所述位置变化值由Δx及Δy表示；所述尺度变化由Δw及Δh表示。
示例2：
物体检测层的目标是检测图像上的物体，实现方式如图6所示，物体检测层由多个卷积层构成，最后一个卷积层输出一个S*S的网格，网格中的每个单元包含了B个框的坐标和得分，以及每个框所属类别的概率分布。综上所述，最后一个卷积层输出了一个S*S*(B(5+C))的张量，代表S*S*B个框的坐标和得分。在模型训练时，在损失函数中计算该张量与真值的差。在推断阶段，最后的卷积层输出坐标和得分后，用非极大值抑制算法去除模型其中叠在一起，得分较小的框，得到检测结果。
回归层由卷积层，全连接层，或池化(pooling)层实现，其输入为两幅图像中间层特征的相关，和物体检测层的输出，输出是图像之间物体的坐标变化。得到坐标变化后，根据t1图中物体的坐标，计算出t2图中的物体，按照一定准则，例如相交面积，将其与t2图上的检测结果进行匹配，选择使全局最优的匹配结果作为该时间段内各个物体的轨迹。
示例3：
物体检测层的另外一种实现方式如图7所示，用一个RPN(Region ProposalNetwork)网络提取潜在的目标区域，然后用ROI(Region of Interest)Pooling层从目标区域中提取特征，送入后面的全连接层和SoftMax层进行分类，最后得到物体上的框和类别。回归层与实施例一的构成相同，以两幅图像中间层特征的相关和RPN层的输出为输入，计算轨迹的方式与实施例一相同。
以两帧以上的图片为输入，检测各图片上的物体坐标和类别，并同时用中间层的特征回归物体的位置和尺寸变化，用一个多任务学习模型来解决单目标或多目标的视觉跟踪。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种目标跟踪模型训练方法，其特征在于，包括：
利用样本数据训练学习模型，获得待验证模型；
向所述待验证模型输入验证样本的输入量，得到所述待验证模型的输出量；其中，所述输出量包括：目标对象的检测参数的检测量，其中，所述检测参数包括：坐标参数及属性参数；所述检测量包括：坐标值和属性值；所述坐标值表征目标对象的位置，用于目标对象的跟踪；所述属性值表征目标对象的属性，用于目标对象的检测；
将对应于所述输入量的真实量及所述输出量代入一个损失函数，得到损失值；其中所述损失值，用于指示所述待验证模型检测和跟踪目标对象的累积偏差；
比较所述损失值和目标值；
若所述损失值小于所述目标值，确定所述待验证模型为训练得到的同时具有检测和跟踪功能的端到端跟踪模型，且所述待验证模型能同时处理检测任务和跟踪任务；
其中，所述利用样本数据训练学习模型，获得待验证模型，包括：
利用样本数据训练未确定网络参数的神经网络，得到已确定网络参数的神经网络；
所述神经网络包括：
特征层，用于提取采集图像中的检测对象的特征，得到第一类特征图；
检测层，用于对所述第一类特征图进行处理，提取出所述检测对象的检测量；
回归层，用于根据所述检测对象的检测量，对不同时刻的所述采集图像中同一检测对象进行映射，并确定出同一检测对象的运动轨迹。
2.根据权利要求1所述的方法，其特征在于，
所述向所述待验证模型输入验证样本的输入量，得到所述待验证模型的输出量，包括：
向所述待验证模型输入第一时刻的采集图像，得到采集图像中检测对象的检测参数的检测量。
3.根据权利要求2所述的方法，其特征在于，
所述坐标参数，包括：在x方向上x参数和在y方向上的y参数，其中，所述x方向垂直于所述y方向；
所述属性参数，包括：检测对象的宽度、高度及类型的至少其中之一。
4.根据权利要求1至3任一项所述的方法，其特征在于，
所述损失函数如下：
Figure FDA0003219672440000021
其中，所述L为所述损失值；
λcoord为预先确定的坐标权重系数；
λclass为预先确定的类型权重系数；
λreg为预先确定的坐标变换量的权重系数；
x，y为所述真实量中的坐标值；
Figure FDA0003219672440000022
为所述检测量中的坐标值；
w为所述真实量中的宽度值；
Figure FDA0003219672440000031
为所述检测量中的宽度值；
h为所述真实量中的高度值
Figure FDA0003219672440000032
为所述检测量中的高度值；
Δt为所述真实值中坐标对应于时刻t的坐标变化量；
Figure FDA0003219672440000033
为所述检测量中坐标对应于时刻t的坐标变化量；
Figure FDA0003219672440000034
为基于x，y及
Figure FDA0003219672440000035
计算的L2范数；
Figure FDA0003219672440000036
为基于w，
Figure FDA0003219672440000037
h及
Figure FDA0003219672440000038
计算的L2范数；
Lclass为基于检测参数中的类型及真实值中的类型，计算的类型损失；
Figure FDA0003219672440000039
为基于Δt和
Figure FDA00032196724400000310
计算的坐标损失。
5.根据权利要求1所述的方法，其特征在于，
所述检测层包括：一个或多个卷积层或一个或多个全连接层；
所述卷积层，用于通过卷积运算得到所述检测量；
所述全连接层，用于通过矩阵乘法得到所述检测量。
6.根据权利要求1所述的方法，其特征在于，
所述检测层包括：
目标框网络RPN层，用于确定检测对象所在的目标区域；
兴趣区域池化层，用于从所述目标区域提取所述检测量。
7.一种目标跟踪模型训练装置，其特征在于，包括：
训练单元，用于利用样本数据训练学习模型，获得待验证模型；
验证单元，用于向所述待验证模型输入验证样本的输入量，得到所述待验证模型的输出量；其中，所述输出量包括：目标对象的检测参数的检测量，其中，所述检测参数包括：坐标参数及属性参数；所述检测量包括：坐标值和属性值；所述坐标值表征目标对象的位置，用于目标对象的跟踪；所述属性值表征目标对象的属性，用于目标对象的检测；
计算单元，用于将对应于所述输入量的真实量及所述输出量代入一个损失函数，得到损失值；其中所述损失值，用于指示所述待验证模型检测和跟踪目标对象的累积偏差；
比较单元，用于比较所述损失值和目标值；
确定单元，用于若所述损失值小于所述目标值，确定所述待验证模型为训练得到的同时具有检测和跟踪功能的端到端跟踪模型，且所述待验证模型能同时处理检测任务和跟踪任务；
所述训练单元，具体用于利用样本数据训练未确定网络参数的神经网络，得到已确定网络参数的神经网络；
其中，所述神经网络包括：
特征层，用于提取采集图像中的检测对象的特征，得到第一类特征图；
检测层，用于对所述第一类特征图进行处理，提取出所述检测对象的检测量；
回归层，用于根据所述检测对象的检测量，对不同时刻的所述采集图像中同一检测对象进行映射，并确定出同一检测对象的运动轨迹。
8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并由所述处理器执行的计算机程序；
所述处理器与所述存储器连接，用于通过执行所述计算机程序，实现权利要求1至6任一项提供的目标跟踪模型训练方法。
9.一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被执行后，能够实现权利要求1至6任一项提供的目标跟踪模型训练方法。
CN201711487026.3A 2017-12-29 2017-12-29 目标跟踪模型训练方法及装置、电子设备和存储介质 Active CN108182695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711487026.3A CN108182695B (zh) 2017-12-29 2017-12-29 目标跟踪模型训练方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711487026.3A CN108182695B (zh) 2017-12-29 2017-12-29 目标跟踪模型训练方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN108182695A CN108182695A (zh) 2018-06-19
CN108182695B true CN108182695B (zh) 2021-10-29

Family

ID=62549442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711487026.3A Active CN108182695B (zh) 2017-12-29 2017-12-29 目标跟踪模型训练方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN108182695B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240504A (zh) * 2018-09-25 2019-01-18 北京旷视科技有限公司 控制方法、模型训练方法、装置及电子设备
CN109919245B (zh) * 2019-03-18 2021-08-31 北京市商汤科技开发有限公司 深度学习模型训练方法及装置、训练设备及存储介质
CN110955259B (zh) * 2019-11-28 2023-08-29 上海歌尔泰克机器人有限公司 无人机及其跟踪方法和计算机可读存储介质
CN113799793B (zh) * 2020-05-29 2023-05-12 魔门塔(苏州)科技有限公司 一种基于数据驱动的实现预测模型自动化迭代的***
CN111914878B (zh) * 2020-06-16 2023-10-31 北京迈格威科技有限公司 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
CN113112525B (zh) * 2021-04-27 2023-09-01 北京百度网讯科技有限公司 目标跟踪方法、网络模型及其训练方法、设备和介质
WO2023236044A1 (zh) * 2022-06-07 2023-12-14 西门子股份公司 对象检测模型训练方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103155544A (zh) * 2010-08-03 2013-06-12 康奈尔大学 基于角度敏感像素（asp）的图像处理***、处理方法和应用
CN105405152A (zh) * 2015-10-29 2016-03-16 西安电子科技大学 基于结构化支持向量机的自适应尺度目标跟踪方法
CN106030614A (zh) * 2014-04-22 2016-10-12 史內普艾德有限公司 基于对一台摄像机所拍摄的图像的处理来控制另一台摄像机的***和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010057304A1 (en) * 2008-11-21 2010-05-27 London Health Sciences Centre Research Inc. Hands-free pointer system
CN103778642B (zh) * 2013-12-12 2017-02-15 中安消技术有限公司 一种目标跟踪的方法及装置
CN105976400B (zh) * 2016-05-10 2017-06-30 北京旷视科技有限公司 基于神经网络模型的目标跟踪方法及装置
CN107292915A (zh) * 2017-06-15 2017-10-24 国家新闻出版广电总局广播科学研究院 基于卷积神经网络的目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103155544A (zh) * 2010-08-03 2013-06-12 康奈尔大学 基于角度敏感像素（asp）的图像处理***、处理方法和应用
CN106030614A (zh) * 2014-04-22 2016-10-12 史內普艾德有限公司 基于对一台摄像机所拍摄的图像的处理来控制另一台摄像机的***和方法
CN105405152A (zh) * 2015-10-29 2016-03-16 西安电子科技大学 基于结构化支持向量机的自适应尺度目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Detecting and tracking moving objects in long-distance imaging through turbulent medium;Chen E等;《Applied Optics》;20141231;第53卷(第6期);第1181-1190页 *
智能视频监控中的运动目标检测与跟踪技术研究;屈鉴铭;《中国博士学位论文全文数据库 信息科技辑》;20160315(第3期);第I138-185页 *

Also Published As

Publication number Publication date
CN108182695A (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
CN108182695B (zh) 目标跟踪模型训练方法及装置、电子设备和存储介质
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN107481270B (zh) 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备
WO2015161776A1 (en) Hand motion identification method and apparatus
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
CN110555901A (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
CN111444828A (zh) 一种模型训练的方法、目标检测的方法、装置及存储介质
CN109063549B (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
CN111091101B (zh) 基于一步法的高精度行人检测方法、***、装置
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN110889399A (zh) 基于深度学习的高分辨率遥感影像弱小目标检测方法
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及***
CN108875500B (zh) 行人再识别方法、装置、***及存储介质
CN116128883A (zh) 一种光伏板数量统计方法、装置、电子设备及存储介质
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
CN111652168B (zh) 基于人工智能的群体检测方法、装置、设备及存储介质
CN113112479A (zh) 基于关键区块提取的渐进式目标检测方法和装置
CN112070035A (zh) 基于视频流的目标跟踪方法、装置及存储介质
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN112651351B (zh) 一种数据处理的方法和装置
Truong et al. Single object tracking using particle filter framework and saliency-based weighted color histogram
CN113850843A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113569600A (zh) 物体重识别的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant