CN111402293A - 面向智能交通的一种车辆跟踪方法及装置 - Google Patents
面向智能交通的一种车辆跟踪方法及装置 Download PDFInfo
- Publication number
- CN111402293A CN111402293A CN202010160617.5A CN202010160617A CN111402293A CN 111402293 A CN111402293 A CN 111402293A CN 202010160617 A CN202010160617 A CN 202010160617A CN 111402293 A CN111402293 A CN 111402293A
- Authority
- CN
- China
- Prior art keywords
- image frame
- position information
- type image
- target object
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000006073 displacement reaction Methods 0.000 claims description 22
- 230000007704 transition Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 209
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种基于卡尔曼滤波的目标追踪方法及装置，方法包括：获取目标视频；对第一类图像帧进行目标检测，确定目标对象在所述第一类图像帧中的第一位置信息；基于目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定目标对象的运动状态信息；针对每个第二类图像帧，将运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中目标对象的预测位置信息；基于第一位置信息及预测位置信息，确定目标对象的运动轨迹。应用本发明实施例，可以提高目标对象的运动轨迹的准确度。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及面向智能交通的一种车辆跟踪方法及装置。
背景技术
目标追踪是指对目标视频中感兴趣的目标对象进行追踪，从视频的各个图像帧中识别该目标对象的位置，进而确定该目标对象在视频中的运动轨迹的技术，已经广泛应用于智能交通、视频监控等领域。
目前一般采用帧间差分法进行目标追踪。具体来说，电子设备可以对目标视频中每两个相邻的图像帧进行差分运算，确定该两个相邻的图像帧中的相同位置的像素点的像素值的差值的绝对值，进而根据该绝对值与预设阈值之间的大小关系，确定目标对象在图像帧中的位置信息，然后根据该位置信息确定目标对象的运动轨迹。
在视频中可能会出现目标对象被遮挡的情况，在这种情况下，视频中的图像帧可能不包括目标对象，针对这样的图像帧，电子设备也就无法通过帧间差分法确定目标对象在图像帧中的位置信息。这会造成目标对象位置信息的缺失，进而导致电子设备确定的目标对象运动轨迹的准确度可能较低。
发明内容
本发明实施例的目的在于提供一种基于卡尔曼滤波的目标追踪方法及装置，以提高目标对象运动轨迹的准确度。具体技术方案如下：
第一方面，本发明实施例提供了一种基于卡尔曼滤波的目标追踪方法，所述方法包括：
获取目标视频，其中，所述目标视频包括第一类图像帧及第二类图像帧，所述第一类图像帧包括目标对象，所述第二类图像帧不包括目标对象；
对所述第一类图像帧进行目标检测，确定所述目标对象在所述第一类图像帧中的第一位置信息；
基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息；
针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息，其中，所述卡尔曼滤波模型包括位置信息、运动状态信息及预测位置信息之间的对应关系；
基于所述第一位置信息及所述预测位置信息，确定所述目标对象的运动轨迹。
可选的，所述运动状态信息为运动速度；
所述基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息的步骤，包括：
根据所述相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的位移；
基于所述目标对象的位移，以及所述相邻的第一类图像帧之间的时长，确定所述目标对象的运动速度。
可选的，所述针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息的步骤，包括：
针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型；
根据当前第一类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定所述当前第一类图像帧对应的先验预测位置信息，其中，所述后验预测位置信息为基于所述前一第一类图像帧对应的卡尔曼增益系数、先验预测位置信息及第一位置信息确定的；
根据所述前一第一类图像帧对应的后验预测协方差，确定所述当前第一类图像帧对应的先验预测协方差，其中，所述后验预测误差为基于所述前一第一类图像帧对应的卡尔曼增益系数及先验预测协方差确定的；
根据所述先验预测协方差，确定所述当前第一类图像帧对应的卡尔曼增益系数；
基于所述卡尔曼增益系数及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测位置信息；
基于所述卡尔曼增益系数、所述先验预测协方差及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测协方差；
针对每个第二类图像帧，根据该第二类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定该第二类图像帧对应的先验预测位置信息，作为该第二类图像帧对应的预测位置信息。
可选的，所述根据当前第一类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定所述当前第一类图像帧对应的先验预测位置信息的步骤，包括：
根据公式
计算第一类图像帧对应的先验预测位置信息；
其中，
(x-(k),y-(k))为当前第一类图像帧对应的先验预测位置信息，
为所述运动状态信息，
(x(y-1),y(k-1))为前一第一类图像帧对应的后验预测位置信息，A为状态转移矩阵，
为前一第一类图像帧对应的估计误差，(ωx(k-1),ωy(k-1))为前一第一类图像帧中目标对象所处区域的中心点坐标的估计误差，
为前一第一类图像帧中目标对象运动速度的估计误差；
所述根据所述前一第一类图像帧对应的后验预测协方差，确定所述当前第一类图像帧对应的先验预测协方差的步骤，包括：
根据公式
计算当前第一类图像帧对应的先验预测协方差
其中，Pk-1为前一第一类图像帧对应的后验预测协方差，Q为状态转移噪声协方差；
所述根据所述先验预测协方差，确定所述当前第一类图像帧对应的卡尔曼增益系数的步骤，包括：
根据公式
计算当前第一类图像帧对应的卡尔曼增益系数Kk；
其中，H为观测矩阵，R为观测噪声协方差矩阵；
所述基于所述卡尔曼增益系数及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测位置信息的步骤，包括：
根据公式
计算当前第一类图像帧对应的后验预测位置信息；
其中，
(x(k),y(k))为当前第一类图像帧对应的后验预测位置信息，yk为前一第一类图像帧对应的第一位置信息；
所述基于所述卡尔曼增益系数、所述先验预测协方差及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测协方差的步骤，包括：
根据公式
计算当前第一类图像帧对应的后验预测协方差Pk；
其中，I为单位矩阵。
可选的，所述根据所述第一位置信息及所述预测位置信息，确定所述目标对象在所述目标视频中的运动轨迹的步骤，包括：
以第一个图像帧中所述目标对象所处区域的中心点为原点，建立轨迹坐标系；
基于所述第一位置信息及所述预测位置信息，确定所述目标对象所处区域的中心点在所述轨迹坐标系中对应的各个坐标点；
基于所述各个坐标点，确定所述目标对象的运动轨迹。
第二方面，本发明实施例提供了一种基于卡尔曼滤波的目标追踪装置，所述装置包括：
视频获取模块，用于获取目标视频，其中，所述目标视频包括第一类图像帧及第二类图像帧，所述第一类图像帧包括目标对象，所述第二类图像帧不包括目标对象；
目标检测模块，用于对所述第一类图像帧进行目标检测，确定所述目标对象在所述第一类图像帧中的第一位置信息；
运动状态确定模块，用于基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息；
位置预测模块，用于针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息，其中，所述卡尔曼滤波模型包括位置信息、运动状态信息及预测位置信息之间的对应关系；
轨迹确定模块，用于基于所述第一位置信息及所述预测位置信息，确定所述目标对象的运动轨迹。
可选的，所述运动状态信息为运动速度；
所述运动状态确定模块包括：
位移确定子模块，用于根据所述相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的位移；
速度确定子模块，用于基于所述目标对象的位移，以及所述相邻的第一类图像帧之间的时长，确定所述目标对象的运动速度。
可选的，所述位置预测模块包括：
信息输入子模块，用于针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型；
先验位置信息确定子模块，用于根据当前第一类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定所述当前第一类图像帧对应的先验预测位置信息，其中，所述后验预测位置信息为基于所述前一第一类图像帧对应的卡尔曼增益系数、先验预测位置信息及第一位置信息确定的；
先验预测协方差确定子模块，用于根据所述前一第一类图像帧对应的后验预测协方差，确定所述当前第一类图像帧对应的先验预测协方差，其中，所述后验预测误差为基于所述前一第一类图像帧对应的卡尔曼增益系数及先验预测协方差确定的；
卡尔曼增益系数确定子模块，用于根据所述先验预测协方差，确定所述当前第一类图像帧对应的卡尔曼增益系数；
后验位置信息确定子模块，用于基于所述卡尔曼增益系数及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测位置信息；
后验预测协方差确定子模块，用于基于所述卡尔曼增益系数、所述先验预测协方差及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测协方差；
预测位置信息确定子模块，用于针对每个第二类图像帧，根据该第二类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定该第二类图像帧对应的先验预测位置信息，作为该第二类图像帧对应的预测位置信息。
可选的，所述先验位置信息确定子模块包括：
先验位置信息确定单元，用于根据公式
计算第一类图像帧对应的先验预测位置信息；
其中，
(x-(k),y-(k))为当前第一类图像帧对应的先验预测位置信息，
为所述运动状态信息，
(x(k-1),y(k-1))为前一第一类图像帧对应的后验预测位置信息，A为状态转移矩阵，
为前一第一类图像帧对应的估计误差向量，(ωx(k-1),ωy(k-1))为前一第一类图像帧中目标对象所处区域的中心点坐标的估计误差，
为前一第一类图像帧中目标对象运动速度的估计误差；
所述先验预测协方差确定子模块包括：
先验预测协方差确定单元，用于根据公式
计算当前第一类图像帧对应的先验预测协方差
其中，Pk-1为前一第一类图像帧对应的后验预测协方差，Q为状态转移噪声协方差；
所述卡尔曼增益系数确定子模块包括：
卡尔曼增益系数确定单元，用于根据公式
计算当前第一类图像帧对应的卡尔曼增益系数Kk；
其中，H为观测矩阵，R为观测噪声协方差矩阵；
所述后验位置信息确定子模块包括：
后验位置信息确定单元，用于根据公式
计算当前第一类图像帧对应的后验预测位置信息；
其中，
(x(k),y(k))为当前第一类图像帧对应的后验预测位置信息，yk为前一第一类图像帧对应的第一位置信息；
所述后验预测协方差确定子模块包括：
后验预测协方差确定单元，用于根据公式
计算当前第一类图像帧对应的后验预测协方差Pk；
其中，I为单位矩阵。
可选的，所述轨迹确定模块包括：
坐标系建立子模块，用于以第一个图像帧中所述目标对象所处区域的中心点为原点，建立轨迹坐标系；
坐标转换子模块，用于基于所述第一位置信息及所述预测位置信息，确定所述目标对象所处区域的中心点在所述轨迹坐标系中对应的各个坐标点；
轨迹确定子模块，用于基于所述各个坐标点，确定所述目标对象的运动轨迹。
本发明实施例提供的方案中，电子设备可以获取目标视频，其中，所述目标视频包括第一类图像帧及第二类图像帧，所述第一类图像帧包括目标对象，所述第二类图像帧不包括目标对象；对所述第一类图像帧进行目标检测，确定所述目标对象在所述第一类图像帧中的第一位置信息；基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息；针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息，其中，所述卡尔曼滤波模型包括位置信息、运动状态信息及预测位置信息之间的对应关系；基于所述第一位置信息及所述预测位置信息，确定所述目标对象的运动轨迹。这样，在目标视频中存在目标对象被遮挡的第二类图像帧时，电子设备可以通过目标对象的运动状态，利用卡尔曼滤波模型预测目标对象在第二类图像帧中的位置，这样可以提高目标对象运动轨迹的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种基于卡尔曼滤波的目标追踪方法的流程图；
图2为基于图1所示实施例的预测位置信息的确定方式的一种具体流程图；
图3为基于图1所示实施例的运动轨迹的确定方式的一种具体流程图；
图4为本发明实施例所提供的一种基于卡尔曼滤波的目标追踪装置的结构示意图；
图5为图4所示实施例中位置预测模块404的一种具体结构示意图；
图6为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高目标对象的运动轨迹的准确度，本发明实施例提供了一种基于卡尔曼滤波的目标追踪方法、装置、电子设备及计算机可读存储介质。下面首先对本发明实施例所提供的一种基于卡尔曼滤波的目标追踪方法进行介绍，其中，本发明实施例所提供的基于卡尔曼滤波的目标追踪方法可以用于确定智能交通***中目标对象的运动轨迹，目标对象可以为车辆等对象，也就是说，上述一种基于卡尔曼滤波的目标追踪方法就是面向智能交通的一种车辆跟踪方法。
本发明实施例提供的一种基于卡尔曼滤波的目标追踪方法可以应用于任一需要确定目标对象的运动轨迹的电子设备，例如，可以为处理器、电脑、服务器等，在此不做具体限定。为了方便描述，后续称为电子设备。
如图1所示，一种基于卡尔曼滤波的目标追踪方法，所述方法可以包括：
S101，获取目标视频；
其中，所述目标视频包括第一类图像帧及第二类图像帧，所述第一类图像帧包括目标对象，所述第二类图像帧不包括目标对象。
S102，对所述第一类图像帧进行目标检测，确定所述目标对象在所述第一类图像帧中的第一位置信息；
S103，基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息；
S104，针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息；
其中，所述卡尔曼滤波模型包括位置信息、运动状态信息及预测位置信息之间的对应关系。
S105，基于所述第一位置信息及所述预测位置信息，确定所述目标对象的运动轨迹。
可见，本发明实施例所提供的方案中，电子设备可以获取目标视频，其中，所述目标视频包括第一类图像帧及第二类图像帧，所述第一类图像帧包括目标对象，所述第二类图像帧不包括目标对象；对所述第一类图像帧进行目标检测，确定所述目标对象在所述第一类图像帧中的第一位置信息；基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息；针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息，其中，所述卡尔曼滤波模型包括位置信息、运动状态信息及预测位置信息之间的对应关系；基于所述第一位置信息及所述预测位置信息，确定所述目标对象的运动轨迹。这样，在目标视频中存在目标对象被遮挡的第二类图像帧时，电子设备可以通过目标对象的运动状态，利用卡尔曼滤波模型预测目标对象在第二类图像帧中的位置，这样可以提高目标对象的运动轨迹的准确度。
为了确定目标对象的运动轨迹，在上述步骤S101中，电子设备可以获取包括目标对象的目标视频。其中，上述目标对象可以为车辆、船只、行人、飞机等对象，上述目标视频可以为无人机采集的监控视频、道路上的监控设备采集的监控视频、公共场所的监控设备采集的出入人员的监控视频等。
在目标视频中，可能存在目标对象被遮挡的图像帧。也就是说，上述目标视频中可以包括第一类图像帧及第二类图像帧，其中，第一类图像帧包括目标对象，第二类图像帧中不包括目标对象，也就是目标对象被遮挡。
在获取目标视频后，电子设备可以对目标视频中的第一类图像帧进行目标检测，以确定目标对象在第一类图像帧中的位置信息，也就是第一位置信息。其中，电子设备可以采用R-CNN(Region Convolutional Neural Network，区域卷积神经网络)、Fast R-CNN(Fast Region Convolutional Neural Network，快速区域卷积神经网络)等目标检测算法进行目标检测，在此不做具体限定及说明。
在一种实施方式中，电子设备可以对第一类图像帧进行目标检测，得到表示第一类图像帧中目标对象所处区域的矩形框，然后将矩形框中心点在第一类图像帧的图像坐标系中的坐标及矩形框的长度与宽度，作为目标对象在第一类图像帧中的第一位置信息。
上述第二类图像帧中的目标对象被遮挡，电子设备无法利用目标检测算法确定第二类图像帧中目标对象的位置信息。为了准确地确定目标对象的运动轨迹，需要预测目标对象在第二类图像帧中的位置信息。
由于视频中相邻的两个图像帧的采集间隔是很短的，目标对象在相邻的几个图像帧中的运动状态的变化非常小，所以，目标对象在相邻的几个图像帧对应的时间段内的运动状态可以视为匀速运动。
那么，在获取目标对象在上述第一类图像帧中的第一位置信息后，为了预测目标对象在第二类图像帧中的位置信息，电子设备可以基于相邻的第一类图像帧中目标对象的第一位置信息，确定目标对象的运动状态信息。其中，运动状态信息可以为目标对象的运动速度、加速度等。
在目标视频中很可能存在多个第二类图像帧。对于每个第二类图像帧，由于相邻的两个图像帧的采集间隔是很短的，该第二类图像帧中目标对象的位置信息与其之前的第一类图像帧对应的第一位置信息是具有连续性的。
因此，电子设备可以第二类图像帧之前的第一类图像帧对应的第一位置信息及运动状态信息预测目标对象在第二类图像帧中的位置信息。具体来说，电子设备可以将第二类图像帧之前的第一类图像帧对应的第一位置信息及运动状态信息输入卡尔曼滤波模型，卡尔曼滤波模型可以根据该第一类图像帧对应的第一位置信息及运动状态信息，对目标对象在该第二类图像帧中的位置进行预测，得到预测位置信息。
在得到目标对象在第二类图像帧中的预测位置信息之后，电子设备便可以根据上述第一位置信息以及预测位置信息，确定目标对象的运动轨迹。
在一种实施方式中，上述第一位置信息及预测位置信息可以包括表示目标对象在图像帧中所处区域的矩形框的长度和宽度以及该矩形框的中心点在图像坐标系中的坐标，电子设备可以根据第一位置信息及预测位置信息中的中心点坐标，在图像坐标系中确定目标对象的运动轨迹。
作为本发明实施例的一种实施方式，上述运动状态信息可以为运动速度。
上述基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息的步骤，可以包括：
根据所述相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的位移；基于所述目标对象的位移，以及所述相邻的第一类图像帧之间的时长，确定所述目标对象的运动速度。
相邻的两个图像帧的采集间隔是很短的，目标对象在相邻的几个图像帧中的位置信息变化不大，因此，电子设备可以根据相邻的几个图像帧的采集间隔对应的时间内目标对象的位移，确定目标对象的运动速度。
为了确定目标对象的运动速度，电子设备可以根据相邻的几个第一类目标图像帧中目标对象的第一位置信息，确定目标对象在相邻的几个第一类图像帧的采集间隔对应的时间内的位移，然后将该位移除以该相邻的几个第一类图像帧之间的时长，得到目标对象的运动速度。
例如，目标对象在相邻的两个第一类图像帧中所处区域的中心点在图像坐标系中的坐标分别为(2，3)和(4，3)，若图像坐标系中x轴与y轴的单位长度为0.1毫米，图像坐标系与现实世界坐标系之间的比例尺为1:10000，该相邻的两个第一类图像帧之间的时长为0.1秒，那么目标对象的位移大小即为
目标对象的运动速度的大小即为2÷0.1＝20米每秒，运动速度的方向即为图像坐标系的x轴正方向。
在一种实施方式中，电子设备可以计算目标视频中每两个相邻图像帧之间目标对象的运动速度的平均值，将该平均值作为目标对象的运动状态信息。
可见，本发明实施例所提供的方案中，电子设备可以根据相邻的第一类图像帧中目标对象的第一位置信息，确定目标对象的位移，然后基于目标对象的位移，以及相邻的第一类图像帧之间的时长，确定目标对象的运动速度。这样，可以比较准确地确定目标对象的运动状态信息。
作为本发明实施例的一种实施方式，如图2所示，上述针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息的步骤，可以包括：
S201，针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型；
为了预测每个第二类图像帧中目标对象的位置信息，电子设备首先可以将目标对象的运动状态信息输入卡尔曼滤波模型，同时，电子设备也可以将该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型。
在一种实施方式中，为了提高效率，电子设备可以从每个第二类图像帧之前的第一类图像帧中抽取目标第一类图像帧，将抽取到的目标第一类图像帧对应的第一位置信息及运动状态信息输入卡尔曼滤波模型。
例如，可以在第二类图像帧之前的第一类图像帧中，每隔1个图像帧抽取1个第一类图像帧，作为目标第一类图像帧；也可以每隔2个图像帧抽取1个第一类图像帧，作为目标第一类图像帧。
S202，根据当前第一类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定所述当前第一类图像帧对应的先验预测位置信息；
卡尔曼滤波模型可以依次对每个第一类图像帧中目标对象的位置信息进行预测。对于当前第一类图像帧，上述卡尔曼滤波模型可以根据当前第一类图像帧的前一第一类图像帧对应的后验预测位置信息和运动状态信息，预测当前第一类图像帧中目标对象的位置信息，该位置信息也就是当前第一类图像帧对应的先验预测位置信息。
其中，当前第一类图像帧为卡尔曼滤波模型正在进行处理的第一类图像帧，前一第一类图像帧对应的后验预测位置信息为基于该前一第一类图像帧对应的卡尔曼增益系数、先验预测位置信息及第一位置信息确定的。
例如，当前第一类图像帧的前一第一类图像帧对应的后验预测位置信息为：“(2，3)”，表示目标对象所处区域的中心点在图像坐标系中坐标为(2，3)；运动状态信息为：“Vy＝20米每秒”，表示目标对象运动速度的大小为20米每秒，运动速度的方向为图像坐标系y轴正方向，若图像坐标系中x轴与y轴的单位长度均为0.1毫米，图像坐标系与现实世界坐标系之间的比例尺为1:10000，当前第一类图像帧与其前一第一类图像帧之间的时长为0.05秒，那么卡尔曼滤波模型便可以确定当前第一类图像帧中，目标对象所处区域的中心点在图像坐标系y轴坐标为：
这样，卡尔曼滤波模型便可以确定当前第一类图像帧对应的先验预测位置信息为：“(2，4)”，表示目标对象所处区域的中心点在图像坐标系中坐标为(2，4)。
对于目标视频中第一个第一类图像帧，其并不存在前一第一类图像帧，也就不存在前一第一类图像帧对应的后验预测位置信息。这时，电子设备可以随机设置初始位置信息，将该初始位置信息作为第一个第一类图像帧的前一第一类图像帧对应的后验预测位置信息。然后，电子设备可以将初始位置信息输入卡尔曼滤波模型，卡尔曼滤波模型可以根据初始位置信息，确定第一个第一类图像帧对应的先验预测位置信息。
在一种实施方式中，为了便于计算，电子设备可以将上述初始位置信息设置为：“(0，0)”，表示目标对象所处区域的中心点在图像坐标系中坐标为(0，0)。
S203，根据所述前一第一类图像帧对应的后验预测协方差，确定所述当前第一类图像帧对应的先验预测协方差；
当前第一类图像帧对应的先验预测位置信息为电子设备根据前一第一类图像帧对应的后验预测位置信息确定的。那么，当前第一类图像帧对应的先验预测位置信息的协方差也就与前一第一类图像帧对应的后验预测位置信息的协方差存在关联。因此，电子设备可以根据前一第一类图像帧对应的后验预测协方差，确定当前第一类图像帧对应的先验预测协方差。
其中，当前第一类图像帧对应的先验预测位置信息的协方差也就是其对应的先验预测协方差，前一第一类图像帧对应的后验预测位置信息的协方差也就是其对应的后验预测协方差，前一第一类图像帧对应的后验预测误差为基于前一第一类图像帧对应的卡尔曼增益系数及先验预测协方差确定的。
对于目标视频中第一个第一类图像帧，其并不存在前一第一类图像帧，也就不存在前一第一类图像帧对应的后验预测协方差。这时，电子设备可以随机设置初始预测协方差，将初始预测协方差作为第一个第一类图像帧的前一第一类图像帧对应的后验预测协方差。
S204，根据所述先验预测协方差，确定所述当前第一类图像帧对应的卡尔曼增益系数；
在确定当前第一类图像帧对应的先验预测协方差之后，电子设备可以根据该先验预测协方差，计算当前第一类图像帧对应的卡尔曼增益系数。
S205，基于所述卡尔曼增益系数及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测位置信息；
当前第一类图像帧对应的先验预测位置信息与第一位置信息之间通常存在差异。在确定当前第一类图像帧对应的卡尔曼增益系数之后，卡尔曼滤波模型可以根据该卡尔曼增益系数及上述差异，计算该卡尔曼增益系数及上述差异之间的乘积与当前第一类图像帧对应的先验预测位置信息之和，作为当前第一类图像帧对应的后验预测位置信息。
S206，基于所述卡尔曼增益系数、所述先验预测协方差及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测协方差；
当前第一类图像帧对应的先验预测协方差是根据前一第一类图像帧对应的后验预测协方差预测的，可能不太准确。
为了使先验预测协方差更加准确，卡尔曼滤波模型可以基于卡尔曼增益系数及先验预测位置信息与其对应的第一位置信息之间的差异，计算卡尔曼增益系数及上述差异之间的乘积与当前第一类图像帧对应的先验预测协方差之和，作为当前第一类图像帧对应的后验预测协方差。
S207，针对每个第二类图像帧，根据该第二类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定该第二类图像帧对应的先验预测位置信息，作为该第二类图像帧对应的预测位置信息。
电子设备将第二类图像帧之前的第一类图像帧对应的第一位置信息及运动状态信息输入卡尔曼滤波模型，卡尔曼滤波模型可以确定每个第一类图像帧对应的先验预测位置信息。卡尔曼滤波模型根据每个第一类图像帧对应的先验预测位置信息与第一位置信息之间的差异，可以不断调整其自身的参数，这样可以使卡尔曼滤波模型的参数更加合适。
这样，对于每个第二类图像帧，电子设备可以根据该第二类图像帧的前一第一类图像帧对应的后验预测位置信息及运动状态信息，通过卡尔曼滤波模型确定该第二类图像帧对应的先验预测位置信息。通过卡尔曼滤波模型确定该第二类图像帧对应的先验预测位置信息比较接近目标对象在该第二类图像帧中的位置信息，该先验预测位置信息也就可以作为该第二类图像帧对应的预测位置信息。
可见，在本实施例中，电子设备可以根据每个第一类图像帧对应的先验预测位置信息与第一位置信息之间的差异，将卡尔曼滤波模型的参数调整的更加合适，通过卡尔曼滤波模型，电子设备可以比较准确地确定第二类图像帧对应的预测位置信息。
目标视频的图像帧中可能存在与目标对象相近的其他对象。这时，电子设备对目标视频中的第一类图像帧进行检测，得到的第一位置信息中可能存在其他对象的位置信息。
在这种情况下，为了避免其他对象的位置信息对确定目标对象的运动轨迹造成影响，在一种实施方式中，电子设备可以根据相邻图像帧中目标对象所处区域的交并比，确定每个图像帧中目标对象的位置信息，进而根据目标对象的位置信息确定目标对象的运动轨迹。
作为本发明实施例的一种实施方式，上述根据当前第一类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定所述当前第一类图像帧对应的先验预测位置信息的步骤，可以包括：
根据如下所示公式，计算第一类图像帧对应的先验预测位置信息：
电子设备可以将前一第一类图像帧对应的后验预测位置输入卡尔曼滤波模型，根据前一第一类图像帧与当前第一类图像帧之间的时间长及目标对象的运动速度，通过上述公式(1)确定当前第一类图像帧对应的先验预测位置，得到当前第一类图像帧对应的先验预测位置信息。
其中，
为当前第一类图像帧对应的先验状态向量，
(x-(k),y-(k))为当前第一类图像帧中目标对象所处区域中心点的先验预测坐标，也就是当前第一类图像帧对应的先验预测位置信息，
为目标对象的运动状态信息，
为目标对象所处区域中心点沿图像坐标系x轴的运动速度，
为目标对象所处区域中心点沿图像坐标系y轴的运动速度。
xk-1为前一第一类图像帧对应的后验状态向量，
(x(k-1),y(k-1))为前一第一类图像帧中目标对象所处区域中心点的后验预测坐标，也就是前一第一类图像帧对应的后验预测位置信息。
A为状态转移矩阵，其中，
Δt为前一第一类图像帧与当前第一类图像帧之间的时间差。
ωk-1为前一第一类图像帧对应的估计误差向量，通常为零均值高斯白噪声向量。其中，
(ωx(k-1),ωy(k-1))为前一第一类图像帧中目标对象所处区域的中心点坐标的估计误差，
为前一第一类图像帧中目标对象运动速度的估计误差。
上述根据所述前一第一类图像帧对应的后验预测协方差，确定所述当前第一类图像帧对应的先验预测协方差的步骤，可以包括：
根据如下所示公式，计算当前第一类图像帧对应的先验预测协方差
其中，Pk-1为前一第一类图像帧对应的后验预测协方差，Q为状态转移噪声协方差，Q＝δ×U，δ为预先设置的协方差系数，可以根据每个第一类图像帧对应的先验位置信息与第一位置信息之间的差异等因素进行设置，U为4×4的单位矩阵。
上述根据所述先验预测协方差，确定所述当前第一类图像帧对应的卡尔曼增益系数的步骤，可以包括：
根据如下所示公式，计算当前第一类图像帧对应的卡尔曼增益系数Kk：
其中，H为观测矩阵，
R为观测噪声协方差矩阵，可以通过观测图像帧中像素点在预设时间段中的变化值获得。
上述基于所述卡尔曼增益系数及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测位置信息的步骤，可以包括：
根据如下所示公式，计算当前第一类图像帧对应的后验预测位置信息：
其中，xk为当前第一类图像帧对应的后验状态向量。
(x(k),y(k))为当前第一类图像帧中目标对象所处区域中心点的后验预测坐标，也就是当前第一类图像帧当前第一类图像帧对应的后验预测位置信息。
yk为前一第一类图像帧对应的第一位置信息，其中，
vk为观测噪声向量，通常为零均值高斯白噪声向量。
上述基于所述卡尔曼增益系数、所述先验预测协方差及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测协方差的步骤，可以包括：
根据如下所示公式，计算当前第一类图像帧对应的后验预测协方差Pk：
其中，I为单位矩阵。
可见，在本发明实施例所提供的方案中，电子设备可以根据上述公式(1)计算先验预测位置信息，根据上述公式(2)计算先验预测协方差，根据上述公式(3)计算卡尔曼增益系数，根据上述公式(4)计算后验预测位置信息，根据上述公式(5)计算后验预测。这样，根据上述公式，电子设备可以准确的确定第二类图像帧对应的预测位置信息。
作为本发明实施例的一种实施方式，如图3所示，上述根据所述第一位置信息及所述预测位置信息，确定所述目标对象在所述目标视频中的运动轨迹的步骤，可以包括：
S301，以第一个图像帧中所述目标对象所处区域的中心点为原点，建立轨迹坐标系；
在得到第一位置信息及预测位置信息后，为了方便确定目标对象的运动轨迹，电子设备可以以目标视频中，第一个图像帧中目标对象所处区域的中心点为原点，以图像坐标系的横轴为x轴，以图像坐标系的纵轴为y轴，建立轨迹坐标系。
S302，基于所述第一位置信息及所述预测位置信息，确定所述目标对象所处区域的中心点在所述轨迹坐标系中对应的各个坐标点；
建立轨迹坐标系之后，为了获得目标对象在轨迹坐标系中的运动轨迹，电子设备可以根据第一位置信息及预测位置信息，确定目标视频的每个图像帧中目标对象所处区域的中心点在上述轨迹坐标系中对应的坐标点。
例如，电子设备根据第一位置信息及预测位置信息确定：目标视频的第一个图像帧中目标对象所处区域的中心点在图像坐标系中的坐标为(1，2)，第二个图像帧中目标对象所处区域的中心点在图像坐标系中的坐标为(77，103)，第三个图像帧中目标对象所处区域的中心点在图像坐标系中的坐标为(147，186)。
那么，电子设备便可以确定目标视频的第一个图像帧中目标对象所处区域的中心点在轨迹坐标系中对应的坐标点为(0，0)，目标视频的第二图像帧中目标对象所处区域的中心点在轨迹坐标系中对应的坐标点为(76，101)，目标视频的第三图像帧中目标对象所处区域的中心点在轨迹坐标系中对应的坐标点为(146，184)。
S303，基于所述各个坐标点，确定所述目标对象的运动轨迹。
在确定上述各个坐标点之后，电子设备便可以连接各个坐标点，便可以得到目标对象的运动轨迹，电子设备可以采用平滑曲线连接各个坐标点，得到目标对象在轨迹坐标系中的轨迹曲线，也就是目标对象的运动轨迹。
可以理解的是，根据目标视频中图像坐标系与现实世界坐标系的对应关系，电子设备可以根据目标对象的运动轨迹，确定目标对象在现实世界中的运动轨迹。
可见，本发明实施例所提供的方案中，电子设备可以以第一个图像帧中目标对象所处区域的中心点为原点，建立轨迹坐标系；基于第一位置信息及预测位置信息，确定目标对象所处区域的中心点在轨迹坐标系中对应的各个坐标点；基于所述各个坐标点，确定目标对象的运动轨迹。这样，根据第一个图像帧中目标对象所处区域的中心点为原点的轨迹坐标系，可以方便电子设备确定目标对象的运动轨迹。
相应于上述面向智能交通的一种车辆跟踪方法，本发明实施例还提供了面向智能交通的一种车辆跟踪装置。下面对本发明实施例所提供的面向智能交通的一种车辆跟踪装置进行介绍。
如图4所示，面向智能交通的一种车辆跟踪装置，所述装置可以包括：
视频获取模块401，用于获取目标视频；
其中，所述目标视频包括第一类图像帧及第二类图像帧，所述第一类图像帧包括目标对象，所述第二类图像帧不包括目标对象。
目标检测模块402，用于对所述第一类图像帧进行目标检测，确定所述目标对象在所述第一类图像帧中的第一位置信息；
运动状态确定模块403，用于基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息；
位置预测模块404，用于针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息；
其中，所述卡尔曼滤波模型包括位置信息、运动状态信息及预测位置信息之间的对应关系。
轨迹确定模块405，用于基于所述第一位置信息及所述预测位置信息，确定所述目标对象的运动轨迹。
可见，本发明实施例所提供的方案中，电子设备可以获取目标视频，其中，所述目标视频包括第一类图像帧及第二类图像帧，所述第一类图像帧包括目标对象，所述第二类图像帧不包括目标对象；对所述第一类图像帧进行目标检测，确定所述目标对象在所述第一类图像帧中的第一位置信息；基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息；针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息，其中，所述卡尔曼滤波模型包括位置信息、运动状态信息及预测位置信息之间的对应关系；基于所述第一位置信息及所述预测位置信息，确定所述目标对象的运动轨迹。这样，在目标视频中存在目标对象被遮挡的第二类图像帧时，电子设备可以通过目标对象的运动状态，利用卡尔曼滤波模型预测目标对象在第二类图像帧中的位置，这样可以提高目标对象的运动轨迹的准确度。
作为本发明实施例的一种实施方式，上述运动状态信息可以为运动速度。
上述运动状态确定模块403可以包括：
位移确定子模块(图4中未示出)，用于根据所述相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的位移；
速度确定子模块(图4中未示出)，用于基于所述目标对象的位移，以及所述相邻的第一类图像帧之间的时长，确定所述目标对象的运动速度。
作为本发明实施例的一种实施方式，如图5所示，上述位置预测模块404可以包括：
信息输入子模块501，用于针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型；
先验位置信息确定子模块502，用于根据当前第一类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定所述当前第一类图像帧对应的先验预测位置信息；
其中，所述后验预测位置信息为基于所述前一第一类图像帧对应的卡尔曼增益系数、先验预测位置信息及第一位置信息确定的。
先验预测协方差确定子模块503，用于根据所述前一第一类图像帧对应的后验预测协方差，确定所述当前第一类图像帧对应的先验预测协方差；
其中，所述后验预测误差为基于所述前一第一类图像帧对应的卡尔曼增益系数及先验预测协方差确定的。
卡尔曼增益系数确定子模块504，用于根据所述先验预测协方差，确定所述当前第一类图像帧对应的卡尔曼增益系数；
后验位置信息确定子模块505，用于基于所述卡尔曼增益系数及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测位置信息；
后验预测协方差确定子模块506，用于基于所述卡尔曼增益系数、所述先验预测协方差及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测协方差；
预测位置信息确定子模块507，用于针对每个第二类图像帧，根据该第二类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定该第二类图像帧对应的先验预测位置信息，作为该第二类图像帧对应的预测位置信息。
作为本发明实施例的一种实施方式，上述先验位置信息确定子模块502可以包括：
先验位置信息确定单元(图5中未示出)，用于根据公式
计算第一类图像帧对应的先验预测位置信息；
其中，
(x-(k),y-(k))为当前第一类图像帧对应的先验预测位置信息，
为所述运动状态信息，
(x(k-1),y(k-1))为前一第一类图像帧对应的后验预测位置信息，A为状态转移矩阵，
为前一第一类图像帧对应的估计误差，(ωx(k-1),ωy(k-1))为前一第一类图像帧中目标对象所处区域的中心点坐标的估计误差，
为前一第一类图像帧中目标对象运动速度的估计误差。
上述先验预测协方差确定子模块503可以包括：
先验预测协方差确定单元(图5中未示出)，用于根据公式
计算当前第一类图像帧对应的先验预测协方差
其中，Pk-1为前一第一类图像帧对应的后验预测协方差，Q为状态转移噪声协方差。
所述卡尔曼增益系数确定子模块504可以包括：
卡尔曼增益系数确定单元(图5中未示出)，用于根据公式
计算当前第一类图像帧对应的卡尔曼增益系数Kk；
其中，H为观测矩阵，R为观测噪声协方差矩阵。
所述后验位置信息确定子模块505可以包括：
后验位置信息确定单元(图5中未示出)，用于根据公式
计算当前第一类图像帧对应的后验预测位置信息；
其中，
(x(k),y(k))为当前第一类图像帧对应的后验预测位置信息，yk为前一第一类图像帧对应的第一位置信息。
所述后验预测协方差确定子模块506包括：
后验预测协方差确定单元(图5中未示出)，用于根据公式
计算当前第一类图像帧对应的后验预测协方差Pk；
其中，I为单位矩阵。
作为本发明实施例的一种实施方式，上述轨迹确定模块405可以包括：
坐标系建立子模块(图4中未示出)，用于以第一个图像帧中所述目标对象所处区域的中心点为原点，建立轨迹坐标系；
坐标转换子模块(图4中未示出)，用于基于所述第一位置信息及所述预测位置信息，确定所述目标对象所处区域的中心点在所述轨迹坐标系中对应的各个坐标点；
轨迹确定子模块(图4中未示出)，用于基于所述各个坐标点，确定所述目标对象的运动轨迹。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述任一基于卡尔曼滤波的目标追踪方法的步骤。
可见，本发明实施例所提供的方案中，电子设备可以获取目标视频，其中，所述目标视频包括第一类图像帧及第二类图像帧，所述第一类图像帧包括目标对象，所述第二类图像帧不包括目标对象；对所述第一类图像帧进行目标检测，确定所述目标对象在所述第一类图像帧中的第一位置信息；基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息；针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息，其中，所述卡尔曼滤波模型包括位置信息、运动状态信息及预测位置信息之间的对应关系；基于所述第一位置信息及所述预测位置信息，确定所述目标对象的运动轨迹。这样，在目标视频中存在目标对象被遮挡的第二类图像帧时，电子设备可以通过目标对象的运动状态，利用卡尔曼滤波模型预测目标对象在第二类图像帧中的位置，这样可以提高目标对象的运动轨迹的准确度。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一基于卡尔曼滤波的目标追踪方法的步骤。
可见，本发明实施例所提供的方案中，计算机可读存储介质内存储的计算机程序被处理器执行时，可以获取目标视频，其中，所述目标视频包括第一类图像帧及第二类图像帧，所述第一类图像帧包括目标对象，所述第二类图像帧不包括目标对象；对所述第一类图像帧进行目标检测，确定所述目标对象在所述第一类图像帧中的第一位置信息；基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息；针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息，其中，所述卡尔曼滤波模型包括位置信息、运动状态信息及预测位置信息之间的对应关系；基于所述第一位置信息及所述预测位置信息，确定所述目标对象的运动轨迹。这样，在目标视频中存在目标对象被遮挡的第二类图像帧时，电子设备可以通过目标对象的运动状态，利用卡尔曼滤波模型预测目标对象在第二类图像帧中的位置，这样可以提高目标对象的运动轨迹的准确度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种基于卡尔曼滤波的目标追踪方法，其特征在于，所述方法包括：
获取目标视频，其中，所述目标视频包括第一类图像帧及第二类图像帧，所述第一类图像帧包括目标对象，所述第二类图像帧不包括目标对象；
对所述第一类图像帧进行目标检测，确定所述目标对象在所述第一类图像帧中的第一位置信息；
基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息；
针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息，其中，所述卡尔曼滤波模型包括位置信息、运动状态信息及预测位置信息之间的对应关系；
基于所述第一位置信息及所述预测位置信息，确定所述目标对象的运动轨迹。
2.根据权利要求1所述的方法，其特征在于，所述运动状态信息为运动速度；
所述基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息的步骤，包括：
根据所述相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的位移；
基于所述目标对象的位移，以及所述相邻的第一类图像帧之间的时长，确定所述目标对象的运动速度。
3.根据权利要求1所述的方法，其特征在于，所述针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息的步骤，包括：
针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型；
根据当前第一类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定所述当前第一类图像帧对应的先验预测位置信息，其中，所述后验预测位置信息为基于所述前一第一类图像帧对应的卡尔曼增益系数、先验预测位置信息及第一位置信息确定的；
根据所述前一第一类图像帧对应的后验预测协方差，确定所述当前第一类图像帧对应的先验预测协方差，其中，所述后验预测误差为基于所述前一第一类图像帧对应的卡尔曼增益系数及先验预测协方差确定的；
根据所述先验预测协方差，确定所述当前第一类图像帧对应的卡尔曼增益系数；
基于所述卡尔曼增益系数及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测位置信息；
基于所述卡尔曼增益系数、所述先验预测协方差及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测协方差；
针对每个第二类图像帧，根据该第二类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定该第二类图像帧对应的先验预测位置信息，作为该第二类图像帧对应的预测位置信息。
4.根据权利要求3所述的方法，其特征在于，所述根据当前第一类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定所述当前第一类图像帧对应的先验预测位置信息的步骤，包括：
根据公式
计算第一类图像帧对应的先验预测位置信息；
其中，
(x-(k),y-(k))为当前第一类图像帧对应的先验预测位置信息，
为所述运动状态信息，
(x(k-1),y(k-1))为前一第一类图像帧对应的后验预测位置信息，A为状态转移矩阵，
为前一第一类图像帧对应的估计误差，(ωx(k-1),ωy(k-1))为前一第一类图像帧中目标对象所处区域的中心点坐标的估计误差，
为前一第一类图像帧中目标对象运动速度的估计误差；
所述根据所述前一第一类图像帧对应的后验预测协方差，确定所述当前第一类图像帧对应的先验预测协方差的步骤，包括：
根据公式
计算当前第一类图像帧对应的先验预测协方差
其中，Pk-1为前一第一类图像帧对应的后验预测协方差，Q为状态转移噪声协方差；
所述根据所述先验预测协方差，确定所述当前第一类图像帧对应的卡尔曼增益系数的步骤，包括：
根据公式
计算当前第一类图像帧对应的卡尔曼增益系数Kk；
其中，H为观测矩阵，R为观测噪声协方差矩阵；
所述基于所述卡尔曼增益系数及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测位置信息的步骤，包括：
根据公式
计算当前第一类图像帧对应的后验预测位置信息；
其中，
(x(k),y(k))为当前第一类图像帧对应的后验预测位置信息，yk为前一第一类图像帧对应的第一位置信息；
所述基于所述卡尔曼增益系数、所述先验预测协方差及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测协方差的步骤，包括：
根据公式
计算当前第一类图像帧对应的后验预测协方差Pk；
其中，I为单位矩阵。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置信息及所述预测位置信息，确定所述目标对象在所述目标视频中的运动轨迹的步骤，包括：
以第一个图像帧中所述目标对象所处区域的中心点为原点，建立轨迹坐标系；
基于所述第一位置信息及所述预测位置信息，确定所述目标对象所处区域的中心点在所述轨迹坐标系中对应的各个坐标点；
基于所述各个坐标点，确定所述目标对象的运动轨迹。
6.一种基于卡尔曼滤波的目标追踪装置，其特征在于，所述装置包括：
视频获取模块，用于获取目标视频，其中，所述目标视频包括第一类图像帧及第二类图像帧，所述第一类图像帧包括目标对象，所述第二类图像帧不包括目标对象；
目标检测模块，用于对所述第一类图像帧进行目标检测，确定所述目标对象在所述第一类图像帧中的第一位置信息；
运动状态确定模块，用于基于所述目标视频中，相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的运动状态信息；
位置预测模块，用于针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型，确定该第二类图像帧中所述目标对象的预测位置信息，其中，所述卡尔曼滤波模型包括位置信息、运动状态信息及预测位置信息之间的对应关系；
轨迹确定模块，用于基于所述第一位置信息及所述预测位置信息，确定所述目标对象的运动轨迹。
7.根据权利要求6所述的装置，其特征在于，所述运动状态信息为运动速度；
所述运动状态确定模块包括：
位移确定子模块，用于根据所述相邻的第一类图像帧中目标对象的第一位置信息，确定所述目标对象的位移；
速度确定子模块，用于基于所述目标对象的位移，以及所述相邻的第一类图像帧之间的时长，确定所述目标对象的运动速度。
8.根据权利要求6所述的装置，其特征在于，所述位置预测模块包括：
信息输入子模块，用于针对每个第二类图像帧，将所述运动状态信息及该第二类图像帧之前的第一类图像帧对应的第一位置信息输入卡尔曼滤波模型；
先验位置信息确定子模块，用于根据当前第一类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定所述当前第一类图像帧对应的先验预测位置信息，其中，所述后验预测位置信息为基于所述前一第一类图像帧对应的卡尔曼增益系数、先验预测位置信息及第一位置信息确定的；
先验预测协方差确定子模块，用于根据所述前一第一类图像帧对应的后验预测协方差，确定所述当前第一类图像帧对应的先验预测协方差，其中，所述后验预测误差为基于所述前一第一类图像帧对应的卡尔曼增益系数及先验预测协方差确定的；
卡尔曼增益系数确定子模块，用于根据所述先验预测协方差，确定所述当前第一类图像帧对应的卡尔曼增益系数；
后验位置信息确定子模块，用于基于所述卡尔曼增益系数及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测位置信息；
后验预测协方差确定子模块，用于基于所述卡尔曼增益系数、所述先验预测协方差及所述先验预测位置信息与其对应的第一位置信息之间的差异，确定所述当前第一类图像帧对应的后验预测协方差；
预测位置信息确定子模块，用于针对每个第二类图像帧，根据该第二类图像帧的前一第一类图像帧对应的后验预测位置信息以及所述运动状态信息，确定该第二类图像帧对应的先验预测位置信息，作为该第二类图像帧对应的预测位置信息。
9.根据权利要求8所述的装置，其特征在于，所述先验位置信息确定子模块包括：
先验位置信息确定单元，用于根据公式
计算第一类图像帧对应的先验预测位置信息；
其中，
(x-(k),y-(k))为当前第一类图像帧对应的先验预测位置信息，
为所述运动状态信息，
(x(k-1),y(k-1))为前一第一类图像帧对应的后验预测位置信息，A为状态转移矩阵，
为前一第一类图像帧对应的估计误差向量，(ωx(k-1),ωy(k-1))为前一第一类图像帧中目标对象所处区域的中心点坐标的估计误差，
为前一第一类图像帧中目标对象运动速度的估计误差；
所述先验预测协方差确定子模块包括：
先验预测协方差确定单元，用于根据公式
计算当前第一类图像帧对应的先验预测协方差
其中，Pk-1为前一第一类图像帧对应的后验预测协方差，Q为状态转移噪声协方差；
所述卡尔曼增益系数确定子模块包括：
卡尔曼增益系数确定单元，用于根据公式
计算当前第一类图像帧对应的卡尔曼增益系数Kk；
其中，H为观测矩阵，R为观测噪声协方差矩阵；
所述后验位置信息确定子模块包括：
后验位置信息确定单元，用于根据公式
计算当前第一类图像帧对应的后验预测位置信息；
其中，
(x(k),y(k))为当前第一类图像帧对应的后验预测位置信息，yk为前一第一类图像帧对应的第一位置信息；
所述后验预测协方差确定子模块包括：
后验预测协方差确定单元，用于根据公式
计算当前第一类图像帧对应的后验预测协方差Pk；
其中，I为单位矩阵。
10.根据权利要求6所述的装置，其特征在于，所述轨迹确定模块包括：
坐标系建立子模块，用于以第一个图像帧中所述目标对象所处区域的中心点为原点，建立轨迹坐标系；
坐标转换子模块，用于基于所述第一位置信息及所述预测位置信息，确定所述目标对象所处区域的中心点在所述轨迹坐标系中对应的各个坐标点；
轨迹确定子模块，用于基于所述各个坐标点，确定所述目标对象的运动轨迹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010160617.5A CN111402293B (zh) | 2020-03-10 | 2020-03-10 | 面向智能交通的一种车辆跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010160617.5A CN111402293B (zh) | 2020-03-10 | 2020-03-10 | 面向智能交通的一种车辆跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111402293A true CN111402293A (zh) | 2020-07-10 |
| CN111402293B CN111402293B (zh) | 2023-11-14 |
Family
ID=71434102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010160617.5A Active CN111402293B (zh) | 2020-03-10 | 2020-03-10 | 面向智能交通的一种车辆跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111402293B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258547A (zh) * | 2020-10-19 | 2021-01-22 | 郑州轻工业大学 | 基于逆透视投影变换和跟车模型的车辆三维轨迹优化方法 |
| CN113112524A (zh) * | 2021-04-21 | 2021-07-13 | 智道网联科技(北京)有限公司 | 自动驾驶中移动对象的轨迹预测方法、装置及计算设备 |
| CN113869163A (zh) * | 2021-09-18 | 2021-12-31 | 北京远度互联科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN115222771A (zh) * | 2022-07-05 | 2022-10-21 | 北京建筑大学 | 一种目标跟踪方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169439A (zh) * | 2017-05-11 | 2017-09-15 | 南宁市正祥科技有限公司 | 一种行人车辆检测与分类方法 |
| JP2019018743A (ja) * | 2017-07-19 | 2019-02-07 | 日産自動車株式会社 | 軌跡推定方法及び軌跡推定装置 |
| CN109816701A (zh) * | 2019-01-17 | 2019-05-28 | 北京市商汤科技开发有限公司 | 一种目标跟踪方法及装置、存储介质 |
| CN110163066A (zh) * | 2018-12-07 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 多媒体数据推荐方法、装置及存储介质 |
-
2020
- 2020-03-10 CN CN202010160617.5A patent/CN111402293B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169439A (zh) * | 2017-05-11 | 2017-09-15 | 南宁市正祥科技有限公司 | 一种行人车辆检测与分类方法 |
| JP2019018743A (ja) * | 2017-07-19 | 2019-02-07 | 日産自動車株式会社 | 軌跡推定方法及び軌跡推定装置 |
| CN110163066A (zh) * | 2018-12-07 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 多媒体数据推荐方法、装置及存储介质 |
| CN109816701A (zh) * | 2019-01-17 | 2019-05-28 | 北京市商汤科技开发有限公司 | 一种目标跟踪方法及装置、存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258547A (zh) * | 2020-10-19 | 2021-01-22 | 郑州轻工业大学 | 基于逆透视投影变换和跟车模型的车辆三维轨迹优化方法 |
| CN112258547B (zh) * | 2020-10-19 | 2022-09-20 | 郑州轻工业大学 | 基于逆透视投影变换和跟车模型的车辆三维轨迹优化方法 |
| CN113112524A (zh) * | 2021-04-21 | 2021-07-13 | 智道网联科技(北京)有限公司 | 自动驾驶中移动对象的轨迹预测方法、装置及计算设备 |
| CN113112524B (zh) * | 2021-04-21 | 2024-02-20 | 智道网联科技(北京)有限公司 | 自动驾驶中移动对象的轨迹预测方法、装置及计算设备 |
| CN113869163A (zh) * | 2021-09-18 | 2021-12-31 | 北京远度互联科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN113869163B (zh) * | 2021-09-18 | 2022-08-23 | 北京远度互联科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN115222771A (zh) * | 2022-07-05 | 2022-10-21 | 北京建筑大学 | 一种目标跟踪方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111402293B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111402293B (zh) | 面向智能交通的一种车辆跟踪方法及装置 | |
| EP2858008B1 (en) | Target detecting method and system | |
| US9767570B2 (en) | Systems and methods for computer vision background estimation using foreground-aware statistical models | |
| Ozkurt et al. | Automatic traffic density estimation and vehicle classification for traffic surveillance systems using neural networks | |
| CN110501671B (zh) | 一种基于测量分配的目标跟踪方法及装置 | |
| Bedruz et al. | Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach | |
| CN111798487B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
| CN113191180B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
| CN112347817B (zh) | 一种视频目标检测与跟踪方法及装置 | |
| CN114926726B (zh) | 基于多任务网络的无人船感知方法及相关设备 | |
| CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
| CN111582032A (zh) | 行人检测方法、装置、终端设备及存储介质 | |
| Dhulavvagol et al. | Vehical tracking and speed estimation of moving vehicles for traffic surveillance applications | |
| CN116740126A (zh) | 目标跟踪方法、高速相机及存储介质 | |
| CN110866428A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| JP2002133421A (ja) | 移動物体認識方法及び装置 | |
| KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
| CN113052019A (zh) | 目标跟踪方法及装置、智能设备和计算机存储介质 | |
| CN101567088B (zh) | 一种运动物体检测的方法和装置 | |
| Mehboob et al. | Automated vehicle density estimation from raw surveillance videos | |
| CN110689556A (zh) | 跟踪方法、装置及智能设备 | |
| CN116052038A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN113762027B (zh) | 一种异常行为的识别方法、装置、设备及存储介质 | |
| KR20100084015A (ko) | 지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |