CN107862704B - 一种目标跟踪方法、***及其使用的云台相机 - Google Patents

一种目标跟踪方法、***及其使用的云台相机 Download PDF

Info

Publication number
CN107862704B
CN107862704B CN201711078487.5A CN201711078487A CN107862704B CN 107862704 B CN107862704 B CN 107862704B CN 201711078487 A CN201711078487 A CN 201711078487A CN 107862704 B CN107862704 B CN 107862704B
Authority
CN
China
Prior art keywords
tracking
target
tracking window
window
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711078487.5A
Other languages
English (en)
Other versions
CN107862704A (zh
Inventor
唐露新
于丽敏
张宇维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201711078487.5A priority Critical patent/CN107862704B/zh
Publication of CN107862704A publication Critical patent/CN107862704A/zh
Application granted granted Critical
Publication of CN107862704B publication Critical patent/CN107862704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标跟踪方法包括：在当前帧图像中获取初步跟踪窗口，在所述初步跟踪窗口中提取跟踪目标的FAST特征点；当存在上一帧图像时计算所有所述FAST特征点的光流信息高斯加权和；利用所述初步跟踪窗口和所述光流信息高斯加权和进行Kalman滤波预测，得到预测跟踪窗口；筛选所述初步跟踪窗口和所述预测跟踪窗口得到最终跟踪窗口；向舵机发送控制命令，以便所述舵机根据所述最终跟踪窗口调整云台相机的角度直至所述跟踪目标处于所述最终跟踪窗口的中央位置。由此可见，本发明公开的目标跟踪方法，在移动平台上实现了目标跟踪。本发明还公开了一种目标跟踪***及一种云台相机和计算机可读存储介质，同样能实现上述技术效果。

Description

一种目标跟踪方法、***及其使用的云台相机
技术领域
本发明涉及图像处理技术领域，更具体地说，涉及一种目标跟踪方法、***及一种能够进行计算处理、数据发送、程序存储的云台相机装置和计算机可读存储介质。
背景技术
当前运动目标跟踪作为视频数据分析的一大分支技术，为高层次的视频理解和场景解释提供依据，在交通管制、视觉导航以及无人设备侦查监视等诸多领域有着广泛的应用前景。
现有技术中一种基于FAST角点和金字塔KLT的目标跟踪方法，相机设备是固定不动的，对于快速运动的目标，无法达到实时跟踪，容易出现目标丢失，或无法保持相机正对目标的状态。同时，基于高维度特征(例如尺度不变特征SIFT)的提取算法时间效率低下，硬件需求高。
另外，运用背景补偿法虽然可以剔除大部分背景影响，但仅适用于背景较为简单的场景中，一旦背景复杂，就会产生大量噪声信息，无法确定目标，实时性不高。
因此，如何在移动平台上实现目标跟踪是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种目标跟踪方法、***及一种能够进行计算处理、数据发送、程序存储的云台相机装置和计算机可读存储介质，在移动平台上实现了目标跟踪。
为实现上述目的，本发明实施例提供了一种目标跟踪方法，包括：
在当前帧图像中获取初步跟踪窗口，在所述初步跟踪窗口中提取跟踪目标的FAST特征点；
判断是否存在上一帧图像，若是，则利用所述上一帧图像与所述当前帧图像计算所有所述FAST特征点的光流信息高斯加权和；
利用所述初步跟踪窗口和所述光流信息高斯加权和进行Kalman滤波预测，得到预测跟踪窗口；
计算所述初步跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第一Bhattacharyya距离；
计算所述预测跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第二Bhattacharyya距离；
将所述第一Bhattacharyya距离与所述第二Bhattacharyya距离中较小值对应的跟踪窗口作为最终跟踪窗口，计算所述最终跟踪窗口的中心点坐标与所述当前帧图像的中心点坐标的差值；
根据所述差值向舵机发送控制命令，以便所述舵机调整云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
其中，所述在当前帧图像中获取初步跟踪窗口包括：
将所述当前帧图像转换为颜色空间YCrCb，在所述颜色空间YCrCb中获取人体肤色区域，所述颜色空间YCrCb中的Cr分量为140-160中的任一值、Cb分量为72-137中的任一值；
利用Camshift算法根据颜色概率在所述颜色空间YCrCb中获取所述初步跟踪窗口。
其中，所述根据所述差值向舵机发送控制命令，以便所述舵机调整云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置，包括：
根据所述差值确定所述需要旋转的角度，并根据所述角度计算旋转时间；
向舵机发送控制命令，所述控制命令至少包括所述旋转时间和所述角度，以便所述舵机调整所述云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
其中，利用所述初步跟踪窗口和所述光流信息高斯加权和进行Kalman滤波预测，得到预测跟踪窗口，包括：
利用所述初步跟踪窗口和所述光流信息高斯加权和，通过观测模型公式得到观测模型Z(k)，所述观测模型公式为：
Z(k)＝H1X(k)+H2S(k)+V(k)；
其中，k为当前帧，X(k)为所述跟踪目标在当前帧的运动状态信息，S(k)为根据云台相机的速度通过视场角运算后的平面速度，V(k)为服从高斯分布的测量噪声，H1、H2为观测矩阵；
根据所述观测模型Z(k)得到所述预测跟踪窗口。
为实现上述目的，本发明实施例提供了一种目标跟踪***，包括：
获取模块，用于在当前帧图像中获取初步跟踪窗口，在所述初步跟踪窗口中提取跟踪目标的FAST特征点；
计算模块，用于判断是否存在上一帧图像，若是，则利用所述上一帧图像与所述当前帧图像计算所有所述FAST特征点的光流信息高斯加权和；
预测模块，用于利用所述初步跟踪窗口和所述光流信息高斯加权和进行Kalman滤波预测，得到预测跟踪窗口；
第一计算模块，用于计算所述初步跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第一Bhattacharyya距离；
第二计算模块，用于计算所述预测跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第二Bhattacharyya距离；
确定模块，用于将所述第一Bhattacharyya距离与所述第二Bhattacharyya距离中较小值对应的跟踪窗口作为最终跟踪窗口，计算所述最终跟踪窗口的中心点坐标与所述当前帧图像的中心点坐标的差值；
发送模块，用于根据所述差值向舵机发送控制命令，以便所述舵机根据所述最终跟踪窗口调整云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
其中，所述获取模块具体包括：
转换单元，用于将所述当前帧图像转换为颜色空间YCrCb，在所述颜色空间YCrCb中获取人体肤色区域，所述颜色空间YCrCb中的Cr分量为140-160中的任一值、Cb分量为72-137中的任一值；
获取单元，用于利用Camshift算法根据颜色概率在所述颜色空间YCrCb中获取所述初步跟踪窗口；
提取单元，用于在所述初步跟踪窗口中提取跟踪目标的FAST特征点。
其中，所述发送模块具体包括：
计算单元，用于根据所述差值确定所述需要旋转的角度，并根据所述角度计算旋转时间；
发送单元，用于向舵机发送控制命令，所述控制命令至少包括所述旋转时间和所述角度，以便所述舵机调整所述云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
其中，所述预测模块具体包括：
观测单元，用于利用所述初步跟踪窗口和所述光流信息高斯加权和，通过观测模型公式得到观测模型Z(k)，所述观测模型公式为：
Z(k)＝H1X(k)+H2S(k)+V(k)；
其中，k为当前帧，X(k)为所述跟踪目标在当前帧的运动状态信息，S(k)为根据云台相机的速度通过视场角运算后的平面速度，V(k)为服从高斯分布的测量噪声，H1、H2为观测矩阵；
预测单元，用于根据所述观测模型Z(k)得到所述预测跟踪窗口。
为实现上述目的，本发明实施例提供了一种云台相机装置，包括：
存储器，用于存储目标跟踪程序；
处理器，用于执行所述目标跟踪程序时实现如权利要求1至6任一项所述目标跟踪方法的步骤。
为实现上述目的，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有目标跟踪程序，所述目标跟踪程序被处理器执行时实现如上述目标跟踪方法。
通过以上方案可知，本发明实施例提供的一种目标跟踪方法包括：在当前帧图像中获取初步跟踪窗口，在所述初步跟踪窗口中提取跟踪目标的FAST特征点；判断是否存在上一帧图像，若是，则利用所述上一帧图像与所述当前帧图像计算所有所述FAST特征点的光流信息高斯加权和；利用所述初步跟踪窗口和所述光流信息高斯加权和进行Kalman滤波预测，得到预测跟踪窗口；计算所述初步跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第一Bhattacharyya距离；计算所述预测跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第二Bhattacharyya距离；将所述第一Bhattacharyya距离与所述第二Bhattacharyya距离中较小值对应的跟踪窗口作为最终跟踪窗口，计算所述最终跟踪窗口的中心点坐标与所述当前帧图像的中心点坐标的差值；根据所述差值向舵机发送控制命令，以便所述舵机调整云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
由此可见，本发明实施例提供的目标跟踪方法，通过筛选初步跟踪窗口和预测跟踪窗口确定最终跟踪窗口，舵机根据最终跟踪窗口调整云台相机的角度直至跟踪目标处于所述当前帧图像的中央位置，在移动平台上实现了目标跟踪。另外，本发明实施例提供的目标跟踪方法不必对角点进行筛选，而是用高斯模型对特征点的光流信息进行加权，信息量更大，计算更简便，同时融合了Kalman滤波模型，能够对下一个运动状态进行双参数预测，具有更高的鲁棒性和跟踪实时性。本发明还公开了一种目标跟踪***及一种能够进行计算处理、数据发送、程序存储的的云台相机装置和计算机可读存储介质，同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种目标跟踪方法的流程图；
图2为本发明实施例公开的另一种目标跟踪方法的流程图；
图3为本发明实施例公开的一种目标跟踪***的结构图；
图4为本发明实施例公开的一种云台相机装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种目标跟踪方法，在移动平台上实现了目标跟踪
参见图1，本发明实施例公开的一种目标跟踪方法的流程图，如图1所示，包括：
S101：在当前帧图像中获取初步跟踪窗口，在所述初步跟踪窗口中提取跟踪目标的FAST特征点；
此步骤旨在获取初步跟踪窗口，以便后续步骤与预测跟踪窗口进行筛选，得到最终跟踪窗口，完成云台相机的位置调整。
FAST特征点被定义为与邻域像素相差较大的点，这种特征点没有复杂描述子，运算速度极快，单帧处理速度达到微秒(us)级别，减小了算法的时间复杂度，提高了算法的实时性。相邻帧中，相似特征点可以依据角点分数以及位置关系进行匹配。
S102：判断是否存在上一帧图像，若是，则利用所述上一帧图像与所述当前帧图像计算所有所述FAST特征点的光流信息高斯加权和，若否，则进入S103；
光流信息高斯加权和的使用前提是存在相邻的两帧图像信息，因此在利用获取光流信息前，首先应该判定是否存在上一帧数据，如果不存在，则将速度初始化一个非常小的浮点数，如果存在，则计算所有所述特征点的光流信息高斯加权和。
使用金字塔Lucas-Kanade算法，计算所有特征点的光流信息。如果图像I中特征点μ与图像J中特征点v对应，即同在一个小邻域中且角点分数相差较小，则建立图像I和J的金字塔：
Figure BDA0001458458890000061
对图像I求特征点(Px,Py)的偏导，得到该点梯度矩阵：
Figure BDA0001458458890000062
金字塔第L层上，计算特征点在两幅图像上的像素差：
δIk(x,y)＝IL(x,y)-JL(x+Vx,y+Vy)
计算不匹配向量：
Figure BDA0001458458890000063
进而计算出L层上光流更新值：
ηk＝G-1bk
Figure BDA0001458458890000071
直到ηk小于某个阈值，则结束在L层上的迭代过程，并且光流信息传递给L-1层：
Figure BDA0001458458890000072
直至计算出最低一层的光流信息。
最后通过高斯模型，将各个特征点的光流信息进行加权求和：
Figure BDA0001458458890000073
优选的，σ1、σ2分别取2.3和1.1。
S103：利用所述初步跟踪窗口和所述光流信息高斯加权和进行Kalman滤波预测，得到预测跟踪窗口；
此步骤旨在得到预测跟踪窗口，以便后续步骤与初步跟踪窗口进行筛选，得到最终跟踪窗口，完成云台相机的位置调整。
S104：计算所述初步跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第一Bhattacharyya距离；
S105：计算所述预测跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第二Bhattacharyya距离；
S106：将所述第一Bhattacharyya距离与所述第二Bhattacharyya距离中较小值对应的跟踪窗口作为最终跟踪窗口，计算所述最终跟踪窗口的中心点坐标与所述当前帧图像的中心点坐标的差值；
此步骤旨在筛选得到最终跟踪窗口，分别计算初步跟踪窗口与预测跟踪窗口中的跟踪目标的位置，与所述上一帧图像中的跟踪目标的位置之间的Bhattacharyya距离，将两者中Bhattacharyya距离较小的作为最终跟踪窗口。
S107：根据所述差值向舵机发送控制命令，以便所述舵机调整云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
在具体实施中，舵机通过控制命令调整云台相机的角度，使拍摄画面为最终跟踪窗口，跟踪目标处于最终跟踪窗口的中央位置。
本发明实施例提供的目标跟踪方法，通过筛选初步跟踪窗口和预测跟踪窗口确定最终跟踪窗口，舵机根据最终跟踪窗口调整云台相机的角度直至跟踪目标处于所述当前帧图像的中央位置，在移动平台上实现了目标跟踪。另外，本发明实施例提供的目标跟踪方法不必对角点进行筛选，而是用高斯模型对特征点的光流信息进行加权，信息量更大，计算更简便，同时融合了Kalman滤波模型，能够对下一个运动状态进行双参数预测，具有更高的鲁棒性和跟踪实时性。
本发明实施例公开了一种对目标跟踪方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
参见图2，本发明实施例提供的另一种目标跟踪方法的流程图，如图2所示，包括：
S211：将所述当前帧图像转换为颜色空间YCrCb，在所述颜色空间YCrCb中获取人体肤色区域，所述颜色空间YCrCb中的Cr分量为140-160中的任一值、Cb分量为72-137中的任一值；
S212：利用Camshift算法根据颜色概率在所述颜色空间YCrCb中获取所述初步跟踪窗口；
S213：在所述初步跟踪窗口中提取跟踪目标的FAST特征点；
在具体实施中，在颜色空间YCrCb中获取人体肤色区域，利用Camshift算法根据颜色概率获取到初步的跟踪窗口。优选的，颜色空间YCrCb中的Cr分量为140-160中的任一值、Cb分量为72-137中的任一值。不必在整幅图像中选取FAST特征点，而是在根据肤色区域获得的跟踪窗口中获取FAST角点，减少了计算量。
S202：判断是否存在上一帧图像，若是，则利用所述上一帧图像与所述当前帧图像计算所有所述FAST特征点的光流信息高斯加权和，若否，则进入S231；
S231：利用所述初步跟踪窗口和所述光流信息高斯加权和，通过观测模型公式得到观测模型Z(k)，所述观测模型公式为：
Z(k)＝H1X(k)+H2S(k)+V(k)；
其中，k为当前帧，X(k)为所述跟踪目标在当前帧的运动状态信息，S(k)为根据云台相机的速度通过视场角运算后的平面速度，V(k)为服从高斯分布的测量噪声，H1、H2为观测矩阵；
S232：根据所述观测模型Z(k)得到所述预测跟踪窗口。
Kalman滤波权衡状态值与测量值，利用前一时刻估计值和当前时刻观测值来更新对状态变量的估计，求出当前时刻估计值。本文通过对光流信息和云台舵机转速双观测加权方式，获取了运动***的观测值。运动跟踪可以近似地看成一个线性随机***，其过程量的数学模型为：
X(k)＝AX(k-1)+BU(k)+W(k)
其中，X(k)为当前时刻运动状态；
Figure BDA0001458458890000091
A为过程矩阵，它保持了上一状态速度，并且将速度叠加到当前坐标位置上；
Figure BDA0001458458890000092
U(k)为控制量，结合光流以及视频帧率，控制当前速度的增量；
Figure BDA0001458458890000093
B＝[0 0 ηx ηy]为控制矩阵，作用是将速度增量通过一定线性叠加到当前状态中，其中η表示速度增量的衰减，选取[0,1]中的数，优选的，ηx和ηy取0.5。W(k)是服从高斯分布的噪声信息，方差为Q。
在跟踪运动目标的过程中，位置观测值来自于Camshift获得的跟踪窗口坐标，而速度观测值来自与云台的舵机转动速度以及光流信息的加权和，观测模型为：
Z(k)＝H1X(k)+H2S(k)+V(k)
其中，
Figure BDA0001458458890000101
S(k)是根据串口信息得到当前云台速度r，通过视场角θ运算后，得到平面跟踪速度；
Figure BDA0001458458890000102
其中：
Figure BDA0001458458890000103
观测矩阵H2为云台舵机转速的加权；
Figure BDA0001458458890000104
优选的，H1速度权值
Figure BDA0001458458890000105
和H2速度权值
Figure BDA0001458458890000106
分别取0.3和0.7，即速度观测值的大小更多取决于云台速度。
V(k)是服从高斯分布的测量噪声，方差为R。
此时状态的最小预测均方误差：
P(k|k-1)＝AP(k-1|k-1)A'+Q
最终可以得到，在k时刻，跟踪状态X(k|k)的值为：
X(k|k)＝X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1))
其中Kg(k)为Kalman增益，它决定了最终的预测值是靠近过程值多一些还是靠近测量值多一些；
Figure BDA0001458458890000111
参与下一次预测的最小均方误差：
P(k|k)＝(I-Kg(k)H)P(k|k-1)
其中I是单位矩阵。
S204：计算所述初步跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第一Bhattacharyya距离；
S205：计算所述预测跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第二Bhattacharyya距离；
S206：将所述第一Bhattacharyya距离与所述第二Bhattacharyya距离中较小值对应的跟踪窗口作为最终跟踪窗口，计算所述最终跟踪窗口的中心点坐标与所述当前帧图像的中心点坐标的差值；
S271：根据所述差值确定所述需要旋转的角度，并根据所述角度计算旋转时间；
S272：向舵机发送控制命令，所述控制命令至少包括所述旋转时间和所述角度，以便所述舵机调整所述云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
在具体实施中，舵机的旋转时间由目标位置与当前角度的角度差和光流信息计算得出，舵机通过旋转时间和目标位置调整所述云台相机的角度。向舵机发送控制命令后，紧接着接收下一时刻的目标位置，从而控制云台相机的运动状态。
本方法通过串口控制和获取云台相机的当前角度，串口数据形式如表1所示：
表1串口数据形式
Figure BDA0001458458890000112
Figure BDA0001458458890000121
下面对本发明实施例提供的一种目标跟踪***进行介绍，下文描述的一种目标跟踪***与上文描述的一种目标跟踪方法可以相互参照。
参见图3，本发明实施例提供的一种目标跟踪***的结构图，如图3所示，包括：
获取模块301，用于在当前帧图像中获取初步跟踪窗口，在所述初步跟踪窗口中提取跟踪目标的FAST特征点；
计算模块302，用于判断是否存在上一帧图像，若是，则利用所述上一帧图像与所述当前帧图像计算所有所述FAST特征点的光流信息高斯加权和；
预测模块303，用于利用所述初步跟踪窗口和所述光流信息高斯加权和进行Kalman滤波预测，得到预测跟踪窗口；
第一计算模块304，用于计算所述初步跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第一Bhattacharyya距离；
第二计算模块305，用于计算所述预测跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第二Bhattacharyya距离；
确定模块306，用于将所述第一Bhattacharyya距离与所述第二Bhattacharyya距离中较小值对应的跟踪窗口作为最终跟踪窗口，计算所述最终跟踪窗口的中心点坐标与所述当前帧图像的中心点坐标的差值；
发送模块307，用于根据所述差值向舵机发送控制命令，以便所述舵机根据所述最终跟踪窗口调整云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
本发明实施例提供的目标跟踪***，通过筛选初步跟踪窗口和预测跟踪窗口确定最终跟踪窗口，舵机根据最终跟踪窗口调整云台相机的角度直至跟踪目标处于所述当前帧图像的中央位置，在移动平台上实现了目标跟踪。另外，本发明实施例提供的目标跟踪方法不必对角点进行筛选，而是用高斯模型对特征点的光流信息进行加权，信息量更大，计算更简便，同时融合了Kalman滤波模型，能够对下一个运动状态进行双参数预测，具有更高的鲁棒性和跟踪实时性。
在上述实施例的基础上，作为优选实施方式，所述发送模块具体包括：
计算单元，用于根据所述差值确定所述需要旋转的角度，并根据所述角度计算旋转时间；
发送单元，用于向舵机发送控制命令，所述控制命令至少包括所述旋转时间和所述角度，以便所述舵机调整所述云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
在上述实施例的基础上，作为优选实施方式，所述获取模块具体包括：
转换单元，用于将所述当前帧图像转换为颜色空间YCrCb，在所述颜色空间YCrCb中获取人体肤色区域，所述颜色空间YCrCb中的Cr分量为140-160中的任一值、Cb分量为72-137中的任一值；
获取单元，用于利用Camshift算法根据颜色概率在所述颜色空间YCrCb中获取所述初步跟踪窗口；
提取单元，用于在所述初步跟踪窗口中提取跟踪目标的特征点。
在上述实施例的基础上，作为优选实施方式，所述预测模块具体包括：
观测单元，用于利用所述初步跟踪窗口和所述光流信息高斯加权和，通过观测模型公式得到观测模型Z(k)，所述观测模型公式为：
Z(k)＝H1X(k)+H2S(k)+V(k)；
其中，k为当前帧，X(k)为所述跟踪目标在当前帧的运动状态信息，S(k)为根据云台相机的速度通过视场角运算后的平面速度，V(k)为服从高斯分布的测量噪声，H1、H2为观测矩阵；
预测单元，用于根据所述观测模型Z(k)得到所述预测跟踪窗口。
本申请还提供了一种云台相机装置，参见图4，本发明实施例提供的一种云台相机装置的结构图，如图4所示，包括：
存储器401，用于存储目标跟踪程序；
处理器402，用于执行所述目标跟踪程序时可以实现上述实施例所提供的步骤。当然所述云台相机还可以包括各种网络接口，电源等组件。
在上述实施例的基础上，作为优选实施方式，还包括：
相机，用于获取所述当前帧；
舵机，用于承载所述相机并使相机能够进行二自由度旋转；
IO口，用于接受和发送所述舵机的控制指令以及旋转状态；
本发明实施例提供的云台相机装置，通过筛选初步跟踪窗口和预测跟踪窗口确定最终跟踪窗口，舵机根据最终跟踪窗口调整云台相机的角度直至跟踪目标处于所述当前帧图像的中央位置，在移动平台上实现了目标跟踪。另外，本发明实施例提供的目标跟踪方法不必对角点进行筛选，而是用高斯模型对特征点的光流信息进行加权，信息量更大，计算更简便，同时融合了Kalman滤波模型，能够对下一个运动状态进行双参数预测，具有更高的鲁棒性和跟踪实时性。
本申请还提供了一种计算机可读存储介质，其上存储有目标跟踪程序，所述目标跟踪程序被处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：
在当前帧图像中获取初步跟踪窗口，在所述初步跟踪窗口中提取跟踪目标的FAST特征点；
判断是否存在上一帧图像，若是，则利用所述上一帧图像与所述当前帧图像计算所有所述FAST特征点的光流信息的高斯加权和；
利用所述初步跟踪窗口和所述光流信息的高斯加权和进行Kalman滤波预测，得到预测跟踪窗口；
计算所述初步跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第一Bhattacharyya距离；
计算所述预测跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第二Bhattacharyya距离；
将所述第一Bhattacharyya距离与所述第二Bhattacharyya距离中较小值对应的跟踪窗口作为最终跟踪窗口，计算所述最终跟踪窗口的中心点坐标与所述当前帧图像的中心点坐标的差值；
根据所述差值向舵机发送控制命令，以便所述舵机调整云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
2.根据权利要求1所述的目标跟踪方法，其特征在于，所述在当前帧图像中获取初步跟踪窗口包括：
将所述当前帧图像转换为颜色空间YCrCb，在所述颜色空间YCrCb中获取人体肤色区域，所述颜色空间YCrCb中的Cr分量为140-160中的任一值、Cb分量为72-137中的任一值；
利用Camshift算法根据颜色概率在所述颜色空间YCrCb中获取所述初步跟踪窗口。
3.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述差值向舵机发送控制命令，以便所述舵机调整云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置，包括：
根据所述差值确定需要旋转的角度，并根据所述角度计算旋转时间；
向舵机发送控制命令，所述控制命令至少包括所述旋转时间和所述角度，以便所述舵机调整所述云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
4.根据权利要求1-3任一项所述的目标跟踪方法，其特征在于，利用所述初步跟踪窗口和所述光流信息的高斯加权和进行Kalman滤波预测，得到预测跟踪窗口，包括：
利用所述初步跟踪窗口和所述光流信息的高斯加权和，通过观测模型公式得到观测模型Z(k)，所述观测模型公式为：
Z(k)＝H1X(k)+H2S(k)+V(k)；
其中，k为当前帧，X(k)为所述跟踪目标在当前帧的运动状态信息，S(k)为根据云台相机的速度通过视场角运算后的平面速度，V(k)为服从高斯分布的测量噪声，H1、H2为观测矩阵；
根据所述观测模型Z(k)得到所述预测跟踪窗口。
5.一种目标跟踪***，其特征在于，包括：
获取模块，用于在当前帧图像中获取初步跟踪窗口，在所述初步跟踪窗口中提取跟踪目标的FAST特征点；
计算模块，用于判断是否存在上一帧图像，若是，则利用所述上一帧图像与所述当前帧图像计算所有所述FAST特征点的光流信息的高斯加权和；
预测模块，用于利用所述初步跟踪窗口和所述光流信息的高斯加权和进行Kalman滤波预测，得到预测跟踪窗口；
第一计算模块，用于计算所述初步跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第一Bhattacharyya距离；
第二计算模块，用于计算所述预测跟踪窗口中的所述跟踪目标的位置，与所述上一帧图像中的所述跟踪目标的位置之间的第二Bhattacharyya距离；
确定模块，用于将所述第一Bhattacharyya距离与所述第二Bhattacharyya距离中较小值对应的跟踪窗口作为最终跟踪窗口，计算所述最终跟踪窗口的中心点坐标与所述当前帧图像的中心点坐标的差值；
发送模块，用于根据所述差值向舵机发送控制命令，以便所述舵机根据所述最终跟踪窗口调整云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
6.根据权利要求5所述的目标跟踪***，其特征在于，所述获取模块具体包括：
转换单元，用于将所述当前帧图像转换为颜色空间YCrCb，在所述颜色空间YCrCb中获取人体肤色区域，所述颜色空间YCrCb中的Cr分量为140-160中的任一值、Cb分量为72-137中的任一值；
获取单元，用于利用Camshift算法根据颜色概率在所述颜色空间YCrCb中获取所述初步跟踪窗口；
提取单元，用于在所述初步跟踪窗口中提取跟踪目标的FAST特征点。
7.根据权利要求5所述的目标跟踪***，其特征在于，所述发送模块具体包括：
计算单元，用于根据所述差值确定需要旋转的角度，并根据所述角度计算旋转时间；
发送单元，用于向舵机发送控制命令，所述控制命令至少包括所述旋转时间和所述角度，以便所述舵机调整所述云台相机的角度直至所述跟踪目标处于所述当前帧图像的中央位置。
8.根据权利要求5-7任一项所述的目标跟踪***，其特征在于，所述预测模块具体包括：
观测单元，用于利用所述初步跟踪窗口和所述光流信息的高斯加权和，通过观测模型公式得到观测模型Z(k)，所述观测模型公式为：
Z(k)＝H1X(k)+H2S(k)+V(k)；
其中，k为当前帧，X(k)为所述跟踪目标在当前帧的运动状态信息，S(k)为根据云台相机的速度通过视场角运算后的平面速度，V(k)为服从高斯分布的测量噪声，H1、H2为观测矩阵；
预测单元，用于根据所述观测模型Z(k)得到所述预测跟踪窗口。
9.一种云台相机装置，其特征在于，包括：
存储器，用于存储目标跟踪程序；
处理器，用于执行所述目标跟踪程序时实现如权利要求1至4任一项所述目标跟踪方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有目标跟踪程序，所述目标跟踪程序被处理器执行时实现如权利要求1至4任一项所述目标跟踪方法。
CN201711078487.5A 2017-11-06 2017-11-06 一种目标跟踪方法、***及其使用的云台相机 Active CN107862704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711078487.5A CN107862704B (zh) 2017-11-06 2017-11-06 一种目标跟踪方法、***及其使用的云台相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711078487.5A CN107862704B (zh) 2017-11-06 2017-11-06 一种目标跟踪方法、***及其使用的云台相机

Publications (2)

Publication Number Publication Date
CN107862704A CN107862704A (zh) 2018-03-30
CN107862704B true CN107862704B (zh) 2021-05-11

Family

ID=61701062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711078487.5A Active CN107862704B (zh) 2017-11-06 2017-11-06 一种目标跟踪方法、***及其使用的云台相机

Country Status (1)

Country Link
CN (1) CN107862704B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848304B (zh) * 2018-05-30 2020-08-11 影石创新科技股份有限公司 一种全景视频的目标跟踪方法、装置和全景相机
CN108986071B (zh) * 2018-05-31 2020-12-01 上海扩博智能技术有限公司 叶片自动检测跟踪方法、***、设备及存储介质
US11399137B2 (en) * 2018-08-10 2022-07-26 Aurora Flight Sciences Corporation Object-tracking system
CN109461174B (zh) * 2018-10-25 2021-01-29 北京陌上花科技有限公司 视频目标区域跟踪方法和视频平面广告植入方法及***
CN109544590B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN109658442B (zh) * 2018-12-21 2023-09-12 广东工业大学 多目标跟踪方法、装置、设备及计算机可读存储介质
CN109605397A (zh) * 2019-01-11 2019-04-12 山东元脉电子技术股份有限公司 具有自动跟踪功能的人工智能教育机器人及其控制方法
CN110086973B (zh) * 2019-05-10 2020-11-27 中国计量大学 一种基于光流相机的云台稳像***
WO2021184326A1 (zh) * 2020-03-20 2021-09-23 深圳市大疆创新科技有限公司 电子装置的控制方法、装置、设备及***
CN111479063B (zh) * 2020-04-15 2021-04-06 上海摩象网络科技有限公司 云台驱动方法、设备及手持相机
CN112712542B (zh) * 2020-12-25 2024-02-02 武汉大学 一种块匹配与光流法结合的地基云图运动预测方法
CN112907629B (zh) * 2021-02-08 2024-07-16 浙江商汤科技开发有限公司 图像特征的跟踪方法、装置、计算机设备及存储介质
CN117097918B (zh) * 2023-10-19 2024-01-09 奥视(天津)科技有限公司 一种直播显示器设备及其控制方法
CN117218161B (zh) * 2023-11-09 2024-01-16 聊城市敏锐信息科技有限公司 一种鱼缸内鱼类轨迹跟踪方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123544A (zh) * 2014-07-23 2014-10-29 通号通信信息集团有限公司 基于视频分析的异常行为检测方法及***
CN104200494A (zh) * 2014-09-10 2014-12-10 北京航空航天大学 一种基于光流的实时视觉目标跟踪方法
CN104616318A (zh) * 2015-01-22 2015-05-13 重庆邮电大学 一种视频序列图像中的运动目标跟踪方法
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
US9696404B1 (en) * 2014-05-06 2017-07-04 The United States Of America As Represented By The Secretary Of The Air Force Real-time camera tracking system using optical flow feature points

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574433A (zh) * 2013-10-14 2015-04-29 株式会社理光 对象跟踪方法和设备、跟踪特征选择方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696404B1 (en) * 2014-05-06 2017-07-04 The United States Of America As Represented By The Secretary Of The Air Force Real-time camera tracking system using optical flow feature points
CN104123544A (zh) * 2014-07-23 2014-10-29 通号通信信息集团有限公司 基于视频分析的异常行为检测方法及***
CN104200494A (zh) * 2014-09-10 2014-12-10 北京航空航天大学 一种基于光流的实时视觉目标跟踪方法
CN104616318A (zh) * 2015-01-22 2015-05-13 重庆邮电大学 一种视频序列图像中的运动目标跟踪方法
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Head detection using motion features and multi level pyramid architecture;Fu-Chun Hsu等;《Computer Vision and Image Understanding》;20150423;第38-49页 *
动态背景下的稀疏光流目标提取与跟踪;兰红 等;《中国图象图形学报》;20160616(第6期);第771-780页 *
基于ORB特征的目标检测与跟踪的研究;谢成明;《中国优秀硕士学位论文全文数据库信息科技辑》;20140415(第4期);第I138-1091页 *

Also Published As

Publication number Publication date
CN107862704A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN107862704B (zh) 一种目标跟踪方法、***及其使用的云台相机
US20220343598A1 (en) System and methods for improved aerial mapping with aerial vehicles
US10871258B2 (en) Method and system for controlling gimbal
US10594941B2 (en) Method and device of image processing and camera
CN109035394B (zh) 人脸三维模型重建方法、装置、设备、***及移动终端
CN110799921A (zh) 拍摄方法、装置和无人机
CN104144282B (zh) 一种适用于空间机器人视觉***的快速数字稳像方法
Shen et al. Video stabilization using principal component analysis and scale invariant feature transform in particle filter framework
CN106529538A (zh) 一种飞行器的定位方法和装置
CN106886748B (zh) 一种基于tld的适用于无人机的变尺度目标跟踪方法
CN105678809A (zh) 手持式自动跟拍装置及其目标跟踪方法
CN110458877B (zh) 基于仿生视觉的红外与可见光信息融合的导航方法
CN106973221B (zh) 基于美学评价的无人机摄像方法和***
CN110337668B (zh) 图像增稳方法和装置
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN113630549A (zh) 变焦控制方法、装置、电子设备和计算机可读存储介质
CN114170290A (zh) 图像的处理方法及相关设备
Abate et al. Remote 3D face reconstruction by means of autonomous unmanned aerial vehicles
CN111951295A (zh) 基于多项式拟合高精度确定飞行轨迹的方法、装置和电子设备
CN111951178A (zh) 显著提升图像质量的图像处理方法、装置和电子设备
Zhen et al. Multi-image motion deblurring aided by inertial sensors
CN108269278B (zh) 一种场景建模的方法及装置
CN115471555A (zh) 一种基于图像特征点匹配的无人机红外巡检位姿确定方法
CN107135331B (zh) 低空飞行场景的无人机视频稳定方法和装置
Lee et al. A gyro-based tracking assistant for drones with uncooled infrared camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant