CN106355606A

CN106355606A - 一种无人机高速目标图像跟踪方法

Info

Publication number: CN106355606A
Application number: CN201610768445.3A
Authority: CN
Inventors: 王宜贤; 石德乐
Original assignee: Shandong Institute of Space Electronic Technology
Current assignee: Shandong Institute of Space Electronic Technology
Priority date: 2016-08-30
Filing date: 2016-08-30
Publication date: 2017-01-25

Abstract

本发明公开了一种无人机高速目标图像跟踪方法。使用本发明能够实现对高速目标的精确、实时跟踪。本发明通过对图像实时跟踪误差的分析，引入两种现有的图像跟踪算法，一个实现快速跟踪，一个实现高精度跟踪。通过高精度算法结果对快速算法的修正，提高了快速算法的精度，同时还利用Kalman滤波技术对计算周期内的无人机运动位移进行补偿，实现了高速无人机图像跟踪对快速性和准确性的要求。

Description

一种无人机高速目标图像跟踪方法

技术领域

本发明涉及高速图像处理跟踪技术领域，具体涉及一种无人机高速目标图像跟踪方法。

背景技术

为对处于飞行状态的无人机进行无线充能，需要对高动态的无人机进行实时、准确地识别和跟踪，然后才能进行无线能量传输。这一过程分为两个环节：首先利用CCD器件捕捉无人机图像序列，通过图像处理技术获得目标的图像坐标；其次将坐标信息传给姿态定位及转台跟踪***实施充能动作。如何利用图像处理技术获得准确的无人机实时坐标，这是无线充能***的关键一环。

在图像处理领域，对动态目标的识别、跟踪一直是一个备受关注的问题。但对高速无人机无线充能***，对图像目标跟踪有更高的要求。在充能过程中，充能装置需要一直对准快速无人机的能量接受装置，这要求图像跟踪算法必须同时具备快速性和准确性。

在常规的图像跟踪算法中，高速算法，如差帧法、模板匹配法、重心迭代等，能满足跟踪快速性的要求，但在实际跟踪环境中的抗干扰能力较差，出现较强的干扰噪音的时候会产生较大的跟踪误差。而高精度跟踪算法，如Mean shift算法，虽有较好的抗干扰性，但算法的处理周期较长，无法满足快速性要求。

发明内容

有鉴于此，本发明提供了一种无人机高速目标图像跟踪方法，能够实现对高速目标的精确、实时跟踪。

本发明的无人机高速目标图像跟踪方法，包括如下步骤：

步骤1，分别采用高速跟踪算法和高精度跟踪算法同时对目标图像进行跟踪，并以高速跟踪算法获得的k时刻的目标图像坐标作为k时刻的初步跟踪结果；

步骤2，对k时刻的初步跟踪结果进行修正：

步骤2.1，以步骤1中两个算法在相同时刻获得的目标图像坐标之差作为该时刻的算法误差，对历史算法误差进行统计分析，获得k时刻的算法误差估计值；

步骤2.2，将步骤1获得的k时刻的初步跟踪结果减去步骤2.1获得的k时刻的算法误差估计值，即获得k时刻的目标图像坐标修正结果；

步骤3，对步骤2.2获得的目标图像坐标修正结果进行卡尔曼滤波，得到最终的目标图像跟踪结果。

进一步地，所述k时刻的算法误差估计值的获取方法为：建立单个神经元模型，以历史算法误差作为输入，利用之前若干周期训练学习所得到的权值结果，计算神经元的输出，并将其输出作为k时刻的算法误差估计值。

进一步地，所述高速跟踪算法为差帧法、模板匹配法或重心迭代法。

进一步地，所述高精度跟踪算法为均值漂移算法。

有益效果：

在高速无人机图像跟踪问题中，跟踪算法需要同时满足快速性和准确性这两个要求，这两个目标难以用一个现有常规的算法单独实现。本发明通过对图像实时跟踪误差的分析，引入两种现有的图像跟踪算法，一个实现快速跟踪，一个实现高精度跟踪。通过高精度算法结果对快速算法的修正，提高了快速算法的精度，同时还利用Kalman滤波技术对计算周期内的无人机运动位移进行补偿，实现了高速无人机图像跟踪对快速性和准确性的要求。

附图说明

图1为跟踪***跟踪误差示意图。其中，A₀表示无人机的实时位置；A₁表示CCD采集图像时刻无人机的位置；B₁表示对CCD图像进行处理得到的位置观测值。

图2为本发明的无人机高速目标图像跟踪方法流程图。

图3为基于双轨制的图像跟踪算法周期组成。

图4为不同图像跟踪算法周期之间的时序搭配。

图5为高速环境下双轨跟踪与帧差法跟踪误差对比

图6为实际运用中的算法仿真结果。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种无人机高速目标图像跟踪方法，为达到高速无人机实时图像跟踪的实际要求，将高速算法和高精度跟踪算法进行融合：对无人机飞行采集的CCD图像并行运行高速算法和高精度跟踪算法，同时进行图像目标跟踪，用高精度跟踪算法的结果对高速算法的结果进行修正，然后将修正的结果看作无人机***的观测量，建立Kalman滤波方程对无人机位置进行实时预报，从而实现对高速无人机的实时跟踪。

无人机在t时刻的位置记为W_t，CCD在时刻t采集到的无人机图像记为G_t。图像处理程序记为P，对图像G_t的处理的结果记为P(G_t)，它可看成无人机在图像采集时刻t的位置的观测值。但这一观测值不能准确表示无人机的实时位置，两者之间存在偏差，本发明将这一偏差分解为两部分：首先是观测值与图像采集时刻无人机位置之间的偏差，这一偏差是在图像处理过程产生，源于对噪声过滤的算法和目标分割的算法等因素，称这一偏差为算法偏差；另一个是由于图像处理过程需要时间，在这一时间内，无人机会移动一段距离，这也使得观测值不能准确反映无人机的实时位置，称这一偏差为时延误差，如图1所示。图1中，|A₀-A₁|为时延误差，|A₁-B₁|为算法误差。

算法误差|A₁-B₁|的大小由算法自身的精度决定，而时延误差|A₀-A₁|则取决于算法实现需要的时间。高精度的算法虽算法误差小，但计算周期较长，会导致较大的时延误差；反之，快速的算法虽能减少时延误差，但是会加大算法误差。所以，在给定的硬件环境下，单一的图像跟踪算法难以同时具备精确性和快速性。为此，本发明同时引入快速的图像处理算法和高精度的图像处理算法，通过使用高精度跟踪算法的结果修正高速跟踪算法的结果，在保证快速性的前提下提高图像处理的精度，减少算法误差。其中，采用Kalman滤波技术克服时延误差，将融合了两种算法的图像处理结果作为无人机***的观测值，进行Kalman滤波，将Kalman滤波获得的预报值作为无人机位置的实时位置。

图2为本发明无人机跟踪流程示意图。具体步骤如下：

步骤1，分别采用高速跟踪算法和高精度跟踪算法同时对目标图像进行跟踪。其中，高速跟踪算法如差帧、模板匹配和重心迭代，跟踪速率快但跟踪精度较低；高精度跟踪算法如均值漂移算法，跟踪速率慢但精度较高。

假设CCD采集图像的周期为T，在kT,k＝0,1,2,…，时刻采集的无人机图像组成一个图像序列，记为G₀,G_T,G_2T,…,G_kT,…；高速跟踪算法程序记为P_g，算法周期为T_g≤T；高精度跟踪算法程序记为P_j，计算周期为T_j≥NT，N为一个高精度算法周期内所包含的图像采集周期数目。

高速跟踪算法P_g对kT时刻采集的图像G_kT进行处理，在kT+T_g时刻得到结果，记为A[(k+1)T]，它是无人机在kT时刻位置的估计值，这一过程表示为

A[(k+1)T]＝P_j(G_kT)-P_g(G_kT)

高速跟踪算法产生的快速坐标序列记为A[T],A[2T],…,A[kT],…。

高精度跟踪算法P_j对kNT时刻采集的图像G_kNT处理，在kNT+T_j时刻得到结果记为B[(k+1)NT)，它是无人机在kNT时刻的观测值，这一过程表示为

B[(k+1)NT]＝P_j(G_kNT)

高精度跟踪算法产生的高精度坐标序列记为B[NT],B[2NT],…,B[kNT],…。

步骤2，对k时刻目标图像坐标初步跟踪结果进行修正。

在本发明所涉及的跟踪逻辑中，由于植入算法的工作周期不同，使得快速跟踪图像算法与高精度图像跟踪算法不能做到同周期的算法匹配，为了提高整体跟踪算法的计算速率，需要充分运用时序资源，这里对两个模块的算法并行化处理。

图3显示的是一个图像跟踪算法的内部时序搭配构成。由于高精度算法的处理周期较长，故这里将高精度算法与N个快速跟踪算法的计算周期并行化，其中，高精度算法与其时序左对齐的高速算法处理的是同一帧图像，通过一个整体图像跟踪算法周期可以得到两种结果：N个快速跟踪算法周期对k+T～k+NT时间段所获取图像进行处理所得到的N个目标图像坐标估计值和一个高精度算法周期所得到的k时刻目标图像坐标精确值。将一个高精度算法周期所包含的所有的计算步骤视为一个完整的图像跟踪算法周期，通过对k时刻坐标估计值和精确值得对比，可得在k时刻算法误差的实际值，记为P_j(G_kT)-P_g(G_kT)。

由于高精度算法的处理时间较长，对同一帧图像的处理速率要慢于快速跟踪算法，故高精度的修正数据无法对同周期内的高速算法结果做出修正。这里首先对之前若干相邻周期的算法数据进行分析，并以此作为样本对下一时刻的算法误差做出最优估计，最后将其作为修正参数对下一时刻的高速算法输出结果进行修正，具体设计思路如下。

将k时刻的图像跟踪算法周期作为当前时刻，如图4所示，跟踪***通过对之前m个图像跟踪算法周期所得到的算法误差进行拟合，并对k时刻的算法误差做最优估计，并将其作为修正参数输入到k时刻图像跟踪算法周期所包含的N个快速跟踪算法输出结果进行修正。而在高精度跟踪算法得到目标图像在k时刻的目标图像精确值后，再通过与之前所得到的k时刻目标图像坐标估计值进行对比，得到k时刻算法误差的实际值，并将其作为输入参数放入下一个拟合模块，从而对k+NT时刻所获取图像的算法误差进行预测。

具体包括如下子步骤对k时刻目标图像坐标初步跟踪结果进行修正：

步骤2.1，以两个算法在相同时刻获得的目标图像坐标之差作为该时刻的算法误差，即k时刻两个算法的算法误差L^k为为高速跟踪算法获得的k时刻目标图像坐标，为高精度算法获得的k时刻的目标图像坐标。对历史算法误差进行统计，T_j为高精度算法的计算周期，根据历史算法误差统计结果，获得k时刻的算法误差估计值

步骤2.2，利用步骤2.1获得的k时刻的算法误差的估计值对k～k+T_j时段所包含的目标初步跟踪结果进行修正，获得修正结果；其中，m为一个高精度算法周期T_j内所包含的高速算法周期T_g个数；

步骤3，对步骤2获得的修正结果进行卡尔曼滤波，以实现对时延误差的修正；卡尔曼滤波结果即为最终目标图像跟踪结果。

本发明引入Kalman滤波方法消除时延误差。首先为高速无人机***建立Kalman滤波所需的状态方程和观测方程。

在无人机目标图像跟踪环境中，视频图像采集时间间隔较短，无人机在一个图像采集周期内的运动可看作是匀速的。定义时nT刻卡尔曼滤波的***状态为X_n＝(x_n-1,y_n-1,x_n,y_n)^T，其中(x_n-1,y_n-1)和(x_n,y_n)分别为无人机在(n-1)T时刻和nT时刻所在的位置。设为nT时刻无人机在x轴和y轴方向的运动速度，则有

v_{n}^{(x)} = \frac{x_{n} - x_{n - 1}}{T}, v_{n}^{(y)} = \frac{y_{n} - y_{n - 1}}{T}

则对于n+1时刻的无人机的坐标有

x_{n + 1} = x_{n} + {Tv}_{n}^{(x)}, y_{n + 1} = y_{n} + {Tv}_{n}^{(y)}

于是可以建立无人机的状态转移方程

X_{n} = [\begin{matrix} 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \\ - 1 & 0 & 2 & 0 \\ 0 & - 1 & 0 & 2 \end{matrix}] X_{n - 1} + W_{n}

其中W_n为状态转移过中存在的干扰白噪音。

将修正后的图像跟踪结果看作无人机***在nT时刻的观测量，可以建立观测方程

{\tilde{X}}_{n} = [\begin{matrix} \frac{T}{T_{r}} & 0 & \frac{T - T_{r}}{T} & 0 \\ 0 & \frac{T}{T_{r}} & 0 & \frac{T - T_{r}}{T} \end{matrix}] X_{n} + V_{n}

其中V_n为观测过程中存在的高斯白噪音。

关于***的过程噪声和观测噪声的统计特性，假定如下：

\{\begin{matrix} E [W_{k}] = 0, E [W_{k} W_{j}^{T}] = Q_{k} δ_{k j} \\ E [V_{k}] = 0, E [V_{k} V_{j}^{T}] = R_{k} δ_{k j} \\ E [W_{k} V_{j}^{T}] = 0 \end{matrix}

其中Q_k是***过程噪声W_k的4阶协方差矩阵，R_k是***观测噪声V_k的2阶协方差阵，而δ_kj是Kronecker-δ函数。

根据建立的状态方程和观测方程，可以执行标准的Kalman滤波步骤。由关于(n-1)T时刻观测值可以得到当前nT时刻的预报值这个预报值可以作为无人机的当前时刻的实时位置，传输给转台进行操作。

下面结合具体数据进行说明。

根据问题工程背景的实际要求，无人机飞行CCD图像的分辨率被设置为480×600像素，图像采集频率为48Hz，周期T≈20.8ms，目标图像坐标定位的误差要小于1个单位像素值。为保证对图像跟踪的实时性，要求算法的处理周期在20ms以内。高速跟踪算法采用帧差法，其平均计算周期约为T_r＝13.2ms＜T，小于图像采集周期。高精度跟踪算法采用Meanshift方法，其平均运算周期约为T_h＝126.1ms＜7T。

通过CCD在真实场景下采集无人机飞行的图像序列，在Matlab环境下对算法进行仿真验证。图5表示的是单一的使用的帧差算法和本发明所设计的并行双轨算法在高速跟踪环境下的***跟踪误差值。为更直接地表示仿真得到的跟踪效果，这里将Mean shift算法对离线视频二次处理所得到的目标轨迹坐标值作为真值对比模板。而时延误差则由图像采样周期与无人机飞行速度共同决定，这里认为图像的时延误差为偏移两个采样位移量，即认为k时刻目标图像所对应的坐标实际值为k+2时刻的坐标测量值。得到的结果如图6所示

进一步，表1给出单纯的差帧法、Mean shift算法和本发明的融合算法在快速性和准确性方面的一个比较结果。

表1 不同图像处理算法在给定跟踪环境下的参数指标比较

实验算法	平均处理速率	算法误差	时延误差
				差帧法	14.1ms	4.228像素	5.322像素
Mean shift法	157.1ms	0像素	8.341像素
				双轨跟踪算法	18.4ms	2.140像素	2.779像素

在仿真实验对比中，就跟踪快速性而言，差帧法领先其他两种算法。但抗干扰能力较差，在较低的干扰背景下，差帧法的输出数据与坐标实际值误差维持在一个像素以内。但图像的背景干扰较强的时候，单纯的差帧法的跟踪误差较大，超过一个像素。Mean shift作为高精度算法，可以在较强的背景干扰下准确识别和跟踪飞行器，但Mean shift算法复杂，计算耗时较长，特别当目标区域待处理像素点过多时，算法所需的处理时间会成倍提高，故Mean shift算法不适用于大部分高速跟踪场合。本发明的融合算法可以综合差帧法和Meanshift算法各自的优势，在增加计算资源的代价下，获得既满足快速性有保证准确性的实时跟踪结果。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种无人机高速目标图像跟踪方法，其特征在于，包括如下步骤：

步骤2，对k时刻的初步跟踪结果进行修正：

2.如权利要求1所述的无人机高速目标图像跟踪方法，其特征在于，所述k时刻的算法误差估计值的获取方法为：建立单个神经元模型，以历史算法误差作为输入，利用之前若干周期训练学习所得到的权值结果，计算神经元的输出，并将其输出作为k时刻的算法误差估计值。

3.如权利要求1所述的无人机高速目标图像跟踪方法，其特征在于，所述高速跟踪算法为差帧法、模板匹配法或重心迭代法。

4.如权利要求1所述的无人机高速目标图像跟踪方法，其特征在于，所述高精度跟踪算法为均值漂移算法。