CN105657432A - 一种面向微型无人机的视频稳像方法 - Google Patents

Abstract

本发明提供一种面向微型无人机的视频稳像方法，该方法分为两个部分，第一部分通过计算当前帧的旋转角度，对视频进行消除旋转处理；第二部使用位平面匹配算法计算当前帧的全局运动量，并对全局运动量进行曲线拟合，达到消除视频抖动的目的。本发明提出的面向微型无人机的视频稳像方法能够高效实时的处理视频稳像，适合存在各种角度旋转的视频，且能够有效地消除视频抖动，较好的满足无人机视频稳像这一特定应用领域的需求。

Description

一种面向微型无人机的视频稳像方法

技术领域

本发明涉及图像处理技术领域，具体的涉及一种面向微型无人机的视频稳像方法。

背景技术

近年来，随着自动化技术的不断提高，无人机在军用、工业和民用领域都得到了快速发展。基于无人机拍摄的视频处理也成为计算机视觉领域中一个重要分支。无人机在飞行过程中不可避免的存在机身晃动和动作突变，导致获取的视频图像出现模糊晃动等现象，严重影响了后续视频处理的效果。因此，使用稳像技术来对这种模糊晃动视频进行处理，在无人机视频分析领域有非常好的应用前景。

稳像方法是指由于拍摄平台自身不稳定，导致通过该平台获取的图像模糊晃动的视频进行防抖处理，最终得到一个稳定且流畅的视频图像序列的方法。稳像方法大体可以分为3类：机械稳像、光学稳像和电子稳像。其中机械稳像和光学稳像由于设备制造难度大、成本高、体积大等缺点，在应用中多受限制。而电子稳像具有成本低、易操作、灵活性强等优点，是目前稳像技术领域的研究热点。

常见的电子稳像方法有：块匹配法、灰度投影法和特征匹配法。

块匹配法是最常见的运动矢量估计方法，通过合适的搜索路径，快速准确搜索最佳匹配块得到运动矢量。但块匹配法是基于块内运动一致性的假设，只能估计平移运动，当图像存在旋转运动时，所得结果精度较低甚至会出现误匹配情况，限制了该方法的实际应用。

灰度投影法图像处理速度较快，但对所处理图像的质量要求较高，这主要是因为如果所处理图像质量较低，则灰度投影曲线变化不明显，难以精确的求出运动矢量。

特征匹配法是选取图像中的典型特征，如边缘、轮廓和角点等特征，通过特征匹配来进行运动估计。其中的关键技术是如何提取特征和匹配正确的特征。由于该方法较好的接近人类的视觉特性并且大量使用图像的有用信息，能提供较好的稳像结果。这类方法为了稳像的效果，往往使用比较复杂的特征，特征提取和特征匹配计算量比较大，不利于实时处理。而且实际处理中该方法一般只能对旋转角度较小的视频进行稳像，对同时存在大角度旋转和抖动的视频稳像效果较差。

无人机作为一种特殊的飞行载体，具有更为复杂的运动特性，导致拍摄的视频往往存在大量的大角度旋转和剧烈抖动图像。另外，无人机视频通常被用于实时处理***，例如跟踪***。这些情况都需要稳像方法能实时对视频进行处理。所以如何设计合理的稳像方法，能够同时处理存在大角度旋转和抖动的视频，又要具有较高的实时处理能力，还不能耗费较多的资源，现有各类稳像方法均无法较好的解决这个难题。

发明内容

本发明的目的在于提供一种面向微型无人机的视频稳像方法，该发明解决了现有技术中稳像处理方法无法实时高效的处理存在大角度旋转和抖动的视频的技术问题。

本发明提供了一种面向微型无人机的视频稳像方法，包括以下步骤：

步骤S100：将通过无人机获得的视频中的两两相邻帧图像分别设为参考帧和当前帧，将参考帧和当前帧分别均匀分为多个子区域，在每个子区域内提取一个区域特征点，将每个区域特征点描述为128维的特征向量，并对当前帧区域特征点集合F₁和参考帧区域特征点集合F₂通过双向最近邻距离比匹配法，求得从当前帧到参考帧匹配点集合{<dot,dot′>,dot∈F₁,dot′∈F₂}和从参考帧到当前帧的匹配点集合{<dot',dot>,dot′∈F₂,dot∈F₁}，并将二者的交集作为匹配点集合M；

步骤S200：通过相似变换模型获得参考帧和当前帧之间的估计旋转角度，累加多个相邻帧之间的估计旋转角度，得到当前帧相对于第l帧的旋转角度，将当前帧旋转旋转角度，得到消除旋转的视频；

步骤S300：通过位平面匹配法计算消除旋转的视频中的旋转当前帧的全局运动量μ^t，并对全局运动量μ^t进行曲线拟合，得到主运动量按得到旋转当前帧的运动补偿量依据运动补偿量对旋转当前帧进行补偿，得到稳定的视频。

进一步地，步骤S100中包括以下步骤：

步骤S110：将参考帧与当前帧的两幅图像均匀地分为多个子区域，在每个子区域中使用FAST角点检测算法对每个子区域进行检测，得到检测特征点；

步骤S120：如果检测特征点为多个，则通过随机方式从检测特征点中任选一个特征点作为该子区域的特征点，如果检测特征点为零，则选取该子区域的中间点作为该子区域的特征点。

进一步地，步骤S100中将区域特征点描述为特征向量，包括以下步骤：

步骤S130：以区域特征点为中心，以8为半径的领域范围内的图像作为区域特征点对应的图像块P(x,y)，图像块P(x,y)的尺寸为16*16；

步骤S140：根据公式(1)～(2)计算图像块P(x,y)的每一个像素的梯度幅值G(x,y)和每一个像素的方向λ(x,y)，

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}---\left(1\right)$

λ(x,y)＝arctan(G_x(x,y)/G_y(x,y))(2)

其中，G_x(x,y)为图像块P(x,y)的水平方向梯度幅值，G_y(x,y)为图像块P(x,y)的垂直方向梯度幅值，计算公式如下：

G_x(x,y)＝(-101)*P(x,y)(3)

G_y(x,y)＝(-101)^T*P(x,y)(4)

步骤S150：将图像块P(x,y)均匀的划分成4*4的子块，得到16个图像子块block，将梯度方向空间0～2π等分成8个方向，在每个block图像里面统计每个方向的直方图，并使用梯度幅值G(x,y)作为权重，每个block图像可以得到一个8维向量，16个block图像共得到128维向量。

进一步地，步骤S100中双向最近邻距离比匹配法包括以下步骤：

步骤S160：取当前帧区域特征点集合F₁中任一区域特征点dot0，其对应的特征向量ft_dot0，求区域特征点dot0在参考帧区域特征点集合F₂中的最近邻点dot1和第二近邻点dot2，记区域特征点dot0和最近邻点dot1的距离为Dist1，记区域特征点dot0和第二近邻点dot2的距离为Dist2，Dist1和Dist2按公式(5)～(6)计算：

$Dist1=\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot1}\left|\right|=\underset{dot\&Element;F_2}{min}\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot}\left|\right|---\left(5\right)$

$Dist2=\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot2}\left|\right|=\underset{dot\&Element;F_2-\left\{dot1\right\}}{min}\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot}\left|\right|---\left(6\right)$

如果Dist1/Dist2<0.8，则将dot0和dot1记为一对匹配点集<dot0,dot1>；

步骤S170：按步骤S160中的步骤遍历当前帧区域特征点集合F₁中的所有区域特征点，将满足Dist1/Dist2<0.8条件的所有区域特征点记录于当前帧到参考帧的匹配点集合{<dot,dot′>,dot∈F₁,dot′∈F₂}中；

步骤S180：按照步骤S160中的步骤遍历参考帧区域特征点集合F₂中的所有区域特征点，求取参考帧区域特征点集合F₂在当前帧区域特征点集合F₁中的匹配点，得到参考帧到当前帧匹配点集合{<dot',dot>,dot′∈F₂,dot∈F₁}；

步骤S190：计算当前帧到参考帧匹配点集合{<dot,dot′>,dot∈F₁,dot′∈F₂}和参考帧到当前帧匹配点集合{<dot',dot>,dot′∈F₂,dot∈F₁}的交集，作为匹配点集合M。

进一步地，步骤S200包括以下步骤：

步骤S210：以相似变换作模型为两相邻帧图像之间的变换模型，记A(x,y)和A′(x′,y′)为匹配点集合M中的任一对匹配点，相似变换模型方程为公式(7)：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\&epsiv;}\&CenterDot;cos\mathrm{\&theta;}& -\mathrm{\&epsiv;}\&CenterDot;sin\mathrm{\&theta;}& tx\\ \mathrm{\&epsiv;}\&CenterDot;sin\mathrm{\&theta;}& \mathrm{\&epsiv;}\&CenterDot;\cos \mathrm{\&theta;}& ty\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(7\right)$

其中，θ为视频的估计旋转角度、ε为缩放因子、x，y，为A(x,y)中的任一对匹配点、x′，y′为A′(x′,y′)中的任一对匹配点、tx为水平方向上的平移量和ty为垂直方向上的平移量；

步骤S220：通过匹配特征对匹配点集合M采用随机抽样一致RANSAC算法求解相似变换模型方程，得到估计旋转角度θ、缩放因子ε、水平方向上的平移量tx和垂直方向上的平移量ty；

步骤S230：从视频的第1帧图像开始，对任两相邻帧重复步骤S210～S220得到视频中所有相邻两帧图像的估计旋转角度θ；

设为第t帧相对于第t-1帧的旋转角度，则第t帧相对于第1帧的旋转角度为根据求得的是旋转角度对当前帧进行旋转，得到消除旋转的视频帧。

进一步地，步骤S300包括以下步骤：

步骤S310：将消除旋转的视频中任一帧灰度为0～255的图像在(x,y)位置的像素值表示为：

f(x,y)＝a₇2⁷+a₆2⁶+…+a₀2⁰(8)

其中a_k取0或1，0≤k≤7，为初始的比特值；

将a_k改写成g_k，作为改进的比特值：

$\begin{array}{c}{g}_k=a_k\&CirclePlus;a_{k+1},0\&le;k\&le;6\\ g_7=a_7\end{array}---\left(9\right)$

其中表示异或操作；

步骤S320：任一帧图像上的每个像素有8个比特值g_k，所有像素的第k个比特值组成第k阶比特平面b_k(x,y)，任一帧图像上共有8个比特平面图像b₀(x,y)～b₇(x,y)，选取第4位平面图像进行匹配，得到参考帧的第4位平面图像和当前帧的第4位平面图像，分别记为Cb₄和Db₄；

在图像Cb₄的四角和中心位置处各选择一个M×N的子图像，共得到5个子图像Csub1,…,Csub5，用一个M×N的窗口在图像Db₄上进行滑动，每一次的滑动都在图像Db₄上得到一个M×N的子图像，记为Dsubi，计算子图像Csubi和子图像Dsubi的匹配度：

$DT=\frac{1}{MN}\underset{x=0}{\overset{M-1}{\&Sigma;}}\underset{y=0}{\overset{N-1}{\&Sigma;}}Dsubi(x,y)\&CirclePlus;Csubi(x,y)---\left(10\right)$

当DT取值最小时，所对应的两幅图像为最佳匹配；分别在图像Db₄上计算Csub1,…,Csub5对应的最佳匹配块图像，分别记为Dsub1,…,Dsub5；最佳匹配的两幅图像{Csubi,Dsubi|i＝1,…,5}的坐标偏移量记为(m_i,n_i)，即为子图像Csubi的运动矢量；

步骤S330：参考帧的5个子图像中的每一个子图像，按步骤S310～320计算得到子图像Csubi和子图像Dsubi的运动矢量，对5个运动矢量经过中值滤波处理得到当前帧的运动矢量μ；

从视频的第1帧开始对每一帧图像均按步骤S310～330计算两相邻帧的运动矢量，设为第t帧相对于第t-1帧的运动矢量，累加多帧图像的运动矢量得到当前帧对第1帧的全局运动量全局运动量按下式计算得到：

${\mathrm{\&mu;}}_1^t=\underset{i=1}{\overset{t-1}{\&Sigma;}}{\mathrm{\&mu;}}_i^{i+1}---\left(11\right);$

采用最小二乘法对运动矢量进行曲线拟合，记平滑后的矢量为主运动量当前帧的运动补偿量按下式计算：

${\mathrm{\&mu;}}_c^t={\mathrm{\&mu;}}_1^t-{\mathrm{\&mu;}}_s^t---\left(12\right)$

依据所得运动补偿量对当前帧进行补偿，得到稳定的视频。

本发明的技术效果：

本发明提供面向微型无人机的视频稳像方法，通过将稳像处理分为两个部分，第一部分计算当前帧的旋转角度，对视频进行消除旋转处理，第二部分使用位平面匹配算法计算当前帧的全局运动量，并对全局运动量进行曲线拟合，从而达到实时高效的处理存在大角度旋转、抖动视频的目的。

本发明提供的面向微型无人机的视频稳像方法，能够高效实时的处理视频稳像，特别是将视频的旋转和抖动分开，针对旋转和抖动两种不同的运动进行有针对性的处理，因而该方法能存在各种角度旋转的抖动视频，且能够有效地消除视频的抖动，能够很好的满足无人机视频稳像这一特定应用领域的要求。

具体请参考根据本发明的一种面向微型无人机的视频稳像方法提出的各种实施例的如下描述，将使得本发明的上述和其他方面显而易见。

附图说明

图1是本发明优选实施例面向微型无人机的视频稳像方法流程示意图。

具体实施方式

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

本发明提供方法用于处理无人机拍摄的存在旋转和抖动的视频时，首先通过特征点匹配算法，选取合适的变换模型，计算相邻两帧(前一帧记为参考帧和后一帧记为当前帧)的旋转角度，然后按照相同的角度对当前帧反向旋转，从而消除视频旋转。

参见图1，本发明提供了一种面向微型无人机的视频稳像方法，该方法包括以下步骤：

步骤S100：将通过无人机获得的视频中的两两相邻帧图像分别设为参考帧和当前帧，将参考帧和当前帧分别均匀分为多个子区域，在每个子区域内提取一个区域特征点，将每个区域特征点描述为128维的特征向量，并对当前帧区域特征点集合F₁和参考帧区域特征点集合F₂通过双向最近邻距离比匹配法，求得从当前帧到参考帧匹配点集合{<dot,dot′>,dot∈F₁,dot′∈F₂}和从参考帧到当前帧匹配点集合{<dot',dot>,dot′∈F₂,dot∈F₁}，并将二者的交集作为匹配点集合M；

步骤S200：通过相似变换模型获得参考帧和当前帧之间的估计旋转角度，累加多个相邻帧之间的估计旋转角度，得到当前帧相对于第l帧的旋转角度，将当前帧旋转角度，得到消除旋转的视频帧；

步骤S300：通过位平面匹配法计算当前帧的全局运动量μ^t，并对全局运动量μ^t进行曲线拟合，得到主运动量按得到当前帧的运动补偿量依据运动补偿量对当前帧进行补偿，得到稳定的视频。

此处的双向最近邻距离比匹配法、相似变换模型和位平面匹配法可以为按常规方法进行。采用该方法通过现对无人机获取的视频逐帧进行旋转消除，并利用位平面匹配法对旋转消除后的当前帧图像进行抖动消除，从而充分利用了位平面匹配法高效，消除效果好的优点，同时避免了其对存在旋转的图像抖动消除效果差的弊端，在图像处理效率的基础上提高了消除效果。

优选的，为了高效计算序列图像间的对应关系，本发明提供方法对于特征点的选取具备以下几个特点：选取的特征点应该较均匀地分布于所处理图像之中，且选取的数量应该适中。

优选的，步骤S100包括以下步骤：

步骤S110：将参考帧与当前帧的两幅图像均匀地分为多个子区域，在每个子区域中使用FAST角点检测算法对每个子区域进行检测，得到检测特征点；

步骤S120：如果检测特征点为多个，则通过随机方式从检测特征点中任选一个特征点作为该子区域的特征点，如果检测特征点为零，则选取该子区域的中间点作为该子区域的特征点。

上述步骤主要用于选取特征点。通过这种提取特征点的提取方法，能保证参考帧和当前帧两幅图像的每个子区域中都有一个特征点。为便于后续描述，记参考帧的特征点集合为F₁，当前帧的特征点集合为F₂。

优选的，步骤S100中将区域特征点描述为特征向量，包括以下步骤：

步骤S130：以区域特征点为中心，以8为半径的领域范围内的图像作为该区域特征点对应的图像块P(x,y)，该图像块P(x,y)尺寸为16*16；

步骤S140：根据下式(1)～(2)计算图像块P(x,y)的每一个像素的梯度幅值G(x,y)和每一个像素的方向λ(x,y)，

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}---\left(1\right)$

λ(x,y)＝arctan(G_x(x,y)/G_y(x,y))(2)

其中，G_x为图像块P(x,y)的水平方向梯度幅值，G_y为图像块P(x,y)的垂直方向梯度幅值，计算公式如下：

G_x(x,y)＝(-101)*P(x,y)(3)

G_y(x,y)＝(-101)^T*P(x,y)(4)

步骤S150：将图像块P(x,y)均匀的划分成4*4的子块，得到16个图像子块block，将梯度方向空间0～2π等分成8个方向，在每个block图像里面统计每个方向的直方图，并使用梯度幅值G(x,y)作为权重，每个block图像可以得到一个8维向量，16个block图像共得到128维向量。

这样每一个区域特征点可以得到一个128维的向量，记为该特征点对应的特征向量。该特征向量能够有效的表征特征点领域内的梯度、方向等特性，且具有一定的抗噪性，鲁棒性较好。

优选的，步骤S100中最近邻距离比匹配法包括以下步骤：

步骤S160：取当前帧区域特征点集合F₁中任一区域特征点dot0，其对应的特征向量ft_dot0，求区域特征点dot0在参考帧区域特征点集合F₂中的最近邻点dot1和第二近邻点dot2，记区域特征点dot0和最近邻点dot1的距离为Dist1，记记区域特征点dot0和第二近邻点dot2的距离为Dist2，Dist1和Dist2按公式(5)～(6)计算：

$Dist1=\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot1}\left|\right|=\underset{dot\&Element;F_2}{min}\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot}\left|\right|---\left(5\right)$

$Dist2=\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot2}\left|\right|=\underset{dot\&Element;F_2-\left\{dot1\right\}}{min}\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot}\left|\right|---\left(6\right)$

如果Dist1/Dist2<0.8，则将dot0和dot1记为一对匹配点集<dot0,dot1>；

步骤S170：按步骤S160中的步骤遍历当前帧区域特征点集合F₁中的所有区域特征点，将满足Dist1/Dist2<0.8条件的所有区域特征点记录于当前帧到参考帧匹配点集合{<dot,dot′>,dot∈F₁,dot′∈F₂}中；

步骤S180：按照所述步骤S160中步骤遍历参考帧区域特征点集合F₂中的所有区域特征点，求取参考帧区域特征点集合F₂在当前帧区域特征点集合F₁中的匹配点，得到参考帧到当前帧匹配点集合{<dot',dot>,dot′∈F₂,dot∈F₁}；

步骤S190：计算所述当前帧到参考帧匹配点集合{<dot,dot′>,dot∈F₁,dot′∈F₂}和参考帧到当前帧匹配点集合{<dot',dot>,dot′∈F₂,dot∈F₁}的交集，作为匹配点集合M。

按上述步骤得到的匹配点集合M，匹配精度较高，能够剔除大量的误匹配。

当Dist1/Dist2<0.8时说明两待匹配区域特征点之间匹配成功。

优选的，步骤S200包括以下步骤：

步骤S210：以选择相似变换作为两相邻帧图像之间的变换模型，令A(x,y)和A′(x′,y′)是匹配点集合M中的任一对匹配点，相似变换模型方程如式(7)：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\&epsiv;}\&CenterDot;cos\mathrm{\&theta;}& -\mathrm{\&epsiv;}\&CenterDot;sin\mathrm{\&theta;}& tx\\ \mathrm{\&epsiv;}\&CenterDot;sin\mathrm{\&theta;}& \mathrm{\&epsiv;}\&CenterDot;\cos \mathrm{\&theta;}& ty\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(7\right)$

公式(7)的相似变换模型中共包含4个参数，分别是：视频的估计旋转角度θ，缩放因子ε，水平方向上的平移量tx和垂直方向上的平移量ty；x，y，为A(x,y)中的任一对匹配点、x′，y′为A′(x′,y′)中的任一对匹配点。

步骤S220：通过匹配特征对匹配点集合M采用随机抽样一致RANSAC算法求解相似变换模型方程，得到估计旋转角度θ、缩放因子ε、水平方向上的平移量tx和垂直方向上的平移量ty采用随机抽样一致RANSAC算法求解。按随机抽样一致RANSAC算法的常规方法进行求解。

步骤S230：从视频的第1帧图像开始，对任两相邻帧重复步骤S210～S220计算得到视频中所有相邻两帧图像的估计旋转角度θ；

设为第t帧相对于第t-1帧的旋转角度，则第t帧相对于第1帧的旋转角度为根据求得的是旋转角度对当前帧进行旋转，得到消除旋转的视频帧。

采用该方法就可以达到消除某一帧图像相对第一帧图像发生的旋转。从而消除了无人机获取视频中旋转造成的图像处理误差。

视频图像中的旋转得到消除后，接下来对旋转消除后的视频进行抖动消除处理。本发明使用位平面匹配法和钻石搜索策略来估计并补偿两两相邻帧之间的平移运动，可以实现快速消除视频抖动的目的。位平面匹配法的基本思想是利用位平面来代替灰度图像，从而实现图像块的快速匹配。位平面匹配法具有计算量小、准确度高等优点，但对于该方法用于未经消除旋转的视频图像时，抖动消除效果较差。本发明中首先对视频中的旋转进行消除，因而使用位平面匹配法能有效的扬长避短，充分发挥其优点。

优选的，步骤S300包括以下步骤：

步骤S310：将任一帧灰度为0～255的图像在(x,y)位置的像素值表示为：

f(x,y)＝a₇2⁷+a₆2⁶+…+a₀2⁰(8)

其中a_k(0≤k≤7)取0或1，为初始的比特值，由于像素灰度值的微小变化就会造成a_k的剧烈波动，将a_k改写成g_k，作为改进的比特值：

$\begin{array}{c}{g}_k=a_k\&CirclePlus;a_{k+1},0\&le;k\&le;6\\ g_7=a_7\end{array}---\left(9\right)$

其中表示异或操作；

步骤S320：任一帧上的每个像素有7个比特值g_k(0≤k≤7)，所有像素的第k个比特值组成第k阶比特平面b_k(x,y)，任一帧图像上共有8个比特平面图像b₀(x,y)～b₇(x,y)，为了计算效率，只选择第4位平面图像进行匹配。计算得到参考帧的第4位平面图像和当前帧的第4位平面图像，分别记为Cb₄和Db₄。

在图像Cb₄的四角和中心位置处各选择一个子图像，大小为M×N，这样一共得到5个子图像Csub1,…,Csub5，用一个M×N的窗口在图像Db₄上进行滑动，每一次的滑动都在图像Db₄上得到一个M×N的子图像，记为Dsubi，计算子图像Csubi和子图像Dsubi的匹配度：

$DT=\frac{1}{MN}\underset{x=0}{\overset{M-1}{\&Sigma;}}\underset{y=0}{\overset{N-1}{\&Sigma;}}Dsubi(x,y)\&CirclePlus;Csubi(x,y)---\left(10\right)$

当DT取值最小时，所对应的两幅图像为最佳匹配；分别在图像Db₄上计算Csub1,…,Csub5对应的最佳匹配块图像，记为Dsub1,…,Dsub5；最佳匹配的两幅图像{Csubi,Dsubi|i＝1,…,5}的坐标偏移量记为(m_i,n_i)，即为子图像Csubi的运动矢量。

步骤S330：参考帧的5个子图像中的每一个子图像，和按步骤S310～320计算得到子图像Csubi和子图像Dsubi的运动矢量，对5个运动矢量经过中值滤波处理得到当前帧的运动矢量μ；

从视频的第1帧开始对每一帧图像均按步骤S310～330计算两相邻帧的运动矢量，设为第t帧相对于第t-1帧的运动矢量，累加多帧图像的运动矢量得到当前帧对第1帧的全局运动量全局运动量按下式计算得到：

${\mathrm{\&mu;}}_1^t=\underset{i=1}{\overset{t-1}{\&Sigma;}}{\mathrm{\&mu;}}_i^{i+1}---\left(11\right).$

采用上述方法进行处理，能快速准确的实现图像块的匹配，从而获得正确的运动矢量，特别适用于已进行旋转补偿的视频稳像处理。

优选的，在保证计算效果的前提下，为了提高计算效率，仅使用每帧图像中的第4位平面进行块匹配。

采用最小二乘法对运动矢量进行曲线拟合，记平滑后的矢量为主运动量当前帧的运动补偿量按下式计算：

${\mathrm{\&mu;}}_c^t={\mathrm{\&mu;}}_1^t-{\mathrm{\&mu;}}_s^t---\left(12\right)$

依据所得运动补偿量对当前帧进行补偿，得到稳定当前帧。

步骤S320以子图像Csub1为例，左上顶点坐标为(x₁,y₁)，那么用一个大小为M×N的窗口在图像Db₄上进行滑动，为了提高计算效率，滑动窗口的左上顶点仅在在以(x₁,y₁)为中心，长度为10的领域内滑动。每一次的滑动都在图像Db₄上得到一个M×N的子图像，记为Dsub1，计算子图像Csub1和子图像Dsub1的匹配度：

$D(m,n)=\frac{1}{MN}\underset{x=0}{\overset{M-1}{\&Sigma;}}\underset{y=0}{\overset{N-1}{\&Sigma;}}Dsub1(x,y)\&CirclePlus;Csub1(x,y)---\left(10\right)$

其中m、n分别表示滑动窗口相对于坐标(x₁,y₁)的偏移位置，因此|m|<10,|n|<10；

这个匹配度计算的是不匹配的比特数，因此取值越小说明匹配效果越好。计算所有滑动对应的匹配度，当D(m,n)取值最小时为两幅图像的最佳匹配位置，此时对应的偏移量记为(m₁,n₁)，即为子图像Csub1所求取的运动矢量。

如果视频序列是稳定的，其运动矢量就应该是平滑的。但这里的视频往往都是抖动的，所以运动矢量也就不是平滑的。本发明采用最小二乘法对运动矢量进行曲线拟合，可以有效的对运动矢量进行平滑。记平滑后的矢量为主运动量当前帧的运动补偿量按公式(12)计算。

该方法具体包括以下步骤：

对于无人机拍摄的存在旋转和抖动的视频，首先进行消除视频旋转处理。本发明通过特征点匹配算法，选取合适的变换模型，计算相邻两帧(前一帧记为参考帧和后一帧记为当前帧)的旋转角度，然后按照相同的角度对当前帧反向旋转，从而消除视频旋转。

为了高效计算序列图像间的对应关系，特征点选取应该具备以下几个特点：选取的特征点应该比较均匀地分布于图像之中,且选取的数量应该适中。根据这些特点，本发明首先分别将参考帧和当前帧两幅图像均匀分为多个子区域，在每个区域中使用FAST角点检测算法进行特征点检测，如果检测出多个特征点，通过随机的方式只选择一个特征点，如果没有检测出特征点，则选取子区域的中间点作为特征点。通过这种提取特征的方法，参考帧和当前帧两幅图像的每个子区域都有一个特征点。记参考帧的特征点集合为F₁，当前帧的特征点集合为F₂。

接着对每一个特征点用一个向量来描述，具体步骤如下：

(1)以特征点为中心，选取半径为8的领域范围的图像作为该特征点对应的图像块P(x,y)，该图像块大小为16*16；

(2)计算图像块P(x,y)的每一个像素的梯度的幅值G(x,y)和方向λ(x,y)；

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

λ(x,y)＝arctan(G_x(x,y)/G_y(x,y))

其中，图像水平方向梯度G_x和垂直方向梯度G_y分别通过图像P(x,y)与水平方向滤波器和垂直方向滤波器卷积获得，计算公式如下：

G_x(x,y)＝(-101)*P(x,y)

G_y(x,y)＝(-101)^T*P(x,y)

(3)将图像P(x,y)均匀的划分成4*4的子块，这样可以得到16个图像子块block，将梯度方向空间0～2π等分成8个方向，在每个block图像里面统计方向直方图，并使用梯度幅值作为权重，这样每个block图像可以得到一个8维向量，16个block图像一共可以得到128维向量。

这样每一个特征点可以得到一个128维的向量，记为该特征点对应的特征向量。

对当前帧和参考帧的特征点集合F₁和F₂，通过特征向量的最近邻距离比进行双向匹配，具体步骤如下：

(1)任取特征点集合F₁中的一个特征点dot0，对应的特征向量为ft_dot0，求在特征点集合F₂中的最近邻点dot1和第二近邻点dot2，记dot0和最近邻点dot1的距离为Dist1，记dot0和第二近邻点dot2的距离为Dist2，计算公式如下：

$Dist1=\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot1}\left|\right|=\underset{dot\&Element;F_2}{min}\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot}\left|\right|$

$Dist2=\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot2}\left|\right|=\underset{dot\&Element;F_2-\left\{dot1\right\}}{min}\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot}\left|\right|$

如果Dist1/Dist2<0.8，说明匹配成功，记为一对匹配点集<dot0,dot1>；

(2)遍历特征点集合F₁中的全部特征点dot，记录所有匹配成功的点集，得到匹配点集合{<dot,dot′>}；

(3)反向求特征点集合F₂中的全部特征点dot在特征点集合F₁中的匹配点，记为第二个匹配点集合；

(4)两个匹配点集合求交集，得到最终的匹配点集合，记为M。

由于无人机拍摄的视频中主要存在旋转、平移和尺度变换，本发明选择相似变换作为两帧图像间的变换模型，设F和F′表示参考帧和当前帧，A(x,y)和A′(x′,y′)是匹配点集合M的一对匹配点，变换方程如下：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\&epsiv;}\&CenterDot;cos\mathrm{\&theta;}& -\mathrm{\&epsiv;}\&CenterDot;sin\mathrm{\&theta;}& tx\\ \mathrm{\&epsiv;}\&CenterDot;sin\mathrm{\&theta;}& \mathrm{\&epsiv;}\&CenterDot;\cos \mathrm{\&theta;}& ty\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(1\right)$

这个变换模型共4个参数，分别是：旋转角度θ，缩放因子ε，水平和垂直方向上的平移量tx和ty。

通过匹配特征对集合M可以求解变换方程，得到上述4个参数的取值。

从第1帧开始，通过上述方法计算相邻两帧的旋转角度，设为第t帧相对于第t-1帧的旋转角度，则第t帧相对于第1帧的旋转角度为根据求得的旋转角度对当前帧进行旋转，就达到了消除视频旋转的目的。

本发明中消除视频旋转部分的整体步骤如下：

(1)分别将相邻的两幅图像均匀分为多个子区域，每个子区域提取一个特征点；

(2)对每个特征点进行描述，得到对应特征向量，然后通过双向最近邻距离比匹配方法得到两幅图像之间的匹配特征对集合；

(3)利用相似变换模型估计相邻帧之间的旋转角度，通过累加相邻帧间的旋转角度得到当前帧相对于第l帧的旋转角度；

(4)使用旋转角度对当前帧进行旋转，得到消除旋转的视频帧。

进行消除旋转后，接下来对视频进行消除抖动处理。本发明使用位平面匹配法和钻石搜索策略来估计并补偿帧间的平移运动，达到快速消除视频抖动的目的。

位平面匹配法具有计算量小、准确度高等优点，但对于旋转视频图像效果不好。而这里我们首先对视频消除旋转，能够有效的回避这一缺陷，充分发挥位它的优点。

位平面匹配法的基本思想是利用位平面来代替灰度图像，从而实现图像块的快速匹配。

图像的位平面计算步骤如下：

(1)一幅灰度在0～255范围的图像在(x,y)位置的像素值可表示为：

f(x,y)＝a₇2⁷+a₆2⁶+…+a₀2⁰

其中a_k(0≤k≤7)取0或1；

(2)因为像素点灰度值的微小变化就会明显改变a_k的取值，对上述编码进行改进，公式如下：

$g_i=a_i\&CirclePlus;a_{i+1},0\&le;i\&le;6$

g₇＝a₇

其中表示异或操作。

(3)每个像素都有7个比特值g_k(0≤k≤7)，所有像素的第k个比特值组成第k阶比特平面b_k(x,y)，这样一幅图像，共有8个比特平面b₀(x,y)～b₇(x,y)。

为了计算效率，我们仅使用每个图像的第4位平面进行块匹配。分别选取参考帧第4位平面图像四角和中心位置的5个子图像，在当前帧第4位平面图像上计算对应的匹配块图像。

设选取的子图像大小为M×N，在当前帧的搜索窗口为(M+2P)×(N+2P)，P为搜索窗最大位移量，则两幅图像的匹配度计算如下：

$D_i(m,n)=\frac{1}{MN}\underset{x=0}{\overset{M-1}{\&Sigma;}}\underset{y=0}{\overset{N-1}{\&Sigma;}}{g}_4^t(x,y)\&CirclePlus;g_4^{t-1}(x+m,y+n)$

其中分别表示当前帧与前一帧编码后的第4阶比特平面。

D_i(m,n)计算了两幅图像之间不匹配的比特数，取值最小时为最佳匹配位置。

参考帧的每一个子图像，和计算所得对应的匹配块图像，可以计算出一个运动矢量。这样5个子图像，最后可以得到5个运动矢量μ₁,…,μ₄。对5个运动矢量经过中值滤波操作得到当前帧的运动矢量μ。

从视频的第1帧开始计算相邻两帧的运动矢量，设为第t帧相对于第t-1帧的运动矢量，进行累加就可以得到当前帧对第1帧的全局运动量如果视频序列是稳定的，其运动矢量就应该是平滑的。但这里的视频往往都是抖动的，所以运动矢量也就不是平滑的。本发明采用最小二乘法对运动矢量进行曲线拟合，可以有效的对运动矢量进行平滑。记平滑后的矢量为主运动量当前帧的运动补偿量计算公式如下：

${\mathrm{\&mu;}}_c^t={\mathrm{\&mu;}}^t-{\mathrm{\&mu;}}_s^t$

本发明的第二部分消除视频抖动的步骤如下：

(1)从视频的第1帧开始计算相邻两帧的运动矢量，从而计算当前帧对第1帧的全局运动量；

(2)对全局运动量采用最小二乘法进行曲线拟合，估计出当前帧的主运动量；

(3)通过当前帧的全局运动量与主运动量计算当前帧的运动补偿量；

(4)用运动补偿量对当前帧进行补偿，从而得到稳定的视频。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims (6)

1.一种面向微型无人机的视频稳像方法，其特征在于，包括以下步骤：

步骤S100：将通过所述无人机获得的视频中的两两相邻帧图像分别设为参考帧和当前帧，将所述参考帧和所述当前帧分别均匀分为多个子区域，在每个所述子区域内提取一个区域特征点，将每个所述区域特征点描述为128维的特征向量，并对所述当前帧区域特征点集合F₁和所述参考帧区域特征点集合F₂通过双向最近邻距离比匹配法，求得从所述当前帧到所述参考帧匹配点集合{<dot,dot′>,dot∈F₁,dot′∈F₂}和从所述参考帧到所述当前帧的匹配点集合{<dot',dot>,dot′∈F₂,dot∈F₁}，并将二者的交集作为匹配点集合M；

步骤S200：通过相似变换模型获得所述参考帧和所述当前帧之间的估计旋转角度，累加多个相邻帧之间的估计旋转角度，得到所述当前帧相对于第l帧的旋转角度，将所述当前帧旋转所述旋转角度，得到消除旋转的所述视频；

步骤S300：通过位平面匹配法计算消除旋转的所述视频中的旋转当前帧的全局运动量μ^t，并对全局运动量μ^t进行曲线拟合，得到主运动量按得到所述旋转当前帧的运动补偿量依据所述运动补偿量对所述旋转当前帧进行补偿，得到稳定的视频。

2.根据权利要求1所述的面向微型无人机的视频稳像方法，其特征在于，所述步骤S100中包括以下步骤：

步骤S110：将所述参考帧与所述当前帧的两幅图像均匀地分为多个子区域，在每个所述子区域中使用FAST角点检测算法对每个所述子区域进行检测，得到检测特征点；

步骤S120：如果所述检测特征点为多个，则通过随机方式从检测特征点中任选一个特征点作为该子区域的特征点，如果所述检测特征点为零，则选取该子区域的中间点作为该子区域的特征点。

3.根据权利要求2所述的面向微型无人机的视频稳像方法，其特征在于，所述步骤S100中将所述区域特征点描述为特征向量，包括以下步骤：

步骤S130：以所述区域特征点为中心，以8为半径的领域范围内的图像作为所述区域特征点对应的图像块P(x,y)，所述图像块P(x,y)的尺寸为16*16；

步骤S140：根据公式(1)～(2)计算所述图像块P(x,y)的每一个像素的梯度幅值G(x,y)和每一个像素的方向λ(x,y)，

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}---\left(1\right)$

λ(x,y)＝arctan(G_x(x,y)/G_y(x,y))(2)

其中，G_x(x,y)为所述图像块P(x,y)的水平方向梯度幅值，G_y(x,y)为所述图像块P(x,y)的垂直方向梯度幅值，计算公式如下：

G_x(x,y)＝(-101)*P(x,y)(3)

G_y(x,y)＝(-101)^T*P(x,y)(4)

步骤S150：将所述图像块P(x,y)均匀的划分成4*4的子块，得到16个图像子块block，将梯度方向空间0～2π等分成8个方向，在每个block图像里面统计每个方向的直方图，并使用所述梯度幅值G(x,y)作为权重，每个block图像可以得到一个8维向量，16个block图像共得到128维向量。

4.根据权利要求3所述的面向微型无人机的视频稳像方法，其特征在于，所述步骤S100中所述双向最近邻距离比匹配法包括以下步骤：

步骤S160：取所述当前帧区域特征点集合F₁中任一区域特征点dot0，其对应的特征向量ft_dot0，求区域特征点dot0在所述参考帧区域特征点集合F₂中的最近邻点dot1和第二近邻点dot2，记所述区域特征点dot0和最近邻点dot1的距离为Dist1，记所述区域特征点dot0和所述第二近邻点dot2的距离为Dist2，Dist1和Dist2按公式(5)～(6)计算：

$Dist1=\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot1}\left|\right|=\underset{dot\&Element;F_2}{min}\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot}\left|\right|---\left(5\right)$

$Dist2=\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot2}\left|\right|=\underset{dot\&Element;F_2-\left\{dot1\right\}}{min}\left|\right|{\mathrm{ft}}_{dot0}-{\mathrm{ft}}_{dot}\left|\right|---\left(6\right)$

如果Dist1/Dist2<0.8，则将dot0和dot1记为一对匹配点集<dot0,dot1>；

步骤S170：按所述步骤S160中的步骤遍历所述当前帧区域特征点集合F₁中的所有区域特征点，将满足Dist1/Dist2<0.8条件的所有区域特征点记录于所述当前帧到所述参考帧的匹配点集合{<dot,dot′>,dot∈F₁,dot′∈F₂}中；

步骤S180：按照所述步骤S160中的步骤遍历所述参考帧区域特征点集合F₂中的所有区域特征点，求取所述参考帧区域特征点集合F₂在所述当前帧区域特征点集合F₁中的匹配点，得到参考帧到当前帧匹配点集合{<dot',dot>,dot′∈F₂,dot∈F₁}；

步骤S190：计算所述当前帧到所述参考帧匹配点集合{<dot,dot′>,dot∈F₁,dot′∈F₂}和所述参考帧到所述当前帧匹配点集合{<dot',dot>,dot′∈F₂,dot∈F₁}的交集，作为所述匹配点集合M。

5.根据权利要求4所述的面向微型无人机的视频稳像方法，其特征在于，所述步骤S200包括以下步骤：

步骤S210：以相似变换作模型为两相邻帧图像之间的变换模型，记A(x,y)和A′(x′,y′)为所述匹配点集合M中的任一对匹配点，所述相似变换模型方程为公式(7)：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\&epsiv;}\&CenterDot;cos\mathrm{\&theta;}& -\mathrm{\&epsiv;}\&CenterDot;sin\mathrm{\&theta;}& tx\\ \mathrm{\&epsiv;}\&CenterDot;sin\mathrm{\&theta;}& \mathrm{\&epsiv;}\&CenterDot;\cos \mathrm{\&theta;}& ty\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(7\right)$

其中，θ为视频的估计旋转角度、ε为缩放因子、x，y，为A(x,y)中的任一对匹配点、x′，y′为A′(x′,y′)中的任一对匹配点、tx为水平方向上的平移量和ty为垂直方向上的平移量；

步骤S220：通过匹配特征对所述匹配点集合M采用随机抽样一致RANSAC算法求解所述相似变换模型方程，得到估计旋转角度θ、缩放因子ε、水平方向上的平移量tx和垂直方向上的平移量ty；

步骤S230：从视频的第1帧图像开始，对任两相邻帧重复步骤S210～S220得到所述视频中所有相邻两帧图像的估计旋转角度θ；

设为第t帧相对于第t-1帧的旋转角度，则第t帧相对于第1帧的旋转角度为根据求得的是旋转角度对所述当前帧进行旋转，得到所述消除旋转的视频帧。

6.根据权利要求4所述的面向微型无人机的视频稳像方法，其特征在于，所述步骤S300包括以下步骤：

步骤S310：将消除旋转的所述视频中任一帧灰度为0～255的图像在(x,y)位置的像素值表示为：

f(x,y)＝a₇2⁷+a₆2⁶+…+a₀2⁰(8)

其中a_k取0或1，0≤k≤7，为初始的比特值；

将a_k改写成g_k，作为改进的比特值：

g_k＝a_k⊕a_k+1,0≤k≤6

g₇＝a₇(9)

其中⊕表示异或操作；

步骤S320：任一帧图像上的每个像素有8个比特值g_k，所有像素的第k个比特值组成第k阶比特平面b_k(x,y)，任一帧图像上共有8个比特平面图像b₀(x,y)～b₇(x,y)，选取第4位平面图像进行匹配，得到所述参考帧的第4位平面图像和所述当前帧的第4位平面图像，分别记为Cb₄和Db₄；

在图像Cb₄的四角和中心位置处各选择一个M×N的子图像，共得到5个子图像Csub1,…,Csub5，用一个M×N的窗口在图像Db₄上进行滑动，每一次的滑动都在图像Db₄上得到一个M×N的子图像，记为Dsubi，计算子图像Csubi和子图像Dsubi的匹配度：

$DT=\frac{1}{MN}\underset{x=0}{\overset{M-1}{\&Sigma;}}\underset{y=0}{\overset{N-1}{\&Sigma;}}Dsubi(x,y)\&CirclePlus;Csubi(x,y)---\left(10\right)$

当DT取值最小时，所对应的两幅图像为最佳匹配；分别在图像Db₄上计算Csub1,…,Csub5对应的最佳匹配块图像，分别记为Dsub1,…,Dsub5；所述最佳匹配的两幅图像{Csubi,Dsubi|i＝1,…,5}的坐标偏移量记为(m_i,n_i)，即为子图像Csubi的运动矢量；

步骤S330：所述参考帧的5个子图像中的每一个子图像，按步骤S310～320计算得到子图像Csubi和子图像Dsubi的运动矢量，对5个运动矢量经过中值滤波处理得到所述当前帧的运动矢量μ；

从所述视频的第1帧开始对每一帧图像均按步骤S310～330计算两相邻帧的运动矢量，设为第t帧相对于第t-1帧的运动矢量，累加多帧图像的运动矢量得到所述当前帧对第1帧的全局运动量全局运动量按下式计算得到：

${\mathrm{\&mu;}}_1^t=\underset{i=1}{\overset{t-1}{\&Sigma;}}{\mathrm{\&mu;}}_i^{i+1}---\left(11\right);$

采用最小二乘法对运动矢量进行曲线拟合，记平滑后的矢量为主运动量当前帧的运动补偿量按下式计算：

${\mathrm{\&mu;}}_c^t={\mathrm{\&mu;}}_1^t-{\mathrm{\&mu;}}_s^t---\left(12\right)$

依据所得运动补偿量对所述当前帧进行补偿，得到稳定的视频。