CN105306785A - 一种基于sift特征匹配和vfc算法的电子稳像方法及*** - Google Patents

Abstract

本发明公开了一种基于SIFT特征匹配和VFC算法的电子稳像方法及***，该方法包括以下步骤：S1、从抖动视频中提取n张连帧图像，并对其进行预处理；S2、对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算法对特征点进行帧间匹配，得到连帧图像中的关键特征点；S3、根据连帧图像的关键特征点，使用VFC算法，得到n张帧图像之间关键特征点的平移轨迹；S4、根据平移轨迹计算运动补偿向量，并根据运动补偿向量对每一帧图像的相对位置进行校正，最终输出经过校正后的稳定视频。本发明进行视频图像校正的处理精度高，并且在保证高精度的前提下提高了处理的速度。

Description

一种基于SIFT特征匹配和VFC算法的电子稳像方法及***

技术领域

本发明涉及图像处理技术，尤其涉及一种基于SIFT特征匹配和VFC算法的电子稳像方法及***。

背景技术

近年来，稳像技术得到广泛的应用，无论是航空、车载、船舰上，为了获得清晰不晃动的视频，稳像技术都可以用来消除载体不稳定所引起的视频抖动。电子稳像技术大体分为三步：运动估计、运动滤波、和运动补偿，本技术大部分工作集中于运动估计中。处理运动估计有基于灰度和基于特征的方法：基于灰度的方法可以得到精确的结果，但要处理所有的像素点而耗时太多；提取图像特征的方法处理速度快，然而精度又得不到保证。

传统的稳像技术一般分为三种：机械稳像、光学稳像和电子稳像，从各方面的考虑，包括体积小、操作方便、可移植性强、实时性等，电子稳像技术得到更多普及。在保证高精度和低耗时方面，本发明提供一种基于SIFT特征匹配和VFC算法的电子稳像技术，其中，VFC(vectorfieldconsensus)算法是向量场一致性算法；SIFT(Scale-invariantfeaturetransform)算法是尺度不变特征变换算法。

发明内容

本发明要解决的技术问题在于针对现有技术中电子稳像技术无法兼顾处理速度和处理进度的缺陷，提供一种处理速度快，并且处理精度高的基于SIFT特征匹配和VFC算法的电子稳像方法及***。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于SIFT特征匹配和VFC算法的电子稳像方法，包括以下步骤：

S1、从抖动视频中提取n张连帧图像，并对其进行预处理；

S2、对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算法对特征点进行帧间匹配，得到连帧图像中的关键特征点；

S3、根据连帧图像的关键特征点，使用VFC算法，得到n张帧图像之间关键特征点的平移轨迹；

S4、根据平移轨迹计算运动补偿向量，并根据运动补偿向量对每一帧图像的相对位置进行校正，最终输出经过校正后的稳定视频。

步骤S2中SIFT算法的具体步骤为：

S21、对提取的连帧图像构建高斯差分尺度空间；

S22、构建图像在不同尺度空间下的图像金字塔，即对一副二维图像建立它在不同尺度空间下的图像，第一幅图像为原始图像大小，后面的各个子八度则依次对前一个子八度进行降采样；

S23、检测不同尺度空间和所在二维图像中的极值点，将其作为连帧图像的关键特征点。

步骤S3中VFC算法的具体步骤为：

通过向量场的学***移轨迹。

本发明还提供一种基于SIFT特征匹配和VFC算法的电子稳像***，包括以下部分：

视频图像预处理单元，用于从抖动视频中提取n张连帧图像，并对其进行预处理；

特征点提取单元，用于对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算法对特征点进行帧间匹配，得到连帧图像中的关键特征点；

平移轨迹计算单元，用于根据连帧图像的关键特征点，使用VFC算法，得到n张帧图像之间关键特征点的平移轨迹；

校正视频输出单元，用于根据平移轨迹计算运动补偿向量，并根据运动补偿向量对每一帧图像的相对位置进行校正，最终输出经过校正后的稳定视频。

所述特征点提取单元具体包括：

尺度空间构建单元，用于对提取的连帧图像构建高斯差分尺度空间；

图像金字塔构建单元，用于构建图像在不同尺度空间下的图像金字塔，即对一副二维图像建立它在不同尺度空间下的图像，第一幅图像为原始图像大小，后面的各个子八度则依次对前一个子八度进行降采样；

极值点检测单元，用于检测不同尺度空间和所在二维图像中的极值点，将其作为连帧图像的关键特征点。

本发明产生的有益效果是：本发明的基于SIFT特征匹配和VFC算法的电子稳像方法通过SIFT算法提取连帧图像的关键特征点，并通过VFC算法计算得到关键特征点的平移轨迹，进而计算出补偿向量，对视频图像进行位置校正；本方法进行视频图像校正的处理精度高，并且在保证高精度的前提下提高了处理的速度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的流程图；

图2是本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的处理过程；

图3是本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的抖动图像中的连帧图像；

图4是本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的处理后连续两帧图像的匹配图像；

图5是本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的稳像后的输出视频帧图像；

图6是本发明是实力的基于SIFT特征匹配和VFC算法的电子稳像***的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法，包括以下步骤：

S1、从抖动视频中提取n张连帧图像，并对其进行预处理；

S2、对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算法对特征点进行帧间匹配，得到连帧图像中的关键特征点；

S21、对提取的连帧图像构建高斯差分尺度空间；

S22、构建图像在不同尺度空间下的图像金字塔，即对一副二维图像建立它在不同尺度空间下的图像，第一幅图像为原始图像大小，后面的各个子八度则依次对前一个子八度进行降采样；

S23、检测不同尺度空间和所在二维图像中的极值点，将其作为连帧图像的关键特征点；

S3、根据连帧图像的关键特征点，使用VFC算法，得到n张帧图像之间关键特征点的平移轨迹；

S4、根据平移轨迹计算运动补偿向量，并根据运动补偿向量对每一帧图像的相对位置进行校正，最终输出经过校正后的稳定视频。

如图2所示，是本发明的另一个实施例的流程图，包括以下步骤：

一、从一段抖动视频中提取部分连帧图像，这里选取了前两帧，如图3所示。

二、在运动估计阶段，对所选取的图像帧通过SIFT算法进行帧间匹配，包括以下步骤：

1、构建高斯差分尺度空间。尺度空间的构建在整个匹配算法中相当于是初始化的过程，尺度空间理论表明尺度空间模拟的是图像的多尺度特征，并提出高斯核实唯一实现尺度变换的线性核，所以对一幅图像的尺度空间进行定义，如下公式所表示：L(x,y,σ)＝G(x,y,σ)×I(x,y)

其中G是高斯卷积函数，σ是度量尺度的因子。L则代表了图像的尺度空间，I为二维图像。尺度因子σ表征的是图像的平滑程度，σ越大表明图像的概貌特征越明显，即图像越模糊，对应低的分辨率；σ越小表明图像的细节特征越明显，也就是图像对应高的分辨率，图像的细节就越展现出来，对应精确的尺度。

由于仅依靠尺度空间对极值点进行检测，容易提取出不稳定的、性能差的边缘点，为了得到稳定的性能优良的极值点作为关键点，可以使用高斯差分尺度空间，利用不同尺度因子下的高斯差分卷积核与图像进行计算，即实现对不同尺度下的图像卷积运算，高斯差分尺度空间的构造公式如下所示：D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)

＝L(x,y,kσ)-L(x,y,σ)

2、构建图像金字塔。为了使图像在各个不同的尺度下都有其对应的特征点，需要构建每一层的子八度图像，即对一幅二维图像建立它在不同尺度下的图像。子八度的第一个图像都是原始图像的大小，而之后的各个子八度则依次对自己的前一个八度进行降采样，降采样指的是对长和宽分别都减一半的操作，因此每后一个子八度的图像大小都是前面的1/4大小。

3、检测空间极值点。在构建好的尺度空间中寻找极值点，该点不仅要在所在的二维图像中是极值点，并且在相邻的尺度空间比较中也必须是极值点，即该点不仅需要同二维图像中的周围相邻的八个像素点进行比较，还需要同处于同一八度的上下两个尺度的二维图像周围一共18个相邻像素点进行比较。

三、结合VFC算法，通过向量场的学***移轨迹。向量场一致性是在希尔伯特空间中基于吉洪诺夫正则化，保持向量场的平滑性。在贝叶斯框架下，将每个样点与潜在变量相结合来判断是否为内点，然后构建成后验概率问题，通过EM算法求解，获得有效的内点后，经过运动滤波，获得对应的匹配，通过该过程结果如图4所示。VFC的算法具体如下：

1、问题公式化

给定一个输入输出对的集合，通过一个随机的向量场，该向量场包含一些未知的外点，即异常点，其中分别是输入空间和输出空间。目的是将外点从内点，即异常点从正常点中区分开来，由一个映射f:X→Y，可以得到满意的内点，即正常点，其中f∈Η，假设Η是一个再造核的Hilbert空间。

在此做一个假设，关于内点，是一个均值为0，标准差为s的高斯噪声；对于外点，输出在一个有界的区域R^D，因此外点的分布为平均分布1/a，其中a是一个常量。g为内点的百分比，内点和外点的分布模型如下：

其中，θ＝{f,σ²,γ}是含未知参数的集合，Χ_N×P＝(x₁,…,x_N)^T，Y_N×D＝(y₁,…,y_N)^T，v_n＝f(x_n)。

考虑到平滑性的约束，先验f可写为：

其中，λ＞0是正则化参数，是RKHS的H范数。

结合以上两个公式，其后的分布p(θ|Χ,Y)可以通过贝叶斯法则：p(θ|Χ,Y)∝p(Y|Χ,θ)p(f)计算估算出来。

为了得到最佳的θ，假设一个θ^*。

θ^*＝argmaxp(Y|Χ,θ)p(f)

θ^*对应真正的θ，从而得到f。然后运用EM方法来讨论f减少对外点的影响。

2、EM方法

EM算法分为两步，一是期望步骤，另一个是最大化步骤。

首先，将样点n赋予一个变量z_n∈{0,1}，当z_n＝1，代表高斯分布；当z_n＝0，代表平均分布。根据EM算法的标准步骤，并且忽略与θ独立的项，得到：

可以通过把z_n视为混合模型中缺失的数据来实现最大化。

期望步骤：P＝diag(p₁,…,p_N)，其中p＝P(z_n＝1|x_n,y_n,θ^old)可以通过贝叶斯法则来计算：

最大化步骤：定义修正的参数估计为θ^new，θ^new＝argmax_θQ(θ,θ^old).考虑到P是对角矩阵，将Q(θ)对σ²求导并置为零，得到:

其中tr(·)是矩阵的迹。

将Q(θ)对γ求导并置为零，得到：

高斯部分的混合系数γ通过后验概率的均值得到。

EM算法收敛后，应该对样点是否为内点做一个判断。设定阈值τ，可以得到内点集T＝{n|p_n＞τ,n＝1,…,N}，这个集合T就是随机采样一致性中的一致性。

四、由局部到全局，根据计算结果得到帧与帧之间对应的局部向量，进而得到全局运动向量，计算出运动补偿向量并校正每一帧图像的相对位置，完成运动补偿，从而输出稳定视频。输出结果如图5所示。

由上述的实例可见，本发明基于SIFT特征匹配和VFC算法的电子稳像技术，在处理抖动视频时，保证了高精度和低耗时。

如图6所示，本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像***用于实现本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法，具体包括以下部分：

视频图像预处理单元，用于从抖动视频中提取n张连帧图像，并对其进行预处理；

特征点提取单元，用于对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算法对特征点进行帧间匹配，得到连帧图像中的关键特征点；

平移轨迹计算单元，用于根据连帧图像的关键特征点，使用VFC算法，得到n张帧图像之间关键特征点的平移轨迹；

校正视频输出单元，用于根据平移轨迹计算运动补偿向量，并根据运动补偿向量对每一帧图像的相对位置进行校正，最终输出经过校正后的稳定视频。

其中，特征点提取单元具体包括：

尺度空间构建单元，用于对提取的连帧图像构建高斯差分尺度空间；

图像金字塔构建单元，用于构建图像在不同尺度空间下的图像金字塔，即对一副二维图像建立它在不同尺度空间下的图像，第一幅图像为原始图像大小，后面的各个子八度则依次对前一个子八度进行降采样；

极值点检测单元，用于检测不同尺度空间和所在二维图像中的极值点，将其作为连帧图像的关键特征点。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于SIFT特征匹配和VFC算法的电子稳像方法，其特征在于，包括以下步骤：

S1、从抖动视频中提取n张连帧图像，并对其进行预处理；

S2、对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算法对特征点进行帧间匹配，得到连帧图像中的关键特征点；

S3、根据连帧图像的关键特征点，使用VFC算法，得到n张帧图像之间关键特征点的平移轨迹；

S4、根据平移轨迹计算运动补偿向量，并根据运动补偿向量对每一帧图像的相对位置进行校正，最终输出经过校正后的稳定视频。

2.根据权利要求1所述的基于SIFT特征匹配和VFC算法的电子稳像方法其特征在于，步骤S2中SIFT算法的具体步骤为：

S21、对提取的连帧图像构建高斯差分尺度空间；

S22、构建图像在不同尺度空间下的图像金字塔，即对一副二维图像建立它在不同尺度空间下的图像，第一幅图像为原始图像大小，后面的各个子八度则依次对前一个子八度进行降采样；

S23、检测不同尺度空间和所在二维图像中的极值点，将其作为连帧图像的关键特征点。

3.根据权利要求1所述的基于SIFT特征匹配和VFC算法的电子稳像方法其特征在于，步骤S3中VFC算法的具体步骤为：

通过向量场的学***移轨迹。

4.一种基于SIFT特征匹配和VFC算法的电子稳像***，其特征值在于，包括以下部分：

视频图像预处理单元，用于从抖动视频中提取n张连帧图像，并对其进行预处理；

特征点提取单元，用于对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算法对特征点进行帧间匹配，得到连帧图像中的关键特征点；

平移轨迹计算单元，用于根据连帧图像的关键特征点，使用VFC算法，得到n张帧图像之间关键特征点的平移轨迹；

校正视频输出单元，用于根据平移轨迹计算运动补偿向量，并根据运动补偿向量对每一帧图像的相对位置进行校正，最终输出经过校正后的稳定视频。

5.根据权利要求4所述的基于SIFT特征匹配和VFC算法的电子稳像***，其特征值在于，所述特征点提取单元具体包括：

尺度空间构建单元，用于对提取的连帧图像构建高斯差分尺度空间；

图像金字塔构建单元，用于构建图像在不同尺度空间下的图像金字塔，即对一副二维图像建立它在不同尺度空间下的图像，第一幅图像为原始图像大小，后面的各个子八度则依次对前一个子八度进行降采样；

极值点检测单元，用于检测不同尺度空间和所在二维图像中的极值点，将其作为连帧图像的关键特征点。