CN105306785A - 一种基于sift特征匹配和vfc算法的电子稳像方法及*** - Google Patents
一种基于sift特征匹配和vfc算法的电子稳像方法及*** Download PDFInfo
- Publication number
- CN105306785A CN105306785A CN201510706396.6A CN201510706396A CN105306785A CN 105306785 A CN105306785 A CN 105306785A CN 201510706396 A CN201510706396 A CN 201510706396A CN 105306785 A CN105306785 A CN 105306785A
- Authority
- CN
- China
- Prior art keywords
- image
- field picture
- algorithm
- feature points
- sift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于SIFT特征匹配和VFC算法的电子稳像方法及***,该方法包括以下步骤:S1、从抖动视频中提取n张连帧图像,并对其进行预处理;S2、对预处理后的连帧图像,提取SIFT特征点,并根据SIFT算法对特征点进行帧间匹配,得到连帧图像中的关键特征点;S3、根据连帧图像的关键特征点,使用VFC算法,得到n张帧图像之间关键特征点的平移轨迹;S4、根据平移轨迹计算运动补偿向量,并根据运动补偿向量对每一帧图像的相对位置进行校正,最终输出经过校正后的稳定视频。本发明进行视频图像校正的处理精度高,并且在保证高精度的前提下提高了处理的速度。
Description
技术领域
本发明涉及图像处理技术,尤其涉及一种基于SIFT特征匹配和VFC算法的电子稳像方法及***。
背景技术
近年来,稳像技术得到广泛的应用,无论是航空、车载、船舰上,为了获得清晰不晃动的视频,稳像技术都可以用来消除载体不稳定所引起的视频抖动。电子稳像技术大体分为三步:运动估计、运动滤波、和运动补偿,本技术大部分工作集中于运动估计中。处理运动估计有基于灰度和基于特征的方法:基于灰度的方法可以得到精确的结果,但要处理所有的像素点而耗时太多;提取图像特征的方法处理速度快,然而精度又得不到保证。
传统的稳像技术一般分为三种:机械稳像、光学稳像和电子稳像,从各方面的考虑,包括体积小、操作方便、可移植性强、实时性等,电子稳像技术得到更多普及。在保证高精度和低耗时方面,本发明提供一种基于SIFT特征匹配和VFC算法的电子稳像技术,其中,VFC(vectorfieldconsensus)算法是向量场一致性算法;SIFT(Scale-invariantfeaturetransform)算法是尺度不变特征变换算法。
发明内容
本发明要解决的技术问题在于针对现有技术中电子稳像技术无法兼顾处理速度和处理进度的缺陷,提供一种处理速度快,并且处理精度高的基于SIFT特征匹配和VFC算法的电子稳像方法及***。
本发明解决其技术问题所采用的技术方案是:
本发明提供一种基于SIFT特征匹配和VFC算法的电子稳像方法,包括以下步骤:
S1、从抖动视频中提取n张连帧图像,并对其进行预处理;
S2、对预处理后的连帧图像,提取SIFT特征点,并根据SIFT算法对特征点进行帧间匹配,得到连帧图像中的关键特征点;
S3、根据连帧图像的关键特征点,使用VFC算法,得到n张帧图像之间关键特征点的平移轨迹;
S4、根据平移轨迹计算运动补偿向量,并根据运动补偿向量对每一帧图像的相对位置进行校正,最终输出经过校正后的稳定视频。
步骤S2中SIFT算法的具体步骤为:
S21、对提取的连帧图像构建高斯差分尺度空间;
S22、构建图像在不同尺度空间下的图像金字塔,即对一副二维图像建立它在不同尺度空间下的图像,第一幅图像为原始图像大小,后面的各个子八度则依次对前一个子八度进行降采样;
S23、检测不同尺度空间和所在二维图像中的极值点,将其作为连帧图像的关键特征点。
步骤S3中VFC算法的具体步骤为:
通过向量场的学***移轨迹。
本发明还提供一种基于SIFT特征匹配和VFC算法的电子稳像***,包括以下部分:
视频图像预处理单元,用于从抖动视频中提取n张连帧图像,并对其进行预处理;
特征点提取单元,用于对预处理后的连帧图像,提取SIFT特征点,并根据SIFT算法对特征点进行帧间匹配,得到连帧图像中的关键特征点;
平移轨迹计算单元,用于根据连帧图像的关键特征点,使用VFC算法,得到n张帧图像之间关键特征点的平移轨迹;
校正视频输出单元,用于根据平移轨迹计算运动补偿向量,并根据运动补偿向量对每一帧图像的相对位置进行校正,最终输出经过校正后的稳定视频。
所述特征点提取单元具体包括:
尺度空间构建单元,用于对提取的连帧图像构建高斯差分尺度空间;
图像金字塔构建单元,用于构建图像在不同尺度空间下的图像金字塔,即对一副二维图像建立它在不同尺度空间下的图像,第一幅图像为原始图像大小,后面的各个子八度则依次对前一个子八度进行降采样;
极值点检测单元,用于检测不同尺度空间和所在二维图像中的极值点,将其作为连帧图像的关键特征点。
本发明产生的有益效果是:本发明的基于SIFT特征匹配和VFC算法的电子稳像方法通过SIFT算法提取连帧图像的关键特征点,并通过VFC算法计算得到关键特征点的平移轨迹,进而计算出补偿向量,对视频图像进行位置校正;本方法进行视频图像校正的处理精度高,并且在保证高精度的前提下提高了处理的速度。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的流程图;
图2是本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的处理过程;
图3是本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的抖动图像中的连帧图像;
图4是本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的处理后连续两帧图像的匹配图像;
图5是本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的稳像后的输出视频帧图像;
图6是本发明是实力的基于SIFT特征匹配和VFC算法的电子稳像***的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法,包括以下步骤:
S1、从抖动视频中提取n张连帧图像,并对其进行预处理;
S2、对预处理后的连帧图像,提取SIFT特征点,并根据SIFT算法对特征点进行帧间匹配,得到连帧图像中的关键特征点;
S21、对提取的连帧图像构建高斯差分尺度空间;
S22、构建图像在不同尺度空间下的图像金字塔,即对一副二维图像建立它在不同尺度空间下的图像,第一幅图像为原始图像大小,后面的各个子八度则依次对前一个子八度进行降采样;
S23、检测不同尺度空间和所在二维图像中的极值点,将其作为连帧图像的关键特征点;
S3、根据连帧图像的关键特征点,使用VFC算法,得到n张帧图像之间关键特征点的平移轨迹;
S4、根据平移轨迹计算运动补偿向量,并根据运动补偿向量对每一帧图像的相对位置进行校正,最终输出经过校正后的稳定视频。
如图2所示,是本发明的另一个实施例的流程图,包括以下步骤:
一、从一段抖动视频中提取部分连帧图像,这里选取了前两帧,如图3所示。
二、在运动估计阶段,对所选取的图像帧通过SIFT算法进行帧间匹配,包括以下步骤:
1、构建高斯差分尺度空间。尺度空间的构建在整个匹配算法中相当于是初始化的过程,尺度空间理论表明尺度空间模拟的是图像的多尺度特征,并提出高斯核实唯一实现尺度变换的线性核,所以对一幅图像的尺度空间进行定义,如下公式所表示:L(x,y,σ)=G(x,y,σ)×I(x,y)
其中G是高斯卷积函数,σ是度量尺度的因子。L则代表了图像的尺度空间,I为二维图像。尺度因子σ表征的是图像的平滑程度,σ越大表明图像的概貌特征越明显,即图像越模糊,对应低的分辨率;σ越小表明图像的细节特征越明显,也就是图像对应高的分辨率,图像的细节就越展现出来,对应精确的尺度。
由于仅依靠尺度空间对极值点进行检测,容易提取出不稳定的、性能差的边缘点,为了得到稳定的性能优良的极值点作为关键点,可以使用高斯差分尺度空间,利用不同尺度因子下的高斯差分卷积核与图像进行计算,即实现对不同尺度下的图像卷积运算,高斯差分尺度空间的构造公式如下所示:D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)
=L(x,y,kσ)-L(x,y,σ)
2、构建图像金字塔。为了使图像在各个不同的尺度下都有其对应的特征点,需要构建每一层的子八度图像,即对一幅二维图像建立它在不同尺度下的图像。子八度的第一个图像都是原始图像的大小,而之后的各个子八度则依次对自己的前一个八度进行降采样,降采样指的是对长和宽分别都减一半的操作,因此每后一个子八度的图像大小都是前面的1/4大小。
3、检测空间极值点。在构建好的尺度空间中寻找极值点,该点不仅要在所在的二维图像中是极值点,并且在相邻的尺度空间比较中也必须是极值点,即该点不仅需要同二维图像中的周围相邻的八个像素点进行比较,还需要同处于同一八度的上下两个尺度的二维图像周围一共18个相邻像素点进行比较。
三、结合VFC算法,通过向量场的学***移轨迹。向量场一致性是在希尔伯特空间中基于吉洪诺夫正则化,保持向量场的平滑性。在贝叶斯框架下,将每个样点与潜在变量相结合来判断是否为内点,然后构建成后验概率问题,通过EM算法求解,获得有效的内点后,经过运动滤波,获得对应的匹配,通过该过程结果如图4所示。VFC的算法具体如下:
1、问题公式化
给定一个输入输出对的集合,通过一个随机的向量场,该向量场包含一些未知的外点,即异常点,其中分别是输入空间和输出空间。目的是将外点从内点,即异常点从正常点中区分开来,由一个映射f:X→Y,可以得到满意的内点,即正常点,其中f∈Η,假设Η是一个再造核的Hilbert空间。
在此做一个假设,关于内点,是一个均值为0,标准差为s的高斯噪声;对于外点,输出在一个有界的区域RD,因此外点的分布为平均分布1/a,其中a是一个常量。g为内点的百分比,内点和外点的分布模型如下:
其中,θ={f,σ2,γ}是含未知参数的集合,ΧN×P=(x1,…,xN)T,YN×D=(y1,…,yN)T,vn=f(xn)。
考虑到平滑性的约束,先验f可写为:
其中,λ>0是正则化参数,是RKHS的H范数。
结合以上两个公式,其后的分布p(θ|Χ,Y)可以通过贝叶斯法则:p(θ|Χ,Y)∝p(Y|Χ,θ)p(f)计算估算出来。
为了得到最佳的θ,假设一个θ*。
θ*=argmaxp(Y|Χ,θ)p(f)
θ*对应真正的θ,从而得到f。然后运用EM方法来讨论f减少对外点的影响。
2、EM方法
EM算法分为两步,一是期望步骤,另一个是最大化步骤。
首先,将样点n赋予一个变量zn∈{0,1},当zn=1,代表高斯分布;当zn=0,代表平均分布。根据EM算法的标准步骤,并且忽略与θ独立的项,得到:
可以通过把zn视为混合模型中缺失的数据来实现最大化。
期望步骤:P=diag(p1,…,pN),其中p=P(zn=1|xn,yn,θold)可以通过贝叶斯法则来计算:
最大化步骤:定义修正的参数估计为θnew,θnew=argmaxθQ(θ,θold).考虑到P是对角矩阵,将Q(θ)对σ2求导并置为零,得到:
其中tr(·)是矩阵的迹。
将Q(θ)对γ求导并置为零,得到:
高斯部分的混合系数γ通过后验概率的均值得到。
EM算法收敛后,应该对样点是否为内点做一个判断。设定阈值τ,可以得到内点集T={n|pn>τ,n=1,…,N},这个集合T就是随机采样一致性中的一致性。
四、由局部到全局,根据计算结果得到帧与帧之间对应的局部向量,进而得到全局运动向量,计算出运动补偿向量并校正每一帧图像的相对位置,完成运动补偿,从而输出稳定视频。输出结果如图5所示。
由上述的实例可见,本发明基于SIFT特征匹配和VFC算法的电子稳像技术,在处理抖动视频时,保证了高精度和低耗时。
如图6所示,本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像***用于实现本发明实施例的基于SIFT特征匹配和VFC算法的电子稳像方法,具体包括以下部分:
视频图像预处理单元,用于从抖动视频中提取n张连帧图像,并对其进行预处理;
特征点提取单元,用于对预处理后的连帧图像,提取SIFT特征点,并根据SIFT算法对特征点进行帧间匹配,得到连帧图像中的关键特征点;
平移轨迹计算单元,用于根据连帧图像的关键特征点,使用VFC算法,得到n张帧图像之间关键特征点的平移轨迹;
校正视频输出单元,用于根据平移轨迹计算运动补偿向量,并根据运动补偿向量对每一帧图像的相对位置进行校正,最终输出经过校正后的稳定视频。
其中,特征点提取单元具体包括:
尺度空间构建单元,用于对提取的连帧图像构建高斯差分尺度空间;
图像金字塔构建单元,用于构建图像在不同尺度空间下的图像金字塔,即对一副二维图像建立它在不同尺度空间下的图像,第一幅图像为原始图像大小,后面的各个子八度则依次对前一个子八度进行降采样;
极值点检测单元,用于检测不同尺度空间和所在二维图像中的极值点,将其作为连帧图像的关键特征点。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (5)
1.一种基于SIFT特征匹配和VFC算法的电子稳像方法,其特征在于,包括以下步骤:
S1、从抖动视频中提取n张连帧图像,并对其进行预处理;
S2、对预处理后的连帧图像,提取SIFT特征点,并根据SIFT算法对特征点进行帧间匹配,得到连帧图像中的关键特征点;
S3、根据连帧图像的关键特征点,使用VFC算法,得到n张帧图像之间关键特征点的平移轨迹;
S4、根据平移轨迹计算运动补偿向量,并根据运动补偿向量对每一帧图像的相对位置进行校正,最终输出经过校正后的稳定视频。
2.根据权利要求1所述的基于SIFT特征匹配和VFC算法的电子稳像方法其特征在于,步骤S2中SIFT算法的具体步骤为:
S21、对提取的连帧图像构建高斯差分尺度空间;
S22、构建图像在不同尺度空间下的图像金字塔,即对一副二维图像建立它在不同尺度空间下的图像,第一幅图像为原始图像大小,后面的各个子八度则依次对前一个子八度进行降采样;
S23、检测不同尺度空间和所在二维图像中的极值点,将其作为连帧图像的关键特征点。
3.根据权利要求1所述的基于SIFT特征匹配和VFC算法的电子稳像方法其特征在于,步骤S3中VFC算法的具体步骤为:
通过向量场的学***移轨迹。
4.一种基于SIFT特征匹配和VFC算法的电子稳像***,其特征值在于,包括以下部分:
视频图像预处理单元,用于从抖动视频中提取n张连帧图像,并对其进行预处理;
特征点提取单元,用于对预处理后的连帧图像,提取SIFT特征点,并根据SIFT算法对特征点进行帧间匹配,得到连帧图像中的关键特征点;
平移轨迹计算单元,用于根据连帧图像的关键特征点,使用VFC算法,得到n张帧图像之间关键特征点的平移轨迹;
校正视频输出单元,用于根据平移轨迹计算运动补偿向量,并根据运动补偿向量对每一帧图像的相对位置进行校正,最终输出经过校正后的稳定视频。
5.根据权利要求4所述的基于SIFT特征匹配和VFC算法的电子稳像***,其特征值在于,所述特征点提取单元具体包括:
尺度空间构建单元,用于对提取的连帧图像构建高斯差分尺度空间;
图像金字塔构建单元,用于构建图像在不同尺度空间下的图像金字塔,即对一副二维图像建立它在不同尺度空间下的图像,第一幅图像为原始图像大小,后面的各个子八度则依次对前一个子八度进行降采样;
极值点检测单元,用于检测不同尺度空间和所在二维图像中的极值点,将其作为连帧图像的关键特征点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510706396.6A CN105306785A (zh) | 2015-10-27 | 2015-10-27 | 一种基于sift特征匹配和vfc算法的电子稳像方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510706396.6A CN105306785A (zh) | 2015-10-27 | 2015-10-27 | 一种基于sift特征匹配和vfc算法的电子稳像方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105306785A true CN105306785A (zh) | 2016-02-03 |
Family
ID=55203500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510706396.6A Pending CN105306785A (zh) | 2015-10-27 | 2015-10-27 | 一种基于sift特征匹配和vfc算法的电子稳像方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105306785A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108318506A (zh) * | 2018-01-23 | 2018-07-24 | 深圳大学 | 一种管道智能检测方法及检测*** |
WO2021027323A1 (zh) * | 2019-08-14 | 2021-02-18 | 北京理工大学 | 基于仿生眼平台的混合稳像方法和装置 |
CN114429191A (zh) * | 2022-04-02 | 2022-05-03 | 深圳深知未来智能有限公司 | 基于深度学习的电子防抖方法、***及存储介质 |
CN115134534A (zh) * | 2022-09-02 | 2022-09-30 | 深圳前海鹏影数字软件运营有限公司 | 基于电商平台的视频上传方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101009021A (zh) * | 2007-01-25 | 2007-08-01 | 复旦大学 | 基于特征匹配与跟踪的视频稳定方法 |
CN103247040A (zh) * | 2013-05-13 | 2013-08-14 | 北京工业大学 | 基于分层拓扑结构的多机器人***地图拼接方法 |
US20150062346A1 (en) * | 2013-09-04 | 2015-03-05 | Jacob Fraden | Mobile thermal imaging device |
CN104618803A (zh) * | 2014-02-26 | 2015-05-13 | 腾讯科技(深圳)有限公司 | 信息推送方法、装置、终端及服务器 |
-
2015
- 2015-10-27 CN CN201510706396.6A patent/CN105306785A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101009021A (zh) * | 2007-01-25 | 2007-08-01 | 复旦大学 | 基于特征匹配与跟踪的视频稳定方法 |
CN103247040A (zh) * | 2013-05-13 | 2013-08-14 | 北京工业大学 | 基于分层拓扑结构的多机器人***地图拼接方法 |
US20150062346A1 (en) * | 2013-09-04 | 2015-03-05 | Jacob Fraden | Mobile thermal imaging device |
CN104618803A (zh) * | 2014-02-26 | 2015-05-13 | 腾讯科技(深圳)有限公司 | 信息推送方法、装置、终端及服务器 |
Non-Patent Citations (1)
Title |
---|
姜哲颖,等: "SIFT特征匹配和VFC算法的电子稳像技术", 《武汉工程大学学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108318506A (zh) * | 2018-01-23 | 2018-07-24 | 深圳大学 | 一种管道智能检测方法及检测*** |
WO2021027323A1 (zh) * | 2019-08-14 | 2021-02-18 | 北京理工大学 | 基于仿生眼平台的混合稳像方法和装置 |
CN114429191A (zh) * | 2022-04-02 | 2022-05-03 | 深圳深知未来智能有限公司 | 基于深度学习的电子防抖方法、***及存储介质 |
CN115134534A (zh) * | 2022-09-02 | 2022-09-30 | 深圳前海鹏影数字软件运营有限公司 | 基于电商平台的视频上传方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106874949B (zh) | 基于红外图像的运动成像平台运动目标检测方法及*** | |
Werlberger et al. | Motion estimation with non-local total variation regularization | |
CN105261037B (zh) | 一种自适应复杂场景的运动目标检测方法 | |
CN110866924A (zh) | 一种线结构光中心线提取方法及存储介质 | |
Brüggemann et al. | Refign: Align and refine for adaptation of semantic segmentation to adverse conditions | |
CN109974743B (zh) | 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计 | |
CN101551909B (zh) | 基于核及目标连续自适应分布特征的跟踪方法 | |
CN108520497B (zh) | 基于距离加权稀疏表达先验的图像复原与匹配一体化方法 | |
CN105306785A (zh) | 一种基于sift特征匹配和vfc算法的电子稳像方法及*** | |
CN108416753B (zh) | 一种基于非参数化交替方向乘子法的图像去噪算法 | |
CN102915540A (zh) | 基于改进的Harris-Laplace和SIFT描述符的影像匹配方法 | |
Huang et al. | Registration algorithm for point cloud based on normalized cross-correlation | |
CN110580715B (zh) | 一种基于照度约束和格网变形的图像对齐方法 | |
CN103400158A (zh) | 基于动态形状码本学***集跟踪方法 | |
Senst et al. | Robust modified L 2 local optical flow estimation and feature tracking | |
Guo et al. | MDSFE: Multiscale deep stacking fusion enhancer network for visual data enhancement | |
Taheri et al. | Joint albedo estimation and pose tracking from video | |
CN108932731B (zh) | 基于先验信息的目标跟踪方法及*** | |
Zhang et al. | Reinforcing local structure perception for monocular depth estimation | |
Ziyun et al. | The compensated HS optical flow estimation based on matching Harris corner points | |
Zhang et al. | An algorithm for motion estimation based on the interframe difference detection function model | |
CN110059651B (zh) | 一种相机实时跟踪注册方法 | |
Wu et al. | Self-supervised monocular depth estimation scale recovery using ransac outlier removal | |
CN110516667B (zh) | 一种基于安卓的文字水平矫正方法 | |
Wang et al. | Research on Mean Shift tracking algorithm based on significant features and template updates |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160203 |
|
RJ01 | Rejection of invention patent application after publication |