发明内容
本发明为了解决上述问题,提出了一种适用于非固定场景的快速视频稳像方法,本发明能够实现自动、快速地消除视频序列的抖动。
为了实现上述目的,本发明采用如下技术方案:
一种适用于非固定场景的快速视频稳像方法,针对视频序列中存在的旋转和平移运动,通过快速特征提取以及特征匹配筛选结果,求解出图像间的相似变换模型,得到全局运动估计参数;通过对运动估计参数进行滤波,去除摄像机随机抖动,保留正常的扫描运动,根据滤波结果,利用适用于非固定场景的帧间补偿法,实现视频稳像的目的。
进一步的,具体包括:提取当前帧图像与参考帧图像的特征点,对特征点进一步优化,利用添加尺度不变性的BRIEF算子对特征进行描述,通过计算特征描述子的汉明距离匹配特征点,剔除错误的匹配点,利用筛选后匹配的特征点对,通过最小二乘法求解两幅图像之间的相似变换参数,进行运动轨迹的滤波,将滤波后的运动参数利用帧间补偿实现视频序列稳像的目的。
进一步的,特征提取的具体过程包括:依据原始图像构建尺度图像高斯金字塔,即对原始图像用高斯内核卷积,对经过高斯模糊处理后的图像去除所有偶数行与偶数列像素,形成分辨率更小的图像,通过多次迭代构造出包含多个层级的图像高斯金字塔,在每一层高斯金字塔图像上提取FAST特征点,来实现尺度不变性,FAST特征检测过程是通过在以一定半径的圆上,比较中心像素值与圆上像素的大小,如果连续一定圆上像素数目比中心像素大或者小则判定中心像素为角点。
进一步的,根据Harris角点响应值对检测出的FAST特征点进行排序,选取响应值在前一定比例的点作为提取的特征点。
进一步的,利用灰度质心法为FAST特征添加一个方向,通过矩来计算在以一定半径范围内特征点的质心,特征点坐标到质心形成的向量方向为特征点的方向。
进一步的,采用BRIEF算子作为特征描述子,在特征点的周围以一定模式选取n个点对,把这n个点对的比较结果组合起来作为该特征点的描述子,根据特征点方向提取旋转不变描述子,以克服BRIEF算子对方向的敏感性。
进一步的,通过汉明距离来匹配特征点,当两个特征点的汉明距离小于设定的阈值时,则判定特征点匹配成功。
进一步的,使用RANSAC算法进行特征点误匹配初步筛选,通过随机抽样验证,在含有噪声的观测数据中得到有效数据,图像匹配特征点之间的距离与斜率会在所有匹配点平均距离与平均斜率附近波动,如果波动超过阈值,则判定为误匹配点,予以剔除。
进一步的,基于筛选后的匹配特征点对,通过最小二乘法估计旋转角度、水平方向位移以及垂直方向位移,采用相似变换模型作为图像之间的变换模型。
进一步的,通过kalman滤波算法对运动轨迹进行滤波,然后通过B样条拟合来平滑滤波轨迹,从而估算出视频序列每一帧图像的运动补偿参数,通过对图像进行反向补偿达到稳像的目的。
进一步的,采用帧间补偿的方法,选取当前帧图像的前一帧图像作为参考图像,通过当前帧图像与参考帧图像特征匹配,经运动滤波后估算出运动参数。
与现有技术相比,本发明的有益效果为:
本发明的数字视频稳像方法采用了更快的特征提取与匹配算法,并优化了特征点误匹配删除与运动滤波方法,可以自动地、实时地消除非固定场景下视频序列的抖动,包括平移和旋转运动。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本发明中,术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,只是为了便于叙述本发明各部件或元件结构关系而确定的关系词,并非特指本发明中任一部件或元件,不能理解为对本发明的限制。
本发明中,术语如“固接”、“相连”、“连接”等应做广义理解,表示可以是固定连接,也可以是一体地连接或可拆卸连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员,可以根据具体情况确定上述术语在本发明中的具体含义,不能理解为对本发明的限制。
正如背景技术所介绍的,现有技术中存在在非固定场景中,数字摄像机通常安装在运动平台上,采集的视频信息,会由于运动平台在运动过程以及大风等天气情况影响下会产生晃动,导致拍摄的视频序列包含抖动噪声的不足,为了解决如上的技术问题,本申请提出了一种适用于非固定场景的快速视频稳像方法,实现自动、快速地消除视频序列的抖动。
本发明的视频稳像方法是针对非固定场景、存在平移和旋转变化的视频序列抖动,而设计的一种基于快速特征点匹配和相似变换模型来确定两幅图像之间的全局运动参数,并通过对抖动图像进行运动补偿实现稳像的方法,该方法的具体实施过程如下:
1、特征提取方法
具体采用如下步骤实现:
(1)特征点提取
首先依据原始图像构建尺度图像高斯金字塔,即对原始图像用高斯内核卷积,对经过高斯模糊处理后的图像去除所有偶数行与偶数列像素,形成分辨率更小的图像,通过多次迭代构造出包含多个层级的图像高斯金字塔;在每一层高斯金字塔图像上提取FAST(Features from Accelerated Segment Test)特征点,来实现尺度不变性,FAST特征检测过程是通过在以一定半径的圆上,比较中心像素值与圆上像素的大小,如果连续一定圆上像素数目比中心像素大或者小则判定中心像素为角点;然后本发明根据Harris角点响应值对检测出的FAST特征点进行排序,选取响应值在前70%的点(若总共检测出100个FAST特征点,则提取Harris角点响应值排序靠前的70个点)作为提取的特征点。
由于FAST特征不具备方向性,利用灰度质心法为FAST特征添加一个方向,具体是通过矩来计算在以r为半径范围内特征点的质心,特征点坐标到质心形成的向量方向为特征点的方向。矩定义如下:
其中,I(x,y)为图像像素点(x,y)的像素值。该矩的质心为:
图像特征点与质心之间形成一个方向向量,于是可以用方向向量的角度来表征特征点的方向,计算公式如下:
(2)特征点描述
本发明采用BRIEF(Binary Robust IndependentElementary Features)算子作为特征描述子。BRIEF算法的核心思想是在特征点的周围以一定模式选取n个点对,把这n个点对的比较结果组合起来作为该特征点的描述子。本发明通过在以特征点为中心的半径为17的圆上,利用高斯概率分布随机选取128个点对,通过对应位置点对比较大小,以点对(m,n)为例,如果I(m)>I(n)则用1表示这个点对,否则用0表示,依次形成128维的二进制向量来代表描述符。
由于BRIEF描述符缺乏旋转不变性,所以抵抗图像平面旋转的能力较差,需要添加旋转不变性,增强抵抗噪声的能力。对于一个特征点来说,BRIEF描述子是通过n个点对的比较结果构成的,将n个点对(2n个点)组合到一起形成一个矩阵B,矩阵B形式如下:
然后利用特征点的方向构造旋转矩阵,旋转矩阵形式如下:
通过旋转矩阵对矩阵B进行校正,使其具有旋转不变性,校正公式如下:
Sθ=RθS
根据特征点方向提取旋转不变描述子,克服了BRIEF算子对方向的敏感性。
(3)特征点匹配
经过BRIEF算子提取得到的特征点描述符是一个二进制的字符串。本发明通过汉明距离来匹配特征点,当两个特征点A、B的汉明距离小于设定的阈值时,则判定特征点匹配成功。
2、特征点筛选
本发明使用二进制串作为特征描述,容易造成特征点误匹配情况的发生。针对此类情况,本发明首先通过RANSAC算法进行特征点误匹配初步筛选,RANSAC算法的核心思想是通过随机抽样验证,在含有噪声的观测数据中得到有效数据。
Ransac算法在区域特征相似的情况下,不能很好地剔除误匹配点,针对视频序列之间缩放不明显,存在是水平与垂直方向上的偏移以及小范围内的旋转的情况,本发明提出了运动一致性抑制方法与斜率一致性抑制方法。在上述情况下,图像匹配特征点之间的距离与斜率会在所有匹配点平均距离与平均斜率附近波动,如果波动过大,则判定为误匹配点,予以剔除。
假设经过Ransac特征匹配筛选后,得到参考帧图像与当前帧图像对应的n个匹配点对,若将两幅图像左右对齐成一幅图像,在对齐图像中,参考帧中的特征点用p1,p2,...,pn表示,当前帧中的相对应的匹配特征点用q1,q2,...,qn表示,各个匹配点对的相对距离用d1,d2,...,dn表示,各个匹配点对连线斜率用k1,k2,...,kn表示,则所有匹配点对的平均距离与平均斜率可表示为:
对于两个匹配点(p1,q1),若并且则判定两个匹配点匹配成功,否则判定为是误匹配点,其他匹配点依次类似判断。
3、全局运动参数估计
本发明针对抖动图像之间存在旋转与偏移的情况,基于筛选后的匹配特征点对,通过最小二乘法估计旋转角度、水平方向位移以及垂直方向位移。本发明采用相似变换模型作为图像之间的变换模型,相似变换模型如下:
式中,(x1,y1)与(x1',y1')代表视频序列中2帧图像上的匹配点,Δθ为旋转角度,Δx、Δy分别为水平方向和垂直方向上的位移量。
本发明在旋转角度很小(Δθ≤5°)的场景中,将cosΔθ近似为1,将sinΔθ近似为0,从而简化运动参数求解过程。
4、运动滤波
采集视频的摄像机是安装在运动平台上的,所以摄像机正常的扫描运动与随机抖动是同时存在的。摄像机正常的扫描运动在一定时间内方向和幅值具有一致性,属于低频运动,而随机抖动是无规律的突变运动,属于高频运动,所以本发明将全局运动参数中低频成分认定为由摄像机正常的扫描运动引起,而将高频成分认定为由摄像机随机抖动引起。本发明采用轨迹滤波的方法,首先通过kalman滤波算法对运动轨迹进行滤波,然后通过B样条拟合来平滑滤波轨迹,从而估算出视频序列每一帧图像的运动补偿参数,通过对图像进行反向补偿达到稳像的目的。
5、视频稳像
本发明在视频稳像过程中,采用帧间补偿的方法,选取当前帧图像的前一帧图像作为参考图像,通过当前帧图像与参考帧图像特征匹配,经运动滤波后估算出运动参数。具体步骤是:首先以第一帧图像作为参考帧,第二帧图像以参考帧为基准做运动补偿,然后补偿后的第二帧再作为第三帧图像的参考帧,以此类推。相比于固定帧补偿方法,本发明方法更适用于非固定视频抖动场景。
综上所述,本发明的视频稳像方法,可以自动地、快速地消除视频图像序列的抖动,实现非固定场景中视频稳像的目的。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。