CN101692692A

CN101692692A - 电子稳像方法及***

Info

Publication number: CN101692692A
Application number: CN200910309214A
Authority: CN
Inventors: 彭健
Original assignee: Individual
Current assignee: Individual
Priority date: 2009-11-02
Filing date: 2009-11-02
Publication date: 2010-04-07

Abstract

本发明实施例涉及一种电子稳像方法，可对待处理视频文件的每个单帧图像均主要进行如下处理：对当前帧图像的帧间运动矢量进行平滑处理，得到当前帧图像的平滑运动矢量，进一步得到当前帧图像的抖动运动矢量变量；将从预设的起始帧图像到每个单帧图像的前一帧图像所累加得到的抖动运动矢量变量之和，作为每个单帧图像的抖动运动矢量，以对每个单帧图像进行运动补偿，最终获得处理后的稳定的视频文件。另外，本发明实施例还提供了一种电子稳像***。采用本发明实施例的电子稳像方法及***，不仅保证了电子稳像的运算速度，又大大提高了运算精度，电子稳像效果好，满足了日益提高的对高运算速度、高运算精度的电子稳像技术的要求。

Description

电子稳像方法及***

技术领域

本发明涉及电子领域，尤其涉及一种电子稳像方法及***。

背景技术

电子图像稳定技术(一般称电子稳像技术)是指利用数字图像处理技术消除或减轻视频图像序列中因为摄像机的抖动而引入的非平稳运动(即抖动)，保证摄像机在一定的变化范围内，输出的视频时稳定的。

一种快速补偿视频图像序列间平移及旋转运动的稳定成像算法，其采用灰度投影算法估计并补偿视频图像序列间的平移运动，再利用拉普拉斯变换在靠近图像的边缘区域选取几个具有明显特征的小块，运用块匹配算法进行匹配，计算并补偿其旋转运动量，以得到稳定的视频图像序列，这种电子稳像技术选用了灰度投影算法，提高了运算速度，但是这种电子稳像技术的精度不高，导致电子稳像效果较差，不能满足日益提高的对高运算速度、高运算精度的电子稳像技术的要求。

发明内容

本发明实施例所要解决的技术问题在于，提供一种电子稳像方法及***，可将有意运动和无意运动很好地区分开来，不仅保证了电子稳像的运算速度，又大大提高了运算精度，电子稳像效果好，满足了日益提高的对高运算速度、高运算精度的电子稳像技术的要求。

为解决上述技术问题，本发明实施例采用如下技术方案：

一种电子稳像方法，包括：

获得由连续的若干单帧图像组成的待处理视频文件；

对每个单帧图像均进行如下处理：获得当前帧图像的帧间运动矢量；对当前帧图像的帧间运动矢量进行平滑处理，得到当前帧图像的平滑运动矢量；根据当前帧图像的帧间运动矢量及其平滑运动矢量，得到当前帧图像的抖动运动矢量变量；将从预设的起始帧图像到每个单帧图像的前一帧图像所累加得到的抖动运动矢量变量之和，作为每个单帧图像的抖动运动矢量；

以每个单帧图像的抖动运动矢量对每个单帧图像进行运动补偿，以获得处理后的视频文件。

本发明实施例的有益效果是：

通过提供一种电子稳像方法及***，可对待处理视频文件的每个单帧图像均进行如下处理：获得当前帧图像的帧间运动矢量；对当前帧图像的帧间运动矢量进行平滑处理，得到当前帧图像的平滑运动矢量；根据当前帧图像的帧间运动矢量及其平滑运动矢量，得到当前帧图像的抖动运动矢量变量；将从预设的起始帧图像到每个单帧图像的前一帧图像所累加得到的抖动运动矢量变量之和，作为每个单帧图像的抖动运动矢量；并以每个单帧图像的抖动运动矢量对每个单帧图像进行运动补偿，以获得处理后的稳定的视频文件，这样，可将有意运动和无意运动很好地区分开来，不仅保证了电子稳像的运算速度，又大大提高了运算精度，电子稳像效果好，满足了日益提高的对高运算速度、高运算精度的电子稳像技术的要求。

下面结合附图对本发明实施例作进一步的详细描述。

附图说明

图1是本发明实施例的电子稳像方法的主要流程图；

图2是本发明实施例的电子稳像方法的螺旋搜索方式示意图；

图3是本发明实施例的电子稳像方法中103步骤的获得与每个参考块最匹配的运算块的主要流程图；

图4是本发明实施例的电子稳像***的主要结构图。

具体实施方式

本发明实施例提供了一种电子稳像方法及其对应的电子稳像***，可对待处理视频文件的每个单帧图像均进行如下处理：获得当前帧图像的帧间运动矢量；对当前帧图像的帧间运动矢量进行平滑处理，得到当前帧图像的平滑运动矢量；根据当前帧图像的帧间运动矢量及其平滑运动矢量，得到当前帧图像的抖动运动矢量变量；将从预设的起始帧图像到每个单帧图像的前一帧图像所累加得到的抖动运动矢量变量之和，作为每个单帧图像的抖动运动矢量；并以每个单帧图像的抖动运动矢量对每个单帧图像进行运动补偿，以获得处理后的稳定的视频文件，这样，可将有意运动和无意运动很好地区分开来，不仅保证了电子稳像的运算速度，又大大提高了运算精度，电子稳像效果好，满足了日益提高的对高运算速度、高运算精度的电子稳像技术的要求。

下面通过几个具体实施例对本发明的电子稳像方法及电子稳像***进行说明。

图1是本发明实施例的电子稳像方法的主要流程图，参照该图，该方法主要包括：

101，获得由连续的若干单帧图像组成的待处理视频文件，具体地，该待处理视频文件由于成像设备的运动导致其视频序列抖动模糊，形成了抖动的视频流；

分离出待处理视频文件中的单帧图像，对每个单帧图像均进行如下102至105的处理：

102，获取当前帧图像的第一灰度值，并将当前帧图像转换为第一灰度图像，获取参考帧图像的第二灰度值，并将参考帧图像转换为第二灰度图像，从第一灰度图像中截取部分区域作为运算区域，并从第二灰度图像中截取部分区域作为参考区域，以参与后续运算，具体地，参考帧图像一般为当前帧图像的后一帧图像，当前帧图像中的运算区域及参考帧图像中的参考区域的面积取值为160像素×160像素，此数值的选取只是一个经验取值，在该方法或后续的***处理起来性能较佳；

103，以8像素×8像素的第一预设定面积分别将当前帧图像中的运算区域划分成400个运算块(运算区域面积除以第一预设定面积所得，下同)，将参考帧图像中的参考区域划分成400个参考块；采用24像素×24像素的第二预设定面积且设置有参考块的搜索窗对当前帧图像中的运算区域进行全搜索算法的螺旋搜索，得到每个搜索窗内绝对误差和(SAD)最小且小于第一预设定阈值的运算块作为与每个参考块最匹配的运算块，根据与每个参考块最匹配的运算块，得到每个参考块的块运动矢量，因此，最后可得到400个分别与每个参考块最匹配的运算块，具体地，搜索窗的像素范围确定为(-8，+8)，该像素范围由第二预设定面积决定，螺旋搜索方式如图2所示，为了保证搜索时能够搜索到各个方向的运动，一般把参考块置于搜索窗的中心，使得后续的图像匹配更有意义；如图3所示，通过设置第一预设定阈值T进行螺旋搜索，在单独第k(k为自然数)个运算块与参考块的匹配过程中，搜索第k个运动块的第i(i也为自然数)行，计算相应地SAD，每累加一行(8个像素)的SAD就与T相比较，如果SAD大于或等于T则确定本运算块不是最匹配的运算块，放弃本次匹配过程并进行下一第k+1个运动块的匹配，如果SAD小于T则在第k个运动块未匹配完时进行下一行的匹配，依次类推，直到整个第k个运算块搜索完毕时，SAD仍小于T，就以这个SAD更新T值，一般T的初始值可取开始匹配的第一个运算块所有像素灰度值的SAD值，T值的更新可优化运算过程以得到最匹配的运算块；

需要说明的是，以其他第一预设定面积进行划分，如4像素×4像素或16像素×16像素等，都是可以的，这里选取8像素×8像素更为常用，且可使得整体运算效果更好；第二预设定面积也可以为其他取值，不仅限于24像素×24像素，搜索窗面积越大，其计算量越大，而搜索窗面积越小，其计算误差越大，综合后，第二预设定面积为24像素×24像素能较好的保证较小的计算量及计算误差；要得到最匹配的运算块，不仅限于采用螺旋搜索，用其他的搜索方法(如逐行/逐列搜索等)亦可；根据与每个参考块最匹配的运算块，得到每个参考块的块运动矢量；

104，根据每个参考块的块运动矢量得到当前帧图像的帧间运动矢量，具体地，经过103的运算得到了各参考块的块运动矢量，此处以参考块的块运动矢量的算术平均值作为当前帧图像的帧间运动矢量，处理完以后，就得到了一组帧间运动矢量；

至此，由102至104就可以获得每个单帧图像的帧间运动矢量；

105，对当前帧图像的帧间运动矢量进行平滑处理，得到当前帧图像的平滑运动矢量，以当前帧图像的帧间运动矢量减去其平滑运动矢量的差值作为当前帧图像的抖动运动矢量变量，并将从预设的起始帧图像到每个单帧图像的前一帧图像所累加得到的抖动运动矢量变量之和，作为每个单帧图像的抖动运动矢量，具体地，通过设置有衰减因子的一阶线性自回归函数对当前帧图像的帧间运动矢量进行平滑处理，这样可将有意运动和无意运动很好地区分开来，尽可能保留有意运动去除无意运动，衰减因子可根据各视频的不同运动情况进行选择设置，从而得到更好的稳像效果，其中，一阶线性自回归函数为：

SMV(n)＝αSMV(n-1)+βGMV(n)，α＝1-β，

其中n为帧数，β为衰减因子，GMV(n)为帧间运动矢量，SMV(n)为平滑运动矢量；

需要说明的是，上述平滑处理还可以采用其他的平滑方式，不仅限于此；

106，判断单帧图像的抖动运动矢量是否超过第二预设定阈值时，当判断结果为是时，重置抖动运动矢量超过第二预设定阈值的单帧图像作为另一起始帧，否则，以每个单帧图像的抖动运动矢量对每个单帧图像进行运动补偿，即利用105所得帧间运动矢量的线性组合对单帧图像的各个像素点进行位置调整(图像平移)，并写入视频文件，得到稳定的处理后的视频文件。

作为一种实施方式，上述方法还可以包括对106得到的处理后的视频文件的稳定性进行检测，当稳定性不够时，可触发重新进行105的处理，具体地，可更换选定的衰减因子，再经过105、106，直到得出最好稳像效果的视频文件。

上述方法的执行程序源代码可如下述：

(1)取单帧并转换成灰度图像

unsigned char red＝(unsigned char)(*lpbuff1)；lpbuff1++；

unsigned char green＝(unsigned char)(*lpbuff1)；lpbuff1++；

unsigned char blue＝(unsigned char)(*lpbuff1)；lpbuff1++；

unsigned char y＝(unsigned char)(red*0.299+green*0.587+blue*0.114+0.5)；

if(y＞255)y＝255；

(2)相邻帧匹配

for(k＝0；k＜8*l；k++)

{

if(i＞＝ilow&&i＜＝ihigh&&j＞＝jlow&&j＜＝jhigh)

{d＝dist1(org+i+lx*j，blk，lx，0，0，h，dmin)；//dist1()是匹配函数，计算每

一块的SAD

if(d＜dmin)

{

dmin＝d；

imin＝i；

jmin＝j；

}

if(k＜2*l)i++；

else if(k＜4*l)j++；

else if(k＜6*l)i--；

else j--；

}

(3)运动补偿

//计算图像每行的字节数

lLineBytes＝WIDTHBYTES(lWidth*8*3)；

//暂时分配内存，以保存新图像

hNewDIBBits＝LocalAlloc(LHND，lLineBytes*lHeight)；

if(hNewDIBBits＝＝NULL)

{

//分配内存失败

return FALSE；

}

//锁定内存

lpNewDIBBits＝(char*)LocalLock(hNewDIBBits)；

//每行

for(i＝0；i＜lHeight；i++)

{

//每列

for(j＝0；j＜lWidth；j++)

{

//指向新DIB第i行，第j个象素的指针

//注意由于DIB中图像第一行其实保存在最后一行的位置，因//此lpDst值不是(

char*)lpNewDIBBits+lLineBytes*i+j，而是

//(char*)lpNewDIBBits+lLineBytes*(lHeight-1-i)+j

lpDst＝(char*)lpNewDIBBits+lLineBytes*(lHeight-1-i)+3*j；

//计算该象素在源DIB中的坐标

i0＝i-lXOffset；

j0＝j-lYOffset；

//判断是否在源图范围内

if((j0＞＝0)&&(j0＜lWidth)&&(i0＞＝0)&&(i0＜lHeight)

)

{

//指向源DIB第i0行，第j0个象素的指针

//同样要注意DIB上下倒置的问题

lpSrc＝(char*)lpDIBBits+lLineBytes*(lHeight-1-i0)+

3*j0；

//复制象素

*lpDst＝*lpSrc；

}

else

{

//对于源图中没有的象素，直接赋值为255

*((unsigned char*)lpDst)＝255；

}

lpDst＝(char*)lpNewDIBBits+lLineBytes*(lHeight-1-i)+

3*j+1；

//计算该象素在源DIB中的坐标

i0＝i-lXOffset；

j0＝j-lYOffset；

//判断是否在源图范围内

if((j0＞＝0)&&(j0＜lWidth)&&(i0＞＝0)&&(i0＜lHeight)

)

{

//指向源DIB第i0行，第j0个象素的指针

//同样要注意DIB上下倒置的问题

lpSrc＝(char*)lpDIBBits+lLineBytes*(lHeight-1-i0)+

3*j0+1；

//复制象素

*lpDst＝*lpSrc；

}

else

{

//对于源图中没有的象素，直接赋值为255

*((unsigned char*)lpDst)＝255；

}

lpDst＝(char*)lpNewDIBBits+lLineBytes*(lHeight-1-i)+

3*j+2；

//计算该象素在源DIB中的坐标

i0＝i-lXOffset；

j0＝j-lYOffset；

//判断是否在源图范围内

if((j0＞＝0)&&(j0＜lWidth)&&(i0＞＝0)&&(i0＜lHeight))

{

//指向源DIB第i0行，第j0个象素的指针

//同样要注意DIB上下倒置的问题

lpSrc＝(char*)lpDIBBits+lLineBytes*(lHeight-1-i0)+

3*j0+2；

//复制象素

*lpDst＝*lpSrc；

}

else

{

//对于源图中没有的象素，直接赋值为255

*((unsigned char*)lpDst)＝255；

}

图4是本发明实施例的电子稳像***的主要结构图，参照该图，该***主要包括视频文件获取模块401、单帧图像处理模块402及运动补偿模块403，视频文件获取模块401、运动补偿模块403均与单帧图像处理模块402相连，其中：

视频文件获取模块401，用于获得由连续的若干单帧图像组成的待处理视频文件，具体地，该待处理视频文件由于成像设备的运动导致其视频序列抖动模糊，形成了抖动的视频流；

单帧图像处理模块402，用于对每个单帧图像均进行如下处理：获得当前帧图像的帧间运动矢量；对当前帧图像的帧间运动矢量进行平滑处理，得到当前帧图像的平滑运动矢量；根据当前帧图像的帧间运动矢量及其平滑运动矢量，得到当前帧图像的抖动运动矢量变量；将从预设的起始帧图像到每个单帧图像的前一帧图像所累加得到的抖动运动矢量变量之和，作为每个单帧图像的抖动运动矢量；

具体地，单帧图像处理模块402还包括有顺次连接的视频图像预处理模块、块匹配模块、帧间运动运动矢量模块及运动平滑模块，其中：

视频图像预处理模块，用于获取当前帧图像的第一灰度值，并将当前帧图像转换为第一灰度图像，获取参考帧图像的第二灰度值，并将参考帧图像转换为第二灰度图像，从第一灰度图像中截取部分区域作为运算区域，并从第二灰度图像中截取部分区域作为参考区域，以参与后续运算，具体地，参考帧图像一般为当前帧图像的后一帧图像，当前帧图像中的运算区域及参考帧图像中的参考区域的面积取值为160像素×160像素，此数值的选取只是一个经验取值，在该方法或后续的***处理起来性能较佳；

块匹配模块，用于以8像素×8像素的第一预设定面积分别将当前帧图像中的运算区域划分成400个运算块(运算区域面积除以第一预设定面积所得，下同)，将参考帧图像中的参考区域划分成400个参考块；采用24像素×24像素的第二预设定面积且设置有参考块的搜索窗对当前帧图像中的运算区域进行全搜索算法的螺旋搜索，得到每个搜索窗内绝对误差和(SAD)最小且小于第一预设定阈值的运算块作为与每个参考块最匹配的运算块，根据与每个参考块最匹配的运算块，得到每个参考块的块运动矢量，因此，最后可得到400个分别与每个参考块最匹配的运算块，具体地，搜索窗的像素范围确定为(-8，+8)，该像素范围由第二预设定面积决定，螺旋搜索方式仍如图2所示，为了保证搜索时能够搜索到各个方向的运动，一般把参考块置于搜索窗的中心，使得后续的图像匹配更有意义；仍如图3所示的处理，通过设置第一预设定阈值T进行螺旋搜索，在单独第k(k为自然数)个运算块与参考块的匹配过程中，搜索第k个运动块的第i(i也为自然数)行，计算相应地SAD，每累加一行(8个像素)的SAD就与T相比较，如果SAD大于或等于T则确定本运算块不是最匹配的运算块，放弃本次匹配过程并进行下一第k+1个运动块的匹配，如果SAD小于T则在第k个运动块未匹配完时进行下一行的匹配，依次类推，直到整个第k个运算块搜索完毕时，SAD仍小于T，就以这个SAD更新T值，一般T的初始值可取开始匹配的第一个运算块所有像素灰度值的SAD值，T值的更新可优化运算过程以得到最匹配的运算块；

帧间运动运动矢量模块，用于根据每个参考块的块运动矢量得到当前帧图像的帧间运动矢量，具体地，经过块匹配模块的运算得到了各参考块的块运动矢量，此处以参考块的块运动矢量的算术平均值作为当前帧图像的帧间运动矢量，处理完以后，就得到了一组帧间运动矢量；

至此，由帧间运动运动矢量模块就可以获得每个单帧图像的帧间运动矢量；

运动平滑模块，用于对当前帧图像的帧间运动矢量进行平滑处理，得到当前帧图像的平滑运动矢量，以当前帧图像的帧间运动矢量减去其平滑运动矢量的差值作为当前帧图像的抖动运动矢量变量，并将从预设的起始帧图像到每个单帧图像的前一帧图像所累加得到的抖动运动矢量变量之和，作为每个单帧图像的抖动运动矢量，具体地，通过设置有衰减因子的一阶线性自回归函数对当前帧图像的帧间运动矢量进行平滑处理，这样可将有意运动和无意运动很好地区分开来，尽可能保留有意运动去除无意运动，衰减因子可根据各视频的不同运动情况进行选择设置，从而得到更好的稳像效果，其中，一阶线性自回归函数为：

SMV(n)＝αSMV(n-1)+βGMV(n)，α＝1-β，

运动补偿模块403，用于以每个单帧图像的抖动运动矢量对每个单帧图像进行运动补偿，以获得处理后的视频文件，具体地运动补偿模块403可判断单帧图像的抖动运动矢量是否超过第二预设定阈值时，当判断结果为是时，重置抖动运动矢量超过第二预设定阈值的单帧图像作为另一起始帧，否则，以每个单帧图像的抖动运动矢量对每个单帧图像进行运动补偿，即利用运动平滑模块所得帧间运动矢量的线性组合对单帧图像的各个像素点进行位置调整(图像平移)，并写入视频文件，得到稳定的处理后的视频文件。

实施本发明实施例的电子稳像方法及***，采用了一阶线性自回归的运动平滑策略，在未增加额外的运算量的基础上，可将有意运动和无意运动很好地区分开来，不仅保证了电子稳像的运算速度，又大大提高了运算精度，电子稳像效果好，满足了日益提高的对高运算速度、高运算精度的电子稳像技术的要求，运动平滑使用的衰减因子可根据不同视频的抖动程度自由设定，灵活多变；采用改进的全搜索算法，运算精度高，运算速度快；采用第二预设定阈值，可解决场景切换问题；可适用于解决室内、室外等移动场景下摄像机或其他摄像设备的不平稳造成的视频图像序列抖动模糊等问题。

另外，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1.一种电子稳像方法，其特征在于，包括：

获得由连续的若干单帧图像组成的待处理视频文件；

2.如权利要求1所述的方法，其特征在于，对当前帧图像的帧间运动矢量进行平滑处理具体为：

通过设置有衰减因子的一阶线性自回归函数对当前帧图像的帧间运动矢量进行平滑处理。

3.如权利要求1或2所述的方法，其特征在于，获得当前帧图像的帧间运动矢量包括：

分别确定当前帧图像中的运算区域及其参考帧图像中的参考区域；

以第一预设定面积分别将当前帧图像中的运算区域划分成若干运算块，将参考帧图像中的参考区域划分成若干参考块；

采用第二预设定面积且设置有参考块的搜索窗对当前帧图像中的运算区域进行搜索，得到与每个参考块最匹配的运算块；

根据与每个参考块最匹配的运算块，得到每个参考块的块运动矢量；

根据每个参考块的块运动矢量得到当前帧图像的帧间运动矢量。

4.如权利要求3所述的方法，其特征在于，采用第二预设定面积且设置有参考块的搜索窗对当前帧图像中的运算区域进行搜索，得到与每个参考块最匹配的运算块具体为：

采用第二预设定面积且设置有参考块的搜索窗对当前帧图像中的运算区域进行全搜索算法的螺旋搜索，得到每个搜索窗内绝对误差和最小且小于第一预设定阈值的运算块作为与每个参考块最匹配的运算块。

5.如权利要求3所述的方法，其特征在于，分别确定所述当前帧图像中的运算区域及其参考帧图像中的参考区域包括：

将所述当前帧图像转换为第一灰度图像；

将所述参考帧图像转换为第二灰度图像；

从所述第一灰度图像中确定所述运算区域；

从所述第二灰度图像中确定所述参考区域。

6.如权利要求3所述的方法，其特征在于，参考帧图像为当前帧图像的后一帧图像，当前帧图像中的运算区域及参考帧图像中的参考区域的面积为160像素×160像素，第一预设定面积为8像素×8像素，第二预设定面积为24像素×24像素。

7.如权利要求3所述的方法，其特征在于，根据每个参考块的块运动矢量得到当前帧图像的帧间运动矢量具体为：

以参考块的块运动矢量的算术平均值作为当前帧图像的帧间运动矢量。

8.如权利要求1所述的方法，其特征在于，该方法还包括：

判断单帧图像的抖动运动矢量是否超过第二预设定阈值时，当判断结果为是时，重置抖动运动矢量超过第二预设定阈值的单帧图像作为另一起始帧，否则，以每个单帧图像的抖动运动矢量对每个单帧图像进行运动补偿。

9.如权利要求1所述的方法，其特征在于，根据当前帧图像的帧间运动矢量及其平滑运动矢量，得到当前帧图像的抖动运动矢量变量具体为：

以当前帧图像的帧间运动矢量减去其平滑运动矢量的差值作为当前帧图像的抖动运动矢量变量。

10.一种电子稳像***，其特征在于，包括：

视频文件获取模块，用于获得由连续的若干单帧图像组成的待处理视频文件；

单帧图像处理模块，用于对每个单帧图像均进行如下处理：获得当前帧图像的帧间运动矢量；对当前帧图像的帧间运动矢量进行平滑处理，得到当前帧图像的平滑运动矢量；根据当前帧图像的帧间运动矢量及其平滑运动矢量，得到当前帧图像的抖动运动矢量变量；将从预设的起始帧图像到每个单帧图像的前一帧图像所累加得到的抖动运动矢量变量之和，作为每个单帧图像的抖动运动矢量；

运动补偿模块，用于以每个单帧图像的抖动运动矢量对每个单帧图像进行运动补偿，以获得处理后的视频文件。