CN105721776A - 一种带数字稳像功能的运动摄像机装置及数字稳像方法 - Google Patents

Abstract

本发明提供一种带数字稳像功能的运动摄像机装置及数字稳像方法，在摄像机内部通过安装陀螺仪的FPGA给每幅图像打上水印，然后在播放端对视频进行稳像处理。稳像算法包括两个部分：基于陀螺仪信息的初步稳像和基于梯度块匹配的精确稳像。本发明提出方法所需的装置要求简单，成本较低，算法部分计算复杂度不大，稳像效果较好，能够较好的处理运动摄像机拍摄的各种视频。

Description

一种带数字稳像功能的运动摄像机装置及数字稳像方法

技术领域

本发明涉及视频图像数字处理领域，具体涉及一种带数字稳像功能的运动摄像机装置及数字稳像方法。

背景技术

近年来随着摄像技术的不断发展，运动摄像机已广泛应用于户外运动、生活记录、旅游观光、专业摄影、节目录制等领域。在许多应用中，运动摄像机所处的工作平台通常都是不稳定的，会导致获得的图像信息也不稳定。如通过手持、车载等得到的视频信号往往会因为摄像机的不规则运动而造成抖动。这种抖动极易引起观测者眼睛的疲劳，严重影响图像信息的进一步有效开发与利用。如何将这些视频信号转化为高质量的稳定视频具有十分重要的理论意义和实用价值。

稳像技术按其作用和原理一般可分成三种，即机械稳像，光学稳像和电子稳像。机械稳像和光学稳像都必须使用一些专用设备，如机械陀螺、伺服***、光学元件等，使得稳像***具有成本高、体积大等特点，在很多应用场合受到限制。而电子稳像具有低成本、小体积、开发周期短、可移植性高等优点，是目前稳像技术领域的研究热点。

电子稳像是通过获取序列图像的运动矢量对图像进行运动估计，并通过数字图像处理进行补偿的一种技术。根据获取图像运动矢量方法的不同，电子稳像主要分为两种：一种是利用传感器检测摄像机的运动矢量再转化为图像运动矢量；另一种是完全不用传感器，直接利用稳像算法求出图像运动矢量，再进行图像补偿。传感器检测的方法，是利用陀螺仪等惯性元件直接对摄像机的运动量进行检测，不受图像质量和信息的影响，不需要大量复杂的求取运算，具有检测速度快，适用范围宽的优点。但高精度的陀螺仪成本高、体积大；而体积小、成本低的微机械陀螺仪往往存在测量精度不高的问题。而稳像算法检测方法是直接对成像后的图像信息进行处理，不需要辅助设备，其核心计算是对相邻帧图像进行匹配，常用的方法有：块匹配法、位平面匹配法、灰度投影法和特征匹配法。其中匹配方式较为简单的块匹配法、位平面匹配法和灰度投影法一般只能估计平移运动，当图像存在旋转时，匹配效果较差。特征匹配法为了稳像的效果，匹配算法通常较为复杂，计算量比较大，难以在实时***中实现。

运动摄像机为了使用方便，往往体积较小、重量较轻，不适合安装高精度的陀螺仪；而且所拍摄的视频通常被用于实时处理***，例如目标的检测及跟踪***。这需要稳像方法能实时对视频进行处理，不能采用较为复杂的稳像算法。现有稳像技术均不适用于运动摄像机这一应用领域。

发明内容

本发明针对现有技术的不足，提出一种带数字稳像功能的运动摄像机装置及数字稳像方法，所需装置要求简单，成本较低，稳像算法部分计算复杂度不大，稳像效果较好，能够较好的处理运动摄像机拍摄的各种视频。

本发明的一种带数字稳像功能的运动摄像机装置，其特征在于，包含运动摄像模块和播放模块：所述运动摄像模块中包含陀螺仪，通过陀螺仪给每幅图像加上运动信息；所述播放模块包含稳像插播模块，稳像插播模块对视频图像进行稳像处理，输出稳定的视频图像。

具体的，所述运动摄像模块由CMOS传感器、安装陀螺仪的FPGA和压缩模块组成，通过CMOS传感器输入图像后，再通过一个安装所述陀螺仪的FPGA给每幅图像打上水印，水印信息为陀螺仪输出的角度信息，然后对图像进行压缩，输出压缩后的视频。

具体的，所述陀螺仪为低成本的微机械陀螺仪。

具体的，所述播放模块中还包含常规的播放软件，使用常规的播放软件对视频图像进行解压缩。

一种带数字稳像功能的运动摄像机装置的数字稳像方法，其特征在于：该方法包含两个步骤，一是基于陀螺仪信息的初步稳像，二是基于梯度信息的块匹配进行精确稳像。

具体的，所述基于陀螺仪信息的初步稳像包括如下步骤：

(1)将通过运动摄像机拍摄的视频进行解压缩后，获得的视频中的相邻的第k帧和第k-1帧图像，将这两帧分别设为参考帧和当前帧；

(2)当前帧图像的陀螺仪角度信息也即水印为(ω^k _x,ω^k _y)，是第k帧图像相当于第k-1帧图像的平移信息，那么第k帧图像相当于第1帧图像的平移信息为：将第k帧图像进行平移，平移矢量为其中f是焦距，即得到初步稳定的视频帧。

具体的，所述基于梯度信息的块匹配进行精确稳像包括如下步骤：

(1)对进行初步稳定后的当前帧图像和参考帧图像进行计算，分别得到对应的边缘梯度图像；

(2)将当前帧梯度图像划分成很多大小为为M×N的子图像，随机选择10个子图像，然后分别在参考帧梯度图像上计算对应的块匹配图像；

(3)通过匹配图像对计算每个子图像的运动矢量，共得到10个运动矢量，对这10个运动矢量经过中值滤波操作得到当前帧的运动矢量μ；

(4)从视频的第1帧开始对每一帧图像均按以上方法计算两相邻帧的运动矢量，设为第k帧相对于第k-1帧的运动矢量，进行累加得到当前帧对第1帧的全局运动量 ${\mathrm{\μ}}_1^k=\underset{i=1}{\overset{k-1}{\Σ}}{\mathrm{\μ}}_i^{i+1};$

(5)采用最小二乘法对运动矢量进行曲线拟合，对运动矢量进行平滑，记平滑后的矢量为主运动量当前帧的运动补偿量计算公式如下：依据所得运动补偿量对当前帧进行补偿，得到最终的稳定视频。

本发明的装置要求简单，采用低成本的微机械陀螺仪，成本较低，本发明的数字稳像方法中的算法部分计算复杂度不大，稳像效果较好，能够较好的处理运动摄像机拍摄的各种视频。

附图说明

图1是本发明提出的带数字稳像功能的运动摄像机装置示意图；

图2是本发明提出的数字稳像方法的流程图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

带数字稳像功能的运动摄像机装置如图1所示，通过CMOS传感器输入图像后，通过一个安装陀螺仪的FPGA给每幅图像打上水印，水印信息即为陀螺仪输出的角度信息，然后通过压缩模块对图像进行压缩，输出压缩后的视频。通过wifi在播放终端进行播放时，首先使用传统的播放软件对视频进行解压缩，然后通过本发明提出的稳像插播软件对解压后的图像进行稳像处理，最后播放出稳定的视频图像。

本发明提出的稳像插播软件输入是经过解压后的不稳定的视频图像，通过稳像算法对视频图像进行处理，最后输出稳定的视频图像。

其中的稳像算法具体步骤如下：

假定运动摄像机成像是一个理想的针孔模型，那么摄像机坐标系中一点Dot(x_a,y_a,z_a)，通过透视投影，该点被投影到成像平面，该投影点dot的坐标为(x,y)，则两者关系如下：

$\left\{\begin{array}{c}x=f\frac{x_a}{z_a}\\ y=f\frac{y_a}{z_a}\end{array}\right.---\left(1\right)$

其中f是焦距。

当运动摄像机沿x轴旋转θ_x时，那么点Dot在旋转后的摄像机坐标系中的坐标为令Dot′(x′_a,y′_a,z′_a)，两者的坐标有如下关系：

令点Dot′(x′_a,y′_a,z′_a)在成像平面的投影点为dot′(x′,y′)，将公式(2)带入公式(1)，由于θ_x很小，可以假定(y_a/f)θ_x远小于1，最终可得：

x′＝x,y′＝y+f·θ_x(3)

类似地，运动摄像机沿y轴旋转θ_y，可得：

x′＝x+f·θ_y,y′＝y(4)

当运动摄像机同时绕x轴和y轴旋转时，坐标变换公式如下：

$\left\{\begin{array}{c}{x}^{\′}=x+f\·{\mathrm{\θ}}_y\\ y^{\′}=u+f\·{\mathrm{\θ}}_x\end{array}\right.---\left(5\right)$

从公式5可以看到，运动摄像机绕x轴和y轴的旋转可以用摄像机的平移参数表示。

理论情况下，运动摄像机的平移参数可以通过陀螺仪输出的角度信息准确得到。但实际情况中，由于采样时间和陀螺仪本身的精度问题，陀螺仪的输出结果还是存在一定误差。为了提高稳像的精度，我们首先将陀螺仪输出的角度信息(ω_x,ω_y)作为初始估计值，对图像进行平移变换。具体步骤如下：

将通过运动摄像机拍摄的视频进行解压缩后，获得的视频中的相邻的第k帧和第k-1帧图像分别设为参考帧和当前帧。当前帧图像的陀螺仪角度信息也即水印为(ω^k _x,ω^k _y)，是第k帧图像相当于第k-1帧图像的平移信息。那么第k帧图像相当于第1帧图像的平移信息为：将第k帧图像进行平移，平移矢量为即得到初步稳定的视频帧。

由于精度问题，这样处理的视频帧还是存在一些幅度不大的抖动，接下来再进行一次精确稳定处理。本发明采用一种基于梯度信息的块匹配方法对视频图像进行精确稳像。经典的块匹配方法采用图像的灰度信息，容易受到噪声的干扰。因此我们采用sobel算子，提取图像的边缘梯度信息，作为匹配的对象。

首先对进行初步稳定后的当前帧图像(记为D)进行计算，得到边缘梯度图像(记为DT)，

$DT=\sqrt{D_x{(x,y)}^2+D_y{(x,y)}^2}---\left(6\right)$

其中 $D_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]*D$ 是水平方向的梯度信息， $D_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]*D$ 是垂直方向的梯度信息。

同理对经过初步稳定后的参考帧图像(记为C)进行计算，得到边缘梯度图像(记为CT)。

将图像DT划分成很多大小为为M×N的子图像，随机选择10个子图像DT_s1,…,DT_s10，然后分别在图像CT计算对应的块匹配图像。以子图像DT_s1为例，左上顶点坐标为(x₁,y₁)，那么用一个大小为M×N的窗口在图像CT上进行滑动，由于已经做了初始稳像，滑动搜索的范围可以稍微取小一些，这里我们令搜索范围为10，也即滑动窗口的左上顶点仅在在以(x₁,y₁)为中心，长度为10的领域内滑动。每一次的滑动都在图像CT上得到一个M×N的子图像，记为CT_s1，采用最小绝对差和准则SAD来计算两幅子图像DT_s1和CT_s1的匹配度：

$SAD(m,n)=\underset{x=1}{\overset{M}{\Σ}}\underset{y=1}{\overset{N}{\Σ}}|{\mathrm{DT}}_{s1}(x,y)-{\mathrm{CT}}_{s1}(x,y)|---\left(7\right)$

其中m、n分别表示滑动窗口相对于坐标(x₁,y₁)的偏移位置，因此|m|＜10,|n|＜10；

计算所有滑动对应的匹配度，当SAD(m,n)达到最小时，此时滑动为两幅图像的最佳匹配位置，对应的偏移量记为(m₁,n₁)，即为子图像DT_s1所求取的运动矢量。

按照同样的方法分别计算剩下九幅子图像的运动矢量，共得到10个运动矢量。对这10个运动矢量经过中值滤波操作得到当前帧的运动矢量μ。

从视频的第1帧开始对每一帧图像均按以上方法计算两相邻帧的运动矢量，设为第k帧相对于第k-1帧的运动矢量，进行累加得到当前帧对第1帧的全局运动量

由于视频还存在小幅度的抖动，所以求取的运动矢量不是平滑的。本发明采用最小二乘法对运动矢量进行曲线拟合，可以有效的对运动矢量进行平滑。记平滑后的矢量为主运动量当前帧的运动补偿量计算公式如下：

${\mathrm{\μ}}_b^t={\mathrm{\μ}}_1^t-{\mathrm{\μ}}_z^t---\left(8\right)$

依据所得运动补偿量对当前帧进行补偿，可以得到最终的稳定视频。

本发明提出的带数字稳像功能的运动摄像机装置及方法，在摄像机端装有陀螺仪，获取摄像机的运动信息，然后稳像插播软件对视频进行稳像处理，最后得到稳定的视频图像。本发明提出方法所需的装置要求简单，成本较低，算法部分计算复杂度不大，稳像效果较好，能够较好的处理运动摄像机拍摄的各种视频。

以上对本发明提供的一种带有数字稳像功能的摄像机装置及数字稳像方法进行了详细介绍，以上的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，还可做出若干简单推演或替换，都应当视为属于本发明提交的权利要求书确定的保护范围。

Claims (7)

1.一种带数字稳像功能的运动摄像机装置，其特征在于，包含运动摄像模块和播放模块：所述运动摄像模块中包含陀螺仪，通过陀螺仪给每幅图像加上运动信息；所述播放模块包含稳像插播模块，稳像插播模块对视频图像进行稳像处理，输出稳定的视频图像。

2.根据权利要求1所述的一种带数字稳像功能的运动摄像机装置，其特征在于：所述运动摄像模块由CMOS传感器、安装陀螺仪的FPGA和压缩模块组成，通过CMOS传感器输入图像后，再通过一个安装所述陀螺仪的FPGA给每幅图像打上水印，水印信息为陀螺仪输出的角度信息，然后对图像进行压缩，输出压缩后的视频。

3.根据权利要求2所述的一种带数字稳像功能的运动摄像机装置，其特征在于：所述陀螺仪为低成本的微机械陀螺仪。

4.根据权利要求3所述的一种带数字稳像功能的运动摄像机装置，其特征在于：所述播放模块中还包含常规的播放软件，使用常规的播放软件对视频图像进行解压缩。

5.一种权利要求1至4任一所述的带数字稳像功能的运动摄像机装置的数字稳像方法，其特征在于：包含两个步骤，一是基于陀螺仪信息的初步稳像，二是基于梯度信息的块匹配进行精确稳像。

6.根据权利要求5所述的一种数字稳像方法，其特征在于，所述基于陀螺仪信息的初步稳像包括如下步骤：

(1)将通过运动摄像机拍摄的视频进行解压缩后，获得的视频中的相邻的第k帧和第k-1帧图像，将这两帧分别设为参考帧和当前帧；

(2)当前帧图像的陀螺仪角度信息也即水印为(ω^k _x,ω^k _y)，是第k帧图像相当于第k-1帧图像的平移信息，那么第k帧图像相当于第1帧图像的平移信息为：将第k帧图像进行平移，平移矢量为即得到初步稳定的视频帧。

7.根据权利要求5所述的一种数字稳像方法，其特征在于，所述基于梯度信息的块匹配进行精确稳像包括如下步骤：

(1)对进行初步稳定后的当前帧图像和参考帧图像进行计算，分别得到对应的边缘梯度图像；

(2)将当前帧梯度图像划分成很多大小为为M×N的子图像，随机选择10个子图像，然后分别在参考帧梯度图像上计算对应的块匹配图像；

(3)通过匹配图像对计算每个子图像的运动矢量，共得到10个运动矢量，对这10个运动矢量经过中值滤波操作得到当前帧的运动矢量μ；

(4)从视频的第1帧开始对每一帧图像均按以上方法计算两相邻帧的运动矢量，设为第k帧相对于第k-1帧的运动矢量，进行累加得到当前帧对第1帧的全局运动量 ${\mathrm{\μ}}_1^k=\underset{i=1}{\overset{k-1}{\Σ}}{\mathrm{\μ}}_i^{i+1};$

(5)采用最小二乘法对运动矢量进行曲线拟合，对运动矢量进行平滑，记平滑后的矢量为主运动量当前帧的运动补偿量计算公式如下：依据所得运动补偿量对当前帧进行补偿，得到最终的稳定视频。