CN109462717A - 电子稳像方法及终端 - Google Patents

Abstract

本发明公开了一种电子稳像方法及终端，方法包括：分别获取摄像装置的视频信息以及拍摄所述视频信息时摄像装置的运动角速率；根据所述运动角速率获取摄像装置的姿态信息；将所述姿态信息与初始姿态进行比对，得到比对结果；根据所述比对结果对所述视频信息进行旋转校正；根据卡尔曼滤波对旋转校正后的视频信息进行滤波处理，得到主动运动矢量；对所述主动运动矢量进行曲线拟合，得到拟合运动矢量；根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量；根据所述运动补偿量对所述视频信息进行补偿；输出补偿后的视频信息。适用于对VR全景视频进行电子稳像处理，有利于VR全景摄像机在运动过程中稳定输出视频。

Description

电子稳像方法及终端

技术领域

本发明涉及摄像技术领域，尤其涉及一种电子稳像方法及终端。

背景技术

随着VR技术的不断成熟和发展，VR技术已经开始在医疗、娱乐和教育等社会领域发挥了重要的作用，VR技术的发展将对社会的发展进步起到巨大的推动作用。

全景摄像机最早应用于勇气号火星探测器，作为人类遣往其他行星上的第一个地面移动机器人，上面装有一对可拍摄火星表面彩色照片的全景摄像机以及各种传感器设备。2007年瑞典厄勒布鲁大学AASS移动机器人实验室研制出一种球形安全机器人GroundBot。该机器人在球形主体的两侧安置了可变焦摄像机拍摄周围环境，生成360度虚拟全景空间。利用获取的全景图像增强机器人对环境的观测感知能力和远程监控能力，并采用机器人的SLAM(Simultaneous Localization and Mapping，同步定位与建图)技术进行机器人自主定位和导航。同年，卡内基梅隆大学与美国宇航局在合作的GlobalConnection项目中，研发出一款全景摄像机器人Gigapan。该全景摄像机器人采用具有重叠的单张图像拍摄方法，生成高达10亿像素的全景图像。

目前全景摄像机根据硬件组成的不同，可以分为多镜头式全景摄像机和单镜头式全景摄像机。单镜头式全景摄像机一般采用单个鱼眼镜头，鱼眼镜头是一种超短焦距、超广角的镜头，其拍摄视野能够达到甚至超过180°。基于光的折射原理，鱼眼镜头的设计与制造一般遵循某个特定的投影模型，如等距投影模型，其投影模型及参数决定了鱼眼镜头的视野、分辨率分布情况。鱼眼图像有严重的畸变，如场景中的直线在鱼眼图像中可能成了曲线，因此鱼眼图像不适合人眼观察，需要把鱼眼图像校正成“看起来”正常的图像，去除或减少畸变，这一过程一般被称作鱼眼镜头畸变校正。多镜头式全景摄像机首先通过有规律地排列多个普通镜头来覆盖整个拍摄视野，然后通过图像配准、图像拼接及图像融合等技术来生成完整、无缝的全景图像。

全景摄像机的成功研制己经有将近十年的时间，但却一直没有得到广泛的应用，主要是由于技术和成本的限制。多镜头式需要使用多个摄像机，成本较高且图像拼接融合技术较为复杂；单鱼眼式相对普通镜头来讲同样价格偏高，且畸变图像后的分辨率及效果不尽如人意。随着计算摄影领域的深入研究和图像处理技术的逐步发展，人们对全景摄像水平的要求也越来越高，将电子稳像技术融入到全景摄像机的自动处理功能中，从而得到稳定、高清的视频图像。

电子稳像技术主要包括运动矢量估计和提取、运动矢量滤波和运动矢量补偿等三部分。运动矢量估计和提取的主要方法有硬件方法和软件方法，硬件方法主要是采用各种精确的传感器如激光陀螺仪、电子陀螺仪和高精度棱镜等测量像机出现的位移及角速度，软件方法进行运动矢量的提取主要有匹配法、光流法和特征法等进行帧间运动矢量的估计与提取。运动矢量滤波主要是为了去除随机抖动保留摄像机自身运动或拍摄范围内目标存在的运动，常用的滤波方法主要有均值滤波法、最小二乘曲线拟合法、卡尔曼滤波法等，进行主动运动和随机抖动分量的分离。运动矢量补偿是根据求出的全局运动估计矢量去除随机抖动获得补偿矢量，进行帧间运动矢量的补偿，最终达到视频序列的稳定流畅，常用的运动矢量补偿包括多假设运动补偿、重叠块运动补偿、多矢量平均等方法。

数字视频序列由帧构成，在数字图像处理中，帧与帧之间的变化被称为运动。从摄像机运动的角度来看，根据摄像机曝光时间的长短，可以将视频序列运动分为帧内运动和帧间运动两种情况。帧间运动指摄像机的随机运动导致动态图像序列帧间的晃动现象，需要通过运动估计算法获取图像序列帧间的运动矢量。帧内运动指摄像机在曝光时间内像素发生超过一个像素的运动，使图像的每一帧在图像函数空间内出现模糊现象，通过运动滤波的算法进行图像的去噪等处理，实现清晰稳定视频的输出。

常见的电子稳像方法主要通过对相邻帧图像的特征进行匹配，再计算出相邻帧的相对位移，继而进行运动补偿。这种方式匹配算法的设计较复杂，难以满足实时***的要求，在较纯净的场景中如天空、海洋等，图像中很难找到可以用于匹配的特征。

因此，如何使VR全景摄像机在运动过程中稳定输出视频信息是我们亟需解决的问题。

发明内容

本发明所要解决的技术问题是：提供一种电子稳像方法及终端，可以使VR全景摄像机在运动过程中稳定输出视频。

为了解决上述技术问题，本发明采用的技术方案为：

一种电子稳像方法，包括：

分别获取摄像装置的视频信息以及拍摄所述视频信息时摄像装置的运动角速率；

根据所述运动角速率获取摄像装置的姿态信息；

将所述姿态信息与初始姿态进行比对，得到比对结果；

根据所述比对结果对所述视频信息进行旋转校正；

根据卡尔曼滤波对旋转校正后的视频信息进行滤波处理，得到主动运动矢量；

对所述主动运动矢量进行曲线拟合，得到拟合运动矢量；

根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量；

根据所述运动补偿量对所述视频信息进行补偿；

输出补偿后的视频信息。

本发明采用的另一技术方案为：

一种电子稳像终端，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

分别获取摄像装置的视频信息以及拍摄所述视频信息时摄像装置的运动角速率；

根据所述运动角速率获取摄像装置的姿态信息；

将所述姿态信息与初始姿态进行比对，得到比对结果；

根据所述比对结果对所述视频信息进行旋转校正；

根据卡尔曼滤波对旋转校正后的视频信息进行滤波处理，得到主动运动矢量；

对所述主动运动矢量进行曲线拟合，得到拟合运动矢量；

根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量；

根据所述运动补偿量对所述视频信息进行补偿；

输出补偿后的视频信息。

本发明的有益效果在于：对视频信息进行旋转校正，可以为全景视频的稳定输出提供关键性保障；通过卡尔曼滤波将摄像装置的随机抖动进行分离，并对主动运动矢量进行曲线拟合，最后计算得到运动补偿量，通过运动补偿量对视频信息进行补偿，最终可以得到稳定的视频信息。本发明适用于对VR全景视频进行电子稳像处理，有利于VR全景摄像机在运动过程中稳定输出视频。

附图说明

图1为本发明实施例一的电子稳像方法的流程图；

图2为本发明实施例一的静态加速度示意图；

图3为本发明实施例二的电子稳像终端的结构示意图。

标号说明：

100、电子稳像终端；1、处理器；2、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：对视频信息进行旋转校正，并通过卡尔曼滤波将摄像装置的随机抖动进行分离，最终可以得到稳定的视频信息。

请参照图1，一种电子稳像方法，包括：

分别获取摄像装置的视频信息以及拍摄所述视频信息时摄像装置的运动角速率；

根据所述运动角速率获取摄像装置的姿态信息；

将所述姿态信息与初始姿态进行比对，得到比对结果；

根据所述比对结果对所述视频信息进行旋转校正；

根据卡尔曼滤波对旋转校正后的视频信息进行滤波处理，得到主动运动矢量；

对所述主动运动矢量进行曲线拟合，得到拟合运动矢量；

根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量；

根据所述运动补偿量对所述视频信息进行补偿；

输出补偿后的视频信息。

从上述描述可知，本发明的有益效果在于：对视频信息进行旋转校正，可以为全景视频的稳定输出提供关键性保障；通过卡尔曼滤波将摄像装置的随机抖动进行分离，并对主动运动矢量进行曲线拟合，最后计算得到运动补偿量，通过运动补偿量对视频信息进行补偿，最终可以得到稳定的视频信息。本发明适用于对VR全景视频进行电子稳像处理，有利于VR全景摄像机在运动过程中稳定输出视频。

进一步的，所述获取拍摄所述视频信息时摄像装置的运动角速率具体包括：

利用MEMS陀螺仪测量拍摄所述视频信息时摄像装置的运动角速率。

由上述描述可知，MEMS陀螺仪具有体积小、重量轻、成本低、可靠性高和测量范围大等优点。

进一步的，所述根据所述运动角速率获取摄像装置的姿态信息具体包括：

根据所述运动角速率计算得到欧拉角速率；

根据所述欧拉角速率，利用四元素表示法通过卡尔曼滤波进行姿态估计，得到所述姿态信息。

由上述描述可知，基于欧拉角速率进行姿态估计，可以提高检测精度。

进一步的，所述对所述主动运动矢量进行曲线拟合，得到拟合运动矢量具体为：

采用最小二乘法对所述主动运动矢量进行抛物线曲线拟合，得到拟合运动矢量。

由上述描述可知，卡尔曼滤波虽然可以有效滤除高频抖动保留主动运动，但是摄像机缓慢晃动导致的低频噪声仍然存在，而且卡尔曼滤波后的轨迹不够平滑，因此需要对主动运动矢量进行曲线拟合，进一步提高视频的稳定性。

进一步的，根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量具体为：

根据公式计算得到运功补偿量，其中表示主动运动矢量，表示拟合运动矢量，表示运动补偿量。

请参照图3，本发明涉及的另一技术方案为：

一种电子稳像终端100，包括处理器1、存储器2以及存储在所述存储器2上并可在所述处理器1上运行的计算机程序，所述处理器1执行所述计算机程序时实现以下步骤：

分别获取摄像装置的视频信息以及拍摄所述视频信息时摄像装置的运动角速率；

根据所述运动角速率获取摄像装置的姿态信息；

将所述姿态信息与初始姿态进行比对，得到比对结果；

根据所述比对结果对所述视频信息进行旋转校正；

根据卡尔曼滤波对旋转校正后的视频信息进行滤波处理，得到主动运动矢量；

对所述主动运动矢量进行曲线拟合，得到拟合运动矢量；

根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量；

根据所述运动补偿量对所述视频信息进行补偿；

输出补偿后的视频信息。

进一步的，所述获取拍摄所述视频信息时摄像装置的运动角速率具体包括：

利用MEMS陀螺仪测量拍摄所述视频信息时摄像装置的运动角速率。

进一步的，所述根据所述运动角速率获取摄像装置的姿态信息具体包括：

根据所述运动角速率计算得到欧拉角速率；

根据所述欧拉角速率，利用四元素表示法通过卡尔曼滤波进行姿态估计，得到所述姿态信息。

进一步的，所述对所述主动运动矢量进行曲线拟合，得到拟合运动矢量具体为：

采用最小二乘法对所述主动运动矢量进行抛物线曲线拟合，得到拟合运动矢量。

进一步的，根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量具体为：

根据公式计算得到运功补偿量，其中表示主动运动矢量，表示拟合运动矢量，表示运动补偿量。

请参照图1及图2，本发明的实施例一为：

一种电子稳像方法，包括如下步骤：

S1、分别获取摄像装置的视频信息以及拍摄所述视频信息时摄像装置的运动角速率。本实施例中，所述获取拍摄所述视频信息时摄像装置的运动角速率具体包括：利用MEMS陀螺仪测量拍摄所述视频信息时摄像装置的运动角速率。

S2、根据所述运动角速率获取摄像装置的姿态信息。

本实施例中，步骤S2具体包括：

S21、根据所述运动角速率计算得到欧拉角速率。

S22、根据所述欧拉角速率，利用四元素表示法通过卡尔曼滤波进行姿态估计，得到所述姿态信息。

本实施例中，通过等时间间隔采集MEMS陀螺仪即三轴加速度计、三轴陀螺仪的信号，然后将检测到的数据通过I₂C总线或SPI等串行通信总线传输到STM32微处理器中，通过数学模型对摄像机进行解算，得到姿态信息。陀螺仪所采集到的数据格式为x轴加速度a_x、y轴加速度a_y、z轴加速度a_z和x轴角速度w_x、y轴角速度w_y、z轴角速度w_z。

通过加速计可以测量三轴上的静态加速度，即重力加速度在三轴上的分量。重力加速度的方向正好提供参考坐标系。通过计算三轴的静态加速度方向与重力加速度方向之间角度关系如图2所示。

其中表示g重力加速度，g_x、g_y和g_z表示轴分量，θ表示角度，则摄像机在三个方向轴上的角度可表示为(1-1)式。

可以得到载体坐标系与参考坐标系之间的变换矩阵M表达式为：

设分别为欧拉角ψ、θ、φ对应的导数即角速率，陀螺仪获取的三轴角速度W＝[w_x,w_y,w_z]^T，则欧拉角角速率可通过运动角速率与欧拉角进行表示，其转换关系的表达式如下：

解算欧拉角速率得到式子(1-4)表达式为：

然后利用四元素表示法通过卡尔曼滤波进行姿态估计求取姿态角，由于采样时间间隔较短，短时间内保持旋转矢量方向不变，微分方程的解可表示为：

联立博茨方程简化式子可得到在k时刻观测变量偏转角φ_k、俯仰角θ_k、翻滚角ψ_k姿态解算表达式为(1-6)式所示。

S3、将所述姿态信息与初始姿态进行比对，得到比对结果。

S4、根据所述比对结果对所述视频信息进行旋转校正。

S5、根据卡尔曼滤波对旋转校正后的视频信息进行滤波处理，得到主动运动矢量。

卡尔曼滤波空间方程模型建立，状态方程和观测方程如下所示：

X(n)＝A(n)X(n-1)+B(n)U(n)+w(n)

Y(n)＝C(n)X(n)+u(n)

其中，X(n)表示当前时刻的状态，X(n-1)表示前一时刻的状态，A(n)是状态转移矩阵，B(n)是系数矩阵，U(n)是系数向量，Y(n)是观测向量，w(n)是方差为Q的白噪声，u(n)是方差为R的观测误差。

假设当给定观测值Y(i)(i＝1,2,…,n)时，X(n)在n时刻的估计值为给定观测值Y(i)(i＝1,2,…,n-1)时，X(n)在n时刻的估计值为以e(n|n)、e(n|n-1)表示误差，P(n|n)、P(n|n-1)表示误差方差阵，有：

P(n|n)＝E[e(n|n)e^T(n|n)]

P(n|n-1)＝E[e(n|n-1)e^T(n|n-1)]

迭代过程如下：

P(n|n-1)＝A(n)P(n-1|n-1)A^T(n)+QI

P(n|n)＝[I-K(n)C(n)]P(n|n-1)

其中K(n)表示卡尔曼增益，Y(n)是输入，即全局运动矢量；是输出。

S6、对所述主动运动矢量进行曲线拟合，得到拟合运动矢量。步骤S6具体为：采用最小二乘法对所述主动运动矢量进行抛物线曲线拟合，得到拟合运动矢量。本实施例中，曲线拟合的方程为：P(x)＝ax²+bx+c。

S7、根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量。步骤S7具体为：根据公式计算得到运功补偿量，其中表示主动运动矢量，表示拟合运动矢量，表示运动补偿量。

S8、根据所述运动补偿量对所述视频信息进行补偿。

S9、输出补偿后的视频信息。

请参照图3，本发明的实施例二为：

一种电子稳像终端100，与实施例一的方法相对应，包括处理器1、存储器2以及存储在所述存储器2上并可在所述处理器1上运行的计算机程序，所述处理器1执行所述计算机程序时实现以下步骤：

分别获取摄像装置的视频信息以及拍摄所述视频信息时摄像装置的运动角速率；

根据所述运动角速率获取摄像装置的姿态信息；

将所述姿态信息与初始姿态进行比对，得到比对结果；

根据所述比对结果对所述视频信息进行旋转校正；

根据卡尔曼滤波对旋转校正后的视频信息进行滤波处理，得到主动运动矢量；

对所述主动运动矢量进行曲线拟合，得到拟合运动矢量；

根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量；

根据所述运动补偿量对所述视频信息进行补偿；

输出补偿后的视频信息。

进一步的，所述获取拍摄所述视频信息时摄像装置的运动角速率具体包括：

利用MEMS陀螺仪测量拍摄所述视频信息时摄像装置的运动角速率。

进一步的，所述根据所述运动角速率获取摄像装置的姿态信息具体包括：

根据所述运动角速率计算得到欧拉角速率；

根据所述欧拉角速率，利用四元素表示法通过卡尔曼滤波进行姿态估计，得到所述姿态信息。

进一步的，所述对所述主动运动矢量进行曲线拟合，得到拟合运动矢量具体为：

采用最小二乘法对所述主动运动矢量进行抛物线曲线拟合，得到拟合运动矢量。

进一步的，根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量具体为：

根据公式计算得到运功补偿量，其中表示主动运动矢量，表示拟合运动矢量，表示运动补偿量。

综上所述，本发明提供的一种电子稳像方法及终端，无需进行特征匹配，可以得到稳定的视频信息，适用于对VR全景视频进行电子稳像处理，有利于VR全景摄像机在运动过程中稳定输出视频。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种电子稳像方法，其特征在于，包括：

分别获取摄像装置的视频信息以及拍摄所述视频信息时摄像装置的运动角速率；

根据所述运动角速率获取摄像装置的姿态信息；

将所述姿态信息与初始姿态进行比对，得到比对结果；

根据所述比对结果对所述视频信息进行旋转校正；

根据卡尔曼滤波对旋转校正后的视频信息进行滤波处理，得到主动运动矢量；

对所述主动运动矢量进行曲线拟合，得到拟合运动矢量；

根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量；

根据所述运动补偿量对所述视频信息进行补偿；

输出补偿后的视频信息。

2.根据权利要求1所述的电子稳像方法，其特征在于，所述获取拍摄所述视频信息时摄像装置的运动角速率具体包括：

利用MEMS陀螺仪测量拍摄所述视频信息时摄像装置的运动角速率。

3.根据权利要求2所述的电子稳像方法，其特征在于，所述根据所述运动角速率获取摄像装置的姿态信息具体包括：

根据所述运动角速率计算得到欧拉角速率；

根据所述欧拉角速率，利用四元素表示法通过卡尔曼滤波进行姿态估计，得到所述姿态信息。

4.根据权利要求1所述的电子稳像方法，其特征在于，所述对所述主动运动矢量进行曲线拟合，得到拟合运动矢量具体为：

采用最小二乘法对所述主动运动矢量进行抛物线曲线拟合，得到拟合运动矢量。

5.根据权利要求4所述的电子稳像方法，其特征在于，根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量具体为：

根据公式计算得到运功补偿量，其中表示主动运动矢量，表示拟合运动矢量，表示运动补偿量。

6.一种电子稳像终端，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

分别获取摄像装置的视频信息以及拍摄所述视频信息时摄像装置的运动角速率；

根据所述运动角速率获取摄像装置的姿态信息；

将所述姿态信息与初始姿态进行比对，得到比对结果；

根据所述比对结果对所述视频信息进行旋转校正；

根据卡尔曼滤波对旋转校正后的视频信息进行滤波处理，得到主动运动矢量；

对所述主动运动矢量进行曲线拟合，得到拟合运动矢量；

根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量；

根据所述运动补偿量对所述视频信息进行补偿；

输出补偿后的视频信息。

7.根据权利要求6所述的电子稳像终端，其特征在于，所述获取拍摄所述视频信息时摄像装置的运动角速率具体包括：

利用MEMS陀螺仪测量拍摄所述视频信息时摄像装置的运动角速率。

8.根据权利要求7所述的电子稳像终端，其特征在于，所述根据所述运动角速率获取摄像装置的姿态信息具体包括：

根据所述运动角速率计算得到欧拉角速率；

根据所述欧拉角速率，利用四元素表示法通过卡尔曼滤波进行姿态估计，得到所述姿态信息。

9.根据权利要求6所述的电子稳像终端，其特征在于，所述对所述主动运动矢量进行曲线拟合，得到拟合运动矢量具体为：

采用最小二乘法对所述主动运动矢量进行抛物线曲线拟合，得到拟合运动矢量。

10.根据权利要求9所述的电子稳像终端，其特征在于，根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量具体为：

根据公式计算得到运功补偿量，其中表示主动运动矢量，表示拟合运动矢量，表示运动补偿量。