CN108933896A - 基于惯性测量单元的全景视频稳像的方法及*** - Google Patents

Abstract

本发明提供了一种基于惯性测量单元的全景视频稳像的方法，包括步骤：S1：惯性测量单元与全景拍摄设备主镜头标定；S2：同步惯性测量单元时间戳与全景视频帧的时间戳；S3：利用惯性测量单元实时获取当前帧的旋转矩阵R′；S4：获取当前帧视频的旋转矩阵M；S5：根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。本发明还提供了一种用于基于惯性测量单元的全景视频稳像的方法的全景视频稳像***，包括：全景拍摄模块、惯性测量单元、标定模块、同步模块、计算模块以及处理模块。本发明解决了将全景拍摄设备放置在汽车等载体上，由于汽车等载体在行驶过程中造成全景拍摄设备画面不稳定的问题，提高了用户体验。

Description

基于惯性测量单元的全景视频稳像的方法及***

技术领域

本发明涉及全景视频处理领域，尤其涉及基于惯性测量单元的全景视频稳像的方法及***。

背景技术

目前拍摄全景视频(包括拍照，录像，直播)，通常是通过手持全景拍摄设备拍摄，在移动拍摄的时候，由于人手不稳定，会造成全景拍摄设备旋转姿态不稳定，导致拍摄的画面不稳定，造成观看时的画面不稳定，用户体验不佳。

稳像的目的即是通常利用图像传感器的方法计算这些抖动并抑制它们达到视频稳定的目的。该技术已广泛应用在汽车监控***和船载视频成像***等应用领域中用于视频防抖处理，获得平滑稳定的视频图像序列。

目前的解决方法之一是使用云台稳定全景拍摄设备，使其拍摄的画面稳定。然而，缺点是云台比较昂贵，体积一般比较大，而且也并没有完全解决手持全景拍摄设备拍摄视频时话画面不稳定的问题。

有鉴于此，如何使得全景拍摄设备所拍摄的画面保持一个稳定的状态是一个急需解决的问题。

发明内容

本发明提供了一种基于惯性测量单元的全景视频稳像的方法，包括步骤：

S1：惯性测量单元与全景拍摄设备主镜头标定；

S2：同步惯性测量单元时间戳与全景视频帧的时间戳；

S3：利用惯性测量单元实时获取当前帧的旋转矩阵R′；

S4：获取当前帧视频的旋转矩阵M；

S5：根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。

优选地，所述步骤S1包括步骤：

步骤一：保持全景拍摄设备固定不动，变换标定板姿态位置，采集标定板图像，确保每次标定板都处于竖直放置状态，基于Matlab标定工具箱，利用采集的标定板图片序列，对全景拍摄设备主镜头进行单目标定，求解鱼眼镜头的内参数K和外参数Q；

步骤二：把在同一姿态下惯性测量单元采集的三轴加速度计数据和鱼眼镜头外参数据，分别作为在世界坐标系下惯性测量单元和全景拍摄设备主镜头的坐标点{I_i}和{C_i}，设R和T分别为惯性测量单元坐标系和全景拍摄设备主镜头坐标系之间的旋转矩阵和平移向量，计算全景拍摄设备主镜头坐标系和惯性测量单元坐标系之间存在的关系如下：

C_i＝R*I_i+T

根据最小二乘法将全景拍摄设备主镜头坐标系与惯性测量单元坐标系之间的关系最小化目标函数，计算得到惯性测量单元坐标系和全景拍摄设备主镜头坐标系之间的四元素q＝[x，y，z，w]，进而求得平移向量T；

步骤三：通过四元素与旋转向量之间的关系求解旋转向量r＝[r₁，r₂，r₃]，进而将旋转向量r转化成旋转矩阵R，利用四元素求解旋转向量的计算公式如下：

其中，

基于旋转向量计算旋转矩阵的方式为：R＝rot(r)，其中rot(.)为变换函数。

优选地，所述步骤S2为：同步惯性测量单元时间戳与全景视频帧的时间戳，使t_k≥t_j＞t_k-1，其中t_j是全景视频时间戳，t_k为惯性测量单元第k帧的时间戳，t_k-1为惯性测量单元第k-1帧的时间戳。

优选地，所述步骤S3为：利用惯性测量单元获取全景拍摄设备拍摄全景图像时每一帧的姿态四元素q′，将当前帧的姿态四元素q′进行变换得到当前帧的旋转矩阵R′。

优选地，所述步骤S4为：依据惯性测量单元与全景拍摄设备主镜头标定的旋转矩阵R以及当前帧旋转矩阵R′得到全景视频中当前帧视频的旋转矩阵M，计算公式为：

M＝R′^-1*R

优选地，所述步骤S5为：将当前帧的全景图像投影到全景球面上，利用旋转矩阵M对其进行旋转得到旋转后的全景球面，将旋转后的全景球面投影到平面全景图像。利用旋转矩阵M对全景球面上的点进行旋转的公式如下：

其中，[X，Y，Z]^T表示旋转前的球面坐标，[X′，Y′，Z′]^T表示旋转后的球面坐标。

本发明还提供了一种用于所述的基于惯性测量单元的全景视频稳像的方法的基于惯性测量单元的全景视频稳像***，包括：

全景拍摄模块，用于采集全景图像，以及在惯性测量单元与全景拍摄设备主镜头标定时，采集竖直放置的标定板图像；

惯性测量单元，用于获取惯性测量单元的当前状态时间戳，获取全景拍摄设备拍摄全景图像时每一帧的姿态四元素，在惯性测量单元与全景拍摄设备主镜头标定时，获取与标定板姿态对应的惯性测量单元三轴加速度计数据；

标定模块，基于采集的竖直放置的不同姿态位置下的标定板图像以及相对应的惯性测量单元三轴加速度计数据，估计惯性测量单元坐标系与全景拍摄设备主镜头坐标系之间的旋转量；

同步模块，用于同步惯性测量单元时间戳与全景视频的时间戳；

计算模块，依据惯性测量单元与全景拍摄设备主镜头之间的旋转矩阵以及当前帧的姿态四元素，得到旋转矩阵M；

处理模块，将当前帧的全景图像投影到全景球面上，使用旋转矩阵M对全景球面图像进行旋转，并将旋转后的全景球面图像投影回全景平面图像，得到稳定的全景视频帧。

附图说明

图1是本发明实施例基于惯性测量单元的全景视频稳像方法流程图；

图2是本发明实施例基于惯性测量单元的全景视频稳像***的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1所示，本实施例提供的基于惯性测量单元的全景视频稳像的方法，包括如下步骤：

S1：惯性测量单元与全景拍摄设备主镜头标定。

在全景拍摄设备中加入惯性测量单元，惯性测量单元坐标系与全景拍摄设备主镜头坐标系是不重合的，通过这两个坐标系与世界坐标系之间的关系，对惯性测量单元坐标系和全景拍摄设备主镜头坐标系进行相对位姿标定使两个坐标系重合。具体包括如下步骤：

步骤一：保持全景拍摄设备固定不动，变换标定板姿态位置，采集标定板图像，确保每次标定板都处于竖直放置状态，基于Matlab标定工具箱，利用采集的标定板图片序列，对全景拍摄设备主镜头进行单目标定，求解鱼眼镜头的内参数K和外参数Q。

步骤二：把在同一姿态下惯性测量单元采集的三轴加速度计数据和鱼眼镜头外参数据，分别作为在世界坐标系下惯性测量单元和全景拍摄设备主镜头的坐标点{I_i}和{C_i}。设R和T分别为惯性测量单元坐标系和全景拍摄设备主镜头坐标系之间的旋转矩阵和平移向量，计算全景拍摄设备主镜头坐标系和惯性测量单元坐标系之间存在的关系如下：

C_i＝R*I_i+T

根据最小二乘法将全景拍摄设备主镜头坐标系与惯性测量单元坐标系之间的关系最小化目标函数，计算得到惯性测量单元坐标系和全景拍摄设备主镜头坐标系之间的四元素q＝[x，y，z，w]，进而求得平移向量T。

步骤三：通过四元素与旋转向量之间的关系求解旋转向量r＝[r₁，r₂，r₃]，进而将旋转向量r转化成旋转矩阵R。利用四元素求解旋转向量的计算公式如下：

其中，

基于旋转向量计算旋转矩阵的方式为：R＝rot(r)，其中rot(.)为变换函数。

S2：同步惯性测量单元时间戳与全景视频帧的时间戳。

同步惯性测量单元时间戳与全景视频帧的时间戳，使t_k≥t_j＞t_k-1，其中t_j是全景视频时间戳，t_k为惯性测量单元第k帧的时间戳，t_k-1为惯性测量单元第k-1帧的时间戳。

S3：利用惯性测量单元实时获取当前帧的旋转矩阵R′。

具体而言，惯性测量单元获取全景拍摄设备拍摄全景图像时每一帧的姿态四元素q′，将当前帧的姿态四元素q′进行变换得到当前帧的旋转矩阵R′。

S4：获取当前帧视频的旋转矩阵M。

依据惯性测量单元与全景拍摄设备主镜头标定的旋转矩阵R以及当前帧旋转矩阵R′得到全景视频中当前帧视频的旋转矩阵M，计算公式如下：

M＝R′^-1*R

S5：根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。

将当前帧的全景图像投影到全景球面上，利用旋转矩阵M对其进行旋转得到旋转后的全景球面，将旋转后的全景球面投影到平面全景图像。利用旋转矩阵M对全景球面上的点进行旋转的公式如下：

其中，[X，Y，Z]^T表示旋转前的球面坐标，[X′，Y′，Z′]^T表示旋转后的球面坐标。

在本实施例中，通过惯性测量单元获取全景拍摄设备拍摄全景图像时每一帧的姿态四元素q′，并将其转化成旋转矩阵R′，结合惯性测量单元与全景拍摄设备主镜头之间的旋转关系R，计算全景视频的帧视频旋转矩阵M，再利用旋转矩阵M进行旋转得到稳定的全景视频，从而实现全景视频处于稳定状态，解决了手持全景拍摄设备拍摄画面时画面不稳定的问题，同时，也解决了将全景拍摄设备放置在汽车等载体上，由于汽车等载体在行驶过程中造成全景拍摄设备画面不稳定的问题，提高了用户体验。

本发明实施例的基于惯性测量单元的全景视频稳像***100结构框图，如图2所示，包括：全景拍摄模块110、惯性测量单元120、标定模块130、同步模块140、计算模块150以及处理模块160。

全景拍摄模块110，用于采集全景图像，此外，在惯性测量单元与全景拍摄设备主镜头标定时，采集竖直放置的标定板图像。

惯性测量单元120，用于获取惯性测量单元的当前状态时间戳，获取全景拍摄设备拍摄全景图像时每一帧的姿态四元素，在惯性测量单元与全景拍摄设备主镜头标定时，获取与标定板姿态对应的惯性测量单元三轴加速度计数据。

标定模块130，基于采集的竖直放置的不同姿态位置下的标定板图像以及相对应的惯性测量单元三轴加速度计数据，估计惯性测量单元坐标系与全景拍摄设备主镜头坐标系之间的旋转量。

同步模块140，用于同步惯性测量单元时间戳与全景视频的时间戳。

计算模块150，依据惯性测量单元与全景拍摄设备主镜头之间的旋转矩阵以及当前帧的姿态四元素，得到旋转矩阵M。

处理模块160，将当前帧的全景图像投影到全景球面上，使用旋转矩阵M对全景球面图像进行旋转，并将旋转后的全景球面图像投影回全景平面图像，得到稳定的全景视频帧。

Claims (7)

1.一种基于惯性测量单元的全景视频稳像的方法，其特征在于，包括步骤：

S1：惯性测量单元与全景拍摄设备主镜头标定；

S2：同步惯性测量单元时间戳与全景视频帧的时间戳；

S3：利用惯性测量单元实时获取当前帧的旋转矩阵R′；

S4：获取当前帧视频的旋转矩阵M；

S5：根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。

2.根据权利要求1所述的一种基于惯性测量单元的全景视频稳像的方法，其特征在于，所述步骤S1包括步骤：

步骤一：保持全景拍摄设备固定不动，变换标定板姿态位置，采集标定板图像，确保每次标定板都处于竖直放置状态，基于Matlab标定工具箱，利用采集的标定板图片序列，对全景拍摄设备主镜头进行单目标定，求解鱼眼镜头的内参数K和外参数Q；

步骤二：把在同一姿态下惯性测量单元采集的三轴加速度计数据和鱼眼镜头外参数据，分别作为在世界坐标系下惯性测量单元和全景拍摄设备主镜头的坐标点{I_i}和{C_i}，设R和T分别为惯性测量单元坐标系和全景拍摄设备主镜头坐标系之间的旋转矩阵和平移向量，计算全景拍摄设备主镜头坐标系和惯性测量单元坐标系之间存在的关系如下：

C_i＝R*I_i+T

根据最小二乘法将全景拍摄设备主镜头坐标系与惯性测量单元坐标系之间的关系最小化目标函数，计算得到惯性测量单元坐标系和全景拍摄设备主镜头坐标系之间的四元素q＝[x，y，z，w]，进而求得平移向量T；

步骤三：通过四元素与旋转向量之间的关系求解旋转向量r＝[r₁，r₂，r₃]，进而将旋转向量r转化成旋转矩阵R，利用四元素求解旋转向量的计算公式如下：

其中，

基于旋转向量计算旋转矩阵的方式为：R＝rot(r)，其中rot(.)为变换函数。

3.根据权利要求1所述的一种基于惯性测量单元的全景视频稳像的方法，其特征在于，所述步骤S2为：同步惯性测量单元时间戳与全景视频帧的时间戳，使t_k≥t_j＞t_k-1，其中t_j是全景视频时间戳，t_k为惯性测量单元第k帧的时间戳，t_k-1为惯性测量单元第k-1帧的时间戳。

4.根据权利要求1所述的一种基于惯性测量单元的全景视频稳像的方法，其特征在于，所述步骤S3为：利用惯性测量单元获取全景拍摄设备拍摄全景图像时每一帧的姿态四元素q′，将当前帧的姿态四元素q′进行变换得到当前帧的旋转矩阵R′。

5.根据权利要求1所述的一种基于惯性测量单元的全景视频稳像的方法，其特征在于，所述步骤S4为：依据惯性测量单元与全景拍摄设备主镜头标定的旋转矩阵R以及当前帧旋转矩阵R′得到全景视频中当前帧视频的旋转矩阵M，计算公式为：

M＝R′^-1*R

6.根据权利要求1所述的一种基于惯性测量单元的全景视频稳像的方法，其特征在于，所述步骤S5为：将当前帧的全景图像投影到全景球面上，利用旋转矩阵M对其进行旋转得到旋转后的全景球面，将旋转后的全景球面投影到平面全景图像。利用旋转矩阵M对全景球面上的点进行旋转的公式如下：

其中，[X，Y，Z]^T表示旋转前的球面坐标，[X′，Y′，Z′]^T表示旋转后的球面坐标。

7.一种用于权利要求1所述的基于惯性测量单元的全景视频稳像的方法的基于惯性测量单元的全景视频稳像***，包括：

全景拍摄模块，用于采集全景图像，以及在惯性测量单元与全景拍摄设备主镜头标定时，采集竖直放置的标定板图像；

惯性测量单元，用于获取惯性测量单元的当前状态时间戳，获取全景拍摄设备拍摄全景图像时每一帧的姿态四元素，在惯性测量单元与全景拍摄设备主镜头标定时，获取与标定板姿态对应的惯性测量单元三轴加速度计数据；

标定模块，基于采集的竖直放置的不同姿态位置下的标定板图像以及相对应的惯性测量单元三轴加速度计数据，估计惯性测量单元坐标系与全景拍摄设备主镜头坐标系之间的旋转量；

同步模块，用于同步惯性测量单元时间戳与全景视频的时间戳；

计算模块，依据惯性测量单元与全景拍摄设备主镜头之间的旋转矩阵以及当前帧的姿态四元素，得到旋转矩阵M；

处理模块，将当前帧的全景图像投影到全景球面上，使用旋转矩阵M对全景球面图像进行旋转，并将旋转后的全景球面图像投影回全景平面图像，得到稳定的全景视频帧。