CN105208247A - 一种基于四元数的全景稳像方法 - Google Patents

Abstract

本发明涉及一种基于四元数的全景稳像方法，其特征在于具体步骤如下：1单相机的模型球建立、2基于角度的球面投影方法、3多球体模型融合方法、4基于四元数的全景球面稳像方法、5全景球的展开方法。其将多个球体模型进行归一化，并将多个球体模型的球面进行融合形成多相机成像***的单帧全景球体模型；将前后两帧的全景球面图像进行特征点匹配，通过四元数的方法计算两个全景球之间的位姿关系，之后通过所求得的关系将球面图像进行变换，最后将全景球面上的信息还原到平面图像上，从而达到稳像效果。该方法能够有效解决由于全景相机***中每个相机因为姿态变化不同而无法准确定位整体姿态变换的问题。

Description

一种基于四元数的全景稳像方法

技术领域

本发明涉及一种基于四元数的全景稳像方法，尤其是针对多相机构成的全景成像***所生成的全景视频序列稳像方法，属于数字图像处理领域。

背景技术

全景图像的生成一般采取如下几种基本方式：第一类是使用广角摄像机或全景反射光学镜头生成全景图像视频序列；第二类是利用单个相机进行大视角的扫描运动，之后进行拼接形成全景视频序列；第三类是使用多个相机按照发散式排列形成全景成像***，多个相机可以同时进行视频图像采集，并将这些视频帧融合为全景视频序列。其中，针对第一类与第二类全景视频序列的稳像方法可以采用类似于单相机稳像的技术原理。然而，由于第三类全景视频序列生成过程的特殊性，各个相机的坐标***相互独立，同一个运动在不同相机上所表现的运动矢量各不相同。因此，以往针对单相机的稳像方法难以满足同时对多个相机所生成的全景视频进行稳像。

发明内容

本发明的目的在于提供一种基于四元数的全景稳像方法，是一种适用于多相机全景成像***的电子稳像方法；其针对多相机全景成像***，借助球体模型，将全景***中的每一个摄像机坐标***虚拟为一个球体坐标***，相机的光心为球心，相机焦距为模型球半径，将多个摄像机的成像平面映射到模型球面的一部分。将多个球体模型进行归一化，并将多个球体模型的球面进行融合形成多相机成像***的单帧全景球体模型；将前后两帧的全景球面图像进行特征点匹配，通过四元数的方法计算两个全景球之间的位姿关系，之后通过所求得的关系将球面图像进行变换，最后将全景球面上的信息还原到平面图像上，从而达到稳像效果。该方法能够有效解决由于全景相机***中每个相机因为姿态变化不同而无法准确定位整体姿态变换的问题。

本发明的技术方案是这样实现的：一种基于四元数的全景稳像方法，其特征在于具体步骤如下：

一、单相机的模型球建立

首先使用张正友标定法对全景成像***中的每个摄像机进行标定，得到每个相机的内参矩阵，

内参矩阵中的与分别表示感光器件在方向与方向的偏移量，是在方向的像素焦距是在方向的像素焦距，通过内参矩阵中的与对每个相机所采集的图像进行畸变矫正，通过可以得到每个相机的像素焦距，选定右手坐标系建立球体模型，建立一个半径为焦距的球体模型，球体模型的球心坐标为（0,0,0）。所建立的球体模型公式为：

二、基于角度的球面投影方法

图像坐标系为2D坐标系，而球体坐标系为3D坐标系，为了使球体模型能够准确的反应出相机成像模型，在这里才用了基于角度的球面投影方式；球坐标系上的任意一点可以通过来确定，其中为球体的半径，也就是原点与点的距离，为线段与轴正向的夹角，为线段在平面上的投影与轴的夹角，这里定义逆时针方向为正向。将点转换到右手坐标系下使用来表示为：

全景成像***每个相机所采集的图像的大小为为图像的宽度，为图像的高度，在右手坐标系下球体模型中，原点为光心，轴为光轴，轴穿过图像的中心点，定义图像中心点的坐标为（0,1,0）。那么对于相平面上的任意一点其坐标为，为在图像坐标系下的横向的像素坐标值，为在图像坐标系下纵向的像素坐标值。由此可以得到点与轴的正向夹角，以及在平面上的投影与轴的夹角，公式为：

通过就完成了将图像投影到球面上。同时可以得到在右手坐标系下每个像素点的；

三、多球体模型融合方法

再得到全景***每个相机的球体成像模型后需要将球体模型进行归一化处理，使每个相机的球体模型的半径为1，归一化方程为：

这样针对所有相机构建的球体模型都是统一的单位球，以便于将全景***进行融合。如相机C1与C2是相邻相机，将相邻相机同时采集的图像进行SIFT匹配，在通过RANSAC方法过滤外点，并将这些特征点的3D坐标保存下来记为与，则两个相机所建立的球体模型之间通过这些同名点对构成如下关系：

R为相邻相机的模型球的旋转矩阵，通过这个旋转矩阵就可以将全景相机的图像进行融合，融合为一个全景的球体模型；

四、基于四元数的全景球面稳像方法

将时刻与时刻生成的全景球面进行特征点匹配，记录所有特征点的坐标，并对这些点进行过滤优化，选取最优点。将全景球的3D坐标系转化为虚坐标系，坐标系的三个虚轴均用来表示三个轴的旋转量，这样对应于球面上的一点，对应于虚坐标系下的四元数表示为；

对于左右两个球面的对匹配点云，定义如下3*3的矩阵：

矩阵的元素是由两个球面坐标系对应的3D球面坐标累积和与差组成。恰好，该矩阵包含了利用最小二乘求解旋转的所需所有信息。重新定义矩阵，令其元素独立：

其中，

其余元素同上；

因此，10自由度的4*4实对称阵是由矩阵的9个元素不同代数和组成，其中，对角线和为0,矩阵的定义如下：

计算矩阵的特征值，其中是4*4的单位矩阵，为特征值，

获取最大特征值对应的特征向量便为匹配点云对应的四元数，

通过这些最优点对的四元数表示方法计算两个全景球的相对球面位姿关系，从而求得全景成像***在时刻与时刻的运动特性，进而得出两个球面之间的变换关系，实现对球面图像的抖动进行反向补偿，达到稳像效果；

五、全景球的展开方法

对全景球的球面图像进行姿态抖动抑制后得到稳定的全景单帧图像，需要使用球面到平面的投影方式将其恢复为平面全景图像，并将这些全景图像还原为视频序列。

本发明的积极效果是解决了多相机全景成像***由于载体的抖动所导致的图像难以准确拼接问题以及拼接后所产生的波纹抖动问题。

附图说明

图1是本发明的整体流程示意图。

图2是图像坐标系同球面坐标系相互转换模型图。

具体实施方式

下面结合附图对本发明做进一步的描述：如图1、2所示，第一步使用张正友标定法对全景成像***中的每个摄像机进行标定，得到每个相机的内参矩阵M，

内参矩阵中的与分别表示感光器件在方向与方向的偏移量，是在方向的像素焦距是在方向的像素焦距，通过内参矩阵中的与对每个相机所采集的图像进行畸变矫正，通过M可以得到每个相机的像素焦距f。

第二步选定右手坐标系建立球体模型，建立一个半径为焦距的球体模型，球体模型的球心坐标为（0,0,0）。所建立的球体模型公式为：

图像坐标系为2D坐标系，而球体坐标系为3D坐标系，为了使球体模型能够准确的反应出相机成像模型，在这里才用了基于角度的球面投影方式。

第三步球坐标系上的任意一点可以通过来确定，其中为球体的半径，也就是原点与点的距离，为线段与轴正向的夹角，为线段在平面上的投影与轴的夹角，这里定义逆时针方向为正向。将点转换到右手坐标系下使用来表示为：

全景成像***每个相机所采集的图像的大小为为图像的宽度，为图像的高度，在右手坐标系下球体模型中，原点为光心，轴为光轴，轴穿过图像的中心点，定义图像中心点的坐标为（0,1,0）。那么对于相平面上的任意一点其坐标为，为在图像坐标系下的横向的像素坐标值，为在图像坐标系下纵向的像素坐标值。由此可以得到点与轴的正向夹角，以及在平面上的投影与轴的夹角，公式为：

通过就完成了将图像投影到球面上。同时可以得到在右手坐标系下每个像素点的。

第四步再得到全景***每个相机的球体成像模型后需要将球体模型进行归一化处理，使每个相机的球体模型的半径为1，归一化方程为：

这样针对所有相机构建的球体模型都是统一的单位球，以便于将全景***进行融合。

第五步如相机C1与C2是相邻相机，将相邻相机同时采集的图像进行SIFT匹配，在通过RANSAC方法过滤外点，并将这些特征点的3D坐标保存下来记为与，则两个相机所建立的球体模型之间通过这些同名点对构成如下关系：

为相邻相机的模型球的旋转矩阵，通过这个旋转矩阵就可以将全景相机的图像进行融合，融合为一个全景的球体模型。

第六步将时刻与时刻生成的全景球面进行特征点匹配，记录所有特征点的坐标，并对这些点进行过滤优化，选取最优点。将全景球的3D坐标系转化为虚坐标系，坐标系的三个虚轴均用来表示三个轴的旋转量，这样对应于球面上的一点，对应于虚坐标系下的四元数表示为。

第七步对于左右两个球面的对匹配点云，定义如下3*3的矩阵：

矩阵的元素是由两个球面坐标系对应的3D球面坐标累积和组成。恰好，该矩阵包含了利用最小二乘求解旋转的所需所有信息。重新定义矩阵，令其元素独立：

其中，

其余元素同上。

因此，10自由度的4*4实对称阵是由矩阵的9个元素不同代数和组成，其中，对角线和为0,矩阵的定义如下：

计算矩阵的特征值，其中是4*4的单位矩阵，为特征值。

获取最大特征值对应的特征向量便为匹配点云对应的四元数。

第八步通过这些最优点对的四元数表示方法计算两个全景球的相对球面位姿关系，从而求得全景成像***在时刻与时刻的运动特性，进而得出两个球面之间的变换关系，实现对球面图像的抖动进行反向补偿，达到稳像效果。

第九步对全景球的球面图像进行姿态抖动抑制后得到稳定的全景单帧图像，需要使用球面到平面的投影方式将其恢复为平面全景图像，并将这些全景图像还原为视频序列。

Claims (1)

1.一种基于四元数的全景稳像方法，其特征在于具体步骤如下：

一、单相机的模型球建立

首先使用张正友标定法对全景成像***中的每个摄像机进行标定，得到每个相机的内参矩阵，

内参矩阵中的与分别表示感光器件在方向与方向的偏移量，是在方向的像素焦距是在方向的像素焦距，通过内参矩阵中的与对每个相机所采集的图像进行畸变矫正，通过可以得到每个相机的像素焦距，选定右手坐标系建立球体模型，建立一个半径为焦距的球体模型，球体模型的球心坐标为（0,0,0）;

所建立的球体模型公式为：

二、基于角度的球面投影方法

图像坐标系为2D坐标系，而球体坐标系为3D坐标系，为了使球体模型能够准确的反应出相机成像模型，在这里才用了基于角度的球面投影方式；球坐标系上的任意一点可以通过来确定，其中为球体的半径，也就是原点与点的距离，为线段与轴正向的夹角，为线段在平面上的投影与轴的夹角，这里定义逆时针方向为正向;

将点转换到右手坐标系下使用来表示为：

全景成像***每个相机所采集的图像的大小为为图像的宽度，为图像的高度，在右手坐标系下球体模型中，原点为光心，轴为光轴，轴穿过图像的中心点，定义图像中心点的坐标为（0,1,0）;那么对于相平面上的任意一点其坐标为，为在图像坐标系下的横向的像素坐标值，为在图像坐标系下纵向的像素坐标值;由此可以得到点与轴的正向夹角，以及在平面上的投影与轴的夹角，公式为：

通过就完成了将图像投影到球面上;同时可以得到在右手坐标系下每个像素点的；

三、多球体模型融合方法

再得到全景***每个相机的球体成像模型后需要将球体模型进行归一化处理，使每个相机的球体模型的半径为1，归一化方程为：

这样针对所有相机构建的球体模型都是统一的单位球，以便于将全景***进行融合;如相机C1与C2是相邻相机，将相邻相机同时采集的图像进行SIFT匹配，在通过RANSAC方法过滤外点，并将这些特征点的3D坐标保存下来记为与，则两个相机所建立的球体模型之间通过这些同名点对构成如下关系：

R为相邻相机的模型球的旋转矩阵，通过这个旋转矩阵就可以将全景相机的图像进行融合，融合为一个全景的球体模型；

四、基于四元数的全景球面稳像方法

将时刻与时刻生成的全景球面进行特征点匹配，记录所有特征点的坐标，并对这些点进行过滤优化，选取最优点;

将全景球的3D坐标系转化为虚坐标系，坐标系的三个虚轴均用来表示三个轴的旋转量，这样对应于球面上的一点，对应于虚坐标系下的四元数表示为；

对于左右两个球面的对匹配点云，定义如下3*3的矩阵：

矩阵的元素是由两个球面坐标系对应的3D球面坐标累积和与差组成;恰好，该矩阵包含了利用最小二乘求解旋转的所需所有信息;

重新定义矩阵，令其元素独立：

其中，

其余元素同上；

因此，10自由度的4*4实对称阵是由矩阵的9个元素不同代数和组成，其中，对角线和为0,矩阵的定义如下：

计算矩阵的特征值，其中是4*4的单位矩阵，为特征值，

获取最大特征值对应的特征向量便为匹配点云对应的四元数，

通过这些最优点对的四元数表示方法计算两个全景球的相对球面位姿关系，从而求得全景成像***在时刻与时刻的运动特性，进而得出两个球面之间的变换关系，实现对球面图像的抖动进行反向补偿，达到稳像效果；

五、全景球的展开方法

对全景球的球面图像进行姿态抖动抑制后得到稳定的全景单帧图像，需要使用球面到平面的投影方式将其恢复为平面全景图像，并将这些全景图像还原为视频序列。