CN106803275A - 基于相机位姿估计和空间采样的2d全景视频生成 - Google Patents

Abstract

本发明公开一种基于相机位姿估计和空间采样的2D全景视频生成，具体为根据输入视频，利用相邻视频帧的匹配特征点信息和多视角模型标定视频帧相机位置和姿态，构成相机位姿集合；根据相机位姿集合中相机的位姿在空间中的分布情况，拟合2D采样曲面，在曲面上选取n个采样点；根据相机的位置和姿态定义空间度量距离，在相机位姿集合中选取距离当前采样点最近邻相机所对应的视频帧作为当前采样点的图像；在2D采样曲面上选取一条路径，被路径穿过的采样点图像构成图像序列，此图像序列可对物体进行全景展示。

Description

基于相机位姿估计和空间采样的2D全景视频生成

技术领域

本发明涉及本发明涉及数字图像处理与计算机视觉领域，具体是对一段时间拍摄的图片序列，估计出摄像机的位姿，生成2D全景视频的方法。

背景技术

图像的特征提取和描述是基于特征的图像处理和计算机视觉的基础环节，特征检测算子的检测性能和描述算子的表征性能直接决定了图像处理的效率和精度。在实际问题中图像可能受到噪声、背景的干扰，也可能发生视角、光照、尺度、平移、旋转、仿射等，选择合理的图像特征和描述算子，使得这些特征不仅具有良好的表征性而且具有良好的鲁棒性是一个十分关键的问题。

三角测量法用于从二维的图像对或者视频序列中恢复出相应的三维信息，其中包括成像摄像机的位姿信息以及场景的结构信息。

Bundleadjustment在计算机视觉中是每一个基于特征的三维重建算法的最好的优化算法，该算法用于优化计算出来的相机光心和重建的三维点。

发明内容

发明目的：本发明的目的是为了解决现有技术的不足，提供一种基于相机位姿估计的2D全景视频生成方法，通过对图片序列的位姿估计，再将位姿信息投影到采样空间生成2D全景视频。

技术方案：为了实现以上目的，一种基于相机位姿估计和空间采样的2D全景视频生成，该方法的具体步骤如下：

(1)根据输入的一组视频帧，利用相邻视频帧图像间的匹配特征点信息和多视角模型标定出相机的初始位置和姿态，并利用bundle adjustment算法优化每一帧对应的相机位置和姿态，最终获得每一视频帧所对应的精确的相机位置和姿态，构成相机位姿集合；

(2)根据相机位姿集合中的相机的位置和姿态在空间中的分布情况，拟合出一个2D采样曲面，并在采样2D曲面上选取n个采样点；

(3)根据步骤2中所述相机的位置和姿态定义空间度量距离，对于每一个采样点，在相机位姿集合中选取距离当前采样点最近邻相机所对应的视频帧作为当前采样点的图像；

(4)在空间2D采样曲面上选一条路径，被所述路径穿过的采样点图像构成一个图像序列，展示图像序列所记录的场景内容，构成一个空间全景视图。

步骤(1)所述的具体操作步骤为：

a)通过公式判别特征点p是否是一个特征点，其中I(x)为圆周任一点像素值，I(p)为候选点像素值，ε为相差阀值，，N为圆周上有N个点满足则为角点，用机器学习的方法筛选最优特征点，用非极大值抑制算法去除临近位置多个特征点；

b)建立多尺度空间的图像金字塔，实现特征点的多尺度不变性；

c)特征点的旋转不变性,通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向；

d)利用张正友标定法，计算出相机的内参数矩阵K，相机畸变系数矩阵M；

e)利用相邻图像间的匹配特征点对的极线约束关系，对任一匹配特征点对x和x′，都符合x′F^Tx＝0，使用RANSAC方法随机抽样n个特征点对进行基础矩阵F的计算；

f)将基础矩阵F转换至归一化图像坐标下的本征矩阵E＝K′F^TK，将本征矩阵E进行奇异值分解，得到相邻相机的外参数矩阵R_t2的四个可能的相机外参数矩阵；

g)利用四个可能的相机外参数矩阵对三维点进行三角测量，并利用三维点始终在相机前这一空间位置关系筛选出四个可能的相机外参数矩阵中的唯一一个正确的相机外参数矩阵，并在所有双视角模型的外参数矩阵计算完毕后，将其进行平均化处理，减小最大误差；

h)将所述双视角模型统一坐标系，转换至摄像机坐标系中，然后对整个多视角模型进行捆绑调整，通过调整相机的位姿、三维点云的位置最小化重投影误差，将所有双视角模型都添加进多视角模型中就完成多视角模型的创建。

步骤(2)中所述的，根据相机位姿集合中的相机的位置和姿态在空间中的分布情况，拟合出一个2D采样曲面，并在采样2D曲面上选取n个采样点的具体操作步骤为，基于生成的相机位姿信息，插值生成2D采样曲面；

具体为一个平面可被其法向量定义为n＝(a,b,c),由点到平面的距离公式可定义平面为ax+by+cz+d＝0,令C＝1；则该公式可变为ax+by+cz＝-d；对所有相机坐标点有

利用最小二乘法：

可得

取所有视频帧位姿信息质心为坐标原点，可以去掉第三行：

根据克拉默法则可得平面方程：

根据克拉默法则可得平面方程：

D＝∑xx*∑yy-∑xy*∑xy

a＝(∑yz*∑xy-∑xz*∑yy)/D

b＝(∑xy*∑xz-∑xx*∑yz)/D

n＝[a,b,1]^T

b)生成n个采样点Q＝(x,y,z,q₀,q₁,q₂,q₃)^T。

步骤(3)中所述的根据相机的位置和姿态定义空间度量距离，对于每一个采样点，在相机位姿集合中选取距离当前采样点最近邻相机所对应的视频帧作为当前采样点的图像，其具体操作步骤为：

将每一帧的6DOF位姿q＝(X，R)∈S投影到采样空间则相邻帧的距离定义成p(q₀,q₁)＝W_t*||F(X₀,X₁)||+W_r*||f(R₀,R₁)||；

利用定义的距离p，得到距离采样点最近的K个视频帧作为采样点所对应的图像。

步骤(4)中所述的在空间2D采样曲面上选一条路径，被这条路径穿过的采样点图像构成一个图像序列，展示这些图像序列所记录的场景内容，整个路径上的图像构成一个空间全景视图，具体操作步骤为：

a)在拟合出的采样空间中二维采样曲面中选一条路径；

b)每个采样点展示的图像序列为在采样空间中离采样点最近的相机位姿距离的图像序列。其中距离定义采用了步骤(3)的空间度量距离定义。

有益效果：本发明所述的一种基于相机位姿估计和空间采样的2D全景视频生成，通过对图片序列的位姿估计，再将位姿信息投影到采样空间进行视频采样，这种图像序列能够很好的对物体进行全方位的展示。

附图说明

图1本发明流程图；

图2为高斯金字塔模型；

图3为相机外参数矩阵Rt矩阵的四种可能解。

具体实施方式

下面结合附图和实施例，进一步阐明本发明。

实施例

如图1所示，本发明所述的一种基于相机位姿估计和空间采样的2D全景视频生成，该方法的具体步骤如下：

步骤(1)通过将拍摄的图像序列使用二维图像特征点的提取与匹配，实现在图片序列上对特征点的追踪：

1.1)判别点p是否是一个特征点，可以通过判断以该特征点p为中心画圆，该圆过16个像素点，设在圆周上的16个像素点中是否最少有n个连续的像素点满足都比Ip+t大，或者都比Ip-t小；这里Ip指的点p的灰度值，t是一个阈值；如果满足这样的要求，则判断p点是一个特征点，否则p点不是特征点，n的值一般设为12，计算公式为

其中I(x)为圆周任一点像素值，I(p)为候选点像素值，ε为相差阀值，N为圆周上有N个点满足则为角点；

1.2)采用机器学习的方法筛选最优特征点；具体就是使用ID3算法训练一个决策树，将1.1中特征点圆周上的16个像素输入决策树中，以此来筛选出最优的FAST特征点；

1.3)非极大值抑制去除局部较密集特征点，具体为使用非极大值抑制算法去除临近位置多个特征点，为每一个特征点计算出其响应大小，其计算方式是特征点P和其周围16个特征点偏差的绝对值和；在比较临近的特征点中，保留响应值较大的特征点，删除其余的特征点；

1.4)建立多尺度空间的图像金字塔，实现特征点的多尺度不变性，设置一个比例因子scaleFactor(默认为1.2)和金字塔的层数nlevels(默认为8)；将原图像按比例因子缩小成nlevels幅图像；缩放后的图像为：

I’＝I/scaleFactork(k＝1,2,…,nlevels)；nlevels幅不同比例的图像提取特征点总和作为这幅图像的特征点；

1.5)特征点的旋转不变性：使用矩(moment)法来确定FAST特征点的方向；即通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，矩定义如下：

其中，I(x,y)为图像灰度表达式。该矩的质心为：

假设角点坐标为O，则向量的角度即为该特征点的方向。计算公式如下：

1.6)对于每一个特征点，考虑其31x31邻域；不同于原始BRIEF算法的地方是，这里在对图像进行高斯平滑之后，在31x31的窗口中，产生一对随机点后，以随机点为中心，取5x5的子窗口，比较两个子窗口内的像素和的大小进行二进制编码，而非仅仅由两个随机点决定二进制编码这样特征值更加具备抗噪性；

1.7)特征点匹配：设定一个阀值，当两张图片的描述符子的相似度大于其时，判断为相同特征点。

步骤(2)利用相邻图像间的匹配点对信息标定出相机的位置和姿态，利用三角测量方法计算出图像匹配点所对应的三维点，求解出相机的位姿姿态，并利用bundleadjustment优化每一帧对应的相机姿态，具体为：

利用张正友标定法，计算出相机的内参数矩阵

2.2)利用相邻图像间的匹配点对的极线约束关系，对任一个匹配点对X和X′，都符合X′F^TX＝0，使用RANSAC方法随机抽样n个特征点(默认为8)对进行基础矩阵F的计算；

2.3)将基础矩阵F转换至归一化图像坐标下的本征矩阵E＝K′F^TK；将本征矩阵E进行奇异值分解，得到第一个相机外参数矩阵记为：

则相邻相机的外参数矩阵R_t2的四个可能解为：

R_t2＝(UWV^T|+u₃)

R_t2＝(UWV^T|-u₃)

R_t2＝(UW^TV^T|+u₃)

R_t2＝(UW^TV^T|-u₃)

；

2.4)利用四个可能的相机外参数矩阵对三维点进行三角测量，两个相机视线交会处即为三维点的空间位置，在此通过多个相机投影方程xi＝K·Rti·X计算得到,并利用三维点始终在相机前这一空间位置关系筛选出四个可能解中的唯一一个正确解，并在所有双视角模型的外参数矩阵计算完毕后，将其进行平均化处理，减小最大误差；

2.5)对双视角模型进行捆绑调整，将相机内参数矩阵，标定出的相机位姿矩阵，三维点云以及点云中每个点对应的二维图像投影点坐标输入非线性拟合函数，使用Levenberg-Marquardt算法进行拟合，对三维点云的空间位置进行调整，从而降低三维点重投影到二维图像上与原始点之间的重投影误差；

2.6)将所有双视角模型统一坐标系，转换至摄像机坐标系中，选择第一个双视角模型作为多视角模型的姿态的参考值，计算出后续双视角模型中相机的外参数矩阵Rt相对于多视角模型中对应相机矩阵的初始值的变换矩阵，利用此变换矩阵将双视角模型坐标系下的三维点信息转换至多视角模型中，然后对整个多视角模型进行捆绑调整，通过调整相机的位姿、三维点云的位置最小化重投影误差；将所有双视角模型都添加进多视角模型中就完成了多视角模型的创建。

步骤(3)将相机的位姿(6DOF)投影到采样空间，对图像序列进行6DOF位姿采样和等采样空间距离采样，具体为：

3.1)将每一帧的6DOF位姿q＝(X，R)∈S投影到采样空间则相邻帧的距离定义成p(q₀,q₁)＝W_t*||F(X₀,X₁)||+W_r*||f(R₀,R₁)||；

其中W_t、W_r为权重系数，W_r*||f(R₀,R₁)||＝W_r*(1-R₀R₁)

3.2)利用定义的距离p，得到所有图片序列的距离和，再进行采样空间内采样和等采样空间距离采样。

步骤(4)拟合出一个在采样空间中二维采样平面，并在采样平面上选取n个采样点生成2D全景视频，具体为：。

4.1)拟合一个在采样空间中二维采样平面，生成n个采样点Q＝(x,y,z,q₀,q₁,q₂,q₃)^T；

4.2)每个采样点展示的图像序列为在采样空间中离采样点最近的相机位姿向量距离的图像序列；其数学描述为：

Distance＝argminP(Q,X)

(其中p为采样空间中的距离函数，Q为采样点，X为在采样空间内的每一帧相机位姿点)。

上述实施方式只为说明本发明的技术构思及特点，其目的是让熟悉该技术领域的技术人员能够了解本发明的内容并据以实施，并不能以此来限制本发明的保护范围。凡根据本发明精神实质所做出的等同变换或修饰，都应涵装置在本发明的保护范围之内。

Claims (5)

1.一种基于相机位姿估计和空间采样的2D全景视频生成，其特征在于：该方法的具体步骤如下：

(1)根据输入的一组视频帧，利用相邻视频帧图像间的匹配特征点信息和多视角模型标定出相机的初始位置和姿态，进一步利用捆绑调整(bundle adjustment)算法优化每一帧对应的相机位置和姿态，构成精确相机位姿集合；

(2)根据相机位姿集合中的相机的位置和姿态在空间中的分布情况，拟合出一个2D采样曲面，并在采样2D曲面上选取n个采样点；

(3)根据步骤2中所述相机的位置和姿态定义空间度量距离。对于每一个采样点，在相机位姿集合中选取空间度量距离与当前采样点最接近的相机所对应的视频帧作为当前采样点的图像；

(4)在空间2D采样曲面上选一条路径，被所述路径穿过的采样点图像构成一个图像序列，图像序列所记录的内容构成场景的一个全景视图。可选择多个路径，构建多个全景视图。

2.根据权利要求1所述的一种基于相机位姿估计和空间采样的2D全景视频生成，其特征在于：步骤(1)所述的具体操作步骤为：

a)通过公式判别特征点p是否是一个特征点，其中I(x)为圆周任一点像素值，I(p)为候选点像素值，ε为相差阀值，N为圆周上有N个点满足则为角点，用机器学习的方法筛选最优特征点，用非极大值抑制算法去除临近位置多个特征点；

b)建立多尺度空间的图像金字塔，实现特征点的多尺度不变性；

c)特征点的旋转不变性,通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向；

d)利用张正友标定法，计算出相机的内参数矩阵K，相机畸变系数矩阵M；

e)利用相邻图像间的匹配特征点对的极线约束关系，对任一匹配特征点对x和x′，都符合x′F^Tx＝0，使用RANSAC方法随机抽样n个特征点对进行基础矩阵F的计算；

f)将基础矩阵F转换至归一化图像坐标下的本征矩阵E＝K′F^TK，将本征矩阵E进行奇异值分解，得到相邻相机的外参数矩阵R_t2的四个可能的相机外参数矩阵；

g)利用四个可能的相机外参数矩阵对三维点进行三角测量，并利用三维点始终在相机前这一空间位置关系筛选出四个可能的相机外参数矩阵中的唯一一个正确的相机外参数矩阵，并在所有双视角模型的外参数矩阵计算完毕后，将其进行平均化处理，减小最大误差；

h)将所述双视角模型统一坐标系，转换至摄像机坐标系中，然后对整个多视角模型进行捆绑调整，通过调整相机的位姿、三维点云的位置最小化重投影误差，将所有双视角模型都添加进多视角模型中就完成多视角模型的创建。

3.根据权利要求1所述的一种基于相机位姿估计和空间采样的2D全景视频生成，其特征在于：步骤(2)中所述的，根据相机位姿集合中的相机的位置和姿态在空间中的分布情况，拟合出一个2D采样曲面，并在采样2D曲面上选取n个采样点的具体操作的步骤为：基于生成的相机位姿信息，插值生成2D采样曲面；

具体地，一个平面可被其法向量定义为n＝(a,b,c),由点到平面的距离公式可定义平面为ax+by+cz+d＝0,不妨令C＝1；则该公式可变为ax+by+cz＝-d；对所有相机坐标点有

$\left[\begin{array}{ccc}{x}_0& y_0& 1\\ x_1& y_1& 1\\ ...& ...& ...\\ x_n& x_n& 1\end{array}\right]\left[\begin{array}{c}a\\ b\\ d\end{array}\right]=\left[\begin{array}{c}-z_0\\ -z_1\\ ...\\ -z_n\end{array}\right]$

利用最小二乘法：

可得

$\left[\begin{array}{ccc}{\mathrm{\Σx}}_i{x}_i& {\mathrm{\Σx}}_i{y}_i& {\mathrm{\Σx}}_i\\ {\mathrm{\Σy}}_i{x}_i& {\mathrm{\Σy}}_i{y}_i& {\mathrm{\Σy}}_i\\ {\mathrm{\Σx}}_i& {\mathrm{\Σy}}_i& N\end{array}\right]\left[\begin{array}{c}a\\ b\\ d\end{array}\right]=-\left[\begin{array}{c}{\mathrm{\Σx}}_i{z}_i\\ {\mathrm{\Σy}}_i{z}_i\\ {\mathrm{\Σz}}_i\end{array}\right]$

取所有视频帧位姿信息质心为坐标原点,可以去掉第三行：

$\left[\begin{array}{cc}{\mathrm{\Σx}}_i{x}_i& {\mathrm{\Σx}}_i{y}_i\\ {\mathrm{\Σy}}_i{x}_i& {\mathrm{\Σy}}_i{y}_i\end{array}\right]\left[\begin{array}{c}a\\ b\end{array}\right]=-\left[\begin{array}{c}{\mathrm{\Σx}}_i{z}_i\\ {\mathrm{\Σy}}_i{z}_i\end{array}\right]$

根据克拉默法则可得平面方程：

D＝∑xx*∑yy-∑xy*∑xy

a＝(∑yz*∑xy-∑xz*∑yy)/D

b＝(∑xy*∑xz-∑xx*∑yz)/D

n＝[a,b,1]^T

b)在曲面上生成n个等间隔的采样点Q＝(x,y,z,q₀,q₁,q₂,q₃)^T。

4.根据权利要求1所述的一种基于相机位姿估计和空间采样的2D全景视频生成，其特征在于：步骤(3)中所述的根据相机的位置和姿态定义空间度量距离，对于每一个采样点，在相机位姿集合中选取空间度量距离与当前采样点最近的相机所对应的视频帧作为当前采样点的图像，其具体操作步骤为：

将每一帧的6DOF位姿q＝(X，R)∈S投影到采样空间则相邻帧的距离定义成p(q₀,q₁)＝W_t*||F(X₀,X₁)||+W_r*||f(R₀,R₁)||；

利用定义的距离p，得到距离采样点最近的视频帧作为采样点所对应的图像。

5.根据权利要求1所述的一种基于相机位姿估计和空间采样的2D全景视频生成，其特征在于：步骤(4)中所述的在空间2D采样曲面上选一条路径，被这条路径穿过的采样点图像构成一个图像序列，展示这些图像序列所记录的场景内容，整个2D采样曲面上的图像构成一个空间全景视图，具体操作步骤为：

a)在拟合出的采样空间中二维采样曲面中任选一条路径；

b)每个采样点展示的图像为采样空间中离采样点最近的相机所对应的视频帧。其中距离采用权利要求4中所定义的空间度量距离。