CN111402429A

CN111402429A - 一种尺度还原、三维重建方法、***、存储介质及设备

Info

Publication number: CN111402429A
Application number: CN202010510051.4A
Authority: CN
Inventors: 何金龙; 罗天; 袁霞
Original assignee: Chengdu Sobey Digital Technology Co Ltd
Current assignee: Chengdu Sobey Digital Technology Co Ltd
Priority date: 2020-06-08
Filing date: 2020-06-08
Publication date: 2020-07-10
Anticipated expiration: 2040-06-08
Also published as: CN111402429B

Abstract

本申请提供一种尺度还原、三维重建方法、***、存储介质及设备，以解决现有技术相对于传统的单目三维重建，其开发成本和数据处理复杂度有所增加的技术问题。本申请获取第i关键帧；在距离第i关键帧的平移向量为T_i,j处，获取第j关键帧；第i关键帧的每个角点坐标对应匹配第j关键帧的每个角点坐标；根据第i关键帧角点坐标和第j关键帧角点坐标，获取第i关键帧和第j关键帧之间的几何关系，得到用以三维重建的尺度因子λ。

Description

一种尺度还原、三维重建方法、***、存储介质及设备

技术领域

本申请涉及图像处理领域，具体而言，涉及一种尺度还原、三维重建方法、***、存储介质及设备。

背景技术

随着视频技术的发展，AR(增强现实)、VR(虚拟现实)以及MR(混合现实)的应用日趋完善。三维重建属于他们的交叉学科中的关键技术，发展至今，主要存在以下几类解决方案：

1）从设备上划分，三维重建技术依赖的数据能够分别从单目相机、双目相机以及深度相机中获取。当然，从设备的成本上考虑，他们的花费依次递增，然而从数据处理的难易程度上分析，则是相反的关系。

2）与实际AR、VR或MR应用的要求相关，有些功能需要在线处理视频数据达到重建效果，而另外一些功能允许离线处理数据实现三维重建效果。

3）重建的规模也可以将整个过程分为稠密和稀疏的三维重建，根据应用的需要以及场景功能的设定，稀疏重建能够满足一些在线视频技术的相关功能，而稠密重建更适用于视觉效果上的逼真和大规模场景的复现。

目前，成熟的三维重建技术中具有代表性的有SFM(Structure form motion)和SLAM(实时定位与建图)两大类：前者能够离线地重建出拍摄场景的大致轮廓，同时计算出每一帧图像所在的位置（外参）、以及内参信息。但是需要注意的是SFM技术是基于单目视觉下的重建工作，其重建结果与真实空间相差一个未知的尺度；而后者的重心在于定位和地图重建，但是定位和运动轨迹的估计需要还原到真实空间的尺度，所以SLAM技术通常会利用额外的数据，例如,拥有深度数据的RGBD-SLAM、记录外参变化信息的Visual-InertialSLAM，这些衍生的SLAM技术通过增加一些先验信息将原本SFM存在的问题进行有效解决。由于获取这些先验信息需要增加一些额外的工作或者是硬件设备，相对于传统的单目三维重建，其开发成本和数据处理复杂度有所增加。

发明内容

本申请提供一种尺度还原、三维重建方法、***、存储介质及设备，以解决现有技术相对于传统的单目三维重建，其开发成本和数据处理复杂度有所增加的技术问题。

本申请的实施例通过如下方式实现：

本申请实提供一种尺度还原方法，包括获取第i关键帧；在距离第i关键帧的平移向量为T_i,j处，获取第j关键帧；第i关键帧的每个角点坐标对应匹配第j关键帧的每个角点坐标；根据第i关键帧角点坐标和第j关键帧角点坐标，获取第i关键帧和第j关键帧之间的几何关系，用于得到三维重建尺度因子λ；其中，第i关键帧角点坐标与第j关键帧角点坐标的平移向量为T_i,j；获取初步特征点，i，j都是大于0的正整数；所述第i关键帧和第j关键帧是包含真实三维空间中完整封闭的多边形轮廓信息的图像帧。

进一步的，所述匹配第i关键帧的每个角点坐标与第j关键帧的对应角点坐标是通过最小距离值实现将对应角点进行匹配。

进一步的，所述匹配第i关键帧的每个角点坐标与第j关键帧的对应角点坐标是通过角度相似性度量找到对应的第j关键帧的角点坐标。

进一步的，所述每个角点坐标与第j关键帧的对应角点坐标是通过角度相似性度量找到对应的第j关键帧的角点坐标具体过程是：所述第i关键帧中封闭物体的完整封闭轮廓信息中任意一个角点都分别计算出多个角度

，取最大角度

为此角点在第i关键帧封闭物体中的角度；根据

，通过角度相似性度量找到第i关键帧该角点坐标对应第j关键帧角点坐标；以此类推，得出第i关键帧角点坐标对应第j关键帧角点坐标。

进一步的，所述完整封闭轮廓是四边形、五边形、六边形或其他多边形封闭轮廓。

进一步的，所述根据第i关键帧角点坐标和第j关键帧角点坐标，获取第i关键帧和第j关键帧之间的几何关系，得到用于三维重建的尺度因子λ具体包括：根据第i关键帧中完整封闭的多边形轮廓的边长和第j关键帧中完整封闭的多边形轮廓的边长，求对应边长比值平均值、求对应边长比值加权值实现。

进一步的，所述T_i,j满足|T_max|＞|T_i,j|＞|T_min|；其中T_max表示T_i,j的最大值；T_min表示T_i,j的最小值。

一种三维重建方法，包括获取初步特征点；当初步特征点数量小于阈值，在初步特征点基础上，增加适配图像点，用于特征点数量大于等于阈值；其中，特征点数量等于初步特征点的数量加上适配图像点的数量，初步特征点指的是三维重建框架里面的特征提取得到的像素点；初步特征点的特征向量用以筛选相邻图像帧之间匹配对；

根据特征点获取第i关键帧、第j关键帧；将第i关键帧的位姿作为世界坐标系，求解其与第j关键帧之间的极线几何关系，估算出第j关键帧的位姿；然后重建两帧之间的匹配点；同时，对于非关键帧根据特征追踪数据，利用PNP算法计算对应帧的外参信息；基于所述第i关键帧和第j关键帧信息和非关键帧信息，构建三维空间坐标（x，y，z），用以完成当前帧稀疏重建；

当所有帧稀疏重建完毕时，则根据（λ*x，λ*y，λ*z）得到真实场景下三维点真实坐标值（X,Y,Z）；同时获得t=λ*T，t是实际每个图像帧相对世界坐标系的平移向量，T_i,j∈T；其中λ是用于三维重建的尺度因子；T_i,j代表第i关键帧和第j关键帧的平移向量；T代表任意两关键帧的平移向量。

进一步的，所述适配图像点获取过程具体包括：

当初步特征点数量小于阈值时，通过RANSAC算法求出相邻两个图像帧之间的单应矩阵

，同时结合检测出的初步特征点像素值计算出全局的亮度变化

，最后将图像

进行如下变换：

；

在图像对

中，用KLT算法为图像对

中未匹配的初步特征点进行搜索，求得对应适配图像点坐标，为所述适配图像点坐标进行亚像素操作。

进一步的，根据所述初步特征点的特征向量筛选相邻图像帧之间匹配对是通过RANSAC算法实现的。

一种尺度还原******包括：关键帧获取模块，用于获取第i关键帧角点坐标；在距离第i关键帧的平移向量为T_i,j处，获取第j关键帧；尺度因子获取模块，用于第i关键帧的每个角点坐标对应匹配第j关键帧的每个角点坐标；根据第i关键帧角点坐标和第j关键帧角点坐标，获得三维重建尺度因子λ。

一种三维重建***，包括：特征点获取模块，用于获取初步特征点，当初步特征点数量小于阈值，在初步特征点基础上，增加适配图像点，用于特征点数量大于等于阈值；其中，特征点数量等于初步特征点的数量加上适配图像点的数量，初步特征点指的是三维重建框架里面的特征提取得到的像素点；初步特征点的特征向量用以筛选相邻图像帧之间匹配对；

三维空间坐标获取模块，用于根据特征点获取第i关键帧、第j关键帧；将第i关键帧的位姿作为世界坐标系，求解其与第j关键帧之间的极线几何关系，估算出第j关键帧的位姿；然后重建两帧之间的匹配点；同时，对于非关键帧根据特征追踪数据，利用PNP算法计算对应帧的外参信息；基于所述关键帧信息和非关键帧信息，构建三维空间坐标（x，y，z），用以完成当前帧稀疏重建；

真实三维重建模块，用于当所有帧稀疏重建完毕时，则根据（λ*x，λ*y，λ*z）得到真实场景下三维点真实坐标值（X,Y,Z）；同时获得t=λ*Tt是实际每个图像帧相对世界坐标系的平移向量，T_i,j∈T；其中λ是用于三维重建的尺度因子；T_i,j代表第i关键帧和第j关键帧的平移向量；T代表任意两关键帧的平移向量。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的方法的步骤。

一种三维重建设备包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任一项所述的方法的步骤。

本发明有益效果：

本申请提出的三维重建和尺度还原方法，不仅合理利用了演播室场景特点增加可利用数据的可靠性，解决了单目视觉***存在的尺度模糊的问题。另一方面经过简单巧妙的几何判断，快速而准确地求出重建三维世界和真实场景相差的尺度因子。本发明是基于单目视觉***下的三维重建，但是它解决了单目重建中尺度未知的问题，可以将重建的三维点云恢复到真实空间。在未来，可以将本发明技术应用于视觉测量或是替代现有的双目测绘，这将大大降低工程的硬件成本。

本申请提出的二次匹配方法，在一定程度上弥补了特征点匹配不足的情况，为初始三维点计算和相机位姿计算提供充分的数据依据。另一方面，它也为关键帧的寻找提供了一种简单、可靠的解决思路。

本发明能够在线地处理不断输入的图像帧，关键帧的建立确保了重建三维点的可靠性和稳定。二次匹配方法的引入，能够使得追踪的特征点寿命延长，同时又不至于出现因为相邻帧匹配而重复生成三维点的情况。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的尺度还原和三维重建整体流程图；

图2（a）、（b）、（c）为本申请实施例提供的三维重建尺度因子的匹配关系示意图；

图3为本申请实施例提供的四边形轮廓某一角点形成三个夹角示意图；

图4为本申请三维重建方法的重建结果；图4（a）是输入的视频序列，图4（b）为匹配过程，图4（c）、（d）为不同角度的重建结果。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

请参照图1，尺度还原方法应用于各个需要稀疏三维重建的应用场景，例如多条线段手尾相连形成一个完整封闭的多边形轮廓（作为参照物），这个多边形轮廓作为参照物，根据该参照物经过摄像机仿射变换前后各边的长度信息作为中间变量来寻找或者求取形成三维重建的尺度因子；根据该三维重建的尺度因子进行尺度还原三维空间坐标，完成场景尺度恢复，重建真实环境；其中，获取三维空间坐标后进行局部优化，并进行当前帧稀疏三维重建，当所有帧稀疏三维重建完毕后进行场景尺度恢复（尺度恢复即通过尺度因子与三维空间坐标分别对应相乘，进行尺度还原，重建真实环境）。

其中，该完整封闭的多边形轮廓可以位于空旷的环境中或者位于室内环境，用于作为参照物，来重建真实场景；

原理：三维重建尺度因子由于是根据该封闭的多边形形状，以及该更比经过摄像机仿射变换之后会继续保持为闭合的对应的多边型形状，如图2所示，其中图2（a）中地面指的是真实三维空间中实际完整封闭物体，图2（b）是真实三维空间中完整封闭的多边形轮廓示意图；图2（c）是图2（b）经过摄像机仿射变换时，经过平移向量后形成的完整封闭的多边形轮廓示意。解决了单目视觉***存在的尺度模糊的问题，同时经过简单巧妙的几何判断，快速而准确地求出重建三维空间和真实场景相差的尺度因子。

基于前述现有技术的说明，可以知道，相关技术中，存着普通单目***下三维重建的尺度不确定性的问题；

为了解决这一技术问题，本发明实施例公开一种三维重建尺度因子计算方法及***、存储介质及设备，经过简单巧妙的几何判断，快速而准确地求出重建三维世界和真实场景相差的尺度因子。解决了单目视觉***存在的尺度模糊不确定的问题。

本发明实施例提供一种尺度还原方法，具体包括：

步骤S101：获取第i关键帧；

首先需要说明的是，第i关键帧可以是第一图像帧或者是之后的图像帧，只需要满足第i关键帧包括真实三维空间中完成封闭的多边形轮廓信息；第i关键帧和之后的第j关键帧都是需要满足包括真实三维空间中完整封闭的多边形轮廓信息；故而在寻找第i关键帧时，需要判断第一图像帧是否满足真实三维空间中完整封闭的多边形轮廓信息；当满足条件时，此时第一图像帧就是第i关键帧，i大于等于1；

需要说明的是完整封闭轮廓信息指的是封闭轮廓角点（位于多边形顶点处）信息像素点不缺失，角点信息之外的边上像素信息缺失不高于30%；

需要说明的是完整封闭的多边形轮廓可以是包括但是不限于完整封闭的四边形轮廓、完整封闭的五边形轮廓和完整封闭的六边形轮廓等多边形轮廓；

步骤S102：在距离第i关键帧的平移向量为T_i,j处，获取第j关键帧；

需要说明的是j=i+s；即第i关键帧和第j关键帧是间隔s个步长的关键帧；s=1时，第i关键帧和第j关键帧是相邻关键帧；i是大于等于1的正整数，j是大于等于1的正整数；i和j的关系包括但不限于以下情形之一：

情形1，i=1，j=2；

情形2：i=1，j=3；

情形3：i=2，j=3；

情形4：i=2，j=5；

在上述所有情形中，第i关键帧和第j关键帧的选取只取决于两个指标：封闭轮廓信息的完整性与相机平移量。首先，判断当前图像帧是否包括真实三维空间中完成封闭的多边形轮廓信息，若符合条件则标记为第i关键帧，若不存在则检测下一帧图像帧。获取第i关键帧和第j关键帧即可完成尺度因子估计，所以接下来的工作只需要寻找第j关键帧。因为相机运动在纯旋转情况下不具有视差，是无法通过三角化计算三维点坐标，第j关键帧不仅需要包括真实三维空间中完成封闭的多边形轮廓信息，还需要确保第i关键帧和第j关键帧有平移向量T_i,j，这个平移向量T_i,j需要处于一定阈值范围内。满足条件|T_max|＞|T_i,j|＞|T_min|；

需要注意的是：T_max和T_min作为Ti,j的阈值范围对应的最大值和最小值，该阈值范围与相机光心移动的距离相关；类似于极线几何中的基线长度d，乘以一定经验值

构造平移向量的最大值

和最小值

，这2个经验值的确定由相机本身参数而定；

其中，计算第i关键帧和第j关键帧之间的平移向量T_i,j不需要额外的计算开销，只需要通过比较标记的第i关键帧和第j关键帧的平移向量可以确定两帧相对平移向量。

步骤S103：第i关键帧的每个角点坐标对应匹配第j关键帧的每个角点坐标；

需要说明的，匹配具体过程是计算与第i关键帧的第一角点坐标的最小距离值时，对应的第j关键帧的角点坐标，此时，第j关键帧上该角点坐标对应于第i关键帧第一角点坐标；按照上述思路，遍历第i关键帧所有角点坐标，得到第i关键帧角点坐标和第j关键帧坐标的对应关系。

其中，最小距离值可以通过曼哈顿距离计算、一范数计算最小距离值、二范数计算最小距离值或者wassertein距离计算最小距离值；

匹配结果举例：第i关键帧有四个角，形成四个角点坐标；那么对应第i关键帧也是四个角点坐标；第i关键帧的左上角角点坐标与第j关键帧的左上角角点坐标对应；第i关键帧的右上角角点坐标与第j关键帧的右上角角点坐标对应；第i关键帧的左下角角点坐标与第j关键帧的左下角角点坐标对应；第i关键帧的右下角角点坐标与第j关键帧的右下角角点坐标对应。

除此之外，根据多边形轮廓不同，形成不同对应的匹配结果。

步骤S104：根据第i关键帧角点坐标和第j关键帧角点坐标，获取第i关键帧和第j关键帧之间的几何关系，得到用于三维重建的尺度因子λ，所述尺度因子用于三维重建过程中的三维坐标尺度还原。

需要说明的是所述根据第i关键帧角点坐标和第j关键帧角点坐标，获取第i关键帧和第j关键帧之间的几何关系，得到用于三维重建的尺度因子λ具体包括：

根据第i关键帧中完整封闭的多边形轮廓的边长l1、l2，……，lm和第j关键帧中完整封闭的多边形轮廓的边长L1、L2，……，Lm，求对应边长比值L1/l1，L2/l2，……，Lm/lm平均值、求对应边长比值L1/l1，L2/l2，……，Lm/lm加权值实现，其中m为封闭区域的角点坐标数量。

具体的，尺度因子λ=（L1/l1+L2/l2+……+Lm/lm）/m；

或者，尺度因子λ=a₁*L1/l1+a₂*L2/l2+……+ a_m*Lm/lm,其中，a₁+a₂+……+a_m=1；

或者，其他λ=f（L1/l1，L2/l2，……，Lm/lm）的计算公式得到的尺度因子λ。

相应地，本发明实施例还提出一种尺度还原方法，该方法包括所述匹配第i关键帧的每个角点坐标与第j关键帧的对应角点坐标是通过最小距离值实现将对应角点进行匹配。

上述方法一般情况下足以正确地匹配多边形轮廓的角点。但是特殊情况（多边形在图像中的成像范围相对很小）下，通过上述容易使得匹配出现错误。因此，本发明实施例还提出一种尺度还原方法，该方法包括所述匹配第i关键帧的每个角点坐标与第j关键帧的对应角点坐标是通过角度相似性度量找到对应的第j关键帧的角点坐标。

例如：所述第i关键帧中封闭物体的完整封闭轮廓信息中任意一个角点都分别计算出多个角度

，取最大角度

为此角点在第i关键帧封闭物体中的角度；

根据

，通过角度相似性度量找到第i关键帧该角点坐标对应第j关键帧角点坐标；

以此类推，得出第i关键帧角点坐标对应第j关键帧角点坐标。

当多边形为四边形时，如图3所述，具体实现过程是：

步骤S201：四个点两两之间构成线段共六条，任意三条之间可以构成三角形，通过余弦定理可以得到每个点在三角形中的夹角θ。

步骤S202：同一个点能够存在于三个三角形中，因而每一个角点有三个夹角a、b、c（如图3所示），其分别对应角度

，取最大角度

为此角点在四边形中的角度。最后，通过角度相似性度量找到对应关键帧中的匹配点。

尤其注意到是，尺度因子在初始状态并不一定存在，需要在输入图像帧之后，获取初步特征点之前进行尺度因子是否设置判断，若不存在尺度因子，则执行步骤S101至步骤S104，以及步骤S201至步骤S203；否则，该存在尺度因子时，该尺度因子在后续稀疏三维重建过程中，在所有帧重建完毕后，与三维空间坐标（x，y，z）进行运算，完成场景尺度恢复。

另外，本发明还实现一种三维重建方法，请参照图1，该方法包括：

步骤S301：获取初步特征点；

需要说明的是，初步特征点获取方法是通过sift算法或者Harris算法等实现；

步骤S302：根据初步特征点的特征向量进行相邻帧对之间的暴力匹配，通过Ransac算法筛选较好的匹配对；

步骤S303：经过步骤S302后，***会不断输出了相邻帧之间的匹配关系，为了得到更加鲁棒的三维点以及各帧之间的全局位姿关系，需要不断跟踪每一个特征点。跟踪的目的是记录每个特征点出现在哪些图像帧，从而对某一特征点的寿命作直观的判断，作为确定关键帧的数据准备。

需要说明的是，基于前述现有技术的说明，可以知道，相关技术中，在整个三维重建过程中，若是特征点数量（即特征点数量等于初步特征点加上适配图像点的数量）不够时，重建将无法正常进行；故而为了获得一定数量足够稳健的特征点数据，本发明自动地选择是否二次匹配（KLT方法结合亚像素操作，增加适配图像点数量（在初步特征点基础上，增加适配图像点数量，用以特征点数量大于等于阈值；其中特征点数量等于初步特征点的数量加上适配图像点的数量）弥补特征点数量不足和匹配对数量少的情况。同时，这种融合的方式能够更好地提取图像关键帧（图像关键帧为三维重建过程的关键帧，而非尺度恢复的关键帧）和特征点跟踪。基于上述，本发明实施例提供步骤304进行三维重建中特征点获取，具体包括：

步骤S304：当初步特征点数量小于阈值，即检测到的初步特征数量不够、则初步特征点特征区分度不高、噪声以及遮挡等因素造成特征丢失等问题，使得追踪到的特征点寿命不长，因而第一遍匹配采用特征向量比较的方式获取较高可信度的匹配点之后，再采用KLT的方法为未匹配上的特征点进行重新搜索匹配，从而增加了特征点的匹配率；即用KLT方法为未匹配的特征点进行搜索，求得对应特征的匹配点坐标，用以初步特征点数量大于等于阈值；

进一步的，步骤S304具体包括：

步骤S3041：当初步特征点数量小于阈值；通过RANSAC算法求出两个图像帧之间的单应矩阵

，同时结合检测出的特征点像素值计算出全局的亮度变化

，最后将图像

进行如下变换：

；

其中，阈值视场景复杂度决定，远景空旷场景设置为大于等于5000；负责近景场景设置为大于等于10000。

步骤S3042：在图像对

中，用KLT算法为图像对

中未匹配的初步特征点进行搜索，求得对应适配图像点坐标，为所述适配图像点坐标进行亚像素操作；所述特征点数量大于阈值；所述特征点是初步特征点与适配图像点之和，使得所述特征点数量满足三维重建特征点数量要求。

步骤S305：第一关键帧和第二关键帧的确定依赖于当前图像帧拥有一定寿命的特征点的数量，这个数值必须在一个阈值范围内，不能太小以导致求解外参不够鲁棒，如果此数值太大则帧间间隔太小，影响三角化的准确性。所以这一步骤的主要工作就是对特征跟踪数据进行一个动态的判断。由于二次匹配（用KLT方法为未匹配的特征点进行搜索，求得对应特征的匹配点坐标，用以特征点数量大于等于阈值）的参与，在不断地输入图像帧的过程中，特征跟踪数据也在动态变化。标记第一帧数据为关键帧，从寻找第二个关键帧开始，需要把特征追踪数据的寿命起点更改为上一关键帧，然后根据具有一定寿命的特征点的数量来判断下一关键帧的位置；

步骤S306：初步特征点筛选满足平移向量为T_i,j的第i关键帧角点坐标和第j关键帧角；当标记了第一、二关键帧之后，将第一个关键帧的位姿作为世界坐标系，求解它与第二个关键帧之间的极线几何关系，从而估算出第二关键帧的位姿；然后用三角化的方法重建两帧之间的匹配点；同时，对于非关键帧根据特征追踪数据，利用PNP算法计算对应帧的外参信息；当确认了下一关键帧时，特征追踪数据更新当前关键帧与上一关键帧的匹配关系，同样利用极线几何的关系增加新的三维重建点数据（指的是三维空间坐标）以及求解自身位姿；基于所述关键帧信息和非关键帧信息，构建三维空间坐标（x，y，z），完成当前帧稀疏重建；其中当前帧包括关键帧和非关键帧；

步骤S307：当所有帧稀疏重建完毕时，则根据（λ*x，λ*y，λ*z）得到真实场景下三维点真实坐标值（X,Y,Z），进行场景尺度恢复；同时获得t=λ*T，t是实际每个图像帧相对世界坐标系的平移向量，T_i,j∈T；其中λ是用于三维重建的尺度因子；T_i,j代表第i关键帧和第j关键帧的平移向量；T代表任意两关键帧的平移向量。

需要注意的是，尺度因子λ获取步骤具体如步骤S101至步骤S104、S201至步骤S202。

关键帧的确定依赖于当前帧拥有一定寿命的特征点的数量，这个数值必须在一个平移向量T_i,j的阈值范围内，不能太小以导致求解外参不够鲁棒，如果此数值太大则帧间间隔太小，影响三角化的准确性。所以这一步骤的主要工作就是对特征跟踪数据进行一个动态的判断。由于二次匹配（通过KLT亚像素操作，补充匹配图像点数量，用以特征点数量大于等于阈值）的参与，在不断地输入图像帧的过程中，特征跟踪数据也在动态变化。标记第一帧数据为关键帧，从寻找第二个关键帧开始，需要把特征追踪数据的寿命起点更改为上一关键帧，然后根据具有一定寿命的特征点的数量来判断下一关键帧的位置。

还需注意的是，三维点坐标和相机位姿由于受到噪声等因素的影响不一定准确，所以加入特征点的颜色约束和几何约束，结合集束优化（BundleAdjustment)的思想对每一帧数据进行优化。

进一步的，尺度因子就是基于重投影原理对求解值（优化量）进行一个向真实值逼近的处理，所以选择Ceres工具将每帧外参数据和当前重建的三维点数据进行局部优化，因为数据量不大，这个拟合过程不会耗时太多，完全符合在线视频处理的要求。本***可供用户选择是否需要进行全局集束优化处理，一般经过局部优化后的位姿数据和三维点坐标信息已经足够准确进行相关应用。

当所有帧稀疏重建工作完毕之后，就能够把整个三维空间坐标（x，y，z）及相机外参（位姿数据）的平移矩阵还原到真实尺度，即通过计算的尺度因子λ，可以换算得到每一个三维点的真实坐标值（X,Y,Z）以及实际每帧相对世界坐标系的平移向量t。

实施例一：某演播室地面数据的尺度因子恢复结果，通过计算四个边长对应的尺度因子，取均值作为整个场景的尺度因子。因为三角化算法输出的坐标没有单位，因而我们把“m”（单位米）定义在尺度因子里。实验结果如下表：

	边长1	边长2	边长3	边长4	平均值
						实际长度	2.8m	2.8m	5.6m	5.6m
重建长度	523.0	543.3	986	1124.2
						尺度因子	0.00535m	0.00515m	0.00567m	0.00498m	0.00528m

本发明对一段视频数据的重建结果如图4所示；其中，图4（a）是输入的视频序列，图4（b）为匹配过程，图4（c）、（d）为不同角度的重建结果。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种尺度还原方法，其特征在于：包括，

获取第i关键帧；

在距离第i关键帧的平移向量为T_i,j处，获取第j关键帧；

第i关键帧的每个角点坐标对应匹配第j关键帧的每个角点坐标；

根据第i关键帧角点坐标和第j关键帧角点坐标，获取第i关键帧和第j关键帧之间的几何关系，得到用于三维重建的尺度因子λ；

其中，第i关键帧角点坐标与第j关键帧角点坐标的平移向量为T_i,j；i，j表示图像序列，i，j都是大于0的正整数；所述第i关键帧和第j关键帧是包含真实三维空间中完整封闭的多边形轮廓信息的图像帧。

2.如权利要求1所述的方法，其特征在于：所述匹配第i关键帧的每个角点坐标与第j关键帧的对应角点坐标是通过最小距离值实现将对应角点进行匹配。

3.如权利要求1所述的方法，其特征在于：所述匹配第i关键帧的每个角点坐标与第j关键帧的对应角点坐标是通过角度相似性度量找到对应的第j关键帧的角点坐标。

4.如权利要求3所述的方法，其特征在于：所述每个角点坐标与第j关键帧的对应角点坐标是通过角度相似性度量找到对应的第j关键帧的角点坐标具体过程是：

所述第i关键帧中封闭物体的完整封闭轮廓信息中任意一个角点都分别计算出多个角度

，取最大角度

为此角点在第i关键帧封闭物体中的角度；

根据

5.如权利要求4所述的方法，其特征在于，所述完整封闭轮廓是四边形、五边形、六边形或其他多边形封闭轮廓。

6.如权利要求1至5之一所述的方法，其特征在于，所述根据第i关键帧角点坐标和第j关键帧角点坐标，获取第i关键帧和第j关键帧之间的几何关系，得到用于三维重建的尺度因子λ具体包括：

根据第i关键帧中完整封闭的多边形轮廓的边长和第j关键帧中完整封闭的多边形轮廓的边长，求对应边长比值平均值、求对应边长比值加权值实现。

7.如权利要求6所述的方法，其特征在于，所述T_i,j满足|T_max|＞|T_i,j|＞|T_min|；其中T_max表示T_i,j的最大值；T_min表示T_i,j的最小值。

8.一种三维重建方法，其特征在于，包括：

获取初步特征点；

当初步特征点数量小于阈值，在初步特征点基础上，增加适配图像点，用于特征点数量大于等于阈值；其中，特征点数量等于初步特征点的数量加上适配图像点的数量，初步特征点指的是三维重建框架里面的特征提取得到的像素点；初步特征点的特征向量用以筛选相邻图像帧之间匹配对；

9.如权利要求8所述方法，其特征在于所述适配图像点获取过程具体包括：

，最后将图像

进行如下变换：

；

在图像对

中，用KLT算法为图像对

10.如权利要求9所述的方法，其特征在于，根据所述初步特征点的特征向量筛选相邻图像帧之间匹配对是通过RANSAC算法实现的。

11.一种尺度还原***，其特征在于，包括：

关键帧获取模块，用以获取第i关键帧；在距离第i关键帧的平移向量为T_i,j处，获取第j关键帧；

尺度因子获取模块，用于第i关键帧的每个角点坐标对应匹配第j关键帧的每个角点坐标；根据第i关键帧角点坐标和第j关键帧角点坐标，获取第i关键帧和第j关键帧之间的几何关系，用于得到三维重建尺度因子λ。

12.一种三维重建***，其特征在于，包括：

特征点获取模块，用于获取初步特征点，当初步特征点数量小于阈值，在初步特征点基础上，增加适配图像点，用于特征点数量大于等于阈值；其中，特征点数量等于初步特征点的数量加上适配图像点的数量，初步特征点指的是三维重建框架里面的特征提取得到的像素点；初步特征点的特征向量用以筛选相邻图像帧之间匹配对；

真实三维重建模块，用于当所有帧稀疏重建完毕时，则根据（λ*x，λ*y，λ*z）得到真实场景下三维点真实坐标值（X,Y,Z）；同时获得t=λ*T，t是实际每个图像帧相对世界坐标系的平移向量，T_i,j∈T；其中λ是用于三维重建的尺度因子；T_i,j代表第i关键帧和第j关键帧的平移向量；T代表任意两关键帧的平移向量。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的方法的步骤。

14.一种三维重建设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至11任一项所述的方法的步骤。