CN116363290A - 一种用于大规模场景三维重建的纹理贴图生成方法 - Google Patents

Abstract

本发明提供了一种用于大规模场景三维重建的纹理贴图生成方法，包括以下步骤：步骤1，基于三维重建方法对目标场景进行稠密三维重建并生成三维模型，根据三维重建过程中计算得到的相机位姿划分不同重建区域，在每个重建区域内选取清晰的RGB图像作为关键帧图像；步骤2，将三维模型渲染为三角化网格模型，并基于相机位姿用透视变换对共视点计算纹理映射，逐像素地对多视图的关键帧图像取对应RGB值并混合；步骤3，将三角化网格模型的三角面片以紧致的排布方式存放在连续的内存空间，得到纹理贴图以及纹理映射坐标。

Description

一种用于大规模场景三维重建的纹理贴图生成方法

技术领域

本发明属于计算机图形学领域，具体涉及一种用于大规模场景三维重建的纹理贴图生成方法。

背景技术

近年来基于序列RGB-D数据的三维重建任务取得较大成功，能够对大规模场景重建出完好的三维模型。但是，对于此类稠密重建算法得到的结果通常为庞大数目的点云，对于单一大规模场景可达千万乃至上亿数量级，对于后续算法以及实时渲染都是无法在有限时间内处理好的。因此需要对大规模的点云或模型数据进行简化，保证模型几何精度的情况下，减少点云数目。而这会导致很大程度上损失纹理分辨率，将不利于语义视觉导航、虚拟现实等应用场景的拓展。一种有效的解决方案是将几何三维重建与纹理恢复解耦，独立生成纹理贴图存储场景中的纹理信息，如OpenMVS等解决方案中的做法一样。

对大规模场景的纹理恢复还存在如下问题：(1)基于序列的三维重建过程数据量庞大，无法直接提取序列整体的纹理信息。(2)拍摄序列的过程得到的大部分RGB图像存在动态模糊，严重影响纹理恢复的清晰度。(3)拍摄过程在序列上由于光照、白平衡不一致等影响导致颜色简单混合会出现严重失真。(4)三维重建过程位姿计算存在误差，导致纹理恢复出现混叠和模糊。

现有技术也给出了一些解决方案，中国专利CN108335352A提出一种面向多视图大规模三维重建场景的纹理映射方法，以大规模三维场景的三维模型、重建模型的多角度图像序列和图像相机参数作为输入数据，通过纹理质量计算、遮挡物纹理剔除、纹理组合优化、纹理块颜色调整、边界纹理融合等几个步骤，得到带纹理的大规模三维模型。此外，开源解决方案OpenMVS同样基于多视角立体技术提出纹理映射与恢复方案。然而，上述方法未考虑基于密集序列的重建过程中存在的动态模糊、光照或白平衡不一致等导致的纹理质量差等问题。同时，上述方法得到的纹理贴图内存利用率不高，不利于大规模场景的贴图存储。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种用于大规模场景三维重建的纹理贴图生成方法。

本发明提供了一种用于大规模场景三维重建的纹理贴图生成方法，具有这样的特征，包括以下步骤：

步骤1，基于三维重建方法对目标场景进行稠密三维重建并生成三维模型，根据三维重建过程中计算得到的相机位姿划分不同重建区域，在每个重建区域内选取清晰的RGB图像作为关键帧图像；

步骤2，将三维模型渲染为三角化网格模型，并基于相机位姿用透视变换对共视点计算纹理映射，逐像素地对多视图的关键帧图像取对应RGB值并混合；

步骤3，将三角化网格模型的三角面片以紧致的排布方式存放在连续的内存空间，得到纹理贴图以及纹理映射坐标。

在本发明提供的一种用于大规模场景三维重建的纹理贴图生成方法中，还可以具有这样的特征：其中，步骤1中，基于三维重建方法对目标场景进行稠密三维重建并生成三维模型时，将首帧的相机坐标系与地面配准，并使该相机坐标系的xoy平面与地面平行，z轴垂直与地面，并选取首帧为基准作为世界坐标系，输入的相机位姿均转换为相对于首帧的外参。

在本发明提供的一种用于大规模场景三维重建的纹理贴图生成方法中，还可以具有这样的特征：其中，步骤1中划分不同重建区域包括以下子步骤：

步骤1-1，基于相机位姿，按照相机空间位置，设置半径L划分位置集合；

步骤1-2，基于位置集合的划分结果，按照相机朝向，对水平与垂直方向划分

个集合；

步骤1-3，取

个集合中的非空集合作为最终划分结果，得到重建区域，

其中，步骤1-2中，F相机视场角，b为调节因子，该调节因子设置为0.3。

在本发明提供的一种用于大规模场景三维重建的纹理贴图生成方法中，还可以具有这样的特征：其中，步骤1中在每个重建区域内选取关键帧图像包括以下子步骤：

步骤1-4，对三维重建过程中相机扫描得到的所有RGB图像计算拉普拉斯变换，算子为：

步骤1-5，对RGB图像I的变换结果L(I)，计算方差：

σ²＝∑(L(I)-μ)²

步骤1-6，在每个重建区域内，选取方差最大的RGB图像作为关键帧图像。

在本发明提供的一种用于大规模场景三维重建的纹理贴图生成方法中，还可以具有这样的特征：其中，步骤2中包括以下子步骤：

步骤2-1，对三维模型使用OpenGL渲染逐相机位姿的深度图，得到三角化网格模型；

步骤2-2，遍历三角化网格模型的三角面片，按照重心坐标公式计算映射点：

步骤2-3，遍历所有映射点，根据相机内参{f_x，f_y，c_x，c_y}以及相机外参{R，t}逐帧计算透视变换，得到映射点到关键帧图像的映射关系：

步骤2-4，根据映射关系逐像素地从多视图的关键帧图像中取对应RGB值并进行颜色混合，多视图颜色混合计算公式为：

公式(1)中，A_xyx，B_xyz，C_xyz为三角面片的三角形顶点在三维空间中的坐标向量，

公式(3)中，w_i为混合权重，area为三角面片面积，n_i为点法向量，d_j为相机的位姿朝向，α为可调系数，设置为0.5。

在本发明提供的一种用于大规模场景三维重建的纹理贴图生成方法中，还可以具有这样的特征：其中，步骤3包括以下子步骤：

步骤3-1，预设三角面片纹理值的存放区域，将三角面片形变为直角三角形存放到存放区域；

步骤3-2，将两个直角三角形拼接为一个正方形，以紧致的排布方式存放在线性的内存空间，生成纹理贴图；

步骤3-3，根据三角面片顶点对应的直角三角形在纹理贴图中的坐标，生成纹理映射坐标。

发明的作用与效果

根据本发明所涉及的一种用于大规模场景三维重建的纹理贴图生成方法，基于三维重建过程中计算的相机位姿划分重建区域，并在重建区域内选取清晰的关键帧图像，利用投影关系计算纹理映射结果来恢复纹理并生成紧致且高质量的纹理贴图。通过本发明的方法能够缓解动态模糊带来的影响，生成更为清晰的纹理贴图；并且，本发明对多视角图像的光照或白平衡不一致使得颜色混合后失真的问题，通过纹理映射以及多视图颜色混合，有效缓解了颜色跳变失真的现象；另外，本发明通过紧致的排布方式生成纹理贴图，大大降低了纹理贴图的内存占用，能够以较小的内存存储，高效地恢复并生成大规模场景三维重建所得模型的高质量纹理贴图，在地图导航、智慧家庭和数字城市等方面具有广泛的应用前景。

附图说明

图1是本发明的实施例中的一种用于大规模场景三维重建的纹理贴图生成方法的流程图；

图2是本发明的关键帧图像的选取评定示意图；

图3是本发明的实施例中的多视图纹理映射的示意图；

图4是本发明的实施例中的多视图纹理贴图的生成示意图；

图5是本发明的实施例中的纹理恢复的对比图。

具体实施方式

为了使本发明实现的技术手段与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。

<实施例>

图1是本发明的实施例中的一种用于大规模场景三维重建的纹理贴图生成方法的流程图。

如图1所示，本实施例的一种用于大规模场景三维重建的纹理贴图生成方法，包括以下步骤：

步骤1，基于三维重建方法，例如BundleFusion，对目标场景进行稠密三维重建并生成三维模型，根据三维重建过程中计算得到的相机位姿划分不同重建区域，在每个重建区域内选取清晰的RGB图像作为关键帧图像。

步骤1中，基于三维重建方法对目标场景进行稠密三维重建并生成三维模型时，将首帧的相机坐标系与地面配准，并使该相机坐标系的xoy平面与地面平行，z轴垂直与地面，并选取首帧为基准作为世界坐标系，输入的相机位姿均转换为相对于首帧的外参。

步骤1中划分不同重建区域包括以下子步骤：

步骤1-1，基于相机位姿，按照相机空间位置，设置半径L划分位置集合；

步骤1-2，基于位置集合的划分结果，按照相机朝向，对水平与垂直方向划分

个集合；

步骤1-3，取

个集合中的非空集合作为最终划分结果，得到重建区域，

其中，步骤1-2中，F相机视场角，b为调节因子，该调节因子设置为0.3。

对于步骤1-1至步骤1-3中，通常情况下按相机空间位置，设置半径L＝0.25m划分位置集合，按相机视场角对位置集合进一步划分。假设相机的水平视场角为F_h，垂直视场角为F_v，则将集合

在偏航角这一维度上划分成个/>

子集，在俯仰角这一维度上划分成个/>

子集，其中b_h，b_v为缩放因子，在实际计算中均取为0.3，因此得到N＝720²/(F_hb_h·F_vb_v)个目标集合/>

，取其中非空集合为最终划分结果。

步骤1中在每个重建区域内选取关键帧图像包括以下子步骤：

步骤1-4，对三维重建过程中相机扫描得到的所有RGB图像计算拉普拉斯变换，算子为：

步骤1-5，对RGB图像I的变换结果L(I)，计算方差：

σ²＝∑(L(I)-μ)²

步骤1-6，在每个重建区域内，选取方差最大的RGB图像作为关键帧图像。

图2是本发明的关键帧图像的选取评定示意图。

如图2所示，越为清晰的图片评分越高，最终对各重建区域内选取最清晰的一张图片用于计算纹理映射。

图3是本发明的实施例中的多视图纹理映射的示意图。

如图3所示，步骤2，将三维模型渲染为三角化网格模型，并基于相机位姿用透视变换对共视点计算纹理映射，逐像素地对多视图的关键帧图像取对应RGB值并混合。

步骤2中包括以下子步骤：

步骤2-1，对三维模型使用OpenGL渲染逐相机位姿的深度图，得到三角化网格模型；

步骤2-2，遍历三角化网格模型的三角面片，按照重心坐标公式计算映射点：

步骤2-3，遍历所有映射点，根据相机内参{f_x，f_y，c_x，c_y}以及相机外参{R，t}逐帧计算透视变换，得到映射点到关键帧图像的映射关系：

步骤2-4，根据映射关系逐像素地从多视图的关键帧图像中取对应RGB值并进行颜色混合，多视图颜色混合计算公式为：

公式(1)中，A_xyx，B_xyz，C_xyz为三角面片的三角形顶点在三维空间中的坐标向量，

公式(3)中，w_i为混合权重，area为三角面片面积，n_i为点法向量，d_j为相机的位姿朝向，α为可调系数，设置为0.5。

步骤3，将三角化网格模型的三角面片以紧致的排布方式存放在连续的内存空间，得到纹理贴图以及纹理映射坐标。

图4是本发明的实施例中的多视图纹理贴图的生成示意图。

如图4所示，步骤3包括以下子步骤：

步骤3-1，预设三角面片纹理值的存放区域，将三角面片形变为直角三角形存放到存放区域；

步骤3-2，将两个直角三角形拼接为一个正方形，以紧致的排布方式存放在线性的内存空间，生成纹理贴图；

步骤3-3，根据三角面片顶点对应的直角三角形在纹理贴图中的坐标，生成纹理映射坐标。

本实施例中，还通过对实际场景进行纹理恢复，来对本实施例的方法、简单的颜色混合解决方案以及模型简化后的纹理进行对比，图5是本发明的实施例中的纹理恢复的对比图。

如图5所示，相比于简单的颜色混合后的纹理，以及模型简化后的纹理，通过本实施例的方法恢复出了更高质量纹理。

本实施例还提供与实施例对应的一种用于大规模场景三维重建的纹理贴图生成方法的装置，包括存储器和处理器，存储器存储有计算机程序，处理器调用计算机程序执行如一种用于大规模场景三维重建的纹理贴图生成方法的步骤。

本实施例还提供一种计算机可读存储介质，用于存储计算机程序，计算机存储介质存储有计算机可执行指令，计算机可执行指令被执行时实现本实施例的一种用于大规模场景三维重建的纹理贴图生成方法的步骤。

实施例的作用与效果

根据本实施例所涉及的一种用于大规模场景三维重建的纹理贴图生成方法，基于三维重建过程中计算的相机位姿划分重建区域，并在重建区域内选取清晰的关键帧图像，利用投影关系计算纹理映射结果来恢复纹理并生成紧致且高质量的纹理贴图。通过本实施例的方法能够缓解动态模糊带来的影响，生成更为清晰的纹理贴图；并且，本实施例对多视角图像的光照或白平衡不一致使得颜色混合后失真的问题，通过纹理映射以及多视图颜色混合，有效缓解了颜色跳变失真的现象；另外，本实施例通过紧致的排布方式生成纹理贴图，大大降低了纹理贴图的内存占用，能够以较小的内存存储，高效地恢复并生成大规模场景三维重建所得模型的高质量纹理贴图，在地图导航、智慧家庭和数字城市等方面具有广泛的应用前景。

上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (6)

1.一种用于大规模场景三维重建的纹理贴图生成方法，其特征在于，包括以下步骤：

步骤1，基于三维重建方法对目标场景进行稠密三维重建并生成三维模型，根据三维重建过程中计算得到的相机位姿划分不同重建区域，在每个所述重建区域内选取清晰的RGB图像作为关键帧图像；

步骤2，将所述三维模型渲染为三角化网格模型，并基于相机位姿用透视变换对共视点计算纹理映射，逐像素地对多视图的所述关键帧图像取对应RGB值并混合；

步骤3，将所述三角化网格模型的三角面片以紧致的排布方式存放在连续的内存空间，得到纹理贴图以及纹理映射坐标。

2.根据权利要求1所述的用于大规模场景三维重建的纹理贴图生成方法，其特征在于：

其中，步骤1中，基于三维重建方法对目标场景进行稠密三维重建并生成三维模型时，将首帧的相机坐标系与地面配准，并使该相机坐标系的xoy平面与地面平行，z轴垂直与地面，并选取首帧为基准作为世界坐标系，输入的相机位姿均转换为相对于首帧的外参。

3.根据权利要求1所述的用于大规模场景三维重建的纹理贴图生成方法，其特征在于：

其中，步骤1中划分不同所述重建区域包括以下子步骤：

步骤1-1，基于相机位姿，按照相机空间位置，设置半径L划分位置集合；

步骤1-2，基于所述位置集合的划分结果，按照相机朝向，对水平与垂直方向划分

个集合；

步骤1-3，取

个集合中的非空集合作为最终划分结果，得到所述重建区域，

其中，步骤1-2中，F相机视场角，b为调节因子，该调节因子设置为0.3。

4.根据权利要求1所述的用于大规模场景三维重建的纹理贴图生成方法，其特征在于：

其中，步骤1中在每个所述重建区域内选取所述关键帧图像包括以下子步骤：

步骤1-4，对三维重建过程中相机扫描得到的所有RGB图像计算拉普拉斯变换，算子为：

步骤1-5，对RGB图像I的变换结果L(I)，计算方差：

σ²＝∏(L(I)-μ)²

步骤1-6，在每个所述重建区域内，选取方差最大的RGB图像作为所述关键帧图像。

5.根据权利要求1所述的用于大规模场景三维重建的纹理贴图生成方法，其特征在于：

其中，步骤2中包括以下子步骤：

步骤2-1，对所述三维模型使用OpenGL渲染逐相机位姿的深度图，得到所述三角化网格模型；

步骤2-2，遍历所述三角化网格模型的三角面片，按照重心坐标公式计算映射点：

步骤2-3，遍历所有所述映射点，根据相机内参{f_x，f_y，c_x，c_y}以及相机外参{R，t}逐帧计算透视变换，得到所述映射点到所述关键帧图像的映射关系：

步骤2-4，根据所述映射关系逐像素地从多视图的所述关键帧图像中取对应RGB值并进行颜色混合，多视图颜色混合计算公式为：

公式(1)中，A_xyx，B_xyz，C_xyz为所述三角面片的三角形顶点在三维空间中的坐标向量，

公式(3)中，w_i为混合权重，area为三角面片面积，n_i为点法向量，d_j为相机的位姿朝向，α为可调系数，设置为0.5。

6.根据权利要求1所述的用于大规模场景三维重建的纹理贴图生成方法，其特征在于：

其中，步骤3包括以下子步骤：

步骤3-1，预设三角面片纹理值的存放区域，将所述三角面片形变为直角三角形存放到所述存放区域；

步骤3-2，将两个直角三角形拼接为一个正方形，以紧致的排布方式存放在线性的内存空间，生成纹理贴图；

步骤3-3，根据所述三角面片顶点对应的直角三角形在所述纹理贴图中的坐标，生成纹理映射坐标。

Images