CN109147025B - 一种面向rgbd三维重建的纹理生成方法 - Google Patents

Abstract

本发明涉及一种面向RGBD三维重建纹理生成方法，运用时空联合采样的方法，考虑时序和空序的因素，从RGBD数据流中提取低模糊度和高独特度的RGB数据和深度数据作为关键帧，保证图像质量，降低数据冗余的同时，也保证模型能够尽可能地被关键帧覆盖。利用模型数据和关键帧的相机位姿，将不同视角的图像投影到同一视角下，建立误差能量函数，交替地优化图像，生成不同视角下相互对齐的图像数据，作为优化后的关键帧数据。将模型参数化到二维平面，再将不同视角下的数据融合到该平面上，生成最终的纹理图像。该方法充分考虑了纹理生成过程中，由于相机姿态偏移以及建模几何误差所产生的问题，对生成清晰、无缝的高质量纹理图像以及逼真的三维模型具有重要意义。

Description

一种面向RGBD三维重建的纹理生成方法

技术领域

本发明属于计算机视觉与计算机图形图像处理领域，具体地说，是一种利用扫描获得的三维网格模型和关键帧的RGBD数据自动的生成单幅清晰、无缝的纹理图集的方法。该方法为三维模型生成清晰的纹理图像，对模型的逼真渲染和三维内容创作具有重要意义。

背景技术

近年来随着VR/AR应用潜力的不断发掘，带来了对三维内容大规模生产的需求。基于RGBD数据流进行场景的三维重建技术使得模型可以具有较高的几何精度。然而逼真的三维模型还需要有高质量的纹理展现单凭几何模型无法表现的细节。三维模型结合纹理图集的渲染方法可以在使用较少计算资源的情况下通过纹理展现细节。在三维重建的过程中，纹理图集的连续性和清晰与否，对最终三维模型的表现效果都有着至关重要的作用。

当前对基于RGBD数据流的三维重建的研究大部分集中在如何通过RGBD数据流产生高精度的几何模型，其后的纹理生成工作步骤通常如下：首先，在生成几何模型的过程中，按照一定规则截取若干关键帧，关键帧内容包括当时的RGB数据和深度数据以及在建模过程中利用相关方法估计出的相机姿态；第二步，对于几何模型上的每一个网格三角面片，按照某些约束，将它与一个或多个视点的关键帧相关联，然后利用相机的内参将RGB信息投影到模型上；由于光照、拍摄角度的关系，取自不同关键帧的RGB信息会存在差异，导致模型上的纹理出现明显的接缝，使用诸如Poisson Editing的方法对缝隙两侧的网格进行平滑处理，可以消除接缝；最终，将网格三角面片上的RGB信息整理打包为单独的纹理图集，得到最终的纹理图像。

上述过程在理想状况下可以得到一幅高质量的纹理贴图，但是实际情况中，截取关键帧时，关键帧的模糊与否以及关键帧的数量会对纹理的优化过程产生不良影响。建模过程中的误差累积也会导致相机姿态偏移，使不同关键帧的RGB信息投影到模型表面时发生错位，目前有一些方法，试图通过优化建模时的相机姿态，使得不同视角下的RGB数据与模型对齐，从而使纹理能够正确的添加到重建模型上。但是，影响纹理质量的不只有相机姿态，重建模型几何结构的精度和扫描时光照变化的影响，都会对纹理的一致性造成影响，从而影响网格模型最终纹理的质量。

发明内容

本发明的技术解决问题：克服现有技术在重建模型不准确和光照发生变化的情况下，生成的纹理不连续的问题，提供一种面向RGBD三维重建的纹理生成方法，可以在自动在几分钟之内，生成具有全局一致性的纹理图集。

本发明的目的在于由已知被重建的网格模型、关键帧数据，结合纹理生成过程中的需求，利用网格模型的几何特征以及关键帧中的颜色与深度数据，研究一种在RGBD三维重建过程中，生成单张连续纹理图像的方法，为逼真的三维模型生成提供保障。

本发明技术解决方案：一种面向RGBD三维重建的纹理生成方法，包括以下步骤：

S1.根据用来重建模型的颜色和深度(RGB和Depth，简称RGBD)数据流中每一帧的时间标记，结合每一帧RGB数据的独特性度量，对数据流进行时空采样，得到关键帧序列；

S2.根据第一步采样的关键帧序列，将不同位置的关键帧投影到同一相机位置构造能量函数，通过分组交替迭代求解的方式，求解该能量函数，生成相互对齐的关键帧序列；

S3.根据第二步中生成的对齐关键帧序列，按照不同关键帧的相机姿态，将模型表面的三角面片划分成不同区域，把这些区域参数化到二维平面，并赋予投影到关键帧上对应区域的数据，然后按照区域尺寸进行排列，最终得到模型的纹理图集。

所述步骤S1为：

S11.对RGBD数据流进行时间采样，具体过程如下：

S11.对RGBD数据流进行时间采样，得到经过时间采样的关键帧，具体过程如下：

对已配准的RGBD数据流，首先利用利用深度数据对RGB数据进行一次阈值滤波，将前背景分离，并对RGBD数据流中的RGB数据计算所有RGB数据的模糊程度度量D，在帧数设定的阈值δ_max中选择D值最小的，存储相应的RGBD数据和相机姿态作为关键帧；同时，在选择一帧之后，接下来数量为δ_mtn的帧不做任何处理，从δ_mtn+1帧开始，再从接下来的δ_max帧中选择D值最小的作为关键帧，直到所有RGBD数据处理完毕，得到时间采样关键帧集合K₀。每个关键帧K_t∈K₀中，包含了RGB数据C_t,深度数据D_t和相机姿态T_t；

S12.对时间采样得到的关键帧进行空间采样，在保证关键帧覆盖范围的情况下，减少关键帧的数量，具体过程如下：

对每一帧时间采样的关键帧的深度数据K_t∈K₀，通过如下公式计算所述关键帧的独特性度量：

其中，Q(I)表示该关键帧的独特性度量值，为0到1之间的实数，I’表示集合K₀中的一幅图像，d_I′(p′)表示点p投影到图像I’上对应的深度图像的值，z_I′(p′)是点p对应的三维点转换到图像I’的三维空间中的z值，|I|表示图像I中的像素数量；将所有关键帧添加到一个优先队列中，优先队列按照每个关键帧的独特性度量评定优先级；所有关键帧计算完毕之后，删除队列中独特性度量值最低的值，同时重新计算所有能够观察到被删除关键帧像素的关键帧的独特性度量，直到队列中最小的独特性度度量大于阈值σ，此时队列中的关键帧即为最终经过时空采样的关键帧序列K′。

所述步骤S2的具体实现为：

S21.构建图像金字塔；

将S1中所有经过时空采样得到的关键帧RGB图像关键帧复制为三组，{S_i}，{T_i}，{M_i}，其中集合{S_i}称为源图像、集合{T_i}为目标图像、集合{M_i}为纹理图像分别进行降采样，建立v层尺度由小到大的图像金字塔，按照尺度由小到大，对每一层图像进行如下迭代；

S22.利用原图像S_i∈{S_i}，{M_i}的数据结合下述公式(1)生成一幅目标图像T_i

其中，T_i(x_i)表示图像T_i中第x_i像素的值，实现构造目标图像的方法，公式右边分子的第一项和分母的前两项是标准的patch-match算法的结果，得到的是图像T_i和图像S_i中像素块的对应关系，L是像素块中像素的总个数，本发明采用7×7的像素块，L＝49；

w_i(x_i)表示在第i帧x_i像素处的权值，权值定义为θ/d²，其中θ为像素x_i对应的三维点处模型表面法向与视线的夹角，d表示像素x_i对应的三维点与观察位置的距离；本发明中，w采用的是shader中插值过的数据；

M_k(x_i→k)表示图像M_k中第x_i个像素按照变换矩阵投影到M_i处的像素值；

N表示关键帧的总个数，α，λ分别为平衡系数，取2和0.1；

S23.利用集合{T_i}结合公式(2)生成集合{M_i}

表示M_t是由T_t进行加权平均得到；

S24.采用交替优化的方法，优化{M_t}时保持{T_i}不动，优化{T_i}时保持{M_t}不动，以每执行一次公式(1)和(2)为一次迭代，认为最小尺度层级的迭代v×5次即可收敛，大尺度的层级，迭代次数随着金字塔的尺度增大每次减小5；

S25.当某一层迭代结束后，对{M_t}、{T_i}的优化结果直接升采样，作为新一层迭代的初始数据，再执行S22，直到尺度最大的一层迭代完毕，最终得到相互对齐的关键帧序列K。

所述步骤S3的具体实现为：

S31.依据相机位姿，将被重建的模型分为不同的区域；

将所有关键帧所在的视角，依次编号为{1...N}，将被重建的模型上所有的三角面片投影到各个关键帧下，对于每一个三角面片，选取使如下公式描述的值最大的视角，将所述视角的编号赋予所述三角面片；

其中，f表示三角面片，C表示某一视角下的相机，θ表示f的法线与C的视线夹角，d表示f中心与C的距离，a_f表示f的面积，α和λ表示平滑系数；

所有三角面片处理完毕以后，拥有统一编号的三角面片认为属于同一个区块；为了保持光照的连续性，如果某一区域相互连通的三角面片数量少于设定值σ＝50，则将所述区域的三角面片合并到相邻的区域内；

对所有上述区域，投影到该区域编号对应的视角下，得到各自三维顶点对应的二维坐标，并求出所述二维坐标的包围盒的尺寸集合B＝{(w₀，h₀)，(w₁，h₁)，...，(w_m，h_m)}，m为区域个数，按照各个包围盒的宽度，依次将各个包围盒内的二维顶点移动到用户指定尺寸的平面内，得到整个被重建模型的纹理坐标；

S32.将不同视角的关键帧数据融合到纹理图像上，最终得到纹理图集；

对被重建模型上的每一个三角面片，将三角面片投影到所有观察到该三角面片的关键帧上，并记录对应的颜色信息，每个三角面片建立一个优先队列，以三角面片法线与视角的中心射线的夹角值作为优先级，每个队列只保留前N个关键帧数据(N取3)；所有三角面片处理完毕以后，计算每个三角面片对应的队列中的关键帧的加权平均值，作为最终的结果，最终生成单幅连续的纹理图集。

本发明深入分析了三维重建纹理生成的需求，并且结合了三维重建获得的模型数据以及RGBD数据流的特征，具有以下优点：

(1)、考虑普通消费级深度相机深度数据质量较低，以及通常三维重建过程中数据冗余度高但是容易受动态模糊的影响，结合时序特征和空序特征对RGBD数据流进行采样，减小数据量并保证纹理结果的质量。

(2)、考虑三维重建中的纹理映射，受制于三维重建中相机姿态的不准确以及几何模型的误差和光照的变化，使得纹理结果产生不连续的问题，本文利用基于块的图像优化方法，对不同视角下的关键帧颜色数据进行优化，生成相互对齐的纹理数据，最后将模型参数化到二维平面并融合已优化的关键帧数据，生成高质量的纹理图。图1中是本发明用到的原始彩色数据。图2展示的是一个配有本发明生成的纹理的三维模型，与图1对比，可以看到本发明的纹理能够很好的展现模型的表面细节，并且生成连续的结果。

附图说明

图1示出本发明中用到的原始彩色数据；

图2示出本发明的方法从另一视角渲染的结果；

图3示出应用本发明的方法前后对比，左边图片表示的是应用了本发明之后的结果，右边的图片没有使用本发明的方法，可以看到本发明中的方法可以有效提高纹理质量；

图4示出本发明的面向RGBD三维重建纹理生成方法的原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的原理在于：运用时空联合采样的方法，考虑时序和空序的因素，从RGBD数据流中提取低模糊度和高独特度的RGB数据和深度数据作为关键帧，保证图像质量，降低数据冗余的同时，也保证模型能够尽可能地被关键帧覆盖。利用模型数据和关键帧的相机位姿，将不同视角的图像投影到同一视角下，建立误差能量函数，交替地优化图像，生成不同视角下相互对齐的图像数据，作为优化后的关键帧数据。将模型参数化到二维平面，再将不同视角下的数据融合到该平面上，生成最终的纹理图像。

本发明提出了一种面向RGBD三维重建的纹理生成方法，其特征在于，包括以下步骤：

步骤(1)、将相机采集的RGBD数据流按照时间戳进行提取，计算所有RGB图像的模糊程度度量，提取每个时间间隔内模糊程度度量值最小的RGB数据以及对应的深度数据作为关键帧，按照这个方法处理整个RGBD数据流得到初始关键帧。然后对每一个初始关键帧进行独特性度量，逐一删除独特性度量最低的关键帧并更新所有图像的独特性度量，直到所有图像的独特性度量超过某一阈值。最终保存RGB和对应的深度数据以及相机姿态，作为所需的关键帧中存储的三项数据。

步骤(2)、将所有关键帧复制为原图像、目标图像和纹理图像三组，按照关键帧RGB的宽高，建立不同高度的尺度金字塔。从低尺度到高尺度，在每层尺度上对目标图像和纹理图像交替进行优化，收敛之后将当前尺度的目标图像和纹理图像插值生成高尺度图像，同时将原始图像下采样到将进行迭代的尺度，作为高一层尺度迭代的输入数据。所有尺度迭代完成之后，生成可以投影到模型表面上相互对齐的贴图数据，作为优化后的关键帧数据。

步骤(3)、按照相机视点，将模型表面划分为不同的区域，将这些区域通过参数化方法展开到二维平面。再利用贪心策略，将二维平面上的区域按照尺寸大小，排列到方形平面内，经过归一化后，得到三维每个顶点的二维纹理坐标。对于模型生的每一个三角面片，将所有可以投影到该三角面片上的已优化关键帧信息进行加权平均，之后将平均后的结果复制到二维平面上，得到最终的纹理图。

如图4所示，本发明的一种面向RGBD三维重建的纹理生成方法，实施过程主要分成四个步骤：关键帧的时空采样、关键帧RGB数据优化、纹理图集生成。具体实现为：

S1.关键帧时空采样；

将相机采集的RGBD数据流按照时间戳进行提取，计算所有RGB图像的模糊程度度量，提取每个时间间隔内模糊程度度量值最小的RGB数据以及对应的深度数据作为关键帧，按照这个方法处理整个RGBD数据流得到经过时间采样的关键帧。然后对每一个经过时间采样的关键帧进行独特性度量，逐一删除独特性度量最低的关键帧并更新所有图像的独特性度量，直到所有图像的独特性度量超过某一阈值。最终保存RGB和对应的深度数据以及相机姿态，作为经过时空采样的关键帧中存储的三项数据。

S11.对RGBD数据流进行时间采样；

对已配准的RGBD数据流，首先利用利用深度数据对RGB数据进行一次阈值滤波，将前背景分离，然后对每一个RGB数据计算所有RGB数据的模糊程度度量D，在帧数阈值δ_max中选择D值最小的，存储相应的RGBD数据和相机姿态作为关键帧。同时，在选择一帧之后，接下来δ_mtn帧不做任何处理，从δ_mtn+1帧开始，再从接下来的δ_max帧中选择D值最小的作为关键帧，直到所有RGBD数据处理完毕，得到时间采样关键帧集合K₀。每个关键帧K_t∈K₀中，包含了RGB数据C_t,深度数据D_t和相机姿态T_t。

S12.对时间采样得到的关键帧进行空间采样；

对每一帧时间采样的关键帧的深度数据D_i，通过如下公式计算其独特性度量：

其中，Q(I)表示该关键帧的独特性度量值，为0到1之间的实数。I’表示集合K₀中的一幅图像，d_I′(p′)表示点p投影到图像I′上对应的深度图像的值，z_I′(p′)是点p对应的三维点转换到I’的三维空间中的z值，|I|表示图像I中的像素数量。将所有关键帧添加到一个优先队列中，优先队列按照每个关键帧的独特性度量评定优先级。所有关键帧计算完毕之后，删除队列中独特性最低的值，同时重新计算所有能够观察到被删除关键帧像素的关键帧的独特性度量，直到队列中最小的独特性度度量大于阈值σ，此时队列中的关键帧即为最终经过时空提取的关键帧。

S2.关键帧RGB数据优化；

将所有关键帧复制为原图像、目标图像和纹理图像三组，按照关键帧RGB的宽高，建立不同高度的尺度金字塔。从低尺度到高尺度，在每层尺度上对目标图像和纹理图像交替进行优化，收敛之后将当前尺度的目标图像和纹理图像插值生成高尺度图像，同时将原始图像下采样到将进行迭代的尺度，作为高一层尺度迭代的输入数据。所有尺度迭代完成之后，生成可以投影到模型表面上相互对齐的贴图数据，得到优化后的互相对齐的关键帧数据。如图3所示，左边的图片展示了使用经过优化的关键帧生成的纹理的建模结果，右边的展示了带有未经过优化的纹理的结果，可以看到本发明消除了由于相机姿态误差和模型几何结构不准确带来的纹理不连续问题。

S21.构建图像金字塔；

经过时空采样得到的关键帧RGB图像复制为三组，{S_i}，{T_i}，{M_i}，其中集合{S_i}中图像称为源图像、集合{T_i}中的图像为目标图像、集合{M_i}的图像为纹理图像。对三个集合的图像分别进行降采样，建立三个v层尺度由小到大的图像金字塔，按照尺度由小到大，对每一层图像进行如下迭代；

S22.利用原图像S_i∈{S_i}，{M_i}的数据结合下述公式(1)生成一幅目标图像T_i

其中，T_i(x_i)表示图像T_i中第x_i像素的值，实现构造目标图像的方法，公式右边分子的第一项和分母的前两项是标准的patch-match算法的结果，得到的是T_i和S_i中像素块的对应关系，L是像素块中像素的总个数，本发明采用7×7的像素块，L＝49。

w_i(x_i)表示在第t帧x_i像素处的权值，权值定义为θ/d²，其中θ为像素x_i对应的三维点处模型表面法向与视线的夹角，d表示像素x_i对应的三维点与观察位置的距离。本发明中，w采用的是shader中插值过的数据。

M_k(x_i→k)表示M_k中第x_i个像素按照变换矩阵投影到M_i处的像素值。

N表示关键帧的总个数。α，λ分别为平衡系数，这里取2和0.1。

S23.从目标图像集合{T_i}结合公式(2)生成纹理图像集合{M_i}

这个公式表示图像M_i是由图像T_i进行加权平均得到。

S24.本发明采用交替优化的方法，优化集合{M_i}时保持集合{T_i}不动，优化集合{T_i}时保持集合{M_i}不动，以每执行一次公式(1)和(2)为一次迭代，实验发现采用最小尺度层级的迭代v×5次即可收敛，大尺度的层级，迭代次数随着金字塔的尺度增大每次减小5。

S25.当某一层迭代结束后，对{M_i}{T_i}的优化结果直接升采样，作为新一层迭代的初始数据，再执行S22，直到最大尺度的层级迭代完毕。最终得到相互对齐的关键帧数据。

S3.纹理图集生成。

按照相机视点，将模型表面划分为不同的区域，将这些区域通过参数化方法展开到二维平面。再利用贪心策略，将二维平面上的区域按照尺寸大小，排列到方形平面内，经过归一化后，得到三维每个顶点的二维纹理坐标。对于模型生的每一个三角面片，将所有可以投影到该三角面片上的已优化关键帧信息进行加权平均，之后将平均后的结果复制到二维平面上，得到最终的纹理图。

S31.依据相机位姿，将被重建的模型分为不同的区域；

将所有关键帧所在的视角，依次编号为{1...N}，将被重建的上所有的三角面片投影到各个关键帧下。对于每一个三角面片，选取使如下公式描述的值最大的视角，将该视角的编号赋予该三角面片：

其中，f表示三角面片，C表示某一视角下的相机，θ表示f的法线与C的视线夹角，d表示f中心与C的距离，a_f表示f的面积，α和λ表示平滑系数。

所有三角面片处理完毕以后，拥有统一编号的三角面片认为属于同一个区块。为了保持光照的连续性，如果属于同一区域相互连通的三角面片数量少于σ＝50，那么就将该区域的三角面片合并到相邻的区域内。

对所有区域的三角面片，投影到该区域编号对应的视角下，得到三维顶点对应的二维坐标，并求出这些二维坐标的包围盒的尺寸集合{(w₀，h₀)，(w₁，h₁)，...，(w_m，h_m)}，m为区域个数。按照各个包围盒的宽度，依次将包围盒内的二维顶点移动到用户指定尺寸的平面内，得到整个模型的纹理坐标。

S32.将不同视角的关键帧数据融合到纹理图像上。

对模型上的每一个三角面片，将三角面片投影到所有可以观察到该三角面片的关键帧上，并记录对应的颜色信息，每个三角面片建立一个优先队列。以三角面片法线与视角的中心射线的夹角值作为优先级，每个队列只保留前N个关键帧数据。所有三角面片处理完毕以后。计算每个三角面片对应的队列中的关键帧的加权平均值，作为最终的结果，最终生成单幅连续的纹理图像。

Claims (3)

1.一种面向RGBD三维重建纹理生成方法，其特征在于，包括以下步骤：

S1.根据用来重建模型的RGBD数据流中每一帧的时间标记，结合每一帧RGB数据的独特性度量，对数据流进行时空采样，得到关键帧序列；

S2.根据S1采样的关键帧序列，将不同位置的关键帧投影到同一相机位置构造能量函数，通过分组交替迭代求解的方式，求解该能量函数，生成相互对齐的关键帧序列；

S3.根据S2中生成的对齐关键帧序列，按照不同关键帧的相机姿态，将模型表面的三角面片划分成不同区域，把这些区域参数化到二维平面，并赋予投影到关键帧上对应区域的数据，然后按照区域尺寸进行排列，最终得到模型的纹理图集；

所述步骤S3的具体实现为：

S31.依据相机位姿，将被重建的模型分为不同的区域；

将所有关键帧所在的视角被重建的模型上所有的三角面片投影到各个关键帧下，对于每一个三角面片，选取使如下公式描述的D(f,C)值最大的视角，将所述视角的编号赋予所述三角面片；

其中，f表示三角面片，C表示某一视角下的相机，θ表示f的法线与C的视线夹角，d表示f中心与C的距离，a_f表示f的面积，α和λ表示平滑系数；

所有三角面片处理完毕以后，拥有相同编号的三角面片认为属于同一个区块；为了保持光照的连续性，如果某一区域相互连通的三角面片数量少于设定值，则将所述区域的三角面片合并到相邻的区域内；

对所有上述区域，投影到该区域编号对应的视角下，得到各自三维顶点对应的二维坐标，并求出所述二维坐标的包围盒的尺寸集合B＝{(w₀,h₀),(w₁,h₁),…,(w_m,h_m)}，m为区域个数，按照各个包围盒的宽度，依次将各个包围盒内的二维顶点移动到用户指定尺寸的平面内，得到整个被重建模型的纹理坐标；

S32.将不同视角的关键帧数据融合到纹理图像上，得到最终的纹理图集；

对被重建的模型上的每一个三角面片，将三角面片投影到所有观察到该三角面片的关键帧上，并记录对应的颜色信息，每个三角面片建立一个优先队列，以三角面片法线与视角的中心射线的夹角值作为优先级，每个队列只保留前N₁个关键帧数据；所有三角面片处理完毕以后，计算每个三角面片对应的队列中的关键帧的加权平均值，作为最终的结果，最终生成单幅连续的纹理图集。

2.根据权利要求1所述的面向RGBD三维重建纹理生成方法，其特征在于：所述步骤S1为：

S11.首先，对RGBD数据流进行时间采样，得到经过时间采样的关键帧，具体过程如下：

对已配准的RGBD数据流，首先利用深度数据对RGB数据进行一次阈值滤波，将前背景分离，并对RGBD数据流中的RGB数据计算所有RGB数据的模糊程度度量D，在帧数设定的阈值δ_max中选择D值最小的，存储相应的RGBD数据和相机姿态作为关键帧；同时，在选择一帧之后，接下来数量为δ_min的帧不做任何处理，从δ_min+1帧开始，再从接下来的δ_max帧中选择D值最小的作为关键帧，直到所有RGBD数据处理完毕，得到时间采样关键帧集合K₀，每个关键帧K_i∈K₀中，包含了RGB数据C_i,深度数据D_i和相机姿态E_i；

S12.对时间采样得到的关键帧进行空间采样，在保证关键帧覆盖范围的情况下，减少关键帧的数量，具体过程如下：

对每一帧时间采样的关键帧的深度数据K_i∈K₀，通过如下公式计算所述关键帧的独特性度量：

其中，Q(I)表示关键帧I的独特性度量值，为0到1之间的实数，I’表示集合K₀中的一幅图像，d_I'(p′)表示点p投影到图像I’上对应的深度图像的值，z_I′(p′)是点p对应的三维点转换到图像I’的三维空间中的z值，|I|表示图像I中的像素数量；将所有关键帧添加到一个优先队列中，优先队列按照每个关键帧的独特性度量值评定优先级；所有关键帧计算完毕之后，删除队列中独特性度量值最低的值，同时重新计算所有能够观察到被删除关键帧像素的关键帧的独特性度量，直到队列中最小的独特性度量值大于阈值σ_d，此时队列中的关键帧即为最终经过时空采样的关键帧序列K′。

3.根据权利要求1所述的面向RGBD三维重建纹理生成方法，其特征在于：所述步骤S2的具体实现为：

S21.构建图像金字塔；

将S1中所有经过时空采样得到的关键帧RGB图像关键帧复制为三组，得到{S_i},{T_i},{M_i}，其中集合{S_i}称为源图像、集合{T_i}为目标图像、集合{M_i}为纹理图像，对三组图像分别进行降采样，建立v层尺度由小到大的图像金字塔，按照尺度由小到大，对每一层图像进行如下迭代；

S22.利用源图像S_i∈{S_i}，集合{M_i}中的RGB数据结合下述公式(1)生成一幅目标图像T_i(x_i)

其中，T_i(x_i)表示图像T_i中第x_i像素的值，实现构造目标图像的方法，L是像素块中像素的总个数；

w_i(x_i)表示在第i帧x_i像素处的权值，权值定义为φ/d²，其中φ为像素x_i对应的三维点处模型表面法向与视线的夹角，d表示像素x_i对应的三维点与观察位置的距离；

M_k(x_i→k)表示图像M_k中第x_i个像素按照变换矩阵投影到M_i处的像素值；

N₂表示关键帧的总个数；

S23.利用集合{T_i}结合公式(2)生成集合{M_i}

表示M_i是由T_i进行加权平均得到；

S24.采用交替优化的方法，优化{M_i}时保持{T_i}不动，优化{T_i}时保持{M_i}不动，以每执行一次公式(1)和(2)为一次迭代，认为最小尺度层级的迭代v×5次即可收敛，大尺度的层级，迭代次数随着金字塔的尺度增大每次减小5；

S25.当某一层迭代结束后，对{M_i}、{T_i}的优化结果直接升采样，作为新一层迭代的初始数据，再执行S22，直到尺度最大的一层迭代完毕，最终得到相互对齐的关键帧序列K。