CN115797474A - 基于4d融合的高效动态三维模型序列压缩方法 - Google Patents

Abstract

本公开内容涉及基于4D融合的高效动态三维模型序列压缩方法。在一个实施例中，包括存储所述动态三维模型序列的一帧的三维模型作为参考模型；通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数，其中目标模型是所述动态三维模型序列的其余帧的三维模型；以及对所述初始化的融合参数进行迭代优化确定将参考模型变形为目标模型的最终的融合参数。

Description

基于4D融合的高效动态三维模型序列压缩方法

技术领域

本公开一般地涉及图像处理领域，并且具体地涉及用于动态三维模型序列的高效的压缩方法。

背景技术

近年来，随着图像处理领域的发展和广泛应用，各种各样的技术被用于生成三维内容。尤其是，生成随着时间演进的三维内容引起了学术界和行业的许多关注，例如捕获包含真实人类行为的完整三维内容的体素捕捉***。体素捕捉***使用被校准的相机阵列从多个角度采集真实世界中的对象的二维图像，从二维图像提取前景并使用算法(例如，visual hull)来生成网格模型，使用多张图像以及相机参数对网格模型进行贴图从而生成真实世界中的三维内容。

但是当前的体素捕捉***会对所拍摄的每一帧输出一个三维模型。如果需要创建一个10秒到15秒的动态三维模型序列，就会产生大量的三维模型数据，使得难以导出这些数据到其他的应用。例如，如果单个三维模型需要5M的存储空间，对于一个时长为15秒、帧率为30帧每秒的动态三维模型序列则需要大约2GB的存储空间。这对于移动应用来说是难以传输的存储的

发明内容

基于4D融合的高效动态三维模型序列压缩方法通过获取少量的融合参数来拟合三维模型序列，从而大大压缩了三维模型序列。

本公开的一个方面涉及一种高效的压缩动态三维模型序列的方法，包括存储所述动态三维模型序列的一帧的三维模型作为参考模型；通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数，其中目标模型是所述动态三维模型序列的其余帧的三维模型；以及对所述初始化的融合参数进行迭代优化确定将参考模型变形为目标模型的最终的融合参数。

优选地，所述方法包括通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数进一步包括将参考模型的顶点划分为多个区块，以区块为单位对区块中的每个顶点通过迭代最近点(ICP)算法到目标模型中寻找参考模型的顶点的对应点，从而求解参考模型中的区块变换到目标模型的刚体变换，其中所述刚体变换包括平移向量t和旋转向量R。

优选的，所述方法包括在所述迭代最近点(ICP)算法中，通过法线投影的方式到目标模型中寻找参考模型的顶点的初始对应点，所述法线投影是基于点到线的距离最小。

优选地，所述方法包括在区块划分时确定代表参考模型的区块的刚体运动的顶点x⁰。

优选地，所述方法包括利用迭代最近点(ICP)算法得到的刚体变换的平移向量t和旋转向量R计算顶点x⁰在目标模型中的位置点x_c＝Rx⁰+t，其中x_c表示顶点x⁰经过刚体变换后移动到点x_c的位置约束。

优选地，所述方法包括利用每个区块计算得到的位置约束来构建所述位置约束函数‖W_c(x-x_c)‖²，并构建拉普拉斯能量函数‖Lx-Lx⁰‖²，优化能量函数：

E＝‖Lx-Lx⁰‖²+‖W_c(x-x_c)‖²

其中L为拉普拉斯矩阵、W_c为位置约束的权重矩阵、x⁰为参考模型顶点的初始位置、x_c为参考模型的顶点的位置约束，其是参考模型的顶点在目标模型中对应的顶点位置。

优选地，所述方法包括从参考模型的顶点中随机采样多个控制点，利用控制点的仿射变换的加权来表示参考模型中顶点的变形

优选地，所述方法包括通过模型对齐初始化控制点的融合参数。

优选地，所述方法包括在迭代优化中通过最近邻相容点搜索算法来构建顶点的位置约束E_c，以找到目标模型中能够精确匹配参考模型中的顶点的对应点。

优选地，所述方法包括优化由参考模型变形前后的顶点位置约束E_c、仿射变换参数的约束E_t以及正则项E_r构成的模型融合的能量函数w_tE_t+w_rE_r+w_cE_c以获得优化后的最终的融合参数。

本公开的一个方面涉及一种用于高效地压缩动态三维模型序列的设备，包括用于存储应用程序的非暂态存储器、处理器以及存储在所述非暂态存储器并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现以下：存储所述动态三维模型序列的一帧的三维模型作为参考模型；通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型基本对齐从而得到初始化的融合参数，其中目标模型是所述动态三维模型序列的其余帧的三维模型；以及通过迭代优化的方法确定将参考模型变形为目标模型的最终的融合参数。

优选地，所述处理器进一步执行所述计算机程序以：将参考模型的顶点划分为多个区块，以区块为单位对区块中的每个顶点通过迭代最近点(ICP)算法到目标模型中寻找参考模型的顶点的对应点，从而求解参考模型中的区块变换到目标模型的刚体变换，其中所述刚体变换包括平移向量t和旋转向量R。

优选地，所述处理器进一步执行所述计算机程序以：在所述迭代最近点(ICP)算法中，通过法线投影的方式到目标模型中寻找参考模型的顶点的对应点，所述法线投影是基于点到线的距离最小。

优选地，所述处理器进一步执行所述计算机程序以：在区块划分时确定代表参考模型的区块的刚体运动的顶点x⁰。

优选地，所述处理器进一步执行所述计算机程序以：利用迭代最近点(ICP)算法得到的刚体变换的平移向量t和旋转向量R计算顶点x⁰在目标模型中的位置点x_c＝Rx⁰+t，其中x_c表示顶点x⁰经过变换后移动到点x_c的位置约束。

优选地，所述处理器进一步执行所述计算机程序以：利用每个区块计算得到的位置约束来构建所述位置约束函数‖W_c(x-x_c)‖²，并构建拉普拉斯能量函数‖Lx-Lx⁰‖²，优化能量函数：

E＝‖Lx-Lx⁰‖²+‖W_c(x-x_c)‖²

其中L为拉普拉斯矩阵、W_c为位置约束的权重矩阵、x⁰为参考模型顶点的初始位置、x_c为参考模型的顶点的位置约束，其是参考模型的顶点在目标模型中对应的顶点位置。

优选地，所述处理器进一步执行所述计算机程序以：从参考模型的顶点中随机采样多个控制点，利用控制点的仿射变换的加权来表示参考模型中顶点的变形

优选地，所述处理器进一步执行所述计算机程序以：通过模型对齐初始化控制点的融合参数。

优选地，所述处理器进一步执行所述计算机程序以：在迭代优化中通过最近邻相容点搜索算法来构建顶点的位置约束E_c，找到目标模型中能够精确匹配参考模型中的顶点的对应点。

优选地，所述处理器进一步执行所述计算机程序以：优化由参考模型变形前后的顶点位置约束E_c、仿射变换参数的约束E_t以及正则项E_r构成的模型融合的能量函数w_tE_t+w_rE_r+w_cE_c以获得优化后的融合参数。

本公开的一个方面涉及一种体素捕捉***，包括：拍摄单元，所述拍摄单元使用校准的相机阵列从多个角度在时间序列上获取对象的多个二维图像；建模单元，所述建模单元从所述多个二维图像提取前景，并使用算法构建动态三维模型序列；动态三维模型序列压缩单元，根据权利要求1-10中至少一项所述的方法来获得融合参数以压缩动态三维模型序列；以及恢复单元，根据从动态三维模型序列压缩单元所获得的融合参数来恢复动态三维模型序列。

提供上述概述是为了总结一些示例性的实施例，以提供对本文所描述的主题的各方面的基本理解。因此，上述特征仅仅是例子并且不应该被解释为以任何方式缩小本文所描述的主题的范围或精神。本文所描述的主题的其他特征、方面和优点将从以下结合附图描述的具体实施方式而变得明晰。

附图说明

当结合附图考虑实施例的以下具体描述时，可以获得对本公开内容更好的理解。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部件。各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分，用来例示说明本公开的实施例和解释本公开的原理和优点。其中：

图1示出了现有技术的体素捕捉***。

图2示出了由体素捕捉***创建的动态三维模型序列。

图3示出了根据本公开实施例的基于4D融合的压缩动态三维模型序列的流程图。

图4示出了根据本公开实施例的基于4D融合的压缩动态三维模型序列的模型对齐步骤的流程图。

图5示出了根据本公开实施例的通过法线投影在目标模型中寻找对应点的示意图。

图6示出了根据本公开实施例的基于4D融合的压缩动态三维模型序列的模型融合步骤的流程图。

图7A-7C示出了根据本公开实施例的用于实现高效的压缩动态三维模型序列的流程框图。

图8示出了根据本公开实施例的被配置为实现高效的压缩动态三维模型序列的设备的框图。

图9示出了根据本公开实施例的压缩动态三维模型序列的技术效果的示意图。

虽然在本公开内容中所描述的实施例可能易于有各种修改和另选形式，但是其具体实施例在附图中作为例子示出并且在本文中被详细描述。但是，应当理解，附图以及对其的详细描述不是要将实施例限定到所公开的特定形式，而是相反，目的是要涵盖属于权利要求的精神和范围内的所有修改、等同和另选方案。

具体实施方式

以下描述根据本公开的设备和方法等各方面的代表性应用。这些例子的描述仅是为了增加上下文并帮助理解所描述的实施例。因此，对本领域技术人员而言明晰的是，以下所描述的实施例可以在没有具体细节当中的一些或全部的情况下被实施。在其他情况下，众所周知的过程步骤没有详细描述，以避免不必要地模糊所描述的实施例。其他应用也是可能的，本公开的方案并不限制于这些示例。

图1示出了现有技术的体素捕捉***。现有技术的体素捕捉***包括拍摄、建模和贴图等步骤。在拍摄步骤中(参见图1的左图)，使用标定好的相机阵列从多个方向(例如，图1所示的前、后、左、右、上等)采集多幅图像。在建模步骤中(参见图1的中图)，从拍摄的多幅图像中提取前景轮廓，使用可见外壳(visual hull)算法建立网络模型。可见外壳算法利用真实物体在照片上的侧影轮廓线和相关的相机参数实现了物体的三维重建。简而言之，可见外壳是由空间物体的所有已知侧影轮廓线决定的该物体的凸包。当利用透视投影的方式从多个视角观察某一个空间物体时，在每个视角上都会得到该物体的一幅侧影轮廓线。这条侧影轮廓线和对应的投射侧影中心将共同决定一个三维空间中一般形状的锥体。显然，该物体必然落入到这个锥体之中，而由所有已知侧影轮廓线和对应的透视投影中心决定的锥体的交集最终将决定一个包含该物体的凸包，而该凸包就是物体的可见外壳。之后使用该可见外壳来生成三维网格模型。在贴图步骤中(参见图1的右图)，使用多张图像及其相机参数对网格模型进行贴图，以使得该网格模型具有色彩。

在如上所述的当前的体素捕捉***中，会针对拍摄的每一帧都输出一个三维模型，因此一个图像序列会产生大量的三维模型。图2示出了由体素捕捉***创建的动态三维模型序列。如果需要创建一个例如10秒到15秒的动态三维模型序列，就会产生大量的三维数据，使得难以导出这些数据到其他的应用。假设单个三维模型需要5M的存储空间，对于时长为15秒，帧率为30帧每秒的动态三维模型序列则需要大约2GB的存储空间，这对于移动应用来说是难以传输和存储的。

因此，本发明提出了一种高效压缩动态三维模型的序列的方法。下面结合图3介绍根据本发明实施例的基于4D融合的压缩动态三维模型序列的技术方案。本发明所提出的基于4D融合的动态三维模型序列压缩方法，能够根据原始的三维模型序列中的参考模型和目标模型，使用4D融合压缩算法获取少量的融合(fusion)参数，该少量的融合参数能够控制参考模型进行变形来拟合后续的目标模型，从而只需存储该少量的融合参数就可以在稍后恢复目标模型，而不要存储目标模型的三维序列其本身。为了展示的目的，图3仅示出了四帧的原始三维模型序列，可以理解的是待压缩的原始三维模型序列不限于四帧。在本发明的一个实施例中，所述动态三维模型序列压缩方法包括将原始的动态三维模型序列中的第一帧的三维模型存储为参考模型，后续的第二帧、第三帧和第四帧均为待拟合的目标模型。需要说明的是，本发明并不限于将第一帧存储为参考模型并且将后续帧存储为目标模型。本发明包括将任一帧或者多帧存储为参考模型并且将其余帧存储为目标模型的所有可能的实施方式。进一步，本发明的作为目标模型的其余帧不是必须位于作为参考模型的帧之后，作为目标模型的其余帧与作为参考模型的帧可以具有任何的前后相对位置。

本发明所提出的基于4D融合的压缩动态三维模型序列算法主要由两个部分组成：模型对齐和模型融合。模型对齐用于对齐参考模型和目标模型，即通过优化参考模型的能量函数来确定参考模型和目标模型的顶点之间的初始对应关系以使得参考模型和目标模型对齐从而获得初始的融合参数；模型融合用于从对齐后的参考模型中提取融合参数，即在从模型对齐中获取了初始的融合参数后，通过对获得的初始化的融合参数进行迭代优化来确定将参考模型变形为目标模型的4D融合参数。与存储每个帧的三维模型的体素捕捉***相比，4D融合压缩算法通过以少量融合参数控制参考模型变形来拟合后续目标模型而大大压缩了动态三维模型序列。

模型对齐

下面结合图4介绍根据本发明实施例的压缩动态三维模型序列的方法中的模型对齐步骤。在动态三维模型序列中，每一帧的模型可能具有不同的模型结构。模型对齐步骤就是用来找出参考模型和目标模型的顶点间初始的对应关系。模型对齐通过移动参考模型顶点的位置来使参考模型的几何结构向目标模型靠近从而寻找参考模型中的点在目标模型中的位置约束。

本发明所提出的动态三维模型序列压缩方法包括通过优化参考模型的能量函数来确定参考模型和目标模型的顶点之间的初始对应关系以使得参考模型和目标模型对齐从而获得初始的融合参数。

根据本发明的一个实施例，在模型对齐步骤中，为了增加模型变换的稳定性，参考模型不会以顶点为单位去向目标模型靠近。如图4所示，参考模型会被划分为多个区块，假设每个区块从参考模型到目标模型的变换均为刚体变换，即变换只包括平移和旋转。然后，以区块为单位通过迭代最近点(ICP)算法去目标模型中寻找与参考模型中的每个顶点的对应关系，从而求解参考模型中的区块变换到目标模型所需的平移t和旋转R。在迭代最近点(ICP)算法中，目标模型保持不变，参考模型通过平移t和旋转R的变换，使得变换后的参考模型的顶点尽量和目标模型的对应点重合。

如上所述，参考模型的顶点被划分到多个区块，对区块中的每个顶点通过迭代最近点(ICP)算法在目标模型中寻找最佳对应点，从而求解参考模型中的区块变换到目标模型的刚体变换，所述刚体变换包括平移向量t和旋转向量R。

ICP算法是基于最小二乘法的最优配准方法，该算法重复进行选择对应关系点对、计算最优刚体变换、直到满足正确配准的收敛精度要求。ICP算法的目的是找到参考模型和目标模型的对应点之间的平移t和旋转R，使得对应点数据之间满足某种量度准则下的最优匹配。

在ICP算法中，首先要找到参考模型的区块的每个顶点在目标区块中的初始对应点。在本发明的实施例中，对区块中的每个顶点使用法线投影的方法在目标模型中找到初始对应点。图5示出了根据本公开实施例的通过法线投影在目标模型中寻找对应点的示例方式。法线投影沿法线投射参考模型的顶点，并与目标模型的顶点相交以找到目标模型中的初始对应点。法线投影是基于点到线的距离最小，直线由顶点加法向量构成。可以理解，法线投影方法仅作为示例被示出，本发明不限于使用法线投影的方法寻找初始对应点。

在确定参考模型的区块的每个顶点在目标模型中的初始对应点后，利用ICP算法求取使得上述参考模型的顶点和目标模型的对应点对距离最小的平移t和旋转R，即对参考模型的顶点施加该平移t和旋转R后获得的点，与目标模型的对应点的距离最小。在ICP算法中，对参考模型中的顶点施加该平移t和旋转R得到变换后的参考模型。之后，如果变换后的参考模型和目标模型满足平均距离小于一定阈值，则停止迭代；如不满足阈值条件，变换后的参考模型将作为新的起点继续迭代，直到满足与目标模型的对应点的距离小于预定阈值，其中在ICP算法的每次迭代中都会重新计算最佳目标模型中的对应点。

找到最能代表参考模型的区块的刚体运动的顶点x⁰，通过在利用ICP算法求解参考模型的区块变换到目标模型的平移t和旋转R(即，刚体变换)来计算顶点x⁰的目标位置x_c＝Rx⁰+t。其中x_c就是位置约束，表示x⁰经过优化后要移动到x_c的位置。

最能代表参考模型的区块的刚体运动的顶点x⁰是在区块划分时确定的。对于“最能代表该区块的刚体运动的点”可参考如下解释：如果按照该最具代表的顶点x⁰的刚体变换来变换参考模型的区块，该区块内的其他顶点也能基本上对齐到目标模型其对应位置。区块划分时先按采用最远点采样法按照测地距离从参考模型上均匀的采样若干个顶点作为每个区块的代表点x⁰，再按照剩余顶点到代表点的最近距离将它们划分到不同的区块完成参考模型的划分。

利用每个区块计算得到的位置约束来构建位置约束能量函数‖W_c(x-x_c)‖²。具体来讲，通过对每个区块的刚体变换求平均得到每个区块中心的位置约束。利用每个区块计算得到的位置约束来构建位置约束能量函数‖W_c(x-x_c)‖²。另外，由于以上假设区块从参考模型到目标模型的变换为刚性变换，为了限制顶点移动的自由度，引入拉普拉斯能量函数‖Lx-Lx⁰‖²来保持区块局部的刚体形状不变。

因此，如上所述，模型对齐过程中的参考模型的能量函数由位置约束能量函数和拉普拉斯能量函数构成：

E＝‖Lx-Lx⁰‖²+‖W_c(x-x_c)‖²

其中L为拉普拉斯矩阵、x为参考模型中的被运算点的经变换后的位置、x⁰是参考模型的区块中的最能代表刚体运动的顶点、x_c为参考模型顶点x⁰的位置约束(其为参考模型的顶点x⁰变换到目标模型中的对应的点的位置)、W_c为位置约束的权重矩阵(当顶点是参考模型的区块中的最能代表刚体运动的顶点x⁰时，W_c＝1，当顶点不是参考模型的区块中的最能代表刚体运动的顶点x⁰时，W_c＝0)。

优化由位置能量函数和拉普拉斯能量函数构成的能量函数已使之满足预定条件(例如小于预定阈值)，从而使得参考模型和目标模型基本对齐，也就是得到变形后的参考模型。参考模型和目标模型基本对齐后，可以为参考模型获取变形到目标模型的刚体变换关系(即，平移t和旋转R)从而得到初始融合参数以供后续的模型融合步骤使用。

下面结合图6介绍根据本发明实施例的高效压缩动态三维模型序列的方法中的模型融合步骤。在模型对齐步骤中获取了从参考模型到目标模型的初始对应关系后，在模型融合步骤中，参考模型可以通过基于迭代优化的方法找到将参考模型变形为目标模型的最终的融合参数。因此，通过模型融合步骤，可以只使用很少的融合参数就能表示参考模型在模型对齐时发生的形变，这是能够进行三维序列压缩的关键。模型融合假设模型变形在一个小的区块内是刚体变换，因此可以使用一组作用于局部小区域的仿射变换来完成模型的非刚体变换。

模型融合会在参考模型的顶点中随机采样一些控制点，每一个控制点设置一个仿射变换来表示这个局部小区域的刚体变换。为了更好的模型变形，控制点的分布应该大致遵循参考模型的几何机构，保证控制点在参考模型上均匀分布。图6示例性地示出了控制点的采样，其基本遵循人体的几何构造。模型融合步骤从顶点中采样数量有限的控制点，通过模型对齐步骤仅初始化控制点的融合参数，与初始化所有顶点的融合参数相比，减少了运算量、提高了融合效率。

利用从参考模型的顶点中随机采样多个控制点，利用控制点的仿射变换的加权来表示参考模型中顶点v_j的位置约束。在参考模型到目标模型的变形过程中，一个顶点v_j可以被多个邻近的控制点所影响，因此顶点v_j的最终位置是使用线性混合，将多个作用于顶点v_j的控制点的仿射变换t(·)通过权重w(·)进行求和。由此参考模型中的顶点v_j在变形后的参考模型中的位置由

决定。

其中t_i(v_j)是控制点的变换参数，w_i(v_j)是控制点的权重并且与控制点到顶点v_j的距离有关，顶点v_j受到周围i＝m个控制点的影响。

通过模型对齐中变形后的参考模型，初始化控制点的融合参数。注意的是，这里初始化的是参考模型中控制点的融合参数。在之前的模型对齐步骤中，对齐优化的是参考模型顶点x的位置；而在现在的模型融合步骤中，是用优化后的顶点的位置x去初始化控制点的融合参数的仿射变换关系。

在迭代优化中通过最近邻相容点搜索算法来构建顶点的位置约束，从而找到目标模型中能够精确匹配参考模型中的顶点的对应点。

通过构建参考模型变形前后的顶点位置约束E_c，以及仿射变换参数的约束项E_t和正则项E_r，可以获得模型融合的能量函数：

E＝w_tE_t+w_rE_r+w_cE_c

w_t、w_r和w_c分别为仿射变换参数的约束项E_t、正则项E_r以及顶点位置约束项E_c的权重矩阵。通过优化模型融合的能量函数使之获得最小值，可以获得最终的融合参数。

图7A-7C示出了根据本公开实施例的用于实现高效的压缩动态三维模型序列的流程框图。

参见图7A，在步骤701处，存储所述动态三维模型序列的一帧的三维模型作为参考模型。其中，动态三维模型序列的其余帧的三维模型被视为目标模型。

在步骤702中，通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数。

参见图7B，优选地，步骤702包括步骤702-1至702-5。

在步骤702-1中，根据本发明的一个实施例，为了增加模型变形的稳定性，将参考模型的顶点划分为多个区块。

在步骤702-2中，根据本发明的一个实施例，假设区块为刚体变换，使用法线投影的方法为参考模型的区块中的每个顶点在目标模型中找到初始对应点。法线投影沿法线投射参考模型的顶点，并与目标模型的顶点相交通过使点到线的距离最小以找到对应关系。可以理解，法线投影方法仅作为示例被示出，本发明不限于使用法线投影的方法寻找初始对应点。在ICP的每次迭代中都会重新计算最佳对应点。

在步骤702-3中，根据本发明的一个实施例，利用ICP算法求解参考模型的区块变换到目标模型的平移t和旋转R。在ICP算法中，对参考模型中的顶点x施加该平移t和旋转R得到变换后的参考模型。之后，如果变换后的参考模型和目标模型满足平均距离小于一定阈值，则停止迭代，否则变换后的参考模型将作为新的起点继续迭代，直到满足与目标模型的对应点的距离小于预定阈值，其中在ICP的每次迭代中都会重新计算最佳目标模型中的对应点。

在步骤702-4中，确定代表区块刚体运动的顶点x⁰，利用迭代最近点(ICP)算法得到的刚体变换的平移向量t和旋转向量R计算顶点x⁰在目标模型中的位置点x_c＝Rx⁰+t，其中x_c表示顶点x⁰经过刚体变换后移动到点x_c的位置约束。其实，顶点x⁰是在区块划分时确定的。区块划分时先按采用最远点采样法按照测地距离从模型上均匀的采样若干个顶点作为每个区块的代表点，再按照剩余顶点到代表点的最近距离将它们划分到不同的区块完成参考模型的划分。

在步骤702-5中，根据本发明的一个实施例，利用每个区块计算得到的位置约束来构建所述位置约束函数‖W_c(x-x_c)‖²，并构建拉普拉斯能量函数‖Lx-Lx⁰‖²以保持局部刚体形状不变。其中L为拉普拉斯矩阵、x为参考模型中的被运算点的变换后的位置、x⁰是参考模型的区块中的最能代表刚体运动的顶点的初始位置、x_c为参考模型顶点x⁰的位置约束(其为参考模型的顶点x⁰在目标模型中的对应的顶点位置)、W_c为位置约束的权重矩阵(当顶点是区块代表点时，W_c＝1，当顶点不是区块代表点时，W_c＝0)。优化由参考模型的位置能量函数和拉普拉斯能量函数构成的能量函数已使之满足预定条件(例如小于预定阈值)。从而使得参考模型和目标模型基本对齐，也就是得到变形后的参考模型。参考模型和目标模型对齐后，可以为参考模型的获取到目标模型的刚体变换关系(平移t和旋转R)从而得到初始的融合参数。

在步骤703中，对所述初始化的融合参数进行迭代优化确定将参考模型变形为目标模型的最终的融合参数。

参见图7C，优选地，步骤703包括703-1至703-4。

在步骤703-1中，根据本发明的一个实施例，从参考模型的顶点中随机采样多个控制点，利用控制点的仿射变换的加权来表示参考模型中顶点的变形

为了更好的模型变形，控制点的分布应该大致遵循参考模型的几何机构，保证控制点在参考模型上均匀分布。

在步骤703-2中，根据本发明的一个实施例，通过模型对齐中变形后的参考模型，初始化控制点的融合参数。注意的是，这里初始化的是参考模型中控制点的融合参数。在之前的模型对齐步骤中，对齐优化的是参考模型顶点x的位置；而在现在的模型融合步骤中，是用优化后的顶点的位置x去初始化控制点的融合参数的仿射变换关系。

在步骤703-3中，根据本发明的一个实施例，在迭代优化中通过最近邻相容点搜索算法来构建顶点的位置约束E_c，以找到目标模型中能够精确匹配参考模型中的顶点的对应点。

在步骤703-4中，根据本发明的一个实施例，优化由参考模型变形前后的顶点位置约束E_c、仿射变换参数的约束E_t以及正则项E_r构成的模型融合的能量函数w_tE_t+w_rE_r+w_cE_c以获得优化后的最终的融合参数。其中w_t、w_r和w_c分别为仿射变换参数的约束项E_t、正则项E_r以及顶点位置约束项E_c的权重矩阵。通过优化模型融合的能量函数使之获得最小值，可以获得最终的融合参数。

在步骤704中，通过获得的最终的融合参数对参考模型进行变形来恢复目标模型序列。可以理解的是，步骤704中的目标模型恢复步骤不是本发明的高效压缩动态三维模型序列的方法所必须的。

图8示出根据一些实施例的被配置为实现高效的压缩动态三维模型序列的设备的框图。如图8所示，计算设备800可以包括通信接口802、处理器804、存储器件806以及通过通信基础设施810通信连接的输入/输出(“I/O”)模块808。虽然图8中示出了一个示例性的计算设备800，但图8中示出的组件并不意味着是限制性的。在其他实施例中可以使用额外的或替代的组件。现在将对图8中所示的计算设备800的组件进行额外的详细描述。通信接口802可以被配置为与一个或多个计算设备通信。通信接口802的例子包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接以及任何其他合适的接口。处理器804一般代表能够处理数据或解释、执行和/或指导执行本文所述的一个或多个指令、过程和/或操作的任何类型或形式的处理单元。处理器804可根据一个或多个应用程序812或其他计算机可执行指令，例如可存储在存储设备806或另一计算机可读介质中的指令来指导执行操作。存储设备806可以包括一个或多个数据存储介质、设备或配置，并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备806可以包括但不限于硬盘、网络驱动器、闪存驱动器、磁光盘、光盘、RAM、动态RAM、其他非易失性和/或易失性数据存储单元，或其组合或子组合。电子数据，包括本文所述的数据，可以暂时和/或永久地存储在存储设备806中。例如，被配置为指示处理器804执行本文所述的任何操作的一个或多个可执行应用程序812的数据可以被存储在存储设备806内。在一些例子中，数据可以被安排在驻留在存储设备806内的一个或多个数据库中。I/O模块808可包括一个或多个I/O模块，其被配置为接收用户输入并提供用户输出。一个或多个I/O模块可被用于接收单个虚拟体验的输入。I/O模块808可以包括任何支持输入和输出能力的硬件、固件、软件或其组合。例如，I/O模块808可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏组件(例如，触摸屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。I/O模块808可包括用于向用户呈现输出的一个或多个装置，包括但不限于图形引擎、显示器(例如，显示屏幕)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中，I/O模块808被配置为向显示器提供图形数据，以便向用户展示。该图形数据可以是代表一个或多个图形用户界面和/或任何其他图形内容，因为可能服务于特定的实施方案。在一些例子中，本文所述的任何设施可以由计算设备800的一个或多个组件实施或在其内实施。例如，驻留在存储设备806内的一个或多个应用程序812可以被配置为指示处理器804执行与***200的处理设施204相关的一个或多个过程或功能。同样地，***200的存储设施202可以由存储设备806实施或在其内实施。

下面结合图9简单介绍根据本发明实施例的压缩动态三维模型序列的方法中的技术效果。由于仅在模型融合步骤中随机采样一些控制点，并且使用多个邻近的控制点来线性混合参考模型顶点的仿射变换，最终融合参数的数量将取决于控制点的数量。举例来说，在本发明的一个实施例中，假设随机采样100个控制点，那么融合参数的数量将会是100×12个，其中12是仿射变换系数(旋转和位移)的数量。如图9所示，采用本发明的压缩动态三维模型序列的方法，对于150帧的模型序列，不带贴图的4D融合压缩算法，相对于直接存储真实模型可以实现5％的压缩率；对于带贴图的4D融合压缩算法，相对与直接存储真实模型可以实现44％的压缩率。

应注意，上述各个单元仅是根据其所实现的具体功能划分的逻辑模块，而不是用于限制具体的实现方式，例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如，处理器(CPU或DSP等)、集成电路等)来实现。其中，处理电路可以指在计算***中执行功能的数字电路***、模拟电路***或混合信号(模拟和数字的组合)电路***的各种实现。处理电路可以包括例如诸如集成电路(IC)、专用集成电路(ASIC)这样的电路、单独处理器核心的部分或电路、整个处理器核心、单独的处理器、诸如现场可编程门阵列(FPGA)的可编程硬件设备、和/或包括多个处理器的***。

以上分别描述了根据本公开实施例的各示例性电子设备和方法。应当理解，这些电子设备的操作或功能可以相互组合，从而实现比所描述的更多或更少的操作或功能。各方法的操作步骤也可以以任何适当的顺序相互组合，从而类似地实现比所描述的更多或更少的操作。

应当理解，根据本公开实施例的机器可读存储介质或程序产品中的机器可执行指令可以被配置为执行与上述设备和方法实施例相应的操作。当参考上述设备和方法实施例时，机器可读存储介质或程序产品的实施例对于本领域技术人员而言是明晰的，因此不再重复描述。用于承载或包括上述机器可执行指令的机器可读存储介质和程序产品也落在本公开的范围内。这样的存储介质可以包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

以上参照附图描述了本公开的示例性实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应理解这些变更和修改自然将落入本公开的技术范围内。

例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，这样的配置包括在本公开的技术范围内。

在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变该顺序。

虽然已经详细说明了本公开及其优点，但是应当理解在不脱离由所附的权利要求所限定的本公开的精神和范围的情况下可以进行各种改变、替代和变换。而且，本公开实施例的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

条款1：一种高效的压缩动态三维模型序列的方法，包括：存储所述动态三维模型序列的一帧的三维模型作为参考模型；通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数，其中目标模型是所述动态三维模型序列的其余帧的三维模型；以及对所述初始化的融合参数进行迭代优化确定将参考模型变形为目标模型的最终的融合参数。

条款2：根据条款1所述的方法，其中通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数进一步包括将参考模型的顶点划分为多个区块，以区块为单位对区块中的每个顶点通过迭代最近点(ICP)算法到目标模型中寻找参考模型的每个顶点的对应点，从而求解参考模型中的区块变换到目标模型的刚体变换，其中所述刚体变换包括平移向量t和旋转向量R。

条款3：根据条款2所述的方法，在所述迭代最近点(ICP)算法中，通过法线投影的方式到目标模型中寻找参考模型的每个顶点的初始对应点，所述法线投影是基于点到线的距离最小。

条款4：根据条款2所述的方法，在区块划分时确定代表参考模型的区块的刚体运动的顶点x⁰。

条款5：根据条款4所述的方法，利用迭代最近点(ICP)算法得到的刚体变换的平移向量t和旋转向量R计算顶点x⁰在目标模型中的位置点x_c＝Rx⁰+t，其中x_c表示顶点x⁰经过刚体变换后移动到点x_c的位置约束。

条款6：根据条款5所述的方法，利用每个区块计算得到的位置约束来构建所述位置约束函数‖W_c(x-x_c)‖²，并构建拉普拉斯能量函数‖Lx-Lx⁰‖²，优化能量函数：

E＝‖Lx-Lx⁰‖²+‖W_c(x-x_c)‖²

其中L为拉普拉斯矩阵、W_c为位置约束的权重矩阵、x⁰为参考模型顶点的初始位置、x_c为参考模型的顶点的位置约束，其是参考模型的顶点在目标模型中对应的顶点位置。

条款7：根据条款1所述的方法，从参考模型的顶点中随机采样多个控制点，利用控制点的仿射变换的加权来表示参考模型中顶点的变形

条款8：根据条款7所述的方法，通过模型对齐初始化控制点的融合参数。

条款9：根据条款8所述的方法，在迭代优化中通过最近邻相容点搜索算法来构建顶点的位置约束E_c，以找到目标模型中能够精确匹配参考模型中的顶点的对应点。

条款10：根据条款9所述的方法，优化由参考模型变形前后的顶点位置约束E_c、仿射变换参数的约束E_t以及正则项E_r构成的模型融合的能量函数w_tE_t+w_rE_r+w_cE_c以获得优化后的最终的融合参数。

条款11：一种用于高效地压缩动态三维模型序列的设备，包括：用于存储应用程序的非暂态存储器、处理器以及存储在所述非暂态存储器并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现以下：存储所述动态三维模型序列的一帧的三维模型作为参考模型；通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型基本对齐从而得到初始化的融合参数，其中目标模型是所述动态三维模型序列的其余帧的三维模型；以及通过迭代优化的方法确定将参考模型变形为目标模型的最终的融合参数。

条款12：根据条款11所述的方法，其中所述处理器进一步执行所述计算机程序以：将参考模型的顶点划分为多个区块，以区块为单位对区块中的每个顶点通过迭代最近点(ICP)算法到目标模型中寻找参考模型的顶点的对应点，从而求解参考模型中的区块变换到目标模型的刚体变换，其中所述刚体变换包括平移向量t和旋转向量R。

条款13：根据条款12所述的方法，其中所述处理器进一步执行所述计算机程序以：在所述迭代最近点(ICP)算法中，通过法线投影的方式到目标模型中寻找参考模型的顶点的对应点，所述法线投影是基于点到线的距离最小。

条款14：根据条款12所述的方法，所述处理器进一步执行所述计算机程序以：在区块划分时确定代表参考模型的区块的刚体运动的顶点x⁰。

条款15：根据条款14所述的方法，其中所述处理器进一步执行所述计算机程序以：利用迭代最近点(ICP)算法得到的刚体变换的平移向量t和旋转向量R计算顶点x⁰在目标模型中的位置点x_c＝Rx⁰+t，其中x_c表示顶点x⁰经过变换后移动到点x_c的位置约束。

条款16：根据条款15所述的方法，其中所述处理器进一步执行所述计算机程序以：利用每个区块计算得到的位置约束来构建所述位置约束函数‖W_c(x-x_c)‖²，并构建拉普拉斯能量函数‖Lx-Lx⁰‖²，优化能量函数：

E＝‖Lx-Lx⁰‖²+‖W_c(x-x_c)‖²

其中L为拉普拉斯矩阵、W_c为位置约束的权重矩阵、x⁰为参考模型顶点的初始位置、x_c为参考模型的顶点的位置约束，其是参考模型的顶点在目标模型中对应的顶点位置。

条款17：根据条款11所述的方法，其中所述处理器进一步执行所述计算机程序以：从参考模型的顶点中随机采样多个控制点，利用控制点的仿射变换的加权来表示参考模型中顶点的变形

条款18：根据条款17所述的方法，其中所述处理器进一步执行所述计算机程序以：通过模型对齐初始化控制点的融合参数。

条款19：根据条款18所述的方法，其中所述处理器进一步执行所述计算机程序以：在迭代优化中通过最近邻相容点搜索算法来构建顶点的位置约束E_c，找到目标模型中能够精确匹配参考模型中的顶点的对应点。

条款20：根据条款19所述的方法，其中所述处理器进一步执行所述计算机程序以：优化由参考模型变形前后的顶点位置约束E_c、仿射变换参数的约束E_t以及正则项E_r构成的模型融合的能量函数w_tE_t+w_rE_r+w_cE_c以获得优化后的融合参数。

条款21：一种体素捕捉***，包括：拍摄单元，所述拍摄单元使用校准的相机阵列从多个角度在时间序列上获取对象的多个二维图像；建模单元，所述建模单元从所述多个二维图像提取前景，并使用算法构建动态三维模型序列；动态三维模型序列压缩单元，根据权利要求1-10中至少一项所述的方法来获得融合参数以压缩动态三维模型序列；以及恢复单元，根据从动态三维模型序列压缩单元所获得的融合参数来恢复动态三维模型序列。

Claims (10)

1.一种高效的压缩动态三维模型序列的方法，包括：

存储所述动态三维模型序列的一帧的三维模型作为参考模型；

通过优化参考模型的能量函数确定参考模型与目标模型的顶点问的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数，其中目标模型是所述动态三维模型序列的其余帧的三维模型；以及

对所述初始化的融合参数进行迭代优化确定将参考模型变形为目标模型的最终的融合参数。

2.根据权利要求1所述的方法，其中通过优化参考模型的能量函数确定参考模型与目标模型的顶点间的初始对应关系以使参考模型和目标模型对齐而获得初始化的融合参数进一步包括将参考模型的顶点划分为多个区块，以区块为单位对区块中的每个顶点通过迭代最近点(ICP)算法到目标模型中寻找参考模型的每个顶点的对应点，从而求解参考模型中的区块变换到目标模型的刚体变换，其中所述刚体变换包括平移向量t和旋转向量R。

3.根据权利要求2所述的方法，在所述迭代最近点(ICP)算法中，通过法线投影的方式到目标模型中寻找参考模型的每个顶点的初始对应点，所述法线投影是基于点到线的距离最小。

4.根据权利要求2所述的方法，在区块划分时确定代表参考模型的区块的刚体运动的顶点x⁰。

5.根据权利要求4所述的方法，利用迭代最近点(ICP)算法得到的刚体变换的平移向量t和旋转向量R计算顶点x⁰在目标模型中的位置点x_c＝Rx⁰+t，其中x_c表示顶点x⁰经过刚体变换后移动到点x_c的位置约束。

6.根据权利要求5所述的方法，利用每个区块计算得到的位置约束来构建所述位置约束函数||W_c(x-x_c)||²，并构建拉普拉斯能量函数||Lx-Lx⁰||²，优化能量函数：

E＝||Lx-Lx⁰||²+||W_c(x-x_c)||²

其中L为拉普拉斯矩阵、W_c为位置约束的权重矩阵、x⁰为参考模型顶点的初始位置、x_c为参考模型的顶点的位置约束，其是参考模型的顶点在目标模型中对应的顶点位置。

7.根据权利要求1所述的方法，从参考模型的顶点中随机采样多个控制点，利用控制点的仿射变换的加权来表示参考模型中顶点的变形

8.根据权利要求7所述的方法，通过模型对齐初始化控制点的融合参数。

9.根据权利要求8所述的方法，在迭代优化中通过最近邻相容点搜索算法来构建顶点的位置约束E_c，以找到目标模型中能够精确匹配参考模型中的顶点的对应点。

10.根据权利要求9所述的方法，优化由参考模型变形前后的顶点位置约束E_c、仿射变换参数的约束E_t以及正则项E_r构成的模型融合的能量函数w_tE_t+w_rE_r+w_cE_c以获得优化后的最终的融合参数。

Images