CN110599535A - 基于哈希表的高分辨率人体实时动态重建方法及装置 - Google Patents

Abstract

本发明公开了一种基于哈希表的高分辨率人体实时动态重建方法及装置，其中，该方法包括：通过深度相机采集单个人体的多张深度图像；通过相机内参将每张深度图像投影到三维空间得到三维点云，求解三维点云与重建模型顶点及内嵌的人体参数化模型之间的对应点；根据对应点建立能量函数，进行最优化求解得到人体参数化模型的姿势，进而得到重建模型的每个顶点的非刚性变换参数；对重建模型进行非刚性变换，使重建模型变换到实时帧下，以使重建模型为新增体素在哈希表内分配显存空间，根据非刚性变换参数对哈希表中的所有体素进行体素融合，得到人体重建模型以对人体动态重建。该方法求解准确，可以实现实时人体动态重建，并适应高分辨率的情况。

Description

基于哈希表的高分辨率人体实时动态重建方法及装置

技术领域

本发明涉及计算机视觉与计算机图形学技术领域，特别涉及一种基于哈希表的高分辨率人体实时动态重建方法及装置。

背景技术

人体动态三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。但是高质量人体三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列***来实现，虽然精度较高，但是也显著存在着一些缺点：第一，显存占用大，由于传统方法一般是基于均匀划分的体素网格，很难适应高分辨率的情况。第二，速度慢，往往重建一个三维人体模型需要至少10分钟到数小时的时间。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于哈希表的高分辨率人体实时动态重建方法，该方法求解准确，可以实现实时人体动态重建，同时可以适应高分辨率的情况，可以为用户提供良好的交互式三维重建体验，拥有广阔的应用前景。

本发明的另一个目的在于提出一种基于哈希表的高分辨率人体实时动态重建装置。

为达到上述目的，本发明一方面实施例提出了一种基于哈希表的高分辨率人体实时动态重建方法，包括：

通过单个深度相机采集单个人体的多张深度图像；

通过相机内参将每张深度图像投影到三维空间得到三维点云，求解所述三维点云与重建模型顶点及内嵌的人体参数化模型之间的对应点；

根据所述对应点建立能量函数，对所述能量函数进行最优化求解得到所述人体参数化模型的姿势，并基于所述人体参数化模型的姿势得到所述重建模型的每个顶点的非刚性变换参数；

对所述重建模型进行非刚性变换，使所述重建模型变换到实时帧下，以使所述重建模型为新增体素在哈希表内分配显存空间，根据所述非刚性变换参数对所述哈希表中的所有体素进行体素融合，得到人体重建模型以对人体动态重建。

本发明实施例的基于哈希表的高分辨率人体实时动态重建方法，通过利用深度相机对人体进行拍摄以采集深度图像，并基于该深度图像完成对人体的实时动态三维重建功能。该方法所需的输入信息非常容易采集，并且可以实时地获得人体动态三维模型。该方法求解准确鲁棒，简单易行，具有实时性，适应于高分辨率需求，拥有广阔的应用前景，可以在PC机或工作站等硬件***上快速实现。

另外，根据本发明上述实施例的基于哈希表的高分辨率人体实时动态重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述能量函数为：

E＝E_data+λ_bindE_bind+λ_regE_reg

其中，为数据项，v_c和分别表示经过非刚性运动后的重建模型顶点坐标及其法向，,u为与之对应的对应点坐标，P为对应点对集合；

和T(x_i)x_i分别代表受人体参数化模型变形驱动后的模型顶点坐标以及非刚性运动驱动后的重建模型顶点坐标；

为正则项，其中是结点i的相邻结点，λ_bind,λ_reg分别为各项权重系数。

进一步地，在本发明的一个实施例中，所述根据所述非刚性变换参数对所述哈希表中的所有体素进行体素融合，包括：

将已分配空间的体素压缩到线性存储空间中并投入到图形处理器中进行体素融合。

进一步地，在本发明的一个实施例中，体素融合公式为：

w_k+1＝maX(maxWeight，w_k+1)

其中，TSDF为截断符号距离函数，TSDF_k,TSDF_k+1分别是融合前后的TSDF值，PSDF是实时帧下的符号截断距离函数值，PSDF根据所述非刚性变换参数求得，w_k,w_k+1分别是融合前后的权重，maxWeight是权重的最大上限。

进一步地，在本发明的一个实施例中，所述人体参数化模型的顶点位置由人体骨架驱动，计算公式为：

其中，为对所述人体参数化模型的顶点v_i有驱动作用的骨骼的集合；α_i,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为运动变形矩阵的旋转部分。

为达到上述目的，本发明另一方面实施例提出了一种基于哈希表的高分辨率人体实时动态重建装置，包括：

采集模块，用于通过单个深度相机采集单个人体的多张深度图像；

第一处理模块，用于通过相机内参将每张深度图像投影到三维空间得到三维点云，求解所述三维点云与重建模型顶点及内嵌的人体参数化模型之间的对应点；

第二处理模块，用于根据所述对应点建立能量函数，对所述能量函数进行最优化求解得到所述人体参数化模型的姿势，并基于所述人体参数化模型的姿势得到所述重建模型的每个顶点的非刚性变换参数；

重建模块，用于对所述重建模型进行非刚性变换，使所述重建模型变换到实时帧下，以使所述重建模型为新增体素在哈希表内分配显存空间，根据所述非刚性变换参数对所述哈希表中的所有体素进行体素融合，得到人体重建模型以对人体动态重建。

本发明实施例的基于哈希表的高分辨率人体实时动态重建装置，通过利用深度相机对人体进行拍摄以采集深度图像，并基于该深度图像完成对人体的实时动态三维重建功能。该方法所需的输入信息非常容易采集，并且可以实时地获得人体动态三维模型。该方法求解准确鲁棒，简单易行，具有实时性，适应于高分辨率需求，拥有广阔的应用前景，可以在PC机或工作站等硬件***上快速实现。

另外，根据本发明上述实施例的基于哈希表的高分辨率人体实时动态重建装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述能量函数为：

E＝E_data+λ_bindE_bind+λ_regE_reg

其中，为数据项，v_c和分别表示经过非刚性运动后的重建模型顶点坐标及其法向，,u为与之对应的对应点坐标，P为对应点对集合；

和T(x_i)x_i分别代表受人体参数化模型变形驱动后的模型顶点坐标以及非刚性运动驱动后的重建模型顶点坐标；

为正则项，其中是结点i的相邻结点，λ_bind,λ_reg分别为各项权重系数。

进一步地，在本发明的一个实施例中，所述根据所述非刚性变换参数对所述哈希表中的所有体素进行体素融合，包括：

将已分配空间的体素压缩到线性存储空间中并投入到图形处理器中进行体素融合。

进一步地，在本发明的一个实施例中，体素融合公式为：

w_k+1＝maX(maxWeight，w_k+1)

其中，TSDF为截断符号距离函数，TSDF_k,TSDF_k+1分别是融合前后的TSDF值，PSDF是实时帧下的符号截断距离函数值，PSDF根据所述非刚性变换参数求得，w_k,w_k+1分别是融合前后的权重，maxWeight是权重的最大上限。

进一步地，在本发明的一个实施例中，所述人体参数化模型的顶点位置由人体骨架驱动，计算公式为：

其中，为对所述人体参数化模型的顶点v_i有驱动作用的骨骼的集合；α_i,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为运动会变形矩阵的旋转部分。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于哈希表的高分辨率人体实时动态重建方法流程图；

图2为根据本发明一个实施例的基于哈希表的高分辨率人体实时动态重建装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于哈希表的高分辨率人体实时动态重建方法及装置。

首先将参照附图描述根据本发明实施例提出的基于哈希表的高分辨率人体实时动态重建方法。

图1为根据本发明一个实施例的基于哈希表的高分辨率人体实时动态重建方法流程图。

如图1所示，该基于哈希表的高分辨率人体实时动态重建方法包括以下步骤：

在步骤S101中，通过单个深度相机采集单个人体的多张深度图像。

具体地，使用深度相机对单个动态人体进行拍摄，获得连续的深度图像序列。

在步骤S102中，通过相机内参将每张深度图像投影到三维空间得到三维点云，求解三维点云与重建模型顶点及内嵌的人体参数化模型之间的对应点。

具体地，通过上一步骤获得多张深度图像，通过相机内参将没张投影回三维空间生成一组三维点云，找三维点云与重建模型顶点及内嵌的人体参数化模型之间的对应点。

在步骤S103中，根据对应点建立能量函数，对能量函数进行最优化求解得到人体参数化模型的姿势，并基于人体参数化模型的姿势得到重建模型的每个顶点的非刚性变换参数。

进一步地，人体参数化模型的驱动方式，即模型顶点位置由人体骨架驱动，计算公式为：

其中，为对顶点v_i有驱动作用的骨骼的集合；α_i,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分

具体地，根据对应点建立能量函数，通过对能量函数进行最优化求解得到人体参数化模型的姿势，再根据人体参数化模型的姿势确定出重建模型每个顶点的非刚性变换参数。

进一步地，能量函数为：

E＝E_data+λ_bindE_bind+λ_regE_reg

其中，为数据项，保证了经过非刚性运动后重建模型能够与从深度图获得的三维点云尽可能对齐，v_c和分别表示经过非刚性运动后的重建模型顶点坐标及其法向，,u为与之对应的对应点坐标，P为对应点对集合。

其中，保证了人体参数化模型姿势与求解出的非刚性运动的一致性，和T(x_i)x_i分别代表受人体参数化模型变形驱动后的模型顶点坐标以及非刚性运动驱动后的重建模型顶点坐标。

为正则项，其中是结点i的相邻结点，保证了相邻结点之间的非刚性形变的一致性，保证了非刚性变形在空间上尽可能光滑连续。λ_bind,λ_reg分别为各项权重系数。

在步骤S104中，对重建模型进行非刚性变换，使重建模型变换到实时帧下，以使重建模型为新增体素在哈希表内分配显存空间，根据非刚性变换参数对哈希表中的所有体素进行体素融合，得到人体重建模型以对人体动态重建。

具体地，在对重建模型进行非刚性变换后，将承诺构建模型变换到实时帧下，使重建模型可以为新增加的体素在哈希表内分配空间。

进一步地，首先为新加入的体素分配显存空间，随后，将已分配空间的体素压缩到一个线性存储空间中；将这些有效的体素投入到GPU(图形处理器)中，快速平行地进行体素融合。

其中，体素融合公式为：

w_k+1＝maX(maxWeight，w_k+1)

其中，TSDF为截断符号距离函数，TSDF_k,TSDF_k+1分别是融合前后的TSDF值，PSDF是实时帧下的符号截断距离函数值，PSDF根据非刚性变换参数求得，w_k,w_k+1分别是融合前后的权重，maxWeight是权重的最大上限。

在其他体素融合方法中，每个体素包含截断符号距离函数(TSDF)及权重(weight)，并且需要对空间均匀划分，开辟出一个立方体样式的体素集合。而在基于哈希表的高分辨率人体实时动态重建方法中，使用哈希表来存储体素集合，从而只需为邻近人体表面的体素开辟空间。

首先，将相邻的8×8×8的体素定义为一个体素块，每个体素块的坐标为：

X＝[x/81

Y＝[y/8]

Z＝[z/81

其中，(X,Y,Z)是体素块的坐标，(x,y,z)是该体素块中任意体素的三维离散坐标，[·]表示向下取整。

然后，通过哈希映射函数计算每个体素块的散列值，通过该散列值即可得到体素块的索引。散列函数为

其中，p₁,p₂,p₃为三个大质数，表示位异或，n为哈希表长度。

为了解决哈希冲突，可以对每个散列值保留多个存储空间，若发生哈希冲突，则在这些存储空间中进行线性查找。由于哈希映射函数的有效性，哈希冲突的频率很小，因此，基于哈希表的访问机制是非常快速的。

根据本发明实施例提出的基于哈希表的高分辨率人体实时动态重建方法，通过利用深度相机对人体进行拍摄以采集深度图像，并基于该深度图像完成对人体的实时动态三维重建功能。该方法所需的输入信息非常容易采集，并且可以实时地获得人体动态三维模型。该方法求解准确鲁棒，简单易行，具有实时性，适应于高分辨率需求，拥有广阔的应用前景，可以在PC机或工作站等硬件***上快速实现。

其次参照附图描述根据本发明实施例提出的基于哈希表的高分辨率人体实时动态重建装置。

图2为根据本发明一个实施例的基于哈希表的高分辨率人体实时动态重建装置结构示意图。

如图2所示，该基于哈希表的高分辨率人体实时动态重建装置包括：采集模块100、第一处理模块200、第二处理模块300和重建模块400。

采集模块100通过单个深度相机采集单个人体的多张深度图像。

第一处理模块200通过相机内参将每张深度图像投影到三维空间得到三维点云，求解三维点云与重建模型顶点及内嵌的人体参数化模型之间的对应点。

第二处理模块300根据对应点建立能量函数，对能量函数进行最优化求解得到人体参数化模型的姿势，并基于人体参数化模型的姿势得到重建模型的每个顶点的非刚性变换参数。

重建模块400对重建模型进行非刚性变换，使重建模型变换到实时帧下，以使重建模型为新增体素在哈希表内分配显存空间，根据非刚性变换参数对哈希表中的所有体素进行体素融合，得到人体重建模型以对人体动态重建。

进一步地，在本发明的一个实施例中，能量函数为：

E＝E_data+λ_bindE_bind+λ_regE_reg

其中，为数据项，v_c和分别表示经过非刚性运动后的重建模型顶点坐标及其法向，,u为与之对应的对应点坐标，P为对应点对集合；

和T(x_i)x_i分别代表受人体参数化模型变形驱动后的模型顶点坐标以及非刚性运动驱动后的重建模型顶点坐标；

为正则项，其中是结点i的相邻结点，λ_bind,λ_reg分别为各项权重系数。

进一步地，在本发明的一个实施例中，根据非刚性变换参数对哈希表中的所有体素进行体素融合，包括：

将已分配空间的体素压缩到线性存储空间中并投入到图形处理器中进行体素融合。

进一步地，在本发明的一个实施例中，体素融合公式为：

w_k+1＝maX(maxWeight，w_k+1)

其中，TSDF为截断符号距离函数，TSDF_k，TSDF_k+1分别是融合前后的TSDF值，PSDF是实时帧下的符号截断距离函数值，PSDF根据非刚性变换参数求得，w_k，w_k+1分别是融合前后的权重，maxWeight是权重的最大上限。

进一步地，在本发明的一个实施例中，人体参数化模型的顶点位置由人体骨架驱动，计算公式为：

其中，为对人体参数化模型的顶点v_i有驱动作用的骨骼的集合；α_i，j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为运动变形矩阵的旋转部分。

需要说明的是，前述对基于哈希表的高分辨率人体实时动态重建方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

根据本发明实施例提出的基于哈希表的高分辨率人体实时动态重建装置过，通过利用深度相机对人体进行拍摄以采集深度图像，并基于该深度图像完成对人体的实时动态三维重建功能。该方法所需的输入信息非常容易采集，并且可以实时地获得人体动态三维模型。该方法求解准确鲁棒，简单易行，具有实时性，适应于高分辨率需求，拥有广阔的应用前景，可以在PC机或工作站等硬件***上快速实现。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于哈希表的高分辨率人体实时动态重建方法，其特征在于，包括以下步骤：

通过单个深度相机采集单个人体的多张深度图像；

通过相机内参将每张深度图像投影到三维空间得到三维点云，求解所述三维点云与重建模型顶点及内嵌的人体参数化模型之间的对应点；

根据所述对应点建立能量函数，对所述能量函数进行最优化求解得到所述人体参数化模型的姿势，并基于所述人体参数化模型的姿势得到所述重建模型的每个顶点的非刚性变换参数；

对所述重建模型进行非刚性变换，使所述重建模型变换到实时帧下，以使所述重建模型为新增体素在哈希表内分配显存空间，根据所述非刚性变换参数对所述哈希表中的所有体素进行体素融合，得到人体重建模型以对人体动态重建。

2.根据权利要求1所述的方法，其特征在于，所述能量函数为：

E＝E_data+λ_bindE_bind+λ_regE_reg

其中，为数据项，v_c和分别表示经过非刚性运动后的重建模型顶点坐标及其法向，，u为与之对应的对应点坐标，P为对应点对集合；

和T(x_i)x_i分别代表受人体参数化模型变形驱动后的模型顶点坐标以及非刚性运动驱动后的重建模型顶点坐标；

为正则项，其中是结点i的相邻结点，λ_bind，λ_reg分别为各项权重系数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述非刚性变换参数对所述哈希表中的所有体素进行体素融合，包括：

将已分配空间的体素压缩到线性存储空间中并投入到图形处理器中进行体素融合。

4.根据权利要求3所述的方法，其特征在于，体素融合公式为：

w_k+1＝max(maxWeight，w_k+1)

其中，TSDF为截断符号距离函数，TSDF_k，TSDF_k+1分别是融合前后的TSDF值，PSDF是实时帧下的符号截断距离函数值，PSDF根据所述非刚性变换参数求得，w_k，w_k+1分别是融合前后的权重，maxWeight是权重的最大上限。

5.根据权利要求1所述的方法，其特征在于，所述人体参数化模型的顶点位置由人体骨架驱动，计算公式为：

其中，为对所述人体参数化模型的顶点v_i有驱动作用的骨骼的集合；α_i，j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为运动变形矩阵的旋转部分。

6.一种基于哈希表的高分辨率人体实时动态重建装置，其特征在于，包括：

采集模块，用于通过单个深度相机采集单个人体的多张深度图像；

第一处理模块，用于通过相机内参将每张深度图像投影到三维空间得到三维点云，求解所述三维点云与重建模型顶点及内嵌的人体参数化模型之间的对应点；

第二处理模块，用于根据所述对应点建立能量函数，对所述能量函数进行最优化求解得到所述人体参数化模型的姿势，并基于所述人体参数化模型的姿势得到所述重建模型的每个顶点的非刚性变换参数；

重建模块，用于对所述重建模型进行非刚性变换，使所述重建模型变换到实时帧下，以使所述重建模型为新增体素在哈希表内分配显存空间，根据所述非刚性变换参数对所述哈希表中的所有体素进行体素融合，得到人体重建模型以对人体动态重建。

7.根据权利要求6所述的装置，其特征在于，所述能量函数为：

E＝E_data+λ_bindE_bind+λ_regE_reg

其中，为数据项，v_c和分别表示经过非刚性运动后的重建模型顶点坐标及其法向，，u为与之对应的对应点坐标，P为对应点对集合；

和T(x_i)x_i分别代表受人体参数化模型变形驱动后的模型顶点坐标以及非刚性运动驱动后的重建模型顶点坐标；

为正则项，其中是结点i的相邻结点，λ_bind，λ_reg分别为各项权重系数。

8.根据权利要求6所述的装置，其特征在于，所述根据所述非刚性变换参数对所述哈希表中的所有体素进行体素融合，包括：

将已分配空间的体素压缩到线性存储空间中并投入到图形处理器中进行体素融合。

9.根据权利要求8所述的装置，其特征在于，体素融合公式为：

w_k+1＝max(maxWeight，w_k+1)

其中，TSDF为截断符号距离函数，TSDF_k，TSDF_k+1分别是融合前后的TSDF值，PSDF是实时帧下的符号截断距离函数值，PSDF根据所述非刚性变换参数求得，w_k，w_k+1分别是融合前后的权重，maxWeight是权重的最大上限。

10.根据权利要求6所述的装置，其特征在于，所述人体参数化模型的顶点位置由人体骨架驱动，计算公式为：

其中，为对所述人体参数化模型的顶点v_i有驱动作用的骨骼的集合；α_i，j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为运动变形矩阵的旋转部分。