CN111583408B - 基于手绘草图的人体三维建模*** - Google Patents

Abstract

本发明公开了一种基于手绘草图的人体三维建模***，包括：输入草图模块，用于获取用户输入的草图图像；基于形变的人体模型生成模块，用于通过神经网络从草图图像图像中提取形态特征，并基于目标形态特征对人体标准模板模型进行形变，获得形变后的人体三维模型；参数化模型优化模块，用于根据形变后的人体三维模型与人体标准模板模型，预测人体姿态参数与人体形状参数，从而对形变后的人体三维模型进行优化。该***可以通过户编辑或者手绘的简单线条得到对应姿态的高质量人体三维模型，不需要高精度、复杂的草图输入，可广泛应用于各类人体建模软件。

Description

基于手绘草图的人体三维建模***

技术领域

本发明涉及计算机图形学和计算机辅助设计领域，尤其涉及一种基于手绘草图的人体三维建模***。

背景技术

基于草图建模问题，是从平面草图出发构建与之对应的三维模型的问题。在深度学习兴起之前，传统的方法普遍使用草图线条的边缘特征来预测三维模型的形状，例如，文献{Lipson,H.and Shpitalni,M.,“Optimization-based reconstruction of a 3Dobject from a single freehand line drawing,”in Computer-Aided Design,1996.Zeleznik,P.C.,Herndon,K.P.,and Hughes,J.F.,“Sketch:An interface forsketching 3D scenes,”in Proceedings of SIGGRAPH,1996.}。

传统的方法只适用于规则物体，需要精确地绘制线条图，无法表示三维表面的细节。深度学习兴起之后，研究者通过卷积神经网络进行草图三维建模。例如，文献{Johanna,D.,Mathieu,A.,Phillip,I.,Efros,A.,and Adrien,B.,“3D sketching using multi-view deep volumetric prediction,”in Proceedings of the ACM onComputerGraphics and Interactive Techniques,2018.}采用三维卷积网络生成体素模型，但由于草图本身能提供的几何细节较少，同时因为使用三维卷积大大受限于计算机的存储和技术能力，故生成三维模型的分辨率较低。

此外，文献{Lun,Z.,Gadelha,M.,Kalogerakis,E.,Maji,S.,and Wang,R.,“3Dshape reconstruction from sketches via multi-view convolutional networks,”inInternationalConference on 3D Vision,2017.}通过深度神经网络从多个视角的草图生成各视角下的深度图和法向，再通过融合多视角的点云生成三维模型，但是草图中缺乏几何纹理信息，网络合成的深度图精度一般，最终模型会缺少表面细节。

可见，目前基于深度学习的草图建模方法得到的模型缺乏三维表面细节，缺乏真实感，无法满足很多实际应用的需求。

发明内容

本发明的目的是提供一种基于手绘草图的人体三维建模***，能够通过手绘草图来构建高质量的人体三维模型，不需要高精度、复杂的草图输入，即可广泛应用于各类人体建模软件。

本发明的目的是通过以下技术方案实现的：

一种基于手绘草图的人体三维建模***，包括：

输入草图模块，用于获取用户输入的草图图像；

基于形变的人体模型生成模块，用于通过神经网络从草图图像图像中提取形态特征，并基于形态特征对人体标准模板模型进行形变，获得形变后的人体三维模型；

参数化模型优化模块，用于根据形变后的人体三维模型与人体标准模板模型，预测人体姿态参数与人体形状参数，从而对形变后的人体三维模型进行优化。

由上述本发明提供的技术方案可以看出，通过有效提取输入手绘草图中的人体姿态信息，与人体模板模型的几何特征相融合，指导模板模型上的顶点形变到目标形态，再用模型优化模块使人体模型细节更加真实，最终可以得到一个与输入草图所描述人体姿态形状一致的高质量人体三维模型。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于手绘草图的人体三维建模***的示意图；

图2为本发明实施例提供的交互输入和编辑界面示意图；

图3为本发明实施例提供的基于形变的人体模型生成模块流程图；

图4为本发明实施例提供的基于形变的人体模型生成模块中多级形变解码器构成图；

图5为本发明实施例提供的参数化人体模型优化流程图；

图6为本发明实施例提供的本发明与其他相关方法可视化对比图；

图7为本发明实施例提供的应用于基于手绘草图进行人体模型编辑的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种基于手绘草图的人体三维建模***，如图1所示，其主要包括：

输入草图模块，用于获取用户输入的草图图像；

基于形变的人体模型生成模块，用于通过神经网络从草图图像图像中提取形态特征，并基于形态特征对人体标准模板模型进行形变，获得形变后的人体三维模型；

参数化模型优化模块，用于根据形变后的人体三维模型与人体标准模板模型，预测人体姿态参数与人体形状参数，从而对形变后的人体三维模型进行优化，可以使人体模型的局部细节更加合理和真实，同时适用于其他商业软件。

优选的，为了支持用户通过手绘线条对人体三维模型的局部编辑，***中还设置基于草图的模型编辑模块，用于支持用户交互地、迭代地修改草图图像的局部细节，从而实现对人体三维模型的局部编辑。

为了便于理解，下面结合附图对***中的各个模块做详细的介绍。

一、输入草图模块。

本发明实施例中，输入草图模块支持两种形式的草图输入。

1)用户直接导入的二维草图图像数据。

对于用户直接导入的二维草图图像数据，进行二值化后去除孤立点，获得白底黑线的草图图像，再检测黑色线条的外接圆，将圆心平移到画布中心，再按照设定的比例进行图像缩放，示例性的，可以按照系数k＝240/外接圆半径的比例缩放。

2)用户通过鼠标或者手写板绘制的黑色线条所构成的草图图像。

本发明实施例中，用户也可以通过鼠标或者手写板在画布上绘制黑色线条，以构成草图图像，画布可以是一个512宽512的正方形区域；为了让用户在手绘时更好的掌握人体草图的比例和结构，本发明在输入草图的画布上半透明显示一个人体轮廓平均图作为参考，如图2所示。

二、基于形变的人体模型生成模块。

输入草图中包含了用户所希望的人体模型的高矮胖瘦、姿态、动作等形态信息，为得到与输入草图形态对应的人体三维模型，本发明通过一个深度神经网络来提取草图表达的人体形态信息对一个标准人体模板模型进行相应形变来获得人体三维模型。基于形变的人体模型生成模块由四个部分组成，包括人体标准模板模型、草图特征提取网络、人体模型特征提取网络和多级形变解码器。具体来说：

为了重建高质量三维模型，本发明采用一个人体标准模板模型用作初始化，这样形变后的模型也能继承初始模型的几何细节。本发明采用SMPL参数化人体模型作为初始化，一般来说，SMPL参数化人体模型包含82个参数，其中人体形状参数β代表是个人体高矮胖瘦、头身比等比例的10个参数，人体姿态参数θ是代表人体整体运动位姿和23个关节相对角度的72个参数。在本发明中，将人体姿态参数θ中72个参数均设为0就可以得到人体标模板模型作为起始模型。

通常来说人体标模板模型与用户输入草图描绘的目标形状有较大差距。为获得期望的人体三维模型，本发明中基于形变的人体模型生成模块通过提取草图特征预测人体模型所有顶点的位移，这样可以在形变过程中保持网格的三角形拓扑结构。将人体标准模板模型定义为S＝(V,E),其中V是所有顶点的集合(例如，包含6890个顶点，每个顶点由其三维坐标表示)，E表为边的集合；草图图像表示为I；将人体标准模板模型S与草图图像I作为基于形变的人体模型生成模块的输入，输出形变后的人体三维模型T＝(V′,E)，其中顶点集合V′＝D(V,I),D代表形变过程。

如图3所示，为得到用户期望的人体形态信息，本发明采用一个深度卷积神经网络作为草图特征提取网络，从草图图像中提取K维的形态特征；示例性的，深度卷积神经网络可以采用图像卷积网络VGG-16实现，可参见文献{Simonyan,K.and Zisserman,A.,“Verydeepconvolutional networks for large-scale imagerecognition,”2014.}。示例性的，提取的人体形态特征为1024维的特征向量，使用该向量来指导对模板模型的形变。

为了得到人体标模板模型的三维几何特征，采用点云特征提取网络，用于从人体标准模板模型的顶点集合V中提取K维的点云特征，用来表示人体标准模板模型的三维集合特征。示例性的，点云特征提取网络可以通过PointNet网络实现，可参见文献PointNet{Qi,C.R.,Su,H.,Mo,K.,and Guibas,L.J.,“PointNet:Deep learning on point sets for 3Dclassification andsegmentation,”CVPR-2017}；示例性的，点云特征也为1024维的特征向量。

之后，将形态特征与点云特征作为全局特征，维度为2K(例如，2048)。对于人体标准模板模型中每一个顶点，将其初始坐标v与全局特征串联起来，再通过多级形变解码器来预测相应顶点的目标位置，最终得到形变后的人体三维模型。

图4示例性地给出了多级形变解码器的工作流程，如图4所示多级形变解码器包含三个隐藏层的多层感知机(结点数分别为1024、512、3)。对于一个顶点，其初始坐标v＝(x₀,y₀,z₀)，初始坐标作为局部信息，和全局特征串联起来，则得到一个2048+3＝2051维的特征，以顶点的2051维特征作为输入，通过第一与第二个多层感知机MLP预测相应的位置坐标（x₁,y₁,z₁)、(x₂,y₂,z₂)，最终通过第三个多层感知机MLP预测得到相应顶点的目标位置(x′,y′,z′)。

三、参数化模型优化模块。

上述基于形变的人体模型生成模块是独立地预测每个顶点的新的位置，这种非参数化的模型形变能够得到基本符合草图描述的人体形态，但是部分模型在局部细节上仍然不够真实，且无法满足很多其他应用(如人体运动预测)中需要的参数化表达。针对这一问题，本发明采用基于SMPL的参数化方法对形变后的人体模型进行优化。

如图5所示，对于人体三维模型与人体标准模板模型分别进行下采样，获得两组下采样后的顶点坐标；示例性的，可以采用四倍下采样，对于N＝6890个顶点，则下采样得到1723个顶点。

将两组下采样后的顶点坐标(为1723×2×3维)通过一个多层感知机，来预测人体姿态参数与人体形状参数。示例性的，可以通过一个包含4个隐藏层的多层感知机(1个节点数为1024的全连接层，2个节点数为(1024,1024)的残差结构，1个节点数为226的全连接层)得到SMPL模型参数(即人体姿态参数θ与人体形状参数β)。

为了便于网络收敛，把人体姿态参数θ用24个旋转矩阵表示(24×9＝216维)来代替各部分的3个旋转角。人体形状参数β用10个主成分分析系数来表示，总共输出226维。将预测出的旋转矩阵和形状参数用于SMPL参数化模型生成，最终得到各部分形状更加真实自然的参数化人体模型。

四、基于草图的模型编辑模块。

本发明实施例中，设计了一种基于草图的模型编辑模块，能够提供交互编辑界面，且包含橡皮擦工具与画笔工具，在输入窗口上，通过橡皮擦工具与画笔工具能够擦除与重新绘制黑色线条，得到编辑后的草图图像。

编辑后的草图图像再通过基于形变的人体模型生成模块与参数化模型优化模块获得相应的人体三维模型。在输出窗口，除了直接展示人体三维模型，本发明还提供一种可视化方法，即在输出窗口中通过颜色深浅来表示草图图像编辑前后人体三维模型的差异。

另一方面，本发明实施例中基于形变的人体模型生成模块与参数化模型优化模块均采用深度神经网络来实现特征提取和模型预测，这些神经网络中各层多个神经元的参数是需要从大量数据中学习训练获得。

为训练本发明中用于从草图生成人体模型的各模块子网络，预先构造的成对的草图-人体模型数据集，其中的人体三维模型来自于传统数据集AMASS({Mahmood,N.,Ghorbani,N.,Troje,N.F.,Pons-Moll,G.,and Black,M.J.,“AMASS:Archive of motioncapture as surface shapes,”in Proceedings ofInternational Conference onComputer Vision,2019})，通过对所述人体三维模型进行渲染得到对应的草图图像，为适应手绘草图的粗糙性，对草图图像按照设定的范围进行随机旋转、平移与缩放。

再将成对的草图-人体模型数据集划分为训练数据集与测试数据集。

示例性的，人体三维模型的数目可以为10000，旋转范围在[-10°，10°]，水平方向平移范围均为[-15，15]，竖直方向平移范围为[-10，10]，缩放范围为[0.95，1.05]；相应人体三维模型不进行变换；数据划分时，可以将80％的数据划分为训练数据集，20％的数据划分为测试数据集。

基于训练数据集，为训练神经网络使得预测出的模型接近真实模型，本发明将基于形变的人体模型生成模块和参数化模型优化模块分别训练。

1)首先，对基于形变的人体模型生成模块进行训练时，采用三维人体模型逐顶点的L₁损失函数，表示为：

其中，x_i表示多级形变解码器预测的第i个顶点的目标坐标，y_i表示训练数据集中相应模型的第i个顶点的真实坐标，N表示顶点总数。这得益于用于训练的数据集中人体模型的全部网格顶点是一一对应的。

示例性的，草图特征提取网络VGG16采用随机初始化，点云特征提取网络和多级形变解码器的神经元权重采用均匀分布的随机初始化，偏置初始化为0。使用Adam的优化器，学习率为1e-4，β₁＝0.9，β₂＝0.999，ε＝1e-08，最大迭代次数为200次。

2)对参数化模型优化模块进行训练时，采用三维人体模型逐顶点的L₁损失函数以及SMPL参数的L₂损失函数用作监督，损失函数表示为：

L_all＝L_vertex+λL_β+L_θ

其中，L_vertex表示三维人体模型逐顶点的L₁损失函数，也即训练基于形变的人体模型生成模块的损失函数，λ为设定系数(例如，可以设置λ＝0.1)，SMPL参数包含人体姿态参数θ与人体形状参数β，L_θ与L_β分别为预测到的人体姿态参数θ与人体形状参数β与训练数据集中真实的人体姿态参数θ与人体形状参数β之间的差异，本发明选用L₂距离。

示例性的，训练参数化模型优化模块时，采用随机初始化，使用Adam的优化器，学习率为1e-4，β₁＝0.9，β₂＝0.999，ε＝1e-08，最大迭代次数为200次。

为了说明本发明实施例所提供上述***的效果，进行了如下实验：

本发明可以从手绘草图获得人体的三维模型，从可视化效果上好于已有方法，如图6所示，其中(a)部分为一个输入草图示例，(b)为部分CMR{Kolotouros,N.,Pavlakos,G.,and Daniilidis,K.,“Convolutional mesh regression for single-imagehuman shapereconstruction,”in Procee-dings ofInternational Conference on Computer VisionandPattern Recognition,2019.}变形结果，(c)部分为CMR参数化结果，(d)部分为3DN{Wang,W.,Ceylan,D.,Mech,R.,and Neumann,U.,“3DN:3D deformation network,”inProceedings ofInternational Conference on Computer Vision andPatternRecognition,2019.}的结果，(e)部分为本发明的变形结果(即基于形变的人体模型生成模块的输出结果)，(f)部分为本发明参数化结果(即参数化模型优化模块的输出结果)，(g)部分为真实的模型作为对比。

从变形的结果看，具体表现在手臂，腿部和头部细节更接近真实的人体，CMR的变形方法会使人体过于光滑，导致丢失细节，局部不太自然；而3DN的方法头部变扁，手臂腿部不太自然，而本发明能有效提升模型质量，且从在误差上看，手部、腿部和头部误差较小。由于变形的手臂腿部质量较好，本发明在SMPL回归环节(即参数化模型优化环节)中，腿部和手臂能够回归到更接近真实模型的位置，而CMR由于局部细节较差，用SMPL回归后的结果不太准确。

图7展示了使用本发明完成的基于草图的人体模型编辑。通过本发明的交互编辑界面，用户可以先绘制一幅草图，观察基于本发明的人体模型生成***获得的三维模型结果。接着可以编辑其中的某一个部位以获取所需要的人体姿态模型。图7中，(a)部分为初始输入草图，(b)部分为生成的三维人体模型，(c)、(e)、(g)部分分别展示了对该草图进行的三个局部编辑，(d)、(f)、(h)部分展示了编辑后本发明得到的人体三维模型，编辑部位由红色方框标出。用户分别对每个草图示例进行手臂，腿部多样化的局部改动，而随着这些改动，采用本发明在数据集上训练后的网络进行测试，所生成的人体模型也能随之做相应的姿态变形。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将***的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于手绘草图的人体三维建模***，其特征在于，包括：

输入草图模块，用于获取用户输入的草图图像；

基于形变的人体模型生成模块，用于通过神经网络从草图图像图像中提取形态特征，并基于形态特征对人体标准模板模型进行形变，获得形变后的人体三维模型；

参数化模型优化模块，用于根据形变后的人体三维模型与人体标准模板模型，预测人体姿态参数与人体形状参数，从而对形变后的人体三维模型进行优化；

其中，人体标准模板模型定义为S＝(V,E),其中V是所有顶点的集合，E表为边的集合；草图图像表示为I；将人体标准模板模型S与草图图像I作为基于形变的人体模型生成模块的输入，输出形变后的人体三维模型T＝(V′,E)，其中顶点集合V′＝D(V,I),D代表形变过程；所述人体标准模板模型为SMPL参数化人体模型，其包含由人体整体运动位姿和关节相对角度构成的人体姿态参数θ，以及表示人体高矮胖瘦与头身比例的人体形状参数β，人体标准模板模型中人体姿态参数θ均为0；

所述基于形变的人体模型生成模块包括：草图特征提取网络、点云特征提取网络、以及多级形变解码器；其中：草图特征提取网络，用于从草图图像图像中提取K维的形态特征；点云特征提取网络，用于从人体标准模板模型中提取K维的点云特征，用来表示人体标准模板模型的三维几何特征；将形态特征与点云特征作为全局特征，维度为2K；对于人体标准模板模型中每一个顶点，将其初始坐标v与全局特征串联起来，再通过多级形变解码器来预测相应顶点的目标位置，最终得到形变后的人体三维模型；

所述根据形变后的人体三维模型与人体标准模板模型，预测人体姿态参数与人体形状参数包括：对于人体三维模型与人体标准模板模型分别进行下采样，获得两组下采样后的顶点坐标；将两组下采样后的顶点坐标通过一个多层感知机，来预测人体姿态参数与人体形状参数；

对基于形变的人体模型生成模块进行训练时，采用三维人体模型逐顶点的L₁损失函数，表示为：

其中，x_i表示多级形变解码器预测的第i个顶点的目标坐标，y_i表示训练数据集中相应模型的第i个顶点的真实坐标，N表示顶点总数；

对参数化模型优化模块进行训练时，采用三维人体模型逐顶点的L₁损失函数以及SMPL参数的L₂损失函数用作监督，损失函数表示为：

L_all＝L_vertex+λL_β+L_θ

其中，L_vertex表示三维人体模型逐顶点的L₁损失函数，也即训练基于形变的人体模型生成模块的损失函数，λ为设定系数，SMPL参数包含人体姿态参数θ与人体形状参数β，L_θ与L_β分别为预测到的人体姿态参数θ与人体形状参数β与训练数据集中真实的人体姿态参数θ与人体形状参数β之间的差异。

2.根据权利要求1所述的一种基于手绘草图的人体三维建模***，其特征在于，所述获取用户输入的草图图像包括：

获取用户直接导入的二维草图图像数据；

或者，获取用户通过鼠标或者手写板绘制的黑色线条所构成的草图图像。

3.根据权利要求2所述的一种基于手绘草图的人体三维建模***，其特征在于，

如果用户直接导入的二维草图图像数据，则进行二值化后去除孤立点，获得白底黑线的草图图像，再检测黑色线条的外接圆，将圆心平移到画布中心，再按照设定的比例进行图像缩放；

如果用户通过鼠标或者手写板在画布上绘制黑色线条，则在画布上半透明显示一个人体轮廓平均图作为参考。

4.根据权利要求2或3所述的一种基于手绘草图的人体三维建模***，其特征在于，该***还包括：基于草图的模型编辑模块，其包含橡皮擦工具与画笔工具，用于擦除与重新绘制黑色线条，得到编辑后的草图图像；

编辑后的草图图像再通过基于形变的人体模型生成模块与参数化模型优化模块获得相应的人体三维模型；在输出窗口中通过颜色深浅来表示草图图像编辑前后人体三维模型的差异。

5.根据权利要求1所述的一种基于手绘草图的人体三维建模***，其特征在于，

预先构造的成对的草图-人体模型数据集，其中的人体三维模型来自于传统数据集AMASS，通过对所述人体三维模型进行渲染得到对应的草图图像，并对草图图像按照设定的范围进行随机旋转、平移与缩放；

再将成对的草图-人体模型数据集划分为训练数据集与测试数据集。

Images