CN113989441A - 基于单张人脸图像的三维漫画模型自动生成方法及*** - Google Patents
基于单张人脸图像的三维漫画模型自动生成方法及*** Download PDFInfo
- Publication number
- CN113989441A CN113989441A CN202111355290.8A CN202111355290A CN113989441A CN 113989441 A CN113989441 A CN 113989441A CN 202111355290 A CN202111355290 A CN 202111355290A CN 113989441 A CN113989441 A CN 113989441A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- cartoon model
- dimensional cartoon
- texture
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000001815 facial effect Effects 0.000 claims abstract description 61
- 239000013598 vector Substances 0.000 claims abstract description 58
- 238000009877 rendering Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 21
- 230000036544 posture Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于单张人脸图像的三维漫画模型自动生成方法及***，其方法包括：S1：基于同一身份的人脸图像构建对应的漫画图像和含纹理的三维漫画模型，形成漫画数据集；S2：将含纹理的三维漫画模型输入基于图卷积自编码器，获得三维漫画模型的几何和纹理表示；S3：将人脸图像输入ResNet网络，得到面部姿态向量和三维漫画模型的几何和纹理表示的向量；S4：将三维漫画模型的几何和纹理表示的向量利用解码器得到生成的三维漫画模型，利用面部姿态向量将生成的三维漫画模型转换到与人脸图像相同的面部姿态，并使用可微分渲染器对生成的三维漫画模型进行渲染。本发明提供的方法，可以高效快速的生成具有夸张几何和丰富纹理风格的三维漫画模型。
Description
技术领域
本发明涉及计算机图形学和图像处理领域，具体涉及一种基于单张人脸图像的三维漫画模型自动生成方法及***。
背景技术
漫画是一种通过夸张、简化和抽象来表现人的最鲜明特征的渲染图像。它们还用于表达对政治和社会问题的讽刺和幽默。艺术家绘制的漫画是2D图像。尽管已被广泛使用，但它们对于许多应用程序是不够的，例如动画，虚拟现实和3D打印，而3D信息是必不可少的。3D漫画适合这些应用，但是它们只能由具有3D建模技术的艺术家创建，并且制作起来又繁琐又耗时，因此，自动生成3D夸张风格人脸是一项有意义且欠缺的研究方向。从二维漫画或普通照片中生成三维漫画与人脸重建类似，但解决从人脸图片到三维漫画自动生成的工作很少。
发明内容
为了解决上述技术问题，本发明提供一种基于单张人脸图像的三维漫画模型自动生成方法及***。
本发明技术解决方案为：一种基于单张人脸图像的三维漫画模型自动生成方法，包括：
步骤S1：基于同一身份的人脸图像构建对应的漫画图像和含纹理的三维漫画模型，形成漫画数据集，所述人脸图像和漫画图像具有相同的面部姿态；
步骤S2：将所述含纹理的三维漫画模型输入基于图卷积自编码器，所述自编码器包含具有网格卷积操作和网格采样操作的编码器和解码器，利用所述图卷积自编码器对所述含纹理的三维漫画模型进行编码，获得三维漫画模型的几何和纹理表示；
步骤S3：将所述人脸图像输入ResNet网络，得到面部姿态向量和三维漫画模型的几何和纹理表示的向量；
步骤S4：将所述三维漫画模型的几何和纹理表示的向量利用所述解码器进行解码，得到生成的三维漫画模型，利用所述面部姿态向量将所述生成的三维漫画模型转换到与所述人脸图像相同的面部姿态，并使用可微分渲染器对所述生成的三维漫画模型进行渲染；同时，构建像素损失函数和面部特征点损失函数以约束端到端的网络训练。
本发明与现有技术相比，具有以下优点：
1、本发明公开了一种基于单张人脸图像的三维漫画模型自动生成方法，通过构造基于图卷积自编码器的三维漫画模型表示具有很好的外插能力，可以生成夸张的几何和风格化的纹理，解决了现有的线性开源人脸模型的外插能力不足，基于PCA的参数化三维人脸模型不能生成夸张的面部的问题。
2、本发明公开的方法可以直接从单张人脸图像学习生成具有个性特征的三维漫画模型，相对于现有技术的多步骤的方法，对人脸图像风格化得到漫画图像，再进行三维重建得到三维漫画，本发明可以高效快速的生成具有夸张几何和丰富纹理风格的三维漫画模型。
3、本发明公开的方法通过引入可微分渲染器，使得神经网络能够进行端到端的训练，解决了传统的物理渲染的不可导性问题。
附图说明
图1为本发明实施例中一种基于单张人脸图像的三维漫画模型自动生成方法的流程图；
图2为本发明实施例中漫画数据集构造过程示意图；
图3为本发明实施例中获取包含纹理的三维漫画的过程示意图；
图4为本发明实施例中构造基于图卷积自编码器的三维漫画模型表示流程图；
图5为本发明实施例中基于可渲染的端到端的三维漫画模型生成流程示意图；
图6为本发明实施例中一种基于单张人脸图像的三维漫画模型自动生成***的结构框图。
具体实施方式
本发明提供了一种基于单张人脸图像的三维漫画模型自动生成方法，可以高效快速的生成具有夸张几何和丰富纹理风格的三维漫画模型。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于单张人脸图像的三维漫画模型自动生成方法，包括下述步骤：
步骤S1：基于同一身份的人脸图像构建对应的漫画图像和含纹理的三维漫画模型，形成漫画数据集，人脸图像和漫画图像具有相同的面部姿态；
步骤S2：将含纹理的三维漫画模型输入基于图卷积自编码器，自编码器包含具有网格卷积操作和网格采样操作的编码器和解码器，利用图卷积自编码器对含纹理的三维漫画模型进行编码，获得三维漫画模型的几何和纹理表示；
步骤S3：将人脸图像输入ResNet网络，得到面部姿态向量和三维漫画模型的几何和纹理表示的向量；
步骤S4：将三维漫画模型的几何和纹理表示的向量利用解码器进行解码，得到生成的三维漫画模型，利用面部姿态向量将生成的三维漫画模型转换到与人脸图像相同的面部姿态，并使用可微分渲染器对生成的三维漫画模型进行渲染；同时，构建像素损失函数和面部特征点损失函数以约束端到端的网络训练。
在一个实施例中，上述步骤S1：基于同一身份的人脸图像构建对应的漫画图像和含纹理的三维漫画模型，形成漫画数据集，人脸图像和漫画图像具有相同的面部姿态，具体包括：
步骤S11：基于人脸图像集进行人脸检测，并进行裁剪，得到人脸图像；
本发明实施例中的人脸图像从开源的数据集CelebA中获取，CelebA是一个大规模人脸属性数据集，包含200k人脸，其中每张图像有40个属性注释，涵盖了大尺度的姿态变化和不同的背景。本发明实施例首先对图像进行人脸检测，得到人脸区域，最终将人脸图像裁剪为(224,224)，用于后续步骤；
步骤S12：基于同一身份的人脸图像，利用神经网络漫画自动生成方法，生成对应的漫画图像；
基于同一身份的人脸图像，生成对应的漫画图像。漫画图像是对人脸图像进行夸张和风格化得到的，使用神经网络漫画自动生成方法，从形状和纹理两个维度对人脸进行风格化处理，对人脸图像自动预测一组控制点，这些控制点可以将照片扭曲成漫画，同时保留同一身份。通过引入一种保护身份的对抗损失，以帮助鉴别者区分不同的主体。此外，通过控制夸张程度和视觉风格来定制生成的漫画。由于神经网络生成的图像可能模糊或者丧失细节，使用超级分辨率方法对漫画图像进行精细化处理。
图2展示了漫画数据集构造过程示意图。
步骤S13：基于漫画图像进行三维重建，得到三维网络，利用投影方式为每个网格顶点获取对应人脸图像的像素值作为纹理，得到含纹理的三维漫画模型。
图3展示了获取包含纹理的三维漫画的过程示意图。
三维漫画模型是对漫画图像进行三维重建得到的。使用基于FaceWareHouse构造的参数化三维漫画模型，对漫画图像重建得到三维网格，由于使用的模型只包含几何模型而没有纹理部分，因此本发明实施例在三维重建的过程中，通过投影的方式，为每个网格顶点获取对应图像上的像素值，这样就获得了一个组粗的网格颜色，由于三维重建的精度问题，网格投影到2D图像后可能会偏离面部，从而使得网格颜色获取到背景或者头发，这是不可避免的。通过人为筛选的方式，删除了偏差非常大的网格，从而得到含纹理的三维漫画模型。
在一个实施例中，上述步骤S2：含纹理的三维漫画模型输入基于图卷积自编码器，自编码器包含具有网格卷积操作和网格采样操作的编码器解码器，利用图卷积自编码器对含纹理的三维漫画模型进行编码，获得三维漫画模型的几何和纹理表示，具体包括：
步骤S21：定义含纹理的三维漫画模型的每个网格顶点的属性信息为{x,y,z,r,g,b}，其中，x,y,z为网格顶点的三维坐标，r,g,b为网格顶点对应的的RGB颜色值；
本发明实施例中的每个网格具有6144个顶点，其中的纹理是以顶点着色的方式来表示的，因此一个带有纹理的三维漫画模型的网格的顶点数据规规模为n*6，每个网格顶点包含6维的属性信息{x,y,z,r,g,b}；
步骤S22：将含纹理的三维漫画模型定义为：F＝(V，A)；其中，V为n个网格顶点的集合；A为用稀疏邻接矩阵表示的边，以表示所述网格顶点之间的连接关系，A∈{0,1}n×n根据A中元素值表示边的连接情况，当网格顶点i和网格顶点j处于连接状态时Aij＝1，否则Aij＝0；
步骤S23：对稀疏邻接矩阵A进行计算得到拉普拉斯矩阵L＝D-A，其中，L为拉普拉斯算子；D为每个网格顶点的度Dii＝∑jAij；
其中，拉普拉斯算子L为实对称矩阵，通过傅立叶基U∈Rn×n对其对角化为L＝UΛUT，其中，U的列向量是正交的，对角化后的L是具有非负实特征值的对角矩阵；
对网格顶点x进行图傅立叶变换xw＝UTx，经过逆傅立叶变换得到x＝Uxw；
由于网格具有大量顶点，矩阵U不稀疏，因此计算量很大，为解决这一问题，本发明实施例使用下述步骤中带有递归切比雪夫多项式的网格滤波器gθ；
步骤S24：将卷积运算符*在傅立叶空间中定义为哈达马积x*y＝U((UTx)Θ(UTy))；
设计由k阶切比雪夫多项式参数化的滤波器gθ，如公式(1)所示：
其中，
为缩放的拉普拉斯矩阵，
参数θ是切比雪夫的系数，它是一个向量θ∈RK；Tk是k阶切比雪夫多项式，Tk∈Rn×n，它由公式(2)计算得到：
Tk(x)＝2xTk-1(x)-Tk-2(x) (2)
初始化T0＝1,T1＝x；
将网格卷积定义为如下公式(3)：
其中，输入xi，
是具有6个特征的网格顶点，每个卷积层有Fin×Fout个切比雪夫系数向量，θi,j∈RK是需要训练的参数；输出yj，
是具有6个特征的位置重构后的网络顶点；
步骤S25：对网格进行下采样，将顶点数量众多的网格降采到一个小规模顶点的网格，将被去除的网格顶点的索引记录在矩阵Qd；其中，Qd∈{0,1}的形式记录去除和保留的顶点索引，vd是保留下来的顶点Qd(x,d＝1，vq是去除的顶点Qd(x,q＝0；
再对网格进行上采样，恢复到初始输入的网格顶点的格式；其中，根据矩阵Qd，得到相应的矩阵Qu；其中，计算与vq最近的三个顶点{vi,vj,vk}∈Vd，计算重心坐标
其中wi+wj+wk＝1，可以得到Qu(q,i＝wi，Qu(q,j＝wj，Qu(q,i)＝wk，通过矩阵Qu来恢复去除的顶点vq；
步骤S26：将网格卷积和网格采样组合起来作为一个卷积采样操作，编码器包含若干个个卷积上采样操作，图卷积自编码中的解码器构成为若干个卷积下采样操作，将含纹理的三维漫画模型输入到编码器得到一个潜在向量作为三维漫画模型的几何与纹理表示，将潜在向量送入解码器还原为含纹理的三维漫画模型；同时，损失函数为输入的网格顶点与输出重构的网格顶点的L1损失。
本发明实施例中的自编码器包括一个编码器和一个解码器，编码器包含四个网格卷积，每个网格卷积后面跟一个下采样操作，每次下采样将网格顶点数量降低四分之一，最后通过一个全连接层将数据映射到一维的潜在空间向量，它的维度是256，输入到解码器，解码器包含四个网格卷积，每个网格卷积后面跟一个上采样操作，每次上采样将网格顶点数量增加四分之一。本发明实施例中的解码器首先对潜在空间向量使用全连接层恢复到网格的数据格式，然后进行网格卷积和上采样操作，恢复到数据的输入格式，自编码器的输入是带有顶点颜色的网格数据n*6，输出格式也为n*6。
图4展示了构造基于图卷积自编码器的三维漫画模型表示流程图。
在一个实施例中，上述步骤S3：将人脸图像输入ResNet网络，得到面部姿态向量和三维漫画模型的几何和纹理表示的向量，具体包括：
将人脸图像输入ResNet网络，学习人脸的高阶特征，得到相机参数作为面部姿态向量以及表示几何纹理参数的向量。
本发明实施例使用Resnet架构作为人脸编码器，对人脸学习高阶特征，得到一个维度为256的表示几何纹理参数的向量，和一个维度为6的相机参数作为表示面部的姿态信息的向量，该面部姿态向量用于旋转三维漫画物体从而投影到2D图像空间，用作后续步骤的约束。
在一个实施例中，上述步骤S4：将三维漫画模型的几何和纹理表示的向量利用解码器进行解码，得到生成的三维漫画模型，利用面部姿态向量将生成的三维漫画模型转换到与人脸图像相同的面部姿态，并使用可微分渲染器对生成的三维漫画模型进行渲染；同时，构建像素损失函数和面部特征点损失函数以约束端到端的网络训练，具体包括：
步骤S41：将三维漫画模型的几何和纹理表示的向量输入解码器，得到生成的三维漫画模型；
步骤S42：利用面部姿态向量将生成的三维漫画模型转换到与人脸图像相同的面部姿态，并使用可微分渲染器对生成的三维漫画模型进行渲染，得到渲染图像；
由于传统的图形学渲染具有不可导性，本发明实施例引入可微分渲染器，也称为基于光栅器的延迟着色模型，为图像平面上的每个像素生成重心坐标和相应的三角形ID。由于网格顶点的法线和颜色属性在相应的像素处进行插值，因此梯度可以很容易地通过渲染器反向传播到潜在参数，从而使体系结构进行端到端训练；
步骤S43：构建像素损失函数，用于度量输入的漫画图像与渲染图像之间的差异，引入了了一个基于注意力机制的皮肤掩码过滤掉非面部的内容，公式(4)如下所示：
其中，I'i为渲染图像，Ii为输入的漫画图像，Mi为面部掩码，Mproj为三维网格顶点投影后对应的图像区域，i为图像的第i个像素；
本步骤中度量输入图像与渲染图像之间的差异使用的方法是用L2范式对两张图像计算像素级别的误差。由于图像可能包含遮挡，引入了了一个基于注意力机制的皮肤掩码来只关注面部区域，过滤掉非面部的内容；
步骤S44：构建面部特征点损失函数，计算n个漫画图像中的2D面部特征点，计算其对应的生成的三维漫画模型的3D面部特征点的顶点索引，并通过投影矩阵得到对应2D的投影面部特征点，针对面部特征点和投影面部特征点个构建L2损失，公式(5)如下：
其中，qi为漫画图像中的2D面部特征点，q'i为生成的三维模型的3D特征点投影得到对应的2D投影面部特征点。
为了建立2D和3D的桥梁，来更好的约束网络和加速网络收敛，引入面部特征点损失。本发明实施例对漫画数据集中的漫画图像使用漫画图像特征点检测的方法，计算得到68个2D面部特征点。然后对生成三维漫画模型计算对应的68个3D面部特征点的顶点索引，通过投影矩阵得到对应的2D面部特征点，对两组2D特征点构建L2损失函数。
图5展示了基于可渲染的端到端的三维漫画模型生成流程示意图。
本发明公开了一种基于单张人脸图像的三维漫画模型自动生成方法，通过构造基于图卷积自编码器的三维漫画模型表示具有很好的外插能力，可以生成夸张的几何和风格化的纹理，解决了现有的线性开源人脸模型的外插能力不足，基于PCA的参数化三维人脸模型不能生成夸张的面部的问题。本发明公开的方法可以直接从单张人脸图像学习生成具有个性特征的三维漫画模型，相对于现有技术的多步骤的方法，对人脸图像风格化得到漫画图像，再进行三维重建得到三维漫画，本发明可以高效快速的生成具有夸张几何和丰富纹理风格的三维漫画模型。本发明公开的方法通过引入可微分渲染器，使得神经网络能够进行端到端的训练，解决了传统的物理渲染的不可导性问题。
实施例二
如图6所示，本发明实施例提供了一种基于单张人脸图像的三维漫画模型自动生成***，包括下述模块：
构建漫画数据集模块51，用于基于同一身份的人脸图像构建对应的漫画图像和含纹理的三维漫画模型，形成漫画数据集，所述人脸图像和漫画图像具有相同的面部姿态；
获取三维漫画模型的几何和纹理表示模块52，用于将所述含纹理的三维漫画模型输入基于图卷积自编码器，所述自编码器包含具有网格卷积操作和网格采样操作的编码器和解码器，利用所述图卷积自编码器对所述含纹理的三维漫画模型进行编码，获得三维漫画模型的几何和纹理表示；
获取面部姿态向量和几何和纹理表示的向量模块53，用于将所述人脸图像输入ResNet网络，得到面部姿态向量和三维漫画模型的几何和纹理表示的向量；
生成三维漫画模型模块54，用于将所述三维漫画模型的几何和纹理表示的向量利用所述解码器进行解码，得到生成的三维漫画模型，利用所述面部姿态向量将所述生成的三维漫画模型转换到与所述人脸图像相同的面部姿态，并使用可微分渲染器对所述生成的三维漫画模型进行渲染；同时，构建像素损失函数和面部特征点损失函数以约束端到端的网络训练。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (6)
1.一种基于单张人脸图像的三维漫画模型自动生成方法，其特征在于，包括：
步骤S1：基于同一身份的人脸图像构建对应的漫画图像和含纹理的三维漫画模型，形成漫画数据集，所述人脸图像和漫画图像具有相同的面部姿态；
步骤S2：将所述含纹理的三维漫画模型输入基于图卷积自编码器，所述自编码器包含具有网格卷积操作和网格采样操作的编码器和解码器，利用所述图卷积自编码器对所述含纹理的三维漫画模型进行编码，获得三维漫画模型的几何和纹理表示；
步骤S3：将所述人脸图像输入ResNet网络，得到面部姿态向量和三维漫画模型的几何和纹理表示的向量；
步骤S4：将所述三维漫画模型的几何和纹理表示的向量利用所述解码器进行解码，得到生成的三维漫画模型，利用所述面部姿态向量将所述生成的三维漫画模型转换到与所述人脸图像相同的面部姿态，并使用可微分渲染器对所述生成的三维漫画模型进行渲染；同时，构建像素损失函数和面部特征点损失函数以约束端到端的网络训练。
2.根据权利要求1所述的基于单张人脸图像的三维漫画模型自动生成方法，其特征在于，所述步骤S1：基于同一身份的人脸图像构建对应的漫画图像和含纹理的三维漫画模型，形成漫画数据集，所述人脸图像和漫画图像具有相同的面部姿态，具体包括：
步骤S11：基于人脸图像集进行人脸检测，并进行裁剪，得到人脸图像；
步骤S12：基于同一身份的所述人脸图像，利用神经网络漫画自动生成方法，生成对应的漫画图像；
步骤S13：基于所述漫画图像进行三维重建，得到三维网络，利用投影方式为每个网格顶点获取对应所述人脸图像的像素值作为纹理，得到含纹理的三维漫画模型。
3.根据权利要求1所述的基于单张人脸图像的三维漫画模型自动生成方法，其特征在于，所述步骤S2：所述含纹理的三维漫画模型输入基于图卷积自编码器，所述自编码器包含具有网格卷积操作和网格采样操作的编码器解码器，利用所述图卷积自编码器对所述含纹理的三维漫画模型进行编码，获得三维漫画模型的几何和纹理表示，具体包括：
步骤S21：定义每个所述网格顶点的属性信息为{x,y,z,r,g,b}，其中，x,y,z为所述网格顶点的三维坐标，r,g,b为所述网格顶点对应的的RGB颜色值；
步骤S22：将所述含纹理的三维漫画模型定义为：F＝(V，A)；其中，V为n个所述网格顶点的集合；A为用稀疏邻接矩阵表示的边，以表示所述网格顶点之间的连接关系，A∈{0,1}n×n，根据A中元素值表示所述边的连接情况，当网格顶点i和网格顶点j处于连接状态时Aij＝1，否则Aij＝0；
步骤S23：对所述稀疏邻接矩阵A进行计算得到拉普拉斯矩阵L＝D-A，其中，L为拉普拉斯算子；D为每个所述网格顶点的度Dii＝∑jAij；
其中，拉普拉斯算子L为实对称矩阵，通过傅立叶基U∈Rn×n对其对角化为L＝UΛUT，其中，U的列向量是正交的，对角化后的L是具有非负实特征值的对角矩阵；
对网格顶点x进行图傅立叶变换xw＝UTx，经过逆傅立叶变换得到x＝Uxw；
步骤S24：将卷积运算符*在傅立叶空间中定义为哈达马积x*y＝U((UTx)Θ(UTy))；
设计由k阶切比雪夫多项式参数化的滤波器gθ，如公式(1)所示：
其中，
为缩放的拉普拉斯矩阵，
参数θ是切比雪夫的系数，它是一个向量θ∈RK；Tk是k阶切比雪夫多项式，Tk∈Rn×n，它由公式(2)计算得到：
Tk(x)＝2xTk-1(x)-Tk-2(x) (2)
初始化为T0＝1,T1＝x；
将所述网格卷积定义为如下公式(3)：
其中，输入xi，
是具有6个特征的网格顶点，每个卷积层有Fin×Fout个切比雪夫系数向量，θi,j∈RK是需要训练的参数；输出yj，
是具有6个特征的位置重构后的网络顶点；
步骤S25：对所述网格进行下采样，将顶点数量众多的网格降采到一个规模小顶点的网格，将被去除的所述网格顶点的索引记录在矩阵Qd；其中，Qd∈{0,1}的形式记录去除和保留的顶点索引，vd是保留下来的顶点Qd(x,d)＝1，vq是去除的顶点Qd(x,q)＝0；
再对所述网格进行上采样，恢复到初始输入的网格顶点的格式；其中，根据矩阵Qd，得到相应的矩阵Qu；其中，计算与所述vq最近的三个顶点{vi,vj,vk}∈Vd，计算重心坐标
其中wi+wj+wk＝1，可以得到Qu(q,i)＝wi，Qu(q,j)＝wj，Qu(q,i)＝wk，通过矩阵Qu来恢复去除的顶点vq；
步骤S26：将所述网格卷积和网格采样组合起来作为一个卷积采样操作，所述编码器包含若干个个卷积上采样操作，所述图卷积自编码中的解码器构成为若干个卷积下采样操作，将所述含纹理的三维漫画模型输入到所述编码器得到一个潜在向量作为三维漫画模型的几何与纹理表示，将潜在向量送入所述解码器还原为含纹理的三维漫画模型；同时，损失函数为输入的所述网格顶点与输出重构的网格顶点的L1损失。
4.根据权利要求1所述的基于单张人脸图像的三维漫画模型自动生成方法，其特征在于，所述步骤S3：将所述人脸图像输入ResNet网络，得到面部姿态向量和三维漫画模型的几何和纹理表示的向量，具体包括：
将所述人脸图像输入ResNet网络，学习人脸的高阶特征，得到相机参数作为面部姿态向量以及表示几何纹理参数的向量。
5.根据权利要求1所述的基于单张人脸图像的三维漫画模型自动生成方法，其特征在于，所述步骤S4：将所述三维漫画模型的几何和纹理表示的向量利用所述解码器进行解码，得到生成的三维漫画模型，利用所述面部姿态向量将所述生成的三维漫画模型转换到与所述人脸图像相同的面部姿态，并使用可微分渲染器对所述生成的三维漫画模型进行渲染；同时，构建像素损失函数和面部特征点损失函数以约束端到端的网络训练，具体包括：
步骤S41：将所述三维漫画模型的几何和纹理表示的向量输入所述解码器，得到生成的三维漫画模型；
步骤S42：利用所述面部姿态向量将所述生成的三维漫画模型转换到与所述人脸图像相同的面部姿态，并使用可微分渲染器对所述生成的三维漫画模型进行渲染，得到渲染图像；
步骤S43：构建像素损失函数，用于度量输入的所述漫画图像与所述渲染图像之间的差异，引入了了一个基于注意力机制的皮肤掩码过滤掉非面部的内容，公式(4)如下所示：
其中，I'i为所述渲染图像，Ii为所述输入的所述漫画图像，Mi为面部掩码，Mproj为三维网格顶点投影后对应的图像区域，i为图像的第i个像素；
步骤S44：构建面部特征点损失函数，计算n个所述漫画图像中的2D面部特征点，计算其对应的所述生成的三维漫画模型的3D面部特征点的顶点索引，并通过投影矩阵得到对应2D的投影面部特征点，针对所述面部特征点和所述投影面部特征点个构建L2损失，公式(5)如下：
其中，qi为所述漫画图像中的2D面部特征点，q'i为所述生成的三维模型的3D特征点投影得到对应的2D投影面部特征点。
6.一种基于单张人脸图像的三维漫画模型自动生成***，其特征在于，包括下述模块：
构建漫画数据集模块，用于基于同一身份的人脸图像构建对应的漫画图像和含纹理的三维漫画模型，形成漫画数据集，所述人脸图像和漫画图像具有相同的面部姿态；
获取三维漫画模型的几何和纹理表示模块，用于将所述含纹理的三维漫画模型输入基于图卷积自编码器，所述自编码器包含具有网格卷积操作和网格采样操作的编码器和解码器，利用所述图卷积自编码器对所述含纹理的三维漫画模型进行编码，获得三维漫画模型的几何和纹理表示；
获取面部姿态向量和几何和纹理表示的向量模块，用于将所述人脸图像输入ResNet网络，得到面部姿态向量和三维漫画模型的几何和纹理表示的向量；
生成三维漫画模型模块，用于将所述三维漫画模型的几何和纹理表示的向量利用所述解码器进行解码，得到生成的三维漫画模型，利用所述面部姿态向量将所述生成的三维漫画模型转换到与所述人脸图像相同的面部姿态，并使用可微分渲染器对所述生成的三维漫画模型进行渲染；同时，构建像素损失函数和面部特征点损失函数以约束端到端的网络训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111355290.8A CN113989441B (zh) | 2021-11-16 | 2021-11-16 | 基于单张人脸图像的三维漫画模型自动生成方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111355290.8A CN113989441B (zh) | 2021-11-16 | 2021-11-16 | 基于单张人脸图像的三维漫画模型自动生成方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113989441A true CN113989441A (zh) | 2022-01-28 |
| CN113989441B CN113989441B (zh) | 2024-05-24 |
Family
ID=79748793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111355290.8A Active CN113989441B (zh) | 2021-11-16 | 2021-11-16 | 基于单张人脸图像的三维漫画模型自动生成方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989441B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115482353A (zh) * | 2022-09-01 | 2022-12-16 | 北京百度网讯科技有限公司 | 重建网络的训练方法、重建方法、装置、设备和介质 |
| CN116958451A (zh) * | 2023-09-15 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 模型处理、图像生成方法、装置、计算机设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030086063A (ko) * | 2002-05-03 | 2003-11-07 | 삼성전자주식회사 | 3차원 캐리커쳐 생성 장치 및 방법 |
| CN111402394A (zh) * | 2020-02-13 | 2020-07-10 | 清华大学 | 三维夸张漫画人脸生成方法及装置 |
| CN111508048A (zh) * | 2020-05-22 | 2020-08-07 | 南京大学 | 一种可交互任意形变风格人脸漫画自动生成方法 |
| WO2020199478A1 (zh) * | 2019-04-03 | 2020-10-08 | 平安科技（深圳）有限公司 | 图像生成模型训练方法、图像生成方法、装置、设备及存储介质 |
| CN112258387A (zh) * | 2020-10-30 | 2021-01-22 | 北京航空航天大学 | 一种基于人脸照片生成漫画人像的图像转换***及方法 |
| CN112837210A (zh) * | 2021-01-28 | 2021-05-25 | 南京大学 | 一种基于特征图分块的多形变风格人脸漫画自动生成方法 |
| CN112883826A (zh) * | 2021-01-28 | 2021-06-01 | 南京大学 | 一种基于学习几何和纹理风格迁移的人脸漫画生成方法 |
-
2021
- 2021-11-16 CN CN202111355290.8A patent/CN113989441B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030086063A (ko) * | 2002-05-03 | 2003-11-07 | 삼성전자주식회사 | 3차원 캐리커쳐 생성 장치 및 방법 |
| WO2020199478A1 (zh) * | 2019-04-03 | 2020-10-08 | 平安科技（深圳）有限公司 | 图像生成模型训练方法、图像生成方法、装置、设备及存储介质 |
| CN111402394A (zh) * | 2020-02-13 | 2020-07-10 | 清华大学 | 三维夸张漫画人脸生成方法及装置 |
| CN111508048A (zh) * | 2020-05-22 | 2020-08-07 | 南京大学 | 一种可交互任意形变风格人脸漫画自动生成方法 |
| CN112258387A (zh) * | 2020-10-30 | 2021-01-22 | 北京航空航天大学 | 一种基于人脸照片生成漫画人像的图像转换***及方法 |
| CN112837210A (zh) * | 2021-01-28 | 2021-05-25 | 南京大学 | 一种基于特征图分块的多形变风格人脸漫画自动生成方法 |
| CN112883826A (zh) * | 2021-01-28 | 2021-06-01 | 南京大学 | 一种基于学习几何和纹理风格迁移的人脸漫画生成方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115482353A (zh) * | 2022-09-01 | 2022-12-16 | 北京百度网讯科技有限公司 | 重建网络的训练方法、重建方法、装置、设备和介质 |
| CN116958451A (zh) * | 2023-09-15 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 模型处理、图像生成方法、装置、计算机设备和存储介质 |
| CN116958451B (zh) * | 2023-09-15 | 2023-12-26 | 腾讯科技（深圳）有限公司 | 模型处理、图像生成方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113989441B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Su et al. | Splatnet: Sparse lattice networks for point cloud processing | |
| CN109147048B (zh) | 一种利用单张彩色图的三维网格重建方法 | |
| Roveri et al. | Pointpronets: Consolidation of point clouds with convolutional neural networks | |
| Khakhulin et al. | Realistic one-shot mesh-based head avatars | |
| Li et al. | Crowdsampling the plenoptic function | |
| CN103606186B (zh) | 一种图像与视频的虚拟发型建模方法 | |
| Jambon et al. | Nerfshop: Interactive editing of neural radiance fields | |
| JP2019003615A (ja) | オートエンコーダの学習 | |
| Genova et al. | Deep structured implicit functions | |
| CN110288697A (zh) | 基于多尺度图卷积神经网络的3d人脸表示与重建方法 | |
| Jin et al. | 3d reconstruction using deep learning: a survey | |
| CN113989441B (zh) | 基于单张人脸图像的三维漫画模型自动生成方法及*** | |
| WO2020174215A1 (en) | Joint shape and texture decoders for three-dimensional rendering | |
| CN113781659A (zh) | 一种三维重建方法、装置、电子设备及可读存储介质 | |
| CN111127658A (zh) | 一种基于点云重建三角网格曲面的保特征曲面重建方法 | |
| Kniaz et al. | Image-to-voxel model translation for 3d scene reconstruction and segmentation | |
| JP2024510230A (ja) | 顔表情、身体ポーズ形状及び衣服パフォーマンスキャプチャのための暗黙的微分可能レンダラーを用いたマルチビューニューラル人間予測 | |
| Maxim et al. | A survey on the current state of the art on deep learning 3D reconstruction | |
| Monnier et al. | Differentiable blocks world: Qualitative 3d decomposition by rendering primitives | |
| Wu et al. | Photogrammetric reconstruction of free-form objects with curvilinear structures | |
| CN115375848A (zh) | 基于图表示的单图像三维人体重建方法、***及存储介质 | |
| CN114742954A (zh) | 一种构建大规模多样化人脸图片和模型数据对的方法 | |
| CN115082640A (zh) | 基于单张图像的3d人脸模型纹理重建方法及设备 | |
| Zhang et al. | Modeling multi-style portrait relief from a single photograph | |
| RU2786362C1 (ru) | Способ 3D-реконструкции человеческой головы для получения рендера изображения человека |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |