CN113298936B - 一种基于深度学习的多rgb-d全脸材质恢复方法 - Google Patents

一种基于深度学习的多rgb-d全脸材质恢复方法 Download PDF

Info

Publication number
CN113298936B
CN113298936B CN202110608598.2A CN202110608598A CN113298936B CN 113298936 B CN113298936 B CN 113298936B CN 202110608598 A CN202110608598 A CN 202110608598A CN 113298936 B CN113298936 B CN 113298936B
Authority
CN
China
Prior art keywords
texture
face
full
image
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110608598.2A
Other languages
English (en)
Other versions
CN113298936A (zh
Inventor
任重
於航
翁彦琳
周昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110608598.2A priority Critical patent/CN113298936B/zh
Publication of CN113298936A publication Critical patent/CN113298936A/zh
Application granted granted Critical
Publication of CN113298936B publication Critical patent/CN113298936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的多RGB‑D全脸材质恢复方法。本发明包括基于图像的人脸材质信息估计和基于可微分渲染的梯度优化两个步骤。步骤1首先对几何和纹理数据进行预处理，生成一个包含全脸皮肤部分的掩膜；然后构建纹理估计模块和光照估计模块，生成仿真训练数据集；最后利用材质纹理和光照估计模块与仿真训练数据集获得纹理信息和光照系数的初值。步骤2首先处理扫描几何数据，然后拓展实现全脸渲染方程；再改进损失函数获得优化结果；最后针对特殊区域进行细节优化。本发明能够拓展人脸材质恢复技术的数据范围，并提高材质恢复技术的优化效果。

Description

一种基于深度学习的多RGB-D全脸材质恢复方法
技术领域
本发明涉及人脸三维重建领域，尤其涉及一种基于深度学习的多RGB-D全脸材质恢复方法。
技术背景
在智能手机娱乐应用日益发展的今天，通过人脸三维信息重建得到几何和纹理信息，可以更好地开发人脸应用。人脸三维信息重建方法一般主要包含人脸几何重建、人脸纹理映射和纹理材质恢复三个模块。目前的人脸三维重建技术能够通过输入一张或多张RGB图像来重建几何和纹理信息，通过输入RGB-D数据也能得到更为精细的几何信息和纹理映射结果。
但是目前已实现的算法也存在着一些不足。仅输入单张RGB图像，只能进行正脸部分的几何和材质重建，无法涵盖人头侧后方的表达。此外，目前输入多张RGB-D数据的重建方法中，还很难对映射得到的纹理图像进行材质恢复。在全脸范围内进行图像处理和材质恢复的算法还比较少，没有有效的数据集和纹理数据标准化规范。
发明内容
针对上述提到的问题，本发明提出了一种基于深度学习的多RGB-D全脸材质恢复算法，通过输入多张RGB-D的图像得到人头全脸完整的几何和纹理信息，再训练得到适用于全脸纹理的材质估计网络，并通过可微分渲染方法来优化最终的材质恢复结果。最后，该算法还使用了一种区域细节优化方案，来得到更好的局部细节。
为解决上述问题，本发明采用的技术方案包括为：一种基于深度学习的多RGB-D全脸材质恢复方法，该方法包括以下步骤：
(1)基于图像的人脸材质信息估计：首先对几何和纹理数据进行预处理，生成一个包含全脸皮肤部分的掩膜；然后构建纹理估计模块和光照估计模块，生成仿真训练数据集；最后利用材质纹理和光照估计模块与仿真训练数据集获得纹理信息和光照系数的初值。
(2)基于可微分渲染的梯度优化：首先处理扫描几何数据，然后拓展实现全脸渲染方程；再改进损失函数获得优化结果；最后针对特殊区域进行细节优化。
进一步地，步骤(1)中所述的对几何和纹理数据预处理包括以下子步骤：
(A)纹理坐标展开：把训练样本和采集样本的数据统一展开到圆柱面纹理坐标系中；
(B)特殊区域处理：针对纹理坐标展开后的深度显示问题、边界越界问题和闭合空洞问题，通过设定每个顶点的深度值解决深度显示问题，通过增加faceNormal的变量解决边界越界问题，通过采用边界颜色自动填补法避免出现闭合空洞问题；
(C)人脸对齐：在三维空间内对人头模型进行位置和方向矫正，在图像空间内对人头模型进行旋转矫正，确保展开纹理具有位置相似性；
(D)掩膜自动生成：使用基于BiSeNet的人脸语义分割技术对人脸对齐图像做图像分割，获得各种五官分区位置信息，利用图像分割得到的结果生成一个包含全脸皮肤部分的掩膜。
进一步地，所述步骤(1)构建的纹理估计模块包括四种纹理信息：反照率贴图、法线贴图、高光贴图、光泽贴图；纹理估计模块首先用编码解码器的网络得到低分辨率的纹理图像，再通过细节增强器得到高精度纹理图像。编码解码器网络的输入为圆柱面展开图像，尺寸为1024x1024，输出为低精度材质纹理图，其中反照率贴图尺寸为512x512，法线贴图、高光贴图、光泽贴图的尺寸为256x256。细节增强器使用基于SRGAN的超采样网络，可以使反照率贴图、法线贴图、高光贴图的精度提升，输出尺寸为1024x1024的高分辨率结果。
进一步地，所述步骤(1)构建的光照估计模块通过类VGG网络和纹理展开图进行网络训练。网络的输入是尺寸为256x256的人脸照片展开图，输出是RGB三个通道上各9组，共27个球谐光照系数。
进一步地，步骤(1)所述的生成仿真训练数据具体为：构建基于次表面散射的渲染器，生成多视角的图片，并进行展开和拼接，利用图像迁移对皮肤的色调进行修改，增加纹理数量，对皮肤细节图案进行参数化生成，得到优化后的纹理图像。
进一步地，步骤(2)中所述的处理扫描几何数据是将扫描人头的三角网格进行光滑处理，具体为：首先，使用RGB-D深度摄像机多角度采集深度图，采用基于体素的表示方法，使用移动立方体算法提取出等值面体素结构，得到三角网格模型。其次，对扫描人头三角网格模型进行顶点合并处理，并使用细分曲面技术得到光滑模型。
进一步地，步骤(2)中所述的拓展实现全脸渲染方程，将微分渲染方程进行拓展，适用于全脸数据的渲染。该步骤主要包括多视角渲染和图像拼接两步，首先利用可微分渲染将全脸圆柱面空间分为5个视角区域分别渲染全脸内容，然后利用线性加权的方式对各个区域进行融合拼接得到完整图像。在图像拼接时，将预计算的5张掩膜图像和对应分区相乘并叠加得到最后结果。
进一步地，步骤(2)所述损失函数改进，包括以下部分：
(A)明暗损失：通过引入光照值来改善纹理优化结果：暗部损失公式为
Figure BDA0003094613120000031
明部损失为
Figure BDA0003094613120000032
其中x和y分别表示渲染结果和原图，n表示图片中的像素总数，Ld表示漫反射光照值，C为常数防止除零错误，LossDark表示暗部损失，LossLight表示明部损失；
(B)特征损失：提高特定五官区域的权重来优化结果，公式为
Figure BDA0003094613120000033
Figure BDA0003094613120000034
其中wi表示像素对应的权重，LossKeyarea表示特征损失；
(C)结构损失：引入结构相似性函数SSIM来改善结果
Figure BDA0003094613120000035
进一步地，步骤2中所述的针对特殊区域进行细节优化，包括逆向求解反照率贴图和区域泊松融合两步，具体为：首先根据可微分渲染的光照模型，求解出逆向反照率图，公式为
Figure BDA0003094613120000036
其中，Abdinv表示你逆向反照率图，Igt为输入人脸图像，Ls和Ld分别为高光项和漫反射光照值。再利用泊松融合的方法，使***输出纹理和逆向反照率图的局部区域进行无缝接合，得到整体色调精确，且区域细节更精细的结果。
本发明的有益效果是：本发明方法通过深度学习得到材质估计网络，并利用可微分渲染的方法优化材质恢复结果，全过程自动化运行，无需人工输入参数。本方法利用基于次表面散射的渲染管线生成有效的全脸仿真数据集，拓展了人脸重建领域的数据范围，可以辅助开发更全面完善的人脸应用；同时，本方法提出了全脸数据的数据预处理方案，并设计了纹理细节参数化的方案，更好地对数据集进行增强；本方法还采用适用全脸的可微分渲染方程，并使用明暗损失、特征损失、结构损失来改进损失函数，最后还使用一种区域细节优化方案得到更加精细的纹理结果。本发明提供的一种基于深度学习的多RGB-D全脸材质恢复方法，具有较强的实用性，能够拓展人脸材质恢复技术的数据范围，并提高材质恢复技术的优化效果。
附图说明
图1为本发明一种基于深度学习的多RGB-D全脸材质恢复方法整体流程示意图；
图2为本发明的阶段1步骤(1.1)所述的数据预处理的纹理展开示意图，其中，图(A)为网络样本纹理空间示意图，图(B)为扫描样本纹理空间示意图，图(C)为标准化圆柱面空间示意图；
图3为本发明的阶段1步骤(1.1)所述的数据预处理的特殊情况处理的示意图，其中，图(A)为整体展示图，图(B)为深度显示问题示意图，图(C)为闭合空洞问题示意图；
图4为本发明的阶段1步骤(1.1)所述的数据预处理的生成掩膜的示意图，其中，图(A)为原图片，图(B)为人脸分割示意图，图(C)为生成掩膜示意图；
图5为本发明方法在阶段1步骤(1.3)所述的训练数据生成的流程示意图；
图6为本发明方法在阶段2步骤(2.3.2)所述的特征损失中的五官区域权重示意图；
图7为本发明方法在阶段2步骤(2.4)所述的区域细节优化中的逆向求解纹理和细节泊松融合示意图，其中，图(A)为材质恢复纹理图，图(B)为逆向求解纹理图，图(C)为纹理细节融合图，图(D)为材质恢复纹理局部图，图(E)为逆向求解纹理局部图，图(F)为纹理细节融合局部图；
图8为本发明在仿真数据测试中对于阶段2的优化迭代对比图，其中，图(A)为原图像，图(B)为第0次迭代示意图，图(C)为第10次迭代示意图，图(D)为第150次迭代示意图；
图9为本发明在仿真数据测试中对于阶段2步骤(2.3)所述的损失函数改进效果对比，其中，图(A)为输入图像的示意图，图(B)为改进前渲染结果的示意图，图(C)为改进后渲染结果的示意图，图(D)为反照率标准图，图(E)为改进前反照率结果的示意图，图(F)为改进后反照率结果的示意图；
图10为本发明在现实样本测试中的材质恢复效果对比图，其中，图(A)为采集照片的示意图，图(B)为设备合成纹理图，图(C)为优化渲染结果图，图(D)为放回原图对比的示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
图1为本发明一种基于深度学习的多RGB-D全脸材质恢复方法整体流程示意图，包括两个阶段：
步骤1：基于图像的人脸材质信息估计；
步骤2：基于可微分渲染的梯度优化。
先进行步骤1的材质信息估计模块的训练与优化，得到材质信息初值，然后进行阶段2可微分渲染模块优化最终的材质恢复结果。
其中步骤1包括以下子步骤：
(1.1)对几何和纹理数据进行预处理，生成一个包含全脸皮肤部分的掩膜；
本发明方法阶段1步骤(1.1)所述的数据预处理步骤包括以下子步骤：
(1.1.1)纹理坐标展开：把训练样本和采集样本等数据统一展开到圆柱面纹理坐标系中，得到标准化圆柱面空间示意图。圆柱面坐标展开公式为
Figure BDA0003094613120000051
其中u表示UV空间横向坐标，v表示UV空间纵向的坐标，r为顶点到模型中心连线在xz平面的投影，计算公式为
Figure BDA0003094613120000052
x为顶点到模型中心连线在x方向的投影，z为顶点到模型中心连线在z方向的投影，y为顶点到模型中心连线在y方向的投影，ymax为所有顶点中y的最大值，ymin为所有顶点中y的最小值。如图2中所示，其中，图(A)为网络样本纹理空间示意图，图(B)为扫描样本纹理空间示意图，图(C)为标准化圆柱面空间示意图。
(1.1.2)特殊区域处理：针对(1.1.1)纹理坐标展开后的深度显示问题、边界越界问题、闭合空洞问题进行处理。对于深度显示问题，本方法设定每个顶点的深度z值，计算公式为
Figure BDA0003094613120000053
其中r为顶点到模型中心连线在xz平面中的投影，rmax为头模最大半径。对于边界越界问题，本方法通过顶点数据中增加一个名为faceNormal的变量来保存面朝向，保证顶点着色器内运算时同一面片三个顶点的纹理坐标在同一侧，避免出现边界越界情况。对于闭合空洞问题，通过采用根据边界颜色自动填补的方式，从而避免出现闭合空洞问题。如图3所示，其中图(A)为整体展示图，图(B)为深度显示问题示意图，图(C)为闭合空洞问题示意图。
(1.1.3)人脸对齐：在三维空间内对人头模型进行位置和方向矫正，在图像空间内对人头模型进行旋转矫正，确保展开纹理具有位置相似性。本方法首先使用人脸检测算法得到人头模型的三维人脸特征点数据，再通过迭代最近点算法进行奇异值求解，计算模型的旋转平移矩阵。
(1.1.4)掩膜自动生成：首先对步骤(1.1.3)得到的人脸对齐图像做图像分割，使用基于BiSeNet的人脸语义分割技术，获得各种五官分区位置信息。然后，利用得到的结果生成一个包含全脸皮肤部分的掩膜。如图4所示，其中，图(A)为原图片，图(B)为人脸分割示意图，图(C)为生成掩膜示意图。
(1.2)构建纹理估计模块和光照估计模块；
纹理估计模块包括四种纹理信息：反照率贴图、法线贴图、高光贴图和光泽贴图。纹理估计模块首先用编码解码器的网络得到低分辨率的纹理图像，再通过细节增强器得到高精度纹理图像。编码解码器网络的输入为圆柱面展开图像，尺寸为1024x1024，输出为低精度材质纹理图，其中反照率贴图尺寸为512x512，法线贴图、高光贴图、光泽贴图的尺寸为256x256。细节增强器使用基于SRGAN的超采样网络，可以使反照率贴图、法线贴图、高光贴图的精度提升，输出尺寸为1024x1024的高分辨率结果，而光泽贴图不需要使用细节增强器。
光照估计模块通过采用类VGG网络和纹理展开图进行网络训练。类VGG网络的输入是尺寸为256x256的人脸照片展开图，输出是RGB三个通道上各9组球谐光照系数，即共27个球谐光照系数。
(1.3)生成仿真训练数据集；
图5展示了本发明方法在步骤1步骤(1.3)训练数据生成的流程示意图。包括以下子步骤：
(1.3.1)构建基于次表面散射的渲染器。该渲染管线的输入是三维人头模型数据和反照率贴图、法线贴图、高光贴图、光泽贴图，以及hdr格式的环境贴图。该渲染器基于次表面散射算法，生成更有皮肤质感的仿真样本图片。
(1.3.2)生成多视角的图片，并进行展开和拼接。在渲染器生成5张渲染结果图的同时，利用一个映射渲染管线生成相应视角的UV坐标映射图，并以映射图为依据对渲染结果图进行圆柱面坐标展开。然后，根据线性加权的方法对5张展开结果图进行拼接，得到拼接图片。
(1.3.3)利用图像迁移对皮肤的色调进行修改，增加纹理数量。本方法采用自身数据进行图像迁移，初始纹理样本25组，通过跟其他样本进行两两迁移，扩大至25倍，再采用混合叠加的方式最终扩大到80倍，得到皮肤细节图像。
(1.3.4)对步骤(1.3.3)得到的皮肤细节图像进行参数化生成，得到优化后的纹理图像。本方法预设黑斑、痘痘、红晕三种纹理细节类型。
黑斑细节为黑色或深褐色的椭圆斑点，其颜色深度与厚度T成正比，公式为
Figure BDA0003094613120000061
其中d表示像素点到圆心的距离，r表示黑斑的半径。本方法先生成圆形图案，再随机缩放和旋转，变换成椭圆形。
痘痘细节为粉色突起半球，颜色变化公式与黑板类似，还设定了法线细节的变化，公式为
Figure BDA0003094613120000062
其中x表示像素点与痘痘圆心在x方向上的坐标差，y表示像素点到痘痘圆心在y方向上的坐标差，T为切线方向的偏移量，B为副切线方向的偏移量，默认法向偏移量N＝1，三个向量组合归一化后得到法线空间TBN向量。
红晕细节为整片的粉色痤疮，本方法首先在已有的人脸纹理图片中采集图案贴片，其次将图案贴片进行色调修改、位置移动、旋转翻转等，最后将图案与目标纹理图片进行局部的泊松融合。得到新的带细节的纹理图像。
(1.4)获得纹理信息和光照系数的初值。利用在(1.3)中生成的仿真数据集，将(1.2)中的材纹理估计模块和光照估计模块进行训练，得到四种纹理信息和球谐光照系数的初值。
其中步骤2包括以下步骤：
(2.1)处理扫描几何数据；
将扫描人头的三角网格进行光滑处理。首先，使用RGB-D深度摄像机多角度采集深度图，采用基于体素的表示方法，使用移动立方体(Marching Cubes)算法提取出等值面体素结构，得到三角网格模型。其次，对扫描人头三角网格模型进行顶点合并处理，并使用细分曲面技术得到光滑模型。
(2.2)拓展实现全脸渲染方程；
本发明方法阶段2步骤(2.2)所述渲染方程拓展，将微分渲染方程进行拓展，适用于全脸数据的高光渲染。该步骤主要包括多视角渲染和图像拼接两步。在多视角渲染时，给出如步骤(1.3.1)中的多视角相机位置，首先利用可微分渲染将全脸圆柱面空间分为5个视角区域分别渲染全脸内容，然后利用线性加权的方式对各个区域进行融合拼接得到完整图像。在图像拼接时，将预计算的5张掩膜图像和对应分区相乘并叠加得到最后结果。
(2.3)改进损失函数获得优化结果；
本发明方法阶段2步骤(2.3)所述损失函数改进，包括以下部分：
(2.3.1)明暗损失，通过引入光照值来改善纹理优化结果。
其中，明暗损失包含除以漫反射光照值来近似反照率误差的暗部损失，和乘以光照值的明部损失。暗部损失公式为
Figure BDA0003094613120000071
明部损失为
Figure BDA0003094613120000072
其中x和y分别表示渲染结果和原图，n表示图片中的像素总数，Ld表示漫反射光照值，C为常数(为防止除零错误，一般取值0.01)。LossDark表示暗部损失，LossLight表示明部损失。
(2.3.2)特征损失，提高特定五官区域的权重来优化效果。
特征损失通过提高五官等区域的权重，确保特征区域的恢复效果，公式为特征损失
Figure BDA0003094613120000073
其中wi表示像素对应权重。如图6所示，五官权重中，眼睛鼻子标记区域(灰色标记)为0.3，嘴唇耳朵区域(白色标记)为0.2，眉毛区域(黑色标记)为0.1。
(2.3.3)结构损失，引入结构相似性指数SSIM来改善结果。
结构损失采用结构相似性指数SSIM作为计算方法，公式为结构损失
Figure BDA0003094613120000081
Figure BDA0003094613120000082
(2.4)针对特殊区域进行细节优化。
本发明方法阶段2步骤(2.4)所述的针对特殊区域细节优化，包括逆向求解反照率贴图和区域泊松融合两步。首先根据可微分渲染的光照模型，忽略高光贴图的影响，求解出逆向反照率图，公式为
Figure BDA0003094613120000083
其中，Abdinv表示逆向反照率图，Igt为输入人脸图像，Ls和Ld分别为高光项和漫反射光照值。再利用泊松融合的方法，可以使***输出纹理和逆向反照率图的局部区域进行无缝接合，得到整体色调精确且区域细节更精细的结果。如图7所示，其中，图(A)为材质恢复纹理图，图(B)为逆向求解纹理图，图(C)为纹理细节融合图，图(D)为材质恢复纹理局部图，图(E)为逆向求解纹理局部图，图(F)为纹理细节融合局部图。
通过上述步骤，发明人在一台配备了一个Intel Corei7-8700 CPU，32GB内存，GTX1080Ti显卡的计算机上实现了本发明的若干实施实例。
实施例1
发明人在仿真数据集中测试了步骤2中可微分渲染优化模块的有效性。如图8所示，其中，图(A)为原图像，图(B)为第0次迭代示意图，图(C)为第10次迭代示意图，图(D)为第150次迭代示意图。随着迭代次数增加，优化后的材质数据比仅使用材质估计模块得到的初始结果更接近标准值。
实施例2
发明人在仿真数据集中测试了步骤2中可微分渲染优化模块对于损失函数改进的有效性。图9展示了一组样本的测试情况，其中，图(A)为输入图像的示意图，图(B)为改进前渲染结果的示意图，图(C)为改进后渲染结果的示意图，图(D)为反照率标准图，图(E)为改进前反照率结果的示意图，图(F)为改进后反照率结果的示意图。可以看出，改进损失函数之前渲染结果误差小，但恢复纹理的误差大，而在改进损失函数之后，渲染结果的误差几乎不变，反照率纹理的恢复效果显著提升。
实施例3
发明人在现实样本上测试了本发明方法的有效性。如图10所示为本发明在现实样本测试中的材质恢复效果对比图，其中，图(A)为采集照片的示意图，图(B)为设备合成纹理图，图(C)为优化渲染结果图，图(D)为放回原图对比的示意图。本方法可以恢复包含耳朵和脖颈等部分的全脸纹理范围，恢复的材质数据具有高保真度。

Claims (7)

1.一种基于深度学习的多RGB-D全脸材质恢复方法，其特征在于，该方法包括以下步骤：
(1)基于图像的人脸材质信息估计：首先对几何和纹理数据进行预处理，生成一个包含全脸皮肤部分的掩膜；然后构建纹理估计模块和光照估计模块，生成仿真训练数据集；最后利用材质纹理和光照估计模块与仿真训练数据集获得纹理信息和光照系数的初值；
所述步骤(1)中所述的对几何和纹理数据预处理包括以下子步骤：
(A)纹理坐标展开：把训练样本和采集样本的数据统一展开到圆柱面纹理坐标系中；
(B)特殊区域处理：针对纹理坐标展开后的深度显示问题、边界越界问题和闭合空洞问题，通过设定每个顶点的深度值解决深度显示问题，通过增加faceNormal的变量解决边界越界问题，通过采用边界颜色自动填补法避免出现闭合空洞问题；
(C)人脸对齐：在三维空间内对人头模型进行位置和方向矫正，在图像空间内对人头模型进行旋转矫正，确保展开纹理具有位置相似性；
(D)掩膜自动生成：使用基于BiSeNet的人脸语义分割技术对人脸对齐图像做图像分割，获得各种五官分区位置信息，利用图像分割得到的结果生成一个包含全脸皮肤部分的掩膜；
(2)基于可微分渲染的梯度优化：首先处理扫描几何数据，然后拓展实现全脸渲染方程；再改进损失函数获得优化结果；最后针对特殊区域进行细节优化；
所述步骤(2)中所述的拓展实现全脸渲染方程，将微分渲染方程进行拓展，适用于全脸数据的渲染；该步骤主要包括多视角渲染和图像拼接两步，首先利用可微分渲染将全脸圆柱面空间分为5个视角区域分别渲染全脸内容，然后利用线性加权的方式对各个区域进行融合拼接得到完整图像；在图像拼接时，将预计算的5张掩膜图像和对应分区相乘并叠加得到最后结果。
2.根据权利要求1所述的基于深度学习的多RGB-D全脸材质恢复方法，其特征在于，所述步骤(1)构建的纹理估计模块包括四种纹理信息：反照率贴图、法线贴图、高光贴图、光泽贴图；纹理估计模块首先用编码解码器的网络得到低分辨率的纹理图像，再通过细节增强器得到高精度纹理图像；编码解码器网络的输入为圆柱面展开图像，尺寸为1024x1024，输出为低精度材质纹理图，其中反照率贴图尺寸为512x512，法线贴图、高光贴图、光泽贴图的尺寸为256x256；细节增强器使用基于SRGAN的超采样网络，可以使反照率贴图、法线贴图、高光贴图的精度提升，输出尺寸为1024x1024的高分辨率结果。
3.根据权利要求1所述的基于深度学习的多RGB-D全脸材质恢复方法，其特征在于，所述步骤(1)构建的光照估计模块通过类VGG网络和纹理展开图进行网络训练；网络的输入是尺寸为256x256的人脸照片展开图，输出是RGB三个通道上各9组，共27个球谐光照系数。
4.根据权利要求1所述的基于深度学习的多RGB-D全脸材质恢复方法，其特征在于，步骤(1)所述的生成仿真训练数据具体为：构建基于次表面散射的渲染器，生成多视角的图片，并进行展开和拼接，利用图像迁移对皮肤的色调进行修改，增加纹理数量，对皮肤细节图案进行参数化生成，得到优化后的纹理图像。
5.根据权利要求1所述的基于深度学习的多RGB-D全脸材质恢复方法，其特征在于，步骤(2)中所述的处理扫描几何数据是将扫描人头的三角网格进行光滑处理，具体为：首先，使用RGB-D深度摄像机多角度采集深度图，采用基于体素的表示方法，使用移动立方体算法提取出等值面体素结构，得到三角网格模型；其次，对扫描人头三角网格模型进行顶点合并处理，并使用细分曲面技术得到光滑模型。
6.根据权利要求1所述的基于深度学习的多RGB-D全脸材质恢复方法，其特征在于，步骤(2)所述损失函数改进，包括以下部分：
(A)明暗损失：通过引入光照值来改善纹理优化结果：暗部损失公式为
Figure FDA0003554363580000021
Figure FDA0003554363580000022
明部损失为
Figure FDA0003554363580000023
其中xi和yi分别表示渲染结果和原图，n表示图片中的像素总数，Ld表示漫反射光照值，C为常数防止除零错误，LossDark表示暗部损失，LossLight表示明部损失；
(B)特征损失：提高特定五官区域的权重来优化结果，公式为
Figure FDA0003554363580000024
Figure FDA0003554363580000025
其中wi表示像素对应的权重，LossKeyarea表示特征损失；
(C)结构损失：引入结构相似性函数SSIM来改善结果
Figure FDA0003554363580000026
7.根据权利要求1所述的基于深度学习的多RGB-D全脸材质恢复方法，其特征在于，步骤(2)中所述的针对特殊区域进行细节优化，包括逆向求解反照率贴图和区域泊松融合两步，具体为：首先根据可微分渲染的光照模型，求解出逆向反照率图，公式为
Figure FDA0003554363580000027
其中，Abdinv表示逆向反照率图，Igt为输入人脸图像，Ls和Ld分别为高光项和漫反射光照值；再利用泊松融合的方法，使***输出纹理和逆向反照率图的局部区域进行无缝接合，得到整体色调精确，且区域细节更精细的结果。
CN202110608598.2A 2021-06-01 2021-06-01 一种基于深度学习的多rgb-d全脸材质恢复方法 Active CN113298936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110608598.2A CN113298936B (zh) 2021-06-01 2021-06-01 一种基于深度学习的多rgb-d全脸材质恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110608598.2A CN113298936B (zh) 2021-06-01 2021-06-01 一种基于深度学习的多rgb-d全脸材质恢复方法

Publications (2)

Publication Number Publication Date
CN113298936A CN113298936A (zh) 2021-08-24
CN113298936B true CN113298936B (zh) 2022-04-29

Family

ID=77326688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110608598.2A Active CN113298936B (zh) 2021-06-01 2021-06-01 一种基于深度学习的多rgb-d全脸材质恢复方法

Country Status (1)

Country Link
CN (1) CN113298936B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240991A (zh) * 2021-12-16 2022-03-25 浙江大学 一种rgb图像的实例分割方法
CN114677292B (zh) * 2022-03-07 2022-11-01 北京航空航天大学 基于两张图像逆渲染神经网络的高分辨率材质恢复方法
CN114972112B (zh) * 2022-06-17 2024-05-14 如你所视(北京)科技有限公司 用于图像逆渲染的方法、装置、设备和介质
CN114842121B (zh) * 2022-06-30 2022-09-09 北京百度网讯科技有限公司 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN116310045B (zh) * 2023-04-24 2023-08-04 天度(厦门)科技股份有限公司 一种三维人脸纹理创建方法、装置及设备
CN116228943B (zh) * 2023-05-10 2023-07-14 深圳市腾讯计算机***有限公司 虚拟对象面部重建方法、面部重建网络训练方法及装置
CN116805347B (zh) * 2023-08-22 2023-11-10 中国电子科技集团公司第十五研究所 基于体数据六边界面几何构型的体纹理镀膜插值方法
CN117593469A (zh) * 2024-01-17 2024-02-23 厦门大学 一种3d内容创建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780708A (zh) * 2016-11-23 2017-05-31 北京三体高创科技有限公司 一种基于模拟折射和全局光照的3d模型渲染方法及***
WO2019014646A1 (en) * 2017-07-13 2019-01-17 Shiseido Americas Corporation REMOVAL OF VIRTUAL FACIAL MAKE-UP, FAST FACIAL DETECTION AND TRACK POINT TRACKING
KR20190029173A (ko) * 2017-09-12 2019-03-20 서강대학교산학협력단 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치
GB201902067D0 (en) * 2019-02-14 2019-04-03 Facesoft Ltd 3D Face reconstruction system and method
CN111445582A (zh) * 2019-01-16 2020-07-24 南京大学 一种基于光照先验的单张图像人脸三维重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780708A (zh) * 2016-11-23 2017-05-31 北京三体高创科技有限公司 一种基于模拟折射和全局光照的3d模型渲染方法及***
WO2019014646A1 (en) * 2017-07-13 2019-01-17 Shiseido Americas Corporation REMOVAL OF VIRTUAL FACIAL MAKE-UP, FAST FACIAL DETECTION AND TRACK POINT TRACKING
KR20190029173A (ko) * 2017-09-12 2019-03-20 서강대학교산학협력단 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치
CN111445582A (zh) * 2019-01-16 2020-07-24 南京大学 一种基于光照先验的单张图像人脸三维重建方法
GB201902067D0 (en) * 2019-02-14 2019-04-03 Facesoft Ltd 3D Face reconstruction system and method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3dface reconstruction using a single or multiple views[C]∥Pattern Recognition(ICPR);Choi J;《2010 20th International Conference on》;20101231;第3959-3962页 *
基于姿态估计的单幅图像三维人脸重建;詹红燕等;《微电子学与计算机》;20150905(第09期);第101-105、110页 *
基于极端梯度提升树算法的图像属性标注;张红斌等;《山东大学学报(工学版)》;20190312(第02期);第12-20页 *

Also Published As

Publication number Publication date
CN113298936A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113298936B (zh) 一种基于深度学习的多rgb-d全脸材质恢复方法
CN108765550B (zh) 一种基于单张图片的三维人脸重建方法
CN107274493B (zh) 一种基于移动平台的三维虚拟试发型人脸重建方法
Rematas et al. Novel views of objects from a single image
Yan et al. Variational mesh segmentation via quadric surface fitting
Zhang et al. Image engineering
WO2022001236A1 (zh) 三维模型生成方法、装置、计算机设备及存储介质
Li et al. Detail-preserving and content-aware variational multi-view stereo reconstruction
CN109712223B (zh) 一种基于纹理合成的三维模型自动上色方法
US20130124148A1 (en) System and Method for Generating Editable Constraints for Image-based Models
Fyffe et al. Multi‐view stereo on consistent face topology
WO2021063271A1 (zh) 人体模型重建方法、重建***及存储介质
KR20230097157A (ko) 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템
Li et al. Animated 3D human avatars from a single image with GAN-based texture inference
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
Zhang et al. Portrait relief modeling from a single image
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
CN114782417A (zh) 基于边缘强化图像分割的风机数字孪生特征实时检测方法
Ye et al. 3d morphable face model for face animation
Tiwary et al. Towards learning neural representations from shadows
Dinev et al. User‐guided lip correction for facial performance capture
CN116385619B (zh) 对象模型渲染方法、装置、计算机设备和存储介质
Jeong et al. Automatic generation of subdivision surface head models from point cloud data
Murphy et al. Artist guided generation of video game production quality face textures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant