CN111696196B - 一种三维人脸模型重建方法及装置 - Google Patents

一种三维人脸模型重建方法及装置 Download PDF

Info

Publication number
CN111696196B
CN111696196B CN202010450377.2A CN202010450377A CN111696196B CN 111696196 B CN111696196 B CN 111696196B CN 202010450377 A CN202010450377 A CN 202010450377A CN 111696196 B CN111696196 B CN 111696196B
Authority
CN
China
Prior art keywords
face
image
speckle
value
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010450377.2A
Other languages
English (en)
Other versions
CN111696196A (zh
Inventor
户磊
张举勇
保长存
朱海涛
王秋雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dilusense Technology Co Ltd filed Critical Hefei Dilusense Technology Co Ltd
Priority to CN202010450377.2A priority Critical patent/CN111696196B/zh
Publication of CN111696196A publication Critical patent/CN111696196A/zh
Application granted granted Critical
Publication of CN111696196B publication Critical patent/CN111696196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种三维人脸模型重建方法及装置，能够提升深度恢复的效果以及三维人脸模型重建的精度。方法包括：将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图对应的深度图；其中，所述神经网络模型是基于人脸散斑图像样本和深度图真值标签训练得到的；基于所述深度图进行三维人脸模型重建。

Description

一种三维人脸模型重建方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种三维人脸模型重建方法及装置。
背景技术
传统的三维人脸模型重建算法是在二维图像的基础上进行设计和研究的，算法的效果容易受到人脸姿态的影响，且深度方向的精度不高。随着深度传感器技术的发展，实时获取深度成为了可能。
现有方案提出了一种基于深度信息的三维人脸模型重建方法，主要流程是：首先通过深度传感器获取散斑图像，然后使用其内部算法对散斑图像中的信息进行深度计算及深度恢复，得到深度图，最后将深度图用于三维人脸模型重建。
然而，现有方案无法充分利用散斑图像中的信息，原因是在计算深度的过程中会丢失散斑图像的部分信息。这些丢失的散斑图像的部分信息会对后续深度恢复的效果造成影响，尤其会对三维人脸模型重建的精度造成较大影响，又由于这些丢失的散斑图像的部分信息无法恢复，因而会导致深度恢复效果不佳以及三维人脸模型重建的精度不高。
发明内容
本发明实施例提供一种三维人脸模型重建方法及装置，用以解决现有技术中深度恢复效果不佳以及三维人脸模型重建的精度不高的问题。
本发明实施例提供一种三维人脸模型重建方法，包括：
将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图对应的深度图；其中，所述神经网络模型是基于人脸散斑图像样本和深度图真值标签训练得到的；
基于所述深度图进行三维人脸模型重建。
可选地，所述将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图对应的深度图，包括：
将所述人脸散斑图像及人脸散斑参考图像输入神经网络模型的第一子网络中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图；
将所述视差图输入所述神经网络模型的第二子网络中，得到所述视差图对应的深度图。
可选地，所述将所述视差图输入所述神经网络模型的第二子网络中，得到所述视差图对应的深度图，包括：
在将所述视差图输入所述神经网络模型的第二子网络后，基于所述视差图的视差值、预先获取到的相机焦距以及预先获取到的相机基线将所述视差图的视差值转换为深度值；
基于所述深度值得到深度图。
可选地，所述基于所述视差图的视差值、预先获取到的相机焦距以及预先获取到的相机基线将所述视差图的视差值转换为深度值，包括：
通过如下公式将所述视差图的视差值转换为深度值：
式中，z表示深度值，d表示视差图的视差值，f表示预先获取到的相机焦距，b表示预先获取到的相机基线。
可选地，所述基于所述深度图进行三维人脸模型重建，包括：
基于预设分辨率对所述深度图进行裁剪，得到目标深度图；
基于所述目标深度图、预先获取到的相机焦距以及预先获取到的相机光心，得到所述目标深度图对应的三维点云数据；
对所述三维点云数据进行归一化处理；
基于预先获取到的三维人脸重建模型对处理后的所述三维点云数据进行三维人脸模型重建。
可选地，所述将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，之前包括：
检测相机采集的散斑图像中的人脸边界框；
根据所述人脸边界框确定所述散斑图像的人脸区域；
基于所述人脸区域的像素值、所述人脸区域的像素邻域窗口内的平均值、所述人脸区域的像素邻域窗口内的标准差以及预设常量对所述人脸区域的像素值进行处理，得到处理后的所述人脸区域的像素值；
基于处理后的所述人脸区域的像素值得到所述人脸散斑图像。
可选地，所述基于所述人脸区域的初始像素值、所述人脸区域的像素邻域窗口内的平均值、所述人脸区域的像素邻域窗口内的标准差以及预设常量对所述人脸区域的像素值进行处理，得到处理后的所述人脸区域的像素值，包括：
通过如下公式得到处理后的所述人脸区域的像素值：
式中，表示处理后的所述人脸区域的像素值、I表示所述人脸区域的初始像素值、u表示所述人脸区域的像素邻域窗口内的平均值、σ表示所述人脸区域的像素邻域窗口内的标准差，ε表示预设常量。
本发明实施例提供一种三维人脸模型重建装置，包括：
输入单元，用于将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图对应的深度图；其中，所述神经网络模型是基于人脸散斑图像样本和深度图真值标签训练得到的；
重建单元，用于基于所述深度图进行三维人脸模型重建。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。
本发明实施例提供的三维人脸模型重建方法及装置，通过训练神经网络模型，使得在将视差图转换为深度图的深度恢复阶段以及三维人脸模型重建阶段，人脸散斑图像中的信息均能够得到充分的利用，从而使得深度恢复的效果以及三维人脸模型重建的精度得到提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明三维人脸模型重建方法实施例流程图；
图2为本发明神经网络模型的工作流程图；
图3为本发明三维人脸模型重建装置实施例结构示意图；
图4为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本实施例公开了一种三维人脸模型重建方法，包括：
101、将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到人脸散斑图像和人脸散斑参考图像之间的视差图对应的深度图；其中，神经网络模型是基于人脸散斑图像样本和深度图真值标签训练得到的；
在将人脸散斑图像及人脸散斑参考图像输入神经网络模型之前，三维人脸模型重建装置需要预先构建一个神经网络模型，该神经网络模型可以为一个端到端的级联神经网络模型，级联神经网络模型可以包括第一子网络和第二子网络，每个子网络下完成不同的计算任务。在三维人脸模型重建过程中，为了得到精度较高的三维人脸，三维人脸模型重建装置需要对级联神经网络模型进行训练。针对级联神经网络模型下的每个子网络，通常也可以采用若干损失函数对其进行训练。
人脸散斑图像可以理解为相机采集的原始信号(散斑图像)经过预处理后得到的人脸区域内的图像，为待处理图像。
人脸散斑参考图像可以理解为三维人脸模型重建装置提供的参考图像。
深度图真值标签可以理解为人脸散斑图像样本中的人脸散斑图像的每个像素的预测深度有真值。
应理解，上述第一子网络的输入端输入人脸散斑图像及人脸散斑参考图像，第一子网络的输出端输出人脸散斑图像和人脸散斑参考图像之间的视差图。三维人脸模型重建装置可以在第一子网络内计算人脸散斑图像及人脸散斑参考图像之间的视差，基于计算得到的视差得到视差图。
应理解，上述第一子网络的输出端连接第二子网络的输入端。在第一子网络的输出端输出视差图至第二子网络的输入端后，三维人脸模型重建装置在第二子网络下进行视差图和深度图的转换，以得到相对应的深度图。
102、基于深度图进行三维人脸模型重建。
为了提高三维人脸模型重建精度，在将深度图输入三维人脸模型前，三维人脸模型重建装置可以将深度图进行相关处理，将处理后的深度图输入至三维人脸重建模型中，以进行三维人脸模型重建。
本发明实施例提供的三维人脸模型重建方法，通过训练神经网络模型，使得在将视差图转换为深度图的深度恢复阶段以及三维人脸模型重建阶段，人脸散斑图像中的信息均能够得到充分的利用，从而使得深度恢复的效果以及三维人脸模型重建的精度得到提升。
在前述方法实施例的基础上，步骤101中将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到人脸散斑图像和人脸散斑参考图像之间的视差图对应的深度图，包括：
将人脸散斑图像及人脸散斑参考图像输入神经网络模型的第一子网络中，得到人脸散斑图像和人脸散斑参考图像之间的视差图；
将视差图输入神经网络模型的第二子网络中，得到视差图对应的深度图。
其中，上述第一子网络的输入端输入人脸散斑图像及人脸散斑参考图像，第一子网络的输出端输出人脸散斑图像和人脸散斑参考图像之间的视差图。三维人脸模型重建装置可以在第一子网络内计算人脸散斑图像及人脸散斑参考图像之间的视差，基于计算得到的视差得到视差图。
上述第一子网络的输出端连接第二子网络的输入端。在第一子网络的输出端输出视差图至第二子网络的输入端后，三维人脸模型重建装置在第二子网络下进行视差图和深度图的转换，以得到相对应的深度图。
可以理解，第一子网络和第二子网络通过级联方式，组成级联神经网络模型。
进一步的，上述将视差图输入神经网络模型的第二子网络中，得到视差图对应的深度图的步骤，包括：
在将视差图输入神经网络模型的第二子网络后，基于视差图的视差值、预先获取到的相机焦距以及预先获取到的相机基线将视差图的视差值转换为深度值；
基于深度值得到深度图。
其中，基于视差图的视差值、预先获取到的相机焦距以及预先获取到的相机基线将视差图的视差值转换为深度值，包括：
通过如下公式将视差图的视差值转换为深度值：
式中，z表示深度值，d表示视差图的视差值，f表示预先获取到的相机的焦距，b表示预先获取到的相机基线。
需要说明的是，人脸散斑图像是上述相机采集的原始信号(散斑图像)经过预处理后得到的人脸区域内的图像，三维人脸模型重建装置能够获取到相机的相关参数，如焦距、基线及光心等。
可见，通过获取相机的焦距以及相机的基线，能够将视差图转换为深度图，便于后续进一步处理。
在前述方法实施例的基础上，步骤102中基于深度图进行三维人脸模型重建，包括：
基于预设分辨率对深度图进行裁剪，得到目标深度图；
基于目标深度图、预先获取到的相机焦距以及预先获取到的相机光心，得到目标深度图对应的三维点云数据；
对三维点云数据进行归一化处理；
基于预先获取到的三维人脸重建模型对处理后的三维点云数据进行三维人脸模型重建。
具体地，为了提高三维人脸模型重建精度，在将深度图输入三维人脸模型前，三维人脸模型重建装置可以将深度图进行相关处理，将处理后的深度图输入至三维人脸重建模型中，以进行三维人脸模型重建。
例如，三维人脸模型重建装置可以将深度图裁剪为固定分辨率的深度图，之后根据相机的焦距参数及光心参数，从深度图中得到深度值对应的三维点云的坐标，再将三维点云的坐标进行归一化处理，最后将归一化处理后得到的数据输入至三维人脸重建模型中进行三维人脸模型重建。
假设深度图中某个像素(u,v)处的深度值为d，对应点云的三维坐标(wx,wy,wz):
wx＝(u-cx)/f*d
wy＝-(v-cy)/f*d
wz＝-d
人脸点云的中心(centerx,centery,centerz)：
其中N为有效点(深度值不等于0)的个数。
最终送入三维人脸重建模型的数据为：
其中len为常数，实验中可以取值为200。
另外，待重建的三维人脸模型重建可以采用如下计算方式：
其中v是待重建的三维人脸模型的三维坐标，meanv表示均值模型的三维坐标，expbasej是第j个身份基的三维坐标，idbasej是第j个表情基的三维坐标。
可见，在将深度图输入三维人脸模型前，三维人脸模型重建装置可以将深度图进行相关处理，以提高三维人脸模型重建精度。
在前述方法实施例的基础上，在步骤101之前，还可以包括：
检测相机采集的散斑图像中的人脸边界框；
根据人脸边界框确定散斑图像的人脸区域；
基于人脸区域的像素值、人脸区域的像素邻域窗口内的平均值、人脸区域的像素邻域窗口内的标准差以及预设常量对人脸区域的像素值进行处理，得到处理后的人脸区域的像素值；
基于处理后的人脸区域的像素值得到人脸散斑图像。
其中，上述基于人脸区域的像素值、人脸区域的像素邻域窗口内的平均值、人脸区域的像素邻域窗口内的标准差以及预设常量对人脸区域的像素值进行处理，得到处理后的人脸区域的像素值，包括：
通过如下公式得到处理后的所述人脸区域的像素值：
式中，表示处理后的所述人脸区域的像素值、I表示所述人脸区域的初始像素值、u表示所述人脸区域的像素邻域窗口内的平均值、σ表示所述人脸区域的像素邻域窗口内的标准差，ε表示预设常量。
具体地，人脸散斑图像可以理解为相机采集的原始信号(散斑图像)经过预处理后得到的人脸区域内的图像，为待处理图像。三维人脸模型重建装置预先将彩色图对齐到该散斑图像，以使用彩色图像检测出散斑图像的人脸边界框，然后根据人脸边界框来裁剪散斑图像中的人脸区域。通过应用局部对比度归一化(Local Contrast Normalization,LCN)，对散斑图像做预处理，然后送入到神经网络模型中。
LCN公式如下：
式中，表示处理后的所述人脸区域的像素值、I表示所述人脸区域的初始像素值、u表示所述人脸区域的像素邻域窗口内的平均值、σ表示所述人脸区域的像素邻域窗口内的标准差，ε表示预设常量。
应理解，由于相机采集的散斑图像包含的区域不仅仅限于人脸区域，所以三维人脸模型重建装置需要先确定散斑图像中的人脸区域，再对人脸区域内的像素进行预处理，便于后续进一步处理。
在前述方法实施例的基础上，若神经网络模型包括第一子网络和第二子网络，且第一子网络为视差回归网络，第二子网络为卷积特征提取网络，则在上述将人脸散斑图像及人脸散斑参考图像输入神经网络模型的第一子网络中的步骤之前，还可以包括：
基于预设的第一损失函数对视差回归网络进行训练；
基于预设的第二损失函数对卷积特征提取网络进行训练；
联合训练视差回归网络和卷积特征提取网络。
具体地，本发明实施例针对人脸散斑图像构建了一个端到端的网络模型架构，如图2所示的神经网络模型的工作流程图中，神经网络模型主要包括第一子网络(例如D-Net网络)和第二子网络(例如FM-Net网络)，其中，D-Net网络用于计算输入的人脸散斑图像(散斑图)和人脸散斑参考图像(参考图)之间的视差，FM-Net网络用于学习识别特征，如将D-Net网络输出的视差图转换为深度图，将学习识别到的特征用于最终的三维人脸模型(三维模型)的重建。
其中，D-Net网络是一个轻量级的视差回归网络，主要包含4个步骤：特征提取、构建空间代价矩阵、空间代价聚合、视差计算。网络输入为人脸散斑图像和人脸散斑参考图像，输出为视差图或视差值。
其中，FM-Net网络是一个卷积特征提取网络，训练过程中，需要通过双线性插值将D-Net网络输出的视差图转换为深度图，并裁剪成固定分辨率的深度图，送入三维人脸模型前的预处理方式为：根据相机内的焦距和光心参数，得到深度图对应的三维点云，之后将三维点云进行归一化处理。此外，FM-Net网络最后一个层后面可以添加一个全连接层，以用来得到三维人脸模型建模相关的参数化系数，如欧拉角、平移量、身份系数及表情系数。
神经网络模型的训练主要分为三个步骤：
步骤a、在合成的散斑数据集和其他算法生成的散斑图数据集上，独立地对D-Net网络进行有监督的预训练，并将输出的视差图转化为对应的深度图。
步骤b、冻结D-Net网络的所有网络参数，使用上述步骤a中得到的深度图对FM-Net网络进行预训练。
步骤c、以端到端的方式联合训练D-Net网络和FM-Net网络，且每个网络的学习率独立设置和调整。
由于损失函数在机器学习中用于表示预测值与真实值之间的差距。一般而言，大多数机器学习模型都会通过一定的优化器来减小损失函数，从而达到优化预测机器学习模型参数的目的，本发明实施例的神经网络模型同样如此，例如：
预训练D-Net网络时，采用了Smooth-L1损失函数(第一损失函数)，表达式为：
式中，di为输入的人脸散斑图像的第i个像素点处真实视差值，为模型输出的第i个像素点处的预测值，N为有效的像素个数。
预训练FM-Net网络时，主要包括如下几个损失函数(第二损失函数)：
式中，Eland表示用于三维关键点投影后和二维关键点一致，land2di表示图片上的第i个二维关键点，land3di表示重建模型上的第i个三维关键点，R表示由欧拉角得到的旋转矩阵，T表示估计的三维平移向量，Proj表示将三维坐标点根据相机参数进行投影。Elandpair用于计算一些关键点对损失，能够很好的捕捉一些表情变化、人脸结构信息等。Ep2p用于计算模型到点云的点到点距离，Ep2n用于计算模型到点云的点到面距离，pi表示重建模型上的第i个三维点坐标，qi表示对应点云上离pi最近的三维点坐标，ni为qi对应的法向。Eidentity用于约束同一人的身份系数不变，idi是第i个身份系数，centeri是每个人的身份系数中心，训练过程中通过滑动平均进行更新。Ereg计算身份系数和表情系数的正则项损失，是第j个身份基对应的身份系数的标准差、第j个表情基对应的表情系数的标准差，在训练过程中均为常值。
其中，总的损失为上面各损失函数的各项损失乘以各自的损失权重后的总和。训练过程中，三维人脸模型重建装置会在不同阶段设置不同的损失权重。
可见，通过设计端到端的神经网络模型，该神经网络模型包括两个子网络的预训练和联合训练两个阶段，充分利用原始的人脸散斑图像中的信息，以提升深度恢复的效果以及三维人脸模型重建的精度。
针对人脸的特殊性，提出深度学习方法，针对人脸区域的散斑图像进行深度恢复和人脸模型重建，相对于现有方案，也减少了整体流程的耗时。
基于上述实施例的内容，本发明实施例提供了一种三维人脸模型重建装置，该三维人脸模型重建装置用于执行上述方法实施例中提供的三维人脸模型重建方法。参见图3，该装置包括：
输入单元301，用于将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图对应的深度图；其中，所述神经网络模型是基于人脸散斑图像样本和深度图真值标签训练得到的；
重建单元302，用于基于所述深度图进行三维人脸模型重建。
本发明实施例提供的三维人脸模型重建装置，通过训练神经网络模型，使得在将视差图转换为深度图的深度恢复阶段以及三维人脸模型重建阶段，人脸散斑图像中的信息均能够得到充分的利用，从而使得深度恢复的效果以及三维人脸模型重建的精度得到提升。
在一些可选实施例中，输入单元301，用于将所述人脸散斑图像及人脸散斑参考图像输入神经网络模型的第一子网络中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图；将所述视差图输入所述神经网络模型的第二子网络中，得到所述视差图对应的深度图。
进一步的，输入单元301，用于在将所述视差图输入所述神经网络模型的第二子网络后，基于所述视差图的视差值、预先获取到的相机焦距以及预先获取到的相机基线将所述视差图的视差值转换为深度值；基于所述深度值得到深度图。
进一步的，输入单元301，具体用于通过如下公式将所述视差图的视差值转换为深度值：
式中，z表示深度值，d表示视差图的视差值，f表示预先获取到的相机焦距，b表示预先获取到的相机基线。
在一些可选实施例中，重建单元302，用于基于预设分辨率对所述深度图进行裁剪，得到目标深度图；基于所述目标深度图、预先获取到的相机焦距以及预先获取到的相机光心，得到所述目标深度图对应的三维点云数据；对所述三维点云数据进行归一化处理；基于预先获取到的三维人脸重建模型对处理后的所述三维点云数据进行三维人脸模型重建。
在一些可选实施例中，在输入单元301之前，该装置还包括：
检测单元，用于检测相机采集的散斑图像中的人脸边界框；
确定单元，用于根据所述人脸边界框确定所述散斑图像的人脸区域；
处理单元，用于基于所述人脸区域的像素值、所述人脸区域的像素邻域窗口内的平均值、所述人脸区域的像素邻域窗口内的标准差以及预设常量对所述人脸区域的像素值进行处理，得到处理后的所述人脸区域的像素值；
获取单元，用于基于处理后的所述人脸区域的像素值得到所述人脸散斑图像。
进一步的，处理单元，具体用于通过如下公式得到处理后的所述人脸区域的像素值：
式中，表示处理后的所述人脸区域的像素值、I表示所述人脸区域的初始像素值、u表示所述人脸区域的像素邻域窗口内的平均值、σ表示所述人脸区域的像素邻域窗口内的标准差，ε表示预设常量。
在一些可选实施例中，若神经网络模型包括第一子网络和第二子网络，且所述第一子网络为视差回归网络，所述第二子网络为卷积特征提取网络，则在输入单元301之前，该装置还包括：
第一训练单元，用于基于预设的第一损失函数对所述视差回归网络进行训练；
第二训练单元，用于基于预设的第二损失函数对所述卷积特征提取网络进行训练；
联合训练单元，用于联合训练所述视差回归网络和所述卷积特征提取网络。
本发明实施例的三维人脸模型重建装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法：将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图对应的深度图；其中，所述神经网络模型是基于人脸散斑图像样本和深度图真值标签训练得到的；基于所述深度图进行三维人脸模型重建。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图对应的深度图；其中，所述神经网络模型是基于人脸散斑图像样本和深度图真值标签训练得到的；基于所述深度图进行三维人脸模型重建。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种三维人脸模型重建方法，其特征在于，包括：
将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图对应的深度图；其中，所述神经网络模型是基于人脸散斑图像样本和深度图真值标签训练得到的；
基于所述深度图进行三维人脸模型重建；
所述将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，之前包括：
检测相机采集的散斑图像中的人脸边界框；
根据所述人脸边界框确定所述散斑图像的人脸区域；
基于所述人脸区域的像素值、所述人脸区域的像素邻域窗口内的平均值、所述人脸区域的像素邻域窗口内的标准差以及预设常量对所述人脸区域的像素值进行处理，得到处理后的所述人脸区域的像素值；
基于处理后的所述人脸区域的像素值得到所述人脸散斑图像；
所述基于所述人脸区域的初始像素值、所述人脸区域的像素邻域窗口内的平均值、所述人脸区域的像素邻域窗口内的标准差以及预设常量对所述人脸区域的像素值进行处理，得到处理后的所述人脸区域的像素值，包括：
通过如下公式得到处理后的所述人脸区域的像素值：
式中，表示处理后的所述人脸区域的像素值、I表示所述人脸区域的初始像素值、u表示所述人脸区域的像素邻域窗口内的平均值、σ表示所述人脸区域的像素邻域窗口内的标准差，ε表示预设常量。
2.根据权利要求1所述的三维人脸模型重建方法，其特征在于，所述将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图对应的深度图，包括：
将所述人脸散斑图像及人脸散斑参考图像输入神经网络模型的第一子网络中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图；
将所述视差图输入所述神经网络模型的第二子网络中，得到所述视差图对应的深度图。
3.根据权利要求2所述的三维人脸模型重建方法，其特征在于，所述将所述视差图输入所述神经网络模型的第二子网络中，得到所述视差图对应的深度图，包括：
在将所述视差图输入所述神经网络模型的第二子网络后，基于所述视差图的视差值、预先获取到的相机焦距以及预先获取到的相机基线将所述视差图的视差值转换为深度值；
基于所述深度值得到深度图。
4.根据权利要求3所述的三维人脸模型重建方法，其特征在于，所述基于所述视差图的视差值、预先获取到的相机焦距以及预先获取到的相机基线将所述视差图的视差值转换为深度值，包括：
通过如下公式将所述视差图的视差值转换为深度值：
式中，z表示深度值，d表示视差图的视差值，f表示预先获取到的相机焦距，b表示预先获取到的相机基线。
5.根据权利要求1所述的三维人脸模型重建方法，其特征在于，所述基于所述深度图进行三维人脸模型重建，包括：
基于预设分辨率对所述深度图进行裁剪，得到目标深度图；
基于所述目标深度图、预先获取到的相机焦距以及预先获取到的相机光心，得到所述目标深度图对应的三维点云数据；
对所述三维点云数据进行归一化处理；
基于预先获取到的三维人脸重建模型对处理后的所述三维点云数据进行三维人脸模型重建。
6.一种三维人脸模型重建装置，其特征在于，包括：
输入单元，用于将人脸散斑图像及人脸散斑参考图像输入神经网络模型中，得到所述人脸散斑图像和所述人脸散斑参考图像之间的视差图对应的深度图；其中，所述神经网络模型是基于人脸散斑图像样本和深度图真值标签训练得到的；
重建单元，用于基于所述深度图进行三维人脸模型重建；
装置还包括：
检测单元，用于检测相机采集的散斑图像中的人脸边界框；
确定单元，用于根据所述人脸边界框确定所述散斑图像的人脸区域；
处理单元，用于基于所述人脸区域的像素值、所述人脸区域的像素邻域窗口内的平均值、所述人脸区域的像素邻域窗口内的标准差以及预设常量对所述人脸区域的像素值进行处理，得到处理后的所述人脸区域的像素值；
获取单元，用于基于处理后的所述人脸区域的像素值得到所述人脸散斑图像；
处理单元，具体用于通过如下公式得到处理后的所述人脸区域的像素值：
式中，表示处理后的所述人脸区域的像素值、I表示所述人脸区域的初始像素值、u表示所述人脸区域的像素邻域窗口内的平均值、σ表示所述人脸区域的像素邻域窗口内的标准差，ε表示预设常量。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的三维人脸模型重建方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述三维人脸模型重建方法的步骤。
CN202010450377.2A 2020-05-25 2020-05-25 一种三维人脸模型重建方法及装置 Active CN111696196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010450377.2A CN111696196B (zh) 2020-05-25 2020-05-25 一种三维人脸模型重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010450377.2A CN111696196B (zh) 2020-05-25 2020-05-25 一种三维人脸模型重建方法及装置

Publications (2)

Publication Number Publication Date
CN111696196A CN111696196A (zh) 2020-09-22
CN111696196B true CN111696196B (zh) 2023-12-08

Family

ID=72478178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010450377.2A Active CN111696196B (zh) 2020-05-25 2020-05-25 一种三维人脸模型重建方法及装置

Country Status (1)

Country Link
CN (1) CN111696196B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070819B (zh) * 2020-11-11 2021-02-02 湖南极点智能科技有限公司 一种基于嵌入式***的人脸深度图像构建方法及装置
CN112070889B (zh) * 2020-11-13 2021-03-02 季华实验室 一种三维重构方法、装置、***、电子设备及存储介质
CN112487893B (zh) * 2020-11-17 2021-09-14 北京的卢深视科技有限公司 一种三维目标识别方法及***
CN114463826B (zh) * 2022-04-12 2022-08-12 合肥的卢深视科技有限公司 人脸表情识别方法、电子设备及存储介质
CN116188701A (zh) * 2023-04-27 2023-05-30 四川大学 一种基于散斑结构光的三维人脸重建方法及装置
CN117156113B (zh) * 2023-10-30 2024-02-23 南昌虚拟现实研究院股份有限公司 一种基于深度学习散斑相机图像矫正方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480613A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人脸识别方法、装置、移动终端和计算机可读存储介质
CN108764024A (zh) * 2018-04-09 2018-11-06 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及***
WO2019206020A1 (zh) * 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480613A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人脸识别方法、装置、移动终端和计算机可读存储介质
CN108764024A (zh) * 2018-04-09 2018-11-06 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
WO2019196308A1 (zh) * 2018-04-09 2019-10-17 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
WO2019206020A1 (zh) * 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Connecting the Dots: Learning Representations for Active Monocular Depth Estimation;Gernot Riegler等;《IEEE》;第7624-7633 页 *

Also Published As

Publication number Publication date
CN111696196A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111696196B (zh) 一种三维人脸模型重建方法及装置
Yeh et al. Multi-scale deep residual learning-based single image haze removal via image decomposition
US11232286B2 (en) Method and apparatus for generating face rotation image
JP6798183B2 (ja) 画像解析装置、画像解析方法およびプログラム
EP4099220A1 (en) Processing apparatus, method and storage medium
US20230021661A1 (en) Forgery detection of face image
CN112837344B (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
EP4060560A1 (en) Systems, methods, and storage media for generating synthesized depth data
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
Xiao et al. Single image dehazing based on learning of haze layers
CN112418195B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN111915618B (zh) 基于峰值响应增强的实例分割算法、计算设备
CN111680573B (zh) 人脸识别方法、装置、电子设备和存储介质
CN112686952A (zh) 一种图像光流计算***、方法及应用
Ukwuoma et al. Image inpainting and classification agent training based on reinforcement learning and generative models with attention mechanism
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
AU2020436768B2 (en) Joint rotation inferences based on inverse kinematics
Ge et al. An improved U-net architecture for image dehazing
CN112115786A (zh) 基于注意力U-net的单目视觉里程计方法
CN116091891A (zh) 图像识别方法及***
CN113657403B (zh) 图像处理方法及图像处理网络的训练方法
CN114820755A (zh) 一种深度图估计方法及***
CN115294375B (zh) 一种散斑深度估算方法、***、电子设备及存储介质
CN116188918B (zh) 图像去噪方法、网络模型的训练方法、装置、介质和设备
Sami et al. Improved semantic inpainting architecture augmented with a facial landmark detector.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220706

Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei City, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant