CN115239861A - 人脸数据增强方法、装置、计算机设备和存储介质 - Google Patents

人脸数据增强方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115239861A
CN115239861A CN202110440730.3A CN202110440730A CN115239861A CN 115239861 A CN115239861 A CN 115239861A CN 202110440730 A CN202110440730 A CN 202110440730A CN 115239861 A CN115239861 A CN 115239861A
Authority
CN
China
Prior art keywords
human face
dimensional
image
face
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110440730.3A
Other languages
English (en)
Inventor
邹超洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202110440730.3A priority Critical patent/CN115239861A/zh
Publication of CN115239861A publication Critical patent/CN115239861A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种人脸数据增强方法，获取人脸2D图像，对人脸2D图像进行三维重建，得到人脸三维模型，对人脸三维模型进行纹理贴合以及光照渲染，在光照渲染过程中基于预设虚拟场景光源进行，而预设虚拟场景光源可以根据实际需要设定光照强度和光照方向，从而使光照渲染的结果适应不同的真实应用场景，得到适应场景丰富的人脸三维模型，在将该渲染后的人脸三维模型重投影至人脸2D图像，融合其中的人脸区域与背景区域，得到增强的人脸2D图像，在该增强的人脸2D图像中携带丰富多样的人脸数据，可以有效扩充人脸训练数据集，即可以支持准确的人脸三维重建。

Description

人脸数据增强方法、装置、计算机设备和存储介质
技术领域
本申请涉及人脸识别技术领域，特别是涉及一种人脸数据增强方法、装置、计算机设备和存储介质。
背景技术
人脸作为最重要的生物特征之一，涵盖丰富的面部特征和信息差异，已经广泛应用在各种识别场景中，可以用来进行身份确认和信息传递等。目前的人脸识别方案，大多利用海量人脸数据训练神经网络，在一般场景的人脸识别问题上面已经取得了很高的精度，并且已经广泛应用在产品中。然而，实际场景下的人脸识别面临很多挑战，比如人脸大小、模糊、噪声、光照等因素。存在这些干扰因素的场景中，人脸数据质量受损，识别准确率会受到不同程度的影响，导致应用场景受限。因此，让训练出来的人脸识别神经网络能够更好的适应不同场景，能够大幅提升人脸识别在一般化场景识别的准确率。
数据增强是目前深度学习中，用于增强模型的泛化性能，适应不同场景的通用方法之一。通过对训练数据进行预处理，模拟真实场景的人脸光照、模糊、噪声等情况，让模型训练泛化性更好，能够更好地适应不同的场景。目前对于人脸数据增强的研究，主要集中在人脸大小、旋转、噪声等，对于不同场景的光照问题研究较少。现实世界中的光照场景非常复杂，存在着不同方向和强度的光照，例如逆光、暗光、侧光等场景。现有的光照处理算法，在对图像的光照进行全局或局部增强的同时，较少的考虑到不同光照方向的场景。
三维重建技术是一种非常重要的能够还原场景三维信息的方法，目前已经广泛应用于人脸三维重建等，通过人脸三维重建来构建人脸识别模型。在人脸三维重建过程中需要大量的人脸数据，然而，在一般情况采集得到的人脸数据是比较有限的，因此，为确保人脸三维重建能够得到准确的人脸模型，目前急需一种人脸数据增强方案。
发明内容
基于此，有必要针对上述技术问题，提供一种支持准确人脸三维重建的人脸数据增强方法、装置、计算机设备和存储介质。
一种人脸数据增强方法，方法包括：
获取人脸2D图像；
对人脸2D图像进行三维重建，得到人脸三维模型；
对人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型；
将渲染后的人脸三维模型重投影至人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像。
在其中一个实施例中，对人脸2D图像进行三维重建，得到人脸三维模型包括：
通过3DMM模型对人脸2D图像进行三维重建，得到人脸三维模型。
在其中一个实施例中，对人脸2D图像进行三维重建，得到人脸三维模型包括：
获取人脸2D图像的关键点以及边界点，生成优化点集；
查询在3D模型中关键点对应的三维坐标信息以及优化点集对应的三维坐标信息；
根据关键点对应的三维坐标信息，求解三维空间到二维平面的初始变换参数；
根据初始变换参数以及优化点集对应的三维坐标信息，求解三维空间到二维平面的目标变换参数；
根据目标变换参数，构建人脸2D图像对应的人脸三维模型。
在其中一个实施例中，对人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型包括：
提取人脸2D图像中纹理信息；
通过双线性插值法，将纹理信息填充至人脸三维模型中；
采用预设虚拟场景光源对纹理信息填充后的人脸三维模型进行打光，得到渲染后的人脸三维模型。
在其中一个实施例中，预设虚拟场景光源为白色平行光源；采用预设虚拟场景光源对纹理信息填充后的人脸三维模型进行打光，得到渲染后的人脸三维模型包括：
根据预设虚拟场景光源在三维空间的位置以及在三维空间三个方向上的强度，计算纹理信息填充后的人脸三维模型中被照亮点；
根据被照亮点的纹理信息，得到被照亮点对应的反射率；
根据反射率以及预设虚拟场景光源在三维空间三个方向上的光照强度，得到被照亮点对应的像素值；
根据被照亮点对应的像素值，得到渲染后的人脸三维模型。
在其中一个实施例中，将渲染后的人脸三维模型重投影至人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像包括：
将渲染后的人脸三维模型重投影至人脸2D图像，得到投影后的人脸2D图像；
采用泊松融合方式融合投影后的人脸2D图像中人脸区域与背景区域，得到增强的人脸2D图像。
在其中一个实施例中，将渲染后的人脸三维模型重投影至人脸2D图像包括：
获取对人脸2D图像进行三维重建过程中三维空间到二维平面对应的空间变换关系；
根据空间变换关系，将渲染后的人脸三维模型重投影至人脸2D图像。
一种人脸数据增强装置，装置包括：
2D图像获取模块，用于获取人脸2D图像；
三维重建模块，用于对人脸2D图像进行三维重建，得到人脸三维模型；
渲染模块，用于对人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型；
增强模块，用于将渲染后的人脸三维模型重投影至人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取人脸2D图像；
对人脸2D图像进行三维重建，得到人脸三维模型；
对人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型；
将渲染后的人脸三维模型重投影至人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取人脸2D图像；
对人脸2D图像进行三维重建，得到人脸三维模型；
对人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型；
将渲染后的人脸三维模型重投影至人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像。
上述人脸数据增强方法、装置、计算机设备和存储介质，获取人脸2D图像，对人脸2D图像进行三维重建，得到人脸三维模型，对人脸三维模型进行纹理贴合以及光照渲染，在光照渲染过程中基于预设虚拟场景光源进行，而预设虚拟场景光源可以根据实际需要设定光照强度和光照方向，从而使光照渲染的结果适应不同的真实应用场景，得到适应场景丰富的人脸三维模型，在将该渲染后的人脸三维模型重投影至人脸2D图像，融合其中的人脸区域与背景区域，得到增强的人脸2D图像，在该增强的人脸2D图像中携带丰富多样的人脸数据，可以有效扩充人脸训练数据集，即可以支持准确的人脸三维重建。
附图说明
图1为一个实施例中人脸数据增强方法的应用环境图；
图2为一个实施例中人脸数据增强方法的流程示意图；
图3为另一个实施例中人脸数据增强方法的流程示意图；
图4为其中一个应用实例中人脸数据增强方法处理流程示意图；
图5为一个实施例中人脸数据增强装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的人脸数据增强方法，可以应用于如图1所示的应用环境中。其中，终端102将采集到的人脸2D图像上传至服务器104，服务器104获取人脸2D图像，对人脸2D图像进行三维重建，得到人脸三维模型；对人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型；将渲染后的人脸三维模型重投影至人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像。进一步的，服务器104还可以采用增强的人脸2D图像进行人脸三维重建，构建人脸三维模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种人脸数据增强方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S100：获取人脸2D图像。
人脸2D图像可以是直接采集得到的，或者是由外部终端采集之后上传得到的，还可以是从第三方下载得到(例如从互联网中下载)。在实际应用中，可以是智能手机拍摄一张甲的人脸2D图像，将该人脸2D图像上传至服务器，服务器即得到甲的人脸2D图像。
S200：对人脸2D图像进行三维重建，得到人脸三维模型。
根据人脸2D图像中关键点和边界等信息与初始开源的三维模型匹配，以进行三维重建，得到人脸三维模型。具体来说，初始开源的三维模型可以采用目前已有开源的三维模型，例如可以采用3DMM模型，服务器针对获取的人脸2D图像，根据其中携带的关键点以及边界等信息与3DMM模型进行匹配优化，以进行三维重建，得到重建的人脸三维模型。
S300：对人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型。
在重建得到人脸三维模型以及对应的二维平面与三维空间变换关系之后，可以将二维图像的纹理(颜色)信息映射至三维模型，即对人脸三维模型进行纹理贴合。另外还进行基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型。预设虚拟场景光源是预先设定的虚拟场景光源，其具体可以根据实际需要设定光照强度和光照方向，以模拟在某个场景中的光源，以该预设虚拟场景光源对纹理贴合后的人脸三维模型进行光照渲染处理，得到渲染后的人脸三维模型。非必要的，可以通过设置、改变光照强度以及光照方向对纹理贴合后的人脸三维模型进行多次光照渲染处理，采集得到在不同光照强度以及光照方向下渲染后的人脸三维模型数据。这样可以充分模拟在实际应用中不同应用场景下光源照射人脸(打光)对应的人脸三维模型数据。
S400：将渲染后的人脸三维模型重投影至人脸2D图像，并将重投影后的人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像。
在打光渲染生成人脸三维模型之后，需要进一步生成打光渲染后的二维图像，以增强人脸2D图像数据，支持后续准确重建人脸三维模型。在这里，将渲染后的人脸三维模型重投影至人脸2D图像中，得到重投影后的人脸2D图像，在该重投影后的人脸2D图像中包含有由三维空间重投影至二维平面的人脸区域以及在S100得到的人脸2D图像(原图)中背景区域，由于空间变换参数求解的精度以及打光渲染带来的亮度差别导致重投影生成的人脸2D图像中人脸区域与背景区域不能很好贴合，因此，这里还需要再次进行人脸区域与背景区域融合，得到增强的人脸2D图像。
在其中一个实施例中，将渲染后的人脸三维模型重投影至人脸2D图像包括：
获取对人脸2D图像进行三维重建过程中三维空间到二维平面对应的空间变换关系；根据空间变换关系，将渲染后的人脸三维模型重投影至人脸2D图像。
在这里，将渲染后的人脸三维模型重投影至人脸2D图像，这个重投影可以理解为S200中重建三维模型的逆过程，即在S200中是将人脸2D图像中的关键点以及边界点等数据匹配到初始开源三维模型中，以构建人脸三维模型，即实现二维平面与三维空间的转换；而在这里将经过纹理贴合和打光渲染，将人脸三维模型中数据重投影至人脸2D图像，实现三维空间重投影至二维平面的转换，这两个空间转换对应的空间变换参数可以是相同的。
进一步的，由于空间变换参数求解的精度以及打光渲染带来的亮度差别，重投影后生成的人脸2D图像中人脸区域往往不能和原图(S100得到的人脸2D图像)中背景区域很好贴合，在这里将重投影后的人脸2D图像中人脸区域与背景区域融合，有效融合人脸区域和背景区域。非必要的，这个融合过程可以选择泊松融合，或者选择其他融合的方式，例如羽化融合等，采用羽化融合其融合效果可能比泊松融合差一些，但是其融合速度更快。
上述人脸数据增强方法，获取人脸2D图像，对人脸2D图像进行三维重建，得到人脸三维模型，对人脸三维模型进行纹理贴合以及光照渲染，在光照渲染过程中基于预设虚拟场景光源进行，而预设虚拟场景光源可以根据实际需要设定光照强度和光照方向，从而使光照渲染的结果适应不同的真实应用场景，得到适应场景丰富的人脸三维模型，在将该渲染后的人脸三维模型重投影至人脸2D图像，融合其中的人脸区域与背景区域，得到增强的人脸2D图像，在该增强的人脸2D图像中携带丰富多样的人脸数据，可以有效扩充人脸训练数据集，即可以支持准确的人脸三维重建。
在其中一个实施例中，对人脸2D图像进行三维重建，得到人脸三维模型包括：
通过3DMM模型对人脸2D图像进行三维重建，得到人脸三维模型。
3DMM是一个开源的人脸标准模型，通过构造二维图像和3DMM模型的匹配点，并建立优化目标，就可以利用3DMM模型生成二维图像中的人脸对应的人脸三维模型。
如图3所示，在其中一个实施例中，S200包括：
S210：获取人脸2D图像的关键点以及边界点，生成优化点集。
人脸2D图像中存在的特征点主要包括关键点和边界点，其中关键点可以利用人脸关键点检测算法检测得到，一般通过人脸关键点检测算法可以检测出人脸的68个关键点。边界点是对人脸2D图像中进行边界提取得到的点。进一步的，关键点是用于表征人脸的关键数据，基于关键点可以准确构建得到人脸三维模型，但是由于关键点数量较少，得到人脸三维模型的泛化性较差，为了丰富构建人脸三维模型的数据量，在这里还获取边界点，在后续处理中，为确保模型构建的准确先以关键点来得到二维平面与三维空间的初始变换参数，再基于关键点+边界点的优化点集以及该初始变换参数，进一步优化求解得到二维平面与三维空间的目标变换参数，从而构建准确且泛化性佳的人脸三维模型。
S220：查询在3D模型中关键点对应的三维坐标信息以及优化点集对应的三维坐标信息。
基于已述的整体处理构思，先查询在3D模型中关键点对应的三维坐标信息以及优化点集对应的三维坐标信息。具体来说，这里的3D模型是一个初始的开源3D模型，例如采用3DMM模型，该3D模型本身提供了这些关键点的三维坐标信息，以及优化点集对应的三维坐标信息，这样就得到了关键点以及优化点集在二维平面(人脸2D图像)与三维空间(3D模型)的对应关系。
S230：根据关键点对应的三维坐标信息，求解三维空间到二维平面的初始变换参数。
基于关键点的对应关系来求解三维空间到二维平面的初始变换参数。这个求解过程具体包括以下步骤：查询在3D模型中关键点对应的三维坐标信息，得到关键点的由三维空间投影至二维平面的对应关系，根据关键点、关键点对应的三维坐标信息以及对应关系，构建在3D模型中三维点投影到二维平面与二维平面中对应点之间的欧式距离函数，求解最小化欧式距离函数下由三维空间到二维平面的初始变换参数。
在实际应用中，基于关键点对应的三维坐标信息得到关键点的三维空间到二维平面对应关系，构建一个优化目标为3D模型的三维点投影到二维平面上，与二维平面对应点之间的距离约束。详细来说，定义3D模型上面的第i个人脸关键点的三维坐标为Xi，二维图像(人脸2D图像)上对应的二维点坐标为xi，三维到二维的空间变换参数为旋转矩阵R，平移矩阵T和缩放系数s，以及3D模型的形状系数α。3D模型中，对于每个点的空间位置表示为，主成分P与系数α的乘积加上均值f，因此点Xi可以表示为Piα+fi。P与f在3D模型中已经给出。将三维点到二维点的投影过程记作SOP，参数为R，T，s，因此得到的二维点坐标可以表示为SOP[Piα+fi,R,T,s]，构造一个优化目标为3D模型中三维点投影后的二维坐标，与二维图像(人脸2D图像)的对应点之间的欧式距离Elmk，表达式为：
Figure BDA0003034955870000091
在上述公式(1)中L为对应点的个数。求解最小化(1)，可以得到一组初始解α0，R0，T0，s0，即得到一组三维点到二维点的初始变换参数。
S240：根据初始变换参数以及优化点集对应的三维坐标信息，求解三维空间到二维平面的目标变换参数。
另外，为了增加数据的多样性，以使最终得到的人脸三维模型具有较佳的泛化性，在这里也对人脸2D图像中人脸边界进行提取，采取上述针对关键点相同的处理方式，将对加入有边界点的优化点集进行相同的处理，得到新的三维点和二维点的对应关系，再以初始变换参数作为初始解，来再次求解优化点集对应的上述公式(1)，得到目标变换参数，从而得到三维模型与二维图像的空间变换对应关系。
S250：根据目标变换参数，构建人脸2D图像对应的人脸三维模型。
目标变换参数表征准确的三维模型与二维图像的空间变换对应关系，基于该数据可以准确构建得到人脸三维模型。
如图3所示，在其中一个实施例中，S300包括：
S320：提取人脸2D图像中纹理信息；
S340：通过双线性插值法，将纹理信息填充至人脸三维模型中；
S360：采用预设虚拟场景光源对纹理信息填充后的人脸三维模型进行打光，得到渲染后的人脸三维模型。
得到重建的人脸三维模型和对应的空间变换关系后，可以将二维图像的纹理(颜色)信息映射到三维模型上。由于映射关系计算得到的坐标点通常为浮点数，无法与整数坐标位置对应，因此采用双线性插值的方式得到三维点的纹理信息。具体做法是，如果要填充某一个三维点Xi的纹理信息，先通过SOP过程将其映射到二维图像上，得到一组浮点坐标。根据浮点坐标的位置，确定邻域四个像素点及其权重(浮点坐标的浮点部分离整数点的距离即为权重)，插值得到当前位置的颜色信息，也就是对应的三维点Xi的颜色信息。双线性插值的表达为：
f＝w11×P11+w12×P12+w21×P21+w22×P22 (2)
上述公式(2)中下标11，12，21，22分别代表浮点坐标对应的左上角、右上角、左下角和右下角点，w为由浮点坐标位置计算得到的权重，P为对应点的像素值，f为插值计算得到的结果。完成三维模型的纹理信息填充后，获取预先设置的虚拟场景光源，在该预设虚拟场景光源中光照强度和光照方向是按照实际需要进行设定的，基于设定的光照强度和光照方向对三维模型进行打光，得到渲染后的人脸三维模型。在这里，基于预设虚拟场景光源进行打光，通过打光来实现数据增强，为人脸识别提供不同打光方向的数据，从而最终可以得到增强的人脸2D图像。
在其中一个实施例中，预设虚拟场景光源为白色平行光源；采用预设虚拟场景光源对纹理信息填充后的人脸三维模型进行打光，得到渲染后的人脸三维模型包括：
根据预设虚拟场景光源在三维空间的位置以及在三维空间三个方向上的强度，计算纹理信息填充后的人脸三维模型中被照亮点；根据被照亮点的纹理信息，得到被照亮点对应的反射率；根据反射率以及预设虚拟场景光源在三维空间三个方向上的光照强度，得到被照亮点对应的像素值；根据被照亮点对应的像素值，得到渲染后的人脸三维模型。
在打光的过程中，需要同时考虑光源的强度、方向和人脸模型的形状以及表面反射率。在本实施例中，预设虚拟场景光源为白色平行光源，因此纹理信息可以直接作为模型的反射率。设置光源在三维空间的位置为[X，Y，Z]，其在三个方向上的强度为s＝[s1，s2，s3]。这样就可以计算三维模型中哪些点可以被光源照亮，并且通过反射率和光强计算照亮后的像素值。计算公式为
Figure BDA0003034955870000111
其中P’为打光后的像素值，P为原像素值，
Figure BDA0003034955870000112
为当前三维点所在平面的单位法向量。
在实际应用中，本申请人脸数据增强方法整体流程如图4所示，输入一张人脸2D图像，根据关键点和边界等信息与3DMM模型进行匹配并优化，得到重建的人脸三维模型，对其纹理信息贴合后，进行不同角度和强度的光照渲染，然后将三维模型投影回二维图像，最后利用图像融合将人脸区域与背景区域融合，生成最终打光后的图像，实现人脸2D图像增强。
整体来说，本申请人脸数据增强方法在实际应用中具有以下特点和技术上的优势：
(1)、重点解决人脸的光照数据增强问题，提出了一种可以生成任意光照场景人脸图像的方案。数据增强可以有效的扩充人脸训练数据集，使得训练出来的模型更加鲁棒，能够适应各种不同的真实场景，真实场景的光照情况非常复杂，本申请的方案能够很有效的生成各种不同光照场景的数据。
(2)、提出了基于虚拟场景光源的方法，设定一个特定位置和强度的光源，对于重建的三维模型进行打光，通过反射率关系计算，得到光照增强后的像素值。
(3)、结合3DMM的三维重建方法和泊松融合，有效的融合渲染后的人脸图像，使得生成的图像更加自然。
应该理解的是，虽然上述各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
如图5所示，本申请还提供一种人脸数据增强装置，装置包括：
2D图像获取模块100，用于获取人脸2D图像；
三维重建模块200，用于对人脸2D图像进行三维重建，得到人脸三维模型；
渲染模块300，用于对人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型；
增强模块400，用于将渲染后的人脸三维模型重投影至人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像。
上述人脸数据增强装置，获取人脸2D图像，对人脸2D图像进行三维重建，得到人脸三维模型，对人脸三维模型进行纹理贴合以及光照渲染，在光照渲染过程中基于预设虚拟场景光源进行，而预设虚拟场景光源可以根据实际需要设定光照强度和光照方向，从而使光照渲染的结果适应不同的真实应用场景，得到适应场景丰富的人脸三维模型，在将该渲染后的人脸三维模型重投影至人脸2D图像，融合其中的人脸区域与背景区域，得到增强的人脸2D图像，在该增强的人脸2D图像中携带丰富多样的人脸数据，可以有效扩充人脸训练数据集，即可以支持准确的人脸三维重建。
在其中一个实施例中，三维重建模块200还用于通过3DMM模型对人脸2D图像进行三维重建，得到人脸三维模型。
在其中一个实施例中，三维重建模块200还用于获取人脸2D图像的关键点以及边界点，生成优化点集；查询在3D模型中关键点对应的三维坐标信息以及优化点集对应的三维坐标信息；根据关键点对应的三维坐标信息，求解三维空间到二维平面的初始变换参数；根据初始变换参数以及优化点集对应的三维坐标信息，求解三维空间到二维平面的目标变换参数；根据目标变换参数，构建人脸2D图像对应的人脸三维模型。
在其中一个实施例中，渲染模块300还用于提取人脸2D图像中纹理信息；通过双线性插值法，将纹理信息填充至人脸三维模型中；采用预设虚拟场景光源对纹理信息填充后的人脸三维模型进行打光，得到渲染后的人脸三维模型。
在其中一个实施例中，预设虚拟场景光源为白色平行光源；渲染模块300还用于根据预设虚拟场景光源在三维空间的位置以及在三维空间三个方向上的强度，计算纹理信息填充后的人脸三维模型中被照亮点；根据被照亮点的纹理信息，得到被照亮点对应的反射率；根据反射率以及预设虚拟场景光源在三维空间三个方向上的光照强度，得到被照亮点对应的像素值；根据被照亮点对应的像素值，得到渲染后的人脸三维模型。
在其中一个实施例中，增强模块400还用于将渲染后的人脸三维模型重投影至人脸2D图像，得到投影后的人脸2D图像；采用泊松融合方式融合投影后的人脸2D图像中人脸区域与背景区域，得到增强的人脸2D图像。
在其中一个实施例中，增强模块400还用于获取对人脸2D图像进行三维重建过程中三维空间到二维平面对应的空间变换关系；根据空间变换关系，将渲染后的人脸三维模型重投影至人脸2D图像。
关于人脸数据增强装置的具体实施例可以参见上文中对于人脸数据增强方法的实施例，在此不再赘述。上述人脸数据增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设虚拟场景光源相关的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸数据增强方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取人脸2D图像；
对人脸2D图像进行三维重建，得到人脸三维模型；
对人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型；
将渲染后的人脸三维模型重投影至人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过3DMM模型对人脸2D图像进行三维重建，得到人脸三维模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取人脸2D图像的关键点以及边界点，生成优化点集；查询在3D模型中关键点对应的三维坐标信息以及优化点集对应的三维坐标信息；根据关键点对应的三维坐标信息，求解三维空间到二维平面的初始变换参数；根据初始变换参数以及优化点集对应的三维坐标信息，求解三维空间到二维平面的目标变换参数；根据目标变换参数，构建人脸2D图像对应的人脸三维模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
提取人脸2D图像中纹理信息；通过双线性插值法，将纹理信息填充至人脸三维模型中；采用预设虚拟场景光源对纹理信息填充后的人脸三维模型进行打光，得到渲染后的人脸三维模型。
在其中一个实施例中，预设虚拟场景光源为白色平行光源；处理器执行计算机程序时还实现以下步骤：
根据预设虚拟场景光源在三维空间的位置以及在三维空间三个方向上的强度，计算纹理信息填充后的人脸三维模型中被照亮点；根据被照亮点的纹理信息，得到被照亮点对应的反射率；根据反射率以及预设虚拟场景光源在三维空间三个方向上的光照强度，得到被照亮点对应的像素值；根据被照亮点对应的像素值，得到渲染后的人脸三维模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将渲染后的人脸三维模型重投影至人脸2D图像，得到投影后的人脸2D图像；采用泊松融合方式融合投影后的人脸2D图像中人脸区域与背景区域，得到增强的人脸2D图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取对人脸2D图像进行三维重建过程中三维空间到二维平面对应的空间变换关系；根据空间变换关系，将渲染后的人脸三维模型重投影至人脸2D图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取人脸2D图像；
对人脸2D图像进行三维重建，得到人脸三维模型；
对人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型；
将渲染后的人脸三维模型重投影至人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过3DMM模型对人脸2D图像进行三维重建，得到人脸三维模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取人脸2D图像的关键点以及边界点，生成优化点集；查询在3D模型中关键点对应的三维坐标信息以及优化点集对应的三维坐标信息；根据关键点对应的三维坐标信息，求解三维空间到二维平面的初始变换参数；根据初始变换参数以及优化点集对应的三维坐标信息，求解三维空间到二维平面的目标变换参数；根据目标变换参数，构建人脸2D图像对应的人脸三维模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
提取人脸2D图像中纹理信息；通过双线性插值法，将纹理信息填充至人脸三维模型中；采用预设虚拟场景光源对纹理信息填充后的人脸三维模型进行打光，得到渲染后的人脸三维模型。
在其中一个实施例中，预设虚拟场景光源为白色平行光源；计算机程序被处理器执行时还实现以下步骤：
根据预设虚拟场景光源在三维空间的位置以及在三维空间三个方向上的强度，计算纹理信息填充后的人脸三维模型中被照亮点；根据被照亮点的纹理信息，得到被照亮点对应的反射率；根据反射率以及预设虚拟场景光源在三维空间三个方向上的光照强度，得到被照亮点对应的像素值；根据被照亮点对应的像素值，得到渲染后的人脸三维模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将渲染后的人脸三维模型重投影至人脸2D图像，得到投影后的人脸2D图像；采用泊松融合方式融合投影后的人脸2D图像中人脸区域与背景区域，得到增强的人脸2D图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取对人脸2D图像进行三维重建过程中三维空间到二维平面对应的空间变换关系；根据空间变换关系，将渲染后的人脸三维模型重投影至人脸2D图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸数据增强方法，其特征在于，所述方法包括：
获取人脸2D图像；
对所述人脸2D图像进行三维重建，得到人脸三维模型；
对所述人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型；
将所述渲染后的人脸三维模型重投影至所述人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述人脸2D图像进行三维重建，得到人脸三维模型包括：
通过3DMM模型对所述人脸2D图像进行三维重建，得到人脸三维模型。
3.根据权利要求1所述的方法，其特征在于，所述对所述人脸2D图像进行三维重建，得到人脸三维模型包括：
获取所述人脸2D图像的关键点以及边界点，生成优化点集；
查询在3D模型中所述关键点对应的三维坐标信息以及所述优化点集对应的三维坐标信息；
根据所述关键点对应的三维坐标信息，求解三维空间到二维平面的初始变换参数；
根据所述初始变换参数以及所述优化点集对应的三维坐标信息，求解三维空间到二维平面的目标变换参数；
根据所述目标变换参数，构建所述人脸2D图像对应的人脸三维模型。
4.根据权利要求1所述的方法，其特征在于，所述对所述人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型包括：
提取所述人脸2D图像中纹理信息；
通过双线性插值法，将所述纹理信息填充至所述人脸三维模型中；
采用预设虚拟场景光源对纹理信息填充后的所述人脸三维模型进行打光，得到渲染后的人脸三维模型。
5.根据权利要求4所述的方法，其特征在于，所述预设虚拟场景光源为白色平行光源；
所述采用预设虚拟场景光源对纹理信息填充后的所述人脸三维模型进行打光，得到渲染后的人脸三维模型包括：
根据所述预设虚拟场景光源在三维空间的位置以及在三维空间三个方向上的强度，计算纹理信息填充后的所述人脸三维模型中被照亮点；
根据所述被照亮点的纹理信息，得到所述被照亮点对应的反射率；
根据所述反射率以及所述预设虚拟场景光源在三维空间三个方向上的光照强度，得到所述被照亮点对应的像素值；
根据所述被照亮点对应的像素值，得到渲染后的人脸三维模型。
6.根据权利要求1所述的方法，其特征在于，所述将所述渲染后的人脸三维模型重投影至所述人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像包括：
将所述渲染后的人脸三维模型重投影至所述人脸2D图像，得到投影后的人脸2D图像；
采用泊松融合方式融合所述投影后的人脸2D图像中人脸区域与背景区域，得到增强的人脸2D图像。
7.根据权利要求6所述的方法，其特征在于，所述将所述渲染后的人脸三维模型重投影至所述人脸2D图像包括：
获取对所述人脸2D图像进行三维重建过程中三维空间到二维平面对应的空间变换关系；
根据所述空间变换关系，将所述渲染后的人脸三维模型重投影至所述人脸2D图像。
8.一种人脸数据增强装置，其特征在于，所述装置包括：
2D图像获取模块，用于获取人脸2D图像；
三维重建模块，用于对所述人脸2D图像进行三维重建，得到人脸三维模型；
渲染模块，用于对所述人脸三维模型进行纹理贴合以及基于预设虚拟场景光源的光照渲染处理，得到渲染后的人脸三维模型；
增强模块，用于将所述渲染后的人脸三维模型重投影至所述人脸2D图像，并将重投影的所述人脸2D图像中人脸区域与背景区域融合，得到增强的人脸2D图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110440730.3A 2021-04-23 2021-04-23 人脸数据增强方法、装置、计算机设备和存储介质 Pending CN115239861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110440730.3A CN115239861A (zh) 2021-04-23 2021-04-23 人脸数据增强方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110440730.3A CN115239861A (zh) 2021-04-23 2021-04-23 人脸数据增强方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115239861A true CN115239861A (zh) 2022-10-25

Family

ID=83666546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110440730.3A Pending CN115239861A (zh) 2021-04-23 2021-04-23 人脸数据增强方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115239861A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953330A (zh) * 2023-03-13 2023-04-11 腾讯科技（深圳）有限公司 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN116452459A (zh) * 2023-04-25 2023-07-18 北京优酷科技有限公司 阴影遮罩生成方法、阴影去除方法及装置
CN116580445A (zh) * 2023-07-14 2023-08-11 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、***及电子设备
CN117152733A (zh) * 2023-07-10 2023-12-01 中国地质大学（武汉） 一种地质材料材质识别方法、***及可读存储介质
CN117173314A (zh) * 2023-11-02 2023-12-05 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备、介质及程序产品

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953330A (zh) * 2023-03-13 2023-04-11 腾讯科技（深圳）有限公司 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN115953330B (zh) * 2023-03-13 2023-05-26 腾讯科技（深圳）有限公司 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN116452459A (zh) * 2023-04-25 2023-07-18 北京优酷科技有限公司 阴影遮罩生成方法、阴影去除方法及装置
CN116452459B (zh) * 2023-04-25 2024-05-24 北京优酷科技有限公司 阴影遮罩生成方法、阴影去除方法及装置
CN117152733A (zh) * 2023-07-10 2023-12-01 中国地质大学（武汉） 一种地质材料材质识别方法、***及可读存储介质
CN117152733B (zh) * 2023-07-10 2024-06-21 中国地质大学（武汉） 一种地质材料材质识别方法、***及可读存储介质
CN116580445A (zh) * 2023-07-14 2023-08-11 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、***及电子设备
CN116580445B (zh) * 2023-07-14 2024-01-09 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、***及电子设备
CN117173314A (zh) * 2023-11-02 2023-12-05 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备、介质及程序产品
CN117173314B (zh) * 2023-11-02 2024-02-23 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备、介质及程序产品

Similar Documents

Publication Publication Date Title
CN109859098B (zh) 人脸图像融合方法、装置、计算机设备及可读存储介质
WO2020192568A1 (zh) 人脸图像生成方法、装置、设备及存储介质
CN111127304B (zh) 跨域图像转换
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
CN115239861A (zh) 人脸数据增强方法、装置、计算机设备和存储介质
JP7142162B2 (ja) 姿勢変動３ｄ顔面属性生成
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
CN111598998A (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN113628327B (zh) 一种头部三维重建方法及设备
CN109711419A (zh) 图像处理方法、装置、计算机设备及存储介质
CN112233212A (zh) 人像编辑与合成
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113657357B (zh) 图像处理方法、装置、电子设备及存储介质
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
US10885708B2 (en) Automated costume augmentation using shape estimation
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
CN113822965A (zh) 图像渲染处理方法、装置和设备及计算机存储介质
CN111640172A (zh) 一种基于生成对抗网络的姿态迁移方法
CN113658324A (zh) 图像处理方法及相关设备、迁移网络训练方法及相关设备
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN113808277A (zh) 一种图像处理方法及相关装置
CN115984447A (zh) 图像渲染方法、装置、设备和介质
CN116958362A (zh) 图像渲染方法、装置、设备和存储介质
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
US11361495B1 (en) System and method for texture mapping based on guidance prior

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination