CN114663570A - 贴图生成方法、装置、电子装置及可读存储介质 - Google Patents

贴图生成方法、装置、电子装置及可读存储介质 Download PDF

Info

Publication number
CN114663570A
CN114663570A CN202210308961.3A CN202210308961A CN114663570A CN 114663570 A CN114663570 A CN 114663570A CN 202210308961 A CN202210308961 A CN 202210308961A CN 114663570 A CN114663570 A CN 114663570A
Authority
CN
China
Prior art keywords
face image
illumination
balance model
map
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210308961.3A
Other languages
English (en)
Inventor
梁彦军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202210308961.3A priority Critical patent/CN114663570A/zh
Publication of CN114663570A publication Critical patent/CN114663570A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种贴图生成方法、装置、电子装置及可读存储介质，方法包括步骤：基于光照均衡的第一人脸图像生成光照不均衡的第二人脸图像，并通过第一人脸图像与第二人脸图像对初始光照均衡模型进行训练得到训练完成的光照均衡模型；接收第三人脸图像，并生成与第三人脸图像对应的第三纹理贴图；获取训练完成的光照均衡模型，并将第三人脸图像以及第三纹理贴图作为训练完成的光照均衡模型的输入；运行训练完成的光照均衡模型，得到光照均衡的目标纹理贴图。通过训练完成的光照均衡模型对第三纹理贴图进行光照校正，使得能够得到光照均衡的目标纹理贴图，从而降低了环境光照对于人脸图像的影响，进而能够基于目标纹理贴图生成显示良好的虚拟形象。

Description

贴图生成方法、装置、电子装置及可读存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种贴图生成方法、装置、电子装置及可读存储介质。
背景技术
随着人工智能、VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)等技术的发展，越来越多的应用软件支持用户创建个性化的虚拟形象，给用户带来了更加多样化且更具沉浸感的娱乐及社交方式。而在其中不可或缺的一项技术就是三维头部重建；在三维头部重建中，通常通过生成与用户人脸对应的纹理贴图，进而根据纹理贴图得到用户对应的虚拟形象；然而这种方式得到的纹理贴图容易受到环境光照的影响，生成的纹理通常带有阴影、高光等不均衡光照，使得虚拟形象显示异常。
发明内容
本发明提供了一种贴图生成方法、装置、电子装置及可读存储介质，旨在解决现有技术中纹理贴图受到环境光照影响导致虚拟形象显示异常的技术问题。
为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供了一种贴图生成方法，所述方法包括步骤：
基于光照均衡的第一人脸图像生成光照不均衡的第二人脸图像，并通过所述第一人脸图像与所述第二人脸图像对初始光照均衡模型进行训练得到训练完成的光照均衡模型；
接收第三人脸图像，并生成与所述第三人脸图像对应的第三纹理贴图；
获取训练完成的光照均衡模型，并将所述第三人脸图像以及所述第三纹理贴图作为所述训练完成的光照均衡模型的输入；
运行所述训练完成的光照均衡模型，得到光照均衡的目标纹理贴图。
可选地，所述基于光照均衡的第一人脸图像生成光照不均衡的第二人脸图像，并通过所述第一人脸图像与所述第二人脸图像对初始光照均衡模型进行训练得到训练完成的光照均衡模型的步骤包括：
从数据库中获取光照均衡的第一人脸图像，并对所述第一人脸图像进行重照明操作得到光照不均衡的第二人脸图像；
生成与所述第一人脸图像对应的第一纹理贴图以及与所述第二人脸图像对应的第二纹理贴图，并采用所述第一纹理贴图、所述第二人脸图像以及所述第二纹理贴图构建训练样本；
获取初始光照均衡模型，并通过所述训练样本对所述初始光照均衡模型进行训练，得到训练完成的光照均衡模型。
可选地，所述从数据库中获取光照均衡的第一人脸图像的步骤包括：
对于数据库中的每个第四人脸图像，计算所述第四人脸图像的亮度均值；
判断所述亮度均值是否大于预设亮度阈值；
若所述亮度均值大于预设亮度阈值，则将所述亮度均值对应的所述第四人脸图像作为所述第一人脸图像。
可选地，所述计算所述第四人脸图像的亮度均值的步骤包括：
分别计算所述第四人脸图像中各像素点对应的亮度值；
对各所述亮度值进行平均值计算得到所述亮度均值。
可选地，所述计算所述第四人脸图像的亮度均值的步骤包括：
分别计算所述第四人脸图像中各像素点对应的亮度值；
对各所述亮度值进行标准差计算得到所述亮度均值。
可选地，所述通过所述训练样本对所述初始光照均衡模型进行训练的步骤包括：
将所述第二人脸图像以及所述第二纹理贴图作为所述初始光照均衡模型的输入，并通过所述初始光照均衡模型得到第四纹理贴图；
获取预设损失函数，将所述第一纹理贴图以及所述第四纹理贴图带入到所述预设损失函数中计算得到对抗损失；
通过所述对抗损失对所述初始光照均衡模型进行优化。
可选地，所述生成与所述第三人脸图像对应的第三纹理贴图的步骤包括：
对所述第三人脸图像进行重建操作以得到所述第三人脸图像对应的第一三维人脸模型；
对所述第一三维人脸模型中的像素点进行二维映射得到所述第三纹理贴图。
为实现上述目的，本发明还提供一种贴图生成装置，所述贴图生成装置包括：
第一训练模块，用于基于光照均衡的第一人脸图像生成光照不均衡的第二人脸图像，并通过所述第一人脸图像与所述第二人脸图像对初始光照均衡模型进行训练得到训练完成的光照均衡模型；
第一生成模块，用于接收第三人脸图像，并生成与所述第三人脸图像对应的第三纹理贴图；
第一获取模块，用于获取训练完成的光照均衡模型，并将所述第三人脸图像以及所述第三纹理贴图作为所述训练完成的光照均衡模型的输入；
第一执行模块，用于运行所述训练完成的光照均衡模型，得到光照均衡的目标纹理贴图。
可选地，所述第一训练模块包括：
第一获取子模块，用于从数据库中获取光照均衡的第一人脸图像，并对所述第一人脸图像进行重照明操作得到光照不均衡的第二人脸图像；
第一生成子模块，用于生成与所述第一人脸图像对应的第一纹理贴图以及与所述第二人脸图像对应的第二纹理贴图，并采用所述第一纹理贴图、所述第二人脸图像以及所述第二纹理贴图构建训练样本；
第一训练子模块，用于获取初始光照均衡模型，并通过所述训练样本对所述初始光照均衡模型进行训练，得到训练完成的光照均衡模型。
可选地，所述第一获取子模块包括：
第一计算单元，用于对于数据库中的每个第四人脸图像，计算所述第四人脸图像的亮度均值；
第一判断单元，用于判断所述亮度均值是否大于预设亮度阈值；
第一执行单元，用于若所述亮度均值大于预设亮度阈值，则将所述亮度均值对应的所述第四人脸图像作为所述第一人脸图像。
可选地，所述第一计算单元包括：
第一计算子单元，用于分别计算所述第四人脸图像中各像素点对应的亮度值；
第二计算子单元，用于对各所述亮度值进行平均值计算得到所述亮度均值。
可选地，所述第一计算单元包括：
第四计算子单元，用于分别计算所述第四人脸图像中各像素点对应的亮度值；
第五计算子单元对各所述亮度值进行标准差计算得到所述亮度均值。
可选地，所述第一训练子模块包括：
第二执行单元，用于将所述第二人脸图像以及所述第二纹理贴图作为所述初始光照均衡模型的输入，并通过所述初始光照均衡模型得到第四纹理贴图；
第二计算单元，用于获取预设损失函数，将所述第一纹理贴图以及所述第四纹理贴图带入到所述预设损失函数中计算得到对抗损失；
第二执行单元，用于通过所述对抗损失对所述初始光照均衡模型进行优化。
可选地，所述第一生成模块包括：
第一执行子模块，用于对所述第三人脸图像进行重建操作以得到所述第三人脸图像对应的第一三维人脸模型；
第二执行子模块，用于对所述第一三维人脸模型中的像素点进行二维映射得到所述第三纹理贴图。
为实现上述目的，本发明还提供一种电子装置，所述电子装置包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的贴图生成方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的贴图生成方法的步骤。
本发明提出的一种贴图生成方法、装置、电子装置及可读存储介质，基于光照均衡的第一人脸图像生成光照不均衡的第二人脸图像，并通过所述第一人脸图像与所述第二人脸图像对初始光照均衡模型进行训练得到训练完成的光照均衡模型；接收第三人脸图像，并生成与所述第三人脸图像对应的第三纹理贴图；获取训练完成的光照均衡模型，并将所述第三人脸图像以及所述第三纹理贴图作为所述训练完成的光照均衡模型的输入；运行所述训练完成的光照均衡模型，得到光照均衡的目标纹理贴图。通过训练完成的光照均衡模型对第三人脸图像对应的第三纹理贴图进行光照校正，使得能够得到光照均衡的目标纹理贴图，从而降低了环境光照对于人脸图像的影响，进而能够基于目标纹理贴图生成显示良好的虚拟形象。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明贴图生成方法第一实施例的流程示意图；
图2为本发明贴图生成方法第二实施例中模型训练的流程示意图；
图3为本发明贴图生成方法中光照均衡模型的结构示意图；
图4为本发明贴图生成方法中第一人脸图像的选择流程示意图；
图5为本发明电子装置的模块结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明
实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明提供一种贴图生成方法，参照图1，图1为本发明贴图生成方法第一实施例的流程示意图，所述方法包括步骤：
步骤S10，基于光照均衡的第一人脸图像生成光照不均衡的第二人脸图像，并通过所述第一人脸图像与所述第二人脸图像对初始光照均衡模型进行训练得到训练完成的光照均衡模型；
光照均衡是指人脸图像各部分的亮度之间的差异较小，可以根据实际应用场景设置参数来确定人脸图像是否光照均衡，如人脸图像中各像素的平均值或标准差等，具体设置方式参见后续实施例。第一人脸图像为预先选择的符合光照均衡要求的人脸图像；对第一人脸图像的光照参数进行调整，以使调整后的第一人脸图像不符合光照均衡要求，得到第二人脸图像。通过第一人脸图像与第二人脸图像对初始光照均衡模型训练，使得光照均衡模型具备将光照不均衡的人脸图像转换为光照均衡的人脸图像的能力。
步骤S20，接收第三人脸图像，并生成与所述第三人脸图像对应的第三纹理贴图；
第三人脸图像可以是用户选择输入的图像，还可以是实时通过摄像头等图像采集设备采集到的图像；可以理解的是，输入或采集到的图像中除了人脸外，通常还包括环境信息，因此，需要对图像进行人脸识别操作，以从图像中提取仅包含人脸的像素，进而根据仅包含人脸的像素生成第三人脸图像。具体的人脸识别方法可以根据实际应用场景以及需要进行设置，在此不进行限定。
本实施例的贴图生成方法是应用于虚拟形象的建立的；虚拟形象通过创建人物三维模型，并在人物三维模型表面覆盖贴图得到；由于人物三维模型的表面是立体的，而第三人脸图像是平面的，因此需要将第三人脸图像转换为第三纹理贴图之后覆盖在人体三维模型表面，得到虚拟形象。
所述步骤S20中生成与所述第三人脸图像对应的第三纹理贴图包括步骤：
步骤S21，对所述第三人脸图像进行重建操作以得到所述第三人脸图像对应的第一三维人脸模型；
步骤S22，对所述第一三维人脸模型中的像素点进行二维映射得到所述第三纹理贴图。
重建操作是指将平面人脸图像转换为三维人脸模型的操作。需要说明的是，具体的重建操作可以根据实际应用场景以及需要进行选择，如本实施例中通过3DMM(3DMorphable Model，三维可变形模型)，如BFM(Basel Face Model，三维巴塞尔人脸模型)对第三人脸图像进行重建；具体地，获取一个三维可变形模型系数回归神经网络，三维可变形模型系数回归神经网络可从现有公开的模型中进行选择得到；将第三人脸图像输入到三维可变形模型系数回归神经网络中得到预测的BFM系数，其中：BFM系数包括(ci，ce，ct， p，γ)∈R257，其中R257为257维向量，即包括257个单位数据；ci为身份系数，ci∈R80，即身份系数对应80维向量，包括80个单位数据；ce为表情系数，ce∈R64，即表情系数对应64维向量，包括64个单位数据；ct为纹理贴图系数，ct∈R80，即纹理贴图系数对应80维向量，包括80个单位数据；p 为头部姿态系数，p∈R6，即头部姿态系数对应6维向量，包括6个单位数据；γ为光照系数，γ∈R27，即光照系数对应27维向量，包括27个单位数据；需要说明的是，具体的BFM系数可以根据实际应用模型以及需要进行设置，上述说明仅提供一种可选的方案；将得到的BFM系数输入至BFM的几何形状公式S中；具体描述为：
Figure BDA0003566214290000071
其中，
Figure BDA0003566214290000072
为BFM的平均形状，Bid为BFM的身份基底，Bexp为BFM的表情基底；
Figure BDA0003566214290000073
Bid以及Bexp均为几何形状公式S的预设参数。通过几何形状公式即可得到第一三维人脸模型。
二维映射是指将三维模型中的点映射到二维平面的操作。需要说明的是，具体的映射方式可以根据实际应用场景以及需要进行选择，如本实施例中通过纹理采样TextureSampling的方式对第一三维人脸模型进行二维映射得到第三纹理贴图。具体地，公式描述为：
V2d＝Pr·(R·+t3d)
其中：V2d为第一三维人脸模型映射在二维平面上的点坐标；Pr为正交投影矩阵，即相机系数；t3d为头部姿态系数，由p转换得到。在得到V2d之后，通过在第一三维人脸模型上与V2d对应的位置取样，将取样得到的像素的集合作为第三纹理贴图；具体地，公式描述为：
T＝F(V2d)
其中，T为第三纹理贴图，F为采样函数；需要说明的是，采样函数可以根据实际应用场景以及需要进行选择设置，在此不进行限定。由上述步骤即可得到第三人脸图像对应的第三纹理贴图。
步骤S30，获取训练完成的光照均衡模型，并将所述第三人脸图像以及所述第三纹理贴图作为所述训练完成的光照均衡模型的输入；
步骤S40，运行所述训练完成的光照均衡模型，得到光照均衡的目标纹理贴图。
光照均衡模型用于对第三纹理贴图进行均衡化处理以将光照不均匀的第三纹理贴图转换为光照均匀的目标纹理贴图。具体地，本实施例中的光照均衡模型采用生成对抗网络模型。生成对抗网络模型是一种深度学习模型。需要说明的是，还可以基于实际应用场景以及需要对模型进行选择。
本实施例通过训练完成的光照均衡模型对第三人脸图像对应的第三纹理贴图进行光照校正，使得能够得到光照均衡的目标纹理贴图，从而降低了环境光照对于人脸图像的影响，进而能够基于目标纹理贴图生成显示良好的虚拟形象。
进一步地，参见图2，在基于本发明的第一实施例所提出的本发明贴图生成方法第二实施例中，所述步骤S10包括步骤：
步骤S11，从数据库中获取光照均衡的第一人脸图像，并对所述第一人脸图像进行重照明操作得到光照不均衡的第二人脸图像；
数据库中存储有多个人脸图像，即第四人脸图像；第四人脸图像可以通过多种方式获得，如从网络或服务器中获取，或通过图像采集设备进行采集等。重照明操作为对图像进行模拟光照的叠加操作，以使得图像具备光照特点；需要说明的是，具体的重照明操作方式可以根据实际应用场景以及需要进行选择，如本实施例中采用DPR(Deep Single ImagePortrait Relighting，单图肖像重光照)神经网络进行重照明操作；具体地，预设多组光照参数，光照参数中包含不同的光照参数，如方向、明暗程度等；在需要进行重照明操作时，随机选择一组光照参数，并将选择的光照参数与第一人脸图像作为DPR 神经网络的输入，DPR神经网络基于光照参数与第一人脸图像输出叠加了光照参数的第二人脸图像。
步骤S12，生成与所述第一人脸图像对应的第一纹理贴图以及与所述第二人脸图像对应的第二纹理贴图，并采用所述第一纹理贴图、所述第二人脸图像以及所述第二纹理贴图构建训练样本；
第一纹理贴图以及第二纹理贴图的生成方式可以参照前述第三纹理贴图的生成方式类比执行，在此不再赘述。需要说明的是，由于第一人脸图像与第二人脸图像仅在光照特征方面存在不同，因此，对于第一人脸图像以及第二人脸图像的重建结果应当相同，故可以仅对第一人脸图像进行重建操作，进而根据重建操作得到的第二三维人脸模型得到第一纹理贴图；同时将第二人脸图像参照第二三维人脸模型得到第二纹理贴图。
需要说明的是，一组训练样本中包括一个第一纹理贴图、一个第二人脸图像以及一个第二纹理贴图，训练样本的数量为多个，单个训练样本用于对初始光照均衡模型进行一次训练。
步骤S13，获取初始光照均衡模型，并通过所述训练样本对所述初始光照均衡模型进行训练，得到训练完成的光照均衡模型。
参见图3，本实施例中的光照均衡模型为生成对抗网络模型，生成对抗网络模型包括生成器以及判别器，其中，生成器由两个编码器以及一个解码器组成，编码器包括图像编码器以及纹理编码器，图像编码器用于提取人脸图像的特征信息，纹理编码器用于提取纹理贴图的特征信息，图像编码器与纹理编码器提取的特征信息通过特征通道级联后输入到解码器中得到纹理贴图；本实施例中的生成器采用U-Net结构，判别器采用Patch-GAN结构。在训练过程中，生成器用于根据光照不均衡的第二人脸图像以及对应的第二纹理贴图生成预测的纹理贴图，即第四纹理贴图；判别器用于根据第四纹理贴图与第一纹理贴图进行比较以进行偏差修正；在训练完成后的使用过程中，将第三人脸图像以及第三纹理贴图输入到生成器中即可得到目标纹理贴图。
本实施例中通过选取得到光照均衡的第一人脸图像，并通过重照明操作得到光照不均衡的第二人脸图像；进而根据光照均衡的第一人脸图像以及光照不均衡的第二人脸图像对初始光照均衡模型进行训练得到训练完成的光照均衡模型。
进一步地，参见图4，在基于本发明的第二实施例所提出的本发明贴图生成方法第三实施例中，所述步骤S40包括步骤：
步骤S111，对于数据库中的每个第四人脸图像，计算所述第四人脸图像的亮度均值；
需要说明的是，对于第一人脸图像的选择，可以是在图像获取阶段进行，即每当获取到一张人脸图像，即对其亮度均值是否大于预设亮度阈值进行判断，只有亮度均值大于预设亮度阈值才被存储到数据库中，此时，数据库中的所有人脸图像均为第一人脸图像；还可以是在训练样本的获取阶段进行，即数据库中存储各种类型的人脸图像，在需要提供训练样本时，从数据库中选取亮度均值大于预设亮度阈值的第四人脸图像作为第一人脸图像。
亮度均值用以反映人脸图像的光照均匀度；首先通过获取第四人脸图像中每个像素点对应的亮度值，进而对所有亮度值进行均值运算得到第四人脸图像对应的亮度均值；均值运算可以根据实际应用场景以及需要进行选择，如本实施例中分别通过平均值以及标准差作为均值运算，具体地，以平均值为例；公式描述为：
Figure BDA0003566214290000101
其中，Lum为亮度均值；i为像素点的序号；Ii r为在RGB色彩模式中第 i个像素点红色通道对应的色值；Ii g为在RGB色彩模式中第i个像素点绿色通道对应的色值；Ii b为在RGB色彩模式中第i个像素点蓝色通道对应的色值； M为第四人脸图像中像素点的个数。
根号部分所表征的即为第i个像素点对应的亮度值；根据实际应用需要还可以替换为其它的亮度值计算公式，如：
Figure BDA0003566214290000102
此时，亮度均值的公式描述为：
Figure BDA0003566214290000103
单个像素点的亮度值计算方式如上所述，标准差的均值运算可类比上述方式进行，在此不进行赘述，后续实施例中以平均值进行说明，标准差方案可类比进行，不再赘述。
步骤S112，判断所述亮度均值是否大于预设亮度阈值；
步骤S113，若所述亮度均值大于预设亮度阈值，则将所述亮度均值对应的所述第四人脸图像作为所述第一人脸图像。
预设亮度阈值为用以表征人脸图像是否光照均衡的值；具体的预设亮度阈值可以根据实际应用场景以及需要，如环境等进行设置；另外，为了便于比较，进一步地将亮度均值进行归一化处理，由前述平均值就算公式可知亮度均值的范围为0～255，将亮度均值除255，使得亮度均值的范围在0～1之间，再通过预设亮度阈值进行判断；如本实施例中预设亮度阈值设置为0.98；可以理解的时，还可以直接以0～255作为亮度均值的范围设置预设亮度阈值。
当亮度均值大于预设亮度阈值时认为第四人脸图像为光照均衡的人脸图像，此时将第四人脸图像作为第一人脸图像。当亮度均值小于或等于预设亮度阈值时认为第四人脸图像为光照不均衡的人脸图像，此时将第四人脸图像过滤。
本实施例能够准确地选择光照均衡的第四人脸图像作为第一人脸图像。
进一步地，在基于本发明的第二实施例所提出的本发明贴图生成方法第四实施例中，所述步骤S13包括步骤：
步骤S131，将所述第二人脸图像以及所述第二纹理贴图作为所述初始光照均衡模型的输入，并通过所述初始光照均衡模型得到第四纹理贴图；
步骤S132，获取预设损失函数，将所述第一纹理贴图以及所述第四纹理贴图带入到所述预设损失函数中计算得到对抗损失；
步骤S133，通过所述对抗损失对所述初始光照均衡模型进行优化。
第四纹理贴图为初始光照均衡模型的预测的光照均衡的纹理贴图；第一纹理贴图为与第二纹理贴图对应的光照均衡的纹理贴图；即第一纹理贴图已被确定为光照均衡，因此，可以以第一纹理贴图为基准，来判断第四纹理贴图是否光照均衡。
损失函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。具体地损失函数可以根据实际应用场景以及需要进行设置；本实施例中，采用多种损失函数组合的方式来对初始光照均衡模型进行优化；具体地，损失函数包括像素损失函数、感知损失函数、风格损失函数以及对抗损失函数；其中：
像素损失函数公式描述如下：
Figure BDA0003566214290000111
其中，Lrec()为像素损失函数；Tpred为第四纹理贴图；T1为第一纹理贴图；N为第四纹理贴图或第一纹理贴图中的像素点数量；i为像素点的序号。
由于第一纹理贴图与第四纹理贴图之间的颜色色值应当是相近的，因此引入像素损失函数度量第一纹理贴图与第四纹理贴图之间的像素级差异，具体表现为第一纹理贴图与第四纹理贴图对应的像素点之间的L1距离，即曼哈顿距离。
仅通过像素损失函数并不能很好的生成纹理贴图的高频信息，如图像内容、空间结构等；换而言之，像素损失函数并不能很好的衡量第一纹理贴图与第四纹理贴图之间的感知差异，因此引入感知损失函数，促使第四纹理贴图具有和第一纹理贴图相似的高级语义特征，在对光照均衡模型进行训练时，能够更稳健的衡量图像的相似性。感知损失函数通过VGG19神经网络分别提取第一纹理贴图与第四纹理贴图的各层卷积特征，并将各层卷积特征之间的相似性表示为第一纹理贴图与第四纹理贴图之间的L1距离；感知损失函数公式描述如下：
Figure BDA0003566214290000121
其中，Lperc()为感知损失函数；φi为VGG19神经网络的第i层卷积特征。
为了进一步保证第一纹理贴图与第四纹理贴图之间风格的统一性，避免第一纹理贴图与第四纹理贴图存在较大的风格差异，如颜色、纹理等，引入风格损失函数，风格损失函数用于度量第一纹理贴图与第四纹理贴图在风格上的差异，具体表示为第一纹理贴图与第四纹理贴图各层卷积特征的格拉姆矩阵的L1距离；风格损失函数公式描述如下：
Figure BDA0003566214290000122
为了生成高质量的风格化纹理贴图，将第一纹理贴图与第四纹理贴图分别输入到判别器中，由此产生的对抗损失函数为：
Figure BDA0003566214290000123
其中，Lgen()为生成对抗损失函数；D()为置信度。
Figure BDA0003566214290000124
其中，Ldis()为判别对抗损失函数。
需要说明的是，上述损失函数仅为一种可行方案的说明，还可以根据实际应用场景以及需要选择其它的损失函数或函数组合对光照均衡模型进行优化。
需要说明的是，在对初始光照均衡模型进行训练时，需要设置训练完成条件，如训练次数或模型可靠程度等，当初始光照均衡模型满足训练完成条件时，将初始光照均衡模型作为训练完成的光照均衡模型。可以理解的是，训练完成的光照均衡模型还可以在实际使用过程中通过实际处理的纹理贴图以及人脸图像进行自优化。
本实施例能够通过合理地设置损失函数来对初始光照均衡模型进行优化得到训练完成的光照均衡模型。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
本发明还提供一种用于实施上述贴图生成方法的贴图生成装置，贴图生成装置包括：
第一训练模块，用于基于光照均衡的第一人脸图像生成光照不均衡的第二人脸图像，并通过所述第一人脸图像与所述第二人脸图像对初始光照均衡模型进行训练得到训练完成的光照均衡模型；
第一生成模块，用于接收第三人脸图像，并生成与所述第三人脸图像对应的第三纹理贴图；
第一获取模块，用于获取训练完成的光照均衡模型，并将所述第三人脸图像以及所述第三纹理贴图作为所述训练完成的光照均衡模型的输入；
第一执行模块，用于运行所述训练完成的光照均衡模型，得到光照均衡的目标纹理贴图。
本贴图生成装置通过训练完成的光照均衡模型对第三人脸图像对应的第三纹理贴图进行光照校正，使得能够得到光照均衡的目标纹理贴图，从而降低了环境光照对于人脸图像的影响，进而能够基于目标纹理贴图生成显示良好的虚拟形象。
需要说明的是，该实施例中的第一训练模块可以用于执行本发明实施例中的步骤S10，该实施例中的第一生成模块可以用于执行本发明实施例中的步骤S20，该实施例中的第一获取模块可以用于执行本发明实施例中的步骤 S30，该实施例中的第一执行模块可以用于执行本发明实施例中的步骤S40。
进一步地，所述第一训练模块包括：
第一获取子模块，用于从数据库中获取光照均衡的第一人脸图像，并对所述第一人脸图像进行重照明操作得到光照不均衡的第二人脸图像；
第一生成子模块，用于生成与所述第一人脸图像对应的第一纹理贴图以及与所述第二人脸图像对应的第二纹理贴图，并采用所述第一纹理贴图、所述第二人脸图像以及所述第二纹理贴图构建训练样本；
第一训练子模块，用于获取初始光照均衡模型，并通过所述训练样本对所述初始光照均衡模型进行训练，得到训练完成的光照均衡模型。
进一步地，所述第一获取子模块包括：
第一计算单元，用于对于数据库中的每个第四人脸图像，计算所述第四人脸图像的亮度均值；
第一判断单元，用于判断所述亮度均值是否大于预设亮度阈值；
第一执行单元，用于若所述亮度均值大于预设亮度阈值，则将所述亮度均值对应的所述第四人脸图像作为所述第一人脸图像。
进一步地，所述第一计算单元包括：
第一计算子单元，用于分别计算所述第四人脸图像中各像素点对应的亮度值；
第二计算子单元，用于对各所述亮度值进行平均值计算得到所述亮度均值。
进一步地，所述第一计算单元包括：
第四计算子单元，用于分别计算所述第四人脸图像中各像素点对应的亮度值；
第五计算子单元对各所述亮度值进行标准差计算得到所述亮度均值。
进一步地，所述第一训练模块包括：
第二执行单元，用于将所述第二人脸图像以及所述第二纹理贴图作为所述初始光照均衡模型的输入，并通过所述初始光照均衡模型得到第四纹理贴图；
第二计算单元，用于获取预设损失函数，将所述第一纹理贴图以及所述第四纹理贴图带入到所述预设损失函数中计算得到对抗损失；
第二执行单元，用于通过所述对抗损失对所述初始光照均衡模型进行优化。
进一步地，所述第一生成模块包括：
第一执行子单元，用于对所述第三人脸图像进行重建操作以得到所述第三人脸图像对应的第一三维人脸模型；
第二执行子单元，用于对所述第一三维人脸模型中的像素点进行二维映射得到所述第三纹理贴图。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
参照图5，在硬件结构上所述电子装置可以包括通信模块10、存储器20 以及处理器30等部件。在所述电子装置中，所述处理器30分别与所述存储器 20以及所述通信模块10连接，所述存储器20上存储有计算机程序，所述计算机程序同时被处理器30执行，所述计算机程序执行时实现上述方法实施例的步骤。
通信模块10，可通过网络与外部通讯设备连接。通信模块10可以接收外部通讯设备发出的请求，还可以发送请求、指令及信息至所述外部通讯设备，所述外部通讯设备可以是其它电子装置、服务器或者物联网设备，例如电视等等。
存储器20，可用于存储软件程序以及各种数据。存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如生成与所述第三人脸图像对应的第三纹理贴图)等；存储数据区可包括数据库，存储数据区可存储根据***的使用所创建的数据或信息等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器30，是电子装置的控制中心，利用各种接口和线路连接整个电子装置的各个部分，通过运行或执行存储在存储器20内的软件程序和/或模块，以及调用存储在存储器20内的数据，执行电子装置的各种功能和处理数据，从而对电子装置进行整体监控。处理器30可包括一个或多个处理单元；可选地，处理器30可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器30中。
尽管图5未示出，但上述电子装置还可以包括电路控制模块，所述电路控制模块用于与电源连接，保证其他部件的正常工作。本领域技术人员可以理解，图5中示出的电子装置结构并不构成对电子装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序。所述计算机可读存储介质可以是图5的电子装置中的存储器20，也可以是如ROM (Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干指令用以使得一台具有处理器的终端设备(可以是电视，汽车，手机，计算机，服务器，终端，或者网络设备等)执行本发明各个实施例所述的方法。
在本发明中，术语“第一”“第二”“第三”“第四”“第五”仅用于描述的目的，而不能理解为指示或暗示相对重要性，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，本发明保护的范围并不局限于此，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改和替换，这些变化、修改和替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种贴图生成方法，其特征在于，所述方法包括：
基于光照均衡的第一人脸图像生成光照不均衡的第二人脸图像，并通过所述第一人脸图像与所述第二人脸图像对初始光照均衡模型进行训练得到训练完成的光照均衡模型；
接收第三人脸图像，并生成与所述第三人脸图像对应的第三纹理贴图；
获取所述训练完成的光照均衡模型，并将所述第三人脸图像以及所述第三纹理贴图作为所述训练完成的光照均衡模型的输入；
运行所述训练完成的光照均衡模型，得到光照均衡的目标纹理贴图。
2.如权利要求1所述的贴图生成方法，其特征在于，所述基于光照均衡的第一人脸图像生成光照不均衡的第二人脸图像，并通过所述第一人脸图像与所述第二人脸图像对初始光照均衡模型进行训练得到训练完成的光照均衡模型的步骤包括：
从数据库中获取光照均衡的第一人脸图像，并对所述第一人脸图像进行重照明操作得到光照不均衡的第二人脸图像；
生成与所述第一人脸图像对应的第一纹理贴图以及与所述第二人脸图像对应的第二纹理贴图，并采用所述第一纹理贴图、所述第二人脸图像以及所述第二纹理贴图构建训练样本；
获取初始光照均衡模型，并通过所述训练样本对所述初始光照均衡模型进行训练，得到训练完成的光照均衡模型。
3.如权利要求2所述的贴图生成方法，其特征在于，所述从数据库中获取光照均衡的第一人脸图像的步骤包括：
对于数据库中的每个第四人脸图像，计算所述第四人脸图像的亮度均值；
判断所述亮度均值是否大于预设亮度阈值；
若所述亮度均值大于预设亮度阈值，则将所述亮度均值对应的所述第四人脸图像作为所述第一人脸图像。
4.如权利要求3所述的贴图生成方法，其特征在于，所述计算所述第四人脸图像的亮度均值的步骤包括：
分别计算所述第四人脸图像中各像素点对应的亮度值；
对各所述亮度值进行平均值计算得到所述亮度均值。
5.如权利要求3所述的贴图生成方法，其特征在于，所述计算所述第四人脸图像的亮度均值的步骤包括：
分别计算所述第四人脸图像中各像素点对应的亮度值；
对各所述亮度值进行标准差计算得到所述亮度均值。
6.如权利要求2所述的贴图生成方法，其特征在于，所述通过所述训练样本对所述初始光照均衡模型进行训练的步骤包括：
将所述第二人脸图像以及所述第二纹理贴图作为所述初始光照均衡模型的输入，并通过所述初始光照均衡模型得到第四纹理贴图；
获取预设损失函数，将所述第一纹理贴图以及所述第四纹理贴图带入到所述预设损失函数中计算得到对抗损失；
通过所述对抗损失对所述初始光照均衡模型进行优化。
7.如权利要求1所述的贴图生成方法，其特征在于，所述生成与所述第三人脸图像对应的第三纹理贴图的步骤包括：
对所述第三人脸图像进行重建操作以得到所述第三人脸图像对应的第一三维人脸模型；
对所述第一三维人脸模型中的像素点进行二维映射得到所述第三纹理贴图。
8.一种贴图生成装置，其特征在于，所述贴图生成装置包括：
第一训练模块，用于基于光照均衡的第一人脸图像生成光照不均衡的第二人脸图像，并通过所述第一人脸图像与所述第二人脸图像对初始光照均衡模型进行训练得到训练完成的光照均衡模型；
第一生成模块，用于接收第三人脸图像，并生成与所述第三人脸图像对应的第三纹理贴图；
第一获取模块，用于获取训练完成的光照均衡模型，并将所述第三人脸图像以及所述第三纹理贴图作为所述训练完成的光照均衡模型的输入；
第一执行模块，用于运行所述训练完成的光照均衡模型，得到光照均衡的目标纹理贴图。
9.一种电子装置，其特征在于，所述电子装置包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的贴图生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的贴图生成方法的步骤。
CN202210308961.3A 2022-03-25 2022-03-25 贴图生成方法、装置、电子装置及可读存储介质 Pending CN114663570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210308961.3A CN114663570A (zh) 2022-03-25 2022-03-25 贴图生成方法、装置、电子装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210308961.3A CN114663570A (zh) 2022-03-25 2022-03-25 贴图生成方法、装置、电子装置及可读存储介质

Publications (1)

Publication Number Publication Date
CN114663570A true CN114663570A (zh) 2022-06-24

Family

ID=82034044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210308961.3A Pending CN114663570A (zh) 2022-03-25 2022-03-25 贴图生成方法、装置、电子装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN114663570A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001363A1 (zh) * 2022-06-30 2024-01-04 魔门塔(苏州)科技有限公司 一种图像处理方法、装置和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001363A1 (zh) * 2022-06-30 2024-01-04 魔门塔(苏州)科技有限公司 一种图像处理方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN109961507B (zh) 一种人脸图像生成方法、装置、设备及存储介质
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
CN110599395B (zh) 目标图像生成方法、装置、服务器及存储介质
CN110069974B (zh) 高光图像处理方法、装置和电子设备
CN112037320A (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN111882627A (zh) 图像处理方法、视频处理方法、装置、设备和存储介质
US11576478B2 (en) Method for simulating the rendering of a make-up product on a body area
CN110852940A (zh) 一种图像处理方法及相关设备
CN113808277B (zh) 一种图像处理方法及相关装置
CN112164005A (zh) 图像颜色校正方法、装置、设备及存储介质
CN110335330A (zh) 图像模拟生成方法及其***、深度学习算法训练方法及电子设备
CN113421312A (zh) 一种对黑白视频的着色方法、装置、存储介质及终端
CN111539353A (zh) 一种图像场景识别方法及装置、计算机设备以及存储介质
US20230074060A1 (en) Artificial-intelligence-based image processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
CN114663570A (zh) 贴图生成方法、装置、电子装置及可读存储介质
CN109064431B (zh) 一种图片亮度调节方法、设备及其存储介质
CN116740261A (zh) 图像重建方法和装置、图像重建模型的训练方法和装置
CN117061882A (zh) 视频图像处理方法、装置、设备、存储介质及程序产品
CN112489144A (zh) 图像处理方法、图像处理装置、终端设备及存储介质
CN113706400A (zh) 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
CN109658360B (zh) 图像处理的方法、装置、电子设备和计算机存储介质
CN113724282A (zh) 图像处理方法和相关产品
CN111797694A (zh) 一种车牌检测方法及装置
CN115565213B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination