CN111445410B - 基于纹理图像的纹理增强方法、装置、设备和存储介质 - Google Patents

基于纹理图像的纹理增强方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111445410B
CN111445410B CN202010224186.4A CN202010224186A CN111445410B CN 111445410 B CN111445410 B CN 111445410B CN 202010224186 A CN202010224186 A CN 202010224186A CN 111445410 B CN111445410 B CN 111445410B
Authority
CN
China
Prior art keywords
texture image
texture
image
face
fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010224186.4A
Other languages
English (en)
Other versions
CN111445410A (zh
Inventor
陈雅静
沈雅欣
者雪飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010224186.4A priority Critical patent/CN111445410B/zh
Publication of CN111445410A publication Critical patent/CN111445410A/zh
Application granted granted Critical
Publication of CN111445410B publication Critical patent/CN111445410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于纹理图像的纹理增强方法、装置、计算机设备和存储介质。所述方法包括：获取待处理的源纹理图像；基于与所述源纹理图像对应的样本纹理图像的主成分，对所述源纹理图像进行拟合处理，得到相应的拟合纹理图像；其中，所述样本纹理图像的主成分通过对所述样本纹理图像进行主成分分析所得到；对所述拟合纹理图像进行平滑处理，得到对应的平滑纹理图像；所述平滑处理用于对所述拟合纹理图像进行噪声抑制；通过生成对抗网络中的生成器对所述平滑纹理图像进行纹理增强处理，输出与所述源纹理图像对应的目标纹理图像。采用本方法能够大大提高纹理增强的效果。

Description

基于纹理图像的纹理增强方法、装置、设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种基于纹理图像的纹理增强方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，人们的工作和生活都带来了非常大的变化。比如，原来的动画制作或游戏制作等通常都是基于平面人物进行的，而现在随着科技的发展，出现了越来越多支持三维人物的场景，那么相应的就需要大量的高清的纹理图像，比如高清的面部纹理图像。
传统的生成高清的面部纹理图像的方式，通常是采用自适应亮度恢复方法，也就是均匀化面部图像亮度，通过异性直方图拉伸，最小化面部背景类内距离和最大化面部纹理分布，实现面部纹理特征增强。而传统的纹理增强的方式，适合因光照不均而造成的图像质量不佳的情况，对于图像噪音或图像模糊等情况无法进行修复，难以重构毛孔和毛发等细节纹理信息，导致纹理增强效果不佳。
发明内容
基于此，有必要针对上述技术问题，提供一种能够生成高质量的纹理图像的基于纹理图像的纹理增强方法、装置、计算机设备和存储介质。
一种基于纹理图像的纹理增强方法，所述方法包括：
获取待处理的源纹理图像；
基于与所述源纹理图像对应的样本纹理图像的主成分，对所述源纹理图像进行拟合处理，得到相应的拟合纹理图像；其中，所述样本纹理图像的主成分通过对所述样本纹理图像进行主成分分析所得到；
对所述拟合纹理图像进行平滑处理，得到对应的平滑纹理图像；所述平滑处理用于对所述拟合纹理图像进行噪声抑制；
通过生成对抗网络中的生成器对所述平滑纹理图像进行纹理增强处理，输出与所述源纹理图像对应的目标纹理图像。
一种基于纹理图像的纹理增强装置，所述装置包括：
获取模块，用于获取待处理的源纹理图像；
拟合模块，用于基于与所述源纹理图像对应的样本纹理图像的主成分，对所述源纹理图像进行拟合处理，得到相应的拟合纹理图像；其中，所述样本纹理图像的主成分通过对所述样本纹理图像进行主成分分析所得到；
平滑处理模块，用于对所述拟合纹理图像进行平滑处理，得到对应的平滑纹理图像；所述平滑处理用于对所述拟合纹理图像进行噪声抑制；
纹理增强模块，用于通过生成对抗网络中的生成器对所述平滑纹理图像进行纹理增强处理，输出与所述源纹理图像对应的目标纹理图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理的源纹理图像；
基于与所述源纹理图像对应的样本纹理图像的主成分，对所述源纹理图像进行拟合处理，得到相应的拟合纹理图像；其中，所述样本纹理图像的主成分通过对所述样本纹理图像进行主成分分析所得到；
对所述拟合纹理图像进行平滑处理，得到对应的平滑纹理图像；所述平滑处理用于对所述拟合纹理图像进行噪声抑制；
通过生成对抗网络中的生成器对所述平滑纹理图像进行纹理增强处理，输出与所述源纹理图像对应的目标纹理图像。
一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
获取待处理的源纹理图像；
基于与所述源纹理图像对应的样本纹理图像的主成分，对所述源纹理图像进行拟合处理，得到相应的拟合纹理图像；其中，所述样本纹理图像的主成分通过对所述样本纹理图像进行主成分分析所得到；
对所述拟合纹理图像进行平滑处理，得到对应的平滑纹理图像；所述平滑处理用于对所述拟合纹理图像进行噪声抑制；
通过生成对抗网络中的生成器对所述平滑纹理图像进行纹理增强处理，输出与所述源纹理图像对应的目标纹理图像。
上述基于纹理图像的纹理增强方法、装置、计算机设备和存储介质，基于与源纹理图像对应的样本纹理图像的主成分，对源纹理图像进行拟合得到相应的拟合纹理图像。其中，该样本纹理图像的主成分通过对一系列的样本纹理图像进行主成分分析所得到。这样，该拟合纹理图像可消除部分图像噪声，比如阴影和光照信息等，而保留大部分有效的图像信息。进而再对该拟合纹理图像进行平滑处理，可以得到抑制了比如斑点、色素、或痣等高频噪声的平滑纹理图像。通过训练好的生成对抗网络中的生成器对该平滑纹理图像进行纹理增强处理，在保留原本低清晰度纹理的同时，重构和生成真实的毛孔和毛发纹理，得到目标纹理图像。这样，可以将低质量的源纹理图像在分辨率不变的情况下转化为清晰度高且细节信息丰富的目标纹理图像，确保生成的目标纹理图像保留原有纹理信息的同时，加强了更多纹理细节，大大提高了纹理增强的效果。
附图说明
图1为一个实施例中基于纹理图像的纹理增强方法的应用环境图；
图2为一个实施例中基于纹理图像的纹理增强方法的流程示意图；
图3为一个实施例中基于与源纹理图像对应的样本纹理图像的主成分，对源纹理图像进行拟合处理，得到相应的拟合纹理图像的步骤的流程示意图；
图4为一个实施例中基于与源纹理图像对应的样本纹理图像的主成分，对面部区域进行拟合处理得到对应的面部拟合纹理图像的步骤的流程示意图；
图5为一个实施例中将面部拟合纹理图像与背景区域对应的背景纹理图像进行融合，得到与源纹理图像对应的拟合纹理图像的步骤的流程示意图；
图6为一个实施例中生成对抗网络的训练步骤的流程示意图；
图7为一个实施例中生成对抗网络的网络结构示意图；
图8为一个具体实施例中该基于纹理图像的纹理增强方法的原理示意图；
图9为一个实施例中基于纹理图像的纹理增强装置的结构框图；
图10为另一个实施例中基于纹理图像的纹理增强装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于纹理图像的纹理增强方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与计算机设备104进行通信。终端102可通过图像采集装置采集不同角度的人脸图像，以通过多个角度的人脸图像生成对应的源纹理图像。进而计算机设备104可从终端102处获取待处理的源纹理图像。计算机设备104基于与源纹理图像对应的样本纹理图像的主成分，对源纹理图像进行拟合处理，得到相应的拟合纹理图像；其中，该样本纹理图像的主成分通过对该样本纹理图像进行主成分分析所得到；对拟合纹理图像进行平滑处理，得到对应的平滑纹理图像；平滑处理用于对拟合纹理图像进行噪声抑制；通过生成对抗网络中的生成器对平滑纹理图像进行纹理增强处理，输出与源纹理图像对应的目标纹理图像。其中，终端102可以但不限于是各种摄像头、监控设备、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。计算机设备104具体可以是终端也可以是服务器，而服务器具体可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于纹理图像的纹理增强方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤S202，获取待处理的源纹理图像。
其中，源纹理图像是与作为该次纹理增强过程中的基础纹理图像，也可称作初始的、真实的纹理图像。该源纹理图像具体可以是与目标对象对应的纹理图像，比如与目标对象的面部对应的面部纹理图像，或与目标对象的手足对应的手足纹理图像等。其中，该目标对象具体可以是具体可以是人物或其他的动物等。
纹理图像也称UV图像，是三维展开的表面图像。UV这里是指UV纹理贴图坐标的简称，定义了图像上每个点的位置的信息，U和V分别是图像在显示器水平、垂直方向上的坐标，取值一般都是0～1。UV图像中每个点与三维模型是相互联系的，可以决定表面纹理贴图的位置，也就是UV图像中每一个点可以精确对应到模型物体的表面，用以构建立体的物体。比如，人脸纹理图像可用于生成三维人脸。
其中，面部纹理图像具体可以是人脸纹理图像或其他动物的脸部纹理图像。人脸是一个真实人物的面部呈现，一般来说，不同的人物具有不同的人脸。人脸中包括多于一个的部件，比如，额头、眉毛、眼睛、鼻子、嘴唇、脸颊和下巴等部件。可以理解，后文中出现的第二人脸是与第一人脸不同的人脸，具体可以是不同人物的面部。与第一人脸不同的人脸，具体可以是人脸中的额头、眉毛、眼睛、鼻子、嘴唇、脸颊和下巴等存在差异的人脸。
具体地，计算机设备可从本地或通过网络从其他计算机设备处，获取源纹理图像。在一个实施例中，该源纹理图像具体可以是人脸纹理图像，计算机设备可预先采集各种人脸的纹理图像以构建一个纹理图像库，当计算机设备需要时，可从该纹理图像库中选取一张纹理图像作为源纹理图像。
在一个实施例中，源纹理图像具体可以是人脸纹理图像。计算机设备可通过摄像头等图像采集装置对人脸进行多个角度的扫描，得到与各个角度分别对应的人脸图像，该人脸图像是平面的二维图像。计算机设备可分别识别各人脸图像中的人脸特征点，并将多个角度的各人脸图像中的人脸特征点对齐。从而根据预先构建的人脸三维模型，并根据不同角度的人脸图像中人脸特征点之间的位置信息，构建对应的人脸纹理图像。
在一个实施例中，计算机设备还可通过机器学习模型对多个角度的人脸图像进行处理，通过机器学习模型输出对应的人脸纹理图像。
步骤S204，基于与源纹理图像对应的样本纹理图像的主成分，对源纹理图像进行拟合处理，得到相应的拟合纹理图像；其中，样本纹理图像的主成分通过对样本纹理图像进行主成分分析所得到。
具体地，计算机设备可预先获取源纹理图像对应的样本纹理图像，对一系列的样本纹理图像进行主成分分析，以确定对应的主成分。进而计算机设备可基于确定的主成分对源纹理图像进行拟合处理，得到相应的拟合纹理图像。其中，在多元统计分析中，主成分分析(Principal components analysis，PCA)是一种统计分析并简化数据集的方法。主成分分析主要是利用正交变换来对一系列可能相关的变量的观测值进行线性变换，从而投影为一系列线性不相关变量的值，这些不相关变量称为主成分(Principal Components)。
在一个实施例中，计算机设备可预先获取与源纹理图像对应的样本纹理图像，对样本纹理图像中的面部进行主成分分析，以确定与面部对应的主成分。进而计算机设备可基于与面部对应的主成分，对源纹理图像中的面部区域进行PCA基拟合，得到与面部区域对应的面部拟合纹理图像。进一步地，计算机设备可选取包括有该面部区域对应的面部拟合纹理图像的矩形框，生成对应的拟合纹理图像。计算机设备还可确定源纹理图像中除面部区域外的背景区域，进而根据背景区域确定背景纹理图像，进而将面部拟合纹理图像与背景纹理图像融合得到拟合纹理图像。
在一个实施例中，计算机设备可直接对面部进行拟合，得到面部拟合纹理图像。计算机设备也可分别对面部的各个部件进行拟合，得到局部拟合纹理图像(fit_uv_part)，进而融合各个部件的局部拟合纹理图像，从而得到整个面部对应的面部拟合纹理图像(fit_uv)。其中，关于如何直接对面部进行拟合，得到面部拟合纹理图像的详细内容，可参考后面实施例的具体说明。关于如何对面部的各个部件进行拟合，得到局部拟合纹理图像的详细内容，也可参考后面实施例的具体说明。
步骤S206，对拟合纹理图像进行平滑处理，得到对应的平滑纹理图像；平滑处理用于对拟合纹理图像进行噪声抑制。
其中，对拟合纹理图像进行平滑处理具体可以是去除该拟合纹理图中的高频信息，保留低频信息。因此可以对拟合纹理图像实施低通滤波来达到图像平滑的效果。低通滤波可以去除拟合纹理图像中的噪音，模糊图像(噪音是拟合纹理图像中变化比较大的区域，也就是高频信息)。
具体地，计算机设备可对该拟合纹理图像进行滤波处理，以得到经过噪声抑制后的平滑纹理图像。滤波的方式具体可以是均值滤波、高斯滤波、中值滤波或双边滤波等，本申请实施例对此不做限定。
在一个实施例中，计算机设备可对该拟合纹理图像进行高斯平滑处理，得到经过噪声抑制后的平滑纹理图像。其中，高斯平滑处理具体可以是通过高斯滤波器对该拟合纹理图像进行低通滤波。
在一个实施例中，步骤S206，也就是对拟合纹理图像进行平滑处理，得到对应的平滑纹理图像的步骤，具体包括：按预设格式从拟合纹理图像中裁剪出包括有面部区域的中间纹理图像；对中间纹理图像进行平滑操作和归一化处理，得到对应的平滑纹理图像；其中，平滑操作用于对中间纹理图像进行噪声抑制。
其中，预设格式与生成对抗网络中生成器对输入图像的格式要求相匹配，具体可以是输入图像的图像尺寸大小或图像存储大小等，比如要求输入图像的图像尺寸大小为1184x1020x3。具体地，为了使得生成器可以更好的加强面部区域的纹理细节，而对其他的区域的像素保持不变，计算机设备可按预设格式从该拟合纹理图像中裁剪出包括有面部区域的中间纹理图像。
进而，计算机设备可对该中间纹理图像进行高斯低通滤波处理，比如使用两次3x3的高斯平滑操作，以消弱面部区域的斑、痣或痘印的痕迹。进而再将平滑处理后的纹理图像的像素值在0-255范围的RGB(Red Green Blue，红绿蓝，表示颜色空间)图像归一化至0-1范围内，得到平滑纹理图像。这样，后续在通过生成器对平滑纹理图像进行处理时，数据范围较小，可以加快处理效率。
上述实施例中，按预设格式从拟合纹理图像中裁剪出包括有面部区域的中间纹理图像，进而有针对性地对面部区域进行平滑操作和归一化处理，得到经过噪声抑制后的平滑纹理图像。这样，在进行纹理增强处理时，就会仅对面部区域进行纹理增强，而保留了其他的背景区域本身的信息，大大提高了纹理增强的有效性，使得处理后的整个纹理图像更真实。
步骤S208，通过训练好的生成对抗网络中的生成器对平滑纹理图像进行纹理增强处理，输出与源纹理图像对应的目标纹理图像。
其中，生成对抗网络(Generative Adversarial Network，简称GAN)是一种基于非监督式机器学习的一种网络模型，通过让两个神经网络相互博弈的方式进行学习。生成对抗网络由一个生成器与一个判别器组成。生成器从潜在空间中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别器的输入则为真实样本或生成器的输出，其目的是将生成器的输出从真实样本中尽可能分辨出来。而生成器则要尽可能地欺骗判别器。两个网络相互对抗、不断调整参数，最终目的是使判别器无法判断生成器的输出结果是否真实。
在本申请实施例中，生成器的输入就是低清的平滑纹理图像，生成器要尽可能地生成接近高清的源纹理图像的输出。判别器的输入则为真实的高清的源纹理图像或生成器的输出，其目的是将生成器的输出从真实的高清的源纹理图像中尽可能分辨出来。在一个实施例中，本申请实施例所提及的对抗生成网络具体还可以是条件对抗生成网络，其差异在于，该判别器接收两个输入，一个为低清的样本平滑纹理图像，另一个为需要判别真假的纹理图像，即生成器输出预测目标纹理图像(假)，或真实的高清的样本纹理图像(真实数据)。
具体地，计算机设备可预先通过训练样本训练生成对抗网络，得到训练好的生成对抗网络。进而将平滑纹理图像输入至训练好的生成对抗网络中的生成器以进行纹理增强处理，通过该生成器输出同等分辨率的目标纹理图像。可以理解，经过拟合和平滑处理的平滑纹理图像虽然含有较低噪声，但图像中的一些纹理细节也丢失了，属于低清晰度的纹理图像。而通过生成器处理后，在保留原本低清晰度纹理的同时，重构和生成真实的毛孔和毛发纹理，生成高清的目标纹理图像。其中，关于该生成对抗网络的训练过程在后面的实施例中会进行详细介绍。
在一个实施例中，该生成器具体可通过卷积神经网络结构构成。该卷积神经网络结构具体可通过U-net(Convolutional Networks for Biomedical Image Segmentation，一种图像处理网络)网络结构、VGG(Visual Geometry Group Network，一种图像处理网络)或ResNet(ResidualNeuralNetwork，残差网络)等网络结构来实现，本申请实施例对此不做限定。判别器可通过多层的卷积神经网络实现。
在一个实施例中，目标纹理图像的图像分辨率与源纹理图像的图像分辨率相同，也就是通过本申请实施例所提及的基于纹理图像的纹理增强方法，在增强了纹理细节的同时，并未改变源纹理图像的图像分辨率。这与某些现有的深度超分辨率纹理图像模型，以增大图像分辨率和存储大小为代价提高清晰度是完全不同的。
上述基于纹理图像的纹理增强方法，基于与源纹理图像对应的样本纹理图像的主成分，对源纹理图像进行拟合得到相应的拟合纹理图像。其中，该样本纹理图像的主成分通过对一系列的样本纹理图像进行主成分分析所得到。这样，该拟合纹理图像中可消除部分图像噪声，比如阴影和光照信息等，而保留大部分有效的图像信息。进而再对该拟合纹理图像进行平滑处理，可以得到抑制了比如斑点、色素、或痣等高频噪声的平滑纹理图像。通过训练好的生成对抗网络中的生成器对该平滑纹理图像进行纹理增强处理，在保留原本低清晰度纹理的同时，重构和生成真实的毛孔和毛发纹理，得到目标纹理图像。这样，可以将低质量的源纹理图像在分辨率不变的情况下转化为清晰度高且细节信息丰富的目标纹理图像，确保生成的目标纹理图像保留原有纹理信息的同时，加强了更多纹理细节，大大提高了纹理增强的效果。
在一个实施例中，步骤S202，也就是获取待处理的源纹理图像，包括：获取对目标对象的面部进行不同角度扫描所得到的、多于一张的面部图像；获取与目标场景对应的纹理设置信息；按照纹理设置信息，对多于一张的面部图像进行融合处理，得到与目标对象对应的源纹理图像。
其中，目标对象具体可以是人物或其他的动物。目标场景是该目标纹理图像是用于的场景，具体可以是某个具体的游戏场景或动画场景等。纹理设置信息是生成该源纹理图像所需的要求信息，具体可以是纹理的粗糙程度或纹理的形态等。不同的目标场景可对应不同的纹理设置信息。
具体地，计算机设备可通过摄像头等图像采集装置对目标对象的面部进行多个角度的扫描，得到与各个角度分别对应的面部图像，该面部图像是平面的二维图像。进而，计算机设备可按照纹理设置信息，对多于一张的面部图像进行融合处理，得到与目标对象对应的源纹理图像。
在一个实施例中，按照纹理设置信息，对多于一张的面部图像进行融合处理，得到与目标对象对应的源纹理图像，包括：通过对多于一张的面部图像进行分析，确定与目标对象对应的面部形态信息和光照信息；根据面部形态信息，确定将三维纹理模型中的各位置点分别映射至面部图像中时所对应的像素点；按照纹理设置信息，并基于所确定的像素点的色彩信息和对应的光照信息，结合三维纹理模型构建与目标对象对应的源纹理图像。
具体地，计算机设备可通过对多于一张的面部图像进行分析，比如，对面部中的各个部件进行对齐，以确定与目标对象对应的面部形态信息和光照信息。其中，面部形态信息具体包括面部形状(shape)和姿态(pose)。光照信息(lighting)是指光源照射到面部时面部区域的像素被照亮或显示为阴影的信息。进而，计算机设备可从各个像素的色彩信息(具体可以是RGB值)中减去光照信息或补全对应的由阴影产生的像素差值，得到去除了光照影响的RGB值。这样可以减弱光照的影响。
进一步地，计算机设备可根据估计的面部形态并结合三维纹理模型，计算三维的面部模型中每个点落到二维的面部图像上的具***置，根据该位置处的去除了光照影响的RGB值，得到该三维的面部模型中各个点的RGB值。再基于vertex(顶点)和UV的对应关系，也就是三维的面部模型中各点与UV图的像素点的一一对应的关系，得到与目标对象对应的源纹理图像。这样，就可以根据多张二维的面部图像，准确的生成对应的三维的纹理图像。
上述实施例中，通过对不同角度的目标对象的面部图像进行融合处理，可以准确地生成与目标对象对应的源纹理图像，方便且准确。
参考图3，在一个实施例中，步骤S204，也就是基于与源纹理图像对应的样本纹理图像的主成分，对源纹理图像进行拟合处理，得到相应的拟合纹理图像的步骤，具体包括以下步骤：
S302，确定源纹理图像所包括的面部区域和背景区域。
其中，面部区域是脸部所在区域，可以认为是源纹理图像中的关键区域。当该源纹理图像是与人脸对应的纹理图像时，该面部区域具体可以是人脸所在区域。可以理解，面部区域中具体包括额头、眉毛、眼睛、鼻子、嘴唇、脸颊和下巴等部件。在该源纹理图像中，除了面部区域之外的其他区域可称作背景区域，可以认为是源纹理图像中的非关键区域。在该背景区域中具体可包括有头发、脖子、或环境背景等。
具体地，计算机设备可通过与面部区域对应的面部掩模，从源纹理图像中分离出面部区域和背景区域。在一个实施例中，计算机设备还可通过脸部特征点检测的方式，从源纹理图像中识别出脸部特征点，进而根据脸部特征点确定面部区域。其中，面部特征点具体可以是眼睛、眉毛、鼻子、嘴唇或耳朵等。当然，计算机设备还可以采用其他的面部检测方式从源纹理图像中确定面部区域，本申请实施例对此不做限定。
S304，基于与源纹理图像对应的样本纹理图像的主成分，对面部区域进行拟合处理得到对应的面部拟合纹理图像。
在一个实施例中，计算机设备可预先获取与源纹理图像对应的样本纹理图像，对样本纹理图像中的面部进行主成分分析，以确定与面部对应的主成分。进而计算机设备可基于与面部对应的主成分，对源纹理图像中的面部区域进行PCA基拟合，得到与面部区域对应的面部拟合图像。
在一个实施例中，计算机设备可基于一系列包括有面部区域的样本纹理图像，构建样本矩阵，该样本矩阵中一个维度表示样本数，一个维度表示样本特征。进而计算机设备可对该样本矩阵进行奇异值分解(Singular Value Decomposition，SVD)，以得到多于一组的奇异值及相应的PCA基。计算机设备可对各奇异值按从大至小排序，并获取排序在预设名次之前的奇异值及相应的PCA基。这些排序在预设名次之前的奇异值及相应的PCA基共同构成该样本矩阵对应的主成分，也就是样本纹理图像对应的主成分。
在一个实施例中，计算机设备可直接对全脸进行拟合，那么此时，计算机设备可基于整个样本纹理图像，构建对应的面部样本矩阵。进而计算机设备可对该面部样本矩阵进行奇异值分解，以得到多于一组的奇异值及相应的PCA基。计算机设备可选取预设数量的较大的奇异值和相应奇异值对应的PCA基，以构成该面部样本矩阵对应的面部主成分。进而，计算机设备通过该面部主成分，对源纹理图像进行PCA基拟合，得到对应的面部拟合纹理图像。
在另一个实施例中，考虑到样本数量有限，直接对面部进行拟合的计算量过大，计算机设备可分别对面部的各个部件进行拟合，得到局部拟合纹理图像(fit_uv_part)，进而融合各个部件的局部拟合纹理图像，从而得到整个面部对应的面部拟合纹理图像(fit_uv)。具体地，计算机设备可基于与各部件对应的局部掩模，从样本纹理图像中分离出相应的部件样本纹理图像。其中，部件样本纹理图像比如，与眼睛对应的眼睛样本纹理图像，与鼻子对应的鼻子样本纹理图像等。进而计算机设备对每类部件样本纹理图像分别构建对应的部件样本矩阵。对于每个部件所对应的部件样本矩阵，计算机设备可对该部件样本矩阵进行奇异值分解，以得到多于一组的奇异值及相应的PCA基。计算机设备可选取预设数量的较大的奇异值和相应奇异值对应的PCA基，以构成该部件样本矩阵对应的部件主成分。进而，计算机设备通过该部件主成分，对源纹理图像中的相应部件区域进行PCA基拟合，得到对应的局部拟合纹理图像。比如，得到与眼睛对应的眼睛拟合纹理图像，与鼻子对应的鼻子拟合纹理图像。进一步地，计算机设备可将不同部件区域的局部拟合纹理图像通过掩膜叠加，得到所有PCA基覆盖范围下的面部拟合纹理图像fit_uv。
S306，将面部拟合纹理图像与背景区域对应的背景纹理图像进行融合，得到与源纹理图像对应的拟合纹理图像。
具体地，计算机设备可将源纹理图像中的背景区域划分出，以生成对应的背景纹理图像。进而计算机设备可将面部拟合纹理图像与背景纹理图像进行融合，得到拟合纹理图像并输出。其中，将面部拟合纹理图像与背景纹理图像进行融合处理的具体融合方式，可以采用像素级的图像融合方式、特征级的图像融合方式或决策级的图像融合方式等，本申请实施例对此不做限定。
在一个实施例中，计算机设备可直接对面部拟合纹理图像与背景纹理图像中的像素点进行融合，从而得到拟合纹理图像。在另一个实施例中，计算机设备可分别对面部拟合纹理图像与背景纹理图像进行特征抽取后，将边缘、形状、轮廓、局部特征等信息进行综合处理，以得到拟合纹理图像。
在一个实施例中，计算机设备可确定与面部拟合纹理图像对应的面部掩模，通过拉普拉斯图像融合的方式对面部拟合纹理图像与背景纹理图像进行融合处理，得到拟合纹理图像。具体的关于拉普拉斯图像融合的方式会在下面的实施例中进行详细描述。
上述实施例中，仅对面部区域进行拟合处理得到对应的面部拟合纹理图像，可以很好地将面部图像中的噪声去除掉，而保留了背景区域的像素信息。这样，在通过生成对抗网络进行纹理增强时可有针对性和目的性的对含有皮肤的面部区域进行纹理增强，使得经过处理后的整个纹理图像的整体质量有所提升。
参考图4，在一个实施例中，样本纹理图像包括多于一组的部件样本纹理图像；步骤S304，也就是基于与源纹理图像对应的样本纹理图像的主成分，对面部区域进行拟合处理得到对应的面部拟合纹理图像的步骤，具体包括以下步骤：
S402，确定面部区域中包括的多于一个的部件区域。
具体地，计算机设备在生成源纹理图像时，该源纹理图像中面部的各个部件是对齐的。也就是说，各个源纹理图像中的眼睛区域、鼻子区域、或额头区域等都是一致的。计算机设备可对面部区域中的各个部件进行定位，进而确定面部区域中与各个部件分别对应的部件区域。该部件具体可以是，额头、眉毛、眼睛、鼻子、嘴唇、脸颊和下巴等。相应的部件区域具体可以是额头、眉毛、眼睛、鼻子、嘴唇、脸颊或下巴所在的区域。
S404，基于各部件区域分别对应的部件样本纹理图像的部件主成分，确定相应部件区域对应的局部拟合纹理图像。
在一个实施例中，计算机设备可确定与相应部件区域对应的局部掩膜，将该局部掩膜和样本纹理图像进行叠加，得到对应的部件样本纹理图像。对于每种部件，计算机设备均可基于一系列的样本纹理图像，得到一些列的部件样本纹理图像。比如，与眼睛对应的一系列的眼睛样本纹理图像，与鼻子对应的一系列的鼻子样本纹理图像。
其中，局部掩膜是与部件区域对应的图像掩膜，而图像掩膜是也称mask，用于对待处理的图像进行全部或局部遮挡，来控制图像处理的区域。在光学图像处理中，图像掩膜可以是胶片或滤光片等。而在数字图像处理中，图像掩膜具体可以是二维矩阵数组，或多值图像等。在本申请实施例中，该局部掩膜具体可以是一组二值图像，比如，该二值图像中与部件区域对应的区域的值为1，其他区域为0。
进而，计算机设备可对每类部件样本纹理图像分别构建对应的部件样本矩阵。对于每个部件所对应的部件样本矩阵，计算机设备可对该部件样本矩阵进行奇异值分解，以得到多于一组的奇异值及相应的PCA基。计算机设备可选取预设数量的较大的奇异值和相应奇异值对应的PCA基，以构成该部件样本矩阵对应的部件主成分。进而，计算机设备通过该部件主成分，对源纹理图像中的相应部件区域进行PCA基拟合，得到对应的局部拟合纹理图像。比如，得到与眼睛对应的眼睛拟合纹理图像，与鼻子对应的鼻子拟合纹理图像。
S406，按照各部件区域所对应的局部掩模，对相应的局部拟合纹理图像进行融合，得到与面部区域对应的面部拟合纹理图像。
具体地，计算机设备可将不同部件区域的局部拟合纹理图像通过局部掩膜叠加，得到所有PCA基覆盖范围下的面部拟合纹理图像。
上述实施例中，分别对面部的各个部件进行拟合，得到局部拟合纹理图像，进而融合各个部件的局部拟合纹理图像，从而得到整个面部对应的面部拟合纹理图像。这样在进行拟合处理时，无需大量的样本数量就可得到较好的拟合效果，且分别进行局部拟合，大大减少了同时需要计算的计算量，进一步提高了拟合效率和效果。
在一个实施例中，步骤S404，也就是基于各部件区域分别对应的部件样本纹理图像的部件主成分，确定相应部件区域对应的局部拟合纹理图像的步骤，具体包括：获取对各部件区域相应的部件样本纹理图像进行主成分分析后所得到的部件主成分、以及各组部件样本纹理图像分别对应的部件样本均值；通过与各部件区域对应的部件主成分、待调整的局部拟合参数和部件样本均值，构建相应的局部拟合纹理图像函数；根据各局部拟合纹理图像函数和源纹理图像构建第一目标损失函数；通过不断调整局部拟合参数的值，以使得第一目标损失函数最小化，当满足停止条件时停止，得到各部件区域分别对应的局部拟合目标值；将与各部件区域分别对应的局部拟合目标值分别代入至相应的局部拟合纹理图像函数，得到与各部件区域对应的局部拟合纹理图像。
在一个实施例中，对于每种部件，计算机设备可基于一系列的与该部件对应的部件样本纹理图像，构建部件样本矩阵，该部件样本矩阵中一个维度表示样本数，一个维度表示样本特征。进而计算机设备可对该部件样本矩阵进行奇异值分解，以得到多于一组的奇异值及相应的PCA基。计算机设备可对各奇异值按从大至小排序，并获取排序在预设名次之前的奇异值及相应的PCA基。这些排序在预设名次之前的奇异值及相应的PCA基共同构成该部件样本矩阵对应的主成分，也就是部件样本纹理图像对应的部件主成分。
进一步地，对于每种部件，计算机设备可根据一系列的部件样本纹理图像，计算与该部件对应的部件样本均值。该部件样本均值是一组向量，该向量的维度为样本特征数。比如，该部件样本矩阵为n行*m列的矩阵，其中n表示样本数，m表示样本特征数，那部件样本均值是一个m维的向量，该向量中的每一维的值是该部件样本矩阵中相应列的均值。
进一步地，计算机设备通过与各部件区域对应的部件主成分、待调整的局部拟合参数和部件样本均值，构建相应的局部拟合纹理图像函数。在一个实施例中，计算机设备可根据选取的奇异值与相应奇异值对应的PCA基的点积确定主成分，并将与主成分对应的矩阵的倒置矩阵与局部拟合参数相乘，再加上部件样本均值，得到局部拟合纹理图像。也就是计算机设备可通过以下公式构建局部拟合纹理图像函数：fit_uv_part＝z*X+mu；其中，X＝(basis·sigma)^T；其中,X表示部件主成分；basis表示PCA基；sigma表示相应PCA基对应的奇异值；z表示局部拟合参数；mu表示部件样本均值。
可以理解，在求解局部拟合参数的过程中，目标是优化每个局部拟合参数z使得将各局部拟合纹理图像叠加后的纹理图像与真实的源纹理图像gt_uv相接近，衡量标准具体可以是，面部拟合纹理图像和源纹理图像之间的欧式距离。这样，计算机设备就可根据各局部拟合纹理图像函数和源纹理图像构建图像损失函数：loss_L2＝Ez[||Σfit_uv_part(z)-gt_uv||]；其中，fit_uv_part(z)为局部拟合纹理图像函数的值；gt_uv为源纹理图像；E为求期望运算。计算机设备可直接将该图像损失函数作为第一目标损失函数来调整局部拟合参数的值。
计算机设备可将z初始化为全零，通过Adam优化器(一种优化器)进行训练，设置匹配的学习率，比如0.01。通过不断调整局部拟合参数z的值，以使得第一目标损失函数最小化，当满足停止条件时停止，得到各部件区域分别对应的局部拟合目标值。其中，停止条件具体可以是达到预设迭代次数，比如迭代500次得到局部拟合参数z的最优值。进而计算机设备可将与各部件区域分别对应的局部拟合目标值分别代入至相应的局部拟合纹理图像函数，得到与各部件区域对应的局部拟合纹理图像。
在一个实施例中，考虑到将各个局部拟合纹理图像叠加拼接成面部拟合纹理图像时，不同部件的连接处可能存在噪声的情况，在构建第一目标损失函数时可添加平滑损失，使得输出更加平滑。
在一个实施例中，根据各局部拟合纹理图像函数和源纹理图像构建第一目标损失函数，包括：根据各局部拟合纹理图像函数之和与源纹理图像的差异，构建图像损失函数；根据各局部拟合纹理图像函数确定拟合纹理图像函数，并基于由拟合纹理图像函数所确定的当前的拟合纹理图像中各像素的差异，构建对应的平滑损失函数；将图像损失函数和平滑损失函数的加权和函数，作为第一目标损失函数。
具体地，计算机设备可根据各局部拟合纹理图像函数之和与源纹理图像的差异，构建图像损失函数。该图像损失函数可用以下公式表示：loss_L2＝Ez[||Σfit_uv_part(z)-gt_uv||。计算机设备可根据各局部拟合纹理图像函数确定拟合纹理图像函数，并基于由拟合纹理图像函数所确定的当前的拟合纹理图像中相邻像素的差异，构建对应的平滑损失函数。该拟合纹理图像函数可表示为fit_uv(z)＝Σfit_uv_part(z)。
在一个实施例中，计算机设备可对当前的拟合纹理图像做2x2下采样，在每个2x2块中4个像素一次选取，得到4个下采样图片。该平滑损失Smoothing loss即为每两幅图片之间的L2 loss。
进一步地，计算机设备可将图像损失函数和平滑损失函数的加权和函数，作为第一目标损失函数。比如，计算机设备可通过以下公式确定第一目标损失函数：Loss_total＝loss_L2+loss_smoothing*weight。其中，weight表示加权系数。
这样，将平滑损失也添加至第一目标损失中，可使得确定的局部拟合参数更优。通过考虑了图像损失和平滑损失而计算得到的局部拟合参数来确定的局部拟合纹理图像，在进行叠加生成面部拟合纹理图像时，不会有明显的拼接，噪声少，拟合效果更好。
上述实施例中，通过将局部拟合纹理图像与源纹理图像的差异更小化来得到优化的局部拟合参数，通过这样优化后的局部拟合参数拟合得到的局部拟合纹理图像，拟合程度更接近于真实的源纹理图像，拟合效果好。
在一个实施例中，计算机设备可直接对全脸进行PCA基拟合，得到对应的面部拟合纹理图像。具体地，步骤S304，也就是基于与源纹理图像对应的样本纹理图像的主成分，对面部区域进行拟合处理得到对应的面部拟合纹理图像的步骤，具体包括：获取对与源纹理图像对应的样本纹理图像进行主成分分析后所得到的面部主成分、以及样本纹理图像对应的面部样本均值；通过面部主成分、待调整的面部拟合参数和面部样本均值，构建相应的面部拟合纹理图像函数；根据面部拟合纹理图像函数与源纹理图像构建第二目标损失函数；通过不断调整面部拟合参数的值，以使得第二目标损失函数最小化，当满足停止条件时停止，得到面部拟合目标值；将面部拟合目标值代入至面部拟合纹理图像函数，得到与源纹理图像对应的面部拟合纹理图像。
具体地，计算机设备可基于整个样本纹理图像，构建对应的面部样本矩阵。进而计算机设备可对该面部样本矩阵进行奇异值分解，以得到多于一组的奇异值及相应的PCA基。计算机设备可选取预设数量的较大的奇异值和相应奇异值对应的PCA基，以构成该面部样本矩阵对应的面部主成分。
进一步地，计算机设备可根据一系列的样本纹理图像，计算对应的面部样本均值。计算机设备通过面部主成分、待调整的面部拟合参数和面部样本均值，构建相应的面部拟合纹理图像函数。在求解面部拟合参数的过程中，目标是优化面部拟合参数使得面部拟合纹理图像与真实的源纹理图像相接近。这样，计算机设备就可根据面部拟合纹理图像函数和源纹理图像的差异构建第二目标损失函数。计算机设备可将面部拟合参数初始化为全零，通过Adam优化器(一种优化器)进行训练，设置匹配的学习率。通过不断调整面部拟合参数的值，以使得第二目标损失函数最小化，当满足停止条件时停止，得到面部拟合目标值。其中，停止条件具体可以是达到预设迭代次数。进而计算机设备可将面部拟合目标值代入至面部拟合纹理图像函数，得到对应的面部拟合纹理图像。
上述实施例中，通过将面部拟合纹理图像与源纹理图像的差异更小化来得到优化的面部拟合参数，通过这样优化后的面部拟合参数拟合得到的面部拟合纹理图像，拟合程度更接近于真实的源纹理图像，拟合效果好。
参考图5，在一个实施例中，步骤S306，也就是将面部拟合纹理图像与背景区域对应的背景纹理图像进行融合，得到与源纹理图像对应的拟合纹理图像的步骤，具体包括：
S502，确定与面部拟合纹理图像对应的面部掩模，并基于面部掩膜构建对应的高斯金字塔。
其中，面部掩膜是与面部区域对应的图像掩膜。高斯金字塔是一种图像金字塔，图像金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图像的图像集合。将一层一层的图像可比喻成金字塔，层级越高，则图像越小，分辨率越低。本申请实施例中的与面部掩膜对应的高斯金字塔是对面部掩膜进行逐步下采样后所得到的图像金字塔。其中，下采样(subsampled)是抽取原图像中的部分像素组成新的图像的过程，可以理解成缩小图像，又称为降采样(downsampled)。与下采样相反的操作是上采样(upsampling)，上采样是放大图像的处理，也可以将之称为图像插值(interpolating)，其主要目的是放大原图像，从而使得图像可以显示在更高分辨率的显示设备上。
具体地，计算机设备对面部掩膜进行高斯低通滤波和隔行下采样处理，得到处理后的图像，再对处理后的图像继续进行高斯低通滤波和隔行下采样处理，这样逐层处理至预设层数，得到与面部掩膜对应的高斯图像金字塔。
在一个实施例中，对图像进行高斯低通滤波的具体方式，具体可以是通过滤波器进行滤波。该滤波器具体可以是一个矩阵，通过将待进行高斯低通滤波处理的图像中的各像素与该矩阵做乘积以进行滤波，再对各像素进行归一化处理，得到滤波后的图像。在一个示例性的实施例中，该滤波器具体可以是Filter＝1/256[[1,4,6,4,1],[4,16,24,16,4],[6,24,36,24,6],[4,16,24,16,4],[1,4,6,4,1]]。当然，该滤波器也可以是其他的滤波器，本申请实施例对此不作限定。
S504，基于面部拟合纹理图像构建对应的第一拉普拉斯金字塔，并基于与背景区域对应的背景纹理图像构建对应的第二拉普拉斯金字塔。
其中，拉普拉斯金字塔是是一种图像金字塔。而拉普拉斯金字塔，也称拉普拉斯残差金字塔，是用来从金字塔低层图像重建上层未采样图像而构建的图像金字塔，在数字图像处理中也即是预测残差，可以对图像进行最大程度的还原，配合高斯金字塔一起使用。
在一个实施例中，计算机设备对面部拟合纹理图像进行高斯低通滤波和隔行下采样处理，得到处理后的图像，再对处理后的图像继续进行高斯低通滤波和隔行下采样处理，这样逐层处理至预设层数，得到与面部拟合纹理图像对应的高斯图像金字塔。对得到的与面部拟合纹理图像对应的高斯图像金字塔采用内插法放大，并使用与高斯图像金字塔构建时相同的滤波器滤波，并于下层高斯图像金字塔相减，得到该层的残差图像，重复上述过程即可构建第一拉普拉斯金字塔。可以理解，计算机设备可采用与上面描述一样的方式，对背景纹理图像进行处理，以构建背景纹理图像对应的第二拉普拉斯金字塔。
下面举例说明构建拉普拉斯金字塔的具体过程，以L图为例，该L图具体可以是面部拟合纹理图像或背景纹理图像。步骤(1)，对L进行高斯下采样得到downL，具体可通过pyrDown()函数实现此功能。步骤(2)，再对downL进行高斯上采样得到upL，具体可通过pyrUp()函数可以实现此功能。接下来计算原图L与upL之间的残差，得到一幅残差图lapL0。作为拉普拉斯残差金字塔最低端的图像。步骤(3)，对downL继续进行步骤(1)和步骤(2)操作，不断计算残差图lapL1,lap2,lap3.....lapN。这样得到一系列残差图，即为拉普拉斯残差金字塔。
S506，通过高斯金字塔每层的面部掩膜图像，将第一拉普拉斯金字塔和第二拉普拉斯金字塔中相应层的图像融合成对应的融合图像。
具体地，计算机设备可通过与该面部掩膜对应的高斯金字塔每层的掩膜图像，将第一拉普拉斯金字塔和第二拉普拉斯金字塔中相应层的图像融合成一幅图，也就是融合图像。这样对每层均采用这样的方式融合，得到从底层至顶层的多于一层的融合图像。
具体地，在对各金字塔的每层图像进行融合时，计算机设备可通过加权融合的方式进行融合处理。对于每一层，计算机设备将第一拉普拉斯金字塔中相应层的图像与对应的高斯金字塔中相应层的掩膜图像相乘得到第一图像。对于每一层，计算机设备可确定与高斯金字塔中相应层的掩膜图像相反的反掩膜图像，并将第二拉普拉斯金字塔中相应层的图像与反掩膜图像相乘，得到第二图像。进而，对于每一层，计算机设备可将相应层对应的第一图像和第二图像进行加权求和处理，得到该层对应的融合图像。其中，加权融合的加权系数可根据实际情况进行确定和调整。
在一个实施例中，对于每一层，计算机设备均可通过以下公式计算得到相应层融合图像：设该层的融合图像为y，则y＝α*mask*imageA+β*(1-mask)mask*imageB；其中，α和β为加权系数；imageA为面部拟合纹理图像；imageB为背景纹理图像；mask为面部掩膜。这样，通过加权融合的方式，可以很好的将第一拉普拉斯金字塔和第二拉普拉斯金字塔中相应层的图像融合成对应的融合图像，以为后续生成高质量的拟合纹理图像做好准备。
S508，从融合后的顶层的融合图像开始，逐层上采样后叠加下一层的融合图像，直至叠加至底层的融合图像为止，输出叠加后得到的拟合纹理图像。
具体地，计算机设备从融合后的顶层的融合图像开始，逐层上采样至与下一层的融合图像相同大小后叠加下一层的融合图像，不断重复上采样处理后叠加，直至叠加至底层的融合图像为止，输出叠加后得到的拟合纹理图像。这样，就可以通过逐层融合并叠加的方式，通过面部掩膜，将面部拟合纹理图像与背景纹理图像融合成一幅纹理图像。
上述实施例中，通过拉普拉斯图像融合的方式，并根据面部掩膜，将面部拟合纹理图像和背景纹理图像进行融合处理，可以得到完整的拟合纹理图像。
参考图6，在一个实施例中，生成对抗网络包括生成器和判别器；该生成对抗网络的训练步骤包括以下步骤：
S602，获取样本纹理图像、以及与样本纹理图像对应的样本平滑纹理图像。
具体地，计算机设备可从本地或通过网络从其他计算机设备处，获取样本纹理图像。在一个实施例中，该样本纹理图像具体可以是人脸样本纹理图像，计算机设备可预先采集各种人脸的纹理图像以构建一个纹理图像库，进而可从该纹理图像库中选取一些列图像质量较好的纹理图像作为样本纹理图像。
在一个实施例中，计算机设备可对面部纹理图像随机裁剪出预设尺寸的图像，作为样本纹理图像，达到数据扩增的效果。具体可以是对1184x1020x3大小的面部纹理图像随机剪裁出1000x950x3大小，得到样本纹理图像，达到数据扩增的效果。
进一步地，计算机设备可根据一系列样本纹理图像所对应的主成分，对各个样本纹理图像进行拟合，得到对应的样本拟合纹理图像。再对样本拟合纹理图像进行平滑处理，得到对应的样本平滑纹理图像。其中，根据样本纹理图像得到样本平滑纹理图像的具体技术细节，也就是如何进行拟合处理和平滑处理的具体细节，可参考前述步骤S204和步骤S206中的详细实施方式，本申请实施例在此不再赘述。可以理解，样本纹理图像是真实的高清的纹理图像，而样本平滑纹理图像为低清的纹理图像。
S604，将样本平滑纹理图像输入至待训练的生成对抗网络的生成器中，通过生成器进行纹理增强处理，输出对应的预测目标纹理图像。
具体地，在对生成对抗网络进行训练时，计算机设备可将样本平滑纹理图像输入至待训练的生成对抗网络的生成器G中。通过该生成器G对样本平滑纹理图像进行纹理增强处理，输出同等分辨率的预测目标纹理图像。
S606，将样本平滑纹理图像，与样本纹理图像或预测目标纹理图像构成样本输入对，并将样本输入对输入至待训练的生成对抗网络的判别器中，得到输出概率。
具体地，计算机设备将样本平滑纹理图像，与样本纹理图像或预测目标纹理图像构成样本输入对，并将样本输入对输入至待训练的生成对抗网络的判别器中。也就是说，该判别器D接收两个输入，一个为低清的样本平滑纹理图像，可设为x，另一个为需要判别真假的纹理图像，即生成器G输出预测目标纹理图像y(假)，或真实的高清的样本纹理图像y_gt(真实数据)。对于每组输入，判别器D会对每组输入中的两个输入进行比较判别，得到输出概率。可以理解，该输出概率具体可以是一个概率值，用于表示该需要判别真假的纹理图像是真还是假的概率。比如概率为0表示真，概率为1表示假；或者概率为1表示真，概率为0表示假。该输出概率还可以是一组概率向量，比如概率向量(a，b)，其中，a与b的和为1，a表示为真的可能性，b表示为假的可能性；或者，a表示为假的可能性，b表示为真的可能性等，本申请实施例对此不做限定。
参考图7，图7为一个实施例中生成对抗网络的网络结构示意图。如图7所示，该生成对抗网络包括生成器G和判别器D。计算机设备将低清纹理图像(也就是本申请实施例中的样本平滑纹理图像)，输入至生成器G中，输出经过纹理增强后的高清纹理图像，也就是本申请实施例中的预测目标纹理图像。进而计算机设备可将高清纹理图像与低清纹理图像组成样本输入对输入至判别器D中，判别器D的目标是进行判断并输出“假”所对应的输出概率。计算机设备还将Groundtruth(真实纹理图像，也就是源纹理图像)与低清纹理图像组成样本输入对输入至判别器D中，判别器D的目标是进行判断并输出“真”所对应的输出概率。
在一个实施例中，该判别器D可包含5层卷积，分别为4*4conv,stride 2,64；4*4conv,stride 2,128；4*4conv,stride 2,256；4*4conv,stride 2,512；4*4conv,stride2,1。当然，在其他的实施例中，该判别器可包括更多或更少的卷积层，本申请实施例对此不做限定。
S608，根据各样本输入对对应的输出概率构建对抗损失函数。
具体地，计算机设备可根据各样本输入对对应的输出概率构建对抗损失函数。在一个实施例中，计算机设备可根据各个样本输入对所对应的输出概率的期望，构建对抗损失函数。该对抗损失函数具体可通过以下公式表示：LcGAN(G,D)＝Ex|y_gt[logD(x,y_gt)]+[logD(x,y)]；其中，x表示样本平滑纹理图像；y_gt表示样本纹理图像；D(x,y_gt)表示判别器对由样本平滑纹理和样本纹理图像构成的样本对进行判别处理后的输出；y表示预测目标纹理图像；D(x,y)表示判别器对由样本平滑纹理和预测目标纹理图像构成的样本对进行判别处理后的输出；log表示取对数运算；E表示求期望运算。
S610，根据样本纹理图像和预测目标纹理图像的差异构建重构损失函数。
具体地，计算机设备可根据样本纹理图像和预测目标纹理图像的差异构建重构损失函数。其中，样本纹理图像和预测目标纹理图像的差异具体可通过样本纹理图像和预测目标纹理图像的欧氏距离来表示，当然也可以是其他的方式来衡量，比如，两张图像的相似度或一范数等。
在一个实施例中，计算机设备可通过以下公式计算建重构损失函数：LL1(G)＝Ex|y_gt[||y_gt-y||1]；其中，y_gt表示样本纹理图像；表示预测目标纹理图像；||y_gt-y||1表示样本纹理图像和预测目标纹理图像的差异的一范数；E表示求期望运算。
S612，基于对抗损失函数和重构损失函数调整待训练的生成对抗网络的网络参数并不断训练，直到满足训练停止条件时结束，得到训练好的生成对抗网络。
其中，训练停止条件是停止网络训练的条件，训练停止条件可以是达到预设的迭代次数，或者是调整网络参数后的生成对抗网络的网络性能指标达到预设指标。
具体地，计算机设备可根据对抗损失函数和重构损失函数构建目标函数，进而通过该目标函数来调整网络参数并返回至步骤S602获取不同的样本纹理图像、以及与样本纹理图像对应的样本平滑纹理图像，并重新进行训练，直到满足训练停止条件时结束训练，得到训练好的生成对抗网络。
在一个实施例中，计算机设备可通过以下公式构建目标函数：G*＝argminGmaxDLcGAN(G,D)+λLL1(G)；其中，λ为加权系数。具体地，计算机设备在当次训练过程中可调整网络参数使得对抗损失函数LcGAN(G,D)最大化，得到当次判别器的网络参数。计算机设备可冻住判别器的网络参数后，再调整生成器的网络参数，使得目标函数G*最小化，得到当次训练过程中生成器的网络参数。这样，不断的返回步骤S602，以输入样本，根据对抗损失函数、重构损失函数和目标函数来调整网络参数，直到满足训练停止条件时结束训练，得到训练好的生成对抗网络。在一个实施例中，依据实际经验，计算机设备在对对抗生成网络进行训练的过程中，可以设置λ＝100，学习率为0.0002。
上述实施例中，通过样本平滑纹理图像、以及真实的样本纹理图像对生成对抗网络进行训练，可使得生成对抗网络中的生成器学***滑纹理图像生成高清的目标纹理图像。
在一个实施例中，该基于纹理图像的纹理增强方法还包括虚拟角色形象构建的步骤，该步骤具体包括：获取虚拟角色模型；将目标纹理图像贴合至虚拟角色模型的面部，得到对应的虚拟角色形象。
其中，虚拟角色是通过数据实现的可存储与计算机设备中的虚拟对象，具体可以是虚拟人物，如游戏人物或动画人物等。虚拟角色模型用于实现虚拟角色的呈现，计算机设备在运行虚拟角色模型时，计算机设备可在显示器中显示该虚拟角色。该虚拟角色模型具体可以是三维的虚拟角色模型，用于呈现三维的虚拟角色形象。
具体地，计算机设备在通过本申请实施例所提及的基于纹理图像的纹理增强方法，将源纹理图像转换成低噪声的、具有丰富纹理细节的目标纹理图像后，可将该目标纹理图像通过UV贴图的方式，贴合至该虚拟角色模型的面部，得到对应的虚拟角色形象。
在一个实施例中，在某些应用程序中，比如在游戏捏脸等应用中，高清真实的纹理图像依赖于美工修图，而人工修复纹理图像耗时耗力，通过本申请实施例所提及的基于纹理图像的纹理增强方法，可自动生成高清的面部纹理图像，减少时间和人力，因而可以快速的生成虚拟角色形象。
上述实施例中，通过将目标纹理图像贴合至虚拟角色模型的面部，可以得到具体高清真实的面部纹理图像的虚拟角色形象。
本申请还提供一种应用场景，该应用场景应用上述的基于纹理图像的纹理增强方法。具体地，该基于纹理图像的纹理增强方法在该应用场景的应用如下：
参考图8，图8为一个具体实施例中该基于纹理图像的纹理增强方法的原理示意图。计算机设备可采集不同人脸对应的人脸二维图像，并根据人脸二维图像生成对应的人脸纹理图像。进而计算机设备可对该人脸纹理图像进行基于PCA基的纹理合成。在该拟合过程中具体可以是通过脸颊、眼睛、嘴巴、眉毛、额头以及下巴六个局部PCA基拟合出局部拟合纹理图像。不同部件区域的局部拟合纹理图通过掩膜叠加可得到所有PCA基覆盖范围下的面部拟合纹理图像(也可称作低清的面部拟合纹理图像)。接下来，对于头发和环境背景等其余非关键区域，选取基本的面部纹理图像作为合成图像的通用背景，并根据背景区域所对应的背景掩膜，通过拉普拉斯图像融合的方式融合背景纹理图像和面部拟合纹理图像中的面部区域，得到低清的拟合纹理图像。进而对该低清的拟合纹理图像进行高斯平滑处理，得到对应的平滑纹理图像。再将该平滑纹理图像输入至训练好的生成对抗网络中的生成器，输出经过纹理增强的高清的目标纹理图像。
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种基于纹理图像的纹理增强装置900，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块901、拟合模块902、平滑处理模块903和纹理增强模块904，其中：
获取模块901，用于获取待处理的源纹理图像。
拟合模块902，用于基于与源纹理图像对应的样本纹理图像的主成分，对源纹理图像进行拟合处理，得到相应的拟合纹理图像；其中，样本纹理图像的主成分通过对样本纹理图像进行主成分分析所得到。
平滑处理模块903，用于对拟合纹理图像进行平滑处理，得到对应的平滑纹理图像；平滑处理用于对拟合纹理图像进行噪声抑制；。
纹理增强模块904，用于通过生成对抗网络中的生成器对平滑纹理图像进行纹理增强处理，输出与源纹理图像对应的目标纹理图像。
在一个实施例中，获取模块901具体用于获取对目标对象的面部进行不同角度扫描所得到的、多于一张的面部图像；获取与目标场景对应的纹理设置信息；按照纹理设置信息，对多于一张的面部图像进行融合处理，得到与目标对象对应的源纹理图像。
在一个实施例中，获取模块901具体用于通过对多于一张的面部图像进行分析，确定与目标对象对应的面部形态信息和光照信息；根据面部形态信息，确定将三维纹理模型中的各位置点分别映射至面部图像中时所对应的像素点；按照纹理设置信息，并基于所确定的像素点的色彩信息和对应的光照信息，结合三维纹理模型构建与目标对象对应的源纹理图像。
在一个实施例中，拟合模块902具体用于确定源纹理图像所包括的面部区域和背景区域；基于与源纹理图像对应的样本纹理图像的主成分，对面部区域进行拟合处理得到对应的面部拟合纹理图像；将面部拟合纹理图像与背景区域对应的背景纹理图像进行融合，得到与源纹理图像对应的拟合纹理图像。
在一个实施例中，样本纹理图像包括多于一组的部件样本纹理图像。拟合模块902具体用于确定面部区域中包括的多于一个的部件区域；基于各部件区域分别对应的部件样本纹理图像的部件主成分，确定相应部件区域对应的局部拟合纹理图像；按照各部件区域所对应的局部掩模，对相应的局部拟合纹理图像进行融合，得到与面部区域对应的面部拟合纹理图像。
在一个实施例中，拟合模块902具体用于获取对各部件区域相应的部件样本纹理图像进行主成分分析后所得到的部件主成分、以及各组部件样本纹理图像分别对应的部件样本均值；通过与各部件区域对应的部件主成分、待调整的局部拟合参数和部件样本均值，构建相应的局部拟合纹理图像函数；根据各局部拟合纹理图像函数和源纹理图像构建第一目标损失函数；通过不断调整局部拟合参数的值，以使得第一目标损失函数最小化，当满足停止条件时停止，得到各部件区域分别对应的局部拟合目标值；将与各部件区域分别对应的局部拟合目标值分别代入至相应的局部拟合纹理图像函数，得到与各部件区域对应的局部拟合纹理图像。
在一个实施例中，拟合模块902具体用于根据各局部拟合纹理图像函数之和与源纹理图像的差异，构建图像损失函数；根据各局部拟合纹理图像函数确定拟合纹理图像函数，并基于由拟合纹理图像函数所确定的当前的拟合纹理图像中各像素的差异，构建对应的平滑损失函数；将图像损失函数和平滑损失函数的加权和函数，作为第一目标损失函数。
在一个实施例中，拟合模块902具体用于获取对与源纹理图像对应的样本纹理图像进行主成分分析后所得到的面部主成分、以及样本纹理图像对应的面部样本均值；通过面部主成分、待调整的面部拟合参数和面部样本均值，构建相应的面部拟合纹理图像函数；根据面部拟合纹理图像函数与源纹理图像构建第二目标损失函数；通过不断调整面部拟合参数的值，以使得第二目标损失函数最小化，当满足停止条件时停止，得到面部拟合目标值；将面部拟合目标值代入至面部拟合纹理图像函数，得到与源纹理图像对应的面部拟合纹理图像。
在一个实施例中，拟合模块902具体用于确定与面部拟合纹理图像对应的面部掩模，并基于面部掩膜构建对应的高斯金字塔；基于面部拟合纹理图像构建对应的第一拉普拉斯金字塔，并基于与背景区域对应的背景纹理图像构建对应的第二拉普拉斯金字塔；通过高斯金字塔每层的面部掩膜图像，将第一拉普拉斯金字塔和第二拉普拉斯金字塔中相应层的图像融合成对应的融合图像；从融合后的顶层的融合图像开始，逐层上采样后叠加下一层的融合图像，直至叠加至底层的融合图像为止，输出叠加后得到的拟合纹理图像。
在一个实施例中，平滑处理模块903具体用于按预设格式从拟合纹理图像中裁剪出包括有面部区域的中间纹理图像；对中间纹理图像进行平滑操作和归一化处理，得到对应的平滑纹理图像；其中，平滑操作用于对中间纹理图像进行噪声抑制。
在一个实施例中，该基于纹理图像的纹理增强装置900还包括训练模块905，用于获取样本纹理图像、以及与样本纹理图像对应的样本平滑纹理图像；将样本平滑纹理图像输入至待训练的生成对抗网络的生成器中，通过生成器进行纹理增强处理，输出对应的预测目标纹理图像；将样本平滑纹理图像，与样本纹理图像或预测目标纹理图像构成样本输入对，并将样本输入对输入至待训练的生成对抗网络的判别器中，得到输出概率；根据各样本输入对对应的输出概率构建对抗损失函数；根据样本纹理图像和预测目标纹理图像的差异构建重构损失函数；基于对抗损失函数和重构损失函数调整待训练的生成对抗网络的网络参数并不断训练，直到满足训练停止条件时结束，得到训练好的生成对抗网络。
参考图10，在一个实施例中，该基于纹理图像的纹理增强装置900还包括贴合模块906，用于获取虚拟角色模型；将目标纹理图像贴合至虚拟角色模型的面部，得到对应的虚拟角色形象。
上述基于纹理图像的纹理增强装置，基于与源纹理图像对应的样本纹理图像的主成分，对源纹理图像进行拟合得到相应的拟合纹理图像。其中，该样本纹理图像的主成分通过对一系列的样本纹理图像进行主成分分析所得到。这样，该拟合纹理图像中可消除部分图像噪声，比如阴影和光照信息等，而保留大部分有效的图像信息。进而再对该拟合纹理图像进行平滑处理，可以得到抑制了比如斑点、色素、或痣等高频噪声的平滑纹理图像。通过训练好的生成对抗网络中的生成器对该平滑纹理图像进行纹理增强处理，在保留原本低清晰度纹理的同时，重构和生成真实的毛孔和毛发纹理，得到目标纹理图像。这样，可以将低质量的源纹理图像在分辨率不变的情况下转化为清晰度高且细节信息丰富的目标纹理图像，确保生成的目标纹理图像保留原有纹理信息的同时，加强了更多纹理细节，大大提高了纹理增强的效果。
关于基于纹理图像的纹理增强装置的具体限定可以参见上文中对于基于纹理图像的纹理增强方法的限定，在此不再赘述。上述基于纹理图像的纹理增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备具体可以是终端或服务器，其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储纹理图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于纹理图像的纹理增强方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (24)

1.一种基于纹理图像的纹理增强方法，所述方法包括：
获取待处理的源纹理图像，并确定所述源纹理图像所包括的面部区域和背景区域；
基于与所述源纹理图像对应的样本纹理图像的主成分，对所述面部区域进行拟合处理得到对应的面部拟合纹理图像；其中，所述样本纹理图像的主成分通过对所述样本纹理图像进行主成分分析所得到；
将所述面部拟合纹理图像与所述背景区域对应的背景纹理图像进行融合，得到与所述源纹理图像对应的拟合纹理图像；
对所述拟合纹理图像进行平滑处理，得到对应的平滑纹理图像；所述平滑处理用于对所述拟合纹理图像进行噪声抑制；
通过生成对抗网络中的生成器对所述平滑纹理图像进行纹理增强处理，输出与所述源纹理图像对应的目标纹理图像。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理的源纹理图像，包括：
获取对目标对象的面部进行不同角度扫描所得到的、多于一张的面部图像；
获取与目标场景对应的纹理设置信息；
按照所述纹理设置信息，对所述多于一张的面部图像进行融合处理，得到与所述目标对象对应的源纹理图像。
3.根据权利要求2所述的方法，其特征在于，所述按照所述纹理设置信息，对所述多于一张的面部图像进行融合处理，得到与所述目标对象对应的源纹理图像，包括：
通过对所述多于一张的面部图像进行分析，确定与所述目标对象对应的面部形态信息和光照信息；
根据所述面部形态信息，确定将三维纹理模型中的各位置点分别映射至所述面部图像中时所对应的像素点；
按照所述纹理设置信息，并基于所确定的像素点的色彩信息和对应的光照信息，结合所述三维纹理模型构建与所述目标对象对应的源纹理图像。
4.根据权利要求1所述的方法，其特征在于，所述样本纹理图像包括多于一组的部件样本纹理图像；所述基于与所述源纹理图像对应的样本纹理图像的主成分，对所述面部区域进行拟合处理得到对应的面部拟合纹理图像，包括：
确定所述面部区域中包括的多于一个的部件区域；
基于各所述部件区域分别对应的部件样本纹理图像的部件主成分，确定相应部件区域对应的局部拟合纹理图像；
按照各部件区域所对应的局部掩模，对相应的局部拟合纹理图像进行融合，得到与所述面部区域对应的面部拟合纹理图像。
5.根据权利要求4所述的方法，其特征在于，所述基于各所述部件区域分别对应的部件样本纹理图像的部件主成分，确定相应部件区域对应的局部拟合纹理图像，包括：
获取对各部件区域相应的部件样本纹理图像进行主成分分析后所得到的部件主成分、以及各组部件样本纹理图像分别对应的部件样本均值；
通过与各部件区域对应的部件主成分、待调整的局部拟合参数和所述部件样本均值，构建相应的局部拟合纹理图像函数；
根据各局部拟合纹理图像函数和所述源纹理图像构建第一目标损失函数；
通过不断调整所述局部拟合参数的值，以使得所述第一目标损失函数最小化，当满足停止条件时停止，得到各部件区域分别对应的局部拟合目标值；
将与各部件区域分别对应的局部拟合目标值分别代入至相应的局部拟合纹理图像函数，得到与各部件区域对应的局部拟合纹理图像。
6.根据权利要求5所述的方法，其特征在于，所述根据各局部拟合纹理图像函数和所述源纹理图像构建第一目标损失函数，包括：
根据各所述局部拟合纹理图像函数之和与所述源纹理图像的差异，构建图像损失函数；
根据各所述局部拟合纹理图像函数确定拟合纹理图像函数，并基于由所述拟合纹理图像函数所确定的当前的拟合纹理图像中各像素的差异，构建对应的平滑损失函数；
将所述图像损失函数和所述平滑损失函数的加权和函数，作为第一目标损失函数。
7.根据权利要求1所述的方法，其特征在于，所述基于与所述源纹理图像对应的样本纹理图像的主成分，对所述面部区域进行拟合处理得到对应的面部拟合纹理图像，包括：
获取对与所述源纹理图像对应的样本纹理图像进行主成分分析后所得到的面部主成分、以及所述样本纹理图像对应的面部样本均值；
通过所述面部主成分、待调整的面部拟合参数和所述面部样本均值，构建相应的面部拟合纹理图像函数；
根据面部拟合纹理图像函数与所述源纹理图像构建第二目标损失函数；
通过不断调整所述面部拟合参数的值，以使得所述第二目标损失函数最小化，当满足停止条件时停止，得到面部拟合目标值；
将所述面部拟合目标值代入至所述面部拟合纹理图像函数，得到与所述源纹理图像对应的面部拟合纹理图像。
8.根据权利要求1所述的方法，其特征在于，所述将所述面部拟合纹理图像与所述背景区域对应的背景纹理图像进行融合，得到与所述源纹理图像对应的拟合纹理图像，包括：
确定与所述面部拟合纹理图像对应的面部掩模，并基于所述面部掩模构建对应的高斯金字塔；
基于所述面部拟合纹理图像构建对应的第一拉普拉斯金字塔，并基于与所述背景区域对应的背景纹理图像构建对应的第二拉普拉斯金字塔；
通过所述高斯金字塔每层的面部掩膜图像，将所述第一拉普拉斯金字塔和所述第二拉普拉斯金字塔中相应层的图像融合成对应的融合图像；
从融合后的顶层的融合图像开始，逐层上采样后叠加下一层的融合图像，直至叠加至底层的融合图像为止，输出叠加后得到的拟合纹理图像。
9.根据权利要求1所述的方法，其特征在于，所述对所述拟合纹理图像进行平滑处理，得到对应的平滑纹理图像，包括：
按预设格式从所述拟合纹理图像中裁剪出包括有面部区域的中间纹理图像；
对所述中间纹理图像进行平滑操作和归一化处理，得到对应的平滑纹理图像；其中，所述平滑操作用于对所述中间纹理图像进行噪声抑制。
10.根据权利要求1所述的方法，其特征在于，所述生成对抗网络包括生成器和判别器；所述生成对抗网络的训练步骤包括：
获取样本纹理图像、以及与所述样本纹理图像对应的样本平滑纹理图像；
将所述样本平滑纹理图像输入至待训练的生成对抗网络的生成器中，通过所述生成器进行纹理增强处理，输出对应的预测目标纹理图像；
将所述样本平滑纹理图像，与所述样本纹理图像或所述预测目标纹理图像构成样本输入对，并将所述样本输入对输入至所述待训练的生成对抗网络的判别器中，得到输出概率；
根据各样本输入对对应的输出概率构建对抗损失函数；
根据所述样本纹理图像和所述预测目标纹理图像的差异构建重构损失函数；
基于所述对抗损失函数和所述重构损失函数调整所述待训练的生成对抗网络的网络参数并不断训练，直到满足训练停止条件时结束，得到训练好的生成对抗网络。
11.根据权利要求1至10中任一项所述的方法，其特征在于，所述方法还包括：
获取虚拟角色模型；
将所述目标纹理图像贴合至所述虚拟角色模型的面部，得到对应的虚拟角色形象。
12.一种基于纹理图像的纹理增强装置，其特征在于，所述装置包括：
获取模块，用于获取待处理的源纹理图像；
拟合模块，用于确定所述源纹理图像所包括的面部区域和背景区域，基于与所述源纹理图像对应的样本纹理图像的主成分，对所述面部区域进行拟合处理得到对应的面部拟合纹理图像，将所述面部拟合纹理图像与所述背景区域对应的背景纹理图像进行融合，得到与所述源纹理图像对应的拟合纹理图像；其中，所述样本纹理图像的主成分通过对所述样本纹理图像进行主成分分析所得到；
平滑处理模块，用于对所述拟合纹理图像进行平滑处理，得到对应的平滑纹理图像；所述平滑处理用于对所述拟合纹理图像进行噪声抑制；
纹理增强模块，用于通过训练好的生成对抗网络中的生成器对所述平滑纹理图像进行纹理增强处理，输出与所述源纹理图像对应的目标纹理图像。
13.根据权利要求12所述的装置，其特征在于，所述获取模块，具体用于获取对目标对象的面部进行不同角度扫描所得到的、多于一张的面部图像；获取与目标场景对应的纹理设置信息；按照所述纹理设置信息，对所述多于一张的面部图像进行融合处理，得到与所述目标对象对应的源纹理图像。
14.根据权利要求13所述的装置，其特征在于，所述获取模块，具体用于通过对所述多于一张的面部图像进行分析，确定与所述目标对象对应的面部形态信息和光照信息；根据所述面部形态信息，确定将三维纹理模型中的各位置点分别映射至所述面部图像中时所对应的像素点；按照所述纹理设置信息，并基于所确定的像素点的色彩信息和对应的光照信息，结合所述三维纹理模型构建与所述目标对象对应的源纹理图像。
15.根据权利要求12所述的装置，其特征在于，所述样本纹理图像包括多于一组的部件样本纹理图像；所述拟合模块具体用于确定所述面部区域中包括的多于一个的部件区域；基于各所述部件区域分别对应的部件样本纹理图像的部件主成分，确定相应部件区域对应的局部拟合纹理图像；按照各部件区域所对应的局部掩模，对相应的局部拟合纹理图像进行融合，得到与所述面部区域对应的面部拟合纹理图像。
16.根据权利要求15所述的装置，其特征在于，所述拟合模块还用于获取对各部件区域相应的部件样本纹理图像进行主成分分析后所得到的部件主成分、以及各组部件样本纹理图像分别对应的部件样本均值；通过与各部件区域对应的部件主成分、待调整的局部拟合参数和所述部件样本均值，构建相应的局部拟合纹理图像函数；根据各局部拟合纹理图像函数和所述源纹理图像构建第一目标损失函数；通过不断调整所述局部拟合参数的值，以使得所述第一目标损失函数最小化，当满足停止条件时停止，得到各部件区域分别对应的局部拟合目标值；将与各部件区域分别对应的局部拟合目标值分别代入至相应的局部拟合纹理图像函数，得到与各部件区域对应的局部拟合纹理图像。
17.根据权利要求16所述的装置，其特征在于，所述拟合模块，还用于根据各所述局部拟合纹理图像函数之和与所述源纹理图像的差异，构建图像损失函数；根据各所述局部拟合纹理图像函数确定拟合纹理图像函数，并基于由所述拟合纹理图像函数所确定的当前的拟合纹理图像中各像素的差异，构建对应的平滑损失函数；将所述图像损失函数和所述平滑损失函数的加权和函数，作为第一目标损失函数。
18.根据权利要求12所述的装置，其特征在于，所述拟合模块，具体用于获取对与所述源纹理图像对应的样本纹理图像进行主成分分析后所得到的面部主成分、以及所述样本纹理图像对应的面部样本均值；通过所述面部主成分、待调整的面部拟合参数和所述面部样本均值，构建相应的面部拟合纹理图像函数；根据面部拟合纹理图像函数与所述源纹理图像构建第二目标损失函数；通过不断调整所述面部拟合参数的值，以使得所述第二目标损失函数最小化，当满足停止条件时停止，得到面部拟合目标值；将所述面部拟合目标值代入至所述面部拟合纹理图像函数，得到与所述源纹理图像对应的面部拟合纹理图像。
19.根据权利要求12所述的装置，其特征在于，所述拟合模块，具体用于确定与所述面部拟合纹理图像对应的面部掩模，并基于所述面部掩膜构建对应的高斯金字塔；基于所述面部拟合纹理图像构建对应的第一拉普拉斯金字塔，并基于与所述背景区域对应的背景纹理图像构建对应的第二拉普拉斯金字塔；通过所述高斯金字塔每层的面部掩膜图像，将所述第一拉普拉斯金字塔和所述第二拉普拉斯金字塔中相应层的图像融合成对应的融合图像；从融合后的顶层的融合图像开始，逐层上采样后叠加下一层的融合图像，直至叠加至底层的融合图像为止，输出叠加后得到的拟合纹理图像。
20.根据权利要求12所述的装置，其特征在于，所述平滑处理模块，具体用于按预设格式从所述拟合纹理图像中裁剪出包括有面部区域的中间纹理图像；对所述中间纹理图像进行平滑操作和归一化处理，得到对应的平滑纹理图像；其中，所述平滑操作用于对所述中间纹理图像进行噪声抑制。
21.根据权利要求12所述的装置，其特征在于，所述生成对抗网络包括生成器和判别器；所述装置还包括训练模块，用于获取样本纹理图像、以及与所述样本纹理图像对应的样本平滑纹理图像；将所述样本平滑纹理图像输入至待训练的生成对抗网络的生成器中，通过所述生成器进行纹理增强处理，输出对应的预测目标纹理图像；将所述样本平滑纹理图像，与所述样本纹理图像或所述预测目标纹理图像构成样本输入对，并将所述样本输入对输入至所述待训练的生成对抗网络的判别器中，得到输出概率；根据各样本输入对对应的输出概率构建对抗损失函数；根据所述样本纹理图像和所述预测目标纹理图像的差异构建重构损失函数；基于所述对抗损失函数和所述重构损失函数调整所述待训练的生成对抗网络的网络参数并不断训练，直到满足训练停止条件时结束，得到训练好的生成对抗网络。
22.根据权利要求12至21中任一项所述的装置，其特征在于，所述装置还包括贴合模块，用于获取虚拟角色模型；将所述目标纹理图像贴合至所述虚拟角色模型的面部，得到对应的虚拟角色形象。
23.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
24.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202010224186.4A 2020-03-26 2020-03-26 基于纹理图像的纹理增强方法、装置、设备和存储介质 Active CN111445410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010224186.4A CN111445410B (zh) 2020-03-26 2020-03-26 基于纹理图像的纹理增强方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010224186.4A CN111445410B (zh) 2020-03-26 2020-03-26 基于纹理图像的纹理增强方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111445410A CN111445410A (zh) 2020-07-24
CN111445410B true CN111445410B (zh) 2022-09-27

Family

ID=71650874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010224186.4A Active CN111445410B (zh) 2020-03-26 2020-03-26 基于纹理图像的纹理增强方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111445410B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738914B (zh) * 2020-07-29 2023-09-12 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN114255173A (zh) * 2020-09-24 2022-03-29 苏州科瓴精密机械科技有限公司 粗糙度补偿方法、***、图像处理设备及可读存储介质
CN112465935A (zh) * 2020-11-19 2021-03-09 科大讯飞股份有限公司 虚拟形象合成方法、装置、电子设备和存储介质
CN112488974B (zh) * 2020-12-09 2024-07-05 广州品唯软件有限公司 图像合成方法、装置、计算机设备和存储介质
CN112652004B (zh) * 2020-12-31 2024-04-05 珠海格力电器股份有限公司 一种图像处理方法、装置、设备及介质
CN112712481B (zh) * 2021-01-11 2022-09-02 中国科学技术大学 一种针对弱光图像增强的结构-纹理感知方法
CN112950739A (zh) * 2021-03-31 2021-06-11 深圳市慧鲤科技有限公司 纹理生成方法、装置、设备及存储介质
CN113034355B (zh) * 2021-04-20 2022-06-21 浙江大学 一种基于深度学习的肖像图像双下巴去除方法
CN113177879A (zh) * 2021-04-30 2021-07-27 北京百度网讯科技有限公司 图像处理方法、装置、电子设备以及存储介质
CN114821030B (zh) * 2022-04-11 2023-04-04 苏州振旺光电有限公司 行星图像处理方法、***以及装置
CN114820908B (zh) * 2022-06-24 2022-11-01 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和存储介质
CN115393487B (zh) * 2022-10-27 2023-05-12 科大讯飞股份有限公司 一种虚拟角色模型处理方法、装置、电子设备及存储介质
CN117934354B (zh) * 2024-03-21 2024-06-11 共幸科技(深圳)有限公司 一种基于ai算法的图像处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置
CN109993698A (zh) * 2019-03-29 2019-07-09 西安工程大学 一种基于生成对抗网络的单幅图像超分辨纹理增强方法
CN110503625A (zh) * 2019-07-02 2019-11-26 杭州电子科技大学 一种cmos图像信号相关噪声参数估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置
CN109993698A (zh) * 2019-03-29 2019-07-09 西安工程大学 一种基于生成对抗网络的单幅图像超分辨纹理增强方法
CN110503625A (zh) * 2019-07-02 2019-11-26 杭州电子科技大学 一种cmos图像信号相关噪声参数估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3DMM及eos人脸重建;圣空老宅;《https://blog.csdn.net/zhaishengfu/article/details/103504003》;20191212;第1-6页 *

Also Published As

Publication number Publication date
CN111445410A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111445410B (zh) 基于纹理图像的纹理增强方法、装置、设备和存储介质
CN112766160B (zh) 基于多级属性编码器和注意力机制的人脸替换方法
Gurrola-Ramos et al. A residual dense u-net neural network for image denoising
CN109859098B (zh) 人脸图像融合方法、装置、计算机设备及可读存储介质
CN111445564B (zh) 人脸纹理图像生成方法、装置、计算机设备和存储介质
US8884980B2 (en) System and method for changing hair color in digital images
CN111696028A (zh) 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
CN111192201B (zh) 一种生成人脸图像及其模型训练的方法、装置及电子设备
CN110853119A (zh) 一种鲁棒的基于参考图片的妆容迁移方法
Galteri et al. Deep 3d morphable model refinement via progressive growing of conditional generative adversarial networks
Banerjee et al. Fast face image synthesis with minimal training
CN116342519A (zh) 一种基于机器学习的图像处理方法
Sandić-Stanković et al. Quality assessment of DIBR-synthesized views based on sparsity of difference of closings and difference of Gaussians
CN111275804B (zh) 图像光照去除方法、装置、存储介质和计算机设备
CN114862729A (zh) 图像处理方法、装置、计算机设备和存储介质
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
CN114155569B (zh) 一种化妆进度检测方法、装置、设备及存储介质
CN114973364A (zh) 一种基于脸部区域注意力机制的深度图片鉴伪方法及***
CN115393471A (zh) 图像处理方法、装置及电子设备
Hamdan et al. Example-based face-image restoration for block-noise reduction
Tao et al. LEGAN: A low-light image enhancement generative adversarial network for industrial internet of smart-cameras
Yu et al. Confies: Controllable neural face avatars
Cherian et al. Image Augmentation Using Hybrid RANSAC Algorithm
Lumentut et al. Human motion deblurring using localized body prior
Yu et al. Facial video coding/decoding at ultra-low bit-rate: a 2D/3D model-based approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40025850

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant