CN113095149A - 一种基于单张人脸图像的全头部纹理网络结构及生成方法 - Google Patents

一种基于单张人脸图像的全头部纹理网络结构及生成方法 Download PDF

Info

Publication number
CN113095149A
CN113095149A CN202110287940.3A CN202110287940A CN113095149A CN 113095149 A CN113095149 A CN 113095149A CN 202110287940 A CN202110287940 A CN 202110287940A CN 113095149 A CN113095149 A CN 113095149A
Authority
CN
China
Prior art keywords
texture
face
image
network
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110287940.3A
Other languages
English (en)
Inventor
刘洋
樊养余
吕国云
郭哲
齐敏
王毅
张君昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110287940.3A priority Critical patent/CN113095149A/zh
Publication of CN113095149A publication Critical patent/CN113095149A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于单张人脸图像的全头部纹理网络结构及生成方法，以单张人脸图像为输入条件，利用设计的生成对抗网络获得对应个体的全头部纹理图，通过三维人脸的先验知识获取输入人脸图像的身份、表情及纹理特征信息，使用变分自编码器将获取的人脸特征信息作为约束来控制GAN网络的纹理生成过程，最后将输入的人脸图像利用两个性质不同的鉴别器与生成的纹理图进行人脸特征点检测反馈，从而得到更真实更符合原图像的全头部纹理图。本发明与输入图像可以保持97％以上的相似度，保持了人脸原有的主要细节。本发明生成的全头部纹理图保持了身份和表情的准确性，并精确的推断出原始图像中不可见区域的纹理信息。

Description

一种基于单张人脸图像的全头部纹理网络结构及生成方法
技术领域
本发明涉及图像处理和深度学习领域，尤其是一种单张人脸图像的全头部纹理生成方法。
背景技术
随着深度学习技术深入的应用到人脸图像和人脸三维模型处理，目前利用先验的人脸模型数据库重建三维人脸的技术已经较为成熟。同时，通过拟合人脸的三维可变形模型可以得到符合映射需求的面部纹理，在高性能的渲染引擎和足够的数据支持下，这种重建的面部纹理图在细节上也恢复的很好。但从单张随机的二维人脸图像来生成符合面部特征的人脸全头部纹理图还存在很大的问题，一方面由于单张随机的人脸图像由于姿态和角度的自遮挡而丢失了很多基本面部信息(如人脸正面图像缺乏侧面和头发区域的纹理信息)，导致常规方法所生成的人脸UV贴图总是不完整的；另一方面，对于随机获取的人脸图像，光照及相机姿态无法确定，难以从这种不受限的图像中恢复出真实的纹理细节。本发明涉及的全头部纹理生成方法可以更为完整的了解人物整个头部的信息，同时，全头部纹理也可以应用于三维模型的生成和投影，进行全头部纹理映射后的人脸三维模型逼真度更高。
发明内容
为了克服现有技术的不足，本发明提供一种基于单张人脸图像的全头部纹理网络结构及生成方法。以单张不受限(大小、角度、表情和光照条件任意)的人脸图像为输入条件，利用设计的生成对抗网络(Generative Adversarial Networks，GAN)获得对应个体的全头部纹理图。具体过程是通过三维人脸的先验知识获取输入人脸图像的身份、表情及纹理特征信息，使用变分自编码器(Variational Autoencoder，VAE)将获取的人脸特征信息作为约束来控制GAN网络的纹理生成过程，最后将输入的人脸图像利用两个性质不同的鉴别器与生成的纹理图进行人脸特征点检测反馈，从而得到更真实更符合原图像的全头部纹理图。在这个训练过程中，收集了足量的人脸纹理图，包括来自于开源数据集的一些人脸UV纹理图以及通过实验室专业3D扫描设备获取的人脸纹理图。本发明的纹理生成过程使用经特殊设计的VAE-GAN(Variational Autoencoder-Generative Adversarial Networks)框架来生成相应的UV纹理图，从而使输入图像中不可见区域的信息可用。
本发明解决其技术问题所采用的技术方案是：
一种基于单张人脸图像的全头部纹理网络结构，包括一个变分自编码器(Variational Autoencoder)模块，一个生成器(Generator)模块和两个用于不同目标的鉴别器(Discriminator)模块，其中变分自编码器模块将输入图像映射到浅层矢量，生成器模块根据浅层矢量生成对应的人脸纹理图像，再将人脸纹理图像分别输入到鉴别器模块中进行鉴别，鉴别器模块包括全局鉴别器和人脸特征点分类器，全局鉴别器识别生成器模块所产生的纹理图的真实性；人脸特征点分类器检测生成纹理图与原始输入图像的局部人脸特征点，使纹理图与原始输入图像的面部特征保持一致；变分自编码器服从隐藏层空间下的单位高斯分布，通过变分自编码器模块将输入的人脸图像投影到隐层矢量，然后使用生成器模块重构与隐层分布相匹配的输入图像特征的原始像素，隐层分布信息和输入图像之间的关系通过变分自编码器和生成对抗网络建立。
所述的变分自编码器是自编码器(Auto-encoder，AE)的一种改进模型，将输入信息经encoder模块处理后转换成隐层矢量；引入重参数构建变分边界，使自编码器通过对隐层特征的修改实现对数据生成过程的微调，将人脸图像作为变分自编码器模块的输入信息，经过卷积和池化过程之后获得输入图像降维后的隐层数据，并将人脸的身份、表情和纹理参数作为重参数加入到隐层矢量中，用于表示输入图像与约束参数的隐层分布。
本发明还提供涉及一种基于单张人脸图像的全头部纹理网络结构的生成方法，具体步骤如下：
步骤1：获取输入参数，输入参数包括PCA模型的纹理参数，身份特征参数和表情特征参数；
PCA模型的压缩降维过程是将人脸样本按照形状、纹理排列为样本矩阵，并对样本矩阵去中心化，然后对协方差矩阵进行特征值分解，得到特征值与特征向量，将特征值与特征向量作为主成成分保留；
Figure BDA0002981270250000021
Figure BDA0002981270250000022
其中，
Figure BDA0002981270250000031
和
Figure BDA0002981270250000032
分别表示人脸样本的平均形状和平均纹理，Pi和Ti表示面部形状和纹理模型的主成成分的特征基，αi和βi为人脸形状参数和纹理参数；
步骤2：基于PCA的多线性模型优化求解；
根据人脸模型中不同的轴向特征排列面部样本，将面部样本数据表示成三阶张量，第一维是面部的坐标顶点，第二维是身份特征，第三维是面部表情特征，采用基于PCA的多线性模型压缩人脸样本，面部样本由三阶张量的多线性组合表示：
S*＝Cr×idωid×expωexp (3)
其中，Cr是正交矩阵对应维度的三阶张量核，×id×exp分别表示身份和表情的模乘，ωid为人脸样本的身份特征向量，ωexp为人脸样本的表情特征向量；S*表示任意的人脸形状，人脸形状形状S*由压缩后的张量核Cr和身份、表情的模乘与特征向量进行多线性表示；根据步骤1中求得的
Figure BDA0002981270250000036
作为初始值，根据所收集的三维人脸数据库中的三维人脸模型张量核Cr，采用高斯-牛顿法求解当前人脸的身份特征向量与表情特征向量即ωid与ωexp，其中ωid、ωexp为未知参数，此多线性模型的优化过程即求该目标函数最小化的最优解：
Figure BDA0002981270250000033
其中
Figure BDA0002981270250000034
分别表示ωid和ωexp参数的待求最佳值，S表示PCA模型求解的条件约束的人脸形状函数，对已知变量进行初始化，固定其他变量，仅对一组变量进行求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对待求变量
Figure BDA0002981270250000035
进行求解；
步骤3：网络模型中各模块的优化过程及训练参数设置；
将步骤1和步骤2中求解得到的纹理参数β和身份特征向量ωid、表情特征参数ωexp作为变分自编码器的条件属性，在经过变分自编码器的卷积层和池化层中对输入图像进行卷积和二次采样过程，将变分自编码器输出的潜层向量的维度设定为256；变分自编码器的末端级联两个连续层，将得到的身份、表情和纹理参数与二次采样的输入图像进行合并；变分自编码器和生成器模块之间采用完全卷积的级联形式结构，通过两个全连接层建立阶跃连接；在生成器模块上设置6个上采用的反卷积层和相应的滤波器结构，其中卷积层在本次设计中分别设置成256，128和64个通道数；
生成器模块的优化过程通过最小化生成纹理与隐层参数相对应的样本纹理之间的逐像素欧氏距离实现，即通过逐像素二范数作为生成器模块的损失函数：
Figure BDA0002981270250000041
其中，I(x,y)为训练过程中的样本纹理图的像素，I*(x,y)为生成器生成的纹理图的像素，fC是全局鉴别器网络中间层的特征，和fD是本地面部鉴别器网络的中间层特征；
在基于单张人脸图像的全头部纹理生成网络结构中，鉴别器模块包括全局鉴别器和人脸特征点分类器；将Alexnet框架的输入大小设置为256*256作为全局鉴别器模块，并在卷积层之后进行批次归一化，使用已公开的ArcFace作为面部特征点检测分类器的网络框架，通过全局鉴别器和人脸特征点分类器各自的损失函数进行网络结构的训练；其中全局鉴别器的真实性评估标准是，根据输入条件参数生成的全头部纹理是UV纹理图，像素分布连续且符合实际人脸生物学特征，同时，保证生成纹理图的面部和其他位置(如脖颈、耳朵及头发区域)的连接处像素是连续的，全局鉴别器的损失函数表示为：
Figure BDA0002981270250000042
其中，Pd(x)表示全头部UV纹理图的参数分布，Pd(y)为面部区域的UV纹理参数分布，P(c)是人脸PCA纹理模型的参数分布；
人脸特征点分类器基于公开的人脸识别网络ArcFace进行设计，该网络经过预训练获取面部区域关键点，在角度空间最大化分类界线，用于检测生成的UV纹理中的面部中心区域是否与输入人脸图像的特征值保持一致；本发明将输入面部图像的特征点位置与生成的纹理图面部区域特征点的余弦距离作为身份特征损失函数：
Figure BDA0002981270250000043
其中m为批处理大小，n为训练样本的数量，
Figure BDA0002981270250000044
为输入面部图像的特征向量，
Figure BDA0002981270250000045
为经过网络模型生成的纹理图中的特征向量，cyi是第yi类的特征中心，λ是中心损失的权重；
本发明中基于单张人脸图像的全头部纹理生成网络模型的完整损失函数为公式(4)(5)(6)所表示的各模块损失函数的总和，具体表示如下：
L＝λGLG+λDLD+λidLid (7)
其中，λG,λD,λid为平衡各模块对整体损失函数影响的权重值；
训练过程是对整个全头部纹理生成网络模型的完整损失函数进行最优值计算，网络结构基于Tnesorflow框架实现；
步骤4：网络结构的参数设置及训练数据；
网络训练过程所使用的人脸纹理数据集一部分来源于开源数据集中收集的可用UV纹理图，其中包括WildUV数据集，另一部分纹理数据使用3D扫描设备获得，最终获得不低于5000张的纹理图像样本；
初始输入为不受限的单张人脸图像，尺寸随机，网络结构的训练过程利用Tnesorflow实现，网络训练了200个epochs，批处理数(bathc size)设置为16，学习率(lr)设置为0.001，对网络训练的终止条件为达到200个epochs，满足终止条件后网络满足训练好的条件，损失函数达到最优，使用训练好的网络直接输出，即可生成全头部纹理图。
所述步骤1中，求解特征值与特征向量的步骤为：
1.1：从人脸样本的数据均值中计算
Figure BDA0002981270250000051
和
Figure BDA0002981270250000052
即形状和纹理向量的平均值；
1.2：对人脸样本数据进行中心化处理；
1.3：利用奇异值分解求协方差矩阵；
1.4：计算协方差矩阵的特征值，得到Pi和Ti，以及人脸形状αi和纹理参数βi。
所述步骤3中，各权重的最优化值设置为λG＝1,λD＝5×10-2,λid＝10-3，各权重值的选择可根据网络参数及最终的生成结果进行调整；首次设定各权重的初始测试值时，生成器的权重大于0.5，全局鉴别器和人脸特征点分类器的权重值小于0.1。
所述中心损失的权重λ设置为λ＝0.1。
本发明的有益效果在于利用已知数据的先验知识从有限输入中获取人脸约束特征，作为变分自编码器的条件属性在对抗生成网络中进行生成与反馈训练，最终得到与输入人脸一致的真实、完整的全头部纹理图。在符合硬件测试环境的设备上(内存64G，CPU4.0Hz，GPU NVIDIA 2080TI)进行测试可以发现，从CelebA-HQ数据集中选择的任意测试人脸图像，都可以生成与输入人脸保持一致的完整的全头部纹理图，尤其是在正面脸部区域，与输入图像可以保持97％以上的相似度，保持了人脸原有的主要细节。在原输入图中不可见区域(例如侧脸、头发及脖颈处)，纹理重建效果真实自然，且重建的全头部纹理图符合三维模型UV映射要求，可以直接用于三维人脸模型的UV贴图。本发明提出的全头部纹理生成方法获得的结果与几种目前较为成熟的方法(UVGAN和MVF-Net)进行对比，在相同的输入下生成的纹理图可从图2、3中进行显示对比。其中MVF-Net方法利用单张人脸图像仅能生成面部区域的纹理，无法推广到全头部模型，此外，此方法生成的纹理结果在阴影和自遮挡区域中会出现一些缺失点和纹理变形的情况；UVGAN方法产生成的结果与本发明最终生成的纹理图类型相似，均为全头部UV纹理图，从单张输入图像中推断出了侧脸及部分脖颈处纹理信息，但从图2、3中可以发现，UVGAN方法生成的纹理图会丢失头顶大部分头发区域的像素内容，而且由于UVGAN方法在预测过程中缺少面部纹理参数，导致了此方法生成的结果在表面反照率方面存在缺陷，获得的纹理图的皮肤颜色与原始输入不一致。本发明生成的全头部纹理图保持了身份和表情的准确性，并精确的推断出原始图像中不可见区域的纹理信息。与上述方法相比，我们的发明在全头部纹理图的生成区域和表面细节效果更好。
附图说明
图1是本发明的全头部纹理图生成网络结构摘要图。
图2是图像一在不同方法下由相同输入得到的纹理输出图对比效果图。
图3是图像二在不同方法下由相同输入得到的纹理输出图对比效果图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
面部纹理图一般是通过纹理映射的方式与三维人脸模型相关联，也就是将二维的纹理图像逐像素贴合到三维物体的表面，这个过程需要将二维图像根据三维模型表面来进行形状、表情和纹理系数的拟合，也被称为Model Fitting过程，这是一个病态求解问题，需要基于统计模型作为先验信息。但统计模型需要在严格可控的条件下获得，以结构光或者红外光扫描的形式来获取纹理图像中的低频和反照率信息。从不受限条件下的二维图像中获取人脸纹理模型是非常困难的，因为对于不受限人脸图像，光照情况和摄像机参数均未知，面部的反照率无法直接通过图像进行分析。目前，有些基于数据驱动的方法，从深度卷积神经网络中提取中间层特征，并通过迭代优化从2D图像中合成完整的3D面部模型的纹理图。有些方法以多个互补视角下的原始纹理图像为输入，通过像素嵌入的方法来生成信息较为完整的面部纹理图，这种像素嵌入方法可以保持生成的纹理图像与原始纹理图像具有相同的像素分辨率，但这些方法是在可控输入条件下完成的，无法应用于实际情况。一些最新的方法则采用可区分的渲染器来学***面来实现逐像素对齐，因此本次发明所生成的全头部纹理图为UV纹理图形式。
由于单张人脸图像中的面部姿态与大小已经固定，图像可视区域外的有效纹理信息不全，因此难以从单个面部图像来生成全头部的纹理。一些3D面部对齐方法建立了三维可变性模型(3DMM)和纹理贴图之间的联系，可以使用拟合的三维人脸模型对2D图像进行采样来生成面部UV纹理图。
根据这种三维模型与纹理图之间的参数约束关联，本发明设计了一个经过改进的生成对抗网络框架，从单张不受限的人脸图像生成对应个体的全头部UV纹理图。
利用单张人脸图像生成全头部纹理的过程，需要利用对应的3D人头部模型获取与输入人脸相关的形状、表情及纹理参数。由于头部是一个具有大共性小差异的三维立体形状，在头部的一些区域具有明显的共性，例如人脸面部的组成部分，五官的分布与各器官的大致位置等。本发明采用主成成分分析(PCA)定义3D全头部模型，利用统计学模型获取输入图像中的身份特征和纹理特征。人脸PCA模型对N个人脸样本进行压缩降维，提取出人脸变化最为明显的成分分量作为特征基，从而将人脸的形状、纹理变化限制在由特征基张成的子空间内。本发明使用人脸PCA模型获取人脸形状参数和纹理参数，具体的求解过程参考技术方案中的步骤一。
本发明对于输入的人脸图像无限制条件，而从实际中获取的输入人脸图像大概率会附带表情。为了将人脸可能附带的表情信息加入到网络的约束性输入特征中，同时又不影响形状参数和纹理参数的求解过程，本发明使用基于PCA的多线性模型压缩人脸样本，使其呈现面部几何形状的线性组合，从而基于身份和表情来提取特征向量。求解过程参考技术方案中的步骤二。
人脸PCA模型将用于求解输入图像的纹理参数，与统计学模型中的身份特征参数和表情特征参数一起作为变分自编码器的输入特征向量。人脸PCA模型的形状参数可以作为多线性模型中的人脸形状参考值，用于多线性模型的优化求解。纹理参数、身份特征参数和表情特征参数将被添加为变分自编码器的输入条件属性，这可以约束GAN网络的生成过程。
本发明的网络结构结合了变分自编码器及生成对抗网络的特性，将细粒度类别的标签转换为生成模型，可以在潜在属性向量上使用可选的绘制值恢复特定类别的纹理图，并使用添加过约束参数的随机噪声分布来填充缺失的头部纹理区域，并根据鉴别器的不同目标特征来优化生成纹理的真实性与一致性。本发明保留了与不受限输入人脸图像一致的面部特征标志，在其他部分(例如耳朵，侧脸，部分头发和脖子区域)，设计的网络模型会根据原始像素的属性生成真实自然的图像内容。
本发明的网络结构将细粒度类别的标签转换为生成模型，可以在潜在属性向量上使用可选的绘制值恢复特定类别的纹理图，并使用添加过约束参数的随机噪声分布来填充缺失的头部纹理区域，并根据鉴别器的不同目标特征来优化生成纹理的真实性与一致性。网络的训练过程可以保留输入人脸图像的面部特征标志，在其他部分(例如耳朵，侧脸，部分头发和脖子区域)，设计的网络模型会根据原始像素的属性生成真实且自然的图像内容。
一种基于单张人脸图像的全头部纹理网络结构，为经过改进的生成对抗网络框架，从单张不受限的人脸图像生成对应个体的全头部UV纹理图。所述基于单张人脸图像的全头部纹理网络结构包括一个变分自编码器(Variational Autoencoder)模块，一个生成器(Generator)模块和两个用于不同目标的鉴别器(Discriminator)模块，其中变分自编码器模块将输入图像映射到浅层矢量，生成器模块根据浅层矢量生成对应的人脸纹理图像，再将人脸纹理图像分别输入到鉴别器模块中进行鉴别，鉴别器模块包括全局鉴别器和人脸特征点分类器，全局鉴别器识别生成器模块所产生的纹理图的真实性；人脸特征点分类器检测生成纹理图与原始输入图像的局部人脸特征点，使纹理图与原始输入图像的面部特征保持一致；在实际中，GAN网络实现在当前分布未知的情况下直接采样数据，真实的纹理数据从网络的训练过程中近似得到。但GAN网络的训练过程是不可控的，从GAN生成的样本通常与真实图像有所不同，特别是对于像素复杂且特征耦合度高的UV纹理图像。因此，本发明利用变分自编码器的适用特性给生成对抗网络增加参数约束，在此过程中，变分自编码器服从隐藏层空间下的单位高斯分布。另一方面，由于输入噪声和损失函数均方误差(MSE)不准确，变分自编码器模块生成的输出图像会变得模糊，本发明利用生成对抗网络的无监督对抗训练来改善变分自编码器模块的约束效果，并创建更逼真的实例。本发明通过变分自编码器模块将输入的人脸图像投影到隐层矢量，然后使用生成器模块重构与隐层分布相匹配的输入图像特征的原始像素，隐层分布信息和输入图像之间的关系通过变分自编码器和生成对抗网络建立。
所述的变分自编码器是自编码器(Auto-encoder，AE)的一种改进模型，是一种无监督算法，主要用于特征提取和数据降维，即将输入信息经encoder模块处理后转换成隐层矢量；变分自编码器是在自编码器的基础上引入了变分的思想，即引入重参数构建变分边界，使自编码器通过对隐层特征的修改实现对数据生成过程的微调，将人脸图像作为变分自编码器模块的输入信息，经过卷积和池化过程之后获得输入图像降维后的隐层数据，并将人脸的身份、表情和纹理参数作为重参数加入到隐层矢量中，用于表示输入图像与约束参数的隐层分布。
一种基于单张人脸图像的全头部纹理网络结构的生成方法的步骤如下：
本发明所采用的技术方案主要包括人脸特征参数的求解、网络模型参数的求解及网络模型的训练。其中人脸特征参数利用PCA模型及多线性模型求解所需的纹理参数、身份特征参数和表情特征参数。为了使人脸PCA模型和多线性模型建立的更加准确，本发明使用FaceWareHouse、BU-3DFE以及200个额外的女性面部扫描模型作为三维人脸数据库，一共包括了650个不同身份和47种不同表情的模型样本。求解步骤如下：
步骤一：获取输入参数，输入参数包括PCA模型的纹理参数，身份特征参数和表情特征参数；
PCA模型的压缩降维过程是将人脸样本按照形状、纹理排列为样本矩阵，并对样本矩阵去中心化，然后对协方差矩阵进行特征值分解，得到特征值与特征向量，将特征值与特征向量作为主成成分保留；
Figure BDA0002981270250000101
Figure BDA0002981270250000102
其中，
Figure BDA0002981270250000103
和
Figure BDA0002981270250000104
分别表示人脸样本的平均形状和平均纹理，Pi和Ti表示面部形状和纹理模型的主成成分的特征基，αi和βi为人脸形状参数和纹理参数；
求解特征值与特征向量的步骤为：
1.1：从人脸样本的数据均值中计算
Figure BDA0002981270250000106
和
Figure BDA0002981270250000107
即形状和纹理向量的平均值；
1.2：对人脸样本数据进行中心化处理；
1.3：利用奇异值分解求协方差矩阵；
1.4：计算协方差矩阵的特征值，得到Pi和Ti，以及人脸形状αi和纹理参数βi。
步骤2：基于PCA的多线性模型优化求解；
根据人脸模型中不同的轴向特征排列面部样本，将面部样本数据表示成三阶张量，第一维是面部的坐标顶点，第二维是身份特征，第三维是面部表情特征，采用基于PCA的多线性模型压缩人脸样本，面部样本由三阶张量的多线性组合表示：
S*＝Cr×idωid×expωexp (3)
其中，Cr是正交矩阵对应维度的三阶张量核，×id×exp分别表示身份和表情的模乘，ωid为人脸样本的身份特征向量，ωexp为人脸样本的表情特征向量；S*表示任意的人脸形状。这表示任意一个人脸形状形状S*，由压缩后的张量核Cr和身份、表情的模乘与特征向量进行多线性表示。根据步骤1中求得的S作为初始值，根据所收集的三维人脸数据库中的三维人脸模型张量核Cr，采用高斯-牛顿法求解当前人脸的身份特征向量与表情特征向量即ωid与ωexp，其中ωid、ωexp为未知参数，此多线性模型的优化过程即求该目标函数最小化的最优解：
Figure BDA0002981270250000105
其中
Figure BDA0002981270250000111
分别表示ωid和ωexp参数的待求最佳值，S表示PCA模型求解的条件约束的人脸形状函数，对已知变量进行初始化，固定其他变量，仅对一组变量进行求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对待求变量
Figure BDA0002981270250000112
进行求解；
步骤3：网络模型中各模块的优化过程及训练参数设置；
将步骤1和步骤2中求解得到的纹理参数β和身份特征向量ωid、表情特征参数ωexp作为变分自编码器的条件属性，在经过变分自编码器的卷积层和池化层中对输入图像进行卷积和二次采样过程，将变分自编码器输出的潜层向量的维度设定为256。变分自编码器的末端级联两个连续层，将得到的身份、表情和纹理参数与二次采样的输入图像进行合并；变分自编码器和生成器模块之间采用完全卷积的级联形式结构，通过两个全连接层建立阶跃连接；在生成器模块上设置6个上采用的反卷积层和相应的滤波器结构，其中卷积层在本次设计中分别设置成256，128和64个通道数。
生成器模块的优化过程通过最小化生成纹理与隐层参数相对应的样本纹理之间的逐像素欧氏距离实现，即通过逐像素二范数作为生成器模块的损失函数：
Figure BDA0002981270250000113
其中，I(x,y)为训练过程中的样本纹理图的像素，I*(x,y)为生成器生成的纹理图的像素，fC是全局鉴别器网络中间层的特征，和fD是本地面部鉴别器网络的中间层特征；
在基于单张人脸图像的全头部纹理生成网络结构中，鉴别器模块包括全局鉴别器和人脸特征点分类器。本发明基于已公开的Alexnet框架进行优化，将Alexnet框架的输入大小设置为256*256作为全局鉴别器模块，并在卷积层之后进行批次归一化，使用已公开的ArcFace作为面部特征点检测分类器的网络框架，通过全局鉴别器和人脸特征点分类器各自的损失函数进行网络结构的训练。其中全局鉴别器的真实性评估标准是，根据输入条件参数生成的全头部纹理是UV纹理图，像素分布连续且符合实际人脸生物学特征，同时，保证生成纹理图的面部和其他位置(如脖颈、耳朵及头发区域)的连接处像素是连续的，全局鉴别器的损失函数表示为：
Figure BDA0002981270250000121
其中，Pd(x)表示全头部UV纹理图的参数分布，Pd(y)为面部区域的UV纹理参数分布，P(c)是人脸PCA纹理模型的参数分布。
人脸特征点分类器基于公开的人脸识别网络ArcFace进行设计，该网络经过预训练获取面部区域关键点，在角度空间最大化分类界线，用于检测生成的UV纹理中的面部中心区域是否与输入人脸图像的特征值保持一致。本发明将输入面部图像的特征点位置与生成的纹理图面部区域特征点的余弦距离作为身份特征损失函数：
Figure BDA0002981270250000122
其中m为批处理大小，n为训练样本的数量，
Figure BDA0002981270250000123
为输入面部图像的特征向量，
Figure BDA0002981270250000124
为经过网络模型生成的纹理图中的特征向量。cyi是第yi类的特征中心，λ是中心损失的权重，本发明实验测试中设置λ＝0.1，此数值经试验测试，对保持合成纹理图像的身份特性是最优的。
本发明中基于单张人脸图像的全头部纹理生成网络模型的完整损失函数为公式(4)(5)(6)所表示的各模块损失函数的总和，具体表示如下：
L＝λGLG+λDLD+λidLid (7)
其中，λG,λD,λid为平衡各模块对整体损失函数影响的权重值，经过实验测试，各权重的最优化值设置为λG＝1,λD＝5×10-2,λid＝10-3，各权重值的选择可根据网络参数及最终的生成结果进行调整。首次设定各权重的初始测试值时，生成器的权重大于0.5，全局鉴别器和人脸特征点分类器的权重值小于0.1；此网络结构的训练过程即是对整个全头部纹理生成网络模型的完整损失函数进行最优值计算，网络结构基于Tnesorflow框架实现。
步骤4：网络结构的参数设置及训练数据。
网络训练过程所使用的人脸纹理数据集一部分来源于开源数据集中收集的可用UV纹理图，其中包括WildUV数据集，数据集包含近2000张具有不同身份个体的纹理图像和5639个独特的面部UV纹理图像。除此之前，另一部分纹理数据使用专业的3D扫描设备获得，包括400位不同身份的测试人员(其中男性250位，女性150位)，提供了2000种不同的面部纹理图像。此外，筛选出的较为完整的纹理图像进行了数据增广，最终达到10143个纹理图像样本，整体数据量可以满足本网络的训练需求(不低于5000张的纹理图像样本)。
初始输入为不受限的单张人脸图像，尺寸随机。在本发明中，实验测试从CelebA-HQ数据集中选择的随机人脸图像尺寸为512*512，使用的纹理图样本的标准大小为597*377。网络将输入的人脸图像的大小预处理为256*256，脸部区域划定为以鼻尖居中的128*128的范围。网络结构的训练过程利用Tnesorflow实现，网络训练了200个epochs，批处理数(bathc size)设置为16，学习率(lr)设置为0.001，对网络训练的终止条件为达到200个epochs，满足终止条件后网络即认为训练好了，损失函数达到了最优，后续再使用训练好的网络直接输出生成的全头部纹理图。
图1是本发明的全头部纹理图生成网络结构摘要图。输入图像经PCA模型及人脸数据库下的多线性模型优化获得人脸的纹理、身份和表情约束特征向量，与经过变分自编码器处理后的输入图像数据一起送入生成对抗网络的生成器模块，生成器根据图像属性特征生成对应的全头部纹理图。生成的纹理图会经过两个性质不同的鉴别器，其中全局鉴别器会对纹理图进行真假鉴别，鉴别结果会控制生成器生成的纹理图更真；人脸特征分类器是用来对生成纹理图中面部区域的人脸特征点与输入图像中的面部特征点做对比，检测结果会约束网络生成的纹理图在面部特征上与输入图像更加保持一致。
图2、图3是不同方法下由相同输入图像得到的纹理输出图对比。其中，第一行图像为随机从CelebA-HQ数据集中选取的单张人脸图像，图像在大小、角度、表情及光照等都没有限制。第二行为MVF-Net方法得到的人脸纹理图，第三行为UVGAN方法的得到的人脸纹理图，第四行为本发明方法得到的纹理图。
相较于其他方法，本发明生成的全头部纹理图更为完整，尤其是在原图不可见区域内，像素信息恢复自然连贯，在人脸纹理细节上更真实。

Claims (5)

1.一种基于单张人脸图像的全头部纹理网络结构，包括一个变分自编码器模块，一个生成器模块和两个用于不同目标的鉴别器模块，其特征在于：
其中变分自编码器模块将输入图像映射到浅层矢量，生成器模块根据浅层矢量生成对应的人脸纹理图像，再将人脸纹理图像分别输入到鉴别器模块中进行鉴别，鉴别器模块包括全局鉴别器和人脸特征点分类器，全局鉴别器识别生成器模块所产生的纹理图的真实性；人脸特征点分类器检测生成纹理图与原始输入图像的局部人脸特征点，使纹理图与原始输入图像的面部特征保持一致；变分自编码器服从隐藏层空间下的单位高斯分布，通过变分自编码器模块将输入的人脸图像投影到隐层矢量，然后使用生成器模块重构与隐层分布相匹配的输入图像特征的原始像素，隐层分布信息和输入图像之间的关系通过变分自编码器和生成对抗网络建立；
所述的变分自编码器是自编码器的一种改进模型，将输入信息经encoder模块处理后转换成隐层矢量；引入重参数构建变分边界，使自编码器通过对隐层特征的修改实现对数据生成过程的微调，将人脸图像作为变分自编码器模块的输入信息，经过卷积和池化过程之后获得输入图像降维后的隐层数据，并将人脸的身份、表情和纹理参数作为重参数加入到隐层矢量中，用于表示输入图像与约束参数的隐层分布。
2.一种利用权利要求1所述基于单张人脸图像的全头部纹理网络结构的生成方法，其特征在于包括下述步骤：
步骤1：获取输入参数，输入参数包括PCA模型的纹理参数，身份特征参数和表情特征参数；
PCA模型的压缩降维过程是将人脸样本按照形状、纹理排列为样本矩阵，并对样本矩阵去中心化，然后对协方差矩阵进行特征值分解，得到特征值与特征向量，将特征值与特征向量作为主成成分保留；
Figure FDA0002981270240000011
Figure FDA0002981270240000012
其中，
Figure FDA0002981270240000013
和
Figure FDA0002981270240000014
分别表示人脸样本的平均形状和平均纹理，Pi和Ti表示面部形状和纹理模型的主成成分的特征基，αi和βi为人脸形状参数和纹理参数；
步骤2：基于PCA的多线性模型优化求解；
根据人脸模型中不同的轴向特征排列面部样本，将面部样本数据表示成三阶张量，第一维是面部的坐标顶点，第二维是身份特征，第三维是面部表情特征，采用基于PCA的多线性模型压缩人脸样本，面部样本由三阶张量的多线性组合表示：
S*＝Cr×idωid×expωexp (3)
其中，Cr是正交矩阵对应维度的三阶张量核，×id×exp分别表示身份和表情的模乘，ωid为人脸样本的身份特征向量，ωexp为人脸样本的表情特征向量；S*表示任意的人脸形状，人脸形状形状S*由压缩后的张量核Cr和身份、表情的模乘与特征向量进行多线性表示；根据步骤1中求得的
Figure FDA0002981270240000021
作为初始值，根据所收集的三维人脸数据库中的三维人脸模型张量核Cr，采用高斯-牛顿法求解当前人脸的身份特征向量与表情特征向量即ωid与ωexp，其中ωid、ωexp为未知参数，此多线性模型的优化过程即求该目标函数最小化的最优解：
Figure FDA0002981270240000022
其中
Figure FDA0002981270240000023
分别表示ωid和ωexp参数的待求最佳值，S表示PCA模型求解的条件约束的人脸形状函数，对已知变量进行初始化，固定其他变量，仅对一组变量进行求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对待求变量
Figure FDA0002981270240000024
进行求解；
步骤3：网络模型中各模块的优化过程及训练参数设置；
将步骤1和步骤2中求解得到的纹理参数β和身份特征向量ωid、表情特征参数ωexp作为变分自编码器的条件属性，在经过变分自编码器的卷积层和池化层中对输入图像进行卷积和二次采样过程，将变分自编码器输出的潜层向量的维度设定为256；变分自编码器的末端级联两个连续层，将得到的身份、表情和纹理参数与二次采样的输入图像进行合并；变分自编码器和生成器模块之间采用完全卷积的级联形式结构，通过两个全连接层建立阶跃连接；在生成器模块上设置6个上采用的反卷积层和相应的滤波器结构，其中卷积层在本次设计中分别设置成256，128和64个通道数；
生成器模块的优化过程通过最小化生成纹理与隐层参数相对应的样本纹理之间的逐像素欧氏距离实现，即通过逐像素二范数作为生成器模块的损失函数：
Figure FDA0002981270240000031
其中，I(x,y)为训练过程中的样本纹理图的像素，I*(x,y)为生成器生成的纹理图的像素，fC是全局鉴别器网络中间层的特征，和fD是本地面部鉴别器网络的中间层特征；
在基于单张人脸图像的全头部纹理生成网络结构中，鉴别器模块包括全局鉴别器和人脸特征点分类器；将Alexnet框架的输入大小设置为256*256作为全局鉴别器模块，并在卷积层之后进行批次归一化，使用已公开的ArcFace作为面部特征点检测分类器的网络框架，通过全局鉴别器和人脸特征点分类器各自的损失函数进行网络结构的训练；其中全局鉴别器的真实性评估标准是，根据输入条件参数生成的全头部纹理是UV纹理图，像素分布连续且符合实际人脸生物学特征，同时，保证生成纹理图的面部和其他位置(如脖颈、耳朵及头发区域)的连接处像素是连续的，全局鉴别器的损失函数表示为：
Figure FDA0002981270240000032
其中，Pd(x)表示全头部UV纹理图的参数分布，Pd(y)为面部区域的UV纹理参数分布，P(c)是人脸PCA纹理模型的参数分布；
人脸特征点分类器基于公开的人脸识别网络ArcFace进行设计，该网络经过预训练获取面部区域关键点，在角度空间最大化分类界线，用于检测生成的UV纹理中的面部中心区域是否与输入人脸图像的特征值保持一致；本发明将输入面部图像的特征点位置与生成的纹理图面部区域特征点的余弦距离作为身份特征损失函数：
Figure FDA0002981270240000033
其中m为批处理大小，n为训练样本的数量，
Figure FDA0002981270240000034
为输入面部图像的特征向量，
Figure FDA0002981270240000035
为经过网络模型生成的纹理图中的特征向量，cyi是第yi类的特征中心，λ是中心损失的权重；
本发明中基于单张人脸图像的全头部纹理生成网络模型的完整损失函数为公式(4)(5)(6)所表示的各模块损失函数的总和，具体表示如下：
L＝λGLG+λDLD+λidLid (7)
其中，λG,λD,λid为平衡各模块对整体损失函数影响的权重值；
训练过程是对整个全头部纹理生成网络模型的完整损失函数进行最优值计算，网络结构基于Tnesorflow框架实现；
步骤4：网络结构的参数设置及训练数据；
网络训练过程所使用的人脸纹理数据集一部分来源于开源数据集中收集的可用UV纹理图，其中包括WildUV数据集，另一部分纹理数据使用3D扫描设备获得，最终获得不低于5000张的纹理图像样本；
初始输入为不受限的单张人脸图像，尺寸随机，网络结构的训练过程利用Tnesorflow实现，网络训练了200个epochs，批处理数(bathc size)设置为16，学习率(lr)设置为0.001，对网络训练的终止条件为达到200个epochs，满足终止条件后网络满足训练好的条件，损失函数达到最优，使用训练好的网络直接输出，即可生成全头部纹理图。
3.根据权利要求1所述的一种利用权利要求1所述基于单张人脸图像的全头部纹理网络结构的生成方法，其特征在于：
所述步骤1中，求解特征值与特征向量的步骤为：
1.1：从人脸样本的数据均值中计算
Figure FDA0002981270240000041
和
Figure FDA0002981270240000042
即形状和纹理向量的平均值；
1.2：对人脸样本数据进行中心化处理；
1.3：利用奇异值分解求协方差矩阵；
1.4：计算协方差矩阵的特征值，得到Pi和Ti，以及人脸形状αi和纹理参数βi。
4.根据权利要求1所述的一种利用权利要求1所述基于单张人脸图像的全头部纹理网络结构的生成方法，其特征在于：
所述步骤3中，各权重的最优化值设置为λG＝1,λD＝5×10-2,λid＝10-3，各权重值的选择可根据网络参数及最终的生成结果进行调整；首次设定各权重的初始测试值时，生成器的权重大于0.5，全局鉴别器和人脸特征点分类器的权重值小于0.1。
5.根据权利要求1所述的一种利用权利要求1所述基于单张人脸图像的全头部纹理网络结构的生成方法，其特征在于：
所述中心损失的权重λ设置为λ＝0.1。
CN202110287940.3A 2021-03-18 2021-03-18 一种基于单张人脸图像的全头部纹理网络结构及生成方法 Withdrawn CN113095149A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110287940.3A CN113095149A (zh) 2021-03-18 2021-03-18 一种基于单张人脸图像的全头部纹理网络结构及生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110287940.3A CN113095149A (zh) 2021-03-18 2021-03-18 一种基于单张人脸图像的全头部纹理网络结构及生成方法

Publications (1)

Publication Number Publication Date
CN113095149A true CN113095149A (zh) 2021-07-09

Family

ID=76668440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110287940.3A Withdrawn CN113095149A (zh) 2021-03-18 2021-03-18 一种基于单张人脸图像的全头部纹理网络结构及生成方法

Country Status (1)

Country Link
CN (1) CN113095149A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343951A (zh) * 2021-08-05 2021-09-03 北京邮电大学 人脸识别对抗样本生成方法及相关设备
CN113592016A (zh) * 2021-08-09 2021-11-02 哈尔滨工程大学 基于互信息增强的自监督新颖性检测方法
CN113744362A (zh) * 2021-09-07 2021-12-03 北京沃东天骏信息技术有限公司 用于生成图形的方法和装置
CN115050087A (zh) * 2022-08-16 2022-09-13 之江实验室 一种人脸关键点身份和表情解耦方法及装置
CN115188053A (zh) * 2022-07-21 2022-10-14 浪潮卓数大数据产业发展有限公司 一种小区楼宇内检测陌生人闯入的自动报警方法及***
CN115661322A (zh) * 2022-09-26 2023-01-31 北京百度网讯科技有限公司 人脸纹理图像的生成方法、装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN109377452A (zh) * 2018-08-31 2019-02-22 西安电子科技大学 基于vae和生成式对抗网络的人脸图像修复方法
GB201902067D0 (en) * 2019-02-14 2019-04-03 Facesoft Ltd 3D Face reconstruction system and method
WO2019214557A1 (zh) * 2018-05-08 2019-11-14 深圳大学 一种深度网络生成人脸图像的检测方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
WO2019214557A1 (zh) * 2018-05-08 2019-11-14 深圳大学 一种深度网络生成人脸图像的检测方法及***
CN109377452A (zh) * 2018-08-31 2019-02-22 西安电子科技大学 基于vae和生成式对抗网络的人脸图像修复方法
GB201902067D0 (en) * 2019-02-14 2019-04-03 Facesoft Ltd 3D Face reconstruction system and method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANGYU FAN ET AL.: "Full Face-and-Head 3D ModelWith Photorealistic Texture", IEEE ACCESS, pages 1 - 7 *
王珊;沈旭昆;赵沁平;: "三维人脸表情获取及重建技术综述", ***仿真学报, no. 07 *
魏?;孙硕;: "生成对抗网络进行感知遮挡人脸还原的算法研究", 小型微型计算机***, no. 02 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343951A (zh) * 2021-08-05 2021-09-03 北京邮电大学 人脸识别对抗样本生成方法及相关设备
CN113592016A (zh) * 2021-08-09 2021-11-02 哈尔滨工程大学 基于互信息增强的自监督新颖性检测方法
CN113592016B (zh) * 2021-08-09 2023-12-01 哈尔滨工程大学 基于互信息增强的自监督新颖性检测方法
CN113744362A (zh) * 2021-09-07 2021-12-03 北京沃东天骏信息技术有限公司 用于生成图形的方法和装置
CN113744362B (zh) * 2021-09-07 2024-04-09 北京沃东天骏信息技术有限公司 用于生成图形的方法和装置
CN115188053A (zh) * 2022-07-21 2022-10-14 浪潮卓数大数据产业发展有限公司 一种小区楼宇内检测陌生人闯入的自动报警方法及***
CN115050087A (zh) * 2022-08-16 2022-09-13 之江实验室 一种人脸关键点身份和表情解耦方法及装置
CN115050087B (zh) * 2022-08-16 2022-11-18 之江实验室 一种人脸关键点身份和表情解耦方法及装置
CN115661322A (zh) * 2022-09-26 2023-01-31 北京百度网讯科技有限公司 人脸纹理图像的生成方法、装置
CN115661322B (zh) * 2022-09-26 2023-09-22 北京百度网讯科技有限公司 人脸纹理图像的生成方法、装置

Similar Documents

Publication Publication Date Title
Zuffi et al. Three-D Safari: Learning to Estimate Zebra Pose, Shape, and Texture from Images" In the Wild"
CN113095149A (zh) 一种基于单张人脸图像的全头部纹理网络结构及生成方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN107085716B (zh) 基于多任务生成对抗网络的跨视角步态识别方法
Wan et al. Automated colorization of a grayscale image with seed points propagation
US10891511B1 (en) Human hairstyle generation method based on multi-feature retrieval and deformation
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
Zhang et al. Stackgan: Text to photo-realistic image synthesis with stacked generative adversarial networks
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
CN109886881B (zh) 人脸妆容去除方法
CN110751098A (zh) 一种基于光照、姿态生成对抗网络的人脸识别方法
JP6207210B2 (ja) 情報処理装置およびその方法
CN113283444B (zh) 一种基于生成对抗网络的异源图像迁移方法
KR20210025020A (ko) 의사 이미지들을 이용한 얼굴 이미지 인식
CN111680579B (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
CN110852935A (zh) 一种人脸图像随年龄变化的图像处理方法
Osahor et al. Quality guided sketch-to-photo image synthesis
CN111862278B (zh) 一种动画获得方法、装置、电子设备及存储介质
Chowdhary et al. Singular value decomposition–principal component analysis-based object recognition approach
Cherian et al. A Novel AlphaSRGAN for Underwater Image Super Resolution.
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN111027350A (zh) 一种基于人脸三维重建的改进pca算法
JP2005317000A (ja) 最適な視点のセットで得られた２ｄ画像からの顔の３ｄ形状構築に最適な視点のセットを求める方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210709