CN110706303B - 基于GANs的人脸图像生成方法 - Google Patents

基于GANs的人脸图像生成方法 Download PDF

Info

Publication number
CN110706303B
CN110706303B CN201910975725.5A CN201910975725A CN110706303B CN 110706303 B CN110706303 B CN 110706303B CN 201910975725 A CN201910975725 A CN 201910975725A CN 110706303 B CN110706303 B CN 110706303B
Authority
CN
China
Prior art keywords
image
training
face image
gans
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910975725.5A
Other languages
English (en)
Other versions
CN110706303A (zh
Inventor
和红杰
陈泓佑
陈帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201910975725.5A priority Critical patent/CN110706303B/zh
Publication of CN110706303A publication Critical patent/CN110706303A/zh
Application granted granted Critical
Publication of CN110706303B publication Critical patent/CN110706303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于GANs的人脸图像生成方法,涉及计算机技术领域,其中生成器生成的人脸图像不仅仅能关联于随机向量,还能关联于特征向量,表明生成图像直接受到了训练图像特征的影响,增加了可解释性;能有效避免梯度消失,进行二元对抗训练前有可能进行解码训练,有利于避免优化JS散度导致的梯度消失现象发生,进而提高生成图像的质量;解码器能学习到很好的图像结构特征,从而使得生成器学习到更好的结构特征,继而减少人脸扭曲的图像,同时图像的清晰度能够更合理地被学习;由于进行了特征解码约束,这使得优化目标函数时梯度下降方向也受到了一定约束,能够使得训练过程中使用更少的epoch数。

Description

基于GANs的人脸图像生成方法
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种基于GANs的人脸图像生成方法。
背景技术
基于GANs的图像生成方法是当前人工智能研究的热点之一,理论上GANs图像生成方法能够有效模拟很多的图像内容,比如:人脸、建筑物、室内场景、花卉、动物图像等。而对于这些图像的生成也有实际意义,比如真实人脸或卡通人脸的有效生成能节约影视或动漫作品中的一些一般人物角色的虚拟生成,从而节约成本;对于室内场景的生成能够有效保护某些拍摄者想保护的室内背景信息;某类别的图像数量较少,可以获取更多该类别的图像,以此达到数据增广的目的。
GANs的基本结构含有一个生成器G和判别器D共两个神经网络(对于“神经网络”以下简称“网络”)组成。生成器G主要通过馈入随机向量z获取生成图像G(z),判别器D通过训练图像集图像x和生成图像G(z)作为正负样本进行二分类训练。生成器G的目的是使得G(z)尽可能相似于训练集X中的图像样本分布。判别器D的目的尽可能区分出训练集图像x和生成图像G(z)的正负样本真实属性。两者依次进行学习训练,通过对抗学习的方式最终使得生成器G具有生成与训练集相似图像的能力。
在提高GANs生成图像的多样性和质量方面,其中一个比较重要的改进方向是优化其它散度代替优化JS散度。对于GANs模型而言,经典的优化目标是优化训练数据集分布与生成数据集分布之间的JS散度,如原始GANs和DCGANs。但是优化JS散度时有一定的不足,当训练数据集分布与生成数据集分布之间相交区域较少时,JS散度近似为常数,从而导致优化的目标函数出现梯度消失问题,进而影响GANs的图像生成质量。一般地,使用其他距离或散度代替JS散度,WGANs、WGANsGP、BEGANs使用了训练数据集分布与生成数据集分布之间的W距离作为优化目标,LSGANs使用pearson散度作为优化目标。相对于优化JS散度的DCGANs,WGANs、WGANsGP、BEGANs、LSGANs使用其他散度进行替代,图像生成质量有一定的提升。WGANs在使判别器网络满足1-L条件时使用了比较粗暴的权重剪枝,一定程度影响了生成质量。WGANsGP对判别器网络使用的1中心梯度惩罚代替权重剪枝,处理方式更为合理。BEGANs对判别器借助编解码想法进行改进,进而优化W距离,但是优化目标更为复杂,生成的图像中容易出现小斑块区域或细节纹理容易丢失。除此之外,为达到比较好的训练效果,它们需要的参数更新迭代次数也较多。
发明内容
本发明在于提供一种基于GANs的人脸图像生成方法,其能够缓解上述问题。
为了缓解上述的问题,本发明采取的技术方案如下:
本发明提供了一种基于GANs的人脸图像生成方法,包括以下步骤:
S1、获取训练集X,所述训练集X由若干张人脸图像组成;
S2、提取训练集X中所有人脸图像的隐含特征,得到人脸图像隐含特征集C;
S3、人脸图像解码训练,具体包括:
S31、从训练集X中不重复采样batchsize张人脸图像,并对采样得到的人脸图像进行像素值尺度变换;
S32、计算判别函数δ的布尔值
Figure BDA0002233550060000021
其中,t是当前的迭代epoch数,r是控制调用解码约束的频次,l是控制最后一次解码约束条件,若δ=1,则继续执行步骤S33,若δ=0,则将GANs的生成器G作为对抗学习生成器G,并跳转至步骤S4;
S33、构造一个与GANs中生成器G具有相同的网络结构且权重共享的解码器Dec,根据式(2)使用RMSProp优化方法对解码器Dec进行解码训练,
Figure BDA0002233550060000022
其中,λ是解码损失函数权重系数,xi是步骤S31中第i张经过像素值尺度变换后的人脸图像,ci是xi对应的人脸图像隐含特征集C中的人脸图像隐含特征,Dec(ci)表示ci经过解码器Dec解码后的输出图像,k是batchsize值;
通过对解码器Dec的训练,以参数共享的方式更新GANs的生成器G,将此次更新后的生成器G作为对抗学习生成器G;
S4、人脸图像生成中的对抗学习,具体包括:
S41、从训练集X中不重复采样batchsize张人脸图像,并对采样得到的人脸图像进行像素值尺度变换;
S42、将步骤S41中经过像素值尺度变换的batchsize张图像作为正样本,采用随机生成法,生成batchsize个随机向量,将其作为输入信息源馈入对抗学习生成器G中,得到batchsize张生成图像作为负样本;
S43、将正样本和负样本馈入GANs的判别器D中,使用RMSProp优化方法对判别器D进行权重更新训练,输出得到训练好的判别器D,优化的损失函数为式(3),
Figure BDA0002233550060000031
其中,D(xi)是判别器D对第i个正样本xi的判别值,D(G(zi))是判别器D对第i个负样本G(zi)的判别值;
S44、将步骤S42中获取的batchsize个随机向量馈入对抗学习生成器G,使用RMSProp优化方法对对抗学习生成器G进行权重更新训练,优化的损失函数为式(4),
Figure BDA0002233550060000032
若未完成当前epoch训练或者当前的迭代epoch数未达到最大epoch数,则跳转至步骤S41,若当前epoch训练完成且当前的迭代epoch数达到最大epoch数,则输出得到训练好的生成器G;
S45、存储获得由所述训练好的判别器D以及所述训练好的生成器G组成的GANs;
S5、采用随机生成法,生成图像随机向量,以图像随机向量作为输入,使用步骤S45中得到的GANs生成人脸图像,对生成的人脸图像进行像素值尺度变换后,完成人脸图像的生成。
本技术方案的技术效果是:生成器生成的人脸图像不仅仅能关联于随机向量,还能关联于特征向量,表明生成图像直接受到了训练图像特征的影响,增加了可解释性;能有效避免梯度消失,进行二元对抗训练前有可能进行解码训练,有利于避免优化JS散度导致的梯度消失现象发生,进而提高生成图像的质量;解码器能学习到很好的图像结构特征,从而使得生成器学习到更好的结构特征,继而减少人脸扭曲的图像,同时图像的清晰度能够更合理地被学习;由于进行了特征解码约束,这使得优化目标函数时梯度下降方向也受到了一定约束,能够使得训练过程中使用更少的epoch数。
可选地,所述步骤S2具体包括:
S21、从训练集X中不重复采样batchsize张人脸图像,并对采样得到的人脸图像进行像素值尺度变换;
S22、利用步骤S21中像素值尺度变换后的batchsize张人脸图像训练特征学习网络;
S23、通过特征学习网络提取步骤S21中像素值尺度变换后的人脸图像的隐含特征,如果训练集X中人脸图像的隐含特征没有提取完毕,则跳转至步骤S21,否则输出人脸图像隐含特征集C。
本技术方案的技术效果是:通过本技术方案处理后可获取人脸图像训练集X中每张图像的隐含特征,X和C是一一对应的关系,每张人脸图像将具有与之对应的隐含特征。
可选地,所述步骤S21、所述步骤S31以及所述步骤S41中对人脸图像进行像素值尺度变换,是将人脸图像按照式(6)进行像素值尺度变换到[-1,1],
Figure BDA0002233550060000041
其中,i是batchsize张图像中某张图像的标号,i∈[1,batchsize]。
本技术方案的技术效果是:能使得每张图像的像素值取值范围变为[-1,1]的实数,标准化了训练集图像,便于馈入网络进行学习。
可选地,所述步骤S22具体为:
构建一个初始的特征学习网络,将步骤S21中尺度变换后的batchsize张人脸图像馈入该特征学习网络,使用Adam优化器优化式(6)所示的均方差损失函数进行充分训练,当达到特征学习网络的最大epoch数后,完成特征学习网络的训练,
Figure BDA0002233550060000042
其中,xi *是特征学习网络输出的第i张重构图像,它与训练集X中第i张人脸图像xi相对应。
本技术方案的技术效果是:能使得训练图像和重构图像尽可能相同,式(6)是一种凸优化函数,能更便于目标函数的优化;当网络收敛、达到一定训练次数后,训练图像越与重构图像相近,其网络中间层特征越能表征训练集图像。
可选地,所述特征学习网络为深度神经网络、卷积神经网络、U-Net型自动编码机、DenseNet型自动编码机和稀疏自动编码机中的任意一种。
本技术方案的技术效果是:利用这些网络结合式(6)均可对训练集人脸图像进行重构,充分训练后,特征集中的特征来源于网络中间层特征。
可选地,所述步骤S44中,生成器G需连续训练两次。
本技术方案的技术效果是:能使得训练效果在生成质量上有一定的提高。
可选地,所述步骤S5具体包括:
S51、设置所需图像张数N,确定图像随机向量的分布类型,使图像随机向量与所述步骤S42中的随机向量的分布类型一致,载入步骤S45中得到的GANs;
S52、使用随机生成方法,生成N个图像随机向量,将N个图像随机向量依次馈入到训练好的生成器G中,输出得到像素值取值范围为[-1,1]的N张生成图像;
S53、使用式(7)对步骤S52中N张生成图像进行像素值尺度变换,完成人脸图像的生成,
G(zj)←127.5×(G(zj)+1) (7)
其中,G(zj)是生成的第j张图像,zj是图像随机向量,j=1,2,3,...,N。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举本发明实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明实施例中所述人脸图像生成方法的流程图;
图2是本发明实施例中人脸图像生成GANs总体框图;
图3是本发明实施例中的特征提取流程图;
图4是本发明实施例中解码约束及对抗学习流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先给出前面背景技术以及以下实施例中所涉及到的关键名词解释:
GANs:Generative Adversarial Networks,生成式对抗网络,它是一种通过对抗学习的方式,使得生成器网络能够通过馈入激发向量输出与训练集分布相近的样本。
JS散度:Jensen-Shannon divergence,可以度量两个分布之间的距离,两个分布差异越大,它们的JS散度值大,当这种差异超过一定程度时会使得它们的JS散度值趋近于常数。两个分布差异越小。它们的JS散度值越小,当且仅当两个分布相同时,JS散度能取得极小值0。
DCGANs:Deep Convolution Generative Adversarial Networks,深度卷积生成式对抗网络,是一种利用卷积神经网络来设计生成器G和判别器D的GANs模型,取得了比较大的突破,成为GANs标准模型之一。
WGANs:Wasserstein Generative Adversarial Networks,W距离生成式对抗网络,它是一种将优化函数改成优化生成图像集分布和训练图像集分布之间的W距离。相对于优化JS散度的GANs而言能够克服JS散度带来的梯度消失问题,但是WGANs需要使得判别器D满足1-Lipschitz连续性,因此对判别器D使用了比较暴力的权重剪枝方法。
WGANsGP:Wasserstein Generative Adversarial Networks,Gradient Penalty。含梯度惩罚的WGANs模型,它为了使得判别器D满足1-Lipschitz连续性而使用了梯度惩罚的方式训练判别器D,相比WGANs而言,避免了权重剪枝的暴力处理方式,训练效果能更好。
BEGANs:Boundary Equilibrium Generative Adversarial Networks,边界平衡GANs。利用边界平衡策略对GANs优化函数进行改进,来避免优化JS散度可能带来的梯度消失现象。它优化的目标函数是W距离。
LSGANs:Least Squares Generative Adversarial Networks。将优化目标函数转换成Pearson散度,避免JS散度可能带来的梯度消失现象。其损失函数的设计是一种最小二乘形式的损失函数。
Batchsize:每一批次训练GANs馈入的样本量大小。
Epoch:训练周期,训练集的数目是固定的,通过不重复地每次馈入Batchsize张样本进入GANs进行训练,当训所有的练集样本覆盖完毕后就进行了一个训练周期(一般地,每批次采样的样本是顺序地从训练集进行采样。假设训练集数目是m张,最后所余下的m modBatchsize张样本可以不参与当前训练周期训练,若需要下个周期参与训练,下个周期训练前可对样本顺序进行置乱或逆顺序依次采样)。
实施例1
请参照图1、图2和图4,本发明实施例提供了一种基于GANs的人脸图像生成方法,包括以下步骤:
S1、获取训练集X,训练集X由若干张人脸图像组成。
在本实施例中,给出两种训练集X的获取方法:第一种是通过对CELEBA人脸数据集进行中心裁剪成固定尺寸的人脸图像如:64×64 96×64等;第二种是通过爬虫技术在公共网络上爬取人物图片,然后通过人脸识别技术裁剪出人脸图像,最后进行图像尺寸缩放到固定尺寸如:64×64 96×64等。
S2、提取训练集X中所有人脸图像的隐含特征,得到人脸图像隐含特征集C。
S3、人脸图像解码训练
S31、从训练集X中依次不重复采样batchsize张人脸图像x1,x2,...,xk(k=batchsize),并按照
Figure BDA0002233550060000071
进行像素值尺度变换到[-1,1],其中,i是batchsize张图像中某张图像的标号,i∈[1,batchsize],变换后的图像依然记为x1,x2,...,xk(k=batchsize)。
S32、计算判别函数δ的布尔值
Figure BDA0002233550060000072
其中,t是当前的迭代epoch数,r是控制调用解码约束的频次,l是控制最后一次解码约束条件,如果δ=1,则继续执行步骤S33,如果δ=0,则将GANs的生成器G作为对抗学习生成器G,则跳转至步骤S4,即GANs的生成器G无需解码训练而直接在后面步骤的进行对抗学习。
S33、构造一个与GANs中生成器G具有相同的网络结构且权重共享的解码器Dec,根据式(2)使用RMSProp优化方法对解码器Dec进行解码训练,
Figure BDA0002233550060000081
其中,λ是解码损失函数权重系数,xi是步骤S31中第i张经过像素值尺度变换后的人脸图像,ci是xi对应的人脸图像隐含特征集C中的人脸图像隐含特征,Dec(ci)表示ci经过解码器Dec解码后的输出图像,k是batchsize值;
通过对解码器Dec的训练,以参数共享的方式更新GANs的生成器G,将此次更新后的生成器G作为对抗学习生成器G,即在后面步骤对此次更新后的生成器G进行对抗学习。
S4、人脸图像生成中的对抗学习
S41、从训练集X中依次不重复采样batchsize张人脸图像x1,x2,...,xk(k=batchsize),并按照
Figure BDA0002233550060000082
进行像素值尺度变换到[-1,1],其中,i是batchsize张图像中某张图像的标号,i∈[1,batchsize],变换后的图像依然记为x1,x2,...,xk(k=batchsize)。
S42、判别器D正负样本获取;将步骤S41中batchsize张经过像素值尺度变换的图像x1,x2,...,xk(k=batchsize)作为正样本;采用随机生成法,随机生成batchsize个向量z1,z2,...,zk(k=batchsize;z向量为对抗学习生成器G生成图像的激发向量,它是对抗学习生成器G的输入信息源,有固定的维度,如100维;z向量中每个向量元素是实数,取值范围是[-1,1],服从均匀分布。但有时也有取0均值,1标准差的正态分布,需要注意的是,此时向量元素的取值范围就不一定是[-1,1])馈入对抗学习生成器G中,获取batchsize张生成图像G(z1),G(z2),...,G(zk)(k=batchsize)作为负样本。
S43、将正样本和负样本馈入GANs的判别器D中,使用RMSProp优化方法对判别器D进行权重更新训练,输出得到训练好的判别器D,优化的损失函数为式(3),
Figure BDA0002233550060000083
其中,D(xi)是判别器D对第i个正样本xi的判别值,D(G(zi))是判别器D对第i个负样本G(zi)的判别值。
S44、将步骤S42中获取的batchsize个随机向量z1,z2,...,zk馈入对抗学习生成器G,使用RMSProp优化方法对对抗学习生成器G进行权重更新训练,连续训练两次G,优化的损失函数为式(4),
Figure BDA0002233550060000091
重复步骤S3~S4,对训练集X每次馈入batchsize张图像到GANs进行训练,当覆盖所有训练集X的人脸图像后完成一个epoch的训练任务,然后再训练这个过程直到最大epoch数为止,最后存储得到最终训练好的生成器G。
S45、存储获得由训练好的判别器D以及训练好的生成器G组成的GANs。
S5、人脸图像的生成
S51、设置所需图像张数N,确定图像随机向量的分布类型,使得与步骤S42中训练GANs时的随机向量的分布类型一致,载入步骤S45中得到的GANs;
S52、使用随机生成方法,生成N个图像随机向量z1,z2,...,zN,将N个图像随机向量依次馈入到训练好的生成器G中,得到N张生成器G的输出图像的原始值G(z)(输出值的值域是[-1,1])。
S53、使用式(7)对N个G(z)进行图像像素值尺度变换,使得像素值在[0,255],此时存储这N张图像G(z),完成人脸图像的生成,
G(zj)←127.5×(G(zj)+1) (7)
其中,G(zj)是生成的第j张图像,j=1,2,3,...,N。
与现有技术相比,本实施例所述基于GANs的人脸图像生成方法具有以下优势:
1、增加可解释性:多数的GANs中生成器G的馈入信息为随机向量z,这表明生成器G是以噪声信号z为激发特征进行图像生成的,即难以解释G(z)的特征z与训练集X的特征c存在内在联系。提出的人脸生成方法中,生成器G(解码器Dec与生成器G权重共享、网络结构一致)的激发信号不再仅仅是随机向量z,还有训练图像x的特征向量c。使得生成器G生成的人脸图像不仅仅能关联于z,还能关联于c,表明生成图像G(z)直接受到了训练图像x的特征c影响,增加了可解释性。
2、减轻优化JS散度时梯度消失问题:优化式(3)、(4)是优化训练图像集X的分布与生成图像集G(Z)的分布的JS散度,由JS散度的性质可知,两者分布越相似JS散度值越不容易接近于常数,从而能有效避免梯度消失。进行二元对抗训练前有可能进行解码训练,其目的是重构训练图像集X,相当于提高了G(Z)的分布与X的分布之间的相似程度。这有利于避免优化JS散度导致的梯度消失现象发生,进而提高生成图像的质量。
3、提高生成图像视觉效果:由于对抗训练前对解码器Dec进行解码训练,依据(2)知,由于解码是使得解码器Dec输出图像与训练图像按像素严格一致进行解码重构的,能使得Dec学习到很好的图像结构特征,从而使得生成器G学习到更好的结构特征,减少人脸扭曲的图像。同时图像的清晰度(纹理特征)能够更合理地被学习。
4、较少训练的迭代次数:由于对其进行了特征解码约束,这使得优化目标函数时梯度下降方向也受到了一定约束,能够使得训练过程中使用更少的epoch数。
实施例2
请参照图3,针对实施例1中的步骤S2,其具体包括:
S21、从训练集X中依次不重复采样(在同一个epoch周期内,当训练集样本顺序确定时依次采样就是不重复采样)batchsize张人脸图像x1,x2,...,xk(k=batchsize),并按照式(5)行像素值尺度变换到[-1,1],变换后的图像依然记为x1,x2,...,xk(k=batchsize)。
Figure BDA0002233550060000101
其中,i是batchsize张图像中某张图像的标号,i∈[1,batchsize]。
S22、利用步骤S21中像素值尺度变换后的batchsize张人脸图像训练特征学习网络,具体如下:
构建一个初始的特征学习网络,将步骤S21中batchsize张像素值尺度变换后的图像x1,x2,...,xk(k=batchsize)馈入该特征学习网络,使用Adam优化器优化式(6)所示的均方差损失函数进行充分训练,当达到特征学习网络的最大epoch数后,完成特征学习网络的训练,
Figure BDA0002233550060000102
其中,xi *是特征学习网络输出的第i张重构图像,它与训练集X中第i张人脸图像xi相对应。
S23、在特征学习网络充分训练后,将步骤S21中像素值尺度变换后的人脸图像x1,x2,...,xk(k=batchsize)馈入特征学习网络,记录网络中间层输出值,从而获取与之对应的人脸图像的隐含特征c1,c2,...,ck(k=batchsize)。
按照这种特征提取方法,重复步骤S21到步骤S23,直到整个训练集X的隐含特征提取完毕,从而获取人脸图像特征集C。整个人脸图像特征提取过程是一个预训练过程。
在本实施例中,特征学习网络可为深度神经网络、卷积神经网络、U-Net型自动编码机、DenseNet型自动编码机和稀疏自动编码机中的任意一种。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于GANs的人脸图像生成方法,其特征在于,包括以下步骤:
S1、获取训练集X,所述训练集X由若干张人脸图像组成;
S2、提取训练集X中所有人脸图像的隐含特征,得到人脸图像隐含特征集C;
S3、人脸图像解码训练,具体包括:
S31、从训练集X中不重复采样batchsize张人脸图像,并对采样得到的人脸图像进行像素值尺度变换;
S32、计算判别函数δ的布尔值
Figure FDA0002233550050000011
其中,t是当前的迭代epoch数,r是控制调用解码约束的频次,l是控制最后一次解码约束条件,若δ=1,则继续执行步骤S33,若δ=0,则将GANs的生成器G作为对抗学习生成器G,并跳转至步骤S4;
S33、构造一个与GANs中生成器G具有相同的网络结构且权重共享的解码器Dec,根据式(2)使用RMSProp优化方法对解码器Dec进行解码训练,
Figure FDA0002233550050000012
其中,λ是解码损失函数权重系数,xi是步骤S31中第i张经过像素值尺度变换后的人脸图像,ci是xi对应的人脸图像隐含特征集C中的人脸图像隐含特征,Dec(ci)表示ci经过解码器Dec解码后的输出图像,k是batchsize值;
通过对解码器Dec的训练,以参数共享的方式更新GANs的生成器G,将此次更新后的生成器G作为对抗学习生成器G;
S4、人脸图像生成中的对抗学习,具体包括:
S41、从训练集X中不重复采样batchsize张人脸图像,并对采样得到的人脸图像进行像素值尺度变换;
S42、将步骤S41中经过像素值尺度变换的batchsize张图像作为正样本,采用随机生成法,生成batchsize个随机向量,将其作为输入信息源馈入对抗学习生成器G中,得到batchsize张生成图像作为负样本;
S43、将正样本和负样本馈入GANs的判别器D中,使用RMSProp优化方法对判别器D进行权重更新训练,输出得到训练好的判别器D,优化的损失函数为式(3),
Figure FDA0002233550050000021
其中,D(xi)是判别器D对第i个正样本xi的判别值,D(G(zi))是判别器D对第i个负样本G(zi)的判别值;
S44、将步骤S42中获取的batchsize个随机向量馈入对抗学习生成器G,使用RMSProp优化方法对对抗学习生成器G进行权重更新训练,优化的损失函数为式(4),
Figure FDA0002233550050000022
若未完成当前epoch训练或者当前的迭代epoch数未达到最大epoch数,则跳转至步骤S41,若当前epoch训练完成且当前的迭代epoch数达到最大epoch数,则输出得到训练好的生成器G;
S45、存储获得由所述训练好的判别器D以及所述训练好的生成器G组成的GANs;
S5、采用随机生成法,生成图像随机向量,以图像随机向量作为输入,使用步骤S45中得到的GANs生成人脸图像,对生成的人脸图像进行像素值尺度变换后,完成人脸图像的生成。
2.根据权利要求1所述基于GANs的人脸图像生成方法,其特征在于,所述步骤S2具体包括:
S21、从训练集X中不重复采样batchsize张人脸图像,并对采样得到的人脸图像进行像素值尺度变换;
S22、利用步骤S21中像素值尺度变换后的batchsize张人脸图像训练特征学习网络;
S23、通过特征学习网络提取步骤S21中像素值尺度变换后的人脸图像的隐含特征,如果训练集X中人脸图像的隐含特征没有提取完毕,则跳转至步骤S21,否则输出人脸图像隐含特征集C。
3.根据权利要求2所述基于GANs的人脸图像生成方法,其特征在于,所述步骤S21、所述步骤S31以及所述步骤S41中对人脸图像进行像素值尺度变换,是将人脸图像按照式(5)进行像素值尺度变换到[-1,1],
Figure FDA0002233550050000023
其中,i是batchsize张图像中某张图像的标号,i∈[1,batchsize]。
4.根据权利要求2所述基于GANs的人脸图像生成方法,其特征在于,所述步骤S22具体为:
构建一个初始的特征学习网络,将步骤S21中像素值尺度变换后的batchsize张人脸图像馈入该特征学习网络,使用Adam优化器优化式(6)所示的均方差损失函数进行充分训练,当达到特征学习网络的最大epoch数后,完成特征学习网络的训练,
Figure FDA0002233550050000031
其中,xi *是特征学习网络输出的第i张重构图像,它与训练集X中第i张人脸图像xi相对应。
5.根据权利要求4所述基于GANs的人脸图像生成方法,其特征在于,所述特征学习网络为深度神经网络、卷积神经网络、U-Net型自动编码机、DenseNet型自动编码机和稀疏自动编码机中的任意一种。
6.根据权利要求1所述基于GANs的人脸图像生成方法,其特征在于,所述步骤S44中,对抗学习生成器G需连续训练两次。
7.根据权利要求1所述基于GANs的人脸图像生成方法,其特征在于,所述步骤S5具体包括:
S51、设置所需图像张数N,确定图像随机向量的分布类型,使图像随机向量与所述步骤S42中的随机向量的分布类型一致,载入步骤S45中得到的GANs;
S52、使用随机生成方法,生成N个图像随机向量,将N个图像随机向量依次馈入到训练好的生成器G中,输出得到N张像素值取值范围为[-1,1]的生成图像;
S53、使用式(7)对步骤S52中N张生成图像进行像素值尺度变换,完成人脸图像的生成,
G(zj)←127.5×(G(zj)+1) (7)
其中,G(zj)是生成的第j张图像,zj是图像随机向量,j=1,2,3,...,N。
CN201910975725.5A 2019-10-15 2019-10-15 基于GANs的人脸图像生成方法 Active CN110706303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910975725.5A CN110706303B (zh) 2019-10-15 2019-10-15 基于GANs的人脸图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910975725.5A CN110706303B (zh) 2019-10-15 2019-10-15 基于GANs的人脸图像生成方法

Publications (2)

Publication Number Publication Date
CN110706303A CN110706303A (zh) 2020-01-17
CN110706303B true CN110706303B (zh) 2021-05-11

Family

ID=69198332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910975725.5A Active CN110706303B (zh) 2019-10-15 2019-10-15 基于GANs的人脸图像生成方法

Country Status (1)

Country Link
CN (1) CN110706303B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260545B (zh) * 2020-01-20 2023-06-20 北京百度网讯科技有限公司 生成图像的方法和装置
CN111353995B (zh) * 2020-03-31 2023-03-28 成都信息工程大学 一种基于生成对抗网络的宫颈单细胞图像数据生成方法
CN112966429A (zh) * 2020-08-11 2021-06-15 中国矿业大学 基于WGANs数据增强的非线性工业过程建模方法
CN112115322B (zh) * 2020-09-25 2024-05-07 平安科技(深圳)有限公司 用户分群方法、装置、电子设备及存储介质
CN112288013A (zh) * 2020-10-30 2021-01-29 中南大学 基于元度量学习的小样本遥感场景分类方法
CN113191950B (zh) * 2021-05-07 2022-08-12 西南交通大学 一种超分辨率人脸图像重建方法
CN114005170B (zh) * 2022-01-05 2022-03-25 中国科学院自动化研究所 基于视觉对抗重构的DeepFake防御方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635774A (zh) * 2018-12-21 2019-04-16 中山大学 一种基于生成对抗网络的人脸合成方法
CN109785258A (zh) * 2019-01-10 2019-05-21 华南理工大学 一种基于多判别器生成对抗网络的人脸图像修复方法
CN109815928A (zh) * 2019-01-31 2019-05-28 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474880B2 (en) * 2017-03-15 2019-11-12 Nec Corporation Face recognition using larger pose face frontalization
CN109615582B (zh) * 2018-11-30 2023-09-01 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635774A (zh) * 2018-12-21 2019-04-16 中山大学 一种基于生成对抗网络的人脸合成方法
CN109785258A (zh) * 2019-01-10 2019-05-21 华南理工大学 一种基于多判别器生成对抗网络的人脸图像修复方法
CN109815928A (zh) * 2019-01-31 2019-05-28 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于子样本集构建的DCGANs训练方法;陈泓佑 等;《自动化学报》;20190422;1-10 *

Also Published As

Publication number Publication date
CN110706303A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN110706303B (zh) 基于GANs的人脸图像生成方法
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN110390638B (zh) 一种高分辨率三维体素模型重建方法
WO2021027759A1 (en) Facial image processing
CN112215050A (zh) 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN111652049A (zh) 人脸图像处理模型训练方法、装置、电子设备及存储介质
CN111861945B (zh) 一种文本引导的图像修复方法和***
CN112686817B (zh) 一种基于不确定性估计的图像补全方法
Saquil et al. Ranking cgans: Subjective control over semantic image attributes
CN112183742A (zh) 基于渐进式量化和Hessian信息的神经网络混合量化方法
CN105184742B (zh) 一种基于拉普拉斯图特征向量的稀疏编码的图像去噪方法
CN114330736A (zh) 具有噪声对比先验的潜在变量生成性模型
CN114638408A (zh) 一种基于时空信息的行人轨迹预测方法
CN116383639A (zh) 一种生成对抗网络的知识蒸馏方法、装置、设备及存储介质
CN109658508B (zh) 一种多尺度细节融合的地形合成方法
Shariff et al. Artificial (or) fake human face generator using generative adversarial network (GAN) machine learning model
CN109598771B (zh) 一种多地貌特征约束的地形合成方法
Golts et al. Image compression optimized for 3D reconstruction by utilizing deep neural networks
CN108959512B (zh) 一种基于属性增强注意力模型的图像描述网络及技术
CN112528077A (zh) 基于视频嵌入的视频人脸检索方法及***
CN111667006A (zh) 一种基于AttGan模型生成家族字体的方法
CN117094365A (zh) 图文生成模型的训练方法、装置、电子设备及介质
CN114862699B (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
EP4164221A1 (en) Processing image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant