CN112581591A - 一种基于gan和三维模型参数的可调人脸图片生成方法 - Google Patents

一种基于gan和三维模型参数的可调人脸图片生成方法 Download PDF

Info

Publication number
CN112581591A
CN112581591A CN202110122965.8A CN202110122965A CN112581591A CN 112581591 A CN112581591 A CN 112581591A CN 202110122965 A CN202110122965 A CN 202110122965A CN 112581591 A CN112581591 A CN 112581591A
Authority
CN
China
Prior art keywords
generator
face
gan
vector
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110122965.8A
Other languages
English (en)
Inventor
王梓鉴
孙伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Shadow Workshop Beijing Technology Co ltd
Original Assignee
Second Shadow Workshop Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Shadow Workshop Beijing Technology Co ltd filed Critical Second Shadow Workshop Beijing Technology Co ltd
Priority to CN202110122965.8A priority Critical patent/CN112581591A/zh
Publication of CN112581591A publication Critical patent/CN112581591A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于GAN和三维模型参数的可调人脸图片生成方法，包括如下步骤：S1、生成网络将4*4的图片通过生成器生成的图片和真实图片都送到判别器，让生成器在4*4阶段达到初始可用状态；S2、生成器由随机向量z产生，通过全连接映射网络，生成中间层w，w分出style向量；S3、四维连续拟合人脸模型4DFace，通过脸型、动作、表情、姿势的参数向量控制4DFace产生标准三维人脸集合渲染结果；本发明结构科学合理，使用安全方便，能够在StlyleGAN控制高级控制的基础上，扩展控制向量，达到可控制精细外形的目的，可以扩展控制向量，达到可控制精细外形的目的。

Description

一种基于GAN和三维模型参数的可调人脸图片生成方法
技术领域
本发明涉及人脸生成技术领域，具体为一种基于GAN和三维模型参数的可调人脸图片生成方法。
背景技术
当前，一方面通过GAN或者GAN的衍生算法来生成二维的人脸图片已经比较成熟了，效果也非常好，但无论是脸型、动作还是表情都无法编辑，算法生成是什么样的就是什么样的；
另一方面，三维捏脸模型现在对于生成动态的三维人脸模型也比较成熟了，能够很容易控制脸型、动作和表情，但是生成的三维模型渲染后能让人一眼就识别不是真人，很多局部细节很难逼真的模拟，比如牙齿、眼睛的局部会失真。
发明内容
本发明提供一种基于GAN和三维模型参数的可调人脸图片生成方法，可以有效解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于GAN和三维模型参数的可调人脸图片生成方法，包括如下步骤：
S1、生成网络将4*4的图片通过生成器生成的图片和真实图片都送到判别器，让生成器在4*4阶段达到初始可用状态；
S2、生成器由随机向量z产生，通过全连接映射网络，生成中间层w，w分出style向量；
S3、四维连续拟合人脸模型4DFace，通过脸型、动作、表情、姿势的参数向量控制4DFace产生标准三维人脸集合渲染结果；
S4、在训练过程中进一步使用纹理一致性损失优化来约束生成器；
S5、通过生成器判定生成的图片质量，反复迭代，让生成器和判定器同步提升到成熟水平，逐步提升训练网络的分辨率从4*4，提升到8*8，然后一直按照清晰度长宽都翻倍的步骤，逐步提升到1024*1024，从而完成输出。
根据上述技术方案，所述S2中产生的style向量利用自适应实例标准化层AdaIN来转化生成适用于4*4的converted_style向量A，在生成器中按照StyleGAN的方式根据向量A生成了相应的未加噪声图片输出。
根据上述技术方案，所述S3中4DFace控制所有几何类参数，包括外表和光照参数控制脸的颜色；
将StyleGAN的随机噪声输入，改为链接纹理化的三维模型输出mesh数据，然后将这些数据scaling之后以StyleGAN噪音的形式以不同分辨率版本***到GAN生成器中，生成器由此生成带由三维几何操控影响的人脸图片。
根据上述技术方案，所述S4中在S3步中相应的三维mesh，被投射到生成的人脸图片方向，而得到一个局部的纹理映射，将损失函数应用到一对对的生成图片纹理映射的区别中，然后通过最小化差异的损失函数，进一步改善了参数的控制的有效性。
根据上述技术方案，所述S5中反复迭代中期间会经历持续间歇性的判定器锁定过程。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，能够在StlyleGAN控制高级控制的基础上，扩展控制向量，达到可控制精细外形的目的，可以扩展控制向量，达到可控制精细外形的目的，三维模型渲染控制条件作为StyleGAN的噪音加入到图片生成过程，三维模型渲染产生的局部纹理，并应用在生成图片最终的局部连续性拟合上，不仅能用GAN算法生成逼真的二维人脸，而且还能通过具体的人脸控制参数控制它，也就是将目前现存的两种各有优劣的方式结合来生成可参数控制的逼真人脸图片，将2D人脸生成模型StyleGAN2与三维捏脸模型结合，通过这种方式训练的生成器，我们不仅可以使用高级参数来控制StyleGAN控制的性别、肤色、头发等，还可以用过三维模型参数来控制输出的人脸图片的脸型、动作和表情，组合StyleGA。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本发明的结构示意图；
图2是本发明的步骤流程结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1-2所示，本发明提供技术方案，一种基于GAN和三维模型参数的可调人脸图片生成方法，包括如下步骤：
S1、生成网络将4*4的图片通过生成器生成的图片和真实图片都送到判别器，让生成器在4*4阶段达到初始可用状态；
S2、生成器由随机向量z产生，通过全连接映射网络，生成中间层w，w分出style向量；
S3、四维连续拟合人脸模型4DFace，通过脸型、动作、表情、姿势的参数向量控制4DFace产生标准三维人脸集合渲染结果；
S4、在训练过程中进一步使用纹理一致性损失优化来约束生成器；
S5、通过生成器判定生成的图片质量，反复迭代，让生成器和判定器同步提升到成熟水平，逐步提升训练网络的分辨率从4*4，提升到8*8，然后一直按照清晰度长宽都翻倍的步骤，逐步提升到1024*1024，从而完成输出。
根据上述技术方案，S2中产生的style向量利用自适应实例标准化层AdaIN来转化生成适用于4*4的converted_style向量A，在生成器中按照StyleGAN的方式根据向量A生成了相应的未加噪声图片输出。
根据上述技术方案，S3中4DFace控制所有几何类参数，包括外表和光照参数控制脸的颜色；
将StyleGAN的随机噪声输入，改为链接纹理化的三维模型输出mesh数据，然后将这些数据scaling之后以StyleGAN噪音的形式以不同分辨率版本***到GAN生成器中，生成器由此生成带由三维几何操控影响的人脸图片。
根据上述技术方案，S4中在S3步中相应的三维mesh，被投射到生成的人脸图片方向，而得到一个局部的纹理映射，将损失函数应用到一对对的生成图片纹理映射的区别中，然后通过最小化差异的损失函数，进一步改善了参数的控制的有效性。
根据上述技术方案，S5中反复迭代中期间会经历持续间歇性的判定器锁定过程。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，能够在StlyleGAN控制高级控制的基础上，扩展控制向量，达到可控制精细外形的目的，可以扩展控制向量，达到可控制精细外形的目的，三维模型渲染控制条件作为StyleGAN的噪音加入到图片生成过程，三维模型渲染产生的局部纹理，并应用在生成图片最终的局部连续性拟合上，不仅能用GAN算法生成逼真的二维人脸，而且还能通过具体的人脸控制参数控制它，也就是将目前现存的两种各有优劣的方式结合来生成可参数控制的逼真人脸图片，将2D人脸生成模型StyleGAN2与三维捏脸模型结合，通过这种方式训练的生成器，我们不仅可以使用高级参数来控制StyleGAN控制的性别、肤色、头发等，还可以用过三维模型参数来控制输出的人脸图片的脸型、动作和表情，组合StyleGA。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于GAN和三维模型参数的可调人脸图片生成方法，其特征在于：包括如下步骤：
S1、生成网络将4*4的图片通过生成器生成的图片和真实图片都送到判别器，让生成器在4*4阶段达到初始可用状态；
S2、生成器由随机向量z产生，通过全连接映射网络，生成中间层w，w分出style向量；
S3、四维连续拟合人脸模型4DFace，通过脸型、动作、表情、姿势的参数向量控制4DFace产生标准三维人脸集合渲染结果；
S4、在训练过程中进一步使用纹理一致性损失优化来约束生成器；
S5、通过生成器判定生成的图片质量，反复迭代，让生成器和判定器同步提升到成熟水平，逐步提升训练网络的分辨率从4*4，提升到8*8，然后一直按照清晰度长宽都翻倍的步骤，逐步提升到1024*1024，从而完成输出。
2.根据权利要求1所述的一种基于GAN和三维模型参数的可调人脸图片生成方法，其特征在于，所述S2中产生的style向量利用自适应实例标准化层AdaIN来转化生成适用于4*4的converted_style向量A，在生成器中按照StyleGAN的方式根据向量A生成了相应的未加噪声图片输出。
3.根据权利要求1所述的一种基于GAN和三维模型参数的可调人脸图片生成方法，其特征在于，所述S3中4DFace控制所有几何类参数，包括外表和光照参数控制脸的颜色；
将StyleGAN的随机噪声输入，改为链接纹理化的三维模型输出mesh数据，然后将这些数据scaling之后以StyleGAN噪音的形式以不同分辨率版本***到GAN生成器中，生成器由此生成带由三维几何操控影响的人脸图片。
4.根据权利要求1所述的一种基于GAN和三维模型参数的可调人脸图片生成方法，其特征在于，所述S4中在S3步中相应的三维mesh，被投射到生成的人脸图片方向，而得到一个局部的纹理映射，将损失函数应用到一对对的生成图片纹理映射的区别中，然后通过最小化差异的损失函数，进一步改善了参数的控制的有效性。
5.根据权利要求1所述的一种基于GAN和三维模型参数的可调人脸图片生成方法，其特征在于，所述S5中反复迭代中期间会经历持续间歇性的判定器锁定过程。
CN202110122965.8A 2021-01-29 2021-01-29 一种基于gan和三维模型参数的可调人脸图片生成方法 Pending CN112581591A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110122965.8A CN112581591A (zh) 2021-01-29 2021-01-29 一种基于gan和三维模型参数的可调人脸图片生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110122965.8A CN112581591A (zh) 2021-01-29 2021-01-29 一种基于gan和三维模型参数的可调人脸图片生成方法

Publications (1)

Publication Number Publication Date
CN112581591A true CN112581591A (zh) 2021-03-30

Family

ID=75145384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110122965.8A Pending CN112581591A (zh) 2021-01-29 2021-01-29 一种基于gan和三维模型参数的可调人脸图片生成方法

Country Status (1)

Country Link
CN (1) CN112581591A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033442A (zh) * 2021-03-31 2021-06-25 清华大学 基于StyleGAN的高自由度人脸驱动方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171770A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于生成式对抗网络的人脸表情编辑方法
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
CN110956691A (zh) * 2019-11-21 2020-04-03 Oppo广东移动通信有限公司 一种三维人脸重建方法、装置、设备及存储介质
CN111028319A (zh) * 2019-12-09 2020-04-17 首都师范大学 一种基于面部运动单元的三维非真实感表情生成方法
CN112002009A (zh) * 2020-08-04 2020-11-27 中国科学技术大学 一种基于生成对抗网络的无监督重建三维人脸方法
CN112085836A (zh) * 2020-09-03 2020-12-15 华南师范大学 一种基于图卷积神经网络的三维人脸重建方法
CN112215927A (zh) * 2020-09-18 2021-01-12 腾讯科技（深圳）有限公司 人脸视频的合成方法、装置、设备及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171770A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于生成式对抗网络的人脸表情编辑方法
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
CN110956691A (zh) * 2019-11-21 2020-04-03 Oppo广东移动通信有限公司 一种三维人脸重建方法、装置、设备及存储介质
CN111028319A (zh) * 2019-12-09 2020-04-17 首都师范大学 一种基于面部运动单元的三维非真实感表情生成方法
CN112002009A (zh) * 2020-08-04 2020-11-27 中国科学技术大学 一种基于生成对抗网络的无监督重建三维人脸方法
CN112085836A (zh) * 2020-09-03 2020-12-15 华南师范大学 一种基于图卷积神经网络的三维人脸重建方法
CN112215927A (zh) * 2020-09-18 2021-01-12 腾讯科技（深圳）有限公司 人脸视频的合成方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PARTHA GHOSH，PRAVIR SINGH GUPTA，ROY UZIEL: "GIF: Generative Interpretable Faces", COMPUTER VISION AND PATTERN RECOGNITION（CVPR）, pages 3 - 5 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033442A (zh) * 2021-03-31 2021-06-25 清华大学 基于StyleGAN的高自由度人脸驱动方法和装置

Similar Documents

Publication Publication Date Title
Pumarola et al. Ganimation: Anatomically-aware facial animation from a single image
US20210174567A1 (en) Method for Facial Animation
KR102286037B1 (ko) 기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법
CN109741247B (zh) 一种基于神经网络的肖像漫画生成方法
CN113269872A (zh) 基于三维人脸重构和视频关键帧优化的合成视频生成方法
KR101796190B1 (ko) 디지털 클론 생성 장치 및 방법
JP2020510262A5 (zh)
CN103208133A (zh) 一种图像中人脸胖瘦的调整方法
CN105551010A (zh) 基于nsct及深度信息激励pcnn的多聚焦图像融合方法
CN104700365B (zh) 一种图像对比度增强方法
CN112581591A (zh) 一种基于gan和三维模型参数的可调人脸图片生成方法
CN117496072B (zh) 一种三维数字人生成和交互方法及***
CN114429538A (zh) 交互式编辑神经辐射场几何的方法
Zhang et al. Facial expression cloning with elastic and muscle models
CN107564097B (zh) 一种基于正面图像的遗容三维重建方法
CN116206607A (zh) 一种基于语音驱动的真实感虚拟人生成方法及装置
DE102021124537A1 (de) Energiebasierte variational autoencoder
Park et al. ED-NeRF: Efficient Text-Guided Editing of 3D Scene using Latent Space NeRF
CN110189264A (zh) 图像处理方法
Li et al. Realistic wrinkle generation for 3D face modeling based on automatically extracted curves and improved shape control functions
Kwon et al. An animation bilateral filter for slow-in and slow-out effects
DE102021124428A1 (de) Trainieren energiebasierter variational autoencoder
CN113920005B (zh) 一种构造单一人脸皮肤差异图片对的方法
JPWO2019221293A1 (ja) 画像生成装置、画像生成方法及び画像生成プログラム
CN113808275B (zh) 一种基于gcn与拓扑修改的单图像三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination