CN108268845A - 一种利用生成对抗网络合成人脸视频序列的动态转换*** - Google Patents

一种利用生成对抗网络合成人脸视频序列的动态转换*** Download PDF

Info

Publication number
CN108268845A
CN108268845A CN201810045782.9A CN201810045782A CN108268845A CN 108268845 A CN108268845 A CN 108268845A CN 201810045782 A CN201810045782 A CN 201810045782A CN 108268845 A CN108268845 A CN 108268845A
Authority
CN
China
Prior art keywords
dynamic
face
training
frame
appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810045782.9A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810045782.9A priority Critical patent/CN108268845A/zh
Publication of CN108268845A publication Critical patent/CN108268845A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明中提出的一种利用生成对抗网络合成人脸视频序列的动态转换***，其主要内容包括：底层框架定义、***网络设置、***网络求解，其过程为，定义包含生成器与鉴别器在内的目标框架，使用预训练的递归网络生成外观压缩动态特征并通过动态通道编码器与静态特征合并输入到生成器；然后设计包含全部变量在内的最大化最小化函数，通过限定条件用三个步骤拆分求解得到***网络的最优解。本发明可以实现将一张目标图像替换到一段人脸视频序列中，并且具有原视频的动态变化性能，提供了生成对抗网络来追求最优平衡解，同时该发明在完成替换视频帧的同时更好地保持了人脸的细节信息与动态程度。

Description

一种利用生成对抗网络合成人脸视频序列的动态转换***
技术领域
本发明涉及计算机视觉领域，尤其是涉及了一种利用生成对抗网络合成人脸视频序列的动态转换***。
背景技术
在计算机视觉中，视频序列中替换人脸，尤其是替换后的人脸，能跟随原视频序列的变化而变化，成为非常具有挑战性的问题。随着智能手机的普及以及智能手机摄像头分辨率的提高，人们可以随时随地拿出手机拍照、自拍以及录制视频并且随时随地将照片或视频分享到互联网。这些高分辨率的图像与视频为人脸图像替换方面的应用提供了大量的素材。此外，人脸识别检测、遮挡定位检测、机器学习和模式识别等技术的不断完善，也为图像/视频自动人脸替换***的研究提供了充足的技术支持。而视频序列中的人脸替换、合成技术在娱乐、虚拟现实、隐私保护、视频聊天等方面具有重要的理论意义与应用价值。在娱乐经济方面，人脸替换技术相关的应用程序已经在各大手机应用市场上占据下载排行榜的前列位置，它们能给人们的娱乐生活带来乐趣，背后同时产生了巨大的经济效益，不同的产业、公司或个人为了抢占市场资源会不断地开放更贴近、更真实的相关技术；其次，人脸图像替换技术在虚拟现实技术方面具有重要地位。不同的场景中需要同样的面孔同时存在，或者模拟不同的人在同一场景中出现，例如国际视频会议、灾难逃生演练、全景技术、旅游前景点预览等场合，都会受益于人脸替换技术。此外，在人脸图像替换在备受关注的隐私保护方面有着重要的研究意义。例如采集大量公众信息时如何剔除或替换关键人物的面孔、在治安或刑事案件中涉及的无关人员的保护方面，此类隐私问题都会需要人脸替换技术来解决。然而，当前业界或学界对于此类技术尚有不足之处，例如在图像转换到视频过程中，没有保留丰富的面部表情或者细节信息，同时可能会引入噪声，造成图像的扭曲。
本发明提出了本发明中提出的一种利用生成对抗网络合成人脸视频序列的动态转换***，首先定义包含生成器与鉴别器在内的目标框架，使用预训练的递归网络生成外观压缩动态特征并通过动态通道编码器与静态特征合并输入到生成器；然后设计包含全部变量在内的最大化最小化函数，通过限定条件用三个步骤拆分求解得到***网络的最优解。本发明可以实现将一张目标图像替换到一段人脸视频序列中，并且具有原视频的动态变化性能，提供了生成对抗网络来追求最优平衡解，同时该发明在完成替换视频帧的同时更好地保持了人脸的细节信息与动态程度。
发明内容
针对解决视频序列中替换人脸的问题，本发明的目的在于提供一种利用生成对抗网络合成人脸视频序列的动态转换***，首先定义包含生成器与鉴别器在内的目标框架，使用预训练的递归网络生成外观压缩动态特征并通过动态通道编码器与静态特征合并输入到生成器；然后设计包含全部变量在内的最大化最小化函数，通过限定条件用三个步骤拆分求解得到***网络的最优解。本发明可以实现将一张目标图像替换到一段人脸视频序列中，并且具有原视频的动态变化性能，提供了生成对抗网络来追求最优平衡解，同时该发明在完成替换视频帧的同时更好地保持了人脸的细节信息与动态程度。
为解决上述问题，本发明提供一种利用生成对抗网络合成人脸视频序列的动态转换***，其主要内容包括：
(一)底层框架定义；
(二)***网络设置；
(三)***网络求解。
其中，所述的底层框架定义，定义适用性生成对抗网络模型，具体为：
1)给定数据集定义生成网络其作用在于在接受输入随机变量 后，模仿数据集x，改变z的分布并生成模仿数据集
2)定义鉴别器其作用在于鉴别模仿的数据集是否与真实的给定数据集x具有一致的分布；
3)定义博弈规则：若G生成的数据成功骗过D，则G取胜；若D成功鉴别出G生成的模仿数据，则D获胜；
4)定义框架目标：同时训练网络G与D，并且同时使之获得最优表现，互相竞争达到平衡后，此时G生成的数据集具有最接近x的分布，具体的最大化最小化过程为：
其中，px和pz分别是变量x和z的分布。
所述的***网络设置，将目标静态人脸图像替换原始视频序列中动态的人脸图像，包括外观压缩特征编码器A，动态通道编码器F，生成器G，鉴别器组Ds、Dd。
所述的外观压缩特征编码器，使用预训练的递归神经网络，将原始的视频中动态的人脸与同一视频中的第一帧静态人脸之间做差分运算，得到外观压缩动态特征，此特征即为***的输入特征，具体为：首先给定长度为T的原始视频动态序列Y＝[y0,y1,…,yT]，截取其第一帧的人脸图y0作为起点，将其复制T次，产生一个静态序列Y(st)＝[y0,y0,…,y0]；然后分别使用预训练的递归神经网络对动、静态序列产生相应的隐藏时空特性特征H和H(st)；最后用H和H(st)做差分运算，得到外观压缩动态特征：
其中，时间长度保持为T。
所述的动态通道编码器，将外观压缩动态特征和静态空域特征按时间帧t进行线性合并，然后将合并完毕的特征组合输入到生成器G，其中t∈T。
所述的生成器，使用一个对称性的、前后相连的卷积神经网络对图像进行特征的学习与提取，以在训练的过程中可以保持图像的本身特征。
所述的鉴别器组，对于当前输出的动态视频序列，设计静态鉴别器Ds和动态鉴别器Dd以鉴别生成的序列真伪，其中，静态鉴别器Ds用于检查当前生成帧内容的保真度，即与原始目标图像的偏差程度；动态鉴别器Dd用于检查当前序列是否为动态，即人脸的表情与外观是否处于变化状态，若处于真实动态，输出标记为Z(d)，否则标记为
所述的***网络求解，包括目标函数和优化过程。
所述的目标函数，在训练过程中涉及变化的参量都需要动态训练，包括动态通道编码器F，生成器G，鉴别器Ds、Dd，具体地，训练目标为使得F和G生成的图像最接近原始视频，因此需要最小化其误差，同时需要最大化鉴别器Ds、Dd的误差，由此得目标函数的数学表达式为：
其中，T表示时间长度。
所述的优化过程，分三步求解数学表达式(3)中的最优解，具体为：
1)最大化鉴别器Ds、Dd的损失项和，其中
2)最小化对抗损失以训练生成器，其中，
同时，通过最小化基于L1范数的静态图像重构损失以提高每一帧静态图像重构的质量，其中，
3)为在时间长度较大的情况下保持动态连续性，对外观压缩动态特征的重构损失进行基于L1范数的限定，其中，
经过上述三个步骤，可以求得数学表达式(3)中的最优解。
附图说明
图1是本发明一种利用生成对抗网络合成人脸视频序列的动态转换***的框架图。
图2是本发明一种利用生成对抗网络合成人脸视频序列的动态转换***的***网络设置图。
图3是本发明一种利用生成对抗网络合成人脸视频序列的动态转换***的例子示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种利用生成对抗网络合成人脸视频序列的动态转换***的框架图。主要包括底层框架定义；***网络设置，***网络求解。
底层框架定义，定义适用性生成对抗网络模型，具体为：
1)给定数据集定义生成网络其作用在于在接受输入随机变量 后，模仿数据集x，改变z的分布并生成模仿数据集
2)定义鉴别器其作用在于鉴别模仿的数据集是否与真实的给定数据集x具有一致的分布；
3)定义博弈规则：若G生成的数据成功骗过D，则G取胜；若D成功鉴别出G生成的模仿数据，则D获胜；
4)定义框架目标：同时训练网络G与D，并且同时使之获得最优表现，互相竞争达到平衡后，此时G生成的数据集具有最接近x的分布，具体的最大化最小化过程为：
其中，px和pz分别是变量x和z的分布。
图2是本发明一种利用生成对抗网络合成人脸视频序列的动态转换***的***网络设置图。主要包括外观压缩特征编码器A，动态通道编码器F，生成器G，鉴别器组Ds、Dd。
外观压缩特征编码器，使用预训练的递归神经网络，将原始的视频中动态的人脸与同一视频中的第一帧静态人脸之间做差分运算，得到外观压缩动态特征，此特征即为***的输入特征，具体为：首先给定长度为T的原始视频动态序列Y＝[y0,y1,…,yT]，截取其第一帧的人脸图y0作为起点，将其复制T次，产生一个静态序列Y(st)＝[y0,y0,…,y0]；然后分别使用预训练的递归神经网络对动、静态序列产生相应的隐藏时空特性特征H和H(st)；最后用H和H(st)做差分运算，得到外观压缩动态特征：
其中，时间长度保持为T。
动态通道编码器，将外观压缩动态特征和静态空域特征按时间帧t进行线性合并，然后将合并完毕的特征组合输入到生成器G，其中t∈T。
生成器，使用一个对称性的、前后相连的卷积神经网络对图像进行特征的学习与提取，以在训练的过程中可以保持图像的本身特征。
鉴别器组，对于当前输出的动态视频序列，设计静态鉴别器Ds和动态鉴别器Dd以鉴别生成的序列真伪，其中，静态鉴别器Ds用于检查当前生成帧内容的保真度，即与原始目标图像的偏差程度；动态鉴别器Dd用于检查当前序列是否为动态，即人脸的表情与外观是否处于变化状态，若处于真实动态，输出标记为Z(d)，否则标记为
***网络求解，包括目标函数和优化过程。
目标函数，在训练过程中涉及变化的参量都需要动态训练，包括动态通道编码器F，生成器G，鉴别器Ds、Dd，具体地，训练目标为使得F和G生成的图像最接近原始视频，因此需要最小化其误差，同时需要最大化鉴别器Ds、Dd的误差，由此得目标函数的数学表达式为：
其中，T表示时间长度。
优化过程，分三步求解数学表达式(3)中的最优解，具体为：
1)最大化鉴别器Ds、Dd的损失项和，其中
2)最小化对抗损失以训练生成器，其中，
同时，通过最小化基于L1范数的静态图像重构损失以提高每一帧静态图像重构的质量，其中，
3)为在时间长度较大的情况下保持动态连续性，对外观压缩动态特征的重构损失进行基于L1范数的限定，其中，
经过上述三个步骤，可以求得数学表达式(3)中的最优解。
图3是本发明一种利用生成对抗网络合成人脸视频序列的动态转换***的例子示意图。如图所示，在“微笑”和“惊讶”两个表情中，视频中替换后的人脸都能展现出原视频的表情，保留了丰富的细节信息，并没有引入足以引起视觉不适的扭曲内容。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种利用生成对抗网络合成人脸视频序列的动态转换***，其特征在于，主要包括底层框架定义(一)；***网络设置(二)，***网络求解(三)。
2.基于权利要求书1所述的底层框架定义(一)，其特征在于，定义适用性生成对抗网络模型，具体为：
1)给定数据集定义生成网络G:其作用在于在接受输入随机变量后，模仿数据集x，改变z的分布并生成模仿数据集
2)定义鉴别器D:其作用在于鉴别模仿的数据集是否与真实的给定数据集x具有一致的分布；
3)定义博弈规则：若G生成的数据成功骗过D，则G取胜；若D成功鉴别出G生成的模仿数据，则D获胜；
4)定义框架目标：同时训练网络G与D，并且同时使之获得最优表现，互相竞争达到平衡后，此时G生成的数据集具有最接近x的分布，具体的最大化最小化过程为：
其中，px和pz分别是变量x和z的分布。
3.基于权利要求书1所述的***网络设置(二)，其特征在于，将目标静态人脸图像替换原始视频序列中动态的人脸图像，包括外观压缩特征编码器A，动态通道编码器F，生成器G，鉴别器组Ds、Dd。
4.基于权利要求书3所述的外观压缩特征编码器，其特征在于，使用预训练的递归神经网络，将原始的视频中动态的人脸与同一视频中的第一帧静态人脸之间做差分运算，得到外观压缩动态特征，此特征即为***的输入特征，具体为：首先给定长度为T的原始视频动态序列Y＝[y0,y1,…,yT]，截取其第一帧的人脸图y0作为起点，将其复制T次，产生一个静态序列Y(st)＝[y0,y0,…,y0]；然后分别使用预训练的递归神经网络对动、静态序列产生相应的隐藏时空特性特征H和H(st)；最后用H和H(st)做差分运算，得到外观压缩动态特征：
其中，时间长度保持为T。
5.基于权利要求书3所述的动态通道编码器，其特征在于，将外观压缩动态特征和静态空域特征按时间帧t进行线性合并，然后将合并完毕的特征组合输入到生成器G，其中t∈T。
6.基于权利要求书3所述的生成器，其特征在于，使用一个对称性的、前后相连的卷积神经网络对图像进行特征的学习与提取，以在训练的过程中可以保持图像的本身特征。
7.基于权利要求书3所述的鉴别器组，其特征在于，对于当前输出的动态视频序列，设计静态鉴别器Ds和动态鉴别器Dd以鉴别生成的序列真伪，其中，静态鉴别器Ds用于检查当前生成帧内容的保真度，即与原始目标图像的偏差程度；动态鉴别器Dd用于检查当前序列是否为动态，即人脸的表情与外观是否处于变化状态，若处于真实动态，输出标记为Z(d)，否则标记为
8.基于权利要求书1所述的***网络求解(三)，其特征在于，包括目标函数和优化过程。
9.基于权利要求书8所述的目标函数，其特征在于，在训练过程中涉及变化的参量都需要动态训练，包括动态通道编码器F，生成器G，鉴别器Ds、Dd，具体地，训练目标为使得F和G生成的图像最接近原始视频，因此需要最小化其误差，同时需要最大化鉴别器Ds、Dd的误差，由此得目标函数的数学表达式为：
其中，T表示时间长度。
10.基于权利要求书8所述的优化过程，其特征在于，分三步求解数学表达式(3)中的最优解，具体为：
1)最大化鉴别器Ds、Dd的损失项和其中
2)最小化对抗损失以训练生成器，其中，
同时，通过最小化基于L1范数的静态图像重构损失以提高每一帧静态图像重构的质量，其中，
3)为在时间长度较大的情况下保持动态连续性，对外观压缩动态特征的重构损失进行基于L1范数的限定，其中，
经过上述三个步骤，可以求得数学表达式(3)中的最优解。
CN201810045782.9A 2018-01-17 2018-01-17 一种利用生成对抗网络合成人脸视频序列的动态转换*** Withdrawn CN108268845A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810045782.9A CN108268845A (zh) 2018-01-17 2018-01-17 一种利用生成对抗网络合成人脸视频序列的动态转换***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810045782.9A CN108268845A (zh) 2018-01-17 2018-01-17 一种利用生成对抗网络合成人脸视频序列的动态转换***

Publications (1)

Publication Number Publication Date
CN108268845A true CN108268845A (zh) 2018-07-10

Family

ID=62775913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810045782.9A Withdrawn CN108268845A (zh) 2018-01-17 2018-01-17 一种利用生成对抗网络合成人脸视频序列的动态转换***

Country Status (1)

Country Link
CN (1) CN108268845A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410179A (zh) * 2018-09-28 2019-03-01 合肥工业大学 一种基于生成对抗网络的图像异常检测方法
CN109658369A (zh) * 2018-11-22 2019-04-19 中国科学院计算技术研究所 视频智能生成方法及装置
CN110210386A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 用于动作迁移的视频生成方法及神经网络训练方法和装置
CN110647864A (zh) * 2019-09-30 2020-01-03 上海依图网络科技有限公司 基于生成对抗网络的单人多图特征识别方法、设备及介质
CN110647659A (zh) * 2019-09-27 2020-01-03 上海依图网络科技有限公司 摄像***以及视频处理方法
CN110826593A (zh) * 2019-09-29 2020-02-21 腾讯科技（深圳）有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
CN111242837A (zh) * 2020-01-03 2020-06-05 杭州电子科技大学 基于生成对抗网络的人脸匿名隐私保护方法
CN111243066A (zh) * 2020-01-09 2020-06-05 浙江大学 一种基于自监督学习与生成对抗机制的人脸表情迁移方法
CN111401101A (zh) * 2018-12-29 2020-07-10 上海智臻智能网络科技股份有限公司 基于人像的视频生成***
CN113034698A (zh) * 2019-12-24 2021-06-25 辉达公司 使用一个或更多个神经网络生成全景图
US11443559B2 (en) 2019-08-29 2022-09-13 PXL Vision AG Facial liveness detection with a mobile device
WO2022205416A1 (zh) * 2021-04-02 2022-10-06 深圳先进技术研究院 一种基于生成式对抗网络的人脸表情生成方法
CN117726729A (zh) * 2024-01-30 2024-03-19 北京烽火万家科技有限公司 基于虚拟数字人技术的名片制作方法、***、介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451619A (zh) * 2017-08-11 2017-12-08 深圳市唯特视科技有限公司 一种基于感知生成对抗网络的小目标检测方法
CN107577985A (zh) * 2017-07-18 2018-01-12 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577985A (zh) * 2017-07-18 2018-01-12 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
CN107451619A (zh) * 2017-08-11 2017-12-08 深圳市唯特视科技有限公司 一种基于感知生成对抗网络的小目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WISSAM J. BADDAR, GEONMO GU ET. AL.: ""Dynamics Transfer GAN: Generating Video by Transferring Arbitrary Temporal Dynamics from a Source Video to a Single Target Image"", 《ARXIV》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410179A (zh) * 2018-09-28 2019-03-01 合肥工业大学 一种基于生成对抗网络的图像异常检测方法
CN109410179B (zh) * 2018-09-28 2021-07-23 合肥工业大学 一种基于生成对抗网络的图像异常检测方法
CN109658369A (zh) * 2018-11-22 2019-04-19 中国科学院计算技术研究所 视频智能生成方法及装置
CN111401101A (zh) * 2018-12-29 2020-07-10 上海智臻智能网络科技股份有限公司 基于人像的视频生成***
CN110210386A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 用于动作迁移的视频生成方法及神经网络训练方法和装置
US11443559B2 (en) 2019-08-29 2022-09-13 PXL Vision AG Facial liveness detection with a mobile device
US11669607B2 (en) 2019-08-29 2023-06-06 PXL Vision AG ID verification with a mobile device
CN110647659B (zh) * 2019-09-27 2023-09-15 上海依图网络科技有限公司 摄像***以及视频处理方法
CN110647659A (zh) * 2019-09-27 2020-01-03 上海依图网络科技有限公司 摄像***以及视频处理方法
CN110826593A (zh) * 2019-09-29 2020-02-21 腾讯科技（深圳）有限公司 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
US11526712B2 (en) 2019-09-29 2022-12-13 Tencent Technology (Shenzhen) Company Limited Training method and apparatus for image fusion processing model, device, and storage medium
CN110647864A (zh) * 2019-09-30 2020-01-03 上海依图网络科技有限公司 基于生成对抗网络的单人多图特征识别方法、设备及介质
CN113034698A (zh) * 2019-12-24 2021-06-25 辉达公司 使用一个或更多个神经网络生成全景图
CN111242837B (zh) * 2020-01-03 2023-05-12 杭州电子科技大学 基于生成对抗网络的人脸匿名隐私保护方法
CN111242837A (zh) * 2020-01-03 2020-06-05 杭州电子科技大学 基于生成对抗网络的人脸匿名隐私保护方法
CN111243066B (zh) * 2020-01-09 2022-03-22 浙江大学 一种基于自监督学习与生成对抗机制的人脸表情迁移方法
CN111243066A (zh) * 2020-01-09 2020-06-05 浙江大学 一种基于自监督学习与生成对抗机制的人脸表情迁移方法
WO2022205416A1 (zh) * 2021-04-02 2022-10-06 深圳先进技术研究院 一种基于生成式对抗网络的人脸表情生成方法
CN117726729A (zh) * 2024-01-30 2024-03-19 北京烽火万家科技有限公司 基于虚拟数字人技术的名片制作方法、***、介质及设备

Similar Documents

Publication Publication Date Title
CN108268845A (zh) 一种利用生成对抗网络合成人脸视频序列的动态转换***
Dolhansky et al. The deepfake detection challenge (dfdc) dataset
Chen et al. Vgan-based image representation learning for privacy-preserving facial expression recognition
Duarte et al. WAV2PIX: Speech-conditioned Face Generation using Generative Adversarial Networks.
Zhang Deepfake generation and detection, a survey
CN109815928A (zh) 一种基于对抗学习的人脸图像合成方法和装置
Burton et al. Mental representations of familiar faces
DE112013001461T5 (de) Modifizieren des Aussehens eines Teilnehmers während einer Videokonferenz
JP2021516831A (ja) 生体検知方法、装置及び記憶媒体
CN114937115A (zh) 图像处理方法、人脸更换模型处理方法、装置和电子设备
CN113870133A (zh) 多媒体显示及匹配方法、装置、设备及介质
Hajarolasvadi et al. Generative adversarial networks in human emotion synthesis: A review
WO2023154135A1 (en) Systems and methods for facial attribute manipulation
Weerawardana et al. Deepfakes detection methods: A literature survey
Si et al. Speech2video: Cross-modal distillation for speech to video generation
CN115100707A (zh) 模型的训练方法、视频信息生成方法、设备以及存储介质
Arora et al. A review of techniques to detect the GAN-generated fake images
Rehaan et al. Face manipulated deepfake generation and recognition approaches: A survey
Jiang et al. DeepFakes detection: the DeeperForensics dataset and challenge
Chen et al. Hierarchical cross-modal talking face generationwith dynamic pixel-wise loss
CN116449958A (zh) 一种基于元宇宙的虚拟办公***
WO2023124697A1 (zh) 图像增强方法和装置、存储介质和电子设备
Saif et al. Deepfake videos: synthesis and detection techniques–a survey
CN112188116B (zh) 基于对象的视频合成方法、客户端及***
RU2720361C1 (ru) Обучение по нескольким кадрам реалистичных нейронных моделей голов говорящих персон

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180710