CN117528135A - 语音驱动的脸部视频生成方法、装置、电子设备及介质 - Google Patents

语音驱动的脸部视频生成方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN117528135A
CN117528135A CN202311465659.XA CN202311465659A CN117528135A CN 117528135 A CN117528135 A CN 117528135A CN 202311465659 A CN202311465659 A CN 202311465659A CN 117528135 A CN117528135 A CN 117528135A
Authority
CN
China
Prior art keywords
mouth
face
video
video frame
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311465659.XA
Other languages
English (en)
Inventor
苏绪平
杜伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhizhen Zhilian Artificial Intelligence Technology Shanghai Co ltd
Shanghai Xiaoi Robot Technology Co Ltd
Original Assignee
Zhizhen Zhilian Artificial Intelligence Technology Shanghai Co ltd
Shanghai Xiaoi Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhizhen Zhilian Artificial Intelligence Technology Shanghai Co ltd, Shanghai Xiaoi Robot Technology Co Ltd filed Critical Zhizhen Zhilian Artificial Intelligence Technology Shanghai Co ltd
Priority to CN202311465659.XA priority Critical patent/CN117528135A/zh
Publication of CN117528135A publication Critical patent/CN117528135A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G10L21/055—Time compression or expansion for synchronising with other signals, e.g. video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种语音驱动的脸部视频生成方法、装置、电子设备及介质。该方法包括：获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA参数序列；将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列；使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频。本发明实施例的技术方案将音频特征与人脸图像特征进行解耦，采用嘴部特征作为中间变量，实现语音驱动的脸部视频生成，可以在有效提升语音驱动的脸部视频生成速度的同时，最大程度的保证视频中的音唇同步性以及脸部形象的自然度。

Description

语音驱动的脸部视频生成方法、装置、电子设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种语音驱动的脸部视频生成方法、装置、电子设备及介质。
背景技术
语音驱动的脸部视频生成技术，旨在通过一段文字或者语音，驱动一张脸部照片或一段脸部视频，以生成新的视频。新的视频中脸部的嘴型需要和输入文字或语音高度的匹配，同时整体的视频应自然流畅。音唇同步的脸部视频生成技术在视频直播、教育教学等多个行业都具有广泛的应用。
目前，脸部视频的生成领域仍存在着音唇同步性不足、脸部细节不足以及真实性差等主要问题。因此，如何控制语音生成真实的脸部形象以及精准动作的唇形，是目前遇到的重要技术挑战。
发明内容
本发明提供了一种语音驱动的脸部视频生成方法、装置、电子设备及介质，以实时、精准的生成语音驱动的脸部视频。
根据本发明实施例的一方面，提供了一种语音驱动的脸部视频生成方法，包括：
获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA(Principal Components Analysis，主成分分析)参数序列；
将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列；
使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频。
根据本发明实施例的另一方面，提供了一种语音驱动的脸部视频生成装置，包括：
嘴部PCA参数序列生成模块，用于获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA参数序列；
嘴部轮廓信息序列转换模块，用于将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列；
嘴型驱动视频转换模块，用于使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频。
根据本发明实施例的另一方面，还提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的语音驱动的脸部视频生成方法。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的语音驱动的脸部视频生成方法。
本发明实施例的技术方案，通过获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA参数序列；将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列；使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频的技术手段，将音频特征与人脸图像特征进行解耦，采用嘴部特征作为中间变量，实现语音驱动的脸部视频生成。本发明实施例的技术方案可以在有效提升语音驱动的脸部视频生成速度的同时，最大程度的保证视频中的音唇同步性以及脸部形象的自然度，有效满足应用脸部视频生成技术的各类应用场景。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种语音驱动的脸部视频生成方法的流程图；
图2是根据本发明实施例二提供的另一种语音驱动的脸部视频生成方法的流程图；
图3是本发明实施例的技术方案所适用的一种构建第一训练样本集的实现流程图；
图4是本发明实施例的技术方案所适用的一种嘴部PCA参数代替嘴部轮廓信息的误差分析图；
图5是根据本发明实施例三提供的另一种语音驱动的脸部视频生成方法的流程图；
图6是本发明实施例的技术方案所适用的一种嘴到脸转换模型的架构图；
图7是根据本发明实施例四提供的一种语音驱动的脸部视频生成装置的结构示意图；
图8是实现本发明实施例的语音驱动的脸部视频生成方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种语音驱动的脸部视频生成方法的流程图，本实施例可适用于使用一段语音对目标形象的脸部视频进行驱动，以使得目标形象的唇部跟随这段语音同步动作的情况，该方法可以由语音驱动的脸部视频生成装置来执行，该装置可以采用硬件和/或软件的形式实现，并一般可配置于具有数据处理功能的电子设备中，例如，终端或者服务器。
相应的，如图1所示，该方法可以包括：
S110、获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA参数序列。
其中，嘴型驱动语音为用于对待驱动的脸部视频进行嘴型驱动的语音。该嘴型驱动语音可以为用户实际录制的一段语音内容，也可以为通过文本转语音技术，对设定文本内容进行语音转换得到的。
该脸部视频为包含有目标形象脸部的视频文件。目标形象可以为真实的人物形象，也可以为虚拟人物形象或者虚拟动物形象等。一般来说，该脸部视频中包含多个视频帧，每个视频帧中的脸部区域朝向屏幕外侧，符合常规的对话场景。
可以理解的是，嘴型驱动语音一般由多个语音片段组成，每个语音片段中可以包含有一个或者多个音素或者一个或者多个音节的发音。嘴部PCA参数序列中一般包含多个顺序排列的嘴部PCA参数。每个嘴部PCA参数可以理解为目标形象在发出设定语音片段中的发音时，该目标形象的嘴部关键点的PCA参数。
在本实施例中，可以使用一个预先训练的音频到唇部特征转换模型，将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA参数序列。为了降低上述音频到唇部特征转换模型的学习复杂度和模型规模，发明人选择直接通过音频到唇部特征转换模型生成与嘴型驱动语音中的每个语音片段对应的嘴部关键点，而是创造性的将各嘴部关键点进行了降维处理，仅通过音频到唇部特征转换模型输出嘴部PCA参数序列。
S120、将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列。
在本实施例中，在获取目标形象的嘴部PCA参数序列之后，可以通过PCA逆运算，将上述嘴部PCA参数序列转换为嘴部轮廓信息序列。
其中，嘴部轮廓信息序列中包括多个顺序排列的嘴部轮廓信息，每项嘴部轮廓信息可以理解为目标形象在发出设定语音片段中的发音时，该目标形象的各嘴部关键点在目标形象的脸部的位置信息。
可以理解的是，PCA过程是对原始多维数据的降维处理，该降维处理过程为一个矩阵运算过程，需要求取一个进行降维运算的特征矩阵P，进而，同样还可以通过特征矩阵P的逆矩阵，对嘴部PCA参数序列中的每个嘴部PCA参数进行PCA逆运算，得到该嘴部轮廓信息序列。
S130、使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频。
在本实施例中，针对嘴部轮廓信息序列中的各嘴部轮廓信息，均可以对应设定语音片段下的嘴部动作。进而，可以使用依次使用每个嘴部轮廓信息，对脸部视频中的每个脸部视频帧的嘴部区域进行转换，得到与每个脸部视频帧分别对应的嘴型驱动视频帧，并通过将上述各嘴型驱动视频帧进行组合，得到嘴型驱动视频。
其中，可以通过预先训练的嘴到脸转换模型，生成与每个脸部视频帧分别对应的嘴型驱动视频帧。典型的，该嘴到脸转换模型的输入为一个嘴部轮廓信息以及一张对下半张脸进行遮罩的脸部视频帧，输出为结合两者重新生成的新的脸部图像，也即，嘴型驱动视频帧。
本发明实施例的技术方案，通过获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA参数序列；将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列；使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频的技术手段，将音频特征与人脸图像特征进行解耦，采用嘴部特征作为中间变量，实现语音驱动的脸部视频生成，本发明实施例的技术方案可以在有效提升语音驱动的脸部视频生成速度的同时，最大程度的保证视频中的音唇同步性以及脸部形象的自然度，有效满足脸部视频生成技术的各类应用场景。
实施例二
图2为本发明实施例二提供的另一种语音驱动的脸部视频生成方法的流程图，本实施例以上述各实施例为基础进行优化，在本实施例中，将嘴型驱动语音转换为脸部视频中的目标形象的嘴部PCA参数序列的操作，具体化为：将嘴型驱动语音进行分段处理，得到多个连续的语音片段，并生成与每个语音片段分别对应的音频特征向量；将各音频特征向量依次输入至预先训练的音频到唇部特征转换模型中，获取参考形象的嘴部PCA参数序列；将参考形象的嘴部PCA参数序列，转换为目标形象的嘴部PCA参数序列。
相应的，如图2所示，所述方法具体可以包括：
S210、获取嘴型驱动语音以及待驱动的脸部视频。
S220、将嘴型驱动语音进行分段处理，得到多个连续的语音片段，并生成与每个语音片段分别对应的音频特征向量。
在本实施例中，可以根据预设的时间间隔(例如，1s或者2s，)，将嘴型驱动语音进行分段处理，得到多个与该时间间隔相匹配的语音片段。
在获取多个连续的语音片段后，可以通过各类音频特征提取技术，生成与每个语音片段分别对应的音频特征向量。
具体的，该音频特征向量可以是由多个维度的音频特征拼接得到，例如，能量特征(均方根能量)、时序特征(过零率、自相关系数)以及频域特征(频谱通量、梅尔频率倒谱系数)等。
S230、将各音频特征向量依次输入至预先训练的音频到唇部特征转换模型中，获取参考形象的嘴部PCA参数序列。
在本实施例中，预先训练一个音频到唇部特征转换模型，该音频到唇部特征转换模型的输入为与设定语音片段匹配音频特征向量，输出为特定的参考形象发出该语音片段的发音时，与其嘴部动作匹配的嘴部PCA参数。
S240、将参考形象的嘴部PCA参数序列，转换为目标形象的嘴部PCA参数序列。
可以理解的是，在音频到唇部特征转换模型时，必然是针对某一个特定形象(也即，参考形象)的嘴部动作特征进行训练的，因此，该音频到唇部特征转换模型输出的，必然仍是针对该参考形象的嘴部PCA参数序列。一般来说，其与待驱动的脸部视频中的目标形象是不相适配的。
因此，为了保证后续生成的新的脸部视频的自然度和准确度，需要首先将参考形象的嘴部PCA参数序列，转换为目标形象的嘴部PCA参数序列。
在本实施例的一个可选的实施方式中，将参考形象的嘴部PCA参数序列，转换为目标形象的嘴部PCA参数序列的方式可以为：
获取参考形象在口述多个语音片段时的多个第一嘴部轮廓信息，并根据各所述第一嘴部轮廓信息，获取与所述参考形象匹配的第一PCA参数范围；获取目标形象在口述多个语音片段时的多个第二嘴部轮廓信息，并根据各所述第二嘴部轮廓信息，获取与所述目标形象匹配的第二PCA参数范围；根据所述第一PCA参数范围和所述第二PCA参数范围，确定映射比例；按照所述映射比例，将参考形象的嘴部PCA参数序列，转换为目标形象的嘴部PCA参数序列。
可选的，可以在计算出与每个第一嘴部轮廓信息分别对应的第一PCA参数之后，通过在各第一PCA参数中获取最大参数值和最小参数值，构建得到第一PCA参数范围。相类似的，还可以在计算出与每个第二嘴部轮廓信息分别对应的第二PCA参数之后，通过在各第二PCA参数中获取最大参数值和最小参数值，构建得到第二PCA参数范围。
在一个具体的例子中，假设获取第一PCA参数范围为[-a,+b]，获取第二PCA参数范围为[-c,+d]，则可以确定映射比例为：(c+d)/(a+b)。
相应的，在得到该映射比例后，可以将参考形象的每项嘴部PCA参数的参数值分别乘以该映射比例，得到转换为目标形象的嘴部PCA参数序列。
S250、将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列。
S260、使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频。
本发明实施例的技术方案使用一个预先训练的音频到唇部特征转换模型，将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA参数序列，通过轻量级部署音频到唇部特征转换模型的方式，最终能够快速的获取目标形象的嘴部轮廓信息序列，进而可以采用嘴部特征作为中间变量，高效、准确的实现语音驱动的脸部视频生成，使得驱动得到的脸部视频更加接近真实情况，满足各类实际场景的应用需求。
在上述各实施例的基础上，对音频到唇部特征转换模型的训练过程进行描述。
相应的，在将各音频特征向量依次输入至预先训练的音频到唇部特征转换模型中之前，还可以包括：
S2301、获取第一训练样本集，其中，第一训练样本中包括标准语音片段，以及参考形象在口述所述标准语音片段时的标准嘴部轮廓信息。
在本可选实施方式中，可以首先针对参考形象，通过使用现有的语音驱动唇部动作预训练模型，构建得到第一训练样本集。
具体的，如图3所示，在获取参考形象的图像后，可以将该参考形象的原始图像以及各标准语音片段分别输入至该语音驱动唇部动作预训练模型中，得到该参考形象由标准语音片段驱动后的多张驱动图像。在上述各驱动图像中，参考形象的嘴部轮廓与设定标准语音片段相适应。之后，可以将上述多张驱动图像分别输入至实时姿态检测模型中，得到每张驱动图像中的标准嘴部轮廓信息。
相应的，可以使用各标准语音片段，以及与各标准语音片段分别对应的标准嘴部轮廓信息，构建得到该第一训练样本集。
S2302、采用PCA分析法，对第一训练样本集中的各标准嘴部轮廓信息进行降维处理，得到与每个标准嘴部轮廓信息分别匹配的标准PCA参数。
在本可选实施方式中，考虑到将标准嘴部轮廓信息进行降维处理得到标准PCA参数后，可以大大降低模型的学习复杂度。进而，考虑训练得到一个用于输出嘴部PCA参数的音频到唇部特征转换模型。具体的，如图4所示，发明人通过多次实验发现，在使用5维主成分的PCA参数代替标准嘴部轮廓信息时，可以达到接近97％的准确度，进而，在对第一训练样本集中的各标准嘴部轮廓信息进行降维处理时，可以指定标准PCA参数中包括5维主成分。
S2303、使用各标准语音片段，以及参考形象在口述各标准语音片段时的标准PCA参数，形成第二训练样本集，并使用所述第二训练样本集训练得到音频到唇部特征转换模型。
其中，所述音频到唇部特征转换模型中具体包括：长短期记忆(LSTM，Long Short-Term Memory)网络，以及与所述长短期记忆网络相连的多层感知机(MLP,MultilayerPerceptron)。
其中，使用一个第二训练样本(标准语音片段1以及标准PCA参数1)对音频到唇部特征转换模型进行训练的过程可以简单描述如下：首先，可以使用语音识别预训练模型对标准语音片段1进行音频特征提取，得到设定维度的音频特征1，之后，通过将该音频特征1输入至音频到唇部特征转换模型中，由音频到唇部特征转换模型中相连的LSTM网络和MLP依次对该音频特征1进行处理，得到与该音频特征1匹配的预测PCA参数1。之后，通过预设的损失函数，例如(L1 loss损失函数)，计算该预测PCA参数1与标准PCA参数1之间的损失值，可以对该音频到唇部特征转换模型进行一次模型参数的调整。
在本可选实施方式中，在训练得到音频到唇部特征转换模型时，将模型的输出由嘴部轮廓信息替换为PCA参数，进而，可以大大降低音频到唇部特征转换模型的学习复杂度，以及音频到唇部特征转换模型的量级，使得该音频到唇部特征转换模型更加容易部署。
实施例三
图5为本发明实施例三提供的又一种语音驱动的脸部视频生成方法的流程图，本实施例以上述各实施例为基础进行优化，在本实施例中，将使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频，具体化为：获取当前处理的目标嘴部轮廓信息，以及脸部视频中的目标脸部视频帧；将所述目标脸部视频帧中脸部的下半部分进行遮挡处理，得到目标遮挡视频帧；将所述目标遮挡视频帧和所述目标嘴部轮廓信息输入至所述嘴到脸转换模型中，得到与所述目标嘴部轮廓信息对应的目标嘴型驱动视频帧。
相应的，如图5所示，所述方法具体可以包括：
S510、获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA参数序列。
S520、将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列。
S530、获取当前处理的目标嘴部轮廓信息，以及脸部视频中的目标脸部视频帧。
在本实施例中，以针对嘴部轮廓信息序列中某一个具体的嘴部轮廓信息，也即，目标嘴部轮廓信息为例，详细描述使用与该目标嘴部轮廓信息匹配的目标脸部视频帧，生成与所述目标嘴部轮廓信息对应的目标嘴型驱动视频帧的过程。
可以理解的是，嘴型驱动语音中连续的语音片段，对应多个顺序排列的嘴部PCA参数序列，进而也对应多个顺序排列的嘴部轮廓信息，使用上述各项嘴部轮廓信息分别对脸部视频中连续的视频帧进行驱动，可以得到嘴型驱动视频。进而，可以根据上述各项内容的顺序关系，获取当前处理的目标嘴部轮廓信息，以及脸部视频中的目标脸部视频帧。
S540、将所述目标脸部视频帧中脸部的下半部分进行遮挡处理，得到目标遮挡视频帧。
可以理解的是，因为需要使用目标嘴部轮廓信息对目标脸部视频帧中目标形象的嘴部动作进行驱动，因此，首先需要将目标脸部视频帧中脸部的下半部分进行遮挡处理，以为后续的驱动(或者说重建)操作进行数据准备。具体的，可以采用现有的各类视频处理工具，实现对脸部下半部分的遮挡处理。
S550、将所述目标遮挡视频帧和所述目标嘴部轮廓信息输入至所述嘴到脸转换模型中，得到与所述目标嘴部轮廓信息对应的目标嘴型驱动视频帧。
在本实施例的一个可选的实施方式中，嘴到脸转换模型中包括生成器、判别器以及预训练的视觉几何组网络，所述视觉几何组网络与所述生成器的输出端相连的，其中：
所述生成器的输入为当前标准遮挡视频帧与所述生成器针对前一标准遮挡视频帧输出的模拟生成图像的组合，且所述生成器为采用基于残差连接的Unet网络；
所述判别器的输入为当前标准遮挡视频帧与所述生成器针对当前标准遮挡视频帧输出的模拟生成图像的组合，以及当前标准遮挡视频帧与当前标准视频帧的组合；在训练所述生成器时，损失函数包括根据视觉几何组网络输出的模拟全脸感知特征与标准视频帧的标准全脸感知特征计算得到的全局损失值，根据模拟生成图像中的模拟嘴部特征和标准视频帧的标准嘴部特征计算得到的局部损失值，以及根据所述判别器输出的模拟生成图像特征与标准视频帧的图像特征计算得到的判别器损失值；以及所述嘴到脸转换模型的所述判别器为多尺度判别器。
在本实施例中，可以使用市面上的像素到像素(Pix2pix)模型作为基础模型，在此基础上进行优化改进，得到该嘴到脸转换模型。
其中，像素到像素模型是生成对抗网络(GAN，Generative adversarial network)的一种，由生成器G和(Generator)和判别器D(Discriminator)组成。
在本可选实施方式中，将该像素到像素模型中的生成器G改进为采用基于残差连接的Unet网络架构，也即，Skip Connect Unet，相较于传统的unet网络，可以融入提取多尺度特征，且提取的特征更加丰富。其中，生成器G负责根据目标遮挡视频帧和所述目标嘴部轮廓信息，生成新的人脸视频帧，并将该新的人脸视频帧输入至判别器D中。判别器D由卷积神经网络构成，负责进行特征提取和下采样。
考虑到视频的生成具有时序性，如果当前帧图像的生成不包含前序帧的信息，则有可能会造成生成的视频帧间抖动。为了解决这个问题，在进行嘴到脸转换模型网络设计时，生成器G的输入G_input除了包含当前标准遮挡视频帧Xt之外，还包含了生成器针对前一标准遮挡视频帧输出的模拟生成图像G(Xt-1)，即：G_input＝concate(Xt,G(Xt-1))。
相应的，判别器D的2个输入：D_real_input和D_fake_input，也进一步融入了前序的信息。
其中，在D_real_input中除了原有的当前标准遮挡视频帧Xt，以及未遮挡的当前标准视频帧Yt之外，进一步加入了前一标准遮挡视频帧Xt-1和未遮挡的前一标准视频帧Yt-1。也即，D_real_input＝concate(Xt,Xt-1,Yt,Yt-1)。
同时，在D_fake_input中，除了原有的当前标准遮挡视频帧Xt以及生成器G针对当前标准遮挡视频帧输出的模拟生成图像G(Xt)之外，进一步加入了前一标准遮挡视频帧Xt-1以及生成器G针对前一标准遮挡视频帧输出的模拟生成图像G(Xt-1)。
也即，D_fake_input＝concate(Xt,Xt-1,G(Xt-1),G(Xt))。
在上述各实施例的基础上，判别器D进一步采用多尺度判别器(MulScaleDiscriminator)，该多尺度判别器可以输出3种大小(尺度)的特征图，在训练得到该多尺度判别器时，可以将上述三种尺度的特征图分别和未遮挡的当前标准视频帧以及生成器G针对当前标准遮挡视频帧输出的模拟生成图像G(Xt)求损失，然后反向更新该多尺度判别器。
其中，可以通过下述公式L(D)，针对每种尺度的特征图求取损失函数，其中，L(D)＝λ1*MSE_Loss_D_fake+λ2*MSE_Loss_D_real。
其中，MSE_Loss_D_fake为根据A尺度的特征图与G(Xt)求得的损失函数，MSE_Loss_D_real为根据A尺度的特征图与未遮挡的当前标准视频帧求得的损失函数，λ1和λ2为预设的比例系数。
其中，多尺度的设计使得判别器D的判别能力更为全面，可以更全面监督生成器G生成的真实人脸。
在上述各实施例的基础上，针对生成器G，进一步增加了感知损失。进而，在该像素到像素模型的原有架构的基础上，进一步加入了预训练好的VGG(视觉几何组)网络，所述VGG网络与所述生成器G的输出端相连。
具体的，通过将生成器针对前一标准遮挡视频帧输出的模拟生成图像(生成人脸)和未遮挡的当前标准视频帧(真实人脸)作为预训练好的VGG网络的输入，生成的特征图之间求L1 loss和MSE(mean square error，均方误差)loss。对于重点关注的嘴部区域，新增针对嘴部的嘴部L1 loss，用于增加嘴部区域生成的效果。多种损失之间通过权重λ进行调整。
也即，在训练所述生成器时，损失函数包括根据视觉几何组网络输出的模拟全脸感知特征与标准视频帧的标准全脸感知特征计算得到的全局损失值，根据模拟生成图像中的模拟嘴部特征和标准视频帧的标准嘴部特征计算得到的局部损失值，以及根据所述判别器输出的模拟生成图像特征与标准视频帧的图像特征计算得到的判别器损失值。
进一步的，在本发明各实施例中，还对生成器G的Unet网络结构进行优化，测试在不同下采样倍率(4，6，8)，不同模型通道(128，256，512)下模型的效果，最终在不影响模型精度的情况下选择，下采样倍率为6，模型通道数为128的轻量级网络。
其中，在图6中示出了本发明实施例的技术方案所适用的一种嘴到脸转换模型的架构图。如图6所示，嘴到脸转换模型具体包括生成器(G：SkipConnectUnet)、判别器(D：MulScaleDiscriminator)以及预训练的视觉几何组网络(Pretrained_VGG)，所述视觉几何组网络与所述生成器的输出端相连的。其中，生成器在当前时间点t下的输入包括当前标准遮挡视频帧Xt以及生成器针对前一标准遮挡视频帧输出的模拟生成图像G(Xt-1)，G：input＝Xt+G(Xt-1)，相应的，生成器的输出为当前时间点t下模拟生成图像G(Xt)。判别器的输入为D_real_input和D_fake_input。其中，D_real_input＝concate(Xt,Xt-1,Yt,Yt-1)，D_fake_input＝concate(Xt,Xt-1,G(Xt-1),G(Xt))。由于该判别器共可以输出三个尺度大小的特征图，因此，共可以得到三个MSE_Loss_D_fake以及三个MSE_Loss_D_real，进而，可以得到三个L(D)，在模型训练过程中，损失函数为上述三个L(D)的加和值。
同前述表述，在模型训练过程中，该生成器的损失函数可以为：
根据视觉几何组网络输出的模拟全脸感知特征与标准视频帧的标准全脸感知特征计算得到的全局损失值(也即，Loss_G_perceptual_4)，根据模拟生成图像中的模拟嘴部特征和标准视频帧的标准嘴部特征计算得到的局部损失值(Loss_G_L1_mask_3)，以及根据所述判别器输出的模拟生成图像特征与标准视频帧的图像特征计算得到的判别器损失值(也即，以及/>)。
本发明实施例的技术方案，通过获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA参数序列；将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列；使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频的技术手段，将音频特征与人脸图像特征进行解耦，采用嘴部特征作为中间变量，实现语音驱动的脸部视频生成，本发明实施例的技术方案可以在有效提升语音驱动的脸部视频生成速度的同时，最大程度的保证视频中的音唇同步性以及脸部形象的自然度，有效满足脸部视频生成技术的各类应用场景。
在上述各实施例的基础上，对嘴到脸转换模型的训练过程进行描述。
相应的，在将所述目标遮挡视频帧和所述目标嘴部轮廓信息输入至所述嘴到脸转换模型中之前，还可以包括：
S5501、获取参考脸部视频，并将所述参考脸部视频转换为训练视频帧集合。
S5502、对各训练视频帧进行脸部关键点识别，并根据识别结果，得到与所述训练视频帧集合匹配的平均脸部关键点。
S5503、按照所述平均脸部关键点，对各所述训练视频帧中的脸部关键点进行旋转和平移操作，得到脸部正向调整后的各标准视频帧。
S5504、将各标准视频帧中脸部的下半部分进行遮挡处理，得到多个标准遮挡视频帧。
S5505、将每个标准视频帧，以及与每个标准视频帧分别对应的标准遮挡视频帧和嘴部关键点进行组合，得到训练数据集。
在本实施例的一个可选的实施方式中，可以根据用户提供的设定时长的视频，根据该视频的帧频率(FPS)，提取设定数量的视频帧作为训练视频帧集合。例如，针对一个3分钟的视频，可以从中提取30FPS的视频帧得到5400帧图像，用此数据集作为模型的训练视频帧集合。
其中，考虑到用户提供的视频可能存在左右摆动、旋转等现象，为了保证训练视频帧集合中的人脸不变形，可以对通过实时姿态检测模型(典型的，mediapipe)中获得的478个人脸关键点进行标准化操作。具体操作如下：
计算所有训练视频帧的人脸关键点的平均值，得到平均人脸。以鼻子相关的关键点作为参照点，利用平均人脸和旋转人脸之间的坐标求得每一帧的旋转矩阵Mat。公式如下。
其中r表示旋转，t表示平移，由r和t组成4*4的旋转矩阵。xyz代表原始的旋转人脸的坐标，V0 V1 V2代表平均人脸的关键点坐标。然后通过求得的旋转矩阵Mat将原始的旋转人脸坐标变换为正向的人脸坐标，作为训练视频帧集合。
之后，可以采用遮罩处理，将训练集中的人脸下半部分区域mask掉。
S5506、使用所述训练数据集，训练得到所述嘴到脸转换模型。
最后，可以使用对应训练视频帧的嘴部关键点信息作为指引信息，训练嘴到脸转换模型根据嘴部关键点信息重建训练视频帧中被mask的人脸。
需要再次强调的是，本发明实施例的技术方案通过将音频特征与人脸图像特征解耦合的方法，采用通过中间变量嘴部关键点的方法的二阶段建模算法。
1、第一阶段使用音频到唇部特征转换模型：本发明实施例通过预先收集某一固定人物的大量的音频和嘴部关键点，然后基于LSTM的轻量级网络训练得到通用音频特征提取模型，仅1.3M，相比现有技术的各类音频特征提取器，该音频到唇部特征转换模型更加轻量，更易于部署。
2、第二阶段使用嘴到脸转换模型：本发明基于像素到像素深度学习模型，通过改进网络，融入之前帧的信息，改善了生成视频的帧间抖动问题；通过单独增加嘴部区域的损失，使得生成的人脸的嘴部细节更加丰富；通过增加感知损失，使得模型生成的人脸更加真实，细节更加丰富；通过测试多种下采样，多种模型通道情况下模型的生成效果，选取最优的模型，最终的嘴到脸转换模型中的生成器仅1.8M参数量，判别器仅6.2M参数量。在不损失生成精度的前提下，整体嘴到脸转换模型更加轻量级易于部署。
经过多次线上线下的实验发现，经过多种优化方法后，最终的嘴到脸转换模型的推理效果可达到实时效果，具备实用的商业价值。
实施例四
图7为本发明实施例四提供的一种语音驱动的脸部视频生成装置的结构示意图。如图7所示，该装置包括：嘴部PCA参数序列生成模块710、嘴部轮廓信息序列转换模块720以及嘴型驱动视频转换模块730，其中：
嘴部PCA参数序列生成模块710，用于获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA参数序列；
嘴部轮廓信息序列转换模块720，用于将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列；
嘴型驱动视频转换模块730，用于使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频。
本发明实施例的技术方案，通过获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部PCA参数序列；将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列；使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频的技术手段，将音频特征与人脸图像特征进行解耦，采用嘴部特征作为中间变量，实现语音驱动的脸部视频生成，本发明实施例的技术方案可以在有效提升语音驱动的脸部视频生成速度的同时，最大程度的保证视频中的音唇同步性以及脸部形象的自然度，有效满足脸部视频生成技术的各类应用场景。
在上述各实施例的基础上，嘴部PCA参数序列生成模块710，可以具体包括：
音频特征向量生成单元，用于将嘴型驱动语音进行分段处理，得到多个连续的语音片段，并生成与每个语音片段分别对应的音频特征向量；
嘴部PCA参数序列获取单元，用于将各音频特征向量依次输入至预先训练的音频到唇部特征转换模型中，获取参考形象的嘴部PCA参数序列；
嘴部PCA参数序列转换单元，用于将参考形象的嘴部PCA参数序列，转换为目标形象的嘴部PCA参数序列。
在上述各实施例的基础上，还可以包括，音频到唇部特征转换模型训练模块，用于：
在将各音频特征向量依次输入至预先训练的音频到唇部特征转换模型中之前，获取第一训练样本集，其中，第一训练样本中包括标准语音片段，以及参考形象在口述所述标准语音片段时的标准嘴部轮廓信息；
采用PCA分析法，对第一训练样本集中的各标准嘴部轮廓信息进行降维处理，得到与每个标准嘴部轮廓信息分别匹配的标准PCA参数；
使用各标准语音片段，以及参考形象在口述各标准语音片段时的标准PCA参数，形成第二训练样本集，并使用所述第二训练样本集训练得到音频到唇部特征转换模型；
其中，所述音频到唇部特征转换模型中具体包括：长短期记忆网络，以及与所述长短期记忆网络相连的多层感知机。
在上述各实施例的基础上，嘴部PCA参数序列转换单元，可以具体用于：
获取参考形象在口述多个语音片段时的多个第一嘴部轮廓信息，并根据各所述第一嘴部轮廓信息，获取与所述参考形象匹配的第一PCA参数范围；
获取目标形象在口述多个语音片段时的多个第二嘴部轮廓信息，并根据各所述第二嘴部轮廓信息，获取与所述目标形象匹配的第二PCA参数范围；
根据所述第一PCA参数范围和所述第二PCA参数范围，确定映射比例；
按照所述映射比例，将参考形象的嘴部PCA参数序列，转换为目标形象的嘴部PCA参数序列。
在上述各实施例的基础上，嘴型驱动视频转换模块730，可以具体用于：
获取当前处理的目标嘴部轮廓信息，以及脸部视频中的目标脸部视频帧；
将所述目标脸部视频帧中脸部的下半部分进行遮挡处理，得到目标遮挡视频帧；
将所述目标遮挡视频帧和所述目标嘴部轮廓信息输入至所述嘴到脸转换模型中，得到与所述目标嘴部轮廓信息对应的目标嘴型驱动视频帧。
在上述各实施例的基础上，还可以包括，嘴到脸转换模型训练模块，用于：
在将所述目标遮挡视频帧和所述目标嘴部轮廓信息输入至所述嘴到脸转换模型中之前，获取参考脸部视频，并将所述参考脸部视频转换为训练视频帧集合；
对各训练视频帧进行脸部关键点识别，并根据识别结果，得到与所述训练视频帧集合匹配的平均脸部关键点；
按照所述平均脸部关键点，对各所述训练视频帧中的脸部关键点进行旋转和平移操作，得到脸部正向调整后的各标准视频帧；
将各标准视频帧中脸部的下半部分进行遮挡处理，得到多个标准遮挡视频帧；
将每个标准视频帧，以及与每个标准视频帧分别对应的标准遮挡视频帧和嘴部关键点进行组合，得到训练数据集；
使用所述训练数据集，训练得到所述嘴到脸转换模型。
在上述各实施例的基础上，嘴到脸转换模型中可以包括生成器、判别器以及预训练的视觉几何组网络，所述视觉几何组网络与所述生成器的输出端相连的，其中：
所述生成器的输入为当前标准遮挡视频帧与所述生成器针对前一标准遮挡视频帧输出的模拟生成图像的组合，且所述生成器为采用基于残差连接的Unet网络；
所述判别器的输入为当前标准遮挡视频帧与所述生成器针对当前标准遮挡视频帧输出的模拟生成图像的组合，以及当前标准遮挡视频帧与当前标准视频帧的组合；在训练所述生成器时，损失函数包括根据视觉几何组网络输出的模拟全脸感知特征与标准视频帧的标准全脸感知特征计算得到的全局损失值，根据模拟生成图像中的模拟嘴部特征和标准视频帧的标准嘴部特征计算得到的局部损失值，以及根据所述判别器输出的模拟生成图像特征与标准视频帧的图像特征计算得到的判别器损失值；以及
所述嘴到脸转换模型的所述判别器为多尺度判别器。
本发明实施例所提供的语音驱动的脸部视频生成装置可执行本发明任意实施例所提供的语音驱动的脸部视频生成方法，具备执行方法相应的功能模块和有益效果。
实施例五
图8示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如执行如本发明任意实施例所述的语音驱动的脸部视频生成方法。
也即：获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部主成分分析PCA参数序列；将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列；使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频。
在一些实施例中，如本发明任意实施例所述的语音驱动的脸部视频生成方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的如本发明任意实施例所述的语音驱动的脸部视频生成方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行如本发明任意实施例所述的语音驱动的脸部视频生成方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种语音驱动的脸部视频生成方法，其特征在于，包括：
获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部主成分分析PCA参数序列；
将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列；
使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频。
2.根据权利要求1所述的方法，其特征在于，将嘴型驱动语音转换为脸部视频中的目标形象的嘴部PCA参数序列，包括：
将嘴型驱动语音进行分段处理，得到多个连续的语音片段，并生成与每个语音片段分别对应的音频特征向量；
将各音频特征向量依次输入至预先训练的音频到唇部特征转换模型中，获取参考形象的嘴部PCA参数序列；
将参考形象的嘴部PCA参数序列，转换为目标形象的嘴部PCA参数序列。
3.根据权利要求2所述的方法，其特征在于，在将各音频特征向量依次输入至预先训练的音频到唇部特征转换模型中之前，还包括：
获取第一训练样本集，其中，第一训练样本中包括标准语音片段，以及参考形象在口述所述标准语音片段时的标准嘴部轮廓信息；
采用PCA分析法，对第一训练样本集中的各标准嘴部轮廓信息进行降维处理，得到与每个标准嘴部轮廓信息分别匹配的标准PCA参数；
使用各标准语音片段，以及参考形象在口述各标准语音片段时的标准PCA参数，形成第二训练样本集，并使用所述第二训练样本集训练得到音频到唇部特征转换模型；
其中，所述音频到唇部特征转换模型中具体包括：长短期记忆网络，以及与所述长短期记忆网络相连的多层感知机。
4.根据权利要求2或3所述的方法，其特征在于，将参考形象的嘴部PCA参数序列，转换为目标形象的嘴部PCA参数序列，包括：
获取参考形象在口述多个语音片段时的多个第一嘴部轮廓信息，并根据各所述第一嘴部轮廓信息，获取与所述参考形象匹配的第一PCA参数范围；
获取目标形象在口述多个语音片段时的多个第二嘴部轮廓信息，并根据各所述第二嘴部轮廓信息，获取与所述目标形象匹配的第二PCA参数范围；
根据所述第一PCA参数范围和所述第二PCA参数范围，确定映射比例；
按照所述映射比例，将参考形象的嘴部PCA参数序列，转换为目标形象的嘴部PCA参数序列。
5.根据权利要求1所述的方法，其特征在于，使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频，包括：
获取当前处理的目标嘴部轮廓信息，以及脸部视频中的目标脸部视频帧；
将所述目标脸部视频帧中脸部的下半部分进行遮挡处理，得到目标遮挡视频帧；
将所述目标遮挡视频帧和所述目标嘴部轮廓信息输入至所述嘴到脸转换模型中，得到与所述目标嘴部轮廓信息对应的目标嘴型驱动视频帧。
6.根据权利要求5所述的方法，其特征在于，在将所述目标遮挡视频帧和所述目标嘴部轮廓信息输入至所述嘴到脸转换模型中之前，还包括：
获取参考脸部视频，并将所述参考脸部视频转换为训练视频帧集合；
对各训练视频帧进行脸部关键点识别，并根据识别结果，得到与所述训练视频帧集合匹配的平均脸部关键点；
按照所述平均脸部关键点，对各所述训练视频帧中的脸部关键点进行旋转和平移操作，得到脸部正向调整后的各标准视频帧；
将各标准视频帧中脸部的下半部分进行遮挡处理，得到多个标准遮挡视频帧；
将每个标准视频帧，以及与每个标准视频帧分别对应的标准遮挡视频帧和嘴部关键点进行组合，得到训练数据集；
使用所述训练数据集，训练得到所述嘴到脸转换模型。
7.根据权利要求5或6所述的方法，其特征在于，嘴到脸转换模型中包括生成器、判别器以及预训练的视觉几何组网络，所述视觉几何组网络与所述生成器的输出端相连的，其中：
所述生成器的输入为当前标准遮挡视频帧与所述生成器针对前一标准遮挡视频帧输出的模拟生成图像的组合，且所述生成器为采用基于残差连接的Unet网络；
所述判别器的输入为当前标准遮挡视频帧与所述生成器针对当前标准遮挡视频帧输出的模拟生成图像的组合，以及当前标准遮挡视频帧与当前标准视频帧的组合；在训练所述生成器时，损失函数包括根据视觉几何组网络输出的模拟全脸感知特征与标准视频帧的标准全脸感知特征计算得到的全局损失值，根据模拟生成图像中的模拟嘴部特征和标准视频帧的标准嘴部特征计算得到的局部损失值，以及根据所述判别器输出的模拟生成图像特征与标准视频帧的图像特征计算得到的判别器损失值；以及
所述嘴到脸转换模型的所述判别器为多尺度判别器。
8.一种语音驱动的脸部视频生成装置，其特征在于，包括：
嘴部PCA参数序列生成模块，用于获取嘴型驱动语音以及待驱动的脸部视频，并将嘴型驱动语音转换为脸部视频中目标形象的嘴部主成分分析PCA参数序列；
嘴部轮廓信息序列转换模块，用于将目标形象的嘴部PCA参数序列，通过PCA逆运算转换为嘴部轮廓信息序列；
嘴型驱动视频转换模块，用于使用嘴部轮廓信息序列中的各嘴部轮廓信息，基于预先训练的嘴到脸转换模型对脸部视频中各脸部视频帧的嘴部区域进行转换，得到嘴型驱动视频。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的语音驱动的脸部视频生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的语音驱动的脸部视频生成方法。
CN202311465659.XA 2023-11-06 2023-11-06 语音驱动的脸部视频生成方法、装置、电子设备及介质 Pending CN117528135A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311465659.XA CN117528135A (zh) 2023-11-06 2023-11-06 语音驱动的脸部视频生成方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311465659.XA CN117528135A (zh) 2023-11-06 2023-11-06 语音驱动的脸部视频生成方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN117528135A true CN117528135A (zh) 2024-02-06

Family

ID=89752358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311465659.XA Pending CN117528135A (zh) 2023-11-06 2023-11-06 语音驱动的脸部视频生成方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN117528135A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974850A (zh) * 2024-04-01 2024-05-03 国家超级计算天津中心 基于音频驱动的图像处理方法、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974850A (zh) * 2024-04-01 2024-05-03 国家超级计算天津中心 基于音频驱动的图像处理方法、设备和存储介质

Similar Documents

Publication Publication Date Title
EP3665676B1 (en) Speaking classification using audio-visual data
EP4009231A1 (en) Video frame information labeling method, device and apparatus, and storage medium
CN110751708B (zh) 一种实时的语音驱动人脸动画的方法和***
CN110688008A (zh) 虚拟形象交互方法和装置
CN114895817B (zh) 交互信息处理方法、网络模型的训练方法及装置
CN112001992A (zh) 基于深度学习的语音驱动3d虚拟人表情音画同步方法及***
CN113838174B (zh) 一种音频驱动人脸动画生成方法、装置、设备与介质
JP7401606B2 (ja) 仮想オブジェクトリップ駆動方法、モデル訓練方法、関連装置及び電子機器
CN114187624B (zh) 图像生成方法、装置、电子设备及存储介质
CN117528135A (zh) 语音驱动的脸部视频生成方法、装置、电子设备及介质
CN112562045B (zh) 生成模型和生成3d动画的方法、装置、设备和存储介质
CN115330911A (zh) 一种利用音频驱动拟态表情的方法与***
CN116934926B (zh) 一种基于多模态数据融合的识别方法和***
CN114429767A (zh) 视频生成方法、装置、电子设备以及存储介质
CN114267375B (zh) 音素检测方法及装置、训练方法及装置、设备和介质
CN115170703A (zh) 虚拟形象驱动方法、装置、电子设备及存储介质
CN115050354A (zh) 数字人驱动方法和装置
CN112634413B (zh) 生成模型和生成3d动画的方法、装置、设备和存储介质
Wang et al. Memory-augmented contrastive learning for talking head generation
CN113223125B (zh) 一种虚拟形象的面部驱动方法、装置、设备和介质
Wang et al. Speech Driven Talking Head Generation via Attentional Landmarks Based Representation.
CN115393488B (zh) 虚拟人物表情的驱动方法、装置、电子设备和存储介质
EP4152269A1 (en) Method and apparatus of generating 3d video, method and apparatus of training model, device, and medium
CN114898018A (zh) 数字对象的动画生成方法、装置、电子设备及存储介质
CN114882151A (zh) 虚拟形象视频的生成方法及装置、设备、介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination