CN113178206B - Ai合成主播生成方法、电子设备及可读存储介质 - Google Patents
Ai合成主播生成方法、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113178206B CN113178206B CN202110436997.5A CN202110436997A CN113178206B CN 113178206 B CN113178206 B CN 113178206B CN 202110436997 A CN202110436997 A CN 202110436997A CN 113178206 B CN113178206 B CN 113178206B
- Authority
- CN
- China
- Prior art keywords
- video
- video frame
- frame
- discriminator
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000002131 composite material Substances 0.000 title claims abstract description 20
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000013473 artificial intelligence Methods 0.000 title abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000007704 transition Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 20
- 230000001360 synchronised effect Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000004397 blinking Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 12
- 238000003786 synthesis reaction Methods 0.000 abstract description 12
- 230000002194 synthesizing effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种AI合成主播生成方法、电子设备及可读存储介质，所述方法包括以下步骤：采集数据，对数据进行预处理得到语音数据和视频帧数据；训练嘴形同步判别器判断语音数据与视频帧数据同步的概率；训练视频生成器生成合成视频帧；本发明生成的AI合成主播与真实视频的差异小，视频中语音与嘴形的同步性好，视频过渡平滑，没有跳跃。
Description
技术领域
本发明属于人工智能技术领域，涉及一种AI合成主播生成方法、电子设备及可读存储介质。
背景技术
“AI(Artificial Intelligence)合成主播”是通过人脸关键点检测、人脸特征提取、人脸重构等多项前沿技术，结合语音、视频帧等多模态信息进行联合建模训练，生成与真人无异的AI分身模型，该技术能够将输入的文本自动生成相应内容的视频，并保证视频中音频、表情和唇动自然一致，展现出与真人主播无异的信息传达效果。
近年来，基于深度学习的方法逐渐成为人工智能合成主播中语音合成、嘴形合成、人脸重构和姿态合成技术的主流方法，搜狗公司采用多模态输入的深度学习框架成功研发出了国内首款人工智能合成主播***，清华大学、科大讯飞、百度、中科院自动化所、中科院声学所、哈尔滨工业大学等研究大学与公司对于语音合成和视频帧重构做出了一系列研究，也推出了很多相关产品；国际上，美国MIT媒体实验室、MIT人工智能实验室、CMU(Carnegie Mellon University)、英国爱丁堡大学、日本ATR、微软、谷歌、IBM等都成立了智能交互研究组，对视频帧视频重构技术进行了一系列研究。
目前，语音合成、嘴形合成和表情合成技术的性能相对达到了较高水平，但是也存在许多研究难点，如无法用少量的说话人素材生成新主播内容，不具有广泛实用性，无法推广到多个说话人，仅能针对特定人，且主播语音与表情的组合仍不自然。
发明内容
为了达到上述目的，本发明提供一种AI合成主播生成方法，基于说话人的视频帧快速生成相应的新闻播报视频，且合成视频中主播的嘴形与语音同步效果较好，主播语音和表情组合自然，视频过渡平滑。
本发明还提供了一种电子设备及可读存储介质。
本发明所采用的技术方案是，AI合成主播生成方法，包括以下步骤：
采集数据，对数据进行预处理获得语音数据和视频帧数据；
训练嘴形同步判别器，将语音数据和视频帧数据分别输入嘴形同步判别器，判断语音数据与视频帧数据的同步概率；
训练视频生成器、多尺度帧判别器和多尺度时间判别器，视频生成器用于根据语音数据的MFCC和视频帧数据生成合成视频帧，多尺度帧判别器用于判断合成视频帧与真实视频帧的细节差异，多尺度时间判别器用于判断合成视频帧的过渡平滑；
将任意主播的语音文件和说话视频帧输入视频生成器得到AI合成主播视频。
进一步的，所述预处理包括将任意人说话视频分解为视频帧和语音文件，对视频帧进行人脸检测，并对视频帧中的人脸进行裁剪得到视频帧数据。
进一步的，所述嘴形同步判别器包括人脸编码器和音频编码器，将视频帧数据和同步语音特征分别作为其输入，使用余弦相似度与二元交叉熵损失函数，计算ReLU激活的随机采样视频帧向量v和语音向量s之间的点积，得到输入语音特征与视频帧同步的概率Psync，当概率降至0.2时停止训练得到嘴形同步判别器。
进一步的，所述多尺度帧判别器包括三个帧判别器，所述多尺度时间判别器包括三个时间判别器。
进一步的，训练视频生成器的过程如下：
第一阶段，构建视频生成器，将语音文件的MFCC特征和说话视频输入视频生成器得到合成视频帧，对真实视频帧和合成视频帧分别进行下采样，得到三组不同分辨率的真实视频帧序列和合成视频帧序列，分别将三组视频帧序列输入三个帧判别器，对多尺度帧判别器与视频生成器进行对抗训练；
第二阶段，利用训练好的视频生成器生成合成视频帧，对合成视频帧和真实视频帧分别进行下采样，得到三组不同分辨率的真实视频帧序列和合成视频帧序列，分别将三组视频帧序列输入三个时间判别器，对多尺度时间判别器与视频生成器进行对抗训练，得到最终的视频生成器。
进一步的，所述第一阶段的损失函数计算如公式(1)所示：
公式(1)中G表示视频生成器，k表示判别器的数目变量，k＝1，2，3，D′1、D′2、D′3分别表示三个帧判别器，LGAN(G,D′k)表示第k个帧判别器的对抗性损失，LFM(G,D′k)表示第k个帧判别器的特征匹配损失，λFM表示控制特征匹配损失LFM(G,D′k)的超参数。
进一步的，所述第二阶段对抗训练的损失函数计算如公式(2)所示：
公式(2)中，G表示视频生成器，k表示判别器的数目变量，k＝1，2，3，D″1、D″2、D″3分别表示三个时间判别器，t表示语音特征的总时间长度，Lt(G,D″k)表示t时间长度下视频生成器和第k个时间判别器的时间对抗损失，λRL、λSL、λBL分别表示控制L1重建损失LRL、嘴形同步损失LSL和眨眼损失LBL重要性的超参数。
电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的方法步骤。
计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
本发明的有益效果是：本发明使用多尺度帧判别器从粗略到精细逐级对合成视频帧和真实视频帧进行匹配，使两者之间的细节差异较小，合成的主播视频质量更高；本发明使用多尺度时间判别器匹配合成视频帧中说话人的嘴形和眼部变化，使合成视频帧的过渡更加自然、没有跳跃；使用本发明可以合成任意人的说话视频，不必针对特定目标人物进行针对性训练，使用方便。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的网络架构图。
图2是眨眼损失中6个眼部关键点的位置标注图。
图3是现有方法的架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
AI合成主播生成方法，具体包括以下步骤：
步骤1，采集数据，并对其进行预处理，具体过程如下：
步骤1a，采集BBC(British Broadcasting Corporation)开源的数据集LipReading Sentences 2(LRS2)，它由几百个人的说话视频组成，合计约29h，并对视频预料进行重新编号，从0开始保留五位数字升序命名；
步骤1b，使用FFmpeg工具分解各视频中的视频帧和语音文件，存放在同一目录下；
步骤1c，使用s3fd模型对视频帧进行人脸检测，并对视频帧的人脸部分进行裁剪，得到视频帧序列；
步骤2，训练嘴形同步判别器：
嘴形同步网络包含一个人脸编码器和一个音频编码器，两者都由一堆2D卷积层组成，将视频帧(仅包括人脸下半脸图像)及其同步语音特征分别作为其输入，使用余弦相似度与二元交叉熵损失函数，计算ReLU激活的随机采样视频帧向量v和语音向量s之间的点积，得到输入语音特征与视频帧同步的概率Psync，该值属于[0,1]，当概率降到0.2时停止训练得到嘴形同步判别器，Psync的计算如公式(1)所示：
Psync表示输入语音特征与视频帧同步的概率，∈表示ReLU激活函数内置的参数，为无穷大；
步骤3，训练视频生成器，用于生成嘴形与语音同步的逼真人脸视频帧序列：
采用Spatially-Adaptive Normalization(SPADE)架构构建如图1所示的网络架构，SPADE包含一系列带有上采样层的SPADE残差结构，将语音文件输入DeepSpeech2模型提取语音特征，然后将语音特征与人说话视频帧输入视频生成器得到合成视频帧；
通过以下两个阶段依次训练视频生成器和各判别器：
第一阶段，为了避免深层神经网络的过拟合，生成更高质量的合成视频帧，使用多尺度帧判别器与视频生成器进行对抗训练，多尺度帧判别器D′包括三个帧判别器D′1、D′2和D′3，分别使用采样率为64×64、128×128、256×256的采样层对合成视频帧和真实视频帧进行下采样，得到三组不同分辨率的合成视频帧序列和真实视频帧序列，将其分别作为帧判别器D′1、D′2和D′3的输入，第一阶段对抗训练的损失计算如公式(2)所示：
公式(2)中G表示视频生成器，k表示判别器的数目变量，k＝1，2，3，D′1、D′2、D′3分别表示三个帧判别器，LGAN(G,D′k)表示第k个帧判别器的对抗性损失，LFM(G,D′k)表示第k个帧判别器的特征匹配损失，λFM表示控制LFM(G,D′k)的超参数；
帧判别器的对抗性损失计算如公式(3)所示：
公式(3)中x表示真实视频帧，Pd表示真实视频帧的分布，x～Pd表示真实视频帧x均采样于Pd，z表示噪声，Pz表示合成视频帧分布，z～Pz表示噪声z采样于Pz，
表示第k个帧判别器将真实视频帧判别为真实数据的期望，
表示第k个帧判别器将合成视频帧判别为虚假数据的期望，D′k(x)表示第k个帧判别器将真实视频帧判别为真实数据的概率，D′k(G(z))表示第k个帧判别器将合成视频帧判别为虚假数据的概率；
帧判别器的特征匹配损失计算如公式(4)所示：
公式(4)中E(x,z)表示真实视频帧和噪声特征匹配损失的数学期望，T表示各帧判别器网络的总层数，i表示帧判别器网络的层数变量，Ni表示第i层网络的节点数，(D′k)i(x)表示第k个帧判别器在第i层提取的真实视频帧特征，(D′k)i(G(z))表示第k个帧判别器在第i层提取的合成视频帧特征；
本阶段将合成视频帧和真实视频帧下采样成三组不同分辨率的视频帧序列，分别输入三个帧判别器，从粗略到精细地逐级对合成视频帧和真实视频帧进行匹配，使两者之间的细节差异较小，合成视频帧质量更高，同时引入对抗性损失和特征匹配损失来训练视频生成器，使对抗网络的训练过程更加稳定；
当损失值稳定后，进入第二阶段，使用多尺度时间判别器D″与视频生成器G进行对抗训练，多尺度时间判别器D″同样包括三个时间判别器D″1、D″2和D″3，合成视频帧和真实视频帧均被采样率为64×64、128×128、256×256的采样层下采样到三个分辨率，分别作为时间判别器D″1、D″2和D″3的输入，进行对抗训练至损失稳定，得到最终的视频生成器；
第二阶段的损失如公式(5)所示：
公式(5)中t表示语音特征的总时间长度，Lt(G,D″k)表示t时间长度下视频生成器和第k个时间判别器的时间对抗损失，LRL表示L1重建损失，LSL表示嘴形同步损失，LBL表示眨眼损失，λRL、λSL、λBL分别表示控制LRL、LSL和LBL重要性的超参数；
Lt(G,D″k)的计算如公式(6)所示：
公式(6)中，L表示生成对抗损失的时间间隔长度，J表示时间长度[t-L,t]内视频帧的总数，j表示时间长度[t-L,t]内视频帧的数目变量，xj表示第j帧真实视频帧，G(zj)表示第j帧合成视频帧，D″k(xj)表示第k个时间判别器将xj判别为真实数据的概率，D″k(G(zj))表示第k个时间判别器将G(zj)判别为虚假数据的概率；
L1重建损失LRL的计算如公式(7)所示：
公式(7)中N表示batch的总数，n表示batch的数目变量，G(zn)表示合成视频帧的第n个batch，xn表示真实视频帧的第n个batch；
嘴形同步判别器的嘴形同步损失LSL的计算如公式(8)所示：
公式(8)中
表示第n个batch中输入语音特征与视频帧同步的概率；
通过人脸关键点检测，获得的人眼长宽比来计算眨眼损失，使用眨眼损失训练视频生成器，使之学习眨眼的动作，来生成更逼真的人像，眨眼损失计算如公式(9)、(10)：
LBL＝||mr-mg|| (10)
公式(9)、(10)中，m表示人眼长宽比，pa表示第a个眼部关键点坐标，a＝1,2,…,6，人眼关键点如图2，mr表示真实视频帧中人眼长宽比，mg表示合成视频帧中人眼长宽比；
使用时间对抗损失、L1重建损失、嘴形同步损失和眨眼损失进行对抗训练，使视频生成器通过不断迭代优化减少合成视频帧的损失，使用多尺度时间判别器对嘴形、眼部动作和语音进行匹配，能促进视频生成器生成过渡自然的合成视频帧序列，确保连续合成视频帧之间过渡平滑、不出现跳跃，保证合成视频帧中人说话的嘴形与语音匹配良好，提高合成视频帧的质量；
步骤4，调用语音合成接口，将待合成的说话内容(文本)合成对应语音文件，然后将说话人视频帧和语音文件输入视频生成器，经合成得到AI合成主播视频。
使用本发明可以针对任意说话人和任意文本，生成目标人物说明这段文本的视频，在视频制作完成后还可以使用FFmpeg工具的Chroma-Key(色度抠像)功能，为主播更换视频背景，给视频添加新闻字幕、标题。
本发明基于深度学***滑过渡，使合成的视频更加自然，嘴形同步判别器能够非常准确的检测嘴形与语音的同步错误，保证嘴形与语音的同步效果，使用本发明能够低成本、快速、高效地合成逼真自然的嘴形语音同步视频，且本发明具有广泛的适用性，可用于任意说话人和任意语言。
近年华盛顿大学发表的文章“Synthesizing Obama:Learning Lip Sync fromAudio”，其技术架构如图3所示，该技术方案学习从音频到视频的序列映射，只关注合成嘴周围区域的内容，其他眼睛、头部、上半身、背景等都完全保留；通过提取音频特征作为RNN的输入，RNN输出一个稀疏的嘴型对应于每一帧输出的视频，对于每一个嘴型，合成嘴和人脸下部的纹理，再将它们合成到原视频中作为输出；这种网络结构只能针对特定人的语料进行训练，这意味着使用成本会很高，每换一个说话人需要重新训练模型，而且这种拼合而成的人像，会有不自然的问题，本发明对人像整体合成，经视频生成器和三个判别器对抗训练，能够产生自然逼真的说话人物形象。
本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信，所述通信总线可以是外设部件互连标准(Peripheral Pomponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等，该通信总线可以分为地址总线、数据总线、控制总线等，通信接口用于上述电子设备与其他设备之间的通信；存储器用于存放实现视频帧生成的计算机程序，处理器用于执行存储器上所存放的程序以实现AI主播视频合成。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)和/或高速缓存存储器、非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器，还可以是至少一个位于远离前述处理器的存储装置；所述存储器还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信，这种通信可以通过输入/输出(I/O)接口进行；并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信，网络适配器可以通过总线与电子设备的其它模块通信。应当明白，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现，因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明实施方式的上述方法。
用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行；然而，本发明公开的程序产品不限于此，在本发明中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合，可读介质可以是可读信号介质或者可读存储介质，可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合；可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码，这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合；可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序；可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (7)
1.AI合成主播生成方法，其特征在于，包括以下步骤：
采集数据，对数据进行预处理获得语音数据和视频帧数据；
训练嘴形同步判别器，将语音数据和视频帧数据分别输入嘴形同步判别器，判断语音数据与视频帧数据的同步概率；
训练视频生成器、多尺度帧判别器和多尺度时间判别器，视频生成器用于根据语音数据的MFCC和视频帧数据生成合成视频帧，多尺度帧判别器用于判断合成视频帧与真实视频帧的细节差异，多尺度时间判别器用于判断合成视频帧的过渡平滑；
所述多尺度帧判别器包括三个帧判别器，所述多尺度时间判别器包括三个时间判别器，所述训练视频生成器的过程如下：
第一阶段，构建视频生成器，将语音文件的MFCC特征和说话视频输入视频生成器得到合成视频帧，对真实视频帧和合成视频帧分别进行下采样，得到三组不同分辨率的真实视频帧序列和合成视频帧序列，分别将三组视频帧序列输入三个帧判别器，对多尺度帧判别器与视频生成器进行对抗训练；
第二阶段，利用训练好的视频生成器生成合成视频帧，对合成视频帧和真实视频帧分别进行下采样，得到三组不同分辨率的真实视频帧序列和合成视频帧序列，分别将三组视频帧序列输入三个时间判别器，对多尺度时间判别器与视频生成器进行对抗训练，得到最终的视频生成器；
将任意主播的语音文件和说话视频帧输入视频生成器得到AI合成主播视频。
2.根据权利要求1所述的AI合成主播生成方法，其特征在于，所述预处理包括将任意人说话视频分解为视频帧和语音文件，对视频帧进行人脸检测，并对视频帧中的人脸进行裁剪得到视频帧数据。
3.根据权利要求1所述的AI合成主播生成方法，其特征在于，所述嘴形同步判别器包括人脸编码器和音频编码器，将视频帧数据和同步语音特征分别作为其输入，使用余弦相似度与二元交叉熵损失函数，计算ReLU激活的随机采样视频帧向量v和语音向量s之间的点积，得到输入语音特征与视频帧同步的概率Psync，当概率降至0.2时停止训练得到嘴形同步判别器。
4.根据权利要求1所述的AI合成主播生成方法，其特征在于，所述第一阶段的损失函数计算如公式(1)所示：
公式(1)中G表示视频生成器，k表示判别器的数目变量，k＝1，2，3，D′1、D′2、D′3分别表示三个帧判别器，LGAN(G,D′k)表示第k个帧判别器的对抗性损失，LFM(G,D′k)表示第k个帧判别器的特征匹配损失，λFM表示控制特征匹配损失LFM(G,D′k)的超参数。
5.根据权利要求1所述的AI合成主播生成方法，其特征在于，所述第二阶段对抗训练的损失函数计算如公式(2)所示：
公式(2)中，G表示视频生成器，k表示判别器的数目变量，k＝1，2，3，D″1、D″2、D″3分别表示三个时间判别器，t表示语音特征的总时间长度，Lt(G,D″k)表示t时间长度下视频生成器和第k个时间判别器的时间对抗损失，λRL、λSL、λBL分别表示控制L1重建损失LRL、嘴形同步损失LSL和眨眼损失LBL重要性的超参数。
6.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110436997.5A CN113178206B (zh) | 2021-04-22 | 2021-04-22 | Ai合成主播生成方法、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110436997.5A CN113178206B (zh) | 2021-04-22 | 2021-04-22 | Ai合成主播生成方法、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113178206A CN113178206A (zh) | 2021-07-27 |
| CN113178206B true CN113178206B (zh) | 2022-05-31 |
Family
ID=76924741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110436997.5A Active CN113178206B (zh) | 2021-04-22 | 2021-04-22 | Ai合成主播生成方法、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113178206B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7209882B1 (en) * | 2002-05-10 | 2007-04-24 | At&T Corp. | System and method for triphone-based unit selection for visual speech synthesis |
| US9094576B1 (en) * | 2013-03-12 | 2015-07-28 | Amazon Technologies, Inc. | Rendered audiovisual communication |
| CN109637518A (zh) * | 2018-11-07 | 2019-04-16 | 北京搜狗科技发展有限公司 | 虚拟主播实现方法及装置 |
| CN109697416A (zh) * | 2018-12-14 | 2019-04-30 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法和相关装置 |
| CN110493613A (zh) * | 2019-08-16 | 2019-11-22 | 江苏遨信科技有限公司 | 一种视频音唇同步的合成方法及*** |
| US10521946B1 (en) * | 2017-11-21 | 2019-12-31 | Amazon Technologies, Inc. | Processing speech to drive animations on avatars |
| CN110751708A (zh) * | 2019-10-21 | 2020-02-04 | 北京中科深智科技有限公司 | 一种实时的语音驱动人脸动画的方法和*** |
| CN110874557A (zh) * | 2018-09-03 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 一种语音驱动虚拟人脸的视频生成方法以及装置 |
| CN111243626A (zh) * | 2019-12-30 | 2020-06-05 | 清华大学 | 一种说话视频生成方法及*** |
| CN111696182A (zh) * | 2020-05-06 | 2020-09-22 | 广东康云科技有限公司 | 一种虚拟主播生成***、方法和存储介质 |
| CN111783566A (zh) * | 2020-06-15 | 2020-10-16 | 神思电子技术股份有限公司 | 一种基于唇语同步和神态适配效果增强的视频合成方法 |
| CN112233210A (zh) * | 2020-09-14 | 2021-01-15 | 北京百度网讯科技有限公司 | 生成虚拟人物视频的方法、装置、设备和计算机存储介质 |
| CN112652041A (zh) * | 2020-12-18 | 2021-04-13 | 北京大米科技有限公司 | 虚拟形象的生成方法、装置、存储介质及电子设备 |
| CN112669417A (zh) * | 2020-12-18 | 2021-04-16 | 北京大米科技有限公司 | 虚拟形象的生成方法、装置、存储介质及电子设备 |
-
2021
- 2021-04-22 CN CN202110436997.5A patent/CN113178206B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7209882B1 (en) * | 2002-05-10 | 2007-04-24 | At&T Corp. | System and method for triphone-based unit selection for visual speech synthesis |
| US9094576B1 (en) * | 2013-03-12 | 2015-07-28 | Amazon Technologies, Inc. | Rendered audiovisual communication |
| US10521946B1 (en) * | 2017-11-21 | 2019-12-31 | Amazon Technologies, Inc. | Processing speech to drive animations on avatars |
| CN110874557A (zh) * | 2018-09-03 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 一种语音驱动虚拟人脸的视频生成方法以及装置 |
| CN109637518A (zh) * | 2018-11-07 | 2019-04-16 | 北京搜狗科技发展有限公司 | 虚拟主播实现方法及装置 |
| CN109697416A (zh) * | 2018-12-14 | 2019-04-30 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法和相关装置 |
| CN110493613A (zh) * | 2019-08-16 | 2019-11-22 | 江苏遨信科技有限公司 | 一种视频音唇同步的合成方法及*** |
| CN110751708A (zh) * | 2019-10-21 | 2020-02-04 | 北京中科深智科技有限公司 | 一种实时的语音驱动人脸动画的方法和*** |
| CN111243626A (zh) * | 2019-12-30 | 2020-06-05 | 清华大学 | 一种说话视频生成方法及*** |
| CN111696182A (zh) * | 2020-05-06 | 2020-09-22 | 广东康云科技有限公司 | 一种虚拟主播生成***、方法和存储介质 |
| CN111783566A (zh) * | 2020-06-15 | 2020-10-16 | 神思电子技术股份有限公司 | 一种基于唇语同步和神态适配效果增强的视频合成方法 |
| CN112233210A (zh) * | 2020-09-14 | 2021-01-15 | 北京百度网讯科技有限公司 | 生成虚拟人物视频的方法、装置、设备和计算机存储介质 |
| CN112652041A (zh) * | 2020-12-18 | 2021-04-13 | 北京大米科技有限公司 | 虚拟形象的生成方法、装置、存储介质及电子设备 |
| CN112669417A (zh) * | 2020-12-18 | 2021-04-16 | 北京大米科技有限公司 | 虚拟形象的生成方法、装置、存储介质及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| "基于深度学习的语音分离研究";张晖;《中国优秀博士学位论文全文数据库 信息科技辑》;20181231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113178206A (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pepino et al. | Emotion recognition from speech using wav2vec 2.0 embeddings | |
| US11836593B1 (en) | Devices, systems, and methods for learning and using artificially intelligent interactive memories | |
| CN108717856B (zh) | 一种基于多尺度深度卷积循环神经网络的语音情感识别方法 | |
| CN109785824B (zh) | 一种语音翻译模型的训练方法及装置 | |
| CN108597541B (zh) | 一种增强愤怒与开心识别的语音情感识别方法及*** | |
| Xie et al. | Attention-based dense LSTM for speech emotion recognition | |
| CN109887484A (zh) | 一种基于对偶学习的语音识别与语音合成方法及装置 | |
| CN111914076B (zh) | 一种基于人机对话的用户画像构建方法、***、终端及存储介质 | |
| CN113782048B (zh) | 多模态语音分离方法、训练方法及相关装置 | |
| Deng et al. | Foundations and trends in signal processing: Deep learning–methods and applications | |
| CN112837669B (zh) | 语音合成方法、装置及服务器 | |
| CN114339450B (zh) | 视频评论生成方法、***、设备及存储介质 | |
| CN111653270B (zh) | 语音处理方法、装置、计算机可读存储介质及电子设备 | |
| CN111274412A (zh) | 信息提取方法、信息提取模型训练方法、装置及存储介质 | |
| CN114329041A (zh) | 一种多媒体数据处理方法、装置以及可读存储介质 | |
| Hu et al. | Unified discrete diffusion for simultaneous vision-language generation | |
| CN113205793A (zh) | 音频生成方法、装置、存储介质及电子设备 | |
| Azuh et al. | Towards Bilingual Lexicon Discovery From Visually Grounded Speech Audio. | |
| CN112489634A (zh) | 语言的声学模型训练方法、装置、电子设备及计算机介质 | |
| CN114999443A (zh) | 语音生成方法及装置、存储介质、电子设备 | |
| El‐Bialy et al. | Developing phoneme‐based lip‐reading sentences system for silent speech recognition | |
| Atkar et al. | Speech emotion recognition using dialogue emotion decoder and CNN Classifier | |
| CN117634459A (zh) | 目标内容生成及模型训练方法、装置、***、设备及介质 | |
| CN113178206B (zh) | Ai合成主播生成方法、电子设备及可读存储介质 | |
| CN116665642A (zh) | 语音合成方法、语音合成***、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |