CN116206621B - 口型驱动模型训练方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提供了一种口型驱动模型训练方法、装置、电子设备和存储介质，涉及计算机技术领域，尤其涉及人工智能、语音技术及数字人技术领域。具体实现方案为：对样本音频流进行特征提取，得到每一音频帧对应的时序特征；将连续预设数量个音频帧的时序特征分别输入主学习网络和辅助学习网络，获取主学习网络输出的第一口型驱动参数以及辅助学习网络输出的第二口型驱动参数；计算第一损失函数值、第二损失函数值和第三损失函数值；基于第一损失函数值、第二损失函数值和第三损失函数值对主学习网络进行训练，将训练完成的主学习网络作为口型驱动模型。应用本公开实施例可以提高三维人脸模型口型的灵动性。

Description

口型驱动模型训练方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能、语音技术及数字人技术领域。

背景技术

音频驱动人脸口型技术是指将音频流的音频特征输入到预先训练的深度学习网络中，得到深度学习网络输出的口型驱动参数，然后基于口型驱动参数驱动三维人脸模型的口型，进而使得三维人脸模型的口型与音频流保持一致。

发明内容

本公开提供了一种口型驱动模型训练方法、装置、电子设备和存储介质。

根据本公开的第一方面，提供了一种口型驱动模型训练方法，包括：

对样本音频流进行特征提取，得到每一音频帧对应的时序特征；

将连续预设数量个音频帧的时序特征分别输入主学习网络和辅助学习网络，获取所述主学习网络输出的每个音频帧对应的第一口型驱动参数以及所述辅助学习网络输出的每个音频帧对应的第二口型驱动参数；所述主学习网络中包括时序自注意力模块;

基于第一差异和第二差异计算第一损失函数值，基于所述第二差异计算第二损失函数值，基于相邻音频帧对应的第一口型驱动参数之间的差异计算第三损失函数值，所述第一差异为：各音频帧对应的第一口型驱动参数与第二口型驱动参数之间的差异，所述第二差异为：各音频帧对应的第一口型驱动参数和标签口型参数之间的差异；

基于所述第一损失函数值、所述第二损失函数值和所述第三损失函数值对所述主学习网络进行训练，将训练完成的主学习网络作为口型驱动模型。

根据本公开的第二方面，提供了一种口型驱动模型训练装置，包括：

提取模块，用于对样本音频流进行特征提取，得到每一音频帧对应的时序特征；

获取模块，用于将连续预设数量个音频帧的时序特征分别输入主学习网络和辅助学习网络，获取所述主学习网络输出的每个音频帧对应的第一口型驱动参数以及所述辅助学习网络输出的每个音频帧对应的第二口型驱动参数；所述主学习网络中包括时序自注意力模块；

计算模块，用于基于第一差异和第二差异计算第一损失函数值，基于所述第二差异计算第二损失函数值，基于相邻音频帧对应的第一口型驱动参数之间的差异计算第三损失函数值，所述第一差异为：各音频帧对应的第一口型驱动参数与第二口型驱动参数之间的差异，所述第二差异为：各音频帧对应的第一口型驱动参数和标签口型参数之间的差异；

训练模块，用于基于所述第一损失函数值、所述第二损失函数值和所述第三损失函数值对所述主学习网络进行训练，将训练完成的主学习网络作为口型驱动模型。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面中任一项所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例提供的一种口型驱动模型训练方法的流程示意图；

图2为本公开实施例提供的辅助学习网络的结构示意图；

图3为本公开实施例提供的主学习网络的结构示意图；

图4为本公开实施例提供的口型驱动模型训练过程的示例性示意图；

图5为本公开实施例提供的一种口型驱动模型训练装置的结构示意图；

图6是用来实现本公开实施例的口型驱动模型训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前对用于输出口型驱动参数的深度学***滑，牺牲了灵动性。

另外，目前还可以采用多人口型风格混合训练的方法，例如，不同说话人在读字母“a”时，有的说话人口型较大，有人口型较小，目前深度学***均结果，导致三维人脸模型被按照平均结果进行口型驱动，也会导致口型平滑，灵动性不足。

针对上述问题，以下对本公开实施例提供的口型驱动模型训练方法进行说明。

参见图1，图1为本公开实施例提供的一种口型驱动模型训练方法的流程示意图，应用于电子设备，该电子设备可以为终端、服务器等能够支持对深度学习模型进行训练的设备，该方法包括：

S101、对样本音频流进行特征提取，得到每一音频帧对应的时序特征。

其中，样本音频流为预先采集的说话人的音频流，即样本音频流中包括人声。一个样本音频流中包括多个音频帧，例如：若规定每一音频帧的时序长度为10ms，则800ms的样本音频流可以包括80个音频帧。

另外，可以对多个样本音频流进行特征提取，例如：若预先采集了128个样本音频流，可以依次对每一个样本音频流进行特征提取，得到每一样本音频流包括的各音频帧对应的时序特征。

S102、将连续预设数量个音频帧的时序特征分别输入主学习网络和辅助学习网络，获取主学习网络输出的每个音频帧对应的第一口型驱动参数以及辅助学习网络输出的每个音频帧对应的第二口型驱动参数。

其中，主学习网络中包括时序自注意力模块，辅助学习网络中不包括时序自注意力模块，时序自注意力模块用于基于自注意力机制对时序特征进行处理。

主学习网络输出的第一口型驱动参数和辅助学习网络输出的第二口型驱动参数可以是人脸三维顶点坐标，也可以是blendshape（混合形状）驱动参数。

另外，预设数量的取值可以根据经验设置，例如可以为3或5。作为示例，若预设数量为3，电子设备可以将连续3个音频帧的时序特征分别输入到主学习网络和辅助学习网络中，然后主学习网络输出3个第一口型驱动参数，辅助学习网络输出3个第二口型驱动参数。

以预设数量的取值为3为例，一种实现方式中，可以每次将一个样本音频流中包括的连续3个音频帧的时序特征分别输入到主学习网络和辅助学习网络中。例如：每个样本音频流中包括80个音频帧，首先针对第一个样本音频流，将该样本音频流中第0个音频帧的时序特征到第2个音频帧的时序特征输入到主学习网络和辅助学习网络中，然后再将该样本音频流中第3个音频帧的时序特征到第5个音频帧的时序特征输入到主学习网络和辅助学习网络中。即每次将1*3个音频帧的时序特征输入到主学习网络和辅助学习网络中。以此类推，直到将该样本音频流中的所有音频帧的时序特征输入到主学习网络和辅助学习网络中。然后再针对第二个样本音频流，重复上述流程，直至将所有样本音频流中音频帧的时序特征输入到主学习网络和辅助学习网络中。

另一种实现方式中，可以同时将一个批次包括的各个样本音频流中包括的连续3个音频帧的时序特征分别输入到主学习网络和辅助学习网络中。例如：每个批次可以128个样本音频流，每个样本音频流中包括80个音频帧，可以将各个样本音频流中第0个音频帧的时序特征到第2个音频帧的时序特征分别输入到主学习网络和辅助学习网络中，然后再将各个样本音频流中第3个音频帧的时序特征到第5个音频帧的时序特征分别输入到主学习网络和辅助学习网络中，即每次分别输入到主学习网络和辅助学习网络中的时序特征的数量为128*3。以此类推，直至该批次的样本音频流中的所有音频帧的时序特征分别输入到主学习网络和辅助学习网络中。然后可以继续对下一个批次包括的各个样本音频流进行处理，直至主学习网络收敛。

S103、基于第一差异和第二差异计算第一损失函数值，基于第二差异计算第二损失函数值，基于相邻音频帧对应的第一口型驱动参数之间的差异计算第三损失函数值。

其中，第一差异为：各音频帧对应的第一口型驱动参数与第二口型驱动参数之间的差异，第二差异为：各音频帧对应的第一口型驱动参数和标签口型参数之间的差异。

第一损失函数可以为对比学习损失函数，第二损失函数可以为重建损失函数，第三损失函数可以为时序一致性损失函数，对比学习损失函数、重建损失函数和时序一致性损失函数的公式表示详见后续实施例。

S104、基于第一损失函数值、第二损失函数值和第三损失函数值对主学习网络进行训练，将训练完成的主学习网络作为口型驱动模型。

其中，可以对第一损失函数值、第二损失函数值和第三损失函数值进行加权求和，得到总损失函数值，然后基于总损失函数值对主学习网络进行训练。

一种实现方式中，总损失函数值可以通过以下公式得到：

；

其中，表示总损失函数值，/>表示第二损失函数值，/>表示第三损失函数值，/>表示第一损失函数值，a为/>对应的权重值，b为/>对应的权重值，c为/>对应的权重值，a、b和c可以为根据实验得到的经验值，作为示例，a取值为1，b取值为0.5，c取值为0.1。

另外，在对主学习网络完成训练之后，可以将训练完成的主学习网络作为口型驱动模型上线应用。在上线应用的过程中，提取待预测的音频流的时序特征，并将时序特征输入到口型驱动模型中，然后基于口型驱动模型输出的口型驱动参数驱动三维人脸模型。

采用上述技术方案，辅助学***滑。主学***滑的问题。

并且，本公开实施例还引入了第一损失函数值，计算第一损失函数值时考虑了各音频帧对应的第一口型驱动参数与第二口型驱动参数之间的差异以及各音频帧对应的第一口型驱动参数和标签口型参数之间的差异，可以使得第一口型驱动参数远离第二口型驱动参数且第一口型驱动参数接近标签口型参数，可以使得训练完成的主学***滑，灵动性更高。且训练过程中兼顾了第二损失函数值和第三损失函数值，在保证口型驱动模型预测得到的口型驱动参数的准确性的同时，降低了预测得到的口型的平滑度，进而提高了口型的灵动性。

本公开的一个实施例中，可以通过以下方式获取每一帧音频对应的时序特征。

将样本音频流输入特征提取模型，得到样本音频流包括的每一音频帧的音频特征；针对每一音频帧，将该音频帧之前第一数量的音频帧的音频特征、该音频帧的音频特征以及该音频帧之后第二数量的音频帧的音频特征进行拼接，得到该音频帧对应的时序特征。

例如：若一帧音频的时长为10ms，时序长度为800ms的样本音频流可以包括80个音频帧，进而将800ms的样本音频流输入特征提取模型，一共可以得到80个的音频帧的音频特征。

其中，可以通过wav2vec（WAV to Vector，波形到向量）模型，梅尔频率倒谱系数等方式对样本音频流进行特征提取。

一种实现方式中，作为示例，可以通过滑窗的方式生成每个音频帧对应的时序特征，例如：可以将滑窗的窗口大小设置20帧，将第一数量规定为9帧，将第二数量规定为10帧，第一数量加上第二数量再加1等于滑窗窗口的大小。

以样本音频流中第15个音频帧为例，获取与样本音频流中第15个音频帧前序相邻的一共9个音频帧的音频特征，以及获取与样本音频流中第15个音频帧后序相邻的一共10个音频帧的音频特征，对获取的第15个音频帧之前的9个音频帧的音频特征、第15个音频帧的音频特征以及获取的第15个音频帧之后的10个音频帧的音频特征进行拼接，得到与第15个音频帧相对应的时序特征。

可以理解的是，针对样本音频流中起始处的音频帧，可能会存在该音频帧之前的音频帧的数量不足第一数量的情况，或者针对样本中音频流中结尾处的音频帧，可能会存在该音频帧之后的音频帧的数量不足第二数量的情况，如果存在上述情况，不足第一数量或者不足第二数据的音频帧的音频特征可以用0补齐。

假设从0开始编号，以第0个音频帧为例，第0个音频帧之前的一共9个音频帧不存在，可以用0补齐，并获取第0个音频帧之后的一共10个音频帧的音频特征，对用0补齐的9个音频特征、第0个音频帧的音频特征以及获取的10个音频特征进行拼接，得到与第0个音频帧相对应的时序特征。

或者以最后1个音频帧为例，最后1个音频帧之后的一共10个音频帧不存在，可以用0补齐，并获取最后1个音频帧之前的一共9个音频帧的音频特征，对获取的9个音频特征、最后1个音频帧的音频特征以及用0补齐的10个音频特征进行拼接，得到与最后1个音频帧相对应的时序特征。

通过上述方式获取的时序特征可以用表示，其中，/>表示：第i个音频帧的时序特征，/>表示第i个音频帧的时序特征的时序维度，时序维度的取值为第一数量加上第二数量再加1，例如：上述第一数量为9帧，第二数量为10帧，则第i个时序特征的时序维度/>为20，/>表示第i个音频帧的时序特征的特征维度，若第i个音频帧的时序特征有392个特征维度，则/>为392。

采用上述技术方案，针对每一音频帧，该音频帧对应的时序特征包括该音频帧之前第一数量的音频帧的音频特征、该音频帧的音频特征以及该音频帧之后第二数量的音频帧的音频特征，也就是说该音频帧对应的时序特征不仅包括自身的音频特征，还包括与该音频帧相邻的音频特征。也就是说主学习网络和辅助学习网络基于该音频帧对应的时序特征进行预测时，不仅参考该音频帧的音频特征，还参考了与该音频帧前序相邻和后序相邻的音频帧的音频特征，进而主学习网络和辅助学习网络基于时序特征预测第一口型驱动参数和第二口型驱动参数时，还考虑了样本音频流中的前后语义关系，可以使得预测得到的口型驱动参数与前后语义相符，更加准确。

作为示例，辅助学习网络可以是卷积神经网络，该辅助学习网络的结构如图2所示，辅助学习网络中一共包括4个模块。需要说明的是，图2仅作为辅助学习网络的一种示例，本公开实施例中的辅助学习网络也可以是采用其他结构的卷积神经网络。

图2中，第一模块包括一个卷积层，该卷积层的卷积函数为Conv2d函数（2维卷积函数），归一化函数为Batchnorm2d函数（2维批次标准函数），激活函数为ReLU（RectifiedLinear Unit，线性整流函数）。

作为示例，Conv2d函数中的参数可以为：ic=1，oc=128，k=（3，1），s=（2，1），其中，ic表示二维卷积输入通道数，oc表示：二维卷积输出通道数，二维卷积输出通道数可以与采集的样本音频流的数量相同，k表示：卷积核大小，s表示步长大小。第一模块用于将输入到辅助学习网络中的时序特征映射辅助学习网络中的特征空间中。

第二模块可以包括多个卷积层，图2仅示例性的示出4个卷积层，本公开实施例对第二模块中包括的卷积层的数量不做限定。第二模块每一卷积层的卷积函数为Conv2d函数，归一化函数为Batchnorm2d函数，激活函数为ReLU。作为示例，Conv2d函数中的参数包括：ic=128，oc=128，k=（3，1），s=（2，1），第二模块中的卷积层中的卷积核用于对时序特征中的时序维度做卷积。

第三模块可以包括多个卷积层，图2仅示例性的示出9个卷积层，本公开实施例对第三模块中包括的卷积层的数量不做限定。第三模块每一卷积层的卷积函数为Conv2d函数，归一化函数为Batchnorm2d函数，激活函数为ReLU。作为示例，Conv2d函数中的参数包括：ic=128，oc=128，k=（1，3），s=（1，2），第三模块中的卷积层中的卷积核用于对时序特征中的特征维度做卷积。

第四模块包括1个卷积层，该卷积层的卷积函数为Conv2d函数， Conv2d函数中的参数包括：ic=128，oc=V， k=（1，1），s=（1，1），其中，V表示辅助学习网络输出的第二口型驱动参数的维度，第四模块用于将时序特征从特征空间映射到第二口型驱动参数。

参见图3，图3中主学习网络的结构与辅助学习网络的结构基本相同，区别在于主学习网络的指定卷积层与时序自注意力模块连接。

图3中，第一模块包括一个卷积层，该卷积层的卷积函数为Conv2d函数，归一化函数为Batchnorm2d函数，激活函数为ReLU。作为示例，Conv2d函数中的参数可以为：ic=1，oc=128，k=（3，1），s=（2，1）。第一模块用于将输入到主学习网络中的时序特征映射主学习网络中的特征空间中。

第二模块可以包括多个卷积层，图3仅示例性的示出4个卷积层，本公开实施例对第二模块中包括的卷积层的数量不做限定。第二模块每一卷积层的卷积函数为Conv2d函数，归一化函数为Batchnorm2d函数，激活函数为ReLU。作为示例，Conv2d函数中的参数包括：ic=128，oc=128，k=（3，1），s=（2，1），第二模块中的卷积层中的卷积核用于对时序特征中的时序维度做卷积。

另外，第二模块中的每一卷积层与时序自注意力模块连接，第二模块中的每一卷积层中的卷积核用于对时序特征中的时序维度做卷积，通过时序自注意力模块对第二模块中卷积层的输出结果做进一步处理，可以使得主学习网络更加注重较为重要的时序特征。

第三模块可以包括多个卷积层，图3仅示例性的示出9个卷积层，本公开实施例对第三模块中包括的卷积层的数量不做限定。第三模块每一卷积层的卷积函数为Conv2d函数，归一化函数为Batchnorm2d函数，激活函数为ReLU。作为示例，Conv2d函数中的参数包括：ic=128，oc=128，k=（1，3），s=（1，2），第三模块中的卷积层中的卷积核用于对时序特征中的特征维度做卷积。

第四模块包括1个卷积层，该卷积层的卷积函数为Conv2d函数， Conv2d函数中的参数包括：ic=128，oc=V， k=（1，1），s=（1，1），其中，V为主学习网络输出的第一口型驱动参数的维度，第四模块用于将时序特征从特征空间映射到第一口型驱动参数。

本公开的一个实施例中，电子设备可以通过以下方式获取主学习网络输出的第一口型驱动参数。

将连续预设数量个音频帧的时序特征输入主学习网络，获取指定卷积层输出的预设数量个音频帧的卷积特征；将预设数量个音频帧的卷积特征输入时序自注意力模块，获取时序自注意力模块对预设数量个音频帧的卷积特征进行时序自注意力处理后，输出的预设数量个音频帧的时序融合增强特征；将预设数量个音频帧的时序融合增强特征输入主学习网络的后续卷积层，获取主学习网络的输出层输出的每个音频帧对应的第一口型驱动参数。

其中，主学习网络中的指定卷积层可以对时序特征中的时序维度进行处理，得到卷积特征。主学习网络中可以包括多个指定卷积层，每一指定卷积层与一个时序自注意力模块连接。

以图3所示的主学习网络为例，指定卷积层为第二模块中的4个卷积层，每一指定卷积层都与一个时序自注意力模块连接。将连续预设数量个音频帧的时序特征输入到主学习网络中，主学习网络第一模块中的卷积层对连续预设数量个时序特征进行处理并将处理结果输入到第二模块中的第一个卷积层中，得到预设数量个卷积特征。将预设数量个卷积特征输入到与第二模块中第一个卷积层相连的时序自注意力模块中，得到预设数量个第一时序融合增强特征，然后通过第二模块中第二个卷积层，以及与该卷积层相连的时序自注意力模块对第一时序融合增强特征进行处理，得到第二时序融合增强特征，通过第二模块中第三个卷积层，以及与该卷积层相连的时序自注意力模块对第二时序融合增强特征进行处理，得到第三时序融合增强特征，通过第二模块中第四个卷积层，以及与该卷积层相连的时序自注意力模块对第三时序融合增强特征进行处理，得到第四时序融合增强特征。最后通过第三模块和第四模块中的卷积层对第四时序融合增强特征进行处理，获取第一口型驱动参数。

采用上述技术方案，主学***滑。

本公开的一个实施例中，可以通过以下步骤基于时序自注意力模块对卷积特征进行时序自注意力处理，包括以下步骤：

步骤1、针对每个音频帧的卷积特征，将该卷积特征分别输入时序自注意力模块的三个卷积层中，得到该音频帧对应的查询矩阵、关键矩阵和值矩阵。

具体的，可以将一个音频帧的卷积特征分别作为三个卷积层的输入，第一个卷积层对该卷积特征处理后，输出查询矩阵；第二个卷积层对该卷积特征处理后，输出关键矩阵；第三个卷积层对该卷积特征处理后，输出值矩阵。

作为示例，时序自注意力模块中的三个卷积层均可以为1×1的卷积层。

卷积特征可以用表示，其中，/>为批量输入到时序自注意力模块的一个卷积层中的卷积特征的数量，/>表示第i个音频帧的卷积特征的特征图数量，/>表示第i个音频帧的卷积特征的时序维度，时序维度的取值为第一数量加上第二数量再加1，/>表示第i个音频帧的卷积特征的特征维度。

以预设数量的取值为3为例，若同时将一个批次包括的各个样本音频流中包括的连续3个音频帧的卷积特征分别输入到时序自注意力模块的三个卷积层中，例如，每个批次可以包括128个样本音频流，即每次分别输入到时序自注意力模块的三个卷积层中的卷积特征的数量为128*3，即的取值为128*3。

或者，若每次将一个样本音频流中包括的连续3个音频帧的卷积特征分别输入到时序自注意力模块的三个卷积层中，即每次分别输入到时序自注意力模块的三个卷积层中的卷积特征的数量为3*1，即的取值为3*1。

针对每个音频帧的卷积特征，可以将该卷积特征分别输入到三个大小为1×1的卷积层中，分别得到查询矩阵、关键矩阵/>和值矩阵/>，其中，查询矩阵/>表示第i个音频帧对应的查询矩阵、关键矩阵表示：第i个音频帧对应的关键矩阵，值矩阵/>表示第i个音频帧对应的值矩阵。

步骤2、对查询矩阵、关键矩阵和值矩阵进行维度变换，得到变换查询矩阵、变换关键矩阵和变换值矩阵。

其中，查询矩阵、关键矩阵和值矩阵的维度为：，对查询矩阵、关键矩阵和值矩阵进行降维操作后，得到变换查询矩阵/>、变换关键矩阵/>和变换值矩阵/>，其中，/>、/>和/>。

步骤3、基于变换查询矩阵、变换关键矩阵和偏移矩阵，计算自注意力矩阵；将变换值矩阵与自注意力矩阵相乘后，进行维度变换得到该音频特征的时序融合增强特征。

一种实现方式中，可以通过以下公式计算自注意力矩阵：

；

其中，A表示：自注意力矩阵，为一种激活函数，/>表示：第i个音频帧对应的变换查询矩阵，/>表示：第i个音频帧对应的变换关键矩阵的转置，/>表示：第i个音频帧对应的偏移矩阵。

本公开的一个实施例中，可以通过以下公式计算第i个音频帧对应的偏移矩阵：

；

其中，表示：偏移矩阵/>第j行，第k列的数值，/>的取值为：第一数量与第二数量之和再加1，j为所述偏移矩阵中元素的行数，k为所述偏移矩阵中元素的列数，/>的最大行数和最大列数与/>相同。

例如：的取值可以为20，为方便描述偏移矩阵的生成过程，以/>的取值为3为例，则可以生成3×3的偏移矩阵/>。/>可以用矩阵表示为：

；

矩阵中的每个元素，用于表示两个音频特征之间的关联程度，音频特征之间的距离越远，代表音频特征之间的关联程度越小。

针对每一个音频帧的时序特征，该音频帧的时序特征中不仅包括该音频的音频特征，还包括与该音频帧相邻的音频帧的音频特征。通过偏移矩阵的计算公式可知，若该音频帧的时序特征中的其他音频特征与该音频帧的音频特征越相邻，则偏移矩阵中对应行数和列数的数值也就越大，因此增加偏移矩阵后计算得到时序融合增强特征，更加注重与该音频特征相邻的音频特征，进而能够更准确地生成第一口型驱动参数。

在计算出自注意力矩阵后，可以通过以下公式计算时序融合增强特征：

；

其中， A表示：自注意力矩阵，表示：第i个音频帧对应的变换值矩阵，/>表示：维度变换前的第i个音频帧对应的时序融合增强特征，/>的维度为：/>，然后对进行维度变换，得到维度变换后的第i个音频帧对应的时序融合增强特征/>，其中，。

然后将时序融合增强特征输入到图3中的第三模块中，经由第三模块中的9个卷积层处理后，将第三模块的输出结果输入到第四模块的卷积层中，由主学习网络中的第四模块输出第一口型驱动参数。

本公开实施例计算自注意力矩阵时利用了自注意力矩阵，因此将变换值矩阵与自注意力矩阵相乘后，进行维度变换后可以得到该音频特征的时序融合增强特征。因此，本公开实施例基于主学习网络预测某一音频帧对应的第一口型驱动参数时，利用的是与该音频帧较为相邻的音频帧的音频特征，也就是利用的是对该音频帧较为重要的音频特征，而不是利用样本音频流所有的音频特征，因此可以使得预测的第一口型驱动参数更加准确。

本公开的一个实施例中，参见图4，为本公开实施例提供的口型驱动模型训练过程的示例性示意图，对口型驱动模型进行训练的流程如下：

将样本音频流划分为多个固定时序长度的音频帧。作为示例：可以将时序长度为800ms样本音频流划分为80个时序长度为10ms的音频帧。

将获取的音频帧输入到特征提取模型中，特征提取模型可以为梅尔频率倒谱系数和wav2vec模型等，得到每一音频帧对应的时序特征。

将时序特征分别输入到主分支中的主学习网络和辅助分支中的辅助学习网络，主学习网络输出第一口型驱动参数，辅助学习网络输出第二口型驱动参数。

计算第一损失函数、第二损失函数和第三损失函数，并通过反向传播训练主学习网络，在对主学习网络完成训练后，将训练完成的主学习网络作为口型驱动模型，然后上线口型驱动模型。

可以基于以下公式计算对比学习损失函数值：

；

其中，表示对比学习损失函数值。

，/>，/>。/>表示：第i个音频帧对应的第一口型驱动参数，/>表示：第i个音频帧对应的第二口型驱动参数，batch为批量输入到主学习网络和辅助学习网络中的时序特征的数量，V为第一口型驱动参数和第二口型驱动参数的维度，/>表示：第i个音频帧对应的标签口型参数。表示：第i个音频帧对应的第一口型驱动参数与标签口型参数之间的欧式距离，/>的数值越大，说明第i个音频帧对应的第一口型驱动参数与标签口型参数之间的差异越大，/>的数值越小，说明第i个音频帧对应的第一口型驱动参数与标签口型参数之间的差异越小。/>表示：第i个音频帧对应的第一口型驱动参数与第二口型驱动参数之间的欧式距离，同理，/>的数值越大，说明第i个音频帧对应的第一口型驱动参数与第二口型驱动参数之间的差异越大，/>的数值越小，说明第i个音频帧对应的第一口型驱动参数与第二口型驱动参数之间的差异越小。

可以基于以下公式计算重建损失函数值：

；

其中，表示重建损失函数值，/>表示：第i个音频帧对应的第一口型驱动参数与标签口型参数之间的欧式距离，/>表示：第i个音频帧对应的第一口型驱动参数，/>表示：第i个音频帧对应的标签口型参数，/>的数值越大，说明第i个音频帧对应的第一口型驱动参数与标签口型参数之间的差异越大，的数值越小，说明第i个音频帧对应的第一口型驱动参数与标签口型参数之间的差异越小。

可以基于以下公式计算时序一致性损失函数值：

；

其中，表示时序一致性损失函数值，/>表示：第i个音频帧对应的第一口型驱动参数与第i+1个音频帧对应的第一口型驱动参数之间的欧式距离，表示：第i个音频帧对应的第一口型驱动参数，/>表示：第i+1个音频帧对应的第一口型驱动参数，因此/>用于计算相邻音频帧对应的第一口型驱动参数之间欧式距离，/>的数值越大，说明相邻音频帧对应的第一口型驱动参数之间的差异越大，/>的数值越小，说明相邻音频帧对应的第一口型驱动参数之间的差异越小。

采用上述技术方案，通过计算第一损失函数值，可以使得第一口型驱动参数远离第二口型驱动参数且第一口型驱动参数接近标签口型参数，进而基于第一口型驱动参数驱动三维人脸模型时，在保证三维人脸模型说话时口型较准确的同时，还能够降低三维人脸模型口型的平滑度，进而提高三维人脸模型口型的灵动性。

基于相同的构思，图5为本公开实施例提供的一种口型驱动模型训练装置的结构示意图，包括：

提取模块501，用于对样本音频流进行特征提取，得到每一音频帧对应的时序特征；

获取模块502，用于将连续预设数量个音频帧的时序特征分别输入主学习网络和辅助学习网络，获取所述主学习网络输出的每个音频帧对应的第一口型驱动参数以及所述辅助学习网络输出的每个音频帧对应的第二口型驱动参数；所述主学习网络中包括时序自注意力模块；

计算模块503，用于第一差异和第二差异计算第一损失函数值，基于所述第二差异计算第二损失函数值，基于相邻音频帧对应的第一口型驱动参数之间的差异计算第三损失函数值，所述第一差异为：各音频帧对应的第一口型驱动参数与第二口型驱动参数之间的差异，所述第二差异为：各音频帧对应的第一口型驱动参数和标签口型参数之间的差异；

训练模块504，用于基于所述第一损失函数值、所述第二损失函数值和所述第三损失函数值对所述主学习网络进行训练，将训练完成的主学习网络作为口型驱动模型。

可选的，所述提取模块501，具体用于:

将所述样本音频流输入特征提取模型，得到所述样本音频流包括的每一音频帧的音频特征；

针对每一音频帧，将该音频帧之前第一数量的音频帧的音频特征、该音频帧的音频特征以及该音频帧之后第二数量的音频帧的音频特征进行拼接，得到该音频帧对应的时序特征。

可选的，所述主学习网络的指定卷积层与时序自注意力模块连接；所述获取模块502，包括：

第一获取子模块，用于将所述连续预设数量个音频帧的时序特征输入所述主学习网络，获取所述指定卷积层输出的预设数量个音频帧的卷积特征；

第二获取子模块，用于将所述预设数量个音频帧的卷积特征输入所述时序自注意力模块，获取所述时序自注意力模块对所述预设数量个音频帧的卷积特征进行时序自注意力处理后，输出的预设数量个音频帧的时序融合增强特征；

第三获取子模块，用于将所述预设数量个音频帧的时序融合增强特征输入所述主学习网络的后续卷积层，获取所述主学习网络的输出层输出的每个音频帧对应的第一口型驱动参数；

第四获取子模块，用于将所述连续预设数量个音频帧的时序特征输入所述辅助学习网络，获取所述辅助学习网络输出的每个音频帧的第二口型驱动参数。

可选的，所述第二获取子模块，具体用于：

针对每个音频帧的卷积特征，将该卷积特征分别输入所述时序自注意力模块的三个卷积层中，得到该音频帧对应的查询矩阵、关键矩阵和值矩阵；

对所述查询矩阵、所述关键矩阵和所述值矩阵进行维度变换，得到变换查询矩阵、变换关键矩阵和变换值矩阵；

基于所述变换查询矩阵、所述变换关键矩阵和偏移矩阵，计算自注意力矩阵；

将所述变换值矩阵与所述自注意力矩阵相乘后，进行维度变换得到该音频特征的时序融合增强特征。

可选的，所述自注意力矩阵为：

；

其中，为所述变换查询矩阵，/>为所述变换关键矩阵的转置，/>为所述偏移矩阵；

；

其中，为偏移矩阵中第j行第k列的数值，/>的取值为：所述第一数量与所述第二数量之和再加1，j为所述偏移矩阵中元素的行数，k为所述偏移矩阵中元素的列数。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

需要说明的是，本实施例中的样本音频流来自于公开数据集。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器（ROM）602中的计算机程序或者从存储单元608加载到随机访问存储器（RAM）603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如口型驱动模型训练方法。例如，在一些实施例中，口型驱动模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的口型驱动模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式（例如，借助于固件）而被配置为口型驱动模型训练方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上***的***（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种口型驱动模型训练方法，包括：

对样本音频流进行特征提取，得到每一音频帧对应的时序特征；

将连续预设数量个音频帧的时序特征分别输入主学习网络和辅助学习网络，获取所述主学习网络输出的每个音频帧对应的第一口型驱动参数以及所述辅助学习网络输出的每个音频帧对应的第二口型驱动参数；所述主学习网络中包括时序自注意力模块;

基于第一差异和第二差异计算第一损失函数值，基于所述第二差异计算第二损失函数值，基于相邻音频帧对应的第一口型驱动参数之间的差异计算第三损失函数值，所述第一差异为：各音频帧对应的第一口型驱动参数与第二口型驱动参数之间的差异，所述第二差异为：各音频帧对应的第一口型驱动参数和标签口型参数之间的差异；

基于所述第一损失函数值、所述第二损失函数值和所述第三损失函数值对所述主学习网络进行训练，将训练完成的主学习网络作为口型驱动模型。

2.根据权利要求1所述的方法，其中，所述对样本音频流进行特征提取，得到每一音频帧对应的时序特征，包括:

将所述样本音频流输入特征提取模型，得到所述样本音频流包括的每一音频帧的音频特征；

针对每一音频帧，将该音频帧之前第一数量的音频帧的音频特征、该音频帧的音频特征以及该音频帧之后第二数量的音频帧的音频特征进行拼接，得到该音频帧对应的时序特征。

3.根据权利要求2所述的方法，其中，所述主学习网络的指定卷积层与时序自注意力模块连接；

所述将连续预设数量个音频帧的时序特征分别输入主学习网络和辅助学习网络，获取所述主学习网络输出的每个音频帧对应的第一口型驱动参数以及所述辅助学习网络输出的每个音频帧对应的第二口型驱动参数，包括：

将所述连续预设数量个音频帧的时序特征输入所述主学习网络，获取所述指定卷积层输出的预设数量个音频帧的卷积特征；

将所述预设数量个音频帧的卷积特征输入所述时序自注意力模块，获取所述时序自注意力模块对所述预设数量个音频帧的卷积特征进行时序自注意力处理后，输出的预设数量个音频帧的时序融合增强特征；

将所述预设数量个音频帧的时序融合增强特征输入所述主学习网络的后续卷积层，获取所述主学习网络的输出层输出的每个音频帧对应的第一口型驱动参数；

将所述连续预设数量个音频帧的时序特征输入所述辅助学习网络，获取所述辅助学习网络输出的每个音频帧的第二口型驱动参数。

4.根据权利要求3所述的方法，其中，将所述预设数量个音频帧的卷积特征输入所述时序自注意力模块，获取所述时序自注意力模块对所述预设数量个音频帧的卷积特征进行时序自注意力处理后，输出的预设数量个音频帧的时序融合增强特征，包括：

针对每个音频帧的卷积特征，将该卷积特征分别输入所述时序自注意力模块的三个卷积层中，得到该音频帧对应的查询矩阵、关键矩阵和值矩阵；

对所述查询矩阵、所述关键矩阵和所述值矩阵进行维度变换，得到变换查询矩阵、变换关键矩阵和变换值矩阵；

基于所述变换查询矩阵、所述变换关键矩阵和偏移矩阵，计算自注意力矩阵；

将所述变换值矩阵与所述自注意力矩阵相乘后，进行维度变换得到该音频特征的时序融合增强特征。

5.根据权利要求4所述的方法，其中，所述自注意力矩阵为：

；

其中，为所述变换查询矩阵，/>为所述变换关键矩阵的转置，/>为所述偏移矩阵；

；

其中，为偏移矩阵中第j行第k列的数值，/>的取值为：所述第一数量与所述第二数量之和再加1，j为所述偏移矩阵中元素的行数，k为所述偏移矩阵中元素的列数。

6.一种口型驱动模型训练装置，包括：

提取模块，用于对样本音频流进行特征提取，得到每一音频帧对应的时序特征；

获取模块，用于将连续预设数量个音频帧的时序特征分别输入主学习网络和辅助学习网络，获取所述主学习网络输出的每个音频帧对应的第一口型驱动参数以及所述辅助学习网络输出的每个音频帧对应的第二口型驱动参数； 所述主学习网络中包括时序自注意力模块；

计算模块，用于基于第一差异和第二差异计算第一损失函数值，基于所述第二差异计算第二损失函数值，基于相邻音频帧对应的第一口型驱动参数之间的差异计算第三损失函数值，所述第一差异为：各音频帧对应的第一口型驱动参数与第二口型驱动参数之间的差异，所述第二差异为：各音频帧对应的第一口型驱动参数和标签口型参数之间的差异；

训练模块，用于基于所述第一损失函数值、所述第二损失函数值和所述第三损失函数值对所述主学习网络进行训练，将训练完成的主学习网络作为口型驱动模型。

7.根据权利要求6所述的装置，所述提取模块，具体用于:

将所述样本音频流输入特征提取模型，得到所述样本音频流包括的每一音频帧的音频特征；

针对每一音频帧，将该音频帧之前第一数量的音频帧的音频特征、该音频帧的音频特征以及该音频帧之后第二数量的音频帧的音频特征进行拼接，得到该音频帧对应的时序特征。

8.根据权利要求7所述的装置，所述主学习网络的指定卷积层与时序自注意力模块连接；所述获取模块，包括：

第一获取子模块，用于将所述连续预设数量个音频帧的时序特征输入所述主学习网络，获取所述指定卷积层输出的预设数量个音频帧的卷积特征；

第二获取子模块，用于将所述预设数量个音频帧的卷积特征输入所述时序自注意力模块，获取所述时序自注意力模块对所述预设数量个音频帧的卷积特征进行时序自注意力处理后，输出的预设数量个音频帧的时序融合增强特征；

第三获取子模块，用于将所述预设数量个音频帧的时序融合增强特征输入所述主学习网络的后续卷积层，获取所述主学习网络的输出层输出的每个音频帧对应的第一口型驱动参数；

第四获取子模块，用于将所述连续预设数量个音频帧的时序特征输入所述辅助学习网络，获取所述辅助学习网络输出的每个音频帧的第二口型驱动参数。

9.根据权利要求8所述的装置，所述第二获取子模块，具体用于：

针对每个音频帧的卷积特征，将该卷积特征分别输入所述时序自注意力模块的三个卷积层中，得到该音频帧对应的查询矩阵、关键矩阵和值矩阵；

对所述查询矩阵、所述关键矩阵和所述值矩阵进行维度变换，得到变换查询矩阵、变换关键矩阵和变换值矩阵；

基于所述变换查询矩阵、所述变换关键矩阵和偏移矩阵，计算自注意力矩阵；

将所述变换值矩阵与所述自注意力矩阵相乘后，进行维度变换得到该音频特征的时序融合增强特征。

10.根据权利要求9所述的装置，所述自注意力矩阵为：

；

其中，为所述变换查询矩阵，/>为所述变换关键矩阵的转置，/>为所述偏移矩阵；

；

其中，为偏移矩阵中第j行第k列的数值，/>的取值为：所述第一数量与所述第二数量之和再加1，j为所述偏移矩阵中元素的行数，k为所述偏移矩阵中元素的列数。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。