CN115050354B - 数字人驱动方法和装置 - Google Patents

数字人驱动方法和装置 Download PDF

Info

Publication number
CN115050354B
CN115050354B CN202210954038.7A CN202210954038A CN115050354B CN 115050354 B CN115050354 B CN 115050354B CN 202210954038 A CN202210954038 A CN 202210954038A CN 115050354 B CN115050354 B CN 115050354B
Authority
CN
China
Prior art keywords
single character
feature set
character feature
sample
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210954038.7A
Other languages
English (en)
Other versions
CN115050354A (zh
Inventor
郭紫垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210954038.7A priority Critical patent/CN115050354B/zh
Publication of CN115050354A publication Critical patent/CN115050354A/zh
Application granted granted Critical
Publication of CN115050354B publication Critical patent/CN115050354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种数字人驱动方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及深度学习、数字人、增强现实、虚拟现实、混合现实、扩展现实、元宇宙等技术领域。该方法包括：获取目标语音；确定目标语音对应的单字特征集合，其中，单字特征集合中的单字特征表征不同发音状态下的单字的特征信息；根据目标语音和单字特征集合确定目标语音对应的唇动信息；根据唇动信息，驱动数字人运行。本公开提高了对于输入的语音的泛化性和得到的唇动信息的准确度，进而提高了数字人的唇动驱动效果。

Description

数字人驱动方法和装置
技术领域
本公开涉及人工智能领域，具体涉及深度学习、数字人、增强现实、虚拟现实、混合现实、扩展现实、元宇宙等技术领域，尤其涉及数字人驱动方法、装置及模型训练方法、装置、电子设备以及存储介质。
背景技术
三维数字人的生成一直是学术界的研究热点，并有着广泛的工业应用。其最为常见的应用领域有虚拟主播、虚拟客服、虚拟助理、虚拟教师、虚拟偶像等。三维数字人的驱动过程中需要确定其唇动信息。
相关技术中，一般通过音频结合唇动系数的数据组合进行唇动模型的训练。但是该技术训练得到的唇动模型的泛化能力较差，进而驱动的唇动动画表现较差，针对***音、张口音、闭口音等生成的唇动动画不正常。
发明内容
本公开提供了一种数字人驱动方法、装置以及模型训练方法、装置、电子设备以及存储介质。
根据第一方面，提供了一种数字人驱动方法，包括：获取目标语音；确定目标语音对应的单字特征集合，其中，单字特征集合中的单字特征表征不同发音状态下的单字的特征信息；根据目标语音和单字特征集合确定目标语音对应的唇动信息；根据唇动信息，驱动数字人运行。
根据第二方面，提供了一种模型训练方法，包括：获取第一样本集，其中，第一样本集中的训练样本包括第一样本语音和第一唇动信息标签；确定第一单字特征集合，其中，第一单字特征集合中的单字特征为第一样本集中的第一样本语音所对应的单字在不同发音状态下的初始化特征；以第一样本语音和第一单字特征集合为初始信息确定模型的输入，以第一样本语音对应的第一唇动信息标签为期望输出，更新所输入的第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型。
根据第三方面，提供了一种数字人驱动装置，包括：第一获取单元，被配置成获取目标语音；第一确定单元，被配置成确定目标语音对应的单字特征集合，其中，单字特征集合中的单字特征表征不同发音状态下的单字的特征信息；第二确定单元，被配置成根据目标语音和单字特征集合确定目标语音对应的唇动信息；驱动单元，被配置成根据唇动信息，驱动数字人运行。
根据第四方面，提供了一种模型训练装置，包括：第二获取单元，被配置成获取第一样本集，其中，第一样本集中的训练样本包括第一样本语音和第一唇动信息标签；第四确定单元，被配置成确定第一单字特征集合，其中，第一单字特征集合中的初始单字特征为第一样本集中的第一样本语音所对应的单字在不同发音状态下的初始化特征；第一训练单元，被配置成以第一样本语音和第一单字特征集合为初始信息确定模型的输入，以第一样本语音对应的第一唇动信息标签为期望输出，更新第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的单字特征集合和训练后的信息确定模型。
根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面、第二方面任一实现方式描述的方法。
根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面、第二方面任一实现方式描述的方法。
根据本公开的技术，提供了一种数字人驱动方法，不同的发音状态下，即使同一个单字的语速、音调等发音信息也存在差别，导致发音时的唇动信息也不同。通过表征不同发音状态下的单字的特征信息的单字特征集合，解耦了单字发音的特征信息。基于单字特征集合对于单字发音特征信息的解耦，得到适配于输入的语音的唇动信息以驱动数字人运行，提高了对于输入的语音的泛化性和唇动信息的准确度，进而提高了数字人的唇动驱动效果。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开的一个实施例可以应用于其中的示例性***架构图；
图2是根据本公开的数字人驱动方法的一个实施例的流程图；
图3是根据本公开的数字人驱动方法的应用场景的一个实施例的示意图；
图4是根据本公开的信息确定模型的结构的一个实施例的示意图；
图5是根据本公开的数字人驱动方法的又一个实施例的流程图；
图6是根据本公开的数字人驱动方法的又一个实施例的流程图；
图7是根据本公开的模型训练方法的一个实施例的流程图；
图8是根据本公开的模型训练方法的又一个实施例的流程图；
图9是根据本公开的模型训练方法的又一个实施例的流程图；
图10是根据本公开的模型训练方法的又一个实施例的流程图；
图11是根据本公开的数字人驱动装置的一个实施例的结构示意图；
图12是根据本公开的模型训练装置的一个实施例的结构示意图；
图13是适于用来实现本公开实施例的计算机***的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
图1示出了可以应用本公开的数字人驱动方法及装置、模型训练方法及装置的示例性架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。终端设备101、102、103之间通信连接构成拓扑网络，网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时，其可以是支持网络连接、信息获取、交互、显示、处理等功能的各种电子设备，包括但不限于图像采集设备、智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如，对于终端设备101、102、103提供的目标语音，基于信息确定模型和单字特征集合确定唇动信息的后台处理服务器。例如，基于终端设备101、102、103提供的训练样本集，训练得到信息确定模型和单字特征集合的后台处理服务器。作为示例，服务器105可以是云端服务器。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块（例如用来提供分布式服务的软件或软件模块），也可以实现成单个软件或软件模块。在此不做具体限定。
还需要说明的是，本公开的实施例所提供的数字人驱动方法、模型训练方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，数字人驱动装置、模型训练装置包括的各个部分（例如各个单元）可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当数字人驱动方法、模型训练方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该***架构可以仅包括数字人驱动方法、模型训练方法运行于其上的电子设备（例如服务器或终端设备）。
请参考图2，图2为本公开实施例提供的一种数字人驱动方法的流程图，其中，流程200包括以下步骤。
步骤201，获取目标语音。
本实施例中，数字人驱动方法的执行主体（例如，图1中的终端设备或服务器）可以基于有线网络连接方式或无线网络连接方式从远程，或从本地获取目标语音。
目标语音可以是任意发音人发出的、包括任意语音信息的语音，也可以是预先录制的音频。作为示例，在直播带货领域，目标语音可以是直播人员对于货物的介绍语音。在音乐领域，目标音频可以是任意歌手发行的歌曲音频。
步骤202，确定目标语音对应的单字特征集合。
本实施例中，上述执行主体可以确定目标语音对应的单字特征集合。其中，单字特征集合中的单字特征表征不同发音状态下的单字的特征信息。
一般而言，发音人在不同语音下的唇动信息是不同的。并且，在不同的发音状态下，即使同一个单字的语速、音调等发音信息也存在差别，导致发音时的唇动信息也不同。
作为示例，基于相同的文本进行发音，在情绪平缓时，语音信息声调较低、语速较慢，唇动信息幅度较小；而在情绪激动时，语音信息声调较高、语速较块，唇动信息幅度较大。具体的，涉及***音、张口音、闭口音的同一个单字在不同的发音状态下的唇动信息具有较大差别。
单字特征集合中的每个单字的单字特征具体表现为一个特征组，特征组中包括多个相同的特征向量。具体的，一个单字对应的特征组中的特征向量的数量具体为该单字的发音帧数。作为示例，当该单字发音时长为12帧时，该单字对应的特征组中包括12个特征向量。
可以理解，由于在不同的发音状态下，同一个单字的语速、音调等发音信息存在差别，因此，对于同一个单字，单字特征集合中可能包括该单字的多种单字特征，同一单字的多种特征组中的特征向量的数量和特征向量一般均不相同。作为示例，单字特征集合中包括单字“好”对应的10个单字特征，其中一个“好”字的特征组为12个特征向量，另一个“好”字的特征组为10个特征向量，两个“好”字的特征向量不同。
步骤203，根据目标语音和单字特征集合确定目标语音对应的唇动信息。
本实施例中，上述执行主体可以根据目标语音和单字特征集合确定目标语音对应的唇动信息。
具体的，在将目标语音输入信息确定模型之前，可以对目标语音进行特征提取，得到目标语音的自相关特征。自相关特征，也叫序列相关特征，是一个语音信号与其自身在不同时间点的互相关。
作为示例，对于目标语音中每一个大小为385毫秒的语音窗口，把语音分成64个语音片段，对每个语音片段提取长度为32个分量的自相关系数，组成64
Figure 951809DEST_PATH_IMAGE001
32维的自相关特征作为信息确定模型的语音特征输入。选择自相关特征的原因是其与语音音素强相关，音素与嘴型强相关，可以提高信息确定模型的泛化效果。
本实施例中，对于目标语音所表征的文本中的每个单字，上述执行主体可以从目标语音对应的单字特征集合中确定目标语音中的该单字对应的单字特征，得到单字特征子集。进而，根据目标语音和目标语音对应的单字特征子集，确定唇动信息。
作为示例，目标语音中包括“好”这个单字的语音信息，可以从单字“好”对应的10个单字特征中确定出与目标语音中的“好”这个语音的发音信息最适配的单字特征。组合目标语音中每个单字对应的最适配的单字特征后，得到单字特征子集。
本实施例中，上述执行主体可以基于数据处理分析等操作预先确定目标语音、单字特征集合和目标语音对应的唇动信息之间的对应关系，进而利用对应关系，根据目标语音和单字特征集合确定目标语音对应的唇动信息。
在一些可选的实现方式中，上述对应关系可以通过训练后的信息确定模型表征。其中，信息确定模型可以采用具有唇动信息生成功能的任意神经网络模型，包括但限于是卷积神经网络、卷积神经网络等现有的神经网络模型，或者基于现有的神经网络模型改进的网络模型。具体的，信息确定模型可以通过后续实施例700所示的训练方法训练得到。
步骤204，根据唇动信息，驱动数字人运行。
本实施例中，上述执行主体可以根据唇动信息，驱动数字人运行。
具体的，上述执行主体可以将唇动信息作为数字人的唇部动作，驱动数字人运行。
继续参见图3，图3是根据本公开的数字人驱动方法的应用场景的的一个实施例一个示意图300。在图3的应用场景中，终端设备301实时获取用户302发出的目标语音，并将目标语音发送至服务器303。服务器303通过预训练的信息确定模型304，确定目标语音对应的单字特征集合305。其中，单字特征集合中的单字特征表征不同发音状态下的单字的特征信息。然后，通过信息确定模型，根据目标语音和单字特征集合确定目标语音对应的唇动信息306。其中，信息确定模型用于表征目标语音、单字特征集合和唇动信息之间的对应关系。最后，根据唇动信息，驱动数字人307运行。
本实施例中，提供了一种数字人驱动方法，不同的发音状态下，即使同一个单字的语速、音调等发音信息也存在差别，导致发音时的唇动信息也不同。通过表征不同发音状态下的单字的特征信息的单字特征集合，解耦了单字发音的特征信息。基于单字特征集合对于单字发音特征信息的解耦，得到适配于输入的语音的唇动信息，提高了对于输入的语音的泛化性和唇动信息的准确度，进而提高了数字人的唇动驱动效果。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤203：
根据目标语音和单字特征集合确定目标语音对应的唇动信息和目标语音对应的姿态信息。
具体的，唇动信息可以用于驱动数字人的嘴唇的动作，姿态信息可以用于确定数字人的躯体、四肢的动作。
本实现方式中，基于目标语音和单字特征集合可以同时确定相匹配的唇动信息和姿态信息，提高了信息确定效率。
基于所确定的唇动信息和姿态信息，上述执行主体可以通过如下方式执行上述步骤204：根据唇动信息和姿态信息，驱动数字人运行。
具体的，上述执行主体可以参照唇动信息控制数字人的唇部动作，参照姿态信息控制数字人的身体姿态动作，从而控制数字人协调运行，提高了数字人控制的完备性和协调性。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式确定目标语音对应的唇动信息和姿态信息：通过信息确定模型，根据目标语音和单字特征集合确定目标语音对应的唇动信息和目标语音对应的姿态信息，其中，信息确定模型用于表征目标语音、单字特征集合和唇动信息、姿态信息之间的对应关系，包括特征提取子网络、唇动子网络和姿态子网络。
具体的，特征提取子网络用于提取目标语音的语音特征，唇动子网络用于根据语音特征和单字特征集合确定唇动信息，姿态子网络用于根据语音特征和唇动信息确定姿态信息。
如图4所示，信息确定模型400包括特征提取子网络401、唇动子网络402和姿态子网络403。
具体的，特征提取子网络包括：Formant Analysis Network（共振峰分析网络）、Articulation Network（发音网络）、Aware Attention network（感知注意网络）。
唇动子网络包括：Aware Attention network、Face Fully Connected Layer （脸部全连接层）、Face Output Layer（脸部输出层）。
姿态子网络包括：Aware Attention network 、Face Output Layer、Body FullyConnected Layer（人体全连接层）、Body Output Layer（人体输出层）。
本实现方式中，上述执行主体可以通过如下方式确定唇动信息和姿态信息：
首先，通过特征提取子网络提取目标语音的语音特征。
作为示例，当输入信息确定模型的数据为目标语音的自相关特征时，特征提取子网络可以在目标语音的自相关特征的基础上，进行特征提取，得到更高阶的语音特征。
然后，通过唇动子网络，根据语音特征和单字特征集合确定唇动信息。
最后，通过姿态子网络，根据语音特征和唇动信息确定姿态信息。
唇动子网络输出的唇动信息可以用来表征目标语音中的节奏信息，相较于语音特征更能高效表现***音、张口音、闭口音等特征。例如，在***音情况下，人体动作也会有明显的节奏与幅度。因此，融合特征提取子网络的输出与唇动子网络的输出，联合作为姿态子网络的输入，有效地提升了***音、急促音情况下的人体动作的匹配度。
在本实施例的一些可选的实现方式中，上述执行主体还可以执行如下操作：从编码信息集合中确定目标编码信息。其中，编码信息集合中不同的编码信息对应于不同的发音人，目标编码信息为目标语音对应的发音人的编码信息。
本实现方式中，信息确定模型基于不同发音人的训练样本训练得到，可以直接地兼容不容发音人的音色信息。具体的，信息确定模型可以通过不同的编码信息标识不同的发音人。
具体的，对于信息确定模型，除了使用64
Figure 649376DEST_PATH_IMAGE001
32的自相关语音特征作为输入外，还对不同的发音人做了ID（Identity document，身份标识号）编码，其编码方式为One Hot（独热）编码。对于每一个发音人，其ID编码使用长度为32的One Hot编码来表示。此时，信息确定模型的输入为65
Figure 960271DEST_PATH_IMAGE001
32维度的特征信息。
本实现方式中，上述执行主体在得到目标音频的自相关特征之前，可以根据目标编码信息对应的目标发音人的语音属性信息，对目标音频进行归一化。进而，提取归一化后的目标音频的自相关特征。目标发音人的语音属性信息可以是表征发音人的发音特征的信息。作为示例，语音属性信息可以是音高、音高均值等语音属性信息。
本实现方式中，上述执行主体或与上述执行主体通信连接的电子设备可以接收用户的选择指令，以通过选择指令从预设编码集合中确定所选择的发音人的目标编码信息。作为示例，上述执行主体可以向用户展示可供用户选择目标发音人的发音人列表，用户可以通过指示动作、语音等命令发出方式发出选择指令。
本实现方式中，上述执行主体可以通过如下方式执行上述步骤203：根据目标语音、单字特征集合和目标编码信息确定目标语音对应的唇动信息。
本实现方式中，信息确定模型在训练过程中，通过对不同的训练样本所属的发音人进行编码，使得信息确定模型可以兼容不同发音人的语音。在此基础上，信息确定模型还可以基于单字特征集合，也实现兼容不同发音人的语音。基于两种方式的结合，进一步提高了信息确定模型对于输入的语音的泛化性和唇动效果。
本实现方式中，上述执行主体可以基于数据处理分析等操作预先确定目标语音、单字特征集合、目标编码信息和目标语音对应的唇动信息之间的对应关系，进而采用对应关系，根据目标语音和单字特征集合确定目标语音对应的唇动信息。在一些可选的实现方式中，上述对应关系可以通过预训练的信息确定模型表征，信息确定模型可以通过后续的实施例800训练得到。
进一步的，上述执行主体还可以通过信息确定模型，根据目标语音、单字特征集合和目标编码信息确定目标语音对应的唇动信息和目标语音对应的姿态信息。其中，信息确定模型用于表征目标语音、单字特征集合、目标编码信息和唇动信息、姿态信息之间的对应关系。
具体的，上述执行主体可以首先通过特征提取子网络提取目标语音的语音特征；然后，通过唇动子网络，根据目标编码信息、语音特征和单字特征集合确定唇动信息。最后，通过姿态子网络，根据语音特征和唇动信息确定姿态信息。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤202：首先，确定目标语音所对应的目标发音人；然后，从多个指定单字特征集合中，获取目标发音人对应的单字特征集合。其中，多个指定单字特征集合分别对应不同的发音人。
本实现方式中，上述执行主体可以通过如下方式执行上述步骤203：根据目标语音和目标发音人对应的单字特征集合确定目标语音对应的唇动信息。
本实现方式中，每个发音人设置有对应的单字特征集合，单字特征集合中包括所对应的发音人在不同发音状态下的单字的单字特征。不同的发音人对应的不同的单字特征集合可以通过后续的实施例900得到。
本实现方式，通过为每个发音人设置对应的单字特征集合，提高了对于不同的发音人的单字发音的特征信息的准确度，基于各发音人对应的单字特征，可以进一步提高唇动信息的准确度。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤203。
首先，确定信息确定模型中目标发音人对应的目标全连接层。其中，信息确定模型中包括多个全连接层，不同的全连接层对应不同的发音人。然后，基于目标全连接层，根据目标语音和目标发音人对应的单字特征集合确定目标语音对应的唇动信息。具体的，利用采用所述目标全连接层的信息确定模型，根据目标语音和目标发音人对应的单字特征集合确定目标语音对应的唇动信息。
本实现方式中，通过为不同的发音人设置不同的全连接层，提高了全连接层与发音人之间的适配性，进而提高了所输出的唇动信息的连续性和准确度。
继续参考图5，示出了根据本公开的数字人驱动方法的又一个实施例的示意性流程500，包括以下步骤。
步骤501，获取目标语音。
步骤502，通过预训练的信息确定模型，确定目标语音对应的单字特征集合。
其中，单字特征集合中的单字特征表征不同发音状态下的单字的特征信息。
步骤503，从编码信息集合中确定目标编码信息。
其中，编码信息集合中不同的编码信息对应于不同的发音人，目标编码信息为目标语音对应的发音人的编码信息。
步骤504，通过信息确定模型中的特征提取子网络提取目标语音的语音特征。
步骤505，通过信息确定模型中的唇动子网络，根据语音特征、单字特征集合和目标编码信息确定唇动信息。
步骤506，通过信息确定模型中的姿态子网络，根据语音特征和唇动信息确定姿态信息。
步骤507，根据姿态信息和唇动信息，驱动数字人运行。
从本实施例中可以看出，与图2对应的实施例相比，本实施例中的数字人驱动方法的流程500具体说明了基于目标编码信息、单字特征集合和语音特征确定唇动信息和姿态信息的过程，以及基于唇动信息和姿态信息控制数字人运行的过程，提高了数字人的姿态和唇动展示效果。
继续参考图6，示出了根据本公开的数字人驱动方法的又一个实施例的示意性流程600，包括以下步骤。
步骤601，获取目标语音。
步骤602，确定目标语音所对应的目标发音人。
步骤603，从多个指定单字特征集合中，获取目标发音人对应的单字特征集合。
其中，多个指定单字特征集合分别对应不同的发音人。
步骤604，确定信息确定模型中目标发音人对应的目标全连接层。
其中，信息确定模型中包括多个全连接层，不同的全连接层对应不同的发音人。
步骤605，基于目标全连接层，根据目标语音和目标发音人对应的单字特征集合确定目标语音对应的唇动信息。
步骤606，根据唇动信息，驱动数字人运行。
从本实施例中可以看出，与图2对应的实施例相比，本实施例中的数字人驱动方法的流程600具体说明了为不同的发音人设置不同的单字特征集合，以及在信息确定模型中为不同的发音人设置不同的全连接层，提高了所确定的唇动信息的准确度和数字人的唇动展示效果。
继续参考图7，示出了根据本公开的模型训练方法的一个实施例的示意性流程700，包括以下步骤。
步骤701，获取第一样本集。
本实施例中，模型训练方法的执行主体（例如，图1中的终端设备或服务器）可以基于有线网络连接方式或无线网络连接方式从远程，或从本地获取第一样本集。其中，第一第一样本集中的训练样本包括第一样本语音和第一唇动信息标签。
第一样本语音可以是任意发音人发出的、包括任意语音信息的语音。作为示例，在直播带货领域，样本语音可以是直播人员对于货物的介绍语音。唇动信息标签可以表征发出样本语音对应的准确的唇部动作信息。
步骤702，确定第一单字特征集合。
本实施例中，上述执行主体可以确定第一单字特征集合。其中，第一单字特征集合中的单字特征为训练样本集中的第一样本语音所对应的单字的初始化特征，不同发音状态下的样本语音所对应的同一单字的初始化特征不同。
作为示例，对于每个第一样本语音对应的文本中的单字，上述执行主体可以随机初始化每个单字的初始单字特征。
第一单字特征集合中的每个单字的单字特征具体表现为一个特征组，特征组中包括多个相同的特征向量。具体的，一个单字对应的特征组中的特征向量的数量具体为该单字的发音帧数。作为示例，当该单字发音时长为12帧时，该单字对应的特征组中包括12个特征向量。不同发音状态下的样本语音所对应的同一单字的初始化特征不同。
步骤703，以第一样本语音和第一单字特征集合为初始信息确定模型的输入，以第一样本语音对应的第一唇动信息标签为期望输出，更新第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的单字特征集合和训练后的信息确定模型。
本实施例中，上述执行主体可以以第一样本语音和第一单字特征集合为初始信息确定模型的输入，以第一样本语音对应的第一唇动信息标签为期望输出，更新第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的单字特征集合和训练后的信息确定模型。
当第一单字特征集合中的单字特征子集的每个单字特征是根据一个样本语音表征的文本中的单字进行初始化得到的单字特征时，单字特征子集与第一样本语音之间具有对应关系。
在训练过程中，上述执行主体可以基于输入的单字特征集合和样本语音得到输出的第一唇动信息，确定实唇动信息和唇动信息标签之间的损失信息，进而根据损失信息确定梯度信息，采用梯度下降法更新初始信息确定模型的参数和输入的单字特征集合中的单字特征。具体的，可以更新所输入的第一样本语音对应的单字特征子集中的单字特征。
通过循环执行上述训练操作，响应于达到预设结束条件，得到训练后的单字特征集合和信息确定模型。其中，预设结束条件例如可以是训练时间超过预设时间阈值，训练次数超过预设次数阈值，训练损失收敛。
训练后的单字特征集合和信息确定模型用于实现上述实施例200中的数字人驱动方法。
本实施例中，通过表征不同发音状态下的单字的特征信息的单字特征集合，解耦了单字发音的特征信息。在训练过程中，基于初始信息确定模型的实际输出和训练标签，更新单字特征集合和信息确定模型，使得训练后的模型即使在应用过程中的语音与训练过程中的语音不同，模型也能基于单字特征集合对于单字发音特征信息的解耦，得到适配于输入的语音的唇动信息，提高了信息确定模型对于输入的语音的泛化性和唇动效果。
在本实施例的一些可选的实现方式中，第一样本集中的训练样本还包括姿态信息标签。上述执行主体可以通过如下方式执行上述步骤703：以第一样本语音和第一单字特征集合为输入，以第一样本语音对应的第一唇动信息标签和第一样本语音对应的姿态信息标签为期望输出，更新第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型。
作为示例，上述执行主体可以基于第一单字特征集合和第一样本语音得到输出的第一唇动信息和第一姿态信息，进而确定第一唇动信息和唇动信息标签之间的第一损失信息，以及第一姿态信息与姿态信息标签之间的第二损失信息。然后，根据第一损失信息和第二损失信息，采用求和或加权求和等方式得到总损失；进而根据总损失确定梯度信息，采用梯度下降法更新初始信息确定模型的参数和第一单字特征集合中的单字特征。
通过循环执行上述训练操作，响应于达到预设结束条件，得到训练后的第一单字特征集合和信息确定模型。
本实现方式中，信息确定模型可以在学习输出正确的唇动信息的基础上，还要学习输出正确的姿态信息，以通过训练后的信息确定模型可以同时确定相匹配的唇动信息和姿态信息，提高了信息确定模型的实用性和信息输出效率。
在本实施例的一些可选的实现方式中，信息确定模型包括特征提取子网络、唇动子网络和姿态子网络。
具体的，特征提取子网络包括：Formant Analysis Network（共振峰分析网络）、Articulation Network（发音网络）、Aware Attention network（感知注意网络）。
唇动子网络包括：Aware Attention network、Face Fully Connected Layer （脸部全连接层）、Face Output Layer（脸部输出层）。
姿态子网络包括：Aware Attention network 、Face Output Layer、Body FullyConnected Layer（人体全连接层）、Body Output Layer（人体输出层）。
本实现方式中，上述执行主体可以通过如下方式确定姿态信息和唇动信息：
首先，通过特征提取子网络提取所输入的第一样本语音的语音特征。
作为示例，当输入信息确定模型的数据为第一样本语音的自相关特征时，特征提取子网络可以在目标语音的自相关特征的基础上，进行特征提取，得到更高阶的语音特征。
然后，通过唇动子网络，根据语音特征和第一单字特征集合确定第一唇动信息。
然后，通过姿态子网络，根据语音特征和第一唇动信息确定第一姿态信息。
最后，根据第一唇动信息和唇动信息标签、第一姿态信息和姿态信息标签，更新初始信息确定模型和第一单字特征集合，以得到训练后的单字特征集合和训练后的信息确定模型。
唇动子网络输出的唇动信息可以用来表征目标语音中的节奏信息，相较于语音特征更能高效表现***音、张口音、闭口音等特征。例如，在***音情况下，人体动作也会有明显的节奏与幅度。因此，在模型训练过程中，融合特征提取子网络的输出与唇动子网络的输出，联合作为姿态子网络的输入，有效地提升了***音、急促音情况下的人体动作的匹配度。
在本实施例的一些可选的实现方式中，第一样本集中的训练样本为不同发音人对应的训练样本。上述执行主体还可以执行如下操作：确定所输入的训练样本所属的发音人的编码信息。
具体的，对于信息确定模型，除了使用64
Figure 886639DEST_PATH_IMAGE001
32的自相关语音特征作为输入外，还对不同的发音人做了ID（Identity document，身份标识号）编码，其编码方式为One Hot（独热）编码。对于每一个发音人，其ID编码使用长度为32的One Hot编码来表示。此时，信息确定模型的输入为65
Figure 248481DEST_PATH_IMAGE001
32维度的特征信息。
本实现方式中，上述执行主体可以通过如下方式训练信息确定模型：以第一样本语音、第一单字特征集合和编码信息为输入，以第一样本语音对应的第一唇动信息标签为初始信息确定模型的期望输出，更新第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型。
本实现方式中，信息确定模型在训练过程中，通过对不同的训练样本所属的发音人进行编码，使得信息确定模型可以兼容不同发音人的语音。在此基础上，信息确定模型还可以基于单字特征集合，也实现兼容不同发音人的语音。基于两种方式的结合，进一步提高了信息确定模型对于输入的语音的泛化性和唇动效果。
在本实施例的一些可选的实现方式中，上述执行主体可以通过执行如下方式以得到训练样本集。
首先，获取相对应的音频数据和视频数据。然后，确定音频数据中的语音信息，以及视频数据中的目标对象的姿态信息和唇动信息。最后，基于语音信息、姿态信息和唇动信息，得到训练样本集。
作为示例，使用摄像头录制模特的半身视频，模特在朗读预设的文本话术的同时，上半身可以自然运动来表达当前的内容。其中，预设的文本话术例如为120条包含各种发音音节的中文语句。半身动作可以为与话术内容、情绪相关的手臂、手势、头部（点头/摇头）的自然运动。在录制模特的视频数据的同时需要同步记录模特的音频数据。
得到音频数据和视频数据后，需要对视频数据中的模特进行逐帧的人体/人脸位置检测，然后使用三维参数化人体模型对人体部分进行上半身姿态重建，得到姿态信息；使用三维参数化人脸模型对人脸部分进行面部表情重建，得到唇动信息。将每帧对应的姿态信息和唇动信息对齐，将音频数据进行划分，将划分后的一段音频、该音频对应的姿态信息和唇动信息作为一个训练样本，得到第一样本集。
本实现方式中，提高了一种第一样本集的生成方法，基于相对应的音频数据和视频数据即可生成第一样本集，提高了信息生成效率和模型训练的灵活性。
在本实施例的一些可选的实现方式中，上述执行主体还可以执行如下操作。
第一，获取第二样本集。
其中，第二样本集中的训练样本包括第二样本语音和第二唇动信息标签，第二样本集中的数据量少于第一样本集中的数据量，第一样本集和第二样本集分别属于不同的发音人。
作为示例，第一样本集包括第一发音人的丰富的训练数据，从而使得所得到的第一单字特征集合中包括对应于第一发音人的最全面的单字的特征信息。此时，第一单字特征集合可作为标准单字特征集合。第二样本集包括第二发音人的部分训练数据。
第二，确定第二单字特征集合。
其中，第二单字特征集合中的单字特征为第二样本集中的第二样本语音所对应的单字在不同发音状态下的初始化特征。具体的，第二单字特征集合可以参照上述第一单字特征集合，设置单字的单字特征，在此不再赘述。
第三，将第二样本语音和第二单字特征集合作为信息确定模型的输入，将第二样本语音对应的第二唇动信息标签作为期望输出，更新第二单字特征集合，得到训练后的第二单字特征集合。
本实现方式中，在得到信息确定模型之后，对于第二样本集的训练过程中，不再进行信息确定模型的参数的更新，而只根据输出的第二唇动信息和第二唇动信息标签之间的损失，更新第二单字特征集合中的单字特征。
第四，根据训练后的第一单字特征集合和训练后的第二单字特征集合，确定补充单字特征集合。
其中，补充单字特征集合中包括训练后的第二单字特征集合相对于训练后的第一单字特征集合所缺少的单字的特征信息。
作为示例，训练后的第一单字特征集合中共包括第一发音人对应的5000个单字的单字特征，训练后的第二单字特征集合中仅包括第二发音人对应的500个单字的单字特征，此时，补充单字特征集合中包括第二发音人对应的另外的4500个字的单字特征。
作为示例，上述执行主体可以确定从训练后的第一单字特征集合中确定出训练后的第二单字特征集合对应的第一子集，以及训练后的第一单字特征集合中除第一子集之外的第二子集；进而，确定第一子集中的单字特征与第二子集中的单字特征之间的第一距离，参照第一距离，调整训练后的第二单字特征集合中的单字特征，得到补充单字特征集合。本示例中，认为某一发音人的单字特征之间的距离与其他发音人的单字特征之间的距离相同。
第五，基于训练后的第二单字特征集合和补充单字特征集合，得到目标单字特征集合。
具体的，可以组合训练后的第二单字特征集合和补充单字特征集合，得到目标单字特征集合。其中，目标单字特征集合中包括与训练后的第一单字特征集合相同数据量的、表征第二样本集对应的发音人在不同发音状态下的单字的单字特征。
本实现方式中，基于特征迁移，根据数据量全面的第一单字特征集合，可以快速地补充其他发音人在较少训练数据下得到的第二单字特征集合，得到多个发音人分别对应的目标单字特征集合，提高了信息获取效率。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述第四步骤：首先，从训练后的第一单字特征集合中确定出训练后的第二单字特征集合对应的第一子集，以及训练后的第一单字特征集合中除第一子集之外的第二子集；确定第一子集中的单字特征与第二子集中的单字特征之间的第一距离，以及第一子集中的单字特征与训练后的第二单字特征集合中的单字特征之间的第二距离；根据第一距离、第二距离、训练后的第一单字特征集合、训练后的第二单字特征集合，得到补充单字特征集合。
作为示例，第一子集、训练后的第二单字特征集合中包括500个单字特征，第二子集中包括4500个单字特征。上述执行主体可以通过如下公式得到补充单字特征集合：
a_dist_ij = a_vec_i.T
Figure 602102DEST_PATH_IMAGE002
a_vec_j
ab_dist_j = a_vec_j.T
Figure 400294DEST_PATH_IMAGE002
b_vec_j
b_dist_ij = a_vec_i.T
Figure 864773DEST_PATH_IMAGE002
ab_dist_j / b_vec_j
b_vec_i = b_dist_ij / b_vec_j
其中，a_vec_j、a_vec_i.T分别表示第一子集中的单字特征、第二子集中的单字特征，b_vec_j 、b_vec_i分别表示训练后的第二单字特征集合中的单字特征、补充单字特征集合中的单字特征，a_dist_ij 表示第一距离，ab_dist_j表示第二距离，i为0-4500之间的整数，j为0-500之间的整数。
本实现方式中，提供了根据训练后的第一单字特征集合和训练后的第二单字特征集合，确定补充单字特征集合的具体实现方式，提高了所得到的补充单字特征集合的准确度。
在本实施例的一些可选的实现方式中，上述执行主体还可以执行如下操作：将第一样本集中的第一样本语音和目标单字特征集合作为信息确定模型的输入，得到信息确定模型生成的唇动信息；对所生成的唇动信息进行连续性约束，以调整信息确定模型中用于输出唇动信息的全连接层，得到包括多个发音人一一对应的全连接层的信息确定模型。
由于目标单字特征集合中的部分单字特征是通过计算得到，可能造成信息确定模型输出的唇动信息不连续。本实现方式中，对于第二样本集对应的发音人，信息确定模型可以将第一样本集中的第一样本语音和目标单字特征集合作为信息确定模型的输入，对所生成的唇动信息进行连续性约束，以调整信息确定模型中用于输出唇动信息的全连接层，得到该发音人对应的全连接层。
当存在不同的发音人对应的多个第二样本集时，可以通过上述方式得到多个发音人中的每个发音人对应的全连接层。
本实现方式中，基于所输出的唇动信息的连续性约束，通过调整全连接层得到各发音人分别适配的全连接层，提高了信息确定模型对于不同发音人的适配性，以及所输出的唇动信息的准确度。
在本实施例的一些可选的实现方式中，第一样本集、第二样本集中的每个样本集通过如下方式得到：首先，获取该样本集对应的发音人的音频数据和视频数据；然后，通过预训练的音频剥离模型，剥离音频数据中的旋律音频和人声音频，其中，音频剥离模型用于表征音频数据和音频数据中的旋律音频、人声音频之间的对应关系；然后，确定视频数据中的目标发音人对象的唇动信息；最后，基于人声音频和唇动信息，得到该样本集。具体的，可以将人声音频作为样本语音，将唇动信息作为唇动信息标签，得到样本集。
继续参考图8，示出了根据本公开的数字人驱动方法的又一个实施例的示意性流程800，包括以下步骤。
步骤801，获取第一样本集。
其中，第一样本集中的训练样本包括第一样本语音、第一唇动信息标签和姿态信息标签。
步骤802，确定第一单字特征集合。
其中，第一单字特征集合中的单字特征为第一样本集中的第一样本语音所对应的单字在不同发音状态下的初始化特征。
步骤803，确定训练样本所属的发音人的编码信息。
其中，第一样本集中的训练样本为不同发音人对应的训练样本。
步骤804，以第一样本语音、第一单字特征集合和编码信息为输入，以第一样本语音对应的第一唇动信息标签和姿态信息标签为期望输出，更新第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型。
从本实施例中可以看出，与图7对应的实施例相比，本实施例中的模型训练方法的流程800具体说明了信息确定模型基于同一单字特征集合对于不同发音人的适配性，提高了信息确定模型的准确度。
继续参考图9，示出了根据本公开的数字人驱动方法的又一个实施例的示意性流程900，包括以下步骤。
步骤901，获取第一样本集。
其中，第一样本集中的训练样本包括第一样本语音和第一唇动信息标签。
步骤902，确定第一单字特征集合。
其中，第一单字特征集合中的单字特征为第一样本集中的第一样本语音所对应的单字在不同发音状态下的初始化特征。
步骤903，以第一样本语音和第一单字特征集合为初始信息确定模型的输入，以第一样本语音对应的第一唇动信息标签为期望输出，更新第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型。
步骤904，获取第二样本集。
其中，第二样本集中的训练样本包括第二样本语音和第二唇动信息标签，第二样本集中的数据量少于第一样本集中的数据量，第一样本集和第二样本集分别属于不同的发音人。
步骤905，确定第二单字特征集合。
其中，第二单字特征集合中的单字特征为第二样本集中的第二样本语音所对应的单字在不同发音状态下的初始化特征。
步骤906，将第二样本语音和第二单字特征集合作为信息确定模型的输入，将第二样本语音对应的第二唇动信息标签作为期望输出，更新第二单字特征集合，得到训练后的第二单字特征集合。
步骤907，根据训练后的第一单字特征集合和训练后的第二单字特征集合，确定补充单字特征集合。
其中，补充单字特征集合中包括训练后的第二单字特征集合相对于训练后的第一单字特征集合所缺少的单字的特征信息。
步骤908，基于训练后的第二单字特征集合和补充单字特征集合，得到目标单字特征集合。
其中，目标单字特征集合中包括与训练后的第一单字特征集合相同数据量的、表征第二样本集对应的发音人在不同发音状态下的单字的单字特征。
步骤909，将第一样本集中的第一样本语音和目标单字特征集合作为信息确定模型的输入，得到信息确定模型生成的唇动信息。
步骤910，对所生成的唇动信息进行连续性约束，以调整信息确定模型中用于输出唇动信息的全连接层，得到包括多个发音人一一对应的全连接层的信息确定模型。
从本实施例中可以看出，与图7对应的实施例相比，本实施例中的模型训练方法的流程900具体说明了得到各发音人对应的单字特征集合和调整信息确定模型的过程，提高了单字特征集合和信息确定模型对应不同的发音人的针对性和准确度。
为充分说明信息确定模型的训练过程，结合图10，提供一种具体的模型训练方法1000。
1、录制不同发音人的视频数据和音频数据。
2、对视频数据中的模特进行逐帧的人体/人脸位置检测，然后使用三维参数化人体模型对人体部分进行上半身姿态重建，得到姿态信息；使用三维参数化人脸模型对人脸部分进行面部表情重建，得到唇动信息。
3、根据音频数据、姿态信息和唇动信息，生成第一样本集。
4、对不同发音人进行编码，得到不同发音人对应的编码信息。
5、确定样本语音对应的第一单字特征集合。其中，单字特征集合中的单字特征为第一样本集中的样本语音所对应的单字的初始化特征，不同发音状态下的样本语音所对应的同一单字的初始化特征不同。
6、将训练样本中的第一样本语音、第一样本语音对应的编码信息、第一样本语音对应的第一单字特征集合输入初始信息确定模型。
7、通过初始信息确定模型中的特征提取子网络提取所输入的第一样本语音的语音特征。
8、通过初始信息确定模型中的唇动子网络，根据输入的第一样本语音的语音特征、输入的第一样本语音对应的第一单字特征集合、编码信息确定第一唇动信息。
9、通过初始信息确定模型中的姿态子网络，根据语音特征和第一唇动信息确定第一姿态信息。
10、根据第一唇动信息和唇动信息标签、第一姿态信息和姿态信息标签，更新信息确定模型和第一单字特征集合，以得到训练后的第一单字特征集合和信息确定模型。
继续参考图11，作为对上述各图所示方法的实现，本公开提供了一种数字人驱动装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图11所示，数字人驱动装置1100包括：第一获取单元1101，被配置成获取目标语音；第一确定单元1102，被配置成确定目标语音对应的单字特征集合，其中，单字特征集合中的单字特征表征不同发音状态下的单字的特征信息；第二确定单元1103，被配置成根据目标语音和单字特征集合确定目标语音对应的唇动信息；驱动单元1104，被配置成根据唇动信息，驱动数字人运行。
在本实施例的一些可选的实现方式中，第二确定单元1103，进一步被配置成：根据目标语音和单字特征集合确定目标语音对应的唇动信息和目标语音对应的姿态信息；驱动单元1104，进一步被配置成：根据唇动信息和姿态信息，驱动数字人运行。
在本实施例的一些可选的实现方式中，第二确定单元1103，进一步被配置成：通过信息确定模型，根据目标语音和单字特征集合确定目标语音对应的唇动信息和目标语音对应的姿态信息，其中，信息确定模型包括特征提取子网络、唇动子网络和姿态子网络，特征提取子网络用于提取目标语音的语音特征，唇动子网络用于根据语音特征和单字特征集合确定唇动信息，姿态子网络用于根据语音特征和唇动信息确定姿态信息。
在本实施例的一些可选的实现方式中，还包括：第三确定单元（图中未示出），被配置成从编码信息集合中确定目标编码信息，其中，编码信息集合中不同的编码信息对应于不同的发音人，目标编码信息为目标语音对应的发音人的编码信息；以及第二确定单元1103，进一步被配置成：根据目标语音、单字特征集合和目标编码信息确定目标语音对应的唇动信息。
在本实施例的一些可选的实现方式中，第一确定单元1102，进一步被配置成：确定目标语音所对应的目标发音人；从多个指定单字特征集合中，获取目标发音人对应的单字特征集合，其中，多个指定单字特征集合分别对应不同的发音人；以及第二确定单元1103，进一步被配置成：根据目标语音和目标发音人对应的单字特征集合确定目标语音对应的唇动信息。
在本实施例的一些可选的实现方式中，第二确定单元1103，进一步被配置成：确定信息确定模型中目标发音人对应的目标全连接层，其中，信息确定模型中包括多个全连接层，不同的全连接层对应不同的发音人；基于目标全连接层，根据目标语音和目标发音人对应的单字特征集合确定目标语音对应的唇动信息。
本实施例中，提供了一种数字人驱动装置，不同的发音状态下，即使同一个单字的语速、音调等发音信息也存在差别，导致发音时的唇动信息也不同。通过表征不同发音状态下的单字的特征信息的单字特征集合，解耦了单字发音的特征信息。基于单字特征集合对于单字发音特征信息的解耦，得到适配于输入的语音的唇动信息，提高了对于输入的语音的泛化性和唇动信息的准确度，进而提高了数字人的唇动驱动效果。
继续参考图12，作为对上述各图所示方法的实现，本公开提供了一种模型训练装置的一个实施例，该装置实施例与图7所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图12所示，模型训练装置1200包括：第二获取单元1201，被配置成获取第一样本集，其中，第一样本集中的训练样本包括第一样本语音和第一唇动信息标签；第四确定单元1202，被配置成确定第一单字特征集合，其中，第一单字特征集合中的单字特征为第一训练样本集中的样本语音所对应的单字在不同发音状态下的初始化特征；第一训练单元1203，被配置成以第一样本语音和第一单字特征集合为初始信息确定模型的输入，以第一样本语音对应的第一唇动信息标签为期望输出，更新第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型。
在本实施例的一些可选的实现方式中，第一样本集中的第一训练样本还包括姿态信息标签；以及第一训练单元1203，进一步被配置成：以第一样本语音和第一单字特征集合为输入，以第一样本语音对应的第一唇动信息标签和第一样本语音对应的姿态信息标签为期望输出，更新第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型。
在本实施例的一些可选的实现方式中，信息确定模型包括特征提取子网络、唇动子网络和姿态子网络；以及第一训练单元1203，进一步被配置成：通过特征提取子网络提取第一样本语音的语音特征；通过唇动子网络，根据语音特征和第一单字特征集合确定第一唇动信息；通过姿态子网络，根据语音特征和第一唇动信息确定第一姿态信息；根据第一唇动信息和第一唇动信息标签、第一姿态信息和姿态信息标签，更新初始信息确定模型和第一单字特征集合，以得到训练后的第一单字特征集合和训练后的信息确定模型。
在本实施例的一些可选的实现方式中，第一样本集中的训练样本为不同发音人对应的训练样本；以及还包括：第五确定单元（图中未示出），被配置成确定训练样本所属的发音人的编码信息；以及第一训练单元1203，进一步被配置成：以第一样本语音、第一单字特征集合和编码信息为输入，以第一样本语音对应的第一唇动信息标签为期望输出，更新第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型。
在本实施例的一些可选的实现方式中，上述装置还包括：第三获取单元（图中未示出），被配置成：获取第二样本集，其中，第二样本集中的训练样本包括第二样本语音和第二唇动信息标签，第二样本集中的数据量少于第一样本集中的数据量，第一样本集和第二样本集分别属于不同的发音人；第六确定单元（图中未示出），被配置成确定第二单字特征集合，其中，第二单字特征集合中的单字特征为第二样本集中的第二样本语音所对应的单字在不同发音状态下的初始化特征；第二训练单元（图中未示出），被配置成将第二样本语音和第二单字特征集合作为信息确定模型的输入，将第二样本语音对应的第二唇动信息标签作为期望输出，更新第二单字特征集合，得到训练后的第二单字特征集合；第七确定单元（图中未示出），被配置成根据训练后的第一单字特征集合和训练后的第二单字特征集合，确定补充单字特征集合，其中，补充单字特征集合中包括训练后的第二单字特征集合相对于训练后的第一单字特征集合所缺少的单字的特征信息；得到单元（图中未示出），被配置成基于训练后的第二单字特征集合和补充单字特征集合，得到目标单字特征集合，其中，目标单字特征集合中包括与训练后的第一单字特征集合相同数据量的、表征所述第二样本集对应的发音人在不同发音状态下的单字的单字特征。
在本实施例的一些可选的实现方式中，第七确定单元（图中未示出），进一步被配置成：从训练后的第一单字特征集合中确定出训练后的第二单字特征集合对应的第一子集，以及训练后的第一单字特征集合中除第一子集之外的第二子集；确定第一子集中的单字特征与第二子集中的单字特征之间的第一距离，以及第一子集中的单字特征与训练后的第二单字特征集合中的单字特征之间的第二距离；根据第一距离、第二距离、训练后的第一单字特征集合、训练后的第二单字特征集合，得到补充单字特征集合。
在本实施例的一些可选的实现方式中，上述装置还包括：调整单元（图中未示出），被配置成将第一样本集中的第一样本语音和目标单字特征集合作为信息确定模型的输入，，得到信息确定模型生成的唇动信息；对所生成的唇动信息进行连续性约束，以调整信息确定模型中用于输出唇动信息的全连接层，得到包括多个发音人一一对应的全连接层的信息确定模型。
在本实施例的一些可选的实现方式中，第一样本集、第二样本集中的每个样本集通过如下方式得到：获取该样本集对应的发音人的音频数据和视频数据；通过预训练的音频剥离模型，剥离音频数据中的旋律音频和人声音频，其中，音频剥离模型用于表征音频数据和音频数据中的旋律音频、人声音频之间的对应关系；确定视频数据中的目标发音人对象的唇动信息；基于人声音频和唇动信息，得到该样本集。
本实施例中，通过表征不同发音状态下的单字的特征信息的单字特征集合，解耦了单字发音的特征信息。在训练过程中，基于初始信息确定模型的是实际输出和训练标签，更新单字特征集合和信息确定模型，使得训练后的模型即使在应用过程中的语音与训练过程中的语音不同，模型也能基于单字特征集合对于单字发音特征信息的解耦，得到适配于输入的语音的唇动信息，提高了信息确定模型对于输入的语音的泛化性和唇动效果。
根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任意实施例所描述的数字人驱动方法、模型训练方法。
根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的数字人驱动方法、模型训练方法。
图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器（ROM）1302中的计算机程序或者从存储单元1308加载到随机访问存储器（RAM）1303中的计算机程序，来执行各种适当的动作和处理。在RAM 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出（I/O）接口1305也连接至总线1304。
设备1300中的多个部件连接至I/O接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如数字人驱动方法。例如，在一些实施例中，数字人驱动方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到RAM 1303并由计算单元1301执行时，可以执行上文描述的数字人驱动方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行数字人驱动方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上***的***（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器（VPS，Virtual Private Server）服务中存在的管理难度大，业务扩展性弱的缺陷；也可以为分布式***的服务器，或者是结合了区块链的服务器。
根据本公开实施例的技术方案，提供了一种数字人驱动方法，不同的发音状态下，即使同一个单字的语速、音调等发音信息也存在差别，导致发音时的唇动信息也不同。通过表征不同发音状态下的单字的特征信息的单字特征集合，解耦了单字发音的特征信息。即使模型应用过程中的语音与训练过程中的语音不同，模型也能基于单字特征集合对于单字发音特征信息的解耦，得到适配于输入的语音的唇动信息，提高了信息确定模型对于输入的语音的泛化性和唇动信息的准确度，进而提高了数字人的唇动驱动效果。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种数字人驱动方法，包括：
获取目标语音；
确定所述目标语音对应的单字特征集合，其中，所述单字特征集合中的单字特征表征不同发音状态下的单字的特征信息；
通过训练后的信息确定模型，根据所述目标语音和所述单字特征集合确定所述目标语音对应的唇动信息；
根据所述唇动信息，驱动数字人运行；
其中，所述信息确定模型和单字特征集合通过如下方式训练得到：
获取第一样本集，其中，所述第一样本集中的训练样本包括第一样本语音和第一唇动信息标签；确定第一单字特征集合，其中，所述第一单字特征集合中的单字特征为所述第一样本集中的第一样本语音所对应的单字在不同发音状态下的初始化特征；以所述第一样本语音和所述第一单字特征集合为初始信息确定模型的输入，以所述第一样本语音对应的第一唇动信息标签为期望输出，更新所述第一单字特征集合中的单字特征和所述初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型；获取第二样本集，其中，所述第二样本集中的训练样本包括第二样本语音和第二唇动信息标签，第二样本集中的数据量少于所述第一样本集中的数据量，所述第一样本集和所述第二样本集分别属于不同的发音人；确定第二单字特征集合，其中，所述第二单字特征集合中的单字特征为所述第二样本集中的第二样本语音所对应的单字在不同发音状态下的初始化特征；将所述第二样本语音和第二单字特征集合作为所述信息确定模型的输入，将所述第二样本语音对应的第二唇动信息标签作为期望输出，更新所述第二单字特征集合，得到训练后的第二单字特征集合；根据所述训练后的第一单字特征集合和所述训练后的第二单字特征集合，确定补充单字特征集合，其中，所述补充单字特征集合中包括所述训练后的第二单字特征集合相对于所述训练后的第一单字特征集合所缺少的单字的特征信息；基于所述训练后的第二单字特征集合和所述补充单字特征集合，得到目标单字特征集合。
2.根据权利要求1所述的方法，其中，所述根据所述目标语音和所述单字特征集合确定所述目标语音对应的唇动信息，包括：
根据所述目标语音和所述单字特征集合确定所述目标语音对应的唇动信息和所述目标语音对应的姿态信息；
所述根据所述唇动信息，驱动数字人运行，包括：
根据所述唇动信息和所述姿态信息，驱动所述数字人运行。
3.根据权利要求2所述的方法，其中，所述根据所述目标语音和所述单字特征集合确定所述目标语音对应的唇动信息和所述目标语音对应的姿态信息，包括：
通过信息确定模型，根据所述目标语音和所述单字特征集合确定所述目标语音对应的唇动信息和所述目标语音对应的姿态信息，其中，所述信息确定模型包括特征提取子网络、唇动子网络和姿态子网络，所述特征提取子网络用于提取所述目标语音的语音特征，所述唇动子网络用于根据所述语音特征和所述单字特征集合确定所述唇动信息，所述姿态子网络用于根据所述语音特征和所述唇动信息确定所述姿态信息。
4.根据权利要求1所述的方法，其中，还包括：
从编码信息集合中确定目标编码信息，其中，所述编码信息集合中不同的编码信息对应于不同的发音人，所述目标编码信息为所述目标语音对应的发音人的编码信息；以及
所述根据所述目标语音和所述单字特征集合确定所述目标语音对应的唇动信息，包括：
根据所述目标语音、所述单字特征集合和所述目标编码信息确定所述目标语音对应的唇动信息。
5.根据权利要求1所述的方法，其中，所述确定所述目标语音对应的单字特征集合，包括：
确定所述目标语音所对应的目标发音人；
从多个指定单字特征集合中，获取所述目标发音人对应的单字特征集合，其中，所述多个指定单字特征集合分别对应不同的发音人；以及
所述根据所述目标语音和所述单字特征集合确定所述目标语音对应的唇动信息，包括：
根据所述目标语音和所述目标发音人对应的单字特征集合确定所述目标语音对应的唇动信息。
6.根据权利要求5所述的方法，其中，所述根据所述目标语音和所述目标发音人对应的单字特征集合确定所述目标语音对应的唇动信息，包括：
确定信息确定模型中所述目标发音人对应的目标全连接层，其中，所述信息确定模型中包括多个全连接层，不同的全连接层对应不同的发音人；
基于所述目标全连接层，根据所述目标语音和所述目标发音人对应的单字特征集合确定所述目标语音对应的唇动信息。
7.一种模型训练方法，包括：
获取第一样本集，其中，所述第一样本集中的训练样本包括第一样本语音和第一唇动信息标签；
确定第一单字特征集合，其中，所述第一单字特征集合中的单字特征为所述第一样本集中的第一样本语音所对应的单字在不同发音状态下的初始化特征；
以所述第一样本语音和所述第一单字特征集合为初始信息确定模型的输入，以所述第一样本语音对应的第一唇动信息标签为期望输出，更新所述第一单字特征集合中的单字特征和所述初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型；
获取第二样本集，其中，所述第二样本集中的训练样本包括第二样本语音和第二唇动信息标签，第二样本集中的数据量少于所述第一样本集中的数据量，所述第一样本集和所述第二样本集分别属于不同的发音人；
确定第二单字特征集合，其中，所述第二单字特征集合中的单字特征为所述第二样本集中的第二样本语音所对应的单字在不同发音状态下的初始化特征；
将所述第二样本语音和第二单字特征集合作为所述信息确定模型的输入，将所述第二样本语音对应的第二唇动信息标签作为期望输出，更新所述第二单字特征集合，得到训练后的第二单字特征集合；
根据所述训练后的第一单字特征集合和所述训练后的第二单字特征集合，确定补充单字特征集合，其中，所述补充单字特征集合中包括所述训练后的第二单字特征集合相对于所述训练后的第一单字特征集合所缺少的单字的特征信息；
基于所述训练后的第二单字特征集合和所述补充单字特征集合，得到目标单字特征集合。
8.根据权利要求7所述的方法，其中，所述第一样本集中的训练样本还包括姿态信息标签；以及
所述以所述第一样本语音和所述第一单字特征集合为初始信息确定模型的输入，以所述第一样本语音对应的第一唇动信息标签为期望输出，更新所述第一单字特征集合中的单字特征和所述初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型，包括：
以所述第一样本语音和所述第一单字特征集合为输入，以所述第一样本语音对应的第一唇动信息标签和所述第一样本语音对应的姿态信息标签为期望输出，更新所述第一单字特征集合中的单字特征和所述初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型。
9.根据权利要求8所述的方法，其中，所述信息确定模型包括特征提取子网络、唇动子网络和姿态子网络；以及
所述以所述第一样本语音和所述第一单字特征集合为输入，以所述第一样本语音对应的第一唇动信息标签和所述第一样本语音对应的姿态信息标签为期望输出，更新所述第一单字特征集合中的单字特征和所述初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型，包括：
通过所述特征提取子网络提取所述第一样本语音的语音特征；
通过所述唇动子网络，根据所述语音特征和所述第一单字特征集合确定第一唇动信息；
通过所述姿态子网络，根据所述语音特征和所述第一唇动信息确定第一姿态信息；
根据所述第一唇动信息和所述第一唇动信息标签、所述第一姿态信息和所述姿态信息标签，更新所述初始信息确定模型和所述第一单字特征集合，以得到训练后的第一单字特征集合和训练后的信息确定模型。
10.根据权利要求7所述的方法，其中，所述第一样本集中的训练样本为不同发音人对应的训练样本；以及
还包括：
确定所述训练样本所属的发音人的编码信息；以及
所述以所述第一样本语音和所述第一单字特征集合为初始信息确定模型的输入，以所述第一样本语音对应的第一唇动信息标签为期望输出，更新所述第一单字特征集合中的单字特征和所述初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型，包括：
以所述第一样本语音、所述第一单字特征集合和所述编码信息为输入，以所述第一样本语音对应的第一唇动信息标签为期望输出，更新所述第一单字特征集合中的单字特征和初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型。
11.根据权利要求7所述的方法，其中，所述根据所述训练后的第一单字特征集合和所述训练后的第二单字特征集合，确定补充单字特征集合，包括：
从所述训练后的第一单字特征集合中确定出所述训练后的第二单字特征集合对应的第一子集，以及所述训练后的第一单字特征集合中除所述第一子集之外的第二子集；
确定所述第一子集中的单字特征与所述第二子集中的单字特征之间的第一距离，以及所述第一子集中的单字特征与所述训练后的第二单字特征集合中的单字特征之间的第二距离；
根据所述第一距离、所述第二距离、所述训练后的第一单字特征集合和所述训练后的第二单字特征集合，得到所述补充单字特征集合。
12.根据权利要求7所述的方法，其中，还包括：
将所述第一样本集中的第一样本语音和所述目标单字特征集合作为所述信息确定模型的输入，得到所述信息确定模型生成的唇动信息；
对所生成的唇动信息进行连续性约束，以调整所述信息确定模型中用于输出所述唇动信息的全连接层。
13.一种数字人驱动装置，包括：
第一获取单元，被配置成获取目标语音；
第一确定单元，被配置成确定所述目标语音对应的单字特征集合，其中，所述单字特征集合中的单字特征表征不同发音状态下的单字的特征信息；
第二确定单元，被配置成通过训练后的信息确定模型，根据所述目标语音和所述单字特征集合确定所述目标语音对应的唇动信息；
驱动单元，被配置成根据所述唇动信息，驱动数字人运行；
其中，所述信息确定模型和单字特征集合通过如下方式训练得到：
获取第一样本集，其中，所述第一样本集中的训练样本包括第一样本语音和第一唇动信息标签；确定第一单字特征集合，其中，所述第一单字特征集合中的单字特征为所述第一样本集中的第一样本语音所对应的单字在不同发音状态下的初始化特征；以所述第一样本语音和所述第一单字特征集合为初始信息确定模型的输入，以所述第一样本语音对应的第一唇动信息标签为期望输出，更新所述第一单字特征集合中的单字特征和所述初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型；获取第二样本集，其中，所述第二样本集中的训练样本包括第二样本语音和第二唇动信息标签，第二样本集中的数据量少于所述第一样本集中的数据量，所述第一样本集和所述第二样本集分别属于不同的发音人；确定第二单字特征集合，其中，所述第二单字特征集合中的单字特征为所述第二样本集中的第二样本语音所对应的单字在不同发音状态下的初始化特征；将所述第二样本语音和第二单字特征集合作为所述信息确定模型的输入，将所述第二样本语音对应的第二唇动信息标签作为期望输出，更新所述第二单字特征集合，得到训练后的第二单字特征集合；根据所述训练后的第一单字特征集合和所述训练后的第二单字特征集合，确定补充单字特征集合，其中，所述补充单字特征集合中包括所述训练后的第二单字特征集合相对于所述训练后的第一单字特征集合所缺少的单字的特征信息；基于所述训练后的第二单字特征集合和所述补充单字特征集合，得到目标单字特征集合。
14.一种模型训练装置，包括：
第二获取单元，被配置成获取第一样本集，其中，所述第一样本集中的训练样本包括第一样本语音和第一唇动信息标签；
第四确定单元，被配置成确定第一单字特征集合，其中，所述第一单字特征集合中的单字特征为所述第一样本集中的样本语音所对应的单字在不同发音状态下的初始化特征；
第一训练单元，被配置成以所述第一样本语音和所述第一单字特征集合为初始信息确定模型的输入，以所述第一样本语音对应的第一唇动信息标签为期望输出，更新所述第一单字特征集合中的单字特征和所述初始信息确定模型，以得到训练后的第一单字特征集合和训练后的信息确定模型；
第三获取单元，被配置成获取第二样本集，其中，所述第二样本集中的训练样本包括第二样本语音和第二唇动信息标签，第二样本集中的数据量少于所述第一样本集中的数据量，所述第一样本集和所述第二样本集分别属于不同的发音人；
第六确定单元，被配置成确定第二单字特征集合，其中，所述第二单字特征集合中的单字特征为所述第二样本集中的第二样本语音所对应的单字在不同发音状态下的初始化特征；
第二训练单元，被配置成将所述第二样本语音和第二单字特征集合作为所述信息确定模型的输入，将所述第二样本语音对应的第二唇动信息标签作为期望输出，更新所述第二单字特征集合，得到训练后的第二单字特征集合；
第七确定单元，被配置成根据所述训练后的第一单字特征集合和所述训练后的第二单字特征集合，确定补充单字特征集合，其中，所述补充单字特征集合中包括所述训练后的第二单字特征集合相对于所述训练后的第一单字特征集合所缺少的单字的特征信息；
得到单元，被配置成基于所述训练后的第二单字特征集合和所述补充单字特征集合，得到目标单字特征集合。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的方法。
CN202210954038.7A 2022-08-10 2022-08-10 数字人驱动方法和装置 Active CN115050354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210954038.7A CN115050354B (zh) 2022-08-10 2022-08-10 数字人驱动方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210954038.7A CN115050354B (zh) 2022-08-10 2022-08-10 数字人驱动方法和装置

Publications (2)

Publication Number Publication Date
CN115050354A CN115050354A (zh) 2022-09-13
CN115050354B true CN115050354B (zh) 2022-11-04

Family

ID=83168013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210954038.7A Active CN115050354B (zh) 2022-08-10 2022-08-10 数字人驱动方法和装置

Country Status (1)

Country Link
CN (1) CN115050354B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376211B (zh) * 2022-10-25 2023-03-24 北京百度网讯科技有限公司 唇形驱动方法、唇形驱动模型的训练方法、装置及设备
CN117076755A (zh) * 2023-10-16 2023-11-17 北京中科汇联科技股份有限公司 一种多用途数字人的控制***及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158055A (ja) * 2006-12-21 2008-07-10 Sumitomo Cement Computers Systems Co Ltd 言語発音練習支援システム
CN106653052B (zh) * 2016-12-29 2020-10-16 Tcl科技集团股份有限公司 虚拟人脸动画的生成方法及装置
CN108447474B (zh) * 2018-03-12 2020-10-16 北京灵伴未来科技有限公司 一种虚拟人物语音与口型同步的建模与控制方法
CN114144790B (zh) * 2020-06-12 2024-07-02 百度时代网络技术（北京）有限公司 具有三维骨架正则化和表示性身体姿势的个性化语音到视频
CN112541956A (zh) * 2020-11-05 2021-03-23 北京百度网讯科技有限公司 动画合成方法、装置、移动终端和电子设备
CN113035198B (zh) * 2021-02-26 2023-11-21 北京百度网讯科技有限公司 三维人脸的唇动控制方法、设备和介质
CN113611308B (zh) * 2021-09-08 2024-05-07 杭州海康威视数字技术股份有限公司 一种语音识别方法、装置、***、服务器及存储介质
CN114866807A (zh) * 2022-05-12 2022-08-05 平安科技（深圳）有限公司 虚拟形象视频生成方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN115050354A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
US10553201B2 (en) Method and apparatus for speech synthesis
JP7432556B2 (ja) マンマシンインタラクションのための方法、装置、機器および媒体
CN115050354B (zh) 数字人驱动方法和装置
US8224652B2 (en) Speech and text driven HMM-based body animation synthesis
CN114895817B (zh) 交互信息处理方法、网络模型的训练方法及装置
CN109697978B (zh) 用于生成模型的方法和装置
CN111598979B (zh) 虚拟角色的面部动画生成方法、装置、设备及存储介质
CN113450759A (zh) 语音生成方法、装置、电子设备以及存储介质
CN115309877B (zh) 对话生成方法、对话模型训练方法及装置
CN113539240B (zh) 动画生成方法、装置、电子设备和存储介质
CN112989935A (zh) 一种视频生成方法、装置、设备以及存储介质
CN110880198A (zh) 动画生成方法和装置
US20200365144A1 (en) Method and apparatus for speech recognition
CN113096242A (zh) 虚拟主播生成方法、装置、电子设备及存储介质
US20230127787A1 (en) Method and apparatus for converting voice timbre, method and apparatus for training model, device and medium
CN114255737B (zh) 语音生成方法、装置、电子设备
CN114429767A (zh) 视频生成方法、装置、电子设备以及存储介质
CN113035198A (zh) 三维人脸的唇动控制方法、设备和介质
CN115376211A (zh) 唇形驱动方法、唇形驱动模型的训练方法、装置及设备
CN112199502A (zh) 基于情感的诗句生成方法及装置、电子设备和存储介质
CN112910761B (zh) 即时通讯方法、装置、设备、存储介质以及程序产品
CN113744713A (zh) 一种语音合成方法及语音合成模型的训练方法
CN112381926A (zh) 用于生成视频的方法和装置
CN117194625A (zh) 数字人的智能对话方法、装置、电子设备及存储介质
CN114882151A (zh) 虚拟形象视频的生成方法及装置、设备、介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant