CN111460785B - 交互对象的驱动方法、装置、设备以及存储介质 - Google Patents

Abstract

公开了一种交互对象的驱动方法、装置、设备以及存储介质，所述方法包括：获取文本数据对应的音素序列；获取与所述音素序列匹配的交互对象的至少一个局部区域的控制参数值；根据获取的所述控制参数值控制所述交互对象的姿态。

Description

交互对象的驱动方法、装置、设备以及存储介质

技术领域

本公开涉及计算机技术领域，具体涉及一种交互对象的驱动方法、装置、设备以及存储介质。

背景技术

人机交互的方式大多基于按键、触摸、语音进行输入，通过在显示屏上呈现图像、文本或虚拟人物进行回应。目前虚拟人物多是在语音助理的基础上改进得到的，用户与虚拟人物的交互还停留在表面上。

发明内容

本公开实施例提供一种交互对象的驱动方案。

根据本公开的一方面，提供一种交互对象的驱动方法，所述方法包括：获取文本数据对应的音素序列；获取与所述音素序列匹配的交互对象的至少一个局部区域的控制参数值；根据获取的所述控制参数值控制所述交互对象的姿态。

结合本公开提供的任一实施方式，所述方法还包括：根据所述文本数据控制展示所述交互对象的显示设备展示文本，和/或根据所述文本数据对应的音素序列控制所述显示设备输出语音。

结合本公开提供的任一实施方式，所述交互对象的局部区域的控制参数包括所述局部区域的姿态控制向量，所述获取与所述音素序列匹配的交互对象的至少一个局部区域的控制参数值，包括：对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列；根据所述第一编码序列，获取至少一个音素对应的特征编码；获取所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量。

结合本公开提供的任一实施方式，所述对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列，包括：针对所述音素序列包含的多种音素，生成每种音素对应的子编码序列；根据所述多种音素分别对应的子编码序列，获得所述音素序列对应的第一编码序列。

结合本公开提供的任一实施方式，所述针对所述音素序列包含的多种音素，生成每种音素对应的子编码序列，包括：检测各时间点上是否对应有第一音素，所述第一音素为所述多个音素中的任一个；通过将有所述第一音素的时间点上的编码值设置为第一数值，将没有所述第一音素的时间上的编码值设置为第二数值，得到所述第一音素对应的子编码序列。

结合本公开提供的任一实施方式，所述方法还包括：对于第一音素对应的子编码序列，利用高斯滤波器对所述第一音素在时间上的连续值进行高斯卷积操作，所述第一音素为所述多个音素中的任一个。

结合本公开提供的任一实施方式，所述根据获取的所述控制参数值控制所述交互对象的姿态，包括：获取与所述第二编码序列对应的姿态控制向量的序列；根据所述姿态控制向量的序列控制所述交互对象的姿态。

结合本公开提供的任一实施方式，所述方法还包括：在所述音素序列中音素之间的时间间隔大于设定阈值的情况下，根据所述局部区域的设定控制参数值，控制所述交互对象的姿态。

结合本公开提供的任一实施方式，所述获取所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量，包括：将所述特征编码输入至循环神经网络，获得与所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量。

结合本公开提供的任一实施方式，所述神经网络通过获取特征编码样本训练得到；所述方法还包括：获取一角色发出语音的视频段，并根据所述视频段获取多个包含所述角色的第一图像帧；从所述视频段中提取相应的语音段，根据所述语音段获取样本音素序列，并对所述样本音素序列进行特征编码；获取与所述第一图像帧对应的至少一个音素的特征编码；将所述第一图像帧转化为包含所述交互对象的第二图像帧，获取所述第二图像帧对应的至少一个局部区域的姿态控制向量值；根据所述姿态控制向量值，对与所述第一图像帧对应的特征编码进行标注，获得特征编码样本。

结合本公开提供的任一实施方式，所述方法还包括：根据所述特征编码样本对初始循环神经网络进行训练，在网络损失的变化满足收敛条件后训练得到所述循环神经网络，其中，所述网络损失包括所述循环神经网络预测得到的所述至少一个局部区域的姿态控制向量值与标注的姿态控制向量值之间的差异。

根据本公开的一方面，提供一种交互对象的驱动装置，所述装置包括：第一获取单元，用于获取文本数据对应的音素序列；第二获取单元，用于获取与所述音素序列匹配的交互对象的至少一个局部区域的控制参数值；驱动单元，用于根据获取的所述控制参数值控制所述交互对象的姿态。

结合本公开提供的任一实施方式，所述装置还包括输出单元，用于根据所述文本数据控制展示所述交互对象的显示设备展示文本，和/或根据所述文本数据对应的音素序列控制所述显示设备输出语音。

结合本公开提供的任一实施方式，所述第二获取单元具体用于：对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列；根据所述第一编码序列，获取至少一个音素对应的特征编码；获取所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量。

结合本公开提供的任一实施方式，所述第二获取单元在用于对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列时，具体用于：针对所述音素序列包含的多种音素，生成每种音素对应的子编码序列；根据所述多种音素分别对应的子编码序列，获得所述音素序列对应的第一编码序列。

结合本公开提供的任一实施方式，所述第二获取单元在用于针对所述音素序列包含的多种音素，生成每种音素对应的子编码序列时，具体用于：检测各时间点上是否对应有第一音素，所述第一音素为所述多个音素中的任一个；通过将有所述第一音素的时间点上的编码值设置为第一数值，将没有所述第一音素的时间上的编码值设置为第二数值，得到所述第一音素对应的子编码序列。

结合本公开提供的任一实施方式，所述装置还包括滤波单元，用于对于第一音素对应的子编码序列，利用高斯滤波器对所述第一音素在时间上的连续值进行高斯卷积操作，所述第一音素为所述多个音素中的任一个。

结合本公开提供的任一实施方式，所述第二获取单元在用于根据所述第一编码序列，获取至少一个音素对应的特征编码时，具体用于：以设定长度的时间窗口和设定步长，对所述编码序列进行滑窗，将所述时间窗口内的特征编码作为所对应的至少一个音素的特征编码，并根据完成滑窗得到的多个特征编码，获得第二编码序列。

结合本公开提供的任一实施方式，所述驱动单元具体用于：获取与所述第二编码序列对应的姿态控制向量的序列；根据所述姿态控制向量的序列控制所述交互对象的姿态。

结合本公开提供的任一实施方式，所述装置还包括停顿驱动单元，用于在所述音素序列中音素之间的时间间隔大于设定阈值的情况下，根据所述局部区域的设定控制参数值，控制所述交互对象的姿态。

结合本公开提供的任一实施方式，所述第二获取单元在用于获取所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量时，具体用于：将所述特征编码输入至循环神经网络，获得与所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量。

结合本公开提供的任一实施方式，所述神经网络通过获取特征编码样本训练得到；所述装置还包括样本获取单元，用于：获取一角色发出语音的视频段，并根据所述视频段获取多个包含所述角色的第一图像帧；从所述视频段中提取相应的语音段，根据所述语音段获取样本音素序列，并对所述样本音素序列进行特征编码；获取与所述第一图像帧对应的至少一个音素的特征编码；将所述第一图像帧转化为包含所述交互对象的第二图像帧，获取所述第二图像帧对应的至少一个局部区域的姿态控制向量值；根据所述姿态控制向量值，对与所述第一图像帧对应的特征编码进行标注，获得特征编码样本。

结合本公开提供的任一实施方式，所述装置还包括训练单元，用于根据所述特征编码样本对初始循环神经网络进行训练，在网络损失的变化满足收敛条件后训练得到所述循环神经网络，其中，所述网络损失包括所述循环神经网络预测得到的所述至少一个局部区域的姿态控制向量值与标注的姿态控制向量值之间的差异。

根据本公开的一方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开提供的任一实施方式所述的交互对象的驱动方法。

根据本公开的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开提供的任一实施方式所述的交互对象的驱动方法。

本公开一个或多个实施例的交互对象的驱动方法、装置、设备及计算机可读存储介质，通过获取文本数据对应的音素序列，并获取与所述音素序列匹配的交互对象的至少一个局部区域的控制参数值，来控制所述交互对象的姿态，可以使交互对象做出与文本数据所包含的音素匹配的姿态，包括面部姿态和肢体姿态，从而使目标对象产生交互对象正在说出文本内容的感觉，提升了目标对象的交互体验。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本公开至少一个实施例提出的交互对象的驱动方法中显示设备的示意图；

图2是本公开至少一个实施例提出的交互对象的驱动方法的流程图；

图3是本公开至少一个实施例提出的对音素序列进行特征编码的过程示意图；

图4是本公开至少一个实施例提出的交互对象的驱动装置的结构示意图；

图5是本公开至少一个实施例提出的电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

本公开至少一个实施例提供了一种交互对象的驱动方法，所述驱动方法可以由终端设备或服务器等电子设备执行，所述终端设备可以是固定终端或移动终端，例如手机、平板电脑、游戏机、台式机、广告机、一体机、车载终端等等，所述服务器包括本地服务器或云端服务器等，所述方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

在本公开实施例中，交互对象可以是任意一种能够与目标对象进行交互的交互对象，其可以是虚拟人物，还可以是虚拟动物、虚拟物品、卡通形象等等其他能够实现交互功能的虚拟形象，虚拟形象的展现形式即可以是2D形式也可以是3D形式，本公开对此并不限定。所述目标对象可以是用户，也可以是机器人，还可以是其他智能设备。所述交互对象和所述目标对象之间的交互方式可以是主动交互方式，也可以是被动交互方式。一示例中，目标对象可以通过做出手势或者肢体动作来发出需求，通过主动交互的方式来触发交互对象与其交互。另一示例中，交互对象可以通过主动打招呼、提示目标对象做出动作等方式，使得目标对象采用被动方式与交互对象进行交互。

所述交互对象可以通过终端设备进行展示，所述终端设备可以是电视机、带有显示功能的一体机、投影仪、虚拟现实(Virtual Reality，VR)设备、增强现实(AugmentedReality，AR)设备等，本公开并不限定终端设备的具体形式。

图1示出本公开至少一个实施例提出的显示设备。如图1所示，该显示设备具有透明显示屏的显示设备，其可以在透明显示屏上显示立体画面，以呈现出具有立体效果的虚拟场景以及交互对象。例如图1中透明显示屏显示的交互对象有虚拟卡通人物。在一些实施例中，本公开中所述的终端设备也可以为上述具有透明显示屏的显示设备，显示设备中配置有存储器和处理器，存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开提供的交互对象的驱动方法，以驱动透明显示屏中显示的交互对象对目标对象进行回应。

在一些实施例中，响应于终端设备接收到用于驱动交互对象输出语音的声音驱动数据，交互对象可以对目标对象发出指定语音。可以根据终端设备周边目标对象的动作、表情、身份、偏好等，生成声音驱动数据，以驱动交互对象通过发出指定语音进行回应，从而为目标对象提供拟人化的服务。在交互对象与目标对象的交互过程中，存在根据该声音驱动数据驱动交互对象发出指定语音的同时，无法驱动所述交互对象做出与该指定语音同步的面部动作，使得交互对象在发出语音时呆板、不自然，影响了目标对象与交互体验。基于此，本公开至少一个实施例提出一种交互对象的驱动方法，以提升目标对象与交互对象进行交互的体验。

图2示出根据本公开至少一个实施例的交互对象的驱动方法的流程图，如图2所示，所述方法包括步骤201～步骤203。

在步骤201中获取文本数据对应的音素序列。

所述文本数据可以是用于驱动所述交互对象的驱动数据。该驱动数据可以是根据与交互对象进行交互的目标对象的动作、表情、身份、偏好等生成的驱动数据，也可以是终端设备从内部存储器调用的驱动数据。本公开对于该文本数据的获取方式不进行限制。

在本公开实施例中，可以根据文本所包含的语素，获得所述语素所包含的音素，从而获得文本对应的音素序列。其中，音素是根据语音的自然属性划分出来的最小语音单元，真实人物一个发音动作能够形成一个音素。

响应于所述文本为中文文本，可以通过将中文本文字转换成拼音，利用拼音生成音素序列，并生成每个音素的时间戳。

在步骤202中，获取与所述音素序列匹配的交互对象的至少一个局部区域的控制参数值。

所述局部区域是对交互对象的整体(包括面部和/或身体)进行划分而得到的。面部的其中一个局部区域可以对应于交互对象的一系列面部表情或动作，例如眼部区域可以对应于交互对象睁眼、闭眼、眨眼、视角变换等面部动作；又例如嘴部区域对应于交互对象闭嘴、不同程度的张嘴等面部动作。而身体的其中一个局部区域可以对应于交互对象的一系列肢体动作，例如腿部区域可以对应于交互对象走路、跳跃、踢腿等动作。

所述交互对象的局部区域的控制参数，包括所述局部区域的姿态控制向量。每个局部区域的姿态控制向量用于驱动所述交互对象的所述局部区域进行动作。不同的姿态控制向量值对应于不同的动作或者动作幅度。例如，对于嘴部区域的姿态控制向量，其一组姿态控制向量值可以使所述交互对象的嘴部微张，而另一组姿态控制向量值可以使所述交互对象的嘴部大张。通过以不同的姿态控制向量值来驱动所述交互对象，可以使相应的局部区域做出不同动作或者不同幅度的动作。

局部区域可以根据需要控制的交互对象的动作进行选择，例如在需要控制所述交互对象面部以及肢体同时进行动作时，可以获取全部局部区域的姿态控制向量；在需要控制所述交互对象的表情时，则可以获取所述面部所对应的局部区域的姿态控制向量。

在本公开实施例中，可以通过对所述音素序列进行特征编码，确定特征编码所对应的姿态参数值，从而确定所述音素系列对应的姿态参数值。不同的编码方式可以体现所述音素序列的不同特征。对于具体的编码方式本公开对此不进行限制。

在本公开实施例中，可以预先建立所述文本数据对应的音素序列的特征编码与交互对象的控制参数值的对应关系，在获得了文本驱动数据的情况下，即可获得对应的控制参数值。获取与所述文本数据的音素序列的特征编码匹配的控制参数值的具体方法容后详述。

在步骤203中，根据获取的所述控制参数值控制所述交互对象的姿态。

其中，所述控制参数值，例如姿态控制向量值，是与所述文本数据所包含的音素序列相匹配的。例如，在根据所述文本数据控制展示所述交互对象的显示设备展示文本，和/或根据所述文本数据对应的音素序列控制所述显示设备输出语音时，交互对象所做出的姿态与输出的语音和/或展示的文本是同步的，给目标对象以所述交互对象正在说话的感觉。

在本公开实施例中，通过获取文本数据对应的音素序列，并获取与所述音素序列匹配的交互对象的至少一个局部区域的控制参数值，来控制所述交互对象的姿态，可以使交互对象做出与文本数据所包含的音素匹配的姿态，包括面部姿态和肢体姿态，从而使目标对象产生交互对象正在说出文本内容的感觉，提升了目标对象的交互体验。

在一些实施例中，所述方法应用于服务器，包括本地服务器或云端服务器等，所述服务器对于文本数据进行处理，生成所述交互对象的姿态参数值，并根据所述姿态参数值利用三维渲染引擎进行渲染，得到所述交互对象的回应动画。所述服务器可以将所述回应动画发送至终端进行展示来对目标对象进行回应，还可以将所述回应动画发送至云端，以使终端能够从云端获取所述回应动画来对目标对象进行回应。在服务器生成所述交互对象的姿态参数值后，还可以将所述姿态参数值发送至终端，以使终端完成渲染、生成回应动画、进行展示的过程。

在一些实施例中，所述方法应用于终端，所述终端对于文本数据进行处理，生成所述交互对象的姿态参数值，并根据所述姿态参数值利用三维渲染引擎进行渲染，得到所述交互对象的回应动画，所述终端可以展示所述回应动画以对目标对象进行回应。

在一些实施例中，可以根据所述文本数据控制展示所述交互对象的显示设备展示文本，和/或根据所述文本数据对应的音素序列控制所述显示设备输出语音。

在本公开实施例中，由于所述姿态参数值是与所述文本数据的音素序列是匹配的，因此根据所述文本数据输出的语音和/或文本，与根据所述姿态参数值控制交互对象的姿态是同步进行的情况下，交互对象所做出的姿态与输出的语音和/或文本是同步的，给目标对象以所述交互对象正在说话的感觉。

在一些实施例中，在所述交互对象的至少一个局部区域的控制参数包括姿态控制向量的情况下，可以通过以下方式获得姿态控制向量。

首先，对所述音素序列进行特征编码，获得所述音素序列对应的编码序列。此处，为了与后续提到的编码序列进行区分，将所述文本数据的音素序列对应的编码序列称为第一编码序列。

针对所述音素序列包含的多种音素，生成每种音素对应的子编码序列。

在一个示例中，检测各时间点上是否对应有第一音素，所述第一音素为所述多个音素中的任一个；将有所述第一音素的时间点上的编码值设置为第一数值，将没有所述第一音素的时间上的编码值设置为第二数值，在对各个时间点上的编码值进行赋值之后可得到第一音素对应的编码序列。例如，可以在有所述第一音素的时间上的编码值设置为1，在没有所述第一音素的时间上的编码值为0。本领域技术人员应当理解，上述编码值的设置仅为示例，也可以将编码值设置为其他值，本公开对此不进行限制。

之后，根据所述多种音素分别对应的子编码序列，获得所述音素序列对应的第一编码序列。

在一个示例中，对于第一音素对应的子编码序列，可利用高斯滤波器对所述第一音素在时间上的连续值进行高斯卷积操作，以对特征编码所对应的矩阵进行滤波，平滑每一个音素转换时，嘴部区域过渡的动作。

图3示出了本公开至少一个实施例提出的交互对象的驱动方法的示意图。如图3所示，音素序列310含音素j、i1、j、ie4(为简洁起见，只示出部分音素)，针对每种音素j、i1、ie4分别获得与上述各音素分别对应的子编码序列321、322、323。在各个子编码序列中，在有所述音素的时间上对应的编码值为第一数值(例如为1)，在没有所述音素的时间上对应的编码值为第二数值(例如为0)。以子编码序列321为例，在音素序列310中有音素j的时间上，子编码序列321的值为第一数值，在没有音素j的时间上，子编码序列321的值为第二数值。所有子编码序列构成第一编码序列320。

接下来，根据所述第一编码序列，获取至少一个音素对应的特征编码。

根据音素j、i1、ie4分别对应的子编码序列321、322、323的编码值，以及该三个子编码序列中对应的音素的持续时间，也即在子编码序列321中j的持续时间、在子编码序列322中i1的持续时间、在子编码序列323中ie4的持续时间，可以获得子编码序列321、322、323的特征信息。

在一个示例中，可以利用高斯滤波器对分别子编码序列321、322、323中的音素j、i1、ie4在时间上的连续值进行高斯卷积操作，以对特征编码进行平滑，得到平滑后的第一编码序列330。也即，通过高斯滤波器对于音素的0-1的时间上的连续值进行高斯卷积操作，使得各个编码序列中编码值从第二数值到第一数值或者从第一数值到第二数值的变化阶段变得平滑。例如，编码序列的值除了0和1也呈现出中间状态的值，例如0.2、0.3等等，而根据这些中间状态的值所获取的姿态控制向量，使得交互人物的动作过度、表情变化更加平缓、自然，提高了目标对象的交互体验。

在一些实施例中，可以通过在所述第一编码序列上进行滑窗的方式获取至少一个音素对应的特征编码。其中，所述第一编码序列可以是经过高斯卷积操作后的编码序列。

以设定长度的时间窗口和设定步长，对所述编码序列进行滑窗，将所述时间窗口内的特征编码作为所对应的至少一个音素的特征编码，在完成滑窗后，根据得到的多个特征编码，则可以获得第二编序列。如图3所示，通过在第一编码序列320或者平滑后的第一编码序列330上，滑动设定长度的时间窗口，分别获得特征编码1、特征编码2、特征编码3，以此类推，在遍历第一编码序列后，获得特征编码1、2、3、…、M，从而得到了第二编码序列340。其中，M为正整数，其数值根据第一编码序列的长度、时间窗口的长度以及时间窗口滑动的步长确定。

根据特征编码1、2、3、…、M，分别可以获得相应的姿态控制向量1、2、3、…、M，从而获得姿态控制向量的序列350。

姿态控制向量的序列350与第二编码序列340在时间上是对齐的，由于所述第二编码序列中的每个编码特征是根据音素序列中的至少一个音素获得的，因此姿态控制向量的序列350中的每个特征向量同样是根据音素序列中的至少一个音素获得的。在播放文本数据所对应的音素序列的同时，根据所述姿态控制向量的序列驱动所述交互对象做出动作，即能够实现驱动交互对象发出文本内容所对应的声音的同时，做出与声音同步的动作，给目标对象以所述交互对象正在说话的感觉，提升了目标对象的交互体验。

假设在第一个时间窗口的设定时刻开始输出编码特征，可以将在所述设定时刻之前的姿态控制向量设置为默认值，也即在刚开始播放音素序列时，使所述交互对象做出默认的动作，在所述设定时刻之后开始利用根据第一编码序列所得到的姿态控制向量的序列驱动所述交互对象做出动作。以图3为例，在t0时刻开始输出编码特征1，在t0时刻之前对应的是默认姿态控制向量。

所述时间窗口的时长，与所述编码特征所包含的信息量相关。在时间窗口所含的信息量较大的情况下，经所述循环神经网络处理会输出较均匀的结果。若时间窗口过大，可能导致交互对象说话时表情无法与部分字对应；若时间窗口过小，可能导致交互对象说话时表情显得生硬。因此，时间窗口的时长需要根据文本数据所对应的音素持续的最小时间来确定，以使驱动所述交互对象所做出的动作与声音具有更强的关联性。

进行滑窗的步长与获取姿态控制向量的时间间隔(频率)相关，也即与驱动交互对象做出动作的频率相关。可以根据实际的交互场景来设置该设定所述时间窗口的时长以及步长，以使交互对象做出的表情和动作与声音的关联性更强，并且更加生动、自然。

在一些实施例中，在所述音素序列中音素之间的时间间隔大于设定阈值的情况下，根据所述局部区域的设定姿态控制向量，驱动所述交互对象做出动作。也即，在交互人物说话停顿较长的时候，则驱动交互对象做出设定的动作。例如，在输出的声音停顿较大时，可以使交互人物做出微笑的表情，或者做出身体微微的摆动，以避免在停顿较长时交互人物面无表情地直立，使得交互对象说话的过程自然、流畅，提高目标对象的交互感受。

在一些实施例中，可以通过将所述特征编码输入至预先训练的循环神经网络，所述循环神经网络根据所述第一编码序列，输出与所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量。由于所述循环神经网络是一种时间递归神经网络，其可以学习所输入的编码特征的历史信息，根据所述编码征序列输出所述至少一个局部区域的姿态控制向量。其中，所述编码特征序列包括第一编码特征序列和第二编码特征序列。所述循环神经网络例如可以是长短期记忆网络(Long Short-Term Memory，LSTM)。

在本公开实施例中，利用预先训练的循环神经网络获取所述编码特征对应的所述交互对象的至少一个局部区域的姿态控制向量，将编码特征的历史特征信息和当前特征信息进行融合，从而使得历史姿态控制向量对当前姿态控制向量的变化产生影响，使得交互人物的表情变化和肢体动作更加平缓、自然。

在一些实施例中，可以通过以下方式对所述循环卷积神经网络进行训练。

首先，获取特征编码样本，所述特征编码样本标注有真实值，所述真实值为所述交互对象的至少一个局部区域的姿态控制向量值。

在获得了获取特征编码样本后，根据所述特征编码样本对初始循环神经网络进行训练，在网络损失的变化满足收敛条件后训练得到所述循环神经网络，其中，所述网络损失包括所述初始循环神经网络预测得到的所述至少一个局部区域的姿态控制向量值与所述真实值之间的差异。

在一些实施例中，可以通过以下方法获取特征编码样本。

首先，获取一角色发出语音的视频段，并根据所述视频段获取多个包含所述角色的第一图像帧。例如，可以获取一真实人物正在说话的视频段。

接下来，从所述视频段中提取相应的语音段，根据所述语音段获取样本音素序列，并对所述样本音素序列进行特征编码。其中，对所述样本音素序列进行编码的方式与上述的文本数据对应的音素序列的编码方式相同。

根据对所述样本音素序列进行特征编码所得到的样本编码序列，获取与所述第一图像帧对应的至少一个音素的特征编码。其中，所述至少一个音素可以是在所述第一图像帧出现时间的设定范围内的音素。

接着，将所述第一图像帧转化为包含所述交互对象的第二图像帧，获取所述第二图像帧对应的至少一个局部区域的姿态控制向量值。可以获得所有局部区域的姿态控制向量值，也可以获得其中部分的局部区域的姿态控制向量值。

以所述第一图像帧为包含真实人物的图像帧为例，可以将该真实人物转换为包含交互对象所表示的形象的第二图像帧，并且所述真实人物的各个局部区域的姿态控制向量与所述交互对象的各个局部区域的姿态控制向量是对应的。

最后，根据所述姿态控制向量值对上述所获得的所述第一图像帧对应的至少一个音素的特征编码进行标注，获得特征编码样本。

在本公开实施例中，通过将一角色的视频段，拆分为对应的多个第一图像帧和语音段，通过将包含真实角色的第一图像帧转化为包含交互对象的第二图像帧来获取音素的特征编码对应的姿态控制向量，使得编码特征与姿态控制向量的对应性好，从而获得高质量的编码特征样本，使得交互对象的动作更接近于对应角色的真实动作。

图4示出根据本公开至少一个实施例的交互对象的驱动装置的结构示意图，如图4所示，该装置可以包括：第一获取单元401，用于获取文本数据对应的音素序列；第二获取单元402，用于获取与所述音素序列匹配的交互对象的至少一个局部区域的控制参数值；驱动单元403，用于根据获取的所述控制参数值控制所述交互对象的姿态。

在一些实施例中，所述装置还包括输出单元，用于根据所述文本数据控制展示所述交互对象的显示设备展示文本，和/或根据所述文本数据对应的音素序列控制所述显示设备输出语音。

在一些实施例中，所述第二获取单元具体用于：对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列；根据所述第一编码序列，获取至少一个音素对应的特征编码；获取所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量。

在一些实施例中，所述第二获取单元在用于对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列时，具体用于：针对所述音素序列包含的多种音素，生成每种音素对应的子编码序列；根据所述多种音素分别对应的子编码序列，获得所述音素序列对应的第一编码序列。

在一些实施例中，所述第二获取单元在用于针对所述音素序列包含的多种音素，生成每种音素对应的子编码序列时，具体用于：检测各时间点上是否对应有第一音素，所述第一音素为所述多个音素中的任一个；通过将有所述第一音素的时间点上的编码值设置为第一数值，将没有所述第一音素的时间上的编码值设置为第二数值，得到所述第一音素对应的子编码序列。

在一些实施例中，所述装置还包括滤波单元，用于对于第一音素对应的子编码序列，利用高斯滤波器对所述第一音素在时间上的连续值进行高斯卷积操作，所述第一音素为所述多个音素中的任一个。

在一些实施例中，所述第二获取单元在用于根据所述第一编码序列，获取至少一个音素对应的特征编码时，具体用于：以设定长度的时间窗口和设定步长，对所述编码序列进行滑窗，将所述时间窗口内的特征编码作为所对应的至少一个音素的特征编码，并根据完成滑窗得到的多个特征编码，获得第二编码序列。

在一些实施例中，所述驱动单元具体用于：获取与所述第二编码序列对应的姿态控制向量的序列；根据所述姿态控制向量的序列控制所述交互对象的姿态。

在一些实施例中，所述装置还包括停顿驱动单元，用于在所述音素序列中音素之间的时间间隔大于设定阈值的情况下，根据所述局部区域的设定控制参数值，控制所述交互对象的姿态。

在一些实施例中，所述第二获取单元在用于获取所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量时，具体用于：将所述特征编码输入至循环神经网络，获得与所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量。

在一些实施例中，所述神经网络通过音素序列样本训练得到；所述装置还包括样本获取单元，用于：获取一角色发出语音的视频段，并根据所述视频段获取多个包含所述角色的第一图像帧；从所述视频段中提取相应的语音段，根据所述语音段获取样本音素序列，并对所述样本音素序列进行特征编码；获取与所述第一图像帧对应的至少一个音素的特征编码；将所述第一图像帧转化为包含所述交互对象的第二图像帧，获取所述第二图像帧对应的至少一个局部区域的姿态控制向量值；根据所述姿态控制向量值，对所述第一图像帧对应的特征编码进行标注，获得特征编码样本。

在一些实施例中，所述装置还包括训练单元，用于根据所述特征编码样本对初始循环神经网络进行训练，在网络损失的变化满足收敛条件后训练得到所述循环神经网络，其中，所述网络损失包括所述循环神经网络预测得到的所述至少一个局部区域的姿态控制向量值与标注的姿态控制向量值之间的差异。

本说明书至少一个实施例还提供了一种电子设备，如图5所示，所述设备包括存储器、处理器，存储器用于存储可在处理器上运行的计算机指令，处理器用于在执行所述计算机指令时实现本公开任一实施例所述的交互对象的驱动方法。

本说明书至少一个实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的交互对象的驱动方法。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、***或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位***(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种***模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和***通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (19)

1.一种交互对象的驱动方法，其特征在于，所述方法包括：

获取文本数据对应的音素序列，根据所述文本数据的音素序列控制所述交互对象的显示设备输出语音，其中，所述文本数据是用于驱动所述交互对象的驱动数据，所述驱动数据根据与交互对象进行交互的目标对象的动作、表情、身份、偏好生成，或者从内部存储器调用；

对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列；

根据所述第一编码序列，获取至少一个音素对应的特征编码；

获取所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量，每个局部区域的姿态控制向量用于驱动所述交互对象的所述局部区域进行动作，所述局部区域是对交互对象的整体进行划分而得到的，所述交互对象的整体包括面部和/或身体；

根据获取的所述姿态控制向量控制所述交互对象的姿态。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述文本数据控制展示所述交互对象的显示设备展示文本。

3.根据权利要求1所述的方法，其特征在于，所述对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列，包括：

针对所述音素序列包含的多种音素，生成每种音素对应的子编码序列；

根据所述多种音素分别对应的子编码序列，获得所述音素序列对应的第一编码序列。

4.根据权利要求3所述的方法，其特征在于，所述针对所述音素序列包含的多种音素，生成每种音素对应的子编码序列，包括：

检测各时间点上是否对应有第一音素，所述第一音素为所述多种音素中的任一种；

通过将有所述第一音素的时间点上的编码值设置为第一数值，将没有所述第一音素的时间上的编码值设置为第二数值，得到所述第一音素对应的子编码序列。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对于第一音素对应的子编码序列，利用高斯滤波器对所述第一音素在时间上的连续值进行高斯卷积操作，所述第一音素为所述多种音素中的任一种。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述第一编码序列，获取至少一个音素对应的特征编码，包括：

以设定长度的时间窗口和设定步长，对所述编码序列进行滑窗，将所述时间窗口内的特征编码作为所对应的至少一个音素的特征编码，并根据完成滑窗得到的多个特征编码，获得第二编码序列；

所述根据获取的所述姿态控制向量控制所述交互对象的姿态，包括：

获取与所述第二编码序列对应的姿态控制向量的序列；

根据所述姿态控制向量的序列控制所述交互对象的姿态。

7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

在所述音素序列中音素之间的时间间隔大于设定阈值的情况下，根据所述局部区域的设定控制参数值，控制所述交互对象的姿态。

8.根据权利要求1所述的方法，其特征在于，所述获取所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量，包括：

将所述特征编码输入至循环神经网络，获得与所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量。

9.根据权利要求8所述的方法，其特征在于，所述神经网络通过获取特征编码样本训练得到；

所述方法还包括：

获取一角色发出语音的视频段，并根据所述视频段获取多个包含所述角色的第一图像帧；

从所述视频段中提取相应的语音段，根据所述语音段获取样本音素序列，并对所述样本音素序列进行特征编码；

获取与所述第一图像帧对应的至少一个音素的特征编码；

将所述第一图像帧转化为包含所述交互对象的第二图像帧，获取所述第二图像帧对应的至少一个局部区域的姿态控制向量值；

根据所述姿态控制向量值，对与所述第一图像帧对应的特征编码进行标注，获得特征编码样本。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

根据所述特征编码样本对初始循环神经网络进行训练，在网络损失的变化满足收敛条件后训练得到所述循环神经网络，其中，所述网络损失包括所述循环神经网络预测得到的所述至少一个局部区域的姿态控制向量值与标注的姿态控制向量值之间的差异。

11.一种交互对象的驱动装置，其特征在于，所述装置包括：

第一获取单元，用于获取文本数据对应的音素序列，其中，所述文本数据是用于驱动所述交互对象的驱动数据，所述驱动数据根据与交互对象进行交互的目标对象的动作、表情、身份、偏好生成，或者从内部存储器调用；

输出单元，用于根据所述文本数据的音素序列控制所述交互对象的显示设备输出语音；

第二获取单元，用于对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列，根据所述第一编码序列，获取至少一个音素对应的特征编码；

获取所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量，每个局部区域的姿态控制向量用于驱动所述交互对象的所述局部区域进行动作，所述局部区域是对交互对象的整体进行划分而得到的，所述交互对象的整体包括面部和/或身体；

驱动单元，用于根据获取的所述姿态控制向量控制所述交互对象的姿态。

12.根据权利要求11所述的装置，其特征在于，所述输出单元还用于根据所述文本数据控制展示所述交互对象的显示设备展示文本。

13.根据权利要求11所述的装置，其特征在于，所述第二获取单元在用于对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列时，具体用于：

针对所述音素序列包含的多种音素，生成每种音素对应的子编码序列；

根据所述多种音素分别对应的子编码序列，获得所述音素序列对应的第一编码序列。

14.根据权利要求13所述的装置，其特征在于，所述第二获取单元在用于根据所述第一编码序列，获取至少一个音素对应的特征编码时，具体用于：

以设定长度的时间窗口和设定步长，对所述编码序列进行滑窗，将所述时间窗口内的特征编码作为所对应的至少一个音素的特征编码，并根据完成滑窗得到的多个特征编码，获得第二编码序列；

所述驱动单元具体用于：

获取与所述第二编码序列对应的姿态控制向量的序列；

根据所述姿态控制向量的序列控制所述交互对象的姿态。

15.根据权利要求11至14任一项所述的装置，其特征在于，所述装置还包括停顿驱动单元，用于在所述音素序列中音素之间的时间间隔大于设定阈值的情况下，根据所述局部区域的设定控制参数值，控制所述交互对象的姿态。

16.根据权利要求13所述的装置，其特征在于，所述第二获取单元在用于获取所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量时，具体用于：将所述特征编码输入至循环神经网络，获得与所述特征编码对应的所述交互对象的至少一个局部区域的姿态控制向量。

17.根据权利要求16所述的装置，其特征在于，所述装置还包括样本获取单元，用于：

获取一角色发出语音的视频段，并根据所述视频段获取多个包含所述角色的第一图像帧；

从所述视频段中提取相应的语音段，根据所述语音段获取样本音素序列，并对所述样本音素序列进行特征编码；

获取与所述第一图像帧对应的至少一个音素的特征编码；

将所述第一图像帧转化为包含所述交互对象的第二图像帧，获取所述第二图像帧对应的至少一个局部区域的姿态控制向量值；

根据所述姿态控制向量值，对与所述第一图像帧对应的特征编码进行标注，获得特征编码样本；

所述装置还包括训练单元，用于根据所述特征编码样本对初始循环神经网络进行训练，在网络损失的变化满足收敛条件后训练得到所述循环神经网络，其中，所述网络损失包括所述循环神经网络预测得到的所述至少一个局部区域的姿态控制向量值与标注的姿态控制向量值之间的差异。

18.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至10任一项所述的方法。

19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至10中任一所述的方法。

Images