CN106981099B - 用于操作三维动画角色的方法和装置 - Google Patents

用于操作三维动画角色的方法和装置 Download PDF

Info

Publication number
CN106981099B
CN106981099B CN201710188918.7A CN201710188918A CN106981099B CN 106981099 B CN106981099 B CN 106981099B CN 201710188918 A CN201710188918 A CN 201710188918A CN 106981099 B CN106981099 B CN 106981099B
Authority
CN
China
Prior art keywords
animation
sample
target
segment
staring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710188918.7A
Other languages
English (en)
Other versions
CN106981099A (zh
Inventor
方小致
陈军宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Black Mirror Technology Co., Ltd.
Original Assignee
Xiamen Black Mirror Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Black Mirror Technology Co ltd filed Critical Xiamen Black Mirror Technology Co ltd
Priority to CN201710188918.7A priority Critical patent/CN106981099B/zh
Publication of CN106981099A publication Critical patent/CN106981099A/zh
Application granted granted Critical
Publication of CN106981099B publication Critical patent/CN106981099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了用于操作三维动画角色的方法和装置。该方法的一具体实施方式包括：获取三维动画角色的眼睛位置参数、三维动画角色的待执行注视操作的视线朝向参数以及待执行注视操作所注视的目标点的目标点位置参数；将各参数转换为与机器学习模型相匹配的输入向量并输入至机器学习模型；根据机器学习模型的输出向量确定融合时对各个样本注视动画片段所使用的目标融合权重系数；按照所确定的目标融合权重系数，使用样本注视动画片段序列中的样本注视动画片段进行融合，得到三维动画角色执行待执行注视操作的目标注视动画片段，最后通过短时傅里叶变换为目标注视动画片段添加情绪风格，该实施方式能自动生成逼真生动的三维动画角色注视动画片段。

Description

用于操作三维动画角色的方法和装置
技术领域
本申请涉及计算机技术领域，具体涉及动画技术领域，尤其涉及用于操作三维动画角色的方法和装置。
背景技术
注视(gaze)行为是人类行为***里面一个很重要的组成部分，人类有百分之八十左右的信息是通过视觉获得的。而在模仿人类行为的三维动画角色中，三维动画角色所执行的注视行为一定程度上影响着三维动画角色的表现力。
目前在生成三维动画角色作出注视行为的动画片段时，一般是通过反向动力学的方法调整相关的骨骼，使眼睛的朝向定位到目标位置点。然而，这种方案通常会导致通常僵硬，逼真度较差。
发明内容
本申请的目的在于提出一种改进的用于操作三维动画角色的方法和装置，来解决以上背景技术部分提到的技术问题。
第一方面，本申请实施例提供了一种用于操作三维动画角色的方法，该方法包括：获取三维动画角色的眼睛位置参数、所述三维动画角色的待执行注视操作的视线朝向参数以及所述待执行注视操作所注视的目标点的目标点位置参数；
将所述眼睛位置参数、所述视线朝向参数以及所述目标点位置参数转换为与预先训练的机器学习模型相匹配的输入向量并输入至所述机器学习模型，其中所述机器学习模型用于表征三维动画角色的眼睛位置参数、注视操作的视线朝向参数以及注视操作所注视的目标点的目标点位置参数所对应的向量与使用样本注视动画片段序列融合成三维动画角色执行注视操作的注视动画片段时各个样本注视动画片段的融合权重系数所对应的向量之间的映射关系；
根据所述机器学习模型的输出向量中的各个分量确定融合时对各个样本注视动画片段所使用的目标融合权重系数；
按照所确定的目标融合权重系数，使用所述样本注视动画片段序列中的样本注视动画片段进行融合，得到所述三维动画角色执行所述待执行注视操作的目标注视动画片段；
将所述目标注视动画片段的时域动画数据进行短时傅里叶变换，获得所述目标注视动画片段的频谱数据Rn(w)；
获取情绪的频谱数据△Rn(w)；
通过下述方式获得目标带情绪的注视动画片段的频谱数据Re(w)：
Re(w)＝Rn(w)+△Rn(w)；
将所述目标带情绪注视动画片段的频谱数Re(w)据通过短时傅里叶逆变换，转换成目标带情绪的注视动画片段的时域数据，得到所述三维动画角色执行所述待执行注视操作的目标带情绪注视动画片段。
在一些实施例中，机器学习模型是以下任一种：径向基函数神经网络模型、K近邻分类算法模型、超多面体模型。
在一些实施例中，当机器学习模型为径向基函数神经网络模型时，方法还包括径向基函数神经网络模型训练步骤，径向基函数神经网络模型训练步骤包括：针对样本注视动画片段序列中的各个样本注视动画片段，将样本注视动画片段中三维动画角色的眼睛位置参数、注视操作的视线朝向参数、注视操作的所注视的目标点的目标点位置参数转换为第一向量，并根据样本注视动画片段在样本注视动画片段序列中的次序生成第二向量，其中，第二向量的维度是样本注视动画片段序列中样本注视动画片段的个数，且第二向量中与样本注视动画片段的次序对应的分量上置1，其它分量置0；将样本注视动画片段对应的第一向量与第二向量分别作为训练径向基函数神经网络模型时所使用的输入向量与输出向量，训练径向基函数神经网络模型。
在一些实施例中，在径向基函数神经网络模型训练步骤之前，上述方法还包括：根据样本注视动画片段中起始动画帧与末尾动画帧的动画数据，生成样本注视动画片段序列中各个样本注视动画片段中三维动画角色的眼睛位置参数、注视操作的视线朝向参数、注视操作的所注视的目标点的目标点位置参数中的一项或多项。
在一些实施例中，上述根据机器学习模型的输出向量中的各个分量确定融合时对各个样本注视动画片段所使用的目标融合权重系数，包括：根据分量值大小从输出向量中的分量中选出多个分量；将多个分量分别在输出向量中的序号所对应的样本注视动画片段确定为融合用样本注视动画片段，并根据多个分量的分量值确定各个融合用样本注视动画片段的融合用融合权重系数；以及，上述按照所确定的目标融合权重系数，使用样本注视动画片段序列中的样本注视动画片段进行融合，得到三维动画角色执行待执行注视操作的目标注视动画片段，包括：按照融合用融合权重系数，使用各个融合用样本注视动画片段进行融合，得到目标注视动画片段。
在一些实施例中，上述根据分量值大小从输出向量中的分量中选出多个分量，包括以下一项或多项：从输出向量中的分量中选出分量值最大的预设数目个分量；从输出向量中的分量中选出分量值大于第一分量阈值的分量；将输出向量中的分量按分量值从高到低的次序依次添加至所选分量中，直至所选分量的总分量值大于第二分量阈值。
在一些实施例中，上述按照所确定的目标融合权重系数，使用样本注视动画片段序列中的样本注视动画片段进行融合，得到三维动画角色执行待执行注视操作的目标注视动画片段，包括：将样本注视动画片段序列中用于融合的样本注视动画片段缩放至统一时间长度；按照所确定的目标融合权重系数，对缩放后的样本注视动画片段进行融合，得到目标注视动画片段；按照目标融合权重系数，对各个样本注视动画片段的时间长度进行加权平均，得到所述统一时间长度。
在一些实施例中，上述按照所确定的目标融合权重系数，使用样本注视动画片段序列中的样本注视动画片段进行融合，得到三维动画角色执行待执行注视操作的目标注视动画片段，包括：按照所确定的目标融合权重系数，对样本注视动画片段序列中的样本注视动画片段的骨骼参数进行插值计算，得到目标注视动画片段的骨骼参数。
在一些实施例中，获取情绪的频谱数据△Rn(w)，包括：在样本注视动画片段序列中选取至少一个样本注视动画片段；获取至少一个样本注视动画片段对应的若干个带情绪样本注视动画片段；获取至少一个样本注视动画片段对应的若干个带情绪样本注视动画片段的时域动画数据，将至少一个样本注视动画片段及其所对应的若干个带情绪样本注视动画片段的时域动画数据进行短时傅里叶变换，获得其频谱动画数据；将各个带情绪样本注视动画片段的频谱动画数据分别减掉其对应的样本注视动画片段的频谱动画数据，获得各个情绪的频谱数据△Rn(w)。
在一些实施例中，将目标注视动画片段的时域动画数据进行短时傅里叶变换，获得所述目标注视动画片段的频谱数据Rn(w)，包括：目标注视动画片段的频谱数据Rn(w)为若干个矩阵数据；目标动画时域动画数据的自由度数量为所述矩阵的个数，其中，自由度对应的频域动画数据的频率个数以及时域动画数据的时长分别作为所述矩阵的的行数和列数，并根据每个自由度在相应的时间点和频率上对应的幅值确定矩阵中对应元素的元素值。
在一些实施例中，通过下述方式获得目标带情绪的注视动画片段的频谱数据Re(w)：Re(w)＝Rn(w)+△Rn(w)，包括：将情绪的频谱数据△Rn(w)分别与目标注视动画片段的频谱数据Rn(w)的若干个矩阵数据相加，获得目标带情绪的注视动画片段的频谱数据Re(w)。
在一些实施例中，上述方法还包括：确定目标点在目标带情绪注视动画片段的末尾动画帧中所匹配的目标视线朝向参数；使用反向动力学调整末尾动画帧中三维动画角色的骨骼参数，以将末尾动画帧中动画角色的当前视线朝向参数调整至目标视线朝向参数；根据反向动力学调整的调整值，对目标带情绪注视动画片段中各个动画帧的骨骼参数进行调整，得到对三维动画角色进行视线修正后的目标带情绪注视动画片段。
在一些实施例中，上述根据反向动力学调整的调整值，对目标带情绪注视动画片段中各个动画帧的骨骼参数进行调整，包括：从目标带情绪注视动画片段的末尾动画帧开始向前，依次对当前动画帧所使用的调整值进行衰减后设置为前一个动画帧的调整值；使用为目标带情绪注视动画片段中的每个动画帧设置的调整值，对每个动画帧的骨骼参数进行调整。
第二方面，本申请实施例提供了一种用于操作三维动画角色的装置，装置包括：第一参数获取单元，用于获取三维动画角色的眼睛位置参数、三维动画角色待执行注视操作的视线朝向参数以及待执行注视操作所注视的目标点的目标点位置参数；第一输入单元，用于将眼睛位置参数、视线朝向参数以及目标点位置参数转换为与预先训练的机器学习模型相匹配的输入向量并输入至机器学习模型，其中机器学习模型用于表征三维动画角色的眼睛位置参数、注视操作的视线朝向参数以及注视操作所注视的目标点的目标点位置参数所对应的向量与使用样本注视动画片段序列融合成三维动画角色执行注视操作的注视动画片段时各个样本注视动画片段的融合权重系数所对应的向量之间的映射关系；系数确定单元，用于根据机器学习模型的输出向量中的各个分量确定融合时对各个样本注视动画片段所使用的目标融合权重系数；动画融合单元，用于按照所确定的目标融合权重系数，使用样本注视动画片段序列中的样本注视动画片段进行融合，得到三维动画角色执行待执行注视操作的目标注视动画片段；第一转换单元，用于将将所述目标注视动画片段的时域动画数据进行短时傅里叶变换，获得所述目标注视动画片段的频谱数据Rn(w)；第二参数获取单元，用于获取情绪的频谱数据△Rn(w)；计算单元，用于通过下述方式计算获得目标带情绪的注视动画片段的频谱数据Re(w)：Re(w)＝Rn(w)+△Rn(w)；第二转换单元，用于将所述目标带情绪注视动画片段的频谱数Re(w)据通过短时傅里叶逆变换，转换成目标带情绪的注视动画片段的时域数据，得到所述三维动画角色执行所述待执行注视操作的目标带情绪注视动画片段。
本申请提供的用于操作三维动画角色的方法和装置，通过三维动画角色的眼睛位置参数、待执行注视操作的视线朝向参数、待执行注视操作所注视的目标点的目标点位置参数以及机器学习模型得到使用样本注视动画片段融合目标注视动画片段的目标融合权重系数，并进而按照目标融合权重系数进行融合得到三维动画角色执行待执行注视操作的目标注视动画片段，实现了对三维动画角色执行注视操作的动画片段的自动生成，使得融合成的动画片段中三维动画角色表现更为逼真与生动。同时，通过傅里叶变换为目标注视动画片段添加情绪信息，赋予目标注视动画片段中动画角色更强的人格特征。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性***架构图；
图2是根据本申请的用于操作三维动画角色的方法的一个实施例的流程图；
图3是根据本申请的用于操作三维动画角色的装置的一个实施例的结构示意图；
图4是适于用来实现本申请实施例的终端设备或服务器的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于操作三维动画角色的方法或用于操作三维动画角色的装置的实施例的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络 104和服务器105。网络104用以在终端设备101、102、103和服务器105 之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如动画播放软件应用、即时通信工具、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、 103上播放的动画提供数据支持的后台服务器。后台服务器可以对接收到的操作参数等数据进行分析等处理，并将处理结果(例如动画数据)反馈给终端设备。
需要说明的是，本申请实施例所提供的用于操作三维动画角色的方法可以由终端设备101、102、103执行，也可以由服务器105执行，还可以由终端设备101、102、103执行与服务器105共同执行；相应地，用于操作三维动画角色的装置可以设置于终端设备101、102、103中，一般设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的用于操作三维动画角色的方法的一个实施例的流程。该用于操作三维动画角色的方法，包括以下步骤：
步骤201，获取三维动画角色的眼睛位置参数、三维动画角色的待执行注视操作的视线朝向参数以及待执行注视操作所注视的目标点的目标点位置参数。
在本实施例中，用于操作三维动画角色的方法运行于其上的电子设备 (例如图1所示的终端设备或服务器)可以获取三维动画角色的眼睛位置参数、三维动画角色的待执行注视操作的视线朝向参数以及待执行注视操作所注视的目标点的目标点位置参数。其中，待执行注视操作的视线朝向参数和目标点位置参数可以是根据用户对三维动画角色的操作命令而确定的。例如，用户可以在向应用发出执行注视操作的命令时输入视线朝向参数以及目标点位置参数。三维动画角色的眼睛位置参数则可以根据三维动画角色当前动画帧的动画数据进行分析而得到。
步骤202，将眼睛位置参数、视线朝向参数以及目标点位置参数转换为与机器学习模型相匹配的输入向量并输入至机器学习模型。
在本实施例中，基于步骤201中获取到的眼睛位置参数、视线朝向参数以及目标点位置参数，上述电子设备(例如图1所示的终端设备或服务器)可以将这些参数转换成与机器学习模型相匹配的输入向量并输入至该机器学习模型。其中，机器学习模型用于表征三维动画角色的眼睛位置参数、注视操作的视线朝向参数以及注视操作所注视的目标点的目标点位置参数所对应的向量与使用样本注视动画片段序列融合成三维动画角色执行注视操作的注视动画片段时各个样本注视动画片段的融合权重系数所对应的向量之间的映射关系。可选的，眼睛位置参数、视线朝向参数以及目标点位置参数可以分别是三个维度的数值组成的。例如，眼睛位置参数、目标点位置参数可以是X轴、Y轴、Z轴上的坐标做成，视线朝向参数也可以是由X轴、Y轴、Z轴上的坐标差组成的。此时，眼睛位置参数、视线朝向参数以及目标点位置参数分别是三个维度的分参数组成时，机器学习模型的输入向量可以是9维向量。在将眼睛位置参数、视线朝向参数以及目标点位置参数转换成与机器学习模型匹配的输入向量时，可以分别将眼睛位置参数、视线朝向参数以及目标点位置参数中每个维度的分参数转换成9维向量中的每一个分量的分量值。例如，此外，当眼睛位置参数、视线朝向参数以及目标点位置参数分别表示为(x1，y1，z1)、(x2、y2、z2)、 (x3、y3、y3)时，则所转成的输入向量可以是(x1，y1，z1，x2，y2，z2， x3，y3，z3)。实践中，输入向量中各分量所对应的分参数还可以按其他顺序排列。此外，在将分参数转换到输入向量中对应的分量时，也可以进行一些数学变换，例如进行归一化操作等。机器学习模型中的输出向量中的每个分量与样本注视动画片段序列中的各个样本注视动画片段相对应，分量的分量值即可用于表征融合时对应的样本注视动画片段的融合权重系数。该权重融合系数用于指示融合时各个样本注视动画片段的使用比例。
步骤203，根据机器学习模型的输出向量中的各个分量确定融合时对各个样本注视动画片段所使用的目标融合权重系数。
在本实施例中，基于步骤202中向机器学习模型设置的输入向量，电子设备可以得到机器学习模型对应的输出向量。基于该输出向量中的各个分量，电子设备可以确定融合时对各个样本注视动画片段所使用的目标融合权重系数。实践中，可以直接将分量的分量值确定对应的样本注视动画片段的目标融合权重系数，也可以按照一定的规则仅选取其中一部分的融合权重系数或者对融合权重系数进行一定的数值变化而得到目标融合权重系数。
步骤204，按照所确定的目标融合权重系数，使用样本注视动画片段序列中的样本注视动画片段进行融合，得到三维动画角色执行待执行注视操作的目标注视动画片段。
在本实施例中，基于步骤203对各个样本注视动画片段所确定的目标融合权重系数，电子设备可以按照该目标融合权重系数使用样本注视动画片段序列中的样本注视动画片段进行融合，从而得到三维动画角色执行待执行注视操作的目标注视动画片段。
在本实施例的一些可选的实现方式中，上述机器学习模型可以是以下任意一种：径向基函数神经网络模型、K近邻分类算法模型、超多面体模型。
径向基函数(RBF，Radial basis function)神经网络模型中，神经网络包括三层前向网络。其中，输入层由信号源结点组成，第二层为隐含层，隐单元数视所描述问题的需要而定，隐单元的变换函数是径向基函数，它是对中心点径向对称且衰减的非负非线性函数，第三层为输出层，它对输入模式的作用作出相应。从输入空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层空间变换是线性的。RBF网络的基本思想是用径向基函数作为隐单元的“基”构成隐含层空间，这样就可以将输入矢量直接映射到隐空间，而不需要通过权连接。当RBF函数的中心点确定以后，这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线性加权和，此处的权即为网络可调参数。从总体上看，网络由输入到输出的映射是非线性的，而网络输出对可调参数而言却又是线性的。这样网络的权就可由线性方程组直接解出，从而大大加快学习速度并避免局部极小问题。
K近邻(KNN，K-NearestNeighbor)分类算法模型的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。在使用KNN分类算法时，可以该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN分类算法在类别决策时，只与极少量的相邻样本有关。由于KNN分类算法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN分类算法较其他方法更为适合。在使用 KNN分类算法模型时，各个样本注视动画片段的分量值表征各个样本注视动画片段的权值，该权值与样本注视动画片段中眼睛位置参数、视线朝向参数以及目标点位置参数对应的输入向量和三维动画角色执行待执行注视操作的参数眼睛位置参数、视线朝向参数以及目标点位置参数对应的输入向量的向量距离成反比。
使用超多面体模型时，模型可以如下方式进行训练：首先，可以将各个样本注视动画片段视为空间中的一个点，点的坐标可以是根据样本注视动画片段中的眼睛位置参数、视线朝向参数以及目标点位置参数所确定的。其次，将空间中邻近的多个点构成一个多边形。例如，可以把每四个位置最接近的点构成一个四边形。如此，所构成的不同多边形之间可能存在公共边或公共面，但不会存在空间上的重叠。在使用超多面体模型根据输入向量确定输出向量时，可以首先判断当前输入向量对应的目标点与各个多边形进行匹配，以判断目标点处于哪一个多边形中。之后，将目标点所落在的多边形的各个点表征的样本注视动画片段所对应的分量确定为需要赋值的分量，其中所赋的值可以根据目标点与多边形中的各个点的距离所确定，其他分量可以赋值为0。
在本实施例的一些可选的实现方式中，当机器学习模型为RBF神经网络模型时，上述方法还可以包括径向基函数神经网络模型训练步骤。其中，该径向基函数神经网络模型训练步骤按如下过程执行。首先，针对样本注视动画片段序列中的各个样本注视动画片段，将样本注视动画片段中三维动画角色的眼睛位置参数、注视操作的视线朝向参数、注视操作的所注视的目标点的目标点位置参数转换为第一向量，并根据样本注视动画片段在样本注视动画片段序列中的次序生成第二向量，其中，第二向量的维度是样本注视动画片段序列中样本注视动画片段的个数，且第二向量中与样本注视动画片段的次序对应的分量上置1，其它分量置0。之后，将样本注视动画片段对应的第一向量与第二向量分别作为训练径向基函数神经网络模型时所使用的输入向量与输出向量，训练径向基函数神经网络模型。
其中，样本注视动画片段序列包括至少一个样本注视动画片段，且各个样本注视动画片段可以有对应的序号，例如样本注视动画片段序列包括样本注视动画片段1、样本注视动画片段2……样本注视动画片段n。在将样本注视动画片段的眼睛位置参数、视线朝向参数、目标点位置参数转换为第一向量时，转换方式可以参考步骤202中将眼睛位置参数、视线朝向参数以及目标点位置参数转换为与机器学习模型相匹配的输入向量的方式，这里不再赘述。
在根据样本注视动画片段在动画片段序列中的次序生成第二向量时，第二向量的维度是样本注视动画片段序列中动画片段的个数，且第二向量中与样本注视动画片段的次序对应的分量上置1，其它分量置0。例如，当样本注视动画片段序列包括样本注视动画片段1、样本注视动画片段2……样本注视动画片段n时，样本注视动画片段的数量为n，则各个样本注视动画片段对应的第二向量的维度为n，即第二向量可以用(A1，A2……An) 的形式表示。对于样本注视动画片段1，由于其序号为1，则在A1分量上置1，A2……An则置为0，即样本注视动画片段1对应的第二向量是(1， 0……0)。对应的，样本注视动画片段2对应的第二向量是(0，1，0……0)，样本注视动画片段n对应的第二向量是(0，0……0，1)。
待训练的RBF神经网络模型的输入层节点个数等于第一向量的维度，输出层的节点个数则等于第二向量的维度。训练RBF神经网络模型时，可以将样本注视动画片段对应的第一向量作为径向基函数神经网络模型的输入，并将样本注视动画片段对应的第二向量作为径向基函数神经网络模型的输出，对径向基函数神经网络模型进行训练。在训练的过程中，由于输入和输出是确定的，因此通过确定的输入和输出来不断调整中间隐含层中的RBF核参数。
在本实施例的一些可选实现方式中，在执行上述径向基函数神经网络模型训练步骤之前，上述方法还包括：根据样本注视动画片段中起始动画帧与末尾动画帧的动画数据，生成样本注视动画片段序列中各个样本注视动画片段中三维动画角色的眼睛位置参数、注视操作的视线朝向参数、注视操作的所注视的目标点的目标点位置参数中的一项或多项。在该实现方式中，可以通过样本注视动画片段中起始动画帧与末尾动画帧的动画数据生成眼睛位置参数、视线朝向参数、目标点位置参数中的一项或多项。样本注视动画片段中可以通过一系列的动画帧来表现三维动画角色的注视操作。其中，样本注视动画片段的起始动画帧与末尾动画帧可以反映出三维动画角色作出注视操作之前和之后的状态，因此根据这两个动画帧的动画数据即可分析出眼睛位置参数、视线朝向参数、目标点位置参数。
在本实施例的一些可选实现方式中，步骤203可以具体包括：根据分量值大小从输出向量中的分量中选出多个分量；将多个分量分别在输出向量中的序号所对应的样本注视动画片段确定为融合用样本注视动画片段，并根据多个分量的分量值确定各个融合用样本注视动画片段的融合用融合权重系数。对应的，步骤204可以包括：按照融合用融合权重系数，使用各个融合用样本注视动画片段进行融合，得到目标注视动画片段。在该实现方式中，可以按照一定条件选出分量值较大的多个分量对应的样本注视动画片段作为融合用样本注视动画片段，从而不需要将对最终融合影响力较弱的样本注视动画片段用作后续融合操作，有利于减少融合计算的计算量，从而减少整体的处理时间。此外，在融合前可以先将选出的多个分量的原分量值进行归一化，将归一化所得到的各个分量值分别作为各自对应序号下样本注视动画片段的目标融合比例系数。
在本实施例的一些可选实现方式中，上述：根据分量值大小从输出向量中的分量中选出多个分量，可以包括以下任一项或多项：从输出向量中的分量中选出分量值最大的预设数目个分量；从输出向量中的分量中选出分量值大于第一分量阈值的分量；将输出向量中的分量按分量值从高到低的次序依次添加至所选分量中，直至所选分量的总分量值大于第二分量阈值。在执行多项时，可以首先分别选出符合各个单项标准的分量集合，再对多个分量集合求取并集而得到最终选取的多个分量。该实现方式中提供了多种选出分量的方案，第一种方案可以保证后续融合时参与融合的样本注视动画片段的数量固定，第二种方案可以保证融合时不引入对应分量的分量值较小的样本注视动画片段，第三种方案则可以在保证参与融合的样本注视动画片段整体对融合结果达到一定整体影响力的条件下尽量选出影响力较大的样本注视动画片段。
在本实施例的一些可选实现方式中，上述步骤204可以具体包括：按照所确定的目标融合权重系数，对样本注视动画片段序列中的样本注视动画片段的骨骼参数进行插值计算，得到目标注视动画片段的骨骼参数。在本实施例中，针对骨骼动画，动画片段的每一个动画帧中三维动画角色的动作状态由与动作相关的一系列骨骼的骨骼参数决定。根节点的骨骼参数通常包括位置参数与旋转参数，非根节点的骨骼参数则通常为旋转参数，位置参数可以用三维向量表示，旋转参数可以用四维向量表示。在使用样本注视动画片段进行融合，可以对样本注视动画片段序列中的样本注视动画片段的骨骼参数进行插值计算，并将差值所得到的骨骼参数作为目标注视动画片段的骨骼参数，从而得以基于目标注视动画片段中三维动画角色的骨骼参数生成目标注视动画片段。
本申请的上述实施例提供的方法，通过三维动画角色的眼睛位置参数、待执行注视操作的视线朝向参数、待执行注视操作所注视的目标点的目标点位置参数以及机器学习模型得到使用样本注视动画片段融合目标注视动画片段的目标融合权重系数，并进而按照目标融合权重系数进行融合得到三维动画角色执行待执行注视操作的目标注视动画片段，实现了对三维动画角色执行注视操作的动画片段的自动生成，使得融合成的动画片段中三维动画角色表现更为逼真与生动。
步骤205，获得目标注视动画片段的频谱数据Rn(w)和情绪的频谱数据△Rn(w)，通过Re(w)＝Rn(w)+△Rn(w)的方式获得目标带情绪的注视动画片段的频谱数据Re(w)。
在本实施例中，基于步骤304融合成的目标注视动画片段，电子设备可以获取目标注视动画片段的时域动画数据，并将目标注视动画片段的时域动画数据进行短时傅里叶变换转换，获得目标注视动画片段的频谱数据Rn(w)。
在本实施例中，在样本注视动画片段序列中选取至少一个样本注视动画片段；获取所述至少一个样本注视动画片段对应的若干个带情绪样本注视动画片段；获取所述至少一个样本注视动画片段对应的若干个带情绪样本注视动画片段的时域动画数据，将所述至少一个样本注视动画片段及其所对应的若干个带情绪样本注视动画片段的时域动画数据进行短时傅里叶变换，获得其频谱动画数据；将各个所述带情绪样本注视动画片段的频谱动画数据分别减掉其对应的样本注视动画片段的频谱动画数据，获得各个情绪的频谱数据△Rn(w)。
具体的，假设样本注视动画片段序列中包括10个样本注视动画片段，分别为样本注视动画片段1、样本注视动画片段2、...、样本注视动画片段 10。选择样本注视动画片段1，并获取样本注视动画片段1对应的带开心情绪样本注视动画片段1`、带难过情绪样本注视动画片段1``和带生气情绪的样本注视动画片段1```。电子设备可以获得样本注视动画片段1的时域动画数据a、样本注视动画片段1`的时域动画数据b、样本注视动画片段 1``的时域动画数据c、样本注视动画片段1```的时域动画数据d并将动画数据a、b、c、d进行短时傅里叶变换，获得样本注视动画片段1的频域动画数据R1(w)、样本注视动画片段1`的频域动画数据R2(w)、样本注视动画片段1``的频域动画数据R3(w)、样本注视动画片段1```的频域动画数据R4(w)，则各个情绪的频谱数据分别为：△R开心(w)＝R2(w)-R1(w)；△R难过 (w)＝R3(w)-R1(w)；△R生气(w)＝R4(w)-R1(w)。
需要说明的是，在其他实施例中，样本注视动画片段1对应的带情绪的样本注视动画片段也可以包括喜悦、愤怒等其他更多的情绪，本实施例只是举例说明，并不以此为限。
需要说明的是，在其他实施例中，也可以通过选择其他的样本注视动画片段及其对应的带情绪的样本注视动画片段，并通过上述方法获得各个情绪的频谱数据△Rn(w)，本实施例选择样本注视动画片段1只是举例说明，并不以此为限。
在本实施例一些可选的实现方式中，目标注视动画片段的时域数据为一矩阵数据，矩阵的列数为该目标注视动画片段的时长，行数为该目标注视动画片段的自由度数量，并根据该目标注视动画片段中每个时刻动画帧中三维动画角色的每个自由度参数设置矩阵中对应元素的元素值。具体的，例如，当目标注视动画片段的总时长为m，则可以将总时长分成多个时刻 t1，t2，…tk，则矩阵的列数可以是k。自由度则可以是执行动作所涉及的各个骨骼的骨骼参数的分参数。对于注视动作，所涉及的骨骼通常可以包括眼睛、头部、颈部以及躯干等。通常，眼睛、头部、颈部作为骨骼动画的非根节点通常使用旋转参数表示；躯干作为根节点，通常需要使用旋转参数和位置参数表示。每个旋转参数分别有4个自由度，位置参数则有3个自由度，则三维动画角色的自由度数量则为4+4+4+4+3＝15个自由度，即目标注视动画片段的时域数据矩阵的行数可以是15个。
在本实施例一些可选的实现方式中，目标注视动画片段的频谱数据Rn(w)为若干个矩阵数据；目标动画时域动画数据的自由度数量为矩阵的个数，其中，自由度对应的频域动画数据的频率个数以及时域动画数据的时长分别作为所述矩阵的的行数和列数，并根据每个自由度在相应的时间点和频率上对应的幅值确定所述矩阵中对应元素的元素值。样本动画片段的频谱数据与上述目标注视动画片段的频谱数据Rn(w)类似，在此不再赘述。
在本实施例中，当通过电子设备获得目标注视动画片段的频谱数据Rn(w)和情绪的频谱数据△Rn (w)时，通过下述方式获得目标带情绪的注视动画片段的频谱数据Re(w)：Re(w)＝Rn(w)+△Rn(w)。
在本实施例一些可选的实现方式中，将情绪的频谱数据△Rn (w)分别与目标注视动画片段的频谱数据Rn(w)的若干个矩阵数据相加，获得目标带情绪的注视动画片段的频谱数据Re(w)。目标带情绪的注视动画片段的频谱数据Re(w)亦为若干个矩阵数据。
步骤206，将目标带情绪注视动画片段的频谱数Re(w)据通过短时傅里叶逆变换，转换成目标带情绪的注视动画片段的时域数据，得到所述三维动画角色执行所述待执行注视操作的目标带情绪注视动画片段。具体的，将目标带情绪注视动画片段的频谱数Re(w)据通过短时傅里叶逆变换得到的时域数据即可确定目标带情绪注视动画片段中对应时刻的动画帧的对应自由度的自由度参数。在本实现方式中，由于采用了频谱动画数据与时域动画数据转换方案，在频域空间中将情绪的数据添加至目标动画片段数据，最终获得带情绪注视动画片段，从而使得最终生成的动画片段中三维动画角色带有情绪特征，生动性更强。同时，在数据处理上也更加简洁，且能准确无误地传达数据信息。
在本实施例的一些可选实现方式中，上述方法还包括：确定目标点在目标带情绪注视动画片段的末尾动画帧中所匹配的目标视线朝向参数；使用反向动力学调整末尾动画帧中三维动画角色的骨骼参数，以将末尾动画帧中动画角色的当前视线朝向参数调整至目标视线朝向参数；根据反向动力学调整的调整值，对目标带情绪注视动画片段中各个动画帧的骨骼参数进行调整，得到对三维动画角色进行视线修正后的目标带情绪注视动画片段。在该实现方式中，考虑到步骤306所得到的目标带情绪注视动画片段中视线朝向可能不会落在目标点，本实现方式对当前目标带情绪注视动画片段中各动画帧中的视线朝向进行调整，以使其与目标点契合。在计算调整值时，通过反向动力学方法将当前的末尾动画帧中的目标视线朝向参数调整至目标视线朝向参数，再根据对末尾动画帧调整时对骨骼参数进行调整的调整值确定对其他动画帧的骨骼参数进行调整的调整值，并调整其他动画帧的骨骼参数。该种方式只需要在对末尾动画帧处理时使用反向动力学方法，避免了对其他动画帧使用反向动力学方法，有利于提高处理速度。
在本实施的一些可选实现方式中，上述根据反向动力学调整的调整值，对目标带情绪注视动画片段中各个动画帧的骨骼参数进行调整可以具体包括：从目标带情绪注视动画片段的末尾动画帧开始向前，依次对当前动画帧所使用的调整值进行衰减后设置为前一个动画帧的调整值；使用为目标带情绪注视动画片段中的每个动画帧设置的调整值，对每个动画帧的骨骼参数进行调整。在该实现方式中，可以根据当前动画帧的调整值进行衰减来设置前一个动画帧的调整值，从而可以使得骨骼参数可以逐渐变化，提高不同动画帧之间变化的圆滑度，使得三维动画角色的动作更流畅。
进一步参考图3，作为对上述各图所示方法的实现，本申请提供了一种用于操作三维动画角色的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例的用于操作三维动画角色的装置300包括：第一参数获取单元301、第一输入单元302、系数确定单元303和动画融合单元304、第一转换单元305、第二参数获取单元306、计算单元307、第二转换单元308。其中，第一参数获取单元301用于获取三维动画角色的眼睛位置参数、三维动画角色待执行注视操作的视线朝向参数以及待执行注视操作所注视的目标点的目标点位置参数；第一输入单元302用于将眼睛位置参数、视线朝向参数以及目标点位置参数转换为与预先训练的机器学习模型相匹配的输入向量并输入至机器学习模型，其中机器学习模型用于表征三维动画角色的眼睛位置参数、注视操作的视线朝向参数以及注视操作所注视的目标点的目标点位置参数所对应的向量与使用样本注视动画片段序列融合成三维动画角色执行注视操作的注视动画片段时各个样本注视动画片段的融合权重系数所对应的向量之间的映射关系；系数确定单元303 用于根据机器学习模型的输出向量中的各个分量确定融合时对各个样本注视动画片段所使用的目标融合权重系数；动画融合单元304用于按照所确定的目标融合权重系数，使用样本注视动画片段序列中的样本注视动画片段进行融合，得到三维动画角色执行待执行注视操作的目标注视动画片段；第一转换单元305用于将将所述目标注视动画片段的时域动画数据进行短时傅里叶变换，获得所述目标注视动画片段的频谱数据Rn(w)；第二参数获取单元306用于获取情绪的频谱数据△Rn (w)；计算单元307用于通过下述方式计算获得目标带情绪的注视动画片段的频谱数据Re(w)：Re(w)＝Rn(w)+ △Rn (w)；第二转换单元308，用于将所述目标带情绪注视动画片段的频谱数Re(w)据通过短时傅里叶逆变换，转换成目标带情绪的注视动画片段的时域数据，得到所述三维动画角色执行所述待执行注视操作的目标带情绪注视动画片段。
在本实施例中，第一参数获取单元301、第一输入单元302、系数确定单元303和动画融合单元304的具体处理可以参考图2对应实施例的步骤 201、步骤202、步骤203以及步骤204；第一转换单元305、第二参数获取单元306、计算单元307的具体处理可以参考图2对应实施例的步骤205；第二转换单元308的具体处理可以参考图2对应实施例的步骤206，这里不再赘述。
在本实施例的一些可选实现方式中，机器学习模型是以下任一种：径向基函数神经网络模型、K近邻分类算法模型、超多面体模型。该实现方式的具体处理可以参考图2对应实施例中相应的实现方式，这里不再赘述。
在本实施例的一些可选实现方式中，当机器学习模型为径向基函数神经网络模型时，装置300还包括径向基函数神经网络模型训练单元(未示出)，径向基函数神经网络模型训练单元用于：针对样本注视动画片段序列中的各个样本注视动画片段，将样本注视动画片段中三维动画角色的眼睛位置参数、注视操作的视线朝向参数、注视操作的所注视的目标点的目标点位置参数转换为第一向量，并根据样本注视动画片段在样本注视动画片段序列中的次序生成第二向量，其中，第二向量的维度是样本注视动画片段序列中样本注视动画片段的个数，且第二向量中与样本注视动画片段的次序对应的分量上置1，其它分量置0；将样本注视动画片段对应的第一向量与第二向量分别作为训练径向基函数神经网络模型时所使用的输入向量与输出向量，训练径向基函数神经网络模型。该实现方式的具体处理可以参考图2对应实施例中相应的实现方式，这里不再赘述。
在本实施例的一些可选实现方式中，装置300还包括：参数生成单元 (未示出)，用于根据样本注视动画片段中起始动画帧与末尾动画帧的动画数据，生成样本注视动画片段序列中各个样本注视动画片段中三维动画角色的眼睛位置参数、注视操作的视线朝向参数、注视操作的所注视的目标点的目标点位置参数中的一项或多项。该实现方式的具体处理可以参考图 2对应实施例中相应的实现方式，这里不再赘述。
在本实施例的一些可选实现方式中，系数确定单元303包括：选取子单元，用于根据分量值大小从输出向量中的分量中选出多个分量；系数确定子单元，用于将多个分量分别在输出向量中的序号所对应的样本注视动画片段确定为融合用样本注视动画片段，并根据多个分量的分量值确定各个融合用样本注视动画片段的融合用融合权重系数。对应的，动画融合单元304可以进一步用于：按照融合用融合权重系数，使用各个融合用样本注视动画片段进行融合，得到目标注视动画片段。该实现方式的具体处理可以参考图2对应实施例中相应的实现方式，这里不再赘述。
在本实施例的一些可选实现方式中，选取子单元进一步用于执行以下一项或多项：从输出向量中的分量中选出分量值最大的预设数目个分量；从输出向量中的分量中选出分量值大于第一分量阈值的分量；将输出向量中的分量按分量值从高到低的次序依次添加至所选分量中，直至所选分量的总分量值大于第二分量阈值。该实现方式的具体处理可以参考图2对应实施例中相应的实现方式，这里不再赘述。
在本实施例的一些可选实现方式中，动画融合单元304进一步用于：按照目标融合权重系数，对各个样本注视动画片段的时间长度进行加权平均；将样本注视动画片段序列中用于融合的样本注视动画片段统一缩放至加权平均所得到的时间长度；按照所确定的目标融合权重系数，对缩放后的样本注视动画片段进行融合，得到目标注视动画片段。该实现方式的具体处理可以参考图2对应实施例中相应的实现方式，这里不再赘述。
在本实施例的一些可选实现方式中，动画融合单元304进一步用于：按照所确定的目标融合权重系数，对样本注视动画片段序列中的样本注视动画片段的骨骼参数进行插值计算，得到目标注视动画片段的骨骼参数。该实现方式的具体处理可以参考图2对应实施例中相应的实现方式，这里不再赘述。
在本实施例的一些可选实现方式中，装置300还包括：参数确定单元 (未示出)，用于确定目标点在目标带情绪注视动画片段的末尾动画帧中所匹配的目标视线朝向参数；第一调整单元(未示出)，用于使用反向动力学调整末尾动画帧中三维动画角色的骨骼参数，以将末尾动画帧中动画角色的当前视线朝向参数调整至目标视线朝向参数；第二调整单元(未示出)，用于根据反向动力学调整的调整值，对目标带情绪注视动画片段中各个动画帧的骨骼参数进行调整，得到对三维动画角色进行视线修正后的目标带情绪注视动画片段。该实现方式的具体处理可以参考图2对应实施例中相应的实现方式，这里不再赘述。
在本实施例的一些可选实现方式中，第二调整单元进一步用于：从目标带情绪注视动画片段的末尾动画帧开始向前，依次对当前动画帧所使用的调整值进行衰减后设置为前一个动画帧的调整值；使用为目标带情绪注视动画片段中的每个动画帧设置的调整值，对每个动画帧的骨骼参数进行调整。该实现方式的具体处理可以参考图2对应实施例中相应的实现方式，这里不再赘述。
下面参考图4，其示出了适于用来实现本申请实施例的终端设备/服务器的计算机***400的结构示意图。图4示出的终端设备/服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机***400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在 RAM 403中，还存储有***400操作所需的各种程序和数据。CPU 401、 ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405 也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410 上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括参数获取单元、第一输入单元、系数确定单元和动画融合单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，参数获取单元还可以被描述为“获取三维动画角色的眼睛位置参数、三维动画角色待执行注视操作的视线朝向参数以及待执行注视操作所注视的目标点的目标点位置参数的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取三维动画角色的眼睛位置参数、所述三维动画角色的待执行注视操作的视线朝向参数以及所述待执行注视操作所注视的目标点的目标点位置参数；将所述眼睛位置参数、所述视线朝向参数以及所述目标点位置参数转换为与机器学习模型相匹配的输入向量并输入至所述机器学习模型，其中所述机器学习模型用于表征三维动画角色的眼睛位置参数、注视操作的视线朝向参数以及注视操作所注视的目标点的目标点位置参数所对应的向量与使用样本注视动画片段序列融合成三维动画角色执行注视操作的注视动画片段时各个样本注视动画片段的融合权重系数所对应的向量之间的映射关系；根据所述机器学习模型的输出向量中的各个分量确定融合时对各个样本注视动画片段所使用的目标融合权重系数；按照所确定的目标融合权重系数，使用所述样本注视动画片段序列中的样本注视动画片段进行融合，得到所述三维动画角色执行所述待执行注视操作的目标注视动画片段。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于操作三维动画角色的方法，其特征在于，所述方法包括：
获取三维动画角色的眼睛位置参数、所述三维动画角色的待执行注视操作的视线朝向参数以及所述待执行注视操作所注视的目标点的目标点位置参数；
将所述眼睛位置参数、所述视线朝向参数以及所述目标点位置参数转换为与预先训练的机器学习模型相匹配的输入向量并输入至所述机器学习模型，其中所述机器学习模型用于表征三维动画角色的眼睛位置参数、注视操作的视线朝向参数以及注视操作所注视的目标点的目标点位置参数所对应的向量与使用样本注视动画片段序列融合成三维动画角色执行注视操作的注视动画片段时各个样本注视动画片段的融合权重系数所对应的向量之间的映射关系；
根据所述机器学习模型的输出向量中的各个分量确定融合时对各个样本注视动画片段所使用的目标融合权重系数；
按照所确定的目标融合权重系数，使用所述样本注视动画片段序列中的样本注视动画片段进行融合，得到所述三维动画角色执行所述待执行注视操作的目标注视动画片段；将所述目标注视动画片段的时域动画数据进行短时傅里叶变换，获得所述目标注视动画片段的频谱数据Rn(w)；
获取情绪的频谱数据△Rn(w)；
通过下述方式获得目标带情绪的注视动画片段的频谱数据Re(w)：
Re(w)＝Rn(w)+△Rn(w)；
将所述目标带情绪注视动画片段的频谱数据 Re(w)通过短时傅里叶逆变换，转换成目标带情绪的注视动画片段的时域数据，得到所述三维动画角色执行所述待执行注视操作的目标带情绪注视动画片段。
2.根据权利要求1所述的方法，其特征在于，所述机器学习模型是以下任一种：径向基函数神经网络模型、K近邻分类算法模型、超多面体模型。
3.根据权利要求2所述的方法，其特征在于，当所述机器学习模型为径向基函数神经网络模型时，所述方法还包括径向基函数神经网络模型训练步骤，所述径向基函数神经网络模型训练步骤包括：
针对所述样本注视动画片段序列中的各个样本注视动画片段，将样本注视动画片段中三维动画角色的眼睛位置参数、注视操作的视线朝向参数、注视操作的所注视的目标点的目标点位置参数转换为第一向量，并根据样本注视动画片段在所述样本注视动画片段序列中的次序生成第二向量，其中，第二向量的维度是所述样本注视动画片段序列中样本注视动画片段的个数，且第二向量中与样本注视动画片段的次序对应的分量上置1，其它分量置0；将样本注视动画片段对应的第一向量与第二向量分别作为训练径向基函数神经网络模型时所使用的输入向量与输出向量，训练径向基函数神经网络模型。
4.根据权利要求3所述的方法，其特征在于，在所述径向基函数神经网络模型训练步骤之前，所述方法还包括：
根据样本注视动画片段中初始动画帧与末尾动画帧的动画数据，生成所述样本注视动画片段序列中各个样本注视动画片段中三维动画角色的眼睛位置参数、注视操作的视线朝向参数、注视操作的所注视的目标点的目标点位置参数中的一项或多项。
5.根据权利要求1所述的方法，其特征在于，所述根据所述机器学习模型的输出向量中的各个分量确定融合时对各个样本注视动画片段所使用的目标融合权重系数，包括：
根据分量值大小从所述输出向量中的分量中选出多个分量；
将所述多个分量分别在所述输出向量中的序号所对应的样本注视动画片段确定为融合用样本注视动画片段，并根据所述多个分量的分量值确定各个融合用样本注视动画片段的融合用融合权重系数；以及
所述按照所确定的目标融合权重系数，使用所述样本注视动画片段序列中的样本注视动画片段进行融合，得到所述三维动画角色执行所述待执行注视操作的目标注视动画片段，包括：
按照所述融合用融合权重系数，使用各个融合用样本注视动画片段进行融合，得到所述目标注视动画片段。
6.根据权利要求5所述的方法，其特征在于，所述根据分量值大小从所述输出向量中的分量中选出多个分量，包括以下一项或多项：
从所述输出向量中的分量中选出分量值最大的预设数目个分量；
从所述输出向量中的分量中选出分量值大于第一分量阈值的分量；
将所述输出向量中的分量按分量值从高到低的次序依次添加至所选分量中，直至所选分量的总分量值大于第二分量阈值。
7.根据权利要求1所述的方法，其特征在于，所述按照所确定的目标融合权重系数，使用所述样本注视动画片段序列中的样本注视动画片段进行融合，得到所述三维动画角色执行所述待执行注视操作的目标注视动画片段，包括：
将所述样本注视动画片段序列中用于融合的样本注视动画片段缩放至统一时间长度；
按照所确定的目标融合权重系数，对缩放后的样本注视动画片段进行融合，得到所述目标注视动画片段；
按照所述目标融合权重系数，对各个样本注视动画片段的时间长度进行加权平均，得到所述统一时间长度。
8.根据权利要求1所述的方法，其特征在于，所述按照所确定的目标融合权重系数，使用所述样本注视动画片段序列中的样本注视动画片段进行融合，得到所述三维动画角色执行所述待执行注视操作的目标注视动画片段，包括：
按照所确定的目标融合权重系数，对所述样本注视动画片段序列中的样本注视动画片段的骨骼参数进行融合，得到所述目标注视动画片段的骨骼参数。
9.根据权利要求1所述的方法，其特征在于，所述获取情绪的频谱数据△Rn(w)，包括：
在所述样本注视动画片段序列中选取至少一个样本注视动画片段；
获取所述至少一个样本注视动画片段对应的若干个带情绪样本注视动画片段；
获取所述至少一个样本注视动画片段对应的若干个带情绪样本注视动画片段的时域动画数据，将所述至少一个样本注视动画片段及其所对应的若干个带情绪样本注视动画片段的时域动画数据进行短时傅里叶变换，获得其频谱动画数据；
将各个所述带情绪样本注视动画片段的频谱动画数据分别减掉其对应的样本注视动画片段的频谱动画数据，获得各个情绪的频谱数据△Rn(w)。
10.根据权利要求1所述的方法，其特征在于，将所述目标注视动画片段的时域动画数据进行短时傅里叶变换，获得所述目标注视动画片段的频谱数据Rn(w)，包括：
所述目标注视动画片段的频谱数据Rn(w)为若干个矩阵数据；
所述目标动画时域动画数据的自由度数量为所述矩阵的个数，其中，
所述自由度对应的频域动画数据的频率个数以及时域动画数据的时长分别作为所述矩阵的的行数和列数，并根据每个自由度在相应的时间点和频率上对应的幅值确定所述矩阵中对应元素的元素值。
11.根据权利要求10所述的方法，其特征在于，通过下述方式获得目标带情绪的注视动画片段的频谱数据Re(w)：
Re(w)＝Rn(w)+△Rn(w)，包括：
将所述情绪的频谱数据△Rn(w)分别与所述目标注视动画片段的频谱数据Rn(w)的若干个矩阵数据相加，获得目标带情绪的注视动画片段的频谱数据Re(w)。
12.根据权利要求1-11之一所述的方法，其特征在于，所述方法还包括：
确定目标点在所述目标带情绪注视动画片段的最后一个动画帧中所匹配的目标视线朝向参数；
使用反向动力学调整所述最后一个动画帧中三维动画角色的骨骼参数，以将所述最后一个动画帧中动画角色的当前视线朝向参数调整至所述目标视线朝向参数；
根据反向动力学调整的调整值，对所述目标带情绪注视动画片段中各个动画帧的骨骼参数进行调整，得到对所述三维动画角色进行视线修正后的目标带情绪注视动画片段。
13.根据权利要求12所述的方法，其特征在于，所述根据反向动力学调整的调整值，对所述目标带情绪注视动画片段中各个动画帧的骨骼参数进行调整包括：
从所述目标带情绪注视动画片段的最后一个动画帧开始向前，依次对当前动画帧所使用的调整值进行衰减后设置为前一个动画帧的调整值；
使用为所述目标带情绪注视动画片段中的每个动画帧设置的调整值，对每个动画帧的骨骼参数进行调整。
14.一种用于操作三维动画角色的装置，其特征在于，所述装置包括：
第一参数获取单元，用于获取三维动画角色的眼睛位置参数、所述三维动画角色待执行注视操作的视线朝向参数以及所述待执行注视操作所注视的目标点的目标点位置参数；
第一输入单元，用于将所述眼睛位置参数、所述视线朝向参数以及所述目标点位置参数转换为与预先训练的机器学习模型相匹配的输入向量并输入至所述机器学习模型，其中所述机器学习模型用于表征三维动画角色的眼睛位置参数、注视操作的视线朝向参数以及注视操作所注视的目标点的目标点位置参数所对应的向量与使用样本注视动画片段序列融合成三维动画角色执行注视操作的注视动画片段时各个样本注视动画片段的融合权重系数所对应的向量之间的映射关系；
系数确定单元，用于根据所述机器学习模型的输出向量中的各个分量确定融合时对各个样本注视动画片段所使用的目标融合权重系数；
动画融合单元，用于按照所确定的目标融合权重系数，使用所述样本注视动画片段序列中的样本注视动画片段进行融合，得到所述三维动画角色执行所述待执行注视操作的目标注视动画片段；
第一转换单元，用于将将所述目标注视动画片段的时域动画数据进行短时傅里叶变换，获得所述目标注视动画片段的频谱数据Rn(w)；
第二参数获取单元，用于获取情绪的频谱数据△Rn(w)；
计算单元，用于通过下述方式计算获得目标带情绪的注视动画片段的频谱数据Re(w)：
Re(w)＝Rn(w)+△Rn(w)；
第二转换单元，用于将所述目标带情绪注视动画片段的频谱数据 Re(w)通过短时傅里叶逆变换，转换成目标带情绪的注视动画片段的时域数据，得到所述三维动画角色执行所述待执行注视操作的目标带情绪注视动画片段。
CN201710188918.7A 2017-03-27 2017-03-27 用于操作三维动画角色的方法和装置 Active CN106981099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710188918.7A CN106981099B (zh) 2017-03-27 2017-03-27 用于操作三维动画角色的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710188918.7A CN106981099B (zh) 2017-03-27 2017-03-27 用于操作三维动画角色的方法和装置

Publications (2)

Publication Number Publication Date
CN106981099A CN106981099A (zh) 2017-07-25
CN106981099B true CN106981099B (zh) 2020-04-14

Family

ID=59339572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710188918.7A Active CN106981099B (zh) 2017-03-27 2017-03-27 用于操作三维动画角色的方法和装置

Country Status (1)

Country Link
CN (1) CN106981099B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961428B (zh) * 2018-05-23 2023-05-26 杭州易现先进科技有限公司 一种三维动作的风格迁移方法、介质、装置和计算设备
CN109300179B (zh) * 2018-09-28 2023-08-22 南京蜜宝信息科技有限公司 动画制作方法、装置、终端和介质
CN110163938B (zh) * 2018-12-05 2023-04-25 腾讯科技（深圳）有限公司 动画的控制方法、装置、存储介质和电子装置
CN112132933A (zh) * 2020-10-15 2020-12-25 海南骋骏网络科技有限责任公司 一种多媒体动漫图像生成方法及其***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07230556A (ja) * 1994-02-17 1995-08-29 Hazama Gumi Ltd Ｃｇ立体視アニメーションの生成法
CN106447748A (zh) * 2016-09-14 2017-02-22 厦门幻世网络科技有限公司 一种用于生成动画数据的方法和装置
CN106530377A (zh) * 2016-12-16 2017-03-22 厦门幻世网络科技有限公司 用于操作三维动画角色的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07230556A (ja) * 1994-02-17 1995-08-29 Hazama Gumi Ltd Ｃｇ立体視アニメーションの生成法
CN106447748A (zh) * 2016-09-14 2017-02-22 厦门幻世网络科技有限公司 一种用于生成动画数据的方法和装置
CN106530377A (zh) * 2016-12-16 2017-03-22 厦门幻世网络科技有限公司 用于操作三维动画角色的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种人眼运动及表情的仿真方法;程义民等;《***仿真学报》;20070630;第19卷(第11期);第2399-2403页 *
真实感眼部表情的一种实现方法;陈盈科等;《计算机与数字工程》;20081231;第36卷(第10期);第154-156、169页 *
韵律参数和频谱包络修改相结合的情感语音合成技术研究;邵艳秋等;《信号处理》;20070430;第23卷(第4期);第526-530页 *

Also Published As

Publication number Publication date
CN106981099A (zh) 2017-07-25

Similar Documents

Publication Publication Date Title
US11978245B2 (en) Method and apparatus for generating image
CN107633218B (zh) 用于生成图像的方法和装置
CN108805091B (zh) 用于生成模型的方法和装置
CN106981099B (zh) 用于操作三维动画角色的方法和装置
CN107609506B (zh) 用于生成图像的方法和装置
CN109981787B (zh) 用于展示信息的方法和装置
CN106952325B (zh) 用于操作三维动画角色的方法和装置
CN110766776B (zh) 生成表情动画的方法及装置
CN109189544B (zh) 用于生成表盘的方法和装置
CN110298319B (zh) 图像合成方法和装置
CN110288705B (zh) 生成三维模型的方法和装置
CN111476871A (zh) 用于生成视频的方法和装置
US20190138899A1 (en) Processing apparatus, processing method, and nonvolatile recording medium
CN108882025B (zh) 视频帧处理方法和装置
US11232560B2 (en) Method and apparatus for processing fundus image
CN113052962B (zh) 模型训练、信息输出方法，装置，设备以及存储介质
CN114429767A (zh) 视频生成方法、装置、电子设备以及存储介质
CN108921138B (zh) 用于生成信息的方法和装置
CN113965313A (zh) 基于同态加密的模型训练方法、装置、设备以及存储介质
CN110353688A (zh) 基于人工智能和电子皮肤的臀部接触数据进行坐姿分析的方法
CN110574047A (zh) 使用比特块生成输出示例
CN110636362B (zh) 图像处理方法、装置、***及电子设备
CN110288523B (zh) 图像生成方法和装置
CN111260756B (zh) 用于发送信息的方法和装置
CN109034085B (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190215

Address after: 361000 Fujian Xiamen Torch High-tech Zone Software Park Innovation Building Area C 3F-A193

Applicant after: Xiamen Black Mirror Technology Co., Ltd.

Address before: 9th Floor, Maritime Building, 16 Haishan Road, Huli District, Xiamen City, Fujian Province, 361000

Applicant before: XIAMEN HUANSHI NETWORK TECHNOLOGY CO., LTD.

GR01 Patent grant
GR01 Patent grant