CN117132461A - 基于角色形变目标体角色全身优化的方法及*** - Google Patents

Abstract

公开了一种基于角色形变目标体角色全身优化的方法及***，涉及人脸变形技术领域。其首先获取未变形人脸图像和变形人脸图像，接着，对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵，然后，表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵，最后，基于所述空间强化人脸变形特征差分表征矩阵，对数字人进行脸部变形。这样，可以根据用户操作前后的未变形人脸图像和变形人脸图像，自动计算出合适的数字人脸部变形参数，并将其应用到数字人上。

Description

基于角色形变目标体角色全身优化的方法及***

技术领域

本申请涉及人脸变形技术领域，且更为具体地，涉及一种基于角色形变目标体角色全身优化的方法及***。

背景技术

人脸变形是一种常见的数字娱乐技术，可以实现人脸的形状、表情等方面的变化。人脸变形在娱乐、游戏、电影等领域有着广泛的应用，例如可以让用户在虚拟场景中体验不同的角色形象，或者在社交平台上分享自己的创意。

在实际进行人脸变形的过程中，通常需要借助数学模型，并依赖一些参数来描述人脸的形变过程。如何将用户的操作准确地转化为合适的数字人脸部变形参数，是一个重要的技术问题。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于角色形变目标体角色全身优化的方法及***。其可以根据用户操作前后的未变形人脸图像和变形人脸图像，自动计算出合适的数字人脸部变形参数，并将其应用到数字人上。

根据本申请的一个方面，提供了一种基于角色形变目标体角色全身优化的方法，其包括：

获取未变形人脸图像和变形人脸图像；

对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵；

表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵；

以及基于所述空间强化人脸变形特征差分表征矩阵，对数字人进行脸部变形。

根据本申请的另一个方面，提供了一种基于角色形变目标体角色全身优化的***，其包括：

数据采集模块，用于获取未变形人脸图像和变形人脸图像；

图像特征提取模块，用于对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵；

特征对比模块，用于表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵；

以及变形模块，用于基于所述空间强化人脸变形特征差分表征矩阵，对数字人进行脸部变形。

与现有技术相比，本申请提供的基于角色形变目标体角色全身优化的方法及***，其首先获取未变形人脸图像和变形人脸图像，接着，对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵，然后，表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵，最后，基于所述空间强化人脸变形特征差分表征矩阵，对数字人进行脸部变形。这样，可以根据用户操作前后的未变形人脸图像和变形人脸图像，自动计算出合适的数字人脸部变形参数，并将其应用到数字人上。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。

图1为根据本申请实施例的基于角色形变目标体角色全身优化的方法的流程图。

图2为根据本申请实施例的基于角色形变目标体角色全身优化的方法的架构示意图。

图3为根据本申请实施例的基于角色形变目标体角色全身优化的方法的子步骤S130的流程图。

图4为根据本申请实施例的基于角色形变目标体角色全身优化的方法的子步骤S140的流程图。

图5为根据本申请实施例的基于角色形变目标体角色全身优化的***的框图。

图6为根据本申请实施例的基于角色形变目标体角色全身优化的方法的应用场景图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述***和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

针对上述技术问题，本申请的技术构思为结合基于深度学习的人工智能技术和图像处理技术，根据用户操作前后的未变形人脸图像和变形人脸图像，自动计算出合适的数字人脸部变形参数，并将其应用到数字人上。

基于此，图1为根据本申请实施例的基于角色形变目标体角色全身优化的方法的流程图。图2为根据本申请实施例的基于角色形变目标体角色全身优化的方法的架构示意图。如图1和图2所示，根据本申请实施例的基于角色形变目标体角色全身优化的方法，包括步骤：S110，获取未变形人脸图像和变形人脸图像；S120，对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵；S130，表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵；以及，S140，基于所述空间强化人脸变形特征差分表征矩阵，对数字人进行脸部变形。

具体地，在本申请的技术方案中，首先，获取未变形人脸图像和变形人脸图像。然后，对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵。也就是，捕捉所述变形人脸图像和所述未变形人脸图像中所蕴含的隐含脸部特征。

在本申请的一个具体示例中，对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵的编码过程，包括：将所述变形人脸图像和所述未变形人脸图像分别通过基于卷积神经网络模型的人脸特征提取器以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵。

接着，表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵。在本申请的一个具体示例中，表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵的编码过程，包括：先计算所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的按位置差值以得到人脸变形特征差分表征矩阵；再将所述人脸变形特征差分表征矩阵通过空间注意力模块以得到空间强化人脸变形特征差分表征矩阵。

也就是，以按位置作差的方式在高维特征空间中来衡量所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的差异。但是，考虑作差得到的所述人脸变形特征差分表征矩阵中，各个位置的特征值对于目标结果的贡献度是不同的，因而，在本申请的技术方案中，期待采用所述空间注意力模块来强化重要特征。

相应地，在步骤S120中，对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵，包括：将所述变形人脸图像和所述未变形人脸图像分别通过基于卷积神经网络模型的人脸特征提取器以得到所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵。值得一提的是，卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型，专门用于处理具有网格结构的数据。卷积神经网络模型由多个卷积层、池化层和全连接层组成。它通过学习图像中的局部特征和上下文信息，能够自动提取图像的高级特征。卷积层使用卷积运算来捕捉图像中的空间特征，池化层则用于降低特征图的尺寸和参数量，全连接层用于将提取到的特征映射到具体的类别或属性。在人脸图像处理中，卷积神经网络模型可以用作人脸特征提取器。通过将变形人脸图像和未变形人脸图像输入到该模型中，可以得到它们对应的特征矩阵。这些特征矩阵可以表示人脸图像中的高级特征，如面部轮廓、眼睛、鼻子等部位的信息。这些特征矩阵可以用于后续的人脸识别、表情分析、人脸变换等任务。总结来说，卷积神经网络模型是一种用于处理图像数据的深度学习模型，通过学习图像的局部特征和上下文信息，能够自动提取图像的高级特征。在人脸图像处理中，它可以用作人脸特征提取器，提取变形和未变形人脸图像的特征矩阵，为后续任务提供有用的信息。

相应地，在步骤S130中，如图3所示，表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵，包括：S131，计算所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的按位置差值以得到人脸变形特征差分表征矩阵；以及，S132，将所述人脸变形特征差分表征矩阵通过空间注意力模块以得到所述空间强化人脸变形特征差分表征矩阵。应可以理解，在这个过程中，分别进行S131和S132两个步骤来得到空间强化的人脸变形特征差分表征矩阵。步骤S131的目的是通过对比变形人脸图像和未变形人脸图像的特征矩阵，获得它们在每个位置上的差异，通过计算特征矩阵的差值，可以捕捉到变形人脸相对于未变形人脸的变化信息，这些差异可以包括面部轮廓的变化、表情的差异等。人脸变形特征差分表征矩阵提供了一种描述人脸变形的方式，能够帮助理解人脸图像的变化情况。在这步骤S132中，利用空间注意力模块对人脸变形特征差分表征矩阵进行处理，以增强其中的重要特征。空间注意力模块能够自动学习到不同位置的注意力权重，将更多的注意力集中在重要的区域上。通过应用空间注意力模块，可以强化人脸变形特征差分表征矩阵中与人脸变形相关的特征，同时减弱与变形无关的特征。这样可以提高后续任务（如人脸识别、表情分析等）的性能，使其更加关注人脸变形的关键特征。换言之，S131步骤用于计算人脸变形特征差分表征矩阵，捕捉变形人脸与未变形人脸之间的差异；S132步骤则通过空间注意力模块增强人脸变形特征差分表征矩阵中的关键特征，以得到空间强化的人脸变形特征差分表征矩阵。这两个步骤的组合可以提供更加准确和有用的人脸变形特征表征，为后续的人脸相关任务提供更好的输入。

值得一提的是，空间注意力模块（Spatial Attention Module）是一种用于增强图像特征的模块，通过自动学习图像中不同位置的注意力权重，以便将更多的注意力集中在重要的区域上。在计算机视觉任务中，空间注意力模块通常应用于卷积神经网络的架构中，用于增强特征图中的有用信息，它可以帮助网络更好地关注感兴趣的区域，并减弱对无关区域的响应。空间注意力模块的一种常见实现是使用一种叫做注意力机制（AttentionMechanism）的技术。注意力机制可以根据输入的特征图自动学习到每个位置的权重，这些权重表示了该位置对于任务的重要性。常见的注意力机制包括软注意力（Soft Attention）和硬注意力（Hard Attention）。软注意力通过对特征图进行空间上的加权求和来获得加权特征图，其中每个位置的权重是通过学习得到的。这样，网络可以根据不同位置的权重来调整特征的重要性。硬注意力则通过选择特征图中具有最高权重的位置来确定加权特征图。这种方法更加直接，但通常需要基于离散的选择过程，因此计算上更加复杂。总的来说，空间注意力模块是一种用于增强图像特征的模块，通过学习图像中不同位置的注意力权重，以便将更多的注意力集中在重要的区域上，它可以帮助提取关键特征，提高任务的性能和准确性。

进一步地，将所述空间强化人脸变形特征差分表征矩阵通过解码器以得到数字人脸部变形参数；并基于所述数字人脸部变形参数，对数字人进行脸部变形。

相应地，在步骤S140中，如图4所示，基于所述空间强化人脸变形特征差分表征矩阵，对数字人进行脸部变形，包括：S141，将所述空间强化人脸变形特征差分表征矩阵进行展开以得到空间强化人脸变形特征差分表征向量；S142，对所述空间强化人脸变形特征差分表征向量进行特征分布优化以得到优化空间强化人脸变形特征差分表征向量；S143，将所述优化空间强化人脸变形特征差分表征向量通过解码器以得到数字人脸部变形参数；以及，S144，基于所述数字人脸部变形参数，对数字人进行脸部变形。应可以理解，在基于空间强化人脸变形特征差分表征矩阵进行数字人脸部变形的过程中，包括S141、S142、S143和S144三个步骤。步骤S141的目的是对空间强化人脸变形特征差分表征矩阵进行降维以得到空间强化人脸变形特征差分表征向量，步骤S142的目的是通过对空间强化人脸变形特征差分表征向量的特征分布进行优化，使得表征向量更加准确和有用。特征分布优化可以采用一些优化算法或者调整方法，以使得特征向量中的关键特征更加突出，同时减弱与变形无关的特征。通过优化特征分布，可以得到更加精确和有效的表征向量，为后续的数字人脸部变形提供更好的输入。在步骤S143中，使用解码器对优化的空间强化人脸变形特征差分表征向量进行处理，以获得数字人脸部变形的参数，解码器可以将优化的表征向量映射回原始的变形参数空间，从而得到描述数字人脸部变形的参数，这些参数可以包括不同部位的变形程度、形状变化等信息。在S144步骤中，利用得到的数字人脸部变形参数对数字人进行实际的脸部变形操作，通过应用变形参数，可以对数字人的面部特征进行调整，实现脸部的变形，这可以包括改变面部轮廓、调整表情等操作，从而实现对数字人脸的个性化变形。即，S142步骤用于将所述空间强化人脸变形特征差分表征矩阵进行展开；S142步骤用于对空间强化人脸变形特征差分表征向量进行特征分布优化，得到优化的表征向量；S143步骤通过解码器将优化的表征向量映射为数字人脸部变形参数；S144步骤则基于数字人脸部变形参数，对数字人进行实际的脸部变形操作。这些步骤的组合可以实现对数字人脸的个性化变形，使其具有特定的特征和表情。

在本申请的技术方案中，在本申请的技术方案中，所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵分别表达所述变形人脸图像和所述未变形人脸图像的图像语义局部关联特征，由此，在计算所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的按位置差值以得到人脸变形特征差分表征矩阵并通过空间注意力模块强化局部图像语义空间分布时，如果将所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵各自表达的图像语义局部关联特征作为前景对象特征，则在进行空间逐点差分和局部空间分布强化时，也会引入相对于图像源语义特征的背景特征分布异化，并且，考虑到所述变形人脸图像和所述未变形人脸图像本身的异质图像语义的语义特征空间异质分布，所述空间强化人脸变形特征差分表征矩阵整体会存在图像语义特征的多维度稀疏化，从而使得所述空间强化人脸变形特征差分表征矩阵在通过解码器进行解码回归时，导致回归概率的概率密度分布的收敛性差，影响解码回归的效果和解码结果的准确性。因此，优选地，对所述空间强化人脸变形特征差分表征矩阵在通过解码器进行解码时，展开后得到的空间强化人脸变形特征差分表征向量进行优化。

相应地，在一个示例中，对所述空间强化人脸变形特征差分表征向量进行特征分布优化以得到优化空间强化人脸变形特征差分表征向量，包括：

以如下优化公式对所述空间强化人脸变形特征差分表征向量进行特征分布优化以得到所述优化空间强化人脸变形特征差分表征向量；

其中，所述优化公式为：

其中，是所述空间强化人脸变形特征差分表征向量，/>和/>是所述空间强化人脸变形特征差分表征向量/>的第/>和第/>个特征值，且/>是所述空间强化人脸变形特征差分表征向量/>的全局特征均值，/>是所述优化空间强化人脸变形特征差分表征向量的第/>个特征值。

具体地，针对所述空间强化人脸变形特征差分表征向量在高维特征空间内的稀疏分布导致的概率空间内概率密度分布的局部概率密度不匹配，通过正则化全局自洽类编码，来模仿所述空间强化人脸变形特征差分表征向量/>的高维特征流形在概率空间内的编码行为的全局自洽关系，以调整在高维开放空间域内的特征流形的误差景观，实现所述空间强化人脸变形特征差分表征向量/>的高维特征流形对显式概率空间嵌入的自洽匹配式类编码，从而提升所述空间强化人脸变形特征差分表征向量/>的回归概率的概率密度分布的收敛性，改进解码回归的效果和解码结果的准确性。

进一步地，值得一提的是，解码器（Decoder）是神经网络模型中的一个组件，通常与编码器（Encoder）相对应。编码器和解码器是一对相互配合的模块，常用于自编码器（Autoencoder）等模型中。在神经网络中，编码器负责将输入数据转换为一种更紧凑、抽象的表示，通常称为编码（或者隐藏表示）。编码器通过一系列的层和操作，将输入数据逐渐压缩为较低维度的表示，捕捉输入数据的关键特征。编码器的输出可以看作是输入数据的特征提取结果。解码器与编码器相反，它接收编码器的输出（即编码）作为输入，并通过一系列的层和操作将其逐渐恢复为原始的输入数据。解码器的任务是将编码重新转换为原始数据的形式，使得解码器的输出尽可能接近输入数据，从而实现数据的重建。解码器通常采用与编码器相反的结构和参数，以便对编码进行逆操作。例如，如果编码器使用卷积神经网络进行特征提取和压缩，那么解码器可能使用反卷积（也称为转置卷积）操作来进行特征展开和重建。在S142步骤中，解码器用于将优化的空间强化人脸变形特征差分表征向量映射为数字人脸部变形参数。解码器接收优化的表征向量作为输入，通过逆操作将其转换为数字人脸部变形的参数表示。这些参数可以用于后续的数字人脸部变形操作，实现对数字人脸的个性化变形。

综上，基于本申请实施例的基于角色形变目标体角色全身优化的方法被阐明，其可以根据用户操作前后的未变形人脸图像和变形人脸图像，自动计算出合适的数字人脸部变形参数，并将其应用到数字人上。

图5为根据本申请实施例的基于角色形变目标体角色全身优化的***100的框图。如图5所示，根据本申请实施例的基于角色形变目标体角色全身优化的***100，包括：数据采集模块110，用于获取未变形人脸图像和变形人脸图像；图像特征提取模块120，用于对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵；特征对比模块130，用于表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵；以及，变形模块140，用于基于所述空间强化人脸变形特征差分表征矩阵，对数字人进行脸部变形。

在一个示例中，在上述基于角色形变目标体角色全身优化的***100中，所述图像特征提取模块120，用于：将所述变形人脸图像和所述未变形人脸图像分别通过基于卷积神经网络模型的人脸特征提取器以得到所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵。

在一个示例中，在上述基于角色形变目标体角色全身优化的***100中，所述特征对比模块130，包括：差值计算单元，用于计算所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的按位置差值以得到人脸变形特征差分表征矩阵；以及，空间注意力编码单元，用于将所述人脸变形特征差分表征矩阵通过空间注意力模块以得到所述空间强化人脸变形特征差分表征矩阵。

在一个示例中，在上述基于角色形变目标体角色全身优化的***100中，所述变形模块140，包括：矩阵展开单元，用于将所述空间强化人脸变形特征差分表征矩阵进行展开以得到空间强化人脸变形特征差分表征向量；特征分布优化单元，用于对所述空间强化人脸变形特征差分表征向量进行特征分布优化以得到优化空间强化人脸变形特征差分表征向量；解码单元，用于将所述优化空间强化人脸变形特征差分表征向量通过解码器以得到数字人脸部变形参数；以及，脸部变形单元，用于基于所述数字人脸部变形参数，对数字人进行脸部变形。

在一个示例中，在上述基于角色形变目标体角色全身优化的***100中，所述特征分布优化单元，用于：以如下优化公式对所述空间强化人脸变形特征差分表征向量进行特征分布优化以得到所述优化空间强化人脸变形特征差分表征向量；

其中，所述优化公式为：

其中，是所述空间强化人脸变形特征差分表征向量，/>和/>是所述空间强化人脸变形特征差分表征向量/>的第/>和第/>个特征值，且/>是所述空间强化人脸变形特征差分表征向量/>的全局特征均值，/>是所述优化空间强化人脸变形特征差分表征向量的第/>个特征值。这里，本领域技术人员可以理解，上述基于角色形变目标体角色全身优化的***100中的各个模块的具体功能和操作已经在上面参考图1到图4的基于角色形变目标体角色全身优化的方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的基于角色形变目标体角色全身优化的***100可以实现在各种无线终端中，例如具有基于角色形变目标体角色全身优化的算法的服务器等。在一个示例中，根据本申请实施例的基于角色形变目标体角色全身优化的***100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于角色形变目标体角色全身优化的***100可以是该无线终端的操作***中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于角色形变目标体角色全身优化的***100同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该基于角色形变目标体角色全身优化的***100与该无线终端也可以是分立的设备，并且该基于角色形变目标体角色全身优化的***100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

图6为根据本申请实施例的基于角色形变目标体角色全身优化的方法的应用场景图。如图6所示，在该应用场景中，首先，获取未变形人脸图像（例如，图6中所示意的D1）和变形人脸图像（例如，图6中所示意的D2），然后，将所述变形人脸图像和所述未变形人脸图像输入至部署有基于角色形变目标体角色全身优化的算法的服务器中（例如，图6中所示意的S），其中，所述服务器能够使用所述基于角色形变目标体角色全身优化的算法对所述变形人脸图像和所述未变形人脸图像进行处理以得到数字人脸部变形参数，然后，基于所述数字人脸部变形参数，对数字人进行脸部变形。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (10)

1.一种基于角色形变目标体角色全身优化的方法，其特征在于，包括：

获取未变形人脸图像和变形人脸图像；

对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵；

表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵；

以及基于所述空间强化人脸变形特征差分表征矩阵，对数字人进行脸部变形。

2.根据权利要求1所述的基于角色形变目标体角色全身优化的方法，其特征在于，对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵，包括：

将所述变形人脸图像和所述未变形人脸图像分别通过基于卷积神经网络模型的人脸特征提取器以得到所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵。

3.根据权利要求2所述的基于角色形变目标体角色全身优化的方法，其特征在于，表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵，包括：

计算所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的按位置差值以得到人脸变形特征差分表征矩阵；

以及将所述人脸变形特征差分表征矩阵通过空间注意力模块以得到所述空间强化人脸变形特征差分表征矩阵。

4.根据权利要求3所述的基于角色形变目标体角色全身优化的方法，其特征在于，基于所述空间强化人脸变形特征差分表征矩阵，对数字人进行脸部变形，包括：

将所述空间强化人脸变形特征差分表征矩阵进行展开以得到空间强化人脸变形特征差分表征向量；

对所述空间强化人脸变形特征差分表征向量进行特征分布优化以得到优化空间强化人脸变形特征差分表征向量；

将所述优化空间强化人脸变形特征差分表征向量通过解码器以得到数字人脸部变形参数；

以及基于所述数字人脸部变形参数，对数字人进行脸部变形。

5.根据权利要求4所述的基于角色形变目标体角色全身优化的方法，其特征在于，对所述空间强化人脸变形特征差分表征向量进行特征分布优化以得到优化空间强化人脸变形特征差分表征向量，包括：

以如下优化公式对所述空间强化人脸变形特征差分表征向量进行特征分布优化以得到所述优化空间强化人脸变形特征差分表征向量；

其中，所述优化公式为：

其中，/>是所述空间强化人脸变形特征差分表征向量，/>和/>是所述空间强化人脸变形特征差分表征向量/>的第/>和第/>个特征值，且/>是所述空间强化人脸变形特征差分表征向量/>的全局特征均值，/>是所述优化空间强化人脸变形特征差分表征向量的第/>个特征值。

6.一种基于角色形变目标体角色全身优化的***，其特征在于，包括：

数据采集模块，用于获取未变形人脸图像和变形人脸图像；

图像特征提取模块，用于对所述变形人脸图像和所述未变形人脸图像进行图像特征提取以得到变形人脸图像特征矩阵和未变形人脸图像特征矩阵；

特征对比模块，用于表征所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的对比特征以得到空间强化人脸变形特征差分表征矩阵；

以及变形模块，用于基于所述空间强化人脸变形特征差分表征矩阵，对数字人进行脸部变形。

7.根据权利要求6所述的基于角色形变目标体角色全身优化的***，其特征在于，所述图像特征提取模块，用于：

将所述变形人脸图像和所述未变形人脸图像分别通过基于卷积神经网络模型的人脸特征提取器以得到所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵。

8.根据权利要求7所述的基于角色形变目标体角色全身优化的***，其特征在于，所述特征对比模块，包括：

差值计算单元，用于计算所述变形人脸图像特征矩阵和所述未变形人脸图像特征矩阵之间的按位置差值以得到人脸变形特征差分表征矩阵；

以及空间注意力编码单元，用于将所述人脸变形特征差分表征矩阵通过空间注意力模块以得到所述空间强化人脸变形特征差分表征矩阵。

9.根据权利要求8所述的基于角色形变目标体角色全身优化的***，其特征在于，所述变形模块，包括：

矩阵展开单元，用于将所述空间强化人脸变形特征差分表征矩阵进行展开以得到空间强化人脸变形特征差分表征向量；

特征分布优化单元，用于对所述空间强化人脸变形特征差分表征向量进行特征分布优化以得到优化空间强化人脸变形特征差分表征向量；

解码单元，用于将所述优化空间强化人脸变形特征差分表征向量通过解码器以得到数字人脸部变形参数；

以及脸部变形单元，用于基于所述数字人脸部变形参数，对数字人进行脸部变形。

10.根据权利要求9所述的基于角色形变目标体角色全身优化的***，其特征在于，所述特征分布优化单元，用于：

以如下优化公式对所述空间强化人脸变形特征差分表征向量进行特征分布优化以得到所述优化空间强化人脸变形特征差分表征向量；

其中，所述优化公式为：

其中，/>是所述空间强化人脸变形特征差分表征向量，/>和/>是所述空间强化人脸变形特征差分表征向量/>的第/>和第/>个特征值，且/>是所述空间强化人脸变形特征差分表征向量/>的全局特征均值，/>是所述优化空间强化人脸变形特征差分表征向量的第/>个特征值。