CN109887076A - 根据视角变化的人脸三维模型建立方法及装置 - Google Patents

Abstract

本发明公开了一种根据视角变化的人脸三维模型建立方法及装置，其中，该方法包括以下步骤：输入预设角色脸部多个视角的2D画及人脸网格模板，并通过预设方法且配合人工标记，获得对应角色脸部的数据；利用混合形状的系数将对应角色脸部的数据进行表达，并构造势能函数对混合形状进行求解，以获得混合形状组成的矩阵完成人脸模型建立；根据输入的视角得到人脸模型中各个混合形状的系数，并对人脸模型进行变形得到人脸网络模型；利用渲染引擎对人脸网络模型进行渲染，以得到对应视角的人脸图像。该方法能够根据视角来改变三维人脸几何，使用网格与混合形状的表达方法，兼容现有渲染引擎，同时其计算量小，易达到实时。

Description

根据视角变化的人脸三维模型建立方法及装置

技术领域

本发明涉及计算机视觉和图形学技术领域，特别涉及一种根据视角变化的人脸三维模型建立方法及装置。

背景技术

在游戏、动画、电影等众多领域，人脸三维模型起着至关重要的作用。现在已经有许多能够对人脸进行建模的方法，比如混合形状、多线性模型等，这些模型对于现实中的人脸可以得到较好的效果。

然而对于一些特定风格的2D手绘人脸，因为画师艺术风格的不同，可能并没有一个唯一的三维人脸模型能够与之对应，比如正面视角和侧面视角对应的人脸模型会略有不同。例如画师对某个角色多个视角的脸部进行了2D作画，但可能并不存在一个单一的人脸三维模型，使得该模型投影到各个视角后与各个视角的2D作画相一致。如果使用近似的单一人脸三维模型进行建模，则难以保留画师原本的艺术风格。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种根据视角变化的人脸三维模型建立方法，该方法能够根据视角来改变几何的三维人脸模型，使得其能够表达不同视角下的画师手绘人脸。

本发明的另一个目的在于提出一种根据视角变化的人脸三维模型建立装置。

为达到上述目的，本发明一方面提出了根据视角变化的人脸三维模型建立方法，包括以下步骤：输入预设角色脸部多个视角的2D画及人脸网格模板，并通过预设方法且配合人工标记，获得对应角色脸部的数据；利用混合形状的系数将所述对应角色脸部的数据进行表达，并构造势能函数对所述混合形状进行求解，以获得所述混合形状组成的矩阵完成人脸模型建立；根据输入的视角得到所述人脸模型中各个混合形状的系数，并对所述人脸模型进行变形得到人脸网络模型；利用渲染引擎对所述人脸网络模型进行渲染，以得到对应视角的人脸图像。

本发明实施例的根据视角变化的人脸三维模型建立方法，能够根据某一角色脸部多个视角的2D作画对其进行建模，建模后能够在视角变化时对模型进行一定的变形，同时，使用网格与混合形状的表达方法，兼容现有渲染引擎，使得在画师作画的视角下与相应的2D作画接近，在其他视角下也能生成艺术风格一致的角色脸部图像。

另外，根据本发明上述实施例的根据视角变化的人脸三维模型建立方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述人脸模型包含一个人脸网格模板以及m个视角的混合形状。

进一步地，在本发明的一个实施例中，所述人脸网格模板为一个中性的人脸网格，其中，所有顶点坐标组成3N维的顶点坐标向量。

进一步地，在本发明的一个实施例中，所述混合形状为一种形变，所述形变为N个网格顶点的三维偏移量，即每一个所述混合形状为一个3N维的顶点坐标向量。

进一步地，在本发明的一个实施例中，所述人脸模型在预设视角下的顶点坐标为：

其中，T₀为所有顶点坐标组成3N维的顶点坐标向量，w_i为各个混合形状的系数，B_i为一个3N维的顶点坐标向量。

为达到上述目的，本发明另一方面提出了一种根据视角变化的人脸三维模型建立装置，包括：获取模块用于输入预设角色脸部多个视角的2D画及人脸网格模板，并通过预设方法且配合人工标记，获得对应角色脸部的数据；建模模块用于利用混合形状的系数将所述对应角色脸部的数据进行表达，并构造势能函数对所述混合形状进行求解，以获得所述混合形状组成的矩阵完成人脸模型建立；变形模块用于根据输入的视角得到所述人脸模型中各个混合形状的系数，并对所述人脸模型进行变形得到人脸网络模型；渲染模块用于利用渲染引擎对所述人脸网络模型进行渲染，以得到对应视角的人脸图像。

本发明实施例的根据视角变化的人脸三维模型建立装置，能够根据某一角色脸部多个视角的2D作画对其进行建模，建模后能够在视角变化时对模型进行一定的变形，同时，使用网格与混合形状的表达方法，兼容现有渲染引擎，使得在画师作画的视角下与相应的2D作画接近，在其他视角下也能生成艺术风格一致的角色脸部图像。

另外，根据本发明上述实施例的根据视角变化的人脸三维模型建立装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述人脸模型包含一个人脸网格模板以及m个视角的混合形状。

进一步地，在本发明的一个实施例中，所述人脸网格模板为一个中性的人脸网格，其中，所有顶点坐标组成3N维的顶点坐标向量。

进一步地，在本发明的一个实施例中，所述混合形状为一种形变，所述形变为N个网格顶点的三维偏移量，即每一个所述混合形状为一个3N维的顶点坐标向量。

进一步地，在本发明的一个实施例中，所述混合形状的系数由视角唯一决定，所述人脸模型在预设视角下的顶点坐标为：

其中，T₀为所有顶点坐标组成3N维的顶点坐标向量，w_i为各个混合形状的系数，B_i为一个3N维的顶点坐标向量。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的根据视角变化的人脸三维模型建立方法流程图；

图2为根据本发明实施例的根据视角变化的人脸三维模型建立装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的根据视角变化的人脸三维模型建立方法及装置，首先将参照附图描述根据本发明实施例提出的根据视角变化的人脸三维模型建立方法。

图1是本发明一个实施例的根据视角变化的人脸三维模型建立方法流程图。

如图1所示，该根据视角变化的人脸三维模型建立方法包括以下步骤：

在步骤S101中，输入预设角色脸部多个视角的2D画及人脸网格模板，并通过预设方法且配合人工标记，获得对应角色脸部的数据。

也即，建模过程输入为画师手绘的某一角色脸部的多个视角的2D作画，以及人脸网格模板T₀。其中，在预处理过程中，需要通过已有的方法且可以配合人工标注，来得到每一张作画对应的角色脸部的landmark点、脸部轮廓以及视角方向。视角方向可以表达为球坐标的形式，即方位角与仰角θ。

需要说明的是，人脸网格模板为一个中性的人脸网格，其中，所有顶点坐标组成3N维的顶点坐标向量。

在步骤S102中，利用混合形状的系数将对应角色脸部的数据进行表达，并构造势能函数对混合形状进行求解，以获得混合形状组成的矩阵完成人脸模型建立。

其中，人脸模型包含一个人脸网格模板以及m个视角的混合形状。

需要说明的是，混合形状为一种形变，形变为N个网格顶点的三维偏移量，即每一个混合形状为一个3N维的顶点坐标向量。

换句话说，每一个混合形状表达一种形变，形变即为所有网格顶点的三维偏移量，因此每一个混合形状也可以表达为一个3N维的顶点坐标向量B_i(i＝1,…,m)。

各个混合形状的系数w_i(i＝1,…,m)由视角唯一决定。该人脸模型最终在某一视角下的顶点坐标为：

其中，T₀为所有顶点坐标组成3N维的顶点坐标向量，w_i为各个混合形状的系数，B_i为一个3N维的顶点坐标向量。

根据上式，在已知人脸网格模板拓扑后即可由视角求得变形后的顶点坐标，进而得到变形后的人脸网格模型。

该变形得到的是无表情的人脸，变形只由视角的改变造成。之后可以在此基础上再加入表情引起的人脸几何变化。

在步骤S103中，根据输入的视角得到人脸模型中各个混合形状的系数，并对人脸模型进行变形得到人脸网络模型。

具体来讲，混合形状的系数w_i(i＝1,…,m)由视角唯一决定，对于不同的艺术风格可以采用不同的表达形式。比如可以取m＝4，将混合形状的系数表达为：

之后构造势能函数对混合形状B_i(i＝1,…,m)进行求解，势能函数包含两个数据项和两个正则项：

E(B)＝ω_lmkE_lmk(B)+ω_olE_ol(B)+ω_smE_sm(B)+ω_rE_r(B) (2)

其中，B为所有混合形状组成的矩阵，ω_lmk、ω_ol、ω_sm、ω_r分别为对应四项的权重系数。数据项E_lmk与E_ol要求模型在各个输入视角下的渲染图像与输入的2D作画相接近，其中E_lmk要求二者的landmark点相接近，E_ol要求二者脸部的轮廓线相接近。正则项E_sm要求混合形状尽量平滑，即相邻顶点的偏移值尽量相似。正则项E_r要求混合形状的值尽量小，避免过拟合。

之后通过最小化势能函数的方法得到模型的各个混合形状B_i(i＝1,…,m)，完成对模型的建立。

在步骤S104中，利用渲染引擎对人脸网络模型进行渲染，以得到对应视角的人脸图像。

也就是说，在模型建立完成后，便可以进行任意视角的人脸模型渲染。

具体地，渲染时首先根据输入的视角得到所建立的模型中各个混合形状的系数，再根据公式(1)得到变形后的网格模型，之后可以使用现有的渲染引擎对网格模型进行渲染，得到对应视角的人脸图像。

根据本发明实施例提出的根据视角变化的人脸三维模型建立方法，能够根据某一角色脸部多个视角的2D作画对其进行建模，建模后能够在视角变化时对模型进行一定的变形，同时，使用网格与混合形状的表达方法，兼容现有渲染引擎，使得在画师作画的视角下与相应的2D作画接近，在其他视角下也能生成艺术风格一致的角色脸部图像。

其次参照附图描述根据本发明实施例提出的根据视角变化的人脸三维模型建立装置。

图2是本发明一个实施例的根据视角变化的人脸三维模型建立装置结构示意图。

如图2所示，该根据视角变化的人脸三维模型建立装置10包括：获取模块100、建模模块200、变形模块300和渲染模块400。

其中，获取模块100用于输入预设角色脸部多个视角的2D画及人脸网格模板，并通过预设方法且配合人工标记，获得对应角色脸部的数据。建模模块200用于利用混合形状的系数将对应角色脸部的数据进行表达，并构造势能函数对混合形状进行求解，以获得混合形状组成的矩阵完成人脸模型建立。变形模块300用于根据输入的视角得到人脸模型中各个混合形状的系数，并对人脸模型进行变形得到人脸网络模型。渲染模块400用于利用渲染引擎对人脸网络模型进行渲染，以得到对应视角的人脸图像。本发明实施例根据视角变化的人脸三维模型建立装置能够根据视角来改变三维人脸几何，使用网格与混合形状的表达方法，兼容现有渲染引擎，且具有计算量小，易达到实时的特点。

进一步地，在本发明的一个实施例中，人脸模型包含一个人脸网格模板以及m个视角的混合形状。

进一步地，在本发明的一个实施例中，人脸网格模板为一个中性的人脸网格，其中，所有顶点坐标组成3N维的顶点坐标向量。

可选地，在本发明的一个实施例中，混合形状为一种形变，形变为N个网格顶点的三维偏移量，即每一个混合形状为一个3N维的顶点坐标向量。

进一步地，在本发明的一个实施例中，混合形状的系数由视角唯一决定，人脸模型在预设视角下的顶点坐标为：

其中，T₀为所有顶点坐标组成3N维的顶点坐标向量，w_i为各个混合形状的系数，B_i为一个3N维的顶点坐标向量。

需要说明的是，前述对根据视角变化的人脸三维模型建立方法实施例的解释说明也适用于该装置，此处不再赘述。

根据本发明实施例提出的根据视角变化的人脸三维模型建立装置，能够根据某一角色脸部多个视角的2D作画对其进行建模，建模后能够在视角变化时对模型进行一定的变形，同时，使用网格与混合形状的表达方法，兼容现有渲染引擎，使得在画师作画的视角下与相应的2D作画接近，在其他视角下也能生成艺术风格一致的角色脸部图像。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种根据视角变化的人脸三维模型建立方法，其特征在于，包括以下步骤：

输入预设角色脸部多个视角的2D画及人脸网格模板，并通过预设方法且配合人工标记，获得对应角色脸部的数据；

利用混合形状的系数将所述对应角色脸部的数据进行表达，并构造势能函数对所述混合形状进行求解，以获得所述混合形状组成的矩阵完成人脸模型建立；

根据输入的视角得到所述人脸模型中各个混合形状的系数，并对所述人脸模型进行变形得到人脸网络模型；以及

利用渲染引擎对所述人脸网络模型进行渲染，以得到对应视角的人脸图像。

2.根据权利要求1所述的根据视角变化的人脸三维模型建立方法，其特征在于，所述人脸模型包含一个人脸网格模板以及m个视角的混合形状。

3.根据权利要求1所述的根据视角变化的人脸三维模型建立方法，其特征在于，所述人脸网格模板为一个中性的人脸网格，其中，所有顶点坐标组成3N维的顶点坐标向量。

4.根据权利要求2和3所述的根据视角变化的人脸三维模型建立方法，其特征在于，所述混合形状为一种形变，所述形变为N个网格顶点的三维偏移量，即每一个所述混合形状为一个3N维的顶点坐标向量。

5.根据权利要求1所述的根据视角变化的人脸三维模型建立方法，其特征在于，所述混合形状的系数由视角唯一决定，所述人脸模型在预设视角下的顶点坐标为：

其中，T₀为所有顶点坐标组成3N维的顶点坐标向量，w_i为各个混合形状的系数，B_i为一个3N维的顶点坐标向量。

6.一种根据视角变化的人脸三维模型建立装置，其特征在于，包括：

获取模块，用于输入预设角色脸部多个视角的2D画及人脸网格模板，并通过预设方法且配合人工标记，获得对应角色脸部的数据；

建模模块，用于利用混合形状的系数将所述对应角色脸部的数据进行表达，并构造势能函数对所述混合形状进行求解，以获得所述混合形状组成的矩阵完成人脸模型建立；

变形模块，用于根据输入的视角得到所述人脸模型中各个混合形状的系数，并对所述人脸模型进行变形得到人脸网络模型；以及

渲染模块，用于利用渲染引擎对所述人脸网络模型进行渲染，以得到对应视角的人脸图像。

7.根据权利要求6所述的根据视角变化的人脸三维模型建立装置，其特征在于，所述人脸模型包含一个人脸网格模板以及m个视角的混合形状。

8.根据权利要求6所述的根据视角变化的人脸三维模型建立装置，其特征在于，所述人脸网格模板为一个中性的人脸网格，其中，所有顶点坐标组成3N维的顶点坐标向量。

9.根据权利要求7和8所述的根据视角变化的人脸三维模型建立装置，其特征在于，所述混合形状为一种形变，所述形变为N个网格顶点的三维偏移量，即每一个所述混合形状为一个3N维的顶点坐标向量。

10.根据权利要求6所述的根据视角变化的人脸三维模型建立装置，其特征在于，所述混合形状的系数由视角唯一决定，所述人脸模型在预设视角下的顶点坐标为：

其中，T₀为所有顶点坐标组成3N维的顶点坐标向量，w_i为各个混合形状的系数，B_i为一个3N维的顶点坐标向量。