CN116778043B - 一种表情捕捉及动画自动生成***和方法 - Google Patents

Abstract

本发明提供表情捕捉及动画自动生成***和方法，其采集与分析目标对象的脸部图像，得到目标对象的五官表情信息，以此提取目标对象的五官属性信息和表情特征信息，从而对目标对象的五官表情进行量化表征，为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据，提高动画人物与目标对象在五官动作表情上的匹配度；还基于动画游戏场景的场景内容，选择匹配的动画人物脸部表情形象，并基于动画场景的画面布局信息，将动画人物脸部表情形象添加到动画游戏画面，使得生成的加工动画游戏画面，使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面。

Description

一种表情捕捉及动画自动生成***和方法

技术领域

本发明涉及图像处理的领域，尤其涉及表情捕捉及动画自动生成***和方法。

背景技术

CG动画设计或者AI动画设计已经成为动画游戏设计的主流方式，上述设计方式都可在计算机直接进行动画人物的绘制，其并不需要任何动画人物原型基础，即上述设计方式可以脱离真实真实人物形象进行动画人物的绘制，上述方式设计得到的动画游戏无法为玩家呈现与真实人物具有较大逼真切合性的动画人物，降低动画游戏的体验感和沉浸感。为此需要能够根据真实人物的实际情况，比如是真实人物的表情状态，进行针对性的动画人物形象设计，以此提高动画游戏的画面视觉沉浸感和逼真感。

发明内容

本发明的目的在于提供表情捕捉及动画自动生成***和方法，其采集与分析目标对象的脸部图像，得到目标对象的五官表情信息，以此提取目标对象的五官属性信息和表情特征信息，从而对目标对象的五官表情进行量化表征，为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据，提高动画人物与目标对象在五官动作表情上的匹配度；还基于动画游戏场景的场景内容，选择匹配的动画人物脸部表情形象，并基于动画场景的画面布局信息，将动画人物脸部表情形象添加到动画游戏画面，使得生成的加工动画游戏画面，使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面，通过捕捉真实人物表情进行动画人物设计，保证动画画面的逼真性，提高动画游戏的视觉真实感。

本发明是通过以下技术方案实现：

表情捕捉及动画自动生成***，包括：

图像拍摄与分析模块，对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息；

五官表情分析模块，从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息；

动画人物基础形象寻找与修正模块，基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正；

动画人物表情形象生成模块，基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象；

动画游戏画面生成模块，基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面；

动画游戏画面组合模块，将所有加工动画游戏画面进行组合，形成动态游戏图像，并对所述动态游戏图像进行动画视觉状态调整。

可选地，图像拍摄与分析模块对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息，包括：

对目标对象的脸部进行双目拍摄，得到双目脸部图像；基于所述双目脸部图像的双目视差，得到所述目标对象的三维脸部图像；

对所述三维脸部图像进行脸部轮廓识别处理，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息；

若包含，则对所述三维脸部图像进行五官识别分析，得到所述目标对象在所述拍摄的时刻的五官表情信息；

五官表情分析模块从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息，包括：

从所述五官表情信息提取所述目标对象的五官外形轮廓信息，基于所述五官外形轮廓信息，生成所述目标对象的五官形状尺寸信息和五官轮廓深度信息，以此作为所述五官属性信息；

从所述五官表情信息提取所述目标对象的实时五官位置信息，将所述目标对象处于无表情状态下的原始五官位置信息与所述实时五官位置信息进行对比，得到所述目标对象的五官各自在所述拍摄的时刻相比于所述无表情状态下的动作距离和方向信息，以此作为所述表情特征信息。

可选地，动画人物基础形象寻找与修正模块基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正，包括：

基于所述五官属性信息包含的所述目标对象的五官形状尺寸信息，从动画素材库中寻找与所述目标对象具有最高五官相似度的动画人物脸部基础形象；

基于所述五官属性信息包含的所述目标对象的五官轮廓深度信息，对所述动画人物脸部基础形象进行五官线条粗细修正；

动画人物表情形象生成模块基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象，包括：

基于所述表情特征信息包含的所述目标对象的五官各自在所述拍摄的时刻相比于无表情状态下的动作距离和方向信息，对所述动画人物脸部基础形象进行动画人物五官位置调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象。

可选地，动画游戏画面生成模块基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面，包括：

基于动画游戏场景的场景故事内容信息，选择相匹配的动画人物脸部表情形象；

基于所述动画场景的画面背景布局信息，确定所述动画场景中允许添加动画人物的画面区域；再基于所述画面区域的面积和色度分布，对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后，将所述动画人物添加到相应的动画游戏画面中，形成加工动画游戏画面；

动画游戏画面组合模块将所有加工动画游戏画面进行组合，形成动态游戏图像，并对所述动态游戏图像进行动画视觉状态调整，包括：

按照所有加工动画游戏画面的分镜关系信息，将所有加工画面游戏画面进行组合，形成动态游戏图像。

可选地，动画游戏画面组合模块形成动态游戏图像后，将所述动态游戏图像上传至云端进行预定位置存储空间的保存。

表情捕捉及动画自动生成方法，包括：

对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息；

从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息；

基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正；

基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象；

基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面；

将所有加工动画游戏画面进行组合，形成动态游戏图像。

可选地，对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息，包括：

对目标对象的脸部进行双目拍摄，得到双目脸部图像；基于所述双目脸部图像的双目视差，得到所述目标对象的三维脸部图像；

对所述三维脸部图像进行脸部轮廓识别处理，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息；

若包含，则对所述三维脸部图像进行五官识别分析，得到所述目标对象在所述拍摄的时刻的五官表情信息；

从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息，包括：

从所述五官表情信息提取所述目标对象的五官外形轮廓信息，基于所述五官外形轮廓信息，生成所述目标对象的五官形状尺寸信息和五官轮廓深度信息，以此作为所述五官属性信息；

从所述五官表情信息提取所述目标对象的实时五官位置信息，将所述目标对象处于无表情状态下的原始五官位置信息与所述实时五官位置信息进行对比，得到所述目标对象的五官各自在所述拍摄的时刻相比于所述无表情状态下的动作距离和方向信息，以此作为所述表情特征信息。

可选地，对所述三维脸部图像进行脸部轮廓识别处理，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息，包括：

步骤S1，完整脸部轮廓是不会出现多个轮廓位置点共线的情况，为此利用下面公式(1)，根据脸部轮廓中坐标点，得到每个坐标点对应的单位方向向量，

在上述公式(1)中，[x(a，b)，y(a，b)]表示脸部轮廓中坐标点[X(b)，Y(b)]指向坐标点[X(a)，Y(a)]的单位方向向量；[X(a)，Y(a)]表示脸部轮廓中的第a个坐标点；[X(b)，Y(b)]表示脸部轮廓中的第b个坐标点；

步骤S2，若两个单位方向向量存在共线现象则两个方向向量的差值或求和均为零向量，则利用下面公式(2)，判断两个向量是否存在共线现象，

在上述公式(2)中，F(a，b，c)表示向量[x(a，b)，y(a，b)]和向量[x(a，c)，y(a，c)]的共线判断值；(0，0)表示零向量；[x(a，c)，y(a，c)]表示脸部轮廓中坐标点[X(c)，Y(c)]指向坐标点[X(a)，Y(a)]的单位向量；[X(c)，Y(c)]表示脸部轮廓中的第_c个坐标点；

若F(a，b，c)＝1，则表示向量[x(a，b)，y(a，b)]与向量[x(a，c)，y(a，c)]共线；

若F(a，b，c)＝0，则表示向量[x(a，b)，y(a，b)]与向量[x(a，c)，y(a，c)]不共线；

步骤S3，若所述脸部轮廓中坐标点存在4个以及4个以上坐标点共线则确定所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息，并且4个以及4个以上坐标点共线会存在一个坐标点处会有三个与其组成的向量共线，利用下面公式(3)，根据每个坐标点的向量情况，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息，

在上述公式(3)中，E表示所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息的确定值；n表示所述脸部轮廓中坐标点的总个数；表示将的值从1取值到n同时保证c≠a且c≠b代入到求和算式中进行求和；

若E＝1，则表示所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息，此时不控制对所述三维脸部图像进行五官识别分析；

若E＝0，则表示所述三维脸部图像包含所述目标对象的完整脸部轮廓信息，此时控制对所述三维脸部图像进行五官识别分析。

可选地，基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正，包括：

基于所述五官属性信息包含的所述目标对象的五官形状尺寸信息，从动画素材库中寻找与所述目标对象具有最高五官相似度的动画人物脸部基础形象；

基于所述五官属性信息包含的所述目标对象的五官轮廓深度信息，对所述动画人物脸部基础形象进行五官线条粗细修正；

基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象，包括：

基于所述表情特征信息包含的所述目标对象的五官各自在所述拍摄的时刻相比于无表情状态下的动作距离和方向信息，对所述动画人物脸部基础形象进行动画人物五官位置调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象。

可选地，基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面，包括：

基于动画游戏场景的场景故事内容信息，选择相匹配的动画人物脸部表情形象；

基于所述动画场景的画面背景布局信息，确定所述动画场景中允许添加动画人物的画面区域；再基于所述画面区域的面积和色度分布，对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后，将所述动画人物添加到相应的动画游戏画面中，形成加工动画游戏画面；

将所有加工动画游戏画面进行组合，形成动态游戏图像，包括：

按照所有加工动画游戏画面的分镜关系信息，将所有加工画面游戏画面进行组合，形成动态游戏图像。

与现有技术相比，本发明具有如下有益效果：

本申请提供的表情捕捉及动画自动生成***和方法采集与分析目标对象的脸部图像，得到目标对象的五官表情信息，以此提取目标对象的五官属性信息和表情特征信息，从而对目标对象的五官表情进行量化表征，为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据，提高动画人物与目标对象在五官动作表情上的匹配度；还基于动画游戏场景的场景内容，选择匹配的动画人物脸部表情形象，并基于动画场景的画面布局信息，将动画人物脸部表情形象添加到动画游戏画面，使得生成的加工动画游戏画面，使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面，通过捕捉真实人物表情进行动画人物设计，保证动画画面的逼真性，提高动画游戏的视觉真实感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1为本发明提供的表情捕捉及动画自动生成***的结构示意图。

图2为本发明提供的表情捕捉及动画自动生成方法的流程示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图，对本申请的具体实施方式做详细的说明。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

本申请中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1所示，本申请一实施例提供的表情捕捉及动画自动生成***包括：

图像拍摄与分析模块，对目标对象的脸部进行拍摄，得到目标对象的脸部图像，并对脸部图像进行分析，得到目标对象的五官表情信息；

五官表情分析模块，从五官表情信息，提取目标对象的五官属性信息和表情特征信息；

动画人物基础形象寻找与修正模块，基于五官属性信息，从动画素材库寻找与目标对象匹配的动画人物脸部基础形象，并对动画人物脸部基础形象进行修正；

动画人物表情形象生成模块，基于表情特征信息，对动画人物脸部基础形象进行动画人物五官状态调整，得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象；

动画游戏画面生成模块，基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面；

动画游戏画面组合模块，将所有加工动画游戏画面进行组合，形成动态游戏图像，并对动态游戏图像进行动画视觉状态调整。

上述实施例的有益效果，该表情捕捉及动画自动生成***采集与分析目标对象的脸部图像，得到目标对象的五官表情信息，以此提取目标对象的五官属性信息和表情特征信息，从而对目标对象的五官表情进行量化表征，为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据，提高动画人物与目标对象在五官动作表情上的匹配度；还基于动画游戏场景的场景内容，选择匹配的动画人物脸部表情形象，并基于动画场景的画面布局信息，将动画人物脸部表情形象添加到动画游戏画面，使得生成的加工动画游戏画面，使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面，通过捕捉真实人物表情进行动画人物设计，保证动画画面的逼真性，提高动画游戏的视觉真实感。

在另一实施例中，图像拍摄与分析模块对目标对象的脸部进行拍摄，得到目标对象的脸部图像，并对脸部图像进行分析，得到目标对象的五官表情信息，包括：

对目标对象的脸部进行双目拍摄，得到双目脸部图像；基于双目脸部图像的双目视差，得到目标对象的三维脸部图像；

对三维脸部图像进行脸部轮廓识别处理，判断三维脸部图像是否包含目标对象的完整脸部轮廓信息；

若包含，则对三维脸部图像进行五官识别分析，得到目标对象在拍摄的时刻的五官表情信息；

五官表情分析模块从五官表情信息，提取目标对象的五官属性信息和表情特征信息，包括：

从五官表情信息提取目标对象的五官外形轮廓信息，基于五官外形轮廓信息，生成目标对象的五官形状尺寸信息和五官轮廓深度信息，以此作为五官属性信息；

从五官表情信息提取目标对象的实时五官位置信息，将目标对象处于无表情状态下的原始五官位置信息与实时五官位置信息进行对比，得到目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息，以此作为表情特征信息。

上述实施例的有益效果，对真实世界存在的真实人物等目标对象的脸部区域进行双目拍摄，得到双目脸部对象，计算双目脸部对象的双目视差，以此生成目标对象的三维脸部图像。该三维脸部图像包含目标对象的脸部外形轮廓个五官轮廓的特征信息。对三维脸部图像进行脸部轮廓识别处理，判断三维脸部图像是否包含目标对象整个脸部的外形轮廓(比如从额头到脸颊外侧再到下巴的整个外形轮廓)，若包含目标对象整个脸部的外形轮廓，表明三维脸部图像的脸部轮廓信息完整齐全，此时从三维脸部图像中提取目标对象在拍摄时刻对应的五官表情信息，从而对目标对象在拍摄时刻的表情状态进行准确全面捕捉。此外，还对五官表情信息进行五官外形轮廓信息和实时五官位置信息，从而对目标对象的五官形状尺寸和五官动作状态，便于为后续设计动画人物脸部提供可靠的依据。

在另一实施例中，动画人物基础形象寻找与修正模块基于五官属性信息，从动画素材库寻找与目标对象匹配的动画人物脸部基础形象，并对动画人物脸部基础形象进行修正，包括：

基于五官属性信息包含的目标对象的五官形状尺寸信息，从动画素材库中寻找与目标对象具有最高五官相似度的动画人物脸部基础形象；

基于五官属性信息包含的目标对象的五官轮廓深度信息，对动画人物脸部基础形象进行五官线条粗细修正；

动画人物表情形象生成模块基于表情特征信息，对动画人物脸部基础形象进行动画人物五官状态调整，得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象，包括：

基于表情特征信息包含的目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息，对动画人物脸部基础形象进行动画人物五官位置调整，得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象。

上述实施例的有益效果，以目标对象的五官形状尺寸信息为基准，对动画素材库中包含的所有动画人物脸部基础形象进行五官相似度的匹配计算，从中选择与目标对象具有最高五官相似度的动画人物脸部基础形象，确保选择的动画人物脸部基础形象与目标对象的脸部外观具有高度匹配性；还基于五官轮廓深度信息，对动画人物脸部基础形象进行五官线条粗细修正，即当五官某一部位的轮廓深度大于或等于预设深度阈值，则增大动画人物脸部基础形象中对应部位的线条粗度，否则，减小动画人物脸部基础形象中对应部分为线条粗度。此外，以目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息为基准，将动画人物脸部基础形象中动画人物五官进行位置调整，使得调整后的动画人物脸部表情与拍摄时刻目标对象的表情相一致，保证动画人物的表情真实性。

在另一实施例中，动画游戏画面生成模块基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面，包括：

基于动画游戏场景的场景故事内容信息，选择相匹配的动画人物脸部表情形象；

基于动画场景的画面背景布局信息，确定动画场景中允许添加动画人物的画面区域；再基于画面区域的面积和色度分布，对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后，将动画人物添加到相应的动画游戏画面中，形成加工动画游戏画面；

动画游戏画面组合模块将所有加工动画游戏画面进行组合，形成动态游戏图像，并对动态游戏图像进行动画视觉状态调整，包括：

按照所有加工动画游戏画面的分镜关系信息，将所有加工画面游戏画面进行组合，形成动态游戏图像。

上述实施例的有益效果，根据动画游戏场景中提取动画游戏的场景故事内容信息(比如动画游戏的场景故事文本信息等)，以此选择相匹配的动画人物脸部表情形象，比如在危险场景中，选择惊慌表情类型的动画人物脸部表情形象等；还有，根据动画场景的画面背景布局信息，确定动画场景中允许添加动画人物的画面区域，比如根据动画场景中画面背景的背景物体大小和存在位置，从动画场景中选择允许添加动画人物的画面区域，即当选择的画面区域添加上动画人物后，动画人物与画面背景中存在的背景物体干扰最小(比如对画面背景中存在的背景物体的覆盖遮掩面积最小)。再基于画面区域的面积和色度分布，对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整，根据画面区域的面积改变选择的动画人物的大小，使得动画人物的大小与背景物体的大小满足相应的比例条件；还根据画面区域的色度分布改变选择的动画人物的色度，避免动画人物的色度与画面区域的色度过于接近而无法正确识别动画人物。此外，按照所有加工动画游戏画面的分镜关系信息，确定所有加工动画游戏画面的出现先后顺序，以此将所有加工画面游戏画面组合形成动态游戏图像，实现动画游戏的准确组合生成。

在另一实施例中，动画游戏画面组合模块形成动态游戏图像后，将动态游戏图像上传至云端进行预定位置存储空间的保存。

上述实施例的有益效果，利用云端将动态游戏图像进行定向保存，能够保证动态游戏图像的存储安全性和后续读取便捷性。

请参阅图2所示，本申请一实施例提供的表情捕捉及动画自动生成方法包括：

对目标对象的脸部进行拍摄，得到目标对象的脸部图像，并对脸部图像进行分析，得到目标对象的五官表情信息；

从五官表情信息，提取目标对象的五官属性信息和表情特征信息；

基于五官属性信息，从动画素材库寻找与目标对象匹配的动画人物脸部基础形象，并对动画人物脸部基础形象进行修正；

基于表情特征信息，对动画人物脸部基础形象进行动画人物五官状态调整，得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象；

基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面；

将所有加工动画游戏画面进行组合，形成动态游戏图像。

上述实施例的有益效果，该表情捕捉及动画自动生成方法采集与分析目标对象的脸部图像，得到目标对象的五官表情信息，以此提取目标对象的五官属性信息和表情特征信息，从而对目标对象的五官表情进行量化表征，为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据，提高动画人物与目标对象在五官动作表情上的匹配度；还基于动画游戏场景的场景内容，选择匹配的动画人物脸部表情形象，并基于动画场景的画面布局信息，将动画人物脸部表情形象添加到动画游戏画面，使得生成的加工动画游戏画面，使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面，通过捕捉真实人物表情进行动画人物设计，保证动画画面的逼真性，提高动画游戏的视觉真实感。

在另一实施例中，对目标对象的脸部进行拍摄，得到目标对象的脸部图像，并对脸部图像进行分析，得到目标对象的五官表情信息，包括：

对目标对象的脸部进行双目拍摄，得到双目脸部图像；基于双目脸部图像的双目视差，得到目标对象的三维脸部图像；

对三维脸部图像进行脸部轮廓识别处理，判断三维脸部图像是否包含目标对象的完整脸部轮廓信息；

若包含，则对三维脸部图像进行五官识别分析，得到目标对象在拍摄的时刻的五官表情信息；

从五官表情信息，提取目标对象的五官属性信息和表情特征信息，包括：

从五官表情信息提取目标对象的五官外形轮廓信息，基于五官外形轮廓信息，生成目标对象的五官形状尺寸信息和五官轮廓深度信息，以此作为五官属性信息；

从五官表情信息提取目标对象的实时五官位置信息，将目标对象处于无表情状态下的原始五官位置信息与实时五官位置信息进行对比，得到目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息，以此作为表情特征信息。

上述实施例的有益效果，对真实世界存在的真实人物等目标对象的脸部区域进行双目拍摄，得到双目脸部对象，计算双目脸部对象的双目视差，以此生成目标对象的三维脸部图像。该三维脸部图像包含目标对象的脸部外形轮廓个五官轮廓的特征信息。对三维脸部图像进行脸部轮廓识别处理，判断三维脸部图像是否包含目标对象整个脸部的外形轮廓(比如从额头到脸颊外侧再到下巴的整个外形轮廓)，若包含目标对象整个脸部的外形轮廓，表明三维脸部图像的脸部轮廓信息完整齐全，此时从三维脸部图像中提取目标对象在拍摄时刻对应的五官表情信息，从而对目标对象在拍摄时刻的表情状态进行准确全面捕捉。此外，还对五官表情信息进行五官外形轮廓信息和实时五官位置信息，从而对目标对象的五官形状尺寸和五官动作状态，便于为后续设计动画人物脸部提供可靠的依据。

在另一实施例中，对三维脸部图像进行脸部轮廓识别处理，判断三维脸部图像是否包含目标对象的完整脸部轮廓信息，包括：

步骤S1，完整脸部轮廓是不会出现多个轮廓位置点共线的情况，为此利用下面公式(1)，根据脸部轮廓中坐标点，得到每个坐标点对应的单位方向向量，

在上述公式(1)中，[x(a，b)，y(a，b)]表示脸部轮廓中坐标点[X(b)，Y(b)]指向坐标点[X(a)，Y(a)]的单位方向向量；[X(a)，Y(a)]表示脸部轮廓中的第a个坐标点；[X(b)，Y(b)]表示脸部轮廓中的第b个坐标点；

步骤S2，若两个单位方向向量存在共线现象则两个方向向量的差值或求和均为零向量，则利用下面公式(2)，判断两个向量是否存在共线现象，

在上述公式(2)中，F(a，b，c)表示向量[x(a，b)，y(a，b)]和向量[x(a，c)，y(a，c)]的共线判断值；(0，0)表示零向量；[x(a，c)，y(a，c)]表示脸部轮廓中坐标点[X(c)，Y(c)]指向坐标点[X(a)，Y(a)]的单位向量；[X(c)，Y(c)]表示脸部轮廓中的第c个坐标点；

若F(a，b，c)＝1，则表示向量[x(a，b)，y(a，b)]与向量[x(a，c)，y(a，c)]共线；

若F(a，b，c)＝0，则表示向量[x(a，b)，y(a，b)]与向量[x(a，c)，y(a，c)]不共线；

步骤S3，若脸部轮廓中坐标点存在4个以及4个以上坐标点共线则确定三维脸部图像不包含目标对象的完整脸部轮廓信息，并且4个以及4个以上坐标点共线会存在一个坐标点处会有三个与其组成的向量共线，利用下面公式(3)，根据每个坐标点的向量情况，判断三维脸部图像是否包含目标对象的完整脸部轮廓信息，

在上述公式(3)中，E表示三维脸部图像是否包含目标对象的完整脸部轮廓信息的确定值；n表示脸部轮廓中坐标点的总个数；表示将的值从1取值到n同时保证c≠a且c≠b代入到求和算式中进行求和；

若E＝1，则表示三维脸部图像不包含目标对象的完整脸部轮廓信息，此时不控制对三维脸部图像进行五官识别分析；

若E＝0，则表示三维脸部图像包含目标对象的完整脸部轮廓信息，此时控制对三维脸部图像进行五官识别分析。

上述实施例的有益效果，利用上述公式(1)，根据脸部轮廓中坐标点，得到每个坐标点对应的单位方向向量，将坐标点转换成向量可以更加高效的判断方向的共线问题；再利用上述公式(2)，判断两个向量是否存在共线现象，利用方向向量共线的特点进行判断和计算可以有效的节省***时间，提高***的工作效率；最后利用上述公式(3)，根据每个坐标点的向量情况，判断三维脸部图像是否包含目标对象的完整脸部轮廓信息，进而准确的快速的判断出三维脸部图像是否包含目标对象的完整脸部轮廓信息，同时进行可靠的控制，确保***的准确性以及可靠性。

在另一实施例中，基于五官属性信息，从动画素材库寻找与目标对象匹配的动画人物脸部基础形象，并对动画人物脸部基础形象进行修正，包括：

基于五官属性信息包含的目标对象的五官形状尺寸信息，从动画素材库中寻找与目标对象具有最高五官相似度的动画人物脸部基础形象；

基于五官属性信息包含的目标对象的五官轮廓深度信息，对动画人物脸部基础形象进行五官线条粗细修正；

基于表情特征信息，对动画人物脸部基础形象进行动画人物五官状态调整，得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象，包括：

基于表情特征信息包含的目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息，对动画人物脸部基础形象进行动画人物五官位置调整，得到对应拍摄的时刻目标对象表情类型的动画人物脸部表情形象。

上述实施例的有益效果，以目标对象的五官形状尺寸信息为基准，对动画素材库中包含的所有动画人物脸部基础形象进行五官相似度的匹配计算，从中选择与目标对象具有最高五官相似度的动画人物脸部基础形象，确保选择的动画人物脸部基础形象与目标对象的脸部外观具有高度匹配性；还基于五官轮廓深度信息，对动画人物脸部基础形象进行五官线条粗细修正，即当五官某一部位的轮廓深度大于或等于预设深度阈值，则增大动画人物脸部基础形象中对应部位的线条粗度，否则，减小动画人物脸部基础形象中对应部分为线条粗度。此外，以目标对象的五官各自在拍摄的时刻相比于无表情状态下的动作距离和方向信息为基准，将动画人物脸部基础形象中动画人物五官进行位置调整，使得调整后的动画人物脸部表情与拍摄时刻目标对象的表情相一致，保证动画人物的表情真实性。

在另一实施例中，基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面，包括：

基于动画游戏场景的场景故事内容信息，选择相匹配的动画人物脸部表情形象；

基于动画场景的画面背景布局信息，确定动画场景中允许添加动画人物的画面区域；再基于画面区域的面积和色度分布，对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后，将动画人物添加到相应的动画游戏画面中，形成加工动画游戏画面；

将所有加工动画游戏画面进行组合，形成动态游戏图像，包括：

按照所有加工动画游戏画面的分镜关系信息，将所有加工画面游戏画面进行组合，形成动态游戏图像。

上述实施例的有益效果，根据动画游戏场景中提取动画游戏的场景故事内容信息(比如动画游戏的场景故事文本信息等)，以此选择相匹配的动画人物脸部表情形象，比如在危险场景中，选择惊慌表情类型的动画人物脸部表情形象等；还有，根据动画场景的画面背景布局信息，确定动画场景中允许添加动画人物的画面区域，比如根据动画场景中画面背景的背景物体大小和存在位置，从动画场景中选择允许添加动画人物的画面区域，即当选择的画面区域添加上动画人物后，动画人物与画面背景中存在的背景物体干扰最小(比如对画面背景中存在的背景物体的覆盖遮掩面积最小)。再基于画面区域的面积和色度分布，对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整，根据画面区域的面积改变选择的动画人物的大小，使得动画人物的大小与背景物体的大小满足相应的比例条件；还根据画面区域的色度分布改变选择的动画人物的色度，避免动画人物的色度与画面区域的色度过于接近而无法正确识别动画人物。此外，按照所有加工动画游戏画面的分镜关系信息，确定所有加工动画游戏画面的出现先后顺序，以此将所有加工画面游戏画面组合形成动态游戏图像，实现动画游戏的准确组合生成。

总体而言，表情捕捉及动画自动生成***和方法采集与分析目标对象的脸部图像，得到目标对象的五官表情信息，以此提取目标对象的五官属性信息和表情特征信息，从而对目标对象的五官表情进行量化表征，为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据，提高动画人物与目标对象在五官动作表情上的匹配度；还基于动画游戏场景的场景内容，选择匹配的动画人物脸部表情形象，并基于动画场景的画面布局信息，将动画人物脸部表情形象添加到动画游戏画面，使得生成的加工动画游戏画面，使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面，通过捕捉真实人物表情进行动画人物设计，保证动画画面的逼真性，提高动画游戏的视觉真实感。

上述仅为本发明的一个具体实施方式，其它基于本发明构思的前提下做出的任何改进都视为本发明的保护范围。

Claims (7)

1.表情捕捉及动画自动生成***，其特征在于，包括：

图像拍摄与分析模块，对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息；

五官表情分析模块，从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息；

动画人物基础形象寻找与修正模块，基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正；

动画人物表情形象生成模块，基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象；

动画游戏画面生成模块，基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面；

动画游戏画面组合模块，将所有加工动画游戏画面进行组合，形成动态游戏图像，并对所述动态游戏图像进行动画视觉状态调整；

图像拍摄与分析模块对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息，包括：

对目标对象的脸部进行双目拍摄，得到双目脸部图像；基于所述双目脸部图像的双目视差，得到所述目标对象的三维脸部图像；

对所述三维脸部图像进行脸部轮廓识别处理，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息；

若包含，则对所述三维脸部图像进行五官识别分析，得到所述目标对象在所述拍摄的时刻的五官表情信息；

五官表情分析模块从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息，包括：

从所述五官表情信息提取所述目标对象的五官外形轮廓信息，基于所述五官外形轮廓信息，生成所述目标对象的五官形状尺寸信息和五官轮廓深度信息，以此作为所述五官属性信息；

从所述五官表情信息提取所述目标对象的实时五官位置信息，将所述目标对象处于无表情状态下的原始五官位置信息与所述实时五官位置信息进行对比，得到所述目标对象的五官各自在所述拍摄的时刻相比于所述无表情状态下的动作距离和方向信息，以此作为所述表情特征信息；

对所述三维脸部图像进行脸部轮廓识别处理，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息，包括：

步骤S1，完整脸部轮廓是不会出现多个轮廓位置点共线的情况，为此利用下面公式（1），根据脸部轮廓中坐标点，得到每个坐标点对应的单位方向向量，

（1）

在上述公式（1）中，表示脸部轮廓中坐标点/>指向坐标点的单位方向向量；/>表示脸部轮廓中的第/>个坐标点；表示脸部轮廓中的第/>个坐标点；

步骤S2，若两个单位方向向量存在共线现象则两个方向向量的差值或求和均为零向量，则利用下面公式（2），判断两个向量是否存在共线现象，

（2）

在上述公式（2）中，表示向量/>和向量/>的共线判断值；/>表示零向量；/>表示脸部轮廓中坐标点/>指向坐标点/>的单位向量；/>表示脸部轮廓中的第/>个坐标点；

若，则表示向量/>与向量/>共线；

若，则表示向量/>与向量/>不共线；

步骤S3，若所述脸部轮廓中坐标点存在4个以及4个以上坐标点共线则确定所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息，并且4个以及4个以上坐标点共线会存在一个坐标点处会有三个与其组成的向量共线，利用下面公式（3），根据每个坐标点的向量情况，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息，

（3）

在上述公式（3）中，表示所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息的确定值；/>表示所述脸部轮廓中坐标点的总个数；/>表示将的值从1取值到同时保证/>且/>代入到求和算式中进行求和；

若，则表示所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息，此时不控制对所述三维脸部图像进行五官识别分析；

若，则表示所述三维脸部图像包含所述目标对象的完整脸部轮廓信息，此时控制对所述三维脸部图像进行五官识别分析。

2.如权利要求1所述的表情捕捉及动画自动生成***，其特征在于：

动画人物基础形象寻找与修正模块基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正，包括：

基于所述五官属性信息包含的所述目标对象的五官形状尺寸信息，从动画素材库中寻找与所述目标对象具有最高五官相似度的动画人物脸部基础形象；

基于所述五官属性信息包含的所述目标对象的五官轮廓深度信息，对所述动画人物脸部基础形象进行五官线条粗细修正；

动画人物表情形象生成模块基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象，包括：

基于所述表情特征信息包含的所述目标对象的五官各自在所述拍摄的时刻相比于无表情状态下的动作距离和方向信息，对所述动画人物脸部基础形象进行动画人物五官位置调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象。

3.如权利要求1所述的表情捕捉及动画自动生成***，其特征在于：

动画游戏画面生成模块基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面，包括：

基于动画游戏场景的场景故事内容信息，选择相匹配的动画人物脸部表情形象；

基于所述动画场景的画面背景布局信息，确定所述动画场景中允许添加动画人物的画面区域；再基于所述画面区域的面积和色度分布，对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后，将所述动画人物添加到相应的动画游戏画面中，形成加工动画游戏画面；

动画游戏画面组合模块将所有加工动画游戏画面进行组合，形成动态游戏图像，并对所述动态游戏图像进行动画视觉状态调整，包括：

按照所有加工动画游戏画面的分镜关系信息，将所有加工画面游戏画面进行组合，形成动态游戏图像。

4.如权利要求3所述的表情捕捉及动画自动生成***，其特征在于：

动画游戏画面组合模块形成动态游戏图像后，将所述动态游戏图像上传至云端进行预定位置存储空间的保存。

5.表情捕捉及动画自动生成方法，其特征在于，包括：

对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息；

从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息；

基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正；

基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象；

基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面；

将所有加工动画游戏画面进行组合，形成动态游戏图像；

对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息，包括：

对目标对象的脸部进行双目拍摄，得到双目脸部图像；基于所述双目脸部图像的双目视差，得到所述目标对象的三维脸部图像；

对所述三维脸部图像进行脸部轮廓识别处理，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息；

若包含，则对所述三维脸部图像进行五官识别分析，得到所述目标对象在所述拍摄的时刻的五官表情信息；

从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息，包括：

从所述五官表情信息提取所述目标对象的五官外形轮廓信息，基于所述五官外形轮廓信息，生成所述目标对象的五官形状尺寸信息和五官轮廓深度信息，以此作为所述五官属性信息；

从所述五官表情信息提取所述目标对象的实时五官位置信息，将所述目标对象处于无表情状态下的原始五官位置信息与所述实时五官位置信息进行对比，得到所述目标对象的五官各自在所述拍摄的时刻相比于所述无表情状态下的动作距离和方向信息，以此作为所述表情特征信息；

对所述三维脸部图像进行脸部轮廓识别处理，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息，包括：

步骤S1，完整脸部轮廓是不会出现多个轮廓位置点共线的情况，为此利用下面公式（1），根据脸部轮廓中坐标点，得到每个坐标点对应的单位方向向量，

（1）

在上述公式（1）中，表示脸部轮廓中坐标点/>指向坐标点的单位方向向量；/>表示脸部轮廓中的第/>个坐标点；表示脸部轮廓中的第/>个坐标点；

步骤S2，若两个单位方向向量存在共线现象则两个方向向量的差值或求和均为零向量，则利用下面公式（2），判断两个向量是否存在共线现象，

（2）

在上述公式（2）中，表示向量/>和向量/>的共线判断值；/>表示零向量；/>表示脸部轮廓中坐标点/>指向坐标点/>的单位向量；/>表示脸部轮廓中的第/>个坐标点；

若，则表示向量/>与向量/>共线；

若，则表示向量/>与向量/>不共线；

步骤S3，若所述脸部轮廓中坐标点存在4个以及4个以上坐标点共线则确定所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息，并且4个以及4个以上坐标点共线会存在一个坐标点处会有三个与其组成的向量共线，利用下面公式（3），根据每个坐标点的向量情况，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息，

（3）

在上述公式（3）中，表示所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息的确定值；/>表示所述脸部轮廓中坐标点的总个数；/>表示将的值从1取值到同时保证/>且/>代入到求和算式中进行求和；

若，则表示所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息，此时不控制对所述三维脸部图像进行五官识别分析；

若，则表示所述三维脸部图像包含所述目标对象的完整脸部轮廓信息，此时控制对所述三维脸部图像进行五官识别分析。

6.如权利要求5所述的表情捕捉及动画自动生成方法，其特征在于：

基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正，包括：

基于所述五官属性信息包含的所述目标对象的五官形状尺寸信息，从动画素材库中寻找与所述目标对象具有最高五官相似度的动画人物脸部基础形象；

基于所述五官属性信息包含的所述目标对象的五官轮廓深度信息，对所述动画人物脸部基础形象进行五官线条粗细修正；

基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象，包括：

基于所述表情特征信息包含的所述目标对象的五官各自在所述拍摄的时刻相比于无表情状态下的动作距离和方向信息，对所述动画人物脸部基础形象进行动画人物五官位置调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象。

7.如权利要求6所述的表情捕捉及动画自动生成方法，其特征在于：

基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面，包括：

基于动画游戏场景的场景故事内容信息，选择相匹配的动画人物脸部表情形象；

基于所述动画场景的画面背景布局信息，确定所述动画场景中允许添加动画人物的画面区域；再基于所述画面区域的面积和色度分布，对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后，将所述动画人物添加到相应的动画游戏画面中，形成加工动画游戏画面；

将所有加工动画游戏画面进行组合，形成动态游戏图像，包括：

按照所有加工动画游戏画面的分镜关系信息，将所有加工画面游戏画面进行组合，形成动态游戏图像。