CN110866962A - 一种基于卷积神经网络的虚拟人像与表情同步方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的虚拟人像与表情同步方法，包括以下步骤：通过三维软件构建人像表情，在人像表情上构建动态特征点；通过相机进行人像数据采集，并对数据进行预处理，得到预处理后的人像数据；构建卷积神经网络，并通过人工标记人像数据的方法对卷积神经网络进行训练；将预处理后的人像数据输入训练完成的卷积神经网络，进行人像数据的特征点识别，得到人像数据的特征点；根据人像数据的特征点，将动态特征点进行匹配，获取人像数据的同步表情。本发明将动态特征点与输入人像数据的脸部特征点进行匹配，最后根据匹配结果对动态特征点进行移动，准确的完成了人像表情与虚拟表情的同步。

Description

一种基于卷积神经网络的虚拟人像与表情同步方法

技术领域

本发明属于虚拟人像与表情同步领域，具体涉及一种基于卷积神经网络的虚拟人像与表情同步方法。

背景技术

随着信息技术的发展，社交软件越来越多，用户的交流也越来越紧密，通过文字不能够充分的展现人们的情绪，现有的社交软件都提供了各种各样的表情包，用户通过表情包来表达自己的情绪，但是目前的技术中表情都是固定的，且一般都是人脸固定某个部位的表情，由厂家提供的，不能够实时与用户的表情同步，且找表情比较费时。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于卷积神经网络的虚拟人像与表情同步方法解决了用户表情与虚拟表情不能实时同步的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，包括以下步骤：

S1、通过三维软件构建人像表情，在人像表情上构建动态特征点；

S2、通过相机进行人像数据采集，并对数据进行预处理，得到预处理后的人像数据；

S3、构建卷积神经网络，并通过人工标记人像数据的方法对卷积神经网络进行训练；

S4、将预处理后的人像数据输入训练完成的卷积神经网络，进行人像数据的特征点识别，得到人像数据的特征点；

S5、根据人像数据的特征点，将动态特征点进行匹配，获取人像数据的同步表情。

进一步地，所述步骤S1中在人像表情上构建动态特征点的具体方法为：通过三维软件构建人像表情，并在人像表情的嘴巴、鼻子、眼睛和眉毛处构建动态特征点。

进一步地，所述步骤S2包括以下分步骤：

S2.1、通过相机对人像数据进行采集，得到人像数据；

S2.2、对人像数据进行归一化预处理，得到预处理过后的人像数据。

进一步地，所述步骤S3中卷积神经网络包括依次连接的输入层、第一卷积层、第二卷积层、平均池化层、第三卷积层、第一最大池化层、第四卷积层、第二最大池化层、全连接层和输出层；

所述第一卷积层的大小为3×3，步长为2；所述平均池化层的大小为2×2，步长为2；所述第二卷积层、第三卷积层和第四卷积层的大小均为3×3，步长均为1。

进一步地，所述步骤S3包括以下分步骤：

S3.1、构建卷积神经网络，并采集若干训练人像数据；

S3.2、采用人工标记的方式标记人像数据的特征点，得到标签图像数据；

S3.3、将训练人像数据和标签图像数据输入卷积神经网络之中；

S3.4、以原始的训练人像数据与标签图像特征点匹配度作为损失值，并以损失值最小为目标对卷积神经网络进行训练；

S3.4、采用亚当算法作为网络参数的优化算法对卷积神经网络进行优化，训练至损失值小于0.5时，将此时的网络参数保存为最终的网络参数，得到训练完成的卷积神经网络。

进一步地，所述步骤S3.1中训练人像数据中表情包括撇嘴表情、微笑表情、大笑表情、皱眉表情、张嘴表情、眨眼表情和噘嘴表情。

进一步地，所述步骤S5包括以下分步骤：

S5.1、根据人像数据特征点的所在部位，将动态特征点与人像数据的特征点进行匹配；

S5.2、判断动态特征点与人像数据的特征点的匹配度是否超过98％，若是则进入步骤S5.3，否则返回步骤S5.1；

S5.3、根据匹配结果和人像数据特征点，改变动态特征点的位置，完成人像数据的同步表情。

进一步地，所述步骤S5.1包括以下分步骤：

S5.1.1、对人像数据和人像表情进行脸部区域划分，所述脸部区域包括眉毛、鼻子、嘴巴、眼睛和其它区域；

S5.1.2、根据脸部区域的边框信息，将人像数据和人像表情中相同脸部区域中的特征点进行匹配，得到匹配结果。

本发明的有益效果为：

(1)本发明通过在人像表情的嘴巴、鼻子、眼睛和眉毛处构建动态特征点，并通过动态特征点完成虚拟人像与表情的同步，在人脸重要的表情展现部位构建动态特征点，使能够同步的表情十分丰富。

(2)本发明对人像数据进行采集后，对人像数据进行归一化处理，减少了后续的计算量，提升了表情同步的效率。

(3)本发明通过使用各种表情对卷积神经网络进行训练，保证了卷积神经网络对人像数据特征点识别的准确度。

(4)本发明通过构建卷积神经网络，并对卷积神经网络进行训练，能准确地识别人像数据的特征点，本发明通过对脸部区域进行划分，可以保证人像脸部的特征点可以准确匹配，且匹配时间短。

(5)本发明设置动态特征点和对输入人像数据的脸部特征点进行识别，然后将动态特征点与输入人像数据的脸部特征点进行匹配，最后根据匹配结果对动态特征点进行移动，准确的完成了人像表情与虚拟表情的同步。

附图说明

图1为本发明提出的一种基于卷积神经网络的虚拟人像与表情同步方法流程图。

图2为本发明提出的卷积神经网络的结构图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

下面结合附图详细说明本发明的实施例。

如图1所示，一种基于卷积神经网络的虚拟人像与表情同步方法，包括以下步骤：

S1、通过三维软件构建人像表情，在人像表情上构建动态特征点；

S2、通过相机进行人像数据采集，并对数据进行预处理，得到预处理后的人像数据；

S3、构建卷积神经网络，并通过人工标记人像数据的方法对卷积神经网络进行训练；

S4、将预处理后的人像数据输入训练完成的卷积神经网络，进行人像数据的特征点识别，得到人像数据的特征点；

S5、根据人像数据的特征点，将动态特征点进行匹配，获取人像数据的同步表情。

在本实施例中，通过三维软件FaceGen Modeller构建人像表情，通过相机进行人像数据采集时主要采集使用人员的面部表情。

所述步骤S1中在人像表情上构建动态特征点的具体方法为：通过三维软件构建人像表情，并在人像表情的嘴巴、鼻子、眼睛和眉毛处构建动态特征点。

所述步骤S2包括以下分步骤：

S2.1、通过相机对人像数据进行采集，得到人像数据；

S2.2、对人像数据进行归一化预处理，得到预处理过后的人像数据。

如图2所示，步骤S3中卷积神经网络包括依次连接的输入层、第一卷积层、第二卷积层、平均池化层、第三卷积层、第一最大池化层、第四卷积层、第二最大池化层、全连接层和输出层；

所述第一卷积层的大小为3×3，步长为2；所述平均池化层的大小为2×2，步长为2；所述第二卷积层、第三卷积层和第四卷积层的大小均为3×3，步长均为1。

所述步骤S3包括以下分步骤：

S3.1、构建卷积神经网络，并采集若干训练人像数据；

S3.2、采用人工标记的方式标记人像数据的特征点，得到标签图像数据；

S3.3、将训练人像数据和标签图像数据输入卷积神经网络之中；

S3.4、以原始的训练人像数据与标签图像特征点匹配度作为损失值，并以损失值最小为目标对卷积神经网络进行训练；

S3.4、采用亚当算法作为网络参数的优化算法对卷积神经网络进行优化，训练至损失值小于0.5时，将此时的网络参数保存为最终的网络参数，得到训练完成的卷积神经网络。

所述步骤S3.1中训练人像数据中表情包括撇嘴表情、微笑表情、大笑表情、皱眉表情、张嘴表情、眨眼表情和噘嘴表情。

在本实施例中，将人像数据输入训练完成的卷积神经网络前经过人脸检测，具体方法如下：

A1、将检测窗口设置为24×24，平移量设置为2，令k＝1，并将检测窗口的初始位置设置于人像数据的左上角；

A2、将检测窗口中的子图像输入级连分类器进行人脸检测；

A3、将检测窗口向右平移2，并将检测窗口的子图像输入级连分类器进行人脸检测；

A4、重复若干次步骤A3，直至检测窗口到达人像数据的右边界，判断是否存在子图像包含人脸，若是则记录此子图像的信息，否则进入步骤A5；

A5、将检测窗口向下平移2*k，使用步骤A2-A4的方法进行人脸检测；

A6、令k的计数值加一，重复步骤A5；

A7、将检测出人脸的子图像设置一个检测因子x，令x＝1；

A8、判断有人脸的子图像两两之间的重叠面积是否超过子图像面积的75％，若是，则将对应子图像的检测因子x的计数值加1，否则进入步骤A9；

A9、将检测因子x小于2的图像舍去，根据检测因子对子图像对应的检测窗口进行加权合并，得到人脸检测结果。

在本实施例中，若人脸检测结果中人像数据不包括人脸，则舍弃。

所述步骤S5包括以下分步骤：

S5.1、根据人像数据特征点的所在部位，将动态特征点与人像数据的特征点进行匹配；

S5.2、判断动态特征点与人像数据的特征点的匹配度是否超过98％，若是则进入步骤S5.3，否则返回步骤S5.1；

S5.3、根据匹配结果和人像数据特征点，改变动态特征点的位置，完成人像数据的同步表情。

所述步骤S5.1包括以下分步骤：

S5.1.1、对人像数据和人像表情进行脸部区域划分，所述脸部区域包括眉毛、鼻子、嘴巴、眼睛和其它区域；

S5.1.2、根据脸部区域的边框信息，将人像数据和人像表情中相同脸部区域中的特征点进行匹配，得到匹配结果。

本发明通过在人像数据输入训练完成的卷积神经网络前经过人脸检测，对没有人脸的人像数据进行舍弃，减少了整个流程的计算量，且人脸检测结果加快了特征点识别。

本发明通过在人像表情的嘴巴、鼻子、眼睛和眉毛处构建动态特征点，并通过动态特征点完成虚拟人像与表情的同步，在人脸重要的表情展现部位构建动态特征点，使能够同步的表情十分丰富。本发明对人像数据进行采集后，对人像数据进行归一化处理，减少了后续的计算量，提升了表情同步的效率。

本发明通过使用各种表情对卷积神经网络进行训练，保证了卷积神经网络对人像数据特征点识别的准确度。本发明通过构建卷积神经网络，并对卷积神经网络进行训练，能准确地识别人像数据的特征点，本发明通过对脸部区域进行划分，可以保证人像脸部的特征点可以准确匹配，且匹配时间短。本发明设置动态特征点和对输入人像数据的脸部特征点进行识别，然后将动态特征点与输入人像数据的脸部特征点进行匹配，最后根据匹配结果对动态特征点进行移动，准确的完成了人像表情与虚拟表情的同步。

Claims (8)

1.一种基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，包括以下步骤：

S1、通过三维软件构建人像表情，在人像表情上构建动态特征点；

S2、通过相机进行人像数据采集，并对数据进行预处理，得到预处理后的人像数据；

S3、构建卷积神经网络，并通过人工标记人像数据的方法对卷积神经网络进行训练；

S4、将预处理后的人像数据输入训练完成的卷积神经网络，进行人像数据的特征点识别，得到人像数据的特征点；

S5、根据人像数据的特征点，将动态特征点进行匹配，获取人像数据的同步表情。

2.根据权利要求1所述的基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，所述步骤S1中在人像表情上构建动态特征点的具体方法为：通过三维软件构建人像表情，并在人像表情的嘴巴、鼻子、眼睛和眉毛处构建动态特征点。

3.根据权利要求1所述的基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，所述步骤S2包括以下分步骤：

S2.1、通过相机对人像数据进行采集，得到人像数据；

S2.2、对人像数据进行归一化预处理，得到预处理过后的人像数据。

4.根据权利要求1所述的基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，所述步骤S3中卷积神经网络包括依次连接的输入层、第一卷积层、第二卷积层、平均池化层、第三卷积层、第一最大池化层、第四卷积层、第二最大池化层、全连接层和输出层；

所述第一卷积层的大小为3×3，步长为2；所述平均池化层的大小为2×2，步长为2；所述第二卷积层、第三卷积层和第四卷积层的大小均为3×3，步长均为1。

5.根据权利要求1所述的基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，所述步骤S3包括以下分步骤：

S3.1、构建卷积神经网络，并采集若干训练人像数据；

S3.2、采用人工标记的方式标记人像数据的特征点，得到标签图像数据；

S3.3、将训练人像数据和标签图像数据输入卷积神经网络之中；

S3.4、以原始的训练人像数据与标签图像特征点匹配度作为损失值，并以损失值最小为目标对卷积神经网络进行训练；

S3.4、采用亚当算法作为网络参数的优化算法对卷积神经网络进行优化，训练至损失值小于0.5时，将此时的网络参数保存为最终的网络参数，得到训练完成的卷积神经网络。

6.根据权利要求5所述的基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，所述步骤S3.1中训练人像数据中表情包括撇嘴表情、微笑表情、大笑表情、皱眉表情、张嘴表情、眨眼表情和噘嘴表情。

7.根据权利要求1所述的基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，所述步骤S5包括以下分步骤：

S5.1、根据人像数据特征点的所在部位，将动态特征点与人像数据的特征点进行匹配；

S5.2、判断动态特征点与人像数据的特征点的匹配度是否超过98％，若是则进入步骤S5.3，否则返回步骤S5.1；

S5.3、根据匹配结果和人像数据特征点，改变动态特征点的位置，完成人像数据的同步表情。

8.根据权利要求1所述的基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，所述步骤S5.1包括以下分步骤：

S5.1.1、对人像数据和人像表情进行脸部区域划分，所述脸部区域包括眉毛、鼻子、嘴巴、眼睛和其它区域；

S5.1.2、根据脸部区域的边框信息，将人像数据和人像表情中相同脸部区域中的特征点进行匹配，得到匹配结果。

Images