CN109147037A - 基于三维模型的特效处理方法、装置和电子设备 - Google Patents

Abstract

本申请提出一种基于三维模型的特效处理方法、装置和电子设备，其中，方法包括：获取采集到的二维的人脸图像，以及人脸图像对应的深度信息；根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型；识别与二维的人脸图像对应的表情类别；将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。该方法能够实现无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性，提升特效添加的真实感，使得处理后的效果更佳自然。

Description

基于三维模型的特效处理方法、装置和电子设备

技术领域

本申请涉及电子设备技术领域，尤其涉及一种基于三维模型的特效处理方法、装置和电子设备。

背景技术

随着电子设备的普及，越来越多的用户喜欢利用电子设备的拍照功能进行拍照或者记录生活。而且为了使得所拍摄的图像更加有趣，开发了各种用于对图像进行美化或者增加特效的应用程序。用户可以根据自己的需求，从应用程序自带的所有特效中选择自己喜欢的特效来处理图像，使得图像生动有趣。

由于眼泪等面部特效的添加，依赖于用户的主动选择，导致特效添加的自动化程度较低，此外，对图像增加特效是在二维图像上进行的，使得特效无法与图像完美贴合或者匹配，导致图像处理效果较差，特效添加的真实感不强。

发明内容

本申请提出一种基于三维模型的特效处理方法、装置和电子设备，以实现无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性，提升特效添加的真实感，使得处理后的效果更佳自然，用于解决现有技术中特效添加的真实感不强以及自动化程度低的技术问题。

本申请一方面实施例提出了一种基于三维模型的特效处理方法，包括：

获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；

根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；

识别与所述二维的人脸图像对应的表情类别；

将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

本申请实施例的基于三维模型的特效处理方法，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。

本申请又一方面实施例提出了一种基于三维模型的特效处理装置，包括：

获取模块，用于获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；

重构模块，用于根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；

识别模块，用于识别与所述二维的人脸图像对应的表情类别；

融合模块，用于将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

本申请实施例的基于三维模型的特效处理装置，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。

本申请又一方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请前述实施例提出的基于三维模型的特效处理方法。

本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的基于三维模型的特效处理方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的基于三维模型的特效处理方法的流程示意图；

图2为本申请实施例二所提供的基于三维模型的特效处理方法的流程示意图；

图3为本申请实施例三所提供的基于三维模型的特效处理方法的流程示意图；

图4为本申请实施例四所提供的基于三维模型的特效处理装置的结构示意图；

图5为本申请实施例五所提供的基于三维模型的特效处理装置的结构示意图；

图6为一个实施例中电子设备的内部结构示意图；

图7为作为一种可能的实现方式的图像处理电路的示意图；

图8为作为另一种可能的实现方式的图像处理电路的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请主要针对现有技术中特效添加的真实感不强以及自动化程度低的技术问题，提出一种基于三维模型的特效处理方法。

本申请实施例的基于三维模型的特效处理方法，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。

下面参考附图描述本申请实施例的基于三维模型的特效处理方法、装置和电子设备。

图1为本申请实施例一所提供的基于三维模型的特效处理方法的流程示意图。

如图1所示，该基于三维模型的特效处理方法包括以下步骤：

步骤101，获取采集到的二维的人脸图像，以及人脸图像对应的深度信息。

本申请实施例中，电子设备可以包括可见光图像传感器，可以基于电子设备中的可见光图像传感器获取二维的人脸图像。具体地，可见光图像传感器可以包括可见光摄像头，可见光摄像头可以捕获由人脸反射的可见光进行成像，得到二维的人脸图像。

本申请实施例中，电子设备还可以包括结构光图像传感器，可以基于电子设备中的结构光图像传感器，获取人脸图像对应的深度信息。可选地，结构光图像传感器可以包括镭射灯以及激光摄像头。脉冲宽度调制(Pulse Width Modulation，简称PWM)可以调制镭射灯以发出结构光，结构光照射至成人脸，激光摄像头可以捕获由人脸反射的结构光进行成像，得到人脸对应的结构光图像。深度引擎可以根据人脸对应的结构光图像，计算获得人脸对应的深度信息，即二维的人脸图像对应的深度信息。

步骤102，根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。

本申请实施例中，在获取深度信息和人脸图像后，可以根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。本申请中，人脸对应的三维模型的构建，是根据深度信息和人脸图像，进行三维重构得到的，而不是简单的获取RGB数据和深度数据。

作为一种可能的实现方式，可以将深度信息与二维的人脸图像对应的色彩信息进行融合，得到人脸对应的三维模型。具体地，可以基于人脸关键点检测技术，从深度信息提取人脸的关键点，以及从色彩信息中提取人脸的关键点，而后将从深度信息中提取的关键点和从色彩信息中提取的关键点，进行配准和关键点融合处理，最终根据融合后的关键点，生成人脸对应的三维模型。其中，关键点为人脸上显眼的点，或者为关键位置上的点，例如关键点可以为眼角、鼻尖、嘴角等。

作为另一种可能的实现方式，可以基于人脸关键点检测技术，对人脸图像进行关键点识别，得到人脸图像对应的第二关键点，而后根据第二关键点的深度信息和第二关键点在人脸图像上的位置，确定第二关键点对应的第一关键点在人脸的三维模型中的相对位置，从而可以根据第一关键点在三维空间中的相对位置，连接相邻的第一关键点，生成局部人脸三维框架。其中，局部人脸可以包括鼻部、唇部、眼部、脸颊等脸部部位。

在生成局部人脸三维框架后，可以根据不同的局部人脸三维框架中包含的相同第一关键点，对不同的局部人脸三维框架进行拼接，得到人脸对应的三维模型。

步骤103，识别与二维的人脸图像对应的表情类别。

作为一种可能的实现方式，用户可以预先录制不同表情类别对应的参考表情，例如，用户可以预先录制伤心、高兴、沮丧、愤怒、思考等表情类别对应的参考表情，在得到二维的人脸图像后，可以将人脸图像与参考表情进行匹配，将匹配中的目标参考表情对应的表情类别，作为人脸图像的表情类别。

作为另一种可能的实现方式，可以获取当前帧之前采集的至少一帧人脸图像，而后可以根据当前帧的人脸图像与至少一帧人脸图像，确定表情类别。比如，根据当前帧的人脸图像与至少一帧人脸图像，可以确定眉毛上扬还是下拉、眼睛变大还是变小、嘴角上扬还是下拉等，进而可以确定表情类别。例如，当根据当前帧的人脸图像与至少一帧人脸图像，确定眼睛变小、眼角上扬、嘴角上扬时，可以确定表情类别为高兴。

步骤104，将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

本申请实施例中，可以预先存储表情类别与特效模型之间的对应关系，例如，当表情类别为伤心时，特效模型可以为眼泪，当表情类别为愤怒时，特效模型可以为火焰，当表情类别为紧张时，特效模型可以为冷汗等等。

其中，特效模型可以存储在电子设备的应用程序的素材库中，该素材库中存储有不同的特效模型，或者，电子设备上的应用程序也可以从服务器上实时下载新的特效模型，新下载的特效模型可以存储到素材库中。

可选地，在确定表情类别后，可以查询上述对应关系，获取与表情类别匹配的特效模型，而后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

作为一种可能的实现方式，为了提升特效处理后的三维模型的显示效果，增强特效添加后的三维模型的真实感，本申请实施例中，可以调整特效模型相对三维模型的角度，以使三维模型和特效模型角度匹配，而后对特效模型进行渲染后，贴图至三维模型。

进一步地，当得到特效处理后的三维模型后，可以在电子设备的显示界面对特效处理后的三维模型进行展示，从而可以便于用户直观化的获知特效处理后的三维模型。

本申请实施例的基于三维模型的特效处理方法，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。

作为一种可能的实现方式，为了提升表情类别识别的效率以及识别的准确性，本申请中，在获取当前帧之前采集的至少一帧人脸图像后，只有在确定至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异大于阈值时，才对当前帧对应的表情类别进行识别。下面结合图2，对上述过程进行详细说明。

图2为本申请实施例二所提供的基于三维模型的特效处理方法的流程示意图。

见图2，在图1所示实施例的基础上，步骤103具体可以包括以下子步骤：

步骤201，识别当前帧的人脸图像中各关键点的位置。

具体地，可以基于关键点识别技术，识别当前帧的人脸图像中各关键点的位置。

步骤202，对当前帧之前采集的至少一帧人脸图像，识别至少一帧人脸图像中各关键点的位置。

本申请实施例中，可以获取当前帧之前采集的至少一帧人脸图像，并基于关键点识别技术，确定至少一帧人脸图像中各关键点的位置。

步骤203，判断至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异大于阈值，若是，执行步骤204，否则，执行步骤205。

其中，阈值可以预设在电子设备的内置程序中，或者，阈值也可以由用户进行设置，对此不作限制。

步骤204，识别当前帧对应的表情类别。

本申请实施例中，当至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异大于阈值时，表明用户连续做出的表情具有较大的变化，此时，用户可能想要添加特效，因此，可以进一步识别当前帧对应的表情类别，从而触发后续特效添加的步骤，具体的识别过程可以参见上述实施例中步骤103的执行过程，在此不做赘述。

步骤205，不做任何处理。

本申请实施例中，在至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异未大于阈值时，表明用户连续做出的表情未发生较大变化，此时，用户可能并不想添加特效，因此，可以不做任何处理。

作为一种可能的实现方式，参见图3，在图1所示实施例的基础上，步骤104具体可以包括以下子步骤：

步骤301，根据表情类别，获取对应的特效模型。

作为一种可能的实现方式，可以预先存储表情类别与特效模型之间的对应关系，在确定人脸图像对应的表情类别后，可以查询上述对应关系，获取与表情类别匹配的特效模型，操作简单，且易于实现。

步骤302，调整特效模型相对三维模型的角度，以使三维模型和特效模型角度匹配。

需要说明的是，将特效模型贴图至三维模型之前，需要调整特效模型相对三维模型的角度，以使三维模型和特效模型角度匹配。比如，特效模型为眼泪时，当三维模型中人脸是正对屏幕或者侧对屏幕时，眼泪的显示效果是不同的，因此，需要根据人脸的偏转角度，调整特效模型的转动角度，从而使得三维模型和特效模型角度匹配，进而提升后续特效处理效果。

作为一种可能的实现方式，可以预先确定不同特效模型适用的角度参数，其中，角度参数可以为定值，或者为取值范围(例如为[-45°，45°])，对此不作限制。在确定与表情类别对应的特效模型后，可以查询该特效模型适用的角度参数，而后旋转特效模型，以使特效模型中预设目标关键点的第一连线，与三维模型中预设参考关键点的第二连线之间的夹角符合角度参数。

步骤303，根据特效模型，在三维模型中，查询对应的待贴图关键点。

应当理解的是，不同的特效模型，在三维模型中的待贴图关键点不同。例如，当特效模型为眼泪时，一般眼泪是从眼角对应的关键点，流下至鼻翼对应的关键点，而后再从鼻翼对应的关键点流下至嘴角对应的关键点，因此，可以将眼角至鼻翼，以及鼻翼至嘴角对应的关键点，作为待贴图关键点。或者，当特效模型为冷汗时，一般冷汗是从额头对应的关键点，流下至眉尾对应的关键点，再从眉尾对应的关键点流下至脸颊对应的关键点，接着从脸颊对应的关键点流下至下巴对应的关键点，因此，可以将额头至眉尾、眉尾至脸颊，以及脸颊至下巴对应的关键点，作为待贴图关键点。

作为一种可能的实现方式，可以预先建立不同特效模型与待贴图关键点之间的对应关系，在确定与表情类别对应的特效模型后，可以查询上述对应关系，获取在三维模型中，与该特效模型对应的待贴图关键点。

步骤304，在三维模型中，将特效模型对应的待贴图关键点所在区域作为待贴图区域。

本申请实施例中，当特效模型不同时，待贴图区域不同，在确定三维模型中，特效模型对应的待贴图关键点时，可以将对应的待贴图关键点所在区域作为待贴图区域。

步骤305，根据三维模型的待贴图区域，对特效模型进行形变，以使形变后的特效模型覆盖待贴图区域。

本申请实施例中，在确定三维模型中的待贴图区域后，可以对特效模型进行形变，以使形变后的特效模型覆盖待贴图区域，从而提升特效处理效果。

步骤306，对特效模型进行渲染后，贴图至三维模型。

为了使得特效模型与三维模型匹配，进而保证特效处理后的三维模型的显示效果，本申请中，可以对特效模型进行渲染后，贴图至三维模型。

作为一种可能的实现方式，可以根据三维模型的光效，对特效模型进行渲染，从而使得渲染后的特效模型的光效与三维模型匹配，进而提升特效处理后的三维模型的显示效果。

为了实现上述实施例，本申请还提出一种基于三维模型的特效处理装置。

图4为本申请实施例四所提供的基于三维模型的特效处理装置的结构示意图。

如图4所示，该基于三维模型的特效处理装置100包括：获取模块110、重构模块120、识别模块130，以及融合模块140。其中，

获取模块110，用于获取采集到的二维的人脸图像，以及人脸图像对应的深度信息。

重构模块120，用于根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。

识别模块130，用于识别与二维的人脸图像对应的表情类别。

融合模块140，用于将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

进一步地，在本申请实施例的一种可能的实现方式中，参见图5，在图4所示实施例的基础上，该基于三维模型的特效处理装置100还可以包括：

作为一种可能的实现方式，识别模块130，包括：

第一识别子模块131，用于识别当前帧的人脸图像中各关键点的位置。

第二识别子模块132，用于对当前帧之前采集的至少一帧人脸图像，识别至少一帧人脸图像中各关键点的位置。

第三识别子模块133，用于若至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异大于阈值，识别当前帧对应的表情类别。

作为一种可能的实现方式，融合模块140，包括：

获取子模块141，用于根据表情类别，获取对应的特效模型。

调整子模块142，用于调整特效模型相对三维模型的角度，以使三维模型和特效模型角度匹配。

作为一种可能的实现方式，调整子模块142，具体用于：查询特效模型适用的角度参数；旋转特效模型，以使特效模型中预设目标关键点的第一连线，与三维模型中预设参考关键点的第二连线之间的夹角符合角度参数。

贴图子模块143，用于对特效模型进行渲染后，贴图至三维模型。

作为一种可能的实现方式，贴图子模块143，具体用于：根据三维模型的光效，对特效模型进行渲染。

形变子模块144，用于在对特效模型进行渲染后，贴图至三维模型之前，根据三维模型的待贴图区域，对特效模型进行形变，以使形变后的特效模型覆盖待贴图区域。

查询子模块145，用于在根据三维模型的待贴图区域，对特效模型进行形变之前，根据特效模型，在三维模型中，查询对应的待贴图关键点。

处理子模块146，用于在三维模型中，将特效模型对应的待贴图关键点所在区域作为待贴图区域。

需要说明的是，前述对基于三维模型的特效处理方法实施例的解释说明也适用于该实施例的基于三维模型的特效处理装置100，此处不再赘述。

本申请实施例的基于三维模型的特效处理装置，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。

为了实现上述实施例，本申请还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现本申请前述实施例提出的基于三维模型的特效处理方法。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本申请前述实施例提出的基于三维模型的特效处理方法。

图6为一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过***总线210连接的处理器220、存储器230、显示器240和输入装置250。其中，电子设备200的存储器230存储有操作***和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的基于三维模型的特效处理方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的显示器240可以是液晶显示屏或者电子墨水显示屏等，输入装置250可以是显示器240上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

为了清楚说明本实施例提供的电子设备，请参阅图7，提供了本申请实施例的图像处理电路，图像处理电路可利用硬件和/或软件组件实现。

需要说明的是，图7为作为一种可能的实现方式的图像处理电路的示意图。为便于说明，仅示出与本申请实施例相关的各个方面。

如图7，该图像处理电路具体包括：图像单元310、深度信息单元320和处理单元330。其中，

图像单元310，用于输出二维的人脸图像。

深度信息单元320，用于输出深度信息。

本申请实施例中，可以通过图像单元310，获取二维的人脸图像，以及通过深度信息单元320，获取人脸图像对应的深度信息。

处理单元330，分别与图像单元310和深度信息单元320电性连接，用于根据图像单元310获取的二维的人脸图像，以及深度信息单元320获取的对应的深度信息，对人脸进行三维重构，以得到人脸对应的三维模型，识别与二维的人脸图像对应的表情类别，将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

本申请实施例中，图像单元310获取的二维的人脸图像可以发送至处理单元330，以及深度信息单元320获取的人脸图像对应的深度信息可以发送至处理单元330，处理单元330可以根据人脸图像以及深度信息，对人脸进行三维重构，以得到人脸对应的三维模型，识别与二维的人脸图像对应的表情类别，将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。具体的实现过程，可以参见上述图1至图3实施例中对基于三维模型的特效处理方法的解释说明，此处不做赘述。

进一步地，作为本申请一种可能的实现方式，参见图8，在图7所示实施例的基础上，该图像处理电路还可以包括：

作为一种可能的实现方式，图像单元310具体可以包括：电性连接的图像传感器311和图像信号处理(Image Signal Processing，简称ISP)处理器312。其中，

图像传感器311，用于输出原始图像数据。

ISP处理器312，用于根据原始图像数据，输出人脸图像。

本申请实施例中，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的人脸图像。其中，图像传感器311可包括色彩滤镜阵列(如Bayer滤镜)，以及对应的感光单元，图像传感器311可获取每个感光单元捕捉的光强度和波长信息，并提供可由ISP处理器312处理的一组原始图像数据。ISP处理器312对原始图像数据进行处理后，得到YUV格式或者RGB格式的人脸图像，并发送至处理单元330。

其中，ISP处理器312在对原始图像数据进行处理时，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器312可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

作为一种可能的实现方式，深度信息单元320，包括电性连接的结构光传感器321和深度图生成芯片322。其中，

结构光传感器321，用于生成红外散斑图。

深度图生成芯片322，用于根据红外散斑图，输出深度信息；深度信息包括深度图。

本申请实施例中，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)，该深度图指示了红外散斑图中各像素点的深度。深度图生成芯片322将深度图发送至处理单元330。

作为一种可能的实现方式，处理单元330，包括：电性连接的CPU331和GPU(Graphics Processing Unit，图形处理器)332。其中，

CPU331，用于根据标定数据，对齐人脸图像与深度图，根据对齐后的人脸图像与深度图，输出人脸对应的三维模型。

GPU332，用于识别与二维的人脸图像对应的表情类别，将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

本申请实施例中，CPU331从ISP处理器312获取到人脸图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出人脸图像中各像素点对应的深度信息。进而，CPU331根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。

CPU331将人脸对应的三维模型发送至GPU332，以便GPU332根据人脸对应的三维模型执行如前述实施例中描述的基于三维模型的特效处理方法，实现将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

进一步地，图像处理电路还可以包括：显示单元340。

显示单元340，与GPU332电性连接，用于根据特效处理后的三维模型进行展示。

具体地，GPU332处理得到的特效处理后的三维模型，可以由显示器340显示。

可选地，图像处理电路还可以包括：编码器350和存储器360。

本申请实施例中，GPU332处理得到的特效处理后的三维模型，还可以由编码器350编码后存储至存储器360，其中，编码器350可由协处理器实现。

在一个实施例中，存储器360可以为多个，或者划分为多个存储空间，存储GPU312处理后的图像数据可存储至专用存储器，或者专用存储空间，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。存储器360可被配置为实现一个或多个帧缓冲器。

下面结合图8，对上述过程进行详细说明。

如图8所示，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的人脸图像，并发送至CPU331。

如图8所示，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)。深度图生成芯片322将深度图发送至CPU331。

CPU331从ISP处理器312获取到人脸图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出人脸图像中各像素点对应的深度信息。进而，CPU331根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。

CPU331将人脸对应的三维模型发送至GPU332，以便GPU332根据人脸的三维模型执行如前述实施例中描述的基于三维模型的特效处理方法，实现将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。GPU332处理得到的特效处理后的三维模型，可以由显示器340显示，和/或，由编码器350编码后存储至存储器360。

例如，以下为运用图6中的处理器220或运用图8中的图像处理电路(具体为CPU331和GPU332)实现控制方法的步骤：

CPU331获取二维的人脸图像，以及人脸图像对应的深度信息；CPU331根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型；GPU332识别与二维的人脸图像对应的表情类别；GPU332将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于三维模型的特效处理方法，其特征在于，所述方法包括：

获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；

根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；

识别与所述二维的人脸图像对应的表情类别；

将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

2.根据权利要求1所述的特效处理方法，其特征在于，所述识别与所述二维的人脸图像对应的表情类别，包括：

识别当前帧的人脸图像中各关键点的位置；

对当前帧之前采集的至少一帧人脸图像，识别所述至少一帧人脸图像中各关键点的位置；

若所述至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异大于阈值，识别当前帧对应的表情类别。

3.根据权利要求1所述的特效处理方法，其特征在于，所述将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型，包括：

根据所述表情类别，获取对应的特效模型；

调整所述特效模型相对所述三维模型的角度，以使所述三维模型和所述特效模型角度匹配；

对所述特效模型进行渲染后，贴图至所述三维模型。

4.根据权利要求3所述的特效处理方法，其特征在于，在所述对所述特效模型进行渲染后，贴图至所述三维模型之前，还包括：

根据所述三维模型的待贴图区域，对所述特效模型进行形变，以使形变后的特效模型覆盖所述待贴图区域。

5.根据权利要求4所述的特效处理方法，其特征在于，所述根据所述三维模型的待贴图区域，对所述特效模型进行形变之前，还包括：

根据所述特效模型，在所述三维模型中，查询对应的待贴图关键点；

在所述三维模型中，将所述特效模型对应的待贴图关键点所在区域作为待贴图区域。

6.根据权利要求3所述的特效处理方法，其特征在于，所述调整所述特效模型相对所述三维模型的角度，以使所述三维模型和所述特效模型角度匹配，包括：

查询所述特效模型适用的角度参数；

旋转所述特效模型，以使所述特效模型中预设目标关键点的第一连线，与所述三维模型中预设参考关键点的第二连线之间的夹角符合所述角度参数。

7.根据权利要求3所述的特效处理方法，其特征在于，所述对所述特效模型进行渲染，包括：

根据所述三维模型的光效，对所述特效模型进行渲染。

8.一种基于三维模型的特效处理装置，其特征在于，所述装置包括：

获取模块，用于获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；

重构模块，用于根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；

识别模块，用于识别与所述二维的人脸图像对应的表情类别；

融合模块，用于将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-7中任一所述的基于三维模型的特效处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的基于三维模型的特效处理方法。