CN108520493A - 图像替换的处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种图像替换的处理方法、装置、存储介质及电子设备。该方法包括：从待处理图像中确定出基础图像；从该基础图像中确定出待替换人脸图像，该待替换人脸图像中预设部位的图像不符合预设条件；从该待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像，每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像；根据每一待替换人脸图像及其对应的目标人脸图像，确定出每一待替换人脸图像需要采用的替换操作，该替换操作包括脸部替换和预设部位替换。

Description

图像替换的处理方法、装置、存储介质及电子设备

技术领域

本申请属于图像技术领域，尤其涉及一种图像替换的处理方法、装置、存储介质及电子设备。

背景技术

拍照是终端的一项基本功能。随着摄像模组等硬件和图像处理算法的不断进步，终端的拍摄功能越来越强大。用户也越来越频繁地使用终端进行拍照，比如用户经常会使用终端拍摄人物照等等。相关技术中，在对图像进行处理时，终端可以将第一图像中的某部分图像替换为第二图像中的另一部分图像。然而，这种图像替换的方式其灵活性较差。

发明内容

本申请实施例提供一种图像替换的处理方法、装置、存储介质及电子设备，可以提高终端对图像进行替换处理的灵活性。

本申请实施例提供一种图像替换的处理方法，包括：

从待处理图像中确定出基础图像；

从所述基础图像中确定出待替换人脸图像，所述待替换人脸图像中预设部位的图像不符合预设条件；

从所述待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像，每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像；

根据每一待替换人脸图像及其对应的目标人脸图像，确定出每一待替换人脸图像需要采用的替换操作，所述替换操作包括脸部替换和预设部位替换。

本申请实施例提供一种图像替换的处理装置，包括：

第一确定模块，用于从待处理图像中确定出基础图像；

第二确定模块，用于从所述基础图像中确定出待替换人脸图像，所述待替换人脸图像中预设部位的图像不符合预设条件；

获取模块，用于从所述待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像，每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像；

第三确定模块，用于根据每一待替换人脸图像及其对应的目标人脸图像，确定出每一待替换人脸图像需要采用的替换操作，所述替换操作包括脸部替换和预设部位替换。

本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的方法。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的方法。

本实施例中，终端可以根据每一待替换人脸图像及其对应的目标人脸图像的具体情况，来确定是采用目标人脸图像中的脸部替换掉待替换人脸图像的脸部，还是采用目标人脸图像中的预设部位替换掉待替换人脸图像的预设部位。因此，本申请实施例可以提高终端对图像进行替换处理的灵活性。并且，本实施例中，经过图像替换处理后的基础图像中人脸部分是带有微笑表情的，因此整体成像效果更好，更符合用户的拍照预期。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其有益效果显而易见。

图1是本申请实施例提供的图像替换的处理方法的流程示意图。

图2是本申请实施例提供的图像替换的处理方法的另一流程示意图。

图3至图4是本申请实施例提供的图像替换的处理方法的场景示意图。

图5是本申请实施例提供的图像替换的处理装置的结构示意图。

图6是本申请实施例提供的图像替换的处理装置的另一结构示意图。

图7是本申请实施例提供的移动终端的结构示意图。

图8是本申请实施例提供的电子设备的结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等的终端设备。

请参阅图1，图1是本申请实施例提供的图像替换的处理方法的流程示意图，流程可以包括：

在步骤S101中，从待处理图像中确定出基础图像。

拍照是终端的一项基本功能。随着摄像模组等硬件和图像处理算法的不断进步，终端的拍摄功能越来越强大。用户也越来越频繁地使用终端进行拍照，比如用户经常会使用终端拍摄人物照等等。相关技术中，在对图像进行处理时，终端可以将第一图像中的某部分图像替换为第二图像中的另一部分图像。然而，这种图像替换的方式其灵活性较差。

在本申请实施例的步骤S101中，比如，终端可以先从待处理图像中确定出一帧基础图像。

需要说明的是，待处理图像可以是终端连续、快速采集到的多帧图像。例如，在进入终端相机的拍摄预览界面后，终端可以每隔30毫秒或40毫秒或60毫秒等采集一帧图像，并将采集到的图像显示在拍摄预览界面供用户查看，同时终端可以将采集到的图像保存到一定长的缓存队列中。例如，该缓存队列中保存有终端最近采集到的15帧图像。那么，当需要进行图像处理时，终端可以从该缓存队列中获取多帧图像。终端获取到的这多帧图像即是待处理图像。

在步骤S102中，从该基础图像中确定出待替换人脸图像，该待替换人脸图像中预设部位的图像不符合预设条件。

比如，在确定出基础图像后，终端可以从该基础图像中确定出人脸预设部位的图像不符合预设条件的待替换人脸图像。

例如，在基础图像中包含四张人脸图像，分别是甲、乙、丙、丁四人的人脸图像。其中，乙和丙的人脸预设部位的图像不符合预设条件，因此终端将乙和丙的人脸图像确定为待替换人脸图像。

在步骤S103中，从该待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像，每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像。

比如，在确定出待替换人脸图像后，终端可以从待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像，即终端可以获取与每一待替换人脸图像对应的目标人脸图像。其中，每一待替换人脸图像及其对应的目标人脸图像为同一用户的人脸图像。

例如，待处理图像为A、B、C、D、E、F，这6帧图像均为终端采集并保存到缓存队列中的甲乙丙丁四人的合影图像。其中，图像D被确定为基础图像。基础图像D中的乙和丙的人脸图像被终端确定为待替换人脸图像。之后，终端可以从其它待处理图像(即图像A、B、C、E、F)中获取乙的目标人脸图像，以及丙的目标人脸图像。例如，图像A中的乙的人脸图像被确定为乙的目标人脸图像，图像B中丙的人脸图像被确定为丙的目标人脸图像。可以理解的是，图像A中乙的目标人脸图像可以用于替换图像D中乙的待替换人脸图像，图像B中丙的目标人脸图像可以用于替换图像D中丙的待替换人脸图像。

在步骤S104中，根据每一待替换人脸图像及其对应的目标人脸图像，确定出每一待替换人脸图像需要采用的替换操作，该替换操作包括脸部替换和预设部位替换。

比如，在确定出与每一待替换人脸图像对应的目标人脸图像后，终端可以根据每一待替换人脸图像及其对应的目标人脸图像，确定出每一待替换人脸图像需要采用的替换操作。其中，该替换操作至少可以包括脸部替换和预设部位替换。即，终端可以根据每一待替换人脸图像及其对应的目标人脸图像的具体情况，确定出对于每一待替换人脸图像，是使用其对应的目标人脸图像中的脸部替换掉待替换人脸图像的脸部，还是使用其对应的目标人脸图像中预设部位替换掉待替换人脸图像的预设部位，从而使经过图像替换处理后的基础图像中的每一张人脸图像的预设部位的图像均符合预设条件。

例如，终端根据用户乙的待替换人脸图像和目标人脸图像，确定出需要采用脸部替换的操作，而根据用户丙的待替换人脸图像和目标人脸图像，确定出需要采用眼部替换的操作。那么，终端就可以使用图像A中乙的脸部图像替换掉基础图像D中乙的脸部图像，然后终端可以使用图像B中丙的眼部图像替换掉基础图像D中丙的眼部图像，从而使经过图像替换处理的图像D中甲乙丙丁四人的人脸图像中的眼部图像均符合预设条件。

可以理解的是，本实施例中，终端可以根据每一待替换人脸图像及其对应的目标人脸图像的具体情况，来确定是采用目标人脸图像中的脸部替换掉待替换人脸图像的脸部，还是采用目标人脸图像中的预设部位替换掉待替换人脸图像的预设部位。因此，本申请实施例可以提高终端对图像进行替换处理的灵活性。

请参阅图2，图2为本申请实施例提供的图像替换的处理方法的另一流程示意图，本实施例中以预设部位为眼部举例进行说明，流程可以包括：

在步骤S201中，终端从待处理图像中确定出基础图像。

比如，当需要进行图像处理时，终端可以从缓存队列中获取多帧图像。终端获取到的这多帧图像即是待处理图像。在获取到待处理图像后，终端可以从这些待处理图像中确定出一帧基础图像。

在步骤S202中，终端从该基础图像中确定出待替换人脸图像，该待替换人脸图像的眼部图像不符合预设条件。

比如，在确定出基础图像后，终端可以从该基础图像中确定出眼部图像不符合预设条件的待替换人脸图像。

在一种实施方式中，预设条件可以为本图像中用户的眼睛比其它待处理图像中该用户的眼睛更大。

例如，待处理图像为A、B、C、D、E、F，这6帧图像均为终端采集并保存到缓存队列中的甲乙丙丁四人的合影图像。其中，图像D被确定为基础图像。图像D中甲的眼睛比其它待处理图像(A、B、C、E、F)中甲的眼睛更大，图像D中丁的眼睛比其它待处理图像中丁的眼睛更大。而图像D中乙的眼睛比其它待处理图像中某一帧或某几帧图像中乙的眼睛更小，图像D中丙的眼睛比其它待处理图像中某一帧或某几帧图像中丙的眼睛更小。例如，图像D中乙的眼睛大小的数值为80，而图像A中乙的眼睛大小的数值为85，那么图像D中乙的人脸图像可以被确定为代替换人脸图像。图像D中丙的眼睛大小的数值为82，而图像B中丙的眼睛大小的数值为88，那么图像D中丙的人脸图像也可以被确定为待替换人脸图像。

在步骤S203中，从待处理图像中，终端获取用于替换每一待替换人脸图像的目标人脸图像，每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像。

比如，在确定出待替换人脸图像后，终端可以从待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像。其中，每一待替换人脸图像及其对应的目标人脸图像为同一用户的人脸图像。

例如，待处理图像为A、B、C、D、E、F，这6帧图像均为终端采集并保存到缓存队列中的甲乙丙丁四人的合影图像。其中，图像D被确定为基础图像。基础图像D中的乙和丙的人脸图像被终端确定为待替换人脸图像。之后，终端可以从其它待处理图像(即图像A、B、C、E、F)中获取乙的目标人脸图像，以及丙的目标人脸图像。例如，由于图像A中乙的眼睛大小为85，大于图像D中乙的眼睛大小80。因此图像A中的乙的人脸图像被确定为乙的目标人脸图像。由于图像B中丙的眼睛大小为88，大于图像D中丙的眼睛大小82，因此图像B中丙的人脸图像被确定为丙的目标人脸图像。

在步骤S204中，终端对每一待替换人脸图像及其对应的目标人脸图像进行表情检测。

比如，在确定出每一待替换人脸图像及其对应的目标人脸图像后，终端可以对每一待替换人脸图像及其对应的目标人脸图像进行表情检测。

在一种实施方式中，终端可以利用预设的表情检测算法(如微笑检测算法)，检测每一待替换人脸图像及其对应的目标人脸图像是否含有微笑表情。或者，终端可以先识别出人脸图像中的嘴部区域及嘴部区域的嘴角区域，然后检测该嘴角区域是否带有弧度。若带有弧度，则可以认为该人脸图像含有微笑表情。在带有弧度的情况下，终端还可以进一步检测弧度大小，若弧度较大，则可以认为笑容比较灿烂，若弧度较小，则可以认为笑容比较不灿烂。若没有弧度，则可以认为该人脸图像不含微笑表情。

然后，终端可以根据每一待替换人脸图像及其对应的目标人脸图像的表情检测结果，确定出每一待替换人脸需要采用的替换操作，该替换操作具体可以是脸部替换或者眼部替换。

在一种实施方式中，对于每一待替换人脸图像及其对应的目标人脸图像，如果表情检测的结果显示待替换人脸图像及其对应的目标人脸图像的表情没有变化或者变化很小，那么终端可以采用脸部替换的方式，也可以采用眼部替换的方式。即，在这种情况下，终端可以使用整个目标人脸图像替换掉基础图像中的整个待替换人脸图像，或者终端也可以使用目标人脸图像中的眼部替换掉基础图像中待替换人脸图像的眼部。

在步骤S205中，对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像包含微笑表情，且目标人脸图像不含微笑表情，则终端确定出对待替换人脸图像需要采用眼部替换的操作。

比如，对于每一待替换人脸图像及其对应的目标人脸图像，如果表情检测的结果指示待替换人脸图像包含微笑表情，并且对应的目标人脸图像不包含微笑表情，那么终端可以确定出需要对待替换人脸图像使用眼部替换的操作，即终端确定出在进行图像替换操作时，使用目标人脸图像中的眼部图像替换掉待替换人脸图像中的眼部图像。

例如，终端检测到基础图像D中乙的人脸图像(待替换人脸图像)的表情含有微笑表情，而图像A中乙的人脸图像(目标人脸图像)的表情不含有微笑表情。在这种情况下，在进行图像替换操作时，终端可以使用图像A中乙的眼部图像替换掉图像D中乙的眼部图像。而不需要对图像D中乙的整个人脸图像进行替换。

在步骤S206中，对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像不含微笑表情，且目标人脸图像包含微笑表情，则终端确定出对待替换人脸图像需要采用脸部替换的操作。

比如，对于每一待替换人脸图像及其对应的目标人脸图像，如果表情检测的结果指示待替换人脸图像不含微笑表情，并且对应的目标人脸图像含有微笑表情，那么终端可以确定出需要对待替换人脸图像使用脸部替换的操作，即终端确定出在进行图像替换操作时，使用整个目标人脸图像替换掉整个待替换人脸图像。

例如，终端检测到基础图像D中丙的人脸图像(待替换人脸图像)的表情不含微笑表情，而图像A中乙的人脸图像(目标人脸图像)的表情含有微笑表情。在这种情况下，在进行图像替换操作时，终端可以使用图像A中乙的整个人脸图像替换掉图像D中乙的整个人脸图像。

可以理解的是，本实施例中，终端可以根据待替换人脸图像及其对应的目标人脸图像中的表情，来确定使用整个目标人脸图像替换掉整个待替换人脸图像，或者使用目标人脸图像中的眼部替换掉待替换人脸图像中的眼部，而不使用整个目标人脸图像替换掉待替换人脸图像。因此，本实施例可以提高终端在进行图像替换时的灵活性。

并且，本实施例中，经过图像替换处理后的基础图像中人脸部分是带有微笑表情的，因此整体成像效果更好，更符合用户的拍照预期。

此外，当使用眼部替换的方式时，由于只替换眼部图像，因此终端进行图像替换的处理速度较快。

在一种实施方式中，在S204中终端对每一待替换人脸图像及其对应的目标人脸图像进行表情检测的步骤之后，还可以包括如下步骤：

对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像和目标人脸图像的表情一致，则获取当前被占用的运行内存容量及终端的运行内存总容量；

获取所述被占用的运行内存容量占所述运行内存总容量的比例；

若检测到所述比例达到预设比例阈值，则确定出对待替换人脸图像需要采用预设部位替换的操作。

也即，根据表情检测的结果确定出每一待替换人脸图像需要采用的替换操作的步骤，可以包括上述步骤。

比如，当检测到每一待替换人脸图像及其对应的目标人脸图像的表情一致(即每一待替换人脸图像及其对应的目标人脸图像的表情之间没有表情变化或者变化很小)时，终端可以获取当前被占用的运行内存容量以及运行内存总容量，并计算该被占用的运行内存容量占该运行内存总容量的比例。

若检测到该被占用的运行内存容量与该运行内存总容量的比例超过预设比例阈值，那么可以认为当前的运行内存被占用较多，此时终端可以确定出使用目标人脸图像中的预设部位替换掉待替换人脸图像中的预设部位。比如，终端确定出使用目标人脸图像中的眼部替换掉待替换人脸图像中的眼部。

若检测到该被占用的运行内存容量与该运行内存总容量的比例未超过预设比例阈值，那么可以认为当前的运行内存被占用较少。此时，终端可以确定出使用整个目标人脸图像替换掉整个待替换人脸图像的方式进行图像替换处理，等等。

在一种实施方式中，在所述从待处理图像中确定出基础图像的步骤之前，还可以包括如下步骤：

当采集包含人脸的图像时，根据采集到的至少两帧图像确定出目标帧数；

从采集到的多帧图像中，获取数量为所述目标帧数的待处理图像；

在所述确定出每一待替换人脸图像需要采用的替换操作的步骤之后，还包括：根据确定出来的所述需要采用的替换操作，使用对应的目标人脸图像对每一待替换人脸图像进行图像替换处理，得到经过图像替换处理的基础图像。

比如，在进入相机预览界面后，如果检测到终端在采集包含人脸的图像，那么终端可以根据采集到的至少两帧包含人脸的图像，确定出一个目标帧数。在一种实施方式中，该目标帧数可以大于或等于2。

例如，当终端采集到四帧包含人脸的图像时，终端可以检测这四帧图像中的人脸所在的位置是否发生位移。若未发生位移或者位移很小，则可以认为图像中的人脸图像比较稳定，即用户没有大范围的摇动或转动头部。若发生位移，则可以认为人脸图像不稳定，即用户摇动或转动了头部，并且幅度较大。

在一种实施方式中，可以通过如下方式来检测图像中的人脸是否发生位移：在获取到采集的四帧图像后，终端可以生成一个坐标系，然后终端可以用相同的方式将每一帧图像放入该坐标系中。之后，终端可以获取每一帧图像中的人脸图像特征点在该坐标系中的坐标。在得到每一帧图像中的人脸图像的特征点在该坐标系中的坐标后，终端就可以比较不同图像中的同一人脸图像特征点的坐标是否相同。若相同，则可以认为图像中的人脸图像未发生位移。若不同，则可以认为图像中的人脸图像发生位移。若检测到人脸图像发生位移，那么终端可以获取具体的位移数值。若该具体的位移数值处于预设数值范围内，则可以认为图像中的人脸图像位移较小。若该具体的位移数值处于预设数值范围外，那么可以认为图像中的人脸图像位移较大。

在一种实施方式中，例如，若人脸图像发生位移，则可以将目标帧数确定为4帧。若人脸图像未发生位移，则可以将目标帧数确定为6帧或8帧。

在用户按下拍照按钮后，终端可以从最近采集到的图像中，获取数量为目标帧数的待处理图像。

在得到待处理图像后，终端可以从待处理图像中确定出基础图像，并从基础图像中确定出人脸预设部位的图像不符合预设条件的待替换人脸图像，以及从待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像。然后，终端可以根据每一待替换人脸图像及其对应的目标人脸图像，确定出每一待替换人脸图像需要采用的替换操作。

在确定出每一待替换人脸图像需要采用的替换操作后，终端可以根据确定出来的所述需要采用的替换操作，使用对应的目标人脸图像对每一待替换人脸图像进行图像替换处理，得到经过图像替换处理的基础图像。

在一种实施方式中，在所述得到经过图像替换处理的基础图像的步骤之后，还可以包括如下步骤：

根据所述待处理图像，对所述经过图像替换处理的基础图像进行图像降噪处理。

比如，在得到经过图像替换处理的基础图像后，终端可以根据待处理图像，对该经过图像替换处理的基础图像进行图像降噪处理。比如，终端可以获取一组包含基础图像在内的连续采集到的图像，并根据这组图像对该经过图像替换处理的基础图像进行多帧降噪处理。

例如，由于基础图像为图像D，因此终端可以获取图像A、B、C，并根据图像A、B、C对经过图像替换处理的图像D进行多帧降噪处理。

在一种实施方式中，在进行多帧降噪时，终端可以先将图像A、B、C、D对齐，并获取图像中每一组对齐像素的像素值。若同一组对齐像素的像素值相差不多，那么终端可以计算这组对齐像素的像素值均值，再用该像素值均值替换掉图像E的对应像素的像素值。若同一组对齐像素的像素值相差较多，那么可以不对图像E中的像素值进行调整。

例如，图像A中的像素P1、图像B中的像素P2、图像C中的像素P3以及图像D中的像素P4是一组相互对齐的像素，其中P1的像素值为101，P2的像素值为102，P3的像素值为103，P4的像素值为104，那么这组相互对齐的像素的像素值均值为102.5，那么终端就可以将图像D中的P4像素的像素值由104调整为102.5，从而对图像D中的P4像素进行降噪处理。若P1的像素值为80，P2的像素值为83，P3的像素值为90，P4的像素值为103，那么由于它们的像素值相差较多，此时终端可以不调整P4的像素值，即P4的像素值保持104不变。

请参阅图3至图4，图3至图4为本申请实施例提供的图像替换的处理方法的场景示意图。

本实施例中，在进入相机的预览界面后，如果检测到终端在采集人脸图像，那么终端可以采集当前的环境参数，并根据采集到的至少两帧人脸图像，确定出一个目标帧数。该环境参数可以是环境光亮度。

若终端根据采集到在至少两帧人脸图像，确定出图像中的人脸未发生位移(或者位移很小)，并且当前处于亮光环境，那么终端可以将目标帧数确定为8帧。若终端根据采集到在至少两帧人脸图像，确定出图像中的人脸未发生位移(或者位移很小)，并且当前处于暗光环境，那么终端可以将目标帧数确定为6帧。若终端根据采集到在至少两帧人脸图像，确定出图像中的人脸发生位移，那么终端可以将目标帧数确定为4帧。

终端可以将采集到的图像保存到缓存队列。该缓存队列可以为定长队列，例如该缓存队列可以保存终端最新采集到的10帧图像。

比如，甲、乙、丙、丁、戊五人外出游玩，并准备在一处风景旁拍照。其中，甲使用终端先为乙拍照，如图3所示。比如，在进入相机的预览界面后，终端根据当前采集到的环境参数，每隔50毫秒采集一帧图像。在甲按下相机的拍照按钮前，终端可以先从缓存队列中获取采集到的4帧图像，可以理解的是，这4帧图像中均包含乙的人脸图像。然后，终端可以检测这4帧图像中乙的人脸图像在画面中的位置是否发生位移。若未发生位移或者位移很小，则可以认为乙的人脸图像比较稳定，即乙没有大范围的摇动或转动头部。若发生位移，则可以认为乙的人脸图像不稳定，即乙摇动或转动了头部，并且幅度较大。例如，本实施例中，终端检测到上述4帧图像中乙的人脸图像在画面中的位置未发生位移。

然后，终端可以获取当前的环境光亮度，并根据该环境光亮度，判断当前是否处于暗光环境。例如，终端判断出当前处于暗光环境。

之后，终端可以根据上述获取到的信息：乙的人脸图像在画面中的位置未发生位移，以及当前处于暗光环境，确定出一个目标帧数。例如，确定出来的目标帧数为6帧。

此后，当甲按下拍照按钮后，终端可以获取6帧采集到的关于乙的图像。例如，终端可以从缓存队列中获取最近采集到的6帧关于乙的图像，例如按照时间先后，这6帧图像分别为A、B、C、D、E、F。

在获取到6帧图像后，终端可以对该6帧图像进行人脸识别，并检测图像中人脸部分的眼睛大小。例如，A、B、C、D、E、F图像中表示乙的眼睛大小的数值分别为80、82、83、84、85、84。由于这6帧图像为乙的单人图像，因此终端可以将这6帧图像中眼睛最大的那帧图像确定为基础图像，即图像E被确定为基础图像。

在将图像E确定为基础图像后，终端可以根据图像C、D、F，对图像E进行多帧降噪处理。在对图像E进行多帧降噪处理后，终端可以将经过降噪处理后的图像E存储到相册中成为一张照片。可以理解的是，图像E即是拍摄到的乙的大眼照片。

之后，戊为甲、乙、丙、丁四人拍摄合影。比如，在进入相机的预览界面后，终端检测到采集到的4帧图像中甲乙丙丁四人的人脸图像在画面中的位置未发生位移，并且当前处于暗光环境。基于此，终端确定出目标帧数为6帧。

此后，当戊按下拍照按钮后，终端可以获取6帧采集到的关于甲乙丙丁的图像。例如，终端可以从缓存队列中获取最近采集到的6帧关于甲乙丙丁的图像，例如按照时间先后，这6帧图像分别为H、I、J、K、L、M。

可以理解的是，这6帧图像H、I、J、K、L、M即为待处理图像。在得到待处理图像后，终端可以从这6帧待处理图像中确定出基础图像。

例如，终端可以先对这6帧图像进行人脸识别，并获取图像中人脸部分的眼睛大小。例如，通过人眼大小检测，终端确定出甲在图像H、I、J、K、L、M中的眼睛大小的数值分别为70、72、75、80、78、79。乙在图像H、I、J、K、L、M中的眼睛大小的数值分别为80、80、81、82、85、82。丙在图像H、I、J、K、L、M中的眼睛大小的数值分别为80、82、82、50、30、0。丁在图像H、I、J、K、L、M中的眼睛大小的数值分别为82、83、84、88、85、81。其中，由待处理图像中丙的眼睛大小的变化可知，丙的眼睛从图像J开始不断变小，这可以认为丙在眨眼。其中图像M中丙处于闭眼状态(眼睛大小为0)。

在得到每一帧待处理图像中每一个人脸的眼睛大小后，终端可以从这6帧中确定出基础图像。

例如，甲的最大眼睛出现在图像K中，乙的最大眼睛出现在图像L中，丙的最大眼睛出现在图像I和J中，丁的最大眼睛出现在图像K中。那么，由于图像K中出现了两个用户(甲和丁)的最大眼睛，因此终端可以将图像K确定为基础图像。

在将图像K确定为基础图像后，终端可以从图像K中确定出眼部图像不符合预设条件的待替换人脸图像。其中，该预设条件为本图像中用户的眼睛大于其它待处理图像中本用户的眼睛。例如，乙的最大眼睛出现在图像L中，丙的最大眼睛出现在图像I和J中，即乙和丙的最大眼睛不在图像K中，因此终端可以将乙和丙的人脸图像确定为待替换人脸图像。

在确定出待替换人脸图像后，终端可以从待处理图像中确定出乙的目标人脸图像和丙的目标人脸图像。例如，由于乙的最大眼睛出现在图像L中，因此终端可以将图像L中乙的人脸图像确定为目标人脸图像。由于丙的最大眼睛出现在图像I和J中，因此终端可以将图像I和J中丙的人脸图像确定为目标人脸图像。例如，终端将图像J中丙的人脸图像确定为目标人脸图像。

在确定出乙的目标人脸图像后，终端可以对乙的待替换人脸图像和目标人脸图像进行表情检测，并得到表情检测结果。例如，表情检测结果指示图像L中乙的目标人脸图像不含有微笑表情，而图像K中乙的待替换人脸图像含有微笑表情，在这种情况下，终端可以确定出对于乙的待替换人脸图像需要采用眼部替换的操作。然后，终端可以使用图像L中乙的眼部图像替换掉图像K中乙的眼部图像。

在确定出丙的目标人脸图像后，终端可以对丙的待替换人脸图像和目标人脸图像进行表情检测，并得到表情检测结果。例如，表情检测结果指示图像J中乙的目标人脸图像含有微笑表情，而图像K中丙的待替换人脸图像不含有微笑表情，在这种情况下，终端可以确定出对于丙的待替换人脸图像需要采用脸部替换的操作。然后，终端可以使用图像J中丙的整个人脸图像替换掉图像K中丙的整个人脸图像。

可以理解的是，在经过图像替换后，图像K中甲乙丙丁四人的眼睛均是待处理图像中四人的最大眼睛了。然后，终端可以获取包含图像K在内的连续采集到的4帧图像，并根据这4帧图像中的另外3帧图像对图像K进行多帧降噪处理。例如，终端可以获取图像J、L、M，并根据图像J、L、M对经过图像替换处理的图像K进行多帧降噪处理。多帧降噪处理完成后，终端可以将经过降噪处理的图像K存储到相册中成为照片。

可以理解的是，本实施例中，终端可以根据待替换人脸图像及其对应的目标人脸图像中的表情，来确定使用整个目标人脸图像替换掉整个待替换人脸图像，或者使用目标人脸图像中的眼部替换掉待替换人脸图像中的眼部。因此，本实施例可以提高终端在进行图像替换时的灵活性。并且，本实施例中，经过图像替换处理后的基础图像中人脸部分是带有微笑表情的，因此整体成像效果更好，更符合用户的拍照预期。而且，本实施例中输出的甲、乙、丙、丁的合影照片中四人的眼睛均属于大眼状态，成像效果较好。

此外，本实施例中，由于最新采集到的图像为M，而图像M中丙的眼睛大小为0，因此如果直接输出图像M并存储到相册中成为照片，那么这样得到的甲、乙、丙、丁四人的合影照片中，丙的人脸图像中的眼睛是处于闭眼状态的。这样的照片其成像效果很差。本实施例通过将图像K确定为基础图像，并使用图像J中的丙的人脸图像替换掉图像K中丙的人脸图像的，再将经过人脸图像替换的图像K存储到相册中成为照片的方式，有效避免了将用户丙闭眼的照片存储到相册中成为照片的问题，有效提高了成像质量和用户体验。

请参阅图5，图5为本申请实施例提供的图像替换的处理装置的结构示意图。图像替换的处理装置300可以包括：第一确定模块301，第二确定模块302，获取模块303，以及第三确定模块304。

第一确定模块301，用于从待处理图像中确定出基础图像。

第二确定模块302，用于从所述基础图像中确定出待替换人脸图像，所述待替换人脸图像中预设部位的图像不符合预设条件。

获取模块303，用于从所述待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像，每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像。

第三确定模块304，用于根据每一待替换人脸图像及其对应的目标人脸图像，确定出每一待替换人脸图像需要采用的替换操作，所述替换操作包括脸部替换和预设部位替换。

在一种实施方式中，第三确定模块304可以用于：

对每一待替换人脸图像及其对应的目标人脸图像进行表情检测；

根据所述表情检测的结果，确定出每一待替换人脸图像需要采用的替换操作。

在一种实施方式中，第三确定模块304可以用于：

对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像包含微笑表情，且目标人脸图像不含微笑表情，则确定出对待替换人脸图像需要采用预设部位替换的操作。

在一种实施方式中，第三确定模块304可以用于：

对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像不含微笑表情，且目标人脸图像包含微笑表情，则确定出对待替换人脸图像需要采用脸部替换的操作。

在一种实施方式中，第三确定模块304可以用于：

对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像和目标人脸图像的表情一致，则获取当前被占用的运行内存容量及终端的运行内存总容量；

获取所述被占用的运行内存容量占所述运行内存总容量的比例；

若检测到所述比例达到预设比例阈值，则确定出对待替换人脸图像需要采用预设部位替换的操作。

请一并参阅图6，图6为本申请实施例提供的图像替换的处理装置的另一结构示意图。在一实施例中，图像替换的处理装置300还可以包括：处理模块305。

处理模块305，用于当采集包含人脸的图像时，根据采集到的至少两帧图像确定出目标帧数；从采集到的多帧图像中，获取数量为所述目标帧数的待处理图像。

那么，在第三确定模块304执行完所述确定出每一待替换人脸图像需要采用的替换操作的步骤之后，处理模块305可以用于：根据确定出来的所述需要采用的替换操作，使用对应的目标人脸图像对每一待替换人脸图像进行图像替换处理，得到经过图像替换处理的基础图像。

在一种实施方式中，处理模块305还可以用于：根据所述待处理图像，对所述经过图像替换处理的基础图像进行图像降噪处理。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的图像替换的处理方法中的步骤。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的图像替换的处理方法中的步骤。

例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图7，图7为本申请实施例提供的移动终端的结构示意图。

该移动终端400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解，图7中示出的移动终端结构并不构成对移动终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

摄像模组401可以包括单摄像模组、双摄像模组等。

存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。

处理器403是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。

在本实施例中，移动终端中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而实现步骤：

从待处理图像中确定出基础图像；从所述基础图像中确定出待替换人脸图像，所述待替换人脸图像中预设部位的图像不符合预设条件；从所述待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像，每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像；根据每一待替换人脸图像及其对应的目标人脸图像，确定出每一待替换人脸图像需要采用的替换操作，所述替换操作包括脸部替换和预设部位替换。

本发明实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的结构示意图。如图8所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括图像信号处理器540和控制逻辑器550。成像设备510捕捉的图像数据首先由图像信号处理器540处理，图像信号处理器540对图像数据进行分析以捕捉可用于确定和/或成像设备510的一个或多个控制参数的图像统计信息。成像设备510可包括具有一个或多个透镜511和图像传感器512的照相机。图像传感器512可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器512可获取用图像传感器512的每个成像像素捕捉的光强度和波长信息，并提供可由图像信号处理器540处理的一组原始图像数据。传感器520可基于传感器520接口类型把原始图像数据提供给图像信号处理器540。传感器520接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

图像信号处理器540按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，图像信号处理器540可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像信号处理器540还可从图像存储器530接收像素数据。例如，从传感器520接口将原始像素数据发送给图像存储器530，图像存储器530中的原始像素数据再提供给图像信号处理器540以供处理。图像存储器530可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自传感器520接口或来自图像存储器530的原始图像数据时，图像信号处理器540可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器530，以便在被显示之前进行另外的处理。图像信号处理器540从图像存储器530接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器570，以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit，图形处理器)进一步处理。此外，图像信号处理器540的输出还可发送给图像存储器530，且显示器570可从图像存储器530读取图像数据。在一种实施方式中，图像存储器530可被配置为实现一个或多个帧缓冲器。此外，图像信号处理器540的输出可发送给编码器/解码器560，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器570设备上之前解压缩。编码器/解码器560可由CPU或GPU或协处理器实现。

图像信号处理器540确定的统计数据可发送给控制逻辑器550。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜511阴影校正等图像传感器512统计信息。控制逻辑器550可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备510的控制参数以及的控制参数。例如，控制参数可包括传感器520控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜511控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜511阴影校正参数。

以下为运用图8中图像处理技术实现本实施例提供的图像的处理方法的步骤：

从待处理图像中确定出基础图像；从所述基础图像中确定出待替换人脸图像，所述待替换人脸图像中预设部位的图像不符合预设条件；从所述待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像，每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像；根据每一待替换人脸图像及其对应的目标人脸图像，确定出每一待替换人脸图像需要采用的替换操作，所述替换操作包括脸部替换和预设部位替换。

在一种实施方式中，电子设备在执行所述根据每一待替换人脸图像及其对应的目标人脸图像确定出每一待替换人脸图像需要采用的替换操作的步骤时，可以执行：对每一待替换人脸图像及其对应的目标人脸图像进行表情检测；根据所述表情检测的结果，确定出每一待替换人脸图像需要采用的替换操作。

在一种实施方式中，电子设备在执行所述根据所述表情检测的结果确定出每一待替换人脸图像需要采用的替换操作的步骤时，可以执行：对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像包含微笑表情，且目标人脸图像不含微笑表情，则确定出对待替换人脸图像需要采用预设部位替换的操作。

在一种实施方式中，电子设备在执行所述根据所述表情检测的结果确定出每一待替换人脸图像需要采用的替换操作的步骤时，可以执行：对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像不含微笑表情，且目标人脸图像包含微笑表情，则确定出对待替换人脸图像需要采用脸部替换的操作。

在一种实施方式中，电子设备在执行所述根据所述表情检测的结果确定出每一待替换人脸图像需要采用的替换操作的步骤时，可以执行：对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像和目标人脸图像的表情一致，则获取当前被占用的运行内存容量及终端的运行内存总容量；获取所述被占用的运行内存容量占所述运行内存总容量的比例；若检测到所述比例达到预设比例阈值，则确定出对待替换人脸图像需要采用预设部位替换的操作。

在一种实施方式中，在所述从待处理图像中确定出基础图像的步骤之前，电子设备还可以执行：当采集包含人脸的图像时，根据采集到的至少两帧图像确定出目标帧数；从采集到的多帧图像中，获取数量为所述目标帧数的待处理图像。

那么，在所述确定出每一待替换人脸图像需要采用的替换操作的步骤之后，电子设备还可以执行：根据确定出来的所述需要采用的替换操作，使用对应的目标人脸图像对每一待替换人脸图像进行图像替换处理，得到经过图像替换处理的基础图像。

在一种实施方式中，在所述得到经过图像替换处理的基础图像的步骤之后，电子设备还可以执行：根据所述待处理图像，对所述经过图像替换处理的基础图像进行图像降噪处理。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像替换的处理方法的详细描述，此处不再赘述。

本申请实施例提供的所述图像替换的处理装置与上文实施例中的图像替换的处理方法属于同一构思，在所述图像替换的处理装置上可以运行所述图像替换的处理方法实施例中提供的任一方法，其具体实现过程详见所述图像替换的处理方法实施例，此处不再赘述。

需要说明的是，对本申请实施例所述图像替换的处理方法而言，本领域普通技术人员可以理解实现本申请实施例所述图像替换的处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述图像替换的处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，ReadOnly Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本申请实施例的所述图像替换的处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种图像替换的处理方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像替换的处理方法，其特征在于，包括：

从待处理图像中确定出基础图像；

从所述基础图像中确定出待替换人脸图像，所述待替换人脸图像中预设部位的图像不符合预设条件；

从所述待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像，每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像；

根据每一待替换人脸图像及其对应的目标人脸图像，确定出每一待替换人脸图像需要采用的替换操作，所述替换操作包括脸部替换和预设部位替换。

2.根据权利要求1所述的图像替换的处理方法，其特征在于，所述根据每一待替换人脸图像及其对应的目标人脸图像确定出每一待替换人脸图像需要采用的替换操作的步骤，包括：

对每一待替换人脸图像及其对应的目标人脸图像进行表情检测；

根据所述表情检测的结果，确定出每一待替换人脸图像需要采用的替换操作。

3.根据权利要求2所述的图像替换的处理方法，其特征在于，所述根据所述表情检测的结果确定出每一待替换人脸图像需要采用的替换操作的步骤，包括：

对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像包含微笑表情，且目标人脸图像不含微笑表情，则确定出对待替换人脸图像需要采用预设部位替换的操作。

4.根据权利要求2所述的图像替换的处理方法，其特征在于，所述根据所述表情检测的结果确定出每一待替换人脸图像需要采用的替换操作的步骤，包括：

对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像不含微笑表情，且目标人脸图像包含微笑表情，则确定出对待替换人脸图像需要采用脸部替换的操作。

5.根据权利要求2所述的图像替换的处理方法，其特征在于，所述根据所述表情检测的结果确定出每一待替换人脸图像需要采用的替换操作的步骤，包括：

对于每一待替换人脸图像及其对应的目标人脸图像，若表情检测的结果指示待替换人脸图像和目标人脸图像的表情一致，则获取当前被占用的运行内存容量及终端的运行内存总容量；

获取所述被占用的运行内存容量占所述运行内存总容量的比例；

若检测到所述比例达到预设比例阈值，则确定出对待替换人脸图像需要采用预设部位替换的操作。

6.根据权利要求1所述的图像替换的处理方法，其特征在于，在所述从待处理图像中确定出基础图像的步骤之前，还包括：

当采集包含人脸的图像时，根据采集到的至少两帧图像确定出目标帧数；

从采集到的多帧图像中，获取数量为所述目标帧数的待处理图像；

在所述确定出每一待替换人脸图像需要采用的替换操作的步骤之后，还包括：根据确定出来的所述需要采用的替换操作，使用对应的目标人脸图像对每一待替换人脸图像进行图像替换处理，得到经过图像替换处理的基础图像。

7.根据权利要求6所述的图像替换的处理方法，其特征在于，在所述得到经过图像替换处理的基础图像的步骤之后，还包括：

根据所述待处理图像，对所述经过图像替换处理的基础图像进行图像降噪处理。

8.一种图像替换的处理装置，其特征在于，包括：

第一确定模块，用于从待处理图像中确定出基础图像；

第二确定模块，用于从所述基础图像中确定出待替换人脸图像，所述待替换人脸图像中预设部位的图像不符合预设条件；

获取模块，用于从所述待处理图像中，获取用于替换每一待替换人脸图像的目标人脸图像，每一待替换人脸图像及其对应的目标人脸图像为相同用户的人脸图像；

第三确定模块，用于根据每一待替换人脸图像及其对应的目标人脸图像，确定出每一待替换人脸图像需要采用的替换操作，所述替换操作包括脸部替换和预设部位替换。

9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求1至7中任一项所述的方法。

10.一种电子设备，包括存储器，处理器，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至7中任一项所述的方法。