CN111127345B - 图像处理方法及装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。图像处理方法包括：获取具有目标用户的人像的待修复图像；检测目标用户与电子设备之间的相对移动情况；在相对移动情况满足预定条件时，对待修复图像的人像区域进行修复处理。本申请实施方式的图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质仅在目标用户与电子设备之间的相对移动情况满足预定条件时才对人像区域做修复处理，而不需要在每次获取到具有人像的图像时均对该图像中的人像区域做修复处理，可以在保障图像的清晰度的同时，极大地节省电子设备的功耗，提升电子设备的续航能力。

Description

图像处理方法及装置、电子设备及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。

背景技术

超清人像技术是指利用图像处理算法处理图像中的人像，以使得人像的细节更丰富、清晰度更高的一种技术。对图像做超清人像的修复需要耗费电子设备较多的能耗，会对电子设备的续航能力产生影响。

发明内容

本申请实施方式提供了一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。

本申请实施方式的图像处理方法用于电子设备。所述图像处理方法包括：获取具有目标用户的人像的待修复图像；检测所述目标用户与所述电子设备之间的相对移动情况；在所述相对移动情况满足预定条件时，对所述待修复图像的人像区域进行修复处理。

本申请实施方式的图像处理装置用于电子设备。所述图像处理装置包括获取模块、检测模块、及修复模块。所述获取模块用于获取具有目标用户的人像的待修复图像。所述检测模块用于检测所述目标用户与所述电子设备之间的相对移动情况。所述修复模块用于在所述相对移动情况满足预定条件时，对所述待修复图像的人像区域进行修复处理。

本申请实施方式的电子设备包括壳体及处理器。所述处理器安装在所述壳体上，所述处理器用于：获取具有目标用户的人像的待修复图像；检测所述目标用户与所述电子设备之间的相对移动情况；在所述相对移动情况满足预定条件时，对所述待修复图像的人像区域进行修复处理。

本申请实施方式的包含计算机可读指令的非易失性计算机可读存储介质，所述计算机可读指令被处理器执行时，使得所述处理器执行以下步骤：获取具有目标用户的人像的待修复图像；检测所述目标用户与所述电子设备之间的相对移动情况；在所述相对移动情况满足预定条件时，对所述待修复图像的人像区域进行修复处理。

本申请实施方式的图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质仅在目标用户与电子设备之间的相对移动情况满足预定条件时才对人像区域做修复处理，而不需要在每次获取到具有人像的图像时均对该图像中的人像区域做修复处理，可以在保障图像的清晰度的同时，极大地节省电子设备的功耗，提升电子设备的续航能力。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图；

图2是本申请某些实施方式的图像处理装置的示意图；

图3是本申请某些实施方式的电子设备的示意图；

图4是本申请某些实施方式的图像处理方法的流程示意图；

图5是本申请某些实施方式的图像处理装置的示意图；

图6是本申请某些实施方式的图像处理方法的场景示意图；

图7是本申请某些实施方式的人脸检测模型的示意图；

图8是本申请某些实施方式的图像处理方法的流程示意图；

图9是本申请某些实施方式的图像处理装置的示意图；

图10是本申请某些实施方式的图像处理方法的流程示意图；

图11是本申请某些实施方式的图像处理方法的流程示意图；

图12是本申请某些实施方式的图像处理装置中修复模块的示意图；

图13是本申请某些实施方式的图像处理装置中第二处理单元的示意图；

图14是本申请某些实施方式的人脸修复模型的示意图；

图15是本申请某些实施方式的图像处理方法的流程示意图；

图16是本申请某些实施方式的图像处理装置中修复模块的示意图；

图17是本申请某些实施方式的图像处理方法的流程示意图；

图18是本申请某些实施方式的图像处理装置中第三获取单元的示意图；

图19是本申请某些实施方式的图像处理方法的流程示意图；

图20是本申请某些实施方式的图像处理装置中第三处理单元的示意图；

图21是本申请某些实施方式的图像处理方法的流程示意图；

图22是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1和图3，本申请提供一种图像处理方法。本申请实施方式的图像处理方法可以用于电子设备20。图像处理方法包括：

01：获取具有目标用户的人像的待修复图像；

02：检测目标用户与电子设备20之间的相对移动情况；及

03：在相对移动情况满足预定条件时，对待修复图像的人像区域进行修复处理。

请参阅图2和图3，本申请还提供一种图像处理装置10。本申请实施方式的图像处理装置10可以用于电子设备20。本申请实施方式的图像处理方法可以由本申请实施方式的图像处理装置10实现。图像处理装置10包括获取模块11、检测模块12、及修复模块13。步骤01可以由获取模块11实现。步骤02可以由检测模块12实现。步骤03可以由修复模块13实现。也即是说，获取模块11可以用于获取具有目标用户的人像的待修复图像。检测模块12可以用于检测目标用户与电子设备20之间的相对移动情况。修复模块13可以用于在移相对移动情况满足预定条件时，对待修复图像的人像区域进行修复处理。

请参阅图3，本申请还提供一种电子设备20。本申请实施方式的图像处理方法还可以由本申请实施方式的电子设备20实现。电子设备20可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能头盔、智能眼镜等)、智能镜子、无人机、无人车、无人船等，在此不作限制。电子设备20包括壳体22及处理器21。处理器21安装在壳体22上。步骤01、步骤02、及步骤03均可以由处理器21实现。也即是说，处理器21可以用于获取具有目标用户的人像的待修复图像及检测目标用户与电子设备20之间的相对移动情况。处理器21还可以用于在相对移动情况满足预定条件时，对待修复图像的人像区域进行修复处理。

相关技术中，可以采用超清人像算法对图像中的人像进行处理，以使人像的细节更加丰富，清晰度更高。电子设备每获取到一张包含人像的图像时，通常都会采用超清人像算法对该图像中的人像进行修复处理。但实际应用过程中，并非所有包含人像的图像均需要使用超清人像算法做修复。如果对每张包含人像的图像均进行修复处理，则将大大消耗电子设备的能耗，影响电子设备的续航能力。

本申请实施方式的图像处理方法、图像处理装置10及电子设备20先检测目标用户与电子设备20之间的相对移动情况，在相对移动情况满足预定条件时，才对待修复图像的人像区域进行修复处理。可以理解，当目标用户移动，或者电子设备20抖动，或者目标用户移动的同时电子设备20也抖动时，目标用户与电子设备20就不再是相对固定的，目标用户与电子设备20之间会存在相对移动。若在待修复图像的成像期间内目标用户与电子设备20之间产生了相对移动，则电子设备20中的摄像头23拍摄的待修复图像会模糊，人像区域清晰度不高，此时，电子设备20需要对该待修复图像中的人像区域进行修复处理，以获取具有高清晰度的人像区域的图像。若在待修复图像的成像期间内目标用户与电子设备20之间产生的相对移动较大，则说明待修复图像中人像区域的模糊程度可能过高，此时采用人像修复算法修复人像区域得到的修复效果不佳，电子设备20可以不对待修复图像中的人像区域进修复处理。如此，仅在目标用户与电子设备20之间的相对移动情况满足预定条件时才对人像区域做修复处理，而不需要在每次获取到具有人像的图像时均对该图像中的人像区域做修复处理，可以在保障图像的清晰度的同时，极大地节省电子设备20的功耗，提升电子设备20的续航能力。

请参阅图4，在某些实施方式中，步骤02检测目标用户与电子设备20之间的相对移动情况，包括：

021：获取两帧具有人像的初始图像，两帧初始图像的拍摄时刻之间的时间间隔小于预定时长；

022：检测每帧初始图像中人脸的预定特征点的坐标信息；

023：根据两个坐标信息计算目标用户与电子设备20之间的相对位移；及

024：根据相对位移及时间间隔计算目标用户与电子设备20之间相对移动的移动速度。

步骤03在相对移动情况满足预定条件时，对待修复图像的人像区域进行修复处理，包括：

031：在移动速度位于预定速度范围内时，对待修复图像的人像区域进行修复处理。

图像处理方法还包括：

在移动速度位于移动速度范围外时，不对待修复图像进行修复处理。

请参阅图5，在某些实施方式中，检测模块12包括第一获取单元121、第一检测单元122、第一计算单元123、及第二计算单元124。修复模块13包括第一修复单元131。步骤021可以由第一获取单元121实现。步骤022可以由第一检测单元122实现。步骤023可以由第一计算单元123实现。步骤024可以由第二计算单元124实现。步骤031可以由第一修复单元实现。也即是说，第一获取单元121可以用于获取两帧初始图像，其中，两帧初始图像的拍摄时刻之间的时间间隔小于预定时长。第一检测单元122可以用于检测每帧初始图像中人脸的预定特征点的坐标信息。第一计算单元123可以用于根据两个坐标信息计算目标用户与电子设备20之间的相对位移。第二计算单元124可以用于根据相对位移及时间间隔计算目标用户与电子设备20之间相对移动的移动速度。第一修复单元131可以用于在移动速度位于预定速度范围内时，对待修复图像的人像区域进行修复处理。在移动速度位于移动速度范围外时，第一修复单元131不对待修复图像进行修复处理。

请再参阅图3，在某些实施方式中，步骤021、步骤022、步骤023、步骤024、及步骤031均可以由处理器21实现。也即是说，处理器21可以用于获取两帧具有人像的初始图像、检测每帧初始图像中人脸的预定特征点的坐标信息、根据两个坐标信息计算目标用户与电子设备20之间的相对位移、及根据相对位移及时间间隔计算目标用户与电子设备20之间相对移动的移动速度。其中，两帧初始图像的拍摄时刻之间的时间间隔小于预定时长。处理器21还可以用于在移动速度位于预定速度范围内时，对待修复图像的人像区域进行修复处理。在移动速度位于移动速度范围外时，处理器21不对待修复图像进行修复处理。

具体地，请结合图3和图6，摄像头23可以拍摄多帧初始图像，其中，多帧可以是两帧、三帧、四帧、五帧、八帧、十帧、十五帧、二十四帧等等，在此不作限制。随后，处理器21可以从多帧初始图像中选取两帧初始图像，这两帧初始图像可以是连续的，也可以是不连续的，只要满足两帧初始图像的拍摄时刻之间的时间间隔小于预定时长即可。示例地，预定时长可以是1s、2s、5s、10s、30s、60s、120s、240s等。在一个例子中，当两帧初始图像是由电子设备20的摄像头23连续拍摄的两帧图像时，其中一帧初始图像可以作为待修复图像，另一帧初始图像用于与待修复图像配合以计算相对位移，例如，拍摄时刻较晚的初始图像可以作为待修复图像，拍摄时刻较早的一帧初始图像可以用于与待修复图像配合以计算相对位移等。

假设处理器21选取的两帧待修复图像分别为初始图像M1和初始图像M2，其中，初始图像M1的拍摄时刻早于初始图像M2的拍摄时刻，初始图像M2为待修复图像，则处理器21可以分别检测出初始图像M1中的人脸及初始图像M2中的人脸。示例地，处理器21可以根据图7所示的人脸检测模型检测出每一帧初始图像中的人脸。图7所示的人脸检测模型的具体检测过程为：卷积层及池化层(Convolution and Pooling)对初始图像做特征提取以得到多张特征图像；最后一层卷积层(Final Conv Feature Map)对卷积层和池化层输出的特征图像执行最后一次卷积，并将最后一次卷积得到的特征图像输出至全连接层(Fully-connected Layers)中。全连接层对最后一层卷积层输出的特征图像进行分类，并将分类结果输出至坐标输出支路(Coordinate)。坐标输出支路输出人脸在初始图像中的位置坐标。至此，即完成初始图像中的人脸的检测。随后，处理器21再进一步检测出初始图像M1中的人脸的预定特征点及初始图像M2中的人脸的预定特征点，并确定出初始图像M1中人脸的预定特征点的坐标信息(x1,y1)以及初始图像M2中人脸的预定特征点的坐标信息(x2,y2)。在本申请的一个例子中，预定特征点为人脸的中心点，在其他例子中，预定特征点也可以是左眼的中心点、右眼的中心点、鼻子的中心点、嘴巴的中心点等等，在此不作限制。随后，处理器21可以根据坐标信息(x1,y1)以及坐标信息(x2,y2)计算出目标用户与电子设备20之间的相对位移。示例地，相位位移随后，处理器21根据相对位移S及间隔时间Δt算出移动速度V，V＝S/Δt。随后，处理器21即可判断移动速度V是否位于预定速度范围内。若移动速度V位于预定速度范围内，则处理器21对待修复图像的人像区域进行修复处理。若移动速度V位于预定速度范围外，则处理器21不对待修复图像的人像区域进行修复处理。

本申请实施方式的图像处理方法、图像处理装置10及电子设备20直接利用摄像头23拍摄的多帧初始图像来获取移动速度，无需在电子设备20上安装额外的检测器件来检测移动速度，可以减少电子设备20所需安装的器件的数量，降低电子设备20的成本。此外，当两帧初始图像为连续拍摄的图像，且其中一帧初始图像为待修复图像时，电子设备20仅需在获取到待修复图像的基础上再额外获取一帧初始图像即可，可以降低电子设备20所需获取的图像的数量。并给，待修复图像与另一帧初始图像是连续拍摄的，根据这两帧初始图像计算出来的移动速度与待修复图像的成像周期内目标用户与电子设备20之间实际的相对移动速度更为吻合，基于更为准确的移动速度确定出来的修复决定更为准确。

需要说明的是，预定速度范围不包括0这一数值。具体地，假设预定速度范围为[V1,V2]，则V1大于0。如此，在移动速度V满足V1≤V≤V2(即移动速度V位于预定速度范围内)时，处理器21对待修复图像的人像区域进行修复处理；在移动速度V满足0≤V＜V1或V＞V2(即移动速度V位于预定速度范围外)时，处理器21不对待修复图像的人像区域进行修复处理。可以理解，在移动速度V满足0≤V＜V1时，在待修复图像的成像周期内目标用户与电子设备20之间产生的相对移动较小，待修复图像的清晰度通常是较高的，此时处理器21可以无需对待修复图像的人像区域进行修复处理。由此，电子设备20在移动速度较小时也不需要对待修复图像中的人像区域做修复处理，有利于节省电子设备20的功耗，提升电子设备20的续航能力。

请参阅图8，在某些实施方式中，步骤02检测目标用户与电子设备20之间的相对移动情况，包括：

025：通过传感器获取电子设备20的抖动情况，其中抖动情况为电子设备20在预定时段内的抖动幅度。

步骤03在相对移动情况满足预定条件时，对待修复图像的人像区域进行修复处理，包括：

032：在抖动幅度位于预定幅度范围内时，对待修复图像的人像区域进行修复处理。

图像处理方法还包括：

在抖动幅度位于预定幅度范围外时，不对待修复图像进行修复处理。

请参阅图9，在某些实施方式中，检测模块12包括第二获取单元125。修复模块13包括第二修复单元132。步骤025可以由第二获取单元获取通过传感器获取的电子设备20的抖动情况，其中，抖动情况为电子设备20在预定时段内的抖动幅度。第二修复单元132可以用于在抖动幅度位于预定幅度范围内时，对待修复图像的人像区域进行修复处理。在抖动幅度位于预定幅度范围外时，第二修复单元132不对待修复图像进行修复处理。

请再参阅图3，在某些实施方式中，步骤025及步骤032均可以由处理器21实现。也即是说，处理器21可以用于获取通过传感器获取的电子设备20的抖动情况，其中，抖动情况为电子设备20在预定时段内的抖动幅度。处理器21还可以用于在抖动幅度位于预定幅度范围内时，对待修复图像的人像区域进行修复处理。在抖动幅度位于预定幅度范围外时，处理器21不对待修复图像进行修复处理。

具体地，电子设备20的抖动情况可以由传感器检测得到，处理器21可以从传感器处读取传感器所检测到的电子设备20的抖动情况。传感器例如可以是加速度计、陀螺仪等。在本申请的一个实施例中，传感器为陀螺仪。陀螺仪可以检测电子设备20的角加速度。处理器21可以根据角加速度计算出电子设备20在预定时段内的抖动幅度，其中，预定时段可以时待修复图像的成像周期。随后，处理器21判断抖动幅度是否位于预定幅度范围内。若抖动幅度位于预定幅度范围内，则处理器21对待修复图像的人像区域进行修复处理。若抖动幅度位于预定幅度范围外，则处理器21不对待修复图像的人像区域进行修复处理的动作。另外，陀螺仪通常能够检测电子设备30在空间的三个方向上的角加速度，处理器21可以根据每一个方向上的角加速度计算出电子设备20在对应该角加速度的方向上的抖动幅度。处理器21判断三个方向上的抖动幅度是否均位于预定幅度范围内。若三个方向上的抖动幅度均位于预定幅度范围内，则处理器21对待修复图像的人像区域进行修复处理。若存在任意一个方向上的抖动幅度位于预定幅度范围外，则处理器21不对待修复图像的人像区域进行修复处理的动作。如此，处理器21可以更全面地获取到电子设备20的抖动情况，并根据抖动情况来作出准确的修复决定。

本申请实施方式的图像处理方法、图像处理装置10及电子设备20直接利用传感器检测到的抖动情况来进行是否对待修复图像进行修复处理的判定，无需通过处理多帧初始图像的方式来判定，可以减少电子设备20所需处理的数据量，降低电子设备20的功耗。

需要说明的是，预定幅度范围不包括0这一数值。具体地，假设预定幅度范围为[A1,A2]，则A1大于0。如此，在抖动幅度A满足A1≤A≤A2(即抖动幅度A位于预定幅度范围内)时，处理器21对待修复图像的人像区域进行修复处理；在抖动幅度A满足0≤A＜A1或A＞A2(即抖动幅度A位于预定幅度范围外)时，处理器21不对待修复图像的人像区域进行修复处理。可以理解，在抖动幅度A满足0≤A＜A1时，在待修复图像的成像周期内目标用户与电子设备20之间产生的相对移动较小，待修复图像的清晰度通常是较高的，此时处理器21可以无需对待修复图像的人像区域进行修复处理。由此，电子设备20在抖动幅度较小时也不需要对待修复图像中的人像区域做修复处理，有利于节省电子设备20的功耗，提升电子设备20的续航能力。

请参阅图10和图11，在某些实施方式中，步骤03对待修复图像的人像区域进行修复处理，包括：

033：检测待修复图像中的人像区域；

034：对人像区域执行多次卷积以获得多张特征图像；

035：对最后一次卷积输出的特征图像执行多次上采样及至少一次反卷积以获得残差图像；及

036：融合残差图像及人像区域以得到修复图像。

其中，步骤035对最后一次卷积输出的特征图像执行多次上采样及至少一次反卷积以获得残差图像，包括：

0351：在第一次上采样过程中，对最后一次卷积输出的特征图像执行上采样及反卷积；

0352：在第二次及第二次以上的上采样过程中，融合前一次上采样得到的图像、与前一次上采样得到的图像的尺寸相对应的特征图像、及前N次反卷积得到的图像，并对融合后的图像执行上采样或者执行上采样及反卷积；

0353：融合最后一次上采样得到的图像及前N次反卷积得到的图像以得到残差图像，其中，N≥1，且N∈N+。

请参阅图12和图13，在某些实施方式中，修复模块13包括第二检测单元133、第一处理单元134、第二处理单元135、及融合单元136。第二处理单元135包括第一处理子单元1351、第二处理子单元1352、及融合子单元1353。步骤033可以由第二检测单元133实现。步骤034可以由第一处理单元134实现。步骤035可以由第二处理单元135实现。步骤036可以由融合单元136实现。步骤0351可以由第一处理子单元1351实现。步骤0352可以由第二处理子单元1352实现。步骤0353可以由融合子单元1353实现。也即是说，第二检测单元133可以用于检测待修复图像中的人像区域。第一处理单元134可以用于对人像区域执行多次卷积以获得多张特征图像。第二处理单元135可以用于对最后一次卷积输出的特征图像执行多次上采样及至少一次反卷积以获得残差图像。融合单元136可以用于融合残差图像及人像区域以得到修复图像。第一处理子单元1351可以用于在第一次上采样过程中，对最后一次卷积输出的特征图像执行上采样及反卷积。第二处理子单元1352可以用于在第二次及第二次以上的上采样过程中，融合前一次上采样得到的图像、与前一次上采样得到的图像的尺寸相对应的特征图像、及前N次反卷积得到的图像，并对融合后的图像执行上采样或者执行上采样及反卷积。融合子单元1353可以用于融合最后一次上采样得到的图像及前N次反卷积得到的图像以得到残差图像，其中，N≥1，且N∈N+。

请再参阅图3，在某些实施方式中，步骤033、步骤034、步骤035、步骤0351、步骤0352、步骤0353、步骤0354、及步骤036均可以由处理器21实现。也即是说，处理器21还可以用于检测待修复图像中的人像区域以及对人像区域执行多次卷积以获得多张特征图像。处理器21还可以用于对最后一次卷积输出的特征图像执行多次上采样及至少一次反卷积以获得残差图像。处理器21还可以用于融合残差图像及人像区域以得到修复图像。处理器21用于对最后一次卷积输出的特征图像执行多次上采样及至少一次反卷积以获得残差图像时，具体用于：在第一次上采样过程中，对最后一次卷积后输出的特征图像执行上采样及反卷积；在第二次及第二次以上的上采样过程中，融合前一次上采样得到的图像、与前一次上采样得到的图像的尺寸相对应的特征图像、及前N次反卷积得到的图像，并对融合后的图像执行上采样或者执行上采样及反卷积；融合最后一次上采样得到的图像及前N次反卷积得到的图像以得到残差图像，其中，N≥1，且N∈N+。

具体地，请结合图3、图7及图14，处理器21可以利用图7所示的人脸检测模型检测出待修复图像中的人像区域。随后，处理器21将人像区域输入人脸修复模型中进行修复。在一个例子中，人脸修复模型可以为图14所示的人脸修复模型。如图14所示，人像区域输入人脸修复模型后，处理器21首先对人像区域执行第一次卷积，再对第一次卷积后的特征图像执行第一次池化。随后，处理器21对第一次池化后的特征图像执行第二次卷积，再对第二次卷积后的特征图像执行第二次池化。随后，处理器21对第二次池化后的特征图像执行第三次卷积，再对第三次卷积后的特征图像执行第三次池化。随后，处理器21对第三次池化后的特征图像执行第四次卷积，再对第四次卷积后的特征图像执行第四次池化。随后，处理器21对第四次池化后的特征图像执行第五次卷积。随后，处理器21对第五次卷积后的特征图像执行第一次上采样及第一次反卷积，其中，第一次反卷积实际上执行了两个反卷积的动作，一个反卷积的动作输出第一尺寸的图像，另一个反卷积的动作输出第二尺寸的图像，第二尺寸大于第一尺寸。随后，处理器21将第一次上采样得到的图像及与第一次上采样得到的图像的尺寸相对应的特征图像(即第四次卷积后的特征图像)进行融合(即图14所示的第四次卷积对应的卷积层与第二次上采样对应的上采样层的链接)，并对融合后的图像执行第二次上采样及第二次反卷积，其中，第二次反卷积实际上执行了两个反卷积的动作，一个反卷积的动作输出第二尺寸的图像，另一个反卷积的动作输出第三尺寸的图像，第三尺寸大于第二尺寸。随后，处理器21将第二次上采样得到的图像、与第二次上采样得到的图像的尺寸相对应的特征图像(即第三次卷积后的特征图像，如图14所示，第三次卷积对应的卷积层与第三次上采样对应的上采样层链接)、及前第二次反卷积得到的图像(即第一次反卷积得到的第一尺寸的图像)进行融合，并对融合后的图像执行第三次上采样。随后，处理器21融合第三次上采样得到的图像、与第三次上采样得到的图像的尺寸相对应的特征图像(即第二次卷积后的特征图像，如图14所示，第二次卷积对应的卷积层与第四次上采样对应的上采样层链接)、前第二次反卷积得到的图像(即第一次反卷积得到的第二尺寸的图像)、及前一次反卷积得到的图像(即第二次反卷积得到的第二尺寸的图像)，并对融合后的图像执行第四次上采样。随后，处理器21融合第四次上采样得到的图像及前一次反卷积得到的图像(即第二次反卷积得到的第三尺寸的图像)以得到残差图像。最后，处理器21将残差图像与输入人脸修复模型的人像区域进行融合，即可得到修复图像。修复图像中的人脸细节较为丰富，清晰度较高。

本申请实施方式的图像处理方法、图像处理装置10及电子设备20通过多次卷积及多次池化处理来提取人像区域的特征，再通过多次上采样对提取的特征进行放大，并在部分上采样过程中对融合了反卷积后的图像进行处理，以实现特征的传递及图像尺寸的扩展。另外，部分上采样是对融合了与前一次上采样得到的图像的尺寸相对应的特征图像的图像进行处理，即连接了相应层级的特征提取层，使得高级语义特征在上采样时可以更充分的传递，人像修复的细节会更加明显，人像细节的还原会更加细腻。此外，图14所示的人脸修复模型中，第一次反卷积得到的图像并不直接传递到第二次上采样过程中以与待执行第二次上采样的图像融合，而是传递到第三次上采样过程中及第四次上采样过程中，类似地，第二次反卷积得到的图像并不直接传递到第三次上采样过程中，而是传递到第四次上采样过程中，此种方式可以将高层次特征与低层次特征结合起来，使得特征更加丰富，细节还原得更加准确。再者，图14所示的人脸修复模型中，第二次及第二次以上的上采样得到的图像均不再执行反卷积，此种方式可以避免对低层次的特征做反卷积而出现块效应的问题。

请参阅图15，在某些实施方式中，步骤03对待修复图像的人像区域进行修复处理，包括：

037：获取参照图像，参照图像的清晰度高于预定清晰度；

038：根据参照图像对待修复图像进行人像超分算法处理，以得到修复图像。

请参阅图16，在某些实施方式中，修复模块13包括第三获取单元137和第三处理单元138。步骤037可以由第三获取单元137实现。步骤038可以由第三处理单元138实现。也即是说，第三获取单元137可以用于获取参照图像，参照图像的清晰度高于预定清晰度。第三处理单元138可以用于根据参照图像对待修复图像进行人像超分算法处理，以得到修复图像。

请再参阅图3，在某些实施方式中，步骤037及步骤038均可以由处理器21实现。也即是说，处理器21可以用于获取参照图像，其中，参照图像的清晰度高于预定清晰度。处理器21还可以用于根据参照图像对待修复图像进行人像超分算法处理，以得到修复图像。

具体地，参照图像可包括预设用户人像或预设标准人像。以电子设备20是手机为例，预设用户人像可以是电子设备20中的用户提前拍摄好的人像，需要说明的是，该预设用户人像可为用户相册中的证件照或者其他清晰度更高的具有人像的图像。当电子设备20中没有预设用户人像时，可通过获取一个预设的标准人像，该标准人像可在网络上下载与用户同地区的任意一张高清人像，例如高清海报等。预设用户人像和预设标准人像的清晰度都要高于预定清晰度，预定清晰度可预先设置，只有高于预定清晰度的图像才能作为参照图像(预设用户人像或者预设标准人像)，以达到更好的图像处理效果。

请参阅图17，在某些实施方式中，步骤037获取参照图像，包括：

0371：对待修复图像的人像区域和预设用户人像进行人脸检测；

0372：判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；

0373：在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参照图像；

0374：在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参照图像。

请参阅图18，在某些实施方式中，第三获取单元137包括检测子单元1371、判断子单元1372、确定子单元1373、第一获取子单元1374。步骤0371可以由检测子单元1371实现。步骤0372可以由判断子单元1372实现。步骤0373可以由确定子单元1373实现。步骤0374可以由第一获取子单元1374实现。也即是说，检测子单元1371可以用于对待修复图像的人像区域和预设用户人像进行人脸检测。判断子单元1372可以用于判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度。确定子单元1373可以用于在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参照图像。第一获取子单元1374可以用于在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参照图像。

请再参阅图3，在某些实施方式中，步骤0371、步骤0372、步骤0373及步骤0374均可以由处理器21实现。也即是说，处理器21可以用于对待修复图像的人像区域和预设用户人像进行人脸检测及判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度。处理器21还可以用于在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参照图像。处理器21还可以用于在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参照图像。

具体地，处理器21可以对待修复图像和预设用户人像的人脸进行检测，示例地，可以采用图7所示的人脸检测模型对待修复图像和预设用户的人像进行人脸检测。随后，处理器21可以进一步检测出待修复图像中的人脸特征点和预设用户人像中的人脸特征点。随后，处理器21再对两个图像的人脸特征点进行比较。若两个图像的人脸特征点的相似度大于第一预设相似度，则说明待修复图像的人像区域与预设用户人像是同一人(即目标用户与预设用户是同一人)，此时，处理器21可以根据该预设用户人像对待修复图像的人像区域进行人像超分算法(即超清人像算法)处理得到修复图像。使用同一人的两张图像进行处理，得到的修复图像中的人像与目标用户本人更加相似，也更加自然，用户体验会更好。若两个图像的人脸特征点的相似度低于第一预设相似度，则说明待修复图像的人像区域与预设用户人像不是同一人(即目标用户与预设用户不是同一人)，此时采用标准人像作为参照图像进行超分算法处理，得到的效果会更好。因此，处理器21可根据预设标准人像对待修复图像的人像区域进行人像超分算法处理，以得到修复图像。

请参阅图19，在某些实施方式中，步骤038根据参照图像对待修复图像进行人像超分算法处理，以得到修复图像，包括：

0381：获取待修复图像经上采样后的第一特征图；

0382：获取参照图像经过上采样和下采样后的第二特征图；

0383：获取参照图像未经过上采样和下采样的第三特征图；

0384：获取第二特征图中与第一特征图相似度超过第二预设相似度的特征以作为参照特征；

0385：获取第二特征图中与参照特征相似度超过第三预设相似度的特征，以得到交换特征图；

0386：合并交换特征图与第一特征图，以得到第四特征图；

0387：将第四特征图放大预定倍数以得到第五特征图；及

0388：将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为修复图像。

请参阅图20，在某些实施方式中，第三处理单元138包括第二获取子单元1381、第三获取子单元1382、第四获取子单元1383、第五获取子单元1384、第六获取子单元1385、合并子单元1386、放大子单元1387、及第三处理子单元1388。步骤0381可以由第二获取子单元1381实现。步骤0382可以由第三获取子单元1382实现。步骤0383可以由第四获取子单元1383实现。步骤0384可以由第五获取子单元1384实现。步骤0385可以由第六获取子单元1385实现。步骤0386可以由合并子单元1386实现。步骤0387可以由放大子单元1387实现。步骤0388可以由第三处理子单元1388实现。也即是说，第二获取子单元1381可以用于获取待修复图像经上采样后的第一特征图。第三获取子单元1382可以用于获取参照图像经过上采样和下采样后的第二特征图。第四获取子单元1383可以用于获取参照图像未经过上采样和下采样的第三特征图。第五获取子单元1384可以用于获取第二特征图中与第一特征图相似度超过第二预设相似度的特征以作为参照特征。第六获取子单元1385可以用于获取第二特征图中与参照特征相似度超过第三预设相似度的特征，以得到交换特征图。合并子单元1366可以用于合并交换特征图与第一特征图，以得到第四特征图。放大子单元1387可以用于将第四特征图放大预定倍数以得到第五特征图。第三处理子单元1388可以用于将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为修复图像。

请再参阅图3，在某些实施方式中，步骤0381、步骤0382、步骤0383、步骤0384、步骤0385、步骤0386、步骤0387及步骤0388均可以由处理器21实现。也即是说，处理器21可以用于获取待修复图像经上采样后的第一特征图、获取参照图像经过上采样和下采样后的第二特征图、以及获取参照图像未经过上采样和下采样的第三特征图。处理器21还可以用于获取第二特征图中与第一特征图相似度超过第二预设相似度的特征以作为参照特征及获取第二特征图中与参照特征相似度超过第三预设相似度的特征，以得到交换特征图。处理器21还可以用于合并交换特征图与第一特征图，以得到第四特征图及将第四特征图放大预定倍数以得到第五特征图。处理器21还可以用于将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为修复图像。

具体地，上采样可理解为对待修复图像或者参照图像进行放大处理，下采样可理解为对参照图像进行缩小处理。

更具体地，请参阅图21，在某些实施方式中，步骤0381获取待修复图像经上采样后的第一特征图，包括：

03811，对待修复图像进行上采样；

03812，将上采样后的待修复图像输入到卷积神经网络进行特征提取，得到第一特征图；

步骤0382获取参照图像经过上采样和下采样后的第二特征图，包括：

03821，对参照图像进行下采样；

03822，对下采样后的参照图像进行上采样；

03823，将上采样后的参照图像输入到卷积神经网络进行特征提取，得到第二特征图；

步骤0383获取参照图像未经过上采样和下采样的第三特征图，包括：

03831，将参照图像输入到卷积神经网络进行特征提取，得到第三特征图。

处理器21可以对待修复图像进行上采样(放大)处理，再将上采样后的待修复图像输入到卷积神经网络中进行特征提取得到第一特征图。第一特征图可理解为待修复图像中的人像区域经放大后的图像，第一特征图中包括人像中的各个特征，例如五官、肤质、头发、轮廓等等。由于第一特征图是通过处理放大后的待修复图像得到的，第一特征图的清晰度较低，而参照图像的清晰度是比较高的，因此处理器21还需要对参照图像先进行下采样(缩小)，再对下采样后的图像进行上采样，以实现参照图像的模糊化处理，提升第二特征图与第一特征图的相似度。第二特征图中也可包括例如五官、肤质、头发、轮廓等特征。另外，处理器21还需要将参照图像输入到卷积神经网络进行特征提取，得到第三特征图。需要说明的是，卷积神经网络为一个经过深度学习的网络，能对输入的图像进行高准确率的特征提取。

随后，处理器21将第二特征图和第一特征图中的特征进行对比，判断两者的相似度，并将相似度与一个第二预设相似度进行比较。若相似度大于或等于第二预设相似度，说明第二特征图的该特征与第一特征图的对应特征很像，处理器21即可将第二特征图上的该特征作为参照特征。处理器21再将第三特征图与参照特征进行对比，判断两者的相似度，并将相似度与第三预设相似度进行比较，若相似度大于或等于第三预设相似度，则得到对应的交换特征图。随后，处理器21对交换特征图与第一特征图进行合并，得到第四特征图，再对第四特征图进行放大预定倍数得到第五特征图。随后，处理器21对第五特征图的放大倍数进行判断。若放大倍数等于目标放大倍数，则处理器21将该第五特征图作为修复图像。需要说明的是，第二预设相似度和第三预设相似度可与上文中第一预设相似度相同。

请参阅图22，本申请还提供一种非易失性计算机可读存储介质30。非易失性计算机可读存储介质30包含计算机可读指令。计算机可读指令被处理器21执行时，使得处理器21执行上述任意一个实施方式所述的图像处理方法。

例如，请结合图1和图22，计算机可读指令被处理器21执行时，使得处理器21执行以下图像处理方法的步骤：

01：获取具有目标用户的人像的待修复图像；

02：检测目标用户与电子设备20之间的相对移动情况；及

03：在相对移动情况满足预定条件时，对待修复图像的人像区域进行修复处理。

再例如，请结合图4和图22，计算机可读指令被处理器21执行时，使得处理器21执行以下图像处理方法的步骤：

021：获取两帧具有人像的初始图像，两帧初始图像的拍摄时刻之间的时间间隔小于预定时长；

022：检测每帧初始图像中人脸的预定特征点的坐标信息；

023：根据两个坐标信息计算目标用户与电子设备20之间的相对位移；及

024：根据相对位移及时间间隔计算目标用户与电子设备20之间相对移动的移动速度。

非易失性计算机可读存储介质30可设置在图像处理装置10(图2所示)或者电子设备20(图3所示)内，也可设置在云端服务器内。当非易失性计算机可读存储介质30设置在云端服务器内时，图像处理装置10或者电子设备20能够与云端服务器进行通讯来获取到相应的计算机可读指令。

可以理解，计算机可读指令包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。非易失性计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、以及软件分发介质等。

处理器21可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (12)

1.一种图像处理方法，用于电子设备，其特征在于，所述图像处理方法包括：

获取具有目标用户的人像的待修复图像；

检测所述目标用户与所述电子设备之间的相对移动情况；及

在所述相对移动情况满足预定条件时，对所述待修复图像的人像区域进行修复处理；

所述对所述待修复图像的人像区域进行修复处理，包括：

获取参照图像，所述参照图像的清晰度高于预定清晰度；

根据所述参照图像对所述待修复图像进行人像超分算法处理，以得到修复图像；

所述根据所述参照图像对所述待修复图像进行人像超分算法处理，以得到修复图像，包括：

获取所述待修复图像经上采样后的第一特征图；

获取所述参照图像经过上采样和下采样后的第二特征图；

获取所述参照图像的第三特征图；

获取所述第二特征图中与所述第一特征图相似度超过第二预设相似度的特征以作为参照特征；

获取所述第三特征图中与所述参照特征相似度超过第三预设相似度的特征，以得到交换特征图；

合并所述交换特征图与所述第一特征图，以得到第四特征图；

将所述第四特征图放大预定倍数以得到第五特征图；及

将所述第五特征图作为所述待修复图像并循环执行上述所述根据所述参照图像对所述待修复图像进行人像超分算法处理的步骤，直至得到的所述第五特征图为目标放大倍数，则具有目标放大倍数的所述第五特征图为所述修复图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述检测所述目标用户与所述电子设备之间相对移动情况，包括：

获取两帧具有所述人像的初始图像，两帧所述初始图像的拍摄时刻之间的时间间隔小于预定时长；

检测每帧所述初始图像中人脸的预定特征点的坐标信息；

根据两个所述坐标信息计算所述目标用户与所述电子设备之间的相对位移；及

根据所述相对位移及所述时间间隔计算所述目标用户与所述电子设备之间相对移动的移动速度。

3.根据权利要求2所述的图像处理方法，其特征在于，两帧所述初始图像为所述电子设备的摄像头连续拍摄的两帧图像，其中一帧所述初始图像为所述待修复图像。

4.根据权利要求2所述的图像处理方法，其特征在于，所述在所述相对移动情况满足预定条件时，对所述待修复图像的人像区域进行修复处理，包括：

在所述移动速度位于预定速度范围内时，对所述待修复图像的人像区域进行修复处理；

所述图像处理还包括：

在所述移动速度位于所述预定速度范围外时，不对所述待修复图像进行修复处理。

5.根据权利要求1所述的图像处理方法，其特征在于，所述检测所述目标用户与所述电子设备之间的相对移动情况，包括：

通过传感器获取所述电子设备的抖动情况。

6.根据权利要求5所述的图像处理方法，其特征在于，所述抖动情况为所述电子设备在预定时段内的抖动幅度，所述在所述相对移动情况满足预定条件时，对所述待修复图像的人像区域进行修复处理，包括：

在所述抖动幅度位于预定幅度范围内时，对所述待修复图像的人像区域进行修复处理；

所述图像处理还包括：

在所述抖动幅度位于所述预定幅度范围外时，不对所述待修复图像的人像区域进行修复处理。

7.根据权利要求1所述的图像处理方法，其特征在于，所述对所述待修复图像的人像区域进行修复处理，包括：

检测所述待修复图像中的人像区域；

对所述人像区域执行多次卷积以获得多张特征图像；

对最后一次卷积输出的特征图像执行多次上采样及至少一次反卷积以获得残差图像；及

融合所述残差图像及所述人像区域以得到修复图像。

8.根据权利要求7所述的图像处理方法，其特征在于，所述对最后一次卷积输出的特征图像执行多次上采样及至少一次反卷积以获得残差图像，包括：

在第一次上采样过程中，对最后一次卷积输出的所述特征图像执行上采样及反卷积；

在第二次及第二次以上的上采样过程中，融合前一次上采样得到的图像、与所述前一次上采样得到的图像的尺寸相对应的所述特征图像、及前N次反卷积得到的图像，并对融合后的图像执行上采样及反卷积；

融合最后一次上采样得到的图像及前N次反卷积得到的图像以得到所述残差图像，其中，N≥1，且N∈N+。

9.根据权利要求1所述的图像处理方法，其特征在于，所述获取参照图像，包括：

对所述待修复图像的所述人像区域和预设用户人像进行人脸检测；

在所述待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将所述预设用户人像作为所述参照图像；

在所述待修复图像的人脸与所述预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为所述参照图像。

10.一种图像处理装置，用于电子设备，其特征在于，包括：

获取模块，用于获取具有目标用户的人像的待修复图像；

检测模块，用于检测所述目标用户与所述电子设备之间的相对移动情况；及

修复模块，用于在所述相对移动情况满足预定条件时，对所述待修复图像的人像区域进行修复处理；

所述修复模块包括第三获取单元和第三处理单元，

所述第三获取单元用于获取参照图像，所述参照图像的清晰度高于预定清晰度；

所述第三处理单元用于根据所述参照图像对所述待修复图像进行人像超分算法处理，以得到修复图像；

所述第三处理单元包括第二获取子单元、第三获取子单元、第四获取子单元、第五获取子单元、第六获取子单元、合并子单元、放大子单元及第三处理子单元；

所述第二获取子单元用于获取所述待修复图像经上采样后的第一特征图；

所述第三获取子单元用于获取所述参照图像经过上采样和下采样后的第二特征图；

所述第四获取子单元用于获取所述参照图像的第三特征图；

所述第五获取子单元用于获取所述第二特征图中与所述第一特征图相似度超过第二预设相似度的特征以作为参照特征；

所述第六获取子单元用于获取所述第三特征图中与所述参照特征相似度超过第三预设相似度的特征，以得到交换特征图；

所述合并子单元用于合并所述交换特征图与所述第一特征图，以得到第四特征图；

所述放大子单元用于将所述第四特征图放大预定倍数以得到第五特征图；

所述第三处理子单元用于将所述第五特征图作为所述待修复图像并循环执行上述所述根据所述参照图像对所述待修复图像进行人像超分算法处理的步骤，直至得到的所述第五特征图为目标放大倍数，则具有目标放大倍数的所述第五特征图为所述修复图像。

11. 一种电子设备，其特征在于，包括：

壳体；及

处理器，所述处理器安装在所述壳体上，所述处理器用于实现权利要求1-9任意一项所述的图像处理方法。

12.一种包含计算机可读指令的非易失性计算机可读存储介质，其特征在于，所述计算机可读指令被处理器执行时，使得所述处理器执行权利要求1-9任意一项所述的图像处理方法。