CN113496470A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供一种图像处理方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：基于待处理图像的弱瑕疵区域创建第一掩膜图像，弱瑕疵区域包括边缘检测后的待处理图像中像素个数在设定范围的连通区域；除去待处理图像的高频噪声获得第一修复图像；获取待处理图像的高频信息，以及基于通过所述第一掩膜图像，将所述高频信息与所述第一修复图像融合得到第二修复图像；基于所述第一掩膜图像，将所述第二修复图像和所述待处理图像进行融合，得到修复待处理图像中的弱瑕疵区域后的目标修复图像。该方法中通过待处理图像的高频信息为修复后的图像加上了纹理，且保留待处理图像中的细节信息和真实质感，提升了修复后的图像的真实度和自然度。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

相关技术在修复图像的过程中，常会使用一些图像修复功能修复图像中目标对象的瑕疵，如针对人脸图像而言，常将人脸上的瑕疵分为强瑕疵和弱瑕疵，强瑕疵通常指特征明显的瑕疵区域如人脸上的痘、痣等，弱瑕疵则指特征相对较弱的瑕疵区域，在对人物图像进行美颜修复时，会使用专门的祛痘算法祛除人的皮肤上强瑕疵，但是针对于人脸上的弱瑕疵，若通过祛痘算法等进行修复后，修复后的人脸图像丢失面部纹理的真实质感，降低了修复后的人脸图像的真实度。

综上，目前在通过祛痘算法等修复图像，会使得修复后的图像会丢失图像原有的纹理特征，以至修复后的图片缺乏真实度。

发明内容

本公开实施例提供一种图像处理方法、装置、电子设备及存储介质，用于提升修复后的图像的真实度。

本公开第一方面，提供一种图像处理方法，包括：

基于待处理图像的弱瑕疵区域创建第一掩膜图像，所述弱瑕疵区域为边缘检测后的待处理图像中像素个数在设定范围的连通区域；

除去所述待处理图像的高频噪声，获得第一修复图像；

获取所述待处理图像的高频信息，以及基于所述第一掩膜图像，将所述高频信息与所述第一修复图像融合得到第二修复图像；

基于所述第一掩膜图像，将所述第二修复图像和所述待处理图像进行融合，得到修复所述待处理图像中的弱瑕疵区域后的目标修复图像。

在一种可能的实现方式中，所述基于待处理图像的弱瑕疵区域创建第一掩膜图像的步骤，包括：

除去所述待处理图像中的非处理区域，所述非处理区域包括人脸的五官区域、头发区域以及背景区域；

通过边缘检测获取除去所述非处理区域的待处理图像中的连通区域；

基于像素个数在设定像素范围的连通区域，创建所述待处理图像的第一掩膜图像。

在一种可能的实现方式中，所述基于待处理图像的弱瑕疵区域创建第一掩膜图像的步骤之前，还包括：

通过边缘检测获取多个除去强瑕疵区域的样本图像中的连通区域，所述强瑕疵区域包括图像颜色、边界形状满足设定要求的像素区域；

将所述多个样本图像归一化至预设分辨率；

根据归一化后的多个样本图像中每个连通区域的像素个数，确定所述设定像素范围。

在一种可能的实现方式中，所述除去待处理图像的高频噪声，获得第一修复图像的步骤，包括：

将所述待处理图像归一化至所述预设分辨率；

利用均值滤波器除去归一化后的待处理图像中的高频噪声，获得所述第一修复图像。

在一种可能的实现方式中，所述基于所述第一掩膜图像，将所述高频信息与所述第一修复图像融合得到第二修复图像的步骤，包括：

将所述第一掩膜图像归一化至预设分辨率并将归一化后的第一掩膜图像进行羽化得到第二掩膜图像；以及将所述第一修复图像归一化至所述预设分辨率；

基于所述第二掩膜图像，将所述高频信息与归一化后的第一修复图像融合，得到所述第二修复图像。

在一种可能的实现方式中，所述基于所述第二掩膜图像，将所述高频信息与归一化后的第一修复图像融合，得到所述第二修复图像的步骤，包括：

以所述第二掩膜图像作为阈值，将归一化后的第一修复图像和所述待处理图像进行线性叠加，得到第三修复图像；

将所述高频信息按照设定比例添加到所述第三修复图像中，得到所述第二修复图像。

在一种可能的实现方式中，所述基于所述第二掩膜图像，将所述高频信息与归一化后的第一修复图像融合，得到所述第二修复图像的步骤，包括：

将所述高频信息按照设定比例添加到归一化后的第一修复图像中，得到第四修复图像；

以所述第二掩膜图像作为阈值，将所述第四修复图像和所述待处理图像进行线性叠加，得到所述第二修复图像。

在一种可能的实现方式中，所述基于所述第一掩膜图像，将所述第二修复图像和所述待处理图像进行融合，得到修复所述待处理图像中的弱瑕疵区域后的目标修复图像的步骤之前，还包括：

获取所述待处理图像的柔光修复阈值；

基于所述柔光修复阈值对所述第二修复图像进行柔光混合。

在一种可能的实现方式中，所述基于所述第一掩膜图像，将所述第二修复图像和所述待处理图像进行融合，得到修复所述待处理图像中的弱瑕疵区域后的目标修复图像的步骤，包括：

对所述第一掩膜图像进行羽化；

基于羽化后的第一掩膜图像，通过泊松融合算法将所述第二修复图像与所述待处理图像融合得到所述目标修复图像；或，基于羽化后的第一掩膜图像，将所述第二修复图像与所述待处理图像进行线性叠加得到所述目标修复图像。

本公开第二方面，提供一种图像处理装置，包括：

掩膜图像创建单元，被配置为执行基于待处理图像的弱瑕疵区域创建第一掩膜图像，所述弱瑕疵区域为边缘检测后的待处理图像中像素个数在设定范围的连通区域；

第一图像修复单元，被配置为执行除去所述待处理图像的高频噪声，获得第一修复图像；

第二图像修复单元，被配置为执行获取所述待处理图像的高频信息，以及基于通过所述第一掩膜图像，将所述高频信息与所述第一修复图像融合得到第二修复图像；

图像融合单元，被配置为执行基于所述第一掩膜图像，将所述第二修复图像和所述待处理图像进行融合，得到修复所述待处理图像中的弱瑕疵区域后的目标修复图像。

在一种可能的实现方式中，所述掩膜图像创建单元具体被配置为执行：

除去所述待处理图像中的非处理区域，所述非处理区域包括人脸的五官区域、头发区域以及背景区域；

通过边缘检测获取除去所述非处理区域的待处理图像中的连通区域；

基于像素个数在设定像素范围的连通区域，创建所述待处理图像的第一掩膜图像。

在一种可能的实现方式中，所述掩膜图像创建单元还被配置为执行：

基于待处理图像的弱瑕疵区域创建第一掩膜图像之前，通过边缘检测获取多个除去强瑕疵区域的样本图像中的连通区域，所述强瑕疵区域包括图像颜色、边界形状满足设定要求的像素区域；

将所述多个样本图像归一化至预设分辨率；

根据归一化后的多个样本图像中每个连通区域的像素个数，确定所述设定像素范围。

在一种可能的实现方式中，所述第一图像修复单元具体被配置为执行：

将所述待处理图像归一化至所述预设分辨率；

利用均值滤波器除去归一化后的待处理图像中的高频噪声，获得所述第一修复图像。

在一种可能的实现方式中，所述第二图像修复单元具体被配置为执行：

将所述第一掩膜图像归一化至预设分辨率并将归一化后的第一掩膜图像进行羽化得到第二掩膜图像；以及将所述第一修复图像归一化至所述预设分辨率；

基于所述第二掩膜图像，将所述高频信息与归一化后的第一修复图像融合，得到所述第二修复图像。

在一种可能的实现方式中，所述第二图像修复单元具体被配置为执行：

以所述第二掩膜图像作为阈值，将归一化后的第一修复图像和所述待处理图像进行线性叠加，得到第三修复图像；

将所述高频信息按照设定比例添加到所述第三修复图像中，得到所述第二修复图像。

在一种可能的实现方式中，所述第二图像修复单元具体被配置为执行：

将所述高频信息按照设定比例添加到归一化后的第一修复图像中，得到第四修复图像；

以所述第二掩膜图像作为阈值，将所述第四修复图像和所述待处理图像进行线性叠加，得到所述第二修复图像。

在一种可能的实现方式中，所述图像融合单元还被配置为执行：

基于所述第一掩膜图像，将所述第二修复图像和所述待处理图像进行融合，得到修复所述待处理图像中的弱瑕疵区域后的目标修复图像之前，获取所述待处理图像的柔光修复阈值；

基于所述柔光修复阈值对所述第二修复图像进行柔光混合。

在一种可能的实现方式中，所述图像融合单元具体被配置为执行：

对所述第一掩膜图像进行羽化；

基于羽化后的第一掩膜图像，通过泊松融合算法将所述第二修复图像与所述待处理图像融合得到所述目标修复图像；或，基于羽化后的第一掩膜图像，将所述第二修复图像与所述待处理图像进行线性叠加得到所述目标修复图像。

本公开第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器被配置为执行如第一方面及和任一种可能的实现方式中任一所述的方法。

本公开第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面及一种可能的实施方式中任一所述的方法。

本公开的方案至少带来以下的有益效果：

本公开中通过对待处理图像进行除高频噪声的处理，进而基于通过瑕疵区域获得的第一掩膜图像，通过待处理图像的高频信息给修复得到的第一修复图像加上图像细节特征，进而再通过第一掩膜图像修复后的图像中的图像细节特征与待处理图像融合得到目标修复图像，由于在修复待处理图像的同时给待处理图像添加图像细节特征，提升了得到的目标修复图像的真实度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1为本公开示例性实施例提供的一种图像处理方法示意图；

图2为本公开示例性实施例提供的一种连通区域的示意图；

图3为本公开示例性实施例提供的一种掩膜图像的示意图；

图4为本公开示例性实施例提供的一种图像处理方法的完整流程示意图；

图5为本公开示例性实施例提供的另一种图像处理方法的完整流程示意图；

图6为本公开示例性实施例提供的一种图像处理装置的结构示意图；

图7为本公开示例性实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

下面对本公开的设计思想进行说明。

相关技术在修复图像的过程中，常会使用一些图像修复功能修复图像中目标对象的瑕疵，但修复后的图像会丢失图像原有的纹理特征，使修复后的图片缺乏真实度。

如在对人物图像进行美颜修复时，会使用皮肤修复功能祛除人的皮肤上的瑕疵如各类斑点；如针对人脸图像上的强瑕疵，通过专门的祛痘算法进行修复后使人脸图像中没有明显的瑕疵(痘、痣)，且修复后的人脸图像可以保持面部纹理的真实质感；但是针对于人脸上的弱瑕疵，若通过皮肤修复算法等进行修复后，会使修复后的人脸图像丢失面部纹理的真实质感，降低了修复后的人脸图像的真实度。

鉴于此，本公开设计一种图像处理方法、装置、电子设备及存储介质，用以提升修复瑕疵后的图像的真实度，发明人考虑到修复后的图像缺乏图像原有的纹理特征而导致修复后的图像丢失真实度，因此可以在对待处理图像进行修复后，在修复后的图像中增加待处理图像的高频信息，以将图像细节信息融合到修复后的图像中得到最终的目标修复图像；在对目标图形进行修复的过程中，还可以基于通过待处理图像的瑕疵区域创建的掩膜图像，使非瑕疵区域在待处理图像的修复过程中与待处理图像保持一致，进而增强目标修复图像的真实度。

以下结合附图对本公开的方案进行详细说明。

如图1所示，本公开实施例提供一种图像处理方法，具体包括如下步骤：

步骤S101，基于待处理图像的弱瑕疵区域创建第一掩膜图像，上述弱瑕疵区域为边缘检测后的待处理图像中像素个数在设定范围的连通区域。

应当说明的是，上述弱瑕疵区域可以为待处理图像二值化后的二值边缘图的像素的连通区域，请参见图2中待处理图像的二值边缘图200的第一连通区域201、第二连通区域202以及第三连通区域203，其中待处理图像的弱瑕疵区域可以包含一个或多个连通区域，当弱瑕疵区域包括多个连通区域时，多个连通区域的像素个数可能完全相同、部分相同或完全不同。

作为一种实施例，可以除去上述待处理图像中的非处理区域，上述非处理区域包括人脸的五官区域、头发区域以及背景区域；

通过边缘检测获取除去上述非处理区域的待处理图像中的连通区域；

基于像素个数在设定像素范围的连通区域，创建上述待处理图像的第一掩膜图像。

具体地，可以但不局限于通过目标检测除去待处理图像中的非处理区域，作为一个示例，当待处理图像为人脸图像时，上述目标检测可以但不局限于为人脸关键点检测和肤色检测阈值。

作为一种实施例，可以基于像素个数在设定像素范围的连通区域对待处理图像进行二值化处理，创建待处理图像的第一掩膜图像，即将像素个数在设定像素范围的连通区域作为弱瑕疵区域，基于上述弱瑕疵区域对待处理图像进行二值化处理获得第一掩膜图像。

作为一种实施例，上述设定像素范围可以是预先设置好的，也可以是在创建第一掩膜图像时设置的，具体的，上述设定像素范围可以通过如下方式获得：

通过边缘检测获取多个除去强瑕疵区域的样本图像中的连通区域，上述强瑕疵区域包括图像颜色、边界形状满足设定要求的像素区域；将上述多个样本图像归一化至预设分辨率；根据归一化后的多个样本图像中每个连通区域的像素个数，确定上述设定像素范围。

此处对待处理图像的内容不做限定，其可以但不局限于包括人脸图像、动物图像、风景图像等；此处给出一个获取设定像素范围的具体示例，待处理图像和样本图像为人脸图像时，获取设定像素范围的具体过程如下：

利用人脸关键点检测和肤色检测阈值来约束待处理图像，以除去样本图像中的非处理区域，确保人脸的五官区域、头发区域以及背景区域等不被误处理，对待处理图像中除五官区域、头发区域以及背景区域外剩余的面部皮肤区域，进行边缘检测(如采用canny算法等)，得到待处理图像的二值边缘图，此处可参见图2示意出的二值边缘图，其中每个连通区域就是一个瑕疵的区域。

为了保证设置的设定像素范围针对待处理图像适用，可以将大量的样本图像归一化到预设分辨率，采用统计的方法，统计每个样本图像中各个连通区域所占的像素个数，进而根据各个样本图像中的各个连通区域确定第一像素基准值α1和第二像素基准值α2，将第一像素基准值α1和第二像素基准值α2包含的像素个数范围确定为上述设定像素范围。

对上述预设分辨率不做过多限定，如可以将其设置为n×m，其中n和m的取值为正整数。

应当说明的是，上述第一像素基准值α1大于第二像素基准值α2，且第一像素基准值α1可以是样本图像中像素个数在第一指定序位的瑕疵区域的像素个数，如可以将第一像素基准值α1设置为像素个数最大的或者像素第k1(k1为正整数)大的瑕疵区域的像素个数；第二像素基准值α2可以是样本图像中像素个数在第二指定序位的瑕疵区域的像素个数，如可以将第二像素基准值α2设置为像素个数最小的或者像素个数第k2(k2为正整数)小的瑕疵区域的像素个数。

步骤S102，除去上述待处理图像的高频噪声，获得第一修复图像。

具体地，可以但不局限于将待处理图像归一化到上述预设分辨率；利用均值滤波器除去归一化后的待处理图像中的高频噪声，获得待处理图像对应的第一修复图像。

进一步，为了避免得到的第一修复图像中包含弱瑕疵区域的情况，在除去归一化后的待处理图像中的高频噪声时，可以设置较大的滤波窗口，此处不做过多限定，本领域的技术人员可根据实际需求灵活设置。

应当说明的是，将待处理图像归一化的预设分辨率应当与获取设定像素范围时对样本图像归一化的预设分辨率一致。

步骤S103，获取上述待处理图像的高频信息，以及基于上述第一掩膜图像，将上述高频信息与上述第一修复图像融合得到第二修复图像。

上述高频信息包含了待处理图像的纹理细节信息，如待处理图像中图像强度变化剧烈的区域，上述图像强度可以但不局限于包括待处理图像的灰度、亮度中的一个或多个。作为一种实施例，可以但不局限于通过如下方式获得待处理图像对应的第二修复图像：

将第一掩膜图像归一化预设分辨率并将归一化后的第一掩膜图像进行羽化得到第二掩膜图像；以及将第一修复图像归一化至上述预设分辨率；

基于第二掩膜图像，将上述高频信息与归一化后的第一修复图像融合，得到第二修复图像。

上述预设分辨率可以为待处理图像的分辨率。

步骤S104，基于上述第一掩膜图像，将第二修复图像和上述待处理图像进行融合，得到修复上述待处理图像中的弱瑕疵区域后的目标修复图像。

具体地，为了降低修复得到的图像的锐化，使修复得到的图像显得更柔和，可以在步骤S104之前获取待处理图像的柔光修复阈值，基于上述柔光修复阈值对第二修复图像进行柔光混合，进而基于第一掩膜图像，将进行柔光混合后的第二修复图像和待处理图像进行融合得到目标修复图像。

作为一种实施例，可以通过如下两种方式，基于第一掩膜图像，将第二修复图像和待处理图像进行融合得到目标修复图像。

第一种获取目标修复图像的方法：

对第一掩膜图像进行羽化，基于羽化后的第一掩膜图像，通过泊松融合算法将上述第二修复图像与上述待处理图像融合得到目标修复图像。

其中如图3所示，给出一种待处理图像为人脸图像，由人脸图像获得的羽化后的第一掩膜图像的示意图。

第二种获取目标修复图像的方法：

对第一掩膜图像进行羽化，基于羽化后的第一掩膜图像，将上述第二修复图像与上述待处理图像进行线性叠加得到目标修复图像。

更进一步，在第二种获取目标修复图像的方法中，可以通过公式6A将第二修复图像与待处理图像进行线性叠加得到目标修复图像，其中：

公式6A为：O1＝E1×R+(q-E1)×O；

公式6A中，O1为目标修复图像，E1为羽化后的第一掩膜图像，R为上述第二修复图像，q为图像像素的最大值，O为待处理图像。

公式6A中E1×R表示基于羽化后的第一掩膜图像，将第二修复图像R中对弱瑕疵区域的修复结果融合到待处理图像O中；(q-E1)×O表示在融合图像的过程中保证非瑕疵区域与待处理图像O保持一致。

若在步骤S104之前基于柔光修复阈值对第二修复图像进行柔光混合，则上述公式6A可以变形为下述公式6B：

公式6B为：O1＝E1×R1+(q-E1)×O；

公式6B中，O1为目标修复图像，E1为羽化后的第一掩膜图像，R1为进行柔光混合后的第二修复图像，q为图像像素的最大值，O为待处理图像。

公式6B中E1×R1表示基于羽化后的第一掩膜图像，将进行柔光混合后的第二修复图像R1中对瑕疵区域的修复结果融合到待处理图像O中；(q-E1)×O表示在融合图像的过程中保证非瑕疵区域与待处理图像O保持一致。

应当说明的是，本公开实施例中的q为图像像素的最大值，在表示图像的像素时，通常采用整数或浮点数表示像素；当用整数表示像素时，图像的像素范围为0至255，即此时q为255；当用浮点数表示像素时，图像的像素范围为0.0至1.0，即此时q为1.0，即上述公式6B可变为公式6a；当用浮点数表示像素时，公式6B可变为公式6b。

公式6a：O1＝E1×R1+(255-E1)×O；

公式6b：O1＝E1×R1+(1.0-E1)×O。

作为一种实施例，在上述步骤S103中可以通过如下方式获取待处理图像的高频信息：

利用滤波窗口为K x K的高斯滤波对上述待处理图像进行高反差保留计算，得到反差图像，将上述待处理图像和上述反差图像的差值作为上述待处理图像的高频信息，其中K为正整数。

具体地，上述高频信息可以但不局限于表示为：H＝O-G，其中，O为待处理图像，G为上述反差图像，H为待处理图像O的高频信息。

作为一种实施例，在步骤S103中可以但不局限于通过如下两种方法，基于第二掩膜图像，将高频信息与归一化后的第一修复图像融合，得到上第二修复图像：

第一种获取第二修复图像的方法：在修复得到的图像的所有区域中融合待处理图像的高频信息。

该方法中通过如下2个步骤获取第二修复图像：

步骤1)为了保证修复后的图像中的非瑕疵区域与待处理图像中的非瑕疵区域一致，可以基于第二掩膜图像，将归一化后的第一修复图像和待处理图像进行线性叠加，得到第三修复图像；

具体地，可以但不局限于将第二掩膜图像作为阈值，通过公式1将归一化后的第一修复图像和待处理图像进行线性叠加，得到第三修复图像，其中：

公式1为：M＝E¹×B¹+(q-E¹)×O；

上述M为上述第三修复图像，上述E¹为上述第二掩膜图像，上述B¹为上述归一化后的第一修复图像，上述q为图像像素的最大值，上述O为待处理图像。

其中第三修复图像M中非瑕疵区域与待处理图像中的非瑕疵区域一致，(q-E¹)表示非瑕疵区域的图像的阈值，(q-E¹)×O表示和待处理图像O一致的非瑕疵区域的图像，本公开实施例中的非瑕疵区域指本公开创建第一掩膜图像时依据的待处理图像的瑕疵区域之外的图像区域。

关于参数q的说明可参照上述内容，即用整数表示像素时，q为255，公式1可变形为下述公式1a；用浮点数表示像素时，q为1.0，公式1可变形为下述公式1b。

公式1a：M＝E¹×B¹+(255-E¹)×O；

公式1b：M＝E¹×B¹+(1.0-E¹)×O。

步骤2)将上述高频信息按照设定比例添加到第三修复图像中，得到第二修复图像。

具体的，可以但不局限于通过公式2将上述高频信息按照设定比例添加到上述第三修复图像中，得到上述第二修复图像，其中：

公式2为：R＝max(p,min(q,M+β×H)；

公式2中，R为上述第二修复图像，M为上述第三修复图像，上述H为上述高频信息，β为上述设定比例，q为图像像素的最大值，p为图像像素的最小值。

其中，(M+β×H)表示按照设定比例β将待处理图像的高频信息H融合到第三修复图像M上，得到第二修复图像R；min(q,M+β×H)表示修复得到的第二修复图像R的像素不能超过像素的最大值q；max(p,min(q,M+β×H)表示修复得到的第二修复图像R的像素不能低于像素的最小值p。

关于参数q的说明可参照上述内容，基于同样的道理，用整数表示像素时，q为255，p为0，公式2可变形为下述公式2a；用浮点数表示像素时，q为1.0，p为0.0，公式2可变形为下述公式2b。

公式2a：R＝max(0,min(255,M+β×H)；

公式2b：R＝max(0.0,min(1.0,M+β×H)。

第二种获取第二修复图像的方法：在归一化后的第一修复图像中融合待处理图像的高频信息。

该方法中通过如下2个步骤获取第二修复图像：

步骤1)将上述高频信息按照设定比例添加到上述归一化后的第一修复图像中，得到第四修复图像。

具体地，可以但不局限于通过公式3将上述高频信息按照设定比例添加到归一化后的第一修复图像中，得到上述第四修复图像，其中：

公式3为：N＝max(p,min(q,B¹+β×H)；

上述N为第四修复图像，上述B¹为上述归一化后的第一修复图像，上述H为上述高频信息，上述β为上述设定比例，上述q为图像像素的最大值，上述p为图像像素的最小值。

其中，(B¹+β×H)表示按照设定比例β将待处理图像的高频信息H融合到归一化后的第一修复图像B¹上得到第四修复图像N；min(q,B¹+β×H)表示修复得到的第四修复图像N的像素不能超过像素的最大值q；max(p,min(q,B¹+β×H)表示修复得到的第四修复图像N的像素不能低于像素的最小值p。

关于参数q的说明可参照上述内容，基于同样的道理，用整数表示像素时，q为255，p为0，公式32可变形为下述公式3a；用浮点数表示像素时，q为1.0，p为0.0，公式3可变形为下述公式3b。

公式3a：N＝max(0,min(255,B¹+β×H)；

公式3b：N＝max(0.0,min(1.0,B¹+β×H)。

步骤2)基于上述第二掩膜图像，将第四修复图像和待处理图像进行线性叠加，得到上述第二修复图像。

具体地，可以但不局限于将上述第二掩膜图像作为阈值，通过公式4将上述第四修复图像和上述待处理图像进行线性叠加，得到上述第二修复图像，其中：

公式4为：R＝E¹×N+(q-E¹)×O；

公式4中，R为上述第二修复图像，E¹为上述第二掩膜图像，N为上述第四修复图像，q为图像像素的最大值，O为待处理图像。

其中第二修复图像R中非瑕疵区域与待处理图像中的非瑕疵区域一致，(q-E¹)表示非瑕疵区域的图像的阈值，(q-E¹)×O表示和待处理图像O一致的非瑕疵区域的图像。

关于参数q的说明可参照上述内容，即用整数表示像素时，q为255，公式4可变形为下述公式4a；用浮点数表示像素时，q为1.0，公式4可变形为下述公式4b。

公式4a：R＝E¹×N+(255-E¹)×O；

公式4b：R＝E¹×N+(255-E¹)×O。

作为一种实施例，步骤S104之前可以通过如下方式于上述柔光修复阈值对上述第二修复图像进行柔光混合：

基于上述柔光修复阈值，通过公式5对第二修复图像进行柔光混合得到进行柔光混合后的第二修复图像，其中：

公式5为：R1＝R×(R+2×Hp×(q-R)；

公式5中R1为进行柔光混合后的第二修复图像，2为柔光混合的系数，Hp为上述柔光修复阈值，q为图像像素的最大值，R为上述第二修复图像。

其中，由于上述反差图像G是待处理图像通过高斯模糊得到的，因此待处理图像的高频信息H大部分都分布在0的附近，当用浮点数表示像素时，为H+0.5后可将H的值评议到0.5附近，记为柔光修复阈值Hp＝H+0.5，基于柔光修复阈值Hp，对第二修复图像R进行柔光混合，得到进行柔光混合后的第二修复图像R1。

即，当0.0<＝Hp<＝0.5时，R1从R×R渐变为R；当0.5<＝Hp<＝1.0时，R1从R渐变为从R+R×(1.0-R)，使得待处理图像本来暗的细节会更暗一些，本来亮的细节更亮一些，这样叠加后得到的进行柔光混合后的第二修复图像R1更有层次感。

有关参数q的解释参见上述内容，此处不再重复叙述，基于q的值，当用整数表示像素时，公式5可变形为公式5a；当用浮点数表示像素时，公式5可变形为公式5b。

公式5a：R1＝R×(R+2×Hp×(255-R)；

公式5b：R1＝R×(R+2×Hp×(1.0-R)。

以下提供一个本公开实施例的方法的具体应用示例，该示例中待处理图像为人脸图像，如图4所示对待处理图像进行修复的过程如下：

步骤S401，创建待处理图像的第一掩膜图像。

通过人脸关键点检测和肤色检测阈值确定待处理图像中的连通区域，并将像素个数在设定范围内的连通区域作为弱瑕疵区域，基于上述弱瑕疵区域创建待处理图像的二值化的第一掩膜图像。

步骤S402，除去待处理图像的高频噪声获得第一修复图像。

可以将待处理图像归一化至预设分辨率n×m(其中n和m均为正整数，n×m可以为确定设定像素范围时将样本图像进行归一化的预设分辨率)；利用均值滤波器除去归一化后的待处理图像的高频噪声获得第一修复图像。

步骤S403，基于第一掩膜图像和第一修复图像，获取非瑕疵区域和待处理图像一致的第三修复图像。

将第一掩膜图像归一化至预设分辨率并将归一化后的第一掩膜图像进行羽化得到第二掩膜图像；以及将第一修复图像归一化至上述预设分辨率；

将第二掩膜图像作为阈值，通过上述公式1将归一化后的第一修复图像和待处理图像进行线性叠加，得到第三修复图像。

步骤S404，将待处理图像的高频信息添加到第三修复图像中获得第二修复图像。

具体地，可以通过上述公式2将高频信息按照设定比例添加到第三修复图像中，得到添加纹理信息的第二修复图像。

步骤S405，基于柔光修复阈值对第二修复图像进行柔光混合。

具体地，可以按照上述公式5的方式对第二修复图像进行柔光混合，此处不再重复叙述。

步骤S406，基于第一掩膜图像，将进行柔光混合后的第二修复图像和待处理图像进行融合得到目标修复图像。

具体地，将第一掩膜图像进行羽化，基于羽化后的第一掩膜图像，根据泊松融合算法或上述公式6的线性融合方法，将进行柔光混合后的第二修复图像中的高频信息融合到待处理图像中，此处不再重复叙述。

以下提供一个本公开实施例的方法的具体应用示例，该示例中待处理图像为人脸图像，如图5所示修复待处理图像的过程如下：

步骤S501，创建待处理图像的第一掩膜图像。

具体可参照上述步骤S401的内容，此处不再重复叙述。

步骤S502，除去待处理图像的高频噪声获得第一修复图像。

具体可参照上述步骤S402的内容，此处不再重复叙述。

步骤S503，基于第一修复图像，融合待处理图像的高频信息得到第四修复图像。

具体地，将第一修复图像归一化至上述预设分辨率；

可以通过上述公式3将高频信息按照设定比例添加到归一化后的第一修复图像中，得到添加纹理信息的第四修复图像。

步骤S504，基于第一掩膜图像和第四修复图像，获取非瑕疵区域和待处理图像一致的第二修复图像。

具体地，将第一掩膜图像归一化至预设分辨率并将归一化后的第一掩膜图像进行羽化得到第二掩膜图像；

将第二掩膜图像作为阈值，通过上述公式4将第四修复图像和待处理图像进行线性叠加，得到第二修复图像。

步骤S505，基于柔光修复阈值对第二修复图像进行柔光混合。

具体可参照上述步骤S405的内容，此处不再重复叙述。

步骤S506，基于第一掩膜图像，将进行柔光混合后的第二修复图像和待处理图像进行融合得到目标修复图像。

具体可参照上述步骤S406的内容，此处不再重复叙述。

本公开实施例中，通过对待处理图像进行除高频噪声的处理进行修复，进而基于通过弱瑕疵区域获得的第一掩膜图像，将待处理图像的高频信息添加到修复后的图像中，且同时保证修复后的图像中非瑕疵区域的图像和修复前的待处理图像一致，一方面在修复待处理图像的弱瑕疵区域的同时给待处理图像添加图像细节特征，另一方面在处理待处理图像的过程中也保证了非瑕疵区域的图像和修复前的待处理图像一致，提升了得到的目标修复图像的真实度。

如图6所示，基于相同的发明构思，本公开实施例还提供一种图像处理装置600，该装置包括：

掩膜图像创建单元601，被配置为执行基于待处理图像的弱瑕疵区域创建第一掩膜图像，上述弱瑕疵区域为边缘检测后的待处理图像中像素个数在设定范围的连通区域；

第一图像修复单元602，被配置为执行除去上述待处理图像的高频噪声，获得第一修复图像；

第二图像修复单元603，被配置为执行获取上述待处理图像的高频信息，以及基于通过上述第一掩膜图像，将上述高频信息与上述第一修复图像融合得到第二修复图像；

图像融合单元604，被配置为执行基于上述第一掩膜图像，将上述第二修复图像和上述待处理图像进行融合，得到修复上述待处理图像中的弱瑕疵区域后的目标修复图像。

可选的，掩膜图像创建单元601具体被配置为执行：

除去上述待处理图像中的非处理区域，上述非处理区域包括人脸的五官区域、头发区域以及背景区域；

通过边缘检测获取除去上述非处理区域的待处理图像中的连通区域；

基于像素个数在设定像素范围的连通区域，创建上述待处理图像的第一掩膜图像。

可选的，掩膜图像创建单元601还被配置为执行：

基于待处理图像的弱瑕疵区域创建第一掩膜图像之前，通过边缘检测获取多个除去强瑕疵区域的样本图像中的连通区域，上述强瑕疵区域包括图像颜色、边界形状满足设定要求的像素区域；

将上述多个样本图像归一化至预设分辨率；

根据归一化后的多个样本图像中每个连通区域的像素个数，确定上述设定像素范围。

可选的，第一图像修复单元602具体被配置为执行：

将上述待处理图像归一化至上述预设分辨率；

利用均值滤波器除去归一化后的待处理图像中的高频噪声，获得上述第一修复图像。

可选的，第二图像修复单元603具体被配置为执行：

将上述第一掩膜图像归一化至预设分辨率并将归一化后的第一掩膜图像进行羽化得到第二掩膜图像；以及将上述第一修复图像归一化至上述预设分辨率；

基于上述第二掩膜图像，将上述高频信息与归一化后的第一修复图像融合，得到上述第二修复图像。

可选的，第二图像修复单元603具体被配置为执行：

以上述第二掩膜图像作为阈值，将归一化后的第一修复图像和上述待处理图像进行线性叠加，得到第三修复图像；

将上述高频信息按照设定比例添加到上述第三修复图像中，得到上述第二修复图像。

可选的，第二图像修复单元603具体被配置为执行：

将上述高频信息按照设定比例添加到归一化后的第一修复图像中，得到第四修复图像；

以上述第二掩膜图像作为阈值，将上述第四修复图像和上述待处理图像进行线性叠加，得到上述第二修复图像。

可选的，图像融合单元604还被配置为执行：

基于上述第一掩膜图像，将上述第二修复图像和上述待处理图像进行融合，得到修复上述待处理图像中的弱瑕疵区域后的目标修复图像之前，获取上述待处理图像的柔光修复阈值；

基于上述柔光修复阈值对上述第二修复图像进行柔光混合。

可选的，图像融合单元604具体被配置为执行：

对上述第一掩膜图像进行羽化；

基于羽化后的第一掩膜图像，通过泊松融合算法将上述第二修复图像与上述待处理图像融合得到上述目标修复图像；或，基于羽化后的第一掩膜图像，将上述第二修复图像与上述待处理图像进行线性叠加得到上述目标修复图像。

如图7所示，本公开提供一种电子设备700，包括处理器701、用于存储上述处理器可执行指令的存储器702；

其中，上述处理器701被配置为执行本公开实施例提供的任意一种图像处理方法。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由上述电子设备的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，上述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

基于待处理图像的弱瑕疵区域创建第一掩膜图像，所述弱瑕疵区域为边缘检测后的待处理图像中像素个数在设定范围的连通区域；

除去所述待处理图像的高频噪声，获得第一修复图像；

获取所述待处理图像的高频信息，以及基于所述第一掩膜图像，将所述高频信息与所述第一修复图像融合得到第二修复图像；

基于所述第一掩膜图像，将所述第二修复图像和所述待处理图像进行融合，得到修复所述待处理图像中的弱瑕疵区域后的目标修复图像。

2.如权利要求1所述的方法，其特征在于，所述基于待处理图像的弱瑕疵区域创建第一掩膜图像的步骤，包括：

除去所述待处理图像中的非处理区域，所述非处理区域包括人脸的五官区域、头发区域以及背景区域；

通过边缘检测获取除去所述非处理区域的待处理图像中的连通区域；

基于像素个数在设定像素范围的连通区域，创建所述待处理图像的第一掩膜图像。

3.如权利要求2所述的方法，其特征在于，所述基于待处理图像的弱瑕疵区域创建第一掩膜图像的步骤之前，还包括：

通过边缘检测获取多个除去强瑕疵区域的样本图像中的连通区域，所述强瑕疵区域包括图像颜色、边界形状满足设定要求的像素区域；

将所述多个样本图像归一化至预设分辨率；

根据归一化后的多个样本图像中每个连通区域的像素个数，确定所述设定像素范围。

4.如权利要求3所述的方法，其特征在于，所述除去待处理图像的高频噪声，获得第一修复图像的步骤，包括：

将所述待处理图像归一化至所述预设分辨率；

利用均值滤波器除去归一化后的待处理图像中的高频噪声，获得所述第一修复图像。

5.如权利要求1-4任一所述的方法，其特征在于，所述基于所述第一掩膜图像，将所述高频信息与所述第一修复图像融合得到第二修复图像的步骤，包括：

将所述第一掩膜图像归一化至预设分辨率并将归一化后的第一掩膜图像进行羽化得到第二掩膜图像；以及将所述第一修复图像归一化至所述预设分辨率；

基于所述第二掩膜图像，将所述高频信息与归一化后的第一修复图像融合，得到所述第二修复图像。

6.如权利要求5所述的方法，其特征在于，所述基于所述第二掩膜图像，将所述高频信息与归一化后的第一修复图像融合，得到所述第二修复图像的步骤，包括：

以所述第二掩膜图像作为阈值，将归一化后的第一修复图像和所述待处理图像进行线性叠加，得到第三修复图像；

将所述高频信息按照设定比例添加到所述第三修复图像中，得到所述第二修复图像。

7.如权利要求5所述的方法，其特征在于，所述基于所述第二掩膜图像，将所述高频信息与归一化后的第一修复图像融合，得到所述第二修复图像的步骤，包括：

将所述高频信息按照设定比例添加到归一化后的第一修复图像中，得到第四修复图像；

以所述第二掩膜图像作为阈值，将所述第四修复图像和所述待处理图像进行线性叠加，得到所述第二修复图像。

8.一种图像处理装置，其特征在于，包括：

掩膜图像创建单元，被配置为执行基于待处理图像的弱瑕疵区域创建第一掩膜图像，所述弱瑕疵区域为边缘检测后的待处理图像中像素个数在设定范围的连通区域；

第一图像修复单元，被配置为执行除去所述待处理图像的高频噪声，获得第一修复图像；

第二图像修复单元，被配置为执行获取所述待处理图像的高频信息，以及基于通过所述第一掩膜图像，将所述高频信息与所述第一修复图像融合得到第二修复图像；

图像融合单元，被配置为执行基于所述第一掩膜图像，将所述第二修复图像和所述待处理图像进行融合，得到修复所述待处理图像中的弱瑕疵区域后的目标修复图像。

9.一种电子设备，其特征在于，包括处理器、用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行权利要求1-7中任一项所述的方法。

Images