CN111325698A - 图像处理方法、装置及***、电子设备 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置及***、电子设备，涉及图像处理技术领域，该方法包括：对目标图像进行区域分割，得到目标图像中的目标区域；将目标图像及目标图像的目标区域输入图像处理模型，以使图像处理模型对目标图像的目标区域进行图像处理，得到目标图像对应的处理后图像。本发明能够有效去除夜景下自拍时发光物体导致的自拍图像中的眼镜镜片反光，提升了夜晚的拍照质量及用户体验。

Description

图像处理方法、装置及***、电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置及***、电子设备。

背景技术

眼镜镜片反光的产生原因是环境物体或手机屏幕反射的光会映射到眼镜镜片上。实际上常见的玻璃透明物体在拍照时都会将环境物体映射到玻璃上，这样就会影响拍摄效果，尤其在夜景中自拍时，眼镜镜片上可能会出现手机屏幕的反光，这些反光颜色遮挡了眼睛，与背景差别大，较为明亮，很影响照片的观感。随着使用眼镜的人群的比例增高，夜景拍照中眼镜反光去除的需求也越来越大，因此眼镜的反光去除也逐渐成为智能手机拍照应用中重要的功能之一。目前有不少工作在致力于解决玻璃反光的问题，然而，夜景下自拍时眼镜镜片反光相比一般玻璃反光遮挡更强，需要专门的处理算法，但是目前还没有专门来处理眼镜镜片反光的解决办法。因此，如何消除夜晚自拍图像中的眼镜镜片反光成为亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置及***、电子设备，能够有效去除夜景下自拍时发光物体导致的自拍图像中的眼镜镜片反光，提升了夜晚的拍照质量及用户体验。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种图像处理方法，包括：对目标图像进行区域分割，得到所述目标图像中的目标区域；将所述目标图像及所述目标图像的目标区域输入图像处理模型，以使所述图像处理模型对所述目标图像的目标区域进行图像处理，得到所述目标图像对应的处理后图像。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述对目标图像进行区域分割，得到所述目标图像中的目标区域的步骤，包括：利用关键点检测模型对目标图像进行关键点检测，确定所述目标图像中的待分割区域；利用语义分割模型对所述目标图像中的所述待分割区域进行语义分割，得到所述目标图像中的目标区域。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述对目标图像进行区域分割，得到所述目标图像中的目标区域的步骤，包括：对所述目标图像进行关键点检测，得到关键点检测结果；对所述目标图像中所述关键点检测结果所在区域进行语义分割，得到所述目标图像中的目标区域。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述语义分割模型包括第一语义分割模型和第二语义分割模型，所述目标区域包括所述目标图像中的反光区域；所述利用语义分割模型对所述目标图像中的待分割区域进行语义分割，得到所述目标图像中的目标区域的步骤，包括：利用所述第一语义分割模型从所述目标图像的待分割区域中分割出镜面区域；其中，所述第一语义分割模型是基于预先标记出镜面区域的样本训练得到的；利用所述第二语义分割模型对所述目标图像的镜面区域进行语义分割，得到所述目标图像的反光区域；其中，所述第二语义分割模型是基于预先标记出反光区域的样本训练得到的。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述关键点检测模型的训练过程包括：将预先标注有所述待分割区域的关键点的训练样本输入关键点检测模型，基于所述训练样本对所述关键点检测模型进行训练，得到训练后的关键点检测模型。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述目标区域包括图像中的反光区域；所述对所述目标图像的目标区域进行图像处理，得到所述目标图像对应的处理后图像的步骤，包括：对所述目标图像中的反光区域进行图像恢复以消除所述目标图像中的反光区域，得到所述目标图像对应的处理后的图像。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述图像处理模型包括反光消除模型，所述反光消除模型是基于训练样本训练得到的，所述训练样本包括带有反光区域的图像和无反光区域的图像。

进一步，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述方法还包括：将所述处理后图像输入预先训练得到的错误检测模型进行图像处理效果检测；当所述错误检测模型输出所述处理后图像时，确定所述处理后图像的图像处理效果合格。

进一步，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述错误检测模型的训练过程包括：将目标训练样本输入错误检测模型，基于所述目标训练样本对所述错误检测模型进行训练，直至训练结束，得到训练后的错误检测模型；其中，所述目标训练样本包括标注有合格的处理后图像样本和标注有不合格的处理后图像样本。

进一步，本发明实施例提供了第一方面的第九种可能的实施方式，其中，所述目标图像为人脸图像，所述目标区域为反光区域。

第二方面，本发明实施例还提供了一种图像处理装置，包括：区域分割模块，用于对目标图像进行区域分割，得到所述目标图像中的目标区域；图像处理模块，用于将所述目标图像及所述目标图像的目标区域输入图像处理模型，以使所述图像处理模型对所述目标图像的目标区域进行图像处理，得到所述目标图像对应的处理后图像。

第三方面，本发明实施例提供了一种图像处理***，包括：图像采集装置、语义分割模型和图像处理模型；所述图像采集装置用于采集目标图像，并将采集到的目标图像发送至所述语义分割模型；所述语义分割模型用于从所述目标图像中分割出反光区域，并将所述目标图像及所述目标图像中的反光区域发送至图像处理模型；所述图像处理模型用于对所述目标图像中的目标区域进行图像处理，得到处理后图像。

进一步，本发明实施例提供了第三方面的第一种可能的实施方式，其中，所述语义分割模型为多模型级联网络，所述语义分割模型包括关键点检测网络、第一语义分割网络和第二语义分割网络；所述关键点检测网络用于对所述目标图像进行人脸关键点检测，确定人脸区域；所述第一语义分割网络用于从所述人脸区域中分割出镜面区域；所述第二语义分割网络用于从所述镜面区域中分割出反光区域。

第四方面，本发明实施例提供了一种电子设备，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如上述第一方面任一项所述的方法。

第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。

本发明实施例提供了一种图像处理方法、装置及***、电子设备，在该方法中，首先对目标图像进行区域分割，得到目标图像中的目标区域；然后将目标图像及目标图像的目标区域输入图像处理模型，以使图像处理模型对目标图像的目标区域进行图像处理，得到目标图像对应的处理后图像。通过提取待检测的目标图像中的目标区域，并对目标图像中的目标区域进行图像处理，可以实现对目标区域的优化，当上述目标区域是反光区域时，通过对反光区域进行图像处理可以消除目标图像中的反光区域，从而能够有效去除夜景下自拍时发光物体导致的自拍图像中的眼镜镜片反光，提升了夜晚的拍照质量及用户体验。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种图像处理方法流程图；

图3a示出了本发明实施例所提供的一种带反光图像；

图3b示出了本发明实施例所提供的一种无反光图像；

图4示出了本发明实施例所提供的一种语义分割模型的网络结构示意图；

图5示出了本发明实施例所提供的一种眼镜镜片反光消除流程图；

图6示出了本发明实施例所提供的一种图像处理装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

考虑到现有技术中还没有专门来处理眼镜镜片反光的解决办法，为改善此问题，本发明实施例提供的一种图像处理方法、装置及***、电子设备，该技术可应用于去除夜景下自拍时发光物体导致的自拍图像中的眼镜镜片反光。以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的一种图像处理方法、装置及***、电子设备的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法、装置及***、电子设备的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。

实施例二：

本实施例提供了一种图像处理方法，该方法可以由诸如前述电子设备执行，参见图2所示的图像处理方法流程图，该方法主要包括以下步骤S202～步骤S204：

步骤S202，对目标图像进行区域分割，得到目标图像中的目标区域。

上述目标图像可以是带有眼镜反光区域或模糊区域的图像，诸如，该目标图像可以是夜景图像，且该夜景图像中人像的眼镜镜片因手机屏幕、电脑屏幕、路灯或广告牌等发光物体产生了反光区域，或者改目标图片可以是因拍摄过程中的镜头发生位移或抖动而导致的部分区域产生模糊。为了消除该目标图像中的反光区域或模糊区域，可以首先利用预先训练得到的神经网络模型对目标图像进行区域分割，从而将目标图像中的目标区域(反光区域或模糊区域)提取出来，定位到目标区域的位置。

步骤S204，将目标图像及目标图像的目标区域输入图像处理模型，以使图像处理模型对目标图像的目标区域进行图像处理，得到目标图像对应的处理后图像。

上述图像处理模型可以对目标图像中的目标区域进行图像处理，以优化目标区域。诸如，当上述目标区域为反光区域或模糊区域时，可以通过上述图像处理模型消除目标图像中的反光区域或模糊区域，使目标图像恢复为正常的清晰图像。

在实际应用中，上述图像处理模型可以是一个以图出图的卷积神经网络，该卷积神经网络的结构可以是U型网络，将目标图像及目标图像中的目标区域输入预先训练得到的图像处理模型中，图像处理模型可以利用U型网络的各个网络层对目标图像进行处理，对目标区域的背景图像进行恢复，以消除目标区域。诸如将目标图像中的眼镜反光区域(即由反光产生的白色区域)消除，并对该反光区域进行背景图像恢复，得到目标图像消除眼镜反光后的处理后图像。或者，对目标图像中的模糊区域进行背景恢复，以消除目标图像中的模糊区域，得到目标图像消除模糊区域后的处理后图像。

为了提升对目标区域的优化效率，上述输入图像处理模型的目标图像还可以是经过关键点(该关键点可以设置为与目标区域相关的关键点，诸如，当目标区域为反光区域时，由于反光区域一般产生于眼镜上，该关键点可以是人脸关键点)检测后的图像，根据目标图像中检测得到的关键点可以快速准确定位目标区域，进而确定目标区域的位置。

上述反光消除模型是基于预先标注好的训练样本训练得到的，训练样本包括带有反光区域的图像和无反光的图像。在对反光消除模型进行训练时，需要准备带有反光区域的图像和无反光的图像(也可以称为无反光的真值)，可以通过采集员戴眼镜和不戴眼镜两种情况获取了带有反光区域的图像和无反光真值，参见如图3a所示的带反光图像和如图3b所示无反光图像，首先将标注有人脸关键点和反光区域的训练样本输入反光消除模型中进行，在反光消除模型的迭代训练的前向传播过程中可以根据样本图像中的人脸关键点和反光区域对样本图像中的反光区域进行背景图像恢复，得到消除眼镜反光后的样本图像，根据消除眼镜反光后的样本图像及采集得到的上述样本图像对应的无反光真值图像计算样本图像的损失值，根据样本图像的损失值进行反向传播以更新反光消除模型中各个网络层的参数，重复执行上述训练步骤，直至迭代次数达到预设次数，得到训练后的反光消除模型。

本发明实施例提供的图像处理方法，通过提取待检测的目标图像中的目标区域，并对目标图像中的目标区域进行图像处理，可以实现对目标区域的优化。当上述目标区域是反光区域时，通过对反光区域进行图像处理可以消除目标图像中的反光区域，从而能够有效去除夜景下自拍时发光物体导致的自拍图像中的眼镜镜片反光，提升了夜晚的拍照质量及用户体验。

在对目标区域进行区域分割时，为了准确得到目标图像中的反光区域，本实施例提供了两种对目标图像进行区域分割，得到目标图像中的目标区域的实施方式，具体可参照如下实施方式一和实施方式二执行：

实施方式一：在该实施是根据检测到的关键点定位待分割区域的，然后从待分割区域分割到目标区域，具体可参照如下步骤(1)～步骤(2)执行：

步骤(1)：利用关键点检测模型对目标图像进行关键点检测，确定目标图像中的待分割区域。

上述关键点检测模型可以是预先训练得到的，将目标图像输入预先训练得到的关键点检测模型，利用预先训练得到的关键点检测模型对目标图像中的关键点(该关键点可以是待分割区域的关键点)检测，得到目标图像上的与待分割区域相关的各关键点，根据目标图像中的各关键点所在区域可以确定目标图像中的待分割区域。该待分割区域可以根据目标区域确定，诸如，当上述目标区域是反光区域时，由于眼镜的反光区域是位于人脸上，上述待分割区域可以是人脸区域，上述待分割区域的关键点可以是人脸关键点，包括人脸五官上的点，通过人脸关键点检测可以缩小对于目标图像的处理范围，进而加速后续的反光区域消除操作，通过人脸关键点检测还可以减少目标图像的人脸背景对于后续反光区域分割的干扰。

为了提升对目标图像关键点检测的准确性，本实施例提供了预先对上述关键点检测模型进行训练的具体实施方式：将预先标注有待分割区域的关键点的训练样本输入关键点检测模型，基于训练样本对关键点检测模型进行训练，当上述关键点检测模型的迭代训练次数达到预设的迭代次数，或者上述关键点检测模型的参数达到预设数值时，得到训练后的关键点检测模型。上述关键点检测模型可以是卷积神经网络，通过将标注有待分割区域的关键点的大量训练样本输入关键点检测模型，使上述关键点检测模型基于标注有待分割区域的关键点的训练样本进行迭代训练，训练后的关键点检测模型可以从输入的目标图像中快速检测出图像中的待分割区域的关键点，诸如，当上述待分割区域为人脸区域时，上述待分割区域的关键点为人脸关键点。

步骤(2)：利用语义分割模型对目标图像中的待分割区域进行语义分割，得到目标图像中的目标区域。

在一种实施方式中，上述语义分割模型是基于预先标注有目标区域的训练样本图像训练得到的神经网络模型，该神经网络模型可以是卷积神经网络。在对目标图像中的目标区域进行图像处理时，通过关键点检测模型锁定与目标区域相关的待分割区域，从待分割区域中分割出目标区域。诸如，上述目标区域为反光区域，在对图像中的眼镜的反光区域进行消除时，将经过关键点检测的目标图像输入预先训练得到的语义分割模型中，语义分割模型根据目标图像中的人脸关键点锁定人脸区域，进而从人脸区域中分割出眼镜的反光区域。诸如，当上述目标图像的分辨率为512*512时，将目标图像输入语义分割模型，参见如图4所示的语义分割模型的网络结构示意图，该目标图像上的眼镜上有两块反光区域，语义分割模型的各个网络层依次对目标图像进行处理，其中，图4中各个方框为不同的网络层，不同的网络层中记录有目标图像在该网络层的图像大小和该网络层的输出通道数。从图4中可以看出，语义分割模型通过各个网络层对目标图像进行逐步处理，最终得到目标图像上的两块反光区域。

为了进一步锁定目标区域的位置，提升反光区域识别的准确性。本实施例提供了利用语义分割模型对目标图像中的待分割区域进行语义分割，得到目标图像中的目标区域的另一种实施方式，其中，上述语义分割模型包括第一语义分割模型和第二语义分割模型，上述目标区域包括目标图像中的反光区域。具体可参照如下步骤1～步骤2执行：

步骤1：利用第一语义分割模型从目标图像的待分割区域中分割出镜面区域。

其中，上述第一语义分割模型是基于预先标记出镜面区域的样本训练得到的。由于目标图像中眼镜的反光区域主要集中在人脸上的镜面区域，为了进一步缩小识别反光区域的处理范围，首先基于预先标记出镜面区域的样本训练出一个轻量级的深度神经网络，即第一语义分割模型，将经过关键点检测的目标图像输入预先训练得到的第一语义分割模型中，使第一语义分割模型从目标图像的人脸区域中提取出镜面区域。在一种具体的实施方式中，上述镜面区域可以目标图像中可以产生反光的广告牌、路灯或眼镜等易反光物体所在区域。

步骤2：利用第二语义分割模型对目标图像的镜面区域进行语义分割，得到目标图像的反光区域。

其中，上述第二语义分割模型是基于预先标记出反光区域的样本训练得到的。在检测出镜面区域后，将目标图像及检测得到的目标图像的眼镜区域输入预先训练得到的第二语义分割模型，利用预先训练得到的第二语义分割模型从目标图像的眼镜区域中检测出反光区域，得到该目标图像对应的反光区域检测结果图。由于反光区域的检测结果在消除图像中的眼镜反光过程中起着重要的作用，因此，可以通过标注有反光区域的大量训练样本对深度神经网络进行训练，得到训练后的第二语义分割模型。

实施方式二：在该实施是直接从检测到的关键点区域分割出目标区域的，具体可参照如下步骤1)～步骤2)执行；

步骤1)：对目标图像进行关键点检测，得到关键点检测结果。

上述关键点的类型可以根据目标区域的类型进行设定。基于确定好的关键点，可以将目标图像输入预先训练得到的关键点检测模型进行关键点检测，得到关键点检测结果。

步骤2)：对目标图像中关键点检测结果所在区域进行语义分割，得到目标图像中的目标区域。

由于上述关键点是基于目标区域设定的，通过首先检测关键点的位置，可以缩小后续语义分割的范围，相对于对整幅目标图像进行语义分割，减小了除目标区域之外的其他区域对最终结果的干扰。

为了实现对目标图像的目标区域的图像处理，当上述目标区域包括图像中的反光区域时，本实施例提供了对目标图像的目标区域进行图像处理，得到目标图像对应的处理后图像的具体实施方式：基于图像处理模型对目标图像中的反光区域进行图像恢复以消除目标图像中的反光区域，得到目标图像对应的处理后的图像。其中，上述图像处理模型包括反光消除模型，反光消除模型是基于训练样本训练得到的，该训练样本包括带有反光区域的图像和无反光区域的图像。由于上述无反光区域的图像中包括反光区域的图像真值，通过将带有反光区域的图像样本和无反光区域的图像样本输入反光消除模型，使训练后的反光消除模型可以根据目标图像中的反光区域所在位置对反光区域进行图像恢复，以消除反光。

在一种具体的实施方式中，当上述目标区域为模糊区域时，可以将目标图像输入预先训练得到的图像处理模型中，其中，该图像处理模型的训练样本可以包括带有模糊区域的图像样本和无模糊区域的图像样本，训练后的图像处理模型可以根据图像中的模糊区域的位置对模糊区域进行图像恢复，以消除模糊。

由于在实际应用中可能会存在对图像中的处理效果并不理想的情况，为了提升图像处理效果，本实施例提供的方法还包括：将处理后图像输入预先训练得到的错误检测模型进行图像处理效果检测；如果错误检测模型输出处理后图像，确定处理后图像的图像处理效果合格。在实际应用中，可以利用预先训练得到的错误检测模型检测图像中的眼镜反光消除效果，将图像处理效果不合格的图像剔除，输出图像处理效果合格的图像，并将图像处理效果合格的图像展示给用户。诸如，上述错误检测模型可以检测图像中的反光消除效果是否合格。

为了提升上述错误检测模型的检测准确性，本实施例提供了预先训练上述错误检测模型的具体实施方式：将目标训练样本输入错误检测模型，基于目标训练样本对错误检测模型进行训练，直至训练结束，得到训练后的错误检测模型；其中，目标训练样本包括标注有合格的处理后图像样本和标注有不合格的处理后图像样本。上述错误检测模型是一个基于深度神经网络的分类器，通过基于标注有合格的处理后图像样本和标注有不合格的处理后图像样本对错误检测模型进行迭代训练，使得训练得到的错误检测模型可以区分出消除反光消除效果合格的处理后图像和消除反光消除效果不合格的处理后图像。

本实施例提供的上述图像处理方法，通过将上述关键点检测模型、语义分割模型、反光消除模型和错误检测模型多个模型结合使用，将消除夜晚自拍图像中的眼镜镜片反光的问题细分成关键点检测、区域分割、反光消除及效果检测等多个问题，能够基于单幅图像针对性地消除夜景下自拍时发光物体导致的自拍图像中的眼镜镜片反光，提升了夜晚的拍照质量及用户体验。

实施例三：

在前述实施例的基础上，本实施例提供了一种应用前述图像处理方法对移动终端自拍的人像图像中的眼镜镜片反光进行消除的示例，具体可参照如下步骤a～步骤e执行：

步骤a：利用预先训练得到的关键点检测模型对人像图像进行人脸关键点检测。

参见如图5所示的眼镜镜片反光消除流程图，将人像图像输入预先训练得到的关键点检测模型，利用关键点检测模型检测人像图像中的人脸关键点，并输出人脸关键点检测结果图像，该人脸关键点检测结果还可以是各个人脸关键点的像素坐标。如图5所示，上述人像图像中左眼镜框内右上角的白色矩形框和右眼镜框内的中上方的白色矩形框均为反光区域，人脸关键点检测结果图像中的小原点为检测到的人脸关键点。

步骤b：基于检测到的人脸关键点，利用预先训练得到的第一语义分割模型检测人像图像中的眼镜区域。

如图5所示，将上述得到的人脸关键点检测结果图像输入预先训练得到的第一语义分割模型，利用第一语义分割模型根据人脸关键点检测结果锁定人脸区域，进而在人脸区域中检测到眼镜区域，并将眼镜区域的检测结果输出至第二语义分割模型。

步骤c：基于检测到的眼镜区域，利用预先训练得到的第二语义分割模型检测人像图像中的反光区域。

将人像图像和眼镜区域检测结果输入第二语义分割模型，以使第二语义分割模型根据第一语义分割模型的眼镜区域检测结果，从人像图像的眼镜区域中检测到眼镜镜片上的反光区域，如图5所示，第二语义分割模型得到的反光区域检测结果图中的两个白色矩形即为人像图像中的眼镜反光区域检测结果。

步骤d：将人像图像及人像图像中的反光区域输入预先训练得到的反光消除模型，以使反光消除模型对人像图像的反光区域进行图像恢复，得到人像图像对应的优化图像。

将人像图像的人脸关键点检测结果图像和反光区域检测结果输入预先训练得到的反光消除模型中，利用反光消除模型对反光区域进行背景图像恢复，如图5所示，将人像图像中的眼镜镜片反光消除后，得到人像图像对应的优化图像。

步骤e：将人像图像对应的优化图像输入预先训练得到的错误检测模型，以使错误检测模型检测上述优化图像的反光消除效果是否合格，并输出合格的优化图像。

上述关键点检测模型、第一语义分割模型、第二语义分割模型、反光消除模型和错误检测模型可以均设置为卷积神经网络，将上述五个神经网络通信连接后构成的反光消除***设置在终端中，可以实时消除自拍图像中的眼镜镜片反光，从而拍摄得到没有眼镜镜片反光的图像。

本实施例提供的上述图像处理方法，通过多个级联的神经网络模型，可以基于单幅图像对夜景图像中的眼镜镜片反光进行消除，该方法可以应用于手机自拍时对于眼镜反光的消除，提升了用户体验。

实施例四：

对于实施例二中所提供的图像处理方法，本发明实施例提供了一种图像处理装置，参见图6所示的一种图像处理装置结构示意图，该装置包括以下模块：

区域分割模块61，用于对目标图像进行区域分割，得到目标图像中的目标区域。

反光消除模块62，用于将目标图像及目标图像的目标区域输入图像处理模型，以使图像处理模型对目标图像的目标区域进行图像处理，得到目标图像对应的处理后图像。

本发明实施例提供的上述图像处理装置，通过提取待检测的目标图像中的目标区域，并对目标图像中的目标区域进行图像处理，可以实现对目标区域的优化，当上述目标区域是反光区域时，通过对反光区域进行图像处理可以消除目标图像中的反光区域，从而能够有效去除夜景下自拍时发光物体导致的自拍图像中的眼镜镜片反光，提升了夜晚的拍照质量及用户体验。

在一种实施方式中，上述区域分割模块61，进一步用于利用关键点检测模型对目标图像进行关键点检测，确定目标图像中的待分割区域；利用语义分割模型对目标图像中的待分割区域进行语义分割，得到目标图像中的目标区域。

在一种实施方式中，上述区域分割模块61，进一步用于对目标图像进行关键点检测，得到关键点检测结果；对目标图像中关键点检测结果所在区域进行语义分割，得到目标图像中的目标区域。

在一种实施方式中，上述语义分割模型包括第一语义分割模型和第二语义分割模型，目标区域包括目标图像中的反光区域；上述区域分割模块61，进一步用于利用第一语义分割模型从目标图像的待分割区域中分割出镜面区域；其中，第一语义分割模型是基于预先标记出镜面区域的样本训练得到的；利用第二语义分割模型对目标图像的镜面区域进行语义分割，得到目标图像的反光区域；其中，第二语义分割模型是基于预先标记出反光区域的样本训练得到的。

在一种实施方式中，上述装置还包括：

第一训练模块，用于将预先标注有待分割区域的关键点的训练样本输入关键点检测模型，基于训练样本对关键点检测模型进行训练，得到训练后的关键点检测模型。

在一种实施方式中，上述目标区域包括图像中的反光区域；上述反光消除模块62，进一步用于对目标图像中的反光区域进行图像恢复以消除目标图像中的反光区域，得到目标图像对应的处理后的图像。

在一种实施方式中，上述图像处理模型包括反光消除模型，反光消除模型是基于训练样本训练得到的，训练样本包括带有反光区域的图像和无反光区域的图像。

在一种实施方式中，上述装置还包括：

效果检测模块，用于将处理后图像输入预先训练得到的错误检测模型进行图像处理效果检测；当错误检测模型输出处理后图像时，确定处理后图像的图像处理效果合格。

第二训练模块，用于将目标训练样本输入错误检测模型，基于目标训练样本对错误检测模型进行训练，直至训练结束，得到训练后的错误检测模型；其中，目标训练样本包括标注有合格的处理后图像样本和标注有不合格的处理后图像样本。

在一种实施方式中，上述目标图像为人脸图像，目标区域为反光区域。

本实施例提供的上述图像处理装置，通过将上述关键点检测模型、语义分割模型、反光消除模型和错误检测模型多个模型结合使用，将消除夜晚自拍图像中的眼镜镜片反光的问题细分成关键点检测、区域分割、反光消除及效果检测等多个问题，能够针对性地消除夜景下自拍时发光物体导致的自拍图像中的眼镜镜片反光，提升了夜晚的拍照质量及用户体验。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例五：

本发明实施例提供了一种图像处理***，包括：图像采集装置、语义分割模型和图像处理模型。

上述图像采集装置用于采集目标图像，并将采集到的目标图像发送至语义分割模型。该图像采集装置可以是独立的摄像头或移动终端上设置的摄像头。

上述语义分割模型用于从目标图像中分割出反光区域，并将目标图像及目标图像中的反光区域发送至图像处理模型。上述图像处理模型用于对目标图像中的目标区域进行图像处理，得到处理后图像。

在一种实施方式中，上述语义分割模型为多模型级联网络，语义分割模型包括关键点检测网络、第一语义分割网络和第二语义分割网络。

上述关键点检测网络用于对目标图像进行人脸关键点检测，确定人脸区域。对输入的目标图像首先进行人脸关键点检测，通过训练了一个高效的人脸关键点检测网络，可以快速检测目标图像中的人脸关键点。使用人脸关键点检测可以缩小算法处理的范围，从而加速后续算法，减少整个***的计算和存储开销，同时相对于端到端的对整幅图进行处理，可以减少背景对最终结果的干扰，从而可以快速精准的分割出镜面区域。

上述第一语义分割网络用于从人脸区域中分割出镜面区域。在锁定人脸区域后，由于反光区域主要集中在镜面区域，通过训练一个轻量级的深度神经网络，即第一语义分割网络，对人脸区域进行分割，得到镜面区域(也可以称为眼镜区域)。

上述第二语义分割网络用于从镜面区域中分割出反光区域。使用与上述第一语义分割网络相似的深度神经网络对镜面区域中的反光区域进行检测，由于该反光区域直接影响到后续的图像处理效果，可以通过建立大量的反光区域训练样本对第二语义分割网络进行训练，使第二语义分割网络可以精确地检测出镜面区域中的反光区域。

本实施例提供的上述图像处理***，通过将上述图像采集装置、语义分割模型和图像处理模型多个模型结合使用，将消除夜晚自拍图像中的眼镜镜片反光区域或消除图像中模糊区域的问题细分成关键点检测、区域分割、反光消除及效果检测等多个问题，能够基于单幅图像针对性地消除夜景下自拍时发光物体导致的自拍图像中的眼镜镜片反光，提升了夜晚的拍照质量及用户体验。

实施例六：

本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现上述实施例所述的图像处理方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

本发明实施例所提供的图像处理方法、装置及***、电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

对目标图像进行区域分割，得到所述目标图像中的目标区域；

将所述目标图像及所述目标图像的目标区域输入图像处理模型，以使所述图像处理模型对所述目标图像的目标区域进行图像处理，得到所述目标图像对应的处理后图像。

2.根据权利要求1所述的方法，其特征在于，所述对目标图像进行区域分割，得到所述目标图像中的目标区域的步骤，包括：

利用关键点检测模型对目标图像进行关键点检测，确定所述目标图像中的待分割区域；

利用语义分割模型对所述目标图像中的所述待分割区域进行语义分割，得到所述目标图像中的目标区域。

3.根据权利要求1所述的方法，其特征在于，所述对目标图像进行区域分割，得到所述目标图像中的目标区域的步骤，包括：

对所述目标图像进行关键点检测，得到关键点检测结果；

对所述目标图像中所述关键点检测结果所在区域进行语义分割，得到所述目标图像中的目标区域。

4.根据权利要求2所述的方法，其特征在于，所述语义分割模型包括第一语义分割模型和第二语义分割模型，所述目标区域包括所述目标图像中的反光区域；

所述利用语义分割模型对所述目标图像中的待分割区域进行语义分割，得到所述目标图像中的目标区域的步骤，包括：

利用所述第一语义分割模型从所述目标图像的待分割区域中分割出镜面区域；其中，所述第一语义分割模型是基于预先标记出镜面区域的样本训练得到的；

利用所述第二语义分割模型对所述目标图像的镜面区域进行语义分割，得到所述目标图像的反光区域；其中，所述第二语义分割模型是基于预先标记出反光区域的样本训练得到的。

5.根据权利要求2所述的方法，其特征在于，所述关键点检测模型的训练过程包括：

将预先标注有所述待分割区域的关键点的训练样本输入关键点检测模型，基于所述训练样本对所述关键点检测模型进行训练，得到训练后的关键点检测模型。

6.根据权利要求1所述的方法，其特征在于，所述目标区域包括图像中的反光区域；

所述对所述目标图像的目标区域进行图像处理，得到所述目标图像对应的处理后图像的步骤，包括：

对所述目标图像中的反光区域进行图像恢复以消除所述目标图像中的反光区域，得到所述目标图像对应的处理后的图像。

7.根据权利要求1所述的方法，其特征在于，所述图像处理模型包括反光消除模型，所述反光消除模型是基于训练样本训练得到的，所述训练样本包括带有反光区域的图像和无反光区域的图像。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

将所述处理后图像输入预先训练得到的错误检测模型进行图像处理效果检测；

当所述错误检测模型输出所述处理后图像时，确定所述处理后图像的图像处理效果合格。

9.根据权利要求8所述的方法，其特征在于，所述错误检测模型的训练过程包括：

将目标训练样本输入错误检测模型，基于所述目标训练样本对所述错误检测模型进行训练，直至训练结束，得到训练后的错误检测模型；其中，所述目标训练样本包括标注有合格的处理后图像样本和标注有不合格的处理后图像样本。

10.根据权利要求9所述的方法，其特征在于，所述目标图像为人脸图像，所述目标区域为反光区域。

11.一种图像处理装置，其特征在于，包括：

区域分割模块，用于对目标图像进行区域分割，得到所述目标图像中的目标区域；

图像处理模块，用于将所述目标图像及所述目标图像的目标区域输入图像处理模型，以使所述图像处理模型对所述目标图像的目标区域进行图像处理，得到所述目标图像对应的处理后图像。

12.一种图像处理***，其特征在于，包括：图像采集装置、语义分割模型和图像处理模型；

所述图像采集装置用于采集目标图像，并将采集到的目标图像发送至所述语义分割模型；

所述语义分割模型用于从所述目标图像中分割出反光区域，并将所述目标图像及所述目标图像中的反光区域发送至图像处理模型；

所述图像处理模型用于对所述目标图像中的目标区域进行图像处理，得到处理后图像。

13.根据权利要求12所述的***，其特征在于，所述语义分割模型为多模型级联网络，所述语义分割模型包括关键点检测网络、第一语义分割网络和第二语义分割网络；

所述关键点检测网络用于对所述目标图像进行人脸关键点检测，确定人脸区域；

所述第一语义分割网络用于从所述人脸区域中分割出镜面区域；

所述第二语义分割网络用于从所述镜面区域中分割出反光区域。

14.一种电子设备，其特征在于，包括：处理器和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至10任一项所述的方法。

15.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至10任一项所述的方法的步骤。

Images