CN116263946A - 图像处理方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开涉及图像处理技术领域，具体提供了一种图像处理方法、装置、电子设备以及存储介质。一种图像处理方法，应用于电子设备，所述方法包括：对获取的至少两帧待处理图像进行融合处理，得到第一图像；其中，所述待处理图像包括人像；对所述第一图像进行图像分割处理，得到人像掩膜图像；基于所述待处理图像中的人像亮度，从所述至少两帧待处理图像中确定第二图像；基于所述人像掩膜图像，对所述第一图像和所述第二图像进行融合处理，得到目标图像。本公开实施方式中，提高人像场景的成像效果。

Description

图像处理方法、装置、电子设备以及存储介质

技术领域

本公开涉及图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备以及存储介质。

背景技术

HDR(High-Dynamic Range，高动态范围)图像相较于普通成像方式，可以提供更高的动态范围和图像细节，因此越来越多的电子设备支持HDR成像。相关技术中，电子设备的影像***在HDR成像时，针对人像场景的成像效果不佳，容易造成人像过暗或者图像整体过曝的问题，影响成像质量。

发明内容

为提高人像场景的成像效果，本公开实施方式提供了一种图像处理方法、装置、电子设备以及存储介质。

第一方面，本公开实施方式提供了一种图像处理方法，应用于电子设备，所述方法包括：

对获取的至少两帧待处理图像进行融合处理，得到第一图像；其中，所述待处理图像包括人像；

对所述第一图像进行图像分割处理，得到人像掩膜图像；

基于所述待处理图像中的人像亮度，从所述至少两帧待处理图像中确定第二图像；

基于所述人像掩膜图像，对所述第一图像和所述第二图像进行融合处理，得到目标图像。

在一些实施方式中，所述对获取的至少两帧待处理图像进行融合处理，得到第一图像，包括：

采集所述人像在同一位置的至少两帧待处理图像，所述至少两帧待处理图像的曝光值不同；

根据所述至少两帧待处理图像进行HDR融合处理，得到所述第一图像。

在一些实施方式中，所述对所述第一图像进行图像分割处理，得到人像掩膜图像，包括：

将所述第一图像输入预先训练得到的图像分割模型，得到所述图像分割模型输出的所述人像掩膜图像。

在一些实施方式中，所述基于所述待处理图像中的人像亮度，从所述至少两帧待处理图像中确定第二图像，包括：

获取所述至少两帧待处理图像中人像区域的亮度值；

将所述亮度值最高且不过曝的人像区域对应的待处理图像确定为所述第二图像。

在一些实施方式中，所述基于所述人像掩膜图像，对所述第一图像和所述第二图像进行融合处理，得到目标图像，包括：

对所述第一图像进行金字塔分解，得到多尺度的第一图像序列；对所述人像掩膜图像进行金字塔分解，得到与所述第一图像序列相同尺度的人像掩膜图像序列；对所述第二图像进行金字塔分解，得到与所述第一图像序列相同尺度的第二图像序列；

基于所述人像掩膜图像序列，对所述第一图像序列和所述第二图像序列逐层进行融合处理，得到所述目标图像。

在一些实施方式中，所述基于所述人像掩膜图像序列，对所述第一图像序列和所述第二图像序列逐层进行融合处理，得到所述目标图像，包括：

根据第一尺度的人像掩膜图像，对所述第一尺度的第一图像和所述第一尺度的第二图像融合处理，得到第一尺度的处理图像，所述第一尺度为图像序列中最小尺度；

根据图像尺度从小到大的顺序，依次基于当前尺度的人像掩膜图像，对前一尺度得到的所述处理图像、当前尺度的第一图像以及当前尺度的第二图像进行融合处理，直至得到所述目标图像。

在一些实施方式中，对于任意图像尺度中，基于当前尺度的人像掩膜图像，对前一尺度得到的所述处理图像、当前尺度的第一图像以及当前尺度的第二图像进行融合处理的过程，包括：

对前一尺度得到的所述处理图像进行上采样处理，得到当前尺度的输入图像；

将所述当前尺度的输入图像与所述当前尺度的第一图像融合，得到第一融合图像；

基于所述当前尺度的人像掩膜图像，对所述第一融合图像和所述当前尺度的第二图像融合处理，得到当前尺度的处理图像。

第二方面，本公开实施方式提供了一种图像处理装置，应用于电子设备，所述装置包括：

第一融合模块，被配置为对获取的至少两帧待处理图像进行融合处理，得到第一图像；其中，所述待处理图像包括人像；

图像分割模块，被配置为对所述第一图像进行图像分割处理，得到人像掩膜图像；

确定模块，被配置为基于所述待处理图像中的人像亮度，从所述至少两帧待处理图像中确定第二图像；

第二融合模块，被配置为基于所述人像掩膜图像，对所述第一图像和所述第二图像进行融合处理，得到目标图像。

在一些实施方式中，所述第一融合模块被配置为：

采集所述人像在同一位置的至少两帧待处理图像，所述至少两帧待处理图像的曝光值不同；

根据所述至少两帧待处理图像进行HDR融合处理，得到所述第一图像。

在一些实施方式中，所述图像分割模块被配置为：

将所述第一图像输入预先训练得到的图像分割模型，得到所述图像分割模型输出的所述人像掩膜图像。

在一些实施方式中，所述确定模块被配置为：

获取所述至少两帧待处理图像中人像区域的亮度值；

将所述亮度值最高且不过曝的人像区域对应的待处理图像确定为所述第二图像。

在一些实施方式中，所述第二融合模块被配置为：

对所述第一图像进行金字塔分解，得到多尺度的第一图像序列；对所述人像掩膜图像进行金字塔分解，得到与所述第一图像序列相同尺度的人像掩膜图像序列；对所述第二图像进行金字塔分解，得到与所述第一图像序列相同尺度的第二图像序列；

基于所述人像掩膜图像序列，对所述第一图像序列和所述第二图像序列逐层进行融合处理，得到所述目标图像。

在一些实施方式中，所述第二融合模块被配置为：

根据第一尺度的人像掩膜图像，对所述第一尺度的第一图像和所述第一尺度的第二图像融合处理，得到第一尺度的处理图像，所述第一尺度为图像序列中最小尺度；

根据图像尺度从小到大的顺序，依次基于当前尺度的人像掩膜图像，对前一尺度得到的所述处理图像、当前尺度的第一图像以及当前尺度的第二图像进行融合处理，直至得到所述目标图像。

在一些实施方式中，所述第二融合模块被配置为：

对前一尺度得到的所述处理图像进行上采样处理，得到当前尺度的输入图像；

将所述当前尺度的输入图像与所述当前尺度的第一图像融合，得到第一融合图像；

基于所述当前尺度的人像掩膜图像，对所述第一融合图像和所述当前尺度的第二图像融合处理，得到当前尺度的处理图像。

第三方面，本公开实施方式提供了一种电子设备，包括：

处理器；以及

存储器，存储有能够被所述处理器读取的计算机指令，当所述计算机指令被读取时，所述处理器执行根据第一方面任一实施方式所述的方法。

第四方面，本公开实施方式提供了一种存储介质，用于存储计算机可读指令，所述计算机可读指令用于使计算机执行根据第一方面任一实施方式所述的方法。

本公开实施方式的图像处理方法，包括对获取的至少两帧待处理图像进行融合处理得到第一图像，对第一图像进行图像分割处理得到人像掩膜图像，基于待处理图像中的人像亮度从至少两帧待处理图像中确定第二图像，基于人像掩膜图像对第一图像和第二图像进行融合处理得到目标图像。本公开实施方式中，基于人像掩膜图像，对第一图像和第二图像进行融合处理，使得图像中的人像区域可以进一步被提亮，突出人像效果，同时，使得人像区域与背景区域具有更好的光线过渡效果，消除或降低对人像区域提亮时带来的人像与背景过渡不自然的断层感，提高人像场景的成像效果。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本公开一些实施方式中的图像处理方法的流程图。

图2是根据本公开一些实施方式中的图像处理方法的流程图。

图3是根据本公开一些实施方式中的图像处理方法的流程图。

图4是根据本公开一些实施方式中的图像处理方法的流程图。

图5是根据本公开一些实施方式中的图像处理方法的流程图。

图6是根据本公开一些实施方式中的图像处理方法的流程图。

图7是根据本公开一些实施方式中的图像处理方法的原理图。

图8是根据本公开一些实施方式中的图像处理装置的结构框图。

图9是根据本公开一些实施方式中的电子设备的结构框图。

具体实施方式

下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

在大光比环境中，相机受到动态范围的限制，往往不能记录极端亮或暗的细节，导致成像细节较差。而通过HDR(High-Dynamic Range，高动态范围)算法处理的图像，即使在大光比场景中，无论高光还是暗部都能得到比普通图像更佳的图像细节。

HDR的基本原理是，通过包围曝光的方式采集多帧不同曝光值的图像，例如可在同一位置连续采集3～5帧图像，并且多帧图像中包括欠曝光、正常曝光以及过曝光等不同曝光值的图像，通过多帧图像提高相机的动态范围。然后利用HDR算法，将多帧图像融合为一张图像输出，从而输出图像中可以融合每帧图像的丰富细节，无论高光还是暗部都可以显示更多细节。

但是对于人像场景，由于传统的融合算法是对图像整体进行提亮，因此对于期望于突出人物的人像场景，往往导致人像部分过暗或者照片整体过曝光，影响成像效果。相关技术中，部分算法针对人像场景分割出人像部分，对人像部分进行单独提亮，但是容易造成图像中人像部分与背景的光线效果过渡不自然，出现断层感，成像效果不佳。

基于上述缺陷，本公开实施方式提供了一种图像处理方法、装置、电子设备以及存储介质，旨在提高人像场景的成像效果，降低人像部分过暗和人像与背景过渡不自然的缺陷。

第一方面，本公开实施方式提供了一种图像处理方法，该方法可以应用于电子设备。本公开实施方式的电子设备可以是任何适于实施的电子设备类型，例如智能手机、平板电脑、可穿戴设备、PC(Personal Computer，个人计算机)设备以及服务器等，本公开对此不作限制。

如图1所示，在一些实施方式中，本公开示例的图像处理方法包括：

S110、对获取的至少两帧待处理图像进行融合处理，得到第一图像。

可以理解，对于例如HDR或者夜景等场景，往往采用将多帧图像融合为一张输出图像的方式，来获取更高的动态范围和图像细节。本公开实施方式的待处理图像指图像采集设备采集的用于进行融合处理的图像，同时，本公开实施方式的待处理图像包括人像，也即待处理图像为人像图像。

在一个示例中，待处理图像可以是电子设备的相机在同一位置连续采集的多帧人像图像。例如，用户通过电子设备拍摄人物照片时，用户在按下快门时，电子设备连续采集3～5帧人物图像。

在一些实施方式中，为了提高融合处理后的输出照片的视觉效果，往往采用不同的曝光值来采集多帧待处理图像。例如，多帧待处理图像中可以包括至少一帧正常曝光值的图像、至少一帧欠曝光的图像以及至少一帧过曝光的图像。不同的曝光值可以使图像亮暗不同的区域呈现出的内容细节不同，从而通过多帧待处理图像使得相机捕捉更高的动态范围。

在得到多帧待处理图像之后，可以对多帧待处理图像进行融合处理，从而将每一帧图像的优点区域进行融合得到一帧输出图像，也即第一图像。

在一些实施方式中，可以采用HDR算法对多帧待处理图像的融合处理，得到第一图像。在其他实施方式中，也可以采用其他图像融合算法对多帧待处理图像进行融合处理得到第一图像。具体的图像融合算法，本领域技术人员参照相关技术可以理解并充分实现，本公开对此不再赘述。

值得说明的是，在相关技术中，将多帧待处理图像融合后的第一图像直接作为输出图像呈现给用户，其对于人像场景表现效果不佳。因此本公开实施方式中，对第一图像进行下文S120～S140的处理，使得最终得到的目标图像中人像区域更亮，并且避免人像部分与背景部分出现光线过渡不自然的断层感。

S120、对第一图像进行图像分割处理，得到人像掩膜图像。

图像分割是指将图像分成若干个特定的区域，从而由图像中提取出感兴趣区域(ROI，region of interest)的过程。例如，常见的人像分割即指，对于人像图像将人像区域与背景区域进行分割，得到人像mask(掩膜)的过程。

在本公开实施方式中，通过图像分割算法对第一图像进行图像分割，从而将第一图像中的人像区域和背景区域进行分割，得到对应的人像掩膜图像(人像mask)。

在一些实施方式中，可以通过图像分割模型对第一图像进行图像分割处理。具体来说，图像分割模型可以是基于深度神经网络的语义分割模型，例如基于Icnet、Bisenet、Shelfnet网络架构的分割模型等，通过预先对图像分割模型进行网络训练，从而得到训练完成的图像分割模型用于预测输出图像。

在图像分割模型训练时，可以获取一定数量的样本数据，样本数据可包括样本图像以及样本图像对应的分割图像。分割图像作为样本图像的标签(Lable)，其表示的样本图像的真实分割图像，其可通过人工标注得到。在对图像分割模型训练时，将样本图像输入待训练的图像分割网络，从而得到预测输出的输出结果，然后计算输出结果与分割图像之间的差异(也即损失)，基于该差异反向传播对图像分割模型的网络参数进行调整，直至模型收敛，得到训练完成的图像分割模型。

在图像分割模型的预测阶段，可以将第一图像输入预先训练得到的图像分割模型中，从而得到图像分割模型预测输出的人像掩膜图像。

可以理解，对于图像分割模型的建立和训练过程中未尽详述之处，本领域技术人员参照相关技术可以理解并充分实施，本公开对此不再赘述。

S130、基于待处理图像中的人像亮度，从至少两帧待处理图像中确定第二图像。

基于前述可知，多帧待处理图像的曝光值可以不同，从而不同待处理图像中人像区域的亮度也各不相同。可以理解，本公开实施方式的目的在于，针对人像场景对人像进行突出提亮，从而提高人像区域的显示效果。因此，可首先基于人像区域的亮度，从多帧待处理图像中确定出人像区域显示效果最好的图像，也即第二图像。

在一些实施方式中，可以基于S120中的人像掩膜图像确定每帧待处理图像中的人像区域，然后根据人像区域中每个像素的亮度值确定人像区域的亮度值，之后通过对多帧待处理图像的人像区域亮度值的比较，确定亮度值最高且不过曝的一帧待处理图像作为第二图像。本公开下文实施方式中进行具体说明，在此暂不详述。

S140、基于人像掩膜图像，对第一图像和第二图像进行融合处理，得到目标图像。

可以理解，人像掩膜图像表示人像区域与背景区域的分割图像，其用于表征人像和背景在图像中的位置。第一图像表示对多帧待处理图像融合处理得到的图像，其表征对图像整体进行细节丰富和提亮的图像。第二图像表示从多帧待处理图像中选取的图像，其表征多帧待处理图像中人像区域效果最好的图像。

从而本公开实施方式中，既非直接将第一图像作为最终的目标图像，也非直接基于人像掩膜图像对第一图像中的人像区域进行单独提亮，而是基于人像掩膜图像，对第一图像和第二图像进行融合处理，使得第一图像进一步融合第二图像中人像区域的优点，使得目标图像中人像区域可以被进一步提亮，突出人像效果。同时利用人像掩膜图像参与融合过程，使得人像区域与背景区域具有更好的光线过渡效果，消除或降低对人像区域提亮时带来的人像与背景过渡不自然的断层感。

在一些实施方式中，采用金字塔级联的融合方式，对人像掩膜图像、第一图像和第二图像进行融合处理，得到目标图像。本公开下文实施方式中进行具体说明，在此暂不详述。

通过上述可知，本公开实施方式中，基于人像掩膜图像，对第一图像和第二图像进行融合处理，使得图像中的人像区域可以进一步被提亮，突出人像效果，同时，使得人像区域与背景区域具有更好的光线过渡效果，消除或降低对人像区域提亮时带来的人像与背景过渡不自然的断层感，提高人像场景的成像效果。

如图2所示，在一些实施方式中，本公开示例的图像处理方法，多帧待处理图像(即至少两帧待处理图像)融合得到第一图像的过程，包括：

S210、采集人像在同一位置的至少两帧待处理图像，至少两帧待处理图像的曝光值不同。

S220、根据至少两帧待处理图像进行HDR融合处理，得到第一图像。

具体而言，以人像场景拍照为例，电子设备在一次拍照过程中，获取连续的多帧图像，也即多帧待处理图像。以用户使用手机拍摄人像照片为例，在用户一次按下快门时，电子设备同时采集连续的多帧图像作为待处理图像。

本公开实施方式中，多帧待处理图像的曝光值不同，也即对于一次拍摄获取的多帧待处理图像而言，其图像内容完全相同，而每帧待处理图像的曝光值不同。

在一个示例中，用户使用手机拍摄人像照片时，用户一次按下快门时，设备可以获取人像同一位置的连续多帧不同曝光值的图像作为待处理图像，例如可以通过相机采集至少一帧正常曝光值的图像、至少一帧欠曝光的图像以及至少一帧过曝光的图像，共同作为待处理图像。

可以理解，对于光比较大的拍摄场景，采用不同的曝光度拍摄的图像，不同明暗位置所呈现的细节不同。例如，当采用正常曝光值拍摄人像场景时，高光区域的曝光度可能适合，但是暗部区域可能存在过暗的问题而丢失细节。又例如，当采用过曝的曝光值拍摄人像场景时，暗部区域的曝光度可能适合，但是高光区域可能存在过曝光的问题而模糊细节。因此，对于每帧待处理图像，其同时存在亮度细节好的部分和亮度细节较差的部分。

在得到多帧待处理图像之后，即可利用图像融合算法，将多帧待处理图像进行融合处理，使得每帧待处理图像细节较好的部分融合在一张图像上，也即得到第一图像。

在一个示例中，对多帧图像采用HDR融合算法进行融合处理，得到第一图像，对于HDR融合算法的具体过程，本领域技术人员参照相关技术即可理解并充分实施，本公开对此不再赘述。

当然可以理解，对多帧待处理图像融合处理时，并不局限于利用HDR融合算法，也可以采用其他任何适于实施的图像融合算法，本领域技术人员参照相关技术即可理解并充分实施，本公开对此不作限制。

通过上述可知，本公开实施方式中，通过对多帧待处理图像进行融合处理得到第一图像，使得第一图像具有更好的动态范围和成像效果。

如图3所示，在一些实施方式中，本公开示例的图像处理方法，从多帧待处理图像中确定第二图像的过程，包括：

S310、获取至少两帧待处理图像中人像区域的亮度值。

S320、将亮度值最高且不过曝的人像区域对应的待处理图像确定为第二图像。

具体而言，结合前述可知，由于每帧待处理图像的曝光值不同，因此呈现在人像区域的亮度值也可能不同。对于人像场景而言，成像的目标更加倾向于突出人物，因此在本实施方式中，可以从多帧待处理图像中选取人像区域显示效果最好的图像，作为后续融合处理的第二图像。

值得说明的是，对于不同曝光值的多帧待处理图像，可以仅考虑人像区域的效果，而不考虑背景区域的成像效果。从而对于人像区域而言，人像区域亮度值越高，人像区域的效果越好，人像区域的过曝程度越低，人像区域的成像效果越好。基于此原理，即可从多帧待处理图像中，选择人像区域亮度值最高且不过曝的图像作为第二图像。

在一些实施方式中，可以基于前述的人像掩膜图像(人像mask)确定人像区域的位置。在一个示例中，对于每一帧待处理图像，可获取人像区域中每个像素的亮度值，将人像区域中所有像素的平均亮度值作为该人像区域的亮度值。当然可以理解，也可以通过其他方式确定人像区域的亮度值，并不局限于所有像素的平均亮度值，本公开对此不作限制。

依次对每帧待处理图像的人像区域的亮度值进行计算，然后从中选择亮度值最高且不过曝的人像区域对应的待处理图像确定为第二图像。例如，可以根据先验知识预先设置人像区域的过曝亮度值，当人像区域的亮度值大于过曝亮度值，则表示该帧待处理图像中人像区域出现过曝，不能作为第二图像；当人像区域的亮度值小于过曝亮度值，则表示人像区域没有出现过曝，从而可以由没有出现过曝的至少一帧待处理图像中，选择亮度值最高的人像区域对应的待处理图像作为第二图像。

在通过上述实施方式得到人像掩膜图像(人像mask)、第一图像以及第二图像之后，即可基于人像掩膜图像对第一图像和第二图像进行融合处理。在一些实施方式中，对第一图像和第二图像融合处理的过程采用金字塔级联融合，从而逐层将第二图像的人像细节融合进第一图像中，使得人像区域与背景区域具有很好的过渡效果，避免断层感，成像更加自然，下面结合图4和图5实施方式进行具体说明。

如图4所示，在一些实施方式中，本公开示例的图像处理方法，基于人像掩膜图像对第一图像和第二图像进行融合处理的过程，包括：

S410、对第一图像进行金字塔分解，得到多尺度的第一图像序列；对人像掩膜图像进行金字塔分解，得到与第一图像序列相同尺度的人像掩膜图像序列；对第二图像进行金字塔分解，得到与第一图像序列相同尺度的第二图像序列。

S420、基于人像掩膜图像序列，对第一图像序列和第二图像序列逐层进行融合处理，得到目标图像。

图像金字塔是图像多尺度的形象表达，是一种以多尺度来解释图像的有效且简单的结构。简单来说，从图像金字塔的底层到顶层，可以通过对图像不断向下采样进行缩放直至顶层实现。举例来说，原始图像为1920像素*1080像素，其可作为金字塔的底层。对原始图像进行下采样后，分辨率降低为1280像素*720像素，其作为金字塔的倒数第二层。再次对倒数第二层图像进行下采样后，分辨率降低为960像素*540像素，其作为金字塔的倒数第三层……以此类推，直至得到金字塔顶层图像。该图像金字塔包含的图像信息等效于原始图像的图像信息。

上述对图像金字塔的概念进行了解释说明，本公开实施方式中，基于得到的人像掩膜图像、第一图像和第二图像分别进行金字塔分解，得到各自对应的图像金字塔。

在一些实施方式中，可对第一图像进行金字塔分解，得到多尺度的第一图像序列。可以理解，第一图像序列的数量即为图像金字塔的层数，其中每一层图像具有不同的尺度，并且从图像金字塔的底层至顶层，图像尺度不断缩小。

本领域技术人员可以理解，对于第一图像的图像金字塔的层数和尺度数值，可以根据具体应用场景进行选取设置，本公开对此不作限制。例如一个示例中，对第一图像进行金字塔分解后得到的图像金字塔包括5层，也即第一图像序列共包括5张不同尺度的第一图像。

本公开实施方式中，同样对人像掩膜图(人像mask)和第二图像分别进行金字塔分解，得到对应的图像金字塔。可以理解，在对人像掩膜图和第二图像金字塔分解后得到的图像金字塔中，金字塔层数和每一层图像的尺度可以均与第一图像相同，也即人像掩膜图像序列、第二图像序列与第一图像序列相对应。

在一个示例中，第一图像序列表示为I_pyr＝{I_pyr01，I_pyr02，I_pyr03，I_pyr04，I_pyr05}，第二图像序列表示为S_pyr＝{S_pyr01，S_pyr02，S_pyr03，S_pyr04，S_pyr05}，人像掩膜图像序列表示为M_pyr＝{M_pyr01，M_pyr02，M_pyr03，M_pyr04，M_pyr05}

在本示例中，第一图像序列、第二图像序列以及人像掩膜图像序列所包括的图像数量相同，均为5张，也即对应的图像金字塔均为5层。其中，图像金字塔每一层对应的图像尺度相同，也即，第一图像I_pyr01、第二图像S_pyr01以及人像掩膜图像M_pyr01图像尺度相同，第一图像I_pyr02、第二图像S_pyr02以及人像掩膜图像M_pyr02图像尺度相同，……，第一图像I_pyr05、第二图像S_pyr05以及人像掩膜图像M_pyr05图像尺度相同。

值得说明的是，图像金字塔主要包括高斯金字塔和拉普拉斯金字塔，高斯金字塔主要用于图像的下采样，而拉普拉斯金字塔主要用于图像的重建。因此，本公开一些实施方式中，可对人像掩膜图像和第二图像采用高斯金字塔分解，而对第一图像采用拉普拉斯金字塔分解。

在得到第一图像序列、人像掩膜图像序列以及第二图像序列之后，即可逐层进行融合处理，下面结合图5进行说明。

如图5所示，在一些实施方式中，基于图像金字塔进行融合处理得到目标图像的过程包括：

S510、根据第一尺度的人像掩膜图像，对第一尺度的第一图像和第一尺度的第二图像融合处理，得到第一尺度的处理图像。

S520、根据图像尺度从小到大的顺序，依次基于当前尺度的人像掩膜图像，对前一尺度得到的处理图像、当前尺度的第一图像以及当前尺度的第二图像进行融合处理，直到得到目标图像。

本公开实施方式中，可基于图像金字塔由顶层至底层依次逐层进行融合处理，为便于理解，定义图像金字塔顶层的图像尺度为第一尺度，由顶层至底层图像尺度依次为第一尺度、第二尺度、第三尺度……也即，第一尺度为图像金字塔顶层的最小图像尺度。

首先，对于第一层融合处理，可以根据第一尺度的人像掩膜图像M_pyr01，对第一尺度的第一图像I_pyr01和第一尺度的第二图像S_pyr01进行融合处理，得到第一尺度的处理图像D_pyr01，表示为：

D_pyr01＝I_pyr01*M_pyr01+S_pyr01*(1-M_pyr01)………公式(1)

在得到第一尺度的处理图像D_pyr01之后，即可将第一尺度的处理图像D_pyr01作为下一层融合处理的初始图像，通过下一层融合处理之后得到第二尺度的处理图像D_pyr02，如此循环迭代，直至得到最底层的目标图像。图6示出了循环迭代的融合处理过程，下面结合图6进行说明。

如图6所示，在一些实施方式中，对于任意图像尺度中，融合处理得到当前尺度的处理图像的过程包括：

S521、对前一尺度得到的处理图像进行上采样处理，得到当前尺度的输入图像。

S522、将当前尺度的输入图像与当前尺度的第一图像融合，得到第一融合图像。

S523、基于当前尺度的人像掩膜图像，对第一融合图像和当前尺度的第二图像融合处理，得到当前尺度的处理图像。

具体而言，以第二尺度的融合处理过程为例，在通过前述图5得到第一尺度的处理图像D_pyr01之后，即可将第一尺度的处理图像D_pyr01作为下一层融合处理的初始图像。

首先，可对第一尺度的处理图像D_pyr01进行上采样处理，使其图像尺度放大至第二尺度，得到第二尺度的输入图像D’_pyr01。然后将第二尺度的输入图像D’_pyr01与第二尺度的第一图像I_pyr02融合处理，例如，可将输入图像D’_pyr01与第一图像I_pyr02相加，得到第一融合图像I’_pyr02。

之后，可基于第二尺度的人像掩膜图像M_pyr02，对第一融合图像I’_pyr02和第二尺度的第二图像S_pyr02融合处理，得到第二尺度的处理图像D_pyr02。可表示为：

D_pyr02＝I′_pyr02*M_pyr02+S_pyr02*(1-M_pyr02)………公式(2)

在得到第二尺度的处理图像D_pyr02之后，即可重复执行S521～S523，也即，将第二尺度的处理图像D_pyr02上采样至第三尺度，与第三尺度的第一图像I_pyr03相加得到第一融合图像I’_pyr03，然后基于第三尺度的人像掩膜图像M_pyr03，对第一融合图像I’_pyr03和第三尺度的第二图像S_pyr03融合处理，得到第三尺度的处理图像D_pyr03。

如此循环迭代，直至运算至最底层，得到最终的融合图像即为目标图像。例如在上述示例中，图像金字塔共包括5层，从而对于第五尺度融合处理时，可以将上一融合过程中得到的第四尺度的处理图像D_pyr04上采样至第五尺度，与第五尺度的第一图像I_pyr05相加得到第一融合图像I’_pyr05，然后基于第五尺度的人像掩膜图像M_pyr05，对第一融合图像I’_pyr05和第五尺度的第二图像S_pyr05融合处理，得到第五尺度的处理图像D_pyr05。从而，即可将第五尺度的处理图像D_pyr05作为最终的目标图像。

通过上述可知，本公开实施方式中，基于人像掩膜图像序列，逐层对第一图像和第二图像进行融合处理，使得图像中的人像区域可以进一步被提亮，在图像中突出人物，提高人像场景的成像效果。同时，通过金字塔级联融合处理，可以逐层对第二图像与第一图像进行融合，使得人像区域与背景区域的融合过渡更加自然，避免突出人像区域时带来的断层感，大大提高人像场景的成像质量。

图7示出了本公开一些实施方式中图像处理方法的原理图，下面结合图7进行说明。

如图7所示，在一些实施方式中，首先可获取至少两帧待处理图像。然后对至少两帧待处理图像进行HDR融合处理，得到第一图像I，同时可从至少两帧待处理图像中确定人像区域亮度最优的第二图像S。之后可对第一图像I进行图像分割，得到人像掩膜图像M。

在分别得到第一图像I、第二图像S以及人像掩膜图像M之后，即可分别对其进行金字塔分解。也即，对第一图像I进行拉普拉斯金字塔分解得到第一图像序列I_pyr，对第二图像S进行高斯金字塔分解得到第二图像序列S_pyr，对人像掩膜图像M进行高斯金字塔分解得到人像掩膜图像序列M_pyr。

在得到第一图像序列I_pyr、第二图像序列S_pyr以及人像掩膜图像序列M_pyr之后，即可根据前文实施方式的过程，逐层进行融合处理，得到目标图像D。

对于本实施方式中未尽详述之处，本领域技术人员结合前文实施方式即可理解并充分实施，在此不再赘述。

通过上述可知，本公开实施方式中，基于人像掩膜图像序列，逐层对第一图像和第二图像进行融合处理，使得图像中的人像区域可以进一步被提亮，在图像中突出人物，提高人像场景的成像效果。同时，通过金字塔级联融合处理，可以逐层对第二图像与第一图像进行融合，使得人像区域与背景区域的融合过渡更加自然，避免突出人像区域时带来的断层感，大大提高人像场景的成像质量。

第二方面，本公开实施方式提供了一种图像处理装置，该装置可以应用于电子设备。本公开实施方式的电子设备可以是任何适于实施的电子设备类型，例如智能手机、平板电脑、可穿戴设备、PC(Personal Computer，个人计算机)设备以及服务器等，本公开对此不作限制。

如图8所示，在一些实施方式中，本公开示例的图像处理装置包括：

第一融合模块10，被配置为对获取的至少两帧待处理图像进行融合处理，得到第一图像；其中，待处理图像包括人像；

图像分割模块20，被配置为对第一图像进行图像分割处理，得到人像掩膜图像；

确定模块30，被配置为基于待处理图像中的人像亮度，从至少两帧待处理图像中确定第二图像；

第二融合模块40，被配置为基于人像掩膜图像，对第一图像和第二图像进行融合处理，得到目标图像。

通过上述可知，本公开实施方式中，基于人像掩膜图像，对第一图像和第二图像进行融合处理，使得图像中的人像区域可以进一步被提亮，突出人像效果，同时，使得人像区域与背景区域具有更好的光线过渡效果，消除或降低对人像区域提亮时带来的人像与背景过渡不自然的断层感，提高人像场景的成像效果。

在一些实施方式中，第一融合模块10被配置为：

采集人像在同一位置的至少两帧待处理图像，至少两帧待处理图像的曝光值不同；

根据至少两帧待处理图像进行HDR融合处理，得到第一图像。

通过上述可知，本公开实施方式中，通过对多帧待处理图像进行融合处理得到第一图像，使得第一图像具有更好的动态范围和成像效果。

在一些实施方式中，图像分割模块20被配置为：

将第一图像输入预先训练得到的图像分割模型，得到图像分割模型输出的人像掩膜图像。

在一些实施方式中，确定模块30被配置为：

获取至少两帧待处理图像中人像区域的亮度值；

将亮度值最高且不过曝的人像区域对应的待处理图像确定为第二图像。

在一些实施方式中，第二融合模块40被配置为：

对第一图像进行金字塔分解，得到多尺度的第一图像序列；对人像掩膜图像进行金字塔分解，得到与第一图像序列相同尺度的人像掩膜图像序列；对第二图像进行金字塔分解，得到与第一图像序列相同尺度的第二图像序列；

基于人像掩膜图像序列，对第一图像序列和第二图像序列逐层进行融合处理，得到目标图像。

在一些实施方式中，第二融合模块40被配置为：

根据第一尺度的人像掩膜图像，对第一尺度的第一图像和第一尺度的第二图像融合处理，得到第一尺度的处理图像，第一尺度为图像序列中最小尺度；

根据图像尺度从小到大的顺序，依次基于当前尺度的人像掩膜图像，对前一尺度得到的处理图像、当前尺度的第一图像以及当前尺度的第二图像进行融合处理，直至得到目标图像。

在一些实施方式中，第二融合模块40被配置为：

对前一尺度得到的处理图像进行上采样处理，得到当前尺度的输入图像；

将当前尺度的输入图像与当前尺度的第一图像融合，得到第一融合图像；

基于当前尺度的人像掩膜图像，对第一融合图像和当前尺度的第二图像融合处理，得到当前尺度的处理图像。

通过上述可知，本公开实施方式中，基于人像掩膜图像序列，逐层对第一图像和第二图像进行融合处理，使得图像中的人像区域可以进一步被提亮，在图像中突出人物，提高人像场景的成像效果。同时，通过金字塔级联融合处理，可以逐层对第二图像与第一图像进行融合，使得人像区域与背景区域的融合过渡更加自然，避免突出人像区域时带来的断层感，大大提高人像场景的成像质量。

第三方面，本公开实施方式提供了一种电子设备，包括：

处理器；以及

存储器，存储有能够被处理器读取的计算机指令，当计算机指令被读取时，处理器执行根据第一方面任一实施方式的方法。

第四方面，本公开实施方式提供了一种存储介质，用于存储计算机可读指令，计算机可读指令用于使计算机执行根据第一方面任一实施方式的方法。

图9中示出了本公开一些实施方式中的电子设备的结构框图，下面结合图9对本公开一些实施方式的电子设备及存储介质相关原理进行说明。

参照图9，电子设备1800可以包括以下一个或多个组件：处理组件1802，存储器1804，电源组件1806，多媒体组件1808，音频组件1810，输入/输出(I/O)接口1812，传感器组件1816，以及通信组件1818。

处理组件1802通常控制电子设备1800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1802可以包括一个或多个处理器1820来执行指令。此外，处理组件1802可以包括一个或多个模块，便于处理组件1802和其他组件之间的交互。例如，处理组件1802可以包括多媒体模块，以方便多媒体组件1808和处理组件1802之间的交互。又如，处理组件1802可以从存储器读取可执行指令，以实现电子设备相关功能。

存储器1804被配置为存储各种类型的数据以支持在电子设备1800的操作。这些数据的示例包括用于在电子设备1800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1806为电子设备1800的各种组件提供电力。电源组件1806可以包括电源管理***，一个或多个电源，及其他与为电子设备1800生成、管理和分配电力相关联的组件。

多媒体组件1808包括在所述电子设备1800和用户之间的提供一个输出接口的显示屏。在一些实施例中，多媒体组件1808包括一个前置摄像头和/或后置摄像头。当电子设备1800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件1810被配置为输出和/或输入音频信号。例如，音频组件1810包括一个麦克风(MIC)，当电子设备1800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1804或经由通信组件1818发送。在一些实施例中，音频组件1810包括一个扬声器，用于输出音频信号。

I/O接口1812为处理组件1802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1816包括一个或多个传感器，用于为电子设备1800提供各个方面的状态评估。例如，传感器组件1816可以检测到电子设备1800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1800的显示器和小键盘，传感器组件1816可以检测电子设备1800或电子设备1800一个组件的位置改变，用户与电子设备1800接触的存在或不存在，电子设备1800方位或加速/减速和电子设备1800的温度变化。传感器组件1816可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1816可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1816可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1818被配置为便于电子设备1800和其他设备之间有线或无线方式的通信。电子设备1800可以接入基于通信标准的无线网络，如Wi-Fi，2G，3G，4G，5G或6G，或它们的组合。在一个示例性实施例中，通信组件1818经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1818包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备1800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现。

显然，上述实施方式仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。

Claims (13)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：

对获取的至少两帧待处理图像进行融合处理，得到第一图像；其中，所述待处理图像包括人像；

对所述第一图像进行图像分割处理，得到人像掩膜图像；

基于所述待处理图像中的人像亮度，从所述至少两帧待处理图像中确定第二图像；

基于所述人像掩膜图像，对所述第一图像和所述第二图像进行融合处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述对获取的至少两帧待处理图像进行融合处理，得到第一图像，包括：

采集所述人像在同一位置的至少两帧待处理图像，所述至少两帧待处理图像的曝光值不同；

根据所述至少两帧待处理图像进行HDR融合处理，得到所述第一图像。

3.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行图像分割处理，得到人像掩膜图像，包括：

将所述第一图像输入预先训练得到的图像分割模型，得到所述图像分割模型输出的所述人像掩膜图像。

4.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像中的人像亮度，从所述至少两帧待处理图像中确定第二图像，包括：

获取所述至少两帧待处理图像中人像区域的亮度值；

将所述亮度值最高且不过曝的人像区域对应的待处理图像确定为所述第二图像。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述人像掩膜图像，对所述第一图像和所述第二图像进行融合处理，得到目标图像，包括：

对所述第一图像进行金字塔分解，得到多尺度的第一图像序列；对所述人像掩膜图像进行金字塔分解，得到与所述第一图像序列相同尺度的人像掩膜图像序列；对所述第二图像进行金字塔分解，得到与所述第一图像序列相同尺度的第二图像序列；

基于所述人像掩膜图像序列，对所述第一图像序列和所述第二图像序列逐层进行融合处理，得到所述目标图像。

6.根据权利要求5所述的方法，其特征在于，所述基于所述人像掩膜图像序列，对所述第一图像序列和所述第二图像序列逐层进行融合处理，得到所述目标图像，包括：

根据第一尺度的人像掩膜图像，对所述第一尺度的第一图像和所述第一尺度的第二图像融合处理，得到第一尺度的处理图像，所述第一尺度为图像序列中最小尺度；

根据图像尺度从小到大的顺序，依次基于当前尺度的人像掩膜图像，对前一尺度得到的所述处理图像、当前尺度的第一图像以及当前尺度的第二图像进行融合处理，直至得到所述目标图像。

7.根据权利要求6所述的方法，其特征在于，对于任意图像尺度中，基于当前尺度的人像掩膜图像，对前一尺度得到的所述处理图像、当前尺度的第一图像以及当前尺度的第二图像进行融合处理的过程，包括：

对前一尺度得到的所述处理图像进行上采样处理，得到当前尺度的输入图像；

将所述当前尺度的输入图像与所述当前尺度的第一图像融合，得到第一融合图像；

基于所述当前尺度的人像掩膜图像，对所述第一融合图像和所述当前尺度的第二图像融合处理，得到当前尺度的处理图像。

8.一种图像处理装置，其特征在于，应用于电子设备，所述装置包括：

第一融合模块，被配置为对获取的至少两帧待处理图像进行融合处理，得到第一图像；其中，所述待处理图像包括人像；

图像分割模块，被配置为对所述第一图像进行图像分割处理，得到人像掩膜图像；

确定模块，被配置为基于所述待处理图像中的人像亮度，从所述至少两帧待处理图像中确定第二图像；

第二融合模块，被配置为基于所述人像掩膜图像，对所述第一图像和所述第二图像进行融合处理，得到目标图像。

9.根据权利要求8所述的装置，其特征在于，所述第二融合模块被配置为：

对所述第一图像进行金字塔分解，得到多尺度的第一图像序列；对所述人像掩膜图像进行金字塔分解，得到与所述第一图像序列相同尺度的人像掩膜图像序列；对所述第二图像进行金字塔分解，得到与所述第一图像序列相同尺度的第二图像序列；

基于所述人像掩膜图像序列，对所述第一图像序列和所述第二图像序列逐层进行融合处理，得到所述目标图像。

10.根据权利要求9所述的装置，其特征在于，所述第二融合模块被配置为：

根据第一尺度的人像掩膜图像，对所述第一尺度的第一图像和所述第一尺度的第二图像融合处理，得到第一尺度的处理图像，所述第一尺度为图像序列中最小尺度；

根据图像尺度从小到大的顺序，依次基于当前尺度的人像掩膜图像，对前一尺度得到的所述处理图像、当前尺度的第一图像以及当前尺度的第二图像进行融合处理，直至得到所述目标图像。

11.根据权利要求10所述的装置，其特征在于，所述第二融合模块被配置为：

对前一尺度得到的所述处理图像进行上采样处理，得到当前尺度的输入图像；

将所述当前尺度的输入图像与所述当前尺度的第一图像融合，得到第一融合图像；

基于所述当前尺度的人像掩膜图像，对所述第一融合图像和所述当前尺度的第二图像融合处理，得到当前尺度的处理图像。

12.一种电子设备，其特征在于，包括：

处理器；以及

存储器，存储有能够被所述处理器读取的计算机指令，当所述计算机指令被读取时，所述处理器执行根据权利要求1至7中任一项所述的方法。

13.一种存储介质，其特征在于，用于存储计算机可读指令，所述计算机可读指令用于使计算机执行根据权利要求1至7中任一项所述的方法。

Images