CN117726564A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备、存储介质和计算机程序产品。该方法包括：获取第一图像、第二图像和运动区域掩膜；所述第一图像的亮度大于所述第二图像的亮度；所述运动区域掩膜与所述第一图像和所述第二图像对应；在RAW域合成所述第一图像、所述第二图像和所述运动区域掩膜，得到第三图像；根据所述第一图像、所述第三图像和所述运动区域掩膜，确定目标校正增益图；所述目标校正增益图中的像素值表征所述第三图像中每个像素对应的校正增益系数；根据所述目标校正增益图对所述第三图像进行校正，得到目标图像。能够较准确的减少高动态范围合成时在运动高光区域常见的伪影、灰块等成像异常。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

随着电子设备拍摄技术的发展，人们随时随地利用电子设备进行拍摄图像，并对拍摄图像的质量要求越来越高。

电子设备对多帧不等曝融合时，高光运动区域容易出现伪影、灰块等异常问题，传统的图像处理方法对伪影或灰块的检测容易出现漏检和误检，导致无法准确地减少伪影或灰块区域等成像异常。

发明内容

本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以较准确的减少伪影或灰块等成像异常。

第一方面，本申请提供了一种图像处理方法。所述方法包括：

获取第一图像、第二图像和运动区域掩膜；所述第一图像的亮度大于所述第二图像的亮度；所述运动区域掩膜与所述第一图像和所述第二图像对应；

在RAW域合成所述第一图像、所述第二图像和所述运动区域掩膜，得到第三图像；

根据所述第一图像、所述第三图像和所述运动区域掩膜，确定目标校正增益图；所述目标校正增益图中的像素值表征所述第三图像中每个像素对应的校正增益系数；

根据所述目标校正增益图对所述第三图像进行校正，得到目标图像。

第二方面，本申请还提供了一种图像处理装置。所述装置包括：

获取模块，用于获取第一图像、第二图像和运动区域掩膜；所述第一图像的亮度大于所述第二图像的亮度；所述运动区域掩膜与所述第一图像和所述第二图像对应；

合成模块，用于合成所述第一图像、所述第二图像和所述运动区域掩膜，得到第三图像；

确定模块，用于根据所述第一图像、所述第三图像和所述运动区域掩膜，确定目标校正增益图；所述目标校正增益图中的像素值表征所述第三图像中每个像素对应的校正增益系数；

校正模块，用于根据所述目标校正增益图对所述第三图像进行校正，得到目标图像。

第三方面，本申请还提供了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取第一图像、第二图像和运动区域掩膜；所述第一图像的亮度大于所述第二图像的亮度；所述运动区域掩膜与所述第一图像和所述第二图像对应；

在RAW域合成所述第一图像、所述第二图像和所述运动区域掩膜，得到第三图像；

根据所述第一图像、所述第三图像和所述运动区域掩膜，确定目标校正增益图；所述目标校正增益图中的像素值表征所述第三图像中每个像素对应的校正增益系数；

根据所述目标校正增益图对所述第三图像进行校正，得到目标图像。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取第一图像、第二图像和运动区域掩膜；所述第一图像的亮度大于所述第二图像的亮度；所述运动区域掩膜与所述第一图像和所述第二图像对应；

在RAW域合成所述第一图像、所述第二图像和所述运动区域掩膜，得到第三图像；

根据所述第一图像、所述第三图像和所述运动区域掩膜，确定目标校正增益图；所述目标校正增益图中的像素值表征所述第三图像中每个像素对应的校正增益系数；

根据所述目标校正增益图对所述第三图像进行校正，得到目标图像。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取第一图像、第二图像和运动区域掩膜；所述第一图像的亮度大于所述第二图像的亮度；所述运动区域掩膜与所述第一图像和所述第二图像对应；

在RAW域合成所述第一图像、所述第二图像和所述运动区域掩膜，得到第三图像；

根据所述第一图像、所述第三图像和所述运动区域掩膜，确定目标校正增益图；所述目标校正增益图中的像素值表征所述第三图像中每个像素对应的校正增益系数；

根据所述目标校正增益图对所述第三图像进行校正，得到目标图像。

本申请实施例的图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品，获取第一图像、第二图像和运动区域掩膜，接着在RAW域合成第一图像、第二图像和运动区域掩膜，得到第三图像，再根据第一图像、第三图像和运动区域掩膜，确定目标校正增益图，然后根据目标校正增益图对第三图像进行校正，得到目标图像，通过在RAW域对运动区域和不等曝图像进行合成得到第三图像，确保更多信息不丢失，再根据第一图像、第三图像和运动区域掩膜可以较为准确的确定出第三图像中每个像素对应的校正增益系数，利用第三图像中每个像素对应的校正增益系数对第三图像进行校正，能够较准确的减少高动态范围合成时在运动高光区域常见的伪影、灰块等成像异常。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的流程图。

图2为一个实施例中根据该第一图像、该第三图像和该运动区域掩膜，确定目标校正增益图的流程图。

图3为一个实施例中根据该第一图像、该第三图像和该运动区域掩膜，确定目标校正增益图的流程图。

图4为另一个实施例中图像处理方法的流程示意图。

图5为一个实施例中根据合成RGB图、亮帧RGB图以及运动区域掩膜得到校正增益的流程图。

图6A为一个实施例中伪影处理前的图像示意。

图6B为一个实施例中伪影处理后的图像示意。

图7A为一个实施例中灰块处理前的图像示意。

图7B为一个实施例中灰块处理后的图像示意。

图8为一个实施例中图像处理装置的结构框图。

图9为一个实施例中电子设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

相关技术中，电子设备针对不等曝融合时高光运动区域容易出现伪影、灰块等问题，通过在YUV域检出伪影区域，并在YUV域进行填充或颜色校正的方式对伪影区域进行消除。然而，在YUV域对伪影区域进行检测容易出现漏检和误检，漏检区域最终会保留伪影或灰块，误检区域会出现未知异常。

为此，本申请实施例提供了一种图像处理方法，通过获取第一图像、第二图像和运动区域掩膜，接着在RAW域合成所述第一图像、所述第二图像和所述运动区域掩膜，得到第三图像，再根据所述第一图像、所述第三图像和所述运动区域掩膜，确定目标校正增益图，然后根据所述目标校正增益图对所述第三图像进行校正，得到目标图像。如此，通过在RAW域对运动区域和不等曝图像进行合成得到第三图像，确保更多信息不丢失，再根据第一图像、第三图像和运动区域掩膜可以较为准确的确定出第三图像中每个像素对应的校正增益系数，利用第三图像中每个像素对应的校正增益系数对第三图像进行校正，能够较准确的减少高动态范围合成时在运动高光区域常见的伪影、灰块等成像异常。

在一个实施例中，如图1所示，提供了一种图像处理方法，以该方法应用于图1中的电子设备为例进行说明，电子设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备、智能汽车等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。该图像处理方法包括以下步骤102至步骤108。其中：

步骤102，获取第一图像、第二图像和运动区域掩膜。

其中，第一图像的亮度大于第二图像的亮度，即第一图像可以为亮帧，第二图像可以为暗帧。运动区域掩膜与第一图像和第二图像对应。

第一图像和第二图像可以针对同一场景采用不同曝光时长拍摄的两帧图像，第一图像的曝光时长大于第二图像的曝光时长。因第一图像的曝光时长大于第二图像的曝光时长，则第一图像的亮度大于第二图像的亮度。第一图像和第二图像可以是对采集的原始RAW域数据经过黑电平校正、去噪、去马赛克、自动白平衡中一种或多种处理后的图像。第一图像和第二图像可以为RGB（红、绿、蓝）图像。RAW域是从图像传感器sensor输出的图，RAW域数据通常是没有任何处理的原始数据。

运动区域掩膜可以是将第一图像和第二图像进行像素匹配或光流法计算或深度神经网络模型计算等得到的掩膜图。运动区域掩膜中可以采用第一标记表示运动区域，采用第二标记表示非运动区域，第一标记可为1，第二标记可为0。

可选地，电子设备可以将采集的原始RAW数据经过黑电平校正、去噪、去马赛克、自动白平衡等一种或多种处理后得到第一图像和第二图像，以及根据第一图像和第二图像得到运动区域掩膜。

步骤104，在RAW域合成该第一图像、该第二图像和该运动区域掩膜，得到第三图像。

可选地，电子设备在RAW域将第二图像向第一图像做对齐处理，然后再将第一图像、与第一图像对齐后的第二图像和运行区域掩膜进行HDR（High Dynamic Range，高动态范围）合成，得到第三图像。在HDR合成过程中，可以保留第一图的非过曝区域，去掉第一图像中过曝区域，保留第二图像中与第一图像的过曝区域对应的区域，并结合运动区域掩膜合成得到第三图像。过曝区域可以是亮度超过过曝阈值的像素所形成的区域，也可以是由三通道最大值大于通道亮度阈值的像素所形成的区域。三通道最大值是指像素的RGB三通道中的亮度最大值。将第二图像向第一图像做对齐处理包括：获取第一图像和第二图像之间的曝光比，然后将第二图像中各个像素的亮度值乘以该曝光比得到对齐后的第二图像。

可选地，该第一图像、该第二图像和该第三图像可以均为线性RAW域数据。因第一图像、第二图像、第三图像均为线性RAW域数据，可以减少了数据信息丢失。

步骤106，根据该第一图像、该第三图像和该运动区域掩膜，确定目标校正增益图，该目标校正增益图中的像素值表征第三图像中每个像素对应的校正增益系数。

可选地，电子设备可以筛选出第一图像的过曝区域，再将第一图像的过曝区域和运动区域掩膜进行比较，检测出符合预设条件的区域，再将符合预设条件的区域和第三图像的亮度值确定出初始校正增益图，然后再对初始校正增益进行平滑处理等，可以得到目标校正增益图。目标校正增益图中的每个像素的像素值表征了第三图像中每个像素对应的校正增益系数。

步骤108，根据该目标校正增益图对该第三图像进行校正，得到目标图像。

可选地，电子设备可以将目标校正增益图中每个像素值对第三图像中对应像素的亮度值相乘，得到更新的亮度值，实现了第三图像的校正，得到目标图像。

本实施例中的图像处理方法，获取第一图像、第二图像和运动区域掩膜，接着在RAW域合成第一图像、第二图像和运动区域掩膜，得到第三图像，再根据第一图像、第三图像和运动区域掩膜，确定目标校正增益图，然后根据目标校正增益图对第三图像进行校正，得到目标图像，通过在RAW域对运动区域和不等曝图像进行合成得到第三图像，确保更多信息不丢失，再根据第一图像、第三图像和运动区域掩膜可以较为准确的确定出第三图像中每个像素对应的校正增益系数，利用第三图像中每个像素对应的校正增益系数对第三图像进行校正，能够较准确的减少高动态范围合成时在运动高光区域常见的伪影、灰块等成像异常。此外，该图像处理方法，也实现了对图像亮度、颜色等像素对像素操作的任务，处理更加精细化。

在一个示例性的实施例中，符合预设条件的区域可以为伪影区域，如图2所示，该根据该第一图像、该第三图像和该运动区域掩膜，确定目标校正增益图，包括：

步骤202，根据该第一图像和该运动区域掩膜，确定伪影区域。

因伪影和灰块一般出现在有运动且亮帧过曝的区域，可以基于这两个指标初步检测出需要去除伪影的区域。运动区域掩膜可为二值图像，运动区域采用第一标识表示，非运动区域采用第二标识表示。第一标识可为1，第二标识可为0。

可选地，电子设备可以先RAW域判断第一图像的过曝区域，针对第一图像中的每个像素，获取该像素的三通道最大值，判断该三通道最大值是否大于通道亮度阈值，若大于该通道亮度阈值，则确定该像素为过曝像素，根据过曝像素得到过曝区域，将第一图像中的过曝区域且运动区域掩膜中表征运动的区域确定为伪影区域。其中，通道亮度阈值可以根据大量数据统计得到。

步骤204，根据该伪影区域和该第三图像的亮度，确定初始校正增益图。

其中，第三图像的亮度可为第三图像中的亮度最大值或亮度次大值。根据第三图像中的亮度最大值或亮度次大值结合伪影区域中像素的三通道最大值，确定初始校正增益图，该初始校正增益图中每个像素值表征第三图像中每个像素的初始增益系数。

步骤206，对该初始校正增益图进行滤波处理，得到目标校正增益图。

因初始校正增益图中的校正增益系数可能存在非常剧烈的跳变，因此需要对初始校正增益做平滑。滤波处理是为了让校正增益系数变得平滑。滤波处理可以根据需要选择不同的滤波方法，如均值滤波方式、引导滤波等。

可选地，对初始校正增益图进行均值滤波或引导滤波，得到目标校正增益图。

上述方法中，在RAW域根据第一图像和运动区域掩膜，利用RAW域数据信息的完整性检测伪影区域更加准确，减少了遗漏，再根据第三图像的亮度和伪影区域可以确定出初始校正增益，对初始校正增益进行滤波，得到目标校正增益，该目标校正增益更加准确，且能够对伪影区域或灰块等成像异常进行修正，以减少伪影区域或灰块等。

在一个示例性的实施例中，根据该第一图像和该运动区域掩膜，确定伪影区域，包括：根据该第一图像中每个像素的三通道最大值，确定三通道最大值大于通道亮度阈值的像素；根据该三通道最大值大于通道亮度阈值的像素以及该运动区域掩膜中表征运动区域的像素，确定伪影区域。

像素的三通道可以是RGB三个通道。针对第一图像中的每个像素，获取该像素的RGB三通道的值，比较RGB三个通道的值，得到RGB三个通道的最大值，然后将三通道最大值与通道亮度阈值进行比较，若该像素的三通道最大值大于通道亮度阈值，则确定该像素过曝。筛选得到三通道最大值大于通道亮度阈值的像素，根据筛选得到的像素得到过曝区域，再根据过曝区域与运动区域掩膜中表征运动区域的像素，确定出伪影区域。在一个示例性的实施方式中，以图像中各个像素的通道值的范围为[0,1]为例，通道亮度阈值可以取0.90、0.912、0.92、0.93、0.95、0.96等。本实施例中，以通道亮度阈值为0.95，运动区域掩膜中表征运动区域的像素采用1表示为例,针对每个像素，采用如下公式表示伪影区域：Gain_mask=(motion_mask==1) and (max(R,G,B)>0.95，即将第一图像中的过曝区域且运动区域掩膜中像素值为1的区域确定为伪影区域。

通过通道亮度阈值结合运动区域掩膜可以准确的确定出伪影区域，避免了遗漏。

在一个示例性的实施例中，该根据该伪影区域和该第三图像的亮度，确定初始校正增益图，包括：获取该第三图像的亮度最大值；根据该亮度最大值和该伪影区域中每个像素的三通道最大值的比值，确定初始校正增益图。

第三图像可为HDR图像。获取第三图像的亮度最大值，计算亮度最大值和伪影区域中每个像素的三通道最大值的比值，可以将每个像素对应的比值作为第三图像中对应像素的初始校正增益，进而根据每个像素的初始校正增益得到初始校正增益图，也可以将比值乘以某个值得到的乘积作为初始校正增益图。

在一个示例性的实施例中，该伪影区域采用增益掩膜表示；该根据该亮度最大值和该伪影区域中每个像素的三通道最大值的比值，确定初始校正增益图，包括：若增益掩膜中像素对应值为指定值，则根据该亮度最大值和该伪影区域中每个像素的三通道最大值的比值，得到该像素的初始校正增益；若增益掩膜中像素对应值为非指定值，则将该像素的初始校正增益确定为1。

增益掩膜可以为二值图，增益掩膜中的指定值可为1，初始校正增益计算可以表示为：

Gain_map=max(第三图像)/max(R,G,B),if gain_mask==1，

=1，其他

在一个示例性的实施例中，该对该初始校正增益图进行滤波处理，得到目标校正增益图，包括：采用均值滤波方式对该初始校正增益图进行滤波处理，得到目标校正增益图；或者，以该第一图像为引导图像，对该初始校正增益图进行引导滤波处理，得到目标校正增益图。

均值滤波（mean filter or box filter）方式是线性滤波算法，是指用当前像素点周围n×n个像素值的均值来代替当前像素值。使用该方法遍历处理图像内的每个像素，完成整幅图像的均值滤波。如像素点A为例，取像素点A周围5×5区域内所有像素点的像素值取平均值，代替A点的像素值。

以第一图像为引导图，对初始校正增益图的每个通道分别引导滤波（guidedfilter），得到目标校正增益图。

通过均值滤波，可以提高计算速度，通过引导滤波能够较好滤除噪声。

在一个示例性的实施例中，在图2的基础上增加对第一图像和运动区域掩膜进行下采样的处理，以及对滤波后的校正增益图进行上采样处理，以节省计算量。如图3所示，根据该第一图像、该第三图像和该运动区域掩膜，确定目标校正增益图，包括：

步骤302，对该第一图像和该运动区域掩膜进行下采样，得到下采样后的第一图像和下采样后的该运动区域掩膜。

下采样是为了缩小图像。下采样的倍率可以根据需要设置，如4倍，即图像的宽高各变为原来的四分之一。下采样的插值方式可以为最邻近插值（nearest neighborinterpolation）或双线性插值（bi-linear interpolation）。

对第一图像和运动区域掩膜可以采用相同倍率的下采样，也可以采用不同倍率的下采样。

步骤304，根据下采样后的该第一图像和下采样后的该运动区域掩膜，确定伪影区域。

可选地，电子设备可以先RAW域判断第一图像的过曝区域，针对下采样后的第一图像中的每个像素，获取该像素的三通道最大值，判断该三通道最大值是否大于通道亮度阈值，若大于该通道亮度阈值，则确定该像素为过曝像素，根据过曝像素得到过曝区域，将第一图像中的过曝区域且运动区域掩膜中表征运动的区域确定为伪影区域。其中，通道亮度阈值可以根据大量数据统计得到。

若第一图像下采样采用2倍，运动区域掩膜下采样采用4倍，则在确定伪影区域时对第一图像采用隔2点采样，确定过曝区域。

步骤306，根据该伪影区域和该第三图像的亮度，确定初始校正增益图。

步骤306的处理过程与步骤204相同。

步骤308，对该初始校正增益图进行滤波处理，得到滤波后的初始校正增益图。

步骤308的处理过程与步骤206相同。

步骤310，对该滤波后的初始校正增益图进行上采样，得到目标校正增益图。

其中，该下采样和该上采样的倍率相同。上采样可以采用双线性插值或最邻近插值。因先前采用下采样操作，这里采用上采样回到原尺寸。

本实施例中，对第一图像和运动区域掩膜进行下采样，再根据下采样后的第一图像和下采样后的运动区域掩膜，确定伪影区域，根据伪影区域和第三图像的亮度确定初始校正增益图，再对初始校正增益图进行滤波处理和上采样处理，得到目标校正增益图，通过下采样处理，后续确定伪影区域、初始校正增益图和滤波处理等节省了计算量，后续可提高图像处理效率。

在一个示例性的实施例中，在该根据该第一图像、该第三图像和该运动区域掩膜，确定目标校正增益图之后，该方法还包括：根据该第一图像中每个像素的三通道最大值，确定该目标校正增益图中每个像素的权重，该权重与该三通道最大值正相关；根据该目标校正增益图中每个像素的权重调整该目标校正增益图，得到调整后的该目标校正增益图。

相应地，该根据该目标校正增益图对该第三图像进行校正，得到目标图像，包括：根据调整后的该目标校正增益图对该第三图像进行校正，得到目标图像。

可以预先建立权重查找表，权重查找表中横坐标为图像亮度，纵坐标为权重，使用原尺寸的第一图像中每个通道最大值从权重查找表中查找，当第一图像中每个像素的三通道最大值越大时，计算出的权重越接近1，否则越接近0。权重与该三通道最大值正相关，即三通道最大值越大，权重越大。

通过权重对目标校正增益图进行调整，可以让高光区域平滑内收，更能准确的去除伪影和灰块等。

在一个示例性的实施例中，该根据该目标校正增益图中每个像素的权重调整该目标校正增益图，得到调整后的该目标校正增益图，包括：针对该目标校正增益图中的每个像素，获取该像素的像素值与该像素的权重的第一乘积，以及获取1与对应的权重的第二乘积，根据该第一乘积和该第二乘积之和确定该像素调整后的像素值；根据该目标校正增益图中每个像素调整后的像素值，得到调整后的该目标校正增益图。

将查找到的权重作用于上采样后的增益，如可以表示为：weight=LUT(max(R,G,B)),gain_map_refined=gain_map*weight+1*(1-weight)，其中，weight为像素的权重。1-weight为1对应的权重，引入1，表示对1不需要进行提亮。

下面以第一图像为亮帧RGB图，第二图像为暗帧RGB图，第三图像为合成RGB图，且RGB图像均为线性RAW域数据为例，描述图像处理方法，如图4所示，前端图像复原后得到的亮帧RGB和暗帧RGB图以及运动区域掩膜，经过RAW域HDR合成模块，输出合成后的高动态范围线性图，即合成RGB图。伪影校正模块取合成RGB图、亮帧RGB图以及运动区域掩膜作为输入，在算法模块内部对伪影区域进行检测，计算校正增益，并采用校正增益对合成RGB图进行校正，输出校正后的RGB图像。

如图5所示，根据合成RGB图、亮帧RGB图以及运动区域掩膜得到校正增益，包括：

（1）对亮帧RGB图像和运动区域掩膜下采样

下采样操作可以考虑对检测和校正效果的影响和电子设备处理器算力的因素，下采样倍率可以设置为2倍、3倍、4倍、6倍等。下采样使用的插值方式可以为最邻近插值或双线性插值。

（2）伪影区域检测

根据HDR合成的算法原理，伪影和灰块一般出现在有运动且亮帧过曝的区域，基于这两个指标，即可初步检测出需要去除伪影的区域。运动区域掩膜为二值图像，在运动区域为1，非运动区域为0。对于亮帧RGB图中每个像素是否过曝的判断，先取该像素的三通道最大值，然后判断三通道最大值是否大于0.95，若大于0.95则将该像素确定为过曝像素，根据过曝像素得到过曝区域，根据过曝区域和运动区域掩膜中为1的区域，确定出伪影区域。针对每个像素，检测公式可表示为：gain_mask = (motion_mask == 1) and (max(R，G，B) >0.95)

（3）初始校正增益计算

根据gain_mask检测的结果，对每一个检出的像素计算初始增益系数。由于伪影区域在亮帧RGB图中原本为过曝，合成后全图动态范围更高，才导致伪影和灰块的出现，故将伪影区域提亮至过曝，便可有明显的优化效果，此处将过曝定义为合成RGB图像中的全局最大值，即合成RGB图中的亮度最大值，则初始校正增益计算可以表示为：

gain_map = max(合成HDR图) / (max(R,G,B)),if gain_mask == 1，

= 1，otherwise

（4）对初始校正增益滤波处理，得到滤波后的初始校正增益

gain_mask检测结果为二值图像，利用该二值图像计算初始校正增益，计算出的初始校正增益可能存在非常剧烈的跳变，需要对初始校正增益做平滑，若对计算速度有非常高的要求，可以使用均值滤波，若为了较好的效果表现，可以使用引导滤波，以亮帧RGB图作为引导图像，对gain_map进行引导平滑滤波。

（5）对滤波后的初始校正增益上采样，得到目标校正增益。

因（1）采用了下采样操作，上述（2）至（4）步骤是在小尺寸图像上完成，由于校正增益需要应用在合成RGB图（即HDR图）上，采用上采样回到原尺寸。该上采样的倍率与下采样倍率相同。

（6）校正增益精细化

在（4）和（5）步骤中在小尺寸上对校正增益进行了平滑滤波和插值上采样，可能会使上采样后的校正增益整体平滑区域偏大，如果直接应用在合成RGB图上，可能会有轻微的高光溢出和光晕现象出现。可预先建立一个权重查找表，该权重查找表用于校正增益图高光区域平滑内收或精细化，其中，横坐标为图像亮度，纵坐标为增益精细化权重，使用原尺寸亮帧RGB图像中像素的三通道最大值用于查找，当亮帧RGB图中像素的三通道最大值越大时，权重越大，即越接近1，否则越接近0，将查找到的权重作用于上采样后的目标增益。

（7）增益图应用

该步骤即将前序计算出的原尺寸增益图，以像素对像素乘法作用于合成HDR图像上，以此生成校正后HDR图像，如图6A和图6B所示，图6A为伪影处理前的图像，图6B为伪影处理后的图像；如图7A和图7B所示，图7A为灰块处理前的图像，图7B为灰块处理后的图像。

上述图像处理方法，因HDR不等曝合成中，在运动高光区域常产生的伪影和灰块现象，可以利用线性RGB图像的特性，并且有效的利用了不等曝HDR合成算法的相关信息，可嵌入HDR合成算法框架中，同时由于小尺度检测和平滑，整体的计算量和内存占用比较可控，方便移动端部署；借助RAW域HDR合成算法的输入和输出，在图像小尺度检测，计算初始校正增益图，对初始校正增益图进行滤波处理，以及大尺度图像应用增益图，可以减少合成HDR图像中的伪影和灰块等成像异常，使得处理区域和未处理区域过渡平滑、自然，减少图像异常伪影区域，并且针对不同的问场景，支持根据不同的应用场景进行定制，同时满足移动端处理速度、功耗、算力及分辨率等。此外该图像处理方法不仅支持伪影去除任务，对于任意需要对图像亮度、颜色处理，且可以等效为像素对像素操作的任务。

应该理解的是，虽然如上该的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上该的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。

如图8所示，一种图像处理装置，包括获取模块810、合成模块820、确定模块830和校正模块840。其中：

获取模块810用于获取第一图像、第二图像和运动区域掩膜；该第一图像的亮度大于该第二图像的亮度；该运动区域掩膜与该第一图像和该第二图像对应。

合成模块820用于合成该第一图像、该第二图像和该运动区域掩膜，得到第三图像。

确定模块830用于根据该第一图像、该第三图像和该运动区域掩膜，确定目标校正增益图；该目标校正增益图中的像素值表征第三图像中每个像素对应的校正增益系数。

校正模块840用于根据该目标校正增益图对该第三图像进行校正，得到目标图像。

本实施例中的图像处理装置，获取第一图像、第二图像和运动区域掩膜，接着在RAW域合成第一图像、第二图像和运动区域掩膜，得到第三图像，再根据第一图像、第三图像和运动区域掩膜，确定目标校正增益图，然后根据目标校正增益图对第三图像进行校正，得到目标图像，通过在RAW域对运动区域和不等曝图像进行合成得到第三图像，确保更多信息不丢失，再根据第一图像、第三图像和运动区域掩膜可以较为准确的确定出第三图像中每个像素对应的校正增益系数，利用第三图像中每个像素对应的校正增益系数对第三图像进行校正，能够较准确的减少高动态范围合成时在运动高光区域常见的伪影、灰块等成像异常。

在一个示例性的实施例中，确定模块830还用于根据所述第一图像和所述运动区域掩膜，确定伪影区域；根据所述伪影区域和所述第三图像的亮度，确定初始校正增益图；对所述初始校正增益图进行滤波处理，得到目标校正增益图。

在一个示例性的实施例中，确定模块830还用于根据所述第一图像中每个像素的三通道最大值，确定三通道最大值大于通道亮度阈值的像素；根据所述三通道最大值大于通道亮度阈值的像素以及所述运动区域掩膜中表征运动区域的像素，确定伪影区域。

在一个示例性的实施例中，确定模块830还用于获取所述第三图像的亮度最大值；根据所述亮度最大值和所述伪影区域中每个像素的三通道最大值的比值，确定初始校正增益图。

在一个示例性的实施例中，所述伪影区域采用增益掩膜表示；确定模块830还用于若增益掩膜中像素对应值为指定值，则根据所述亮度最大值和所述伪影区域中每个像素的三通道最大值的比值，得到所述像素的初始校正增益；若增益掩膜中像素对应值为非指定值，则将所述像素的初始校正增益确定为1。

在一个示例性的实施例中，确定模块830还用于采用均值滤波方式对所述初始校正增益图进行滤波处理，得到目标校正增益图；或者，以所述第一图像为引导图像，对所述初始校正增益图进行引导滤波处理，得到目标校正增益图。

在一个示例性的实施例中，确定模块830还用于对所述第一图像和所述运动区域掩膜进行下采样，得到下采样后的第一图像和下采样后的所述运动区域掩膜；根据下采样后的所述第一图像和下采样后的所述运动区域掩膜，确定伪影区域；对所述初始校正增益图进行滤波处理，得到滤波后的初始校正增益图；对所述滤波后的初始校正增益图进行上采样，得到目标校正增益图；其中，所述下采样和所述上采样的倍率相同。

上述图像处理装置还包括权重获取模块和增益调整模块。权重获取模块用于根据所述第一图像中每个像素的三通道最大值，确定所述目标校正增益图中每个像素的权重，所述权重与所述三通道最大值正相关。增益调整模块用于根据所述目标校正增益图中每个像素的权重调整所述目标校正增益图，得到调整后的所述目标校正增益图。

校正模块840还用于根据调整后的所述目标校正增益图对所述第三图像进行校正，得到目标图像。

在一个示例性的实施例中，增益调整模块还用于针对所述目标校正增益图中的每个像素，获取所述像素的像素值与所述像素的权重的第一乘积，以及获取1与对应的权重的第二乘积，根据所述第一乘积和所述第二乘积之和确定所述像素调整后的像素值；根据所述目标校正增益图中每个像素调整后的像素值，得到调整后的所述目标校正增益图。

在一个示例性的实施例中，所述第一图像、所述第二图像和所述第三图像均为线性RAW域数据。

上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种电子设备，该电子设备内部结构图可以如图9所示。该电子设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备的输入/输出接口用于处理器与外部设备之间交换信息。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该电子设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取第一图像、第二图像和运动区域掩膜；所述第一图像的亮度大于所述第二图像的亮度；所述运动区域掩膜与所述第一图像和所述第二图像对应；

在RAW域合成所述第一图像、所述第二图像和所述运动区域掩膜，得到第三图像；

根据所述第一图像、所述第三图像和所述运动区域掩膜，确定目标校正增益图；所述目标校正增益图中的像素值表征所述第三图像中每个像素对应的校正增益系数；

根据所述目标校正增益图对所述第三图像进行校正，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像、所述第三图像和所述运动区域掩膜，确定目标校正增益图，包括：

根据所述第一图像和所述运动区域掩膜，确定伪影区域；

根据所述伪影区域和所述第三图像的亮度，确定初始校正增益图；

对所述初始校正增益图进行滤波处理，得到目标校正增益图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像和所述运动区域掩膜，确定伪影区域，包括：

根据所述第一图像中每个像素的三通道最大值，确定三通道最大值大于通道亮度阈值的像素；

根据所述三通道最大值大于通道亮度阈值的像素以及所述运动区域掩膜中表征运动区域的像素，确定伪影区域。

4.根据权利要求2所述的方法，其特征在于，所述根据所述伪影区域和所述第三图像的亮度，确定初始校正增益图，包括：

获取所述第三图像的亮度最大值；

根据所述亮度最大值和所述伪影区域中每个像素的三通道最大值的比值，确定初始校正增益图。

5.根据权利要求4所述的方法，其特征在于，所述伪影区域采用增益掩膜表示；所述根据所述亮度最大值和所述伪影区域中每个像素的三通道最大值的比值，确定初始校正增益图，包括：

若增益掩膜中像素对应值为指定值，则根据所述亮度最大值和所述伪影区域中每个像素的三通道最大值的比值，得到所述像素的初始校正增益；

若增益掩膜中像素对应值为非指定值，则将所述像素的初始校正增益确定为1。

6.根据权利要求2所述的方法，其特征在于，所述对所述初始校正增益图进行滤波处理，得到目标校正增益图，包括：

采用均值滤波方式对所述初始校正增益图进行滤波处理，得到目标校正增益图；

或者，以所述第一图像为引导图像，对所述初始校正增益图进行引导滤波处理，得到目标校正增益图。

7.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述第一图像和所述运动区域掩膜进行下采样，得到下采样后的第一图像和下采样后的所述运动区域掩膜；

所述根据所述第一图像和所述运动区域掩膜，确定伪影区域，包括：

根据下采样后的所述第一图像和下采样后的所述运动区域掩膜，确定伪影区域；

所述对所述初始校正增益图进行滤波处理，得到目标校正增益图，包括：

对所述初始校正增益图进行滤波处理，得到滤波后的初始校正增益图；

对所述滤波后的初始校正增益图进行上采样，得到目标校正增益图；

其中，所述下采样和所述上采样的倍率相同。

8.根据权利要求1至7中任一项所述的方法，其特征在于，在所述根据所述第一图像、所述第三图像和所述运动区域掩膜，确定目标校正增益图之后，所述方法还包括：

根据所述第一图像中每个像素的三通道最大值，确定所述目标校正增益图中每个像素的权重，所述权重与所述三通道最大值正相关；

根据所述目标校正增益图中每个像素的权重调整所述目标校正增益图，得到调整后的所述目标校正增益图；

所述根据所述目标校正增益图对所述第三图像进行校正，得到目标图像，包括：

根据调整后的所述目标校正增益图对所述第三图像进行校正，得到目标图像。

9.根据权利要求8所述的方法，其特征在于，所述根据所述目标校正增益图中每个像素的权重调整所述目标校正增益图，得到调整后的所述目标校正增益图，包括：

针对所述目标校正增益图中的每个像素，获取所述像素的像素值与所述像素的权重的第一乘积，以及获取1与对应的权重的第二乘积，根据所述第一乘积和所述第二乘积之和确定所述像素调整后的像素值；

根据所述目标校正增益图中每个像素调整后的像素值，得到调整后的所述目标校正增益图。

10.根据权利要求1所述的方法，其特征在于，所述第一图像、所述第二图像和所述第三图像均为线性RAW域数据。

11.一种图像处理装置，其特征在于，包括：

获取模块，用于获取第一图像、第二图像和运动区域掩膜；所述第一图像的亮度大于所述第二图像的亮度；所述运动区域掩膜与所述第一图像和所述第二图像对应；

合成模块，用于合成所述第一图像、所述第二图像和所述运动区域掩膜，得到第三图像；

确定模块，用于根据所述第一图像、所述第三图像和所述运动区域掩膜，确定目标校正增益图；所述目标校正增益图中的像素值表征所述第三图像中每个像素对应的校正增益系数；

校正模块，用于根据所述目标校正增益图对所述第三图像进行校正，得到目标图像。

12.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述方法的步骤。

14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10中任一项所述方法的步骤。