CN113992861B - 一种图像处理方法及图像处理装置 - Google Patents

Abstract

本发明公开了一种图像处理方法及图像处理装置。其中，该图像处理方法包括：依据第一曝光参数获取单一曝光的多帧图像，其中，单一曝光的多帧图像为包含目标区域的具有相同曝光参数的图像；对单一曝光的多帧图像进行合成处理，获得第一图像。依据该图像处理方法，本发明解决了拍摄的目标图像出现细节丢失严重、鬼影和动态范围不足的技术问题。

Description

一种图像处理方法及图像处理装置

技术领域

本发明涉及计算机视觉技术，具体而言，涉及一种图像处理方法及图像处理装置。

背景技术

近年来，随着电子设备的拍摄性能的提高以及手机拍摄的普及，人们提高了对手机拍摄的要求。但是受限于便携式电子设备的尺寸和质量，例如，在拍摄远距离的月亮时，用户很难获取清晰并且明亮的月亮主体的照片，通常拍摄的图像会出现模糊、噪声大、细节丢失、动态范围不足等问题。

针对上述问题，现有的技术通常采用的是在不同曝光模式下拍摄同一场景，得到多帧照片后融合成一帧宽动态范围图像，这种方法可保留不同亮度下的图像细节，然而在多曝光的多帧图像合成过程中，由于图像无法对齐、存在运动物体等原因，会导致生成图像出现细节丢失严重和鬼影现象。

发明内容

本发明实施例提供了一种图像处理方法及图像处理装置，以至少解决了拍摄的目标图像出现细节丢失严重、鬼影和动态范围不足的技术问题。

根据本发明实施例的一个方面，提供了一种图像处理方法，包括：依据第一曝光参数获取单一曝光的多帧图像，其中，单一曝光的多帧图像为包含目标区域的具有相同曝光参数的图像；对单一曝光的多帧图像进行合成处理，获得第一图像。

可选地，通过在预览图像对目标区域测光确定所述第一曝光参数或者在预设的范围内选定所述第一曝光参数。

可选地，根据预训练的增强模型对第一图像的目标区域进行图像增强，获得包含清晰目标区域的第二图像；对第一图像和第二图像进行融合处理，获得第三图像。

可选地，在预览图像对目标区域测光，确定第一曝光参数，包括：在预览图像中进行特征检测，获得目标区域；对目标区域进行测光，获得目标区域的平均亮度；依据目标区域的平均亮度，确定第一曝光参数。

可选地，对单一曝光的多帧图像进行合成处理，获得第一图像，还包括对单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像；对第四图像进行单帧动态范围扩展，获得第一图像。

可选地，对单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像，包括：在单一曝光的多帧图像中选择清晰度最高的一帧作为参考帧；单一曝光的多帧图像的其余帧向参考帧基于特征对齐，获得对齐后的多帧图像；对对齐后的多帧图像基于空域信息加权融合，获得第四图像。

可选地，对单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像，还包括：

在单一曝光的多帧图像中依据清晰度进行排序，并选择第一帧图像作为参考帧；

将参考帧基于特征对齐、基于空域信息加权融合至第二帧图像，并将融合后的图像更新为参考帧；

依次执行基于特征对齐、基于空域信息加权融合和更新参考帧的过程，直到最后一帧图像完成基于特征对齐与基于空域信息加权融合，获得第四图像。

可选地，对第四图像进行单帧动态范围扩展，获得第一图像，包括：依据第四图像构建对数亮度金字塔，获取不同尺度的环境光亮度；结合不同尺度的环境光亮度，根据对数亮度金字塔对第四图像进行逐层下采样重建及映射，获取每一像素位置的物体表面对数反射量；利用局部均值与均方差信息，将物体表面对数反射量映射至图像数值区间，获得第一图像。

可选地，根据预训练的增强模型对第一图像的目标区域进行图像增强，获得包含清晰目标区域的第二图像，包括：利用构建的样本训练集训练，获得预训练的增强模型；根据预训练的增强模型对第一图像的目标区域进行图像增强，获得包含清晰目标区域的第二图像。

可选地，利用构建的样本训练集训练得到预训练的增强模型，包括：获取电子设备采集的第一质量样本集，获取同一位置的第二质量样本集，其中第二质量样本集图像质量高于第一质量样本集；依据设备不同的放大倍数将第一质量样本集和第二质量样本集分组，并将分组后的样本集依据特征对齐，获得第一样本集；将第一样本集送入AI训练引擎，获得预训练的增强模型。

可选地，第二质量样本集包括：高清电子设备采集的高质量图像样本或存储设备中存储的高质量图像样本。

可选地，分组后的样本集依据特征对齐，其中特征包括：第一质量样本集和第二质量样本集中图像组的特征或图像组周边的辅助标定点特征。

根据本发明实施例的另一方面，还提供了一种图像处理装置，包括：获取单元，用于依据第一曝光参数获取单一曝光的多帧图像，单一曝光的多帧图像为包含目标区域具有相同曝光参数的图像；第一融合单元，用于对单一曝光的多帧图像进行合成处理，获得第一图像。

可选的，所述图像处理装置还包括检测单元，用于通过在预览图像对目标区域测光确定所述第一曝光参数或者在预设的范围内选定所述第一曝光参数。

可选的，图像处理装置还包括：增强单元，用于根据预训练的增强模型对第一图像的目标区域进行图像增强，获得包含清晰目标的第二图像；第二融合单元，用于对第一图像和第二图像进行融合处理，获得第三图像。

可选地，检测单元包括：检测模块，用于在预览图像中进行特征检测，获得目标区域；测光模块，用于对目标区域进行测光，获得目标区域的平均亮度；确定模块，用于依据目标区域的平均亮度，确定第一曝光参数。

可选地，第一融合单元包括：融合模块，用于对单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像；扩展模块，用于对第四图像进行单帧动态范围扩展，获得第一图像。

可选地，融合模块还包括：参考子模块，用于在单一曝光的多帧图像中选择清晰度最高的一帧作为参考帧；对齐子模块，用于单一曝光的多帧图像的其余帧向参考帧基于特征对齐，获得对齐后的多帧图像；融合子模块，用于对对齐后的多帧图像基于空域信息加权融合，获得第四图像。

可选的，融合模块还包括：第一处理子模块，用于在单一曝光的多帧图像中依据清晰度进行排序，并选择第一帧图像作为参考帧；第二处理子模块，用于将参考帧基于特征对齐、基于空域信息加权融合至第二帧图像，并将融合后的图像更新为参考帧；第三处理子模块，用于依次执行基于特征对齐、基于空域信息加权融合和更新参考帧的过程，直到最后一帧图像完成基于特征对齐与基于空域信息加权融合，获得第四图像。

可选地，扩展模块还包括：用于依据第四图像构建对数亮度金字塔，获取不同尺度的环境光亮度；结合不同尺度的环境光亮度，根据对数亮度金字塔对第四图像进行逐层下采样重建及映射，获取每一像素位置的物体表面对数反射量；利用局部均值与均方差信息，将物体表面对数反射量映射至图像数值区间，获得第一图像。

可选地，增强单元包括：构建模块，用于利用构建的样本训练集训练，获得预训练的增强模型；增强模块，用于根据预训练的增强模型对第一图像的目标区域进行图像增强，获得包含清晰目标区域的第二图像。

可选地，构建模块还包括：第四处理子模块，用于获取电子设备采集的第一质量样本集，获取同一位置的第二质量样本集，第二质量样本集图像质量高于第一质量样本集；第五处理子模块，用于依据设备不同的放大倍数将第一质量样本集和第二质量样本集分组，并将分组后的样本集依据特征对齐，获得第一样本集；第六处理子模块，用于将第一样本集送入AI训练引擎，获得预训练的增强模型。

根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述中任意一项图像处理方法。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序；其中，程序运行时执行上述中任意一项图像处理方法。

在本发明实施例中，通过执行以下步骤：依据第一曝光参数获取单一曝光的多帧图像，单一曝光的多帧图像为包含目标区域的具有相同曝光参数的图像；对单一曝光的多帧图像进行合成处理，获得第一图像。可以对具有单一曝光的多帧图像进行多帧融合和图像增强处理，以优化图像质量，获得更清晰和明亮的包含目标区域的图像，解决了拍摄的目标图像出现细节丢失严重、鬼影和动态范围不足的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的图像处理方法的流程图；

图2是根据本发明实施例的一种可选的单一曝光的多帧合成方法的流程图；

图3是根据本发明实施例的一种可选的图像处理方法的流程图；

图4是根据本发明实施例的一种可选的图像增强方法的流程图；

图5是根据本发明实施例的一种可选的图像处理装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的顺序在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例可以应用于具有摄像单元的电子设备中，电子设备可以包括：智能手机、平板电脑、台式电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、相机等。

下面说明本发明实施例的一种可选的图像处理方法的流程图。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

参考图1，是根据本发明实施例的一种可选的图像处理方法的流程图。在本实施例中，以拍摄月亮为例进行说明。如图1所示，该图像处理方法包括如下步骤：

S12，依据第一曝光参数获取单一曝光的多帧图像；其中，单一曝光的多帧图像为包含目标区域的具有相同曝光参数的图像；

作为一种示例，在确定拍摄的月亮图像的第一曝光参数后，电子设备可按照第一曝光参数，通过其摄像单元对月亮进行多次拍摄，采集单一曝光的多帧图像，其中，单一曝光的多帧图像为具有相同曝光参数的月亮图像。需要说明的是，多帧图像不要求严格连续，可以物理上完全连续拍摄，也可以间隔几帧获取图像，将总拍摄时间控制在一定范围内即可。

S14，对单一曝光的多帧图像进行合成处理，获得第一图像；

在本发明实施例中，通过上述步骤，可以对具有单一曝光的多帧月亮图像进行多帧融合和图像增强处理，以优化图像质量，获得更清晰和明亮的月亮图像，解决拍摄的月亮图像出现细节丢失严重、鬼影和动态范围不足的技术问题。

在一种可选的实施例中，上述图像处理方法还可以包括步骤S10，用于确定第一曝光参数，具体地，可以通过在预览图像对目标区域测光确定第一曝光参数或者在预设的范围内选定所述第一曝光参数。

其中，结合拍摄月亮过程，在预览图像对目标区域测光确定第一曝光参数包括：在预览图像中进行特征检测，获得月亮区域；对月亮区域进行测光，获得月亮区域的平均亮度；依据月亮区域的平均亮度，确定第一曝光参数。或者，本领域技术人员可以依据拍摄目标的特性和目标所处的背景环境等因素预设曝光参数的范围，并在该范围内选定第一曝光参数。

另外，本发明实施例中对电子设备预览图像进行特征检测，获得预览图像中的月亮区域，电子设备可通过预设的检测算法在预览图像中对月亮进行检测，本发明对于检测月亮区域的算法不做限定。单一曝光的准确选择主要基于月亮区域的准确识别与亮度的准确检测，同样地，电子设备可通过预设的测光算法在预览界面中对月亮区域进行测光，获得月亮区域的平均亮度，本发明对测光算法不做限定。此外，本申请还预先建立月亮区域的亮度与曝光参数的映射关系，在获取预览图像中月亮区域的平均亮度以后，电子设备可根据测量的月亮区域的平均亮度和预先建立的映射关系，确定电子设备在当前状态下的曝光参数，即第一曝光参数。

下面对步骤S14做具体的说明。参考图2，是根据本发明实施例的一种可选的单一曝光的多帧合成方法的流程图。

在本发明实施例中，步骤S14，对单一曝光的多帧图像进行合成处理，获得第一图像可以包括：

S140：对单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像；

S142：对第四图像进行单帧动态范围扩展，获得第一图像。

可选的，在本发明一种实施例中，对单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像，包括：在单一曝光的多帧图像中选择清晰度最高的一帧作为参考帧；单一曝光的多帧图像的其余帧向参考帧基于特征对齐，获得对齐后的多帧图像；对对齐后的多帧图像基于空域信息加权融合，获得第四图像。通常，用户使用电子设备最终获得的多帧彩色RGB图像，是由传感器采集的Bayer数据通过解马赛克算法获得，本质上是将欠采样RGB数据上采样到全尺寸RGB数据上，不可避免地会增加伪信息，导致分辨率较低，噪声较大。超分辨率技术多帧融合技术则是基于Bayer数据，在单一曝光的多帧图像中选择清晰度最高的一帧作为参考帧，将其余帧与之进行对齐。当在采集单一曝光的多帧图像时，帧与帧之间存在随机位移，通过有小量随机位移的其余帧在参考帧通道位置的真实通道信息，可以补充出欠采样Bayer数据所缺少的对应通道信息。对对齐后的多帧图像基于空域信息加权融合，获得第四图像，得到最终的全尺寸甚至更高尺寸RGB图像，由此提高单一曝光的多帧图像融合的分辨率，同时有一定的去噪效果。

可选的，在本发明一种实施例中，对单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像，可采用边对齐边融合的方式，具体包括：在单一曝光的多帧图像中依据清晰度进行排序，并选择第一帧图像作为参考帧；将参考帧基于特征对齐、基于空域信息加权融合至第二帧图像，并将融合后的图像更新为参考帧；依次执行基于特征对齐、基于空域信息加权融合和更新参考帧的过程，直到最后一帧图像完成基于特征对齐与基于空域信息加权融合，获得第四图像。在单一曝光的多帧图像的每一输入帧融合过程中，其可通过每一输入帧与第一帧图像计算融合权重，亦可通过每一输入帧与更新后的参考帧计算融合权重。该边对齐边融合的多帧融合方法由于采用的是不固定参考帧的方式，上一级的误差会在更换参考帧融合的过程中被清除，可以避免误差的传递和逐级放大，保证处理的准确性。

可选的，在本发明一种实施例中，对第四图像进行单帧动态范围扩展，获得第一图像包括：依据第四图像构建对数亮度金字塔，获取不同尺度的环境光亮度；结合不同尺度的环境光亮度，根据对数亮度金字塔对第四图像进行逐层下采样重建及映射，获取每一像素位置的物体表面对数反射量；利用局部均值与均方差信息，将物体表面对数反射量映射至图像数值区间，获得第一图像。基于视网膜-大脑皮层理论，人眼感知实际图像来源于环境光照与物体表面反射的乘积，在图像中完全去除环境光照分量而保留反射分量从而恢复物体的原始信息，可达到图像增强效果。图像基于对数域则可将上述乘积关系转换为加减关系，故可实现从图像中完全去除环境光照分量而保留物体反射分量，达到增强图像视觉的效果。

根据输入的多帧融合后的第四图像，构建对数亮度金字塔，利用第四图像与不同尺度下的高斯核卷积近似环境光亮度，从而获取不同尺度的环境光亮度；基于图像中完全去除环境光照分量而保留反射分量从而恢复物体的原始信息，结合不同尺度的环境光亮度，根据对数亮度金字塔对第四图像进行逐层下采样重建及映射，获取每一像素位置的物体表面对数反射量；利用局部均值与均方差信息，将物体表面对数反射量从对数域映射到正常图像数值区间，获取最终亮度调整图像，即第一图像。又例如，在另一个实施例中，对于极暗的场景，在对第四图像进行单帧动态扩展之前，首先将第四图像线性提亮，获得第五图像，并对第四图像和第五图像进行拉普拉斯金字塔融合，再进行单帧动态范围扩展。由于实际参与融合的第四图像和第五图像由同一帧第四图像变化而来，不需要对齐，亦不存在鬼影。由此无论是在正常场景，或极暗环境，均可对融合后的单帧图像提亮暗部，提高局部对比度，调整饱和度，同时避免因多帧动态范围扩展可能引入的鬼影或合成异常。

参考图3，是根据本发明实施例的一种可选的图像处理方法的流程图。对于单一曝光的多帧图像融合后的融合图像，可通过该方法恢复更多目标图像的细节信息，与图1相比，该图像处理方法还包括以下步骤：

S16，根据预训练的增强模型对第一图像的目标区域进行图像增强，获得包含清晰目标区域的第二图像；

S18，对第一图像和第二图像进行融合处理，获取第三图像。

下面对步骤S16做具体的说明。参考图4，是根据本发明实施例的一种可选的图像增强方法的流程图。

在本发明实施例中，步骤S16，即根据预训练的增强模型对第一图像的目标区域进行图像增强，获得包含清晰目标区域的第二图像，包括：

S162，利用构建的样本训练集训练，获得预训练的增强模型；

S164，根据预训练的增强模型对第一图像的目标区域进行图像增强，获得包含清晰目标区域的第二图像。

可选地，在本发明实施例中，利用构建的样本训练集训练得到的预训练的增强模型，包括：获取电子设备采集的第一质量样本集，获取同一位置的第二质量样本集，其中，第二质量样本集图像质量高于第一质量样本集；依据设备不同的放大倍数将第一质量样本集和第二质量样本集分组，并将分组后的样本集依据特征对齐，获得第一样本集；将第一样本集送入AI训练引擎，获得预训练的增强模型。

可选地，在本发明实施例中，获取同一位置的第二质量样本集包括：高清电子设备采集的高质量图像样本或存储设备中存储的高质量图像样本。

可选地，在本发明实施例中，将分组后的样本集依据特征对齐，其中特征包括第一质量样本集和第二质量样本集中图像组的颜色、亮度和角度等特征或图像组周边的辅助标定点特征。

参考图5，是根据本发明实施例的一种可选的图像处理装置的结构框图。如图5所示，图像处理装置4包括：

获取单元42，用于依据第一曝光参数获取单一曝光的多帧图像；其中，单一曝光的多帧图像为包含目标区域的具有相同曝光参数的图像；

第一融合单元44，用于对单一曝光的多帧图像进行合成处理，获得第一图像。

图像处理装置4还可以包括：

增强单元46，用于根据预训练的增强模型对第一图像的进行图像增强，获得包含清晰目标的第二图像；

第二融合单元48，用于对第一图像和第二图像进行融合处理，获得第三图像。

在一种可选的实施例中，上述图像处理装置4还可以包括检测单元40，用于确定第一曝光参数，具体地，可以通过在预览图像对目标区域测光确定第一曝光参数或者在预设的范围内选定所述第一曝光参数。

可选的，在本发明实施例中，检测单元40可以包括：检测模块400，用于在预览图像中进行特征检测，获得目标区域；测光模块402，用于对目标区域进行测光，获得目标区域的平均亮度；确定模块404，用于依据目标区域的平均亮度，确定第一曝光参数。或者，本领域技术人员可以依据拍摄目标的特性和目标所处的背景环境等因素预设曝光参数的范围，并在该范围内选定第一曝光参数。

可选的，在本发明实施例中，第一融合单元44可以包括：

融合模块442，用于对单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像；

扩展模块444，用于对第四图像进行单帧动态范围扩展，获得第一图像。

可选的，在本发明一种实施例中，融合模块442包括：参考子模块4422，用于单一曝光的多帧图像中选择清晰度最高的一帧作为参考帧；对齐子模块4424，用于单一曝光的多帧图像的其余帧向参考帧基于特征对齐，获得对齐后的多帧图像；融合子模块4426，用于对对齐后的多帧图像基于空域信息加权融合，获得第四图像。通常，用户使用电子设备最终获得的多帧彩色RGB图像，是由传感器采集的Bayer数据通过解马赛克算法获得，本质上是将欠采样RGB数据上采样到全尺寸RGB数据上，不可避免地增加伪信息，导致分辨率较低，噪声较大。超分辨率技术多帧融合技术则是基于Bayer数据，在单一曝光的多帧图像中选择清晰度最高的一帧作为参考帧，将其余帧与之进行对齐。当在采集单一曝光的多帧图像时，帧与帧之间存在随机位移，通过有小量随机位移的其余帧在参考帧通道位置的真实通道信息，可以补充出欠采样Bayer数据所缺少的对应通道信息。对对齐后的多帧图像基于空域信息加权融合，获得第四图像，得到最终的全尺寸甚至更高尺寸RGB图像，由此提高单一曝光的多帧图像融合的分辨率，同时有一定的去噪效果。

可选的，在本发明的一种实施例中，融合模块442包括:第一处理子模块4423，用于在单一曝光的多帧图像中依据清晰度进行排序，并选择第一帧图像作为参考帧；第二处理子模块4425，用于将参考帧基于特征对齐、基于空域信息加权融合至第二帧图像，并将融合后的图像更新为参考帧；第三处理子模块4427，用于依次执行基于特征对齐、基于空域信息加权融合和更新参考帧的过程，直到最后一帧图像完成基于特征对齐与基于空域信息加权融合，获得第四图像。在单一曝光的多帧图像每一输入帧融合过程中，其可通过每一输入帧与第一帧图像计算融合权重，亦可通过每一输入帧与更新后的参考帧计算融合权重。该边对齐边融合的多帧融合装置由于采用的是不固定参考帧的方式，上一级的误差会在更新参考帧融合的过程中被清除，可以避免误差的传递和逐级放大，保证处理的准确性。

可选的，在本发明一种实施例中，扩展模块444还包括：依据第四图像构建对数亮度金字塔，获取不同尺度的环境光亮度；结合不同尺度的环境光亮度，根据对数亮度金字塔逐层对第四图像下采样重建及映射，获取每一像素位置的物体表面对数反射量；利用局部均值与均方差信息，将物体表面对数反射量映射至图像数值区间，获得第一图像。基于视网膜-大脑皮层理论，人眼感知实际图像来源于环境光照与物体表面反射的乘积，在图像中完全去除环境光照分量而保留反射分量从而恢复物体的原始信息，可达到图像增强效果。图像基于对数域则可将上述乘积关系转换为加减关系，在获得环境光照分量后，通过在图像中完全减去环境光照分量可保留物体反射分量，从而达到增强图像视觉的效果。

根据输入的多帧融合后的第四图像，构建对数亮度金字塔，利用第四图像与不同尺度下的高斯核卷积近似环境光亮度，从而获取不同尺度的环境光亮度；基于图像中完全去除环境光照分量而保留反射分量从而恢复物体的原始信息，结合不同尺度的环境光亮度，并根据对数亮度金字塔对第四图像逐层下采样重建及映射，获取每一像素位置的物体表面对数反射量；利用局部均值与均方差信息，将物体表面对数反射量从对数域映射到正常图像数值区间，获取最终亮度调整图像，即第一图像。又例如，在另一个实施例中，对于极暗的场景，在对第四图像进行单帧动态扩展以前，首先将第四图像线性提亮，获得第五图像，并对第四图像和第五图像进行拉普拉斯金字塔融合，再进行单帧动态范围扩展。由于实际参与融合的第四图像和第五图像由同一帧变化而来，不需要对齐，亦不存在鬼影。由此无论是在正常场景，或极暗环境，均可对融合后的单帧图像可提亮暗部，提高局部对比度，调整饱和度，同时避免因多帧动态范围扩展可能引入的鬼影或合成异常。

可选地，在本发明实施例中，增强单元46可以包括：

构建模块462，用于利用构建的样本训练集训练，获得预训练的增强模型；

增强模块464，用于根据预训练的增强模型对第一图像的进行图像增强，获得包含清晰目标区域的第二图像。

可选地，在本发明实施例中，构建模块462可以包括：获取电子设备采集的第一质量样本集，获取同一位置的第二质量样本集，第二质量样本集图像质量高于第一质量样本集；依据设备不同的放大倍数将第一质量样本集和第二质量样本集分组，并将分组后的样本集依据特征对齐，获得第一样本集；将第一样本集送入AI训练引擎，获得预训练的增强模型。

可选地，在本发明实施例中，获取同一位置的第二质量样本集包括：高清电子设备采集的高质量图像样本或存储设备中存储的高质量图像样本。

可选地，在本发明实施例中，依据将分组后的样本集依据特征对齐，其中特征包括第一质量样本集和第二质量样本集中图像组的颜色、亮度和角度等特征或图像组周边的辅助标定点特征。

根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述中任意一项图像处理方法。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序；其中，程序运行时执行上述中任意一项图像处理方法。

需要说明的是，上述图像处理方法或图像处理装置不局限于拍摄月亮，还适用于拍摄远距离且与其背景存在明显对比度的物体，例如，太阳、灯塔、星星、建筑物上的照明灯等，均能解决拍摄图像中出现细节丢失严重、鬼影和动态范围不足的技术问题。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (20)

1.一种图像处理方法，用于具有摄像单元的电子设备，所述方法包括：

依据第一曝光参数获取单一曝光的多帧图像，所述单一曝光的多帧图像为包含目标区域的具有相同曝光参数的图像；

对所述单一曝光的多帧图像进行合成处理，获得第一图像；

所述对所述单一曝光的多帧图像进行合成处理，获得第一图像，包括：

对所述单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像；

对所述第四图像进行单帧动态范围扩展，获得所述第一图像；

所述对所述第四图像进行单帧动态范围扩展，获得所述第一图像包括：依据所述第四图像构建对数亮度金字塔，获取不同尺度的环境光亮度；结合所述不同尺度的环境光亮度，根据所述对数亮度金字塔对所述第四图像进行逐层下采样重建及映射，获取每一像素位置的物体表面对数反射量；利用局部均值与均方差信息，将所述物体表面对数反射量映射至图像数值区间，获得所述第一图像。

2.根据权利要求1所述的方法，其特征在于，通过在预览图像对目标区域测光确定所述第一曝光参数或者在预设的范围内选定所述第一曝光参数。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据预训练的增强模型对所述第一图像的目标区域进行图像增强，获得包含清晰目标区域的第二图像；

对所述第一图像和所述第二图像进行融合处理，获得第三图像。

4.根据权利要求2所述的方法，其特征在于，所述在预览图像对目标区域测光，确定第一曝光参数，包括：

在所述预览图像中进行特征检测，获得所述目标区域；

对所述目标区域进行测光，获得目标区域的平均亮度；

依据所述目标区域的平均亮度，确定所述第一曝光参数。

5.根据权利要求1所述的方法，其特征在于，所述对所述单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像，包括：

在所述单一曝光的多帧图像中选择清晰度最高的一帧作为参考帧；

所述单一曝光的多帧图像的其余帧向所述参考帧基于特征对齐，获得对齐后的多帧图像；

对所述对齐后的多帧图像基于空域信息加权融合，获得所述第四图像。

6.根据权利要求1所述的方法，其特征在于，所述对所述单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像，还包括：

在所述单一曝光的多帧图像中依据清晰度进行排序，并选择第一帧图像作为参考帧；

将所述参考帧基于特征对齐、基于空域信息加权融合至第二帧图像，并将融合后的图像更新为参考帧；

依次执行所述基于特征对齐、所述基于空域信息加权融合和更新参考帧的过程，直到最后一帧图像完成所述基于特征对齐与所述基于空域信息加权融合，获得所述第四图像。

7.根据权利要求3所述的方法，其特征在于，所述根据预训练的增强模型对所述第一图像的目标区域进行图像增强，获得包含清晰目标区域的第二图像，包括：利用构建的样本训练集训练，获得所述预训练的增强模型；根据所述预训练的增强模型对所述第一图像的目标区域进行图像增强，获得包含清晰目标区域的所述第二图像。

8.根据权利要求7所述的方法，其特征在于，所述利用构建的样本训练集训练，获得所述预训练的增强模型，包括：

获取电子设备采集的第一质量样本集，获取同一位置的第二质量样本集，所述第二质量样本集图像质量高于所述第一质量样本集；

依据电子设备不同的放大倍数将所述第一质量样本集和所述第二质量样本集分组，并将分组后的样本集依据特征对齐，获得第一样本集；

将所述第一样本集送入AI训练引擎，获得所述预训练的增强模型。

9.根据权利要求8所述的方法，其特征在于，所述第二质量样本集包括：高清电子设备采集的高质量图像样本或存储设备中存储的高质量图像样本。

10.根据权利要求8所述的方法，其特征在于，所述将分组后的样本集依据特征对齐，其中所述特征包括：所述第一质量样本集和所述第二质量样本集中图像组的特征或图像组周边的辅助标定点特征。

11.一种图像处理装置，其特征在于，包括：

获取单元，用于依据第一曝光参数获取单一曝光的多帧图像，所述单一曝光的多帧图像为包含目标区域的具有相同曝光参数的图像；

第一融合单元，用于对所述单一曝光的多帧图像进行合成处理，获得第一图像；

其中，所述第一融合单元包括：

融合模块，用于对所述单一曝光的多帧图像使用多帧图像超分辨率技术进行多帧融合，获得第四图像；

扩展模块，用于对所述第四图像进行单帧动态范围扩展，获得所述第一图像；

其中，对所述第四图像进行单帧动态范围扩展，获得所述第一图像包括：依据所述第四图像构建对数亮度金字塔，获取不同尺度的环境光亮度；结合所述不同尺度的环境光亮度，根据所述对数亮度金字塔对所述第四图像进行逐层下采样重建及映射，获取每一像素位置的物体表面对数反射量；利用局部均值与均方差信息，将所述物体表面对数反射量映射至图像数值区间，获得所述第一图像。

12.根据权利要求11所述的装置，其特征在于，所述图像处理装置还包括检测单元，用于通过在预览图像对目标区域测光确定所述第一曝光参数或者在预设的范围内选定所述第一曝光参数。

13.根据权利要求11所述的装置，其特征在于，所述装置还包括：

增强单元，用于根据预训练的增强模型对所述第一图像的目标区域进行图像增强，获得包含清晰目标区域的第二图像；

第二融合单元，用于对所述第一图像和所述第二图像进行融合处理，获得第三图像。

14.根据权利要求12所述的装置，其特征在于，所述检测单元包括：

检测模块，用于在预览图像中进行特征检测，获得所述目标区域；

测光模块，用于对所述目标区域进行测光，获得目标区域的平均亮度；确定模块，用于依据所述目标区域的平均亮度，确定所述第一曝光参数。

15.根据权利要求11所述的装置，其特征在于，所述融合模块还包括：

参考子模块，用于在所述单一曝光的多帧图像中选择清晰度最高的一帧作为参考帧；

对齐子模块，用于所述单一曝光的多帧图像的其余帧向所述参考帧基于特征对齐，获得对齐后的多帧图像；

融合子模块，用于对所述对齐后的多帧图像基于空域信息加权融合，获得所述第四图像。

16.根据权利要求11所述的装置，其特征在于，所述融合模块还包括：

第一处理子模块，用于在所述单一曝光的多帧图像中依据清晰度进行排序，并选择第一帧图像作为参考帧；

第二处理子模块，用于将所述参考帧基于特征对齐、基于空域信息加权融合至第二帧图像，并将融合后的图像更新为参考帧；

第三处理子模块，用于依次执行所述基于特征对齐、所述基于空域信息加权融合和更新参考帧的过程，直到最后一帧图像完成所述基于特征对齐与所述基于空域信息加权融合，获得所述第四图像。

17.根据权利要求13所述的装置，其特征在于，所述增强单元包括：

构建模块，用于利用构建的样本训练集训练，获得所述预训练的增强模型；

增强模块，用于根据所述预训练的增强模型对所述第一图像的目标区域进行图像增强，获得包含清晰目标区域的所述第二图像。

18.根据权利要求17所述的装置，其特征在于，所述构建模块还包括：

第四处理子模块，用于获取电子设备采集的第一质量样本集，获取同一位置的第二质量样本集，所述第二质量样本集图像质量高于所述第一质量样本集；

第五处理子模块，用于依据电子设备不同的放大倍数将所述第一质量样本集和所述第二质量样本集分组，并将分组后的样本集依据特征对齐，获得第一样本集；

第六处理子模块，用于将所述第一样本集送入AI训练引擎，获得所述预训练的增强模型。

19.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至10中任意一项所述的图像处理方法。

20.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至10中任意一项所述的图像处理方法。