CN113284063A - 图像处理方法、图像处理装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、图像处理装置、电子设备和可读存储介质，属于通信设备技术领域。其中，图像处理方法，包括：以不同曝光参数获取第一图像序列，对第一图像序列进行滤波处理，以得到第二图像序列，第二图像序列与第一图像序列呈映射关系，第二图像序列中每个图像的像素点的亮度差值大于等于对应的第一图像序列中图像的像素点的亮度差值；确定目标权重函数；根据目标权重函数对第二图像序列进行融合处理，以得到目标图像。

Description

图像处理方法、图像处理装置、电子设备和可读存储介质

技术领域

本申请属于通信设备领域，具体涉及一种图像处理方法、一种图像处理装置、一种电子设备和一种可读存储介质。

背景技术

随着用户对智能产品使用要求的提高，为了提高产品的竞争力，需要提高电子设备的数码摄像头的成像技术。

目前，通过高位输出成像设备能够实现高动态范围成像，虽然成像效果较好，但是，能够实现高动态范围成像的成像器件价格昂贵，难以成为实现动态范围成像的主流方法。

发明内容

本申请实施例的目的是提供一种图像处理方法、图像处理装置、电子设备和可读存储介质，能够解决现高动态范围成像的成像器件价格昂贵，难以成为实现动态范围成像的主流方法的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种图像处理方法，包括：

以不同曝光参数获取第一图像序列，对第一图像序列进行滤波处理，以得到第二图像序列，第二图像序列与第一图像序列呈映射关系，第二图像序列中每个图像的像素点的亮度差值大于等于对应的第一图像序列中图像的像素点的亮度差值；

确定目标权重函数，根据目标权重函数对第二图像序列进行融合处理，以得到目标图像。

第二方面，本申请实施例提供了一种图像处理装置，该装置包括：

滤波模块，滤波模块以不同曝光参数获取第一图像序列，对第一图像序列进行滤波处理，以得到第二图像序列，第二图像序列与第一图像序列呈映射关系，第二图像序列中每个图像的像素点的亮度差值大于等于对应的第一图像序列中图像的像素点的亮度差值；

融合模块，融合模块确定目标权重函数，根据目标权重函数对第二图像序列进行融合处理，以得到目标图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器，存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面中的图像处理方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的图像处理方法的步骤。

在本申请实施例中，限定了通过不同曝光参数获取第一图像序列，即用户在使用电子设备进行拍摄时，电子设备会通过不同的曝光参数获取多张图像，多张图像即为第一图像序列。对第一图像序列进行滤波处理即为对图像的预处理，处理后的多张图像为第二图像序列，第二图像序列和第一图像序列是映射关系，其中，预处理后图像体现为，第二图像序列中每个图像的像素点的亮度差值大于等于对应的第一图像序列中图像的像素点的亮度差值，所以滤波处理是对图像的亮度进行预调整，增大第一图像序列中各图像内的至少部分像素点的差值，例如，第一图像序列中的一些像素点的亮度差值较小，可以增大该部分像素点的亮度差值，如果第一图像序列中的一些像素点的两端差值较大，就不需要对该部分像素点的亮度差值进行调整，对第一图像序列中的图像进行处理之后，第二图像序列中的各个图像的非边缘细节会变得模糊，而图像的边缘得以保留，能够为后续的图像融合操作提供便利。

在对图像进行预处理之后，根据目标权重，对第二图像序列进行融合，使得多张图像融合为一张目标图像，通过目标权重对多张图像进行融合，使得得到的目标图像能够消除部分光晕以及克服局部细节丢失的缺陷，从而避免图像整体亮度比例失调，从而能够提供一种高动态范围的图像。由于上述过程中通过对图像进行滤波操作，所以能够为之后的融合步骤提供中间图像，使得多张图像可以在像素的空间域内进行融合，而不必进行多分辨率分解或两层分解的复杂操作，简化了图像处理的时间。本申请的实施例中通过对图像的预处理和图像融合而使得电子设备能够实现高动态范围成像，并不非是简单的依赖于成像器件，电子设备上不需要装配昂贵的成像器件也能够实现高动态范围成像，有利于提升产品的竞争力。

附图说明

图1示出了根据本申请的一个实施例的图像处理方法的流程图之一；

图2示出了根据本申请的一个实施例的图像处理方法的流程图之二；

图3示出了根据本申请的一个实施例的图像处理方法的流程图之三；

图4示出了根据本申请的一个实施例的图像处理方法的流程图之四；

图5示出了根据本申请的一个实施例的图像处理方法的流程图之五；

图6示出了根据本申请的一个实施例的图像处理方法的流程图之六；

图7示出了根据本申请的一个实施例的图像处理装置的结构框图；

图8示出了根据本申请的一个实施例的电子设备的结构框图之一；

图9示出了根据本申请的一个实施例的电子设备的结构框图之二；

图10示出了本申请的一个实施例的像素点亮度差值的示意图；

图11示出了本申请的一个实施例的像素点亮度差值与核函数值的函数关系示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、图像处理装置、电子设备、可读存储介质和芯片进行详细地说明。

在本申请的一些实施例中，图1示出了本申请实施例的图像处理方法的流程图，图像处理方法，包括：

步骤S102，以不同曝光参数获取第一图像序列，对第一图像序列进行滤波处理，以得到第二图像序列，第二图像序列与第一图像序列呈映射关系，第二图像序列中每个图像的像素点的亮度差值大于等于对应的第一图像序列中图像的像素点的亮度差值。

在本申请实施例中，限定了通过不同曝光参数获取第一图像序列，即用户在使用电子设备进行拍摄时，电子设备会通过不同的曝光参数获取多张图像，多张图像即为第一图像序列。对第一图像序列进行滤波处理即为对图像的预处理，处理后的多张图像为第二图像序列，第二图像序列和第一图像序列是映射关系，其中，预处理后图像体现为，第二图像序列中每个图像的像素点的亮度差值大于等于对应的第一图像序列中图像的像素点的亮度差值，所以滤波处理是对图像的亮度进行预调整，增大第一图像序列中各图像内的至少部分像素点的差值，例如，第一图像序列中的一些像素点的亮度差值较小，可以增大该部分像素点的亮度差值，如果第一图像序列中的一些像素点的两端差值较大，就不需要对该部分像素点的亮度差值进行调整，对第一图像序列中的图像进行处理之后，第二图像序列中的各个图像的非边缘细节会变得模糊，而图像的边缘得以保留，能够为后续的图像融合操作提供便利。

步骤S104，确定目标权重函数，根据目标权重函数对第二图像序列进行融合处理，以得到目标图像。

在对图像进行预处理之后，根据目标权重，对第二图像序列进行融合，使得多张图像融合为一张目标图像，通过目标权重对多张图像进行融合，使得得到的目标图像能够消除部分光晕以及克服局部细节丢失的缺陷，从而避免图像整体亮度比例失调，从而能够提供一种高动态范围的图像。由于上述过程中通过对图像进行滤波操作，所以能够为之后的融合步骤提供中间图像，使得多张图像可以在像素的空间域内进行融合，而不必进行多分辨率分解或两层分解的复杂操作，简化了图像处理的时间。本申请的实施例中通过对图像的预处理和图像融合而使得电子设备能够实现高动态范围成像，并不非是简单的依赖于成像器件，电子设备上不需要装配昂贵的成像器件也能够实现高动态范围成像，有利于提升产品的竞争力。

如图2所示，在一种可能的实施例中，对第一图像序列进行滤波处理，以得到第二图像序列，具体包括：

步骤S202，确定第一图像序列的每个图像中像素点的亮度差值序列；

步骤S204，根据预设亮度差阈值，选取亮度差值序列中的目标亮度差值；

步骤S206，根据目标亮度差值确定亮度核函数值；

步骤S208，根据亮度核函数值对第一图像序列的每个图像进行滤波，以得到第二图像序列。

在该实施例中，第一图像序列包括多个子序列，例如亮度差值序列、色彩序列等，本实施例中，获取的是第一图像序列中的亮度差值序列，并对亮度差值序列进行预处理。

根据预设亮度差阈值，选取亮度差值序列中的目标亮度差值，具体地，获取亮度差值序列中的两个像素点之间的亮度差值，将该亮度差值预亮度差阈值进行比较，满足设定条件的亮度差值即为目标亮度差值。

根据目标亮度差值计算亮度核函数值。示例性地，本实施例中的亮度差阈值包第一阈值和第二阈值，第一阈值大于第二阈值，当两个像素点之间的亮度差值小于第二阈值时，认为得到该亮度差值的两个像素点属于同一类别，其两个核函数值为1。当两个像素点之间的亮度差值大于第一阈值时，认为得到该亮度差值的两个像素点不同于同一类别，其核函数值为0。当两个像素点之间的两个差值在第一阈值和第二阈值之间时，认为得到该两个差值的两个像素点近似属于同一类别，其核函数值为0和1之间的值，如图11所示，本实施例中位于0和1之间的核函数与亮度差阈值呈线性函数关系，第一阈值和第二阈值可以为根据使用需求设定的数值。根据亮度差阈值，选取目标亮度差值，例如选取亮度差值小于第二阈值的差值作为目标两个差值，然后以该两个差值计算亮度核函数值，根据亮度核函数值对第一图像序列的每个图像进行滤波，通过上述操作，使得第一图像序列中的每个图像的非边缘细节变得模糊，原图中的边缘得以保留，使得后续对图像的融合过程中可以直接从像素的孔建域为基础进行融合，不采用多分辨率分解等时间复杂度高的框架，节省融合时间，降低融合难度，提高融合效果。

如图3所示，在一种可能的实施例中，确定第一图像序列的每个图像中像素点亮度差值序列，具体包括：

步骤S302，计算图像中每个像素点与其临域内的像素点的亮度差值，以得到亮度差值序列。

在该实施例中，计算每个像素点其领域内的像素点的亮度差值，具体为，将一个像素点作为中心像素点，与中心像素点相邻的像素点属于该中心像素点的邻域像素点，例如，如图10所示，中心像素点为P，其邻域Ω有8个像素点，即为3×3邻域。仅以3×3邻域为例，说明本实施例的核函数值计算方法。首先以中心像素点P为基准，P表示该像素点的空间坐标，计算其与邻域像素点之间的亮度距离，以邻域点q为例，其计算公式为：

d_k,p＝|L_k,p-L_k,q|,q∈Ω；

其中，d_k,p为第k张亮度差值序列上的像素点p与其邻域Ω内像素点之间的亮度距离，L_k,p为像素点P的亮度，L_k,q为像素点q的亮度，在亮度距离d_k,p的基础上，根据图11的映射关系可计算像素点p的核函数ω_k,p，具体说明如下：当亮度距离d_k,p大于阈值σ_H时，核函数ω_k,p的值为0；当亮度距离d_k,p小于阈值σ_L时，核函数ω_k,p的值为1；当亮度距离d_k,p介于阈值σ_H和σ_L之间时，核函数ω_k,p的值为亮度距离d_k,p的线性函数，且在边界σ_H和σ_L上保持连续。

计算每个像素点其领域内的像素点的亮度差值，得到亮度差值序列，根据预设亮度差阈值，选取亮度差值序列中的目标亮度差值，并根据目标亮度差值确定亮度核函数值，具体为，当邻域像素点与中心像素点的亮度距离较小时，以阈值σ_L为界，认为该邻域像素点与中心像素点属于同一类别，其函数值设置为1；当邻域像素点与中心像素点的亮度距离较大时，以阈值σ_H为界，认为该类邻域像素点与中心像素点不属于同一类别，其函数值设置为0；当邻域像素点与中心像素点的亮度距离适中时，以阈值σ_L和σ_H为边界，认为该类邻域像素点与中心像素点可近似属于同一类别，其函数值设置为0和1之间的值。

在计算每个中心点与临域像素点的亮度差值时，会出现重复计算的情况，可进一步进行加速处理，节省重复计算的步骤。

当核函数的值为0时，表征该像素点不参与中心像素点p的滤波操作；当核函数的值为1时，表征该像素点完全参与中心像素点p的滤波操作；当核函数的值介于0与1之间时，表征该像素点p部分参与中心像素点的滤波操作。

根据亮度核函数值对第一图像序列的每个图像进行滤波，多曝光图像序列中每个像素点p都存在与之邻域内容相匹配的核函数ω_k,p，且对于RGB(全彩图)三通道进行相同的滤波操作，三通道指的是：红色通道、绿色通道和蓝色通道。

具体通过以下公开进行计算，

其中，I_k,c,p指第k幅多曝光图像通道c(c可以为上述三通道中的一个通道)上的像素点p的像素值，

表征在像素点p的邻域内进行求和操作，F_k,c,p则是滤波结果，即第k幅滤波后图像通道c上的像素点p的像素值。通过滤波操作，便得到滤波后的第二图像序列，以供后续步骤使用。该步骤目的是为权重函数的计算提供一个中间图像，以使得所计算的权重图能直接用于空域内图像融合，以减少计算过程中的时间复杂度，同时又能够有效抑制光晕等现有缺陷。

如图4所示，在一种可能的实施例中，确定目标权重函数，具体包括：

步骤S402，确定第一图像序列中每个图像的全局权重值和局部权重值；

步骤S404，根据全局权重值和局部权重值，计算目标权重函数。

在该实施例中，提出了目标权重函数由全局权重值和局部权重值计算得出，通过全局权重值对多张图像进行融合时，关注的是图像整体的亮度分布，存在局部细节丢失的可能，通过局部权重值对多张图像进行融合时，关注的是细节呈现，但是存在对比度异常的可能，本实施例中综合考虑了上面的问题，结合全局权重值和局部权重值，得到目标权重函数，既考虑了图像整体的亮度分布，又关注了图像的局部细节，避免图像整体亮度分布失调，有利于实现高动态范围成像。

全局权重关注融合图像整体的亮度分布，存在局部细节丢失的可能，的局部权重关注融合图像局部的细节呈现，存在对比度异常的可能，因此，组合全局权重{Wg_k}和局部权重{Wl_k}，得到最终权重函数：

W_k＝(Wg_k)^α×Wl_k；

其中α表示全局权重与局部权重的组合比例，可根据应用的实际需求，适当调整全局权重和局部权重的比例。

本实施例针对现有曝光融合算法存在的边缘光晕、局部细节丢失、时间复杂度高、亮度分布失调等缺陷，从像素域直接融合的方式出发，不采用多分辨率分解等时间复杂度高的框架，通过一种边缘保持的滤波方式对图像进行预处理，再计算权重函数以消除可能的光晕和局部细节丢失等缺陷，且通过全局权重和局部权重的组合，以避免图像整体亮度分布失调。

本实施例提出的权重组合计算方法，可根据目标场景的内容，利用机器学习等思路实现场景自适应的组合参数选择，以达成更智能的视觉效果。

如图5所示，在一种可能的实施例中，确定第一图像序列中每个图像的全局权重值，具体包括：

步骤S502，根据第一图像序列中的亮度参数计算每张图像素材的全局权重值。

在该实施例中，限定了计算全局权重值的一种方式，全局权重计算为多曝光图像序列的每张图像赋予一个全局权重，即视目标图像为一个整体，其权重值为一个常数，可描述为：

Wg_k＝f_g(I_k)；

典型地，全局权重函数可使用如下形式：

其中，μ(·)表示图像的归一化亮度均值，

是控制参数。该全局权重函数的物理意义是，当某张图像的亮度均值接近0.5时，其全局权重更大，反之更小。这样，当图像整体亮度越接近0.5，表示其能够提供更多的有用信息，故将其全局权重设置为较大的值。

全局权重计算是一种计算方法，其中的全局权重函数f_g(·)不局限于的例子，当输入多曝光图像序列{I_k}，输出{Wg_k}为常数向量时，皆可作为全局权重函数。例如，当结合直方图规整化，令融合图像满足一定直方图条件，则可得到相应的全局权重函数f_g(·)的具体形式。

如图6所示，在一种可能的实施例中，确定第一图像序列中每个图像的局部权重值，具体包括：

步骤S602，根据第二图像序列中的像素值计算第二图像序列中图像的每个像素点的权重值；

步骤S604，根据每个像素点的权重值进行计算，以得到第一图像序列中每个图像的局部权重值。

在该实施例中，限定了计算局部权重值的一种方式，局部权重计算以滤波图像序列{F_k}为计算基础，为每张多曝光图像{I_k}赋予一个体现局部细节的局部权重，其权重值是一个二维函数，可描述为：

Wl_k＝f_l(F_k)；

典型地，局部权重函数可使用如下形式：

其中，

表示对滤波图像的三个通道分别计算局部权重，并求它们的乘积，F_k,c表示第k张滤波图像通道c的像素值，ρ是控制参数。

的局部权重计算是一种计算方法，其中的局部权重函数f_g(·)不局限于的例子，逐像素点计算所得的二维函数皆可作为局部权重函数{Wl_k}。本实施例的局部权重计算方法在于，权重函数的计算是在滤波图像序列{F_k}上进行的，而不在多曝光图像序列{I_k}上进行，其特点在于在保留局部细节的同时，消除了光晕等伪影。

需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行加载图像处理的方法的控制模块。本申请实施例中以图像处理装置执行加载图像处理的方法为例，说明本申请实施例提供的图像处理装置。

如图7所示，在本申请的一些实施例中，图像处理装置900包括：

滤波模块910，滤波模块910以不同曝光参数获取第一图像序列，对第一图像序列进行滤波处理，以得到第二图像序列，第二图像序列与第一图像序列呈映射关系，第二图像序列中每个图像的像素点的亮度差值大于等于对应的第一图像序列中图像的像素点的亮度差值；

融合模块920，融合模块920确定目标权重函数，根据目标权重函数对第二图像序列进行融合处理，以得到目标图像。

在本申请实施例中，限定了通过不同曝光参数获取第一图像序列，即用户在使用电子设备进行拍摄时，电子设备会通过不同的曝光参数获取多张图像，多张图像即为第一图像序列。对第一图像序列进行滤波处理即为对图像的预处理，处理后的多张图像为第二图像序列，第二图像序列和第一图像序列是映射关系，其中，预处理后图像体现为，第二图像序列中每个图像的像素点的亮度差值大于等于对应的第一图像序列中图像的像素点的亮度差值，所以滤波处理是对图像的亮度进行预调整，增大第一图像序列中各图像内的至少部分像素点的差值，例如，第一图像序列中的一些像素点的亮度差值较小，可以增大该部分像素点的亮度差值，如果第一图像序列中的一些像素点的两端差值较大，就不需要对该部分像素点的亮度差值进行调整，对第一图像序列中的图像进行处理之后，第二图像序列中的各个图像的非边缘细节会变得模糊，而图像的边缘得以保留，能够为后续的图像融合操作提供便利。

在对图像进行预处理之后，根据目标权重，对第二图像序列进行融合，使得多张图像融合为一张目标图像，通过目标权重对多张图像进行融合，使得得到的目标图像能够消除部分光晕以及克服局部细节丢失的缺陷，从而避免图像整体亮度比例失调，从而能够提供一种高动态范围的图像。由于上述过程中通过对图像进行滤波操作，所以能够为之后的融合步骤提供中间图像，使得多张图像可以在像素的空间域内进行融合，而不必进行多分辨率分解或两层分解的复杂操作，简化了图像处理的时间。本申请的实施例中通过对图像的预处理和图像融合而使得电子设备能够实现高动态范围成像，并不非是简单的依赖于成像器件，电子设备上不需要装配昂贵的成像器件也能够实现高动态范围成像，有利于提升产品的竞争力。

在一种可能的实施例中，滤波模块910包括：第一确定模块，第一确定模块用于确定第一图像序列的每个图像中像素点的亮度差值序列；选取模块，选取模块根据预设亮度差阈值，选取亮度差值序列中的目标亮度差值；第二确定模块，第二确定模块根据目标亮度差值确定亮度核函数值；滤波子模块，滤波子模块根据亮度核函数值对第一图像序列的每个图像进行滤波，以得到第二图像序列。

在该实施例中，第一图像序列包括多个子序列，例如亮度差值序列、色彩序列等，本实施例中，获取的是第一图像序列中的亮度差值序列，并对亮度差值序列进行预处理。

根据预设亮度差阈值，选取亮度差值序列中的目标亮度差值，具体地，获取亮度差值序列中的两个像素点之间的亮度差值，将该亮度差值预亮度差阈值进行比较，满足设定条件的亮度差值即为目标亮度差值。

根据目标亮度差值计算亮度核函数值。示例性地，本实施例中的亮度差阈值包第一阈值和第二阈值，第一阈值大于第二阈值，当两个像素点之间的亮度差值小于第二阈值时，认为得到该亮度差值的两个像素点属于同一类别，其两个核函数值为1。当两个像素点之间的亮度差值大于第一阈值时，认为得到该亮度差值的两个像素点不同于同一类别，其核函数值为0。当两个像素点之间的两个差值在第一阈值和第二阈值之间时，认为得到该两个差值的两个像素点近似属于同一类别，其核函数值为0和1之间的值，如图11所示，本实施例中位于0和1之间的核函数与亮度差阈值呈线性函数关系，第一阈值和第二阈值可以为根据使用需求设定的数值。根据亮度差阈值，选取目标亮度差值，例如选取亮度差值小于第二阈值的差值作为目标两个差值，然后以该两个差值计算亮度核函数值，根据亮度核函数值对第一图像序列的每个图像进行滤波，通过上述操作，使得第一图像序列中的每个图像的非边缘细节变得模糊，原图中的边缘得以保留，使得后续对图像的融合过程中可以直接从像素的孔建域为基础进行融合，不采用多分辨率分解等时间复杂度高的框架，节省融合时间，降低融合难度，提高融合效果。

在一种可能的实施例中，滤波模块910还包括：第一计算模块，第一计算模块用于计算图像中每个像素点与其临域内的像素点的亮度差值，以得到亮度差值序列。

在该实施例中，计算每个像素点其领域内的像素点的亮度差值，具体为，将一个像素点作为中心像素点，与中心像素点相邻的像素点属于该中心像素点的邻域像素点，例如，如图10所示，中心像素点为P，其邻域Ω有8个像素点，即为3×3邻域。仅以3×3邻域为例，说明本实施例的核函数值计算方法。首先以中心像素点P为基准，P表示该像素点的空间坐标，计算其与邻域像素点之间的亮度距离，以邻域点q为例，其计算公式为：

d_k,p＝|L_k,p-L_k,q|,q∈Ω；

其中，d_k,p为第k张亮度差值序列上的像素点p与其邻域Ω内像素点之间的亮度距离，L_k,p为像素点P的亮度，L_k,q为像素点q的亮度，在亮度距离d_k,p的基础上，根据图11的映射关系可计算像素点p的核函数ω_k,p，具体说明如下：当亮度距离d_k,p大于阈值σ_H时，核函数ω_k,p的值为0；当亮度距离d_k,p小于阈值σ_L时，核函数ω_k,p的值为1；当亮度距离d_k,p介于阈值σ_H和σ_L之间时，核函数ω_k,p的值为亮度距离d_k,p的线性函数，且在边界σ_H和σ_L上保持连续。

计算每个像素点其领域内的像素点的亮度差值，得到亮度差值序列，根据预设亮度差阈值，选取亮度差值序列中的目标亮度差值，并根据目标亮度差值确定亮度核函数值，具体为，当邻域像素点与中心像素点的亮度距离较小时，以阈值σ_L为界，认为该邻域像素点与中心像素点属于同一类别，其函数值设置为1；当邻域像素点与中心像素点的亮度距离较大时，以阈值σ_H为界，认为该类邻域像素点与中心像素点不属于同一类别，其函数值设置为0；当邻域像素点与中心像素点的亮度距离适中时，以阈值σ_L和σ_H为边界，认为该类邻域像素点与中心像素点可近似属于同一类别，其函数值设置为0和1之间的值。

在计算每个中心点与临域像素点的亮度差值时，会出现重复计算的情况，可进一步进行加速处理，节省重复计算的步骤。

当核函数的值为0时，表征该像素点不参与中心像素点p的滤波操作，的滤波操作为步骤S13；当核函数的值为1时，表征该像素点完全参与中心像素点p的滤波操作；当核函数的值介于0与1之间时，表征该像素点p部分参与中心像素点的滤波操作。

根据亮度核函数值对第一图像序列的每个图像进行滤波，多曝光图像序列中每个像素点p都存在与之邻域内容相匹配的核函数ω_k,p，且对于RGB(全彩图)三通道进行相同的滤波操作，三通道指的是：红色通道、绿色通道和蓝色通道。

具体通过以下公开进行计算，

其中，I_k,c,p指第k幅多曝光图像通道c(c可以为上述三通道中的一个通道)上的像素点p的像素值，

表征在像素点p的邻域内进行求和操作，F_k,c,p则是滤波结果，即第k幅滤波后图像通道c上的像素点p的像素值。通过滤波操作，便得到滤波后的第二图像序列，以供后续步骤使用。该步骤目的是为权重函数的计算提供一个中间图像，以使得所计算的权重图能直接用于空域内图像融合，以减少计算过程的时间复杂度，同时又能够有效抑制光晕等现有缺陷。

在一种可能的实施例中，融合模块920包括：第三确定模块，确定第一图像序列中每个图像的全局权重值和局部权重值；第二计算模块，第二计算模块根据全局权重值和局部权重值，计算目标权重函数。

在该实施例中，提出了目标权重函数由全局权重值和局部权重值计算得出，通过全局权重值对多张图像进行融合时，关注的是图像整体的亮度分布，存在局部细节丢失的可能，通过局部权重值对多张图像进行融合时，关注的是细节呈现，但是存在对比度异常的可能，本实施例中综合考虑了上面的问题，结合全局权重值和局部权重值，得到目标权重函数，既考虑了图像整体的亮度分布，又关注了图像的局部细节，避免图像整体亮度分布失调，有利于实现高动态范围成像。

全局权重关注融合图像整体的亮度分布，存在局部细节丢失的可能，的局部权重关注融合图像局部的细节呈现，存在对比度异常的可能，因此，组合全局权重{Wg_k}和局部权重{Wl_k}，得到最终权重函数：

W_k＝(Wg_k)^α×Wl_k；

其中α表示全局权重与局部权重的组合比例，可根据应用的实际需求，适当调整全局权重和局部权重的比例。

本实施例针对现有曝光融合算法存在的边缘光晕、局部细节丢失、时间复杂度高、亮度分布失调等缺陷，从像素域直接融合的方式出发，不采用多分辨率分解等时间复杂度高的框架，通过一种边缘保持的滤波方式对图像进行预处理，再计算权重函数以消除可能的光晕和局部细节丢失等缺陷，且通过全局权重和局部权重的组合，以避免图像整体亮度分布失调。

本实施例提出的权重组合计算方法，可根据目标场景的内容，利用机器学习等思路实现场景自适应的组合参数选择，以达成更智能的视觉效果。

在一种可能的实施例中，融合模块920还包括：第三计算模块，第三计算模块根据第一图像序列中的亮度参数计算每张图像素材的全局权重值。

在该实施例中，限定了计算全局权重值的一种方式，全局权重计算为多曝光图像序列的每张图像赋予一个全局权重，即视目标图像为一个整体，其权重值为一个常数，可描述为：

Wg_k＝f_g(I_k)；

典型地，全局权重函数可使用如下形式：

其中，μ(·)表示图像的归一化亮度均值，

是控制参数。该全局权重函数的物理意义是，当某张图像的亮度均值接近0.5时，其全局权重更大，反之更小。这样，当图像整体亮度越接近0.5，表示其能够提供更多的有用信息，故将其全局权重设置为较大的值。

全局权重计算是一种计算方法，其中的全局权重函数f_g(·)不局限于的例子，当输入多曝光图像序列{I_k}，输出{Wg_k}为常数向量时，皆可作为全局权重函数。例如，当结合直方图规整化，令融合图像满足一定直方图条件，则可得到相应的全局权重函数f_g(·)的具体形式。

在一种可能的实施例中，融合模块920还包括：第四计算模块，第四计算模块根据第二图像序列中的像素值计算第二图像序列中图像每个像素点的权重值；第五计算模块，第五计算模块根据每个像素点的权重值进行计算，以得到第一图像序列中每个图像的局部权重值。

在该实施例中，限定了计算局部权重值的一种方式，局部权重计算以滤波图像序列{F_k}为计算基础，为每张多曝光图像{I_k}赋予一个体现局部细节的局部权重，其权重值是一个二维函数，可描述为：

Wl_k＝f_l(F_k)；

典型地，局部权重函数可使用如下形式：

其中，

表示对滤波图像的三个通道分别计算局部权重，并求它们的乘积，F_k,c表示第k张滤波图像通道c的像素值，ρ是控制参数。

的局部权重计算是一种计算方法，其中的局部权重函数f_g(·)不局限于的例子，逐像素点计算所得的二维函数皆可作为局部权重函数{Wl_k}。本实施例的局部权重计算方法在于，权重函数的计算是在滤波图像序列{F_k}上进行的，而不在多曝光图像序列{I_k}上进行，其特点在于在保留局部细节的同时，消除了光晕等伪影。

本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

如图8所示，本申请实施例还提供一种电子设备100，包括处理器110，存储器109，存储在存储器109上并可在处理器110上运行的程序或指令，该程序或指令被处理器110执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。需要注意的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图9为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。

本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源111(比如电池)，电源111可以通过电源管理***与处理器110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器110，用于以不同曝光参数获取第一图像序列，对第一图像序列进行滤波处理，以得到第二图像序列，第二图像序列与第一图像序列呈映射关系，第二图像序列中每个图像的像素点的亮度差值大于等于对应的第一图像序列中图像的像素点的亮度差值；确定目标权重函数；根据目标权重函数对第二图像序列进行融合处理，以得到目标图像。

可选的，处理器110，用于确定第一图像序列的每个图像中像素点的亮度差值序列；根据预设亮度差阈值，选取亮度差值序列中的目标亮度差值；根据目标亮度差值确定亮度核函数值；根据亮度核函数值对第一图像序列的每个图像进行滤波，以得到第二图像序列。

可选的，处理器110，用于计算图像中每个像素点与其临域内的像素点的亮度差值，以得到亮度差值序列。

可选的，处理器110，用于确定第一图像序列中每个图像的全局权重值和局部权重值；根据全局权重值和局部权重值，计算目标权重函数。

可选的，处理器110，用于根据第一图像序列中的亮度参数计算每张图像素材的全局权重值。

可选的，处理器110，用于根据第二图像序列中的像素值计算第二图像序列中图像的每个像素点的权重值；根据每个像素点的权重值进行计算，以得到第一图像序列中每个图像的局部权重值。

通过对图像进行滤波操作，所以能够为之后的融合步骤提供中间图像，使得多张图像可以在像素的空间域内进行融合，而不必进行多分辨率分解或两层分解的复杂操作，简化了图像处理的时间。本申请的实施例中通过对图像的预处理和图像融合而使得电子设备能够实现高动态范围成像，并不非是简单的依赖于成像器件，电子设备上不需要装配昂贵的成像器件也能够实现高动态范围成像。

应理解的是，本申请实施例中，输入单元104可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作***。处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

以不同曝光参数获取第一图像序列，对所述第一图像序列进行滤波处理，以得到第二图像序列，所述第二图像序列与所述第一图像序列呈映射关系，所述第二图像序列中每个图像的像素点的亮度差值大于等于对应的所述第一图像序列中图像的像素点的亮度差值；

确定目标权重函数；

根据所述目标权重函数对所述第二图像序列进行融合处理，以得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一图像序列进行滤波处理，以得到第二图像序列，具体包括：

确定所述第一图像序列的每个图像中像素点的亮度差值序列；

根据预设亮度差阈值，选取所述亮度差值序列中的目标亮度差值；

根据所述目标亮度差值确定亮度核函数值；

根据所述亮度核函数值对所述第一图像序列的每个图像进行滤波，以得到所述第二图像序列。

3.根据权利要求2所述的图像处理方法，其特征在于，所述确定所述第一图像序列的每个图像中像素点亮度差值序列，具体包括：

计算所述图像中每个像素点与其临域内的像素点的亮度差值，以得到所述亮度差值序列。

4.根据权利要求1至3中任一项所述的图像处理方法，其特征在于，所述确定目标权重函数，具体包括：

确定所述第一图像序列中每个图像的全局权重值和局部权重值；

根据所述全局权重值和所述局部权重值，计算所述目标权重函数。

5.根据权利要求4所述的图像处理方法，其特征在于，所述确定所述第一图像序列中每个图像的全局权重值，具体包括：

根据所述第一图像序列中的亮度参数计算每张图像素材的所述全局权重值。

6.根据权利要求4所述的图像处理方法，其特征在于，所述确定所述第一图像序列中每个图像的局部权重值，具体包括：

根据所述第二图像序列中的像素值计算所述第二图像序列中图像的每个像素点的权重值；

根据所述每个像素点的权重值进行计算，以得到所述第一图像序列中每个图像的局部权重值。

7.一种图像处理装置，其特征在于，包括：

滤波模块，所述滤波模块以不同曝光参数获取第一图像序列，对所述第一图像序列进行滤波处理，以得到第二图像序列，所述第二图像序列与所述第一图像序列呈映射关系，所述第二图像序列中每个图像的像素点的亮度差值大于等于对应的所述第一图像序列中图像的像素点的亮度差值；

融合模块，所述融合模块确定目标权重函数，根据所述目标权重函数对所述第二图像序列进行融合处理，以得到目标图像。

8.根据权利要求7所述的图像处理装置，其特征在于，所述滤波模块包括：

第一确定模块，所述第一确定模块用于确定所述第一图像序列的每个图像中像素点的亮度差值序列；

选取模块，所述选取模块根据预设亮度差阈值，选取所述亮度差值序列中的目标亮度差值；

第二确定模块，所述第二确定模块根据所述目标亮度差值确定亮度核函数值；

滤波子模块，所述滤波子模块根据所述亮度核函数值对所述第一图像序列的每个图像进行滤波，以得到所述第二图像序列。

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。

Images