CN110910365A - 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法 - Google Patents

Abstract

本发明涉及一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法，其特征在于，首先，基于多曝光融合图像与源曝光级序列图像的结构差异性使用超像素分割法将融合图像划分为信息量较大和信息量较小区域；其次，基于拉普拉斯金字塔分别计算信息量较大和信息量较小区域的质量图；再次，采用基于信息论的自适应性加权策略计算信息量较大和信息量较小区域局部质量分数，然后平均所得的变动较大和变动较小区域的局部质量分数得到融合图像的质量分数。实验结果表明，该方法对动态场景和静态场景的多曝光融合图像的视觉质量评价都展现出良好的预测性能。

Description

一种同时对于动态场景和静态场景的多曝光融合图像的质量 评价方法

技术领域

本发明涉及一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法，属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。

背景技术

随着数字媒体的***式增长，人们对于高质量图像的需求也在不断增长，然而，普通传感器和显示器能捕捉到的亮度动态范围的是有限的，很难重现真实世界中的所有动态范围的细节。高动态范围图像合成技术和多曝光融合技术可以克服这个缺陷，高动态范围图像合成技术是通过转换相机响应函数将一系列在相同的场景拍摄不同的曝光级别的图像序列融合成一张高动态范围图像，为了能在普通显示器上显示图像，随后借助色调映射技术将高动态范围图像压缩成低动态范围图像。而多曝光融合技术直接将一系列不同曝光级别的图像序列融合成一张信息丰富的低动态范围图像。

然而，高动态范围图像合成技术和多曝光融合技术都需要输入对齐的不同曝光级别的图像序列，也就是拍摄场景中不能包含移动的物体或相机、手的抖动，获得的源曝光级序列中不能包含动态信息，不同曝光级别图像间小小的位移都会导致最终融合的图像中产生鬼影。最近几年，越来越多人研究如何检测和抑制鬼影。然而，不同的高动态范围图像合成技术和多曝光融合技术会影响融合图像结构、对比度和颜色等方面，并且产生的融合图像拥有不同的感知质量。因此，设计一个质量评价方法同时评估动态场景和静态场景的多曝光融合图像是非常有必要的。现存只有几个评估静态场景的多曝光融合图像的客观质量评估方法和少量评估动态场景的多曝光融合图像的客观质量评估方法，这些方法都不能同时评估动态场景和静态场景的多曝光融合图像。就本发明所知的，目前没有提出任何同时针对动态场景和静态场景的多曝光融合图像的客观质量评价算法。因此，填补同时针对动态场景和静态场景的多曝光融合图像质量评价的空白，本发明旨在设计针对同时针对动态场景和静态场景的多曝光融合图像的客观质量算法，有效的实现同时针对动态场景和静态场景的多曝光融合图像客观质量的自动预测。

发明内容

本发明涉及一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法，其特征在于，首先，基于多曝光融合图像与源曝光级序列图像的结构差异性使用超像素分割法将融合图像划分为信息量较大和信息量较小区域；其次，基于拉普拉斯金字塔分别计算信息量较大和信息量较小区域的质量图；再次，采用基于信息论的自适应性加权策略计算信息量较大和信息量较小区域局部质量分数，然后平均所得的变动较大和变动较小区域的局部质量分数得到融合图像的质量分数。实验结果表明，该方法对动态场景和静态场景的多曝光融合图像的视觉质量评价都展现出良好的预测性能。

一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法，其特征在于，包括以下几个步骤：

A.计算多曝光融合图像与源曝光级序列图像的结构差异性，同时，对多曝光融合图像进行超像素分割，计算每个超像素块中的平均差异值，并根据所得的差异值将超像素块二值化，由此获得将融合图像划分为信息量较大和信息量较小区域的二值图；

B.将融合图像进行拉普拉斯金字塔分解，对于信息量较大区域，计算融合图像与源曝光级序列图像的结构相似性和对比度保真度，结合结构相似性和对比度保真度获得信息量较大区域的质量图；

C.对于信息量较小区域，分别计算融合图像与源曝光级序列图像的纹理相似性和对比度保真度，结合纹理相似性和对比度保真的获得信息量较小区域的质量图；

D.分别计算信息量较大区域和信息量较小区域的超像素块的质量分数，然后计算融合图像的锐度，并求得每个超像素块锐利度的熵，把所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重，计算得到信息量较大区域和信息量较小区域的局部质量分数，将得到的局部质量分数求平均，获得融合图像的全局质量分数，最后采用多尺度加权方法得到融合图像的总体视觉质量分数。

进一步地，基于多曝光融合图像与源曝光级序列图像的结构差异性，用超像素分割将融合图像划分为信息量较大区域和信息量较小区域，其具体步骤是：

A.计算融合图像与源曝光级序列图像的结构差异性，其计算公式如下：

其中，x_k表示第k张源曝光级序列图，共有K张序列图；y表示多曝光融合图像；σ_y，

是用大小为11×11，标准差为1.5的高斯滑动窗口分别计算融合图像y，第k张源曝光级序列图像x_k的方差；

是融合图像y和第k张源曝光级序列图像x_k的协方差；C₁是一个提高算式稳定性的常量，C₁＝(0.03×255)²；

B.随后计算每个超像素块中的结构差异值，其计算公式如下：

其中，b_i是以第i个像素点为中心的超像素块；|b_i|是该超像素块中包含的像素数量；mean(·)表示在每个像素点上的求均值操作；然后根据所得的差异值二值化超像素块，得到将融合图像划分为信息量较大和信息量较小区域的二值图，其计算公式如下：

其中，Th是提前设置的阈值，Th＝0.9。

进一步地，将融合图像进行拉普拉斯金字塔分解，对于信息量较大区域，计算融合图像与源曝光级序列图像的结构相似性和对比度保真度，结合结构相似性和对比度保真度获得信息量较大区域的质量图，其具体步骤是：

A.将融合图像与源曝光级序列图像进行拉普拉斯金字塔分解，用l_y,s和

表示第s个尺度的融合图像和第k张源曝光级序列图像的拉普拉斯金字塔分解图，共有S个尺度，则融合图像和第k张源曝光级序列图像在第s个尺度上的结构相似性的计算公式如下：

其中，C₂是一个提高算式稳定性的常量，C₂＝C₁；

B.使用对比度敏感函数(Contrast sensitive function)量化图像的对比度信息，其计算公式如下；

c_y,_s(m,n)＝F^-1[F[l_y,_s]sd(r)], (5

其中，(m,n)表示像素点位置；F[·]表示傅里叶变换；sd(r)是在极坐标中的对比度敏感函数，计算公式如下：

其中，r表示极坐标点，

f₀和f₁表示中心和四周的空间频率，f₀＝15.3870，f₁＝1.3456；参数a是振幅参数，a＝0.7622；随后，对比度保真度可由如下公式计算：

C.通过结合结构保真度和对比度保真度，可获得信息量较大区域的质量图，其计算公式如下：

其中，α和β是用来调节两个保真度的相对重要性，α＝β＝1。

进一步地，对于信息量较小区域，分别计算融合图像与源曝光级序列图像的纹理相似性和对比度保真度，结合纹理相似性和对比度保真的获得变动较小区域的质量，其具体步骤是：

A.使用高斯拉普拉斯算子提取融合图像和源曝光级序列图像的纹理信息，其计算公式如下：

其中，g_y,_s和

分别是融合图像和第k张源曝光级序列图像在s个尺度上的纹理信息；LoG(m,n)是以0为中心，标准差为σ高斯拉普拉斯函数；

表示卷积操作；融合图像和源曝光级序列图像间的纹理相似性可通过如下公式计算得：

B.与信息量较大区域相似，通过式(5)-(8)可以计算得到信息量较小区域的对比度保准度

C.结合纹理相似性和对比度保真度，得到变动较小区域的质量图，其计算公式如下：

其中，γ和δ是调节两个保真度的相对重要性，γ＝δ＝1。

进一步地，分别计算信息量较大区域和信息量较小区域的超像素块的质量分数，然后计算融合图像的锐利度，并求得每个超像素块锐利度的熵，把所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重，计算得到信息量较大区域和信息量较小区域的局部质量分数，将得到的局部质量分数求平均，获得融合图像的全局质量分数，最后采用多尺度的方法加权得到融合图像的总体视觉质量分数；其具体步骤是：

A.首先，计算融合图像y与第k张源曝光级序列图像的互信息

然后用互信息加权每个超像素块中的平均质量，并选择最大的质量分数作为超像素块的质量分数，其计算公式如下：

其中，b_r是在信息量较大区域以第r个像素为中心的超像素块；|b_r|是该超像素块中包含的像素数量；

B.对于超像素块中最大的平均质量分数，其计算公式如下：

C.信息量较大区域内的超像素块的质量分数可通过如下公式计算得到：

其中，w_t是平衡两个质量分数的权重；

D.对于信息量较小区域，计算每张源曝光级序列图像的感知信息内容，其计算公式如下：

其中，C₄表示人类视觉***中的噪声强度，通过计算得到的感知信息内容将信息量较小区域的质量图融合成一张质量图，其计算公式如下：

E.信息量较小区域内的超像素块的质量分数可通过如下公式计算得到：

其中，b_d是在信息量较小区域以第d个像素为中心的超像素块；|b_d|是该超像素块中包含的像素数量；

F.对于融合图像的锐度，利用四个多方向的算子{f_τ}_τ＝1,2,3,4提取融合图像的锐度，其计算公式如下：

其中，τ₁和τ₂表示卷积后得到前两个最大值的算子的索引；|·|表示取绝对值；

G.计算每个超像素块锐度的熵，把信息量较大区域以像素r为中心的超像素块的熵记为

信息量较大区域以像素d为中心的超像素块的熵记为

随后，将所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重，计算得到信息量较大区域和信息量较小区域的局部质量分数，其计算公式如下：

其中，n^u和n^v分别表示信息量较大区域和信息量较小区域超像素的数量；因此，融合图像的全局质量分数为：

H.采用多尺度的方法计算融合图像的总体视觉质量分数，其计算公式如下：

其中ω_s表示第s个尺度的权重，其中ω_s为{ω₁＝0.0517，ω₂＝0.3295，ω₃＝0.3462，ω₄＝0.2726}。

附图说明

图1为本发明的算法框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

其中，本文所涉及的技术特征、简写/缩写、符号等，以本领域技术人员的公知认识/通常理解为基础进行解释、定义/说明。

下面结合附图，对本发明的技术方案做进一步的详细描述。

本发明的过程如图1所示，具体过程如下：

步骤1：计算多曝光融合图像与源曝光级序列图像的结构差异性，同时，对多曝光融合图像进行超像素分割，计算每个超像素块中的平均差异值，并根据所得的差异值将超像素块二值化，由此获得将融合图像划分为信息量较大和信息量较小区域的二值图；

步骤2：将融合图像进行拉普拉斯金字塔分解，对于信息量较大区域，计算融合图像与源曝光级序列图像的结构相似性和对比度保真度，结合结构相似性和对比度保真度获得信息量较大区域的质量图；

步骤3：对于信息量较小区域，分别计算融合图像与源曝光级序列图像的纹理相似性和对比度保真度，结合纹理相似性和对比度保真的获得信息量较小区域的质量图；

步骤4：采用自适应权重策略，分别计算信息量较大区域和信息量较小区域的超像素块的质量分数，然后计算融合图像的锐度，并求得每个超像素块锐利度的熵，把所求的熵值作为变动较大区域和变动较小区域质量分数的权重，计算得到信息量较大区域和信息量较小区域的局部质量分数，将得到的局部质量分数求平均，获得融合图像的全局质量分数。

本发明使用一种常用的标准来评估算法预测三维视频质量的准确性。斯皮尔曼的相关系数(Spearman Rank-order Correlation Coefficient，SRCC)，用来评估预测的单调性。一般来说，SRCC值越接近于1说明单调性越高，越接近0说明单调性越低。为了验证本发明提出的算法的性能，本发明将算法与现有的多曝光融合图像质量评价方法在静态多曝光融合数据库MEF-S和动态多曝光融合数据库MEF-D上进行比较，包括Wang08、Hossny08、Wang04、Ma15、Xing17、Rahman17以及Fang19。

本发明提出了一种有效的同时针对动态场景和静态场景的多曝光融合图像的客观质量评价方法，该方法主要分为为四个部分：信息量较大和信息量较小区域划分；信息量较大区域质量评价；信息量较小区域质量评价；自适应权重策略。

本发明各个部分的具体操作如下：

(1)信息量较大和信息量较小区域划分：

多曝光融合图像是由一组不同曝光级别的图像序列融合而成，首先，计算融合图像与源曝光级序列图像的结构差异性，其计算公式如下：

其中，x_k表示第k张源曝光级序列图，共有K张序列图；y表示多曝光融合图像；σ_y，

是用大小为11×11，标准差为1.5的高斯滑动窗口分别计算融合图像y，第k张源曝光级序列图像x_k的方差；

是融合图像y和第k张源曝光级序列图像x_k的协方差；C₁是一个提高算式稳定性的常量，C₁＝(0.03×255)²；随后计算每个超像素块中的结构差异值，其计算公式如下：

其中，b_i是以第i个像素点为中心的超像素块；|b_i|是该超像素块中包含的像素数量；mean(·)表示在每个像素点上的求均值操作；然后根据所得的差异值二值化超像素块，得到将融合图像划分为信息量较大和信息量较小区域的二值图，其计算公式如下：

其中，Th是提前设置的阈值，Th＝0.9。

(2)信息量较大区域质量评价：

将融合图像与源曝光级序列图像进行拉普拉斯金字塔分解，用l_y,s和

表示第s个尺度的融合图像和第k张源曝光级序列图像的拉普拉斯金字塔分解图，共有S个尺度；则融合图像和第k张源曝光级序列图像在第s个尺度上的结构相似度的计算公式如下：

其中，C₂是一个提高算式稳定性的常量，C₂＝C₁。使用对比度敏感函数(Contrastsensitive function)量化图像的对比度信息，其计算公式如下；

c_y,s(m,n)＝F^-1[F[l_y,s]sd(r)], (30

其中，(m,n)表示像素点位置；F[·]表示傅里叶变换；sd(r)是在极坐标中的对比度敏感函数，计算公式如下：

其中,r表示极坐标点，

f₀和f₁表示中心和四周的空间频率，f₀＝15.3870，f₁＝1.3456；参数a是振幅参数，a＝0.7622。随后，对比度保真度可由如下公式计算：

随后，通过结合结构相似度和对比度保真度，可获得信息量较大区域的质量图，其计算公式如下：

其中，α和β是用来调节两个保真度的相对重要性，α＝β＝1。

(3)信息量较小区域质量评价：

使用高斯拉普拉斯(Laplacian ofGaussian)算子提取融合图像和源曝光级序列图像的纹理信息，其计算公式如下：

其中，LoG(m,n)是以0为中心，标准差为σ高斯拉普拉斯函数，

表示卷积操作；因此，融合图像和源曝光级序列图像间的纹理相似度可通过如下公式计算得：

与信息量较大区域相似，通过式(5)-(8)可以计算得到信息量较小区域的对比度保准度

结合纹理相似度和对比度保真度，得到信息量较小区域的质量图，其计算公式如下：

其中，γ和δ是调节两个保真度的相对重要性，γ＝δ＝1。

(4)自适应权重策略

首先，计算融合图像y与第k张源曝光级序列图像的互信息

然后用互信息加权每个超像素块中的平均质量，并选择最大的质量分数作为超像素块的质量分数，其计算公式如下：

其中，b_r是在信息量较大区域以第r个像素为中心的超像素块；|b_r|是该超像素块中包含的像素数量；对于超像素块中最大的平均质量分数，其计算公式如下：

因此，信息量较大区域内的超像素块的质量分数可通过如下公式计算得到：

其中，w_t是平衡两个质量分数的权重。

对于信息量较小区域，计算每张源曝光级序列图像的感知信息内容，其计算公式如下：

其中，C₄表示人类视觉***中的噪声强度。通过计算得到的感知信息内容将信息量小区域的质量图融合成一张质量图，其计算公式如下：

信息量较小区域内的超像素块的质量分数可通过如下公式计算得到：

其中，b_d是在信息量较小区域以第d个像素为中心的超像素块；|b_d|是该超像素块中包含的像素数量。

接下来,计算融合图像的锐度，利用四个多方向的算子{f_τ}_τ＝1,2,3,4提取融合图像的锐度，其计算公式如下：

其中，τ₁和τ₂表示卷积后得到前两个最大值的算子的索引；|·|表示取绝对值。计算每个超像素块锐度的熵，把信息量较大区域以像素r为中心的超像素块的熵记为

信息量较大区域以像素d为中心的超像素块的熵记为

随后，将所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重，计算得到信息量较大区域和信息量较小区域的局部质量分数，其计算公式如下：

其中，n^u和n^v分别表示信息量较大区域和信息量较小区域超像素的数量。因此，融合图像的全局质量分数为：

最后采用多尺度的方法计算融合图像的总体视觉质量分数，其计算公式如下：

其中ω_s表示第s个尺度的权重，其中{ω₁＝0.0517，ω₂＝0.3295，ω₃＝0.3462，ω₄＝0.2726}。

表1：本发明和其它不同质量评价方法模型在数据库MEF-S上性能的比较

方法	Hossny08	Wang04	Ma15	Xing17	Rahman17	Fang19	本发明
								SRCC	-0.278	-0.252	0.857	0.878	0.910	0.697	0.870

表1为不同融合图像客观质量评价方法在静态多曝光融合图像数据库上比较的实例，本发明提出的同时对于动态场景和静态场景的多曝光融合图像质量评价方法性能较好。

表2：本发明和其它不同质量评价方法模型在数据库MEF-D上性能的比较

方法	Wang08	Hossny08	Wang04	Ma15	Rahman17	Fang19	本发明
								SRCC	0.283	0.608	0.618	0.202	0.188	0.730	0.743

表2为不同融合图像客观质量评价方法在动态多曝光融合图像数据库上比较的实例，本发明提出的同时对于动态场景和静态场景的多曝光融合图像质量评价方法性能最好。

上述实施方式是对本发明的说明，不是对本发明的限定，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的保护范围由所附权利要求及其等同物限定。

Claims (5)

1.一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法，其特征在于，包括以下几个步骤：

A.计算多曝光融合图像与源曝光级序列图像的结构差异性，同时，对多曝光融合图像进行超像素分割，计算每个超像素块中的平均差异值，并根据所得的差异值将超像素块二值化，由此获得将融合图像划分为信息量较大和信息量较小区域的二值图；

B.将融合图像进行拉普拉斯金字塔分解，对于信息量较大区域，计算融合图像与源曝光级序列图像的结构相似性和对比度保真度，结合结构相似性和对比度保真度获得信息量较大区域的质量图；

C.对于信息量较小区域，分别计算融合图像与源曝光级序列图像的纹理相似性和对比度保真度，结合纹理相似性和对比度保真的获得信息量较小区域的质量图；

D.分别计算信息量较大区域和信息量较小区域的超像素块的质量分数，然后计算融合图像的锐度，并求得每个超像素块锐利度的熵，把所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重，计算得到信息量较大区域和信息量较小区域的局部质量分数，将得到的局部质量分数求平均，获得融合图像的全局质量分数，最后采用多尺度加权方法得到融合图像的总体视觉质量分数。

2.根据权利要求1所述的方法，其特征在于，基于多曝光融合图像与源曝光级序列图像的结构差异性，用超像素分割将融合图像划分为信息量较大区域和信息量较小区域，其具体步骤是：

A.计算融合图像与源曝光级序列图像的结构差异性，其计算公式如下：

其中，x_k表示第k张源曝光级序列图，共有K张序列图；y表示多曝光融合图像；σ_y，

是用大小为11×11，标准差为1.5的高斯滑动窗口分别计算融合图像y，第k张源曝光级序列图像x_k的方差；

是融合图像y和第k张源曝光级序列图像x_k的协方差；C₁是一个提高算式稳定性的常量，C₁＝(0.03×255)²；

B.随后计算每个超像素块中的结构差异值，其计算公式如下：

其中，b_i是以第i个像素点为中心的超像素块；|b_i|是该超像素块中包含的像素数量；mean(·)表示在每个像素点上的求均值操作；然后根据所得的差异值二值化超像素块，得到将融合图像划分为信息量较大和信息量较小区域的二值图，其计算公式如下：

其中，Th是提前设置的阈值，Th＝0.9。

3.根据权利要求1所述的方法，其特征在于，将融合图像进行拉普拉斯金字塔分解，对于信息量较大区域，计算融合图像与源曝光级序列图像的结构相似性和对比度保真度，结合结构相似性和对比度保真度获得信息量较大区域的质量图，其具体步骤是：

A.将融合图像与源曝光级序列图像进行拉普拉斯金字塔分解，用l_y,s和

表示第s个尺度的融合图像和第k张源曝光级序列图像的拉普拉斯金字塔分解图，共有S个尺度，则融合图像和第k张源曝光级序列图像在第s个尺度上的结构相似性的计算公式如下：

其中，C₂是一个提高算式稳定性的常量，C₂＝C₁；

B.使用对比度敏感函数(Contrast sensitive function)量化图像的对比度信息，其计算公式如下；

c_y,s(m,n)＝F^-1[F[l_y,s]sd(r)], (5)

其中，(m,n)表示像素点位置；F[·]表示傅里叶变换；sd(r)是在极坐标中的对比度敏感函数，计算公式如下：

其中，r表示极坐标点，

f₀和f₁表示中心和四周的空间频率，f₀＝15.3870，f₁＝1.3456；参数a是振幅参数，a＝0.7622；随后，对比度保真度可由如下公式计算：

C.通过结合结构保真度和对比度保真度，可获得信息量较大区域的质量图，其计算公式如下：

其中，α和β是用来调节两个保真度的相对重要性，α＝β＝1。

4.根据权利要求3所述的方法，其特征在于，对于信息量较小区域，分别计算融合图像与源曝光级序列图像的纹理相似性和对比度保真度，结合纹理相似性和对比度保真的获得变动较小区域的质量，其具体步骤是：

A.使用高斯拉普拉斯算子提取融合图像和源曝光级序列图像的纹理信息，其计算公式如下：

其中，g_y,s和

分别是融合图像和第k张源曝光级序列图像在s个尺度上的纹理信息；LoG(m,n)是以0为中心，标准差为σ高斯拉普拉斯函数；

表示卷积操作；融合图像和源曝光级序列图像间的纹理相似性可通过如下公式计算得：

B.与信息量较大区域相似，通过式(5)-(8)可以计算得到信息量较小区域的对比度保准度

C.结合纹理相似性和对比度保真度，得到变动较小区域的质量图，其计算公式如下：

其中，γ和δ是调节两个保真度的相对重要性，γ＝δ＝1。

5.根据权利要求3所述的方法，其特征在于，分别计算信息量较大区域和信息量较小区域的超像素块的质量分数，然后计算融合图像的锐利度，并求得每个超像素块锐利度的熵，把所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重，计算得到信息量较大区域和信息量较小区域的局部质量分数，将得到的局部质量分数求平均，获得融合图像的全局质量分数，最后采用多尺度的方法加权得到融合图像的总体视觉质量分数；其具体步骤是：

A.首先，计算融合图像y与第k张源曝光级序列图像的互信息

然后用互信息加权每个超像素块中的平均质量，并选择最大的质量分数作为超像素块的质量分数，其计算公式如下：

其中，b_r是在信息量较大区域以第r个像素为中心的超像素块；|b_r|是该超像素块中包含的像素数量；

B.对于超像素块中最大的平均质量分数，其计算公式如下：

C.信息量较大区域内的超像素块的质量分数可通过如下公式计算得到：

其中，w_t是平衡两个质量分数的权重；

D.对于信息量较小区域，计算每张源曝光级序列图像的感知信息内容，其计算公式如下：

其中，C₄表示人类视觉***中的噪声强度，通过计算得到的感知信息内容将信息量较小区域的质量图融合成一张质量图，其计算公式如下：

E.信息量较小区域内的超像素块的质量分数可通过如下公式计算得到：

其中，b_d是在信息量较小区域以第d个像素为中心的超像素块；|b_d|是该超像素块中包含的像素数量；

F.对于融合图像的锐度，利用四个多方向的算子{f_τ}_τ＝1,2,3,4提取融合图像的锐度，其计算公式如下：

其中，τ₁和τ₂表示卷积后得到前两个最大值的算子的索引；|·|表示取绝对值；

G.计算每个超像素块锐度的熵，把信息量较大区域以像素r为中心的超像素块的熵记为

信息量较大区域以像素d为中心的超像素块的熵记为

随后，将所求的熵值作为信息量较大区域和信息量较小区域质量分数的权重，计算得到信息量较大区域和信息量较小区域的局部质量分数，其计算公式如下：

其中，n^u和n^v分别表示信息量较大区域和信息量较小区域超像素的数量；因此，融合图像的全局质量分数为：

H.采用多尺度的方法计算融合图像的总体视觉质量分数，其计算公式如下：

其中ω_s表示第s个尺度的权重，其中ω_s为{ω₁＝0.0517，ω₂＝0.3295，ω₃＝0.3462，ω₄＝0.2726}。

Images