CN110046673A - 基于多特征融合的无参考色调映射图像质量评价方法 - Google Patents

Abstract

本发明提供了一种基于多特征融合的无参考色调映射图像质量评价方法。该方法主要分为特征提取阶段以及训练回归阶段。在特征提取阶段分三个领域提取图像的特征，在像素领域提取了图像的熵特征，基于灰度共生矩阵的纹理特征和自然场景统计特征；在模糊度领域我们采用局部相位一致性评估整体模糊度，在边缘区域提取小块特征测量晕轮效应；在色彩领域我们将图像转换到对立颜色空间，测量整体颜色信息和各个通道的对比度信息。最后运用机器学习的方法预测色调映射图像的质量。本发明提出的算法能够准确有效地预测色调映射图像的质量。

Description

基于多特征融合的无参考色调映射图像质量评价方法

技术领域

本发明涉及色调映射图像质量评价技术领域，是一种基于特征提取的图像质量评价方法，具体地指，涉及一种基于多特征融合的无参考色调映射图像质量评价方法。

背景技术

高动态范围(High Dynamic Range,HDR)图像能够准确地显示从阴沉星光到明亮阳光之间的亮度差异(10^-3cd/m²到10⁵cd/m²)，能带给观看者更真实丰富的视觉体验。然而，现有图像处理***主要使用的是传统的8位低动态范围(Low Dynamic Range,LDR)显示设备。为使HDR图像向后兼容于LDR显示设备，人们提出了将HDR图像转换为LDR图像的色调映射算子(Tone-Mapping Operator,TMO)。理想情况下，色调映射图像(Tone-Mapped Image,TMI)应该保有原来的结构以及细节信息，并且颜色等方面的信息没有变化。但是，实际情况中图像动态范围的改变会不可避免地引入失真。正因如此，现阶段亟需针对TMI的质量评价方法(Tone-Mapping Image Quality Assessment,TM-IQA)，以判别TMI质量的优劣，也可作为改进TMO的目标函数。

由于在大多数场合原始图像难以获取，因此无参考图像质量评价算法一直是关注重点。无参考图像质量评价算法是一种客观评价算法，主要通过提取失真图像的特征而不获取原始图像，来预测图像的客观质量，评价的目标是使预测的图像客观质量尽量与人眼对图像的主观评价质量分数相同。目前无参考图像质量评价算法已发展到通用型，可以分为两种：第一种是基于机器学习思想，通过学习训练来构建评价模型，再通过测试集评估其性能；第二种是直接提取特征将其映射，得到图像质量的评估值，不需要模型训练过程。但是以上两种方法在TM-IQA应用中仍然存在如下缺陷：

1、目前算法仅考虑某些单一类别特征，没有从多角度出发，因此预测准确度较差；

2、目前算法仅从人眼视觉***的角度评价图像质量，没有考虑到TMI图像独有的特征，比如TMI图像存在独有的晕轮效应。

发明内容

针对现有技术中存在的上述不足，本发明提供了一种基于多特征融合的无参考色调映射图像(TMI)质量评价方法，该方法属于背景技术中所述的第一种算法，包括像素领域，模糊度和色彩领域，能够提高无参考色调映射图像(TMI)质量评价技术的性能及主观一致性，以及提高算法的效率，准确有效地预测TMI图像的质量。

本发明提供的基于多特征融合的无参考色调映射图像(TMI)质量评价方法主要分为特征提取阶段以及训练回归阶段。在特征提取阶段分三个领域提取图像的特征，在像素领域提取了图像的熵特征，基于灰度共生矩阵(gray level co-occurrence matrix,GLCM)的纹理特征和自然场景统计特征；在模糊度领域本发明采用局部相位一致性(local phasecoherence,LPC)评估整体模糊度，在边缘区域提取小块特征测量晕轮效应；在色彩领域本发明将图像转换到对立颜色空间，测量整体颜色信息和各个通道的对比度信息。最后运用支持向量机预测TMI图像的质量。

本发明是通过以下技术方案实现的。

一种基于多特征融合的无参考色调映射图像质量评价方法，包括：

-像素领域特征值计算，包括：

信息熵图像特征提取，通过将TMI图像转换到灰度域并倍增或倍减亮度值的方式估计TMI图像和变换后图像的详细信息量，并使用信息熵的方法计算细节信息量；

灰度共生矩阵特征提取，将TMI图像转换为灰度共生矩阵，并提取体现边缘特性的三个特征：能量、相关性和均匀度；

图像自然场景统计特征提取，通过在空域对TMI图像进行均值对比规范化，得到MSCN系数；将得到的MSCN系数进行自然场景统计分析，以提取的参数作为统计特征值；

-模糊度领域特征值计算，包括：

LPC特征提取，采用局部相位一致性评价TMI图像的模糊度；

图像边缘特征提取，测量TMI图像中物体周围产生光圈的晕轮效应，先使用Canny算子提取TMI图像的边缘，再计算边缘像素点周围的n×n小块亮度的均值、方差以及偏度，来衡量图像边缘的亮度以及边缘区域发散的程度；

-色彩领域特征值提取，包括：

全局颜色特征提取，将图像转换到对立颜色空间，测量整体颜色信息；

局部对比度特征提取，在对立颜色空间的三个颜色通道上，分别测量局部小块的对比度情况；

-训练模型并测试：

将上述步骤提取的各领域特征值以及图像数据库中提供的相应主观质量分数构成数据集，使用数据集中的训练数据训练支持向量回归器；测试时，将数据集中的测试数据的特征值输入训练好的支持向量回归器，得到预测的图像客观质量分数，并将图像客观质量分数与图像数据库中提供的相应主观质量分数相比较验证预测准确度。

优选地，所述信息熵图像特征提取，包括如下步骤：

将TMI图像转换到灰度域并倍增或倍减亮度值的方式估计TMI图像和变换后图像的详细信息量，变换后图像的计算公式如下：

I_j＝min(max(I×muI_j，0)，255)

其中，I是一张TMI图像，muI_j是第i个乘子，在这里选取max和min算子取两数中的较大或较小值，用来将图像的像素区域转换到0-255区间；接下来，使用信息熵来衡量图片的信息量；对于任意信号，熵表示该信号无序程度，采用熵用来测量图像I信号及其变换后的图像I_j信号所携带的细节信息量，公式如下：

H_j＝-Σp_i(I_j)log₂p_i(I_j)

其中，H_j代表了I_j的信息熵，p_i(I_j)是变换后的图像I_j在灰度域的概率密度。

优选地，所述灰度共生矩阵特征提取，包括如下步骤：

选取体现边缘特性的三个特征：能量(E)、相关性(C)和均匀度(V)，分别进行计算：

其中，μ和σ分别表示像素的均值和方差，G(x，y)是灰度共生矩阵第x行、第y列的元素，k是灰度域的尺度范围，在这里取值为256。

优选地，所述图像自然场景统计特征提取，包括如下步骤：

假设图片I的大小为M×N，I(i，j)代表图像第(i，j)个空域位置的亮度值，i∈{1，2，...M}，j∈{1，2，...N}，MSCN***的计算公式如下所示：

其中，局部均值μ_I(i，j)和标准差σ_I(i，j)的定义如下：

其中，W＝{W_p，q|p＝-P，...P，q＝-Q，...Q}是中心位于第(i，j)个像素点的对称局部高斯卷积窗，窗口的大小设置为7×7；

MSCN***的分布存在一定统计规律并可以通过广义高斯密度分布拟合，零均值的广义高斯密度分布函数表示为：

其中，尺度参数特征Γ(·)是伽马函数，其表达式为：

提取拟合的高斯密度分布函数中的参数α和δ²作为图像特征，以衡量图像的失真程度；其中，α是形状参数，控制广义高斯密度分布的包络，δ²表示广义高斯分布的方差；

优选地，所述LPC特征提取，包括如下步骤：

利用可控制金字塔分解的复杂形式，输入图像被分解为多方向的3尺度子带；分解图的LPC系数定义为：

其中，L是可控制金字塔分解的方向数，Φ({c_i，l}是第L个方向上的最佳子带的系数为i的相位，是相应的预测相位，K是一个用于防止在小能量处不稳定的常数；

整张图的LPC系数被定义为：

其中，P_i是由LPC图像派生的排序后的LPC值，W_i是分配给第i个LPC值的权重。

优选地，所述图像边缘特征提取，包括如下步骤：

首先利用Canny算子提取图像的边缘，然后计算统计特征来测量边缘的晕轮效应；所述统计特征是指，对于边缘像素点周围的n×n小块区域，提取出三类特征：

f_h1＝E(h_e)

f_h2＝E(h_e ²)-E(h_e)²

其中，h_e是每个小块亮度值的直方图，E(·)代表期望值，σ_h表示he的方差，偏度f_h3是度量变量分布对称性的特征；

所述n×n取值为8×8。

优选地，所述全局颜色特征提取，包括如下步骤：

首先将RGB图像转换到对立颜色空间，具体公式如下：

其中，R，G，B分别表示RGB颜色空间的红，绿，蓝三个颜色通道；L1是相应的红绿通道，L2是相应的蓝绿通道，L3是相应的亮度通道；则全局的颜色属性表示如下：

其中，μL1，μL2分别表示两个颜色通道的方差和均值。

优选地，所述局部对比度特征提取，包括如下步骤：

将图像的亮度分为三个颜色通道的值，使用两个特征C₁和C₂，分别计算图像每个小块亮度的差值和小块中像素点亮度的发散程度；计算公式如下：

M和N表示块的大小，i和j分别表示块中像素点的位置，这里块的大小设置为8×8，I_mean代表了该小块亮度的均值，I_min和I_max分别代表亮度的最小值和最大值。

优选地，所述训练模型并测试，包括如下步骤：

将数据集中80％的数据作为训练数据用于训练支持向量回归器，其余20％的数据作为测试数据用于进行测试，训练数据和测试数据在内容上的不重叠；

将测试数据中每张TMI图像的特征值输入训练好的支持向量回归器，输出预测的图像客观质量分数。

与现有技术相比，本发明具有如下有益效果：

1、本发明提出的方法考虑到TMI图像独有的晕轮效应，更符合人眼对TMI图像的视觉感知特性；

2、本发明提出方法从多个不同领域考虑了TMI图像的特征，在特征选取的角度考虑周全，且特征维度不高，算法运行复杂度低；

3、本发明提出的方法能够更准确、更有效地评价TMI图像的质量。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明提出的无参考TMI图像质量评价算法的总框图。

图2是8个不同TMO产生TMI图片的LPC特征值及其对应的MOS值示意图。

图3是3张同一场景不同TMO产生的TMI图片。

图4是图3中的3张图片经过Canny算子转换后的对应的边缘信息图片。

图5是图4中3张图片对应的相同的边缘点处小块的亮度直方图。

图6是支持向量机的训练和测试过程示意图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

本发明实施例提供了一种基于多特征融合的无参考色调映射图像质量评价方法，包括：

像素领域特征值计算：通过将TMI图像转换到灰度域并倍增或倍减亮度值估计TMI图像和变换后图像的详细信息量，使用信息熵的方法计算图像细节信息量；将图像转换为灰度共生矩阵，并提取能体现细节边缘特性的三个特征：能量，相关性和均匀度；通过在空域对图像进行均值对比规范化(Mean Subtracted Contrast Normalized，MSCN)，得到MSCN系数。将得到的MSCN系数进行自然场景统计分析，以提取的参数作为统计特征值；

模糊度领域特征值计算：采用局部相位一致性(local phase coherence，LPC)来评价图像的模糊度，该方法不受图像亮度或对比度变化的影响。此外，本发明实施例测量了图像物体周围产生光圈的晕轮效应，先使用Canny算子提取TMI图像的边缘，再计算边缘像素点周围的8*8小块亮度的均值，方差，以及偏度，来衡量图像边缘的亮度以及边缘区域发散的程度；

色彩领域特征提取：首先将图像转换到对立颜色空间，测量整体颜色信息衡量颜色的丰富程度；然后，在对立颜色空间的三个颜色通道上，分别测量局部小块的对比度情况；

训练模型并预测：将上述步骤提取的各领域特征值及图像数据库中提供的相应主观质量分数构成数据集，使用数据集中的训练数据训练支持向量回归器；测试时，将数据集中的测试数据的特征值输入训练好的支持向量回归器，得到预测的图像客观质量分数，与图像数据库中的实际主观质量分数相比较验证预测准确度。

进一步地，所述像素领域特征值计算，包括如下步骤：

信息熵图像特征提取：本发明实施例通过将TMI图像转换到灰度域并倍增或倍减亮度值估计TMI图像和变换后图像的详细信息量。计算转换图像的公式如下：

I_j＝min(max(I×muI_j，0)，255)

其中，I是一张TMI图像，muI_j是第i个乘子，在这里选取max和min算子取两数中的较大或较小值，用来将图像的像素区域转换到0-255区间；接下来，使用信息熵来衡量图片的信息量；对于任意信号，熵表示该信号无序程度，采用熵用来测量图像I信号及其变换后的图像I_j信号所携带的细节信息量，公式如下：

H_j＝-Σp_i(I_j)log₂p_i(I_j)

其中，H_j代表了I_j的信息熵，p_i(I_j)是转换后的图像I_j在灰度域的概率密度。

灰度共生矩阵特征提取：通常提取图像纹理特征是采用在灰度共生矩阵的基础上计算出来一些统计量。本发明实施例结合TMI图像特点，选取了更能体现细边缘特性的三个特征：能量(E)，相关性(C)和均匀度(V)，计算方式分别如下：

其中，μ和σ表示像素的均值和方差，G(x，y)是灰度共生矩阵第x行、第y列的元素，k是灰度域的尺度范围，在这里取256；图像自然场景统计特征提取：通过在空域对图像进行均值对比规范化，得到MSCN系数；假设图片I的大小为M×N，I(i，j)代表图像第(i，j)个空域位置的亮度值，i∈{1，2，...M}，j∈{1，2，...N}。MSCN***的计算公式如下所示：

其中，局部均值μ_I(i，j)和标准差σ_I(i，j)的定义如下：

其中，W＝{W_p，q|p＝-P，...P，q＝-Q，...Q}是中心位于第(i，j)个像素点的对称局部高斯卷积窗，窗口的大小设置为7×7；

MSCN***的分布存在一定统计规律并可以通过广义高斯密度分布拟合，零均值的广义高斯密度分布函数表示为：

其中，尺度参数特征Γ(·)是伽马函数，其表达式为：

提取拟合的高斯密度分布函数中的参数α和δ²作为图像特征，以衡量图像的失真程度；其中，α是形状参数，控制广义高斯密度分布的包络，δ²表示广义高斯分布的方差；

进一步地，所述步骤2中，模糊度领域特征值计算，具体步骤为：

步骤2.1.LPC特征提取：利用可控制金字塔分解的复杂形式，输入图像被分解为多方向的3尺度子带；分解图的LPC系数定义为：

其中，L是可控制金字塔分解的方向数，Φ({c_i，l}是第L个方向上的最佳子带的系数为i的相位，是相应的预测相位，K是一个用来防止在小能量处不稳定的常数；

整张图的LPC系数被定义为：

其中，P_i是由LPC图像派生的排序后的LPC值，W_i是分配给第i个LPC值的权重。

步骤2.2.图像边缘特征提取：TMI图像可能会产生晕轮效应，即过度曝光区域会出现明亮的晕轮，首先利用Canny算子提取图像的边缘，然后计算统计特征来测量边缘的晕轮效应；所述统计特征是指，对于边缘像素点周围的n×n小块区域，提取出三类特征：

f_h1＝E(h_e)

f_h2＝E(h_e ²)-E(h_e)²

其中，h_e是每个小块亮度值的直方图，E(·)代表期望值，σ_h表示he的方差，偏度f_h3是度量变量分布对称性的特征；这本发明实施例中所述n×n取值为8×8；

进一步地，所述步骤3中，提取色彩度特征值，具体步骤为：

步骤3.1.全局颜色特征提取：本发明实施例将RGB图像转换到对立颜色空间，具体公式如下：

其中，R，G，B分别表示RGB颜色空间的红，绿，蓝三个颜色通道；L1是相应的红绿通道，L2是相应的蓝绿通道，L3是相应的亮度通道；则全局的颜色属性表示如下：

其中μL1，μL2分别表示两个颜色通道的方差和均值。

步骤3.2.局部对比度特征提取：将图像的亮度分为三个颜色通道的值，使用两个特征C₁和C₂，分别计算图像每个小块亮度的差值和小块中像素点亮度的发散程度，计算公式如下：

M和N表示块的大小，i和j表示块中像素点的位置，这里块的大小设置为8×8，I_mean代表了该小块亮度的均值，I_min和I_max分别代表亮度的最小值和最大值。

进一步地，所述步骤4中，训练模型并预测，具体步骤为：

步骤4.1.将数据集中80％的数据作为训练数据用于训练支持向量回归器，其余20％的数据作为测试数据用于进行测试，训练数据和测试数据在内容上的不重叠；

步骤4.2.把测试集中每张TMI图像的统计特征输入训练好的SVR模型，输出预测的图像客观质量分数。

下面结合附图对本发明上述实施例进一步详细说明。

参见图1，一种基于多特征融合的无参考色调映射图像质量评价方法，本实施例在epsilon-SVR类型的支持向量机、Matlab 2014a以及ESPL-LIVE HDR数据库上进行了实施。

具体实施步骤如下：

步骤1.像素领域特征值计算：通过将TMI图像转换到灰度域并倍增或倍减亮度值估计TMI图像和变换后图像的详细信息量，使用信息熵的方法计算图像信息量；将图像转换为灰度共生矩阵，并提取能体现细边缘特性的三个特征：能量，相关性和均匀度；通过在空域对图像进行均值对比规范化得到MSCN系数。将得到的MSCN系数进行自然场景统计分析，以提取的参数作为统计特征值；

步骤2.模糊度领域特征值计算：采用LPC来评价图像的模糊度，该方法不受图像亮度或对比度变化的影响；此外，本发明实施例测量了图像物体周围产生光圈的晕轮效应，先使用Canny算子提取TMI图像的边缘，再计算边缘像素点周围的8×8小块亮度的均值、方差以及偏度，来衡量图像边缘的亮度以及边缘区域发散的程度；

步骤3.色彩领域特征提取：全局颜色特征提取，将图像转换到对立颜色空间，测量整体颜色信息；局部对比度特征提取，在对立颜色空间的三个颜色通道上，分别测量局部小块的对比度情况；

步骤4.训练模型并预测：将上述步骤提取的各领域特征值及图像数据库中提供的相应主观质量分数构成数据集，使用数据集中的训练数据训练支持向量回归器；测试时，将数据集中的测试数据的特征值输入训练好的支持向量回归器，得到预测的图像客观质量分数，将图像客观质量分数与图像数据库中的实际主观质量分数相比较验证预测准确度。

所述步骤1中，像素领域特征值计算，具体步骤为：

步骤1.1.信息熵图像特征提取：本发明实施例通过将TMI图像转换到灰度域并倍增或倍减亮度值估计TMI图像和变换后图像的详细信息量，变换后图像的计算公式如下：

I_j＝min(max(I×muI_j，0)，255) (1)

其中，I是一张TMI图像，muI_j是第i个乘子，在这里选取max和min算子取两数中的较大或较小值，用来将图像的像素区域转换到0-255区间；接下来，使用信息熵来衡量图片的信息量；对于任意信号，熵表示该信号无序程度，采用熵来测量图像I信号及其变换后的图像I_j信号所携带的细节信息量，公式如下：

H_j＝-∑p_i(I_j)log₂p_i(I_j) (2)

其中，H_j代表了I_j的信息熵，p_i(I_j)是转换后的图像I_j在灰度域的概率密度。

步骤1.2.GLCM特征提取：通常提取图像纹理特征是采用在GLCM的基础上计算出来一些统计量。GLCM主要以条件概率提取纹理特征，获取像素级灰度纹理在空间上的相互关系。一般首先根据图像像素间的方向和距离构造矩阵，然后从该矩阵提取有意义的统计特征来描述纹理。

本发明实施例结合TMI图像特点，选取了更能体现细边缘特性的三个特征：能量(E)，相关性(C)和均匀度(V)，分别进行计算：

其中，μ和σ表示像素的均值和方差，G(x，y)是灰度共生矩阵第x行、第y列的元素，k是灰度域的尺度范围，在这里取256。

步骤1.3.图像自然场景统计特征提取：通过在空域对图像进行均值对比规范化，得到MSCN系数；假设图片I的大小为M×N，I(i，j)代表图像第(i，j)个空域位置的亮度值，i∈{1，2，...M}，j∈{1，2，...N}，MSCN***的计算公式如下所示：

其中，局部均值μ_I(i，j)和标准差σ_I(i，j)的定义如下：

其中，W＝(W_p，q|p＝-P，...P，q＝-Q，...Q}是中心位于第(i，j)个像素点的对称局部高斯卷积窗，窗口的大小设置为7×7；

MSCN***的分布存在一定统计规律并可以通过广义高斯密度分布拟合，零均值的广义高斯密度分布函数表示为：

其中，尺度参数特征Γ(·)是伽马函数，其表达式为：

提取拟合的高斯密度分布函数中的参数α和δ²作为图像特征，以衡量图像的失真程度；其中，α是形状参数，控制广义高斯密度分布的包络，δ²表示广义高斯分布的方差；

步骤2.1.LPC特征提取：LPC描述了在图像特征点处局部相位在尺度空间上成一条直线，这种现象称为相位一致，即全局或局部相位在尺度空间上独特的图像特征；考虑到人眼观察图像时，首先关注全局信息其次关注局部信息，而小波具有时频局部性，它更符合人的视觉***，因此，采用基于小波域中局部相位一致性来评价图像的模糊度，该方法不受图像亮度或对比度变化的影响；利用可控制金字塔分解的复杂形式，输入图像被分解为多方向的3尺度子带。分解图的LPC系数定义为：

其中，L是可控制金字塔分解的方向数，Φ({c_i，l}是第L个方向上的最佳子带的系数为i的相位，是相应的预测相位，K是一个用来防止在小能量处不稳定的常数。

整张图的LPC系数被定义为：

其中，P_i是由LPC图像派生的排序后的LPC值，W_i是分配给第i个LPC值的权重。

图2是8个不同TMO产生TMI图片的LPC特征值及其对应的MOS值示意图。图中虚线表示各个图片的LPC值，实线是进过归一化之后它们各自的MOS值。由图可见两者有很强的相关性，可见图像的模糊程度影响了人眼对图像的主观评价。

步骤2.2.图像边缘特征提取：TMI图像可能会产生晕轮效应，即过度曝光区域会出现明亮的晕轮，首先利用Canny算子提取图像的边缘，然后计算统计特征来测量边缘的晕轮效应；所述统计特征是指，对于边缘像素点周围的n×n小块区域，提取出三类特征：

f_h1＝E(h_e) (13)

f_h2＝E(h_e ²)-E(h_e)² (14)

其中，h_e是每个小块亮度值的直方图，E(·)代表期望值，σ_h表示he的方差，偏度f_h3是度量变量分布对称性的特征；这里本发明实施例中所述n×n取值为8×8；图3是一组同一场景不同TMO产生的实例TMI图片，图中，(a)、(b)、(c)分别对应一张不同TMO产生的TMI图片，图4是图3中的3张图片经过Canny算子转换后的对应的边缘信息图片，图中，(a)、(b)、(c)分别对应图3中(a)、(b)、(c)所示的TMI图片；图5是图4中3张图片对应的相同的边缘点处小块的亮度直方图，图中，(a)、(b)、(c)分别对应图4中(a)、(b)、(c)所示的边缘信息图片，从直方图可以看出(a)图的均值最大，波动最小，这与图3中晕轮效应的结果相对应，即(a)图的光圈最亮，扩散最广。

所述步骤3中，提取色彩度特征值，具体步骤为：

步骤3.1.全局颜色特征提取：由于人眼在捕捉图像时会首先将图像转换到对立颜色空间，基于这种考虑，本发明实施例首先将RGB图像转换到对立颜色空间，具体公式如下：

其中，R，G，B分别表示RGB颜色空间的红，绿，蓝三个颜色通道；L1是相应的红绿通道，L2是相应的蓝绿通道，L3是相应的亮度通道；则全局的颜色属性表示如下：

其中，μL1，μL2分别表示两个颜色通道的方差和均值。

步骤3.2.局部对比度特征提取：将图像的亮度分为三个颜色通道的值，使用两个特征C1，C2，分别计算图像每个小块亮度的差值和小块中像素点亮度的发散程度；计算公式如下：

M和N表示块的大小，i和j表示块中像素点的位置，这里块的大小设置为8×8，I_mean代表了该小块亮度的均值，I_min和I_max分别代表亮度的最小值和最大值。

所述步骤4中，训练模型并预测，具体步骤为：

步骤4.1.如图5所示，将数据集中80％的数据，包括提取的图像特征值和主观质量分数，作为训练数据用于训练支持向量回归器，其余20％的数据作为测试数据用于进行测试，训练数据和测试数据在内容上的不重叠；

步骤4.2.把测试集中每张TMI图像的统计特征输入训练好的SVR模型，输出预测的图像客观质量分数。

本发明上述实施例的算法在ESPL-LIVE HDR数据库进行了实施。该数据库是目前发布的最大的TMI图像数据库，拥有1811张通过色调映射、多曝光融合算法和后处理方法生成的色调映射HDR图像。实验中选择了几种优秀的自然图像和TMI图像质量评价算法作为对比算法。自然图像评价方法有：结构退化算法(BSD)，自由能算法(NFERM)，梯度幅值和拉普拉斯特征算法(GM-LOG)。TMI评价算法有：细节保留法(BTMQI)，基于梯度的自然特征算法(HIGRADE-2)，颜色自然度和结构特征算法(Yue’s)。斜体的是自然图像质量评价算法。

本发明使用了三个常用的评价指标PLCC(Pearson Linear CorrelationCoefficient)、SROCC(Spearman’s Rank Order Correlation Coefficient)、RMSE(RootMean Square Error)来衡量算法性能，PLCC和SROCC的值越大，RMSE的值越小，表明客观图像质量评价算法结果与主观评价结果更相似，即算法结果更好。

为了提高算法的准确性，实验采取了将训练-测试过程在支持向量机上执行1000次，最后取这1000次结果的均值来表示算法的性能结果。表1给出了本发明与其它优秀算法在ESPL-LIVE HDR数据库的总体性能。可以看出本发明的算法的总体性能明显优于其他几种算法的性能。

另外，针对不同失真类型的性能评估(见表2)。算法性能最好的结果已用黑体标出。可以看出本发明提出的算法在色调映射和多曝光融合失真中表现最好，在后处理失真中表现第二，故本发明的算法能够更准确、更有效地评价TMI图像的质量。

表1本文的算法同几种主流的无参考算法在ESPL-LIVE HDR数据库上的总体性能比较

表2本文算法和其他无参考质量评价算法在ESPL-LIVE HDR数据库上针对不同失真类型的

性能评估

本发明上述实施例提供的一种基于多特征融合的无参考色调映射图像质量评价方法，主要分为特征提取阶段以及训练回归阶段。在特征提取阶段分三个领域提取图像的特征，在像素领域提取了图像的熵特征，基于灰度共生矩阵的纹理特征和自然场景统计特征；在模糊度领域我们采用局部相位一致性评估整体模糊度，在边缘区域提取小块特征测量晕轮效应；在色彩领域我们将图像转换到对立颜色空间，测量整体颜色信息和各个通道的对比度信息。最后运用机器学习的方法预测色调映射图像的质量。本发明上述实施例提供的基于多特征融合的无参考色调映射图像质量评价方法，能够准确有效地预测色调映射图像的质量。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于多特征融合的无参考色调映射图像质量评价方法，其特征在于，包括：

-像素领域特征值计算，包括：

信息熵图像特征提取，通过将TMI图像转换到灰度域并倍增或倍减亮度值的方式估计TMI图像和变换后图像的详细信息量，并使用信息熵的方法计算细节信息量；

灰度共生矩阵特征提取，将TMI图像转换为灰度共生矩阵，并提取体现边缘特性的三个特征：能量、相关性和均匀度；

图像自然场景统计特征提取，通过在空域对TMI图像进行均值对比规范化，得到MSCN系数；将得到的MSCN系数进行自然场景统计分析，以提取的参数作为统计特征；

-模糊度领域特征值计算，包括：

LPC特征提取，采用局部相位一致性评价TMI图像的模糊度；

图像边缘特征提取，测量TMI图像中物体周围产生光圈的晕轮效应，先使用Canny算子提取TMI图像的边缘，再计算边缘像素点周围的n×n小块亮度的均值、方差以及偏度，来衡量图像边缘的亮度以及边缘区域发散的程度；

-色彩领域特征值提取，包括：

全局颜色特征提取，将图像转换到对立颜色空间，测量整体颜色信息；

局部对比度特征提取，在对立颜色空间的三个颜色通道上，分别测量局部小块的对比度情况；

-训练模型并测试：

将上述步骤提取的各领域特征值以及图像数据库中提供的相应主观质量分数构成数据集，使用数据集中的训练数据训练支持向量回归器；测试时，将数据集中的测试数据的特征值输入训练好的支持向量回归器，得到预测的图像客观质量分数，并将图像客观质量分数与图像数据库中提供的相应主观质量分数相比较验证预测准确度。

2.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法，其特征在于，所述信息熵图像特征提取，包括如下步骤：

将TMI图像转换到灰度域并倍增或倍减亮度值估计TMI图像和变换后图像的详细信息量，变换后图像的计算公式如下：

I_j＝min(max(I×muI_j，0)，255)

其中，I是一张TMI图像，muI_j是第i个乘子，在这里选取max和min算子取两数中的较大或较小值，用来将图像的像素区域转换到0-255区间；接下来，使用信息熵来衡量图片的信息量；对于任意信号，熵表示该信号无序程度，采用熵来测量图像I信号及其变换后的图像I_j信号所携带的细节信息量，公式如下：

H_j＝-Σp_i(I_j)log₂p_i(I_j)

其中，H_j代表了I_j的信息熵，p_i(I_j)是变换后的图像I_j在灰度域的概率密度。

3.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法，其特征在于，所述灰度共生矩阵特征提取，包括如下步骤：

选取体现边缘特性的三个特征：能量(E)、相关性(C)和均匀度(V)，分别进行计算：

其中，μ和σ分别表示像素的均值和方差，G(x，y)是灰度共生矩阵第x行、第y列的元素，k是灰度域的尺度范围，在这里取值为256。

4.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法，其特征在于，所述图像自然场景统计特征提取，包括如下步骤：

假设图片I的大小为M×N，I(i，j)代表图像第(i，j)个空域位置的亮度值，i∈{1，2，...M}，j∈{1，2，...N}，MSCN***的计算公式如下所示：

其中，局部均值μ_I(i，j)和标准差σ_I(i，j)的定义如下：

其中，W＝{W_p，q|p＝-P，...P，q＝-Q，...Q}是中心位于第(i，j)个像素点的对称局部高斯卷积窗，窗口的大小设置为7×7；

MSCN***的分布存在一定统计规律并可以通过广义高斯密度分布拟合，零均值的广义高斯密度分布函数表示为：

其中，尺度参数特征Γ(·)是伽马函数，其表达式为：

提取拟合的高斯密度分布函数中的参数α和δ²作为图像特征，以衡量图像的失真程度；其中，α是形状参数，控制广义高斯密度分布的包络，δ²表示广义高斯分布的方差。

5.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法，其特征在于，所述LPC特征提取，包括如下步骤：

利用可控制金字塔分解的复杂形式，输入图像被分解为多方向的3尺度子带；分解图的LPC系数定义为：

其中，L是可控制金字塔分解的方向数，Φ({c_i，l}是第L个方向上的最佳子带的系数为i的相位，是相应的预测相位，K是一个用于防止在小能量处不稳定的常数；

整张图的LPC系数被定义为：

其中，P_i是由LPC图像派生的排序后的LPC值，W_i是分配给第i个LPC值的权重。

6.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法，其特征在于，所述图像边缘特征提取，包括如下步骤：

首先利用Canny算子提取图像的边缘，然后计算统计特征来测量边缘的晕轮效应；所述统计特征是指，对于边缘像素点周围的n×n小块区域，提取出三类特征：

f_h1＝E(h_e)

f_h2＝E(h_e ²)-E(h_e)²

其中，h_e是每个小块亮度值的直方图，E(·)代表期望值，σ_h表示he的方差，偏度f_h3是度量变量分布对称性的特征；

所述n×n取值为8×8。

7.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法，其特征在于，所述全局颜色特征提取，包括如下步骤：

首先将RGB图像转换到对立颜色空间，具体公式如下：

其中，R，G，B分别表示RGB颜色空间的红，绿，蓝三个颜色通道；L1是相应的红绿通道，L2是相应的蓝绿通道，L3是相应的亮度通道；则全局的颜色属性表示如下：

其中，μL1，μL2分别表示两个颜色通道的方差和均值。

8.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法，其特征在于，所述局部对比度特征提取，包括如下步骤：

将图像的亮度分为三个颜色通道的值，使用两个特征C₁和C₂，分别计算图像每个小块亮度的差值和小块中像素点亮度的发散程度；计算公式如下：

M和N表示块的大小，i和j分别表示块中像素点的位置，这里块的大小设置为8×8，I_mean代表了该小块亮度的均值，I_min和I_max分别代表亮度的最小值和最大值。

9.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法，其特征在于，所述训练模型并测试，包括如下步骤：

将数据集中80％的数据作为训练数据用于训练支持向量回归器，其余20％的数据作为测试数据用于进行测试，训练数据和测试数据在内容上的不重叠；

将测试数据中每张TMI图像的特征值输入训练好的支持向量回归器，输出预测的图像客观质量分数。