CN108010023A - 基于张量域曲率分析的高动态范围图像质量评价方法 - Google Patents
基于张量域曲率分析的高动态范围图像质量评价方法 Download PDFInfo
- Publication number
- CN108010023A CN108010023A CN201711297233.2A CN201711297233A CN108010023A CN 108010023 A CN108010023 A CN 108010023A CN 201711297233 A CN201711297233 A CN 201711297233A CN 108010023 A CN108010023 A CN 108010023A
- Authority
- CN
- China
- Prior art keywords
- image
- denoted
- dis
- block
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于张量域曲率分析的高动态范围图像质量评价方法,该方法中的张量分解可以保持HDR图像绝大多数颜色信息,而曲率分析可以提取HDR图像的结构信息;通过张量分解和曲率分析的结合来构造一个有效的特征集,用来表征HDR图像块的不同失真程度;随后HDR图像的局部特征从利用特征集和带标签的稀疏字典重建得到的标签矩阵中提取;最终,通过聚合HDR图像的局部特征和全局特征得到图像的预测质量。本发明方法在二个公开的数据库进行测试,实验结果表明,其性能指标均优于其它无参考度量,这意味着本发明与人类视觉感知的一致性较高。
Description
技术领域
本发明涉及高动态范围图像质量评价技术领域,尤其涉及一种基于张量域曲率分析的高动态范围图像质量评价方法。
背景技术
人们获取信息的来源中,数字视觉信息占大多数,如高清电视,互联网视频流,视频会议等,因此有必要用一些方法来评估接收到的视觉信息的质量,尤其是目前已成为一大发展趋势的高动态范围信息,高动态范围(High Dynamic Range),简称HDR信息。HDR图像与低动态范围图像的不同之处在于高动态范围图像没有限定的最大与最小亮度值,其亮度值与现实场景的物理亮度值成线性关系。因此,HDR图像在高曝光区域与低曝光区域可以提供更丰富的色彩以及更真实的场景。此时,将针对传统图像的质量评价方法直接用于评价HDR图像显然是不适用的。Hanhartet等人测试了35种客观质量评价方法,其中有33种是低动态范围图像质量评价方法,实验结果表明现有的低动态范围图像质量评价方法不能直接用于评价高动态范围图像;实验结果还表明在使用低动态范围图像质量评价方法之前对图像的亮度信息用人类视觉感知模型先进行处理,能取得较好的结果;然而对于不同图像质量评价方法,不同的视觉感知模型起到的效果很不一致。
图像质量评价方法中针对HDR图像的全参考质量评价方法取得了令人满意的结果,其中最具代表性的方法之一是HDR-VDP。Mantiuket等人考虑光的散射,亮度的非线性响应,局部自适应等过程来构建该模型,其结果采用三幅彩色图像表明HDR图像的失真区域以及失真程度。为了得到更为直观的预测结果,Mantiuket等人提出了图像质量评价方法HDR-VDP-2。图像质量评价方法HDR-VDP-2是在HDR-VDP的基础上加入了基于频率的聚合策略过程。为了优化图像质量评价方法HDR-VDP-2聚合策略中的聚合权值,Narwaria等人进一步提出了图像质量评价方法HDR-VDP-2.2(高动态范围视觉差异预测)。图像质量评价方法HDR-VDP-2.2可以提供更为准确地预测质量。Aydin等人提出的动态范围独立度量(DRIM)也被用于HDR图像质量评价,取得较好的效果,但其也采用三幅彩色图像表明图像的失真区域以及失真程度,难以采用一个直观的数值来解释。通过对观看视频时人眼的自适应行为进行时空分析,Narwaria等人提出了高动态范围视频质量评价方法视觉差异度量(HDR-VQM),也可用于HDR图像质量评估。然而,上述的HDR图像质量评价方法均只考虑亮度信息,且它们都是全参考图像评价方法,在评价过程中需要用到参考图像。
由于上述提到的全参考图像质量评价方法要求必须有参考图像与失真图像进行比较,然而在许多应用中,参考图像是不可获取或者不存在的,该要求限制了全参考图像质量评价方法的使用范围,因此需要引入针对HDR图像的无参考图像质量评价方法。
发明内容
本发明提供了一种基于张量域曲率分析的高动态范围图像质量评价方法,该方法中无需参考图像便能计算出待评价图像的客观质量评价值Q,Q越大,则表示图像质量越好。
本发明所采用的技术方案是,一种基于张量域曲率分析的高动态范围图像质量评价方法,其特征在于,包括以下步骤:
S1、首先,在数据库中选择m幅图像做为训练图像集,将训练图像集中的第n幅高动态范围图像记为Sset (n),所述的n≦m,设所述的Sset (n)的宽度为W,高度为H;然后提取图像Sset (n)的亮度信息,记为Sset-Y (n);对图像的亮度信息进行感知一致性编码,记为Sset-PU (n);将Sset-PU (n)分割成多个互不重叠的尺寸大小为m×m的图像块;
其次,采用图像质量评价方法SSIM对多个m×m的图像块进行质量评价,得到多个图像块的质量值,所述的SSIM指结构相似度度量;然后设置多个m×m的矩阵,所述的m×m的矩阵与所述的m×m的图像块一一对应;所述的m×m矩阵中的所有数值均为对应的m×m图像块的质量值;将多个m×m的矩阵按照对应的图像块在第n幅图像中的位置整合为一幅尺寸为的质量值组成的图像,记为P(1),表示向下取整;
再着,使用图像质量评价方法RFSIM、图像质量评价方法FSIM替换图像质量评价方法SSIM重复上述步骤,分别得到两幅由质量值组成的图像,分别记为P(2),P(3);所述的RFSIM指变换的特征相似度度量,所述的FSIM指特征相似度度量;
最后,使用图像质量评价方法HDR-VDP-2.2替换图像质量评价方法SSIM重复上述步骤,并将上述步骤中对Sset-PU (n)的分割替换成对Sset-Y (n)的分割,得到另外一幅由质量值组成的图像,记为P(4);
S2、将高动态范围图像Sset (n)以三阶张量形式进行表示,记为UHDR;再使用张量分解算法中的Tucker3分解算法对UHDR进行张量分解,获得其核张量,记为VHDR;将VHDR的第1个通道作为VHDR的子带一,记为B(1),将VHDR的第2个通道作为VHDR的子带二,记为B(2),将VHDR的第3个通道作为VHDR的子带三,记为B(3);其中,每一个子带的宽度为W,高度为H;对子带一B(1)做一阶偏导数与二阶偏导数,分别记为Bx (1),By (1)与Bxx (1),Bxy (1),Byy (1);根据平均曲率高斯曲率分别计算B(1)的平均曲率图与高斯曲率图,并分别记为Cm (1),Cg (1);然后分别对Cm (1)、Cg (1)的数值进行分类,分别分为大于0、小于0及等于0这三类,接着将Cm (1)与Cg (1)的数值类型两两组合,得到9种组合类型,对每一种组合类型设置一个平面类型标签,标签编号为1~9;根据子带一的Cm (1)与Cg (1)的分类组合过程,子带一得到一幅由1~9构成的平面类型标签图,记为STB (1);依次使用子带二,子带三替换子带一重复上述步骤中的计算平面类型标签的过程,得到另外两幅由1~9构成的平面类型标签图,分别记为STB (2)与STB (3);将平面类型标签图STB (1),STB (2)与STB (3)以及平均曲率图Cm (1)的尺寸分别置为
S3、随机地分别从平面类型标签图STB (1),STB (2)与STB (3),平均曲率图Cm (1)中选取位于同一位置的尺寸大小为k1×k1的块,设选取的不同位置的数量为T;然后分别对从STB (1),STB (2)与STB (3)中所选取的块中提取其直方图统计特征,并分别记为f1,f2与f3,其中f1,f2与f3的维数分别为9×1;对从Cm (1)中选取的块提取其均值、方差、峰度、偏度这四个特征,记为f4;最后将f1,f2,f3与f4排成一列,对其进行归一化处理,得到特征向量f,其中f的维数为31×1;
S4、从质量值组成的图像P(1),P(2),P(3)与P(4)选取与步骤S3中相同位置的块;对选取的块作均值处理,分别记为l1,l2,l3与l4;将l1,l2,l3与l4排为一列,并对其进行归一化处理,构成标签向量l,其中l的维数为4×1;
将同一位置的块的特征向量f以及对应的标签向量l排为一列,则共有T列,构成训练样本矩阵;采用K-SVD算法对训练样本矩阵进行稀疏训练,得到对应于特征向量f的稀疏字典Df以及对应于标签向量l的稀疏字典Dl;
S5、将待评价的高动态范围的图像记为Sdis,经过步骤S2后得到三幅平面类型标签图与平均曲率图,分别记为STB_dis (1)、STB_dis (2)、STB_dis (3)与Cm_dis (1);将STB_dis (1)、STB_dis (2)、STB_dis (3)与Cm_dis (1)分别分割成多个互不重叠的尺寸大小为k1×k1的块i;然后对每一个块i按照步骤S3中的特征选取过程提取特征向量
S6、根据每一个块i的特征向量以及对应于特征向量f的稀疏字典Df,利用OMP算法,提取块i的稀疏系数将稀疏系数与对应于标签向量l的稀疏字典Dl相乘得到重建的标签向量对每一个块的重建的标签向量按照块在图像中的位置整合为一个尺寸为的标签矩阵,记为Fdis;
S7、将标签矩阵Fdis分割为多个互不重叠尺寸大小为k2×k2×4的块;对每一个块做均值处理;将每一个块的均值按块在图像中的位置依次按行排列,得到一个维的特征向量,记为h1;
S8、提取待评价的高动态范围的图像Sdis的亮度信息,记为Sdis_Y;将亮度信息Sdis_Y进行感知一致性编码,记为Sdis_PU;然后对Sdis_PU中每个像素点做去均值与对比度归一化处理,并计算每个像素点的MSCN值;最后采用广义高斯分布对所有像素的MSCN值做直方图拟合,得到拟合参数:α与σg2;将其组成特征向量,记为h2,其维度为2×1;
S9、根据步骤S8提取一个像素点的MSCN值;然后再根据S8提取该像素点的右临接像素点的MSCN值;将这两个MSCN值相乘作为该像素点的相邻MSCN系数;最后采用AGGD对所有像素点的相邻MSCN系数做直方图拟合,得到拟合参数:η,v,σl2与σr2;将这四个参数组成特征向量,记为h3,其维度为4×1;
S10、将h1,h2和h3按序构成一个Sdis的感知质量特征向量,记为H,H=[h1,h2,h3];
S11、将H作为输入,结合随机森林技术,计算得到Sdis的客观质量评价值Q,Q越大,则表示待评价的高动态范围的图像Sdis的图像质量越好。
采用以上技术方案后,本发明与现有技术相比具有以下优点:
一、颜色信息与结构信息在高动态范围图像质量评价中非常重要,张量分解可以保持HDR图像绝大多数的颜色信息,而使用曲率分析可以提取HDR图像的几何结构信息。HDR图像经过张量分解后可以得到三个子带,每一个子带都可以看作是具有凹凸结构的平面,通过平均曲率与高斯曲率的组合能有效表征其凹凸结构。因此本发明方法通过张量分解和曲率分析的结合来有效提取HDR图像的信息,通过构造一个基于张量域曲率分析的块的特征集来有效地表征HDR图像块的失真程度。
二、采用四种现有的质量评价方法对每一个HDR图像的块进行评价得到一个四维的标签,用以区分不同块。将标签与块的特征集进行稀疏训练,得到带标签的稀疏字典。利用带标签的稀疏字典对测试图像的每一个块进行标签重建,整合得到重建后的标签矩阵。对重建后的标签矩阵进行特征提取得到HDR图像的多维的局部特征。最终,将HDR图像的局部特征与全局特征聚合得到其预测质量。因此本发明中的评价方法无需参考图像,评价结果直观、准确。
作为改进,所述的m取64、所述的k1取8、所述的k2取32、所述的T取150000,该组数值用于作为本发明中各参数的参考值。
作为改进,所述的数据库为Nantes高动态范围图像数据库或EPFL高动态范围图像数据库,该两种数据库比较有代表性。
作为改进,将步骤S5中的待评价的高动态范围的图像替换为Sdis',所述的Sdis'的选取过程为,在数据库中剔除步骤S1中所选的m幅图像,然后在剩下的图像中选择一幅作为待评价的高动态范围的图像记为Sdis',最后计算出Sdis的客观质量评价值Q',将Q'与数据库中已存储的Sdis'图像的主观评分值进行比较,Q'越接近则表示Q'的计算过程越精确;该步骤确定本发明中评价方法的准确度,即用于自检。
附图说明
图1为本发明的流程示意图
具体实施方式
高动态范围(HDR)成像可以提供更完整的场景表示,旨在捕捉可见光范围内的所有亮度信息,尤其在极端光照条件下。低动态范围图像质量评价已被证明不适用于评价HDR图像。为了解决这一问题,本文提出了一种基于张量域曲率分析的高动态范围图像质量评价方法。
如图1所示,一种基于张量域曲率分析的高动态范围图像质量评价方法,包括以下步骤:
S1、首先,在Nantes高动态范围图像数据库或EPFL高动态范围图像数据库中选择m幅图像做为训练图像集,将训练图像集中的第n幅高动态范围图像记为Sset (n),n≦m,设Sset (n)的宽度为W,高度为H;然后提取图像Sset (n)的亮度信息,记为Sset-Y (n);对图像的亮度信息进行感知一致性编码即PU编码,记为Sset-PU (n);将Sset-PU (n)分割成多个互不重叠的尺寸大小为m×m的图像块,m取64;
其次,采用图像质量评价方法SSIM分别对多个m×m的图像块进行质量评价,得到多个图像块的质量值,其中SSIM指结构相似度度量;然后设置多个m×m的矩阵,m×m的矩阵与m×m的图像块一一对应;m×m矩阵中的所有数值均为对应的m×m图像块的质量值;将多个m×m的矩阵按照对应的图像块在第n幅图像中的位置整合为一幅尺寸为的质量值组成的图像,记为P(1),表示向下取整,取整消除了余数,便于计算;
再着,使用图像质量评价方法RFSIM、图像质量评价方法FSIM替换图像质量评价方法SSIM重复上述的步骤,分别得到两幅由质量值组成的图像,分别记为P(2),P(3);RFSIM指变换的特征相似度度量,FSIM指特征相似度度量;
最后,使用图像质量评价方法HDR-VDP-2.2替换图像质量评价方法SSIM重复上述步骤,并将上述步骤中对Sset-PU (n)的分割替换成对Sset-Y (n)的分割,得到另外一幅由质量值组成的图像,记为P(4);
S2、将高动态范围图像Sset (n)以三阶张量形式进行表示,记为UHDR;再使用张量分解算法中的Tucker3分解算法对UHDR进行张量分解,获得其核张量,记为VHDR;将VHDR的第1个通道作为VHDR的子带一,记为B(1),将VHDR的第2个通道作为VHDR的子带二,记为B(2),将VHDR的第3个通道作为VHDR的子带三,记为B(3);其中,每一个子带的宽度为W,高度为H;对子带一B(1)做一阶偏导数与二阶偏导数,分别记为Bx (1),By (1)与Bxx (1),Bxy (1),Byy (1);根据平均曲率高斯曲率分别计算出B(1)的平均曲率图与高斯曲率图,并分别记为Cm (1),Cg (1);然后分别对Cm (1)、Cg (1)中的数值进行分类,分类标准为,大于0、小于0及等于0这三类,接着将Cm (1)与Cg (1)的数值类型两两组合,例如,在B(1)的某一像素点的Cm (1)值小于0,Cg (1)值小于0,则分为第一类;若该像素点的Cm (1)值等于0,Cg (1)值小于0,则分为第二类;若该像素点的Cm (1)值大于0,Cg (1)值小于0,则分为第三类,依次类推;则Cm (1)与Cg (1)的数值类型两两组合后会得到9种组合类型,对每一种组合类型设置一个平面类型标签,标签编号为1~9;根据子带一的Cm (1)与Cg (1)的分类组合过程,子带一得到一幅由1~9构成的平面类型标签图,记为STB (1);依次使用子带二,子带三替换子带一重复上述步骤中的计算平面类型标签的过程,得到另外两幅由1~9构成的平面类型标签图,分别记为STB (2)与STB (3);将平面类型标签图STB (1),STB (2)与STB (3)以及平均曲率图Cm (1)的尺寸分别置为
S3、随机地分别从平面类型标签图STB (1),STB (2)与STB (3),平均曲率图Cm (1)中选取位于同一位置的尺寸大小为k1×k1的块,k1取8,设选取的不同位置的数量为T,T取150000;然后分别对从STB (1),STB (2)与STB (3)中所选取的块中提取其直方图统计特征,分别记为f1,f2与f3,其中f1,f2与f3的维数分别为9×1;对从Cm (1)中选取的块提取其均值、方差、峰度、偏度这四个特征,记为f4;最后将f1,f2,f3与f4排成一列,对其进行归一化处理,得到特征向量f,其中f的维数为31×1;
S4、从质量值组成的图像P(1),P(2),P(3)与P(4)选取与步骤S3中相同位置的块;对选取的块作均值处理,分别记为l1,l2,l3与l4;将l1,l2,l3与l4排为一列,并对其进行归一化处理,构成标签向量l,其中l的维数为4×1;
将同一位置的块的特征向量f以及对应的标签向量l排为一列,则共有T列,构成训练样本矩阵;采用K-SVD算法对训练样本矩阵进行稀疏训练,得到对应于特征向量f的稀疏字典Df以及对应于标签向量l的稀疏字典Dl;
S5、将待评价的高动态范围的图像记为Sdis,经过步骤S2后得到三幅平面类型标签图与平均曲率图,分别记为STB_dis (1)、STB_dis (2)、STB_dis (3)与Cm_dis (1);将STB_dis (1)、STB_dis (2)、STB_dis (3)与Cm_dis (1)分别分割成多个互不重叠的尺寸大小为k1×k1的块i;然后对每一个块i按照步骤S3中的特征选取过程提取特征向量
S6、根据每一个块i的特征向量以及对应于特征向量f的稀疏字典Df,利用OMP算法,提取块i的稀疏系数将稀疏系数与对应于标签向量l的稀疏字典Dl相乘得到重建的标签向量对每一个块的重建的标签向量按照块在图像中的位置整合为一个尺寸为的标签矩阵,记为Fdis;
S7、将标签矩阵Fdis分割为多个互不重叠的尺寸大小为k2×k2×4的块,k2取32;对每一个块做均值处理;将每一个块的均值按块在图像中的位置依次按行排列,得到一个维的特征向量,记为h1;
S8、提取待评价的高动态范围的图像Sdis的亮度信息,记为Sdis_Y;将亮度信息Sdis_Y进行感知一致性编码,记为Sdis_PU;然后对Sdis_PU中的每一个像素点做去均值与对比度归一化(MSCN)处理,并计算每个像素点的MSCN值;最后采用GGD(广义高斯分布)对所有像素的MSCN值做直方图拟合,得到拟合参数:α与σg2;将得到的拟合参数构成特征向量,记为h2,其维度为2×1;
S9、根据步骤S8提取一个像素点的MSCN值;然后再根据S8提取该像素点的右临接像素点的MSCN值;将这两个MSCN值相乘作为该像素点的相邻MSCN系数;最后采用AGGD(非对称广义高斯分布)对所有像素点的相邻MSCN系数做直方图拟合,得到拟合参数:η,v,σl2与σr2;将这四个参数组成特征向量,记为h3,其维度为4×1;
S10、将h1,h2和h3按序构成一个Sdis的感知质量特征向量,记为H,H=[h1,h2,h3];
S11、将H作为输入,结合随机森林技术,计算得到Sdis的客观质量评价值Q,Q越大,则表示待评价的高动态范围的图像Sdis的图像质量越好。
图像质量评价方法SSIM、图像质量评价方法RFSIM、图像质量评价方法FSIM、图像质量评价方法HDR-VDP-2.2均为现有的比较常见的图像质量评价方法;张量分解算法中的Tucker3分解算法、K-SVD算法即广义K-均值算法、OMP算法即正交匹配追踪算法,该些算法均为现有的基础算法。
本发明利用数据库中的图像进行自我校验,校验的方法为;将步骤S5中的待评价的高动态范围的图像替换为Sdis',Sdis'的选取过程为,在步骤S1中所使用的数据库中剔除步骤S1中所选的m幅图像,然后在剩下的图像中选择一幅作为待评价的高动态范围的图像记为Sdis',最后计算出Sdis'的客观质量评价值Q',由于数据库中存储的图像,其主观评分值已通过人工评价方法获得并作为基准值存储在数据库中,因此为了检验本发明的评价结果是否准确,先使用本发明中的方法获得客观评价值Q',再将Q'与数据库中已存储的Sdis'图像的主观评分值进行非线性拟合,若Q'与的拟合指标越接近于对应的理想指标,则表示Q'的计算过程越精确。
为了说明本发明方法的可行性、有效性,在两个公开的具有代表性的图像数据库分别进行实验,两个图像数据库分别为Nantes高动态范围图像数据库、EPFL高动态范围图像数据库。表1中详细说明了每个图像数据库的各项指标,包括参考图像数目、失真图像数目、失真类型数目、主观测试人数。其中,每个图像数据库都提供了每幅失真图像的平均主观评分值,记为
表1权威图像数据库的各项指标
接下来,分析利用本发明方法获取的每幅失真高动态范围图像的客观质量评价值Q与平均主观评分值之间的相关性。这里列举了评估图像质量评价方法优劣的三个常用的评价指标,即Pearson线性相关性系数(Pearson Linear Correlation Coefficients,PLCC)、Spearman秩相关系数(Spearman Rank Order Correlation coefficient,SROCC)以及均方根误差(Root mean squared error,RMSE)。其中,PLCC反映预测的准确性,SROCC反映预测的单调性,其取值范围均为[0,1],值越接近1,表明图像质量客观评价方法越好,反之,越差;RMSE反映预测的一致性,其值越小,表示图像质量客观评价方法的预测越准确,性能越好,反之,越差。
对于上述Nnates高动态范围图像数据库中的所有图像、NFPL高动态范围图像数据库中的部分尺寸相同的图像,分别按本发明方法的步骤S1至步骤S11的过程,计算出每幅失真图像的客观质量评价值Q。然后将客观质量评价值Q与主观评分值做四参数Logistic函数非线性拟合,最后得到三个评价指标。
为了验证本方法的有效性,将本方法与现有的性能较为先进的两种全参考以及三种无参考图像质量评价方法进行比较,其PLCC、SROCC和RMSE指标如表2所示。表2中参与比较的两种全参考图像质量评价方法分别为HDR-VDP-2.2与HDR-VQM,三种无参考图像质量评价方法分别为C-DIIVINE,BRISQUE与BLIINDS2。由于传统的低动态范围图像质量评价方法不能直接用于评价高动态范围图像,因此在使用评价方法之前先使用一个视觉感知模型,表2中列举了对数变换(Log)与感知一致性编码(PU)这两种视觉感知模型。从表2中可以看出,与其它方法相比,本发明方法在Nantes图像数据库中表现最优,在EPFL数据库中效果仅次于HDR-VDP-2.2与HDR-VQM。然而由于HDR-VDP-2.2与HDR-VQM是全参考图像质量评价方法,其使用范围受到参考图像的限制,本发明方法与之相比,使用范围更为广阔。
表2本发明方法与现有的客观图像质量评价方法的性能比较
虽然高动态范围图像具有更高的峰值亮度以及更丰富的颜色信息,提供更真实的视觉感知,但它也给客观质量度量带来了一定的难度。本发明方法在张量分解的基础上,通过曲率分析来构造一个有效的特征集,用来表征HDR图像块的不同失真程度,其中张量分解可以保持HDR图像绝大多数颜色信息,而曲率分析可以提取HDR图像的结构信息。随后HDR图像的局部特征从利用特征集和带标签的稀疏字典重建得到的标签矩阵中提取;最终,通过聚合HDR图像的局部特征和全局特征得到图像的预测质量,无需依靠参考图像就能进行评价。本发明方法在二个公开的数据库进行测试,实验结果表明,其性能指标均优于其它无参考度量,这意味着本发明与人类视觉感知的一致性较高。
Claims (4)
1.一种基于张量域曲率分析的高动态范围图像质量评价方法,其特征在于,包括以下步骤:
S1、首先,在数据库中选择m幅图像做为训练图像集,将训练图像集中的第n幅高动态范围图像记为Sset (n),所述的n≦m,设所述的Sset (n)的宽度为W,高度为H;然后提取图像Sset (n)的亮度信息,记为Sset-Y (n);对图像的亮度信息进行感知一致性编码,记为Sset-PU (n);将Sset-PU (n)分割成多个互不重叠的尺寸大小为m×m的图像块;
其次,采用图像质量评价方法SSIM对多个m×m的图像块进行质量评价,得到多个图像块的质量值,所述的SSIM指结构相似度度量;然后设置多个m×m的矩阵,所述的m×m的矩阵与所述的m×m的图像块一一对应;所述的m×m矩阵中的所有数值均为对应的m×m图像块的质量值;将多个m×m的矩阵按照对应的图像块在第n幅图像中的位置整合为一幅尺寸为的质量值组成的图像,记为P(1),表示向下取整;
再着,使用图像质量评价方法RFSIM、图像质量评价方法FSIM替换图像质量评价方法SSIM重复上述步骤,分别得到两幅由质量值组成的图像,分别记为P(2),P(3);所述的RFSIM指变换的特征相似度度量,所述的FSIM指特征相似度度量;
最后,使用图像质量评价方法HDR-VDP-2.2替换图像质量评价方法SSIM重复上述步骤,并将上述步骤中对Sset-PU (n)的分割替换成对Sset-Y (n)的分割,得到另外一幅由质量值组成的图像,记为P(4);
S2、将高动态范围图像Sset (n)以三阶张量形式进行表示,记为UHDR;再使用张量分解算法中的Tucker3分解算法对UHDR进行张量分解,获得其核张量,记为VHDR;将VHDR的第1个通道作为VHDR的子带一,记为B(1),将VHDR的第2个通道作为VHDR的子带二,记为B(2),将VHDR的第3个通道作为VHDR的子带三,记为B(3);其中,每一个子带的宽度为W,高度为H;对子带一B(1)做一阶偏导数与二阶偏导数,分别记为Bx (1),By (1)与Bxx (1),Bxy (1),Byy (1);根据平均曲率高斯曲率分别计算B(1)的平均曲率图与高斯曲率图,并分别记为Cm (1),Cg (1);然后分别对Cm (1)、Cg (1)的数值进行分类,分别分为大于0、小于0及等于0这三类,接着将Cm (1)与Cg (1)的数值类型两两组合,得到9种组合类型,对每一种组合类型设置一个平面类型标签,标签编号为1~9;根据子带一的Cm (1)与Cg (1)的分类组合过程,子带一得到一幅由1~9构成的平面类型标签图,记为STB (1);依次使用子带二,子带三替换子带一重复上述步骤中的计算平面类型标签的过程,得到另外两幅由1~9构成的平面类型标签图,分别记为STB (2)与STB (3);将平面类型标签图STB (1),STB (2)与STB (3)以及平均曲率图Cm (1)的尺寸分别置为
S3、随机地分别从平面类型标签图STB (1),STB (2)与STB (3),平均曲率图Cm (1)中选取位于同一位置的尺寸大小为k1×k1的块,设选取的不同位置的数量为T;然后分别对从STB (1),STB (2)与STB (3)中所选取的块中提取其直方图统计特征,并分别记为f1,f2与f3,其中f1,f2与f3的维数分别为9×1;对从Cm (1)中选取的块提取其均值、方差、峰度、偏度这四个特征,记为f4;最后将f1,f2,f3与f4排成一列,对其进行归一化处理,得到特征向量f,其中f的维数为31×1;
S4、从质量值组成的图像P(1),P(2),P(3)与P(4)选取与步骤S3中相同位置的块;对选取的块作均值处理,分别记为l1,l2,l3与l4;将l1,l2,l3与l4排为一列,并对其进行归一化处理,构成标签向量l,其中l的维数为4×1;
将同一位置的块的特征向量f以及对应的标签向量l排为一列,则共有T列,构成训练样本矩阵;采用K-SVD算法对训练样本矩阵进行稀疏训练,得到对应于特征向量f的稀疏字典Df以及对应于标签向量l的稀疏字典Dl;
S5、将待评价的高动态范围的图像记为Sdis,经过步骤S2后得到三幅平面类型标签图与平均曲率图,分别记为STB_dis (1)、STB_dis (2)、STB_dis (3)与Cm_dis (1);将STB_dis (1)、STB_dis (2)、STB_dis (3)与Cm_dis (1)分别分割成多个互不重叠的尺寸大小为k1×k1的块i;然后对每一个块i按照步骤S3中的特征选取过程提取特征向量
S6、根据每一个块i的特征向量以及对应于特征向量f的稀疏字典Df,利用OMP算法,提取块i的稀疏系数将稀疏系数与对应于标签向量l的稀疏字典Dl相乘得到重建的标签向量对每一个块的重建的标签向量按照块在图像中的位置整合为一个尺寸为的标签矩阵,记为Fdis;
S7、将标签矩阵Fdis分割为多个互不重叠尺寸大小为k2×k2×4的块;对每一个块做均值处理;将每一个块的均值按块在图像中的位置依次按行排列,得到一个维的特征向量,记为h1;
S8、提取待评价的高动态范围的图像Sdis的亮度信息,记为Sdis_Y;将亮度信息Sdis_Y进行感知一致性编码,记为Sdis_PU;然后对Sdis_PU中每个像素点做去均值与对比度归一化处理,并计算每个像素点的MSCN值;最后采用广义高斯分布对所有像素的MSCN值做直方图拟合,得到拟合参数:α与σg2;将其组成特征向量,记为h2,其维度为2×1;
S9、根据步骤S8提取一个像素点的MSCN值;然后再根据S8提取该像素点的右临接像素点的MSCN值;将这两个MSCN值相乘作为该像素点的相邻MSCN系数;最后采用AGGD对所有像素点的相邻MSCN系数做直方图拟合,得到拟合参数:η,v,σl2与σr2;将这四个参数组成特征向量,记为h3,其维度为4×1;
S10、将h1,h2和h3按序构成一个Sdis的感知质量特征向量,记为H,H=[h1,h2,h3];
S11、将H作为输入,结合随机森林技术,计算得到Sdis的客观质量评价值Q,Q越大,则表示待评价的高动态范围的图像Sdis的图像质量越好。
2.根据权利要求1所述的基于张量域曲率分析的高动态范围图像质量评价方法,其特征在于,所述的m取64、所述的k1取8、所述的k2取32、所述的T取150000。
3.根据权利要求1所述的基于张量域曲率分析的高动态范围图像质量评价方法,其特征在于,所述的数据库为Nantes高动态范围图像数据库或EPFL高动态范围图像数据库。
4.根据权利要求1所述的基于张量域曲率分析的高动态范围图像质量评价方法,其特征在于,将步骤S5中的待评价的高动态范围的图像替换为Sdis',所述的Sdis'的选取过程为,在数据库中剔除步骤S1中所选的m幅图像,然后在剩下的图像中选择一幅作为待评价的高动态范围的图像记为Sdis',最后计算出Sdis'的客观质量评价值Q',将Q'与数据库中已存储的Sdis'图像的主观评分值做非线性拟合,若Q'中的指标越接近中相对应的指标,则表示Q'的计算过程越精确。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711297233.2A CN108010023B (zh) | 2017-12-08 | 2017-12-08 | 基于张量域曲率分析的高动态范围图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711297233.2A CN108010023B (zh) | 2017-12-08 | 2017-12-08 | 基于张量域曲率分析的高动态范围图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108010023A true CN108010023A (zh) | 2018-05-08 |
CN108010023B CN108010023B (zh) | 2020-03-27 |
Family
ID=62057848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711297233.2A Active CN108010023B (zh) | 2017-12-08 | 2017-12-08 | 基于张量域曲率分析的高动态范围图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108010023B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816646A (zh) * | 2019-01-21 | 2019-05-28 | 武汉大学 | 一种基于退化决策逻辑的无参考图像质量评价方法 |
CN110415211A (zh) * | 2019-06-18 | 2019-11-05 | 宁波大学 | 基于图谱特征和空间特征的盲参考三维网格质量评价方法 |
CN112435218A (zh) * | 2020-11-04 | 2021-03-02 | 南京火眼锐视信息科技有限公司 | 一种文档图像的形变度评估、筛选方法和装置 |
CN114429476A (zh) * | 2022-01-25 | 2022-05-03 | 惠州Tcl移动通信有限公司 | 图像处理方法、装置、计算机设备以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104202594A (zh) * | 2014-07-25 | 2014-12-10 | 宁波大学 | 一种基于三维小波变换的视频质量评价方法 |
CN105654465A (zh) * | 2015-12-21 | 2016-06-08 | 宁波大学 | 一种采用视差补偿视点间滤波的立体图像质量评价方法 |
CN106780386A (zh) * | 2016-12-16 | 2017-05-31 | 武汉理工大学 | 一种三维激光扫描变形提取可靠性评价方法 |
CN107172418A (zh) * | 2017-06-08 | 2017-09-15 | 宁波大学 | 一种基于曝光情况分析的色阶映射图像质量评价方法 |
-
2017
- 2017-12-08 CN CN201711297233.2A patent/CN108010023B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104202594A (zh) * | 2014-07-25 | 2014-12-10 | 宁波大学 | 一种基于三维小波变换的视频质量评价方法 |
CN105654465A (zh) * | 2015-12-21 | 2016-06-08 | 宁波大学 | 一种采用视差补偿视点间滤波的立体图像质量评价方法 |
CN106780386A (zh) * | 2016-12-16 | 2017-05-31 | 武汉理工大学 | 一种三维激光扫描变形提取可靠性评价方法 |
CN107172418A (zh) * | 2017-06-08 | 2017-09-15 | 宁波大学 | 一种基于曝光情况分析的色阶映射图像质量评价方法 |
Non-Patent Citations (4)
Title |
---|
WUJIE ZHOU 等: "PMFS A Perceptual Modulated Feature Similarity Metric for Stereoscopic Image Quality Assessment", 《IEEE SIGNAL PROCESSING LETTERS》 * |
于娇文: "基于流形学习的高动态范围图像质量评价", 《激光杂志》 * |
谢登梅 等: "基于图像内容自适应矩阵完成的高动态范围成像方法", 《光电工程》 * |
靳鑫 等: "基于结构相似度的自适应图像质量评价", 《光电子 激光》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816646A (zh) * | 2019-01-21 | 2019-05-28 | 武汉大学 | 一种基于退化决策逻辑的无参考图像质量评价方法 |
CN109816646B (zh) * | 2019-01-21 | 2022-08-30 | 武汉大学 | 一种基于退化决策逻辑的无参考图像质量评价方法 |
CN110415211A (zh) * | 2019-06-18 | 2019-11-05 | 宁波大学 | 基于图谱特征和空间特征的盲参考三维网格质量评价方法 |
CN112435218A (zh) * | 2020-11-04 | 2021-03-02 | 南京火眼锐视信息科技有限公司 | 一种文档图像的形变度评估、筛选方法和装置 |
CN114429476A (zh) * | 2022-01-25 | 2022-05-03 | 惠州Tcl移动通信有限公司 | 图像处理方法、装置、计算机设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108010023B (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108428227B (zh) | 基于全卷积神经网络的无参考图像质量评价方法 | |
Qureshi et al. | Towards the design of a consistent image contrast enhancement evaluation measure | |
Le Callet et al. | A convolutional neural network approach for objective video quality assessment | |
Hassan et al. | Structural similarity measure for color images | |
CN108665460B (zh) | 基于组合神经网络和分类神经网络的图像质量评价方法 | |
CN103996192B (zh) | 基于高质量自然图像统计量模型的无参考图像质量评价方法 | |
CN108010023A (zh) | 基于张量域曲率分析的高动态范围图像质量评价方法 | |
CN101378519B (zh) | 一种基于Contourlet变换的质降参考图像质量评价方法 | |
CN109727246A (zh) | 一种基于孪生网络的对比学习图像质量评估方法 | |
CN110728656A (zh) | 基于元学习的无参考图像质量数据处理方法、智能终端 | |
CN106920232A (zh) | 基于显著性检测的梯度相似度图像质量评价方法及*** | |
CN109816625A (zh) | 一种视频质量评分实现方法 | |
CN107464222B (zh) | 基于张量空间的无参考高动态范围图像客观质量评价方法 | |
CN108074239A (zh) | 一种基于先验感知质量特征图的无参考图像质量客观评价方法 | |
CN109801232A (zh) | 一种基于深度学习的单幅图像去雾方法 | |
CN112767385B (zh) | 基于显著性策略与特征融合无参考图像质量评价方法 | |
Yan et al. | Blind stereoscopic image quality assessment by deep neural network of multi-level feature fusion | |
CN114612714A (zh) | 基于课程学习的无参考图像质量评价方法 | |
Wiedemann et al. | Disregarding the big picture: Towards local image quality assessment | |
CN114187261A (zh) | 一种基于多维注意力机制的无参考立体图像质量评价方法 | |
CN106210711A (zh) | 一种无参考立体图像质量评价方法 | |
CN104899893B (zh) | 基于视觉注意力的图像质量检测方法 | |
CN112233089B (zh) | 一种无参考立体混合失真图像质量评价方法 | |
Zhu et al. | Siqd: Surveillance image quality database and performance evaluation for objective algorithms | |
CN107657229A (zh) | 一种基于内容分类的视频模糊度检测人眼视觉修正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |