CN105574885B - 基于机器学习并融合视觉特征的全参考图像质量评估方法 - Google Patents
基于机器学习并融合视觉特征的全参考图像质量评估方法 Download PDFInfo
- Publication number
- CN105574885B CN105574885B CN201610017544.8A CN201610017544A CN105574885B CN 105574885 B CN105574885 B CN 105574885B CN 201610017544 A CN201610017544 A CN 201610017544A CN 105574885 B CN105574885 B CN 105574885B
- Authority
- CN
- China
- Prior art keywords
- quality
- reference picture
- objective
- full reference
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于机器学习并融合视觉特征的全参考图像质量评估方法,包括以下步骤:分别采用客观全参考图像质量评估方法、结合图像显著性分布的客观全参考图像质量评估方法、结合局部图像质量排序的客观全参考图像质量评估方法、结合局部图像质量数据统计的客观全参考图像质量评估方法对目标图像提取特征,获得特征集F1、F2、F3和F4;综合特征集F1、F2、F3和F4,将其作为机器学习算法的特征集T,通过机器学习算法和三等分交叉验证方法学习得出客观评估模型;采用客观评估模型对图像进行质量评估,得到客观全参考图像质量评估得分值。该方法可有效的对全参考图像的质量进行评估,与用户主观评分之间具有较好的相关性与准确性。
Description
技术领域
本发明涉及图像处理及计算机视觉技术领域,特别是一种与主观感知相一致的基于机器学习并融合视觉特征的全参考图像质量评估方法。
背景技术
在大多数现代图像处理***中图像质量评价成为一个极为重要的组成部分,图像质量的评估成为图像处理、计算机视觉领域的一个基本而又具有重要意义的问题。
图像质量评估可以分为主观评价方法和客观评价方法。主观方法即人直接观察图像,通过评分评判图像质量。但主观评价的方法难以用数学模型表达并加以应用。所以一般使用建立模型的客观评估方法评价图像质量。客观图像质量评价的最初研究专注于纯数学指标上,基于数学统计这一性质,这个数学指标则是基于两个图像之间的量化误差。SNR、PSNR和MSE是其中的先驱。尽管拥有简单和方便的优点,但这些方法与主观评估并无太大关联,这些算法的局限性也被后续的文章证实了。因此,Mitsa和Varkur提出了加权派生的SNR(WSNR),之后NQM及一些其他指标也相继提出。
之后人们从人类视觉***(Human Visual System, HVS)的角度出发,Wang和Bovik于2002年提出HVS可以被分解成三个独立通道:亮度、对比度和结构,他们主张,人眼通过这三个通道获取图像信息,UQI和SSIM正是基于HVS特性中的这三个组成通道构造得到的。Wang之后又提出三种SSIM变体,包括multi-scale SSIM (MS-SSIM)、the SSIM withautomatic down-sampling (MSSIM)和wavelets-SSIM;
2004年之后,多种指标相继被提出,包括VIF、VIFP、M-SVD、 VSNR、R-SVD、RFSIM、PSNRHVS、PSNRHVSM等。
客观全参考图像质量评估方法是目前发展程度最为成熟的方法。从最原始的数学偏差方法到加入对人类视觉***的考虑,各种方法分别从不同的角度出发,试图建立一个能够将图像量化值映射到与人的主观感受的模型。随着人们对HVS的研究不断深入,越来越多的与主观感知相关的特征被发现,可见,人眼主观感知并不单一地与某个特征关联,可能与多个特征都存在关联。同样的,我们想到将各个与主观感知有关联的特征都纳入考虑,能够结合这些特征的优点,去构建一个与主观感知最一致的模型。
发明内容
有鉴于此,本发明的目的是提供一种与主观感知相一致的基于机器学习并融合视觉特征的全参考图像质量评估方法,该方法能够使评估结果与用户主观感知之间具有较好的相关性和准确性。
本发明采用以下方案实现:一种基于机器学习并融合视觉特征的全参考图像质量评估方法,包括以下步骤:
步骤S1:输入参考图像和目标图像,目标图像即为失真图像,基于客观全参考图像质量评估方法对目标图像进行特征提取,获得特征集F1;
步骤S2:采用结合图像显著性分布的客观全参考图像质量评估方法进行特征提取,获得特征集F2;
步骤S3:采用结合局部图像质量排序的客观全参考图像质量评估方法进行特征提取,获得特征集F3;
步骤S4:采用结合局部图像质量数据统计的客观全参考图像质量评估方法进行特征提取,获得特征集F4;
步骤S5:综合特征集F1、F2、F3和F4,将其作为机器学习算法的特征集T,并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型;
步骤S6:采用客观评估模型对图像进行质量评估,得到最终的客观全参考图像质量评估得分值。
进一步地,在步骤S1中,基于客观全参考图像质量评估方法对目标图像进行特征提取的具体方法为:采用10种客观全参考图像质量评估方法FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、VSI、MAD、PSNRHA和PSNRHMA对目标图像进行质量评估,生成10个对应的特征值:F11、F12、…、F110,组成特征集F1={F11, F12, …, F110}。
进一步地,在步骤S2中,采用结合图像显著性分布的客观全参考图像质量评估方法进行特征提取,具体包括以下步骤:
步骤S21:采用图像显著区域检测算法GS,获得参考图像的显著性图W(i, j);
步骤S22:分别采用FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、MAD、PSNRHA和PSNRHMA算法计算结合图像显著性分布的客观全参考图像质量评估特征,计算公式为:
其中,k=1, 2, …, 9,F21、F22、…、F29分别表示FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、MAD、PSNRHA和PSNRHMA算法结合图像显著性分布计算得到的特征值,W(i,j)表示GS算法计算得到的像素(i, j)的显著性值,i=1, 2, …, p,j=1, 2, …, q,p、q分别表示图像的高度和宽度,S1(i, j)、S2(i, j)、…、S9(i, j)分别表示FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、MAD、PSNRHA和PSNRHMA算法计算得到的像素(i, j)的评估值;
VSI算法已考虑显著性图对图像质量的影响,故只采用上述9种算法进行计算,得到9个融合显著性的客观全参考图像质量评估特征值:F21、F22、…、F29,组成特征集F2={F21, F22, …, F29}。
进一步地,在步骤S3中,采用结合局部图像质量排序的客观全参考图像质量评估方法进行特征提取的具体方法为:
根据特征计算过程中是否需要与整个图像相关数据分两类方法计算图像局部区域特征:
1)对于不需要与整个图像相关数据的FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、VSI和MAD算法,将每种客观全参考图像质量评估方法计算得到的每个像素的评估值Sm(i,j)表示成一幅评估值图像,m表示所使用的客观全参考图像质量评估方法,在步骤1)中,m=1, 2, …, 8,分别对应FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、VSI和MAD算法,然后将所述评估值图像均匀划分为n*n个网格区域,根据评估值图像计算每个网格区域的质量,并按照每个网格区域的质量从差到好的顺序排列后得到n*n个特征值:F3m 1、F3m 2、…、F3m n*n,每种客观全参考图像质量评估方法组成结合局部图像质量排序的特征集F3m={F3m 1, F3m 2, …,F3m n*n };
2)对于需要与整个图像相关数据的PSNRHA和PSNRHMA算法,将参考图像和失真图像均匀划分为n*n的网格,将得到的每个网格内的子图像使用客观全参考图像质量评估方法计算其质量,同样按照每个网格区域的质量从差到好的顺序排列后得到n*n个特征值:F3m 1、F3m 2、…、F3m n*n,每种客观全参考图像质量评估方法组成结合局部图像质量排序的特征集F3m={F3m 1, F3m 2, …, F3m n*n },在步骤2)中,m=9, 10,分别对应PSNRHA和PSNRHMA算法;
3)然后利用得到的10种客观全参考图像质量评估方法的结合局部图像质量排序的特征集组合得到特征集F3,F3={F31, F32, …, F310}。
进一步地,在步骤S4中,采用结合局部图像质量数据统计的客观全参考图像质量评估方法进行特征提取,具体包括以下步骤:
步骤S41:基于步骤S3得到的n*n个网格区域,计算每种客观全参考图像质量评估方法对应的n*n个结合局部图像质量数据统计的客观全参考图像质量评估特征值:F3m 1、F3m 2、…、F3m n*n,在步骤S4中,由于质量非常差的局部区域的大小未知,采用多个图像划分粒度,n取值5, 7, 11,m表示所使用的客观全参考图像质量评估方法;
步骤S42:按照下列公式计算最差局部区域质量:
max、min分别表示取最大、最小值的函数;
步骤S43:按照下列公式计算最好质量和最差质量之间的跨度:
步骤S44:按照下列公式计算局部区域质量的标准方差:
std表示计算标准方差的函数;
得到结合局部图像质量数据统计的客观全参考图像质量评估特征集:F4={F41 51,F41 52, F41 53, F41 71, F41 72, F41 73,F41 111, F41 112, F41 113,…, F410 51, F410 52, F410 53,F410 71, F410 72, F410 73,F410 111, F410 112, F410 113}。
进一步地,在步骤S5中,综合特征集F1、F2、F3和F4,将其作为机器学习算法的特征集T,并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型,具体包括以下步骤:
步骤S51:组成特征集T={F1, F2, F3, F4},并将特征集T随机三等分,形成三个特征集T1、T2和T3;
步骤S52:计算用于求解特征集T1、T2和T3所对应的图像集的主观平均得分值MOS的集合,分别记为MOS1、MOS2和MOS3;
步骤S53:将T1、T2和MOS1、MOS2作为机器学习的训练数据集,学习得到图像质量评估模型M1;
步骤S54:重复步骤S53,分别求出T1、T3和MOS1、MOS3作为训练数据集的图像质量评估模型M2与T2、T3和MOS2、MOS3作为训练数据集的图像质量评估模型M3。
进一步地,在步骤S6中,采用客观评估模型对图像进行质量评估,得到最终的客观全参考图像质量评估得分值,具体包括以下步骤:
步骤S61:采用模型M1对特征集T3进行计算,得到特征集T3对应的图像集的客观全参考图像质量评估得分值集合AS1;
步骤S62:采用模型M2对特征集T2进行计算,得到特征集T2对应的图像集的客观全参考图像质量评估得分值集合AS2;
步骤S63:采用模型M3对特征集T1进行计算,得到特征集T1对应的图像集的客观全参考图像质量评估得分值集合AS3;
步骤S64:综合评估得分值集合AS={AS1, AS2, AS3},得到最终的客观全参考图像质量评估得分值集合AS。
相较于现有技术,本发明的有益效果是:本方法通过使用机器学习的方法,利用机器学习的特性,挖掘各个特征与主观感知的关联性,集合各个算法的优点,获得一个性能更优秀的全参考图像评估模型。同时,为进一步降低主观感知和客观评估之间的差异,本方法集成了更多的视觉特征,包括图像内容的显著性分布、图像局部区域质量的排序和数值统计特征。综上,本发明的方法能够更有效的对图像的质量进行评估。
附图说明
图1是本发明实施例的实现流程图。
图2是本发明实施例中步骤S1、S2、S3和S4的实现流程图。
图3是本发明实施例中步骤S5和S6的实现流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明提供一种基于机器学习并融合视觉特征的全参考图像质量评估方法,如图1所示,包括以下步骤:
步骤S1:输入参考图像和目标图像,目标图像即为失真图像,基于客观全参考图像质量评估方法对目标图像进行特征提取,获得特征集F1。
在本实施例中,如图2所示,基于客观全参考图像质量评估方法对目标图像进行特征提取的具体方法为:采用10种客观全参考图像质量评估方法FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、VSI、MAD、PSNRHA和PSNRHMA对目标图像进行质量评估,生成10个对应的特征值:F11、F12、…、F110,组成特征集F1={F11, F12, …, F110}。
步骤S2:采用结合图像显著性分布的客观全参考图像质量评估方法进行特征提取,获得特征集F2。
在本实施例中,如图2所示,采用结合图像显著性分布的客观全参考图像质量评估方法进行特征提取,具体包括以下步骤:
步骤S21:采用图像显著区域检测算法GS,获得参考图像的显著性图W(i, j);
步骤S22:分别采用FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、MAD、PSNRHA和PSNRHMA算法计算结合图像显著性分布的客观全参考图像质量评估特征,计算公式为:
其中,k=1, 2, …, 9,F21、F22、…、F29分别表示FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、MAD、PSNRHA和PSNRHMA算法结合图像显著性分布计算得到的特征值,W(i,j)表示GS算法计算得到的像素(i, j)的显著性值,i=1, 2, …, p,j=1, 2, …, q,p、q分别表示图像的高度和宽度,S1(i, j)、S2(i, j)、…、S9(i, j)分别表示FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、MAD、PSNRHA和PSNRHMA算法计算得到的像素(i, j)的评估值;
VSI算法已考虑显著性图对图像质量的影响,故只采用上述9种算法进行计算,得到9个融合显著性的客观全参考图像质量评估特征值:F21、F22、…、F29,组成特征集F2={F21, F22, …, F29}。
步骤S3:采用结合局部图像质量排序的客观全参考图像质量评估方法进行特征提取,获得特征集F3。
在本实施例中,如图2所示,采用结合局部图像质量排序的客观全参考图像质量评估方法进行特征提取的具体方法为:
根据特征计算过程中是否需要与整个图像相关数据分两类方法计算图像局部区域特征:
1)对于不需要与整个图像相关数据的FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、VSI和MAD算法,将每种客观全参考图像质量评估方法计算得到的每个像素的评估值Sm(i,j)表示成一幅评估值图像,m表示所使用的客观全参考图像质量评估方法,在步骤1)中,m=1, 2, …, 8,分别对应FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、VSI和MAD算法,然后将所述评估值图像均匀划分为n*n个网格区域,根据评估值图像计算每个网格区域的质量,并按照每个网格区域的质量从差到好的顺序排列后得到n*n个特征值:F3m 1、F3m 2、…、F3m n*n,每种客观全参考图像质量评估方法组成结合局部图像质量排序的特征集F3m={F3m 1, F3m 2, …,F3m n*n };
2)对于需要与整个图像相关数据的PSNRHA和PSNRHMA算法,将参考图像和失真图像均匀划分为n*n的网格,在本实施例中我们取n=3,将得到的每个网格内的子图像使用客观全参考图像质量评估方法计算其质量,同样按照每个网格区域的质量从差到好的顺序排列后得到n*n个特征值:F3m 1、F3m 2、…、F3m n*n,每种客观全参考图像质量评估方法组成结合局部图像质量排序的特征集F3m={F3m 1, F3m 2, …, F3m n*n },在步骤2)中,m=9, 10,分别对应PSNRHA和PSNRHMA算法;
3)然后利用得到的10种客观全参考图像质量评估方法的结合局部图像质量排序的特征集组合得到特征集F3,F3={F31, F32, …, F310}。
步骤S4:采用结合局部图像质量数据统计的客观全参考图像质量评估方法进行特征提取,获得特征集F4。
在本实施例中,如图2所示,采用结合局部图像质量数据统计的客观全参考图像质量评估方法进行特征提取,具体包括以下步骤:
步骤S41:基于步骤S3得到的n*n个网格区域,计算每种客观全参考图像质量评估方法对应的n*n个结合局部图像质量数据统计的客观全参考图像质量评估特征值:F3m 1、F3m 2、…、F3m n*n,在步骤S4中,由于质量非常差的局部区域的大小未知,采用多个图像划分粒度,n取值5, 7, 11,m表示所使用的客观全参考图像质量评估方法;
步骤S42:按照下列公式计算最差局部区域质量:
max、min分别表示取最大、最小值的函数;
步骤S43:按照下列公式计算最好质量和最差质量之间的跨度:
步骤S44:按照下列公式计算局部区域质量的标准方差:
std表示计算标准方差的函数;
得到结合局部图像质量数据统计的客观全参考图像质量评估特征集:F4={F41 51,F41 52, F41 53, F41 71, F41 72, F41 73,F41 111, F41 112, F41 113,…, F410 51, F410 52, F410 53,F410 71, F410 72, F410 73,F410 111, F410 112, F410 113}。
步骤S5:综合特征集F1、F2、F3和F4,将其作为机器学习算法的特征集T,并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型。
在本实施例中,如图3所示,综合特征集F1、F2、F3和F4,将其作为机器学习算法的特征集T,并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型,具体包括以下步骤:
步骤S51:组成特征集T={F1, F2, F3, F4},并将特征集T随机三等分,形成三个特征集T1、T2和T3;
步骤S52:计算用于求解特征集T1、T2和T3所对应的图像集的主观平均得分值MOS的集合,分别记为MOS1、MOS2和MOS3;
步骤S53:将T1、T2和MOS1、MOS2作为机器学习的训练数据集,学习得到图像质量评估模型M1;本发明采用Random Forest Regression (RFR)机器学习方法进行评估模型的学习;
步骤S54:重复步骤S53,分别求出T1、T3和MOS1、MOS3作为训练数据集的图像质量评估模型M2与T2、T3和MOS2、MOS3作为训练数据集的图像质量评估模型M3。M1、M2、M2即为客观评估模型。
步骤S6:采用客观评估模型对图像进行质量评估,得到最终的客观全参考图像质量评估得分值。
在本实施例中,如图3所示,采用客观评估模型对图像进行质量评估,得到最终的客观全参考图像质量评估得分值,具体包括以下步骤:
步骤S61:采用模型M1对特征集T3进行计算,得到特征集T3对应的图像集的客观全参考图像质量评估得分值集合AS1;
步骤S62:采用模型M2对特征集T2进行计算,得到特征集T2对应的图像集的客观全参考图像质量评估得分值集合AS2;
步骤S63:采用模型M3对特征集T1进行计算,得到特征集T1对应的图像集的客观全参考图像质量评估得分值集合AS3;
步骤S64:综合评估得分值集合AS={AS1, AS2, AS3},得到最终的客观全参考图像质量评估得分值集合AS。
本发明基于机器学习并融合视觉特征的全参考图像质量评估方法,借鉴已有的具有代表性的客观图像质量评估方法,得到基于客观图像质量评估方法的特征,然后结合人眼对图像内容的显著性分布、局部图像质量的排序和统计数据,从图像中提取与图像质量有关联的一系列特征,作为机器学习方法的特征,利用机器学习的特性,挖掘各个成分与人眼的主观感知之间的关联,设计并得到一个能够集合各个方法优点的客观全参考图像质量评估方法。首先我们获得目标图像的四类特征,利用训练出来的回归模型获得图像质量的预测评估值。所述方法能够有效的对图像质量进行评估,评估结果与用户主观评估得分值保持较好的一致性,具有较高的相关性和准确性。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (5)
1.一种基于机器学习并融合视觉特征的全参考图像质量评估方法,其特征在于,包括以下步骤:
步骤S1:输入参考图像和目标图像,目标图像即为失真图像,基于客观全参考图像质量评估方法对目标图像进行特征提取,获得特征集F1;
步骤S2:采用结合图像显著性分布的客观全参考图像质量评估方法对目标图像进行特征提取,获得特征集F2;
步骤S3:采用结合局部图像质量排序的客观全参考图像质量评估方法对目标图像进行特征提取,获得特征集F3;
步骤S4:采用结合局部图像质量数据统计的客观全参考图像质量评估方法对目标图像进行特征提取,获得特征集F4;
步骤S5:综合特征集F1、F2、F3和F4,将其作为机器学习算法的特征集T,并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型;
步骤S6:采用客观评估模型对目标图像进行质量评估,得到最终的客观全参考图像质量评估得分值;
在步骤S5中,综合特征集F1、F2、F3和F4,将其作为机器学习算法的特征集T,并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型,具体包括以下步骤:
步骤S51:组成特征集T={F1,F2,F3,F4},并将特征集T随机三等分,形成三个特征集T1、T2和T3;
步骤S52:计算用于求解特征集T1、T2和T3所对应的图像集的主观平均得分值MOS的集合,分别记为MOS1、MOS2和MOS3;
步骤S53:将T1、T2和MOS1、MOS2作为机器学习的训练数据集,学习得到图像质量评估模型M1;
步骤S54:重复步骤S53,分别求出T1、T3和MOS1、MOS3作为训练数据集的图像质量评估模型M2与T2、T3和MOS2、MOS3作为训练数据集的图像质量评估模型M3;
在步骤S6中,采用客观评估模型对目标图像进行质量评估,得到最终的客观全参考图像质量评估得分值,具体包括以下步骤:
步骤S61:采用模型M1对特征集T3进行计算,得到特征集T3对应的图像集的客观全参考图像质量评估得分值集合AS1;
步骤S62:采用模型M2对特征集T2进行计算,得到特征集T2对应的图像集的客观全参考图像质量评估得分值集合AS2;
步骤S63:采用模型M3对特征集T1进行计算,得到特征集T1对应的图像集的客观全参考图像质量评估得分值集合AS3;
步骤S64:综合评估得分值集合AS={AS1,AS2,AS3},得到最终的客观全参考图像质量评估得分值集合AS。
2.根据权利要求1所述的基于机器学习并融合视觉特征的全参考图像质量评估方法,其特征在于,在步骤S1中,基于客观全参考图像质量评估方法对目标图像进行特征提取的具体方法为:采用10种客观全参考图像质量评估方法FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、VSI、MAD、PSNRHA和PSNRHMA对目标图像进行质量评估,生成10个对应的特征值:F11、F12、…、F110,组成特征集F1={F11,F12,…,F110}。
3.根据权利要求1所述的基于机器学习并融合视觉特征的全参考图像质量评估方法,其特征在于,在步骤S2中,采用结合图像显著性分布的客观全参考图像质量评估方法进行特征提取,具体包括以下步骤:
步骤S21:采用图像显著区域检测算法GS,获得参考图像中各像素(i,j)的显著性值W(i,j);
步骤S22:分别采用FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、MAD、PSNRHA和PSNRHMA 9种算法计算结合图像显著性分布的客观全参考图像质量评估特征,计算公式为:
其中,k=1,2,…,9,F21、F22、…、F29分别表示FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、MAD、PSNRHA和PSNRHMA算法结合图像显著性分布计算得到的特征值,W(i,j)表示GS算法计算得到的像素(i,j)的显著性值,i=1,2,…,p,j=1,2,…,q,p、q分别表示图像的高度和宽度,S1(i,j)、S2(i,j)、…、S9(i,j)分别表示FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、MAD、PSNRHA和PSNRHMA算法计算得到的像素(i,j)的评估值;
VSI算法已考虑显著性图对图像质量的影响,故只采用上述9种算法进行计算,得到9个融合显著性的客观全参考图像质量评估特征值:F21、F22、…、F29,组成特征集F2={F21,F22,…,F29}。
4.根据权利要求1所述的基于机器学习并融合视觉特征的全参考图像质量评估方法,其特征在于,在步骤S3中,采用结合局部图像质量排序的客观全参考图像质量评估方法进行特征提取的具体方法为:
根据特征计算过程中是否需要与整个图像相关数据,分两类方法计算图像局部区域特征:
1)对于不需要与整个图像相关数据的FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、VSI和MAD算法,将每种客观全参考图像质量评估方法计算得到的每个像素的评估值Sm(i,j)表示成一幅评估值图像,m表示所使用的客观全参考图像质量评估方法,在步骤1)中,m=1,2,…,8,分别对应FSIM、FSIMc、PSNR、PSNRc、PSNRHVS、SSIM、VSI和MAD算法,然后将所述评估值图像均匀划分为n*n个网格区域,根据评估值图像计算每个网格区域的质量,并按照每个网格区域的质量从差到好的顺序排列后得到n*n个特征值:F3m 1、F3m 2、…、F3m n*n,每种客观全参考图像质量评估方法组成结合局部图像质量排序的特征集F3m={F3m 1,F3m 2,…,F3m n*n};
2)对于需要与整个图像相关数据的PSNRHA和PSNRHMA算法,将参考图像和失真图像均匀划分为n*n的网格,将得到的每个网格内的子图像使用客观全参考图像质量评估方法计算其质量,同样按照每个网格区域的质量从差到好的顺序排列后得到n*n个特征值:F3m 1、F3m 2、…、F3m n*n,每种客观全参考图像质量评估方法组成结合局部图像质量排序的特征集F3m={F3m 1,F3m 2,…,F3m n*n},在步骤2)中,m=9,10,分别对应PSNRHA和PSNRHMA算法;
3)然后利用得到的10种客观全参考图像质量评估方法的结合局部图像质量排序的特征集组合得到特征集F3={F31,F32,…,F310}。
5.根据权利要求4所述的基于机器学习并融合视觉特征的全参考图像质量评估方法,其特征在于,在步骤S4中,采用结合局部图像质量数据统计的客观全参考图像质量评估方法进行特征提取,具体包括以下步骤:
步骤S41:基于步骤S3得到的n*n个网格区域,计算每种客观全参考图像质量评估方法对应的n*n个结合局部图像质量数据统计的客观全参考图像质量评估特征值:F3m 1、F3m 2、…、F3m n*n,在步骤S4中,由于质量非常差的局部区域的大小未知,采用多个图像划分粒度,n取值5,7,11,m表示所使用的客观全参考图像质量评估方法;
步骤S42:按照下列公式计算最差局部区域质量
max、min分别表示取最大、最小值的函数;
步骤S43:按照下列公式计算最好质量和最差质量之间的跨度
步骤S44:按照下列公式计算局部区域质量的标准方差
std表示计算标准方差的函数;
得到结合局部图像质量数据统计的客观全参考图像质量评估特征集:F4={F41 51,F41 52,F41 53,F41 71,F41 72,F41 73,F41 111,F41 112,F41 113,…,F410 51,F410 52,F410 53,F410 71,F410 72,F410 73,F410 111,F410 112,F410 113}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610017544.8A CN105574885B (zh) | 2016-01-13 | 2016-01-13 | 基于机器学习并融合视觉特征的全参考图像质量评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610017544.8A CN105574885B (zh) | 2016-01-13 | 2016-01-13 | 基于机器学习并融合视觉特征的全参考图像质量评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105574885A CN105574885A (zh) | 2016-05-11 |
CN105574885B true CN105574885B (zh) | 2017-03-08 |
Family
ID=55884974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610017544.8A Expired - Fee Related CN105574885B (zh) | 2016-01-13 | 2016-01-13 | 基于机器学习并融合视觉特征的全参考图像质量评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105574885B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204523A (zh) * | 2016-06-23 | 2016-12-07 | 中国科学院深圳先进技术研究院 | 一种图像质量度量方法及装置 |
CN106686377B (zh) * | 2016-12-30 | 2018-09-04 | 佳都新太科技股份有限公司 | 一种基于深层神经网络的视频重点区域确定方法 |
CN108335289A (zh) * | 2018-01-18 | 2018-07-27 | 天津大学 | 一种全参考融合的图像客观质量评价方法 |
CN108449596B (zh) * | 2018-04-17 | 2020-09-01 | 福州大学 | 一种融合美学和舒适度的3d立体图像质量评估方法 |
CN110858394B (zh) * | 2018-08-20 | 2021-03-05 | 深圳云天励飞技术有限公司 | 一种图像质量评估方法、装置、电子设备及计算机可读存储介质 |
CN109741315B (zh) * | 2018-12-29 | 2020-08-28 | 中国传媒大学 | 一种基于深度强化学习的无参考图像质量客观评价方法 |
CN110505472B (zh) * | 2019-07-15 | 2021-01-15 | 武汉大学 | 一种h.265超高清视频质量评价方法 |
CN111179245B (zh) * | 2019-12-27 | 2023-04-21 | 成都中科创达软件有限公司 | 图像质量检测方法、装置、电子设备和存储介质 |
CN117041531B (zh) * | 2023-09-04 | 2024-03-15 | 无锡维凯科技有限公司 | 一种基于图像质量评估的手机摄像头聚焦检测方法和*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1735751B1 (en) * | 2004-04-13 | 2007-10-03 | Aic | Fractal skr-method for evaluating image quality |
CN102137271A (zh) * | 2010-11-04 | 2011-07-27 | 华为软件技术有限公司 | 一种图像质量评价方法及装置 |
CN102289808A (zh) * | 2011-07-22 | 2011-12-21 | 清华大学 | 一种图像融合质量评估方法和*** |
CN104766299A (zh) * | 2014-12-26 | 2015-07-08 | 国家电网公司 | 一种基于概率图模型的图像质量评估方法 |
CN105046277A (zh) * | 2015-07-15 | 2015-11-11 | 华南农业大学 | 特征显著性在图像质量评价中的鲁棒机理研究方法 |
CN105225222A (zh) * | 2014-06-26 | 2016-01-06 | 西门子公司 | 对不同图像集的感知视觉质量的自动评估 |
-
2016
- 2016-01-13 CN CN201610017544.8A patent/CN105574885B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1735751B1 (en) * | 2004-04-13 | 2007-10-03 | Aic | Fractal skr-method for evaluating image quality |
CN102137271A (zh) * | 2010-11-04 | 2011-07-27 | 华为软件技术有限公司 | 一种图像质量评价方法及装置 |
CN102289808A (zh) * | 2011-07-22 | 2011-12-21 | 清华大学 | 一种图像融合质量评估方法和*** |
CN105225222A (zh) * | 2014-06-26 | 2016-01-06 | 西门子公司 | 对不同图像集的感知视觉质量的自动评估 |
CN104766299A (zh) * | 2014-12-26 | 2015-07-08 | 国家电网公司 | 一种基于概率图模型的图像质量评估方法 |
CN105046277A (zh) * | 2015-07-15 | 2015-11-11 | 华南农业大学 | 特征显著性在图像质量评价中的鲁棒机理研究方法 |
Non-Patent Citations (1)
Title |
---|
《基于客观参数的图像质量评估》;杨彪等;《计算机仿真》;20090531;第26卷(第5期);232-235 * |
Also Published As
Publication number | Publication date |
---|---|
CN105574885A (zh) | 2016-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105574885B (zh) | 基于机器学习并融合视觉特征的全参考图像质量评估方法 | |
WO2020169043A1 (zh) | 一种密集人群计数的方法、装置、设备以及存储介质 | |
CN103262118B (zh) | 属性值估计装置和属性值估计方法 | |
CN110991266B (zh) | 一种双目人脸活体检测方法及装置 | |
CN105046708B (zh) | 一种与主观感知相一致的颜色校正客观评估方法 | |
CN103164711B (zh) | 基于像素和支持向量机的区域人流密度估计的方法 | |
CN107123123A (zh) | 基于卷积神经网络的图像分割质量评价方法 | |
CN110033446A (zh) | 基于孪生网络的增强图像质量评价方法 | |
CN102137271A (zh) | 一种图像质量评价方法及装置 | |
CN104658002B (zh) | 一种无参考图像客观质量评价方法 | |
CN107679503A (zh) | 一种基于深度学习的人群计数算法 | |
CN103996195A (zh) | 一种图像显著性检测方法 | |
CN107396095A (zh) | 一种无参考三维图像质量评价方法 | |
CN103841410B (zh) | 基于图像特征信息的半参考视频QoE客观评估方法 | |
CN106203284B (zh) | 基于卷积神经网络和条件随机场的人脸检测方法 | |
CN111091046A (zh) | 一种基于机器视觉的用户不良坐姿矫正*** | |
CN102982535A (zh) | 基于psnr和ssim的立体图像质量评价方法 | |
CN107977612A (zh) | 一种红外图像人数识别方法 | |
CN106251172A (zh) | 一种基于熵值法的用户价值评分计算方法及*** | |
CN105912991A (zh) | 基于3d点云与关键骨骼节点的行为识别 | |
CN107743225A (zh) | 一种利用多层深度表征进行无参考图像质量预测的方法 | |
CN104361574A (zh) | 一种基于稀疏表示的无参考彩色图像质量评价方法 | |
CN104657709A (zh) | 人脸图像识别方法、装置及服务器 | |
CN110473181A (zh) | 基于边缘特征信息的屏幕内容图像的无参质量评价方法 | |
CN102542285B (zh) | 基于谱图分析的图像集合的场景分类方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170308 Termination date: 20220113 |
|
CF01 | Termination of patent right due to non-payment of annual fee |