CN103778636B - 一种用于无参考图像质量评价的特征构建方法 - Google Patents

一种用于无参考图像质量评价的特征构建方法 Download PDF

Info

Publication number
CN103778636B
CN103778636B CN201410029622.7A CN201410029622A CN103778636B CN 103778636 B CN103778636 B CN 103778636B CN 201410029622 A CN201410029622 A CN 201410029622A CN 103778636 B CN103778636 B CN 103778636B
Authority
CN
China
Prior art keywords
mrow
image
mscn
images
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410029622.7A
Other languages
English (en)
Other versions
CN103778636A (zh
Inventor
宋利
陈忱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201410029622.7A priority Critical patent/CN103778636B/zh
Publication of CN103778636A publication Critical patent/CN103778636A/zh
Application granted granted Critical
Publication of CN103778636B publication Critical patent/CN103778636B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种用于无参考图像质量评价的特征构建方法,该方法首先对进行预处理,得到均值对比度归一化图像即MSCN图像;然后在多个尺度下对MSCN图像及邻域MSCN乘积图像计算统计直方图;接着将所有直方图进行串行级联,形成一个串联直方图;以此串联直方图为特征,训练分类器得到预测模型,对测试图像进行质量评价。与现有技术相比,本发明保留了更多原始图像的统计信息,具有更好的泛化性能。

Description

一种用于无参考图像质量评价的特征构建方法
技术领域
本发明涉及一种图像处理技术领域的方法,具体是一种用于无参考图像质量评价的特征构建方法。
背景技术
无参考图像质量评价直接对输入图像进行分析,进而做出质量好坏评价。由于不需要原始图像源信息,对于实际应用非常方便。无参考客观图像质量评价方法分为两大类,第一类是基于训练模型的,这种方法往往根据具体失真种类提取一些特征,然后通过训练模型得到特征与预测主观分值的映射关系,不便之处在于对于不同失真都要设计方法提取相应特征,通用性比较差;另一类基于图像的自然统计特征,这种方法认为失真图像相对于无损图像一些特征存在着差异,并且这种差异会根据失真种类,损伤程度的不同而改变,从而能够通过这些特征评估图像的质量,此类方法无需知道图像的失真种类,通用性较强。
通过对现有文献的检索,目前无参考图像质量评价的代表性方法是Anish Mittal等人在2012年IEEE Transactions on Image Processing,vol.21(12),pp.4695-4708(2012年IEEE图像处理会刊第21卷12期,4695至4708页)上发表的“No-reference imagequality assessment in the spatial domain(空间域无参考图像质量评价)”一文中提出的一种用于无参考图像质量评价的自然图像统计特征构建方法(简称为BRISQUE)。该方法直接对多个不同尺度或方位的预处理图像拟合广义高斯分布模型,将模型参数共计36个系数值作为图像自然统计特征,采用支持向量机(Support Vector Machine,简称SVM)进行模型训练和测试。然而拟合广义高斯分布模型的步骤对输入图像做了过强的假设,不可避免地降低了图像的原始信息量,进而影响了模型的精度。
发明内容
本发明在现有基于自然统计特性的无参考客观质量评价方法的基础上,设计了一种新的特征构建方法,可以保留很多图像的原始信息量,可以获得更高的图像质量评价效果。
本发明在Anish Mittal等人方法的基础上,简化了特征提取方法,创新点在于:用分布直方图参数取代了广义高斯分布参数,广义高斯分布参数属于粗粒度的特征因而会损失部分原始图像的信息;而本发明在预处理图像上直接构建串联直方图特征,尽可能地保留原始图像的统计特性,进而降低了复杂度并提升了泛化特能。
为实现上述目的,本发明采用以下技术方案:
一种用于无参考图像质量评价的特征构建方法,该方法包括如下步骤:
1)图像预处理,得到均值对比度归一化(Mean Subtracted ContrastNormalized,简称MSCN)图像;
本步骤中,对于原图I(i,j),用下列公式进行预处理,从而得到均值对比度归一化的MSCN图像:
其中,i,j是像素坐标,i∈1,2,…,M,j∈1,2,…,N;M,N分别是图像的长宽;C=1防止分母为零;I′是MSCN图像;μ(i,j)和σ(i,j)通过如下公式获得:
其中w={wk,l|k=-K,…,K,l=-L,…,L}是二维高斯窗口;K=L=3;μ(i,j)是在窗口内的局部均值,σ(i,j)是窗口内的局部方差;
2)计算MSCN图像与邻域MSCN图像的乘积图像:水平H,垂直V,正斜D1,反斜D2,乘积图像的公式如下:
H(i,j)=I′(i,j)I′(i,j+1)
V(i,j)=I′(i,j)I′(i+1,j)
D1(i,j)=I′(i,j)I′(i+1,j+1)
D2(i,j)=I′(i,j)I′(i+1,j-1)
3)统计MSCN图像以及H,V,D1,D2四个方向MSCN乘积图像的直方图;
4)在多个尺度下重复执行1)-3),并将所有直方图串行排列起来,形成串联直方图,作为图像质量评价的特征。
进一步的,所述方法用于无参考图像质量评价时,对训练图像库中的图像提取串联直方图特征,并可以将其与主观分值一起放入分类器中进行训练,得到预测模型;利用典型的分类器,如SVM或者神经网络进行模型训练,并用于图像质量评价。
与现有技术相比,本发明具有如下的有益效果:
本发明提取的自然统计特征保留了原始图像的很多信息,因此用来评价图像质量能够获得更好的效果,具有更好的泛化性能。
附图说明
通过阅读参照以下附图,对于本发明的特征、目的和优点将会变得更明显:
图1是基于自然统计特性直方图特征的无参考客观质量评价方法框图。
图2a-图2k是本发明实施例中串联直方图构建示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
此处结合本发明在无参考客观图像质量评价应用将以描述,具体是将本发明构建的反映自然图像统计特性的特征,采用SVM进行训练和测试,应用于质量评价,具体框图如图1所示。
下面首先介绍图像预处理的步骤,然后将在此基础之上详细介绍自然统计特性直方图特征的提取方式,最后介绍支持向量机分类器的使用方法。
1)图像预处理
对于原图I(i,j),用下列公式进行预处理,从而得到均值对比度归一化的MSCN图像:
其中,i,j是像素坐标,i∈1,2,…,M,j∈1,2,…,N;M,N分别是图像的长宽;C=1防止分母为零;I′是MSCN图像;μ(i,j)和σ(i,j)通过如下公式获得:
其中w={wk,l|k=-K,…,K,l=-L,…,L}是二维高斯窗口;K=L=3;μ(i,j)是在窗口内的局部均值,σ(i,j)是窗口内的局部方差。
2)直方图计算
计算MSCN图像与邻域图像(水平H,垂直V,正斜D1,反斜D2)的乘积图像:
H(i,j)=I′(i,j)I′(i,j+1) (4)
V(i,j)=I′(i,j)I′(i+1,j) (5)
D1(i,j)=I′(i,j)I′(i+1,j+1) (6)
D2(i,j)=I′(i,j)I′(i+1,j-1) (7)
连同MSCN图像I′(i,j)在内,共有五副图像。另外,对原始图像的低分辨图像也做相同的前述步骤,一共可以得到十副图像。
3)串联直方图特征构建
经过分析,MSCN图像的像素值绝大多数集中在[-2,2],邻域乘积图像像素值绝大多数集中在[-1,1],因此可将这两个区间等分成40个子区间,然后在这个区间上计算前述十副图像的分布直方图,则每个分布直方图都相当于一个40维向量。在串联了10个分布直方图后,总共提取了400维向量,作为反映自然图像统计特性的串联直方图特征。该构建过程如图2所示。图2a为原始分辨率下MSCN图像(I')直方图;图2b为原始分辨率下水平方向MSCN乘积图像(H)直方图;图2c原始分辨率下垂直方向MSCN乘积图像(V)直方图;图2d原始分辨率下正斜方向MSCN乘积图像(D1)直方图;图2e为原始分辨率下反斜方向MSCN乘积图像(D2)直方图;图2f为低分辨率下MSCN图像(I')直方图;图2g为低分辨率下水平方向MSCN乘积图像(H)直方图;图2h为低分辨率下垂直方向MSCN乘积图像(V)直方图;图2i为低分辨率下正斜方向MSCN乘积图像(D1)直方图;图2j为低分辨率下反斜方向MSCN乘积图像(D2)直方图;图2k为本发明形成的串联直方图特征。
4)使用SVM执行无参考图像质量评价
对训练图像集采用本发明的方法构建串联直方图特征,将这些特征与相应的主观分值输入到SVM中训练,获得训练好的SVM;评价时候,首先对测试图像提取串联直方图特征,然后输入训练好的SVM中,得到预测分值。
以公开的视频质量评价数据库LIVE IQA数据库为例,该数据库以29个参考图像为基础,并给出相应的主观DMOS值。噪声形式为JPEG2000(JP2K),JPEG,white noise(WN),Gaussian blur(Blur)和fast-fading。将数据库随机分成训练集(80%)和测试集(20%)。对于每种分割方式,首先输入训练集来训练方法模型,然后将测试集验证该模型得到最终的预测准确率。斯皮尔曼系数(SROCC)和皮尔森系数(LCC)被用来作为衡量预测准确性的指标。
下表是迭代1000次取平均值获得的结果,同时给出了广泛使用的全参考图像质量评价方法(PSNR,SSIM)与代表性的无参考质量评价方法BRISQUE结果作为对比。从表中可以看出本发明的性能最为出色。
表一不同方法的性能比较
以上所述仅是本发明的优选实施方式,本发明的保护范围不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范畴。应当指出,对于本技术领域的技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也都应视为本发明的保护范围。

Claims (1)

1.一种用于无参考图像质量评价的特征构建方法,其特征在于所述方法包括如下步骤:
第一步,图像预处理,得到均值对比度归一化图像即MSCN图像;
对于原图I(i,j),用下列公式进行预处理,从而得到均值对比度归一化的MSCN图像:
<mrow> <msup> <mi>I</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>I</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>&amp;mu;</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>C</mi> </mrow> </mfrac> </mrow>
其中,i,j是像素坐标,i∈1,2,...,M,j∈1,2,...,N;M,N分别是图像的长宽;C=1防止分母为零;I′是MSCN图像;μ(i,j)和σ(i,j)通过如下公式获得:
<mrow> <mi>&amp;mu;</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mo>-</mo> <mi>K</mi> </mrow> <mi>K</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mo>-</mo> <mi>L</mi> </mrow> <mi>L</mi> </munderover> <msub> <mi>w</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>l</mi> </mrow> </msub> <msub> <mi>I</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>l</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mo>-</mo> <mi>K</mi> </mrow> <mi>K</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mo>-</mo> <mi>K</mi> </mrow> <mi>L</mi> </munderover> <msub> <mi>w</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>l</mi> </mrow> </msub> <msup> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>l</mi> </mrow> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>-</mo> <mi>&amp;mu;</mi> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
其中w={wk,l|k=-K,...,K,l=-L,...,L}是二维高斯窗口;K=L=3;μ(i,j)是在窗口内的局部均值,σ(i,j)是窗口内的局部方差;
第二步,计算MSCN图像与邻域MSCN图像的乘积图像:水平H,垂直V,正斜D1,反斜D2,乘积图像的公式如下:
H(i,j)=I′(i,j)I′(i,j+1)
V(i,j)=I′(i,j)I′(i+1,j)
D1(i,j)=I′(i,j)I′(i+1,j+1)
D2(i,j)=I′(i,j)I′(i+1,j-1)
连同MSCN图像I′(i,j)在内,共有五幅图像;另外,对原始图像的低分辨图像也做相同的前述步骤,一共得到十幅图像;
第三步,统计MSCN图像以及H,V,D1,D2四个方向MSCN乘积图像的直方图;
第四步,在多个尺度下重复执行第一步到第三步,并将所有直方图串行排列起来,形成串联直方图,作为图像质量评价的特征;
MSCN图像的像素值绝大多数集中在[-2,2],邻域乘积图像像素值绝大多数集中在[-1,1],将这两个区间等分成40个子区间,然后在这两个区间上计算前述十幅图像的分布直方图,则每个分布直方图都相当于一个40维向量,在串联了10个分布直方图后,总共提取了400维向量,作为反映自然图像统计特性的串联直方图特征;
所述方法用于无参考图像质量评价时,对训练图像库中的图像提取串联直方图特征,与主观分值一起放入分类器中进行训练,得到预测模型;对测试图像计算图像串联直方图特征,用训练好的分类器进行评价。
CN201410029622.7A 2014-01-22 2014-01-22 一种用于无参考图像质量评价的特征构建方法 Expired - Fee Related CN103778636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410029622.7A CN103778636B (zh) 2014-01-22 2014-01-22 一种用于无参考图像质量评价的特征构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410029622.7A CN103778636B (zh) 2014-01-22 2014-01-22 一种用于无参考图像质量评价的特征构建方法

Publications (2)

Publication Number Publication Date
CN103778636A CN103778636A (zh) 2014-05-07
CN103778636B true CN103778636B (zh) 2017-10-31

Family

ID=50570832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410029622.7A Expired - Fee Related CN103778636B (zh) 2014-01-22 2014-01-22 一种用于无参考图像质量评价的特征构建方法

Country Status (1)

Country Link
CN (1) CN103778636B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996192B (zh) * 2014-05-12 2017-01-11 同济大学 基于高质量自然图像统计量模型的无参考图像质量评价方法
CN104282019B (zh) * 2014-09-16 2017-06-13 电子科技大学 基于自然场景统计和感知质量传播的盲图像质量评价方法
CN104915945A (zh) * 2015-02-04 2015-09-16 中国人民解放军海军装备研究院信息工程技术研究所 一种基于区域互信息的无参考图像质量评价方法
CN105139019B (zh) * 2015-03-24 2019-03-19 北京眼神智能科技有限公司 虹膜图像筛选的方法及装置
CN105049851B (zh) * 2015-07-06 2018-01-19 浙江理工大学 基于色彩感知的通用无参考图像质量评价方法
CN105007488A (zh) * 2015-07-06 2015-10-28 浙江理工大学 基于变换域和空间域的通用无参考图像质量评价方法
CN107798279B (zh) * 2016-09-07 2022-01-25 北京眼神科技有限公司 一种人脸活体检测方法及装置
CN106709916A (zh) * 2017-01-19 2017-05-24 泰康保险集团股份有限公司 图像质量评估方法及装置
WO2018195891A1 (zh) * 2017-04-28 2018-11-01 深圳大学 无参考图像质量评价方法及装置
CN107767363A (zh) * 2017-09-05 2018-03-06 天津大学 一种基于自然场景的无参考高动态图像质量评价算法
CN108960254B (zh) * 2018-06-27 2021-12-10 北京中安未来科技有限公司 一种基于mscn信息识别模糊图像的方法和装置、计算设备及存储介质
CN109889815A (zh) * 2019-01-30 2019-06-14 上海上湖信息技术有限公司 摄像头成像质量检测方法、装置以及计算机存储介质
CN110175981A (zh) * 2019-04-12 2019-08-27 浙江工业大学 基于多特征融合brisque算法的图像质量评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877127A (zh) * 2009-11-12 2010-11-03 北京大学 基于梯度剖面的图像无参考质量评价方法及***
CN101996406A (zh) * 2010-11-03 2011-03-30 中国科学院光电技术研究所 无参考结构清晰度图像质量评价方法
CN103366378A (zh) * 2013-07-26 2013-10-23 深圳大学 基于条件直方图形状一致性的无参考型图像质量评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877127A (zh) * 2009-11-12 2010-11-03 北京大学 基于梯度剖面的图像无参考质量评价方法及***
CN101996406A (zh) * 2010-11-03 2011-03-30 中国科学院光电技术研究所 无参考结构清晰度图像质量评价方法
CN103366378A (zh) * 2013-07-26 2013-10-23 深圳大学 基于条件直方图形状一致性的无参考型图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
No-Reference Image Quality Assessment in the Spatial Domain;Anish Mittal, et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20121231;第21卷(第12期);第4695页摘要,第4697页右栏-第4701页右栏第III节"BLIND SPATIAL IMAGE QUALITY ASSESSMENT" *
图像去雾的无参考客观质量评测方法;李大鹏,等;《中国图象图形学报》;20110930;第16卷(第9期);第1753-1757页 *

Also Published As

Publication number Publication date
CN103778636A (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
CN103778636B (zh) 一种用于无参考图像质量评价的特征构建方法
CN101877127B (zh) 基于梯度剖面的图像无参考质量评价方法及***
CN105956582A (zh) 一种基于三维数据的人脸识别***
CN104869421B (zh) 基于全局运动估计的视频显著性检测方法
CN103279957A (zh) 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法
CN113177565B (zh) 一种基于深度学习的双目视觉位置测量***及方法
CN104282003B (zh) 一种基于梯度筛选的数字模糊图像盲复原方法
CN104240264A (zh) 一种运动物体的高度检测方法和装置
CN104574381B (zh) 一种基于局部二值模式的全参考图像质量评价方法
CN104537381B (zh) 一种基于模糊不变特征的模糊图像识别方法
CN106485702A (zh) 基于自然图像特征统计的图像模糊检测方法
CN106295498A (zh) 光学遥感图像目标区域检测装置与方法
CN103729462B (zh) 一种基于稀疏表示处理遮挡的行人检索方法
CN111597933A (zh) 人脸识别方法和装置
CN105631872A (zh) 基于多特征点的遥感图像配准方法
CN104144339B (zh) 一种基于人眼感知的质降参考立体图像质量客观评价方法
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
CN103065310B (zh) 基于三维光谱角统计的高光谱图像边缘信息提取方法
CN106022310B (zh) 基于htg-hog和stg特征的人体行为识别方法
CN104809735A (zh) 基于傅里叶变换实现图像雾霾评价的***及方法
CN106127251A (zh) 一种用于描述人脸特征变化的计算机视觉方法
CN102034243A (zh) 一种获取视频图像中人群密度图的方法及装置
Abhyankar et al. Spatial domain decision based image fusion using superimposition
CN110163874B (zh) 基于同质区域分割的双边滤波算法
CN104143188A (zh) 基于多尺度边缘表达的图片质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171031

CF01 Termination of patent right due to non-payment of annual fee