CN101482973B - 基于早期视觉的部分参考图像质量评价方法 - Google Patents

Abstract

基于早期视觉的部分参考图像质量评价方法，根据人类视觉感受野特性提取测试图像的部分参考特征RR，部分参考特征RR包括图像的多尺度分解、多尺度边缘检测、各尺度下二值边缘图的边缘模式检测、感兴趣边缘点模式的统计以及各尺度下感兴趣边缘点统计特性；根据参考图像与测试图像的部分参考特征RR之间的差异计算图像的失真程度，最后将物理量映射到心理量得到图像质量的评价结果。通过对LIVE database II测试图像进行计算，证明本发明提出的部分图像质量评价方法：(1)能过适应各种不同类型的失真图像；(2)与主观图像质量有很好的相关性和一致性；(3)所用到的RR特征很少，节省了辅助通道的带宽。

Description

基于早期视觉的部分参考图像质量评价方法

技术领域

本发明属于客观图像与视频质量评价领域，具体涉及一种基于早期视觉的部分参考图像质量评价方法。

背景技术

图像信息是人类认识世界的重要知识来源。科学统计表明，在人类从外界获得的信息中有70％是通过眼睛获得的。而数字图像处理技术也越来越成为科学各个领域中必不可少的技术手段，其应用包括军事领域、空间技术、工业生产、显微图像、天文地质、医学诊断、体育裁判等广泛的领域，从而使得数字图像质量的评价成为一个备受关注的技术。

传统的图像/视频质量评价方法可分为主观评价和客观评价两大类。主观评价是人眼直接对图像的质量进行测试得出关于图像质量的主观评价，是一种比较可靠的评价方式。通常该方法按照ITU-R BT.500-11标准所描述的方法进行：在密闭的受控环境中播放含有自然内容和自然运动的测试场景，有非专家的测试者根据自己对图像质量的感受给出差值平均主观计分或DMOS(Difference Mean Opinion Score)。该方法可以产生一致的主观评分，可信度较高，比较直观，但是它对测试环境要求较高，过程复杂。此外，主观评价方法也无法实现在线图像/视频质量评价。而客观评价方法根据图像/视频自身的内容得到关于图像失真的描述，易于实现在线的图像质量评价，可方便的用于***优化、视频定价、实时监控等多种场合。

客观图像质量评价的目的是使计算机模仿人类视觉的功能，对得到的图像质量进行评价而得到与主观评价相一致的结果。现有的客观图像质量评价方法根据其对参考图像的依赖程度可以分为三类：(1)全参考(FR：Full Reference)模型：需要参考图像的全部信息与测试图像进行一一对应；(2)部分参考(RR：Reduced Reference)模型：只需要参考图像的部分特征信息与测试图像的特征信息进行质量估计；(3)无参考(NR：No Reference)模型：不需要参考图像的任何信息，只根据测试图像的自身特征进行质量估计。

目前传统的全参考模型有PSNR、MSE、SNR等。它们之所以被广泛应用是由于其计算简单，物理意义明确，但是它们的评价结果与主观评价的结果很不一致，于是就出现了一些新的方法。基于HVS的图像质量评价方法如JNDmetrix。1997年美国的Sarnoff实验室提出的JNDmetrix模型(SarnoffCorporation，“JNDmetrix Technology，”http://www.sarnoff.com/productsservices/video vision /jndmetrix/.)，通过对人类视觉***的深入研究，该模型对差异图像中的人类视觉可感知部位进行测量，得到基于人类视觉的图像质量评价方法，且已经被Tektronix公司应用于实际的测量设备——图像质量分析***(PQA300)中，然而这种方法需要将原始图像通过一个无失真的信道传输或预先存贮在***中，计算量大且对精度要求高。基于图像结构信息的评价方法如SSIM。美国LIVE实验室提出SSIM算法。该算法利用图像相邻像素之间的相关性度量图像中结构信息的退化，将亮度失真、对比度失真和结构失真综合得到图像质量的评价结果，与DMOS有很好的一致性(Zhou Wang and AlanC.Bovik，Image quality assessment：from error visibility to structural similarity，IEEE transaction on image processing，vol.13，No.4，April 2004)。另外基于图像统计特性的评价方法如IFC，VIF等。Hamid Rahim Sheikh和Alan C.Bovik利用NSS(Natural Scene Statistics)模型描述图像中的信息，通过信号衰减和加性噪声描述图像在处理与传输过程中退化，用原始图像与失真图像之间的互信息刻画图像的保真度，得到了IFC(Information Fidelity Criterion)方法(Hamid RahimSheikh and Alan C.Bovik，An information Fidelity Criterion for image qualityassessment using natural scene statistics，IEEE transaction on imageprocessing，vol.14，No.12，Dec 2005)，在此基础上二人又增加了对视觉通道的加性白噪声的模型描述，计算原始图像与失真图像在该模型下的输出之间的互信息之比，得到了VIF(Visual Information Fidelity)的方法(Hamid Rahim Sheikh andAlan C.Bovik，Image information and visual quality，IEEE transaction on imageprocessing)。瑞士EPFL实验室通过将输入视频转化到对应的颜色空间，然后分别通过时间-空间的塔式分解，建立多个测量通道，最后将测量结果转换为误差可视图，得到了关于MEPG压缩视频流的质量评价方法(Christian J.van denBranden Lambrecht，Color moving pictures quality metric，http://ltswww.epfl.ch/`vdb/)。

然而鉴于人类视觉***可以在无参考的情况下仍可以对图像的质量进行评价，而参考图像在实际的应用并不总能够方便的得到，所以无参考的图像质量评价模型也被提出。但是无参考模型让计算机从图像的自身内容中得到关于图像的质量信息，有很大的难度。目前已有的无参考图像质量评价方法大部分都是针对JPEG或JPEG2000压缩产生的图像失真，还没有一种能够针对更多类型失真图像的更加广泛的无参考方法。LIVE提出了在频域中描述模糊和周期性的块效应的方法来刻画JPEG压缩图像质量(Zhou Wang，Hamid R.Sheikh andAlan C.Bovik，No-reference perceptual quality assessment of JPEG compressedimage)，但是当图像中的块效应没有这种周期性时该方法就不太适用。对于图像中的模糊，瑞士Pina Marziliano等人在空间域中对图像边缘处的模糊效应进行描述，也得到了对模糊图像的较好的评价结果(Pina Marziliano，FredericDufaux，Stefan Winkler and Touradj Ebrahimi，A no-reference perceptual blurmetric)。北京的Zhang Hong-jiang，Li Ming Jing，Ma Wei-ying等提出基于学习的评价方法(US Patent application 20060147107)，将从输入图像中提取的特征向量送入训练过的分类器中得到图像质量的评价结果(Zhang Hong-jiang，LiMing Jing and Ma Wei-ying.US patent Application 20060147107.Method andsystem for learning-based quality assessment of images)。

部分参考模型作为全参考和无参考的折中，在近年的研究中取得很好的发展。一个好的部分参考模型的图像质量评价方法，需要能够：(1)适用于不同类型的失真图像；(2)用尽可能少的RR特征；(3)得到与主观评价结果很好的一致性。1992年ITS的Voran和Wolf提出了基于描述图像频谱的三个特征的RR评价方法(S.D.Voran，S.Wolf，The development and evaluation of anobjective video quality assessment system that emulates human viewing panels，in：Proceedings of International Broadcasting Convention，Amsterdam，The Netherlands，1992)；在此基础上1996年IT改进了该方法，只用三个特征：第一个特征描述空间频率的高频部分，后两个特征则描述在时间上连续的两个图像之间的相互作用，该方法被收入ANSI(A.A.Webster，C.T.Jones，M.H.Pinson，S.D.Voran，S.Wolf，An obj ective video quality assessment system based on human perception，in：SPIE Human Vision，Visual Processing，and Digital Display IV，San Jose，CA，February 1993，pp.15-26.；S.Wolf，A.Webster，M.Pinson，G.Cermak，Objective and subjective measures of MPEG video quality，Technical Report，ANSIcontribution number T1A1.5/96-121，1996.)。澳大利亚Kusuma等人提出了HybridImage quality metric(HIQM)，将图像中的模糊效应、块效应、图像活动以及掩盖效应等产生的感知失真进行加权得到了图像质量的混合模型(TubagusMaulana Kusuma and Hans-Jurgen Zepernich，A Reduced-Reference perceptualquality metric for In-service image quality assessment，Western AustralianTelecommunication Research Institute)。2005年LIVE实验室Zhou Wang等人提出了一种基于小波域自然图像统计特性的适用于各种失真类型的评价方法，综合失真图像各个子带的小波系数边缘分布函数与原始图像各个子带的分布函数的K-L距离作为图像测试图像评价评价的依据，在六个子带中共提取出18个RR特征(Zhou Wang and Eero P.Simoncelli，Reduced-Reference inage qualityassessment using a wavelet-domain natural image statistic model，Human Vison andElectronic Imageing X，Proc.SPIE，vol.5666.@SPIE)。此外，Mathieu Carnec等人提出了基于改进的HVS模型的C4(Image quality Criterion)算法，描述了从眼睛到视觉皮层多个阶段的视觉组织与操作，包括V1、V2以及腹侧流、背侧流在内的两个通路，提取可以被HVS利用的视觉特征，得到了对图像质量的一种评价方法，然而该方法的需要参考图像的特征数目较多，所以辅助通道的负载比较大(Mathieu Carnec，Patrick Le Callet，Dominique Barba，Objective qualityassessment of color image based on a generic perceptual reduced reference，SignalProcessing：Image Communication 23(2008)239-256)。

发明内容

本发明的目的在于克服上述现有技术的缺点，提出了一种基于图像边缘特性，适用于各种失真类型的基于早期视觉的部分参考图像质量评价方法。

为达到上述目的，本发明采用的技术方案是：根据人类视觉感受野特性提取测试图像的部分参考(Reduced Reference——RR)特征，部分参考特征的提取过程包括图像的多尺度分解、多尺度边缘检测、各尺度下二值边缘图的边缘模式检测和边缘点模式的统计以及各尺度下感兴趣边缘点统计特性的提取；根据参考图像与测试图像的部分参考特征之间的差异计算图像的失真程度，最后将物理量映射到心理量得到图像质量的评价结果。

本发明的各尺度下二值边缘图的边缘模式检测、感兴趣边缘点模式的统计以及各尺度下感兴趣边缘点统计特性是把二值图像和特定的模式分类算子进行模板卷积，得到模式分布图，再对模式分布图进行直方图统计得到不同模式的概率分布，由于感兴趣点即边缘点处模板中心为1或其他设定值从而缩小了感兴趣点模板输出范围，在该范围内的统计特性既为感兴趣点的边缘模式的概率分布。

本发明的具体步骤如下：

1)对参考图像和测试图像进行多尺度分解，得到各个尺度的图像，分别用C_k和D_k表示，k表示分解的第k个尺度，共N个尺度；

2)在各个尺度下计算参考图像和测试图像的二值边缘图，分别用C_k ^E和D_k ^E表示，其中1表示边缘点，0表示非边缘点；

3)用模式分类算子H计算参考图像和测试图像的边缘模式分布图，分别用C_k ^P和D_k ^P表示；

$\begin{array}{cc}{C}_k^P=C_k^E\⊗H& D_k^P=D_k^E\⊗H\end{array}$

然后对边缘模式分布图进行统计，得到各种模式的分布概率和

x的范围为模式分类算子的响应范围，再选取边缘点处的各种模式的概率作为各个尺度下的特征，模式分类算子H为各种梯度算子，将各个尺度进行综合得到p_C(x)和p_D(x)即最终的RR特征：

$\begin{array}{cc}{p}_C\left(x\right)=\frac{1}{N}\underset{k}{\mathrm{\Σ}}{p}_{C_k}\left(x\right)& p_D\left(x\right)=\frac{1}{N}\underset{k}{\mathrm{\Σ}}{p}_{D_k}\left(x\right)\end{array}$

4)根据参考图像和测试图像的部分参考特征RR计算测试图像的失真程度D_M

$D_M=\underset{x}{\mathrm{\Σ}}{[p_C\left(x\right)-p_D\left(x\right)]}^2$

再根据Weber-Fechner’s定律将物理量映射为心理量得到测试图像的失真的评价：

D＝log10(D_M)。

本发明步骤4)计算测试图像的失真程度D_M是参考图像和测试图像的边缘点模式信息对D_M进行加权得到的

D＝log10(D_M·D_U)

其中 $D_U=\frac{\underset{x}{\mathrm{\Σ}}{p}_C{\left(x\right)}^2}{\underset{x}{\mathrm{\Σ}}{p}_D{\left(x\right)}^2}.$

由于在视觉皮层中，根据Marr的视觉计算理论，可以将人类的视觉表示框架分为如下三个阶段：早期、中期和后期。在早期视觉通道中，各种神经细胞都有其特定的感受野。根据其感受野的响应特性可以将视觉皮层细胞分为简单细胞、复杂细胞超复杂细胞等。简单细胞对其感受野中特定位置处具有特定方向的线段敏感；复杂细胞对其感受野中的具有特定方向的线段敏感，但不对位置敏感。所以早期视觉具有从图像中抽取诸如角点、边缘、线条、边界、色彩、纹理以及运动等关于场景的边缘特征的功能。另外根据Yuile和Poggio的指纹定理，在满足一定的条件下边缘信息可以完全刻画出整个图像的信息。所以根据边缘信息的这一特性以及早期视觉对边缘敏感的特点，可以得知在图像的主观质量评价中，人类的早期视觉占主导作用，即图像的边缘信息在图像质量的主观评价中占有很重要的作用。在此基础上，本发明提出了基于早期视觉感受野特性的部分参考图像质量评价方法。该方法适应不同的图像失真类型，易于推广，最少只用3个RR特征，得到的评价结果与主观图像质量评价结果具有很好的相关性。并且该方法的实现简单，可以广泛应用到实时图像质量监控、图像处理算法设计的优化以及视频点播层图像/视频内容质量的检验分析等方面。

通过对LIVE database II测试图像进行计算，证明本发明提出的部分图像质量评价方法：(1)能过适应各种不同类型的失真图像；(2)与主观图像质量有很好的相关性和一致性；(3)所用到的RR特征很少，节省了辅助通道的带宽。

附图说明

图1本发明所提出的部分参考特征RR图像质量评价方法框图；

图2在边缘模式检测中所使用的Laplacian算子；

图3本发明对图像的预测结果与DMOS的关系。每一个点代表一幅图像。(a)～(e)分别为五种不同的失真类型；横坐标：是本发明对失真图像的失真程度的评价结果；纵坐标是LIVE实验室对失真图像失真程度的主观评价结果；每一个散点代表一幅图像

图4本发明的图像质量评价结果与Zhou Wang的方法比较，(a)Zhou Wang的方法，(b)本发明提出的方法。对应的失真类型是：JPEG2000(蓝)、JPEG(红)、白噪声(绿)、高斯模糊(黑)和JPEG2000图像通过瑞利衰减信道的失真(青)，

横坐标：是本发明对失真图像的失真程度的评价结果；纵坐标是LIVE实验室对失真图像失真程度的主观评价结果；每一个散点代表一幅图像

下面结合附图对本发明进行进一步详细说明。

具体实施方式

参见图1，用C和D分别代表参考图像和测试图像。

首先，在图像的发送端对参考图像按以下步骤提取RR特征：

1)、对输入图像做多尺度分解(有两种方法高斯尺度和小波变换见12叶红色部分)，对不同尺度下的图像进行边缘检测；

2)、从不同尺度下的边缘图像计算图像的二值边缘图C_k ^E，用模式分类算子H对各个尺度的边缘二值图像进行模板卷积操作 $C_k^P=C_k^E\⊗H,$ 得到边缘模式的分布图C_k ^P即边缘模式图像；

3)、对边缘模式分布图再进行统计，得到不同边缘模式的概率分布p_C(x)，由于边缘模式只考虑边缘点处，即模板中心所对应的点为边缘点。以参考附图2中的Laplacian算子为例，边缘点处的边缘模式计算后必定为正值，取值范围在1至4，所以在得到各个尺度的边缘模式分布概率之后，将 $p_{C_k}\left(x\right)(x\∈\{\mathrm{1,2,3,4}\left\}\right)$ 作为各个尺度的RR特征；

4)、将各个尺度下的RR特征进行综合，得到最终的RR特征，如对应求和后在归一化：

$p_C\left(x\right)=\frac{1}{N}\underset{k}{\mathrm{\Σ}}{p}_{C_k}\left(x\right)---\left(1\right)$

5)、将已经计算好的RR特征进行量化编码，将量化编码从辅助通道传输或嵌入到图像数据中进行传输。

第二，在图像的接收端，对失真图像按照如上步骤1)至4)中所述的方法提取RR特征

$p_D\left(x\right)=\frac{1}{N}\underset{k}{\mathrm{\Σ}}{p}_{D_k}\left(x\right)---\left(2\right)$

第三，在图像的接收端，从辅助通道得到参考图像的RR特征或从嵌入的图像数据中分离出参考图像的RR特征，然后按照以下的两种方法计算测试图像的失真指标；

第四，根据测试图像和参考图像的RR特征之间的差异描述图像的失真程度，得到关于测试图像客观质量的评价结果。

方法1按照公式(3)计算参考图像和失真图像RR特征的欧几里得距离作为测试图像的失真度：

$D_M=\underset{i}{\mathrm{\Σ}}{[p_C\left(x\right)-p_D\left(x\right)]}^2---\left(3\right)$

再根据Weber-Fechner’s定律将物理量映射为心理量

D＝log10(D_M)    (4)

方法2按照公式(5)计算测试图像的失真度：

D＝log10(D_M·D_U)    (5)

其中 $D_U=\frac{\underset{i}{\mathrm{\Σ}}{p}_C{\left(x_i\right)}^2}{\underset{i}{\mathrm{\Σ}}{p}_D{\left(x_i\right)}^2}$ 是根据参考图像和测试图像的边缘点模式信息对D_M进行的加权。

对本发明基于人类早期视觉的部分参考图像质量评价方法的验证。为了对本发明提出的部分参考图像质量评价方法进行验证，发明人使用LIVE提供的数据库。该数据库用五种不同的失真类型对29幅高分辨率的自然场景图像进行处理，得到包含203幅原始参考图像的982幅测试图像。通过7组主观实验对这些图像进行打分，得到每幅图像的DMOS。

根据本发明提出的方法，图像的多尺度分解和边缘检测可以有不同的方案，如高斯尺度下自然图像多尺度变换零交叉边缘统计特性的处理方案以及基于多尺度自然图像小波变换模极大值边缘统计特性的处理方案。在本发明对后者进行了实现。而在边缘模式统计过程中适用的模式分类算子也可有不同的选择，本发明以拉普拉斯算子作为分类算子。具体按如下步骤实现：(1)以DB9/7小波为例做四级小波分解；(2)通过小波变换模极大值点进行边缘检测；(3)对二值化后的各个尺度的边缘图使用Laplacian算子做卷积得到边缘模式分布图，H＝[0，-1，0；-1，4，-1；0，-1，1]。边缘点出的边缘模式取值在1～4之间，根据发明人的实验，取值为1概率绝大部分为0，所以在对边缘模式统计之后，发明人取值为2、3、4处的边缘模式概率作为该尺度下的RR特征，将四个尺度的RR特征对应求和得到最终的3个RR特征。根据公式(4)和(5)分别计算得到对测试图像质量的评价结果。

根据VQEG Phase II报告，在对评价方法进行验证时可以在主观与客观评价结果之间进行一次非线性映射之后做相关性分析，结果如表1和表2所示。

Quality(x)＝β₁logistic(β₂，(x-β₃))+β₄x+β₅

$\log \mathrm{istic}(\mathrm{\τ},x)=\frac{1}{2}-\frac{1}{1+\exp \left(\mathrm{\τx}\right)}$

表1本发明方法1对不同失真图像的相关系数和均方根误差

失真类型/模型	JP2000(175)	JPEG(169)	Noise(145)	Blur(145)	FF(145)
						相关系数	0.9180	0.8734	0.8073	0.9126	0.9238

失真类型/模型	JP2000(175)	JPEG(169)	Noise(145)	Blur(145)	FF(145)
						RMSE	6.4246	7.7857	9.4233	6.4293	6.2995

表2本发明方法2对不同失真图像的相关系数和均方根误差

失真类型/模型	JP2000(175)	JPEG(169)	Noise(145)	Blur(145)	FF(145)
						相关系数	0.9150	0.8703	0.8497	0.9456	0.9213
RMSE	6.5362	7.8732	8.4194	5.1155	6.3955

表1表明本发明所提出的图像质量评价方法对于大部分失真类型具有不错的评价性能，而对含白噪声的图像效果欠佳，经过方法2的加权修正后，性能得到改善，见表2以及参考附图3。本发明提出的图像质量评价方法评价对于五种失真类型的图像，和主观评价结果DMOS都具有很好的一致性和相关性，从参考附图4可以看出，考虑到各种失真类型的总体时本发明的相关系数为0.7614，优于Zhou Wang的方法(Zhou Wang and Eero P.Simoncelli，Reduced-Referenceinage quality assessment using a wavelet-domain natural image statisticmodel，Human Vison and Electronic Imageing X，Proc.SPIE，vol.5666.@SPIE)，即本方法具有评价性能优秀且适用范围广泛的优点。另外本方法使用的RR特征很少，以上述方法为例，传输时只需占用24个比特即可，大大节省了部分图像质量评价模型中辅助通道的带宽。

Claims (3)

1.基于早期视觉的部分参考图像质量评价方法，其特征在于：根据人类视觉感受野特性提取测试图像的部分参考Reduced Reference——RR特征，部分参考特征的提取过程包括图像的多尺度分解、多尺度边缘检测、各尺度下二值边缘图的边缘模式检测和边缘点模式的统计以及各尺度下感兴趣边缘点统计特性的提取；根据参考图像与测试图像的部分参考特征之间的差异计算图像的失真程度，最后将物理量映射到心理量得到图像质量的评价结果，所说的各尺度下二值边缘图的边缘模式检测、边缘点模式的统计以及各尺度下感兴趣边缘点统计特性是把二值图像和特定的模式分类算子进行模板卷积，得到模式分布图，再对模式分布图进行直方图统计得到不同模式的概率分布，由于感兴趣点即边缘点处模板中心为1或其他设定值从而缩小了感兴趣点模板输出范围，在该范围内的统计特性既为感兴趣点的边缘模式的概率分布。

2.根据权利要求1所述的基于早期视觉的部分参考图像质量评价方法，其具体步骤如下：

1)对参考图像和测试图像进行多尺度分解，得到各个尺度的图像，分别用C_k和D_k表示，k表示分解的第k个尺度，共N个尺度；

2)在各个尺度下计算参考图像和测试图像的二值边缘图，分别用和

表示，其中1表示边缘点，0表示非边缘点；

3)用模式分类算子H计算参考图像和测试图像的边缘模式分布图，分别用

和

表示；

$C_k^P=C_k^E\⊗H,$ $D_k^P=D_k^E\⊗H$

然后对边缘模式分布图进行统计，得到各种模式的分布概率

和

x的范围为模式分类算子的响应范围，再选取边缘点处的各种模式的概率作为各个尺度下的特征，模式分类算子H为各种梯度算子，将各个尺度进行综合得到p_C(x)和p_D(x)即最终的部分参考RR特征：

$p_C\left(x\right)=\frac{1}{N}\underset{k}{\mathrm{\Σ}}{p}_{C_k}\left(x\right),$ $p_D\left(x\right)=\frac{1}{N}\underset{k}{\mathrm{\Σ}}{p}_{D_k}\left(x\right)$

4)根据参考图像和测试图像的部分参考RR特征计算测试图像的失真程度D_M

$D_M=\underset{x}{\mathrm{\Σ}}{[p_C\left(x\right)-p_D\left(x\right)]}^2$

再根据Weber-Fechner’s定律将物理量映射为心理量得到测试图像的失真的评价：

D＝log₁₀(D_M)。

3.根据权利要求2所述的基于早期视觉的部分参考图像质量评价方法，其特征在于：所说的步骤4)计算测试图像的失真程度D_M是参考图像和测试图像的边缘点模式信息对D_M进行加权得到的

D＝log₁₀(D_M·D_U)

其中 $D_U=\frac{\underset{x}{\mathrm{\Σ}}{p}_C{\left(x\right)}^2}{\underset{x}{\mathrm{\Σ}}{p}_D{\left(x\right)}^2}.$

Images