CN104243977B

CN104243977B - 基于眼优势理论和视差补偿的立体图像质量评价方法

Info

Publication number: CN104243977B
Application number: CN201410491118.9A
Authority: CN
Inventors: 杨小康; 刘敏; 翟广涛; 顾锞
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2014-09-23
Filing date: 2014-09-23
Publication date: 2016-07-06
Anticipated expiration: 2034-09-23
Also published as: CN104243977A

Abstract

本发明提供了一种基于眼优势理论和视差补偿的立体图像质量评价方法，该方法：第一步，利用2D无参考质量评价方法计算出左眼右眼图像的质量分数，得到Q(L)，Q(R)；第二步，计算两幅2D图像质量之间的眼优势差异，得到H(L，R)；第三步，计算不同视差程度的补偿量，得到d^θ；第四步，将左眼右眼图像的质量分数Q(L)、Q(R)与视差程度的补偿量d^θ相加，并减去眼优势差异H(L，R)，结果即为基于眼优势理论和视差补偿的无参考3D图像质量评价分数。本发明建立了2D图像质量评价和3D图像质量评价方法的联系，得到左右眼图像的视差偏移程度，以补偿图像内容对3D图像质量的影响，提升了3D图像质量评价的准确性。

Description

基于眼优势理论和视差补偿的立体图像质量评价方法

技术领域

本发明涉及立体图像质量评价领域的方法，具体地，涉及一种基于眼优势理论和视差补偿的无参考立体图像质量评价方法。

背景技术

3D成像是一个广泛的研究领域，从娱乐(包括视频和游戏)到专业应用(教育，医疗等)。与此同时，立体图像领域也涉及到越来越多的图像处理技术，对于高效地立体图像质量评估的需求也越来越明显。尽管近年来在2D图像，视频的质量评价方面已经取得了相当大的成果，在3D图像质量评价上的进展仍是屈指可数，这主要是因为3D图像与2D图像的视觉感知有着很大不同。现有的3D质量评价方法可分为全参考，半参考和无参考三种。

对于全参考3D质量评价方法，Benoit等人2008年在《EURASIPJournalonImageandVideoProcessing》上发表了“Qualityassessmentofstereoscopicimages”，它不仅利用SSIM计算出左右眼2D图像的质量分数，而且考虑了视差信息(Disparityinformation)。Ming-JunChen等人2013年在《SignalProcessing:Imagecommunication》上发表了“Full-referencequalityassessmentofstereopairsaccountingforrivalry”,它试图建立起人脑中的单眼图像(cyclopeanimage)。然而这些全参考评价方法需要全部的原始立体图像信息，这在实际应用中很难满足。因此，无参考的3D质量评价有着更大的应用前景与实际意义，但与此同时也面临着更多的困难。

为此，Akhter等人2010年在《ProceedingsofProc.SPIE》上发表了“No-referencestereoscopicimagequalityassessment”，提出了一种无参考的3D质量评价方法，它不仅结合了传统的失真类型(块效应)，而且将视差图(Disparitymap)考虑在内。此方法符合人眼对3D图像的视觉感知。但是它十分依赖于对视差图的估计，而目前对于视差图还缺乏深入的理解，准确地计算出视差图也是非常困难的，因此这种方法效果一般。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于眼优势理论(ODI)和视差补偿(Parallaxcompensation)的立体图像质量评价方法(ODDM4)，该方法有效地提升了3D图像质量评价的准确性。

为实现以上目的，本发明所述的基于眼优势理论和视差补偿的立体图像质量评价方法，包括以下步骤：

第一步，利用2D无参考质量评价方法计算出左眼右眼图像的质量分数，得到Q(L)，Q(R)；

第二步，计算两幅2D图像质量之间的眼优势差异，得到：H(L，R)；

第三步，计算不同视差程度的补偿量，得到d^θ；

第四步，将左眼右眼图像的质量分数Q(L)、Q(R)与视差程度的补偿量d^θ相加，并减去眼优势差异H(L，R)，结果即为基于眼优势理论和视差补偿的无参考3D图像质量评价分数。

本发明的原理是：尽管人眼对2D、3D图像的视觉感知有所不同，但2D、3D图像的质量仍有着紧密的联系。本发明利用眼优势理论，与此同时，由于了图像内容与3D质量也有关系，因此本发明通过左右眼图像的视差偏移程度，以补偿图像内容对3D图像质量的影响。最后，本发明将左右眼2D图像质量，眼优势差异，视差偏移补偿结合起来，通过线性组合得到了新的3D无参考的质量评价分数。

与现有技术相比，本发明具有如下的有益效果：

本发明利用眼优势理论，建立了2D图像质量评价和3D图像质量评价方法的联系。除此之外，本发明计算出了左右眼图像的视差偏移程度，以补偿图像内容对3D图像质量的影响。根据在现有的Toyama数据库上的测试结果来看，ODDM4方法取得了优越的3D图像质量评价效果，并且视差偏移补偿有效地提升了3D图像质量评价的准确性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例总体流程图；

图2是仅利用2D质量评价分数和眼优势理论得到的3D质量分数(ODDM3)，在Toyama图像质量数据库上与主观评价值MOS对比图；

图3是ODDM3经过视差补偿d^θ后，得到最终的3D质量分数(ODDM4)，在Toyama图像质量数据库上与主观评价值MOS对比图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本实施例提供一种基于眼优势理论和视差补偿的立体图像质量评价方法，整个过程的流程如图1所示，包括：

第一步、分别计算左眼右眼的2D质量评价分数，得到Q(L)，Q(R)；具体方法如下：

i)分别利用下述公式计算左右眼图像L，R水平方向上的块效应D_h，水平方向上的模糊效应A_h，Z_h：

A_{b} = \frac{1}{B - 1} [(\frac{B}{M (N - 1)} Σ_{i = 1}^{M} Σ_{j = 1}^{N - 1} | d_{b} (i, j) |) - D_{b}] \cdot

Z_{b} = \frac{1}{M (N - 2)} Σ_{i = 1}^{M} Σ_{j = 1}^{N - 2} z_{b} (i, j),

其中：M，N分别指图像的高度和宽度，B指图像块的大小；d_h、z_h分别指图像特征的计算函数；i,j分别指图像的第i行和第j列；B_j指的是第j个图像块；

ii)根据同样的方法，计算出左右眼图像L，R垂直方向上的块效应D_v，图像垂直方向上的模糊效应A_v，Z_v；全部特征即可通过计算水平和垂直特征的平均值得到：

D = \frac{D_{h} + D_{v}}{2}, A = \frac{A_{h} + A_{v}}{2}, Z = \frac{Z_{h} + Z_{v}}{2}

iii)最后，所有特征通过一个全局非线性方程进行拟合，得到左右眼2D图像的质量分数：

Q＝α+βD^γ1A^γ2Z^γ3，

其中：α、β、γ1、γ2和γ3是模型参数，在图像数据库上训练可得，在一实施例中，可

以取值：α＝-245.8909；β＝261.9373；γ1＝-239.8886；γ2＝160.1664；γ3＝64.2859。

第二步、计算左右眼之间的眼优势差异H(L，R)，具体方法如下：

所述的眼优势差异的计算方法：

H(L，R)＝ODI·||Q(L)-Q(R)||

其中：Q(L)，Q(R)分别为第一步中计算出的左眼，右眼图像质量分数。

第三步、计算视差的补偿量d^θ，具体方法如下：

所述的视差程度的补偿量d^θ：

d^{θ} = \cos^{- 1} (\frac{L (M) \cdot R (M)}{{| | L (M) | |}_{2} \cdot {| | R (M) | |}_{2}})

其中：L，R分别为左眼、右眼图像；M代表相应图像的中央区域。

第四步、将左右眼图像的2D质量分数，眼优势差异与视差补偿进行线性结合，得到最终的3D无参考图像质量分数ODDM4；具体方法如下：

所述的无参考3D图像质量评价分数：

ODDM4＝Q(L)+Q(R)-H(L，R)+d^θ

其中：Q(L)，Q(R)由第一步获得，H(L，R)由第二步获得，d^θ由第三步获得。

实施效果

依据上述步骤，本发明对Toyama3D数据库的所有3D图像进行了无参考质量评价，并利用视频质量专家组(VQEG)推荐的指标与[1]方法进行了比较，指标包括：PearsonLinearCorrelationCoefficient(PLCC)、SpearmanRank-orderCorrelationCoefficient(SRCC)、AverageAbsoluteError(AAE)以及RootMean-SquaredError(RMSE)。比较结果见表1，可以发现本发明的ODDM4准确性优于[1]方法。ODDM3在Toyama3D图像质量数据库上与主观评价值MOS比较图如图2所示，ODDM4与主观评价值MOS的比较图如图3所示。

表1

方法	PLCC	SRCC	AAE	RMSE
					ODDM1	0.8934	0.8897	0.4136	0.5234
ODDM2	0.9207	0.9076	0.3594	0.4548
					ODDM3	0.9318	0.9266	0.3358	0.4228
ODDM4	0.9578	0.9500	0.2594	0.3354
					[1]	0.9350	—	0.3500	0.4210

表1中所述的图像质量评价方法具体是指：

ODDM1：ODDM1＝Q(L)+Q(R)；

ODDM2：ODDM2＝Q(L)+Q(R)-||Q(L)-Q(R)||_∞；

ODDM3：ODDM3＝Q(L)+Q(R)-ODI·||Q(L)-Q(R)||_∞，

ODDM4：ODDM4＝Q(L)+Q(R)-ODI·||Q(L)-Q(R)||_∞+d^θ，其中：

d^{θ} = \cos^{- 1} (\frac{L (M) \cdot R (M)}{{| | L (M) | |}_{2} \cdot {| | R (M) | |}_{2}})

[1]：Akhter等人在2010年《ProceedingsofProc.SPIE》上发表的“Noreferencestereoscopicimagequalityassessment”。

根据在现有的Toyama数据库上的测试结果来看，本发明ODDM4方法取得了优越的3D图像质量评价效果，并且视差偏移补偿有效地提升了3D图像质量评价的准确性。值得注意的是，本发明建立了2D与3D图像质量评价的联系。任何2D质量评价方法的提高，都可能通过本发明改善相应的3D质量评价效果。本发明中的视差补偿方法也为将来3D质量评价方法的提升指明了方向。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种基于眼优势理论和视差补偿的立体图像质量评价方法，其特征在于，所述方法包括以下步骤：

第三步，计算不同视差程度的补偿量，得到d^θ，θ表示角度；

2.根据权利要求1所述的一种基于眼优势理论和视差补偿的立体图像质量评价方法，其特征在于，第一步中，所述的左眼右眼图像质量分数的计算方法：

i)分别利用下述公式计算左右眼图像L、R水平方向上的块效应D_h，水平方向上的模糊效应A_h，Z_h：

A_{h} = \frac{1}{B - 1} [(\frac{B}{M (N - 1)} Σ_{i = 1}^{M} Σ_{j = 1}^{N - 1} | d_{h} (i, j) |) - D_{h}] .

ii)根据同样的方法，计算出左右眼图像L、R垂直方向上的块效应D_v，图像垂直方向上的模糊效应A_v，Z_v，计算水平和垂直特征的平均值即得到全部特征：

\begin{matrix} D = \frac{D_{h} + D_{v}}{2} & A = \frac{A_{h} + A_{v}}{2} & Z = \frac{Z_{h} + Z_{v}}{2} \end{matrix}

Dh，Ah，Zh是垂直方向上的特征，Zv，Dv，Av是水平方向上的特征；

Q＝α+βD^γ1A^γ2Z^γ3

其中：α、β、γ₁、γ₂和γ₃是模型参数，在图像数据库上训练得到。

3.根据权利要求1所述的一种基于眼优势理论和视差补偿的立体图像质量评价方法，其特征在于，第二步中，所述的眼优势差异的计算方法：

H(L，R)＝ODI·||Q(L)-Q(R)||

其中：Q(L)，Q(R)分别为第一步中计算出的左眼右眼图像质量分数。

4.根据权利要求1-3任一项所述的一种基于眼优势理论和视差补偿的立体图像质量评价方法，其特征在于，第三步中，所述的视差程度的补偿量d^θ：

d^{θ} = \cos^{- 1} (\frac{L (M) \cdot R (M)}{| | L (M) | |_{2} \cdot | | R (M) | |_{2}})

其中：L，R分别为左眼、右眼图像；M代表图像的中央区域。