CN105338343B - 一种基于双目感知的无参考立体图像质量评价方法 - Google Patents

Abstract

本发明涉及一种图像质量评价方法，特别涉及一种基于双目感知的无参考立体图像质量评价方法，属于图像分析领域。本方法首先利用失真的立体图像的左视图和右视图，计算视差和信息熵，然后分别合成单眼图像和点积图。其次，在四种输入图像(左视图、右视图、单眼图像和点积图)上分别提取自然场景统计特征。然后利用机器学习(比如SVM)的方法，进行质量预测和评估。本方法具有主观一致性高的特点；可以嵌入到立体图像/视频处理相关的应用***中，具有很强的应用价值。

Description

一种基于双目感知的无参考立体图像质量评价方法

技术领域

本发明涉及一种图像质量评价方法，特别涉及一种基于双目感知的无参考立体图像质量评价方法，属于图像分析领域。

背景技术

在过去的十年左右的时间里，人们可以接触的立体图像/视频资源的数量急剧增长。已经可以说立体图像/视频资源已经变的平民化、大众化、潮流化。随着立体资源的逐步普及，随之而来的副作用是参差不齐的视觉质量。立体图像/视频在场景采集、编码、网络传输、解码、后期处理、压缩存储和放映的各个阶段都会不可避免的引入失真。例如，在场景采集过程中由于设备参数设定、镜头晃动等因素引起的模糊失真；立体图像压缩存储引起的压缩失真，尤其是非对称压缩编码引入的双目竞争和抑制效应；立体电影在后期处理过程中，由于对于人眼立体感知理论的认识不足，处理后的立体效果会引起人眼的疲劳和精神的萎靡，进而影响人类的身心健康。

因此，如何评价立体图像/视频资源的视觉质量已经成为了一个急需解决的问题。现实的应用***迫切需要获得可以自动评价立体媒体质量的能力，进而能够提升媒体的视觉质量。具体来说，本研究具有以下应用价值：

(1)可以嵌入实际的应用***(比如立体电影的放映***、网络传输***等)中，实时的监控立体图像/视频的质量；

(2)可以用于评价各种图像/视频处理算法、工具(比如立体图像的非对称压缩编码、立体图像/视频采集工具等)的优劣；

(3)可以用于立体图像/视频作品的质量审核，防止劣质立体制品危害观众的身心健康。

综上所述，对于客观的无参考立体图像质量评价模型的研究具有重要的理论价值和现实意义。本发明提出了一种基于双目感知的无参考立体图像质量评价方法，其参考的已有技术为Moorthy等人在文献《A two-step framework for constructing blind imagequality indices》中提出的图像质量评价的两步框架，涉 及的基础背景技术主要自然场景统计特征。

(一)图像质量评价的两步框架

Moorthy等人提出无参考图像质量评价的两步框架，即对失真图像依次进行失真分类和特定失真类型的质量评价。

(1)失真分类：给定图像的训练集合和对应的失真类型，用图像的特征向量和正确的分类作为输入来训练一个分类器。得到分类器之后，输入一幅图像，就可以对图像中的失真类型进行概率估计，这个估计表明图像中含有每一种失真类型的多少。这样对于一个图像特征向量，分类器会输出一个n维的向量p。

(2)特定失真类型的质量评价：对于n种失真类型，分别在训练集合上训练各自的回归模型来把图像特征向量映射到质量分数上。得到n个拟合器之后，输入一幅图像，就可以利用n个拟合器分别对图像进行质量评价，得到图像关于某种失真的质量估计q，q也是n维的。

(3)质量汇总：根据得到的两个向量p和q，每一个基于特定失真质量的分数都用图像中失真出现的概率加权，可以得到客观预测分数

其中，p_i表示向量p的第i维分量，q_i表示向量q的第i维分量，n表示失真的种类数目。

(二)自然场景统计特征

自然场景统计建模是指对立体图像的某个或者某些系数域的系数值分布情况进行分析，根据其分布的规律，利用参数分布函数对其进行拟合，拟合的参数作为图像的特征值，用于质量评价。利用自然场景统计特性来进行质量评价是一个最为有效、最为前沿的想法，自然场景统计模型的合适与否直接决定了质量评价算法性能的优劣。本文中用到的自然场景统计特征包括对称广义高斯分布特征和非对称的广义高斯分布特征。

零均值的对称广义高斯分布可以描述为：

其中，

Γ(·)为伽马函数，α为形状参数特征，β为尺度参数特征。

零均值的非对称广义高斯分布可以描述为：

其中，

α为形状参数特征和β_l和β_r分别为左右两侧的尺度参数特征。

发明内容

本发明的目的是为了解决无参考立体图像质量评价技术的性能低，主观一致性差，而且时间复杂度和空间复杂度大的问题，提供一种基于双目感知的无参考立体自然图像质量评价方法。

本发明方法是通过下述技术方案实现的。

一种基于双目感知的无参考立体图像质量评价方法，步骤如下：

步骤一、对于待测图像的左、右视图，计算其视差图d，然后分别计算左右视图在空间位置i的信息量，利用信息量合成计算单眼图像c＝{c_i:i∈I}；

计算方法如下：

步骤1.1，利用高斯混合模型，把左、右视图分解为两个随机场。

v＝s·u， (6)

其中，表示左、右视图，i为空间索引。s＝{s_i:i∈I}为非负尺度随机场，为均值为0，协方差为C_u的高斯向量。

步骤1.2，计算左、右视图在空间位置i的信息量

步骤1.3，基于双目感知特性，利用左、右视图的信息熵，合成单眼图像c＝{c_i:i∈I}。

其中，为左视图在空间位置i上的信息熵，G_L,i为左视图在空间位置i上的灰度值，d_i为空间位置i处的水平视差，e为一个很小的正数以确保系数大于0，α是一个经验参数。

步骤二、根据视差图和左、右视图，计算点积图P＝{P_i:i∈I}；

计算方法如下：

其中，G_L,i为左视图在空间位置i上的灰度值，d_i为空间位置i处的水平视差。

步骤三、特征提取。

分别在左视图、右视图、单眼图像和点积图上提取自然场景统计特征。

步骤四、采用步骤一和步骤二的方法对数据库中的每一幅立体图像进行处理，计算得到每一幅立体图像对应的质量特征向量。然后利用基于学习的机器学习方法，在训练集上进行训练，在测试集上进行测试，把质量特征向量映射为对应的质量分数。进而利用现有的算法性能指标(SROCC、PCC等)对算法的优劣进行评估。

步骤三中的自然场景统计特征还可以用图像的各种全局特征、局部特征、颜色特征、纹理特征等特征替换。

步骤四中的机器学习方法可以采用支持向量机(SVM)，神经网络等机器学习方法。

有益效果

本发明提出的基于双目感知的无参考立体图像质量评价方法，与已有技术相比具有主观一致性高；可以嵌入到立体图像/视频处理相关的应用***中，具有很强的应用价值。

附图说明

图1是本发明的基于双目感知特性的无参考立体图像质量评价方法的流程 图；

图2是本发明具体实施例1中待测图像的左视图；图3是本发明具体实施例1中待测图像的右视图；图4是本发明具体实施例1中待测图像的单眼图像；图5是本发明具体实施例1中待测图像的点积图。

具体实施方式

下面结合附图和具体实施例对本发明方法的实施方式做详细说明。

实施例

本方法的流程如图1所示，具体实施过程为：

步骤一、对于待测图像的左、右视图，计算其视差图d，然后分别计算左右视图在空间位置i的信息量，利用信息量合成单眼图像c＝{c_i:i∈I}。具体计算方法如下：

步骤1.1，利用高斯混合模型，把左、右视图分解为两个随机场。

v＝s·u， (11)

其中，表示左、右视图，i为空间索引。s＝{s_i:i∈I}为非负尺度随机场，为均值为0，协方差为C_u的高斯向量。

步骤1.2，计算左、右视图在空间位置i的信息量

步骤1.3，基于双目感知特性，利用左、右视图的信息熵，合成单眼图像c＝{c_i:i∈I}。

其中，为左视图在空间位置i上的信息熵，G_L,i为左视图在空间位置i上的灰度值，d_i为空间位置i处的水平视差，e为一个很小的正数以确保系数大于0，α是一个经验参数。

步骤二、根据视差图和左、右视图，计算点积图P＝{P_i:i∈I}。具体计算方法如下：

其中，G_L,i为左视图在空间位置i上的灰度值，d_i为空间位置i处的水平视差。

步骤三、特征提取。分别在左视图、右视图、单眼图像和点积图上提取自然场景统计特征。具体计算方法如下：

步骤3.1，在四种输入图像上提取对称广义高斯分布特征，特征值为形状参数特征和尺度参数特征，计算方法见公式(1)、(2)。此外作为补充，分布的偏度值和峰度值也被加入了特征向量。

步骤3.2，对于四种输入图像，即左视图、右视图、单眼图像和点积图，分别计算其在四个方向(水平，垂直，主对角线和副对角线)上的相邻像素之间的点积，计算方法如下：

H(i,j)＝Im(i,j)Im(i,j+1)， (16)

V(i,j)＝Im(i,j)Im(i+1,j)， (17)

D1(i,j)＝Im(i,j)Im(i+1,j+1)， (18)

D2(i,j)＝Im(i,j)Im(i+1,j-1)， (19)

其中，Im表示四种输入图像中的一种，H表示水平方向相邻像素的点积图，V表示垂直方向，D1表示主对角线方向，D2表示副对角线方向。

步骤3.3，分别在四种输入图像的四个方向的相邻像素点积图上，提取非对称对称广义高斯分布特征，特征值为形状参数特征左侧尺度参数特征和右侧尺度参数特征，计算方法见公式(3)、(4)、(5)。此外作为补充，分布的偏度值和峰度值也被加入了特征向量。

步骤四、采用步骤一和步骤二的方法对数据库中的每一幅立体图像进行处理，计算得到每一幅立体图像对应的的质量特征向量。然后利用支持向量机(SVM)的方法，对训练集上提取得到的质量特征向量进行训练，得到失真分类模型和特定失真质量评价模型，然后利用图像质量评价的两步框架，在测试集上进行测试，利用训练得到的分类模型、特定失真质量评价模型和测试集对应的质量特征向量，进行质量预测，得到各个质量特征向量对应的质量分数。进而利用现有的算法性能指标(SROCC、PCC等)对算法的优劣进行评估。

我们在LIVE 3D II图像质量评价数据库上实施了我们的算法。这个数据库由8幅自然图像和360幅失真图像构成，包含五种失真类型：JP2K压缩、JPEG压缩，白噪声(WN)，快速衰减(FF)和模糊(Blur)。该数据库中包含了对称失真和非对称失真。我们选择了几种目前表现优秀的2D/3D图像质量评价算法 作为对比算法。为了消除训练数据的影响，我们在数据库上进行了1000次80％训练-20％测试的重复试验，即80％的数据用于训练，剩下的20％的数据用于测试，训练数据和测试数据不存在内容的重叠。最后利用现有的算法性能指标(1000次重复试验SROCC的中值)对算法的优劣进行评估(见表1)。

表1 LIVE 3D II库中各算法性能指标(1000次重复试验SROCC的中值)比较

	WN	JP2K	JPEG	Blur	FF	All
							2D PSNR	0.932	0.799	0.121	0.902	0.588	0.834
2D SSIM	0.938	0.858	0.436	0.879	0.586	0.877
							2D MS-SSIM	0.942	0.893	0.611	0.926	0.734	0.924
2D BRISQUE	0.940	0.812	0.569	0.860	0.784	0.901
							Benoit	0.930	0.910	0.603	0.931	0.699	0.899
You	0.940	0.860	0.439	0.882	0.588	0.878
							Chen FR	0.948	0.888	0.53	0.925	0.707	0.916
Hewage	0.940	0.856	0.500	0.690	0.545	0.814
							Akhter	0.914	0.866	0.675	0.555	0.640	0.383
Chen NR	0.919	0.863	0.617	0.878	0.652	0.891
							提出的方法	0.956	0.853	0.721	0.896	0.806	0.940

我们可以看出本发明中我们提出的方法对于各类失真图像都表现出了很好的主观一致性，通用性良好；并且与现有的方法相比较，在性能上具有很大优势。从总体的表现来看本发明中提出的方法的主观一致性要优于其他2D/3D图像质量评价算法。

Claims (4)

1.一种基于双目感知的无参考立体图像质量评价方法，其特征在于：其具体步骤如下：

步骤一、对于待测图像的左、右视图，计算其视差图d，然后分别计算左右视图在空间位置i的信息量，利用信息量合成单眼图像c＝{c_i:i∈I}；

步骤二、根据视差图和左、右视图，计算点积图P＝{P_i:i∈I}；

计算方法如下：

$P_i=G_{L,i}*G_{R,i+d_i}---\left(1\right)$

其中，G_L,i为左视图在空间位置i上的灰度值，d_i为空间位置i处的水平视差；为右视图在空间位置i+d_i上的灰度值；

步骤三、特征提取；

分别在左视图、右视图、单眼图像和点积图上提取自然场景统计特征；

步骤四、采用步骤一至步骤三的方法对数据库中的每一幅立体图像进行处理，计算得到每一幅立体图像对应的质量特征向量；然后利用基于学习的机器学习方法，在训练集上进行训练，在测试集上进行测试，把质量特征向量映射为对应的质量分数；进而利用现有的算法性能指标SROCC以及PCC对算法的优劣进行评估。

2.根据权利要求1所述的一种基于双目感知的无参考立体图像质量评价方法，其特征在于：合成单眼图像的方法如下：

步骤1.1，利用高斯混合模型，把左、右视图分解为两个随机场；

v＝s·u (2)

其中，表示左右视图，i为空间索引；s＝{s_i:i∈I}为非负尺度随机场，为均值为0，协方差为C_u的高斯向量；

步骤1.2，计算左、右视图在空间位置i的信息量

$\begin{array}{cc}In\left(\stackrel{\→}{v_i}\right)=h\left(\stackrel{\→}{v_i}\right|s_i)& \left(3\right)\\ =\frac{1}{2}{\log }_2({s_i}^2{C}_u+1)& \left(4\right)\end{array}$

步骤1.3，基于双目感知特性，利用左、右视图的信息量，合成单眼图像c＝{c_i:i∈I}；

其中，为左视图在空间位置i上的信息量，G_L,i为左视图在空间位置i上的灰度值，d_i为空间位置i处的水平视差，e为一个很小的正数以确保系数大于0，α是一个经验参数。

3.根据权利要求1所述的一种基于双目感知的无参考立体图像质量评价方法，其特征在于：步骤三中的自然场景统计特征还包括用图像的各种全局特征、局部特征、颜色特征、纹理特征替换。

4.根据权利要求1所述的一种基于双目感知的无参考立体图像质量评价方法，其特征在于：步骤四中的机器学习方法包括采用支持向量机SVM，神经网络机器学习方法。